PCC на 3 провайдера

RIP, OSFP, BGP, MPLS/VPLS
joker
Сообщения: 21
Зарегистрирован: 29 апр 2019, 16:22

PCC на 3 провайдера

Сообщение joker » 04 ноя 2019, 11:52

Есть 3 WAN канала
1. WAN1 статика (30\10 Мбит)
2. WAN2 статика (30\10 Мбит)
3. WAN3 Динамический PPPOE(80\40 Мбит)
Почему бы не использовать 3 канала одновременно, повысив таким образом пропускную способность.
У меня получилось это сделать с первыми двумя WAN1 и WAN2.

/ip route
add distance=1 gateway=82.209.15.125 routing-mark=ISP1-WAN1
add distance=1 gateway=82.209.15.217 routing-mark=ISP2-WAN2
add distance=1 gateway=pppoe-out1_ByFly routing-mark=ISP3-WAN3

/ip route> print
Flags: X - disabled, A - active, D - dynamic,
C - connect, S - static, r - rip, b - bgp, o - ospf, m - mme,
B - blackhole, U - unreachable, P - prohibit
# DST-ADDRESS PREF-SRC GATEWAY DISTANCE
0 A S 0.0.0.0/0 pppoe-out1_ByFly 1
1 A S 0.0.0.0/0 82.209.15.125 1
2 A S 0.0.0.0/0 82.209.15.117 1
3 ADS 0.0.0.0/0 ppp-3G-reserveInet 1
4 DS 0.0.0.0/0 pppoe-out1_ByFly 1
5 ADC 10.110.110.142/32 46.56.74.217 ppp-3G-reserveInet 0
8 ADC 82.209.15.116/30 82.209.15.118 ether2-wan2 0
9 ADC 82.209.15.124/30 82.209.15.126 ether1-wan1 0
11 ADC 178.124.76.1/32 178.124.77.235 pppoe-out1_ByFly 0
12 ADC 192.168.1.0/24 192.168.1.1 ether4-lan1 0
13 ADC 192.168.3.0/24 192.168.3.1 ether4-lan1 0
14 ADC 192.168.10.0/24 192.168.10.1 ether4-lan1 0
15 ADC 192.168.30.0/24 192.168.30.1 vlan30-trunk-HP... 0


/ip route rule
add src-address=82.209.15.126/32 table=to-routeWAN1
add src-address=82.209.15.218/32 table=to-routeWAN2
add dst-address=192.0.0.0/8 table=main
add dst-address=192.168.0.0/16 table=main
add dst-address=172.16.0.0/12 table=main
add routing-mark=ISP1-WAN1 table=to-routeWAN1
add routing-mark=ISP2-WAN2 table=to-routeWAN2
add routing-mark=ISP3-WAN3 table=to-routeWAN3

/ip firewall mangle
add action=mark-connection chain=prerouting comment="WAN3 mark OwnCloud" new-connection-mark=OwnCloud passthrough=yes src-address=192.168.1.23
add action=mark-routing chain=prerouting connection-mark=OwnCloud new-routing-mark=ISP3-WAN3 passthrough=yes src-address=192.168.1.23

add action=mark-connection chain=prerouting comment="Per Connection Classifier" connection-state=new new-connection-mark=ISP3-WAN1-connection passthrough=yes per-connection-classifier=both-addresses-and-ports:2/0
add action=mark-connection chain=prerouting connection-state=new new-connection-mark=ISP3-WAN2-connection passthrough=yes per-connection-classifier=both-addresses-and-ports:2/1
add action=mark-routing chain=prerouting connection-mark=ISP3-WAN1-connection new-routing-mark=ISP1-WAN1 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=ISP3-WAN2-connection new-routing-mark=ISP2-WAN2 passthrough=yes
add action=mark-routing chain=output connection-mark=ISP3-WAN1-connection new-routing-mark=ISP1-WAN1 passthrough=yes
add action=mark-routing chain=output connection-mark=ISP3-WAN2-connection new-routing-mark=ISP2-WAN2 passthrough=yes

По предоставленной конфигурации работает балансировка на 2-х каналах (WAN1 и WAN2).
Необходимо задействовать и 3-ий (WAN3)
Далее - ничего не меняю, только mangle. Добавляю по одному правилу в цепочку prerouting.
Также меняю PCC 3/0, 3/1, 3/2.
Результат выполнения ниже
И вот так не работает 3 одновременно. Работает только либо через 1 канал, либо вообще не пойми как.

/ip firewall mangle
add action=mark-connection chain=prerouting comment="WAN3 mark OwnCloud" new-connection-mark=OwnCloud passthrough=yes src-address=192.168.1.23
add action=mark-routing chain=prerouting connection-mark=OwnCloud new-routing-mark=ISP3-WAN3 passthrough=yes src-address=192.168.1.23

add action=mark-connection chain=prerouting comment="Per Connection Classifier" connection-state=new new-connection-mark=ISP3-WAN1-connection passthrough=yes per-connection-classifier=both-addresses-and-ports:3/0
add action=mark-connection chain=prerouting connection-state=new new-connection-mark=ISP3-WAN2-connection passthrough=yes per-connection-classifier=both-addresses-and-ports:3/1
add action=mark-connection chain=prerouting connection-state=new new-connection-mark=ISP3-WAN3-connection passthrough=yes per-connection-classifier=both-addresses-and-ports:3/2
add action=mark-routing chain=prerouting connection-mark=ISP3-WAN1-connection new-routing-mark=ISP1-WAN1 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=ISP3-WAN2-connection new-routing-mark=ISP2-WAN2 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=ISP3-WAN3-connection new-routing-mark=ISP3-WAN3 passthrough=yes

add action=mark-routing chain=output connection-mark=ISP3-WAN1-connection new-routing-mark=ISP1-WAN1 passthrough=yes
add action=mark-routing chain=output connection-mark=ISP3-WAN2-connection new-routing-mark=ISP2-WAN2 passthrough=yes

Подскажите, пожалуйста, что сделал не правильно. Предполагаю, что-то с роутами не так :?
Заранее благодарен!

Аватара пользователя
Chupaka
Сообщения: 2142
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск
Контактная информация:

Re: PCC на 3 провайдера

Сообщение Chupaka » 04 ноя 2019, 15:11

Ну, так-то выглядит правильно. Для диагностики нужна статистика, например: правила mark-routing пакеты метят? Равномерно?

to-routeWANX - это что за чудеса? Осталось из какого-то старого конфига?

"через 1 канал" - это читается как "через один" или "через первый" (WAN1)?

В IP -> Firewall -> Connections столбец Connection Mark на соединениях нормально заполняется, разными метками?

Ну, и я бы сразу делал не на три, а на 4 "канала" балансировку: PCC 4/0 на WAN1, 4/1 на WAN2 и 4/2+4/3 на WAN3, т.к. он примерно в два раза "пухлее" остальных :)

joker
Сообщения: 21
Зарегистрирован: 29 апр 2019, 16:22

Re: PCC на 3 провайдера

Сообщение joker » 05 ноя 2019, 15:29

C PCC на 3 провайдера проблему решил.
Но теперь проблема с IPsec
При эксплуатации IPSEC и балансировке каналов выяснился интересный факт: при установке IPSEC не получается обменяться всеми ключами. IPSEC вроде бы как и поднимается, но работать не работает. Если посмотреть IP → IPsec → Installed SAs - можно увидеть что счетчик «Current Bytes» для одного из ключей равен 0, т.е. обмен ключами все-таки не проходит. И Tunnel не работает. До настройки 3-го канала в PCC всё работало.
Что сделать в этом случае?
Последний раз редактировалось joker 05 ноя 2019, 15:42, всего редактировалось 1 раз.

Аватара пользователя
Chupaka
Сообщения: 2142
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск
Контактная информация:

Re: PCC на 3 провайдера

Сообщение Chupaka » 05 ноя 2019, 15:40

joker писал(а):
05 ноя 2019, 15:29
C PCC на 3 провайдера проблему решил.
И что за проблема была?
joker писал(а):
05 ноя 2019, 15:29
Но теперь проблема с IPsec
Покажите правила NAT (в частности, SRC-NAT).

joker
Сообщения: 21
Зарегистрирован: 29 апр 2019, 16:22

Re: PCC на 3 провайдера

Сообщение joker » 05 ноя 2019, 15:50

/ip firewall nat> print
Flags: X - disabled, I - invalid, D - dynamic
0 chain=srcnat action=accept src-address=192.168.1.0/24 dst-address=10.1.0.0/16 src-address-list="" log=no log-prefix=""

1 chain=srcnat action=accept src-address=192.168.1.0/24 dst-address=192.168.7.0/24 src-address-list="" log=no log-prefix=""

2 chain=srcnat action=accept src-address=192.168.1.0/24 dst-address=192.168.99.0/24 src-address-list="" log=no log-prefix=""

3 chain=srcnat action=accept src-address=192.168.1.0/24 dst-address=192.168.0.0/24 src-address-list="" log=no log-prefix=""

4 chain=srcnat action=masquerade out-interface-list=WAN log=no log-prefix=""

5 chain=srcnat action=accept dst-address-list=!anti-nat log=no log-prefix=""

6 chain=srcnat action=masquerade out-interface=ppp-3G-reserveInet log=no log-prefix=""


/interface list> export
/interface list
add name=WAN
add name=LAN
/interface list member
add interface=ether1-wan1 list=WAN
add interface=ether4-lan1 list=LAN
add interface=ether2-wan2 list=WAN
add disabled=yes interface=ether3-wan3_PPPoE list=WAN
add interface=pppoe-out1_ByFly list=WAN


/ip firewall address-list> print
Flags: X - disabled, D - dynamic
# LIST ADDRESS CREATION-TIME TIMEOUT
0 vpn ipsec list 37.17.39.66 sep/09/2019 08:31:20
1 anti-nat 192.168.7.0/24 sep/09/2019 08:39:40
2 vpn ipsec list 193.176.161.183 oct/17/2019 16:05:49
3 anti-nat 10.1.0.0/16 oct/17/2019 16:14:05
4 anti-nat 192.168.0.0/24 oct/21/2019 11:12:30
5 vpn ipsec list 37.17.25.118 oct/21/2019 11:14:47
6 vpn ipsec list 178.123.141.218 oct/29/2019 15:44:45
7 anti-nat 192.168.99.0/24 oct/29/2019 15:45:49

Вот, что ещё нагуглил по данному вопросу https://wiki.rtzra.ru/software/mikrotik ... an-pcc?do=
но не понял, что он там сделал в конце статьи
Последний раз редактировалось joker 05 ноя 2019, 16:05, всего редактировалось 3 раза.

joker
Сообщения: 21
Зарегистрирован: 29 апр 2019, 16:22

Re: PCC на 3 провайдера

Сообщение joker » 05 ноя 2019, 15:56

Chupaka писал(а):
05 ноя 2019, 15:40
joker писал(а):
05 ноя 2019, 15:29
C PCC на 3 провайдера проблему решил.
И что за проблема была?

Не настроил masquerade для WAN3 :)

Аватара пользователя
Chupaka
Сообщения: 2142
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск
Контактная информация:

Re: PCC на 3 провайдера

Сообщение Chupaka » 05 ноя 2019, 16:47

Попробуйте в правила masquerade добавить параметр ipsec-policy=out,none - это как минимум должно сделать ненужным правила 0-3.

А я вот тут подумал: а вы IPSec через какой канал хотите выпустить? Если через несколько - то, наверное, вам надо несколько тоннелей поднимать %)

joker
Сообщения: 21
Зарегистрирован: 29 апр 2019, 16:22

Re: PCC на 3 провайдера

Сообщение joker » 06 ноя 2019, 08:35

Chupaka писал(а):
05 ноя 2019, 16:47
Попробуйте в правила masquerade добавить параметр ipsec-policy=out,none - это как минимум должно сделать ненужным правила 0-3.
Спасибо за подсказку для оптимизации

joker
Сообщения: 21
Зарегистрирован: 29 апр 2019, 16:22

Re: PCC на 3 провайдера

Сообщение joker » 06 ноя 2019, 09:01

Chupaka писал(а):
05 ноя 2019, 16:47
А я вот тут подумал: а вы IPSec через какой канал хотите выпустить? Если через несколько - то, наверное, вам надо несколько тоннелей поднимать %)
У меня 4 IPsec-tunnel с разными офисами.
Вот мои настройки по IPsec-tunnel.
Вложения
3.Peers.JPG
3.Peers.JPG (42.1 КБ) 78 просмотров
2.IPsec Proposals.JPG
2.IPsec Proposals.JPG (46.53 КБ) 78 просмотров
1.IPsec Policies.JPG
1.IPsec Policies.JPG (58.37 КБ) 78 просмотров

joker
Сообщения: 21
Зарегистрирован: 29 апр 2019, 16:22

Re: PCC на 3 провайдера

Сообщение joker » 06 ноя 2019, 09:05

Вот ещё.
Здесь видно не соединяется с ip 218
Вложения
6.Active Peers.JPG
6.Active Peers.JPG (52.16 КБ) 73 просмотра
5.IPsec Profles.JPG
5.IPsec Profles.JPG (35.83 КБ) 73 просмотра
4.IPsec Identities.JPG
4.IPsec Identities.JPG (40.49 КБ) 73 просмотра

Ответить