BGP (default) и PI подсеть

RIP, OSFP, BGP, MPLS/VPLS
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

BGP (default) и PI подсеть

Сообщение Sir_Prikol »

Добрый день.
Ситуация следующая
Поднят BGP (default) (то есть таблици маршрутов просто нет)
Есть PI сеть (/24)
Всё бы хорошо, но происходит следующая ситуация. По непонятным причинам отключается белая сеть. Сама по себе, спасает тоько многократный resend анонсирования сети в BGP. И, по логам на машинах с белыми IP, коннект осуществляется к ним с IP адреса шлюза

Сама сеть
CRS125-24G-1S - Железка которая обслуживает (по тихоньку переезжаем на CHRx86_64, но из-за непоняток что творится с конфигурацией, не используем)
111.111.111.0/24 (моя PI сеть)
222.222.222.218/30 (сеть провайдера для BGP и "грязный" интернет)
01.WAN_ISP01 - Uplink (интерфейс)
00.01_servers-bridge - Bridge, в неё включён WAN (смотрит в локалку)
00.02_lan-bridge - Bridge (серая сеть, нужна для не важных устройств, смотрит в локалку)
192.168.15.0/24 - сеть для ipces соединения
192.168.7.0/24 - удалённая сеть для ipsec
198.51.100.0/24 - серая сеть
AS62423 - AS провайдера
AS60704 - моя AS
proxy-arp на WAN интерфейсе включён
firewall - отключён (кроме fasttrack)
Основная конфигурация
(не указаны отнемапленные IP, DHCP для серой сети и стандартные DNS)

Код: Выделить всё

/ip address
add address=222.222.222.218/30 comment=ISP interface=01.WAN_ISP01 network=222.222.222.216
add address=111.111.111.1/24 comment=BGP-1 interface=00.01_servers-bridge network=111.111.111.0
add address=198.51.100.1/24 interface=00.02_lan-bridge network=198.51.100.0
add address=192.168.15.1/24 interface=01.WAN_ISP01 network=192.168.15.0

/ip firewall nat
add action=accept chain=srcnat comment=to_192.168.7.0/24 dst-address=192.168.7.0/24 src-address=192.168.15.0/24
add action=masquerade chain=srcnat src-address=!111.111.111.0/24

/ip route
add bgp-as-path=62423,9002 bgp-origin=igp distance=1 gateway=222.222.222.217 pref-src=222.222.222.218 scope=40
add distance=1 dst-address=111.111.111.0/24 gateway=00.01_servers-bridge pref-src=111.111.111.1

/routing bgp network
add network=111.111.111.0/24 synchronize=no
/routing bgp peer
add in-filter=as62423-in name=ISP out-filter=as62423-out remote-address=222.222.222.217 remote-as=62423 ttl=default

/routing bgp instance
set default as=60704 router-id=111.111.111.1
/routing ospf instance
set [ find default=yes ] disabled=yes router-id=111.111.111.1

/interface bridge port
add bridge=00.01_servers-bridge interface=ether13
add bridge=00.01_servers-bridge interface=ether14
add bridge=00.01_servers-bridge interface=ether15
add bridge=00.01_servers-bridge interface=ether16
add bridge=00.01_servers-bridge interface=ether17
add bridge=00.01_servers-bridge interface=ether18
add bridge=00.01_servers-bridge interface=ether19
add bridge=00.01_servers-bridge interface=ether20
add bridge=00.01_servers-bridge interface=ether21
add bridge=00.01_servers-bridge interface=ether22
add bridge=00.01_servers-bridge interface=ether2
add bridge=00.01_servers-bridge interface=ether3
add bridge=00.02_lan-bridge interface=ether4
add bridge=00.01_servers-bridge interface=ether5
add bridge=00.01_servers-bridge interface=ether6
add bridge=00.01_servers-bridge interface=ether7
add bridge=00.01_servers-bridge interface=ether8
add bridge=00.02_lan-bridge interface=ether9
add bridge=00.02_lan-bridge interface=ether10
add bridge=00.01_servers-bridge interface=ether11
add bridge=00.01_servers-bridge interface=ether12
add bridge=00.01_servers-bridge interface=01.WAN_ISP01

Я грешу на включённый фасттрак (в части того, что соединения в логах у машинок за микротиком светится не реальный IP кто коннектится, а IP микротика, но оттестировать смогу только ночью, так как любое изменение в конфигурации, влечёт за собой пропадание белой сети)

Самое противное, что нельзя использовать netmap (тупой софт за микротиком, не понимает)
Дома: CCR2004 (7-ISP(GPON)белый IP)
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: BGP (default) и PI подсеть

Сообщение Chupaka »

Доброго.

Proxy-ARP на WAN, как вижу, не нужен.
Sir_Prikol писал(а): 07 май 2018, 09:55 Я грешу на включённый фасттрак (в части того, что соединения в логах у машинок за микротиком светится не реальный IP кто коннектится, а IP микротика)
Нет, это из-за masquerade-правила NAT, там нужно просто добавить out-interface=01.WAN_ISP01 - в текущей конфигурации роутер все коннекты не из подсети 111.111.111.0/24 маскирует собой.
Sir_Prikol писал(а): 07 май 2018, 09:55 Самое противное, что нельзя использовать netmap (тупой софт за микротиком, не понимает)
Зачем использовать? Что-то ничего не понял.
Sir_Prikol писал(а): 07 май 2018, 09:55 По непонятным причинам отключается белая сеть. Сама по себе, спасает тоько многократный resend анонсирования сети в BGP.
Соединение BGP при этом не рвётся, никаких ошибок в логе нет? Трассировки что показывают? На всяких Looking Glass можно посмотреть, приходит ли анонс. Если анонс пропадает - пинать своего провайдера.
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

Re: BGP (default) и PI подсеть

Сообщение Sir_Prikol »

Провайдера там я отпинал :)
Looking Glass смотрю на he.net.
Анонсы пропадают с завидной регулярностью. Примерно раз в 2 часа (как раз в этот момент начинаются глюки у провайдера)

BGP мало того, что рвалось, оно рвалось очень неудачно по таймауту. В результате вешался рутер.

Пока писал пост, отзвонился провайдер и принято решение перенести на другой AS, так как тот, к которому сейчас цепляюсь, у них просто не настроен. Заодно получаю полную таблицу маршрутизации, с ней легче работать.

netmap иногда необходим, чтобы отсеивать неудобные коннекты на уровне шлюза. Но это лирика.

out-interface=01.WAN_ISP01 - так как он в бридже, подсвечивает красным, поставил out-interface-list=WAN

А самое противное, что я в Калининграде, провайдер в Москве и "удалённые ручки" которые перетыкают кабели, нифига не смислят в сетях :)

Чуть попозже дополню пост, после переходя на другой AS посмотрю как будет жить сеть.
Дома: CCR2004 (7-ISP(GPON)белый IP)
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: BGP (default) и PI подсеть

Сообщение Chupaka »

Sir_Prikol писал(а): 07 май 2018, 12:04 BGP мало того, что рвалось, оно рвалось очень неудачно по таймауту. В результате вешался рутер.
Честно говоря, вообще о зависаниях из-за BGP (причём безо всякой нагрузки вроде full view) не слышал. С роутером точно проблемы нет?
Sir_Prikol писал(а): 07 май 2018, 12:04 Заодно получаю полную таблицу маршрутизации, с ней легче работать.
Если у вас один провайдер - это лишь дополнительная головная боль и увеличенное время установления сессии. Что значит "много сотен тысяч маршрутов - легче, чем один, дефолтный"?
Sir_Prikol писал(а): 07 май 2018, 12:04 netmap иногда необходим, чтобы отсеивать неудобные коннекты на уровне шлюза. Но это лирика.
Опять непонятная фраза. Могу только сказать, что отсеивать неудобные коннекты на уровне шлюза должен IP Firewall Filter, а не NAT. К сожалению, в Интернетах полно инструкций, в которых, например, NAT Masquerade предлагают использовать для ограничения доступа - это в корне неверно, но хватает людей, не понимающих базовых принципов сетей и верящих на слово текстам в Интернете :(
Sir_Prikol писал(а): 07 май 2018, 12:04 out-interface=01.WAN_ISP01 - так как он в бридже, подсвечивает красным, поставил out-interface-list=WAN
Хм, а есть какой-то глубинный смысл связи на втором уровне между серверами и провайдером?..
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

Re: BGP (default) и PI подсеть

Сообщение Sir_Prikol »

Логи исправились, спасибо!
Chupaka писал(а): 07 май 2018, 12:13 Честно говоря, вообще о зависаниях из-за BGP (причём безо всякой нагрузки вроде full view) не слышал. С роутером точно проблемы нет?
На сколько я могу пощупать снаружи, проблем нет, но, так как, прежде чем ко мне обратились, их якобы DDoSили (оказалось что заражена была внутренняя машина), тут может совпадать, что при пропадании BGP сессии, какая-то машина, начинала тупо глушить рутер запросами и он зависал. Почему я и принял решение уйти на офтверный рутер на базе i7 процессора
Chupaka писал(а): 07 май 2018, 12:13 Если у вас один провайдер - это лишь дополнительная головная боль и увеличенное время установления сессии. Что значит "много сотен тысяч маршрутов - легче, чем один, дефолтный"?
К счастью у нас сейчас будет 2 провайдера (как минимум), хотя хозяев сети я убеждал в этом дней десять, они не понимали зачем :)
Chupaka писал(а): 07 май 2018, 12:13 Опять непонятная фраза. Могу только сказать, что отсеивать неудобные коннекты на уровне шлюза должен IP Firewall Filter, а не NAT. К сожалению, в Интернетах полно инструкций, в которых, например, NAT Masquerade предлагают использовать для ограничения доступа - это в корне неверно, но хватает людей, не понимающих базовых принципов сетей и верящих на слово текстам в Интернете :(
Я в жизни masquerade не использовал как ограничение доступа, ибо сколько не настраивал сетей, всё делал на уровне firewall. При этом с микротиками работаю ещё с прошлого века, просто иногда бывают ну совсем не стандартные задачи, или совсем не понятные явления, поэтому и приходится обращаться. А иногда и делать костыли, так как ещё не реализованы, нужные мне, вещи, как, к примеру, маркировка маршрутов в IPv6. :( Микротиковцы обещают это реализовать в ROS7
К сожалению, на данной железке firewall не защитит от полноценной DDoS атаки. Так как просто не хватит ресурсов для обработки всех соединений :)
Netmap, в конкретном случае, исключительно из-за того, что есть машины в сети, которые должны сидеть в серой сетке и изредка выходить в мир с определённых белых адресов. В других случаях они могут в мир ходить с любого. Я понимаю что надо выбрать или netmap или чистые IP, но это будет сделано чуть позже.
Chupaka писал(а): 07 май 2018, 12:13 Хм, а есть какой-то глубинный смысл связи на втором уровне между серверами и провайдером?..
На счёт глубинного смысла - даже я сам не знаю :) Но маршрутизацию надо делать, там всё на столько противно, из-за кривого софта, что мучений больше, чем пользы.
Дома: CCR2004 (7-ISP(GPON)белый IP)
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: BGP (default) и PI подсеть

Сообщение Chupaka »

Sir_Prikol писал(а): 07 май 2018, 12:55 К счастью у нас сейчас будет 2 провайдера (как минимум), хотя хозяев сети я убеждал в этом дней десять, они не понимали зачем :)
И оба с фулвью?
Sir_Prikol писал(а): 07 май 2018, 12:55 К сожалению, на данной железке firewall не защитит от полноценной DDoS атаки. Так как просто не хватит ресурсов для обработки всех соединений :)
Поговаривают, что с таблицей RAW всё стало чуточку интереснее :)
Sir_Prikol писал(а): 07 май 2018, 12:55 На счёт глубинного смысла - даже я сам не знаю :) Но маршрутизацию надо делать, там всё на столько противно, из-за кривого софта, что мучений больше, чем пользы.
Вот-вот, и я говорю, что надо делать маршрутизацию, а не бриджевать всё в кучу.
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

Re: BGP (default) и PI подсеть

Сообщение Sir_Prikol »

Chupaka писал(а): 07 май 2018, 13:28 И оба с фулвью?
Один точно, второй под вопросом
Chupaka писал(а): 07 май 2018, 13:28 Поговаривают, что с таблицей RAW всё стало чуточку интереснее :)
Надо будет проверить
Chupaka писал(а): 07 май 2018, 13:28 Вот-вот, и я говорю, что надо делать маршрутизацию, а не бриджевать всё в кучу.
:)
Дома: CCR2004 (7-ISP(GPON)белый IP)
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: BGP (default) и PI подсеть

Сообщение Chupaka »

Sir_Prikol писал(а): 07 май 2018, 14:22 Один точно, второй под вопросом
Если на втором не будет - то и на первом не надо :)
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

Re: BGP (default) и PI подсеть

Сообщение Sir_Prikol »

Chupaka писал(а): 07 май 2018, 14:39 Если на втором не будет - то и на первом не надо :)
Я хочу чтоб было :) Там будет зависеть от магистрала. В любом случае всё это дело переедет на нормальное железо. А, в последствии, на железный CCR1036-8G-2S+. И то, исключительно из-за количества портов, так бы не переезжал и оставил на софтверном с 3-мя сетевухами.
Дома: CCR2004 (7-ISP(GPON)белый IP)
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

Re: BGP (default) и PI подсеть

Сообщение Sir_Prikol »

The principle is not normal, but it all depends on the settings. With the correct settings, a full view table flies in 120 seconds (checked), with some problems on the giving - spent an hour, but never got a table. All the time the precipice.
Дома: CCR2004 (7-ISP(GPON)белый IP)
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

Re: BGP (default) и PI подсеть

Сообщение Sir_Prikol »

Выяснилось, гемморой у магистрального провайдера. Он так и не сиправил проблему. Прошёл месяц. Пришлось просто отказаться от данного магистрала и перейти на другого. Всё взлетело. Полная таблица - 120 сек и никаких проблем. Даже железо не прищлось менять :)
Дома: CCR2004 (7-ISP(GPON)белый IP)