CCR1036-12G-4S потери пакетов на 1 хопе

[cjgun]

Версия 6.44beta14 (testing)
Загрузка 24 %
Подключено 1024 абонента по PPPoE.

2 линка по 4G
/interface bonding
add mode=802.3ad mtu=9004 name=DownLinkBondingCisco slaves=sfp1,sfp2,sfp3,sfp4
add mtu=9004 name=UpLinkBondingBrocade slaves=ether3,ether4,ether5,ether6

По скорости просадки по скорости исключены так как утилизация в районе 940.8 - 1240.8 Mbps

Но периодически приходят жалобы о патере пакетов либо о большом пинге и фризах.

# ADDRESS LOSS SENT LAST AVG BEST WORST STD-DEV STATUS
1 91.210.45.221 1% 198 1.1ms 1.1 0.2 3.3 0.5
2 188.43.8.170 0% 198 0.9ms 1.8 0.7 33.1 3.6
3 80.249.210.177 0% 198 66.5ms 67.1 65 305.9 68.4
4 80.249.208.83 0% 198 66ms 69.9 65.2 142.5 67.5
5 137.221.78.33 0% 197 65.2ms 99.4 65 537.2 122.6 <MPLS:L=342,E=0>
6 137.221.78.69 0% 197 67.6ms 71.5 67.3 126.9 67.4
7 137.221.66.47 0% 197 64.9ms 65.5 64.6 70.3 57.6
8 185.60.112.157 0% 197 68.8ms 68.7 68 70.7 66.5


# ADDRESS LOSS SENT LAST AVG BEST WORST STD-DEV STATUS
1 91.210.45.221 1.5% 264 5ms 1.1 0.2 5 0.6
2 188.43.8.170 0% 264 2.8ms 1.9 0.7 33.9 4.1
3 80.249.210.177 0% 264 301.9ms 67.7 65 305.9 68.9
4 80.249.208.83 0% 264 66.1ms 69.8 65.2 142.5 66.9
5 137.221.78.33 0% 263 100.1ms 92.9 65 537.2 114.2 <MPLS:L=342,E=0>
6 137.221.78.69 0% 263 109ms 71.7 67.2 128 71.3
7 137.221.66.47 0% 263 65.4ms 65.6 64.6 75.9 61
8 185.60.112.157 0% 263 69.1ms 68.8 68 72.7 65.9

Может кто сталкивался с таким. Подскажите в какую сторону капать.

[Chupaka]

91.210.45.221 - это кто?

[cjgun]

91.210.45.221 - это кто?

Это NetIron CER 2048FX железка которая держит BGP и на котором висит Ип адрес на интерфейсе.

Brocade:
interface ethernet 1/33
enable
ip ospf area 101
ip address 91.210.45.221/30

CCR1036-12G-4S:
91.210.45.222/30 91.210.45.220 UpLinkBondingBrocade

Примерно так:
Пользователи PPPoE <-> BRAS 45.222 <-> (4G LAG) <-> 45.221 БОРДЕР BGP дальше 3 магистральных провайдера.

На самом деле BRASов несколько. Проблема почти на каждом, аналогичная.

[Chupaka]

В общем, это не проблема, а просто 91.210.45.221 не хочет отвечать на трейс-запросы слишком часто. При этом сквозь себя пропускает пакеты без потерь. Проблема была бы, если бы и после него были потери не ниже.

[cjgun]

В общем, это не проблема, а просто 91.210.45.221 не хочет отвечать на трейс-запросы слишком часто. При этом сквозь себя пропускает пакеты без потерь. Проблема была бы, если бы и после него были потери не ниже.

Кстати я почему-то об этом не подумал. 5 лет работает и не обращал внимания пока не стали писать кибер катлеты что у них пинг "хромает" , благодарю за наводку. Попинаю брокейт.

[ufm]

На всякий случай - такая конфигурация начинает тупить и терять пакеты в момент поднятия/опускания PPPoE сессии. Я с этим сталкивался ровно на этой-же железке, правда количество сессий было чуть больше - полторы тысячи.
Саппорт Микротика ответил в 2015 году - "ждите седьмую версию, там это будет исправлено".
Ждём.

[cjgun]

На сегодня выяснил что LAG не работает со стороны Brocade.
То есть Микротик балансит по всем каналам а вот обратно получает по 1 каналу.
По этому когда утилизация достигает 99% начинаются дропы пакетов.
буду обновлять до последней брокейт и смотреть

[Chupaka]

Думаю, это не "LAG не работает", а балансировка настроена, например, по src-mac-address - и весь трафик, идущий с одного вышестоящего сервера попадает в один канал.