Syslog server

[Tiesto]

Добрый день всем.
У нас фрии вайфай сеть на 192.168.0.0/22 с 1 внешным ип адресом. Роутер CCR1036
Надо собрат нат логи сети 192.168.0.0/22 какие внешные ип адреса посещали.
Примерно так:
Время 12:34:56 макадрес-ип192.168.0.179портхххх - на внешный адрес 217.56.хх.хх портхххх.
Я проверил на kiwi syslog server программе. Норма логи соберает из микротика нат-а.
Минусы:
1) 1 сутки логи почти 20гб.
2) текставой файл не разделено по кускам - файл полный.

На дуде какая идея у вас? Может такое?

[Chupaka]

Как генерируется лог на микротике? Какой трафик через роутер идёт?

Каким бы syslog-сервером ни собиралась информация, если с роутера её уходит 20 Гб, то и занимать она на сервере будет 20 Гб. Дальше можно сжимать чем-нибудь ещё (или сохранять на файловую систему с поддержкой прозрачного сжатия).

Если надо ограничить размер одного файла - у Kiwi есть ротация: http://www.kiwisyslog.com/help/syslog/i ... tation.htm

Не вижу смысла использовать Dude, если есть заточенный под это сервер.

З.Ы. Кстати, можно посмотреть в сторону снятия NetFlow v9 вместо текстового лога. Но тут уж для начала услышать ответ на первый вопрос.

[Tiesto]

Как генерируется лог на микротике?

Код: Выделить всё

15:08:32 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK,PSH), 217.20.156.132:443->10.1.11.202:38623, NAT 217.20.156.132:443->(xx.xx.xx.xx:38623->10.1.11.202:38623), len 441
15:08:32 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xxx:xx:xx, proto TCP (ACK), 217.20.155.17:443->10.1.11.202:36378, NAT 217.20.155.17:443->(xx.xx.xx.xx:36378->10.1.11.202:36378), len 52
15:08:32 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK,PSH), 217.20.155.17:443->10.1.11.202:36378, NAT 217.20.155.17:443->(xx.xx.xx.xx:36378->10.1.11.202:36378), len 1209
15:08:32 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK,PSH), 217.20.155.17:443->10.1.11.202:36378, NAT 217.20.155.17:443->(xx.xx.xx.xx:36378->10.1.11.202:36378), len 105
15:08:33 echo: firewall,info forward: in:ether1 out:ether10, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK), 216.58.214.194:443->10.1.10.12:52432, NAT 216.58.214.194:443->(xx.xx.xx.xx:52432->10.1.10.12:52432), len 52
15:08:33 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK), 217.20.155.17:443->10.1.11.202:36378, NAT 217.20.155.17:443->(xx.xx.xx.xx:36378->10.1.11.202:36378), len 52

Каким бы syslog-сервером ни собиралась информация, если с роутера её уходит 20 Гб, то и занимать она на сервере будет 20 Гб. Дальше можно сжимать чем-нибудь ещё (или сохранять на файловую систему с поддержкой прозрачного сжатия).
Если надо ограничить размер одного файла - у Kiwi есть ротация: http://www.kiwisyslog.com/help/syslog/i ... tation.htm

Да вот kiwi syslog и делает то что проста тупа логи собирает. Даже через 10 дней объем файла 200-220 ГБ. Мне по число тоже хватит. Примеру: текстовой файлы по имени 01/01/2017.txt 02/01/2017.txt 03/01/2017.txt - что бы со временем удалит старые логи.

Если надо ограничить размер одного файла - у Kiwi есть ротация: http://www.kiwisyslog.com/help/syslog/i ... tation.htm

Про это незнаю.

З.Ы. Кстати, можно посмотреть в сторону снятия NetFlow v9 вместо текстового лога. Но тут уж для начала услышать ответ на первый вопрос.

Нетфлов логи как собирает? Не какой практики ...

[Chupaka]

Судя по логу, он в Forward пишет каждый пакет. это, мягко говоря, излишне. попробуйте писать только connection-state=new

Нетфлов логи как собирает? Не какой практики ...

Отправляет на удалённую машину, где их можно собирать каким-нибудь NFDump