Syslog server

Мониторинг сети
Ответить
Tiesto
Сообщения: 25
Зарегистрирован: 28 апр 2016, 22:33

Syslog server

Сообщение Tiesto » 04 янв 2017, 22:06

Добрый день всем.
У нас фрии вайфай сеть на 192.168.0.0/22 с 1 внешным ип адресом. Роутер CCR1036
Надо собрат нат логи сети 192.168.0.0/22 какие внешные ип адреса посещали.
Примерно так:
Время 12:34:56 макадрес-ип192.168.0.179портхххх - на внешный адрес 217.56.хх.хх портхххх.
Я проверил на kiwi syslog server программе. Норма логи соберает из микротика нат-а.
Минусы:
1) 1 сутки логи почти 20гб.
2) текставой файл не разделено по кускам - файл полный.

На дуде какая идея у вас? Может такое?

Аватара пользователя
Chupaka
Сообщения: 565
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск
Контактная информация:

Re: Syslog server

Сообщение Chupaka » 05 янв 2017, 04:17

Как генерируется лог на микротике? Какой трафик через роутер идёт?

Каким бы syslog-сервером ни собиралась информация, если с роутера её уходит 20 Гб, то и занимать она на сервере будет 20 Гб. Дальше можно сжимать чем-нибудь ещё (или сохранять на файловую систему с поддержкой прозрачного сжатия).

Если надо ограничить размер одного файла - у Kiwi есть ротация: http://www.kiwisyslog.com/help/syslog/i ... tation.htm

Не вижу смысла использовать Dude, если есть заточенный под это сервер.

З.Ы. Кстати, можно посмотреть в сторону снятия NetFlow v9 вместо текстового лога. Но тут уж для начала услышать ответ на первый вопрос.

Tiesto
Сообщения: 25
Зарегистрирован: 28 апр 2016, 22:33

Re: Syslog server

Сообщение Tiesto » 05 янв 2017, 16:54

Chupaka писал(а):Как генерируется лог на микротике?

Код: Выделить всё

15:08:32 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK,PSH), 217.20.156.132:443->10.1.11.202:38623, NAT 217.20.156.132:443->(xx.xx.xx.xx:38623->10.1.11.202:38623), len 441
15:08:32 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xxx:xx:xx, proto TCP (ACK), 217.20.155.17:443->10.1.11.202:36378, NAT 217.20.155.17:443->(xx.xx.xx.xx:36378->10.1.11.202:36378), len 52
15:08:32 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK,PSH), 217.20.155.17:443->10.1.11.202:36378, NAT 217.20.155.17:443->(xx.xx.xx.xx:36378->10.1.11.202:36378), len 1209
15:08:32 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK,PSH), 217.20.155.17:443->10.1.11.202:36378, NAT 217.20.155.17:443->(xx.xx.xx.xx:36378->10.1.11.202:36378), len 105
15:08:33 echo: firewall,info forward: in:ether1 out:ether10, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK), 216.58.214.194:443->10.1.10.12:52432, NAT 216.58.214.194:443->(xx.xx.xx.xx:52432->10.1.10.12:52432), len 52
15:08:33 echo: firewall,info forward: in:ether1 out:ether11, src-mac xx:xx:xx:xx:xx:xx, proto TCP (ACK), 217.20.155.17:443->10.1.11.202:36378, NAT 217.20.155.17:443->(xx.xx.xx.xx:36378->10.1.11.202:36378), len 52
Chupaka писал(а): Каким бы syslog-сервером ни собиралась информация, если с роутера её уходит 20 Гб, то и занимать она на сервере будет 20 Гб. Дальше можно сжимать чем-нибудь ещё (или сохранять на файловую систему с поддержкой прозрачного сжатия).
Если надо ограничить размер одного файла - у Kiwi есть ротация: http://www.kiwisyslog.com/help/syslog/i ... tation.htm
Да вот kiwi syslog и делает то что проста тупа логи собирает. Даже через 10 дней объем файла 200-220 ГБ. Мне по число тоже хватит. Примеру: текстовой файлы по имени 01/01/2017.txt 02/01/2017.txt 03/01/2017.txt - что бы со временем удалит старые логи.
Chupaka писал(а): Если надо ограничить размер одного файла - у Kiwi есть ротация: http://www.kiwisyslog.com/help/syslog/i ... tation.htm
Про это незнаю.
Chupaka писал(а): З.Ы. Кстати, можно посмотреть в сторону снятия NetFlow v9 вместо текстового лога. Но тут уж для начала услышать ответ на первый вопрос.
Нетфлов логи как собирает? Не какой практики ...

Аватара пользователя
Chupaka
Сообщения: 565
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск
Контактная информация:

Re: Syslog server

Сообщение Chupaka » 06 янв 2017, 14:08

Судя по логу, он в Forward пишет каждый пакет. это, мягко говоря, излишне. попробуйте писать только connection-state=new
Tiesto писал(а):Нетфлов логи как собирает? Не какой практики ...
Отправляет на удалённую машину, где их можно собирать каким-нибудь NFDump

Ответить