Утилита обработки Log-файлов

Базовая функциональность RouterOS
kreotodr
Сообщения: 41
Зарегистрирован: 31 мар 2018, 10:05

Утилита обработки Log-файлов

Сообщение kreotodr »

Добрый день форумчане!
Написал для себя утилиту обработки LOG файлов..( -= Microtik LOG(s) Utils =-)
Возможно пригодится...

Код: Выделить всё

 
               ##################################################################################
               #                                    ~~~~                                        #
               #                        -= Microtik LOG(s) Utils =-                             #
               #                                                                                #
               #             (c) LitleKinder SoftWare (c) CopyRight 1998-2018                   #
               #                                                                                #
               #                    Email    :  [email protected]                       #
               #                    Telegramm:  +38(067)546-76-03                               #
               #                                    ~~~~                                        #
               ##################################################################################
 
1. Назначение:
Данная программа производит анализ ЛОГ файлов, которые формируются роутером Mikrotik.


2. Принцип работы:
После первого запуска программа создает файл MikrotikLogUtils.ini. в директории MikrotikLogUtils_System.
в котором необходимо установить физический путь к ЛОГ файлам. в трех разных категориях:
[Traffic Calc]
[EjectLog]
[FilterLog]

По умолчанию пути принимают значения:
.\Sample_LOG_Files\TMP_LOG_TRAFF\
.\Sample_LOG_Files\TMP_LOG_Eject\
.\Sample_LOG_Files\TMP_LOG_Filter\

В которых содержатся тестовые LOG файлы.
Несколько слов о разделах ini файла.
[Main] - общие установки.
[Traffic Calc] - установки для LOG файлов, в которых содержится информация об объеме траффика.
[EjectLog] - установки для LOG файлов, из которых будет извлекаться информация.
[FilterLog] - установки для LOG файлов, содержимое, которых будет подвержено фильтрации.


3. Что может данная программа и зачем она нужна:
Изначально MikrotikLogUtils задумывалась как программа, которая будет извлекать, данные о потребленном за день/неделю
месяц - объеме траффика. Реализовано это с помощью скрипта (находится в папке Sample_SCRIPTS), который формирует LOG
файл с масками (Pattern) типа (Traffic In/Traffic Up/Traffic All). Данные маски могут быть другими, (например Траффик)
Траффик ко мне, Траффик от меня и тд...) Поиск по данным маскам осуществляется с помощью установки {Pattern Traffic}.

Примеры масок:
Pattern Traffic In = Traffic In -
Pattern Traffic Up = Traffic Up -
Pattern Traffic All = Traffic All -

Далее, появилась задача формировать свои BAN списки (опять таки на основании данных LOG файлов. При этом в программе)
реализована функция создания готовых к загрузке в Роутер списков, вида:
/ip firewall address-list
add list=MyBlackList address=178.124.161.206 comment=MyBlackList_Perebor
add list=MyBlackList address=185.222.209.151 comment=MyBlackList_Perebor

Учитывая огромный объем информации в LOG файлах, крайне трудно отследить искомый IP адрес (например). И его поведение
С этой целью, добавлена третья функция - извлечение (фильтрация LOG файлов по трем уровням фильтров). Опционально ре-
ализовано фильтр отрицания (!). То есть будет искаться все, что не содержит данный фильтр..


4. Гарантии, лицензия, отказ от ответственности:
Программа поставляется на условиях 'КАК-ЕСТЬ', То есть я снимаю всякую ответственность за возможные ошибки, содержащиеся
в программе и последствия вызванные таковыми.


5. Если есть идеи, пишем на [email protected]
Описательная часть, (написана/описана) крайне быстро и скомкано, так как все делалось исключительно под себя/для себя.
Если будут вопросы и желание пообщаться, всегда к Вашим услугам - Telegramm, Viber (+380675467603)


6. Известные проблемы
Данная программа писалась и тестировалась на Win10 x64 (10.0.14393). Работоспособность на других системах не гарантируется.
Не запускать из папок, в которых содержится кириллица!!!
Если программа не запустится, то нужно зарегистрировать библиотеки:
.\MikrotikLogUtils_Dll\comdlg32.ocx
.\MikrotikLogUtils_Dll\Mscomctl.ocx
.\MikrotikLogUtils_Dll\Msinet.ocx
.\MikrotikLogUtils_Dll\Mswinsck.ocx
.\MikrotikLogUtils_Dll\Tabctl32.ocx

Пример регистрации: regsvr32.exe /s comdlg32.ocx


7. Если Вам очень понравилось моя программа и есть желание отблагодарить:
Ни в коем случае не стоит пренебречь данным желанием;)
Яндекc Деньги: 410013190712045
WebMoney : R282691465680, Z330585249900
QiWi : +380675467603

https://www.dropbox.com/sh/mdslplqwl536 ... h_TLa?dl=0
https://1drv.ms/f/s!AsbT8LE3WR1Rt33PTm-mVyLR5X7-
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: Утилита обработки Log-файлов

Сообщение Chupaka »

Вынес в отдельную тему, незачем офтопить в файрволе :)

Нашёл первую ошибку в программе: название компании-производителя пишется как MikroTik, а не Microtik xD
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: Утилита обработки Log-файлов

Сообщение Chupaka »

Ну и неплохо бы над результатом поработать, а то VirusTotal слегка красненький:

https://www.virustotal.com/#/file-analy ... A2MjEzMw==
Screen Shot 2018-05-23 at 10.58.32.png
Может, поновее WinRAR SFX-модуль сделать? :)

https://www.virustotal.com/#/file-analy ... A2MjUyMQ==
У вас нет необходимых прав для просмотра вложений в этом сообщении.
kreotodr
Сообщения: 41
Зарегистрирован: 31 мар 2018, 10:05

Re: Утилита обработки Log-файлов

Сообщение kreotodr »

Добрый. День
Ошибки исправлю)))
Вирусов нет, не было и не будет..
Могу предположить, что ложные срабатывания....
kreotodr
Сообщения: 41
Зарегистрирован: 31 мар 2018, 10:05

Re: Утилита обработки Log-файлов

Сообщение kreotodr »

По крайней мере Нортон молчит....)))
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: Утилита обработки Log-файлов

Сообщение Chupaka »

Вон там некоторым не нравится, что в папке Temp создаётся непонятный самоудаляющийся .cmd-файл :)
https://vicheck.ca/htmlreport.php?SHA=e ... c8bd921c3b
kreotodr
Сообщения: 41
Зарегистрирован: 31 мар 2018, 10:05

Re: Утилита обработки Log-файлов

Сообщение kreotodr »

Chupaka писал(а): 23 май 2018, 11:56 Вон там некоторым не нравится, что в папке Temp создаётся непонятный самоудаляющийся .cmd-файл :)
https://vicheck.ca/htmlreport.php?SHA=e ... c8bd921c3b
Это авторегистрация библиотек...

вот программный код, который создает файл...

Код: Выделить всё

Open AppPathExtended & "\MikrotikLogUtilsregDLL.cmd" For Output As 47
  Print #47, "regsvr32.exe /S  .\MikrotikLogUtils_Dll\TABCTL32.OCX"
  Print #47, "regsvr32.exe /S  .\MikrotikLogUtils_Dll\TABCTL32.OCX"
  Print #47, "regsvr32.exe /S  .\MikrotikLogUtils_Dll\Mscomctl.ocx"
  Print #47, "regsvr32.exe /S  .\MikrotikLogUtils_Dll\Msinet.ocx"
  Print #47, "regsvr32.exe /S  .\MikrotikLogUtils_Dll\Mswinsck.ocx"
  Print #47, "regsvr32.exe /S  .\MikrotikLogUtils_Dll\comdlg32.ocx"
Close #47
Полагаю, что суть его предельно ясна и главное безобидна...
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: Утилита обработки Log-файлов

Сообщение Chupaka »

Мне вот тут интересно стало: а если библиотеки уже были зарегистрированы по нормальным путям, а их автоматически перерегистрирует сейчас на .\MikrotikLogUtils_Dll\ - после удаления/перемещения папки MikrotikLogUtils_Dll другие программы с этими библиотеками продолжат нормально работать?

Кстати, для регистрации, наверное, нужны права Администратора - есть ли смысл в этой "автоматике"?

З.ы. безобидность проще всего показывать на GitHub'е каком-нибудь, с исходниками - там уж точно поверят и помогут при случае идеями/реализацией :)
kreotodr
Сообщения: 41
Зарегистрирован: 31 мар 2018, 10:05

Re: Утилита обработки Log-файлов

Сообщение kreotodr »

Chupaka писал(а): 23 май 2018, 13:32 Мне вот тут интересно стало: а если библиотеки уже были зарегистрированы по нормальным путям, а их автоматически перерегистрирует сейчас на .\MikrotikLogUtils_Dll\ - после удаления/перемещения папки MikrotikLogUtils_Dll другие программы с этими библиотеками продолжат нормально работать?

Кстати, для регистрации, наверное, нужны права Администратора - есть ли смысл в этой "автоматике"?

З.ы. безобидность проще всего показывать на GitHub'е каком-нибудь, с исходниками - там уж точно поверят и помогут при случае идеями/реализацией :)
Хороший вопрос...
Думаю да...)))
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

Re: Утилита обработки Log-файлов

Сообщение Sir_Prikol »

Добрый вечер.

Идея хороша, но исходники просто необходимы.
Скажем так, не все системщики пользуют десктопной системой Microsoft. Многие юзают Linux-системы или, как я Mac OS. В случае чистого приложения, без всяких NET& Framework, ещё есть возможность запустить под wine, но с использованием инсталляторов и фреймворков начинаются проблемы.

Поэтому повторюсь, исходники просто необходимы :)
Дома: CCR2004 (7-ISP(GPON)белый IP)
kreotodr
Сообщения: 41
Зарегистрирован: 31 мар 2018, 10:05

Re: Утилита обработки Log-файлов

Сообщение kreotodr »

Sir_Prikol писал(а): 23 май 2018, 21:12 Добрый вечер.

Идея хороша, но исходники просто необходимы.
Скажем так, не все системщики пользуют десктопной системой Microsoft. Многие юзают Linux-системы или, как я Mac OS. В случае чистого приложения, без всяких NET& Framework, ещё есть возможность запустить под wine, но с использованием инсталляторов и фреймворков начинаются проблемы.

Поэтому повторюсь, исходники просто необходимы :)
услышал Вас. Причешу и выложу...Там честно говоря бардак. Так как писал быстро и для себя...
Они "прилетят" с очередным апдейтом
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: Утилита обработки Log-файлов

Сообщение Chupaka »

И GitHub, не забудьте про GitHub :)
Аватара пользователя
Sir_Prikol
Сообщения: 562
Зарегистрирован: 14 апр 2018, 15:21
Откуда: СССР

Re: Утилита обработки Log-файлов

Сообщение Sir_Prikol »

Правильно ! GitHub! :)
Дома: CCR2004 (7-ISP(GPON)белый IP)
kreotodr
Сообщения: 41
Зарегистрирован: 31 мар 2018, 10:05

Re: Утилита обработки Log-файлов

Сообщение kreotodr »

Ок....)))