MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Базовая функциональность RouterOS
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

Добрался и я наконец-то до этой статьи на хабре, но почему-то не выходит у меня каменный цветок :-)

Дано: Mikrotik 4011 и скрипт с stopad.cgood.ru (источник скрипта рекомендуется на хабре внизу статьи)

Пошагово, что делал:
  1. Для DHCP первым сервером был прописан Mikrotik https://i67.servimg.com/u/f67/11/95/78/30/0114.jpg
  2. На stopad.cgood.ru был сгенерирован скрипт https://i67.servimg.com/u/f67/11/95/78/30/0214.jpg
    Встречал рекомендации, что адресом перенаправления желательно выбирать отличный от 127.0.0.1, поэтому по рекомендации установил 240.0.0.1 и потом порезал запросы в фаерволе (как указано по ссылке на рекомендацию)
  3. Скопировал скрипт в System - Scripts и запустил его https://i67.servimg.com/u/f67/11/95/78/30/0311.jpg
  4. В IP-DNS-Static появилось более 16тыс записей https://i67.servimg.com/u/f67/11/95/78/30/0410.jpg
  5. В IP-DNS разрешил Remote Requests и заблокировал в фаерволе 53-й порт для запросов извне сети https://i67.servimg.com/u/f67/11/95/78/30/0510.jpg
  6. Переподключил комп и убедился, что получил DNS, где первым в списке идёт IP роутера.
Запускаю браузер в инкогнито режиме без расширений, открываю сайт с рекламой (источник которой точно указан в DNS Static), но вся реклама остаётся на месте.

Подскажите пожалуйста, что я упускаю?

Сначала в раздел "скрипты" закинул этот вопрос, но тут вроде проблема не в скрипте, а в общих настройках, поэтому перенёс сюда.
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

Удалите вообще все DNS из DHCP, кроме роутера.
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

а остальные (гугловские/провайдерские) DNS клиенты будут брать из IP-DNS?

upd:
сделал так https://i67.servimg.com/u/f67/11/95/78/30/0115.jpg
переподключил ноут
в свойствах подключения ноута https://i67.servimg.com/u/f67/11/95/78/30/0215.jpg

реклама всё ещё есть
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

Что говорит

Код: Выделить всё

nslookup любой.заблокированный.домен
?
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

Код: Выделить всё

C:\WINDOWS\system32>nslookup 123.com
Server:  UnKnown
Address:  192.168.1.1

*** UnKnown can't find 123.com: No response from server
получается реклама где-то закеширована у меня?
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

Он должен ответить чем-то вроде 240.0.0.1. А у вас как-то ничего нет... Правила фильтра файрвола точно ничего нужного не блокируют?
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

Chupaka писал(а): 06 фев 2020, 18:29 Он должен ответить чем-то вроде 240.0.0.1. А у вас как-то ничего нет... Правила фильтра файрвола точно ничего нужного не блокируют?
да вроде бы нет

спасибо за наводку, буду разбираться

если не разберусь, напишу ещё :-)
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

А на незаблокированные домены как?
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

сделал всё с нуля ещё раз

nslookup на заблокированный домен

Код: Выделить всё

C:\WINDOWS\system32>nslookup 123.com
Server:  UnKnown
Address:  192.168.1.1

Non-authoritative answer:
Name:    123.com
Address:  240.0.0.1
на незаблокированный

Код: Выделить всё

C:\WINDOWS\system32>nslookup mail.ru
Server:  UnKnown
Address:  192.168.1.1

Non-authoritative answer:
Name:    mail.ru
Addresses:  2a00:1148:db00:0:b0b0::1
          94.100.180.200
          217.69.139.202
          94.100.180.202
          217.69.139.200
и даже вроде бы всё работает :-)
только фаервол не вижу чтобы резал запросы на 240.0.0.1
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

bear писал(а): 06 фев 2020, 22:54 только фаервол не вижу чтобы резал запросы на 240.0.0.1
А он должен? Вы сознательно выбрали адрес из зарезервированного диапазона? Может, в этом проблема, и пакеты до роутера не доходят?
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

Chupaka писал(а): 06 фев 2020, 23:16Вы сознательно выбрали мультикастовый адрес?
забыл про этот диапазон :-)
сменю

ещё раз спасибо за подсказку
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

Я там успел "мультикастовый" исправить на "зарезервированный", мультикаст - это до 239.255.255.255 =)
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

ну раз зашёл разговор :-)

а какой лучше использовать?
видел рекомендацию для 255.0.0.0, говорят, что будет дропаться сразу сам и фаервол не нужен
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

Где-то я видел анализ разных вариантов для разных платформ, но сейчас навскидку не нахожу.

Я ставлю 127.0.0.1, поскольку у меня на клиентских устройствах нет веб-серверов, поэтому попытки подключения получают отлуп сразу же, без таймаута. Можно ещё попробовать 255.255.255.255 (а не 255.0.0.0 - он у меня ждёт таймаута) - этот адрес для TCP нельзя использовать, как минимум MacOS сразу режет попытку подключения к нему.
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

Chupaka писал(а): 06 фев 2020, 23:39 Я ставлю 127.0.0.1, поскольку у меня на клиентских устройствах нет веб-серверов
а вот у меня, к сожалению, есть
может в таком случае мне использовать 127.0.0.2 и reject в фаерволе (как было для 240.0.0.1)?
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

127.0.0.0/8 - это локальные адреса, так что вам в этом случае нужен локальный файрвол, а не файрвол роутера :)

Проверьте всё же 255.255.255.255, может?
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

Chupaka писал(а): 06 фев 2020, 23:50Проверьте всё же 255.255.255.255, может?
отогнали меня от роутера уже
мешаю смотреть нетфликс и т.п. :-)
попробую, спасибо
sciensys
Сообщения: 20
Зарегистрирован: 27 дек 2020, 18:48

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение sciensys »

а кто нить проверял фактическую эффективность?
что-то подсказывает, что она такая же, как и без списка (27% т.е. эквивалетна встроенной защите браузера, Microsoft Edge в частности)

другие решения по анализу рекламного трафика не видали?? (кроме отдельных приложений и браузерных расширений), т.е. для Mikrotik.
Аватара пользователя
bear
Сообщения: 167
Зарегистрирован: 03 мар 2016, 18:39

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение bear »

я пытался, но аленький цветочек всё никак не выходил
в итоге надоело мучать роутер и реализовал этот же функционал через pi-hole

по статистике, режется примерно 15/35% запросов (рабочие/выходные дни), легко настраиваются листы блокировки, группы устройств и т.п.
sciensys
Сообщения: 20
Зарегистрирован: 27 дек 2020, 18:48

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение sciensys »

а цветочек в принципе уже не актуален.
реклама сейчас повсеместно инжектируется по типу:
yandex.by##div.i-bem.popup.dist-popup.dist-popup_install_download.dist-popup_product_browser.popup_source_yabs.popup_adaptive_yes.popup_animate_yes.popup_focusevents_no.popup_theme_custom-color.popup_autoclosable_no.dist-popup_js_inited.popup_js_inited.popup_visibility_visible.popup_to_bottom:nth-child(17) > div.popup__content.dist-popup__content:last-child
yandex.by###wd-wrapper-_teaser
kinopoisk.ru##div.\35 0zvhec4l:first-child > div.vfhyaepg6 > div.feature_promo.feature_promo-active.feature_promo-animate:nth-child(19)
yandex.by##div.TF.rows:first-child > div.xp.rows__row.rows__row_main:nth-child(3) > div.desk-notif__wrapper:first-child > div.desk-notif > div.desk-notif-card.desk-notif-card_zen_yes.desk-notif-card_icon_no.desk-notif-card_details_no.desk-notif-card_actions_yes.desk-notif-card_minified_yes.desk-notif-card_animated_yes.desk-notif-card_bg_default.i-bem.desk-notif-card_js_inited:last-child
kinopoisk.ru##div.\32 1rb40k2n:first-child > div.g2vkiknbb > div.feature_promo.feature_promo-active.feature_promo-animate:nth-child(19)
kinopoisk.ru###kvWKB3176834179
gismeteo.by##section.content:nth-child(3) > div.andwhpvb6wj7g:last-child > div.aacssxwe.asw1pusi2 > div.agwti:first-child > div.afefwizse0r4 > washingtonpost.com##div:nth-child(13) > div.mcqti__c_e > div.t_hoiokecmnl > div
https://www.kinopoisk.ru/1S43Pb239/04cb ... Fn5rMPGF3q............................
бегло почитал пихол, там случайно не тоже самое? просто указываешь их DNS, а они там делаю тоже самое, что скрипт сабжа, плюс сливаешь им весь свой трафик.

предполагаю, что рекламу инжектируют не на прямую, т.е. ты на белом сайте, он же делает хэшевый запрос и инжектирует - в результате все, абсолютно все блокировщики по DNS абсолютно бесполезны.
анализировать нужно в браузере, когда контент уже дешифрован и пашится уже непосредственно.

на текущий момент, избавляюсь от рекламы браузерными расширениями на 97%, по тестам, а фактически её нет никакой, от слова вообще.

вопрос актуальный, как срезать рекламу в офисах?!
Последний раз редактировалось sciensys 27 дек 2020, 19:49, всего редактировалось 1 раз.
sciensys
Сообщения: 20
Зарегистрирован: 27 дек 2020, 18:48

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение sciensys »

к примеру, блокировщик браузерное расширение и днс блокировщик на микротике:
Изображение Изображение
Аватара пользователя
Chupaka
Сообщения: 4086
Зарегистрирован: 29 фев 2016, 15:26
Откуда: Минск

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение Chupaka »

Чтобы вырезать рекламу из шифрованного трафика - надо получить доступ к этому шифрованному содержимому. У роутера такого доступа нет. Для уровня организации можно поискать решение с каким-нибудь прокси, умеющим генерировать https-сертификаты на лету для подмены трафика. Навскидку решения не нагуглил, AdGuard что-то пишет у себя про https filtering, но я так и не понял, работает ли оно не на Андроиде :)
sciensys
Сообщения: 20
Зарегистрирован: 27 дек 2020, 18:48

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение sciensys »

да... это печаль.
уже понял, можно собственно не дёргаться.
решение только end-user software

p.s. да, adguard режет на конечных дивайсах, комбинированное приложение (платное) плюс browser extention - 100% вычищает.
nevolex
Сообщения: 70
Зарегистрирован: 04 фев 2021, 14:34

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение nevolex »

установите pi-hole и ипользуйте его как dns сервер
sciensys
Сообщения: 20
Зарегистрирован: 27 дек 2020, 18:48

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Сообщение sciensys »

в домене?