Страница 1 из 2

MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 05 фев 2020, 10:53
bear
Добрался и я наконец-то до этой статьи на хабре, но почему-то не выходит у меня каменный цветок :-)

Дано: Mikrotik 4011 и скрипт с stopad.cgood.ru (источник скрипта рекомендуется на хабре внизу статьи)

Пошагово, что делал:
  1. Для DHCP первым сервером был прописан Mikrotik https://i67.servimg.com/u/f67/11/95/78/30/0114.jpg
  2. На stopad.cgood.ru был сгенерирован скрипт https://i67.servimg.com/u/f67/11/95/78/30/0214.jpg
    Встречал рекомендации, что адресом перенаправления желательно выбирать отличный от 127.0.0.1, поэтому по рекомендации установил 240.0.0.1 и потом порезал запросы в фаерволе (как указано по ссылке на рекомендацию)
  3. Скопировал скрипт в System - Scripts и запустил его https://i67.servimg.com/u/f67/11/95/78/30/0311.jpg
  4. В IP-DNS-Static появилось более 16тыс записей https://i67.servimg.com/u/f67/11/95/78/30/0410.jpg
  5. В IP-DNS разрешил Remote Requests и заблокировал в фаерволе 53-й порт для запросов извне сети https://i67.servimg.com/u/f67/11/95/78/30/0510.jpg
  6. Переподключил комп и убедился, что получил DNS, где первым в списке идёт IP роутера.
Запускаю браузер в инкогнито режиме без расширений, открываю сайт с рекламой (источник которой точно указан в DNS Static), но вся реклама остаётся на месте.

Подскажите пожалуйста, что я упускаю?

Сначала в раздел "скрипты" закинул этот вопрос, но тут вроде проблема не в скрипте, а в общих настройках, поэтому перенёс сюда.

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 05 фев 2020, 15:18
Chupaka
Удалите вообще все DNS из DHCP, кроме роутера.

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 05 фев 2020, 15:36
bear
а остальные (гугловские/провайдерские) DNS клиенты будут брать из IP-DNS?

upd:
сделал так https://i67.servimg.com/u/f67/11/95/78/30/0115.jpg
переподключил ноут
в свойствах подключения ноута https://i67.servimg.com/u/f67/11/95/78/30/0215.jpg

реклама всё ещё есть

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 05 фев 2020, 19:59
Chupaka
Что говорит

Код: Выделить всё

nslookup любой.заблокированный.домен
?

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 05 фев 2020, 22:08
bear

Код: Выделить всё

C:\WINDOWS\system32>nslookup 123.com
Server:  UnKnown
Address:  192.168.1.1

*** UnKnown can't find 123.com: No response from server
получается реклама где-то закеширована у меня?

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 18:29
Chupaka
Он должен ответить чем-то вроде 240.0.0.1. А у вас как-то ничего нет... Правила фильтра файрвола точно ничего нужного не блокируют?

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 18:33
bear
Chupaka писал(а): 06 фев 2020, 18:29 Он должен ответить чем-то вроде 240.0.0.1. А у вас как-то ничего нет... Правила фильтра файрвола точно ничего нужного не блокируют?
да вроде бы нет

спасибо за наводку, буду разбираться

если не разберусь, напишу ещё :-)

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 18:51
Chupaka
А на незаблокированные домены как?

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 22:54
bear
сделал всё с нуля ещё раз

nslookup на заблокированный домен

Код: Выделить всё

C:\WINDOWS\system32>nslookup 123.com
Server:  UnKnown
Address:  192.168.1.1

Non-authoritative answer:
Name:    123.com
Address:  240.0.0.1
на незаблокированный

Код: Выделить всё

C:\WINDOWS\system32>nslookup mail.ru
Server:  UnKnown
Address:  192.168.1.1

Non-authoritative answer:
Name:    mail.ru
Addresses:  2a00:1148:db00:0:b0b0::1
          94.100.180.200
          217.69.139.202
          94.100.180.202
          217.69.139.200
и даже вроде бы всё работает :-)
только фаервол не вижу чтобы резал запросы на 240.0.0.1

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 23:16
Chupaka
bear писал(а): 06 фев 2020, 22:54 только фаервол не вижу чтобы резал запросы на 240.0.0.1
А он должен? Вы сознательно выбрали адрес из зарезервированного диапазона? Может, в этом проблема, и пакеты до роутера не доходят?

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 23:21
bear
Chupaka писал(а): 06 фев 2020, 23:16Вы сознательно выбрали мультикастовый адрес?
забыл про этот диапазон :-)
сменю

ещё раз спасибо за подсказку

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 23:25
Chupaka
Я там успел "мультикастовый" исправить на "зарезервированный", мультикаст - это до 239.255.255.255 =)

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 23:29
bear
ну раз зашёл разговор :-)

а какой лучше использовать?
видел рекомендацию для 255.0.0.0, говорят, что будет дропаться сразу сам и фаервол не нужен

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 23:39
Chupaka
Где-то я видел анализ разных вариантов для разных платформ, но сейчас навскидку не нахожу.

Я ставлю 127.0.0.1, поскольку у меня на клиентских устройствах нет веб-серверов, поэтому попытки подключения получают отлуп сразу же, без таймаута. Можно ещё попробовать 255.255.255.255 (а не 255.0.0.0 - он у меня ждёт таймаута) - этот адрес для TCP нельзя использовать, как минимум MacOS сразу режет попытку подключения к нему.

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 23:46
bear
Chupaka писал(а): 06 фев 2020, 23:39 Я ставлю 127.0.0.1, поскольку у меня на клиентских устройствах нет веб-серверов
а вот у меня, к сожалению, есть
может в таком случае мне использовать 127.0.0.2 и reject в фаерволе (как было для 240.0.0.1)?

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 23:50
Chupaka
127.0.0.0/8 - это локальные адреса, так что вам в этом случае нужен локальный файрвол, а не файрвол роутера :)

Проверьте всё же 255.255.255.255, может?

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 06 фев 2020, 23:54
bear
Chupaka писал(а): 06 фев 2020, 23:50Проверьте всё же 255.255.255.255, может?
отогнали меня от роутера уже
мешаю смотреть нетфликс и т.п. :-)
попробую, спасибо

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 27 дек 2020, 18:54
sciensys
а кто нить проверял фактическую эффективность?
что-то подсказывает, что она такая же, как и без списка (27% т.е. эквивалетна встроенной защите браузера, Microsoft Edge в частности)

другие решения по анализу рекламного трафика не видали?? (кроме отдельных приложений и браузерных расширений), т.е. для Mikrotik.

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 27 дек 2020, 19:03
bear
я пытался, но аленький цветочек всё никак не выходил
в итоге надоело мучать роутер и реализовал этот же функционал через pi-hole

по статистике, режется примерно 15/35% запросов (рабочие/выходные дни), легко настраиваются листы блокировки, группы устройств и т.п.

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 27 дек 2020, 19:18
sciensys
а цветочек в принципе уже не актуален.
реклама сейчас повсеместно инжектируется по типу:
yandex.by##div.i-bem.popup.dist-popup.dist-popup_install_download.dist-popup_product_browser.popup_source_yabs.popup_adaptive_yes.popup_animate_yes.popup_focusevents_no.popup_theme_custom-color.popup_autoclosable_no.dist-popup_js_inited.popup_js_inited.popup_visibility_visible.popup_to_bottom:nth-child(17) > div.popup__content.dist-popup__content:last-child
yandex.by###wd-wrapper-_teaser
kinopoisk.ru##div.\35 0zvhec4l:first-child > div.vfhyaepg6 > div.feature_promo.feature_promo-active.feature_promo-animate:nth-child(19)
yandex.by##div.TF.rows:first-child > div.xp.rows__row.rows__row_main:nth-child(3) > div.desk-notif__wrapper:first-child > div.desk-notif > div.desk-notif-card.desk-notif-card_zen_yes.desk-notif-card_icon_no.desk-notif-card_details_no.desk-notif-card_actions_yes.desk-notif-card_minified_yes.desk-notif-card_animated_yes.desk-notif-card_bg_default.i-bem.desk-notif-card_js_inited:last-child
kinopoisk.ru##div.\32 1rb40k2n:first-child > div.g2vkiknbb > div.feature_promo.feature_promo-active.feature_promo-animate:nth-child(19)
kinopoisk.ru###kvWKB3176834179
gismeteo.by##section.content:nth-child(3) > div.andwhpvb6wj7g:last-child > div.aacssxwe.asw1pusi2 > div.agwti:first-child > div.afefwizse0r4 > washingtonpost.com##div:nth-child(13) > div.mcqti__c_e > div.t_hoiokecmnl > div
https://www.kinopoisk.ru/1S43Pb239/04cb ... Fn5rMPGF3q............................
бегло почитал пихол, там случайно не тоже самое? просто указываешь их DNS, а они там делаю тоже самое, что скрипт сабжа, плюс сливаешь им весь свой трафик.

предполагаю, что рекламу инжектируют не на прямую, т.е. ты на белом сайте, он же делает хэшевый запрос и инжектирует - в результате все, абсолютно все блокировщики по DNS абсолютно бесполезны.
анализировать нужно в браузере, когда контент уже дешифрован и пашится уже непосредственно.

на текущий момент, избавляюсь от рекламы браузерными расширениями на 97%, по тестам, а фактически её нет никакой, от слова вообще.

вопрос актуальный, как срезать рекламу в офисах?!

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 27 дек 2020, 19:33
sciensys
к примеру, блокировщик браузерное расширение и днс блокировщик на микротике:
Изображение Изображение

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 30 дек 2020, 01:41
Chupaka
Чтобы вырезать рекламу из шифрованного трафика - надо получить доступ к этому шифрованному содержимому. У роутера такого доступа нет. Для уровня организации можно поискать решение с каким-нибудь прокси, умеющим генерировать https-сертификаты на лету для подмены трафика. Навскидку решения не нагуглил, AdGuard что-то пишет у себя про https filtering, но я так и не понял, работает ли оно не на Андроиде :)

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 30 дек 2020, 01:48
sciensys
да... это печаль.
уже понял, можно собственно не дёргаться.
решение только end-user software

p.s. да, adguard режет на конечных дивайсах, комбинированное приложение (платное) плюс browser extention - 100% вычищает.

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 05 фев 2021, 03:53
nevolex
установите pi-hole и ипользуйте его как dns сервер

Re: MikroTik StopAD - блокировка рекламы при помощи Mikrotik

Добавлено: 05 фев 2021, 22:56
sciensys
в домене?