Странное поведение zapret при добавлении белого списка

[vloden]

Товарищи, запрашиваю помощь, пытался разобраться сам, и поломал голову, ума не приложу в чём может быть дело.
Ситуация: имеется следующая мультистратегия для nfqws, которая выглядит вот так:

NFQWS_OPT="
--filter-tcp=80 --dpi-desync=fakeddisorder --dpi-desync-ttl=2 --dpi-desync-split-pos=method+2 <HOSTLIST> --new 
--filter-tcp=443 --dpi-desync=syndata,multidisorder --dpi-desync-split-pos=1,midsld --hostlist=/opt/zapret/hostlist_youtube.txt --new 
--filter-tcp=443 --dpi-desync=syndata,multisplit --dpi-desync-split-pos=1 --hostlist=/opt/zapret/hostlist_2.txt --new 
--filter-udp=443 --dpi-desync=fake --dpi-desync-repeats=6 <HOSTLIST_NOAUTO>"

Для youtube очень давно был подобран и профиль, и нужный хостлист, и до сих пор всё работает отлично, как часы. Недавно возникла потребность проработать дополнительный профиль для другого вебсайта. И вот тут начались проблемы. Сам профиль я подобрал достаточно быстро - если убрать второй хостлист вообще и тем самым пропускать весь дополнительный кроме ютуба поток через него, сервис будет работать идеально: я смогу и открыть сайт, и залогиниться, но вот при настройке "белого списка" для него a.k.a. hostlist_2.txt начались проблемы.
Для начала я просто использовал найденные на просторах интернета хостлисты - не помогло. Затем я использовал tcpdump в режиме работы без белого списка, когда всё загружается, чтобы определить дополнительные домены, используемые вебсайтом - и это тоже не помогло.
В итоге я нахожусь в ситуации, когда при отключении хостлиста всё работает, а при добавлении любого, даже самого скрупулёзно составленного - я не могу загрузить даже приветственную страницу. Подскажите, в чём может быть дело и как лучше всего подобрать хостлист, чтобы всё заработало? Ранее ровно таким же образом я определял хостлист для ютуба и всё получилось, здесь же я ловлю какой-то затык и не понимаю, куда мне дальше двигаться...

[HentayHentay]

Сам профиль я подобрал достаточно быстро - если убрать второй хостлист вообще и тем самым пропускать весь дополнительный кроме ютуба поток через него, сервис будет работать идеально: я смогу и открыть сайт, и залогиниться, но вот при настройке "белого списка" для него a.k.a. hostlist_2.txt начались проблемы.

Судя по написанному сайт не требует вообще применения запрета.

Затем я использовал tcpdump в режиме работы без белого списка, когда всё загружается, чтобы определить дополнительные домены, используемые вебсайтом - и это тоже не помогло.

Может все-же сайт не требует стратегии, а мы мучаем сайт...

--filter-tcp=80 --dpi-desync=fakeddisorder --dpi-desync-ttl=2 --dpi-desync-split-pos=method+2 <HOSTLIST> --new

Где похожая стратегия для tcp443?

В итоге я нахожусь в ситуации, когда при отключении хостлиста всё работает, а при добавлении любого, даже самого скрупулёзно

• провайдер
• хост не требует стратегии
• syndata - стратегия 0 фазы. С листами плохо совместимо. Так что требует осторожного и вдумчивого применения
• Не тот режим работы запрета (судя по тому, что написано у нас hostlist)

[HentayHentay]

Почитайте талмуд для понимания
Можете воспользоваться поиском

Почему плохо совместимо с листами?

нулевая фаза - когда ещё не понятен что за ип, хост мы будем дурить, но стратегия уже применяется

А вот со вторым что-то сломалось...

На разных направлениях провайдер применяет от 16 кб блока, до ещё хитрого и найденная стратегия может быть неверно найденной.

Я думал, у zapret'а только один режим...

У запрета 4 режима работы. В талмуде узнаете какие)

[bol-van]

syndata не работает с хостлистами. она не будет применена в профиле с обычным хостлистом, а в профиле с автолистом будет применена вне зависимости от хоста

[vloden]

syndata не работает с хостлистами. она не будет применена в профиле с обычным хостлистом, а в профиле с автолистом будет применена вне зависимости от хоста

Вчера после ответа @HentayHentay я ознакомился с талмудом на эту тему и похоже, что это действительно так. Однако теперь для меня загадка - почему с ютубовским хостлистом всё работало? Там тоже в профиле была syndata... Может, различия во втором mode, multidisorder или multisplit, как-то повлияли на это дело?

[vloden]

syndata не работает с хостлистами. она не будет применена в профиле с обычным хостлистом, а в профиле с автолистом будет применена вне зависимости от хоста

@bol-van, подскажите, правильно ли я понимаю, что в данном случае основным советом будет пытаться подбирать профиль, не содержащий syndata и прочие стратегии нулевой фазы, чтобы моё решение было совместимо с хостлистами?

[bol-van]

Это лучший вариант.
Но если никак - можно использовать --ipcache-hostname.
Суть этого параметра читайте в доке
Или переходить на фильтрацию по ipset/port

[numbereleven-a]

1. какой сайт
2. покажи список который ты сделал для него
3. конфиг когда с ним проблема
4. какой режим работы MODE_FILTER=

[vloden]

какой сайт

x.com

покажи список который ты сделал для него

abs.twimg.com
accounts.google.com
appleid.cdn-apple.com
fonts.gstatic.com
pbs.twimg.com
play.google.com
ssl.gstatic.com
twitter.com
video.twimg.com
x.com

конфиг когда с ним проблема

конфиг для NFQWS прикрепил сверху, остальное как в стандартном шаблоне запрета, ничего не менял
если вдруг нужен полный, могу тоже его приложить

какой режим работы MODE_FILTER=

none

[numbereleven-a]

none

попробуй hostlist

а домены эти в какой файл добавлены?

[vloden]

попробуй hostlist

Попробовал, не помогло, к сожалению. Судя по тому, что в талмуде написано:

При режимах фильтрации MODE_FILTER=hostlist или MODE_FILTER=autohostlist система запуска передает nfqws или tpws все листы, файлы которых присутствуют. Передача происходит через замену маркеров <HOSTLIST> и <HOSTLIST_NOAUTO> на реальные параметры --hostlist, --hostlist-exclude, --hostlist-auto.

Разница между none и hostlist в том, что в маркеры <HOSTLIST> и <HOSTLIST_NOAUTO> подставятся хосты из файлов с хостлистами из /opt, а у меня в конфиге эти маркеры остались только в стратегиях для tcp80 и udp443, которые за мои стратегии обхода не отвечают и я ими не пользуюсь, в остальных стратегиях у меня хостлисты явно прописаны, так что видимо у меня от смены none на hostlist эффекта никакого и не предвидится.

а домены эти в какой файл добавлены?

В файл hostlist_2.txt

[numbereleven-a]

В файл hostlist_2.txt

получается страта которая стоит выше строкой юзается с нулевой фазой
вообще можешь дебаглог включить и там увидеть последовательность работы страты на то что запрет находит в качестве цели дурилки
а если проще, найди страты без нулевой фазы

[HentayHentay]

@vloden

почему с ютубовским хостлистом всё работало?

Потому что блок со стороны провайдера не такой хороший, в отличие от нужного сайта

none

В данном режиме листы не работают . Работает стратегия по указанному порту в конфигурации запрете.

что в маркеры <HOSTLIST> и <HOSTLIST_NOAUTO>

Это не мешает вынести в отдельную стратегию нужные листы и применить их
Талмуд - Множественная стратегия
Так-же можно поступить наоборот и внести нужные хосты и ip в листы, что по умолчанию.

x.com

Частично находиться под блоком cidr у всех провайдеров
Лечение:
Найти рабочие ипы и привязать их к доменам через hosts. Тогда и обход заработает.

@numbereleven-a

а если проще, найди страты без нулевой фазы

Данную стратегию без полуручной правки ответов днс приводит к недоступности сайта. Он в блоке.
Стратегию нулевой фазы с хостлистом можно применять, но нужно вынести её в отдельную стратегию и как можно ниже . А то она будет срабатывать первой

[vloden]

@numbereleven-a

вообще можешь дебаглог включить

А есть способ как-то перенаправить дебаг из nfqws в какой-либо файл на выбор? В талмуде нашёл, что для включения дебаглога достаточно просто ввести debug=1 в параметрах, но вот как перенаправить лог в файл, не нашёл, к сожалению. А без этого я не могу его посмотреть.

@HentayHentay

Это не мешает вынести в отдельную стратегию нужные листы и применить их

Может я не до конца понимаю, что вы имеете в виду, но вроде бы я так сейчас и делаю? У меня как раз к каждой стратегии подтягивается нужный лист с помощью параметра --hostlist. И всё же есть ощущение, что даже в режиме none эти хостлисты имеют эффект, иначе бы при подключении/отключении хостлиста результат работы не менялся бы, а у меня в одном случае ничего не работает, а в другом всё открывается.

Частично находиться под блоком cidr у всех провайдеров
Данную стратегию без полуручной правки ответов днс приводит к недоступности сайта. Он в блоке.

К сожалению, тут мне тоже не хватает компетенции понять сразу, поэтому уточню: правильно ли я понимаю, что этот тип блока подразумевает, что в данном случае решение использования стратегий без нулевой фазы априори не сработает? Если так, то где я могу посмотреть реестр подобных сайтов с блокировками подобного типа для моего провайдера? Либо, может, есть какой-то способ по домену понять, блокировка какого типа для него применяется?

Найти рабочие ипы и привязать их к доменам через hosts. Тогда и обход заработает.

В талмуде есть описание этого процесса? Если да, на какую главу я могу ориентироваться?

Стратегию нулевой фазы с хостлистом можно применять, но нужно вынести её в отдельную стратегию и как можно ниже . А то она будет срабатывать первой.

Так вроде бы, если сейчас посмотреть на мой конфиг, то у меня сейчас эта стратегия (стратегию для udp443 не учитываем) и располагается после всех остальных? Т.е. она должна как раз применяться после всех стратегий до этого, так что вроде бы проблем быть не должно? Может, влияет то, что стратегия выше для ютуба тоже является стретегией нулевой фазы?

[numbereleven-a]

А есть способ как-то перенаправить дебаг из nfqws в какой-либо файл на выбор?

--debug=@/opt/zapret/log.txt

[numbereleven-a]

Так вроде бы, если сейчас посмотреть на мой конфиг, то у меня сейчас эта стратегия (стратегию для udp443 не учитываем) и располагается после всех остальных?

у тебя первая страта с 0 фазой --filter-tcp=443 --dpi-desync=syndata,multidisorder --dpi-desync-split-pos=1,midsld она на всё 443 и работает,

[vloden]

Проблема решена. Огромное спасибо @bol-van, @HentayHentay, @numbereleven-a за помощь, подробное разжёвывание принципов работы zapret'a и ответы на вопросы, без вас бы я не разобрался.

По итогу сработал полный отказ от стратегий нулевой фазы. В процессе даже удалось найти одну рабочую стратегию для одновременно ютубовских и x-ных хостов, так что даже множественную стратегию использовать не пришлось.

Отметил как верный ответ, который в итоге привёл меня к правильному решению, хотя каждый понемногу продвигал меня к пониманию того, в чём проблема.