База знаний

Каждая вкладка представляет собой отдельную таблицу в базе данных с определенным типом информации:

• Лог блокировок: Запись о каждом факте блокировки. Показывает, кто, когда, за что и по какому правилу был заблокирован.
• Репутация IP: Список IP-адресов, которые находятся во временном бане или прошли проверку. Показывает статус, причину и время истечения бана/иммунитета.
• Активность подсетей: Данные для башни "Анализ подсетей". Показывает, сколько уникальных IP и хитов приходит с каждой /24 подсети.
• Активность IP: Детальная статистика запросов для каждого IP по разным временным периодам (минута, час, день).
• Посекундные хиты: "Сырой" лог запросов за последние несколько минут для отслеживания очень быстрых атак.
• Списки доступа: Содержимое ваших "серых" списков, если они используются.
• Лог наблюдения скраперов: Кого детектор скраперов отметил в режиме наблюдения (или перед баном) — IP, доля AJAX, число URL, правило (scrape_ajax_ratio / scrape_js_headless). Это не то же самое, что файлы в разделе «Логи».

• Поиск: Позволяет мгновенно отфильтровать данные в текущей таблице по любому значению (IP, User-Agent, правило блока и т.д.).
• Действия (справа): Кнопки для массовых операций. Выберите записи с помощью галочек в таблице, а затем нажмите на одну из кнопок:
  - Добавить IP в Черный список.
  - Добавить IP в Вечный бан.
  - Удалить выбранные записи из таблицы.

Клик по заголовку любого столбца отсортирует данные по этому полю. Рядом с IP-адресами есть иконки для "перекрестного поиска": они позволяют быстро найти все записи, связанные с этим IP, в других разделах (например, в Аналитике).

Главный переключатель для всей башни. Если выбрать "Выключен", ни одно из правил ниже работать не будет.

Перечислите IP-адреса, по одному на строку. Вы также можете указывать диапазоны, например: 192.168.1.1-192.168.1.255 (требует активной подписки).

Здесь указываются частичные совпадения. Если в User-Agent посетителя будет найдена указанная строка (например, "zgrab"), он будет заблокирован. Это эффективно против известных вредоносных сканеров.

Если в запрошенном URL встречается эта часть, доступ немедленно блокируется. Отлично подходит для отсеивания ботов, которые ищут стандартные страницы входа (например, для WordPress), даже если у вас их нет.

Так как у нарушителя нет шанса на реабилитацию, рекомендуется не показывать ему стандартную страницу блокировки, а просто вернуть ошибку (например, 403 Forbidden или 404 Not Found), чтобы он быстрее прекратил свои попытки.

Включает или выключает проверку по черному списку.

IP-адреса, которые подлежат блокировке. По одному IP или диапазону на строку.

Ключевая настройка. Вы можете дать пользователю из черного списка шанс, предложив ему пройти проверку. Если выбрать "Нет досрочного выхода", эта башня будет работать так же, как "Вечный бан".

Что делать, если пользователь из черного списка не смог пройти проверку. Рекомендуется повышать его до Вечного бана, так как это явный признак бота.

Эта настройка используется только в том случае, если вы не дали пользователю возможность пройти проверку (в поле "Способ выхода" выбрано "Нет досрочного выхода").

Главный переключатель всей системы Talosion. Если он выключен, ни одна проверка, включая лимиты, работать не будет.

Очень строгий лимит для отсеивания самых агрессивных атак (DDoS, брутфорс). Обычный пользователь никогда не сделает 10 запросов за одну секунду.

Основной лимит для отлова быстрых ботов-парсеров и сканеров уязвимостей.

Отлавливает ботов средней интенсивности, которые пытаются маскироваться под обычных пользователей, делая паузы между запросами.

Отличный способ поймать медленных парсеров, которые собирают данные с вашего сайта в течение всего дня, стараясь не превышать часовые лимиты.

Эффективно против "спящих" ботов, которые могут проявлять активность раз в несколько дней, чтобы обойти суточные лимиты.

Помогает выявить системную, но очень медленную активность по сбору данных или сканированию, которая может остаться незамеченной на более коротких промежутках.

Если эту башню выключить, то при превышении лимитов ничего происходить не будет (действия из других башен, например, "Черного списка", продолжат работать).

Позволяет нарушителю, попавшему во временный бан, не ждать его окончания, а сразу пройти проверку и продолжить работу с сайтом. Если выбрать "Нет выхода", пользователю придется ждать, пока истечет время бана (по умолчанию 24 часа).

Определяет, что произойдет с пользователем, который получил шанс пройти проверку, но не справился. Это сильный сигнал о том, что посетитель — бот. Рекомендуется эскалировать наказание, например, добавив его в "Черный список" или "Вечный бан".

Какой тип страницы увидит пользователь, который находится во временном бане и которому не предложена (или он не хочет проходить) проверка.

Активирует набор правил для анализа заголовка User-Agent.

Запросы без заголовка User-Agent почти всегда отправляются ботами. Настоятельно рекомендуется оставить эту опцию включенной.

IDS (Intrusion Detection System) — это система, которая анализирует содержимое запросов (GET, POST, COOKIE) на наличие вредоносных команд.

Каждая строка — это регулярное выражение (PCRE). Если оно совпадет с данными в запросе, он будет заблокирован. По умолчанию здесь заданы правила для поиска попыток получить доступ к системным файлам, SQL-инъекций и XSS-атак.

Активирует эту башню защиты. Рекомендуется включать при подозрении на распределенную атаку.

В течение скольких часов система будет считать уникальные IP из одной подсети.

Если за указанный период анализа с одной /24 подсети придет больше этого количества разных IP-адресов, вся подсеть будет помечена как атакующая.

Здесь вы выбираете, насколько жестко реагировать на атаку.
• Применять общие лимиты: (рекомендуется) более мягкий вариант. Все IP из этой подсети будут обрабатываться как один, и к ним будут применяться ваши обычные лимиты запросов (из раздела "Лимиты активности").
• Полностью заблокировать: агрессивная защита, которая немедленно заблокирует доступ для всех IP из этой подсети.

Включает серверный анализ по доле служебного AJAX и профилю запросов. Работает даже если бот не исполняет JavaScript.

Общий режим и для AJAX-ratio, и для JS-отпечатка ниже. «Наблюдение» — только запись в лог. «Бан» — короткий временный бан (минуты настраиваются отдельно) с возможностью выйти через CAPTCHA.

Отдельный сигнал в духе Метрики: tracker.js читает navigator.webdriver, число плагинов, размеры screen/outer (аналог screenFormat=None). Сбор в аналитике сессии идёт при включённой аналитике всегда; эта опция включает реакцию (лог / бан по режиму выше). Работает только если посетитель исполняет JS. Чистый HTTP-скрапер без браузера этим не поймать — для него нужен AJAX-ratio. На мобильных plugins=0 само по себе не считается подозрением.

Скользящее окно статистики по одному IP.

Ниже порога правило не срабатывает — защита от случайных всплесков.

У скрапера обычно один UA. NAT с живыми людьми часто даёт больше разных агентов.

Если доля обращений к JS/AJAX-эндпоинтам ниже порога — признак скрапера без исполнения JS.

Скрапер часто долбит 1–3 страницы. Если парсер обходит весь каталог (сотни URL), этот порог нужно повысить или опираться на JS-отпечаток / другие башни.

Список URL, которые живой браузер обычно дергает сам (скрипты сайта + Talosion). По ним считается «доля AJAX». Без списка все запросы считаются «не AJAX» (доля 0%) — будет много ложных срабатываний. Не очищайте поле; при другой CMS добавьте свои AJAX-подстроки.

Короткий бан: бот вернётся и попадётся снова, живой клиент быстро продолжит через CAPTCHA или по истечении времени.

Рекомендуется CAPTCHA (Puzzle или Яндекс SmartCaptcha) — см. настройки проверок.

Выберите провайдера проверки. Доступны три варианта (см. ниже).

Нужен для Google reCAPTCHA и Яндекс SmartCaptcha. Для Talosion Puzzle не используется.

Серверный ключ того же провайдера. Для Puzzle не нужен.

Сколько раз показать CAPTCHA/JS-проверку, прежде чем применить «Действие при провале» из сработавшей башни.

Базовая длительность временного бана для сценариев, где в «Действии при провале» выбран временный бан. У детектора скраперов своё короткое время бана в настройках башни.

Этот текст будет показан на странице блокировки, если в настройках сработавшей башни в качестве ответа выбрано "Показать сообщение о блокировке".

Укажите через запятую коды ошибок. Если в башне выбран ответ "Отдать HTTP ошибку", система случайным образом выберет один из этих кодов и вернет его боту. Это эффективный способ скрыть факт наличия защиты.

Создает искусственную задержку ответа для замедления ботов. Система выберет случайное время от 0 до указанного значения. Это делает парсинг вашего сайта очень медленным и невыгодным для злоумышленника.