В последние пару лет наблюдается аномальный рост ботового трафика на сайтах. Это коснулось и сайта нашего агентства web-c.ru, и мы смогли вовремя обнаружить атаку спам-ботов и защитить сайт. В этой статье расскажем, какие боты существуют, чем они опасны и как мы решили эту проблему.
Содержание
Распространенные виды ботов, от которых требуется защита
Как определить, что сайт подвергся атаке ботами
Что делать при атаке спам-ботами
Чем опасны спам-боты
Обращения к сайту можно разделить на три группы:
- живые люди, зашедшие через браузер;
- полезные боты (GoogleBot, YandexBot), которые нужны сайту;
- прочие боты, чья цель прихода на сайт неизвестна.
С помощью счетчиков Яндекс.Метрика или Google Analytics можно легко посчитать реальных людей. Но помимо них по сайту может ходить большое количество ботов, о которых вы никогда и не узнаете. Такие боты могут нанести вред сайту и бизнесу.
Распространенные виды ботов, от которых требуется защита
Спам-боты
Это программы, которые рассылают комментарии, письма контактов с ссылками на сторонние ресурсы, могут внедрять трояны и вредоносные коды. Опасность таких ботов состоит в том, что они могут регистрироваться на сайте и подбирать логины и пароли авторизации. Чтобы защититься от спам-ботов, усложните процедуру авторизации, установите плагины спам-защиты, фильтрацию почты и пользователей.
Парсинг-боты
Это боты, которые воруют контент с вашего сайта. Защита от воровства контента наиболее сложная. Самостоятельно решить её можно постоянным контролем за журналом доступа.
Брутфорс или боты подбора паролей
Эти боты опасны тем, что они автоматически подбирают пароли и логины уровня администратора вашего сайта. Чтобы защититься от них, следует устанавливать более сложные пароли, использовать специальные плагины защиты, двухфакторную аутентификацию и периодически менять пароль.
Боты поиска уязвимостей
У любой CMS появляются уязвимости в безопасности. Для борьбы с такими ботами, требуется постоянное обновление системы. Как правило, найденную уязвимость сразу устраняют выходом нового релиза безопасности, а игнорирование обновления повышает вероятность взлома сайта.
Боты накрутки поведенческих факторов
С помощью таких ботов хотят накрутить поведенческие факторы (ПФ) своим сайтам. Как это работает? Берут выдачу из поисковой системы по определенному запросу, например, «телевизоры», и выбирают сайты с установленными счетчиками. Боты начинают «нагуливать» вес на этих сайтах: заходят на них напрямую, не из поиска, создавая видимость интереса к этой теме и действуя как человек. Дальше, когда «пользователь» (по факту — бот) в глазах Яндекса или Google получает определенный статус экспертности в теме и становится максимально похожим на человека, он идёт в поисковую выдачу и кликает на нужные (заказанные) накрутчикам сайты, повышая их ПФ.
Ботовый трафик, предназначенный для накрутки ПФ, опасен тем, что позиции сайта в поисковых системах могут упасть.
Поисковые системы умеют определять ботовый трафик и чаще всего не учитывают его в качестве сигналов для ранжирования, иначе закупка ботов была бы очень распространённым способом манипуляций с выдачей. Тем не менее боты становятся умнее и определить их становится все сложнее.
Как определить, что сайт подвергся атаке ботами
Косвенных признаков того, что сайт подвергся атаке ботов достаточно много. Ниже приведем некоторые из них:
- Самый главный признак, который должен вас насторожить – это увеличение количества прямых заходов, переходов с рекомендательных сайтов (например, с Яндекс.Дзен) и переходов с социальных сетей с мобильным юзерагентом.
- Количество отказов становится меньше, но при этом уменьшается и время на сайте и глубина просмотров.
- Если боты идут с прямых заходов, то проводят на сайте не менее 15 секунд, чтобы метрика не засчитала отказ.
- Боты имитируют действия человека, если смотреть вебвизор: скроллят страницу, даже останавливаются на каком-то участке текста. Но, как отмечают многие веб-мастеры, этим только выдают себя – на человеческие действия это совсем не похоже.
- К прямым заходам добавляются переходы со странных сайтов, на которых, якобы стоит бэклинк на ваш ресурс. Если вы перейдете на этот сайт, то ссылки на ваш сайт не обнаружите.
- В основном боты селятся на сайтах с хорошей посещаемостью – от 500 до 1 000 в сутки.
- Большая часть ботов идёт с IP-адресов сетей мобильных операторов Москвы или Московской области. Особой популярностью у ботоводов пользуется Metropolitan branch of OJSC MegaFon. Так же много ботов идёт с IP-сети, которая подписана как IPv4 address block not managed by the RIPE NCC.
- Количество ботов растёт планомерно и увеличивается каждый день понемногу. Приемлемым показателем считается до 20% ботного трафика. Если доля начинает переваливать за 50%, то стоит бить тревогу.
- Зачастую вместе с ботами растёт количество внешних ссылок с разных спамных ресурсов и сайтов с плохой репутацией.
В Яндекс.Метрике по нашему сайту мы обнаружили резкий всплеск прямых заходов на сайт.
Пример из метрики по трафику до атаки ботов
Пример из метрики по трафику начало атаки ботов
Распределение прямого трафика в течение суток
Вырос мобильный трафик
На графике виден момент, когда аномально резко выросли прямые заходы на сайт. Мы начали наблюдать и заметили, что также резко вырос мобильный трафик – прямые заходы в течение дня распределяются равномерно по времени. Начали анализировать вебвизор и отслеживать данные ПФ и пришли к выводу, что сайт подвергся атаке ботов.
Что делать при атаке спам-ботами
Пока не существует 100% способа защиты от ботов, который бы не блокировал часть реальных пользователей. Однако есть 9 способов решения проблем со спамом:
-
Ничего не делать
Часть веб-мастеров, считают, что ничего делать не надо и пусть Яндекс сам разбирается с этой проблемой. Да, бывает такое, что наличие ботов никак не сказывается на развитии сайта, но мы не рекомендуем все таки оставлять проблему без внимания, так как в один момент станет поздно принимать какие-либо меры. -
Удалить код метрики на конкретных страницах
Если боты атакуют конкретные страницы, то можно попробовать временно убрать с них метрику. Чисто теоретически, если их не будет в метрике, то на поведенческие факторы боты уже влиять не будет. Но чаще всего боты ходят по многим страницам, и убирать метрику со всех страниц – не самое хорошее решение. -
Показывать метрику только пользователям с поиска
Если вы не продвигаетесь в социальных сетях, то можно зафильтровать такой трафик. Также можно поставить фильтр и на прямые заходы. Но такой вариант возможен, если обычно ваш трафик из этих источников достаточно маленький, и отключение части реальных пользователей вместе с ботами не критично скажется на трафике в целом. -
Бан по IP-адресам / подсетям
Такой вариант защиты от ботов возможен, если вы точно знаете с каких IP идут боты, иначе вы заблокируете доступ на сайт всем реальным пользователям.<>/p -
Отключение IPv6
Очень много ботов идёт с IP-адресом протокола IPv6 примерно такого вида 2a09:400:xxxx:xxxx:xxxx:xxxx:xxxx:xxxx. IPv6-адреса можно купить очень дешево, и поэтому ботоводы их охотно скупают, в то время как люди ими почти не пользуются. Таких ботов можно отсечь либо блокировкой, либо отключением в DNS. -
Блокировка / фильтр по AS
На форумах упоминают способ отсечения ботов из социальных сетей блокировкой целых автономных систем (AS), с которых идут мусорные заходы. -
Дополнительная настройка CloudFlare Firewall
В Cloudflare есть настройки, которыми можно блокировать прямые заходы с помощью определенных правил в Firewall. -
Использовать сервис BotFAQtor
BotFAQtor позволяет анализировать посещения на сайте и блокировать некачественный трафик по различным критериям, источникам и типам визитов. -
Использовать сервис Antibot.cloud
Antibot.cloud – облачный сервис для защиты сайтов на php от плохих ботов.
Для борьбы с атакой ботами, мы выбрали 7 и 8 пункты, но лучше всего нам помог сервис BotFAQtor.
Сервисы для защиты от ботов
Как мы писали раньше, одним из признаков атаки ботов является увеличение числа прямых заходов. Так как у нас процент прямых заходов от общей доли трафика не был существенным, мы решили рискнуть и отфильтровать прямые заходы на сайт с помощью сервиса Cloudflare.
1. Cloudflare
В сервисе Cloudflare есть настройки, с помощью которых можно блокировать прямые заходы, используя определенные правила в Firewall. Для того, чтобы добавить правило фильтра прямого трафика по реферу, идем по пути Firewall → Firewall Rules:
Создаем новое правило Create a Firewall Rule
В правиле мы указываем, с каких источников не показывать капчу при заходе на сайт. Напоминаем, что такой трафик НЕ блокируется, просто Cloudflare будет показывать капчу всем, кто заходит на сайт из других источников.
Теперь блокируем доступ плохим ботам к сайту, для этого включаем в настройках редирект с HTTP на HTTPS, если на сайте установлен SSL-сертификат. Включить переадресацию можно в секции SSL/TLS в категории Edge Certificates. Свайпаем настройку Always Use HTTPS в положение ON.
Теперь даем доступ к сайту только «хорошим» роботам. Для этого создаем новое правило по пути Firewall → Firewall Rules → Create a Firewall rule. В качестве действия оставляем Allow. Правило выглядит так:
После настройки правил в Cloudflare мы заметили существенный спад прямого трафика. Но резко выросли внутренние переходы. От ботов сайт все равно не защищен, они также атакуют, но теперь метрика считывает это как внутренний переход.
Так как атака ботов продолжилась, мы решили пробовать бороться дальше и обратились за помощью к сервису BotFAQtor.
2. BotFAQtor
В комплекте BotFAQtor идёт защита от скликивания рекламных объявлений и укорачиватель URL. Работает сервис по принципу редиректа на свою платформу при каждом http-запросе к сайту. BotFAQtor анализирует запрос на его «человечность» и только после этого даёт добро на переход к сайту.
После того, как установили счетчик BotFAQtor, ситуация с трафиком начала налаживаться. На момент написания статьи трафик по источникам распределяется так:
Резюмируем
Никогда не забывайте отслеживать трафик сайта, чтобы вовремя заметить любые отклонения. Если вовремя не решить проблему с атакой ботов на сайт, то вы рискуете получить бан со стороны поисковой системы, выйти из которого будет уже очень непросто.
-
Уверены, что ваш сайт надежно защищен? Оставьте заявку и наши специалисты подготовят аудит сайта.
Чтобы получать еще больше полезной информации из мира digital, подписывайтесь на наш блог и Телеграм-канал.
