Анализируя статистику, вебмастер может увидеть результат в несколько тысяч переходов, но при подробном изучении, будет видно, что конверсия низкая, а целевая аудитория не соответствует данным выдаваемой метрикой.

Дело в том, что многие пользователи используют ботов для накрутки поведенческих факторов. В 2021 году за 6 месяцев доля автоматизированных сессий осуществляемых ботами составила две трети, от общего числа интернет-трафика.

Четверть из всех переходов с поисковых систем, являются ботами для накруток. Такие неестественные переходы фиксируются как прямой трафик, также могут целенаправленные действия по «скрутке» поведенческих факторов.

Пример статы из Яндекс метрики

Внезапный рост прямого трафика.Как бороться с ботами и накруткой ПФ. Аналитическая статья

Вот еще пример

Как бороться с ботами и накруткой ПФ. Аналитическая статья

Если просто прямой трафик (как правило с мобильных устройств на андроиде), то скорей всего это означаете что специалист по накрутке обучает ботов: «нагуливает профиль». То есть бот ходит по разными сайтам определенных тематик, поисковые системы его начинают воспринимать как реального человека, а потом такой бот крутит поведенческие нужным сайтам.

Зачем нужны боты

Каждый бот предназначен для определенных целей. Некоторые работают как парсеры, они воруют чужие статьи и приносят их своему владельцу. Есть такие, которые имитируют поведение пользователя, заходят на страницы, щелкают по ссылкам или по рекламе.

Более продвинутые боты способны делать дополнительные действия полностью соответствующие человеческим, а именно проводить больше времени на сайте и просматривать страницы вглубь.

Этих ботов в основном используют при сером продвижении. Но следует понимать, что если сайт коммерческого содержания, то накрутка поведенческих факторов не увеличит покупательскую способность.

Даже, наоборот, при активном действии накрутки можно перестараться и вместо увеличения посещаемости, угодить под фильтр поисковика, из которого выйти будет невозможно и придется менять домен.

Ранее боты могли с легкостью обмануть поисковую машину, но после 2020 года алгоритмы поисковиков улучшились, и пришлось менять подход к накрутке поведенческих факторов.

Прежде чем использовать робота для основных целей разработчики стали нагуливать ботов на других ресурсах, чтобы те обзавелись историей в браузере, возрастом и другими вещами.

Разумеется, нагуливание происходит по интересам, т.е. например если планируется запускать автоматические сессии для сайта автолюбителей, то и посещать страницы робот должен на похожих веб-сайтах.

Есть также боты, которые делают для борьбы с конкурентами, они могут оставлять заявки на сайте, делать так называемое «скликивание конверсий», что актуально для рекламы в Директе.

Чем вредны боты

Поисковики плохо относятся к ресурсам, посещаемость которых в основном составляют роботы и как писалось выше, могут такие сайты загнать под фильтр или пессимизировать (понизить) в поисковой выдаче.

Даже качественны bot не несет никакой пользы, они могут выполнять какие-то действия, но продажи от этого не увеличатся.

Злоумышленники в основном пользуются всевозможными вариантами, чтобы нанести вред конкурентам.

Существуют несколько способов это сделать.

1. Массовый наплыв ботов – в результате чего сервер может накрыться. Придется проводить техническое обслуживание, чтобы поднять сервер.

2. Робот имитирует поведение человека. У Яндекс и Гугл заложен набор правил, по которым они оценивают сайт, одним из факторов является время проведенное человеком на сайте. Чтобы подпортить репутацию сайта злоумышленник может запустить на него робота, всего несколько секунд. Такое поведение плохо скажется на дальнейшем продвижение. Поисковики посчитают ресурс неинтересным и понизят его в выдаче.

3. Скликивание рекламы – предназначено для того, чтобы вывести конкурента из рекламной компании. Роботы делают переходы, бюджет тратиться, конверсии никакой, в итоге владельцу ресурса придется приостановить рекламу, что на руку конкурентам.

Как распознать бота

Ежедневно на сайт могут заходить сотни ботов, часть из которых приходят из поисковых систем, они легко узнаются, так как они содержат в название ключевое слово bot. Но встречаются и безликие боты, распознать которых можно только через анализ статистики. Как определить бота?

1. Время на сайте. Большинство роботов имеют ограниченный функционал и особо не маскируются, поэтому в Яндекс метрике через вебвизор можно определить бота. Открываем вебвизор выбираем пользователя и смотрим, что он делал в период одной сессии. Если обнаружено, что посетитель провел несколько секунд на странице сайта, а потом ушел, то, скорее всего это был робот.

2. Регион не соответствуют. Когда дело касается магазина в Самаре, то довольно странно будет выглядеть 70 % переходов из других стран и городов.

3. Прямые заходы или переходы из социальных сетей. Статистика из метрики собирает всю информацию о пользователях, включая такие данные как переход с различных ресурсов. Если при анализе обнаружен резкий скачок посещаемости и это произошло не из поисковой системы, то высокая вероятность того, что сайт атакуют боты.

Как защититься от ботов

Два года назад про один способ рассказывал специалист по SEO Артем Акулов. Вот какие рекомендации он предлагал.

1. Смотреть сессии через инструмент вебвизор
2. Собирать IP-адреса, находить те, которые больше похожи на автоматические.
3. Блокировать нежелательные IP-адреса.

Дополнительные способы защиты:

  • Cделать региональное распределение и пропускать IP-адреса только со своего города. Также в настройках Яндекс метрики можно выставить фильтры “по строгим правилам и поведению”, что поможет отсеять часть роботов.
  • Забанить часть пользователей в социальных сетях. Например, страницы, где в профиле стоит ваша ссылка. Так как это весьма подозрительно, вряд ли незнакомый пользователь будет ставить веб-ссылку на чужой ресурс. Поэтому нужно оставить только свои веб-ссылки остальные под бан.
  • Блокировка http некоторые запускают автоматические процессы с протокола http. C https не получается по техническим причинам. Если во время анализа своего ресурса были замечены сайты со странным доменом, который больше похож на набор символов, рекомендуется проверить domen, по таким параметрам как посещаемость, ИКС.

Программы и сервисы для фильтрации ботов

Существуют несколько готовых программ, способных помочь решить проблему наплыва искусственного трафика.

1. iThemes Security – плагин wordpress, который банит всех хакеров из базы данных ресурса HackRepair.com..
2. CloudFlare – даже в бесплатной версии способна предотвращать неограниченное количество DDoS-атак с пропускной способностью до 80 Тбит/с. В платных тарифах Pro и Business добавляются оповещение и Waf защита.
3. BotFAQtor – анализирует весь трафик сайта и блокирует нежелательные переходы, тем самым экономя бюджет.

Недостаток перечисленных выше программ заключается в том, что они защищают не от всех ботов. К примеру, заходы российских ботов выглядят вполне натурально, как настоящие пользователи.

CloudFlare способна заблокировать только 40 % злоумышленников. Придется дополнительно проводить анализ статистики, чтобы распознать остальные искусственные заходы.

Как проверить результат

Чтобы получить детальную статистику трафика можно установить скрипт Finteza. Он абсолютно бесплатный и весит всего 30 кбайт. Его основное предназначение проанализировать источники, по которым переходят пользователи, и выстроить свою статистику. Оценка происходит по тем факторам, которые можно видеть в вебвизоре.

В основном данный инструмент предназначен для коммерческих сайтов, которые размещают рекламу, но для информационных площадок Finteza также будет полезен.

Основной недостаток – этот скрипт работает только для десктопных версий сайта.

Итог:

Боты созданы для того чтобы накрутить поведенческие факторы. Даже если у вас хорошо написана статья, работа может свестись на нет, если ресурс систематически подвергается атаке ботов. Поэтому рекомендуется проанализировать свой сайт, вычислить те сессии, которые выглядят подозрительно и заблокировать их.