Реферальный спам – это когда на ваш сайт идет поддельный трафик от спам-ботов, идентифицированный Google Analytics как «живой» трафик с других сайтов.
Что такое «бот»?
Бот – это программа, с высокой скоростью и точностью посылающая на сайт повторяющиеся задачи.
Боты чаще всего используются для индексирования сайтов и обновлений контента.
Но иногда они используются и во вредоносных целях:
- совершать кликфроды;
- парсить адреса электронной почты;
- парсить контент сайта;
- распространять вредоносные программы;
- накручивать трафик на сайт.
Таким образом, можно сделать вывод, что в зависимости от цели использования боты могут быть как полезными, так и вредоносными.
Полезные и вредоносные боты
Все боты делятся на те, которые могут исполнять сценарий javascript, и те, для которых данная функция недоступна.
Боты, исполняющие сценарий javascript, отображаются в отчетах GA как хиты и искажают данные по трафику (как прямому, так и реферальному), а также данные по отказам, конверсиям и т.д.
Боты, не исполняющие сценарий javascript, не могут влиять на счетчик. Они не отображаются в отчетах как трафик и не изменяют параметров метрик.
Примером полезного бота может служить гугл-бот, используемый Google для сканирования сайта и индексации его контента.
Гугл-боты следуют правилам robots.txt, тогда как вредоносные боты им не подчиняются, вследствие чего наносят весьма существенный вред: создают поддельные аккаунты, рассылают e-mail спам, парсят e-mail адреса и обходят капчу.
Вредоносные боты используют множество способов для маскировки, из-за чего их достаточно тяжело обнаружить. Выдающий себя за трафик с реально существующего сайта, бот легко вводит в заблуждение практически любого пользователя.
Никто не может с точностью сказать, какие из вредоносных ботов могут отразиться в отчетах вашей GA, а какие – нет, поэтому, для данных вашей аналитики все вредоносные боты потенциально опасны.
Спам-боты
Когда вредоносный бот используется для спама, он так и называется – спам-бот.
Спам-боты ежедневно посещают сотни и даже тысячи сайтов, посылая им http запросы с разных доменов. Подобная тактика позволяет им выдавать себя за реальных пользователей.
Часто таким образом спамеры пытаются получить бэк-линки на свои сайты.
Когда ваш сайт получает запрос от реферального спам-бота, данные сразу же записываются вашим лог-файлом. Далее Google просматривает ваши лог-файлы, воспринимает спам-ссылку как бэклинк с вашего сайта и автоматически определяет его в качестве ссылочного донора для сайта-спамера.
Именно на такую последовательность действий и рассчитывают спамеры. На самом деле, гугл-бот в состоянии отличить лог-файл от реальной веб-страницы и не учитывать такие псевдо-ссылки. И, наконец, спам-боты умеют обходить фильтры Google Analytics: именно поэтому они попадают в отчеты по реферальному трафику.
Ботнет
Если спам-бот использует ботнет (то есть сеть зараженных компьютеров), то он посылает реферальные запросы на ваш сайт с сотен разных IP, из-за чего такой метод борьбы с ботами, как составление черного листа IP-адресов, оказывается неэффективным. И чем больше ботнет спамера, тем сильнее он будет портить статистику посещаемости вашего сайта.
Но существуют такие спам-боты, которые отправляют на сайты не реферальные, а прямые запросы, и тогда данные об их посещениях появляются в отчетах по Direct трафику.
Один спам-бот способен генерировать десятки поддельных реферальных сайтов, поэтому блокировка одного реферала не может гарантировать непосредственной изоляции всего бота. Деятельность подобных спам-ботов приносит массу неприятностей, но, по большому счету, огромной опасности из себя не представляет, а вот настоящая опасность вас подстерегает с другой стороны.
Реально опасные спам-боты
Пожалуй, самыми опасными являются спам-боты, в задачу которых входит не просто подпортить вам статистику, спарсить контент или данные пользователей, а еще и заразить ваш компьютер, чтобы сделать его частью ботнета. И самое скверное заключается в том, что вы можете даже и не подозревать, что ваш компьютер является частью ботнета.
Как правило, заражение компьютера происходит следующим образом. В вашем отчете GA по рефералам появляется некий сайт. Вы переходите по ссылке, чтобы посмотреть, что это за площадка, и в процессе перехода ваш компьютер «цепляет» вирус. Для того чтобы такого не произошло, всегда нужно помнить: не стоит переходить по незнакомым сайтам из реферального отчета без включенного антивируса. Если же переход по сомнительной ссылке по каким-то причинам необходим, лучше воспользоваться другим (не основным для вас) компьютером.
Умные спам-боты
Некоторые особо умные спам-боты могут подпортить вам отчет GA и не посещая ваш сайт. Для этого им необходим ваш GA-счетчик.
Например, они могут послать запрос с bbc.co.uk – официального сайта телеканала BBC. Увидев его в отчете по реферальному трафику, вы будете уверены, что с сайта BBC к вам приходили пользователи, но, к сожалению, реальное положение дел будет иным. Поскольку подобные боты не посещают ваш сайт, а только создают видимость его посещения, информация о них не фиксируется на вашем лог-сервере, а значит, вы не сможете их заблокировать ни по IP, ни через user agent ни по реферальной ссылке, ни каким-либо иным образом.
Не все веб-сайты подвергаются воздействию ботов одинаково
Степень воздействия на сайт прямо пропорциональна его уязвимости. Боты нападают на слабозащищенные сайты, размещенные на дешевом хостинге или использующие бесплатные CMS. Проблема бесплатных CMS и дешевых хостингов состоит в том, что их редко и слабо тестируют на уязвимость. Потому одна из рекомендаций по защите своего сайта от атак ботов заключается в том, чтобы использовать только проверенные CMS и хостинги с хорошей репутацией.
Также нередко атаке спам-ботов подвергаются сайты, участвующие в партнерских программах. Если вы платите партнеру за совершенную покупку, подтвержденную заявку на сайте или любое другое действие, которое вы можете самостоятельно проверить, то беспокоиться не о чем. Но если результатом оплаты партнеру является увеличение трафика на сайт или заполненная (но не подтвержденная) заявка, то будьте готовы к тому, что найдутся недобросовестные вебмастера, которые будут использовать ботов, чтобы накрутить посещения или регистрации и получить с этого вознаграждение.
Шаги, помогающие избавиться от реферального спама:
Шаг №1: откройте отчет по рефералам в Google Analytics и отсортируйте данные по показателю отказов в порядке убывания.
Шаг №2: выберите сайты с процентом отказов 100% и 0% и количеством визитов от 10 – велика вероятность, что это спам-боты.
Шаг №3: проверьте, присутствуют ли отобранные рефералы в этом списке – их наличие будет являться несомненным подтверждением, что перед вами спам-бот.
Шаг №4: если подозрительный сайт отсутствует в этом списке, то есть вероятность того, что он настоящий. При необходимости это можно проверить, посетив его страницу. Но идти на подобный риск стоит только в том случае, если вы уверены, что ваш сайт и ваш компьютер находятся под защитой надежного антивируса.
Шаг №5: как только вы определились со списком реферальных ботов, их следует заблокировать от посещения вашего сайта.
Обратите внимание: попытка удаления реферальных ботов из источников перехода не принесет желаемого результата. В момент изъятия данных о посещениях ботов из отчета по реферальному трафику, GA перебросит данные по посещениям в отчет по прямому трафику, и если они там отобразятся, то избавиться от этого трафика будет уже невозможно.
Так что же делать?
1. Откройте .htaccess вашего сайта и добавьте туда следующий код:
RewriteEngine On
Options +FollowSymlinks
RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*semalt\.com\ [NC,OR]
RewriteRule .* – [F]
Этот код заблокирует всех http и https рефералов. В данном примере в итоге будут заблокированы все заходы с доменов и сабдоменов «semalt.com».
2. Заблокируйте IP-адреса спам-ботов и в .htaccess файле пропишите следующий код:
RewriteEngine On
Options +FollowSymlinks
Order Deny,Allow
Deny from 234.45.12.33
Соответственно, в поле «Deny from» впишите IP бота, предназначенного для блокировки.
Не пытайтесь заблокировать все известные вам IP ботов, так как это перегрузит ваш .htaccess файл и негативно повлияет на качество работы вашего сервера. Блокируйте только те, что атаковали ваш сайт. Если ваш лист спамных IP продолжает активно увеличиваться, то это говорит о том, что у вашего сайта большие проблемы с защитой. Обратитесь к своему хостинг-провайдеру для решения имеющейся проблемы. Если после обращения не последует ощутимого положительного результата – смените его.
И еще рекомендация: для того чтобы оперативно реагировать на поступающие угрозы, попытайтесь автоматизировать процесс передачи спамных IP в .htaccess через специальный скрипт.
3. Для блокировки целого ряда IP подходит следующий код:
RewriteEngine On
Options +FollowSymlinks
Deny from 76.149.24.0/24
Allow from all
где 76.149.24.0/24 – это CIDR (Classless Inter-Domain Routing). Подробнее с описанием этого инструмента можно ознакомиться здесь: www.ipaddressguide.com/cidr .
4. Заблокируйте user agent, используемые спам-ботами.
Чтобы их вовремя выявить, необходимо хотя бы раз в неделю проверять лог-файлы вашего сервера. При обнаружении подозрительных user agent блокируйте их с помощью данного кода в .htaccess:
RewriteEngine On
Options +FollowSymlinks
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]
RewriteRule .* – [F,L]
Для более точного определения вредоносных user agent найдите их список в Google и сравните со своим. Совпавшие позиции следует заблокировать безотлагательно.
Также попробуйте автоматизировать процесс выявления вредоносных user agent с помощью специального скрипта. И не забывайте о постоянном обновлении базы вредоносных скриптов.
5. Используйте фильтр ботов в Google Analytics, чтобы исключить их из данных по реферальному трафику.
6. Проверяйте ваш лог-сервер минимум один раз в неделю.
Начните борьбу с ботами на серверном уровне. Если вы сможете выявить и исключить их на этом шаге, то потом вам не придется бороться с ними в отчетах GA.
7. Используйте firewall в качестве фильтра между вашим компьютером/веб-сервером и интернетом.
8. Чтобы дополнительно обезопасить компьютер и сайт, для выхода в интернет используйте Google Chrome: он качественно отфильтровывает вредоносные сайты, что автоматически снижает риск заражения.
9. Используйте custom alerts в GA: он с высокой степенью точности подает сигналы о подозрительных рефералах.
Удачи в борьбе со спамерами!
Источник: optimizesmart.com