Пессимизация и фильтры Яндекса и Google: как распознать и снять

Что такое пессимизация и чем она отличается от фильтра?

Представьте владельца интернет-магазина, у которого заявки с поиска держались ровно, а потом страницы за несколько дней улетели с первой страницы на десятую. В админке порядок, сайт открывается, а клиентов нет. Так выглядит пессимизация: поисковая система понижает страницу или целый ресурс, потому что считает, что тот нарушает правила или обманывает людей.

Слова «фильтр», «санкции» и «ограничение» в быту означают одно явление и различаются оттенком. Фильтр звучит как механизм, санкции как наказание, ограничение как нейтральная формулировка из справки. Для владельца важнее другое: понижение бывает частичным, когда проседают отдельные запросы, и полным, когда страницы исчезают из результатов.

Крайнюю точку Google описывает прямо. В правилах о спаме сказано, что нарушения выявляют автоматические системы, а при необходимости проверку проводят специалисты, и они могут принять меры вручную. Сайты, которые нарушают правила, опускаются глубже в списке результатов или вовсе там не показываются.

Пример из истории - немецкий сайт BMW. The Register рассказывал, как Google убрал его из выдачи. Для робота там лежали страницы-дорвеи, набитые ключевыми словами, а живой посетитель мгновенно попадал на другую страницу. В наказание по запросам вроде «BMW Germany» прямая ссылка на сайт автопроизводителя пропала минимум на 30 дней, а вернуть её Google соглашался только при гарантиях, что такие страницы не появятся снова.

Обычные колебания выглядят иначе: позиции плавают на несколько мест, трафик следует за сезоном, а новый конкурент отъедает часть запросов. О пессимизации стоит думать, когда провал резкий, затрагивает много страниц и не объясняется технической поломкой.

Бывает ли ручная пессимизация?

У Google бывает. По справке об отчёте алгоритмы с высокой точностью выявляют нарушения, и в большинстве случаев спам удаляется из результатов автоматически. Но специалисты компании проверяют страницы и сами, и тогда принимают меры вручную. Отчёт «Меры, принятые вручную» покажет такую меру, а Центр сообщений пришлёт уведомление.

В отчёте видны границы санкции. Шаблон адреса может охватывать целый сайт или один каталог, например раздел с недвижимостью, и мера не обязательно бьёт по каждой странице под шаблоном. Если проблем нет, отчёт показывает зелёную галочку.

Исключений нет даже для самой Google. Search Engine Journal пересказывал историю со страницей загрузки браузера Chrome: рекламные агентства заплатили блогерам за обзоры, и минимум одна ссылка передавала странице вес. Команда по борьбе с веб-спамом применила меру вручную, и после срока Chrome мог подать запрос на повторную проверку, как любая другая компания. В топ-10 по запросам «Chrome» и «Chrome browser» страница не попадала. Глава команды сформулировал меру так:

Мы вручную понизили страницу Chrome минимум на 60 дней

Мэтт Каттс, глава команды по борьбе с веб-спамом Google, о странице Chrome

У Яндекса схема другая. В описании принципов поиска сказано, что выдачу формируют машинно-обученные алгоритмы и изменить порядок результатов вручную невозможно. Проиндексированный контент удаляют из результатов, только если страницы представляют собой поисковый спам, могут навредить пользователю или нарушают закон. Алгоритмы Яндекса регулярно проверяют сайты автоматически, и ограничение может коснуться всего сайта с поддоменами или только отдельных разделов. Поэтому в Яндексе вы имеете дело с алгоритмическими ограничениями, о которых узнаёте из Вебмастера.

Старые статьи любят перечислять фильтры по именам. Google в руководстве по системам ранжирования относит Panda, Penguin, Hummingbird и систему оценки качества контента к системам, поддержка которых прекращена: они стали частью основных алгоритмов. Спам сегодня ловят системы обнаружения, среди них SpamBrain, и их постоянно обновляют. Поэтому диагноз по имени фильтра из старого текста ничего не даёт, надёжнее смотреть в отчёты вебмастера.

Нарушения, за которые понижают сайты

Поводов много, но корень один: ресурс пытается обмануть алгоритм или пользователя. Яндекс противопоставляет это признакам качественного сайта: оригинальному контенту, ориентации на интересы пользователей вместо работы на поисковики, полезным ссылкам и честным действиям. Ссылки не стоит добавлять только по чьей-либо просьбе.

Конкретные нарушения Яндекс перечисляет в Вебмастере. В справке их девять:

• SEO-тексты: бесполезные для читателя тексты, написанные для робота;
• неожиданное перенаправление: человек попадает на сторонний ресурс неочевидным для него способом;
• мимикрия: сайт копирует внешний вид или функции популярного ресурса;
• клоакинг: посетителям и поисковым роботам показывают разную информацию;
• нежелательное ПО: опасные программы или ссылки на них;
• социальная инженерия и обман пользователей: недостоверные сведения ради чужих данных или денег;
• недобросовестные действия: искажённая информация, из-за которой можно потерять деньги;
• малополезный контент: материалы, которые не решают задачи читателя;
• имитация действий пользователей: искусственно накрученная посещаемость.

Коммерческие тексты чаще всего задевает первый пункт. Страница про SEO-тексты разбирает его на запросный спам, переоптимизацию и скрытые тексты: белый шрифт на белом фоне, крошечный кегль, display: none. Нарушением не считают меню, каталоги, прайс-листы и умеренное облако тегов, где повторы продиктованы спецификой ресурса.

У Google правила названы по методам. В правилах о спаме среди них маскировка, дорвеи, взломанный контент, ссылочный спам, машинный трафик, скрейпинг, скрытая переадресация и спам, созданный пользователями. Покупать и продавать ссылки можно, если для них в теге указан атрибут rel="nofollow" или rel="sponsored".

Ссылочный спам хорошо видно на примере Rap Genius. Сервис с текстами песен предлагал блогерам твит со ссылкой на их страницы в обмен на ссылки с ключевыми словами в анкоре на свой сайт. Search Engine Journal писал, что Google понизил каждую страницу сервиса глубоко за первый экран выдачи, и даже по названию Rap Genius в топе стояли лишь его соцсети. Поисковый трафик по данным Quantcast упал почти на 80%, а извинения основателей санкцию не отменили.

Как понять, что позиции упали из-за санкций?

Начните с причин попроще. Просадка бывает от сезонного спроса, технической ошибки, отключённого хостинга или взлома. Проверьте, открывается ли ресурс, оплачен ли хостинг и не закрыт ли он от поиска в robots.txt или настройках CMS. Случайно закрытый от индексации сайт выглядит в графиках точно так же, как санкции.

Затем откройте кабинеты вебмастеров. В Яндексе нарушения видны на странице «Оптимизация сайта» → «Безопасность и нарушения», и по справке Вебмастера пустой список означает, что ограничения на ресурс или его разделы не действуют. Дублирует их раздел ошибок в «Диагностике сайта», а чтобы узнавать о нарушениях быстрее, подключите уведомления. Подробнее о сервисе в материале про Яндекс Вебмастер.

В Google смотрите отчёт «Меры, принятые вручную». Если ресурс взломан и на нём появились чужие рекламные страницы, справка Google советует искать их оператором site: вместе со словами, не связанными с вашей темой, например «фильмы онлайн бесплатно». Если же мер нет, а позиции упали, санкции маловероятны и стоит проверить контент, конкурентов и обновления выдачи.

У Баден-Бадена есть два вида проявления. По материалу агентства Директ Лайн, постраничный фильтр бьёт по одной странице, а хостовый по всему сайту. О втором придёт сообщение в Вебмастере, о первом нет, и его замечают по мониторингу позиций: резко упали небрендовые запросы, а следом трафик.

Скорость обвала бывает пугающей. Википедия напоминает, что The New York Times раскрыла, как магазин JCPenney использовал спамдексинг для манипуляции выдачей Google. Google снизил видимость компании, а та уволила своего SEO-консультанта.

Цена санкции бывает измеримой. По данным Википедии, выручка интернет-магазина Overstock упала на 5% за двухмесячный период санкции Google. Сам магазин объяснял наказание в том числе тем, что просил сайты колледжей и университетов размещать ссылки на его страницы ради скидок для студентов.

Возврат позиций: порядок действий и сроки

Порядок почти одинаков у обеих систем: найти нарушение, исправить его везде, описать исправления и отправить ресурс на проверку. В Яндексе это занимает пять шагов:

1. Откройте в Вебмастере «Безопасность и нарушения» и прочитайте описание нарушения.
2. Устраните его на всём ресурсе или в затронутых разделах.
3. В блоке нарушения подробно опишите, что изменили, и при необходимости приложите файлы.
4. Поставьте отметку «Нарушение исправлено».
5. Нажмите «Отправить на проверку» и подтвердите действие.

Проверка занимает до 30 дней. Если по справке Вебмастера ограничение не снято, повторно сообщить об исправлении можно только через 30 дней после отправки, и всё это время кнопка недоступна. Поэтому отправляйте ресурс на проверку только после настоящей чистки.

В Google после исправления нажимают «Запросить проверку» в отчёте. Справка требует устранить проблему на всех страницах, где она есть: частичное исправление не вернёт отдельные страницы в результаты. Запросы обычно рассматривают несколько дней или недель, и новый запрос до решения по старому отправлять нельзя. Если вы недавно купили ресурс, а нарушения остались от прежнего владельца, объясните это в запросе.

Как это выглядит на практике, показывает интернет-магазин деревянных купелей. Агентство Директ Лайн рассказывает в кейсе, что нашло переспамленные тексты и метатеги и лишние прямые вхождения запросов. Специалисты переписали метатеги и заголовки, убрали спамные тексты, закрыли статейный раздел и удалили некорректные блоки перелинковки. После отправки на проверку Яндекс снял фильтр спустя 13 дней ожидания, а весь путь занял 18 дней.

Похожий сюжет у магазина «Ваниль и Базилик». На RUWARD агентство Акива описывает, как переписало переспамленные и неуникальные тексты, переделало метатеги и ускорило переобход страниц инструментами Вебмастера. Фильтр «Баден-Баден» сняли спустя пару недель после сообщения об исправлениях.

Профилактика: что проверять регулярно

Надёжнее убрать то, за что наказывают, до того как это заметит алгоритм. Хорошо иметь короткий регулярный чек-лист, пока паники нет.

• Платные и рекламные ссылки помечайте атрибутами nofollow или sponsored, как требует Google.
• Пишите тексты для читателя: без списков запросов, невидимого текста и перегруза ключами в заголовках и метатегах.
• Показывайте роботам и людям одно и то же, а редиректы делайте понятными для посетителя.
• Следите за взломом: чужие рекламные страницы и спамные комментарии портят репутацию всего ресурса.
• Не заказывайте накрутку посещаемости, ведь Яндекс выделяет имитацию действий пользователей в отдельное нарушение.

Крупные издания научились убирать риск заранее. Wordtracker описывает, что перед началом проверок злоупотребления репутацией сайта Forbes полностью убрал каталог купонов, закрыв раздел тегом noindex, а Sports Illustrated снял целый каталог витрин. Те, кто не успел, поплатились: по наблюдению консультанта Гленна Гэйба, USA Today, CNN и LA Times пропали из выдачи по запросам про купоны. Google проверяет здесь вручную, а алгоритмическая часть, как заявил Search Liaison, ещё не включена.

Если часть разделов нужно спрятать от поиска, делайте это штатно. Как это устроено, разобрано в статье про индексацию сайта. Закрытый раздел не участвует в ранжировании, поэтому тонкие и сторонние страницы лучше прятать, чем оставлять на виду.

Частые вопросы