Индексация сайта: как она работает, как проверить и ускорить

Что такое индексация сайта и почему без неё нет трафика?

Представьте библиотеку, в которую привезли новую книгу, но не внесли её в каталог. Книга стоит на полке, а читатель, который ищет её по названию, уходит ни с чем. С веб-страницей картина такая же: она может быть красивой, полезной и открываться по прямой ссылке, но если поисковая система о ней не знает, в выдаче её нет.

Индексацией называют весь путь страницы в поисковую базу: робот находит адрес, загружает код, разбирает содержимое и решает, оставить ли страницу в индексе. Решение принимается для каждого адреса отдельно, поэтому ресурс в целом может индексироваться нормально, а карточка товара или свежая статья застревать. Такие застрявшие страницы обходятся дороже всего: реклама на них работает, а бесплатный поисковый поток не приходит.

Яндекс в своём руководстве для рекламодателей описывает этот путь четырьмя этапами: сканирование, анализ и ранжирование, хранение в базе и постоянное обновление. Сканируют роботы-краулеры, которые обходят интернет без перерыва, а повторные визиты нужны, чтобы изменения на странице дошли до базы.

Интернет практически бесконечен, и Google, как признаёт его справка для вебмастеров, не успевает находить и индексировать все публичные адреса, поэтому на каждый ресурс тратит ограниченное время. Вывод простой: попадание в индекс стоит готовить заранее, потому что ожидание без подготовки обходится дорого.

Путь страницы от публикации до выдачи

Всё начинается с открытия адреса. Робот узнаёт о новой странице по ссылке с уже известной страницы, из карты сайта или из прямого уведомления в панели вебмастера. Поэтому страница, на которую не ведёт ни одна ссылка, может месяцами оставаться невидимой. Дальше робот читает инструкции: файл robots.txt в корне и мета-теги внутри страницы подсказывают, что можно обходить.

Затем он читает HTML, и ему безразлично, как красиво выглядит страница в браузере. Если текст появляется только после действий посетителя, в базу уйдёт пустая оболочка. Так вышло с лендингом, который, по рассказу Мегагруппы, собрали на React: контент подгружался скриптом, а робот видел только пустой контейнер без текста. Индекса не было, пока для важных страниц не включили серверный рендеринг, не проверили результат в инструменте проверки URL и не добавили внутренние ссылки. Через несколько дней страницы появились в поиске.

Карта сайта ускоряет первое знакомство. Яндекс принимает её в формате XML или TXT, причём XML умеет передавать дату обновления, частоту изменений и важность страницы. После загрузки в Вебмастер робот подхватывает новые данные за две недели, а если вы поправили уже загруженный файл, удалять его и добавлять заново не нужно.

После обхода поисковик оценивает уникальность и смысл страницы и только потом решает, показывать ли её. Здесь отсеиваются дубли и пустые шаблоны. Как именно взвешиваются эти оценки, поисковики не раскрывают, но практический вывод один: у каждой страницы должен быть собственный текст, который отвечает на конкретный запрос.

Как проверить, что страница в индексе?

Быстрая проверка занимает десять секунд: введите в строку Яндекса или Google запрос вида site:ваш-домен и посмотрите, сколько адресов показано. Так видна общая картина, но не причины.

Для точного ответа нужны панели вебмастеров. В Яндекс Вебмастере раздел «Индексирование» → «Страницы в поиске» показывает, какие адреса участвуют в выдаче, а на вкладке исключённых указаны причины, по которым остальные вылетели. Справка Яндекса называет ещё два полезных экрана: «Статистика обхода» с кодами ответа, которые получил робот, и «Проверка страницы» для одного адреса, где можно выбрать десктопную или мобильную версию.

В Google эту работу делает Search Console: отчёт «Страницы» показывает общую картину, «Проверка URL» отвечает про один адрес. Статусы стоит различать. По описанию Мегагруппы, статус «Не индексировано» говорит, что поисковик знает о странице, но в базу её не внёс. Статус «Исключено» обычно означает дубль, запрет в robots.txt или проигрыш конкурирующему адресу.

Смотрите не только на число страниц, но и на долю. Мегагруппа приводит простой расчёт: у компании 50 страниц услуг, а в индексе только 17, то есть 33 услуги не участвуют в поисковом спросе и клиент не найдёт их по запросу. Выгрузите адреса из карты сайта и сверьте с отчётом вебмастера: расхождение превращается в готовый список задач.

Почему страницы не попадают в индекс или выпадают из него?

Причин много, но большинство сводится к трём: страницу закрыли случайно, она повторяет чужой или собственный текст, либо робот до неё не дошёл.

Дорогую случайность пережило агентство Brafton. В четверг вечером разработчики выкатили обновление, и на каждой странице появился мета-тег noindex. Директор по стратегии цифрового маркетинга Jeff Baker рассказал в блоге Moz, что заметил провал в воскресенье утром: за неделю агентство потеряло около трети поискового трафика. Тег действует жёстко: по справке Google, обнаружив его при сканировании, Googlebot игнорирует страницу, даже если на неё ссылаются другие ресурсы.

Другая типичная причина - копии. Интернет-магазин, историю которого описал на Хабре специалист Seo House Иван Жданович, шестнадцать месяцев жил со 113 страницами в индексе из 175 тысяч: структуру и карточки скопировали с крупного маркетплейса, и Google не хотел тратить ресурсы на копии. Команда добавила на карточки и категории уникальные блоки вопросов и ответов, написала для категорий тексты в одну-две тысячи знаков, и за семь месяцев в индекс вошли 80,9 тысячи страниц. Это отчёт самой команды, но механика понятна.

В индекс не попали страницы, на которых отсутствовал уникальный контент

Иван Жданович, Seo House, в статье на Хабре

Третья ловушка - переезд. Компания, о которой рассказывает Мегагруппа, перенесла ресурс с конструктора на новую CMS и поменяла адреса без редиректов: трафик упал почти вдвое. Спасли таблица соответствий «старый адрес - новый», 301-редиректы для важных страниц, новая карта сайта и запрос переобхода ключевых адресов. Прежний объём индекса вернулся через две-четыре недели.

Чем ускорить индексацию и чего ждать от каждого способа

Ждать можно долго. По данным сервиса IndexCheckr, который проанализировал 16 миллионов страниц, в Google страница попадает в среднем за 27,4 суток: за первую неделю проходит лишь 14 процентов, за месяц - около двух третей. Сервис смотрит адреса своих пользователей, так что для конкретного ресурса цифры будут другими, но порядок ясен: за день-два рассчитывать не стоит.

Яндекс советует совмещать способы: загрузить карту сайта, включить обход по счётчику Метрики и поставить плагин IndexNow. Вручную адреса отправляют в «Индексирование» → «Переобход страниц»: робот посетит их в приоритетном порядке, а индексирование занимает от трёх до семи дней. В материале для рекламодателей срок назван иначе, до 14 дней, и добавлено, что число отправляемых адресов в сутки ограничено.

IndexNow работает иначе: ваша система сама сообщает поисковикам о новой, изменённой или удалённой странице обычным запросом, а ключ в текстовом файле в корне подтверждает владение. За раз можно отправить до 10 тысяч адресов, но документация протокола предупреждает: ответ 200 означает только получение адреса, а решение об индексации поисковик принимает позже.

В Google для нескольких адресов подходит «Проверка URL», для многих карта сайта. Справка предупреждает, что обход занимает от нескольких дней до нескольких недель, на отправку адресов действуют квоты, а повторные запросы по одному адресу ничего не ускоряют.

Выбрать способ проще по таблице. Все они дополняют друг друга, а Яндекс прямо рекомендует включить несколько сразу.

Brafton проверила это на себе. После отката кода Baker загрузил новую карту сайта и вручную запросил индексацию главных страниц. Одну коммерческую страницу он отправлял пятнадцать раз за месяц, менял дату и текст, но она вернулась в индекс лишь спустя два месяца после выпадения. Поисковая видимость восстановилась за шесть недель, все страницы вернулись за восемь-девять.

Отсюда порядок действий: сначала устраняют причину, потом просят переобход, и просят один раз. Остальное время работают ссылки: чем больше внутренних ссылок ведёт на важную страницу, тем скорее до неё доберётся робот.

Лимит сканирования: когда о нём стоит думать

Небольшому ресурсу почти нет: Google пишет, что руководство нужно сайтам от миллиона страниц с еженедельными обновлениями или от десяти тысяч с ежедневными, а остальным достаточно вовремя обновлять карту сайта и смотреть отчёт об индексировании.

У крупных ресурсов рекомендации такие. Google просит объединять дубли, отдавать код 404 или 410 для удалённых страниц, чинить soft 404, избегать длинных цепочек редиректов и указывать актуальный тег lastmod в карте сайта. Кроме того, быстрые страницы позволяют роботу обойти больше, поэтому стоит заглянуть в наш материал про скорость загрузки.

Скорость обхода растёт и сама. По объяснению Google, если сервер отвечает стабильно и быстро, лимит увеличивается и робот открывает больше соединений, а при медленных ответах или ошибках сервера обход сокращается.

Типичный провал - раздутый индекс. Магазин одежды из примера Мегагруппы заметил, что в Вебмастере и Search Console число страниц выросло с двух тысяч до сорока тысяч, а трафик не сдвинулся: поисковик начал индексировать все сочетания фильтров и сортировок. Владельцы закрыли параметры в robots.txt, настроили в Яндексе директиву Clean-param, поставили canonical на чистую категорию и оставили в карте сайта только категории и товары. Через три-четыре недели индекс вернулся к нормальному размеру, а органический трафик за два месяца вырос примерно на 18 процентов.

Яндекс отдельно предлагает управлять скоростью обхода в Вебмастере. По умолчанию стоит вариант «Доверять Яндексу», и справка советует повышать лимит только на время, пока появилось много новых разделов, а потом возвращать прежнее значение.

Проверка индекса на четверть часа в неделю

Индексацию не настраивают один раз, за ней следят, как за кассой в магазине. Хватит четверти часа в неделю:

• Откройте в Вебмастере «Страницы в поиске» и в Search Console отчёт «Страницы»: число проиндексированных адресов не должно падать без причины, а у исключённых прочитайте статус.
• Сверьте адреса из карты сайта с индексом: всё, что вы хотите видеть в поиске и чего там нет, идёт в список задач.
• После каждого релиза посмотрите robots.txt и мета-теги: случайный noindex на всех страницах стоит нескольких недель трафика.
• Новые важные страницы отправьте на переобход один раз и поставьте на них внутренние ссылки из заметных разделов.
• Удалённые адреса отдавайте с кодом 404 или 410, а дубли склеивайте через canonical или редирект.

Цифры из этих отчётов удобно записывать раз в неделю в одну таблицу: после правок сразу видно, что сработало, а что нет. Если число адресов в индексе падает резко, начинайте с robots.txt, мета-тегов и кодов ответа сервера.

Подробности по панели Яндекса разобраны в нашем материале про Яндекс Вебмастер. Обратная задача, то есть намеренно убрать страницу из поиска, решается другими инструментами, их мы разобрали в статье как закрыть сайт от индексации.

Частые вопросы