SEO для крупного бизнеса: как управлять сайтом на сотни тысяч страниц

Чем SEO крупной компании отличается от SEO небольшого сайта?

У маленького проекта поисковые роботы успевают обойти все страницы, поэтому работа сосредоточена на содержании и ссылках. У предприятия картина другая: каталог, филиалы, блог, личные кабинеты и поддомены порождают сотни тысяч адресов, а правки вносят разные команды, часто не зная друг о друге. Здесь выигрывает тот, кто управляет системой целиком.

Масштаб влияет на сам механизм обхода. Руководство Google по лимиту сканирования адресовано сайтам от 1 млн уникальных страниц с еженедельными изменениями и сайтам от 10 тыс. страниц, контент которых меняется ежедневно. Порог при этом условный: по материалу PR-CY, трудности начинаются уже на 10 тысячах страниц, когда структура запутана и сайт плодит копии. Проект на 100 тысяч адресов с чистой архитектурой и быстрым сервером, по тем же данным, может индексироваться без сбоев.

Практик отрасли описывает границу так:

Это точно требуется на проектах с большим количеством генерируемых страниц

Илья Горбачов, SEO-эксперт, автор канала SEO Rocket, в материале Топвизора

К таким проектам относятся крупные магазины, маркетплейсы и агрегаторы, но и у производственной корпорации с десятком направлений, региональными сайтами и архивом новостей набирается похожий объём. Поэтому у корпоративного SEO три постоянные задачи: держать под контролем обход и индексацию, согласовывать работу отделов и считать результат в деньгах.

Основы, которые одинаково нужны сайту любого размера, от семантики до текстов, собраны в общем руководстве по SEO. Платные каналы и общий маркетинговый план предприятия разобраны в материале о цифровом маркетинге для предприятий, а здесь речь идёт только об органическом поиске в масштабе.

Краулинговый бюджет большого сайта: куда уходит время робота

Время робота на вашем сайте ограничено, и распределяют его по двум признакам. Как сказано в том же руководстве Google, лимит сканирования зависит от скорости сканирования и от потребности в нём. Скорость определяется тем, как быстро и стабильно отвечает сервер, а потребность - размером сайта, частотой обновлений, популярностью страниц и их качеством. В том же руководстве сказано, что разные имена хоста считаются разными сайтами с отдельными лимитами, поэтому поддомены стоит разбирать по отдельности.

У Яндекса логика похожа, но есть важная оговорка. В справке Яндекса о малоценных страницах прямо написано, что квот на число страниц в индексе нет. Зато алгоритм может не включить страницу в поиск, если у неё мало шансов оказаться востребованной. Для большого сайта это означает, что проблема редко звучит как «нам не хватает бюджета». Чаще формулировка такая: робот тратит силы на дубли и служебные адреса, а ценные страницы ждут своей очереди.

Скорость обхода сама по себе позиции не меняет, на это указывает тот же материал PR-CY. Но если новые карточки и статьи неделями не попадают в поиск, сайт теряет продажи, пока страница не вошла в индекс. Отдельная история - сайты на JavaScript. PR-CY называет рендеринговым бюджетом число страниц и ресурсов, которые бот может отрисовать, и для каталога на тяжёлом фронтенде он становится вторым ограничителем после обхода.

Чтобы понять, есть ли проблема у вас, проведите три замера:

• Откройте динамику обхода в Вебмастере и сравните её с числом новых и обновлённых адресов за тот же период.
• Сопоставьте число страниц, которые должны быть в поиске, с числом реально проиндексированных, отдельно по типам: каталог, карточки, статьи, филиалы.
• Выгрузите серверные логи за месяц и посмотрите, какие адреса робот запрашивает чаще всего и какие коды ответа получает.

Данные об обходе лежат в Вебмастере на странице «Индексирование - Статистика обхода». Как следует из справки Яндекса, информация обновляется ежедневно в течение шести часов после визита робота, а список страниц вмещает до 50 000 адресов. Число обойденных страниц колеблется от дня к дню, и в той же справке подчёркнуто, что такие колебания на индексацию и ранжирование не влияют. Поэтому смотрите на динамику за недели: один день ничего не доказывает.

В том же материале Топвизора порог для серьёзного анализа формулируют так: если у сайта больше 10 тысяч постоянно обновляемых или новых страниц, за бюджетом скорее всего стоит следить. Там же советуют сравнивать число индексируемых за месяц страниц с числом добавленных. Для логов нужны всего три поля: адрес страницы, дата визита робота и user agent. На проектах от 100 тыс. страниц эту выгрузку стоит разбирать регулярно, и для этого есть готовые программы вроде Screaming Frog Log Analyzer и JetOctopus.

Как навести порядок в обходе: параметры, карта сайта и коды ответа

Лишние обходы почти всегда приходят из одних и тех же источников. Фильтры и сортировки каталога рождают тысячи комбинаций. Метки рекламных кампаний и идентификаторы сессий создают копии одной страницы. Внутренний поиск, версии со слешем и без него, цепочки редиректов и удалённые страницы, которые отвечают кодом 200, довершают картину. Таблица ниже помогает разложить их по типам и назначить решение.

С параметрами проще всего работать через директиву Clean-param. Справка Яндекса рекомендует её вместо Disallow, потому что она передаёт основному адресу накопленные показатели, а запрет их теряет. Там же предупреждают: из-за большого числа дублей по незначащим параметрам робот медленнее обходит сайт, и важные изменения дольше не попадают в поиск. Новый параметр в шаблоне, о котором забыли сообщить SEO-специалисту, на большом сайте за неделю даёт тысячи таких копий.

Файл robots.txt закрывает служебные разделы, корзины, результаты внутреннего поиска и тестовые каталоги. Проверяйте его после каждого релиза: одна лишняя строка Disallow способна спрятать от робота целый раздел. Версии одной страницы с разной сортировкой, которые нельзя объединить, тоже можно закрыть в robots.txt.

Для карты сайта у больших проектов есть жёсткие ограничения. Согласно справке Яндекса о Sitemap, в одном файле допускается не более 50 000 ссылок и не более 50 МБ в несжатом виде. Файлы объединяют через файл индекса, и разумнее делить их по типам страниц: каталог, карточки, статьи, филиалы. Тогда в Вебмастере сразу видно, какой тип страниц не добирается до индекса. В карту включайте только адреса с кодом 200 и каноническим вариантом, а в lastmod ставьте реальную дату изменения.

Коды ответа решают остальное. В том же руководстве Google просят возвращать 404 или 410 для окончательно удалённых страниц и устранять soft 404, иначе лимит сканирования расходуется впустую. Там же рекомендуют поддерживать ответ 304 Not Modified, чтобы робот не скачивал неизменившиеся страницы заново. PR-CY добавляет, что длинные цепочки редиректов вредны и пользователям, и роботам, а проверить заголовок Last-Modified в Топвизоре можно через инструмент «Аудит».

Структура ссылок задаёт приоритеты не хуже карты сайта. В том же материале PR-CY приводится правило: чем меньше кликов нужно, чтобы дойти с главной до страницы, тем важнее её считает бот. На крупном сайте это нарушается первым: каталог углубляется, карточки уходят на пятый-шестой уровень и теряют ссылочную поддержку. Проверьте, сколько кликов отделяет главную от карточек и статей, и добавьте блоки перелинковки: хлебные крошки, популярные разделы, связанные товары и материалы. Для страниц, которые должны быстро попасть в поиск, например новых направлений, на время запуска хватит ссылки с главной или с крупного раздела.

Шаблонные страницы: когда они помогают, а когда вредят

Для каталога, филиальной сети и страниц «услуга плюс город» шаблон - основной способ набрать масштаб. Тысячи карточек вручную не напишешь, и автоматическая сборка из данных вполне оправданна. Риск возникает тогда, когда страницы различаются только подставленным словом: поисковик видит почти одинаковые документы и оставляет в выдаче один или ни одного.

В той же справке Яндекса о малоценных страницах названы три типичные причины исключения: страница дублирует уже известные, не содержит видимого роботу контента или не соответствует запросам пользователей. Там же отмечено, что страница без ошибок, на которую нет запросов, может быть исключена как маловостребованная. Такие решения принимаются автоматически и регулярно пересматриваются, а сам статус не означает штрафа: ограничения сайта проверяют в отдельном разделе Вебмастера.

Прежде чем запускать массовую генерацию, пройдите короткий чек-лист:

• Для группы страниц подтверждён спрос: есть реальные запросы вместо удобной для шаблона комбинации слов.
• В каждой странице есть данные, которых нет в соседних: цены, наличие, адреса, сроки, отзывы, ответы на вопросы.
• Заголовок, H1 и описание собираются из разных полей: название города или модели служит лишь одним из них.
• Для близких комбинаций заранее определён основной адрес и настроен canonical.

Запускайте шаблон на пилотной группе из нескольких десятков страниц и сравнивайте долю проиндексированных адресов и показы через несколько недель. Если большая часть группы осталась вне индекса, добавляйте уникальные данные в существующие страницы вместо новых. Масштабировать стоит только то, что уже подтвердило себя на малой выборке, и после этого открывать группу для обхода через карту сайта и перелинковку из разделов.

Страницы, у которых нет шансов набрать спрос, не должны висеть в обходе. Для служебных и бесполезных комбинаций подойдут noindex или закрытие в robots.txt, а для почти одинаковых вариантов - canonical на основной адрес. Это освобождает ресурс робота для страниц, которые приносят заявки.

Управление SEO между отделами: кто за что отвечает

На предприятии техническую часть сайта ведёт ИТ-отдел, тексты пишет контент-отдел, структуру каталога определяет продукт, региональные страницы наполняют филиалы, а рекламные лендинги запускает отдельная команда. Поисковую выдачу при этом портит накопление мелких решений, принятых без согласования. Типичные примеры: филиал создаёт страницу с копией головного текста, маркетинг запускает акцию на новом поддомене, разработчики меняют шаблон и теряют заголовки.

Решение организационное по своей природе. Нужен владелец SEO-повестки с правом остановить релиз и общий регламент, который ложится на существующие процессы разработки и не создаёт параллельных. Минимальный набор правил выглядит так:

• Все изменения структуры, шаблонов и адресов проходят через единый список задач с описанием ожидаемого эффекта и критерием приёмки.
• Перед выпуском проверяются коды ответа, canonical, robots.txt, карта сайта, заголовки, скорость и отсутствие индексации тестовой среды.
• Закреплено, кто отвечает за шаблоны, тексты, фиды, редиректы и региональные страницы; у каждой зоны есть назначенный человек.
• SEO получает уведомление о запуске кампаний, переездах и редизайнах заранее, с запасом времени на подготовку редиректов.
• Раз в месяц отдельная встреча с IT и контентом разбирает отчёт по обходу, индексации и конверсиям.

Хорошо работает формулировка задач для разработчиков на языке результата: «после релиза страницы каталога отвечают кодом 200 и содержат canonical на себя» вместо расплывчатого «поправьте мета-теги». Так проще оценить сроки, а приёмка превращается в проверку по списку. Постоянные шаблонные проверки лучше автоматизировать: краулер в ночном режиме на тестовом контуре ловит поломки до выкладки.

Не забывайте про договорённости с подрядчиками. Если сайт ведут несколько агентств, каждое должно видеть общий backlog и журнал изменений, иначе одно закроет страницы от индекса, а другое потратит бюджет на их продвижение. Единая точка принятия решений дешевле любого аудита, который придётся проводить после аварии.

Переезд и редизайн: как сохранить органический трафик

Смена домена, CMS, структуры адресов или протокола - частый момент, когда корпоративный сайт теряет органический трафик. Справка Яндекса о переезде сайта на новый домен объясняет суть: старый и новый адреса объединяют в одну группу, и робот должен признать новый адрес главным. Там же предупреждают, что при смене главного адреса поисковик не обещает сохранить число страниц в выдаче, позиции и посещаемость. Склейка занимает несколько недель, поэтому закладывайте этот срок в план.

Рабочий порядок для крупного сайта выглядит так:

1. Составьте карту соответствия старых и новых адресов на основе логов, Вебмастера и аналитики: в неё попадают все страницы с трафиком и ссылками.
2. Проверьте тестовую версию краулером: заголовки, H1, canonical, структурированные данные и перелинковка должны совпасть с рабочей версией.
3. Настройте постраничные редиректы 301, а не одну переадресацию на главную: справка Яндекса просит по возможности избегать такой схемы.
4. Добавьте оба сайта в Вебмастер, проверьте, что robots.txt разрешает индексацию на старом и новом доменах, и отправьте заявку через инструмент «Переезд сайта».
5. Первые недели ежедневно смотрите обход, коды ответа, позиции в Топвизоре и заявки в Метрике, чтобы вовремя заметить просевшие разделы.

Редизайн без смены адресов опасен не меньше. Новые шаблоны убирают блоки внутренних ссылок, прячут текст за скриптами, замедляют загрузку и меняют заголовки. Заморозьте на время работ адреса, title, H1 и ключевую перелинковку, снимите краулером эталон до релиза и сравните с версией после. Любое отклонение разбирайте до того, как робот успеет переобойти раздел.

Если разделы просели, не торопитесь переписывать тексты. Сначала проверьте технику: коды ответа, редиректы, доступность для робота и содержимое страниц для его IP-адреса. В большинстве проблемных переездов причина лежит в мелкой технической ошибке, исправление которой возвращает обход без лишних затрат.

Региональная и международная структура сайта

Для компаний с филиалами структура сайта решает, увидит ли поисковик региональные страницы вообще. Справка Яндекса о региональности сайта разбирает типичные случаи. Если у организации один сайт и офисы в разных регионах, выбирают регион, охватывающий все адреса, например «Россия», и перечисляют адреса в контактах. Если для каждого представительства есть отдельный домен или поддомен, регион указывают для каждого отдельно. Региональную структуру подробнее разбирает материал про SEO мультирегиональных сайтов.

С поддоменами есть жёсткое требование: содержимое должно отличаться от основного домена. Если тексты дублируются или различаются незначительно, один из адресов признают неглавным, и он выпадает из поиска. Практический вывод: региональный поддомен оправдан, когда в регионе есть физическое представительство, контакты и реальный контент. Поддомен «для галочки» с копией головного сайта приносит вред.

Привязка к региону не закрывает сайту выдачу в других регионах, и это снимает популярный страх: страницы остаются доступными для всех, а регион лишь один из факторов. Для карточек организации данные об адресе, телефоне и режиме работы должны совпадать на страницах сайта, в Яндекс Бизнесе и 2ГИС. В той же справке отмечено, что при добавлении сайта в Яндекс Бизнес регион присваивается автоматически.

Автоматическое определение региона по IP-адресу требует осторожности. Робот Яндекса обходит сайт с адреса одного региона и увидит только одну из версий страницы, поэтому остальной контент может остаться вне индекса. Все региональные версии должны открываться по собственным постоянным адресам независимо от геолокации посетителя, а переключатель региона лучше предлагать пользователю, не навязывая редиректом.

Для языковых версий действует то же правило постоянных адресов и взаимных ссылок между вариантами одной страницы. Решение о папках, поддоменах или отдельных доменах принимайте исходя из команды: тот, кого вы не сможете поддерживать, будет отставать от основного сайта по обновлениям и качеству.

Что делать со скоростью и JavaScript?

Скорость нужна и пользователям, и роботам. В том же руководстве Google сказано: если ответы сайта поступают медленно или содержат ошибки 5xx, скорость сканирования снижается, а при стабильных быстрых ответах лимит растёт. Для предприятия это означает, что ночная нагрузка, тяжёлые отчёты на том же сервере и перегруженные плагины стоят не только пользовательского опыта, но и охвата индексации.

Показатели вроде LCP, INP и CLS помогают оценить сайт глазами пользователя, а время ответа сервера и стабильность без 5xx - глазами робота. Начинать стоит с серверной части: кеширование, поддержка ответа 304, ограничение тяжёлых запросов, доставка статики через CDN. Затем переходите к шаблонам и скриптам, которые задерживают отрисовку главного содержимого.

С JavaScript есть отдельное правило. PR-CY напоминает, что поисковикам проще и быстрее обрабатывать контент, доступный в HTML сразу. В той же справке Яндекса советуют проверять, не выводится ли важный контент скриптами и не прячется ли он в изображения или iframe. Для каталога на современном фронтенде это значит: заголовки, описания, цены и ссылки на соседние страницы должны быть в исходном HTML и не появляться лишь после загрузки скрипта.

Ссылки и репутация крупного бренда

У известной компании ссылочный профиль растёт сам, но его качество и распределение приходится выравнивать. Часть внешних ссылок ведёт на удалённые и переименованные страницы, часть попадает на технические адреса с параметрами. Раз в квартал сверяйте адреса с наибольшим числом ссылок с живыми страницами и ставьте постоянные редиректы там, где адрес изменился.

Новые ссылки приходят от контента, которым делятся: отраслевые исследования, калькуляторы, справочники стандартов, данные по рынку, инструменты для подбора продукции. Покупка массы ссылок для крупного бренда рискованна и по репутации, и по реакции поисковиков. Надёжнее строить связи с отраслевыми изданиями, ассоциациями, партнёрами и вузами, у которых есть реальный повод сослаться на вас.

Репутация в выдаче складывается из страниц, которые вы контролируете, и площадок, где пишут о вас другие: отзовики, карточки на картах, отраслевые рейтинги. Для филиальной сети назначьте ответственного за ответы на отзывы в Яндекс Картах и 2ГИС и заведите единый список карточек с адресом, телефоном и режимом работы. Негативные упоминания важнее закрывать фактами и решениями, чем удалением: пользователь замечает ответ компании.

Разметку Schema.org используйте как помощь поисковику без попыток украсить выдачу. Для организации и филиалов описывайте название, адреса и контакты, для страниц с вопросами и ответами - вопросы, для сложной навигации - хлебные крошки. Каждый тип разметки проверяйте на соответствие реальному содержимому страницы.

Приоритизация задач: с чего начинать при тысяче замечаний

Аудит крупного сайта почти всегда возвращает тысячи замечаний: краулер находит их сотнями по каждому шаблону. Если раздавать всё подряд, команда разработки тонет в тикетах, а результат остаётся незаметным. Чтобы выбрать порядок, оценивайте каждую проблему по двум осям: сколько страниц и сколько денег она затрагивает и сколько усилий нужно на исправление. Одна правка шаблона нередко закрывает десятки тысяч страниц, тогда как ручная правка двухсот текстов даёт заметно меньше.

• Доля коммерческих страниц, на которые влияет проблема, и их вклад в заявки.
• Усилия на исправление: правка шаблона, настройка сервера или ручная работа с содержимым.
• Риск: возможна ли потеря уже имеющегося трафика при исправлении.
• Зависимости: нужен ли релиз разработчиков, согласование юристов или решение подрядчика.

На практике сначала идут блокирующие проблемы: недоступность для робота, ошибки 5xx, закрытые разделы и неверные canonical. Затем потери обхода на дублях и редиректах, после них качество шаблонов и содержимое страниц, и только потом рост: новые разделы и внешние ссылки. Раз в квартал пересматривайте список: после устранения крупных причин часть мелких замечаний исчезает сама.

Заводите задачи пакетами по шаблонам: «карточка товара», «страница категории», «страница филиала». Один пакет получает одного владельца, одну проверку после выкладки и один показатель успеха. Так проще измерять эффект и сравнивать его с ожиданием, заявленным до релиза.

Что показывать руководству и чем это измерять?

Топ-менеджеру не нужен список позиций. Ему нужен ответ на вопрос, сколько обращений и выручки приносит органика и что поможет вырасти. Поэтому начинайте с целей в Метрике: заявки, звонки, регистрации, заказы, запросы коммерческих предложений. Связывайте данные с CRM, чтобы видеть не только число обращений, но и сделки, и используйте разные срезы для разных аудиторий.

Набор инструментов для крупного сайта на российском рынке выглядит так. Яндекс Вебмастер отвечает за обход, исключённые страницы, переезд и региональность. Метрика считает конверсии и источники. Топвизор ведёт позиции по регионам и поддерживает технический аудит, в том числе проверку индексации. Логи разбирают отдельными программами. Search Console остаётся вторым источником по Google, если эта аудитория для бизнеса значима.

Цель формулируйте через бизнес-показатель и срок: например, рост числа органических заявок по ключевым направлениям за квартал при неизменном бюджете. Ориентиры для SEO-специалиста: доля важных страниц в индексе, скорость появления новых страниц, число дублей и ошибок, конверсия из поиска. Обещать конкретную позицию или трафик нельзя: срок зависит от конкуренции и состояния проекта.

Отчёт для руководства укладывается в одну страницу: итоги месяца, причины отклонений, три главных задачи на следующий месяц и риски, которые требуют решения вне SEO. Раз в квартал пересматривайте приоритеты и закрывайте то, что не сдвигает бизнес-метрики.

Частые вопросы