Ошибка 404: что это, почему появляется и как исправить

Что такое ошибка 404?

Ошибка 404, или Not Found, это стандартный ответ сервера по протоколу HTTP: связь есть, а страницы по адресу нет. Как объясняет MDN, сервер не может найти запрошенный ресурс. Ссылки, ведущие к коду 404, часто называют сломанными или мёртвыми.

Код читается по цифрам. Первая «4» говорит об ошибке клиента, например об опечатке в URL, а две последние уточняют, что ресурса нет. По данным Википедии, 404 не следует путать с ошибкой «Сервер не найден»: при 404 сервер отвечает, значит, ресурс в целом работает. Если опечатка допущена в домене, запрос до сервера просто не дойдёт.

Популярная легенда связывает число с комнатой 404 в CERN, где якобы стоял один из первых веб-серверов. Редакция Victory Agency напоминает, что Тим Бернерс-Ли и его коллеги никогда не подтверждали существование такой комнаты. Для практики важнее другое: цифры просто часть системы кодов ответа.

Насколько знакомо это сообщение, показывает британская история. В британском сленге «404» стало синонимом слова «невежественный»: к такому выводу пришёл телекоммуникационный отдел Королевской почты Великобритании. Об этом сказано в той же статье Википедии: код, который видит каждый пользователь, ушёл в живую речь.

Отличие 404 от других кодов ответа

Сервер отвечает на каждый запрос трёхзначным кодом, а первая цифра задаёт группу: успех, перенаправление, ошибка запроса или сбой сервера. Ответ «не найдено» показывает, что ресурс жив, но по этому адресу ничего нет. Поисковые роботы читают те же коды, поэтому они решают, останется ли адрес в индексе.

Ближе всего к 404 код 410. В справочнике Яндекса он описан так: затребованный ресурс был окончательно удалён. Для окончательно удалённого ресурса стоит обеспечить корректную отдачу кода 410, а для перемещённых настроить перенаправление 301. Код 404, по словам MDN, не уточняет, отсутствует ресурс временно или постоянно. Для поиска разница невелика: блог Google Search Central сообщает, что сейчас Google обрабатывает ошибки 410 и 404 одинаково.

Иногда этот код применяют не по назначению. Провайдер BT Group запустил систему блокировки Cleanfeed, которая возвращает ошибку 404 на любой запрос к материалам, признанным недопустимыми, как сообщает та же Википедия. В Тунисе, где такая практика, по описанию статьи, известна тоже, общественность даже создала персонаж «Аммар 404» как образ невидимого цензора. Урок для владельца проекта простой: ответ «не найдено» нельзя считать доказательством, что страница когда-либо существовала.

Причины появления ошибки 404

Причин много, но почти все сводятся к четырём случаям. Чаще всего ломается связь между адресом и тем, что ему соответствует:

• Опечатка в адресе: лишняя буква, обрезанная ссылка, неточная закладка.
• Страница удалена или переехала, а ссылки на неё остались во внутренней перелинковке, на внешних площадках и в старой рекламе.
• Сменилась структура: редизайн, новая CMS, переименованные разделы.
• Сломалась серверная часть: правила перенаправления, маршрутизация, права доступа.

Серверные причины проверяют по симптомам. Справка Рег.ру предлагает такую диагностику: когда главная открывается, но внутренние адреса отвечают ошибкой, начните с файла .htaccess и его правил переадресации. На сервере с Nginx ту же роль играют правила маршрутизации в конфигурации. А если проблема появилась после обновления CMS, установки или настройки плагина, проверьте эти изменения: в той же справке это отдельный пункт.

Масштаб последствий хорошо видно на кейсе агентства Seer Interactive. Клиент, производитель потребительских товаров, сменил CMS и поменял адреса. После запуска, по сообщению агентства, трафик упал на 26%. Аудит нашёл 90 тысяч страниц 404 из адресов, которые существовали и выпали из карты редиректов. Агентство описывает собственный проект, поэтому цифры стоит читать как отчёт исполнителя, но механика знакома любому, кто переезжал.

Есть и безобидные 404. В справочнике Яндекса сказано, что если такой страницы никогда не существовало, эту ошибку нужно игнорировать: возможно, кто-то поставил некорректную ссылку на ваш ресурс. Поэтому не каждый красный пункт в отчёте требует правки.

Влияние 404 на SEO и рекламу

Одиночные 404 не наказываются, и в том же блоге Google это сказано прямо:

Ошибки 404 - это нормальное явление

Сьюзан Москва, аналитик трендов Google, блог Google Search Central

В том же материале уточняется, что ошибки 404 сами по себе не влияют на позиции сайта в результатах поиска Google. Исключение составляют важные страницы: если 404 отдаёт адрес, который должен работать, причину нужно найти.

По разбору Skillbox несколько битых ссылок обычно никак не влияют на позиции, но проблемы начинаются в трёх случаях: ошибка на трафиковой странице, ошибка на странице с внешними ссылками, или битых ссылок становится много. Ссылки на страницу со статусом 404 не передают вес, так что ссылочная масса, копившаяся годами, обесценивается.

Когда битых ссылок много, робот раз за разом натыкается на них, а на больших ресурсах это отнимает часть лимита на обход. Там же приведён ориентир: по словам представителей Google, для динамичных проектов нормой остаются и 30-40% ошибок, если страницы постоянно появляются и пропадают. Универсального порога, после которого битые ссылки вредят, нет, поэтому смотрите на конкретные адреса.

Для маркетолога опасность в деньгах. Если объявление или письмо ведёт на удалённую страницу, клик оплачен, а заявки нет. Проверьте коды ответа всех посадочных страниц перед запуском кампании и после каждой правки структуры, а при крупной переработке сверьтесь с общей схемой SEO-продвижения.

Что такое мягкая ошибка и почему она хуже настоящей?

Soft 404, или мягкая ошибка, возникает, когда несуществующая страница показывает текст «не найдено», но отдаёт код 200. В рекомендациях Яндекса это названо распространённой ошибкой: сообщение об ошибке 404 заменяют на страницу-заглушку с кодом ответа 200. Поисковая система считает, что такой адрес существует, и это приводит к более медленному индексированию полезных страниц.

Причина обычно в добрых намерениях. В блоге Google объясняется, что владельцы хотят красивые страницы 404 и думают, что для них нужен код 200, и это распространённое заблуждение. Вы можете возвращать код 404 и при этом предлагать пользователям любой контент. Вторая типичная ловушка в том же материале: на неизвестный адрес сервер перенаправляет пользователя на главную страницу вместо ошибки.

Skillbox формулирует правило коротко: страница ошибки должна отдавать код 404 вместо 200, иначе поисковые системы увидят мягкую 404. Бывает и техническая причина. По Википедии, на Apache мягкая ошибка появляется, когда путь к файлу с ошибкой в .htaccess задан как абсолютный адрес.

Проверка занимает минуту:

1. Откройте любой заведомо несуществующий адрес вашего проекта, например /proverka-test.
2. В инструментах разработчика браузера, вкладка Network, посмотрите код ответа у запрошенного документа.
3. Если там 200 или 302, настройте вывод страницы ошибки с кодом 404.
4. Повторите проверку для разделов с разными шаблонами: блога, каталога, личного кабинета.

Поиск и исправление страниц 404

Начните с отчётов поисковых систем. Справка Рег.ру напоминает: Google Search Console показывает только те 404, которые Google посчитал важными, поэтому именно их исправляют первыми. В Яндекс Вебмастере, по описанию Skillbox, страницы можно отфильтровать по коду ответа в статистике обхода.

Если нужен полный список внутренних битых ссылок, запустите краулер. Например, в Screaming Frog SEO Spider ошибки видны во вкладке Response Codes, фильтр Client Error (4xx), а рядом показано, какие страницы на них ссылаются.

Чтобы понять, как часто люди попадают на ошибку, смотрите в Метрике. Если битая ссылка ведёт на отдельную страницу с «/404» в адресе, откройте раздел «Содержание», затем «Популярное»: после фильтра по URL, который содержит «/404», переходы видны там.

Дальше решаете, что делать с каждым адресом. Google в справке по Search Console советует исправлять только те ошибки 404, которые относятся к страницам вашего ресурса или отражены в файле Sitemap. Если страница удалена без замещения, ответ 404 проблемой не считается. Если её перенесли, нужно перенаправление 301. Вариантов четыре:

• Исправить ссылку, если в ней опечатка.
• Настроить перенаправление на самую близкую по смыслу страницу, если материал переехал.
• Оставить 404 или отдать 410, если замены нет.
• Восстановить страницу из резервной копии, если она приносила трафик и удалена случайно.

Результат хорошо виден на уже знакомом кейсе. Seer сократил число ошибок 404 на 94%, с 90 тысяч до 5 тысяч. Адреса для редиректа выбирали по трафику и ссылкам, для адресов без ценности настроили 410. По отчёту агентства, органический трафик клиента вырос на 125%, а органическая выручка на 30% год к году. Это самоотчёт исполнителя, зато он показывает порядок действий: сначала ценные адреса, потом остальное.

Особый случай описан в блоге Google: если адрес в ссылке незначительно отличается от правильного, например www.example.com/awsome вместо www.example.com/awesome, причина может быть в простой опечатке. Тогда вместо ответа 404 можно настроить переадресацию 301 на правильный URL, чтобы избежать потери трафика. Такие адреса удобно искать в отчётах по внешним ссылкам: чаще всего опечатку допустил автор чужого материала.

Главная ошибка исправления: перенаправить все битые адреса на главную. В блоге Google такое поведение отнесено к проблемным, потому что оно затрудняет индексацию. Лучше вести пользователя на ближайшую по смыслу страницу или честно показать ошибку.

Как оформить страницу 404?

Свою страницу ошибки стоит сделать почти всегда. По словам MDN, многие сайты настраивают внешний вид страницы 404, чтобы быть полезнее пользователю. В блоге Google на это же указано: вместо сухого сообщения «Не найдено (404)» можно предложить помощь в поиске нужных сведений. Для сайта на CMS обычно хватает шаблона в админке, для остальных создают страницу 404.html или 404.php и подключают её в настройках сервера.

Рабочий набор элементов короткий:

• Понятный заголовок и одна фраза о том, что случилось, без жаргона.
• Заметная кнопка на главную или в каталог.
• Поле поиска, если на ресурсе много материалов.
• Ссылки на популярные разделы и контакты.
• Тон бренда: лёгкая шутка уместна, если она не мешает найти нужное.

Допускается и игра. Автомобильный бренд Peugeot, как сказано в Википедии, изображает на странице 404 автомобиль Peugeot 404: название кода совпало с названием модели, и компания использовала это. Пример показывает возможность, а правила остаются прежними: страница должна помогать идти дальше.

Есть техническая деталь. Википедия предупреждает: не следует отображать пользовательские страницы объёмом менее 512 байт, потому что Internet Explorer или Google Chrome в таком случае покажут собственную страницу ошибки. Поэтому слишком скупой шаблон лучше не делать и после настройки проверить код ответа. И стоит собирать данные о популярных битых ссылках: список адресов, с которых люди попадают на страницу ошибки, даёт готовый план редиректов.

Частые вопросы