Ошибка Soft 404: почему рабочую страницу Google считает несуществующей

Что такое Soft 404 и чем она отличается от обычной ошибки 404

Обычная ошибка 404 - это конкретный код ответа сервера. Он сообщает браузеру и поисковому роботу, что запрошенный ресурс не найден.

Soft 404 работает иначе. Это не отдельный HTTP-код, а классификация, которую Google присваивает URL, если ответ сервера и фактическое содержимое страницы противоречат друг другу.

Например, пользователь открывает страницу товара, которого больше нет в каталоге. Вместо карточки товара видит надпись «Товар не найден», но сервер отвечает кодом 200 OK.

Формально сервер сообщает Google, что все работает. Фактически документ представляет собой страницу ошибки. Google может распознать это несоответствие и классифицировать URL как Soft 404.

Почему Soft 404 появляется даже на работающей странице?

Более сложный случай - когда посетитель видит полноценную страницу, а Googlebot получает почти пустой документ. Такое возможно, например, если основной контент создается JavaScript, который не выполнился при обработке страницы поисковой системой.

В результате для человека сайт существует, а для Google содержимое URL может выглядеть так, будто страницы нет.

Чем Soft 404 опасна для SEO?

Если Google определил важную страницу как Soft 404, она может быть исключена из поискового индекса. Это особенно неприятно для коммерческих URL: категорий интернет-магазина, карточек товаров, страниц услуг и региональных посадочных страниц.

• Страница может перестать появляться в результатах Google.
• Сайт теряет возможность получать органический трафик по запросам, которым соответствует этот URL.
• Массовые Soft 404 усложняют обход сайта и могут приводить к расходованию ресурсов сканирования на бесполезные адреса.
• Ошибки шаблонов способны одновременно затрагивать сотни или тысячи страниц.
• Владелец сайта может долго не замечать проблему, поскольку в обычном браузере все выглядит исправно.

При этом Soft 404 не следует путать с санкциями Google. Это проблема распознавания и обработки конкретных URL, а не доказательство того, что на сайт наложено ручное наказание.

Почему Google считает существующую страницу несуществующей: 8 основных причин

Главная ошибка при анализе Soft 404 - сразу пытаться изменить HTTP-статус или отправить URL на переобход. Сначала нужно понять, почему алгоритмы Google сделали такой вывод.

1. Страница возвращает 200 OK, но показывает сообщение об ошибке

Один из самых распространенных вариантов. CMS не нашла товар, статью или услугу и вместо содержимого вывела сообщение «Ничего не найдено».

При этом сервер не переключил HTTP-статус на 404. Google получил обычный успешный ответ, но обнаружил текст и структуру страницы ошибки.

Как исправить: определить, существует ли ресурс. Для отсутствующего URL настроить настоящий 404 или 410. Для существующего - восстановить содержимое.

2. JavaScript не загрузил основной контент

Современные сайты часто отображают карточки товаров, цены, описания и другие данные только после выполнения JavaScript.

Представим страницу интернет-магазина, где сервер первоначально отдает только шапку, меню и пустой контейнер. Контент должен появиться после обращения к API.

Если запрос к API завершился ошибкой, скрипт не выполнился или критический ресурс оказался недоступен Googlebot, поисковик может получить практически пустой документ.

Как исправить: проверить отрисованный HTML, доступность API и JavaScript-ресурсов. Для важных SEO-страниц рассмотреть серверный рендеринг (SSR) или предварительную генерацию HTML (SSG).

3. На странице отсутствует основное содержимое

Иногда URL технически существует, но внутри него отображаются только общие элементы:

• логотип и навигационное меню;
• хлебные крошки;
• заголовок без раскрытия темы;
• футер и стандартные ссылки;
• пустой блок, куда должен подгружаться контент.

Такое бывает после неудачного импорта данных, публикации незаполненных страниц или ошибок шаблона.

Google может воспринимать практически пустой документ как страницу, которая не содержит ожидаемого ресурса.

Однако важно отличать Soft 404 от другого статуса Search Console - «Просканирована, но пока не проиндексирована». Недостаточная ценность контента сама по себе не означает, что Google обязательно присвоит Soft 404.

4. Все несуществующие URL перенаправляются на главную

Иногда разработчики настраивают правило: если запрошенный URL неизвестен, отправлять посетителя на главную страницу.

Например, удаленная карточка товара перенаправляет пользователя на главную магазина. Но главная страница не заменяет удаленный товар и не отвечает на исходный запрос.

Google может расценить такой редирект как Soft 404, поскольку запрошенный ресурс фактически не найден.

Как исправить: выполнять 301-редирект только при наличии действительно подходящей замены. В остальных случаях возвращать 404 или 410.

5. Проблемы с сервером или базой данных

Ошибка Soft 404 иногда появляется из-за временного сбоя: сервер не смог получить данные из базы, выполнить шаблон или загрузить необходимый модуль.

При этом приложение может некорректно возвращать статус 200 вместо соответствующего кода ошибки.

Владелец сайта проверяет URL позже, когда сервер уже работает нормально, и не понимает, почему Google посчитал страницу несуществующей.

Как исправить: изучить серверные логи, журнал ошибок приложения и время последнего обхода URL поисковым роботом.

6. Googlebot получает другую версию страницы

Работа CDN, систем защиты от ботов, ограничений доступа или географических фильтров способна приводить к различиям между тем, что видит обычный пользователь, и тем, что получает поисковый робот.

Например, Googlebot вместо карточки товара может увидеть заглушку «Доступ временно ограничен», которую сайт ошибочно отдает со статусом 200.

Как исправить: проверить правила CDN и WAF, серверные журналы, доступность страницы без авторизации и результаты проверки URL в Search Console.

7. Пустые категории, фильтры и результаты поиска

Интернет-магазины и каталоги услуг могут создавать большое количество URL на основе фильтров.

Допустим, пользователь выбирает сочетание характеристик, для которого нет ни одного товара. Система создает отдельный URL с сообщением «По вашему запросу ничего не найдено».

Если такие страницы возвращают 200 и доступны поисковым роботам, часть из них может классифицироваться как Soft 404.

Как исправить: разработать политику индексации фильтров. Полезные категории должны содержать содержимое, а несуществующие ресурсы - корректно обрабатывать отсутствие данных.

8. Проблемы мобильной версии или шаблона страницы

Google преимущественно использует мобильную версию сайта для индексации. Поэтому важно проверять не только то, как страница выглядит на компьютере.

Бывает, что в десктопной версии опубликована полноценная статья, а мобильный шаблон из-за ошибки скрывает или не загружает ее основной текст.

Аналогичная проблема встречается, когда разные версии сайта используют различные источники данных или отдельные механизмы рендеринга.

Как исправить: проверить доступность основного содержимого в мобильной версии, правильность работы шаблонов и результат рендеринга со стороны Google.

Как найти и диагностировать Soft 404 в Google Search Console

Для диагностики важно использовать не только браузер, но и инструменты, позволяющие понять, что именно получает Google.

Шаг 1. Откройте отчет об индексировании страниц

Перейдите в Google Search Console и выберите нужный ресурс. В разделе «Индексирование → Страницы» найдите причину исключения Soft 404 (название может немного отличаться в зависимости от языка интерфейса).

Откройте соответствующий отчет и изучите примеры URL, по которым обнаружена проблема.

Сразу оцените масштаб: затронута одна страница, отдельный шаблон или целая группа URL.

Шаг 2. Проверьте проблемный URL

Скопируйте адрес и вставьте его в инструмент «Проверка URL» в верхней части Search Console.

Обратите внимание на следующие данные:

• Дата последнего сканирования. Когда Google последний раз обрабатывал URL.
• Результат получения страницы. Удалось ли Google загрузить документ.
• Разрешено ли сканирование. Не блокируется ли URL правилами сайта.
• Разрешено ли индексирование. Нет ли запрета noindex.
• Канонический URL. Какую страницу Google выбрал основной.

Шаг 3. Выполните проверку опубликованной версии

Нажмите «Проверить опубликованный URL» и после завершения теста откройте «Просмотреть проверенную страницу».

Изучите скриншот и HTML, полученные при проверке.

Это один из самых важных этапов диагностики, поскольку он позволяет сравнить реальную страницу с ее представлением для Google.

Что необходимо проверить:

• Отображается ли основной заголовок H1?
• Загрузился ли текст статьи или описание услуги?
• Присутствуют ли карточки товаров и категории?
• Нет ли сообщений об ошибках или недоступности?
• Не оказался ли документ пустым?
• Есть ли ошибки JavaScript и проблемы с загрузкой ресурсов?

Если браузер показывает полноценную страницу, а Google видит только меню и футер, причина, вероятно, связана с доступностью или рендерингом содержимого.

Шаг 4. Проверьте HTTP-статус сервера

Для первичной проверки можно использовать инструменты разработчика браузера, серверные логи или команду curl.

Например, следующая команда выполнит GET-запрос и покажет HTTP-код ответа без вывода тела документа:

curl -sS -o /dev/null -w "%{http_code}\n" https://example.com/catalog/item/

Если нужно проследить редиректы и узнать конечный URL:

curl -sS -L -o /dev/null -w "HTTP %{http_code} | %{url_effective}\n" https://example.com/catalog/item/

Вторая команда показывает итоговый ответ. Для анализа всей цепочки редиректов необходимо дополнительно проверить промежуточные ответы.

Учтите, что локальный результат curl не гарантирует такого же ответа Googlebot. Кроме того, успешный HTTP-ответ еще не означает, что JavaScript корректно сформировал страницу.

Шаг 5. Сравните технические данные и содержимое

Проверьте, совпадают ли четыре элемента: содержимое в браузере, ответ сервера, HTML после рендеринга и результат проверки опубликованного URL в Search Console.

Если данные различаются, определите, на каком этапе исчезает содержимое: при генерации сервером, загрузке ресурсов, выполнении скриптов или применении правил доступа.

Не получается определить причину Soft 404?

Иногда проблема затрагивает не один URL, а шаблоны целых разделов. В таких случаях недостаточно проверить код ответа сервера. Нужно изучить логи, индексацию, рендеринг, редиректы и работу CMS.

В GiperBaton можно заказать аудит сайта, чтобы получить системную картину технических проблем и определить приоритетные исправления.

Какие HTTP-статусы должны возвращать страницы

Исправление Soft 404 начинается с определения реального состояния ресурса. Нельзя назначить один универсальный HTTP-код для всех проблемных страниц.

Для существующего URL важно сохранить статус 200 и обеспечить доступность полноценного содержимого.

Для действительно удаленной страницы корректный статус 404 или 410 не является SEO-ошибкой сам по себе.

Примеры Soft 404 на разных типах сайтов

Интернет-магазин: товар временно отсутствует

Карточка популярного товара осталась в каталоге, но складские остатки закончились. CMS автоматически заменила ее содержимое сообщением «Товар не найден».

Google видит страницу, похожую на удаленную, и может присвоить ей Soft 404.

Правильное решение: если товар планируется продавать снова, имеет смысл сохранить полноценную карточку со статусом 200, описанием, характеристиками, информацией об отсутствии и альтернативными предложениями.

Если товар окончательно снят с продажи, следует оценить наличие прямого аналога. При его отсутствии корректным вариантом может быть 404 или 410.

Для магазинов с большим количеством товаров такие ошибки особенно важно учитывать при SEO-продвижении интернет-магазина: проблема одного шаблона может затрагивать значительную часть товарных URL.

Корпоративный сайт: страница услуги без описания

Компания создала отдельную страницу для новой услуги, добавила название и кнопку «Оставить заявку», но не заполнила основной информационный блок.

Если документ выглядит как пустая заготовка, Google может интерпретировать его как страницу без реального содержимого.

Что делать: разместить полезное описание услуги, условия выполнения, состав работ, ограничения и другую информацию, необходимую посетителю. Важно не количество текста ради количества, а наличие полноценного ответа на запрос.

Сайт услуг: региональная страница не загружается

На сайте предусмотрены отдельные посадочные страницы для нескольких городов. Региональные данные должны загружаться из базы или API.

При ошибке загрузки шаблон отображает общий заголовок, но не выводит информацию об услугах, адресах или других элементах региональной страницы.

Владелец сайта может увидеть все содержимое после повторной загрузки, тогда как Google зафиксировал почти пустой документ.

Что делать: проверить генерацию региональных страниц, доступность данных и обработку ошибок в шаблоне.

Каталог: фильтр сформировал пустую страницу

Каталог создал URL для комбинации характеристик, которой не соответствует ни один товар.

Посетитель видит сообщение «Нет результатов», а сервер отвечает 200. Если URL не представляет самостоятельной ценности для поиска, его индексация может быть не нужна.

Что делать: оценить назначение фильтра и выбрать соответствующую стратегию: полноценная индексируемая категория, noindex для существующей служебной страницы или корректная обработка несуществующего URL.

JavaScript-сайт: пустая страница после сбоя API

Страница создана на клиентском JavaScript-фреймворке. Сервер возвращает HTML-оболочку, после чего браузер должен загрузить данные через API.

Из-за ошибки API посетителю или Googlebot отображается пустой контейнер.

Что делать: обеспечить надежное получение данных, корректное отображение ошибок и доступность основного содержимого. Для значимых посадочных страниц целесообразно рассмотреть SSR или статическую генерацию.

Как исправить Soft 404: пошаговое руководство

1. Разделите проблемные URL по типам

Выгрузите примеры страниц из Search Console и распределите их по группам:

• страницы товаров;
• категории и фильтры;
• статьи и информационные материалы;
• коммерческие страницы услуг;
• служебные и ошибочные URL;
• страницы с JavaScript-рендерингом.

Такой подход помогает определить, связана ли ошибка с отдельным документом или с общей технической логикой сайта.

2. Выясните, должна ли страница существовать

Для каждого типа URL ответьте на три вопроса:

1. Есть ли у страницы самостоятельное назначение?
2. Должен ли посетитель получать информацию именно по этому адресу?
3. Нужна ли эта страница в поисковой выдаче Google?

Если страница действительно отсутствует, не нужно создавать искусственный контент только ради устранения отметки Soft 404.

3. Исправьте HTTP-код и редиректы

Проверьте настройки веб-сервера, маршрутизацию приложения и обработку несуществующих ресурсов.

Убедитесь, что удаленные страницы не возвращают 200 и не перенаправляются без необходимости на главную.

Если URL перемещен, настройте постоянный редирект на действительно соответствующую страницу, а не на случайный раздел.

4. Восстановите основной контент

Если страница должна существовать, проверьте наличие содержимого в серверном HTML и после выполнения JavaScript.

При необходимости исправьте шаблон, подключение к базе, работу API или загрузку критических ресурсов.

Важно добиться того, чтобы Google получал основной контент стабильно, а не только после повторного открытия страницы человеком.

5. Проверьте ограничения доступа

Изучите правила robots.txt, настройки CDN, защиту от ботов, редиректы и HTTP-заголовки.

Если поисковику недоступны ресурсы, необходимые для формирования страницы, устраните соответствующие ограничения.

Также проверьте случайные директивы noindex и неправильные canonical, но учитывайте, что это отдельные факторы индексирования.

6. Протестируйте исправление на нескольких URL

Если проблема была массовой, недостаточно проверить одну страницу.

Выберите несколько адресов из каждой группы и убедитесь, что исправление работает на всех соответствующих шаблонах.

7. Проверьте внутренние ссылки и sitemap.xml

Обновите внутренние ссылки, ведущие на удаленные страницы, и проверьте карту сайта.

В sitemap.xml желательно сохранять актуальные канонические URL, которые действительно предназначены для индексирования.

Для перенесенных страниц обновите ссылки так, чтобы они по возможности сразу вели на новые адреса.

Когда проблема требует доработки сайта

Если Soft 404 возникает из-за архитектуры приложения, неправильной маршрутизации, ошибок шаблонов или JavaScript, одними SEO-настройками ее не устранить.

Команда GiperBaton занимается разработкой сайтов, поэтому технические причины подобных ошибок можно учитывать еще на этапе проектирования и реализации веб-проекта.

7 ошибок при исправлении Soft 404

Ошибка №1. Перенаправлять все URL на главную

Массовые редиректы на главную страницу не решают проблему отсутствующего ресурса. Google может продолжить классифицировать такие URL как Soft 404.

Ошибка №2. Добавлять текст ради объема

Не существует универсального количества слов, автоматически устраняющего Soft 404. Важно вернуть полноценное содержимое и устранить технические причины.

Ошибка №3. Закрывать все проблемные URL через robots.txt

Запрет сканирования не исправляет неправильный HTTP-ответ. Более того, он может помешать Google увидеть внесенные изменения.

Ошибка №4. Использовать noindex для каждой Soft 404

Noindex может быть уместен для страницы, которая существует, но не должна появляться в Google. Однако для важной коммерческой страницы такой запрет противоречит задаче восстановления индексации.

Ошибка №5. Проверять только HTTP 200

Успешный ответ сервера не гарантирует, что Google увидел основной контент. Необходимо проверять результат рендеринга.

Ошибка №6. Отправлять URL на переобход без исправления

Повторное сканирование не устранит ошибки CMS, JavaScript или редиректов. Сначала нужно исправить причину, затем проверять результат.

Ошибка №7. Считать каждую 404 критической SEO-проблемой

Нормальный ответ 404 для удаленного несуществующего ресурса не является поводом для паники. Важно отличать ожидаемые отсутствующие URL от страниц, которые должны приносить поисковый трафик.

Как проверить результат после исправления Soft 404

После внесения изменений Google не обязан мгновенно обновить статус страницы. Данные в отчете об индексации отражают результаты предыдущих обходов.

Что делать после исправления

1. Проверьте страницу в браузере. Убедитесь, что основной контент отображается без ошибок.
2. Проверьте HTTP-ответ. Он должен соответствовать фактическому состоянию URL.
3. Запустите проверку опубликованного URL. Сравните содержимое и результат рендеринга с ожидаемой версией страницы.
4. При необходимости запросите индексирование. Для существующих важных URL используйте соответствующую функцию Search Console.
5. Запустите проверку исправления. В отчете с проблемой Soft 404 можно воспользоваться функцией подтверждения устранения ошибки.
6. Отслеживайте изменения. Проверяйте количество затронутых URL и их последующий статус индексирования.

Для оценки результата полезно отслеживать не только исчезновение Soft 404, но и последующую индексацию важных URL, изменения поисковых показов и кликов.

Чек-лист: что проверить, если Google показывает Soft 404

Используйте этот список при самостоятельной диагностике проблемы.

• Определено, должна ли проблемная страница существовать.
• Проверен фактический HTTP-статус URL.
• Проверена вся цепочка редиректов.
• Открыта последняя сохраненная информация о сканировании URL в Search Console.
• Проверена опубликованная версия страницы.
• Изучены HTML и скриншот после рендеринга Google.
• Проверена доступность основного текста, товаров или других данных.
• Проверены критические JavaScript-ресурсы и запросы к API.
• Проверены правила доступа, CDN и возможные защитные ограничения.
• Проверены robots.txt, noindex и canonical.
• Исправлены ссылки на удаленные и перенесенные URL.
• Обновлена sitemap.xml при изменении адресов.
• Проведена повторная проверка нескольких проблемных страниц.
• Запущено подтверждение исправления в Google Search Console, если это необходимо.

Если большинство пунктов выполнено, но URL продолжает получать Soft 404, необходимо сопоставить время обходов Googlebot с серверными журналами и результатами загрузки страницы.

Частые вопросы о Soft 404

Выводы: как не допускать Soft 404 на сайте

Ошибка Soft 404 показывает, насколько важно различать техническую доступность URL и фактическую доступность его содержимого.

Страница может возвращать 200 OK, корректно открываться у владельца сайта и при этом быть практически пустой с точки зрения Google.

Поэтому диагностику необходимо начинать не с массовых редиректов или изменения метатегов, а с проверки состояния ресурса, HTTP-ответа и результата рендеринга.

Для действительно удаленных страниц нужно правильно использовать 404 и 410. Для перенесенных URL - 301. Для существующих страниц - обеспечивать стабильную загрузку основного содержимого.

Особенно важно контролировать Soft 404 после изменения структуры сайта, обновления CMS, запуска новых шаблонов и массовой генерации посадочных страниц.

Google исключает важные страницы из индекса?

Soft 404 может оказаться лишь одной из проблем технической оптимизации. Чтобы важные коммерческие страницы участвовали в поиске, необходимо системно работать с индексированием, структурой, контентом и внутренними ссылками.

GiperBaton занимается продвижением сайтов в Google. В рамках SEO-работ важно не просто обнаруживать исключенные URL, но и устранять причины, которые мешают поисковой системе корректно обрабатывать страницы сайта.

Официальные источники и документация

При подготовке материала использованы рекомендации Google Search Central:

• Troubleshoot Google Search Crawling Errors - диагностика ошибок сканирования и Soft 404.
• Page indexing report - статусы индексирования страниц в Search Console.
• JavaScript SEO basics - особенности обработки JavaScript-страниц.
• 404 (Page Not Found) errors - рекомендации по удаленным страницам и редиректам.