Как отключить индексацию служебных страниц WordPress

Если в поиске всплывают архивы автора, страницы дат, теги, внутренний поиск и другие малоценные URL, это обычно не проблема движка, а вопрос настройки индексации. WordPress сам по себе создаёт много служебных страниц: они полезны для навигации, но далеко не всегда нужны в поиске. Чаще всего их не удаляют, а закрывают от индексации или оставляют доступными только для обхода роботами.

Задача здесь не в том, чтобы «спрятать всё лишнее», а в том, чтобы не отдавать поисковикам страницы без самостоятельной ценности. Если закрыть слишком много, можно случайно убрать из поиска полезные разделы сайта. Поэтому сначала стоит понять, что именно отключать, а уже потом выбирать способ.

Какие страницы WordPress обычно закрывают от индексации

В большинстве проектов от индексации убирают не контентные страницы, а служебные и дублирующие разделы. Типичный список выглядит так:

• архивы автора, если на сайте один автор или архивы не несут отдельной ценности;
• архивы по датам, если вы не ведёте новостной или хронологический проект;
• страницы тегов, если теги используются формально и дублируют рубрики;
• внутренний поиск сайта, например URL вида ?s=;
• страницы пагинации архивов, если они не нужны в поиске как самостоятельные посадочные;
• служебные страницы вроде результатов фильтрации, если они создают множество почти одинаковых URL.

При этом рубрики, важные архивы товаров или посадочные страницы с реальным трафиком закрывать без проверки не стоит. Если страница отвечает на отдельный запрос и даёт пользователю полезный контент, она может оставаться в индексе.

Что лучше: noindex, robots.txt или удаление страницы

Для служебных страниц WordPress обычно используют noindex. Это самый безопасный вариант, потому что страница остаётся доступной для обхода, но поисковик не должен добавлять её в выдачу. Для SEO-задач это чаще всего правильнее, чем просто запретить обход через robots.txt.

Разница простая:

Если цель именно убрать страницы из поиска, а не просто снизить нагрузку на обход, обычно выбирают noindex. Запрет в robots.txt сам по себе не гарантирует исчезновение URL из выдачи, если на него уже есть ссылки или он известен поисковику.

Проще всего закрыть служебные страницы через SEO-плагин

На практике удобнее всего настраивать индексацию через SEO-плагин. В WordPress это обычно делается в настройках архивов, таксономий и страницы поиска. Названия пунктов зависят от плагина, но логика везде похожая: для нужного типа страниц включается noindex, а иногда ещё и отключается вывод ссылки в карте сайта.

Если у вас установлен плагин с настройками SEO, проверьте такие разделы:

• архивы автора;
• архивы дат;
• теги;
• страницы поиска;
• страницы пагинации, если плагин даёт отдельную настройку для архивов;
• медиа-страницы вложений, если они индексируются отдельно.

После изменения настроек не забудьте сохранить их и очистить кэш, если на сайте используется кэширование на уровне плагина, сервера или CDN. Иначе вы можете проверить старую версию страницы и решить, что настройка не сработала.

Когда имеет смысл закрывать архивы автора и дат

Архив автора обычно закрывают на сайтах с одним автором или там, где страница автора повторяет ленту записей без добавленной пользы. Если на сайте несколько редакторов и у каждого есть собственная биография, подборки или уникальный контент, архив автора иногда можно оставить открытым.

Архивы дат почти всегда малоценны для обычного корпоративного сайта, блога или сайта услуг. Они полезны только там, где пользователю действительно важна хронология публикаций. Если такой задачи нет, noindex для дат — нормальная практика.

Что делать с тегами

Теги часто создают больше дублей, чем пользы. Если теги используются как вспомогательная навигация и на каждом из них по две-три записи, поисковику они обычно не нужны. В таком случае их закрывают от индексации или вообще пересматривают структуру таксономий.

Но если теговые страницы у вас реально собирают трафик и содержат осмысленную подборку материалов, закрывать их автоматически не стоит. Сначала проверьте, есть ли у них уникальный заголовок, описание и достаточное количество релевантных записей.

Как закрыть индексацию вручную, если плагина нет

Если SEO-плагин не используется, можно добавить мета-тег noindex в шаблон нужного типа страниц. Для этого обычно правят тему или дочернюю тему. Такой способ требует аккуратности: ошибка в шаблоне может затронуть весь сайт, а обновление темы способно перезаписать изменения.

Для отдельных архивов и поиска логика обычно строится через условные теги WordPress. Пример ниже показывает, как добавить noindex для страниц поиска, архивов автора, дат и тегов. Код нужно вставлять в functions.php дочерней темы или в собственный мини-плагин:

add_action( 'wp_head', function () {
    if ( is_search() || is_author() || is_date() || is_tag() ) {
        echo '<meta name="robots" content="noindex,follow">' . "\n";
    }
} );

Здесь используется noindex,follow: страница не должна попадать в индекс, но ссылки с неё можно обходить. Для служебных архивов это обычно разумный вариант. Если вы не уверены в правках темы, лучше использовать SEO-плагин или вынести код в отдельный плагин, чтобы не потерять настройку после обновления.

Когда одного noindex недостаточно

Иногда страницы продолжают появляться в поиске даже после закрытия от индексации. Обычно это происходит по одной из причин:

• страница уже была в индексе, и поисковику нужно время на переобход;
• на URL ведут внутренние или внешние ссылки;
• на странице стоит кэшированная старая версия без noindex;
• в robots.txt закрыт обход, но сам URL уже известен поисковику;
• на сайте есть дубли через параметры, пагинацию или нестандартные таксономии.

Если URL должен исчезнуть полностью и больше не нужен, тогда логичнее не прятать его от робота, а удалить страницу и отдать корректный код ответа. Но для служебных архивов это обычно не требуется: достаточно noindex и нормальной внутренней перелинковки.

Как проверить, что индексация действительно отключена

После настройки не ограничивайтесь визуальной проверкой в админке. Откройте нужную страницу в браузере и посмотрите исходный код: в <head> должен быть мета-тег noindex. Если вы используете SEO-плагин, он обычно добавляет ещё и канонический URL, что тоже полезно для снижения дублей.

Дальше проверьте три вещи:

1. страница отдаёт обычный код ответа 200, если вы именно закрываете её от индексации, а не удаляете;
2. в исходном коде есть noindex;
3. страница не закрыта случайно от обхода в robots.txt, если вам важно, чтобы робот видел мета-тег.

Если сайт уже добавлен в инструменты для вебмастеров, отправьте страницу на повторную проверку после очистки кэша. Но не ждите мгновенного исчезновения из выдачи: поисковик обновляет такие страницы не сразу.

Что не стоит закрывать без проверки

Главная ошибка — массово ставить noindex на всё подряд. Так можно убрать из поиска полезные рубрики, важные посадочные страницы и материалы, которые реально приводят трафик. Особенно осторожно стоит относиться к:

• категориям с осмысленным контентом;
• страницам, которые собирают коммерческий спрос;
• архивам, которые уже ранжируются и дают переходы;
• страницам, где пользователь ожидает навигацию по теме, а не просто список записей.

Если сомневаетесь, откройте статистику и посмотрите, какие служебные URL уже получают показы и клики. Закрывать от индексации имеет смысл то, что не приносит поискового трафика и не несёт самостоятельной ценности. Это самый безопасный способ уменьшить количество дублей и не сломать видимость сайта.

На практике рабочая схема обычно такая: архивы автора и дат, внутренний поиск и большинство тегов закрываются от индексации, а полезные рубрики и страницы с реальным спросом остаются открытыми. Если настроить это аккуратно и проверить исходный код, сайт станет чище для поисковиков без лишнего риска для трафика.