В работе с WordPress иногда возникает необходимость запретить индексацию определённых страниц сайта поисковыми системами. Это помогает избежать попадания в индекс страниц с дублирующимся контентом, приватных разделов или тестовых страниц. В статье разберём несколько надёжных способов решения этой задачи с практическими примерами и кодом.
Почему важно контролировать индексацию страниц WordPress
Поисковые системы, такие как Google, автоматически сканируют и индексируют страницы сайта. Но не все страницы полезны для поисковой выдачи:
- Страницы с дублирующимся контентом могут понизить рейтинг;
- Личные кабинеты и внутренние страницы не должны появляться в поиске;
- Тестовые и временные страницы нужно исключить из индекса.
Без правильной настройки запрета индексации можно получить проблемы с SEO и безопасностью.
Запрет индексации через robots.txt
Файл robots.txt — это первый инструмент для управления индексацией. Он сообщает поисковым ботам, какие разделы сайта нельзя сканировать.
Чтобы запретить индексацию страницы или раздела, добавьте в robots.txt следующую запись:
User-agent: *
Disallow: /secret-page/
Disallow: /private/
Где /secret-page/ — путь к странице, которую нужно закрыть. Например, чтобы запретить индексацию страницы с адресом https://example.com/secret-page/, укажите её путь в Disallow.
Важно учитывать, что robots.txt запрещает только сканирование, но не гарантирует, что URL исчезнет из поиска, если на него есть ссылки.
Как отредактировать robots.txt в WordPress
Файл robots.txt может находиться в корне сайта. Если его там нет, можно создать через FTP или в панели хостинга.
Также есть плагины для управления robots.txt, например:
- Clearfy Pro — позволяет редактировать robots.txt прямо из админки WordPress и автоматически оптимизирует его.
Использование метатега <meta name="robots" content="noindex">
Чтобы поисковая система не индексировала конкретную страницу, можно добавить в её <head> метатег noindex. Это более надёжный способ, чем robots.txt, так как страница будет просканирована, но не попадёт в индекс.
Добавить метатег можно вручную или с помощью кода в functions.php вашей темы. Например, создадим функцию WPlearn_disable_indexing, которая добавляет метатег на страницы с определённым ID или условием:
function WPlearn_disable_indexing() {
if (is_page(array(42, 'private-page'))) { // ID или слаг страниц
echo '<meta name="robots" content="noindex, nofollow">';
}
}
add_action('wp_head', 'WPlearn_disable_indexing');В этом примере для страниц с ID 42 и слагом 'private-page' добавляется запрет индексации и следования по ссылкам.
Как расширить функцию для произвольных условий
Можно применять запрет индексации для шаблонов, категорий или пользовательских типов записей, например:
function WPlearn_disable_indexing() {
if (is_category('news') || is_singular('product')) {
echo '<meta name="robots" content="noindex, nofollow">';
}
}
add_action('wp_head', 'WPlearn_disable_indexing');Так запрет будет действовать для категории новостей и всех товаров.
Использование плагина для управления индексацией
Если хотите упростить работу, можно использовать плагины с расширенными возможностями:
- Clearfy Pro — инструмент для управления SEO-настройками, включая управление индексацией отдельных страниц и разделов;
- Yoast SEO — популярный SEO плагин с возможностью выставлять запрет индексации для страниц и записей;
- Rank Math — ещё один SEO плагин с гибкими настройками роботов.
Плюс Clearfy Pro удобен тем, что интегрируется с другими инструментами из экосистемы WPSHOP и облегчает настройку.
Проверка корректности запрета индексации
После настройки запрета индексации важно проверить, что поисковики корректно воспринимают ограничения.
Для этого:
- Проверьте файл robots.txt по адресу
https://your-site.ru/robots.txt; - Откройте страницу в браузере и проверьте наличие метатега
noindexв исходном коде; - Используйте инструменты Google Search Console — раздел «Проверка URL» покажет, как Google видит страницу;
- Можно использовать онлайн-сервисы, например robots.txt Tester или TechnicalSEO Robots.txt Tester.
Практические рекомендации по запрету индексации в WordPress
1. Используйте robots.txt для закрытия больших разделов
Если нужно закрыть весь раздел сайта, например, /private/, robots.txt — самый простой способ. Он не позволит сканировать эти URL.
2. Для отдельных страниц лучше использовать метатег noindex
robots.txt не всегда гарантирует удаление из индекса, если на страницу есть ссылки. Метатег noindex — более точный метод для отдельных URL.
3. Автоматизируйте с помощью функций и плагинов
Если у вас много страниц с разными условиями, напишите функцию как WPlearn_disable_indexing или настройте Clearfy Pro.
4. Не забывайте проверять изменения через Google Search Console
После внесения изменений отправляйте URL на повторную индексацию или удаление в GSC.
Заключение
Контроль индексации страниц — важный аспект SEO и безопасности сайта на WordPress. Комбинируйте файлы robots.txt с метатегами noindex и используйте код для гибкой настройки. Плагины из экосистемы WPSHOP, такие как Clearfy Pro, помогут упростить задачу и избежать ошибок.