Если сайт на WordPress плохо индексируется или в поиске появляются лишние служебные страницы, первым делом обычно смотрят на robots.txt. Но этот файл легко испортить: одним лишним запретом можно закрыть от обхода важные разделы, а одной неверной директивой — создать путаницу для поисковых роботов. Для WordPress лучше сразу собрать безопасный базовый вариант и понимать, что именно вы в нём ограничиваете.
Коротко: robots.txt не скрывает страницы от людей и не удаляет их из индекса. Он только подсказывает роботам, какие разделы сайта не стоит обходить. Если нужно именно убрать страницу из поиска, для этого используются другие механизмы, а не robots.txt.
Что обычно должно быть в robots.txt для WordPress
Для большинства обычных сайтов на WordPress достаточно простого файла, который не мешает индексации публичных страниц и при этом закрывает технические и служебные разделы. Базовый вариант выглядит так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlЗдесь есть три важных момента.
User-agent: *— правило для всех поисковых роботов.Disallow: /wp-admin/— закрывает административную часть WordPress.Allow: /wp-admin/admin-ajax.php— оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам.Sitemap— указывает карту сайта, если она у вас есть.
Если у вас нет отдельной карты сайта или она генерируется в другом адресе, строку Sitemap нужно заменить на реальный URL. Для WordPress 5.5 и новее встроенная карта сайта обычно доступна по адресу вида /wp-sitemap.xml, но многие SEO-плагины создают собственный адрес. Указывать нужно именно тот вариант, который реально открыт на сайте.
Что можно закрывать, а что лучше не трогать
Самая частая ошибка — пытаться через robots.txt закрыть всё подряд. Это не лучший подход. У файла есть понятная зона применения: служебные разделы, технические URL и страницы, которые не нужны в обходе роботами. Но если закрыть важные публичные разделы, поисковик может хуже понимать структуру сайта.
Обычно закрывают
/wp-admin/— административную панель.- Технические папки и служебные URL, если они реально доступны и не нужны в поиске.
- Внутренние результаты поиска по сайту, если они создают мусорные страницы и не несут ценности.
Обычно не закрывают
- Публичные записи, страницы, рубрики и другие материалы, которые должны индексироваться.
- CSS, JS и изображения, если они нужны для корректного рендеринга страниц.
- Случайные URL «на всякий случай», если вы не понимаете, что именно они делают.
Особенно осторожно относитесь к директивам, которые закрывают целые каталоги темы или плагинов. Если поисковый робот не сможет загрузить CSS и JavaScript, он может хуже оценить страницу. Это не всегда ломает индексацию сразу, но часто мешает нормальному обходу и анализу контента.
Готовый безопасный пример robots.txt для WordPress
Если вам нужен рабочий стартовый вариант без лишних усложнений, можно взять такой файл и затем подстроить его под свой сайт:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xmlЭтот вариант подходит для большинства небольших и средних сайтов на WordPress, если у вас нет особых требований к закрытию отдельных разделов. Дальше вы можете заменить адрес карты сайта на тот, который использует ваш SEO-плагин или сама система.
Если на сайте есть отдельные технические разделы, которые действительно не должны обходиться роботами, добавляйте их точечно. Например, лучше закрыть конкретный служебный путь, чем писать широкое правило, которое заденет лишнее.
Как создать и загрузить robots.txt в WordPress
У WordPress нет обязательного «правильного» места для редактирования robots.txt внутри админки. На практике есть два рабочих способа: через корень сайта по FTP/файловому менеджеру или через SEO-плагин, если он умеет редактировать этот файл.
Способ 1: создать файл в корне сайта
Это самый надёжный вариант. Нужно создать текстовый файл с именем robots.txt в корневой директории сайта, там же, где лежат wp-config.php, wp-content и wp-admin. После этого вставьте в него нужные директивы и сохраните файл в кодировке UTF-8 без BOM.
Если файл уже существует, не создавайте второй с похожим именем. Должен быть один реальный robots.txt в корне сайта.
Способ 2: редактировать через SEO-плагин
Некоторые SEO-плагины позволяют менять содержимое robots.txt из админки. Это удобно, если вы не хотите работать с файлами на хостинге. Но здесь важно помнить: плагин должен именно редактировать реальный файл или отдавать корректный виртуальный вариант, а не просто показывать красивый интерфейс.
Если после сохранения изменений файл не меняется или сайт продолжает отдавать старую версию, проверьте кэш плагина, серверный кэш и наличие физического файла в корне. Иногда именно он перекрывает виртуальную версию.
Типичные ошибки, из-за которых robots.txt мешает индексации
В robots.txt чаще всего ломают не сам файл, а логику его использования. Вот ошибки, которые я вижу на WordPress-сайтах чаще всего.
- Закрывают весь сайт. Например, пишут
Disallow: /и потом удивляются, почему страницы плохо обходятся. - Запрещают важные публичные разделы. Это особенно опасно для рубрик, записей и страниц услуг.
- Закрывают CSS и JS без необходимости. Робот может не увидеть страницу так, как её видит пользователь.
- Пишут карту сайта с ошибкой. Неверный URL в строке
Sitemapбесполезен и только путает. - Путают
robots.txtи мета-тегnoindex. Это разные инструменты, и они решают разные задачи.
Если вы уже внесли изменения и после этого страницы перестали нормально обходиться, сначала откатите файл к минимальному безопасному варианту. Потом добавляйте правила по одному и проверяйте результат после каждого изменения.
Как проверить, что файл работает правильно
Проверка нужна обязательно, потому что визуально файл может выглядеть нормально, но сервер отдавать совсем не то, что вы ожидаете. Начните с простых шагов.
- Откройте
https://ваш-домен.ru/robots.txtв браузере. - Убедитесь, что файл доступен без ошибки 404 и без редиректов на неожиданную страницу.
- Проверьте, что в нём нет лишних запретов вроде
Disallow: /, если вы не планировали закрывать весь сайт. - Проверьте адрес карты сайта в строке
Sitemap.
Если у вас есть доступ к инструментам для вебмастеров поисковой системы, там обычно можно проверить, как робот видит robots.txt и не блокирует ли он нужные URL. Это полезнее, чем гадать по коду файла.
Ещё один практический тест: откройте в браузере несколько важных страниц сайта и убедитесь, что они не закрыты правилами, которые вы добавили. Для WordPress это особенно важно, если вы вручную дописывали исключения для отдельных каталогов.
Когда robots.txt не решает задачу
Есть ситуации, в которых robots.txt не подходит. Если страница уже попала в индекс, но вы хотите убрать её из поиска, одного запрета на обход может быть недостаточно. Поисковик может знать о странице по внешним ссылкам или по старым данным и продолжать показывать её в выдаче.
В таких случаях обычно используют другие методы: закрытие страницы от индексации на уровне мета-тега или заголовков, удаление страницы с сайта, настройку редиректа или корректную обработку ошибки 404/410. Но это уже отдельная задача. Для настройки robots.txt важно не пытаться решить им всё сразу.
Если нужен именно безопасный старт, берите минимальный файл, закрывайте только административную часть и указывайте корректную карту сайта. Этого достаточно для большинства WordPress-сайтов, а дальше правила можно добавлять только по реальной необходимости, а не «на всякий случай».