Robots.txt

01

Назначение robots.txt

Файл robots.txt лежит в корне домена (https://example.com/robots.txt) и содержит инструкции для поисковых роботов: какие пути можно обходить, какие — нет, и где находится sitemap. Это не пароль и не защита данных: любой пользователь может открыть файл и увидеть правила. Задача robots.txt — управление краулингом и экономия ресурсов сервера и робота, а не гарантированное скрытие контента от индекса.

На больших сайтах robots.txt помогает ограничить обход технических путей и указать sitemap. Он не обеспечивает конфиденциальность и не заменяет запрет индексации. Ошибка в широком правиле может закрыть сканирование важных разделов.

Файл задаёт правила для роботов, которые их соблюдают. Для конфиденциальных разделов используйте авторизацию и ограничение доступа на сервере. Noindex тоже не защищает данные от просмотра человеком.

02

Основные директивы

Проверьте группы User-agent, точное совпадение путей и поддержку директив нужным роботом. Не рассчитывайте на случайный порядок строк как способ разрешить конфликт.

• User-agent: указывает робота (* — все, Googlebot, Yandex и др.).
• Disallow: запрещает обход путей, начинающихся с указанного префикса.
• Allow: разрешает обход внутри запрещённой ветки (важно для Google).
• Sitemap: абсолютный URL XML-карты сайта — может повторяться несколько раз.
• Скорость обхода индексирующего робота Яндекса задают в Вебмастере; он не учитывает Crawl-delay. Для других роботов поддержку проверяют отдельно.
• Предпочтительную версию сайта согласуют перенаправлениями, canonical и настройками поисковой системы; не копируйте устаревшие директивы из чужого файла.

Правила применяются к группе User-agent до следующей группы. Не смешивайте без необходимости десятки блоков — сложнее сопровождать. Документируйте, зачем закрыт каждый путь: через полгода команда забудет причину Disallow.

03

Пример файла

Условный robots.txt для интернет-магазина на WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap_index.xml

Для Google не закрывайте /wp-includes/ и критичные JS/CSS без крайней необходимости — роботу нужен рендер страницы. Закрытие всего /wp-content/ — частая фатальная ошибка после «копирования чужого robots».

Тестовый стенд лучше закрыть HTTP-авторизацией. Один Disallow: / не гарантирует отсутствия адресов в поиске. Если выбран noindex, робот должен иметь возможность прочитать его; не считайте его защитой непубличных данных.

04

robots.txt vs meta robots

Это разные уровни управления. Robots.txt говорит: «не обходи этот путь» (для Google страница может теоретически попасть в индекс без контента, если на неё есть внешние ссылки — «висячий» сниппет). Meta robots на странице говорит: «можно обойти, но не индексируй / не следуй по ссылкам».

На практике сочетают: robots для массовых технических путей, noindex для тонких и дублирующих страниц, 301 для устаревших. Согласуйте с canonical, чтобы сигналы не противоречили друг другу.

05

Как проверить

• Откройте /robots.txt в браузере и проверьте код ответа 200 и текст/plain.
• Google Search Console → Настройки → robots.txt и отчёт по заблокированным ресурсам.
• Яндекс.Вебмастер → анализ robots.txt.
• Тестеры robots от поисковиков с конкретным User-agent и URL.
• Краулер: сопоставьте Disallow с реальными важными URL — не попали ли категории под префикс по ошибке.

После каждого изменения robots ждите переобхода — эффект не мгновенный. Критичные ошибки (Disallow: /) исправляйте немедленно и запросите повторную проверку в GSC.

06

Типичные ошибки

• Disallow: / на рабочем сайте — блокировка сканирования для соответствующей группы роботов; проверьте её немедленно.
• Блокировка JS/CSS — ломается рендер и качество оценки страницы.
• Копирование чужого robots без адаптации под свою CMS.
• Ожидание, что Disallow удалит URL из индекса — нужен noindex или удаление страницы.
• Забытый staging без блокировки — дубли бренда в выдаче.
• Неверный путь к sitemap (относительный URL, http вместо https).
• Конфликт Allow/Disallow без понимания приоритетов для длинных путей.

Robots.txt — маленький файл с большой ответственностью. Храните его в репозитории, ревьюьте при релизах инфраструктуры и CDN. Подробнее о техническом SEO — в глоссарии CTR Agency.