Глоссарий

Robots.txt

Назначение robots.txt

Файл robots.txt лежит в корне домена (https://example.com/robots.txt) и содержит инструкции для поисковых роботов: какие пути можно обходить, какие — нет, и где находится sitemap. Это не пароль и не защита данных: любой пользователь может открыть файл и увидеть правила. Задача robots.txt — управление краулингом и экономия ресурсов сервера и робота, а не гарантированное скрытие контента от индекса.

Для бизнеса грамотный robots.txt защищает от индексации мусорных URL (корзина, внутренний поиск, служебные параметры) и направляет робота к важным разделам через ссылку на sitemap. Ошибка в одной строке может закрыть весь сайт или CSS/JS — с последствиями для рендеринга и индексации.

Robots.txt — рекомендация. Крупные поисковики обычно следуют правилам, но не обязаны. Для конфиденциальных разделов используйте авторизацию, noindex на страницах и закрытие от публичного доступа, а не только Disallow.

Основные директивы

Стандартный синтаксис прост, но чувствителен к порядку и точности путей:

• User-agent: указывает робота (* — все, Googlebot, Yandex и др.).
• Disallow: запрещает обход путей, начинающихся с указанного префикса.
• Allow: разрешает обход внутри запрещённой ветки (важно для Google).
• Sitemap: абсолютный URL XML-карты сайта — может повторяться несколько раз.
• Crawl-delay: пауза между запросами (Яндекс исторически учитывал, Google — нет).
• Host (Яндекс): предпочтительное зеркало сайта.

Правила применяются к группе User-agent до следующей группы. Не смешивайте без необходимости десятки блоков — сложнее сопровождать. Документируйте, зачем закрыт каждый путь: через полгода команда забудет причину Disallow.

Пример файла

Условный robots.txt для интернет-магазина на WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap_index.xml

Для Google не закрывайте /wp-includes/ и критичные JS/CSS без крайней необходимости — роботу нужен рендер страницы. Закрытие всего /wp-content/ — частая фатальная ошибка после «копирования чужого robots».

Если используете staging-домен — закройте его целиком от индексации (Disallow: / или noindex на всех страницах плюс HTTP-auth), иначе дубли продакшена попадут в поиск. Продакшен и тест должны иметь разные политики.

robots.txt vs meta robots

Это разные уровни управления. Robots.txt говорит: «не обходи этот путь» (для Google страница может теоретически попасть в индекс без контента, если на неё есть внешние ссылки — «висячий» сниппет). Meta robots на странице говорит: «можно обойти, но не индексируй / не следуй по ссылкам».

На практике сочетают: robots для массовых технических путей, noindex для тонких и дублирующих страниц, 301 для устаревших. Согласуйте с canonical, чтобы сигналы не противоречили друг другу.

Как проверить

• Откройте /robots.txt в браузере и проверьте код ответа 200 и текст/plain.
• Google Search Console → Настройки → robots.txt и отчёт по заблокированным ресурсам.
• Яндекс.Вебмастер → анализ robots.txt.
• Тестеры robots от поисковиков с конкретным User-agent и URL.
• Краулер: сопоставьте Disallow с реальными важными URL — не попали ли категории под префикс по ошибке.

После каждого изменения robots ждите переобхода — эффект не мгновенный. Критичные ошибки (Disallow: /) исправляйте немедленно и запросите повторную проверку в GSC.

Типичные ошибки

• Disallow: / на продакшене — сайт выпадает из органики.
• Блокировка JS/CSS — ломается рендер и качество оценки страницы.
• Копирование чужого robots без адаптации под свою CMS.
• Ожидание, что Disallow удалит URL из индекса — нужен noindex или удаление страницы.
• Забытый staging без блокировки — дубли бренда в выдаче.
• Неверный путь к sitemap (относительный URL, http вместо https).
• Конфликт Allow/Disallow без понимания приоритетов для длинных путей.

Robots.txt — маленький файл с большой ответственностью. Храните его в репозитории, ревьюьте при релизах инфраструктуры и CDN. Подробнее о техническом SEO — в глоссарии CTR Agency.