Robots.txt
Назначение robots.txt Файл robots.txt лежит в корне домена (https://example.com/robots.txt) и содержит инструкции для поисковых роботов: какие пути можно обходить, какие — нет,
Глоссарий
Sitemap (карта сайта) — файл со списком URL, которые вы считаете важными для обхода и индексации. Она дополняет обычное следование по внутренним ссылкам: особенно полезна для новых сайтов, глубоких карточек каталога, редко связанных страниц и свежего контента без сильной перелинковки.
Для бизнеса sitemap — страховка, что новые услуги, товары и региональные посадочные не «зависнут» в очереди на обнаружение. Это не гарантия индексации и не boost позиций, но ускоряет сигнал «вот эти URL существуют и актуальны». В связке с корректной индексацией и чистым robots.txt карта сайта снижает риск слепых зон в структуре.
XML sitemap — стандарт для Google и Яндекса. HTML-карта для пользователей — отдельный продукт; путать их не стоит. SEO-карта живёт по адресу вроде /sitemap.xml или /sitemap_index.xml и указывается в robots.txt.
Базовый urlset содержит элементы <url> с дочерними тегами:
<loc> — абсолютный канонический URL (обязателен);<lastmod> — дата последнего существенного изменения (рекомендуется);<changefreq> — ориентир частоты (поисковики используют с осторожностью);<priority> — относительный приоритет 0.0–1.0 внутри сайта, не между сайтами.Ограничения: до 50 000 URL или 50 МБ несжатого файла на одну карту. Больше — делите на несколько и связывайте sitemap index. Кодировка UTF-8, экранирование амперсандов в URL. Только URL с кодом 200, без редиректов и session-id в параметрах, если вы продвигаете чистые канонические адреса.
| Поле | На практике |
|---|---|
| lastmod | Обновляйте при реальном изменении контента, не фейкуйте ежедневно на всех URL |
| priority | Главная 1.0, категории 0.8, второстепенное 0.5 — условно |
| changefreq | weekly для блога, monthly для статичных услуг — без магического эффекта |
На WordPress плагины Yoast, Rank Math, SEOPress генерируют index автоматически. На кастомных CMS заложите генерацию в cron при публикации и массовом импорте SKU. Отдельно решите, включать ли в карту noindex-страницы (не включайте), пагинацию и фильтры (обычно нет, если есть canonical на основную версию).
Шаги после публикации карты:
Sitemap: https://ваш-домен/sitemap_index.xml в robots.txt.Для отдельных срочных URL используйте «Запрос индексирования» в GSC — это не замена sitemap, а дополнение для единичных страниц. Ping URL sitemap устарел как основной метод — панели вебмастера надёжнее.
Robots.txt может запрещать обход путей; sitemap может перечислять URL внутри этих путей — возникает конфликт сигналов. Правило: не включайте в sitemap то, что не хотите индексировать, и не Disallow пути, которые должны индексироваться, без веской причины.
Sitemap не отменяет необходимость внутренних ссылок: робот всё равно оценивает качество и дубли. Карта с 100 000 тонких фильтров без контента не даст трафика — только шум в отчётах. Robots экономит краулинг, sitemap направляет внимание — вместе они работают на архитектуру, а не на «обман» алгоритма.
Раз в месяц сверяйте выборку из sitemap с краулером и отчётом покрытия. Автоматизируйте алерт на рост 404 в карте после деплоя каталога. Дополнительные термины — в глоссарии CTR Agency.
FAQ
Нет. Многие страницы индексируются только по ссылкам. Но для крупных и новых сайтов sitemap сильно упрощает обнаружение URL и диагностику в панелях вебмастера. Рекомендуется как стандарт технической гигиены.
До 50 000 URL или 50 МБ файла до сжатия. При большем объёме используйте sitemap index и несколько файлов по типам контента. Это также ускоряет генерацию и отладку ошибок.
Зависит от стратегии. Если страницы пагинации не целевые посадочные и сведены canonical к view-all или первой странице — обычно в sitemap не включают. Если каждая страница пагинации — отдельный SEO-ландинг, включайте осознанно.
priority внутри sitemap — слабый относительный сигнал внутри домена, не влияние на ранжирование относительно конкурентов. Не тратьте время на микронастройку 0.73 vs 0.74 — важнее качество URL и ссылочная структура.
Глоссарий
Назначение robots.txt Файл robots.txt лежит в корне домена (https://example.com/robots.txt) и содержит инструкции для поисковых роботов: какие пути можно обходить, какие — нет,
Что такое индексация Индексация — это процесс, при котором поисковая система обнаруживает страницу, анализирует её содержимое и добавляет в свою базу для
Что такое canonical Canonical (канонический URL, тег rel="canonical") — это HTML-элемент или HTTP-заголовок, который сообщает поисковой системе предпочтительный адрес страницы, если один
Услуга
Разберём ваш сайт, объясним рекомендации простым языком и предложим план работ.
Заявка
Оставьте контакт — разберём ваш проект без сложных терминов.
Доверие
Заявка
Если на странице нет отдельной формы, эта заявка всегда доступна для кнопок из шапки, меню и футера.