Индексация

01

Что такое индексация

Индексация — обработка содержимого страницы и включение его в индекс поисковой системы. Обнаружение URL, его сканирование и индексирование — разные этапы. Даже доступная и просканированная страница может не попасть в индекс.

Индексацию часто путают с позицией или трафиком. Попасть в индекс — необходимое, но недостаточное условие: страница должна ещё соответствовать запросу, конкурировать с другими результатами и пройти фильтры качества. Для бизнеса индексация — фундамент воронки: категории каталога, карточки услуг, региональные страницы и экспертный контент должны быть видимы поисковику в нужном объёме и без критичного «мусора» в базе.

Обход (краулинг), индексация и ранжирование — связанные, но разные этапы. Робот может просканировать URL и не включить его в индекс — например, из-за дублей, thin content, noindex или технических ошибок. Мониторинг индекса — регулярная задача SEO, особенно после релизов, миграций и сезонных обновлений ассортимента.

02

Какие страницы должны попадать в поиск

Каждая неиндексируемая коммерческая страница — упущенный спрос: клиент ищет услугу или товар, а ваш сайт в выдаче отсутствует. Для интернет-магазина это потерянные заказы по длинному хвосту SKU; для B2B — невидимые посадочные под нишевые запросы; для локального бизнеса — отсутствие в органике по геозапросам при наличии только карт.

• Масштаб видимости. Чем больше релевантных URL в индексе, тем шире охват семантики — при условии качества страниц.
• Скорость вывода новинок. Новые товары и акции должны индексироваться быстро, пока актуален спрос.
• Контроль бренда. В индексе должны быть правильные страницы «О компании», контакты, кейсы — а не служебные дубли.
• Экономия на рекламе. Стабильная индексация снижает зависимость от платного трафика по базовым запросам.

Индексация связана с sitemap, внутренней перелинковкой и техническими сигналами. Стратегия «написали статью — ждём чуда» без карты сайта, ссылок с категорий и нормального сервера часто даёт месяцы задержки или полное игнорирование раздела.

03

Как происходит индексация

Упрощённая цепочка для Google и Яндекса выглядит так: обнаружение URL → загрузка страницы → рендеринг (для JS) → анализ контента и сигналов → решение об индексации → обновление базы → показ в выдаче при релевантности запросу.

Источники обнаружения URL:

• внутренние ссылки с уже известных страниц;
• XML и HTML sitemap;
• внешние ссылки с других сайтов;
• ручная отправка URL в Search Console / Яндекс.Вебмастер;
• импорт фидов и API в отдельных вертикалях (Merchant Center и аналоги).

После обхода поисковик оценивает canonical, meta robots, качество текста, дубли, мобильную версию, скорость, безопасность. На крупных сайтах действует краулинговый бюджет: робот не будет бесконечно ходить по малозначимым фильтрам, если они не приоритизированы. Поэтому архитектура каталога и правила для параметров напрямую влияют на то, какие страницы вообще дойдут до этапа индексации.

04

Что блокирует индексацию

Причины отсутствия страницы в поиске различаются: запрет индексации, ограничение обхода, недоступность сервера, дубли и решение системы не индексировать содержимое. Их нужно проверять отдельно:

• директива noindex в meta robots или HTTP-заголовке;
• robots.txt ограничивает сканирование; сам по себе такой запрет не гарантирует удаления уже известного адреса из поиска;
• ответ сервера 401/403/404/410/5xx вместо 200 OK;
• canonical на другой URL, который поисковик принял как основной;
• дубли без уникальной ценности — поисковик может оставить одну версию.

Мягкие причины: тонкий контент, агрессивные дубли фильтров, битая внутренняя перелинковка, медленный сервер, цепочки редиректов, ошибки JavaScript-рендеринга, когда в DOM нет видимого текста. Для молодых доменов добавляется фактор доверия: без внешних и внутренних сигналов новые разделы индексируются медленнее — это нормально, но требует плана.

Проверьте, не закрыты ли случайно целые разделы после обновления staging-правил, CDN или WAF. Типичный инцидент — перенос на прод с тестовым noindex в шаблоне.

05

Как проверить индексацию

Используйте комбинацию инструментов — один источник даёт искажённую картину:

Сверьте число URL в индексе с ожидаемым: опубликуйте список коммерческих посадочных и сравните с отчётом покрытия. Расхождения по фильтрам и пагинации часто объясняют просадку трафика по категориям. Для приоритетных URL после исправлений используйте «Проверка URL» и запрос индексирования — без злоупотребления на тысячи страниц.

Отслеживайте динамику: резкое падение индекса после релиза — сигнал к откату или hotfix. Ежемесячный срез по шаблонам (блог, категории, товары) помогает ловить системные ошибки CMS.

06

Как ускорить и типичные ошибки

Ускорение индексации — не про «кнопку», а про устранение барьеров и приоритизацию важных URL:

• актуальная XML sitemap без битых и редиректящих адресов;
• чистая перелинковка с главной, категорий и хабов на новые страницы;
• корректные canonical без конфликтов;
• стабильный 200 OK, быстрый TTFB, отсутствие лишних редиректов;
• уникальные title, description и содержательный текст на ключевых посадочных;
• подача sitemap в панели вебмастера и мониторинг ошибок обработки.

Типичные ошибки: отправка в sitemap URL с noindex; тысячи тонких страниц фильтров; игнорирование пагинации; ожидание индексации без ссылок на раздел; закрытие CSS/JS в robots (ломает рендер); дублирование контента с маркетплейсов без дифференциации. Ещё одна ошибка — паника и массовые «переиндексируйте всё» при том, что корень проблемы в качестве шаблона категории.

Выстраивайте процесс: после публикации контента чеклист из 15 минут — robots, meta, canonical, ссылка с хаба, sitemap, запрос в GSC для топ-URL. Подробные разборы терминов — в глоссарии CTR Agency.