Индексация сайта поисковыми системами: как проверить и ускорить

Индексация сайта поисковыми системами — это этап, на котором робот скачивает страницу, анализирует её и добавляет в базу поиска. Пока страницы нет в индексе, её не найдут по запросу, сколько бы сил ни ушло на текст и дизайн. Ниже разобрано, как проверить индексацию сайта в Яндексе и Google, как читать отчёты и что делать, если важные адреса выпадают.

Что такое индексация сайта поисковыми системами

Индексация — это внесение страницы в базу поисковой системы после того, как робот её нашёл и обработал. Только проиндексированный адрес может появиться в результатах поиска.

Процесс состоит из трёх шагов. Сначала робот узнаёт об адресе: по ссылкам, из файла Sitemap, из заявки в панели вебмастера. Затем он загружает страницу и получает ответ сервера. Наконец, поисковая система решает, добавлять ли страницу в индекс: дубли, пустые и закрытые от индексации адреса она отбрасывает.

Отсюда главное правило: «робот заходил» не равно «страница в поиске». Индексация в поисковых системах — это результат оценки, а не автоматическое следствие обхода.

Зачем регулярно проверять индексацию

Проверка индексации страницы поисковыми системами показывает, какие адреса потеряны для поиска, ещё до того, как это заметно по трафику. Ошибка в robots.txt или случайный noindex после обновления могут выключить целый раздел за несколько дней.

Типичные ситуации, когда без проверки не обойтись:

• после запуска сайта или крупного релиза;
• после переезда на новый домен, HTTPS или другую CMS;
• когда упал трафик из поиска, а причина неочевидна;
• когда опубликованы новые страницы услуг или товаров и важно, чтобы они быстрее начали работать.

Перед запуском полезно пройти отдельный список технических проверок, о нём мы писали в материале про техническое SEO перед запуском сайта.

Как проверить индексацию сайта в Яндекс Вебмастере

Самый точный способ проверить индексацию сайта в Яндексе — раздел «Индексирование» → «Страницы в поиске» в Вебмастере. Там видно, какие адреса участвуют в поиске, какие исключены и по какой причине.

В разделе три вкладки: «Последние изменения», «Все страницы» и «Исключённые страницы». Каждая показывает до 50 000 записей, список можно отфильтровать и выгрузить в XLS или CSV. У исключённых страниц указан статус: например, DUPLICATE (дубль уже проиндексированной страницы), META_NO_INDEX (запрет в метатеге), ROBOTS_TXT_ERROR (запрет в robots.txt), LOW_DEMAND (малоценная или маловостребованная страница), NOT_CANONICAL (в поиске участвует другой, канонический адрес).

Для отдельного адреса удобнее инструмент «Индексирование» → «Проверка страницы». Он показывает код ответа сервера, статус страницы в поиске и то, как содержимое видит робот. Если нужно следить за ключевыми адресами постоянно, добавьте их в «Мониторинг важных страниц»: для одного сайта можно указать до 100 URL.

Как проверить индексацию страниц в Google Search Console

В Google индексацию проверяют в Search Console: отчёт «Индексирование» → «Страницы» показывает число проиндексированных и непроиндексированных адресов, а инструмент проверки URL — статус конкретной страницы.

В отчёте по индексированию страниц непроиндексированные адреса сгруппированы по причинам: «Страница просканирована, но пока не проиндексирована», «Страница обнаружена, не проиндексирована», «Страница содержит директиву noindex», «Доступ к URL заблокирован в файле robots.txt», дубли без выбранной канонической версии. По каждой причине доступна таблица примеров — не более 1000 URL, и список может быть неполным. После исправления нажмите «Проверить исправление»: по справке Google, проверка обычно занимает около двух недель.

Чтобы проверить, есть ли страница в индексе Google, вставьте её адрес в строку проверки URL вверху Search Console. Там же отправляется запрос индексации в Google Search Console. У индивидуальных заявок есть квота, а повторная отправка того же адреса, по словам Google, обход не ускоряет.

Как проверить индексацию без доступа к панелям вебмастера

Без доступа к Вебмастеру и Search Console индексацию можно оценить приблизительно: оператором site: в поиске или сторонними SEO-сервисами. Для диагностики проблем этих данных недостаточно.

Запрос вида site:example.ru покажет страницы домена, которые поисковая система готова вывести. Google прямо предупреждает, что оператор не обязательно возвращает все проиндексированные URL, поэтому число результатов годится только для грубой оценки. Чтобы посмотреть, есть ли в индексе конкретная страница, введите её полный адрес после site:.

Сторонние сервисы считают индекс по собственным данным и тоже дают оценку, а не точную картину. Ими удобно пользоваться при анализе конкурентов, а для своего сайта лучше один раз подтвердить права в обеих панелях.

Почему страницы не попадают в индекс

Чаще всего страница не индексируется из-за технического запрета, отсутствия путей к ней или из-за того, что поисковик счёл её дублем либо малоценной. Причину почти всегда подсказывает статус в панели вебмастера.

Ошибки в robots.txt

Одна лишняя строка Disallow способна закрыть каталог или весь сайт. Особенно часто это случается, когда на рабочий сервер переносят файл с тестовой копии. Проверяйте robots.txt после каждого релиза инструментами анализа в Вебмастере и Search Console.

Метатег noindex и X-Robots-Tag

Тег <meta name="robots" content="noindex"> в коде страницы или заголовок X-Robots-Tag: noindex в ответе сервера запрещают индексацию. Есть нюанс: чтобы Google увидел noindex, страница не должна быть закрыта в robots.txt, иначе робот не прочитает запрет, а адрес может остаться в поиске по внешним ссылкам.

Нет карты сайта и внутренних ссылок

Если на страницу не ведут ссылки и её нет в Sitemap, робот может долго о ней не узнать. Так часто теряются глубоко вложенные карточки товаров.

Дубли и малоценные страницы

Адреса с параметрами сортировки, UTM-метками и разным регистром часто признаются дублями. Здесь помогают канонические адреса, 301-редиректы и директива Clean-param для Яндекса.

Нехватка ресурсов на обход

Краулинговый бюджет — это объём обхода, который поисковик готов выделить сайту. По оценке Google, думать о нём стоит крупным проектам: от миллиона страниц или от 10 000 страниц, которые меняются ежедневно. Таким сайтам важно убрать из обхода мусорные адреса и длинные цепочки редиректов.

Как контролировать и ускорить индексацию

Ускорить индексацию помогают актуальная карта сайта, заявки на переобход новых страниц и регулярный мониторинг отчётов. Гарантированного срока нет ни у Яндекса, ни у Google.

Рабочий порядок выглядит так:

1. Держите Sitemap актуальным и указывайте его в Вебмастере и Search Console.
2. Важные новые страницы отправляйте в «Индексирование» → «Переобход страниц» в Яндексе и через проверку URL в Google. Заявка в Яндексе обычно обрабатывается не дольше трёх дней, но статус «Заявка обработана» означает только визит робота, а не попадание в поиск.
3. Подключите в Вебмастере обход по счётчикам Метрики и, если есть разработчик, протокол IndexNow: он сообщает Яндексу о новых, изменённых и удалённых страницах автоматически.
4. Подпишитесь на уведомления в обеих панелях, чтобы узнать о резком падении числа страниц в поиске в тот же день.
5. Раз в неделю записывайте число проиндексированных страниц в таблицу. Динамика за несколько месяцев показывает проблему раньше, чем падение трафика.

По справке Яндекса, после обхода страницы могут появиться в поиске в течение двух недель, а Google называет срок от нескольких дней до нескольких недель. Если важный адрес не индексируется дольше, ищите причину в статусе исключения, а не отправляйте заявку повторно.

Если отчёты показывают массовые исключения, а причина неочевидна, поможет техническое SEO сайта: настройка robots.txt, Sitemap, канонических адресов и редиректов.

Источники

• Страницы в поиске | Справка Яндекс Вебмастера
• Переобход страниц | Справка Яндекс Вебмастера
• Отчет об индексировании страниц | Справка Search Console
• Block Search indexing with noindex | Google Search Central
• Google Search's site: operator | Google Search Central