Проверка индексации сайта

Индексация означает, что поисковая система добавила страницу в свою базу и может показать ее по запросу. Если URL не попал в индекс Яндекса, он не участвует в обычной выдаче, даже когда страница открывается в браузере. Поэтому проверять нужно ответ сайта и статус страницы у поисковика.

Что проверяем на сайте

Сначала берем открытые URL сайта, которые удалось прочитать без авторизации. Порог разбора - 150 страниц. Все, что находится за этим пределом, в результат не попадает. Для каждой найденной страницы сопоставляем ее адрес с данными Яндекса о выдаче и видимости.

Затем смотрим, есть ли у URL признаки запрета: директивы в robots.txt, мета-тег noindex, чужой canonical, ответы сервера и другие препятствия, из-за которых страница не выходит в поиск. Когда причину видно по открытым данным, пишем ее рядом с URL, а не складываем все в один общий перечень.

Так можно увидеть закрытые разделы и понять, что исправлять в первую очередь. Анализ description или текста на переспам относится к другой задаче. Само наличие description не означает, что страница проиндексирована.

Какие страницы оказываются вне поиска

В отчете собраны URL, которые закрыты от поиска или не показываются в данных Яндекса. Рядом с каждым стоит причина, которую удалось определить: запрет для робота, noindex в коде, ошибка ответа сервера. Когда по открытым данным точного вывода не сделать, это важно обозначить отдельно, а не выдавать предположение за факт.

Такой перечень помогает разделить случайные ошибки и намеренные ограничения. Страницы служебных разделов, корзины, фильтров и тестовые URL часто закрывают специально. Карточка товара, статья или посадочная страница, наоборот, может потерять показы из-за ошибочного запрета.

Почему URL исключают из индекса

• robots.txt запрещает роботу заходить в раздел или на конкретный путь;
• в коде страницы стоит noindex;
• страница отдает ошибку или недоступна для чтения;
• URL ведет на копию, технический адрес или страницу, которую сайт не считает самостоятельной;
• запрет появился после изменения шаблона, CMS или настроек раздела.

Проверять нужно сам URL, а не раздел целиком. Один и тот же шаблон может работать правильно на большинстве страниц и закрывать от поиска отдельную группу из-за условия в коде.

Как робот вообще находит страницу

До запретов дело доходит не всегда. Бывает, что робот просто не знает про страницу: он приходит по внутренним ссылкам с уже известных ему URL и по адресам из файла sitemap.xml. Новый раздел, на который нет ни одной ссылки из меню и которого нет в карте сайта, может месяцами не индексироваться, хотя формально он доступен любому.

Поэтому перед разбором запретов стоит посмотреть простые вещи: есть ли карта сайта, попал ли в нее нужный URL, ведет ли на страницу хотя бы одна внутренняя ссылка. Создать карту сайта быстрее, чем потом искать причину в коде шаблона. Внешние ссылки обход тоже ускоряют, но полагаться на них не стоит.

Что делать после исправлений

После снятия запрета измененные URL стоит отправить на переобход в инструментах Яндекса. Это просьба проверить страницу заново, а не мгновенное добавление в индекс. Сначала убирают препятствие, затем смотрят, что страница открывается, не содержит прежнего запрета и отдает нужный код. Через некоторое время ее статус можно проверить повторно.

Этот же список можно получить готовым: Seohand собирает его бесплатно за пару минут. В результате остается перечень страниц, закрытых от поиска, с отдельной пометкой по каждой. По задачам дополнительно указывается исполнитель: программист, копирайтер, контент-менеджер или сам сервис.

Что можно исправить самостоятельно

Запрет на обход обычно проверяет и меняет программист или человек с доступом к настройкам сайта. Мета-тег на странице ищет разработчик или контент-менеджер. Если страница закрылась из-за текста, структуры или шаблона, задачу передают копирайтеру или специалисту по сайту. После любого изменения URL нужно проверить еще раз, потому что исправление в одном шаблоне может затронуть много страниц.

Сколько займет ручная проверка

Автоматический обход открытых страниц занимает около минуты, полный разбор обычно занимает две-три минуты. Руками выходит дольше: нужно собрать URL, открыть robots.txt, посмотреть код страниц, сверить их с данными Яндекса и записать вывод по каждому случаю. Чем больше количество URL, тем заметнее разница: сотню адресов быстро не обойти.

Границы результата

Проверка использует данные Яндекса. Сведения о видимости в Google в отчет не попадают. Сервис не просит доступы, не меняет сайт, не покупает ссылки и не накручивает поведенческие факторы. В файл не входят гарантии попадания страниц в индекс, позиции в выдаче и полный аудит SEO. Также в него не попадут страницы за пределами первых 150 открытых URL.