Проверка карты сайта

Sitemap.xml это список адресов, которые владелец сайта считает нужными. Поиск не обязан карте верить, но пользуется: по ней он узнает про страницы, на которые мало ссылок внутри сайта, и решает, что перечитать в первую очередь. Файл не обязательный, сайт живет и без него, но с ним новые разделы поиск находит раньше.

Что ломается в картах чаще всего

Карту почти всегда собирает движок, а проверяет ее никто. Валидатор xml тут не поможет: формат у файла корректный, ломается не разметка, а содержимое. За год работы сайта в карте накапливается то, чего там быть не должно.

Удаленные страницы. Товар сняли с продажи, страница отдает 404, а в карте она осталась. Робот ходит по такому url еще долго и тратит на это обход, который мог бы потратить на новые страницы.

Страницы с noindex. Карта зовет поиск взять адрес, страница тут же говорит не брать. Это не смертельно, но выглядит как противоречие, и обход опять уходит впустую.

Дубли с canonical на другой url. Сортировки, фильтры, страницы пагинации. Поиск уйдет на канонический адрес, а строка в карте останется лишней.

Старая карта целиком. Сайт переехал на другие адреса, а файл остался от прошлой структуры. Видно это сразу: почти все строки в таблице отвечают кодом 301 или 404.

Как читать таблицу

Отсортируйте по колонке кода ответа. Наверх соберется все, что не двести: сначала ошибки, потом переносы. Ошибки убирайте, переносы тоже, но сначала посмотрите, куда именно они ведут: цепочка из нескольких переносов это отдельная проблема.

Дальше отсортируйте по колонке noindex. Каждая строка с пометкой это решение, которое кто-то принял: либо страница действительно не нужна поиску, и тогда ее надо убрать из карты, либо нужна, и тогда надо снимать noindex. Третьего не дано.

Колонка вложенной карты нужна, когда файл разбит на части. Если в одной из частей почти все адреса битые, это видно по сортировке, и чинить надо именно ее, а не весь sitemap.xml. Количество частей роли не играет: разворачиваем до четырех уровней вглубь.

Сколько адресов проверяется

Саму карту читаем целиком, вместе с вложенными, до пятидесяти тысяч адресов. Коды ответа снимаем у первых трехсот: каждый url это запрос к вашему серверу, и устраивать сайту тысячу запросов без спроса неправильно. Если нужен весь сайт, это уже обход, а не карта. Работа идет онлайн, загружать файл к себе на компьютер не надо: инструмент читает его по ссылке.

Рядом

Если карта не нашлась вовсе, начните с проверки robots.txt: ссылка на нее живет строкой Sitemap в нем, и там же видно, не закрыта ли она от робота. Можно и не искать: введите прямую ссылку на sitemap.xml, и проверка пойдет по ней.

Если адреса в карте есть, а в индекс они не идут, следующий шаг это разбор причин, по которым страница закрыта от поиска: он смотрит robots.txt, метатег robots, заголовок ответа, canonical и коды разом по каждому адресу.