Страницы, на которые нельзя попасть с сайта

Поиск находит страницы двумя путями: по карте сайта и по ссылкам. Карта сайта говорит, что страница существует. Ссылки говорят, что она нужна. Страница, которая есть только в карте, для поиска выглядит как склад: он про нее знает, но показывать ее людям причин не видит. На большом каталоге таких страниц набираются сотни, и каждая из них это отдельный запрос, по которому сайт молчит.

Как мы считаем

Сначала берем адреса из всех файлов карты сайта, включая вложенные. Потом проходим сайт по ссылкам, начиная с главной, и запоминаем каждую ссылку вместе с ее текстом. Порядок чтения не случайный: сначала главная, разделы и страницы выдачи, карточки товара в последнюю очередь. Причина простая. Одна прочитанная страница выдачи открывает нам полсотни адресов разом, а одна карточка почти ничего.

Дальше вычитание. Адрес, который есть в карте и на который ни с одной прочитанной страницы нет ни одной ссылки, попадает в список. Число прочитанных страниц мы пишем рядом с итогом и в бесплатном разборе, и в файле: это граница нашего счета, и прятать ее нечестно.

Число появляется не на каждом сайте, и это нарочно. Обход по ссылкам уперся в потолок и до конца сайта не дошел, значит точного ответа у нас нет: страницы, до которых мы не добрались, могли ссылаться на кого угодно. В бесплатном разборе строки с числом тогда не будет вовсе, а платный файл не соберется и денег за него мы не возьмем. Прикидку вместо счета мы не показываем нигде.

Откуда брать ссылку

Ссылку мало предложить, надо назвать донора. Мы ищем его в три приема.

Первое, хлебные крошки самой страницы. Если страница /arenda-avtobusy/ в крошках называет своим разделом /transport/, а /transport/ на нее не ссылается, то это и есть разрыв, и чинится он ровно там. Второе, родитель по адресу: /arenda/avtobusy/ живет внутри /arenda/. Третье, старший в группе похожих адресов: у /torgi-omsk/ и /torgi-kazan/ старший это /torgi/. И только если ничего из этого не нашлось, ссылка идет с главной, в меню.

Донора мы проверяем. Страница, которая отвечает не 200, закрыта от поиска или уже раздает больше 150 своих ссылок, донором не станет: ссылка оттуда не поможет ни ей, ни цели.

Каким текстом

Текст ссылки берем из заголовка h1 той страницы, куда ссылка ведет. Не из адреса: в адресе латиница, и в тексте она читается как ошибка. Не из названия в поиске: там стоит имя сайта, цена и город, и ссылка из этого выходит длиной в строку.

Заголовок длиннее семи слов сокращаем до смысловой части: отрезаем хвост после запятой или скобки, убираем предлог на конце и пустое начало вида Страница раздела. Одинаковых текстов на две разные страницы не даем: две страницы с одним анкором спорят друг с другом за одно место в выдаче, и выигрывает обычно ни одна.

Глубина от главной

Второе, что мы считаем по тому же графу ссылок, это расстояние от главной в переходах. Страница, до которой дальше трех кликов, для поиска почти не отличается от страницы без ссылок вовсе: формально путь есть, но веса по нему доходит мало. Такие адреса идут отдельным листом файла, с числом переходов у каждого.

Глубину мы считаем по настоящим ссылкам, а не по числу косых черт в адресе. Это разные вещи. Адрес /a/b/c/d/ может стоять ссылкой на главной и быть на первом переходе, а короткий /novosti/ лежать на пятом, если попасть на него можно только через перебор страниц архива.

Обратная беда: слишком много ссылок

Перелинковка ломается и в другую сторону. Если со страницы уходит триста своих ссылок, вес, который она может передать, делится на триста. Меню на весь каталог, подвал со всеми городами и блок последних товаров вместе легко дают такой счет. Мы отмечаем страницы, у которых больше 150 исходящих внутренних ссылок, и с них ничего нового не предлагаем.

Обрывы перебора страниц

Отдельная беда каталогов, это перебор страниц выдачи. В карте сайта лежит двести страниц раздела, а ссылки в самом разделе идут до пятой и дальше не ведут никуда. Робот по ссылкам доходит до пятой и разворачивается, а остальные сто девяносто пять живут только в карте. Мы сверяем, до какого номера доходят ссылки и какой номер есть в карте, и называем разделы, где эти числа расходятся.

Что делать с файлом

Лист Что сделать отдается контент-менеджеру или программисту как есть. Строки отсортированы по пользе: сверху те страницы, которые сами открывают больше других, потому что связать пустой раздел это работа впустую. Блок, указанный в строке, это место на странице-доноре: меню, блок родственных разделов или текст.

Ссылка в меню и ссылка в тексте работают по-разному. Меню это сквозной блок: он стоит на всех страницах сайта, и поиск считает его частью шаблона, а не содержанием страницы. Блок родственных разделов и ссылка внутри текста стоят на одной странице и относятся к ее теме, поэтому передают больше. Поэтому в меню мы отправляем только то, для чего другого места на сайте не нашлось.

После правок прогоните сайт еще раз и сверьте число. Если ссылки встали, список станет короче. Если число не изменилось, значит ссылки поставили в блок, который рисуется скриптом уже в браузере, и робот его не видит.