Чистка семантического ядра

Грязное семантическое ядро стоит дороже, чем кажется. Каждая мусорная фраза доживает до кластеризации, там становится группой, группа становится страницей, и кто-то пишет текст под запрос со словом торрент. Чистка вырезает это на входе, пока строка ничего не стоит.

Почему чистить надо до кластеризации

Этапы идут так: сбор ядра, чистка, частотность, группировка. Если поменять их местами, вы заплатите дважды. Сначала за съем частот по фразам, которые все равно выкинете. Потом за разбор групп, половина которых собралась вокруг мусора.

Есть и вторая причина, менее очевидная. Мусор искажает сами группы. Фразы вроде реферат про диваны или диваны своими руками тянут к себе соседей по словам, и кластеризация склеивает вокруг них то, что склеивать не надо. В продвижении это всплывает позже всего: страница уже написана, а seo-специалист ищет причину, почему она не идет.

Что отсекается

Мусорный набор один на все темы, и в редких случаях он бьет по своим. Слово фото лишнее в мебельной семантике и рабочее в семантике фотостудии. Поэтому нерелевантные строки не удаляются из таблицы: рядом написана причина, и вернуть нужный ключ можно за минуту.

Неявные дубли

Самая нудная часть чистки вручную это перестановки. Купить диван угловой, угловой диван купить, диваны угловые купить. Глазами такие пары ловятся плохо, особенно когда строк двадцать тысяч, и время на них уходит целыми вечерами.

Инструмент разбирает фразу на слова, отбрасывает окончания и получает набор основ. Порядок слов при этом не учитывается. Если у двух фраз наборы совпали, вторая помечается как дубль. Первая остается, поэтому есть смысл подавать фразы отсортированными по частоте: в отборе останется та формулировка, которую чаще набирают.

Длина фразы

Предел ставите вы сами, в словах. Смысл простой: чем длиннее хвост, тем ниже у него частота и тем меньше шансов, что под него кто-то напишет отдельную страницу. Проверить это можно тут же, прогнав спорные фразы через частотность и посмотрев точную колонку.

Единого правильного числа нет. В коммерческой семантике предел обычно жестче, в информационной мягче: там длинные вопросы это нормальный спрос. Темы разные, и подглядеть предел у конкурентов не выйдет.

Что делать с отсевом

Отсев стоит просмотреть один раз, а не удалять не глядя. Особенно строки с причиной про общий мусорный набор: там прячутся ваши рабочие ключи, если тема связана с фото, видео или обучением.

Дальше чистое ядро идет по обычному кругу. Считаем частотность, добираем недостающее через расширение семантики, разводим коммерцию и информацию и только потом раскладываем по страницам.

Чистка бесплатная и без ограничения по числу запусков: она считается у нас и никуда не ходит. Поэтому очистку ядра после каждого расширения семантики можно повторять столько раз, сколько нужно.