Семантическая кластеризация: основные алгоритмы

В этой публикации я хотел бы попытаться немного подробнее углубиться в теорию кластеризации семантических запросов.

При решении подобных задач знание теории, как никогда, оказывает решающее влияние на успешность работы с семантическим ядром, а также при составлении эффективной карты релевантности.

Фундаментальные принципы кластеризации

В 90% случаев мой практический опыт выглядит следующим образом. При работе с новым проектом мне сообщают о наличии готового семантического ядра.

Мое правило: не отклонять работы предыдущих специалистов, а напротив всегда знакомиться с существующими наработками по проекту и стремиться усовершенствовать их.

Первое знакомство с ядром приводит к двум выводам: ядро слишком обширное, имеет много не целевых запросов, не имеет практической ценности. Это касается случаев, когда ядро заказывается отдельно от SEO работ и никак не связано с реальным продвижением проекта.

И второй наиболее частый вывод: ядро сумбурно, не имеет кластеризации (чаще всего это просто голая сборка с Key Collector).

Каковы же фундаментальные принципы кластеризации ядра? Как должно выглядеть конечное семантическое ядро (по сути карта релевантности)?

1. Дифференциация типов запросов

Данный принцип стоит на первом месте, так как уже при сборке списка запросов необходимо разделять коммерческие и информационные запросы в разные ядра. Мой совет: никогда не смешивайте информационные и коммерческие запросы в один файл (даже в разные вкладки).

Все дальнейшие подходы в работе с этими двумя типами запросов будут существенно отличаться. Смешивание запросов приводит к полной неразберихе и невозможности построить правильный контент-план.

Особое внимание уделяйте интенту запроса. Что в действительности хотел пользователь? В какой информации он нуждается в конечном счете?

Пример: запросы «где купить китайский пуэр» или «как выбрать китайский пуэр» отличаются друг от друга по типу. Оба запроса имеют вопросительные «где» и «как», однако один из них является коммерческим, а другой информационным. Вот несколько способов точного определения интента запроса.

Первое решение: Понимание смысла запроса. Какое решение необходимо пользователю? Будет ли его конечным действием покупка? В случае с запросом «как выбрать китайский пуэр» пользователь ищет информационное содержание, советы. В запросе «где купить китайский пуэр» выражена необходимость приобрести пуэр. Во втором случае система могла бы предложить справочную информацию, но здесь мы обращаемся к политике поисковых систем, которые стремятся сокращать количество действий пользователя в сети и максимально упрощать задачу.

Второе более простое, но немного длительное решение: посмотреть на результаты поисковой выдачи по данным запросам. Наличие в выдачи коммерческих посадочных страниц будет показателем того, что запрос является «коммерческим». Данное решение плохо подходит для ядер с 500+ запросов.

2. Принцип целевого разделения

Во время кластеризации необходимо разделить запросы с разными целями пользователей и соответственно объединить в одну группу запросы с идентичной целью. Для примера запросы «купить туфли Louboutin» и «купить туфли Louboutin на низком каблуке» имеют одну глобальную цель — купить туфли, но все же будут расположены в разных кластерах, так как более частная цель отличается. 

3.  Принцип предметного разделения

Данный принцип гласит, что группы запросов должны разделяться по предметному указателю.

Представим, что в качестве исходника мы имеем следующие запросы:

Фильтры Cadillac
Фильтр воздушный Cadillac
Фильтр масляный Cadillac
Фильтр салона Cadillac

Каждый из этих запросов будет представлять свою уникальную большую группу с целым пулом подгрупп низкочастотников по моделям, брендам и производителям.

4. Принцип группировки по топу

Данный алгоритм является самым распространенным и популярным, так как большая часть автоматизированных систем функционирует на его основе. Принцип простой: проверяется наличие выдачи топ-10 по запросу и на основе собранных данных формируется итоговое заключение по семантическому соответствию двух и более запросов.

Для ручного использования данный метод может быть сложным, но хорошо подходит в случаях когда машина не способна сопоставить запросы (в качестве метода коррекции). 

5. Кластеризация по слоформам

Еще один популярный автоматизированный алгоритм. Проверка по корню слова. Если используется один и тот же корень, то вероятнее всего запрос будет принадлежат к единой группе. на практике это не всегда работает хорошо. Примером могут послужить запросы «купить туфли Louboutin» и «купить туфлиLouboutin на низком каблуке«, которые имеют единый корень.

На этот случай разработчики специализированного ПО используют алгоритм степени разделения запросов. Как правило, используется следующая терминология: light, medium, hard. Вариант hard подразумевает наиболее жесткую сепарацию запросов (что полезно в случаях с вышеуказанным примером).

6. Кластеризация по вопросительной форме

Очень удобный метод — наличие вопроса в запросе. Можно выделять такие группы запросов в отдельные кластеры для подготовки страниц с решением проблемы пользователя.особое внимание важно уделить точной дифференциации коммерческих и информационных запросов. 

7. Кластеризация по коммерческому признаку

Наличие слов «купить», «заказать», «цена» являются очень быстрым методом кластеризации. Данный метод был популярен в 2008-2012 годах, когда еще не придавалось столь большое внимание релевантному соответствию каждой посадочной странице и ультранизкочастотным запросам.

На сегодня этот метод предваряет основную кластеризацию или является вариантом очень быстрого и грубого решения в тех случаях, когда это допустимо. 

8. Коммерческое сопоставление

Бывают редкие случае, когда у владельца бизнеса уже имеется готовая таблица с распределение товаров по категориям. Несколько чисток и проверок позволяют превратить данную таблицу в семантическое ядро, а после модернизировать в полноценную карту релевантности.

На практике такое случается редко и чаще всего даже сам владелец бизнеса некорректно группирует товарные категории.

9. Тезаурус

Одним из самых эффективных и в тоже время неудобных для кластеризации методов является проверка по тезаурусу. В некоторых сферах деятельности это очень помогает, в других не является столь эффективным. Все зависит от ранее созданных словарей тезауруса.

Если тематика имеет подобные источники, я всегда использую их. Сложность, как правило, заключается в поиске самих словарей.

Частые проблемы кластеризации

Незнание основных алгоритмов группировки запросов приводит к неумению их правильного применения даже в случае качественной оптимизации. Чаще всего любой автоматический сервис кластеризации оставляет от 300 до 5000 запросов без категории.

Подобные случаи требуют ручной работы. Определить признаки семантического соответствия без знания общих групп будет очень тяжело и долго. Нередко такие ситуации приводят к нарушению релевантного соответствия на посадочной странице.