Как построено исследование
Мы в MOAB развиваем собственный сервис мониторинга позиций — MOAB Tools Top, и давно знаем, что 100% точности в отчетах обеспечить невозможно. Интересно было взглянуть, как обстоит дело у коллег — особенно когда под рукой есть «эталон» в виде позиций от Яндекса.
Основа нашего небольшого эксперимента — вот такая табличка. Давайте посмотрим, как она устроена.
Итак, для начала мы выгрузили из Вебмастера около 800 случайных коммерческих запросов вместе с информацией о средней позиции (столбец С). Сами запросы мы затерли, так как они собраны из различных коммерческих проектов, которые мы продвигаем.
Затем мы сняли позиции для этих фраз в четырех сервисах — MOAB Tools Top, Rush Analytics, Pixel Tools, TopVisor — это столбцы E-H. Таким образом, у нас есть информация о позициях из 4 сервисов и Яндекс.Вебмастера на одну и ту же дату — 14.06.
Следующий важный блок столбцов — J-M, в нем мы сравниваем разницу между средней позицией в Вебмастере и каждым из сервисов: если значение отрицательное, это значит, что сервис занижает позиции, если значение положительное — завышает (фактически, применяется формула С2–J2, K2, L2, M2).
Есть еще несколько столбцов с данными:
- B — частотность запроса,
- D — средняя позиция по 4 сервисам (Average от E-H),
- I — ручная проверка части наиболее частотных запросов через инкогнито.
Результаты: можно ли доверять сервисам мониторинга позиций?
Верить никому нельзя. Мне — можно.
Леонид Броневой/Мюллер, «17 мгновений весны»
На вкладке «Сводка» — результаты нашего исследования.
С некоторой долей условности мы приняли:
- средняя позиция в Яндекс.Вебмастере — это «условная» истина,
- разница более 3 позиций в любую сторону между данными сервиса и ЯВМ — это завышение/занижение позиции.
В итоге мы смогли вычислить, по какому количеству фраз тот или иной сервис завышает или занижает позиции:
Выводы
- На массиве в 835 фраз данные условно «неверные» для ~20% фраз.
Pixel и TopVisor дают практически одинаковое значение в 136 и 137 битых фраз, MOAB Tools — 165, Rush — 175. Впрочем, не стоит придавать большого значения этой разнице — массив в 835 фраз небольшой, на выборке в 100-200к фраз, вероятно, разница была бы незначительной в относительных цифрах.
- В данном случае важен тот факт, что все сервисы немного искажают реальность.
Поэтому важно следить не за позицией по конкретному слову, а за общим трендом по статистически достоверному семантическому ядру.
Это, к слову, повод посмотреть в отчеты вашего подрядчика — даже для небольших региональных сайтов объем ядра редко бывает меньше 1000-1500 фраз, для крупного ECOM — это сотни и десятки тысяч фраз, как, например, в этом случае. Имея обширное ядро, вы сможете достоверно отслеживать тренд, игнорируя «шум» от погрешности вашего мониторинга.
- Мы также обратили внимание на такое явление, как «выпадение».
Каждый из сервисов для части фраз не находит искомый сайт в топ-100, хотя по данным ЯВМ этот сайт обычно в топ5-10. Более того, этот баг наблюдается именно в Яндексе, достаточно давно (как минимум с зимы), и, что самое интересное, для каждого сервиса «выпадение» наблюдается для разных фраз.
Пример выпадения у Rush:
Пример выпадения у MOAB Tools:
Причем проблема не техническая — мы проверяли выдачу, которая отдается нашему парсеру — в ней действительно нет искомого сайта, при этом при ручной проверке он одновременно есть.
Поскольку часть фраз выпадают также у коллег, какого-то рецепта лечения проблемы, пока, видимо, не найдено.
Именно поэтому, к слову, не имеет смысла искать некий «волшебный», правильный сервис — в зависимости от выборки, погрешность будет везде, нужно просто работать с данными, объем которых позволяет игнорировать шум.
Что же в итоге: позициям больше веры нет?
Раньше позиции в SEO были краеугольным камнем, вокруг них строилось вообще всё — деньги, KPI, стратегия. Сейчас это больше технический инструмент анализа ситуации для специалистов.
Говоря образно, врач не может назначить лечение, имея на руках только один анализ, каким бы важным он не был, — нужно смотреть на картину в комплексе.
То же самое и в SEO: нужно смотреть на трафик, позиции, сезонность, поведение конкурентов, алгоритмы самих поисковых систем — любой источник данных будет показывать лишь часть картины.
P. S.
Впрочем, если затрудняетесь интерпретировать данные самостоятельно — обращайтесь в SEO-отдел MOAB — поможем.
