Коротко главное: анализируем ИИ-нарратив бренда

Наша цель — проанализировать нарратив бренда: что нейросети вообще знают о бренде, кто лидирует в инфополе, какие темы и направления бренда плохо “закрыты” контентом, откуда берется информация, когда нейросеть не может прочесть основной сайт (тут всегда есть сюрпризы).

Потому что сообщение “Вы находитесь в топ-3 ответов Алисы” — радует, но не отвечает на вопрос “И что дальше?”. А вот когда нарратив диагностирован и отстроен, можно уже не так волноваться, что нейросети о вас плохо расскажут.

Мы строим гипотезы и проверяем их прямым опросом нейросетей — собираем нейро-ответы в поисковой выдаче и генеративные ответы.

Исходные данные для анализа — ответы нейросетей со списком источником — собираются тремя способами: вручную людьми, через эмуляторы браузеров и по API. Ручной обход дороже, API беднее по данным, эмуляторы дают более чистые результаты.

Вопросы строятся под аватары ЦА и распределяются по трём интентам: Navigate (знание бренда), Decide (поиск, выбор и сравнение), Transact (коммерческий запрос). Интенты уточняются фасетами (добавляем контекст вопроса). Вопросы делаются брендовые и “слепые”, без упоминания брендов. Именно “слепые” показывают, кто лидирует в нарративе.

По каждому ответу считаются 28 метрик упоминаний и ссылок, из которых собираются индексы: VI (цитируемость), AI (авторитетность), BDI (доминирование среди конкурентов) и FI (сила бренда — сводный). Строится карта ссылок.

Поверх метрик ложится эвристический анализ: Claude по авторской методике разбирает ответы, ищет паттерны и инсайты, собирает кросс-модельный отчёт — как нейросети формируют нарратив бренда по разным интентам и фасетам.

Результат аудита — рабочие гипотезы: с кем бренд конкурирует, какие информационные гэпы надо закрывать, какие площадки использовать для влияния на нарратив и проч.

Рассказывает Катерина Ерошина, Head of AEO/GEO, moab.

Нарратив — это что такое в терминах AEO|GEO

В широком смысле нарратив — любое связное повествование. В терминах LLM нарратив бренда — некий связный пакет знаний о бренде: данные, факты, сведения о продуктах и офферах, история бренда, отзывы о нем, конкурентное окружение, позиция на рынке, сфера деятельности, ЦА, кейсы и т.д.

Ценность плотного нарратива в том, что данные из него вытягиваются для ответа в любой момент, в любой комбинации, под любые вариации вопроса.

В нейросетях мы не можем заложить “один надежный ответ” на главный вопрос жизни, Вселенной и всего остального™. Есть шанс, что в итоге нейросеть скажет “42”. Но можем создать нарратив бренда — пакет ответов на возможные вопросы.

Если вы читали, как работает Query Fan-Out, то поймете, о чем я.

Система разбивает любой запрос на связанные подзапросы, охватывающие разные аспекты исходного запроса. Эти подзапросы выполняются параллельно по множеству источников, а результаты синтезируются в один связный ответ. Грубо говоря, нейросеть сама «додумывает» уточняющие вопросы, которые пользователь не задал.

Разбиение происходит каждый раз, и каждый раз оно разное — так как запросы всегда слегка “гуляют”, порядок и набор слов не фиксированы. Поставьте в запросе “подобрать отель и купить билет на самолет” билеты на первое место — и вы получите принципиально другие советы. Добавьте слово “быстро” — ответ будет новый. Да просто задайте один вопрос три раза с интервалом в 20 минут, а между ними поговорите о чем-то другом.

Но если в индексе у нейросети будет хороший пакет данных о бренде, то нам в целом безразличен порядок слов и набор подзапросов. Все равно будет извлечено что-то ценное.

Поэтому мы сначала строим гипотезы о том, какие факторы в нарративе бренда реально важны для бизнеса, затем проверяем, как эти факторы отрабатываются в ответах, а затем ищем способы улучшить ситуацию там, где увидели информационный пробел или негатив.

И да, фокус еще в том, что нарратив бренда формируется не только из текстов на сайте бренда. Но давайте по порядку.

Словарь

• LLM – Large Language Models  — те самые нейронки, ИИшки, нейросети и проч. Я чаще буду называть их “модели”.
• AEO – Answer Engine Optimization — анализ и продвижение в нейро-блоках ответов в Поиске (Google AI Overview и ЯндексНейро*, не путать с Алисой). ЯндексНейро и Алиса дают порой критически разные ответы.
• GEO – Generative Engine Optimization — работа со всеми остальными.
• Ответы нейросетей — две сущности: текст ответа с инлайн-ссылками и блок источников. Наборы ссылок в ответе и в списке источников могут не совпадать или отсутствовать.

Быстрый ответ Алисы, он же ЯндексНейро. По кнопке “алиса ai” — полноценная Алиса.

Ответы нейросетей выглядят так:

Ссылка в ответе.

Ссылки в источнике.

Эволюция продукта

Прото-аудит выглядел так:

Когда стало понятно, что оснований для каких-то стратегических решений тут нет, я пересобрала нарратив (на тех же данных).

Тут все посчитано на урезанных данных и вручную, но уже что-то можно сказать. Следующий демо-аудит выглядел интереснее, хотя это было чистое “демо” — 5 вопросов с разными интентами:

Сейчас это комплексный анализ большого числа факторов — о них ниже.

Сырые данные: как мы их добываем

Мы обходим нейросети разными способами, сочетая форматы для разных целей аналитики — глубже и детальнее для полного обзора либо быстро по четким точкам роста/пробела.

Для обхода нейросетей мы используем три способа: 

• Вручную. Самый дорогой и “реалистичный” метод. Здесь мы используем нашу базу агентов влияния, заботливо управляемую специалистами ORM moab. Около 300 реальных пользователей на десктопах, Iphone и Андроид, с реальными устройствами в Москве и Московской области, задают вопросы нейросетям и выгружают ответы. Для управления агентами используется наш собственный аналог Яндекс.Толоки. Минус метода — стоимость; это дорого. 

• Эмулятор браузеров/мобильных устройств (оптимальный баланс стоимости и качества данных). Преимущество этих обходов (помимо стоимости) — чистота истории. Каждый раз это новый “браузер”, без наслоений и воспоминаний.

• API. Дешево, быстро, практично — но, к сожалению, в API отдаются “бедные” данные — меньше ссылок, текстов, меньше упоминаний бренда. Но тренды отслеживать можно.

Мы сравнивали ответы по одному пулу вопросов от людей и из эмуляторов. Ответы различаются как внутри обходов от раза к разу, так и между людьми и эмуляторами. Различия — в пределах погрешности, тренды сохраняются.

Для независимости выборки ручной обход делается на “чистых” аккаунтах, в инкогнито режимах и с очисткой кэша браузера, чтобы получить ответы без наслоений истории взаимодействия с нейросетью.

Это одна из ловушек персонализации: если ЛПР постоянно общается с Алисой на тему, к примеру, профессиональных бензопил, то от вопроса к вопросу нейросеть запоминает все больше фактуры и начинает “предугадывать” невысказанные мысли. Ответы получаются все более подробными и информативными. Обычный юзер, задав вопрос о лучших бензопилах впервые в жизни, таких ответов никогда не увидит.

А нам нужны чистые незамутненные ответы. Этого мы добиваемся за счет смены аккаунтов, очистки кэша браузера и памяти нейросети

Аватары, сценарии, короли и капуста

Самое начало: мы с Клодом составляем файл контекста бренда (название, домены, синонимы названия, основные конкуренты, фокус по продуктам/офферам). Это база, которую мы загружаем в скрипты и промты Клода на каждом этапе. Так мы поддерживаем общее знание о бренде внутри пайплайна.

Фрагмент бренд-контекста.

Откуда мы берем вопросы: план сессии и аватары

Тупо будет спросить “какая ИИ-видимость у бренда?”. Умно спросить: как нейросети описывают продукт, могут ли подобрать оффер по ситуации, используют ли блог для ответов на вопросы сравнения и поиска, показывают ли бренд в ответах на “слепые” запросы.

К примеру, мы просим рассказать, как работает платформа внутри экосистемы Яндекса, а ЧатГПТ берет данные с yandex.ru. Просто потому что Справка Яндекса аккумулирует справочную информацию по всем своим направлениям, а на платформе висят только анонсы разных фич. Сейчас вся справка по платформе срочно оттуда съезжает. Несложный вопрос выявил проблему на много часов работы.

Для выяснения разных интересных вопросов делается план сессии: либо клиент попросил сделать какой-то срез, либо мы сами строим гипотезы и проверяем их.

Клод читает бренд-контекст, изучает бренд сам, собирает сведения о продуктах или офферах, делает предположения о конкурентах. Задает вопросы, уточняет свои гипотезы. Затем — дает раскладку вопросов по интентам.

Диалог по планированию сессии с Клодом: я сделала для него скриншот каталога сайта, на который он не мог попасть сам, в итоге план сессии изменился.

Далее строятся аватары, которые будут задавать вопросы:

Вопросы строятся на базе бренд-контекста, плана сессии, интересов конкретных аватаров, распределяются по интентам и “обрастают” фасетами для уточнения. Задача — покрыть типовые сценарии: сравнение с конкурентами, поиск, выбор и потребление, знание бренда.

Интенты — база для основных сценариев

Термин “интенты” используется во многих сферах, везде они чуть разные. В LLM-анализе выделяются три базовых интента:

1. Navigate — знание бренда. Упоминаем бренд и спрашиваем о деталях.

2. Decide — информационный интент. Выбор, сравнение, поиск.

3. Transact — коммерческий интент. Хочу купить, скажи где дешевле/удобнее.

Если в “навигейтах” все индексы съехали ниже 45-50% — у нас проблема. Мы же явно упомянули бренд в вопросе, спросили про его свойства, а в ответах лидируют какие-то левые ссылки и (тьфу-тьфу) конкуренты. 

Провалы по “десайду” — бренд плохо делится информацией, не рассказывает, почему надо выбрать его, порой вообще не дает повода его найти и извлечь сведения для ответа. А может и вовсе не индексируется.

Низкие (ниже 25-30%) индексы в “транзактах” — фактически катастрофа. Индекс силы бренда может быть достаточно высоким суммарно, но если мы возьмем его чисто по транзакционным вопросам — то увидим, как тоненький ручеек трафика из нейросетей утекает к конкурентам.

Если составлять вопросы четко под интенты и аватары, анализ становится дифференцированным, и мы начинаем отвечать на более интересные вопросы, чем “назови мне лучшие СТО в Подмосковье”.

Branded/Blind — слепые и брендовые запросы

Вопросы с любым интентом могут быть брендовыми или слепыми, только “навигейт” брендовый всегда.

Зачем чисто брендовый “навигейт”? Он нужен, чтобы оценить извлекаемость данных с сайта и в общем видимость бренда для нейросетей. Правильно ли модель понимает, что вы делаете? Читает ли ваш блог? Может ли рассказать о доставке по регионам или офферах для МСБ? Вообще, есть ли бренд в индексе? (может и не быть, к слову, мы уже видели такой случай).

Слепые (Blind) вопросы — основное поле для рыночного анализа.

Когда никакой бренд не упоминается в вопросе — мы не подсказываем модели, что именно достать из индекса и кого искать в интернете. В результате она вытаскивает бренды на свое усмотрение и мы видим, кто на самом деле ей больше “нравится”. Из анализа по слепым вопросам можно получить много инсайтов.

Например, тут мы смотрели ситуацию, когда один конкурент (Скинорен) ушел с рынка, другой (Скиноклир) только поднимается. Нам нужно увидеть, насколько хорошо он поднимается в сравнении с Азеликом. Как видите, не очень. Скинорен все еще “живет” в инфополе, Азелик уверенно лидирует.

Фасеты: уточнения под сценарии

Интенты хороши, но это довольно-таки крупная нарезка. Хочется смотреть глубже. И мы берем дополняющие фасеты. Вот пример для фармы:

1. Клинический фрейм (слепой): описываем диагноз, симптомы, ситуацию и спрашиваем что применить — рекомендуют ли модели препарат бренда.

2. Применение препаратов: называем препарат, спрашиваем, как его применять при разных ситуациях и диагнозах — хорош ли модели знают бренд и извлекают данные.

3. Сравнение препаратов: сравниваем конкурентов в разных сценариях — кто лидирует в нарративе.

4. Репутация: прямо расспрашиваем про свойства препарата, бренда, про отзывы и оценки — какая репутация у бренда.

По фасетам точно так же строятся индексы и можно изучать картину нарратива бренда в нейросетях — по разным срезам.

Пример: ЧатГПТ не предлагает “наш” препарат в слепых клинических вопросах (“у меня сыпь на лице, что взять в аптеке?”).

Семант как основа вопросов

А где тут семантика и наши вычищенные бессонными ночами коммерческие кластеры? — спросите вы. Штош, верхний уровень семантики можно взять за основу вопросов. Но тут есть нюанс. На коммерческой фразе “купить диван” можно построить вопрос с любым интентом.

• Хочу купить диван, где лучше искать? — это “десайд”, и в ответах будут царить Яндекс Маркет с Озоном.
• Хочу купить диван в Хоффе, как у них с доставкой? — это “навигейт”, человек знает бренд, но еще далеко до покупки.
• Хочу купить диван, подбери предложения до 30 тысяч в Самаре — очень удобный для анализа “транзакт” с гео-уточнением. Хотя тут тоже влезут маркетплейсы.

Поэтому — давайте ваш семант, а мы посмотрим.

Количественный анализ: откуда берутся все эти красивые циферки

Ответ нейросети как сущность имеет много компонентов, которые поддаются анализу. Можно выделить определенные метрики и затем выводить из них обобщающие индексы. Можно сравнивать метрики внутри модели, внутри интента, между моделями, между интентами разных моделей — и это будет показывать нам интересные с точки зрения бизнеса (!) оценки. И да, на них можно настроить разных графиков и нарисовать красивые дашборды.

Но сначала все надо посчитать.

Считаем метрики

Мы изучаем ссылки и упоминания бренда:

• Есть ли упоминание бренда текстом и ссылка на домен бренда в ответе, — сколько их, как рано они появляются в тексте.
• Есть ли ссылка на домен бренда в источниках — сколько их, на каких позициях они стоят в списке.

Первая группа метрик говорит нам, как бренд цитируется. Вторая — ценится ли домен бренда как источник информации.

Мы пересчитываем все ссылки в ответе и источниках:

• выделяем уникальные домены (это наши конкуренты),
• считаем их встречаемость,
• собираем списки урлов по ответам внутри моделей.

С помощью этой группы метрик мы определяем место домена бренда в этой картине (уже не в абсолютных значениях, а по отношению к другим брендам).

Brand Mention =0 — бренд в ответе вообще не упомянут. Все метрики и индексы ответа падают в ноль.

Сводим общие индексы

После этого мы можем свести уже определенные индексы — взвешенные суммы разных метрик:

• VI – Visibility Index — индекс цитируемости бренда в ответах, то есть как хорошо модели знают бренд и извлекают информацию с сайта.
• AI – Authority Index — индекс авторитетности, считают ли модели сайт бренда достоверным источником.
• BDI – Brand Domination Index — доминирование бренда комплексно по ответам и источникам в сравнении с прочими доменами (брендами).
• FI – Force Index — сводный индекс всех трех индексов, BDI в нем весит больше других.

* BDI — моя собственная разработка, аналогов я не нашла.

Это уже циферки, которые сразу покажут что-то полезное.

К примеру, мы видим, что VI видимость выше 30% — это хорошо, нейросети знают и упоминают бренд, но авторитетность при этом ниже 18-20%. Вполне возможно, что упоминания не слишком позитивные, и ответ строится с опорой на какие-то рейтинги и отзывы.

Другой пример: мы задавали брендовые вопросы (четко упоминали бренд), а BDI ниже 35-38%. Такое случается, когда модель не может добраться до сайта бренда и берет данные из внешних источников.

Эти подходы вполне бьются с общими практиками:

Кое-что о ссылках

ТОП-10 доменов дает нам основу для конкурентного анализа. Так, к примеру, выяснилось, что гугловские модели путают Яндекс Недвижимость с Яндекс Арендой.

Консенсус урлов подсказывает набор авторитетных площадок. Так мы неожиданно нашли статью на Скиллбоксе про Финуслуги, которую цитируют 5 (!) моделей из шести.

И это все простые количественные метрики, чтобы их обсчитать, не нужны ЧатГПТ и Клод, достаточно написать хорошие скрипты и продумать систему весов для индексов.

Эвристический анализ

Простых (и сложных) метрик недостаточно. Допустим, мы узнали, что индексы по фасету “применение препарата” у нас низкие — нам надо посмотреть, за счет какого вопроса они упали. Обезболивание при беременности? Первая прививка у младенца? Тату-салоны?

Можно пойти посмотреть все это вручную. Но когда у нас 100 вопросов, 8 моделей и 3 обхода для контроля стабильности — по ответам не набегаешься.

Поэтому мы идем общаться с Клодом.

У Клода есть четкий пайплайн (пошаговый набор инструкций) эвристического анализа. Что брать, как работать, что искать, как составить отчет. Он работает сначала по моделям, батчами по 10 вопросов (иначе сломается). Затем собирает модельные анализы в пакет и делает кросс-модельный анализ. Затем пишет сводный отчет.

Вот фрагмент инструкции по анализу. Мы можем варьировать глубину и детализированность отчета, это зависит от целей аудита, сложности гипотез, запроса клиента.

Если нужна презентация, мы очень крупно нарезаем оценки:

Для подробного отчета — пишем развернутые документы.

F.A.Q.

— Это все красиво, а вы можете дать простые графики и прогноз роста?

Можем, но это будет очень грубое допущение. Никакой, даже самый подробный и обширный съем данных не даст привычную для SEO картину. Четкую “позицию” в ответах нейросетей по определенному кластеру семантики зафиксировать невозможно (а хочется).

Это не поисковик, обходящий сайт за сайтом, выборка данных делается более сложным образом и зачастую информацию с сайта бренда забирают в индекс в обезличенном виде.

На ответы влияют разные факторы:

• доступность и читаемость сайта для краул-ботов,
• доступность и читаемость сайта при прямом обращении (это другое!),
• история общения с пользователем,
• погода на Каймановых островах и в Заполярье 😎

Можно оценивать тренд — когда индекс колеблется от обхода к обходу в какой-то вилке (допустим, мы получаем BDI 32%, 37%, 28%, 34%), а затем значение начинает колебаться вокруг более высоких показателей — BDI 36%, 42%, 40%, 38%. Цифры можно усреднить и зафиксировать динамику.

Рост может быть и взрывным — когда сайт внезапно открывают для нейросетей и боты “начитываются” полезной четкой информацией.

Прогноз динамики по индексам.

— А можно все-таки сделать вопросы просто на семантике?

Любой каприз. Можно взять кластеры (инфо и коммерс) и прямо задать их моделям как вопросы. Беда в том, что в ответах будет такой разброс, что мы не сможем выделить какие-то тренды.

Чем короче заданный нейросети вопрос, тем меньше она получает указаний на содержание ответа. И начинает догадываться или переспрашивать.

Мы берем ВЧ-запрос “кредиты для ИП РФ”, к примеру. Алиса и DeepSeek начнут рассказывать вам, какие бывают кредиты. Перплексити перечислит банки, которые дают такие кредиты (бинго!). Клод спросит “А зачем вам это нужно?” и честно будет ждать уточнения.

Алиса.

Perplexity.

DeepSeek.

Claude.

Теперь давайте подумаем, что с чем мы тут можем сравнить? И что понять?

Вопросы надо формировать под типовые сценарии поиска, выбора, сравнения и потребления, тогда мы сможем анализировать нарратив бренда.

— Как часто надо делать такой мониторинг?

Зависит от интенсивности работ с сайтом и внешним окружением.

Разумная схема:

• Обзорный аудит, который позволит выделить темы и сценарии для контроля, построить гипотезы для проверки.
• Один или несколько аудитов по отобранным гипотезам.
• Мониторинги по мере внесения изменений — через месяц-два после отработки рекомендаций, либо по запросу со стороны клиента.
• Мониторинги после появления новых моделей и смены алгоритмов.
• Ежемесячные мониторинги по “сигнальным” выборкам — отбираем сценарии, где хотим быть уверены, что позиции держатся на хорошем уровне либо растут. Либо тестируем какие-то сценарии более глубоко.

Хотите попробовать на своем бренде?

Обращайтесь: мы на пресейле можем сделать экспресс-аудит и по итогу вы увидите слепок нарратива бренда в нейросетях.

P.S. На вопросы о трафике из нейросетей мы ответим в другой статье.