“Предварительная обработка фраз” в MOAB Tools — 32 бесплатных инструмента для работы с семантическим ядром: очистка фраз, работа с регистром, дублями, сортировкой, транслитерацией и операторами для контекстной рекламы.

Очистка — Удалить спецсимволы
— Удалить пустые строки
— Удалить двойные и более пробелы
— Удалить пробел(ы) слева от фраз
— Удалить пробел(ы) справа от фраз

Регистр — Преобразовать в ВЕРХНИЙ регистр
— Преобразовать в нижний регистр
— Сделать первую букву большой (как в предложениях)
— Все Слова Начать С Прописных

Транслит Транслитерировать фразы

Сортировка — Сортировать от А до Я
— Сортировать от Я до А
— Сортировать от короткого к длинному
— Сортировать от длинного к короткому
— Сортировать от меньшего к большему количеству слов
— Сортировать от большего к меньшему количеству слов
— Перемешать фразы в случайном порядке

Контекстная реклама — Добавить знак + к предлогам
— Удалить знак + из предлогов
— Удалить фразы длиной больше 7 слов
— Добавить + к каждому слову
— Обрамить каждую фразу [квадратными скобками]
— Добавить восклицательный знак !перед !каждым !словом
— Взять каждую фразу "в кавычки"
— Просклонять слова
— Лемматизировать фразы

Дубли — Удалить точные Дубли
— Удалить неточные дубли (перестановки слов без морфологии)
— Удалить неточные дубли (перестановки слов с морфологией)
— Удалить вхождение фраз друг в друга (с морфологией)
— Удалить вхождение фраз друг в друга (с морфологией и подсчетом количества удаленных)

Бесплатно

Обрабатывайте столько фраз, сколько необходимо - все 32 инструмента предоставляются бесплатно для всех, для любого объема фраз. Единственное ограничение - не более 100 000 фраз за одну операцию с одним инструментом.

Попробовать бесплатно

Вопросы и ответы

Что это за набор инструментов?

Представляем вашему вниманию набор инсрументов по предварительной обработке фраз, позволяющий из набора мусорных фраз создать список очищенных фраз, пригодный для использования в контекстных кампаниях или сервисах MOAB Tools.

Общая информация

Все представленные инструменты работают по следующему алгоритму:

Вы добавляете фразы в список
Выбираете инструмент
Если фраз много или выбран ресурсоемкий инструмент - ожидаете выполнения выбранного действия
Имеющиеся фразы из списка удаляются, на их место помещается результат обработки

Таким образом вы можете использовать подряд несколько инструментов, каждый раз работая с результатом работы предыдущего.

Максимальное количество фраз, которое можно обработать любым инструментом - 100 000.

При помощи сочетания клавиш Ctrl-Z можно последовательно отменить все внесенные изменения.

Набор инструментов «Очистка»

Инструмент «Удалить спецсимволы»

Удаляет из фраз все символы, которые не входят в русский, украинский и белорусский алфавит, не являются цифрами и пробелом. Символы заменяются на пробел, поэтому рекомендуется после обработки фраз этим инструментом обработать их также инструментом «Удалить пустые строки» и «Удалить двойные и более пробелы».

Инструмент «Удалить пустые строки»

Удаляет пустые строки из переданного списка фраз.

Инструмент «Удалить двойные и более пробелы»

Удаляет двойные и более пробелы из фраз, заменяя их на одинарный пробел. Например, "что было в воронеже" ⇒ "что было в воронеже"

Инструменты «Удалить пробел(ы) слева от фраз» и «Удалить пробел(ы) справа от фраз»

Удаляют пробелы в начале каждой фразы и в конце каждой фразы соответственно. Рекомендуется использовать совместно.

Набор инструментов «Регистр»

Инструмент «Преобразовать в верхний регистр»

Преобразовывает фразы в верхний регистр, например "что было в воронеже" ⇒ "ЧТО БЫЛО В ВОРОНЕЖЕ". Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Преобразовать в нижний регистр»

Преобразовывает фразы в нижний регистр, например "ЧТО БЫЛО В ВОРОНЕЖЕ" ⇒ "что было в воронеже". Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Все Слова Начать С Прописных»

Преобразовывает первую букву каждого слова во фразе в верхний регистр, например "что было в воронеже" ⇒ "Что Было В Воронеже". Если перед словом стоит знак "+", он игнорируется - в верхний регистр будет преобразована буква, следующая за ним. Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Сделать первую букву большой (как в предложениях)»

Преобразовывает первую букву фразы в верхний регистр, например "что было в воронеже" ⇒ "Что было в воронеже". Если перед первым словом во фразе стоит знак "+", он игнорируется - в верхний регистр будет преобразована буква, следующая за ним. Пробелы по краям фраз и пустые строки удаляются.

Набор инструментов «Дубли»

Инструмент «Удалить точные дубли»

Удаляет точные дубли из списка фраз. Знаки "+", пробелы, регистр символов НЕ ИМЕЮТ значения - фразы "что было в воронеже", "+что +было +в воронеже" и "Что было +в Воронеже" являются эквивалентными с точки зрения этого инструмента. Имеет значение только порядок слов. В списке остается первая фраза.

Инструмент «Удалить неточные дубли (перестановки слов без морфологии)»

Удаляет неточные дубли из списка фраз. Знаки "+", пробелы, регистр символов НЕ ИМЕЮТ значения - фразы "что было в воронеже" и "+в Воронеже +что +было" считаются эквивалентными с точки зрения этого инструмента. Порядок слов значения не имеет. В списке остается первая фраза.

Инструмент «Удалить неточные дубли (перестановки слов с морфологией)»

Удаляет неточные дубли из списка фраз, предварительно выполнив стемминг каждого слова. Знаки "+", пробелы, регистр символов НЕ ИМЕЮТ значения - фразы "что было в воронеже" и "+в Воронеже +что +было" считаются эквивалентными с точки зрения этого инструмента. Порядок слов значения не имеет. В списке остается первая фраза. Пример: "какой красивый квартира", "какая квартира красивая", "квартира какое красивое" - все фразы считаются неточными дублями, в списке после удаления останется первая фраза "какой красивый квартира".

Инструмент «Удалить вхождение фраз друг в друга (с морфологией)»

Удаляет вхождения фраз в другие фразы внутри переданного списка. Остается самая короткая фраза (по количеству слов). Инструмент может быть необходим, например, для предварительной очистки списка фраз перед передачей в Wordstat Deep, чтобы оставить в работе только более частотные фразы, которые уже включают в себя менее частотные. Например, из списка:

останутся фразы:

так как фразы «скачать программы», «скачать новые программы» и «надо бы скачать программы» уже содержат в себе более высокочастотную фразу «скачать».

Инструмент использует морфологию и удаление предлогов. Пустые строки будут удалены, порядок фраз будет сохранен.

Инструмент «Удалить вхождение фраз друг в друга (с морфологией и подсчетом количества удаленных)»

Инструмент делает всё то же, что и инструмент «Удалить вхождение фраз друг в друга (с морфологией)», дополнительно выводит количество удалённых фраз (включая оставшуюся). Можно использовать для оценки полноты семантического ядра или кластеризации по вхождению базисов друг в друга. Количество выводится через «;».

Например, после обработки массива:

получится результат:

Набор инструментов «Сортировка»

Инструмент «Сортировать от А до Я»

Сортирует переданный список фраз по алфавиту. Пустые строки удаляются.

Инструмент «Сортировать от Я до А»

Сортирует переданный список фраз по алфавиту в обратном порядке. Пустые строки удаляются.

Инструмент «Сортировать от короткого к длинному»

Сортирует переданный список фраз по длине фраз от меньшей длины к большей. Длина считается в символах. Пустые строки удаляются.

Инструмент «Сортировать от длинного к короткому»

Сортирует переданный список фраз по длине фраз от большей длины к меньшей. Длина считается в символах. Пустые строки удаляются.

Инструмент «Сортировать от меньшего к большему количеству слов»

Сортирует переданный список фраз по количеству слов в фразе от меньшего количества к большему. Пустые строки удаляются.

Инструмент «Сортировать от большего к меньшему количеству слов»

Сортирует переданный список фраз по количеству слов в фразе от большего количества к меньшему. Пустые строки удаляются.

Инструмент «Перемешать фразы в случайном порядке»

Перемешивает переданный список фраз в случайном порядке. Пустые строки удаляются.

Набор инструментов «Контекстная реклама»

Инструмент «Добавить знак + к предлогам»

Добавляет знак "+" перед следующими словами:

a, i, the, to, of, and, in, is, it, for, that, if, you, this, be, on, with, not, have, are, or, as, from, can, but, by, at, an, will, no, all, was, do, there, my, one, so, we, they, what, would, any, which, about, в, во, и, не, на, я, меня, мне, мной, мною, быть, есть, буду, будешь, будет, будем, будут, был, было, были, была, будь, будьте, что, чего, чему, чем, он, его, него, ему, нему, им, ним, нем, оно, она, ее, нее, ей, ней, ею, нею, они, их, них, ими, ними, с, а, как, этот, этого, этому, этим, этом, это, эта, этой, эту, эти, этих, этими, вы, вас, вам, вами, ты, тебя, тебе, тобой, тобою, к, ко, мы, нас, нам, нами, но, по, весь, всего, всему, всем, все, вся, всей, всю, всею, всех, всеми, за, тот, того, тому, то, та, той, ту, те, тех, теми, тем, том, у, из, свой, своего, своему, своим, своем, свое, своя, своей, свою, своею, свои, своих, своими, так, о, об, же, который, которого, которому, которым, котором, которое, которая, которой, которую, которою, которые, которых, которыми, бы, от, мочь, могу, можешь, может, можем, можете, могут, мог, могла, могло, могли, моги, могите, один, одного, одному, одним, одном, одно, одна, одной, одну, одною, одни, одних, одними, для, такой, такого, такому, таким, таком, такое, такая, такую, такою, такие, таких, такими, вот, только, еще, наш, нашего, нашему, нашем, наше, наша, нашей, нашу, нашею, наши, наших, нашими, нашим, да, сам, себя, себе, собой, собою, нет, до, при, уже, или, если, мой, моего, моему, моим, моем, мое, моя, моей, мою, моею, мои, моих, моими, чтобы, кто, кого, кому, кем, ком, когда

Добавление знака "+" к этим словам позволяет сэкономить существенное количество запросов при парсинге, т.к. Яндекс.Wordsat отбрасывает эти слова, если перед ними не стоит знак "+". Например, фраза "что было в воронеже" без знаков "+" возвращает 15 млн показов и длинный хвост (2000 фраз) сопутствующих запросов, т.к. "что", "было" и "в" отбрасываются вордстатом и по факту парсится только очень высокочастотное слово "воронеж". При этом фраза "+что +было +в воронеже" возвращает 1200 показов и короткий хвост (20 фраз) и по сути является более релевантной вашему интенту.

Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Удалить знак + из предлогов»

Удаляет знак "+", находящийся рядом со словами, указанными выше. Если знак "+" стоит самостоятельно или находится возле слов, не входящих в список, он не удаляется. Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Удалить фразы длиной больше 7 слов»

Удаляет фразы, которые содержат более 7 слов. Необходим для подготовки фраз для контекстных кампаний Яндекс.Директ, т.к. последний не принимает фразы длиной более 7 слов.

Инструмент «Добавить + к каждому слову»

Добавляет знак "+" к каждому слову во фразе. Если знак "+" уже был перед словом или внутри словосочетания - он удаляется. Пробелы по краям строк также удаляются. Обеспечивает широкое соответствие в Google.

Инструмент «Обрамить каждую фразу [квадратными скобками]»

Обрамляет каждую фразу квадратными скобками. Обеспечивает точное соответствие в Google и соответствие порядку слов в Яндекс.

Инструмент «Добавить восклицательный знак !перед !каждым !словом»

Добавляет знак "!" перед каждым словом во фразе. Пробелы по краям строк удаляются. Обеспечивает фиксацию словоформы (число, падеж, время) в Яндекс.

Инструмент «Взять каждую фразу "в кавычки"»

Обрамляет каждую фразу кавычками. Обеспечивает фразовое соответствие в Google и фиксацию количества слов в Яндекс.

Инструмент «Просклонять слова»

Инструмент производит склонение по падежам существительных, прилагательных и чисел. Поддерживается только русский язык. На вход инструмента можно подать как отдельные слова, так и фразы, при этом фразы будут разбиты на слова автоматически.

Если слово не является существительным, прилагательным или числом - оно будет пропущено и не помещено в результат. Также пропускаются слова, не найденные в словаре инструмента.

Перед склонением все слова автоматически приводятся к базовой форме.

В результат помещается список слов, полученный в результате склонения.

Например, в результате склонения слова "велосипед" получится следующее:

В результате склонения слова "интересный" получится:

В результате склонения числительного 12 получится:

В результате склонения фразы "купить пластиковые окна" получится:

Как видно из примера, глагол "купить" был пропущен.

При использовании фраз рекомендуем предварительно пользоваться инструментами очистки. Пустые строки, пробелы и дубли слов будут удалены.

При большом количестве исходных слов или фраз обработка может продолжаться достаточно длительное время, рекомендуется не перезагружать страницу и дождаться окончания обработки.

Инструмент «Лемматизировать фразы»

Лемматизация - это процесс приведения словоформы к лемме - её нормальной (словарной) форме. Для имен существительных лемма - это слово в именительном падеже, в единственном числе; для прилагательных - именительный падеж, единственное число, мужской род; для глаголов, причастий, деепричастий - инфинитив.

Инструмент «Лемматизировать фразы» позволяет привести все слова переданных фраз к нормальной форме.

Например, в результате лемматизации списка:

получится

Во время обработки удаляются пробелы по краям фразы, пустые строки и знаки + (если имеются).

Набор инструментов «Транслит»

Инструмент «Транслитерировать фразы»

Осуществляет транслитерацию переданного списка фраз.

Интеграция по API

Вы можете интегрировать наши инструменты по предварительной обработке фраз в свои приложения или сервисы бесплатно с условием обязательного размещения обратной ссылки на сайт https://moab.tools/

Подробнее о процессе интеграции вы можете почитать здесь

Назад к списку

Семантика
CloudLemma
Обработка фраз
Dozor
Bridge
Cluster
Top

Как делегировать Яндекс.Метрику?

Перейдите на главную страницу Метрики по этому адресу - https://metrika.yandex.ru/list и нажмите на шестеренку
Перейдите на вкладку "Доступ"
Добавьте пользователя metrika@moab.pro