MOAB.Tools Обработка фраз 32 бесплатных инструмента для подготовки и обработки семантического ядра

Полный набор инструментов:

очистка фраз, работа с регистром, дублями, сортировкой, транслитерацией и операторами для контекстной рекламы: онлайн и бесплатно

Подробнее
32 инструмента для предварительной обработки фраз
Очистка

- Удалить спецсимволы - Удалить пустые строки - Удалить двойные и более пробелы - Удалить пробел(ы) слева от фраз - Удалить пробел(ы) справа от фраз

Регистр

- Преобразовать в ВЕРХНИЙ регистр - Преобразовать в нижний регистр - Сделать первую букву большой (как в предложениях) - Все Слова Начать С Прописных

Транслит

Транслитерировать фразы

Сортировка

- Сортировать от А до Я - Сортировать от Я до А - Сортировать от короткого к длинному - Сортировать от длинного к короткому - Сортировать от меньшего к большему количеству слов - Сортировать от большего к меньшему количеству слов - Перемешать фразы в случайном порядке

Контекстная реклама

- Добавить знак + к предлогам - Удалить знак + из предлогов - Удалить фразы длиной больше 7 слов - Добавить + к каждому слову - Обрамить каждую фразу [квадратными скобками] - Добавить восклицательный знак !перед !каждым !словом - Взять каждую фразу "в кавычки" - Просклонять слова - Лемматизировать фразы

Дубли

- Удалить точные Дубли - Удалить неточные дубли (перестановки слов без морфологии) - Удалить неточные дубли (перестановки слов с морфологией) - Удалить вхождение фраз друг в друга (с морфологией) - Удалить вхождение фраз друг в друга (с морфологией и подсчетом количества удаленных)

Бесплатно

Обрабатывайте столько фраз, сколько необходимо - все 32 инструмента предоставляются бесплатно для всех, для любого объема фраз. Единственное ограничение - не более 100 000 фраз за одну операцию с одним инструментом.

FAQ

Вопросы и ответы

“Предварительная обработка фраз” в MOAB Tools - 32 бесплатных инструмента для работы с семантическим ядром: очистка фраз, работа с регистром, дублями, сортировкой, транслитерацией и операторами для контекстной рекламы.

Что это за набор инструментов?

Представляем вашему вниманию набор инсрументов по предварительной обработке фраз, позволяющий из набора мусорных фраз создать список очищенных фраз, пригодный для использования в контекстных кампаниях или сервисах MOAB Tools.

Общая информация

Все представленные инструменты работают по следующему алгоритму:

  1. Вы добавляете фразы в список
  2. Выбираете инструмент
  3. Если фраз много или выбран ресурсоемкий инструмент - ожидаете выполнения выбранного действия
  4. Имеющиеся фразы из списка удаляются, на их место помещается результат обработки

Таким образом вы можете использовать подряд несколько инструментов, каждый раз работая с результатом работы предыдущего.

Максимальное количество фраз, которое можно обработать любым инструментом - 100 000.

При помощи сочетания клавиш Ctrl-Z можно последовательно отменить все внесенные изменения.

Набор инструментов «Очистка»

Инструмент «Удалить спецсимволы»

Удаляет из фраз все символы, которые не входят в русский, украинский и белорусский алфавит, не являются цифрами и пробелом. Символы заменяются на пробел, поэтому рекомендуется после обработки фраз этим инструментом обработать их также инструментом «Удалить пустые строки» и «Удалить двойные и более пробелы».

Инструмент «Удалить пустые строки»

Удаляет пустые строки из переданного списка фраз.

Инструмент «Удалить двойные и более пробелы»

Удаляет двойные и более пробелы из фраз, заменяя их на одинарный пробел. Например, "что   было в воронеже" ⇒ "что было в воронеже"

Инструменты «Удалить пробел(ы) слева от фраз» и «Удалить пробел(ы) справа от фраз»

Удаляют пробелы в начале каждой фразы и в конце каждой фразы соответственно. Рекомендуется использовать совместно.

Набор инструментов «Регистр»

Инструмент «Преобразовать в верхний регистр»

Преобразовывает фразы в верхний регистр, например "что было в воронеже" ⇒ "ЧТО БЫЛО В ВОРОНЕЖЕ". Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Преобразовать в нижний регистр»

Преобразовывает фразы в нижний регистр, например "ЧТО БЫЛО В ВОРОНЕЖЕ" ⇒ "что было в воронеже". Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Все Слова Начать С Прописных»

Преобразовывает первую букву каждого слова во фразе в верхний регистр, например "что было в воронеже" ⇒ "Что Было В Воронеже". Если перед словом стоит знак "+", он игнорируется - в верхний регистр будет преобразована буква, следующая за ним. Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Сделать первую букву большой (как в предложениях)»

Преобразовывает первую букву фразы в верхний регистр, например "что было в воронеже" ⇒ "Что было в воронеже". Если перед первым словом во фразе стоит знак "+", он игнорируется - в верхний регистр будет преобразована буква, следующая за ним. Пробелы по краям фраз и пустые строки удаляются.

Набор инструментов «Дубли»

Инструмент «Удалить точные дубли»

Удаляет точные дубли из списка фраз. Знаки "+", пробелы, регистр символов НЕ ИМЕЮТ значения - фразы "что было в воронеже", "+что +было +в воронеже" и "Что было +в Воронеже" являются эквивалентными с точки зрения этого инструмента. Имеет значение только порядок слов. В списке остается первая фраза.

Инструмент «Удалить неточные дубли (перестановки слов без морфологии)»

Удаляет неточные дубли из списка фраз. Знаки "+", пробелы, регистр символов НЕ ИМЕЮТ значения - фразы "что было в воронеже" и "+в Воронеже +что +было" считаются эквивалентными с точки зрения этого инструмента. Порядок слов значения не имеет. В списке остается первая фраза.

Инструмент «Удалить неточные дубли (перестановки слов с морфологией)»

Удаляет неточные дубли из списка фраз, предварительно выполнив стемминг каждого слова. Знаки "+", пробелы, регистр символов НЕ ИМЕЮТ значения - фразы "что было в воронеже" и "+в Воронеже +что +было" считаются эквивалентными с точки зрения этого инструмента. Порядок слов значения не имеет. В списке остается первая фраза. Пример: "какой красивый квартира", "какая квартира красивая", "квартира какое красивое" - все фразы считаются неточными дублями, в списке после удаления останется первая фраза "какой красивый квартира".

Инструмент «Удалить вхождение фраз друг в друга (с морфологией)»

Удаляет вхождения фраз в другие фразы внутри переданного списка. Остается самая короткая фраза (по количеству слов). Инструмент может быть необходим, например, для предварительной очистки списка фраз перед передачей в Wordstat Deep, чтобы оставить в работе только более частотные фразы, которые уже включают в себя менее частотные. Например, из списка:

    скачать
    скачать программы
    скачать новые программы
    надо бы скачать программы
    качать не перекачать

останутся фразы:

    скачать
    качать не перекачать

так как фразы «скачать программы», «скачать новые программы» и «надо бы скачать программы» уже содержат в себе более высокочастотную фразу «скачать».

Инструмент использует морфологию и удаление предлогов. Пустые строки будут удалены, порядок фраз будет сохранен.

Инструмент «Удалить вхождение фраз друг в друга (с морфологией и подсчетом количества удаленных)»

Инструмент делает всё то же, что и инструмент «Удалить вхождение фраз друг в друга (с морфологией)», дополнительно выводит количество удалённых фраз (включая оставшуюся). Можно использовать для оценки полноты семантического ядра или кластеризации по вхождению базисов друг в друга. Количество выводится через «;».

Например, после обработки массива:

    скачать
    скачать программы
    скачать новые программы
    надо бы скачать программы
    качать не перекачать

получится результат:

    скачать;4
    качать не перекачать;1

Набор инструментов «Сортировка»

Инструмент «Сортировать от А до Я»

Сортирует переданный список фраз по алфавиту. Пустые строки удаляются.

Инструмент «Сортировать от Я до А»

Сортирует переданный список фраз по алфавиту в обратном порядке. Пустые строки удаляются.

Инструмент «Сортировать от короткого к длинному»

Сортирует переданный список фраз по длине фраз от меньшей длины к большей. Длина считается в символах. Пустые строки удаляются.

Инструмент «Сортировать от длинного к короткому»

Сортирует переданный список фраз по длине фраз от большей длины к меньшей. Длина считается в символах. Пустые строки удаляются.

Инструмент «Сортировать от меньшего к большему количеству слов»

Сортирует переданный список фраз по количеству слов в фразе от меньшего количества к большему. Пустые строки удаляются.

Инструмент «Сортировать от большего к меньшему количеству слов»

Сортирует переданный список фраз по количеству слов в фразе от большего количества к меньшему. Пустые строки удаляются.

Инструмент «Перемешать фразы в случайном порядке»

Перемешивает переданный список фраз в случайном порядке. Пустые строки удаляются.

Набор инструментов «Контекстная реклама»

Инструмент «Добавить знак + к предлогам»

Добавляет знак "+" перед следующими словами:

    a, i, the, to, of, and, in, is, it, for, that, if, you, this, be, on, with, not, have, are, or, as, from, can, but, by, at, an, will, no, all, was, do, there, my, one, so, we, they, what, would, any, which, about, в, во, и, не, на, я, меня, мне, мной, мною, быть, есть, буду, будешь, будет, будем, будут, был, было, были, была, будь, будьте, что, чего, чему, чем, он, его, него, ему, нему, им, ним, нем, оно, она, ее, нее, ей, ней, ею, нею, они, их, них, ими, ними, с, а, как, этот, этого, этому, этим, этом, это, эта, этой, эту, эти, этих, этими, вы, вас, вам, вами, ты, тебя, тебе, тобой, тобою, к, ко, мы, нас, нам, нами, но, по, весь, всего, всему, всем, все, вся, всей, всю, всею, всех, всеми, за, тот, того, тому, то, та, той, ту, те, тех, теми, тем, том, у, из, свой, своего, своему, своим, своем, свое, своя, своей, свою, своею, свои, своих, своими, так, о, об, же, который, которого, которому, которым, котором, которое, которая, которой, которую, которою, которые, которых, которыми, бы, от, мочь, могу, можешь, может, можем, можете, могут, мог, могла, могло, могли, моги, могите, один, одного, одному, одним, одном, одно, одна, одной, одну, одною, одни, одних, одними, для, такой, такого, такому, таким, таком, такое, такая, такую, такою, такие, таких, такими, вот, только, еще, наш, нашего, нашему, нашем, наше, наша, нашей, нашу, нашею, наши, наших, нашими, нашим, да, сам, себя, себе, собой, собою, нет, до, при, уже, или, если, мой, моего, моему, моим, моем, мое, моя, моей, мою, моею, мои, моих, моими, чтобы, кто, кого, кому, кем, ком, когда

Добавление знака "+" к этим словам позволяет сэкономить существенное количество запросов при парсинге, т.к. Яндекс.Wordsat отбрасывает эти слова, если перед ними не стоит знак "+". Например, фраза "что было в воронеже" без знаков "+" возвращает 15 млн показов и длинный хвост (2000 фраз) сопутствующих запросов, т.к. "что", "было" и "в" отбрасываются вордстатом и по факту парсится только очень высокочастотное слово "воронеж". При этом фраза "+что +было +в воронеже" возвращает 1200 показов и короткий хвост (20 фраз) и по сути является более релевантной вашему интенту.

Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Удалить знак + из предлогов»

Удаляет знак "+", находящийся рядом со словами, указанными выше. Если знак "+" стоит самостоятельно или находится возле слов, не входящих в список, он не удаляется. Пробелы по краям фраз и пустые строки удаляются.

Инструмент «Удалить фразы длиной больше 7 слов»

Удаляет фразы, которые содержат более 7 слов. Необходим для подготовки фраз для контекстных кампаний Яндекс.Директ, т.к. последний не принимает фразы длиной более 7 слов.

Инструмент «Добавить + к каждому слову»

Добавляет знак "+" к каждому слову во фразе. Если знак "+" уже был перед словом или внутри словосочетания - он удаляется. Пробелы по краям строк также удаляются. Обеспечивает широкое соответствие в Google.

Инструмент «Обрамить каждую фразу [квадратными скобками]»

Обрамляет каждую фразу квадратными скобками. Обеспечивает точное соответствие в Google и соответствие порядку слов в Яндекс.

Инструмент «Добавить восклицательный знак !перед !каждым !словом»

Добавляет знак "!" перед каждым словом во фразе. Пробелы по краям строк удаляются. Обеспечивает фиксацию словоформы (число, падеж, время) в Яндекс.

Инструмент «Взять каждую фразу "в кавычки"»

Обрамляет каждую фразу кавычками. Обеспечивает фразовое соответствие в Google и фиксацию количества слов в Яндекс.

Инструмент «Просклонять слова»

Инструмент производит склонение по падежам существительных, прилагательных и чисел. Поддерживается только русский язык. На вход инструмента можно подать как отдельные слова, так и фразы, при этом фразы будут разбиты на слова автоматически.

Если слово не является существительным, прилагательным или числом - оно будет пропущено и не помещено в результат. Также пропускаются слова, не найденные в словаре инструмента.

Перед склонением все слова автоматически приводятся к базовой форме.

В результат помещается список слов, полученный в результате склонения.

Например, в результате склонения слова "велосипед" получится следующее:

    велосипед
    велосипеда
    велосипеду
    велосипедом
    велосипеде
    велосипеды
    велосипедов
    велосипедам
    велосипедами
    велосипедах

В результате склонения слова "интересный" получится:

    интересный
    интересного
    интересному
    интересным
    интересном
    интересные
    интересных
    интересными

В результате склонения числительного 12 получится:

    двенадцать
    двенадцати
    двенадцатью

В результате склонения фразы "купить пластиковые окна" получится:

    пластиковый
    пластикового
    пластиковому
    пластиковым
    пластиковом
    пластиковые
    пластиковых
    пластиковыми
    окно
    окна
    окну
    окном
    окне
    окон
    окнам
    окнами
    окнах

Как видно из примера, глагол "купить" был пропущен.

При использовании фраз рекомендуем предварительно пользоваться инструментами очистки. Пустые строки, пробелы и дубли слов будут удалены.

При большом количестве исходных слов или фраз обработка может продолжаться достаточно длительное время, рекомендуется не перезагружать страницу и дождаться окончания обработки.

Инструмент «Лемматизировать фразы»

Лемматизация - это процесс приведения словоформы к лемме - её нормальной (словарной) форме. Для имен существительных лемма - это слово в именительном падеже, в единственном числе; для прилагательных - именительный падеж, единственное число, мужской род; для глаголов, причастий, деепричастий - инфинитив.

Инструмент «Лемматизировать фразы» позволяет привести все слова переданных фраз к нормальной форме.

Например, в результате лемматизации списка:

    изменения в правилах страхования осаго 2018
    расчет страхования осаго
    электронное осаго в воронеже отзывы
    как вернуть полис осаго в страховую компанию
    просрочка выплаты по осаго бланк претензии
    как расшифровывается кбм в осаго
    виновник не застрахован по осаго потерпевший застрахован по осаго

получится

    изменение в правило страхование осаго 2018
    расчет страхование осаго
    электронный осаго в воронеж отзыв
    как вернуть полис осаго в страховой компания
    просрочка выплата по осаго бланк претензия
    как расшифровываться кбм в осаго
    виновник не застраховывать по осаго потерпевший застраховывать по осаго

Во время обработки удаляются пробелы по краям фразы, пустые строки и знаки + (если имеются).

Набор инструментов «Транслит»

Инструмент «Транслитерировать фразы»

Осуществляет транслитерацию переданного списка фраз.

Интеграция по API

Вы можете интегрировать наши инструменты по предварительной обработке фраз в свои приложения или сервисы бесплатно с условием обязательного размещения обратной ссылки на сайт https://moab.tools/

Подробнее о процессе интеграции вы можете почитать здесь