ЧТО ТАКОЕ ЛЕММАТИЗАЦИЯ?

ЧТО ТАКОЕ ЛЕММАТИЗАЦИЯ?


 

Особый алгоритм поисковых систем получил название лемматизация. Его название происходит от слова лемма, означающего неизменную форму слова.

Для русского языка лемма это:

- Единственное число и именительный падеж существительного. Например, если в тексте слово обезьянкам, то его лемма - обезьяна.

- Инфинитив, неопределенная форма глагола, отвечающая на вопрос "Что делать?". То есть летавший имеет лемму лететь.

- Единственное число, мужской род и именительный падеж для прилагательных. Например, красноватой - красный.
Образование лемм значительно упрощает поисковые алгоритмы. Если в обычной ситуации в тесте должно быть проиндексировано каждое слово, в каждой его форме, то после лемматизации количество разных слов заметно снижается, ускоряется процесс индексации содержимого и поиска необходимой.

Программы лемматизаторы, как простейшие так и более сложные, можно найти в Интернете. Это не секретная разработка. Они нашли применение при организации поиска на сайтах. Если у владельца ресурса нет возможности оплатить услуги хостинга, обрабатывающего много информации за небольшой промежуток времени, то на уровне сайта можно организовать поиск по лемматизаторам - это предварительный этап преобразования слов.

Применяют их для определения уникальности текста. Сначала все слова в тексте заменяются леммами, а потом разбиваются по шинглу и начинается подсчет уникальности.

Но все-таки основным предназначением алгоритмов остается повышение релевантности поисковой выдачи. В связи с этим выявляются недостатки алгоритмов. К примеру, в нашем языке есть очень много омонимов - слов одинаковых по написанию, но разных по значению, части речи. Для примера можно взять слово вой. С одной стороны это существительной, а с другой глагол - выть.


 

 

 

Похожие темы

 
X
Реквизиты:
Индивидуальный предприниматель Матвеев Сергей Яковлевич
ИНН: 780621280569 ОГРНИП: 309784714500051
Юридический адрес: 195298, г. Санкт-Петербург, Косыгина пр-кт, 31, корп. 2
Р/с 40802810300010002124 в ФИЛИАЛ СБ БАНКА (ООО)
СПБ БИК: 044030884 К/с: 30101810900000000884
X

ЗАКАЗАТЬ ЗВОНОК