Автоматическая обработка текстов на естественном языке и компьютерная лингвистикаЕлена Большакова (PDF, стр. 121)

📖 PDF. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика. Большакова Е. И. Страница 121. Читать онлайн pdf

Е2ще один вариант отсеивания основывается на том, что у слов, принадлежащих одной парадигме, совпадает не только изменяемая часть, но и последние несколько символов неизменяемой. Так, например, у слов «шествовать», «повествовать», «любопытствовать» псевдооснова заканчивается на «-ств-». Соответственно, новое слово, обладающее постфиксом «-ств-овать» (или в более общем случае «ств+постфикс парадигмы») должно быть предсказано именно по этой парадигме. Для предсказания может быть использовано от одной до трех букв с конца псевдоосновы. Три буквы позволяют получить статистически значимые результаты для часто повторяющихся длинных последовательностей. Но так как одни и те же трехбуквенные последовательности встречаются гораздо реже, чем единственная буква, то использование трех букв дает гораздо больше вариантов таких последовательностей, используемых для проверки.

На практике подобный метод используется для некоторого разрешения неоднозначности выдаваемых результатов, когда кроме стема требуется определить и хотя бы часть речи. В такой ситуации три предыдущие буквы позволяют с достаточно высокой точностью определить, к какой части речи должно относится слово. Для этого помимо псевдоокончания хранят и несколько последних букв. Большее количество букв псевдоосновы позволяет более точно определить параметры слова. При этом меньшее количество букв позволяет достичь большей скорости разбора и сокращает объем словаря.

Методы бессловарных морфологий используются также и для расширения словаря. Так, например, очень многие существительные могут употребляться с «не-» в начале. Введение всех существительных с «не-» значительно увеличит объем словаря и снизит скорость его работы. В связи с этим при морфологическом анализе можно предварительно проверить наличие одного из префиксов («пере-», «при-» и т.д.) или аффиксов (например, «-ся» и «-сь»), а оставшуюся часть слова попытаться найти в словаре. При этом, например, для слова «оставшийся» после удаления аффикса основы найдено не будет, а слово «делавшийся» будет успешно разобрано (если предположить, что ни того, ни другого нет в словаре). Заметим, что запускать подобный алгоритм имеет смысл лишь после того, как выяснится, что пришедшее слово целиком отсутствует в словаре. Заметим также, что подобная операция может быть проведена средствами предсинтаксического анализа, в котором могут быть предусмотрены соответствующие средства.

$ 2.4. Коррекция орфографических ошибок

Небольшая модификация алгоритма морфологического анализа может помочь распознавать слова, написанные с ошибками. Для этого используется расстояние Левенштейна — минимальное количество ошибок, исправление которых приводит одно слово к другому. Считается, что существуют ошибки трех видов: ошибка вставки, ошибка замены и ошибка пропуска. Ошибка вставки — это случай, когда в слово вставлена лишняя буква; ошибка пропуска — когда буква была пропущена; и ошибка замены — когда одна буква заменена другой. При поиске слова с ошибкой нам придется поочередно пытаться пропускать буквы то во входном слове (в случае ошибки вставки), то в дереве (в случае ошибки пропуска), или и там, и там (в случае ошибки замены). При этом если пропуск буквы во входной строке является действием тривиальным, то пропуск вершины в дереве ведет к тому, что мы не знаем,

17?

Заинтересованность в этом велика, ибо ясно, что использование этого термина в истолковании может привести к тяжелым последствиям, если не будет предварительно разъяснено символическими связями, которые мы и считаем здесь определяющими.

Основы психологииСтоляренко Людмила

Глава 4 Структура сознания

• процессуально-подражательная игра — воспроизведение действий или ситуаций, которые ребенок наблюдает в реальной жизни

Эон: исследования о символике самостиЮнг Карл

Фирмик Матерн Юлий 143 Фичино Марсилио 22977 Флаккиан

38 Рапоріїа добтайса, со. 1290 за4. Вариант его имени — Евфимий Зигабен [первая половина 12-го века].

Психиатрические эскизы из истории. Генералисимус СуворовКовалевский Павел

Часть третья

В последнем случае мы видим в роде человеческом необыкновенное разнообразие в проявлении быстроты душевных процессов: одни необыкновенно вялы и медлительны, другие проявляют среднюю степень быстроты и третьи необыкновенно быстры в восприятии, сообразительности и порывисты в поступках. Эти...

Психология имениХарре Ром

Социальные аспекты имени

Разумеется, газетные отчеты несовершенны. За ними скрываются неисследованные особенности едва уловимого социального опыта, социальных и личностных ассоциаций, связанных с именами. Известна, например, салонная игра, практикуемая в некоторых семьях. Она состоит в том, чтобы угадывать, что за...

Убедить за минуту. 10 шагов к достижению целиРайтон Тони

ГЛАВА 8. Поразительное исследование, которое поможет вам подняться по карьерной лестнице

Как ни странно, исследование показывает, что жалобы и негатив не всегда отрицательно влияют на отношения.

Автоматическая обработка текстов на естественном языке и компьютерная лингвистикаЕлена Большакова (PDF, стр. 121)

Оглавление

Читайте еще:

Психология: