Автоматическая обработка текстов на естественном языке и компьютерная лингвистикаЕлена Большакова (PDF, стр. 126)

📖 PDF. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика. Большакова Е. И. Страница 126. Читать онлайн pdf

влияние на неизвестное слово. Это еще одна стандартная мера для сравнения моделей языка, которая выражается следующей формулой:

РР = 2" (3.3)

Следует подчеркнуть, что энтропия это некоторая функция, которая характеризует как саму модель естественного языка, так и имеющуюся обучающую выборку. Среди двух вероятностных моделей, имеющих одинаковый уровень ошибок предпочтительнее та, у которой энтропия меньше. Вообще же, количество ошибок и энтропия не однозначно связаны между собой.

В соответствии с принципом максимальной энтропии у нас есть возможность выбрать наиболее оптимальную базовую вероятностную модель естественного языка. Но эта базовая модель основана на принципе максимального правдоподобия, который не позволяет учитывать неравномерности в обучающей выборке и делать разметку при неполной информации.” Разумеется, что от системы по автоматической обработке текста требуется, чтобы она обрабатывала как можно более широкий круг текстов, а не только тот, что был представлен в обучающей выборке”. Таким образом, сглаживание используется, а зачастую просто необходимо, в том случае, когда для обучения доступен небольшой корпус, и есть возможность получить нулевые вероятности для последовательности слов, не представленных в обучающей выборке. Цель сглаживания сделать распределение более равномерным, другими словами, повысить вероятности для последовательностей слов, которые встречаются редко или вообще не встречаются и, соответственно, несколько снизить вероятности для комбинаций слов, которые часто встречаются. Как правило, методы сглаживания позволяют повысить качество работы триграммных тэггеров и, тем более, тэггеров на основе скрытых марковских моделей высоких порядков.

Различные методы сглаживания М-граммной вероятностной модели позволяют подобрать оптимальную" статистическую модель естественного языка. Проблему выбора оптимального тэггера попробуем обрисовать на следующем примере. Предположим, что у нас есть обучающее множество Х = {хьх.,...хм} и нам нужно получить распределение вероятностей 4(х). В самом простом случае, мы используем максимум правдоподобия и полагаем, 4TO g(x) совпадает с эмпирическим распределением р`(х) = с(х) / М, где с(х) - число раз, которое встречалось слово х, а М — размерность обучающей выборки. Но в таком случае, мы придём к переобучению модели и не сможем разбирать М-граммы, не представленные в обучающей выборке. Другими словами, необходимо чтобы 4(х) соответствовала только наиболее значимым свойствам распределения р`(х).

Для наглядности, приведем примеры. Предположим, что х = (м1; W2), THe Ww; И и› английские слова, которые появляются в некотором большом корпусе английских текстов. Таким образом, задача сводится к оценке частоты появления биграмм, в данном случае, в английском языке. Предположим биграмму, которая не появляется в обучающем множестве - «РАС ВОС». Имеем, р(РЛС ООС) = 0, но интуитивно мы хотим, чтобы р(Р1@ ВОС) > 0, т.к. эта биграмма имеет некий шанс появиться. Еще

° Такая модель плохо размечает или вообще не размечает последовать из М слов, не представленных в обучающей выборке. ”° Теоретически, при наличии представительной обучающей выборки, по предельной теореме перейдем от частот появления М-грамм к вероятности их появления, и с помощью принцина максимального правдоподобия получим наиболее оптимальную вероятностную модель автоматической обработки текста. Имеющимися современными средствами на практике такое не достижимо. п Строго говоря, на практике обычно подбирается субоптимальная модель естественного языка.

127

Осознание человеком своего долга, меры ответственности за развитие и реализацию своего таланта свидетельствует о том, что у него имеются все предпосылки для саморазвития целеустремленности и настойчивости. Если человек не будет сам желать достичь отдаленной цели, никакие ухищрения педагога не...

Перестаньте детей воспитывать - помогите им растиНекрасова (Забелина) Заряна

Часть вторая. Волшебники и зомби, или Что мешает родителям быть счастливыми родителями, а детям —. счастливыми детьми

· Игра «Я — кукла» (робот, машинка, паровоз…). Вы сейчас не мама/не папа, а то, чем ребёнок может поиграть. Вас можно куда-то увести, просто нажав на кнопку. Такое счастье — покомандовать родителем — они никогда не упустят.

Артур Шопенгауэр. Собрание сочинений в шести томах. Том 5Шопенгауэр Артур

Мы относимся к иероглифической письменности китайцев с пренебрежением

Повсюду и во все времена существовало большое недовольство правительством, законами и общественными учреждениями — главным образом потому, что человек всегда готов поставить им в вину бедствия которые неразрывно связаны с самым существованием людей, как проклятие, ниспосланное, выражаясь языком...

Изменение убеждений с помощью НЛПДилтс Роберт

II. Убеждения о способностях.

То же самое справедливо и для такого человека, как Альберт Эйнштейн. О своей деятельности в области физики Эйнштейн сказал: "Меня не интересует ни световой спектр, ни сколько весит эта молекула, ни каково строение данного конкретного атома. Я хочу знать помыслы Божьи. Все остальное &mdash...

Психологические и дидактические игры для специфичных детейБуховцов Александр

Развитие уверенности в себе и взаимного доверия

Тренер выбирает семь наиболее крепких детей из состава участников. Остальные дети, в порядке очереди, становятся на небольшой стул спиной к тренеру, далее, участник отвесно падает назад. Тренер и группа поддержки подхватывают его на руки и качают его на руках в течение двух минут, при этом...

Революция, которую мы ждалиНаранхо Клаудио

Глава 10. Программа SAT для развития самопознания и любви

Я говорил, что мы можем рассматривать путь самоотдачи как дополнение к пути покоя, и я сказал бы, что чем больше мы достигаем покоя (то есть того, что китайцы называют У-вэй, «недеяние» — возможность присутствовать и не делать, не быть рабами обычного компульсивного действия), наша жизнь, обычно...

Центр циклона: автобиография внутреннего пространстваЛилли Джон

К ЧИТАТЕЛЮ

Безжалостная природа Космической любви (бараки), была раскрыта нами в нашей диаде. Космическая любовь любит и учит вас, хотите вы этого или нет, в ней есть неизбежность, полнота взятия, роковая радость, охватывающая и приводящая другого к вам, учащая через вас. Каждый из нас чувствовал теперь...

Как стать несчастным без посторонней помощиВацлавик Пауль

Глава 12. Ловушки альтруизма.

2. Неотвратимость рокового исхода станет еще более очевидной, если мы рассмотрим вторую причину, по которой партнер может по собственному желанию взять на себя дополняющую роль и таким образом дать нам возможность в полной мере реализовать себя как личность, ощутить свою собственную...

Психология и работаШульц Дуан

5) сами считают себя скорее наставниками

Если данные об абсентизме, представленные в самоотчетах, не всегда надежны, что мешает — для получения достоверной картины абсентизма — пользоваться информацией, предоставляемой самими компаниями? Теоретически это прекрасная идея, но на практике она не работает....

Тайна веков. Как стать счастливым и преуспевающимКольер Роберт

Глава 27. Как Пелтон приобрел 900 тысяч покупателей

На форзаце Библии моего деда я обнаружил надпись: «Мир, в котором мы живем, должен был иметь какое-то происхождение, это происхождение должно было иметь причину, эта причина должна была быть разумной, эта разумность должна была быть результативной, эта результативность должна была быть...

Пособие по самоисследованию при поддержке напарниковКурц Рон

Продолжайте общаться таким образом столько

Привычка быть кем-то Указания 1. Группы из четырёх человек. Один человек говорит, остальные наблюдают и слушают.

Автоматическая обработка текстов на естественном языке и компьютерная лингвистикаЕлена Большакова (PDF, стр. 126)

Оглавление

Читайте еще:

Психология: