Автоматическая обработка текстов на естественном языке и компьютерная лингвистикаЕлена Большакова (PDF, стр. 229)

📖 PDF. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика. Большакова Е. И. Страница 229. Читать онлайн pdf

Глава 2. — Самоподобие в информационном пространстве

$ 2.1. Ранговые распределения в лингвистике

Поясним понятие рангового распределения из в теории вероятностей применительно к лингвистическим задачам [12]. Пусть Т - множество всех слов некоторого текста, а У={х} — множество

различных слов в этом тексте. Под Е(х) понимается число вхождений слова х в текст Т. Таким образом каждому слову хеУ соответствует подмножество Т(х) всех вхождений этого слова в текст Т. Очевидно, что F(x) = |r со.

Через =! мы обозначим длину (объем) текста, а через М=! - обьем его словаря. Перенумеруем элементы словаря У ={х,,х,,...х,} так, чтобы Р(х) была

невозрастающей функцией его номера: F(x,)> F(x,)>...> F(xy). (6.1)

Ранговым распределением называется функция Ф(п)=Р(х,), которая ставит в

соответствие номеру п слова хе\У значение Р(х) этого слова. Итак,

Ф:$ 5%, где З-— отрезок натурального ряда, а KR — множество положительных вещественных чисел.

Итак, в качестве Т выступает случайным образом сформированная совокупность текстов и отрывков из текстов общей длиной в І, слов, а в качестве У - список всех различных слов, обнаруженный в этой совокупности текстов. Величину /(х)= Е(х)/Ё интерпретируют как относительную частоту употребления слова х в данной выборке Т ‚ а под генеральной совокупностью понимают язык или определенный стиль данного текста.

При традиционном рассмотрении статистических языковых моделей предполагается, что каждое слово хеУ имеет в языке объективную вероятность появления }(х). Тогда, если сами слова упорядочить по убыванию вероятностей, то можно говорить о вероятности Г, = {(х,) появления слова ранга и. Для этих

вероятностей постулируется существование теоретического закона распределения, (закона Ципфа, см. ниже):

с _Ещ In = = и’ , (6.2) либо в виде закона Ципфа - Мандельброта == Fas (6.2')

(пка) и’ где п - ранг слова х; а, у, с- константы, удовлетворяющие условию нормировки: < 1 oo =] (6.3) пе (п + а)! у, в данном случае является теоретической оценкой значения наблюдаемой

частоты и-ого по рангу слова в выборке Т длиной в Ё слов. При этом предполагается высокая вероятность выполнения серии неравенств:

230

Еще одной помехой росту может быть гордыня. Ее следствиями могут стать отсутствие уважения к наставнику и искажение учения. Любой дзэнский наставник постарается помочь ученикам распознать свою гордыню и эготизм. Один из дзэнских патриархов указывал: «Если учение, которое вы слышите от дзэнского...

Сколько стоит мечта?Лав Дарья

П: — Все равно так нельзя, я отвезу ему хотя бы двадцать процентов, нужно всегда уважать тех, с кем сотрудничаешь. И потом, никогда не знаешь, как все может обернуться в следующий раз. И еще, я думаю, благодаря ему ты теперь знаешь, чем хочешь заниматься.

Как соблазнить женщинуКонстантин Панин

ПОРА БЫ И «УЕДИНИТЬСЯ»

Вообще, если вы приглашаете девушку в какое-нибудь место, желательно, чтобы вы сами имели о нём достаточно хорошее представление. Иначе опять же может произойти конфуз. Хорошо бы также знать характер заведения и публику, которая там собирается.

Нить Ариадны, или Путешествие по лабиринтам психикиЗуева Елена

Глава 4. Параллельные миры

Похоже, удивлению его не было предела… Кроме того, голос его сильно изменился, нарастая по темпу и громкости. Он явно начал злиться…

Патопсихология: ХрестоматияБелопольская Н

Раздел III. Патология личности и деятельности

Сопоставление данных о состоянии психики больного в настоящее время (психический статус, данные психологического исследования, беседа с больным), об изменении личности больного в процессе заболевания (анамнестические данные), о требованиях производства, где работает больной, и требованиях...

Мозг и душаАмен Дэниел

ЧАСТЬ 1. О связи между душой и мозгом

• Попробуйте новое хобби, чтобы познакомиться с новыми людьми. Например, парусный спорт, ходьбу, настольный теннис, групповые танцы, волейбол или другой командный спорт, фотографию, волонтерскую работу — возможности безграничны.

Между живой водой и мертвой. Практика интегративной гипнотерапииКроль Леонид

3. Путешествия и сказочные превращения

Терапевт: Кощей тоже что думал, то и говорил – до поры до времени… Скажите, когда вы волнуетесь, у вас меняется вес? Были случаи, когда вы поправлялись, худели?

Счастливый бракКрабб Лэрри

Часть I Для чего Нужен Брак

И при этом забывается основное правило духовного здоровья: никогда не берите на себя ответственность за цель, которую вы не можете достигнуть. Никто не может полностью управлять другим. Влиять может, но управлять нет.

Психоманипуляции вокруг насТараненко Владимир

4. СИНДРОМ ПАТОЛОГИЧЕСКОГО СЛИЯНИЯ, или ФЕНОМЕН СТАДНОСТИ В ЭПОХУ БРЭНДОВ

И последнее. Псевдохаризма терпеть не может критического отношения к себе. Продуцирующие ее личности всегда готовы к обману, фальши, мистификации, подлогам и фокусничеству. Если необходимо, они пойдут на любую провокацию, чтобы в разыгравшемся скандале попытаться как-то улизнуть от пристальных...

Исповедь гипнотезераЛеви Владимир

Книга 3. ЭГО, ИЛИ ПРОФИЛАКТИКА СМЕРТИ

Запела первая птица. Никакой боли у меня нет, не было и не будет. И теперь мне понятно, почему я люблю Тебя.

По направлению к психологии бытияМаслов Абрам

Приложение II

Эта книга, вне всякого сомнения, представляет собой нормативную социальную психологию. То есть она провозглашает поиск ценностей одной из вполне реальных и фундаментальных задач общественных наук. Таким образом, она полностью противоречит той ортодоксальной точке зрения, которая исключает...

НЛП и здоровье. Использование НЛП для улучшения здоровья и благополучияМак-Дермотт Ян

Глава 4.

Доктора имеют дело с болезнями и недомоганиями. Пациенты — это люди, носящие в себе болезнь и недомогание. Поэтому доктора имеют дело с людьми.

Book
Recommendation
Generator

Автоматическая обработка текстов на естественном языке и компьютерная лингвистикаЕлена Большакова (PDF, стр. 229)

Оглавление

Читайте еще:

Психология: