WWW.REFERATCENTRAL.ORG.UA - Я ТУТ НАВЧАЮСЬ

... відкритий, безкоштовний архів рефератів, курсових, дипломних робіт

ГоловнаІнформатика, Компютерні науки → Теорія інформації та її концепції - Реферат

Теорія інформації та її концепції - Реферат

необхідно, можливо, випадково…), оцінювальну логіку (значення квантора: добре, посередньо, погано…), логіку бажань (значення квантора: хочу, можу, не хочу…), імовірнісну логіку (значення квантора вказує на ступінь істинності того, що стверджується предикатом, і перебуває в межах від 0,0 до 1,0) тощо.
Приклад. Речення з переліченими модальностями:
- з квантором епістемічної логіки: Вірю, що один чудовий хлопець одружиться зі смаглявою темноволосою дівчиною;
- з квантором деонтичної логіки: Заборонено, щоби двахлопці одружувались із однією дівчиною;
- з квантором оцінювальної логіки: Це прекрасно, що один чудовий хлопець одружився зі смаглявою темноволосою дівчиною.
Структура сюжету. Для передавання більших, ніж речення, порцій інформації їх об'єднують спеціальними зв'язками (сполучниковими) у ланцюжок - сюжет. Сюжет фіксованої довжини утворює повідомлення. У мовознавстві повідомленню відповідає окремий текст, в програмному забезпеченні електронних керуючих систем - база даних чи окремий файл, у програмуванні - програма як єдине ціле.
Щодо зв'язків, то їх є обмежена кількість. Наприклад, в логіці виділяють такі зв'язки (тут їх називають сполучниками): І, АБО, НЕ, ЯКЩО… ТО. Такі зв'язки можна задати як дескриптори (одиниця інформаційно-пошукової мови, що відповідає певному поняттю) на певній осі. В цьому випадку їх також можна розглядати як образи, що мають свою окрему сферу застосування. Останній сполучник вказує на кінець повідомлення.
Подамо приклад структури повідомлення:
Sm ? , (8) … S3 S2 M = S1
де M - повідомлення, Sj - j-е речення, - сполучники (логічні оператори); ? - останній сполучник. а
У реальних текстах найчастішим сполучником є І, причому, як правило, порожній. Роль такого порожнього сполучника на границях речень виконує крапка, знак оклику, знак запитання, всередині складнопідрядного речення - кома, а також інші лінгвістичні засоби (трикрапка тощо). Інші сполучники, як правило, задають явно.
Останній сполучник (іноді він є порожнім) свідчить про кінець повідомлення (у лінгвістиці це кінець будь-якого тексту - оповідання, повісті роману, статті тощо, - а в програмному забезпеченні - кінець файла, програми чи бази даних).
Структура знакового (вербального) повідомлення з позиції лінгвістики.
Одиниці мови й текстів показано в табл. 1.
Таблиця 1
Одиниці мови й текстів
Рівні Мова Тексти
усна писемна усні писемні
Фонемно-графемний фонеми графеми (літери чи лігатури - залежно від мови) мовні звуки графеми (літери чи лігатури - залежно від мови)
Морфемний морфеми (ланцюжки фонем) морфеми (ланцюжки літер або лігатур чи ієрогліфи -залежно від мови) морфи (ланцюжки мовних звуків) морфи (ланцюжки літер або лігатур чи ієрогліфи -залежно від мови)
Лексемний лексеми (ланцюжки морфем) лексеми (ланцюжки морфем) фонослова (ланцюжки морфів зі службовими словами) словоформи (ланцюжки морфів)
Синтаксичний-1 непредикативні синтаксичні конструкції (синтаксеми-1) непредикативні синтаксичні конструкції (синтаксеми-1) синтагми (ланцюжки фонослів) словосполучення (ланцюжки словоформ)
Синтаксичний-2 предикативні синтаксичні конструкції (синтаксеми-2) предикативні синтаксичні конструкції (синтаксеми-2) фрази, або висловлювання (ланцюжки синтагм) речення (ланцюжки словосполучень)
Надфразний - - надфразні єдності надфразні єдності
Блоковий - - блоки блоки
Дискурсний - - дискурс дискурс
Одиниці, що мають однакову будову й характеристики, утворюють один лінгвістичний рівень, як у мові, так і тексті.
У мові маємо п'ять рівнів (фонемно-графемний, морфемний, лексемний, синтаксичних непредикативних і предикативних конструкцій). Можливо, у мові існують ще й вищі рівні, як у тексті, проте наукові дослідження одиниць на цих рівнях поки що не проводили.
У текстах, крім вказаних, як у мові, п'яти рівнів, з'являються ще три додаткові, які утворюються внаслідок об'єднання (агрегації) речень у більші єдності (одиниці). Внаслідок цього утворюються рівні надфразних єдностей (НФЄ), блоків і дискурсу. Таким чином, у тексті виділяють вісім рівнів.
4. Концепції теорії інформації
4.1. Імовірнісна (класична) концепція теорії інформації
Класична теорія інформації Р. Хартлі та К. Шеннона базується на теорії ймовірностей (далі - імовірнісна ТІ). Кількість інформації для рівноймовірних завершень випробувань в цій теорії вимірюється як логарифм від кількості можливих варіантів (N) завершення випробування:
I = log2 N = log2 mn = n log2 m, (1)
де N - кількість можливих варіантів завершень випробування, тобто кількість можливих повідомлень; n - кількість розрядів у повідомленні (наприклад, 3); m - кількість символів в алфавіті (наприклад, два: 0 та 1).
Одиницею вимірювання кількості інформації служить біт.
Ця основна формула була вдосконалена К. Шенноном для випадку, коли завершення подій не є рівноймовірним: оскільки формула Р. Хартлі I = log N внаслідок звичайних математичних перетворень дорівнює
I = - log (1/N), де (1/N) є ймовірністю (p) завершення випробовування, то можна записати, що I = - log p. Якщо ж завершення подій нерівноймовірне, то для варіанту завершення i кількість інформації в ньому становитиме:
Ii = - pi log2 pi. (2)
Застосування цієї формули показує, що чим менша ймовірність завершення варіанту i певного випробування, тим більше інформації він несе.
Кількість інформації у всіх випробуваннях експерименту визначають як арифметичну суму по всіх завершеннях i.
Ця математична модель досконало працює для тих випадків, коли мова йде про кодування інформації, тобто при передачі інформації каналами зв'язку чи її зберіганні на носіях інформації. Проте вона зовсім не працює, коли йдеться про визначення кількості інформації в об'єктах, позначених цими кодами. Покажемо це на прикладах.
Приклад. Визначаючи кількість інформації в літері Р, ця теорія зовсім не аналізує, що ця літера, по-перше, складається з двох компонентів: прямої лінії та півкола; по-друге, пряма та півколо з'єднані між собою; по-третє, товщина лінії, яка утворює півколо, в різних точках є різною; по-четверте, пряма лінія нахилена під певним кутом тощо.
Приклад. Вимірюючи кількість інформації у слові мама, ця теорія визначає лише кількість інформації в літерах цього слова, тобто Iмама = (-pм log pм) + (-pа log pа) + (-pа log pа) + (-pм log pм), проте зовсім не визначає, скільки інформації міститься в значенні цього слова (мама - людина, мама - жінка, мама - має двоє очей, ніг, рук і т. д., а конкретна моя мама має ще й певний вираз обличчя, колір очей, ріст, вагу тощо). Зрозуміло, що семантична інформація (що таке мама), тут повністю проігнорована, так само, як інші види інформації, що є в текстах - синтаксична, стилістична, граматична тощо .
Приклад. Візьмемо дві сторінки газети. На
Loading...

 
 

Цікаве