Вероятностный подход

Урок 4. Измерение информации: содержательный (вероятностный) подход

Информацию, которую получает человек можно считать мерой уменьшения неопределённости знания, а сообщение, приводящее к уменьшению неопределённости - содержащим информацию.

Подход к информации как к мере уменьшения неопределённости знания позволяет измерить количество информации.

Пример: Если бросить монетку, то с равной вероятностью произойдёт одно из двух событий: «орёл» или «решка».

Сообщение о положении монетки в определённый момент времени уменьшает неопределённость нашего знания в два раза.

При бросании шестигранного игрального кубика может произойти 6 равновероятных событий.

За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределённость знания в два раза. Такая единица называется бит.

Если вернуться к опыту с бросанием монеты, то здесь неопределённость как раз уменьшается в два раза (из двух возможных событий реализуется одно) и, следовательно, полученное количество информации равно 1 биту.

Существует формула, которая связывает между собой количество возможных равновероятных событий N и количество информации i (формула Хартли):

ПРИМЕР, Если мы получили 4 бита информации, то количество возможных событий составляет N=2^4 = 16.

Наоборот, для определения количества информации , если известно количество событий, необходимо решить уравнение относительно i.

i=log2N

Например, в игре «Крестики-нолики» на поле 8*8 перед первым ходом существует 64 возможных события Уравнение принимает вид 64=2^i . Так как 64=2^6, то 2^6 =2 ^i , значит i=6 бит.

Задача 1. При угадывании целого числа в диапазоне от 1 до N было получено 6 бит информации. Чему равно N?

Решение: значение N определяется из формулы N=2^i. После подстановки i=6, получаем N=2^6 =64.

Ответ: диапазон чисел от 1 до 64.

Задача 2. В корзине лежит 16 шаров разного цвета. Сколько информации несёт сообщение о том, что из корзины достали красный шар?

Решение: Вытаскивание любого шара - события равновероятные. Поэтому применима формула 2^i =N. Здесь N=16 - число шаров. Решая уравнение 2^i =16, получаем ответ: i=4 бита.

Ответ: сообщение несет 4 бита.

Дополнительно. Формулу для вычисления количества информации, учиты\вающую неодинаковую вероятность событий предложил К.Шеннон в 1948 году.

Пример: Сережа - лучший ученик в классе. вероятность того, что за контрольную по математике он получит "5" больше, чем вероятность получения двойки. Изучим успеваемость Сережи за год. пусть он получил 100 оценок, из них 60 пятерок, 30 четверок, 8 троек, и 2 двойки. Вычисляем вероятность: для получения пятерок р5=60/100=0,6. для четверок p4=30/100=0,3; p3=8/100=0,08; p2=2/100=0,02.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так:

чем меньше вероятность события некоторого события , тем больше информации содержит сообщение об этом событии.

По формуле Шеннона количественная зависимость между вероятностью р и количеством информации x равна

x = LOG2(1/p).

Тогда количество информации о получении пятерки: х = LOG2(1/0,6) = 0,74, а двойки - x=LOG2(1/0,02)=5,64.