Теория информации

очередь, при передаче этих символов они могут быть закодированы с помощью символов некоторого вторичного алфавита. Поэтому следует различать количество информации, которое вычисляется относительно первичного алфавита, и объем информации, который вычисляется относительно вторичного алфавита. 1.1.2. Энтропия как мера неопределенности физической системы Для измерения количества информации о некоторой дискретной случайной системе Х используется энтропия, которая показывает степень неопределенности состояния этой системы. Понятие энтропия - это мера степени неопределенности состоянии системы Х (случайной величины) с конечным или счетным числом исходов. Что означает неопределенность и как ее измерить? Пример 1.4. Пусть имеются две системы: первая система – игральная кость (имеет 6 состояний), вторая система – монета (имеет 2 состояния). Спрашивается: состояние какой системы труднее предугадать (неопределенность какой системы больше)? Естественно неопределенность первой системы выше. Значит, степень неопределенности системы зависит от числа возможных ее состояний . Однако число состояний не является исчерпывающей характеристикой степени неопределенности. Покажем это на примере для систем с двумя устойчивыми состояниями . Пусть имеются 2 монеты М 1 и М 2 (у монеты имеется два возможных состояния: орёл 0 и решка Р): М 1 0 Р М 2 0 Р Р i 0,5 0,5 Р i 0,999 0,001 Р i – вероятности нахождения монет в состоянии орел или решка. Нетрудно заметить, что неопределённость этих двух систем будет различной. Неопределенность первой системы больше, так как из таблицы видно, что вторая монета практически постоянно находится в состоянии