Теория информации

Недопустимо, чтобы было меньше Н . Чем и чем ближе по значению к Н тем лучше. 6) Средняя длина на блок из двух букв будет: По такому же принципу рассчитывается алфавитное сообщение по методу Хаффмана с использованием блочного кодирования. Пример 1.32 . Пусть имеются две буквы алфавита – A и B , с вероятностями появления 0.9 и 0.1 соответственно. Закодировать их можно, присвоив 0 одному символу и 1 – другому: A = 0, B = 1. Средняя длина кода в этом случае будет равна 1 биту: 1 1.0 19.01      n , тогда как энтропия равна: 47.0 1.0 log 1.09.0 log 9.0 ) ( 2 2       X H бит. Избыточность составляет около 53%. Если же закодировать двухбуквенные сочетания X i X j , X i , X j  { A , B } с вероятностями p ( X i X j ) = p i p j , то по методу Шеннона-Фано можно получить коды, представленные в таблице 1.7. Таблица 1.7 Блочное кодирование Шеннона-Фано X i X j p i p j Шаг Код 1 2 3 AA 0.81 0   0 AB 0.09 0  10 BA 0.09 1 1 0 110 BB 0.01 1 111