Теория информации

3) Вычислим энтропию (меру неопределенности): ( бит/симв ) 4) Вычисляем среднюю длину полученного кода. Так как: = количество кода * вероятность , то есть: . 5) Недопустимо, чтобы было меньше Н . Чем и чем ближе по значению к Н тем лучше. 7) Вычислим избыточность (%): ( )100%. 8) Вычислим эффективность полученного кода: . Шаги 3), 4), 5), 6) вычисляются, как и в алгоритме Шеннона-Фано, аналогично. Как видим, этапы вычисления кода после второго сдвинулись на один уровень выше. Пример 1.29. Закодируйте кодами Шеннона-Фано и Хаффмана: алфавит, состоящий из пяти букв: а1, а2, а3, а4, а5, вероятности появления которых Р = 0,4; 0,3; 0,15; 0,1; 0,05. Решение. 1)Построим код Шеннона-Фано: Буква Р Разряды Код 1 2 3 4 а1 0,4 0 - - - 0 а2 0,3 1 0 - - 10 а3 0,15 1 0 - 110 а4 0,1 1 0 1110 а5 0,05 1 1111 2)Определим, какова эффективность полученного кода. Для этого подсчитаем среднее число символов, приходящихся на букву: