Теория информации

Среднее кол-во разрядов:            6 1 45 .2 )05.0 10.0(4 15.03 20.0 2 25 ,02 2 i i i Pk k Энтропия:      6 1 425 .2 log i i i P P H Как мы видим, величина среднего кол-ва разрядов получилась достаточно близкой к энтропии, следовательно, код можно считать эффективным. При этом для сравнения можно вычислить величину K для равномерного кода:   3 6 log 2   p K . Алгоритм оптимального кодирования Хаффмана: 1 шаг) Все символы алфавита упорядочиваются в порядке убывания их вероятностей появления. 2 шаг) Проводится «укрупнение» символов.