Теория информации

Pм =1/4, Pа =2/4, Pш =1/4. 2) Вычислим энтропию (меру неопределенности): = 1,5(бит/симв) 3) Записываем буквы алфавита в порядке убывания их вероятностей. Таблица 1.5 P 1 шаг 2 шаг Коды а 0 - 0 м 1 0 10 ш 1 11 4) Вычисляем среднюю длину полученного кода. Так как: = количество кода * вероятность , то есть 5) Недопустимо, чтобы было меньше Н . Чем и чем ближе по значению к Н тем лучше. 6) Вычислим избыточность (%): ( )100%. 7) Вычислим эффективность полученного кода: Тот метод лучше, где избыточность меньше. Определение. Методы алфавитного кодирования служат для кодирования алфавита. К методам алфавитного кодирования относят коды: Шеннона-Фано, Хаффмана. Определение. Код Хаффмана, также как и Шеннона-Фано является префиксным , то есть в таком коде ни одна комбинация не совпадет с началом более длиной комбинации, что позволяет облегчить однозначное декодирование (без введения раздельных символов).