Теория информации

       4 1 , 4 1 , 2 1 5 P , X 5 = { x 5 , x 1 , x 2 };        2 1 , 2 1 6 P , X 6 = { x 5 , x 6 };   1 7  P , X 7 = { x 7 }. 4. Присвоим двоичные коды символам: x 7 : x 5 = 0, x 6 = 1; x 6 : x 1 = 10, x 2 = 11; x 5 : x 3 = 00, x 4 = 01; x 4 : x 3 = 010, x 4 = 011; x 3 : x 1 = 000, x 2 = 001; x 2 : x 5 = 0010, x 6 = 0011; x 1 : x 7 = 0000, x 8 = 0001. Таким образом, получены следующие коды исходных символов: x 1 = 10, x 2 = 11, x 3 = 010, x 4 = 011, x 5 = 0010, x 6 = 0011, x 7 = 0000, x 8 = 0001. Средняя длина кода равна:              8 1 75.2 16 1 44 8 1 32 4 1 22 i i i pn n бит, что совпадает со средней длиной кода Шеннона-Фано и с энтропией. Пример 1.26. Разберем метод Хаффмана на ранее рассмотренном примере 1.23. Пусть дано: маша . 1) Закодируем в код буквы алфавита: {м, а, ш}. Вероятность ( P ): Pм =1/4, Pа =2/4, Pш =1/4. 2) Расположим буквы, на основании 1) в порядке убывания их вероятностей.