Теория информации

бит 05,2 05,041,04 15,033,024,01 pk k 4 1i i i c             3) Энтропия: бит 01 ,2 p log p H 4 1i i i     4)Таким образом, средняя длина получилась достаточно близкой к предельному значению. Длина кода при равномерном кодировании k = 3 бита. Код Шеннона-Фано по сравнению с равномерным кодированием позволил сократить среднюю длину кодовых комбинаций для данного примера на 31,6%: D = 1 - 2,05 / 3 = 0,316 а1 0,4 1 а2 0,3 а3 0,15 а4 0,1 а5 0,05 1 1 1 0,15 0 0 0 0 0,3 0,6 0,1 а1 0 а2 11 а3 101 а4 1001 а5 1000 Рис.1.9. Построение кода Хаффмана. Средняя длина кода k c = 2,05 бит совпала с длиной, полученной по методике Шеннона-Фано. 1.3.8. Блочное кодирование Блочное кодирование, которое можно применить как к методу Хаффмана, так и к методу Шеннона-Фано.