Теория информации

       16 1 , 16 1 , 16 1 , 16 1 , 8 1 , 8 1 , 4 1 , 4 1 P . В результате кодирования по методу Шеннона-Фано символов алфавита X будут получены коды из таблицы 1.4. Таблица 1.4 Кодирование Шеннона-Фано X P Коды x 1 1/4 0 0 ----- ----- 00 x 2 1/4 1 ----- ----- 01 x 3 , 1/8 0 0 ----- 100 x 4 1/8 1 ------ 101 x 5 1/16 1 0 0 1100 x 6 1/16 1 1 1101 x 7 1/16 1 0 1110 x 8 1/16 1 1111 4) Средняя длина кода из таблицы 1.4 будет равна              8 1 75.2 16 1 44 8 1 32 4 1 22 i i i pn n бит, 5) что совпадает со значением энтропии: 75.2 16 1 log 16 1 4 8 1 log 8 1 2 4 1 log 4 1 2 log ) ( 2 2 2 8 1 2          i i i p p XH бит. Итак , получили оптимальный код: длина этого кода совпала с энтропией; данный код оказался удачным, так как величины вероятностей точно делились на равновероятные группы. Пример 1.23. Рассмотрим данный метод на конкретном примере. Пусть дано: маша . 1)Закодируем в код Шеннона-Фано буквы алфавита: {м, а, ш}. Вероятность ( P ):