Теория информации

Понятие. Блочное кодирование позволяет закодировать алфавитное сообщение с помощью двух буквенных сочетаний (трехбуквенных и т.д.). Способом добиться наименьшей средней длины кода на один символ является блочное кодирование. При блочном кодировании коды присваиваются не отдельным символам сообщений, а их сочетаниям. При увеличении числа символов в сочетании средняя длина кода на один символ приближается к энтропии. Пример 1.30. Пусть имеются две буквы алфавита A и B. 1) Как возможно закодировать данные буквы, видимо только по одному символу: A 0.9 0 B 0.1 1 2) Средняя длина будет равна 1 биту: k      1 09 1 01 1 . . (бит/буква). 3) А энтропия равна: 47 ,0 1,0 log 1,09,0 log 9,0       H . 4) То есть, избыточность составляет 53%. Как же быть? 5) Попробуем закодировать двухбуквенные сочетания. В этом случае уже можно воспользоваться эффективным кодированием: AA 0.81 0 ------ ------ 0 AB 0.09 0 ------ 10 BA 0.09 1 1 0 110 BB 0.01 1 111 6) Тогда средняя длина на блок из двух букв будет 29 ,1 2  б k . 7) А на одну букву k =0.645 бит/буква.