Теория информации

Тогда средняя длина кода двухбуквенного блока будет равна: 29 .1 2  n бит, а на одну букву будет приходиться 645 .0 1  n бит. Избыточность в этом случае будет составлять уже только около 17%. Если мы возьмем сочетания из трех букв, то получим еще лучший результат и т.д. Увеличивая длину блоков можно как угодно близко приблизиться к оптимальному значению энтропии. 1.3.9.Источник без памяти. Теоремы о кодировании источника без памяти Определение. Дискретный источник, в котором вероятность выбора элементарного символа не зависит от того, какие символы выбирались ранее, называется источником без памяти . Для источником без памяти , имеющего алфавит А ( а 1 , а 2 , … а k ) объемом K , существует постоянная вероятность р ( а i ) выбора а i символа. Причем сумма вероятностей выбора всех символов: ; ; . Теорема кодирования источника без памяти . Пусть - это ансамбль символов дискретного источника без памяти с конечной энтропией . Блоки из символов источника кодируются в двоичные кодовые слова длиной . Для любого вероятность ошибки декодирования можно сделать сколь угодно малой, если: (1.32) где достаточно велико.