Теория информации

Теорема 2. Средняя длина кода k меньшая, чем H D log является недостижимой ни при каком кодировании. Доказательство: k H D  log Докажем, что:   доказать. ь требовалос и что ,0 log находим 1 что Учитывая, ,0 1 2ln 1 1 2ln 1 log обозначим , 2ln 1 log , 1 ln ,1 ln о неравенств очевидное Используем 0 log log log 0 log 1 1                                                  HD k D D P D M P D M P D x x x x x x x P D M P D kM HD k n i k n i k i k i k i k i k i i j j j j j j Теорема 3. Можно указать такой способ кодирования равно распределенных независимых сообщений, что средняя длина кода будет удовлетворять следующим требованиям: k H D   log 1 Доказательство. H D k H D log log    1 Пусть D=2, M=20. В этом диапазоне заведомо имеется одно целое число: H k H k k k          1 20 20 1 4 32 5 32 5 log log . .