Теория информации

трехбуквенных и т.д., n буквенных сочетаний. То в данном примере кодирование сообщения будет осуществляться в двухбуквенном формате: 1) Пусть имеется сообщение « маша» . Данное сообщение состоит из 3-х букв. Поэтому двухбуквенных комбинаций будет: . 2) Рассчитываем вероятности двухбуквенных комбинаций. 3) Кодирование двухбуквенных сочетаний в порядке убывания: 0 0 - - 00 1 0 - 010 1 - 011 1 0 0 - 100 1 - 101 1 0 0 1100 1 1101 1 0 1110 1 1111 4) Средняя длина будет равна(на одну букву): = количество кода * вероятность буквы , то есть 5) Энтропия (по одной букве):