Теория информации

Пример 1.5. Пусть даны две системы X и Y : X = bbcabaabacabbacbbaccbbaccbbddadadad , Y = ccabacabbacbbaccabcabbaccbbddadadab , состояния которых определяются символами алфавита A = { a , b , c , d }. Найти: 1. вероятности состояний систем X и Y ; 2. энтропии независимых систем X и Y ; 4. энтропию объединения независимых систем X и Y ; Решение. 1. Для определения вероятности каждого состояния систем X и Y найдем его частоту и разделим на общее число наблюдений (при этом результаты округляем так, чтобы сумма вероятностей была равна 1): Состояние a b c d Всего Число наблюдений для системы X 11 12 7 5 35 Число наблюдений для системы Y 11 11 9 4 35 Вероятность для системы X 0.314 0.343 0.2 0.143 1 Вероятность для системы Y 0.314 0.314 0.257 0.115 1 2. Энтропии независимых систем находим по формуле К.Шеннона: 919 .1 ) ( log) ( ) ( 1 2     n i i i xp xp XH , 912 .1 ) ( log) ( )( 1 2      m j j j yp yp YH . 3. Энтропия объединения независимых систем равна: H ( X , Y ) = H ( X ) + H ( Y ) = 3.831. Правило вычисления условной энтропии. Пусть имеются две зависимые системы (или два множества сообщений) X и Y . Обозначим условную вероятность ) / ( i j x yp того, что система Y примет состояние y j при условии, что система X приняла x i .