Теория информации

Рассмотрим ситуацию для случая независимых систем . Ее поведение определяется матрицей вероятностей совместных событий: P ( X , Y ) = [ p ( x i , y j )] n  m =[ p ij ] n  m . Для этого необходимо определить вероятности совместных событий: p ij = p(x i , y j ). nm n n ij m m j i p p p p p p p p p p yxp ... ... ... ... ... ... ) , ( 2 1 2 22 21 1 12 11  При этом данная матрица обладает свойствами: ) ( ) , ( i j j i xp yxp   ,   i j j i yp yxp ) ( ) , ( ,     i j j i y p x p 1 ) ( ) ( После того, как станут, известны все вероятности, нетрудно вычислить энтропию. Энтропия сложной системы вычисляется по формуле: ] , ( log [ ) , ( log) , ( ) , ( 2 1 1 2 j i n i m j j i j i yxp M yx p yxp YX H        (1.4) Правило сложения энтропии независимых систем. Пусть системы X и Y независимы, то есть принимают свои состояния независимо одна от другой, тогда по теореме умножения вероятностей (для независимых случайных величин): )( ) ( ) ,( y p x p y x p  )( log )( log ) ,( log yp xp yxp   Далее возьмем математическое ожидание от левой и правой части: )] ( log [ )] ( log [ )] ,( log( [ y p M xp M y xp M      Отсюда: ) ( ) ( ) , ( Y H X H YX H   (1.5) Таким образом, при объединении независимых систем их энтропии складываются. При объединении n независимых систем n X XX ,..., , 2 1 :    n i i n X X XX H 1 2 1 ) ,..., , (