Теория информации

m n j i y x y x y x y x 2 2 1 1 Рис.1.2. Передача информации по каналу связи при воздействии помех ) / ( i j x yH выражает неопределенность того что, отправив x i , мы получим y j , а понятие ) / ( j i y xH  неуверенность, которая остается после получения y j в том, что было отправлено именно x i . Если в канале связи помехи отсутствуют, то всегда посланному символу x 1 соответствует принятый символ y 1 , x 2  y 2 , . . . , x n  y n . При этом энтропия источника H ( X ) равна энтропии приемника H ( Y ). Если в канале связи присутствуют помехи, то они уничтожают часть передаваемой информации. Для вычисления энтропии совместного появления статистически зависимых сообщений используется понятие энтропии объединения. Энтропия объединения представляет собой сумму вида:     m j j i j i n i yxp yxp YX H 1 2 1 ) , ( log ) , ( ) , ( (1.7) Энтропия объединения и условная энтропия связаны между собой следующими соотношениями: H(X,Y) = H(X) + H(X/Y) = H(Y) + H(X/Y) (1.8) В случае если X и Y между собой независимы, то условная энтропия равняется безусловной H(Y/X)=H(Y) и H(X,Y)=H(X)+H(Y). В общем случае энтропия объединенной системы H(X,Y)≤ H(X)+H(Y),