Теория информации

Определим условную частную энтропию системы Y относительно отдельного события x i . При этом должны быть известны условные вероятности ) / ( i j x y p .                      ) / ( ) / ( ) / ( ) / ( ) / ( ) / ( ) / ( / ( ) / ( 2 1 2 2 2 2 1 1 1 2 1 1 n m n n m m x yp x yp xyp x yp x yp xyp x y p x y p xyp Тогда частная условная энтропия будет равна:    m j i j i j i x yp x yp x Y H 1 ) / ( log ) / ( ) / ( Частную условную энтропию можно выразить через математическое ожидание: )] / ( log [ ) / ( i i xYp M xYH   Чтобы полностью охарактеризовать энтропию системы, нужно определить полную или среднюю энтропию. Если частную, условную энтропию усреднить по всем состояниям x i с учетом вероятности появления каждого из состояний p(x i ) , то найдем полную условную энтропию сообщений Y относительно X .    n i i i xYHxp XYH 1 ) / ( ) ( ) / (      m j i j i j i n i x yp x ypxp YXH 1 2 1 ) / ( log ) / ( ) ( ) / (     m j i j j i n i x yp yxp YXH 1 2 1 ) / ( log ) , ( ) / ( (1.6) Понятие условной энтропии широко используется для определения информационных потерь при передаче информации. Пусть по каналу связи передаются сообщения с помощью алфавита Х . В результате воздействия помех приемником будет восприниматься другой алфавит Y (см. рис. 1.2).