Теория информации

орел . Первая же монета неизвестно в каком находится состоянии, она с равной вероятностью может находиться или в состоянии орел или в состоянии решка . Таким образом, мы видим, что степень неопределенности определяется также и вероятностями состояний системы. В качестве меры априорной неопределенности теория информации предлагает энтропию. Правило. Энтропия по Шеннону равна сумме произведений вероятностей состояний системы на логарифмы этих вероятностей, взятых с обратным знаком:     n i i i xp xp X H 1 2 ) ( log ) ( ) ( , (1.1) где X = (x 1 , x 2 , … x i ,… x n ) – множество возможных состояний системы X , x 1 , x 2 , … x i ,…, x n – возможные состояния системы X , p ( x 1 ), ( x 1 ), …, p( x i ),…, p ( x n ) – вероятности состояний , n  число возможных состояний. При этом должно соблюдаться условие нормировки: 1 ) ( 1    n i i xp В формуле (1.1) основание логарифма может быть двоичным, десятичным или натуральным. Если используется двоичное основание, то оно может быть опущено. При двоичном основании энтропия измеряется в двоичных единицах или битах. Формула (1.1) может быть представлена и в следующем виде:         n 1i p 1 log ) log ( ) ( i i i p n 1i p p XH i - (1.2) Энтропия характеризует среднее значение и представляет собой математическое ожидание от  log p , то есть: H(X)=M [  log p(x) ] , где M – оператор математического ожидания.