Теория информации

3. Энтропия максимальна и равна логарифму числа состояний , если состояния системы равновероятны: H=H max = log n (1.3) При n log log 1 0 1 log 1 ; n 1 ... 2 1 n n n n i n n H p p p n             4. Энтропия бинарных величин изменяется от 0 до 1. Пусть p 1 =p; p 2 =(1-p); Тогда H= - p  log p – (1-p)  log(1-p); При бит; 12 log 2 1 log 2 1 2 2 1 ; 2 1        H p p Энтропия равна нулю, когда вероятность одного из состояний равна нулю, затем возрастает и достигает максимума при p=0.5, то есть когда p 1 =p 2 =0.5. При этом неопределенность сообщений при приеме наибольшая. Основание логарифма может быть выражено в двоичных, десятичных или натуральных единицах. В случае оценки энтропии в двоичных единицах основание может быть опущено: n H(X) log  Вычисление энтропии можно упростить, если ввести специальную функцию: η(p)= p p log  , тогда: H(x)=Σ η(p). Для вычисления энтропии с помощью данной функции имеются специально составленная таблица (см. табл. 1.1).