Теория информации

если произвести замену a p k  1 , то получим следующую формулу: 0, 1 log 1 lim ) a a log ( a lim    e a то есть слагаемое обращается в нуль, когда p k =0. Если p k =1, то log p k =0 и слагаемое также равно нулю:  p k log p k =0. Максимальное значение определим из условия: ,0 e log - p log - )p log (-p k k k     k dp d H k  log p k e =0. Отсюда: p k  e =1; 0,36. e 1 p k   Подставим в H k : 0,531 e log e 1 e 1 log e 1 H k     Максимальное значение равно 0,531. 2. Энтропия минимальна и равна нулю, если хотя бы одно из состояний системы достоверно известно : H = H min = 0, т.е. вероятность одного из состояний равна 1 . Пусть система имеет три состояния, и вероятности этих состояний будут равны: p 1 = p 2 = 0, p 1 = 1. Тогда: 01 log10 log00 log0 3 log 3 2 log 2 1 log 1 1 log           p p p p p p n i i p i p H .