Основы проектирования измерительных приборов и измерительно - вычислительных систем

46 Средним количеством информации относительно измеренного зна - чения y , заключенного в измеряемом процессе x , называется величина 1 1 ( , ) ( , ) ( , )log . ( ) ( ) n m i k i k i k i k P x y J x y P x y P x P y = =   =     ∑∑ (1.26) Отсюда следует , что среднее количество информации положитель - но или равно нулю , т . е . J ( x , y ) ≥ 0. Случай J ( x , y ) = 0 будет при P ( x i , y k ) = P ( x i ) P ( y k ), т . е . для независи - мых величин x и y . Но это будет тогда , когда погрешность измерения рав - на самой измеряемой величине . Если x = y ( погрешности отсутствуют ), то J ( x , x ) = J ( y , y ) = ∞ . (1.27) Следовательно , 0 ≤ J ( x , y ) ≤ ∞ . В случае непрерывных процессов , описываемых векторами x ( x 1 , x 2 , … , x n ) и y ( y 1 , y 2 , … , y n ), количество информации процесса x , изме - ряемого прибором с выходом y , определяется по формуле J ( x , y ) = ∫∫ p ( x , y )log 2 [ P ( x , y ) / p ( x ) p ( y ) ] dxdy , (1.28) где p ( x ), p ( y ), p ( x , y ) – плотности распределения вероятностей . Если воспользоваться тем , что p ( x , y ) = p y ( x ) p ( y ) = p ( x ) p x ( y ), то выражению (1.27) можно придать вид : J ( x , y ) = H ( x ) – M y [ H y ( x ) ] = H ( y ) – M x [ H x ( y ) ] , (1.29) где M x , M y – знаки математического ожидания ; H x , H y – меры неопреде - ленности сигналов x и y , называемые энтропией , которые связаны с плот - ностями распределения вероятностей соотношениями 2 ( ) ( , ) log ( , ) , H x p x t p x t dx ∞ −∞ = − ∫ 2 ( ) ( , )log ( , ) H y p y t p y t dy ∞ −∞ = − ∫ . При получении измерительной информации энтропия уменьшает - ся , поэтому энтропию можно трактовать как недостаточную информацию (1.30)