Конспект лекций по информатике и информационным технологиям

19 Если конечная неопределенность //^(<2) обратится в нуль, то первоначальное не­ полное знание заменится полным знанием и количество информации /^(<2) =//(<2). Иными словами, энтропия системы Н{(х) может рассматриваться как мера недостающей информации. Энтропия системы //(а), имеющая N возможных состояний, согласно формуле Шеннона, равна: N Н{а)р-Y,Pi\o?,Pi. /=1 где Pi - вероятность того, что система находится в i-м состоянии. Часто данные кодируются числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и тоже количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения N = m\ где N- число всевозможных отображаемых состояний; т- основание системы счисления (разнообразие символов алфавита); п- число разрядов (символов) в сообщении. Пример 2.4. По каналу связи передается и-разрядное сообщение, использующее т различных символов. Так как количество всевозможных кодовых комбинаций будет N =тп", то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет / =log N =п log т — формула Хартли. Если в качестве основания логарифма принять т, то 1=п. В данном случае количество информации (при условии полного априорного не­ знания абонентом содержания сообщения) будет равно объему данных 1 = V^, получен­ ных по каналу связи. Для не равновероятных состояний системы всегда I <V^ =п. Наиболее часто используются двоичные и десятичные логарифмы. Единицами из­ мерения в этих случаях будут соответственно бит и дит. Коэффициент (степень) информативности (лаконичность) сообщения определя­ ется отношением количества информации к объему данных, т.е. Y= — , причем 0<7<1. С увеличением F уменьшаются работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации. Семантическая мера информации. Для измерения смыслового содержания ин­ формации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способно­ стью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя. Тезаурус- это совокупность сведений, которыми располагает пользователь или система. В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sp изменяется количество семантической информации 1с вос­ принимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Максимальное количество семантической информации 1с потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp, когда поступаю­ щая информация понятна пользователю и несет ему ранее не известные (отсутствующие