Конспект лекций по информатике и информационным технологиям

18 Объем данных V Меры информации С емантиче екая мера Прагматическая мера Синтаксическая мера КопичестЕО информации где С -коэффициент содержательности КопичестЕО информации 1^{а)= H{d) -Н^{а) где Н(о(,) - энтропия Рис.2.1. Меры информации Синтаксическая мера информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. Объем данных Уд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответ­ ственно меняется единица измерения данных: • в двоичной системе счисления единица измерения - бит (bit - binary digit - двоичный разряд). В современных ЭВМ наряду с минимальной единицей измерения данных «бит» широко используется укрупненные единицы измерения байт - 2^ бит, слово - 2"^ бит, двойное слово 2^ бит, килобайт - 2^^ байт; мегабайт - 2^^ килобайт, гигабайт - 2^^ мегабайт; • в десятичной системе счисления единица измерения - дит (десятичный разряд). Пример 2.3. Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных Уд = 8 бит. Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объ­ ем данных Уд= 6 дит. Количество информации I на синтаксическом уровне определяется в связи с поня­ тием неопределенности состояния системы (энтропии системы). Считается что получение информации о какой-либо системе всегда связано с изменением степени неосведомленно­ сти получателя о состоянии этой системы. Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе а. Мерой его неосведомленности о системе является функция Ща), которая в то же время служит и мерой неопределенности состояния систе­ мы. После получения некоторого сообщения |3 получатель приобрел некоторую допол­ нительную информацию /^(<2), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения |3 неопределенность состояния системы стала Нр{а). Тогда количество информации Ipioc) о системе, полученной в сообщении |3, оп­ ределится как Iр{а)=Н{а)-Н т.е. мерой количества информации изменение (уменьшение) неопределенности состояния системы.