Теория информации

информации содержится в сообщении. Поэтому количество информации о системе X измеряют уменьшением энтропии: I ( X ) = H 1 ( X ) – H 2 ( X ), где H 1 ( X ) – энтропия системы до наблюдения, H 2 ( X ) – энтропия в результате наблюдения. Если в результате наблюдения неопределенность исчезает, т.е. H 2 ( X ) = 0, то количество информации будет равно исходной энтропии системы: I ( X ) = H 1 ( X ), т.е. количество информации, приобретаемое при полном выяснении состояния некоторой системы, равно энтропии этой системы. Определение количества информации . Степень уменьшения неопределенности в результате передачи сообщения называется количеством информации. В общем случае формула степени неопределенности (энтропии) имеет вид: H=log 2 n , где n число возможных состояний системы. При полном снятии неопределенности количество полученной информации будет равняться энтропии : I=H. В словесном выражении формула звучит так: количество сведений минимально необходимых для устранения неопределенности равно двоичному логарифму числа возможных выборов. Например , если число выборов составляет n, то это равносильно информации даваемой k ответами типа “да” или “нет” на вопросы поставленные так, что “да” и “нет” одинаково вероятны: k=log 2 n. Сообщение, которое требуется передать, можно представить в виде последовательности символов некоторого первичного алфавита. В свою