Теория информации

Оглавление Введение в теорию информации и кодирование ………………...….……. 1. Основы теории информации и кодирования……………….…….….….. 1.1. Информационные характеристики случайных систем…….......... 1.1.1. Количество информации о системе …………….….........…. 1.1.2.Энтропия как мера неопределенности физической системы. 1.1.2.1. Энтропия сложной системы………………………….. 1.1.2.2. Количественные аспекты информации по Хартли… 1.1.2.3. Количественные аспекты информации по Шеннону. 1.1.2.4. Количество информации, как мера снятой неопределенности………………………………. .. ..… ………… 1.1.2.5. Объем информации………………..……….…..……. 1.1.2.6. Взаимная информация…………………………..……. 1.1.3. Энтропия непрерывной случайной величины Х. Дискретная случайная система. Источник информации ……..……. 1.1.3.1.Количество информации для непрерывных систем… 1.1.3.2. Принцип экстремума энтропии и экстремальные распределения………………………………….……... 1.2.Информационные характеристики каналов связи………….…….. 1.2.1. Модель канала связи…………………...….………………….. 1.2.2. Источники сообщений ………………………...…..……….... 1.2.3. Избыточность информации ………………...….….……….... 1.2.4. Передача информации по каналу связи. Пропускная способность канала связи..…………………………….……........ 1.3. Кодирование информации………………..……….………….….... 1.3.1.Основные определения……..…………………...………….... 4 5 5 8 10 15 21 22 23 25 27 33 35 36 42 42 42 44 45 54 54 63 65 68