Теория информации

ОГЛАВЛЕНИЕ Введение 5 1. ЭЛЕМЕНТЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ 7 1.1. Основные понятия и определения теории вероятностей 7 1.2. Основные теоремы теории вероятностей 8 1.3. Случайные величины и их распределения 9 1.4. Числовые характеристики случайной величины 11 1.5. Законы распределения непрерьшных случайных величин 12 2. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТШШ СЛУЧАЙНЫХ СИСТЕМ 14 2.1. Энтропия 14 2.2. Энтропия сложной системы 17 2.3. Этропия и информация 19 2.4. Количество информации 20 2.5. Взаимная информация 21 2.6. Информахдионные характеристики непрерывных случайных систем 23 3. ПЕРЕДАЧА ИНФОРМАЦИИ ПО КАНАЛАМ СВЯЗИ 26 3.1. Источники сообщений 26 3.2. Избыточность информации 28 3.3. Пропускная способность канала связи 28 3.4. Пропускная способность непрерывных каналов связи 32 4. КОДИРОВАНИЕ ИНФОРМАЦИИ 36 4.1. Основные понятия 36 4.2. Основные теоремы кодирования 38 4.3. Оптимальное кодирование 42 5. СЖАТИЕ ИНФОРМАЦИИ 47 5.1. Основные понятия 47 5.2. Сжатие по Хаффмену 48 5.3. Арифметическое кодирование 51 5.4. Словарные методы 53 3