Теория информации

8. ЛАБОРАТОРНЫЙ ПРАКТИКУМ 8.1. Ииформадиовные характеристики дисжретаых случайных систем Порядок выполнения лабораторной работы 1. Ознакомиться с основными сведениями об информационных характе­ ристиках дискретных случайных систем. 2. Получить задание на вьтолнеше лабораторной работы. 3. Выполнить расчеты информационных характеристик дискретных слу­ чайных систем с помоищо программыMicrosoft Excel. 4. Haroicaib и отладить программы расчета информационных xapaicrepn- стик дискретных случайных систем на языке С++ в среде Microsoft Visual Studio. 5. Сделать выводы о свойствах информационных характеристик дискрет- ньк случайных систем. 6. Оформить отчет о вьшолнении лабораторно]! работы. 7. Ответить на котрольрше вопросы. Контрольные вопросы 1. Что такое энтропия дискретной случайной системы? 2. Каковы основные свойства энтропии? 3. Ко1-да энтропия приобретает максимальное (минимальное) значение? 4. Как выражается энтропия объединения двух независимых систем? 5. Как вьфажается эшрония объединения двух зависимых систем? 6. Как вьфажается количество информации? 7. В чем разница между объемом и количеством информации? 8. Как зависит количество информации от сообщения об отдельном собы­ тии от вероятрюсти этого событая? 9. Как определить взаимную информацию двух систем? 10. Как определяется полная взаимная информация в случаях полной неза­ висимости и полной зависимости систем? 11. Как определить взаимную информацию двух систем через энтропию объединения?