Теория информации

1. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ И КОДИРОВАНИЯ 1.1. Информационные характеристики случайных систем Определение. В ероятность. На практике часто приходится сталкиваться с событиями (фактами), которые в результате наблюдения могут произойти или нет (или давать различные результаты). Примеры: бросание монеты ( герб или решка ), бросание игральной кости, попадание в цель при выстреле, появление туза при вынимании карты из колоды. При многократном повторении одного и того же опыта в одних и тех же условиях частота появления рассматриваемого результата остается все время примерно одинаковой. Например , при многократном бросаний игральной кости относительная частота выпадения каждого числа очков от 1 до 6 колеблется около одного и того же числа 1/6. Это постоянное число называют вероятностью « p» . Например : Монета: p ( орел ) = p ( решка ) = 1/2. Игральная кость: p ( x =1) = p ( x =2) = . . . = p ( x =6) = 1/6. Определение. Случайные события могут быть достоверными и невозможными. Например , если х – число очков 6, выпавшее на верхней грани игральной кости, то событие х =6 будет достоверным, а х > 6 – невозможным. Пример 1.1. Пусть в ящике (урне) 10 шаров (5 белых, 3 черных, 2 красных). Какова вероятность вынуть белый шар, черный, красный? Пример 1.2. Какова вероятность того, что при бросании игральной кости выпадет число очков, делящихся на 3? При этом частота случайного события n ( x ) не может быть ни отрицательным, ни большим, чем число n произведенных испытаний, т.е.: 0 ≤ n ( x )/ n ≤ 1 Тогда и вероятность случайного события будет в пределах 0 и 1: 0 ≤ p ( x ) ≤ 1