Теория информации

ВВЕДЕНИЕ В ТЕОРИЮ ИНФОРМАЦИИ И КОДИРОВАНИЕ Предметом теории информации является изучение процессов передачи, хранения, преобразования и использования информации. Датой возникновения теории информации считается появление в 1948 г. работ Клода Шеннона «Математическая теория связи» и «Связь при наличии шума». Благодаря этим работам теория информации сразу представлена как стройное, логическое построение. После 1948г. теория информации стала объектом интенсивных исследований многих ученых. Что такое информация? В философском плане  информация есть отражение реального мира. В узком практическом плане  информация есть, сведения являющиеся объектом хранения, передачи и преобразования. Существует много слов близких к понятию информации: знания, показания, сведения. Информацией мы будем называть лишь те сведения, которые уменьшают неопределенность, существующую до их поступления. Само слово информация происходит от латинского «информировать» что в обычном смысле означает «сообщить нечто неизвестное раньше». Поэтому с теорией информации тесно связано понятие неопределенности. В теории информации рассматриваются любые события, в результате которых уменьшается, уничтожается, исчезает неопределенность. Теория информации тесно связана с теорией вероятностей, что следует из ниже приведенного определения. Определение информации . Сведения, являющиеся объектом хранения, передачи и преобразования, называются информацией . Мера измерения количества информации основана на понятии энтропии . Вводимые в определении новые понятия такие, как энтропия, количество информации и др. будут рассмотрены в данной главе.