Теория информации

Определение. Цифровая обработка информации использует фиксированный, строго определенный набор знаков. Цифровые отображения текста, изображений, звука, видео хранятся в памяти компьютера, а также передаются с помощью сигналов между устройствами компьютера, от компьютера к компьютеру (по локальной сети или через глобальную сеть Интернет), от устройства к компьютеру (от модема, со сканера, цифровой фото- и видеокамеры), от компьютера к устройству (принтеру, модему, монитору). Формы представления информации различны: компьютерные программы и документы в цифровых кодах, символах, массивах чисел, записанные на различных носителях данных. Данные даются не в непрерывно меняющихся значениях, а в дискретных, которые можно описать цифрами, например, 0 и 1. Вычислительные машины, использующие цифровую форму представления данных, называются цифровыми. В основе работы цифровой ЭВМ лежит двоичная система счисления. Любому, дискретному сообщению можно приписать какой  либо порядковый номер – его код. Передача или хранение сообщений при этом сводится к передаче или хранению чисел – его кода. Очевидно, что для восстановления по кодам сообщений они должны быть однозначно декодируемыми (разделимыми). Таким свойством обладают префиксные коды, их подробнее рассмотрим в этом разделе. Числа можно выразить в какой  либо системе счисления. Обычно используется двоичная система счисления, так как с технической точки зрения, чем меньше видов сигналов, тем лучше. Поэтому для электронного вычислительного устройства эффективнее и удобнее двоичная система кодирования — представление чисел по основанию 2, при котором значения выражаются комбинациями 0 и 1. Простота совершаемых операций и возможность осуществлять автоматическую обработку информации, реализуя только два знака, дают преимущества, существенно превышающие