Новосибирский государственный университет Факультет информационных технологий

А.М.Федотов

Словарь-справочник по информатике (онтология информатики)

Теория информации (техническая)

Теория информации (математическая теория связи) — раздел радиотехники (теория обработки сигналов), информатики, прикладной математики, аксиоматически определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Термин «Теория информации» веден в употребление в первой половине двадцатого века с подачи Клода Шеннона. Он ввел этот термин в узком техническом смысле, применительно к теории связи или передачи кодов.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

В рамках теории информации существуют энтропийный - вероятностный (Шенноновский) и алгоритмический (Колмогоровский) подходы.

Понятие количества информации совершенно естественно связывается с классическим понятием статистической механики - понятием энтропии. Как количество информации в системе есть мера организованности системы, точно также энтропия системы есть мера дезорганизованности системы.
Н.Винер

"Не видно, почему теория информации должна столь существенно основываться на теории вероятностей, как это представляется по большинству руководств ... Теория информации должна предшествовать теории вероятностей, а не опираться на нее."
Колмогоров А.Н.

Ключевые термины, связанные с термином "Теория информации":

1. Энтропия

Литература

Факультативная:

1. Колмогоров А.Н. Предисловие к русскому изданию книги У. Росс Эшби «Введение в кибернетику» / А.Н. Колмогоров // Очерки истории информатики / Редакторы-составители Д.А. Поспелов, Я.И. Фет. - Новосибирск: Научно- издательский центр ОИГГМ СО РАН, 1998.
2. Пирс Дж. Символы, сигналы, шумы. Закономерности и процессы передачи информации // М.: "Мир", 1967. - 337 с.

Ссылки на персон:

1. Винер Норберт
2. Колмогоров Андрей Николаевич
3. Пирс Джон Робинсон
4. Фано Роберт Марио
5. Хэмминг Ричард Уэсли
6. Шеннон Клод Эльвуд

Ключевые термины (головные):  информация;

Контекстный поиск: Задайте образец для поиска:

Федотов Анатолий Михайлович

НГУ ФИТ НГУ ИВТ СО РАН