Новосибирский государственный университетФакультет информационных технологий |
А.М.Федотов |
Теория информации (математическая теория связи) — раздел радиотехники (теория обработки сигналов), информатики, прикладной математики, аксиоматически определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.
Термин «Теория информации» веден в употребление в первой половине двадцатого века с подачи Клода Шеннона. Он ввел этот термин в узком техническом смысле, применительно к теории связи или передачи кодов.
Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.
В рамках теории информации существуют энтропийный - вероятностный (Шенноновский) и алгоритмический (Колмогоровский) подходы.
Понятие количества информации совершенно естественно связывается с классическим
понятием статистической механики - понятием энтропии. Как количество информации
в системе есть мера организованности системы, точно также энтропия системы есть
мера дезорганизованности системы.
Н.Винер
"Не видно, почему теория информации должна столь существенно
основываться
на теории вероятностей, как это представляется по большинству руководств ...
Теория информации должна предшествовать теории вероятностей, а не опираться на
нее."
Колмогоров А.Н.
Факультативная:
Ключевые термины (головные): информация;
Федотов Анатолий Михайлович |
НГУ ФИТ НГУ ИВТ СО РАН |