Теория информации и кодирования

Описание: Дисциплина является одной из основных профилирующих дисциплин и включает изучение следующих вопросов: Понятие информации, энтропии. Сжатие информации. Дискретные каналы и их свойства. Скорость передачи информации в канале. Пропускная способность канала. Прямая теорема кодирования Шеннона для канала без памяти. Обращение теоремы кодирования Шеннона. Помехоустойчивого кодирования.

Количество кредитов: 6

Пререквизиты:

• Информационно-коммуникационные технологии

Трудоемкость дисциплины:

Компонент: Компонент по выбору

Цикл: Профилирующие дисциплины

Цель

• В курсе изучаются основные модели дискретных источников информации и дискретных каналов, определяется понятие энтропии, рассматриваются основные теоремы для дискретных источников и каналов, изучаются вопросы сжатия информации, рассматриваются основные помехоустойчивые коды

Задача

• ознакомление студентов с основными процессами, происходящими при преобразовании сообщений в сигнал и их передаче по каналам и линиям связи
• освоение студентами общих вопросов построения систем сбора, передачи и обработки информации

Результат обучения: знание и понимание

• студент должен знать и понимать как измеряется информация, законы изменения количества информации при ее преобразовании, какие средства существуют для борьбы с помехами, как устроены алгоритмы сжатия информации
• основные фазы и принципы его применения при разработке вычислительной техники и программного обеспечения

Результат обучения: применение знаний и пониманий

• студент должен уметь ориентироваться в вопросах эффективности выбранного способа кодирования
• применять основные модели и средства передачи информации для оптимизации современных компьютерных систем

Результат обучения: формирование суждений

• студент должен рассуждать о знаниях о свойствах энтропии, знать определения эргодического источника, канала, уметь доказывать основные теоремы кодирования для дискретных источников и каналов, знать строение основных помехоустойчивых кодов, знать оценки предельного сжатия информации

Результат обучения: коммуникативные способности

• развитие и совершенствование коммуникативных способностей студентов
• развитие навыков участия в конструктивном диалоге о роли и значимости систем искусственного интеллекта в современном мире, различных направлениях в системах искусственного интеллекта

Результат обучения: навыки обучения или способности к учебе

• формирование умений в области систем искусственного интеллекта для реализации задач кодирования информации
• выработка навыков применения методов кодирования информации
• способность содействовать, в рамках академических и профессиональных контекстов, технологическому, социальному или культурному развитию в интересах формирования общества, основанного на знаниях

Методы преподавания

лекции и онлайн-лекции, лабораторные занятия с применением слайдов и других средств мультимедиа.

Оценка знаний обучающегося

Преподаватель проводит все виды работ текущего контроля и выводит соответствующую оценку текущей успеваемости обучающихся два раза в академический период. По результатам текущего контроля формируется рейтинг 1 и 2. Учебные достижения обучающегося оцениваются по 100-балльной шкале, итоговая оценка Р1 и Р2 выводится как средняя арифметическая из оценок текущей успеваемости. Оценка работы обучающегося в академическом периоде осуществляется преподавателем в соответствии с графиком сдачи заданий по дисциплине. Система контроля может сочетать письменные и устные, групповые и индивидуальные формы.

Политика оценивания результатов обучения по видам работ

Форма оценки

Итоговая оценка знаний обучающего по дисциплине осуществляется по 100 балльной системе и включает:

• 40% результата, полученного на экзамене;
• 60% результатов текущей успеваемости.

Формула подсчета итоговой оценки:

 

где, Р₁, Р₂ – цифровые эквиваленты оценок первого, второго рейтингов соответственно; Э – цифровой эквивалент оценки на экзамене.

Итоговая буквенная оценка и ее цифровой эквивалент в баллах:

Буквенная система оценки учебных достижений обучающихся, соответствующая цифровому эквиваленту по четырехбалльной системе:

Темы лекционных занятий

• Понятие информации, энтропии
• Системы связи
• Взаимная информация и её свойства
• Задача кодирования дискретного источника кодами равной длины
• Понятие скорости кодирования
• Прямая и обратная теоремы кодирования Шеннона дискретного источника кодами равной длины
• Задача кодирования дискретного источника кодами неравной длины
• Разрешимость задачи определения однозначной дешифрируемости
• Алгоритмы построения оптимальных кодов (Фано, Шеннона, Хаффмена)
• Словарные методы сжатия информации
• Дискретные каналы и их свойства
• Скорость передачи информации в канале
• Прямая теорема кодирования Шеннона
• Теория помехоустойчивого кодирования
• Граница Хэмминга

Основная литература

• Белов, В.М. Теория информации. Курс лекций: Учебное пособие / В.М. Белов, С.Н. Новиков, О.И. Солонская. - М.: ГЛТ, 2019. - 143 c.
• Малюк, А.А Теория защиты информации / А.А Малюк. - М.: ГЛТ, 2018. - 184 c.
• Осокин, А.Н. Теория информации: Учебное пособие для прикладного бакалавриата / А.Н. Осокин, А.Н. Мальчуков. - Люберцы: Юрайт, 2021. - 205 c.

Дополнительная литература

• Ворожцов, А.В. Путь в современную информатику: Комбинаторика, анализ, теория графов, теория игр, моделированию, теория информации, логика и теория множеств / А.В. Ворожцов. - М.: Ленанд, 2020. - 144 c.
• Петров, В.М. Искусствознание и теория информации: Сборник научных статей / В.М. Петров, А.В. Харуто. - М.: Красанд, 2019. - 432 c.