Information theory and coding
Description: Понятие информации, энтропии. Системы связи. Дискретные источники. Взаимная информация и её свойства. Задача кодирования дискретного источника кодами равной и неравной длин. Сжатие информации. Дискретные каналы и их свойства. Скорость передачи информации в канале. Пропускная способность канала. Прямая теорема кодирования Шеннона для канала без памяти. Обращение теоремы кодирования Шеннона. Помехоустойчивого кодирования.
Amount of credits: 5
Пререквизиты:
- Information security and information security
Course Workload:
| Types of classes | hours |
|---|---|
| Lectures | 15 |
| Practical works | |
| Laboratory works | 30 |
| SAWTG (Student Autonomous Work under Teacher Guidance) | 30 |
| SAW (Student autonomous work) | 75 |
| Form of final control | Exam |
| Final assessment method |
Component: Component by selection
Cycle: Profiling disciplines
Goal
- Изучение основных моделей дискретных источников информации и дискретных каналов, определение понятия энтропии, рассматрение основной теоремы для дискретных источников и каналов, изучаются вопросы сжатия информации, рассматрение основных помехоустойчивых кодов.
Objective
- ознакомление студентов с основными процессами, происходящими при преобразовании сообщений в сигнал и их передаче по каналам и линиям связи
- освоение студентами общих вопросов построения систем сбора, передачи и обработки информации
Learning outcome: knowledge and understanding
- студент должен знать и понимать как измеряется информация, законы изменения количества информации при ее преобразовании, какие средства существуют для борьбы с помехами, как устроены алгоритмы сжатия информации
- основные фазы и принципы его применения при разработке вычислительной техники и программного обеспечения
Learning outcome: applying knowledge and understanding
- студент должен уметь ориентироваться в вопросах эффективности выбранного способа кодирования
- применять основные модели и средства передачи информации для оптимизации современных компьютерных систем
Learning outcome: formation of judgments
- студент должен рассуждать о знаниях о свойствах энтропии, знать определения эргодического источника, канала, уметь доказывать основные теоремы кодирования для дискретных источников и каналов, знать строение основных помехоустойчивых кодов, знать оценки предельного сжатия информации
Learning outcome: communicative abilities
- развитие и совершенствование коммуникативных способностей студентов;
- развитие навыков участия в конструктивном диалоге о роли и значимости систем искусственного интеллекта в современном мире, различных направлениях в системах искусственного интеллекта.
Learning outcome: learning skills or learning abilities
- формирование умений в области систем искусственного интеллекта для реализации задач кодирования информации;
- выработка навыков применения методов кодирования информации;
- Способность содействовать, в рамках академических и профессиональных контекстов, технологическому, социальному или культурному развитию в интересах формирования общества, основанного на знаниях.
Teaching methods
лекции и онлайн-лекции, лабораторные занятия с применением слайдов и других средств мультимедиа.
Assessment of the student's knowledge
Teacher oversees various tasks related to ongoing assessment and determines students' current performance twice during each academic period. Ratings 1 and 2 are formulated based on the outcomes of this ongoing assessment. The student's learning achievements are assessed using a 100-point scale, and the final grades P1 and P2 are calculated as the average of their ongoing performance evaluations. The teacher evaluates the student's work throughout the academic period in alignment with the assignment submission schedule for the discipline. The assessment system may incorporate a mix of written and oral, group and individual formats.
| Period | Type of task | Total |
|---|---|---|
| 1 rating | Лабораторная работа 1 | 0-100 |
| Лабораторная работа 2 | ||
| Лабораторная работа 3 | ||
| Рубежный контроль 1 | ||
| 2 rating | Лабораторная работа 4 | 0-100 |
| Лабораторная работа 5 | ||
| Лабораторная работа 6 | ||
| Рубежный контроль 2 | ||
| Total control | Exam | 0-100 |
The evaluating policy of learning outcomes by work type
| Type of task | 90-100 | 70-89 | 50-69 | 0-49 |
|---|---|---|---|---|
| Excellent | Good | Satisfactory | Unsatisfactory |
Evaluation form
The student's final grade in the course is calculated on a 100 point grading scale, it includes:
- 40% of the examination result;
- 60% of current control result.
The final grade is calculated by the formula:
| FG = 0,6 | MT1+MT2 | +0,4E |
| 2 |
Where Midterm 1, Midterm 2are digital equivalents of the grades of Midterm 1 and 2;
E is a digital equivalent of the exam grade.
Final alphabetical grade and its equivalent in points:
The letter grading system for students' academic achievements, corresponding to the numerical equivalent on a four-point scale:
| Alphabetical grade | Numerical value | Points (%) | Traditional grade |
|---|---|---|---|
| A | 4.0 | 95-100 | Excellent |
| A- | 3.67 | 90-94 | |
| B+ | 3.33 | 85-89 | Good |
| B | 3.0 | 80-84 | |
| B- | 2.67 | 75-79 | |
| C+ | 2.33 | 70-74 | |
| C | 2.0 | 65-69 | Satisfactory |
| C- | 1.67 | 60-64 | |
| D+ | 1.33 | 55-59 | |
| D | 1.0 | 50-54 | |
| FX | 0.5 | 25-49 | Unsatisfactory |
| F | 0 | 0-24 |
Topics of lectures
- Понятие информации, энтропии
- Системы связи
- Взаимная информация и её свойства
- Задача кодирования дискретного источника кодами равной длины
- Понятие скорости кодирования
- Прямая и обратная теоремы кодирования Шеннона дискретного источника кодами равной длины
- Задача кодирования дискретного источника кодами неравной длины
- Разрешимость задачи определения однозначной дешифрируемости
- Алгоритмы построения оптимальных кодов (Фано, Шеннона, Хаффмена)
- Словарные методы сжатия информации
- Дискретные каналы и их свойства
- Скорость передачи информации в канале
- Прямая теорема кодирования Шеннона
- Теория помехоустойчивого кодирования
- Граница Хэмминга
Key reading
- Белов, В.М. Теория информации. Курс лекций: Учебное пособие / В.М. Белов, С.Н. Новиков, О.И. Солонская. - М.: ГЛТ, 2019. - 143 c.
- Березкин Е.Ф. Основы теории информации и кодирования: Учебное пособие. - 3 изд., стер. - СПб.: Издательство "Лань", 2022. - 320 c.
- Гошин Е.В. Теория информации и кодирования: Учебное пособие. - Самара: Изд-во Самарского университета, 2018. - 124 c.
- Малюк, А.А Теория защиты информации / А.А Малюк. - М.: ГЛТ, 2018. - 184 c.
- Осокин, А.Н. Теория информации: Учебное пособие для прикладного бакалавриата / А.Н. Осокин, А.Н. Мальчуков. - Люберцы: Юрайт, 2021. - 205 c.
Further reading
- Ворожцов, А.В. Путь в современную информатику: Комбинаторика, анализ, теория графов, теория игр, моделированию, теория информации, логика и теория множеств / А.В. Ворожцов. - М.: Ленанд, 2020. - 144 c.
- Петров, В.М. Искусствознание и теория информации: Сборник научных статей / В.М. Петров, А.В. Харуто. - М.: Красанд, 2019. - 432 c.
