Methods and algorithms of primary data analysis
Description: The course introduces the mathematical foundations of technical data processing. The principles of construction and implementation of algorithms for solving applied problems are considered. Students will master the methods of primary data analysis and transformation. Special attention is paid to the practical implementation of data processing in technical calculations. The course builds an understanding of the interrelationships between mathematical methods and engineering practice.
Amount of credits: 6
Пререквизиты:
- Fundamentals of programming mathematical algorithms for ML
Course Workload:
| Types of classes | hours |
|---|---|
| Lectures | 30 |
| Practical works | |
| Laboratory works | 30 |
| SAWTG (Student Autonomous Work under Teacher Guidance) | 30 |
| SAW (Student autonomous work) | 90 |
| Form of final control | Exam |
| Final assessment method |
Component: University component
Cycle: Base disciplines
Goal
- Формирование у студентов системных знаний о методах и алгоритмах первичного анализа данных, а также практических навыков подготовки, очистки, описательного анализа и визуализации данных с использованием современных инструментов.
Objective
- Освоение методов подготовки и первичной обработки данных, включая работу с пропусками, выбросами и различными типами данных.
- Формирование навыков применения описательной статистики, корреляционного анализа и базовых алгоритмов редукции размерности.
Learning outcome: knowledge and understanding
- знание основных методов и алгоритмов первичного анализа данных, их возможностей и ограничений;
- знание принципов работы с различными типами данных (числовыми, категориальными, временными рядами, текстовыми);
- понимание подходов к очистке, описательной статистике, корреляционному анализу и редукции размерности.
Learning outcome: applying knowledge and understanding
- умение применять методы очистки и описательного анализа данных к практическим наборам;
- способность использовать базовые алгоритмы визуализации и корреляционного анализа для выявления закономерностей.
Learning outcome: formation of judgments
- способность критически оценивать качество исходных данных и корректность их предварительной обработки;
- умение обосновывать выбор методов первичного анализа для решения конкретных исследовательских задач.
Learning outcome: communicative abilities
- развить коммуникационные способности, необходимые для работы в команде.
Learning outcome: learning skills or learning abilities
- умение самостоятельно осваивать новые инструменты первичного анализа данных;
- способность адаптировать приобретённые знания к решению практических задач и дальнейшему изучению методов анализа.
Teaching methods
интерактивная лекция (применение следующих активных форм обучения: ведомая (управляемая) дискуссия или беседа; демонстрация слайдов или учебных фильмов; мозговой штурм; мотивационная речь);
информационно-коммуникационная (например, занятия в компьютерном классе с использованием различных операционных систем и профессиональных пакетов прикладных программ);
поисково-исследовательская (самостоятельная исследовательская деятельность студентов в процессе обучения).
Assessment of the student's knowledge
Teacher oversees various tasks related to ongoing assessment and determines students' current performance twice during each academic period. Ratings 1 and 2 are formulated based on the outcomes of this ongoing assessment. The student's learning achievements are assessed using a 100-point scale, and the final grades P1 and P2 are calculated as the average of their ongoing performance evaluations. The teacher evaluates the student's work throughout the academic period in alignment with the assignment submission schedule for the discipline. The assessment system may incorporate a mix of written and oral, group and individual formats.
| Period | Type of task | Total |
|---|---|---|
| 1 rating | Лабораторная работа 1 | 0-100 |
| Лабораторная работа 2 | ||
| Лабораторная работа 3 | ||
| Рубежное тестирование 1 | ||
| 2 rating | Лабораторная работа 4 | 0-100 |
| Лабораторная работа 5 | ||
| Лабораторная работа 6 | ||
| Рубежное тестирование 2 | ||
| Total control | Exam | 0-100 |
The evaluating policy of learning outcomes by work type
| Type of task | 90-100 | 70-89 | 50-69 | 0-49 |
|---|---|---|---|---|
| Excellent | Good | Satisfactory | Unsatisfactory | |
| Ответы на контрольные вопросы | демонстрирует системные теоретические знания, владеет терминологией, делает аргументированные выводы и обобщения, приводит примеры, показывает свободное владение материалом и способность быстро реагировать на уточняющие вопросы | демонстрирует прочные теоретические знания, владеет терминологией, делает аргументированные выводы и обобщения, приводит примеры, оказывает свободное владение материалом, но при этом делает несущественные ошибки, которые исправляет самостоятельно или при незначительной коррекции преподавателем | демонстрирует неглубокие теоретические знания, недостаточное умение делать аргументированные выводы и приводить примеры, показывает недостаточно свободное владение материалом, логичностью и последовательностью изложения, делает ошибки которые может исправить только при коррекции преподавателем. | демонстрирует незнание теоретических основ предмета, не умеет делать аргументированные выводы и приводить примеры, показывает слабое владение материалом, не владеет терминологией, проявляет отсутствие логичности и последовательности изложения, делает ошибки, которые не может исправить даже при коррекции преподавателем, отказывается отвечать на занятии |
| Работа на лабораторных занятиях | выполнил лабораторную работу в полном объеме с соблюдением необходимой последовательности действий; в отчете правильно и аккуратно выполняет все записи, таблицы, рисунки, чертежи, графики, вычисления; правильно выполняет анализ ошибок. При ответе на вопросы правильно понимает сущность вопроса, дает точное определение и истолкование основных понятий; сопровождает ответ новыми примерами, умеет применить знания в новой ситуации; может установить связь между изучаемым и ранее изученным материалом, а также с материалом, усвоенным при изучении других дисциплин. | выполнил требования к оценке «отлично», но допущены 2-3 недочета. Ответ обучающегося на вопросы удовлетворяет основным требованиям к ответу на «отлично», но дан без применения знаний в новой ситуации, без использования связей с ранее изученным материалом и материалом, усвоенным при изучении других дисциплин; допущены одна не критичная ошибка или не более двух недочетов, при этом обучающийся может их исправить самостоятельно без помощи преподавателя. | выполнил работу не полностью, но не менее 50% объема практической работы, что позволяет получить правильные результаты и выводы; в ходе проведения работы были допущены ошибки. При ответе на вопросы обучающийся правильно понимает сущность вопроса, но в ответе имеются отдельные проблемы в усвоении вопросов курса, не препятствующие дальнейшему усвоению программного материала; допущена одна грубая ошибка и не более двух-трех недочетов, при этом обучающийся может их исправить с небольшой помощью преподавателя. | выполнил работу не более 50% от объема, что не позволяет сделать правильных выводов. При ответе на вопросы демонстрирует отсутствие владения основными знаниями и умениями в соответствии с требованиями программы; допущены больше ошибок и недочетов, чем необходимо для оценки «удовлетворительно», не может ответить на большую часть из поставленных вопросов. |
Evaluation form
The student's final grade in the course is calculated on a 100 point grading scale, it includes:
- 40% of the examination result;
- 60% of current control result.
The final grade is calculated by the formula:
| FG = 0,6 | MT1+MT2 | +0,4E |
| 2 |
Where Midterm 1, Midterm 2are digital equivalents of the grades of Midterm 1 and 2;
E is a digital equivalent of the exam grade.
Final alphabetical grade and its equivalent in points:
The letter grading system for students' academic achievements, corresponding to the numerical equivalent on a four-point scale:
| Alphabetical grade | Numerical value | Points (%) | Traditional grade |
|---|---|---|---|
| A | 4.0 | 95-100 | Excellent |
| A- | 3.67 | 90-94 | |
| B+ | 3.33 | 85-89 | Good |
| B | 3.0 | 80-84 | |
| B- | 2.67 | 75-79 | |
| C+ | 2.33 | 70-74 | |
| C | 2.0 | 65-69 | Satisfactory |
| C- | 1.67 | 60-64 | |
| D+ | 1.33 | 55-59 | |
| D | 1.0 | 50-54 | |
| FX | 0.5 | 25-49 | Unsatisfactory |
| F | 0 | 0-24 |
Topics of lectures
- Введение в первичный анализ данных
- Типы данных и их представление
- Методы очистки данных
- Описательная статистика
- Визуализация на этапе первичного анализа
- Корреляционный анализ и первичные зависимости
- Алгоритмы редукции размерности
Key reading
- Мажукин В. И. Математическое моделирование в экономике. Ч. 1. Численные методы и вычислительные алгоритмы. Ч. 2. Лабораторный практикум по численным методам и вычислительным алгоритмам : учеб. пособие / В. И. Мажукин, О. Н. Королева. - М. : Флинта : МГУ, 2004. - Библиогр.: с. 226
- Миркин, Б. Г. Базовые методы анализа данных: учебник и практикум для вузов / Б. Г. Миркин. — Москва : Юрайт, 2024. — 261 с. — ISBN 978-5-534-18842-4
- Миркин, Б. Г. Базовые методы анализа данных : учебник и практикум для вузов / Б. Г. Миркин. — 3-е изд., перераб. и доп. — Москва : Юрайт, 2025. — 297 с. — ISBN 978-5-534-19709-9.
- Тихомиров, Д. А.; Пинчук, А. Н. Статистический анализ данных. Практический курс в SPSS и Jamovi : учебник для вузов / Д. А. Тихомиров, А. Н. Пинчук. — Москва : Юрайт, 2024. — 353 с. — ISBN 978-5-534-19186-8.
- Анализ данных : учебник для вузов / под ред. В. С. Мхитаряна. — Москва : Юрайт, 2024. — 448 с. — ISBN 978-5-534-19964-2
Further reading
- Александров, В. В. Алгоритмы и программы структурного метода обработки данных / В.В. Александров, Н.Д. Горский ; АН СССР. Ленингр. н.-и. ВЦ. - Л. : Наука, 1983. - 208 с. : ил. - Библиогр.: с. 133-134
- Тюрин, Ю. Н., Макаров, А. А. Анализ данных на компьютере: учебное пособие для студентов вузов / Ю. Н. Тюрин, А. А. Макаров. — Москва : Форум, 2014. — 4-е изд.
- Козлов, А. Ю., Мхитарян, В. С., Шишов, В. Ф. Статистический анализ данных в MS Excel: учебное пособие / А. Ю. Козлов, В. С. Мхитарян, В. Ф. Шишов. — Москва : ИНФРА-М, 2012-2014. — 320 с.
- Барсегян, М. С. Куприянов, И. И. Холод, М. Д. Тесс, С. И. Елизаров. — Санкт-Петербург : БХВ-Петербург, 2009. — 3-е изд., перераб. и доп.
