Методы и алгоритмы первичного анализа данных
内容描述: Курс знакомит с математическими основами обработки технических данных. Рассматриваются принципы построения и реализация алгоритмов для решения прикладных задач. Обучающиеся освоят методы первичного анализа, преобразования данных. Особое внимание уделяется практической реализации обработки данных в технических расчетах. Курс формирует понимание взаимосвязей между математическими методами и инженерной практикой.
贷款数: 6
Пререквизиты:
- Основы программирования математических алгоритмов для ML
*СomplexityDiscipline(zh-CN)*:
| *TypesOfClasses(zh-CN)* | *hours(zh-CN)* |
|---|---|
| *Lectures(zh-CN)* | 30 |
| *PracticalWork(zh-CN)* | |
| *LaboratoryWork(zh-CN)* | 30 |
| *srop(zh-CN)* | 30 |
| *sro(zh-CN)* | 90 |
| *FormOfFinalControl(zh-CN)* | экзамен |
| *FinalAssessment(zh-CN)* | Творческий экзамен |
零件: Вузовский компонент
循环次数: Базовые дисциплины
Цель
- Формирование у студентов системных знаний о методах и алгоритмах первичного анализа данных, а также практических навыков подготовки, очистки, описательного анализа и визуализации данных с использованием современных инструментов.
Задача
- Освоение методов подготовки и первичной обработки данных, включая работу с пропусками, выбросами и различными типами данных.
- Формирование навыков применения описательной статистики, корреляционного анализа и базовых алгоритмов редукции размерности.
Результат обучения: знание и понимание
- знание основных методов и алгоритмов первичного анализа данных, их возможностей и ограничений;
- знание принципов работы с различными типами данных (числовыми, категориальными, временными рядами, текстовыми);
- понимание подходов к очистке, описательной статистике, корреляционному анализу и редукции размерности.
Результат обучения: применение знаний и пониманий
- умение применять методы очистки и описательного анализа данных к практическим наборам;
- способность использовать базовые алгоритмы визуализации и корреляционного анализа для выявления закономерностей.
Результат обучения: формирование суждений
- способность критически оценивать качество исходных данных и корректность их предварительной обработки;
- умение обосновывать выбор методов первичного анализа для решения конкретных исследовательских задач.
Результат обучения: коммуникативные способности
- развить коммуникационные способности, необходимые для работы в команде.
Результат обучения: навыки обучения или способности к учебе
- умение самостоятельно осваивать новые инструменты первичного анализа данных;
- способность адаптировать приобретённые знания к решению практических задач и дальнейшему изучению методов анализа.
*TeachingMethods(zh-CN)*
интерактивная лекция (применение следующих активных форм обучения: ведомая (управляемая) дискуссия или беседа; демонстрация слайдов или учебных фильмов; мозговой штурм; мотивационная речь);
информационно-коммуникационная (например, занятия в компьютерном классе с использованием различных операционных систем и профессиональных пакетов прикладных программ);
поисково-исследовательская (самостоятельная исследовательская деятельность студентов в процессе обучения).
*AssessmentKnowledge(zh-CN)*
Преподаватель проводит все виды работ текущего контроля и выводит соответствующую оценку текущей успеваемости обучающихся два раза в академический период. По результатам текущего контроля формируется рейтинг 1 и 2. Учебные достижения обучающегося оцениваются по 100-балльной шкале, итоговая оценка Р1 и Р2 выводится как средняя арифметическая из оценок текущей успеваемости. Оценка работы обучающегося в академическом периоде осуществляется преподавателем в соответствии с графиком сдачи заданий по дисциплине. Система контроля может сочетать письменные и устные, групповые и индивидуальные формы.
| *Period2(zh-CN)* | *TypeOfTask(zh-CN)* | *Total(zh-CN)* |
|---|---|---|
| 1 *Rating(zh-CN)* | Лабораторная работа 1 | 0-100 |
| Лабораторная работа 2 | ||
| Лабораторная работа 3 | ||
| Рубежное тестирование 1 | ||
| 2 *Rating(zh-CN)* | Лабораторная работа 4 | 0-100 |
| Лабораторная работа 5 | ||
| Лабораторная работа 6 | ||
| Рубежное тестирование 2 | ||
| *TotalControl(zh-CN)* | экзамен | 0-100 |
*PolicyAssignmentTask(zh-CN)*
| *TypeOfTask(zh-CN)* | 90-100 | 70-89 | 50-69 | 0-49 |
|---|---|---|---|---|
| Excellent | *Grade4(zh-CN)* | *Grade3(zh-CN)* | *Grade2(zh-CN)* | |
| Ответы на контрольные вопросы | демонстрирует системные теоретические знания, владеет терминологией, делает аргументированные выводы и обобщения, приводит примеры, показывает свободное владение материалом и способность быстро реагировать на уточняющие вопросы | демонстрирует прочные теоретические знания, владеет терминологией, делает аргументированные выводы и обобщения, приводит примеры, оказывает свободное владение материалом, но при этом делает несущественные ошибки, которые исправляет самостоятельно или при незначительной коррекции преподавателем | демонстрирует неглубокие теоретические знания, недостаточное умение делать аргументированные выводы и приводить примеры, показывает недостаточно свободное владение материалом, логичностью и последовательностью изложения, делает ошибки которые может исправить только при коррекции преподавателем. | демонстрирует незнание теоретических основ предмета, не умеет делать аргументированные выводы и приводить примеры, показывает слабое владение материалом, не владеет терминологией, проявляет отсутствие логичности и последовательности изложения, делает ошибки, которые не может исправить даже при коррекции преподавателем, отказывается отвечать на занятии |
| Работа на лабораторных занятиях | выполнил лабораторную работу в полном объеме с соблюдением необходимой последовательности действий; в отчете правильно и аккуратно выполняет все записи, таблицы, рисунки, чертежи, графики, вычисления; правильно выполняет анализ ошибок. При ответе на вопросы правильно понимает сущность вопроса, дает точное определение и истолкование основных понятий; сопровождает ответ новыми примерами, умеет применить знания в новой ситуации; может установить связь между изучаемым и ранее изученным материалом, а также с материалом, усвоенным при изучении других дисциплин. | выполнил требования к оценке «отлично», но допущены 2-3 недочета. Ответ обучающегося на вопросы удовлетворяет основным требованиям к ответу на «отлично», но дан без применения знаний в новой ситуации, без использования связей с ранее изученным материалом и материалом, усвоенным при изучении других дисциплин; допущены одна не критичная ошибка или не более двух недочетов, при этом обучающийся может их исправить самостоятельно без помощи преподавателя. | выполнил работу не полностью, но не менее 50% объема практической работы, что позволяет получить правильные результаты и выводы; в ходе проведения работы были допущены ошибки. При ответе на вопросы обучающийся правильно понимает сущность вопроса, но в ответе имеются отдельные проблемы в усвоении вопросов курса, не препятствующие дальнейшему усвоению программного материала; допущена одна грубая ошибка и не более двух-трех недочетов, при этом обучающийся может их исправить с небольшой помощью преподавателя. | выполнил работу не более 50% от объема, что не позволяет сделать правильных выводов. При ответе на вопросы демонстрирует отсутствие владения основными знаниями и умениями в соответствии с требованиями программы; допущены больше ошибок и недочетов, чем необходимо для оценки «удовлетворительно», не может ответить на большую часть из поставленных вопросов. |
*EvaluationForm(zh-CN)*
Итоговая оценка знаний обучающего по дисциплине осуществляется по 100 балльной системе и включает:
- 40% результата, полученного на экзамене;
- 60% результатов текущей успеваемости.
Формула подсчета итоговой оценки:
| И= 0,6 | Р1+Р2 | +0,4Э |
| 2 |
где, Р1, Р2 – цифровые эквиваленты оценок первого, второго рейтингов соответственно; Э – цифровой эквивалент оценки на экзамене.
Итоговая буквенная оценка и ее цифровой эквивалент в баллах:
Буквенная система оценки учебных достижений обучающихся, соответствующая цифровому эквиваленту по четырехбалльной системе:
| Оценка по буквенной системе | Цифровой эквивалент | Баллы (%-ное содержание) | Оценка по традиционной системе |
|---|---|---|---|
| A | 4.0 | 95-100 | Отлично |
| A- | 3.67 | 90-94 | |
| B+ | 3.33 | 85-89 | Хорошо |
| B | 3.0 | 80-84 | |
| B- | 2.67 | 75-79 | |
| C+ | 2.33 | 70-74 | |
| C | 2.0 | 65-69 | Удовлетворительно |
| C- | 1.67 | 60-64 | |
| D+ | 1.33 | 55-59 | |
| D | 1.0 | 50-54 | |
| FX | 0.5 | 25-49 | Неудовлетворительно |
| F | 0 | 0-24 |
Темы лекционных занятий
- Введение в первичный анализ данных. Понятие и задачи первичного анализа, этапы подготовки данных к исследованию. Роль предварительного анализа в процессе принятия решений.
- Типы данных и их представление. Числовые, категориальные, временные ряды и текстовые данные. Преобразование типов и форматов для корректного анализа.
- Методы очистки данных. Работа с пропущенными значениями, выбросами и шумами. Подходы к фильтрации и корректировке данных.
- Описательная статистика. Средние значения, медиана, мода, дисперсия, стандартное отклонение. Интерпретация показателей для разных типов данных.
- Визуализация на этапе первичного анализа. Гистограммы, диаграммы рассеяния, коробчатые диаграммы. Использование визуальных методов для выявления закономерностей и аномалий.
- Корреляционный анализ и первичные зависимости. Коэффициенты корреляции, матрицы корреляции. Интерпретация связи между переменными и ограничения метода.
- Алгоритмы редукции размерности. Методы отбора признаков и сокращения размерности данных. Основы главных компонент (PCA).
Основная литература
- Мажукин В. И. Математическое моделирование в экономике. Ч. 1. Численные методы и вычислительные алгоритмы. Ч. 2. Лабораторный практикум по численным методам и вычислительным алгоритмам : учеб. пособие / В. И. Мажукин, О. Н. Королева. - М. : Флинта : МГУ, 2004. - Библиогр.: с. 226
- Миркин, Б. Г. Базовые методы анализа данных: учебник и практикум для вузов / Б. Г. Миркин. — Москва : Юрайт, 2024. — 261 с. — ISBN 978-5-534-18842-4
- Миркин, Б. Г. Базовые методы анализа данных : учебник и практикум для вузов / Б. Г. Миркин. — 3-е изд., перераб. и доп. — Москва : Юрайт, 2025. — 297 с. — ISBN 978-5-534-19709-9.
- Тихомиров, Д. А.; Пинчук, А. Н. Статистический анализ данных. Практический курс в SPSS и Jamovi : учебник для вузов / Д. А. Тихомиров, А. Н. Пинчук. — Москва : Юрайт, 2024. — 353 с. — ISBN 978-5-534-19186-8.
- Анализ данных : учебник для вузов / под ред. В. С. Мхитаряна. — Москва : Юрайт, 2024. — 448 с. — ISBN 978-5-534-19964-2
Дополнительная литература
- Александров, В. В. Алгоритмы и программы структурного метода обработки данных / В.В. Александров, Н.Д. Горский ; АН СССР. Ленингр. н.-и. ВЦ. - Л. : Наука, 1983. - 208 с. : ил. - Библиогр.: с. 133-134
- Тюрин, Ю. Н., Макаров, А. А. Анализ данных на компьютере: учебное пособие для студентов вузов / Ю. Н. Тюрин, А. А. Макаров. — Москва : Форум, 2014. — 4-е изд.
- Козлов, А. Ю., Мхитарян, В. С., Шишов, В. Ф. Статистический анализ данных в MS Excel: учебное пособие / А. Ю. Козлов, В. С. Мхитарян, В. Ф. Шишов. — Москва : ИНФРА-М, 2012-2014. — 320 с.
- Барсегян, М. С. Куприянов, И. И. Холод, М. Д. Тесс, С. И. Елизаров. — Санкт-Петербург : БХВ-Петербург, 2009. — 3-е изд., перераб. и доп.
