Інженерія даних - Робоча програма навчальної дисципліни (Силабус)

Реквізити навчальної дисципліни

Програма навчальної дисципліни

Опис навчальної дисципліни, її мета, предмет вивчання та результати навчання

Опис дисципліни

Під час навчання студенти отримають теоретичні знання та практичні навички обробки даних, ознайомляться з основними етапами та підпроцесами циклу інженерії даних. Навчаться видобувати, зберігати, перетворювати та подавати дані, обирати інструменти для реалізації всіх етапів інженерії даних. Передбачено контроль якості отриманих знань у вигляді модульної контрольної роботи.

Предмет навчальної дисципліни

обробка даних, етапи циклу інженерії даних.

Міждисциплінарні зв’язки

Дисципліна Аналіз даних з використанням мови Python базується на дисциплінах:

• Вища математика
• Програмування – 1. Основи програмування
• Інфраструктура інформаційних технологій
• Теорія ймовірностей та математична статистика

Мета навчальної дисципліни

Метою навчальної дисципліни є формування у студентів теоретичних знань і практичних здатностей застосовувати методи, засоби та обробки та подання даних.

Основні завдання навчальної дисципліни

Загальні компетенції:

ЗК01. Здатність до абстрактного мислення, аналізу та синтезу. ЗК02. Здатність спілкуватися іноземною мовою. ЗК04. Здатність розробляти проекти та управляти ними. ЗК05. Здатність оцінювати та забезпечувати якість виконуваних робіт.

Фахові компетенції:

СК01. Здатність розробляти та застосувати ІСТ, необхідні для розв’язання стратегічних і поточних задач. СК02. Здатність формулювати вимоги до етапів життєвого циклу сервіс-орієнтованих інформаційних систем. СК03. Здатність проектувати інформаційні системи з урахуванням особливостей їх призначення, неповної/недостатньої інформації та суперечливих вимог. СК04. Здатність розробляти математичні, інформаційні та комп’ютерні моделі об’єктів і процесів інформатизації. СК05. Здатність використовувати сучасні технології аналізу даних для оптимізації процесів в інформаційних системах. СК07. Розробляти і реалізовувати інноваційні проекти у сфері ІСТ.

Пререквізити та постреквізити дисципліни (місце в структурно-логічній схемі навчання за відповідною освітньою програмою)

Пререквізити

мати знання з програмування, структур даних та алгоритмів, вищої математики, теорії ймовірностей та математичної статистики, інфраструктури інформаційних технологій.

Постреквізити

після проходження дисципліни студенти матимуть теоретичні знання та практичні навички, які необхідні для провадження інженерної та наукової діяльності в області інженерії даних і створення відповідних прикладних інформаційних програм.

Зміст навчальної дисципліни

Очна форма

Лекційні заняття

• Розділ 1. Загальні поняття та етапи циклу інженерії даних
• Розділ 2. Інструменти для обробки та подання даних

Лабораторні заняття

1. Встановлення та налаштування Spark.
2. Базове знайомство з Spark.
3. Spark SQL.
4. Робота з файлами в Spark Streaming.
5. Базове знайомство з Apache Airflow.
6. Побудова конвеєрів з обробки даних в Apache Airflow.
7. Побудова конвеєрів за шаблоном ELT в Apache Airflow.
8. Використання умов в конвеєрі Apache Airflow.
9. Підсумкове заняття

Заочна форма

Лекційні заняття

• Розділ 1. Загальні поняття та етапи циклу інженерії даних
• Розділ 2. Інструменти для обробки та подання даних

Лабораторні заняття

1. Базове знайомство з Apache Spark та Spark SQL
2. Базове знайомство з Apache Airflow
3. Побудова конвеєрів за шаблоном ELT в Apache Airflow

Навчальні матеріали та ресурси

Базова література

1. Joe Reis, Matt Housley - Fundamentals of Data Engineering. – O`Reilly, 2022. – 446 p.
2. Scott Haines. Modern Data Engineering with Apache Spark. – Apress, 2022. – 592 p.
3. Paul Crickard. Data Engineering with Python. — Packt Publishing, 2020. – 357 p.
4. Adi Wijaya. Data Engineering with Google Cloud Platform — Packt Publishing , 2022. — 440 p.
5. Gareth Eagar. Data Engineering with AWS. — Packt Publishing, 2021. — 395p.

Допоміжна література

1. Ситник В.Ф., Краснюк М.Т. Інтелектуальний аналіз даних (дейтамайнінг): Навч. пос. — К:КНЕУ,2007 — 376 с.
2. Олійник А. О. Інтелектуальний аналіз даних : навчальний посібник. — Запоріжжя : ЗНТУ, 2012. — 278 с.
3. Phil Simon. Too Big to Ignore: The Business Case for Big Data. — Wiley, 2019. — 257p.

Навчальний контент

Методика опанування навчальної дисципліни (освітнього компонента)

Очна форма

Лекційні заняття

Лабораторні заняття

Заочна форма

Лекційні заняття

Лабораторні заняття

Самостійна робота студента/аспіранта

Політика та контроль

Політика навчальної дисципліни (освітнього компонента)

Система вимог, які ставляться перед студентом:

• відвідування лекційних та лабораторних занять є обов’язковою складовою вивчення матеріалу;
• на лекції викладач користується власним презентаційним матеріалом; використовує гугл-диск для викладання матеріалу поточної лекції, додаткової інформації, завдань до лабораторних робіт та інше;
• питання на лекції задаються у відведений для цього час;
• звіти з лабораторних робіт завантажуються напередодні захисту; для захисту лабораторної роботи необхідно продемонструвати роботу відповідної завданню програми та відповісти на питання щодо програми та контрольні питання;
• модульні контрольні роботи пишуться на лекційних заняттях без застосування допоміжних засобів (мобільні телефони, планшети та ін.); результат завантажується у файлі через гугл-форму до відповідної директорії гугл-диску;
• заохочувальні бали виставляються за: участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо. Кількість заохочуваних балів не більше 10;
• штрафні бали виставляються за: несвоєчасну здачу лабораторних робіт без поважних причин; переписування модульної контрольної роботи. Кількість штрафних балів не більше 10.

Види контролю та рейтингова система оцінювання результатів навчання (РСО)

Рейтинг студента складається з балів, що він отримує за:

1. виконання та захист лабораторних робіт;
2. виконання модульної контрольної роботи;
3. заохочувальні та штрафні бали.

Система рейтингових балів та критерії оцінювання

Денна форма навчання:

Лабораторні завдання

• «відмінно», пповна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації), повне виконання завдання лабораторної роботи – 10 балів;
• «добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації), повне виконання завдання лабораторної роботи – 8 балів;
• «задовільно», неповна відповідь на питання під час захисту (не менш ніж 60% потрібної інформації), незначні помилки у виконанні завдання лабораторної роботи – 6 балів;
• «незадовільно», незадовільна відповідь та/або значні помилки у виконання завдання лабораторної роботи – 0 балів.

За запізнення з поданням лабораторної роботи до захисту від встановленого терміну оцінка знижується на 1 бал.

Модульні контрольні роботи

• «відмінно», повна відповідь (не менш ніж 90% потрібної інформації), завдання виконано без помилок, дії обґрунтовано – 15 балів;
• «добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), завдання виконано без значних помилок – 12-14 балів;
• «задовільно», неповна відповідь, в деяких завданнях можуть бути присутні значні помилки, але не менше 60% виконано правильно – 9-11 балів;
• «незадовільно», незадовільна відповідь (неправильне виконання завдань), потребує обов’язкового повторного написання в кінці семестру – 0 балів.

Заохочувальні бали

за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо) 1-2 бали, але в сумі не більше 10.

Міжсесійна атестація

За результатами навчальної роботи за перші 7 тижнів максимально можлива кількість балів – 45 балів (3 лабораторних завдань, перша частина модульної контрольної роботи). На першій атестації (8-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 22 бали.

За результатами 13 тижнів навчання максимально можлива кількість балів – 90 балів (6 лабораторних завдань, модульна контрольна робота). На другій атестації (14-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 45 балів.

Максимальна сума вагових балів контрольних заходів протягом семестру складає:

RD = 8*r_л.р.+2*r_мкр+ (r_з - r_ш)=7*10+2*15+(r_з - r_ш)=100 + (r_з - r_ш), де r_л.р. – бал за лабораторну роботу (0…10); r_мкр – бал за написання МКР (0…15); r_з – заохочувальні бали (0…10); r_зш – штрафні бали (0…10);.

Заочна форма навчання:

Лабораторні завдання

• «відмінно», пповна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації), повне виконання завдання лабораторної роботи – 20 балів;
• «добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації), повне виконання завдання лабораторної роботи – 16-19 балів;
• «задовільно», неповна відповідь на питання під час захисту (не менш ніж 60% потрібної інформації), незначні помилки у виконанні завдання лабораторної роботи – 12-15 балів;
• «незадовільно», незадовільна відповідь та/або значні помилки у виконання завдання лабораторної роботи – 0 балів.

За запізнення з поданням лабораторної роботи до захисту від встановленого терміну оцінка знижується на 1 бал.

Модульна контрольна робота

• «відмінно», повна відповідь (не менш ніж 90% потрібної інформації), завдання виконано без помилок, дії обґрунтовано – 40 балів;
• «добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), завдання виконано без значних помилок – 31-39 балів;
• «задовільно», неповна відповідь, в деяких завданнях можуть бути присутні значні помилки, але не менше 60% виконано правильно – 24-30 балів;
• «незадовільно», незадовільна відповідь (неправильне виконання завдань), потребує обов’язкового повторного написання в кінці семестру – 0 балів.

Заохочувальні бали

за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо) 1-2 бали, але в сумі не більше 10.

Максимальна сума вагових балів контрольних заходів протягом семестру складає:

RD = 3*r_л.р.+r_мкр+ (r_з - r_ш)=3*20+40+(r_з - r_ш)=100 + (r_з - r_ш), де r_л.р. – бал за лабораторну роботу (0…20); r_мкр – бал за написання МКР (0…40); r_з – заохочувальні бали (0…10); r_зш – штрафні бали (0…10);

Залік

Студенти, які виконали всі умови допуску до семестрової атестації (написали всі модульні контрольні, виконали і захистили всі лабораторні роботи) та набрали протягом семестру необхідну кількість балів (RD ≥ 60), отримують залікову оцінку (залік) автоматично відповідно до набраного рейтингу (табл. 1, що наведена нижче). У такому разі до заліково-екзаменаційної відомості вносяться бали RD та відповідні оцінки. Студенти, які набрали протягом семестру менше ніж 60 балів та не мають заборгованостей, зобов’язані виконувати залікову контрольну роботу. Залікова контрольна робота містить п’ять питань. Кожне питання оцінюється у 20 балів. Студентам, які протягом семестру набрали більш ніж 60 балів та виконали всі умови допуску, надається можливість виконувати залікову контрольну роботу з метою підвищення оцінки. В такому разі, попередній рейтинг студента з кредитного модуля скасовується і він отримує оцінку з урахуванням результатів залікової контрольної роботи (табл. 1, що наведена нижче).

Система оцінювання питань

• «відмінно», повна відповідь (не менше 90% потрібної інформації) – 18-20 балів;
• «добре», достатньо повна відповідь (не менше 75% потрібної інформації, або незначні неточності) – 15-17 балів;
• «задовільно», неповна відповідь (не менше 60% потрібної інформації та деякі помилки) – 12-14 балів;
• «незадовільно», незадовільна відповідь – 0-11 балів.

Сума набраних балів RD або балів за залікову роботу переводиться до залікової оцінки згідно з таблицею:

Таблиця 1. Переведення рейтингових балів до оцінок за університетською шкалою

Додаткова інформація з дисципліни (освітнього компонента)

Робочу програму навчальної дисципліни (Силабус): Складено ст. викладач, Тимофєєва Юлія Сергіївна Ухвалено кафедрою ІТС (протокол № 13 від 15.06.2022 р.) Погоджено Методичною комісією факультету[1] (протокол № 11 від 07.07.2022 р.)