Методи і засоби обробки великих даних - Робоча програма навчальної дисципліни (Силабус)

Реквізити навчальної дисципліни

Програма навчальної дисципліни

Опис навчальної дисципліни, її мета, предмет вивчання та результати навчання

Опис дисципліни

Під час навчання студенти отримають теоретичні знання та практичні навички роботи з великими даними, ознайомляться з основними поняттями, методами та засобами обробки великих даних. Навчаться збирати, зберігати, оперувати великими даними, враховуючи їхні особливості. Передбачено контроль якості отриманих знань у вигляді модульної контрольної роботи.

Предмет навчальної дисципліни

великі дані, методи та засоби їх аналізу та обробки.

Міждисциплінарні зв’язки

Дисципліна Методи і засоби обробки великих даних базується на дисциплінах:

• Вища математика
• Аналіз даних в інформаційно-управляючих системах
• Ймовірністні моделі та статистичне оцінювання в ІУС
• Системи штучного інтелекту
• Теорія ймовірностей та математична статистика
• Теорія прийняття рішень

Мета навчальної дисципліни

Метою навчальної дисципліни є формування у студентів теоретичних знань і практичних здатностей застосовувати методи і засоби збирання, зберігання, аналізу та обробки великих даних.

Основні завдання навчальної дисципліни

Знання

• методів та засобів агрегації та інтегрування великих даних різних типів;
• методів та засобів проектування сховищ для зберігання великих даних;
• методів, засобів та інструментів інтелектуальної обробки великих даних;
• методів та засобів візуалізації великих даних;
• методів та засобів отримання знання з великих даних.

Уміння

• використовувати інструментальні засоби інтеграції різнотипових великих даних;
• правильно обирати та використовувати методи та алгоритми для фільтрації, валідації та зберігання великих даних;
• правильно обирати найбільш інформативні способи візуалізації великих даних;
• отримувати знання шляхом аналізу великих даних;
• проєктувати та розробляти прикладні інформаційні програми для аналізу великих даних та прийняття рішень на основі отриманої інформації.

Пререквізити та постреквізити дисципліни (місце в структурно-логічній схемі навчання за відповідною освітньою програмою)

Пререквізити

мати знання з програмування, структур даних та алгоритмів, вищої математики, теорії ймовірностей та математичної статистики, статистичних методів аналізу даних, штучного інтелекту.

Постреквізити

після проходження дисципліни студенти матимуть теоретичні знання та практичні навички, які необхідні для провадження інженерної та наукової діяльності в області аналізу великих даних, їх інтелектуальної обробки і створення відповідних прикладних інформаційних програм.

Зміст навчальної дисципліни

Лекційні заняття

• Розділ 1. Загальні поняття та особливості великих даних
• Розділ 2. Фреймворк Hadoop
• Розділ 3. Методи машинного навчання для обробки великих даних
• Розділ 4. Обробка великих даних в реальному часі
• Розділ 5. Основні проблеми обробки великих даних

Лабораторні заняття

1. Встановлення та налаштування Hadoop.
2. Виконання базових завдань в MapReduce.
3. Попередня обробка даних.
4. Обробка запитів.
5. Статистична обробка даних.
6. Алгоритми класифікації в Mahout.
7. Алгоритми регресії в Mahout.
8. Алгоритми кластеризації в Mahout.
9. Глибинне навчання для великих даних.
10. Обробка великих даних в реальному часі
11. Обробка даних в фреймворку Spark
12. Візуалізація великих даних

Навчальні матеріали та ресурси

Базова література

1. Zgurovsky M.Z., Zaychenko Y.P. Big Data: Conceptual Analysis and Applications. Springer, 2020. – 298 p.
2. Силен Д., Мейсман А., Али М. Основы Data Science и Big Data. Python и наука о данных. – СПб.: Питер, 2017. – 336 с.
3. Олійник А. О. Інтелектуальний аналіз даних : навчальний посібник. — Запоріжжя : ЗНТУ, 2012. — 278 с.
4. Ситник В.Ф., Краснюк М.Т. Інтелектуальний аналіз даних (дейтамайнінг): Навч. пос. — К:КНЕУ,2007 — 376 с.
5. Tom White. Hadoop: The Definitive Guide. — O’Reilly, 2016. – 805p.
6. Rajkumar Buyya. Big Data. Principles and Paradigms. — Elsevier, 2016. – 496p.

Допоміжна література

1. Thomas Erl. Big Data Fundamentals. Concepts, Drivers & Techniques. — Prentice Hall, 2016. — 235p.
2. Robert Slane. Big Data Essentials. — 2018. — 356p.
3. Phil Simon. Too Big to Ignore: The Business Case for Big Data. — Wiley, 2019. — 257p.
4. Себастьян Рашка, Вахид Мирджалили. Python и машинное обучение. Машинное и глубокое обучение с использованием Python, scikit-learn, TensorFlow. — К.: Диалектика, 2020. – 656 с.

Навчальний контент

Методика опанування навчальної дисципліни (освітнього компонента)

Очна форма

Лекційні заняття

Лабораторні заняття

Заочна форма

Лекційні заняття

Лабораторні заняття

Самостійна робота студента/аспіранта

Очна форма

Заочна форма

Політика та контроль

Політика навчальної дисципліни (освітнього компонента)

Система вимог, які ставляться перед студентом:

• відвідування лекційних та лабораторних занять є обов’язковою складовою вивчення матеріалу;
• на лекції викладач користується власним презентаційним матеріалом; використовує гугл-диск для викладання матеріалу поточної лекції, додаткової інформації, завдань до лабораторних робіт та інше;
• питання на лекції задаються у відведений для цього час;
• звіти з лабораторних робіт завантажуються напередодні захисту; для захисту лабораторної роботи необхідно продемонструвати роботу відповідної завданню програми та відповісти на питання щодо програми та контрольні питання;
• модульні контрольні роботи пишуться на лекційних заняттях без застосування допоміжних засобів (мобільні телефони, планшети та ін.); результат завантажується у файлі через гугл-форму до відповідної директорії гугл-диску;
• заохочувальні бали виставляються за: участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо. Кількість заохочуваних балів не більше 10;
• штрафні бали виставляються за: несвоєчасну здачу лабораторних робіт без поважних причин; переписування модульної контрольної роботи. Кількість штрафних балів не більше 10.

Види контролю та рейтингова система оцінювання результатів навчання (РСО)

Рейтинг студента складається з балів, що він отримує за:

1. виконання та захист лабораторних робіт;
2. виконання модульної контрольної роботи;
3. заохочувальні та штрафні бали.

Система рейтингових балів та критерії оцінювання

Денна форма навчання:

Лабораторні завдання

• «відмінно», пповна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації), повне виконання завдання лабораторної роботи – 3 бали;
• «добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації), повне виконання завдання лабораторної роботи – 2 бали;
• «задовільно», неповна відповідь на питання під час захисту (не менш ніж 60% потрібної інформації), незначні помилки у виконанні завдання лабораторної роботи – 1 бал;
• «незадовільно», незадовільна відповідь та/або значні помилки у виконання завдання лабораторної роботи – 0 балів.

За запізнення з поданням лабораторної роботи до захисту від встановленого терміну оцінка знижується на 1 бал.

Модульні контрольні роботи

• «відмінно», повна відповідь (не менш ніж 90% потрібної інформації), завдання виконано без помилок, дії обґрунтовано – 7 балів;
• «добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), завдання виконано без значних помилок – 5-6 балів;
• «задовільно», неповна відповідь, в деяких завданнях можуть бути присутні значні помилки, але не менше 60% виконано правильно – 3-4 балів;
• «незадовільно», незадовільна відповідь (неправильне виконання завдань), потребує обов’язкового повторного написання в кінці семестру – 0 балів.

Заохочувальні бали

за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо) 1-2 бали, але в сумі не більше 10.

Міжсесійна атестація

За результатами навчальної роботи за перші 7 тижнів максимально можлива кількість балів – 19 балів (4 лабораторних завдання, перша частина модульної контрольної роботи). На першій атестації (8-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 8 балів.

За результатами 13 тижнів навчання максимально можлива кількість балів – 41 бал (9 лабораторних завдань, модульна контрольна робота). На другій атестації (14-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 16 балів.

Максимальна сума вагових балів контрольних заходів протягом семестру складає:

RD = 12*r_л.р.+2*r_мкр+ (r_з - r_ш)=12*3+2*7+(r_з - r_ш)=50 + (r_з - r_ш), де r_л.р. – бал за лабораторну роботу (0…3); r_мкр – бал за написання МКР (0…7); r_з – заохочувальні бали (0…10); r_зш – штрафні бали (0…10);.

Заочна форма навчання:

Лабораторні завдання

• «відмінно», пповна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації), повне виконання завдання лабораторної роботи – 7 балів;
• «добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації), повне виконання завдання лабораторної роботи – 5-6 балів;
• «задовільно», неповна відповідь на питання під час захисту (не менш ніж 60% потрібної інформації), незначні помилки у виконанні завдання лабораторної роботи – 3-4 балів;
• «незадовільно», незадовільна відповідь та/або значні помилки у виконання завдання лабораторної роботи – 0 балів.

За запізнення з поданням лабораторної роботи до захисту від встановленого терміну оцінка знижується на 1 бал.

Модульна контрольна робота

• «відмінно», повна відповідь (не менш ніж 90% потрібної інформації), завдання виконано без помилок, дії обґрунтовано – 15 балів;
• «добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), завдання виконано без значних помилок – 12-14 балів;
• «задовільно», неповна відповідь, в деяких завданнях можуть бути присутні значні помилки, але не менше 60% виконано правильно – 9-11 балів;
• «незадовільно», незадовільна відповідь (неправильне виконання завдань), потребує обов’язкового повторного написання в кінці семестру – 0 балів.

Заохочувальні бали

за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо) 1-2 бали, але в сумі не більше 10.

Максимальна сума вагових балів контрольних заходів протягом семестру складає:

RD = 5*r_л.р.+r_мкр+ (r_з - r_ш)=5*7+15+(r_з - r_ш)=50 + (r_з - r_ш), де r_л.р. – бал за лабораторну роботу (0…7); r_мкр – бал за написання МКР (0…15); r_з – заохочувальні бали (0…10); r_зш – штрафні бали (0…10);

Екзамен

Максимальна сума балів стартової складової дорівнює 50 балів. Необхідною умовою допуску до екзамену є виконання та захист всіх лабораторних робіт, написання модульних контрольних і стартовий рейтинг не менше 25 балів. На екзамені студенти готуються до усного екзамену. Кожний білет містить два питання.

Система оцінювання питань

• «відмінно», повна відповідь (не менше 90% потрібної інформації) – 24-25 балів;
• «добре», достатньо повна відповідь (не менше 75% потрібної інформації, або незначні неточності) – 19-23 балів;
• «задовільно», неповна відповідь (не менше 60% потрібної інформації та деякі помилки) – 15-18 балів;
• «незадовільно», незадовільна відповідь – 0-14 балів.

Сума набраних балів, набраних за семестрову роботу та за екзамен переводиться до підсумкової оцінки згідно з таблицею:

Таблиця 1. Переведення рейтингових балів до оцінок за університетською шкалою

Додаткова інформація з дисципліни (освітнього компонента)

Робочу програму навчальної дисципліни (Силабус): Складено ст. викладач, Тимофєєва Юлія Сергіївна Ухвалено кафедрою ІСТ (протокол № 1 від 30.08.2021 р.) Погоджено Методичною комісією факультету[1] (протокол № 1 від 30.08.2021 р.)