Програмні засоби проектування та реалізації нейромережевих систем - Робоча програма навчальної дисципліни (Силабус)
Реквізити навчальної дисципліни
| Рівень вищої освіти | Перший (бакалаврський) |
|---|---|
| Галузь знань | 12 Інформаційні технології |
| Спеціальність | 121 Інженерія програмного забезпечення 123 Комп’ютерна інженерія 126 Інформаційні системи та технології |
| Освітня програма | Інженерія програмного забезпечення комп’ютерних систем Інженерія програмного забезпечення інформаційних систем Комп’ютерні системи та мережі Інтегровані інформаційні системи Інформаційні управляючі системи та технології Інформаційне забезпечення робото технічних систем |
| Статус дисципліни | Навчальна дисципліна професійної та практичної підготовки (за вибором студентів) |
| Форма навчання | очна(денна)/заочна/дистанційна |
| Рік підготовки, семестр | 3 курс, весняний семестр |
| Обсяг дисципліни | 120 годин (36 годин – Лекції, 18 годин – Лабораторні, 66 годин – СРС) |
| Семестровий контроль/ контрольні заходи | Залік/Залікова робота |
| Розклад занять | http://rozklad.kpi.ua/Schedules/ScheduleGroupSelection.aspx |
| Мова викладання | Українська |
| Інформація про керівника курсу / викладачів |
Лектор: к.т.н, доцент Шимкович Володимир Миколайович, v.shymkovych@kpi.ua, Telegram: @volodymyr_shymkovych Лабораторні: к.т.н, доцент Шимкович Володимир Миколайович, v.shymkovych@kpi.ua, Telegram: @volodymyr_shymkovych |
| Розміщення курсу | https://campus.kpi.ua |
Програма навчальної дисципліни
Опис навчальної дисципліни, її мета, предмет вивчання та результати навчання
Опис дисципліни. При вивченні даної дисципліни, студенти вивчать теоретичні основи нейронних мереж та отримають початковий досвід в розробці програмного забезпечення, що реалізує нейромережеві технології. На лабораторних заняттях отримають початковий досвід створення програмних систем на основі нейронних мереж. Проведуть розробку та дослідження нейромережевих систем різного призначення за допомогою мови програмування Payton та бібліотек TensorFlow і Keras.
Предмет навчальної дисципліни: основні поняття нейромережевих систем, вступ до нейронних мереж, класифікація та архітектури нейронних мереж, програмні засоби реалізації та дослідження нейромережевих систем на Payton та бібліотек TensorFlow і Keras.
Міждисциплінарні зв’язки. Дисципліна Програмні засоби проектування та реалізації нейромережевих систем базується на дисциплінах: Програмування – 1. Основи програмування; Програмування – 2. Структури даних та алгоритми; Технології розроблення програмного забезпечення.
Мета навчальної дисципліни. Підготовка висококваліфікованих фахівців, які володіють основними поняттями нейромережевої теорії, термінами нейромережевих систем, структурою та властивостями нейромережевих систем, методами навчання нейромережевих систем, наборами даних для навчання нейромережевих систем, етапами проектування програмних нейромережевих систем, програмними засобами реалізації нейромережевих систем, способами підвищення ефективності програмних нейромережевих систем.
Основні завдання навчальної дисципліни
Знання:
структура та властивості нейронних мереж;
методи навчання нейронних мереж;
набори даних для навчання нейромережевих систем;
ролі та місця нейромережевих систем в інформаційно-технологічному середовищі їх використання;
етапів проектування програмних нейромережевих систем;
програмних засобів реалізації нейромережевих систем;
способів підвищення ефективності програмних нейромережевих систем;
Уміння:
розробка навчальних наборів даних для нейронних мереж;
проектування архітектури нейронної мережі;
розробка програмного забезпечення для реалізації та навчання нейронних мереж;
створення програмних додатків з використанням навчених нейронних мереж.
Пререквізити та постреквізити дисципліни (місце в структурно-логічній схемі навчання за відповідною освітньою програмою)
Пререквізити: вміти користуватися комп’ютером на рівні адміністратора, базові знання в області нейронних мереж, вміти програмувати мовою Payton.
Постреквізити: проектування та реалізація програмних засобів з використанням нейромережевих додатків.
Після проходження дисципліни студенти зможуть реалізовувати програмні засоби з нейронними мережами та застосувати метод зворотного розповсюдження помилки для навчання нейронних мереж, застосовуйте процедури адаптивної швидкості навчання, такі як AdaGrad, RMSprop та Adam до зворотного розповсюдження для навчання нейронних мереж, застосовувати основні будівельні блоки TensorFlow, програмно реалізовувати нейронну мережу в TensorFlow, програмно реалізовувати нейронну мережу, яка добре працює на різних наборах даних, створювати набори даних для навчання нейронної мережі, застосовувати регуляризацію відсіву в TensorFlow, застосовувати нормалізацію пакетів у Tensorflow, програмно реалізовувати мережу за допомогою Keras.
Зміст навчальної дисципліни
1. Штучні нейронні мережі. Основні поняття.
2. Штучні нейронні мережі. Основні моделі.
3. Бібліотека Tensorflow для створення нейромережевих програмних систем.
4. Методи навчання ШНМ.
5. Самоорганізуючі карти Кохонена. Згорткові нейронні мережі.
6. Реалізація ШНМ програмними засобами Keras.
7. Методи навчання штучних нейронних мереж.
8. Огляд глибокого навчання. Мережі CCN.
9. Архітектури згорткових нейронних мереж.
10. Реалізація згорткових нейронних мереж засобами Keras.
11. Огляд моделі довготривалої короткочасної пам'яті Long Short-Term Memory.
12. Застосування моделі довготривалої короткочасної пам'яті..
13. Реалізація моделі довготривалої короткочасної пам'яті. засобами Keras.
14. Методи створення текстових наборів даних.
15. Мережі трансформери.
16. Великі лінгвістичні моделі
Лекційні заняття
Розділ 1. Основні поняття штучних нейронних мереж
Розділ 2. Програмні засоби реалізації нейронних мереж
Розділ 3. Навчання нейронних мереж
Розділ 4. Основи Keras.
Розділ 5. Глибоке навчання
Лабораторні заняття
1. Парцептрон.
2. Реалізація базових архітектур нейронних мереж.
3. Нейронної мережі прямого розповсюдження для розпізнавання зображення.
4. Згорткові нейронні мережі.
5. Згорткові нейронні мережі типу Inception для обробки зображень.
6. Згорткові нейронні мережі типу Xception для обробки відео.
7. Рекурентні нейронні мережі LSTM.
8. Нейронні мережі СNN-bi-LSTM для розпізнавання звуку.
Навчальні матеріали та ресурси
Базова література
Шаховська Н. Б. Системи штучного інтелекту: навчальний посібник /Н.Б. Шаховська, Р. М. Камінський, О. Б. Вовк. – Львів : Видавництво Львівської політехніки, 2018. – 392 с.
Зайченко Ю.П. Основи проектування інтелектуальних систем. Навчальний посібник / Ю.П. Зайченко. – К.: Слово, 2004. – 352 с.
Кутковецький В.Я. Розпізнавання образів: Навчальний посібник / В.Я. Кутковецький. – Миколаїв: Вид-во МДГУ ім. П.Могили, 2017. – 420 с.
Antonio Gulli, Amita Kapoor, Sujit Pal. Deep Learning with TensorFlow 2 and Keras: Regression, ConvNets, GANs, RNNs, NLP, and more with TensorFlow 2 and the Keras API, 2nd Edition. – Birmingham, UK. Packt Publishing. 2019, 646 p.
KC Tung. TensorFlow 2 Pocket Reference: Building and Deploying Machine Learning Models 1st Edition. - USA. O'Reilly Media. 2021. 253 p.
Допоміжна література
Alzubaidi, L., Zhang, J., Humaidi, A.J. et al. Review of deep learning: concepts, CNN architectures, challenges, applications, future directions. J Big Data 8, 53 (2021). https://doi.org/10.1186/s40537-021-00444-8
Khan, A., Sohail, A., Zahoora, U. et al. A survey of the recent architectures of deep convolutional neural networks. Artif Intell Rev 53, 5455–5516 (2020). https://doi.org/10.1007/s10462-020-09825-6
-
- Jiao et al., "A Survey of Deep Learning-Based Object Detection," in IEEE Access, vol. 7, pp. 128837-128868, 2019, https://doi.org/10.1109/ACCESS.2019.2939201.
Sun, Xiaofei & Yang, Diyi & Li, Xiaoya & Zhang, Tianwei & Meng, Yuxian & Han, Qiu & Wang, Guoyin & Hovy, Eduard & Li, Jiwei. (2021). Interpreting Deep Learning Models in Natural Language Processing: A Review. https://doi.org/10.48550/arXiv.2110.10470
-
- Yu, X. Si, C. Hu and J. Zhang, "A Review of Recurrent Neural Networks: LSTM Cells and Network Architectures," in Neural Computation, vol. 31, no. 7, pp. 1235-1270, July 2019, doi: 10.1162/neco_a_01199.
Benjamin Planche, Eliot Andres. Hands-On Computer Vision with TensorFlow 2: Leverage deep learning to create powerful image processing apps with TensorFlow 2.0 and Keras. - Packt Publishing. 2019. 372 p.
Rowel Atienza. Advanced Deep Learning with TensorFlow 2 and Keras: Apply DL, GANs, VAEs, deep RL, unsupervised learning, object detection and segmentation, and more, 2nd Edition. - Packt Publishing. 2020. 512 p.
Thushan Ganegedara, Andrei Lopatenko. Natural Language Processing with TensorFlow: The definitive NLP book to implement the most sought-after machine learning models and tasks, 2nd Edition. - Packt Publishing. 2022. 514 p.
Ashish Bansal. Advanced Natural Language Processing with TensorFlow 2: Build effective real-world NLP applications using NER, RNNs, seq2seq models, Transformers, and more. - Packt Publishing. 2021. 380 p.
Cuantum Technologies. Generative Deep Learning with Python: Unleashing the Creative Power of AI (Masteting AI and Python). - Cuantum Technologies. 2023. 363 p.
Навчальний контент
Методика опанування навчальної дисципліни (освітнього компонента)
Лекційні заняття
| № з/п | Назва теми лекції та перелік основних питань (перелік дидактичних засобів, посилання на літературу та завдання на СРС) |
|---|---|
| 1 | Тема 1.1. Структура та зміст курсу. РСО. Тема 1.2. Загальні поняття дисципліни. Штучні нейронні мережі. Основні поняття. Лекція 1. Штучні нейронні мережі. Основні поняття. Структура дисципліни «Програмні засоби проектування та реалізації нейромережевих систем», РСО. Нейронні мережі і штучний інтелект. Визначання нейронної мережі. Розвиток нейронних мереж. Реалізації нейронних мереж. Основні властивості нейронних мереж. Переваги нейронних мереж. Недоліки нейронних мереж. Завдання, які вирішуються нейронними мережами. Біологічний нейрон. Штучний нейрон. Функції активації. Типи нейромереж і їх класифікація. Література: [2, Гл.1], [3, Гл.1] Завдання на СРС. Сучасні функції активації штучних нейронів. |
| 2 | Тема 1.3. Огляд основних концепцій. Тема 2.1. Штучні нейронні мережі. Основні моделі Лекція 2. Штучні нейронні мережі. Основні моделі Класифікація нейронних мереж. Парцептрон. Багатошарові нейронні мережі прямого поширення. Каскадні нейронні мережі. Динамічні багатошарові нейронні мережі. Рециркуляційні нейронні мережі. Нейронна мережа Хопфілда. Нейронна мережа Елмана. RBF-мереж. Вибір структури нейронної мережі. Література: [1, Гл.1], [3, Гл.1] Завдання на СРС. Методи підбору структури нейронної мережі. |
| 3 | Тема 2.2. Програмні засоби реалізації нейронних мереж Лекція 3. Бібліотека Tensorflow.
Література: [1, Гл.1.1.2; Гл.3], [3, Гл.1] Завдання на СРС. Налаштування роботи Tensorflow з GPU |
| 4 | Тема 3.1. Навчання нейронних мереж Лекція 4. Методи навчання ШНМ. Поняття навчання ШНМ. Стратегії навчання ШНМ. Навчання з вчителем. Навчання без вчителя. Навчання з частковим залученням вчителя. Навчання з підкріпленням. Алгоритми навчання. Метод зворотного поширення помилки. Недоліки алгоритму. Література: [1, Гл.5], [3, Гл.6] Завдання на СРС. |
| 5 | Тема 3.2. Навчання нейронних мереж. Лекція 5. Штучні нейронні мережі. Основні моделі.
Література: [1, Гл.14], [3, Гл.6;Гл.9], [6, Гл.2] Завдання для СРС. Квантування навчального вектора. Мережа зустрічного поширення. |
| 6 | Тема 4.1. Основи Keras Лекція 6. Реалізація ШНМ програмними засобами Keras.
Література: [1, Гл.5;Гл.6], [3, Гл.10], [6, Гл.3;Гл.4] Завдання для СРС. Огляд та аналіз прикладів побудованих нейромережевих систем в програмному пакеті Keras. |
| 7 | Тема 5.1. Штучні нейронні мережі. Методи навчання. Лекція 7. Штучні нейронні мережі. Методи навчання. Зворотне поширення в згорткових нейронних мережах. Взаємна кореляція. Згортка. Пряме поширення. Помилка. Зворотне поширення. Методи Гауса-Ньютона та Левенберга-Марквардта. Література: [1, Гл.12], [2, Л.6], [3, Гл.9] Завдання для СРС. Огляд та аналіз програмної реалізації зворотнього поширення в згорткових нейронних мережах |
| 8 | Тема 5.2. Глибоке навчання. Лекція 8. Огляд глибокого навчання. Мережі CCN
Література: [1, Гл.1;Гл.4], [2, Гл.4;Гл.5] Завдання для СРС. Програмні та апаратні платформи для реалізації методів глибокого навчання, огляд та аналіз прикладів реалізації; |
| 9 | Тема 5.3. Розпізнавання обличчя. Лекція 9. Архітектури згорткових нейронних мереж.
|
| 10 | Тема 5.4. Реалізація згорткових нейронних мереж засобами Keras Лекція 10. Реалізація згорткових нейронних мереж засобами Keras. Створення набору даних з зображень. Розмноження зображень з набору даних. Попередня обробка набору даних для навчання нейронної мережі – 2 способи. Розробка нейронної мережі. Навчання нейронної мережі та її збереження. Завантаження та робота з навченою нейронною мережею для обробки зображень та відео. Література: [7, Гл.2] |
| 11 | Тема 5.5. Навчальні дані. Лекція 11. Огляд глибокого навчання. Мережі CNN. Навчальні дані. Технологія трансферного навчання. Техніки розмноження зображень для навчання. Проблема незбалансованих даних. Interpretability of data. Uncertainty scaling. Model compression. Overfitting. Vanishing gradient problem. Exploding gradient problem. Underspecification. Applications of deep learning. Computational approaches. GPU‑based approach. FPGA‑based approach. Література: [7, Гл.4] Завдання для СРС. Бібліотеки по автоматизованому розмноженню навчальних даних з зображень. |
| 12 | Тема 5.6. Моделі довготривалої короткочасної пам'яті. Лекція 12. Огляд моделі довготривалої короткочасної пам'яті Long Short-Term Memory.
Література: [7, Гл.2;3] Завдання для СРС. Огляд та аналіз методів навчання моделі довготривалої короткочасної пам'яті. |
| 13 | Тема 5.6. Моделі довготривалої короткочасної пам'яті. Лекція 13. Застосування моделі довготривалої короткочасної пам'яті.
Література: [1, Гл.9], [2, Л.9], [3, Гл.10], [7, Гл.11]
|
| 14 | Тема 5.6. Моделі довготривалої короткочасної пам'яті. Лекція 14. Реалізація моделі довготривалої короткочасної пам'яті. засобами Keras. Створення набору даних з текстів. Розмноження текстів з набору даних. Попередня обробка набору даних для навчання нейронної мережі. Розробка нейронної мережі. Навчання нейронної мережі та її збереження. Завантаження та робота з навченою нейронною мережею для тексту. Література: [1, Гл.4], [2, Л.13] Завдання для СРС. Різниця між "нейронними мережами" та "глибоким навчанням"? |
| 15 | Тема 5.7. Лекція 15. Методи створення текстових наборів даних Основи, цілі і застосування додаткових даних. Методи доповнення даних. Простір даних. Рівень символів: ведення шуму; перетворення на основі правил. Рівень слова: ведення шуму; вбудовування заміни. Заміна мовними моделями: заміна синонімів, випадкова вставка, випадковий обмін, випадкове видалення, перестановка слів в реченні. Рівень фраз та речень: перетворення на основі структури; Інтерполяція; Рівень документу: обернений переклад. Генеративні методи. Комбінація методів аргументації. Завдання для СРС. Бібліотеки по автоматизованому розмноженню навчальних даних з текстів. |
| 16 | Тема 5.8. Мережі трансформери Лекція 16. Мережі трансформери Мережі трансформери. Структура нейронних мереж трансформерів, їх сфера застосування, набори даних. Огляд та аналіз програмних застосунків з мережами трансформерами. Література: [7, Гл.10], [8] Завдання для СРС. Механізм уваги для виявлення глобальних залежностей між вхідними даними і вихідними даними |
| 17 | Тема 5.8. Мережі трансформери Лекція 17. Великі лінгвістичні моделі Задачі що вирішуються великими лінгвістичними моделями. Архітектури великих лінгвістичних моделей. Навчання великих лінгвістичних моделей. Особливості програмної і апаратної реалізації. Література: [7, Гл.10], [8] Завдання для СРС. Огляд та аналіз програмних прикладів реалізації великих мовних моделей. |
| 18 | Лекція 18. МКР. Модульна-контрольна робота. Завдання для СРС. Повтор лекцій 1-17. |
**
**
Лабораторні заняття
| № | Назва лабораторної роботи | Кількість ауд. годин |
|---|---|---|
| 1 | Лабораторна робота 1. Парцептрон. Написати програму, що реалізує нейронну мережу Парцептрон та навчити її виконувати функцію XOR. Література: [3, Гл.2] |
4 |
| 2 | Лабораторна робота 2. Реалізація базових архітектур нейронних мереж. Написати програму, що реалізує нейронні мережі для моделювання функції двох змінних. Література: [3, Гл.2] |
2 |
| 3 | Лабораторна робота 3. Нейронної мережі прямого розповсюдження для розпізнавання зображення. Написати програму що реалізує нейронну мережу прямого розповсюдження для розпізнавання рукописних цифр. Література: [3, Гл.6] |
2 |
| 4 | Лабораторна робота 4. Згорткові нейронні мережі. Написати програму що реалізує згорткову нейронну мережу AlexNet для розпізнавання об’єктів з датасету CIFAR-10 Література: [7] |
2 |
| 5 | Лабораторна робота 5. Згорткові нейронні мережі типу Inception для обробки зображень Написати програму що реалізує згорткову нейронну мережу Inception V3 для розпізнавання об’єктів на зображеннях. Створити власний набір даних, навчити нейронну мережу на цьому наборі даних розпізнавати породу Вашої улюбленої собаки чи кота. Навчену нейронну мережу зберегти на комп’ютер написати програму, що відкриває та аналізує зображення. Література: [7], [8] |
2 |
| 6 | Лабораторна робота 6. Згорткові нейронні мережі типу Xception для обробки відео. Написати програму що реалізує згорткову нейронну мережу Xception для розпізнавання об’єктів на відео. Створити власний дата сет з папки на диску, навчити нейронну мережу на цьому датасеті розпізнавати логотип вашого улюбленого бренду, скажімо Apple чи BMW. Навчену нейронну мережу зберегти на комп’ютер написати програму, що відкриває та аналізує відео, результат – час на якому з’являвся логотип. Література: [7] |
2 |
| 7 | Лабораторна робота 7. Рекурентні нейронні мережі LSTM Написати програму, що реалізує рекурентну нейронну мережу LSTM для розпізнавання емоційного забарвлення тексту, використати датасет Yelp Dataset |
2 |
| 8 | Лабораторна робота 8. Нейронні мережі СNN-bi-LSTM для розпізнавання звуку Написати програму, що реалізує нейронну мережу типу СNN-bi-LSTM для розпізнавання мови в текст. |
2 |
Самостійна робота студента/аспіранта
|
Назва теми, що виноситься на самостійне опрацювання | Кількість годин СРС |
|---|---|---|
| 1 | Рекурентні нейронні мережі – загальні поняття, види, моделі. | 6 |
| 2 | Бази Iris, CIFAR-10, ImageNet, ADE20K, Coco, Fashion-MNIST, Boston housing – детальний розгляд, порівняльний аналіз застосування в різних системах | 6 |
| 3 | Створення бази навчальних даних для нейронної мережі. | 8 |
| 4 | Порівняння програмних реалізацій методів навчання і їх швидкості. | 8 |
| 5 | Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Theano. | 6 |
| 6 | Огляд та аналіз побудованих нейромережевих систем в програмному пакеті TensorFlow. | 10 |
| 7 | Прискорення роботи пакетів Theano та Tensorflow на GPU | 6 |
| 8 | Огляд та аналіз програмних нейромережевих проектів по реалізації систем розпізнавання облич. | 8 |
| 9 | Самостійно опанувати матеріали по перспективах шуму. | 8 |
| 10 | Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Keras. | 8 |
| 11 | Огляд та наліз програмних продуктів реалізації нейромережевих систем CNTK та MXNet | 8 |
| 12 | Різниця між "нейронними мережами" та "глибоким навчанням"? | 8 |
| 13 | Методи навчання нейронних мереж | 8 |
| 14 | Механізм уваги для виявлення глобальних залежностей між вхідними даними і вихідними даними | 4 |
| 15 | Самостійно потренуватись та опанувати функції програмних додатків проектування та реалізації нейронних мереж | 6 |
| 16 | Підготовка до заліку по всьому матеріалу модуля. | 10 |
| Всьго годин СРС | 126 |
Політика та контроль
Політика навчальної дисципліни (освітнього компонента)
Система вимог, які ставляться перед студентом:
відвідування лекційних та лабораторних занять є обов’язковою складовою вивчення матеріалу;
на лекції викладач користується власним презентаційним матеріалом; використовує автоматизовану інформаційну системау «Електронний кампус» для викладання матеріалів лекцій, додаткових ресурсів, лабораторних робіт та інше; викладач створює групу в Telegram для консультацій зі студентами, скидання електронних лабораторних звітів та відповідей на МКР;
на лекції заборонено відволікати викладача від викладання матеріалу, усі питання, уточнення та ін. студенти задають в кінці лекції у відведений для цього час;
лабораторні роботи захищаються у два етапи – перший етап: студенти виконують завдання на допуск до захисту лабораторної роботи; другий етап – захист лабораторної роботи. Бали за лабораторну роботу враховуються лише за наявності електронного звіту;
заохочувальні бали виставляються за: активну участь на лекціях; участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць; презентацій по одній із тем СРС дисципліни тощо. Кількість заохочуваних балів на більше 10;
штрафні бали виставляються за: невчасну здачу лабораторної роботи. Кількість штрафних балів не більше 10.
Види контролю та рейтингова система оцінювання результатів навчання (РСО)
Рейтинг студента з дисципліни складається з балів, що він отримує за:
виконання та захист 8 лабораторних робіт;
виконання модульної контрольної роботи (МКР);
заохочувальні та штрафні бали.
Система рейтингових балів та критерії оцінювання
Лабораторні роботи:
«відмінно», повна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 10 балів;
«добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 9/7 бали;
«задовільно», неповна відповідь на питання під час захисту (не менш ніж 60% потрібної інформації), незначні помилки та оформлений належним чином електронний протокол до лабораторної роботи – 6/5 бал;
«незадовільно», незадовільна відповідь та/або не оформлений належним чином електронний протокол до лабораторної роботи – 0 балів.
За запізнення з поданням лабораторної роботи до захисту від встановленого терміну, а саме запізнення зі здачею лабораторної більше ніж на одне заняття, оцінка знижується на 1 бал.
Модульна контрольні роботи:
«відмінно», повна виконання завдання (не менш ніж 90% потрібної інформації в звіті до МКР) – 20 балів;
«добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), або повна відповідь з незначними помилками – 16-18 балів;
«задовільно», неповна відповідь (але не менш ніж 60% потрібної інформації) та незначні помилки – 10-16 бали;
«незадовільно», незадовільна відповідь (неправильний розв’язок задачі), потребує обов’язкового повторного написання в кінці семестру – 0 балів.
Заохочувальні бали
– за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо); за активну роботу на лекції (питання, доповнення, зауваження за темою лекції, коли лектор пропонує студентам задати свої питання) 1-2 бали, але в сумі не більше 10;
– презентації по СРС – від 1 до 5 балів.
Міжсесійна атестація
За результатами навчальної роботи за перші 7 тижнів максимально можлива кількість балів – 20 балів (2 лабораторні). На першій атестації (8-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 10 балів.
За результатами 13 тижнів навчання максимально можлива кількість балів – 40 балів (4 лабораторні). На другій атестації (14-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 30 балів.
Максимальна сума вагових балів контрольних заходів протягом семестру складає:
RD = 8*rлаб+rмкр=8*10+20 (rз - rш)=100 + (rз - rш),
де rлаб – бал за лабораторну роботу (0…10);
rмкр – бал за написання МКР (0…20);
rз – заохочувальні бали за активну участь на лекціях, презентації, участь в олімпіадах, конкурсі роботи, наукові роботи за тематикою дисципліни (0…10);
rзш – штрафні бали.
Залік:
Умовою отримання заліку є зарахування всіх лабораторних робіт, написання модульних контрольних робіт та стартовий рейтинг не менше 42 бали.
На заліку студенти виконують письмову контрольну роботу. Кожен білет містить три теоретичних запитання (завдання). Перелік теоретичних питань наведений у додатку 1. Кожне запитання (завдання) оцінюється у 15 балів.
Система оцінювання питань:
«відмінно», повна відповідь, не менше 90% потрібної інформації, що виконана згідно з вимогами до рівня «умінь», (повне, безпомилкове розв’язування завдання) – 14-15 балів;
«добре», достатньо повна відповідь, не менше 75% потрібної інформації, що виконана згідно з вимогами до рівня «умінь або є незначні неточності (повне розв’язування завдання з незначними неточностями) – 10-14 балів;
«задовільно», неповна відповідь, не менше 60% потрібної інформації, що виконана згідно з вимогами до «стереотипного» рівня та деякі помилки (завдання виконане з певними недоліками) – 7-9 бали;
«незадовільно», відповідь не відповідає умовам до «задовільно» – 0-6 балів.
Сума балів за залікову контрольну роботу переводиться до залікової оцінки згідно з таблицею:
Таблиця 1. Переведення рейтингових балів до оцінок за університетською шкалою
| Кількість балів | Оцінка |
|---|---|
| 100-95 | Відмінно |
| 94-85 | Дуже добре |
| 84-75 | Добре |
| 74-65 | Задовільно |
| 64-60 | Достатньо |
| Менше 60 | Незадовільно |
Є не зараховані лабораторні роботи або не зарахована модульна контрольна робота |
Не допущено |
Додаткова інформація з дисципліни (освітнього компонента)
перелік теоретичних питань, які виносяться на семестровий контроль наведено в Додатку 1;
на початку семестру викладач аналізує існуючі курси по тематиці дисципліни та пропонує пройти відповідні безкоштовні курси студентам. Після отриманням студентом сертифікату проходження дистанційних чи онлайн курсів за відповідною тематикою, викладач закриває відповідну частину курсу (лабораторні чи лекції) за попередньою домовленістю з групою.
Робочу програму навчальної дисципліни (Силабус):
Складено к.т.н., доц.., Шимкович Володимир Миколайович
Ухвалено кафедрою ІСТ (протокол № 16 від 12.06.2024 р.)
Погоджено Методичною комісією факультету[1] (протокол № 10 від 21.06.2024 р.)
Додаток 1
Перелік теоретичних питань на залік по першій частині курсу
1. Властивості штучних нейронних мереж.
2. Структура та опис штучного нейрона.
3. Функції активації штучного нейрона.
4. Види штучних нейронних мереж
5. Нейронна мережа прямого розповсюдження, її архітектура та властивості.
6. Рекурентні нейронні мережі їх структура, функції активації та властивості.
7. Радіально-базистні нейронні мережі їх структура, функції активації та властивості.
8. Нейронна мережа Парцептрон. Структура, функції активації та властивості.
9. Набір даних для навчання нейронних мереж MNIST та встановлення лінійного еталону.
10. Бази Iris, CIFAR-10, ImageNet, ADE20K,– детальний розгляд, порівняльний аналіз застосування в різних системах.
11. Coco, Fashion-MNIST, Boston housing – детальний розгляд, порівняльний аналіз застосування в різних системах.
12. Принцип створення навчальних баз даних для нейронних мереж. Вибір інформативних ознак.
13. Імпульс та швидкість адаптивного навчання: використання імпульсу для прискорення навчання.
14. Імпульс Нестерова; імпульс у коді; змінні та адаптивні темпи навчання.
15. Постійна швидкість навчання проти RMSP код у коді.
16. Оптимізація Адама, адам у коді, вікно пропозицій.
18. Вибір гіперпараметра.
19. Оптимізація гіперпараметрів: перехресна перевірка, пошук сітки та випадковий пошук, вибірка логарифмічно, пошук сітки в коді, зміна пошуку сітки, випадковий пошук у коді.
20. Загальна характеристика Методів навчання ШНМ.
21. Зникаючі та вибухові градієнти в методах навчання ШНМ.
22. Локальні проти глобальних мінімумів в методах навчання ШНМ.
23. Порівняння програмних реалізацій методів навчання і їх швидкості.
24. Основи Theano: змінні, функції, вирази, оптимізація.
25. побудова нейронної мережі в Theano.
26. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Theano.
27. Основи TensorFlow: змінні, функції, вирази, оптимізація.
28. Побудова нейронної мережі в TensorFlow.
29. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті TensorFlow.
28. Реалізація нейромережевих систем на паралельних обчислювальних системах.
29. Прискорення програмного продукту за допомогою графічного процесора.
30. Чи можна використовувати великі дані для прискорення зворотного розповсюдження?
31. Прискорення роботи пакетів Theano та Tensorflow на GPU.
32. Опис проблеми розпізнавання обличчя.
33. ШНМ на основі класу в Theano.
34. ШНМ на основі класу в TensorFlow.
35. Зміст проекту щодо розпізнавання обличчя.
36. Огляд та аналіз програмних нейромережевих проектів по реалізації систем розпізнавання облич.
37. Сучасні методи регуляризації..
38. Регуляризація відсіву, інтуїція відсіву, ін’єкція шуму.
39. Теорія нормалізації партії.
40. Експоненціально згладжені середні показники.
41. Тензор потоку нормалізації партії.
42. Theano та TensorFlow нормалізації партії.
43. Основи Keras.
44. Keras у коді, функціональний API Keras.
45. Як легко перетворити Keras у код Tensorflow 2.0.
46. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Keras.
47. Основи PyTorch.
48. Випадання PyTorch;
49. Норма партії PyTorch.
50. Огляд та наліз програмних продуктів реалізації нейромережевих систем CNTK
51. Огляд та наліз програмних продуктів реалізації нейромережевих систем MXNet
52. Види глибоких нейронних мереж.
53. Відмінності глибокого навчання та ШНМ.
54. Згорткові нейронні мережі, їх архітектура, принцип дії, властивості.
55. Глибокі ймовірнісні нейронні мережі, їх архітектура, принцип дії, властивості.
56. Глибокі нечіткі нейронні мережі, їх архітектура, принцип дії, властивості.
57. Генеративні змагальні мережі, їх архітектура, принцип дії, властивості.
58. Мережі глибокого автоматичного кодування, їх архітектура, принцип дії, властивості.
59. Глибокі згорткові нейронні мережі.
60. Паралелізація обчислень при реалізації згорткових нейронних мереж.
61. Методи навчання глибоких нейронних мереж їх загальна характеристика.
62. Вибір швидкості навчання при програмній реалізації.
63. Покарання за регуляризацію вручну швидкості.
64. Структура нейронних мереж трансформерів
65. Сфера застосування нейронних мереж трансформерів
66. Огляд та аналіз програмних застосунків з мережами трансформерами
67. Механізм уваги для виявлення глобальних залежностей між вхідними даними і вихідними даними
[1] Методичною радою університету – для загальноуніверситетських дисциплін.
