Проєктування та дослідження програмних систем зі штучним інтелектом - Робоча програма навчальної дисципліни (Силабус)
Реквізити навчальної дисципліни
| Рівень вищої освіти | Перший (бакалаврський) |
| Галузь знань | 12 Інформаційні технології |
| Спеціальність | 126 Інформаційні системи та технології |
| Освітня програма | Інтегровані інформаційні системи, Інформаційні управляючі системи та технології |
| Статус дисципліни | Навчальна дисципліна професійної та практичної підготовки (за вибором студентів) |
| Форма навчання | очна(денна)/дистанційна |
| Рік підготовки, семестр | 3 курс, весняний семестр |
| Обсяг дисципліни | 180 годин (36 годин – Лекції, 18 годин – Лабораторні, 126 годин – СРС) |
| Семестровий контроль/ контрольні заходи | Залік/залікова робота |
| Розклад занять | http://rozklad.kpi.ua |
| Мова викладання | Українська |
| Інформація про керівника курсу / викладачів | Лектор, лабораторні: к.т.н., доцент Шимкович Володимир Михайлович shymkovych.volodymyr@gmail.com Telegram: @volodymyr_shymkovych |
| Розміщення курсу | https://campus.kpi.ua |
Програма навчальної дисципліни
Опис навчальної дисципліни, її мета, предмет вивчання та результати навчання
Опис дисципліни. При вивченні даної дисципліни, студенти вивчать теоретичні основи нейронних мереж та отримають початковий досвід в розробці програмного забезпечення, що реалізує нейромережеві технології. На лабораторних заняттях отримають початковий досвід створення програмних систем на основі нейронних мереж. Проведуть розробку та дослідження нейромережевих систем різного призначення за допомогою мові програмування Payton та бібліотек TensorFlow і Keras. В курсі передбачений контроль якості отриманих знань у вигляді експрес завдань за допомогою програмних пакетів контрольних та модульних контрольних робіт.
Предмет навчальної дисципліни: основні поняття нейромережевих систем, введення в нейронні мережі, топології та види нейронних мереж, згорткові нейронні мережі, програмні засоби реалізації та дослідження нейромережевих систем на Payton та бібліотек TensorFlow і Keras.
Міждисциплінарні зв’язки. Дисципліна Програмні засоби проектування та реалізації нейромережевих систем базується на дисциплінах: Програмування – 1. Основи програмування; Програмування – 2. Структури даних та алгоритми; Технології розроблення програмного забезпечення.
- Мета навчальної дисципліни. Підготовка висококваліфікованих фахівців, які володіють основними поняттями нейромережевої теорії, термінами нейромережевих систем, структурою та властивостями нейромережевих систем, методами навчання нейромережевих систем, базами даних для навчання нейромережевих систем, етапами проектування програмних нейромережевих систем, програмними засобів реалізації нейромережевих систем, способів підвищення ефективності програмних нейромережевих систем
Основні завдання навчальної дисципліни
Знання:
структура та властивості нейронних мереж;
методи навчання нейронних мереж;
бази даних для навчання нейромережевих систем;
ролі та місця нейромережевих систем в інформаційно-технологічному середовищі їх використання;
етапів проектування програмних нейромережевих систем;
програмних засобів реалізації нейромережевих систем;
способів підвищення ефективності програмних нейромережевих систем;
Уміння:
застосувати метод зворотного розповсюдження помилки для навчання нейронних мереж;
застосовуйте процедури адаптивної швидкості навчання, такі як AdaGrad, RMSprop та Adam до зворотного розповсюдження для навчання нейронних мереж;
застосовувати основні будівельні блоки TensorFlow;
програмно реалізовувати нейронну мережу в TensorFlow
програмно реалізовувати нейронну мережу, яка добре працює на наборі даних MNIST;
застосовувати регуляризацію відсіву в TensorFlow;
застосовувати нормалізацію пакетів у Tensorflow;
програмно реалізовувати мережу за допомогою Keras
Пререквізити та постреквізити дисципліни (місце в структурно-логічній схемі навчання за відповідною освітньою програмою)
Пререквізити: вміти користуватися комп’ютером на рівні адміністратора, вміти працювати з віртуальними машинами (створювати, налаштовувати, модифікувати), базові знання в області нейронних мереж, вміти програмувати мовою Payton.
Постреквізити: проектування та реалізація програмних засобів з використанням нейромережевих додатків.
Після проходження дисципліни студенти зможуть реалізовувати програмні засоби з нейронними мережами та застосувати метод зворотного розповсюдження помилки для навчання нейронних мереж, застосовуйте процедури адаптивної швидкості навчання, такі як AdaGrad, RMSprop та Adam до зворотного розповсюдження для навчання нейронних мереж, застосовувати основні будівельні блоки TensorFlow, програмно реалізовувати нейронну мережу в TensorFlow, програмно реалізовувати нейронну мережу, яка добре працює на різних наборах даних, створювати набори даних для навчання нейронної мережі, застосовувати регуляризацію відсіву в TensorFlow, застосовувати нормалізацію пакетів у Tensorflow, програмно реалізовувати мережу за допомогою Keras.
Зміст навчальної дисципліни
1. Огляд основних концепцій. Набір даних MNIST та встановлення лінійного еталону.
2. Градієнтний спуск: повний, пакетний, стохастичний. Реалізація градієнтного спуску в коді;
3. Імпульс та швидкість адаптивного навчання: використання імпульсу для прискорення навчання; імпульс Нестерова; імпульс у коді; змінні та адаптивні темпи навчання; постійна швидкість навчання проти RMSP код у коді; оптимізація Адама; адам у коді; вікно пропозицій;
4. Вибір гіперпараметра. Оптимізація гіперпараметрів: перехресна перевірка, пошук сітки та випадковий пошук; вибірка логарифмічно; пошук сітки в коді; зміна пошуку сітки; випадковий пошук у коді.
5. Вступ до ініціалізації ваг, зникаючі та вибухові градієнти, локальні проти глобальних мінімумів.
6. Основи TensorFlow: змінні, функції, вирази, оптимізація; побудова нейронної мережі в TensorFlow;
7. Прискорення програмного продукту за допомогою графічного процесора. Налаштування графічного процесора на веб-сервісах Amazon, встановлення бібліотек глибокого навчання з прискореним графічним процесором NVIDIA на домашньому комп’ютері. Чи можна використовувати великі дані для прискорення зворотного розповсюдження? Як покращити ваші навички Theano та Tensorflow;
8. Розпізнавання обличчя. Вступ до проекту розпізнавання обличчя, опис проблеми розпізнавання обличчя. ШНМ на основі класу в Theano. ШНМ на основі класу в TensorFlow. Зміст проекту щодо розпізнавання обличчя.
9. Сучасні методи регуляризації. Регуляризація відсіву, інтуїція відсіву, ін’єкція шуму.
10. Нормалізація партії. Експоненціально згладжені середні показники. Теорія нормалізації партії. Тензор потоку нормалізації партії. Theano нормалізації партії; Перспектива шуму.
11. Основи Keras. Keras у коді, функціональний API Keras. Як легко перетворити Keras у код Tensorflow 2.0.
12. Основи PyTorch. Випадання PyTorch; Норма партії PyTorch.
13. PyTorch, CNTK та MXNet
14. Глибоке навчання. Яка різниця між "нейронними мережами" та "глибоким навчанням"?
15. Вибір швидкості навчання та покарання за регуляризацію вручну.
16. Як встановити Numpy, Scipy, Matplotlib, Pandas, IPython, Theano та TensorFlow
Лекційні заняття
Розділ 1. Загальні положення
Розділ 2. Нейронні мережі та їх властивості. Вступ
Розділ 3. Методи навчання нейронних мереж та набори даних для навчання
Розділ 4. Введення в програмні пакети реалізації ШНМ.
Розділ 5. Основи Theano
Розділ 6. Основи TensorFlow
Розділ 7. Основи Keras
Лабораторні заняття
1. Аналіз предметної області.
2. Побудова структурної схеми нейромережевої системи.
3. Побудова моделі даних для навчання нейронної мережі.
4. Реалізація ШНМ за допомогою спеціалізованих програмних пакетів.
5. Реалізація навчання ШНМ за допомогою спеціалізованих програмних пакетів.
6. Розробка програмного продукту з використанням навченої ШНМ.
7. Підготовка звіту по розробленій нейромережевій програмній системі.
Навчальні матеріали та ресурси
Базова література
Шаховська Н. Б. Системи штучного інтелекту: навчальний посібник /Н.Б. Шаховська, Р. М. Камінський, О. Б. Вовк. – Львів : Видавництво Львівської політехніки, 2018. – 392 с.
Зайченко Ю.П. Основи проектування інтелектуальних систем. Навчальний посібник / Ю.П. Зайченко. – К.: Слово, 2004. – 352 с.
Кутковецький В.Я. Розпізнавання образів: Навчальний посібник / В.Я. Кутковецький. – Миколаїв: Вид-во МДГУ ім. П.Могили, 2017. – 420 с.
Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудинского. – М.: Горячая линия – Телеком, 2007. – 452 с.
Deep Learning with TensorFlow 2 and Keras: Regression, ConvNets, GANs, RNNs, NLP, and more with TensorFlow 2 and the Keras API, 2nd Edition Paperback – December 27, 2019. by. Antonio Gulli (Author)
Допоміжна література
Кравец П.И., Шимкович В.Н. Метод оптимизации весовых коэффициентов нейронных сетей с помощью генетического алгоритма при реализации на программируемых логических интегральных схемах / Международный научно-технический журнал «Электронное моделирование». – 2013. – 35, №3. – С. 65-75.
Li, Zewen & Yang, Wenjie & Peng, Shouheng & Liu, Fan. (2020). A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects.
Chen, Xiaoxue & Jin, Lianwen & Zhu, Yuanzhi & Luo, Canjie & Wang, Tianwei. (2020). Text Recognition in the Wild: A Survey.
Yang YX, Wen C, Xie K, Wen FQ, Sheng GQ, Tang XG. Face Recognition Using the SR-CNN Model. Sensors (Basel). 2018;18(12):4237. Published 2018 Dec 3. doi:10.3390/s18124237
Kocić J, Jovičić N, Drndarević V. An End-to-End Deep Neural Network for Autonomous Driving Designed for Embedded Automotive Platforms. Sensors. 2019; 19(9):2064.
-
- Kumar, S. Verma and H. Mangla, "A Survey of Deep Learning Techniques in Speech Recognition," 2018 International Conference on Advances in Computing, Communication Control and Networking (ICACCCN), Greater Noida (UP), India, 2018, pp. 179-185, doi: 10.1109/ICACCCN.2018.8748399.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin Attention is All you Need. Part of Advances in Neural Information Processing Systems 30 (NIPS 2017)
Thierry Bouwmans, Sajid Javed, Soon Ki Jung. Deep neural network concepts for background subtraction:A systematic review and comparative evaluation. Neural Networks. Volume 117, September 2019, Pages 8-66
Навчальний контент
Методика опанування навчальної дисципліни (освітнього компонента)
Лекційні заняття
| № з/п | Назва теми лекції та перелік основних питань (перелік дидактичних засобів, посилання на літературу та завдання на СРС) |
|---|---|
| 1 | Тема 1.1. Структура та зміст курсу. РСО. Тема 1.2. Загальні поняття дисципліни. Типи штучних нейронних мереж. Лекція 1. Вступ. Загальні поняття. Штучний нейрон. Типи штучних нейронних мереж. Структура дисципліни «Програмні засоби проектування та реалізації нейромережевих систем», РСО. Загальні поняття галузі штучних нейронних мереж. Властивості ШНМ. Структура та принцип дії штучного нейрона. Типи штучних нейронних мереж. Література: [2, Гл.1], [3, Гл.1] Завдання на СРС. Рекурентні нейронні мережі – загальні поняття, види, моделі. |
| 2 | Тема 1.3. Огляд основних концепцій. Тема 2.1. Набір даних MNIST. Лекція 2. Огляд основних концепцій. Набір даних MNIST та встановлення лінійного еталону. Огляд основних концепцій побудови нейромережевих систем. Огляд та аналіз бази даних MNIST, аналіз результатів навчання на цій базі різних типів ШНМ. Література: [1, Гл.1], [3, Гл.1] Завдання на СРС. Бази Iris, CIFAR-10, ImageNet, ADE20K, Coco, Fashion-MNIST, Boston housing – детальний розгляд, порівняльний аналіз застосування в різних системах |
| 3 | Тема 2.2. Імпульс та швидкість адаптивного навчання. Лекція 3. Імпульс та швидкість адаптивного навчання.
Література: [1, Гл.1.1.2; Гл.3], [3, Гл.1] Завдання на СРС. Оптимізація Адама, адам у коді, вікно пропозицій. |
| 4 | Тема 3.1. Вибір гіперпараметра Лекція 4. Вибір гіперпараметра та оптимізація гіперпараметрів Вибір гіперпараметра. Оптимізація гіперпараметрів: перехресна перевірка, пошук сітки та випадковий пошук; вибірка логарифмічно; пошук сітки в коді; зміна пошуку сітки; випадковий пошук у коді. Література: [1, Гл.5], [3, Гл.6] |
| 5 | Тема 3.2. Навчання нейронних мереж. Лекція 5. Методи навчання ШНМ.
Література: [1, Гл.14], [3, Гл.6;Гл.9], [6, Гл.2] Завдання для СРС. Порівняння програмних реалізацій методів навчання і їх швидкості. |
| 6 | Тема 3.3. Основи Theano Лекція 6. Основи Theano.
Література: [1, Гл.5;Гл.6], [3, Гл.10], [6, Гл.3;Гл.4] Завдання для СРС. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Theano. |
| 7 | Тема 3.4. Основи TensorFlow. Лекція 7. Основи TensorFlow. Основи TensorFlow: змінні, функції, вирази, оптимізація; побудова нейронної мережі в TensorFlow; Література: [1, Гл.12], [2, Л.6], [3, Гл.9] Завдання для СРС. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті TensorFlow. |
| 8 | Тема 4.1. Реалізація нейромережевих систем на паралельних обчислювальних системах. Лекція 8. Реалізація нейромережевих систем на паралельних обчислювальних системах.
Література: [1, Гл.1;Гл.4], [2, Гл.4;Гл.5] Завдання для СРС. Прискорення роботи пакетів Theano та Tensorflow на GPU; |
| 9 | Тема 4.2. Розпізнавання обличчя. Лекція 9. Розпізнавання обличчя.
Завдання для СРС. Огляд та аналіз програмних нейромережевих проектів по реалізації систем розпізнавання облич. |
| 10 | Тема 5.1. Сучасні методи регуляризації Лекція 10. Сучасні методи регуляризації. Сучасні методи регуляризації. Регуляризація відсіву, інтуїція відсіву, ін’єкція шуму. Література: [7, Гл.2] |
| 11 | Тема 5.2. Нормалізація партії. Лекція 11. Нормалізація партії. Експоненціально згладжені середні показники. Теорія нормалізації партії. Тензор потоку нормалізації партії. Theano та TensorFlow нормалізації партії; Література: [7, Гл.4] Завдання для СРС. Самостійно опанувати матеріали по перспективах шуму. |
| 12 | Тема 5.3. Основи Keras. Лекція 12. Основи Keras.
Література: [7, Гл.2;3] Завдання для СРС. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Keras. |
| 13 | Тема 6.1. Основи PyTorch. Лекція 13. Основи PyTorch.
Література: [1, Гл.9], [2, Л.9], [3, Гл.10], [7, Гл.11]
|
| 14 | Тема 6.3. Глибокі нейронні мережі Лекція 14. Глибокі нейронні мережі та їх навчання Огляд та аналіз глибоких нейронних мереж. Методів їх навчання та програмних додатків з застосуванням глибоких нейронних мереж. Література: [1, Гл.4], [2, Л.13] Завдання для СРС. Різниця між "нейронними мережами" та "глибоким навчанням"? |
| 15 | Лекція 15. Модульна контрольна робота На контрольну роботу виноситься увесь попередній матеріал. Завдання включають теоретичну частину, тестове питання та практичну частини. Завдання для СРС. Повторити матеріал 1-14 лекцій. |
| 16 | Тема 7.1. Вибір швидкості навчання та покарання за регуляризацію вручну. Лекція 16. Вибір швидкості навчання Вибір швидкості навчання та покарання за регуляризацію вручну. Література: [7, Гл.10] Завдання для СРС. Методи навчання нейронних мереж |
| 17 | Тема 7.2. Мережі трансформери Лекція 17. Мережі трансформери Мережі трансформери. Структура нейронних мереж трансформерів, їх сфера застосування, набори даних. Огляд та аналіз програмних застосунків з мережами трансформерами. Література: [7, Гл.10], [8] Завдання для СРС. Механізм уваги для виявлення глобальних залежностей між вхідними даними і вихідними даними |
| 18 | Тема 7.3. Робота з програмними додатками Лекція 18. Робота з програмними додатками. Як встановити Numpy, Scipy, Matplotlib, Pandas, IPython, Theano та TensorFlow. Література: [7, Гл.8] Завдання для СРС. Самостійно потренуватись та опанувати функції програмних додатків проектування та реалізації нейронних мереж |
**
**
Лабораторні заняття
| № | Назва лабораторної роботи | Кількість ауд. годин |
|---|---|---|
| 1 | Лабораторна робота 1. Парцептрон. Написати програму, що реалізує нейронну мережу Парцептрон та навчити її виконувати функцію XOR. Література: [3, Гл.2] |
4 |
| 2 | Лабораторна робота 2. Реалізація базових архітектур нейронних мереж. Написати програму, що реалізує нейронні мережі для моделювання функції двох змінних. Література: [3, Гл.2] |
2 |
| 3 | Лабораторна робота 3. Нейронної мережі прямого розповсюдження для розпізнавання зображення. Написати програму що реалізує нейронну мережу прямого розповсюдження для розпізнавання рукописних цифр. Література: [3, Гл.6] |
2 |
| 4 | Лабораторна робота 4. Згорткові нейронні мережі. Написати програму що реалізує згорткову нейронну мережу AlexNet для розпізнавання об’єктів з датасету CIFAR-10 Література: [7] |
2 |
| 5 | Лабораторна робота 5. Згорткові нейронні мережі типу Inception Написати програму що реалізує згорткову нейронну мережу Inception V3 для розпізнавання об’єктів на зображеннях. Створити власний дата сет з папки на диску, навчити нейронну мережу на цьому датасеті розпізнавати породу Вашої улюбленої собаки чи кота. Навчену нейронну мережу зберегти на комп’ютер написати програму, що відкриває та аналізує зображення. Література: [7], [8] |
2 |
| 6 | Лабораторна робота 6. Згорткові нейронні мережі типу Xception. Написати програму що реалізує згорткову нейронну мережу Xception для розпізнавання об’єктів на відео. Створити власний дата сет з папки на диску, навчити нейронну мережу на цьому датасеті розпізнавати логотип вашого улюбленого бренду, скажімо Apple чи BMW. Навчену нейронну мережу зберегти на комп’ютер написати програму, що відкриває та аналізує відео, результат – час на якому з’являвся логотип. Література: [7] |
2 |
| 7 | Лабораторна робота 7. Рекурентні нейронні мережі LSTM Написати програму, що реалізує рекурентну нейронну мережу LSTM для розпізнавання емоційного забарвлення тексту, використати датасет Yelp Dataset |
2 |
| 8 | Лабораторна робота 8. Нейронні мережі СNN-bi-LSTM для розпізнавання звуку Написати програму, що реалізує нейронну мережу типу СNN-bi-LSTM для розпізнавання мови в текст. |
2 |
Самостійна робота студента/аспіранта
|
Назва теми, що виноситься на самостійне опрацювання | Кількість годин СРС |
|---|---|---|
| 1 | Рекурентні нейронні мережі – загальні поняття, види, моделі. | 6 |
| 2 | Бази Iris, CIFAR-10, ImageNet, ADE20K, Coco, Fashion-MNIST, Boston housing – детальний розгляд, порівняльний аналіз застосування в різних системах | 6 |
| 3 | Створення бази навчальних даних для нейронної мережі. | 8 |
| 4 | Порівняння програмних реалізацій методів навчання і їх швидкості. | 8 |
| 5 | Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Theano. | 6 |
| 6 | Огляд та аналіз побудованих нейромережевих систем в програмному пакеті TensorFlow. | 10 |
| 7 | Прискорення роботи пакетів Theano та Tensorflow на GPU | 6 |
| 8 | Огляд та аналіз програмних нейромережевих проектів по реалізації систем розпізнавання облич. | 8 |
| 9 | Самостійно опанувати матеріали по перспективах шуму. | 8 |
| 10 | Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Keras. | 8 |
| 11 | Огляд та наліз програмних продуктів реалізації нейромережевих систем CNTK та MXNet | 8 |
| 12 | Різниця між "нейронними мережами" та "глибоким навчанням"? | 8 |
| 13 | Методи навчання нейронних мереж | 8 |
| 14 | Механізм уваги для виявлення глобальних залежностей між вхідними даними і вихідними даними | 4 |
| 15 | Самостійно потренуватись та опанувати функції програмних додатків проектування та реалізації нейронних мереж | 6 |
| 16 | Підготовка до заліку по всьому матеріалу модуля. | 10 |
| Всьго годин СРС | 126 |
Політика та контроль
Політика навчальної дисципліни (освітнього компонента)
Система вимог, які ставляться перед студентом:
відвідування лекційних та лабораторних занять є обов’язковою складовою вивчення матеріалу;
на лекції викладач користується власним презентаційним матеріалом; використовує гугл-диск для викладання матеріалу поточної лекції, додаткових ресурсів, лабораторних робіт та інше; викладач відкриває доступ до певної директорії гугл-диска для скидання електронних лабораторних звітів;
на лекції заборонено відволікати викладача від викладання матеріалу, усі питання, уточнення та ін. студенти задають в кінці лекції у відведений для цього час;
лабораторні роботи захищаються у два етапи – перший етап: студенти виконують завдання на допуск до захисту лабораторної роботи; другий етап – захист лабораторної роботи. Бали за лабораторну роботу враховуються лише за наявності електронного звіту;
модульні контрольні роботи пишуться на лекційних заняттях без застосування допоміжних засобів (мобільні телефони, планшети та ін.); результат пересилається у файлі до відповідної директорії гугл-диску;
заохочувальні бали виставляються за: активну участь на лекціях; участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць; презентацій по одній із тем СРС дисципліни тощо. Кількість заохочуваних балів на більше 10;
штрафні бали виставляються за: невчасну здачу лабораторної роботи. Кількість штрафних балів не більше 10.
Види контролю та рейтингова система оцінювання результатів навчання (РСО)
Рейтинг студента з дисципліни складається з балів, що він отримує за:
виконання та захист 8 лабораторних робіт;
виконання модульньної контрольної робіти (МКР);
заохочувальні та штрафні бали.
Система рейтингових балів та критерії оцінювання
Лабораторні роботи:
«відмінно», повна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 10 балів;
«добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 9/7 бали;
«задовільно», неповна відповідь на питання під час захисту (не менш ніж 60% потрібної інформації), незначні помилки та оформлений належним чином електронний протокол до лабораторної роботи – 6/5 бал;
«незадовільно», незадовільна відповідь та/або не оформлений належним чином електронний протокол до лабораторної роботи – 0 балів.
За запізнення з поданням лабораторної роботи до захисту від встановленого терміну, а саме запізнення зі здачею лабораторної більше ніж на одне заняття, оцінка знижується на 2 бали.
Модульна контрольні роботи:
«відмінно», повна виконання завдання (не менш ніж 90% потрібної інформації в звіті до МКР) – 20 балів;
«добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), або повна відповідь з незначними помилками – 16-18 балів;
«задовільно», неповна відповідь (але не менш ніж 60% потрібної інформації) та незначні помилки – 10-16 бали;
«незадовільно», незадовільна відповідь (неправильний розв’язок задачі), потребує обов’язкового повторного написання в кінці семестру – 0 балів.
Заохочувальні бали
– за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо); за активну роботу на лекції (питання, доповнення, зауваження за темою лекції, коли лектор пропонує студентам задати свої питання) 1-2 бали, але в сумі не більше 10;
– презентації по СРС – від 1 до 5 балів.
Міжсесійна атестація
За результатами навчальної роботи за перші 7 тижнів максимально можлива кількість балів – 20 балів (2 лабораторні). На першій атестації (8-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 10 балів.
За результатами 13 тижнів навчання максимально можлива кількість балів – 70 балів (4 лабораторні, МКР). На другій атестації (14-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 40 балів.
Максимальна сума вагових балів контрольних заходів протягом семестру складає:
RD = 7*rлаб+rмкр=7*10+30 (rз - rш)=100 + (rз - rш),
де rлаб – бал за лабораторну роботу (0…10);
rмкр – бал за написання МКР (0…20);
rз – заохочувальні бали за активну участь на лекціях, презентації, участь в олімпіадах, конкурсі роботи, наукові роботи за тематикою дисципліни (0…10);
rзш – штрафні бали.
Залік:
Умовою отримання заліку є зарахування всіх лабораторних робіт, написання модульних контрольних робіт та стартовий рейтинг не менше 42 бали.
На заліку студенти виконують письмову контрольну роботу. Кожен білет містить три теоретичних запитання (завдання). Перелік теоретичних питань наведений у додатку 1. Кожне запитання (завдання) оцінюється у 15 балів.
Система оцінювання питань:
«відмінно», повна відповідь, не менше 90% потрібної інформації, що виконана згідно з вимогами до рівня «умінь», (повне, безпомилкове розв’язування завдання) – 14-15 балів;
«добре», достатньо повна відповідь, не менше 75% потрібної інформації, що виконана згідно з вимогами до рівня «умінь або є незначні неточності (повне розв’язування завдання з незначними неточностями) – 10-14 балів;
«задовільно», неповна відповідь, не менше 60% потрібної інформації, що виконана згідно з вимогами до «стереотипного» рівня та деякі помилки (завдання виконане з певними недоліками) – 7-9 бали;
«незадовільно», відповідь не відповідає умовам до «задовільно» – 0-6 балів.
Сума балів за залікову контрольну роботу переводиться до залікової оцінки згідно з таблицею:
Таблиця 1. Переведення рейтингових балів до оцінок за університетською шкалою
| Кількість балів | Оцінка |
|---|---|
| 100-95 | Відмінно |
| 94-85 | Дуже добре |
| 84-75 | Добре |
| 74-65 | Задовільно |
| 64-60 | Достатньо |
| Менше 60 | Незадовільно |
Є не зараховані лабораторні роботи або не зарахована модульна контрольна робота |
Не допущено |
Додаткова інформація з дисципліни (освітнього компонента)
перелік теоретичних питань, які виносяться на семестровий контроль наведено в Додатку 1;
на початку семестру викладач аналізує існуючі курси по тематиці дисципліни та пропонує пройти відповідні безкоштовні курси студентам. Після отриманням студентом сертифікату проходження дистанційних чи онлайн курсів за відповідною тематикою, викладач закриває відповідну частину курсу (лабораторні чи лекції) за попередньою домовленістю з групою.
Робочу програму навчальної дисципліни (Силабус):
Складено к.т.н., доц.., Шимкович Володимир Миколайович
Ухвалено кафедрою ІСТ (протокол № 13 від 15.06.2022 р.)
Погоджено Методичною комісією факультету[1] (протокол № 11 від 07.07.2022 р.)
Додаток 1
Перелік теоретичних питань на залік по першій частині курсу
1. Властивості штучних нейронних мереж.
2. Структура та опис штучного нейрона.
3. Функції активації штучного нейрона.
4. Види штучних нейронних мереж
5. Нейронна мережа прямого розповсюдження, її архітектура та властивості.
6. Рекурентні нейронні мережі їх структура, функції активації та властивості.
7. Радіально-базистні нейронні мережі їх структура, функції активації та властивості.
8. Нейронна мережа Парцептрон. Структура, функції активації та властивості.
9. Набір даних для навчання нейронних мереж MNIST та встановлення лінійного еталону.
10. Бази Iris, CIFAR-10, ImageNet, ADE20K,– детальний розгляд, порівняльний аналіз застосування в різних системах.
11. Coco, Fashion-MNIST, Boston housing – детальний розгляд, порівняльний аналіз застосування в різних системах.
12. Принцип створення навчальних баз даних для нейронних мереж. Вибір інформативних ознак.
13. Імпульс та швидкість адаптивного навчання: використання імпульсу для прискорення навчання.
14. Імпульс Нестерова; імпульс у коді; змінні та адаптивні темпи навчання.
15. Постійна швидкість навчання проти RMSP код у коді.
16. Оптимізація Адама, адам у коді, вікно пропозицій.
18. Вибір гіперпараметра.
19. Оптимізація гіперпараметрів: перехресна перевірка, пошук сітки та випадковий пошук, вибірка логарифмічно, пошук сітки в коді, зміна пошуку сітки, випадковий пошук у коді.
20. Загальна характеристика Методів навчання ШНМ.
21. Зникаючі та вибухові градієнти в методах навчання ШНМ.
22. Локальні проти глобальних мінімумів в методах навчання ШНМ.
23. Порівняння програмних реалізацій методів навчання і їх швидкості.
24. Основи Theano: змінні, функції, вирази, оптимізація.
25. побудова нейронної мережі в Theano.
26. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Theano.
27. Основи TensorFlow: змінні, функції, вирази, оптимізація.
28. Побудова нейронної мережі в TensorFlow.
29. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті TensorFlow.
28. Реалізація нейромережевих систем на паралельних обчислювальних системах.
29. Прискорення програмного продукту за допомогою графічного процесора.
30. Чи можна використовувати великі дані для прискорення зворотного розповсюдження?
31. Прискорення роботи пакетів Theano та Tensorflow на GPU.
32. Опис проблеми розпізнавання обличчя.
33. ШНМ на основі класу в Theano.
34. ШНМ на основі класу в TensorFlow.
35. Зміст проекту щодо розпізнавання обличчя.
36. Огляд та аналіз програмних нейромережевих проектів по реалізації систем розпізнавання облич.
37. Сучасні методи регуляризації..
38. Регуляризація відсіву, інтуїція відсіву, ін’єкція шуму.
39. Теорія нормалізації партії.
40. Експоненціально згладжені середні показники.
41. Тензор потоку нормалізації партії.
42. Theano та TensorFlow нормалізації партії.
43. Основи Keras.
44. Keras у коді, функціональний API Keras.
45. Як легко перетворити Keras у код Tensorflow 2.0.
46. Огляд та аналіз побудованих нейромережевих систем в програмному пакеті Keras.
47. Основи PyTorch.
48. Випадання PyTorch;
49. Норма партії PyTorch.
50. Огляд та наліз програмних продуктів реалізації нейромережевих систем CNTK
51. Огляд та наліз програмних продуктів реалізації нейромережевих систем MXNet
52. Види глибоких нейронних мереж.
53. Відмінності глибокого навчання та ШНМ.
54. Згорткові нейронні мережі, їх архітектура, принцип дії, властивості.
55. Глибокі ймовірнісні нейронні мережі, їх архітектура, принцип дії, властивості.
56. Глибокі нечіткі нейронні мережі, їх архітектура, принцип дії, властивості.
57. Генеративні змагальні мережі, їх архітектура, принцип дії, властивості.
58. Мережі глибокого автоматичного кодування, їх архітектура, принцип дії, властивості.
59. Глибокі згорткові нейронні мережі.
60. Паралелізація обчислень при реалізації згорткових нейронних мереж.
61. Методи навчання глибоких нейронних мереж їх загальна характеристика.
62. Вибір швидкості навчання при програмній реалізації.
63. Покарання за регуляризацію вручну швидкості.
64. Структура нейронних мереж трансформерів
65. Сфера застосування нейронних мереж трансформерів
66. Огляд та аналіз програмних застосунків з мережами трансформерами
67. Механізм уваги для виявлення глобальних залежностей між вхідними даними і вихідними даними
[1] Методичною радою університету – для загальноуніверситетських дисциплін.
