Методи та технології штучного інтелекту - Робоча програма навчальної дисципліни (Силабус)

Реквізити навчальної дисципліни

Рівень вищої освіти Перший (бакалаврський)
Галузь знань 12 Інформаційні технології
Спеціальність

121 Інженерія програмного забезпечення

123 Комп’ютерна інженерія

126 Інформаційні системи та технології
Освітня програма

Інженерія програмного забезпечення комп’ютерних систем

Інженерія програмного забезпечення інформаційних систем

Комп’ютерні системи та мережі

Інтегровані інформаційні системи

Інформаційні управляючі системи та технології

Інформаційне забезпечення робото технічних систем
Статус дисципліни Навчальна дисципліна професійної та практичної підготовки (за вибором студентів)
Форма навчання очна(денна)/заочна/дистанційна
Рік підготовки, семестр 3 курс, осінній семестр
Обсяг дисципліни 120 годин (36 годин – Лекції, 18 годин – Лабораторні, 66 годин – СРС)
Семестровий контроль/ контрольні заходи Залік/залікова робота
Розклад занять http://rozklad.kpi.ua/Schedules/ScheduleGroupSelection.aspx
Мова викладання Українська, Англійська
Інформація про
керівника курсу / викладачів

Лектор: к.т.н, доцент Шимкович Володимир Миколайович,

v.shymkovych@kpi.ua,

Telegram: @volodymyr_shymkovych

Лабораторні: к.т.н, доцент Шимкович Володимир Миколайович,

v.shymkovych@kpi.ua,

Telegram: @volodymyr_shymkovych
Розміщення курсу https://campus.kpi.ua

Програма навчальної дисципліни

Опис навчальної дисципліни, її мета, предмет вивчання та результати навчання

Опис дисципліни. При вивченні даної дисципліни, студенти вивчать теоретичні основи штучного інтелекту та отримають початковий досвід в розробці систем, що реалізують технології штучного інтелекту. На лабораторних заняттях отримають початковий досвід створення систем зі штучним інтелектом. Проведуть моделювання та дослідження таких технологій, як нечітка логіка, нейронні мережі та еволюційні алгоритми за допомогою мов програмування або систем автоматизованого проектування. В курсі передбачений контроль якості отриманих знань у вигляді експрес завдань за допомогою програмних пакетів контрольних та модульних контрольних робіт.

Предмет навчальної дисципліни: основні поняття, методи та технології штучного інтелекту, нечітка логіка та нечіткі множини, методи побудови нечітких систем керування та прийняття рішень, основні поняття нейронних мереж, топології нейронних мереж, методи навчання нейронних мереж, глибокі нейронні мережі, нейро-нечіткі системи, еволюційні та генетичні алгоритми.

Міждисциплінарні зв’язки. Дисципліна «Методи та технології штучного інтелекту» базується на дисциплінах: Спеціальні розділи математики-1. Дискретна математика; Теорія алгоритмів; Програмування – 1. Основи програмування; Програмування – 2. Структури даних та алгоритми; Технології розроблення програмного забезпечення.

Мета навчальної дисципліни. Підготовка висококваліфікованих фахівців, які володіють основними методами та технологіями штучного інтелекту, теорією нечітких множин, методами побудови нечітких систем, термінами нейромережевих систем, структурою та властивостями нейромережевих систем, парадигми та методами навчання нейромережевих моделей, принципами роботи та побудови нейро-нечітких систем, еволюційними та генетичними алгоритмами.

Основні завдання навчальної дисципліни

Знання:

  • основні поняття штучного інтелекту;

  • технології штучного інтелекту;

  • теорія нечітких множин, методи побудови нечітких систем;

  • теорія нейронних мереж, основні поняття та властивості;

  • різних архітектур нейронних мереж;

  • парадигми та методами навчання нейромережевих моделей;

  • принципами роботи та побудови нейро-нечітких систем;

  • еволюційними та генетичними алгоритмами;

Уміння:

  • застосувати операції над нечіткими множинами, будувати нечіткі моделі;

  • моделювати нечіткі системи керування та прийняття рішень;

  • реалізовувати нечіткі системи класифікації даних;

  • будувати та моделювати нейромережеві моделі різної архітектури;

  • застосовувати генетичні алгоритми для пошуку оптимальних рішень;

Пререквізити та постреквізити дисципліни (місце в структурно-логічній схемі навчання за відповідною освітньою програмою)

Пререквізити: вміти користуватися комп’ютером на рівні адміністратора, базові знання з теорії множин, базові знання з моделювання та програмування.

Постреквізити: проектування та реалізація технічних засобів з використанням штучного інтелекту.

Після проходження дисципліни студенти зможуть моделювати та досліджувати системи з нечіткою логікою, з нейронними мережами та застосувати метод зворотного розповсюдження помилки для навчання нейронних мереж, моделювати нейро-нечіткі системи, знаходити оптимальні рішення за допомогою еволюційних алгоритмів.

Зміст навчальної дисципліни

1. Структура дисципліни «Методи та технології штучного інтелекту», РСО. Поняття штучного інтелекту. Інтелект і його основні положення. Технології штучного інтелекту.

2. Нечітка інформація і вивід. Поняття нечіткої множини. Приклади запису нечіткої множини. Лінгвістична змінна. Основні характеристики нечітких множин. Операції над нечіткими множинами. Логічні операції над нечіткими множинами. Властивості операцій над нечіткими множинами.

3. Види функцій приналежності нечітких множин. Нечітка логіка в управлінні складними системами. Поняття нечіткої і лінгвістичної змінної.

4. Система нечіткого виводу. Фазифікація. Агрегування. Активізація. Акумуляція. Дефазифікація. Методи дефаззифікації. Нечіткий вивід Мамдані. Нечіткий вивід Цукамото. Нечіткий вивід Сугено. Спрощений алгоритм нечіткого виводу***.***

5. Нейронні мережі та штучний інтелект. Нейронна мережа. Розвиток нейронних мереж. Реалізації нейронних мереж. Основні властивості нейронних мереж. Переваги нейронних мереж. Недоліки нейронних мереж. Завдання, які вирішуються нейронними мережами. Біологічний нейрон. Штучний нейрон. Функції активації.

6. Класифікація нейронних мереж. Парцептрон. Основні поняття теорії перцептроні. Багатошарові нейронні мережі прямого поширення. Каскадні нейронні мережі. Динамічні багатошарові нейронні мережі. Рециркуляційні нейронні мережі. Нейронна мережа Хопфілда. Нейронна мережа Елмана. Вибір структури нейронної мереж.

7. Самоорганізуючі карти Кохонена. Приклад роботи мережі Кохонена. Мережа зустрічного поширення. Згорткова нейронна мережа. Багатоканальна версія згорткової нейронної мережі. Параметри згорткової нейронної мережі**.**

8. Навчання штучної нейронної мережі. Навчання НМ з учителем, без учителя, з підкріпленням. Алгоритми навчання. Метод зворотного поширення помилки.

9. Зворотне поширення в згорткових нейронних мережах. Методи
Гауса-Ньютона та Левенберга-Марквардта.

10. Нейро-нечіткі системи. Поєднання нечітких систем з нейронними мережі. Кооперативна нечітка нейрона мережа. Гібридна нечітка нейрона мережа. Огляд розроблених гібридних нейро-нечітких мереж. Адаптивна Нейро-Нечітка Система (ANFIS). Алгоритм гібридного навчання. Моделювання нелінійної функції двох змінних. Переваги ANFIS. Недоліки ANFIS.

11. Вступ до генетичних алгоритмів. Генетичний пошук як метод оптимізації. Генетичний пошук і традиційні методи оптимізації. Узагальнена схема роботи генетичних методів.

12. Класифікація методів еволюційного пошуку. Моделі генетичного пошуку. Канонічні моделі. Genitor. Гібридний генетичний метод. Паралельні та багаторівневі генетичні методи. Генетичний пошук зі зменшенням розміру популяції. Ініціалізація та запуск генетичного пошуку. Визначення цільової функції. Ініціалізація. Відбір. Схрещування. Мутація. Формування нового покоління. Критерії зупинення.

13. Параметричний синтез нейромереж. Еволюційний метод параметричного синтезу нейромережних моделей з використанням апріорної інформації. Структурний синтез нейронних мереж. Подання інформації про структуру нейромережі в хромосомі. Визначення фітнес-функції. Послідовність виконання структурного синтезу на основі методів еволюційної оптимізації. Еволюційні оператори для структурного синтезу нейромоделей.

14. Коли застосовувати глибоке навчання. Чому глибоке навчання? Класифікація підходів глибокого навчання. Глибоке навчання з вчителем. Глибоке навчання з частоковим застосуванням вчителя. Глибоке навчання без вчителя. Глибоке навчання з підкріпленням. Типи мереж глибокого навчання. Рекурсивні нейронні мережі. Рекурентні нейронні мережі. Згорткові нейронні мережі. Переваги використання CNN. Регуляція в CNN. Вибір оптимізатора. Підвищення продуктивності CNN.

15. Архітектури CNN. Архітектура мережі AlexNet. Network‑in‑network. ZefNet. Visual geometry group (VGG). GoogLeNet. Highway network. ResNet. Inception: ResNet and Inception‑V3/4. DenseNet. ResNext. WideResNet. Xception.

16. Training data. Transfer learning. Data augmentation techniques. Imbalanced data. Interpretability of data. Uncertainty scaling. Model compression. Overfitting. Vanishing gradient problem. Exploding gradient problem. Underspecification. Applications of deep learning. Computational approaches. GPU‑based approach. FPGA‑based approach.

17. Long Short-Term Memory. Як навчити модель.

18. Прогнозування часових рядів. Обробка природної мови(NLP). Аналіз настроїв. Субтитри для зображень і відео. Computer Vision. Розпізнавання тексту.

Лекційні заняття

Розділ 1. Загальні положення штучного інтелекту.

Розділ 2. Нечіткі множини, нечітка логіка та побудова нечітких систем.

Розділ 3. Теорія нейронних мереж.

Розділ 4. Нейро-нечіткі системи.

Розділ 5. Еволюційні алгоритми.

Розділ 6. Глибокі нейронні мережі.

Лабораторні заняття

1. Дослідження способів формування нечітких множин і операцій над ними.

2. Моделювання функції двох змінних засобами нечіткої математики.

3. Дослідження алгоритму нечіткої кластеризації.

4. Моделювання функції двох змінних на основі нейронних.

5. Моделювання нейронної мережі Хебба.

6. Нейро-нечітке моделювання.

7. Знаходження мінімуму та максимуму функцій за допомогою генетичних алгоритмів.

8. Застосування генетичних алгоритмів в задачах оптимізації.

Навчальні матеріали та ресурси

Базова література

  1. Шаховська Н. Б. Системи штучного інтелекту: навчальний посібник /Н.Б. Шаховська, Р. М. Камінський, О. Б. Вовк. – Львів : Видавництво Львівської політехніки, 2018. – 392 с.

  2. Зайченко Ю.П. Основи проектування інтелектуальних систем. Навчальний посібник / Ю.П. Зайченко. – К.: Слово, 2004. – 352 с.

  3. Ю.В. Нікольський. Системи штучного інтелекту: навчальний посібник / Ю.В. Нікольський, В.В. Пасічник, Ю.М. Щербина. – Львів : «Магнолія – 2006», 2021. – 280 с

  4. Ткаченко Р. О. Нейромережеві засоби штучного інтелекту : навч. посіб. / Р.О. Ткаченко, П.Р. Ткаченко, І.В. Ізонін; Нац. ун-т "Львівська політехніка". – Львів : Вид-во Львівської політехніки, 2017. – 206 с.

  5. Кутковецький В.Я. Розпізнавання образів: Навчальний посібник / В.Я. Кутковецький. – Миколаїв: Вид-во МДГУ ім. П.Могили, 2017. – 420 с.

  6. Суботін, С. О. Неітеративні, еволюційні та мультиагентні методи синтезу нечітко логічних і нейромережних моделей: монографія / С. О. Суботін, А. О. Олійник, О. О. Олійник; за заг. ред. С. О. Суботіна. – Запоріжжя : ЗНТУ, 2009. – 375 с.

Допоміжна література

  1. Nilsson, Nils (2009). The Quest for Artificial Intelligence: A History of Ideas and Achievements. New York: Cambridge University Press.

  2. Charu C. Aggarwal. Neural Networks and Deep Learning. A Textbook. Springer Cham. 2019 – 497 p.

  3. Li, Zewen & Yang, Wenjie & Peng, Shouheng & Liu, Fan. (2020). A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects.

  4. Chen, Xiaoxue & Jin, Lianwen & Zhu, Yuanzhi & Luo, Canjie & Wang, Tianwei. (2020). Text Recognition in the Wild: A Survey.

  5. Yang YX, Wen C, Xie K, Wen FQ, Sheng GQ, Tang XG. Face Recognition Using the SR-CNN Model. Sensors (Basel). 2018;18(12):4237. Published 2018 Dec 3. doi:10.3390/s18124237

  6. Kocić J, Jovičić N, Drndarević V. An End-to-End Deep Neural Network for Autonomous Driving Designed for Embedded Automotive Platforms. Sensors. 2019; 19(9):2064.

    1. Kumar, S. Verma and H. Mangla, "A Survey of Deep Learning Techniques in Speech Recognition," 2018 International Conference on Advances in Computing, Communication Control and Networking (ICACCCN), Greater Noida (UP), India, 2018, pp. 179-185, doi: 10.1109/ICACCCN.2018.8748399.

  8. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin Attention is All you Need. Part of Advances in Neural Information Processing Systems 30 (NIPS 2017)

  9. Thierry Bouwmans, Sajid Javed, Soon Ki Jung. Deep neural network concepts for background subtraction: A systematic review and comparative evaluation. Neural Networks. Volume 117, September 2019, Pages 8-66

Навчальний контент

Методика опанування навчальної дисципліни (освітнього компонента)

Лекційні заняття

№ з/п Назва теми лекції та перелік основних питань
(перелік дидактичних засобів, посилання на літературу та завдання на СРС)
1

Розділ 1. Загальні положення штучного інтелекту.

Тема 1.1. Структура та зміст курсу. РСО.

Тема 1.2. Загальні поняття штучного інтелекту.

Лекція 1. Базові поняття і визначення штучного інтелекту.

Структура дисципліни «Методи та технології штучного інтелекту», РСО. Поняття штучного інтелекту. Інтелект і його основні положення. Технології штучного інтелекту.

Література: [1, Роз.1], [2, Роз.1]

Завдання на СРС. Штучний інтелект – застосування і приклади реалізації.
2

Розділ 2. Нечіткі множини, нечітка логіка та побудова нечітких систем.

Тема 2.1. Нечітка логіка.

Лекція 2. Нечітка логіка.

Нечітка інформація і вивід. Поняття нечіткої множини. Приклади запису нечіткої множини. Лінгвістична змінна. Основні характеристики нечітких множин. Операції над нечіткими множинами. Логічні операції над нечіткими множинами. Властивості операцій над нечіткими множинами.

Література: [1, Гл.1], [3, Гл.1]

Завдання на СРС. Нечіткі оператори.
3

Розділ 2. Нечіткі множини, нечітка логіка та побудова нечітких систем.

Тема 2.2. Функції приналежності.

Лекція 3. Нечітка логіка. Функції приналежності.

Види функцій приналежності нечітких множин. Нечітка логіка в управлінні складними системами. Поняття нечіткої і лінгвістичної змінної.

Література: [1, Гл.1.1.2; Гл.3], [3, Гл.1]

Завдання на СРС. Лінгвістичні змінні істинності.
4

Розділ 2. Нечіткі множини, нечітка логіка та побудова нечітких систем.

Тема 2.3. Системи нечіткого виводу.

Лекція 4. Нечітка логіка. Системи нечіткого виводу.

Система нечіткого виводу. Фазифікація. Агрегування. Активізація. Акумуляція. Дефазифікація. Методи дефаззифікації. Нечіткий вивід Мамдані. Нечіткий вивід Цукамото. Нечіткий вивід Сугено. Спрощений алгоритм нечіткого виводу.

Література: [1, Гл.5], [3, Гл.6]

Завдання на СРС. Системи нечіткого виводу – застосування і приклади реалізації.
5

Розділ 3. Теорія нейронних мереж.

Тема 3.1. Основні положення штучних нейронних мереж.

Лекція 5. Штучні нейронні мережі

Нейронні мережі та штучний інтелект. Нейронна мережа. Розвиток нейронних мереж. Реалізації нейронних мереж. Основні властивості нейронних мереж. Переваги нейронних мереж. Недоліки нейронних мереж. Завдання, які вирішуються нейронними мережами. Біологічний нейрон. Штучний нейрон. Функції активації.

Література: [1, Гл.14], [3, Гл.6;Гл.9], [6, Гл.2]

Завдання для СРС. Типи нейромереж і їх класифікація.
6

Розділ 3. Теорія нейронних мереж.

Тема 3.2. Основні моделі.

Лекція 6. Основні моделі.

Класифікація нейронних мереж. Парцептрон. Основні поняття теорії перцептроні. Багатошарові нейронні мережі прямого поширення. Каскадні нейронні мережі. Динамічні багатошарові нейронні мережі. Рециркуляційні нейронні мережі. Нейронна мережа Хопфілда. Нейронна мережа Елмана. Вибір структури нейронної мереж.

Література: [1, Гл.5;Гл.6], [3, Гл.10], [6, Гл.3;Гл.4]

Завдання для СРС. Огляд та аналіз нейромережевих моделей різних обєктів та систем прийняття рішень.
7

Розділ 3. Теорія нейронних мереж.

Тема 3.2. Основні моделі.

Лекція 7. Основні моделі.

Самоорганізуючі карти Кохонена. Приклад роботи мережі Кохонена. Мережа зустрічного поширення. Згорткова нейронна мережа. Багатоканальна версія згорткової нейронної мережі. Параметри згорткової нейронної мережі.

Література: [1, Гл.12], [2, Л.6], [3, Гл.9]

Завдання для СРС. Приклади застосування мережі Кохонена. Приклади застосування згорткової нейронної мережі.
8

Розділ 3. Теорія нейронних мереж.

Тема 3.3. Методи навчання нейронних мереж.

Лекція 8. Методи навчання.

Навчання штучної нейронної мережі. Навчання НМ з учителем, без учителя, з підкріпленням. Алгоритми навчання. Метод зворотного поширення помилки.

Література: [1, Гл.1;Гл.4], [2, Гл.4;Гл.5]

Завдання для СРС. Навчання з частковим залученням вчителя.
9

Розділ 3. Теорія нейронних мереж.

Тема 3.3. Методи навчання нейронних мереж

Лекція 9. Методи навчання.

Зворотне поширення в згорткових нейронних мережах. Методи
Гауса-Ньютона та Левенберга-Марквардта.

Завдання для СРС. Огляд та аналіз програмних та апаратних засобів по навчанню нейронних мереж.
10

Розділ 4. Теорія нейронних мереж.

Тема 4.1. Нейро-нечіткі системи

Тема 4.2. Адаптивна нейро-нечітка система.

Лекція 10. Нечіткі нейроні мережі.

Нейро-нечіткі системи. Поєднання нечітких систем з нейронними мережі. Кооперативна нечітка нейрона мережа. Гібридна нечітка нейрона мережа. Огляд розроблених гібридних нейро-нечітких мереж. Адаптивна Нейро-Нечітка Система (ANFIS). Алгоритм гібридного навчання. Моделювання нелінійної функції двох змінних. Переваги ANFIS. Недоліки ANFIS.

Література: [7, Гл.2]

Завдання для СРС. Приклади систем з нейрон-нечіткими системами.
11

Розділ 5. Еволюційні алгоритми.

Тема 5.1. Генетичні алгоритми.

Лекція 11. Генетичні алгоритми.

Вступ до генетичних алгоритмів. Генетичний пошук як метод оптимізації. Генетичний пошук і традиційні методи оптимізації. Узагальнена схема роботи генетичних методів.

Література: [7, Гл.4]

Завдання для СРС. Різновиди еволюційних алгоритмів.
12

Розділ 5. Еволюційні алгоритми.

Тема 5.1. Генетичні алгоритми.

Лекція 12. Генетичні алгоритми.

Класифікація методів еволюційного пошуку. Моделі генетичного пошуку. Канонічні моделі. Genitor. Гібридний генетичний метод. Паралельні та багаторівневі генетичні методи. Генетичний пошук зі зменшенням розміру популяції. Ініціалізація та запуск генетичного пошуку. Визначення цільової функції. Ініціалізація. Відбір. Схрещування. Мутація. Формування нового покоління. Критерії зупинення.

Література: [7, Гл.2;3]

Завдання для СРС. Огляд та аналіз методів еволюційного пошуку їх сфери застосування, переваги та недоліки.
13

Розділ 5. Еволюційні алгоритми.

Тема 5.2. Синтез нейронних мереж.

Лекція 13. Синтез нейронних мереж генетичними алгоритмами.

Параметричний синтез нейромереж. Еволюційний метод параметричного синтезу нейромережних моделей з використанням апріорної інформації. Структурний синтез нейронних мереж. Подання інформації про структуру нейромережі в хромосомі. Визначення фітнес-функції. Послідовність виконання структурного синтезу на основі методів еволюційної оптимізації. Еволюційні оператори для структурного синтезу нейромоделей.

Література: [1, Гл.9], [2, Л.9], [3, Гл.10], [7, Гл.11]

Завдання для СРС. Методи вирішення задачі структурного синтезу нейронних мереж.
14

Розділ 6. Глибокі нейронні мережі

Тема 6.1. Огляд глибокого навчання

Лекція 14. Огляд глибокого навчання.

Коли застосовувати глибоке навчання. Чому глибоке навчання? Класифікація підходів глибокого навчання. Глибоке навчання з вчителем. Глибоке навчання з частоковим застосуванням вчителя. Глибоке навчання без вчителя. Глибоке навчання з підкріпленням. Типи мереж глибокого навчання. Рекурсивні нейронні мережі. Рекурентні нейронні мережі. Згорткові нейронні мережі. Переваги використання CNN. Регуляція в CNN. Вибір оптимізатора. Підвищення продуктивності CNN.

Література: [1, Гл.4], [2, Л.13]

Завдання для СРС. Різниця між "нейронними мережами" та "глибоким навчанням"?
15

Розділ 6. Глибокі нейронні мережі

Тема 6.2. Згорткові нейронні мережі.

Лекція 15. Згорткові нейронні мережі.

Архітектури загорткових нейронних мереж. Архітектура мереж: AlexNet, Network‑in‑network, ZefNet, Visual geometry group (VGG), GoogLeNet, Highway network, ResNet, Inception, Inception‑V3/4, DenseNet, ResNext, WideResNet, Xception.

Завдання для СРС. Архітектура нейронних мереж YOLO по детекції об’єктів.
16

Розділ 6. Глибокі нейронні мережі

Тема 6.2. Згорткові нейронні мережі.

Лекція 16. Згорткові нейронні мережі.

Навчальні данні. Техніки аргументації даних в вигляді зображень. Трансферне навчання. Проблема не збалансованості даних. Інтерпретованість даних. Масштабування невизначеності. Model compression. Проблема перенавчання. Проблема градієнту, що вибухає. Проблема градієнту, що зникає. Underspecification. Застосунки з загортковими нейронними мережами. Computational approaches. GPU‑based approach. FPGA‑based approach.

Література: [7, Гл.10]

Завдання для СРС. Методи навчання нейронних мереж і їх програмні реалізації.
17

Розділ 6. Глибокі нейронні мережі

Тема 6.3. Мережі LSTM.

Лекція 17. Огляд моделі довготривалої короткочасної пам'яті. Long Short-Term Memory (LSTM).

Визначення моделі Long Short-Term Memory. Будова комірки моделі LSTM. Як навчити модель.

Література: [7, Гл.10], [8]

Завдання для СРС. Різновиди архітектур моделі довготривалої короткочасної пам'яті.
18

Розділ 6. Глибокі нейронні мережі

Тема 6.3. Мережі LSTM.

Лекція 18. Застосування моделі довготривалої короткочасної пам'яті.

Прогнозування часових рядів. Обробка природної мови(NLP). Аналіз настроїв. Субтитри для зображень і відео. Computer Vision. Розпізнавання тексту.

Література: [7, Гл.8]

Завдання для СРС. Інші сфери застосування моделі довготривалої короткочасної пам'яті.

**
**

Лабораторні заняття

№ Назва лабораторної роботи Кількість ауд. годин
1

Лабораторна робота 1. Дослідження способів формування нечітких множин і операцій над ними.

Побудувати нечіткі множин з використанням різних типів функцій приналежності. Виконати найбільш поширені логічні операції над нечіткими множинами.

Література: [3, Гл.2]

 4
2

Лабораторна робота 2. Моделювання функції з двох змінних засобами нечіткої математики.

Промоделювати засобами нечіткої логіки функцію з двох змінних. Провести дослідження форми функції приналежності на якість моделювання.

Література: [3, Гл.2]

 2
3

Лабораторна робота 3. Дослідження алгоритму нечіткої кластеризації.

Вирішення практичного завдання кластеризації методами нечіткої логіки.

Література: [3, Гл.6]

 2
4

Лабораторна робота 4. Моделювання функції двох змінних з двома входами і одним виходом на основі нейронних мереж.

Дослідити структуру та принцип роботи нейронної мережі. За допомогою нейронної мережі змоделювати функцію двох змінних.

Література: [7]

 2
5

Лабораторна робота 5. Моделювання нейронної мережі Хебба

Промоделювати та дослідити нейронну мережу Хебба.

Література: [7], [8]

 2
6

Лабораторна робота 6. Нейро-нечітке моделювання.

Отримання і закріплення знань про методи моделювання та принципи функціонування нейронечітких систем, а також формування практичних навичок з конструювання нейронечітких мереж..

Література: [7]

 2
7

Лабораторна робота 7. Знаходження мінімуму та максимуму функцій за допомогою генетичних алгоритмів

Знайти мінімум (мінімізація) і максимум (максимізація) функцій одно- і двох змінних за допомогою генетичних алгоритмів.

 2
8

Лабораторна робота 8. Застосування генетичних алгоритмів в задачах оптимізації.

Отримання та закріплення знань, формування практичних навичок застосування генетичних алгоритмів до різних завдань оптимізації.

 2

Самостійна робота студента

№ з/п

 Назва теми, що виноситься на самостійне опрацювання Кількість годин СРС
1 Штучний інтелект – застосування і приклади реалізації. 2
2 Нечіткі оператори. 2
3 Лінгвістичні змінні істинності. 4
4 Системи нечіткого виводу – застосування і приклади реалізації. 4
5 Типи нейромереж і їх класифікація. 2
6 Огляд та аналіз нейромережевих моделей різних обєктів та систем прийняття рішень. 2
7 Приклади застосування мережі Кохонена. Приклади застосування згорткової нейронної мережі. 4
8 Навчання з частковим залученням вчителя. 4
9 Самостійно опанувати матеріали по перспективах шуму. 4
10 Приклади систем з нейрон-нечіткими системами. 4
11 Різновиди еволюційних алгоритмів. 8
12 Огляд та аналіз методів еволюційного пошуку їх сфери застосування, переваги та недоліки. 2
13 Методи вирішення задачі структурного синтезу нейронних мереж. 4
14 Різниця між "нейронними мережами" та "глибоким навчанням"? 4
15 Архітектура нейронних мереж YOLO по детекції об’єктів. 2
16 Методи навчання нейронних мереж і їх програмні реалізації. 4
17 Різновиди архітектур моделі довготривалої короткочасної пам'яті. 3
18 Інші сфери застосування моделі довготривалої короткочасної пам'яті. 3
Всього годин 66

Політика та контроль

Політика навчальної дисципліни (освітнього компонента)

Система вимог, які ставляться перед студентом:

  • відвідування лекційних та лабораторних занять є обов’язковою складовою вивчення матеріалу;

  • на лекції викладач користується власним презентаційним матеріалом; використовує автоматизовану інформаційну системау «Електронний кампус» для викладання матеріалів лекцій, додаткових ресурсів, лабораторних робіт та інше; викладач створює групу в Telegram для консультацій зі студентами, скидання електронних лабораторних звітів та відповідей на МКР;

  • на лекції заборонено відволікати викладача від викладання матеріалу, усі питання, уточнення та ін. студенти задають в кінці лекції у відведений для цього час;

  • лабораторні роботи захищаються у два етапи – перший етап: студенти виконують завдання на допуск до захисту лабораторної роботи; другий етап – захист лабораторної роботи. Бали за лабораторну роботу враховуються лише за наявності електронного звіту;

  • заохочувальні бали виставляються за: активну участь на лекціях; участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць; презентацій по одній із тем СРС дисципліни тощо. Кількість заохочуваних балів на більше 10;

  • штрафні бали виставляються за: невчасну здачу лабораторної роботи. Кількість штрафних балів не більше 10.

Види контролю та рейтингова система оцінювання результатів навчання (РСО)

Рейтинг студента з дисципліни складається з балів, що він отримує за:

  1. виконання та захист 8 лабораторних робіт;

  2. виконання модульної контрольної роботи (МКР);

  3. заохочувальні та штрафні бали.

Система рейтингових балів та критерії оцінювання

Лабораторні роботи:

«відмінно», повна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 10 балів;

«добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 9/7 бали;

«задовільно», неповна відповідь на питання під час захисту (не менш ніж 60% потрібної інформації), незначні помилки та оформлений належним чином електронний протокол до лабораторної роботи – 6/5 бал;

«незадовільно», незадовільна відповідь та/або не оформлений належним чином електронний протокол до лабораторної роботи – 0 балів.

За запізнення з поданням лабораторної роботи до захисту від встановленого терміну, а саме запізнення зі здачею лабораторної більше ніж на одне заняття, оцінка знижується на 1 бал.

Модульна контрольні роботи:

«відмінно», повна виконання завдання (не менш ніж 90% потрібної інформації в звіті до МКР) – 20 балів;

«добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), або повна відповідь з незначними помилками – 16-18 балів;

«задовільно», неповна відповідь (але не менш ніж 60% потрібної інформації) та незначні помилки – 10-16 бали;

«незадовільно», незадовільна відповідь (неправильний розв’язок задачі), потребує обов’язкового повторного написання в кінці семестру – 0 балів.

Заохочувальні бали

– за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо); за активну роботу на лекції (питання, доповнення, зауваження за темою лекції, коли лектор пропонує студентам задати свої питання) 1-2 бали, але в сумі не більше 10;

– презентації по СРС – від 1 до 5 балів.

Міжсесійна атестація

За результатами навчальної роботи за перші 7 тижнів максимально можлива кількість балів – 20 балів (2 лабораторні). На першій атестації (8-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 10 балів.

За результатами 13 тижнів навчання максимально можлива кількість балів – 40 балів (4 лабораторні). На другій атестації (14-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 30 балів.

Максимальна сума вагових балів контрольних заходів протягом семестру складає:

RD = 8*rлаб+rмкр=8*10+20 (rз - rш)=100 + (rз - rш),

де rлаб – бал за лабораторну роботу (0…10);

rмкр – бал за написання МКР (0…20);

rз – заохочувальні бали за активну участь на лекціях, презентації, участь в олімпіадах, конкурсі роботи, наукові роботи за тематикою дисципліни (0…10);

rзш – штрафні бали.

Залік:

Умовою отримання заліку є зарахування всіх лабораторних робіт, написання модульних контрольних робіт та стартовий рейтинг не менше 42 бали.

На заліку студенти виконують письмову контрольну роботу. Кожен білет містить три теоретичних запитання (завдання). Перелік теоретичних питань наведений у додатку 1. Кожне запитання (завдання) оцінюється у 15 балів.

Система оцінювання питань:

«відмінно», повна відповідь, не менше 90% потрібної інформації, що виконана згідно з вимогами до рівня «умінь», (повне, безпомилкове розв’язування завдання) – 14-15 балів;

«добре», достатньо повна відповідь, не менше 75% потрібної інформації, що виконана згідно з вимогами до рівня «умінь або є незначні неточності (повне розв’язування завдання з незначними неточностями) – 10-14 балів;

«задовільно», неповна відповідь, не менше 60% потрібної інформації, що виконана згідно з вимогами до «стереотипного» рівня та деякі помилки (завдання виконане з певними недоліками) – 7-9 бали;

«незадовільно», відповідь не відповідає умовам до «задовільно» – 0-6 балів.

Сума балів за залікову контрольну роботу переводиться до залікової оцінки згідно з таблицею:

Таблиця 1. Переведення рейтингових балів до оцінок за університетською шкалою

Кількість балів Оцінка
100-95 Відмінно
94-85 Дуже добре
84-75 Добре
74-65 Задовільно
64-60 Достатньо
Менше 60 Незадовільно

Є не зараховані лабораторні роботи або

не зарахована модульна контрольна робота

 Не допущено

Додаткова інформація з дисципліни (освітнього компонента)

  • перелік теоретичних питань, які виносяться на семестровий контроль наведено в Додатку 1;

  • на початку семестру викладач аналізує існуючі курси по тематиці дисципліни та пропонує пройти відповідні безкоштовні курси студентам. Після отриманням студентом сертифікату проходження дистанційних чи онлайн курсів за відповідною тематикою, викладач закриває відповідну частину курсу (лабораторні чи лекції) за попередньою домовленістю з групою.

Робочу програму навчальної дисципліни (Силабус):

Складено к.т.н., доц.., Шимкович Володимир Миколайович

Ухвалено кафедрою ІСТ (протокол № 16 від 12.06.2024 р.)

Погоджено Методичною комісією факультету[1] (протокол № 10 від 21.06.2024 р.)

Додаток 1

Перелік теоретичних питань на залік по першій частині курсу

  1. 1. Дайте визначення поняттю «штучний інтелект».

  2. Навести визначення та приклад нечіткої множини.

  3. Навести визначення та приклад лінгвістичної змінної.

  4. Які основні характеристики нечітких множин?

  5. Які основі операції можна проводити над нечіткими множинами. Навести приклади.

  6. Які логічні операції можна проводити над нечіткими множинами. Навести приклади.

  7. Навести властивості операцій над нечіткими множинами.

  8. Які оператори можна застосовувати до нечітких множин.

  9. Дайте визначення функції приналежності.

  10. Які види функцій приналежності Вам відомі.

  11. Поняття нечіткої змінної. Наведіть визначення та приклад.

  12. Навести визначення та структуру системи нечіткого виводу.

  13. Наведіть визначення та приклад нечіткого продукційного правила.

  14. Наведіть визначення та приклад фазифікації в системі нечіткого виводу.

  15. Наведіть визначення та приклад агрегування в системі нечіткого виводу.

  16. Наведіть визначення та приклад активізації в системі нечіткого виводу.

  17. Наведіть визначення та приклад дефазифікації в системі нечіткого виводу.

  18. Опишіть загальний алгоритм нечіткого виводу Мамдані.

  19. Опишіть загальний алгоритм нечіткого виводу Цукамото.

  20. Опишіть загальний алгоритм нечіткого виводу Сугено.

  21. Опишіть загальний алгоритм спрощеного нечіткого виводу.

  22. Дайте визначення поняттю Машинне навчання.

  23. Які методи входять в область машинного навчання.

  24. Дайте визначення та основні характеристики штучних нейронних мереж.

  25. Наведіть переваги та недоліки штучних нейронних мереж.

  26. Які завдання в сучасній науці та техніці вирішуються нейронними мережами?

  27. Наведіть визначення та характеристики біологічного нейрона.

  28. Наведіть структурну схему та математичну модель штучного нейрона.

  29. Що таке функція активації та які функції активації використовуються в штучних нейронних мережах.

  30. Наведіть типи і класифікацію штучних нейронних мереж.

  31. Наведіть визначення Парцептрона, його структурну схему та основні характеристики.

  32. Наведіть структурну схему та основні характеристики нейронної мережі прямого поширення.

  33. Наведіть структурну схему та основні характеристики каскадної нейронної мережі.

  34. Наведіть структурну схему та основні характеристики рециркуляційної нейронної мережі.

  35. Наведіть структурну схему та основні характеристики нейронної мережі Хопфілда.

  36. Наведіть структурну схему та основні характеристики нейронної мережі Елмана.

  37. Наведіть структурну схему та основні характеристики радіально-базисної нейронної мережі RBF.

  38. Опишіть загальний алгоритм вибору структури нейронної мережі для побудови моделі.

  39. Опишіть структуру та принцип дії нейронної мережі Кохонена.

  40. Опишіть структуру та принцип дії згорткової нейронної мережі.

  41. Що мається на увазі під навчанням нейронної мережі і які парадигми навчання існують.

  42. Опишіть алгоритм навчання нейронної мережі з вчителем.

  43. Опишіть алгоритм навчання нейронної мережі без вчителя.

  44. Опишіть алгоритм навчання нейронної мережі з частковим залученням вчителя.

  45. Опишіть алгоритм навчання нейронної мережі з підкріпленням.

  46. Опишіть метод зворотного поширення помилки при навчанні штучних нейронних мереж.

  47. Які переваги та недоліки є в методу зворотного поширення помилки при навчанні штучних нейронних мереж.

  48. Яким чином відбувається навчання згорткових нейронних мереж за методом зворотного поширення помилки.

  49. Опишіть метод Левенберга-Марквардта при навчанні штучних нейронних мереж.

  50. Наведіть визначення нейро-нечіткої системи.

  51. Наведіть основні характеристики нейро-нечіткої системи.

  52. Які види нейро-нечітких систем існують?

  53. Наведіть структуру та основні характеристики адаптивної нейро-нечіткої системи ANFIS.

  54. Наведіть переваги та недоліки адаптивної нейро-нечіткої системи ANFIS.

  55. Надайте визначення генетичному алгоритму, формальний опис та наведіть сфери його застосування.

  56. Наведіть переваги та недоліки генетичного алгоритму, як методу оптимізації.

  57. Наведіть та опишіть узагальнену схема роботи генетичних методів.

  58. Наведіть класифікацію методів еволюційного пошуку.

  59. Наведіть та опишіть моделі генетичного пошуку.

  60. Яким чином відбувається ініціалізація та запуск генетичного пошуку?

  61. Яким чином відбувається визначення цільової функції генетичного пошуку?

  62. Яким чином працює оператор відбору генетичного пошуку?

  63. Яким чином працює оператор схрещування генетичного пошуку?

  64. Яким чином працює оператор мутації генетичного пошуку?

  65. Яким відбувається формування нового покоління генетичного пошуку?

  66. Яким встановлюються критерії зупинки генетичного пошуку?

  67. Опишіть алгоритм параметричного синтезу нейронних мереж за допомогою генетичного пошуку.

  68. Опишіть алгоритм параметричного синтезу нейронних мереж за допомогою генетичного пошуку з врахуванням значущості ознак навчальної вибірки.

  69. Опишіть алгоритм структурного синтезу нейронних мереж за допомогою генетичного пошуку.

  70. Наведіть основні типи глибоких нейронних мереж.

  71. Наведіть типи оптимізаторів що використовуються при навчанні глибоких нейронних мереж.

  72. Наведіть архітектуру мережі AlexNet та опишіть її.

  73. Наведіть архітектуру мережі Network‑in‑network та опишіть її.

  74. Наведіть архітектуру мережі ZefNet та опишіть її.

  75. Наведіть архітектуру мережі VGG та опишіть її.

  76. Наведіть архітектуру мережі Inception та опишіть її.

  77. Наведіть архітектуру мережі ResNet та опишіть її.

  78. Наведіть архітектуру мережі DenseNet та опишіть її.

  79. Наведіть архітектуру мережі Xception та опишіть її.

  80. Наведіть архітектуру мережі LSTM та опишіть її.

  81. Як працює технологія Transfer learning в глибоких нейронних мережах?

  82. Які є методи збільшення навчальних даних в глибоких нейронних мережах?

  83. Що таке проблема зникаючого градієнту в глибоких нейронних мережах?

  84. Що таке проблема вибухаючого градієнту в глибоких нейронних мережах?

  85. Які програмні фреймворки існують для реалізації нейронних мереж?

  86. Які апаратні засоби існують для реалізації нейронних мереж?

  87. Які переваги та недоліки CPU при реалізації нейронних мереж?

  88. Які переваги та недоліки GPU при реалізації нейронних мереж?

  89. Які переваги та недоліки TPU при реалізації нейронних мереж?

  90. Які переваги та недоліки FPGA при реалізації нейронних мереж?

Які переваги та недоліки ASIC при реалізації нейронних мереж?

  1. Архітектура мереж LSTM

  2. Алгоритм навчання мережі LSTM.

  3. Застосування мереж LSTM.

[1] Методичною радою університету – для загальноуніверситетських дисциплін.