МАШИННЕ НАВЧАННЯ
Робоча програма навчальної дисципліни (Силабус)
Реквізити навчальної дисципліни
| Рівень вищої освіти | Перший (бакалаврський) |
|---|---|
| Галузь знань | 12 Інформаційні технології |
| Спеціальність | 121 Інженерія програмного забезпечення |
| Освітня програма | Інженерія програмного забезпечення комп’ютерних систем |
| Статус дисципліни | Нормативна за вибором студентів |
| Форма навчання | очна(денна)/заочна/дистанційна |
| Рік підготовки, семестр | 4 курс, осінній семестр |
| Обсяг дисципліни | 105 годин (6 годин – Лекції, 4 годин – Лабораторні, 95 годин – СРС) |
| Семестровий контроль/ контрольні заходи | Залік |
| Розклад занять | http://rozklad.kpi.ua |
| Мова викладання | Українська |
| Інформація про керівника курсу / викладачів |
Лектор: доц., к.т.н., с.н.с. Кравець Петро Іванович Лабораторні: ст.викладач Шимкович Володимир Миколайович, |
| Розміщення курсу | https://campus.kpi.ua |
Програма навчальної дисципліни
Опис навчальної дисципліни, її мета, предмет вивчання та результати навчання
Опис дисципліни. Навчальна програма дисципліни “Машинне навчання ” визначає зміст і обсяг знань, необхідних для фахівця з інтелектуальних технологій обробки даних. Дисципліна обіймає проблематику вивчення сучасного стану технологій машинного навчання, що використовуються для формалізації та обробки даних в технологіях функціонування систем, вивчення сучасних програмних засобів машинної обробки даних, технологій їх проектування, реалізації, налагодження і дослідження. Машинне навчання застосовують в ряді обчислювальних задач, в яких розробка та програмування явних алгоритмів з доброю продуктивністю є складною або нездійсненною задачею. Для практичного засвоєння навчальних матеріалів ряд тем дисципліни поглиблено вивчається на лабораторних заняттях.
Предметом вивчення навчальної дисципліни є технології вирішення задач класифікації, регресії, прогнозування та ухвалення рішень шляхом побудови моделей з даних алгоритмами, які можуть самонавчатися й робити передбачення з даних, що наділяє комп'ютери здатністю вчитися не будучи явно запрограмованими.
Міждисциплінарні зв’язки. Основою для успішного засвоєння матеріалу дисципліни є знання основ дисциплін “Вища математика”, „Комп’ютерна техніка та технології”, „Теорія інформаційних процесів”, “Сучасні технології в інформаційній техніці”, “Моделювання процесів та систем” та інші.
Знання, одержані при вивчені даної дисципліни використовуються в дисциплінах: «Проектування інформаційних систем», «Комп'ютеризовані системи управління», «Розпізнавання образів», «Технології прийняття рішень», у курсовому та дипломному проектуванні.
Мета навчальної дисципліни. Метою вивчення дисципліни є формування у майбутніх фахівців знань та вмінь застосування сучасних методів та засобів розробки, дослідження та використання сучасних технологій обробки даних для вирішення задач класифікації, регресійного аналізу, прогнозування та ухвалення рішень.
Основні завдання навчальної дисципліни
Знання:
- теоретичних основ базових технологій машинного навчання;
- методів, алгоритмів роботи, засобів реалізації та технологій налагодження систем обробки даних з використанням технологій обчислювального інтелекту;
- сучасних програмних засобів реалізації технологій машинншгш навчання.
Уміння:
обґрунтовано вибирати конкретні технології та алгоритми машинного навчання при розв’язані відповідних практичних задач;
здійснювати підготовку та первинну обробку даних для побудови моделей систем методами машинного навчання;
вирішувати задачі автоматизації підтримки рішень, розпізнавання образів, діагностики, класифікації, оптимізації та аналізу даних методами машинного навчання;
використовувати сучасні програмні засоби для реалізації технологій машинного навчання.
Пререквізити та постреквізити дисципліни (місце в структурно-логічній схемі навчання за відповідною освітньою програмою)
Пререквізити: Студенти повинні мати знання з дисциплін “Вища математика”, „Комп’ютерна техніка та технології”, „Теорія інформаційних процесів”, “Сучасні технології в інформаційній техніці”, “Моделювання процесів та систем”, «Сучасні методології і технології розробки програмного забезпечення», «Системне програмування на С»,
«Технологія Pyton» та інші.
Постреквізити: Після вивчення дисципліни студенти зможуть використати набуті знання та вміння в галузі машинного навчання при проектуванні, моделюванні та налагодженні інформаційних систем, комп'ютеризованих систем управління, систем і технологій розпізнавання образів та прийняття рішень, використовуючи для цього сучасні програмні середовища.
Зміст навчальної дисципліни
Лекційні заняття
Розділ 1.Введення в машинне навчання
Розділ 2. Повний проект машинного навчання
Розділ 3. Задачі машинного навчання
Розділ 4. Навчання моделей
Розділ 5. Методи опорних векторів
Розділ 6. Дерева прийняття рішень
Розділ 7. Ансамблеве навчання і ліс випадкових дерев
Розділ 8. Зниження розмірності
Розділ 9. Нейронні мережі і глибоке навчання
Розділ 10. Згортаючі нейромережі.
Розділ11 Рекурентні нейромережі.
Розділ 12. Автокодувальники.
Лабораторні заняття
1. Передобробка даних в Pandas
2. Важливість Ознак. Нормалізація Ознак.
3. Логістична регресія.
4. Розмір випадкового лісу, метод найшвидшого бустінгу над вирішальними деревами.
Навчальні матеріали та ресурси
Базова література
- Жерон,Орельен Прикладное машинное обучение с помощью Scikit-Learn и TenzorFlow: концепции, инструменты и техники для создания интеллектуальных систем. Пер. с англ. – СП6.: ООО «Диалектика», 2018. – 688 с. ил.
Допоміжна література
- Комплект методичних посібників виданих кафедрою, Конспект лекцій, Методичні вказівки до виконання лабораторних робіт. . .
Навчальний контент
Методика опанування навчальної дисципліни (освітнього компонента)
Лекційні заняття
| № з/п | Назва теми лекції та перелік основних питань (перелік дидактичних засобів, посилання на літературу та завдання на СРС) |
|---|---|
| 1 | Розділ1. Введення в машинне навчання Лекція 1. Введення в машинне навчання. Що таке машинне навчання. Для чого використовується машинне навчання Типи систем МН. Навчання з вчителем и без вчителя. Навчання з підкріпленням. Пакетне і динамічне навчання. Навчання на основі зразків і моделей. Основні проблеми МН. Недостатній розмір даних. Нерепрезентативні данні. Данні поганої якості, Несуттєві признаки. Перенавчання та недонавчання даних. Література: [1,с.27-60.] Завдання на СРС Поглиблене вивчення матеріалів лекції. |
| 2 | Розділ 2 Повний проект МН. Повний проект МН. Робота з реальними даними. Вияснення картини Формулювання завдання Вибір критерію якості роботи. Перевірка допусків, Отримання даних. Загрузка даних Швидкий погляд на структуру даних. Створення досліджуваного набору. Візуалізація даних. Пошук звязків, Експерименти з комбінуванням атрибутів. Підготовка даних для алгоритмів МН. Очистка даних. Обробка атрибутів. Маштабування признаків. Спеціальні трансформатори та конвеєрна трансформація. Вибір і навчання моделі. Навчання і оцінка за допомогою навчального набору даних. Точне налаштування моделі Решітковий пошук. Рандомізований пошук. Ансамблеві методи. Аналіз кращих моделей. Оцінка моделі Оцінка з допомогою досліджуваного набору. Запуск, дослідження і супровід системи. Література: [1,с.63-118.] Завдання на СРС Поглиблене вивчення матеріалів лекції |
| 3 | Розділ 3. Задачі машинного навчання. Задачі класифікації. Навчання двійкового класифікатора. Показники роботи Використання перехресної перевірки. Матриця неточностей. Точність і повнота. Крива ROC. Класифікація .з багатьма класами. Багатозначна класифікація. Багатовходова класифікація. Література: [1, с.121-150] Завдання на СРС. Поглиблене вивчення матеріалів лекції. |
| 4 | Розділ 4. Навчання моделей. Навчання моделей. Лінійна регресія. Рівняння регресії. Обчислювальна складність. Градієнтний спуск. Стохастичний градієнтний спуск. Пакетний градієнтний спуск. Міні пакетній ГС. Поліноміальна регресія. Регуляризовані лінійні моделі. Гребенева регресія. Лассо-регресія. Еластична мережа. Логістична регресія Оцінка ймовірностей.. Межі рішень. Багатозмінна логістична регресія. Література: [1, с. 153-197] Завдання на СРС. Поглиблене вивчення матеріалів лекції. |
| 5 | Розділ 5 Методи опорних векторів. Лекція 2. Методи опорних векторів. Лінійна класифікація SVM. Класифікація з мягким зазором. Нелінійна класифікація SVM. Поліноміальне ядро. Признаки близькості. Гауссве ядро RBF. Обчислювальна складність. Регресія SVM. Функції рішень і прогнози. Квадратичне програмування. Параметрично-редукційні методи SVM. Динамічні методи SVM. Література: [1, с.199-222] Завдання на СРС. Поглиблене вивчення матеріалів лекції. |
| 6 | Розділ 6. Дерева прийняття рішень. Дерева прийняття рішень. Навчання і візуалізація ДПР. Прогнози. Оцінювання ймовірності класів. Алгоритм навчання CART. Обчислювальна складність. Гіперпараметри регуляризацїї. Регресія. Нестійкість. . Література: [1, с.223-236] Завдання на СРС. Поглиблене вивчення матеріалів лекції. |
| 7 | Розділ 7. Ансамблеве навчання і випадковий ліс дерев. Ансамблеве навчання і випадковий ліс дерев.. Класифікатори з вибором. Бестінг і вставка. Оцінка на невикористовуваних прикладах. Методи випадкових ділянок і випадкових підпросторів. Випадкові ліси дерев. Особливо випадкові дерева. Значимість ознак. Бустінг. Градієнтний бустінг. Стеклінг. Література: [1, с.239-264] Завдання для СРС. Поглиблене вивчення матеріалів лекції. |
| 8 | Розділ 8. Зниження розмірності. «Прокляття розмірності». Основні підходи до зниження розмірності. Проекція. Навчання на основі різноманіть. Алгоритм РСА. Інкрементний аналіз головних компонентів. Рандомізований аналіз головних компонентів. Ядерний аналіз головних компонентів. Вибір ядра і налаштування гіперпараметрів. Інші методи зниження розмірності. . Література: [1, с. 267-289.] Завдання для СРС. Поглиблене вивчення матеріалів лекції. |
| 9 | Розділ 9. Нейронні мережі і глибоке навчання. Лекція 3. Основи штучних нейронних мереж. Природний і штучний нейрони. Базовий процесорний елемент і його різновиди. Перцептрон. Багатошаровий перцептрон. Правила навчання перцептрона. Поняття глибокої нейромережі Налаштування гіперпараметрів нейромережі. Кількість прихованих шарів. Кількість нейронів в шарі. Функції активації.. Правила навчання нейромереж. Алгоритм зворотного поширення помилки. Навчання глибоких нейромереж. Проблема зникнення і вибухового росту градієнтів. Ініціалізація Касавьє і Хе. Функції активації, що не обмежуються. Пакетна нормалізація. Обмеження градієнтів. Повторне використання навчених мереж. Заморожування низькорівневих шарів. Кешування заморожених шарів Підналаштування або заміна шарів верхніх рівнів. Зоопарк моделей. Попереднє навчання без вчителя. Попереднє навчання на допоміжній задачі. Швидкі оптимізатори. Прискорений алгоритм Нестерова. Оптимізація Адам. Планування швидкості навчання. Методи запобігання перенавчанню. Рання зупинка. Регуляризація по похибці. Відключення. Регуляризація на основі мах-норми.. . Література: [1, с.323-349] Завдання для СРС.. Поглиблене вивчення матеріалів лекції. |
| 10 | Розділ 10.Згортаючі нейромережі. Когнітрон и неокогнітрон. Згортаючий шар. Фільтри. Накладання множини карт ознак. Обєднуючий шар. Архітектури згортаючих .мереж. LeNet5, AlexNet, GoodLeNet. ResNet, Література: [1, с. 453-482] Завдання для СРС. Поглиблене вивчення матеріалів лекції. .Підготовка до контрольної роботи. |
| 11 | Розділ11 Рекурентні нейромережі. Базові рекурентні нейромережі. Хопфілда , Елмана, Навчання рекурентних нейромереж. Навчання класифікатора. Навчання прогнозування часових рядів. Глибокі рекурентні мережі. Розподілення глибокої рекурентної нейромережі між множиною графічних процесорів. Використання відключення. Проблеми навчання. Література: [1, с. 485-523], Завдання для СРС. Поглиблене вивчення матеріалів лекції. |
| 12 | Розділ12 Автокодувальники. Автокодувальники.. Лінійні автокодувальники. Багатошарові автокодувальники. Автокодувальники, що подавляють шум. Проріджені автокодувальники. Варіаційні автокодувальники. Інші типи автокодувальників. Література: [1, с. 525-552] Завдання для СРС. Поглиблене вивчення матеріалів лекції. |
Лабораторні заняття
| 1 | Лабораторна робота 1. Передобробка даних в Pandas Література: [2] |
1/3 |
|---|---|---|
| 2 | Лабораторна робота 2 Важливість Ознак. Нормалізація Ознак. Література: [2] |
1/3 |
| 3 | Лабораторна робота 3. Логістична регресія Література: [2] |
1/3 |
| 4 | Лабораторна робота 4. Розмір випадкового лісу, метод найшвидшого бустінгу над вирішальними деревами. Література: [2] |
1/3 |
Самостійна робота студента/аспіранта
|
Назва теми, що виноситься на самостійне опрацювання | Кількість годин СРС |
|---|---|---|
| 1 | Розділ 1.Введення в машинне навчання Література: [1,с.27-60] |
4 |
| 2 | Розділ 2. Повний проект машинного навчання Література: [1,с.63-118] |
4 |
| 3 | Розділ 3. Задачі машинного навчання Література: [1, с.121-150] |
6 |
| 4 | Розділ 4. Навчання моделей Література: [1, с.153-197]] |
7 |
| 5 | Розділ 5. Методи опорних векторів Література: [1, с.199-222] |
4 |
| 6 | Розділ 6. Дерева прийняття рішень Література: [1, с.223-236] |
4 |
| 7 | Розділ 7. Ансамблеве навчання і ліс випадкових дерев Література: [1, с.239-264]. |
4 |
| 8 | Розділ 8. Зниження розмірності Література: [1, с. 267-289] |
4 |
| 9 | Розділ 9. Нейронні мережі і глибоке навчання Література: [1, с.323-349] |
8 |
| 10 | Розділ 10. Згортаючі нейромережі. Література: [1, с. 453-482] |
8 |
| 11 | Розділ11 Рекурентні нейромережі. Література: [1, с. 485-523] |
6 |
| 12 | Розділ 12. Автокодувальники. Література: [1, с. 525-552] |
4 |
Політика та контроль
Політика навчальної дисципліни (освітнього компонента)
Система вимог, які ставляться перед студентом:
відвідування лекційних та лабораторних занять є обов’язковою складовою вивчення матеріалу;
на лекції викладач користується власним презентаційним матеріалом; відпрацьовує практичну частину на віртуальній машині з встановленою відповідною РСУБД; використовує гугл-диск для викладання матеріалу поточної лекції, додаткових ресурсів, лабораторних робіт та інше; викладач відкриває доступ до певної директорії гугл-диска для скидання електронних лабораторних звітів та відповідей на МКР;
на лекції заборонено відволікати викладача від викладання матеріалу, усі питання, уточнення та ін. студенти задають в кінці лекції у відведений для цього час;
лабораторні роботи захищаються у два етапи – перший етап: студенти виконують завдання на допуск до захисту лабораторної роботи; другий етап – захист лабораторної роботи. Бали за лабораторну роботу враховуються лише за наявності електронного звіту;
модульні контрольні роботи пишуться на лекційних заняттях без застосування допоміжних засобів (мобільні телефони, планшети та ін.); результат пересилається у файлі до відповідної директорії гугл-диску;
заохочувальні бали виставляються за: активну участь у підготовці лекційних матеріалів; участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць; презентацій по одній із тем СРС дисципліни тощо. Кількість заохочуваних балів на більше 10;
штрафні бали виставляються за: невчасне відпрацювання та здачу лабораторної роботи
Види контролю та рейтингова система оцінювання результатів навчання (РСО)
Рейтинг студента з дисципліни складається з балів, що він отримує за:
виконання та захист 4 лабораторних робіт;
виконання 2 домашніх контрольних робіт (ДКР);
заохочувальних та штрафних балів.
Система рейтингових балів та критерії оцінювання
Лабораторні роботи
Загальна кількість балів – 50. Оцінка:
«відмінно», повна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 10-12 балів;
«добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 8-10 балів;
«задовільно», неповна відповідь на питання під час захисту (не менш ніж 50% потрібної інформації), незначні помилки та оформлений належним чином електронний протокол до лабораторної роботи – 6-8 балів;
«достатньо», неповна відповідь на питання під час захисту (не менш ніж 30% потрібної інформації), незначні помилки та оформлений належним чином електронний протокол до лабораторної роботи – 4-6 бали;
«незадовільно», незадовільна відповідь та/або не оформлений належним чином електронний протокол до лабораторної роботи – 0-3 балів.
За кожне запізнення з поданням лабораторної роботи до захисту від встановленого терміну оцінка знижується на 1 бал.
Домашні контрольні роботи
Загальна кількість балів – 10. Кожна модульна контрольна робота містить три теоретичних запитання (завдання). Кожне запитання (завдання) оцінюється у 5 балів. Перелік питань наведений у додатках.
Оцінка:
«відмінно», повна відповідь (не менш ніж 90% потрібної інформації) – 8-10 балів;
«добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), або повна відповідь з незначними помилками – 6-8 балів;
«задовільно», неповна відповідь (але не менш ніж 50% потрібної інформації) та незначні помилки – 4-6 бали;
«достатньо», неповна відповідь на питання під час захисту (не менш ніж 30% потрібної інформації), незначні помилки та оформлений належним чином електронний протокол до лабораторної роботи – 2-4 бали;
«незадовільно» - 0-1 бали. Незадовільна відповідь (неправильний розв’язок задачі), потребує обов’язкового повторного написання в кінці семестру.
Заохочувальні бали
– за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо); за активну роботу на лекції (питання, доповнення, зауваження за темою лекції, коли лектор пропонує студентам задати свої питання) 1-2 бали, але в сумі не більше 10;
– презентації по СРС – від 1 до 5 балів.
Міжсесійна атестація не проводиться
Залік
Умовою допуску до заліку є зарахування всіх лабораторних робіт, написання обох домашніх контрольних робіт та стартовий рейтинг не менше 30 балів.
На заліку студенти виконують письмову контрольну роботу. Кожен білет містить три теоретичних запитання (завдання). Перелік теоретичних питань наведений у додатку 1. Кожне запитання (завдання) оцінюється у 10 балів.
Загальна кількість балів – 30. Оцінка:
«відмінно», повна відповідь, не менше 90% потрібної інформації, що виконана згідно з вимогами до рівня «умінь», (повне, безпомилкове розв’язування завдання) – 27-30 балів;
«добре», достатньо повна відповідь, не менше 75% потрібної інформації, що виконана згідно з вимогами до рівня «умінь або є незначні неточності (повне розв’язування завдання з незначними неточностями) – 19-26 балів;
«задовільно», неповна відповідь, не менше 50% потрібної інформації, що виконана згідно з вимогами до «стереотипного» рівня та деякі помилки (завдання виконане з певними недоліками) – 15-18 балів;
«достатньо», неповна відповідь на питання під час захисту (не менш ніж 30% потрібної інформації), незначні помилки та оформлений належним чином електронний протокол до лабораторної роботи – 10-14 балів;
«незадовільно», відповідь не відповідає умовам до «задовільно» – 0-9 балів.
Система оцінювання питань
Максимальна сума вагових балів контрольних заходів протягом семестру складає:
RD = 10rзал +4*rлаб+2*rдкр + (rз - rш ) = 100 + (rз - rш),
де:
rзал\ – бал за залікове питання;
rлаб – бал за лабораторну роботу;
rмкр – бал за написання ДКР ;
rз – заохочувальні бали за активну участь на презентації, участь в олімпіадах, конкурсі роботи, наукові роботи за тематикою дисципліни (0…10);
rзш – штрафні бали.
Сума стартових балів та балів за залікову контрольну роботу переводиться до залікової оцінки згідно з таблицею:
Таблиця 1. Переведення рейтингових балів до оцінок за університетською шкалою
| Кількість балів | Оцінка |
| 100-95 | Відмінно |
| 94-85 | Дуже добре |
| 84-75 | Добре |
| 74-65 | Задовільно |
| 64-60 | Достатньо |
| Менше 60 | Незадовільно |
Є не зараховані лабораторні роботи або не зарахована модульна контрольна робота |
Не допущено |
Додаткова інформація з дисципліни (освітнього компонента)
- перелік теоретичних питань, які виносяться на семестровий контроль наведено в Додатку 1;
Робочу програму навчальної дисципліни (Силабус):
Складено доцент, к.т.н., с.н.с. Кравець Петро Іваноович
Ухвалено кафедрою АУТС (протокол № 1 від 27.08.2020 р.)
Погоджено Методичною комісією факультету[1] (протокол № 1 від 02.09.2020 р.)
Додаток 1
Перелік теоретичних питань на залік
1. Що таке машинне навчання.
2. Для чого використовується машинне навчання
3. Типи систем МН.
4. Навчання з вчителем и без вчителя.
5. Навчання з підкріпленням.
6. Пакетне і динамічне навчання.
7. Навчання на основі зразків і моделей.
8. Основні проблеми МН. Недостатній розмір даних. Нерепрезентативні данні. Данні поганої якості, Несуттєві признаки.
9. Перенавчання та недонавчання даних.
10. Повний проект МН.
11. Робота з реальними даними. Вияснення картини Формулювання завдання Вибір критерію якості роботи. Перевірка допусків, Отримання даних. Загрузка даних Швидкий погляд на структуру даних. Створення досліджуваного набору. Візуалізація даних. Пошук звязків, Експерименти з комбінуванням атрибутів.
12. Підготовка даних для алгоритмів МН.
Очистка даних. Обробка атрибутів. Маштабування признаків. Спеціальні трансформатори та конвеєрна трансформація.
13. Вибір і навчання моделі. Навчання і оцінка за допомогою навчального набору даних.
14. Точне налаштування моделі.
15. Решітковий пошук.
16. Рандомізований пошук.
17. Ансамблеві методи. Аналіз кращих моделей.
18. Оцінка моделі Оцінка з допомогою досліджуваного набору.
19.Запуск, дослідження і супровід системи.
20. Задачі класифікації.
21. Навчання двійкового класифікатора. Показники роботи
22. Використання перехресної перевірки.
23. Матриця неточностей.
24. Точність і повнота. Крива ROC.
25. Класифікація .з багатьма класами.
26. Багатозначна класифікація.
27. Багатовходова класифікація.
28. Навчання моделей.
29. Лінійна регресія.
30. Рівняння регресії. Обчислювальна складність.
31. Градієнтний спуск.
32. Стохастичний градієнтний спуск.
33. Пакетний градієнтний спуск.
34. Міні пакетній ГС.
35. Поліноміальна регресія.
36. Регуляризовані лінійні моделі.
37. Гребенева регресія.
38. Лассо-регресія.
39. Еластична мережа.
40. Логістична регресія Оцінка ймовірностей.. Межі рішень.
41. Багатозмінна логістична регресія
42. Методи опорних векторів.
43. Лінійна класифікація SVM.
44. Класифікація з мягким зазором.
45. Нелінійна класифікація SVM.
46. Поліноміальне ядро. Признаки близькості.
47. Гауссве ядро RBF. Обчислювальна складність.
48. Регресія SVM. Функції рішень і прогнози.
49. Квадратичне програмування.
50. Параметрично-редукційні методи SVM.
51. Динамічні методи SVM.
52. Дерева прийняття рішень.
53. Навчання і візуалізація ДПР.
54. Прогнози.
55. Оцінювання ймовірності класів.
56. Алгоритм навчання CART. Обчислювальна складність.
57. Гіперпараметри регуляризацїї.
58. Регресія. Нестійкість.
59.Ансамблеве навчання і випадковий ліс дерев..
60. Класифікатори з вибором.
61. Бестінг і вставка.
62. Оцінка на невикористовуваних прикладах.
63. Методи випадкових ділянок і випадкових підпросторів.
64. Випадкові ліси дерев.
65. Особливо випадкові дерева. Значимість ознак.
66. Бустінг.
67. Градієнтний бустінг.
68. Стеклінг.
69. «Прокляття розмірності».
70. Основні підходи до зниження розмірності.
71. Проекція.
72. Навчання на основі різноманіть.
73. Алгоритм РСА.
74. Інкрементний аналіз головних компонентів.
75. Рандомізований аналіз головних компонентів.
76. Ядерний аналіз головних компонентів.
76. Вибір ядра і налаштування гіперпараметрів.
77. Інші методи зниження розмірності.
78. Основи штучних нейронних мереж. Природний і штучний нейрони.
79. Базовий процесорний елемент і його різновиди.
80. Перцептрон. Багатошаровий перцептрон.
81. Правила навчання перцептрона.
82. Поняття глибокої нейромережі
83. Налаштування гіперпараметрів нейромережі. Кількість прихованих шарів. Кількість нейронів в шарі. Функції активації..
84. Правила навчання нейромереж.
85. Алгоритм зворотного поширення помилки.
86. Навчання глибоких нейромереж.
87. Проблема зникнення і вибухового росту градієнтів.
88. Ініціалізація Касавьє і Хе. Функції активації, що не обмежуються.
89. Пакетна нормалізація.
90Обмеження градієнтів.
91. Повторне використання навчених мереж.
92. Заморожування низькорівневих шарів. Кешування заморожених шарів Підналаштування або заміна шарів верхніх рівнів.
93. Зоопарк моделей.
94. Попереднє навчання без вчителя. Попереднє навчання на допоміжній задачі.
95. Швидкі оптимізатори.
96. Прискорений алгоритм Нестерова.
97. Оптимізація Адам.
98. Планування швидкості навчання.
99. Методи запобігання перенавчанню. Рання зупинка. Регуляризація по похибці. Відключення. Регуляризація на основі мах-норми.. .
100. Згортаючі нейромережі.
101. Когнітрон и неокогнітрон.
102. Згортаючий шар.
103. Фільтри.
104. Накладання множини карт ознак.
105. Обєднуючий шар.
106. Архітектури згортаючих .мереж. LeNet5, AlexNet, GoodLeNet. ResNet,
107. Рекурентні нейромережі.
108. Базові рекурентні нейромережі. Хопфілда , Елмана,
109. Навчання рекурентних нейромереж.
110. Навчання класифікатора.
111. Навчання прогнозування часових рядів.
112. Глибокі рекурентні мережі.
113. Розподілення глибокої рекурентної нейромережі між множиною графічних процесорів. Використання відключення.
114. Проблеми навчання.
115. Автокодувальники..
116. Лінійні автокодувальники.
117. Багатошарові автокодувальники.
118. Автокодувальники, що подавляють шум.
119. Проріджені автокодувальники.
120. Варіаційні автокодувальники. Інші типи автокодувальників.
[1] Методичною радою університету – для загальноуніверситетських дисциплін.
