Гетерогенні розподілені бази даних - Робоча програма навчальної дисципліни (Силабус)
Реквізити навчальної дисципліни
| Рівень вищої освіти | Третій (PhD) |
| Галузь знань | 12 Інформаційні технології |
| Спеціальність | 126 Інформаційні системи та технології |
| Освітня програма | Інформаційні системи та технології |
| Статус дисципліни | Вибіркова |
| Форма навчання | очна(денна)/заочна |
| Рік підготовки, семестр | 2 курс, 1 семестр |
| Обсяг дисципліни | 4 кредита ESTS/120 годин (36 годин – Лекції, 18 годин – Практичні) |
| Семестровий контроль/ контрольні заходи | Залік/ тестування, МКР, захист лабораторних робіт |
| Розклад занять | http://roz.kpi.ua |
| Мова викладання | Українська |
| Інформація про керівника курсу / викладачів | Лектор: к.т.н., Крилов Євген Володимирович моб. +38(050)387-16-45 Практичні: к.т.н., Крилов Євген Володимирович |
| Розміщення курсу | https://campus.kpi.ua |
Програма навчальної дисципліни
Силабус освітнього компонента «Гетерогенні розподілені бази даних» відповідає спеціальності 126 – Інформаційні системи та технології. При проходженні даної дисципліни, студенти познайомляться з поняттям «Гетерогенні розподілені бази даних», та детальніше вивчатимуть методи та засоби створення різноманітних структур гетерогенних баз даних. На лабораторних заняттях опанують етапи проектування розподілених баз даних. В курсі передбачений контроль якості отриманих знань у вигляді експрес-контрольних та модульних контрольних робіт. На лекціях проводитимуться практичні групові заняття.
Метою навчальної дисципліни є формування та закріплення у студентів наступних компетентностей: Набути досвід практичної роботи в розподілених системах оброки даних, освоїти існуюче програмне забезпечення різнорідних баз даних та будувати власні програмні продукти з використання гетерогенних розподілених баз даних, розпаралелювати доступ та обробку даних.
Предмет навчальної дисципліни: Для задоволення потреб обробки інформації, що зберігається в різнорідних базах даних, які об’єднуються в одну розподілену систему в науковій, метеорологічній, астрофізичній, економічній, банківській, фізико-технічній сферах і набуття досвіду та уміння використання та створення систем розподіленої обробки даних з баз даних; для використання та розроблення програмного забезпечення з використанням сучасних засобів зберігання та обробки даних; для створення та застосування нових технологій доступу до даних через бездротовий зв'язок, зокрема технології 5G.
Програмні результати навчання, на формування та покращення яких спрямована дисципліна: використовувати та організовувати розподілену обробку даних, аналізувати вимоги до сучасних баз даних, застосовувати та створювати методи оцінки продуктивності розподілених систем, розв’язувати задачі проектування та експлуатації розподілених баз даних, розробляти нові архітектури систем з високою швидкістю обробки даних, адмініструвати розподілені баз даних, застосовувати теоретичні знання для розв’язання практичних задач обробки даних..
Пререквізити та постреквізити дисципліни
Пререквізити: Володіння знаннями із дисциплін «Розподілені системи обробки даних», «Паралельні та розподілені обчислення», «Хмарні та Grid-технології», «Бази даних» та досвід роботи.
Постреквізити: в результаті навчання аспіранти зможуть: використовувати та організовувати розподілену обробку даних, аналізувати вимоги до сучасних баз даних, застосовувати та створювати методи оцінки продуктивності розподілених систем, розв’язувати задачі проектування та експлуатації розподілених баз даних, розробляти нові архітектури систем з високою швидкістю обробки даних, адмініструвати розподілені баз даних, застосовувати теоретичні знання для розв’язання практичних задач обробки даних.
Зміст навчальної дисципліни
Лекційні заняття
Лекція 1. Концепції та основи побудови розподілених баз даних.
Лекція 2. Розробка архітектури розподілених баз даних.
Лекція 3. Побудова гетерогенних розподілених систем.
Лекція 4. Технології управління гетерогенними системами.
Лекція 5. Технології обробки великих масивів даних в розподілених базах даних.
Лекція 6. Управління гетерогенними розподіленими базами даних.
Лекція 7. Моделі даних NoSQL. Пост реляційна та об’єктноорієнтована модель.
Лекція 8. Багатомірна та KEY Velue модели.
Лекція 9. Колонко-орієнтована та документно-орієнтована модели.
Лекція 10. Графова модель.
Лекція 11. Теоретичні основи NO SQL БД. CAP теорема.
Лекція 12. Узгодженість даних , доступність, стійкість до поділу.
Лекції 13. Масштабування. Проста схема (без шардування).
Лекція 14. Шардована схема без репліка сетів. Шардована схема з репліка сетами. .
Лекція 15. Map-Reduce технологія.
Лекція 16. Парадигми Master-Slave. Replica Set. Consistent hashing.
.
Лабораторні заняття
Створення технічного завдання на розробку програмного забезпечення з використанням гетерогенних розподілених баз даних (вибір моделі даних, проектування структури БД, формування запитів).
Дослідження реляційної та не реляційної структури гетерогенних розподілених БД
Робота з графовими розподіленими базами даних.
Робота з документо-орієнтованими розподіленими базами даних
Робота з колонковими розподіленими базами даних.
Робота з ключ/значення розподіленими базами даних
Реалізація проекту з обраною базою даних
‘
Навчальні матеріали та ресурси
Базова література
Використання транзакційного годинника для пришвидшення процесу узгодження даних в розподілених системах / E. Krуlov . V. Nikitin/ Вістник Хмельницького національного університету.
MongoDB от теории к практике. Руководство по установке кластера mongoDB/ https://habr.com/ru/hub/nosql/
Варіанти забезпечення суворої узгодженості в NoSql / Крилов Є.В., Белоус Р.В., Нікітін В.А. / V International Scientific and Practical Conference
«SCIENTIFIC RESEARCHES AND METHODS OF THEIR CARRYING OUT: WORLD EXPERIENCE AND DOMESTIC REALITIES» 17.02.2023 | Vinnytsia, UKR - Vienna, AUT (Online) Google Scholar-
- Nikitin, E. Krуlov, Y. Kornaga, V. Anikin COMBINED INDEXING METHOD IN NOSQL DATABASES Міжвідомчий науково-технічний збірник «Адаптивні системи автоматичного управління».— Київ: Національний технічний університет України “Київський політехнічний інститут”. 2021 Том 1(38) стор. 3-9. DOI: https://doi.org/10.20535/1560-8956.38.2021.232948 (Фахове видання)
Вікіпекдія https://uk.wikipedia.org/wiki/%D0%94%D0%B5% D1%80%D0%B5%D0%B2%D0%BE_(%D1%82%D0%B5%D0%BE%D1%80%D1%96%D1%8F_%D0%B3%D1%80%D0%B0%D1%84%D1%96%D0%B2)
В. Нікітін, Є. Крилов, Я. Корнага, В. Анікін / Модифікація алгоритму хешування з метою підвищення швидкодії операцій у нереляційних базах даних/ Міжвідомчий науково-технічний збірник «Адаптивні системи автоматичного управління».— Київ: Національний технічний університет України “Київський політехнічний інститут”.Том 2 № 39 (2021) стр. 39-43 DOI: https://doi.org/10.20535/1560-8956.39.2021.247395 (Фахове видання)
Допоміжна література
Иванчева Н.А., Иванчева Т.А . Постреляционная СУБД Cache (Методическое пособие)./- Новосибирск: Новосибирский государственный университет, 2014.
Бородин А.И. модели данных Конспект лекций http:// www.bseu.by/new/tohod/lekcii2_4.html.
Артур Б Смит M Computing May /June 2015, v.4 n.2, http:// www.inftech.webservis.ru/it/database/oo/art3.html
Навчальний контент
Методика опанування навчальної дисципліни (освітнього компонента)
Лекційні заняття
| № з/п | Назва теми лекції та перелік основних питань (перелік дидактичних засобів, посилання на літературу та завдання на СРС) |
|---|---|
| 1 | Лекція 1. Концепції та основи побудови розподілених баз даних Визначення розподіленої бази даних , Історія назви , Розвіток ідеї , Коротка історія баз даних NoSQL . Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 2 | Лекція 2. Розробка архітектури розподілених баз даних Визначення базової архітектури розподіленої бази даних Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 3 | Лекція 3. Побудова гетерогенних розподілених систем Основні особливості гетерогенних систем Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 4 | Лекція 4. Технології управління гетерогенними системами Базові Технології управління гетерогенними системами Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 5 | Лекція 5. Технології обробки великих масивів даних в розподілених базах даних Поняття великого об’єму даних, використання в розподілених системах . Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 6 | Лекція 6. Управління гетерогенними розподіленими базами даних Основні поняття управління гетерогенними розподіленими базами даних . Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 7 | Лекція 7. Моделі даних NoSQL. Пост реляційна та об’єктноорієнтована модель. Пост реляційна модель. Таблиця накладних. Таблиця товарів. Об’єктноорієнтована модель. Приклад об’єктноорієнтованої бази даних. Клас об’єкта. Інкапсуляція. Наслідування. Поліморфізм. Недоліки об’єктноорієнтованих моделей. Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 8 | Лекція 8. Багатомірна та KEY Velue модели. Приклад трьохмірної моделі. Зріз. Обертання. KEY Velue. Redis, Dynamo, Riak - деякі приклади баз даних сховищ ключів і значень. Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 9 | Лекція 9. Колонко - орієнтована та документно - орієнтована модели. Column-based. Document_based. Amazon SimpleDB, CouchDB, MongoDB, Riak, Lotus Notes, MongoDB - популярні системи СУБД, створені на основі документів. Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 10 | Лекція 10. Графова модель. Graph-based. Neo4J, Infinite Graph, OrientDB, FlockDB - деякі популярні бази даних на основі графів. |
| 11 | Лекція 11 Теоретичні основи NO SQL БД. CAP теорема. Основні поняття не реляційних баз даних. Теорема Брюєра. |
| 12 | Лекція 12 Узгодженість даних , Доступність, Стійкість до поділу. Узгодженість даних (англ. consistency). Доступність (англ. availability). Стійкість до поділу (англ. partition tolerance). CA (Availability + Consistency – Parition tolerance). CP-система (Consistency + Partition tolerance – Availability). AP-система (Availability + Partition tolerance – Consistency). |
| 13 | Лекція 13. Масштабування. Проста схема (без шардування). Mongod. Чанкі. Chunksize. Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 14 | Лекція 14. Шардована схема без репліка сетів.. Шардована схема з репліка сетами. Shard key . Як обрати shard key ? Config сервер . Роутер запитів . Балансер. Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 16 | Лекція 15. Map-Reduce технологія. Anti_Enropy Protocols, Gossips (розповсюдження епідемії). Типи Anti_Enropy Protocols. Replication. Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
| 16 | Лекція 16. Парадигми Master-Slave, Replica Set. Consistent hashing. Сoordinator Election. Replication: Автоматична відказостійкість. Hashed Sharding. Consistent hashing (add node, remove node). Дидактичні матеріали: Презентація PowerPoint, комп’ютер, проектор. |
Лабораторні заняття
| № | Назва лабораторної роботи | Кількість ауд. годин |
|---|---|---|
| 1 | Лабораторна робота 1. Створення технічного завдання на розробку програмного забезпечення з використанням гетерогенних розподілених не реляційних баз даних (вибір моделі даних, проектування структури БД, формування запитів) (вибір моделі даних, проектування структури БД, формування запитів). | 2 |
| 2 | Лабораторна робота 2. Дослідження реляційної та не реляційної структур гетерогенних розподілених БД (студент повинен спочатку розробити реляційну структуру БД, побачити недоліки, вибрати модель не реляційної БД, спроектувати структуру не реляційної БД) | 2 |
| 3 | Лабораторна робота 3. Робота з графовими розподіленими базами даних.( Amazon Neptune, Neo4J, Infinite Graph, OrientDB, FlockDB) | 4 |
| 4 | Лабораторна робота 4. Робота з документо-орієнтованими базами даних (MongoDB) | 2 |
| 5 | Лабораторна робота 5 Робота з ключ/значення розподіленими базами даних (Redis, Dynamo, Riak) | 4 |
| 6 | Лабораторна робота 6. Робота з колонковоми розподіленими базами даних.( HBase, Cassandra, Hypertable.) | 2 |
| 7 | Лабораторна робота 7. Розробка та презентація проєкту | 2 |
Самостійна робота студента
|
Назва теми, що виноситься на самостійне опрацювання | Кількість годин СРС |
|---|---|---|
| 1 | Адміністрування розподілених баз даних | 10 |
| 2 | Розв’язання задач проектування та експлуатації розподілених баз даних | 10 |
| 3 | Методи оцінки продуктивності розподілених систем | 10 |
| 4 | Аналіз вимог до сучасних баз даних | 12 |
| 5 | Використання та організація розподіленої обробки даних | 32 |
Політика та контроль
Політика навчальної дисципліни (освітнього компонента)
Система вимог, які ставляться перед студентом:
відвідування лекційних та лабораторних занять є обов’язковою складовою вивчення матеріалу;
на лекції викладач користується власним презентаційним матеріалом; відпрацьовує практичну частину на віртуальній машині з встановленою відповідною РСУБД; використовує гугл-диск для викладання матеріалу поточної лекції, додаткових ресурсів, лабораторних робіт та інше; викладач відкриває доступ до певної директорії гугл-диска для скидання електронних лабораторних звітів та відповідей на МКР;
на лекції заборонено відволікати викладача від викладання матеріалу, усі питання, уточнення та ін. студенти задають в кінці лекції у відведений для цього час;
лабораторні роботи захищаються у два етапи – перший етап: студенти виконують завдання на допуск до захисту лабораторної роботи; другий етап – захист лабораторної роботи. Бали за лабораторну роботу враховуються лише за наявності електронного звіту;
модульні контрольні роботи пишуться на лекційних заняттях без застосування допоміжних засобів (мобільні телефони, планшети та ін.); результат пересилається у файлі до відповідної директорії гугл-диску;
заохочувальні бали виставляються за: активну участь на лекціях; участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць; презентацій по одній із тем СРС дисципліни тощо. Кількість заохочуваних балів не більше 10;
штрафні бали виставляються за: невчасну здачу лабораторної роботи. Кількість штрафних балів не більше 10.
Види контролю та рейтингова система оцінювання результатів навчання (РСО) (очна форма)
Рейтинг студента з дисципліни складається з балів, що він отримує за:
Відповіді та активність на лекціях;
виконання та захист 7 лабораторних робіт;
виконання 2 модульних контрольних робіт (МКР);
заохочувальні та штрафні бали.
Система рейтингових балів та критерії оцінювання
Відповіді на лекціях:
«відмінно» – повна відповідь (не менше 90% потрібної інформації) – 5 балів;
«добре» – достатньо повна відповідь (не менше 75% потрібної інформації) або повна відповідь з незначними недоліками – 4 балів;
«задовільно» – неповна відповідь (не менше 60% потрібної інформації) та незначні помилки – 1-3 бали;
«незадовільно» – відповідь не відповідає вимогам до «задовільно» – 0 балів.
Лабораторні роботи:
«відмінно», повна відповідь на питання під час захисту (не менш ніж 90% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 10/9 балів;
«добре», достатньо повна відповідь на питання під час захисту (не менш ніж 75% потрібної інформації) та оформлений належним чином електронний протокол до лабораторної роботи – 8/7 бали;
«задовільно», неповна відповідь на питання під час захисту (не менш ніж 60% потрібної інформації), незначні помилки та оформлений належним чином електронний протокол до лабораторної роботи – 16/5 бал;
«незадовільно», незадовільна відповідь та/або не оформлений належним чином електронний протокол до лабораторної роботи – 0/3 балів.
За кожне заняття запізнення з поданням лабораторної роботи до захисту від встановленого терміну оцінка знижується на 1 бал.
Модульні контрольні роботи:
«відмінно», повна відповідь (не менш ніж 90% потрібної інформації) – 9-10 балів;
«добре», достатньо повна відповідь (не менш ніж 75% потрібної інформації), або повна відповідь з незначними помилками – 7-8 балів;
«задовільно», неповна відповідь (але не менш ніж 60% потрібної інформації) та незначні помилки – 5-6 бали;
«незадовільно», незадовільна відповідь (неправильний розв’язок задачі), потребує обов’язкового повторного написання в кінці семестру – 0-4 балів.
Заохочувальні бали
– за виконання творчих робіт з кредитного модуля (наприклад, участь у факультетських та інститутських олімпіадах з навчальних дисциплін, участь у конкурсах робіт, підготовка оглядів наукових праць тощо); за активну роботу на лекції (питання, доповнення, зауваження за темою лекції, коли лектор пропонує студентам задати свої питання) 1-2 бали, але в сумі не більше 10;
– презентації по СРС – від 1 до 5 балів.
Міжсесійна атестація
За результатами навчальної роботи за перші 7 тижнів максимально можлива кількість балів – 37 балів (3 лабораторні, МКР-1, 2 експрес-контрольні, 7 заохочувальних балів). На першій атестації (8-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 15 балів.
За результатами 13 тижнів навчання максимально можлива кількість балів – 53 балів (7 лабораторні, МКР-2, 2 експрес-контрольні, 13 заохочувальних балів). На другій атестації (14-й тиждень) студент отримує «зараховано», якщо його поточний рейтинг не менший ніж 25 балів.
Максимальна сума вагових балів контрольних заходів протягом семестру складає:
RD = 7*rлаб+2*rмкр+5*rек + (rз - rш)=7*10+2*10+2*5+ (rз - rш)=100 + (rз - rш),
де rлаб – бал за лабораторну роботу (0…10);
rмкр – бал за написання МКР (0…10);
rек – бал за написання експрес-контрольної роботи (0…4);
rз – заохочувальні бали за активну участь на лекціях, презентації, участь в олімпіадах, конкурсі роботи, наукові роботи за тематикою дисципліни (0…10);
rзш – штрафні бали.
Форма семестрового контролю – Залік:
Студенти, які виконали всі умови допуску до семестрової атестації (не мають заборгованостей з лабораторних робіт, наявні усі електронні звіти) та набрали протягом семестру необхідну кількість балів (RD ≥ 60), отримують залікову оцінку (залік) так званим «автоматом» відповідно до набраного рейтингу (табл. 1, що наведена нижче). У такому разі до заліково-екзаменаційної відомості вносяться бали RD та відповідні оцінки.
Студенти, які набрали протягом семестру менше ніж 60 балів та не мають заборгованостей, зобов’язані виконувати залікову контрольну роботу.
На заліку студенти виконують письмову контрольну роботу. Кожне завдання містить три теоретичних питання і два практичних. Перелік питань наведений у методичних рекомендаціях до засвоєння кредитного модуля. Кожне питання оцінюється у 20 балів.
Студентам, які протягом семестру набрали більш ніж 60 балів та виконали всі умови допуску, надається можливість виконувати залікову контрольну роботу з метою підвищення оцінки. В такому разі, попередній рейтинг студента з кредитного модуля скасовується і він отримує оцінку з урахуванням результатів залікової контрольної роботи (табл. 1, що наведена нижче).
Система оцінювання питань:
«відмінно», повна відповідь (не менше 90% потрібної інформації) – 18-20 балів;
«добре», достатньо повна відповідь (не менше 75% потрібної інформації, або незначні неточності) – 13-17 балів;
«задовільно», неповна відповідь (не менше 60% потрібної інформації та деякі помилки) – 7-12 балів;
«незадовільно», незадовільна відповідь – 0-6 балів.
Сума набраних балів RD або балів за залікову роботу переводиться до залікової оцінки згідно з таблицею:
Таблиця 1. Переведення рейтингових балів до оцінок за університетською шкалою
| Кількість балів | Оцінка |
| 100-95 | Відмінно |
| 94-85 | Дуже добре |
| 84-75 | Добре |
| 74-65 | Задовільно |
| 64-60 | Достатньо |
| Менше 60 | Незадовільно |
| Не виконані умови допуску | Не допущено |
Додаткова інформація з дисципліни (освітнього компонента)
- передбачена можливість закривати частину лабораторного та лекційного матеріалу шляхом здобування сертифікатам по online курсам відповідних розділів та тем дисципліни;
Робочу програму навчальної дисципліни (Силабус):
Складено доцент кафедри ІСТ, к.т.н., Крилов Євген Володимирович.
Ухвалено кафедрою ІСТ (протокол № 1 від 31.08.2023 р.).
Погоджено Методичною комісією факультету[1] (протокол № 1 від 1.09.2023 р.).
[1]
