Hlboké učenie

Hlboké učenie je predmet ponúkaný v zimnom semestri prvého ročníka inžinierskeho štúdia na Technickej univerzite v Košiciach pre študijné programy Hospodárska informatika a Inteligentné systémy. Predmet je pokračovaním kurzu Neurónové siete a jeho cieľom je oboznámiť študentov so základmi, metodológiou a novými trendmi v oblasti hlbokého učenia.

Vyučujúci

• Ing. Ján Magyar, PhD.

Plán prednášok a cvičení

Prednášky z predmetu sú vo štvrtok o 7:30 v miestnosti L9_B520 (hlavná budova). Cvičenia sú v pondelok o 7:30 v miestnosti V4_147 a v utorok o 15:10 v miestnosti PK6_108 (PC17). Počas semestra má študent nárok na maximálne tri neúčasti.

Pre aktuálne informácie ohľadom organizácie predmetu a komunikáciu s vyučujúcimi používajte MS Teams skupinu predmetu.

Odporúčaná literatúra:

• [GBC] Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep learning. MIT press, 2016.
• [Bud] Buduma, Nithin, Nikhil Buduma, and Joe Papa. Fundamentals of deep learning. " O'Reilly Media, Inc.", 2022.
• [Chol] Chollet, Francois. Deep learning with Python. Simon and Schuster, 2021.
• [Agg] Aggarwal, Charu C. "Neural networks and deep learning." Springer 10, no. 978 (2018): 3.
• Raschka, Sebastian, Yuxi Hayden Liu, Vahid Mirjalili, and Dmytro Dzhulgakov. Machine Learning with PyTorch and Scikit-Learn: Develop machine learning and deep learning models with Python. Packt Publishing Ltd, 2022.

	Cvičenie	Prednáška	Čítanie	Deadliny
1. týždeň 22. 9. - 28. 9.	pridelenie zadaní, matematické základy neurónových sietí	Umelé neurónové siete, základy hlbokého učenia	Agg 1 Chol 2, 3, 4 Bud 1, 2
2. týždeň 29. 9. - 5. 10.	algoritmus backpropagation pri plytkých neurónových sieťach	Konvolučené neurónové siete	Agg 8 Chol 5 Bud 5 GBC 9	výber článku k zadaniu 1
3. týždeň 6. 10. - 12. 10.	konvolučné siete v PyTorchi	Trénovanie hlbokých neurónových sietí	Agg 3, 4 Chol 4 GBC 7, 8	návrh výskumného projektu
4. týždeň 13. 10. - 19. 10.	DL training cookbook	Embeddingy	Bud 6 GBC 15
5. týždeň 20. 10. - 26. 10.	PyTorch pod kapotou	Rekurentné siete	Agg 7 Chol 6 Bud 7 GBC 10	report k zadaniu 1
6. týždeň 27. 10. - 2. 11.	dataloadery augmentácia, práca s dátami	Self-Supervised Learning	Balestriero et al.: A Cookbook of Self-Supervised Learning
7. týždeň 3. 11. - 9. 11.	zápočtová písomka, prezentácia projektov	Attention mechanizmus	Agg 10.2	výskumný projekt - prehľad literatúry
8. týždeň 10. 11. - 16. 11.	využitie rekurentných neurónových sietí	Transformery	Vaswani et al.: Attention is all you need Richard E. Turner: An Introduction to Transformers
9. týždeň 17. 11. - 23. 11.	deň študentstva, projektová práca	Vision transformer	Dosovitskiy et al.: An Image is Worth 16x16 Words Steiner at al.: How to train your ViT?	výskumný projekt - prvé výsledky
10. týždeň 24. 11. - 30. 11.	transformery	Generatívna umelá inteligencia	Agg 10.4 Chol 8 GBC 20	odovzdanie prvého zadania
11. týždeň 1. 12. - 7. 12.	grafové neurónové siete	Memory-Augmented neurónové siete	Agg 10.3 Bud 8
12. týždeň 8. 12. - 14. 12.	GAN siete a generatívna UI	Hlboké učenie posilňovaním	Agg 9 Bud 9
13. týždeň 15. 12. - 21. 12.	prezentácia zadaní	prezentácia zadaní		výskumný projekt - progress report

Hodnotenie predmetu

Pre absolvovanie predmetu študent musí spĺňať nasledovné podmienky:

1. účasť na prednáškach a cvičeniach (maximálne 3 neúčasti)
2. odovzdanie zadaní a absolvovanie písomky (viď nižšie)
3. získať minimálne 21 bodov do zápočtu
4. prejsť skúškou (získať minimálne 31 bodov)

Okruhy tém na skúšku nájdete tu.

Počas semestra študenti môžu získať 40 bodov a to nasledovne:

• Replikácia článku - 10 bodov
• Semestrálny projekt (Ukážkové témy nájdete tu) - 20 bodov
• zápočtová písomka - 10 bodov