Ústav teorie informace a automatizace

Jste zde

BSc./Mgr. Téma: Učení matematického modelu z dat (Šmídl)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Školitel: 
Šmídl
Klíčová slova: 
identifikace modelu, strojové učení

Matematické modely jednoduchých fyzikálních jevů jsou známé a dobře prozkoumané. Pro složitější jevy v nich však figuruje mnoho neznámých parametrů a často vedou k velmi složitým výpočtům. Je proto výhodné hledat pro tyto úlohy zjednodušené modely, které dobře reprezentují reálný problém. Běžně používané black-box modely jako neuronové sítě potřebují k naučení velké množství dat a často je obtížné porozumět jak modle funguje. Cílem práce je seznámit se s problémem učení matematických modelů z dat. Hlavním studovaným přístupem je učení řídké parametrizace bohatého modelu.

Literatura: 

1. Brunton, Steven L., Joshua L. Proctor, and J. Nathan Kutz. \"Discovering governing equations from data by sparse identification of nonlinear dynamical systems.\" Proceedings of the national academy of sciences 113, no. 15 (2016): 3932-3937.

2. Heim, Niklas, Tomáš Pevný, and Václav Šmídl. \"Neural power units.\" arXiv preprint arXiv:2006.01681 (2020).

3. Udrescu, Silviu-Marian, and Max Tegmark. \"AI Feynman: A physics-inspired method for symbolic regression.\" Science Advances 6, no. 16 (2020).

10.10.2022 - 10:42

BSc./Mgr. Téma: Metody shlukování strukturovaných dat (Šmídl)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Školitel: 
Šmídl
Klíčová slova: 
strojové učení, strukturovaná data, shlukování

Shlukování je klasická statistická metoda používaná ve strojovém učení na datech, na kterých je definována vzdálenost (například Eukleidova vzdálenost vektorů). V praxi se ovšem setkáváme s daty, která mají složitější relační strukturu, např. obsah nákupního košíku v e-shopu. Definice vzdálenosti mezi takovými daty je mnohem složitější. Nabízí se využít metody statistického popisu dat, které se vzdálenosti učí. Pro zmíněná data je vhodným modelem bodový proces. Metody shlukování založené na těchto metodách jsou zatím velice jednoduché.

Literatura: 

1. Bishop, Christopher M. Pattern recognition and machine learning. Vol. 4. No. 4. New York: springer, 2006.

2. Vo, B. N., Dam, N., Phung, D., Tran, Q. N., & Vo, B. T. (2018). Model-based learning for point pattern data. Pattern Recognition, 84, 136-151.

3. Šmídl, V., & Quinn, A. (2006). The variational Bayes method in signal processing. Springer Science & Business Media.

10.10.2022 - 10:37

BSc./Mgr. Téma: Neuronové sítě pro analýzu stavu plasmatu v Tokamaku (Šmídl)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Školitel: 
Šmídl
Klíčová slova: 
strojové učení, neuronové sítě, model plasmatu

Modelování stavu plasmatu v Tokamaku je náročné díky velkému množství fyzikálních dějů a neúplnému měření. Simulační nástroje vyžadují velké množství času na výpočet. Cílem práce je ověřit možnosti využití neuronových sítí jako univerzálního aproximátoru. Klasické neuronové sítě byly aplikovány již na několik problémů v oblasti diagnostiky plasmatu, použití nových architektur, např. transformerů je stále neprověřené. Práce se bude zabývat aplikací nejnovějších metod na problém detekce stavu udržení plasmatu (H-mode, L-mode, ELM).

Literatura: 

Matěj Zorek, Vít Škvára, Václav Šmídl, Tomáš Pevný, Jakub Seidl, Ondřej Grover. Semi-supervised Deep networks for plasma state identification. Plasma Physics and Controlled Fusion. 2022 F Matos, V Menkovski, F Felici, A Pau, F Jenko, TCV Team, EUROfusion MST1 Team,et al. Classification of tokamak plasma confinement states with convolutional recurrent neural networks. Nuclear Fusion, 60(3):036022, 2020. Zerveas G, Jayaraman S, Patel D, Bhamidipaty A, Eickhoff C. A transformer-based framework for multivariate time series representation learning. InProceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining 2021 Aug 14 (pp. 2114-2124).

10.10.2022 - 10:34

BSc./Mgr. Téma: Physics-informed neural networks (Šmídl)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Školitel: 
Šmídl
Klíčová slova: 
neuronové sítě, diferenciální rovnice

Physics-informed neural network (PINN) jsou aplikací neuronových sítí na problém řešení diferenciálních a parciálních diferenciálních rovnic. V principu jednoduchá technika, zalozená na náhodné mřižce a minimalizaci chyby splnění diferenciální rovnice v těchto bodech pro neuronovou síť. Od svého přestavení před několika lety se tato technika vyvinula do bohaté formy metod podporujících práci s neurčitostí, aktivní volbu uzlových bodů, a mnoho dalších rozšíření. Díky plné derivovatelnosti tyto sítě dovolují i optimalizaci zadání úlohy.

Literatura: 

Raissi, M., Perdikaris, P. and Karniadakis, G.E., 2019. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378, pp.686-707. Yang, L., Meng, X. and Karniadakis, G.E., 2021. B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data. Journal of Computational Physics, 425, p.109913. Lu, L., Pestourie, R., Yao, W., Wang, Z., Verdugo, F. and Johnson, S.G., 2021. Physics-informed neural networks with hard constraints for inverse design. SIAM Journal on Scientific Computing, 43(6), pp.B1105-B1132.

10.10.2022 - 10:45

BSc./Mgr. Téma: Metody odhadu řídké parametrizace neuronových sítí (Šmídl)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Školitel: 
Šmídl
Klíčová slova: 
neuronové sítě, statistické metody

Typické architektury neuronových sítí přepokládají, že matice vah obsahují libovolné hodnoty. To vede na velmi komplexní sítě, které často takzvané přetrénovánají. Experimentálně bylo ukázáno, že použitím řídkých váhových matic dojde ke zlepšení vlastností sítě. Nalezením řídkých parametrizací se zabývajá olast Bayesovské statistiky s tzv. shrinkage priors, tj. apriorními rozloženími preferujícícmi nulové hodnoty. Cílem práce je použití těchto metod na odhad parametrů neuronových sítí. V první fázi půjde o ověření existujících metod typu dropout a jeho variant.

Literatura: 

E. Nalisnick, J. M. Hernández-Lobato, P. Smyth, Dropout as a Structured Shrinkage Prior. In `International Conference on Machine Learning\', PMLR, 2019, 4712-4722. C. Louizos, K. Ullrich, M. Welling, Bayesian Compression for Deep Learning. In `Advances in Neural Information Processing Systems\', 2017, 3288-3298. K. Mohammad, D. Nielsen, V. Tangkaratt, W. Lin, Y. Gal, A. Srivastava, Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam. In `International Conference on Machine Learning\', PMLR, 2018, 2611-2620.

10.10.2022 - 10:29

Stochastic sewing with Besov regularity

Externí přednášející: 
František Hendych
Datum a čas: 
03.10.2022 - 15:40
Místnost: 
26.09.2022 - 17:18

BSc./Mgr. Téma: Distribuované bayesovské modelování (Dedecius)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052570
Školitel: 
Dedecius
Klíčová slova: 
distribuované modelování, parametrické modely, difuzní sítě, informační difuze, informační fúze

V souvislosti s prudkým rozmachem zařízení (agentů) se značným výpočetním potenciálem, dostatkem paměti a schopností vzájemné komunikace došlo v posledních dvou dekádách k rychlému rozvoji metod pro distribuované modelování nejrůznějších procesů. Namátkou - distribuovaný Kalmanův filtr, RLS či particle filter. Zatímco většina stávajících řešení je orientována na jeden konkrétní model, použití bayesovského přístupu umožňuje tuto orientaci opustit ve prospěch obecnějších řešení. Cílem práce je zaměřit se právě na tuto problematiku, např.

Úkoly: 

1. Seznamte se s bayesovskou teorií odhadu
2. Seznamte se s problematikou distribuovaného modelování náhodných procesů.
3. Navrhněte vlastní přístup k odhadu parametrů parametrických modelů v sítích s informační difuzí. Konkrétní typ(y) modelu budou domluveny s vedoucím práce.
4. Porovnejte dosažené výsledky s těmi, jichž lze dosáhnout s již existujícími metodami.

Literatura: 

[1] A. H. Sayed, “Adaptation, learning, and optimization over networks,” Found. Trends Mach. Learn., vol. 7, no. 4–5, pp. 311–801, 2014.
[2] A. H. Sayed, “Adaptive Networks,” Proc. IEEE, vol. 102, no. 4, pp. 460–497, Apr. 2014.
[3] R. Nassif, S. Vlaski, C. Richard, J. Chen, and A. H. Sayed, “Multitask Learning Over Graphs: An Approach for Distributed, Streaming Machine Learning,” IEEE Signal Process. Mag., vol. 37, no. 3, pp. 14–25, May 2020
[4] K. Dedecius and P. M. Djuric, “Sequential Estimation and Diffusion of Information Over Networks: A Bayesian Approach With Exponential Family of Distributions,” IEEE Trans. Signal Process., vol. 65, no. 7, pp. 1795–1809, Apr. 2017.

15.09.2022 - 10:14

BSc./Mgr./PhD. Téma: Normativní teorie a algoritmy distribuovaného dynamického rozhodování za neurčitosti a neúplné znalosti (Kárný)

Typ práce: 
bachelor
diploma
dissertation
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Školitel: 
Kárný
Klíčová slova: 
adaptivní systémy, distribuované systémy, poradní systémy, bayesovské učení, pravděpodobnostní návrh, pravděpodobnostní kooperace, kvantifikace znalostí a preferencí

Reálné procesy jsou výslednicí relativně samostatně se rozhodujících, ale vzájemně se ovlivňujících částí, modelovaných v současnosti nejčastěji pomocí multi-agentních systémů. Ucelená normativní a algoritmizovaná teorie vedoucí k řešení konkrétních problémù však chybí. Předběžné výsledky naznačují, že takovou teorii je možno vytvořit kombinací bayesovského rozhodování, modelování pomocí dynamických pravděpodobnostních modelů a plně pravděpodobnostního návrhu rozhodovacích strategií.

Literatura: 

1. Kárný Miroslav, Guy Tatiana V.: On dynamic decision-making scenarios with multiple participants. In: Multiple Participant Decision Making. (Andrýsek J., Kárný M., Kracík J. eds.). ( International Series on Advanced Intelligence. 9). Advanced Knowledge International, Adelaide 2004, pp. 17-28.
2. Kárný Miroslav, Guy Tatiana V.: Fully probabilistic control design, Systems & Control Letters, 55:4, 259-265, 2006
3. Kárný Miroslav et al, Optimized Bayesian Dynamic Advising: Theory and Algorithms, Springer, London, 2006
4. Kárný Miroslav, Guy Tatiana V., Bodini A., Ruggeri F.: Cooperation via sharing of probabilistic information, Int. Journal of Computational Intelligence Studies, p. 139-162, 2009
5. Kárný Miroslav: Axiomatisation of Fully Probabilistic Design Revisited , Systems and Control Letters vol.141, 2020
6. Kárný Miroslav, Guy Tatiana V.: Preference Elicitation within Framework of Fully Probabilistic Design of Decision Strategies , IFAC-PapersOnLine. Volume 52, Issue 29 - Proceedings of the 13th IFAC Workshop on Adaptive and Learning Control Systems 2019, p. 239-244, IFAC Workshop on Adaptive and Learning Control Systems 2019 /13./, 2019
7. Kárný Miroslav: Prescriptive Inductive Operations On Probabilities Serving to Decision-Making Agents, IEEE Trans. on Systems Man Cybernetics-Systems vol.52, 4 p. 2110-2120, 2022

Poznámka: 
Téma lze zadat na MFF UK, FEL ČVUT, FJFI ČVUT a FAV ZČU či dle dohody.
15.09.2022 - 10:15

BSc. Téma: Nastavování parametrů rozhodovacích pravidel (Kárný)

Typ práce: 
bachelor
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Školitel: 
Kárný

Kvalita algoritmů optimalizovaného rozhodování (odhadování, předpovídání, klasifikace, testování hypotéz, ekonomické, lékařské či politické rozhodování, řízení, atd.) závisí, často kriticky, na volbě jejich parametrů (řád modelů, váha jednotlivých atributů v multikriteriálním rozhodování, pravděpodobnost mutací v genetických algoritmech, atd.). Proto je žádoucí je nastavit, nejlépe automaticky. Práce se zaměřuje na obecné řešení tohoto problému, které je rozhodováním v meta-prostoru parametrů.

Úkoly: 

1. Seznamte se s bayesovským odhadováním markovských řetězců.
2. Seznamte se s dynamickým programováním v míře nutné pro markovské rozhodovací procesy.
3. Seznamte se s metodikami nastavování parametrů určujících návrh optimálního rozhodovacího pravidla.
4. Navrhněte vlastní rozhodovací pravidlo nastavující parametry zmíněné v bodě 3.
5. Implementujte potřebné algoritmy v prostředí Matlab a experimentálně vyhodnoťte kvalitu Vašeho řešení na jednoduchém příkladě.

Literatura: 

Doporučená literatura (části vybrané po dohodě se školitelem)

1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. M. Puterman, Markov decision processes, John Wiley & Sons, 1994.
3. D. P. Bertsekas, Dynamic Programming, Prentice Hall, 1987.
4. A. E. Eiben, S. K. Smit, Parameter tuning for configuring and analyzing evolutionary algorithms, Swarm and Evolutionary Computation 1 (2011) 19–31.
5. M. Kárný, Towards On-Line Tuning of Adaptive-Agent's Multivariate Meta-Parameter, Pattern Recognition Letters, 150, 170-175, 2021

15.09.2022 - 10:15

Stránky

Přihlásit se k odběru Institute of Information Theory and Automation RSS