Institute of Information Theory and Automation

You are here

Home

BSc./Mgr. Téma: Učení matematického modelu z dat (Šmídl)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Supervisor: 
Šmídl
Keywords: 
identifikace modelu, strojové učení

Matematické modely jednoduchých fyzikálních jevů jsou známé a dobře prozkoumané. Pro složitější jevy v nich však figuruje mnoho neznámých parametrů a často vedou k velmi složitým výpočtům. Je proto výhodné hledat pro tyto úlohy zjednodušené modely, které dobře reprezentují reálný problém. Běžně používané black-box modely jako neuronové sítě potřebují k naučení velké množství dat a často je obtížné porozumět jak modle funguje. Cílem práce je seznámit se s problémem učení matematických modelů z dat. Hlavním studovaným přístupem je učení řídké parametrizace bohatého modelu.

Bibliography: 

1. Brunton, Steven L., Joshua L. Proctor, and J. Nathan Kutz. \"Discovering governing equations from data by sparse identification of nonlinear dynamical systems.\" Proceedings of the national academy of sciences 113, no. 15 (2016): 3932-3937.

2. Heim, Niklas, Tomáš Pevný, and Václav Šmídl. \"Neural power units.\" arXiv preprint arXiv:2006.01681 (2020).

3. Udrescu, Silviu-Marian, and Max Tegmark. \"AI Feynman: A physics-inspired method for symbolic regression.\" Science Advances 6, no. 16 (2020).

2022-10-10 10:42

BSc./Mgr. Téma: Metody shlukování strukturovaných dat (Šmídl)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Supervisor: 
Šmídl
Keywords: 
strojové učení, strukturovaná data, shlukování

Shlukování je klasická statistická metoda používaná ve strojovém učení na datech, na kterých je definována vzdálenost (například Eukleidova vzdálenost vektorů). V praxi se ovšem setkáváme s daty, která mají složitější relační strukturu, např. obsah nákupního košíku v e-shopu. Definice vzdálenosti mezi takovými daty je mnohem složitější. Nabízí se využít metody statistického popisu dat, které se vzdálenosti učí. Pro zmíněná data je vhodným modelem bodový proces. Metody shlukování založené na těchto metodách jsou zatím velice jednoduché.

Bibliography: 

1. Bishop, Christopher M. Pattern recognition and machine learning. Vol. 4. No. 4. New York: springer, 2006.

2. Vo, B. N., Dam, N., Phung, D., Tran, Q. N., & Vo, B. T. (2018). Model-based learning for point pattern data. Pattern Recognition, 84, 136-151.

3. Šmídl, V., & Quinn, A. (2006). The variational Bayes method in signal processing. Springer Science & Business Media.

2022-10-10 10:37

BSc./Mgr. Téma: Neuronové sítě pro analýzu stavu plasmatu v Tokamaku (Šmídl)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Supervisor: 
Šmídl
Keywords: 
strojové učení, neuronové sítě, model plasmatu

Modelování stavu plasmatu v Tokamaku je náročné díky velkému množství fyzikálních dějů a neúplnému měření. Simulační nástroje vyžadují velké množství času na výpočet. Cílem práce je ověřit možnosti využití neuronových sítí jako univerzálního aproximátoru. Klasické neuronové sítě byly aplikovány již na několik problémů v oblasti diagnostiky plasmatu, použití nových architektur, např. transformerů je stále neprověřené. Práce se bude zabývat aplikací nejnovějších metod na problém detekce stavu udržení plasmatu (H-mode, L-mode, ELM).

Bibliography: 

Matěj Zorek, Vít Škvára, Václav Šmídl, Tomáš Pevný, Jakub Seidl, Ondřej Grover. Semi-supervised Deep networks for plasma state identification. Plasma Physics and Controlled Fusion. 2022 F Matos, V Menkovski, F Felici, A Pau, F Jenko, TCV Team, EUROfusion MST1 Team,et al. Classification of tokamak plasma confinement states with convolutional recurrent neural networks. Nuclear Fusion, 60(3):036022, 2020. Zerveas G, Jayaraman S, Patel D, Bhamidipaty A, Eickhoff C. A transformer-based framework for multivariate time series representation learning. InProceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining 2021 Aug 14 (pp. 2114-2124).

2022-10-10 10:34

BSc./Mgr. Téma: Physics-informed neural networks (Šmídl)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Supervisor: 
Šmídl
Keywords: 
neuronové sítě, diferenciální rovnice

Physics-informed neural network (PINN) jsou aplikací neuronových sítí na problém řešení diferenciálních a parciálních diferenciálních rovnic. V principu jednoduchá technika, zalozená na náhodné mřižce a minimalizaci chyby splnění diferenciální rovnice v těchto bodech pro neuronovou síť. Od svého přestavení před několika lety se tato technika vyvinula do bohaté formy metod podporujících práci s neurčitostí, aktivní volbu uzlových bodů, a mnoho dalších rozšíření. Díky plné derivovatelnosti tyto sítě dovolují i optimalizaci zadání úlohy.

Bibliography: 

Raissi, M., Perdikaris, P. and Karniadakis, G.E., 2019. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378, pp.686-707. Yang, L., Meng, X. and Karniadakis, G.E., 2021. B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data. Journal of Computational Physics, 425, p.109913. Lu, L., Pestourie, R., Yao, W., Wang, Z., Verdugo, F. and Johnson, S.G., 2021. Physics-informed neural networks with hard constraints for inverse design. SIAM Journal on Scientific Computing, 43(6), pp.B1105-B1132.

2022-10-10 10:45

BSc./Mgr. Téma: Metody odhadu řídké parametrizace neuronových sítí (Šmídl)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Supervisor: 
Šmídl
Keywords: 
neuronové sítě, statistické metody

Typické architektury neuronových sítí přepokládají, že matice vah obsahují libovolné hodnoty. To vede na velmi komplexní sítě, které často takzvané přetrénovánají. Experimentálně bylo ukázáno, že použitím řídkých váhových matic dojde ke zlepšení vlastností sítě. Nalezením řídkých parametrizací se zabývajá olast Bayesovské statistiky s tzv. shrinkage priors, tj. apriorními rozloženími preferujícícmi nulové hodnoty. Cílem práce je použití těchto metod na odhad parametrů neuronových sítí. V první fázi půjde o ověření existujících metod typu dropout a jeho variant.

Bibliography: 

E. Nalisnick, J. M. Hernández-Lobato, P. Smyth, Dropout as a Structured Shrinkage Prior. In `International Conference on Machine Learning\', PMLR, 2019, 4712-4722. C. Louizos, K. Ullrich, M. Welling, Bayesian Compression for Deep Learning. In `Advances in Neural Information Processing Systems\', 2017, 3288-3298. K. Mohammad, D. Nielsen, V. Tangkaratt, W. Lin, Y. Gal, A. Srivastava, Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam. In `International Conference on Machine Learning\', PMLR, 2018, 2611-2620.

2022-10-10 10:29

Stochastic sewing with Besov regularity

Name of External Lecturer: 
František Hendych
Date: 
2022-10-03 15:40
Room: 
203
2022-09-26 17:18

BSc./Mgr. Téma: Distribuované bayesovské modelování (Dedecius)

Type of Work: 
bachelor
diploma
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052570
Supervisor: 
Dedecius
Keywords: 
distribuované modelování, parametrické modely, difuzní sítě, informační difuze, informační fúze

V souvislosti s prudkým rozmachem zařízení (agentů) se značným výpočetním potenciálem, dostatkem paměti a schopností vzájemné komunikace došlo v posledních dvou dekádách k rychlému rozvoji metod pro distribuované modelování nejrůznějších procesů. Namátkou - distribuovaný Kalmanův filtr, RLS či particle filter. Zatímco většina stávajících řešení je orientována na jeden konkrétní model, použití bayesovského přístupu umožňuje tuto orientaci opustit ve prospěch obecnějších řešení. Cílem práce je zaměřit se právě na tuto problematiku, např.

Tasks: 

1. Seznamte se s bayesovskou teorií odhadu
2. Seznamte se s problematikou distribuovaného modelování náhodných procesů.
3. Navrhněte vlastní přístup k odhadu parametrů parametrických modelů v sítích s informační difuzí. Konkrétní typ(y) modelu budou domluveny s vedoucím práce.
4. Porovnejte dosažené výsledky s těmi, jichž lze dosáhnout s již existujícími metodami.

Bibliography: 

[1] A. H. Sayed, “Adaptation, learning, and optimization over networks,” Found. Trends Mach. Learn., vol. 7, no. 4–5, pp. 311–801, 2014.
[2] A. H. Sayed, “Adaptive Networks,” Proc. IEEE, vol. 102, no. 4, pp. 460–497, Apr. 2014.
[3] R. Nassif, S. Vlaski, C. Richard, J. Chen, and A. H. Sayed, “Multitask Learning Over Graphs: An Approach for Distributed, Streaming Machine Learning,” IEEE Signal Process. Mag., vol. 37, no. 3, pp. 14–25, May 2020
[4] K. Dedecius and P. M. Djuric, “Sequential Estimation and Diffusion of Information Over Networks: A Bayesian Approach With Exponential Family of Distributions,” IEEE Trans. Signal Process., vol. 65, no. 7, pp. 1795–1809, Apr. 2017.

2022-09-15 10:14

BSc./Mgr./PhD. Topic: Normative theory and algorithms of distributed decision making under uncertainty and incomplete knowledge (Kárný)

Type of Work: 
bachelor
diploma
dissertation
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Supervisor: 
Kárný
Keywords: 
adaptivní systémy, distribuované systémy, poradní systémy, bayesovské učení, pravděpodobnostní návrh, pravděpodobnostní kooperace, kvantifikace znalostí a preferencí

Real processes result from interactions of relatively independently deciding but mutually interacting parts, modelled predominantly as multi-agents’ systems. A sufficiently complete, normative and algorithmically implementable theory is still missing, which is dearly paid by effort and quality in solving specific problems. Preliminary results indicate that such a theory can be created by combining Bayesian decision making, dynamic probabilistic modelling and fully probabilistic design of decision strategies.

Bibliography: 

1. Kárný Miroslav, Guy Tatiana V.: On dynamic decision-making scenarios with multiple participants. In: Multiple Participant Decision Making. (Andrýsek J., Kárný M., Kracík J. eds.). ( International Series on Advanced Intelligence. 9). Advanced Knowledge International, Adelaide 2004, pp. 17-28.
2. Kárný Miroslav, Guy Tatiana V.: Fully probabilistic control design, Systems & Control Letters, 55:4, 259-265, 2006
3. Kárný Miroslav et al, Optimized Bayesian Dynamic Advising: Theory and Algorithms, Springer, London, 2006
4. Kárný Miroslav, Guy Tatiana V., Bodini A., Ruggeri F.: Cooperation via sharing of probabilistic information, Int. Journal of Computational Intelligence Studies, p. 139-162, 2009
5. Kárný Miroslav: Axiomatisation of Fully Probabilistic Design Revisited , Systems and Control Letters vol.141, 2020
6. Kárný Miroslav, Guy Tatiana V.: Preference Elicitation within Framework of Fully Probabilistic Design of Decision Strategies , IFAC-PapersOnLine. Volume 52, Issue 29 - Proceedings of the 13th IFAC Workshop on Adaptive and Learning Control Systems 2019, p. 239-244, IFAC Workshop on Adaptive and Learning Control Systems 2019 /13./, 2019
7. Kárný Miroslav: Prescriptive Inductive Operations On Probabilities Serving to Decision-Making Agents, IEEE Trans. on Systems Man Cybernetics-Systems vol.52, 4 p. 2110-2120, 2022

Note: 
The topic suits to students of MFF UK, FEL ČVUT, FJFI ČVUT, FAV ZČU, and possibly others.
2022-09-15 10:15

BSc. Topic: Nastavování parametrů rozhodovacích pravidel (Kárný)

Type of Work: 
bachelor
Affiliation/Phone: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Supervisor: 
Kárný

The quality of optimized decision-making algorithms (estimation, forecasting, classification, hypothesis testing, economic, medical or political decision-making, management, etc.) depends, often critically, on the choice of their parameters (order of models, weight of individual attributes in multi-criteria decision-making, probability of mutations in genetic algorithms, etc.). Therefore, it is desirable to set them, preferably automatically. The work is focused on a general solution to this problem, which is decision-making in the meta-space of parameters.

Tasks: 

1. Learn about Bayesian estimation of Markov chains.
2. Familiarize yourself with dynamic programming to the extent necessary for Markov decision-making processes.
3. Familiarize yourself with the methodologies for setting design parameters optimal decision rule.
4. Design your own decision rule setting the parameters mentioned in point 3.
5. Implement the necessary algorithms in the Matlab environment and experimentally evaluate the quality of your solution using a simple example.

 

Bibliography: 

Recommended literature (parts selected after agreement with the supervisor)

1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. M. Puterman, Markov decision processes, John Wiley & Sons, 1994.
3. D. P. Bertsekas, Dynamic Programming, Prentice Hall, 1987.
4. A. E. Eiben, S. K. Smit, Parameter tuning for configuring and analyzing evolutionary algorithms, Swarm and Evolutionary Computation 1 (2011) 19–31.
5. M. Kárný, Towards On-Line Tuning of Adaptive-Agent's Multivariate Meta-Parameter, Pattern Recognition Letters, 150, 170-175, 2021

2022-09-15 10:15

Pages

Subscribe to Institute of Information Theory and Automation RSS
Institute of Information Theory and Automation