Ústav teorie informace a automatizace

Jste zde

AS

BSc./Mgr. Téma: Physics-informed neural networks (Šmídl)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Školitel: 
Šmídl
Klíčová slova: 
neuronové sítě, diferenciální rovnice

Physics-informed neural network (PINN) jsou aplikací neuronových sítí na problém řešení diferenciálních a parciálních diferenciálních rovnic. V principu jednoduchá technika, zalozená na náhodné mřižce a minimalizaci chyby splnění diferenciální rovnice v těchto bodech pro neuronovou síť. Od svého přestavení před několika lety se tato technika vyvinula do bohaté formy metod podporujících práci s neurčitostí, aktivní volbu uzlových bodů, a mnoho dalších rozšíření. Díky plné derivovatelnosti tyto sítě dovolují i optimalizaci zadání úlohy.

Literatura: 

Raissi, M., Perdikaris, P. and Karniadakis, G.E., 2019. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378, pp.686-707. Yang, L., Meng, X. and Karniadakis, G.E., 2021. B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data. Journal of Computational Physics, 425, p.109913. Lu, L., Pestourie, R., Yao, W., Wang, Z., Verdugo, F. and Johnson, S.G., 2021. Physics-informed neural networks with hard constraints for inverse design. SIAM Journal on Scientific Computing, 43(6), pp.B1105-B1132.

10.10.2022 - 10:45

BSc./Mgr. Téma: Metody odhadu řídké parametrizace neuronových sítí (Šmídl)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052420
Školitel: 
Šmídl
Klíčová slova: 
neuronové sítě, statistické metody

Typické architektury neuronových sítí přepokládají, že matice vah obsahují libovolné hodnoty. To vede na velmi komplexní sítě, které často takzvané přetrénovánají. Experimentálně bylo ukázáno, že použitím řídkých váhových matic dojde ke zlepšení vlastností sítě. Nalezením řídkých parametrizací se zabývajá olast Bayesovské statistiky s tzv. shrinkage priors, tj. apriorními rozloženími preferujícícmi nulové hodnoty. Cílem práce je použití těchto metod na odhad parametrů neuronových sítí. V první fázi půjde o ověření existujících metod typu dropout a jeho variant.

Literatura: 

E. Nalisnick, J. M. Hernández-Lobato, P. Smyth, Dropout as a Structured Shrinkage Prior. In `International Conference on Machine Learning\', PMLR, 2019, 4712-4722. C. Louizos, K. Ullrich, M. Welling, Bayesian Compression for Deep Learning. In `Advances in Neural Information Processing Systems\', 2017, 3288-3298. K. Mohammad, D. Nielsen, V. Tangkaratt, W. Lin, Y. Gal, A. Srivastava, Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam. In `International Conference on Machine Learning\', PMLR, 2018, 2611-2620.

10.10.2022 - 10:29

Seminar Kalman filtering with unknown covariance matrices

The seminar will be held on Monday 10.10.2022 at 11:00 in the AS-meeting room 474. The speaker will be Kamil Dedecius.

29.09.2022 - 08:08

Dynamic distributed decision making: role of uncertainty

Zahájení: 
2022
Ukončení: 
2026
Identifikační číslo: 
EU-COST Action CA21169
Typ projektu (EU): 
EU
Zaměření projektu.: 
teoretický
WWW: 
Publikace ÚTIA: 
seznam
21.09.2022 - 18:01

BSc./Mgr. Téma: Distribuované bayesovské modelování (Dedecius)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052570
Školitel: 
Dedecius
Klíčová slova: 
distribuované modelování, parametrické modely, difuzní sítě, informační difuze, informační fúze

V souvislosti s prudkým rozmachem zařízení (agentů) se značným výpočetním potenciálem, dostatkem paměti a schopností vzájemné komunikace došlo v posledních dvou dekádách k rychlému rozvoji metod pro distribuované modelování nejrůznějších procesů. Namátkou - distribuovaný Kalmanův filtr, RLS či particle filter. Zatímco většina stávajících řešení je orientována na jeden konkrétní model, použití bayesovského přístupu umožňuje tuto orientaci opustit ve prospěch obecnějších řešení. Cílem práce je zaměřit se právě na tuto problematiku, např.

Úkoly: 

1. Seznamte se s bayesovskou teorií odhadu
2. Seznamte se s problematikou distribuovaného modelování náhodných procesů.
3. Navrhněte vlastní přístup k odhadu parametrů parametrických modelů v sítích s informační difuzí. Konkrétní typ(y) modelu budou domluveny s vedoucím práce.
4. Porovnejte dosažené výsledky s těmi, jichž lze dosáhnout s již existujícími metodami.

Literatura: 

[1] A. H. Sayed, “Adaptation, learning, and optimization over networks,” Found. Trends Mach. Learn., vol. 7, no. 4–5, pp. 311–801, 2014.
[2] A. H. Sayed, “Adaptive Networks,” Proc. IEEE, vol. 102, no. 4, pp. 460–497, Apr. 2014.
[3] R. Nassif, S. Vlaski, C. Richard, J. Chen, and A. H. Sayed, “Multitask Learning Over Graphs: An Approach for Distributed, Streaming Machine Learning,” IEEE Signal Process. Mag., vol. 37, no. 3, pp. 14–25, May 2020
[4] K. Dedecius and P. M. Djuric, “Sequential Estimation and Diffusion of Information Over Networks: A Bayesian Approach With Exponential Family of Distributions,” IEEE Trans. Signal Process., vol. 65, no. 7, pp. 1795–1809, Apr. 2017.

15.09.2022 - 10:14

BSc./Mgr./PhD. Téma: Normativní teorie a algoritmy distribuovaného dynamického rozhodování za neurčitosti a neúplné znalosti (Kárný)

Typ práce: 
bachelor
diploma
dissertation
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Školitel: 
Kárný
Klíčová slova: 
adaptivní systémy, distribuované systémy, poradní systémy, bayesovské učení, pravděpodobnostní návrh, pravděpodobnostní kooperace, kvantifikace znalostí a preferencí

Reálné procesy jsou výslednicí relativně samostatně se rozhodujících, ale vzájemně se ovlivňujících částí, modelovaných v současnosti nejčastěji pomocí multi-agentních systémů. Ucelená normativní a algoritmizovaná teorie vedoucí k řešení konkrétních problémù však chybí. Předběžné výsledky naznačují, že takovou teorii je možno vytvořit kombinací bayesovského rozhodování, modelování pomocí dynamických pravděpodobnostních modelů a plně pravděpodobnostního návrhu rozhodovacích strategií.

Literatura: 

1. Kárný Miroslav, Guy Tatiana V.: On dynamic decision-making scenarios with multiple participants. In: Multiple Participant Decision Making. (Andrýsek J., Kárný M., Kracík J. eds.). ( International Series on Advanced Intelligence. 9). Advanced Knowledge International, Adelaide 2004, pp. 17-28.
2. Kárný Miroslav, Guy Tatiana V.: Fully probabilistic control design, Systems & Control Letters, 55:4, 259-265, 2006
3. Kárný Miroslav et al, Optimized Bayesian Dynamic Advising: Theory and Algorithms, Springer, London, 2006
4. Kárný Miroslav, Guy Tatiana V., Bodini A., Ruggeri F.: Cooperation via sharing of probabilistic information, Int. Journal of Computational Intelligence Studies, p. 139-162, 2009
5. Kárný Miroslav: Axiomatisation of Fully Probabilistic Design Revisited , Systems and Control Letters vol.141, 2020
6. Kárný Miroslav, Guy Tatiana V.: Preference Elicitation within Framework of Fully Probabilistic Design of Decision Strategies , IFAC-PapersOnLine. Volume 52, Issue 29 - Proceedings of the 13th IFAC Workshop on Adaptive and Learning Control Systems 2019, p. 239-244, IFAC Workshop on Adaptive and Learning Control Systems 2019 /13./, 2019
7. Kárný Miroslav: Prescriptive Inductive Operations On Probabilities Serving to Decision-Making Agents, IEEE Trans. on Systems Man Cybernetics-Systems vol.52, 4 p. 2110-2120, 2022

Poznámka: 
Téma lze zadat na MFF UK, FEL ČVUT, FJFI ČVUT a FAV ZČU či dle dohody.
15.09.2022 - 10:15

BSc. Téma: Nastavování parametrů rozhodovacích pravidel (Kárný)

Typ práce: 
bachelor
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Školitel: 
Kárný

Kvalita algoritmů optimalizovaného rozhodování (odhadování, předpovídání, klasifikace, testování hypotéz, ekonomické, lékařské či politické rozhodování, řízení, atd.) závisí, často kriticky, na volbě jejich parametrů (řád modelů, váha jednotlivých atributů v multikriteriálním rozhodování, pravděpodobnost mutací v genetických algoritmech, atd.). Proto je žádoucí je nastavit, nejlépe automaticky. Práce se zaměřuje na obecné řešení tohoto problému, které je rozhodováním v meta-prostoru parametrů.

Úkoly: 

1. Seznamte se s bayesovským odhadováním markovských řetězců.
2. Seznamte se s dynamickým programováním v míře nutné pro markovské rozhodovací procesy.
3. Seznamte se s metodikami nastavování parametrů určujících návrh optimálního rozhodovacího pravidla.
4. Navrhněte vlastní rozhodovací pravidlo nastavující parametry zmíněné v bodě 3.
5. Implementujte potřebné algoritmy v prostředí Matlab a experimentálně vyhodnoťte kvalitu Vašeho řešení na jednoduchém příkladě.

Literatura: 

Doporučená literatura (části vybrané po dohodě se školitelem)

1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. M. Puterman, Markov decision processes, John Wiley & Sons, 1994.
3. D. P. Bertsekas, Dynamic Programming, Prentice Hall, 1987.
4. A. E. Eiben, S. K. Smit, Parameter tuning for configuring and analyzing evolutionary algorithms, Swarm and Evolutionary Computation 1 (2011) 19–31.
5. M. Kárný, Towards On-Line Tuning of Adaptive-Agent's Multivariate Meta-Parameter, Pattern Recognition Letters, 150, 170-175, 2021

15.09.2022 - 10:15

BSc. Téma: Produktivita géniů (Kárný)

Typ práce: 
bachelor
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Školitel: 
Kárný

I vysoce tvůrčí lidé (vědci, umělci, influenceři …) jsou v životě schopni vytvořit jen omezené množství významných výstupů. Pro rozhodování ovlivňující jejich kariéru je důležité předpovídat, do jaké míry může bý jejich tvůrčí kapacita vyčerpána. Práce je zaměřena na tvorbu a datově řízenou personalizaci modelu čerpání osobní tvůrčí produktivity. Z formálního hlediska jde o analýzu krátkých, velmi volatilních časových řad s tím, že kvalita předpovídání další ‘produkce’ zkoumané osoby může silně ovlivnit jeho profesní život.

Úkoly: 

1. Seznamte se s bayesovským odhadováním parametrů.
2. Seznamte se s modelováním produktivity a zvolte jednoduchý parametrický model.
3. Seznamte se s numerickými indikátory produktivity vědců (či umělců).
4. Zvolte indikátor dostupný z veřejných zdrojů a sesbírejte odpovídající data.
5. Implementujte navržená odhadování v systému MATLAB a vyhodnoťte kvalitu Vašeho odhadování a z něj plynoucí predikce.

Literatura: 

Doporučená literatura (části vybrané po dohodě se školitelem)

1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. C. Marchetti. Action curves and clockwork geniuses. Technical report, IASA, Laxenburg, Vienna, 1984.
3. T. Braun, W. Ganzel, and A. Schubert. Scientometric indicators. World Scientific, (1985).
4. J. Mingers and L. Leydesdor_. A review of theory and practice in scientometrics. European Journal of Operational Research, 246 (2015),1-19.

15.09.2022 - 10:15

BSc./Mgr. Téma: Inverzní modelování zdroje při radiačním úniku do atmosféry (Tichý)

Typ práce: 
bachelor
diploma
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052570
Školitel: 
Tichý
Klíčová slova: 
Bayesovské modelování a odhadování, inverzní problém, atmosférické modelování

Při detekci radioaktivity v ovzduší je zásadním úkolem určení lokace úniku a jeho časového průběhu. Zatímco lokace bývá velmi často známa, časový průběh a celkové množství uniklé látky bývá většinou známo jen jako hrubý odhad nebo vůbec. Hlavním úkolem navrhované práce je určení časového průběhu úniku z dostupných terénních měření. Toho lze dosáhnout optimalizací mezi naměřenými hodnotami a mezi numerickými výsledky atmosférického modelu šíření.

Literatura: 

1. M. Hutchinson, H. Oh, W. Chen, A review of source term estimation methods for atmospheric dispersion events using static or mobile sensors. Information Fusion 36, 2017, 130-148.
2. P. Seibert and A. Frank, Source-receptor matrix calculation with a Lagrangian particle dispersion model in backward mode. Atmospheric Chemistry and Physics 4(1), 2004, 51–63.
3. V. Šmídl, A. Quinn, The Variational Bayes Method in Signal Processing. Springer, 2006.
4. O. Tichý, V. Šmídl, R. Hofman, K. Šindelářová, M. Hýža, A. Stohl, Bayesian inverse modeling and source location of an unintended I-131 release in Europe in the fall of 2011, Atmospheric Chemistry and Physics 17(20), 2017, 12677-12696.
5. O. Tichý, V. Šmídl, N. Evangeliou, Source term determination with elastic plume bias correction, Journal of Hazardous Materials vol.425 (2022), 127776.

15.09.2022 - 10:16

BSc. Téma: Přibližné průběžné bayesovské odhadování se zapomínáním (Kárný)

Typ práce: 
bachelor
Kontakt/telefon: 
ÚTIA AV ČR, v.v.i., oddělení AS, 266052274
Školitel: 
Kárný

Průběžné odhadování parametrů modelu je klíčová část adaptivních systémů předpovídajících či ovlivňujících jejich složité náhodné okolí. Většina modelů neumožňuje žádoucí přesné bayesovské odhadování a proto je nutné je realizovat přibližně. V tomto případě je nezbytné zapomínat neplatnou znalost, neboť jinak chování odhadnutého modelu a modelovaného okolí často vzájemně divergují. Volba datově závislé rychlosti zapomínání je stále otevřený problém i přes desetiletí pokračující výzkum této problematiky.

Úkoly: 

1. Seznamte se s bayesovským odhadováním parametrů.
2. Seznamte se s principem minimální očekávané relativní entropie.
3. Navrhněte přibližné bayesovské odhadování parametrů modelu opírající se o Taylorův rozvoj logaritmu modelu.
4. Užijte bayesovské prediktory založené na apriorní a aposteriorní pravděpodobnosti parametrů pro odhad důvěry v ně. Ta poslouží pro návrh nového apriorního rozložení pomocí principu minimální očekávané entropie.
5. Výsledek naprogramujte a pro případ logistické regrese porovnejte jeho kvalitu s vhodným standardem.

Literatura: 

Doporučená literatura (části vybrané po dohodě se školitelem)

1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. R. Kulhavý, M.B. Zarrop, On a General Concept of Forgetting, International Journal of Control 58(4), 905-924, 1993.
3. M. Kárný, Minimum Expected Relative Entropy Principle, Proc. of the 18th European Control Conference, 35-40, 2020.
4. M. Kárný, Approximate Bayesian recursive estimation, Inf. Sciences 285(1), 100-111 2014.

15.09.2022 - 10:16

Stránky

Přihlásit se k odběru RSS - AS