Institute of Information Theory and Automation

You are here

Bibliography

Journal Article

On mean reward variance in semi-Markov processes

Sladký Karel

: Mathematical Methods of Operations Research vol.62, 3 (2005), p. 387-397

: CEZ:AV0Z10750506

: GA402/05/0115, GA ČR, GA402/04/1294, GA ČR

: Markov and semi-Markov processes with rewards, variance of cumulative reward, asymptotic behaviour

(eng): As an extension of the discrete-time case, this note investigates the variance of the total cumulative reward for the embedded Markov chain of semi-Markov processes. Under the assumption that the chain is aperiodic and contains a single class of recurrent states recursive formulae for the variance are obtained which show that the variance growth rate is asumptotically linear in time. Expression are provided to compute this growth rate.

(cze): V práci jsou vyšetřovány vlastnosti rozptylu celkového výnosu semimarkovského procesu s ohodnoceními využitím vlastností vloženého Markovova řetězce. Za předpokladu, že vložený řetězec je aperiodický a obsahuje jedinou třídu rekurentních stavu, jsou nalezeny analytické vztahy pro rozptyl celkového výnosu vloženého Markovova řetězce a je ukázáno, že růst celkového rozptylu je asymptoticky lineární.

: 12B

: BB

2019-01-07 08:39