Institute of Information Theory and Automation

Publication details

On the Total Reward Variance for Continuous-Time Markov Reward Chains

Journal Article

Sladký Karel, van Dijk N. M.


serial: Journal of Applied Probability vol.43, 4 (2006), p. 1044-1052

research: CEZ:AV0Z10750506

project(s): GA402/05/0115, GA ČR, GA402/04/1294, GA ČR

keywords: continuous-time Markov reward chain, variance of cumulative reward, asymptotic behaviour, uniformization

abstract (eng):

As an extension of the discrete-time case, this note investigates the variance of the total cumulative reward for continuous-time Markov reward chains with finite state spaces. The results correspond to discrete-time results. In particular, the variance growth rate is shown to be asymptotically linear in time. Expressions are provided to compute this growth rate.

abstract (cze):

V práci se studuje rozptyl celkého kumulativního výnosu ve spojitých markovských procesech s ohodnoceními a konečným stavovým prostorem. Dosažené výsledky dobře odpovídající poznatkům pro modely s diskrétním časem, růst rozptylu celkového výnosu je v čase asymptoticky lineární. Jsou uvedeny vzorce pro výpočet míry růstu celkového rozptylu.

Cosati: 12B

RIV: BB

Responsible for information: admin
Last modification: 21.12.2012
Institute of Information Theory and Automation