Cadeias de Markov
A cadeia de Markov é um caso particular de um processo estocástico com estados discretos (o parâmetro, em geral o tempo, pode ser discreto ou contínuo) e apresenta a propriedade Markoviana, chamada assim em homenagem ao matemático Andrei Andreyevich Markov.
A definição desta propriedade, também chamada de memória markoviana, é que os estados anteriores são irrelevantes para a predição dos estados seguintes, desde que o estado actual seja conhecido. (Extraído da Wikipédia).
Objectivamente tem-se uma coluna de estado actual sendo essa coluna multiplicada por uma matriz que indica quais as passagens entre os vários estados.
É usado por exemplo em economia da saúde para prever a evolução de uma população afectada por uma doença.
A distribuição dos valores é estacionária quando a conversão sucessiva conduz a uma solução estável.