Cadeias de Markov

Uma cadeia de Markov é um processo estocástico com estados discretos que apresenta a propriedade Markoviana: os estados anteriores são irrelevantes para prever os estados seguintes, desde que o estado actual seja conhecido. Por outras palavras, o futuro depende apenas do presente, não do passado.

Como funciona

Tem-se um vector de estado actual e uma matriz de transição que indica as probabilidades de passagem entre cada par de estados.

Estado seguinte = Estado actual × Matriz de transição

A distribuição dos valores diz-se estacionária quando a multiplicação sucessiva pelo mesmo período converge para uma solução estável — os valores deixam de se alterar.

Exemplo de aplicação — Economia da Saúde

Imagina uma população de doentes num estudo longitudinal com 3 estados: Saudável, Doente e Recuperado.

A matriz de transição indica, para cada estado, a probabilidade de passar a cada um dos outros estados no período seguinte (ex.: mês a mês). Multiplicando iterativamente o vector de estado actual, obtém-se a projecção da composição da população ao longo do tempo.

Outras aplicações: gestão de inventário, fiabilidade de sistemas, modelos de comportamento do consumidor, processos de linguagem natural.

Em R

library(markovchain)

# Definir estados e matriz de transição
mc <- new("markovchain",
  states = c("Saudavel","Doente","Recuperado"),
  transitionMatrix = matrix(
    c(0.7, 0.2, 0.1,
      0.1, 0.6, 0.3,
      0.2, 0.1, 0.7),
    nrow = 3, byrow = TRUE))

# Estado estacionário
steadyStates(mc)