Oblicz średnie czasy powrotu dla wszystkich stanów łańcucha Markowa o macierzy przejścia
P=(14342313)
wprost oraz korzystając z twierdzenia ergodycznego.
Dwóch graczy rzuca symetryczną monetą. Jeden obstawia, że najpierw pojawi się ciąg OOR, drugi - że ROO. Jakie prawdopodobieństwo wygranej ma każdy z graczy i jaki jest oczekiwany czas gry?
Zanim zdefiniujemy pojęcie łańcucha Markowa przyjrzyjmy się przykładom sytuacji, które można za ich pomocą opisywać i pytań, na które pozwalają one odpowiadać.
Przykład 8.1 (Student walczy)