Lanț Markov

În matematică, un proces Markov, sau un lanț Markov, este un proces stohastic care are proprietatea că, dată fiind starea sa prezentă, stările viitoare sunt independente de cele trecute. Această proprietate se numește proprietatea Markov. Cu alte cuvinte, starea curentă a unui astfel de proces reține toată informația despre întreaga evoluție a procesului. Lanțurile Markov au fost denumite după matematicianul rus Andrei Markov.

Într-un proces Markov, la fiecare moment, sistemul își poate schimba sau păstra starea, în conformitate cu o anumită distribuție de probabilitate. Schimbările de stare sunt numite tranziții. Un exemplu simplu de proces Markov este parcurgerea aleatoare a nodurilor unui graf, tranzițiile fiind trecerea de la un nod la unul din succesorii săi, cu probabilitate egală, indiferent de nodurile parcurse până în acel moment.

Bibliografie

• Marius Iosifescu, Lanțuri Markov finite și aplicații