Markov-folyamat

A Markov-folyamat avagy Markoff-folyamat egy olyan sztochasztikus folyamat, amely nem „emlékezik”. Ez azt jelenti, hogy egy folyamat jövőbeli feltételezett állapota csak a jelen állapottól függ, még akkor is, ha ismerjük a korábbi történéseket. Az állapot jövője és múltja függetlenek egymástól. A folyamatot Andrej Markov (1856–1922) orosz matematikusról nevezték el.

Gyakran a Markov-lánc kifejezést használják, melynek diszkrét (véges vagy megszámolható) állapottere van.

Egy folyamat Markov-folyamat, ha Markov-tulajdonságú.

A Markov-tulajdonság annyit jelent, hogy egy rendszer jövőbeli állapota nem függ a múltbeli állapotaitól. A Markov-láncot diszkrét időkre definiálják, de használják a terminológiát akkor is, ha az idő folytonos értéket vesz fel.

Példa

Hazárdjáték

Tegyük fel, hogy 10 forint zsetonnal (1 zseton = 1 forint) kezd egy játékos, és ismételten feltesz 1 forintot egy érmére (fej vagy írás). Addig játszik, amíg elveszti az összes pénzét. Ha $X_{n}$ jelenti a zsetonok forint értékét n dobás után, $X_{0}=10$, esetén, a sorozat $\{X_{n}:n\in [0,\infty )\}$ egy Markov-folyamat. Ha most a játékosnak 12 zsetonja van, akkor feltételezhetjük, hogy a következő dobás után 11 vagy 13 zsetonja lesz. A feltételezést nem javítja, hogy tudtuk, hogy 10 zsetonnal kezdett.

Születés folyamat

Tegyük fel, hogy van 100 darab pattogatott kukorica (popcorn) mag, és mindegyik mag kipattog függetlenül egyenletesen véletlenszerű időben a következő 100 másodpercben. Legyen $X_{t}$ a t időben kipattogott magok száma. Ekkor ez egy folytonos idejű nemhomogén Markov-folyamat. Ha egy idő után szeretnénk megjósolni, mennyi mag fog kipattogni a következő másodpercben, akkor csak azt kell tudni, hogy mennyi mag pattogott ki addig. Az nem segíti a becslést, hogy mikor pattogtak ki, így az $X_{t}$ ismerete nem ad információt.

Az itt leírt folyamat a Poisson-folyamat egy közelítése. A Poisson-folyamatok szintén Markov-folyamatok.

Példa nem Markov-folyamatra

Tegyük fel, hogy a pénztárcánkban van 5 db 5 centes, 5 db 10 centes és 5 db 25 centes érménk. Tegyünk véletlenszerűen 6 érmét az asztalra. Ha kitesszük az asztalra az első hat érmét, és azok összértéke 50 cent, és látjuk, hogy 5 db 5 centes és 1 db 25 centes volt, akkor nemcsak az tudható, hogy 50 cent van az asztalon, hanem az is, hogy nincs már több 5 centes érme. Így 1 valószínűséggel becsülhetjük, hogy a következő húzás után az összérték nagyobb vagy egyenlő lesz 60 cent. Ha viszont nem tudjuk a korábbi értékeket, csak az összeget, akkor nem lehetnénk biztosak, hogy következő dobás után 60 cent vagy annál nagyobb lesz az összeg.

Irodalom

• Ross, S. M: Stochastic Processes. (hely nélkül): Wiley. 1995. ISBN 978-0-471-12062-9  

Külső hivatkozások

• Markov Process (angolul)

Kapcsolódó szócikkek

• Poisson-folyamat
• Eloszlásfüggvény
• Markov-lánc
• Valószínűségszámítás
• Matematikai statisztika