زنجیره مارکوف

زنجیره مارکوف

زنجیره مارکوف یک فرآیند تصادفی گسسته- زمان با خاصیت مارکوف است. اگرچه برخی از نویسندگان در مورد فرآیندهای پیوسته – زمان هم از اصطلاح زنجیره مارکوف استفاده می‌کنند. یک فرآیند تصافی گسسته- زمان شامل سیستمی است که در هر مرحله در حالت خاص و مشخصی قرار دارد و به صورت تصادفی در هر مرحله تغییر حالت می‌دهد.

مراحل اغلب به عنوان لحظه‌های زمانی در نظر گرفته می‌شوند ولی می‌توان آن‌ها را فاصله فیزیکی یا هر متغیر گسسته دیگری در نظر گرفت. خاصیت مارکوف بیان می‌کند که توزیع احتمال شرطی برای سیستم در مرحله بعد، فقط به حالت فعلی سیستم بستگی دارد و به حالت‌های قبل بستگی ندارد. چون سیستم به صورت تصادفی تغییر می‌کند به طور کلی پیش بینی حالت زنجیره مارکوف در نقطه‌ای خاص در آینده غیر ممکن است. با این حال ویژگی‌های آماری سیستم در آینده قابل پیش بینی است. در بسیاری از کاربردها چیزی که دارای اهمیت است همین ویژگی‌های آماری است.

تغییرات حالات سیستم انتقال نام دارند و احتمال‌هایی که به این تغییر حالت‌ها نسبت داده می‌شوند احتمال انتقال نام دارند. مجموعه‌ای از حالت‌ها و احتمال انتقال‌ها به طور کامل یک زنجیره مارکوف را مشخص می‌کنند. طبق قرار داد ما فرض می‌کنیم همیشه حالت بعدی وجود دارد و در نتیجه فرآیند تا ابد ادامه پیدا می‌کند.

پیاده روی می خواره

یکی از معروف ترین زنجیره‌های مارکوف که موسوم به «پیاده روی می خواره» است یک پیاده روی تصادفی است که در آن در هر قدم موقعیت با احتمال برابر به اندازه ۱+ یا ۱- تغییر می‌کند. در هر مکان دو انتقال ممکن وجود دارد یکی به عدد صحیح بعدی(۱+) و یکی به عدد صحیح قبلی(۱-). احتمال هر انتقال فقط به حالت کنونی بستگی دارد. برای مثال احتمال انتقال از ۵ به ۶ برابر با احتمال انتقال از ۵ به ۴ است و هر دوی این احتمالات برابر با ۰.۵ هستند. این احتمالات مستقل از حالت قبلی (که یا ۴ بوده و یا ۶) هستند.