زنجیره مارکوف
زنجیره مارکوف زنجیره مارکوف یک فرآیند تصادفی گسسته- زمان با خاصیت مارکوف است. اگرچه برخی از نویسندگان در مورد فرآیندهای پیوسته – زمان هم از اصطلاح زنجیره مارکوف استفاده میکنند. یک فرآیند تصافی گسسته- زمان شامل سیستمی است که در هر مرحله در حالت خاص و مشخصی قرار دارد و