pic1

آموزش زنجیره و فرآیند تصادفی مارکوف

در این پست آموزش زنجیره و فرآیند تصادفی مارکوف قرار داده شده است. زنجیره مارکوف (Markov Chain) یا فرآیند مارکوف (Markov Process) یک فرآیند تصادفی است که به سبب ویژگی های منحصر به فردش کاربردهای زیادی برای مدل سازی ساختارها در دنیای واقعی داشته و مورد علاقه ی تحلیلگران و مهندسین با گرایش های مختلف می باشد. فرآیند مارکف یک سیستم ریاضی با تعدادی حالت هست که در آن انتقال یا گذار (Transition) از یک حالت به حالت دیگر صورت می‌گیرد. مهمترین ویژگی زنجیره مارکوف آن است که یک فرآیندی تصادفی بدون حافظه ‌است. بدین معنی که حالت بعد تنها به حالت فعلی بستگی دارد و به وقایع قبل از آن وابسته نیست. این خاصیت اصطلاحا خاصیت مارکف نام دارد. هدف از این مجموعه آموزشی آشنایی با زنجیره مارکوف هست و گردآوری مطالب در آن به نحوه صورت پذیرفته که برای دانشجویان و محققین رشته های ریاضی، مهندسی کامپیوتر و مهندسی برق مفید باشد.

این پست به مرور تکمیل خواهد شد. برای اطلاع از زمان آپلود جلسات بعدی لطفا به کانال تلگرام مراجعه فرمایید.


جلسه اول: در این جلسه مقدمه ای از فرآیند مارکوف بیان شده است. ابتدا توسط چند مثال مفهوم یک فرآیند مارکوف  به صورت کامل شرح داده شده و در ادامه دو اصطلاح مهم این فرآیند ها یعنی حالت (State) و گذار (Transition) شرح داده شده اند. در ادامه مفهوم احتمالات گذار (Transition Probabilities) و نحوه به دست آوردن درخت گذار، دیاگرام گذار و ماتریس گذار (Transition Matrix) نیز بیان شده اند.

مدت زمان: ۴۵ دقیقه

محتوا: فایل تصویری ۷۲۰p و پاورپورینت درس

پیش نمایش جلسه اول:


جلسه دوم:  در جلسه اول از این مجموعه آموزشی به معرفی مقدماتی زنجیره مارکوف و دو مفهوم اصلی آن پرداخته شده است. در جلسه دوم مفاهیم دیگر این فرآیند همچون احتمالات گام بعدی و مفهوم احتمالات حالت اولیه (Initial State Probabilities) شرح داده شده اند. با استفاده از مثال، این مفاهیم بررسی و نقش آن ها در تحلیل یک فرآیند مارکوف توضیح داده شده است.

مدت زمان: ۳۰ دقیقه

محتوا: فایل تصویری ۷۲۰p و پاورپورینت درس

پیش نمایش جلسه دوم:


جلسه سوم: در جلسات اول و دوم این آموزش مقدمه ای از فرآیند مارکوف و مثال هایی از آن به همراه مفاهیم اصلی آن بیان شده اند. در جلسه سوم خاصیت مارکوفی (Markov Property) و بی حافظه (Memoryless) بودن به صورت مفصل مورد بحث قرار گرفته است. همچنین ویژگی های یک زنجیره مارکوف اعم از ارگودیک بودن (Ergodic)، قاعده مند بودن (Regular)، پریودیک بودن (Periodic)، کاهش ناپذیری (Irreducibility)، به صورت مفصل بیان می گردد. دسته بندی انواع زنجیره مارکوف من جمله، زنجیره مارکوف حالت محدود (Finite State) یا زنجیره مارکوف با حالت نامحدود (Infinite State) و همچنین زنجیره مارکوف زمان پیوسته (Continuous Time Markov Chain) و زنجیره مارکوف زمان گسسته (Discrete Time Markov Chain) نیز مورد بررسی قرار می گیرند و تفاوت های آن ها به ویژه از جنبه ماتریس نرخ گذار (Transition Rate Matrix) و ماتریس احتمالات گذار (Transition Probability Matrix) ذکر می گردد. در نهایت یک زنجیره مارکوف به کمک کدنویسی با نرم افزار MATLAB تولید می گردد تا نحوه تغییر حالت در این فرآیند تصادفی مشخص گردد.

مدت زمان: ۵۴ دقیقه

محتوا: فایل تصویری ۷۲۰p و پاورپورینت درس و فایل کدنویسی

پیش نمایش جلسه سوم:


جلسه چهارم:  در جلسات اول و دوم و سوم این آموزش مقدمه ای از زنجیره و فرآیند مارکوف و مثال هایی از آن به همراه مفاهیم اصلی و کد نویسی MATLAB آن بیان شده اند. در جلسه چهارم زنجیره مارکوف زمان گسسته (Discrete Time Markov Chain) به طور خاص مورد بررسی قرار می گیرد. این زنجیره ها در بحث های تصادفی مهندسی برق کنترل، قدرت، ریاضی مالی و اقتصادی کاربرد بسیاری دارند. بیان مقدمات، مدلسازی مارکوفی، احتمالات گذرا، حالت های حدی و زنجیره های مارکوف جاذب (Absorbing Markov Chains) و مثال های عددی، مباحث اصلی این جلسه را تشکیل می دهند.

مدت زمان: ۵۷ دقیقه

محتوا: فایل تصویری ۷۲۰p و پاورپورینت درس

پیش نمایش جلسه چهارم:


جلسه پنجم:  جلسه پنجم این مجموعه به فرآیندهای تصمیم گیری مارکوف، یعنی فرآیند مارکوف در حوزه زمان پیوسته (Continuous Time Markov Chain) اختصاص یافته است. فرآیند های مارکوف در تحلیل قابلیت اطمینان سیستم های قدرت (Reliability)، در مدل سازی سیستم های در معرض عیب یا fault prone و بسیاری موارد دیگر کاربرد دارند. بیان مقدمات، مدلسازی مارکوفی، حل معادلات دیفرانسیل احتمالات گذار، حالت های حدی و مثال عددی مباحث اصلی این جلسه را تشکیل می دهند.

مدت زمان: ۴۹ دقیقه

محتوا: فایل تصویری ۷۲۰p و پاورپورینت درس

پیش نمایش جلسه پنجم:


جلسه ششم:  جلسه ششم این مجموعه به فرآیندهای نیمه مارکوف، (Semi Markov) اختصاص یافته است. فرآیند های نیمه مارکوف با نرخ های متغیر با زمانی که دارند مدل های مناسیبی برای سیستم های با تغییرات اساسی بوده و در مباحثی چون قابلیت اطمینان سیستم های قدرت بسیار کارآمد هستند. بیان مقدمات، مفهوم فرآیند نیمه مارکوف، زمان انتظار، زمان اقامت، توزیع تصادفی زمان های انتظار، تفاوت فرایند مارکوف، نیمه مارکوف و مثال عددی مباحث اصلی این جلسه را تشکیل می دهند.

مدت زمان: ۴۴ دقیقه

محتوا: فایل تصویری ۷۲۰p و پاورپورینت درس

پیش نمایش جلسه ششم:

 


جلسه هفتم: جلسه هفتم این مجموعه به فرآیندهای مارکوف ناهمگن، (Nonhomogeneous Markov) اختصاص یافته است. بیان مقدمات، مفهوم فرایند مارکوف ناهمگن، بررسی فرآیند مارکوف تکه ای همگن (Piecewise Homogeneous Markov Process) و مثال عددی و کاربردی در مورد آن، مباحث اصلی این جلسه را تشکیل می دهند.

مدت زمان: ۴۰ دقیقه

محتوا: فایل تصویری ۷۲۰p و پاورپورینت درس

پیش نمایش جلسه هفتم:



۱۵ نظر

  1. سلام. من اطلاعات یک شرکت( یک ماه )شامل : تاریخ، ساعت و نرخ محصول رادر اختیار دارم .لازم به ذکر است این شرکت محصولات خود را از طریق مزایده به فروش می رساند . من میخوام با استفاده از داده های ماه اول که در اختیار دارم ،نرخ ماه دوم را ازطریق مارکوف پیش بینی کنم.
    ویدئو هارو دانلود کردم.ولی نفهمیدم از کدام مبحث این زنجیره باید استفاده کنم ، یعنی در جایگزاری این داده ها در زنجیره به مشکل برخوردم. لطفا کمکم کنید.

    [پاسخ]

    مونا فرجی پاسخ در تاريخ بهمن ۲۴ام, ۱۳۹۵ ۱۲:۴۶ ب.ظ:

    سلام دوست عزیز

    چیزی که شما به احتیاج دارید مدلسازی مارکوفی هست. در این آموزش ها تا حالا فرض بر این بوده که ما زنجیره مارکوف را می شناسیم. یعنی نرخ ها (احتمالات گذار) و ماتریس های گذار زنجیره معلوم هستند.
    شما در مرحله اول باید سعی کنید برای مجموعه داده هایی که دارید یک مدلسازی انجام بدید در واقع نرخ ها یا احتمالات گذارش رو تعیین کنید. برید سراغ روش های شناسایی

    [پاسخ]

    ترانه اسدی پاسخ در تاريخ بهمن ۲۹ام, ۱۳۹۵ ۱۱:۴۹ ق.ظ:

    سلام
    ۱-میخواستم بدونم با داشتن این سه متغیر(تاریخ و ساعت و نرخ) باید از زنجیره مارکوف زمان پیوسته استفاده کنم یا گسسته؟
    ۲-هیچ راهی وجود نداره من این اطلاعات رو براتون ارسال کنم نگاهی بهش بیندازید؟
    خواهشا کمکم کنید

    [پاسخ]

    مونا فرجی پاسخ در تاريخ اسفند ۱ام, ۱۳۹۵ ۱۰:۱۱ ق.ظ:

    @ترانه اسدی,
    سلام
    زمانی که داده در اختیار دارید و می خواههید به صورت مارکوفی مدل کنید باید از مارکوف گسسته استفاده کنید چون تعداد داده ها و بازه های زمانی محدوده هستند
    فعلا توصیه می کنم که برید سراغ روش های تعیین ماتریس احتمال گذار با استفاده از داده تا در اولین فرصت بتونم یک جلسه اموزشی در رابطه با این موضوع هم قرار بدم

    [پاسخ]

  2. لطفا خانم دکتر می فرمایید که حلقه for کدی که نوشتین برای چی هست؟
    ۲٫عدد تصادفی برای چی هست از لحاظ مفهومی؟
    ۳٫ چرا درایه ۱و۱ و درایه ۲و۱ با عدد تصادفی مقایسه میشن؟
    اگر محبت کنید کد رو بیشتر توضیح بدین ممنون میشم.

    [پاسخ]

    مونا فرجی پاسخ در تاريخ دی ۲۷ام, ۱۳۹۵ ۶:۵۸ ب.ظ:

    سلام دوست عزیز.
    حتما خاطرتون هست که مارکوف یک فرایند تصادفی هست و بنابرین از مجموعه ای از اعداد تصادفی تولید می شه. هر بار برای این که مشخص بشه اون عدد تصادفی تولید شده به مود اول تعلق داره و یا به مود دوم باید عدد با احتمال تعلقش به مود ها مقایسه بشه. پس تولید اعداد تصادفی و مقایسه ی آونها با احتمالات تعلق به هر مود به این معنا هستند.

    [پاسخ]

  3. سلام
    مطالب بسیار عالی بود ممنون از این ارایه های کامل و قابل فهم
    سوال از ارایه سوم دارم خانم دکتر.
    اینکه در محاسبه احتمالات گام n ام چرا شرایط اولیه رو در محاسباتمون در نظر نمیگیریم؟

    [پاسخ]

    مونا فرجی پاسخ در تاريخ دی ۲۷ام, ۱۳۹۵ ۶:۵۵ ب.ظ:

    سلام دوست عزیز و خوشحالم که براتون مفید بوده.
    به طور کلی شرایط اولیه برای محاسبه احتمالات نهایی باید در نظر گرفته بشن. البته در برخی موارد فقط بدست آوردن ماتریس گذار مرحله ی n ام مد نظر هست که اگر فقط ماتریس گذار را خواسته باشه در این موارد نیازی به ضرب کردن شرایط اولیه و محاسبه ی احتمالات نهایی نیست.

    [پاسخ]

  4. من متوجه m واحد حافظه نمیشم ..
    پس خاصیت مارکفی که بدون حافظه بودن هست چی میشه ؟
    (مثلا درمورد همون مثال شرکت بیمه و محاسبه احتمالات در ۱۲ ماه گذشته وآینده)
    و اینکه میشه گفت که یک زنجیره مارکف مرتبه m ،همگن نیست؟

    با تشکر

    [پاسخ]

    مونا فرجی پاسخ در تاريخ آذر ۲۹ام, ۱۳۹۵ ۵:۳۵ ب.ظ:

    @mehri,
    خاصیت بی حافظگی برای مارکوف مرتبه یک به این معنا هست که حالت آینده فقط به حالت کنونی بستگی داره.
    به حافظه گی برای مارکوف مرتبه m به این معنا هست که حالت بعدی فقط به m حالت قبل از ان بستگی دارد.
    و در هر دو مورد به مابقی حالت های گذشته بستگی نداره.

    [پاسخ]

  5. با سلام و خسته نباشید خدمت استاد گرامی
    در مورد زنجیره مارکوف مرتبه m که طبق تعریف به m حالت قبلی بستگی دارد،
    m(که در آن m متناهی است) فرایندی است که در آن:

    ‘ Pr ( X n = x n | X n − ۱ = x n − ۱ , X n − ۲ = x n − ۲ , … , X 1 = x 1 ) = Pr ( X n = x n | X n − ۱ = x n − ۱ , X n − ۲ = x n − ۲ , … , X n − m = x n − m ) for n > m }
    آیا با ویژگی مارکفی (بدون حافظه بودن)که وقوع هرحالت در آینده تنها به حالت فعلی بستگی دارد و مستقل از حالتهای قدیمی تر میباشد، تناقض ندارد؟

    [پاسخ]

    مونا فرجی پاسخ در تاريخ آذر ۲۷ام, ۱۳۹۵ ۱۲:۱۱ ب.ظ:

    سلام
    خیر تناقض نداره. چون اصلا طبق تعریف، یک فرآیند مارکوف مرتبه m یک فرایند با m واحد حافظه هستش.
    در این حالت هم وابستگی فقط به همان m گام قبل هست و به قبل تر از اون مرتبط نیست.

    [پاسخ]

  6. امکان آموزش میکروکنترلر آرم رو ندارید؟

    [پاسخ]

    مونا فرجی پاسخ در تاريخ آذر ۱۹ام, ۱۳۹۵ ۳:۲۹ ب.ظ:

    سلام انشالله به تدریج آموزش های میکروکنترلر ها هم در سایت قرار خواهد گرفت.

    [پاسخ]

یک پاسخ بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *