Ders 1: Markov Zincirleri YÖNEYLEM ARAŞTIRMASI III. Markov Süreçleri Ders 4. Stokastik Süreç Nedir? Stokastik Süreç Nedir?

Transkript

1 Ders : Markov Zincirleri YÖNEYLEM ARAŞTIRMASI III Markov Süreçleri Ders 4 Yrd. Doç. Dr. Beyazıt Ocaktan bocaktan@gmail.com Ders İçerik: nedir? Markov Zinciri nedir? Markov Özelliği Zaman Homojenliği Bir Adım Geçiş Matrisi, P Geçiş Diyagramı Tanım: () Zamanla rassal olarak gelişen bir sistem düşünelim (Örneğin öğle saatlerinde bir cafe deki müşteri sayısı). Varsayalım ki bu sistem n=,,,,...anlarında gözlensin. X n, n anındaki sistemin durumu olsun. X, X,..., X n rassal değişkenler dizisi, kesikli zaman stokastik süreç olarak isimlendirilir ve X, n n şeklinde gösterilir. ler bazı zaman periyotlarında çalışan bir sistemin davranışını tanımlamakla ilgilidir. Tanım (Durum): Sistem karakteristiklerinin n anındaki değeridir. Bir sistemin mevcut durumu durum olarak isimlendirilen N+ kategoriden birine düşer. Bir sistem aynı anda iki durumda olamaz.

2 Outcome Temp Durumlar,,,...N olarak etiketlenir. X n rassal değişkeni, n anındaki sistemin durumunu temsil eder. Tanım (Durum Uzayı): Bir sistemin olası tüm durumlarını içeren kümeye, durum uzayı denir. ÖRNEK: Atatürk Hava Limanında n. gün saat : de kaydedilen sıcaklıklar Days X o X 5 o X 5 o X o Kesikli Zaman ÖRNEK: Bir zarın n. atılışında gelen sayı No. of Tosses Kesikli Zaman X X 5 X X ÖRNEK: t anında bir mağazadaki müşteri sayısı Xt () İlk müşteri gelir İkinci müşteri gelir Bir müşteri ayrılır t t t t 4 Sürekli Zaman Üçüncü müşteri gelir t

3 lerin Sınıflandırılması Kesikli Zaman Markov Zincirleri Kesikli Zaman Sürekli Zaman Tanım (Markov Özelliği): Eğer bir stokastik süreç X, n n Markovian Non-Markovian Kesikli Zaman Markov Zinciri Ders kapsamı dışı Sürekli Zaman Markov Zinciri Ders kapsamı dışı P( X j X i, X i,..., X i, X i ) n n n n P( X j X i) n n Markov Özelliği ne sahiptir. ise, Yani; Geçmişteki durumun X, X,..., X n- olduğu ve şu anki durumun X n =i olduğu verildiğinde herhangi bir gelecek durumun koşullu olasılığı yalnızca şu anki duruma bağlıdır. Gelecek olaylar geçmişteki olaylara değil, sadece şu anki duruma bağlıdır Kesikli Zaman Markov Zincirleri Tanım (Markov Zinciri): Bir stokastik süreç X, n n Markov özelliğine sahipse, bu süreç bir Markov zinciridir. Markov Özelliği: P( X j X i, X i,..., X i, X i ) n n n n P( X j X i) n n Bir Adım Geçiş Olasılıkları Tanım (Bir Adım Geçiş Olasılıkları): P( X n j X n i) koşullu olasılıklarına bir adım geçiş olasılıkları denir ve P ij ile gösterilir. Tanım (Zaman Homojenliği): Eğer tüm i ve j için, P( X n j X n i) P( X j X i) for all n=,,... İse Markov Zinciri zaman homojen dir. Zaman homojen Markov Zincirlerinde bir adım geçiş olasılıkları zamanla değişmez.

4 Bir Adım Geçiş Olasılık Matrisi, P Matris formu, bir adım geçiş olasılıklarını göstermek için uygun bir yoldur:... N- N p p... p N p N p p... p N p N P N-pN, pn,... pn, N pn, N N pn, pn,... pn, N p P( X N, N n X n N) Bir adım geçiş matrisi P ile gösterilir. Örnek.: Kumarbazın İflası Varsayalım ki TL miz var ve her yazı-tura atışımızda eğer para TURA gelirse TL kazanıyoruz, YAZI gelirse TL kaybediyoruz. Bir atışta paranın TURA gelmesi olasılığı p dir. ebimizdeki para miktar 4 TL olduğunda yada hiç paramız kalmadığında oyun sona erecektir. Problemin durum uzayını tanımlayın. ebimizdeki para miktarı Kesikli Markov Zinciri olarak modellenebilir mi? Çözüm Bir Adım Geçiş Matrisi, P Önce X n i tanımlayalım: X n, n. oyundan sonra cebimizdeki para miktarı olarak tanımlanırsa; X n, n. oyundan sonra param kalmazsa, n. oyundan sonra TL param kalırsa, n.oyundan sonra TLparam kalırsa, n.oyundan sonra TLparam kalırsa 4, n.oyundan sonra 4TLparam kalırsa 4

5 Bir Adım Geçiş Matrisi, P 4 p p P p p p p 4 P matrisinin Özellikleri P matrisi izleyen özelliklere sahiptir: ) ) P N ij ij j P Birinci özellik, bir adım geçiş olasılıklarının ya yada pozitif olacağını ifade eder. İkinci özellik, satır girişleri toplamının e eşit olması gerektiğini ifade eder. Örnek. Varsayalım ki n. günün başında bir makine ya sağlamdır (çalışır durumda) yada bozuktur. Eğer makine bu gün sağlamsa, p olasılığıyla yarın bozuk olacaktır. Eğer makine bu gün bozuksa, q olasılığıyla yarın sağlam olacaktır. Makinenin durumunu tanımlayın. X n, rassal değişkenini tanımlayın. Geçiş diyagramını çizin ve P matrisini yazın Çözüm Makinanın durumları: bozuk, sağlam X n, n. Günün başında makinenin durumu olsun: X n, n. günün başında makine bozuksa, n. günün başında makine sağlamsa 5

6 Çözüm: Geçiş Diyagramı Geçiş Diagramı: Örnek. Balıkesir in hava durumu kategoride sınıflandırılmıştır: güneşli, bulutlu veya yağmurlu. P matrisi: -q q P p -p Eğer bu gün hava güneşliyse, yarın. olasılıkla bulutlu,. olasılıkla yağmurlu olacaktır. Eğer bu gün hava bulutluysa, yarın.4 olasılıkla hava yağmurlu,. olasılıkla güneşli olacaktır. Eğer bu gün hava yağmurluysa, yarın.4 olasılıkla hava güneşli,. olasılıkla bulutlu olacaktır. Balıkesir'deki hava durumu davranışını Kesikli Markov Zinciri olarak modelleyin. Çözüm Geçiş Diyagramı G Y B G P B Y G B Y 6