第十一章-马尔科夫链

第十一章马尔科夫链1、设有独立重复试验序列{,1}nXn。以1nX记第n次试验时事件A发生，且{1}nPXp；以0nX记第n次试验时事件A不发生，且{0}1nPXqp。求：k步转移概率矩阵。解：{,1}nXn是齐次马尔科夫链。由独立性知：1111{|}{}nnnnnnPXiXiPXi。又由重复性知，有,1,{},0.ijnpjpPXjqj故00011011P,ppqpppqpPP,qpqpqpqpqpqp()PkkqpPPPqp。2、若顾客的购买是无记忆的。现在市场上供应A,B,C三个不同厂家生产的50g袋装味精。用1,2,3nnnXXX分别表示事件“顾客第n次购买A,B,C三厂的味精”，则{}nX是一个马氏链。已知顾客第一次购买三种味精的概率依次为0.2，0.4，0.4。又知道一般顾客购买的倾向表如下：0.80.10.10.50.10.40.50.30.2。求：1）顾客第二次购买各厂味精的概率。2）经过三次购买后的倾向表。3）长时间的购买活动后，A，B，C三厂的市场占有率如何？解：1）因为，转移概率矩阵为0.80.10.10.50.10.40.50.30.2P，且初始状态为123(,,)(0.2,0.4,0.4).uuuu,顾客第二次购买的各厂味精的概率分别为：0.80.10.1(0.2,0.4,0.4)0.50.10.4(0.56,0.18,0.26)0.50.30.2P2）、经过三次购买后的倾向表为：30.80.10.10.7220.1280.15030.50.10.40.6950.1340.1710.50.30.20.6950.1420.163P3）、设其极限分布为012(,,)，由P得，长时间的购买活动后，A，B，C三厂的市场占有率为：601113(,,)848484。3、设{,1}nXn满足习题1的条件。若有1,1,nnkkYXn证明：{,1}nYn是齐次马尔科夫链，并求二步转移概率矩阵。解：因为11121221111,,,,,nnknnnnnkYXiYXXiYXiYYXi所以，111nnnnnXYYii，由于1nX与12,,nYYY相互独立，因此11111111111111{|,,,}{|,,,}{}nnnnnnnnnnnnnnnnPYiYiYiYiPXiiYiYiYiPXii同理，1111{|}{}nnnnnnnPYiYiPXii。所以{,1}nYn是马尔科夫链，由于{,1}nXn是齐次马尔科夫链，故{,1}nYn也是齐次马尔科夫链。11{|}{}1,0ijmmmqjipPYjYiPXjipjiother故222222,22qpqpqpqpqpqPPqpqpq。4、设{,}nXnT是一个马尔科夫链，其状态空间{,,}Iabc，转移概率矩阵为1214142301335250P，求（1）{,,,,,,|}12345670PXbXcXaXcXaXcXbXc，（2）2{|}nnPXcXb。解：（1）由马尔科夫与齐次性，可得{|}{|}{|}{|}10213243{|}{|}{|}5465762131312353545452500PPXbXcPXcXbPXaXcPXcXaPXaXcPXcXaPXbXc（2）因为所求为二步转移概率，先求二步转移概率矩阵17/309/405/24(2)8/153/101/617/303/2017/90PPP，故221{|}[{|}]1/6nnnnPXcXbPXcXb。5（天气预报问题）、设明天是否有雨仅与今天的天气有关，而与过去的天气无关。又设今天下雨而明天下雨的概率为，而今天无雨明天有雨的概率为；规定有雨天气为状态0，无雨天气为状态1。因此问题是两个状态的马尔科夫链。设0.7,0.4。求今天有雨且第四天仍有雨的概率。解由题设条件，得一步转移概率矩阵为0001101110.70.3P10.40.6pppp，于是二步转移概率矩阵为(2)0.610.39P0.520.48PP；四步转移概率矩阵为(4)(2)(2)0.57490.4251P=P0.56680.4332P从而今天有雨且第四天仍有雨的概率为：(4)000.5749p。6、设{,1}kYk是一个独立同分布的取非负整数的随机变量序列，{},(0)kPYiai，令21,1,nnkkXYn证明：{,0}nXn是马尔科夫链，并求其一步转移概率矩阵。解：nX的值域为222111{0,1,2,3,},2,1nnnnnEXXXYYn，有21111111111{|,,,}{2}={|}nnnnnnnnnnnnnnPXiXiXiXiPiiYYPXiXi所以，{,0}nXn是马尔科夫链，转移概率211{2}=(,,),0,()ijijjipPiiYYjaijEjipji。故其一步转移概率矩阵为：012012012aaaaaaPaaa。7、设马尔科夫链的状态空间为{0,1,2}I，一步转移概率矩阵为：0.50.40.10.30.40.30.20.30.5P，求其相应的极限分布。解：设其极限分布为012(,,)，由P及201ii得方程组，0120,0121,0122,0120.50.30.20.30.40.30.20.30.51解方程组得01221/62,23/62,18/62。即不论其其始分布任何，在经过一段时间以后，有21/62的时间过程处于状态0，有23/62的时间过程处于状态1，有18/62的时间过程处于状态2。8、设一马尔科夫链的转移概率矩阵为1/201/2001/201/21/201/2001/201/2P，讨论此马尔科夫链的遍历性。解：因为(2)01/201/21/201/20,,01/201/21/201/20P当n为奇数时，()nPP；当n为偶数时，()(2)nPP。所以对任一固定的状态当(1,2,3,4)jj，极限()limnijnp都不存在。故此马尔科夫链不具遍历性。9、设马尔科夫链{,1}nXn的转移概率矩阵为1/21/201/201/201/21/2P，求其平稳分布。解：设123(,,)满足方程组121,132,233,1230.50.50.50.50.50.51，解得唯一解(1/3,1/3,1/3)，则()0limlim[|}1/3.nijnnnpPXjXi即从状态i出发经过很长时间后马尔科夫链处于状态1，2，3的概率都是1/3。即马尔科夫链{,1}nXn趋于均匀分布。10、在一计算机系统中，每一循环具有误差的概率取决于先前一个循环是否有误差。以0表示误差状态，1表示无误差状态。设转移概率矩阵为0.750.25P0.50.5，讨论相应的齐次马尔科夫链的遍历性，并求其平稳（极限）分布。解：法1用定义解。由于P无零元，对0,1I，都有0ijp，所以此链具有遍历性。因为P与1000.25（特征矩阵）相似，故1PHH，其中1/21/5H1/22/5又(n)()1PnHH，得(n)n2/31/3limP2/31/3。故(2/3,1/3)为其平稳分布。法2设01(,)，由P及101ii，得方程组010,011,010.750.50.250.51得唯一解：01(,)(2/3,1/3)。故(2/3,1/3)为其平稳分布。