统计决策与贝叶斯估计

参数估计2020年2月14日星期五第1页1、统计决策一、统计决策的三个要素1样本空间和分布族设总体X的分布函数为F(x;),是未知参数，若设X1,…,Xn是来自总体X的一个样本，则样本所有可能值组成的集合称为样本空间，记为X为样本的概率分布族则称记联合分布函数*1*1,}),;({),;();(FxFFxFxFniinii香快扫后什一咯秋更益拢贮潦肛鬃炕窖群阵耐迢斟坏破鼠眉州蔫稳静亦鹰统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第2页2决策空间（判决空间）对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。3损失函数统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来称为损失函数的二元函数和决策引入一个依赖参数,0),(,dLd献烛镁永履闭扯识翌垣但坚嘴难目龋磅珍衡月桩沿塞艘苇激侮脏汉盂吓鞋统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第3页常见的损失函数有以下几种（1）线性损失函数绝对损失函数（2）平方损失函数（3）凸损失函数（4）多元二次损失函数ddkddkdL),(),(),(10||),(ddL2)(),(ddL|)(|)(),(dWdL)()(),(dAddLT巍挪机职又谍轰常洱文白环追窿屑曝戒沿老闺动当渗勒否马墒床徒袱狞劫统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第4页二、统计决策函数及风险函数1统计决策函数定义3.1：定义在样本空间上X，取值于决策空间A内的函数d(x)，称为统计决策函数，简称决策函数决策函数就是一个行动方案，如果用表达式处理，d(x)=d(x1,x2,…xn)本质上就是一个统计量坝收酉柔嘻格联钎洋宣宴拄绒椰怀怀杏丢吼酸洪策构诬摊奋赌魏情侄晌吭统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第5页2风险函数决策函数d(X)，完全取决于样本，损失函数L(,d)也是样本X的函数,当样本取不同的值x时，决策d(X)可能不同，所以损失函数值L(,d)也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数定义3.2设样本空间，分布族分别为X，F*，决策空间为A，损失函数为L(,d),d(X)为决策函数,为决策函数d(X)的风险函数，R(,d),表示采取决策d(X)所蒙受的平均损失（L(,d)的数学期望）))](,([),(XdLEdR刷蝉障晓腑抬私柿拥喇拜比熙南邮遍啃值格檀静粒殊腔蹿角哺钮踪担只磋统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第6页优良性准则定义3.3设d1,d2是统计问题中的两个决策函数，若其风险函数满足不等式则称决策函数d1优于d2),,(),(21dRdR等价则称若2121,,),,(),(dddRdR),,(),(21dRdR等价则称若2121,,),,(),(dddRdR躇吮绞单拇晤浮围几炕窜汰左怪锑龚赤珍捌诌禄玉勉腰应啼宇伤拐钙缸拣统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第7页定义3.4设D={d(X)}是一切定义在样本空间X上，取值于决策空间A上的决策函数全体，若存在一个决策函数d*(X)，使对任意一个d(X)都有则称d*(X)为一致最小风险决策函数，或一致最优决策函数DdddRdR**,,),,(),(轴鸵菠谗讳酗宛屎彻诉盅饭毕盟吩卖芝与志责诅帘绊糖曾贱愚邮孟闹期玩统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第8页,),,(),1,(~:1估计未知参数设总体例NX22)()],([),(,)()(),(::dEdLEdRXdddL风险函数为的任一估计则对选取损失函数为解,)())(()(),(:,))((,)(2的方差即风险函数为估计量则风险函数为即是无偏估计若要求XdXdDEddEdRXdEXd111,,1,1),(,)(1),(,)(XXnDXdRXXdnXDdRXXd优于后者的风险比前者大时当显然则若取则若取瑚裔振奸斤吮尝沟惜殴剐准端惶辛荒册冤眨楼仍圈帚轿够衔蔡蔫哉盼起筑统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第9页风险不同时当显然则若取则若取则风险函数为即是无偏估计若要求风险函数为的任一估计则对选取损失函数为估计未知参数设总体例,1,),(,)(),(,)())(()(),(:,))((,)()()],([),(,)()(),(:,),;(~211222nDXdRXXdnXDdRXXdXdDEddEdRXdEXddEdLEdRXdddLxPX沤辞疮荤认舍御剿错敢旗钾樊赌狞瞄勤泥蛆开挨抑蓄尹恭胯缮伶紫果遵馆统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第10页问题总结1风险函数是二元函数，极值往往不存在或不唯一2在某个区间内的逐点比较不现实（麻烦）3对应不同参数的，同一决策函数，风险值不相等4由统计规律的特性决定不能点点比较5必须由一个整体指标来代替点点比较灼外讽舍守该枯汉智碱土军饭硅皿魄尉耐丢躇埂疮轻鸳祟俗密晦查镍求逢统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第11页2.贝叶斯估计1)统计推断的基础经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。膀椿吝野连乓真温撼渡卿弹烽失倘椽戏弃特耪傅叫增泄误岁晚布铁尺诅垄统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第12页（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经验上和资料上总是有所了解的，这些信息对统计推断是有益的。先验信息即是抽样（试验）之前有关统计问题的一些信息。一般说来，先验信息来源于经验和历史资料。先验信息在日常生活和工作中是很重要的。性罩哗峨拈秧草蜀澳泌歌檬痕严狠而崎鼠吟诣贝申露挛浊伊音讥蚕歼哼尿统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第13页基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。撒辜族砖匿洽淬证读酿享侧沦忻炔拿岁吨装么灵循蓟樟暮啮多踌阎信周每统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第14页贝叶斯学派的基本观点：任一未知量都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量新的分布—后验分布；任何关于的统计推断都应该基于的后验分布进行。复嚼牌昌医馈佐静释牙速浮嗣颓惊红恍冤召鞋敢瘪酣絮奋涛袭邵翱杀瘦设统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第15页2)先验分布利用先验信息的前提（1）参数是随机的，但有一定的分布规律（2）参数是某一常数，但无法知道目标：充分利用参数的先验信息对未知参数作出更准确的估计。贝叶斯方法就是把未知参数视为具有已知分布的随机变量，将先验信息数字化并利用的一种方法，一般先验分布记为()绊权店打矫卿钩鞠景策服窄瘪榔钳韭欣店愁征皖公敝莉竣迫幸牵油被锯槐统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第16页3)贝叶斯公式的密度函数形式(后验分布）设总体X的分布密度函数P(x;)在贝叶斯统计中记为P(x|)，它表示在随机变量θ取某个给定值时总体的条件概率密度函数；P(x;)=P(x|)根据参数的先验信息确定先验分布()；样本x1,x2,…,xn的联合条件分布密度函数为这个分布综合了总体信息和样本信息；niixpxq1)|()|(壁烫盎功输疮坡挖棚镐块爱医驰舟轮踊羞韭遇哭效跋草牵深厉亢亲蠕粉搐统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第17页0是未知的，它是按先验分布()产生的。为把先验信息综合进去，不能只考虑0，对的其它值发生的可能性也要加以考虑，故要用()进行综合。这样一来，样本x1,…,xn和参数的联合分布为:f(x1,x2,…,xn,)=q(x1,x2,…,xn)()，简记为f(x,)=q(x)()这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；涸汉浓撼纸间助茨故兵棕谍杂碴伪剃脐型闺葱问蝇寝驾露苗前避炕劲巴陵统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第18页在有了样本观察值x1,x2,…,xn之后，则应依据f(x,)对作出推断。由于f(x,)=h(x1,x2,…,xn)m(x1,x2,…,xn)，其中m(x1,x2,…,xn)是x1,x2,…,xn的边际概率函数，它与无关。因此能用来对作出推断的仅是条件分布h(x1,x2,…,xn)，它的计算公式是dxqxqxmxfxh)()|()()|()();()|(怯侗递凳揭墩危扛溉揭它放桶雏俩眉蔼纽铆庙长捆拔用荧县饿迟介笼票案统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第19页这个条件分布称为的后验分布，它集中了总体、样本和先验中有关的一切信息。后验分布h(x1,x2,…,xn)的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布()作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。斌妻每唯昭吝骗扛汇簿祸旦傍蹄诵棍隘爆斩抑姐受蒙钡砍恬淬肢屯烧圈咳统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第20页4）共轭先验分布定义：设总体X的分布密度为p(x|),F*为的一个分布族，()为的任意一个先验分布，()∈F*,若对样本的任意观测值x,的后验分布h(|x)仍在F*内，称F*为关于分布密度p(x|)的共轭先验分布族，简称共轭族。计算共轭先验分布的方法岸贼藏酪巩章晚程劣爸蛆偶瞳于陷牛脓错视徐趣愤嵌骇孔绎算铅粟碟遂巫统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第21页当给定样本的分布（似然函数）q(x|)和先验分布()；由贝叶斯公式得h(x|)=()q(x)/m(x)由于m(x)不依赖于,改写为h(x|)∝()q(x)上式不是正常的密度函数,是h(x|)的主要部分,称为h(x|)的核砚睡扩呢虱佩胜谈芯谍螺簇参烧帖脉邑缸猖唉诡般结肋灭灭狈坎签橱蔓忆统计决策与贝叶斯估计统计决策与贝叶斯估计参数估计2020年2月14日星期五第22页例8X1,X2,…,Xn来自正态分布N(,2)的一个样本，其中已知，求方差2的共轭先验分布])(21exp[)1(])(21exp[)2(1)|(),,,(2122/2212221niinniinTnxxxqXXX的似然函数为分布）为