模式识别课件2.3-正态分布时的统计决策

2.3正态分布时的统计决策正态分布概率密度函数的定义及性质多元正态概型下的最小错误率贝叶斯判别函数和决策面㈠单变量正态分布单变量正态分布概率密度函数定义为2.3.1正态分布概率密度函数的定义及性质})(21exp{21)(2xxpdxxxpxE)(}{dxxpx)()(222.3.1正态分布概率密度函数的定义及性质随机变量x的期望σ2为x的方差标准差1)(dxxpk=1P(μ-kσxμ+kσ)=0.68k=2P(μ-kσxμ+kσ)=0.95k=3P(μ-kσxμ+kσ)=0.99p(x)~N(μ,σ2)μ－kσμ+kσ概率密度函数应满足下列关系式p(x)≥0(－∞＜x＜∞)2.3.1正态分布概率密度函数的定义及性质㈡多元正态分布⒈多元正态分布的概率密度函数dEdpExxxxμ)()()}()(21exp{||)2(1)(1212μxμxxTdpiiiEiiidxxpxdpxxEd)()(}{xxdiiidxdxdxdxdxpxp1121)()(x2.3.1正态分布概率密度函数的定义及性质)])([()])([()])([()])([(}))({(dddd11dddd111111dd11dd11xxExxExxExxExxxxEETμxμx㈡多元正态分布2.3.1正态分布概率密度函数的定义及性质协方差矩阵总是对称阵，协方差矩阵为jijijjiijjii2),())(()])([(dxdxxxpxxxxEij2dd2d22d122d2222122d1212211协方差的各分量为：2.3.1正态分布概率密度函数的定义及性质协方差矩阵总是非负定阵。对于任意随机向量x，xT∑x是∑的二次型。如果对x≠0的一切x有xT∑x≥0都成立，则称∑为非负定阵。若xT∑x0，则∑为正定阵。对于正定矩阵，各阶主子式非零（包括|∑|≠0）。2.3.1正态分布概率密度函数的定义及性质⒉多元正态分布的性质⑴参数μ和∑对分布的决定性⑵等密度点的轨迹为一超椭球面⑶不相关性等价于独立性⑷边缘分布和条件分布的正态性⑸线性变换的正态性⑹线性组合的正态性2.3.1正态分布概率密度函数的定义及性质⑴参数μ和∑对分布的决定性多元正态分布被均值向量μ和协方差矩阵∑所完全确定。2)1(22ddddd均值向量μ由d个分量组成;协方差矩阵∑由于其对称性故其独立元素有p(x)~N(μ,∑)多元正态分布概率密度函数常记为2.3.1正态分布概率密度函数的定义及性质⑵等密度点的轨迹为一超椭球面从正态分布总体中抽取的样本大部分落在由μ和∑所确定的一个区域里。从一个以均值μ为中心的云团内的二维高斯分布中取出的样本。椭圆显示了等概率密度的高斯分布轨迹。p(x)x2x1μμ1μ2x1x2μ2μ1μ2.3.1正态分布概率密度函数的定义及性质⑵等密度点的轨迹为一超椭球面)}()(21exp{||)2(1)(1212μxμxxTdp2.3.1正态分布概率密度函数的定义及性质⑵等密度点的轨迹为一超椭球面)()(12μxμxT2.3.1正态分布概率密度函数的定义及性质当指数项为常数时，密度p(x)值不变，因此等密度点应是此式的指数项为常数的点，即应满足常数)()(1μxμxT证明上式的解是一个超椭球面，且它的主轴方向由∑阵的特征向量所决定，主轴的长度与相应的协方差矩阵∑的本征值成正比。在数理统计中上式所表示的数量：⑵等密度点的轨迹为一超椭球面)()(12μxμxT2.3.1正态分布概率密度函数的定义及性质为x到μ的Mahalanobis距离的平方。所以等密度点轨迹是x到μ的Mahalanobis距离为常数的超椭球面。这个超椭球体大小是样本对于均值向量的离散度度量。可以证明对应于Mahalanobis距离为的超椭球体积是ddVV21||其中Vd是d维单位超球体的体积。⑵等密度点的轨迹为一超椭球面2.3.1正态分布概率密度函数的定义及性质!)!21(2)!2(212dddVddddd为偶数d为奇数•对于给定的维数，样本离散度直接随而变。21||⑶不相关性等价于独立性不相关与独立的定义：若E{xixj}=E{xi}·E{xj}则定义随机变量xi和xj是不相关的。若p(xi,xj)=p(xi)p(xj)则定义随机变量xi和xj是独立的。2.3.1正态分布概率密度函数的定义及性质一般情况下相关与独立的关系独立性是比不相关性更强的条件，独立性要求p(xi,xj)=p(xi)p(xj)对于xi和xj都成立。不相关性是两个随机变量的积的期望等于两个随机变量的期望的积，它反映了xi与xj总体的性质。若xi和xj相互独立，则它们之间一定不相关；反之则不一定成立。2.3.1正态分布概率密度函数的定义及性质多元正态分布情况对多元正态分布的任意两个分量xi和xj而言，若xi与xj互不相关，则它们之间一定独立。在正态分布中不相关性等价于独立性。就随机向量x=[x1，x2，…xn]T进行证明。2.3.1正态分布概率密度函数的定义及性质证明:根据xi与xj互不相关的定义，可求得：0)()()])([(jjiijjii2jxExExxEii，j=1，2，…，d；i≠j因此协方差矩阵∑就成为对角阵221100dd221111001dddi12ii||di1ii21||2.3.1正态分布概率密度函数的定义及性质因此重要推论：如果多元正态随机向量x=(x1，…，xd)T的协方差阵是对角阵，则x的分量是相互独立的正态分布随机变量。didiiiTdxpxp1i2iiii11212)(})(21exp{21)}()(21exp{||)2(1)(μxμxx2.3.1正态分布概率密度函数的定义及性质⑷边缘分布和条件分布的正态性多元正态分布的边缘分布和条件分布仍然是正态分布。二元正态分布协方差矩阵∑及其逆矩阵∑-1为2222212122112112122122221||12.3.1正态分布概率密度函数的定义及性质})(21exp{)2(1})]()[(||2{exp||)2(})(21exp{)2(1]})())((2)[(||2exp{||)2(1)]})((2)()([||21exp{||)2(1),()(211111121221121121222211212111211111121221121122222112112122222112122211212222211211222212211xdxxxxdxxxxxdxxxxxdxxxpxp根据边缘分布定义2.3.1正态分布概率密度函数的定义及性质412222211||其中由于所以x1的边缘分布),(~)(21111Nxp就是说边缘分布p(x1)服从以均值为方差为的正态分布。12112111121141122221141241222221121121121122221141141221121)()(2)()(2xxxx2.3.1正态分布概率密度函数的定义及性质同理可以推出x2的边缘分布为对于给定x1的条件下x2的分布，有定义p(x2|x1)=p(x1,x2)/p(x1)),(~)(22222Nxp)}(||2exp{}]()[(||2exp{||)2()|(222112112112122221121211112xKxxxxp2.3.1正态分布概率密度函数的定义及性质同理可以写出给定x2条件下x1的分布})]()[(||2exp{||)2()|(2222222121122221212221xxxxp2.3.1正态分布概率密度函数的定义及性质⑸线性变换的正态性多元正态随机向量的线性变换仍为多元正态分布的随机向量。设具有均值向量为μ，正定协方差矩阵为∑的正态随机向量为x=[x1,x2,…,xd]Tx∈Ed2.3.1正态分布概率密度函数的定义及性质⑸线性变换的正态性若对x用线性变换矩阵A(A是非奇异(|A|≠0))作线性变换，y=Ax则y服从以均值向量为Aμ，协方差矩阵为A∑AT的多元正态分布。即p(y)~N(Aμ，A∑AT)2.3.1正态分布概率密度函数的定义及性质⑸线性变换的正态性随机向量的变换设随机向量y是另一随机向量x的函数，即)()()()(),,,(),,,(),,,(212121221121xgxxxynnnnnngggxxxgxxxgxxxgyyy若x、y的函数关系是一一对应的，则其概率密度间满足下面关系Jpp)()(xy2.3.1正态分布概率密度函数的定义及性质⑸线性变换的正态性雅克比行列式nnnnnnxgxgxgxgxgxgxgxgxgJ212221212111J表示变换后体积微元的变化，Yn坐标系中体积微元dy1dy2…dyn=|J|dx1dx2…dxn。|J|表示J的绝对值。2.3.1正态分布概率密度函数的定义及性质⑸线性变换的正态性当x和y只是线性变换时Axynnnnnnnnnnnnnnnnnxxxaaaaaaaaaxaxaxaxaxaxaxaxaxayyy21212222111211221122221211212111212.3.1正态分布概率密度函数的定义及性质⑸线性变换的正态性此时，J=|A|，|A|表示矩阵A的行列式。从而随机向量y的概率密度函数||A||表示行列式|A|取绝对值。App)()(xy2.3.1正态分布概率密度函数的定义及性质⑸线性变换的正态性设x的均值向量为μ，协方差矩阵为Σ，则y的均值向量为υ=E(y)=AE(x)=Aμ，y的协方差阵为Υ=E[(y-υ)(y-υ)T)=AE[(x-μ)(x-μ)T]AT=AΣAT2.3.1正态分布概率密度函数的定义及性质证明：y=Ax，即x=A-1yx的均值向量为μ，y的均值向量为υυ=Aμ,即μ=A-1υ根据雅可比行列式的定义，有|J|=||A||→x变换y，设变换矩阵A为非奇异阵，2.3.1正态分布概率密度函数的定义及性质证明：y的概率密度函数与x的概率密度函数之间的关系为21||||||AAAAT||)(||)()(1JApJppyxy由于2.3.1正态分布概率密度函数的定义及性质)}()()(21exp{||)2(1)}()(21exp{||||)2(1||/)}()(21exp{||)2(1)(1212111112121212υyυyυyυyμxμxy