模式识别复习要点和参考习题

复习要点绪论1、举出日常生活或技术、学术领域中应用模式识别理论解决问题的实例。答：我的本科毕设内容和以后的研究方向为重症监护病人的状态监测与预诊断，其中的第一步就是进行ICU病人的死亡率预测，与模式识别理论密切相关。主要的任务是分析数据库的8000名ICU病人，统计分析死亡与非死亡的生理特征，用于分析预测新进ICU病人的病情状态。按照模式识别的方法步骤，首先从数据库中采集数据，包括病人的固有信息，生理信息，事件信息等并分为死亡组和非死亡组，然后分别进行数据的预处理，剔除不正常数据，对数据进行插值并取中值进行第一次特征提取，然后利用非监督学习的方法即聚类分析进行第二次特征提取，得到训练样本集和测试样本集。分别利用判别分析，人工神经网络，支持向量机的方法进行训练，测试，得到分类器，实验效果比传统ICU中采用的评价预测系统好一些。由于两组数据具有较大重叠，特征提取，即提取模式特征就变得尤为重要。语音识别，图像识别，车牌识别，文字识别，人脸识别，通信中的信号识别；①文字识别汉字已有数千年的历史，也是世界上使用人数最多的文字，对于中华民族灿烂文化的形成和发展有着不可磨灭的功勋。所以在信息技术及计算机技术日益普及的今天，如何将文字方便、快速地输入到计算机中已成为影响人机接口效率的一个重要瓶颈，也关系到计算机能否真正在我过得到普及的应用。目前，汉字输入主要分为人工键盘输入和机器自动识别输入两种。其中人工键入速度慢而且劳动强度大；自动输入又分为汉字识别输入及语音识别输入。从识别技术的难度来说，手写体识别的难度高于印刷体识别，而在手写体识别中，脱机手写体的难度又远远超过了联机手写体识别。到目前为止，除了脱机手写体数字的识别已有实际应用外，汉字等文字的脱机手写体识别还处在实验室阶段。②语音识别语音识别技术技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。近年来，在生物识别技术领域中，声纹识别技术以其独特的方便性、经济性和准确性等优势受到世人瞩目，并日益成为人们日常生活和工作中重要且普及的安验证方式。而且利用基因算法训练连续隐马尔柯夫模型的语音识别方法现已成为语音识别的主流技术，该方法在语音识别时识别速度较快，也有较高的识别率。③指纹识别我们手掌及其手指、脚、脚趾内侧表面的皮肤凹凸不平产生的纹路会形成各种各样的图案。而这些皮肤的纹路在图案、断点和交叉点上各不相同，是唯一的。依靠这种唯一性，就可以将一个人同他的指纹对应起来，通过比较他的指纹和预先保存的指纹进行比较，便可以验证他的真实身份。一般的指纹分成有以下几个大的类别:环型(loop),螺旋型(whorl),弓型(arch),这样就可以将每个人的指纹分别归类，进行检索。指纹识别基本上可分成：预处理、特征选择和模式分类几个大的步骤。③遥感遥感图像识别已广泛用于农作物估产、资源勘察、气象预报和军事侦察等。④医学诊断在癌细胞检测、X射线照片分析、血液化验、染色体分析、心电图诊断和脑电图诊断等方面，模式识别已取得了成效。2、若要实现汽车车牌自动识别，你认为应该有哪些处理步骤？分别需要哪些模式识别方法？试用流程图予以说明。答：汽车车牌自动识别需要有以下三大步骤：(1)获取包含车牌的彩色图像（2）实现车牌定位和获取（3）进行字符分割和识别，详细操作如流程图所示。第一步需要建立字符库，即根据已知字符的二值图像进行处理生成特征字符库；第二步通过摄像头获取包含车牌的彩色图像，输入图像；第三步利用主成分分析法、K-L变换，MDS和KPCＡ等方法对车牌进行特征识别；第四步对车牌进行粗略定位和精细定位，如VMLA定位，基于边缘检测的方法，基于水平灰度变化特征的方法，基于车牌颜色特征的方法等。第五步利用分类器确定车牌类型之后对字符进行分割，对图像进行预处理，去除铆钉，谷值分析，模板匹配，二值化投影法等第六步分割成得单个字符进行模式识别，得到每个字符，然后组合输出结果，具体的方法为统计学习或人工神经网络等。统计决策3、最小错误率贝叶斯决策方法与最小风险贝叶斯决策方法4、正态分布下最小错误率决策与Neyman-Pearson决策方法输入图像特征提取粗略定位精细定位确定类型分割字符识别，输出（1）假设在某个地区的细胞识别中正常1和异常2两类的先验概率分别为正常状态：1()0.9P异常状态：2()0.1P现有一待识的细胞，其观测值为x，从类条件概率密度分布曲线上查得12()0.2,()0.4pxpx并且已知损失系数为11=0，12=1，21=6，22=0。试对该细胞以以下两种方法进行分类：①基于最小错误概率准则的贝叶斯判决；②基于最小风险的贝叶斯判决。解：①基于最小错误概率准则的贝叶斯判决.),()(),()(,182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111用所以先验概率起很大作因为属正常细胞。因为先计算先验概率PPxxPxPxPxPPxPPxPxPjjj②基于最小风险的贝叶斯判决作用。较大，决策损失起决定＝因类风险大。因决策异常细胞因为条件风险：概率：由上例中计算出的后验6,)()(818.0)()(092.1)()()(182.0)(,818.0)(121211212212121121xxRxRxPxRxPxPxRxPxPjjj（2）已知两个一维模式类别的类概率密度函数为其它,010,2)|(1xxxp其它,010,22)|(2xxxp先验概率P(1)=P(2)，损失函数，11=22=0，12=0.6，21=0.4。（1）求最小平均损失Bayes判决函数；（2）求总的误判概率P(e)；解：先求先验概率：22112222211111||||||||PxPPxPPxPxPPxPPxPPxPxP、求条件风险：xPxPxPxPxPxPxPxP||||||||12122212122122121111期望风险要求最小，当xPxP||21时满足要求，即6.024.0)22(6.0|4.0|6.0||1122121212xxxPxPPxPxPxP（3）对于这个两类一维问题，若这两类的类概率密度分别服从正态分布N(0,2)和N(1,2)，证明使平均决策风险最小的决策阈值为1212122ln21PPx这里，假设风险函数11=22=0。一维正态分布：]2)([2221)(xexp解：先求先验概率：22112222211111||||||||PxPPxPPxPxPPxPPxPPxPxP、求条件风险：xPxPxPxPxPxPxPxP||||||||12122212122122121111期望风险要求最小，当xPxP||21时满足要求，即12121222212122212122122)1(1211212212121212ln212ln2)1(ln2121||||2222PPxxPxPPePePxPPxPxPxPxx两边取对数概率密度函数估计5、最大似然估计方法与贝叶斯估计方法答：最大似然估计是把待估的参数看作固定的未知量，而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/θ)转化为后验概率P(θ/Xi)，再求贝叶斯估计。（4）设以下两类模式均为正态分布1：{(0,0)T，(2,0)T，(2,2)T，(0,2)T}2：{(4,4)T，(6,4)T，(6,6)T，(4,6)T}设P(1)=P(2)=1/2，求该两类模式之间的Bayes判别界面的方程，并绘出判别界面。解：0ln,5.00ln,916430043340034345656545431056545656545654543134545656543191643004334003434121210103101210121210121010313410121210315,5,,1,1,5)6644(41,5)4664(411)2200(41,1)0220(4166444664,2200022021212121-2122121112111,22222222221212222221111-112212111211112222122121112222211122212121112221121121PPPPCCCCCCCCCCCCCCCCXXXXXXXXXXXXTTTT先验概率：，，，，协方差矩阵为：①假定二类协方差矩阵不等06-0)()0,0(018)()0,0(),(x,),(x0)()(lnln21)xx()xx(21)xx()xx(21)()()(21121212121211222111112xxxgXxgxxxxxPPxgxgxgTTTTTT得分界线方程为：令类。属于所以判代入得：将利用公式：②假定二类协方差矩阵相等06-)()0,0(x09)()(ln)xxxx(21x)xx()(0,0,830083,38003821121121211111221xxxgPPxgxTTTTT分界线方程为类，判为故应把得：所以代入（5）假设在一维两类分类当中样本点符合Rayleigh概率密度函数分布：000)2exp()|(222xxxxxpiii试求判决边界()0gx。解：0)()(ln22ln20)(-)()(ln2ln2ln)(ln2expln)()(2exp)()()(222222222222jijijijiiiiiiiiiiiiPPxxxgxgPxxPxxxgPxxPxPxg即：决策面方程：令6、Parzen窗法（3）试用最大似然估计的方法估计单变量正态分布的均值和方差2。解：线性分类器与非线性分类器7、线性判别函数及线性分类器8、Fisher线性判别方法9、最小平方差误差判别10、分段线性距离分类器与二次判别函数11、支持向量机12、近邻法（6）指出在Fisher线性判别中，w的比例因子对Fisher判别结果无影响的原因。解：Fisher准则函数为：uSuuSussmmuJWBWWF2222121~~)~~()(，式中用u来表示w求导