模式识别试验(基于Fisher准则线性分类器设计)

模式识别实验（三）一、实验名称基于Fisher准则线性分类器设计二、实验目的：本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理，以及Lagrange乘子求解的原理。三、实验原理：线性判别函数的一般形式可表示成其中根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中(m1-m2)式一个向量，Sw-1是Sw的逆矩阵，如(m1-m2)是d维，Sw和Sw-1都是d×d维，得到的也是一个d维的向量。向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的d维向量的计算方法，但是判别函数中的另一项w0尚未确定，一般可采用以下几种方法确定w0如或者或当与已知时可用……当W0确定之后，则可按以下规则分类，使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。四、实验内容：已知有两类数据1和2二者的概率已知=0.6，=0.4。1中数据点的坐标对应一一如下：数据：x=0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099y=2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604z=0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.95482数据点的对应的三维坐标为x2=1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414y2=1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288z2=0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458数据的样本点分布如下图：-1.5-1-0.500.511.522.530.511.522.5-2-101230.511.522.500.511.52五、实验要求：1.可以选择二维的数据，或者选择三维的数据作为样本。根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向W的函数，并在图形表示出来。并在实验报告中表示出来，并求使)(wJF取极大值的*w。用matlab完成Fisher线性分类器的设计，程序的语句要求有注释。2.根据上述的结果并判断（1，1.5），(1.2，1.0)，(2.0，0.9)，(1.2，1.5)，（0.23，2.33）或者（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），属于哪个类别，并画出数据分类相应的结果图，要求画出其在W上的投影。3.分析一下W的比例因子对于Fisher判别函数没有影响的原因。补充实验：基于感知函数准则的线性分类器设计一、实验名称线性分类器设计（感知准则函数准则）二、实验目的本实验旨在让同学理解感知准则函数的原理，通过软件编程模拟线性分类器，理解感知函数准则的的确定过程，掌握梯度下降算法求增广权向量，进一步深刻认识线性分类器。三、实验原理：感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。感知准则函数利用梯度下降算法求增广权向量的做法，可简单叙述为：任意给定一向量初始值，第k+1次迭代时的权向量等于第k次的权向量加上被错分类的所有样本之和与的乘积。可以证明，对于线性可分的样本集，经过有限次修正，一定可以找到一个解向量，即算法能在有限步内收敛。其收敛速度的快慢取决于初始权向量和系数。四、实验内容已知有两个样本空间w1和w2，这些点对应的横纵坐标的分布情况是：x1=[1,2,4,1,5];y1=[2,1,-1,-3,-3];x2=[-2.5,-2.5,-1.5,-4,-5,-3];y2=[1,-1,5,1,-4,0];在二维空间样本分布图形如下所示：（plot(x1,y1,x2,y2)）-6-4-20246-6-4-20246w1w2五、实验任务：1、用matlab完成感知准则函数确定程序的设计。2、请确定sample=[0,1,-1,-1,0.5,-3,2,0,1,-0.5,0.5;(横坐标点)-3,3,5,1,6,-1,-1,1,1,-0.5,-0.5]（纵坐标点）属于哪个样本空间,根据数据画出分类的结果。3、请分析一下和对于感知函数准则确定的影响，并确定当=1/2/3时，相应的k的值，以及不同时，k值得变化情况。4、问感知准则函数是否是唯一的？