中科院-国科大-黄庆明-模式识别与机器学习-期末考点-复习

第一章概论第二章统计判别第三章判别函数第四章特征选择和提取第五章句法模式识别第六章统计学习理论基础第七章有监督学习基础算法第八章支持向量机第九章无监督学习与半监督学习第十章图模型基础第十一章集成学习第十二章神经网络与深度学习掌握相关的概念：模式、机器学习、基本构成例如模式的概念：◦广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。◦模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。◦模式的直观特性:可观察性可区分性相似性模式识别系统的基本构成机器学习的基本构成数据获取特征提取和选择预处理分类决策分类器设计环境学习知识库执行与评价数据聚类统计分类结构模式识别神经网络监督学习无监督学习半监督学习集成学习增强学习深度学习在贝叶斯分类器中，构造分类器需要知道类概率密度函数。◦类概率密度是正态分布，均值向量和协方差矩阵均值和协方差矩阵的非随机参数的估计◦均值和协方差矩阵的估计量定义◦均值和协方差矩阵估计量的迭代运算均值向量和协方差矩阵的贝叶斯学习◦一般概念◦单变量正态密度函数的均值学习贝叶斯判别别贝叶斯最小风险判别：当考虑到对于某一类的错误判决要比对另一类的判决更为关键时，就需要把最小错误概率的贝叶斯判别做一些修正，提出条件平均风险rj(x)线性判别函数◦用判别函数分类的概念◦线性判别函数的一般形式和分类问题两类问题多类情况：三类情况广义线性判别函数◦基本思想◦广义线性判别函数的意义线性的判别函数判别函数选用二次多项式函数判别函数选用r次多项式函数分段线性判别函数模式空间和权空间Fisher线性判别◦从d维空间到一维空间的一般数学变换方法◦Fisher准则函数的定义◦基于最佳变换向量的投影感知器算法◦线性判别函数的感知器赏罚训练算法采用感知器算法的多类模式的分类可训练的确定性分类器的迭代算法◦梯度法◦固定增量的逐次调整算法◦最小平方误差算法势函数法◦判别函数的产生分析步骤势函数的选择◦第一类势函数：对称的有限多项式展开◦第二类势函数：双变量的对称函数决策树简介◦概念◦二叉树概念、意义模式类别可分性的测度：类内散度矩阵、类间散度矩阵特征选择：定义可分性准则函数，如类内距离小，类距离大特征提取：K-L变换（PCA)◦思想：选取变换矩阵，使得降维后的新向量在最小均方差条件下接近原来的向量x离散K-L变换◦将原来的特征做正交变换，获得的每个数据都是原来n个数据的线性组合，然后从新的数据中选出少数几个，使其尽可能多地反映各类模式之间的差异，而这些特征间又尽可能相互独立，则比单纯的选择方法更灵活、更有效。◦K-L变换就是一种适用于任意概率密度函数的正交变换。离散的有限K-L展开K-L展开式的性质◦K-L展开式系数的计算步骤按K-L展开式选择特征◦三条结论◦实例不考MachineLearning(概念、学习方法的分类、历史)StatisticalMachineLearning◦一般框架、形式化：◦产生式、判别式模型：前者先推断p(x,y),再利用贝叶斯求p(y|x);后者直接求解p(y|x)◦过拟合和正则项（OverttingandRegularization）:经验风险最小化（EmpiricalRiskMinimization）结构风险最小化(StructuralRiskMinimization):所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的VC维，可以使学习机器在整个样本集上的期望风险得到控制。StatisticalMachineLearning◦偏差方差分解（BiasandVarianceDecomposition）Trade-off:◦Agoodinsightintomodelcomplexityissue:Veryflexiblemodelshavinglowbiasandhighvariance.Relativelyrigidmodelshavinghighbiasandlowvariance.Themodelwiththeoptimalpredictivecapacityistheonethatleadstothebestbalancebetweenbiasandvariance.回归方法（regressionmethod)◦线性回归（LinearRegression）：梯度下降求解：closedformsolution随机梯度下降：StochasticGradientDescent在高斯噪声的情形下，最小化均方误差（LMS）的和与最大化似然（MLE）得到的解是一样的。RegularizedLMS与最大化后验MAP在先验为时，等价。分类方法◦感知器算法：perceptroncriterion随机梯度下降求解缺点分类方法◦LogisticregressionMLE+SGD求解多类logisticregression:CrossEntropyLossFunction产生式方法◦高斯判别分析(GDA):用多变量正态分布对p(x|y)进行建模，通过MLE求解。◦GDAVSLR◦朴素贝叶斯（NaïveBayes）：X是离散情况时的GDA◦NBVSLR思想：函数margin几何marginOptimalMarginClassier:转成ＱＰ问题线性可分SVM及其对偶问题SoftMargin及其对偶问题Non-separableSVM及其对偶问题LagrangianDualityKernelKernelizedSVM◦SMO:SequentialMinimalSVR:一般形式及其对偶问题Multi-classSVM:一对多。VCdimension:一般而言,VC维越大,学习能力就越强,学习也越复杂；可以通过VC维计算学习风险的上界概念K-means:形式化，思想高斯混合模型及EM算法（思想，步骤）层次聚类：◦agglomerativeclustering：逐渐合并◦divisiveclustering：逐渐拆分DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)思想◦Allpointswithintheclusteraremutuallydensity-connected;◦Ifapointisdensity-reachablefromanypointofthecluster,itispartoftheclusteraswell.Mean-ShiftClustering：Themainidea:iterativelylocatethemaximaofadensityfunctiongivendatasamplesARecentClusteringAlgorithm:◦localdensity◦itsdistancefrompointsofhigherdensity:流形学习◦MultidimensionalScaling(MDS):点对距离◦KernelPCA◦Isomap：保持内在几何结构（测地距离）◦LLE：映射到低维空间时要保持局部线性结构◦LPP：保持局部结构半监督学习假设：平滑假设Disagreement-based方法：Co-trainingLow-densityseparation方法：transductiveSVMGraph-basedSSL:加入不同的正则项得到不同的方法◦Manifoldregularization◦LaplacianRegularizationleastsquaresBayesian网络：推断、分类Markov链：HMM◦Likelihoodevaluation:－－前向、后向算法◦最佳路径求解－－动态规划，viterbi◦参数估计–Baum-WelchMarkov随机场◦条件独立◦分解◦例子条件随机场：PR/ML中的哲学理论◦NoFreeLunchTheorem◦UglyDucklingTheorem◦MinimumDescriptionLengthprinciple◦Occam’srazor分类器设计时重采样技术◦Bagging◦Boosting◦AdaBoost◦ActiveLearningEstimatingandcomparingclassifiers◦Crossvalidation深度学习(DL)及其应用前沿DL在CV领域应用的启示关键算法介绍◦Perceptron及学习算法◦多层感知机(MLP)及其BP算法◦Auto-Encoder◦CNN及其主要变种关于DL的思考与讨论1.18日，13:30-15:30