作为人工智能分支的自然语言处理：停滞的技术

作为人工智能分支的自然语言处理：停滞的技术赵海上海交通大学计算机科学与工程系[e-mail]沈阳2010.09.182起源•以人工智能的知识工程的角度来看待分析当前的自然语言处理技术。•当前的自然语言处理被机器学习为代表的自动化数据挖掘技术所严重渗透。–可将其归结为一种知识获得和学习分离的智能系统处理方法。•忽略了基本的机器学习原则而导致低效的知识处理•两个关联但是有区别的困境–单一的数据挖掘方式的自然语言处理未能从根本上改变知识表示和知识获取的人工智能困难。–以监督学习为代表的统计机器学习方法并不能带来真正的实用化的推广性能增长。•我们的建议。3内容•自然语言处理中的机器学习技术的兴起•被忽略的准则–没有免费的午餐–丑小鸭–Zipf律•困境的实例–学习性能增长根本来源是语料增长–指数增长的语料带来线形的性能提升•结语4机器学习的兴起现代方法•最大熵用于词性标注–AdwaitRatnaparkhi,JeffreyC.Reynar,SalimRoukos.AMaximumEntropyModelforPrepositionalPhraseAttachment.HLT1994•机器翻译–FranzJosefOch,HermannNey.DiscriminativeTrainingandMaximumEntropyModelsforStatisticalMachineTranslation.InACL2002:Proc.ofthe40thAnnualMeetingoftheAssociationforComputationalLinguistics(bestpaperaward),pp.295-302,Philadelphia,PA,July2002.•CoNLL–TheConferenceonComputationalLanguageLearning(CoNLL-97)washeldonJuly11,1997inMadrid,Spain.–Namedentityrecognition,chunking,semanticrolelabeling,dependencyparsing,jointlearningofsyntacticandsemanticdependencies,etc5机器学习方法的兴起中文处理•Bakeoff-1:2003–分词•Bakeoff-2:2005–分词，统一的机器学习方法•Bakeoff-3:2006–分词，命名实体识别•Bakeoff-4:2007,2008–分词，命名实体识别，词性标注6为什么要机器学习•样本比规则好定义•规则会忽略低频情形•语言的解释涉及的因素过多–FernandoPereira–MachineLearninginNaturalLanguageProcessing–UniversityofPennsylvania–NASSLLI,June20027为什么要机器学习•机器学习降低了知识表示的难度！8机器学习方法的特征•标注数据：语料–知识表示•学习方法–知识获取9机器学习方法的特征•机器学习针对于传统的人工智能。–知识表示和获取的分离–语料构建：专注于知识表示–机器学习：专注于知识获取•对比：专家系统–规则的获取和表示是同步的。–规则的管理是低效率的，困难的。10机器学习和知识源•从知识工程看待机器学习–规则1•学习模型本身/特征体系–规则2-n•标注语料11学习模型•学习模型的三要素–目标函数：知识源–特征体系：部分的知识源–参数估计算法：与知识源基本无关12机器学习：数据•假定已有数据合理近似现实世界？•拥有数据–训练数据集（trainingsetdata）：训练–测试数据（testingdata）：评估–验证集[validationset]：避免过拟合[overfitting]。•真实数据（realdata）：最终的检验13学习模型并不重要定理：没有免费的午餐•结论描述byDavidWolpertandWilliamG.Macready–由于对所有可能函数的相互补偿，最优化算法的性能是等价的。•没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。•该定理只是定义在有限的搜索空间，对无限搜索空间结论是否成立尚不清楚。•参考文献–Wolpert,D.H.,Macready,W.G.(1995),NoFreeLunchTheoremsforSearch,TechnicalReportSFI-TR-95-02-010(SantaFeInstitute).–Wolpert,David(1996),“TheLackofAPrioriDistinctionsbetweenLearningAlgorithms,NeuralComputation,pp.1341-1390.–Wolpert,D.H.,Macready,W.G.(1997),NoFreeLunchTheoremsforOptimization,IEEETransactionsonEvolutionaryComputation1,67.14算法的人工倾向•任何学习算法都需要一些“倾向性”，用来区分可能的结果。•回到知识源的观点–学习模型的三要素•目标函数：知识源•特征体系：部分的知识源•参数估计算法：与知识源基本无关15不拒绝个别优化•机器学习的最优是依赖于案例特性的！•算法可能特别适应于某个特定任务•存在一般的优越算法吗？–不存在16学习模型vs.特征工程•我们给出的一个没有免费午餐定理的直观的强化描述–给定任何一个学习模型，如果进行充分的特征工程，则在此意义下，没有一个学习模型能够给出更优的性能。•举例：–我们在依存句法分析上的实践•Nivre验证SVM提供了最强的性能•我们用最大熵在同样的学习框架下给出了更强的结果。•而通常认为SVM这样的边界最大化分类器优于最大熵。–我们在语义依存分析上的实践•我们同行用联合学习模型,我们使用纯粹的特征工程。•CoNLL-2009评测结果：我们在SRL项目总分第一。17丑小鸭原理•20世纪60年代美籍日裔模式识别专家渡边慧证明了“丑小鸭定理”。该定理认为“丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。•世界上不存在分类的客观标准，一切分类标准都是主观的。•渡边慧举了鲸鱼的例子说明该定理：按照生物学分类方法，鲸鱼属于哺乳类偶蹄目，和牛是一类；但在产业界，捕鲸与捕鱼都要行船出海，鲸和鱼同属水产业，而不属于包括牛的畜牧业。•分类结果取决于选择什么特征作为分类标准，而特征的选择又依存于人的目的或价值观。•丑小鸭是白天鹅的幼雏，在画家眼里，丑小鸭和白天鹅的区别大于两只白天鹅的区别；但在遗传学家眼里，丑小鸭与其父亲或母亲的差别小于父母之间的差别。•参考文献–Watanabe,Satosi(1969).KnowingandGuessing:AQuantitativeStudyofInferenceandInformation.NewYork:Wiley.pp.376–377.18Zipf’sLaw•数据稀疏的严重性19严重的问题•统计方法如何克服严重的稀疏性？–不断增大标注数据20研究者的通常做法•忙于把各种最新的机器学习方法移植到所有的自然语言处理任务上，并企图证明某个最新机器学习模型的移植是最有效的。–忘了没有免费的午餐？•少有人考虑特征工程/语料构建21不能脱离人的主观性的机器学习•小结：–从语料中自动获得表达知识的规则–依赖于人的主观定义下的启发式规则确定特征和目标函数–知识的流动：从语料到学习获得的模型–大量的标注数据的获得并不容易，但是必须22一个简单的机器学习任务：中文分词•Bakeoff切分语料•CRF学习模型•字标注框架23分词信息的知识源•切分语料–辅助切分器作为特征•词典–最大匹配结果作为特征•参考文献–HaiZhao,Chang-NingHuang,MuLi(2006).AnImprovedChineseWordSegmentationSystemwithConditionalRandomField,SIGHAN-2006–Low,JinKiat,&Ng,HweeTou,&Guo,Wenyuan(2005).AMaximumEntropyApproachtoChineseWordSegmentation,SIGHAN-200524数据Bakeoff-2006ASCityUCTBMSRATraining(M)8.442.710.832.17Test(K)146.3364.5256.5172.6•方法•字标注学习方法CRFs•前向最大匹配算法•参考文献•HaiZhao,YanSongandChunyuKit,HowLargeaCorpusdoWeNeed:StatisticalMethodvs.Rule-basedMethod,LREC-201025实验1:统计方法给出的结果等效于有效知识源的扩大•辅助分类器ABCDEFASMSRSegMSRSegNEMSRA2005PKU2003PKU2005CTB2006GHIJKLASAS2003AS2005CityU2003CityU2005CityU2006AS200626实验1:结果•CTB2006MSRA2006baseline+Ext.Dict+C+D+E+G+H+I+J+K+A+B(Final)0.9270.94230.94680.94750.95150.95180.95220.9531Baseline+Ext.Dict.+E+G+H+K+A+B(Final)+C0.9610.96940.97040.98230.98260.970227实验1:为什么附加语料提升性能•作为机器学习的解释–学习模型记住了引入的新的字搭配模式，改进了Foov–我们需要多少附加语料？•有效知识源扩大：只要知识源规模不断扩大，性能就能提升？•学习模型的贡献在哪里？28实验1:谨慎的结论•开放测试问题是否可以转换为一个单一的可供集成的语言资源的扩大。–我们部分做到了这一点！•机器学习模型的贡献有限。29实验2:评估语料规模对性能的影响•如果–语料规模是唯一影响性能的因素,•那么–对于一个特定的性能度量要多大规模的语料来学习?30实验2:数据划分•是用平均化策略克服过小数据集的数据稀疏性31实验2:学习曲线:CRFsvs.FMM32实验2:CRFs性能vs语料规模指数增长的语料带来线形性能提升33实验2:FMM性能vs.语料规模34实验2:FMM词典大小vs.性能35实验2:小结•坏消息：统计方法下面，线性的性能增长要指数规模扩大的语料以便克服Zipf率带来的稀疏性。–扩大语料并非易事。•好消息：规则方法要求线性的资源扩大。–统计方法vs规则方法–考虑：词典比语料容易获得36目前的问题•机器学习方法的使用部分地解决了知识表示问题，但是没有根本解决这一问题。•机器学习方法依然依赖于人工知识，特别是人工规则方法。•机器学习方法过度依赖于标注语料的规模。•机器学习方法的NFL特性被忽略。–不断尝试最新的学习模型不是技术进步37我们的建议•从知识工程的角度考虑问题•考虑更好的语料组织形式：知识库？•考虑NFL因素，关注特征工程谢谢！