面向反恐领域基于多源信息融合的机器人感知系统研究-河

河北工业大学博士学位论文面向反恐领域基于多源信息融合的机器人感知系统研究姓名：郭兰申申请学位级别：博士专业：机械制造及其自动化指导教师：张明路20061001河北工业大学博士学位论文I面向反恐领域基于多源信息融合的机器人感知系统研究摘要随着智能控制技术、计算机和网络技术以及仿生学、人工智能等学科的飞速发展，智能移动机器人技术的研究越来越受到国内外学者的重视，机器人在国防安全系统、恶劣环境下作业以及服务行业中均有广泛的应用前景。现阶段,机器人的研究应用领域不断拓宽，其中执行特殊任务的仿人形机器人的研究和应用尤其受到普遍关注，并成为智能机器人领域中昀活跃的研究热点之一。其头部感官包含了多种传感器，机器人对环境的感知就是依靠多感官信息来进行决策和判断。在国家863计划“危险化学反应器泄漏检测与修补移动机械手系统”和“211”工程重点项目的支持下，本文以三自由度机器人头部感知系统为研究对象，设计了机器人感知的三个子系统：视觉子系统、听觉子系统、嗅觉子系统，建立了一个通过听觉传感器确定目标的初方位，通过CCD摄像机对目标进行跟踪及精细定位，估计出的精确位置参数，通过嗅觉传感器来检测周围是否存在危险气体的机器人头部三自由度感知系统。本文的创新性工作有：1、提出了应用模糊神经网络融合异质传感器的融合方法。异质传感器采集的是不同性质、不同时域空间的信号，融合这些信息用常规的方法有一定的难度。应用模糊神经网络融合多个传感器的低中高层次冗余互补信息，从而使机器人在未知环境下做出正确的判断和决策。2、建立头部感知系统，提出了主动嗅觉的电子鼻结构，在气流通道采用后端主动导流，使气流连续通过鼻腔，形成连续不断的检测。3、提出一种声源定位的新方法。三个听觉传感器呈现等腰三角形分布，计算其信息采集过程中的时间延迟和几何关系判断声源的方位和距离，实验证明定位的距离、角度精度均达到预期的效果。4、建立了人脸的椭圆形模型。对于动态图像（即视频序列）中的每幅图像进行逐个检测，从各个相邻图像的检测结果中寻找细微差别，并对其进行分析，进而获得目标的空间位置变化，实现跟踪。不变矩的使用，对于快速判断人脸椭圆模型以及质心的获得起到了关键性的作用，使实时跟踪达到了满意的效果。5、建立了基于模糊神经网络的异质传感器融合模型与算法。设计了各层的输入和输出，利用BP算法调整模糊神经网络的权重和参数获得不同的隶属函数从而生成相应的模糊规则进行模糊决策，实现了对目标人的精确定位和实时跟踪。并利用Matlab仿真了机器人的感知过程，得到了实际输出和实验输出的误差曲线，验证了模糊神经网络对视听异质传感器融合的有效性。关键词：感知系统,异质传感器，声音定位,图像跟踪,模糊神经网络,融合决策面向反恐领域基于多源信息融合的机器人感知系统研究IIRESEARCHOFROBOT’SPERCEPTIONSYSTEMFACINGONANTITERRORISMFIELDBASEDONMULTI-SOURCEINFORMATIONFUSIONABSTRACTWiththefastdevelopmentofnewtechnologyinintelligentcontrol,computerscience,networking,bionicsandartificialintelligence,Internalandexternalresearchershavebeenpayingmoreandmoreattentiononintelligentmobilerobots.Robotwillhavebrightapplicationfuturesforthenationalsecuritydefensesystemworkinginextremeenvironmentsandserviceindustries.Nowadays,Researchandapplicationsonroboticfieldhavebeenextendedcontinuously;theresearchandapplicationsonhumanoidrobotcometofrontespeciallyandbecomeoneofthemostactivestudypointsinintelligentrobotfield.Robotheadconsistsofmanysensors,theenvironmentalapperceptionrelysonthemulti-sensorinformationtodecision-making.SupportedbyaNationalProgram863item--“TheMobileManipulatorsystemaimedatmeasurementandmaintenance,workinginthecircumstanceofchemistrydangerousleakagefromthechemistrydangerousreactor”（itemserialnumber：2003AA421040）andthefocusitemofthe“211”project.Thispaperdevelopsthreesubsystemsofrobotapperception：visual,auralandolfactoryforathreeDOFrobotperceptivesystem,whichcangettheprimarylocationofthetargetbyauralsensor;theexactlocationandtailingofthetarget,andestimationthelocationparameterarefinishedbyCCDcamera.Theolfactorysensorisusedtodetectiftherearedangerousgases.Basedontheabove,thecontributionsofourworkmainlyfocusonthefollowingaspects：1.Theheterogeneous-sensorfusionmethodapplyingfuzzyneuralnetworkisproposed.Theinformationfromheterogeneous-sensorsisdiverseinproperty,timeandspace.Thegeneralfusionmethodshavemanydifficultiestofuseheterogeneous-sensors.Fuzzyneuralnetworkcanfusethelow-level,middle-levelandhigh-levelredundancyinformationtoenabletherobotmakingcorrectjudgmentanddecision.2.Aperceptionsystemoftheheadisbuiltup,thestructureoftheelectronnosehasbeendeveloped,theaircurrentcanbeventedbyaminifanattheheelofthecavity,sotheaircurrentcangothroughthenasalcavitycontinuously,whichmakessuretheaircurrentcanbedetectedcontinuously.河北工业大学博士学位论文III3.Anewmethodofsoundlocationispresented.Threeauralsensorsaresetasanisoscelestriangle.Bycomputingthetimedelayandthegeometricalrelationintheprocessofreceivingsound,itcangetthepreciseazimuthanddistanceofthesound.It'sbeenexperimentedthattheprecisionoftheazimuthandtheprecisionofthedistancearesatisfied.4.Ellipticmodelofhumanfaceisdeveloped.Bydetectingthepicturesinthedynamicimageonebyone,findingthesmalldifferencesamongthenearpictures’detectiveresultsandanalyzingthem,thespecialpositionchangesoftheaimcanbegetandthetrackingcanbeacheived.Theuseoffeatureextractionisveryimportanttodetectthehumanfacemodelfastandgetthecenterofmass.Real-timetrackingcanbeachievedinasatisfactoryspeed.5.Theheterogeneous-sensorfusionmodelandarithmeticbasedonfuzzyneuralnetworkarepresented.BydesigningtheimportandoutputofeverylayerandutilizingBParithmetictoadjusttheweightandtheparameterofthefuzzyneuralnetworktoobtaindifferentsubjectfunctionsforcreatingrelevantfuzzyrulestoprogressfuzzydecision,thepreciselocationandreal-timetrackingarefinished.BysimulatingtheperceptiveprocessoftherobotusingMatlab,thecurvesofthepracticaloutputandtheexperimentoutputareobtainedandthevalidityofusingfuzzyneuralnetworktofusethevisualandauralheterogeneous-sensorsisvalidated.KEYWORDS：perceptionsystem,heterogeneoussensor,soundlocation,imagetracking,fuzzyneuralnetwork,visualandauralfusiondecision面向反恐领域基于多源信息融合的机器人感知系统1第一章绪论§1-1课题提出的背景机器人技术作为20世纪人类昀伟大的发明之一，自60年代初问世以来，经历40多年的发展已取得长足的进步。工业机器人在经历了诞生—成长—成熟期后，已成为制造业中不可缺少的核心装备。同时随着社会的发展和人们生活水平的提高，各种各样的机器人也被开发出来去适应制造领域以外的各个行业[1-2]。这些机器人作为机器人家族的后起之秀，由于其用途广泛而大有后来居上之势，仿人形机器人、农业机器人、服务机器人、水下机器人、医疗机器人、军用机器人、娱乐机器人等各种用途的特种机器人纷纷面世，而且正以飞快的速度向实用化迈进。其中移动机器人成为机器人学发展中的一个重要分支。实际上早在60年代，国外就有了关于移动机器人的研究。发展到今天，移动机器人涉及到的各学科门类日益丰富，也给国内外的研究人员及学者提出了许多新的挑战，更由于其在军事侦察、排雷排险、防核污染等危险与恶劣环境具有广阔的应用，从而得到了普遍的关注[1-4]。移动机器人逐渐应用于易爆、易燃物品的装配、搬运、挖掘、拆卸，以及消防灭火、防爆、反恐等高度危险环境，用于代替人类或辅助人类完成人所不能、