人工神经网络在结构控制中de的应用

第三章人工神经网络在结构控制中的应用-25-第三章人工神经网络在结构控制中的应用3.1引言神经网络理论是人工智能的一个前沿研究领域，已成功地应用于许多方面。它是模拟人脑活动的一种信息处理方法。神经网络是由大量神经元相互连接而成的复杂网络系统，它是高度非线性动力学系统，虽然单个神经元的结构和功能极其简单和有限，但网络的动态行为是极为复杂丰富的，从而可以模拟实际物理现象。反向误差传播(BackErrorPropagation简称BP)网络模型作为人工神经网络的一种，是目前比较成熟且应用较为广泛的一种神经网络模型。它把一组训练样本输出问题转变成一个非线性映射问题，可以以任意精度逼近任何非线性函数。本章简要介绍了人工神经网络的基本概念与特点、其基本结构与模型，着重讨论了多层前馈网络与BP算法，以及在进行BP网络设计时需要考虑的几个方面，并对人工神经网络在结构非线性控制及结构辨识中的应用做了简要的总结。3.2人工神经网络概述[77~81]“人工神经网络”(ARTIFICIALNEURALNETWORK，简称A.N.N.)是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。通过模仿脑神经系统的组织结构以及某些活动机理，人工神经网络可呈现出人脑的许多特征，并具有人脑的一些基本功能。3.2.1神经网络的基本特征神经网络的特征规纳为结构特征和能力特征：(1)结构特征—并行处理、分布式存储与容错性人工神经网络是由大量简单处理元件相互连接构成的高度并行的非线性系第三章人工神经网络在结构控制中的应用-26-统，具有大规模并行性处理特征。虽然每个处理单元的功能十分简单，但大量简单处理单元的并行活动使网络呈现出丰富并具有较快的速度。结构的并行性使神经网络的信息存储必然采用分布式方式，即信息不是存储在网络的某个局部，而是分布在网络所有的连接权中。一个神经网络可存储多种信息，其中每个神经元的连接权中存储的是多种信息的一部分。当需要获得已存储的知识时，神经网络在输入信息激励下采用“联想”的方法进行回忆，因而具有联想记忆功能。神经网络内在的并行性与分布性表现在其信息的存储与处理都是空间上的分布、时间上的并行的。这两个特点必然使神经网络在两个方面表现出良好的容错性：一方面，由于信息的分布式存储，当网络中部分神经元损坏时不会对系统的整体性能造成影响；另一方面，当输入模糊、残缺或变形的信息时，神经网络能通过联想恢复完整的记忆，从而实现对不完整输入信息的正确识别。(2)能力特征—自学习、自组织与自适应性自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它是神经网络的一个重要特征。自适应性包含自学习与自组织两层含义。神经网络的自学习是指当外界环境发生变化时，经过一段的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出，训练是神经网络学习的途径，因此经常将学习与训练两个词混用。神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组。神经网络的自组织能力与自适应性相关，自适应性是通过自组织实现的。3.2.2神经网络的基本结构及模型生物学的研究发现，人的大脑大约有10的十次方个神经细胞，每个细胞约有10的四次方通路与其它细胞相连，并且通过突触(一个神经细胞和另一个神经细胞相联系的结构部分)交换信息，整个大脑构成了一个纵横交错的极其复杂的非线性网络结构。ANN就是抽象、简化与模拟上述大脑生物结构的计算模型，又称为连结主义或并行分布处理(PDP)模型。ANN由大量功能简单而具有自适应能力的信息处理单元-人工神经元(以下简称为神经元，它可以是电子元件、光学元件)按照大规模并行的方式，通过一定的拓扑结构连接而成。神经元是对人脑神经细胞功能的抽象、简化与模拟。模拟生物神经元的人工神经元的结构如图3-1所示。第三章人工神经网络在结构控制中的应用-27-图3-1中，x1,x2，…，xm是神经元的输入，它可以是来自外界的信息，也可能是另一个神经元的输出；yj为单个输出；w1j,w2j,…，wmj是输出大神经元的权值，它表示神经元的连接强度，由神经网络的学习过程学习决定；j为阈值神经元的内部阀值(门限值)；f()是神经元的激活函数（或称为转移函数），其作用是控制输入对输出的激活作用，对输入、输出进行函数变换，把可能的无限域变换到给定的范围输出，以模拟生物神经元的转移特性,传递函数f()可以选择线性函数，但通常选用非线性函数.由图3-1可见，简单神经元主要由权值、门限值和非线性函数的形式来定义，它通过对多个输入值加权和施加非线性函数变换而得到输出。目前多数人工神经网络的构造大体都采用如下的一些原则：(1)由一定数量的基本单元分层联接构成；(2)每个单元的输入、输出信号以及综合处理内容都比较简单；(3)网络的学习和知识存储体现在各单元的联接强度上。多年来，学者们建立了多种神经网络模型，决定其整体性能的三大要素：(1)神经元（信息处理单元）的特性；(2)神经元之间相互联结的形式——拓扑结构；(3)为适应环境而改善性能的学习规则。神经网络的工作方式，由两个阶段组成：(1)学习期：神经元之间的联结权值，可由学习规则进行修改，以使目标（或称规则）函数达到最小。(2)工作期：联接权值不变，由网络的输入得到相应的输出。神经元的各种不同数学模型的主要区别在于采用了不同的激活函数，从而使神经元具有不同的信息处理特性。神经元的激活函数反映了神经元输出与其图3-1人工神经元示意图第三章人工神经网络在结构控制中的应用-28-激活状态之间的关系，下面是几种常用的激活函数。(1)阈值型这种激活函数将任意输入转化为0或1的输出，函数f(·)为单位阶跃函数，如图3-2所示。具有此函数的神经元的输入/输出关系为0*,00*,1)*(bPWbPWbPWfA(3-1)(2)线性型线性激活函数使函数的输出等于加权输入和加上偏差，如图3-3所示。此函1-11-1(a)没有偏差的阈值型激活函数(b)带有偏差的阈值型激活函数图3-2阈值型激活函数0fnn0f1-1(a)没有偏差的线性激活函数(b)带有偏差的线性激活函数图3-3线性激活函数0fnb-bn0f-b第三章人工神经网络在结构控制中的应用-29-数的输入/输出关系为bPWbPWfA*)*((3-2)(3)S型（Sigmoid）S型激活函数将任意输入值压缩到(0，1)的范围内，如图3-4所示。此种激活函数常用对数或双曲正切等一类S形状的曲线来表示，如对S型激活函数关系为)](exp[11bnf(3-3)而双曲正切S型曲线的输入/输出关系为)](2exp[1)](2exp[1bnbnf(3-5)S型激活函数具有非线性放大增益，对任意输入的增益等于在输入/输出曲线中该输入点处的曲线斜率值。当输入由－∞增大到零时，其增益由0增至最大；然后当输入由0增加至＋∞时，其增益又由最大逐渐降低至0，并总为正值。利用该函数可以使同一神经网络既能处理小信号，也能处理大信号。因为该函数的中间高增益区解决了处理小信号的问题，而在伸向两边的低增益区正好适用于处理大信号的输入。3.2.3多层神经网络BP算法在众多的神经网络结构中，多层前馈神经网络（Multi-LayerFeedforward1-1n0f-bn-10-b1(a)没有偏差的对数S型激活函数(b)带有偏差的双曲正切型激活函数图3-4S型激活函数f第三章人工神经网络在结构控制中的应用-30-NeuralNet-works，简称MFNN）是目前应用最广泛也最成熟的一种网络结构。含有隐层的的多层前馈网络能大大提高网络的分类能力，但长期以来没有提出解决权值调整问题的有效算法。1986年，Rumelhart和McCelland领导的科学家小组在《ParallelDistributedProcessing》一书中，对具有非线性连续激活函数的多层前馈网络的误差反向传播（ErrorBackProragation，简称BP）算法进行了详尽的分析，实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把多层前馈网络直接称为BP网。图3-5所示为一多层前馈神经网络。3.2.3.1BP算法的基本思想BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给个层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。如果输出层不能得到期望输出，就是实际输图3-5多层前馈神经网络结构第三章人工神经网络在结构控制中的应用-31-出值与期望输出值之间有误差，那么转入反向传播过程，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，逐次地向输入层传播去进行计算，再经过正向传播过程，这两个过程地反复运用，使得误差信号最小。当误差达到人们所希望地要求时，网络地训练过程就结束了。这时，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。3.2.3.2BP算法推导以图3-6所示BP神经网络为例，设输入为X，输入层含有n个神经元，隐含层含有q个神经元，对应的激活函数为f1，输出为P，输出层含有m个神经元，对应的激活函数为f2，目标矢量为T，则网络是从n维欧氏空间到m维欧氏空间的映射。对于信息的正向传递过程，输入信息要先向前传播到隐含层的节点上，经过各单元的激活函数运算后，把隐含节点的输出信息传播到输出节点，最后给出输出结果。隐含层中第i个神经元的输出为：),11(11ijnjijibxwfaqi,...,2,1(3-6)输出层第k个神经元的输出为),22(21kiqikikbawfpmk,...,2,1(3-7)定义误差信号为•••••••••••••••x1x2xnp1p2pm输入节点隐节点图3-6BP神经网络结构输出节点第三章人工神经网络在结构控制中的应用-32-21)(21),(mkkkptBWE(3-8)若利用梯度下降法求权值变化及误差的反向传播，对输出层则从第i个输入到第k个输出的权值变化为ikiikkkikkkikiaafptwppEwEw'2)(222(3-9)式中，'2)(feptkkkki(3-10)kkkpte(3-11)同理可得kikkkikkkikifptbppEbEb'2)(222(3-12)对隐含层从第j个输入到第i个输出的权值变化为jijjmkijiikkijijxxfkiwfpktkwaappEwEw'1'122)(111(3-13)式中，mkkikiijweifei1'2,1(3-14)同理可得ijib1(3-15)3.2.3.3BP网络的设计在进行BP网络的设计时，一般应从网络的层数、每层中的神经元个数和激活函数、初始值以及学习速率等几个方面来进行考虑。理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数，在设计中应注意尽可能地进少网络模型地规模，以便减少网络的训练时间；对于隐含层的神经元数的设计，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量；初始值对于学习是否达到局部最小、是否能够收敛以及训练时间地长短地关系很大，一般取初始值在(－1，1)之间的随机数；学习速率决定每一次循环训练中所产生地权第三章人工神经