第三章随机环境下的系统辨识

第三章随机环境下的系统参数辨识3、广义最小二乘估计1、最小二乘估计2、系统参数的递推估计4、极大似然估计3.1系统辨识的分类1.非参数模型辨识；系统辨识分类：2.参数模型辨识；1）最小二乘法2）极大似然法3）梯度校正法3.2最小二乘估计⎩⎨⎧+=−++=−++−+)()()()()()()1()(01kvkxkymkubkubnkxakxakxmnSISO线性离散系统：（3.1）式中u(k)为系统输入值，x(k)为理论输出值，y(k)为实际观测值，v(k)为观测噪声。()uk()yk()kν++()xk3.2最小二乘估计不失一般性mn=（3.2）)()()1()()()1()(101kmkubkubkubnkyakyakymn式中：（3.3）消去x(k)，可得输入输出数据方程为：ξ+−++−+=−++−+∑=−+=niiikvakvk1)()()(ξK时刻系统的输出：)()()1()()()1()(101knkubkubkubnkyakyakynnξ+−++−++−−−−−=∑=−+=niiikvakvk1)()()(ξ3.2最小二乘估计1201[]Tnnaaabbbθ=−−−()[(1)(2)()()(1)()]zkykykyknukukukn=−−−−−12+n)(,kzθ阶向量分别为：()()()ykzkkθξ=+令（3.4）)()()1()()()1()(101knkubkubkubnkyakyakynnξ+−++−++−−−−−=参数向量信息向量（3.3）3.2最小二乘估计设观测数据有(n+N)个，令k分别等于n+1,···,n+N,则有：⎪⎪⎩⎪⎪⎨⎧++++++−−−+−=+++++++−−+−=+++++++−−−=+)()()()()1()()2()2()2()2()1()2()1()1()1()1()()1(010101NnNubNnubNyaNnyaNnynubnubyanyanynubnubyanyanynnnnnnξξξ#上式写成向量形式为：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡++++⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+−−+−+−+−+−−=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+++)()2()1()()()()1()2()2()2()1()1()1()1()()()2()1(1NnnnbbaaNuNnuNyNnyunuynyunuynyNnynynynonξξξ########记为：输出向量信息矩阵参数矩阵噪声矩阵数据长度N11)12()12(1××++××+=NnnNNξθZY（3.5）（3.6）3.2最小二乘估计若N=(2n+1)且ξ=0，则上式中的Z阵为(2n+1)×(2n+1)的方阵。由此，可解得θ的唯一解为：YZθ1−=而在实际工程中，ξ肯定不等于0，且N(2n+1)，即方程个数远大于未知数，故而上述θ的解不成立。当前任务：在存在噪声ξ和数据长度N(2n+1)的情况下，如何进行参数θ的估计。ξZθY+=即（3.7）3.2最小二乘估计（3.8）辨识准则：残差平方和最小。,ˆYYe−=Yˆ为模型的计算值，即θZYˆˆ=(1)残差e(2)指标函数J)ˆ()ˆ()(12θZYθZYee−−===∑++=TTNnnkkeJ最小二乘法辨识就是使J最小的参数估计方法。即有：Jθθminˆ=下面我们推导θ估计值的计算方法。3.2最小二乘估计（3.9）0=∂∂θˆJJ取得最小值，也即J为极值，则有：YZθZZTT=⇒ˆ0=∂−−∂⇒θ)θZ(Y)θZ(Yˆ]ˆˆ[T0=−−⇒)θZ(YZTˆ2)(ZZT其中,为(2n+1)×(2n+1)的方阵。若其逆阵存在，则：YZZZθTT1)(ˆ−=上式即为最小二乘法的参数估计3.2最小二乘估计讨论：理论上，J偏导为0只能说明J取得极值。ˆˆ222ˆJ∂⇒=−−=−+∂TTTZ(YZθ)ZYZZθθZ阵为测量信息矩阵，只要矩阵Z满秩，也即ZTZ为正定阵。性能指标函数J为极小的条件得到满足。使J为极小值的充分条件为：0∂∂22ˆθJ222ˆJ∂⇒=∂TZZθ0⇒TZZ3.3最小二乘估计的统计特性1、无偏性2、有效性3、一致性ˆ()Eθθ=参数估计的一般性质：TlimE{(-)(-)}=0NθθθθΛΛ→∞ˆcov()minθθ−⎯⎯→3.3最小二乘估计的统计特性1、最小二乘估计的无偏性无偏性估计的定义：{}ˆE=θθ，则称θˆ是参数θ的无偏估计。下面讨论无偏估计的条件。若1ˆ()−=+⎧⎪⎨=⎪⎩TTYZθξθZZZY11ˆ[][()][()]EEZE−−⇒=+=+TTTTθθZZξθZZZξ最小二乘无偏估计的充要条件为：1[()]0E−=TTZZZξ3.3最小二乘估计的统计特性1、最小二乘估计的无偏性若{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。()(1)(1)(1)(1)(2)()(2)(1)(2)()()(1)(2)()TynynynNnyyyNnunununNnNuuuNξξξ−−+−+−⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥−−−+⎢⎥=⎢⎥⎢⎥+++⎢⎥⎢⎥⎢⎥+⎣⎦⎢⎥⎣⎦Zξ#######y(k)只与ξ(k),ξ(k-1),ξ(k-2)···相关，而与ξ(k+1),ξ(k+2),ξ(k+3)···不相关。则由上式可知，ZT与ξ不相关。3.3最小二乘估计的统计特性可见，在上述条件下我们得到了参数θ的无偏估计。{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。1ˆ[][()]EE−=+TTθθZZZξ1[()][]EE−=+TTθZZZξ0+=θθ=LS无偏估计的充分条件为：1、最小二乘估计的无偏性由前面可知，Z与ξ不相关，且{ξ(k)}为零均值不相关随机序列，则有：3.3最小二乘估计的统计特性2、最小二乘估计的有效性有效性的定义：若参数估计误差的方差达到最小值，则称该估计值是有效估计值。是参数θ的估计,考察估计量与真值之间偏离量的方差θˆ1ˆ()−=−=−TTθθθθZZZY1()()−=−+TTθZZZZθξ1()−=−TTZZZξ[]Dθ为估计误差的方差。θ~11()[][()]TTTTTDEE−−==θθθZZ)Z(ξξ)Z(ZZ3.3最小二乘估计的统计特性2、最小二乘估计的有效性有效性估计的充分条件为：同样，假设{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。则ZT与ξ不相关,且有：{}NTEIξξ2σ=12121121()[()][()][)]TTTTTTTDEEEσσσ−−−−−⇒===θZZ)ZZ(ZZZZ)ZZ(ZZ(ZZ{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。11()[][()]TTTTTDEE−−==θθθZZ)Z(ξξ)Z(ZZ3.3最小二乘估计的统计特性3、最小二乘估计的一致性一致性估计的定义：若参数估计值以概率收敛于真值θ，则称估计值具有一致性。或采用下述定义：limcov0N→∞=θ若，则称θˆ是参数θ的一致性估计。式中，cov[]θ为估计误差的方差。θ~一致性估计的充分条件为：2221111limcovlim[(]lim[(]lim0TTNNNNEENNNσσσ−−−→∞→∞→∞→∞====θZZ)ZZ)R{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。3.4最小二乘估计的讨论1ˆ()−=+⎧⎪⎨=⎪⎩TTYZθξθZZZY无偏性和一致性估计的充分条件均为：{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。考查11()()()(1)(1)(1)niiniikvkavkikvkavkiξξ==⎧=+−⎪⎪⎨⎪+=+++−⎪⎩∑∑)1(),(+⇒kkξξ相关也就是说即使在v(k)为白噪声的条件下，{ξ(k)}为相关随机序列。故而基本最小二乘估计是有偏估计，必须对基本最小二乘法进行改进。()uk()yk()kν++()xk为一次估计3.5递推最小二乘估计1.递推算法推导问题：1)随着观测数据的增多计算越来越困难，越来越占用内存。2）如何实现在线辨识。1()假设已获取了数据长度为N的I/O数据，则由LS估计有：1121ˆ()()Cov()()NNNNNNNNTTNNNNNNTNNEσ−−−=+⎧⎪⎪=⎪⎨=−=−⎪⎪=⎪⎩TTYZθξθZZZYθθθZZZξθZZ−TZZ（3.10）3.5递推最小二乘估计ˆNNNN=TθPZY记：1()TNNN−=PZZ，则Nθˆ可写成：现获得了一组新的数据：u(n+N+1)、y(n+N+1)。需推导出1ˆ+Nθ的计算公式，即))1(),1(,ˆ(ˆ1++++=+NnyNnufNNθθ(n+N+1)时刻的观测值y(n+N+1)可表示为：[])1()1()1()1()()1(+++++++−+−=++NnNuNnuNyNnyNnyξθ1TN+ψ1+Ny1+Nξ则上式可写为：111++++=NTNNξyθψ（3.11）（3.12）（3.13）3.5递推最小二乘估计则由最小二乘(LS)可得(n+N+1)时刻的参数估计值为：111NNNTNNNy+++⎡⎤则输入输出方程可写成分块矩阵形式：⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦YZξθψξ111111ˆTTNNNNNTTTNNNNy−+++++⎧⎫⎡⎤⎡⎤⎡⎤⎡⎤⎪⎪⎢⎥⎢⎥⎢⎥⎪⎪⎢⎥=⎨⎬⎢⎥⎢⎥⎢⎥⎢⎥⎪⎪⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎪⎪⎩⎭ZZZYθψψψ11111()()TTTNNNNNNNNy−++++=++ZZψψZYψ上式记为：111111111ˆ()()TNNNNNNTNNNNy++++−−+++⎧=+⎪⎨⎪=+⎩θPZYψPPψψ现在的主要任务是求解矩阵的逆（3.15）（3.14）2.1矩阵运算2.1.3逆矩阵辅助定理()111111()mABCAABICABCA−−−−−−+=−+Ann∈×设，Bnm∈×，Cmn∈×则下列等式成立若1m=，则11111()1AbcAAbcAcAb−−−−−+=−+0A≠且（2.1）（2.2）3.5递推最小二乘估计逆矩阵辅助定理：若相应矩阵的逆均存在，则有111111)()(−−−−−−+−=+ACBACIBAABCATTTTNTNN111,,++−===ψCψBPA11111)(−++−++=TNNNNψψPP对照，令：则有NTNNNTNNNNNPψψPψψPPP1111111)(+−+++−++−=I11++NNTNψPψ考查矩阵的维数：111]1)[(2n1)](2n1)[(2n1)](2n[1×=×+×+×+×+×可见，矩阵求逆运算转化为求标量的倒数运算。将11−+NP代入1ˆ+Nθ的表达式，经整理有：)ˆ()1(ˆˆ1111111NTNNNNTNNNNNyθψψPψψPθθ++−++++−++=（3.16）3.5递推最小二乘估计递推过程：)ˆ()1(ˆˆ1111111NTNNNNTNNNNNyθψψPψψPθθ++−++++−++=⎪⎪⎪⎩⎪⎪⎪⎨⎧+−=+=−+=⇒+−++++−++++++++NTNNNTNNNNNNNTNNNNNTNNNNNyPψψPψψPPPψPψψPKθψKθθ111111111111111)1()1()ˆ(ˆˆ上述递推算法的运行需获取两个初值：00,ˆPθ→→→→33322211100ˆ,,ˆ,,ˆ,,,ˆθPKθPKθPKPθ初值获取方法：⎪⎩⎪⎨⎧==++×+为充分大的数。，直接取；方法估计出采用，数据记录一组少量的ccLSnNOInn)12()12(200000,ˆ)2(,ˆ))12((/)1(IP0θPθ（3.17）3.5递推最小二乘估计0ˆ,020==θIPc1111111101ˆ,)(yTψPθψψPP=+=⇒−−)(ˆ,)()(2211221221110122112yyTTTψψPθψψψψPψψPP+=++=+=⇒−−−−)(ˆ,)()(33221133133221110133123yyyTTTTψψψPθψψψψψψPψψPP++=+++=+=⇒−−−−)(ˆ,)(1111110NNNNTNNTNyyψψ