14-自适应信号处理

2020/4/27大连理工大学12020/4/27大连理工大学1第14章自适应信号处理大连理工大学硕士研究生校管课程信号处理与数据分析电子信息与电气工程学部邱天爽2013年12月2020/4/27大连理工大学2内容概要•§14.1自适应滤波的基本概念•§14.2横向自适应滤波器与最小均方算法•§14.3自适应滤波器的递归最小二乘算法•§14.4自适应滤波器的应用2020/4/27大连理工大学3§14.1自适应滤波的基本概念2020/4/27大连理工大学44•1.自适应滤波的基本概念–自适应滤波器是一种能够根据输入信号自动调整自身特性并能进行数字信号处理的数字滤波器，本质特点是具有自学习和自调整即所谓自适应的能力。2020/4/27大连理工大学52020/4/27大连理工大学5•自适应滤波器的原理图–图中，x(n)、y(n)和d(n)表示时刻n的输入信号、输出信号和参考信号；e(n)表示时刻n的期望信号。–自适应滤波器的参数受误差信号控制，并根据e(n)的值自动调整,使之适合下一时刻n+1的输入x(n+1),使输出信号y(n+1)更加接近期望信号d(n+1)，并使误差信号e(n+1)进一步减小。2020/4/27大连理工大学62020/4/27大连理工大学6•自适应滤波器的发展–20世纪40年代初期，N.维纳首先应用最小均方准则设计最佳线性滤波器，用来消除噪声、预测或平滑平稳随机信号。–60年代初期，R.E.卡尔曼等发展并导出处理非平稳随机信号的最佳时变线性滤波设计理论。–维纳、卡尔曼等滤波器都是以预知信号和噪声的统计特征为基础，具有固定的滤波器系数。因此，仅当实际输入信号的统计特征与设计滤波器所依据的先验信息一致时，这类滤波器才是最佳的。否则，这类滤波器不能提供最佳性能。2020/4/27大连理工大学72020/4/27大连理工大学7–70年代中期，B.维德罗等人提出自适应滤波器及其算法，发展了最佳滤波设计理论。–以最小均方误差为准则设计的自适应滤波器的系数可以由维纳-霍夫方程解得。–B.维德罗提出的一种方法，能实时求解自适应滤波器系数，其结果接近维纳－霍夫方程近似解。这种算法称为最小均方算法或简称LMS法。这一算法利用最陡下降法，由均方误差的梯度估计从现时刻滤波器系数向量迭代计算下一个时刻的系数向量。2020/4/27大连理工大学82020/4/27大连理工大学8•Bernard.Widrow（维德罗）–ProfessorEmeritus,ElectricalEngineeringDepartment,StanfordUniversity–Researchfocuseson:adaptivesignalprocessing,adaptivecontrolsystems,adaptiveneuralnetworks,humanmemory,andhuman-likememoryforcomputers.–Applicationsinclude:signalprocessing,prediction,noisecancelling,adaptivearrays,controlsystems,andpatternrecognition.2020/4/27大连理工大学9§14.2横向自适应滤波器与最小均方算法2020/4/27大连理工大学102020/4/27大连理工大学10•1.横向自适应滤波器的结构–横向自适应滤波器（单输入结构）2020/4/27大连理工大学112020/4/27大连理工大学11–横向自适应滤波器（多输入结构）2020/4/27大连理工大学122020/4/27大连理工大学12•自适应滤波器的数学描述2020/4/27大连理工大学132020/4/27大连理工大学132020/4/27大连理工大学142020/4/27大连理工大学142020/4/27大连理工大学152020/4/27大连理工大学15•2.自适应滤波器的性能函数–称均方误差函数为自适应滤波器的性能函数：–当与为平稳随机过程时，性能函数为的二次函数，超抛物面，碗口向上，有唯一最小值。–该最小值所对应的最佳权矢量对应于维纳滤波器的权矢量。2MSE[()]JEen()xn()dn()nwoptwopth2020/4/27大连理工大学162020/4/27大连理工大学16•二次型性能表面的搜索–目标：找出性能函数的最小值，并由此得到这个最小值所对应的最佳权矢量。–方法：在数学上是利用导数求取曲线和曲面的极值问题。–梯度：对于性能函数来说，需要求其梯度，再根据二次型的性质，当梯度值为0时，即对应着性能函数的最小值。2020/4/27大连理工大学172020/4/27大连理工大学17•最佳权矢量与最小均方误差–对性能函数求梯度，有–令上式为0，可得：–上式称为维纳—霍夫方程，与维纳滤波器有相同的形式和意义。故自适应滤波器的最佳权矢量由称为维纳权矢量。–最佳权矢量需要迭代实现，或称为梯度搜索。T201[()],,,22MEenξξξξRwpww1optwRp2020/4/27大连理工大学182020/4/27大连理工大学18•最小均方误差–将最佳权矢量的表达式代入性能函数表达式，有–进一步简化，有：22TTminminoptoptopt21T1TT1[()][()]2[()][]22EenEdnEdnwRwpwRpRRpppRp2T12Tminopt[()][()]EdnEdnpRppw2020/4/27大连理工大学192020/4/27大连理工大学19•3.梯度搜索常用的方法：牛顿法2020/4/27大连理工大学202020/4/27大连理工大学202020/4/27大连理工大学212020/4/27大连理工大学212020/4/27大连理工大学222020/4/27大连理工大学22•4.梯度搜索常用的方法：最速下降法–最速下降法是一种古老而又非常有用的方法，它通过迭代寻找极值。–从几何上来说，它使系统的均方误差沿其梯度反方向下降，最终达到，并使权矢量为。minoptw2020/4/27大连理工大学232020/4/27大连理工大学23•最速下降法的推导–梯度矢量表示为：–这样，最速下降法表示为：–其中，为正值，称为收敛因子或迭代步长。–将性能函数在处进行一阶泰勒展开，有：–表明，上式满足，随着迭代的进行，当时，性能函数趋于。(())()()nnnww(1)()()nnnww()nw2((1))(())||()||nnnww((1))(())nnwwnmin2020/4/27大连理工大学242020/4/27大连理工大学24•最速下降法的迭代公式–最速下降法的稳定因素：•收敛因子的选取；•自相关矩阵的特性。–收敛因子的选取条件：–其中，为自相关矩阵的最大特征值。(1)()[()]nnnwwpRwRmax10max2020/4/27大连理工大学252020/4/27大连理工大学25•最速下降法的优缺点–优点：•算法简单，易于实现；–缺点：•需要大量的迭代。2020/4/27大连理工大学262020/4/27大连理工大学26•5.自适应滤波器的最小均方（LMS）算法•LMS算法的思路–在最速下降法中，如果能够每一步迭代都得到准确的梯度值，且适当选择了收敛因子，则算法肯定收敛于维纳解。–但是在实际应用中，梯度需要估计，权矢量要根据数据不断更新。–LMS算法是一种以期望响应与滤波器输出信号之间误差均方值最小为准则的自适应滤波器。–是一种梯度最速下降法，其特点是简单，不需要计算相关矩阵。2020/4/27大连理工大学272020/4/27大连理工大学27•LMS算法原理–两个过程：–滤波过程：自适应滤波器计算其对输入的响应，并与期望比较，得到误差信号。–自适应过程：系统估计误差自动调整滤波器的参数。–二者构成一个反馈环。2020/4/27大连理工大学282020/4/27大连理工大学28•LMS算法的推导–横向滤波器结构–自适应滤波器的误差信号为：–其中：TT()()()()()()()()()endnyndnnndnnnxwxwTT01()[()(1)()]()[()()()]MnxnxnxnMnwnwnwnxw2020/4/27大连理工大学292020/4/27大连理工大学29•LMS算法的梯度估计–LMS算法的梯度估计是以误差信号的每一次迭代的瞬时平方值替代其均方值，即：–经整理，有：–用梯度估值代替梯度真值，有LMS算法迭代公式T22201()()()ˆ(),,,Menenenn()ˆ()2()2()()()ennenennnxwˆ(1)()[()]()2()()nnnnenn大连理工大学302020/4/27大连理工大学30•LMS算法的流程图ˆ(1)()[()]()2()()nnnnenn大连理工大学312020/4/27大连理工大学31•6.LMS算法的性能分析评价•LMS算法的收敛性–梯度估计是无偏的–收敛特性：只要满足收敛条件，则LMS算法能够稳定收敛。–收敛条件的变形：ˆ[()]2[()()]2[(()())()]2[()()()()()]2[()]()TEnEennEdnynnEdnnnnnnnxxxxxwRwpmax10maxin111000tr[](1)MPR2020/4/27大连理工大学322020/4/27大连理工大学32•最佳权矢量•自适应学习曲线1optwRp2020/4/27大连理工大学332020/4/27大连理工大学33•稳态误差–由于LMS算法的调整项为一随机过程，故当时，在附近随机波动，这样：•失调系数–用于测量LMS算法在均方意义上对最优解的逼近程度，定义为：n2()()ennx()nwoptw10()12Mjjmininmin()2MP2020/4/27大连理工大学342020/4/27大连理工大学34•7.LMS算法的改进–LMS自适应滤波器的主要优点：•收敛性能稳定，算法比较简单–LMS自适应滤波器固有的缺点：•一般来说不能从任意初始点出发通过最短的路径到达极值点；•当输入信号自相关阵R的特征值在数值上分散性较大时，这种方法的性能趋于恶化，可能出现收敛缓慢甚至发散的问题。2020/4/27大连理工大学352020/4/27大连理工大学35•归一化LMS算法（NLMS）–为了确保对自适应滤波器的稳定收敛，出现了对收敛因子进行归一化的NLMS算法。这种算法的归一化收敛因子表示为：–通常用时间平均替代统计方差，即–这样，迭代算法变为：–其中，为正值小常数，避免分母为0.2x2T()()()xnnnxxT(1)()2()()()()nnenncnnwwxxxc2020/4/27大连理工大学362020/4/27大连理工大学36•泄漏LMS算法–对于LMS算法，若在迭代过程中收敛因子突然变为0，则权系数将不在变化，迭代不能完成。–泄漏LMS算法依靠泄漏解决了这个问题：–一旦收敛引自变为0，权系数的迭代仍然可以依靠泄漏进行。–泄漏LMS算法的收敛条件为：(1)()2()(),01nnennwwxmin10122020/4/27大连理工大学372020/4/27大连理工大学37•极性LMS算法–其中，符号函数定义为–特点：计算量小。可能引起收敛速度下降和问题误差增加。(1)()2sgn[()]()(1)()2()sgn[()](1)()2sgn[()()]nnennnnennnnennwwxww