自适应滤波器论文
1 绪 论
人类传递信息的主要媒介是语言和图像。据统计，在人类接受的信息中，听觉信息占20%，视觉信息占60%，其中如味觉、触觉、嗅觉总的加起来不过占20%，所以图像信息是十分重要的信息。然而，在图像的获取和图像信号的传输过程中，图像信号中不可避免的混入各种各样的随机噪声，造成图像失真（图像退化）。造成人类所获取的信息和实际是有偏差的，成为人类从外界获取准确信息的障碍。因此，对图像信号中的随机噪声的抑制处理是图像处理中非常重要的一项工作。
在图像的获取和传输过程中所混入的噪声，主要来源于通信系统中的各种各样的噪声，根据通信原理及统计方面的知识，可以知道在通信系统中所遇到的信号和噪声，大多数均可视为平稳的随机过程。又有高斯又称正太随机过程，它是一种普遍存在和重要的随机过程，在通信信道中的噪声，通常是一种高斯过程，故又称高斯噪声。因此，在大多数的情况下，我们可以把造成图像失真的噪声可视为广义平稳高斯过程。
目前的图像和信号复原技术，即去噪的滤波技术可分为两大类：传统滤波和现代滤波。传统滤波技术是建立在已知有用信号和干扰噪声的统计特性（自相关函数或功率谱）的基础上的噪声去除；现代滤波技术则是不需要知道图像的先验知识，知识根据观测数据，即可对噪声进行有效滤除。
早在20世纪40年代，就对平稳随机信号建立了维纳滤波理论。根据有用信号和干扰噪声的统计特性（自相关函数或功率谱），以线性最小均方误差（MSE ）设计的最佳滤波器，称为维纳滤波器。这种滤波器能最大程度的滤除干扰噪声，提取有用信号。但是，当输入信号的统计特性偏离设计条件，则它就不再是最佳的了，这在实际应用中受到的限制。到60年代初，由于空间技术的发展，出现了卡尔曼滤波理论，即利用状态变量模型对非平稳、多输入多输出随机序列作最优估计。卡尔曼滤波器即可以对平稳的和平稳的随机信号作线性最佳滤波，也可以作为非线性滤波。
然而只有在对信号和噪声的统计特性已知的情况下，这两种滤波器才能获得最优解。在实际的应用中，往往无法得到这些统计特性的先验知识，或者统计特性是随时间变化的，因此，这两种滤波器就实现不了真正的最佳滤波。
Widrow B.和Hoff 于1967年提出的自适应滤波理论，可使在设计自适应滤波器时
不需要事先知道关于输入信号和噪声的统计特性的知识，它能够在自己的工作过程中逐渐估计出所需要的统计特性，并以此为依据自动调整自己的参数，以达到最佳滤波效果。一旦输入信号的统计特性发生变化，它又能够跟踪这种变化，自动调整参数，使滤波器性能重新达到最佳。
自适应滤波器自动调节参数可通过各种不同的递推算法来实现，由于它采用的是逼近的算法，使得实际估计值和理论值之间必然存在差距，也就造成自适应滤波问题没有唯一的解。依照各种递推算法的特点，我们把它应用于不同的场合。现在广为应用的自适应滤波方法主要是基于以下几种基本理论，再融合递推算法导出来的：
（1） 基于维纳滤波理论的方法
维纳滤波是在最小均方误差准则下通过求解维纳—霍夫方程来解决线性最优滤波问题的。基于维纳滤波原理，我们利用相关的瞬时值通过在工作过程中的逐步调整参数逼近信号的统计特性，实现最优滤波。因此，我们得到一种最常用的算法—最小均方算法，简称LMS 算法。
（2） 基于卡尔曼滤波理论的方法
卡尔曼滤波是线性无偏最小方差滤波递推滤波，它能使滤波器工作在平稳的或非平稳的环境，得到最优解。利用卡尔曼滤波理论的递推求解法导出自适应滤波器更新权矢量得不同递推算法。比LMS 算法有极快的收敛速率，可是计算复杂度也增大了，它需要计算卡尔曼矩阵。
（3） 基于最小二乘准则的方法
维纳滤波和卡尔曼滤波推导的算法是基于统计概念的，而最小二乘估计算法是以最小误差平方和为优化目标的。根据滤波器的实现结构，有以下3种不同的最小二乘自适应滤波算法：自适应递归最小二乘法（RLS ），自适应最小二乘格型算法，QR 分解最小二乘算法。
（4） 基于神经网络理论的方法
神经网络是有大量的神经元相互连接而成的网络系统，实质上它是一个高度非线性的动力学网络系统，这个系统具有很强的自适应、自学习、自组织能力，以及巨量并行性、容错性和坚韧性，因此，它可以做得很多传统的信号和信息处理技术所不能做的事情。因其超强的自动调节能力，使得它在自适应信号处理方面有着广阔的前景。
在一系列的自适应算法中，虽然基于后面3种基本理论的方法在收敛速率和稳定、
坚韧性方面有着更好的性能，但是，基于维纳滤波理论的LMS 算法因其算法简单，而且能达到满意的性能，得到了青睐，成为了应用最广泛的自适应算法。本文介绍了RLS 和LMS 两种方法。
2 自适应滤波器
2.1 自适应滤波简介
根据环境的改变，使用自适应算法来改变滤波器的参数和结构。这样的滤波器就称之为自适应滤波器。
一般情况下，不改变自适应滤波器的结构。而自适应滤波器的系数是由自适应算法更新的时变系数。即其系数自动连续地适应于给定信号，以获得期望响应。自适应滤波器的最重要的特征就在于它能够在未知环境中有效工作，并能够跟踪输入信号的时变特征。
2.2 自适应滤波器特征及特点
（1）滤波器是线性时不变的。
（2）设计过程用到希望的带通、转换波段、带通波纹和阻带衰减。
（3）因为滤波器是频率选择性的，所以当输入信号的各个部分占据不重叠频带时，滤波器工作得最好。例如，它可以轻易分离频谱不重叠的信号和附加噪声。
（4）滤波系数在设计阶段选定，并在滤波器的正常运行中保持不变。
然而，在实际应用中有很多问题不能用固定数字滤波器很好地解决，因为我们没有充足的信息去设计固定系数的数字滤波器，或设计规则会在滤波器正常运行时改变。绝大数这些应用都可以用特殊的智能滤波器，即常说的自适应滤波器来成功解决。自适应滤波器的显著特征是：它在工作过程中不需要用户的干预就能改变响应以改善性能。
（5）滤波结构。这个模块使用输入信号的测量值产生滤波器的输出。如果输出是输入测量值的线性组合，则这个滤波器就是线性的，否则称为非线性的。结构有设计者设定，它的参数由自适应算法调整。
（6）性能标准。自适应滤波器的输出和期望的响应（当可获得时）由COP 模块处理，并参照特定应用的需要来评估它的质量。
（7）自适应算法。自适应算法使用性能标准的数值或它的函数、输入的测量值和期望值的响应来决定如何修改滤波器的参数，以改善性能。
2.3 自适应滤波器的应用
在实际应用中常常会遇到这样的情况：随机信号的统计特性是未知的，或者信号的统计特性是缓慢的变化着的（非平稳信号），这就促使人们去研究一类特殊
的滤波器，这类滤波器具有以下特点：当输入过程的统计未知时，或者输入过程的统计特性变化时，能够相应的调整自身的参数，以满足某种准则的要求，由于这类滤波器能变化自身的参数以“适应”输入过程统计特性的估计或变化，因此，就把这类滤波器称为自适应滤波器。自适应的过程涉及到将价值函数用于确定如何更改滤波器系数从而减小下一次迭代过程成本的算法。价值函数是滤波器最佳性能的判断准则，比如减小输入信号中的噪声成分的能力。随着数字信号处理器性能的增强，自适应滤波器的应用越来越常见，时至今日它们已经广泛地用于手机以及其它通信设备、数码录像机和数码照相机以及医疗监测设备中。
2.4 自适应滤波器的模块结构
自适应滤波器通常由两部分构成，其一是滤波子系统，根据它所要处理的功能而往往有不同的结构形式。另一是自适应算法部分，用来调整滤波子系统结构的参数，或者滤波系数。在自适应调整滤波系数的过程中，有不用的准则和算法。算法是指调整自适应系数的步骤。以达到在所描述的准则下的误差最小化。自适应滤波器含有两个过程，即自适应过程和滤波过程。前一过程的基本目标是调节滤波系数w i (k )，使得有意义的目标函数或代价函数ε(. )最小化，滤波器输出信号y (k )逐步逼近所期望的参考信号d (k )，由两者之间的误差信号e (k )驱动某种算法对滤波系数进行调整，使得滤波器处于最佳工作状态以实现滤波过程。所以自适应过程是一个闭合的反馈环，算法决定了这个闭合环路的自适应过程需要的时间。但是，由于目标函数
即ε(. )是输入信号。 x (k )，参考信号d (k )及输出信号y (k )的函数，ε(. )=ε⎡⎣x (k )，d (k )，y (k )⎤⎦
因此目标函数必须具有以下两个性质：
（1）非负性
ε(. )=ε⎡ ∀x (k )，d (k )，y (k ) （2.1）⎣x (k )，d (k )，y (k )⎤⎦≥0 ，
（2）最佳性
ε(. )=ε⎡ ⎣x (k )，d (k )，y (k )⎤⎦=0 ，when y(k )=d (k ) （2.2）
在自适应过程中，自适应算法逐步使目标函数ε(. )最小化，最终使y (k )逼近与
d (k )，滤波参数或权系数w i (k )收敛于w opt ，这里w opt 是自适应滤波系数的最优解即维纳解。因此，自适应过程也是自适应滤波器的最佳线性估计的过程，既要估计滤波器能实现期望信号d (k )的整个过程，又要估计滤波权系数以进行有利于主要目标方向的调整。这些估计过程是以连续的时变形式进行的，这就是自适应滤波器需要有的自适应收敛过程。如何缩短自适应收敛过程需要的收敛时间，这个与算法和结构有关的问题是人们一直重视研究的问题之一。当然滤波子系统在整个自适应滤波器的设计中也占有很重要的地位，因为它对最终的滤波性能有很大的影响。下面介绍两种常用的滤波器结构。
2.4.1 FIR 结构滤波器
FIR 滤波器：有限长单位冲激响应滤波器，是数字信号处理系统中最基本的元件，它可以在保证任意幅频特性的同时具有严格的线性相频特性，同时其单位抽样响应是有限长的，因而滤波器是稳定的系统。因此，FIR 滤波器在通信、图像处理、模式识别等领域都有着广泛的应用。
有限长单位冲激响应（FIR ）滤波器有以下特点：
（1）系统的单位冲激响应h (n)在有限个n 值处不为零。
（2）系统函数H(z)在|z|>0处收敛，极点全部在z = 0处（因果系统）。
（3）构上主要是非递归结构，没有输出到输入的反馈，但有些结构中（例如频率抽样结构）也包含有反馈的递归部分。
图2.4.1 FIR 滤波器结构
2.4.2 IIR结构滤波器
IIR 滤波器：具有反馈，一般认为具有无限的脉冲响应。采用递归型结构，即结构上带有反馈环路。
无限长单位冲激响应（IIR ）滤波器有以下特点：
（1）IIR 滤波器的系统函数可以写成封闭函数的形式
（2）IIR 滤波器运算结构通常由延时、乘以系数和相加等基本运算组成，可以组合成直接型、正准型、级联型、并联型四种结构形式，都具有反馈回路。由于运算中的舍入处理，使误差不断累积，有时会产生微弱的寄生振荡。
（3）IIR 滤波器在设计上可以借助成熟的模拟滤波器的成果。
（4）IIR 滤波器的相位特性不好控制，对相位要求较高时，需加相位校准网络。
图2.4.2 IIR 滤波器结构
2.4.3 FIR结构与IIR 结构型的区别
（1）单位响应
IIR 滤波器单位响应为无限脉冲序列，而FIR 数字滤波器单位响应为有限的。
FIR 滤波器，也就是“非递归滤波器”，没有引入反馈。这种滤波器的脉冲响应是有限的。
（2）幅频特性
IIR 数字滤波器幅频特性精度很高，不是线性相位的，可以应用于对相位信息不敏感的音频信号上；FIR 数字滤波器的幅频特性精度较之于IIR 数字滤波器低，但是线性相位，就是不同频率分量的信号经过fir 滤波器后他们的时间差不变，这是很好的性质。
（3）实时信号处理
FIR 数字滤波器是有限的单位响应也有利于对数字信号的处理，便于编程，用于计算的时延也小，这对实时的信号处理很重要。
3 自适应滤波器原理及算法
3.1 横向滤波结构的最陡下降法
3.1.1 最陡下降法的原理
首先考虑如图3.1所示的横向FTR 自适应滤波器
图3.1 自适应横向滤波器结构
它的输入序列以向量的形式记为：
X (k )=⎡ ⎣x (k )x (k -1) x (k -M +1)⎤⎦ （3.1）T
假设X (k )取自—均值为零，自相关矩阵为R 的广义平稳随机过程，而滤波器的系数矢量（加权矢量）为：
W (k )=⎡⎣w 1(k )w 2(k ) w m (k )⎤⎦T （3.2）
以上二式中括号内的k 为时间指数，因此X (k )和W (k )分别表示时刻k 的滤波器输入序列和加权值，滤波器的输出y (k )为：
y (k )=∑w i (n )x (n -i +1) （3.3）
i =1M
式中M 为滤波器的长度。
图4.1中的d (k )称为“期望理想响应信号”，有时也可称为“训练信号”，它决定了设计最佳滤波器加权向量W (k )的取值方向。在实际应用中，通常用一路参数信号来作为期望响应信号。e (k )是滤波器输出y (k )相对于d (k )的误差，即
e (k )=d (k )-y (k ) （3.4）
显然，自适应滤波控制机理是用误差序列e (k )按照某种准则和算法对其系数
{wi)n) }，i=1，2，，... M 进行调节的，最终使自适应滤波器的目标（代价）函数最小化，打到最佳滤波状态。
按照均方误差（MSE ）准则所定义得目标函数是
222ε(k )=E ⎡ ⎣e (k )⎤⎦=E ⎡⎣d (k )-2d (k )y (k )+y (k )⎤⎦ （3.5）
将式（3.4）代入式（3.5），目标函数可以化为
2ε(k )=E ⎡e ⎣(k )⎤⎦
2T ⎡W T (k )X (k )X (k )T W (k )⎤ ⎤⎡⎤（3.6） =E ⎡d k -2E d k W k X k +E ()()()()⎣⎦⎣⎦⎣⎦
当滤波系数固定时，目标函数又可以写为
2T T ε(k )=⎡d k -2W k P +W ()()(k )RW (k )⎤⎣⎦ （3.7）
其中，P =E [y k x k ]是长度为N 的期望信号与输入信号的互相关矢量，T ⎤R =E ⎡x x k k ⎦⎣
是N ⨯N 的输入向量得自相关矩阵。
由式（3.7）可见，自适应滤波器的目标函数ε(k )是延迟线抽头系数（加权或滤波系数）的二次函数。当矩阵R 和矢量P 已知时，可以由权矢量W (k )直接求其解。现在我们将式（3.7）对W 求倒数，并令其等于零，同时假设R 是非奇异的，由此可以得到目标函数最小的最佳滤波系数w opt 为
（3.8） w opt =R -1P
这个解就是维纳解，即最佳滤波器数值。因此均方误差函数是滤波系数
次方程。 W (k )的二
最陡下降法就是实现上述搜索最佳值的一种优化技术，它利用梯度信息分析自适应滤波性能和追踪最佳滤波状态。梯度矢量是由均方误差ε(. )的梯度来定义的。换句话说，自适应过程是在梯度矢量的负方向连接的校正滤波系数，最终达到均方误差为最小，获得最佳滤波或准优工作状态。
令∇(k )代表k 时刻的M ⨯1维梯度矢量，这里M 等于滤波器滤波系数的数目，w (k )为自适应滤波器在k 时刻的滤波系数和权矢量。按照最陡下降法调节滤波系数，则在k+1时
刻的滤波系数或权矢量w (k+1)可以用下列简单递归关系来计算：
1w (k+1)=w (k )+μ⎡-∇(k )⎤ （3.9） ⎣⎦2
∇k μ为自适应收敛系数或步长，式中，是一个正实常数。根据梯度矢量定义，()
可写成
∇(k )=2∂E ⎡e ⎣(k )⎤⎦
∂w k ⎡∂ξ(k )∂ξ(k )∂ξ(k )⎤=⎢ ⎥∂w k ∂w k ∂w k 2m ⎣1⎦
⎡∂e (k )⎤=E ⎢2e (k )2e (k )x (k )⎤⎥=-E ⎡⎣⎦∂w k ⎦⎣ （3.10）
当滤波系数为最佳值，即是维纳解时，梯度矢量
代入（3.10）得到 ∇(k )应等于零。将式（3.7）
∇(k )=-2P +2Rw (k ) （3.11）
因此，在最陡下降算法中，当相关矩阵R 和互相关矢量P 已知时，由滤波系数矢量w (k )可以计算梯度矢量∇(k )，把式（3.11）代入到（3.9）中，可以计算出滤波系数的更新值
w (k+1)=w (k )+μ⎡2... ，，M （3.12） ⎣P +Rw (k )⎤⎦，k =1，
式（3.12）所描述的即是最陡下降算法自适应迭代的基本公式，且由该公式我们可以不用再直接求R 的逆。（3.12）式所示的迭代算法是一个反馈模型，因此算法的收敛性（稳定性）就非常重要。
3.1.2 最陡下降法的稳定性
首先我们定义k 时刻的加权误差矢量为
∆w (k )=w (k )-w opt （3.13）
则最陡下降算法式（4.13）可以写成另一种形式
∆w (k+1)=∆w (k )+μ(P -Rw (k ))
=∆w (k )-μR ∆w (k )=(I -μR )∆w (k ) （3.14）
这样，我们得到最陡下降法的稳定性取决于两个因素：自适应步长参数μ和输入信号矢量X (k )的自相关矩阵R 。根据线性代数里的酉相似变换原理，用酉矩阵Q 将相关矩阵R 对角线化，即
R =Q H DQ （3.15）
式中D 为对角线矩阵，它的元素是R 的特征值，矩阵Q 的列矢量是相关矩阵R 的特征值对应的特征向量的正交集，Q H 是Q 的共轭转置。酉矩阵的性质是Q H Q =QQ H =I 。把式（3.15）代入式（3.14），得到
∆w (k +1)=(I -μQ H DQ )∆w (k ) （3.16）
两边乘以Q H 得到
Q H ∆w (k +1)=(I -μQ H DQ )Q H ∆w (k ) （3.17a ）
或写为
V (k+1)=(I -μD )V (k ) （3.17b ）
其中V (k )=Q H ∆w (k )，为旋转参数矢量或旋转滤波系数矢量误差，V (k )的起始值为
V (1)=Q H ⎡ ⎣w (1)-w opt ⎤⎦ （3.18）
由（3.17b ）式，可以推算出
V (k+1)=(I -μD )V (1) （3.19） k
把单位矩阵I 和对角线矩阵D 展开，上式可以写为
⎡(1-μλI )k ⎢⎢0V (k+1)=⎢ ⎢⎢0⎣0⎤⎥⎥ 0 ⎥∙V (1) （3.20） ⎥k ⎥ (1-μλI )⎦ 0(1-μλI ) 0k
上式表明，为了保证最陡下降算法的稳定性（收敛性），矩阵中的每一个元素1-μλI ，k =1，2... ，，M 的绝对值必须小于1，由此可以得到算法稳定性的收敛条件为
0
λmax （3.21）
式中λmax 是相关矩阵R 的最大特征值。在此条件下，对角线矩阵中全部元素当k →∞而趋近于零，结果使得
佳维纳解。
3.2 自适应噪声抵消原理
自适应滤波器已经在信道均衡、回波消除、雷达、线性预测、谱分析和系统识别等领域得到广泛应用。本节将专门讨论自适应滤波器用作自适应噪声抵消的应用。基于维纳理论的自适应噪声抵消需要无限加权滤波器，以极小化输出误差。为了实现维纳滤波方案，必须使用有限加权滤波器。换句话说，自适应滤波器必须假定维纳滤波器是一个有限冲激响应（FIR ）滤波器。
V (k+1)→0。当k 很大时，意味着自适应滤波系数矢量趋近于最
（a ） 最佳噪声抵消器
（b ） 自适应噪声抵消器
图3.2 自适应噪声抵消原理方框图
如图3.2（a ）所示是基于维纳滤波器的自适应噪声抵消原理方框图。主信号x (n )由有用信号s (n )和背景噪声v (n )构成，其中s (n )和v (n )不相关。参考信号r (n )可与s (n )或v (n )相关。v (n )是背景噪声v (n )的最佳估计。v (n )可以通过选择最佳FIR 维纳滤波器的最佳加权w (n )计算得出，即 ——∧∧
v (n )=∑W m r (n -m )
m =0∧M 0≤m ≤M （3.22） =w 0(n )r (n )+w 1(n )r (n -1)+ +w M (n )r (n -M )，
其中，M 表示滤波器的阶：r (n -m )由r (n )延时获得。具有M 个权重滤波器的估计误差e (n )由下式定义：
e (n )=x (n )-v (n )=x (n )-w T (n )r (n ) （3.23）
其中 ∧
⎛w 0(n )⎫⎛r (n )⎫ ⎪ ⎪w n r n-1()() 1⎪ ⎪ ⎪ ⎪⎪ r (n )= ⎪ w (n )= ———— ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ w (n )⎪ r (n-M )⎪⎝M ⎭⎝⎭
由正交原理有E (e (n )r (n ))=0，所以e (n )和r (n )正交。
对式（3.23）两边取平方和数学期望，可得
e (n )=x (n )-2x (n )r (n )w (n )+w (n )r (n )r (n )w (n ) （3.24） ------22T T T
22T T T E ⎡e (n )⎤=E ⎡x (n )⎤-2E ⎡x (n )r (n )⎤w (n )+w (n )E ⎡r (n )r (n )⎤w (n ) （3.25） ⎣⎦⎣⎦⎣-⎦-⎣--⎦--
然后，式（3.25）可简化如下：
22T E ⎡e (n )⎤=E ⎡x (n )⎤-2P T w +w R w （3.26） ⎣⎦⎣⎦---
其中，输入信号s (n )r (n )P 和参考矢量-之间的互相关用-表示，即
自适应滤波器论文
1 绪 论
人类传递信息的主要媒介是语言和图像。据统计，在人类接受的信息中，听觉信息占20%，视觉信息占60%，其中如味觉、触觉、嗅觉总的加起来不过占20%，所以图像信息是十分重要的信息。然而，在图像的获取和图像信号的传输过程中，图像信号中不可避免的混入各种各样的随机噪声，造成图像失真（图像退化）。造成人类所获取的信息和实际是有偏差的，成为人类从外界获取准确信息的障碍。因此，对图像信号中的随机噪声的抑制处理是图像处理中非常重要的一项工作。
在图像的获取和传输过程中所混入的噪声，主要来源于通信系统中的各种各样的噪声，根据通信原理及统计方面的知识，可以知道在通信系统中所遇到的信号和噪声，大多数均可视为平稳的随机过程。又有高斯又称正太随机过程，它是一种普遍存在和重要的随机过程，在通信信道中的噪声，通常是一种高斯过程，故又称高斯噪声。因此，在大多数的情况下，我们可以把造成图像失真的噪声可视为广义平稳高斯过程。
目前的图像和信号复原技术，即去噪的滤波技术可分为两大类：传统滤波和现代滤波。传统滤波技术是建立在已知有用信号和干扰噪声的统计特性（自相关函数或功率谱）的基础上的噪声去除；现代滤波技术则是不需要知道图像的先验知识，知识根据观测数据，即可对噪声进行有效滤除。
早在20世纪40年代，就对平稳随机信号建立了维纳滤波理论。根据有用信号和干扰噪声的统计特性（自相关函数或功率谱），以线性最小均方误差（MSE ）设计的最佳滤波器，称为维纳滤波器。这种滤波器能最大程度的滤除干扰噪声，提取有用信号。但是，当输入信号的统计特性偏离设计条件，则它就不再是最佳的了，这在实际应用中受到的限制。到60年代初，由于空间技术的发展，出现了卡尔曼滤波理论，即利用状态变量模型对非平稳、多输入多输出随机序列作最优估计。卡尔曼滤波器即可以对平稳的和平稳的随机信号作线性最佳滤波，也可以作为非线性滤波。
然而只有在对信号和噪声的统计特性已知的情况下，这两种滤波器才能获得最优解。在实际的应用中，往往无法得到这些统计特性的先验知识，或者统计特性是随时间变化的，因此，这两种滤波器就实现不了真正的最佳滤波。
Widrow B.和Hoff 于1967年提出的自适应滤波理论，可使在设计自适应滤波器时
不需要事先知道关于输入信号和噪声的统计特性的知识，它能够在自己的工作过程中逐渐估计出所需要的统计特性，并以此为依据自动调整自己的参数，以达到最佳滤波效果。一旦输入信号的统计特性发生变化，它又能够跟踪这种变化，自动调整参数，使滤波器性能重新达到最佳。
自适应滤波器自动调节参数可通过各种不同的递推算法来实现，由于它采用的是逼近的算法，使得实际估计值和理论值之间必然存在差距，也就造成自适应滤波问题没有唯一的解。依照各种递推算法的特点，我们把它应用于不同的场合。现在广为应用的自适应滤波方法主要是基于以下几种基本理论，再融合递推算法导出来的：
（1） 基于维纳滤波理论的方法
维纳滤波是在最小均方误差准则下通过求解维纳—霍夫方程来解决线性最优滤波问题的。基于维纳滤波原理，我们利用相关的瞬时值通过在工作过程中的逐步调整参数逼近信号的统计特性，实现最优滤波。因此，我们得到一种最常用的算法—最小均方算法，简称LMS 算法。
（2） 基于卡尔曼滤波理论的方法
卡尔曼滤波是线性无偏最小方差滤波递推滤波，它能使滤波器工作在平稳的或非平稳的环境，得到最优解。利用卡尔曼滤波理论的递推求解法导出自适应滤波器更新权矢量得不同递推算法。比LMS 算法有极快的收敛速率，可是计算复杂度也增大了，它需要计算卡尔曼矩阵。
（3） 基于最小二乘准则的方法
维纳滤波和卡尔曼滤波推导的算法是基于统计概念的，而最小二乘估计算法是以最小误差平方和为优化目标的。根据滤波器的实现结构，有以下3种不同的最小二乘自适应滤波算法：自适应递归最小二乘法（RLS ），自适应最小二乘格型算法，QR 分解最小二乘算法。
（4） 基于神经网络理论的方法
神经网络是有大量的神经元相互连接而成的网络系统，实质上它是一个高度非线性的动力学网络系统，这个系统具有很强的自适应、自学习、自组织能力，以及巨量并行性、容错性和坚韧性，因此，它可以做得很多传统的信号和信息处理技术所不能做的事情。因其超强的自动调节能力，使得它在自适应信号处理方面有着广阔的前景。
在一系列的自适应算法中，虽然基于后面3种基本理论的方法在收敛速率和稳定、
坚韧性方面有着更好的性能，但是，基于维纳滤波理论的LMS 算法因其算法简单，而且能达到满意的性能，得到了青睐，成为了应用最广泛的自适应算法。本文介绍了RLS 和LMS 两种方法。
2 自适应滤波器
2.1 自适应滤波简介
根据环境的改变，使用自适应算法来改变滤波器的参数和结构。这样的滤波器就称之为自适应滤波器。
一般情况下，不改变自适应滤波器的结构。而自适应滤波器的系数是由自适应算法更新的时变系数。即其系数自动连续地适应于给定信号，以获得期望响应。自适应滤波器的最重要的特征就在于它能够在未知环境中有效工作，并能够跟踪输入信号的时变特征。
2.2 自适应滤波器特征及特点
（1）滤波器是线性时不变的。
（2）设计过程用到希望的带通、转换波段、带通波纹和阻带衰减。
（3）因为滤波器是频率选择性的，所以当输入信号的各个部分占据不重叠频带时，滤波器工作得最好。例如，它可以轻易分离频谱不重叠的信号和附加噪声。
（4）滤波系数在设计阶段选定，并在滤波器的正常运行中保持不变。
然而，在实际应用中有很多问题不能用固定数字滤波器很好地解决，因为我们没有充足的信息去设计固定系数的数字滤波器，或设计规则会在滤波器正常运行时改变。绝大数这些应用都可以用特殊的智能滤波器，即常说的自适应滤波器来成功解决。自适应滤波器的显著特征是：它在工作过程中不需要用户的干预就能改变响应以改善性能。
（5）滤波结构。这个模块使用输入信号的测量值产生滤波器的输出。如果输出是输入测量值的线性组合，则这个滤波器就是线性的，否则称为非线性的。结构有设计者设定，它的参数由自适应算法调整。
（6）性能标准。自适应滤波器的输出和期望的响应（当可获得时）由COP 模块处理，并参照特定应用的需要来评估它的质量。
（7）自适应算法。自适应算法使用性能标准的数值或它的函数、输入的测量值和期望值的响应来决定如何修改滤波器的参数，以改善性能。
2.3 自适应滤波器的应用
在实际应用中常常会遇到这样的情况：随机信号的统计特性是未知的，或者信号的统计特性是缓慢的变化着的（非平稳信号），这就促使人们去研究一类特殊
的滤波器，这类滤波器具有以下特点：当输入过程的统计未知时，或者输入过程的统计特性变化时，能够相应的调整自身的参数，以满足某种准则的要求，由于这类滤波器能变化自身的参数以“适应”输入过程统计特性的估计或变化，因此，就把这类滤波器称为自适应滤波器。自适应的过程涉及到将价值函数用于确定如何更改滤波器系数从而减小下一次迭代过程成本的算法。价值函数是滤波器最佳性能的判断准则，比如减小输入信号中的噪声成分的能力。随着数字信号处理器性能的增强，自适应滤波器的应用越来越常见，时至今日它们已经广泛地用于手机以及其它通信设备、数码录像机和数码照相机以及医疗监测设备中。
2.4 自适应滤波器的模块结构
自适应滤波器通常由两部分构成，其一是滤波子系统，根据它所要处理的功能而往往有不同的结构形式。另一是自适应算法部分，用来调整滤波子系统结构的参数，或者滤波系数。在自适应调整滤波系数的过程中，有不用的准则和算法。算法是指调整自适应系数的步骤。以达到在所描述的准则下的误差最小化。自适应滤波器含有两个过程，即自适应过程和滤波过程。前一过程的基本目标是调节滤波系数w i (k )，使得有意义的目标函数或代价函数ε(. )最小化，滤波器输出信号y (k )逐步逼近所期望的参考信号d (k )，由两者之间的误差信号e (k )驱动某种算法对滤波系数进行调整，使得滤波器处于最佳工作状态以实现滤波过程。所以自适应过程是一个闭合的反馈环，算法决定了这个闭合环路的自适应过程需要的时间。但是，由于目标函数
即ε(. )是输入信号。 x (k )，参考信号d (k )及输出信号y (k )的函数，ε(. )=ε⎡⎣x (k )，d (k )，y (k )⎤⎦
因此目标函数必须具有以下两个性质：
（1）非负性
ε(. )=ε⎡ ∀x (k )，d (k )，y (k ) （2.1）⎣x (k )，d (k )，y (k )⎤⎦≥0 ，
（2）最佳性
ε(. )=ε⎡ ⎣x (k )，d (k )，y (k )⎤⎦=0 ，when y(k )=d (k ) （2.2）
在自适应过程中，自适应算法逐步使目标函数ε(. )最小化，最终使y (k )逼近与
d (k )，滤波参数或权系数w i (k )收敛于w opt ，这里w opt 是自适应滤波系数的最优解即维纳解。因此，自适应过程也是自适应滤波器的最佳线性估计的过程，既要估计滤波器能实现期望信号d (k )的整个过程，又要估计滤波权系数以进行有利于主要目标方向的调整。这些估计过程是以连续的时变形式进行的，这就是自适应滤波器需要有的自适应收敛过程。如何缩短自适应收敛过程需要的收敛时间，这个与算法和结构有关的问题是人们一直重视研究的问题之一。当然滤波子系统在整个自适应滤波器的设计中也占有很重要的地位，因为它对最终的滤波性能有很大的影响。下面介绍两种常用的滤波器结构。
2.4.1 FIR 结构滤波器
FIR 滤波器：有限长单位冲激响应滤波器，是数字信号处理系统中最基本的元件，它可以在保证任意幅频特性的同时具有严格的线性相频特性，同时其单位抽样响应是有限长的，因而滤波器是稳定的系统。因此，FIR 滤波器在通信、图像处理、模式识别等领域都有着广泛的应用。
有限长单位冲激响应（FIR ）滤波器有以下特点：
（1）系统的单位冲激响应h (n)在有限个n 值处不为零。
（2）系统函数H(z)在|z|>0处收敛，极点全部在z = 0处（因果系统）。
（3）构上主要是非递归结构，没有输出到输入的反馈，但有些结构中（例如频率抽样结构）也包含有反馈的递归部分。
图2.4.1 FIR 滤波器结构
2.4.2 IIR结构滤波器
IIR 滤波器：具有反馈，一般认为具有无限的脉冲响应。采用递归型结构，即结构上带有反馈环路。
无限长单位冲激响应（IIR ）滤波器有以下特点：
（1）IIR 滤波器的系统函数可以写成封闭函数的形式
（2）IIR 滤波器运算结构通常由延时、乘以系数和相加等基本运算组成，可以组合成直接型、正准型、级联型、并联型四种结构形式，都具有反馈回路。由于运算中的舍入处理，使误差不断累积，有时会产生微弱的寄生振荡。
（3）IIR 滤波器在设计上可以借助成熟的模拟滤波器的成果。
（4）IIR 滤波器的相位特性不好控制，对相位要求较高时，需加相位校准网络。
图2.4.2 IIR 滤波器结构
2.4.3 FIR结构与IIR 结构型的区别
（1）单位响应
IIR 滤波器单位响应为无限脉冲序列，而FIR 数字滤波器单位响应为有限的。
FIR 滤波器，也就是“非递归滤波器”，没有引入反馈。这种滤波器的脉冲响应是有限的。
（2）幅频特性
IIR 数字滤波器幅频特性精度很高，不是线性相位的，可以应用于对相位信息不敏感的音频信号上；FIR 数字滤波器的幅频特性精度较之于IIR 数字滤波器低，但是线性相位，就是不同频率分量的信号经过fir 滤波器后他们的时间差不变，这是很好的性质。
（3）实时信号处理
FIR 数字滤波器是有限的单位响应也有利于对数字信号的处理，便于编程，用于计算的时延也小，这对实时的信号处理很重要。
3 自适应滤波器原理及算法
3.1 横向滤波结构的最陡下降法
3.1.1 最陡下降法的原理
首先考虑如图3.1所示的横向FTR 自适应滤波器
图3.1 自适应横向滤波器结构
它的输入序列以向量的形式记为：
X (k )=⎡ ⎣x (k )x (k -1) x (k -M +1)⎤⎦ （3.1）T
假设X (k )取自—均值为零，自相关矩阵为R 的广义平稳随机过程，而滤波器的系数矢量（加权矢量）为：
W (k )=⎡⎣w 1(k )w 2(k ) w m (k )⎤⎦T （3.2）
以上二式中括号内的k 为时间指数，因此X (k )和W (k )分别表示时刻k 的滤波器输入序列和加权值，滤波器的输出y (k )为：
y (k )=∑w i (n )x (n -i +1) （3.3）
i =1M
式中M 为滤波器的长度。
图4.1中的d (k )称为“期望理想响应信号”，有时也可称为“训练信号”，它决定了设计最佳滤波器加权向量W (k )的取值方向。在实际应用中，通常用一路参数信号来作为期望响应信号。e (k )是滤波器输出y (k )相对于d (k )的误差，即
e (k )=d (k )-y (k ) （3.4）
显然，自适应滤波控制机理是用误差序列e (k )按照某种准则和算法对其系数
{wi)n) }，i=1，2，，... M 进行调节的，最终使自适应滤波器的目标（代价）函数最小化，打到最佳滤波状态。
按照均方误差（MSE ）准则所定义得目标函数是
222ε(k )=E ⎡ ⎣e (k )⎤⎦=E ⎡⎣d (k )-2d (k )y (k )+y (k )⎤⎦ （3.5）
将式（3.4）代入式（3.5），目标函数可以化为
2ε(k )=E ⎡e ⎣(k )⎤⎦
2T ⎡W T (k )X (k )X (k )T W (k )⎤ ⎤⎡⎤（3.6） =E ⎡d k -2E d k W k X k +E ()()()()⎣⎦⎣⎦⎣⎦
当滤波系数固定时，目标函数又可以写为
2T T ε(k )=⎡d k -2W k P +W ()()(k )RW (k )⎤⎣⎦ （3.7）
其中，P =E [y k x k ]是长度为N 的期望信号与输入信号的互相关矢量，T ⎤R =E ⎡x x k k ⎦⎣
是N ⨯N 的输入向量得自相关矩阵。
由式（3.7）可见，自适应滤波器的目标函数ε(k )是延迟线抽头系数（加权或滤波系数）的二次函数。当矩阵R 和矢量P 已知时，可以由权矢量W (k )直接求其解。现在我们将式（3.7）对W 求倒数，并令其等于零，同时假设R 是非奇异的，由此可以得到目标函数最小的最佳滤波系数w opt 为
（3.8） w opt =R -1P
这个解就是维纳解，即最佳滤波器数值。因此均方误差函数是滤波系数
次方程。 W (k )的二
最陡下降法就是实现上述搜索最佳值的一种优化技术，它利用梯度信息分析自适应滤波性能和追踪最佳滤波状态。梯度矢量是由均方误差ε(. )的梯度来定义的。换句话说，自适应过程是在梯度矢量的负方向连接的校正滤波系数，最终达到均方误差为最小，获得最佳滤波或准优工作状态。
令∇(k )代表k 时刻的M ⨯1维梯度矢量，这里M 等于滤波器滤波系数的数目，w (k )为自适应滤波器在k 时刻的滤波系数和权矢量。按照最陡下降法调节滤波系数，则在k+1时
刻的滤波系数或权矢量w (k+1)可以用下列简单递归关系来计算：
1w (k+1)=w (k )+μ⎡-∇(k )⎤ （3.9） ⎣⎦2
∇k μ为自适应收敛系数或步长，式中，是一个正实常数。根据梯度矢量定义，()
可写成
∇(k )=2∂E ⎡e ⎣(k )⎤⎦
∂w k ⎡∂ξ(k )∂ξ(k )∂ξ(k )⎤=⎢ ⎥∂w k ∂w k ∂w k 2m ⎣1⎦
⎡∂e (k )⎤=E ⎢2e (k )2e (k )x (k )⎤⎥=-E ⎡⎣⎦∂w k ⎦⎣ （3.10）
当滤波系数为最佳值，即是维纳解时，梯度矢量
代入（3.10）得到 ∇(k )应等于零。将式（3.7）
∇(k )=-2P +2Rw (k ) （3.11）
因此，在最陡下降算法中，当相关矩阵R 和互相关矢量P 已知时，由滤波系数矢量w (k )可以计算梯度矢量∇(k )，把式（3.11）代入到（3.9）中，可以计算出滤波系数的更新值
w (k+1)=w (k )+μ⎡2... ，，M （3.12） ⎣P +Rw (k )⎤⎦，k =1，
式（3.12）所描述的即是最陡下降算法自适应迭代的基本公式，且由该公式我们可以不用再直接求R 的逆。（3.12）式所示的迭代算法是一个反馈模型，因此算法的收敛性（稳定性）就非常重要。
3.1.2 最陡下降法的稳定性
首先我们定义k 时刻的加权误差矢量为
∆w (k )=w (k )-w opt （3.13）
则最陡下降算法式（4.13）可以写成另一种形式
∆w (k+1)=∆w (k )+μ(P -Rw (k ))
=∆w (k )-μR ∆w (k )=(I -μR )∆w (k ) （3.14）
这样，我们得到最陡下降法的稳定性取决于两个因素：自适应步长参数μ和输入信号矢量X (k )的自相关矩阵R 。根据线性代数里的酉相似变换原理，用酉矩阵Q 将相关矩阵R 对角线化，即
R =Q H DQ （3.15）
式中D 为对角线矩阵，它的元素是R 的特征值，矩阵Q 的列矢量是相关矩阵R 的特征值对应的特征向量的正交集，Q H 是Q 的共轭转置。酉矩阵的性质是Q H Q =QQ H =I 。把式（3.15）代入式（3.14），得到
∆w (k +1)=(I -μQ H DQ )∆w (k ) （3.16）
两边乘以Q H 得到
Q H ∆w (k +1)=(I -μQ H DQ )Q H ∆w (k ) （3.17a ）
或写为
V (k+1)=(I -μD )V (k ) （3.17b ）
其中V (k )=Q H ∆w (k )，为旋转参数矢量或旋转滤波系数矢量误差，V (k )的起始值为
V (1)=Q H ⎡ ⎣w (1)-w opt ⎤⎦ （3.18）
由（3.17b ）式，可以推算出
V (k+1)=(I -μD )V (1) （3.19） k
把单位矩阵I 和对角线矩阵D 展开，上式可以写为
⎡(1-μλI )k ⎢⎢0V (k+1)=⎢ ⎢⎢0⎣0⎤⎥⎥ 0 ⎥∙V (1) （3.20） ⎥k ⎥ (1-μλI )⎦ 0(1-μλI ) 0k
上式表明，为了保证最陡下降算法的稳定性（收敛性），矩阵中的每一个元素1-μλI ，k =1，2... ，，M 的绝对值必须小于1，由此可以得到算法稳定性的收敛条件为
0
λmax （3.21）
式中λmax 是相关矩阵R 的最大特征值。在此条件下，对角线矩阵中全部元素当k →∞而趋近于零，结果使得
佳维纳解。
3.2 自适应噪声抵消原理
自适应滤波器已经在信道均衡、回波消除、雷达、线性预测、谱分析和系统识别等领域得到广泛应用。本节将专门讨论自适应滤波器用作自适应噪声抵消的应用。基于维纳理论的自适应噪声抵消需要无限加权滤波器，以极小化输出误差。为了实现维纳滤波方案，必须使用有限加权滤波器。换句话说，自适应滤波器必须假定维纳滤波器是一个有限冲激响应（FIR ）滤波器。
V (k+1)→0。当k 很大时，意味着自适应滤波系数矢量趋近于最
（a ） 最佳噪声抵消器
（b ） 自适应噪声抵消器
图3.2 自适应噪声抵消原理方框图
如图3.2（a ）所示是基于维纳滤波器的自适应噪声抵消原理方框图。主信号x (n )由有用信号s (n )和背景噪声v (n )构成，其中s (n )和v (n )不相关。参考信号r (n )可与s (n )或v (n )相关。v (n )是背景噪声v (n )的最佳估计。v (n )可以通过选择最佳FIR 维纳滤波器的最佳加权w (n )计算得出，即 ——∧∧
v (n )=∑W m r (n -m )
m =0∧M 0≤m ≤M （3.22） =w 0(n )r (n )+w 1(n )r (n -1)+ +w M (n )r (n -M )，
其中，M 表示滤波器的阶：r (n -m )由r (n )延时获得。具有M 个权重滤波器的估计误差e (n )由下式定义：
e (n )=x (n )-v (n )=x (n )-w T (n )r (n ) （3.23）
其中 ∧
⎛w 0(n )⎫⎛r (n )⎫ ⎪ ⎪w n r n-1()() 1⎪ ⎪ ⎪ ⎪⎪ r (n )= ⎪ w (n )= ———— ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ w (n )⎪ r (n-M )⎪⎝M ⎭⎝⎭
由正交原理有E (e (n )r (n ))=0，所以e (n )和r (n )正交。
对式（3.23）两边取平方和数学期望，可得
e (n )=x (n )-2x (n )r (n )w (n )+w (n )r (n )r (n )w (n ) （3.24） ------22T T T
22T T T E ⎡e (n )⎤=E ⎡x (n )⎤-2E ⎡x (n )r (n )⎤w (n )+w (n )E ⎡r (n )r (n )⎤w (n ) （3.25） ⎣⎦⎣⎦⎣-⎦-⎣--⎦--
然后，式（3.25）可简化如下：
22T E ⎡e (n )⎤=E ⎡x (n )⎤-2P T w +w R w （3.26） ⎣⎦⎣⎦---
其中，输入信号s (n )r (n )P 和参考矢量-之间的互相关用-表示，即