数字图像的盲复原研究.doc

1、数字图像的盲复原研究1 引言图像复原，是指消除或减轻图像获取过程中所发生的质量下降，也就是退化，使它趋向于复原成退化前的理想图像。 图像复原的难易程度主要取决于对退化过程的先验知识掌握的精确程度。如果我们对退化的类型、机制和过程都十分清楚，那么就可以根据图像退化的先验知识建立退化模型，采用各种反退化处理方法，如维纳滤波等，对图像进行复原处理，这是比较典型的图像复原方法。然而，在实际的图像处理时，许多先验知识(包括图像的及成像系统的先验知识)往往并不具备。一方面，某些情况下，要获得图像的先验知识需要付出很大的代价，甚至有的还是物理不可实现的。如，在遥感和天文应用中，得出原始图像的统计模型或获得从

2、未被拍摄过的景象的特定信息都是十分困难的;在航空拍摄和天文学中，因为点扩散函数(PSF)的变化难以把握，所以无法获得模糊过程的精确模型;在医学、电视会议等实时图像处理中，PSF的参数很难预知，从而也无法实时地恢复图像。另外，用于估计退化过程的识别技术还会产生很大的误差，以致于复原出的图像存在人为假象。由此看来，图像退化是不可避免的，同时又很难用硬件准确测出图像系统的PSF。基于以上原因，提出了图像盲复原技术这一课题。 图像盲复原是指在图像系统(即退化过程)的信息全部或部分未知的情况下，通过退化图像的特征来估计真实图像和模糊算子的过程。不管从理论上，还是从实际操作上，都是一个十分困难的问题。尽管

3、对经典的线性图像复原己进行过深入的研究，但这些方法并不能直接应用于图像的盲复原，而是有待于进一步的探讨。 另外，对图像复原结果的评价也应确定一些准则，这些准则包括最小均方误差(MMSE)准则、加权均方准则、最大墒准则等。 本章通过对己有算法的研究来讲述图像盲复原的基本原理和方法，探讨它的发展趋势和价值。2、图像的成像模型 图像复原的首要任务是建立图像的退化模型，即首先必须了解、分析图像退化的机理，并用数学模型表现出来。由于图像退化的原因很多，退化机理比较复杂，因此，要提供一个完善的数学模型是非常复杂和困难的。2.1连续成像模型 在系统的成像过程中，有许多因素会导致图像的退化，其过程如图1所示。

4、 n(x,y) f(x,y) b(x,y) g(x,y)非线性S（.）线性系统 h(.) 图1 连续成像模型 在数学上可用一个迭加积分来描述 其中，f(x,y)表示原始图像，g(x,y)表示退化图像，n(x,y)表示加性噪声，在有些情况下是以相乘的形式出现，称之为乘性噪声，h(x,y)表示系统的点扩散函数，S(.)表示记录介质或传感器件的非线性。如果不考虑非线性的影响，式（1）可变为如果假设成像系统是线性空间不变系统，即点扩散函数与向面位置无关，则式(2)可改写成 2.2 离散成像模型在实际成像过程中，通常采用CCD相机或其它离散成像器件进行图像采集和数字化，因此获取的退化图像应为离散函数。其

5、成像过程如图2所示 。 n(x,y) f(x,y) b(x,y) g(x,y) 采样 C(.) 非线性 S(.)线性系统 h(.) 图2 离散成像模型假设采样为理想采样，有 其中表示离散抽样函数，和分别表示离散像函数和噪声，和为整数。离散抽样函数可表示为其中，和分别表示x和y方向的采样间隔。而在实际图像处理过程中，图像均需以数字离散函数表示，如果此时不考虑非线性的影响，且考虑图像的大小为，式（4）可变为如果假设成像成像系统是线性空间不变系统，则式(7)可写成离散卷积的关系其中，和分别表示原始图像和点扩散函数，为整数且有。 对于上述离散成像过程也可表示为矩阵形式，此时离散退化模型为这里，f，g和

6、n分别表示原始图像、退化图像和噪声，且为一个行堆叠形成的列向量，H为阶矩阵，代表点扩散函数的离散分布。若系统是位移不变的，则H为块循环矩阵。3 图像盲复原3.1 图像盲复原技术 由图像的退化过程，我们可以知道，图像复原的基本问题就是在观测噪声存在的情况下如何有效地去除模糊。对于数字图像复原而言，绝大多数方法都同数学工具密不可分，如估计理论、病态问题求解理论、线性代数、随机过程和数值分析等等。图像复原的一般方法为:对退化过程建立相应的数学模型，并且通过求解该逆问题来获得对原图像的合理估计。 在经典的图像复原研究中，通常假定退化过程是己知的，或者是可以通过实验获得的。但是在实际情况中，退化过程的精

7、确信息通常很难获得，因此无法建立确切的退化模型。不仅对于随机的观测噪声如此对于相对确定的模糊过程也是如此。在这种情况下，必须使用图像盲复原技术(Blind iamge restoration)来估计原始图像的信息。所谓图像盲复原，是特指在退化过程的信息全部或部分未知的情况下，通过退化图像的特征来估计真实图像和模糊算子的过程。在经典的图像复原中，复原的目的是为了获得和真实图像尽可能接近的估计值。但对于图像盲复原而言，由于先验条件的相对缺乏，只能获得带有尺度和平移的估计值，即获得:其中K、Dx和Dy是任意实数。这些参数可以透过PSF的能量保持性和图像位置信息等进行校正。3.2 基本的图像盲复原方法

8、 通过近年来的研究，己提出了一些有效的盲图像复原方法。这些方法分别从空间域和频率域的角度对盲复原问题做了一定探讨。大部分方法是建立在最小均方误差准则的基础上的。根据对待点扩散函数估计的不同，可以分为两类:第一类是将点扩散函数估计同图像复原分离开来进行。通过对点扩散函数的先验辨识，可以将图像盲复原问题转化成经典的图像复原问题。第二类是将对点扩散函数和对原始图像的估计结合起来进行。根据实现上的不同，可以分为直接法、迭代法和递归法。根据模型的不同可以分为确定性方法和随机性方法。下面简略介绍一些常用的方法。3.2.1 零面分离法该方法在多维反卷积问题上取得了突破性进展。主要理论依据是:空间域卷积与频率

9、域相乘对应。Lnae和Bates己经证明，在特定条件下，可以对单个多维图像进行盲反卷积。如退化图像，其对应的Z变换为盲反卷积问题等同于分解二维多项式。通常情况下，分解出的因式分别与及成比例关系，比例系数为任意复常数。而后进行反变换，即可得到与f(x,y)和h(x,y)有一定比例和相移的函数，达到了盲反卷积的目的。Lnae和Baets还证明:任何退化图像g，若其维数大于1，且由几个独立的分量卷积而成，则可自动进行反卷积，反卷积的参数取决于多维Z变换的解析性质。由于K维分量关的Z变换的零点几乎都是连续的，并且落在一个(2K-2)维的超平面上，这些超平面几乎都是非奇异的，通过分离它们，即可分离出这些

10、分量，只是比例关系较为复杂。 同时，零面分离法对于广义的盲反卷积来说也是非常有用的。以零面的概念为基 础，可以证明，若所得到的图像在空间域或频域以奈奎斯特频率进行采样，则三维或以上的图像处理问题也可以解决。零面法也可用于对具有两个以上分量的函数同时进行反卷积，还可用于判定给定信号是由几个既约信号构成的。但在使用该方法时，需首先对成像系统作以下假设: (1)没有加性噪声，即 (2)真实图像和点扩散函数的支持域有限。 (3)和是不可卷积分解的。 (4)和具有不同的零面。 这就限制了算法的通用性。另外，虽然从概念上讲，零面法十分有用，但在实际中仍存在许多缺点:算法对噪声很敏感，计算复杂度较高，对较大

11、的数据，其数值精确度降低。还有，由于高阶多项式代数基础理论较为薄弱，多维多项式一般很难进行因式分解。3.2.2 模糊先验辨识法1)一般方法 利用模糊先验辨识法进行盲反卷积时，需首先辨识出PSF，再进行复原。此类方法一般假定PSF具有一定的特性，如对称性，并且己知退化过程的参数化模型。常用的参数化模型有:相机的线性运动、散焦或高斯模型。基于以上假设，结合图像的特征，即可完全确定PSF。这些特征可以是均匀背景上的点源，也可以是X射线成像的边界，或者是由于相机散焦或相对景物线性运动而形成的模糊图像的频域零点。估计出PSF后，就可以用经典的复原方法来估计真实图像。 模糊先验辨识法是一类最简单的方法，计

12、算复杂度低。通常用于己知图像某些特殊性质，或者己知PSF具有特定的参数形式。2)基于频域零点的模糊辨识法 不考虑噪声的图像退化模型如下:等式两边进行离散傅立叶变换，得频域关系如下:可以看出，包括了和的零点。 假定己知PSF的参数化模型，若给出其频域零点，则其相应参数值就可以唯一确定。所以，在给定的零点和PSF的参数化模型的情况下，进行盲反卷积就是要区分哪些零点属于，哪些零点属于。确定了零点的位置，就可以估计PSF的参数值，从而得到PSF，再用经典的图像复原方法即可获得真实图像的估计。图3给出了这种方法的示意图。与零面分离法相同，该方法仍然没有考虑加性噪声问题，而噪声的存在将会淹没中的零点，故算

13、法对噪声仍十分敏感，只适用于信噪比较高的情况。为此，对算法提出了一些修正，用复倒谱代替算法中的倒谱，提高了抗噪声干扰性能，较好地抑制了噪声。 g(x,y) 退化图像 真实图像的估计图像退化的 预处理图像退化的 预处理图像退化的 预处理图像退化的 预处理图3基于频域零点的模糊先验辨识法 基于频域零点的模糊先验辨识法是最为常用且比较成功的方法之一，计算简便，可靠性高，能够有效地进行图像复原。当然，该算法也有自身的局限性，主要表现在:需要知道PSF的参数化模型。另外，在一些应用中，其PSF通常是高斯型的，H(u,v)不存在频域零点，则算法不可用。3.3 ARMA参数估计法 该方法通过对图像和模糊过程

14、建模来实现图像复原:将真实图像建模为二维自回归(AR)过程，PSF建模为二维滑动平均(MA)过程，而将模糊图像看作自回归滑动平均(ARMA)过程。通过估计ARMA过程的参数，即可以估计出真实图像和PSF。 本类方法之间的不同之处在于怎样估计ARMA参数。可以用基于二阶统计量的方法，诸如最大似然(ML)估计、广义交叉确认(GCV)法、神经网络等，也可以用高阶统计量(HO)s方法来估计ARMA参数。其中ML和GCV在图像处理应用中是最成功的方法。3.3.1 真实图像的AR模型 将真实图像看作一个二维自回归(AR)过程，表示如下:其中，为真实图像，为激励白噪声，是零均值、协方差为的平稳噪声，且与统计

15、独立。用基于二阶统计量的方法分析时，假定是高斯型的;而用基于高阶统计量的方法时，则假定是非高斯型的。选择AR模型系数(a(l,m)(支持域为)，使得的方差最小。“拉直”二维信号，将式（13）表示成矩阵一向量形式:所谓“拉直”，就是将MxN矩阵按行向量依次叠成一个列向量。这一列向量可以记作：其中x(l,m)是MxN矩阵中的第lxm个元素。 式(14)所述模型适用于摄影等应用。在这些应用中，图像一般是平滑和平稳的，而且只需要三个AR系数就可以定义一个合理的摄影模型。这种模型可以表示为一个自相关函数由可分离的指数衰减的序列构成的过程，这样，就得到一种更简单的AR模型，其中，且。式（14）所述模型也适

16、用于纹理图像，但需要已知模型的阶数，以估计AR模型的系数个数。AR模型不适用于局部图像特征突变的情况，诸如边缘突变等。3.3.2模糊图像的AR模型 多数应用中，PSF的大小是有限的，它对真实图像的影响可以看作一个二维FIR滤波器。根据图像线性退化模型，可将退化图像表示为: 其中表示的有限支持域，此处假定为零均值、协方差为的高斯噪声。式（14）也可以写成矩阵一向量形式由式（14）及式（16）得其中I为单位阵。则盲反卷积问题就转化为根据估计及。求出后，用经典线性图像复原方法来估计真实图像。3.3.3 PSF的参数化模型利用式(17)估计,的主要问题是：当PSF具有较大的支持域时，计算复杂度高，算法

17、不稳定，且结果不唯一。为了解决这些问题，采用二阶统计量方法，该方法中，对PSF作了如下限制：a PSF为正，且退化过程中真实图像的能量保持不变，即该假设限制了所得结果的数目。 b PSF是对称的和零相位的，以保证算法的稳定性和结果的唯一性。 c PSF为已知的参数形式，且只有较少的参数，以降低计算复杂度。有了这些假设，即可以省去对和的估计。4最大似然(ML)法 最大似然方法试图通过估计PSF、加性噪声的方差及原始图像AR模型的系数来导出复原滤波器。若真实图像和PSF符合上述模型，问题就归结为利用估计参数集，其中，分别为，的方差。 参数估计的目的就是找到使似然函数最大的参数集，及其中表示的对数似

18、然函数，为的定义域。为给定时g的条件概率密度函数。 由于g是n和v经过线性滤波得到的，且n和v都是零均值高斯过程，所以g也应为零均值高斯型。则可推得下面关系:及 假定，联立式(19)(20)，消去常数项，并将结果乘以-2(由于符号的改变，最大化问题变成最小化问题)，得到如下等价的似然函数。其中p为g的协方差矩阵，可表示为: 许多方法可用于求解式(22)中的非线性极值问题，如梯度法、期望最大化法（EM）、基于误差的预测技术和最小二乘法等。其中EM法实现起来比较直观，将几个变量的非线性极值问题转换成线性迭代问题，该方法是一种有效的估计算法，但收敛速度比梯度法慢;这种方法的另一种优点在于:每一次迭代

19、都可以得到一个真实的图像，所以当达到视觉要求时，算法很容易中止。5 广义交叉确认法（GCV）GCV法是一种广泛用于数据分析领域中的方法，曾用作平滑问题中估计最佳正则化参数的准则。GCV法原理简单，只需将数据分为两部分：估计部分和确认部分。估计部分用来在给定参数值或假设的条件下，进行建模或估计数据；确认部分用来验证模型、估计数据及假设的有效性，从众多参数值或假设中测试并挑出最合适者。这种划分存在一些问题：若要获得可靠的估计，需要大量数据；测试估计是否合理时，也需要大量数据，这就产生了矛盾。GCV法克服了这一矛盾，将所有数据同时用于估计和验证该估计的有效性。GCV法用于图像盲复原时比较直观。利用给

20、定的参数集，用退化图像除去一像素外的所有数据估计出“复原”图像，用h(m,n)再次模糊“复原”图像，预测上一步排除的那个像素的值。重复此过程，每次除去退化图像中的一个不同的像素。可用优化或搜索方法确定参数集。准则：预测均方误差最小。该最佳参数集即为图像和PSF模型的参数估计值。ML和GCV法比较而言，ML参数估计是一种标准的信号处理技术，其中的EM算法使其实现起来更容易；GCV法也有自身优点：该算法对噪声具有鲁棒性，且对实际图像的处理效果比ML好。由于ML和GCV法在实现时均考虑了系统噪声：ML中对加性噪声的方差进行了估计；GCV法则通过正则化参数减小复原过程中噪声的影响。故和其它图像盲复原方

21、法相比，这两种方法对加性噪声都不太敏感。这些方法的主要局限性有：当参数个数较多时，似然对数函数及GCV准则，对参数集中的单个参数 的变化不敏感；此外，收敛过程中可能会出现局部极小问题。为此，有人提出了一种分层ML法，用以减小病态收敛的可能性。又由于ML和GCV法均是针对二阶统计信号进行处理，所以在复原过程中相位不能唯一确定。除非已知PSF为最小相位。故需要对PSF增加一些约束条件，以尽可能保证解的唯一性。6 IBD算法非参数迭代算法是盲复原算法中一个重要分支，而IBD算法、EM算法、NAS-RIF算法则是这一类算法中的经典代表。6.1 算法原理迭代盲解卷积算法（IBD）是由Ayers和Dain

22、ty在1988年首先提出来的，是以快速傅立叶变换为基础的一种算法，算法引用的退化模型如（23）式所示，算法的流程如图4所示：频域约束IFFTFFT图像约束时域约束K=k+1频域约束IFFTFFT图4 IBD算法流程图其中代表真实图像的估计，代表PSF的估计，经过频域内的条件限制后得到，经过频域内的条件限制后得到，下表k表示迭代次数。首先给定一个真实图像初始值之后算法就在图像域或频域中交替进行，并分别在各个域中加以条件限制。其中图像约束为：为选取的图像支持域，back为统一取定的背景灰度值。PSF的时域约束为：频域约束是本算法的核心，它是维纳滤波的推广910。维纳滤波的数学模型推导其中为所要求的

23、维纳滤波模型。维纳滤波是以估计值与真实值之间均方误差最小为准则，即，从而可得出滤波器表达式，证明如下，在离散随即信号里的频域变换表示为，由维纳滤波表达式为：其中： (29)因为假设信号与噪声不相关，故在上式中省去，所以可变化为如下形式：因Z变换中，上式进一步简化为：应用在IBD算法中可以推导出：K为迭代的次数，同理可得：、均为与噪声有关的常数。6.2 算法改进IBD算法最大的优点就是计算简单且对噪声不敏感，这主要是由于算法采取类似维纳滤波的形式进行迭代运算，但算法较明显的不足就是收敛性较差，解的可靠性差。改进的思路就是引进总变分梯度经验因子对IBD算法中的频域约束进行改进，以增强算法的收敛性。

24、总变分梯度经验因子是由拉普拉斯算子，结合总变分思想演化而得。总变分定义为梯度幅值的积分11：Rudin和Osher等人证实受噪声污染的图像的总变分大于无噪图像的总变分，由此可知，限制总变分可以限制噪声。而且总变分极小化的一个非常好的性质在于限制噪声的同时并不对解强加平滑作用，这就可以在复原过程中使目标图像的边缘得以保持。在此基础上，Chan等人提出了一种总变分最小化的盲复原算法11，采用总变分进行规整化得到关于图像盲复原的最优化问题：其中表示拉普拉斯算子，整理（35）和（36）式可得：令为的傅式变换，求解（37）式和（38）式得：其中用一个经验因子代替1213:将（23）式和（24）式代入IB

25、D算法中，则算法的频域约束则可改进为：从（42）式和（43）式可以看出，无论是还是，都属于常数，可以认为是由于噪声加入的扰动量，和通常是很小的正数，一旦取定，和就是定值。这样就既没有改变IBD算法对噪声不敏感的优点，同时又使得每次迭代求解估计图像时只与前一次迭代得到的PSF有关，而每次迭代求解PSF时也只与前一次迭代得到的估计图像有关，使算法在收敛性上减少了出现“跳变”的风险，增强了解的可靠性。6.3 仿真实验及结果分析首先选取仿真图像（用STK软件在理想状态下仿真自适应光电望远镜对某空间目标的观测图像，文中将该图像统一命名为空间目标一仿真图像，图像大小320*244），如图5a所示，对其加入

26、散焦模糊（PSF大小为9*9），如图5b所示，然后分别用原IBD算法和改进算法进行盲复原（利用原算法复原退化图像时取=10；=1，利用改进算法复原退化图像时=0.02；=0.1），并给出归一化最小均方误差（NMSE）和迭代次数关系图，如图5e所示。 (a) 空间目标-仿真图像 (b)加入散焦模糊的退化图像 () 用原算法得到的复原图像 (d)用改进算法得到的复原图像(e)NMSE与迭代次数关系图图5 IBD算法复原空间目标-仿真图像结果图由于IBD算法的收敛性较差，所以通常选取在算法迭代一定次数后选择获得最佳图像估计时终运算，试验中改进后的算法和原算法都选择在迭代20次之后终止，此时得到的估计

27、图像，如图5c、d所示。从得到的NMSE与迭代次数的关系看出，改进后的算法NMSE的“走势”比原算法要平稳许多，基本没有出现“跳变”现象，进而验证了改进算法的有效性。然后选取实测空间目标光电图像（Lac2、Lac5，图像大小均为320*244）如图6a、7b所示，分别用原IBD算法和改进算法进行盲复原（利用原算法复原退化图像时取=100；=1，利用改进算法复原退化图像时=0.01；=0.12），并给出NMSE和迭代次数关系图，如图6d、7d所示。 (a)Lac2实测光电图像 (b)用原算法得到的复原图像 (c)用改进算法得到的复原图像 (d)NMSE与迭代次数关系图图6 IBD算法复原Lac2

28、实测光电图像结果图 (a)Lac5实测光电图像 （b）用原算法得到的复原图像 (c)用改进算法得到的复原图像 (d)NMSE与迭代次数关系图图7 IBD算法复原Lac5实测光电图像结果图由于实测光电图像并没有清晰的图像作为参考，因此在算法中NMSE修正为：其中k表示迭代次数。从上述试验中也可以得出类似结论，NMSE与迭代次数的关系图可以看出改进后的算法NMSE的“走势”比原算法要平稳许多，基本没有出现“跳变”现象，因此改进算法能达到增强算法收敛性和解的可靠性的目的，但另一方面对图像复原效果并没有较大改善，这也是改进算法中存在的不足。参考文献1 姜文汉.自适应光学技术J，2007.28(1):7

29、-13.2 饶瑞中.现代大气光学及其应用J，大气与环境光学学报,2006.1(1):2-13.3 白延柱,金伟其.光电成像原理与技术M,北京理工大学出版社,2006.4 张航,罗大庸.图像盲复原算法研究现状及其展望J,中国图像图像学报，2004,9(10):1145-1152.5 Deepa Kundur and Dimitrios Hatzinakos, Blind Image DeconvolutionJ,IEEESignal Processing Magazine,pp.43-64,May 1996.6 Deepa Kundur and Dimitrios Hatzinakos, A N

30、ovel Blind Deconvolution Scheme for Image Restoration Using Recursive FilteringJ, IEEE Tarnsaction on Signal Processing, Vol.46No.2,pp.375-390,February 1998.7 Deepa Kundur and Dimitrios Hatzinakos, Blind Image Restoration via Recursive Filtering Using Deterministic ConstraintsJ,IEEE,1996,pp.2282-228

31、6.8 G.R.Ayers and J.C.Dainty, Iterative blind deconvolution method and its applicationsJ,OPTICS LETTERS,1988,PP.547-549.9 Prashan Premaratne, and Malin Premaratne, Accelerated Iterative Blind Deconvolution of StillI mageJ, Conferenceon Convergent Technologies, IEEE,2003,pp.101-105.10 Ying Liang, Cha

32、nghui Rao,Mei Li,and Zexun Geng,Iterative blind deconvolution of adaptive optics imagesJ,CHINESE OPTICS LETTERS,Vol,No.4,pp.187-188,April 2006.11 Tony F.Chan and Chiu-Kwong Wong,Total Variation Blind DeconvolutionJ,Vol.4,No.3,1998,pp.370-375.12 于大勇,袁祥岩等.频域迭代盲解卷积图像恢复方法及其算法实现J,中国激光,2002,29(12):1101-1104.13 罗林,王黎等.天文图像多帧盲反卷积收敛性的增强方法J,物理学报,2006，55(12):6708-6714.