基于字典学习的超分辨率图像重构.doc

1、学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其$教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文

2、工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许査阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。(保密的论文在解密后遵守此规定）本学位论文属于保密，在_年解密后适用本授权书。本人签名：日期导师签名：日期：I摘要超分辨率图像重构可以看作是一个从单幅或多幅低分辨率图像中重构出一幅 髙分辨率图像的逆问题，近年来被广泛的应用到了视频监控、卫星图像、视频标 准转换、医疗数字影像等各个方面。基于模型和基于学习的方法是最近几年重构 超分辨率图像的两

3、种重要方法。基于模型的方法试图构建低分辨图像到高分辨图 像的映射，其重构效率较高，但由于图像类型多种多样，很难统一到一个模型下 进行描述，在高放大因子下重构图像的质量下降较快。基于学习的方法构造一组 低分辨样例图像和对应的高分辨样例图像，先将待重构图像在低分辨样例图像下 进行编码，再用编码系数来恢复高分辨图像，可以克服基于模型的方法对图像关 系描述不准确的缺陷，具有重构准确、对噪声和图像类型鲁棒性强的等优点。在 基于学习的框架下，本文引入字典学习的方法实现编码，研究了基于字典学习的 超分辨率图像重构方法，所做主要工作如下：(1) 利用KSVD算法学习图像关系。该算法利用K-SVD算法从大量的低

4、分辨率和 高分辨率训练样例图像块中分别训练两个小规模的稀疏字典，利用字典间的对应 关系和低分辨图像块编码来恢复高分辨图像块，不仅能获得更加准确的编码，而 且显著降低了编码的复杂度。(2) 基于多任务字典学习的超分辨率图像重构方法。考虑待重构图像的差异，将训 练样例图像块自组织聚类来训练获得多个字典，用多个字典下的重构来构建多个 任务，不同任务的重构同时进行并共享信息，利用智能的传递特性将多个任务的 结果传递到一个新任务上。多任务算法考虑了训练样例图像块的差异，因此可以 进一步提高单任务的重构质量，而且对含噪图像具有鲁棒性。(3) 基于多任务字典学习和局部约束的超分辨率图像重构方法。假设每个重构

5、图像 块在局部邻域内满足局部结构的相似性，在多任务字典学习的代价函数中加入局 部约束的惩罚项，对重构高分辨图像块进行局部范围内的约束优化，使重构图像 更好的保持结构信息，提高了重构图像的质量。(4) 基于多任务字典学习和残差补偿的超分辨率图像重构方法。对多任务字典学习 重构的图像再进行残差补偿，进一少增强重构髙分辨图像的细节，使重构图像更 好的保持细节信息，提高了重构图像的质量。本文的工作得到了国家自然科学基金(61072108,60601029,60971112)和中央高 校基本科研业务费(JY10000902041)的资助。关键词：超分辨率字典学习多任务学习局部约束残差补偿摘要AIVAbs

6、tractAbstractSuper-resolution image reconstruction (SRIR) is cast as the inverse problem of recovering the original high-resolution (HR) image from one or more low-resolution (LR) images. Recently SRIR has been used in many practical field including medical imaging, satellite imaging and video appli

7、cations and so on. The model-based and the learning-based approach are two most popular SRIR methods that developed in recent years. The model-based approach is of high efficiency; however, the relationships between images are too complex to be expressed under one model. Moreover, when the magnify f

8、actor gets bigger, the reconstructed image degraded quickly. The learning-base approach builds two set of training samples that consists of HR and LR images respectively. The test image is coded under the LR images and the coefficients are taken to recover the HR image using the relationship between

9、 HR and LR training samples. This paper is about the learning-based super-resolution image reconstruction. The main works are as follows:(1) A dictionary learning based SRIR method is proposed. Two dictionaries are learned from the low and high resolution images respectively using K-SVD algorithm. T

10、he proposed algorithm can reconstruct the HR image by making avail of the relationship between the two dictionaries, and it not only have more accurate coding but also significantly reduces the coding complexity.(2) A multitask dictionary learning based SRIR method is proposed. Considering the diffe

11、rences of image blocks，we cluster the training images into several classes from which multiple dictionaries are trained. Single task is defined as recovering the HR image from a dictionary, and the multitask recovery is adopted which share the information among different tasks. For considering the d

12、ifference of the training samples, the proposed method has an improvement on the PSNR of the reconstructed images over the single task counterpart.(3) A local constraint and multi-task dictionary learning based SRIR method is proposed. Local constraint about the structural self-similarity of patches

13、 is added into the cost function. Therefore, it can balance between the maintaining of the local details and the global approximation. Some experiments on natural images results show that it can improve the quality and visual effects of the image.(4) A residual compensation and multi-task dictionary

14、 learning based SRIR method is proposed to optimize the HR image. By adding the residual compensation to the reconstructed image, the proposed method can further refine the details of the edge of the reconstructed image and finally improve the quality and visual effects of the image.This paper was s

15、upported by National Science Foundation of China under Grant no.61072108,60601029,60971112 and the Basic Science Research Fund in Xidian University under Grant no.JY10000902041.Key words: Super-Resolution Dictionary Learning Multitask Learning Local Constraints Residual Compensation第一章绪论M IAbstractI

16、ll 11.1研究背景和意义:11.2研究现状21.3研究内容和创新31.4论文架构安排4第二章超分辨率图像重构模型72.1超分辨率图像重构数学模型72.2超分辨率图像重构步骤92.3传统超分辨率图像重构方法102.3.1非均匀插值算法102.3.2迭代反投影法112.3.3最大后验概率法和最大似然估计法112.4基于学习的超分辨率图像重构方法122.5重构图像质量评价指标132.6本章小结15第三章基于字典学习的超分辨率图像重构173.1图像的稀疏表示173.2基于稀疏表示的超分辨率图像重构193.3KSVD字典学习算法223,4多任务字典学习超分辨率图像重构253.4.1单任务学习算法25

17、3.4.2多任务学习算法263.5实验结果与分析293.5.1自然图像实验结果与分析303.5.2遥感图像实验结果与分析393.6本章小结45第四章基于局部约束的多任务字典学习超分辨率图像重构474.1结构相似性约束滤波474.2超分辨率图像重构中的局部约束484.3基于局部约束和多任务字典学习的超分辨率图像重构504.4实验结果与分析514.4.1自然图像实验结果与分析514.4.2遥感图像实验结果与分析554.5本章小结61第五章基于残差补偿的多任务字典学习超分辨率图像重构635.1残差补偿635.2基于残差补偿和多任务字典学习的超分辨率图像重构645.3实验结果与分析665.3.1自然图

18、像实验结果与分析665.3.2遥感图像实验结果与分析705.4本章小结74第六章总结与展望756.1 总结 756.2展望75St ill77参考文献79硕士期间成果83第一章绪论1.1研究背景和意义在人类所获取的这大量外界信息当中，大部分的信息都来源于人类的视觉系 统，其中主要为图像信息。图像已经成为人类获取信息的重要途径之一，而图像 处理技术也已经成为了信息处理技术的重要内容之一。随着图像在各行各业曰益 广泛的应用，人们对图像分辨率的要求也越来越高。比如在公共安全领域，人们 要求高清晰的目标图像，可以对相关人员进行辨识；在遥感侦测领域，通过获得 某一地域的高分辨率图像，可以提高目标的识别率

19、；在医学成像领域，通过获得 高清晰的X射线摄影(CT)和磁共振成像(MRI),可以有利于对某些疾病的诊断。目 前，图像的分辨率己经成为了衡量图像质量的一个重要指标。然而，由于技术的 限制或者硬件成本的限制，目前我们所获得的很多图像都不能满足实际应用的需 要。一方面是因为在实际成像过程中，由于受到大气的振动、目标与成像器件之 间的相对运动、离散采样和系统噪声等的影响，都会使得图像的分辨率下降。另 一方面，硬件上如果单纯依靠传感器的制造技术来提高图像的分辨率也会带来一 系列问题1。众所周知，传感器主要依赖于通过减小单个像素的尺寸以增加单位面 积内的像素数目，但是由于传感器自身噪声的限制，像素的尺寸

20、有一个极限的限 制。另一个方法是通过增加芯片的尺寸来増强空间的分辨率，但是这将会导致电 容增加从而使得电荷转移速度降低。因此，我们便急切需要一种软件上的图像处 理的方法来提高图像的分辨率，以满足实际的应用需要，这便是超分辨率图像重 构所面临的问题。超分辨率图像重构的定义为：突破一些图像传感器的低分辨率的限制，从一 副或几幅低分辨率图像中，重构出原始高分辨率图像2,3：|。超分辨率图像重构算法 的基本原理是：通过求解从一幅或多幅低分辨率图像中恢复出高分辨率图像的病 态反问题，以使复原图像获得更多的细节和信息，更加接近理想图像，从而克服 图像传感器的象素尺寸限制24。目前，超分辨图像重构有很多实际

21、应用，可以解 决前面提到的一系列问题。比如，可以应用到监控等安全领域，以获取目标对象 的高分辨率图像，方便对某些人物进括监控或者获得车牌号等；应用到医学图像 处理领域，获得高清晰的X射线摄影(CT)和磁共振成像(MRI),以f利于对某些疾 病的诊断；应用到遥感侦测领域，通过获得某一地域的高分辨率图像，可以提高 目标的识别率。#基于字典学习的超分辨率图像重构目前，超分辨率图像重构算法主要分为基于模型的方法和基于学习的方法两 大类。其中，基于模型的方法的基本原理是首先对低分辨率图像和高分辨率图像 之间的关系建立一个数学模型，然后利用这个数学模型直接将输入的低分辨率图 像映射成高分辨率图像，但是由于

22、不知道模糊因子，以及噪声、图像偏移等的影 响，在高放大因子条件下，重构图像的质量会快速下降。为了解决这个问题， Freeman等提出了一种基于学习的算法，其基本原理是首先利用学习算法学习低 分辨率图像和高分辨率图像之间的关系，然后在利用所学习的这种关系，从输入 的低分辨率图像中重构出一幅高分辨率图像。本文主要讨论基于学习的超分辨率 图像重构方法。1.2研究现状超分辨率重构算法的基本概念最早由Harris和Goodman在20世纪60年代提 出，但其在实践应用中并没有取得理想的结果。直到20世纪80年代初Tsai和 Huang6首次从没有降晰、存在平移的几幅降采样低分辨率(Low-resolut

23、ion，LR)帧中 超分辨重构了单幅高分辨率(High-reSlutin，HR)图像，并给出了基于频域逼近的图 像重构算法。随后很多人对图像的超分辨率重构算法进行了研究，对各类图像包 括自然图像和遥感图像等进行重构等，并相继提出了各种重构算法7。其中比较主 要的算法有：Keren等人8提出的迭代反向投影方法(Iterate Back Projection, IBP)，其通过估 计LR图像和观测LR图像之间的差值进行迭代反投影，从而获得HR图像的估计 值。Irani等人9也提出了类似理论。随后Zomet等人1为下采样矩阵，负责将高分 辨率图像均勻下采样为低分辨率图像；开为模糊矩阵，负责对高分辨率

24、图像进行 降晰模糊；f为形变算子，负责对高分辨率图像的任意几何变形；w为产生的随 机噪声。对式(2-1)进行简化，令M = 2X7则式(2-1)可以变形为：Y = MX+N(2-2)其中r为输入的低分辨率图像，尤为求解的高分辨率图像，a/表示低分辨率图像r 和高分辨率图像X之间的退化模型矩阵，AT为随机噪声。求解高分辨率图像义的 过程，就是求解式(2-2)的过程。从式(2-2)可以看出，只要知道低分辨率图像Y以及退化模型M,我们就可以 通过对退化模型进行求“逆”运算，从而求得原图像X。然而在实际的计算过程 中，退化模型M往往是高度奇异的，这使得超分辨率的重构成为一个病态反问题, 其解的稳定性、

25、收敛性、可靠性得不到保证24。解决反问题的一个内在困难是如 何对前向模型求反而又不放大噪声对测量数据的影响。在线性模型中，这一困难 源于模型矩阵M的条件数很大甚至有可能是无穷大。所以，解决反问题就是要求 退化模型M的反效应。通常M矩阵是病态的，而问题的病态说明该问题的解不满 足Hadamard条件即：若一个问题为良态，其解满足3个条件，即对任何数据存在 解、解唯一和解具有连续性25。因此，我们推测可能是以下原因使得超分辨率重构问题是一个病态问题：首 先由于图像获取过程中噪声太大，观测图像与原始图像严重不一致，无法估计出 原始图像即无解；其次对一个观测图像序列，存在多个解；最后在图像获取过程 中

26、噪声给观测图像增加了不确定性(如图像高频部分任意小的噪声扰动都可能导致 重构过程中突发性的、大的信号改变)，不能满足解的连续性要求。基于以上原因， 实际应用中的超分辨率重构问题都是病态反问题，并且对于这样的问题，往往需要利用先验知识对解设定某些约束将其转化为可解的良态问题，然后通过最优化 理论估计最优解。2.2超分辨率图像重构步骤大多数的超分辨率图像重构方法都是由三个步骤组成的：图像配准、插值和 消除模糊与噪声l2U71。如图2.2所示：图2.2超分辨率重构的基本步骤其中每一步骤的具体操作为：1. 图像的配准：在进行超分辨率算法实现之前，必须要对低分辨率图像序列 进行配准(运动补偿)。因此，对

27、不同传感器，图像配准的准确度对超分辨率图像融 合非常重要。图像配准就是不同时相、不同角度所获得的两幅或多幅图像进行最 佳匹配的处理过程。通俗地来说，就是找出两帧或多帧图像之间的相对位移、相 对转角、缩放因子等相对位置参数。图像配准需要分析各分量图像上的几何畸变， 然后采用一种几何变换将图像归到统一的坐标系统中。图像配准一般做法是，首 先在参考图像上选取以某一目标点为中心的图像子块，并称它为图像配准的目标 窗口，然后让目标窗口与待配准图上有秩序地移动，每当移到一个位置，把目标 窗口与待配准图的对应部分进行相关比较，直到找到配准位置为止；2. 图像插值：在超分辨率重构过程中，插值(包括采样点阵转换

28、)就是把运动 补偿后的低分辨率像素点映射到一个矩形采样高分辨率网格上。应用于超分辨率 重构的插值技术多数是从单帧插值技术发展而来的。单帧插值技术的研究范围很 广，但这类方法受到单帧图像数据量的限制，不能得到关于未知高分辨率图像和 低分辨率观察图像间映射的唯一解。解决单帧插值过程的病态性问题通常采用正 则化和Markov随机场等先验约束，但这些方法只能产生边缘模糊的图像。可以把 多帧图像技术引入到图像插值中，即利用一个时间相关帧序列上的附加数据来提 髙分辨率，这一过程实际上就是超分辨率图像重构的本质；3. 图像重构：图像重构的过程主要就是恢复丢失的高频信息和去除噪声的过 程。而去模糊与噪声主要是

29、指消除传蹲器模糊、帧内运动模糊、光学模糊以及图 像采样过程中引入的加性噪声。传感器模糊是由传感器区域的积分作用引起的(传 感器的尺寸是有一定限度的，不可能无限小)；光学模糊是由光学元件的焦点失调 引起的；帧内运动模糊是由孔径时间内的场景目标运动引起的。根据成像过程中 的模糊传递函数(点扩展函数)来消除图像退化是图像复原的任务，所以超分辨率图第二章超分辨率图像重构模型像重构仍然保留了图像复原的一些特点，而且这些模糊函数的特性通常是空域和 时域可变的。在成像过程中，噪声的来源比较多，其分布特性也比较复杂(即噪声 的分布也是空域和时域可变的)，要掌握准确的噪声分布函数是非常困难的，在实 验仿真过程中

30、通常采用一个理想化的模型进行近似，如加性零均值高斯白噪声。2.3传统超分辨率图像重构方法传统的超分辨率重构算法主要分为频域算法和空域算法。早期的研究工作主 要集中在频域进行，但随着考虑更广义的退化模型，后期的研究工作主要集中在 空域进行。因此，此处主要介绍空域的几种典型的算法。频域方法最早由Tsai和Huang等人4提出，主要是在频域内解决图像插值问 题，他们提出了基于连续或离散傅立叶变换的平移和混叠特性的方法来从一组欠 采样而因此产生混叠的图像来恢复单幅带限图像。平移和混叠被用来描述系统方 程，该方程将观测图像混叠的离散Fourier系数跟HR图像的连续Fourier变换采样 相联系。我们求

31、解该方程系统以获得原始场景的频域系数，而后通过Fourier反变 换以恢复原始场景。方程系统的公式化需要观测图像之间的有亚像素准确度和精 度的平移运动知识。在这种的方法中，假设运动是全局的平移运动。事实上，空 间域的全局平移运动在频域表现为相位位移，也正是这一特性使得频域方法有效。 因此，更为一般的运动模型，尤其是空间变化模型在频域中没有相似特性，因此 无法处理。总体而言，基于频域的方法理论简单，计算量也比较低，但是它有两点不足, 其一是不能加入有关高分辨率图像的先验信息，其二是其所能处理的运动模型局 限为全局平移运动。由于这两点，限制了频域方法的更一般应用。考虑到频域方 法的缺点，后期的模型

32、主要都是基于空间域的，其主要是在空域中对低分辨率图 像序列的前向模型进行定义和求解。基于空域的方法根据恢复方式的不同又可以 分为非均勻的插值方法、迭代后向投影方法、基于集合理论的重构方法、随机重 构方法以及基于各种正则的确定性重构方法等。2.3.1非均匀插值算法该方法首先将所有的LR观测图像几何映射到一幅固定的参考帧上，得到一幅 空间非均匀采样的合成图像，而后，再将这些非均匀采样点插值并重新采样到规 则分布的HR栅格上，从而得到一幅高分辨率图像241。非均匀插值方法的优势是它具有相对较低的计算负荷，并能进行实时应用。 但是，在此方法中，退化模型是受限制的，它们只适用于模糊和噪声特性对全部低分辨

33、率图像都一样的情况。另外，由于复原步骤忽视了插值阶段中产生的误差, 所以不能保证整个重构算法的最优性.2.3.2迭代反投影法迭代反向投影法(IBP)最初由Keren等人8提出，其基本原理是不断通过实际 LR图像7和观察LR图像F之间的残差的反投影，来不断迭代修正HR图像X直 到误差达到最小，得到最终的HR图像1具体的原理如下：首先考虑观测模型式(2-2),如果不考虑噪声的影响，其可以简化为：Y = MX(2-3)假设初始的LR图像为K,则通过式(2-3)获得初始的HR图像为不。IBP过程就是 首先通过HR图像不投影得到;，然后计算;K和之间的残差。通过不断对残差 进行反投影，加到HR图像不上，

34、得到修正的HR图像X。其中反投影矩阵 为M逆矩阵的逼近矩阵。如此不断重复反投影的过程，对HR图像进行修正，直 到达到指导的误差要求。具体的迭代公式为：(2-4)Xn+l=Xn +MBP(Y-Yn)= Xn+MBP(Y-MXn)其中为第次迭代，实际操作中通过最后的重构误差来控制最终的迭代次数.IBP方法的优点是原理简单，实现效率较高，并且不限于特定的运动特性。缺 点是在实际应用过程中，反投影矩阵的选择不易确定，它的选择直接影响了算法 的解；其次在算法的迭代过程中投影误差较依赖于低分辨率图像的观察模型；IBP 对于问题中的病态性没有进行相应的标准化处理，造成迭代过程不一定收敛。2.3.3最大后验概

35、率法和最大似然估计法最大后验概率法最初由Schultz等人11提出，从概率论的观点来看，超分辨率 重构问题可以看成是一个概率统计问题。因为图像超分辨率重构问题是一个病态 问题，对病态问题的求解必须施加一定的先验附加条件和限制。而贝叶斯(Bayes) 方法因为本质上就包含着以先验概率密度函数为先验限制，所以能够取得较好的 重构结果。首先考虑(2-2) r = Mf+AT,最大后验概率算法(MAP)的基本原理就是通过计 算后验概率丨的最大值来寻找I的估计值。具体公式为：Zw=argmax?|y(2-5)由Bayes理论可知，和不相关，对(2-5)取对数得到：义厦=arg max, log 尸,丨 Z+log P Z(2-6)其中logP&IXj为对数似然函数，为Z的先验概率密度，通常是利用MRF 图像模型。另外由于r = MT+W，似然函数由噪声的概率密度函数(PDF)确定，即最大似然估计法(ML)可以看成