1、 摘 要本文先对当今数字电视的视频格式特点做了一个总结,以数字电视的视频格式变换为基础,引出了数字图像缩放这一很重要的技术。接着在数学上从生产实践上遇到的插值问题出发,对插值技术做了一个必要的介绍,指明了目前数学的常见的插值类型。为了对算法进行实现,性能与运算量做一个分析,引入了MATLAB这个功能强大的数学运算软件,对其功能、用途以及在数字图像处理上常用的函数做了介绍。数字图像缩放技术主要基于插值算法。本文在介绍插值算法时首先介绍了最近邻插值、双线性插值和双三次差值三种传统插值算法,并从数学形态上分析其插值核函数引起的计算量和处理效果的不同。在此基础上研究了当今比较流行的1种缩放算法。然后对
2、三种传统算法和1种改进算法编写MATLAB程序进行了数据实验,对四种改进算法分别进行必要的运算量与性能分析,并进行对比。最后,对文中所述插值算法做了总结。关键词:图像缩放,插值技术,分辨率变换,数字电视,图像处理ABSTRACTThis paper researches on image scaling technology in HDTV. Firstly, popular HDTV video formats and interpolation algorithms are summarized briefly. Then, MATLAB, a powerful mathematical
3、software, is introduced.Base on introduction of related technologies, three kinds of traditional interpolation algorithms and features of their kernel function are analyzed, including Nearest Neighbor Interpolation, Bilinear Interpolation and Bicubic Interpolation. After that, one popular image scal
4、ing algorithms are researched, and all mentioned algorithms are programmed on MATLAB. Performances of each algorithm are compared after data experiments on MATLAB. Finally, interpolation algorithms used in image scaling are summarized.KEY WORDS: image scaling, interpolation techniques, resolution tr
5、ansform,HDTV, digital image processing第1章 绪论 11.1什么是数字电视11.2数字电视的视频格式特点11.3研究意义和论文内容安排2第2章 数字图像缩放技术理论基础32.1 插值及其缩放技术综述32.1.1 图像插值的目的与应用32.1.2 图像缩放的目的与应用42.1.3 图像插值与缩放的关系42.1.4 图像插值方法综述42.2 数字图像(image)数字图像处理基本知识介绍72.2.1 什么是数字图像72.2.2 数字图像在计算机内的处理92.2.3 数字图像处理概述102.2.4 数字图像文件格式11第3章传统数字图像缩放技术133.1 数字图
6、像缩放技术概述133.2 传统的数字图像缩放技术143.2.1 最近邻插值143.2.2 双线性插值15第4章当今主流数字图像缩放技术的算法194.1 带系数自适应插值算法及其改进194.1.1 问题引出194.1.2 数学推导与算法实现19第5章缩放算法处理结果及比较235.1概述235.2传统图像缩放算法处理结果235.3 带系数自适应插值算法及其改进分析24总 结26致谢27参考文献2828第1章 绪论随着信息化时代的到来,数字化成为其中的主角,可以说信息化的实现是以信息化为前提的。从计算机,互联网,数码相机,到数字电视无一例外的在演绎着这场数字化风暴。尤其是数字电视,正在经历一场数字化
7、的革命。但不管是数字电视,还是计算机都在利用数字化的视频声音与图像等多媒体因素来冲击人们的感官神经。数字图像的处理便成了其中的不可或缺的技术,数字电视接收各种图像信号,包括标清信号,高清信号等,最终把这些不同分辨率的视频信号转化为同一种分辨率的视频信号进行播放。因此,数字图像分辨率放大和缩小技术是所有数字显示设备的关键技术之一。1.1 什么是数字电视数字电视,即HDTV, 全称High Definition Television,直译即为“高清晰度电视”,现一般简称“高清电视”。与当前采用模拟信号传输的传统电视系统不同,HDTV采用数字信号传输。由于HDTV从电视节目的采集、制作到电视节目的传
8、输以及用户终端的接收全部实现数字化,因此HDTV可以带给我们极高的清晰度,其分辨率最高可达19201080,帧速率高达60fps,视角也由原先的4:3变成了16:9,同时全面应用了数字技术,其信号抗噪能力也大大加强。1.2 数字电视的视频格式特点电视机的图像分辨率可以用它的固有分辨率来表示,固有分辨率是指电视机或其他显示设备无需采用行倍频、行内插或其他形式的分辨率变换手段而本身就能做到的图像分辨率。它通常用水平方向像素和垂直方向像素两者相乘来表示。例 如1027*768对于如等离子电视、液晶显示电视或数字光处理电视等一类固定像素的显示器来说固有分辨率与它们的实际像素排列结构相同。电视的画面清晰
9、度是以水平清晰度作为单位。通俗地说,我们可以把电视机上的画面以水平方向分割成很多很多扫描线,分得越细,这些画面就越清楚。而水平线数的扫描线数量也就越多。清晰度的单位是电视行(TV line)也称线意思是从水平方向上看相当于每行扫描线竖立起来,然后乘上)4:3 或者16:9的宽高比,构成水平方向的总线数。数字电视常见的视频格式有:1)1080i格式,是标准数字电视显示模式1125条水平扫描线1080条可见水平扫描线,16:9,分辨率为1920*1080隔行/60Hz,行频为33.75KHz。2)720P格式,是标准数字电视显示模式。750条水平扫描线,720条可见水平扫描线,16:9,分辨率为1
10、280*720逐行/60Hz,行频为45kHz。3)1080P格式,是标准数字电视显示模式,1125条水平扫描线,1080条可见水平扫描线,16:9分辨率为 1920*1080逐行扫描,专业格式。以上标准中i表示隔行P表示逐行TDTV标准是高品质视频信号标准包括1080i,720P,1080P。需要注意的是,对于电视机处理能力(例如带宽)的要求则是1080i720P。数字高清电视的720P,1080I和1080P是由美国电影电视工程师协会确定的高清标准格式。其中1080P被称为目前数字电视的顶级显示格式。这种格式的电视在逐行扫描下能够达到1920*1080的分辨率。目前世界上只有60英寸以上的
11、显示屏才能够显示出1920*1080的信号。 目前市场上出现的所谓1080P高清数字电视并不能真正给消费者带来1920*1080的图像。这些彩电只是能够接收和处理1920*1080格式的信号而已。1.3 研究意义和论文内容安排无论是何种视频格式的终端显示设备,其高清信号源都是同样的分辨率。而当今数字电视信号终端显示设备又是各种各样的,从普通的CRT,到高档的液晶,等离子,其显示方式和大小不尽相同,随着3G技术的逐渐成熟,越来越多的手机可以接收数字电视信号,在小小的屏幕上显示。这些都需要终端设备具备数字图像的分辨率变换功能,因此数字图像缩放技术显得越来越重要,本文正是从这个背景出发,来对传统的以
12、及当今主流的缩放技术做了一个系统研究。第一章总结了数字电视的视频格式特点;第二章介绍了图像缩放的数学基础;第三章和第四章是论文主要内容详尽介绍传统插值于主流插值算法并进行算法实现;第五章对论文所研究算法做了性能与运算量的对比最后是对算法的技术展望。第2章 数字图像缩放理论基础2.1 插值及其缩放技术综述2.1.1 图像插值的目的与应用Lehmann 等1999 年在其文献中阐明,自从有了计算机图形学和图像处理,便有了图像插值。所谓图像插值就是一个图像数据再生的过程它由原始具有较低分辨率的图像数据再生出具有更高分辨率的图像数据。若根据一幅较低分辨率的图像转化成另一幅较高分辨率的图像, 这种插值可
13、看作“图像内的插值”(如应用于图像放大)。 若在若干幅图像之间再生出几幅新的图像,这种插值可看作“图像间的插值”(如应用于序列切片之间的插值)。图像插值的直接后果是原来由较少的像素所刻划的图像(因而是粗糙的图像)变成了由较多的像素所刻划的图像(因而是精细的图像)。图像插值是图像处理中的图像重采样过程的重要组成部分,而重采样过程广泛用于改善图像质量、进行有损压缩等等,因而图像插值在医学图像处理中占据着特殊位置。如医学图像处理中,序列切片图像是重建三维解剖结构的研究对象, 但由于切片之间的间距通常大于切片上像素之间的间距,因而不具有各向同性(isotropic),所以难以将序列切片直接用于三维重建
14、。Grevera 等在1996 年指出,产生医学图像插值的原因大致有 在产生图像数据时,无法给出各种应用场合所需的分辨率; 图像的分辨率受提供数据的设备的限制; 不允许花费大量的时间去采集具有很高分辨率的数据; 图像数据量受存储设备容量的限制; 有些采集数据的方法受辐射剂量的限制。Lehmann 等在1999 年指出,插值在医学图像处理中主要用于 CCD(charge coupled device)照片中屏幕高宽比(aspect retio)的校正; MRI 等切片图像的旋转; X 线图像的透视投影(perspective projection)。2.1.2 图像缩放的目的与应用图像放大和缩小
15、(简称缩放或放缩)是图像处理的另一基本操作。所谓图像缩放是指改变图像的分辨率(image resolution)MBU01。图像的这种处理手法在图像显示、传输(通讯)、图像分析以及动画制作、电影合成等方面有着相当广的应用。在医学图像处理中, 图像缩放还用于 切片间的图像插值(reslicing); 用于诊断环节的器官细节定位; 多尺度处理时的图像金字塔表示。2.1.3 图像插值与缩放的关系图像缩放常常借助于图像插值来实现。 但,通常图像缩放指的是一幅图像的重采样;而插值还指序列切片(或多幅图像)间的采样点加密。 因此,图像插值、图像缩放与图像重采样是互为依存的图像处理技术。2.1.4 图像插值
16、方法综述将插值广义地分为两类基于场景(scene-based)的图像插值和基于对象(object-based)的图像插值。前者用已有的切片体素数据直接决定被插值体素数据,而后者则从已有的像素中获取对象信息来决定被插值体素数据,完成插值。1、常见的基于场景(scene-based)的插值方法有1)最近领域法 该方法为最简单、最快速、但最粗糙的插值方法, 它以欧氏距离最近的已知体素值作为待插值体素值。2)灰度级线性插值将未知像素颜色值用相邻切片上对应位置的两已知像素颜色值线性组合表示。假设图像在vk-1 及vk+1 处的颜色值为f(vk-1)和 f(vk+1), 则图像在未知的vk 处的颜色值可由
17、下式近似计算其中而此处的模表示欧氏距离。上式常用于两相邻切片间的插值。3) 二维线性插值(双线性插值)这是对最近领域法的一种改进, 即待插点处的颜色值用离待插点最近的四个点的颜色值加权求得。4) 三次多项式根据连续信号采样定理, 若对采样值用插值函数则可准确恢复原函数, 当然也就可以准确得到采样点间的任意点的值。三次插值法将C(x)近似为三次多项式, 利用待插点周围的16 个点的颜色值加权求得待插点处的颜色值。其它多项式形式的插值还有三次样条插值、改进的三次样条插值、双三次样条插值、三次B-样条插值等。如三次样条插值是将作为节点, 构造三次样条插值插值多项式f(v), 求得f(vk)。这种方法
18、常用于序列切片间的插值。2、常见的基于对象(object-based)的插值方法有1) 二进制形式的基于形状的插值该方法分以下几步(1) 对二值图像施行距离变换, 将每一像素赋以其到物体边界的带符号距离, 得到距离图(distance map);(2) 插值此距离图到所需的分辨率, 得到目的图像的距离图;(3) 将目的图像的距离图逆变换成二值形式的目的图像2) 灰度形式的基于形状的插值该方法分以下几步(1) 将相邻两已知切片转化成三维二值图像;转化的方法用“提升”(lifting)操作, 即在每一像素处拉出一个三维坐标, 其坐标值为该像素的颜色值;(2) 将距离变换应用到这两幅二值图像,即将每
19、一像素赋以其到边界的距离;(3) 插值这两幅距离图像得到未知切片的距离图像, 其中插值方法通常用线性插值;(4) 将未知切片的距离图像转化为未知切片的三维二值图像;(5) 将上述三维二值图像“崩塌”(collapse)成二维灰度图像。3) Goshtasby 方法Goshtasby 等提出了先找对应点, 再进行线性插值的方法。这是切片间的插值方法,在每次插值时仅利用一对相邻切片的像素信息。Goshtasby 将这两片称作参考图像(reference image)和目标图像(target image),并将具有大梯度值的像素称作特征点(feature point)。算法将位于参考图像和目标图像上
20、的特征点建立对应关系,这种对应关系允许参考图像上的一个特征点可以和目标图像上n 个特征点建立对应(n 为非负整数)。 然后, 按每一组对应点建立线性插值, 求得未知切片上的相应像素的颜色值;而对于梯度较小的像素应用常规的灰度形式的线性插值, 求得未知切片上其它像素的颜色值。4) 其它的基于对象的插值方法将序列切片先予以配准,再进行线性插值, 算法自动根据两片之间的组织信息进行两幅图像上像素之间的对应( 包括误配的检测及校正)。Higgins 等1996 年提出了基于非线性过滤(nonlinear filtering)的序列切片灰度插值方法, 比传统的插值算法(如最近邻域法、线性、三次卷积及基于
21、样条的插值算法)更好地保持了区域边界。Tam 等1998 年将二维图像每一像素的颜色值看成第三维坐标, 建立一种称为联合球(union of spheres)的三维模型,再根据任两幅切片图像的联合球产生任一新切片的联合球, 从而反求出此新切片。这种方法较好地解决了数值不稳定性问题即许多处理技术所体现的算法依赖于输入数据的情况,也无需用户过多干预TF98。2000年,Chatzis 等引入了形态学骨架(morphological skeleton。)方法,这是一种有效的基于形状的插值方法,Lee 等利用形态学的膨胀与腐蚀算法进行切片间的插值。2001 年,Ballester 等在BBC01中研究
22、了将图像插值归结为二阶偏微分方程的变分问题的求解方法。所有以上方法均可用作图像间插值。关于图像内的插值,除了前述的常规插值方法(如线性插值)外,还有以下一些技术。1993 年,Mahmoodi 等给出了自适应的插值算法,对于文本区域使用5 阶插值多项式,对于图形区域利用三次样条多项式,具有较好的处理效果。Gao 等1997 年将一幅二维图像看成是对某二维连续函数(称作图像场)的采样结果。将图像场(image field)看成能量场,则插值问题转化成确定任一点处的势能, 最后归结为沿等势能线的插值。该算法同时可用于图像放大。1999 年,Plaziac 利用神经网路的BP(back propag
23、ation)模型,通过自学习,改善图像插值的质量。2.2数字图像(image)数字图像处理基本知识介绍2.2.1 什么是数字图像所谓数字图像就是把传统图像的画面分割成如图2.1所示的被成为像素(picture element, 简称pixel。有时候也用pel这一简写词)的小的离散点,各像素的灰度值也是用离散值即整数值来表示的。数字图像(digital imagine)和传统的图像即模拟图像(picture)是有差别的。图2.1 数字图像为了从一般的照片,景物等模拟图像中得到数字图像,需要对传统的模拟图像进行采样与量化两种操作(二者统称为数字化)5。1 采样采样(sampling)就是把在时间
24、上和空间上连续的图像变成离散点(采样点,即像素)的集合的一种操作。图像基本上是在二维平面上连续分布的信息形式要把它输入到计算机中,首先要把二维信号变成一维信号,因此要进行扫描(scanning)。最常用的扫描方法是在二维平面上按一定间隔顺序地从上方顺序地沿水平方向的直线(扫描线)扫描,从而取出浓淡值(灰度值)的线扫描(Laster扫描)。对于由此得到的一维信号,通过求出每一特定间隔的值,可以得到离散的信号。对于运动图像除进行水平,垂直两个方向的扫描以外,还有进行时间轴上的扫描。通过采样,如设横向的像素数为M,纵向的像素数为N,则画面的大小可以表示为“M*N”个像素。2 量化经过采样,图像被分解
25、成在时间上和空间上离散分布的像素,但是像素的值(灰度值)还是连续值。像素的值,是指白色-灰色-黑色的浓淡值,有时候也指光的强度(亮度)值或灰度值。把这些连续的浓淡值或灰度值变为离散的值(整数值)的操作就是量化。如果把这些连续变化的值(灰度值)量化为8bit,则灰度值被分成0-2552的256个级别,分别对应于各个灰度值的浓淡程度,叫做灰度等级或灰度标度。 在0-255的值对应于白-黑的时候,有以0为白,255为黑的方法,也有以0为黑,255为白0的方法,这取决于图像的输入方法以及用什么样的观点对图像进行处理等,这是在编程时应特别注意的问题。但在只有黑白二值的二值图像的情形,一般设0为白,1为黑
26、。 对连续的灰度值赋予量化级的,即灰度值方法有:均匀量化(uniform quantization),线性量化(liner quantization),对数量化,MAX量化,锥形量化(tapered quantization)等。3. 采样、量化和图像细节的关系上面的数字化过程,需要确定数值N和灰度级的级数K。在数字图像处理中,一般都取成2的整数幂,即: (2.3) (2.4)一幅数字图像在计算机中所占的二进制存储位数b为: (2.5)例如,灰度级为256级(m=8)的512512的一幅数字图像,需要大约210万个存储位。随着N和m的增加,计算机所需要的存储量也随之迅速增加。由于数字图像是连续
27、图像的近似,从图像数字化的过程可以看到。这种近似的程度主要取决于采样样本的大小和数量(N值)以及量化的级数K(或m值)。N和K的值越大,图像越清晰。2.2.2 数字图像在计算机内的处理设一幅图像f(x,y),我们若对它作等间隔的采样,在x,y方向上都取N个采样点,总共为NN个图像点。每一像素f (i, 1=0,1,2, N-1)就是点的灰度值。形成离散化了的坐标和灰度值可以用一个矩阵来表示,其行和列的交点标出图像的每个像素,该数字图像矩阵可表示为图2.2图2.2 数字图像矩阵在计算机中对数字图像进行处理时,实质上就是在对量化后的矩阵进行处理。从原理上将,传统的彩色图像分析是基于RGB色彩空间的
28、,但是RGB空间是颜色显示空间,并不适合人的视觉特性,对目标物体的颜色模式描述复杂,各个分量之间冗余信息多,计算量大,而HSV空间通过对RGB颜色进行变换,能体现人眼辨别颜色特点。在HSV空间,图像特征明显,易于进行边缘检测,分割和目标识别处理。颜色可用明度、色调和饱和度来描述,人眼看到的任一颜色都是这三个特性的综合效果。明度是光作用于人眼时所引起的明亮程度的感觉,它与被观察物体的发光强度有关,由于其强度不同,看起来可能亮一些或暗一些。色调是当人眼看到一种或多种波长的光时所产生的彩色感觉,不同的波长产生不同的颜色感觉,如红、橙、黄、绿、青、蓝、紫等。色调是彩色的最重要的属性,是彩色光在“质”方
29、面的特征。如某物体在白光下呈现绿色,是因为它仅反射了绿色光分量。饱和度是指颜色的纯度,即掺入白色光的程度,饱和度的高低决定于彩色光中混入的白色光数量,白色光愈少,饱和度越高。饱和度是彩色光在“量”的方面的特征。人眼大概能识别128种不同的色调和130种不同的色泽(色饱和度级)。2.2.3 数字图像处理概述数字图像处理的英文名称是”Digital Image Processing”。通常所说的数字处理是指用计算进行的处理,因此也称计算机图像处理(Computer Image Processing)。总的来说,数字图像处理包括以下几项内容:(1)点运算点运算主要是针对图像的象素进行加、减、乘、除等
30、运算。图像的点运算可以有效的改善图像的直方图分布,这对提高图像的分辨率以及图像的均衡都是非常有益的。(2)几何处理几何处理主要包括图像的坐标变换、图像的移动、缩小、放大、旋转、多个图像的配准以及图像的扭曲校正等。几何处理是最常见的图像处理手段,几乎任何图像处理软件都提供了最基本的图像缩放功能。(3)图像增强图像增强的作用最主要是突出图像中最重要的信息,同时减弱或除去不重要的信息。常用的方法有直方图增强和伪彩色增强等。(4)图像复原图像复原的主要目的是去除干扰和模糊,从而恢复图像的本来面目。例如去除噪声复原处理。(5)图像形态学处理图像形态学是数学形态学的延伸,是一门独立的研究学科。利用图像形态
31、学技术,可以实现图像的腐蚀、细化和分割等效果。(6)图像编码图像编码研究属于信息论中信源编码的范畴,其主要宗旨是利用图像信息的统计特性及人类的视觉特性对图像进行高效编码,从而达到压缩图像的目的。(7)图像重建图像重建是一门新兴的数字图像处理技术,主要是利用采集的数据来重建出图像。其主要算法有代数法、迭代法、傅立叶反投影法和使用最广泛的卷积反投影法等。(8)模式识别模式识别也是数字图像处理的一个新的研究方向。当今的模式识别方法通常有三种:统计识别法、句法结构模式识别法和模糊识别法。本文所讨论的数字图像缩放技术主要是图像分辨率的变换,属于数字图像的几何处理的范畴。2.2.4 数字图像文件格式1 计
32、算机图像常用文件格式1) PCX(Windows Paintbrush)格式。可处理1,4,8,16,24位等图像数据。文件内容包括:文件头(128字节),图像数据扩展调色板数据。2) BMP(Windows Bitmap)格式。有1,4,8,24位非压缩图像,8位RLE(Run-length Encoded )图像。文件内容包括:文件头(一个BITMAP FILEHEADER数据结构),位图信息数据块(位图信息头BITMAP INFOHEADER和一个颜色表)和图像数据。3) HDF(Hierarchical Data Format)格式。有8位,24位光栅数据集。4) JPEG(Joint
33、 Photographic Experts Group)格式,是一种成为联合图像专家组的图像压缩格式。5) TIFF(Tagged Image File Format)格式。处理1,4,8,24位非压缩图像,1,4,8,24位packbit压缩图像,一位CCITT压缩图像等。文件内容包括:文件头,参数指针表与参数域,参数数据表和图象数据四部分。6) XWD(X Windows Dump)格式。1,8位Zpixmaps,XYbitmaps,1位XYpixmaps。7) TGA格式。处理1,4,8,16,24位非压缩图像和行程编码(RLE)图像。文件由5个固定长度字段和3个可变长度字段组成。2 M
34、ATLAB图像处理工具箱支持的四种基本图像类型:1) 索引图像索引图像包括图像矩阵与颜色图数组,其中,颜色图是按图像中颜色值进行排序后的数组。对于每个像素,图像矩阵包含一个值,这个值就是颜色图中的索引。颜色图为m*3双精度值矩阵,各行分别指定红绿蓝(RGB)单色值。Colormap=R,G, B,R,G,B为值域为0,1的实数值。图像矩阵与颜色图的关系依赖于图像矩阵是双精度型还是uint8(无符号8位整型)类型。如果图像矩阵为双精度类型,第一点的值对应于颜色图的第一行,第二点对应于颜色图的第二行,依次类推。如果图像矩阵是uint8,有一个偏移量,第0点值对应于颜色图的第一行,第一点对应于第二行
35、,依次类推;uint8长用于图形文件格式,它支持256色。2) 灰度图像在MATLAB中,灰度图像是保存在一个矩阵中的,矩阵中的每一个元素代表一个像素点。矩阵可以是双精度类型,其值域为0,1;也可以为uint8类型,其数据范围为0,255。矩阵的每个元素代表不同的亮度或灰度级。第3章 传统数字图像缩放技术3.1 数字图像缩放技术概述图像处理技术是伴随着人类文明的发展而逐渐形成的一门学科。考古学者李继生在1996 年、Castleman 于1996年、崔屹在1997年、雷祥麟在2001年等等,在各自相关的文献中指出,人类获取外部世界的信息80来源于视觉,图像的出现和发展已有数千年历史。最早的图像
36、是中国的象形文字和绘画;1665年虎克(Robert Hooke)在其出版的显微镜图(Micrographia)一书中,揭示了细胞的存在,图像这种表示形式为医学的进步做出了重大贡献。20世纪30年代出现的电视,对新闻传播和文化娱乐起了很大作用。之后,随着图像数据大量涌现,逐渐形成了“图像处理”学科.图像处理是指对图像进行某种目的的修正。 如旧照片的修复、小图片的放大,等。广义上讲,图像处理分作图像的模拟处理(如早期照相店的手工修改照片)和图像的数字处理; 后者通常称作数字图像处理,或计算机图像处理, 或简称为图像处理Cas96。 Castleman1996 年将数字图像处理归纳为“随着计算机技
37、术的兴起而产生的借助于计算机的图像处理技术”。 数字图像处理的主要工作是将图像信号转换成数字格式并利用计算机对其进行处理与分析。崔屹1997年在其有关文献中指出,最早的图像处理是上世纪二十年代,纽约与伦敦间通过海底电缆传输的数字化新闻图片,它使跨大西洋传送一幅图片的时间从一个多星期减少到少于三个小时。上世纪五十年代中期,在美国太空探索计划的推动下,美国喷气推进实验室(Jet ropulsion Laboratory)为了处理“徘徊者7 号”太空船送回的四千多张月球照片,应用了计算机图像处理技术, 获得了空前清晰的效果。上世纪七十年代开始,随着以计算机和计算技术为核心的信息科学的发展,图像处理和
38、分析技术得到蓬勃的发展与应用。特别是上世纪九十年代开始,计算机多媒体技术的发展对图像处理产生了巨大的促进和推动作用。近年来, 信息技术的蓬勃发展,降低了图像处理所需的硬件成本,数字图像技术已经从工业领域、实验室走向商业领域、艺术领域及办公室,甚至走向了人们的日常生活,数字图像处理技术将愈来愈发挥重要作用。3.2 传统的数字图像缩放技术由于图像像素的灰度值是离散的,因此一般的处理方法是对原来在整数点坐标上的像素值进行插值生成连续的曲线(面),然后在插值曲线(面)上重新采样以获得放大或缩小图像像素的灰度值。以一维空间像素的灰度插值为例,图3.1所示的是将原图的5个像素缩小为4个像素的过程:先根据这
39、五个像素的灰度值采用选定的插值算法生成插值曲线,再对该曲线进行重采样得到缩小后的四个像素,从而实现图像的缩放。下面简要介绍目前常用的三种插值采样方法。图3.1图像缩放中的插值和重采样3.2.1 最近邻插值(Nearest Neighbor Interpolation)1近邻插值数学概述插值核函数为:其频域变换为:其核函数及对应的傅立叶变换频谱图如图3.2为:图 3.2 近邻插值核函数及其傅立叶变换频谱图2实现方法将目的图像的某个坐标通过计算得到一个浮点坐标,对其进行简单的取整处理就得到一个对应原照片图像的整数坐标,目的照片图像坐标的像素值。具体算法为:设处理的目的图像的坐标为,图像的缩放比例为
40、m ,则对应原图像的浮点坐标为( x/ m , y/ m) ,对该坐标取整得到对应原照片图像的整数坐标,目的照片图像在该坐标的像素值。显然该方法就是取该浮点坐标最邻近的左上角对应的像素值。3 算法评价对于二维图像。该法是“取待采样点周围4个相邻像素点中距离最近的1个邻点的灰度值作为该点的灰度值”。此算法虽然计算简单,但由于仅用对该采样点影响最大的(即最近的)像素的灰度值作为该点的值,而没有考虑其他相邻像素的影响(相关性),因此重新采样后的图像灰度值有明显的不连续性,像质损失较大。3.2.2 双线性插值(Bilinear Interpolation)1线性插值数学概述插值核函数:其频域变换为:其
41、核函数及对应的傅立叶变换频谱图如图3.3所示:图 3.3双线性插值核函数及其傅立叶变换频谱图2实现方法双线性内插法通过线性插值的方式来得到目的图像的像素值。我们通过近邻取样法知道,对于一个的像素,其坐标通过反向变换可得到一个浮点坐标,我们可令其为( i + u, j + v) ,其中 i 和j 均为负整数, u 和v 为0,1区间的浮点数,则这个目的像素的值可由原图像中坐标为( i , j) , ( i+1,j) , (i ,j +1) , (i +1,j +1)所对应的值的线性插值来决定,即= (1 - u) (1 - v) f ( i ,j) + (1 - u) vf ( i , j +1
42、) + u(1 - v) f ( i +1, j) + uvf ( i +1,j +1)。其示意图如图3.4所示:图 3.4双线性插值算法实现示意图3算法评价与最邻近法相比。双线性内插法由于考虑了待采样点周围四个直接邻点对待采样点的影响,因此基本克服了前者灰度不连续的缺点,但其代价是计算量有所增大。但进一步看,由于此方法仅考虑四个直接邻点灰度值的影响,而未考虑到各邻点间灰度值变化率的影响,因此具有低通滤波器的性质,使缩放后图像的高频分量受到损失,图像的轮廓变得较模糊。用此方法缩放后的图像与原图像相比,仍然存在由于计算模型考虑不周而产生的图像质量退化与精度降低的问题。3.2.3 双三次插值(Bi
43、cubic Interpolation)1次插值的数学概述插值核函数:其频域变换为:其核函数及对应的傅立叶变换频谱图如图3.5所示:图 3.5双三次插值插值核函数及其傅立叶变换频谱图2实现方法对双线性内插法的改进,即不仅考虑到四个直接邻点灰度值的影响,还考虑到各邻点间灰度值变化率的影响,立方卷积法利用了待采样点周围更大邻域内像素的灰度值作三次插值(4*4=16个像素点)。利用上述插值核函数提供的公式进行插值。计算时取周围的16个像素点,其示意图如图3.6所示:图 3.6 双三次插值算法实现示意图该像素的灰度值f(x,y)为: 式中各矩阵含义如下:3.算法评价双线性内插法相比,立方卷积法不仅考虑
44、了直接邻点的灰度值对待采样点的影响,还考虑了邻点间灰度值变化率的影响,因此后者所求得的待采样点灰度值更接近原(采样)值。此方法用进一步增大计算量来换取待采样点精度的进一步提高,因此并不是最佳的插值算法。第4章 当今主流数字图像缩放技术的算法4.1带系数自适应插值算法及其改进4.1.1问题引入在传统的图像插值算法中,双线性插值与最邻近法相比,由于考虑了待采样点周围四个直接邻点对待采样点的影响,因此基本克服了前者灰度不连续的缺点,但其代价是计算量有所增大。但进一步看,由于此方法仅考虑四个直接邻点灰度值的影响,而未考虑到各邻点间灰度值变化率的影响,因此具有低通滤波器的性质,使缩放后图像的高频分量受到
45、损失,图像的轮廓变得较模糊。用此方法缩放后的图像与原图像相比,仍然存在由于计算模型考虑不周而产生的图像质量退化与精度降低的问题。作为对双线性内插法的改进,即“不仅考虑到四个直接邻点灰度值的影响 ,还考虑到各邻点间灰度值变化率的影响”,立方卷积法利用了待采样点周围更大邻域内像素的灰度值作三次插值。因此单从图象处理质量上考虑,双三次插值是优于其他两种基本算法的,我们还可以从三次放插值的算法实现上仔细做数学上的推导变可以得出一个规律,从而实现基本算法的最佳插值方法。4.1.2数学推导和算法实现1数学推导双三次插值算法的插值核函数为: (4.7)插值后的像素灰度计算公式为: (4.8)上式中:我们分析
46、式(4.7)和式(4.8)可以发现: (4.9)令,则,。若令k=0,则式(3.8)的立方卷积法就退化为双线性内插法。因此, 可以把用 三次多项式插 值的立方卷积法看成 由两部分组成。其中代表直接邻点的灰度值对待采样点的影响,而k则代表邻点间灰度值的变化率对待采样点的影响。与双线性内插法相比,立方卷积法不仅考虑了直接邻点的灰度值对待采样点的影响,还考虑了邻点间灰度值变化率的影响,因此后者所求得的待采样 点灰度值更接近原(采样)值。此方法用进一步增大计算量来换取待采样点精度的进一步提高,但这种方法中的两个部分(即与k)的搭配是否最佳,值得进一步研究。2. 算法实现从图(4.3)可以看出在求待采样点的插值时,最近邻点法只考虑直接邻点中距离最近点的影响,其权值为1;双线性内插法考虑了所有直接邻点的影响,各点权值由距待采样点的距离决定,距离近的权值大,距离远的权值小;而立方卷积法不仅考虑了所有直接邻点的影响,还考虑了所有间接邻点的影响,各点权值也由距待采样点的距离决定。通过分析上述几种插值算法可以看到,直接邻点对待采样点的影响是最大的,也是最主要的。同时从对立方卷积法的分析中可以看到,间接邻点通过影响直接邻点 的灰度值而影响待采样点的灰度值,这一关系反映在邻点间灰度值的变化率上,因此也是最
版权声明:以上文章中所选用的图片及文字来源于网络以及用户投稿,由于未联系到知识产权人或未发现有关知识产权的登记,如有知识产权人并不愿意我们使用,如有侵权请立即联系:2622162128@qq.com ,我们立即下架或删除。
Copyright© 2022-2024 www.wodocx.com ,All Rights Reserved |陕ICP备19002583号-1
陕公网安备 61072602000132号 违法和不良信息举报:0916-4228922