人脸识别中基于流形学习的特征提取方法研究.doc

1、硕士学位论文目 录摘 要IABSTRACTII插图索引IV附表索引V第1章绪论11.1 人脸识别背景和意义11.2 人脸识别的研究现状11.3 人脸识别的研究内容21.4人脸特征提取的主要方法31.4.1 线性子空间方法31.4.2 非线性子空间方法51.5本文主要工作81.6本文内容安排8第2章流形学习102.1引言102.2等距映射102.3局部线性嵌入122.4拉普拉斯特征映射132.5流形学习方法的比较152.6小结16第3章核正交邻域保持判别嵌入算法173.1引言173.2核方法173.3核正交邻域保持判别嵌入183.3.1 邻域保持判别嵌入193.3.2 Schur正交邻域保持判别

2、嵌入203.3.3 核正交邻域保持判别嵌入213.3.4 核正交邻域保持判别嵌入算法描述223.4人脸识别实验223.5小结25第4章基于最大散度差的半监督判别分析264.1引言264.2 相关算法264.2.1边界Fisher分析264.2.2无监督鉴别投影274.3基于散度差的半监督判别分析284.3.1半监督判别分析284.3.2最大散度差半监督判别分析294.3.3散度差与瑞利商之间的关系304.3.4最大散度差的半监督判别分析算法描述304.4人脸识别实验314.4.1 ORL人脸数据库的实验314.4.2 YALE人脸数据库的实验324.4.3 实验分析334.5小结33第5章自适

3、应邻域选择的张量边界FISHER分析345.1引言345.2张量边界Fisher分析345.3自适应邻域选择的TMFA365.4人脸识别实验395.4.1 PIE人脸数据库的实验395.4.2 FERET人脸数据库的实验405.4.3实验分析415.5 三种算法的比较415.6 小结42总结与展望43研究总结43未来工作展望43参考文献45致 谢48附录A 攻读学位期间所发表的学术论文49V摘 要 人脸识别以其自然、直接、非接触、安全等优点发展为最具潜力的生物特征识别技术，它利用人脸面部特征中的有效信息进行个人身份识别。由于人脸识别在身份验证和识别场合具有巨大的应用价值，以及能促进模式识别等多

4、门学科的发展。因此，对人脸识别技术的研究具有重大的理论和实际意义。提取有效的鉴别特征是人脸识别的一个关键因素，它要求在保持人脸数据集原有的本质结构特性不变的同时进行数据维数约减。研究表明，人脸嵌入在高维空间的低维非线性子流形上，因此使得流形学习得到了广泛关注。流形学习作为一种非线性的维数约减方法，能够有效地学习出高度非线性、属性强相关的高维流形数据的内在几何结构。由于样本点外问题使得经典算法很难直接应用于人脸识别中，因此学者通过研究提出了众多改进算法，取得了较好的应用效果。本文在对基于流形学习的特征提取方法进行深入研究的基础上，主要做了以下工作：1.在邻域保持判别嵌入的基础上，将核映射的思想进

5、行引入其中，并在特征值求解时以Schur正交方式找出最优投影向量，提出了核正交邻域保持判别嵌入算法，克服了邻域保持判别嵌入难以提取非线性特征的困难，很好地保持了人脸流形的几何结构和判别结构信息。2.监督算法和无监督算法都不能充分利用有限的训练样本。因此，本文将无监督判别分析和边界Fisher分析进行结合，改进为半监督算法。其中，利用无监督判别分析来对大量无标签样本进行学习，而利用边界Fisher分析对少量有标签样本进行学习。同时，采用最大散度差准则作为目标函数，避免了散度矩阵奇异值的产生，通过理论分析和实验验证了该方法的可行性和有效性。3.张量边界Fisher分析直接采用图像进行维数约减，避免

6、了传统的方法将图像展开为一维向量的形式，更有效地保持了人脸结构信息。然而在构建最近邻图时，TMFA采用全局统一的k邻域法来选择近邻点的，对于非均匀流形的处理比较困难。本文在研究以上算法的基础上，采用测地距离与欧氏距离的关系来动态的选择训练样本近邻点，使得更有效地选取适合每个样本的局部线性或近似线性区域。关键词：人脸识别；特征提取；流形学习；核空间；半监督；张量AbstractFace recognition, characterizing by its naturalness, directness, non-contact, securit, etc., has developed to b

7、e a most potential biometric identification technology. The effective information of the facial features is utilized for personal identification. Face recognition has tremendous using value in authentication and identify occasions, and can promote the development of pattern recognition and many othe

8、r subjects. Therefore, the study of face recognition technology is great theoretical and practical significance.Extract effective discriminant features is a key factor in face recognition, which requires reduction of the data dimensionat and keep the face data set of the original nature of structura

9、l characteristics unchanging at the same time. Results suggest that face embedded in low-dimensional nonlinear submanifold of the higher dimensional space, thence making the manifold learning has been widespread concern. As non-linear dimension reduction methods, manifold learning can effectively le

10、arn the intrinsic geometry of the high-dimensional manifold data structure closely related to high nonlinearity and properties. Since the sample points make classical algorithms difficult to be directly applied to face recognition, so several improved algorithm has been propsosed and good applicatio

11、n effect has been achieved. In this paper, based on the deeply inveatigation of feature extraction method based on manifold learning, the main contents and innovations are listed as follows:Firstly, on the basis of Neighborhood Preserving Discriminant Embedded (NPDE), introducing the idea of Kernel

12、mapping, finding the optimal projection vector using Schur orthogonal way while solving the eigenvalue, proposing the Kernel Orthogonal Neighborhood Preserving Discriminant Embedding (KONPDE), overcoming the problem that NPDE is hard to extract nonlinear characteristics, well maintaining the informa

13、tion of geometry and the discriminant of structural information of the face manifold.Secondly, supervision algorithm and unsupervised algorithm can not make full use of limited training samples. Therefore, the Unsupervised Discrimination Projection (UDP) and Marginal Fisher Analysis (MFA) are combin

14、ed to improve to be semi-supervised algorithm. There among, a large number of label-free samples are studied using UDP, a small number of label samples are investigated using the MFA. At the same time, choose the maximum scatter difference criterion as the objective function to avoid the divergence

15、matrix singular value, verify the feasibility and effectiveness of the method through theoretical and experimental alanalysis. Finally, the Tensor Marginal Fisher Analysis (TMFA) use image dimensionality reduction to avoid that the traditional method expands the image in the form of a one-dimensiona

16、l vector, which is effectively keep the face structure information. However, when building a nearest neighbor diagram, TMFA employ the global unified k-neighborhood method to select a close neighbor of the point, which is more difficult for non-uniform flow shape processing. On the basis of the abov

17、e algorithm in the research, the method that adopting the relationship between the euclidean distance and the geodesic distance to select training samples nearest neighbor points dynamically is proposed, which makes it more effective to select local linear or nearly linear region for each sample.Key

18、 words: Face Recognition; Feature Extraction; Manifold Learning; Kernel Methods; Semi-supervised; Tensor插图索引图1.1人脸识别系统2图1.2 子空间分析方法发展过程3图1.3 PCA和LDA最佳投影方向比较5图1.4 将非线性可分的数据映射到高维的线性可分的特征空间6图2.1 ISOMAP映射示意图11图2.2 LLE算法过程12图2.3 Gaussian数据集在LLE上的低维嵌入13图2.4 Toroidal Helix数据集在LE上的低维嵌入15图3.1 ORL人脸库图像示例23图3.

19、2 YALE人脸库图像示例23图3.3 ORL人脸库上3种方法的性能比较23图3.4 NPDE和KONPDE散点图24图4.1 MFA的固有图和惩罚图（）26图4.2 ORL人脸库的5Train的识别32图4.3 YALE人脸库的5Train的识别率33图5.1 邻域大小与流形结构的关系37图5.2 欧氏距离与测地距离比例同流形弯曲的关系37图5.3 PIE人脸库样本图像39图5.4 PIE人脸库的5Train的识别率39图5.5 FERET人脸库样本图像40图5.6 FERET人脸库的2Train的识别率40附表索引表3.1 ORL人脸库上的识别结果比较24表3.2 YALE人脸库上的识别结

20、果比较24表4.1 ORL人脸库上的识别结果比较31表4.2 YALE人脸库上的识别结果比较32表5.1 PIE人脸库上的识别结果比较40表5.2 FERET人脸库上的识别结果比较41表5.3提出算法的性能比较42硕士学位论文第1章绪论1.1 人脸识别背景和意义随着信息化、网络化的极速推进，信息交换者彼此身份的认证与确认在信息交换前和处理过程中显得极为重要。传统的身份鉴别方法主要依赖于两种途径：主体所拥有的身份标识物品，主要包括证件、钥匙、磁卡等；主体所知道的身份标识知识，主要包括用户名、密码、提示问题答案等。前者容易丢失、被伪造，后者容易被盗用、被遗忘，因而给人们的工作和生活带来了诸多不便和

21、潜在的安全隐患，如2011年CSDN网站公布用户名和密码被盗一事，相继许多网站也敦促用户修改密码。而基于生物特征识别技术避免了传统的身份识别技术的诸多缺点，并具有自身的高可靠性、高稳定性，越来越受到研究者的重视。人脸识别1作为生物特征识别的一种，与其他生物特征识别方法（如指纹、虹膜、掌纹等）相比，具有如下几个优点：识别操作具有很强的隐蔽性，不易被被测个体察觉，在解决重要安全问题、罪犯监控与网上抓捕逃犯等事件中特别适用，可有效防止安全监控过程中被伪装欺骗；非接触式操作，使用方便，使用者无需刻意配合，不会引起被检测者的反感，从而不会对使用者产生心理负担，易被大众接受；对硬件要求不高，同时数码相机、

22、数码摄像头等硬件的普及，为人脸识别提供保障；通过人脸表情识别，能得到其它生物识别技术很难获取的情感信息。因此，人脸识别技术在众多生物识别技术中占有重要地位，为身份识别提供了一个很好的解决方案。由于以上优点，人脸识别技术具有十分广泛的应用前景。在国家安全和公共安全方面，其应用有门禁系统、视频监控、出入境检查、公安布控等；在经济和民事方面，各类银行卡、储蓄卡、信用卡、保险卡的持卡人的身份验证；在计算机应用方面，自动系统登录，家庭娱乐等人机交互功能。人脸识别技术是打击犯罪分子的重要工具，特别是在“911”事件以后，已成为目前安全防范和国际反恐最有力的手段之一。另外，人脸识别是图像模式分析、理解和分类

23、的一个典型，它涉及到图像处理、模式识别、计算机视觉、人工智能、人机交互、多媒体技术和神经网络等学科，具有重要的学科理论价值。1.2 人脸识别的研究现状 人脸识别的研究始于上世纪60至70年代，在过去的几十年里，人脸识别技术取得了长足的发展。国际上有很多知名的专门研究人脸识别的研究组，如美国卡耐基梅隆大学（CMU）的机器人研究所、美国麻省理工学院（MIT）的由Pentland领导的研究小组、芬兰的欧陆大学机器视觉组、法国的人脸和姿态识别研究小组、美国的马里兰大学（UMD）的自动化研究中心等。每年在学术会议和国际权威杂志中都有许多与人脸识别相关的研究成果发表。学术会议方面，如计算机视觉与模式识别会

24、议（CVPR）、国际计算机视觉会议（ICCV）、欧洲计算机视觉会议（ECCV）等都设有人脸识别专题。国际权威杂志，如模式识别（PR）、模式分析与机器智能（PAMI）、计算机视觉（IJCV）等经常刊登人脸识别的文章。这些会议和期刊可以及时准确地反映有关人脸识别的最新理论研究和应用成果。美国商用人脸识别系统FaceIt是人脸识别实际应用系统的典型代表，并在连续举办的FRVT2000、FRVT2002和FRVT2006三届商业测评中取得了很好的成绩。国内在人脸识别领域做了卓越贡献的研究组主要包括：中科院自动化所李子青研究员领导的研究组，卢汉青和马颂德研究员领导的研究组；中科院和哈工大高文教授领导的研

25、究组；清华大学丁晓青教授领导的研究组，苏光大教授领导的研究组；西安交通大学郑南宁教授领导的研究组；南京理工大学杨静宇教授领导的研究组；浙江大学吴朝晖教授的研究组以及微软亚洲研究院张洪江博士领导的研究组等。其中，由中科院自动化所的李子青研究员率领的团队研制的具有完全自主知识产权的人脸识别系统，成功地应用在2008年北京奥运会开闭幕式上，首次将人脸识别技术应用于奥运会，意味着我国的人脸识别技术已挤入国际领先技术的行列。1.3 人脸识别的研究内容在实际应用中，人脸识别是从输入的人脸图像中，提取待识别的人脸中所蕴含的身份特征，并与已有人脸库中的人脸图像进行对比，从而判断待识别人的身份。如图1.1所示，

26、一个完整的人脸识别系统是由人脸图像预处理、特征提取和分类器的设计组成。其中，人脸图像预处理包括人脸检测、人脸特征定位和规范化。人脸图像受表情、姿态、光照及成像距离等因素的影响，一直是人脸识别的一种挑战，还有许多问题没有得到解决。图1.1人脸识别系统人脸检测是从图片或者视频中得到待识别人的面部区域，并在此区域内定位双眼的位置。人眼定位是为了后续的规范化处理。人脸图像规范化采用人眼作为标准的理由是双眼距离一般不会受表情和脸部细节变化的影响。其规范化过程为，首先固定双眼位置，并旋转人脸图像使得两眼的连线保持水平，然后切割为固定大小的人脸图像，最后将图像的像素值进行归一化处理，可消除部分光照的影响。人

27、脸图像特征提取是人脸识别系统的关键环节。在计算机中，人脸灰度图像是以二维灰度值矩阵的形式存储的，用什么样的知识来描述人脸是一个特别重要的问题。由于人脸的非刚性，同时受到光照、姿态、表情、遮挡、眼镜、胡须等干扰因素的影响，使得同一个人在不同条件下的差异性甚至比不同人在相同条件下的差异性要大，所以给人脸的特征描述带来了很大的困难。人脸图像特征提取以期达到两个目的：一是寻求最具鉴别性的描述特征，使得其特征能够最大限度地区分此类与彼类；二是将模式的数据特征进行维数约简。因此，对于人脸识别来说，特征提取是个十分关键的部分。 人脸图像分类是根据特征提取的结果，选取合适的分类器与库中人脸图像的特征进行对比，

28、进而判断该人脸所属的身份信息。1.4人脸特征提取的主要方法 由于人脸特征的表征方法或图像间相似度计算方法的不同，我们可将人脸识别常用方法大致分为基于几何特征的方法、基于机器学习的方法、基于子空间分析的方法、基于弹性模型的方法以及基于三维形变模型的方法等。早期的人脸识别研究主要集中于基于几何特征的方法2的研究，是将人脸部位和它们之间结构的几何关系作为人脸的几何特征。基于机器学习的方法是利用统计分析和机器学习的理论从样本中学习出人脸的特征或类别，主要分为神经网络3、支持向量机4和AdaBoost算法5。基于弹性模型的方法6考虑了局部人脸的细节特征，保留了人脸的空间分布信息，以可变形匹配方式取得较好

29、的识别效果，但是计算量大。基于三维形变模型的方法7较好地处理光照和姿态问题，但是计算过于复杂，技术还不成熟，很难直接在实际中应用。在这些人脸特征提取的方法中，子空间分析方法已成为主流方法之一。 子空间分析方法8的思想就是依据一定的性能目标来寻找一个线性或非线性的空间变换，把原始数据从高维空间映射到一个低维子空间中，使原始空间中稀疏的数据在子空间中的分布更为紧凑，更好地描述数据，同时降低了计算的复杂度。经过学者多年的研究，涌现出了众多人脸子空间分析的方法，图1.2显示了子空间方法的发展过程。可以看出，子空间分析方法主要可分为线性和非线性子空间方法。下面具体介绍子空间分析的方法。1.4.1 线性子

30、空间方法 线性子空间方法是嵌入在高维输入空间中的数据结构呈现线性时，在高维空间中寻找一个合适的低维子空间，以期得到一个比原数据集更紧致的低维表示。线性子空间方法中最有代表性的是主成分分析法（Principal Component Analysis，PCA）、线性判别分析法（Linear Discriminant Analysis，LDA）、独立成分分析法（Independent Component Analysis，ICA）。（1）主成分分析法主成分分析法（PCA）是一种在多元统计中分析数据的方法。其思想是通过线性变换保留高维数据空间中的主要成分，舍弃含信息量较少的次要成分，以达到降维的目的。

31、Turk和Pentlad9最早将PCA应用于人脸识别。他们发现把K-L变换得到的特征向量还原为图像矩阵时，是标准化的人脸图像，从而揭示了采用K-L展开表示人脸的本质，因此形象的称之为特征脸（Eigenface）。由于PCA要将人脸图像矩阵转换为行或者列向量，因而所产生的向量空间维数过高，使得计算的复杂度增高。针对此问题，Yang Jian10等人提出了二维主成分分析（2DPCA）方法，该方法以图像矩阵为分析对象，在构建图 图1.2 子空间分析方法发展过程像的协方差矩阵时，直接将原始人脸图像矩阵作为输入，从而很大程度上降低了计算的复杂度。Scholkopf11等人将核技术应用到PCA中并提出核主

32、成分分析（KPCA）方法，通过核函数将原始输入数据映射到更高维的空间，然后在此空间中使用PCA降维。PCA本质上是以所有样本的最优重建为目的，在高维数据线性可分的前提下，很好地保持了原始图像数据的全局欧氏结构。由于人脸数据受到光照、姿态和表情等的影响，其数据呈非线性，另外PCA没有考虑类间差异信息，因此所得的特征对分类来说不是最优的。（2）线性判别分析法线性判别分析（LDA）是模式识别中用于特征提取的经典统计方法，其基本思想是寻找使得Fisher准则函数达到极值的向量作为一个最佳投影方向，将最大化原始数据的类间离散度与类内离散度之比作为目标函数，从而使得投影后原始数据中的同类的数据聚集在一起，

33、而异类的数据尽量散开。图1.3是两类二维空间中的样本经PCA和LDA投影到一维空间的示意图，与PCA相比较，LDA提取的特征更加有利于分类识别。Belhumeur12等将PCA和LDA相结合的方法应用于人脸识别，称之为Fisher脸（Fisherfaces）方法。实验表明，同PCA相比，LDA能更好的反映不同人脸之间的差异信息，即增强类间差异性。然而类内散度矩阵通常是奇异的，也就是典型的小样本问题，无法直接求类内散度矩阵的逆矩阵。这是由于待测图像矢量的高维数，在现实问题中很难找到足够多的训练样本来确保类内散度矩阵的可逆性。Zhao13等人提出了扰动法，对类内散度矩阵的对角线元素加上一个很小的正

34、数来解决矩阵的奇异问题。Yu14等人提出了称为直接线性判别分析（Direct LDA）的方法，该方法有效去除类间离散度矩阵的零空间信息来降维。刘永俊15等人提出基于散度差的线性鉴别方法，将Fisher鉴别准则中的散度比改进为散度差，在保持物理意义不变的前提下，避免了计算类内散度矩阵的逆矩阵。图1.3 PCA和LDA最佳投影方向比较Fishfaces方法的特征向量体现了不同对象人脸的变化，但是对于同一个对象受光照、表情及姿态等各种因素的影响产生的类内变化没有进行考虑。另外，LDA要求不同类别在模式空间中不仅具有线性可分性，而且符合高斯分布。因此，对于非线性可分样本的分类识别，其识别效果具有局限性

35、。 （3）独立成分分析法独立成分分析（ICA）的基本思想是通过线性变换，从训练样本中获取一组相互独立的分量，用独立分量表示样本数据。PCA是二阶统计意义上去相关，而ICA是在高阶统计意义下去相关，使得信号的所有阶统计都得到了充分利用。ICA主要是应用在盲信号分离上。Bartlett16等首次用ICA方法来表示人脸，将人脸图像视为多个相互独立的基图像（即人脸的特征图像）的线性组合。由于人脸的很多重要信息隐含于图像像素的高阶统计关系中，而ICA方法能够更好地描述人脸图像的局部特征。ICA每次得到的独立分量在顺序上具有不确定性，因此设计一个统一的标准来选择最佳独立分量是比较困难的，一般依据经验选择，

36、这使得ICA的实验结果可能不尽相同。以上三种经典线性子空间方法是在人脸图像线性可分的前提下，来保持人脸图像样本的全局欧氏结构，很好地保持了原始人脸图像的信息。1.4.2 非线性子空间方法 由于人脸的高维数使得在高维空间中呈现非线性可分，上述线性方法对于高维数的数据很难挖掘其几何结构。针对这个问题，近年来学者们提出许多非线性子空间方法，而非线性的方法主要包括基于核的方法和基于流形学习的方法。（1）基于核的方法 由于人脸本质是非线性的，线性子空间方法不能有效的表征人脸特征，而非线性核方法很好地解决了这个问题。核方法的思想来自于支持向量机（SVM）4，是通过核函数将低维输入空间中的线性不可分数据映射

37、到高维隐特征空间F（即再生核Hilber空间）中，使得数据变得线性可分（近似线性可分），然后在这个空间中使用传统线性方法进行特征提取，如图1.4所示，数据经过升维后可分性增强。由于特征向量无需准确计算出来，仅需计算F中两个向量的内积，因此称F为隐空间。其中，内积的计算是通过选择合适的核函数来完成的，如多项式核函数、高斯核函数等。核方法不仅利用高维空间让数据变得易于处理，不可分的数据变得可分，而且避免了高维空间产生的“维数灾难”问题。图1.4 将非线性可分的数据映射到高维的线性可分的特征空间1998年，Schoelkopf11等人首次将核函数方法与PCA结合，提出了核主分量（KPCA）方法，有着

38、比PCA更好的识别效果，主要是由于KPCA能够提取非线性特征。文献17提出了核Fisher判别分析（KFDA）方法，该算法是将核方法的思想应用于Fisher判别分析方法中，来提取非线性判别特征。KFDA既能有效描述数据中复杂的非线性关系，又具有线性判别分析的特性，因此该方法能够在模式分类问题中取得更好的效果，在人脸识别中KFDA比KPCA更适合分类。基于核的非线性方法具有非线性处理能力强、抗干扰能力强、具有好的泛化能力等优点。但是，仍然存在一些缺点：几何意义不明确，通过核变换之后样本变成了什么是无法预先知道的；核函数中参数的选取没有一个统一的标准，通常是依据经验选取参数；不适合大训练样本的情况

39、，若训练样本数很大，极高的核样本向量维数导致计算的难题。（2）基于流形学习的方法 流形学习是一种近年来发展起来的非线性维数约简的方法，与线性维数约简的方法相比，主要区别在于局部性。认知心理学认为，认知流形和拓扑连续是人的认知过程的基础，而在人的感知活动中流形比数据的坐标发挥的作用更为显著。与传统的全局线性结构不同，流形是一种非欧氏几何空间。然而，在局部意义下能够得到近似的全局线性结构，进而采用流形学习方法来寻找其全局意义下的结构。假设数据集所在空间呈现为流形结构时，流形学习方法能够从高维样本数据中恢复出低维流形结构。换句话说，发现高维样本空间中的低维子流形，并得到对应的嵌入映射，就可以完成数据

40、的维数约简或可视化。研究表明，高维人脸图像分布在一个非常复杂的低维非线性子流形上，因此，出现了大量旨在发现嵌入在高维空间中有效的低维结构的流形学习算法。其代表算法为等距映射方法（Isomap）18、局部线性嵌入法（LLE）19、拉普拉斯特征映射法（Laplacian Eigenmaps）20等。他们的共性是首先寻找每个样本点的近邻点，然后依据保持局部结构信息来对原始输入样本进行维数约简。以上这些算法主要对训练数据集进行降维并可视化，侧重于对数据集的表示而非分类，如若有新的样本数据到达时，需重新学习。从而这些方法不能直接用在人脸识别中，主要是由于没有一个明晰的映射关系，无法直接提取新样本数据的特

41、征。另外，这些方法属于无监督的学习方法，不能充分利用样本的类别信息，从而很难有效地处理分类问题。针对以上的样本点外问题，加强对新样本数据的处理能力，非线性流形学习方法的线性化成为发展趋势。He21等人提出局部保持投影（Locally Preserving Projection，LPP）并将其应用于人脸识别。它是对LE算法的线性化，使得高维空间中离得近的点投影到低维空间仍然保持近邻关系，但是该算法可能使得高维空间中远离的样本点投影后成为近邻点。无监督鉴别投影（Unsupervised Discrimination Projection，UDP）22是对LPP的准则函数的改进算法，提出了非局部的构

42、想，其目标函数是最大化非局部散度和局部散度的比，从而通过其得到的投影矩阵有效地进行维数约简。同样，邻域保持嵌入算法（Neighborhood Preserving Embedding, NPE）23是对LLE算法的线性化算法，较好地保持了人脸图像数据的局部结构信息。对于分类来说，由于监督算法充分利用了样本的类别信息，其可分性要比无监督算法强。然而，传统的流形学习算法都是无监督的，它们着重发现数据本身的局部结构。因此，涌现出许多监督的流形学习算法，如MFA（Marginal Fisher Analysis）24、LSDA（Locality Sensitive Discrimination Ana

43、lysis）25等。同时，半监督学习26,27大多都是用来处理那些总样本数较多，它在监督样本的基础上使用无标签样本所提供的信息来进一步提升学习性能，如SDA （Semi-Supervised Discriminant Analysis）28、UDA（UDP-based Discriminant Analysis）29。此外，研究者在张量和核方法两个方向对流形学习算法进行了拓展。张量子空间分析（tensor subspace analysis，TSA）30是He等人在LPP的基础上提出的，将二阶张量概念引入到子空间方法中；文献31指出，在张量边界Fisher分析（Tensor Marginal

44、Fisher Analysis，TMFA）算法得到的子空间中，采用最近邻分类器，数据的分类精度要比MFA高。庞彦伟32等人提出了核邻域保持投影（Kernel Neighborhood Preserving Projection，KNPP），是在LLE的基础上结合核方法，通过引入线性变换矩阵来近似LLE，然后使用核技巧在高维空间中求解。可以看出，流形学习方法的线性化，以及线性流形学习方法的张量化、正交化及核化等方法争相出现，体现出流形学习的子空间方法强劲的发展趋势。同时，流形学习方法之间以及与传统的线性子空间相互借鉴和吸收，对流形学习的应用和推广起到了极大地促进作用。1.5本文主要工作本文针对传

45、统线性特征提取方法中存在的不能提取样本非线性特征、不能体现样本数据几何结构的不足以及经典流形学习算法中没有明晰的投影矩阵、存在的缺少类别信息、很难应用在人脸识别等问题进行改进，将已有的特征提取算法和流形学习相融合，并在邻域求解方面进行改进，将其应用于人脸识别中。以下是本文的主要工作：1.核正交邻域保持判别嵌入在人脸识别中的应用。NPE是LLE算法的线性化算法，同时是一种无监督算法。因此，对于人脸分类问题来说，提取的特征并不是最有效的鉴别信息。NPDE是将NPE和LDA算法有效的融合，所提出的一种监督算法。为了提取非线性人脸特征，本文将NPDE算法与核方法进行结合，并在特征值求解时以Schur正

46、交方式找出最优投影向量，从而更好地提取人脸非线性局部邻域结构特征。2.最大散度差的半监督判别分析算法。MFA算法利用了少量的有标记样本，而浪费了大量的无标记样本，同时，由于人脸高维数使得产生小样本问题。本文针对以上两点对其进行改进，MFA通过少量有类别标签样本进行降维的同时UDP对大量无标签样本进行学习，以半监督的方法对高维人脸数据进行维数约减。同时，将目标函数瑞利商改进为散度差的形式，避免对散度矩阵的求逆，从而解决了小样本所带来的问题。3.局部测地距离的张量边界Fisher分析。边界Fisher分析（MFA）消除了如LDA算法的高斯分布的前提假设。但是MFA同样是将人脸图像按照一维向量展开后

47、提取特征向量，破坏了人脸图像的结构信息。张量边界Fisher分析（TMFA）是基于图像来直接进行维数约简，在识别效率上有所提高。本文中采用自适应算法来动态的选择样本近邻点，更好的揭示了流形内在的几何结构，能够更精确地选择位于流形上数据点的同类和异类近邻点。然后采用TMFA来进行特征提取。1.6本文内容安排 本文主要内容分为六部分，各部分安排如下： 第一章，绪论。主要介绍了人脸识别的背景和意义、人脸识别的研究现状及研究内容；并且较全面地介绍了人脸识别中特征提取的各种方法；最后给出本文的主要工作。第二章，流形学习。本章详细讲述了三种主流非线性流形学习算法：等距映射，局部线性嵌入算法、Laplacian特征映射，分别从算法的思想、基本原理、算法流程，以及优缺点等方面进行讨论，最后对这些算法进行比较，为后续章节的展开打下基础。第三章，核正交邻域保持判别嵌入。本章主要研究了如何将LLE线性化的算法NPE进行改进为有监督的算法并与核方法结合。第四章，基于最大散度差半监督判别分析算法。本章主要研究如何将MFA和UDP算法相结合改进为半监督算法，并通过散度差的方式来求取最优投影矩阵。第五章，自适应邻域选择的张量边界Fisher分析。在张量边界Fisher分析的基础上，采用动态选择邻域算法，使得能够更精确地选择位于流形上数据点。最后，总结与展望。对本文进行系统的总结，