2005年第8期肖 冰等:人脸识别研究综述 1
人脸识别研究综述
肖 冰, 王映辉
*
(陕西师范大学计算机科学学院, 陕西西安710062)
摘 要:人脸识别是一种重要的身份鉴别技术, 具有广泛的应用前景。给出了人脸识别发展历程中的技术特
点; 根据人脸检测定位、面部特征提取和人脸确认识别三个关键的人脸识别过程, 阐述了目前已成熟的核心技术和方法以及这些技术和方法的优缺点; 展望了人脸识别未来的研究趋势。关键词:人脸识别; 特征; 身份认证; 生物特征
中图法分类号:TP311. 13 文献标识码:A 文章编号:1001-3695(2005) 08-0001-05
Survey ofH u m an Face Recogn ition
X I AO B i ng , W ANG Y ing -hu i
(S chool of Computer Sci ence , ShanxiNor m a lU nivers it y , X i ’an Shanxi 710062, Ch i na )
Abstract :Face recogn iti on is an i m portant t echnique of identification . It w ill be appli ed ext ensivel y . Characteristics of face recognizi ng t echn i que i n the devel op m ent of face recogn ition are briefly revie w ed . Pi votalm et hod and t echnol ogi es are expoun -ded , and m erits and de m erits of t hesem et hods are ind icated , accord i ng to t hree mai n steps of face recogniti on :face detecti on and l ocalization , facial feat ure extracti on and face verificati on and i dentification . V ista of f u t ure research in face recogn iti on technology is distilled .
Key words :Face Recognition ; Feature ; Iden tification ; B i ometrics
然是21世纪富有挑战性的课题。
1 引言
人脸识别技术就是通过计算机提取人脸的特征, 并根据这些特征进行身份验证的一种技术。人脸与人体的其他生物特征(指纹、虹膜等) 一样与生俱来, 它们所具有的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提; 同其他生物特征识别技术相比, 人脸识别技术具有操作简单、结果直观、隐蔽性好的优越性。因此, 人脸识别在信息安全、刑事侦破、出入口控制等领域具有广泛的应用前景。
人脸识别技术从最初对背景单一的正面灰度图像的识别, 经过对多姿态(正面、侧面等) 人脸的识别研究, 发展到能够动态实现人脸识别, 目前正在向三维人脸识别的方向发展。在此过程中, 人脸识别技术涉及的图像逐渐复杂, 识别效果不断地得到提高。虽然人脸识别研究已积累了宝贵的丰富经验, 但目前的识别技术仍然不能对诸如复杂背景中的人脸等进行有效的处理和自动跟踪。同时, 与其他学科不同的是:人脸识别技术融合了数字图像处理、计算机图形学、模式识别、计算机视觉、人工神经网络和生物特征技术等多个学科的理论和方法, 需要研究人员具有完善的知识体系和丰富的经验。另外, 人脸自身及所处环境的复杂性, 如表情、姿态、图像的环境光照强度等条件的变化以及人脸上的遮挡物(眼镜、胡须) 等, 都会使人脸识别方法的鲁棒性受到很大的影响。因此, 人脸识别技术仍收稿日期:2004-12-30; 修返日期:2005-02-25
基金项目:国家“863”计划资助项目(2003AA 118105); 陕西省自然科学基金资助项目(2003F35); 陕西师范大学校级重点基步
人脸识别技术主要通过三个步骤完成, 即人脸检测定位、面部特征提取和人脸对比确认识别。本文主要对基于二维图像的人脸识别方法进行了综述, 分类介绍了目前已成熟的关键方法和技术, 并在此基础上提出了人脸识别的研究方向。
2 人脸识别研究的发展历程
[1, 2]
20世纪60年代末至70年代初, 人脸识别研究刚刚起
。最早的研究者是B ledsoe [3], 他建立了一个半自动的人
脸识别系统, 主要是以人脸特征点的间距、比率等参数为特征。早期的人脸识别方法有两大特点:①大多数识别方法是基于部件的[4, 5], 它们利用人脸的几何特征进行识别, 提取的信息是人脸主要器官特征信息及其之间的几何关系。这类方法比较简单, 但是很容易丢失人脸的有用信息, 从而在视角、表情等变化的情况下识别能力差。鉴于这种情况, 后来出现了性能较优的模板匹配方法[5], 即根据图像库中的人脸模板与待识别人脸模板在灰度上的相似程度来实现人脸识别, 这类方法在一定时期内占据主流。②人脸识别研究主要是在较强约束条件下的人脸图像识别。假设图像背景单一或无背景, 人脸位置已知或很容易获得, 因此对现实场景产生的图像处理效果不佳。
20世纪90年代以来, 随着计算机软硬件性能的迅速提高, 以及对人脸识别能力的高要求, 使发展更具鲁棒性的人脸识别方法成为时代的必然。于是基于整体的识别方法应运而生, 并且很快成了研究的重点, 如特征脸方法[6]和弹性图匹配方法[7]。基于整体的识别方法充分利用了人脸各个特征点之间的拓扑关系和各个器官自身的信息, 可以避免提取面部局部, 棒性有所是, 在
2 计算机应用研究 2005年
究领域出现了基于整体的方法和基于部件的方法齐头并进的局面。
90年代中期以来, 人脸识别方法向着整体识别和部件分析相结合的趋势发展。研究人员开始逐渐认识到人脸识别算法必须能够充分地利用人脸的各种特征信息, 融合人脸的形状拓扑结构特征、局部灰度特征和全局灰度分布特征等多种特征。因此, 出现了很多新的算法, 这些算法是将原先单一的算法结合起来, 共同完成人脸的识别。灰度和形状分离的可变形模型方法[8]就是其中之一。
90年代后期, 一些商业性的人脸识别系统开始逐渐进入市场, 人脸识别技术成为当今国际安全防范最重要的手段之一。但是, 这些技术和系统离实用化还有一定的距离, 性能和准确率有待提高。
2000年前后, 人脸识别方法的性能虽然有了一定的提高, 但仍与人们的要求还有一定的差距, 现有方法对光照、年龄、表情、姿态、距离等条件的变化比较敏感, 当某些条件发生变化时, 识别效果很不理想。目前, 人脸识别技术仍只能用于某些对识别准确率要求不高的场合。
图像, 检测效果不理想。因此, 鉴于单模板匹配的不足, 通过改进提出了基于多模板匹配的单人脸检测方法[9], 它的主要思想是:首先建立双眼模板和不同长宽比的人脸模板, 在进行人脸检测时, 先使用双眼模板找出双眼的位置, 再使用不同长宽比的人脸模板根据人脸的长宽比确定出人脸区域的位置和范围, 最后利用人脸器官的边缘特征进行确认。
基于器官或轮廓等分布特征的方法又可分为基于马赛克规则的算法[1]、基于对称变换的方法[10～13]等。它们都利用了人脸的器官或人脸轮廓的分布特征, 其中基于对称的方法还充分利用了人脸面部特征分布的对称性, 比马赛克方法进步了不少。马赛克方法将人脸分为若干低分辨率马赛克子块, 利用人脸各子块之间的相互关系进行人脸检测。最早的基于对称变换的方法是广义对称变换[10, 11], 它检测物体点对称性, 利用了人眼心点的强对称性和脸部关键特征的几何分布特性。这种方法具有很好的鲁棒性, 不易受光照、偏转角度、表情等条件变化的影响。但是由于广义对称变换描述的是各点的对称性, 因此导致了待选点较多, 数据量和计算量过大, 难以精确定位的缺点; 另外广义对称变换采用圆内邻域, 受到了小于邻域面积的假眼睛物体的影响。对广义对称变换方法改进发展形成了方向对称变换方法[12]和离散对称变换定位方法[13]。前者继承了广义对称变换的优点, 描述了人脸各主要部件的点对称性, 并在此基础上进行了一定的创新, 为对称性增加了一定的方向性, 利用不同方向上分布的对称性来描述物体的基本形状, 它比广义对称变换更加方便、快捷。后者的改进之处在于计算对称之前加入一个对图像灰度不均匀区域的检测步骤, 通过使用圆环邻域灰度均匀度算子对各点邻域进行检测, 将处于规则区域的点去除。其优点是计算量大大减少, 准确性得以提高。
基于肤色模型的方法将在运动图像的人脸检测定位中进行阐述。
(2) 统计方法。它将人脸区域看作一类样本, 通过对大量人脸图像进行学习训练, 根据人脸的灰度特征构造人脸模式与非人脸模式分类器, 使用分类器判别图像中所有可能区域属于人脸区域还是非人脸区域, 从而实现人脸检测。这类方法中最核心的一类方法是基于人工神经网络的方法[15～17], 它通过对样本的学习构造分类器, 并且对分类器进行训练, 最后利用分类器完成仿真分类。目前, 研究人员已经可以将神经网络与其他方法相结合来实现人脸检测[18]。例如, 将神经网络与肤色模型相结合, 由肤色模型先根据肤色判别出人脸候选区域, 再由神经网络方法确定人脸平面旋转角度, 最后将检测过程归结到正面人脸检测上, 从而实现人脸检测。其他基于统计模型的方法还有基于概率模型的方法[19～21]、基于支持向量机的方法[22～25]、基于特征空间的方法[26]。
基于概率模型的方法分为利用贝叶斯公式进行似然度求解问题[19]和隐马尔可夫模型(H i dden M arkov M ode ls , HMM ) [20, 21]。隐马尔可夫模型是用概率统计的方法来描述时变信号的过程, 它将待检测区域的每个子区域的K L 变换系数作为观察向量以获得HMM 的模型参数, 根据待检测区域的检测序列输出概率进行判断。
支持向量机(Support V ector M achine , SVM ) 的基本思想[24]是首先通过非线性变换将输入空间变换到一个高维空间求得最分类面, 3 人脸识别研究方法
从应用来看, 人脸识别可分为在无任何目标的情况下判断未知人脸的身份和针对某个或某些目标人脸来确定待识别人脸的身份。在无任何目标的情况下判断未知人脸的身份是将给定的人脸图像与已有图像库中存储的大量的人脸图像进行比较, 从而确定人物身份。针对某个或某些目标人脸来确定待识别人脸的身份主要应用在已知一个或几个人脸的情况下, 将待识别人脸与某人或某些人的多个角度的多幅图像进行比较, 以此判断是不是已知人脸中的某一个。
从人脸识别的过程来看, 可将人脸识别方法划分为人脸检测定位方法、面部特征提取方法以及人脸确认方法。为了叙述方便, 本文以此过程对各种方法进行分类和总结。3. 1 人脸检测定位
简而言之, 人脸检测定位是将图像分为非人脸区域和人脸区域两部分, 从中分割出人脸区域。由于待检测图像可以分为静止图像(场景和人体都是静止的图像) 和运动图像(主要指人体运动的图像), 因此, 人脸检测定位的方法研究也是从这两个方面进行的。
3. 1. 1 静止图像中的人脸检测定位
静止图像是指人体和背景都是静止的。静止图像中的人脸检测定位可以分为启发式方法和统计方法。
(1) 启发式方法。它又称为基于知识的方法, 基于先验知识或经验, 利用待检测人脸中的灰度、纹理、器官的形状或脸部轮廓、肤色等特征信息。对应于所利用的特征信息, 形成了基于模板的匹配方法[4, 9]、基于器官或轮廓分布特征的方法[1, 10～13]、基于肤色模型的方法[14]等。该方法受先验知识的影响较大。
基于模板匹配的方法是提前建立一个标准的人脸模板, 在检测和定位人脸时, 在图像灰度层次上直接将待检测人脸图像的模板与这个标准模板相比较, 求两者的相似程度。这种方法,
第8期肖 冰等:人脸识别研究综述 3
式与所得的最优线性分类面的距离, 实现对未知样本的分类, 这种算法的错误率最小。这是一种通用机器算法, 支持向量机求得的分类函数在形式上类似于神经网络, 但是它克服了神经网络方法容易陷入局部最小的缺点。最早将S VM 应用于人脸检测的是O suna [25]。
基于特征空间的方法是利用人脸在某个特定特征空间上的分布规律, 诸如M I T
[26]
空间中, θ在[0, π)间均匀地取M 个离散值, ρ的采样个数为Q 。标准霍夫变换可表示为H (ρq , θm ) =∑I (x i , y j ), 其中, ρq
i , j =0N -1
-
11
≤x i cos θy j sin θρ, m =0, 1, …, M -1; q =0, 1, …, m +m
Q -1。这种方法的主要目的是在二值图像中进行直线检测。
(3) 可变形模板, 又称作弹性模板, 分为两种, 即是由K ass 等人在1987年第一届计算机视觉国际会议上提出的活动轮廓模型[32]和基于模型的可变形模板[33]。这两类模板的实质都是在提取特征过程中对模板进行动态的调整。活动轮廓模型又称Snake 算子, 它是在图像域内定义可变形曲线, 用来与待检测人脸或某些器官的轮廓进行自适应匹配, 从而达到描述特定轮廓线的目的。Snake 的自然形状是通过对曲线能量函数的最小化来调整的, 当能量达到最小时, Snake 与特定对象的匹配程度最高。这种方法鲁棒性强, 能够动态地调整完成曲线能量函数的最小化, 具有一定的自适应性, 而且计算量比变换域方法的计算量小、速度快。但是, 这种方法要求所提取对象的初始曲线是正确的, 否则收敛过程很可能会发生错误。基于模型的可变形模板方法根据待检测人脸特征的先验信息定义形状模型, 模型中的参数反映的是特征的可变部分, 模型与图像的边缘、峰、谷和灰度分布特性进行动态的交互适应, 从而使参数得到修正, 参数变化必然引起模板的变形。模型调整过程中利用的是特征区域的全局信息, 可以较好地检测出相应的特征形状, 但是算法在很大程度上依赖于参数初值, 并且计算时间长。
3. 3 人脸确认识别
人脸确认识别技术就是根据前两步所得到的特征, 将待测人脸与库中人脸进行比较, 确认和识别待测人脸的身份。人脸确认与识别的方法基本上可以归结为四类, 即基于几何特征的方法、基于代数特征的方法、基于模板的方法和基于神经网络的方法。
(1) 基于几何特征的方法[34]是最早、最传统的方法。它是基于部件的方法, 通常需要与其他算法结合才能有比较好的效果。目前这类方法也有不少, 如根据几何特征曲率对人脸进行分类及识别[35], 基于面部几何特征点提取的人脸识别方法[36]等。
①由几何特征曲率对人脸进行分类及识别是根据轮廓线曲率分类的。首先根据人脸的轮廓线曲率线建立一个分类库, 然后在识别人脸时, 计算人脸的轮廓线曲率线与分类库中曲率线的相关函数, 将人脸进行分类。本方法对于质量较好的人脸图像有良好的分类和识别效果, 对某些或是质量较差的图像, 人脸轮廓线的提取效果不太理想。
②基于面部几何特征点提取的人脸识别方法。这种方法首先利用特征点构造出待识别人脸的特征向量, 这些特征向量具有位置、视点、大小等不变性, 然后将此特征向量与样本库中的人脸特征向量相比较, 计算两者的相似度以此来完成识别。
(2) 基于代数特征的方法主要有奇异值分解方法(SVD ) [37, 38]、特征脸方法[39]。奇异值特征是一种反映图像本质属性的代数特征。在某种程度上, 奇异值特征具有代数和几何上的双重稳定性, 还具有比例不变性、旋转不变性等重要性质的基于事例学习的方法等都可以分
割出人脸图像中的人脸区域。
统计方法与启发式方法不同, 不必检验特征是否符合人脸的先验知识。统计方法多依赖于人脸特征的数学特征, 启发式方法多依赖于物理特征和结构特征。对于机器而言, 准确地提取图像的物理特征和结构特征是很难实现的, 而提取数学特征却是轻而易举的。所以, 从实现的难易程度和准确度而言, 统计方法均优于启发式方法, 而且前者的发展潜力较大。3. 1. 2 运动图像中的人脸检测定位
本文中所述的运动图像是指图像中的人体是运动的, 背景可以是运动的或静止的, 也可以是部分运动和部分静止的。在这种情况下, 可以充分利用人脸的运动信息进行人脸检测定位。目前, 采用最多的方法是将差分法和肤色模型相结合的方法
[27, 28]
。这种方法的主要思想是:首先对运动前后的两帧图
像进行差分运算, 得到差分图像, 并去除了大量的静止背景信息, 保留了运动的人体部分; 接下来, 根据人脸各部位的肤色特征差异对差分图像建立肤色模型; 然后利用肤色模型检测出图像中的肤色像素, 这些肤色像素连通起来就构成了可能的人脸区域; 最后验证分割出的部分是否为人脸。
上述方法中, 当得到了人脸差分图像后, 对差分图像利用肤色特征进行人脸检测实际上已经转换为对静止图像进行的检测。因此, 基于肤色特征的人脸检测定位既可以用于人脸的动态追踪又可以用于人脸的静态检测。
值得一提的是, 肤色模型被广泛地应用于人脸的检测与定位过程中, 实践证明效果比较理想。例如基于K L 肤色的人脸定位方法
[29]
, 它将K L 变换应用到色系坐标系的转换中, 从而
得到一种新的基于肤色特征的人脸定位方法。但是当待测人脸的肤色不在给定的肤色范围内时, 仅使用肤色模型将无法检测到人脸。3. 2 面部特征提取
面部特征定位与提取是检测人脸上的某些或所有特征的位置、大小、轮廓线等信息的过程。实际上, 人脸检测定位过程中有时也会用到一部分面部特征, 而且面部特征也是人脸识别的重要依据之一。目前, 面部特征提取的实现过程最常见的是先求出双眼的中心位置, 然后进行人脸的归一化, 进而可以提取其他一些特征的信息。常用的方法有:灰度积分投影曲线分析
[30]
、Hough 变换方法
[31]
、可变形模板
[32, 33]
等。
(1) 灰度积分投影曲线分析是在对人脸图像进行了小波变换的基础上进行的, 对人脸图像进行水平灰度积分投影确定人脸各器官的基线, 然后对基线区域进行垂直积分投影可确定各器官的轮廓线。这种方法被广泛应用于利用小波的面部特征提取方法中。
(2) H ough 变换方法可应用在模式识别领域中, 它的定义为N (x y j I (i , y j )。
4 计算机应用研究 2005年
像的代数特征, 然后进行匹配识别。奇异值分解方法是在奇异值分解的基础上, 产生多种人脸识别的方法。例如基于图像集似然度的人脸识别
[40]
为隐含层的激励函数。这种网络的学习速率快、函数逼近、模式识别等能力均优于BP 神经网络, 并广泛应用于模式识别、图像处理等方面。但是这种网络比BP 网络所用的神经元数目要多得多, 使它的应用受到了一定的限制。基于人工神经网络识别方法的不足之处是要求训练样本比较充分才能得到较好的识别效果, 否则, 在光照改变、尺度改变以及小的形变等情况下都不能很好地识别。
, 首先用图像集中每个图像的奇异值向
量构造出一个新的矩阵———图像集特征矩阵, 计算待检测人脸集的特征矩阵与已知的各类人脸集的特征矩阵的似然度, 最终判断待检测人脸属于哪一类。
特征脸方法, 也就是主分量分析(PCA ) 方法。此处所说的特征脸方法是基于K L 变换的, 它是20世纪90年代初期由Turk 和Pentland 提出的, 是一种简单有效的方法。特征脸方法的基本思想是将图像经过KL 变换后由高维向量转换为低维向量, 并形成低维线性向量空间, 人脸投影到这个低维空间所得到的投影作为识别的特征矢量。所有子空间的正交基就是特征脸。特征脸方法的不足之处是受表情变化、光照角度强度变化和视角变化等严重影响, 鲁棒性较差。
传统的特征脸具有的种种不足之处促使研究人员在特征脸方法基础上发展了许多改进方案, 如将特征脸与线性判别函数[24]相结合的方法, 特征半脸方法[41]等。
线性判别函数的一般表达为g (X ) =W T X +W 0, 其中X 是d 维特征向量的样本, W 是权向量, W 0是阈值权。此判别函数是d 维特征空间中某个X 点到超平面的距离。线性判别分析方法选择以类内散布正交的矢量作为特征脸空间, 从而可以控制图像之间与识别无关的差异, 将特征脸与线性判别函数相结合的方法对光照及人脸表情变化都不太敏感。
特征半脸的方法是根据人脸的上半部分特征对于识别所起的作用要比下半部分特征大。人的表情发生变化时, 上半部分脸变化较小, 而下半部分脸变化较大这一特征来实现的。将人脸图像分成上下两部分, 并分别应用特征脸方法, 采用不同权值的以容忍一定程度的表情变化。
(3) 基于模板的方法最为典型的是基于弹性图匹配的方法[8]。弹性图匹配方法在二维空间中为人脸建立属性拓扑图, 图中边表示了人脸各器官之间的拓扑结构, 它对于人脸变形具有一定的容忍度, 图中的每个顶点表示一个特征向量, 用来记录人脸在该顶点附近的特征信息, 然后利用弹性匹配法将库中人脸和待识别人脸的弹性图进行匹配, 找到匹配程度最高的一个人脸图像。由于特征向量的定义方式多种多样, 弹性图匹配方法也是具有多样性的, 如基于G abo r 小波变换的弹性图匹配方法[42], 它利用G abor 函数定以特征向量, 得到的弹性图如图1所示[8], 它对人脸较小角度的旋转以及光照改变等都有较好的容忍性, 但是与特征脸识别方法相比识别速度较慢。
4 研究趋势
人脸识别技术发展很快, 并取得了丰硕的研究成果, 但是仍然还有许多问题, 如图像背景复杂, 存在很多类似人脸的部分。人脸是非刚性物体, 并且随着年龄的变化而变化, 特征难以完全描述; 人脸可能有很多遮挡物, 如胡须、眼镜、帽檐等; 环境的光照强度和观察人脸的角度发生变化; 全自动人脸识别技术发展缓慢等, 都成了人脸识别技术中亟待解决的问题。
(1) 适应于各种复杂背景的人脸分割技术研究。目前在复杂背景条件下的人脸分割研究取得了一定的进展, 诸如弹性匹配等方法的应用有一定效果, 但其检测速度和效果还不能令人满意, 如何在复杂背景图像中快速有效地检测和分割出人脸将成为研究的重点。
(2) 动态人脸识别研究。现有的静态人脸识别技术无法满足某些特殊场合的需要, 诸如海关监测等需要对视频中的人脸进行动态跟踪和识别, 而满足这种场合需求的动态人脸识别技术相对比较欠缺。因此, 开展动态人脸识别研究将有着特殊的应用价值和应用前景。
(3) 多数据融合的人脸识别研究。经过近四十年的研究, 人脸识别领域的研究成果已经硕果累累, 为深入研究提供了丰富的方法和经验。然而, 到目前为止, 任何一种方法都有其特定的应用条件和局限性, 不能完全适应于各种情形。因此, 将各种技术和方法进行有效的融合将是未来人脸识别技术发展的途径之一。
(4) 三维人脸识别研究。人脸识别技术发展到今天, 许多成果仍然是在二维人脸信息基础上取得的, 而真实世界中的人脸是三维的, 三维信息特别是三维图像较二维图像更能提供完整而真实的内容, 如何有效地利用人脸的三维信息进行识别, 将是一个具有挑战性的研究课题。
(5) 全自动人脸识别技术。全自动的人脸识别技术仍然处于初级研究阶段, 识别速度和效果距离人们的要求也相差甚远, 其主要原因在于人脸是非刚性体, 人脸特征无法得到准确完整的描述。所以, 深入研究人脸特征的有效表达将是全自动人脸识别的关键, 也是人脸识别技术的核心。
5 结论
本文概括了人脸识别技术发展的历程及发展现状, 从人脸检测定位、面部特征提取以及人脸确认识别三个方面, 归类和总结了所采用的方法和技术, 并指出了各自的优缺点。最后展
(4) 基于人工神经网络[43, 44]的方法应用比较广泛, 目前常用的人工神经网络方法是BP 神经网络、自组织神经网络、径向基函数神经网络。径向基函数神经网络[17]与BP 网络一样, 数作为, 望了人脸识别的研究趋势。
在实际的人脸识别过程中, 结合多种基本方法, 是目前人脸识别技术研究的显著特点之一。例如, 针对大多数识别方法,
第8期
间快速识别方法等。
肖 冰等:人脸识别研究综述
gence , 2003, 25(6) :725-740.
5
特征提取与处理是人脸识别中的关键, 无论是人脸检测定位、面部特征提取还是人脸确认识别, 每一步都需要大量可靠的人脸特征。特征是根据测量获得的, 而在测量空间中提供的图像信息不但维数高, 而且不稳定。因此, 在人脸图像处理过程中, 必须将高维测量空间中的信息转换为低维特征空间中的特征向量, 这也是近几年来人脸识别技术发展的另一特点之一。
与其他身份识别中所需信息相比, 人脸信息(如人脸图像) 更能以最自然、最直接的方式获取, 特别是在非接触环境和不惊动被检测人的情况下, 因此计算机人脸识别技术已成为最活跃的研究领域之一。随着真三维获取技术的发展, 人脸识别技术有望取得突破性的进展并得到广泛的应用。参考文献:
[1]
C hell appa R , et a l . H um an andM ach i ne Recogn ition ofFaces :A S ur -vey [J ]. P roceed i ngs of the IEEE , 1995, 83(5):705-740.
[2]周杰, 卢春雨, 等. 人脸自动识别方法综述[J ]. 电子学报, 2000, 28
(4) :102-106. [3][4]
B ledsoe W W. M an M achine Faci a l Recogniti on [R ]. Pal o A lt o , CA , TR :Rep PRI :22, 1966.
B runelli R , Poggi oT . Face Recogn iti on :Feat u res Vers u s Te m p l ates [J ]. IEEE T rans .
on Pattern Anal ysis and M ach i ne Intelli gence ,
1993, 15(10):1042-1052.
[5]张翠平, 苏光大. 人脸识别技术综述[J ]. 中国图像图形学报,
2000, 5(11):885-894.
[6]丁嵘, 苏光大, 林行刚. 特征脸和弹性匹配人脸识别算法的比较
[J ]. 计算机工程与应用, 2002, 38(7):1-2. [7]
Lanitis A , Tay l or C J , C ootes T F . Au to m ati c In t erp ret ation and C o -d i ng of Face I m ages U si ng F l exi b l e M odels [J ]. IEEE Trans . on PA -M I , 1997, 19(7):743-756. [8]
Lau renz , W is kott , Jean M arc Fe ll ou s , Norbert K ruger , et a l . Face Re -cogn iti on by E l astic G raph M atch i ng [J ]. IEEE T ransacti on s on Pat -t ern Anal ysis and M ach i ne Intelli gen ce , 1997, 19(7):775-779. [9]梁路宏, 艾海舟, 何克忠. 基于多模板匹配的单人脸检测[J ]. 中国
图像图形学报, 1999, 4(10) :825-830.
[10]D Reisfel d , Y Yes hu r un. Robu st Det ecti on of Facial Features by G e -neraliz ed Sy mmetry [C ]. C ha mpaign , 1992. 117-120.
[11]D Reisfel d , H W olfson , Y Yes hu r un. Context Free A tt entional Opera -t ors :t he G eneralized Sy mmetry T ran sf or m [J ]. In. t Jou rnals of Co m -puterV ision , 1995, 14(2):119-130.
[12]周杰, 卢春雨, 等. 基于方向对称变换的人脸定位方法[J ]. 电子
学报, 1999, 27(8) :12-15.
[13]LI U W en -yu , PAN Feng . App licati on ofD iscret e Symm etry Tran sf or m
i n Eyes I m age Feat u res Location [J ]. In frared M illi m . W aves , 2001, 20(5):375-380.
[14]LI ANG Lu -hong , A IH ai -z hou , et a l . A Survey of Hum an Face Det ec -ti on [J ]. C hines e J . C o m pu ters , 2002, 25(5):449-458.
[15]S H Li n. Face Recogniti on /Det ecti on by P robab ilistic Decisi on Based
Neu ralNet w or k [J ]. I EEE T rans . Neu ral Net w orks , 1997, 8(1):114-132.
[16]金忠, 胡钟山, 等. 基于BP 神经网络的人脸识别方法[J ]. Jou r n al
of Co m puter Res earch ＆Devel op m en t , 1999, 36(3) :274-277. [17]蒋宗礼. 人工神经网络导论[M ]. 北京:高等教育出版社, 2002. [18]张洪明, 等. 基于肤色模型、神经网络和人脸结构模型的平面旋转
人脸检测[J ]. 计算机学报, 2002, 25(11) :1250-1256. [19]C hengji n Li u. A Bayesian Discri m i n ati ng Feat u res M et hod for Face [J ]. T . ern Anal i s ach i ne t lli The 11th In. t Con. f
on Patt ern Recog ,
[20]尹星云, 王洵, 董兰芳. 用隐马尔可夫模型设计人脸表情识别系统
[J ]. 电子科技大学学报, 2003, 32(6):725-728.
[21]Law rf en ce R R . A Tu t ori a l on H idden M arkov M odels and Se l ected
App li cati on in Speech Recogniti on [J ]. Proceedings of t he I EEE ,
1989, 77(2):257-286.
[22]V ladi m ir N V . 统计学习理论的本质[M ]. 张学工. 北京:清华大学
出版社, 2000.
[23]张学工. 关于统计学习理论与支持向量机[J ]. 自动化学报, 2000,
26(1) :32-42.
[24]边肇祺, 张学工, 等. 模式识别(第2版)[M ]. 北京:清华大学出版社, 2000. [25]O s una E , et a l . T rai n i ng Support VectorM ach i nes :An App licati on to
Face Det ecti on [A ]. Processi ng of Co m pu ter V isi on and Pattern Recog -niti on [C ]. San Juan , Puert o Rico :I EEE Co m puter Soc , 1997. 130-136. [26]Sung K , Poggio T . E xa m p l e -based Learning for Vie w B ased Hum an
Face Detecti on [J ]. I EEE T rans Patt ern Anal ysis andM achine In t e lli -gence , 1998, 20(1) :39-51. [27]M B ichse. l H um an Face Recogn ition and t he Face I m age Set ’s Topo l o -gy [J ]. CVG IP :I m age Und erst anding , 1994, 59(2):254-261. [28]吴键新, 李翠华. 视频序列中基于肤色的人脸实时检测[J ]. 厦门
大学学报(自然科学版) , 2004, 43(3):321-325.
[29]周宗恒, 韩懿, 高艳芳. 基于KL 肤色的人脸初定位[J ]. 计算机工
程, 2001, 27(4):109-111.
[30]付瑶, 刘志镜, 谷明坡. 基于小波分析的人脸特征提取方法[J ].
计算机工程与科学, 2002, 24(6) :52-54. [31]孙丰荣, 刘积仁. 快速霍夫变换算法[J ]. 计算机学报, 2001, 24
(10) :1102-1109.
[32]K assM , W it k i n A , Ferzopoulos D . S ankes :A cti ve Con tourM odel [C ].
London :The 1s t In t Con f Co m put V i s i on , 1987. 259-268.
[33]山世光, 高文, 陈熙霖. 基于纹理分布和变形模板的面部特征提取[J ]. 软件学报, 2001, 12(4):570-577.
[34]Chen C W , H uang L H. Hum an Face Recogn ition fro m a S i ng l e F ron t
V i ew [J ]. In. t J ou rnal of Patt ern Recogn ition , 1992, 6(4):571-593. [35]凌旭峰, 杨杰, 杨勇. 基于轮廓线曲率特征的人脸分类及识别
[J ]. 红外与激光工程, 1999, 28(4):37-39.
[36]张俊, 何昕, 李介谷. 基于面部几何特征点提取的人脸识别方法
[J ]. 红外与激光工程, 1999, 28(4):40-43.
[37]周德龙, 高文, 赵德斌. 基于奇异值分解和判别式KL 投影的人脸识别[J ]. 软件学报, 2003, 14(04):783-789. [38]王蕴红, 谭铁牛, 朱勇. 基于奇异值分解和数据融合的脸像鉴别
[J ]. 计算机学报, 2000, 23(6):649-653.
[39]M Turk , A Pentl and . Face Recogniti on Using E i genfaces [C ]. I EEE
C on. f on CVPR , M aui , H a w aii , 1991. 586-591.
[40]王耀明, 王仲国, 沈毅俊. 基于图像集似然度的人脸识别[J ]. 计算机工程, 2001, 27(7):113-114.
[41]高丽萍, 郭义民, 倪重匡. 一种改进的特征脸方法[J ]. 计算机应
用与软件, 2002, 44-47.
[42]LadesM , Vorb r uggen J , Buhm ann J , et a l . D istortion Invarian tOb j ect
Recogniti on i n t he Dyna m ic Li nk A rch it ect u re [J ]. C o m pu t , 1993, 42(3):300-311.
[43]J un Zhang , Yong Yan , M arti n Lades . Face Recogniti on :E igenface , E -l asticM atching and Neu ral Nets [J ]. Proceedings of IEEE , 1997, 85
(9):1422-1435. [44]李刚, 高政. 人脸自动识别方法综述[J ]. 计算机应用研究, 2003,
20(8) :4-9.
IEEE T rans .
作者简介:
肖冰(1981-), 女, 河北邯郸人, 硕士研究生, 主要研究方向为图形图像技术与模式识别; 王映辉(1967-), 男, 甘肃庄浪人, 教授, 硕士生导师, , 、
2005年第8期肖 冰等:人脸识别研究综述 1
人脸识别研究综述
肖 冰, 王映辉
*
(陕西师范大学计算机科学学院, 陕西西安710062)
摘 要:人脸识别是一种重要的身份鉴别技术, 具有广泛的应用前景。给出了人脸识别发展历程中的技术特
点; 根据人脸检测定位、面部特征提取和人脸确认识别三个关键的人脸识别过程, 阐述了目前已成熟的核心技术和方法以及这些技术和方法的优缺点; 展望了人脸识别未来的研究趋势。关键词:人脸识别; 特征; 身份认证; 生物特征
中图法分类号:TP311. 13 文献标识码:A 文章编号:1001-3695(2005) 08-0001-05
Survey ofH u m an Face Recogn ition
X I AO B i ng , W ANG Y ing -hu i
(S chool of Computer Sci ence , ShanxiNor m a lU nivers it y , X i ’an Shanxi 710062, Ch i na )
Abstract :Face recogn iti on is an i m portant t echnique of identification . It w ill be appli ed ext ensivel y . Characteristics of face recognizi ng t echn i que i n the devel op m ent of face recogn ition are briefly revie w ed . Pi votalm et hod and t echnol ogi es are expoun -ded , and m erits and de m erits of t hesem et hods are ind icated , accord i ng to t hree mai n steps of face recogniti on :face detecti on and l ocalization , facial feat ure extracti on and face verificati on and i dentification . V ista of f u t ure research in face recogn iti on technology is distilled .
Key words :Face Recognition ; Feature ; Iden tification ; B i ometrics
然是21世纪富有挑战性的课题。
1 引言
人脸识别技术就是通过计算机提取人脸的特征, 并根据这些特征进行身份验证的一种技术。人脸与人体的其他生物特征(指纹、虹膜等) 一样与生俱来, 它们所具有的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提; 同其他生物特征识别技术相比, 人脸识别技术具有操作简单、结果直观、隐蔽性好的优越性。因此, 人脸识别在信息安全、刑事侦破、出入口控制等领域具有广泛的应用前景。
人脸识别技术从最初对背景单一的正面灰度图像的识别, 经过对多姿态(正面、侧面等) 人脸的识别研究, 发展到能够动态实现人脸识别, 目前正在向三维人脸识别的方向发展。在此过程中, 人脸识别技术涉及的图像逐渐复杂, 识别效果不断地得到提高。虽然人脸识别研究已积累了宝贵的丰富经验, 但目前的识别技术仍然不能对诸如复杂背景中的人脸等进行有效的处理和自动跟踪。同时, 与其他学科不同的是:人脸识别技术融合了数字图像处理、计算机图形学、模式识别、计算机视觉、人工神经网络和生物特征技术等多个学科的理论和方法, 需要研究人员具有完善的知识体系和丰富的经验。另外, 人脸自身及所处环境的复杂性, 如表情、姿态、图像的环境光照强度等条件的变化以及人脸上的遮挡物(眼镜、胡须) 等, 都会使人脸识别方法的鲁棒性受到很大的影响。因此, 人脸识别技术仍收稿日期:2004-12-30; 修返日期:2005-02-25
基金项目:国家“863”计划资助项目(2003AA 118105); 陕西省自然科学基金资助项目(2003F35); 陕西师范大学校级重点基步
人脸识别技术主要通过三个步骤完成, 即人脸检测定位、面部特征提取和人脸对比确认识别。本文主要对基于二维图像的人脸识别方法进行了综述, 分类介绍了目前已成熟的关键方法和技术, 并在此基础上提出了人脸识别的研究方向。
2 人脸识别研究的发展历程
[1, 2]
20世纪60年代末至70年代初, 人脸识别研究刚刚起
。最早的研究者是B ledsoe [3], 他建立了一个半自动的人
脸识别系统, 主要是以人脸特征点的间距、比率等参数为特征。早期的人脸识别方法有两大特点:①大多数识别方法是基于部件的[4, 5], 它们利用人脸的几何特征进行识别, 提取的信息是人脸主要器官特征信息及其之间的几何关系。这类方法比较简单, 但是很容易丢失人脸的有用信息, 从而在视角、表情等变化的情况下识别能力差。鉴于这种情况, 后来出现了性能较优的模板匹配方法[5], 即根据图像库中的人脸模板与待识别人脸模板在灰度上的相似程度来实现人脸识别, 这类方法在一定时期内占据主流。②人脸识别研究主要是在较强约束条件下的人脸图像识别。假设图像背景单一或无背景, 人脸位置已知或很容易获得, 因此对现实场景产生的图像处理效果不佳。
20世纪90年代以来, 随着计算机软硬件性能的迅速提高, 以及对人脸识别能力的高要求, 使发展更具鲁棒性的人脸识别方法成为时代的必然。于是基于整体的识别方法应运而生, 并且很快成了研究的重点, 如特征脸方法[6]和弹性图匹配方法[7]。基于整体的识别方法充分利用了人脸各个特征点之间的拓扑关系和各个器官自身的信息, 可以避免提取面部局部, 棒性有所是, 在
2 计算机应用研究 2005年
究领域出现了基于整体的方法和基于部件的方法齐头并进的局面。
90年代中期以来, 人脸识别方法向着整体识别和部件分析相结合的趋势发展。研究人员开始逐渐认识到人脸识别算法必须能够充分地利用人脸的各种特征信息, 融合人脸的形状拓扑结构特征、局部灰度特征和全局灰度分布特征等多种特征。因此, 出现了很多新的算法, 这些算法是将原先单一的算法结合起来, 共同完成人脸的识别。灰度和形状分离的可变形模型方法[8]就是其中之一。
90年代后期, 一些商业性的人脸识别系统开始逐渐进入市场, 人脸识别技术成为当今国际安全防范最重要的手段之一。但是, 这些技术和系统离实用化还有一定的距离, 性能和准确率有待提高。
2000年前后, 人脸识别方法的性能虽然有了一定的提高, 但仍与人们的要求还有一定的差距, 现有方法对光照、年龄、表情、姿态、距离等条件的变化比较敏感, 当某些条件发生变化时, 识别效果很不理想。目前, 人脸识别技术仍只能用于某些对识别准确率要求不高的场合。
图像, 检测效果不理想。因此, 鉴于单模板匹配的不足, 通过改进提出了基于多模板匹配的单人脸检测方法[9], 它的主要思想是:首先建立双眼模板和不同长宽比的人脸模板, 在进行人脸检测时, 先使用双眼模板找出双眼的位置, 再使用不同长宽比的人脸模板根据人脸的长宽比确定出人脸区域的位置和范围, 最后利用人脸器官的边缘特征进行确认。
基于器官或轮廓等分布特征的方法又可分为基于马赛克规则的算法[1]、基于对称变换的方法[10～13]等。它们都利用了人脸的器官或人脸轮廓的分布特征, 其中基于对称的方法还充分利用了人脸面部特征分布的对称性, 比马赛克方法进步了不少。马赛克方法将人脸分为若干低分辨率马赛克子块, 利用人脸各子块之间的相互关系进行人脸检测。最早的基于对称变换的方法是广义对称变换[10, 11], 它检测物体点对称性, 利用了人眼心点的强对称性和脸部关键特征的几何分布特性。这种方法具有很好的鲁棒性, 不易受光照、偏转角度、表情等条件变化的影响。但是由于广义对称变换描述的是各点的对称性, 因此导致了待选点较多, 数据量和计算量过大, 难以精确定位的缺点; 另外广义对称变换采用圆内邻域, 受到了小于邻域面积的假眼睛物体的影响。对广义对称变换方法改进发展形成了方向对称变换方法[12]和离散对称变换定位方法[13]。前者继承了广义对称变换的优点, 描述了人脸各主要部件的点对称性, 并在此基础上进行了一定的创新, 为对称性增加了一定的方向性, 利用不同方向上分布的对称性来描述物体的基本形状, 它比广义对称变换更加方便、快捷。后者的改进之处在于计算对称之前加入一个对图像灰度不均匀区域的检测步骤, 通过使用圆环邻域灰度均匀度算子对各点邻域进行检测, 将处于规则区域的点去除。其优点是计算量大大减少, 准确性得以提高。
基于肤色模型的方法将在运动图像的人脸检测定位中进行阐述。
(2) 统计方法。它将人脸区域看作一类样本, 通过对大量人脸图像进行学习训练, 根据人脸的灰度特征构造人脸模式与非人脸模式分类器, 使用分类器判别图像中所有可能区域属于人脸区域还是非人脸区域, 从而实现人脸检测。这类方法中最核心的一类方法是基于人工神经网络的方法[15～17], 它通过对样本的学习构造分类器, 并且对分类器进行训练, 最后利用分类器完成仿真分类。目前, 研究人员已经可以将神经网络与其他方法相结合来实现人脸检测[18]。例如, 将神经网络与肤色模型相结合, 由肤色模型先根据肤色判别出人脸候选区域, 再由神经网络方法确定人脸平面旋转角度, 最后将检测过程归结到正面人脸检测上, 从而实现人脸检测。其他基于统计模型的方法还有基于概率模型的方法[19～21]、基于支持向量机的方法[22～25]、基于特征空间的方法[26]。
基于概率模型的方法分为利用贝叶斯公式进行似然度求解问题[19]和隐马尔可夫模型(H i dden M arkov M ode ls , HMM ) [20, 21]。隐马尔可夫模型是用概率统计的方法来描述时变信号的过程, 它将待检测区域的每个子区域的K L 变换系数作为观察向量以获得HMM 的模型参数, 根据待检测区域的检测序列输出概率进行判断。
支持向量机(Support V ector M achine , SVM ) 的基本思想[24]是首先通过非线性变换将输入空间变换到一个高维空间求得最分类面, 3 人脸识别研究方法
从应用来看, 人脸识别可分为在无任何目标的情况下判断未知人脸的身份和针对某个或某些目标人脸来确定待识别人脸的身份。在无任何目标的情况下判断未知人脸的身份是将给定的人脸图像与已有图像库中存储的大量的人脸图像进行比较, 从而确定人物身份。针对某个或某些目标人脸来确定待识别人脸的身份主要应用在已知一个或几个人脸的情况下, 将待识别人脸与某人或某些人的多个角度的多幅图像进行比较, 以此判断是不是已知人脸中的某一个。
从人脸识别的过程来看, 可将人脸识别方法划分为人脸检测定位方法、面部特征提取方法以及人脸确认方法。为了叙述方便, 本文以此过程对各种方法进行分类和总结。3. 1 人脸检测定位
简而言之, 人脸检测定位是将图像分为非人脸区域和人脸区域两部分, 从中分割出人脸区域。由于待检测图像可以分为静止图像(场景和人体都是静止的图像) 和运动图像(主要指人体运动的图像), 因此, 人脸检测定位的方法研究也是从这两个方面进行的。
3. 1. 1 静止图像中的人脸检测定位
静止图像是指人体和背景都是静止的。静止图像中的人脸检测定位可以分为启发式方法和统计方法。
(1) 启发式方法。它又称为基于知识的方法, 基于先验知识或经验, 利用待检测人脸中的灰度、纹理、器官的形状或脸部轮廓、肤色等特征信息。对应于所利用的特征信息, 形成了基于模板的匹配方法[4, 9]、基于器官或轮廓分布特征的方法[1, 10～13]、基于肤色模型的方法[14]等。该方法受先验知识的影响较大。
基于模板匹配的方法是提前建立一个标准的人脸模板, 在检测和定位人脸时, 在图像灰度层次上直接将待检测人脸图像的模板与这个标准模板相比较, 求两者的相似程度。这种方法,
第8期肖 冰等:人脸识别研究综述 3
式与所得的最优线性分类面的距离, 实现对未知样本的分类, 这种算法的错误率最小。这是一种通用机器算法, 支持向量机求得的分类函数在形式上类似于神经网络, 但是它克服了神经网络方法容易陷入局部最小的缺点。最早将S VM 应用于人脸检测的是O suna [25]。
基于特征空间的方法是利用人脸在某个特定特征空间上的分布规律, 诸如M I T
[26]
空间中, θ在[0, π)间均匀地取M 个离散值, ρ的采样个数为Q 。标准霍夫变换可表示为H (ρq , θm ) =∑I (x i , y j ), 其中, ρq
i , j =0N -1
-
11
≤x i cos θy j sin θρ, m =0, 1, …, M -1; q =0, 1, …, m +m
Q -1。这种方法的主要目的是在二值图像中进行直线检测。
(3) 可变形模板, 又称作弹性模板, 分为两种, 即是由K ass 等人在1987年第一届计算机视觉国际会议上提出的活动轮廓模型[32]和基于模型的可变形模板[33]。这两类模板的实质都是在提取特征过程中对模板进行动态的调整。活动轮廓模型又称Snake 算子, 它是在图像域内定义可变形曲线, 用来与待检测人脸或某些器官的轮廓进行自适应匹配, 从而达到描述特定轮廓线的目的。Snake 的自然形状是通过对曲线能量函数的最小化来调整的, 当能量达到最小时, Snake 与特定对象的匹配程度最高。这种方法鲁棒性强, 能够动态地调整完成曲线能量函数的最小化, 具有一定的自适应性, 而且计算量比变换域方法的计算量小、速度快。但是, 这种方法要求所提取对象的初始曲线是正确的, 否则收敛过程很可能会发生错误。基于模型的可变形模板方法根据待检测人脸特征的先验信息定义形状模型, 模型中的参数反映的是特征的可变部分, 模型与图像的边缘、峰、谷和灰度分布特性进行动态的交互适应, 从而使参数得到修正, 参数变化必然引起模板的变形。模型调整过程中利用的是特征区域的全局信息, 可以较好地检测出相应的特征形状, 但是算法在很大程度上依赖于参数初值, 并且计算时间长。
3. 3 人脸确认识别
人脸确认识别技术就是根据前两步所得到的特征, 将待测人脸与库中人脸进行比较, 确认和识别待测人脸的身份。人脸确认与识别的方法基本上可以归结为四类, 即基于几何特征的方法、基于代数特征的方法、基于模板的方法和基于神经网络的方法。
(1) 基于几何特征的方法[34]是最早、最传统的方法。它是基于部件的方法, 通常需要与其他算法结合才能有比较好的效果。目前这类方法也有不少, 如根据几何特征曲率对人脸进行分类及识别[35], 基于面部几何特征点提取的人脸识别方法[36]等。
①由几何特征曲率对人脸进行分类及识别是根据轮廓线曲率分类的。首先根据人脸的轮廓线曲率线建立一个分类库, 然后在识别人脸时, 计算人脸的轮廓线曲率线与分类库中曲率线的相关函数, 将人脸进行分类。本方法对于质量较好的人脸图像有良好的分类和识别效果, 对某些或是质量较差的图像, 人脸轮廓线的提取效果不太理想。
②基于面部几何特征点提取的人脸识别方法。这种方法首先利用特征点构造出待识别人脸的特征向量, 这些特征向量具有位置、视点、大小等不变性, 然后将此特征向量与样本库中的人脸特征向量相比较, 计算两者的相似度以此来完成识别。
(2) 基于代数特征的方法主要有奇异值分解方法(SVD ) [37, 38]、特征脸方法[39]。奇异值特征是一种反映图像本质属性的代数特征。在某种程度上, 奇异值特征具有代数和几何上的双重稳定性, 还具有比例不变性、旋转不变性等重要性质的基于事例学习的方法等都可以分
割出人脸图像中的人脸区域。
统计方法与启发式方法不同, 不必检验特征是否符合人脸的先验知识。统计方法多依赖于人脸特征的数学特征, 启发式方法多依赖于物理特征和结构特征。对于机器而言, 准确地提取图像的物理特征和结构特征是很难实现的, 而提取数学特征却是轻而易举的。所以, 从实现的难易程度和准确度而言, 统计方法均优于启发式方法, 而且前者的发展潜力较大。3. 1. 2 运动图像中的人脸检测定位
本文中所述的运动图像是指图像中的人体是运动的, 背景可以是运动的或静止的, 也可以是部分运动和部分静止的。在这种情况下, 可以充分利用人脸的运动信息进行人脸检测定位。目前, 采用最多的方法是将差分法和肤色模型相结合的方法
[27, 28]
。这种方法的主要思想是:首先对运动前后的两帧图
像进行差分运算, 得到差分图像, 并去除了大量的静止背景信息, 保留了运动的人体部分; 接下来, 根据人脸各部位的肤色特征差异对差分图像建立肤色模型; 然后利用肤色模型检测出图像中的肤色像素, 这些肤色像素连通起来就构成了可能的人脸区域; 最后验证分割出的部分是否为人脸。
上述方法中, 当得到了人脸差分图像后, 对差分图像利用肤色特征进行人脸检测实际上已经转换为对静止图像进行的检测。因此, 基于肤色特征的人脸检测定位既可以用于人脸的动态追踪又可以用于人脸的静态检测。
值得一提的是, 肤色模型被广泛地应用于人脸的检测与定位过程中, 实践证明效果比较理想。例如基于K L 肤色的人脸定位方法
[29]
, 它将K L 变换应用到色系坐标系的转换中, 从而
得到一种新的基于肤色特征的人脸定位方法。但是当待测人脸的肤色不在给定的肤色范围内时, 仅使用肤色模型将无法检测到人脸。3. 2 面部特征提取
面部特征定位与提取是检测人脸上的某些或所有特征的位置、大小、轮廓线等信息的过程。实际上, 人脸检测定位过程中有时也会用到一部分面部特征, 而且面部特征也是人脸识别的重要依据之一。目前, 面部特征提取的实现过程最常见的是先求出双眼的中心位置, 然后进行人脸的归一化, 进而可以提取其他一些特征的信息。常用的方法有:灰度积分投影曲线分析
[30]
、Hough 变换方法
[31]
、可变形模板
[32, 33]
等。
(1) 灰度积分投影曲线分析是在对人脸图像进行了小波变换的基础上进行的, 对人脸图像进行水平灰度积分投影确定人脸各器官的基线, 然后对基线区域进行垂直积分投影可确定各器官的轮廓线。这种方法被广泛应用于利用小波的面部特征提取方法中。
(2) H ough 变换方法可应用在模式识别领域中, 它的定义为N (x y j I (i , y j )。
4 计算机应用研究 2005年
像的代数特征, 然后进行匹配识别。奇异值分解方法是在奇异值分解的基础上, 产生多种人脸识别的方法。例如基于图像集似然度的人脸识别
[40]
为隐含层的激励函数。这种网络的学习速率快、函数逼近、模式识别等能力均优于BP 神经网络, 并广泛应用于模式识别、图像处理等方面。但是这种网络比BP 网络所用的神经元数目要多得多, 使它的应用受到了一定的限制。基于人工神经网络识别方法的不足之处是要求训练样本比较充分才能得到较好的识别效果, 否则, 在光照改变、尺度改变以及小的形变等情况下都不能很好地识别。
, 首先用图像集中每个图像的奇异值向
量构造出一个新的矩阵———图像集特征矩阵, 计算待检测人脸集的特征矩阵与已知的各类人脸集的特征矩阵的似然度, 最终判断待检测人脸属于哪一类。
特征脸方法, 也就是主分量分析(PCA ) 方法。此处所说的特征脸方法是基于K L 变换的, 它是20世纪90年代初期由Turk 和Pentland 提出的, 是一种简单有效的方法。特征脸方法的基本思想是将图像经过KL 变换后由高维向量转换为低维向量, 并形成低维线性向量空间, 人脸投影到这个低维空间所得到的投影作为识别的特征矢量。所有子空间的正交基就是特征脸。特征脸方法的不足之处是受表情变化、光照角度强度变化和视角变化等严重影响, 鲁棒性较差。
传统的特征脸具有的种种不足之处促使研究人员在特征脸方法基础上发展了许多改进方案, 如将特征脸与线性判别函数[24]相结合的方法, 特征半脸方法[41]等。
线性判别函数的一般表达为g (X ) =W T X +W 0, 其中X 是d 维特征向量的样本, W 是权向量, W 0是阈值权。此判别函数是d 维特征空间中某个X 点到超平面的距离。线性判别分析方法选择以类内散布正交的矢量作为特征脸空间, 从而可以控制图像之间与识别无关的差异, 将特征脸与线性判别函数相结合的方法对光照及人脸表情变化都不太敏感。
特征半脸的方法是根据人脸的上半部分特征对于识别所起的作用要比下半部分特征大。人的表情发生变化时, 上半部分脸变化较小, 而下半部分脸变化较大这一特征来实现的。将人脸图像分成上下两部分, 并分别应用特征脸方法, 采用不同权值的以容忍一定程度的表情变化。
(3) 基于模板的方法最为典型的是基于弹性图匹配的方法[8]。弹性图匹配方法在二维空间中为人脸建立属性拓扑图, 图中边表示了人脸各器官之间的拓扑结构, 它对于人脸变形具有一定的容忍度, 图中的每个顶点表示一个特征向量, 用来记录人脸在该顶点附近的特征信息, 然后利用弹性匹配法将库中人脸和待识别人脸的弹性图进行匹配, 找到匹配程度最高的一个人脸图像。由于特征向量的定义方式多种多样, 弹性图匹配方法也是具有多样性的, 如基于G abo r 小波变换的弹性图匹配方法[42], 它利用G abor 函数定以特征向量, 得到的弹性图如图1所示[8], 它对人脸较小角度的旋转以及光照改变等都有较好的容忍性, 但是与特征脸识别方法相比识别速度较慢。
4 研究趋势
人脸识别技术发展很快, 并取得了丰硕的研究成果, 但是仍然还有许多问题, 如图像背景复杂, 存在很多类似人脸的部分。人脸是非刚性物体, 并且随着年龄的变化而变化, 特征难以完全描述; 人脸可能有很多遮挡物, 如胡须、眼镜、帽檐等; 环境的光照强度和观察人脸的角度发生变化; 全自动人脸识别技术发展缓慢等, 都成了人脸识别技术中亟待解决的问题。
(1) 适应于各种复杂背景的人脸分割技术研究。目前在复杂背景条件下的人脸分割研究取得了一定的进展, 诸如弹性匹配等方法的应用有一定效果, 但其检测速度和效果还不能令人满意, 如何在复杂背景图像中快速有效地检测和分割出人脸将成为研究的重点。
(2) 动态人脸识别研究。现有的静态人脸识别技术无法满足某些特殊场合的需要, 诸如海关监测等需要对视频中的人脸进行动态跟踪和识别, 而满足这种场合需求的动态人脸识别技术相对比较欠缺。因此, 开展动态人脸识别研究将有着特殊的应用价值和应用前景。
(3) 多数据融合的人脸识别研究。经过近四十年的研究, 人脸识别领域的研究成果已经硕果累累, 为深入研究提供了丰富的方法和经验。然而, 到目前为止, 任何一种方法都有其特定的应用条件和局限性, 不能完全适应于各种情形。因此, 将各种技术和方法进行有效的融合将是未来人脸识别技术发展的途径之一。
(4) 三维人脸识别研究。人脸识别技术发展到今天, 许多成果仍然是在二维人脸信息基础上取得的, 而真实世界中的人脸是三维的, 三维信息特别是三维图像较二维图像更能提供完整而真实的内容, 如何有效地利用人脸的三维信息进行识别, 将是一个具有挑战性的研究课题。
(5) 全自动人脸识别技术。全自动的人脸识别技术仍然处于初级研究阶段, 识别速度和效果距离人们的要求也相差甚远, 其主要原因在于人脸是非刚性体, 人脸特征无法得到准确完整的描述。所以, 深入研究人脸特征的有效表达将是全自动人脸识别的关键, 也是人脸识别技术的核心。
5 结论
本文概括了人脸识别技术发展的历程及发展现状, 从人脸检测定位、面部特征提取以及人脸确认识别三个方面, 归类和总结了所采用的方法和技术, 并指出了各自的优缺点。最后展
(4) 基于人工神经网络[43, 44]的方法应用比较广泛, 目前常用的人工神经网络方法是BP 神经网络、自组织神经网络、径向基函数神经网络。径向基函数神经网络[17]与BP 网络一样, 数作为, 望了人脸识别的研究趋势。
在实际的人脸识别过程中, 结合多种基本方法, 是目前人脸识别技术研究的显著特点之一。例如, 针对大多数识别方法,
第8期
间快速识别方法等。
肖 冰等:人脸识别研究综述
gence , 2003, 25(6) :725-740.
5
特征提取与处理是人脸识别中的关键, 无论是人脸检测定位、面部特征提取还是人脸确认识别, 每一步都需要大量可靠的人脸特征。特征是根据测量获得的, 而在测量空间中提供的图像信息不但维数高, 而且不稳定。因此, 在人脸图像处理过程中, 必须将高维测量空间中的信息转换为低维特征空间中的特征向量, 这也是近几年来人脸识别技术发展的另一特点之一。
与其他身份识别中所需信息相比, 人脸信息(如人脸图像) 更能以最自然、最直接的方式获取, 特别是在非接触环境和不惊动被检测人的情况下, 因此计算机人脸识别技术已成为最活跃的研究领域之一。随着真三维获取技术的发展, 人脸识别技术有望取得突破性的进展并得到广泛的应用。参考文献:
[1]
C hell appa R , et a l . H um an andM ach i ne Recogn ition ofFaces :A S ur -vey [J ]. P roceed i ngs of the IEEE , 1995, 83(5):705-740.
[2]周杰, 卢春雨, 等. 人脸自动识别方法综述[J ]. 电子学报, 2000, 28
(4) :102-106. [3][4]
B ledsoe W W. M an M achine Faci a l Recogniti on [R ]. Pal o A lt o , CA , TR :Rep PRI :22, 1966.
B runelli R , Poggi oT . Face Recogn iti on :Feat u res Vers u s Te m p l ates [J ]. IEEE T rans .
on Pattern Anal ysis and M ach i ne Intelli gence ,
1993, 15(10):1042-1052.
[5]张翠平, 苏光大. 人脸识别技术综述[J ]. 中国图像图形学报,
2000, 5(11):885-894.
[6]丁嵘, 苏光大, 林行刚. 特征脸和弹性匹配人脸识别算法的比较
[J ]. 计算机工程与应用, 2002, 38(7):1-2. [7]
Lanitis A , Tay l or C J , C ootes T F . Au to m ati c In t erp ret ation and C o -d i ng of Face I m ages U si ng F l exi b l e M odels [J ]. IEEE Trans . on PA -M I , 1997, 19(7):743-756. [8]
Lau renz , W is kott , Jean M arc Fe ll ou s , Norbert K ruger , et a l . Face Re -cogn iti on by E l astic G raph M atch i ng [J ]. IEEE T ransacti on s on Pat -t ern Anal ysis and M ach i ne Intelli gen ce , 1997, 19(7):775-779. [9]梁路宏, 艾海舟, 何克忠. 基于多模板匹配的单人脸检测[J ]. 中国
图像图形学报, 1999, 4(10) :825-830.
[10]D Reisfel d , Y Yes hu r un. Robu st Det ecti on of Facial Features by G e -neraliz ed Sy mmetry [C ]. C ha mpaign , 1992. 117-120.
[11]D Reisfel d , H W olfson , Y Yes hu r un. Context Free A tt entional Opera -t ors :t he G eneralized Sy mmetry T ran sf or m [J ]. In. t Jou rnals of Co m -puterV ision , 1995, 14(2):119-130.
[12]周杰, 卢春雨, 等. 基于方向对称变换的人脸定位方法[J ]. 电子
学报, 1999, 27(8) :12-15.
[13]LI U W en -yu , PAN Feng . App licati on ofD iscret e Symm etry Tran sf or m
i n Eyes I m age Feat u res Location [J ]. In frared M illi m . W aves , 2001, 20(5):375-380.
[14]LI ANG Lu -hong , A IH ai -z hou , et a l . A Survey of Hum an Face Det ec -ti on [J ]. C hines e J . C o m pu ters , 2002, 25(5):449-458.
[15]S H Li n. Face Recogniti on /Det ecti on by P robab ilistic Decisi on Based
Neu ralNet w or k [J ]. I EEE T rans . Neu ral Net w orks , 1997, 8(1):114-132.
[16]金忠, 胡钟山, 等. 基于BP 神经网络的人脸识别方法[J ]. Jou r n al
of Co m puter Res earch ＆Devel op m en t , 1999, 36(3) :274-277. [17]蒋宗礼. 人工神经网络导论[M ]. 北京:高等教育出版社, 2002. [18]张洪明, 等. 基于肤色模型、神经网络和人脸结构模型的平面旋转
人脸检测[J ]. 计算机学报, 2002, 25(11) :1250-1256. [19]C hengji n Li u. A Bayesian Discri m i n ati ng Feat u res M et hod for Face [J ]. T . ern Anal i s ach i ne t lli The 11th In. t Con. f
on Patt ern Recog ,
[20]尹星云, 王洵, 董兰芳. 用隐马尔可夫模型设计人脸表情识别系统
[J ]. 电子科技大学学报, 2003, 32(6):725-728.
[21]Law rf en ce R R . A Tu t ori a l on H idden M arkov M odels and Se l ected
App li cati on in Speech Recogniti on [J ]. Proceedings of t he I EEE ,
1989, 77(2):257-286.
[22]V ladi m ir N V . 统计学习理论的本质[M ]. 张学工. 北京:清华大学
出版社, 2000.
[23]张学工. 关于统计学习理论与支持向量机[J ]. 自动化学报, 2000,
26(1) :32-42.
[24]边肇祺, 张学工, 等. 模式识别(第2版)[M ]. 北京:清华大学出版社, 2000. [25]O s una E , et a l . T rai n i ng Support VectorM ach i nes :An App licati on to
Face Det ecti on [A ]. Processi ng of Co m pu ter V isi on and Pattern Recog -niti on [C ]. San Juan , Puert o Rico :I EEE Co m puter Soc , 1997. 130-136. [26]Sung K , Poggio T . E xa m p l e -based Learning for Vie w B ased Hum an
Face Detecti on [J ]. I EEE T rans Patt ern Anal ysis andM achine In t e lli -gence , 1998, 20(1) :39-51. [27]M B ichse. l H um an Face Recogn ition and t he Face I m age Set ’s Topo l o -gy [J ]. CVG IP :I m age Und erst anding , 1994, 59(2):254-261. [28]吴键新, 李翠华. 视频序列中基于肤色的人脸实时检测[J ]. 厦门
大学学报(自然科学版) , 2004, 43(3):321-325.
[29]周宗恒, 韩懿, 高艳芳. 基于KL 肤色的人脸初定位[J ]. 计算机工
程, 2001, 27(4):109-111.
[30]付瑶, 刘志镜, 谷明坡. 基于小波分析的人脸特征提取方法[J ].
计算机工程与科学, 2002, 24(6) :52-54. [31]孙丰荣, 刘积仁. 快速霍夫变换算法[J ]. 计算机学报, 2001, 24
(10) :1102-1109.
[32]K assM , W it k i n A , Ferzopoulos D . S ankes :A cti ve Con tourM odel [C ].
London :The 1s t In t Con f Co m put V i s i on , 1987. 259-268.
[33]山世光, 高文, 陈熙霖. 基于纹理分布和变形模板的面部特征提取[J ]. 软件学报, 2001, 12(4):570-577.
[34]Chen C W , H uang L H. Hum an Face Recogn ition fro m a S i ng l e F ron t
V i ew [J ]. In. t J ou rnal of Patt ern Recogn ition , 1992, 6(4):571-593. [35]凌旭峰, 杨杰, 杨勇. 基于轮廓线曲率特征的人脸分类及识别
[J ]. 红外与激光工程, 1999, 28(4):37-39.
[36]张俊, 何昕, 李介谷. 基于面部几何特征点提取的人脸识别方法
[J ]. 红外与激光工程, 1999, 28(4):40-43.
[37]周德龙, 高文, 赵德斌. 基于奇异值分解和判别式KL 投影的人脸识别[J ]. 软件学报, 2003, 14(04):783-789. [38]王蕴红, 谭铁牛, 朱勇. 基于奇异值分解和数据融合的脸像鉴别
[J ]. 计算机学报, 2000, 23(6):649-653.
[39]M Turk , A Pentl and . Face Recogniti on Using E i genfaces [C ]. I EEE
C on. f on CVPR , M aui , H a w aii , 1991. 586-591.
[40]王耀明, 王仲国, 沈毅俊. 基于图像集似然度的人脸识别[J ]. 计算机工程, 2001, 27(7):113-114.
[41]高丽萍, 郭义民, 倪重匡. 一种改进的特征脸方法[J ]. 计算机应
用与软件, 2002, 44-47.
[42]LadesM , Vorb r uggen J , Buhm ann J , et a l . D istortion Invarian tOb j ect
Recogniti on i n t he Dyna m ic Li nk A rch it ect u re [J ]. C o m pu t , 1993, 42(3):300-311.
[43]J un Zhang , Yong Yan , M arti n Lades . Face Recogniti on :E igenface , E -l asticM atching and Neu ral Nets [J ]. Proceedings of IEEE , 1997, 85
(9):1422-1435. [44]李刚, 高政. 人脸自动识别方法综述[J ]. 计算机应用研究, 2003,
20(8) :4-9.
IEEE T rans .
作者简介:
肖冰(1981-), 女, 河北邯郸人, 硕士研究生, 主要研究方向为图形图像技术与模式识别; 王映辉(1967-), 男, 甘肃庄浪人, 教授, 硕士生导师, , 、