基于线性映射的灰度级超分辨率人脸识别
方法
张琳彦，吴宁，齐春
（西安交通大学电子与信息工程学院，西安 710049）
摘要：针对现有低灰度级分辨率人脸识别算法的识别率不高、计算复杂度高的问题，提出了
一种基于特征域线性映射的灰度级超分辨率人脸识别算法。选择Principal Components
Analysis（PCA）为人脸识别特征空间，根据流行学习的相关理论，假定高、低灰度级人脸
图像识别特征之间存在线性的映射关系，并通过Procrustes 分析建立了从低灰度级到高灰度
级特征的线性映射，根据该线性映射，即可得到输入低灰度级分辨率人脸图像所对应的高灰
度级分辨率识别特征，并通过最近邻分类器进行识别。实验结果表明，同现有算法相比，该
算法识别率最高、耗时最短，并且识别率对特征的维度不敏感。
关键词：特征空间；低灰度级分辨率；人脸识别；Procrustes 分析；主成分分析
 0 引言
近年来，摄像头在视频监控、移动终端以及安全等领域得到快速普及。但是在一些场合，
由于成像设备成本的限制、成像设备与目标之间的距离较远、成像环境的光照不理想等原因，
获取图像的分辨率较低。其中，前2 个因素降低了图像的空间分辨率，最后一个因素则降低
了图像的灰度级分辨率。灰度级分辨率是指一幅图像最大亮度和最小亮度之间灰度级别的数
量[1]，当一幅图像中灰度级别的数目少于某一预先设定的阈值时便形成了低灰度级分辨率图
像[2]，图1(a)、(b)分别显示了256 级高灰度级分辨率和8 级低灰度级分辨率图像。从图中可
基金项目：国家自然科学基金（60972124）
作者简介：张琳彦，(1988- )，女，硕士研究生，主要研究方向：人脸超分辨率识别
通信联系人：齐春，教授，主要研究方向：图像处理与模式识别，qichun@mail.xjtu.edu.cn
 以看出，虽然图像的空间分辨率没有变化，但由于灰度级分辨率降低，人脸图像的部分细节
丢失，并且在不同灰度级的分界线上产生一些假轮廓，这些因素都降低了图像质量。
（a）256 级高灰度级分辨率人脸图像（b）8 级低灰度级分辨率人脸图像
图1 不同灰度级分辨率的人脸图像
Fig. 1 A face image with different Gray-scale resolution
人脸识别技术在身份认证领域得到了较广泛的应用。图像采集时，无论是空间分辨率还
是灰度级分辨率的降低，都会导致人脸图像细节的丢失，从而影响识别的效果。可以采取2
种途径来提高识别率：一种途径是提高成像设备的性能，获得高质量的图像，但是受到成本
和制作工艺的限制；另一种途径则是通过超分辨率算法重建对应的高分辨率图像或高分辨率
图像的识别特征，从而提高低分辨率图像的识别率。
近十年，已经有大量关于空间分辨率退化的人脸识别算法被提出[3-7]，并在一定程度上
解决了相关问题。但灰度级分辨率退化的问题一直未得到足够重视，关于低灰度级分辨率人
脸识别问题的研究刚开始起步。2001 年Gunturk [1]首次讨论了灰度级分辨率增强问题，并提
出了一种利用凸集投影(POCS)方法，通过结合同一场景的一系列低灰度级分辨率图像的非
冗余信息，得到该场景的高灰度级分辨率图像的方法。2010 年，Han 等[2]首次使用low
gray-scale resolution（LGR）定义了低灰度级分辨率问题，并研究如何从单幅LGR 图像恢复
出相应的high gray-scale resolution（HGR）图像，并重新定义这一过程为gray-scale
super-resolution（GSR）。文章讨论了LGR 图像的人脸识别问题，提出了一种基于学习的使
用CSA[8]的GSR 方法。与Gunturk B K 的方法不同，该方法通过CSA 学习出训练集中原始
HGR图像和相应LGR 图像间的关系，利用该关系重建输入测试LGR 图像对应的HGR图像，
再将其用于人脸识别。该方法重建的HGR 图像相对于原始输入的LGR 图像，灰度级更为
丰富，峰值信噪比 (PSNR, peak signal to noise ratio)和识别率都有了较大幅度的提高。总体
而言，文献[1-2]的方法主要是针对低灰度级分辨率图像的GSR 重建，其目的是改善视觉效
果，以获得更多的细节信息。文献[2]中虽然将重建出的HGR 图像用于识别，但是由于重建
过程比较耗时，不适合在实时性要求较高的场合使用，并且人类视觉系统的研究结果表明，
对图像进行超分辨率得到的高频细节本身并不能提高人脸识别的效果[9]。针对上述工作中所
存在的不足，提出一种实时性较高的基于特征域线性映射的灰度级超分辨率人脸识别算法。
高分辨率人脸图像的识别特征，无论是在识别率还是在计算量方面，均优于先重建高分
辨率人脸图像再进行识别的方法。人脸识别常用全局特征和局部特征两类特征，当图像分辨
率较低时，因为细节丢失过多，局部特征无法用于识别，此时全局特征适合作为低分辨率人
脸图像的特征空间[4]。PCA 特征[10]可以用较少的维度很好地保持人脸图像的全局信息，是
非常有效的全局特征，因此本文选用PCA 空间作为人脸识别的特征空间。文献[11]中证明了
人脸图像特有的结构性质与低、高空间分辨率图像的PCA 特征之间存在近似线性的关系，
并利用正交Procrustes 分析[12-13]建立了两者之间的线性映射关系，实验结果则证实了作者的
假设。
基于此，笔者也假设HGR 人脸图像识别特征与LGR 人脸图像识别特征之间存在线性
的映射关系，并通过正交Procrustes 分析建立两者之间的线性映射。对输入的低灰度级人脸
 图像，通过该线性映射得到其对应的高分辨率识别特征，最后利用最近邻分类器进行分类。
在FERET 人脸表情图库、ORL 图库上的测试结果表明，笔者提出的算法能有效提高识别率。
1 灰度级超分辨率人脸识别问题的数学描述
LGR 图像的GSR 人脸识别问题可以描述为：已知2 个相互对应的高低灰度级分辨率人
脸图像训练集Ψ H 和Ψ L ，输入一幅低灰度级分辨率人脸测试图像ξ L ，求其对应的高灰度级
分辨率人脸图像的识别特征*
U Y ，并进行识别。
分别记去均值后的高、低灰度级分辨率训练人脸图像集合为：
H H H H H
1 1 2 { }m [ , , , ] Nm
i i m
×
= Ψ =Ψ =Ψ Ψ …Ψ ∈R ， (1)
L L L L L
1 1 2 { }m [ , , , ] Nm
i i m
×
= Ψ =Ψ =Ψ Ψ …Ψ ∈R 。(2)
式中：m 表示训练集中训练样本的数目； N 表示每幅图像的像素个数；矩阵右上角的
角标H 和L 分别用来对高、低灰度级分辨率的图像进行区别标记。
选用PCA 空间[10]作为人脸识别的特征空间，对Ψ H 和Ψ L 中的每张图像提取PCA 特征，
将图像投影到特征空间中，表示为：
H ( H)T H i i x =P Ψ , (3)
L ( L)T L i i x = P Ψ 。(4)
式中：PH 和PL 分别是由Ψ H 和Ψ L 中的图像得到的PCA 特征提取矩阵，括号外的上角
标T 表示对矩阵进行转置。则Ψ H 和Ψ L 分别对应的识别特征可表示为：
H H H H H
1 1 2 { }m [ , , , ]
i i= m X =x =x x…x ，(5)
L L L L L
1 1 2 { }m [ , , , ]
i i= m X =x =x x…x 。(6)
对于新输入的去均值后的LGR 测试图像ξ L ，利用L T L
U Y =(P) ξ 提取其PCA 特征。
得到PCA 特征后，主要问题是建立上述得到的高、低分辨率PCA 特征之间的关系，并
对测试图像的PCA 特征进行GSR 重建。
2 基于线性映射的GSR 人脸识别算法
在特征域中的GSR 人脸识别的核心问题是如何建立低、高灰度级分辨率图像识别特征
之间的映射关系。一旦映射关系建立后，即可得到测试LGR 图像对应的高分辨率PCA 特征，
进而利用分类器进行识别。
一般而言，LGR 与HGR 图像（特征）之间的关系是非线性的，但是人脸是一类特殊图
像，它具有特有的面部结构。与HGR 图像相比，同一张人脸的LGR 图像虽然由于灰度等
级减少影响了图像的视觉效果，然而该人脸图像特有的五官位置却没有发生任何变化。可以
认为，在灰度级下降的过程中，人脸图像的整体结构破坏不大。对标定后的人脸图像而言，
相对HGR 图像特征，LGR 图像特征的整体拓扑结构基本保持不变。为了更好地说明这一点，
随机选取了FERET 图库gallery 中的600 幅256 级HGR 图像及其相应的8 级LGR 图像，分
别将HGR 和LGR 图像的PCA 特征集的前两维用不同类型的点显示于图2（a）。如图2（a）
所示，HGR 和LGR 图像特征的拓扑结构相似，2 个点集所占范围以及其中点的分布都大体
相同。这证明了降低了灰度级分辨率却未改变人脸图像特征的整体拓扑结构。
由于LGR 图像的灰度级分辨率不高，图像一些细节信息的丢失，所以HGR 和LGR 图
像特征的拓扑结构不完全相同，如图2（a）中虚线部分及其放大图所示，虽然2 个拓扑结
 构在整体上保持一致，然而在局部，2 个拓扑的相应点之间不能很好地对齐，会显得有些凌
乱、不规则。但是HGR 图像特征与LGR 图像特征的拓扑结构的相似性，使得两者之间存
在近似线性的关系。可以期待通过对LGR 图像特征进行简单的平移、旋转变化使之与HGR
图像特征吻合。正交Procrustes 分析是一种最小二乘估计，它可以较好地保持每个数据集的
内在结构，文献[11-13]对这种方法的成功应用结果显示，该方法可以很好地对2 组数据进行
线性匹配。基于上述特性，引入正交Procrustes 分析[12-13]对HGR 和LGR 的特征进行对齐，
并得到特征之间的映射关系。
-2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
PCA特征的第一维数值
PCA特征的第二维特征
HGR人脸图像特征
LGR人脸图像特征
-2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
PCA特征的第一维数值
PCA特征的第二维数值
HGR人脸图像特征
LGR人脸图像特征
-0.2 -0.1 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
-0.5
-0.4
-0.3
-0.2
-0.1
0.0
0.1
0.2
0.3
PCA特征的第一维数值
PCA特征的第二维数值
HGR人脸图像特征
LGR人脸图像特征
-0.2 -0.1 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
-0.5
-0.4
-0.3
-0.2
-0.1
0.0
0.1
0.2
0.3
PCA特征的第一维数值
PCA特征的第二维数值
HGR人脸图像特征
LGR人脸图像特征
学术论文网Tag：代写代发论文 计算机论文 代发论文 代写工科论文 职称论文发表