WO2013091304A1 - 基于几何图像中中频信息的三维人脸识别方法 - Google Patents

Abstract

一种基于几何图像中中频信息的三维人脸识别方法，步骤如下：（1）对三维人脸的库集模型和测试模型进行预处理，包括三维人脸区域切割、平滑处理和点云稀释，最后切除嘴部附近点集，保留上半张人脸；（2）通过网格参数化将上半张人脸映射至二维网格，对网格顶点的三维坐标线性插值获取各像素点的三维坐标属性，生成三维人脸模型的几何图像；（3）用多尺度哈尔小波滤波器对几何图像进行多尺度滤波，提取水平中频信息图像、垂直中频信息图像以及对角线中频信息图像作为人脸的表情不变特征；（4）用小波域结构化相似度算法计算测试模型和库集模型的相似度；（5）根据测试模型和三维人脸库集的各个库集模型的相似度，判定具有最大相似度的库集模型与测试模型属于同一个体。

Description

基于几何图像中中频信息的三维人脸识别方法 技术领域

本发明涉及一种基于几何图像中中频信息的三维人脸识别方法， 对任一预处理过的 三维人脸模型进行网格参数化和线性插值得到几何图像， 用多尺度哈尔小波滤波器从几 何图像中提取具有身份区分度的中频信息图像作为三维人脸模型的表情不变特征， 用小 波域结构化相似度算法计算测试模型和库集模型的中频信息图像的相似度以判定测试模 型的身份。 本发明提出的三维人脸模型的中频信息图像具有很好的身份表征性， 有效地 减小了表情变化对三维人脸识别造成的影响。 小波域结构化相似度算法精确地计算了测 试模型和库集模型的中频信息图像的结构信息相似度， 显著地提高了三维人脸识别方法 的识别率。

背景技术

生物特征识别在安全领域有着重要的应用， 特别是与指纹、 虹膜等特征识别技术相 比， 自动人脸识别技术以其无接触性、 可接受性高、 隐蔽性好等优点受到越来越多的关 注， 有着巨大的发展空间。

传统的基于照片的人脸识别技术受到光照、 姿态、 化妆等因素的限制， 而三维人脸 识别技术可以克服或减轻这些因素带来的不利影响。 三维人脸模型具有比二维图像更丰 富的信息， 它是对人脸的空间真实形态更准确的描述。 但是， 三维人脸模型数据量较大， 干扰区域较多， 计算量极大， 且人脸表情带来的非刚性形变影响了基于几何信息的三维 人脸识别方法的性能。 因此， 如何减小运算量、 降低人脸表情影响成为三维人脸识别技 术的瓶颈， 也是研究的关键问题。

发明内容

本发明提供一种能够提高识别率的基于几何图像中中频信息的三维人脸识别方法。 本发明采用如下技术方案：

一种基于几何图像中中频信息的三维人脸识别方法， 其特征在于， 分别对测试模型 及库集模型的几何图像进行多尺度哈尔小波滤波， 得到测试模型和库集模型的水平中频 信息图像、 垂直中频信息图像和对角线中频信息图像， 用小波域结构化相似度算法计算 对应中频信息图像的相似度并相加作为测试模型和库集模型的总相似度， 最后根据测试 人脸和三维人脸库集的各个库集人脸的相似度， 判定具有最大相似度的库集模型为识别 结果。 所述处理包括预处理步骤、 中频信息图像提取步骤， 小波域结构化相似度计算步 骤以及识别步骤。

步骤 1 分别对测试模型和库集模型进行预处理， 所述的预处理为：

步骤 1.1 人脸切割

根据人脸点云的形状指数 Shape Index特征和几何约束确定鼻尖点位置， 以该点为球 心， 90mm为半径做球， 舍弃落在球体以外的点， 保留球体内的点并作为后续处理的人脸 区域；

步骤 1.2 人脸表面平滑处理

对切割后的人脸点云用主成分分析法（Principal Component Analysis, PCA)进行姿态校 正， 经主成分分析得到 3个互相垂直的主轴方向， 以鼻尖点为原点， 选取最大的特征值 对应的特征向量作为 轴， 最小特征值对应的特征向量作为 Z轴， 建立右手坐标系， 并 以所述右手坐标系为空间三维坐标系， 人脸点云中每个点由坐标系中 x、 y、 z坐标唯一 表示；

对空间三维坐标系中的人脸点云三角化， 得到空间三角网格， 然后用基于网格的平滑 算法对人脸区域进行平滑去噪， 经过 10次迭代处理， 得到表面平滑的三维人脸网格； 步骤 1.3上半张脸的切割

舍弃三维人脸网格中位于 y = -10平面以下的点，保留受表情影响较小的上半张人脸; 步骤 1.4人脸点云稀释

人脸的点云按照空间距离进行均匀采样， 采样间隔为 lmm， 得到稀释的点云， 对稀 释的点云进行三角网格化， 计算并保存生成的三维人脸网格中每个空间三角面片的边长 γ_Ά , γ_η , γ_η , / = 1,2,…，；；， 其中;；是网格中三角面片的个数， 所有三角面片边长的平 均值为 f， 如果三角面片中存在有长度大于 4f的边， 则舍弃三角面片， 保留三角面片的 顶点；

步骤 2.1 分别将测试模型和库集模型人脸的点云坐标信息映射到平面上，分别形成测 试模型和库集模型的几何图像， 获取几何图像的方法如下：

步骤 2.1.1网格参数化 将预处理后的三维人脸网格的边界点映射到平面上大小为 512 x 512像素的正四边 形的四条边上， 且将三维人脸网格除边界点以外的其它点经过网格参数化映射到正四边 形区域内， 得到平面网格 ^， 以平面上正四边形任一顶点为原点， 以与原点相交的两条 边所在方向为正方向， 建立逆时针坐标系 MON, 平面上的任意点由 m、 n坐标唯一表示， 在正四边形的四条边上， 按照逆时针方向从原点开始均匀采样 b个点， 采样点的坐标为 t = \X-b , 其中 b是三维人脸网格的边界点个数； 记/ _¾为三维人脸网格的顶点， = 1,2,···, r， r为顶点个数， 映射到正四边形区域内的 对应点的坐标为（《^, ；)， m_q、 是以下线性方程的解：

0 0 _W > _D ·>

q = ⁼ ，^V/_¾≡^B

其中 ·是三维人脸网格的拉普拉斯 Laplacian矩阵， 是三维人脸网格边界点的集合; 步骤 2.1.2 生成几何图像

将人脸网格顶点/ _¾ =(x_¾,) _¾)的三维坐标附加在对应点（《 )上， 作为点（《^, ）的 属性， 再用线性插值方法确定正四边形区域内各像素点的属性， 得到具有三维坐标属性 的二维图像， 称为几何图像 G;

步骤 2.2 分别对测试模型和库集模型的几何图像 G滤波，得到测试模型和库集模型的 中频信息， 几何图像的滤波采用如下方法：

步骤 2.2.1对几何图像 G进行多尺度哈尔 Haar小波滤波 步骤 2.2.1.1利用哈尔转换矩阵 H 4 1 1

对几何图像 G依次进行行变换和列变 1 -1 换， 得到低频系数的集合以及水平、 垂直和对角线高频系数的集合， 将低频系数的集合 记为 L , 水平、 垂直和对角线高频系数的集合分别记为 HLp LH BHH_{1 ;} 步骤 2.2.1.2按照步骤 2.2.1.1，对低频系数集合 再次进行哈尔小波滤波，输出第二 次滤波的低频系数集合和水平、 垂直、 对角线高频系数集合， 分别记为 LL₂、 HL₂、 LH₂ 和 HH₂， 如此循环滤波 5次， 每次滤波以前次滤波得到的低频系数集合为输入， 输出新 的低频系数集合和水平、 垂直、 对角线高频系数集合；

步骤 2.2.2 提取中频信息图像

提取并保存最后一次滤波输出的水平高频系数集合 HL₅，垂直高频系数集合 LH₅和对 角线高频系数集合 HH ， 以 HL ， LH和 HH 中的元素为像素的属性，构成三幅 16x16像 素大小的图像， 称为水平中频信息图像、 垂直中频信息图像和对角线中频信息图像； 步骤 3用小波域结构化相似度算法分别计算测试模型和库集模型的相似度， 计算方 法如下：

步骤 3. 1 计算测试模型的水平中频信息图像与库集模型的水平中频信息图像的相似 s_HL, 测试模型的垂直中频信息图像与库集模型的垂直中频信息图像的相似度 _H， 测 试模型的对角线中频信息图像与库集模型的对角线中频信息图像的相似度^ ^， 将^ ^、

S_LH、 S_HH相加作为测试模型和库集模型的相似度， 所述的^ ^、 S_LH、 S_HH分别使用待匹 配的水平中频信息图像、 垂直中频信息图像和对角线中频信息图像并采用小波域结构化 相似度算法得到， 所述的小波域结构化相似度算法为：

步骤 3.1.1 根据水平中频信息图像、垂直中频信息图像和对角线中频信息图像的每个 像素点的 x， y, z 的三个属性， 分别将水平中频信息图像、 垂直中频信息图像和对角线 中频信息图像的所有像素的 X属性按照所属像素的顺序排列， 并分别构成水平中频信息 图像、 垂直中频信息图像和对角线中频信息图像的 X通道， 以此类推， 分别构成并得到 水平中频信息图像、 垂直中频信息 图像的 y通道和 z通道， 记为：

其中 为^、 或 z， 表示为 X通道、 y通道或 ζ通道， ^为 (^中第 1行第 素， ₂为 (^中第 1行第 2列的元素，……，（^为 中第 2行第 1列的元素， "16,16 为 中第 16行第 16列的元素， 将所述水平中频信息图像、垂直中频信息图像或对角线 中频信息图像称为中频信息图像， 计算两幅待匹配中频信息图像的 X通道的相似度 ^ 、 y通道的相似度 ^ 及 z通道的相似度 ， 将^、 ^和 相加作为对应的两幅待匹配中 频信息图像的相似度 S_w、 „或 S ， 所述 ^、 由以下方法得到：

用 C; 表示测试模型的一幅中频信息图像的 x、 y或 z通道，

C 表示库集模型的对应中频信息图像的同一通道， 其中，

示 来自测试模型， g表示 来自库集模型，用《和；5表示 (^和 中元素的行数和列 α-1,β-1 ^Ca

数， 用 (^(«, ) 'α,β 表示 (^中的 3x3像素邻域， 元素 为 (^中

■■α+Ι,β+1

^Ca-l, -l ^Ca-l, ^C α-Ι,β+l

的 3x3像素邻域的中心元素，用 s s s

^α,β-Ι ^L α,β ^α, +Ι 表示中的 3x3像素邻 S s s

^α+Ι,β-Ι ^α+Ι, ^α+Ι,β+Ι

域，元素 c_a ^g _P为 中的 3 χ 3像素邻域的中心元素， ,_β和 c_a ^g _p的结构相似度 (aH

其中， _ei、 表示 (^(«, )和 C (a, )中元素的行下标和列下标， （ ₂ 是 ,_ε2的共 轭值；

令 α = 2,3, ---,15, β = 2,3, · · · ,15，取 的平均值作为 C_p ^x和 的结构相似度：

步骤 4三维人脸的身份识别

重复步骤 1~3， 得到测试模型和各个库集模型的相似度， 比较测试模型和各个库集模 型的相似度， 将相似度最大的库集模型与测试模型判定为同一个体。

本发明针对三维人脸识别中的表情变化问题提出了一种以中频信息图像作为表情不 变特征， 用小波域结构化相似度算法计算测试模型和库集模型相似度的三维人脸识别方 法。

从视觉角度出发，三维人脸模型描述的人脸信息包括三个部分：表征人脸轮廓外观的 整体信息， 表示人脸自身特征的细节信息和表示人脸表面细微纹理的噪声信息。 在人脸 有表情变化尤其是嘴部张开时， 轮廓外观即整体信息会产生较大形变而人脸自身特征即 细节信息不会随之改变。 因此我们选择三维人脸的细节信息作为表情不变特征， 把测试 模型和库集模型的匹配转化成表情不变特征之间的匹配。 本发明将三维人脸模型映射至 几何图像，然后用多尺度哈尔小波滤波器将几何图像分解为包含不同频段信息的子图像， 其中位于中频段的信息对应细节信息， 将包含中频段信息的子图像提取出来作为三维人 脸的表情不变特征， 称为中频信息图像。 最后用小波域结构化相似度算法计算测试模型 和库集模型的中频信息图像的相似度， 比较测试模型与三维人脸库集的各个库集模型的 相似度， 判定具有最大相似度的库集模型与测试模型属于同一个体。

本发明的优点及特点如下：

1) 对人脸点云进行了稀释。一般情况下， 点云越密集包含的信息越多， 但处理的时间越 长，一直以来这都需要一再权衡。而在生成几何图像时， 网格参数化和线性插值算法 不会因为点云稀释而失去大量有用信息。相反地， 如果不进行稀释， 想要得到三维人 脸模型的几何图像， 运算量将成几何倍数增加， 严重影响识别效率和实时性。

2) 将三维人脸的形状信息转换到频域，提取中频信息图像作为表情不变特征。本发明通 过多尺度哈尔小波滤波器将人脸信息转换至频域，并把频域信息分解至互不重叠的频 段上， 其中低频段的信息对应人脸的整体信息， 中频段的信息对应人脸的细节信息， 高频段的信息对应噪声信息。由于人脸的细节信息具有较高的身份区分度以及表情不 变性，本发明提取包含中频信息的子图像作为三维人脸识别的特征，并称为中频信息 图像。此外， 多尺度哈尔小波滤波器能够生成水平、垂直和对角线方向的中频信息图 像， 其中水平中频信息图像反映人脸沿水平方向的边缘信息， 体现了眼睛、嘴巴的水 平特征；垂直中频信息图像包含人脸垂直方向的边缘信息，体现了人脸的鼻子等垂直 特征； 对角线中频信息图像保持了人脸对角线方向的边缘信息。将水平、垂直和对角 线中频信息图像共同作为三维人脸的表情不变特征，能够全面地捕捉和表现三维人脸 的细节信息， 具有较强的表情鲁棒性。

3) 采用了小波域结构相似度算法计算相似度。小波域结构相似度算法是结构相似度算法 在小波域的推广和改进，这种算法继承了结构相似度算法的优点并且更适合小波域中 中频信息图像的相似度计算。结构相似度算法按照人类视觉系统感知图像的方式，定 量地计算待匹配图像的结构信息差异。本发明在小波域中分别计算测试模型和库集模 型水平、垂直和对角线中频信息图像的结构相似度，并根据中频信息图像相似度的总 和判断测试人脸的身份。由于人脸不同区域的局部特征包含了丰富的细节信息， 因此 在计算测试模型和库集模型的相似度时，本发明分别计算测试模型的中频信息图像各 像素点与库集模型的对应中频信息图像对应像素点的局部结构相似度，最后把各局部 相似度的平均值作为对应中频信息图像的相似度。相对于传统的基于误差的相似度算 法，本发明使用的小波域结构相似度算法能够得到符合人类视觉系统感知习惯的识别 结果， 在一定程度上提高了三维人脸识别系统的识别精度。

附图说明

图 1是本发明所述三维人脸识别方法的流程图

图 2是原始人脸

图 3是平滑的上半张人脸

图 4是点云稀释后的上半张人脸

图 5是参数化网格

图 6是几何图像的灰度图

图 7是多尺度小波滤波示意图

图 8是水平、 垂直和对角线中频信息图像

图 9是识别方法的示意图

图 10是几何图像的彩色图

具体实施方式：

下面参照附图，对本发明具体实施方案做更为详细的描述。编程实现工具选用 Matlab R2009a ,实验数据来自 FRGC v2.0三维人脸数据库，由美国 University of Notre Dame采集， 数据库包括 466人的 4007幅三维人脸模型， 主要在 2003年秋季和 2004年春季采集。本 文将每个人的第一幅三维人脸作为库集模型， 其余均作为测试模型；

图 1是本发明所述三维人脸识别方法的流程图；

图 5是参数化网格， 对预处理后的三维人脸网格进行网格参数化， 将其映射到平面 上大小为 512 x 512像素的二维网格上； 图 6 是几何图像的灰度图， 将人脸网格顶点的三维坐标附加在参数化网格的对应顶 点上， 再用线性插值方法确定正四边形区域内各像素点的属性， 得到具有三维坐标属性 的二维几何图像， 即人脸的几何图像， 本图将几何图像以灰度图的形式显示；

图 7是多尺度哈尔小波滤波示意图， 首先用哈尔变换矩阵对几何图像依次进行行变 换和列变换， 得到低频系数的集合以及水平、 垂直和对角线方向的高频系数的集合， 对 低频系数的集合再次进行哈尔小波滤波， 输出新的低频系数的集合以及新的水平、 垂直 和对角线方向的高频系数集合， 如此循环滤波， 每次滤波以前次小波滤波输出的低频系 数的集合为输入， 输出新的低频的系数集合和水平、 垂直、 对角线方向高频系数的集合; 图 8是水平、 垂直和对角线中频信息图像， 第 5次哈尔小波滤波输出的水平、 垂直 和对角线高频系数的集合构成水平、 垂直和对角线中频信息图像 HL₅， LH₅， HH₅ ; 图 9是识别方法的示意图， 对于一个测试模型与 个库集模型， 计算测试模型与各库 集模型的相似度， 判断具有最大相似度的库集模型与测试模型属于同一个体；

图 10是几何图像的彩色图。 几何图像的各个像素点具有三维坐标 X、 y、 Z属性， 本 图将 x、 y、 z属性作为彩色图像的 RGB属性， 把几何图像以彩色图的形式显示， 本图与 图 6为同一幅几何图像。

对测试模型和库集模型的处理步骤包括预处理步骤、 中频信息图像提取步骤、 小波域 结构相似度计算步骤和识别步骤。

步骤 1分别对测试模型和库集模型进行预处理， 所述的预处理为：

步骤 1.1 人脸切割

根据人脸点云的形状指数 Shape Index特征和几何约束确定鼻尖点的位置。人脸点云上 任一点 tv的形状指数 5 (M)由它的最大主曲率/ ^ ( )和最小主曲率 /r₂ ( )确定：

SI(u) = tan ― ——。

2 π K^u) - K₂ (U) 形状指数特征可以表示一个点所在邻域的凸凹程度， 越凸的曲面对应的形状指数越 大。 计算人脸点云中每一个点的形状指数， 选取形状指数在范围 （0.85-1.0) 内的点组成 的连通区域作为初始的鼻尖点候选区域。 计算人脸点云的质心位置， 在鼻尖候选区域选 择靠质心位置最近的一个连通区域作为鼻尖区域。 选取鼻尖区域的质心作为鼻尖点。

以鼻尖点为球心， 90mm为半径做球， 舍弃落在球体以外的点， 保留球体内的点作为 后续处理的人脸区域。

步骤 1.2 人脸表面平滑处理

对切割后的人脸点云用主成分分析 （Principal Component Analysis, PCA) 法进行姿态 校正， 经主成分分析得到 3个互相垂直的主轴方向， 以鼻尖点为原点， 选取最大的特征 值对应的特征向量作为 轴， 最小特征值对应的特征向量作为 Z轴， 建立右手坐标系， 并以所述右手坐标系为空间三维坐标系， 人脸点云中每个点由坐标系中 x、 y、 z坐标唯 一表示。 将空间三维坐标系中的人脸点云投影到 XOY平面， 然后进行投影点云的二维网格化 操作， 用点云的 2.5 维网格化算法进行曲面重构， 得到近似表征人脸曲面的空间三角网 格 。 空间三角网格 的顶点即三维坐标系中人脸点云的点记为 J = 1,2,···,//， 是 的 顶点个数， 设矩阵 W e /T^{x /}， 其中 R^表示 x 的实数空间， 当点 ^和点 之间没有 边时， =0， 当点 ν,·和 之间有边时， w(, ) = i¾ > o。 ·是与 v_;和 的边 相 关的余割权重 = οοΙ(θ_ν ) + cot(^.. ), 其中 ， ς_ϋ表示边 (I, j)所在的两个相邻三角面片 中， 与边 相对的两个角。 构建局部平滑算子 = ΤΗ^， 其中 ) = 'ί^( ）且 ^di =∑ .、 i ' ^B 是空间三角网格 ^中所有边界点的集合。 将 迭代地作用在空间三 维网格 f上， 得到表面平滑的三维人脸网格 y :

V = w^wv。

步骤 1.3 上半张脸的切割

舍弃三维人脸网格 Ϋ中位于; y = -10平面以下的点， 保留受表情影响较小的上半张人 脸。

步骤 1.4 人脸点云稀释

采用空间采样法对上半张人脸的点进行稀释。 这种稀释数据的方法简单有效， 能够 在不失真的前提下縮减点的数目， 并且能得到在空间较均匀的点。 应用空间采样法时， 本发明取空间间隔距离 σ为 lmm。 具体的稀释方法如下：

求出待稀释的上半张人脸每个点的 σ邻域， 即与每个点的距离小于 σ的点的集合； 并对每个点增加一个 //ag标志， 初始化为 Γ。 从第一个点开始， 先看自身的 //ag标志是 否为 F， 如果为 f则查看下一个点， 如果为 Γ则查看其 σ邻域中每个点的 //ag标志， 将邻 域点中 flag为 T的点置为 F。 最后将所有 flag标志为 F的点删除， 得到稀释后的上半张 人脸模型。

对稀释后的上半张人脸模型再次进行三角网格化， 生成 7；个三角面片。 计算并保存 生成的三维人脸网格中每个空间三角面片的边长^， γ_η, γ , 1 = 1,2,-,η, 所有三角面 片边长的平均值为 f， 如果三角面片中存在有长度大于 4f的边， 则舍弃三角面片， 保留 三角面片的顶点。

至此，预处理过程将测试模型和库集模型转换成具有相同的光滑程度和密集程度的三 维人脸网格。

步骤 2.1 分别将测试模型和库集模型人脸的点云坐标信息映射到平面上， 分别形成 测试模型和库集模型的几何图像， 获取几何图像的方法如下：

2.1.1 网格参数化

将预处理后的三维人脸网格的边界点映射到平面上大小为 512x512像素的正四边 形的四条边上， 且将三维人脸网格除边界点以外的其它点经过网格参数化映射到正四边 形区域内， 得到平面网格 ^， 以平面上正四边形任一顶点为原点， 以与原点相交的两条 边所在方向为正方向， 建立逆时针坐标系 MON, 平面上的任意点由 m、 n坐标唯一表示， 在正四边形的四条边上， 按照逆时针方向从原点开始均匀采样 b个点， 采样点的坐标为

(m_f°,»_f ⁰), t = l2,—b， 其中 b是三维人脸网格的边界点个数。 记/ _¾为三维人脸网格的顶点， q二 1,2 ··,τ， r为顶点个数， 映射到正四边形区域内的 对应点的坐标为（《^, ）， m_q、 是以下线性方程的解：

其中 ·是三维人脸网格的拉普拉斯 Laplacian矩阵， 是三维人脸网格边界点的集合。 步骤 2.1.2 生成几何图像

将人脸网格顶点/ _¾ =(x_¾,3 ¾)的三维坐标附加在对应点（《 )上， 作为点（《^, ）的 属性， 再用线性插值方法确定正四边形区域内各像素点的属性， 得到具有三维坐标属性 的二维图像， 称为几何图像 G。

步骤 2.2 分别对测试模型和库集模型的几何图像 G滤波， 得到测试模型和库集模型 的中频信息， 几何图像的滤波采用如下方法：

步骤 2.2.1 对几何图像 G进行多尺度哈尔 Haar小波滤波

步骤 2.1.1.1 将大小为 512x512像素的几何图像 G分割成 2x2像素大小的区块， 利 用哈尔转换矩阵 H 对每一区块进行哈尔小波滤波。 用 A G

1 - 1 a、

中的某一区块， o_u， a₁₂ , a₂₁ , 和 α₂₂是区块中的元素， 对 Α 进行哈尔小波滤波即对 A 依次进行行变换和列变换：

A = H¹ AH =

a 21 a 22 Ϊ是经过哈尔小波滤波后的区块， 其中 是区块 \的低频近似系数， ₂是区块 \的水 平高频分量， i是区块 A的垂直高频分量， ₂是区块 A的对角线高频分量。

几何图像 G 的所有区块进行哈尔小波滤波后， 将所有区块的低频近似系数按照所属 区块的顺序排列， 构成低频系数的集合 ZA， 水平高频分量按照所属区块的顺序排列， 构 成水平高频系数的集合 HL_{1 ;} 垂直高频分量按照所属区块的顺序排列， 构成水垂直高频 系数的集合 LH 对角线高频分量按照所属区块的顺序排列， 构成对角线高频系数的集 合 HHi 步 I

.， 对低频系数集合 再次进行哈尔小波滤波， 输出第 二次滤波的低频系数集合和水平、垂直、对角线高频系数集合，分别记为 LL₂、 HL₂、 LH₂ 和 HH₂。 如此循环滤波 5次， 每次滤波以前次滤波输出的低频系数集合为输入， 输出新 的低频系数集合和水平、 垂直、 对角线高频系数集合。

步骤 2.2.2 提取中频信息图像

提取并保存最后一次滤波输出的水平高频系数集合 HL₅，垂直高频系数集合 LH₅和对 角线高频系数集合 HH₅， 以 HL₅， ^₅和^₅中的元素为像素的属性，构成三幅 16 x 16像 素大小的图像， 称为水平中频信息图像、 垂直中频信息图像和对角线中频信息图像。

至此， 三维人脸网格转换为水平、垂直中频信息图像和对角线中频信息图像， 测试模 型和库集模型的匹配转化为对应中频信息图像的匹配。

步骤 3 用小波域结构化相似度算法分别计算测试模型和库集模型的相似度， 计算方 法如下：

1 1 步骤 3. 1 计算测试模型的水平中频信息图像与库集模型的水平中频信息图像的相似 度 S_HL , 测试模型的垂直中频信息图像与库集模型的垂直中频信息图像的相似度 _H， 测 试模型的对角线中频信息图像与库集模型的对角线中频信息图像的相似度^ ^， 将^ ^、

S_LH、 S_HH相加作为测试模型和库集模型的相似度， 所述的^ ^、 S_LH、 S_HH分别使用待匹 配的水平中频信息图像、 垂直中频信息图像和对角线中频信息图像并采用小波域结构化 相似度算法得到， 所述的小波域结构化相似度算法为：

步骤 3.1.1 根据水平中频信息图像、 垂直中频信息图像和对角线中频信息图像的每 个像素点的 X， y, Z的三个属性， 分别将水平中频信息图像、 垂直中频信息图像和对角 线中频信息图像的所有像素的 X属性按照所属像素的顺序排列， 并分别构成水平中频信 息图像、 垂直中频信息图像和对角线中频信息图像的 X通道， 以此类推， 分别构成并得 到水平中频信息图像、 垂直中频信息图像和对角线中频信息图像的 y通道和 z通道， 记 为：

其中 为 x、 y或 z， 表示为 x通道、 y通道或 z通道， ^为 (^中第 1行第 素， c_{1 2}为 (^中第 1行第 2列的元素，……， c_{2 1}为 (^中第 2行第 1列的元素， "16,16 为 中第 16行第 16列的元素， 将所述水平中频信息图像、垂直中频信息图像或对角线 中频信息图像称为中频信息图像， 计算两幅待匹配中频信息图像的 X通道的相似度 ^ 、 y通道的相似度 ^ 及 z通道的相似度 ， 将 ^、 和 相加作为对应的两幅待匹配中 频信息图像的相似度 S_w、 „或 S ， 所述 ^、 s 由以下方法得到：

用 C: 表示测试模型的一幅中频信息图像的 x、 y或 z通道，

表示库集模型的对应中频信息图像的同一通道， 其中， p表

示 来自测试模型， g表示 来自库集模型，用 α和 表示 (^和 中元素的行数和列 数， 用 中的 3x3像素邻域， 元素 为 (^中

的 3x3 表示中的 3x3像素邻

域，元素 c_a ^g _P为 中的 3 X 3像素邻域的中心元素， ,_β和 c_a ^g _p的结构相似度 (aH

+ 0.1) s^x{a, ) =

(∑ ∑^ ₂|² +∑ ∑ — +。._1X2∑ l+o.i) 其中， _ei、 表示 (^(«, )和 C (a, )中元素的行下标和列下标， （c ₂)*是 ,_ε2的共轭 值。

令 = 2,3,···,15， β = !,?>,■■■, 15, 取 的平均值作为 (^和 的结构相似度：

(«， )

步骤 4三维人脸的身份识别

重复步骤 1~3， 得到测试模型和各个库集模型的相似度， 比较测试模型和各个库集模型 的相似度， 将相似度最大的库集模型与测试模型判定为同一个体。

Claims

权利要求书

1. 一种基于几何图像中中频信息的三维人脸识别方法， 包括以下步骤：

步骤 1 分别对测试模型和库集模型进行预处理， 所述的预处理为：

步骤 1.1 人脸切割

根据人脸点云的形状指数 Shape Index特征和几何约束确定鼻尖点位置， 以该点为球 心， 90mm为半径做球， 舍弃落在球体以外的点， 保留球体内的点并作为后续处理的人脸 区域；

步骤 1.2 人脸表面平滑处理

对切割后的人脸点云用主成分分析法 （Principal Component Analysis, PC A) 进行姿态 校正， 经主成分分析得到 3 个互相垂直的主轴方向， 以鼻尖点为原点， 选取最大的特征 值对应的特征向量作为 ； F轴， 最小特征值对应的特征向量作为 Z轴， 建立右手坐标系， 并以所述右手坐标系为空间三维坐标系， 人脸点云中每个点由坐标系中 c、 y, z坐标唯一 表示；

对空间三维坐标系中的人脸点云三角化， 得到空间三角网格， 然后用基于网格的平滑 算法对人脸区域进行平滑去噪， 经过 10次迭代处理， 得到表面平滑的三维人脸网格； 步骤 1.3 上半张脸的切割

舍弃三维人脸网格中位于 y = -10平面以下的点， 保留受表情影响较小的上半张人 脸；

步骤 1.4 人脸点云稀释

人脸的点云按照空间距离进行均匀采样， 采样间隔为 lmm， 得到稀释的点云， 对稀释 的点云进行三角网格化， 计算并保存生成的三维人脸网格中每个空间三角面片的边长 γ_η , γ_η , γ_η , / = 1,2,…，；；， 其中;；是网格中三角面片的个数， 所有三角面片边长的平均 值为 ^， 如果三角面片中存在有长度大于 4j7的边， 则舍弃三角面片， 保留三角面片的顶 点；

步骤 2.1 分别将测试模型和库集模型人脸的点云坐标信息映射到平面上， 分别形成测 试模型和库集模型的几何图像， 获取几何图像的方法如下：

步骤 2.1.1 网格参数化

将预处理后的三维人脸网格的边界点映射到平面上大小为 512 x 512像素的正四边形 的四条边上， 且将三维人脸网格除边界点以外的其它点经过网格参数化映射到正四边形 区域内， 得到平面网格 ^， 以平面上正四边形任一顶点为原点， 以与原点相交的两条边 所在方向为正方向， 建立逆时针坐标系 MON， 平面上的任意点由 m、 n坐标唯一表示， 在正四边形的四条边上， 按照逆时针方向从原点开始均匀采样 b 个点， 采样点的坐标为 (m_f°,»_f ⁰), t = \,2,-b, 其中 b是三维人脸网格的边界点个数；

记/ _¾为三维人脸网格的顶点， g = l,2,— ,r， r为顶点个数， 映射到正四边形区域内的 对应点的坐标为（m。，《。）， m_a、 是以下线性方程的解：

Lm_q =Ln_q =0,Vf_q ^B

="，^νΛ ^e£，

其中 L 是三维人脸网格的拉普拉斯 Laplacian 矩阵， β是三维人脸网格边界点的集 合. 步骤 2.1.2 生成几何图像

将人脸网格顶点/ _¾ =(x_¾,3 _¾)的三维坐标附加在对应点（《 )上， 作为点（《^, ）的 属性， 再用线性插值方法确定正四边形区域内各像素点的属性， 得到具有三维坐标属性 的二维图像， 称为几何图像 G;

步骤 2.2 分别对测试模型和库集模型的几何图像 G滤波， 得到测试模型和库集模型的 中频信息， 几何图像的滤波采用如下方法：

步骤 2.2.1 对几何图像 G进行多尺度哈尔 Haar小波滤波

1 1

步骤 2.2.1.1 利用哈尔转换矩阵 H= 对几何图像 G依次进行行变换和列变

1 -1

换， 得到低频系数的集合以及水平、 垂直和对角线高频系数的集合， 将低频系数的集合 记为 Z ， 水平、 垂直和对角线高频系数的集合分别记为 HL^ LH BHH_{1 ;}

步骤 2.2.1.2 按照步骤 2.2.1.1， 对低频系数集合 再次进行哈尔小波滤波， 输出第二 次滤波的低频系数集合和水平、 垂直、 对角线高频系数集合， 分别记为 LL₂、 HL₂、 LH₂ 和 HH₂， 如此循环滤波 5 次， 每次滤波以前次滤波得到的低频系数集合为输入， 输出新 的低频系数集合和水平、 垂直、 对角线高频系数集合；

步骤 2.2.2 提取中频信息图像

提取并保存最后一次滤波输出的水平高频系数集合 HL₅， 垂直高频系数集合 LH₅和对 角线高频系数集合 HH₅， 以 HL₅， ^₅和^₅中的元素为像素的属性， 构成三幅 16x16 像素大小的图像， 称为水平中频信息图像、 垂直中频信息图像和对角线中频信息图像； 步骤 3 用小波域结构化相似度算法分别计算测试模型和库集模型的相似度， 计算方 法如下： 步骤 3. 1 计算测试模型的水平中频信息图像与库集模型的水平中频信息图像的相似 度 S_HL , 测试模型的垂直中频信息图像与库集模型的垂直中频信息图像的相似度^ ^ 测 试模型的对角线中频信息图像与库集模型的对角线中频信息图像的相似度^ ^， 将^ ^、 S_LH、 S_HH相加作为测试模型和库集模型的相似度， 所述的^ ^、 S_LH、 S_HH分别使用待匹 配的水平中频信息图像、 垂直中频信息图像和对角线中频信息图像并采用小波域结构化 相似度算法得到， 所述的小波域结构化相似度算法为：

步骤 3.1.1 根据水平中频信息图像、 垂直中频信息图像和对角线中频信息图像的每个 像素点的; c， y , z的三个属性， 分别将水平中频信息图像、 垂直中频信息图像和对角线中 频信息图像的所有像素的 属性按照所属像素的顺序排列， 并分别构成水平中频信息图 像、 垂直中频信息图像和对角线中频信息图像的 c通道， 以此类推， 分别构成并得到水平 中频信息图像、 垂直中频信息图像和对角线中频信息图像的 y通道和 z通道， 记为： c， c，

其中 为^、 y或 z， 表示为; c通道、 y通道或 z通道， c_u为 中第 1行第 1列的元 素， ₂为 (^中第 1行第 2列的元素， ……， （：_{2 1}为 (^中第 2行第 1列的元素， ……， c_1W6为 <^中第 16行第 16列的元素， 将所述水平中频信息图像、 垂直中频信息图像或对 角线中频信息图像称为中频信息图像， 计算两幅待匹配中频信息图像的； c通道的相似度 s^x 、 y通道的相似度 及 z通道的相似度 ^ ， 将 、 ^和 相加作为对应的两幅待匹 配中频信息图像的相似度 S_m、 „或5„„， 所述 、 s ^y , 由以下方法得到：

表示测试模型的一幅中频信息图像的 C、 y或 Z通道，

库集模型的对应中频信息图像的同一通道， 其中，

示 (^来自测试模型， g表示 来自库集模型， 用《和 表示 和 中元素的行数和列 数， 用 c a ) 表示 中的 3x3像素邻域， 元素 c

^€α-1,β-1 ^C χ-Ι,β+l

的 3x3像素邻域的中心元素， 用 (^(«, ) 表示中的 3x3像素邻 c α+Ι,β+Ι

域， 元素 为 中的 3x3像素邻域的中心元素， 和 的结构相似度

其中， _ei、 表示 <^(«, )和 C («, )中元素的行下标和列下标， 是 ,_ε2的共轭 值；

令 α = 2,3,···,15， β = !,?>,■■■, 15 , 取 的平均值作为 (^和 的结构相似度：

_;

步骤 4三维人脸的身份识别

重复步骤 1~3， 得到测试模型和各个库集模型的相似度， 比较测试模型和各个库集模型的 相似度， 将相似度最大的库集模型与测试模型判定为同一个体。