WO2017219391A1 - 一种基于三维数据的人脸识别系统 - Google Patents

一种基于三维数据的人脸识别系统 Download PDF

Info

Publication number
WO2017219391A1
WO2017219391A1 PCT/CN2016/089294 CN2016089294W WO2017219391A1 WO 2017219391 A1 WO2017219391 A1 WO 2017219391A1 CN 2016089294 W CN2016089294 W CN 2016089294W WO 2017219391 A1 WO2017219391 A1 WO 2017219391A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
data
depth
image
dimensional
Prior art date
Application number
PCT/CN2016/089294
Other languages
English (en)
French (fr)
Inventor
夏春秋
Original Assignee
深圳市唯特视科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市唯特视科技有限公司 filed Critical 深圳市唯特视科技有限公司
Publication of WO2017219391A1 publication Critical patent/WO2017219391A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the invention relates to a face recognition system, in particular to a face recognition system for three-dimensional depth face data.
  • 3D face recognition Compared with two-dimensional face recognition, 3D face recognition has the advantages of its robustness to illumination, small influence on posture and expression, etc. Therefore, after the rapid development of 3D data acquisition technology and the improvement of the quality and precision of 3D data, Many researchers have invested their research in this field.
  • 3D face recognition is the fundamental work of many applications in the 3D face field.
  • Most of the initial work in this field is to use the information of three-dimensional data: such as curvature, depth, etc. to describe the face, but because of the noise of many data in the collection of three-dimensional data, the characteristics such as curvature are sensitive to noise.
  • the characteristics make the feature description vector of the 3D face not accurate on the recognition result; after mapping the 3D data to the depth map data, the representation features of many 2D faces are applied to the field, such as principal component analysis.
  • PCA PCA and Gabor filter features
  • PCA features due to their global representational features, the ability to describe detailed textures for 3D data is insufficient
  • Gabor filter features due to 3D data
  • the noise problem causes its ability to describe 3D face data to depend on the quality of the acquired 3D face data.
  • CN Pat. No. 201010256907 proposes a correlation feature of a three-dimensional bending invariant for performing facial feature description.
  • the method extracts the bending invariant correlation feature by encoding the local features of the bending invariants of the adjacent nodes on the three-dimensional face surface; signing the relevant features of the bending invariant and performing spectral reduction using the spectral regression to obtain the principal component, and
  • the K-nearest neighbor classification method is used to identify three-dimensional faces.
  • the further application of the method is limited in efficiency.
  • the present invention extracts the feature region of the three-dimensional face region for positioning; and then first determines whether the three-dimensional point cloud contains a qualified three-dimensional face according to the special region, and initially evaluates the three-dimensional data quality in the point cloud layer; If there is a qualified nose tip area, the area is used as the reference data for registration; after the data registration, the point cloud data is mapped into a depth image according to the preset x, y, z resolution and position information; after the face depth image is obtained The face data quality evaluation is performed again; the depth face data after the evaluation is qualified for texture restoration, the data denoising and the depth texture are further optimized; finally, the visual dictionary histogram vector extraction of the three-dimensional data is performed according to the trained three-dimensional face visual dictionary. , using a classifier to achieve three-dimensional face recognition.
  • the object of the present invention is to provide a complete three-dimensional face recognition solution, which includes: data feature region extraction, data registration, data preprocessing, data quality assessment, feature extraction
  • the present invention discloses a face recognition system based on three-dimensional data.
  • a face recognition system based on three-dimensional data comprising: a three-dimensional face point cloud data input calculation unit; a face specific area detection calculation unit; a data registration calculation unit; a depth face data mapping calculation unit; a depth face image evaluation unit Computation unit; depth face texture repair calculation unit; depth face feature extraction calculation unit; 3D face recognition calculation unit.
  • the invention comprises the following steps:
  • the step A supports data input of various types of three-dimensional point cloud collection devices.
  • the step B includes the following steps:
  • Step 1 Determine the threshold of the average negative effective energy density of the domain, defined as thr;
  • Step 2 extracting face data in a certain depth range as data to be processed by using depth information of the data;
  • Step 3 Calculate the normal vector information of the face data selected by the depth information
  • Step 4 According to the definition of the regional average negative effective energy density, obtain the average negative effective energy density of each connected domain in the data to be processed, and select the connected domain with the largest density value;
  • Step 5 When the threshold of the area is greater than the predefined thr, the area is the nose tip area, otherwise it returns to step one to continue.
  • the step C includes the following steps:
  • Step 1 Prepare a data of the nose tip area corresponding to the standard posture in the template library
  • Step 2 After obtaining the registered reference area, calculate the matrix of 3*3, and the formula is as follows:
  • Step 3 Calculate the rotation matrix R and the translation matrix t.
  • Step 4 Acquire a three-dimensional spatial transformation matrix between two sets of three-dimensional data points to achieve registration of two point sets.
  • the obtained face nose region is used as a reference reference for the center position of the depth image data, and the x-axis and the y of the space coordinate system are The axis information is mapped to the image coordinate system information of the face depth image; the specific calculation process is as follows:
  • the nose point is N(x, y, z), then the image coordinates of the spatial point P(x1, y1, z1) are:
  • width is the width of the depth image and height is the height of the depth image
  • the depth resolution Z ref is preset according to the depth precision of the three-dimensional point cloud data, and the z-axis information of the spatial coordinate system is used as a reference for mapping the depth value of the face depth image, and the formula is as follows:
  • the step E includes the calculation of the depth feature face and the depth image data quality evaluation, and includes the following steps:
  • Step 2 Adding N depth face images in the training set to the corresponding dimensions and averaging, the average face of the depth image can be obtained; subtracting the depth average face from the N depth images to obtain the difference image data matrix ⁇ ;
  • Step 4 Deep face images can be projected into the space formed by these feature faces for approximate calculation.
  • the depth image data quality assessment calculation process is as follows:
  • the process is divided into two stages of training and evaluation: in the training stage, as shown in Fig. 5(a), the feature face of the deep face image is trained, and the depth image space is formed as a basis; in the evaluation stage, For the input depth face image, map it to a point in the depth feature face space, and obtain an approximate depth face image characterized by the depth feature face;
  • the approximate image is compared with the original image. If the difference is greater than a certain threshold, it indicates that the depth image does not conform to the type represented by the depth feature faces, and the evaluation fails; otherwise, the image is considered to meet the type represented by the depth feature faces. , the assessment passed;
  • the step F includes the following steps:
  • Step 1 For the detection and calculation unit of the noise in the depth image, the noise type mainly includes the data hole and the protrusion of the data, and in the depth image, the zero value in the face depth data and the depth convex value of the local texture.
  • Step 2 Depth data denoising
  • neighborhood depth RMS filtering is used to filter noise in the above-mentioned depth face image, and the filter expression can be described as:
  • Step 3 After performing preliminary low-pass filtering on the singular points, further texture restoration is performed on the depth image by using edge-preserving filtering.
  • the edge-preserving filter adopts bilateral filtering (not limited to).
  • the bilateral filter is composed of two functions, one is to determine the filter coefficient by the geometric space distance, and the other is to determine the filter coefficient from the pixel difference.
  • the value of the output pixel depends on the weighted combination of values of the neighborhood pixels:
  • the filter coefficient determined by the geometric space distance the formula is:
  • weight coefficient is the product of the spatial domain coefficient and the range coefficient:
  • the difference between the spatial domain and the range is considered in the image filtering.
  • the specific edge information in the data can also be retained, and the depth of the face image data is effectively performed. Repair and enhancement of face depth property information.
  • the step G is divided into a visual vocabulary training phase and a visual dictionary histogram feature extraction phase, and includes the following steps:
  • the depth image of the P-resolution M*N in the training set is first filtered by Gabor filter, and the original depth image is converted into P*M*N multi-dimensional Gabor filter response vectors in this way.
  • the vectors are grouped according to the spatial position of the image in which they are located, and K-means clustering is performed for each set of vectors, and the obtained cluster center is the visual vocabulary of the Gabor filter response vector set corresponding to the spatial position of the image (visual points) Dictionary); connecting the visual vectors of each group to form a visual dictionary of deep face images.
  • any filter vector is compared with all primitive vocabulary in the visual sub-dictionary corresponding to its location, and the distance matching method is adopted. , map it to the primitive closest to it. In this way, the visual dictionary histogram features of the original depth image can be extracted.
  • the step H includes the following steps:
  • Step 1 segmenting the 3D face depth image into some local texture regions
  • Step 2 For each Gabor filter response vector, map it to the vocabulary of its corresponding visual analysis dictionary according to the position, and establish a visual dictionary histogram vector as the feature expression of the three-dimensional face based on this;
  • Step 3 The nearest neighbor classifier is used as the final face recognition to obtain the final classification result.
  • the present invention has the following technical effects:
  • the present invention extracts the feature region of the three-dimensional face region for positioning; and then first determines whether the three-dimensional point cloud contains a qualified three-dimensional face according to the special region, and initially evaluates the three-dimensional data quality in the point cloud layer; If there is a qualified nose tip area, the area is used as the reference data for registration; after the data registration, the point cloud data is mapped into a depth image according to the preset x, y, z resolution and position information; after the face depth image is obtained The face data quality evaluation is performed again; the depth face data after the evaluation is qualified for texture restoration, the data denoising and the depth texture are further optimized; finally, the visual dictionary histogram vector extraction of the three-dimensional data is performed according to the trained three-dimensional face visual dictionary.
  • classifiers Realize 3D face recognition. Improve the quality of face data and the efficiency of 3D face recognition.
  • 1 is a system flow diagram of a face recognition system based on three-dimensional data
  • FIG. 2 is a schematic diagram of a nose tip detecting module of a face recognition system based on three-dimensional data
  • FIG. 3 is a schematic diagram of a data registration module of a face recognition system based on three-dimensional data
  • FIG. 4 is a schematic diagram of data space mapping of a face recognition system based on three-dimensional data
  • FIG. 5 is a schematic diagram of a face depth image quality evaluation process of a face recognition system based on three-dimensional data
  • FIG. 6 is a schematic diagram of depth texture repair of a face recognition system based on three-dimensional data
  • FIG. 7 is a schematic diagram of feature extraction of a face recognition system based on three-dimensional data
  • FIG. 8 is a schematic diagram of a face recognition process of a face recognition system based on three-dimensional data
  • FIG. 9 is a system block diagram of a face recognition system based on three-dimensional data.
  • the invention discloses a face recognition system based on three-dimensional data, comprising: a three-dimensional face point cloud data input calculation unit; a face specific area detection calculation unit; a data registration calculation unit; a depth face data mapping calculation unit; Face image evaluation calculation unit; depth face texture repair calculation unit; depth face feature extraction calculation unit; three-dimensional face recognition calculation unit.
  • the system flow of the present invention is as follows:
  • FIG. 2(a) is a flow chart of the nose tip area positioning, including the following steps:
  • Step 1 Determine the threshold of the average negative effective energy density of the domain, defined as thr;
  • Step 2 extracting face data in a certain depth range as data to be processed by using depth information of the data;
  • Step 3 Calculate the normal vector information of the face data selected by the depth information
  • Step 4 According to the definition of the regional average negative effective energy density, obtain the average negative effective energy density of each connected domain in the data to be processed, and select the connected domain with the largest density value;
  • Step 5 When the threshold of the area is greater than the predefined thr, the area is the nose tip area, otherwise it returns to step one to continue.
  • Step 1 Prepare a data of the nose tip area corresponding to the standard posture in the template library
  • Step 2 After obtaining the registered reference area, calculate the matrix of 3*3, and the formula is as follows:
  • Step 3 Calculate the rotation matrix R and the translation matrix t.
  • Step 4 Acquire a three-dimensional spatial transformation matrix between two sets of three-dimensional data points to achieve registration of two point sets.
  • the calculation unit detects the obtained face nose region as a reference reference of the center position of the depth image data, and maps the x-axis and y-axis information of the space coordinate system.
  • Image coordinate system information for the depth image of the face is as follows:
  • the nose point is N(x, y, z), then the image coordinates of the spatial point P(x1, y1, z1) are:
  • width is the width of the depth image and height is the height of the depth image
  • the depth resolution Z ref is preset according to the depth precision of the three-dimensional point cloud data, and the z-axis information of the spatial coordinate system is used as a reference for mapping the depth value of the face depth image, and the formula is as follows:
  • Step 2 Adding N depth face images in the training set to the corresponding dimensions and averaging, the average face of the depth image can be obtained; subtracting the depth average face from the N depth images to obtain the difference image data matrix ⁇ ;
  • Step 4 Deep face images can be projected into the space formed by these feature faces for approximate calculation.
  • (b) is the algorithm flow of the depth image data quality evaluation module in the present invention, and the module is divided into two stages of training and evaluation:
  • the feature face of the deep face image is trained to form a deep face image space; in the evaluation stage, the input depth face image is mapped. For a point in the depth feature face space, an approximate depth face image characterized by the depth feature face is obtained;
  • the approximate image is compared with the original image. If the difference is greater than a certain threshold, it indicates that the depth image does not conform to the type represented by the depth feature faces, and the evaluation fails; otherwise, the image is considered to meet the type represented by the depth feature faces. , the assessment passed;
  • Step 1 For the detection and calculation unit of the noise in the depth image, the noise type mainly includes the data hole and the protrusion of the data, and in the depth image, the zero value in the face depth data and the depth convex value of the local texture.
  • Step 2 Perform depth data denoising.
  • neighborhood depth RMS filtering is used to filter noise in the above-mentioned depth face image, and the filter expression can be described as:
  • Step 3 After performing preliminary low-pass filtering on the singular points, further texture restoration is performed on the depth image by using edge-preserving filtering.
  • the edge-preserving filter adopts bilateral filtering (not limited to).
  • the bilateral filter is composed of two functions, one is to determine the filter coefficient by the geometric space distance, and the other is to determine the filter coefficient from the pixel difference.
  • the value of the output pixel depends on the weighted combination of values of the neighborhood pixels:
  • the filter coefficient determined by the geometric space distance the formula is:
  • weight coefficient is the product of the spatial domain coefficient and the range coefficient:
  • the difference between the spatial domain and the range is considered in the image filtering, and the data noise is filtered out.
  • specific edge information in the data can also be retained, and the repair of the depth face image data noise and the enhancement of the face depth characteristic information are effectively performed.
  • FIG. 7 is a schematic diagram of visual dictionary histogram feature extraction for face depth image data according to the present invention. The process can be divided into a visual vocabulary training phase and a visual dictionary histogram feature extraction phase.
  • the depth image of the P-resolution M*N in the training set is first filtered by Gabor filter, and the original depth image is converted into P*M*N multi-dimensional Gabor filter response vectors in this way.
  • the vectors are grouped according to the spatial position of the image in which they are located, and K-means clustering is performed for each set of vectors, and the obtained cluster center is the visual vocabulary of the Gabor filter response vector set corresponding to the spatial position of the image (visual points) Dictionary); connecting the visual vectors of each group to form a visual dictionary of deep face images.
  • any filter vector is compared with all primitive vocabulary in the visual sub-dictionary corresponding to its location, and the distance matching method is adopted. , map it to the primitive closest to it. In this way, the visual dictionary histogram features of the original depth image can be extracted.
  • FIG. 8 is a schematic diagram of a face recognition process according to the present invention.
  • the visual histogram feature extraction is performed on the texture optimized 3D face image, and the feature extraction is performed by using the nearest neighbor classifier and the deep face template in the registration database. Match to get the final classification result. Specific steps are as follows:
  • Step 1 segmenting the 3D face depth image into some local texture regions
  • Step 2 For each Gabor filter response vector, map it to the vocabulary of its corresponding visual analysis dictionary according to the position, and establish a visual dictionary histogram vector as the feature expression of the three-dimensional face based on this;
  • Step 3 The nearest neighbor classifier is used as the final face recognition, where the L1 distance is selected as the distance metric to obtain the final classification result.
  • Figure 9 is a block diagram of the system of the present invention, including the location of each module in the system and its main functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于三维数据的人脸识别系统，给出完整的三维人脸识别解决方案，涵盖：数据特征区域提取、数据配准、数据预处理、数据质量评估、特征提取以及数据分类。通过在点云层对三维数据质量进行初步评估，检测鼻尖区域，以鼻尖区域作为基准数据进行配准，进行深度人脸图像映射，再次评估图像质量后，进行深度人脸数据纹理修复，最后按照训练好的三维人脸视觉词典进行三维数据的视觉词典直方图向量提取，利用分类器实现三维人脸识别。提高了人脸数据的质量和三维人脸识别的效率。

Description

一种基于三维数据的人脸识别系统 所属技术领域
本发明涉及一种人脸识别系统，尤其涉及一种三维深度人脸数据的人脸识别系统。
背景技术
三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多学者都将他们的研究投入到该领域中。
现阶段，三维人脸识别是三维人脸领域中许多应用的基础性工作。该领域的初始工作大部分是利用三维数据的信息：如曲率，深度等等对人脸进行描述，但是由于三维数据的采集中有很多数据的噪点，因此曲率等特征由于其本身对于噪音的敏感特性，使得其作为三维人脸的特征描述向量在识别结果上精度不高；后面再将三维数据映射到深度图数据后，很多二维人脸的表象特征开始应用到该领域，如主成分分析(PCA)以及Gabor滤波器特征；但是这些特征也有各自的缺点：对于PCA特征，由于其隶属于全局的表象特征，因此对于三维数据的细节纹理描述能力不足；对于Gabor滤波器特征，由于三维数据的噪音问题，导致其对于三维人脸数据的描述能力依赖于获取的三维人脸数据的质量。
CN Pat.No.201010256907提出了三维弯曲不变量的相关特征用来进行人脸特性描述。该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用K最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用。
本发明据三维点云的特性，提取三维人脸区域的特征区域进行定位；然后依据此特殊区域首先判断三维点云是否包含合格的三维人脸，在点云层对三维数据质量进行初步评估；如果存在合格的鼻尖区域，则以此区域作为基准数据进行配准；数据配准后根据预设的x、y、z分辨率和位置信息将点云数据映射成深度图像；得到人脸深度图像后再次进行人脸数据质量评估；评估合格后的深度人脸数据进行纹理修复，实现数据去噪以及深度纹理进一步优化；最后按照训练好的三维人脸视觉词典进行三维数据的视觉词典直方图向量提取，利用分类器实现三维人脸识别。本发明目的在于给出完整的三维人脸识别解决方案，涵盖：数据特征区域提取、数据配准、数据预处理、数据质量评估、特征提取以及数据分类。
发明内容
为了提出完整的三维人脸识别解决方案，解决上述技术问题，本发明公开一种基于三维数据的人脸识别系统。
一种基于三维数据的人脸识别系统，包括：三维人脸点云数据输入计算单元；人脸特定区域检测计算单元；数据配准计算单元；深度人脸数据映射计算单元；深度人脸图像评估计算单元；深度人脸纹理修复计算单元；深度人脸特征提取计算单元；三维人脸识别计算单元。
本发明包括如下步骤：
A.三维人脸点云数据的输入；
B.对于三维人脸点云数据中人脸特定区域检测；
C.对于检测到的人脸特定区域进行数据配准；
D.对于配准后的三维人脸点云数据进行深度人脸数据映射；
E.人脸深度数据质量评估计算单元；
F.对于深度人脸数据进行深度人脸纹理修复；
G.人脸深度数的特征提取；
H.对于深度人脸数据进行三维人脸识别。
优选的，在上述的一种基于三维数据的人脸识别系统中，所述的步骤A支持各类三维点云采集设备的数据输入。
优选的，在上述的一种基于三维数据的人脸识别系统中，所述的步骤B包括如下步骤：
步骤一：确定域平均负有效能量密度的阈值，定义为thr；
步骤二：利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
步骤三：计算由深度信息选取出的人脸数据的法向量信息；
步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；
步骤五：当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤一继续。
优选的，在上述的一种基于三维数据的人脸识别系统中，所述的步骤C，包括如下步骤：
步骤一：在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据；
步骤二：得到配准的参考区域后，计算3*3的矩阵，公式如下：
Figure PCTCN2016089294-appb-000001
步骤三：计算旋转矩阵R和平移矩阵t，当X行列值为1时，R＝X，t＝P-R*Q；
步骤四：获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。
优选的，在上述的一种基于三维数据的人脸识别系统中，所述的步骤D，获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息；具体计算过程如下：
鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：
Ix＝(x1-x)+width/2
Iy＝(y1-y)+height/2
其中width为深度图像的宽度，height为深度图像的高度；
同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：
Figure PCTCN2016089294-appb-000002
完成将三维点云数据映射为深度人脸图像的数据映射。
优选的，在上述的一种基于三维数据的人脸识别系统中，所述的步骤E，包括深度特征脸的计算和深度图像数据质量评估，包括如下步骤：
深度特征脸的计算步骤如下：
步骤一：将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过后的人脸列向量的维度就是D＝M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维度就是D*N；
步骤二：将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深度图像的平均脸；将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ；
步骤三：对协方差矩阵C＝Φ*ΦT进行特征值分解；根据占据所有特征值能量的比率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；
步骤四：深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算。
深度图像数据质量评估计算过程如下：
该过程分为训练和评估两个阶段：在训练阶段，如图5(a)所示，训练出深度人脸图像的特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；
Figure PCTCN2016089294-appb-000003
然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不符合这些深度特征脸代表的类型，评估不通过；否则则认为该图像符合这些深度特征脸代表的类型，评估通过；
Figure PCTCN2016089294-appb-000004
优选的，在上述的一种基于三维数据的人脸识别系统中，所述的步骤F，包括如下步骤：
步骤一：对于深度图像中的噪点进行检测计算单元，噪点类型主要包括数据空洞以及数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
步骤二：进行深度数据去噪本发明中采用邻域深度有效值滤波，对上述深度人脸图像中的噪音进行过滤，该滤波表达式可以描述为：
Figure PCTCN2016089294-appb-000005
其中当I(x-m,y-n)为深度图像有效点时，值为
Figure PCTCN2016089294-appb-000006
当I(x-m,y-n)为深度图像无效点时，值为0。
步骤三：在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由像素差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：
Figure PCTCN2016089294-appb-000007
其中，由几何空间距离决定的滤波器系数，其公式为：
Figure PCTCN2016089294-appb-000008
由像素差值决定的滤波器系数，其公式为：
Figure PCTCN2016089294-appb-000009
则权重系数则为空间域系数以及值域系数的乘积：
Figure PCTCN2016089294-appb-000010
通过这种结合方式，在图像滤波中同时考虑了空间域与值域的差别，在滤除数据噪音的过程中也可以保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
优选的，在上述的一种基于三维数据的人脸识别系统中，所述的步骤G，分为视觉词汇训练阶段和视觉字典直方图特征提取阶段，包括如下步骤：
在视觉词汇训练阶段，对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波，通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量；将这些向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典)；将每组的视觉向量连接起来，就构成了深度人脸图像的视觉词典。
在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上。通过这种方式，就可以提取出原始深度图像的视觉词典直方图特征。
优选的，在上述的一种基于三维数据的人脸识别系统中，所述的步骤H，包括如下步骤：
步骤一：将三维人脸深度图像分割成一些局部纹理区域；
步骤二：对于每个Gabor滤波响应向量，按照位置的不同将其映射到其对应的视觉分析词典的词汇中，并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达；
步骤三：最近邻分类器被用来作为最后的人脸识别，获得最终的分类结果。
与现有技术相比，本发明具有如下技术效果：
本发明据三维点云的特性，提取三维人脸区域的特征区域进行定位；然后依据此特殊区域首先判断三维点云是否包含合格的三维人脸，在点云层对三维数据质量进行初步评估；如果存在合格的鼻尖区域，则以此区域作为基准数据进行配准；数据配准后根据预设的x、y、z分辨率和位置信息将点云数据映射成深度图像；得到人脸深度图像后再次进行人脸数据质量评估；评估合格后的深度人脸数据进行纹理修复，实现数据去噪以及深度纹理进一步优化；最后按照训练好的三维人脸视觉词典进行三维数据的视觉词典直方图向量提取，利用分类器 实现三维人脸识别。提高了人脸数据的质量和三维人脸识别的效率。
附图说明
图1是一种基于三维数据的人脸识别系统的系统流程图；
图2是一种基于三维数据的人脸识别系统的鼻尖检测模块示意图；
图3是一种基于三维数据的人脸识别系统的数据配准模块示意图；
图4是一种基于三维数据的人脸识别系统的数据空间映射示意图；
图5是一种基于三维数据的人脸识别系统的人脸深度图像质量评估流程示意图；
图6是一种基于三维数据的人脸识别系统的深度纹理修复示意图；
图7是一种基于三维数据的人脸识别系统的特征提取示意图；
图8是一种基于三维数据的人脸识别系统的人脸识别流程示意图；
图9是一种基于三维数据的人脸识别系统的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开一种基于三维数据的人脸识别系统，包括：三维人脸点云数据输入计算单元；人脸特定区域检测计算单元；数据配准计算单元；深度人脸数据映射计算单元；深度人脸图像评估计算单元；深度人脸纹理修复计算单元；深度人脸特征提取计算单元；三维人脸识别计算单元。
如图1所示，本发明系统流程如下：
A.三维人脸点云数据的输入；
B.对于三维人脸点云数据中人脸特定区域检测；
C.对于检测到的人脸特定区域进行数据配准；
D.对于配准后的三维人脸点云数据进行深度人脸数据映射；
E.人脸深度数据质量评估计算单元；
F.对于深度人脸数据进行深度人脸纹理修复；
G.人脸深度数的特征提取；
H.对于深度人脸数据进行三维人脸识别。
如图2所示，在上述的一种基于三维数据的人脸识别系统中人脸特定区域检测计算单元，图2(a)中，由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置，因此本发明中人脸特征区域采用的是鼻尖区域；图2(b)是鼻尖区域定位的流程图，包括如下步骤：
步骤一：确定域平均负有效能量密度的阈值，定义为thr；
步骤二：利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
步骤三：计算由深度信息选取出的人脸数据的法向量信息；
步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；
步骤五：当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤一继续。
如图3所示，在上述的数据配准计算单元，包括如下步骤：
步骤一：在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据；
步骤二：得到配准的参考区域后，计算3*3的矩阵，公式如下：
Figure PCTCN2016089294-appb-000011
步骤三：计算旋转矩阵R和平移矩阵t，当X行列值为1时，R＝X，t＝P-R*Q；
步骤四：获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。
如图4所示，在上述的深度人脸数据映射计算单元，该计算单元检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息；具体计算过程如下：
鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：
Ix＝(x1-x)+width/2
Iy＝(y1-y)+height/2
其中width为深度图像的宽度，height为深度图像的高度；
同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：
Figure PCTCN2016089294-appb-000012
完成将三维点云数据映射为深度人脸图像的数据映射。
如图5所示，其中(a)为深度人脸图像的特征脸示意图，深度特征脸的计算过程可以总结为：
步骤一：将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过后的人脸列向量的维度就是D＝M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维度就是D*N；
步骤二：将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深度图像的平均脸；将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ；
步骤三：对协方差矩阵C＝Φ*ΦT进行特征值分解；根据占据所有特征值能量的比率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；
步骤四：深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算。
其中(b)为本发明中的深度图像数据质量评估模块的算法流程，该模块分为训练和评估两个阶段：
在训练阶段，如图5(a)所示，训练出深度人脸图像的特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；
Figure PCTCN2016089294-appb-000013
然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不符合这些深度特征脸代表的类型，评估不通过；否则则认为该图像符合这些深度特征脸代表的类型，评估通过；
Figure PCTCN2016089294-appb-000014
如图6在上述的深度人脸纹理修复计算单元，包括如下步骤：
步骤一：对于深度图像中的噪点进行检测计算单元，噪点类型主要包括数据空洞以及数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
步骤二：进行深度数据去噪，在本发明中采用邻域深度有效值滤波，对上述深度人脸图像中的噪音进行过滤，该滤波表达式可以描述为：
Figure PCTCN2016089294-appb-000015
其中当I(x-m,y-n)为深度图像有效点时，值为
Figure PCTCN2016089294-appb-000016
当I(x-m,y-n)为深度图像无效点时，值为0。
步骤三：在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由像素差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：
Figure PCTCN2016089294-appb-000017
其中，由几何空间距离决定的滤波器系数，其公式为：
Figure PCTCN2016089294-appb-000018
由像素差值决定的滤波器系数，其公式为：
Figure PCTCN2016089294-appb-000019
则权重系数则为空间域系数以及值域系数的乘积：
Figure PCTCN2016089294-appb-000020
通过这种结合方式，在图像滤波中同时考虑了空间域与值域的差别，在滤除数据噪音的 过程中也可以保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
如图7所示为本发明中的对人脸深度图像数据进行视觉词典直方图特征提取的示意图该过程可以分为视觉词汇训练阶段和视觉字典直方图特征提取阶段。
在视觉词汇训练阶段，对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波，通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量；将这些向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典)；将每组的视觉向量连接起来，就构成了深度人脸图像的视觉词典。
在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上。通过这种方式，就可以提取出原始深度图像的视觉词典直方图特征。
如图8所示为本发明中的人脸识别流程示意图，对纹理优化后的三维人脸图像进行视觉直方图特征提取，特征提取之后采用最近邻分类器与注册数据库中的深度人脸模板进行匹配，获得最终的分类结果。具体步骤如下：
步骤一：将三维人脸深度图像分割成一些局部纹理区域；
步骤二：对于每个Gabor滤波响应向量，按照位置的不同将其映射到其对应的视觉分析词典的词汇中，并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达；
步骤三：最近邻分类器被用来作为最后的人脸识别，其中L1距离被选作为距离度量，获得最终的分类结果。
如图9所示为本发明的系统框图，包括各个模块在系统中的位置以及其主要功能。

Claims (10)

  1. 一种基于三维数据的人脸识别系统，其特征在于，包括：三维人脸点云数据输入计算单元；人脸特定区域检测计算单元；数据配准计算单元；深度人脸数据映射计算单元；深度人脸图像评估计算单元；深度人脸纹理修复计算单元；深度人脸特征提取计算单元；三维人脸识别计算单元。
  2. 基于权利要求1所述的一种基于三维数据的人脸识别系统，其特征在于，包括如下步骤：
    A.三维人脸点云数据的输入；
    B.对于三维人脸点云数据中人脸特定区域检测；
    C.对于检测到的人脸特定区域进行数据配准；
    D.对于配准后的三维人脸点云数据进行深度人脸数据映射；
    E.人脸深度数据质量评估计算单元；
    F.对于深度人脸数据进行深度人脸纹理修复；
    G.人脸深度数的特征提取；
    H.对于深度人脸数据进行三维人脸识别。
  3. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤A支持各类三维点云采集设备的数据输入。
  4. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤B，由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置，因此人脸特征区域采用的是鼻尖区域，鼻尖区域定位包括如下步骤：
    步骤一：确定域平均负有效能量密度的阈值，定义为thr；
    步骤二：利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
    步骤三：计算由深度信息选取出的人脸数据的法向量信息；
    步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；
    步骤五：当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤一继续。
  5. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤C包括如下步骤：
    步骤一：在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据；
    步骤二：得到配准的参考区域后，计算3*3的矩阵，公式如下：
    Figure PCTCN2016089294-appb-100001
    步骤三：计算旋转矩阵R和平移矩阵t，当X行列值为1时，R＝X，t＝P-R*Q；
    步骤四：获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。
  6. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤D，该步骤检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息；具体计算过程如下：
    鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：
    Ix＝(x1-x)+width/2
    Iy＝(y1-y)+height/2
    其中width为深度图像的宽度，height为深度图像的高度；
    同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：
    Figure PCTCN2016089294-appb-100002
    完成将三维点云数据映射为深度人脸图像的数据映射。
  7. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤E，包括深度特征脸的计算和深度图像数据质量评估，包括如下步骤：
    深度特征脸的计算步骤如下：
    步骤一：将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过后的人脸列向量的维度就是D＝M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维度就是D*N；
    步骤二：将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深度图像的平均脸；将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ；
    步骤三：对协方差矩阵C＝Φ*ΦT进行特征值分解；根据占据所有特征值能量的比率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；
    步骤四：深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算；
    深度图像数据质量评估计算过程如下：
    该过程分为训练和评估两个阶段：在训练阶段，如图5(a)所示，训练出深度人脸图像的特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；
    Figure PCTCN2016089294-appb-100003
    然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不符合这些深度特征脸代表的类型，评估不通过；否则则认为该图像符合这些深度特征脸代表的类型，评估通过；
    Figure PCTCN2016089294-appb-100004
  8. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤F，包括如下步骤：
    步骤一：对于深度图像中的噪点进行检测计算单元，噪点类型主要包括数据空洞以及数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
    步骤二：进行深度数据去噪本发明中采用邻域深度有效值滤波，对上述深度人脸图像中 的噪音进行过滤，该滤波表达式可以描述为：
    Figure PCTCN2016089294-appb-100005
    其中当I(x-m,y-n)为深度图像有效点时，值为
    Figure PCTCN2016089294-appb-100006
    当I(x-m,y-n)为深度图像无效点时，值为0；
    步骤三：在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由像素差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：
    Figure PCTCN2016089294-appb-100007
    其中，由几何空间距离决定的滤波器系数，其公式为：
    Figure PCTCN2016089294-appb-100008
    由像素差值决定的滤波器系数，其公式为：
    Figure PCTCN2016089294-appb-100009
    则权重系数则为空间域系数以及值域系数的乘积：
    Figure PCTCN2016089294-appb-100010
  9. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤G，分为视觉词汇训练阶段和视觉字典直方图特征提取阶段，包括如下步骤：
    在视觉词汇训练阶段，对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波，通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量；将这些向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典)；将每组的视觉向量连接起来，就构成了深度人脸图像的视觉词典；
    在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上；通过这种方式提取出原始深度图像的视觉词典直方图特征。
  10. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步 骤H，包括如下步骤：
    步骤一：将三维人脸深度图像分割成一些局部纹理区域；
    步骤二：对于每个Gabor滤波响应向量，按照位置的不同将其映射到其对应的视觉分析词典的词汇中，并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达；
    步骤三：最近邻分类器被用来作为最后的人脸识别，其中L1距离被选作为距离度量，获得最终的分类结果。
PCT/CN2016/089294 2016-06-24 2016-07-08 一种基于三维数据的人脸识别系统 WO2017219391A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610472527.3 2016-06-24
CN201610472527.3A CN105956582B (zh) 2016-06-24 2016-06-24 一种基于三维数据的人脸识别系统

Publications (1)

Publication Number Publication Date
WO2017219391A1 true WO2017219391A1 (zh) 2017-12-28

Family

ID=56903917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/089294 WO2017219391A1 (zh) 2016-06-24 2016-07-08 一种基于三维数据的人脸识别系统

Country Status (2)

Country Link
CN (1) CN105956582B (zh)
WO (1) WO2017219391A1 (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846321A (zh) * 2018-05-25 2018-11-20 北京小米移动软件有限公司 识别人脸假体的方法及装置、电子设备
CN109003327A (zh) * 2018-06-29 2018-12-14 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109087395A (zh) * 2018-07-18 2018-12-25 西安多维机器视觉检测技术有限公司 一种三维重建的方法及系统
CN109215118A (zh) * 2018-09-18 2019-01-15 东北大学 一种基于图像序列的增量式运动结构恢复优化方法
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备
CN109492513A (zh) * 2018-05-24 2019-03-19 曜科智能科技（上海）有限公司 光场监控的人脸空间去重方法
CN110378270A (zh) * 2019-07-11 2019-10-25 易诚高科（大连）科技有限公司 一种基于质量维度评估参量的人脸识别设备筛选方法
CN110399814A (zh) * 2019-07-12 2019-11-01 武汉科技大学 一种基于局部线性表示领域适应度量的人脸识别方法
CN110458041A (zh) * 2019-07-19 2019-11-15 国网安徽省电力有限公司建设分公司 一种基于rgb-d相机的人脸识别方法及系统
CN110458002A (zh) * 2019-06-28 2019-11-15 天津大学 一种轻量级快速人脸识别方法
CN110472537A (zh) * 2019-07-31 2019-11-19 腾讯科技（深圳）有限公司 一种自适应识别方法、装置、设备及介质
CN110705432A (zh) * 2019-09-26 2020-01-17 长安大学 一种基于彩色和深度摄像头的行人检测装置及方法
CN110728196A (zh) * 2019-09-18 2020-01-24 平安科技（深圳）有限公司 一种人脸识别的方法、装置及终端设备
CN110796022A (zh) * 2019-10-09 2020-02-14 西安工程大学 一种基于多流形耦合映射的低分辨人脸识别方法
CN111079700A (zh) * 2019-12-30 2020-04-28 河南中原大数据研究院有限公司 一种基于多种数据类型融合的三维人脸识别方法
CN111126246A (zh) * 2019-12-20 2020-05-08 河南中原大数据研究院有限公司 基于3d点云几何特征的人脸活体检测方法
CN111160278A (zh) * 2019-12-31 2020-05-15 河南中原大数据研究院有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111209839A (zh) * 2019-12-31 2020-05-29 上海涛润医疗科技有限公司 人脸识别方法
CN111325828A (zh) * 2020-01-21 2020-06-23 中国电子科技集团公司第五十二研究所 一种基于三目相机的三维人脸采集方法及装置
CN111382634A (zh) * 2018-12-29 2020-07-07 河南中原大数据研究院有限公司 一种基于深度视频流的三维人脸识别方法
CN111462108A (zh) * 2020-04-13 2020-07-28 山西新华化工有限责任公司 一种基于机器学习的头面部产品设计工效学评估操作方法
CN111523358A (zh) * 2019-02-02 2020-08-11 顾泽苍 一种图像信息深度抽出的方法
CN111709998A (zh) * 2019-03-18 2020-09-25 长春工业大学 一种tof相机深度数据测量误差校正的elm空间配准模型方法
CN111739031A (zh) * 2020-06-19 2020-10-02 华南农业大学 一种基于深度信息的作物冠层分割方法
CN111860454A (zh) * 2020-08-04 2020-10-30 北京深醒科技有限公司 一种基于人脸识别的模型切换算法
CN111862205A (zh) * 2019-12-18 2020-10-30 北京嘀嘀无限科技发展有限公司 一种视觉定位方法、装置、设备及存储介质
CN112001926A (zh) * 2020-07-04 2020-11-27 西安电子科技大学 基于多维语义映射rgbd多相机标定方法、系统及应用
CN112102496A (zh) * 2020-09-27 2020-12-18 安徽省农业科学院畜牧兽医研究所 牛体格测量方法、模型训练方法和系统
CN112288859A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于卷积神经网络的三维人脸建模方法
CN112364759A (zh) * 2020-11-10 2021-02-12 易显智能科技有限责任公司 一种驾驶员身份生物识别的方法及相关装置
CN112364711A (zh) * 2020-10-20 2021-02-12 盛视科技股份有限公司 3d人脸识别方法、装置及系统
CN112613407A (zh) * 2020-12-23 2021-04-06 杭州趣链科技有限公司 基于联邦学习的人脸活体检测训练优化方法、装置及设备
CN112927204A (zh) * 2021-02-25 2021-06-08 同济大学 一种基于关键渗水点识别的路面渗水性能评估方法
CN113034419A (zh) * 2019-12-05 2021-06-25 上海交通大学 面向机器视觉任务的雷达点云客观质量评价方法及装置
CN113487663A (zh) * 2021-06-07 2021-10-08 东南大学 一种基于激光三维数据的路面构造深度计算方法
CN114283139A (zh) * 2021-12-27 2022-04-05 常熟理工学院 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置
CN114429492A (zh) * 2022-01-20 2022-05-03 阿里巴巴（中国）有限公司 数据配准方法、电子设备及计算机存储介质
CN114882086A (zh) * 2022-05-26 2022-08-09 南京工业大学 基于切片最优传输的点云精准配准方法
CN118038515A (zh) * 2023-12-28 2024-05-14 南京泛泰数字科技研究院有限公司 一种人脸识别方法
CN118570865A (zh) * 2024-07-31 2024-08-30 江西财经大学 基于人工智能的人脸识别分析方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748869B (zh) * 2017-10-26 2021-01-22 奥比中光科技集团股份有限公司 3d人脸身份认证方法与装置
CN108564041B (zh) * 2018-04-17 2020-07-24 云从科技集团股份有限公司 一种基于rgbd相机的人脸检测和修复方法
CN109871818B (zh) * 2019-02-27 2023-05-02 东南大学 基于法向量分布直方图和协方差描述子的人脸识别方法
CN110544233B (zh) * 2019-07-30 2022-03-08 北京的卢深视科技有限公司 基于人脸识别应用的深度图像质量评价方法
CN110675413B (zh) * 2019-09-27 2020-11-13 腾讯科技（深圳）有限公司 三维人脸模型构建方法、装置、计算机设备及存储介质
CN112069995B (zh) * 2020-09-04 2024-02-27 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质
CN113538315B (zh) * 2021-08-20 2024-02-02 支付宝(杭州)信息技术有限公司 图像处理方法及装置
CN116631022A (zh) * 2023-04-11 2023-08-22 广东德融汇科技有限公司 一种人脸精准识别方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257800A1 (en) * 2011-04-05 2012-10-11 Yufeng Zheng Face recognition system and method using face pattern words and face pattern bytes
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN104537353A (zh) * 2015-01-07 2015-04-22 深圳市唯特视科技有限公司 基于三维点云的三维人脸年龄分类装置及方法
CN104573722A (zh) * 2015-01-07 2015-04-29 深圳市唯特视科技有限公司 基于三维点云的三维人脸种族分类装置和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298995B (zh) * 2014-05-06 2017-08-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN103996052B (zh) * 2014-05-12 2017-05-31 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类方法
CN104143080B (zh) * 2014-05-21 2017-06-23 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN104778441A (zh) * 2015-01-07 2015-07-15 深圳市唯特视科技有限公司 融合灰度信息和深度信息的多模态人脸识别装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257800A1 (en) * 2011-04-05 2012-10-11 Yufeng Zheng Face recognition system and method using face pattern words and face pattern bytes
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN104537353A (zh) * 2015-01-07 2015-04-22 深圳市唯特视科技有限公司 基于三维点云的三维人脸年龄分类装置及方法
CN104573722A (zh) * 2015-01-07 2015-04-29 深圳市唯特视科技有限公司 基于三维点云的三维人脸种族分类装置和方法

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492513A (zh) * 2018-05-24 2019-03-19 曜科智能科技（上海）有限公司 光场监控的人脸空间去重方法
CN109492513B (zh) * 2018-05-24 2023-04-07 曜科智能科技（上海）有限公司 光场监控的人脸空间去重方法
CN108846321A (zh) * 2018-05-25 2018-11-20 北京小米移动软件有限公司 识别人脸假体的方法及装置、电子设备
CN109003327A (zh) * 2018-06-29 2018-12-14 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109003327B (zh) * 2018-06-29 2022-09-30 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109087395A (zh) * 2018-07-18 2018-12-25 西安多维机器视觉检测技术有限公司 一种三维重建的方法及系统
CN109087395B (zh) * 2018-07-18 2023-03-28 西安多维机器视觉检测技术有限公司 一种三维重建的方法及系统
CN109215118A (zh) * 2018-09-18 2019-01-15 东北大学 一种基于图像序列的增量式运动结构恢复优化方法
CN109215118B (zh) * 2018-09-18 2022-11-29 东北大学 一种基于图像序列的增量式运动结构恢复优化方法
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备
CN111382634B (zh) * 2018-12-29 2023-09-26 河南中原大数据研究院有限公司 一种基于深度视频流的三维人脸识别方法
CN111382634A (zh) * 2018-12-29 2020-07-07 河南中原大数据研究院有限公司 一种基于深度视频流的三维人脸识别方法
CN111523358A (zh) * 2019-02-02 2020-08-11 顾泽苍 一种图像信息深度抽出的方法
CN111709998A (zh) * 2019-03-18 2020-09-25 长春工业大学 一种tof相机深度数据测量误差校正的elm空间配准模型方法
CN110458002A (zh) * 2019-06-28 2019-11-15 天津大学 一种轻量级快速人脸识别方法
CN110378270A (zh) * 2019-07-11 2019-10-25 易诚高科（大连）科技有限公司 一种基于质量维度评估参量的人脸识别设备筛选方法
CN110378270B (zh) * 2019-07-11 2023-03-24 易诚高科（大连）科技有限公司 一种基于质量维度评估参量的人脸识别设备筛选方法
CN110399814A (zh) * 2019-07-12 2019-11-01 武汉科技大学 一种基于局部线性表示领域适应度量的人脸识别方法
CN110399814B (zh) * 2019-07-12 2023-03-24 武汉科技大学 一种基于局部线性表示领域适应度量的人脸识别方法
CN110458041A (zh) * 2019-07-19 2019-11-15 国网安徽省电力有限公司建设分公司 一种基于rgb-d相机的人脸识别方法及系统
CN110458041B (zh) * 2019-07-19 2023-04-14 国网安徽省电力有限公司建设分公司 一种基于rgb-d相机的人脸识别方法及系统
CN110472537B (zh) * 2019-07-31 2024-01-16 腾讯科技（深圳）有限公司 一种自适应识别方法、装置、设备及介质
CN110472537A (zh) * 2019-07-31 2019-11-19 腾讯科技（深圳）有限公司 一种自适应识别方法、装置、设备及介质
CN110728196B (zh) * 2019-09-18 2024-04-05 平安科技（深圳）有限公司 一种人脸识别的方法、装置及终端设备
CN110728196A (zh) * 2019-09-18 2020-01-24 平安科技（深圳）有限公司 一种人脸识别的方法、装置及终端设备
CN110705432A (zh) * 2019-09-26 2020-01-17 长安大学 一种基于彩色和深度摄像头的行人检测装置及方法
CN110705432B (zh) * 2019-09-26 2022-10-25 长安大学 一种基于彩色和深度摄像头的行人检测装置及方法
CN110796022A (zh) * 2019-10-09 2020-02-14 西安工程大学 一种基于多流形耦合映射的低分辨人脸识别方法
CN110796022B (zh) * 2019-10-09 2023-07-21 奥园智慧生活服务(广州)集团有限公司 一种基于多流形耦合映射的低分辨人脸识别方法
CN113034419B (zh) * 2019-12-05 2022-09-09 上海交通大学 面向机器视觉任务的雷达点云客观质量评价方法及装置
CN113034419A (zh) * 2019-12-05 2021-06-25 上海交通大学 面向机器视觉任务的雷达点云客观质量评价方法及装置
CN111862205A (zh) * 2019-12-18 2020-10-30 北京嘀嘀无限科技发展有限公司 一种视觉定位方法、装置、设备及存储介质
CN111126246B (zh) * 2019-12-20 2023-04-07 陕西西图数联科技有限公司 基于3d点云几何特征的人脸活体检测方法
CN111126246A (zh) * 2019-12-20 2020-05-08 河南中原大数据研究院有限公司 基于3d点云几何特征的人脸活体检测方法
CN111079700A (zh) * 2019-12-30 2020-04-28 河南中原大数据研究院有限公司 一种基于多种数据类型融合的三维人脸识别方法
CN111079700B (zh) * 2019-12-30 2023-04-07 陕西西图数联科技有限公司 一种基于多种数据类型融合的三维人脸识别方法
CN111160278B (zh) * 2019-12-31 2023-04-07 陕西西图数联科技有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111160278A (zh) * 2019-12-31 2020-05-15 河南中原大数据研究院有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111209839A (zh) * 2019-12-31 2020-05-29 上海涛润医疗科技有限公司 人脸识别方法
CN111209839B (zh) * 2019-12-31 2023-05-23 上海涛润医疗科技有限公司 人脸识别方法
CN111325828B (zh) * 2020-01-21 2024-03-22 中国电子科技集团公司第五十二研究所 一种基于三目相机的三维人脸采集方法及装置
CN111325828A (zh) * 2020-01-21 2020-06-23 中国电子科技集团公司第五十二研究所 一种基于三目相机的三维人脸采集方法及装置
CN111462108A (zh) * 2020-04-13 2020-07-28 山西新华化工有限责任公司 一种基于机器学习的头面部产品设计工效学评估操作方法
CN111462108B (zh) * 2020-04-13 2023-05-02 山西新华防化装备研究院有限公司 一种基于机器学习的头面部产品设计工效学评估操作方法
CN111739031B (zh) * 2020-06-19 2023-09-26 华南农业大学 一种基于深度信息的作物冠层分割方法
CN111739031A (zh) * 2020-06-19 2020-10-02 华南农业大学 一种基于深度信息的作物冠层分割方法
CN112001926A (zh) * 2020-07-04 2020-11-27 西安电子科技大学 基于多维语义映射rgbd多相机标定方法、系统及应用
CN112001926B (zh) * 2020-07-04 2024-04-09 西安电子科技大学 基于多维语义映射rgbd多相机标定方法、系统及应用
CN111860454B (zh) * 2020-08-04 2024-02-09 北京深醒科技有限公司 一种基于人脸识别的模型切换算法
CN111860454A (zh) * 2020-08-04 2020-10-30 北京深醒科技有限公司 一种基于人脸识别的模型切换算法
CN112102496B (zh) * 2020-09-27 2024-03-26 安徽省农业科学院畜牧兽医研究所 牛体格测量方法、模型训练方法和系统
CN112102496A (zh) * 2020-09-27 2020-12-18 安徽省农业科学院畜牧兽医研究所 牛体格测量方法、模型训练方法和系统
CN112364711B (zh) * 2020-10-20 2023-04-07 盛视科技股份有限公司 3d人脸识别方法、装置及系统
CN112364711A (zh) * 2020-10-20 2021-02-12 盛视科技股份有限公司 3d人脸识别方法、装置及系统
CN112288859A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于卷积神经网络的三维人脸建模方法
CN112288859B (zh) * 2020-10-30 2024-05-24 合肥安达创展科技股份有限公司 一种基于卷积神经网络的三维人脸建模方法
CN112364759A (zh) * 2020-11-10 2021-02-12 易显智能科技有限责任公司 一种驾驶员身份生物识别的方法及相关装置
CN112364759B (zh) * 2020-11-10 2022-07-01 易显智能科技有限责任公司 一种驾驶员身份生物识别的方法及相关装置
CN112613407A (zh) * 2020-12-23 2021-04-06 杭州趣链科技有限公司 基于联邦学习的人脸活体检测训练优化方法、装置及设备
CN112927204A (zh) * 2021-02-25 2021-06-08 同济大学 一种基于关键渗水点识别的路面渗水性能评估方法
CN113487663A (zh) * 2021-06-07 2021-10-08 东南大学 一种基于激光三维数据的路面构造深度计算方法
CN113487663B (zh) * 2021-06-07 2024-03-22 东南大学 一种基于激光三维数据的路面构造深度计算方法
CN114283139A (zh) * 2021-12-27 2022-04-05 常熟理工学院 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置
CN114429492A (zh) * 2022-01-20 2022-05-03 阿里巴巴（中国）有限公司 数据配准方法、电子设备及计算机存储介质
CN114882086A (zh) * 2022-05-26 2022-08-09 南京工业大学 基于切片最优传输的点云精准配准方法
CN118038515A (zh) * 2023-12-28 2024-05-14 南京泛泰数字科技研究院有限公司 一种人脸识别方法
CN118570865A (zh) * 2024-07-31 2024-08-30 江西财经大学 基于人工智能的人脸识别分析方法及系统

Also Published As

Publication number Publication date
CN105956582A (zh) 2016-09-21
CN105956582B (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
WO2017219391A1 (zh) 一种基于三维数据的人脸识别系统
US9117105B2 (en) 3D face recognition method based on intermediate frequency information in geometric image
WO2019134327A1 (zh) 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN101398886B (zh) 一种基于双目被动立体视觉的快速三维人脸识别方法
CN105894047B (zh) 一种基于三维数据的人脸分类系统
WO2016110005A1 (zh) 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
Li et al. A comprehensive survey on 3D face recognition methods
Li et al. Expression-robust 3D face recognition via weighted sparse representation of multi-scale and multi-component local normal patterns
WO2015161816A1 (en) Three-dimensional facial recognition method and system
WO2016145940A1 (zh) 人脸认证方法和装置
CN101147159A (zh) 利用统计模板匹配进行对象检测的快速方法
CN103632129A (zh) 一种人脸特征点定位方法及装置
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN103971122B (zh) 基于深度图像的三维人脸描述方法
CN106874850A (zh) 一种基于三维人脸点云特征点定位方法
CN111126240A (zh) 一种三通道特征融合人脸识别方法
Li et al. Expression-insensitive 3D face recognition by the fusion of multiple subject-specific curves
CN110895683B (zh) 一种基于Kinect的单视点手势姿势识别方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN104298995A (zh) 基于三维点云的三维人脸识别装置及方法
WO2017070923A1 (zh) 一种人脸识别方法和装置
CN106570460A (zh) 一种基于深度值的单幅图像人脸姿态估计方法
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN108090460B (zh) 基于韦伯多方向描述子的人脸表情识别特征提取方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16905931

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27/05/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16905931

Country of ref document: EP

Kind code of ref document: A1