WO2018040099A1 - 一种基于灰度和深度信息的三维人脸重建方法 - Google Patents

一种基于灰度和深度信息的三维人脸重建方法 Download PDF

Info

Publication number
WO2018040099A1
WO2018040099A1 PCT/CN2016/098100 CN2016098100W WO2018040099A1 WO 2018040099 A1 WO2018040099 A1 WO 2018040099A1 CN 2016098100 W CN2016098100 W CN 2016098100W WO 2018040099 A1 WO2018040099 A1 WO 2018040099A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
feature
data
dimensional
rigid
Prior art date
Application number
PCT/CN2016/098100
Other languages
English (en)
French (fr)
Inventor
夏春秋
Original Assignee
深圳市唯特视科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市唯特视科技有限公司 filed Critical 深圳市唯特视科技有限公司
Publication of WO2018040099A1 publication Critical patent/WO2018040099A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Definitions

  • the present invention relates to the field of face recognition technology, and in particular, to a three-dimensional face reconstruction method based on grayscale and depth information.
  • 3D Face mesh reconstruction method can be used for criminal monitoring, face reconstruction without criminal fingerprint or identity information, 3D printing, 3D face modeling, animation In other fields, the impact on various fields is significant. Compared with two-dimensional face recognition, 3D face recognition has the advantages of its robustness to illumination, small influence on posture and expression, etc. Therefore, after the rapid development of 3D data acquisition technology and the improvement of the quality and precision of 3D data, Many researchers have invested their research in this field.
  • Multi-modal systems can take advantage of the benefits of each modal data by multi-modal data acquisition and overcome some inherent weaknesses of single-mode systems through fusion strategies. (such as the illumination of grayscale images, the expression of depth images), effectively improving the performance of the face recognition system.
  • the invention obtains a multi-modal system by combining gray level and depth information to acquire two-dimensional gray information and three-dimensional depth information, and uses the collected information points to match the local 3D.
  • the model reconstructs the shape of the face.
  • Overcoming some inherent weaknesses of single-modal systems through fusion strategies (such as illumination of grayscale images, expressions of depth images) It effectively improves the performance of the face recognition system, making face recognition more accurate and faster.
  • Using 3D cascading regression the signs in the face change are consistent, by selecting a dense 3D The point set, the face is completely marked, avoiding the change of the position of the mark, solving the problem of inconsistent and self-closing of the action change positioning point; the calculation cost is greatly reduced.
  • 3D The grid has no background, is versatile, and has good real-time effects.
  • FIG. 1 is a system flow chart of a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 2 is a schematic diagram of two-dimensional human face human eye detection based on a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 3 is a schematic diagram of a two-dimensional face LBP feature of a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 4 is a schematic diagram of feature extraction of a two-dimensional face grayscale representation based on a three-dimensional face reconstruction method based on grayscale and depth information.
  • FIG. 5 is a schematic diagram of a three-dimensional face nose tip positioning method based on a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 6 is a schematic diagram of a three-dimensional face space mapping method of a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 7 is a schematic diagram of feature extraction of a three-dimensional face depth representation based on a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 8 is a flow chart of multi-modal face recognition based on a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 9 is a system block diagram of a multi-modal face recognition method for a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 10 is a flow chart of matching a 3D face reconstruction method based on gray scale and depth information according to the present invention.
  • 11 is a three-dimensional face reconstruction method based on gray scale and depth information of the present invention The graph of the number of iterations and the number of fixed points on the reconstruction error rate.
  • FIG. 12 is a 3D reconstruction of a human face based on a three-dimensional face reconstruction method based on gray scale and depth information according to the present invention.
  • FIG. 13 is a face reconstruction diagram of a three-dimensional face reconstruction method based on grayscale and depth information according to the present invention.
  • the face grayscale image is susceptible to illumination changes, and the face depth image is susceptible to data acquisition accuracy and expression changes.
  • the object of the present invention is to provide a three-dimensional face reconstruction based on grayscale and depth information.
  • the method obtains a multi-modal system by fusing gray and depth information, and by acquiring two-dimensional gray information and three-dimensional depth information, the acquired information points are used to reconstruct the facial shape by matching the local 3D model.
  • the present invention provides a three-dimensional face reconstruction method based on grayscale and depth information, and the main contents thereof include:
  • the identifying the face gray information includes the following steps:
  • Feature area localization using a human eye detector to acquire a human eye region, the human eye detector being a hierarchical classifier H, obtained by the following algorithm:
  • Z_t is a normalization factor such that D_(t+1) is a probability distribution
  • the final strong classifier H is
  • the LBP algorithm is used to process the human eye position data to obtain the LBP histogram feature, and the value formula is
  • the feature is input to the grayscale image classifier to obtain a grayscale matching score.
  • the identifying the face depth information includes the following steps:
  • the multi-modal face recognition includes multiple data sources: such as a two-dimensional gray image, a three-dimensional depth image;
  • the feature point detection human eye
  • the obtained feature point position is used for registration
  • the LBP histogram feature is acquired by the LBP algorithm
  • the feature point detection (nose tip) is first performed and the acquired feature points are used for registration, and then the registered three-dimensional spatial data is mapped into a face depth image, and the visual dictionary algorithm is used to obtain a visual dictionary histogram of the data. feature;
  • the multi-modal system utilizes a feature layer fusion strategy. Therefore, after acquiring the characteristics of each data source, all the features are stitched together to form a feature pool, and each feature in the feature pool constructs a weak classifier, and then the Adaboost algorithm is used. In the feature pool, the most effective features for classification are selected. Finally, based on the features obtained by multi-modal feature layer fusion, the nearest neighbor classifier is used to calculate the matching score to realize multi-modal face recognition.
  • the matching by the 3D model includes the following steps:
  • P represents the projection of the matrix in two dimensions
  • z is the two-dimensional shape of the target
  • the increase of the number of vertices has a weak effect on the reconstruction error rate, and the increase of the number of vertices affects the regression model and the matching speed, and the number of vertices takes a lower value;
  • the increase of the number of iterative algorithms has a significant effect on the reduction of the reconstruction error rate, and the influence on the model size. Not large, so the number of iteration algorithms takes a larger value;
  • the superscript (k) represents the kth measurement, and the visibility is set to ⁇ (k), because we observe the same face but from different angles, the overall stiffness (r) and part of the non-rigid (s) are the same. ;
  • the priority principle of the parameter follows a normal distribution with an average of 0 and a variance of ⁇ .
  • the feature area positioning includes the following steps:
  • the depth data is used to select the data to be processed, and the depth information of the data is used to extract the face data in a certain depth range as the data to be processed;
  • step (1) It is determined whether the nose tip region is found. When the current region threshold is greater than the predefined thr, the region is the nose tip region, otherwise returning to step (1) to restart the cycle.
  • P and Q are respectively a set of feature points to be matched, and the set contains N feature points.
  • the visual dictionary histogram feature vector for extracting the three-dimensional depth image includes the following steps:
  • the nearest neighbor classifier is used as the final face recognition, wherein the L1 distance is selected as the distance measure.
  • the rigid portion is an intermediate frame selected from each video, and a principal component analysis method is used to determine a base vector ( ⁇ ) and an average value ( ⁇ x), providing a global linear subspace, describing the person The shape of the face changes.
  • establishing a linear subspace target describing non-rigid deformation is to build a model consisting of a set of PCA models that autonomously train and share soft boundaries, and establish a part-based model to make the vertices highly correlated and form dense regions. Since these areas will be better compressed by PCA, in order to find facial expression data to drive segmentation, 6000 frames selected in the data set are used.
  • the data set D ⁇ R6000 ⁇ 3072 is composed of 6000 frames and 1024 three-dimensional vertices; D is divided into three sub-children.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于灰度和深度信息的三维人脸重建方法，其主要内容包括：对人脸灰度信息进行识别；对人脸深度信息进行识别；多模态人脸识别；通过3D模型进行匹配；对人脸进行3D重建。其过程为，对人脸数据进行特征区域定位，利用特征点进行配准和特征提取。利用Adaboost算法选出对于分类最为有效的特征。然后利用最近邻分类器计算出匹配分数实现多模态人脸识别。最后通过匹配局部3D模型，完成人脸重建。本方法通过融合策略，有效提升了人脸识别系统的性能和效率。采用3D级联回归，选择致密的3D点集，脸部被完全标记，避免标志位置变化，解决了动作变化定位点不一致和自封闭的问题，计算花费减小，通用性强，实时效果好。

Description

一种基于灰度和深度信息的三维人脸重建方法 技术领域
本发明涉及人脸识别技术领域，尤其是涉及一种基于灰度和深度信息的三维人脸重建方法。
背景技术
3D 人脸网格重建方法，可以用于罪犯监控，在不需要罪犯指纹或者身份信息的情况下进行人脸重构，还可以用于三维打印，另外还可以用于三维人脸建模、动画制作等领域中，对各领域的影响重大。三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多学者都将他们的研究投入到该领域中。
人脸灰度图像容易受到光照变化的影响，而人脸深度图像容易受到数据采集精度以及表情变化等影响，这些因素在一定程度上影响了人脸识别系统的稳定性及准确性。因此多模态融合系统越来越受到人们的关注。多模态系统通过进行多模态数据的采集，可以利用每个模态数据的优点，并通过融合策略来克服单模态系统的某些内在弱点 ( 如灰度图像的光照，深度图像的表情 ) ，有效地提升了人脸识别系统的性能。
本发明通过融合灰度和深度信息获得多模态系统通过进行二维灰度信息和三维深度信息的采集，利用采集信息点通过匹配局部 3D 模型重建脸部形状。通过融合策略来克服单模态系统的某些内在弱点 ( 如灰度图像的光照，深度图像的表情 ) ，有效地提升了人脸识别系统的性能，使得人脸识别更加准确快捷。采用 3D 级联回归，动作变化中面中标志保持一致，通过选择致密的 3D 点集，脸部被完全标记，避免标志的位置发生变化，解决了动作变化定位点不一致和自封闭的问题；计算花费大大减小。 3D 网格不含背景，通用性强，而且实时效果好。
 技术问题
技术解决方案
有益效果
附图说明
图 1 是本发明一种基于灰度和深度信息的三维人脸重建方法的系统流程图。
图 2 是本发明一种基于灰度和深度信息的三维人脸重建方法的二维人脸人眼检测示意图。
图 3 是本发明一种基于灰度和深度信息的三维人脸重建方法的二维人脸 LBP 特征示意图。
图 4 是本发明一种基于灰度和深度信息的三维人脸重建方法的二维人脸灰度表象特征提取示意图。
图 5 是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸鼻尖定位示意图。
图 6 是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸空间映射示意图。
图 7 是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸深度表象特征提取示意图。
图 8 是本发明一种基于灰度和深度信息的三维人脸重建方法的 多模态人脸识别的 流程框图。
图 9 是本发明一种基于灰度和深度信息的三维人脸重建方法的 多模态人脸识别的 系统框图。
图 10 是 本发明一种基于灰度和深度信息的三维人脸重建方法的通过 3D 模型进行匹配流程图。
图 11 是 本发明一种基于灰度和深度信息的三维人脸重建方法 的迭代次数和定点数量对重建错误率的关系曲线图。
图 12 是 本发明一种基于灰度和深度信息的三维人脸重建方法的 对人脸进行 3D 重建 流程图。
图 13 是本发明一种基于灰度和深度信息的三维人脸重建方法的人脸重构图。
 本发明的最佳实施方式
本发明的实施方式
针对人脸灰度图像容易受到光照变化的影响，而人脸深度图像容易受到数据采集精度以及表情变化等影响的问题，本发明的目的在于提供一种基于灰度和深度信息的三维人脸重建方法，通过融合灰度和深度信息获得多模态系统，通过进行二维灰度信息和三维深度信息的采集，利用采集信息点通过匹配局部3D模型重建脸部形状。
为解决上述问题，本发明提供一种基于灰度和深度信息的三维人脸重建方法，其主要内容包括：
(一) 对人脸灰度信息进行识别；
(二) 对人脸深度信息进行识别；
(三) 多模态人脸识别
(四) 通过3D模型进行匹配；
(五) 对人脸进行3D重建；
其中，所述的对人脸灰度信息进行识别，包括如下步骤：
(1)特征区域定位，使用人眼检测器获取人眼区域，所述的人眼检测器为层级分类器H，经如下算法得到：
给定训练样本集合S={(x1,y1) ,… , (xm,ym)}，弱空间分类器H，其中x_i∈χ为样本向量，y_i=±1为分类标签，m为样本总数，初始化样本概率分布
D_1 (i)=1/m，i=1,…,m；
对t=1,… ,T中的每个弱分类器作如下操作：
对样本空间χ进行划分，得到X_1,X_2,… ,X_n；
∀x∈X_i ， h(x)=1/2 ln((W_(+1)^j+
Figure 03f5
)/(W_(-1)^j+
Figure 03f5
))，j=1,… ,n，
其中
Figure 03f5
为一小正常数；
计算归一化因子，
Z=2∑_j▒√(W_(+1)^j W_(-1)^j )
在弱分类器空间中选择一个，使得Z最小化
Z_t=min┬h
Figure 03f5
HZ
h_t=argmin┬h
Figure 03f5
HZ
更新训练样本概率分布
D_(i+1) (i)=D_i (i) exp[-y_i h_i (x_i )]/Z_t ，i=1,…,m ，
其中Z_t为归一化因子，使得D_(t+1)为一个概率分布；
最终强分类器H为
H(x)=sign[∑_(t=1)^r▒h_t (x)-b]
(2) 使用获得的人眼区域位置进行配准，利用LBP算法处理人眼位置数据获得LBP直方图特征，取值公式为
LBP_PR=∑_(P=0)^(P-1)▒
Figure 3016
s(g_p-g_c)2^p
Figure 3017
将该特征输入灰度图像分类器获取灰度匹配分数。
其中，所述的对人脸深度信息进行识别，包括如下步骤：
(1)特征区域定位，判定人脸鼻尖区域位置；
(2)对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准，配准完成后计算输入数据与注册库中的三维人脸模型数据之间的欧式距离；
(3)按照深度信息进行深度图像的获取，利用滤波器对于映射后的深度图像中的噪音点进行补偿去噪，最后对表情鲁棒区域进行选择，得到最终的三维人脸深度图像；
(4)提取三维深度图像的视觉词典直方图特征向量，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上，提取出原始深度图像的视觉词典直方图特征，利用该特征输入深度图像分类器获取匹配分数。
其中，所述的多模态人脸识别，包括多模态融合系统包括多个数据源：如二维灰度图像，三维深度图像；
(1) 对于二维灰度图像，首先进行特征点检测(人眼)，然后利用获得的特征点位置进行配准，在灰度图像配准后，利用LBP算法对该数据获取LBP直方图特征；
(2) 对于三维深度数据，首先进行特征点检测(鼻尖)并利用获取的特征点进行配准，然后将配准后的三维空间数据映射为人脸深度图像，利用视觉词典算法对该数据获取视觉词典直方图特征；
进一步地，该多模态系统利用特征层融合策略，因此在获取各数据源特征后，将所有特征拼接在一起形成特征池，特征池中的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑选出对于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类器计算出匹配分数，以此实现多模态人脸识别。
其中，所述的通过3D模型进行匹配，包括如下步骤：
(1) 迭代算法细化对应关系
之前的二维灰度信息和三维深度信息的采集，从二维形状重建三维形状，需要使重构误差最小化
(arg min)┬(p,r,s)∑_(i=1)^M▒
Figure 3016
||Px_i (p,r,s)-z_i
Figure 3016
||
Figure 3017
_2^2
Figure 3017
这里的P代表了矩阵在二维的投影，z是目标的二维形状，迭代方法在2D特征点上注册3D模型，建立了刚性（p=｛s，α，β，γ，t｝）和非刚性(r和s)的转换；
顶点数量的增加对重建错误率的降低效果微弱，而且顶点数量增加影响回归模型和匹配速度，顶点数量取较低值；迭代算法次数的增加对重建错误率的降低效果显著，对模型尺寸的影响不大，所以迭代算法次数取较大值；
(2) 通过矩阵进行矫正
假定在2D和3D特征点之间有语义对应，采用矩阵的形式来选择正确的3D对应2D的特征点，这里的语义对应在建模阶段已经建立，3D标志的二维投影标志通过级联回归获得；
(3) 约束可见标志
通过约束可见标志的过程，级联回归评估了标志的清晰度
(arg min)┬(p,r,s)∑_(i∈ξ)▒
Figure 3016
||Px_i (p,r,s)-z_i
Figure 3016
||
Figure 3017
_2^2
Figure 3017
ξ={j│v_j=1}表明标志指标的子集是可见的；
(4) 二维测量
进入时间同步的二维测量（z（1），. . . ，z（C）），所有的C测量代表相同的三维人脸，但是从不同的角度，通过对所有测量的重建的限制，将上式进行扩展：
(arg min)┬(p^((1) ),…,p^((C) ),)∑_(k=1)^C▒∑_(i∈ξ^((k) ))▒
Figure 3016
||Px_i (p^((k) ),r,s)-
Figure 3016
z_i
Figure 3017
^((k) )
Figure 3016
||
Figure 3017
_2^2
Figure 3017
上标（k）代表kth次测量，能见度设置为ξ（k），因为我们观察的是相同的人脸但是是从不同角度，整体刚性（r）和部分非刚性（s）的测量方法都相同；
(5)确定刚性、非刚性参数
假定人脸的刚性结构变化很小（参数r），只有表情会有变化（参数s），为了解决这种情况，在时间域中进行解决
1)计算刚性变型参数：
(arg min)┬( r_т )∑_(t∈т)▒∑_(i∈ξ^((t) ))▒
Figure 3016
||Px_i (p^((t) ),r_т,0)-
Figure 3016
z_i
Figure 3017
^((t) )
Figure 3016
||
Figure 3017
_2^2
Figure 3017
т={z^((t) )│t=1,…,T}代表时间测量的设置，rт代表从т计算出的刚性变型参数，这一步里的非刚性参数设置为0；
2)在任意时间帧计算刚性变型参数t∈[1,…,T]，
(arg min)┬( p^((t) ),s^((t) ) )∑_(i∈ξ^((t) ))▒
Figure 3016
||Px_i (p^((t) ),r_т,s^((t) ) )-
Figure 3016
z_i
Figure 3017
^((t) )
Figure 3016
||
Figure 3017
_2^2
Figure 3017
。
其中，所述的对人脸进行3D重建，包括在一个参数向量中
q:p(q)∝N(q;0,∧)
参数的优先原则遵循一个平均值为0、方差为Λ的正态分布，使用主成份分析法确定3维基向量的d部分，则：
(∅=[∅_1;…;∅_M ]∈R^(3M×d) )
分别对刚性和非刚性这两部分进行建模，
x_i=(p,r,s)=sR(¯x_i+θ_i r+ψ_i s)+t(i=1,…,M)
其中3维基向量的d部分（θ=[θ1；. . . ；θM]∈R3M×d）描述刚性变形，3维基向量的e部分（ψ=[ψ1；. . . ；ψM]∈R3M×d）描述了非刚性变形。
进一步的，所述的特征区域定位，包括如下步骤：
(1) 确定阈值，确定域平均负有效能量密度的阈值，定义为thr；
(2) 利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
(3) 法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；
(4) 区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；
(5) 判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤(1)重新开始循环。
进一步地，所述的ICP算法，主要步骤如下：
(1) 确定匹配数据集合对，从参考模板中的三维鼻尖数据选取参考点数据点集P；
(2) 利用点对点之间的最近的距离来选择输入三维人脸中与参考数据相匹配的数据点集Q；
(3) 计算刚性运动参数，计算旋转矩阵R和平移向量t；当X行列式值为1时，R＝X；t＝P-R*Q；
(4) 根据刚性变换后的数据集RQ+t和参考数据集P之间的误差判断三维数据集是否配准，配准之后通过输入数据与注册库中的三维人脸模型数据之间的欧式距离
D_((P,Q))=∑_1^N▒
Figure 3016
Figure 3016
(p_i-q_i)
Figure 3017
^2/N
Figure 3017
其中P，Q分别是待匹配的特征点集合，集合中含有N个特征点。
进一步地，所述的提取三维深度图像的视觉词典直方图特征向量，包括如下步骤：
1)将三维人脸深度图像分割成一些局部纹理区域；
2)对于每个GaBor滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并依此为基础建立视觉词典直方图向量作为三维人脸的特诊表达；
3)将灰度图像的LBP直方图特征和深度图像的视觉词典直方图特征拼接起来构成特征池，利用特征选取算法，如Adaboost，从已经获取的特征池中选取其中对于人脸识别最为有效地特征组合，实现特征层的数据融合；
4)获取人脸特征后，将最近邻分类器用来作为最后的人脸识别，其中L1距离被选作为距离度量。
进一步地，所述的刚性部分，是从每个视频中选择中间帧，应用主成份分析法确定基向量（θ）和平均值（¯x）、提供了一个整体的线性子空间，描述了人脸形状的变化。
进一步地，建立描述非刚性变形（ψ）的线性子空间目标是建立一个模型，由自主训练并共享软边界的PCA模型集合组成，建立基于部分的模型，使顶点高度相关，形成密集的区域，由于这些区域将更好通过PCA压缩，为了找到面部表情数据驱动分割，使用了数据集中选出的6000帧，数据集D∈R6000×3072由6000帧和1024三维顶点组成；把D分为三个子集Dx，Dy，Dz∈R6000×1024每个包含顶点对应的空间坐标，描述顶点之间的相关测量，通过Dx，Dy，Dz计算相关矩阵归一化，然后平均成一个相关矩阵C；相同区域的顶点也应该在人脸表面互相接近，因此，我们利用计算了模型顶点间距离形成距离矩阵G归一化到[0，1]范围，这两个矩阵整合成一个矩阵。
 工业实用性
序列表自由内容

Claims (10)

  1. 一种基于灰度和深度信息的三维人脸重建方法，其特征在于，主要包括对人脸灰度信息进行识别（一）；对人脸深度信息进行识别（二）；多模态人脸识别（三）；通过3D模型进行匹配（四）；对人脸进行3D重建（五）。
  2. 基于权利要求书1所述的对人脸灰度信息进行识别（一），其特征在于，包括如下步骤：
    (1)特征区域定位，使用人眼检测器获取人眼区域，所述的人眼检测器为层级分类器H，经如下算法得到：
    给定训练样本集合S={(x1,y1) ,… , (xm,ym)}，弱空间分类器H，其中x_i∈χ为样本向量，y_i=±1为分类标签，m为样本总数，初始化样本概率分布
    D_1 (i)=1/m，i=1,…,m；
    对t=1,… ,T中的每个弱分类器作如下操作：
    对样本空间χ进行划分，得到X_1,X_2,… ,X_n；
    ∀x∈X_i ， h(x)=1/2 ln((W_(+1)^j+
    Figure 03f5
    )/(W_(-1)^j+
    Figure 03f5
    ))，j=1,… ,n，
    其中
    Figure 03f5
    为一小正常数；
    计算归一化因子，
    Z=2∑_j▒√(W_(+1)^j W_(-1)^j )
    在弱分类器空间中选择一个，使得Z最小化
    Z_t=min┬h
    Figure 03f5
    HZ
    h_t=argmin┬h
    Figure 03f5
    HZ
    更新训练样本概率分布
    D_(i+1) (i)=D_i (i) exp[-y_i h_i (x_i )]/Z_t ，i=1,…,m ，
    其中Z_t为归一化因子，使得D_(t+1)为一个概率分布；
    最终强分类器H为
    H(x)=sign[∑_(t=1)^r▒h_t (x)-b]
    (2) 使用获得的人眼区域位置进行配准，利用LBP算法处理人眼位置数据获得LBP直方图特征，取值公式为
    LBP_PR=∑_(P=0)^(P-1)▒
    Figure 3016
    s(g_p-g_c)2^p
    Figure 3017
    将该特征输入灰度图像分类器获取灰度匹配分数。
  3. 基于权利要求书1所述的对人脸深度信息进行识别（二），其特征在于，包括如下步骤：
    (1) 特征区域定位，判定人脸鼻尖区域位置；
    (2) 对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准，配准完成后计算输入数据与注册库中的三维人脸模型数据之间的欧式距离；
    (3) 按照深度信息进行深度图像的获取，利用滤波器对于映射后的深度图像中的噪音点进行补偿去噪，最后对表情鲁棒区域进行选择，得到最终的三维人脸深度图像；
    (4) 提取三维深度图像的视觉词典直方图特征向量，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上，提取出原始深度图像的视觉词典直方图特征，利用该特征输入深度图像分类器获取匹配分数。
  4. 基于权利要求书3所述的特征区域定位（1），其特征在于，包括如下步骤：
    (1) 确定阈值，确定域平均负有效能量密度的阈值，定义为thr；
    (2) 利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
    (3) 法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；
    (4) 区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；
    (5) 判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤(1)重新开始循环。
  5. 基于权利要求书3所述的ICP算法，其特征在于，包括步骤如下：
    (1) 确定匹配数据集合对，从参考模板中的三维鼻尖数据选取参考点数据点集P；
    (2) 利用点对点之间的最近的距离来选择输入三维人脸中与参考数据相匹配的数据点集Q；
    (3) 计算刚性运动参数，计算旋转矩阵R和平移向量t；当X行列式值为1时，R＝X；t＝P-R*Q；
    (4) 根据刚性变换后的数据集RQ+t和参考数据集P之间的误差判断三维数据集是否配准，配准之后通过输入数据与注册库中的三维人脸模型数据之间的欧式距离
    D_((P,Q))=∑_1^N▒
    Figure 3016
    Figure 3016
    (p_i-q_i)
    Figure 3017
    ^2/N
    Figure 3017
    其中P，Q分别是待匹配的特征点集合，集合中含有N个特征点。
  6. 基于权利要求书3所述的步骤(4)，其特征在于，包括如下步骤：
    (1) 将三维人脸深度图像分割成一些局部纹理区域；
    (2) 对于每个GaBor滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并依此为基础建立视觉词典直方图向量作为三维人脸的特诊表达；
    (3) 将灰度图像的LBP直方图特征和深度图像的视觉词典直方图特征拼接起来构成特征池，利用特征选取算法，如Adaboost，从已经获取的特征池中选取其中对于人脸识别最为有效地特征组合，实现特征层的数据融合；
    (4) 获取人脸特征后，将最近邻分类器用来作为最后的人脸识别，其中L1距离被选作为距离度量。
  7. 基于权利要求书1所述的多模态人脸识别（三），其特征在于，包括多模态融合系统包括多个数据源：如二维灰度图像，三维深度图像；
    (1) 对于二维灰度图像，首先进行特征点检测(人眼)，然后利用获得的特征点位置进行配准，在灰度图像配准后，利用LBP算法对该数据获取LBP直方图特征；
    (2) 对于三维深度数据，首先进行特征点检测(鼻尖)并利用获取的特征点进行配准，然后将配准后的三维空间数据映射为人脸深度图像，利用视觉词典算法对该数据获取视觉词典直方图特征；
    该多模态系统利用特征层融合策略，因此在获取各数据源特征后，将所有特征拼接在一起形成特征池，特征池中的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑选出对于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类器计算出匹配分数，以此实现多模态人脸识别。
  8. 基于权利要求书1所述的通过3D模型进行匹配（四），其特征在于，包括如下步骤：
    (1) 迭代算法细化对应关系
    之前的二维灰度信息和三维深度信息的采集，从二维形状重建三维形状，需要使重构误差最小化
    (arg min)┬(p,r,s)∑_(i=1)^M▒
    Figure 3016
    ||Px_i (p,r,s)-z_i
    Figure 3016
    ||
    Figure 3017
    _2^2
    Figure 3017
    这里的P代表了矩阵在二维的投影，z是目标的二维形状，迭代方法在2D特征点上注册3D模型，建立了刚性（p=｛s，α，β，γ，t｝）和非刚性(r和s)的转换；
    顶点数量的增加对重建错误率的降低效果微弱，而且顶点数量增加影响回归模型和匹配速度，顶点数量取较低值；迭代算法次数的增加对重建错误率的降低效果显著，对模型尺寸的影响不大，所以迭代算法次数取较大值；
    (2) 通过矩阵进行矫正
    假定在2D和3D特征点之间有语义对应，采用矩阵的形式来选择正确的3D对应2D的特征点，这里的语义对应在建模阶段已经建立，3D标志的二维投影标志通过级联回归获得；
    (3) 约束可见标志
    通过约束可见标志的过程，级联回归评估了标志的清晰度
    (arg min)┬(p,r,s)∑_(i∈ξ)▒
    Figure 3016
    ||Px_i (p,r,s)-z_i
    Figure 3016
    ||
    Figure 3017
    _2^2
    Figure 3017
    ξ={j│v_j=1}表明标志指标的子集是可见的；
    (4) 二维测量
    进入时间同步的二维测量（z（1），. . . ，z（C）），所有的C测量代表相同的三维人脸，但是从不同的角度，通过对所有测量的重建的限制，将上式进行扩展：
    (arg min)┬(p^((1) ),…,p^((C) ),)∑_(k=1)^C▒∑_(i∈ξ^((k) ))▒
    Figure 3016
    ||Px_i (p^((k) ),r,s)-
    Figure 3016
    z_i
    Figure 3017
    ^((k) )
    Figure 3016
    ||
    Figure 3017
    _2^2
    Figure 3017
    上标（k）代表kth次测量，能见度设置为ξ（k），因为我们观察的是相同的人脸但是是从不同角度，整体刚性（r）和部分非刚性（s）的测量方法都相同；
    (5) 确定刚性、非刚性参数
    假定人脸的刚性结构变化很小（参数r），只有表情会有变化（参数s），为了解决这种情况，在时间域中进行解决
    1)计算刚性变型参数：
    (arg min)┬( r_т )∑_(t∈т)▒∑_(i∈ξ^((t) ))▒
    Figure 3016
    ||Px_i (p^((t) ),r_т,0)-
    Figure 3016
    z_i
    Figure 3017
    ^((t) )
    Figure 3016
    ||
    Figure 3017
    _2^2
    Figure 3017
    т={z^((t) )│t=1,…,T}代表时间测量的设置，rт代表从т计算出的刚性变型参数，这一步里的非刚性参数设置为0；
    2)在任意时间帧计算刚性变型参数t∈[1,…,T]，
    (arg min)┬( p^((t) ),s^((t) ) )∑_(i∈ξ^((t) ))▒
    Figure 3016
    ||Px_i (p^((t) ),r_т,s^((t) ) )-
    Figure 3016
    z_i
    Figure 3017
    ^((t) )
    Figure 3016
    ||
    Figure 3017
    _2^2
    Figure 3017
    。
  9. 基于权利要求书1所述的对人脸进行3D重建（五），其特征在于，包括在一个参数向量中
    q:p(q)∝N(q;0,∧)
    参数的优先原则遵循一个平均值为0、方差为Λ的正态分布，使用主成份分析法确定3维基向量的d部分，则：
    (∅=[∅_1;…;∅_M ]∈R^(3M×d) )
    分别对刚性和非刚性这两部分进行建模，
    x_i=(p,r,s)=sR(¯x_i+θ_i r+ψ_i s)+t(i=1,…,M)
    其中3维基向量的d部分（θ=[θ1；. . . ；θM]∈R3M×d）描述刚性变形，3维基向量的e部分（ψ=[ψ1；. . . ；ψM]∈R3M×d）描述了非刚性变形。
  10. 基于权利要求书9所述的刚性部分，其特征在于，包括从每个视频中选择中间帧，应用主成份分析法确定基向量（θ）和平均值（¯x）、提供了一个整体的线性子空间，描述了人脸形状的变化；所述的非刚性变形，其特征在于，包括建立描述非刚性变形（ψ）的线性子空间目标是建立一个模型，由自主训练并共享软边界的PCA模型集合组成，建立基于部分的模型，使顶点高度相关，形成密集的区域，由于这些区域将更好通过PCA压缩，为了找到面部表情数据驱动分割，使用了数据集中选出的6000帧，数据集D∈R6000×3072由6000帧和1024三维顶点组成；把D分为三个子集Dx，Dy，Dz∈R6000×1024每个包含顶点对应的空间坐标，描述顶点之间的相关测量，通过Dx，Dy，Dz计算相关矩阵归一化，然后平均成一个相关矩阵C；相同区域的顶点也应该在人脸表面互相接近，因此，我们利用计算了模型顶点间距离形成距离矩阵G归一化到[0，1]范围，这两个矩阵整合成一个矩阵。
PCT/CN2016/098100 2016-08-31 2016-09-05 一种基于灰度和深度信息的三维人脸重建方法 WO2018040099A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610794122.1A CN106469465A (zh) 2016-08-31 2016-08-31 一种基于灰度和深度信息的三维人脸重建方法
CN201610794122.1 2016-08-31

Publications (1)

Publication Number Publication Date
WO2018040099A1 true WO2018040099A1 (zh) 2018-03-08

Family

ID=58230456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/098100 WO2018040099A1 (zh) 2016-08-31 2016-09-05 一种基于灰度和深度信息的三维人脸重建方法

Country Status (2)

Country Link
CN (1) CN106469465A (zh)
WO (1) WO2018040099A1 (zh)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717730A (zh) * 2018-04-10 2018-10-30 福建天泉教育科技有限公司 一种3d人物重建的方法及终端
CN109100731A (zh) * 2018-07-17 2018-12-28 重庆大学 一种基于激光雷达扫描匹配算法的移动机器人定位方法
CN109325994A (zh) * 2018-09-11 2019-02-12 合肥工业大学 一种基于三维人脸数据增强的方法
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备
CN109614879A (zh) * 2018-11-19 2019-04-12 温州大学 基于图像识别的料斗颗粒检测方法
CN110020613A (zh) * 2019-03-19 2019-07-16 江苏爱科赛尔云数据科技有限公司 基于Jetson TX1平台的前端人脸实时检测方法
CN110046543A (zh) * 2019-02-27 2019-07-23 视缘(上海)智能科技有限公司 一种基于平面参数化的三维人脸识别方法
CN110084259A (zh) * 2019-01-10 2019-08-02 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
CN110276408A (zh) * 2019-06-27 2019-09-24 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
CN110349140A (zh) * 2019-07-04 2019-10-18 五邑大学 一种中医耳诊图像处理方法及装置
CN110827394A (zh) * 2018-08-10 2020-02-21 宏达国际电子股份有限公司 脸部表情建构方法、装置及非暂态电脑可读取记录媒体
CN110826580A (zh) * 2018-08-10 2020-02-21 浙江万里学院 基于热核特征的物体二维形状分类方法
CN110942479A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
CN111127631A (zh) * 2019-12-17 2020-05-08 深圳先进技术研究院 基于单图像的三维形状和纹理重建方法、系统及存储介质
CN111144180A (zh) * 2018-11-06 2020-05-12 天地融科技股份有限公司 一种监控视频的风险检测方法及系统
CN111382626A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 视频中违规图像的检测方法、装置、设备及存储介质
CN111402403A (zh) * 2020-03-16 2020-07-10 中国科学技术大学 高精度三维人脸重建方法
CN111652974A (zh) * 2020-06-15 2020-09-11 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质
CN111681309A (zh) * 2020-06-08 2020-09-18 北京师范大学 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台
CN111754557A (zh) * 2020-05-29 2020-10-09 清华大学 目标地理区域人脸模板生成方法和装置
CN111951372A (zh) * 2020-06-30 2020-11-17 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN111968152A (zh) * 2020-07-15 2020-11-20 桂林远望智能通信科技有限公司 一种动态身份识别方法及装置
CN112017230A (zh) * 2020-09-07 2020-12-01 浙江光珀智能科技有限公司 一种三维人脸模型建模方法及系统
CN112085117A (zh) * 2020-09-16 2020-12-15 北京邮电大学 一种基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法
CN112257552A (zh) * 2020-10-19 2021-01-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112509144A (zh) * 2020-12-09 2021-03-16 深圳云天励飞技术股份有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN112614213A (zh) * 2020-12-14 2021-04-06 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备
CN112882666A (zh) * 2021-03-15 2021-06-01 上海电力大学 一种基于三维建模与模型填补的3d打印系统及方法
CN113056744A (zh) * 2018-12-20 2021-06-29 光线搜索实验室公司 数据扩充
CN113254684A (zh) * 2021-06-18 2021-08-13 腾讯科技（深圳）有限公司 一种内容时效的确定方法、相关装置、设备以及存储介质
CN113642545A (zh) * 2021-10-15 2021-11-12 北京万里红科技有限公司 一种基于多任务学习的人脸图像处理方法
CN113673287A (zh) * 2020-05-15 2021-11-19 深圳市光鉴科技有限公司 基于目标时间节点的深度重建方法、系统、设备及介质
CN114596408A (zh) * 2022-02-08 2022-06-07 武汉大学 一种基于连续二维金属分布图像的可微并行三维重建方法
CN116109743A (zh) * 2023-04-11 2023-05-12 广州智算信息技术有限公司 一种基于ai和图像合成技术的数字人生成方法及系统
CN116168163A (zh) * 2023-03-29 2023-05-26 湖北工业大学 三维模型构建方法、装置及存储介质
CN117218119A (zh) * 2023-11-07 2023-12-12 苏州瑞霏光电科技有限公司 用于晶圆生产的质量检测方法及系统
CN117284131A (zh) * 2023-09-26 2023-12-26 广东安能电业有限公司 一种电动单车充电柜及其控制方法
CN118135111A (zh) * 2024-03-25 2024-06-04 脉得智能科技(无锡)有限公司 一种三维重建方法、装置及电子设备
CN118522059A (zh) * 2024-07-23 2024-08-20 湖南警察学院 一种用于公安实战场景人脸识别数据处理系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045631B (zh) * 2017-05-25 2019-12-24 北京华捷艾米科技有限公司 人脸特征点检测方法、装置及设备
CN109697749A (zh) * 2017-10-20 2019-04-30 虹软科技股份有限公司 一种用于三维建模的方法和装置
CN107992797B (zh) * 2017-11-02 2022-02-08 中控智慧科技股份有限公司 人脸识别方法及相关装置
CN110785792A (zh) * 2017-11-21 2020-02-11 深圳市柔宇科技有限公司 3d建模方法、电子设备、存储介质及程序产品
CN107886568B (zh) * 2017-12-09 2020-03-03 东方梦幻文化产业投资有限公司 一种利用3D Avatar重建人脸表情的方法及系统
CN108711185B (zh) * 2018-05-15 2021-05-28 清华大学 联合刚性运动和非刚性形变的三维重建方法及装置
CN108876708B (zh) * 2018-05-31 2022-10-25 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN109377563A (zh) * 2018-11-29 2019-02-22 广州市百果园信息技术有限公司 一种人脸网格模型的重建方法、装置、设备和存储介质
CN109729285B (zh) * 2019-01-17 2021-03-23 广州方硅信息技术有限公司 熔线格特效生成方法、装置、电子设备及存储介质
CN110032927B (zh) * 2019-02-27 2024-08-02 视缘(上海)智能科技有限公司 一种人脸识别方法
CN110163953B (zh) * 2019-03-11 2023-08-25 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置
CN110070611B (zh) * 2019-04-22 2020-12-01 清华大学 一种基于深度图像融合的人脸三维重建方法和装置
CN110689609B (zh) * 2019-09-27 2020-11-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111627092B (zh) * 2020-05-07 2021-03-09 江苏原力数字科技股份有限公司 一种从拓扑关系构建高强度的弯曲约束的方法
CN111582223A (zh) * 2020-05-19 2020-08-25 华普通用技术研究（广州）有限公司 一种三维人脸识别方法
CN112562082A (zh) * 2020-08-06 2021-03-26 长春理工大学 一种三维人脸重建方法及系统
CN112508811A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 图像预处理方法、装置、设备以及存储介质
CN114727002A (zh) * 2021-01-05 2022-07-08 北京小米移动软件有限公司 拍摄方法、装置、终端设备及存储介质
WO2022226747A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 眼球追踪方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404091A (zh) * 2008-11-07 2009-04-08 重庆邮电大学 基于两步形状建模的三维人脸重建方法和系统
CN103971122A (zh) * 2014-04-30 2014-08-06 深圳市唯特视科技有限公司 基于深度图像的三维人脸描述方法及装置
CN104008366A (zh) * 2014-04-17 2014-08-27 深圳市唯特视科技有限公司 一种3d生物智能识别方法及系统
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104778441A (zh) * 2015-01-07 2015-07-15 深圳市唯特视科技有限公司 融合灰度信息和深度信息的多模态人脸识别装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309662A1 (en) * 2005-12-14 2008-12-18 Tal Hassner Example Based 3D Reconstruction
KR20110071213A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
CN102254154B (zh) * 2011-07-05 2013-06-12 南京大学 一种基于三维模型重建的人脸身份认证方法
CN102592309B (zh) * 2011-12-26 2014-05-07 北京工业大学 一种非线性三维人脸的建模方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404091A (zh) * 2008-11-07 2009-04-08 重庆邮电大学 基于两步形状建模的三维人脸重建方法和系统
CN104008366A (zh) * 2014-04-17 2014-08-27 深圳市唯特视科技有限公司 一种3d生物智能识别方法及系统
CN103971122A (zh) * 2014-04-30 2014-08-06 深圳市唯特视科技有限公司 基于深度图像的三维人脸描述方法及装置
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104778441A (zh) * 2015-01-07 2015-07-15 深圳市唯特视科技有限公司 融合灰度信息和深度信息的多模态人脸识别装置及方法

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717730A (zh) * 2018-04-10 2018-10-30 福建天泉教育科技有限公司 一种3d人物重建的方法及终端
CN108717730B (zh) * 2018-04-10 2023-01-10 福建天泉教育科技有限公司 一种3d人物重建的方法及终端
CN109100731A (zh) * 2018-07-17 2018-12-28 重庆大学 一种基于激光雷达扫描匹配算法的移动机器人定位方法
CN110827394A (zh) * 2018-08-10 2020-02-21 宏达国际电子股份有限公司 脸部表情建构方法、装置及非暂态电脑可读取记录媒体
CN110826580B (zh) * 2018-08-10 2023-04-14 浙江万里学院 基于热核特征的物体二维形状分类方法
CN110827394B (zh) * 2018-08-10 2024-04-02 宏达国际电子股份有限公司 脸部表情建构方法、装置及非暂态电脑可读取记录媒体
CN110826580A (zh) * 2018-08-10 2020-02-21 浙江万里学院 基于热核特征的物体二维形状分类方法
CN109325994A (zh) * 2018-09-11 2019-02-12 合肥工业大学 一种基于三维人脸数据增强的方法
CN109325994B (zh) * 2018-09-11 2023-03-24 合肥工业大学 一种基于三维人脸数据增强的方法
CN110942479A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
CN110942479B (zh) * 2018-09-25 2023-06-02 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备
CN111144180A (zh) * 2018-11-06 2020-05-12 天地融科技股份有限公司 一种监控视频的风险检测方法及系统
CN111144180B (zh) * 2018-11-06 2023-04-07 天地融科技股份有限公司 一种监控视频的风险检测方法及系统
CN109614879B (zh) * 2018-11-19 2022-12-02 温州大学 基于图像识别的料斗颗粒检测方法
CN109614879A (zh) * 2018-11-19 2019-04-12 温州大学 基于图像识别的料斗颗粒检测方法
CN113056744A (zh) * 2018-12-20 2021-06-29 光线搜索实验室公司 数据扩充
CN111382626B (zh) * 2018-12-28 2023-04-18 广州市百果园信息技术有限公司 视频中违规图像的检测方法、装置、设备及存储介质
CN111382626A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 视频中违规图像的检测方法、装置、设备及存储介质
CN110084259A (zh) * 2019-01-10 2019-08-02 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
CN110084259B (zh) * 2019-01-10 2022-09-20 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
CN110046543A (zh) * 2019-02-27 2019-07-23 视缘(上海)智能科技有限公司 一种基于平面参数化的三维人脸识别方法
CN110020613A (zh) * 2019-03-19 2019-07-16 江苏爱科赛尔云数据科技有限公司 基于Jetson TX1平台的前端人脸实时检测方法
CN110020613B (zh) * 2019-03-19 2022-12-06 广州爱科赛尔云数据科技有限公司 基于Jetson TX1平台的前端人脸实时检测方法
CN110276408A (zh) * 2019-06-27 2019-09-24 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
CN110276408B (zh) * 2019-06-27 2022-11-22 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
CN110349140B (zh) * 2019-07-04 2023-04-07 五邑大学 一种中医耳诊图像处理方法及装置
CN110349140A (zh) * 2019-07-04 2019-10-18 五邑大学 一种中医耳诊图像处理方法及装置
CN111127631B (zh) * 2019-12-17 2023-07-28 深圳先进技术研究院 基于单图像的三维形状和纹理重建方法、系统及存储介质
CN111127631A (zh) * 2019-12-17 2020-05-08 深圳先进技术研究院 基于单图像的三维形状和纹理重建方法、系统及存储介质
CN111402403B (zh) * 2020-03-16 2023-06-20 中国科学技术大学 高精度三维人脸重建方法
CN111402403A (zh) * 2020-03-16 2020-07-10 中国科学技术大学 高精度三维人脸重建方法
CN113673287B (zh) * 2020-05-15 2023-09-12 深圳市光鉴科技有限公司 基于目标时间节点的深度重建方法、系统、设备及介质
CN113673287A (zh) * 2020-05-15 2021-11-19 深圳市光鉴科技有限公司 基于目标时间节点的深度重建方法、系统、设备及介质
CN111754557A (zh) * 2020-05-29 2020-10-09 清华大学 目标地理区域人脸模板生成方法和装置
CN111681309B (zh) * 2020-06-08 2023-07-25 北京师范大学 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台
CN111681309A (zh) * 2020-06-08 2020-09-18 北京师范大学 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台
CN111652974A (zh) * 2020-06-15 2020-09-11 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质
CN111652974B (zh) * 2020-06-15 2023-08-25 腾讯科技（深圳）有限公司 三维人脸模型的构建方法、装置、设备及存储介质
CN111951372B (zh) * 2020-06-30 2024-01-05 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN111951372A (zh) * 2020-06-30 2020-11-17 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN111968152B (zh) * 2020-07-15 2023-10-17 桂林远望智能通信科技有限公司 一种动态身份识别方法及装置
CN111968152A (zh) * 2020-07-15 2020-11-20 桂林远望智能通信科技有限公司 一种动态身份识别方法及装置
CN112017230A (zh) * 2020-09-07 2020-12-01 浙江光珀智能科技有限公司 一种三维人脸模型建模方法及系统
CN112085117A (zh) * 2020-09-16 2020-12-15 北京邮电大学 一种基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法
CN112257552A (zh) * 2020-10-19 2021-01-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112257552B (zh) * 2020-10-19 2023-09-05 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112509144A (zh) * 2020-12-09 2021-03-16 深圳云天励飞技术股份有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN112614213A (zh) * 2020-12-14 2021-04-06 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备
CN112614213B (zh) * 2020-12-14 2024-01-23 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备
CN112882666A (zh) * 2021-03-15 2021-06-01 上海电力大学 一种基于三维建模与模型填补的3d打印系统及方法
CN113254684A (zh) * 2021-06-18 2021-08-13 腾讯科技（深圳）有限公司 一种内容时效的确定方法、相关装置、设备以及存储介质
CN113642545B (zh) * 2021-10-15 2022-01-28 北京万里红科技有限公司 一种基于多任务学习的人脸图像处理方法
CN113642545A (zh) * 2021-10-15 2021-11-12 北京万里红科技有限公司 一种基于多任务学习的人脸图像处理方法
CN114596408A (zh) * 2022-02-08 2022-06-07 武汉大学 一种基于连续二维金属分布图像的可微并行三维重建方法
CN116168163A (zh) * 2023-03-29 2023-05-26 湖北工业大学 三维模型构建方法、装置及存储介质
CN116168163B (zh) * 2023-03-29 2023-11-17 湖北工业大学 三维模型构建方法、装置及存储介质
CN116109743B (zh) * 2023-04-11 2023-06-20 广州智算信息技术有限公司 一种基于ai和图像合成技术的数字人生成方法及系统
CN116109743A (zh) * 2023-04-11 2023-05-12 广州智算信息技术有限公司 一种基于ai和图像合成技术的数字人生成方法及系统
CN117284131A (zh) * 2023-09-26 2023-12-26 广东安能电业有限公司 一种电动单车充电柜及其控制方法
CN117284131B (zh) * 2023-09-26 2024-05-03 广东安能电业有限公司 一种电动单车充电柜及其控制方法
CN117218119A (zh) * 2023-11-07 2023-12-12 苏州瑞霏光电科技有限公司 用于晶圆生产的质量检测方法及系统
CN117218119B (zh) * 2023-11-07 2024-01-26 苏州瑞霏光电科技有限公司 用于晶圆生产的质量检测方法及系统
CN118135111A (zh) * 2024-03-25 2024-06-04 脉得智能科技(无锡)有限公司 一种三维重建方法、装置及电子设备
CN118522059A (zh) * 2024-07-23 2024-08-20 湖南警察学院 一种用于公安实战场景人脸识别数据处理系统

Also Published As

Publication number Publication date
CN106469465A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
WO2018040099A1 (zh) 一种基于灰度和深度信息的三维人脸重建方法
WO2016110007A1 (zh) 基于三维点云的三维人脸识别装置和方法
Zhu et al. Detailed human shape estimation from a single image by hierarchical mesh deformation
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
Rogez et al. Mocap-guided data augmentation for 3d pose estimation in the wild
Kostrikov et al. Depth Sweep Regression Forests for Estimating 3D Human Pose from Images.
CA2801593C (en) Parameterized model of 2d articulated human shape
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
US9189855B2 (en) Three dimensional close interactions
Nejhum et al. Visual tracking with histograms and articulating blocks
Aslam et al. On the application of automated machine vision for leather defect inspection and grading: a survey
CN108256421A (zh) 一种动态手势序列实时识别方法、系统及装置
Hernández et al. Spatio-temporal grabcut human segmentation for face and pose recovery
CN106570460B (zh) 一种基于深度值的单幅图像人脸姿态估计方法
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
Sethi et al. Signpro-An application suite for deaf and dumb
CN110543817A (zh) 基于姿势指导特征学习的行人再识别方法
JP6272071B2 (ja) 画像処理装置、画像処理方法及びプログラム
Ahdid et al. A survey on facial feature points detection techniques and approaches
Kerdvibulvech et al. Model-based hand tracking by chamfer distance and adaptive color learning using particle filter
Lee et al. Robust face tracking by integration of two separate trackers: Skin color and facial shape
Wu et al. Model-based face reconstruction using sift flow registration and spherical harmonics
Cooray et al. A hybrid technique for face detection in color images
Terissi et al. 3D Head Pose and Facial Expression Tracking using a Single Camera.
Damle et al. Human body skeleton detection and tracking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16914664

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16914664

Country of ref document: EP

Kind code of ref document: A1