WO2020082626A1 - 一种移动设备上的实时人脸三维重建系统及方法 - Google Patents
一种移动设备上的实时人脸三维重建系统及方法 Download PDFInfo
- Publication number
- WO2020082626A1 WO2020082626A1 PCT/CN2019/072069 CN2019072069W WO2020082626A1 WO 2020082626 A1 WO2020082626 A1 WO 2020082626A1 CN 2019072069 W CN2019072069 W CN 2019072069W WO 2020082626 A1 WO2020082626 A1 WO 2020082626A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- model
- face
- index
- blend
- basis
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Definitions
- the invention belongs to the field of video processing, and in particular relates to a real-time face three-dimensional reconstruction system and method on a mobile device.
- the technical problem to be solved by the present invention is to provide a real-time face three-dimensional reconstruction system and method on a mobile device.
- a real-time face 3D reconstruction system on a mobile device including: a data preprocessing module, a face model iteration module, and a 3D rendering module, wherein,
- Data preprocessing module used to screen key points of the face and initialize face model and parameters
- Face model iteration module used to iteratively calculate face model parameters, camera parameters and generate face models
- Rendering module used to render the required props according to the above face model
- the data preprocessing module is connected to the face model iteration module and sends data and or signals to it, and the face model iteration module is connected to the rendering module and sends data and or signals to it.
- the present invention also provides a real-time face three-dimensional reconstruction method on a mobile device, which adopts the system described above and includes the following steps:
- the present invention can reconstruct the face model only by the image acquired by a single camera, without any manual calibration.
- the model adopted in the present invention can accurately describe the facial expressions in real time.
- the three-dimensional face model obtained by the system and method of the present invention can realize functions such as 3d stickers, face masks, and expression-driven models.
- FIG. 1 is a system architecture diagram of the present invention.
- Fig. 2 is a flowchart of the three-dimensional reconstruction process of a human face.
- a real-time face three-dimensional reconstruction system on a mobile device of the present invention includes
- Data preprocessing module used to screen key points of the face and initialize face model and parameters
- Face model iteration module used to iteratively calculate face model parameters, camera parameters and generate face models
- Rendering module used to render the required props according to the above face model
- connection relationship of these three modules is: the data preprocessing module is connected to the face model iteration module and sends data and or signals to it, and the face model iterative module is connected to the rendering module and sends data and or signals to it.
- the real-time face three-dimensional reconstruction method on the mobile device of the present invention adopts the system described above and includes the following steps:
- Deformable models are used to represent human faces, including average model V mean , feature model V basis and expression model V blend , and unknown feature model parameters W basis and expression model parameters W blend are defined.
- the number of models is the same.
- the model of a face V V mean + W basis * V basis + W blend * V blend ;
- the partial point V index_3d in the model with index index_3d corresponds to the key point y index_2d of the face;
- the face 3D reconstruction processing flow is shown in Figure 1, including the following steps:
- the app 3D face reconstruction module loads and initializes the PCA face model
- model vertex normal vector find the model edge, and compare the points on the edge with Y, update the model edge points and model key points;
- the model parameters W basis and W blend are updated by the least square method
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种移动设备上的实时人脸三维重建系统,包括:数据预处理模块,人脸模型迭代模块,三维渲染模块,数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号,人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。以及一种移动设备上的实时人脸三维重建方法。所述系统仅需单个相机获取的图像就能重建人脸模型,无需任何人工标定。
Description
本发明属于视频处理领域,具体涉及一种移动设备上的实时人脸三维重建系统及方法。
随着移动设备的及短视频的普及,越来越多的人在手机上进行视频编辑或游戏娱乐。其中有一部份场景(比如视频或游戏)需要创建自己的替身,根据相机输入的视频来重建出三维头像,在此之上进行表情操控动画模型或叠加三维动画效果。传统的人脸重建方法需要拍摄不同角度的多张照片,或者需要大量的计算,这对设备性能及拍摄条件要求比较高。
发明内容
本发明所要解决的技术问题是提供一种移动设备上的实时人脸三维重建系统及方法。
本发明解决技术问题所采用的技术方案是:
一种移动设备上的实时人脸三维重建系统,包括:数据预处理模块,人脸模型迭代模块,三维渲染模块,其中,
数据预处理模块,用于进行人脸关键点的筛选以及初始化人脸模型及参数;
人脸模型迭代模块,用于迭代计算人脸模型参数、相机参数并生成人脸模型;
渲染模块,用于根据上述的人脸模型,渲染所需道具;
数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号,人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。
本发明还提供了一种移动设备上的实时人脸三维重建方法,采用以上所述的系统,包括以下步骤:
(1)输入其他人脸检测器检测得到人脸特征点y,筛选关键点y
index_2d;
(2)用可形变模型来表示人脸,已知经PCA方法变换的人脸模型由以下几部分构成:平均模型V
mean,特征模型V
basis和表情模型V
blend。另外定义未知的特征模型参数W
basis和表情模型参数W
blend,其中W
basis,W
blend的维度分别与V
basis,V
blend的个数相同。这样,一张脸的模型V=V
mean+W
basis*V
basis+W
blend*V
blend;模型中索引为index_3d的部分点V
index_3d与人脸关键点y
index_2d一一对应;
(3)对于人脸关键点y
index_2d与当前的模型V,使用GoldStandard算法估计相机矩阵P,使得∑
i∥y
i-P(V
i)∥
2最小,y
i∈y
index_2d,V
i∈V
index_3d;
(4)更新当前相机投影下的模型边缘点;先计算模型中所有顶点V的法向量
令视线向量为
在当前的相机矩阵P下,根据向量点积
来判断V
i是否为边缘点,从而求出边缘H,其中
再将H中的点与y
index_2d中的边缘点进行比较,得到离各 个关键点最近的点,更新V
index_3d;
(5)计算特征模型参数与形状模型参数,使得∑
i∥y
i-P(V
mean+∑(W
basis*V
basis)+W
blend*V
blend)
i∥
2最小,计算当前的模型V;
(6)重复步骤(3)-(5),迭代二到三次后得到最终的参数E(P,W
basis,W
blend)和模型V。
本发明的有益效果是:
(1)本发明仅需单个相机获取的图像就能重建人脸模型,无需任何人工标定。
(2)本发明采用的模型可以实时准确描述人脸表情。
(3)采用本发明系统与方法得到的人脸三维模型,可以实现如3d贴纸,人脸面具,表情驱动模型等功能。
图1为本发明的系统架构图。
图2为人脸三维重建处理流程图。
以下结合附图对本发明的技术方案做进一步详细说明,应当指出的是,具体实施方式只是对本发明的详细说明,不应视为对本发明的限定。
本发明的一种移动设备上的实时人脸三维重建系统,包括
数据预处理模块,人脸模型迭代模块,三维渲染模块。
其中,
数据预处理模块,用于进行人脸关键点的筛选以及初始化人脸模型及参数;
人脸模型迭代模块,用于迭代计算人脸模型参数、相机参数并生成人脸模型;
渲染模块,用于根据上述的人脸模型,渲染所需道具;
这三个模块的连接关系是:数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号,人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。
本发明的移动设备上的实时人脸三维重建方法,采用以上所述的系统,包括以下步骤:
(1)输入由其他检测器检测得到的人脸特征点y,筛选关键点y
index_2d;
(2)用可形变模型来表示人脸,其中,包括平均模型V
mean,特征模型V
basis和表情模型V
blend,另外定义未知的特征模型参数W
basis和表情模型参数W
blend,参数维度分别与模型个数相同。这样,一张脸的模型V=V
mean+W
basis*V
basis+W
blend*V
blend;模型中索引为index_3d的部分点V
index_3d与人脸关键点y
index_2d一一对应;
(3)对于人脸关键点y
index_2d与当前的模型V,使用GoldStandard算法估计相机矩阵P,使得∑
i∥y
i-P(V
i)∥
2最小,其中y
i∈y
index_2d,V
i∈V
index_3d,y
i表示第i个关键点,V
i表示第i个关键点y
i的模型,P(V
i)是V
i的矩阵;
(4)对于非正脸的情况,需要更新当前相机投影下的模型边缘点;根据人脸模型特性可知,观测视线与顶点法向量夹角越小,顶点越可能处于当前边缘上;计算模型中所有顶点V的法向量
令视线向量为
在当前的相机矩阵P下,根据向量点积
来判断V
i是否为边缘点,从而求出边缘H,其中
再将H中的点与y
index_2d中的边缘点进行比较,得到离各个关键点最近的点,更新V
index_3d;
(5)计算特征模型参数与形状模型参数,使得∑
i∥y
i-P(V
mean+∑(W
basis*V
basis)+W
blend*V
blend)
i∥
2最小,计算当前的模型V;
(6)重复步骤(3)-(5),迭代二到五次后得到最终的参数E(P,W
basis,W
blend)和模型V。
人脸三维重建处理流程如图1所示,包括以下步骤:
1)在手机视频app的拍摄模式下,选择3d贴纸或面具;
2)app三维人脸重建模块加载PCA人脸模型并进行初始化;
3)其他模块会对相机获取的图像进行人脸检测,如果有人脸则获取一组人脸特征点,筛选关键点Y;
4)利用Gold Stand算法,根据人脸关键点Y和PCA人脸模型中对应的关键点V,用最小二乘法估算简单投影相机矩阵P,从而求出位移t,旋转r,缩放s等;
5)根据模型顶点法向量,求出模型边缘,边缘上的点与Y进行比较,更新模型边缘点及模型关键点;
6)根据人脸特征点Y与模型关键点V,用最小二乘法更新模型参数W
basis和W
blend;
7)应用中迭代2-3次可得到良好结果,计算当前人脸模型;
8)采用OpenGL渲染模型,将人脸模型传到渲染引擎中,为其他的三维模型(例如3d贴纸模型等)提供遮挡信息,或者绘制人脸面具;
9)最终将所需的模型一起渲染到屏幕上。
Claims (2)
- 一种移动设备上的实时人脸三维重建系统,其特征在于,包括:数据预处理模块,用于进行人脸关键点的筛选以及初始化人脸模型及参数;人脸模型迭代模块,用于迭代计算人脸模型参数、相机参数并生成人脸模型;渲染模块,用于根据上述的人脸模型,渲染所需道具;其中,数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号,人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。
- 一种移动设备上的实时人脸三维重建方法,其特征在于,采用权利要求1所述的系统,包括以下步骤:(1)对相机中的图像进行人脸检测,得到关键点y index_2d;(2)用可形变模型来表示人脸,其中,包括平均模型V mean,特征模型V basis和表情模型V blend,再定义特征模型参数W basis和表情模型参数W blend;得到一张脸的模型V=V mean+W basis*V basis+W blend*V blend;模型中索引为index_3d的部分点V index_3d与人脸关键点y index_2d一一对应;(3)对于关键点y index_2d与当前的模型V,使得∑ i∥y i-P(V i)∥ 2最小来计算出相机矩阵P;(4)对于非正脸的情况,需要更新当前相机投影下的模型边缘点;先计算模型中所有顶点V的法向量 令视线向量为 在当前 的相机矩阵P下,根据向量点积 来判断V i是否为边缘点,从而求出边缘H,其中 再将H中的点与y index_2d中的边缘点进行比较,得到离各个关键点最近的点,更新V index_3d;(5)计算特征模型参数与形状模型参数,使得∑ i∥y i-P(V mean+∑(W basis*V basis)+W blend*V blend) i∥ 2最小,计算当前的模型V;(6)重复步骤(3)-(5),迭代二到五次后得到最终的参数E(P,W basis,W blend)和模型V。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/562,459 US10755477B2 (en) | 2018-10-23 | 2019-09-06 | Real-time face 3D reconstruction system and method on mobile device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811239434.1 | 2018-10-23 | ||
CN201811239434.1A CN109615688B (zh) | 2018-10-23 | 2018-10-23 | 一种移动设备上的实时人脸三维重建系统及方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/562,459 Continuation US10755477B2 (en) | 2018-10-23 | 2019-09-06 | Real-time face 3D reconstruction system and method on mobile device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020082626A1 true WO2020082626A1 (zh) | 2020-04-30 |
Family
ID=66002931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2019/072069 WO2020082626A1 (zh) | 2018-10-23 | 2019-01-17 | 一种移动设备上的实时人脸三维重建系统及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109615688B (zh) |
WO (1) | WO2020082626A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537021A (zh) * | 2021-07-08 | 2021-10-22 | 壹茹(上海)传媒科技有限公司 | 一种基于普通视频流的3d人脸模型表情自动生成方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262788A (zh) * | 2010-05-24 | 2011-11-30 | 上海一格信息科技有限公司 | 个人三维形象互动试妆信息数据处理方法及装置 |
CN107392984A (zh) * | 2017-07-26 | 2017-11-24 | 厦门美图之家科技有限公司 | 一种基于人脸图像生成动画的方法及计算设备 |
CN108062791A (zh) * | 2018-01-12 | 2018-05-22 | 北京奇虎科技有限公司 | 一种重建人脸三维模型的方法和装置 |
CN108121950A (zh) * | 2017-12-05 | 2018-06-05 | 长沙学院 | 一种基于3d模型的大姿态人脸对齐方法和系统 |
US20180253895A1 (en) * | 2017-03-03 | 2018-09-06 | Augray Pvt. Ltd. | System and method for creating a full head 3d morphable model |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102376100A (zh) * | 2010-08-20 | 2012-03-14 | 北京盛开互动科技有限公司 | 基于单张照片的人脸动画方法 |
CN104966316B (zh) * | 2015-05-22 | 2019-03-15 | 腾讯科技(深圳)有限公司 | 一种3d人脸重建方法、装置及服务器 |
CN107358648B (zh) * | 2017-07-17 | 2019-08-27 | 中国科学技术大学 | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 |
CN108154550B (zh) * | 2017-11-29 | 2021-07-06 | 奥比中光科技集团股份有限公司 | 基于rgbd相机的人脸实时三维重建方法 |
CN108510583B (zh) * | 2018-04-03 | 2019-10-11 | 北京华捷艾米科技有限公司 | 人脸图像的生成方法和人脸图像的生成装置 |
-
2018
- 2018-10-23 CN CN201811239434.1A patent/CN109615688B/zh active Active
-
2019
- 2019-01-17 WO PCT/CN2019/072069 patent/WO2020082626A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262788A (zh) * | 2010-05-24 | 2011-11-30 | 上海一格信息科技有限公司 | 个人三维形象互动试妆信息数据处理方法及装置 |
US20180253895A1 (en) * | 2017-03-03 | 2018-09-06 | Augray Pvt. Ltd. | System and method for creating a full head 3d morphable model |
CN107392984A (zh) * | 2017-07-26 | 2017-11-24 | 厦门美图之家科技有限公司 | 一种基于人脸图像生成动画的方法及计算设备 |
CN108121950A (zh) * | 2017-12-05 | 2018-06-05 | 长沙学院 | 一种基于3d模型的大姿态人脸对齐方法和系统 |
CN108062791A (zh) * | 2018-01-12 | 2018-05-22 | 北京奇虎科技有限公司 | 一种重建人脸三维模型的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109615688B (zh) | 2023-06-23 |
CN109615688A (zh) | 2019-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109285215B (zh) | 一种人体三维模型重建方法、装置和存储介质 | |
WO2022001236A1 (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
Wang et al. | 360sd-net: 360 stereo depth estimation with learnable cost volume | |
US11900557B2 (en) | Three-dimensional face model generation method and apparatus, device, and medium | |
US20220084163A1 (en) | Target image generation method and apparatus, server, and storage medium | |
US10755477B2 (en) | Real-time face 3D reconstruction system and method on mobile device | |
US11928778B2 (en) | Method for human body model reconstruction and reconstruction system | |
US20220358675A1 (en) | Method for training model, method for processing video, device and storage medium | |
US20220027659A1 (en) | Learning illumination from diverse portraits | |
WO2024007478A1 (zh) | 基于单手机的人体三维建模数据采集与重建方法及系统 | |
WO2022237249A1 (zh) | 三维重建方法、装置和系统、介质及计算机设备 | |
WO2022227765A1 (zh) | 生成图像修复模型的方法、设备、介质及程序产品 | |
WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
CN110580720A (zh) | 一种基于全景图的相机位姿估计方法 | |
CN115239857B (zh) | 图像生成方法以及电子设备 | |
CN111754622B (zh) | 脸部三维图像生成方法及相关设备 | |
US20210166476A1 (en) | Automatic 3D Image Reconstruction Process from Real-World 2D Images | |
Wang et al. | Digital twin: Acquiring high-fidelity 3D avatar from a single image | |
CN111222459A (zh) | 一种视角无关的视频三维人体姿态识别方法 | |
WO2020082626A1 (zh) | 一种移动设备上的实时人脸三维重建系统及方法 | |
TWI808321B (zh) | 應用於畫面顯示的物件透明度改變方法及實物投影機 | |
Song et al. | Real-time shadow-aware portrait relighting in virtual backgrounds for realistic telepresence | |
Bergmann et al. | Gravity alignment for single panorama depth inference | |
US20220301348A1 (en) | Face reconstruction using a mesh convolution network | |
CN114612798B (zh) | 基于Flow模型的卫星图像篡改检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19876558 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19876558 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19876558 Country of ref document: EP Kind code of ref document: A1 |