WO2020082626A1 - 一种移动设备上的实时人脸三维重建系统及方法 - Google Patents

一种移动设备上的实时人脸三维重建系统及方法 Download PDF

Info

Publication number
WO2020082626A1
WO2020082626A1 PCT/CN2019/072069 CN2019072069W WO2020082626A1 WO 2020082626 A1 WO2020082626 A1 WO 2020082626A1 CN 2019072069 W CN2019072069 W CN 2019072069W WO 2020082626 A1 WO2020082626 A1 WO 2020082626A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
face
index
blend
basis
Prior art date
Application number
PCT/CN2019/072069
Other languages
English (en)
French (fr)
Inventor
林传杰
张金矿
Original Assignee
杭州趣维科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州趣维科技有限公司 filed Critical 杭州趣维科技有限公司
Priority to US16/562,459 priority Critical patent/US10755477B2/en
Publication of WO2020082626A1 publication Critical patent/WO2020082626A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Definitions

  • the invention belongs to the field of video processing, and in particular relates to a real-time face three-dimensional reconstruction system and method on a mobile device.
  • the technical problem to be solved by the present invention is to provide a real-time face three-dimensional reconstruction system and method on a mobile device.
  • a real-time face 3D reconstruction system on a mobile device including: a data preprocessing module, a face model iteration module, and a 3D rendering module, wherein,
  • Data preprocessing module used to screen key points of the face and initialize face model and parameters
  • Face model iteration module used to iteratively calculate face model parameters, camera parameters and generate face models
  • Rendering module used to render the required props according to the above face model
  • the data preprocessing module is connected to the face model iteration module and sends data and or signals to it, and the face model iteration module is connected to the rendering module and sends data and or signals to it.
  • the present invention also provides a real-time face three-dimensional reconstruction method on a mobile device, which adopts the system described above and includes the following steps:
  • the present invention can reconstruct the face model only by the image acquired by a single camera, without any manual calibration.
  • the model adopted in the present invention can accurately describe the facial expressions in real time.
  • the three-dimensional face model obtained by the system and method of the present invention can realize functions such as 3d stickers, face masks, and expression-driven models.
  • FIG. 1 is a system architecture diagram of the present invention.
  • Fig. 2 is a flowchart of the three-dimensional reconstruction process of a human face.
  • a real-time face three-dimensional reconstruction system on a mobile device of the present invention includes
  • Data preprocessing module used to screen key points of the face and initialize face model and parameters
  • Face model iteration module used to iteratively calculate face model parameters, camera parameters and generate face models
  • Rendering module used to render the required props according to the above face model
  • connection relationship of these three modules is: the data preprocessing module is connected to the face model iteration module and sends data and or signals to it, and the face model iterative module is connected to the rendering module and sends data and or signals to it.
  • the real-time face three-dimensional reconstruction method on the mobile device of the present invention adopts the system described above and includes the following steps:
  • Deformable models are used to represent human faces, including average model V mean , feature model V basis and expression model V blend , and unknown feature model parameters W basis and expression model parameters W blend are defined.
  • the number of models is the same.
  • the model of a face V V mean + W basis * V basis + W blend * V blend ;
  • the partial point V index_3d in the model with index index_3d corresponds to the key point y index_2d of the face;
  • the face 3D reconstruction processing flow is shown in Figure 1, including the following steps:
  • the app 3D face reconstruction module loads and initializes the PCA face model
  • model vertex normal vector find the model edge, and compare the points on the edge with Y, update the model edge points and model key points;
  • the model parameters W basis and W blend are updated by the least square method

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种移动设备上的实时人脸三维重建系统，包括：数据预处理模块，人脸模型迭代模块，三维渲染模块，数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。以及一种移动设备上的实时人脸三维重建方法。所述系统仅需单个相机获取的图像就能重建人脸模型，无需任何人工标定。

Description

一种移动设备上的实时人脸三维重建系统及方法 技术领域
本发明属于视频处理领域，具体涉及一种移动设备上的实时人脸三维重建系统及方法。
背景技术
随着移动设备的及短视频的普及，越来越多的人在手机上进行视频编辑或游戏娱乐。其中有一部份场景(比如视频或游戏)需要创建自己的替身，根据相机输入的视频来重建出三维头像，在此之上进行表情操控动画模型或叠加三维动画效果。传统的人脸重建方法需要拍摄不同角度的多张照片，或者需要大量的计算，这对设备性能及拍摄条件要求比较高。
发明内容
本发明所要解决的技术问题是提供一种移动设备上的实时人脸三维重建系统及方法。
本发明解决技术问题所采用的技术方案是：
一种移动设备上的实时人脸三维重建系统，包括：数据预处理模块，人脸模型迭代模块，三维渲染模块，其中，
数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；
人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；
渲染模块，用于根据上述的人脸模型，渲染所需道具；
数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。
本发明还提供了一种移动设备上的实时人脸三维重建方法，采用以上所述的系统，包括以下步骤：
(1)输入其他人脸检测器检测得到人脸特征点y，筛选关键点y index_2d；
(2)用可形变模型来表示人脸，已知经PCA方法变换的人脸模型由以下几部分构成：平均模型V mean，特征模型V basis和表情模型V blend。另外定义未知的特征模型参数W basis和表情模型参数W blend，其中W basis，W blend的维度分别与V basis，V blend的个数相同。这样，一张脸的模型V＝V mean+W basis*V basis+W blend*V blend；模型中索引为index_3d的部分点V index_3d与人脸关键点y index_2d一一对应；
(3)对于人脸关键点y index_2d与当前的模型V，使用GoldStandard算法估计相机矩阵P，使得∑ i∥y i-P(V i)∥ 2最小，y i∈y index_2d，V i∈V index_3d；
(4)更新当前相机投影下的模型边缘点；先计算模型中所有顶点V的法向量
Figure PCTCN2019072069-appb-000001
令视线向量为
Figure PCTCN2019072069-appb-000002
在当前的相机矩阵P下，根据向量点积
Figure PCTCN2019072069-appb-000003
来判断V i是否为边缘点，从而求出边缘H，其中
Figure PCTCN2019072069-appb-000004
再将H中的点与y index_2d中的边缘点进行比较，得到离各 个关键点最近的点，更新V index_3d；
(5)计算特征模型参数与形状模型参数，使得∑ i∥y i-P(V mean+∑(W basis*V basis)+W blend*V blend) i∥ 2最小，计算当前的模型V；
(6)重复步骤(3)-(5)，迭代二到三次后得到最终的参数E(P,W basis,W blend)和模型V。
本发明的有益效果是：
(1)本发明仅需单个相机获取的图像就能重建人脸模型，无需任何人工标定。
(2)本发明采用的模型可以实时准确描述人脸表情。
(3)采用本发明系统与方法得到的人脸三维模型，可以实现如3d贴纸，人脸面具，表情驱动模型等功能。
附图说明
图1为本发明的系统架构图。
图2为人脸三维重建处理流程图。
具体实施方式
以下结合附图对本发明的技术方案做进一步详细说明，应当指出的是，具体实施方式只是对本发明的详细说明，不应视为对本发明的限定。
本发明的一种移动设备上的实时人脸三维重建系统，包括
数据预处理模块，人脸模型迭代模块，三维渲染模块。
其中，
数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；
人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；
渲染模块，用于根据上述的人脸模型，渲染所需道具；
这三个模块的连接关系是：数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。
本发明的移动设备上的实时人脸三维重建方法，采用以上所述的系统，包括以下步骤：
(1)输入由其他检测器检测得到的人脸特征点y，筛选关键点y index_2d；
(2)用可形变模型来表示人脸，其中，包括平均模型V mean，特征模型V basis和表情模型V blend，另外定义未知的特征模型参数W basis和表情模型参数W blend，参数维度分别与模型个数相同。这样，一张脸的模型V＝V mean+W basis*V basis+W blend*V blend；模型中索引为index_3d的部分点V index_3d与人脸关键点y index_2d一一对应；
(3)对于人脸关键点y index_2d与当前的模型V，使用GoldStandard算法估计相机矩阵P，使得∑ i∥y i-P(V i)∥ 2最小，其中y i∈y index_2d，V i∈V index_3d，y i表示第i个关键点，V i表示第i个关键点y i的模型，P(V i)是V i的矩阵；
(4)对于非正脸的情况，需要更新当前相机投影下的模型边缘点；根据人脸模型特性可知，观测视线与顶点法向量夹角越小，顶点越可能处于当前边缘上；计算模型中所有顶点V的法向量
Figure PCTCN2019072069-appb-000005
令视线向量为
Figure PCTCN2019072069-appb-000006
在当前的相机矩阵P下，根据向量点积
Figure PCTCN2019072069-appb-000007
来判断V i是否为边缘点，从而求出边缘H，其中
Figure PCTCN2019072069-appb-000008
再将H中的点与y index_2d中的边缘点进行比较，得到离各个关键点最近的点，更新V index_3d；
(5)计算特征模型参数与形状模型参数，使得∑ i∥y i-P(V mean+∑(W basis*V basis)+W blend*V blend) i∥ 2最小，计算当前的模型V；
(6)重复步骤(3)-(5)，迭代二到五次后得到最终的参数E(P,W basis,W blend)和模型V。
人脸三维重建处理流程如图1所示，包括以下步骤：
1)在手机视频app的拍摄模式下，选择3d贴纸或面具；
2)app三维人脸重建模块加载PCA人脸模型并进行初始化；
3)其他模块会对相机获取的图像进行人脸检测，如果有人脸则获取一组人脸特征点，筛选关键点Y；
4)利用Gold Stand算法，根据人脸关键点Y和PCA人脸模型中对应的关键点V，用最小二乘法估算简单投影相机矩阵P，从而求出位移t，旋转r，缩放s等；
5)根据模型顶点法向量，求出模型边缘，边缘上的点与Y进行比较，更新模型边缘点及模型关键点；
6)根据人脸特征点Y与模型关键点V，用最小二乘法更新模型参数W basis和W blend；
7)应用中迭代2-3次可得到良好结果，计算当前人脸模型；
8)采用OpenGL渲染模型，将人脸模型传到渲染引擎中，为其他的三维模型(例如3d贴纸模型等)提供遮挡信息，或者绘制人脸面具；
9)最终将所需的模型一起渲染到屏幕上。

Claims (2)

  1. 一种移动设备上的实时人脸三维重建系统，其特征在于，包括：
    数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；
    人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；
    渲染模块，用于根据上述的人脸模型，渲染所需道具；
    其中，数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。
  2. 一种移动设备上的实时人脸三维重建方法，其特征在于，采用权利要求1所述的系统，包括以下步骤：
    (1)对相机中的图像进行人脸检测，得到关键点y index_2d；
    (2)用可形变模型来表示人脸，其中，包括平均模型V mean，特征模型V basis和表情模型V blend，再定义特征模型参数W basis和表情模型参数W blend；得到一张脸的模型V＝V mean+W basis*V basis+W blend*V blend；模型中索引为index_3d的部分点V index_3d与人脸关键点y index_2d一一对应；
    (3)对于关键点y index_2d与当前的模型V，使得∑ i∥y i-P(V i)∥ 2最小来计算出相机矩阵P；
    (4)对于非正脸的情况，需要更新当前相机投影下的模型边缘点；先计算模型中所有顶点V的法向量
    Figure PCTCN2019072069-appb-100001
    令视线向量为
    Figure PCTCN2019072069-appb-100002
    在当前 的相机矩阵P下，根据向量点积
    Figure PCTCN2019072069-appb-100003
    来判断V i是否为边缘点，从而求出边缘H，其中
    Figure PCTCN2019072069-appb-100004
    再将H中的点与y index_2d中的边缘点进行比较，得到离各个关键点最近的点，更新V index_3d；
    (5)计算特征模型参数与形状模型参数，使得∑ i∥y i-P(V mean+∑(W basis*V basis)+W blend*V blend) i∥ 2最小，计算当前的模型V；
    (6)重复步骤(3)-(5)，迭代二到五次后得到最终的参数E(P,W basis,W blend)和模型V。
PCT/CN2019/072069 2018-10-23 2019-01-17 一种移动设备上的实时人脸三维重建系统及方法 WO2020082626A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/562,459 US10755477B2 (en) 2018-10-23 2019-09-06 Real-time face 3D reconstruction system and method on mobile device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811239434.1 2018-10-23
CN201811239434.1A CN109615688B (zh) 2018-10-23 2018-10-23 一种移动设备上的实时人脸三维重建系统及方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/562,459 Continuation US10755477B2 (en) 2018-10-23 2019-09-06 Real-time face 3D reconstruction system and method on mobile device

Publications (1)

Publication Number Publication Date
WO2020082626A1 true WO2020082626A1 (zh) 2020-04-30

Family

ID=66002931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/072069 WO2020082626A1 (zh) 2018-10-23 2019-01-17 一种移动设备上的实时人脸三维重建系统及方法

Country Status (2)

Country Link
CN (1) CN109615688B (zh)
WO (1) WO2020082626A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537021A (zh) * 2021-07-08 2021-10-22 壹茹(上海)传媒科技有限公司 一种基于普通视频流的3d人脸模型表情自动生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262788A (zh) * 2010-05-24 2011-11-30 上海一格信息科技有限公司 个人三维形象互动试妆信息数据处理方法及装置
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN108062791A (zh) * 2018-01-12 2018-05-22 北京奇虎科技有限公司 一种重建人脸三维模型的方法和装置
CN108121950A (zh) * 2017-12-05 2018-06-05 长沙学院 一种基于3d模型的大姿态人脸对齐方法和系统
US20180253895A1 (en) * 2017-03-03 2018-09-06 Augray Pvt. Ltd. System and method for creating a full head 3d morphable model

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376100A (zh) * 2010-08-20 2012-03-14 北京盛开互动科技有限公司 基于单张照片的人脸动画方法
CN104966316B (zh) * 2015-05-22 2019-03-15 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
CN107358648B (zh) * 2017-07-17 2019-08-27 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN108154550B (zh) * 2017-11-29 2021-07-06 奥比中光科技集团股份有限公司 基于rgbd相机的人脸实时三维重建方法
CN108510583B (zh) * 2018-04-03 2019-10-11 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262788A (zh) * 2010-05-24 2011-11-30 上海一格信息科技有限公司 个人三维形象互动试妆信息数据处理方法及装置
US20180253895A1 (en) * 2017-03-03 2018-09-06 Augray Pvt. Ltd. System and method for creating a full head 3d morphable model
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN108121950A (zh) * 2017-12-05 2018-06-05 长沙学院 一种基于3d模型的大姿态人脸对齐方法和系统
CN108062791A (zh) * 2018-01-12 2018-05-22 北京奇虎科技有限公司 一种重建人脸三维模型的方法和装置

Also Published As

Publication number Publication date
CN109615688B (zh) 2023-06-23
CN109615688A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
WO2022001236A1 (zh) 三维模型生成方法、装置、计算机设备及存储介质
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
US11900557B2 (en) Three-dimensional face model generation method and apparatus, device, and medium
US20220084163A1 (en) Target image generation method and apparatus, server, and storage medium
US10755477B2 (en) Real-time face 3D reconstruction system and method on mobile device
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
US20220358675A1 (en) Method for training model, method for processing video, device and storage medium
US20220027659A1 (en) Learning illumination from diverse portraits
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
WO2022237249A1 (zh) 三维重建方法、装置和系统、介质及计算机设备
WO2022227765A1 (zh) 生成图像修复模型的方法、设备、介质及程序产品
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN110580720A (zh) 一种基于全景图的相机位姿估计方法
CN115239857B (zh) 图像生成方法以及电子设备
CN111754622B (zh) 脸部三维图像生成方法及相关设备
US20210166476A1 (en) Automatic 3D Image Reconstruction Process from Real-World 2D Images
Wang et al. Digital twin: Acquiring high-fidelity 3D avatar from a single image
CN111222459A (zh) 一种视角无关的视频三维人体姿态识别方法
WO2020082626A1 (zh) 一种移动设备上的实时人脸三维重建系统及方法
TWI808321B (zh) 應用於畫面顯示的物件透明度改變方法及實物投影機
Song et al. Real-time shadow-aware portrait relighting in virtual backgrounds for realistic telepresence
Bergmann et al. Gravity alignment for single panorama depth inference
US20220301348A1 (en) Face reconstruction using a mesh convolution network
CN114612798B (zh) 基于Flow模型的卫星图像篡改检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19876558

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19876558

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19876558

Country of ref document: EP

Kind code of ref document: A1