WO2021143282A1 - 三维人脸模型生成方法、装置、计算机设备及存储介质 - Google Patents

三维人脸模型生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2021143282A1
WO2021143282A1 PCT/CN2020/125386 CN2020125386W WO2021143282A1 WO 2021143282 A1 WO2021143282 A1 WO 2021143282A1 CN 2020125386 W CN2020125386 W CN 2020125386W WO 2021143282 A1 WO2021143282 A1 WO 2021143282A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
image
face image
images
target
Prior art date
Application number
PCT/CN2020/125386
Other languages
English (en)
French (fr)
Inventor
李文攀
暴林超
林祥凯
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to EP20914245.4A priority Critical patent/EP4002290A4/en
Priority to JP2022520268A priority patent/JP7387202B2/ja
Publication of WO2021143282A1 publication Critical patent/WO2021143282A1/zh
Priority to US17/707,937 priority patent/US20220222893A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • the first image acquisition module is configured to acquire multiple target face images and multiple depth images corresponding to the multiple target face images, where the multiple target face images include the same face, and the multiple depths
  • the image contains depth information corresponding to the pixels in the target face image
  • the state determination module is further configured to determine that the face image is in an unblinked state in response to the opening and closing ratio being not less than the opening and closing ratio threshold.
  • the multiple target face images include a first face image corresponding to the front face type and a second face image corresponding to other image types
  • the first fusion unit is further configured to The posture angle difference between the second face image and the first face image is different, the second point cloud data corresponding to each second face image is rotated; each second point cloud data after the rotation is compared with The first point cloud data corresponding to the first face image is fused to generate the three-dimensional contour model.
  • the terminal In the game scene interface displayed by the terminal, the user clicks the emulation game character setting button to turn on the depth camera of the terminal, the user’s face is captured by the depth camera, and multiple facial images and corresponding depth images are obtained, then the terminal adopts According to the three-dimensional face model generation method provided by the embodiments of the present application, a three-dimensional face model of a human face is generated according to multiple acquired target face images and multiple corresponding depth images, and the three-dimensional face model is displayed in the game scene interface of the terminal. Face model, the user can use the 3D face model as the face of a simulated game character through the game scene interface.
  • Image types include front face type, left face type, right face type, or head-up type.
  • the face image of the front face type faces straight forward, and the face image of the left face type faces the person.
  • On the right side of the face the face of the face image belonging to the right face type faces the left side of the face, and the face image of the face image belonging to the head-up type faces upward.
  • the face image 231 belongs to the front face type
  • the face image 232 and the face image 236 belong to the left face type
  • the face image 233 and the face image 235 belong to the right face type
  • the face image 234 belongs to Head up type.
  • each face image includes at least one landmark point, and each landmark point indicates a position in the face.
  • different landmark points indicate different positions in the face.
  • the face image includes multiple landmark points, such as landmark points 52-59, landmark points 60-67, and landmark point 71.
  • Each marker point is located at a different position in the human face.
  • the marker point 71 indicates the position of the nose tip of the human face
  • the marker point 60 indicates the position of the right corner of the right eye in the human face. Since different marker points indicate different positions of the human face, it is possible to set matching image types for different marker points.
  • the process of determining the mark points of the upper eyelid, the mark point of the lower eyelid, the mark point of the left eye corner, and the mark point of the right eye corner is similar to the process of determining the mark point in step 202, and will not be repeated here.
  • each pixel in each target face image has a one-to-one correspondence with each pixel in the corresponding depth image
  • the regional depth can be determined from the depth image Image
  • the position of the face image in the area matches the position of the area depth image.
  • the regional depth image includes the depth information of each pixel in the corresponding regional face image.
  • Figure 8 includes a plurality of regional depth images, the image type corresponding to the regional depth image 281 is the face type, the image type corresponding to the regional depth image 282 is the left face type, and the image corresponding to the regional depth image 283 The type is the right face type, and the image type corresponding to the regional depth image 284 is the head-up type.
  • the at least one computer program is also loaded and executed by the processor to implement the following operations:
  • the color texture feature of the face image in each region is fused with the three-dimensional contour model to generate a three-dimensional face model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

一种三维人脸模型生成方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：获取多个目标人脸图像及对应的多个深度图像，根据每个目标人脸图像所属的图像类型，获取每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，根据每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型。通过对获取到的多个目标人脸图像及对应的多个深度图像进行剪裁，从而使不同的区域人脸图像之间的重叠区域减少，使生成人脸的三维人脸模型过程中的计算量小，从而提高了构建三维人脸模型的效率。

Description

三维人脸模型生成方法、装置、计算机设备及存储介质
本申请要求于2020年01月16日提交、申请号为202010049667.6、发明名称为“三维人脸模型生成方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种三维人脸模型生成方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展，三维人脸模型的应用越来越广泛。三维人脸模型可以用于多种场景下，如游戏人物构建场景、虚拟人物形象构建场景等，通过用户的人脸图像，可以生成用户的三维人脸模型，便于用户的使用。
相关技术中提供了一种三维人脸模型生成方法，获取目标人脸的视频，将该视频中包括的多个人脸图像进行融合，生成三维人脸模型。由于上述方法是将视频中的多个人脸图像进行融合，融合过程所需的计算量大，导致构建三维人脸模型的效率低。
发明内容
本申请实施例提供了一种三维人脸模型生成方法、装置、计算机设备及存储介质，能够提高了构建三维人脸模型的效率。所述技术方案如下：
一方面，提供了一种三维人脸模型构建方法，所述方法包括：
获取多个目标人脸图像及所述多个目标人脸图像对应的多个深度图像，所述多个目标人脸图像包含同一人脸，且所述多个深度图像包含对应目标人脸图像中的像素点的深度信息；
根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，所述图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
根据所述每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，所述区域人脸图像的位置与所述区域深度图像的位置匹配；
根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型。
另一方面，提供了一种三维人脸模型构建装置，所述装置包括：
第一图像获取模块，用于获取多个目标人脸图像及所述多个目标人脸图像对应的多个深度图像，所述多个目标人脸图像包含同一人脸，且所述多个深度图像包含对应目标人脸图像中的像素点的深度信息；
第二图像获取模块，用于根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，所述图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
第三图像获取模块，用于根据所述每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，所述区域人脸图像的位置与所述区域深度图像的位置匹配；
人脸模型生成模块，用于根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型。
可选地，所述第二图像获取模块，包括：
标志点选取单元，用于从任一目标人脸图像的多个标志点中，选取与所述目标人脸图像所属的图像类型匹配的至少一个第一标志点；
人脸图像获取单元，用于从所述目标人脸图像中获取所述至少一个第一标志点构成的区域人脸图像。
可选地，所述图像获取模块，包括：
第一图像获取单元，用于获取多个人脸图像及所述多个人脸图像对应的多个深度图像，所述多个人脸图像包含所述人脸；
图像序列划分单元，用于将所述多个人脸图像按照所属的图像类型进行划分，得到多个图像序列，每个图像序列包括所属图像类型相同的人脸图像；
第二图像获取单元，用于从每个图像序列中选取一个目标人脸图像，得到所述多个目标人脸图像，获取所述多个目标人脸图像对应的深度图像。
可选地，所述多个图像序列至少包括所述正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列，所述第二图像获取单元，还用于从所述第一图像序列中选取一个第一人脸图像，作为所述目标人脸图像；获取每个第二图像序列中的每个第二人脸图像与所述第一人脸图像之间的姿态角度差；分别从所述每个第二图像序列中选取一个所述姿态角度差最大的第二人脸图像，也作为所述目标人脸图像。
可选地，所述第二图像获取单元，还用于对于任一第二人脸图像，确定所述第二人脸图像与所述第一人脸图像中序号相同的至少一个第二标志点；根据所述第一人脸图像中所述至少一个第二标志点的坐标，及所述第二人脸图像中所述至少一个第二标志点的坐标，获取所述第一人脸图像与所述第二人脸图像之间的旋转平移矩阵；对所述旋转平移矩阵进行转换，得到所述第二人脸图像与所述第一人脸图像之间的姿态角度差。
可选地，所述图像获取模块，包括：
第三图像获取单元，用于获取多个人脸图像及所述多个人脸图像对应的多个深度图像，所述多个人脸图像包含所述人脸；
人脸图像确定单元，用于根据每个人脸图像的眼部状态，将所述多个人脸图像中处于未眨眼状态的人脸图像，确定为所述目标人脸图像，所述眼部状态包括眨眼状态或未眨眼状态。
可选地，所述装置还包括：
标志点确定模块，用于对于任一人脸图像，确定所述人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；
距离确定模块，用于确定所述上眼皮标志点与所述下眼皮标志点之间的第一距离，及所述左眼角标志点与所述右眼角标志点之间的第二距离；
开合比确定模块，用于将所述第一距离与所述第二距离之间的比值确定为所述目标眼部区域的开合比；
状态确定模块，用于响应于所述开合比小于开合比阈值，确定所述人脸图像处于眨眼状态；
所述状态确定模块，还用于响应于所述开合比不小于所述开合比阈值，确定所述人脸图像处于未眨眼状态。
可选地，所述装置还包括：
阈值确定模块，用于获取所述多个人脸图像对应的开合比的平均值，作为所述开合比阈值。
可选地，所述人脸模型生成模块，包括：
第一融合单元，用于将所述多个区域深度图像进行融合，得到三维轮廓模型；
特征提取单元，用于从所述多个目标人脸图像中分别提取每个区域人脸图像的颜色纹理特征；
第二融合单元，用于将所述每个区域人脸图像的颜色纹理特征与所述三维轮廓模型进行融合，生成所述三维人脸模型。
可选地，所述第一融合单元，还用于根据所述每个目标人脸图像对应的焦距值，将所述每个目标人脸图像对应的区域深度图像转换成点云数据；将所述每个目标人脸图像对应的点云数据进行融合，得到所述三维轮廓模型。
可选地，所述多个目标人脸图像包括所述正脸类型对应的第一人脸图像和其他图像类型对应的第二人脸图像，所述第一融合单元，还用于按照每个第二人脸图像与所述第一人脸图像的姿态角度差，将所述每个第二人脸图像对应的第二点云数据进行旋转；将旋转后的每个第二点云数据与所述第一人脸图像对应的第一点云数据进行融合，生成所述三维轮廓模型。
可选地，所述第二融合单元，还用于确定每个区域人脸图像在所述三维轮廓模型中对应的区域；分别将所述每个区域人脸图像的颜色纹理特征融合至所述三维轮廓模型中对应的区域的表面，生成所述人脸的三维人脸模型。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如上述方面所述的三维人脸模型生成方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如上述方面所述的三维人脸模型生成方法。
另一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取所述计算机程序代码，处理器执行所述计算机程序代码，以实现如上述方面所述的三维人脸模型生成方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的方法、装置、计算机设备及存储介质，通过获取每个目标人脸图像与所属图像类型匹配的区域人脸图像，将该目标人脸图像中其他区域的人脸图像剪裁处理，使得到的每个区域人脸图像及对应的区域深度图像只包括所属图像类型匹配的区域，不包括其他图像类型匹配的区域，从而使不同的区域人脸图像之间的重叠区域减少，根据获取到多 个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型过程中的计算量小，从而提高了构建三维人脸模型的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种三维人脸模型生成方法的流程图；
图3是本申请实施例提供的一种人脸图像序列的示意图；
图4是本申请实施例提供的一种人脸图像的示意图；
图5是本申请实施例提供的一种坐标系的示意图；
图6是本申请实施例提供的一种多个目标人脸图像的示意图；
图7是本申请实施例提供的一种三维人脸模型生成方法的流程图；
图8是本申请实施例提供的一种多个区域深度图像的示意图；
图9是本申请实施例提供的一种三维人脸模型生成方法的流程图；
图10是本申请实施例提供的一种三维轮廓模型的示意图；
图11是本申请实施例提供的一种三维轮廓模型的示意图；
图12是本申请实施例提供的一种三维人脸模型的示意图；
图13是本申请实施例提供的一种三维人脸模型生成方法的流程图；
图14是本申请实施例提供的一种三维人脸模型生成装置的结构示意图；
图15是本申请实施例提供的一种三维人脸模型生成装置的结构示意图；
图16是本申请实施例提供的一种终端的结构示意图；
图17是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一人脸图像称为第二人脸图像，且类似地，可将第二人脸图像称为第一人脸图像。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个元素包括3个元素，而每个是指这3个元素中的每一个元素，任一是指这3个元素中的任意一个，可以是第一个，可以是第二个、也可以是第三个。
为了便于理解本申请实施例的技术过程，下面对本申请实施例所涉及的一些名词进行解释：
RGB-D(Red Green Blue-Depth，颜色深度)图像序列：通过深度摄像机采集得到的带有彩色信息的RGB(Red Green Blue，红绿蓝)图像序列和带有深度信息Depth(深度)图像序列。RGB图像用于提取三维模型的纹理信息，Depth图像用于获取三维信息。
PnP(Pespective-n-Point，计算机视觉)：在已知世界坐标系下n个空间点的三维坐标以及这些空间点在图像上的二维投影，求解摄像机的姿态，在本申请实施例中用来计算人脸转动的姿态角。
RANSAC(RANdom SAmple Consensus，随机抽样一致)：随机抽样一致性算法，从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。
ICP(Iterative Closest Point，最近点搜索)：迭代最近点算法，是一种点云匹配算法。该算法通过迭代计算两幅点云的空间变换关系，使两幅点云转换到同一坐标系下进行配准对齐。
SVD(Singular Value Decomposition，奇异值分解)：线性代数中一种重要的对矩阵进行分解的方法，得到左奇异矩阵、Sigma(协方差)矩阵和右奇异矩阵。
Surfel(点元)模型：一种三维点云数据模型，该模型中每个点云存储了点的位置信息、面片的半径、法向量、颜色信息和点云数据的获取时间。
本申请实施例提供的三维人脸模型生成方法，能够用于计算机设备中。在一种可能实现方式中，该计算机设备为终端，可选地，该终端为手机、计算机、平板电脑等多种类型的终端。
终端通过深度摄像机拍摄人脸，获取到多个目标人脸图像及对应的多个深度图像，根据获取的多个目标人脸图像及对应的多个深度图像，确定出多个区域人脸图像及多个区域深度图像，根据该多个区域人脸图像及该多个区域深度图像生成人脸的三维人脸模型。
在另一种可能实现方式中，该计算机设备包括服务器和终端。图1是本申请实施例提供的一种实施环境的结构示意图，如图1所示，该实施环境包括终端101和服务器102。终端101与服务器102建立通信连接，通过建立的通信连接进行交互。
可选地，该终端101为手机、计算机、平板电脑等多种类型的终端101。可选地，服务器102为一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务器中心。
终端101通过深度摄像机拍摄人脸，获取到多个目标人脸图像及对应的多个深度图像，将获取到多个目标人脸图像及对应的多个深度图像发送至服务器102，该服务器102根据接收到的多个目标人脸图像及对应的多个深度图像，确定出多个区域人脸图像及多个区域深度图像，根据该多个区域人脸图像及该多个区域深度图像生成人脸的三维人脸模型，服务器102将生成的三维人脸模型发送至终端101，终端101显示该三维人脸模型供用户使用。
本申请实施例提供的方法，可用于各种场景下构建三维人脸模型，以适用于不同场景下的互动娱乐需求。例如，在游戏、宣传发布等场景中可准确构建出人脸的三维人脸模型，用于构建逼真的游戏人物属性。在日常对话交流场景下，构建出来的三维人脸模型用于定制专属的颜文字，增强聊天的趣味性。可选地，构建出来的三维人脸模型还用于虚拟美妆、虚拟试衣、虚拟人物形象等广泛的娱乐场景。
例如，仿真游戏人物设置场景下：
用户在终端显示的游戏场景界面中，点击仿真游戏人物设置按钮，打开该终端的深度摄 像机，通过该深度摄像机拍摄该用户的人脸，获取到多个人脸图像及对应的深度图像，则终端采用本申请实施例提供的三维人脸模型生成方法，根据获取的多个目标人脸图像及对应的多个深度图像，生成人脸的三维人脸模型，在终端的游戏场景界面中显示该三维人脸模型，用户能够通过该游戏场景界面将该三维人脸模型作为仿真游戏人物的人脸。
图2是本申请实施例提供的一种三维人脸模型生成方法的流程图，应用于计算机设备中，如图2所示，该方法包括：
201、计算机设备获取多个人脸图像及对应的多个深度图像。
可选地，人脸图像及对应的深度图像通过深度摄像机拍摄人脸得到的，人脸图像是包含人脸的RGB三通道彩色图像，深度图像是包含对应的人脸图像中的像素点的深度信息的图像。人脸图像中每个像素点与人脸的位置点对应，任一像素点的深度信息能够表示为该像素点对应的人脸位置与深度摄像机的位置之间的距离，则通过深度图像中的深度信息，能够确定出真实空间中深度摄像机的位置与人脸任一点之间的距离。该多个人脸图像包含同一人脸，可选地，在该多个人脸图像中，该人脸的朝向不同，如人脸的朝向为人脸朝向正前方、人脸朝向左侧、人脸朝向右侧、人脸朝向上方等。该多个人脸图像与该多个深度图像一一对应。
在一种可能实现方式中，该步骤201包括：计算机设备通过深度摄像机对人脸进行拍摄，获取到多个人脸图像及对应的多个深度图像。其中，深度摄像机用于获取人脸图像及对应的深度图像。在计算机设备通过深度摄像机对人脸进行拍摄时，获取到的人脸图像与深度图像是一一对应的。
可选地，深度摄像机包括摄像头及深度传感器，对人脸进行拍摄时，通过摄像头能够拍摄到人脸图像，通过深度传感器能够获取到人脸图像对应的深度图像。例如，手机包括摄像头和深度传感器，用户点击该手机的拍摄按钮对该用户的人脸进行拍摄时，通过该摄像头获取到一个人脸图像，且同时通过该深度传感器获取到与该人脸图像对应的深度图像。
可选地，在计算机设备对人脸拍摄时，该人脸按照预设顺序转动，使该计算机设备进行多次拍摄。可选地，该预设顺序为初始位置为人脸正面朝向计算机设备，人脸向左转动，人脸向右转动回到初始位置，人脸向右转动，人脸向左转动回到初始位置，人脸向上抬头。在人脸转动过程中，计算机设备对人脸进行拍摄，能够获取到多个人脸图像及对应的多个深度图像。对于计算机设备的拍摄方式，可选地，计算机设备对人脸拍摄视频，或者按照预设拍摄间隔对人脸进行拍摄，如该预设拍摄间隔为1秒。
可选地，计算机设备获取到的多个人脸图像及对应的多个深度图像作为RGB-D(Red Green Blue-Depth，颜色深度)图像序列，其中，如图3所示，多个人脸图像为RGB-D图像序列包括的带有彩色信息的RGB图像序列：人脸图像231、人脸图像232、人脸图像233、人脸图像234、人脸图像235和人脸图像236，多个深度图像为RGB-D图像序列包括的带有深度信息Depth(深度)图像序列。
202、计算机设备将多个人脸图像按照所属的图像类型进行划分，得到多个图像序列。
其中，按照人脸朝向的不同，将人脸图像划分为多种图像类型。图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型，属于正脸类型的人脸图像中人脸朝向正前方，属于左侧脸类型的人脸图像中人脸朝向该人脸的右侧，属于右侧脸类型的人脸图像中人脸朝向该人脸的左侧，属于抬头类型的人脸图像中人脸朝向上方。如图3所示，人脸图像231属于正脸类型，人脸图像232和人脸图像236属于左侧脸类型，人脸图像233和人脸图像235属于右 侧脸类型，人脸图像234属于抬头类型。
每个图像序列包括至少一个人脸图像，每个图像序列包括所属图像类型相同的人脸图像。计算机设备获取到多个人脸图像后，确定该多个人脸图像的图像类型，将该多个人脸图像中所属图像类型相同的人脸图像划分为一个图像序列，则得到的多个图像序列包括正脸图像序列，及左侧脸图像序列、右侧脸图像序列及抬头图像序列中的至少一种。
对于确定多个人脸图像的图像类型，在一种可能实现方式中，计算机设备对该多个人脸图像进行标志点检测，确定每个人脸图像中包括的至少一个标志点；对于任一人脸图像，该人脸图像中与任一图像类型匹配的标志点个数超过预设阈值时，确定该人脸图像属于该任一图像类型；或者，对于任一人脸图像，确定该人脸图像中与每个图像类型匹配的标志点的个数，将匹配的标志点的个数最大的图像类型确定为该人脸图像的图像类型。
可选地，每个人脸图像中包括至少一个标志点，每个标志点指示人脸中一个位置，在多个标志点中，不同的标志点在人脸中指示的位置不同。如图4所示，人脸图像中包括多个标志点，如标志点52-59、标志点60-67以及标志点71等。每个标志点位于人脸中不同的位置，例如标志点71指示人脸的鼻尖位置，标志点60指示人脸中右眼的右眼角位置等。由于不同的标志点指示人脸不同的位置，因此，能够为不同的标志点设置相匹配的图像类型。
可选地，对于正脸类型的人脸图像，将指示人脸鼻尖、眼部区域、嘴唇区域的标志点设置为与该正脸类型匹配的标志点；对于左侧脸类型的人脸图像，将指示人脸中左侧脸多个位置的标志点设置为与该左侧脸类型匹配。计算机设备根据每个人脸图像中包括的人脸进行标志点检测，能够确定出每个人脸图像中包括的标志点，后续能够根据每个人脸图像中包括的标志点匹配的图像类型，确定出每个人脸图像所属的图像类型。
可选地，计算机设备通过标志点检测模型对该多个人脸图像进行标志点检测，确定每个人脸图像中包括的标志点。可选地，该标志点检测模型是卷积神经网络模型，是通过大量的样本训练后得到的。
在另一种可能实现方式中，计算机设备按照获取该多个人脸图像顺序，将第一个人脸图像确定为正脸图像，将该多个人脸图像中其余的人脸图像作为待确定图像类型的人脸图像；对该多个人脸图像进行标志点检测，确定每个人脸图像中包括的至少一个标志点；对于其中的任一人脸图像，确定该人脸图像与该正脸图像中共同包括的预设数目个目标标志点，利用该人脸图像中目标标志点的坐标，及该正脸图像中目标标志点的坐标，确定该人脸图像与该正脸图像之间的姿态角度差；根据每个人脸图像对应的姿态角度差，确定每个人脸图像所属的图像类型。
其中，该多个人脸图像是按照时间顺序依次获取到的，在开始拍摄人脸时，人脸正面朝向深度摄像机，则获取到的第一个人脸图像为正脸图像。
其中，姿态角度差包括偏航角度差或俯仰角度差，如图5所示，人脸正面朝向X轴的正方向，人脸绕Z轴的转动角度为偏航角251；人脸绕Y的转动角度为俯仰角252。可选地，该偏航角度差和俯仰角度差均为正数或负数，响应于人脸图像对应的偏航角度差为正数，确定该人脸图像属于左侧脸类型；响应于人脸图像对应的偏航角度差为负数，确定该人脸图像属于右侧脸类型；响应于人脸图像对应的俯仰角度差为正数时，确定该人脸图像属于抬头类型。例如，人脸向右转头，则拍摄得到的人脸图像中显示该人脸的左侧脸区域，该人脸图像与正脸图像之间的偏航角度差为正数；人脸向左转头，则拍摄得到的人脸图像显示该人脸的右侧脸区域，该人脸图像与正脸图像之间的偏航角度差为负数；人脸向上抬头时，则拍摄得 到的人脸图像显示该人脸的下巴区域及脖颈区域，该人脸图像与正脸图像之间的俯仰角度差为正数。
在确定姿态角度差时，可选地，根据人脸图像及正脸图像中序号相同的目标标志点的坐标，确定该人脸图像与该正脸图像之间的旋转矩阵，将该旋转矩阵转换成角度，作为该人脸图像与该正脸图像之间的姿态角度差。可选地，该待确定的人脸图像与该正脸图像之间的姿态角度差，利用PnP算法进行计算得到。
另外，该预设数目是由计算机设备设置的，如预设数目为10。可选地，如果待确定的人脸图像与该正脸图像之间共同包括的标志点数目大于该预设数目，利用随机算法，如RANSAC算法，从待确定的人脸图像与该正脸图像之间共同包括的标志点中，确定出预设数目个目标标志点。
203、计算机设备从每个图像序列中选取一个目标人脸图像，得到多个目标人脸图像，获取多个目标人脸图像对应的深度图像。
由于每个图像序列包括所属图像类型相同的人脸图像，相同图像类型的人脸图像中包含的人脸会存在重叠区域，因此，从每个图像序列中选取一个目标人脸图像，则能够从多个图像序列中得到多个目标人脸图像，以便后续能够通过选取得到的多个目标人脸图像生成三维人脸模型，从而提高了生成三维人脸模型的效率。可选地，多个目标人脸图像中包括抬头类型的人脸图像，以使后续生成的三维人脸模型中能够包含人脸的下巴区域和脖颈区域。
另外，在多个图像序列中，不同的图像序列所对应的图像类型不同，则得到的多个目标人脸图像中不同的目标人脸图像所属的图像类型不同。如图6所示，该多个目标人脸图像包括属于正脸类型的人脸图像231、属于左侧脸类型的人脸图像232、属于右侧脸类型的人脸图像233、属于抬头类型的人脸图像234。
在一种可能实现方式中，计算机设备在图像序列中选取目标人脸图像的过程，如图7所示，包括以下步骤2031-步骤2033：
2031：从第一图像序列中选取一个第一人脸图像，作为目标人脸图像。
在本申请实施例中，多个图像序列至少包括正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列。可选地，第一图像序列中的第一人脸图像均属于正脸类型，则从第一图像序列中随机选取一个第一人脸图像作为目标人脸图像；或者，第一图像序列中的第一人脸图像按照拍摄时间顺序排列，将拍摄时间最早的第一人脸图像作为目标人脸图像。
2032：获取每个第二图像序列中的每个第二人脸图像与第一人脸图像之间的姿态角度差。
其中，该步骤2032中的姿态角度差与上述步骤202中对姿态角度差的说明类似，在此不再赘述。且该步骤2032获取姿态角度差的方式，也可与上述步骤202中获取姿态角度差的方式类似，在此不再赘述。
在一种可能实现方式中，该步骤2032包括：对于任一第二人脸图像，确定第二人脸图像与第一人脸图像中序号相同的至少一个第二标志点；根据第一人脸图像中至少一个第二标志点的坐标，及第二人脸图像中至少一个第二标志点的坐标，获取第一人脸图像与第二人脸图像之间的旋转平移矩阵；对旋转平移矩阵进行转换，得到第二人脸图像与第一人脸图像之间的姿态角度差。
可选地，每个人脸图像包括多个标志点，每个标志点指示人脸中一个位置，不同的标志点在人脸中指示的位置不同。因此，将多个标志点分别设置不同的序号，根据任一个序号能够确定出对应的标志点。例如，如图4所示，标志点71指示人脸的鼻尖位置，标志点60指 示人脸中右眼的右眼角位置等。
由于该至少一个第二标志点在第一人脸图像和第二人脸图像中的坐标不同，通过第一人脸图像中至少一个第二标志点的坐标，及第二人脸图像中至少一个第二标志点的坐标，能够确定出将第一人脸图像中至少一个第二标志点的坐标转换成第二人脸图像中至少一个第二标志点的坐标的旋转平移矩阵，或者，能够确定出第二人脸图像中至少一个第二标志点的坐标转换成第一人脸图像中至少一个第二标志点的坐标的旋转平移矩阵，将该旋转平移矩阵换成角度，将该角度作为第二人脸图像与第一人脸图像之间的姿态角度差。
可选地，对于选取的第二标志点的个数，是预设数目个第二标志点，与上述步骤202中预设数目个目标标志点的方式类似，在此不再赘述。
在另一种可能实现方式中，该步骤202包括：对于任一第二人脸图像，确定第二人脸图像中标志点集合S，及第一人脸图像中标志点集合M；从标志点集合S中随机选择预设数目个标志点，得到标志点集合S′，从标志点集合M中随机选择预设数目个标志点，得到标志点集合M′，且该标志点集合S′中的标志点与标志点集合M′中的标志点一一对应；分别确定该标志点集合S′和标志点集合M′的形心μ s和形心μ m；分别将该标志点集合S′和标志点集合M′中标志点的坐标减去对应的形心μ s和形心μ m的坐标，得到新的标志点集合s′和新的标志点集合m′，该标志点集合S′、标志点集合M′、标志点集合s′及标志点集合m′满足以下关系：
Figure PCTCN2020125386-appb-000001
通过该标志点集合s′及该标志点集合m′构造矩阵W，并对矩阵W进行分解，得到矩阵U和矩阵V，该标志点集合s′、该标志点集合m′、该矩阵W、该矩阵U及该矩阵V满足以下关系：
Figure PCTCN2020125386-appb-000002
利用该矩阵U及该矩阵V，得到第一人脸图像与第二人脸图像之间的旋转矩阵R；通过旋转矩阵R、形心μ s及形心μ m，得到第一人脸图像与第二人脸图像之间的平移矩阵t；该矩阵U、矩阵V、旋转矩阵R、平移矩阵t、形心μ s及形心μ m满足以下关系：
Figure PCTCN2020125386-appb-000003
将该旋转矩阵R和平移矩阵t融合得到该旋转平移矩阵，对旋转平移矩阵进行转换，得到第二人脸图像与第一人脸图像之间的姿态角度差。其中，上述公式中的T用于表示将矩阵进行转置，得到该矩阵的转置矩阵。如，矩阵V的转置矩阵为V T。可选地，上述过程通过RANSAC算法和ICP算法，得到第二人脸图像与第一人脸图像之间的姿态角度差。
2033：分别从每个第二图像序列中选取一个姿态角度差最大的第二人脸图像，也作为目标人脸图像。
由于第一人脸图像属于正脸类型，第二人脸图像属于其他图像类型，如左侧脸类型或右侧脸类型，第二人脸图像与第一人脸图像之间的姿态角度差越大，第二人脸图像中包含的与 所属图像类型匹配的区域越完整，则后续生成的三维人脸模型越准确，因此，从每个第二图像序列中选取一个姿态角度差最大的第二人脸图像，也作为目标人脸图像。例如，左侧脸类型对应的脸部区域为人脸的左侧脸，左侧脸类型的两个第二人脸图像与第一人脸图像对应的姿态角度差分别为20度和30度，则姿态角度差为30度的第二人脸图像中显示的左侧脸比姿态角度差为20度的第二人脸图像中显示的左侧脸完整，因此选取姿态角度差为30度的第二人脸图像作为目标人脸图像。
需要说明的是，本申请实施例是通过将获取到多个人脸图像划分成多个图像序列来确定目标人脸图像的，而在另一实施例中，还可以获取多个人脸图像及对应的多个深度图像；根据每个人脸图像的眼部状态，将多个人脸图像中处于未眨眼状态的人脸图像，确定为目标人脸图像，眼部状态包括眨眼状态或未眨眼状态。
由于处于眨眼状态的人脸图像中包含的人脸中眼部区域的特征不完整，如果将处于眨眼状态的人脸图像生成三维人脸模型，会导致该三维人脸模型的准确度差，因此，需要在生成三维人脸模型之前，需要筛选出处于未眨眼状态的人脸图像，以便后续生成三维人脸模型。
对于确定人脸图像的眼部状态的方式，在一种可能实现方式中，该方法还包括：对于任一人脸图像，确定人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；确定上眼皮标志点与下眼皮标志点之间的第一距离，及左眼角标志点与右眼角标志点之间的第二距离；将第一距离与第二距离之间的比值确定为目标眼部区域的开合比；响应于开合比小于开合比阈值，确定人脸图像处于眨眼状态；响应于开合比不小于开合比阈值，确定人脸图像处于未眨眼状态。
可选地，目标眼部区域为左眼部区域或右眼部区域，其中，左眼部区域是指人脸图像中的左侧的眼部区域，包括人脸中的右眼；右眼部区域是指人脸图像中的右侧的眼部区域，包括人脸中的左眼。开合比用于表示眼睛开合的大小程度，通过该开合比能够确定眼部区域的眼部状态。可选地，开合比阈值是通过多个人脸中眼部区域的开合比预先设置的；或者是通过该多个人脸图像中眼部区域的开合比确定。对于确定上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点的过程，与上述步骤202中确定标志点的过程类似，在此不再赘述。
通过上眼皮标志点的坐标与下眼皮标志点的坐标，能够确定出第一距离，通过左眼角标志点的坐标与右眼角标志点的坐标，能够确定出第二距离。通过该第一距离和第二距离，能够确定出该目标眼部区域的开合比，根据开合比与开合比阈值，能够确定出该人脸图像的眼部状态。在确定人脸图像眼部状态时，响应于左眼部区域和右眼部区域中任一眼部区域处于眨眼状态，则确定该人脸图像处于眨眼状态；响应于左眼部区域和右眼部区域均处于未眨眼状态，则确定该人脸图像处于未眨眼状态。
可选地，获取多个人脸图像对应的开合比的平均值，作为开合比阈值。由于不同的人脸中眼部区域的开合比阈值不同，因此，在确定当前的人脸的开合比阈值时，需根据当前的人脸的多个人脸图像的开合比确定，以使得到的开合比阈值与当前的人脸匹配，从而提高确定的人脸图像的眼部状态的准确率。且对于任一人脸的多个人脸图像，每个人脸图像中的眼部状态可能不同，导致每个人脸图像对应的开合比可能不同，则将多个人脸图像对应的开合比的平均值作为该人脸的开合比阈值，以使得到的开合比阈值与该人脸匹配，从而提高确定的人脸图像的眼部状态的准确率。
可选地，在确定多个人脸图像的眼部状态时，分别确定多个人脸图像中左眼部区域的开合比阈值及右眼部区域的开合比阈值，以使后续能够根据左眼部区域的开合比阈值，确定多 个人脸图像中左眼部区域的眼部状态，根据右眼部区域的开合比阈值，确定多个人脸图像中右眼部区域的眼部状态。由于在同一个人脸中，左眼部区域的开合比阈值与右眼部区域的开合比阈值不同，通过分别确定多个人脸图像中左眼部区域的开合比阈值及右眼部区域的开合比阈值，以使后续能够精准地确定人脸图像的眼部状态，从而提高确定的人脸图像的眼部状态的准确率。
可选地，在确定目标眼部区域中上眼皮标志点和下眼皮标志点时，确定多个上眼皮标志点和多个下眼皮标志点，该多个上眼皮标志点和多个下眼皮标志点一一对应。例如，如图4所示，上眼皮标志点序号为53、54、58，下眼皮标志点的序号为57、56、59，序号53与序号57对应，序号54与序号56对应，序号58与序号59对应。
可选地，确定人脸图像中目标眼部区域的多个上眼皮标志点中，上眼皮标志点1的坐标l 1、上眼皮标志点2的坐标l 2、上眼皮标志点3的坐标l 3，及多个下眼皮标志点中下眼皮标志点4的坐标l 4、下眼皮标志点5的坐标l 5、下眼皮标志点6的坐标l 6，左眼角标志点7的坐标为l 7，右眼角标志点8的坐标为l 8；通过坐标l 1、l 2、l 3、l 4、l 5、l 6、l 7及l 8，能够确定出该人脸图像中目标眼部区域的开合比d，坐标l 1、l 2、l 3、l 4、l 5、l 6、l 7、l 8及开合比d满足以下关系：
Figure PCTCN2020125386-appb-000004
其中，||l 1-l 4|| 2为上眼皮标志点1与下眼皮标志点2构成的向量的二范数，也即是该向量平方和再开方，用于表示上眼皮标志点1与下眼皮标志点2之间的距离；||l 2-l 5|| 2用于表示上眼皮标志点2与下眼皮标志点5之间的距离；||l 3-l 6|| 2用于表示上眼皮标志点3与下眼皮标志点6之间的距离；||l 7-l 8|| 2用于表示上眼皮标志点7与下眼皮标志点8之间的距离。
例如，如图4所示，目标眼部区域为左眼部区域，该左眼部区域的多个上眼皮标志点的序号为53、54、58，多个下眼皮标志点的序号为56、57、59，左眼角标志点为55，右眼角标志点为52，左眼部区域的开合比阈值为D 1，则在人脸图像中左眼部区域满足以下公式时，确定该人脸图像的左眼部区域处于眨眼状态：
Figure PCTCN2020125386-appb-000005
如图4所示，目标眼部区域为右眼部区域，该右眼部区域的多个上眼皮标志点的序号为61、62、66，多个下眼皮标志点的序号为64、65、67，左眼角标志点为63，右眼角标志点为60，右眼部区域的开合比阈值为D 2，则在人脸图像中右眼部区域满足以下公式时，确定该人脸图像的右眼部区域处于眨眼状态：
Figure PCTCN2020125386-appb-000006
需要说明的是，在另一实施例中，在确定目标人脸图像时，将上述的通过将获取到多个人脸图像划分成多个图像序列来确定目标人脸图像的方式，与通过获取到的多个人脸图像的眼部状态来确定目标人脸图像的方式进行结合。
204、计算机设备根据每个目标人脸图像所属的图像类型，获取每个目标人脸图像中与所属的图像类型匹配的区域人脸图像。
其中，区域人脸图像为人脸图像中部分区域的人脸图像。例如，正脸类型匹配的区域人脸图像包括人脸的正脸区域，左侧脸类型匹配的区域人脸图像包括人脸的左侧脸区域，右侧脸类型匹配的区域人脸图像包括人脸的右侧脸区域，抬头类型匹配的区域人脸图像包括人脸的下巴区域和脖颈区域。
在一种可能实现方式中，该步骤204包括：从任一目标人脸图像的多个标志点中，选取与目标人脸图像所属的图像类型匹配的至少一个第一标志点；从目标人脸图像中获取至少一个第一标志点构成的区域人脸图像。由于为每个标志点设置相匹配的图像类型，因此能够确定目标图像中与图像类型匹配的至少一个第一标志点。对于为每个标志点设置相匹配的图像类型与上述步骤202中的说明类似，在此不再赘述。
对于确定区域人脸图像的方式，可选地，对该至少一个第一标志点进行边缘点检测，确定多个边缘点，将该多个边缘点进行连接构成封闭区域，将该封闭区域对应的人脸图像，作为该区域人脸图像。其中，该至少一个第一标志点中除该多个边缘点外，其余的第一标志点均在该封闭区域内。
205、计算机设备根据每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像。
由于每个目标人脸图像中的各个像素点与对应的深度图像中的各个像素点一一对应，则在确定目标人脸图像中的区域人脸图像后，能够从深度图像中确定出区域深度图像，该区域人脸图像的位置与区域深度图像的位置匹配。该区域深度图像包括对应的区域人脸图像中每个像素点的深度信息。如图8所示，图8中包括多个区域深度图像，区域深度图像281对应的图像类型为正脸类型，区域深度图像282对应的图像类型为左侧脸类型，区域深度图像283对应的图像类型为右侧脸类型，区域深度图像284对应的图像类型为抬头类型。
206、计算机设备根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型。
由于每个区域人脸图像中每个像素点包括对应的颜色，每个区域深度图像包括对应的区域人脸图像中每个像素点的深度信息，则通过该多个区域人脸图像及该多个区域深度图像能够获取到人脸的皮肤颜色及人脸的轮廓，从而生成人脸的三维人脸模型。
可选地，多个区域人脸图像中包括抬头类型对应的区域人脸图像，使生成的三维人脸模型中能够包含人脸的下巴区域和脖颈区域。
在一种可能实现方式中，如图9所示，该步骤206包括以下步骤2061-步骤2063：
2061、将多个区域深度图像进行融合，得到三维轮廓模型。
由于每个区域深度图像包括对应的区域人脸图像中每个像素点的深度信息，则通过将该多个区域深度图像进行融合，能够获取到人脸的轮廓，从而得到三维轮廓模型。
在一种可能实现方式中，该步骤2061包括：根据每个目标人脸图像对应的焦距值，将每个目标人脸图像对应的区域深度图像转换成点云数据；将每个目标人脸图像对应的点云数据进行融合，得到三维轮廓模型。
其中，点云数据包括多个点，每一个点包含有三维坐标。每个目标人脸图像对应的区域深度图像中包含每个像素点的深度信息，按照每个区域深度图像中的每个像素点在区域深度图像中的二维坐标及每个像素点的深度信息，能够确定每个像素点的三维坐标，从而将每个区域深度图像转换成点云数据。且由于目标人脸图像是深度摄像机采用焦距值拍摄人脸得到的，该目标人脸图像是真实人脸的缩小成像得到的。则通过目标人脸图像中确定的每个像素 点的坐标，能够确定出区域深度图像中每个像素点与深度摄像机之间的距离，利用该目标人脸图像对应的焦距值，对每个像素点与深度摄像机之间的距离进行处理，能够得到每个像素点对应的位置点与深度摄像机之间的真实距离，从而能够确定出多个位置点之间的真实距离，从而使每个区域深度图像转换成点云数据与真实人脸相匹配。因此，将多个图像类型对应的点云数据进行融合，从而得到与真实人脸匹配的三维轮廓模型。生成的三维轮廓模型如图10所示，该图10中三维轮廓模型261为三维轮廓模型的正脸、三维轮廓模型262为三维轮廓模型的右侧脸及三维轮廓模型263为三维轮廓模型的左侧脸。可选地，采用Surfel模型将区域深度图像转换成点云数据。
可选地，多个目标人脸图像包括正脸类型对应的第一人脸图像和其他图像类型对应的第二人脸图像，则该步骤2061还包括：按照每个第二人脸图像与第一人脸图像的姿态角度差，将每个第二人脸图像对应的第二点云数据进行旋转；将旋转后的每个第二点云数据与第一人脸图像对应的第一点云数据进行融合，生成三维轮廓模型。
其中，其他图像类型为左侧脸类型、右侧脸类型或抬头类型。由于其他图像类型对应的第二人脸图像与第一人脸图像之间具有姿态角度差，不同图像类型对应的区域深度图像对应的人脸的位置不同，因此，为了避免将属于不同位置的点云数据重叠，需要将每个第二点云数据进行旋转，以使旋转后的点云数据与第一点云数据之间的姿态角度差为0。在将每个第二点云数据与第一点云数据进行融合时，通过将每个第二点云数据与第一点云数据中相同的像素点进行重合，使旋转后的每个第二点云数据与第一点云数据进行融合，从而生成三维轮廓模型。
可选地，上述在将多个点云数据进行融合的过程中，采用TSDF(Truncated Signed Distance Function，截断的带符号距离函数)将多个点云数据进行融合。在生成三维轮廓模型后，需对该三维轮廓模型进行去噪、降采样、泊松重建以及拉普拉斯平滑等处理，最终得到一个完整的三维轮廓模型。
2062、从多个目标人脸图像中分别提取每个区域人脸图像的颜色纹理特征。
由于每个目标人脸图像中包括多个像素点，每个像素点具有对应的颜色特征，则提取每个区域人脸图像中的多个像素点的颜色特征，将该多个像素点的颜色特征作为颜色纹理特征。可选地，在提取区域人脸图像中的颜色纹理特征时，采用LBP(Local binary patterns，局部二值模式)、灰度共生矩阵等算法。
2063、将每个区域人脸图像的颜色纹理特征与三维轮廓模型进行融合，生成三维人脸模型。
分别将每个区域人脸图像的颜色纹理特征与三维轮廓模型进行融合，使三维轮廓模型上的每个区域显示出对应的颜色纹理特征，从而生成该三维人脸模型。
在一种可能实现方式中，该步骤2063包括：确定每个区域人脸图像在三维轮廓模型中对应的区域；分别将每个区域人脸图像的颜色纹理特征融合至三维轮廓模型中对应的区域的表面，生成三维人脸模型。
另外，该步骤2063还包括：将每个区域人脸图像的颜色纹理特征进行融合，得到该人脸的颜色纹理特征的展开图像，将该颜色纹理特征的展开图像与该三维轮廓模型输入至渲染引擎，通过该渲染引擎进行渲染后，得到该三维人脸模型。如图11所示为该人脸的颜色纹理特征的展开图像111，渲染之后得到的三维人脸模型如图12所示，三维人脸模型121为正脸图像，三维人脸模型122为左侧脸图像。
本申请实施例提供的方法，通过获取每个目标人脸图像与所属图像类型匹配的区域人脸图像，将该目标人脸图像中其他区域的人脸图像剪裁处理，使得到的每个区域人脸图像及对应的区域深度图像只包括所属图像类型匹配的区域，不包括其他图像类型匹配的区域，从而使不同的区域人脸图像之间的重叠区域减少，根据获取到多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型过程中的计算量小，从而提高了构建三维人脸模型的效率。
且多个目标人脸图像中包含抬头类型的人脸图像，使生成的三维人脸模型中能够包含人脸的下巴区域和脖颈区域，从而提高了生成的三维人脸模型的完整性。
并且，通过对获取到的多个人脸图像进行筛选，选取多个目标人脸图像，减少了构建三维人脸模型所需的人脸图像的数量，以使后续在传输多个目标人脸图像时，提高了人脸图像的传输效率，并且由于通过筛选减少了需要处理的人脸图像的数量，因此降低了处理的计算量，从而提高了构建三维人脸模型的效率。
并且，通过确定获取到的多个人脸图像的眼部状态，筛选出处于未眨眼状态的人脸图像，使筛选后的人脸图像的数量减少，从而通过筛选后的人脸图像生成三维人脸模型的过程中的计算量小，且由于处于未眨眼状态的人脸图像中包括更多的眼部信息，因此根据未眨眼状态的人脸图像生成三维人脸模型，能够提高生成的三维人脸模型的完整性。
需要说明的是，本申请实施例是以通过将获取到多个人脸图像划分成多个图像序列来确定目标人脸图像进行说明的，而在另一实施例中，无需执行步骤201-203，直接将获取到的多个人脸图像及对应的多个深度图像，作为多个目标人脸图像及对应的多个深度图像；或者，还可以是获取其他设备发送的多个目标人脸及对应的多个深度图像。
图13是本申请实施例提供的一种三维人脸模型生成方法的流程图，该流程包括：
1、计算机设备通过深度摄像机拍摄人脸图像获取到人脸图像序列及对应的深度图像序列。
2、对人脸图像序列中的人脸图像进行人脸标志点检测，确定每个人脸图像中的人脸标志点。
3、通过每个人脸图像中眼部区域的人脸标志点的坐标，从该人脸图像序列中剔除处于眨眼状态的人脸图像，得到新的人脸图像序列。
4、通过新的人脸图像序列中每个人脸图像包括的人脸标志点，确定正脸图像，根据正脸图像中人脸标志点的坐标及其他人脸图像中人脸标志点的坐标，确定每个人脸图像中人脸转动的角度。
5、根据每个人脸图像对应的角度的大小，将新的人脸图像序列中的人脸图像分成多个图像序列，不同的图像序列匹配的图像类型不同。
6、从每个图像序列中根据角度大小进行筛选，选择角度最大的人脸图像，得到筛选后的目标人脸图像。
7、从目标人脸图像中裁剪出所属图像类型对应的人脸区域，从对应的深度图像中裁剪出对应的深度区域。
8、提取人脸区域的纹理特征，将多个深度区域进行融合，得到三维轮廓模型。
9、将人脸区域的纹理特征与三维轮廓模型进行融合，输出完整的三维人脸模型。
图14是本申请实施例提供的一种三维人脸模型生成装置的结构示意图，如图14所示，该装置包括：
第一图像获取模块1401，用于获取多个目标人脸图像及多个目标人脸图像对应的多个深度图像，多个目标人脸图像包含同一人脸，且多个深度图像包含对应目标人脸图像中的像素点的深度信息；
第二图像获取模块1402，用于根据每个目标人脸图像所属的图像类型，获取每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
第三图像获取模块1403，用于根据每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，区域人脸图像的位置与区域深度图像的位置匹配；
人脸模型生成模块1404，用于根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型。
本申请实施例提供的装置，通过对获取到的多个目标人脸图像及对应的多个深度图像进行剪裁，使得到的每个区域人脸图像及对应的区域深度图像只包括所属图像类型匹配的区域，不包括其他图像类型匹配的区域，从而使不同的区域人脸图像之间的重叠区域减少，根据获取到多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型过程中的计算量小，从而提高了构建三维人脸模型的效率。
可选地，如图15所示，第二图像获取模块1402，包括：
标志点选取单元1421，用于从任一目标人脸图像的多个标志点中，选取与目标人脸图像所属的图像类型匹配的至少一个第一标志点；
人脸图像获取单元1422，用于从目标人脸图像中获取至少一个第一标志点构成的区域人脸图像。
可选地，如图15所示，图像获取模块1401，包括：
第一图像获取单元1411，用于获取多个人脸图像及多个人脸图像对应的多个深度图像，多个人脸图像包含人脸；
图像序列划分单元1412，用于将多个人脸图像按照所属的图像类型进行划分，得到多个图像序列，每个图像序列包括所属图像类型相同的人脸图像；
第二图像获取单元1413，用于从每个图像序列中选取一个目标人脸图像，得到多个目标人脸图像，获取多个目标人脸图像对应的深度图像。
可选地，多个图像序列至少包括正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列，第二图像获取单元1413，还用于从第一图像序列中选取一个第一人脸图像，作为目标人脸图像；获取每个第二图像序列中的每个第二人脸图像与第一人脸图像之间的姿态角度差；分别从每个第二图像序列中选取一个姿态角度差最大的第二人脸图像，也作为目标人脸图像。
可选地，第二图像获取单元1413，还用于对于任一第二人脸图像，确定第二人脸图像与第一人脸图像中序号相同的至少一个第二标志点；根据第一人脸图像中至少一个第二标志点的坐标，及第二人脸图像中至少一个第二标志点的坐标，获取第一人脸图像与第二人脸图像之间的旋转平移矩阵；对旋转平移矩阵进行转换，得到第二人脸图像与第一人脸图像之间的姿态角度差。
可选地，如图15所示，图像获取模块1401，包括：
第三图像获取单元1414，用于获取多个人脸图像及多个人脸图像对应的多个深度图像，多个人脸图像包含人脸；
人脸图像确定单元1415，用于根据每个人脸图像的眼部状态，将多个人脸图像中处于未眨眼状态的人脸图像，确定为目标人脸图像，眼部状态包括眨眼状态或未眨眼状态。
可选地，如图15所示，装置还包括：
标志点确定模块1405，用于对于任一人脸图像，确定人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；
距离确定模块1406，用于确定上眼皮标志点与下眼皮标志点之间的第一距离，及左眼角标志点与右眼角标志点之间的第二距离；
开合比确定模块1407，用于将第一距离与第二距离之间的比值确定为目标眼部区域的开合比；
状态确定模块1408，用于响应于开合比小于开合比阈值，确定人脸图像处于眨眼状态；
该状态确定模块1408，还用于响应于开合比不小于开合比阈值，确定人脸图像处于未眨眼状态。
可选地，如图15所示，装置还包括：
阈值确定模块1409，用于获取多个人脸图像对应的开合比的平均值，作为开合比阈值。
可选地，如图15所示，人脸模型生成模块1404，包括：
第一融合单元1441，用于将多个区域深度图像进行融合，得到三维轮廓模型；
特征提取单元1442，用于从多个目标人脸图像中分别提取每个区域人脸图像的颜色纹理特征；
第二融合单元1443，用于将每个区域人脸图像的颜色纹理特征与三维轮廓模型进行融合，生成三维人脸模型。
可选地，第一融合单元1441，还用于根据每个目标人脸图像对应的焦距值，将每个目标人脸图像对应的区域深度图像转换成点云数据；将每个目标人脸图像对应的点云数据进行融合，得到三维轮廓模型。
可选地，多个目标人脸图像包括正脸类型对应的第一人脸图像和其他图像类型对应的第二人脸图像，第一融合单元1441，还用于按照每个第二人脸图像与第一人脸图像的姿态角度差，将每个第二人脸图像对应的第二点云数据进行旋转；将旋转后的每个第二点云数据与第一人脸图像对应的第一点云数据进行融合，生成三维轮廓模型。
可选地，第二融合单元1443，还用于确定每个区域人脸图像在三维轮廓模型中对应的区域；分别将每个区域人脸图像的颜色纹理特征融合至三维轮廓模型中对应的区域的表面，生成人脸的三维人脸模型。
需要说明的是：上述实施例提供的三维人脸模型生成装置在生成三维人脸模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，根据需要将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的三维人脸模型生成装置与三维人脸模型生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图16是本申请实施例提供的一种终端的结构示意图，能够实现上述实施例中计算机设备执行的操作。可选地，该终端1600是便携式移动终端，比如：智能手机、平板电脑、MP3 播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备、智能电视、智能音箱、智能遥控器、智能话筒，或其他任意智能终端。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1600包括有：处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。存储器1602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的，用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器1601所具有以实现本申请中方法实施例提供的三维人脸模型生成方法。
在一些实施例中，终端1600还可选包括有：外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。可选地，外围设备包括：射频电路1604、显示屏1605和音频电路1606中的至少一种。
射频电路1604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1604通过电磁信号与通信网络及其他通信设备进行通信。
显示屏1605用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。该显示屏1605可以是触摸显示屏，还可以用于提供虚拟按钮和/或虚拟键盘。
音频电路1606可以包括麦克风和扬声器。麦克风用于采集用户及环境的音频信号，并将音频信号转换为电信号输入至处理器1601进行处理，或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为音频信号。
本领域技术人员可以理解，图16中示出的结构并不构成对终端1600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图17是本申请实施例提供的一种服务器的结构示意图，该服务器1700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1701和一个或一个以上的存储器1702，其中，存储器1702中存储有至少一条计算机程序，至少一条计算机程序由处理器1701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器1700可以用于执行上述三维人脸模型生成方法中计算机设备所执行的步骤。
本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行，以实现三维人脸模型生成方法中的如下操作：
获取多个目标人脸图像及多个目标人脸图像对应的多个深度图像，多个目标人脸图像包含同一人脸，且多个深度图像包含对应目标人脸图像中的像素点的深度信息；
根据每个目标人脸图像所属的图像类型，获取每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
根据每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，区域人脸图像的位置与区域深度图像的位置匹配；
根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
从任一目标人脸图像的多个标志点中，选取与目标人脸图像所属的图像类型匹配的至少一个第一标志点；
从目标人脸图像中获取至少一个第一标志点构成的区域人脸图像。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
获取多个人脸图像及多个人脸图像对应的多个深度图像，多个人脸图像包含人脸；
将多个人脸图像按照所属的图像类型进行划分，得到多个图像序列，每个图像序列包括所属图像类型相同的人脸图像；
从每个图像序列中选取一个目标人脸图像，得到多个目标人脸图像，获取多个目标人脸图像对应的深度图像。
可选地，多个图像序列至少包括正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列，则该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
从第一图像序列中选取一个第一人脸图像，作为目标人脸图像；
获取每个第二图像序列中的每个第二人脸图像与第一人脸图像之间的姿态角度差；
分别从每个第二图像序列中选取一个姿态角度差最大的第二人脸图像，也作为目标人脸图像。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
对于任一第二人脸图像，确定第二人脸图像与第一人脸图像中序号相同的至少一个第二标志点；
根据第一人脸图像中至少一个第二标志点的坐标，及第二人脸图像中至少一个第二标志点的坐标，获取第一人脸图像与第二人脸图像之间的旋转平移矩阵；
对旋转平移矩阵进行转换，得到第二人脸图像与第一人脸图像之间的姿态角度差。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
获取多个人脸图像及多个人脸图像对应的多个深度图像，多个人脸图像包含人脸；
根据每个人脸图像的眼部状态，将多个人脸图像中处于未眨眼状态的人脸图像，确定为目标人脸图像，眼部状态包括眨眼状态或未眨眼状态。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
对于任一人脸图像，确定人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；
确定上眼皮标志点与下眼皮标志点之间的第一距离，及左眼角标志点与右眼角标志点之间的第二距离；
将第一距离与第二距离之间的比值确定为目标眼部区域的开合比；
响应于开合比小于开合比阈值，确定人脸图像处于眨眼状态；
响应于开合比不小于开合比阈值，确定人脸图像处于未眨眼状态。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
获取多个人脸图像对应的开合比的平均值，作为开合比阈值。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
将多个区域深度图像进行融合，得到三维轮廓模型；
从多个目标人脸图像中分别提取每个区域人脸图像的颜色纹理特征；
将每个区域人脸图像的颜色纹理特征与三维轮廓模型进行融合，生成三维人脸模型。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
根据每个目标人脸图像对应的焦距值，将每个目标人脸图像对应的区域深度图像转换成点云数据；
将每个目标人脸图像对应的点云数据进行融合，得到三维轮廓模型。
可选地，多个目标人脸图像包括正脸类型对应的第一人脸图像和其他图像类型对应的第二人脸图像，则该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
按照每个第二人脸图像与第一人脸图像的姿态角度差，将每个第二人脸图像对应的第二点云数据进行旋转；
将旋转后的每个第二点云数据与第一人脸图像对应的第一点云数据进行融合，生成三维轮廓模型。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
确定每个区域人脸图像在三维轮廓模型中对应的区域；
分别将每个区域人脸图像的颜色纹理特征融合至三维轮廓模型中对应的区域的表面，生成人脸的三维人脸模型。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行，以实现三维人脸模型生成方法中的如下操作：
获取多个目标人脸图像及多个目标人脸图像对应的多个深度图像，多个目标人脸图像包含同一人脸，且多个深度图像包含对应目标人脸图像中的像素点的深度信息；
根据每个目标人脸图像所属的图像类型，获取每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
根据每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，区域人脸图像的位置与区域深度图像的位置匹配；
根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
从任一目标人脸图像的多个标志点中，选取与目标人脸图像所属的图像类型匹配的至少一个第一标志点；
从目标人脸图像中获取至少一个第一标志点构成的区域人脸图像。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
获取多个人脸图像及多个人脸图像对应的多个深度图像，多个人脸图像包含人脸；
将多个人脸图像按照所属的图像类型进行划分，得到多个图像序列，每个图像序列包括所属图像类型相同的人脸图像；
从每个图像序列中选取一个目标人脸图像，得到多个目标人脸图像，获取多个目标人脸图像对应的深度图像。
可选地，多个图像序列至少包括正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列，则该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
从第一图像序列中选取一个第一人脸图像，作为目标人脸图像；
获取每个第二图像序列中的每个第二人脸图像与第一人脸图像之间的姿态角度差；
分别从每个第二图像序列中选取一个姿态角度差最大的第二人脸图像，也作为目标人脸图像。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
对于任一第二人脸图像，确定第二人脸图像与第一人脸图像中序号相同的至少一个第二标志点；
根据第一人脸图像中至少一个第二标志点的坐标，及第二人脸图像中至少一个第二标志点的坐标，获取第一人脸图像与第二人脸图像之间的旋转平移矩阵；
对旋转平移矩阵进行转换，得到第二人脸图像与第一人脸图像之间的姿态角度差。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
获取多个人脸图像及多个人脸图像对应的多个深度图像，多个人脸图像包含人脸；
根据每个人脸图像的眼部状态，将多个人脸图像中处于未眨眼状态的人脸图像，确定为目标人脸图像，眼部状态包括眨眼状态或未眨眼状态。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
对于任一人脸图像，确定人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；
确定上眼皮标志点与下眼皮标志点之间的第一距离，及左眼角标志点与右眼角标志点之间的第二距离；
将第一距离与第二距离之间的比值确定为目标眼部区域的开合比；
响应于开合比小于开合比阈值，确定人脸图像处于眨眼状态；
响应于开合比不小于开合比阈值，确定人脸图像处于未眨眼状态。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
获取多个人脸图像对应的开合比的平均值，作为开合比阈值。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
将多个区域深度图像进行融合，得到三维轮廓模型；
从多个目标人脸图像中分别提取每个区域人脸图像的颜色纹理特征；
将每个区域人脸图像的颜色纹理特征与三维轮廓模型进行融合，生成三维人脸模型。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
根据每个目标人脸图像对应的焦距值，将每个目标人脸图像对应的区域深度图像转换成点云数据；
将每个目标人脸图像对应的点云数据进行融合，得到三维轮廓模型。
可选地，多个目标人脸图像包括正脸类型对应的第一人脸图像和其他图像类型对应的第二人脸图像，则该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
按照每个第二人脸图像与第一人脸图像的姿态角度差，将每个第二人脸图像对应的第二点云数据进行旋转；
将旋转后的每个第二点云数据与第一人脸图像对应的第一点云数据进行融合，生成三维轮廓模型。
可选地，该至少一条计算机程序还由处理器加载并执行，以实现如下操作：
确定每个区域人脸图像在三维轮廓模型中对应的区域；
分别将每个区域人脸图像的颜色纹理特征融合至三维轮廓模型中对应的区域的表面，生成人脸的三维人脸模型。
本申请实施例还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机程序代码，计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机程序代码，处理器执行计算机程序代码，以实现三维人脸模型生成方法中的如下操作：
获取多个目标人脸图像及多个目标人脸图像对应的多个深度图像，多个目标人脸图像包含同一人脸，且多个深度图像包含对应目标人脸图像中的像素点的深度信息；
根据每个目标人脸图像所属的图像类型，获取每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
根据每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，区域人脸图像的位置与区域深度图像的位置匹配；
根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成人脸的三维人脸模型。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
从任一目标人脸图像的多个标志点中，选取与目标人脸图像所属的图像类型匹配的至少一个第一标志点；
从目标人脸图像中获取至少一个第一标志点构成的区域人脸图像。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
获取多个人脸图像及多个人脸图像对应的多个深度图像，多个人脸图像包含人脸；
将多个人脸图像按照所属的图像类型进行划分，得到多个图像序列，每个图像序列包括所属图像类型相同的人脸图像；
从每个图像序列中选取一个目标人脸图像，得到多个目标人脸图像，获取多个目标人脸图像对应的深度图像。
可选地，多个图像序列至少包括正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列，则该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
从第一图像序列中选取一个第一人脸图像，作为目标人脸图像；
获取每个第二图像序列中的每个第二人脸图像与第一人脸图像之间的姿态角度差；
分别从每个第二图像序列中选取一个姿态角度差最大的第二人脸图像，也作为目标人脸图像。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
对于任一第二人脸图像，确定第二人脸图像与第一人脸图像中序号相同的至少一个第二标志点；
根据第一人脸图像中至少一个第二标志点的坐标，及第二人脸图像中至少一个第二标志点的坐标，获取第一人脸图像与第二人脸图像之间的旋转平移矩阵；
对旋转平移矩阵进行转换，得到第二人脸图像与第一人脸图像之间的姿态角度差。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
获取多个人脸图像及多个人脸图像对应的多个深度图像，多个人脸图像包含人脸；
根据每个人脸图像的眼部状态，将多个人脸图像中处于未眨眼状态的人脸图像，确定为目标人脸图像，眼部状态包括眨眼状态或未眨眼状态。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
对于任一人脸图像，确定人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；
确定上眼皮标志点与下眼皮标志点之间的第一距离，及左眼角标志点与右眼角标志点之间的第二距离；
将第一距离与第二距离之间的比值确定为目标眼部区域的开合比；
响应于开合比小于开合比阈值，确定人脸图像处于眨眼状态；
响应于开合比不小于开合比阈值，确定人脸图像处于未眨眼状态。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
获取多个人脸图像对应的开合比的平均值，作为开合比阈值。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
将多个区域深度图像进行融合，得到三维轮廓模型；
从多个目标人脸图像中分别提取每个区域人脸图像的颜色纹理特征；
将每个区域人脸图像的颜色纹理特征与三维轮廓模型进行融合，生成三维人脸模型。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
根据每个目标人脸图像对应的焦距值，将每个目标人脸图像对应的区域深度图像转换成点云数据；
将每个目标人脸图像对应的点云数据进行融合，得到三维轮廓模型。
可选地，多个目标人脸图像包括正脸类型对应的第一人脸图像和其他图像类型对应的第二人脸图像，则该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
按照每个第二人脸图像与第一人脸图像的姿态角度差，将每个第二人脸图像对应的第二点云数据进行旋转；
将旋转后的每个第二点云数据与第一人脸图像对应的第一点云数据进行融合，生成三维轮廓模型。
可选地，该至少一条计算机程序代码还由处理器加载并执行，以实现如下操作：
确定每个区域人脸图像在三维轮廓模型中对应的区域；
分别将每个区域人脸图像的颜色纹理特征融合至三维轮廓模型中对应的区域的表面，生成人脸的三维人脸模型。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

  1. 一种三维人脸模型生成方法，应用于计算机设备，所述方法包括：
    获取多个目标人脸图像及所述多个目标人脸图像对应的多个深度图像，所述多个目标人脸图像包含同一人脸，且所述多个深度图像包含对应目标人脸图像中的像素点的深度信息；
    根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，所述图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
    根据所述每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，所述区域人脸图像的位置与所述区域深度图像的位置匹配；
    根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型。
  2. 根据权利要求1所述的方法，其中，所述根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，包括：
    从任一目标人脸图像的多个标志点中，选取与所述目标人脸图像所属的图像类型匹配的至少一个第一标志点；
    从所述目标人脸图像中获取所述至少一个第一标志点构成的区域人脸图像。
  3. 根据权利要求1所述的方法，其中，所述获取多个目标人脸图像及所述多个目标人脸图像对应的多个深度图像，包括：
    获取多个人脸图像及所述多个人脸图像对应的多个深度图像，所述多个人脸图像包含所述人脸；
    将所述多个人脸图像按照所属的图像类型进行划分，得到多个图像序列，每个图像序列包括所属图像类型相同的人脸图像；
    从每个图像序列中选取一个目标人脸图像，得到所述多个目标人脸图像，获取所述多个目标人脸图像对应的深度图像。
  4. 根据权利要求3所述的方法，其中，所述多个图像序列至少包括所述正脸类型对应的第一图像序列和其他图像类型对应的第二图像序列，所述从每个图像序列中选取一个目标人脸图像，得到所述多个目标人脸图像，包括：
    从所述第一图像序列中选取一个第一人脸图像，作为所述目标人脸图像；
    获取每个第二图像序列中的每个第二人脸图像与所述第一人脸图像之间的姿态角度差；
    分别从所述每个第二图像序列中选取一个所述姿态角度差最大的第二人脸图像，也作为所述目标人脸图像。
  5. 根据权利要求4所述的方法，其中，所述获取每个第二图像序列中的每个第二人脸图像与所述第一人脸图像之间的姿态角度差，包括：
    对于任一第二人脸图像，确定所述第二人脸图像与所述第一人脸图像中序号相同的至少一个第二标志点；
    根据所述第一人脸图像中所述至少一个第二标志点的坐标，及所述第二人脸图像中所述至少一个第二标志点的坐标，获取所述第一人脸图像与所述第二人脸图像之间的旋转平移矩阵；
    对所述旋转平移矩阵进行转换，得到所述第二人脸图像与所述第一人脸图像之间的姿态角度差。
  6. 根据权利要求1所述的方法，其中，所述获取多个目标人脸图像及所述多个目标人脸图像对应的多个深度图像，包括：
    获取多个人脸图像及所述多个人脸图像对应的多个深度图像，所述多个人脸图像包含所述人脸；
    根据每个人脸图像的眼部状态，将所述多个人脸图像中处于未眨眼状态的人脸图像，确定为所述目标人脸图像，所述眼部状态包括眨眼状态或未眨眼状态。
  7. 根据权利要求6所述的方法，其中，所述根据每个人脸图像的眼部状态，将所述多个人脸图像中处于未眨眼状态的人脸图像，确定为所述目标人脸图像之前，所述方法还包括：
    对于任一人脸图像，确定所述人脸图像中目标眼部区域的上眼皮标志点、下眼皮标志点、左眼角标志点及右眼角标志点；
    确定所述上眼皮标志点与所述下眼皮标志点之间的第一距离，及所述左眼角标志点与所述右眼角标志点之间的第二距离；
    将所述第一距离与所述第二距离之间的比值确定为所述目标眼部区域的开合比；
    响应于所述开合比小于开合比阈值，确定所述人脸图像处于眨眼状态；
    响应于所述开合比不小于所述开合比阈值，确定所述人脸图像处于未眨眼状态。
  8. 根据权利要求7所述的方法，其中，所述方法还包括：
    获取所述多个人脸图像对应的开合比的平均值，作为所述开合比阈值。
  9. 根据权利要求1所述的方法，其中，所述根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型，包括：
    将所述多个区域深度图像进行融合，得到三维轮廓模型；
    从所述多个目标人脸图像中分别提取每个区域人脸图像的颜色纹理特征；
    将所述每个区域人脸图像的颜色纹理特征与所述三维轮廓模型进行融合，生成所述三维人脸模型。
  10. 根据权利要求9所述的方法，其中，所述将所述多个区域深度图像进行融合，得到三维轮廓模型，包括：
    根据所述每个目标人脸图像对应的焦距值，将所述每个目标人脸图像对应的区域深度图像转换成点云数据；
    将所述每个目标人脸图像对应的点云数据进行融合，得到所述三维轮廓模型。
  11. 根据权利要求10所述的方法，其中，所述多个目标人脸图像包括所述正脸类型对应的第一人脸图像和其他图像类型对应的第二人脸图像，所述将所述每个目标人脸图像对应的点云数据进行融合，得到所述三维轮廓模型，包括：
    按照每个第二人脸图像与所述第一人脸图像的姿态角度差，将所述每个第二人脸图像对应的第二点云数据进行旋转；
    将旋转后的每个第二点云数据与所述第一人脸图像对应的第一点云数据进行融合，生成所述三维轮廓模型。
  12. 根据权利要求9所述的方法，其中，所述将所述每个区域人脸图像的颜色纹理特征与所述三维轮廓模型进行融合，生成所述三维人脸模型，包括：
    确定每个区域人脸图像在所述三维轮廓模型中对应的区域；
    分别将所述每个区域人脸图像的颜色纹理特征融合至所述三维轮廓模型中对应的区域的表面，生成所述人脸的三维人脸模型。
  13. 一种三维人脸模型生成装置，所述装置包括：
    第一图像获取模块，用于获取多个目标人脸图像及所述多个目标人脸图像对应的多个深度图像，所述多个目标人脸图像包含同一人脸，且所述多个深度图像包含对应目标人脸图像中的像素点的深度信息；
    第二图像获取模块，用于根据每个目标人脸图像所属的图像类型，获取所述每个目标人脸图像中与所属的图像类型匹配的区域人脸图像，所述图像类型包括正脸类型、左侧脸类型、右侧脸类型或抬头类型；
    第三图像获取模块，用于根据所述每个目标人脸图像中的区域人脸图像，获取对应的深度图像中的区域深度图像，所述区域人脸图像的位置与所述区域深度图像的位置匹配；
    人脸模型生成模块，用于根据获取的多个区域人脸图像及多个区域深度图像进行融合，生成所述人脸的三维人脸模型。
  14. 一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如权利要求1至12任一权利要求所述的三维人脸模型生成方法。
  15. 一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如权利要求1至12任一权利要求所述的三维人脸模型生成方法。
PCT/CN2020/125386 2020-01-16 2020-10-30 三维人脸模型生成方法、装置、计算机设备及存储介质 WO2021143282A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20914245.4A EP4002290A4 (en) 2020-01-16 2020-10-30 METHOD AND DEVICE FOR GENERATION OF A THREE-DIMENSIONAL FACIAL MODEL, COMPUTER DEVICE AND STORAGE MEDIUM
JP2022520268A JP7387202B2 (ja) 2020-01-16 2020-10-30 ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
US17/707,937 US20220222893A1 (en) 2020-01-16 2022-03-29 Method and apparatus for generating three-dimensional face model, computer device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010049667.6A CN111210510B (zh) 2020-01-16 2020-01-16 三维人脸模型生成方法、装置、计算机设备及存储介质
CN202010049667.6 2020-01-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/707,937 Continuation US20220222893A1 (en) 2020-01-16 2022-03-29 Method and apparatus for generating three-dimensional face model, computer device, and storage medium

Publications (1)

Publication Number Publication Date
WO2021143282A1 true WO2021143282A1 (zh) 2021-07-22

Family

ID=70787270

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/125386 WO2021143282A1 (zh) 2020-01-16 2020-10-30 三维人脸模型生成方法、装置、计算机设备及存储介质

Country Status (5)

Country Link
US (1) US20220222893A1 (zh)
EP (1) EP4002290A4 (zh)
JP (1) JP7387202B2 (zh)
CN (1) CN111210510B (zh)
WO (1) WO2021143282A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230018671A1 (en) * 2021-06-14 2023-01-19 Tata Consultancy Services Limited Method and system for personalized eye blink detection
WO2023152007A1 (en) * 2022-02-14 2023-08-17 Mvm Enterprises Gmbh System and method for monitoring human skin

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111985995A (zh) * 2020-08-14 2020-11-24 足购科技(杭州)有限公司 基于微信小程序的鞋子虚拟试穿方法及装置
CN113345177B (zh) * 2021-05-11 2022-01-18 深圳市海恒智能科技有限公司 一种基于人脸识别的图书自助借还系统
CN113181016A (zh) * 2021-05-13 2021-07-30 云南白药集团无锡药业有限公司 一种照度动态变化的眼调节训练灯
CN113902854A (zh) * 2021-10-18 2022-01-07 深圳追一科技有限公司 三维人脸模型重建方法、装置、电子设备及存储介质
CN115239576B (zh) * 2022-06-15 2023-08-04 荣耀终端有限公司 一种照片优化方法、电子设备和存储介质
CN116386100A (zh) * 2022-12-30 2023-07-04 深圳市宗匠科技有限公司 人脸图像采集方法及皮肤检测方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778661A (zh) * 2013-12-24 2014-05-07 中国科学院深圳先进技术研究院 一种生成说话人三维运动模型的方法、系统及计算机
US20140204089A1 (en) * 2013-01-18 2014-07-24 Electronics And Telecommunications Research Institute Method and apparatus for creating three-dimensional montage
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN110378994A (zh) * 2018-04-12 2019-10-25 Oppo广东移动通信有限公司 人脸建模方法及相关产品
CN110610546A (zh) * 2018-06-15 2019-12-24 Oppo广东移动通信有限公司 视频画面显示方法、装置、终端及存储介质
CN111210510A (zh) * 2020-01-16 2020-05-29 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3593466B2 (ja) 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
KR101339900B1 (ko) * 2012-03-09 2014-01-08 한국과학기술연구원 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
CN103971408B (zh) * 2014-05-21 2017-05-03 中国科学院苏州纳米技术与纳米仿生研究所 三维人脸模型生成系统及方法
EP3335195A2 (en) * 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
US10755438B2 (en) * 2016-04-27 2020-08-25 Bellus 3D, Inc. Robust head pose estimation with a depth camera
CN105894047B (zh) * 2016-06-28 2019-08-27 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
CN106327571B (zh) * 2016-08-23 2019-11-05 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
TWI610571B (zh) * 2016-10-26 2018-01-01 緯創資通股份有限公司 顯示方法及其系統與電腦可讀取記錄媒體
CN107993216B (zh) * 2017-11-22 2022-12-20 腾讯科技（深圳）有限公司 一种图像融合方法及其设备、存储介质、终端
CN109978989B (zh) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110163953B (zh) * 2019-03-11 2023-08-25 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置
CN110070611B (zh) * 2019-04-22 2020-12-01 清华大学 一种基于深度图像融合的人脸三维重建方法和装置
CN110363129B (zh) * 2019-07-05 2022-05-27 昆山杜克大学 基于微笑范式和音视频行为分析的孤独症早期筛查系统
CN112749611B (zh) * 2020-07-27 2024-02-13 腾讯科技（深圳）有限公司 人脸点云模型生成方法及装置、存储介质、电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204089A1 (en) * 2013-01-18 2014-07-24 Electronics And Telecommunications Research Institute Method and apparatus for creating three-dimensional montage
CN103778661A (zh) * 2013-12-24 2014-05-07 中国科学院深圳先进技术研究院 一种生成说话人三维运动模型的方法、系统及计算机
CN110378994A (zh) * 2018-04-12 2019-10-25 Oppo广东移动通信有限公司 人脸建模方法及相关产品
CN110610546A (zh) * 2018-06-15 2019-12-24 Oppo广东移动通信有限公司 视频画面显示方法、装置、终端及存储介质
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN111210510A (zh) * 2020-01-16 2020-05-29 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4002290A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230018671A1 (en) * 2021-06-14 2023-01-19 Tata Consultancy Services Limited Method and system for personalized eye blink detection
WO2023152007A1 (en) * 2022-02-14 2023-08-17 Mvm Enterprises Gmbh System and method for monitoring human skin

Also Published As

Publication number Publication date
JP2022550948A (ja) 2022-12-06
EP4002290A4 (en) 2023-02-22
EP4002290A1 (en) 2022-05-25
JP7387202B2 (ja) 2023-11-28
CN111210510B (zh) 2021-08-06
CN111210510A (zh) 2020-05-29
US20220222893A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
WO2021143282A1 (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
US11398044B2 (en) Method for face modeling and related products
CN114303120A (zh) 虚拟键盘
CN107341827B (zh) 一种视频处理方法、装置和存储介质
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN113205568B (zh) 图像处理方法、装置、电子设备及存储介质
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
KR102461232B1 (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
CN109937434B (zh) 图像处理方法、装置、终端和存储介质
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN112257552B (zh) 图像处理方法、装置、设备及存储介质
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
CN113706678A (zh) 获取虚拟形象的方法、装置、设备及计算机可读存储介质
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
CN111899159B (zh) 用于变换发型的方法、装置、设备以及存储介质
WO2023168957A1 (zh) 姿态确定方法、装置、电子设备、存储介质及程序
CN113160418A (zh) 三维重建方法、装置和系统、介质及计算机设备
CN111383313B (zh) 一种虚拟模型渲染方法、装置、设备及可读存储介质
US20230386147A1 (en) Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements
CN110675413B (zh) 三维人脸模型构建方法、装置、计算机设备及存储介质
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20914245

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020914245

Country of ref document: EP

Effective date: 20220216

ENP Entry into the national phase

Ref document number: 2022520268

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE