WO2020034698A1 - 基于三维模型的特效处理方法、装置和电子设备 - Google Patents

基于三维模型的特效处理方法、装置和电子设备 Download PDF

Info

Publication number
WO2020034698A1
WO2020034698A1 PCT/CN2019/088118 CN2019088118W WO2020034698A1 WO 2020034698 A1 WO2020034698 A1 WO 2020034698A1 CN 2019088118 W CN2019088118 W CN 2019088118W WO 2020034698 A1 WO2020034698 A1 WO 2020034698A1
Authority
WO
WIPO (PCT)
Prior art keywords
special effect
model
dimensional model
dimensional
face image
Prior art date
Application number
PCT/CN2019/088118
Other languages
English (en)
French (fr)
Inventor
阎法典
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2020034698A1 publication Critical patent/WO2020034698A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • the special effect model can be stored in the material library of the application of the electronic device, and the material library stores different special effect models, or the application on the electronic device can also download the new special effect model from the server in real time, newly download Special effect models can be stored in the material library.
  • the three-dimensional model-based special effects processing method of the embodiment of the present disclosure acquires a two-dimensional face image and depth information corresponding to the face image, and then performs three-dimensional reconstruction on the face according to the depth information and the face image. To obtain a three-dimensional model corresponding to the face, then identify the expression category corresponding to the two-dimensional face image, and finally fuse the three-dimensional model and the special effect model corresponding to the expression category to obtain a three-dimensional model after the special effect processing. Therefore, the user does not need to manually switch between different special effect models, improves the degree of automation of special effect addition, and enhances the fun and playability of the user in the special effect addition process.
  • the corresponding special effect model is determined, so that the special effect model is integrated with the three-dimensional model, which can enhance the realism of the special effect addition and make the processed effect more natural.
  • step 103 may specifically include the following sub-steps:
  • At least one face image collected before the current frame may be acquired, and the position of each key point in the at least one frame face image is determined based on the key point recognition technology.
  • Step 301 Obtain a corresponding special effect model according to the expression category.
  • the angle parameters applicable to different special effect models may be determined in advance, wherein the angle parameters may be fixed values or a value range (for example, [-45 °, 45 °]), which is not limited. .
  • the area to be mapped is different.
  • the area where the corresponding key points to be mapped may be used as the area to be mapped.
  • Step 305 deform the special effect model according to the region to be mapped of the three-dimensional model, so that the deformed special effect model covers the region to be mapped.
  • the sizes of faces corresponding to different users may be different. Therefore, for the same special effect model, the sizes of the regions to be mapped of the three-dimensional models corresponding to different users may be different. Therefore, in the embodiment of the present disclosure, in order to improve the special effect processing effect, after determining the region to be mapped in the three-dimensional model, the special effect model may be deformed so that the deformed special effect model covers the region to be mapped, thereby improving the special effect processing effect.
  • Step 306 After rendering the special effect model, map it to the three-dimensional model.
  • the special effect model may be rendered and then mapped to the three-dimensional model.
  • the special effect model may be rendered according to the light effect of the three-dimensional model, so that the light effect of the rendered special effect model matches the three-dimensional model, thereby improving the display effect of the three-dimensional model after the special effect processing.
  • the present disclosure also proposes a special effect processing device based on a three-dimensional model.
  • FIG. 4 is a schematic structural diagram of a three-dimensional model-based special effect processing device according to a fourth embodiment of the present disclosure.
  • the reconstruction module 120 is configured to perform three-dimensional reconstruction on the human face according to the depth information and the human face image to obtain a three-dimensional model corresponding to the human face.
  • the recognition module 130 is configured to recognize an expression category corresponding to a two-dimensional face image.
  • the identification module 130 includes:
  • the first recognition sub-module 131 is configured to identify positions of key points in the face image of the current frame.
  • the obtaining sub-module 141 is configured to obtain a corresponding special effect model according to an expression category.
  • the adjustment sub-module 142 is used to adjust the angle of the special effect model relative to the three-dimensional model, so that the angles of the three-dimensional model and the special effect model match.
  • the adjustment sub-module 142 is specifically used for: querying the angle parameters applicable to the special effect model; and rotating the special effect model so that the first connection of the target key point preset in the special effect model is pre-connected with the three-dimensional model. It is assumed that the included angle between the second lines of the reference key points conforms to the angle parameter.
  • the mapping sub-module 143 is configured to map the special effect model to a three-dimensional model after rendering.
  • mapping sub-module 143 is specifically configured to: render the special effect model according to the light effect of the three-dimensional model.
  • the deformation sub-module 144 is configured to deform the special effect model according to the area to be mapped of the three-dimensional model after rendering the special effect model and before mapping to the three-dimensional model, so that the deformed special effect model covers the area to be mapped.
  • the processing sub-module 146 is configured to use, as a region to be mapped, a region where key points to be mapped corresponding to the special effect model are located in the three-dimensional model.
  • the three-dimensional model-based special effect processing device acquires a two-dimensional face image and depth information corresponding to the face image, and then performs three-dimensional reconstruction on the face according to the depth information and the face image. To obtain a three-dimensional model corresponding to the face, then identify the expression category corresponding to the two-dimensional face image, and finally fuse the three-dimensional model and the special effect model corresponding to the expression category to obtain a three-dimensional model after the special effect processing. Therefore, the user does not need to manually switch between different special effect models, improves the degree of automation of special effect addition, and enhances the fun and playability of the user in the special effect addition process.
  • the corresponding special effect model is determined, so that the special effect model is integrated with the three-dimensional model, which can enhance the realism of the special effect addition and make the processed effect more natural.
  • the present disclosure also proposes a computer-readable storage medium having stored thereon a computer program, which is characterized in that when the program is executed by a processor, the special effect processing based on the three-dimensional model according to the foregoing embodiment of the present disclosure is implemented. method.
  • FIG. 6 is a schematic diagram of the internal structure of the electronic device 200 in one embodiment.
  • the electronic device 200 includes a processor 220, a memory 230, a display 240, and an input device 250 connected through a system bus 210.
  • the memory 230 of the electronic device 200 stores an operating system and computer-readable instructions.
  • the computer-readable instructions may be executed by the processor 220 to implement a three-dimensional model-based special effect processing method according to an embodiment of the present disclosure.
  • the processor 220 is used to provide computing and control capabilities to support the operation of the entire electronic device 200.
  • FIG. 6 is only a schematic diagram of a part of the structure related to the solution of the present disclosure, and does not constitute a limitation on the electronic device 200 to which the solution of the present disclosure is applied.
  • the specific electronic device 200 may include more or fewer components than shown in the figure, or some components may be combined, or have different component arrangements.
  • the image processing circuit specifically includes an image unit 310, a depth information unit 320, and a processing unit 330. among them,
  • the depth information unit 320 is configured to output depth information.
  • a two-dimensional face image can be obtained through the image unit 310, and depth information corresponding to the face image can be obtained through the depth information unit 320.
  • the two-dimensional face image obtained by the image unit 310 may be sent to the processing unit 330, and the depth information corresponding to the face image obtained by the depth information unit 320 may be sent to the processing unit 330.
  • the processing unit 330 may Face image and depth information, 3D reconstruction of the face to obtain the 3D model corresponding to the face, identify the expression category corresponding to the 2D face image, and fuse the 3D model with the special effect model corresponding to the expression category. Get the 3D model after special effects processing.
  • the image unit 310 may specifically include: an electrically connected image sensor 311 and an image signal processing (Image Signal Processing, ISP) processor 312. among them,
  • ISP Image Signal Processing
  • the image sensor 311 is configured to output original image data.
  • the CPU 331 is configured to align the face image and the depth map according to the calibration data, and output a three-dimensional model corresponding to the face according to the aligned face image and the depth map.
  • the GPU 332 is configured to identify an expression category corresponding to a two-dimensional face image, and fuse a three-dimensional model with a special effect model corresponding to the expression category to obtain a three-dimensional model after the special effect processing.
  • the CPU 331 sends the three-dimensional model corresponding to the face to the GPU 332, so that the GPU 332 executes the special-effect processing method based on the three-dimensional model as described in the foregoing embodiment according to the three-dimensional model corresponding to the face, so as to fuse the three-dimensional model and the special effect model corresponding to the expression category , To obtain a three-dimensional model after special effects processing.
  • the memory 360 may be multiple or divided into multiple storage spaces.
  • the image data processed by the storage GPU312 may be stored in a dedicated memory, or a dedicated storage space, and may include DMA (Direct Memory Access, direct and direct). Memory access) feature.
  • the memory 360 may be configured to implement one or more frame buffers.
  • the structured light sensor 321 projects speckle structured light onto a subject, acquires the structured light reflected by the subject, and forms an infrared speckle pattern by imaging the reflected structured light.
  • the structured light sensor 321 sends the infrared speckle pattern to the depth map generation chip 322, so that the depth map generation chip 322 determines the morphological change of the structured light according to the infrared speckle pattern, and then determines the depth of the object to obtain a depth map. (Depth Map).
  • the depth map generation chip 322 sends the depth map to the CPU 331.
  • the CPU 331 obtains a two-dimensional face image and the depth information corresponding to the face image; the CPU 331 performs three-dimensional reconstruction of the face based on the depth information and the face image to obtain a three-dimensional model corresponding to the face; the GPU 332 recognizes the two-dimensional The facial expression category corresponding to the face image; GPU332 fuses the three-dimensional model with the special effect model corresponding to the facial expression category to obtain the three-dimensional model after the special effect processing.
  • any process or method description in a flowchart or otherwise described herein can be understood as representing a module, fragment, or portion of code that includes one or more executable instructions for implementing steps of a custom logic function or process
  • the scope of the preferred embodiments of the present disclosure includes additional implementations in which functions may be performed out of the order shown or discussed, including performing functions in a substantially simultaneous manner or in the reverse order according to the functions involved, which should It is understood by those skilled in the art to which the embodiments of the present disclosure belong.
  • Logic and / or steps represented in a flowchart or otherwise described herein, for example, a sequenced list of executable instructions that may be considered to implement a logical function, may be embodied in any computer-readable medium, For use by, or in combination with, an instruction execution system, device, or device (such as a computer-based system, a system that includes a processor, or another system that can fetch and execute instructions from an instruction execution system, device, or device) Or equipment.
  • a "computer-readable medium” may be any device that can contain, store, communicate, propagate, or transmit a program for use by or in connection with an instruction execution system, apparatus, or device.
  • the aforementioned storage medium may be a read-only memory, a magnetic disk, or an optical disk.

Abstract

一种基于三维模型的特效处理方法、装置（100）和电子设备（200），其中，方法包括：获取采集到的二维的人脸图像，以及人脸图像对应的深度信息（101）；根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型（102）；识别与二维的人脸图像对应的表情类别（103）；将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型（104）。该方法能够实现无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性，提升特效添加的真实感，使得处理后的效果更加自然。

Description

基于三维模型的特效处理方法、装置和电子设备
相关申请的交叉引用
本公开要求OPPO广东移动通信有限公司于2018年08月16日提交的、申请名称为“基于三维模型的特效处理方法、装置和电子设备”的、中国专利申请号“201810934012.X”的优先权。
技术领域
本公开涉及电子设备技术领域，尤其涉及一种基于三维模型的特效处理方法、装置和电子设备。
背景技术
随着电子设备的普及，越来越多的用户喜欢利用电子设备的拍照功能进行拍照或者记录生活。而且为了使得所拍摄的图像更加有趣，开发了各种用于对图像进行美化或者增加特效的应用程序。用户可以根据自己的需求，从应用程序自带的所有特效中选择自己喜欢的特效来处理图像，使得图像生动有趣。
公开内容
本公开提出一种基于三维模型的特效处理方法、装置和电子设备，以实现无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性，提升特效添加的真实感，使得处理后的效果更佳自然，用于解决现有技术中由于眼泪等面部特效的添加，依赖于用户的主动选择，导致特效添加的自动化程度较低，此外，对图像增加特效是在二维图像上进行的，使得特效无法与图像完美贴合或者匹配，导致图像处理效果较差，特效添加的真实感不强的技术问题。
本公开一方面实施例提出了一种基于三维模型的特效处理方法，包括：
获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；
根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；
识别与所述二维的人脸图像对应的表情类别；
将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模 型。
本公开实施例的基于三维模型的特效处理方法，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。
本公开又一方面实施例提出了一种基于三维模型的特效处理装置，包括：
获取模块，用于获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；
重构模块，用于根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；
识别模块，用于识别与所述二维的人脸图像对应的表情类别；
融合模块，用于将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
本公开实施例的基于三维模型的特效处理装置，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。
本公开又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开前述实施例提出的基于三维模型的特效处理方法。
本公开又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本公开前述实施例提出的基于三维模型的特效处理方法。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例一所提供的基于三维模型的特效处理方法的流程示意图；
图2为本公开实施例二所提供的基于三维模型的特效处理方法的流程示意图；
图3为本公开实施例三所提供的基于三维模型的特效处理方法的流程示意图；
图4为本公开实施例四所提供的基于三维模型的特效处理装置的结构示意图；
图5为本公开实施例五所提供的基于三维模型的特效处理装置的结构示意图；
图6为一个实施例中电子设备的内部结构示意图；
图7为作为一种可能的实现方式的图像处理电路的示意图；
图8为作为另一种可能的实现方式的图像处理电路的示意图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
本公开主要针对现有技术中特效添加的真实感不强以及自动化程度低的技术问题，提出一种基于三维模型的特效处理方法。
本公开实施例的基于三维模型的特效处理方法，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。
下面参考附图描述本公开实施例的基于三维模型的特效处理方法、装置和电子设备。
图1为本公开实施例一所提供的基于三维模型的特效处理方法的流程示意图。
如图1所示，该基于三维模型的特效处理方法包括以下步骤：
步骤101，获取采集到的二维的人脸图像，以及人脸图像对应的深度信息。
本公开实施例中，电子设备可以包括可见光图像传感器，可以基于电子设备中的可见光图像传感器获取二维的人脸图像。具体地，可见光图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由人脸反射的可见光进行成像，得到二维的人脸图像。
本公开实施例中，电子设备还可以包括结构光图像传感器，可以基于电子设备中的结构光图像传感器，获取人脸图像对应的深度信息。可选地，结构光图像传感器可以包括镭射灯以及激光摄像头。脉冲宽度调制(Pulse Width Modulation，简称PWM)可以调制镭射灯以发出结构光，结构光照射至人脸，激光摄像头可以捕获由人脸反射的结构光进行成像，得到人脸对应的结构光图像。深度引擎可以根据人脸对应的结构光图像，计算获得人脸对应的深度信息，即二维的人脸图像对应的深度信息。
步骤102，根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。
本公开实施例中，在获取深度信息和人脸图像后，可以根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。本公开中，人脸对应的三维模型的构建，是根据深度信息和人脸图像，进行三维重构得到的，而不是简单的获取RGB数据和深度数据。
作为一种可能的实现方式，可以将深度信息与二维的人脸图像对应的色彩信息进行融合，得到人脸对应的三维模型。具体地，可以基于人脸关键点检测技术，从深度信息提取人脸的关键点，以及从色彩信息中提取人脸的关键点，而后将从深度信息中提取的关键点和从色彩信息中提取的关键点，进行配准和关键点融合处理，最终根据融合后的关键点，生成人脸对应的三维模型。其中，关键点为人脸上显眼的点，或者为关键位置上的点，例如关键点可以为眼角、鼻尖、嘴角等。
作为另一种可能的实现方式，可以基于人脸关键点检测技术，对人脸图像进行关键点识别，得到人脸图像对应的第二关键点，而后根据第二关键点的深度信息和第二关键点在人脸图像上的位置，确定第二关键点对应的第一关键点在人脸的三维模型中的相对位置，从而可以根据第一关键点在三维空间中的相对位置，连接相邻的第一关键点，生成局部人脸三维框架。其中，局部人脸可以包括鼻部、唇部、眼部、脸颊等脸部部位。
在生成局部人脸三维框架后，可以根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到人脸对应的三维模型。
步骤103，识别与二维的人脸图像对应的表情类别。
作为一种可能的实现方式，用户可以预先录制不同表情类别对应的参考表情，例如，用户可以预先录制伤心、高兴、沮丧、愤怒、思考等表情类别对应的参考表情，在得到二维的人脸图像后，可以将人脸图像与参考表情进行匹配，将匹配中的目标参考表情对应的表情类别，作为人脸图像的表情类别。
作为另一种可能的实现方式，可以获取当前帧之前采集的至少一帧人脸图像，而后可以根据当前帧的人脸图像与至少一帧人脸图像，确定表情类别。比如，根据当前帧的人脸 图像与至少一帧人脸图像，可以确定眉毛上扬还是下拉、眼睛变大还是变小、嘴角上扬还是下拉等，进而可以确定表情类别。例如，当根据当前帧的人脸图像与至少一帧人脸图像，确定眼睛变小、眼角上扬、嘴角上扬时，可以确定表情类别为高兴。
步骤104，将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
本公开实施例中，可以预先存储表情类别与特效模型之间的对应关系，例如，当表情类别为伤心时，特效模型可以为眼泪，当表情类别为愤怒时，特效模型可以为火焰，当表情类别为紧张时，特效模型可以为冷汗等等。
其中，特效模型可以存储在电子设备的应用程序的素材库中，该素材库中存储有不同的特效模型，或者，电子设备上的应用程序也可以从服务器上实时下载新的特效模型，新下载的特效模型可以存储到素材库中。
可选地，在确定表情类别后，可以查询上述对应关系，获取与表情类别匹配的特效模型，而后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
作为一种可能的实现方式，为了提升特效处理后的三维模型的显示效果，增强特效添加后的三维模型的真实感，本公开实施例中，可以调整特效模型相对三维模型的角度，以使三维模型和特效模型角度匹配，而后对特效模型进行渲染后，贴图至三维模型。
进一步地，当得到特效处理后的三维模型后，可以在电子设备的显示界面对特效处理后的三维模型进行展示，从而可以便于用户直观化的获知特效处理后的三维模型。
本公开实施例的基于三维模型的特效处理方法，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。
作为一种可能的实现方式，为了提升表情类别识别的效率以及识别的准确性，本公开中，在获取当前帧之前采集的至少一帧人脸图像后，只有在确定至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值时，才对当前帧对应的表情类别进行识别。下面结合图2，对上述过程进行详细说明。
图2为本公开实施例二所提供的基于三维模型的特效处理方法的流程示意图。
见图2，在图1所示实施例的基础上，步骤103具体可以包括以下子步骤：
步骤201，识别当前帧的人脸图像中各关键点的位置。
具体地，可以基于关键点识别技术，识别当前帧的人脸图像中各关键点的位置。
步骤202，对当前帧之前采集的至少一帧人脸图像，识别至少一帧人脸图像中各关键点的位置。
本公开实施例中，可以获取当前帧之前采集的至少一帧人脸图像，并基于关键点识别技术，确定至少一帧人脸图像中各关键点的位置。
步骤203，判断至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异是否大于阈值，若是，执行步骤204，否则，执行步骤205。
其中，阈值可以预设在电子设备的内置程序中，或者，阈值也可以由用户进行设置，对此不作限制。
步骤204，识别当前帧对应的表情类别。
本公开实施例中，当至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值时，表明用户连续做出的表情具有较大的变化，此时，用户可能想要添加特效，因此，可以进一步识别当前帧对应的表情类别，从而触发后续特效添加的步骤，具体的识别过程可以参见上述实施例中步骤103的执行过程，在此不做赘述。
步骤205，不做任何处理。
本公开实施例中，在至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异未大于阈值时，表明用户连续做出的表情未发生较大变化，此时，用户可能并不想添加特效，因此，可以不做任何处理。
作为一种可能的实现方式，参见图3，在图1所示实施例的基础上，步骤104具体可以包括以下子步骤：
步骤301，根据表情类别，获取对应的特效模型。
作为一种可能的实现方式，可以预先存储表情类别与特效模型之间的对应关系，在确定人脸图像对应的表情类别后，可以查询上述对应关系，获取与表情类别匹配的特效模型，操作简单，且易于实现。
步骤302，调整特效模型相对三维模型的角度，以使三维模型和特效模型角度匹配。
需要说明的是，将特效模型贴图至三维模型之前，需要调整特效模型相对三维模型的角度，以使三维模型和特效模型角度匹配。比如，特效模型为眼泪时，当三维模型中人脸是正对屏幕或者侧对屏幕时，眼泪的显示效果是不同的，因此，需要根据人脸的偏转角度，调整特效模型的转动角度，从而使得三维模型和特效模型角度匹配，进而提升后续特效处理效果。
作为一种可能的实现方式，可以预先确定不同特效模型适用的角度参数，其中，角度 参数可以为定值，或者为取值范围(例如为[-45°，45°])，对此不作限制。在确定与表情类别对应的特效模型后，可以查询该特效模型适用的角度参数，而后旋转特效模型，以使特效模型中预设目标关键点的第一连线，与三维模型中预设参考关键点的第二连线之间的夹角符合角度参数。
步骤303，根据特效模型，在三维模型中，查询对应的待贴图关键点。
应当理解的是，不同的特效模型，在三维模型中的待贴图关键点不同。例如，当特效模型为眼泪时，一般眼泪是从眼角对应的关键点，流下至鼻翼对应的关键点，而后再从鼻翼对应的关键点流下至嘴角对应的关键点，因此，可以将眼角至鼻翼，以及鼻翼至嘴角对应的关键点，作为待贴图关键点。或者，当特效模型为冷汗时，一般冷汗是从额头对应的关键点，流下至眉尾对应的关键点，再从眉尾对应的关键点流下至脸颊对应的关键点，接着从脸颊对应的关键点流下至下巴对应的关键点，因此，可以将额头至眉尾、眉尾至脸颊，以及脸颊至下巴对应的关键点，作为待贴图关键点。
作为一种可能的实现方式，可以预先建立不同特效模型与待贴图关键点之间的对应关系，在确定与表情类别对应的特效模型后，可以查询上述对应关系，获取在三维模型中，与该特效模型对应的待贴图关键点。
步骤304，在三维模型中，将特效模型对应的待贴图关键点所在区域作为待贴图区域。
本公开实施例中，当特效模型不同时，待贴图区域不同，在确定三维模型中，特效模型对应的待贴图关键点时，可以将对应的待贴图关键点所在区域作为待贴图区域。
步骤305，根据三维模型的待贴图区域，对特效模型进行形变，以使形变后的特效模型覆盖待贴图区域。
可以理解的是，不同用户对应的人脸大小可以不同，因此，对于相同的特效模型，不同用户对应的三维模型的待贴图区域的大小可能不同。因此，本公开实施例中，为了提升特效处理效果，在确定三维模型中的待贴图区域后，可以对特效模型进行形变，以使形变后的特效模型覆盖待贴图区域，从而提升特效处理效果。
步骤306，对特效模型进行渲染后，贴图至三维模型。
为了使得特效模型与三维模型匹配，进而保证特效处理后的三维模型的显示效果，本公开中，可以对特效模型进行渲染后，贴图至三维模型。
作为一种可能的实现方式，可以根据三维模型的光效，对特效模型进行渲染，从而使得渲染后的特效模型的光效与三维模型匹配，进而提升特效处理后的三维模型的显示效果。
为了实现上述实施例，本公开还提出一种基于三维模型的特效处理装置。
图4为本公开实施例四所提供的基于三维模型的特效处理装置的结构示意图。
如图4所示，该基于三维模型的特效处理装置100包括：获取模块110、重构模块120、 识别模块130，以及融合模块140。其中，
获取模块110，用于获取采集到的二维的人脸图像，以及人脸图像对应的深度信息。
重构模块120，用于根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。
识别模块130，用于识别与二维的人脸图像对应的表情类别。
融合模块140，用于将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
进一步地，在本公开实施例的一种可能的实现方式中，参见图5，在图4所示实施例的基础上，该基于三维模型的特效处理装置100还可以包括：
作为一种可能的实现方式，识别模块130，包括：
第一识别子模块131，用于识别当前帧的人脸图像中各关键点的位置。
第二识别子模块132，用于对当前帧之前采集的至少一帧人脸图像，识别至少一帧人脸图像中各关键点的位置。
第三识别子模块133，用于若至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值，识别当前帧对应的表情类别。
作为一种可能的实现方式，融合模块140，包括：
获取子模块141，用于根据表情类别，获取对应的特效模型。
调整子模块142，用于调整特效模型相对三维模型的角度，以使三维模型和特效模型角度匹配。
作为一种可能的实现方式，调整子模块142，具体用于：查询特效模型适用的角度参数；旋转特效模型，以使特效模型中预设目标关键点的第一连线，与三维模型中预设参考关键点的第二连线之间的夹角符合角度参数。
贴图子模块143，用于对特效模型进行渲染后，贴图至三维模型。
作为一种可能的实现方式，贴图子模块143，具体用于：根据三维模型的光效，对特效模型进行渲染。
形变子模块144，用于在对特效模型进行渲染后，贴图至三维模型之前，根据三维模型的待贴图区域，对特效模型进行形变，以使形变后的特效模型覆盖待贴图区域。
查询子模块145，用于在根据三维模型的待贴图区域，对特效模型进行形变之前，根据特效模型，在三维模型中，查询对应的待贴图关键点。
处理子模块146，用于在三维模型中，将特效模型对应的待贴图关键点所在区域作为待贴图区域。
需要说明的是，前述对基于三维模型的特效处理方法实施例的解释说明也适用于该实 施例的基于三维模型的特效处理装置100，此处不再赘述。
本公开实施例的基于三维模型的特效处理装置，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。
为了实现上述实施例，本公开还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现本公开前述实施例提出的基于三维模型的特效处理方法。
为了实现上述实施例，本公开还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本公开前述实施例提出的基于三维模型的特效处理方法。
图6为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过系统总线210连接的处理器220、存储器230、显示器240和输入装置250。其中，电子设备200的存储器230存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本公开实施方式的基于三维模型的特效处理方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的显示器240可以是液晶显示屏或者电子墨水显示屏等，输入装置250可以是显示器240上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本公开方案相关的部分结构的示意图，并不构成对本公开方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
为了清楚说明本实施例提供的电子设备，请参阅图7，提供了本公开实施例的图像处理电路，图像处理电路可利用硬件和/或软件组件实现。
需要说明的是，图7为作为一种可能的实现方式的图像处理电路的示意图。为便于说明，仅示出与本公开实施例相关的各个方面。
如图7，该图像处理电路具体包括：图像单元310、深度信息单元320和处理单元330。 其中，
图像单元310，用于输出二维的人脸图像。
深度信息单元320，用于输出深度信息。
本公开实施例中，可以通过图像单元310，获取二维的人脸图像，以及通过深度信息单元320，获取人脸图像对应的深度信息。
处理单元330，分别与图像单元310和深度信息单元320电性连接，用于根据图像单元310获取的二维的人脸图像，以及深度信息单元320获取的对应的深度信息，对人脸进行三维重构，以得到人脸对应的三维模型，识别与二维的人脸图像对应的表情类别，将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
本公开实施例中，图像单元310获取的二维的人脸图像可以发送至处理单元330，以及深度信息单元320获取的人脸图像对应的深度信息可以发送至处理单元330，处理单元330可以根据人脸图像以及深度信息，对人脸进行三维重构，以得到人脸对应的三维模型，识别与二维的人脸图像对应的表情类别，将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。具体的实现过程，可以参见上述图1至图3实施例中对基于三维模型的特效处理方法的解释说明，此处不做赘述。
进一步地，作为本公开一种可能的实现方式，参见图8，在图7所示实施例的基础上，该图像处理电路还可以包括：
作为一种可能的实现方式，图像单元310具体可以包括：电性连接的图像传感器311和图像信号处理(Image Signal Processing，简称ISP)处理器312。其中，
图像传感器311，用于输出原始图像数据。
ISP处理器312，用于根据原始图像数据，输出人脸图像。
本公开实施例中，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像。其中，图像传感器311可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。ISP处理器312对原始图像数据进行处理后，得到YUV格式或者RGB格式的人脸图像，并发送至处理单元330。
其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
作为一种可能的实现方式，深度信息单元320，包括电性连接的结构光传感器321和深度图生成芯片322。其中，
结构光传感器321，用于生成红外散斑图。
深度图生成芯片322，用于根据红外散斑图，输出深度信息；深度信息包括深度图。
本公开实施例中，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至处理单元330。
作为一种可能的实现方式，处理单元330，包括：电性连接的CPU331和GPU(Graphics Processing Unit，图形处理器)332。其中，
CPU331，用于根据标定数据，对齐人脸图像与深度图，根据对齐后的人脸图像与深度图，输出人脸对应的三维模型。
GPU332，用于识别与二维的人脸图像对应的表情类别，将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
本公开实施例中，CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。
CPU331将人脸对应的三维模型发送至GPU332，以便GPU332根据人脸对应的三维模型执行如前述实施例中描述的基于三维模型的特效处理方法，实现将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
进一步地，图像处理电路还可以包括：显示单元340。
显示单元340，与GPU332电性连接，用于根据特效处理后的三维模型进行展示。
具体地，GPU332处理得到的特效处理后的三维模型，可以由显示器340显示。
可选地，图像处理电路还可以包括：编码器350和存储器360。
本公开实施例中，GPU332处理得到的特效处理后的三维模型，还可以由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。
在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU312处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。
下面结合图8，对上述过程进行详细说明。
如图8所示，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像，并发送至CPU331。
如图8所示，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)。深度图生成芯片322将深度图发送至CPU331。
CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。
CPU331将人脸对应的三维模型发送至GPU332，以便GPU332根据人脸的三维模型执行如前述实施例中描述的基于三维模型的特效处理方法，实现将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。GPU332处理得到的特效处理后的三维模型，可以由显示器340显示，和/或，由编码器350编码后存储至存储器360。
例如，以下为运用图6中的处理器220或运用图8中的图像处理电路(具体为CPU331和GPU332)实现控制方法的步骤：
CPU331获取二维的人脸图像，以及人脸图像对应的深度信息；CPU331根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型；GPU332识别与二维的人脸图像对应的表情类别；GPU332将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个， 三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读 取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

  1. 一种基于三维模型的特效处理方法，其特征在于，所述方法包括：
    获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；
    根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；
    识别与所述二维的人脸图像对应的表情类别；
    将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
  2. 根据权利要求1所述的特效处理方法，其特征在于，所述识别与所述二维的人脸图像对应的表情类别，包括：
    识别当前帧的人脸图像中各关键点的位置；
    对当前帧之前采集的至少一帧人脸图像，识别所述至少一帧人脸图像中各关键点的位置；
    若所述至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值，识别当前帧对应的表情类别。
  3. 根据权利要求1或2所述的特效处理方法，其特征在于，所述将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型，包括：
    根据所述表情类别，获取对应的特效模型；
    调整所述特效模型相对所述三维模型的角度，以使所述三维模型和所述特效模型角度匹配；
    对所述特效模型进行渲染后，贴图至所述三维模型。
  4. 根据权利要求3所述的特效处理方法，其特征在于，在所述对所述特效模型进行渲染后，贴图至所述三维模型之前，还包括：
    根据所述三维模型的待贴图区域，对所述特效模型进行形变，以使形变后的特效模型覆盖所述待贴图区域。
  5. 根据权利要求4所述的特效处理方法，其特征在于，所述根据所述三维模型的待贴图区域，对所述特效模型进行形变之前，还包括：
    根据所述特效模型，在所述三维模型中，查询对应的待贴图关键点；
    在所述三维模型中，将所述特效模型对应的待贴图关键点所在区域作为待贴图区域。
  6. 根据权利要求3-5中任一所述的特效处理方法，其特征在于，所述调整所述特效模型相对所述三维模型的角度，以使所述三维模型和所述特效模型角度匹配，包括：
    查询所述特效模型适用的角度参数；
    旋转所述特效模型，以使所述特效模型中预设目标关键点的第一连线，与所述三维模型中预设参考关键点的第二连线之间的夹角符合所述角度参数。
  7. 根据权利要求3-6中任一所述的特效处理方法，其特征在于，所述对所述特效模型进行渲染，包括：
    根据所述三维模型的光效，对所述特效模型进行渲染。
  8. 一种基于三维模型的特效处理装置，其特征在于，所述装置包括：
    获取模块，用于获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；
    重构模块，用于根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；
    识别模块，用于识别与所述二维的人脸图像对应的表情类别；
    融合模块，用于将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
  9. 根据权利要求8所述的特效处理装置，其特征在于，所述识别模块，包括：
    第一识别子模块，用于识别当前帧的人脸图像中各关键点的位置；
    第二识别子模块，用于对当前帧之前采集的至少一帧人脸图像，识别所述至少一帧人脸图像中各关键点的位置；
    第三识别子模块，用于若所述至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值，识别当前帧对应的表情类别。
  10. 根据权利要求8或9所述的特效处理装置，其特征在于，所述融合模块，包括：
    获取子模块，用于根据所述表情类别，获取对应的特效模型；
    调整子模块，用于调整所述特效模型相对所述三维模型的角度，以使所述三维模型和所述特效模型角度匹配；
    贴图子模块，用于对所述特效模型进行渲染后，贴图至所述三维模型。
  11. 根据权利要求10所述的特效处理装置，其特征在于，所述融合模块，还包括：
    形变子模块，用于在所述对所述特效模型进行渲染后，贴图至所述三维模型之前，根据所述三维模型的待贴图区域，对所述特效模型进行形变，以使形变后的特效模型覆盖所述待贴图区域。
  12. 根据权利要求11所述的特效处理装置，其特征在于，所述融合模块，还包括：
    查询子模块，用于在所述根据所述三维模型的待贴图区域，对所述特效模型进行形变之前，根据所述特效模型，在所述三维模型中，查询对应的待贴图关键点；
    处理子模块，用于在所述三维模型中，将所述特效模型对应的待贴图关键点所在区域 作为待贴图区域。
  13. 根据权利要求10-12中任一所述的特效处理装置，其特征在于，所述调整子模块，具体用于：
    查询所述特效模型适用的角度参数；
    旋转所述特效模型，以使所述特效模型中预设目标关键点的第一连线，与所述三维模型中预设参考关键点的第二连线之间的夹角符合所述角度参数。
  14. 一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的基于三维模型的特效处理方法。
  15. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于三维模型的特效处理方法。
  16. 一种图像处理电路，其特征在于，所述图像处理电路包括：图像单元、深度信息单元和处理单元；
    所述图像单元，用于输出二维的人脸图像；
    所述深度信息单元，用于输出深度信息；
    所述处理单元，分别与所述图像单元和所述深度信息单元电性连接，用于根据所述图像单元获取的二维的人脸图像，以及所述深度信息单元获取的对应的深度信息，对人脸进行三维重构，以得到所述人脸对应的三维模型，识别与所述二维的人脸图像对应的表情类别，将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
  17. 根据权利要求16所述的图像处理电路，其特征在于，所述图像单元，包括电性连接的图像传感器和图像信号处理ISP处理器；
    所述图像传感器，用于输出原始图像数据；
    所述ISP处理器，用于根据所述原始图像数据，输出所述人脸图像。
  18. 根据权利要求16或17所述的图像处理电路，其特征在于，所述深度信息单元，包括电性连接的结构光传感器和深度图生成芯片；
    所述结构光传感器，用于生成红外散斑图；
    所述深度图生成芯片，用于根据所述红外散斑图，输出所述深度信息；所述深度信息包括深度图。
  19. 根据权利要求16-18中任一所述的图像处理电路，其特征在于，所述处理单元，包括电性连接的CPU和GPU；
    其中，所述CPU，用于根据标定数据，对齐所述人脸图像与所述深度图，根据对齐后 的所述人脸图像与所述深度图，输出人脸对应的三维模型；
    所述GPU，用于识别与所述人脸图像对应的表情类别，将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。
  20. 根据权利要求19所述的图像处理电路，其特征在于，所述图像处理电路还包括显示单元；
    所述显示单元，与所述GPU电性连接，用于根据特效处理后的三维模型进行展示。
PCT/CN2019/088118 2018-08-16 2019-05-23 基于三维模型的特效处理方法、装置和电子设备 WO2020034698A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810934012.X 2018-08-16
CN201810934012.XA CN109147037B (zh) 2018-08-16 2018-08-16 基于三维模型的特效处理方法、装置和电子设备

Publications (1)

Publication Number Publication Date
WO2020034698A1 true WO2020034698A1 (zh) 2020-02-20

Family

ID=64789563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088118 WO2020034698A1 (zh) 2018-08-16 2019-05-23 基于三维模型的特效处理方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN109147037B (zh)
WO (1) WO2020034698A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147037B (zh) * 2018-08-16 2020-09-18 Oppo广东移动通信有限公司 基于三维模型的特效处理方法、装置和电子设备
CN110310318B (zh) * 2019-07-03 2022-10-04 北京字节跳动网络技术有限公司 一种特效处理方法及装置、存储介质与终端
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN112004020B (zh) * 2020-08-19 2022-08-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113538696A (zh) * 2021-07-20 2021-10-22 广州博冠信息科技有限公司 特效生成方法、装置、存储介质及电子设备
CN114494556A (zh) * 2022-01-30 2022-05-13 北京大甜绵白糖科技有限公司 一种特效渲染方法、装置、设备及存储介质
CN114677386A (zh) * 2022-03-25 2022-06-28 北京字跳网络技术有限公司 特效图像处理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
US20140362091A1 (en) * 2013-06-07 2014-12-11 Ecole Polytechnique Federale De Lausanne Online modeling for real-time facial animation
CN104346824A (zh) * 2013-08-09 2015-02-11 汉王科技股份有限公司 基于单张人脸图像自动合成三维表情的方法及装置
CN104978764A (zh) * 2014-04-10 2015-10-14 华为技术有限公司 三维人脸网格模型处理方法和设备
CN108062791A (zh) * 2018-01-12 2018-05-22 北京奇虎科技有限公司 一种重建人脸三维模型的方法和装置
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN109147037A (zh) * 2018-08-16 2019-01-04 Oppo广东移动通信有限公司 基于三维模型的特效处理方法、装置和电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918499B2 (ja) * 1996-09-17 1999-07-12 株式会社エイ・ティ・アール人間情報通信研究所 顔画像情報変換方法および顔画像情報変換装置
DE69915901T2 (de) * 1998-01-14 2004-09-02 Canon K.K. Bildverarbeitungsgerät
CN101021952A (zh) * 2007-03-23 2007-08-22 北京中星微电子有限公司 一种实现三维视频特效的方法及装置
CN101452582B (zh) * 2008-12-18 2013-09-18 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
US20140088750A1 (en) * 2012-09-21 2014-03-27 Kloneworld Pte. Ltd. Systems, methods and processes for mass and efficient production, distribution and/or customization of one or more articles
CN104732203B (zh) * 2015-03-05 2019-03-26 中国科学院软件研究所 一种基于视频信息的情绪识别与跟踪方法
CN105118082B (zh) * 2015-07-30 2019-05-28 科大讯飞股份有限公司 个性化视频生成方法及系统
CN106920274B (zh) * 2017-01-20 2020-09-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107452034B (zh) * 2017-07-31 2020-06-05 Oppo广东移动通信有限公司 图像处理方法及其装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
US20140362091A1 (en) * 2013-06-07 2014-12-11 Ecole Polytechnique Federale De Lausanne Online modeling for real-time facial animation
CN104346824A (zh) * 2013-08-09 2015-02-11 汉王科技股份有限公司 基于单张人脸图像自动合成三维表情的方法及装置
CN104978764A (zh) * 2014-04-10 2015-10-14 华为技术有限公司 三维人脸网格模型处理方法和设备
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN108062791A (zh) * 2018-01-12 2018-05-22 北京奇虎科技有限公司 一种重建人脸三维模型的方法和装置
CN109147037A (zh) * 2018-08-16 2019-01-04 Oppo广东移动通信有限公司 基于三维模型的特效处理方法、装置和电子设备

Also Published As

Publication number Publication date
CN109147037A (zh) 2019-01-04
CN109147037B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
WO2020034698A1 (zh) 基于三维模型的特效处理方法、装置和电子设备
WO2019228473A1 (zh) 人脸图像的美化方法和装置
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
CN109118569B (zh) 基于三维模型的渲染方法和装置
US11043011B2 (en) Image processing method, apparatus, terminal, and storage medium for fusing images of two objects
WO2022179026A1 (zh) 图像处理方法及装置、电子设备和存储介质
US11069151B2 (en) Methods and devices for replacing expression, and computer readable storage media
WO2021036314A1 (zh) 人脸图像处理方法及装置、图像设备及存储介质
US20140254939A1 (en) Apparatus and method for outputting information on facial expression
CN110688948B (zh) 视频中人脸性别变换方法、装置、电子设备和存储介质
CN109102559B (zh) 三维模型处理方法和装置
TWI752419B (zh) 影像處理方法及裝置、圖像設備及儲存媒介
US11403819B2 (en) Three-dimensional model processing method, electronic device, and readable storage medium
WO2020034786A1 (zh) 三维模型处理方法、装置、电子设备和存储介质
CN109272579B (zh) 基于三维模型的美妆方法、装置、电子设备和存储介质
CN108876886B (zh) 图像处理方法、装置和计算机设备
CN113628327B (zh) 一种头部三维重建方法及设备
US20140064617A1 (en) Image generation apparatus, image generation method, and recording medium
CN108682050B (zh) 基于三维模型的美颜方法和装置
WO2020034738A1 (zh) 三维模型的处理方法、装置、电子设备及可读存储介质
CN108876709A (zh) 人脸美化方法、装置、电子设备及可读存储介质
CN109191393B (zh) 基于三维模型的美颜方法
CN109242760B (zh) 人脸图像的处理方法、装置和电子设备
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
US8971636B2 (en) Image creating device, image creating method and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850429

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19850429

Country of ref document: EP

Kind code of ref document: A1