WO2020113998A1 - 基于增强现实的着色方法、装置、电子设备与存储介质 - Google Patents

基于增强现实的着色方法、装置、电子设备与存储介质 Download PDF

Info

Publication number
WO2020113998A1
WO2020113998A1 PCT/CN2019/100977 CN2019100977W WO2020113998A1 WO 2020113998 A1 WO2020113998 A1 WO 2020113998A1 CN 2019100977 W CN2019100977 W CN 2019100977W WO 2020113998 A1 WO2020113998 A1 WO 2020113998A1
Authority
WO
WIPO (PCT)
Prior art keywords
vertex
pixel
normal
target
dimensional grid
Prior art date
Application number
PCT/CN2019/100977
Other languages
English (en)
French (fr)
Inventor
刘享军
杨超
齐坤鹏
高国平
Original Assignee
北京京东尚科信息技术有限公司
北京京东世纪贸易有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201811497751.3A external-priority patent/CN111292423B/zh
Application filed by 北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司 filed Critical 北京京东尚科信息技术有限公司
Priority to EP19893797.1A priority Critical patent/EP3893207A4/en
Publication of WO2020113998A1 publication Critical patent/WO2020113998A1/zh
Priority to US17/339,681 priority patent/US11348309B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • the triangle surface where each vertex is located is rasterized to determine the position coordinates, texture coordinates and methods of each pixel in each triangle surface line;
  • the color value of each pixel output to the display is determined.
  • a normal determination module for determining the normal of each vertex in the three-dimensional grid
  • the central processor is specifically configured to add and normalize the normal of the vertex on each triangle to obtain the normal of the vertex.
  • the augmented reality-based coloring method, device, electronic device, and storage medium provided in the embodiments of the present application obtain the three-dimensional grid information of the human face, and obtain the vertices of the target part of the human face based on the three-dimensional grid information of the human face Position coordinates and texture coordinates; according to the position coordinates of the vertices of the target part, construct a three-dimensional grid of the target part, and determine the normal of each vertex in the three-dimensional grid; based on the three-dimensional grid
  • the position coordinates, texture coordinates, normals of each vertex in the image, and the preset light and dark maps of the target part, and the target RGB value of the target part are used to color the target part, thereby improving the stereoscopic effect of the coloring And realism, improve user experience.
  • FIG. 9 is a schematic structural diagram of an electronic device provided by an embodiment of this application.
  • the coloring method based on augmented reality provided by the embodiments of the present application is applicable to the fields of augmented reality, computer vision and computer graphics. It can be used for test makeup in online shopping, and can also be applied to other coloring.
  • the execution subject of the embodiment of the present application may be a device with a coloring function, for example, a coloring device based on augmented reality, hereinafter referred to as a coloring device.
  • the average value of the normal of the vertex v0 on each triangle may be used as the normal of the vertex v0, and the average may be an arithmetic average or a weighted average.
  • the gray value corresponding to the position of vertex v0 is obtained in a preset shading map.
  • the vertex v0 is colored based on the texture coordinates, normals, gray values, and target RGB values corresponding to the vertex v0. Referring to this method, coloring each vertex in the three-dimensional mesh can achieve the coloring of the target part.
  • I diff K d *(N ⁇ L)*C, (1)
  • I spec represents the highlight color value
  • K s represents the highlight intensity
  • N represents the normal of the pixel
  • L represents the light direction (fixed value)
  • K s represents the highlight intensity
  • T is the corresponding gray level of the pixel in the light and dark map value.
  • the computer program product includes one or more computer instructions.
  • the computer may be a general-purpose computer, a dedicated computer, a computer network, or other programmable devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种基于增强现实的着色方法、装置、电子设备与存储介质，该方法包括：获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色，进而提高了着色的立体感和真实感，提高用户体验。

Description

基于增强现实的着色方法、装置、电子设备与存储介质
本申请要求于2018年12月07日提交中国专利局、申请号为201811497751.3、申请名称为“基于增强现实的着色方法、装置、电子设备与存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种基于增强现实的着色方法、装置、电子设备与存储介质。
背景技术
随着增强现实(Augmented Reality，AR)技术的快速发展和网购的流行，AR试妆得到了快速发展，例如，用户在购买唇彩时，不需要去商场专柜试色号，可以通过AR试妆，网购自己心仪的唇彩，进而提高了用户的购物便利性。同时，AR试妆时，不需要像在专柜一样，挨个涂抹，清洁度高。
现有的AR试妆方法为，采集用户的人脸图像，基于人脸图像进行特征检测。然后，利用特征点追踪技术对特征点进行实时追踪，在特征点的基础之上，找出嘴部的特征点，绘制相应的唇部网格模型，并进行着色。
但是，基于现有方法，获取的是人脸的特征点的平面坐标，进而使得唇部的网格是平面的，缺乏立体感，造成唇部光照效果的失真。
发明内容
本申请实施例提供一种基于增强现实的着色方法、装置、电子设备与存储介质。
第一方面，本申请实施例提供一种基于增强现实的着色方法，包括；
获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
在第一方面的一种可能的实现方式中，所述基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位的预设的明暗贴图，和所述目标部位的目标RGB值，对所述目标部位进行着色，包括：
根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在第一方面的另一种可能的实现方式中，所述根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色，包括：
根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；
根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；
根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在第一方面的另一种可能的实现方式中，所述根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值，包括：
针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在第一方面的另一种可能的实现方式中，所述确定所述三维网格中每个顶点的法线，包括：
针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；
确定该顶点在每个三角形上的法线；
根据该顶点在每个三角形上的法线，确定该顶点的法线。
在第一方面的另一种可能的实现方式中，所述根据该顶点在每个三角形上的法线，确定该顶点的法线，包括：
将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在第一方面的另一种可能的实现方式中，所述确定该顶点在每个三角形上的法线，包括：
将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
在第一方面的另一种可能的实现方式中，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
第二方面，本申请实时提供一种基于增强现实的着色装置，包括；
获取模块，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
构建模块，用于根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格；
法线确定模块，用于确定所述三维网格中每个顶点的法线；
着色模块，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
在第二方面的一种可能的实现方式中，所述着色模块包括：
确定单元，用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
获取单元，用于根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
着色单元，用于根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在第二方面的另一种可能的实现方式中，所述着色单元，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确 定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在第二方面的另一种可能的实现方式中，所述着色单元，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在第二方面的另一种可能的实现方式中，所述法线确定模块，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
在第二方面的另一种可能的实现方式中，所述法线确定模块，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在第二方面的另一种可能的实现方式中，所述法线确定模块，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
在第二方面的另一种可能的实现方式中，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
第三方面，本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现第一方面所述的基于增强现实的着色方法。
第四方面，本申请实施例提供一种电子设备，包括：
摄像头，用于采集用户的人脸图像；
处理器，用于根据所述人脸图像，获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
第五方面，本申请实施例提供一种电子设备，包括；
中央处理器，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
图像处理器，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
在第五方面的一种可能的实现方式中，所述图像处理器，具体用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在第五方面的另一种可能的实现方式中，所述图像处理器，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在第五方面的另一种可能的实现方式中，所述图像处理器，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在第五方面的另一种可能的实现方式中，所述中央处理器，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
在第五方面的另一种可能的实现方式中，所述中央处理器，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在第五方面的另一种可能的实现方式中，所述中央处理器，具体用于 将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
在第五方面的另一种可能的实现方式中，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
第六方面，本申请实施例提供一种计算机存储介质，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如第一方面任一项所述的基于增强现实的着色方法。
本申请实施例提供的基于增强现实的着色方法、装置、电子设备与存储介质，通过获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色，进而提高了着色的立体感和真实感，提高用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的基于增强现实的着色方法的流程示意图；
图2为本申请实施例涉及的一种三维网格示意图；
图3为本申请实施例涉及的法线的示意图；
图4为本申请实施例涉及的唇部明暗贴图；
图5为本申请实施例二提供的基于增强现实的着色方法的流程示意图；
图6为本申请实施例一提供的基于增强现实的着色装置的结构示意图；
图7为本申请实施例二提供的基于增强现实的着色装置的结构示意图；
图8为本申请一实施例提供的电子设备的结构示意图；
图9为本申请一实施例提供的电子设备的结构示意图；
图10为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
增强现实(Augmented Reality，简称AR)技术是一种实时计算摄像机位置和姿态，并在现实世界场景中叠加图像、视频和三维渲染模型的技术。这种技术从20世界90年代被首次提出，在提出之后的一段时间内，受设备计算能力的限制，没有被广泛普及。但是随着电子产品计算能力的提升，增强现实的应用越来越广泛。移动端设备(手机、平板电脑等)目前已经普及，成本已经被大大降低，在移动端设备中集成增强现实类应用成为最近的一个热点。2016年7月，任天堂、精灵宝可梦、Niantic(奈安蒂克)合作发布了世界上第一款增强现实类游戏Pokémon GO，该游戏风靡全球，获得了游戏界的奥斯卡大奖The Game Awards(年度游戏大奖)2016，游戏背后可以看出增强现实技术已经走入了人们的日常生活。增强现实除了可以应用在游戏中，也可以应用在人们的日常生活中，例如在电商家居家装类应用中，用户可以在自己房间内摆放虚拟家具，来遴选确定自己最喜欢的、与已有房间最搭配的家具产品；在广告营销场景中，用户可以扫描某个厂商的标识(logo)，来观看某个促销动画，参与某项优惠活动，领取优惠券等。
本申请实施例提供的基于增强现实的着色方法，适用于增强现实、计算机视觉和计算机图形学领域。可以用于网购中的试妆，也可以适用于其他的着色。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本申请实施例一提供的基于增强现实的着色方法的流程示意图， 本实施例的方法可以包括：
S101、获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标。
本申请实施例的执行主体可以是具有着色功能的装置，例如基于增强现实的着色装置，以下简称着色装置。
该着色装置可以为单独的电子设备，也可以是电子设备的部分器件，例如为电子设备中的中央处理器(Central Processing Unit，CPU)或图形处理器(Graphics Processing Unit，GPU)。
可选的，本申请实施例的着色装置包括CPU和GPU。即本实施例的部分步骤由CPU完成，另一部步骤由GPU完成，例如S101至S102的步骤由CPU完成，S103的步骤由GPU完成。
本申请实施例对上述方法的具体执行主体不做限制，具体根据实际需要确定。
本实施例的目标部位为人脸上的任一部位，例如为唇部、眼部、眉毛、脸颊等脸部部位。
本实施例的可以对上述任一目标部位进行着色，提高了着色的立体感和真实感。
本申请实施例的人脸三维网格信息是基于深度摄像头采集的人脸图像生成的。
该深度摄像头除了能够获取平面图像以外，还可以获得拍摄对象的深度信息，也就是三维的位置和尺寸信息，使得整个计算系统获得环境和对象的三维立体数据。按技术分类，深度摄像头可分为以下三类主流技术：结构光、双目视觉和飞行时间测距法(Time of flight，TOF)飞行时间法。
结构光是目前主流、应用最广泛的深度感知方案，其基本原理是由结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器获得图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标。
对上述深度摄像头采集的人脸图像进行处理，生成人脸三维网格信息。
例如，通过AR Kit的AR Face Anchor对象，从深度摄像头采集的视频流中提取的人脸网格的顶点、纹理坐标和三角面数据，生成人脸三维网格信息。
由于人脸网格信息中的顶点数、特征点相对位置都固定，所以可以查找到目标部位(例如唇部)特征点的序号，从而进一步获取到目标部位的顶点信息，还顶点信息包括顶点坐标和纹理坐标。
S102、根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线。
基于上述步骤，获得目标部位的顶点坐标后，基于目标部位的顶点坐标，构建目标部位的三维网格。
例如，如图2所示，使用opengles作为渲染api，根据GL_TRIANGLE_STRIP方式，生成目标部位的三维网格。即将相邻的3个顶点进行连接，生成如图2所示的目标部位的三维网格。
可选的，还可以使用已有的其他方式，基于目标部位的顶点坐标，构建目标部位的三维网格，本实施例对此不做限制。
法线是光照计算的必要数据，由于上述生成的目标部位的三维网格法线缺失，因此需要根据顶点坐标重新确定法线。
本实施例需要确定三维网络中每个顶点的法线，且每个顶点的法线的确定过程相同，因此，本实施例以一个顶点(例如顶点v0)的法线确定过程为例进行说明，其他顶点参照即可。
获取顶点v0所在的各三角形，如图3所示，v0所在的三角形包括：Δv0v1v2、Δv0v2v3、Δv0v3v4、Δv0v4v1。根据顶点v0的坐标和Δv0v1v2、Δv0v2v3、Δv0v3v4、Δv0v4v1，确定顶点v0的法线。
在一种示例中，若Δv0v1v2、Δv0v2v3、Δv0v3v4和Δv0v4v1处于一个平面上，可以将上述任一个三角形的法线，作为顶点v0的法线，例如，将Δv0v4v1的法线作为顶点v0的法线。
在另一种示例中，获取Δv0v1v2、Δv0v2v3、Δv0v3v4和Δv0v4v1中每个三角形的法线，将每个三角形的法线相加并取其平均值，作为顶点v0的法线。
在另一种示例中，确定该顶点在每个三角形上的法线，根据该顶点在每个三角形上的法线，确定该顶点的法线。
即确定顶点v0在Δv0v1v2上的法线，记为
Figure PCTCN2019100977-appb-000001
确定顶点v0在Δv0v2v3上的法线，记为
Figure PCTCN2019100977-appb-000002
确定顶点v0在Δv0v3v4上的法线，记为
Figure PCTCN2019100977-appb-000003
确定顶点v0在Δv0v4v1上的法线，记为
Figure PCTCN2019100977-appb-000004
接着，该顶点在每个三角形上的法线，确定该顶点的法线。
可选的，可以将该顶点v0在每个三角形上的法线的平均值作为该顶点v0的法线，该平均值可以是算数平均值，也可以是加权平均值。
可选的，将该顶点v0在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线
Figure PCTCN2019100977-appb-000005
可选的，确定该顶点在每个三角形上的法线，可以包括：
将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
例如，
Figure PCTCN2019100977-appb-000006
S103、基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
需要说明的是，上述目标部位的顶点坐标，构建所述目标部位的三维网格时，由于使用的目标部位的顶点包括顶点坐标和纹理坐标，因此，生成的三维网格的各顶点信息包括顶点坐标和纹理坐标。
明暗贴图为与唇部模型相匹配的灰度图，其中RGB三个通道的值相同。
本实施例中目标部位预设的明暗贴图可以是预先保存的，例如由美术人员事先保存至着色装置中。例如，当着色装置包括GPU时，可以将明暗贴图加载在GPU的显存中。
可选的，该着色装置还可以包括有其他人脸部位的明暗贴图。着色装置可以根据目标部位的三维网格，获取与该目标部位的三维网格匹配的明暗贴图。
如图4所示的唇部明暗贴图，该唇部明暗贴图的RGB通道为(0，0，0)，alpha通道反应的是唇部的透明度信息，其值除边缘部分渐变到0，中间主体部分值为1。
目标部位的目标RGB值为用户期望在目标部位上着色的目标RGB值，例如，目标部位为唇部时，该目标RGB值为用户期望上妆的唇彩的颜色值，例如为粉红、橘红等。
接着，基于三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
在一种示例中，以一个顶点为例，其他顶点参照，根据顶点v0的位置坐标，在预设的明暗贴图中获取顶点v0位置对应的灰度值。接着，基于顶点v0对应的纹理坐标、法线、灰度值和目标RGB值，对顶点v0进行着色。参照该方法，对三维网格中每个顶点进行着色，可以实现对目标部位的着色。
在另一种示例中，还可以使用其他的方法，基于三维网格中每个顶点的位置坐标、纹理坐标、法线，以及预设的明暗贴图和目标RGB值，对目标部位中每个像素点进行着色。
本申请实施例提供的基于增强现实的着色方法，通过获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色，进而提高了着色的立体感和真实感，提高用户体验。
图5为本申请实施例二提供的基于增强现实的着色方法的流程示意图，在上述实施例的基础上，本实施例涉及的是基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位的预设的明暗贴图，和所述目标部位的目标RGB值，对所述目标部位进行着色的一种实施过程。如图5所示，上述S103可以包括：
S201、根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线。
具体的，根据三维网格中每个顶点的位置坐标，确定每个顶点所在的三角面。其中，每个顶点所在的三角面可以是该顶点在三维网格中所在的三角面，也可以是该顶点与邻近的其他顶点构成的三角面。
接着，对三角面进行光栅化，即将三角面拆解成一个一个的像素点。根据构成该三角面的3个顶点的位置坐标、纹理坐标和法线，使用预设的技术方法，例如线性化计算方式，确定该三角形中每个像素点的位置坐标、纹理坐标和法线。
根据上述方法，可以获得三维网格中每个顶点对应的每个三角面中各像素点的位置坐标、纹理坐标和法线。
S202、根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值。
以一个像素点p0为例，根据上述步骤，可以获得像素点p0的位置坐标和纹理坐标。接着，p0的位置坐标和纹理坐标，从预设的明暗贴图中，获得像素点p0对应的灰度值。例如，像素点p0为唇部对应的一像素点，根据该像素点p0的位置坐标和纹理坐标，从图4所示的唇部的明暗贴图中，获得该像素点p0对应的灰度值。
S203、根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
这样，根据上述步骤获得的每个像素点的灰度值和法线，以及目标RGB值，对每个像素点进行着色，使得着色后的目标部位的光照效果满足预设调节，进而提高了着色后的目标部位的立体感和真实感。
在本实施例的一种可能的实现方式中，上述S203可以包括如下S2031至S2033的步骤。
S2031、根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值。
其中，上述漫反射强度可以根据实际需要设定的，即根据不同的着色效果，设定漫反射强度。可选的，在简单光照效果、阴影效果和边缘模糊效果等着色效果，所对应的漫反射强度可以不同。光线方向为固定值。
在一种示例中，本实施例可以根据如下公式(1)确定每个所述像素点的漫反射颜色值：
I diff＝K d*(N□L)*C，    (1)
其中，I diff表示漫反射颜色值，K d表示漫反射强度，N表示像素点的法线，L表示光线方向(固定值)，C表示目标RGB值。
其中，公式(1)只是一种示例，本实施例不限于于此。
S2032、根据每个所述像素点的法线和灰度值，以及高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色。
其中，上述高光强度和视线方向可以根据实际需要设定的，即根据不同的着色效果，设定高光强度和视线方向。可选的，在简单光照效果、阴 影效果和边缘模糊效果等着色效果，所对应的高光强度和视线方向可以不同。光线方向和光滑度系数为固定值
在一种示例中，本实施例可以根据如下公式(2)确定每个所述像素点的高光颜色：
I spec＝K s*((L+V)□N) S*T，     (2)
其中，I spec表示高光颜色值，K s表示高光强度，N表示像素点的法线，L表示光线方向(固定值)，K s表示高光强度，T为像素点在明暗贴图中对应的灰度值。
其中，公式(2)只是一种示例，本实施例不限于于此。
S2033、根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在一种示例中，针对每个像素点，将该像素点的漫反射颜色值和该像素点的高光颜色的平均值，作为该像素点输出到显示器上的颜色值。
在另一种示例中，针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
例如，根据如下公式(3)确定该像素点输出到显示器上的颜色值：
I final＝I difff+I spec，   (3)
本申请实施例的方法，通过根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。进而实现对每个像素点的准确着色，使得着色后的目标部位具有立体感和真实度，同时，通过改变上述参数，可以实现在简单光照效果，阴影效果，边缘模糊效果等不用效果下的试妆，进一步提高了用户体验。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本申请实施例一提供的基于增强现实的着色装置的结构示意图，如图6所示，基于增强现实的着色装置100可以包括：
获取模块110，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
构建模块120，用于根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格；
法线确定模块130，用于确定所述三维网格中每个顶点的法线；
着色模块140，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
本申请实施例的基于增强现实的着色装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本申请实施例二提供的基于增强现实的着色装置的结构示意图，如图7所示，着色模块140包括：
确定单元141，用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
获取单元142，用于根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
着色单元143，用于根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在本实施例的一种可能的实现方式中，所述着色单元143，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在本实施例的另一种可能的实现方式中，所述着色单元143，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在本实施例的另一种可能的实现方式中，所述法线确定模块130，具 体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
在本实施例的另一种可能的实现方式中，所述法线确定模块130，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在本实施例的另一种可能的实现方式中，所述法线确定模块130，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
可选的，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
本申请实施例的基于增强现实的着色装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本申请一实施例提供的电子设备的结构示意图，如图8所示，本实施例的电子设备200可以包括：
存储器210，用于存储计算机程序；
处理器220，用于执行所述计算机程序，以实现上述第一方面所述的基于增强现实的着色方法。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本申请一实施例提供的电子设备的结构示意图，如图9所示，本实施例的电子设备300可以包括：
摄像头310，用于采集用户的人脸图像；
处理器320，用于根据所述人脸图像，获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
可选的，电子设备还包括存储器330，该存储器330用于存储计算机程序，处理器320用于执行所述计算机程序，以实现上述实施例的基于增强现实的着色方法。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本申请一实施例提供的电子设备的结构示意图，如图10所示的电子设备400可以包括：
中央处理器410，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
图像处理器420，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在本申请实施例的一种可能的实现方式中，所述图像处理器420，具体用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在本申请实施例的另一种可能的实现方式中，所述图像处理器420，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在本申请实施例的另一种可能的实现方式中，所述图像处理器420，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和， 作为该像素点输出到显示器上的颜色值。
在本申请实施例的另一种可能的实现方式中，所述中央处理器410，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
在本申请实施例的另一种可能的实现方式中，所述中央处理器410，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在本申请实施例的另一种可能的实现方式中，所述中央处理器410，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
可选的，目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
所述基于增强现实的着色方法的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质 传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (27)

  1. 一种基于增强现实的着色方法，其特征在于，包括；
    获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
    根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
    基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
  2. 根据权利要求1所述的方法，其特征在于，所述基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位的预设的明暗贴图，和所述目标部位的目标RGB值，对所述目标部位进行着色，包括：
    根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
    根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
    根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
  3. 根据权利要求2所述的方法，其特征在于，所述根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色，包括：
    根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；
    根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；
    根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
  4. 根据权利要求3所述的方法，其特征在于，所述根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值，包括：
    针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
  5. 根据权利要求1所述的方法，其特征在于，所述确定所述三维网格中每个顶点的法线，包括：
    针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；
    确定该顶点在每个三角形上的法线；
    根据该顶点在每个三角形上的法线，确定该顶点的法线。
  6. 根据权利要求5所述的方法，其特征在于，所述根据该顶点在每个三角形上的法线，确定该顶点的法线，包括：
    将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
  7. 根据权利要求5所述的方法，其特征在于，所述确定该顶点在每个三角形上的法线，包括：
    将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
  8. 根据权利要求1-7任一项所述的方法，其特征在于，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
  9. 一种基于增强现实的着色装置，其特征在于，包括；
    获取模块，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
    构建模块，用于根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格；
    法线确定模块，用于确定所述三维网格中每个顶点的法线；
    着色模块，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
  10. 根据权利要求9所述的装置，其特征在于，所述着色模块包括：
    确定单元，用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各 像素点的位置坐标、纹理坐标和法线；
    获取单元，用于根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
    着色单元，用于根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
  11. 根据权利要求10所述的装置，其特征在于，
    所述着色单元，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
  12. 根据权利要求11所述的装置，其特征在于，
    所述着色单元，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
  13. 根据权利要求9所述的装置，其特征在于，
    所述法线确定模块，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
  14. 根据权利要求13所述的装置，其特征在于，
    所述法线确定模块，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
  15. 根据权利要求14所述的装置，其特征在于，
    所述法线确定模块，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
  16. 根据权利要求9-15任一项所述的装置，其特征在于，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
  17. 一种电子设备，其特征在于，包括；
    存储器，用于存储计算机程序；
    处理器，用于执行所述计算机程序，以实现如权利要求1-8中任一项 所述的基于增强现实的着色方法。
  18. 一种电子设备，其特征在于，包括；
    摄像头，用于采集用户的人脸图像；
    处理器，用于根据所述人脸图像，获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
  19. 一种电子设备，其特征在于，包括；
    中央处理器，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
    图像处理器，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
  20. 根据权利要求19所述的电子设备，其特征在于，
    所述图像处理器，具体用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
  21. 根据权利要求20所述的电子设备，其特征在于，
    所述图像处理器，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素 点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
  22. 根据权利要求21所述的电子设备，其特征在于，
    所述图像处理器，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
  23. 根据权利要求19所述的电子设备，其特征在于，
    所述中央处理器，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
  24. 根据权利要求23所述的电子设备，其特征在于，
    所述中央处理器，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
  25. 根据权利要求24所述的电子设备，其特征在于，
    所述中央处理器，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
  26. 根据权利要求19-25任一项所述的电子设备，其特征在于，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
  27. 一种计算机存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-8中任一项所述的基于增强现实的着色方法。
PCT/CN2019/100977 2018-12-07 2019-08-16 基于增强现实的着色方法、装置、电子设备与存储介质 WO2020113998A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19893797.1A EP3893207A4 (en) 2018-12-07 2019-08-16 METHOD AND EQUIPMENT FOR COLORING BASED ON AUGMENTED REALITY, ELECTRONIC DEVICE AND STORAGE MEDIUM
US17/339,681 US11348309B2 (en) 2018-12-07 2021-06-04 Augmented reality-based coloring method and apparatus, electronic device and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811497751.3A CN111292423B (zh) 2018-12-07 基于增强现实的着色方法、装置、电子设备与存储介质
CN201811497751.3 2018-12-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/339,681 Continuation US11348309B2 (en) 2018-12-07 2021-06-04 Augmented reality-based coloring method and apparatus, electronic device and storage medium

Publications (1)

Publication Number Publication Date
WO2020113998A1 true WO2020113998A1 (zh) 2020-06-11

Family

ID=70975163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/100977 WO2020113998A1 (zh) 2018-12-07 2019-08-16 基于增强现实的着色方法、装置、电子设备与存储介质

Country Status (3)

Country Link
US (1) US11348309B2 (zh)
EP (1) EP3893207A4 (zh)
WO (1) WO2020113998A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230162447A1 (en) * 2021-11-24 2023-05-25 Meta Platforms, Inc. Regionally enhancing faces in a digital video stream

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100132A1 (en) * 2011-03-31 2013-04-25 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
CN108664884A (zh) * 2018-03-17 2018-10-16 广州帕克西软件开发有限公司 一种虚拟试妆方法及装置
CN108805090A (zh) * 2018-06-14 2018-11-13 广东工业大学 一种基于平面网格模型的虚拟试妆方法
CN108898068A (zh) * 2018-06-06 2018-11-27 腾讯科技（深圳）有限公司 一种人脸图像的处理方法和装置以及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5261586B2 (ja) * 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US9965893B2 (en) * 2013-06-25 2018-05-08 Google Llc. Curvature-driven normal interpolation for shading applications
WO2017149315A1 (en) * 2016-03-02 2017-09-08 Holition Limited Locating and augmenting object features in images
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100132A1 (en) * 2011-03-31 2013-04-25 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
CN108664884A (zh) * 2018-03-17 2018-10-16 广州帕克西软件开发有限公司 一种虚拟试妆方法及装置
CN108898068A (zh) * 2018-06-06 2018-11-27 腾讯科技（深圳）有限公司 一种人脸图像的处理方法和装置以及计算机可读存储介质
CN108805090A (zh) * 2018-06-14 2018-11-13 广东工业大学 一种基于平面网格模型的虚拟试妆方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3893207A4

Also Published As

Publication number Publication date
US11348309B2 (en) 2022-05-31
CN111292423A (zh) 2020-06-16
US20210312705A1 (en) 2021-10-07
EP3893207A4 (en) 2022-01-19
EP3893207A1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
CN108537110B (zh) 生成三维人脸模型的基于虚拟现实的装置和方法
US8405680B1 (en) Various methods and apparatuses for achieving augmented reality
US11055830B2 (en) Rendering process and system
Kán et al. Deeplight: light source estimation for augmented reality using deep learning
CN107644453B (zh) 一种基于物理着色的渲染方法及系统
US8218903B2 (en) 3D object scanning using video camera and TV monitor
JP2001268594A (ja) 三次元ビューティーシミュレーション用クライアントサーバシステム
US8854392B2 (en) Circular scratch shader
Siegl et al. Faceforge: Markerless non-rigid face multi-projection mapping
Boom et al. Point Light Source Estimation based on Scenes Recorded by a RGB-D camera.
WO2023066121A1 (zh) 三维模型的渲染
US8633926B2 (en) Mesoscopic geometry modulation
US9905045B1 (en) Statistical hair scattering model
Park et al. " DreamHouse" NUI-based Photo-realistic AR Authoring System for Interior Design
US11348309B2 (en) Augmented reality-based coloring method and apparatus, electronic device and storage medium
WO2019042028A1 (zh) 全视向的球体光场渲染方法
CN110136238B (zh) 一种结合物理光照模型的ar绘画方法
US10832493B2 (en) Programmatic hairstyle opacity compositing for 3D rendering
Noh et al. Soft shadow rendering based on real light source estimation in augmented reality
CN111710044A (zh) 图像处理方法、装置和计算机可读存储介质
Kim et al. Adaptive surface splatting for facial rendering
CN111292423B (zh) 基于增强现实的着色方法、装置、电子设备与存储介质
WO2022089061A1 (zh) 物体标注信息呈现方法、装置、电子设备及存储介质
WO2022042003A1 (zh) 三维着色的方法、装置、计算设备和存储介质
Welivita et al. Virtual product try-on solution for e-commerce using mobile augmented reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893797

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019893797

Country of ref document: EP

Effective date: 20210707