WO2022237116A1 - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
WO2022237116A1
WO2022237116A1 PCT/CN2021/132182 CN2021132182W WO2022237116A1 WO 2022237116 A1 WO2022237116 A1 WO 2022237116A1 CN 2021132182 W CN2021132182 W CN 2021132182W WO 2022237116 A1 WO2022237116 A1 WO 2022237116A1
Authority
WO
WIPO (PCT)
Prior art keywords
light effect
information
target
sample
image
Prior art date
Application number
PCT/CN2021/132182
Other languages
English (en)
French (fr)
Inventor
施侃乐
朱恬倩
李雅子
郑文
Original Assignee
北京达佳互联信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京达佳互联信息技术有限公司 filed Critical 北京达佳互联信息技术有限公司
Publication of WO2022237116A1 publication Critical patent/WO2022237116A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，涉及计算机技术领域，该方法包括：获取目标对象的待处理图像；响应于虚拟物体添加指令，对待处理图像进行识别处理得到目标对象的姿态信息和关键点信息；根据关键点信息对目标对象的标准三维模型进行变形处理得到目标对象的几何信息；根据虚拟物体对应的样本光效纹理信息集确定所述姿态信息的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；根据目标光效纹理信息和目标对象的几何信息绘制光效蒙版；将光效蒙版叠加在待处理图像上得到目标光效图像。

Description

图像处理方法及装置
相关申请的交叉引用
本申请基于申请号为202110506339.9、申请日为2021年05月10日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
在计算机图形学(Computer Graphics，CG)领域中，可以通过增强现实技术(Augmented Reality，AR)将虚拟物体实时绘制在真实拍摄的图像上以形成虚拟场景和现实场景融合的特殊效果，例如，将虚拟物体叠加到视频图像中的人脸上可以形成面部、头部的各类饰品、修饰。而让叠加于真实拍摄图像的虚拟物体与该真实拍摄图像产生光学互动是增加真实感的有效方法。
但是由于虚拟物体的属性复杂，对投射到被拍摄对象上的光线可能产生阴影、反射、折射、散射等各种复杂的光学效果，相关技术中，无法灵活、高效的将虚拟物体投射到被拍摄对象的各种光学效果实时的呈现出来，降低了虚拟物体与现实场景的融合性，真实感差。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取目标对象的待处理图像；
响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息；
根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息；
根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；
根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版；
将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
在一个示例性的实施方式中，所述方法还包括：
确定所述标准三维模型对应的空白纹理图片；
将所述虚拟物体放置在所述标准三维模型的目标部位，得到样本标准三维模型；
在预设虚拟三维环境中，按照所述多个采样姿态信息改变所述样本标准三维模型的模型姿态，获取每个模型姿态下所述样本标准三维模型的像素特征值；所述预设虚拟三维环境包括预设视角和预设虚拟光源；
针对所述每个模型姿态下所述样本标准三维模型的像素特征值，将所述空白纹理图片的像素特征值调整至与所述样本标准三维模型的像素特征值相一致，得到所述模型姿态对应的所述采样姿态信息的样本光效纹理图片；
根据各所述采样姿态信息的样本光效纹理图片，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述根据各所述采样姿态信息的样本光效纹理图片，得到所述虚拟物体对应的样本光效纹理信息集包括：
对每个所述采样姿态信息的样本光效纹理图片进行编码处理，得到每个所述采样姿态信息的光效编码数据；所述光效编码数据包括所述样本光效纹理图片中的像素点以及所述像素点对应的像素特征值，所述像素点以所述像素点在所述样本光效纹理图片中的坐标和所述样本光效纹理图片对应的采样姿态信息表示；
对各所述采样姿态信息的光效编码数据进行压缩处理，得到所述虚拟物体对应的压缩光效编码数据集；
对所述虚拟物体对应的所述压缩光效编码数据集依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息包括：
确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
确定所述样本光效纹理信息集中，对应所述多个目标采样姿态信息的多个目标样本光效纹理信息；
根据所述多个目标样本光效纹理信息对所述姿态信息进行插值处理，得到所述姿态信息对应的目标光效纹理信息。
在一个示例性的实施方式中，所述对所述虚拟物体对应的所述压缩光效编码数据集依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集，包括：
确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
确定所述压缩光效编码数据集中，对应所述多个目标采样姿态信息的多个目标压缩光效编码数据；
对所述目标压缩光效编码数据依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述目标对象包括面部，所述姿态信息包括所述面部的水平转动角度和俯仰角度。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
图像获取单元，被配置为获取目标对象的待处理图像；
识别单元，被配置为响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息；
变形处理单元，被配置为根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息；
光效纹理确定单元，被配置为根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；
蒙版图绘制单元，被配置为根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版；
叠加单元，被配置为将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
在一个示例性的实施方式中，所述装置还包括：
第一确定单元，被配置为确定所述标准三维模型对应的空白纹理图片；
模型确定单元，被配置为将所述虚拟物体放置在所述标准三维模型的目标部位，得到样本标准三维模型；
模型姿态改变单元，被配置为在预设虚拟三维环境中，按照所述多个采样姿态信息改变所述样本标准三维模型的模型姿态，获取每个模型姿态下所述样本标准三维模型的像素特征值；所述预设虚拟三维环境包括预设视角和预设虚拟光源；
样本光效纹理图片确定单元，被配置为针对所述每个模型姿态下所述样本标准三维模型的像素特征值，将所述空白纹理图片的像素特征值调整至与所述样本标准三维模型的像素特征值相一致，得到所述模型姿态对应的所述采样姿态信息的样本光效纹理图片；
样本光效纹理信息集确定单元，被配置为根据各所述采样姿态信息的样本光效纹理图片，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述样本光效纹理信息集确定单元包括：
编码单元，被配置为对每个所述采样姿态信息的样本光效纹理图片进行编码处理，得到每个所述采样姿态信息的光效编码数据；所述光效编码数据包括所述样本光效纹理图片中的像素点以及所述像素点对应的像素特征值，所述像素点以所述像素点在所述样本光效纹理图片中的坐标和所述样本光效纹理图片对应的采样姿态信息表示；
压缩单元，被配置为对各所述采样姿态信息的光效编码数据进行压缩处理，得到所述虚拟物体对应的压缩光效编码数据集；
解压解码单元，被配置为对所述虚拟物体对应的所述压缩光效编码数据集依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述光效纹理确定单元包括：
第二确定单元，被配置为确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
第三确定单元，被配置为确定所述样本光效纹理信息集中，对应所述多个目标采样姿态信息的多个目标样本光效纹理信息；
插值单元，被配置为根据所述多个目标样本光效纹理信息对所述姿态信息进行插值处理，得到所述姿态信息对应的目标光效纹理信息。
在一个示例性的实施方式中，所述解压解码单元包括：
第四确定单元，被配置为确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
第五确定单元，被配置为确定所述压缩光效编码数据集中，对应所述多个目标采样姿态信息的多个目标压缩光效编码数据；
解压解码子单元，被配置为对所述目标压缩光效编码数据依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述目标对象包括面部，所述姿态信息包括所述面部的水平转动角度和俯仰角度。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述第一方面的图像处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述第一方面的图像处理方法。
通过响应于针对目标对象的待处理图像的虚拟物体添加指令，对待处理图像进行识别处理得到包括目标对象的姿态信息和关键点信息的识别结果，并根据该关键点信息对目标对象的标准三维模型进行变形处理得到目标对象的几何信息，进而根据虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定上述姿态信息对应的目标光效纹理信息，其中，样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息，以及根据该目标光效纹理信息和目标对象的几何信息绘制光效蒙版，并将该光效蒙版叠加在待处理图像上得到目标光效图像，从而可以灵活、高效的呈现出虚拟物体投射到被拍摄对象上的各种光学效果，提高了虚拟物体与现实场景的融合性，具有高真实感。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的应用环境示意图；
图2是根据一示例性实施例示出的一种图像处理方法的流程图；
图3是根据一示例性实施例示出的另一种图像处理方法的流程图；
图4是根据一示例性实施例示出的根据虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息确定姿态信息对应的目标光效纹理信息的流程图；
图5是根据一示例性实施例示出的另一种图像处理方法的流程图；
图6是根据一示例性实施例示出的另一种图像处理方法的流程图；
图7是根据一示例性实施例示出的一种图像处理装置的框图；
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，其所示为根据一示例性实施例示出的一种图像处理方法的应用环境示意图，该应用环境可以包括终端110和服务器120，该终端110和服务器120之间可以通过有线网络或者无线网络连接。
终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端110中可以安装有提供图像处理功能的客户端软件如应用程序(Application，简称为App)，该应用程序可以是专门提供图像处理的应用程序，也可以是具有图像处理功能的其他应用程序，例如具有图像处理功能的短视频应用程序、直播应用程序等等。终端110的用户可以通过预先注册的用户信息登录应用程序，该用户信息可以包括账号和密码。在一些实施例中，上述图像处理功能可以是基于增强现实技术在待处理图像中添加虚拟物体的功能，以待处理图像为人物的面部图像为例，该添加的虚拟物体可以包括各种饰品。
服务器120可以是为终端110中的应用程序提供后台服务的服务器，也可以是与应用程序的后台服务器连接通信的其它服务器，可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本公开实施例的图像处理方法可以由电子设备来执行，该电子设备可以是终端或者 服务器，可以由终端或者服务器单独执行，也可以是终端和服务器相互配合执行。
本公开实施例提供基于增强现实技术的图像处理方法，增强现实技术是计算机图形学和计算机视觉的融合。
增强现实技术(Augmented Reality，AR)，是一种实时计算摄影机影像位置及角度并加上相应图像、视频、3D模型的技术，其目标是在屏幕上把虚拟世界套在现实世界并进行互动。
计算机图形学(Computer Graphics，CG)，是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学。计算机图形学的主要研究内容就是研究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。
计算机视觉(Computer Vision,CV)，是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，以图像处理方法应用于图1的终端为例，可以包括以下步骤。
在步骤S201中，获取目标对象的待处理图像。
其中，待处理图像可以是终端通过摄像装置实时拍摄的图像，或者实时拍摄的视频中的一帧图像，待处理图像也可以是终端预先存储的图像或者预先存储的视频中的一帧图像，还可以是从服务器实时获取的图像或者实时获取的视频中的一帧图像。
目标对象是指被拍摄的对象，示例性的，目标对象可以包括面部，待处理图像可以是包括面部区域的面部图像，可以理解的，该面部可以是人脸面部区域也可以是动物面部区域等等。
在步骤S203中，响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息。
在一些实施例中，终端可以在展示待处理图像的同时展示至少一个可供选择的虚拟物体，终端用户可以根据实际需要从该至少一个可供选择的虚拟物体中选择一个虚拟物体，并将该被选择的虚拟物体添加到待处理图像的目标对象上，在该被选择的虚拟物体添加到待处理图像的目标对象上的情况下，向终端发出虚拟物体添加指令，相应的，终端可以响应于针对待处理图像的虚拟物体添加指令，对该待处理图像进行识别处理得到识别结果。
其中，识别结果可以包括待处理图像中的目标对象的姿态信息和关键点信息。姿态 信息可以表征目标对象所处的姿态，在一些实施例中，姿态信息与目标对象的动作自由度相关联，以目标对象是面部为例，面部随着头部动而动，头部的动作自由度包括两个，分别为水平转动和上下转动，那么面部的姿态信息可以包括水平转动角度θ和俯仰角度φ。
关键点信息包括关键点的类别以及关键点在待处理图像中的坐标，关键点是指目标对象的主要特征点，通过关键点信息可以确定目标对象轮廓的形状、位置，目标对象主要部位的形状、位置等。以目标对象是面部为例，通过面部关键点信息可以确定面部轮廓的形状、位置，面部五官(眼睛、鼻子、耳朵、嘴巴、眉毛)以及毛发的形状、位置等等。
在一些实施例中，对于待处理图像的识别处理可以根据目标对象的不同而采取相对应的识别算法，该识别算法可以返回待处理图像中目标对象所对应的区域，以及目标对象的姿态信息和关键点信息。以目标对象是面部为例，可以通过面部识别算法对待处理图像进行面部识别，识别出面部区域以及面部的姿态、面部关键点以及各面部关键点的位置。其中，面部识别算法可以但不限于包括基于主动形状模型(Active Shape Model,ASM)的面部识别算法、基于主动外观模型(Active Appearance Model,AAM)的面部识别算法、基于约束局部模型(Constrained Local Model,CLM)的面部识别算法、基于级联回归(Cascaded Regression)的面部识别算法或基于深度学习模型的方法。
在步骤S205中，根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息。
其中，目标对象的标准三维模型为预先绘制的一个自定义三维网格模型，以目标对象是面部为例，该标准三维模型为标准化的面部三维模型，在一些实施例中，可以在三维渲染软件中使用光线跟踪算法绘制该目标对象的标准三维模型。
本公开实施例在目标对象的标准三维模型的基础上根据识别出的关键点信息对该标准三维模型进行变形处理，可以将该关键点信息映射到该标准三维模型上，使得变形处理后的三维模型与待处理图像中的目标对象相对应。其中，得到的目标对象的几何信息包括关键点的类别以及各关键点在变形处理后的三维模型上的坐标。
在一些实施例中，可以但不限于采用基于锚点的网络形变(Deformation)算法来实施上述的变形处理。
在步骤S207中，根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息。
本公开实施例中，针对所述虚拟物体可以预先离线准备好该虚拟物体对应的样本光效纹理信息集，该样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息，每个采样姿态信息表征一个光照方向，每个样本光效纹理信息与目标对象的标准三维模型相对应，且包括在相应采样姿态信息下所述虚拟物体投射到目标对象的标准三维模型的光学效果信息，该光学效果信息可以包括阴影投射、光源折射光投射、散射等各类光学效果的信息。
基于此，在一个示例性的实施方式中，如图3提供的另一种图像处理方法的流程图所示，该方法还可以包括：
在步骤S301中，确定所述标准三维模型对应的空白纹理图片。
在一些实施例中，为标准三维模型绑定空白纹理图片，使得该目标对象的标准三维模型中的每个点在空白纹理图片上有唯一的一个对应像素点，也即标准三维模型中的点与绑定的空白纹理图片中的像素点一一对应。
在步骤S303中，将所述虚拟物体放置在所述标准三维模型的目标部位，得到样本标准三维模型。
在一些实施例中，该目标部位可以根据实际应用中虚拟物体在目标对象上的放置位置确定，例如，在目标对象是面部，虚拟物体是眼镜的情况下，则该目标部位可以是眼睛与鼻梁确定的区域。
在步骤S305中，在预设虚拟三维环境中，按照所述多个采样姿态信息改变所述样本标准三维模型的模型姿态，获取每个模型姿态下所述样本标准三维模型的像素特征值。
其中，所述预设虚拟三维环境包括预设视角和预设虚拟光源，预设视角可以通过放置在预设虚拟三维环境中的虚拟摄像头与样本标准三维模型的相对位置来确定。
多个采样姿态信息可以呈现为一个序列，且该序列中的相邻两个采样姿态信息之间存在预设姿态增量。以目标对象是面部为例，采样姿态信息可以表示为(θ,φ)，其中θ为水平转动角度，φ为俯仰角度，则预设姿态增量可以表示为
Figure PCTCN2021132182-appb-000001
在一些实施例中，可以先将样本标准三维模型放置在一个虚拟三维环境中，然后按照预设视角在该虚拟三维环境中固定虚拟摄像头的位置，并固定预设虚拟光源的位置，该预设虚拟光源的位置可以根据实际需要选择，从而得到预设虚拟三维环境。在该预设虚拟三维环境中，针对多个采样姿态信息中的每个采样姿态信息，根据该采样姿态信息改变样本标准三维模型的模型姿态，并获取该模型姿态下样本标准三维模型的像素特征值，该像素特征值包括样本标准三维模型中各像素点的像素特征值，示例性的，每个像素点的像素特征值可以包括该像素点的色彩分量和不透明度。
以目标对象是面部为例，当面部发生水平转动、俯仰的姿态变化情况下，虚拟光线与面部的角度发生变化，因此各类光学效果也会发生不同，也即通过面部标准三维模型的模型姿态的变化可以体现出光照方向的改变产生的各类光学效果。
在步骤S307中，针对所述每个模型姿态下所述样本标准三维模型的像素特征值，将所述空白纹理图片的像素特征值调整至与所述样本标准三维模型的像素特征值相一致，得到所述模型姿态对应的所述采样姿态信息的样本光效纹理图片。
在一些实施例中，针对每个模型姿态下所述样本标准三维模型中的像素特征值，按照样本标准三维模型中的点与空白纹理图片中像素点的一一对应关系，将样本标准三维模型中各点的像素特征值映射到空白纹理图片中，从而得到该模型姿态对应的采样姿态信息的样本光效纹理图片，可以理解的，该样本光效纹理图片中各像素点的像素特征值与相应的采样姿态信息对应的模型姿态下的样本标准三维模型的像素特征值相一致。
在步骤S309中，根据各所述采样姿态信息的样本光效纹理图片，得到所述虚拟物体对应的样本光效纹理信息集。
经过前述步骤S307，每个采样姿态信息可以得到其对应的样本光效纹理图片，从而得到与多个采样姿态信息一一对应的多个样本光效纹理图片，可以将该与多个采样姿态信息一一对应的多个样本光效纹理图片作为前述虚拟物体对应的样本光效纹理信息集。
本公开实施例中，在按照多个采样姿态信息改变目标对象的样本标准三维模型的过程中，光照方向相对于目标对象发生了变化，从而得到的样本光效纹理信息集能够充分体现光照方向相对于面部产生的各种光学效果。
在一个示例性的实施方式中，为了提高确定的目标光效纹理信息的准确性，上述步骤S207在根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息确定所述姿态信息对应的目标光效纹理信息的情况下，可以包括图4中的以下步骤：
在步骤S401中，确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息。
在一些实施例中，可以将当前的姿态信息和各采样姿态信息作为空间面中的空间点，该空间面的维度可以根据姿态信息对应的动作自由度确定，然后对各空间点进行三角化处理，从该三角化处理结果中查找与当前的姿态信息对应的空间点有边直接连接的空间点，该空间点即为当前的姿态信息对应的空间点的相邻空间点，可以理解的，该相邻空间点为多个，从而可以将该相邻空间点对应的采样姿态信息作为与当前的姿态信息相邻的多个目标采样姿态信息。
以目标对象为面部，采样姿态信息为面部的水平转动角度θ和俯仰角度
Figure PCTCN2021132182-appb-000002
为例，面部的多个采样姿态信息可以表示为
Figure PCTCN2021132182-appb-000003
n表示采样姿态信息的总数量。其中，水平转动角度θ可以看成是经度，俯仰角度
Figure PCTCN2021132182-appb-000004
可以看成是纬度，则每个面部采样姿态信息都可以在经纬度构成的平面中看成一个点，同样，当前的姿态信息
Figure PCTCN2021132182-appb-000005
也可以看成该经纬度构成的平面中看成一个点，然后对该n+1个点做三角化处理，每个点都会存在有边直接连接的点，而与当前的姿态信息
Figure PCTCN2021132182-appb-000006
对应的点直接连接的点对应的采样姿态信息
Figure PCTCN2021132182-appb-000007
即为与当前的姿态信息
Figure PCTCN2021132182-appb-000008
相邻的目标采样姿态信息
Figure PCTCN2021132182-appb-000009
在一些实施例中，上述在做三角化处理可以采用Delaunay三角化算法。
在步骤S403中，确定所述样本光效纹理信息集中，对应所述多个目标采样姿态信息的多个目标样本光效纹理信息。
在步骤S405中，根据所述多个目标样本光效纹理信息对所述姿态信息进行插值处理，得到所述姿态信息对应的目标光效纹理信息。
在一些实施例中，插值处理可以采用任意一种插值算法，例如可以采用线性插值算法、双线性插值算法等等。
本公开实施例通过在样本光效纹理信息集中查找并插值处理可以提高待处理图像中目标对象的姿态信息对应的目标光效纹理信息的准确性，进而增强了虚拟物体与现实场景的融合性，增强了真实感。
在步骤S209中，根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版。
在一些实施例中，可以将目标光效纹理信息对应到上述的目标对象的几何信息，然后基于对应得到结果信息绘制光效蒙版。
实际应用中，可以根据待处理图像中目标对象所对应的区域大小来绘制该光效蒙版，从而使得该光效蒙版与目标对象在待处理图像中的区域大小相匹配。
在步骤S211中，将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
在一些实施例中，可以将光效蒙版叠加在目标对象在待处理图像中对应的区域上，从而得到目标光效图像。
本公开实施例的样本光效纹理信息集统一表达了虚拟物体的各种光学效果，在对待处理图像进行虚拟物体添加的情况下，基于该虚拟物体对应的样本光效纹理信息集得到与待处理图像中目标对象的姿态相匹配的目标光效纹理信息，进而基于该目标光效纹理信息得到光效蒙版，并将该光效蒙版叠加在待处理图像上以得到目标光效图像，从而不需要为各种光学效果单独编码实现，可以更加灵活、高效的呈现出虚拟物体投射到被拍摄对象上的各种光学效果，提高了虚拟物体与现实场景的融合性，具有高真实感。当目标对象是面部的情况下，本公开实施例可以快速、高真实感的实现面部发生侧转、俯仰的姿态变化情况下产生的光学效果的变化。
另外，由于样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息，而该多个采样姿态信息实际表征了多个光照方向，从而在实现光照方向可变的同时确保了较强的高真实感。
为了降低各样本光效纹理信息对内存的占用，确保能够在移动设备等低功耗、低计算量设备上高效的实现本公开实施例的图像处理方法，在一个示例性的实施方式中，如图5提供的另一种图像处理方法的流程图所示，在得到每个采样姿态信息对应的样本光效纹理图片之后，该方法还可以包括：
在步骤S501中，对每个所述采样姿态信息的样本光效纹理图片进行编码处理，得到每个所述采样姿态信息的光效编码数据。
其中，所述光效编码数据包括所述样本光效纹理图片中的像素点以及所述像素点对应的像素特征值，所述像素点以所述像素点在所述样本光效纹理图片中的坐标和所述样本光效纹理图片对应的采样姿态信息表示。像素特征值包括像素点在预设色彩空间的色彩分量和不透明度，预设色彩空间可以根据实际需要来设定，例如可以是RGB色彩空间或者Lab色彩空间。
以目标对象是面部为例，采样姿态信息为
Figure PCTCN2021132182-appb-000010
其中θ为水平转动角度，
Figure PCTCN2021132182-appb-000011
为俯仰角度，每个采样姿态信息对应的样本光效纹理图片中的像素点可以表示为
Figure PCTCN2021132182-appb-000012
其中，(u,v)表示该像素点在样本光效纹理图片中的坐标。像素特征值可以表示为(X,Y,Z,A)，其中，X、Y、Z是该像素点对应的色彩分量，A代表不透明度(alpha)。在不同的色彩空间下，X、Y、Z可以具有不同的含义，例如，在RGB色彩空间中，X、Y、Z分别代表红色分量、绿色分量和蓝色分量，而在Lab色彩空间中，X、Y、Z分别代表亮度分量、a分量和b分量等，具有应用中，可以根据实际需要的色彩空间确定像素点对应的色彩分量。那么，每个采样姿态信息的样本光效纹理图像中的像素点进行编码处理后得到的光效编码数据可以表示为
Figure PCTCN2021132182-appb-000013
在步骤S503中，对各所述采样姿态信息的光效编码数据进行压缩处理，得到所述虚拟物体对应的压缩光效编码数据集。
上述步骤S501中得到光效编码数据是一个多维的离散向量场，其维度由图片中的坐标维度与采样姿态信息维度构成，以上述目标对象是面部为例，其对应得到的光效编码数据是一个四维的离散向量场，该四维的离散向量场存在高度的连续性，因此可以被压缩算法大幅压缩。
在一些实施例中，该步骤中可以使用与光效编码数据的维度相匹配的多维离散数据的压缩算法将各所述采样姿态信息的光效编码数据压缩至一个较小的存储空间，从而得到该虚拟物体对应的压缩光效编码数据集，可以理解的，该压缩光效编码数据集中的多个压缩光效编码数据与多个采样姿态信息一一对应。
示例性的，光效编码数据可以是如本公开实施例前述的四维离散数据，则可以使用四维空间的离散余弦变换、运动张量法等四维离散数据的压缩算法对各所述采样姿态信息的光效编码数据进行压缩处理。
本公开实施例中，在各采样姿态信息对应的样本光效纹理图片进行编码和压缩处理，可以大幅缩减样本光效纹理信息集对网络资源(如存储空间)的占用，从而有利于在后续图像实时处理的情况下，降低对设备性能的要求，从而使得本公开实施例的图像处理方法可以适用于低功耗、低计算量的移动设备。
基于此，在一个示例性的实施方式中，在根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息之前，该方法还可以包括：
在步骤S505中，对所述虚拟物体对应的所述压缩光效编码数据集依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
在一些实施例中，该步骤是上述步骤S501至S503的逆过程，通过先解压然后解码即可以得到各采样姿态信息对应的样本光效纹理图片，可以将各采样姿态信息对应的样 本光效纹理图片构成的样本光效纹理图片集直接作为上述虚拟物体的样本光效纹理信息集。
在一个示例性的实施方式中，为了减少图像处理过程中对内存缓冲带来的压力，上述步骤S505可以包括图6中的以下步骤：
在步骤S601中，确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息。
该步骤的具体实施内容可以参见前述图4所示方法实施例中的步骤S401的相关内容，在此不再赘述。
在步骤S603中，确定所述压缩光效编码数据集中，对应所述多个目标采样姿态信息的多个目标压缩光效编码数据。
在步骤S605中，对所述目标压缩光效编码数据依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
本公开的实施例在图像处理过程中，针对压缩光效编码数据集并不一次性全部解压解码，而是仅对图像处理过程中实际调用到的部分(即多个目标压缩光效编码数据)进行精准解压解码，从而可以减少图像处理过程对内存缓冲带来的压力，降低了对设备功耗和计算量的要求，提高了图像处理效率。
图7是根据一示例性实施例示出的一种图像处理装置的框图。参照图7，该图像处理装置700包括图像获取单元710，识别单元720，变形处理单元730，光效纹理确定单元740，蒙版图绘制单元750和叠加单元760，
该图像获取单元710，被配置为获取目标对象的待处理图像；
该识别单元720，被配置为响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息；
该变形处理单元730，被配置为根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息；
该光效纹理确定单元740，被配置为根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；
该蒙版图绘制单元750，被配置为根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版；
该叠加单元760，被配置为将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
在一个示例性的实施方式中，所述装置700还包括：
第一确定单元，被配置为确定所述标准三维模型对应的空白纹理图片；
模型确定单元，被配置为将所述虚拟物体放置在所述标准三维模型的目标部位，得到样本标准三维模型；
模型姿态改变单元，被配置为在预设虚拟三维环境中，按照所述多个采样姿态信息改变所述样本标准三维模型的模型姿态，获取每个模型姿态下所述样本标准三维模型的像素特征值；所述预设虚拟三维环境包括预设视角和预设虚拟光源；
样本光效纹理图片确定单元，被配置为针对所述每个模型姿态下所述样本标准三维模型的像素特征值，将所述空白纹理图片的像素特征值调整至与所述样本标准三维模型的像素特征值相一致，得到所述模型姿态对应的所述采样姿态信息的样本光效纹理图片；
样本光效纹理信息集确定单元，被配置为根据各所述采样姿态信息的样本光效纹理图片，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述样本光效纹理信息集确定单元包括：
编码单元，被配置为对每个所述采样姿态信息的样本光效纹理图片进行编码处理，得到每个所述采样姿态信息的光效编码数据；所述光效编码数据包括所述样本光效纹理图片中的像素点以及所述像素点对应的像素特征值，所述像素点以所述像素点在所述样本光效纹理图片中的坐标和所述样本光效纹理图片对应的采样姿态信息表示；
压缩单元，被配置为对各所述采样姿态信息的光效编码数据进行压缩处理，得到所述虚拟物体对应的压缩光效编码数据集；
解压解码单元，被配置为对所述虚拟物体对应的所述压缩光效编码数据集依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述光效纹理确定单元包括：
第二确定单元，被配置为确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
第三确定单元，被配置为确定所述样本光效纹理信息集中，对应所述多个目标采样姿态信息的多个目标样本光效纹理信息；
插值单元，被配置为根据所述多个目标样本光效纹理信息对所述姿态信息进行插值处理，得到所述姿态信息对应的目标光效纹理信息。
在一个示例性的实施方式中，所述解压解码单元包括：
第四确定单元，被配置为确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
第五确定单元，被配置为确定所述压缩光效编码数据集中，对应所述多个目标采样姿态信息的多个目标压缩光效编码数据；
解压解码子单元，被配置为对所述目标压缩光效编码数据依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
在一个示例性的实施方式中，所述目标对象包括面部，所述姿态信息包括所述面部的水平转动角度和俯仰角度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在一个示例性的实施方式中，还提供了一种电子设备，包括处理器；用于存储处理 器可执行指令的存储器；其中，处理器被配置为执行存储器上所存放的指令时，实现本公开实施例提供的任意一种图像处理方法。
该电子设备可以是终端、服务器或者类似的运算装置，以该电子设备是终端为例，图8是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
所述终端可以包括RF(Radio Frequency，射频)电路810、包括有一个或一个以上计算机可读存储介质的存储器820、输入单元830、显示单元840、传感器850、音频电路860、WiFi(wireless fidelity，无线保真)模块870、包括有一个或者一个以上处理核心的处理器880、以及电源890等部件。本领域技术人员可以理解，图8中示出的终端结构可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
RF电路810可用于收发信息或通话过程中，信号的接收和发送。在一些实施例中，将基站的下行信息接收后，交由一个或者一个以上处理器880处理；另外，将涉及上行的数据发送给基站。通常，RF电路810包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路810还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(Code Division Multiple Access，码分多址)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。
存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器820还可以包括存储器控制器，以提供处理器880和输入单元830对存储器820的访问。
输入单元830可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。在一些实施例中，输入单元830可包括触敏表面831以及其他输入设备832。触敏表面831，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面831上或在触敏表面831附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一些实施例中，触敏表面831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面831。除了触敏 表面831，输入单元830还可以包括其他输入设备832。在一些实施例中，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及所述终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元840可包括显示面板841，在一些实施例中，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板841。进一步的，触敏表面831可覆盖显示面板841，当触敏表面831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。其中，触敏表面831与显示面板841可以两个独立的部件来实现输入和输入功能，但是在某些实施例中，也可以将触敏表面831与显示面板841集成而实现输入和输出功能。
所述终端还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。在一些实施例中，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可以在所述终端移动到耳边的情况下，关闭显示面板841和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，在静止的情况下可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于所述终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路860、扬声器861，传声器862可提供用户与所述终端之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经RF电路810以发送给比如另一终端，或者将音频数据输出至存储器820以便进一步处理。音频电路860还可以包括耳塞插孔，以提供外设耳机与所述终端的通信。
WiFi属于短距离无线传输技术，所述终端通过WiFi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块870，但是可以理解的是，其并不属于所述终端的必须构成，完全可以根据需要在不改变本公开的本质的范围内而省略。
处理器880是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行所述终端的各种功能和处理数据，从而对终端进行整体监控。在一些实施例中，处理器880可包括一个或多个处理核心；在一些实施例中，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可 以不集成到处理器880中。
所述终端还包括给各个部件供电的电源890(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源890还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，所述终端还可以包括摄像头、蓝牙模块等，在此不再赘述。在一些实施例中，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的图像处理方法的指令。
在一个示例性的实施方式中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器820，上述指令可由装置700的处理器880执行以完成上述方法。在一些实施例中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性的实施方式中，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开实施例提供的任意一种图像处理方法。
本公开所有实施例均可以单独被执行，也可以与其他实施例相结合被执行，均视为本公开要求的保护范围。

Claims (15)

  1. 一种图像处理方法，包括：
    获取目标对象的待处理图像；
    响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息；
    根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息；
    根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；
    根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版；
    将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
  2. 根据权利要求1所述的图像处理方法，还包括：
    确定所述标准三维模型对应的空白纹理图片；
    将所述虚拟物体放置在所述标准三维模型的目标部位，得到样本标准三维模型；
    在预设虚拟三维环境中，按照所述多个采样姿态信息改变所述样本标准三维模型的模型姿态，获取每个模型姿态下所述样本标准三维模型的像素特征值；所述预设虚拟三维环境包括预设视角和预设虚拟光源；
    针对所述每个模型姿态下所述样本标准三维模型的像素特征值，将所述空白纹理图片的像素特征值调整至与所述样本标准三维模型的像素特征值相一致，得到所述模型姿态对应的所述采样姿态信息的样本光效纹理图片；
    根据各所述采样姿态信息的样本光效纹理图片，得到所述虚拟物体对应的样本光效纹理信息集。
  3. 根据权利要求2所述的图像处理方法，其中，所述根据各所述采样姿态信息的样本光效纹理图片，得到所述虚拟物体对应的样本光效纹理信息集包括：
    对每个所述采样姿态信息的样本光效纹理图片进行编码处理，得到每个所述采样姿态信息的光效编码数据；所述光效编码数据包括所述样本光效纹理图片中的像素点以及所述像素点对应的像素特征值，所述像素点以所述像素点在所述样本光效纹理图片中的坐标和所述样本光效纹理图片对应的采样姿态信息表示；
    对各所述采样姿态信息的光效编码数据进行压缩处理，得到所述虚拟物体对应的压缩光效编码数据集；
    对所述虚拟物体对应的所述压缩光效编码数据集依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
  4. 根据权利要求1-3中任一项所述的图像处理方法，其中，所述根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息包括：
    确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
    确定所述样本光效纹理信息集中，对应所述多个目标采样姿态信息的多个目标样本光效纹理信息；
    根据所述多个目标样本光效纹理信息对所述姿态信息进行插值处理，得到所述姿态信息对应的目标光效纹理信息。
  5. 根据权利要求3所述的图像处理方法，其中，所述对所述虚拟物体对应的所述压缩光效编码数据集依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集，包括：
    确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
    确定所述压缩光效编码数据集中，对应所述多个目标采样姿态信息的多个目标压缩光效编码数据；
    对所述目标压缩光效编码数据依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
  6. 根据权利要求1所述的图像处理方法，其中，所述目标对象包括面部，所述姿态信息包括所述面部的水平转动角度和俯仰角度。
  7. 一种图像处理装置，包括：
    图像获取单元，被配置为获取目标对象的待处理图像；
    识别单元，被配置为响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息；
    变形处理单元，被配置为根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息；
    光效纹理确定单元，被配置为根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；
    蒙版图绘制单元，被配置为根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版；
    叠加单元，被配置为将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
  8. 根据权利要求7所述的图像处理装置，还包括：
    第一确定单元，被配置为确定所述标准三维模型对应的空白纹理图片；
    模型确定单元，被配置为将所述虚拟物体放置在所述标准三维模型的目标部位，得到样本标准三维模型；
    模型姿态改变单元，被配置为在预设虚拟三维环境中，按照所述多个采样姿态信息改变所述样本标准三维模型的模型姿态，获取每个模型姿态下所述样本标准三维模型的像素特征值；所述预设虚拟三维环境包括预设视角和预设虚拟光源；
    样本光效纹理图片确定单元，被配置为针对所述每个模型姿态下所述样本标准三维 模型的像素特征值，将所述空白纹理图片的像素特征值调整至与所述样本标准三维模型的像素特征值相一致，得到所述模型姿态对应的所述采样姿态信息的样本光效纹理图片；
    样本光效纹理信息集确定单元，被配置为根据各所述采样姿态信息的样本光效纹理图片，得到所述虚拟物体对应的样本光效纹理信息集。
  9. 根据权利要求8所述的图像处理装置，其中，所述样本光效纹理信息集确定单元包括：
    编码单元，被配置为对每个所述采样姿态信息的样本光效纹理图片进行编码处理，得到每个所述采样姿态信息的光效编码数据；所述光效编码数据包括所述样本光效纹理图片中的像素点以及所述像素点对应的像素特征值，所述像素点以所述像素点在所述样本光效纹理图片中的坐标和所述样本光效纹理图片对应的采样姿态信息表示；
    压缩单元，被配置为对各所述采样姿态信息的光效编码数据进行压缩处理，得到所述虚拟物体对应的压缩光效编码数据集；
    解压解码单元，被配置为对所述虚拟物体对应的所述压缩光效编码数据集依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
  10. 根据权利要求7-9中任一项所述的图像处理装置，其中，所述光效纹理确定单元包括：
    第二确定单元，被配置为确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
    第三确定单元，被配置为确定所述样本光效纹理信息集中，对应所述多个目标采样姿态信息的多个目标样本光效纹理信息；
    插值单元，被配置为根据所述多个目标样本光效纹理信息对所述姿态信息进行插值处理，得到所述姿态信息对应的目标光效纹理信息。
  11. 根据权利要求9所述的图像处理装置，其中，所述解压解码单元包括：
    第四确定单元，被配置为确定所述多个采样姿态信息中，与所述姿态信息相邻的多个目标采样姿态信息；
    第五确定单元，被配置为确定所述压缩光效编码数据集中，对应所述多个目标采样姿态信息的多个目标压缩光效编码数据；
    解压解码子单元，被配置为对所述目标压缩光效编码数据依次进行解压处理和解码处理，得到所述虚拟物体对应的样本光效纹理信息集。
  12. 根据权利要求7所述的图像处理装置，其中，所述目标对象包括面部，所述姿态信息包括所述面部的水平转动角度和俯仰角度。
  13. 一种电子设备，包括：
    处理器；
    用于存储所述处理器可执行指令的存储器；
    其中，所述处理器被配置为执行所述指令，以实现以下步骤：
    获取目标对象的待处理图像；
    响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息；
    根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息；
    根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；
    根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版；
    将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
  14. 一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行以下步骤：
    获取目标对象的待处理图像；
    响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息；
    根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息；
    根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；
    根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版；
    将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
  15. 一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
    获取目标对象的待处理图像；
    响应于针对所述待处理图像的虚拟物体添加指令，对所述待处理图像进行识别处理得到识别结果；所述识别结果包括所述目标对象的姿态信息和关键点信息；
    根据所述关键点信息对所述目标对象的标准三维模型进行变形处理，得到所述目标对象的几何信息；
    根据所述虚拟物体对应的样本光效纹理信息集中的样本光效纹理信息，确定所述姿态信息对应的目标光效纹理信息；所述样本光效纹理信息集包括对应多个采样姿态信息的多个样本光效纹理信息；
    根据所述目标光效纹理信息和所述目标对象的几何信息，绘制光效蒙版；
    将所述光效蒙版叠加在所述待处理图像上，得到目标光效图像。
PCT/CN2021/132182 2021-05-10 2021-11-22 图像处理方法及装置 WO2022237116A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110506339.9A CN113409468A (zh) 2021-05-10 2021-05-10 一种图像处理方法、装置、电子设备及存储介质
CN202110506339.9 2021-05-10

Publications (1)

Publication Number Publication Date
WO2022237116A1 true WO2022237116A1 (zh) 2022-11-17

Family

ID=77678232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/132182 WO2022237116A1 (zh) 2021-05-10 2021-11-22 图像处理方法及装置

Country Status (2)

Country Link
CN (1) CN113409468A (zh)
WO (1) WO2022237116A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409468A (zh) * 2021-05-10 2021-09-17 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114359522A (zh) * 2021-12-23 2022-04-15 阿依瓦（北京）技术有限公司 Ar模型放置方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228905A1 (en) * 2002-06-07 2003-12-11 Satoru Osako Game system and game program
US20050248582A1 (en) * 2004-05-06 2005-11-10 Pixar Dynamic wrinkle mapping
CN101770649A (zh) * 2008-12-30 2010-07-07 中国科学院自动化研究所 一种人脸图像自动合成方法
CN109214350A (zh) * 2018-09-21 2019-01-15 百度在线网络技术（北京）有限公司 一种光照参数的确定方法、装置、设备及存储介质
CN109410308A (zh) * 2018-09-29 2019-03-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN113409468A (zh) * 2021-05-10 2021-09-17 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228905A1 (en) * 2002-06-07 2003-12-11 Satoru Osako Game system and game program
US20050248582A1 (en) * 2004-05-06 2005-11-10 Pixar Dynamic wrinkle mapping
CN101770649A (zh) * 2008-12-30 2010-07-07 中国科学院自动化研究所 一种人脸图像自动合成方法
CN109214350A (zh) * 2018-09-21 2019-01-15 百度在线网络技术（北京）有限公司 一种光照参数的确定方法、装置、设备及存储介质
CN109410308A (zh) * 2018-09-29 2019-03-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN113409468A (zh) * 2021-05-10 2021-09-17 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113409468A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
US10055879B2 (en) 3D human face reconstruction method, apparatus and server
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
WO2018219120A1 (zh) 图像显示方法、图像处理方法、装置、终端及服务器
WO2019034142A1 (zh) 三维虚拟形象的显示方法、装置、终端及存储介质
EP4038478A1 (en) Systems and methods for video communication using a virtual camera
US11893702B2 (en) Virtual object processing method and apparatus, and storage medium and electronic device
WO2022237116A1 (zh) 图像处理方法及装置
US11776209B2 (en) Image processing method and apparatus, electronic device, and storage medium
CN109584168B (zh) 图像处理方法和装置、电子设备和计算机存储介质
CN112513875B (zh) 眼部纹理修复
CN112138386A (zh) 一种体积渲染方法、装置、存储介质及计算机设备
US20220358675A1 (en) Method for training model, method for processing video, device and storage medium
CN111556337B (zh) 一种媒体内容植入方法、模型训练方法以及相关装置
CN108665510B (zh) 连拍图像的渲染方法、装置、存储介质及终端
US20220375258A1 (en) Image processing method and apparatus, device and storage medium
CN112465945A (zh) 一种模型生成方法、装置、存储介质及计算机设备
CN112206517A (zh) 一种渲染方法、装置、存储介质及计算机设备
WO2023109564A1 (zh) 视频图像处理方法、装置、电子设备及存储介质
CN112528707A (zh) 图像处理方法、装置、设备及存储介质
CN113780291A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN108540726B (zh) 连拍图像的处理方法、装置、存储介质及终端
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN112465692A (zh) 图像处理方法、装置、设备及存储介质
CN114820908B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114004922B (zh) 骨骼动画显示方法、装置、设备、介质及计算机程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941680

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE