WO2022068487A1 - 风格图像生成方法、模型训练方法、装置、设备和介质 - Google Patents

风格图像生成方法、模型训练方法、装置、设备和介质 Download PDF

Info

Publication number
WO2022068487A1
WO2022068487A1 PCT/CN2021/114947 CN2021114947W WO2022068487A1 WO 2022068487 A1 WO2022068487 A1 WO 2022068487A1 CN 2021114947 W CN2021114947 W CN 2021114947W WO 2022068487 A1 WO2022068487 A1 WO 2022068487A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
style
target
reference point
Prior art date
Application number
PCT/CN2021/114947
Other languages
English (en)
French (fr)
Inventor
胡兴鸿
尹淳骥
Original Assignee
北京字节跳动网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字节跳动网络技术有限公司 filed Critical 北京字节跳动网络技术有限公司
Priority to US18/029,338 priority Critical patent/US20230401682A1/en
Publication of WO2022068487A1 publication Critical patent/WO2022068487A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本公开实施例涉及一种风格图像生成方法、模型训练方法、装置、设备和介质，其中，风格图像生成方法包括：获取原始人脸图像；利用预先训练的风格图像生成模型，得到与原始人脸图像对应的目标风格人脸图像；其中，风格图像生成模型基于多个原始人脸样本图像和多个目标风格人脸样本图像训练得到，多个目标风格人脸样本图像由预先训练的图像生成模型生成，并且，图像生成模型基于预先获取的多个标准风格人脸样本图像训练得到。本公开实施例可以解决现有方案中图像风格转换后图像效果不佳的问题，提高风格图像的生成效果。

Description

风格图像生成方法、模型训练方法、装置、设备和介质
本申请要求于2020年9月30日提交的申请号为202011063185.2、申请名称为“风格图像生成方法、模型训练方法、装置、设备和介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及图像处理技术领域，尤其涉及一种风格图像生成方法、模型训练方法、装置、设备和介质。
背景技术
目前，随着视频交互应用的功能逐渐丰富化，图像风格转换成为了一种新的趣味性玩法。图像风格转换是指将一幅或者多幅图像进行风格转换，生成符合用户需求的风格图像。
然而，在现有技术中，当对图像进行风格转换时，往往转换后的图像效果并不理想。以人脸图像为例，考虑拍照角度、拍照方式的差异，导致不同的原始人脸图像的构图方式、图像尺寸等存在差异，并且，具有风格图像生成功能的模型的训练效果也参差不齐，进而基于训练得到的模型对这些存在差异的人脸图像进行风格转换过程中，风格转换后的图像效果并不理想。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种风格图像生成方法、模型训练方法、装置、设备和介质。
第一方面，本公开实施例提供了一种风格图像生成方法，包括：
获取原始人脸图像；
利用预先训练的风格图像生成模型，得到与所述原始人脸图像对应的目标风格人脸图像；
其中，所述风格图像生成模型基于多个原始人脸样本图像和多个目标风格人脸样本图像训练得到，所述多个目标风格人脸样本图像由预先训练的图像生成模型生成，并且，所述图像生成模型基于预先获取的多个标准风格人脸样本图像训练得到。
第二方面，本公开实施例还提供了一种风格图像生成模型的训练方法，包括：
获取多个原始人脸样本图像；
获取多个标准风格人脸样本图像；
基于所述多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型；
基于所述训练后的图像生成模型生成多个目标风格人脸样本图像；
利用所述多个原始人脸样本图像和所述多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
第三方面，本公开实施例还提供了一种风格图像生成装置，包括：
原始图像获取模块，用于获取原始人脸图像；
风格图像生成模块，用于利用预先训练的风格图像生成模型，得到与所述原始人脸图像对应的目标风格人脸图像；
其中，所述风格图像生成模型基于多个原始人脸样本图像和多个目标风格人脸样本图像训练得到，所述多个目标风格人脸样本图像由预先训练的图像生成模型生成，并且，所述图像生成模型基于预先获取的多个标准风格人脸样本图像训练得到。
第四方面，本公开实施例还提供了一种风格图像生成模型的训练装置，包括：
原始样本图像获取模块，用于获取多个原始人脸样本图像；
图像生成模型训练模块，用于获取多个标准风格人脸样本图像，并基于所述多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型；
目标风格样本图像生成模块，用于基于所述训练后的图像生成模型生成多个目标风格人脸样本图像；
风格图像生成模型训练模块，用于利用所述多个原始人脸样本图像和所述多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
第五方面，本公开实施例还提供了一种电子设备，所述电子设备包括：处理装置；用于存储所述处理装置可执行指令的存储器；所述处理装置，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现本公开实施例提供的任一风格图像生成方法，或者实现本公开实施例提供的任一风格图像生成模型的训练方法。
第六方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理装置执行时实现本公开实施例提供的任一风格图像生成方法，或者实现本公开实施例提供的任一风格图像生成模型的训练方法。
本公开实施例提供的技术方案与现有技术相比至少具有如下优点：通过在风格图像生成模型训练过程中，基于多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型，然后利用训练后的图像生成模型生成多个目标风格人脸样本图像，用于风格图像生成模型的训练过程中。通过利用训练后的图像生成模型生成多个目标风格人脸样本图像来训练风格图像生成模型，这保证了符合风格需求的样本数据的来源统一性、分布均匀性、以及风格统一性，构建了优质的样本数据，提高了风格图像生成模型的训练效果；进而，在风格图像生成过程(或称为风格图像生成模型应用过程)中，利用预先训练的风格图像生成模型得到与原始人脸图像对应的目标风格人脸图像，提高了目标风格图像的生成效果，解决了现有方案中图像风格转换后图像效果不佳的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种风格图像生成方法的流程图；
图2为本公开实施例提供的另一种风格图像生成方法的流程图；
图3为本公开实施例提供的一种原始人脸图像上的人脸区域位置调整后的图像示意图；
图4为本公开实施例提供的另一种风格图像生成方法的流程图；
图5为本公开实施例提供的另一种风格图像生成方法的流程图；
图6为本公开实施例提供的一种风格图像生成模型的训练方法的流程图；
图7为本公开实施例提供的另一种风格图像生成模型的训练方法的流程图；
图8为本公开实施例提供的另一种风格图像生成模型的训练方法的流程图；
图9为本公开实施例提供的另一种风格图像生成模型的训练方法的流程图；
图10为本公开实施例提供的一种风格图像生成装置的结构示意图；
图11为本公开实施例提供的一种风格图像生成模型的训练装置的结构示意图；
图12为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1为本公开实施例提供的一种风格图像生成方法的流程图，本公开实施例可以适用于基于原始人脸图像，生成任意风格的风格图像的情况。本公开实施例中提及的图像风格可以指图像效果，例如日漫风格、欧美漫画风格、油画风格、素描风格、或者卡通风格等，具体可以根据图像处理领域中的图像风格分类而定。原始人脸图像可以指包括人脸区域的任意图像。
本公开实施例提供的风格图像生成方法可以由风格图像生成装置执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如终端、服务器等，该终端可以包括但不限于智能移动终端、平板电脑、个人电脑等。并且，风格图像生成装置可以采用独立的应用程序或者公众平台上集成的小程序的形式实现，还可以作为具有风格图像生成功能的应用程序或者小程序中集成的功能模块实现，该应用程序或者小程序可以包括但不限于视频交互类应用程序或者视频交互类小程序等。
如图1所示，本公开实施例提供的风格图像生成方法可以包括：
S101、获取原始人脸图像。
示例性的，当用户存在风格图像的生成需求时，可以上传存储在终端中的图像或者通过终端的图像拍摄装置实时拍摄图像或者视频。终端可以根据用户在终端中的图像选择操作、图像拍摄操作或图像上传操作，获取待处理的原始人脸图像。
S102、利用预先训练的风格图像生成模型，得到与原始人脸图像对应的目标风格人脸 图像。
其中，风格图像生成模型基于多个原始人脸样本图像和多个目标风格人脸样本图像训练得到，多个目标风格人脸样本图像由预先训练的图像生成模型生成，并且，图像生成模型基于预先获取的多个标准风格人脸样本图像训练得到。
预先训练的风格图像生成模型具有生成风格图像的功能，可以基于任意可用的具有图像风格转换能力的神经网络模型实现该风格图像生成模型。示例性的，风格图像生成模型可以包括诸如条件生成对抗网络(CGAN，Conditional Generative Adversarial Networks)模型、循环一致性生成对抗网络(Cycle-GAN，Cycle Consistent Adversarial Networks)模型等任意的支持非对齐训练的网络模型。在风格图像生成模型训练过程中，可以根据风格图像处理需求灵活选择可用的神经网络模型。
在本公开实施例中，风格图像生成模型基于人脸样本图像集合训练得到，该人脸样本图像集合中包括来源统一且风格统一的多个目标风格人脸样本图像以及多个原始人脸样本图像，样本数据的优质性保证了模型的训练效果，进而基于训练得到的风格图像生成模型生成目标风格人脸图像时，提高了目标风格图像的生成效果，解决了现有方案中图像风格转换后图像效果不佳的问题。
其中，目标风格人脸样本图像由预先训练的图像生成模型生成，该预先训练的图像生成模型基于多个标准风格人脸样本图像对图像生成模型进行训练后得到。可利用的图像生成模型可以包括但不限于生成对抗网络(GAN，Generative Adversarial Networks)模型、基于样式的生成对抗网络(Stylegan，Style-Based Generator Architecture for Generative Adversarial Networks)模型等，具体实现原理可以参考现有技术。标准风格人脸样本图像可以是专业绘制人员根据当前图像风格需求，为预设数量(取值可根据训练需求而定)的原始人脸样本图像进行风格图像绘制得到。
图2为本公开实施例提供的另一种风格图像生成方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图2所示，该风格图像生成方法可以包括：
S201、获取原始人脸图像。
S202、识别原始人脸图像上的人脸区域。
示例性的，终端可以利用人脸识别技术识别原始人脸图像上的人脸区域。可利用的人脸识别技术，例如采用人脸识别神经网络模型等，可以参照现有原理实现，本公开实施例不作具体限定。
S203、根据人脸区域在原始人脸图像上的实际位置信息和预设位置信息，对人脸区域在原始人脸图像上的位置进行调整，得到调整后的第一人脸图像。
其中，实际位置信息用于表征人脸区域在原始人脸图像上的实际位置。在识别原始人脸图像上的人脸区域的过程中，可以同时确定人脸区域在图像上的实际位置。示例性的，人脸区域在原始人脸图像上的实际位置信息，可以采用包围人脸区域的区域框(bounding box)在原始人脸图像上的图像坐标表示，也可以采用人脸区域上的预设关键点的图像坐标表示，该预设关键点可以包括但不限于人脸轮廓特征点和五官区域关键点等。
预设位置信息根据预设人脸位置需求而定，用于表征在风格图像生成过程中，对原始人脸图像上的人脸区域进行位置调整后的目标人脸区域位置。例如，预设人脸位置需求可以包括：人脸区域位置调整后，人脸区域位于整张图像的中心区域；或者，人脸区域位置调整后，人脸区域的五官区域处于整张图像的特定位置；或者，人脸区域位置调整后，人脸区域和背景区域(指整张图像中除去人脸区域外的剩余图像区域)在整张图像上的区域占比满足占比需求，通过该占比需求的设置，可以避免人脸区域在整体图像上的区域占比过大或者过小的现象，达到人脸区域和背景区域的显示均衡性。
人脸区域的位置调整操作可以包括但不限于旋转、平移、缩小、放大和裁剪等。根据人脸区域在原始人脸图像上的实际位置信息和预设位置信息，可以灵活选择至少一种位置调整操作对人脸区域进行位置调整，直至得到满足预设人脸位置需求的人脸图像。
图3为本公开实施例提供的一种原始人脸图像上的人脸区域位置调整后的图像示意图，用于对本公开实施例中第一人脸图像的显示效果进行示例性说明。如图3所示，第一行显示的两张人脸图像分别为原始人脸图像，通过对原始人脸图像进行旋转和裁剪，得到满足预设人脸位置需求的第一人脸图像，即图3中第二行显示的人脸图像，两张第一人脸图像均处于人脸对齐的状态。其中，对原始人脸图像的裁剪尺寸，可以根据训练后的风格图像生成模型的输入图像尺寸而定。
在本公开实施例中，通过对人脸区域在原始人脸图像上的位置进行调整，实现对原始人脸图像的规范化预处理，可以确保后续风格图像的生成效果。
返回图2，在S204中，基于第一人脸图像，利用风格图像生成模型，得到对应的目标风格人脸图像。
根据本公开实施例的技术方案，通过在风格图像生成过程中，对待处理的原始人脸图像进行人脸区域的位置调整，实现了对原始人脸图像的规范化预处理，然后利用预先训练的风格图像生成模型得到对应的目标风格人脸图像，提高了目标风格图像的生成效果，解决了现有方案中图像风格转换后图像效果不佳的问题。
在上述技术方案的基础上，可选的，根据人脸区域在原始人脸图像上的实际位置信息和预设位置信息，对人脸区域在原始人脸图像上的位置进行调整，包括：
获取人脸区域中至少三个目标参考点的实际位置；其中，目标参考点的实际位置可以通过人脸关键点检测确定；
获取至少三个目标参考点的预设位置；其中，预设位置即指目标参考点在人脸区域位置调整后的人脸图像(即用于输入至训练后的风格图像生成模型的第一人脸图像)上的位置；
基于至少三个目标参考点的实际位置，以及至少三个目标参考点的预设位置，构建位置调整矩阵；其中，位置调整矩阵用于表示目标参考点的实际位置和预设位置之间的变换关系，包括旋转关系和/或平移关系，具体可以依据坐标变换原理(或称为仿射变换原理)确定；以及
基于位置调整矩阵，对人脸区域在原始人脸图像上的位置进行调整，以得到调整后的第一人脸图像。
考虑至少三个目标参考点可以准确的确定人脸区域所在的平面，因此，本公开实施例中利用至少三个目标参考点的实际位置和预设位置确定位置调整矩阵。其中，该至少三个目标参考点可以是人脸区域中的任意关键点，例如人脸轮廓特征点和/或五官区域关键点。
优选的，至少三个目标参考点包括左眼区域参考点、右眼区域参考点和鼻部参考点；其中，左眼区域参考点、右眼区域参考点和鼻部参考点可以分别是人脸区域中左眼区域、右眼区域和鼻部的任意关键点。考虑人脸区域中五官区域较为稳定，将五官区域关键点作为目标参考点，相比于将人脸轮廓特征点作为目标参考点，可以避免人脸轮廓变形导致位置调整矩阵的确定不准确的现象，确保位置调整矩阵的确定准确性。
可以预先设置至少三个目标参考点的预设位置；也可以预先设置其中一个目标参考点的预设位置，然后基于至少三个目标参考点在人脸区域的几何位置关系，确定剩余的至少两个目标参考点的预设位置。例如，可以首先预设鼻部参考点的预设位置，然后基于人脸区域中左眼区域和右眼区域分别与鼻部的几何位置关系，计算左眼区域参考点和右眼区域参考点的预设位置。
此外，还可以利用现有的关键点检测技术，对原始人脸图像进行关键点检测，获取人脸区域中至少三个目标参考点的实际位置，例如获取左眼区域参考点、右眼区域参考点和鼻部参考点的实际位置。
图4为本公开实施例提供的另一种风格图像生成方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。具体的，以左眼区域参考点包括左眼中心参考点、右眼区域参考点包括右眼中心参考点、和鼻部参考点包括鼻尖参考点为例，对本公开实施例进行示例性说明。图4与图2中存在相同的操作，在此不再赘述，可以参考上述实施例的解释。
如图4所示，该风格图像生成方法可以包括：
S301、获取原始人脸图像。
S302、识别原始人脸图像上的人脸区域。
S303、对原始人脸图像进行关键点检测，获取左眼中心参考点的实际位置坐标、右眼中心参考点的实际位置坐标和鼻尖参考点的实际位置坐标。
S304、获取鼻尖参考点的预设位置坐标。
在一个实施例中，可以预先设置鼻尖参考点的预设位置坐标。
S305、获取预设的裁剪倍率和预设的目标分辨率。
其中，预设的裁剪倍率可以根据用于输入至训练后的风格图像生成模型的第一人脸图像中人脸区域占据当前整张图像的比例而定，例如，如果需要第一人脸图像中人脸区域的尺寸占据整张图像尺寸的1/3，则可以将裁剪倍率设置为3倍。预设的目标分辨率可以根据该第一人脸图像的图像分辨率需求而定，表示第一人脸图像中包含的像素数量。
S306、基于鼻尖参考点的预设位置坐标、预设的裁剪倍率和预设的目标分辨率，获取左眼中心参考点的预设位置坐标和右眼中心参考点的预设位置坐标。
由于裁剪倍率与人脸区域在第一人脸图像上占据的区域比例有关，因此，在确定第一人脸图像的目标分辨率之后，可以结合裁剪倍率确定第一人脸图像上人脸区域的尺寸，进 而结合人脸中双眼间距与脸部宽度的关系，可以确定双眼间距。如果裁剪倍率直接与双眼间距在第一人脸图像上占据的尺寸比例有关，则可以直接基于裁剪倍率和目标分辨率确定双眼间距。然后，基于人脸区域中左眼中心和右眼中心分别与鼻尖的几何位置关系，例如双眼中心连线的中点与鼻尖处在一条直线上，即左眼中心和右眼中心关于过鼻尖的竖直线保持对称，利用预先确定的鼻尖参考点的预设位置坐标确定左眼中心参考点和右眼中心参考点的预设位置坐标。
以裁剪倍率直接与双眼间距在第一人脸图像上占据的尺寸比例有关为例，对左眼中心参考点和右眼中心参考点的预设位置坐标的确定进行示例性说明。假设第一人脸图像的左上角为图像坐标原点o，鼻尖所在的竖直方向为y轴方向，双眼中心连线所在的水平方向为x轴方向，鼻尖参考点的预设位置坐标表示为(x nose，y nose)，左眼中心参考点的预设位置坐标表示为(x eye_l，y eye_l)，右眼中心参考点的预设位置坐标表示为(x eye_r，y eye_r)，第一人脸图像上双眼中心连线的中点与鼻尖参考点的距离表示为Den′，同时假设鼻尖参考点与双眼中心连线的中点位于竖直方向，则基于鼻尖参考点的预设位置坐标、预设的裁剪倍率和预设的目标分辨率，获取左眼中心参考点的预设位置坐标和右眼中心参考点的预设位置坐标，可以包括如下操作：
基于预设的裁剪倍率a和预设的目标分辨率r，确定第一人脸图像上左眼中心参考点和右眼中心参考点之间的距离；例如可以采用以下公式表示：|x eye_l-x eye_r|＝r/a；
基于第一人脸图像上左眼中心参考点和右眼中心参考点之间的距离，确定左眼中心参考点的预设横坐标和右眼中心参考点的预设横坐标；例如可以采用以下公式表示：
x eye_l＝(1/2-1/2a)r，x eye_r＝(1/2+1/2a)r；其中，r/2表示第一人脸图像中心的横坐标表示；
基于第一人脸图像上左眼中心参考点和右眼中心参考点之间的距离、原始人脸图像上左眼中心参考点和右眼中心参考点之间的距离Deye、和原始人脸图像上双眼中心连线的中点与鼻尖参考点之间的距离Den，确定第一人脸图像上双眼中心连线的中点与鼻尖参考点之间的距离Den′；
其中，原始人脸图像上左眼中心参考点和右眼中心参考点之间的距离Deye以及原始人脸图像上双眼中心连线的中点与鼻尖参考点之间的距离Den，均可以根据左眼中心参考点、右眼中心参考点和鼻尖参考点的实际位置坐标确定，由于原始人脸图像和第一人脸图像之间采用等比例缩放，因此，Den′/Den＝(r/a)/Deye，进而可以得到第一人脸图像上双眼中心连线的中点与鼻尖参考点的距离可以表示为Den′＝(Den·r)/(a·Deye)；
基于鼻尖参考点的预设位置坐标、和第一人脸图像上双眼中心连线的中点与鼻尖参考点之间的距离，确定左眼中心参考点的预设纵坐标和右眼中心参考点的预设纵坐标；例如可以采用以下公式表示：
y eye_l＝y eye_r＝y nose-Den′＝y nose-(Den·r)/(a·Deye)；
预设横坐标和预设纵坐标确定之后，左眼中心参考点和右眼中心参考点的完整预设位置坐标表示便可以确定。需要说明的是，上述示例作为左眼中心参考点和右眼中心参考点的预设位置坐标的确定过程示例，不应理解为对本公开实施例的具体限定。
在确定人脸区域在原始人脸图像上的实际位置信息和预设位置信息之后，可以根据需求对原始人脸图像执行旋转、平移、缩小、放大和裁剪等操作中的至少一种或者多种操作，确定与每种操作对应的参数，进而结合已知的目标参考点的预设位置坐标以及目标参考点在人脸区域中的几何位置关系，确定剩余的目标参考点的预设位置坐标。
返回图4，在步骤S307中，基于左眼中心参考点的实际位置坐标和预设位置坐标、右眼中心参考点的实际位置坐标和预设位置坐标、以及鼻尖参考点的实际位置坐标和预设位置坐标，构建位置调整矩阵R。
S308、基于位置调整矩阵R，对人脸区域在原始人脸图像上的位置进行调整，得到调整后的第一人脸图像。
此时，在得到第一人脸图像的过程中，需要依据位置调整矩阵R对原始人脸图像进行平移和/或旋转处理，还需要按照预设的裁剪倍率对原始人脸图像进行裁剪。
S309、基于第一人脸图像，利用风格图像生成模型，得到对应的目标风格人脸图像。
根据本公开实施例的技术方案，通过在风格图像生成过程中，确定原始人脸图像上左眼中心参考点、右眼中心参考点和鼻尖参考点对应的实际位置坐标和预设位置坐标，保证了用于调整原始人脸图像上人脸区域位置的位置调整矩阵的确定准确性，提升了对原始人脸图像进行规范化预处理的处理效果，提高了基于训练后的风格图像生成模型的风格图像的生成效果，解决了现有方案中图像风格转换后图像效果不佳的问题。
图5为本公开实施例提供的另一种风格图像生成方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。图5分别与图4或图2中存在相同的操作，在此不再赘述，可以参考上述实施例的解释。
如图5所示，该风格图像生成方法可以包括：
S401、获取原始人脸图像。
S402、识别原始人脸图像上的人脸区域。
S403、根据人脸区域在原始人脸图像上的实际位置信息和预设位置信息，对人脸区域在原始人脸图像上的位置进行调整，得到调整后的第一人脸图像。
S404、根据预设伽马值对第一人脸图像的像素值进行校正，得到伽马校正后的第二人脸图像。
其中，伽马校正还可以被称为伽马非线性化或伽马编码，是用来针对影片或是影像系统里对于光线的辉度或是三色刺激值所进行非线性的运算或反运算。为图像进行伽马矫正，可以对人类视觉的特性进行补偿，从而根据人类对光线或者黑白的感知，最大化地利用表示黑白的数据位或带宽。其中，预设伽马值可以预先设置，本公开实施例不作具体限定，例如将第一人脸图像上的RGB三个通道的像素值同时进行伽马值为1/1.5的矫正。伽马校正的具体实现可以参照现有技术原理实现。
S405、对第二人脸图像进行亮度归一化处理，得到亮度调整后的第三人脸图像。
例如，可以确定伽马校正后的第二人脸图像上的最大像素值，然后将伽马校正后的第二人脸图像上的所有像素值对当前确定的最大像素值进行归一化。
通过伽马校正和亮度归一化处理，可以使得第一人脸图像上亮度分布更加均衡，避免 图像亮度分布不均衡导致生成的风格图像效果不理想的现象。
S406、基于第三人脸图像，利用风格图像生成模型，得到对应的目标风格人脸图像。
根据本公开实施例的技术方案，通过在风格图像生成过程中，对待处理的原始人脸图像进行人脸区域的位置调整以及伽马矫正和亮度归一化处理，实现了对原始人脸图像的规范化预处理，避免了图像亮度分布不均衡导致生成的风格图像效果不理想的现象，提高了基于训练后的风格图像生成模型的风格图像的生成效果，解决了现有方案中图像风格转换后图像效果不佳的问题。
在上述技术方案的基础上，可选的，基于第二人脸图像进行亮度归一化处理，得到亮度调整后的第三人脸图像，包括：
基于第一人脸图像或者第二人脸图像，提取人脸轮廓特征点，以及目标五官区域关键点；其中，人脸轮廓特征点和五官区域关键点的提取均可以基于现有的人脸关键点提取技术实现，本公开实施例不作具体限定；
根据人脸轮廓特征点，生成全脸蒙版(mask)图像；即可以基于第一人脸图像或者第二人脸图像生成全脸蒙版图像；
根据目标五官区域关键点，生成局部蒙版图像，局部蒙版图像包括眼部区域蒙版和/或嘴部区域蒙版，即目标五官区域可以包括眼部区域和/或嘴部区域；同样的，可以基于第一人脸图像或者第二人脸图像生成局部蒙版图像；
将全脸蒙版图像与局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像；
基于残缺蒙版图像，对第一人脸图像和第二人脸图像进行融合处理，得到亮度调整后的第三人脸图像。
示例性的，可以根据残缺蒙版图像，将第二人脸图像上除去目标五官区域的图像区域，与第一人脸图像的目标五官区域进行区域融合，得到亮度调整后的第三人脸图像。
考虑人脸区域中眼部区域和嘴部区域均有归属五官特点的特定颜色，例如眼睛瞳孔为黑色，嘴部为红色，在对第一人脸图像进行伽马矫正的过程中，存在将眼部区域和嘴部区域的亮度提高的现象，进而导致伽马校正后的第二人脸图像上眼部区域和嘴部区域的显示区域变小，与亮度调整前的眼睛区域和嘴部区域的显示区域大小存在明显差异，因此，为避免生成的风格图像上五官区域显示效果的失真，可以仍采用第一人脸图像上眼部区域和嘴部区域，作为亮度调整后的第三人脸图像上的眼部区域和嘴部区域。
在具体应用中，可以根据图像处理需求，选择生成覆盖眼部区域和嘴部区域中的至少一种区域的局部蒙版图像。
可选的，根据目标五官区域关键点，生成局部蒙版图像，包括：
根据目标五官区域关键点，生成候选局部蒙版图像，候选局部蒙版图像包括眼部区域蒙版和/或嘴部区域蒙版；
对候选局部蒙版图像进行高斯模糊处理；其中，关于高斯模糊处理的具体实现可以参照现有技术原理，本公开实施例不作具体限定；
基于高斯模糊处理后的候选局部蒙版图像，选择像素值大于预设阈值的区域生成局部蒙版图像；其中，预设阈值可以根据蒙版图像的像素值而定，例如候选局部蒙版图像上选 区内部的像素值为255(对应白色)，则预设阈值可以设置为0(像素值为0对应黑色)，从而可以从高斯模糊处理后的候选局部蒙版图像上选择出所有的非黑色区域。换言之，可以确定候选局部蒙版图像上选区内部的最小像素值，然后将小于该最小像素值的任意像素值，设置为预设阈值，以实现基于高斯模糊处理后的候选局部蒙版图像确定出区域扩大的局部蒙版图像。
其中，针对候选局部蒙版图像或局部蒙版图像，该蒙版图像上的选区即指人脸区域中的眼部区域和/或嘴部区域；针对残缺蒙版图像，该蒙版图像上的选区即指在人脸区域中除去目标五官区域外剩余的人脸区域；针对全脸蒙版图像，该蒙版图像上的选区即指人脸区域。
在生成局部蒙版图像过程中，通过对首先生成的候选局部蒙版图像进行高斯模糊处理，可以将候选局部蒙版图像的区域进行扩张，然后基于像素值确定最终的局部蒙版图像，可以避免伽马矫正的过程中将眼部区域和嘴部区域的亮度提高而导致眼部区域和嘴部区域的显示区域变小，进而导致生成的局部蒙版区域可能偏小的现象，如果生成的局部蒙版区域偏小，则使得局部蒙版区域与亮度调整前的第一人脸图像上目标五官区域不适配，从而影响第一人脸图像和第二人脸图像的融合效果。通过对候选局部蒙版图像进行高斯模糊处理，可以将候选局部蒙版图像的区域进行扩张，从而提高了第一人脸图像和第二人脸图像的融合效果。
可选的，将全脸蒙版图像与局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像之后，本公开实施例提供的方法还包括：
对残缺蒙版图像进行高斯模糊处理。
通过对残缺蒙版图像进行高斯模糊处理，可以弱化残缺蒙版图像中的边界，边界显示不明显，进而优化亮度调整后的第三人脸图像的显示效果。
相应地，基于残缺蒙版图像，对第一人脸图像和第二人脸图像进行融合处理，得到亮度调整后的第三人脸图像，包括：
基于高斯模糊处理后的残缺蒙版图像，对第一人脸图像和第二人脸图像进行融合处理，得到亮度调整后的第三人脸图像。
示例性的，将第一人脸图像上的像素值分布表示为I，将伽马校正后的第二人脸图像上的像素值分布表示为I g，将高斯模糊处理后的残缺蒙版图像上的像素值分布表示为Mout(针对不执行高斯模糊处理的情况，Mout也可以直接表示残缺蒙版图像上的像素值分布)，并将该蒙版图像上选区(该选区指在人脸区域中除去目标五官区域外剩余的人脸区域)内部的像素值表示P，将亮度调整后的第三人脸图像上的像素值分布表示为I out，则可以按照如下公式对第一人脸图像和第二人脸图像进行融合处理，得到亮度调整后的第三人脸图像；其中，公式具体表示如下：
I out＝I g·(P-Mout)+I·Mout；
其中，I g·(P-Mout)表示第二人脸图像上除去目标五官区域的图像区域，I·Mout表示第一人脸图像的目标五官区域。I out表示将第一人脸图像的目标五官区域融合到第二人脸图像上除去目标五官区域后的图像区域中。
以蒙版图像上选区内部的像素值P＝1为例，则上述公式可以表示为：
I out＝I g·(1-Mout)+I·Mout。
图6为本公开实施例提供的一种风格图像生成模型的训练方法的流程图，本公开实施例可以适用于如何训练风格图像生成模型的情况，训练得到的风格图像生成模型用于生成与原始人脸图像对应的风格图像。本公开实施例中提及的图像风格可以指一种图像效果，例如日漫风格、欧美漫画风格、油画风格、素描风格、或者卡通风格等，具体可以根据图像处理领域中的图像风格分类而定。本公开实施例提供的风格图像生成模型的训练装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如终端、服务器等。
在本公开实施例提供的风格图像生成模型的训练方法与风格图像生成方法中，针对原始人脸图像的处理过程，除了图像处理对象不同外，均属于相同的发明构思，以下实施例中未详细描述的内容，可以参考上述实施例的描述。
如图6所示，本公开实施例提供的风格图像生成模型的训练方法可以包括：
S601、获取多个原始人脸样本图像。
S602、获取多个标准风格人脸样本图像。
其中，多个标准风格人脸样本图像可以是专业绘制人员根据当前图像风格需求，为预设数量(取值可根据训练需求而定)的原始人脸样本图像进行风格图像绘制得到，本公开实施例对此不作具体限定。标准风格人脸样本图像的数量可以根据训练需求而定，各个标准风格人脸样本图像的精细度和风格一致。
S603、基于多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型。
图像生成模型可以包括生成对抗网络(GAN，Generative Adversarial Networks)模型、基于样式的生成对抗网络(Stylegan，Style-Based Generator Architecture for Generative Adversarial Networks)模型等，具体实现原理可以参考现有技术。本公开实施例的图像生成模型用于在风格图像生成模型训练过程中，根据需求的图像风格，利用多个标准风格人脸图像样本进行训练，并在训练好之后，生成与需求的图像风格对应的样本数据，例如生成目标风格人脸样本图像。通过利用标准风格人脸样本图像对图像生成模型进行训练，可以保证模型训练的准确性，进而确保图像生成模型生成的样本图像的生成效果，以构建出优质且分布均匀的样本数据。
S604、基于训练后的图像生成模型生成多个目标风格人脸样本图像。
示例性的，可以通过控制图像生成模型中与图像特征有关的参数值，利用训练后的图像生成模型，得到符合图像风格需求的目标风格人脸样本图像。
可选的，图像生成模型包括生成对抗网络模型，基于训练后的图像生成模型生成多个目标风格人脸样本图像，包括：
获取用于生成目标风格人脸样本图像集的随机特征向量；随机特征向量可以用于生成不同特征的图像；
将随机特征向量输入到训练后的生成对抗网络模型中，生成目标风格人脸样本图像集， 目标风格人脸样本图像集包括满足图像分布需求的多个目标风格人脸样本图像。
图像分布需求可以根据样本数据的构建需求而定，例如生成的目标风格人脸样本图像集中涵盖多种图像特征类型，并且属于不同特征类型的图像分布均匀，从而保证样本数据的全面性。
进一步的，将随机特征向量输入到训练后的生成对抗网络模型中，生成目标风格人脸样本图像集，包括：
获取随机特征向量中与待生成目标风格人脸样本图像集中的图像特征关联的元素；其中，图像特征可以包括光线、脸部朝向和发色等特征中的至少一种，图像特征的多样化可以确保样本数据的全面性；
按照图像分布需求，对与图像特征关联的元素取值进行控制(即调整与图像特征关联的元素的具体取值)，并将元素取值控制后的随机特征向量输入训练后的生成对抗网络模型中，以生成目标风格人脸样本图像集。
通过基于随机特征向量和利用标准风格人脸样本图像集训练后的生成对抗网络模型生成目标风格人脸样本图像集，实现了样本数据的便捷性构建，确保了图像风格的统一性，而且还可以确保目标风格人脸样本图像集中包括特征分布均匀的大量样本图像，进而得以基于优质的样本数据训练得到风格图像生成模型。
S605、利用多个原始人脸样本图像和多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
训练得到的风格图像生成模型具有生成风格图像的功能，可以基于任意可用的具有图像风格转换能力的神经网络模型实现。示例性的，风格图像生成模型可以包括诸如条件生成对抗网络(CGAN，Conditional Generative Adversarial Networks)模型、循环一致性生成对抗网络(Cycle-GAN，Cycle Consistent Adversarial Networks)模型等任意的支持非对齐训练的网络模型。在风格图像生成模型训练过程中，可以根据风格图像处理需求灵活选择可用的神经网络模型。
根据本公开实施例的技术方案，通过在风格图像生成模型训练过程中，基于多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型，然后利用训练后的图像生成模型生成多个目标风格人脸样本图像，用于风格图像生成模型的训练过程中，保证了符合风格需求的样本数据的来源统一性、分布均匀性、以及风格统一性，构建了优质的样本数据，提高了风格图像生成模型的训练效果，进而提高了在模型应用阶段风格图像的生成效果，解决了现有方案中图像风格转换后图像效果不佳的问题。
图7为本公开实施例提供的另一种风格图像生成模型的训练方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图7所示，该风格图像生成模型的训练方法可以包括：
S701、获取多个原始人脸样本图像。
S702、识别原始人脸样本图像上的人脸区域。
其中，终端或服务器可以利用人脸识别技术识别原始人脸样本图像上的人脸区域。可利用的人脸识别技术，例如采用人脸识别神经网络模型等，可以参照现有原理实现，本公 开实施例不作具体限定。
S703、根据人脸区域在原始人脸样本图像上的实际位置信息和预设位置信息，对人脸区域在原始人脸样本图像上的位置进行调整，得到调整后的第一人脸样本图像。
其中，实际位置信息用于表征人脸区域在原始人脸样本图像上的实际位置。在识别原始人脸样本图像上的人脸区域的过程中，可以同时确定人脸区域在图像上的实际位置。示例性的，人脸区域在原始人脸样本图像上的实际位置，可以采用包围人脸区域的区域框(bounding box)在原始人脸样本图像上的图像坐标表示，也可以采用人脸区域上的预设关键点的图像坐标表示，该预设关键点可以包括但不限于人脸轮廓特征点和五官区域关键点等。
预设位置信息根据预设人脸位置需求而定，用于表征在风格图像生成模型训练过程中，对原始人脸样本图像上的人脸区域进行位置调整后的目标人脸区域位置。例如，预设人脸位置需求可以包括：人脸区域位置调整后，人脸区域位于整张图像的中心区域；或者，人脸区域位置调整后，人脸区域的五官区域处于整张图像的特定位置；或者，人脸区域位置调整后，人脸区域和背景区域(指整张图像中除去人脸区域外的剩余图像区域)在整张图像上的区域占比满足占比需求，通过该占比需求的设置，可以避免人脸区域在整体图像上的区域占比过大或者过小的现象，达到人脸区域和背景区域的显示均衡性，从而构建优质的训练样本。
人脸区域的位置调整操作可以包括但不限于旋转、平移、缩小、放大和裁剪等。根据人脸区域在原始人脸样本图像上的实际位置信息和预设位置信息，可以灵活选择至少一种位置调整操作对人脸区域进行位置调整，直至得到满足预设人脸位置需求的人脸图像。
关于调整后的第一人脸样本图像的展示效果，可以类比地参考图3中展示的图像效果。作为类比，如图3所示，第一行显示的两张人脸图像可以分别为原始人脸样本图像，通过对原始人脸样本图像进行旋转和裁剪，得到满足预设人脸位置需求的第一人脸样本图像，即类比图3中第二行显示的人脸图像，两张第一人脸样本图像均处于人脸对齐的状态。其中，对原始人脸样本图像的裁剪尺寸，可以根据用于训练风格图像生成模型的输入图像的尺寸而定。
S704、获取多个标准风格人脸样本图像。
其中，多个标准风格人脸样本图像可以通过专业绘制人员根据当前图像风格需求，为预设数量(取值可根据训练需求而定)的原始人脸样本图像或第一人脸样本图像进行风格图像绘制得到，本公开实施例对此不作具体限定。标准风格人脸样本图像的数量可以根据训练需求而定，各个标准风格人脸样本图像的精细度和风格一致。
S705、基于多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型。
S706、基于训练后的图像生成模型生成多个目标风格人脸样本图像。
S707、利用多个第一人脸样本图像和多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
需要说明的是，操作S703和操作S704之间，并无严格的执行顺序限定，不应当将图 7显示的执行顺序理解为对本公开实施例的具体限定。优选地，可以在得到调整后的第一人脸样本图像之后，基于第一人脸样本图像，通过专业绘制人员进行风格图像绘制，得到多个标准风格人脸样本图像，使得多个标准风格人脸样本图像更加符合当前针对图像生成模型的训练需求。
根据本公开实施例的技术方案，通过在风格图像生成模型训练过程中，根据人脸区域在原始人脸样本图像上的实际位置信息和预设位置信息，对人脸区域在原始人脸样本图像上的位置进行调整，得到满足人脸位置需求的第一人脸样本图像，然后利用训练后的图像生成模型生成多个目标风格人脸样本图像，并与获取到的原始人脸样本图像集一并用于风格图像生成模型的训练过程，提高了模型的训练效果，进而提高了模型应用阶段风格图像的生成效果，解决了现有方案中图像风格转换后图像效果不佳的问题。并且，在本公开实施例中，对参与模型训练的原始人脸样本图像和目标风格人脸样本图像的图像亮度并无任何限制，各图像上图像亮度分布的随机性，确保了训练得到的风格图像生成模型可以适应任意亮度分布的图像，使得风格图像生成模型具有较高的鲁棒性。
可选的，根据人脸区域在原始人脸样本图像上的实际位置信息和预设位置信息，对人脸区域在原始人脸样本图像上的位置进行调整，包括：
获取人脸区域中至少三个目标参考点的实际位置；
获取至少三个目标参考点的预设位置；其中，预设位置即指目标参考点在人脸区域位置调整后的人脸图像(即用于训练风格图像生成模型的第一人脸样本图像)上的位置；
基于至少三个目标参考点的实际位置，以及至少三个目标参考点的预设位置，构建位置调整矩阵；其中，位置调整矩阵用于表示目标参考点的实际位置和预设位置之间的变换关系，包括旋转关系和/或平移关系，具体可以依据坐标变换原理(或称为仿射变换原理)确定；以及
基于位置调整矩阵，对人脸区域在原始人脸样本图像上的位置进行调整，以得到调整后的第一人脸样本图像。
考虑至少三个目标参考点可以准确的确定人脸区域所在的平面，因此，本公开实施例中利用至少三个目标参考点的实际位置和预设位置确定位置调整矩阵。其中，该至少三个目标参考点可以是人脸区域中的任意关键点，例如人脸轮廓特征点和/或五官区域关键点。
优选的，至少三个目标参考点包括左眼区域参考点、右眼区域参考点和鼻部参考点。其中，左眼区域参考点、右眼区域参考点和鼻部参考点可以分别是人脸区域中左眼区域、右眼区域和鼻部的任意关键点。考虑人脸区域中五官区域较为稳定，将五官区域关键点作为目标参考点，相比于将人脸轮廓特征点作为目标参考点，可以避免人脸轮廓变形导致位置调整矩阵的确定不准确的现象，确保位置调整矩阵的确定准确性。
可以预先设置至少三个目标参考点的预设位置；也可以预先设置其中一个目标参考点的预设位置，然后基于至少三个目标参考点在人脸区域的几何位置关系，确定剩余的至少两个目标参考点的预设位置。例如，可以首先预设鼻部参考点的预设位置，然后基于人脸区域中左眼区域和右眼区域分别与鼻部的几何位置关系，计算左眼区域参考点和右眼区域参考点的预设位置。
此外，可以利用现有的关键点检测技术，对原始人脸样本图像进行关键点检测，获取人脸区域中至少三个目标参考点的实际位置，例如获取左眼区域参考点、右眼区域参考点和鼻部参考点的实际位置。
图8为本公开实施例提供的另一种风格图像生成模型的训练方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。具体的，以左眼区域参考点包括左眼中心参考点，右眼区域参考点包括右眼中心参考点、和鼻部参考点包括鼻尖参考点为例，对本公开实施例进行示例性说明。如图8所示，该风格图像生成模型的训练方法可以包括：
S801、获取多个原始人脸样本图像。
S802、识别原始人脸样本图像上的人脸区域。
S803、对原始人脸样本图像进行关键点检测，获取左眼中心参考点的实际位置坐标、右眼中心参考点的实际位置坐标和鼻尖参考点的实际位置坐标。
S804、获取鼻尖参考点的预设位置坐标。
在一个实施例中，可以预先设置鼻尖参考点的预设位置坐标。
S805、获取预设的裁剪倍率和预设的目标分辨率。
其中，预设的裁剪倍率可以根据用于模型训练的第一人脸样本图像中人脸区域占据当前整张图像的比例而定，例如，如果需要第一人脸样本图像中人脸区域的尺寸占据当前整张图像尺寸的1/3，则可以将裁剪倍率设置为3倍。预设的目标分辨率可以根据第一人脸样本图像的图像分辨率需求而定，表示第一人脸样本图像中包含的像素数量。
S806、基于鼻尖参考点的预设位置坐标、预设的裁剪倍率和预设的目标分辨率，获取左眼中心参考点的预设位置坐标和右眼中心参考点的预设位置坐标。
由于裁剪倍率与人脸区域在第一人脸样本图像上占据的区域比例有关，因此，在确定第一人脸样本图像的目标分辨率之后，可以结合裁剪倍率确定第一人脸样本图像上人脸区域的尺寸，进而结合人脸中双眼间距与脸部宽度的关系，可以确定双眼间距。如果裁剪倍率直接与双眼间距在第一人脸样本图像上占据的尺寸比例有关，则可以直接基于裁剪倍率和目标分辨率确定双眼间距。然后，基于人脸区域中左眼中心和右眼中心分别与鼻尖的几何位置关系，例如双眼中心连线的中点与鼻尖处在一条直线上，即左眼中心和右眼中心关于过鼻尖的竖直线保持对称，利用预先确定的鼻尖参考点的预设位置坐标确定左眼中心参考点和右眼中心参考点的预设位置坐标。
以裁剪倍率直接与双眼间距在第一人脸样本图像上占据的尺寸比例有关为例，对左眼中心参考点和右眼中心参考点的预设位置坐标的确定进行示例性说明。假设第一人脸样本图像的左上角为图像坐标原点o，鼻尖所在的竖直方向为y轴方向，双眼中心连线所在的水平方向为x轴方向，鼻尖参考点的预设位置坐标表示为(x nose，y nose)，左眼中心参考点的预设位置坐标表示为(x eye_l，y eye_l)，右眼中心参考点的预设位置坐标表示为(x eye_r，y eye_r)，第一人脸样本图像上双眼中心连线的中点与鼻尖参考点的距离表示为Den′，同时假设鼻尖参考点与双眼中心连线的中点位于竖直方向，则基于鼻尖参考点的预设位置坐标、预设的裁剪倍率和预设的目标分辨率，获取左眼中心参考点的预设位置坐标和右眼中心参 考点的预设位置坐标，可以包括如下操作：
基于预设的裁剪倍率a和预设的目标分辨率r，确定第一人脸样本图像上左眼中心参考点和右眼中心参考点之间的距离；例如可以采用以下公式表示：|x eye_l-x eye_r|＝r/a；
基于第一人脸样本图像上左眼中心参考点和右眼中心参考点之间的距离，确定左眼中心参考点的预设横坐标和右眼中心参考点的预设横坐标；例如可以采用以下公式表示：
x eye_l＝(1/2-1/2a)r，x eye_r＝(1/2+1/2a)r；其中，r/2表示第一人脸样本图像中心的横坐标表示；
基于第一人脸样本图像上左眼中心参考点和右眼中心参考点之间的距离、原始人脸样本图像上左眼中心参考点和右眼中心参考点之间的距离Deye、和原始人脸样本图像上双眼中心连线的中点与鼻尖参考点之间的距离Den，确定第一人脸样本图像上双眼中心连线的中点与鼻尖参考点之间的距离Den′；
其中，原始人脸样本图像上左眼中心参考点和右眼中心参考点之间的距离Deye以及原始人脸样本图像上双眼中心连线的中点与鼻尖参考点之间的距离Den，均可以根据左眼中心参考点、右眼中心参考点和鼻尖参考点的实际位置坐标确定，由于原始人脸样本图像和第一人脸样本图像之间采用等比例缩放，因此，Den′/Den＝(r/a)/Deye，进而可以得到第一人脸样本图像上双眼中心连线的中点与鼻尖参考点的距离可以表示为Den′＝(Den·r)/(a·Deye)；
基于鼻尖参考点的预设位置坐标、和第一人脸样本图像上双眼中心连线的中点与鼻尖参考点之间的距离，确定左眼中心参考点的预设纵坐标和右眼中心参考点的预设纵坐标；例如可以采用以下公式表示：
y eye_l＝y eye_r＝y nose-Den′＝y nose-(Den·r)/(a·Deye)；
预设横坐标和预设纵坐标确定之后，左眼中心参考点和右眼中心参考点的完整预设位置坐标表示便可以确定。需要说明的是，上述示例作为左眼中心参考点和右眼中心参考点的预设位置坐标的确定过程示例，不应理解为对本公开实施例的具体限定。
在确定人脸区域在原始人脸样本图像上的实际位置信息和预设位置信息之后，可以根据需求对原始人脸样本图像执行旋转、平移、缩小、放大和裁剪等操作中的至少一种或者多种操作，确定与每种操作对应的参数，进而结合已知的目标参考点的预设位置坐标以及目标参考点在人脸区域中的几何位置关系，确定剩余的目标参考点的预设位置坐标。
返回图8，在S807中，基于左眼中心参考点的实际位置坐标和预设位置坐标、右眼中心参考点的实际位置坐标和预设位置坐标、以及鼻尖参考点的实际位置坐标和预设位置坐标，构建位置调整矩阵R。
S808、基于位置调整矩阵R，对人脸区域在原始人脸样本图像上的位置进行调整，得到调整后的第一人脸样本图像。
此时，在得到第一人脸样本图像的过程中，需要依据位置调整矩阵R对原始人脸样本图像进行平移和/或旋转处理，还需要按照预设的裁剪倍率对原始人脸样本图像进行裁剪。
S809、获取多个标准风格人脸样本图像。
例如，多个标准风格人脸样本图像可以是专业绘制人员根据当前图像风格需求，为预 设数量(取值可根据训练需求而定)的原始人脸样本图像或第一人脸样本图像进行风格图像绘制得到，本公开实施例对此不作具体限定。标准风格人脸样本图像的数量可以根据训练需求而定，各个标准风格人脸样本图像的精细度和风格一致。
S810、基于多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型。
S811、基于训练后的图像生成模型生成多个目标风格人脸样本图像。
S812、利用多个第一人脸样本图像和多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
需要说明的是，操作S808和操作S809之间，并无严格的执行顺序限定，不应当将图8显示的执行顺序理解为对本公开实施例的具体限定。优选地，可以在得到调整后的第一人脸样本图像之后，基于第一人脸样本图像，通过专业绘制人员进行风格图像绘制，得到多个标准风格人脸样本图像，使得多个标准风格人脸样本图像更加符合当前针对图像生成模型的训练需求。
根据本公开实施例的技术方案，通过在风格图像生成模型训练过程中，确定原始人脸样本图像上左眼中心参考点、右眼中心参考点和鼻尖参考点对应的实际位置坐标和预设位置坐标，保证了用于调整原始人脸样本图像上人脸区域位置的位置调整矩阵的确定准确性，保证了对原始人脸样本图像进行规范化预处理的处理效果，实现了构建人脸对齐的优质样本数据，然后用于风格图像生成模型的训练过程，提高了模型的训练效果，进而提高了目标风格图像的生成效果，解决了现有方案中图像风格转换后图像效果不佳的问题。
在上述技术方案的基础上，可选的，在基于位置调整矩阵，对人脸区域在原始人脸样本图像上的位置进行调整，得到调整后的第一人脸样本图像之后，本公开实施例提供的训练方法还可以包括：
根据预设伽马值对第一人脸样本图像的像素值进行校正，得到伽马校正后的第二人脸样本图像；以及
对第二人脸样本图像进行亮度归一化处理，得到亮度调整后的第三人脸样本图像。
可选的，获取多个标准风格人脸样本图像，包括：基于第三人脸样本图像，获取多个标准风格人脸样本图像。例如，通过专业绘制人员根据当前图像风格需求，为预设数量的第三人脸样本图像进行风格图像绘制，得到标准风格人脸样本图像。
通过伽马校正和亮度归一化处理，可以让第一人脸样本图像上亮度分布更加均衡，提高风格图像生成模型的训练精度。
可选的，基于第二人脸样本图像进行亮度归一化处理，得到亮度调整后的第三人脸样本图像，包括：
基于第一人脸样本图像或者第二人脸样本图像，提取人脸轮廓特征点，以及目标五官区域关键点；
根据人脸轮廓特征点，生成全脸蒙版图像；即可以基于第一人脸样本图像或者第二人脸样本图像生成全脸蒙版图像；
根据目标五官区域关键点，生成局部蒙版图像，局部蒙版图像包括眼部区域蒙版和/ 或嘴部区域蒙版；同样的，可以基于第一人脸样本图像或者第二人脸样本图像生成局部蒙版图像；
将全脸蒙版图像与局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像；
基于残缺蒙版图像，对第一人脸样本图像和第二人脸样本图像进行融合处理，得到亮度调整后的第三人脸样本图像，以基于多个第三人脸样本图像和多个目标风格人脸样本图像对风格图像生成模型进行训练。
示例性的，可以根据残缺蒙版图像，将第二人脸样本图像上除去目标五官区域的图像区域，与第一人脸样本图像的目标五官区域进行区域融合，得到亮度调整后的第三人脸样本图像。
考虑人脸区域中眼部区域和嘴部区域均有归属五官特点的特定颜色，例如眼睛瞳孔为黑色，嘴部为红色，在对第一人脸样本图像进行伽马矫正的过程中，存在将眼部区域和嘴部区域的亮度提高的现象，进而导致伽马校正后的第二人脸样本图像上眼部区域和嘴部区域的显示区域变小，与亮度调整前的眼睛区域和嘴部区域的显示区域大小存在明显差异，因此，为确保生成优质的样本数据，可以优选仍采用第一人脸样本图像上眼部区域和嘴部区域，作为亮度调整后的第三人脸样本图像上的眼部区域和嘴部区域。
在具体应用中，可以根据图像处理需求，选择生成覆盖眼部区域和嘴部区域中的至少一种区域的局部蒙版图像。
可选的，根据目标五官区域关键点，生成局部蒙版图像，包括：
根据目标五官区域关键点，生成候选局部蒙版图像，候选局部蒙版图像包括眼部区域蒙版和/或嘴部区域蒙版；
对候选局部蒙版图像进行高斯模糊处理；
基于高斯模糊处理后的候选局部蒙版图像，选择像素值大于预设阈值的区域生成局部蒙版图像。
此时，通过对候选局部蒙版图像进行高斯模糊处理，可以将候选局部蒙版图像的区域进行扩张，然后基于像素值确定最终的局部蒙版图像，可以避免伽马矫正的过程中将眼部区域和嘴部区域的亮度提高而导致眼部区域和嘴部区域的显示区域变小，进而导致生成的局部蒙版区域可能偏小的现象，如果生成的局部蒙版区域偏小，则使得局部蒙版区域与亮度调整前的第一人脸样本图像上目标五官区域不适配，从而影响第一人脸样本图像和第二人脸样本图像的融合效果。通过对候选局部蒙版图像进行高斯模糊处理，可以将候选局部蒙版图像的区域进行扩张，从而提高了第一人脸样本图像和第二人脸样本图像的融合效果。
可选的，在得到残缺蒙版图像之后，本公开实施例提供的训练方法还可以包括：对残缺蒙版图像进行高斯模糊处理，以基于高斯模糊处理后的残缺蒙版图像，执行第一人脸样本图像和第二人脸样本图像的融合操作，以得到亮度调整后的第三人脸样本图像。
通过对残缺蒙版图像进行高斯模糊处理，可以弱化残缺蒙版图像中的边界，边界显示不明显，进而优化亮度调整后的第三人脸样本图像的显示效果。
示例性的，将第一人脸样本图像上的像素值分布表示为I，将伽马校正后的第二人脸样本图像上的像素值分布表示为I g，将高斯模糊处理后的残缺蒙版图像上的像素值分布表示 为Mout(针对不执行高斯模糊处理的情况，Mout也可以直接表示残缺蒙版图像上的像素值分布)，并将蒙版图像上选区(该选区指在人脸区域中除去目标五官区域外剩余的人脸区域)内部的像素值表示P，将亮度调整后的第三人脸样本图像上的像素值分布表示为I out，则可以按照如下公式对第一人脸样本图像和第二人脸样本图像进行融合处理，得到亮度调整后的第三人脸样本图像；其中，公式具体表示如下：
I out＝I g·(P-Mout)+I·Mout；
其中，I g·(P-Mout)表示第二人脸样本图像上除去目标五官区域的图像区域，I·Mout表示第一人脸样本图像的目标五官区域；I out表示将第一人脸样本图像的目标五官区域融合到第二人脸样本图像上除去目标五官区域后的图像区域中。
以蒙版图像上选区内部的像素值P＝1为例，则上述公式可以表示为：
I out＝I g·(1-Mout)+I·Mout。
图9为本公开实施例提供的另一种风格图像生成模型的训练方法的流程图，对本公开实施例中风格图像生成模型的训练过程进行示例性说明，但不应理解为对本公开实施例的具体限定。如图9所示，该风格图像生成模型的训练方法可以包括：
S901、建立真人图像数据集。
该真人图像数据集是指通过对原始真人图像进行人脸识别与人脸区域位置调整(或称为人脸对齐处理)后得到的数据集。关于人脸区域位置调整的实现，可以参照前述实施例的解释。
S902、建立风格图像初始数据集。
其中，风格图像初始数据集可以是指专业绘制人员按照需求的风格形象，为真人图像数据集中的预设数量的图像进行风格图像绘制得到，本公开实施例不作具体限定。风格图像初始数据集中包括的图像数量也可以根据训练需求而定。风格图像初始数据集中各风格图像的精细度和风格一致。
S903、训练图像生成模型G1。
其中，图像生成模型用于在风格图像生成模型G2的训练过程中，生成用于训练风格图像生成模型G2的属于风格图像的训练样本数据。图像生成模型G1可以包括任意的具有图像生成功能的模型，例如生成对抗网络GAN模型。具体的，可以基于风格图像初始数据集训练得到图像生成模型。
S904、生成风格图像最终数据集。
示例性的，可以利用训练后的图像生成模型G1生成风格图像最终数据集。以图像生成模型G1为生成对抗网络模型GAN为例，生成风格图像最终数据集包括：获取用于生成风格图像最终数据集的随机特征向量以及随机特征向量中与图像特征关联的元素；其中，图像特征包括光线、脸部朝向和发色中的至少一种；将随机特征向量输入生成对抗网络模型，并对随机特征向量中与图像特征关联的元素取值进行控制，并将元素取值控制后的随机特征向量输入训练后的生成对抗网络模型GAN中，生成风格图像最终数据集。风格图像最终数据集中可以包括图像特征分布均匀的大量风格图像，从而保证风格图像生成模型的训练效果。
S905、训练风格图像生成模型G2。
具体的，基于前述真人图像数据集和风格图像最终数据集，训练得到风格图像生成模型。风格图像生成模型G2可以包括但不限于条件生成对抗网络CGAN模型、循环一致性生成对抗网络Cycle-GAN模型等任意的支持非对齐训练的网络模型。
通过本公开实施例的技术方案，训练得到了具有风格图像生成功能的风格图像生成模型，提高图像风格转换的实现效果，增加了图像编辑处理的趣味性。
此外，需要说明的是，在本公开实施例中针对模型训练阶段和风格图像生成阶段，技术方案描述过程中存在相同的用词，应结合具体的实施阶段，对用词的含义进行理解。
图10为本公开实施例提供的一种风格图像生成装置的结构示意图，本公开实施例可以适用于基于原始人脸图像，生成任意风格的风格图像的情况。本公开实施例中提及的图像风格可以指一种图像效果，例如日漫风格、欧美漫画风格、油画风格、素描风格、或者卡通风格等，具体可以根据图像处理领域中的图像风格分类而定。本公开实施例提供的风格图像生成装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如终端、服务器等，该终端可以包括但不限于智能移动终端、平板电脑、个人电脑等。
如图10所示，本公开实施例提供的风格图像生成装置1000可以包括原始图像获取模块1001、风格图像生成模块1002，其中：
原始图像获取模块1001，用于获取原始人脸图像；
风格图像生成模块1002，用于利用预先训练的风格图像生成模型，得到与原始人脸图像对应的目标风格人脸图像。
其中，风格图像生成模型基于多个原始人脸样本图像和多个目标风格人脸样本图像训练得到，多个目标风格人脸样本图像由预先训练的图像生成模型生成，并且，图像生成模型基于预先获取的多个标准风格人脸样本图像训练得到。
可选的，本公开实施例提供的风格图像生成装置还包括：
人脸识别模块，用于识别原始人脸图像上的人脸区域；
人脸位置调整模块，用于根据人脸区域在原始人脸图像上的实际位置信息和预设位置信息，对人脸区域在原始人脸图像上的位置进行调整，得到调整后的第一人脸图像；
相应地，风格图像生成模块1002具体用于：
基于第一人脸图像，利用风格图像生成模型，得到对应的目标风格人脸图像。
可选的，人脸位置调整模块包括：
第一位置获取单元，用于获取人脸区域中至少三个目标参考点的实际位置；
第二位置获取单元，用于获取至少三个目标参考点的预设位置；
位置调整矩阵构建单元，用于基于至少三个目标参考点的实际位置，以及至少三个目标参考点的预设位置，构建位置调整矩阵；以及
人脸位置调整单元，用于基于位置调整矩阵，对人脸区域在原始人脸图像上的位置进行调整。
可选的，至少三个目标参考点包括左眼区域参考点、右眼区域参考点和鼻部参考点。
可选的，左眼区域参考点包括左眼中心参考点，右眼区域参考点包括右眼中心参考点， 鼻部参考点包括鼻尖参考点。
相应地，第二位置获取单元包括：
第一获取子单元，用于获取鼻尖参考点的预设位置坐标；
第二获取子单元，用于获取预设的裁剪倍率和预设的目标分辨率；以及
第三获取子单元，用于基于鼻尖参考点的预设位置坐标、预设的裁剪倍率和预设的目标分辨率，获取左眼中心参考点的预设位置坐标和右眼中心参考点的预设位置坐标。
可选的，第一位置获取单元具体用于：
对原始人脸图像进行关键点检测，获取人脸区域中至少三个目标参考点的实际位置坐标。
可选的，风格图像生成模块1002包括：
伽马校正单元，用于根据预设伽马值对第一人脸图像的像素值进行校正，得到伽马校正后的第二人脸图像；
亮度归一化单元，用于对第二人脸图像进行亮度归一化处理，得到亮度调整后的第三人脸图像；
风格图像生成单元，用于基于第三人脸图像，利用风格图像生成模型，得到对应的目标风格人脸图像。
可选的，亮度归一化单元包括：
关键点提取子单元，用于基于第一人脸图像或者第二人脸图像，提取人脸轮廓特征点，以及目标五官区域关键点；
全脸蒙版图像生成子单元，用于根据人脸轮廓特征点，生成全脸蒙版图像；
局部蒙版图像生成子单元，用于根据目标五官区域关键点，生成局部蒙版图像，局部蒙版图像包括眼部区域蒙版和/或嘴部区域蒙版；
残缺蒙版图像生成子单元，用于将全脸蒙版图像与局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像；以及
图像融合处理子单元，用于基于残缺蒙版图像，对第一人脸图像和第二人脸图像进行融合处理，得到亮度调整后的第三人脸图像。
可选的，局部蒙版图像生成子单元包括：
候选局部蒙版图像生成子单元，用于根据目标五官区域关键点，生成候选局部蒙版图像，候选局部蒙版图像包括眼部区域蒙版和/或嘴部区域蒙版；
局部蒙版图像模糊子单元，用于对候选局部蒙版图像进行高斯模糊处理；以及
局部蒙版图像确定子单元，用于基于高斯模糊处理后的候选局部蒙版图像，选择像素值大于预设阈值的区域生成局部蒙版图像。
可选的，亮度归一化单元还包括：
残缺蒙版图像模糊子单元，用于在残缺蒙版图像生成子单元执行将全脸蒙版图像与局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像的操作之后，对残缺蒙版图像进行高斯模糊处理。
其中，图像融合处理子单元，具体用于：基于高斯模糊处理后的残缺蒙版图像，对第 一人脸图像和第二人脸图像进行融合处理，得到亮度调整后的第三人脸图像。
可选的，风格图像生成模型包括条件生成对抗网络模型。
本公开实施例所提供的风格图像生成装置可执行本公开实施例所提供的任意风格图像生成方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
图11为本公开实施例提供的一种风格图像生成模型的训练装置的结构示意图，本公开实施例可以适用于如何训练得到风格图像生成模型的情况，该风格图像生成模型用于生成与原始人脸图像对应的风格图像。本公开实施例中提及的图像风格可以指一种图像效果，例如日漫风格、欧美漫画风格、油画风格、素描风格、或者卡通风格等，具体可以根据图像处理领域中的图像风格分类而定。本公开实施例提供的风格图像生成模型的训练装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如终端、服务器等。
如图11所示，本公开实施例提供的风格图像生成模型的训练装置1100可以包括原始样本图像获取模块1101、图像生成模型训练模块1102、目标风格样本图像生成模块1103和风格图像生成模型训练模块1104，其中：
原始样本图像获取模块1101，用于获取多个原始人脸样本图像；
图像生成模型训练模块1102，用于获取多个标准风格人脸样布图像，基于多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型；
目标风格样本图像生成模块1103，用于基于训练后的图像生成模型生成多个目标风格人脸样本图像；
风格图像生成模型训练模块1104，用于利用多个原始人脸样本图像和多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
可选的，目标风格样本图像生成模块1103包括：
随机特征向量获取单元，用于获取用于生成目标风格人脸样本图像集的随机特征向量；以及
目标风格样本图像生成单元，用于将随机特征向量输入到训练后的生成对抗网络模型中，生成目标风格人脸样本图像集，目标风格人脸样本图像集包括满足图像分布需求的多个目标风格人脸样本图像。
可选的，目标风格样本图像生成单元包括：
向量元素获取子单元，用于获取随机特征向量中与待生成目标风格人脸样本图像集中的图像特征关联的元素；以及
向量元素取值控制子单元，用于按照图像分布需求，对与图像特征关联的元素取值进行控制，并将元素取值控制后的随机特征向量输入训练后的生成对抗网络模型中，生成目标风格人脸样本图像集。
可选的，图像特征包括光线、脸部朝向和发色中的至少一种。
可选的，本公开实施例提供的风格图像生成模型的训练装置还包括：
人脸识别模块，用于在原始样本图像获取模块1101执行获取多个原始人脸样本图像 的操作之后，识别原始人脸样本图像上的人脸区域；以及
人脸位置调整模块，用于根据人脸区域在原始人脸样本图像上的实际位置信息和预设位置信息，对人脸区域在原始人脸样本图像上的位置进行调整，得到调整后的第一人脸样本图像，以利用多个第一人脸样本图像和多个目标风格人脸样本图像对风格图像生成模型进行训练。
可选的，人脸位置调整模块包括：
第一位置获取单元，用于获取人脸区域中至少三个目标参考点的实际位置；
第二位置获取单元，用于获取至少三个目标参考点的预设位置；
位置调整矩阵构建单元，用于基于至少三个目标参考点的实际位置，以及至少三个目标参考点的预设位置，构建位置调整矩阵；以及
人脸位置调整单元，用于基于位置调整矩阵，对人脸区域在原始人脸样本图像上的位置进行调整。
可选的，至少三个目标参考点包括左眼区域参考点、右眼区域参考点和鼻部参考点。
可选的，左眼区域参考点包括左眼中心参考点，右眼区域参考点包括右眼中心参考点，鼻部参考点包括鼻尖参考点；
第二位置获取单元包括：
第一获取子单元，用于获取鼻尖参考点的预设位置坐标；
第二获取子单元，用于获取预设的裁剪倍率和预设的目标分辨率；以及
第三获取子单元，用于基于鼻尖参考点的预设位置坐标、预设的裁剪倍率和预设的目标分辨率，获取左眼中心参考点的预设位置坐标和右眼中心参考点的预设位置坐标。
可选的，第一位置获取单元具体用于：对原始人脸样本图像进行关键点检测，获取人脸区域中至少三个目标参考点的实际位置。
可选的，本公开实施例提供的风格图像生成模型的训练装置还包括：
伽马校正模块，用于在人脸位置调整模块执行基于位置调整矩阵，对人脸区域在原始人脸样本图像上的位置进行调整，得到调整后的第一人脸样本图像的操作之后，根据预设伽马值对第一人脸样本图像的像素值进行校正，得到伽马校正后的第二人脸样本图像；以及
亮度归一化模块，用于对第二人脸样本图像进行亮度归一化处理，得到亮度调整后的第三人脸样本图像。
可选的，图像生成模型训练模块1102可以基于第三人脸样本图像，获取多个标准风格人脸样本图像。
可选的，亮度归一化模块包括：
关键点提取单元，用于基于第一人脸样本图像或者第二人脸样本图像，提取人脸轮廓特征点，以及目标五官区域关键点；
全脸蒙版图像生成单元，用于根据人脸轮廓特征点，生成全脸蒙版图像；
局部蒙版图像生成单元，用于根据目标五官区域关键点，生成局部蒙版图像，局部蒙版图像包括眼部区域蒙版和/或嘴部区域蒙版；
残缺蒙版图像生成单元，用于将全脸蒙版图像与局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像；以及
图像融合处理单元，用于基于残缺蒙版图像，对第一人脸样本图像和第二人脸样本图像进行融合处理，得到亮度调整后的第三人脸样本图像，以基于多个第三人脸样本图像和多个目标风格人脸样本图像对风格图像生成模型进行训练。
可选的，局部蒙版图像生成单元包括：
候选局部蒙版图像生成子单元，用于根据目标五官区域关键点，生成候选局部蒙版图像，候选局部蒙版图像包括眼部区域蒙版和/或嘴部区域蒙版；
局部蒙版图像模糊子单元，用于对候选局部蒙版图像进行高斯模糊处理；以及
局部蒙版图像确定子单元，用于基于高斯模糊处理后的候选局部蒙版图像，选择像素值大于预设阈值的区域生成局部蒙版图像。
可选的，亮度归一化模块还包括：
残缺蒙版图像模糊单元，用于残缺蒙版图像生成单元执行将全脸蒙版图像与局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像的操作之后，对残缺蒙版图像进行高斯模糊处理，以基于高斯模糊处理后的残缺蒙版图像，执行第一人脸样本图像和第二人脸样本图像的融合操作。
本公开实施例所提供的风格图像生成模型的训练装置可执行本公开实施例所提供的任意风格图像生成模型的训练方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
需要说明的是，在本公开实施例中，针对风格图像生成装置和风格图像生成模型的训练装置，存在部分名称相同的模块或者单元，但是本领域技术人员可以理解，针对不同的图像处理阶段，模块或单元的具体功能应结合具体的图像处理阶段理解，而不能脱离具体的图像处理阶段，将模块或单元的实现功能混淆。
图12为本公开实施例提供的一种电子设备的结构示意图，用于对本公开示例中用于执行风格图像生成方法或者用于执行风格图像生成模型的训练方法的电子设备，进行示例性说明。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200可以包括处理装置(例如中央处理器、图形处理器等)1201，其可以根据存储在只读存储器(ROM)1202中的程序或者从存储装置1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中，还存储有电子设备1200操作所需的各种程序和数据。处理装置1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。图12中显示的ROM 1202、RAM 1203和存储装置1208，可以统称为用于存储处理装置1001可执行指令或程序的存储器。
通常，以下装置可以连接至I/O接口1205：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1206；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1207；包括例如磁带、硬盘等的存储装置1208；以及通信装置1209。通信装置1209可以允许电子设备1200与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备1200，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码，例如，用于执行风格图像生成方法或者用于执行风格图像生成模型的训练方法。在这样的实施例中，该计算机程序可以通过通信装置1209从网络上被下载和安装，或者从存储装置1208被安装，或者从ROM 1202被安装。在该计算机程序被处理装置1201执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText Transfer Protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(LAN)，广域网(WAN)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
根据本公开实施例的计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取原始人脸图像；利用预先训练的风格图 像生成模型，得到与所述原始人脸图像对应的目标风格人脸图像；其中，所述风格图像生成模型基于多个原始人脸样本图像和多个目标风格人脸样本图像训练得到，所述多个目标风格人脸样本图像由预先训练的图像生成模型生成，并且，所述图像生成模型基于预先获取的多个标准风格人脸样本图像训练得到。
或者，根据本公开实施例的计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取多个原始人脸样本图像；获取多个标准风格人脸样本图像；基于所述多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型；基于所述训练后的图像生成模型生成多个目标风格人脸样本图像；利用所述多个原始人脸样本图像和所述多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
需要说明的是，应当理解，计算机可读介质中存储的一个或者多个程序被该电子设备执行时，还可以使得该电子设备执行本公开实例提供的其它风格图像生成方法或者其它风格图像生成模型的训练方法。
在本公开实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络：包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块或单元的名称在某种情况下并不构成对该模块或单元本身的限定，例如，原始图像获取模块，还可以被描述为“用于获取原始人脸图像的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (24)

  1. 一种风格图像生成方法，其特征在于，包括：
    获取原始人脸图像；
    利用预先训练的风格图像生成模型，得到与所述原始人脸图像对应的目标风格人脸图像；
    其中，所述风格图像生成模型基于多个原始人脸样本图像和多个目标风格人脸样本图像训练得到，所述多个目标风格人脸样本图像由预先训练的图像生成模型生成，并且，所述图像生成模型基于预先获取的多个标准风格人脸样本图像训练得到。
  2. 根据权利要求1所述的方法，其特征在于，在所述获取原始人脸图像之后，还包括：
    识别所述原始人脸图像上的人脸区域；
    根据所述人脸区域在所述原始人脸图像上的实际位置信息和预设位置信息，对所述人脸区域在所述原始人脸图像上的位置进行调整，得到调整后的第一人脸图像；
    所述利用预先训练的风格图像生成模型，得到与所述原始人脸图像对应的目标风格人脸图像，包括：
    基于所述第一人脸图像，利用所述风格图像生成模型，得到对应的目标风格人脸图像。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述人脸区域在所述原始人脸图像上的实际位置信息和预设位置信息，对所述人脸区域在所述原始人脸图像上的位置进行调整，包括：
    获取所述人脸区域中至少三个目标参考点的实际位置；
    获取所述至少三个目标参考点的预设位置；
    基于所述至少三个目标参考点的实际位置，以及所述至少三个目标参考点的预设位置，构建位置调整矩阵；
    基于所述位置调整矩阵，对所述人脸区域在所述原始人脸图像上的位置进行调整。
  4. 根据权利要求3所述的方法，其特征在于，所述至少三个目标参考点包括左眼区域参考点、右眼区域参考点和鼻部参考点。
  5. 根据权利要求4所述的方法，其特征在于，所述左眼区域参考点包括左眼中心参考点，所述右眼区域参考点包括右眼中心参考点，所述鼻部参考点包括鼻尖参考点；
    所述获取所述至少三个目标参考点的预设位置，包括：
    获取所述鼻尖参考点的预设位置坐标；
    获取预设的裁剪倍率和预设的目标分辨率；
    基于所述鼻尖参考点的预设位置坐标、所述预设的裁剪倍率和所述预设的目标分辨率，获取所述左眼中心参考点的预设位置坐标和所述右眼中心参考点的预设位置坐标。
  6. 根据权利要求3-5中任一所述的方法，其特征在于，所述获取所述人脸区域中至少三个目标参考点的实际位置，包括：
    对所述原始人脸图像进行关键点检测，获取所述人脸区域中至少三个目标参考点的实际位置坐标。
  7. 根据权利要求2所述的方法，其特征在于，所述基于所述第一人脸图像，利用所述 风格图像生成模型，得到对应的目标风格人脸图像，包括：
    根据预设伽马值对所述第一人脸图像的像素值进行校正，得到伽马校正后的第二人脸图像；
    对所述第二人脸图像进行亮度归一化处理，得到亮度调整后的第三人脸图像；
    基于所述第三人脸图像，利用所述风格图像生成模型，得到对应的目标风格人脸图像。
  8. 根据权利要求7所述的方法，其特征在于，所述对所述第二人脸图像进行亮度归一化处理，得到亮度调整后的第三人脸图像，包括：
    基于所述第一人脸图像或者所述第二人脸图像，提取人脸轮廓特征点，以及目标五官区域关键点；
    根据所述人脸轮廓特征点，生成全脸蒙版图像，所述全脸蒙版图像包括人脸区域蒙版；
    根据所述目标五官区域关键点，生成局部蒙版图像，所述局部蒙版图像包括所述人脸区域中的眼部区域蒙版和/或嘴部区域蒙版；
    将所述全脸蒙版图像与所述局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像，所述残缺蒙版图像包括人脸区域中除去所述目标五官区域外剩余的人脸区域蒙版；
    基于所述残缺蒙版图像，对所述第一人脸图像和所述第二人脸图像进行融合处理，得到所述亮度调整后的第三人脸图像。
  9. 根据权利要求8所述的方法，其特征在于，所述根据所述目标五官区域关键点，生成局部蒙版图像，包括：
    根据所述目标五官区域关键点，生成候选局部蒙版图像，所述候选局部蒙版图像包括眼部区域蒙版和/或嘴部区域蒙版；
    对所述候选局部蒙版图像进行高斯模糊处理；
    基于所述高斯模糊处理后的候选局部蒙版图像，选择像素值大于预设阈值的区域生成所述局部蒙版图像。
  10. 根据权利要求8所述的方法，其特征在于，所述将全脸蒙版图像与所述局部蒙版图像的像素值进行减法运算，得到残缺蒙版图像之后，还包括：
    对所述残缺蒙版图像进行高斯模糊处理；
    所述基于所述残缺蒙版图像，对所述第一人脸图像和所述第二人脸图像进行融合处理，得到亮度调整后的第三人脸图像，包括：
    基于所述高斯模糊处理后的残缺蒙版图像，对所述第一人脸图像和所述第二人脸图像进行融合处理，得到所述亮度调整后的第三人脸图像。
  11. 根据权利要求1所述的方法，其特征在于，所述风格图像生成模型包括条件生成对抗网络模型。
  12. 一种风格图像生成模型的训练方法，其特征在于，包括：
    获取多个原始人脸样本图像；
    获取多个标准风格人脸样本图像；
    基于所述多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型；
    基于所述训练后的图像生成模型生成多个目标风格人脸样本图像；
    利用所述多个原始人脸样本图像和所述多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
  13. 根据权利要求12所述的方法，其特征在于，所述图像生成模型包括生成对抗网络模型，所述基于所述训练后的图像生成模型生成多个目标风格人脸样本图像，包括：
    获取用于生成目标风格人脸样本图像集的随机特征向量；
    将所述随机特征向量输入到训练后的生成对抗网络模型中，生成所述目标风格人脸样本图像集，所述目标风格人脸样本图像集包括满足图像分布需求的多个目标风格人脸样本图像。
  14. 根据权利要求13所述的方法，其特征在于，所述将所述随机特征向量输入到训练后的生成对抗网络模型中，生成所述目标风格人脸样本图像集，包括：
    获取所述随机特征向量中与待生成目标风格人脸样本图像集中的图像特征关联的元素；
    按照所述图像分布需求，对与所述图像特征关联的元素取值进行控制，并将所述元素取值控制后的随机特征向量输入所述训练后的生成对抗网络模型中，生成所述目标风格人脸样本图像集。
  15. 根据权利要求14所述的方法，其特征在于，所述图像特征包括光线、脸部朝向和发色中的至少一种。
  16. 根据权利要求12所述的方法，其特征在于，在所述获取多个原始人脸样本图像之后，还包括：
    识别所述原始人脸样本图像上的人脸区域；
    根据所述人脸区域在所述原始人脸样本图像上的实际位置信息和预设位置信息，对所述人脸区域在所述原始人脸样本图像上的位置进行调整，得到调整后的第一人脸样本图像，以利用所述多个第一人脸样本图像和所述多个目标风格人脸样本图像对风格图像生成模型进行训练。
  17. 根据权利要求16所述的方法，其特征在于，所述根据所述人脸区域在所述原始人脸样本图像上的实际位置信息和预设位置信息，对所述人脸区域在所述原始人脸样本图像上的位置进行调整，包括：
    获取所述人脸区域中至少三个目标参考点的实际位置；
    获取所述至少三个目标参考点的预设位置；
    基于所述至少三个目标参考点的实际位置，以及所述至少三个目标参考点的预设位置，构建位置调整矩阵；
    基于所述位置调整矩阵，对所述人脸区域在所述原始人脸样本图像上的位置进行调整。
  18. 根据权利要求17所述的方法，其特征在于，所述至少三个目标参考点包括左眼区域参考点、右眼区域参考点和鼻部参考点。
  19. 根据权利要求18所述的方法，其特征在于，所述左眼区域参考点包括左眼中心参考点，所述右眼区域参考点包括右眼中心参考点，所述鼻部参考点包括鼻尖参考点；
    所述获取所述至少三个目标参考点的预设位置，包括：
    获取所述鼻尖参考点的预设位置坐标；
    获取预设的裁剪倍率和预设的目标分辨率；
    基于所述鼻尖参考点的预设位置坐标、所述预设的裁剪倍率和所述预设的目标分辨率，获取所述左眼中心参考点的预设位置坐标和所述右眼中心参考点的预设位置坐标。
  20. 根据权利要求17-19中任一所述的方法，其特征在于，所述获取所述人脸区域中至少三个目标参考点的实际位置，包括：
    对所述原始人脸样本图像进行关键点检测，获取所述人脸区域中至少三个目标参考点的实际位置。
  21. 一种风格图像生成装置，其特征在于，包括：
    原始图像获取模块，用于获取原始人脸图像；
    风格图像生成模块，用于利用预先训练的风格图像生成模型，得到与所述原始人脸图像对应的目标风格人脸图像；
    其中，所述风格图像生成模型基于多个原始人脸样本图像和多个目标风格人脸样本图像训练得到，所述多个目标风格人脸样本图像由预先训练的图像生成模型生成，并且，所述图像生成模型基于预先获取的多个标准风格人脸样本图像训练得到。
  22. 一种风格图像生成模型的训练装置，其特征在于，包括：
    原始样本图像获取模块，用于获取多个原始人脸样本图像；
    图像生成模型训练模块，用于获取多个标准风格人脸样本图像，并基于所述多个标准风格人脸样本图像，对图像生成模型进行训练，获得训练后的图像生成模型；
    目标风格样本图像生成模块，用于基于所述训练后的图像生成模型生成多个目标风格人脸样本图像；
    风格图像生成模型训练模块，用于利用所述多个原始人脸样本图像和所述多个目标风格人脸样本图像对风格图像生成模型进行训练，获得训练后的风格图像生成模型。
  23. 一种电子设备，其特征在于，包括：
    处理装置；
    存储器，用于存储所述处理装置可执行指令；
    所述处理装置，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现权利要求1-11中任一所述的风格图像生成方法，或者实现权利要求12-20中任一所述的风格图像生成模型的训练方法。
  24. 一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理装置执行时实现权利要求1-11中任一所述的风格图像生成方法，或者实现权利要求12-20中任一所述的风格图像生成模型的训练方法。
PCT/CN2021/114947 2020-09-30 2021-08-27 风格图像生成方法、模型训练方法、装置、设备和介质 WO2022068487A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/029,338 US20230401682A1 (en) 2020-09-30 2021-08-27 Styled image generation method, model training method, apparatus, device, and medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011063185.2 2020-09-30
CN202011063185.2A CN112989904B (zh) 2020-09-30 2020-09-30 风格图像生成方法、模型训练方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
WO2022068487A1 true WO2022068487A1 (zh) 2022-04-07

Family

ID=76344397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/114947 WO2022068487A1 (zh) 2020-09-30 2021-08-27 风格图像生成方法、模型训练方法、装置、设备和介质

Country Status (3)

Country Link
US (1) US20230401682A1 (zh)
CN (1) CN112989904B (zh)
WO (1) WO2022068487A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392216A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、电子设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989904B (zh) * 2020-09-30 2022-03-25 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112330534A (zh) * 2020-11-13 2021-02-05 北京字跳网络技术有限公司 动物脸风格图像生成方法、模型训练方法、装置和设备
CN112991150A (zh) * 2021-02-08 2021-06-18 北京字跳网络技术有限公司 风格图像生成方法、模型训练方法、装置和设备
CN113658285A (zh) * 2021-06-28 2021-11-16 华南师范大学 一种人脸照片到艺术素描的生成方法
CN113362344B (zh) * 2021-06-30 2023-08-11 展讯通信(天津)有限公司 人脸皮肤分割方法和设备
CN115689863A (zh) * 2021-07-28 2023-02-03 北京字跳网络技术有限公司 风格迁移模型训练方法、图像风格迁移方法及装置
US20230114402A1 (en) * 2021-10-11 2023-04-13 Kyocera Document Solutions, Inc. Retro-to-Modern Grayscale Image Translation for Preprocessing and Data Preparation of Colorization
CN113822798B (zh) * 2021-11-25 2022-02-18 北京市商汤科技开发有限公司 生成对抗网络训练方法及装置、电子设备和存储介质
CN114241387A (zh) * 2021-12-22 2022-03-25 脸萌有限公司 具有金属质感图像的生成方法以及模型的训练方法
CN114445301A (zh) * 2022-01-30 2022-05-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN116934887A (zh) * 2022-03-31 2023-10-24 脸萌有限公司 基于端云协同的图像处理方法、装置、设备及存储介质
CN117234325A (zh) * 2022-06-08 2023-12-15 广州视源电子科技股份有限公司 图像处理方法、装置、存储介质及头显设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075291A (zh) * 2006-05-18 2007-11-21 中国科学院自动化研究所 一种用于人脸识别的高效提升训练方法
CN102156887A (zh) * 2011-03-28 2011-08-17 湖南创合制造有限公司 一种基于局部特征学习的人脸识别方法
CN110555896A (zh) * 2019-09-05 2019-12-10 腾讯科技（深圳）有限公司 一种图像生成方法、装置以及存储介质
CN112989904A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375540A1 (en) * 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
CN106874861A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种人脸矫正方法及系统
CN108021979A (zh) * 2017-11-14 2018-05-11 华南理工大学 一种基于原始生成对抗网络模型的特征重标定卷积方法
CN110020578A (zh) * 2018-01-10 2019-07-16 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110136216A (zh) * 2018-02-09 2019-08-16 北京三星通信技术研究有限公司 图像生成的方法及终端设备
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置
CN108846793B (zh) * 2018-05-25 2022-04-22 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN109308681B (zh) * 2018-09-29 2023-11-24 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109508669B (zh) * 2018-11-09 2021-07-23 厦门大学 一种基于生成式对抗网络的人脸表情识别方法
CN109829396B (zh) * 2019-01-16 2020-11-13 广州杰赛科技股份有限公司 人脸识别运动模糊处理方法、装置、设备及存储介质
CN109859295B (zh) * 2019-02-01 2021-01-12 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
CN110363060B (zh) * 2019-04-04 2021-07-20 杭州电子科技大学 基于特征子空间生成对抗网络的小样本目标识别方法
CN111652792B (zh) * 2019-07-05 2024-03-05 广州虎牙科技有限公司 图像的局部处理、直播方法、装置、设备和存储介质
CN110838084B (zh) * 2019-09-24 2023-10-17 咪咕文化科技有限公司 一种图像的风格转移方法、装置、电子设备及存储介质
CN111126155B (zh) * 2019-11-25 2023-04-21 天津师范大学 一种基于语义约束生成对抗网络的行人再识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075291A (zh) * 2006-05-18 2007-11-21 中国科学院自动化研究所 一种用于人脸识别的高效提升训练方法
CN102156887A (zh) * 2011-03-28 2011-08-17 湖南创合制造有限公司 一种基于局部特征学习的人脸识别方法
CN110555896A (zh) * 2019-09-05 2019-12-10 腾讯科技（深圳）有限公司 一种图像生成方法、装置以及存储介质
CN112989904A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392216A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、电子设备及存储介质
CN115392216B (zh) * 2022-10-27 2023-03-14 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112989904A (zh) 2021-06-18
US20230401682A1 (en) 2023-12-14
CN112989904B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
WO2022068487A1 (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
CN111242881B (zh) 显示特效的方法、装置、存储介质及电子设备
WO2022068451A1 (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
WO2023125374A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN111369427A (zh) 图像处理方法、装置、可读介质和电子设备
WO2022012085A1 (zh) 人脸图像处理方法、装置、存储介质及电子设备
CN111866483B (zh) 颜色还原方法及装置、计算机可读介质和电子设备
WO2022233223A1 (zh) 图像拼接方法、装置、设备及介质
US20240104810A1 (en) Method and apparatus for processing portrait image
CN111833242A (zh) 人脸变换方法、装置、电子设备和计算机可读介质
WO2023273697A1 (zh) 图像处理方法、模型训练方法、装置、电子设备及介质
WO2022166907A1 (zh) 图像处理方法、装置、设备及可读存储介质
CN110225331B (zh) 选择性地将色彩施加到图像
CN112967193A (zh) 图像校准方法及装置、计算机可读介质和电子设备
CN113902636A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
WO2023143229A1 (zh) 图像处理方法、装置、设备及存储介质
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
US20240031518A1 (en) Method for replacing background in picture, device, storage medium and program product
CN112801997B (zh) 图像增强质量评估方法、装置、电子设备及存储介质
WO2020215854A1 (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN115953597A (zh) 图像处理方法、装置、设备及介质
CN114119413A (zh) 图像处理方法及装置、可读介质和移动终端
CN113240599A (zh) 图像调色方法及装置、计算机可读存储介质、电子设备
CN113610720A (zh) 视频去噪方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21874148

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.07.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21874148

Country of ref document: EP

Kind code of ref document: A1