WO2024140081A1 - 脸部图像处理方法、装置、计算机设备及存储介质 - Google Patents

脸部图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2024140081A1
WO2024140081A1 PCT/CN2023/136795 CN2023136795W WO2024140081A1 WO 2024140081 A1 WO2024140081 A1 WO 2024140081A1 CN 2023136795 W CN2023136795 W CN 2023136795W WO 2024140081 A1 WO2024140081 A1 WO 2024140081A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
facial image
target
hairline
processed
Prior art date
Application number
PCT/CN2023/136795
Other languages
English (en)
French (fr)
Inventor
朱渊略
Original Assignee
北京字跳网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字跳网络技术有限公司 filed Critical 北京字跳网络技术有限公司
Publication of WO2024140081A1 publication Critical patent/WO2024140081A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Definitions

  • the present disclosure relates to the field of image processing technology, and in particular to a facial image processing method, apparatus, computer equipment and storage medium.
  • AI artificial intelligence
  • neural networks are widely used in image processing scenarios, such as AI beauty.
  • AI beauty generates beautified images by beautifying and applying makeup to images.
  • the embodiments of the present disclosure at least provide a facial image processing method, apparatus, computer equipment, and storage medium.
  • some embodiments of the present disclosure provide a facial image processing method, comprising:
  • the target area image in the reference facial image that matches the target area information is fused with the facial image to be processed to generate a target facial image.
  • determining the target area information in the reference facial image includes:
  • Performing facial region segmentation processing on the reference facial image and the facial image to be processed respectively generating a first segmented image corresponding to the reference facial image and a second segmented image corresponding to the facial image to be processed; wherein, in the first segmented image and the second segmented image, pixel values corresponding to different semantic regions are different;
  • target region information of a region where the hairline in the reference facial image is located is determined.
  • determining target region information of a region where the hairline in the reference facial image is located based on the first segmented image and the second segmented image includes:
  • target region information of a region where the hairline in the reference facial image is located is determined.
  • target region information of a region where the hairline in the reference facial image is located is determined.
  • the method further includes:
  • the pixel value at the pixel position corresponding to the target image area is zero;
  • the step of determining target region information of a region where the hairline in the reference facial image is located based on the hairline segmentation image includes:
  • target region information of a region where the hairline in the reference facial image is located is determined.
  • the method before fusing the target area image in the reference facial image that matches the target area information with the facial image to be processed, the method further includes:
  • the hair color of the reference facial image is adjusted to generate an adjusted reference facial image.
  • the step of fusing the target area image in the reference facial image that matches the target area information with the facial image to be processed to generate a target facial image includes:
  • the adjusting the facial image to be processed to generate a reference facial image includes: adjusting the facial image to be processed using a trained target neural network to generate a reference facial image;
  • the target neural network is obtained by training according to the following steps:
  • each candidate facial image pair comprises: a first candidate facial image, and a second candidate facial image obtained by adjusting the hairline of the first candidate facial image;
  • the training samples are used to train the neural network to obtain the target neural network.
  • determining a first reconstructed image of the first candidate facial image and a second reconstructed image of the second candidate facial image in the candidate facial image pair includes:
  • the first noise data based on the first noise data, generate the first reconstructed image; or, determine the noise difference data between the second noise data and the first noise data, perform difference processing on the first noise data and the noise difference data to obtain third noise data, and use the third noise data to generate the first reconstructed image.
  • some embodiments of the present disclosure further provide a facial image processing device, comprising:
  • An acquisition module used for acquiring a facial image to be processed
  • a first generating module used for adjusting the facial image to be processed to generate a reference facial image
  • a determination module used to determine target area information in the reference facial image
  • the second generating module is used to fuse the target area image matching the target area information in the reference facial image with the facial image to be processed to generate a target facial image.
  • some embodiments of the present disclosure further provide a computer device, comprising: a processor, a memory and a bus, wherein the memory stores machine-readable instructions executable by the processor, and when the computer device is running, the processor communicates with the memory via the bus, and when the machine-readable instructions are executed by the processor, the steps of the above-mentioned first aspect, or any possible implementation of the first aspect are performed.
  • some embodiments of the present disclosure further provide a computer-readable storage medium having a computer program stored thereon, which, when executed by a processor, executes the steps of the above-mentioned first aspect, or any possible implementation of the first aspect.
  • Some embodiments of the present disclosure provide a facial image processing method, apparatus, computer device, and storage medium, which adjusts the acquired facial image to be processed through a target neural network to generate a reference facial image.
  • the present disclosure determines target area information in the reference facial image, such as target area information of the area where the hairline is located, and fuses the target area image in the reference facial image that matches the target area information with the facial image to be processed to generate a target facial image, which is an image after the hairline is adjusted.
  • FIG1 shows a flow chart of a facial image processing method provided by an embodiment of the present disclosure
  • FIG5 shows a schematic diagram of the structure of a computer device provided by an embodiment of the present disclosure.
  • the present disclosure provides a facial image processing method, which can use a target neural network to adjust the acquired facial image to be processed to generate a reference facial image, for example, a specific part such as a hairline can be adjusted.
  • a target neural network to adjust the acquired facial image to be processed to generate a reference facial image
  • a specific part such as a hairline
  • the reference facial image is different from the facial image to be processed, but other regional information such as background information, the user's facial features, skin color, hair color, etc. are also different from the facial image to be processed, so that the display effect of the reference facial image is not good.
  • the present disclosure determines the target area information in the reference facial image, such as determining the regional information of the area where the hairline is located, and fuses the target area image matching the target area information in the reference facial image and the facial image to be processed to generate a target facial image.
  • the target facial image is an image after the hairline is adjusted. While ensuring that the other regional images in the target facial image except the specific part such as the hairline area are the same as the facial image to be processed, the specific part adjustment is achieved, the effect of the hairline adjustment is improved, and the display effect of the target facial image is better.
  • the execution subject of the facial image processing method is generally a computer device with certain computing capabilities.
  • FIG. 1 is a flowchart of a facial image processing method provided by an embodiment of the present disclosure, the method includes S101 to S104, wherein:
  • the target area information of the hairline area in the reference facial image can be determined based on the first segmented image and the second segmented image.
  • the first segmented image and the second segmented image can be overlapped based on the nose area.
  • a hair deviation region corresponding to the hair region in the first segmented image and the second segmented image is determined, and the hair deviation region is determined as the region where the hairline in the reference facial image is located, so as to obtain target region information of the region where the hairline is located.
  • Step a22 subtracting pixel values at corresponding pixel positions in the adjusted first segmented image and the adjusted second segmented image to generate a deviation image containing the area where the hairline is located.
  • Step a23 determining target area information of the area where the hairline in the reference facial image is located based on the deviation image.
  • a target reference line can be set based on the target part, such as the eyebrow part, the eye part, etc., that is, a horizontal line is drawn at the position of the target part as the target reference line. Then, the pixel values of the pixels located under the target reference line in the first segmented image and the second segmented image are adjusted to preset values, such as 0, 1, etc., to obtain the adjusted first segmented image and the adjusted second segmented image.
  • the pixel values at the corresponding pixel positions are subtracted to generate a deviation image including the area where the hairline is located.
  • the pixel value of the pixel point located in the first row and first column on the adjusted first segmented image can be subtracted from the pixel value of the pixel point located in the first row and first column on the adjusted second segmented image to obtain a pixel difference value, which is the pixel value of the pixel point located in the first row and first column on the deviation image.
  • the pixel difference value corresponding to each pixel position can be obtained, thereby obtaining a deviation image.
  • the pixel values at corresponding pixel positions in the adjusted first segmented image and the adjusted second segmented image are subtracted to generate a deviation image containing the area where the hairline is located. Based on the deviation image, the target area information of the hairline area in the reference facial image can be determined more simply and efficiently.
  • a face mask map can be generated based on the first segmented image.
  • the pixel value of the face and hair area in the face mask map is 1, and the pixel value of the area other than the face and hair is 0.
  • the pixel values at the corresponding pixel positions in the processed deviation image and the face mask map are multiplied to generate a hairline segmentation image.
  • the determining, based on the hairline segmentation image, target area information of the area where the hairline is located in the reference facial image includes: determining, based on the adjusted hairline segmentation image, target area information of the area where the hairline is located in the reference facial image.
  • a processed first segmented image is generated based on the target image region, wherein the pixel value at the pixel position of the target image region in the first segmented image is zero; then, the processed first segmented image is multiplied with the pixel value at the corresponding pixel position in the hairline segmented image to generate an adjusted hairline segmented image, so that the target region information of the region where the hairline is located in the reference facial image can be determined based on the adjusted hairline segmented image, so that the determined target region information can occupy less forehead area, so that a target facial image with better display effect can be generated subsequently.
  • the target facial image can also be generated by using the hairline segmentation image (or the adjusted hairline segmentation image), the face image to be processed and the target area image.
  • the hairline segmentation image is a mask image.
  • img_x is the pixel value of the same pixel position in the face image to be processed
  • img_y is the pixel value of the same pixel position in the reference face image
  • blend_img is the pixel value of the same pixel position in the target face image.
  • the hair color of the reference facial image may be different from that of the facial image to be processed.
  • the hair color of the reference facial image may be adjusted before image fusion.
  • the step of fusing the target area image in the reference facial image that matches the target area information with the facial image to be processed to generate the target facial image includes: fusing the target area image in the adjusted reference facial image that matches the target area information with the facial image to be processed to generate the target facial image.
  • the trained target neural network can be used to adjust the facial image to be processed to generate a reference facial image.
  • the step of training the target neural network can also be included. The following is an exemplary description of the process of training the target neural network.
  • training to obtain the target neural network includes:
  • Step c1 obtaining a plurality of candidate facial image pairs, wherein each candidate facial image pair comprises: a first candidate facial image, and a second candidate facial image obtained by adjusting the hairline of the first candidate facial image;
  • Step c2 for each of the candidate facial image pairs, determining a first reconstructed image of the first candidate facial image and a second reconstructed image of the second candidate facial image in the candidate facial image pair; and fusing a regional image of the hairline region in the second reconstructed image with the first reconstructed image to generate a third reconstructed image, and determining the first reconstructed image and the third reconstructed image as a reconstructed image pair;
  • Step c3 determining each of the reconstructed image pairs as training samples
  • Step c4 using the training samples to train the neural network to obtain the target neural network.
  • Step c21 determining first noise data of the first candidate facial image and second noise data of the second candidate facial image.
  • Step c22 generating the second reconstructed image based on the second noise data.
  • the image-to-noise tool can be used to convert the input image into noise data.
  • the first candidate face image can be processed by e4e to generate first noise data
  • the second candidate face image can be processed by e4e to generate second noise data.
  • the second noise data can then be input into the stylegan2 network to generate a second reconstructed image, as shown in Figure 3c.
  • the first noise data can be input into the stylegan2 network to generate a first reconstructed image, as shown in FIG3 b.
  • the noise difference data between the second noise data and the first noise data can be determined, that is, the first noise data is subtracted from the second noise data to generate the noise difference data; since the difference between the first candidate facial image and the second candidate facial image is the position of the hairline, the difference between the first noise data and the second noise data is also the difference in the hairline position, and thus the noise difference data can characterize the difference in the hairline position between the first noise data and the second noise data.
  • the regional image of the hairline area in the second reconstructed image can be determined, and the regional image can be fused with the first reconstructed image to generate a third reconstructed image.
  • the first reconstructed image and the third reconstructed image are determined as a reconstructed image pair. Then, the reconstructed image pairs corresponding to each candidate facial image pair can be obtained.
  • the pixel values at the corresponding pixel positions in the adjusted first reconstructed segmented image and the adjusted second reconstructed segmented image are subtracted to generate a reconstructed deviation image containing the area where the hairline is located.
  • the area where the hairline is located in the reconstructed deviation image is dilated to generate a processed reconstructed deviation image.
  • a reconstructed face mask image is generated, and the pixel values at the corresponding pixel positions in the processed reconstructed deviation image and the reconstructed face mask image are multiplied to generate a reconstructed segmented image of the hairline.
  • the first reconstructed image can be input into the neural network to be trained to generate a predicted image, and a loss value can be determined based on the predicted image and the second reconstructed image.
  • the network parameters of the neural network to be trained are adjusted using the loss value to train the target neural network.
  • the loss function can be set as needed.
  • Step 12 For each candidate facial image pair, input the first candidate facial image into e4e to generate first noise data, and input the second candidate facial image into e4e to generate second noise data.
  • Step 15 respectively adjust the pixel values of the pixels below the eyebrow area in the first reconstructed segmented image and the second reconstructed segmented image to zero, thereby obtaining an adjusted first reconstructed segmented image and an adjusted second reconstructed segmented image. Subtract the pixel values at corresponding pixel positions in the adjusted first reconstructed segmented image and the adjusted second reconstructed segmented image to generate a reconstructed deviation image containing the area where the hairline is located.
  • Step 16 dilate the area where the hairline is located in the reconstructed deviation image to generate a processed reconstructed deviation image.
  • Step 18 Fusing the regional image of the hairline region in the second reconstructed image with the first reconstructed image to generate a third reconstructed image.
  • the first reconstructed image and the third reconstructed image are determined as a reconstructed image pair.
  • Step 19 determine each reconstructed image pair as a training sample; use the training samples to train the neural network to obtain the target neural network.
  • the application process of the target neural network is then explained. Specifically, it includes:
  • Step 21 Obtain the facial image to be processed.
  • Step 22 Use the target neural network to adjust the hairline of the facial image to be processed to generate a reference facial image.
  • Step 23 perform facial region segmentation processing on the reference facial image and the facial image to be processed respectively, to generate a first segmented image corresponding to the reference facial image and a second segmented image corresponding to the facial image to be processed; wherein, in the first segmented image and the second segmented image, pixel values corresponding to different semantic regions are different.
  • Step 24 respectively adjusting the pixel values of the pixels below the target baseline in the first segmented image and the second segmented image to preset values, to obtain an adjusted first segmented image and an adjusted second segmented image, wherein the target baseline is determined based on the target part.
  • Step 26 dilate the area where the hairline is located in the deviation image to generate a processed deviation image. Generate a face mask image based on the first segmented image, and multiply the pixel values at corresponding pixel positions in the processed deviation image and the face mask image to generate a hairline segmented image; the pixel values of the area other than the face and hair in the face mask image are zero.
  • Step 27 Based on the facial features area in the first segmented image, determine the target image area including the facial features area, and generate a processed first segmented image based on the target image area; in the processed first segmented image, the pixel value at the pixel position corresponding to the target image area is zero; multiply the processed first segmented image with the pixel value at the corresponding pixel position in the hairline segmented image to generate an adjusted hairline segmented image.
  • Step 28 Based on the adjusted hairline segmentation image, determine the target area information of the hairline area in the reference facial image, and determine the hair color information in the facial image to be processed; based on the hair color information, adjust the hair color of the reference facial image to generate an adjusted reference facial image.
  • Step 29 Fusing the target area image that matches the target area information in the adjusted reference facial image with the facial image to be processed to generate a target facial image.
  • the present disclosure also provides a facial image processing method corresponding to the facial image processing method. Since the principle of solving the problem by the device in the embodiment of the present disclosure is similar to the above-mentioned facial image processing method in the embodiment of the present disclosure, the implementation of the device can refer to the implementation of the method, and the repeated parts will not be repeated.
  • An acquisition module 401 is used to acquire a facial image to be processed
  • a first generating module 402 configured to adjust the facial image to be processed to generate a reference facial image
  • a determination module 403, configured to determine target area information in the reference facial image
  • the second generating module 404 is configured to fuse the target area image in the reference facial image that matches the target area information with the facial image to be processed to generate a target facial image.
  • Performing facial region segmentation processing on the reference facial image and the facial image to be processed respectively generating a first segmented image corresponding to the reference facial image and a second segmented image corresponding to the facial image to be processed; wherein, in the first segmented image and the second segmented image, pixel values corresponding to different semantic regions are different;
  • target region information of a region where the hairline in the reference facial image is located is determined.
  • the determination module 403 when determining the target region information of the region where the hairline is located in the reference facial image based on the first segmented image and the second segmented image, is configured to:
  • the first generating module 402 when adjusting the facial image to be processed to generate a reference facial image, is used to: adjust the facial image to be processed using a trained target neural network to generate a reference facial image;
  • target region information of a region where the hairline in the reference facial image is located is determined.
  • the step of determining target region information of a region where the hairline in the reference facial image is located based on the hairline segmentation image includes:
  • the present disclosure also provides a computer-readable storage medium, which stores a computer program, and when the computer program is executed by a processor, the steps of the facial image processing method described in the above method embodiment are executed.
  • the storage medium can be a volatile or non-volatile computer-readable storage medium.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place or distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of this embodiment.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种脸部图像处理方法、装置、计算机设备及存储介质，其中，该方法包括：获取待处理脸部图像；对所述待处理脸部图像进行调整，生成参考脸部图像；确定所述参考脸部图像中目标区域信息；将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。

Description

脸部图像处理方法、装置、计算机设备及存储介质
本申请是以中国申请号为202211675616.X，申请日为2022年12月26日的申请为基础，并主张其优先权，该中国申请的公开内容在此作为整体引入本申请中。
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种脸部图像处理方法、装置、计算机设备及存储介质。
背景技术
随着人工智能(Artificial Intelligence，AI)技术的发展，神经网络被广泛应用于图像处理场景中，比如AI美颜。其中，AI美颜通过对图像进行美化处理、上妆处理等，生成美颜后的图像。
发明内容
本公开实施例至少提供一种脸部图像处理方法、装置、计算机设备及存储介质。
第一方面，本公开的一些实施例提供了一种脸部图像处理方法，包括：
获取待处理脸部图像；
对所述待处理脸部图像进行调整，生成参考脸部图像；
确定所述参考脸部图像中目标区域信息；
将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
在一些实施方式中，所述确定所述参考脸部图像中目标区域信息，包括：
分别对所述参考脸部图像和所述待处理脸部图像进行人脸区域分割处理，生成所述参考脸部图像对应的第一分割图像和所述待处理脸部图像对应的第二分割图像；其中，在所述第一分割图像和所述第二分割图像中，不同语义区域对应的像素值不同；
基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，所述基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
分别将所述第一分割图像和所述第二分割图像中位于目标基准线下方的像素点的像素值调整为预设值，得到调整后第一分割图像和调整后第二分割图像，其中，所述目标基准线为基于目标部位确定的；
在所述调整后第一分割图像和所述调整后第二分割图像中，使对应像素位置上的像素值相减，生成包含发际线所处区域的偏差图像；
基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，所述基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
对所述偏差图像中所述发际线所处区域进行膨胀处理，生成处理后偏差图像；
根据所述第一分割图像，生成人脸掩码图；
基于所述处理后偏差图像和所述人脸掩码图生成发际线分割图像；
基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，在所述生成发际线分割图像之后，还包括：
基于所述第一分割图像中五官所在区域，确定包含所述五官所在区域的目标图像区域，基于所述目标图像区域，生成处理后第一分割图像；所述处理后第一分割图像中，对应所述目标图像区域的像素位置处的像素值为零；
基于所述处理后的第一分割图像与所述发际线分割图像生成调整后发际线分割图像；
所述基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
基于所述调整后发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，在所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合之前，还包括：
确定所述待处理脸部图像中的头发颜色信息；
基于所述头发颜色信息，对所述参考脸部图像的头发颜色进行调整，生成调整后参考 脸部图像；
所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像，包括：
将所述调整后参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
在一些实施方式中，所述对所述待处理脸部图像进行调整，生成参考脸部图像，包括：利用训练得到的目标神经网络对所述待处理脸部图像进行调整，生成参考脸部图像；
根据下述步骤训练得到所述目标神经网络：
获取多个候选脸部图像对，其中每个所述候选脸部图像对包括：第一候选脸部图像、和对所述第一候选脸部图像进行发际线调整后得到的第二候选脸部图像；
针对每个所述候选脸部图像对，确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像；以及将所述第二重构图像中发际线所处区域的区域图像、与所述第一重构图像进行融合，生成第三重构图像，并将所述第一重构图像和所述第三重构图像，确定为重构图像对；
将各个所述重构图像对，确定为训练样本；
利用所述训练样本，对待训练神经网络进行训练，得到目标神经网络。
在一些实施方式中，所述确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像，包括：
确定所述第一候选脸部图像的第一噪声数据，以及所述第二候选脸部图像的第二噪声数据；
基于所述第二噪声数据，生成所述第二重构图像；
以及，基于所述第一噪声数据，生成所述第一重构图像；或者，确定所述第二噪声数据与所述第一噪声数据之间的噪声差值数据，将所述第一噪声数据与所述噪声差值数据进行求差处理，得到第三噪声数据，利用所述第三噪声数据，生成所述第一重构图像。
第二方面，本公开的一些实施例还提供一种脸部图像处理装置，包括：
获取模块，用于获取待处理脸部图像；
第一生成模块，用于对所述待处理脸部图像进行调整，生成参考脸部图像；
确定模块，用于确定所述参考脸部图像中目标区域信息；
第二生成模块，用于将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
第三方面，本公开的一些实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开的一些实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
本公开的一些实施例提供的脸部图像处理方法、装置、计算机设备及存储介质，该方法通过目标神经网络对获取的待处理脸部图像进行调整，生成参考脸部图像。本公开通过确定参考脸部图像中目标区域信息，比如发际线所处区域的目标区域信息，将参考脸部图像中与目标区域信息匹配的目标区域图像、和待处理脸部图像进行融合，生成目标脸部图像，目标脸部图像为发际线调整后的图像。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种脸部图像处理方法的流程图；
图2示出了本公开实施例所提供的脸部图像处理方法中，参考脸部图像和待处理脸部图像进行融合的示意图；
图3示出了本公开实施例所提供的脸部图像处理方法中，第二重构图像和利用两种方式生成的第一重构图像的示意图；
图4示出了本公开实施例所提供的一种脸部图像处理装置的示意图；
图5示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
随着人工智能(Artificial Intelligence，AI)技术的发展，神经网络被广泛应用于图像处理场景中，比如AI美颜。其中，AI美颜通过对图像进行美化处理、上妆处理等，生成美颜后的图像。
由于越来越多的用户图像存在发际线较高的问题，使得补充发际线成为图像美颜的需求之一。因此提出一种满足上述需求的脸部图像处理方法尤为重要。
基于此，本公开提供了一种脸部图像处理方法，该方法可以利用目标神经网络对获取的待处理脸部图像进行调整，生成参考脸部图像，比如可以对特定部位如发际线进行调整。考虑到参考脸部图像中不仅特定部位(如发际线)所处区域的区域信息与待处理脸部图像不同，其他区域信息比如背景信息、用户的五官、肤色、头发颜色等也会与待处理脸部图像存在差别，使得参考脸部图像的展示效果不佳，为了缓解上述问题，本公开通过确定参考脸部图像中目标区域信息，如确定发际线所处区域的区域信息，将参考脸部图像中与目标区域信息匹配的目标区域图像、和待处理脸部图像进行融合，生成目标脸部图像，目标脸部图像为发际线调整后的图像，在保障了目标脸部图像中除特定部位如发际线区域之外的其他区域图像、与待处理脸部图像相同的同时，实现了特定部位调整，提高了发际线调整的效果，使得目标脸部图像的展示效果较佳。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、 B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种脸部图像处理方法进行详细介绍，该脸部图像处理方法的执行主体一般为具有一定计算能力的计算机设备。
下面以执行主体为服务器为例对本公开实施例提供的脸部图像处理方法加以说明。
参见图1所示，为本公开实施例提供的脸部图像处理方法的流程图，所述方法包括S101～S104，其中：
S101，获取待处理脸部图像。
S102，对所述待处理脸部图像进行调整，生成参考脸部图像。
S103，确定所述参考脸部图像中目标区域信息。
S104，将参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
下述对S101-S104进行具体说明。
针对S101以及S102：
待处理脸部图像可以为任一用户的脸部图像。实施时，可以响应于调整操作，对待处理脸部图像进行调整，生成参考脸部图像，或者，也可以利用训练得到的目标神经网络对待处理脸部图像进行调整，生成参考脸部图像，即将获取的待处理脸部图像输入至目标神 经网络中，目标神经网络对待处理脸部图像进行调整，生成参考脸部图像，比如可以对待处理脸部图像的发际线进行调整，则该参考脸部图像可以为补充了发际线(即发际线下移)的图像。其中，目标神经网络为训练得到的、用于进行发际线调整的网络，该目标神经网络的网络结构可以根据需要进行设置，比如目标神经网络可以为pix2pix网络。
针对S103：
示例性的，可以响应于人工标注操作，在参考脸部图像中标注发际线所处区域，再可以基于标注结果，确定参考脸部图像中目标区域信息，比如发际线所处区域的目标区域信息。再或者，也可以确定参考脸部图像中眉毛部位所处位置，以该位置为基准，按照预设形状和尺寸，确定参考脸部图像的标注区域，将该标注区域确定为发际线所处区域，进而得到参考脸部图像中发际线所处区域的目标区域信息。其中，该目标区域信息可以为发际线所处区域在参考脸部图像中的位置信息。
在一些实施方式中，所述确定所述参考脸部图像中目标区域信息，包括：
步骤a1，分别对所述参考脸部图像和所述待处理脸部图像进行人脸区域分割处理，生成与所述参考脸部图像对应的第一分割图像和与所述待处理脸部图像对应的第二分割图像；其中，在所述第一分割图像和所述第二分割图像中，不同语义区域对应的像素值不同。
步骤a2，基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在实施时，可以对参考脸部图像进行人脸区域分割处理，生成第一分割图像，比如可以利用人脸解析face-parsing工具对参考脸部图像进行人脸区域分割处理，生成第一分割图像。或者，也可以利用人脸分割神经网络对参考脸部图像进行人脸区域分割处理，生成第一分割图像。同理，可以利用相同方式对待处理脸部图像进行人脸区域分割处理，生成第二分割图像。其中，在第一分割图像和第二分割图像中，不同语义区域对应的像素值不同，第一分割图像的图像尺寸与参考脸部图像的图像尺寸可以一致，并且第二分割图像的图像尺寸与待处理脸部图像的图像尺寸可以一致。
比如，第一分割图像中眉毛部位所处区域对应的像素值可以为s1，眼睛部位所处区域对应的像素值可以为s2，鼻子部位所处区域对应的像素值为s3，嘴唇部位所处区域对应的像素值为s4，头发所处区域对应的像素值为s5，整个人脸区域上除上述部位之外的其他区域对应的像素值为s6。
再可以根据第一分割图像和第二分割图像，确定参考脸部图像中发际线所处区域的目标区域信息。比如，可以以鼻子部位为基准，将第一分割图像和第二分割图像进行重叠， 确定第一分割图像和第二分割图像中头发区域对应的头发偏差区域，将该头发偏差区域确定为参考脸部图像中发际线所处区域，得到发际线所处区域的目标区域信息。
这里，通过生成第一分割图像和第二分割图像，第一分割图像和第二分割图像中不同语义区域对应不同像素值，进而基于第一分割图像和第二分割图像可以较方便地确定参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，在步骤a2中，基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，具体包括：
步骤a21，分别将所述第一分割图像和所述第二分割图像中位于目标基准线下方的像素点的像素值调整为预设值，得到调整后第一分割图像和调整后第二分割图像，其中，所述目标基准线是基于目标部位确定的。
步骤a22，在所述调整后第一分割图像和所述调整后第二分割图像中，使对应像素位置上的像素值相减，生成包含发际线所处区域的偏差图像。
步骤a23，基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
考虑到发际线一般均位于额头区域内，为了较准确地确定发际线所处区域、和减少对五官所处区域的调整，可以基于目标部位设置目标基准线，比如目标部位可以为眉毛部位、眼睛部位等，即在目标部位所处位置处划一条水平横线，作为目标基准线。再分别将第一分割图像和第二分割图像中位于目标基准线下发的像素点的像素值调整为预设值，比如预设值可以为0、1等，得到调整后第一分割图像和调整后第二分割图像。
再在调整后第一分割图像和调整后第二分割图像中，使对应像素位置上的像素值相减，生成包含发际线所处区域的偏差图像。比如，可以将调整后第一分割图像上位于第一行第一列的像素点的像素值、与调整后第二分割图像上位于第一行第一列的像素点的像素值相减，得到像素差值，该像素差值为偏差图像上位于第一行第一列的像素点的像素值，同理可以得到各个像素位置对应的像素差值，进而得到偏差图像。
在偏差图像与参考脸部图像之间的图像尺寸相同时，可以将偏差图像中发际线所处区域的区域信息，确定为参考脸部图像中发际线所处区域的目标区域信息。
考虑到调整后第一分割图像和调整后第二分割图像的差别为头发所处区域不同，故将调整后第一分割图像和调整后第二分割图像中，对应像素位置上的像素值相减，能够生成包含发际线所处区域的偏差图像，进而基于偏差图像，可以较简便和较高效地确定参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，所述基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
步骤b1，对所述偏差图像中所述发际线所处区域进行膨胀处理，生成处理后偏差图像；
步骤b2，根据所述第一分割图像，生成人脸掩码图；基于所述处理后偏差图像和所述人脸掩码图生成发际线分割图像；
步骤b3，基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
为了后续能够生成发际线调整效果较佳的图像，可以对偏差图像中发际线所处区域进行膨胀处理，生成处理后偏差图像。在实施时，可以利用卷积核的卷积操作，对偏差图像进行膨胀处理，得到处理后偏差图像。或者，对偏差图像中发际线所处区域进行腐蚀膨胀处理，生成处理后偏差图像。
考虑到发际线所处区域位于人脸头发上，故为了缓解人脸区域、头发区域之外的其他区域的干扰，较准确地确定发际线所处区域，可以根据第一分割图像，生成人脸掩码图，该人脸掩码图中人脸和头发所处区域的像素值为1，除人脸和头发外的区域的像素值为0。将处理后偏差图像和人脸掩码图中，对应像素位置上的像素值相乘，生成发际线分割图像。
再基于发际线分割图像，确定参考脸部图像中发际线所处区域的目标区域信息，比如可以将发际线分割图像中发际线所处区域的区域信息，确定为目标区域信息。
这里，通过根据第一分割图像生成人脸掩码图像，由于人脸掩码图中除人脸和头发外的区域的像素值为零，故将人脸掩码图像与处理后偏差图像进行对应像素位置上的像素值相乘，能够将处理后偏差图像中除人脸和头发外的区域上的像素信息过滤掉，以便后续较准确地确定目标区域信息。
在一些实施方式中，在所述生成发际线分割图像之后，还包括：基于所述第一分割图像中五官所在区域，确定包含所述五官所在区域的目标图像区域，基于所述目标图像区域，生成处理后第一分割图像；所述处理后第一分割图像中，对应所述目标图像区域的像素位置处的像素值为零；基于所述处理后的第一分割图像与所述发际线分割图像生成调整后发际线分割图像。
所述基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：基于所述调整后发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在生成发际线分割图之后，考虑到将偏差图像中发际线所处区域进行了膨胀处理，使 得发际线所处区域可能占据了较多的额头区域，在后续将参考脸部图像中目标区域图像和待处理脸部图像融合时可能会造成以下问题：使得得到的目标脸部图像中额头区域的像素信息与参考脸部图像更匹配，而非与待处理脸部图像更匹配，由于参考脸部图像和待处理脸部图像之间存在偏差，造成目标脸部图像与待处理脸部图像的额头区域存在偏差，使得目标脸部图像的展示效果不佳。
为了缓解上述问题，本公开基于第一分割图像中五官所在区域，确定包含五官所在区域的目标图像区域。比如，可以对第一分割图像中五官所在区域进行腐蚀膨胀处理，生成膨胀后五官区域，即得到包含五官所在区域的目标图像区域。再基于目标图像区域生成处理后第一分割图像，其中第一分割图像中对目标图像区域的像素位置处的像素值为零；再将处理后的第一分割图像与发际线分割图像中，对应像素位置上的像素值相乘，生成调整后发际线分割图像，以便后续基于调整后发际线分割图像，确定参考脸部图像中发际线所处区域的目标区域信息，使得确定的目标区域信息可以较少的占据额头区域，以便后续能够生成展示效果较佳的目标脸部图像。
针对S104：
在得到目标区域信息之后，可以从参考脸部图像中确定与目标区域信息匹配的目标区域图像，该目标区域图像可以为参考脸部图像中发际线所处区域的区域图像。再将该目标区域图像与待处理脸部图像进行融合，生成目标脸部图像。比如可以从待处理脸部图像中确定与目标区域信息匹配的局部图像，将该局部图像替换为目标区域图像，生成目标脸部图像。
参见图2所示，图2中a示出了待处理脸部图像，图2中b示出了参考脸部图像和目标区域图像，将待处理脸部图像与目标区域图像进行融合，得到目标脸部图像，如图2中c所示的目标脸部图像。
具体实施时，还可以利用发际线分割图像(或者调整后发际线分割图像)、待处理脸部图像与目标区域图像，生成目标脸部图像。其中，发际线分割图像为掩码图mask。比如可以根据下述公式，生成目标脸部图像：
blend_img＝img_x*(1.0-mask)+img_y*mask
其中，mask为掩码图中像素位置的像素值，img_x为待处理脸部图像中相同像素位置的像素值，img_y为参考脸部图像中相同像素位置的像素值，blend_img为目标脸部图像中相同像素位置的像素值。
考虑到目标神经网络在对待处理脸部图像进行发际线调整，生成参考脸部图像后，可 能会使得参考脸部图像的发色与待处理脸部图像的发色存在差别，为了保障生成的目标脸部图像的发色与待处理脸部图像一致，可以在进行图像融合之前，对参考脸部图像的发色进行调整。
在具体实施时，在所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像、和所述待处理脸部图像进行融合之前，还包括：确定所述待处理脸部图像中的头发颜色信息；基于所述头发颜色信息，对所述参考脸部图像的头发颜色进行调整，生成调整后参考脸部图像。
所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像，包括：将所述调整后参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
确定待处理脸部图像中的头发颜色信息，比如可以利用直方图统计确定待处理脸部图像的头发颜色，再可以将待处理脸部图像的头发颜色迁移至参考脸部图像上，生成调整后参考脸部图像。再可以从调整后参考脸部图像中确定与目标区域信息匹配的目标区域图像，再将目标区域图像与待处理脸部图像进行融合，生成目标脸部图像。
实施时可以利用训练得到的目标神经网络对待处理脸部图像进行调整，生成参考脸部图像。本公开实施之前，还可以包括训练得到目标神经网络的步骤，下述对训练得到目标神经网络的过程进行示例性说明。
在一些实施方式中，训练得到所述目标神经网络，包括：
步骤c1，获取多个候选脸部图像对，其中每个所述候选脸部图像对包括：第一候选脸部图像、和对所述第一候选脸部图像进行发际线调整后得到的第二候选脸部图像；
步骤c2，针对每个所述候选脸部图像对，确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像；以及将所述第二重构图像中发际线所处区域的区域图像、与所述第一重构图像进行融合，生成第三重构图像，并将所述第一重构图像和所述第三重构图像，确定为重构图像对；
步骤c3，将各个所述重构图像对，确定为训练样本；
步骤c4，利用所述训练样本，对待训练神经网络进行训练，得到目标神经网络。
在步骤c1中，每个候选脸部图像对中包括第一候选脸部图像和第二候选脸部图像；其中第一候选脸部图像可以为任一脸部图像，第二候选脸部图像可以为将第一候选脸部图像进行发际线调整后得到的。实施时，可以响应于人工操作，对第一候选脸部图像进行发际线调整，生成第二候选脸部图像。或者，也可利用样本对pix2pix网络进行训练，得到训 练后的pix2pix网络，该网络的用于对输入图像的发际线进行调整；再将第一候选脸部图像输入至训练后的pix2pix网络，生成第二候选脸部图像，由于pix2pix网络对输入图像进行细微调整，故可以利用训练后的pix2pix网络对第一候选脸部图像进行多次调整，生成第二候选脸部图像。
在步骤c2中，由于第二候选脸部图像中发际线调整痕迹较重，使得第二候选脸部图像不自然，展示效果不佳，为了得到发际线调整较为自然的图像，可以对第一候选脸部图像和第二候选脸部图像进行重构。实施时，针对每个候选脸部图像对，可以利用神经网络对第一候选脸部图像和第二候选脸部图像进行重构，生成第一重构图像和第二重构图像。比如，可以利用剪辑编码器(encoder for editing，e4e)工具和stylegan2网络构成的神经网络进行图像重构，具体的e4e能够将输入图像转换为噪声数据，再将该噪声数据输入至stylegan2中，生成输入图像对应的重构图像。
在具体实施时，可以根据下述步骤确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像：
步骤c21，确定所述第一候选脸部图像的第一噪声数据，以及所述第二候选脸部图像的第二噪声数据。
步骤c22，基于所述第二噪声数据，生成所述第二重构图像。
步骤c23，以及，基于所述第一噪声数据，生成所述第一重构图像；或者，确定所述第二噪声数据与所述第一噪声数据之间的噪声差值数据，将所述第一噪声数据与所述噪声差值数据进行求差处理，得到第三噪声数据，利用所述第三噪声数据，生成所述第一重构图像。
示例性的，可以利用图像转噪声的工具，将输入图像转换为噪声数据。比如，可以利用e4e对第一候选脸部图像进行处理，生成第一噪声数据，以及利用e4e对第二候选脸部图像进行处理，生成第二噪声数据。再可以将第二噪声数据输入至stylegan2网络中，生成第二重构图像，参见图3中c所示。
一种方式中，可以将第一噪声数据输入至stylegan2网络中，生成第一重构图像，参见图3中b所示。另一种方式中，考虑到直接将第一噪声数据输入至stylegan2网络生成重构图像后，该重构图像的发际线位置、与第二重构图像的发际线位置差别较小，为了缓解上述问题，可以确定第二噪声数据与第一噪声数据之间的噪声差值数据，即将第二噪声数据减去第一噪声数据，生成噪声差值数据；由于第一候选脸部图像与第二候选脸部图像之间的差别在于发际线的位置，故第一噪声数据和第二噪声数据的差别之处也为发际线位置的差别，进而噪声差值数据能够表征第一噪声数据和第二噪声数据之间的发际线位置差别特 征，再将第一噪声数据减去噪声差值数据，得到第三噪声数据，该第三噪声数据表征发际线反向处理(即上移)后的图像对应的噪声数据。再将第三噪声数据输入至stylegan2网络中，生成第一重构图像，参见图3中a所示，与直接将第一噪声数据输入至stylegan2网络生成重构图像相比，该第一重构图像中发际线较秃，与第二重构图像的发际线位置的差别较大。
在得到第一重构图像和第二重构图像之后，由于第一重构图像和第二重构图像之间除了发际线位置不同之外，人脸的肤色、发色、五官形状等会有轻微差别，为了减少上述差别对神经网络训练过程造成的干扰，可以确定第二重构图像中发际线所处区域的区域图像，在将该区域图像与第一重构图像进行融合，生成第三重构图像。将第一重构图像和第三重构图像，确定为重构图像对。进而可以得到各个候选脸部图像对分别对应的重构图像对。
其中，确定第二重构图像中发际线所处区域的区域图像的过程，与S103中确定参考脸部图像中发际线所处区域的目标区域信息的过程相同，可以参考上述对S103的具体说明。以及将第二重构图像中发际线所处区域的区域图像、与第一重构图像进行融合，生成第三重构图像的过程，可以参考S104的具体说明。
示例性说明，分别对第一重构图像和第二重构图像进行人脸区域分割处理，生成第一重构图像对应的第一重构分割图像和第二重构图像对应的第二重构分割图像。再分别将第一重构分割图像和第二重构分割图像中位于目标基准线下方的像素点的像素值调整为预设值，得到调整后第一重构分割图像和调整后第二重构分割图像。将调整后第一重构分割图像和调整后第二重构分割图像中，对应像素位置上的像素值相减，生成包含发际线所处区域的重构偏差图像。对重构偏差图像中发际线所处区域进行膨胀处理，生成处理后重构偏差图像。根据第一重构分割图像，生成重构人脸掩码图，并将处理后重构偏差图像和重构人脸掩码图中，对应像素位置上的像素值相乘，生成发际线重构分割图像。基于第一重构分割图像中五官所在区域，确定包含五官所在区域的目标图像区域，基于目标图像区域，生成处理后第一重构分割图像；将处理后的第一重构分割图像与发际线重构分割图像中，对应像素位置上的像素值相乘，生成调整后发际线重构分割图像。进而根据调整后发际线重构分割图像，确定第二重构图像中发际线所处区域的区域图像。
在步骤c3和c4中，可以将多个重构图像对，确定为训练样本，利用该训练样本，对待训练神经网络进行训练，直至训练后的神经网络满足训练截止条件，得到目标神经网络。其中，训练截止条件包括训练次数大于设置的次数阈值、网络损失值小于设置的损失阈值、神经网络收敛等。待训练神经网络的网络结构可以为pix2pix网络。
比如，可以将第一重构图像输入至待训练神经网络中，生成预测图像，根据预测图像和第二重构图像，确定损失值，利用损失值调节待训练神经网络的网络参数，训练得到目标神经网络。其中，损失函数可以根据需要进行设置。
示例性的，对脸部图像处理方法进行示例性说明。首先对训练得到目标神经网络的过程进行说明：
步骤11、获取多个候选脸部图像对，其中每个候选脸部图像对包括：第一候选脸部图像、和对第一候选脸部图像进行发际线调整后得到的第二候选脸部图像。
步骤12、针对每个候选脸部图像对，将第一候选脸部图像输入至e4e中，生成第一噪声数据，以及将第二候选脸部图像输入至e4e中，生成第二噪声数据。
步骤13、将第二噪声数据输入至stylegan2网络中，生成第二重构图像。以及，一种方式中，将第一噪声数据输入至stylegan2网络中，生成第一重构图像。另一种方式中，将第二噪声数据与第一噪声数据相减，得到噪声差值数据，再将第一噪声数据与噪声差值数据相减，得到第三噪声数据；将第三噪声数据输入至stylegan2网络中，生成第一重构图像。
步骤14、利用人脸分割工具比如faceparsing工具，分别对第一重构图像和第二重构图像进行人脸区域分割处理，生成第一重构图像对应的第一重构分割图像、和第二重构图像对应的第二重构分割图像。
步骤15、分别将第一重构分割图像和第二重构分割图像中位于眉毛部位下方的像素点的像素值调整为零，得到调整后第一重构分割图像和调整后第二重构分割图像。将调整后第一重构分割图像和调整后第二重构分割图像中，对应像素位置上的像素值相减，生成包含发际线所处区域的重构偏差图像。
步骤16、对重构偏差图像中发际线所处区域进行膨胀处理，生成处理后重构偏差图像。根据第一重构分割图像，生成重构人脸掩码图，并将处理后重构偏差图像和重构人脸掩码图中，对应像素位置上的像素值相乘，生成发际线重构分割图像。
步骤17、基于第一重构分割图像中五官所在区域，确定包含五官所在区域的目标图像区域，基于目标图像区域，生成处理后第一重构分割图像；将处理后的第一重构分割图像与发际线重构分割图像中，对应像素位置上的像素值相乘，生成调整后发际线重构分割图像。进而根据调整后发际线重构分割图像，确定第二重构图像中发际线所处区域的区域图像。
步骤18、将第二重构图像中发际线所处区域的区域图像、与第一重构图像进行融合，生成第三重构图像。将第一重构图像和第三重构图像，确定为重构图像对。
步骤19、将各个重构图像对，确定为训练样本；利用训练样本，对待训练神经网络进行训练，得到目标神经网络。
再对目标神经网络的应用过程进行说明。具体包括：
步骤21、获取待处理脸部图像。
步骤22、利用目标神经网络对待处理脸部图像进行发际线调整，生成参考脸部图像。
步骤23、分别对参考脸部图像和待处理脸部图像进行人脸区域分割处理，生成参考脸部图像对应的第一分割图像和待处理脸部图像对应的第二分割图像；其中，在第一分割图像和所述第二分割图像中，不同语义区域对应的像素值不同。
步骤24、分别将第一分割图像和第二分割图像中位于目标基准线下方的像素点的像素值调整为预设值，得到调整后第一分割图像和调整后第二分割图像，其中，所述目标基准线为基于目标部位确定的。
步骤25、在调整后第一分割图像和调整后第二分割图像中，使对应像素位置上的像素值相减，生成包含发际线所处区域的偏差图像。
步骤26、对偏差图像中发际线所处区域进行膨胀处理，生成处理后偏差图像。根据第一分割图像，生成人脸掩码图，并将处理后偏差图像和人脸掩码图中，对应像素位置上的像素值相乘，生成发际线分割图像；人脸掩码图中除人脸和头发外的区域的像素值为零。
步骤27、基于第一分割图像中五官所在区域，确定包含五官所在区域的目标图像区域，基于目标图像区域，生成处理后第一分割图像；处理后第一分割图像中，对应目标图像区域的像素位置处的像素值为零；将处理后的第一分割图像与发际线分割图像中，对应像素位置上的像素值相乘，生成调整后发际线分割图像。
步骤28、基于调整后发际线分割图像，确定参考脸部图像中发际线所处区域的目标区域信息。以及确定待处理脸部图像中的头发颜色信息；基于头发颜色信息，对参考脸部图像的头发颜色进行调整，生成调整后参考脸部图像。
步骤29、将调整后参考脸部图像中与目标区域信息匹配的目标区域图像、和待处理脸部图像进行融合，生成目标脸部图像。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与脸部图像处理方法对应的脸部图像处 理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述脸部图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种脸部图像处理装置的架构示意图，所述装置包括：获取模块401、第一生成模块402、确定模块403、第二生成模块404；其中，
获取模块401，用于获取待处理脸部图像；
第一生成模块402，用于对所述待处理脸部图像进行调整，生成参考脸部图像；
确定模块403，用于确定所述参考脸部图像中目标区域信息；
第二生成模块404，用于将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
在一些实施方式中，所述确定模块403，在确定所述参考脸部图像中目标区域信息时，用于：
分别对所述参考脸部图像和所述待处理脸部图像进行人脸区域分割处理，生成所述参考脸部图像对应的第一分割图像和所述待处理脸部图像对应的第二分割图像；其中，在所述第一分割图像和所述第二分割图像中，不同语义区域对应的像素值不同；
基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，所述确定模块403，在基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息时，用于：
分别将所述第一分割图像和所述第二分割图像中位于目标基准线下方的像素点的像素值调整为预设值，得到调整后第一分割图像和调整后第二分割图像，其中，所述目标基准线为基于目标部位确定的；
在所述调整后第一分割图像和所述调整后第二分割图像中，使对应像素位置上的像素值相减，生成包含发际线所处区域的偏差图像；
基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，所述确定模块403，在基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息时，用于：
对所述偏差图像中所述发际线所处区域进行膨胀处理，生成处理后偏差图像；
根据所述第一分割图像，生成人脸掩码图；
基于所述处理后偏差图像和所述人脸掩码图生成发际线分割图像；
基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，所述确定模块403，在所述生成发际线分割图像之后，还用于：
基于所述第一分割图像中五官所在区域，确定包含所述五官所在区域的目标图像区域，基于所述目标图像区域，生成处理后第一分割图像；所述处理后第一分割图像中，对应所述目标图像区域的像素位置处的像素值为零；
基于所述处理后的第一分割图像与所述发际线分割图像生成调整后发际线分割图像；
所述确定模块403，在基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息时，用于：
基于所述调整后发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
在一些实施方式中，在所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合之前，还包括：调整模块405，用于：
确定所述待处理脸部图像中的头发颜色信息；
基于所述头发颜色信息，对所述参考脸部图像的头发颜色进行调整，生成调整后参考脸部图像；
所述第二生成模块404，在将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像时，用于：
将所述调整后参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
在一些实施方式中，第一生成模块402，在对所述待处理脸部图像进行调整，生成参考脸部图像时，用于：利用训练得到的目标神经网络对所述待处理脸部图像进行调整，生成参考脸部图像；
所述装置还包括训练模块406，用于根据下述步骤训练得到所述目标神经网络：
获取多个候选脸部图像对，其中每个所述候选脸部图像对包括：第一候选脸部图像、和对所述第一候选脸部图像进行发际线调整后得到的第二候选脸部图像；
针对每个所述候选脸部图像对，确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像；以及将所述第二重构图像中发 际线所处区域的区域图像、与所述第一重构图像进行融合，生成第三重构图像，并将所述第一重构图像和所述第三重构图像，确定为重构图像对；
将各个所述重构图像对，确定为训练样本；
利用所述训练样本，对待训练神经网络进行训练，得到目标神经网络。
在一些实施方式中，所述训练模块406，在确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像时，用于：
确定所述第一候选脸部图像的第一噪声数据，以及所述第二候选脸部图像的第二噪声数据；
基于所述第二噪声数据，生成所述第二重构图像；
以及，基于所述第一噪声数据，生成所述第一重构图像；或者，确定所述第二噪声数据与所述第一噪声数据之间的噪声差值数据，将所述第一噪声数据与所述噪声差值数据进行求差处理，得到第三噪声数据，利用所述第三噪声数据，生成所述第一重构图像。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图5所示，为本公开实施例提供的计算机设备500的结构示意图，包括处理器501、存储器502、和总线503。其中，存储器502用于存储执行指令，包括内存5021和外部存储器5022；这里的内存5021也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器5022交换的数据，处理器501通过内存5021与外部存储器5022进行数据交换，当计算机设备500运行时，处理器501与存储器502之间通过总线503通信，使得处理器501在执行以下指令：
获取待处理脸部图像；
对所述待处理脸部图像进行调整，生成参考脸部图像；
确定所述参考脸部图像中目标区域信息；
将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
一种可能的设计中，处理器501执行的指令中，所述确定所述参考脸部图像中目标区域信息，包括：
分别对所述参考脸部图像和所述待处理脸部图像进行人脸区域分割处理，生成所述参 考脸部图像对应的第一分割图像和所述待处理脸部图像对应的第二分割图像；其中，在所述第一分割图像和所述第二分割图像中，不同语义区域对应的像素值不同；
基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
一种可能的设计中，处理器501执行的指令中，所述基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
分别将所述第一分割图像和所述第二分割图像中位于目标基准线下方的像素点的像素值调整为预设值，得到调整后第一分割图像和调整后第二分割图像，其中，所述目标基准线为基于目标部位确定的；
在所述调整后第一分割图像和所述调整后第二分割图像中，使对应像素位置上的像素值相减，生成包含发际线所处区域的偏差图像；
基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
一种可能的设计中，处理器501执行的指令中，所述基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
对所述偏差图像中所述发际线所处区域进行膨胀处理，生成处理后偏差图像；
根据所述第一分割图像，生成人脸掩码图；
基于所述处理后偏差图像和所述人脸掩码图生成发际线分割图像；
基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
一种可能的设计中，处理器501执行的指令中，在所述生成发际线分割图像之后，还包括：
基于所述第一分割图像中五官所在区域，确定包含所述五官所在区域的目标图像区域，基于所述目标图像区域，生成处理后第一分割图像；所述处理后第一分割图像中，对应所述目标图像区域的像素位置处的像素值为零；
基于所述处理后的第一分割图像与所述发际线分割图像生成调整后发际线分割图像；
所述基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
基于所述调整后发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
一种可能的设计中，处理器501执行的指令中，在所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合之前，还包括：
确定所述待处理脸部图像中的头发颜色信息；
基于所述头发颜色信息，对所述参考脸部图像的头发颜色进行调整，生成调整后参考脸部图像；
所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像，包括：
将所述调整后参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
一种可能的设计中，处理器501执行的指令中，所述对所述待处理脸部图像进行调整，生成参考脸部图像，包括：利用训练得到的目标神经网络对所述待处理脸部图像进行调整，生成参考脸部图像；
根据下述步骤训练得到所述目标神经网络：
获取多个候选脸部图像对，其中每个所述候选脸部图像对包括：第一候选脸部图像、和对所述第一候选脸部图像进行发际线调整后得到的第二候选脸部图像；
针对每个所述候选脸部图像对，确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像；以及将所述第二重构图像中发际线所处区域的区域图像、与所述第一重构图像进行融合，生成第三重构图像，并将所述第一重构图像和所述第三重构图像，确定为重构图像对；
将各个所述重构图像对，确定为训练样本；
利用所述训练样本，对待训练神经网络进行训练，得到目标神经网络。
一种可能的设计中，处理器501执行的指令中，所述确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像，包括：
确定所述第一候选脸部图像的第一噪声数据，以及所述第二候选脸部图像的第二噪声数据；
基于所述第二噪声数据，生成所述第二重构图像；
以及，基于所述第一噪声数据，生成所述第一重构图像；或者，确定所述第二噪声数据与所述第一噪声数据之间的噪声差值数据，将所述第一噪声数据与所述噪声差值数据进行求差处理，得到第三噪声数据，利用所述第三噪声数据，生成所述第一重构图像。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的脸部图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的脸部图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的 技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

  1. 一种脸部图像处理方法，包括：
    获取待处理脸部图像；
    对所述待处理脸部图像进行调整，生成参考脸部图像；
    确定所述参考脸部图像中的目标区域信息；
    将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
  2. 根据权利要求1所述的方法，其中所述确定所述参考脸部图像中目标区域信息，包括：
    分别对所述参考脸部图像和所述待处理脸部图像进行人脸区域分割处理，生成与所述参考脸部图像对应的第一分割图像和与所述待处理脸部图像对应的第二分割图像；其中，在所述第一分割图像和所述第二分割图像中，不同语义区域对应的像素值不同；
    基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
  3. 根据权利要求2所述的方法，其中所述基于所述第一分割图像和所述第二分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
    分别将所述第一分割图像和所述第二分割图像中位于目标基准线下方的像素点的像素值调整为预设值，得到调整后第一分割图像和调整后第二分割图像，其中，所述目标基准线是基于目标部位确定的；
    在所述调整后第一分割图像和所述调整后第二分割图像中，使对应像素位置上的像素值相减，生成包含发际线所处区域的偏差图像；
    基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
  4. 根据权利要求3所述的方法，所述基于所述偏差图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
    对所述偏差图像中所述发际线所处区域进行膨胀处理，生成处理后偏差图像；
    根据所述第一分割图像，生成人脸掩码图；
    基于所述处理后偏差图像和所述人脸掩码图生成发际线分割图像；
    基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信 息。
  5. 根据权利要求4所述的方法，其中在生成发际线分割图像之后，还包括：
    基于所述第一分割图像中五官所在区域，确定包含所述五官所在区域的目标图像区域，基于所述目标图像区域，生成处理后第一分割图像；所述处理后第一分割图像中，对应所述目标图像区域的像素位置处的像素值为零；
    基于所述处理后的第一分割图像与所述发际线分割图像生成调整后发际线分割图像；
    所述基于所述发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息，包括：
    基于所述调整后发际线分割图像，确定所述参考脸部图像中发际线所处区域的目标区域信息。
  6. 根据权利要求1-5中任一项所述的方法，其中在所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合之前，还包括：
    确定所述待处理脸部图像中的头发颜色信息；
    基于所述头发颜色信息，对所述参考脸部图像的头发颜色进行调整，生成调整后参考脸部图像；
    所述将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像，包括：
    将所述调整后参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
  7. 根据权利要求1-6任一所述的方法，其中所述对所述待处理脸部图像进行调整，生成参考脸部图像，包括：
    利用训练得到的目标神经网络对所述待处理脸部图像进行调整，生成参考脸部图像；
    根据下述步骤训练得到所述目标神经网络：
    获取多个候选脸部图像对，其中每个所述候选脸部图像对包括：第一候选脸部图像、和对所述第一候选脸部图像进行发际线调整后得到的第二候选脸部图像；
    针对每个所述候选脸部图像对，确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像；以及将所述第二重构图像中发际线所处区域的区域图像、与所述第一重构图像进行融合，生成第三重构图像，并将所述第一重构图像和所述第三重构图像，确定为重构图像对；
    将各个所述重构图像对，确定为训练样本；
    利用所述训练样本，对待训练神经网络进行训练，得到目标神经网络。
  8. 根据权利要求7所述的方法，其中所述确定所述候选脸部图像对中所述第一候选脸部图像的第一重构图像、和所述第二候选脸部图像的第二重构图像，包括：
    确定所述第一候选脸部图像的第一噪声数据，以及所述第二候选脸部图像的第二噪声数据；
    基于所述第二噪声数据，生成所述第二重构图像；以及
    基于所述第一噪声数据，生成所述第一重构图像；或者，确定所述第二噪声数据与所述第一噪声数据之间的噪声差值数据，将所述第一噪声数据与所述噪声差值数据进行求差处理，得到第三噪声数据，利用所述第三噪声数据，生成所述第一重构图像。
  9. 一种脸部图像处理装置，包括：
    获取模块，用于获取待处理脸部图像；
    第一生成模块，用于对所述待处理脸部图像进行调整，生成参考脸部图像；
    确定模块，用于确定所述参考脸部图像中目标区域信息；
    第二生成模块，用于将所述参考脸部图像中与所述目标区域信息匹配的目标区域图像，和所述待处理脸部图像进行融合，生成目标脸部图像。
  10. 一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一项所述的脸部图像处理方法的步骤。
  11. 一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一项所述的脸部图像处理方法的步骤。
PCT/CN2023/136795 2022-12-26 2023-12-06 脸部图像处理方法、装置、计算机设备及存储介质 WO2024140081A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211675616.XA CN115861122A (zh) 2022-12-26 2022-12-26 脸部图像处理方法、装置、计算机设备及存储介质
CN202211675616.X 2022-12-26

Publications (1)

Publication Number Publication Date
WO2024140081A1 true WO2024140081A1 (zh) 2024-07-04

Family

ID=85654790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/136795 WO2024140081A1 (zh) 2022-12-26 2023-12-06 脸部图像处理方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN115861122A (zh)
WO (1) WO2024140081A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861122A (zh) * 2022-12-26 2023-03-28 北京字跳网络技术有限公司 脸部图像处理方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263737A (zh) * 2019-06-25 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110458781A (zh) * 2019-08-14 2019-11-15 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN112669228A (zh) * 2020-12-22 2021-04-16 厦门美图之家科技有限公司 图像处理方法、系统、移动终端及存储介质
WO2022022154A1 (zh) * 2020-07-27 2022-02-03 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、设备及存储介质
CN115049573A (zh) * 2022-06-30 2022-09-13 北京大甜绵白糖科技有限公司 图像处理方法及装置、电子设备和存储介质
CN115861122A (zh) * 2022-12-26 2023-03-28 北京字跳网络技术有限公司 脸部图像处理方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263737A (zh) * 2019-06-25 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110458781A (zh) * 2019-08-14 2019-11-15 北京百度网讯科技有限公司 用于处理图像的方法和装置
WO2022022154A1 (zh) * 2020-07-27 2022-02-03 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、设备及存储介质
CN112669228A (zh) * 2020-12-22 2021-04-16 厦门美图之家科技有限公司 图像处理方法、系统、移动终端及存储介质
CN115049573A (zh) * 2022-06-30 2022-09-13 北京大甜绵白糖科技有限公司 图像处理方法及装置、电子设备和存储介质
CN115861122A (zh) * 2022-12-26 2023-03-28 北京字跳网络技术有限公司 脸部图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115861122A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
WO2021036314A1 (zh) 人脸图像处理方法及装置、图像设备及存储介质
US11610433B2 (en) Skin tone assisted digital image color matching
WO2024140081A1 (zh) 脸部图像处理方法、装置、计算机设备及存储介质
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
CN111814566A (zh) 图像编辑方法、装置、电子设备及存储介质
BR102012033722B1 (pt) sistema e método para simulação de maquiagem em dispositivos portáteis equipados com câmera digital
WO2021062998A1 (zh) 一种图像处理方法、装置和电子设备
CN113313085A (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2023001095A1 (zh) 人脸关键点的插值方法、装置、计算机设备和存储介质
US12067645B2 (en) High-resolution controllable face aging with spatially-aware conditional GANs
Cao et al. Makeup removal via bidirectional tunable de-makeup network
CN112270747A (zh) 一种人脸识别方法、装置及电子设备
JP7102554B2 (ja) 画像処理方法、装置及び電子機器
CN113658035A (zh) 脸部变换方法、装置、设备、存储介质以及产品
CN110321009B (zh) Ar表情处理方法、装置、设备和存储介质
JP2004145625A (ja) 似顔絵の作成装置
KR20240032981A (ko) 아이브로우　디자인의 프리젠테이션 생성을 위한 시스템
Yoo et al. FastSwap: A Lightweight One-Stage Framework for Real-Time Face Swapping
CN113223128B (zh) 用于生成图像的方法和装置
CN110163049A (zh) 一种人脸属性预测方法、装置及存储介质
JP7514972B1 (ja) 情報処理システム、プログラム、及び情報処理方法
CN112819921B (zh) 用于改变人物的发型的方法、装置、设备和存储介质
US20230352150A1 (en) Patient and consumer data de-identification
WO2024130704A1 (zh) 基于神经网络的文本抠图方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23910011

Country of ref document: EP

Kind code of ref document: A1