WO2021134872A1 - 基于生成对抗网络的马赛克人脸图像超分辨率重建方法 - Google Patents

基于生成对抗网络的马赛克人脸图像超分辨率重建方法 Download PDF

Info

Publication number
WO2021134872A1
WO2021134872A1 PCT/CN2020/076554 CN2020076554W WO2021134872A1 WO 2021134872 A1 WO2021134872 A1 WO 2021134872A1 CN 2020076554 W CN2020076554 W CN 2020076554W WO 2021134872 A1 WO2021134872 A1 WO 2021134872A1
Authority
WO
WIPO (PCT)
Prior art keywords
super
image
mosaic face
mosaic
resolution reconstruction
Prior art date
Application number
PCT/CN2020/076554
Other languages
English (en)
French (fr)
Inventor
梁丕树
夏群兵
杨高波
徐永惠
Original Assignee
深圳市爱协生科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市爱协生科技有限公司 filed Critical 深圳市爱协生科技有限公司
Publication of WO2021134872A1 publication Critical patent/WO2021134872A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；构建Demosaic GAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对Demosaic GAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。本发明可以快速将单张或多张马赛克人脸图像进行重建。

Description

基于生成对抗网络的马赛克人脸图像超分辨率重建方法 技术领域
本发明涉及图像超分辨率重建领域，具体涉及一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法。
背景技术
随着图像编辑软件的普及，人们可以轻松地对人脸图片进行马赛克处理，这一技术有很大的作用，比如，用于保护个人隐私；同时，这也为监控和法医领域带来诸多不便，与对人脸图片进行马赛克处理技术的普及相比，目前极少有关于马赛克图片复原的报道。
马赛克指现行广为使用的一种图像(视频)处理手段，此手段将影像特定区域的色阶细节劣化并造成色块打乱的效果；马赛克和图像压缩不一样，马赛克是不可逆损失信息的，它的目的是让我们无法还原出原始图片。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，该方法为：
构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；
将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；
构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；
构建Demosaic GAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸 数据集对Demosaic GAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；
待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。
上述方案中，所述Demosaic GAN模型包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层；其中每个SRDB层有5个卷积层，4个ReLU层，1个跳变连接层和1个Add层；输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像；其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成；输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。
上述方案中，所述Demosaic GAN模型的损失函数包括MSE损失l mse、Xception损失l Xception、网络的对抗损失l Gen、风格损失l style。
上述方案中，所述MSE损失l mse为：
Figure PCTCN2020076554-appb-000001
其中，W,H分别是图像的宽和高，
Figure PCTCN2020076554-appb-000002
表示原始图像，
Figure PCTCN2020076554-appb-000003
表示打码后的图像，
Figure PCTCN2020076554-appb-000004
表示生成器生成的马赛克人脸超分辨率重建图像。
上述方案中，所述Xception损失l Xception为：
Figure PCTCN2020076554-appb-000005
其中，W,H分别是图像的宽和高，I ori表示原始图像，I mos表示打码后的图像，
Figure PCTCN2020076554-appb-000006
表示生成器生成的马赛克人脸超分辨率重建图像。
上述方案中，所述网络的对抗损失l Gen为：
Figure PCTCN2020076554-appb-000007
其中，
Figure PCTCN2020076554-appb-000008
表示生成器生成的马赛克人脸超分辨率重建图像，
Figure PCTCN2020076554-appb-000009
表示鉴别器输出的图像的特征。
上述方案中，所述风格损失l style为：
Figure PCTCN2020076554-appb-000010
其中，
Figure PCTCN2020076554-appb-000011
表示原始图像，
Figure PCTCN2020076554-appb-000012
表示生成器生成的马赛克人脸超分辨率重建图像。
与现有技术相比，本发明将马赛克人脸图像的超分辨率重建问题用基于GAN的模型完成，通过马赛克人脸数据集对Demosaic GAN模型进行训练，在实际处理过程中，该模型可以快速将马赛克人脸图像进行重建，本发明所提出的方法适用于对单张或多张马赛克人脸图像进行重建。
附图说明
图1是本发明方法的流程图；
图2是Demosaic GAN模型结构示意图；其中，(1)是SRDB结构示意图；(2)是生成器结构示意图；(3)是鉴别器结构示意图；
图3是马赛克人脸图像数据集；其中，(1)是打码的人脸图像，(2)是原始的人脸图像；
图4是部分数据重建后的结果。其中，第1列是打码的人脸图像，第2列是重建后的图像，第3列是原始的人脸图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，如图1-3所示，通过以下步骤实现：
步骤1：构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；
具体地，所述Demosaic GAN图像超分辨率重建模型的具体结构包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层。其中每个SRDB层由5个卷积层，4个ReLU层，1个跳变连接层和1个Add层组成。输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像。其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成。输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。
步骤2：Xception网络从开始至第block13_pool层迁移进来，对图像数据进行特征提取。
具体地，所述Xception网络可以减小模型的参数数量。Xception模型没有特征表示的瓶颈，因此具有较强的特征表示能力。
步骤3：构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；
具体地，损失函数主要有MSE损失l mse、Xception损失l Xception、网络的对抗损失l Gen、风格损失l style。各公式如下：
Figure PCTCN2020076554-appb-000013
其中，W,H分别是图像的宽和高，
Figure PCTCN2020076554-appb-000014
表示原始图像，
Figure PCTCN2020076554-appb-000015
表示打码后的图像，
Figure PCTCN2020076554-appb-000016
表示生成器生成的马赛克人脸超分辨率重建图像。
Figure PCTCN2020076554-appb-000017
其中，W,H分别是图像的宽和高，I ori表示原始图像，I mos表示打码后的图像，
Figure PCTCN2020076554-appb-000018
表示生成器生成的马赛克人脸超分辨率重建图像。
Figure PCTCN2020076554-appb-000019
其中，
Figure PCTCN2020076554-appb-000020
表示生成器生成的马赛克人脸超分辨率重建图像，
Figure PCTCN2020076554-appb-000021
表示鉴别器输出的图像的特征。
Figure PCTCN2020076554-appb-000022
其中，
Figure PCTCN2020076554-appb-000023
表示原始图像，
Figure PCTCN2020076554-appb-000024
表示生成器生成的马赛克人脸超分辨率重建图像。
步骤4：构建Demosaic GAN模型对应的马赛克人脸数据集，并利用数据集对Demosaic GAN模型进行训练，得到训练完成的马赛克人脸图像超分辨率重建模型；
具体地，马赛克人脸数据集是利用OpenCV中的类Haar特征和级联AdaBoost分类器对人脸的不同部位进行定位，写一个python脚本对人脸进行打码。包括200000组数据[Mos,Ori]，其中，Mos为马赛克人脸图像，Ori表示该马赛克人脸图像对应的原图像。
所述步骤4中Demosaic GAN模型的训练可选用Tensorflow，Pytorch等常见框架。
步骤5，待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

  1. 一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于，该方法为：
    构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；
    将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；
    构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；
    构建Demosaic GAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对Demosaic GAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；
    待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。
  2. 根据权利要求1所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述Demosaic GAN模型包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层；其中每个SRDB层有5个卷积层，4个ReLU层，1个跳变连接层和1个Add层；输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像；其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成；输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。
  3. 根据权利要求1或2所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述Demosaic GAN模型的损失函数包括MSE损失l mse、Xception损失l Xception、网络的对抗损失l Gen、风格损失l style。
  4. 根据权利要求3所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述MSE损失l mse为：
    Figure PCTCN2020076554-appb-100001
    其中，W,H分别是图像的宽和高，
    Figure PCTCN2020076554-appb-100002
    表示原始图像，
    Figure PCTCN2020076554-appb-100003
    表示打码后的图像，
    Figure PCTCN2020076554-appb-100004
    表示生成器生成的马赛克人脸超分辨率重建图像。
  5. 根据权利要求4所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述Xception损失l Xception为：
    Figure PCTCN2020076554-appb-100005
    其中，W,H分别是图像的宽和高，I ori表示原始图像，I mos表示打码后的图像，
    Figure PCTCN2020076554-appb-100006
    表示生成器生成的马赛克人脸超分辨率重建图像。
  6. 根据权利要求5所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述网络的对抗损失l Gen为：
    Figure PCTCN2020076554-appb-100007
    其中，
    Figure PCTCN2020076554-appb-100008
    表示生成器生成的马赛克人脸超分辨率重建图像，
    Figure PCTCN2020076554-appb-100009
    表示鉴别器输出的图像的特征。
  7. 根据权利要求6所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述风格损失l style为：
    Figure PCTCN2020076554-appb-100010
    其中，
    Figure PCTCN2020076554-appb-100011
    表示原始图像，
    Figure PCTCN2020076554-appb-100012
    表示生成器生成的马赛克人脸超分辨率重建图像。
PCT/CN2020/076554 2019-12-30 2020-02-25 基于生成对抗网络的马赛克人脸图像超分辨率重建方法 WO2021134872A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911396316.6 2019-12-30
CN201911396316.6A CN111210388B (zh) 2019-12-30 2019-12-30 基于生成对抗网络的马赛克人脸图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
WO2021134872A1 true WO2021134872A1 (zh) 2021-07-08

Family

ID=70789417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/076554 WO2021134872A1 (zh) 2019-12-30 2020-02-25 基于生成对抗网络的马赛克人脸图像超分辨率重建方法

Country Status (2)

Country Link
CN (1) CN111210388B (zh)
WO (1) WO2021134872A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529450A (zh) * 2022-01-25 2022-05-24 华南理工大学 基于改进深度迭代协作网络的人脸图像超分辨方法
CN114972073A (zh) * 2022-04-24 2022-08-30 武汉大学 基于超分辨率生成对抗网络srgan的图像去马赛克方法
CN115376188A (zh) * 2022-08-17 2022-11-22 天翼爱音乐文化科技有限公司 一种视频通话处理方法、系统、电子设备及存储介质
CN116805284A (zh) * 2023-08-28 2023-09-26 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271469B (zh) * 2021-07-16 2021-10-29 南京大学 一种安全可逆的视频隐私安全保护系统及保护方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108492265A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于gan的cfa图像去马赛克联合去噪方法
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN108765295A (zh) * 2018-06-12 2018-11-06 腾讯科技（深圳）有限公司 图像处理方法、图像处理装置及存储介质
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN109785270A (zh) * 2019-01-18 2019-05-21 四川长虹电器股份有限公司 一种基于gan的图像超分辨率方法
CN109978762B (zh) * 2019-02-27 2023-06-16 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108492265A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于gan的cfa图像去马赛克联合去噪方法
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN108765295A (zh) * 2018-06-12 2018-11-06 腾讯科技（深圳）有限公司 图像处理方法、图像处理装置及存储介质
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529450A (zh) * 2022-01-25 2022-05-24 华南理工大学 基于改进深度迭代协作网络的人脸图像超分辨方法
CN114529450B (zh) * 2022-01-25 2023-04-25 华南理工大学 基于改进深度迭代协作网络的人脸图像超分辨方法
CN114972073A (zh) * 2022-04-24 2022-08-30 武汉大学 基于超分辨率生成对抗网络srgan的图像去马赛克方法
CN114972073B (zh) * 2022-04-24 2024-04-30 武汉大学 基于超分辨率生成对抗网络srgan的图像去马赛克方法
CN115376188A (zh) * 2022-08-17 2022-11-22 天翼爱音乐文化科技有限公司 一种视频通话处理方法、系统、电子设备及存储介质
CN115376188B (zh) * 2022-08-17 2023-10-24 天翼爱音乐文化科技有限公司 一种视频通话处理方法、系统、电子设备及存储介质
CN116805284A (zh) * 2023-08-28 2023-09-26 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统
CN116805284B (zh) * 2023-08-28 2023-12-19 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统

Also Published As

Publication number Publication date
CN111210388B (zh) 2021-02-02
CN111210388A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
WO2021134872A1 (zh) 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
CN109785258B (zh) 一种基于多判别器生成对抗网络的人脸图像修复方法
US10621415B2 (en) Facial image processing apparatus, facial image processing method, and non-transitory computer-readable storage medium
CN111402399B (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
CN110415172A (zh) 一种面向混合分辨率码流中人脸区域的超分辨率重建方法
Zhang et al. Davd-net: Deep audio-aided video decompression of talking heads
Oquab et al. Low bandwidth video-chat compression using deep generative models
You et al. Reversible privacy-preserving recognition
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN109840895B (zh) 一种带有可逆信息隐藏功能的可逆肤色平滑方法及其原始图像恢复方法
WO2023246926A1 (zh) 模型训练方法、视频编码方法及解码方法
Cai et al. Fcsr-gan: End-to-end learning for joint face completion and super-resolution
Hu et al. Fvc: An end-to-end framework towards deep video compression in feature space
CN113052764A (zh) 一种基于残差连接的视频序列超分重建方法
Feng et al. A generative compression framework for low bandwidth video conference
TWI278241B (en) Image encoding method and device, and image decoding method and device
Mehta et al. Evrnet: Efficient video restoration on edge devices
Liu et al. X-gans: Image reconstruction made easy for extreme cases
Li et al. Fine-grained adversarial image inpainting with super resolution
JPH1051770A (ja) 画像符号化システム及び方法、及び画像分割システム
US11928855B2 (en) Method, device, and computer program product for video processing
Kim et al. End-to-end learnable multi-scale feature compression for vcm
CN111950496B (zh) 一种蒙面人身份识别方法
CN115527258A (zh) 一种基于身份信息响应的人脸交换方法
Yang et al. Graph-convolution network for image compression

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20910464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20910464

Country of ref document: EP

Kind code of ref document: A1