WO2021185225A1 - 基于自适应调整的图像超分辨率重建方法 - Google Patents

基于自适应调整的图像超分辨率重建方法 Download PDF

Info

Publication number
WO2021185225A1
WO2021185225A1 PCT/CN2021/080920 CN2021080920W WO2021185225A1 WO 2021185225 A1 WO2021185225 A1 WO 2021185225A1 CN 2021080920 W CN2021080920 W CN 2021080920W WO 2021185225 A1 WO2021185225 A1 WO 2021185225A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
model
loss
resolution
super
Prior art date
Application number
PCT/CN2021/080920
Other languages
English (en)
French (fr)
Inventor
姜代红
张三友
戴磊
Original Assignee
徐州工程学院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 徐州工程学院 filed Critical 徐州工程学院
Publication of WO2021185225A1 publication Critical patent/WO2021185225A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Definitions

  • the invention relates to an image super-resolution reconstruction method, which belongs to the technical field of image processing.
  • the interpolation method which uses the neighborhood information around the known pixel to estimate the pixel value of the interpolation point.
  • the second is the reconstruction method, establishing an observation model, and then solving the inverse process to achieve reconstruction. Because the degradation of images is complex and diverse, it is difficult to fully define the human observation model. As the magnification increases, the image restoration effect is not ideal.
  • the third is an example method, which can obtain a non-linear mapping between the LR image and the HR image. However, in high magnification factors or more complex scenes, the effect of the example method is still poor, which is limited by extraction and representation capabilities.
  • the fourth is the deep learning method, which makes up for the lack of representation ability of shallow learning, has better generalization ability, and can handle complex image features compared with other methods.
  • problems such as image smoothing and step effects, insufficient precision of texture feature expression, and distortion of high-magnification visual effects.
  • GAN Generative Adversarial Networks
  • the present invention provides an image super-resolution reconstruction method based on adaptive adjustment, and establishes an image super-resolution confrontation learning network model (ADTV-SRGAN) based on adaptive adjustment of spatial structure, Improve model feature expression ability and obtain better super-resolution reconstruction effect, and further improve the super-resolution image quality.
  • ADTV-SRGAN image super-resolution confrontation learning network model
  • the present invention is realized through the following technical solutions: an image super-resolution reconstruction method based on adaptive adjustment, and an image super-resolution confrontation learning network model (ADTV-SRGAN) based on adaptive adjustment of spatial structure is established, and its basic framework includes A confrontation training model involving a Generative Adversarial Network (GAN).
  • ADTV-SRGAN image super-resolution confrontation learning network model
  • GAN Generative Adversarial Network
  • the training model consists of a set of competing generative models and discriminant models: the generative model is responsible for generating high-resolution images, and the discriminant model determines that the input image is generated It is also a sample obtained from a high-resolution database; with the gradual enhancement of the recognition ability, the discriminant model transmits information to the generation model, and by optimizing the loss function, the high-resolution image generated by the generation model is closer to the real sample; With the improvement of the quality of the generated image, the loss of the discriminant model increases, and the recognition ability of the discriminant model is continuously improved. When the discriminant model cannot distinguish the generated image from the real sample, the generative model completes the super-resolution task;
  • the detailed network structure of the generative model and the discriminant model is consistent with SRGAN.
  • the optimization goal of the generative model is to make the generated image G(I LR ) approach the HR image
  • the optimization goal of the discriminant model is to combine the generated image with the HR image I HR
  • the optimization process is a minimax game process involving two models, and the optimization function V(D,G) is as follows:
  • ⁇ G and ⁇ D are the network parameters of the generative model and the discriminant model, respectively.
  • L SR is the total loss of the entire confrontation network, which determines whether the generative model can generate super-resolution images similar to the real samples; it includes pixel loss Feature loss Fight against loss And spatial loss; the spatial loss is the spatial loss based on the adaptive diagonal total variation model Can be adjusted according to the spatial structure of the image, using new pixel loss And feature loss Realize total loss fusion optimization:
  • the Charbonnier loss function is used to calculate the pixel loss:
  • e is the constant term of Charbonnier penalty; the constant term e is set to 0.001.
  • the feature loss Used to evaluate the semantic similarity between the HR image and the real sample, using the 13th layer of the pre-trained VGG-16 network to calculate the Euclidean distance of high-order features as the feature loss in the super-resolution image reconstruction process.
  • the loss is calculated as follows:
  • ⁇ i,j is the j-th convolutional layer before the feature is mapped to the i-th pooling layer;
  • W i,j and H i,j represent the length and width of the feature map, respectively.
  • confrontation loss represents the probability that the generated HR image is a real sample given by the discriminant model, against loss Is the cross entropy:
  • the spatial loss is an image reconstructed based on the total variation model.
  • the total variation model is as follows:
  • the difference curvature index is used to distinguish the edge area and the flat area of the image.
  • the spatial loss can be adjusted according to the structure of the image.
  • the difference curvature is defined as follows:
  • u ⁇ and u ee represent the second derivative along the gradient direction and the vertical direction respectively;
  • represents the absolute value, ⁇ x , ⁇ y , ⁇ xy , ⁇ xx , and ⁇ yy represent the first derivative sum of the pixel gradient information Second derivative; for the edge area, the value of
  • ⁇ is a constant.
  • the value of Ci,j is larger, and the value of the spatial information adaptive weight W i,j is smaller; therefore, in order to better maintain the edge details of the image, in the flat area C
  • the value of i, j is smaller, and the value of the spatial information adaptive weight is larger, which ensures that the generated hr image and the real sample will not have too much deviation in details; adaptive diagonal total variation model and spatial loss as follows:
  • the beneficial effect of the present invention is that the present invention provides an image super-resolution confrontation learning network model (ADTV-SRGAN) based on adaptive adjustment of spatial structure.
  • ADTV-SRGAN image super-resolution confrontation learning network model
  • the phenomenon of excessively smooth texture thereby improving the feature expression ability of the model and obtaining a better super-resolution reconstruction effect, and further improving the super-resolution image quality.
  • Figure 1 is a structural diagram of the present invention
  • FIG. 2 is a reference diagram of the SRGAN network structure
  • FIG. 3 is a reference diagram of the VGG-16 network structure.
  • an image super-resolution reconstruction method based on adaptive adjustment is established, and an image super-resolution confrontation learning network model (ADTV-SRGAN) based on adaptive adjustment of spatial structure is established.
  • Its basic framework includes a generative confrontation network ( GAN) confrontation training model, the training model is composed of a set of competing generative model G and discriminant model D:
  • the generative model G is responsible for generating high-resolution images, and the discriminant model D determines whether the input image is generated or from Samples obtained in a high-resolution database; as the recognition ability is gradually strengthened, the discriminant model D transmits information to the generation model G, and the loss function is optimized to make the high-resolution images generated by the generation model G closer to the real samples;
  • the loss of the discriminant model D increases, and the recognition ability of the discriminant model D continues to improve.
  • the discriminant model D cannot distinguish between the generated image and the real sample, the generated model G completes the super-resolution task;
  • the detailed network structure of the generative model G and the discriminant model D is consistent with SRGAN (refer to Figure 2 and the paper C.Ledig, L. Theis, F. Huszar, J. Caballero, A. Cunningham, A. Acosta ,A.Aitken,A.Tejani,J.Totz,Z.Wang,W.Shi.”Photo-realistic single image super-resolution using a generative adversarial network.”Proceedings of the IEEE conference on computer vision and pattern recognition,2017 :4681-4690.)
  • the optimization goal of generative model G is to make the generated image G(I LR ) approach the HR image
  • the optimization goal of discriminant model D is to distinguish the generated image from the HR image I HR .
  • the optimization process is A minimax game process involving two models, the optimization function V(D,G) is as follows:
  • ⁇ G and ⁇ D are the network parameters of the generation model and the discriminant model, respectively.
  • L SR is the total loss of the entire confrontation network, which determines whether the generative model can generate super-resolution images similar to the real samples; it includes pixel loss Feature loss Fight against loss And spatial loss; the spatial loss is the spatial loss based on the adaptive diagonal total variation model Can be adjusted according to the spatial structure of the image, using new pixel loss And feature loss Realize total loss fusion optimization:
  • the pixel loss Used to evaluate the consistency of the content between the HR image and the real sample, using the Charbonnier loss function (Charbonnier loss function) to calculate the pixel loss:
  • e is the constant term of the Charbonnier penalty, and the present invention sets the constant term e to 0.001.
  • VGG-16 is an image classification network.
  • the features it extracts can help preserve the contours of the image edges, but the effect of reconstructing local texture details is not ideal.
  • the present invention uses the 13th layer of the pre-trained VGG-16 network.
  • the VGG-16 network can refer to Figure 3 to calculate the Euclidean distance of the high-level features as the super-resolution Rate the feature loss during the image reconstruction process, the feature loss is calculated as follows:
  • ⁇ i,j is the j-th convolutional layer before the feature is mapped to the i-th pooling layer;
  • W i,j and H i,j represent the length and width of the feature map, respectively.
  • confrontation loss represents the probability that the generated HR image is a real sample given by the discriminant model, against loss Is the cross entropy:
  • the spatial loss is an image reconstructed based on a total variation model, which is a classic image restoration model and has good edge retention characteristics. While smoothing, the details of the image can be preserved.
  • the total variation model is as follows:
  • the diagonal total variation model balances the effects of pixels in all directions, overcomes the step effect, and protects the details of the edges while smoothing.
  • the difference curvature index is used to distinguish the edge area and the flat area of the image. The space loss can therefore be adjusted according to the structure of the image.
  • the difference curvature is defined as follows:
  • u ⁇ and u ee represent the second derivative along the gradient direction and the vertical direction respectively;
  • represents the absolute value, ⁇ x , ⁇ y , ⁇ xy , ⁇ xx , and ⁇ yy represent the first derivative sum of the pixel gradient information Second derivative; for the edge region, the value of
  • ⁇ is a constant, and the present invention sets the constant ⁇ to 0.1.
  • the value of C i,j is larger, and the value of the spatial information adaptive weight W i,j is smaller; therefore, in order to better maintain the edge details of the image, the value of C i,j is larger in the flat area.
  • the value of the spatial information adaptive weight is large, which ensures that the generated hr image and the real sample will not have too much deviation in details;
  • the present invention uses pixel loss, feature loss, space loss and counter loss to improve the details of the reconstructed image, combines global and local information adaptive methods, dynamically adjusts and maintains high-frequency details of the image from different dimensions, and avoids simple use of mean square error It leads to the phenomenon that the image texture is excessively smooth, thereby improving the feature expression ability of the model and obtaining a better super-resolution reconstruction effect.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于自适应调整的图像超分辨率重建方法，属于图像处理技术领域。基本框架包括涉及生成式对抗网络的对抗训练模型,训练模型由一组相互竞争的生成模型和判别模型构成：生成模型负责生成高分辨率图像,通过判别模型确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，判别模型将信息传递给生成模型，通过优化损失函数，使得生成模型生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，判别模型的损失增大，同时判别模型的识别能力不断提升，当判别模型不能区分生成的图像和真实样本时，生成模型完成超分辨任务。提高模型特征表达能力并获得更好的超分辨率重建效果。

Description

基于自适应调整的图像超分辨率重建方法 技术领域
本发明涉及一种图像超分辨率重建方法，属于图像处理技术领域。
背景技术
现有技术中，超分辨率重建方法主要有四类。第一种是插值方法，它利用已知像素点周围的邻域信息来估计插值点的像素值。二是重建方法，建立观测模型，然后求解逆过程实现重建。由于图像的退化是复杂多样的，很难对人类的观测模型进行全面的定义。随着放大倍数的增大，图像恢复效果不理想。第三种是示例方法，它可以获得LR图像与HR图像之间的非线性映射。然而，在高倍放大因子或更复杂的场景中，示例方法的效果仍然较差，这受到提取和表示能力的限制。四是深度学习方法，它弥补了浅层学习的表示能力不足，具有较好的泛化能力，与其他方法相比能够处理复杂的图像特征。但也存在图像平滑和阶跃效应、纹理特征表达精度不足、高倍放大视觉效果失真等问题。
目前，大多数基于深度学习的超分辨率重建方法训练过程中多采用基于MSE的损失，优点是可以获得较高的PSNR值，但单一的损失函数往往缺乏针对图像特征的多样性，难以准确恢复细节。因此，超分辨率效果并不好，特别是在高倍放大时，视觉感知容易失真。随着生成式对抗网络(GAN)[G.E.Hinton,S.Osindero,Y.W.Teh."A fast learning algorithm for deep belief nets."Neural computation,2006,18(7):1527-1554]的出现，其强大的高维复杂数据分布建模能力为图像超分辨率提供了新的思路。Ledig等人[C.Ledig,L.Theis,F.Huszar,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang,W.Shi."Photo-realistic single image super-resolution using a generative adversarial network."Proceedings of the IEEE conference on computer vision and pattern recognition,2017:4681-4690.]首次将生成式对抗网络(GAN)引入到超分辨率中，并提出了SRGAN方法，该优化方法侧重于利用对抗损失和感知损失来增强超分辨率图像的真实纹理，这更符合人类对视觉感知的理解。
发明内容
为了克服上述现有技术的不足之处，本发明提供一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络 模型(ADTV-SRGAN)，提高模型特征表达能力并获得更好的超分辨率重建效果，进一步提高超分辨率图像质量。
本发明是通过如下技术方案实现的：一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型和判别模型构成：所述生成模型负责生成高分辨率图像,通过所述判别模型确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型将信息传递给生成模型，通过优化损失函数，使得生成模型生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型的损失增大，同时判别模型的识别能力不断提升，当判别模型不能区分生成的图像和真实样本时，生成模型完成超分辨任务；
所述生成模型和判别模型的详细网络结构与SRGAN一致，生成模型的优化目标是使生成的图像G(I LR)逼近HR图像，而判别模型的优化目标是将生成的图像与HR图像I HR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:
Figure PCTCN2021080920-appb-000001
其中θ G和θ D分别为生成模型和判别模型的网络参数，利用LR图像 I LR训练超分辨率图像SR，需要求解最优生成模型参数如下:
Figure PCTCN2021080920-appb-000002
其中，L SR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失
Figure PCTCN2021080920-appb-000003
特征损失
Figure PCTCN2021080920-appb-000004
对抗损失
Figure PCTCN2021080920-appb-000005
和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失
Figure PCTCN2021080920-appb-000006
能根据图像的空间结构进行调整，利用新的像素损失
Figure PCTCN2021080920-appb-000007
和特征损失
Figure PCTCN2021080920-appb-000008
实现总损融合优化:
Figure PCTCN2021080920-appb-000009
进一步地，所述像素损失
Figure PCTCN2021080920-appb-000010
用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier loss function计算像素损失:
Figure PCTCN2021080920-appb-000011
其中
Figure PCTCN2021080920-appb-000012
为生成的HR图像和真实样本；
e是Charbonnier惩罚的常数项；常数项e设置为0.001。
进一步地，所述特征损失
Figure PCTCN2021080920-appb-000013
用来评价HR图像与真实样本之间的语义相似性，利用预先训练好的VGG-16网络的第13层，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:
Figure PCTCN2021080920-appb-000014
其中φ i,j为特征映射到第i层池化层之前的第j层卷积层；W i,j和H i,j分别表示特征图的长度和宽度。
进一步地，所述对抗损失
Figure PCTCN2021080920-appb-000015
表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失
Figure PCTCN2021080920-appb-000016
是交叉熵:
Figure PCTCN2021080920-appb-000017
其中
Figure PCTCN2021080920-appb-000018
为图像为真实样本的概率，
Figure PCTCN2021080920-appb-000019
为生成的HR图像。
进一步地，所述空间损失是基于全变差模型重建的图像，对于宽度W和高度H的图像，全变差模型如下:
Figure PCTCN2021080920-appb-000020
其中
Figure PCTCN2021080920-appb-000021
和
Figure PCTCN2021080920-appb-000022
分别表示像素x i,j沿水平和垂直方向的梯度，且
Figure PCTCN2021080920-appb-000023
和
Figure PCTCN2021080920-appb-000024
满足以下方程:
Figure PCTCN2021080920-appb-000025
结合像素点的对角线信息，提出对角线全变差模型如下:
Figure PCTCN2021080920-appb-000026
其中
Figure PCTCN2021080920-appb-000027
和
Figure PCTCN2021080920-appb-000028
分别表示像素在两个对角线方向上的梯度，且满足:
Figure PCTCN2021080920-appb-000029
利用差曲率指标来区分图像的边缘区域与平坦区域，空间损失能根据图像的结构进行调整，差分曲率定义如下:
Figure PCTCN2021080920-appb-000030
其中u ηη和u ee分别表示沿梯度方向和垂直方向的二阶导数；|.|表示绝对值，μ x,μ y,μ xy,μ xx,μ yy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|u ηη|的值较大，|u ee|的值较小；对于平坦区域，|u ηη|和|u ee|都很小；因此，C i,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值W i,j，并进行自适应动态调整；W i,j定义如下:
Figure PCTCN2021080920-appb-000031
式中β为常数，在边缘区域中，C i,j的值较大，空间信息自适应权值W i,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域C i,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:
Figure PCTCN2021080920-appb-000032
Figure PCTCN2021080920-appb-000033
本发明的有益效果是：本发明提供了一个基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)。使用像素损失、特征损失、空间损失和对抗损失提升重建图像的细节，结合全局和局部信息自适应方法，从不同的维度 动态调整并保持图像的高频细节，避免简单的使用均方误差导致图像纹理过度平滑的现象，从而提高模型特征表达能力并获得更好的超分辨率重建效果，进一步提高超分辨率图像质量。
附图说明
下面根据附图和实施例对本发明进一步说明。
图1是本发明结构架构图；
图2是SRGAN网络结构参考图；
图3是VGG-16网络结构参考图。
具体实施方式
下面将结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有开展创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于本领域技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
参照图1，一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型G和判别模型D构成：所述生成模型G负责生成高分辨率图像,通过所述判别模型D确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型D将信息传递给生成模型G，通过优化损失函数，使得生成模型G生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型D的损失增大，同时判别模型D的识别能力不断提升，当判别模型D不能区分生成的图像和真实样本时，生成模型G完成超分辨任务；
所述生成模型G和判别模型D的详细网络结构与SRGAN一致，(SRGAN网络结构可参考图2及论文C.Ledig,L.Theis,F.Huszar,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang,W.Shi."Photo-realistic single image super-resolution using a generative adversarial network."Proceedings of the IEEE conference on computer vision and pattern  recognition,2017:4681-4690.)生成模型G的优化目标是使生成的图像G(I LR)逼近HR图像，而判别模型D的优化目标是将生成的图像与HR图像I HR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:
Figure PCTCN2021080920-appb-000034
其中θ G和θ D分别为生成模型和判别模型的网络参数，利用LR图像I LR训练超分辨率图像SR，需要求解最优生成模型参数如下:
Figure PCTCN2021080920-appb-000035
其中，L SR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失
Figure PCTCN2021080920-appb-000036
特征损失
Figure PCTCN2021080920-appb-000037
对抗损失
Figure PCTCN2021080920-appb-000038
和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失
Figure PCTCN2021080920-appb-000039
能根据图像的空间结构进行调整，利用新的像素损失
Figure PCTCN2021080920-appb-000040
和特征损失
Figure PCTCN2021080920-appb-000041
实现总损融合优化:
Figure PCTCN2021080920-appb-000042
进一步地，所述像素损失
Figure PCTCN2021080920-appb-000043
用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier loss function(查尔邦尼损失函数)计算像素损失:
Figure PCTCN2021080920-appb-000044
其中
Figure PCTCN2021080920-appb-000045
为生成的HR图像和真实样本；
e是Charbonnier惩罚的常数项，本发明将常数项e设置为0.001。
进一步地，所述特征损失
Figure PCTCN2021080920-appb-000046
用来评价HR图像与真实样本之间的语义相似性。VGG-16是一种图像分类网络，它提取的特征可以帮助保留图像边缘的轮廓，但是重建局部纹理细节的效果却不太理想。为了提取更多的高层次语义特征，提高重建精度，本发明利用预先训练好的VGG-16网络的第13层，VGG-16网络可参考图3，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:
Figure PCTCN2021080920-appb-000047
其中φ i,j为特征映射到第i层池化层之前的第j层卷积层；W i,j和H i,j分别表示特征图的长度和宽度。
进一步地，所述对抗损失
Figure PCTCN2021080920-appb-000048
表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失
Figure PCTCN2021080920-appb-000049
是交叉熵:
Figure PCTCN2021080920-appb-000050
其中
Figure PCTCN2021080920-appb-000051
为图像为真实样本的概率，
Figure PCTCN2021080920-appb-000052
为生成的HR图像。
进一步地，所述空间损失是基于全变差模型重建的图像，全变差模型是经典的图像恢复模型，具有良好的边缘保持特性。在平滑的同时可以保留图像的细节。对于宽度W和高度H的图像，全变差模型如下:
Figure PCTCN2021080920-appb-000053
其中
Figure PCTCN2021080920-appb-000054
和
Figure PCTCN2021080920-appb-000055
分别表示像素x i,j沿水平和垂直方向的梯度，且
Figure PCTCN2021080920-appb-000056
和
Figure PCTCN2021080920-appb-000057
满足以下方程:
Figure PCTCN2021080920-appb-000058
结合像素点的对角线信息，提出对角线全变差模型如下:
Figure PCTCN2021080920-appb-000059
其中
Figure PCTCN2021080920-appb-000060
和
Figure PCTCN2021080920-appb-000061
分别表示像素在两个对角线方向上的梯度，且满足:
Figure PCTCN2021080920-appb-000062
对角全变分模型平衡了像素点各个方向的影响，克服了阶跃效应，在平滑的同时保护了边缘的细节。为了使空间损失能够控制像素点上对角全变差的约束强度，利用差曲率指标来区分图像的边缘区域与平坦区域。空间损失因此可以根据图像的结构进行调整。
差分曲率定义如下:
Figure PCTCN2021080920-appb-000063
Figure PCTCN2021080920-appb-000064
其中u ηη和u ee分别表示沿梯度方向和垂直方向的二阶导数；|.|表示绝对值，μ x,μ y,μ xy,μ xx,μ yy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|u ηη|的值较大，|u ee|的值较小；对于平坦区域，|u ηη|和|u ee|都很小；因此，C i,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值W i,j，并进行自适应动态调整；W i,j定义如下:
Figure PCTCN2021080920-appb-000065
式中β为常数，本发明将常数β设为0.1。
在边缘区域中，C i,j的值较大，空间信息自适应权值W i,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域C i,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:
Figure PCTCN2021080920-appb-000066
Figure PCTCN2021080920-appb-000067
本发明使用像素损失、特征损失、空间损失和对抗损失提升重建图像的细节，结合全局和局部信息自适应方法，从不同的维度动态调整并保持图像的高频细节，避免简单的使用均方误差导致图像纹理过度平滑的现象，从而提高模型特征表达能力并获得更好的超分辨率重建效果。
以上所述仅为本发明的示例性实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

  1. 一种基于自适应调整的图像超分辨率重建方法，其特征在于：
    建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型(G)和判别模型(D)构成：所述生成模型(G)负责生成高分辨率图像,通过所述判别模型(D)确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型(D)将信息传递给生成模型(G)，通过优化损失函数，使得生成模型(G)生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型(D)的损失增大，同时判别模型(D)的识别能力不断提升，当判别模型(D)不能区分生成的图像和真实样本时，生成模型(G)完成超分辨任务；
    所述生成模型(G)和判别模型(D)的详细网络结构与SRGAN一致，生成模型(G)的优化目标是使生成的图像G(I LR)逼近HR图像，而判别模型(D)的优化目标是将生成的图像与HR图像I HR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:
    Figure PCTCN2021080920-appb-100001
    其中θ G和θ D分别为生成模型和判别模型的网络参数，利用LR图像 I LR训练超分辨率图像SR，需要求解最优生成模型参数如下:
    Figure PCTCN2021080920-appb-100002
    其中，L SR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失
    Figure PCTCN2021080920-appb-100003
    特征损失
    Figure PCTCN2021080920-appb-100004
    对抗损失
    Figure PCTCN2021080920-appb-100005
    和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失
    Figure PCTCN2021080920-appb-100006
    能根据图像的空间结构进行调整，利用新的像素损失
    Figure PCTCN2021080920-appb-100007
    和特征损失
    Figure PCTCN2021080920-appb-100008
    实现总损融合优化:
    Figure PCTCN2021080920-appb-100009
  2. 根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述像素损失
    Figure PCTCN2021080920-appb-100010
    用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier loss function(查尔邦尼损失函数)计算像素损失:
    Figure PCTCN2021080920-appb-100011
    其中
    Figure PCTCN2021080920-appb-100012
    为生成的HR图像和真实样本；
    ε是Charbonnier惩罚的常数项。
  3. 根据权利要求2所述的基于自适应调整的图像超分辨率重建方法，其特征在于：常数项ε设置为0.001。
  4. 根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述特征损失
    Figure PCTCN2021080920-appb-100013
    用来评价HR图像与真实样本之间的语义相似性，利用预先训练好的VGG-16网络的第13层，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:
    Figure PCTCN2021080920-appb-100014
    其中φ i,j为特征映射到第i层池化层之前的第j层卷积层；W i,j和H i,j分别表示特征图的长度和宽度。
  5. 根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述对抗损失
    Figure PCTCN2021080920-appb-100015
    表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失
    Figure PCTCN2021080920-appb-100016
    是交叉熵:
    Figure PCTCN2021080920-appb-100017
    其中
    Figure PCTCN2021080920-appb-100018
    为图像为真实样本的概率，
    Figure PCTCN2021080920-appb-100019
    为生成的HR图像。
  6. 根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述空间损失是基于全变差模型重建的图像，对于宽度W和高度H的图像，全变差模型如下:
    Figure PCTCN2021080920-appb-100020
    其中
    Figure PCTCN2021080920-appb-100021
    和
    Figure PCTCN2021080920-appb-100022
    分别表示像素x i,j沿水平和垂直方向的梯度，且
    Figure PCTCN2021080920-appb-100023
    和
    Figure PCTCN2021080920-appb-100024
    满足以下方程:
    Figure PCTCN2021080920-appb-100025
    结合像素点的对角线信息，提出对角线全变差模型如下:
    Figure PCTCN2021080920-appb-100026
    其中
    Figure PCTCN2021080920-appb-100027
    和
    Figure PCTCN2021080920-appb-100028
    分别表示像素在两个对角线方向上的梯度，且满足:
    Figure PCTCN2021080920-appb-100029
    利用差曲率指标来区分图像的边缘区域与平坦区域，空间损失能根据图像的结构进行调整，差分曲率定义如下:
    Figure PCTCN2021080920-appb-100030
    其中u ηη和u εε分别表示沿梯度方向和垂直方向的二阶导数；|·|表示绝对值，μ x,μ y,μ xy,μ xx,μ yy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|u ηη|的值较大，|u εε|的值较小；对于平坦区域，|u ηη|和|u εε|都很小；因此，C i,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值W i,j，并进行自适应动态调整；W i,j定义如下:
    Figure PCTCN2021080920-appb-100031
    式中β为常数，在边缘区域中，C i,j的值较大，空间信息自适应权值W i,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域C i,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:
    Figure PCTCN2021080920-appb-100032
    Figure PCTCN2021080920-appb-100033
  7. 根据权利要求6所述的基于自适应调整的图像超分辨率重建方法，其特征在于：常数β设为0.1。
PCT/CN2021/080920 2020-03-16 2021-03-16 基于自适应调整的图像超分辨率重建方法 WO2021185225A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010183489.6A CN111507898A (zh) 2020-03-16 2020-03-16 基于自适应调整的图像超分辨率重建方法
CN202010183489.6 2020-03-16

Publications (1)

Publication Number Publication Date
WO2021185225A1 true WO2021185225A1 (zh) 2021-09-23

Family

ID=71869300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/080920 WO2021185225A1 (zh) 2020-03-16 2021-03-16 基于自适应调整的图像超分辨率重建方法

Country Status (2)

Country Link
CN (1) CN111507898A (zh)
WO (1) WO2021185225A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114036856A (zh) * 2021-11-26 2022-02-11 广东省科学院智能制造研究所 一种锂离子电池电极干燥流场高分辨率图像重构方法
CN114092327A (zh) * 2021-11-02 2022-02-25 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114881861A (zh) * 2022-05-25 2022-08-09 厦门大学 基于双采样纹理感知蒸馏学习的不均衡图像超分方法
CN115082296A (zh) * 2022-07-11 2022-09-20 杭州师范大学 一种基于小波域图像生成框架的图像生成方法
CN115358927A (zh) * 2022-08-22 2022-11-18 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN116612013A (zh) * 2023-07-19 2023-08-18 山东智洋上水信息技术有限公司 一种红外图像超分算法及其移植至前端设备的方法
CN117291803A (zh) * 2023-09-28 2023-12-26 太原理工大学 Pamgan轻量化面部超分辨率重建方法
CN117593188A (zh) * 2024-01-19 2024-02-23 成都宜图智享信息科技有限公司 一种基于无监督深度学习的超分辨率方法及相应设备
CN115082296B (zh) * 2022-07-11 2024-05-14 杭州师范大学 一种基于小波域图像生成框架的图像生成方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507898A (zh) * 2020-03-16 2020-08-07 徐州工程学院 基于自适应调整的图像超分辨率重建方法
CN112149617A (zh) * 2020-10-13 2020-12-29 中国工程物理研究院计算机应用研究所 一种基于深度学习的脉冲波形去噪方法
CN112927172B (zh) * 2021-05-10 2021-08-24 北京市商汤科技开发有限公司 图像处理网络的训练方法和装置、电子设备和存储介质
CN113222144B (zh) * 2021-05-31 2022-12-27 北京有竹居网络技术有限公司 图像修复模型的训练方法及图像修复方法、装置及设备
CN113592715A (zh) * 2021-08-05 2021-11-02 昆明理工大学 一种面向小样本图像集的超分辨率图像重构方法
US20230053776A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Region-of-interest (roi) guided sampling for ai super resolution transfer learning feature adaptation
CN113763247B (zh) * 2021-09-09 2023-12-05 中国矿业大学 基于流形判别的三维矿井图像超分辨率重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111507898A (zh) * 2020-03-16 2020-08-07 徐州工程学院 基于自适应调整的图像超分辨率重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110268334A1 (en) * 2010-04-30 2011-11-03 Korean Advanced Institute Of Science And Technology Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography
CN110189253B (zh) * 2019-04-16 2023-03-31 浙江工业大学 一种基于改进生成对抗网络的图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111507898A (zh) * 2020-03-16 2020-08-07 徐州工程学院 基于自适应调整的图像超分辨率重建方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092327A (zh) * 2021-11-02 2022-02-25 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114036856B (zh) * 2021-11-26 2022-12-23 广东省科学院智能制造研究所 一种锂离子电池电极干燥流场高分辨率图像重构方法
CN114036856A (zh) * 2021-11-26 2022-02-11 广东省科学院智能制造研究所 一种锂离子电池电极干燥流场高分辨率图像重构方法
CN114881861A (zh) * 2022-05-25 2022-08-09 厦门大学 基于双采样纹理感知蒸馏学习的不均衡图像超分方法
CN115082296A (zh) * 2022-07-11 2022-09-20 杭州师范大学 一种基于小波域图像生成框架的图像生成方法
CN115082296B (zh) * 2022-07-11 2024-05-14 杭州师范大学 一种基于小波域图像生成框架的图像生成方法
CN115358927B (zh) * 2022-08-22 2023-12-26 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN115358927A (zh) * 2022-08-22 2022-11-18 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN116612013A (zh) * 2023-07-19 2023-08-18 山东智洋上水信息技术有限公司 一种红外图像超分算法及其移植至前端设备的方法
CN116612013B (zh) * 2023-07-19 2023-10-31 山东智洋上水信息技术有限公司 一种红外图像超分方法及其移植至前端设备的方法
CN117291803A (zh) * 2023-09-28 2023-12-26 太原理工大学 Pamgan轻量化面部超分辨率重建方法
CN117291803B (zh) * 2023-09-28 2024-02-27 太原理工大学 Pamgan轻量化面部超分辨率重建方法
CN117593188A (zh) * 2024-01-19 2024-02-23 成都宜图智享信息科技有限公司 一种基于无监督深度学习的超分辨率方法及相应设备
CN117593188B (zh) * 2024-01-19 2024-04-12 成都宜图智享信息科技有限公司 一种基于无监督深度学习的超分辨率方法及相应设备

Also Published As

Publication number Publication date
CN111507898A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
WO2021185225A1 (zh) 基于自适应调整的图像超分辨率重建方法
CN107492070B (zh) 一种双通道卷积神经网络的单图像超分辨率计算方法
US20220092742A1 (en) Learning Method of Generative Adversarial Network with Multiple Generators for Image Denoising
CN110197468A (zh) 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN105744256B (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN108932536A (zh) 基于深度神经网络的人脸姿态重建方法
CN108596024A (zh) 一种基于人脸结构信息的肖像生成方法
CN107636684A (zh) 视频会议中的情绪识别
CN110738161A (zh) 一种基于改进生成式对抗网络的人脸图像矫正方法
CN104268833B (zh) 基于平移不变剪切波变换的图像融合方法
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
CN110473142A (zh) 基于深度学习的单幅图像超分辨率重建方法
CN109035172A (zh) 一种基于深度学习的非局部均值超声图像去噪方法
Niu et al. Siamese-network-based learning to rank for no-reference 2D and 3D image quality assessment
Luo et al. Bi-GANs-ST for perceptual image super-resolution
CN107507139B (zh) 基于Facet方向导数特征的样例双重稀疏图像修复方法
CN109712095A (zh) 一种快速边缘保留的人脸美化方法
CN102096913A (zh) 压缩感知框架下的多策略图像融合方法
Cheng et al. Face super-resolution through dual-identity constraint
CN116051382A (zh) 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN112288645A (zh) 一种颅骨面貌复原模型构建方法及复原方法与系统
CN114219920B (zh) 三维人脸模型的构建方法及装置、存储介质、终端
CN116258627A (zh) 一种极端退化人脸图像超分辨率恢复系统和方法
Xu et al. Artistic color virtual reality implementation based on similarity image restoration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21771043

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21771043

Country of ref document: EP

Kind code of ref document: A1