WO2021248938A1 - 一种融合特征金字塔的生成对抗网络图像去雾方法 - Google Patents

一种融合特征金字塔的生成对抗网络图像去雾方法 Download PDF

Info

Publication number
WO2021248938A1
WO2021248938A1 PCT/CN2021/077354 CN2021077354W WO2021248938A1 WO 2021248938 A1 WO2021248938 A1 WO 2021248938A1 CN 2021077354 W CN2021077354 W CN 2021077354W WO 2021248938 A1 WO2021248938 A1 WO 2021248938A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
image
discriminator
feature pyramid
generator
Prior art date
Application number
PCT/CN2021/077354
Other languages
English (en)
French (fr)
Inventor
张登银
曹雪杰
董江伟
周诗琪
赵莎莎
Original Assignee
南京邮电大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京邮电大学 filed Critical 南京邮电大学
Priority to JP2022517497A priority Critical patent/JP7379787B2/ja
Publication of WO2021248938A1 publication Critical patent/WO2021248938A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Definitions

  • the present invention relates to the technical field of image processing, in particular to a method for defogging an image against a network by generating a fusion feature pyramid.
  • the mainstream image defogging technology can be roughly divided into three categories: one is the defogging method based on image enhancement. This type of method does not consider the reasons for image degradation, and improves the contrast, saturation, and saturation of the image by means of image enhancement. Sharpness and other features to enhance the subjective visual effect of the image.
  • the enhanced image has higher contrast, but at the same time there are problems such as information loss and image distortion;
  • one type is the restoration-based defogging method, which is based on Based on physical models such as atmospheric light scattering model, various methods are used to estimate the parameters in the model, and then the original image before degradation is obtained by inversion. This method makes the processed image clearer and more natural, with less detail loss.
  • the fog effect is related to the selection of model parameters.
  • this method needs to manually summarize the prior knowledge of the image and design the image features, which lacks universality for complex scenes; one type is based on Deep learning defogging method.
  • This type of method does not require manual design of feature extractors, but learns the characteristics of haze through the feature extraction capabilities of neural networks, so as to achieve a better image defogging effect, but there are too many network model training parameters
  • Many problems have high requirements on the memory and computing power of the computing platform, and the slower efficiency of image defogging.
  • the purpose of the present invention is to provide a method for fusing the feature pyramid to generate anti-network image defogging, so as to solve the problem of information loss in the image processed by the defogging method of image enhancement in the prior art, and image restoration is adopted. Improper selection of parameters for the image processed by the defogging method will affect the effect of the restored image, and the technical problem of using a defogging algorithm based on deep learning to affect the speed of image defogging.
  • the present invention provides the following solutions:
  • a fusion feature pyramid generation countermeasure network image defogging method including the following steps:
  • the generative confrontation network includes: a generator network and a discriminator network;
  • the generator network that generates the confrontation network is fused with a feature pyramid.
  • the discriminator network for generating the confrontation network includes: a sequentially connected convolutional activation layer, a coding unit extraction feature layer, a fully connected layer, and a sigmoid activation layer, and the coding unit extraction feature layers are not less than two and are connected in series.
  • the generator network includes: a backbone network, a feature pyramid, and an image reconstruction network connected in sequence;
  • the method for acquiring the fog-free image includes:
  • the backbone network performs feature extraction on the input foggy image
  • the feature pyramid performs feature fusion on the extracted features
  • the image reconstruction network restores the merged features, and outputs a fog-free image corresponding to the foggy image.
  • the backbone network adopts a pre-trained MobileNet-V2 network
  • the backbone network performs feature extraction on the input foggy image, including: the MobileNet-V2 network outputs no less than two feature maps of different scales in response to the input foggy image.
  • the method further includes: performing a 1*1 convolution operation on the feature map output by the MobileNet-V2 network.
  • the training method for generating a confrontation network includes:
  • the images in the training sample set are input into the generating confrontation network to train it until the trained generating confrontation network is obtained.
  • the loss function of the discriminator network is expressed as follows:
  • L D is the loss function of the discriminator network
  • N is the logarithm of the image in the training sample set.
  • the loss function of the generator network is expressed as follows:
  • L G is the loss function of the generator network
  • Is the i-th label image in the training sample set C is the channel of the image
  • W ⁇ H is the size of the image
  • Is the discrimination result of the discriminator for the i-th generated image generated by the generator Is the result of the discriminator for the i-th label image in the training sample set
  • N is the logarithm of the image in the training sample set
  • ⁇ is the weight of the weighting coefficient.
  • the method before inputting the images in the training sample set into the generation adversarial network to train it, the method further includes: randomly initializing each component of the weight W ji using a Gaussian distribution with an average value of 0 and a standard deviation of 0.001, so that The bias B ji is zero.
  • inputting the images in the training sample set to generate a confrontation network for training it includes:
  • the present invention discloses the following technical effects: the method of the present invention uses a feature pyramid structure instead of ordinary image scaling to perform multi-scale feature extraction, adds a discriminator network, and expands the original network framework to Based on the framework of generating a confrontation network, the quality and efficiency of the image generated by the generator are improved.
  • the input of the generator that generates the confrontation network is a foggy image
  • the output is a clear image after defogging. Therefore, after the training is completed, only the foggy image needs to be input to the generator that generates the confrontation network to obtain the dehazing image. Clear image.
  • the generator uses MobileNet-V2 as the backbone network, it can reduce network model training parameters and increase the speed of feature extraction; at the same time, the feature pyramid structure fused in the network model can reduce memory usage and calculations, and can more efficiently fuse different scales
  • the feature information of the fog makes the image after defogging clearer and more natural; in addition, the model is based on generating a confrontation network model and adopts alternate iterative training, which can improve the stability and convergence speed while improving the quality of the image generated by the generator.
  • Fig. 1 is a schematic flowchart of an embodiment of the method of the present invention
  • FIG. 2 is a schematic diagram of the structure of a discriminator network in an embodiment of the method of the present invention.
  • Fig. 3 is a schematic structural diagram of a generator network in an embodiment of the method of the present invention.
  • the feature pyramid is an efficient feature extraction method, which uses the feature expression of multiple latitudes from the low to the top within the Convolutional Neural Networks (CNN) model to generate a multi-dimensional feature expression of the image under a single picture view.
  • CNN Convolutional Neural Networks
  • the Generative Adversarial Networks (GAN) model is a framework for estimating generative models through the adversarial process.
  • the framework includes two models: generator G and discriminator D.
  • the generator G maps from the real sample data distribution to the new data space, and minimizes the error with the objective function to deceive the discriminator.
  • the input of the discriminator D includes the real data and the generated data of the generator G, and it tries to distinguish the true from the false.
  • the two play a game with each other and finally reach the Nash equilibrium.
  • the GAN model design is simple, no need to design a complex function model in advance, and through back propagation training function, the network model can be trained more efficiently under the constraints of the effective loss function, and the convergence and stability of the network are significantly improved.
  • the specific embodiment of the present invention provides a method for generating a fusion feature pyramid against network image defogging.
  • Figure 1 it is a schematic flowchart of an embodiment of the method of the present invention.
  • the method of the present invention is based on the generation of a fusion feature pyramid.
  • the countermeasure network is implemented, including the following steps:
  • Step 1 Obtain the OTS and ITS data sets in RESIDE-Bate as the fog-free image sets in the training samples.
  • Step 2 Use the atmospheric scattering model to add different concentrations of fog to the fog-free image set in Step 1, to obtain a foggy image set. Cut the images in the foggy image set and the fogless image set into 224*224 image blocks, and then convert them into HDF5 data format for storage. The image block of the foggy image and the image block of the non-fog image are divided into two parts proportionally, one part is used as a training sample, and the other part is used as a test sample for training. In this process, in order to adapt to the fog density under different weather conditions and learn the image characteristics under different fog density, the concentration percentages of the fog-free images are collected as 10, 20, 30, 40, 50, 60, 70, 80, 90, respectively. , 100 fog, get foggy image set. A total of 2000 pairs of foggy and non-fog images are selected as training samples, and the remaining 400 pairs of images are used as test samples.
  • Step 3 Using the HDF5 format training samples in step 2 as input, design a fusion feature pyramid generating confrontation network.
  • the fusion feature pyramid generation confrontation network includes: a discriminator network composed of a convolutional neural network and a fusion feature pyramid generation ⁇ The network.
  • the discriminator network includes a convolutional activation layer connected sequentially from left to right, five coding units connected in series to extract the feature layer, and a full Connection layer and a sigmoid activation layer.
  • the convolutional activation layer includes a Conv convolutional layer and a Relu activation layer.
  • the number of channels of the convolutional layer is 32, the step size is 2, the size of the convolution kernel is 3 ⁇ 3, and the activation layer uses the modified linear unit ReLU activation function to convolve
  • the output result F 1 of the product is subjected to non-linear regression to obtain Its expression is as follows:
  • Each coding unit extraction feature layer includes a Conv convolutional layer, a batch normalization layer (BatchNorm) and an activation layer (Relu) serially connected in sequence.
  • the five coding unit extraction feature layers are sequentially connected in series, and their corresponding convolutional layer The parameters are shown in Table 1:
  • the coding unit extracts the corresponding convolutional layer parameters in the feature layer
  • a 1*1 convolution is also needed to reduce the number of channels and reduce the amount of calculation.
  • FC fully connected layer
  • This function can constrain the result of its fully connected layer to [0,1], and its output is the probability that the discriminator judges the input image to be a true fog-free image.
  • FIG. 3 it is a schematic structural diagram of the generator network in the method embodiment of the present invention.
  • the generator network includes a backbone network for feature extraction, a feature pyramid for feature fusion, and an image reconstruction network for feature restoration, which are sequentially connected.
  • the backbone network is a pre-trained MobileNet-V2 network, and its output is 4 feature maps of different scales, which are the output images of the "block_2_project”, “block_4_project”, “block_7_project” and “block_11_project” layers of the MobileNet-V2 network.
  • the corresponding sizes are 112 ⁇ 112, 56 ⁇ 56, 28 ⁇ 28, and 17 ⁇ 17.
  • the operation of the first layer of the feature pyramid is a convolutional layer with a convolution kernel of 256 ⁇ 3 ⁇ 3 and a step size of 1, and a Relu activation layer, which outputs the activated feature map.
  • Each subsequent layer operation is a 2 ⁇ 2 deconvolution layer, an addition layer with the elements of the input feature map, a convolution kernel of 256 ⁇ 3 ⁇ 3, and a convolution layer with a step size of 1.
  • the activated feature map is the output feature map.
  • the image reconstruction network adjusts the output feature map of the feature pyramid to the same size through deconvolution, and then connects it into a feature map.
  • the image is reconstructed through convolution, activation, deconvolution, and element addition and fusion.
  • a reconstruction layer selects the input original foggy image for addition operation to enhance the low-frequency details of the image.
  • Step 4 Construct a loss function.
  • L D is the loss function of the discriminator network
  • N is the logarithm of the image in the training sample set.
  • the loss function is:
  • L G is the loss function of the generator network
  • Is the i-th label image in the training sample set C is the channel of the image
  • W ⁇ H is the size of the image
  • Is the discrimination result of the discriminator for the i-th generated image generated by the generator Is the result of the discriminator for the i-th label image in the training sample set
  • N is the logarithm of the image in the training sample set
  • ⁇ is the weight of the weighting coefficient, and its value is 0.01.
  • the first term on the right Is the content loss item, used to calculate the pixel loss of the image.
  • the second item from the right It is the adversarial loss term, which is used to calculate the loss in the adversarial network.
  • the loss of the discriminator is the difference between the probability of determining the sample image and the label image.
  • the discriminator cannot determine whether an image is a defogged image or a fog-free image, that is The result of the loss function of the determiner is 0.5. In this state, the generator can produce the result that is closest to the real fog-free image.
  • the weight of each layer of the network model uses a Gaussian distribution with an average value of 0 and a standard deviation of 0.001 to randomly initialize the filter weights, that is, each component in W ji.
  • the stochastic gradient descent algorithm is used to update the weights W ji and the bias B ji , and the update rules obey the following formula:
  • ⁇ is the learning rate.
  • the partial derivatives in the above two formulas can be obtained by the backpropagation algorithm, that is, the partial derivatives of W ji are obtained separately for the loss function formula And the partial derivative of B ji Its expression is as follows:
  • the main steps of the backpropagation algorithm are: first, forward a given sample to obtain the output value of all network neural nodes. Then, calculate the total error, and use the total error to obtain the partial derivative of a node, and then the influence of the node on the final output can be obtained.
  • step d Substitute the updated W ji and B ji into the loss function, repeat step a to step d, until the determiner loss function is 0.5, the update ends, and go to step 5.
  • Step 5 Input the new foggy image into the generator of the trained fusion feature pyramid generation confrontation network, and the output result obtained is the fog-free image after the new foggy image is defogged.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像处理技术领域的一种基于融合特征金字塔的生成对抗网络图像去雾方法，旨在解决现有技术中采用图像增强的去雾方法处理的图像存在信息丢失、采用图像复原的去雾方法处理的图像如果选取参数不当会影响复原后图像的效果、采用基于深度学习的去雾算法影响图像去雾的速度的技术问题。所述方法包括如下步骤：将有雾图像输入预先训练好的生成对抗网络，获取与有雾图像相对应的无雾图像；所述生成对抗网络的生成器网络融合有特征金字塔。

Description

一种融合特征金字塔的生成对抗网络图像去雾方法
本申请要求于2020年6月10日提交中国专利局、申请号为202010522038.0、发明名称为“一种融合特征金字塔的生成对抗网络图像去雾方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及图像处理技术领域，特别是涉及一种融合特征金字塔的生成对抗网络图像去雾方法。
背景技术
在雾霾天气条件下，空气中存在着许多悬浮的微粒和水滴，这些微粒子会对光进行吸收和散射，导致图像采集系统获得的图片参数色彩失真、对比度下降，造成细节丢失，降低图片在目标识别、安全监控、智能交通等计算机视觉应用等方面的使用价值。因此，研究改进图像去雾技术对于计算机视觉系统在雾霾环境下的正常工作具有十分重要的现实意义。
目前，主流的图像去雾技术大致可分为三类：一类是基于图像增强的去雾方法，该类方法不考虑图像退化的原因，通过图像增强的手段来提高图像的对比度、饱和度、清晰度等特征，以提升图像的主观视觉效果，经过增强后的图像具有更高的对比度，但同时也存在信息丢失、图像失真等问题；一类是基于复原的去雾方法，这方法是以大气光散射模型等物理模型为基础，利用各种方法估计模型中的参数，然后反演求解出退化前的原始图像，该方法使处理后的图像更加清晰、自然，细节损失较少，但去雾效果与模型参数的选取有关，不精确的参数将直接影响复原后图像的效 果，同时该方法需要人工总结图像的先验知识、设计图像特征，对复杂场景缺乏普适性；一类是基于深度学习的去雾方法，该类方法不需要人工设计特征提取器，而是通过神经网络的特征提取能力学习雾霾的特征，从而达到较好的图像去雾效果，但存在网络模型训练参数过多，对计算平台的内存和计算能力要求较高，图像去雾效率较慢的问题。
发明内容
针对现有技术的不足，本发明的目的在于提供一种融合特征金字塔的生成对抗网络图像去雾方法，以解决现有技术中采用图像增强的去雾方法处理的图像存在信息丢失、采用图像复原的去雾方法处理的图像如果选取参数不当会影响复原后图像的效果、采用基于深度学习的去雾算法影响图像去雾的速度的技术问题。
为实现上述目的，本发明提供了如下方案：
一种融合特征金字塔的生成对抗网络图像去雾方法，包括如下步骤：
将有雾图像输入预先训练好的生成对抗网络，获取与有雾图像相对应的无雾图像；所述生成对抗网络包括：生成器网络和判别器网络；
生成对抗网络的生成器网络融合有特征金字塔。
优选地，生成对抗网络的判别器网络包括：顺序连接的卷积激活层、编码单元提取特征层、全连接层和sigmoid激活层，所述编码单元提取特征层不少于两个且彼此串联。
优选地，所述生成器网络包括：顺序连接的骨干网络、特征金字塔和图像重建网络；
所述无雾图像的获取方法，包括：
所述骨干网络对所输入的有雾图像进行特征提取；
所述特征金字塔对所提取的特征进行特征融合；
所述图像重建网络对所融合的特征进行还原，输出与有雾图像相对应的无雾图像。
优选地，所述骨干网络采用预先训练好的MobileNet-V2网络；
所述骨干网络对所输入的有雾图像进行特征提取，包括：MobileNet-V2网络响应于所输入的有雾图像，输出不少于两个不同尺度的特征图。
优选地，在所述特征金字塔对所提取的特征进行特征融合之前，还包括：对MobileNet-V2网络所输出的特征图进行1*1卷积运算。
优选地，生成对抗网络的训练方法，包括：
基于预获取的不少于两张有雾图像以及与之相对应的无雾图像，构建训练样本集；
以判别器网络的损失函数趋向于0.5、生成器网络的损失函数趋向于0为目标，将所述训练样本集中的图像输入生成对抗网络对其进行训练，直至获取训练好的生成对抗网络。
优选地，判别器网络的损失函数，其表达式如下：
Figure PCTCN2021077354-appb-000001
式中，L D为判别器网络的损失函数，
Figure PCTCN2021077354-appb-000002
为判别器对于生成器生成的第i个生成图像的判别结果，
Figure PCTCN2021077354-appb-000003
为判别器对于训练样本集中第i个标签图像的判别结果，N为训练样本集中图像的对数。
优选地，生成器网络的损失函数，其表达式如下：
Figure PCTCN2021077354-appb-000004
式中，L G为生成器网络的损失函数，
Figure PCTCN2021077354-appb-000005
为生成器生成的第i个生成图像，
Figure PCTCN2021077354-appb-000006
为训练样本集中第i个标签图像，C为图像的通道，W×H为图像的尺寸，
Figure PCTCN2021077354-appb-000007
为判别器对于生成器生成的第i个生成图像的判别结果，
Figure PCTCN2021077354-appb-000008
为判别器对于训练样本集中第i个标签图像的判别结果，N为训练样本集中图像的对数，λ为加权系数权重。
优选地，在将所述训练样本集中的图像输入生成对抗网络对其进行训练之前，还包括：使用平均值为0和标准偏差为0.001的高斯分布随机初始化权重W ji中的各项分量，令偏置B ji为0。
优选地，将所述训练样本集中的图像输入生成对抗网络对其进行训练，包括：
根据训练结果更新权重W ji和偏置B ji；
将更新后的权重W ji和偏置B ji代入损失函数；
重复权重W ji和偏置B ji的更新和代入过程，直至判别器网络的损失函数为0.5，获取训练好的生成对抗网络。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明方法采用特征金字塔结构代替普通的图像放缩来进行多尺度的特征提取，并增加判别器网络，将原本网络框架拓展成基于生成对抗网络的框架，提高生成器生成图像的质量和效率。其中，生成对抗网络的生成器的输入为有雾图像，输出为去雾后的清晰图像，因此在训练完毕后只需要将有雾图 像输入到生成对抗网络的生成器中即可获得去雾后的清晰图像。由于生成器采用MobileNet-V2作为骨干网络，能够减少网络模型训练参数，提高特征提取的速度；同时网络模型中融合的特征金字塔结构能够减少内存占用和计算量，并且能够更高效地融合不同尺度的雾的特征信息，使去雾后的图像更加清晰自然；此外，模型基于生成对抗网络模型并采用交替迭代训练，可以在提高生成器生成图像的质量的同时，提高稳定性和收敛速度。
说明书附图
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法实施例的流程示意图；
图2是本发明方法实施例中判别器网络的结构示意图；
图3是本发明方法实施例中生成器网络的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
特征金字塔是一种高效的特征提取方式，利用卷积神经网络(Convolutional Neural Networks，CNN)模型内部从低至上的多个纬度的特 征表达，在单一图片视图下生成对图像的多维度特征表达。相对于图像金字塔，极大降低了模型对于计算和内存的要求，同时能够有效地赋能常规CNN模型，并生成出表达能力更强的特征图。因此可以提高网络模型的特征提取能力，同时降低内存和计算量的要求，使图像去雾任务更加高质高效。
生成式对抗网络(Generative Adversarial Networks，GAN)模型是一个通过对抗过程估计生成模型的框架，在该框架中包含生成器G和判别器D两个模型。其中，生成器G从真实样本数据分布映射到新的数据空间，并尽量使其与目标函数的误差减小以欺骗判别器。判别器D的输入包括真实数据和生成器G的生成数据，并努力判别真假，两者互相博弈，最终达到纳什均衡。GAN的模型设计简单，不需要预先设计复杂函数模型，并且可以通过反向传播训练函数，在有效的损失函数的约束下可以更高效地训练网络模型，明显提高网络的收敛性和稳定性。
鉴于上述分析，本发明具体实施方式提供了一种融合特征金字塔的生成对抗网络图像去雾方法，如图1所示，是本发明方法实施例的流程示意图，本发明方法基于融合特征金字塔的生成对抗网络加以实现，包括如下步骤：
步骤1，获取RESIDE-Bate中的OTS和ITS数据集作为训练样本中的无雾图像集。
步骤2，利用大气散射模型为步骤1中的无雾图像集添加不同浓度的雾，得到有雾图像集。将有雾图像集和无雾图像集中的图像裁剪成224*224的图像块，再转换成HDF5的数据格式存储。将有雾图像的图像 块和无雾图像的图像块各自按比例分成两部分，一部分作为训练样本，另一部分作为测试样本，以用于训练。该过程中，为适应不同天气条件下的雾浓度、学习不同雾浓度下的图像特征，对无雾图像集合成浓度百分比分别为10、20、30、40、50、60、70、80、90、100的雾，得到有雾图像集。挑选有雾图像和无雾图像共计2000对作为训练样本，剩余400对图像作为测试样本。
步骤3，将步骤2中HDF5格式的训练样本作为输入，设计融合特征金字塔的生成对抗网络，该融合特征金字塔的生成对抗网络包括：由卷积神经网络构成的判别器网络和融合特征金字塔的生成器网络。
如图2所示，是本发明方法实施例中判别器网络的结构示意图，判别器网络包括自左至右顺序连接的一个卷积激活层、5个彼此串联的编码单元提取特征层、一个全连接层和一个sigmoid激活层。
卷积激活层包括一个Conv卷积层和一个Relu激活层，卷积层的通道数为32，步长为2，卷积核大小为3×3，激活层采用修正线性单元ReLU激活函数对卷积的输出结果F 1进行非线性回归，从而获得
Figure PCTCN2021077354-appb-000009
其表达式如下：
Figure PCTCN2021077354-appb-000010
每个编码单元提取特征层包括依次串联的一个Conv卷积层、一个批归一化层(BatchNorm)和一个激活层(Relu)，五个编码单元提取特征层依次串联，其对应的卷积层参数如表1所示：
表1：编码单元提取特征层中对应的卷积层参数
层序号 1 2 3 4 5
通道数n 32 64 128 256 512
步长s 2 2 2 2 1
卷积核k 3×3 3×3 3×3 3×3 3×3
在编码单元提取特征层进行特征提取后，还需要进行一个1*1的卷积(Conv)，以减少通道数进而降低计算量，全连接层(FC)位于该卷积层之后，可以将其提取到的特征进行分类，然后使用sigmoid函数对其分类结果进行归一化，其计算式如下所示：
Figure PCTCN2021077354-appb-000011
该函数可以将其全连接层结果约束到[0,1]，其输出结果即判别器判定输入图像为真实无雾图像的概率。
如图3所示，是本发明方法实施例中生成器网络的结构示意图，生成器网络包括顺序连接的一个特征提取的骨干网络、一个特征融合的特征金字塔和一个特征还原的图像重建网络。
骨干网络为预训练好的MobileNet-V2网络，其输出为4个不同尺度的特征图，分别为MobileNet-V2网络的“block_2_project”、“block_4_project”、“block_7_project”和“block_11_project”层的输出图像，对应尺寸分别为112×112、56×56、28×28和17×17。特征图输入特征金字塔进行特征融合前，先进行一个1×1的卷积，以减小网络的计算量。
特征金字塔第一层的操作为一个卷积核为256×3×3，步长为1的卷积层，一个Relu的激活层，输出激活后的特征图。之后的每一层操作依次为一个2×2的反卷积层，一个与输入特征图的元素相加层，一个卷积核为256×3×3，步长为1的卷积层和一个Relu的激活层，激活后的特 征图即为输出特征图。
图像重建网络将特征金字塔的输出特征图通过反卷积调整为大小一致，然后再将其连接为一个特征图，通过卷积、激活、反卷积和元素相加融合进行图像的重建，在最后一个重建层选择输入原始有雾图像进行相加操作以增强图像的低频细节。
步骤4，构建损失函数。
对于判别器网络，其损失函数为：
Figure PCTCN2021077354-appb-000012
式中，L D为判别器网络的损失函数，
Figure PCTCN2021077354-appb-000013
为判别器对于生成器生成的第i个生成图像的判别结果，
Figure PCTCN2021077354-appb-000014
为判别器对于训练样本集中第i个标签图像的判别结果，N为训练样本集中图像的对数。
对于生成器网络的损失函数，其损失函数为：
Figure PCTCN2021077354-appb-000015
式中，L G为生成器网络的损失函数，
Figure PCTCN2021077354-appb-000016
为生成器生成的第i个生成图像，
Figure PCTCN2021077354-appb-000017
为训练样本集中第i个标签图像，C为图像的通道，W×H为图像的尺寸，
Figure PCTCN2021077354-appb-000018
为判别器对于生成器生成的第i个生成图像的判别结果，
Figure PCTCN2021077354-appb-000019
为判别器对于训练样本集中第i个标签图像的判别结果，N为训练样本集中图像的对数，λ为加权系数权重，其取值为0.01。
在该等式中，右侧第一项
Figure PCTCN2021077354-appb-000020
是内容损失项，用于计算图像的像素损失。右侧第二项
Figure PCTCN2021077354-appb-000021
是对抗损失项， 用于计算对抗网络中的损失。
可以看出，判别器的损失为对样本图像和标签图像的判定概率之差，当生成器的效果达到最好时，判定器无法判断一张图像是去雾的图像还是无雾的图像，即判定器的损失函数结果为0.5。在该状态下生成器能够产生最接近真实无雾图像的结果。
训练时，首先对W ji和B ji进行初始化。网络模型每层的权重均使用平均值为0和标准偏差为0.001的高斯分布随机初始化滤波器权重，即W ji中的各项分量。初始化B ji为0。
初始化完成后，使用随机梯度下降算法来更新权重W ji和偏置B ji，更新规则服从如下公式：
Figure PCTCN2021077354-appb-000022
Figure PCTCN2021077354-appb-000023
式中，α为学习速率。上述两个公式中的偏导数可以由反向传播算法求出，即对损失函数公式分别求W ji的偏导
Figure PCTCN2021077354-appb-000024
和B ji的偏导
Figure PCTCN2021077354-appb-000025
其表达式如下：
Figure PCTCN2021077354-appb-000026
Figure PCTCN2021077354-appb-000027
其中，反向传播算法主要步骤是：首先，将给定样本进行前向传递，得到全部网络神经节点的输出值。然后，计算出总误差，并用总误差对某个节点进行求偏导，可得到该节点对最终输出的影响。
因此，完整的网络模型训练步骤如下：
对网络各层参数进行初始化。
对每个样本i，
a:利用反向传播求出
Figure PCTCN2021077354-appb-000028
和
Figure PCTCN2021077354-appb-000029
b:求出参数W ji和B ji的变化量，其中初始化
Figure PCTCN2021077354-appb-000030
和
Figure PCTCN2021077354-appb-000031
均为0：
Figure PCTCN2021077354-appb-000032
Figure PCTCN2021077354-appb-000033
c：完成参数更新：
d：将更新后W ji和B ji代入损失函数，重复执行步骤a至步骤d，直至判定器损失函数为0.5，更新结束，进入步骤5。
步骤5，将新的有雾图像输入训练好的融合特征金字塔的生成对抗网络的生成器中，得到的输出结果作为该新的有雾图像去雾后的无雾图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

  1. 一种融合特征金字塔的生成对抗网络图像去雾方法，其特征是，包括如下步骤：
    将有雾图像输入预先训练好的生成对抗网络，获取与有雾图像相对应的无雾图像；所述生成对抗网络包括：生成器网络和判别器网络；
    生成对抗网络的生成器网络融合有特征金字塔。
  2. 根据权利要求1所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，生成对抗网络的判别器网络包括：顺序连接的卷积激活层、编码单元提取特征层、全连接层和sigmoid激活层，所述编码单元提取特征层不少于两个且彼此串联。
  3. 根据权利要求1所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，所述生成器网络包括：顺序连接的骨干网络、特征金字塔和图像重建网络；
    所述无雾图像的获取方法，包括：
    所述骨干网络对所输入的有雾图像进行特征提取；
    所述特征金字塔对所提取的特征进行特征融合；
    所述图像重建网络对所融合的特征进行还原，输出与有雾图像相对应的无雾图像。
  4. 根据权利要求3所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，所述骨干网络采用预先训练好的MobileNet-V2网络；
    所述骨干网络对所输入的有雾图像进行特征提取，包括：MobileNet-V2网络响应于所输入的有雾图像，输出不少于两个不同尺度的特征图。
  5. 根据权利要求4所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，在所述特征金字塔对所提取的特征进行特征融合之前，还包括：对MobileNet-V2网络所输出的特征图进行1*1卷积运算。
  6. 根据权利要求1所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，生成对抗网络的训练方法，包括：
    基于预获取的不少于两张有雾图像以及与之相对应的无雾图像，构建训练样本集；
    以判别器网络的损失函数趋向于0.5、生成器网络的损失函数趋向于0为目标，将所述训练样本集中的图像输入生成对抗网络对其进行训练，直至获取训练好的生成对抗网络。
  7. 根据权利要求6所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，判别器网络的损失函数，其表达式如下：
    Figure PCTCN2021077354-appb-100001
    式中，L D为判别器网络的损失函数，
    Figure PCTCN2021077354-appb-100002
    为判别器对于生成器生成的第i个生成图像的判别结果，
    Figure PCTCN2021077354-appb-100003
    为判别器对于训练样本集中第i个标签图像的判别结果，N为训练样本集中图像的对数。
  8. 根据权利要求6所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，生成器网络的损失函数，其表达式如下：
    Figure PCTCN2021077354-appb-100004
    式中，L G为生成器网络的损失函数，
    Figure PCTCN2021077354-appb-100005
    为生成器生成的第i个生成图像，
    Figure PCTCN2021077354-appb-100006
    为训练样本集中第i个标签图像，C为图像的通道，W×H为图像 的尺寸，
    Figure PCTCN2021077354-appb-100007
    为判别器对于生成器生成的第i个生成图像的判别结果，
    Figure PCTCN2021077354-appb-100008
    为判别器对于训练样本集中第i个标签图像的判别结果，N为训练样本集中图像的对数，λ为加权系数权重。
  9. 根据权利要求6所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，在将所述训练样本集中的图像输入生成对抗网络对其进行训练之前，还包括：使用平均值为0和标准偏差为0.001的高斯分布随机初始化权重W ji中的各项分量，令偏置B ji为0。
  10. 根据权利要求9所述的融合特征金字塔的生成对抗网络图像去雾方法，其特征是，将所述训练样本集中的图像输入生成对抗网络对其进行训练，包括：
    根据训练结果更新权重W ji和偏置B ji；
    将更新后的权重W ji和偏置B ji代入损失函数；
    重复权重W ji和偏置B ji的更新和代入过程，直至判别器网络的损失函数为0.5，获取训练好的生成对抗网络。
PCT/CN2021/077354 2020-06-10 2021-02-23 一种融合特征金字塔的生成对抗网络图像去雾方法 WO2021248938A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022517497A JP7379787B2 (ja) 2020-06-10 2021-02-23 フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010522038.0 2020-06-10
CN202010522038.0A CN111738942A (zh) 2020-06-10 2020-06-10 一种融合特征金字塔的生成对抗网络图像去雾方法

Publications (1)

Publication Number Publication Date
WO2021248938A1 true WO2021248938A1 (zh) 2021-12-16

Family

ID=72648639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/077354 WO2021248938A1 (zh) 2020-06-10 2021-02-23 一种融合特征金字塔的生成对抗网络图像去雾方法

Country Status (3)

Country Link
JP (1) JP7379787B2 (zh)
CN (1) CN111738942A (zh)
WO (1) WO2021248938A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240796A (zh) * 2021-12-22 2022-03-25 山东浪潮科学研究院有限公司 一种基于gan的遥感影像去云雾方法、设备、存储介质
CN114267432A (zh) * 2022-03-01 2022-04-01 中南大学 生成对抗网络交替训练及医疗图像分类方法、装置、介质
CN114742719A (zh) * 2022-03-14 2022-07-12 西北大学 一种基于多特征融合的端到端图像去雾方法
CN114758276A (zh) * 2022-04-13 2022-07-15 南京师范大学 一种基于复合连接超网络的金属增减材制造熔池检测方法
CN114821239A (zh) * 2022-05-10 2022-07-29 安徽农业大学 一种有雾环境下的病虫害检测方法
CN114912707A (zh) * 2022-06-01 2022-08-16 中科大数据研究院 一种基于多模态融合的空气质量预测系统及预测方法
CN114972076A (zh) * 2022-05-06 2022-08-30 华中科技大学 一种基于分层多块卷积神经网络的图像去雾方法
CN115293992A (zh) * 2022-09-28 2022-11-04 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置
CN115908617A (zh) * 2023-01-09 2023-04-04 长春理工大学 一种红外图像彩色化方法及系统
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN118097360A (zh) * 2024-04-26 2024-05-28 齐鲁工业大学(山东省科学院) 基于显著特征提取和残差连接的图像融合方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112509001A (zh) * 2020-11-24 2021-03-16 河南工业大学 一种多尺度和多特征融合的特征金字塔网络盲复原方法
CN113066019A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像增强方法及相关装置
CN113052068B (zh) * 2021-03-24 2024-04-30 深圳威富云数科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113240589A (zh) * 2021-04-01 2021-08-10 重庆兆光科技股份有限公司 一种多尺度特征融合的图像去雾方法及系统
KR20220125719A (ko) * 2021-04-28 2022-09-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 목표 대상 검측 모델을 트레이닝하는 방법 및 장비, 목표 대상을 검측하는 방법 및 장비, 전자장비, 저장매체 및 컴퓨터 프로그램
CN113658051B (zh) * 2021-06-25 2023-10-13 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统
CN113256541B (zh) * 2021-07-16 2021-09-17 四川泓宝润业工程技术有限公司 利用机器学习对钻井平台监控画面进行去水雾的方法
CN113554872B (zh) * 2021-07-19 2022-09-20 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113554571B (zh) * 2021-08-11 2023-07-04 广东工业大学 一种图像去雾方法、装置、电子设备及存储介质
CN115471429B (zh) * 2022-10-31 2023-04-07 航天宏图信息技术股份有限公司 一种基于全局颜色迁移的遥感影像去雾方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272455A (zh) * 2018-05-17 2019-01-25 西安电子科技大学 基于弱监督生成对抗网络的图像去雾方法
CN109410135A (zh) * 2018-10-02 2019-03-01 复旦大学 一种对抗学习型图像去雾、加雾方法
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN111105336A (zh) * 2019-12-04 2020-05-05 山东浪潮人工智能研究院有限公司 一种基于对抗网络的图像去水印的方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112070688A (zh) * 2020-08-20 2020-12-11 西安理工大学 一种基于上下文引导生成对抗网络的单幅图像去雾方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878588B2 (en) * 2018-06-22 2020-12-29 X Development Llc Detection and replacement of transient obstructions from high elevation digital images
JP7212554B2 (ja) * 2018-09-07 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN109272455A (zh) * 2018-05-17 2019-01-25 西安电子科技大学 基于弱监督生成对抗网络的图像去雾方法
CN109410135A (zh) * 2018-10-02 2019-03-01 复旦大学 一种对抗学习型图像去雾、加雾方法
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN111105336A (zh) * 2019-12-04 2020-05-05 山东浪潮人工智能研究院有限公司 一种基于对抗网络的图像去水印的方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112070688A (zh) * 2020-08-20 2020-12-11 西安理工大学 一种基于上下文引导生成对抗网络的单幅图像去雾方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240796A (zh) * 2021-12-22 2022-03-25 山东浪潮科学研究院有限公司 一种基于gan的遥感影像去云雾方法、设备、存储介质
CN114240796B (zh) * 2021-12-22 2024-05-31 山东浪潮科学研究院有限公司 一种基于gan的遥感影像去云雾方法、设备、存储介质
CN114267432A (zh) * 2022-03-01 2022-04-01 中南大学 生成对抗网络交替训练及医疗图像分类方法、装置、介质
CN114267432B (zh) * 2022-03-01 2022-05-24 中南大学 生成对抗网络交替训练及医疗图像分类方法、装置、介质
CN114742719B (zh) * 2022-03-14 2024-04-16 西北大学 一种基于多特征融合的端到端图像去雾方法
CN114742719A (zh) * 2022-03-14 2022-07-12 西北大学 一种基于多特征融合的端到端图像去雾方法
CN114758276A (zh) * 2022-04-13 2022-07-15 南京师范大学 一种基于复合连接超网络的金属增减材制造熔池检测方法
CN114972076A (zh) * 2022-05-06 2022-08-30 华中科技大学 一种基于分层多块卷积神经网络的图像去雾方法
CN114972076B (zh) * 2022-05-06 2024-04-26 华中科技大学 一种基于分层多块卷积神经网络的图像去雾方法
CN114821239A (zh) * 2022-05-10 2022-07-29 安徽农业大学 一种有雾环境下的病虫害检测方法
CN114912707A (zh) * 2022-06-01 2022-08-16 中科大数据研究院 一种基于多模态融合的空气质量预测系统及预测方法
CN115293992A (zh) * 2022-09-28 2022-11-04 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置
CN115908617A (zh) * 2023-01-09 2023-04-04 长春理工大学 一种红外图像彩色化方法及系统
CN115908617B (zh) * 2023-01-09 2024-06-07 长春理工大学 一种红外图像彩色化方法及系统
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116645298B (zh) * 2023-07-26 2024-01-26 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN118097360A (zh) * 2024-04-26 2024-05-28 齐鲁工业大学(山东省科学院) 基于显著特征提取和残差连接的图像融合方法

Also Published As

Publication number Publication date
CN111738942A (zh) 2020-10-02
JP7379787B2 (ja) 2023-11-15
JP2022548712A (ja) 2022-11-21

Similar Documents

Publication Publication Date Title
WO2021248938A1 (zh) 一种融合特征金字塔的生成对抗网络图像去雾方法
CN110097519B (zh) 基于深度学习的双监督图像去雾方法、系统、介质和设备
CN106845529B (zh) 基于多视野卷积神经网络的影像特征识别方法
Hendrycks et al. A benchmark for anomaly segmentation
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
CN105512289B (zh) 基于深度学习和哈希的图像检索方法
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN105678284B (zh) 一种固定位人体行为分析方法
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN109493303A (zh) 一种基于生成对抗网络的图像去雾方法
CN109146989B (zh) 一种通过搭建神经网络生成花鸟艺术字图像的方法
CN111861906B (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN108564549A (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN112150379A (zh) 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN113554599B (zh) 一种基于人类视觉效应的视频质量评价方法
Dupont et al. Probabilistic semantic inpainting with pixel constrained cnns
CN111861926B (zh) 一种基于空域组增强机制与长短时记忆网络的图像去雨方法
CN107563319A (zh) 一种基于图像的亲子间人脸相似性度量计算方法
CN112634171A (zh) 基于贝叶斯卷积神经网络的图像去雾方法及存储介质
CN115330620A (zh) 一种基于循环生成对抗网络的图像去雾方法
Jia et al. Effective meta-attention dehazing networks for vision-based outdoor industrial systems
CN109887023B (zh) 一种基于加权梯度幅度的双目融合立体图像质量评价方法
CN109583406B (zh) 基于特征关注机制的人脸表情识别方法
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21820942

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022517497

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21820942

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21820942

Country of ref document: EP

Kind code of ref document: A1