WO2022267641A1 - 一种基于循环生成对抗网络的图像去雾方法及系统 - Google Patents

一种基于循环生成对抗网络的图像去雾方法及系统 Download PDF

Info

Publication number
WO2022267641A1
WO2022267641A1 PCT/CN2022/086885 CN2022086885W WO2022267641A1 WO 2022267641 A1 WO2022267641 A1 WO 2022267641A1 CN 2022086885 W CN2022086885 W CN 2022086885W WO 2022267641 A1 WO2022267641 A1 WO 2022267641A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
discriminator
generator
network
fog
Prior art date
Application number
PCT/CN2022/086885
Other languages
English (en)
French (fr)
Inventor
张登银
齐城慧
杨妍
徐业鹏
韩文生
马永连
王瑾帅
Original Assignee
南京邮电大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京邮电大学 filed Critical 南京邮电大学
Priority to US17/831,421 priority Critical patent/US20220414838A1/en
Publication of WO2022267641A1 publication Critical patent/WO2022267641A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Definitions

  • the invention relates to an image defogging method and system based on a cyclic generative confrontation network, and belongs to the technical field of image processing.
  • the processing algorithms for foggy images are mainly divided into three categories.
  • One is based on the image enhancement algorithm.
  • the dehazing method based on image enhancement is to enhance the degraded image, improve the quality of the image, and highlight the features and valuable information of the scene in the image.
  • This method does not consider the cause of image degradation, which may result in the loss of part of the image information and distortion after processing.
  • the second method is based on the atmospheric scattering model. This method first estimates the parameters of the atmospheric scattering model based on some prior knowledge of the haze-free image, and then substitutes the parameters into the model to restore the haze-free image.
  • the haze-free image processed by this method is clearer and more natural, with less loss of detail, but different prior knowledge has limitations in its respective application scenarios.
  • the third is the method based on deep learning.
  • Most studies use the synthetic haze image data as the training set to train different types of convolutional neural networks to estimate the transmittance or directly estimate the haze-free image.
  • More representative networks include Dehazenet, MSCNN, AOD-NET, DCPN, etc., but generally require large-scale training data sets, and require clear and foggy image pairs. Once the conditions are not met, these learning-based methods will fail. . In practice, however, it is very difficult to collect large pairwise datasets with the required scene realism due to scene variations and other factors. However, the amount of information in the synthesized foggy image is inconsistent with the real foggy image, which affects the dehazing effect.
  • the technical problem to be solved by the present invention is to overcome the defects of the prior art, provide an image defogging method and system based on cyclic generative confrontation network, and solve the lack of true pairing faced by the existing image defogging method based on deep learning
  • There are problems such as insufficient learning of data set, image defogging feature learning based on recurrent generative confrontation network, and generated image artifacts affecting the quality of image defogging.
  • the present invention provides an image defogging method based on recurrent generative confrontation network, including:
  • the densely connected recurrent generation confrontation network includes a generator, the generator includes an encoder, a converter and a decoder, the encoder includes a densely connected layer for extracting features of an input image, and the converter includes an over-conversion layer for converting the encoded
  • the features extracted in the decoder stage are combined.
  • the decoder includes a densely connected layer and a scaled convolutional neural network layer. The densely connected layer is used to restore the original features of the image, and the scaled convolutional neural network layer is used to remove the chessboard of the restored original features. grid effect to get the final output haze-free image.
  • the converter stage also includes a dense residual block.
  • the dense residual block includes a dense connection layer and a transition conversion layer.
  • the dense connection layer is used to combine the features extracted by the encoder.
  • the transition conversion layer is used to maintain The dimensions of the input image and the output image are the same, which is convenient for further operation of the subsequent decoder.
  • the densely connected cyclic generative adversarial network also includes a skipping layer, which connects an encoder and a decoder, and is used for transmitting data information streams.
  • the training process of the densely connected loop generating confrontation network includes:
  • the densely connected cyclic generation confrontation network also includes the discriminator Dx and the discriminator Dy.
  • the training samples of foggy images are recorded as data set P(x), and the training sample data set of fog-free images P(y);
  • the trained densely connected recurrent generative adversarial network is determined.
  • stochastic gradient descent algorithm includes:
  • the update formula is:
  • ⁇ is the basic learning rate
  • W′ is the updated weight parameter
  • L G is the total loss function
  • L G L gan +L cyc (G,F)+ ⁇ L Per (G,F)
  • L gan is the overall confrontation loss function
  • L gan L gan1 +L gan2
  • L gan1 is the confrontation loss function of the generator G and the discriminator Dy:
  • L gan1 E y ⁇ P(y) [logD y (y)]+E x ⁇ P(x) [log(1-D y (G(x)))]
  • L gan2 is the confrontation loss function of the generator F and the discriminator Dx:
  • L gan2 E x ⁇ P(x) [logD x (x)]+E y ⁇ P(y) [log(1-D x (F(y)))]
  • x represents a foggy image
  • y represents a fog-free image
  • x ⁇ P(x) means that x obeys the distribution of the data set sample P(x)
  • y ⁇ P(y) means that y obeys the distribution of the data set sample P(y) distribution
  • G(x) is the fog-free image generated by the generator G from the foggy image in the dataset P(x)
  • F(y) is the fog-free image generated by the generator F from the foggy image in the dataset P(y)
  • E represents the mathematical expectation
  • D y (y), D y (G(x)) respectively represent the discriminative results of the discriminator Dy on the fog-free image y and G(x)
  • D x (x), D x (F(y)) respectively represent the discrimination results of the discriminator Dx for x and F(y);
  • L cyc (G, F) is the cycle consistency loss function
  • F(G(x)) is the foggy image regenerated by the generator F from the fog-free image G(x);
  • G(F(y)) is the foggy image generated by the generator G from the foggy image F(y). fog-free images,
  • a computer-readable storage medium that stores one or more programs, the one or more programs including instructions that, when executed by a computing device, cause the computing device to perform any of the methods .
  • An image defogging system based on recurrent generative adversarial networks comprising,
  • one or more processors memory, and one or more programs, wherein one or more programs are stored in the memory and configured to be executed by the one or more processors, the one or more programs include Instructions for performing any of the methods described.
  • image defogging based on cyclic generative adversarial networks eliminates the requirement for paired data sets and solves the problem that artificial synthetic data set training networks cannot be applied to real dehazing scenarios;
  • the dense connection structure in the DenseNet network and the residual structure in the ResNet network are introduced into the generator network, which increases the capacity of network parameters, improves the utilization of feature maps, and solves the problem of feature learning in recurrent generation confrontation networks. Insufficient, the image details are not specific enough, and the network training efficiency is maintained;
  • a scaling convolutional neural network is added to the decoder to remove network artifacts and improve the quality of the generated image.
  • Fig. 1 is a schematic flow diagram of the overall network architecture implemented by the method of the present invention
  • Fig. 2 is a schematic structural diagram of the dense residual cyclic generation confrontation network generator described in the method embodiment of the present invention
  • Figure 3 is a network structure diagram of the discriminator.
  • FIG. 1 is a schematic flow diagram of the overall network architecture implemented by an image defogging method based on a recurrent generative adversarial network according to the present invention.
  • Step 1 build a recurrent generative adversarial network with dense residuals.
  • the two generators G and F generate four output results, which are: input a foggy image, output a dehazed image and a cycle-generated foggy image; the input is a fog-free image, and the output is generated The foggy image and the recurrently generated fog-free image.
  • the generator G generates corresponding haze-free images G(x) from the hazy images in the dataset P(x), on the other hand, the generator F generates haze-free images from the haze-free images in the dataset P(y). Image F(y) of fog.
  • the discriminator Dy judges the quality of the fog-free image generated by the generator G, and the discriminator Dx judges the quality of the foggy image generated by the generator F.
  • the output value range of the discriminator is [0,1], and the output value of the discriminator is close to 0, then continue to train the generator; the output value of the discriminator is close to 1, which proves that the quality of the image generated by the generator meets the requirements, and further training of the discriminator can be continued.
  • the image quality generated by the generator is better, and the discrimination ability of the discriminator is getting stronger and stronger.
  • the two generators G and F can be jointly optimized, and the generator F generates a foggy image F(G(x) from the non-foggy image G(x) ); the generator G generates a fog-free image G(F(y)) from the foggy image F(y).
  • the generator F generates a foggy image F(G(x) from the non-foggy image G(x) ); the generator G generates a fog-free image G(F(y)) from the foggy image F(y).
  • x and F(G(x)) are kept close, and y and G(F(y)) are kept close to get the optimal dehazing model.
  • FIG. 2 is a schematic diagram of the generator structure of the dense residual loop generation confrontation network described in the method embodiment of the present invention.
  • the generator network is divided into three stages: encoding, converter and decoding.
  • Encoding stage Extract the features of the input image. This paper replaces the original convolution operation with a densely connected layer to improve the utilization of the feature map.
  • the densely connected layer contains three densely connected convolutions with a size of 3 ⁇ 3 and a padding of 2.
  • Floor Feature maps are concatenated in depth in densely connected layers.
  • Converter stage Combine the features extracted in the encoder stage, process the feature map through the conversion layer, and the convolution scale is 1 ⁇ 1.
  • the conversion layer is followed by N dense residual blocks to increase the capacity of network parameters, and the number of N can be adjusted later according to the training situation.
  • the dense residual block contains densely connected layers and transition layers.
  • the transition conversion layer After dense connection processing, the transition conversion layer performs transition processing on the dense connection processing results, including normalization processing and activation operations.
  • the feature map after the transition transformation is added component-wise with the input data to form an identity mapping layer. After the transition transformation, the output of the densely connected layer has the same dimension as the input data, which guarantees the residual operation. In this process, the resolution of the feature map processed by the network is low, and the amount of convolution calculation is small, so the densely connected residual block will not have a great impact on the network efficiency while deepening the network and improving the utilization rate.
  • Decoding stage Restore the original features of the image and generate the corresponding image.
  • the dense connection method is also used in the upsampling process of the decoder.
  • this paper adds a scaling convolution operation to eliminate the checkerboard artifact effect, that is, using the nearest The adjacent interpolation scales the image to the target size, and then performs the convolution operation. Finally, the features restored by upsampling are combined to output the final image result.
  • a layer-skip connection is introduced between the two modules of the encoder and the decoder to transmit the data information flow, so as to provide more information transmission between the encoding process and the decoding process.
  • Figure 3 is the network structure diagram of the discriminator.
  • the discriminator designed in this paper is a fully convolutional network, which uses 5 convolutional networks with a size of 4 ⁇ 4 for feature extraction.
  • the first layer includes a convolutional layer and a leaky corrected linear unit (LeakyReLu) activation function;
  • the middle three-layer convolutional layer compresses the size and increases the dimension, then performs batch normalization to accelerate the convergence of the network, and then uses the activation function to perform activations;
  • the last layer contains only convolutional operations to maintain stability during training.
  • Step 2 construct a loss function, which includes adversarial loss, cycle consistency loss and perceptual loss.
  • Adversarial loss and cycle consistency loss are inherent loss functions in the recurrent generative adversarial network network, which can complete the training of the model using asymmetric data.
  • a perceptual loss function is specially introduced to strengthen the constraints on the quality of generated images.
  • Adversarial loss used to constrain the image generation during the confrontation process, the confrontation loss of the generator G and the discriminator Dy is recorded as:
  • L gan1 E y ⁇ P(y) [logD y (y)]+E x ⁇ P(x) [log(1-D y (G(x)))](2)
  • L gan2 E x ⁇ P(x) [logD x (x)]+E y ⁇ P(y) [log(1-D x (G(y)))](3)
  • x represents a foggy image
  • y represents a fog-free image
  • x ⁇ P(x) means that x obeys the distribution of the data set sample P(x)
  • y ⁇ P(y) means that y obeys the distribution of the data set sample P(y) distribution
  • E stands for mathematical expectation.
  • Cycle Consistency Loss It is used to constrain the mutual conversion of foggy and fog-free image data, and solves the problem that the output distribution cannot be guaranteed to be consistent with the target distribution in the case of only adversarial loss. Recorded as:
  • F(G(x)) is the loop image of the original image, which brings back the result G(x) of the generator as the original image.
  • G(F(y)) is a cycle image of the original image y, which can make F(y) return to the original image y.
  • the purpose of training is to keep F(G(x)) close to x, G(F(y)) and y.
  • Perceptual Loss Constraining the perceptual details of image generation from a high-level semantic perspective. Using only the first two losses will result in over-smoothing and loss of detail. The perceptual loss calculates the distance between the network generated result and the true value in the feature map output by a specific layer of the pre-trained VGG network (classic network structure in the convolutional neural network). The perceptual loss is expressed as:
  • the total loss function is expressed as:
  • ⁇ is the weight ratio of the perceptual loss function, which reflects the degree of influence of the part of the perceptual loss function on the overall loss function, which is taken as 0.6 here.
  • Step 3 network training.
  • the discriminator is pre-trained.
  • the discriminator only needs to know the pixel distribution characteristics of the fog on the image, such as intensity distribution and position distribution, to judge whether the image is a real foggy image or a real fog-free image.
  • the two sets of data sets A and B selected in step 1 are used for the training of the discriminator.
  • the discriminator can initially judge the characteristics of fog by using labels.
  • the result of the discriminator will be marked is 1; similarly, if two fog-free images are input, the result of the discriminator is also marked as 1; if one foggy and one fog-free image is respectively input, the result is marked as 0, and the pre-training of the discriminator makes the later discrimination
  • the game process between generator and generator is more real and effective.
  • the discriminator is trained by fixing the weight parameters of the generator, and the decline of the adversarial loss function, the cycle consistent loss function and the perceptual loss function are respectively recorded, and further, in the forward propagation and back propagation
  • the process iteratively updates the discriminator weight parameters continuously.
  • the generator is trained by the fixed discriminator in the same way, and the weight parameters of the generator are continuously updated.
  • the condition for determining stability here is that the loss function error ⁇ of 10 consecutive adjacent cycles is stable at about 0.001.
  • the number of training reaches 500 or ⁇ 0.001, the training is stopped.
  • Step 4 Input the foggy image into the above-mentioned pre-trained densely connected recurrent generative adversarial network to obtain a fog-free image.
  • the present invention also provides a computer-readable storage medium storing one or more programs, and the one or more programs include instructions, and the instructions, when executed by a computing device, cause the computing device to execute the described any of the methods.
  • the present invention also provides an image defogging system based on a recurrent generative confrontation network, including:
  • one or more processors memory, and one or more programs, wherein one or more programs are stored in the memory and configured to be executed by the one or more processors, the one or more programs include Instructions for performing any of the methods described.
  • the present invention uses a densely connected cyclic generative confrontation network to perform image defogging, which belongs to end-to-end defogging, and the input of a foggy image can directly output a fog-free image. Due to the use of cycle generation confrontation network, it can solve the problem of lack of real paired data sets faced by the existing image defogging method based on deep learning, introduce dense connection and residual network structure, optimize the CycleGan network structure, and increase network parameters capacity and improve the utilization of feature maps. It solves the problem of insufficient feature learning in the recurrent generation confrontation network, and uses scaling convolution to avoid network artifacts and improve the quality of generated images.
  • the embodiments of the present application may be provided as methods, systems, or computer program products. Accordingly, the present application may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present application may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable data processing apparatus to operate in a specific manner, such that the instructions stored in the computer-readable memory produce an article of manufacture comprising instruction means, the instructions
  • the device realizes the function specified in one or more procedures of the flowchart and/or one or more blocks of the block diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于循环生成对抗网络的图像去雾方法及系统，包括：获取待处理的有雾图像；输入到预先训练好的密集连接循环生成对抗网络，输出无雾图像；所述密集连接循环生成对抗网络包括生成器，生成器包括编码器、转换器和解码器，编码器包括密集连接层，用于提取输入图像的特征，转换器包括过度转换层，用于将编码器阶段提取的特征进行组合，解码器包括密集连接层和缩放卷积神经网络层，密集连接层用于还原图像的原有特征，缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应，得到最终输出的无雾图像。优点：基于循环生成对抗网络进行图像去雾，消除对成对数据集的要求，提高了特征图的利用率，保持网络训练效率，提高生成图像质量。

Description

一种基于循环生成对抗网络的图像去雾方法及系统 技术领域
本发明涉及一种基于循环生成对抗网络的图像去雾方法及系统，属于图像处理技术领域。
背景技术
在信息化飞速发展的社会条件下，图像视频是人们获取信息的主要来源，图像的质量也严重影响着信息的读取与判断，现如今卫星遥感系统、航拍系统、室外监控和目标识别等系统的工作都是依赖于光学成像仪器来完成，但由于雾霾天气的出现，采集的照片清晰度会受到影响，呈现对比度降低，图像模糊，可提取的特征严重不足的特点。这不仅使得图片观赏性降低，还会影响图像后期的处理。因此，为了给研究者提供清晰、特征丰富的图像，让计算机视觉系统正常工作，图像去雾的研究是非常有必要的。
随着计算机视觉应用的日益广泛和计算机技术的发展与成熟，图像去雾技术己经取得了可观的研究成果。对于雾天图像的处理算法主要分为三类。一种是基于图像增强算法，基于图像增强的去雾方法是对被降质的图像进行增强，改善图像的质量，突出图像中景物的特征和有价值的信息。但这种方法不考虑导致图像退化的原因，处理后可能会导致图像部分信息的损失，出现失真现象。第二种是基于大气散射模型的方法，这种方法首先根据无雾图像的一些先验知识对大气散射模型参数进行估计，然后将参数代入模型进而恢复无雾图像。经过该方法处理得到的无雾图像更加清晰、自然，细节损失较少，但不同的先验知识存在着各自应用场景的局限性。三是基于深度学习的方法，大多数研究以合成的雾图数据作为训练集，训练不同类型的卷积神经网络来估计透射率或者直接估计无雾图像。比较有代表性的网络有Dehazenet，MSCNN，AOD-NET，DCPN等，但一般都需要大规模训练数据集，而且需要清晰和有雾的图像对，一旦不满足条件，这些基于学习的方法将失效。然而，实际上，由于场景的变化和其他因素的影响，要收集具有所需场景真实性的大量成对数据集非常困难。而合成的有雾图像，其信息量又存在与真实的有雾图像不一致的问题，影响去 雾效果。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于循环生成对抗网络的图像去雾方法及系统，解决现有采用基于深度学习的图像去雾方法所面临的缺乏真实成对数据集、基于循环生成对抗网络实现图像去雾特征学习不足、以及生成图像产生伪影影响图像去雾质量等问题。
为解决上述技术问题，本发明提供一种基于循环生成对抗网络的图像去雾方法，包括：
获取待处理的有雾图像；
输入到预先训练好的密集连接循环生成对抗网络，输出无雾图像；
所述密集连接循环生成对抗网络包括生成器，生成器包括编码器、转换器和解码器，编码器包括密集连接层，用于提取输入图像的特征，转换器包括过度转换层，用于将编码器阶段提取的特征进行组合，解码器包括密集连接层和缩放卷积神经网络层，密集连接层用于还原图像的原有特征，缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应，得到最终输出的无雾图像。
进一步的，所述转换器阶段还包括密集残差块，密集残差块包含密集连接层和过渡转换层，密集连接层用于将编码器提取到的特征进行组合拼接，过渡转换层用于保持输入图像和输出图像的维度相同，方便后续解码器的进一步操作。
进一步的，所述密集连接循环生成对抗网络还包括跳层，连接编码器和解码器，用于进行数据信息流的传输。
进一步的，所述密集连接循环生成对抗网络的训练过程包括：
密集连接循环生成对抗网络还包括判别器判别器Dx和判别器Dy，生成器有两个，分别为生成器G和生成器F，其中生成器G和生成器F，判别器Dx和判别器Dy分别具有着相同的网络结构；
从Reside数据集中随机选取无雾图像和有雾图像各N张作为训练样本，有雾图像的训练样本记为数据集P(x)，无雾图像的训练样本数据集P(y)；
对数据集P(x)和数据集P(y)进行标记，利用标记后的数据集P(x)和数据集 P(y)对判别器Dx和判别器Dy进行训练，使得判别器Dx和判别器Dy能够判断若输入两幅有雾图像，判别器结果标记为1，若输入两幅无雾图像判别器结果也标记为1，若分别输入一幅有雾图像，一幅无雾图像，判别器结果标记为0；
对生成器和判别器的网络的权重参数W进行初始化；
初始化完成后，根据数据集P(x)和数据集P(y)确定输入样本；
根据输入样本，先固定生成器权重参数对判别器进行训练，使用随机梯度下降算法来更新判别器的最终权重参数，之后固定判别器的权重参数为所述更新的判别器的最终权重参数对生成器进行训练，使用随机梯度下降算法来更新生成器的最终权重参数；
根据判别器的最终权重参数和生成器的最终权重参数确定训练好的密集连接循环生成对抗网络。
进一步的，所述随机梯度下降算法包括：
根据输入样本利用如下更新公式更新权重参数，更新公式为：
Figure PCTCN2022086885-appb-000001
其中，α为基础学习率，W′为更新后的权重参数，L G为总损失函数，
L G＝L gan+L cyc(G,F)+γL Per(G,F)
L gan为整体对抗损失函数，
L gan＝L gan1+L gan2
L gan1为生成器G和判别器Dy的对抗损失函数：
L gan1＝E y～P(y)[logD y(y)]+E x～P(x)[log(1-D y(G(x)))]
L gan2为生成器F和判别器Dx的对抗损失函数：
L gan2＝E x～P(x)[logD x(x)]+E y～P(y)[log(1-D x(F(y)))]
其中，x代表有雾图像，y代表无雾图像，x～P(x)表示x服从数据集样本 P(x)的分布，y～P(y)表示y服从数据集样本P(y)的分布，G(x)为生成器G从数据集P(x)中的有雾图像生成的无雾图像，F(y)为生成器F从数据集P(y)中的无雾图像生成的有雾图像，E表示数学期望，D y(y)、D y(G(x))分别表示判别器Dy对无雾图像y和G(x)的判别结果；D x(x)、D x(F(y))、分别表示判别器Dx对x和F(y)的判别结果；
L cyc(G,F)为循环一致性损失函数：
L cyc(G，F)＝E x～P(x)[||F(G(x))-x|| 1]+E y～P(y)[||G(F(y))-y|| 1]
其中，F(G(x))为生成器F从无雾图像G(x)再生成的有雾图像；G(F(y))为生成器G从有雾图像F(y)又生成的无雾图像，
L Per(G,F)为感知损失函数：
Figure PCTCN2022086885-appb-000002
其中，
Figure PCTCN2022086885-appb-000003
和
Figure PCTCN2022086885-appb-000004
分别表示x和y经过VGG16网络卷积层后输出的特征值，
重新获取输入样本，并重复上述步骤，通过不断调整权重参数使总损失函数趋于平稳或循环次数达到预先设置的阈值，则停止训练，输出最终的权重，趋于平稳的判定条件是连续若干次循环的损失函数误差∈稳定不大于0.001。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
一种基于循环生成对抗网络的图像去雾系统，包括，
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
本发明所达到的有益效果：
第一，基于循环生成对抗网络进行图像去雾，消除了对成对数据集的要求，解决了人工合成数据集训练网络无法应用于真实去雾场景中的问题；
第二，将DenseNet网络中的密集连接结构与ResNet网络中的残差结构引入到生成器网络中，增加了网络参数的容量，提高了特征图的利用率，解决了循环生成对抗网络中特征学习不足，图像细节不够具体的问题，保持了网络训练效率；
第三，针对循环生成对抗网络中生成器网络会出现网络伪影问题，在解码器中加入缩放卷积神经网络去除网络伪影，提高生成图像质量。
附图说明
图1为本发明方法实施的整体网络架构流程示意图；
图2为本发明方法实施例所述的密集残差的循环生成对抗网络生成器结构示意图；
图3为判别器的网络结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1为本发明的一种基于循环生成对抗网络的图像去雾方法实施的整体网络架构流程示意图。
步骤1，构建设计密集残差的循环生成对抗网络。
首先，在Reside数据集(图像去雾研究常用的数据集)中，随机选取无雾图像和有雾的图像各150张作为训练样本，分别记为P(x)组(有雾的图像)和P(y)组(清晰无雾的图像)，并将两组图像像素统一调整至256×256大小。另外，再选出有雾和无雾图像各50张分别记为A、B两组，用于判别器Dx和Dy的预训练。从P(x)、P(y)两组数据集中分别读取一张有雾图像和一张无雾图像(选取的图像无需成对)，同时输入到密集残差的循环生成对抗网络中进行处理。
在系统工作的过程中，两个生成器G、F生成四个输出结果，分别是：输入有雾图像，输出去雾图像和循环生成的有雾图像；输入为无雾图像，则输出为生成的有雾图像和循环生成的无雾图像。
一方面，生成器G从数据集P(x)中的有雾图像生成相应的无雾图像G(x)，另一方面，生成器F从数据集P(y)中的无雾图像生成有雾的图像F(y)。
判别器Dy判断生成器G所生成的无雾图像质量，判别器Dx判别生成器F生成的有雾图像质量。判别器输出值范围为[0,1]，判别器输出值接近于0，则继续训练生成器；判别器输出值接近于1，证明生成器生成图像质量符合要求，进一步可以继续训练判别器。在生成器和判别器的不断博弈过程中，生成器生成的图像质量更好，判别器的判别能力也越来越强。
进一步地，为了约束有雾图像与无雾图像的特征转换，使得G、F两个生成器可以协同优化，生成器F从无雾图像G(x)又生成有雾图像F(G(x))；生成器G从有雾图像F(y)又生成无雾图像G(F(y))。通过训练使得x与F(G(x))不断接近，y与G(F(y))不断接近，得到最优的去雾模型。
将图像归一化处理并进行储存。通过这种网络结构实现弱监督的图像去雾。
进一步地，设计生成器的网络结构，图2为本发明方法实施例所述密集残差循环生成对抗网络的生成器结构示意图。生成器网络共分为编码、转换器和解码三个阶段。
编码阶段：提取输入图像的特征，本文将原本的卷积操作替换为密集连接层以提高特征图的利用率，密集连接层包含三个密集连接的大小为3×3，填充为2的卷积层。在密集连接层中对特征图在深度方向上进行拼接。
转换器阶段：将编码器阶段提取的特征进行组合，通过转换层对特征图进行处理，卷积尺度大小为1×1。转换层后接N个密集残差块来增加网络参数的容量，N的数量可以后期根据训练情况调整。密集残差块中包含了密集连接层与过渡转换层。在密集连接处理后，过渡转换层对密集连接的处理结果进行过渡处理，包括归一化处理以及激活操作。经过过渡转换后的特征图会与输入数据进行逐分量相加操作以形成恒等映射层。经过过渡转换后，密集连接层的输出与输入数据的维度相同，保证残差操作。由于在这个过程中，网络处理的特征图分辨率较低，卷积计算量较小，所以密集连接的残差块在加深网络提高利用率的同时，也不会对网络效率产生较大影响。
解码阶段：还原图像的原有特征，生成相应的图像，在解码器的上采样过 程中同样采用密集连接的方式，特别的是，本文加入缩放卷积操作消除棋盘格伪影效应，即使用最近邻插值将图像缩放到目标尺寸，再进行卷积操作。最后通过组合上采样还原出的特征，输出最后的图像结果。
进一步地，在编码器和解码器两个模块间引入跳层连接，进行数据信息流的传输，以便在编码过程和解码过程之间提供更多的信息传输。
进一步地，设计判别器的网络结构，图3为判别器的网络结构图，本文设计的判别器是一个全卷积的网络，使用了5个尺寸为4×4的卷积网络用于提取特征，第一层包括卷积层和泄露修正线性单元(LeakyReLu)激活函数；中间三层卷积层进行尺寸的压缩和升维之后进行批量归一化来加速网络的收敛性，随后用激活函数进行激活；最后一层仅包含卷积运算，以保持训练过程中的稳定性。
步骤2，构建损失函数，损失函数包括对抗损失、循环一致性损失和感知损失。对抗损失和循环一致性损失是循环生成对抗网络网络中固有的损失函数，能够完成模型使用非对称数据的训练。同时为了提高图像的生成质量，特别引入了感知损失函数以加强对生成图像质量的约束。
对抗损失：用于约束对抗过程中图像生成的情况，生成器G和判别器Dy的对抗损失记为：
L gan1＝E y～P(y)[logD y(y)]+E x～P(x)[log(1-D y(G(x)))](2)
同理，生成器F和判别器Dx的对抗损失记为：
L gan2＝E x～P(x)[logD x(x)]+E y～P(y)[log(1-D x(G(y)))](3)
故，整体对抗损失函数为记为：
L gan＝L gan1+L gan2       (4)
其中，x代表有雾图像，y代表无雾图像，x～P(x)表示x服从数据集样本P(x)的分布，y～P(y)表示y服从数据集样本P(y)的分布，E表示数学期望。
循环一致性损失：用于约束有雾和无雾图像数据的相互转换，解决在只有对抗性损失的情况下不能保证输出分布与目标分布相一致的问题。记为：
L cyc(G,F)＝E x～P(x)[||F(G(x))-x|| 1]+E y～P(y)[||G(F(y))-y|| 1](5)
其中，F(G(x))为原始图像的循环图像，它将生成器的结果G(x)带回为原来的图像。G(F(y))为原始图像y的循环图像，能够使F(y)回到原始图像y。训练的 目的使F(G(x))与x，G(F(y))与y不断接近。
感知损失：从高层语义角度约束图像生成的感知细节。仅仅使用前两种损失会出现结果过度平滑，丢失细节。感知损失计算的是网络生成结果和真值在预训练的VGG网络(卷积神经网络中经典网络结构)特定层输出的特征图之间的距离，感知损失表示为：
Figure PCTCN2022086885-appb-000005
其中，
Figure PCTCN2022086885-appb-000006
和
Figure PCTCN2022086885-appb-000007
分别表示x和y经过VGG16网络卷积层后输出的特征值。
总损失函数表示为：
L G＝L gan+L cyc(G,F)+γL Per(G,F)       (7)
其中，γ为感知损失函数的权重比例，反映了感知损失函数所在部分对整体损失函数的影响程度，这里取为0.6。
步骤3，网络的训练。
首先对判别器进行预训练，判别器只需要清楚雾在图像上体现出来的像素分布特征，例如强度分布及位置分布等，便可判断图像是否为真实有雾图像或真实无雾图像。步骤1选取的A,B两组数据集用于对判别器的训练，在训练过程中，采用标签的方式使得判别器初步可以判断雾的特征，若输入两幅有雾图像，判别器结果标记为1；同理，若输入两幅无雾图像判别器结果也标记为1；若分别输入一幅有雾，一幅无雾图像，结果标记为0，通过判别器的预训练，使得后期判别器与生成器的博弈过程更加真实有效。
进一步地，对整个网络进行训练，首先对每一阶段网络的权重参数W进行初始化，在[-0.1,0.1]之间随机选取一个小数，作为初始化的权重参数，初始化完成后，使用随机梯度下降算法来更新权重参数。更新规则为：
Figure PCTCN2022086885-appb-000008
其中α为基础学习率。
把G和F两个生成器的基础学习率均设置为0.0001，将样本训练次数最大值预设为500次。对每对输入的样本，先利用前向传播求出总误差，再利用反向传播求出各个权重参数的偏导数，最后根据公式(8)对权重参数进行更新。
在网络的训练过程中，首先，固定生成器权重参数对判别器进行训练，分 别记录对抗损失函数、循环一致损失函数和感知损失函数的下降情况，进一步地，在前向传播和反向传播的过程中迭代不断更新判别器权重参数。随后，同理固定判别器对生成器进行训练，不断更新生成器的权重参数。
重复上述步骤，通过不断调整权重参数使得式(6)中的总损失函数趋于平稳，这里判定平稳的条件是连续相邻10次循环的损失函数误差∈稳定在0.001左右。当训练次数达到500或∈≤0.001时，则停止训练。
步骤4，将有雾图像输入到上述预先训练好的密集连接循环生成对抗网络中，得到无雾图像。
相应的本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
相应的本发明还提供一种基于循环生成对抗网络的图像去雾系统，包括，
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
本发明采用密集连接的循环生成对抗网络进行图像去雾，属于端对端去雾，输入有雾图像可以直接输出无雾图像。由于使用循环生成对抗网络，可以解决现有采用基于深度学习的图像去雾方法所面临的缺乏真实成对数据集问题，引入密集连接和残差网络结构，对CycleGan网络结构进行优化，增加网络参数的容量并提高了特征图的利用率。解决了循环生成对抗网络中特征学习不足的问题，同时采用缩放卷积避免了网络伪影，提高生成图片的质量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

  1. 一种基于循环生成对抗网络的图像去雾方法，其特征在于，包括：
    获取待处理的有雾图像；
    输入到预先训练好的密集连接循环生成对抗网络，输出无雾图像；
    所述密集连接循环生成对抗网络包括生成器，生成器包括编码器、转换器和解码器，编码器包括密集连接层，用于提取输入图像的特征，转换器包括过度转换层，用于将编码器阶段提取的特征进行组合，解码器包括密集连接层和缩放卷积神经网络层，密集连接层用于还原图像的原有特征，缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应，得到最终输出的无雾图像。
  2. 根据权利要求1所述的基于循环生成对抗网络的图像去雾方法，其特征在于，所述转换器阶段还包括密集残差块，密集残差块包含密集连接层和过渡转换层，密集连接层用于将编码器提取到的特征进行组合拼接，过渡转换层用于保持输入图像和输出图像的维度相同。
  3. 根据权利要求1所述的基于循环生成对抗网络的图像去雾方法，其特征在于，所述密集连接循环生成对抗网络还包括跳层，连接编码器和解码器，用于进行数据信息流的传输。
  4. 根据权利要求1所述的基于循环生成对抗网络的图像去雾方法，其特征在于，所述密集连接循环生成对抗网络的训练过程包括：
    密集连接循环生成对抗网络还包括判别器判别器Dx和判别器Dy，生成器有两个，分别为生成器G和生成器F，其中生成器G和生成器F，判别器Dx和判别器Dy分别具有着相同的网络结构；
    从Reside数据集中随机选取无雾图像和有雾图像各N张作为训练样本，有雾图像的训练样本记为数据集P(x)，无雾图像的训练样本数据集P(y)；
    对数据集P(x)和数据集P(y)进行标记，利用标记后的数据集P(x)和数据集P(y)对判别器Dx和判别器Dy进行训练，使得判别器Dx和判别器Dy能够判断若输入两幅有雾图像，判别器结果标记为1，若输入两幅无雾图像判别器结果也标记为1，若分别输入一幅有雾图像，一幅无雾图像，判别器结果标记为0；
    对生成器和判别器的网络的权重参数W进行初始化；
    初始化完成后，根据数据集P(x)和数据集P(y)确定输入样本；
    根据输入样本，先固定生成器权重参数对判别器进行训练，使用随机梯度下降算法来更新判别器的最终权重参数，之后固定判别器的权重参数为所述更新的判别器的最终权重参数对生成器进行训练，使用随机梯度下降算法来更新生成器的最终权重参数；
    根据判别器的最终权重参数和生成器的最终权重参数确定训练好的密集连接循环生成对抗网络。
  5. 根据权利要求4所述的基于循环生成对抗网络的图像去雾方法，其特征在于，所述随机梯度下降算法包括：
    根据输入样本利用如下更新公式更新权重参数，更新公式为：
    Figure PCTCN2022086885-appb-100001
    其中，α为基础学习率，W′为更新后的权重参数，L G为总损失函数，
    L G＝L gan+L cyc(G,F)+γL Per(G,F)
    L gan为整体对抗损失函数，
    L gan＝L gan1+L gan2
    L gan1为生成器G和判别器Dy的对抗损失函数：
    L gan1＝E y～P(y)[log D y(y)]+E x～P(x)[log(1-D y(G(x)))]
    L gan2为生成器F和判别器Dx的对抗损失函数：
    L gan2＝E x～P(x)[log D x(x)]+E y～P(y)[log(1-D x(F(y)))]
    其中，x代表有雾图像，y代表无雾图像，x～P(x)表示x服从数据集样本P(x)的分布，y～P(y)表示y服从数据集样本P(y)的分布，G(x)为生成器G从数 据集P(x)中的有雾图像生成的无雾图像，F(y)为生成器F从数据集P(y)中的无雾图像生成的有雾图像，E表示数学期望，D y(y)、D y(G(x))分别表示判别器Dy对无雾图像y和G(x)的判别结果；D x(x)、D x(F(y))、分别表示判别器Dx对x和F(y)的判别结果；
    L cyc(G,F)为循环一致性损失函数：
    L cyc(G,F)＝E x～P(x)[||F(G(x))-x|| 1]+E y～P(y)[||G(F(y))-y|| 1]
    其中，F(G(x))为生成器F从无雾图像G(x)再生成的有雾图像；G(F(y))为生成器G从有雾图像F(y)又生成的无雾图像，
    L Per(G,F)为感知损失函数：
    Figure PCTCN2022086885-appb-100002
    其中，
    Figure PCTCN2022086885-appb-100003
    和
    Figure PCTCN2022086885-appb-100004
    分别表示x和y经过VGG16网络卷积层后输出的特征值，
    重新获取输入样本，并重复上述步骤，通过不断调整权重参数使总损失函数趋于平稳或循环次数达到预先设置的阈值，则停止训练，输出最终的权重，趋于平稳的判定条件是连续若干次循环的损失函数误差∈稳定不大于0.001。
  6. 一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至5所述的方法中的任一方法。
  7. 一种基于循环生成对抗网络的图像去雾系统，其特征在于：包括，
    一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至5所述的方法中的任一方法的指令。
PCT/CN2022/086885 2021-06-25 2022-04-14 一种基于循环生成对抗网络的图像去雾方法及系统 WO2022267641A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/831,421 US20220414838A1 (en) 2021-06-25 2022-06-02 Image dehazing method and system based on cyclegan

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110713063.1 2021-06-25
CN202110713063.1A CN113658051B (zh) 2021-06-25 2021-06-25 一种基于循环生成对抗网络的图像去雾方法及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/831,421 Continuation US20220414838A1 (en) 2021-06-25 2022-06-02 Image dehazing method and system based on cyclegan

Publications (1)

Publication Number Publication Date
WO2022267641A1 true WO2022267641A1 (zh) 2022-12-29

Family

ID=78489001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/086885 WO2022267641A1 (zh) 2021-06-25 2022-04-14 一种基于循环生成对抗网络的图像去雾方法及系统

Country Status (2)

Country Link
CN (1) CN113658051B (zh)
WO (1) WO2022267641A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012258A (zh) * 2023-02-14 2023-04-25 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116051562A (zh) * 2023-03-31 2023-05-02 北京大学 基于深度生成网络的金属3d打印质量预测方法
CN116245902A (zh) * 2023-03-06 2023-06-09 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及系统
CN116342437A (zh) * 2023-05-30 2023-06-27 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法
CN116452469A (zh) * 2023-06-20 2023-07-18 深圳市欧冶半导体有限公司 一种基于深度学习的图像去雾处理方法及装置
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116757068A (zh) * 2023-06-06 2023-09-15 青岛理工大学 一种基于深度学习对cfrp自冲铆接成形过程的预测方法
CN116957988A (zh) * 2023-08-28 2023-10-27 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法
CN117408893A (zh) * 2023-12-15 2024-01-16 青岛科技大学 一种基于浅层神经网络的水下图像增强方法
CN117852419A (zh) * 2024-03-07 2024-04-09 齐鲁工业大学(山东省科学院) 基于条件生成对抗网络的可再生能源发电场景生成方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658051B (zh) * 2021-06-25 2023-10-13 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统
CN114140662A (zh) * 2021-11-29 2022-03-04 广州中科智巡科技有限公司 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法
CN114266937A (zh) * 2021-12-20 2022-04-01 北京百度网讯科技有限公司 模型训练、图像处理方法，装置，设备以及存储介质
CN114638767B (zh) * 2022-05-18 2022-08-16 山东师范大学 基于生成对抗网络的腹腔镜影像除烟方法
CN116452470B (zh) * 2023-06-20 2023-09-15 深圳市欧冶半导体有限公司 一种基于深度学习分阶段式训练的图像去雾方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190294931A1 (en) * 2018-03-26 2019-09-26 Artomatix Ltd. Systems and Methods for Generative Ensemble Networks
CN110689599A (zh) * 2019-09-10 2020-01-14 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111179189A (zh) * 2019-12-15 2020-05-19 深圳先进技术研究院 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN113658051A (zh) * 2021-06-25 2021-11-16 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN109472818B (zh) * 2018-10-17 2021-07-02 天津大学 一种基于深度神经网络的图像去雾方法
CN110288550B (zh) * 2019-06-28 2020-04-24 中国人民解放军火箭军工程大学 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN111507909A (zh) * 2020-03-18 2020-08-07 南方电网科学研究院有限责任公司 一种有雾图像清晰化的方法、装置及存储介质
CN111709888B (zh) * 2020-06-03 2023-12-08 中科九度(北京)空间信息技术有限责任公司 一种基于改进的生成对抗网络的航拍图像去雾方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN111986108B (zh) * 2020-08-07 2024-04-19 西北工业大学 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112785517B (zh) * 2021-01-08 2023-03-14 南京邮电大学 一种基于高分辨率表征的图像去雾方法和装置
CN112801902B (zh) * 2021-01-29 2022-06-21 福州大学 一种基于改进生成对抗网络的交通图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190294931A1 (en) * 2018-03-26 2019-09-26 Artomatix Ltd. Systems and Methods for Generative Ensemble Networks
CN110689599A (zh) * 2019-09-10 2020-01-14 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111179189A (zh) * 2019-12-15 2020-05-19 深圳先进技术研究院 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN113658051A (zh) * 2021-06-25 2021-11-16 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUN JIAMI: "Research and Implementation of Overwater Iamge Dehazing Based on CycleGAN", CHINESE MASTER'S THESES FULL-TEXT DATABASE, 1 June 2019 (2019-06-01), pages 1 - 90, XP093016133, ISSN: 1674-0246, DOI: 10.27061/d.cnki.ghgdu.2019.006211 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012258B (zh) * 2023-02-14 2023-10-13 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116012258A (zh) * 2023-02-14 2023-04-25 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116245902A (zh) * 2023-03-06 2023-06-09 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及系统
CN116245902B (zh) * 2023-03-06 2023-11-14 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及系统
CN116051562A (zh) * 2023-03-31 2023-05-02 北京大学 基于深度生成网络的金属3d打印质量预测方法
CN116051562B (zh) * 2023-03-31 2023-06-13 北京大学 基于深度生成网络的金属3d打印质量预测方法
CN116342437A (zh) * 2023-05-30 2023-06-27 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法
CN116342437B (zh) * 2023-05-30 2023-07-21 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法
CN116757068A (zh) * 2023-06-06 2023-09-15 青岛理工大学 一种基于深度学习对cfrp自冲铆接成形过程的预测方法
CN116757068B (zh) * 2023-06-06 2024-01-09 青岛理工大学 一种基于深度学习对cfrp自冲铆接成形过程的预测方法
CN116452469B (zh) * 2023-06-20 2023-10-03 深圳市欧冶半导体有限公司 一种基于深度学习的图像去雾处理方法及装置
CN116452469A (zh) * 2023-06-20 2023-07-18 深圳市欧冶半导体有限公司 一种基于深度学习的图像去雾处理方法及装置
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116645298B (zh) * 2023-07-26 2024-01-26 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116957988A (zh) * 2023-08-28 2023-10-27 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法
CN116957988B (zh) * 2023-08-28 2024-03-08 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法
CN117408893A (zh) * 2023-12-15 2024-01-16 青岛科技大学 一种基于浅层神经网络的水下图像增强方法
CN117408893B (zh) * 2023-12-15 2024-04-05 青岛科技大学 一种基于浅层神经网络的水下图像增强方法
CN117852419A (zh) * 2024-03-07 2024-04-09 齐鲁工业大学(山东省科学院) 基于条件生成对抗网络的可再生能源发电场景生成方法

Also Published As

Publication number Publication date
CN113658051B (zh) 2023-10-13
CN113658051A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN108319932B (zh) 一种基于生成式对抗网络的多图像人脸对齐的方法及装置
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
WO2023092813A1 (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
WO2021048607A1 (en) Motion deblurring using neural network architectures
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
Tang et al. Real-time neural radiance talking portrait synthesis via audio-spatial decomposition
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN115311720B (zh) 一种基于Transformer的deepfake生成方法
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
US20220414838A1 (en) Image dehazing method and system based on cyclegan
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN112507617A (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
WO2022205755A1 (zh) 纹理生成方法、装置、设备及存储介质
CN110634103A (zh) 基于生成对抗网络的图像去马赛克方法
CN109949217A (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN109859131A (zh) 一种基于多尺度自相似性与共形约束的图像复原方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Yang et al. A survey of super-resolution based on deep learning
Liu et al. Facial image inpainting using multi-level generative network
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827143

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE