WO2022267641A1 - 一种基于循环生成对抗网络的图像去雾方法及系统 - Google Patents

一种基于循环生成对抗网络的图像去雾方法及系统 Download PDF

Info

Publication number
WO2022267641A1
WO2022267641A1 PCT/CN2022/086885 CN2022086885W WO2022267641A1 WO 2022267641 A1 WO2022267641 A1 WO 2022267641A1 CN 2022086885 W CN2022086885 W CN 2022086885W WO 2022267641 A1 WO2022267641 A1 WO 2022267641A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
discriminator
generator
network
fog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/086885
Other languages
English (en)
French (fr)
Inventor
张登银
齐城慧
杨妍
徐业鹏
韩文生
马永连
王瑾帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to US17/831,421 priority Critical patent/US12148129B2/en
Publication of WO2022267641A1 publication Critical patent/WO2022267641A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Definitions

  • the invention relates to an image defogging method and system based on a cyclic generative confrontation network, and belongs to the technical field of image processing.
  • the processing algorithms for foggy images are mainly divided into three categories.
  • One is based on the image enhancement algorithm.
  • the dehazing method based on image enhancement is to enhance the degraded image, improve the quality of the image, and highlight the features and valuable information of the scene in the image.
  • This method does not consider the cause of image degradation, which may result in the loss of part of the image information and distortion after processing.
  • the second method is based on the atmospheric scattering model. This method first estimates the parameters of the atmospheric scattering model based on some prior knowledge of the haze-free image, and then substitutes the parameters into the model to restore the haze-free image.
  • the haze-free image processed by this method is clearer and more natural, with less loss of detail, but different prior knowledge has limitations in its respective application scenarios.
  • the third is the method based on deep learning.
  • Most studies use the synthetic haze image data as the training set to train different types of convolutional neural networks to estimate the transmittance or directly estimate the haze-free image.
  • More representative networks include Dehazenet, MSCNN, AOD-NET, DCPN, etc., but generally require large-scale training data sets, and require clear and foggy image pairs. Once the conditions are not met, these learning-based methods will fail. . In practice, however, it is very difficult to collect large pairwise datasets with the required scene realism due to scene variations and other factors. However, the amount of information in the synthesized foggy image is inconsistent with the real foggy image, which affects the dehazing effect.
  • the technical problem to be solved by the present invention is to overcome the defects of the prior art, provide an image defogging method and system based on cyclic generative confrontation network, and solve the lack of true pairing faced by the existing image defogging method based on deep learning
  • There are problems such as insufficient learning of data set, image defogging feature learning based on recurrent generative confrontation network, and generated image artifacts affecting the quality of image defogging.
  • the present invention provides an image defogging method based on recurrent generative confrontation network, including:
  • the densely connected recurrent generation confrontation network includes a generator, the generator includes an encoder, a converter and a decoder, the encoder includes a densely connected layer for extracting features of an input image, and the converter includes an over-conversion layer for converting the encoded
  • the features extracted in the decoder stage are combined.
  • the decoder includes a densely connected layer and a scaled convolutional neural network layer. The densely connected layer is used to restore the original features of the image, and the scaled convolutional neural network layer is used to remove the chessboard of the restored original features. grid effect to get the final output haze-free image.
  • the converter stage also includes a dense residual block.
  • the dense residual block includes a dense connection layer and a transition conversion layer.
  • the dense connection layer is used to combine the features extracted by the encoder.
  • the transition conversion layer is used to maintain The dimensions of the input image and the output image are the same, which is convenient for further operation of the subsequent decoder.
  • the densely connected cyclic generative adversarial network also includes a skipping layer, which connects an encoder and a decoder, and is used for transmitting data information streams.
  • the training process of the densely connected loop generating confrontation network includes:
  • the densely connected cyclic generation confrontation network also includes the discriminator Dx and the discriminator Dy.
  • the training samples of foggy images are recorded as data set P(x), and the training sample data set of fog-free images P(y);
  • the trained densely connected recurrent generative adversarial network is determined.
  • stochastic gradient descent algorithm includes:
  • the update formula is:
  • ⁇ is the basic learning rate
  • W′ is the updated weight parameter
  • L G is the total loss function
  • L G L gan +L cyc (G,F)+ ⁇ L Per (G,F)
  • L gan is the overall confrontation loss function
  • L gan L gan1 +L gan2
  • L gan1 is the confrontation loss function of the generator G and the discriminator Dy:
  • L gan1 E y ⁇ P(y) [logD y (y)]+E x ⁇ P(x) [log(1-D y (G(x)))]
  • L gan2 is the confrontation loss function of the generator F and the discriminator Dx:
  • L gan2 E x ⁇ P(x) [logD x (x)]+E y ⁇ P(y) [log(1-D x (F(y)))]
  • x represents a foggy image
  • y represents a fog-free image
  • x ⁇ P(x) means that x obeys the distribution of the data set sample P(x)
  • y ⁇ P(y) means that y obeys the distribution of the data set sample P(y) distribution
  • G(x) is the fog-free image generated by the generator G from the foggy image in the dataset P(x)
  • F(y) is the fog-free image generated by the generator F from the foggy image in the dataset P(y)
  • E represents the mathematical expectation
  • D y (y), D y (G(x)) respectively represent the discriminative results of the discriminator Dy on the fog-free image y and G(x)
  • D x (x), D x (F(y)) respectively represent the discrimination results of the discriminator Dx for x and F(y);
  • L cyc (G, F) is the cycle consistency loss function
  • F(G(x)) is the foggy image regenerated by the generator F from the fog-free image G(x);
  • G(F(y)) is the foggy image generated by the generator G from the foggy image F(y). fog-free images,
  • a computer-readable storage medium that stores one or more programs, the one or more programs including instructions that, when executed by a computing device, cause the computing device to perform any of the methods .
  • An image defogging system based on recurrent generative adversarial networks comprising,
  • one or more processors memory, and one or more programs, wherein one or more programs are stored in the memory and configured to be executed by the one or more processors, the one or more programs include Instructions for performing any of the methods described.
  • image defogging based on cyclic generative adversarial networks eliminates the requirement for paired data sets and solves the problem that artificial synthetic data set training networks cannot be applied to real dehazing scenarios;
  • the dense connection structure in the DenseNet network and the residual structure in the ResNet network are introduced into the generator network, which increases the capacity of network parameters, improves the utilization of feature maps, and solves the problem of feature learning in recurrent generation confrontation networks. Insufficient, the image details are not specific enough, and the network training efficiency is maintained;
  • a scaling convolutional neural network is added to the decoder to remove network artifacts and improve the quality of the generated image.
  • Fig. 1 is a schematic flow diagram of the overall network architecture implemented by the method of the present invention
  • Fig. 2 is a schematic structural diagram of the dense residual cyclic generation confrontation network generator described in the method embodiment of the present invention
  • Figure 3 is a network structure diagram of the discriminator.
  • FIG. 1 is a schematic flow diagram of the overall network architecture implemented by an image defogging method based on a recurrent generative adversarial network according to the present invention.
  • Step 1 build a recurrent generative adversarial network with dense residuals.
  • the two generators G and F generate four output results, which are: input a foggy image, output a dehazed image and a cycle-generated foggy image; the input is a fog-free image, and the output is generated The foggy image and the recurrently generated fog-free image.
  • the generator G generates corresponding haze-free images G(x) from the hazy images in the dataset P(x), on the other hand, the generator F generates haze-free images from the haze-free images in the dataset P(y). Image F(y) of fog.
  • the discriminator Dy judges the quality of the fog-free image generated by the generator G, and the discriminator Dx judges the quality of the foggy image generated by the generator F.
  • the output value range of the discriminator is [0,1], and the output value of the discriminator is close to 0, then continue to train the generator; the output value of the discriminator is close to 1, which proves that the quality of the image generated by the generator meets the requirements, and further training of the discriminator can be continued.
  • the image quality generated by the generator is better, and the discrimination ability of the discriminator is getting stronger and stronger.
  • the two generators G and F can be jointly optimized, and the generator F generates a foggy image F(G(x) from the non-foggy image G(x) ); the generator G generates a fog-free image G(F(y)) from the foggy image F(y).
  • the generator F generates a foggy image F(G(x) from the non-foggy image G(x) ); the generator G generates a fog-free image G(F(y)) from the foggy image F(y).
  • x and F(G(x)) are kept close, and y and G(F(y)) are kept close to get the optimal dehazing model.
  • FIG. 2 is a schematic diagram of the generator structure of the dense residual loop generation confrontation network described in the method embodiment of the present invention.
  • the generator network is divided into three stages: encoding, converter and decoding.
  • Encoding stage Extract the features of the input image. This paper replaces the original convolution operation with a densely connected layer to improve the utilization of the feature map.
  • the densely connected layer contains three densely connected convolutions with a size of 3 ⁇ 3 and a padding of 2.
  • Floor Feature maps are concatenated in depth in densely connected layers.
  • Converter stage Combine the features extracted in the encoder stage, process the feature map through the conversion layer, and the convolution scale is 1 ⁇ 1.
  • the conversion layer is followed by N dense residual blocks to increase the capacity of network parameters, and the number of N can be adjusted later according to the training situation.
  • the dense residual block contains densely connected layers and transition layers.
  • the transition conversion layer After dense connection processing, the transition conversion layer performs transition processing on the dense connection processing results, including normalization processing and activation operations.
  • the feature map after the transition transformation is added component-wise with the input data to form an identity mapping layer. After the transition transformation, the output of the densely connected layer has the same dimension as the input data, which guarantees the residual operation. In this process, the resolution of the feature map processed by the network is low, and the amount of convolution calculation is small, so the densely connected residual block will not have a great impact on the network efficiency while deepening the network and improving the utilization rate.
  • Decoding stage Restore the original features of the image and generate the corresponding image.
  • the dense connection method is also used in the upsampling process of the decoder.
  • this paper adds a scaling convolution operation to eliminate the checkerboard artifact effect, that is, using the nearest The adjacent interpolation scales the image to the target size, and then performs the convolution operation. Finally, the features restored by upsampling are combined to output the final image result.
  • a layer-skip connection is introduced between the two modules of the encoder and the decoder to transmit the data information flow, so as to provide more information transmission between the encoding process and the decoding process.
  • Figure 3 is the network structure diagram of the discriminator.
  • the discriminator designed in this paper is a fully convolutional network, which uses 5 convolutional networks with a size of 4 ⁇ 4 for feature extraction.
  • the first layer includes a convolutional layer and a leaky corrected linear unit (LeakyReLu) activation function;
  • the middle three-layer convolutional layer compresses the size and increases the dimension, then performs batch normalization to accelerate the convergence of the network, and then uses the activation function to perform activations;
  • the last layer contains only convolutional operations to maintain stability during training.
  • Step 2 construct a loss function, which includes adversarial loss, cycle consistency loss and perceptual loss.
  • Adversarial loss and cycle consistency loss are inherent loss functions in the recurrent generative adversarial network network, which can complete the training of the model using asymmetric data.
  • a perceptual loss function is specially introduced to strengthen the constraints on the quality of generated images.
  • Adversarial loss used to constrain the image generation during the confrontation process, the confrontation loss of the generator G and the discriminator Dy is recorded as:
  • L gan1 E y ⁇ P(y) [logD y (y)]+E x ⁇ P(x) [log(1-D y (G(x)))](2)
  • L gan2 E x ⁇ P(x) [logD x (x)]+E y ⁇ P(y) [log(1-D x (G(y)))](3)
  • x represents a foggy image
  • y represents a fog-free image
  • x ⁇ P(x) means that x obeys the distribution of the data set sample P(x)
  • y ⁇ P(y) means that y obeys the distribution of the data set sample P(y) distribution
  • E stands for mathematical expectation.
  • Cycle Consistency Loss It is used to constrain the mutual conversion of foggy and fog-free image data, and solves the problem that the output distribution cannot be guaranteed to be consistent with the target distribution in the case of only adversarial loss. Recorded as:
  • F(G(x)) is the loop image of the original image, which brings back the result G(x) of the generator as the original image.
  • G(F(y)) is a cycle image of the original image y, which can make F(y) return to the original image y.
  • the purpose of training is to keep F(G(x)) close to x, G(F(y)) and y.
  • Perceptual Loss Constraining the perceptual details of image generation from a high-level semantic perspective. Using only the first two losses will result in over-smoothing and loss of detail. The perceptual loss calculates the distance between the network generated result and the true value in the feature map output by a specific layer of the pre-trained VGG network (classic network structure in the convolutional neural network). The perceptual loss is expressed as:
  • the total loss function is expressed as:
  • ⁇ is the weight ratio of the perceptual loss function, which reflects the degree of influence of the part of the perceptual loss function on the overall loss function, which is taken as 0.6 here.
  • Step 3 network training.
  • the discriminator is pre-trained.
  • the discriminator only needs to know the pixel distribution characteristics of the fog on the image, such as intensity distribution and position distribution, to judge whether the image is a real foggy image or a real fog-free image.
  • the two sets of data sets A and B selected in step 1 are used for the training of the discriminator.
  • the discriminator can initially judge the characteristics of fog by using labels.
  • the result of the discriminator will be marked is 1; similarly, if two fog-free images are input, the result of the discriminator is also marked as 1; if one foggy and one fog-free image is respectively input, the result is marked as 0, and the pre-training of the discriminator makes the later discrimination
  • the game process between generator and generator is more real and effective.
  • the discriminator is trained by fixing the weight parameters of the generator, and the decline of the adversarial loss function, the cycle consistent loss function and the perceptual loss function are respectively recorded, and further, in the forward propagation and back propagation
  • the process iteratively updates the discriminator weight parameters continuously.
  • the generator is trained by the fixed discriminator in the same way, and the weight parameters of the generator are continuously updated.
  • the condition for determining stability here is that the loss function error ⁇ of 10 consecutive adjacent cycles is stable at about 0.001.
  • the number of training reaches 500 or ⁇ 0.001, the training is stopped.
  • Step 4 Input the foggy image into the above-mentioned pre-trained densely connected recurrent generative adversarial network to obtain a fog-free image.
  • the present invention also provides a computer-readable storage medium storing one or more programs, and the one or more programs include instructions, and the instructions, when executed by a computing device, cause the computing device to execute the described any of the methods.
  • the present invention also provides an image defogging system based on a recurrent generative confrontation network, including:
  • one or more processors memory, and one or more programs, wherein one or more programs are stored in the memory and configured to be executed by the one or more processors, the one or more programs include Instructions for performing any of the methods described.
  • the present invention uses a densely connected cyclic generative confrontation network to perform image defogging, which belongs to end-to-end defogging, and the input of a foggy image can directly output a fog-free image. Due to the use of cycle generation confrontation network, it can solve the problem of lack of real paired data sets faced by the existing image defogging method based on deep learning, introduce dense connection and residual network structure, optimize the CycleGan network structure, and increase network parameters capacity and improve the utilization of feature maps. It solves the problem of insufficient feature learning in the recurrent generation confrontation network, and uses scaling convolution to avoid network artifacts and improve the quality of generated images.
  • the embodiments of the present application may be provided as methods, systems, or computer program products. Accordingly, the present application may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present application may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable data processing apparatus to operate in a specific manner, such that the instructions stored in the computer-readable memory produce an article of manufacture comprising instruction means, the instructions
  • the device realizes the function specified in one or more procedures of the flowchart and/or one or more blocks of the block diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于循环生成对抗网络的图像去雾方法及系统，包括：获取待处理的有雾图像；输入到预先训练好的密集连接循环生成对抗网络，输出无雾图像；所述密集连接循环生成对抗网络包括生成器，生成器包括编码器、转换器和解码器，编码器包括密集连接层，用于提取输入图像的特征，转换器包括过度转换层，用于将编码器阶段提取的特征进行组合，解码器包括密集连接层和缩放卷积神经网络层，密集连接层用于还原图像的原有特征，缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应，得到最终输出的无雾图像。优点：基于循环生成对抗网络进行图像去雾，消除对成对数据集的要求，提高了特征图的利用率，保持网络训练效率，提高生成图像质量。

Description

一种基于循环生成对抗网络的图像去雾方法及系统 技术领域
本发明涉及一种基于循环生成对抗网络的图像去雾方法及系统，属于图像处理技术领域。
背景技术
在信息化飞速发展的社会条件下，图像视频是人们获取信息的主要来源，图像的质量也严重影响着信息的读取与判断，现如今卫星遥感系统、航拍系统、室外监控和目标识别等系统的工作都是依赖于光学成像仪器来完成，但由于雾霾天气的出现，采集的照片清晰度会受到影响，呈现对比度降低，图像模糊，可提取的特征严重不足的特点。这不仅使得图片观赏性降低，还会影响图像后期的处理。因此，为了给研究者提供清晰、特征丰富的图像，让计算机视觉系统正常工作，图像去雾的研究是非常有必要的。
随着计算机视觉应用的日益广泛和计算机技术的发展与成熟，图像去雾技术己经取得了可观的研究成果。对于雾天图像的处理算法主要分为三类。一种是基于图像增强算法，基于图像增强的去雾方法是对被降质的图像进行增强，改善图像的质量，突出图像中景物的特征和有价值的信息。但这种方法不考虑导致图像退化的原因，处理后可能会导致图像部分信息的损失，出现失真现象。第二种是基于大气散射模型的方法，这种方法首先根据无雾图像的一些先验知识对大气散射模型参数进行估计，然后将参数代入模型进而恢复无雾图像。经过该方法处理得到的无雾图像更加清晰、自然，细节损失较少，但不同的先验知识存在着各自应用场景的局限性。三是基于深度学习的方法，大多数研究以合成的雾图数据作为训练集，训练不同类型的卷积神经网络来估计透射率或者直接估计无雾图像。比较有代表性的网络有Dehazenet，MSCNN，AOD-NET，DCPN等，但一般都需要大规模训练数据集，而且需要清晰和有雾的图像对，一旦不满足条件，这些基于学习的方法将失效。然而，实际上，由于场景的变化和其他因素的影响，要收集具有所需场景真实性的大量成对数据集非常困难。而合成的有雾图像，其信息量又存在与真实的有雾图像不一致的问题，影响去 雾效果。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于循环生成对抗网络的图像去雾方法及系统，解决现有采用基于深度学习的图像去雾方法所面临的缺乏真实成对数据集、基于循环生成对抗网络实现图像去雾特征学习不足、以及生成图像产生伪影影响图像去雾质量等问题。
为解决上述技术问题，本发明提供一种基于循环生成对抗网络的图像去雾方法，包括：
获取待处理的有雾图像；
输入到预先训练好的密集连接循环生成对抗网络，输出无雾图像；
所述密集连接循环生成对抗网络包括生成器，生成器包括编码器、转换器和解码器，编码器包括密集连接层，用于提取输入图像的特征，转换器包括过度转换层，用于将编码器阶段提取的特征进行组合，解码器包括密集连接层和缩放卷积神经网络层，密集连接层用于还原图像的原有特征，缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应，得到最终输出的无雾图像。
进一步的，所述转换器阶段还包括密集残差块，密集残差块包含密集连接层和过渡转换层，密集连接层用于将编码器提取到的特征进行组合拼接，过渡转换层用于保持输入图像和输出图像的维度相同，方便后续解码器的进一步操作。
进一步的，所述密集连接循环生成对抗网络还包括跳层，连接编码器和解码器，用于进行数据信息流的传输。
进一步的，所述密集连接循环生成对抗网络的训练过程包括：
密集连接循环生成对抗网络还包括判别器判别器Dx和判别器Dy，生成器有两个，分别为生成器G和生成器F，其中生成器G和生成器F，判别器Dx和判别器Dy分别具有着相同的网络结构；
从Reside数据集中随机选取无雾图像和有雾图像各N张作为训练样本，有雾图像的训练样本记为数据集P(x)，无雾图像的训练样本数据集P(y)；
对数据集P(x)和数据集P(y)进行标记，利用标记后的数据集P(x)和数据集 P(y)对判别器Dx和判别器Dy进行训练，使得判别器Dx和判别器Dy能够判断若输入两幅有雾图像，判别器结果标记为1，若输入两幅无雾图像判别器结果也标记为1，若分别输入一幅有雾图像，一幅无雾图像，判别器结果标记为0；
对生成器和判别器的网络的权重参数W进行初始化；
初始化完成后，根据数据集P(x)和数据集P(y)确定输入样本；
根据输入样本，先固定生成器权重参数对判别器进行训练，使用随机梯度下降算法来更新判别器的最终权重参数，之后固定判别器的权重参数为所述更新的判别器的最终权重参数对生成器进行训练，使用随机梯度下降算法来更新生成器的最终权重参数；
根据判别器的最终权重参数和生成器的最终权重参数确定训练好的密集连接循环生成对抗网络。
进一步的，所述随机梯度下降算法包括：
根据输入样本利用如下更新公式更新权重参数，更新公式为：
Figure PCTCN2022086885-appb-000001
其中，α为基础学习率，W′为更新后的权重参数，L G为总损失函数，
L G＝L gan+L cyc(G,F)+γL Per(G,F)
L gan为整体对抗损失函数，
L gan＝L gan1+L gan2
L gan1为生成器G和判别器Dy的对抗损失函数：
L gan1＝E y～P(y)[logD y(y)]+E x～P(x)[log(1-D y(G(x)))]
L gan2为生成器F和判别器Dx的对抗损失函数：
L gan2＝E x～P(x)[logD x(x)]+E y～P(y)[log(1-D x(F(y)))]
其中，x代表有雾图像，y代表无雾图像，x～P(x)表示x服从数据集样本 P(x)的分布，y～P(y)表示y服从数据集样本P(y)的分布，G(x)为生成器G从数据集P(x)中的有雾图像生成的无雾图像，F(y)为生成器F从数据集P(y)中的无雾图像生成的有雾图像，E表示数学期望，D y(y)、D y(G(x))分别表示判别器Dy对无雾图像y和G(x)的判别结果；D x(x)、D x(F(y))、分别表示判别器Dx对x和F(y)的判别结果；
L cyc(G,F)为循环一致性损失函数：
L cyc(G，F)＝E x～P(x)[||F(G(x))-x|| 1]+E y～P(y)[||G(F(y))-y|| 1]
其中，F(G(x))为生成器F从无雾图像G(x)再生成的有雾图像；G(F(y))为生成器G从有雾图像F(y)又生成的无雾图像，
L Per(G,F)为感知损失函数：
Figure PCTCN2022086885-appb-000002
其中，
Figure PCTCN2022086885-appb-000003
和
Figure PCTCN2022086885-appb-000004
分别表示x和y经过VGG16网络卷积层后输出的特征值，
重新获取输入样本，并重复上述步骤，通过不断调整权重参数使总损失函数趋于平稳或循环次数达到预先设置的阈值，则停止训练，输出最终的权重，趋于平稳的判定条件是连续若干次循环的损失函数误差∈稳定不大于0.001。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
一种基于循环生成对抗网络的图像去雾系统，包括，
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
本发明所达到的有益效果：
第一，基于循环生成对抗网络进行图像去雾，消除了对成对数据集的要求，解决了人工合成数据集训练网络无法应用于真实去雾场景中的问题；
第二，将DenseNet网络中的密集连接结构与ResNet网络中的残差结构引入到生成器网络中，增加了网络参数的容量，提高了特征图的利用率，解决了循环生成对抗网络中特征学习不足，图像细节不够具体的问题，保持了网络训练效率；
第三，针对循环生成对抗网络中生成器网络会出现网络伪影问题，在解码器中加入缩放卷积神经网络去除网络伪影，提高生成图像质量。
附图说明
图1为本发明方法实施的整体网络架构流程示意图；
图2为本发明方法实施例所述的密集残差的循环生成对抗网络生成器结构示意图；
图3为判别器的网络结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1为本发明的一种基于循环生成对抗网络的图像去雾方法实施的整体网络架构流程示意图。
步骤1，构建设计密集残差的循环生成对抗网络。
首先，在Reside数据集(图像去雾研究常用的数据集)中，随机选取无雾图像和有雾的图像各150张作为训练样本，分别记为P(x)组(有雾的图像)和P(y)组(清晰无雾的图像)，并将两组图像像素统一调整至256×256大小。另外，再选出有雾和无雾图像各50张分别记为A、B两组，用于判别器Dx和Dy的预训练。从P(x)、P(y)两组数据集中分别读取一张有雾图像和一张无雾图像(选取的图像无需成对)，同时输入到密集残差的循环生成对抗网络中进行处理。
在系统工作的过程中，两个生成器G、F生成四个输出结果，分别是：输入有雾图像，输出去雾图像和循环生成的有雾图像；输入为无雾图像，则输出为生成的有雾图像和循环生成的无雾图像。
一方面，生成器G从数据集P(x)中的有雾图像生成相应的无雾图像G(x)，另一方面，生成器F从数据集P(y)中的无雾图像生成有雾的图像F(y)。
判别器Dy判断生成器G所生成的无雾图像质量，判别器Dx判别生成器F生成的有雾图像质量。判别器输出值范围为[0,1]，判别器输出值接近于0，则继续训练生成器；判别器输出值接近于1，证明生成器生成图像质量符合要求，进一步可以继续训练判别器。在生成器和判别器的不断博弈过程中，生成器生成的图像质量更好，判别器的判别能力也越来越强。
进一步地，为了约束有雾图像与无雾图像的特征转换，使得G、F两个生成器可以协同优化，生成器F从无雾图像G(x)又生成有雾图像F(G(x))；生成器G从有雾图像F(y)又生成无雾图像G(F(y))。通过训练使得x与F(G(x))不断接近，y与G(F(y))不断接近，得到最优的去雾模型。
将图像归一化处理并进行储存。通过这种网络结构实现弱监督的图像去雾。
进一步地，设计生成器的网络结构，图2为本发明方法实施例所述密集残差循环生成对抗网络的生成器结构示意图。生成器网络共分为编码、转换器和解码三个阶段。
编码阶段：提取输入图像的特征，本文将原本的卷积操作替换为密集连接层以提高特征图的利用率，密集连接层包含三个密集连接的大小为3×3，填充为2的卷积层。在密集连接层中对特征图在深度方向上进行拼接。
转换器阶段：将编码器阶段提取的特征进行组合，通过转换层对特征图进行处理，卷积尺度大小为1×1。转换层后接N个密集残差块来增加网络参数的容量，N的数量可以后期根据训练情况调整。密集残差块中包含了密集连接层与过渡转换层。在密集连接处理后，过渡转换层对密集连接的处理结果进行过渡处理，包括归一化处理以及激活操作。经过过渡转换后的特征图会与输入数据进行逐分量相加操作以形成恒等映射层。经过过渡转换后，密集连接层的输出与输入数据的维度相同，保证残差操作。由于在这个过程中，网络处理的特征图分辨率较低，卷积计算量较小，所以密集连接的残差块在加深网络提高利用率的同时，也不会对网络效率产生较大影响。
解码阶段：还原图像的原有特征，生成相应的图像，在解码器的上采样过 程中同样采用密集连接的方式，特别的是，本文加入缩放卷积操作消除棋盘格伪影效应，即使用最近邻插值将图像缩放到目标尺寸，再进行卷积操作。最后通过组合上采样还原出的特征，输出最后的图像结果。
进一步地，在编码器和解码器两个模块间引入跳层连接，进行数据信息流的传输，以便在编码过程和解码过程之间提供更多的信息传输。
进一步地，设计判别器的网络结构，图3为判别器的网络结构图，本文设计的判别器是一个全卷积的网络，使用了5个尺寸为4×4的卷积网络用于提取特征，第一层包括卷积层和泄露修正线性单元(LeakyReLu)激活函数；中间三层卷积层进行尺寸的压缩和升维之后进行批量归一化来加速网络的收敛性，随后用激活函数进行激活；最后一层仅包含卷积运算，以保持训练过程中的稳定性。
步骤2，构建损失函数，损失函数包括对抗损失、循环一致性损失和感知损失。对抗损失和循环一致性损失是循环生成对抗网络网络中固有的损失函数，能够完成模型使用非对称数据的训练。同时为了提高图像的生成质量，特别引入了感知损失函数以加强对生成图像质量的约束。
对抗损失：用于约束对抗过程中图像生成的情况，生成器G和判别器Dy的对抗损失记为：
L gan1＝E y～P(y)[logD y(y)]+E x～P(x)[log(1-D y(G(x)))](2)
同理，生成器F和判别器Dx的对抗损失记为：
L gan2＝E x～P(x)[logD x(x)]+E y～P(y)[log(1-D x(G(y)))](3)
故，整体对抗损失函数为记为：
L gan＝L gan1+L gan2       (4)
其中，x代表有雾图像，y代表无雾图像，x～P(x)表示x服从数据集样本P(x)的分布，y～P(y)表示y服从数据集样本P(y)的分布，E表示数学期望。
循环一致性损失：用于约束有雾和无雾图像数据的相互转换，解决在只有对抗性损失的情况下不能保证输出分布与目标分布相一致的问题。记为：
L cyc(G,F)＝E x～P(x)[||F(G(x))-x|| 1]+E y～P(y)[||G(F(y))-y|| 1](5)
其中，F(G(x))为原始图像的循环图像，它将生成器的结果G(x)带回为原来的图像。G(F(y))为原始图像y的循环图像，能够使F(y)回到原始图像y。训练的 目的使F(G(x))与x，G(F(y))与y不断接近。
感知损失：从高层语义角度约束图像生成的感知细节。仅仅使用前两种损失会出现结果过度平滑，丢失细节。感知损失计算的是网络生成结果和真值在预训练的VGG网络(卷积神经网络中经典网络结构)特定层输出的特征图之间的距离，感知损失表示为：
Figure PCTCN2022086885-appb-000005
其中，
Figure PCTCN2022086885-appb-000006
和
Figure PCTCN2022086885-appb-000007
分别表示x和y经过VGG16网络卷积层后输出的特征值。
总损失函数表示为：
L G＝L gan+L cyc(G,F)+γL Per(G,F)       (7)
其中，γ为感知损失函数的权重比例，反映了感知损失函数所在部分对整体损失函数的影响程度，这里取为0.6。
步骤3，网络的训练。
首先对判别器进行预训练，判别器只需要清楚雾在图像上体现出来的像素分布特征，例如强度分布及位置分布等，便可判断图像是否为真实有雾图像或真实无雾图像。步骤1选取的A,B两组数据集用于对判别器的训练，在训练过程中，采用标签的方式使得判别器初步可以判断雾的特征，若输入两幅有雾图像，判别器结果标记为1；同理，若输入两幅无雾图像判别器结果也标记为1；若分别输入一幅有雾，一幅无雾图像，结果标记为0，通过判别器的预训练，使得后期判别器与生成器的博弈过程更加真实有效。
进一步地，对整个网络进行训练，首先对每一阶段网络的权重参数W进行初始化，在[-0.1,0.1]之间随机选取一个小数，作为初始化的权重参数，初始化完成后，使用随机梯度下降算法来更新权重参数。更新规则为：
Figure PCTCN2022086885-appb-000008
其中α为基础学习率。
把G和F两个生成器的基础学习率均设置为0.0001，将样本训练次数最大值预设为500次。对每对输入的样本，先利用前向传播求出总误差，再利用反向传播求出各个权重参数的偏导数，最后根据公式(8)对权重参数进行更新。
在网络的训练过程中，首先，固定生成器权重参数对判别器进行训练，分 别记录对抗损失函数、循环一致损失函数和感知损失函数的下降情况，进一步地，在前向传播和反向传播的过程中迭代不断更新判别器权重参数。随后，同理固定判别器对生成器进行训练，不断更新生成器的权重参数。
重复上述步骤，通过不断调整权重参数使得式(6)中的总损失函数趋于平稳，这里判定平稳的条件是连续相邻10次循环的损失函数误差∈稳定在0.001左右。当训练次数达到500或∈≤0.001时，则停止训练。
步骤4，将有雾图像输入到上述预先训练好的密集连接循环生成对抗网络中，得到无雾图像。
相应的本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
相应的本发明还提供一种基于循环生成对抗网络的图像去雾系统，包括，
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
本发明采用密集连接的循环生成对抗网络进行图像去雾，属于端对端去雾，输入有雾图像可以直接输出无雾图像。由于使用循环生成对抗网络，可以解决现有采用基于深度学习的图像去雾方法所面临的缺乏真实成对数据集问题，引入密集连接和残差网络结构，对CycleGan网络结构进行优化，增加网络参数的容量并提高了特征图的利用率。解决了循环生成对抗网络中特征学习不足的问题，同时采用缩放卷积避免了网络伪影，提高生成图片的质量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

  1. 一种基于循环生成对抗网络的图像去雾方法，其特征在于，包括：
    获取待处理的有雾图像；
    输入到预先训练好的密集连接循环生成对抗网络，输出无雾图像；
    所述密集连接循环生成对抗网络包括生成器，生成器包括编码器、转换器和解码器，编码器包括密集连接层，用于提取输入图像的特征，转换器包括过度转换层，用于将编码器阶段提取的特征进行组合，解码器包括密集连接层和缩放卷积神经网络层，密集连接层用于还原图像的原有特征，缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应，得到最终输出的无雾图像。
  2. 根据权利要求1所述的基于循环生成对抗网络的图像去雾方法，其特征在于，所述转换器阶段还包括密集残差块，密集残差块包含密集连接层和过渡转换层，密集连接层用于将编码器提取到的特征进行组合拼接，过渡转换层用于保持输入图像和输出图像的维度相同。
  3. 根据权利要求1所述的基于循环生成对抗网络的图像去雾方法，其特征在于，所述密集连接循环生成对抗网络还包括跳层，连接编码器和解码器，用于进行数据信息流的传输。
  4. 根据权利要求1所述的基于循环生成对抗网络的图像去雾方法，其特征在于，所述密集连接循环生成对抗网络的训练过程包括：
    密集连接循环生成对抗网络还包括判别器判别器Dx和判别器Dy，生成器有两个，分别为生成器G和生成器F，其中生成器G和生成器F，判别器Dx和判别器Dy分别具有着相同的网络结构；
    从Reside数据集中随机选取无雾图像和有雾图像各N张作为训练样本，有雾图像的训练样本记为数据集P(x)，无雾图像的训练样本数据集P(y)；
    对数据集P(x)和数据集P(y)进行标记，利用标记后的数据集P(x)和数据集P(y)对判别器Dx和判别器Dy进行训练，使得判别器Dx和判别器Dy能够判断若输入两幅有雾图像，判别器结果标记为1，若输入两幅无雾图像判别器结果也标记为1，若分别输入一幅有雾图像，一幅无雾图像，判别器结果标记为0；
    对生成器和判别器的网络的权重参数W进行初始化；
    初始化完成后，根据数据集P(x)和数据集P(y)确定输入样本；
    根据输入样本，先固定生成器权重参数对判别器进行训练，使用随机梯度下降算法来更新判别器的最终权重参数，之后固定判别器的权重参数为所述更新的判别器的最终权重参数对生成器进行训练，使用随机梯度下降算法来更新生成器的最终权重参数；
    根据判别器的最终权重参数和生成器的最终权重参数确定训练好的密集连接循环生成对抗网络。
  5. 根据权利要求4所述的基于循环生成对抗网络的图像去雾方法，其特征在于，所述随机梯度下降算法包括：
    根据输入样本利用如下更新公式更新权重参数，更新公式为：
    Figure PCTCN2022086885-appb-100001
    其中，α为基础学习率，W′为更新后的权重参数，L G为总损失函数，
    L G＝L gan+L cyc(G,F)+γL Per(G,F)
    L gan为整体对抗损失函数，
    L gan＝L gan1+L gan2
    L gan1为生成器G和判别器Dy的对抗损失函数：
    L gan1＝E y～P(y)[log D y(y)]+E x～P(x)[log(1-D y(G(x)))]
    L gan2为生成器F和判别器Dx的对抗损失函数：
    L gan2＝E x～P(x)[log D x(x)]+E y～P(y)[log(1-D x(F(y)))]
    其中，x代表有雾图像，y代表无雾图像，x～P(x)表示x服从数据集样本P(x)的分布，y～P(y)表示y服从数据集样本P(y)的分布，G(x)为生成器G从数 据集P(x)中的有雾图像生成的无雾图像，F(y)为生成器F从数据集P(y)中的无雾图像生成的有雾图像，E表示数学期望，D y(y)、D y(G(x))分别表示判别器Dy对无雾图像y和G(x)的判别结果；D x(x)、D x(F(y))、分别表示判别器Dx对x和F(y)的判别结果；
    L cyc(G,F)为循环一致性损失函数：
    L cyc(G,F)＝E x～P(x)[||F(G(x))-x|| 1]+E y～P(y)[||G(F(y))-y|| 1]
    其中，F(G(x))为生成器F从无雾图像G(x)再生成的有雾图像；G(F(y))为生成器G从有雾图像F(y)又生成的无雾图像，
    L Per(G,F)为感知损失函数：
    Figure PCTCN2022086885-appb-100002
    其中，
    Figure PCTCN2022086885-appb-100003
    和
    Figure PCTCN2022086885-appb-100004
    分别表示x和y经过VGG16网络卷积层后输出的特征值，
    重新获取输入样本，并重复上述步骤，通过不断调整权重参数使总损失函数趋于平稳或循环次数达到预先设置的阈值，则停止训练，输出最终的权重，趋于平稳的判定条件是连续若干次循环的损失函数误差∈稳定不大于0.001。
  6. 一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至5所述的方法中的任一方法。
  7. 一种基于循环生成对抗网络的图像去雾系统，其特征在于：包括，
    一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至5所述的方法中的任一方法的指令。
PCT/CN2022/086885 2021-06-25 2022-04-14 一种基于循环生成对抗网络的图像去雾方法及系统 Ceased WO2022267641A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/831,421 US12148129B2 (en) 2021-06-25 2022-06-02 Image dehazing method and system based on cyclegan

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110713063.1A CN113658051B (zh) 2021-06-25 2021-06-25 一种基于循环生成对抗网络的图像去雾方法及系统
CN202110713063.1 2021-06-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/831,421 Continuation US12148129B2 (en) 2021-06-25 2022-06-02 Image dehazing method and system based on cyclegan

Publications (1)

Publication Number Publication Date
WO2022267641A1 true WO2022267641A1 (zh) 2022-12-29

Family

ID=78489001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/086885 Ceased WO2022267641A1 (zh) 2021-06-25 2022-04-14 一种基于循环生成对抗网络的图像去雾方法及系统

Country Status (2)

Country Link
CN (1) CN113658051B (zh)
WO (1) WO2022267641A1 (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937048A (zh) * 2023-01-17 2023-04-07 东南大学 基于无监督视层嵌入与视觉转换模型的光照可控去雾方法
CN116012258A (zh) * 2023-02-14 2023-04-25 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116051562A (zh) * 2023-03-31 2023-05-02 北京大学 基于深度生成网络的金属3d打印质量预测方法
CN116186542A (zh) * 2023-03-07 2023-05-30 西安交通大学 一种基于深度学习的探地雷达信号分辨率提高方法及系统
CN116245902A (zh) * 2023-03-06 2023-06-09 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及系统
CN116309170A (zh) * 2023-03-22 2023-06-23 广东电网有限责任公司 一种输电线路巡检图像去雾方法和装置
CN116309947A (zh) * 2023-03-20 2023-06-23 南京信息工程大学 一种基于循环对抗生成网络的模拟靛胭脂染色方法
CN116310712A (zh) * 2023-02-10 2023-06-23 南京邮电大学 一种基于循环生成对抗网络的图像水墨风格迁移方法及系统
CN116342411A (zh) * 2023-03-16 2023-06-27 山东浪潮科学研究院有限公司 基于小样本学习的图像优化方法及系统
CN116342437A (zh) * 2023-05-30 2023-06-27 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法
CN116452469A (zh) * 2023-06-20 2023-07-18 深圳市欧冶半导体有限公司 一种基于深度学习的图像去雾处理方法及装置
CN116485926A (zh) * 2023-03-28 2023-07-25 华南理工大学 一种水表水雾图像生成的方法
CN116563143A (zh) * 2023-04-19 2023-08-08 武汉大学 一种改进颜色衰减先验并结合AOD-Net的图像去雾方法和系统
CN116597274A (zh) * 2023-05-02 2023-08-15 西北工业大学 无监督双向变分自编码本质图像分解网络、方法及应用
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116703792A (zh) * 2023-04-13 2023-09-05 上海处理器技术创新中心 利用生成网络对低光照图像增强的方法、生成网络的训练方法及设备
CN116703765A (zh) * 2023-06-05 2023-09-05 南京邮电大学 一种基于SqueezeNet的生成对抗网络图像去雾方法及装置
CN116704309A (zh) * 2023-05-16 2023-09-05 西安石油大学 基于改进生成对抗网络的图像去雾识别方法及系统
CN116739935A (zh) * 2023-05-30 2023-09-12 中国空气动力研究与发展中心低速空气动力研究所 一种基于自监督特征融合gan模型的图像去雾方法
CN116757068A (zh) * 2023-06-06 2023-09-15 青岛理工大学 一种基于深度学习对cfrp自冲铆接成形过程的预测方法
CN116823636A (zh) * 2023-05-05 2023-09-29 桂林电子科技大学 基于压缩自编码的无监督低照度图像增强方法
CN116883821A (zh) * 2023-07-04 2023-10-13 武汉大学 一种基于密集残差自编码器的火星影像异常探测方法和设备
CN116957988A (zh) * 2023-08-28 2023-10-27 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法
CN117370825A (zh) * 2023-10-11 2024-01-09 国网经济技术研究院有限公司 基于注意力条件生成对抗网络的长期场景生成方法及系统
CN117408893A (zh) * 2023-12-15 2024-01-16 青岛科技大学 一种基于浅层神经网络的水下图像增强方法
CN117479013A (zh) * 2023-12-26 2024-01-30 长春智冉光电科技有限公司 一种多轴运动平台下线阵相机成像抖动去除方法
CN117829259A (zh) * 2024-01-12 2024-04-05 北京航空航天大学 训练方法、虚拟染色方法和虚拟染色系统
CN117852419A (zh) * 2024-03-07 2024-04-09 齐鲁工业大学(山东省科学院) 基于条件生成对抗网络的可再生能源发电场景生成方法
CN117893879A (zh) * 2024-01-19 2024-04-16 安徽大学 一种雾天场景下的海上小目标航拍图像识别模型训练方法
CN118052739A (zh) * 2024-03-08 2024-05-17 东莞理工学院 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统
CN118154467A (zh) * 2024-05-11 2024-06-07 华东交通大学 一种基于改进CycleGAN网络模型的图像去雨方法及系统
CN118196423A (zh) * 2024-05-17 2024-06-14 山东巍然智能科技有限公司 一种用于无人机海岸带图像的去水方法及其模型搭建方法
CN118965496A (zh) * 2024-07-17 2024-11-15 草图里(广州)科技有限公司 一种基于深度学习的建筑设计系统
CN118982506A (zh) * 2024-07-25 2024-11-19 闽江学院 一种融合RD++和ResNet50的丝织物瑕疵检测方法
CN119251096A (zh) * 2024-12-03 2025-01-03 杭州喔影网络科技有限公司 半监督图像去雾方法、装置、计算机设备和存储介质
CN119478086A (zh) * 2024-10-24 2025-02-18 中北大学 基于深度学习的计算机层析成像重建方法、程序产品及设备
CN119477755A (zh) * 2025-01-15 2025-02-18 深圳深知未来智能有限公司 一种基于曲线调整的图像去雾方法
CN119515752A (zh) * 2024-11-08 2025-02-25 安徽工程大学 一种工业产品图像的数据增强方法、装置、介质和设备
CN119832044A (zh) * 2024-12-24 2025-04-15 中国科学技术大学 面向非机动车场景的自监督单目深度估计方法
CN119887589A (zh) * 2025-03-26 2025-04-25 中国石油大学(华东) 基于全局感知选择性融合的多时相遥感图像去云方法
CN120299039A (zh) * 2025-06-16 2025-07-11 中国石油天然气股份有限公司 一种基于计算机视觉的煤岩显微组分分类方法和分类模型
CN120997215A (zh) * 2025-10-23 2025-11-21 陕西万荣实业有限公司 一种基于深度学习的纺织品色差在线检测方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658051B (zh) * 2021-06-25 2023-10-13 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统
CN114140662A (zh) * 2021-11-29 2022-03-04 广州中科智巡科技有限公司 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法
CN116245739A (zh) * 2021-12-07 2023-06-09 西安邮电大学 基于生成对抗网络的无人机航拍图像去雾方法及装置
CN114187203B (zh) * 2021-12-09 2025-08-01 南京林业大学 注意力优化的深度编解码去雾生成对抗网络
CN114266933A (zh) * 2021-12-10 2022-04-01 河南垂天科技有限公司 一种基于深度学习改进的gan图像去雾算法
CN114494033B (zh) * 2021-12-17 2025-10-31 中国科学院深圳先进技术研究院 基于Retinex理论的对抗神经网络的单图像去雾方法
CN114266937A (zh) * 2021-12-20 2022-04-01 北京百度网讯科技有限公司 模型训练、图像处理方法，装置，设备以及存储介质
CN114494387B (zh) * 2022-01-25 2025-04-22 南京大学 一种生成数据集网络模型及雾图生成方法
CN114861985B (zh) * 2022-04-12 2025-09-26 清华珠三角研究院 基于开放神经网络交换算法的冰害预警方法、系统和介质
CN114638767B (zh) * 2022-05-18 2022-08-16 山东师范大学 基于生成对抗网络的腹腔镜影像除烟方法
CN117156152B (zh) * 2022-05-18 2025-02-25 腾讯科技（深圳）有限公司 模型训练方法、编码方法、解码方法及设备
CN115330620A (zh) * 2022-08-11 2022-11-11 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法
CN115511730B (zh) * 2022-09-02 2025-12-30 华侨大学 一种基于循环生成对抗网络的图像频闪去除方法
CN115272511A (zh) * 2022-09-06 2022-11-01 上海科技大学 基于双解码器的cbct图像中金属伪影去除系统、方法、终端及介质
CN116362999B (zh) * 2023-03-01 2026-04-17 江南大学 一种基于无监督框架的图像去雾方法以及辅助驾驶系统
CN116452470B (zh) * 2023-06-20 2023-09-15 深圳市欧冶半导体有限公司 一种基于深度学习分阶段式训练的图像去雾方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190294931A1 (en) * 2018-03-26 2019-09-26 Artomatix Ltd. Systems and Methods for Generative Ensemble Networks
CN110689599A (zh) * 2019-09-10 2020-01-14 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111179189A (zh) * 2019-12-15 2020-05-19 深圳先进技术研究院 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN113658051A (zh) * 2021-06-25 2021-11-16 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN109472818B (zh) * 2018-10-17 2021-07-02 天津大学 一种基于深度神经网络的图像去雾方法
CN110288550B (zh) * 2019-06-28 2020-04-24 中国人民解放军火箭军工程大学 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN111507909A (zh) * 2020-03-18 2020-08-07 南方电网科学研究院有限责任公司 一种有雾图像清晰化的方法、装置及存储介质
CN111709888B (zh) * 2020-06-03 2023-12-08 中科九度(北京)空间信息技术有限责任公司 一种基于改进的生成对抗网络的航拍图像去雾方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN111986108B (zh) * 2020-08-07 2024-04-19 西北工业大学 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112785517B (zh) * 2021-01-08 2023-03-14 南京邮电大学 一种基于高分辨率表征的图像去雾方法和装置
CN112801902B (zh) * 2021-01-29 2022-06-21 福州大学 一种基于改进生成对抗网络的交通图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190294931A1 (en) * 2018-03-26 2019-09-26 Artomatix Ltd. Systems and Methods for Generative Ensemble Networks
CN110689599A (zh) * 2019-09-10 2020-01-14 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111179189A (zh) * 2019-12-15 2020-05-19 深圳先进技术研究院 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN113658051A (zh) * 2021-06-25 2021-11-16 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUN JIAMI: "Research and Implementation of Overwater Iamge Dehazing Based on CycleGAN", CHINESE MASTER'S THESES FULL-TEXT DATABASE, 1 June 2019 (2019-06-01), pages 1 - 90, XP093016133, ISSN: 1674-0246, DOI: 10.27061/d.cnki.ghgdu.2019.006211 *

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937048B (zh) * 2023-01-17 2025-08-19 东南大学 基于无监督视层嵌入与视觉转换模型的光照可控去雾方法
CN115937048A (zh) * 2023-01-17 2023-04-07 东南大学 基于无监督视层嵌入与视觉转换模型的光照可控去雾方法
CN116310712A (zh) * 2023-02-10 2023-06-23 南京邮电大学 一种基于循环生成对抗网络的图像水墨风格迁移方法及系统
CN116012258A (zh) * 2023-02-14 2023-04-25 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116012258B (zh) * 2023-02-14 2023-10-13 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116245902A (zh) * 2023-03-06 2023-06-09 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及系统
CN116245902B (zh) * 2023-03-06 2023-11-14 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及系统
CN116186542A (zh) * 2023-03-07 2023-05-30 西安交通大学 一种基于深度学习的探地雷达信号分辨率提高方法及系统
CN116342411A (zh) * 2023-03-16 2023-06-27 山东浪潮科学研究院有限公司 基于小样本学习的图像优化方法及系统
CN116309947A (zh) * 2023-03-20 2023-06-23 南京信息工程大学 一种基于循环对抗生成网络的模拟靛胭脂染色方法
CN116309170A (zh) * 2023-03-22 2023-06-23 广东电网有限责任公司 一种输电线路巡检图像去雾方法和装置
CN116485926A (zh) * 2023-03-28 2023-07-25 华南理工大学 一种水表水雾图像生成的方法
CN116051562B (zh) * 2023-03-31 2023-06-13 北京大学 基于深度生成网络的金属3d打印质量预测方法
CN116051562A (zh) * 2023-03-31 2023-05-02 北京大学 基于深度生成网络的金属3d打印质量预测方法
CN116703792A (zh) * 2023-04-13 2023-09-05 上海处理器技术创新中心 利用生成网络对低光照图像增强的方法、生成网络的训练方法及设备
CN116563143A (zh) * 2023-04-19 2023-08-08 武汉大学 一种改进颜色衰减先验并结合AOD-Net的图像去雾方法和系统
CN116597274A (zh) * 2023-05-02 2023-08-15 西北工业大学 无监督双向变分自编码本质图像分解网络、方法及应用
CN116823636A (zh) * 2023-05-05 2023-09-29 桂林电子科技大学 基于压缩自编码的无监督低照度图像增强方法
CN116704309A (zh) * 2023-05-16 2023-09-05 西安石油大学 基于改进生成对抗网络的图像去雾识别方法及系统
CN116342437B (zh) * 2023-05-30 2023-07-21 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法
CN116739935A (zh) * 2023-05-30 2023-09-12 中国空气动力研究与发展中心低速空气动力研究所 一种基于自监督特征融合gan模型的图像去雾方法
CN116342437A (zh) * 2023-05-30 2023-06-27 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法
CN116703765A (zh) * 2023-06-05 2023-09-05 南京邮电大学 一种基于SqueezeNet的生成对抗网络图像去雾方法及装置
CN116757068A (zh) * 2023-06-06 2023-09-15 青岛理工大学 一种基于深度学习对cfrp自冲铆接成形过程的预测方法
CN116757068B (zh) * 2023-06-06 2024-01-09 青岛理工大学 一种基于深度学习对cfrp自冲铆接成形过程的预测方法
CN116452469B (zh) * 2023-06-20 2023-10-03 深圳市欧冶半导体有限公司 一种基于深度学习的图像去雾处理方法及装置
CN116452469A (zh) * 2023-06-20 2023-07-18 深圳市欧冶半导体有限公司 一种基于深度学习的图像去雾处理方法及装置
CN116883821A (zh) * 2023-07-04 2023-10-13 武汉大学 一种基于密集残差自编码器的火星影像异常探测方法和设备
CN116883821B (zh) * 2023-07-04 2025-12-02 武汉大学 一种基于密集残差自编码器的火星影像异常探测方法和设备
CN116645298B (zh) * 2023-07-26 2024-01-26 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116957988A (zh) * 2023-08-28 2023-10-27 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法
CN116957988B (zh) * 2023-08-28 2024-03-08 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法
CN117370825A (zh) * 2023-10-11 2024-01-09 国网经济技术研究院有限公司 基于注意力条件生成对抗网络的长期场景生成方法及系统
CN117408893A (zh) * 2023-12-15 2024-01-16 青岛科技大学 一种基于浅层神经网络的水下图像增强方法
CN117408893B (zh) * 2023-12-15 2024-04-05 青岛科技大学 一种基于浅层神经网络的水下图像增强方法
CN117479013A (zh) * 2023-12-26 2024-01-30 长春智冉光电科技有限公司 一种多轴运动平台下线阵相机成像抖动去除方法
CN117829259A (zh) * 2024-01-12 2024-04-05 北京航空航天大学 训练方法、虚拟染色方法和虚拟染色系统
CN117893879A (zh) * 2024-01-19 2024-04-16 安徽大学 一种雾天场景下的海上小目标航拍图像识别模型训练方法
CN117852419A (zh) * 2024-03-07 2024-04-09 齐鲁工业大学(山东省科学院) 基于条件生成对抗网络的可再生能源发电场景生成方法
CN118052739A (zh) * 2024-03-08 2024-05-17 东莞理工学院 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统
CN118154467A (zh) * 2024-05-11 2024-06-07 华东交通大学 一种基于改进CycleGAN网络模型的图像去雨方法及系统
CN118196423A (zh) * 2024-05-17 2024-06-14 山东巍然智能科技有限公司 一种用于无人机海岸带图像的去水方法及其模型搭建方法
CN118965496A (zh) * 2024-07-17 2024-11-15 草图里(广州)科技有限公司 一种基于深度学习的建筑设计系统
CN118982506A (zh) * 2024-07-25 2024-11-19 闽江学院 一种融合RD++和ResNet50的丝织物瑕疵检测方法
CN119478086A (zh) * 2024-10-24 2025-02-18 中北大学 基于深度学习的计算机层析成像重建方法、程序产品及设备
CN119515752A (zh) * 2024-11-08 2025-02-25 安徽工程大学 一种工业产品图像的数据增强方法、装置、介质和设备
CN119251096A (zh) * 2024-12-03 2025-01-03 杭州喔影网络科技有限公司 半监督图像去雾方法、装置、计算机设备和存储介质
CN119832044A (zh) * 2024-12-24 2025-04-15 中国科学技术大学 面向非机动车场景的自监督单目深度估计方法
CN119477755A (zh) * 2025-01-15 2025-02-18 深圳深知未来智能有限公司 一种基于曲线调整的图像去雾方法
CN119477755B (zh) * 2025-01-15 2025-04-25 深圳深知未来智能有限公司 一种基于曲线调整的图像去雾方法
CN119887589A (zh) * 2025-03-26 2025-04-25 中国石油大学(华东) 基于全局感知选择性融合的多时相遥感图像去云方法
CN120299039A (zh) * 2025-06-16 2025-07-11 中国石油天然气股份有限公司 一种基于计算机视觉的煤岩显微组分分类方法和分类模型
CN120997215A (zh) * 2025-10-23 2025-11-21 陕西万荣实业有限公司 一种基于深度学习的纺织品色差在线检测方法

Also Published As

Publication number Publication date
CN113658051B (zh) 2023-10-13
CN113658051A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
US12148129B2 (en) Image dehazing method and system based on cyclegan
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN114820341B (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN108319932B (zh) 一种基于生成式对抗网络的多图像人脸对齐的方法及装置
CN116682120B (zh) 基于深度学习的多语种马赛克图像文本识别方法
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
WO2023092813A1 (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN111797891B (zh) 基于生成对抗网络的非成对异质人脸图像生成方法、装置
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN117274059B (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN112927137A (zh) 一种用于获取盲超分辨率图像的方法、设备及存储介质
CN118780987B (zh) 一种基于细节恢复的遥感图像超分辨重建方法及系统
CN116309202A (zh) 一种基于直方图均衡化先验的无监督低光增强方法
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
CN116703719A (zh) 一种基于人脸3d先验信息的人脸超分辨率重建装置及方法
CN117576336A (zh) 基于大核注意力机制的三维重建方法
CN119205515A (zh) 图像超分辨率生成模型构建方法与图像超分辨率生成方法、系统
CN120125436A (zh) 一种基于深度学习的图像超分辨率重建方法
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN117793371A (zh) 一种基于Swin-Unet架构的多张高分辨率彩色图像隐藏方法
CN115222606A (zh) 图像处理方法、装置、计算机可读介质及电子设备
Liu et al. Facial image inpainting using multi-level generative network
CN119444573B (zh) 一种基于自卷积注意力的不确定性感知单图像超分辨率网络模型

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827143

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22827143

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 22827143

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21.06.2024)