WO2022095253A1 - 一种基于深度通道感知的去除云雾方法 - Google Patents

一种基于深度通道感知的去除云雾方法 Download PDF

Info

Publication number
WO2022095253A1
WO2022095253A1 PCT/CN2020/139353 CN2020139353W WO2022095253A1 WO 2022095253 A1 WO2022095253 A1 WO 2022095253A1 CN 2020139353 W CN2020139353 W CN 2020139353W WO 2022095253 A1 WO2022095253 A1 WO 2022095253A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
feature
depth
network
transmittance
Prior art date
Application number
PCT/CN2020/139353
Other languages
English (en)
French (fr)
Inventor
相入喜
朱锡芳
张龙安
吴峰
许清泉
鲍玉军
蒋小燕
孙庆晨
施庆晟
Original Assignee
常州工学院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 常州工学院 filed Critical 常州工学院
Publication of WO2022095253A1 publication Critical patent/WO2022095253A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to image processing technology, in particular to a method for removing cloud and fog based on depth channel perception.
  • the dark channel theory is easy to fail when dealing with gray-white targets, and the Fattal chromaticity information and transmittance irrelevance theory is not ideal for processing areas with insignificant color features, and his proposed color
  • the line theory cannot deal with images lacking color information and monochrome images, and the color attenuation theory proposed by Zhu is not ideal for dealing with dense fog.
  • These methods are based on the monochromatic atmospheric scattering model to estimate parameters such as atmospheric ambient light and atmospheric transmittance, but there are certain errors in the estimation, and they are not universal.
  • many researchers have proposed end-to-end cloud removal methods based on deep learning.
  • cai proposed an end-to-end deep learning model-DehazeNe to directly learn atmospheric transmittance
  • Ren proposed a multi-scale method.
  • the present invention provides a simple, effective, and short processing time for improving the visual effect of outdoor image dehazing, and can achieve a real-time cloud and fog removal method based on depth channel perception.
  • a method for removing cloud and fog based on depth channel perception the steps include:
  • the constructed feature channel perception module is used to take features with channel perception information, effectively fuse the information of different channels, and introduce the selective attention of channels into feature extraction.
  • the construction of the feature channel perception module includes the left module is a convolution module with different kernel width, a batch normalization processing module and a pooling module, and the right module is a feature channel fusion module, which is used to fuse the features of different channels.
  • the module constructs a feature channel perception module to increase the channel weight that has a greater impact on the feature, and improves the effectiveness of extracting feature information
  • the constructed feature channel perception module also includes three sub-modules, GMP, FC and Sigmoid
  • GMP is a global maximum pooling module, which obtains the maximum value of each channel feature
  • FC is a fully connected module
  • the fully connected module maps the learned "distributed feature representation" to the sample label space
  • Sigmoid is an activation module that constrains the output of the fully connected layer to be between [0, 1].
  • the constructing and predicting the pseudo-transmittance deep dense residual network is composed of several channel perception modules dense skip links and a sampling module, and the sampling module includes two sub-modules of up-sampling and down-sampling.
  • the deep dense residual network for predicting pseudo transmittance includes several channel perception modules, sampling modules and cascade modules, and a convolution module, wherein the sampling module includes two modules of up-sampling and down-sampling.
  • the convolutional layer operation in the predicted pseudo-transmittance deep dense residual network mainly balances the time complexity and the accuracy of dehazing
  • a 3x3 convolution kernel is used, or a convolution kernel whose kernel width (k,1)k is an odd number greater than 1 will be used.
  • the image dehazing model rewritten by Li to the classic monochromatic atmospheric scattering model is used.
  • Jc(x) Kc_e (x) Ic (x) -K_ec ( x)+1, where J is the real fog-free image, I is the observed outdoor image with fog, and x is the pixel in the image Coordinates, the superscript c is the number of image channels, and K_e is the pseudo transmittance.
  • J is the real fog-free image
  • I is the observed outdoor image with fog
  • x is the pixel in the image Coordinates
  • the superscript c is the number of image channels
  • K_e is the pseudo transmittance.
  • the atmospheric transmittance and ambient light are combined together to reduce the estimated number of unknown variables, or combine images of different scales to expand into a multi-scale cloud removal network .
  • the adaptive momentum gradient descent algorithm is selected for the construction of the deep optimizer, and the use of momentum and adaptive rate can speed up the convergence speed.
  • the learning rate is set to 0.00005 to 0.0001
  • the momentum is set to 0.9
  • the cost function used for training adopts If the L1 normal form is used, the L2 normal form can also be used.
  • the present invention adopts the L1 cost function. Effectively train on international data sets and self-constructed data sets to obtain the optimal parameters of the deep network.
  • the present invention has the advantages that: in order to better improve the visual effect of dehazing outdoor images, the present invention fully combines the visual perception of different scales and different channels to construct an end-to-end deep learning network, and through network training, obtains an end-to-end deep learning network.
  • the pseudo transmittance of the effective outdoor image, and then the dehazing image is calculated.
  • the present invention is simple and effective, the processing time is short, and real-time can be achieved.
  • the calculation is simple, efficient, and achievable, and can be easily applied to personal computers and transplanted into embedded systems.
  • the invention is applied to the field of computer vision, such as video surveillance in foggy weather, remote sensing image analysis and understanding, and computer vision fields such as unmanned driving.
  • Fig. 1 is the implementation structure flow chart of the present invention
  • FIG. 2 is a schematic diagram of the implementation flow of a channel perception module (MFCA) provided by an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a pseudo transmittance deep dense residual network provided by an embodiment of the present invention.
  • Figures 4-7 are the effect diagrams of the implementation test of the present invention (where (a) is the original image; (b) is the effect diagram of defogging).
  • the method includes:
  • Step S101 constructing a training data set and a verification data set
  • Step S102 constructing a pseudo-transmission depth dense residual network, and using the training data to calculate the optimal parameters of the network;
  • Step S103 combined with training optimal network parameters, remove fog information in the outdoor image, and improve the visual quality of the image.
  • a feature channel awareness module is constructed, which can extract features with channel-aware information, effectively fuse the information of different channels, and introduce channel-selective attention to feature extraction.
  • the left and right branches mainly extract detailed information in different directions.
  • Three modules are used.
  • the convolution module (Conv(k) with the kernel width (k, 1) ,1)), batch normalization processing module (BN), and pooling module (POOL(kp)), where k is an odd number greater than 1, k is set to 3 in the present invention
  • the intermediate module is a feature channel fusion module, which mainly combines Feature fusion of different channels to obtain as much feature information as possible.
  • This branch also uses the same three modules as above (Conv(1,1), BN, RELU, POOL(kp)); the right side of the vertical line It is a channel perception module.
  • This module can increase the channel weights that have a greater impact on features and improve the effectiveness of extracting feature information.
  • This module also uses three sub-modules, GMP, FC and Sigmoid.
  • GMP is a global maximum pooling module.
  • the maximum value of channel features, FC is a fully connected module, which maps the learned “distributed feature representation” to the sample label space
  • Sigmoid is an activation module that constrains the output of the fully connected layer to [0 , 1] between.
  • a pseudo-transmission depth dense residual network is constructed.
  • the perceptual network is mainly composed of dense jump links of several channel perception modules.
  • a sampling module is developed, which is mainly composed of two sub-modules, up-sampling and down-sampling.
  • the pseudo transmittance K_e is estimated after a certain depth operation, and the specific mathematical expression is as follows:
  • f(.) is the constructed deep network
  • Input is the input image to be processed
  • ⁇ is the training parameter of depth f(.).
  • the deep network mainly consists of several channel perception modules (MFCA), sampling modules (Sample), cascade modules (CAT), and a convolution module (Conv), of which the sampling module contains two upsampling and downsampling. module.
  • MFCA channel perception modules
  • Sample sampling modules
  • CA cascade modules
  • Conv convolution module
  • the output of the i-th channel perception module (MCFA) is fc i , where the input of the first MFCA module comes from Input and the output is fc 1 , and the input of the i-th (i>1) MFCA module comes from the new features after cascading ,Right now
  • the Sample sampling module consists of two sub-modules, which are specifically expressed as follows:
  • the Up sampling is implemented by transposing the convolution layer
  • the Down module is implemented by using the convolution layer.
  • the purpose is to eliminate the blurring phenomenon caused by the outdoor image acquisition process as much as possible.
  • the convolution layer operation in the deep network mainly balances the time complexity and the accuracy of dehazing.
  • the 3x3 convolution kernel is used, and a large convolution kernel can also be sampled, that is, the receptive field is increased, but the time complexity of training increases. a lot of.
  • the image dehazing model rewritten by Li to the classic monochromatic atmospheric scattering model is used to calculate the result after removing haze.
  • the specific forms are shown in equations (4) and (5).
  • J is the real fog-free image
  • I is the outdoor image with fog
  • x is the pixel coordinate in the image
  • c is the number of image channels
  • K_e is the pseudo transmittance, which fuses the atmospheric transmittance and ambient light together. The estimated number of unknown variables is reduced. It can also be combined with images of different scales to expand into a multi-scale cloud removal network.
  • a deep network optimizer is constructed to obtain the optimal parameter values of the deep network.
  • deep learning network optimization such as stochastic gradient descent (SGD), mini-batch gradient descent (MBGD), momentum gradient descent (Momentum) and adaptive momentum gradient descent (ADAM), etc.
  • SGD stochastic gradient descent
  • MBGD mini-batch gradient descent
  • Momentum momentum gradient descent
  • ADAM adaptive momentum gradient descent
  • the use of momentum and adaptive rate can speed up the convergence speed.
  • the learning rate is set to 0.00005 to 0.0001
  • the momentum is set to 0.9
  • the cost function used for training adopts the L1 paradigm.
  • L2 paradigm it is also possible to use the L2 paradigm to obtain reliable and effective network parameters through effective training on internationally-used datasets and self-constructed datasets.
  • the entire training network requires a total of 117,603 training parameters, and the experimental environment used is an Intel processor. , 16G running memory, NVIDIA GetForce GTX 1050Ti GPU, training and testing under the pytorch deep learning architecture.
  • the data set used for training itself has a relatively high resolution.
  • the present invention needs to preprocess the data set.
  • the present invention randomly selects 128 ⁇ 128 images on each image for training. Then, these randomly collected image blocks are used to construct training samples, and the deep learning model designed by the present invention is used for training to obtain effective network parameters.
  • PSNR peak signal-to-noise ratio
  • SSIM structural similarity

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度通道感知的去除云雾方法，步骤包括：构建特征通道感知模块；构建预测伪透射率深度稠密残余网络；构建深度优化器，获得深度网络的最优参数；根据最优网络参数，获得无雾图像。该方法能够提高室外图像去雾视觉效果、简单有效，处理时间较短，可以达到实时。

Description

一种基于深度通道感知的去除云雾方法 技术领域
本发明涉及图像处理技术，特别是一种基于深度通道感知的去除云雾方法。
背景技术
近几年，雾霾天气给室外采集图像带来极大的不便，采集的图像质量严重下降，严重影响了室外场景进一步处理，如室外的视频监控，遥感图像处理。为了提高室外图像成像质量，亟须设计一种有效的去除云雾方法。目前去除云雾方法可以粗略分为两大类：基于多幅图像和基于单幅图像，这两类方法在数据集中都能取得不错的效果，相对来说，后者难度更大，要求更高，而且解决该类还是二难问题，没有精确解。为了能获得合适的有效解，研究者通过不同的先验信息假设去除云雾，如He kaiming提出的暗通道先验理论，Fattal的局部区域内色度信息与透射率无关的先验理论，同时Fattal也提出利用颜色线的先验理论去除云雾，以及朱提出的颜色衰减先验信息理论。这些先验信息都有一定的局限性，如暗通道理论对于灰白色目标处理就容易失效，Fattal色度信息与透射率无关理论对于处理颜色特征不明显的区域效果不理想，还有他提出的颜色线理论就无法处理缺乏颜色信息的图像和单色图像，朱提出的颜色衰减理论对于处理浓雾效果不理想。这些方法都是在单色大气散射模型的基础上估计大气环境光和大气透射率等参数，但估计时都存在着一定的误差，而且也不具有普适性。为了提高方法的普适性和有效性，许多研究者提出了基于深度学习的端到端的去除云雾方法，如cai提出了端到端深度学习模型-DehazeNe直接学习大气透射率，Ren提出了多尺度卷积神经网络的端到端学习大气透射率。Zhang提出的FAMED-NET端到端的深度学习去除云雾方法。这些这方法都是基于卷积神经网络，通过从训练集学习网络参数，对于一些简单的场景处理效果较好，对于复杂的场景处理的效果就不理想，并且训练时间长，精度不够高。
发明内容
针对现有技术中存在的问题，本发明提供了一种提高室外图像去雾视觉效果、简单有效，处理时间较短，可以达到实时的基于深度通道感知的去除云雾方法。
本发明的目的通过以下技术方案实现。
一种基于深度通道感知的去除云雾方法，步骤包括：
构建特征通道感知模块；
构建预测伪透射率深度稠密残余网络；
构建深度优化器，获得深度网络的最优参数；
根据最优网络参数，获得无雾图像。
所述构建特征通道感知模块用于取带有通道感知信息的特征,有效地将不同通道的信息融合，并将通道的选择性注意引入到特征提取。
所述构建特征通道感知模块包括左侧模块是带有不用核宽的卷积模块、批归一化处理模块和池化模块,右侧模块是特征通道融合模块，用于将不同通道的特征融合，获取尽可能多的特征信息，所述模块构建特征通道感知模块用于提升对特征影响较大的通道权重，提高提取特征信息的有效性，所述构建特征通道感知模块还包括三个子模块，GMP，FC和Sigmoid，GMP是全局最大池化模块，获取每个通道特征的最大值，FC是全连接模块，全连接模块则是将学到的“分布式特征表示”映射到样本标记空间，Sigmoid是激活模块，将全连接层的输出结果约束到[0，1]之间。
所述构建预测伪透射率深度稠密残余网络由若干个通道感知模块稠密跳跃链接和一个采样模块构成，所述采样模块包括上采样和下采样两个子模块。
所述构建预测伪透射率深度稠密残余网络中伪透射率K_e通过深度运算后估计所得，具体数学表达式如下：K_e＝f(Input,θ)，式中f(.)是构建的深度网，Input是输入待处理图像，θ是深度f(.)的训练参数。所述预测伪透射率深度稠密残余网络包括若干个通道感知模块、采样模块和级联模块，及1个卷积模块，其中采样模块中含有了上采样和下采样两个模块。第i个通道感知模块输出为fc i,其中第1个MFCA模块的输入来自Input，输出为fc 1,第i个(i>1)MFCA模块的输入来自级联后后新的特征，即fc i＝cat(fc k,fs k),k＝1…i-1,i＜N-1，其中fc i是第i层的MCFA视觉特征，fs k是第k个上采样和下采样后的输出特征，cat是级联操作函数，N是MCFA块的个数，Sample采样模块由两个子模块构成，具体表示如下：Sample＝[Up,Down]，其中，Up采样转置卷积层实现，Down模块利用卷积层实现，目的是尽可能消除图像室外采集过程中带来的模糊现象，所述预测伪透射率深度稠密残余网络中的卷积层操作主要平衡时间复杂度和去雾的精度采用3x3卷积核，或者将采用核宽(k,1)k是大于1的奇数的卷积核，伪透射率估计完成后，利用李对经典的单色大气散射模型改写的图像去雾模型计算去除雾霾后的结果，具体的形式如下所示：
Figure PCTCN2020139353-appb-000001
J c(x)＝K c_e(x)I c(x)-K_e c(x)+1，其中J是真实无雾图像，I是观察带雾的室外图像，x是图像的中的像素坐标，上标c是图像通道数，K_e是伪透射率，将大气透射率和环境光融合在一起，减少了未知变量的估计个数，或者结合不同尺度的图像拓展成多尺度的去除云雾网络。
所述构建深度优化器选用了自适应动量梯度下降算法，使用动量和自适应速率可加快收敛速度，在网络训练时，学习率设置为0.00005～0.0001,动量设置为0.9，训练所用的代价函数采用了L1范式，也可以用L2范式，本发明采用了L1代价函数。在国际通用的数据集和自己构建的数据集进行有效训练，获得深度网络的最优参数。
相比于现有技术，本发明的优点在于：为了能较好提高室外图像去雾视觉效果，本发明充分结合不同尺度、不同通道的视觉感知构建端到端的深度学习网络，通过网络训练，获得有效室外图像的伪透射率，进而计算去雾图像，本发明简单有效，处理时间较短，可以达到实时。计算简便，高效，可实现性好，可以很方便的应用到个人计算机以及移植到嵌入式系统中。本发明应用于计算机视觉领域，如雾天气下的视频监控，遥感图像分析与理解，以及无人驾驶等计算机视觉领域。
附图说明
图1为本发明实施结构流程图；
图2为本发明实施例提供的通道感知模块(MFCA)实现流程示意图；
图3为本发明实施例提供的伪透射率深度稠密残余网络的示意图；
图4-7为本发明实施测试效果图(其中(a)为原图；(b)为除雾效果图)。
具体实施方式
下面结合说明书附图和具体的实施例，对本发明作详细描述。
为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
如图1所示，所述方法包括：
步骤S101，构建训练数据集和验证数据集；
步骤S102，构建伪透射深度稠密残余网络，利用训练数据计算网络最优参数；
步骤S103，结合训练最优网络参数，去除室外图像中雾信息，提高图像视觉质量。
如图2所示，构建特征通道感知模块，该模块可以提取带有通道感知信息的特征,有效地将不同通道的信息融合，并将通道的选择性注意引入到特征提取。在图2的竖直线左侧，有三个分支，左侧和右侧分支主要提取不同方向的细节信息，采用三个模块，带有核宽(k,1)的卷积模块(Conv(k,1)),批归一处理模块(BN)，和池化模块(POOL(kp)),其中k是大于1的奇数，本发明k设为3，中间模块是特征通道融合模块，主要将不同通道的特征融合，获取尽可能多的特征信息，该分支也采用了与上面相同的三个模块(Conv(1,1),BN,RELU，POOL(kp))；竖直线的右侧是通道感知模块，该模块可以提升对特征影响较大的通道权重，提 高提取特征信息的有效性，该模块也采用三个子模块，GMP，FC和Sigmoid，GMP是全局最大池化模块，获取每个通道特征的最大值，FC是全连接模块，全连接模块则是将学到的“分布式特征表示”映射到样本标记空间，Sigmoid是激活模块，将全连接层的输出结果约束到[0，1]之间。图2中的有两个操作：操作加(ADD)和操作(MUL)，1个特征输入X_in，1个特征输出X_out。
如图3所示，构建伪透射深度稠密残余网络，该感知网主要由若干个通道感知模块稠密跳跃链接构成，为了进一步提高伪透射率的精度，减少去雾后图像模糊，感知网中又增加了一个采样模块，该模块主要有上采样和下采样两个子模块构成。
伪透射率K_e通过一定的深度运算后估计所得，具体数学表达式如下：
K_e＝f(Input,θ)         (1)
式中f(.)是构建的深度网，Input是输入待处理图像，θ是深度f(.)的训练参数。深度网主要有若干个通道感知模块(MFCA)、采样模块(Sample)和级联模块(CAT)，及1个卷积模块(Conv)构成，其中采样模块中含有了上采样和下采样两个模块。第i个通道感知模块(MCFA)输出为fc i,其中第1个MFCA模块的输入来自Input，输出为fc 1,第i个(i>1)MFCA模块的输入来自级联后后新的特征，即
fc i＝cat(fc k,fs k),k＝1…i-1,i＜N-1        (2)
其中fc i是第i层的MCFA视觉特征，fs k是第k个上采样和下采样后的输出特征，cat是级联操作函数，N是MCFA块的个数。Sample采样模块由两个子模块构成，具体表示如下：
Sample＝[Up,Down]             (3)
其中，Up采样转置卷积层实现，Down模块利用卷积层实现，目的是尽可能消除图像室外采集过程中带来的模糊现象。深度网中的卷积层操作主要平衡时间复杂度和去雾的精度采用3x3卷积核，也可以将采样大的卷积核，也就是增大感受野，但训练的时间复杂度就增大很多。伪透射率估计完成后，利用李对经典的单色大气散射模型改写的图像去雾模型计算去除雾霾后的结果，具体的形式如式(4)、式(5)所示。
Figure PCTCN2020139353-appb-000002
J c(x)＝K c_e(x)I c(x)-K_e c(x)+1        (5)
这里的J是真实无雾图像，I是观察带雾的室外图像，x是图像的中的像素坐标，c是图像 通道数，K_e是伪透射率，将大气透射率和环境光融合在一起，减少了未知变量的估计个数。也可以结合不同尺度的图像拓展成多尺度的去除云雾网络。
上述方案中，构建深度网络优化器，获取深度网络的最优参数值。深度学习网络优化有很多种，经典有随机梯度下降算法(SGD)、小批量梯度下降(MBGD)，动量梯度下降法(Momentum)和自适应动量梯度下降算法(ADAM)等，为了有效处理稀疏梯度和非平稳目标，本发明选用了ADAM，使用动量和自适应速率可加快收敛速度，在网络训练时，学习率设置为0.00005～0.0001,动量设置为0.9，训练所用的代价函数采用了L1范式，也可以用L2范式，通过在国际通用的数据集和自己构建的数据集进行有效训练，可以获得可靠有效的网络参数，其中整个训练网络一共需要训练参数117603个，所用实验环境为Intel的处理器，16G运行内存，NVIDIA GetForce GTX 1050Ti GPU,pytorch深度学习架构下训练测试。训练采用的数据集本身分辨率比较高，为平衡训练时间复杂度和内存大小，本发明需要对数据集进行预处理，为了不失一般性，本发明对训练的每一幅图片上随机采取128x128的图像块，然后将这些随机采集的图像块构建训练样本利用本发明所设计的深度学习模型进行训练，获得有效的网络参数。测试时，利用训练好参数网络模型进行测试，可获得较好的视觉效果，测试所用的时间复杂度也较低，如分辨率为550x600的室外图像所用时间平均为0.025秒，同时可以获得较高的峰值信噪比(PSNR)和结构相似度(SSIM)。

Claims (6)

  1. 一种基于深度通道感知的去除云雾方法，其特征在于步骤包括：
    构建特征通道感知模块；
    构建预测伪透射率深度稠密残余网络；
    构建深度优化器，获得深度网络的最优参数；
    根据最优网络参数，获得无雾图像。
  2. 根据权利要求1所述的一种基于深度通道感知的去除云雾方法，其特征在于所述构建特征通道感知模块用于获取带有通道感知信息特征,有效地将不同通道信息融合，并将通道选择性注意引入到特征提取中。
  3. 根据权利要求2所述的一种基于深度通道感知的去除云雾方法，其特征在于所述构建特征通道感知模块包括左侧模块是带有不同核宽的卷积模块、批归一化处理模块和池化模块,右侧模块是特征通道融合模块，用于将不同通道的特征融合，获取尽可能多的特征信息，所述模块构建特征通道感知模块用于提升对特征影响较大的通道权重，提高提取特征信息的有效性，所述构建特征通道感知模块还包括三个子模块，GMP，FC和Sigmoid，GMP是全局最大池化模块，获取每个通道特征的最大值，FC是全连接模块，全连接模块则是将学到的“分布式特征表示”映射到样本标记空间，Sigmoid是激活模块，将全连接层的输出结果约束到[0，1]之间。
  4. 根据权利要求1所述的一种基于深度通道感知的去除云雾方法，其特征在于所述构建预测伪透射率深度稠密残余网络由若干个通道感知模块稠密跳跃链接和一个采样模块构成，所述采样模块包括上采样和下采样两个子模块。
  5. 根据权利要求4所述的一种基于深度通道感知的去除云雾方法，其特征在于所述构建预测伪透射率深度稠密残余网络中伪透射率K_e通过深度运算后估计所得，具体数学表达式如下：K_e＝f(Input,θ)，式中f(.)是构建的深度网，Input是输入待处理图像，θ是深度f(.)的训练参数，所述预测伪透射率深度稠密残余网络包括若干个通道感知模块、采样模块和级联模块及1个卷积模块，其中采样模块中含有了上采样和下采样两个模块，第i个通道感知模块输出为fc i,其中第1个MFCA模块的输入来自Input，输出为fc 1,第i个(i>1)MFCA模块的输入来自级联后新的特征，即fc i＝cat(fc k,fs k),k＝1···i-1,i＜N-1，其中fc i是第i层的MCFA视觉特征，fs k是第k个上采样和下采样后的输出特征，cat是级联操作函数，N是MCFA块的个数，Sample采样模块由两个子模块构成，具体表示如下：Sample＝[Up,Down]，其中，Up采样转置卷积层实现，Down模块利用卷积层实现，目的是尽可能消除图像室外采集过程 中带来的模糊现象，所述预测伪透射率深度稠密残余网络中的卷积层操作主要平衡时间复杂度和去雾的精度采用3x3卷积核，或者采用核宽(k,1)k是大于1的奇数的卷积核，伪透射率估计完成后，利用李对经典的单色大气散射模型改写的图像去雾模型计算去除雾霾后的结果，具体的形式如下所示：
    Figure PCTCN2020139353-appb-100001
    J c(x)＝K c_e(x)I c(x)-K_e c(x)+1，其中J是真实无雾图像，I是观察带雾的室外图像，x是图像的中的像素坐标，上标c是图像通道数，K_e是伪透射率，将大气透射率和环境光融合在一起，减少了未知变量的估计个数，或者结合不同尺度的图像拓展成多尺度的去除云雾网络。
  6. 根据权利要求1所述的一种基于深度通道感知的去除云雾方法，其特征在于所述构建深度优化器选用了自适应动量梯度下降算法，使用动量和自适应速率可加快收敛速度，在网络训练时，学习率设置为0.00005～0.0001,动量设置为0.9，训练所用的代价函数采用了L1范式，或者用L2范式，通过在国际通用的数据集和自己构建的数据集进行有效训练，获得深度网络的最优参数。
PCT/CN2020/139353 2020-11-04 2020-12-25 一种基于深度通道感知的去除云雾方法 WO2022095253A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011217077 2020-11-04
CN202011217077.6 2020-11-04

Publications (1)

Publication Number Publication Date
WO2022095253A1 true WO2022095253A1 (zh) 2022-05-12

Family

ID=81458601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/139353 WO2022095253A1 (zh) 2020-11-04 2020-12-25 一种基于深度通道感知的去除云雾方法

Country Status (1)

Country Link
WO (1) WO2022095253A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820388A (zh) * 2022-06-22 2022-07-29 合肥工业大学 一种基于编解码器结构的图像去雾方法
CN116309150A (zh) * 2023-03-14 2023-06-23 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116596792A (zh) * 2023-05-22 2023-08-15 武汉理工大学 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN117148814A (zh) * 2023-07-25 2023-12-01 湖北仕上电子科技有限公司 真空镀膜设备壁板清洗控制系统的异常报警方法及系统
CN117237859A (zh) * 2023-11-14 2023-12-15 南京信息工程大学 基于低光照增强的夜间高速公路雾天能见度检测方法
CN117611494A (zh) * 2024-01-24 2024-02-27 北京理工大学 一种全色遥感图像薄云去除方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508129B1 (en) * 2015-11-06 2016-11-29 Adobe Systems Incorporated Dehazing photos and videos using visual artifact suppression
CN107967671A (zh) * 2017-10-30 2018-04-27 大连理工大学 结合数据学习和物理先验的图像去雾方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN111445418A (zh) * 2020-03-31 2020-07-24 联想(北京)有限公司 图像去雾处理方法、装置及计算机设备
CN111539887A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN111640060A (zh) * 2020-04-30 2020-09-08 南京理工大学 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法
CN111681166A (zh) * 2020-06-02 2020-09-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508129B1 (en) * 2015-11-06 2016-11-29 Adobe Systems Incorporated Dehazing photos and videos using visual artifact suppression
CN107967671A (zh) * 2017-10-30 2018-04-27 大连理工大学 结合数据学习和物理先验的图像去雾方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN111445418A (zh) * 2020-03-31 2020-07-24 联想(北京)有限公司 图像去雾处理方法、装置及计算机设备
CN111539887A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN111640060A (zh) * 2020-04-30 2020-09-08 南京理工大学 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法
CN111681166A (zh) * 2020-06-02 2020-09-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820388A (zh) * 2022-06-22 2022-07-29 合肥工业大学 一种基于编解码器结构的图像去雾方法
CN114820388B (zh) * 2022-06-22 2022-09-06 合肥工业大学 一种基于编解码器结构的图像去雾方法
CN116309150A (zh) * 2023-03-14 2023-06-23 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116309150B (zh) * 2023-03-14 2023-09-22 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116596792A (zh) * 2023-05-22 2023-08-15 武汉理工大学 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN116596792B (zh) * 2023-05-22 2023-12-29 武汉理工大学 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN117148814A (zh) * 2023-07-25 2023-12-01 湖北仕上电子科技有限公司 真空镀膜设备壁板清洗控制系统的异常报警方法及系统
CN117148814B (zh) * 2023-07-25 2024-04-16 湖北仕上电子科技有限公司 真空镀膜设备壁板清洗控制系统的异常报警方法及系统
CN117237859A (zh) * 2023-11-14 2023-12-15 南京信息工程大学 基于低光照增强的夜间高速公路雾天能见度检测方法
CN117237859B (zh) * 2023-11-14 2024-02-13 南京信息工程大学 基于低光照增强的夜间高速公路雾天能见度检测方法
CN117611494A (zh) * 2024-01-24 2024-02-27 北京理工大学 一种全色遥感图像薄云去除方法
CN117611494B (zh) * 2024-01-24 2024-04-30 北京理工大学 一种全色遥感图像薄云去除方法

Similar Documents

Publication Publication Date Title
WO2022095253A1 (zh) 一种基于深度通道感知的去除云雾方法
Chen et al. Underwater image enhancement based on deep learning and image formation model
CN111967480A (zh) 基于权重共享的多尺度自注意力目标检测方法
CN108230354B (zh) 目标跟踪、网络训练方法、装置、电子设备和存储介质
CN111223087B (zh) 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN115035295B (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
CN113408398B (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
CN113052106A (zh) 一种基于PSPNet网络的飞机起降跑道识别方法
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
CN114267025A (zh) 基于高分辨率网络与轻量注意力机制的交通标志检测方法
CN114519667A (zh) 一种图像超分辨率重建方法及系统
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
CN115049945A (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN111027508A (zh) 一种基于深层神经网络的遥感图像覆被变化检测方法
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN116309170A (zh) 一种输电线路巡检图像去雾方法和装置
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
Wu et al. Algorithm Development of Cloud Removal from Solar Images Based on Pix2Pix Network.
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统
CN114419018A (zh) 图像采样方法、系统、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20960710

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20960710

Country of ref document: EP

Kind code of ref document: A1