WO2020087607A1 - 一种基于Bi-Skip-Net的图像去模糊方法 - Google Patents

一种基于Bi-Skip-Net的图像去模糊方法 Download PDF

Info

Publication number
WO2020087607A1
WO2020087607A1 PCT/CN2018/117634 CN2018117634W WO2020087607A1 WO 2020087607 A1 WO2020087607 A1 WO 2020087607A1 CN 2018117634 W CN2018117634 W CN 2018117634W WO 2020087607 A1 WO2020087607 A1 WO 2020087607A1
Authority
WO
WIPO (PCT)
Prior art keywords
features
skip
shallow
scale
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/117634
Other languages
English (en)
French (fr)
Inventor
李革
张毅伟
王荣刚
王文敏
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Publication of WO2020087607A1 publication Critical patent/WO2020087607A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the invention relates to the field of digital image processing, in particular to a Bi-Skip-Net-based image deblurring method.
  • the method is to realize blurred image restoration through a Bi-Skip-Net network.
  • Deblurring technology is the subject of extensive research in the field of image and video processing. To a certain extent, blurring caused by camera shake seriously affects the imaging quality and visual perception of images. As an important branch of image preprocessing, the improvement of deblurring technology directly affects the performance of other computer vision algorithms, such as foreground segmentation, object detection, behavior analysis, etc. At the same time, it also affects the image coding performance. Therefore, it is imperative to study a high-performance deblurring algorithm.
  • Documents 1-3 introduces the deblurring technology of image and video processing, deep learning deblurring algorithm;
  • Document 1 Kupyn O, Budzan V, Mykhailych M, et al.
  • DeblurGAN Blind Motion Deblurring Using Conditional Adversarial Networks [J] .arXiv preprint arXiv: 1711.07064, 2017.
  • Reference 2 Nah S, Kim T, H, Lee K, M. Deep multi-scale convolutional neural network for dynamic scene deblurring [C] // CVPR.2017, 1 (2): 3.
  • Reference 3 Sun J, Cao W, Xu Z, et al. Learning a convolutional neural network for non-uniform motion blur removal [C] // Proceedings of the IEEE Conference Computer on Vision Vision and Pattern Recognition. 2015: 769-777. .
  • image deblurring algorithms can be divided into traditional algorithms based on probability models and deblurring algorithms based on deep learning.
  • the traditional algorithm uses a convolution model to explain the cause of blur.
  • the process of camera shake can be mapped to a blur kernel trajectory PSF (Point Spread Function).
  • PSF Point Spread Function
  • the problem of restoring a clear image when the blur kernel is unknown is an ill-posed problem, so it is usually necessary to estimate the blur kernel first, and then use the evaluated blur kernel to perform the deconvolution operation to obtain the restored image.
  • the deep learning-based deblurring algorithm uses the deep network structure to obtain the latent information of the image, and then realize the blurred image restoration.
  • the deep learning deblurring algorithm can realize two operations of fuzzy kernel estimation and non-blind deconvolution to restore the image, and at the same time, it can also use the generated confrontation mechanism to restore the image.
  • This patent aims to solve the shortcomings of the deblurring algorithm:
  • the present invention proposes a Bi-Skip-Net network as a GAN (Generative Adversarial Network) generating network, aiming to solve the shortcomings of the existing deep learning deblurring algorithm.
  • GAN Geneative Adversarial Network
  • the present invention improves the time complexity by 0.1s and the original performance of the image complex image by an average of 1dB.
  • the invention adopts a generation-antagonism network mechanism to realize the restoration of blurred images, and a Bi-Skip-Net network is designed as a generator therein. Specific steps are as follows:
  • the shallow features of the previous scale are passed through a convolutional layer with a size of 1x1 and a step size of 1 to obtain shallow dimensionality reduction features; the corresponding depth features are passed through a convolutional core with a size of 3x3 and a step size Obtain the depth dimensionality reduction feature for the convolutional layer of 2 and connect it with the basic feature in series for upsampling; connect the upsampled feature and the shallow layer dimensionality reduction feature in series to obtain the basic feature at the current scale;
  • the obtained basic features are passed through a convolution layer with a convolution kernel size of 7x7 and a step size of 1 to obtain residual features;
  • the Bi-Skip-Net plus residual mode is used as the generator.
  • step 4 the number of downsampling is 5 according to the regulations.
  • the blurred image is obtained by the generator to obtain the restored image
  • the task of discrimination is to distinguish the restored image and the clear image as much as possible
  • the task of the generator is to deceive the discriminator as much as possible to reduce the ability to distinguish between the two images.
  • the Bi-Skip-Net network is composed of three parts: contract path (D), Skip path (S) and expand path (U).
  • the contract layer performs downsampling to achieve feature compression
  • the Skip layer is used to connect deep and shallow features
  • the expand layer performs upsampling.
  • D *, S *, U * are the features under the corresponding downsampling scale.
  • the current feature obtains deep features through 3 residual blocks (3xResBlock), and uses the residual mode of pooling and convolution to obtain the next feature.
  • Scale features in the Skip path, shallow features are compressed by 1x1 convolution, and depth features are compressed by 3x3 convolution; in the expand path, feature connection is achieved by concat, and features are achieved by 3x3 deconvolution Upsampling.
  • the present invention has the following technical effects: Since the present invention uses the Bi-Skip-Net network as the GAN (Generative Adversarial Network) generating network, compared with the prior art, it has the following technical effects:
  • the traditional de-motion blur method uses two steps of fuzzy kernel estimation and non-blind deconvolution, and these two steps require multiple iterations to achieve a good recovery effect. Because of this, it also takes a long time to process a single motion blurred image; and the model designed by the present invention can avoid the time loss caused by multiple iteration optimization.
  • Figure 1 is a mechanism for generating an adversarial network of the present invention
  • FIG. 3 is a characteristic operation at a sampling scale of the present invention.
  • Figures 5a-d are subjective comparisons between the present invention and other algorithms.
  • Figure 5a Blurred image
  • FIG. 1 is a mechanism for generating an adversarial network adopted by the present invention.
  • the blurred image is obtained by the generator to obtain the restored image
  • the task of discrimination is to distinguish the restored image and the clear image as much as possible
  • the task of the generator is to deceive the discriminator as much as possible to reduce the ability to distinguish between the two images.
  • ⁇ is the weight of the conditional loss function.
  • L and S respectively represent the output and true value of the model at different levels, and the value of ⁇ is 1 or 2, the entire conditional loss function is regulated by the number of channels c, width w and height h.
  • FIG. 1 the method of the embodiment of the present invention adopts a generative adversarial network mechanism to achieve blurred image restoration.
  • Figure 2 shows the structure of the Bi-Skip-Net network. Taking the network structure shown in Figure 2, a Bi-Skip-Net network is designed as the generator.
  • the discriminator parameters in the Bi-Skip-Net network structure diagram are shown in Table 1. Discriminator parameter table.
  • the Bi-Skip-Net network designed by the embodiment of the present invention is composed of three parts: a contract path (D), including D0, D1, D2, and D3; a Skip path (S), including S0, S1, S2 And S3; and the expand path (U), including U0, U1, U2, and U3.
  • the contract layer performs downsampling to achieve feature compression
  • the Skip layer is used to connect deep and shallow features
  • the expand layer performs upsampling.
  • D * (D0, D1, D2, and D3), S * (S0, S1, S2, and S3), and U * (U0, U1, U2, and U3) are features under the corresponding downsampling scale.
  • Figure 3 is a feature operation at a sampling scale.
  • the current feature obtains deep features through 3 residual blocks (3xResBlock), and uses pooling and volume.
  • the residual mode of product addition is used to obtain the next-scale features; in the Skip path, that is, across the connection path, the shallow features are compressed by 1x1 convolution, and the deep features are compressed by 3x3 convolution; in the expand path, Through concate, namely concatenate, to achieve feature connection, and through 3x3 deconvolution to achieve feature upsampling.
  • FIG 4 Generator design: Bi-Skip-Net + residuals, as shown in Figure 4, and finally adopt Bi-Skip-Net plus residual mode as the generator.
  • Figures 5a-d are subjective comparisons between the present invention and other algorithms.
  • Figure 5a is a blurred image
  • Figure 5b is the restoration effect of Nah et al.
  • Figure 5c is the restoration effect of Kupyn et al.
  • Figure 5d is the restoration effect of Bi-Skip-Net of the present invention.
  • the text "HARDWARE" in the lower left corner of the picture cannot be recognized or blurred in the other three pictures, and the invention can clearly restore and recognize. It can be seen from the subjective comparison of human beings that the present invention has obvious repairing effect on blurred images.
  • the invention is applied to the field of digital image processing, and a blurred image restoration method is realized through a Bi-Skip-Net-based image deblurring method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及数字图像处理领域，特别一种基于Bi-Skip-Net的图像去模糊方法,是一种Bi-Skip-Net网络来实现模糊图像复原,旨在解决现有深度学习去模糊算法存在的时间复杂度高、纹理恢复不准确、复原图像存在方格效应等问题。本发明公开的一种Bi-Skip-Net网络来作为GAN(Generative Adversarial Network)的生成网络，旨在解决现有深度学习去模糊算法存在的缺点,通过对比现有最优算法，本发明在时间复杂度上提升了0.1s，在图像复图像原性能上平均提升了1dB。

Description

一种基于Bi-Skip-Net的图像去模糊方法 技术领域
本发明涉及数字图像处理领域，特别是一种基于Bi-Skip-Net的图像去模糊方法，该方法是通过Bi-Skip-Net网络来实现模糊图像复原。
背景技术
去模糊技术是图像和视频处理领域被广泛研究的主题。基于相机抖动造成的模糊在一定意义上严重影响图像的成像质量，视觉观感。作为图像预处理领域一个及其重要的分支，去模糊技术的提升直接影响其他计算机视觉算法的性能，如前景分割，物体检测，行为分析等；同时它也影响着图像的编码性能。因此，研究一种高性能的去模糊算法势在必行。
文献1-3介绍了图像和视频处理的去模糊技术，深度学习去模糊算法；文献1：Kupyn O,Budzan V,Mykhailych M,et al.DeblurGAN:Blind Motion Deblurring Using Conditional Adversarial Networks[J].arXiv preprint arXiv:1711.07064,2017。文献2：Nah S,Kim T H,Lee K M.Deep multi-scale convolutional neural network for dynamic scene deblurring[C]//CVPR.2017,1(2):3。文献3：Sun J,Cao W,Xu Z,et al.Learning a convolutional neural network for non-uniform motion blur removal[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015:769-777.。
一般来说，图像去模糊算法可以分为基于概率模型的传统算法和基于深度学习的去模糊算法。传统算法采用卷积模型来解释模糊成因，相机抖动的过程可以映射为模糊核轨迹PSF(Point Spread Function)。在模糊核未知的情况下还原清晰图像，这一问题属于不适定(ill-posed)问题，所以通常意义上需要先估计模糊核，再利用评估 的模糊核进行返卷积操作得到复原图像。基于深度学习的去模糊算法则利用深层网络结构获取图像的潜在信息，进而实现模糊图像复原。深度学习去模糊算法可以实现模糊核估计和非盲反卷积两个操作来进行图像复原，同时也可以采用生成对抗机制来复原图像。本专利旨在解决去模糊算法存在的缺点：
1)时间复杂度高,
2)纹理恢复不准确,
3)复原图像存在方格效应。
发明的公开
本发明提出了一种Bi-Skip-Net网络来作为GAN(Generative Adversarial Network)的生成网络，旨在解决现有深度学习去模糊算法存在的缺点。通过对比现有最优算法，本发明在时间复杂度上提升了0.1s，在图像复图像原性能上平均提升了1dB。
本发明提供的技术方案如下：(注：需要用自然语言对技术方案进行说明，不能用“如图”这样的叙述方式，方法技术方案最好按：步骤1：步骤2…的方式撰写)
本发明采用生成对抗网络机制来实现模糊图像复原，并设计了一种Bi-Skip-Net网络来作为其中的生成器。具体步骤如下：
1)：输入模糊图像，通过卷积核尺寸为7x7，步长为1的卷积层得到浅层特征；
2)：将浅层特征通过3个残差块得到当前尺度下的深度特征；
3)：将深度特征进行下采样加残差的模式得到下一个尺度下的浅层特征；
4)：按照规定的下采样次数n，重复步骤2，3获取不同尺度下的浅层特征和深度特征，并且在最小尺度下不获取深度特征；
5)：将最小尺度的浅层特征作为基本特征；
6)：将上一层尺度的浅层特征经过卷积核大小为1x1，步长为1的卷积层得到浅层降维特征；将对应的深度特征经过卷积核大小为3x3，步长为2的卷积层得到深度降维 特征，并与基本特征串联进行上采样；将上采样后的特征与浅层降维特征进行串联得到当前尺度下的基本特征；
7)：重复步骤6直到采样操作截止；
8)：将得到的基本特征经过卷积核大小为7x7,步长为1的卷积层得到残差特征；
9)：将残差特征与输入图像相加得到复原图像；
…
采用Bi-Skip-Net加残差的模式来作为生成器。
步骤4)中，按照规定的下采样次数为5。
其中，模糊图像通过生成器来获得复原图像，判别的任务为尽可能区分复原图像和清晰图像；而生成器的任务为尽可能欺骗判别器来降低对两种图像的区分的能力。
所述的Bi-Skip-Net网络由三部分组成：contract路径(D)，Skip路径(S)以及expand路径(U)。Contract层进行下采样实现特征压缩，Skip层用于连接深层特征与浅层特征，expand层进行上采样。其中D*，S*，U*为对应下采样尺度下的特征。
所述的采样尺度下的特征操作，在contract路径，当前特征通过3个残差块(3xResBlock)来获得深层特征，并采用池化(pooling)和卷积相加的残差模式来获取下一尺度的特征；在Skip路径，通过1x1的卷积来对压缩浅层特征，通过3x3的卷积来压缩深度特征；在expand路径，通过concat来实现特征连接，并通过3x3的反卷积实现特征上采样。
本发明具有如下技术效果：由于本发明采用了Bi-Skip-Net网络来作为GAN(Generative Adversarial Network)的生成网络与现有技术相比具有以下技术效果：
1、时间复杂度低；对比传统方法，传统的去运动模糊方法采用模糊核估计和非盲反卷积两个步骤，而这两个步骤均需进行多次迭代才能达到较好的复原效果，正因如此，也造成处理单张运动模糊图像的时间较长；而本发明设计的模型可以避免多次迭 代优化造成的时间损耗。
2、纹理恢复准确；对比传统方法，在传统方法中，模糊核估计不准确会造成复原过程中图像信息的错误恢复，而非盲反卷操作经常会造成纹理部分出现振铃效应；本发明设计的双跨连接网络在每一层尺度上都提取了深度特征和浅层特征，通过特征连接，网络在一定程度可以恢复更多的细节信息。
3、复原图像不存在方格效应，对比现存的深度学习方法，现存的多数深度学习方法在上采样过程中采用反卷积层来实现，而由于每次反卷积都存在一定的锯齿效应，这使得最后的复原图像也存在一些锯齿，即本发明提到的方格效应。
为了更好地理解本发明的构思和原理，下面结合附图和实施例，对本发明进行详细的描述。但具体实施例的描述不以任何方式限制本发明的保护范围。
附图的简要说明
图1为本发明的生成对抗网络机制；
图2为本发明的Bi-Skip-Net网络结构图；
图3为本发明的一个采样尺度下的特征操作；
图4生成器设计：Bi-Skip-Net+残差；
图5a-d为本发明与其它算法的主观对比；其中，
图5a：模糊图像；
图5b：Nah等人的复原效果；
图5c：Kupyn等人的复原效果；
图5d：Bi-Skip-Net的复原效果。
实现本发明的最佳方式
图1为本发明采用的生成对抗网络机制。其中，模糊图像通过生成器来获得复原 图像，判别的任务为尽可能区分复原图像和清晰图像；而生成器的任务为尽可能欺骗判别器来降低对两种图像的区分的能力。
本发明实施例的具体步骤如下：
(1)设计生成器和判别器，原理如图4所示，是建筑物的模糊图像通过Bi-Skip-Net生成器，而得到清晰的建筑物图片；其他任何模糊图像都可以用这个模型生成清晰的图片。
(2)采用如下的损失函数来训练网络，
Figure PCTCN2018117634-appb-000001
其中
Figure PCTCN2018117634-appb-000002
为对抗损失函数，
Figure PCTCN2018117634-appb-000003
为条件损失函数，λ为条件损失函数的权重。
Figure PCTCN2018117634-appb-000004
通过最大化
Figure PCTCN2018117634-appb-000005
来优化判别器D；
Figure PCTCN2018117634-appb-000006
通过最小化式3来优化生成器G；
其中
Figure PCTCN2018117634-appb-000007
设计如下：
Figure PCTCN2018117634-appb-000008
其中，L，S分别表示模型在不同层级的输出和真值，α取值为1或2,整个条件损失函数被通道数c，宽度w和高度h所规范。
(3)将训练好的网络作为最终的复原模型。
如图1所示，本发明实施例的方法采用生成对抗网络机制来实现模糊图像复原。图2为Bi-Skip-Net网络结构图，采取图2所示的网络结构，设计了一种Bi-Skip-Net网络来作为其中的生成器。
该Bi-Skip-Net网络结构图中的判别器参数见表1.判别器参数表。
表1.判别器参数表
# 层 参数维度 步长
1 conv 32x3x5x5 2
2 conv 64x32x5x5 1
3 conv 64x64x5x5 2
4 conv 128x64x5x5 1
5 conv 128x128x5x5 4
6 conv 256x128x5x5 1
7 conv 256x256x5x5 4
8 conv 512x256x5x5 1
9 conv 512x512x4x4 4
10 fc 512x1x1x1 -
如图2所示，本发明实施例设计的Bi-Skip-Net网络由三部分组成：contract路径(D)，包括D0、D1、D2和D3；Skip路径(S)，包括S0、S1、S2和S3；以及expand路径(U)，包括U0、U1、U2和U3。Contract层进行下采样实现特征压缩，Skip层用于连接深层特征与浅层特征，expand层进行上采样。其中D*(D0、D1、D2和D3)，S*(S0、S1、S2和S3)，U*(U0、U1、U2和U3)为对应下采样尺度下的特征。
图3为一个采样尺度下的特征操作，如图3所示，在contract路径,即压缩路径，当前特征通过3个残差块(3xResBlock)来获得深层特征，并采用池化(pooling)和卷积相加的残差模式来获取下一尺度的特征；在Skip路径,即跨连接路径，通过1x1的卷积来对压缩浅层特征，通过3x3的卷积来压缩深层特征；在expand路径，通过concat,即concatenate,来实现特征连接，并通过3x3的反卷积实现特征上采样。
图4生成器设计：Bi-Skip-Net+残差，如图4所示，最后采用Bi-Skip-Net加残差的模式来作为生成器。
本发明实施与其他算法的对比结果详见表2.本发明与其它算法在GoPro数据集上的测试对比。
表2.本发明与其它算法在GoPro数据集上的测试对比
Figure PCTCN2018117634-appb-000009
图5a-d为本发明与其它算法的主观对比。图5a为模糊图像，图5b为Nah等人的复原效果，图5c为Kupyn等人的复原效果，图5d为本发明的Bi-Skip-Net的复原效果。图片左下角的文字“HARDWARE”在其他三张图片中无法辨认或辨认模糊，本发明能清晰还原和识别。从人主观对比可以看出，本发明对模糊图像的修复效果明显。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
工业应用性
本发明应用于数字图像处理领域，通过一种基于Bi-Skip-Net的图像去模糊方法，实现模糊图像复原。

Claims (5)

  1. 一种基于Bi-Skip-Net的图像去模糊方法，包括如下步骤：
    1)输入模糊图像，通过卷积核尺寸为7x7，步长为1的卷积层得到浅层特征；
    2)将浅层特征通过3个残差块得到当前尺度下的深度特征；
    3)将深度特征进行下采样加残差的模式得到下一个尺度下的浅层特征；
    4)按照规定的下采样次数n，重复步骤2，3获取不同尺度下的浅层特征和深度特征，并且在最小尺度下不获取深度特征；
    5)将最小尺度的浅层特征作为基本特征；
    6)将上一层尺度的浅层特征经过卷积核大小为1x1，步长为1的卷积层得到浅层降维特征；将对应的深度特征经过卷积核大小为3x3，步长为2的卷积层得到深度降维特征，并与基本特征串联进行上采样；将上采样后的特征与浅层降维特征进行串联得到当前尺度下的基本特征；
    7)重复步骤6直到采样操作截止；
    8)将得到的基本特征经过卷积核大小为7x7,步长为1的卷积层得到残差特征；
    9)将残差特征与输入图像相加得到复原图像；
    10)采用Bi-Skip-Net加残差的模式作为生成器。
  2. 根据权利要求1所述的图像去模糊方法，其特征在于：
    步骤4)按照规定的下采样次数为5。
  3. 根据权利要求1所述的图像去模糊方法，其特征在于：
    所述的Bi-Skip-Net网络由三部分组成：contract路径(D)，Skip路径(S)以及expand路径(U)；Contract层进行下采样实现特征压缩，Skip层用于连接深层特征与浅层特征，expand层进行上采样；其中D*，S*，U*为对应下采样尺度下的特征。
  4. 根据权利要求3所述的图像去模糊方法，其特征在于：
    所述的采样尺度下的特征操作，在contract路径，当前特征通过3个残差块(3xResBlock)来获得深层特征，并采用池化(pooling)和卷积相加的残差模式来获取下一尺度的特征；在Skip路径，通过1x1的卷积来对压缩浅层特征，通过3x3的卷积来压缩深度特征；在expand路径，通过concat来实现特征连接，并通过3x3的反卷积实现特征上采样。
  5. 根据权利要求1所述的图像去模糊方法，其特征在于：
    步骤10)所述的生成器是按如下方式来设计的，
    ①采用如下的损失函数来训练网络，
    Figure PCTCN2018117634-appb-100001
    其中
    Figure PCTCN2018117634-appb-100002
    为对抗损失函数，
    Figure PCTCN2018117634-appb-100003
    为条件损失函数，λ为条件损失函数的权重；
    Figure PCTCN2018117634-appb-100004
    通过最大化
    Figure PCTCN2018117634-appb-100005
    来优化判别器D；
    Figure PCTCN2018117634-appb-100006
    通过最小化式3来优化生成器G；
    其中
    Figure PCTCN2018117634-appb-100007
    设计如下：
    Figure PCTCN2018117634-appb-100008
    其中，L，S分别表示模型在不同层级的输出和真值，α取值为1或2,整个条件损失函数被通道数c，宽度w和高度h所规范；
    ②将训练好的网络作为最终的复原模型。
PCT/CN2018/117634 2018-11-02 2018-11-27 一种基于Bi-Skip-Net的图像去模糊方法 Ceased WO2020087607A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811298475.8A CN109410146A (zh) 2018-11-02 2018-11-02 一种基于Bi-Skip-Net的图像去模糊算法
CN201811298475.8 2018-11-02

Publications (1)

Publication Number Publication Date
WO2020087607A1 true WO2020087607A1 (zh) 2020-05-07

Family

ID=65471437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/117634 Ceased WO2020087607A1 (zh) 2018-11-02 2018-11-27 一种基于Bi-Skip-Net的图像去模糊方法

Country Status (2)

Country Link
CN (1) CN109410146A (zh)
WO (1) WO2020087607A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986102A (zh) * 2020-07-15 2020-11-24 万达信息股份有限公司 一种数字病理图像去模糊方法
CN112070693A (zh) * 2020-08-27 2020-12-11 西安理工大学 一种基于灰度世界自适应网络的单幅沙尘图像恢复方法
CN112070658A (zh) * 2020-08-25 2020-12-11 西安理工大学 一种基于深度学习的汉字字体风格迁移方法
CN112184590A (zh) * 2020-09-30 2021-01-05 西安理工大学 一种基于灰度世界自引导网络的单幅沙尘图像恢复方法
CN112330554A (zh) * 2020-10-30 2021-02-05 西安工业大学 一种面向天文图像解卷积的结构学习方法
CN112561819A (zh) * 2020-12-17 2021-03-26 温州大学 一种基于自支持模型的自滤波图像去雾算法
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN113592736A (zh) * 2021-07-27 2021-11-02 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
CN113610721A (zh) * 2021-07-27 2021-11-05 河南大学 一种基于部分卷积生成对抗网络的图像修复方法
CN113947589A (zh) * 2021-10-26 2022-01-18 北京理工大学 一种基于对抗生成网络的弹载图像去模糊方法
CN114119395A (zh) * 2021-11-15 2022-03-01 北京理工大学 失真检测与复原一体化的图像处理系统与方法
CN114240771A (zh) * 2021-11-23 2022-03-25 无锡学院 基于双重控制网络的图像去模糊系统及方法
CN114298942A (zh) * 2021-12-31 2022-04-08 Oppo广东移动通信有限公司 图像去模糊方法及装置、计算机可读介质和电子设备
CN114511465A (zh) * 2022-02-21 2022-05-17 华东交通大学 一种基于改进dcgan的图像修复方法及系统
CN114723630A (zh) * 2022-03-31 2022-07-08 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN114841897A (zh) * 2022-06-08 2022-08-02 西北工业大学 基于自适应模糊核估计的深度去模糊方法
CN114913095A (zh) * 2022-06-08 2022-08-16 西北工业大学 基于域适应的深度去模糊方法
CN114936977A (zh) * 2022-05-31 2022-08-23 东南大学 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN114936976A (zh) * 2022-05-25 2022-08-23 南京航空航天大学 一种基于记忆感知模块的生成对抗网络雾霾图像复原方法
CN114998121A (zh) * 2022-05-17 2022-09-02 杭州电子科技大学 一种基于改进型unet++网络的图像去高光方法及系统
CN115205148A (zh) * 2022-07-15 2022-10-18 福州大学 基于双路径残差网络的图像去模糊方法
CN115760589A (zh) * 2022-09-30 2023-03-07 浙江大学 一种用于运动模糊图像的图像优化方法及装置
CN116112681A (zh) * 2021-11-10 2023-05-12 四川大学 基于多尺度交互通信时空网络的视频去压缩方法
CN116246059A (zh) * 2022-12-17 2023-06-09 艾迪恩(山东)科技有限公司 一种基于改进的yolo多尺度检测的车辆目标识别方法
CN117058038A (zh) * 2023-08-28 2023-11-14 北京航空航天大学 一种基于偶数卷积深度学习的衍射模糊图像修复方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612711B (zh) * 2019-05-31 2023-06-09 北京理工大学 一种基于生成对抗网络改进的图片去模糊方法
CN110570375B (zh) * 2019-09-06 2022-12-09 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设置以及存储介质
CN112102184A (zh) * 2020-09-04 2020-12-18 西北工业大学 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法
CN113570516B (zh) * 2021-07-09 2022-07-22 湖南大学 基于CNN-Transformer混合自编码器的图像盲运动去模糊方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130170698A1 (en) * 2011-12-30 2013-07-04 Honeywell International Inc. Image acquisition systems
CN108460742A (zh) * 2018-03-14 2018-08-28 日照职业技术学院 一种基于bp神经网络的图像复原方法
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779491B2 (en) * 2014-08-15 2017-10-03 Nikon Corporation Algorithm and device for image processing
CN106251303A (zh) * 2016-07-28 2016-12-21 同济大学 一种使用深度全卷积编码‑解码网络的图像降噪方法
CN107689034B (zh) * 2017-08-16 2020-12-01 清华-伯克利深圳学院筹备办公室 一种去噪方法及装置
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130170698A1 (en) * 2011-12-30 2013-07-04 Honeywell International Inc. Image acquisition systems
CN108460742A (zh) * 2018-03-14 2018-08-28 日照职业技术学院 一种基于bp神经网络的图像复原方法
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAO, YONG ET AL: "License Plate Motion Deblurring Based on Deep Learning", JOURNAL OF HANGZHOU DIANZI UNIVERSITY, vol. 38, no. 5, 1 September 2018 (2018-09-01), pages 29 - 33, XP055699211, ISSN: 1001-9146, DOI: 10.13954/j.cnki.hdu.2018.05.006 *
NAH, S. ET AL.: "Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring", ARXIV.ORG, 7 December 2017 (2017-12-07), pages 1 - 21, XP080737454, DOI: 10.1109/CVPR.2017.35 *
ZHOU, TONGTONG: "Realization of Blind Restoration of Blurred Images Based on Camera Shake", MASTER THESIS, no. 07, 15 July 2013 (2013-07-15), pages 1 - 60, XP009520638, ISSN: 1674-0246 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986102B (zh) * 2020-07-15 2024-02-27 万达信息股份有限公司 一种数字病理图像去模糊方法
CN111986102A (zh) * 2020-07-15 2020-11-24 万达信息股份有限公司 一种数字病理图像去模糊方法
CN112070658B (zh) * 2020-08-25 2024-04-16 西安理工大学 一种基于深度学习的汉字字体风格迁移方法
CN112070658A (zh) * 2020-08-25 2020-12-11 西安理工大学 一种基于深度学习的汉字字体风格迁移方法
CN112070693A (zh) * 2020-08-27 2020-12-11 西安理工大学 一种基于灰度世界自适应网络的单幅沙尘图像恢复方法
CN112070693B (zh) * 2020-08-27 2024-03-26 西安理工大学 一种基于灰度世界自适应网络的单幅沙尘图像恢复方法
CN112184590A (zh) * 2020-09-30 2021-01-05 西安理工大学 一种基于灰度世界自引导网络的单幅沙尘图像恢复方法
CN112184590B (zh) * 2020-09-30 2024-03-26 西安理工大学 一种基于灰度世界自引导网络的单幅沙尘图像恢复方法
CN112330554A (zh) * 2020-10-30 2021-02-05 西安工业大学 一种面向天文图像解卷积的结构学习方法
CN112330554B (zh) * 2020-10-30 2024-01-19 西安工业大学 一种面向天文图像解卷积的结构学习方法
CN112561819A (zh) * 2020-12-17 2021-03-26 温州大学 一种基于自支持模型的自滤波图像去雾算法
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN113610721A (zh) * 2021-07-27 2021-11-05 河南大学 一种基于部分卷积生成对抗网络的图像修复方法
CN113592736A (zh) * 2021-07-27 2021-11-02 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
CN113592736B (zh) * 2021-07-27 2024-01-12 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
CN113947589A (zh) * 2021-10-26 2022-01-18 北京理工大学 一种基于对抗生成网络的弹载图像去模糊方法
CN116112681A (zh) * 2021-11-10 2023-05-12 四川大学 基于多尺度交互通信时空网络的视频去压缩方法
CN114119395B (zh) * 2021-11-15 2024-06-11 北京理工大学 失真检测与复原一体化的图像处理系统与方法
CN114119395A (zh) * 2021-11-15 2022-03-01 北京理工大学 失真检测与复原一体化的图像处理系统与方法
CN114240771A (zh) * 2021-11-23 2022-03-25 无锡学院 基于双重控制网络的图像去模糊系统及方法
CN114298942A (zh) * 2021-12-31 2022-04-08 Oppo广东移动通信有限公司 图像去模糊方法及装置、计算机可读介质和电子设备
CN114511465A (zh) * 2022-02-21 2022-05-17 华东交通大学 一种基于改进dcgan的图像修复方法及系统
CN114723630A (zh) * 2022-03-31 2022-07-08 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN114998121A (zh) * 2022-05-17 2022-09-02 杭州电子科技大学 一种基于改进型unet++网络的图像去高光方法及系统
CN114936976A (zh) * 2022-05-25 2022-08-23 南京航空航天大学 一种基于记忆感知模块的生成对抗网络雾霾图像复原方法
CN114936977A (zh) * 2022-05-31 2022-08-23 东南大学 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN114936977B (zh) * 2022-05-31 2025-05-02 东南大学 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN114913095B (zh) * 2022-06-08 2024-03-12 西北工业大学 基于域适应的深度去模糊方法
CN114841897B (zh) * 2022-06-08 2024-03-15 西北工业大学 基于自适应模糊核估计的深度去模糊方法
CN114913095A (zh) * 2022-06-08 2022-08-16 西北工业大学 基于域适应的深度去模糊方法
CN114841897A (zh) * 2022-06-08 2022-08-02 西北工业大学 基于自适应模糊核估计的深度去模糊方法
CN115205148A (zh) * 2022-07-15 2022-10-18 福州大学 基于双路径残差网络的图像去模糊方法
CN115760589A (zh) * 2022-09-30 2023-03-07 浙江大学 一种用于运动模糊图像的图像优化方法及装置
CN116246059A (zh) * 2022-12-17 2023-06-09 艾迪恩(山东)科技有限公司 一种基于改进的yolo多尺度检测的车辆目标识别方法
CN117058038A (zh) * 2023-08-28 2023-11-14 北京航空航天大学 一种基于偶数卷积深度学习的衍射模糊图像修复方法
CN117058038B (zh) * 2023-08-28 2024-04-30 北京航空航天大学 一种基于偶数卷积深度学习的衍射模糊图像修复方法

Also Published As

Publication number Publication date
CN109410146A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
WO2020087607A1 (zh) 一种基于Bi-Skip-Net的图像去模糊方法
Liu et al. A motion deblur method based on multi-scale high frequency residual image learning
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN112541877A (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
Anwar et al. Image deblurring with a class-specific prior
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN112733929A (zh) 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN107038688A (zh) 基于Hessian矩阵的图像噪点检测及去噪方法
CN112991199A (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN110503609A (zh) 一种基于混合感知模型的图像去雨方法
KR102095444B1 (ko) 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치
Zhou et al. Sparse representation with enhanced nonlocal self-similarity for image denoising
CN105590296B (zh) 一种基于双字典学习的单帧图像超分辨率复原方法
CN116523780B (zh) 基于gan的去除图像运动模糊的方法、设备及介质
CN117197542A (zh) 水下鱼类目标的识别方法、装置、设备及存储介质
CN111553860A (zh) 水色遥感影像的深度学习非邻域均值化处理方法及系统
CN110503608A (zh) 基于多视角的卷积神经网络的图像去噪方法
KR102299360B1 (ko) 딥러닝 기반 이미지 복원을 이용한 성별 인식 장치 및 방법
US20240005464A1 (en) Reflection removal from an image
Wei et al. Image denoising with deep unfolding and normalizing flows
CN115965555B (zh) 基于Transformer网络的噪声估计图像增强方法
Sam et al. Enhanced image restoration via MmiRNet with context-aware deep learning inpainting
Kiani et al. Solving robust regularization problems using iteratively re-weighted least squares

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18938423

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18938423

Country of ref document: EP

Kind code of ref document: A1