WO2020015330A1 - 基于增强的神经网络的图像复原方法、存储介质及系统 - Google Patents

基于增强的神经网络的图像复原方法、存储介质及系统 Download PDF

Info

Publication number
WO2020015330A1
WO2020015330A1 PCT/CN2018/124654 CN2018124654W WO2020015330A1 WO 2020015330 A1 WO2020015330 A1 WO 2020015330A1 CN 2018124654 W CN2018124654 W CN 2018124654W WO 2020015330 A1 WO2020015330 A1 WO 2020015330A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
image
network
layer
image restoration
Prior art date
Application number
PCT/CN2018/124654
Other languages
English (en)
French (fr)
Inventor
田春伟
徐勇
Original Assignee
哈尔滨工业大学（深圳）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 哈尔滨工业大学（深圳） filed Critical 哈尔滨工业大学（深圳）
Publication of WO2020015330A1 publication Critical patent/WO2020015330A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to the field of image restoration, and in particular, to an image restoration method, a storage medium, and a system based on an enhanced neural network.
  • image processing has been applied in more and more fields, such as aviation exploration, weather forecasting, disaster rescue and video entertainment.
  • the shooting equipment is affected in haze, rain, snow, dark light, and equipment shake.
  • This type of problem of recovering the original image is called the image restoration problem.
  • Image restoration is a classic computer vision and model recognition problem. Among them, image super-resolution and image denoising are typical and important image restoration problems. The purpose is to recover high-resolution images from low-resolution images. This has been applied to medical images and face recognition. In recent years, sparse methods, Markov and non-adaptive methods have made some progress in image restoration.
  • an object of the present invention aims to solve at least one of the technical problems in the related technology.
  • an object of the present invention is to provide an image restoration method based on an enhanced neural network that prevents a deep network from degrading during training and can accelerate the convergence rate during training, and a related storage medium and system.
  • an image restoration method based on an enhanced neural network includes the following steps:
  • the first deep convolutional neural network is a convolutional neural network with more than three layers, and after one or more network layers of the first deep convolutional neural network have convolved their inputs, the convolution results are obtained using the GN method. Normalized and input to the activation function,
  • the GN method includes the following steps in order:
  • ⁇ 1 is the scale of training and ⁇ 1 is the transfer during training.
  • the method further includes the steps:
  • step S4 Input the restored image obtained in step S3 into a pre-trained second deep convolutional neural network to obtain a restored image with optimized quality.
  • the second deep convolutional neural network is a convolutional neural network with more than three layers, and after one or more network layers of the second deep convolutional neural network are convolved with their inputs, the convolution results are performed using the IN method. Normalized and input to the activation function,
  • the IN method includes the following steps in order:
  • ⁇ 2 is the training scale and ⁇ 2 is the transfer during training.
  • the method further includes the steps:
  • step S5 Fusion the image to be restored with the image obtained in step S4 to obtain a restored image with further optimized quality.
  • the image to be restored is transformed into three low-resolution images under different scaling factors.
  • the first deep convolutional neural network has a fourteen-layer network structure, wherein the first three layers are all network layers including a convolution layer and an activation function, and the fourth to thirteenth The layers are all network layers including a convolution layer, a GN method, and an activation function, and the fourteenth layer is a convolution layer.
  • the second deep convolutional neural network has a fifteen-layer network structure, wherein the first three layers are all network layers including a convolution layer and an activation function, and the fourth to fourteenth The layers are all network layers including a convolution layer, an IN method, and an activation function, and the fifteenth layer is a convolution layer.
  • a storage medium storing a computer program for implementing the image restoration method based on the enhanced neural network according to the first aspect of the present invention.
  • an image restoration system includes a storage medium storing a computer program for implementing the enhancement-based method according to the first aspect of the present invention. Neural network image restoration method.
  • an image restoration system includes a processor and a storage medium.
  • the storage medium stores a computer program, and the processor runs the computer program in the storage medium to implement the present invention.
  • the image restoration method based on the enhanced neural network according to the first aspect of the invention.
  • the image to be restored is first transformed into multiple low-resolution images under different scaling factors, and then input to the first deep neural network using the GN method, and finally output Fusion image to get the restored image.
  • This method can enhance the performance of the network by iterative, multi-input, and GN methods, such as improving the performance of network super-resolution, can also prevent the network from degrading during the training process and speed up the convergence speed.
  • the restored image is input to the second deep convolutional neural network using the IN method, and a restored image with optimized quality can be obtained.
  • the image restoration method based on the enhanced neural network of the present invention can fuse the image to be restored with the image output from the second deep convolutional neural network to obtain a restored image with further optimized quality.
  • FIG. 1 is a schematic flowchart of an embodiment of an image restoration method based on an enhanced neural network according to the present invention
  • FIG. 2 is a schematic flowchart of another embodiment of an image restoration method based on an enhanced neural network according to the present invention
  • FIG. 3 is a schematic flowchart of another embodiment of an image restoration method based on an enhanced neural network according to the present invention.
  • FIG. 4 is a schematic flowchart of a first deep convolutional neural network according to another embodiment of an image restoration method based on an enhanced neural network according to the present invention
  • FIG. 5 is a schematic flowchart of a second deep convolutional neural network according to another embodiment of the image restoration method based on the enhanced neural network of the present invention
  • FIG. 6 is a schematic diagram of image transformation to be restored according to another embodiment of an image restoration method based on an enhanced neural network according to the present invention.
  • a first embodiment of the present invention provides an image restoration method based on an enhanced neural network. As shown in FIG. 1, the method includes the following steps:
  • the first deep convolutional neural network is a convolutional neural network with more than three layers, and after one or more network layers of the first deep convolutional neural network have convolved their inputs, the convolution results are obtained using the GN method Normalized and input to the activation function,
  • the GN method in this embodiment includes the following steps in order:
  • ⁇ 1 is the training scale and ⁇ 1 is the transition during training.
  • the initial value of ⁇ 1 is 1 and the initial value of ⁇ 1 is 0.
  • the above embodiment When the depth of the deep network reaches a certain level, the network will lose some important features of the extracted high-resolution images, which will cause the performance of the network to decrease. Therefore, in the above embodiment, it is possible to use the This image is used as the input of the neural network to effectively solve the problem of feature loss. Further, in order to accelerate the convergence speed of the network during the training process, the above embodiment adds a GN normalization operation to the network layer.
  • the size of the filter of the convolution layer can be 3 ⁇ 3, which can effectively reduce the parameters of the network and avoid overfitting.
  • the size of the filter of the convolution layer of each embodiment may be 3 ⁇ 3.
  • the activation function may be a ReLu activation function.
  • the activation function of each embodiment may be a ReLu activation function.
  • an upsampling method may be adopted, for example, a bicubic interpolation method is used to transform the multiple high-resolution images in step S2 into images the same size as the image to be restored, For image fusion for image restoration.
  • the second embodiment of the present invention provides an image restoration method based on an enhanced neural network, which includes the basic steps of the above-mentioned first embodiment, and is based on the above-mentioned first embodiment.
  • the method may further include steps:
  • step S4 Input the restored image obtained in step S3 into a pre-trained second deep convolutional neural network to obtain a restored image with optimized quality.
  • the second deep convolutional neural network is a convolutional neural network with more than three layers, and after one or more network layers of the second deep convolutional neural network are convolved with their inputs, the convolution results are performed using the IN method. Normalized and input to the activation function,
  • the IN method in this embodiment may include the following steps in order:
  • M is the total number of features of this network layer
  • ⁇ 2 is the training scale and ⁇ 2 is the transition during training.
  • the initial value of ⁇ 2 is 1 and the initial value of ⁇ 2 is 0. .
  • a third embodiment of the present invention provides an image restoration method based on an enhanced neural network, which includes the basic steps of the above-mentioned second embodiment, and is based on the above-mentioned second embodiment, as shown in FIG. 3
  • the method further includes the steps:
  • the image to be restored is fused with the image obtained in step S4 to obtain a restored image with further optimized quality, so that the image restoration method of the present invention has better robustness.
  • the first deep convolutional neural network may be configured as a fourteen-layer network structure, where the first three layers all include a convolution layer and an activation function.
  • the network layer, the fourth to thirteen layers are all network layers including a convolution layer, a GN method and an activation function, and the fourteenth layer may be a single convolution layer.
  • a recursive method is preferably used to make the output of each network layer contribute to the entire network.
  • the second deep convolutional neural network may be set to a fifteen-layer network structure, where the first three layers all include a convolution layer and an activation function.
  • the network layer, the fourth to fourteenth layers are all network layers including a convolutional layer, an IN method, and an activation function, and the fifteenth layer may be a single convolutional layer.
  • the use of the IN method in the second deep convolutional neural network is also to normalize the data and speed up the convergence rate during the test.
  • the last single convolutional layer may also choose to use an upsampling method to keep the input image and output image size consistent.
  • a series of template images can be used to continuously train the network structure of the present invention until all network structure parameters within the error range are obtained, and then can be based on The trained network structure is used for image restoration.
  • a fourth embodiment of the present invention provides an image restoration method based on an enhanced neural network, as shown in FIG. 6.
  • the image to be restored shown in (a) of FIG. 6 is first transformed into three low-resolution images under different scaling factors, for example, scaling shown in (b) to (d) of FIG. 6, respectively.
  • the low-resolution images are input to the pre-trained first deep convolutional neural network to obtain corresponding high-resolution images, and they are transformed into the same size as the image to be restored, which are shown in Figure 6 (e ) To (g).
  • These images can be fused to obtain a preliminary restored image, as shown in (h) in FIG. 6.
  • (h) in FIG. 6 may be input to a second deep convolutional neural network to obtain an optimized image as shown in (i) in FIG. 6.
  • the original image to be restored may be fused with (i) in FIG. 6 to obtain an accurate restored image, as shown in (j) in FIG. 6.
  • a fifth embodiment of the present invention provides a storage medium that stores a computer program for implementing image restoration based on the enhanced neural network according to any one of the first to fourth embodiments of the present invention. method.
  • a sixth embodiment of the present invention provides an image restoration system.
  • the image restoration system includes a storage medium.
  • the storage medium stores a computer program, and the computer program is used to implement any one of the first to fourth aspects of the present invention.
  • the image restoration method based on the enhanced neural network according to the embodiment.
  • a seventh embodiment of the present invention provides an image restoration system.
  • the image restoration system includes a processor and a storage medium.
  • the storage medium stores a computer program, and the processor runs the computer program in the storage medium to implement The image restoration method based on the enhanced neural network according to any one of the first to fourth embodiments of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于增强的神经网络的图像复原方法、图像复原系统、以及相应的存储介质，所述方法包括以下步骤：S1、将待复原图像变换成不同缩放因子下的多个低分辨率图像；S2、将多个低分辨率图像分别输入至预先训练好的第一深度卷积神经网络，从而得到对应的不同缩放因子下的多个高分辨率图像；S3、将S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，并将这些图像进行融合以得到复原后的图像。所述方法可以防止网络在训练过程中退化并加快收敛速度。

Description

基于增强的神经网络的图像复原方法、存储介质及系统 技术领域
本发明涉及图像复原领域，尤其涉及一种基于增强的神经网络的图像复原方法、存储介质及系统。
背景技术
随着网络技术和通信技术的发展，图像处理应用在越来越广泛的领域，如：航空探索、天气预测、灾难救援以及视频娱乐等。但是拍摄设备在雾霾、雨天、雪天、暗光以及设备抖动等情况下拍照是受影响的。这类通过恢复得到原图像的问题，被称为图像复原问题。图像复原问题是经典的计算机视觉和模型识别问题。其中，图像超分辨和图像去噪是典型的和重要的图像复原问题，其目的是从低分辨率图像恢复得到高分辨率图像，这已经被应用于医学图像和人脸识别。近些年，稀疏方法、马尔科夫和非自适应性方法已经在图像复原上取得一些进步。然而，传统的方法在测试阶段需要优化，这严重地影响模型的效率，并且需要手动调参来找到最有效的特征。随着大数据和GPU(Graphic Processing Unit)的出现，基于深度学习的图像复原问题已经巨大的获得成功。现有的深度学习图像复原技术有VGG网络、更深网络VDSR(Very Deep Super Resolution)和DRCN(Deeply-Recursive Convolution Network)、深度递归残差网络(DRRN,Deep Recursive Residual Network)等，以及残差网络和GAN(Generative Adversarial Networks)网络相结合的网络、稀疏方法和CNN相结合的网络等，这些网络在图像超分辨问题上可以取得良好的性能。然而，虽然以上方法已经在图像复原问题上取得一定效果，但随着网络越深，网络退化现象越来越严重，同时网络训练过程中收敛速度慢。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种防止深度网络在训练过程中退化且能够加快训练过程中收敛速度的基于增强的神经网络的图像复原方法，以及相关的存储介质和系统。
为解决以上技术问题，本发明所采用的技术方案如下：
根据本发明的第一方面，提供一种基于增强的神经网络的图像复原方法，所述方法包括以下步骤：
S1、将待复原图像变换成不同缩放因子下的多个低分辨率图像；
S2、将多个低分辨率图像分别输入至预先训练好的第一深度卷积神经网络，从而得到对应的不同缩放因子下的多个高分辨率图像；
S3、将S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，并将这些图像进行融合以得到复原后的图像，
其中，第一深度卷积神经网络为三层以上的卷积神经网络，且第一深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用GN方法将卷积结果进行归一化再输入至激活函数，
其中GN方法依次包括如下步骤：
根据公式(1)和(2)来计算某一网络层中S j(j＝1，2，……，m)像素区域的平均值μ j与标准差δ j：
Figure PCTCN2018124654-appb-000001
Figure PCTCN2018124654-appb-000002
其中m为这一网络层的特征总数，j为向量且可表示为j＝[j N,j C,j H,j W]，j N为第j个特征所属的分块，j C为第j个特征所在的通道，j H为第j个特征的高，j W为第j个特征的宽，其中S j为计算平均值μ j和标准差δ j的像素的集合且
Figure PCTCN2018124654-appb-000003
G为预定义的组数，C/G为每组的通道数，其中n为集合S j中的像素个数，x l为S j像素区域中第l个特征，c 1为常数；
根据公式(3)将这一网络层的第j个特征x j归一化：
x j′＝1/δ j(x j-μ j)   (3)
对归一化后的特征进行公式(4)所示的线性转化：
y j＝γ 1x j′+β 1   (4)
其中γ 1为训练的规模，β 1为训练中的转移。
作为本发明上述第一方面的进一步改进，所述方法还包括步骤：
S4、将步骤S3获得的复原图像输入至预先训练好的第二深度卷积神经网络，从而得到质量优化的复原后的图像，
其中第二深度卷积神经网络为三层以上的卷积神经网络，且第二深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用IN方法将卷积结果进行归一化再输入至激活函数，
其中IN方法依次包括如下步骤：
根据公式(5)和(6)来计算某一网络层中S i(i＝1，2，……，M)像素区域的平均值μ i与标准差δ i：
Figure PCTCN2018124654-appb-000004
Figure PCTCN2018124654-appb-000005
其中M为这一网络层的特征总数，i为向量且可表示为i＝[i N,i C,i H,i W]，i N为第i个特征所属的分块，i C为第i个特征所在的通道，i H为第i个特征的高，i W为第i个特征的宽，其中S i为计算平均值μ i和标准差δ i的像素的集合且S i＝{p|p N＝i N,p C＝i C}，其中k为集合S i中的像素个数，x p为S i像素区域中第p个特征，c 2为常数；
根据公式(7)将这一网络层的第i个特征x i归一化：
x i′＝1/δ i(x i-μ i)   (7)
对归一化后的特征进行公式(8)所示的线性转化：
y i＝γ 2x i′+β 2   (8)
其中γ 2为训练的规模，β 2为训练中的转移。
作为本发明上述第一方面的进一步改进，所述方法还包括步骤：
S5、将待复原图像与步骤S4获得的图像进行融合，以得到质量进一步优化的复原后的图 像。
作为本发明上述第一方面的优选实施方式，其中待复原图像被变换成不同缩放因子下的三个低分辨率图像。
作为本发明上述第一方面的优选实施方式，所述第一深度卷积神经网络为十四层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十三层均为包括卷积层、GN方法和激活函数的网络层，第十四层为卷积层。
作为本发明上述第一方面的优选实施方式，所述第二深度卷积神经网络为十五层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十四层均为包括卷积层、IN方法和激活函数的网络层，第十五层为卷积层。
根据本发明的第二方面，提供一种存储介质，其存储有计算机程序，所述计算机程序用于实现本发明第一方面所述的基于增强的神经网络的图像复原方法。
根据本发明的第三方面，提供一种图像复原系统，所述图像复原系统包括存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现本发明第一方面所述的基于增强的神经网络的图像复原方法。
根据本发明的第四方面，提供一种图像复原系统，所述图像复原系统包括处理器和存储介质，所述存储介质存储有计算机程序，所述处理器运行存储介质中的计算机程序以实现本发明第一方面所述的基于增强的神经网络的图像复原方法。
本发明的有益效果是：
本发明的基于增强的神经网络的图像复原方法中先将待复原图像变换成不同缩放因子下的多个低分辨率图像，再输入至采用了GN方法的第一深度神经网络中，最后将输出的图像进行融合得到复原后的图像。这种方法通过迭代、多输入并结合GN方法可以增强网络的性能，如提高网络超分辨的性能，还可以防止网络在训练过程中退化并加快收敛速度。
本发明的基于增强的神经网络的图像复原方法，将复原图像输入至采用了IN方法的第二深度卷积神经网络，可以得到质量优化的复原后的图像。
本发明的基于增强的神经网络的图像复原方法，可以将待复原图像与第二深度卷积神经网络输出的图像进行融合，以得到质量进一步优化的复原后的图像。
附图说明
图1是本发明基于增强的神经网络的图像复原方法的一个实施例的流程示意图；
图2是本发明基于增强的神经网络的图像复原方法的另一个实施例的流程示意图；
图3是本发明基于增强的神经网络的图像复原方法的另一个实施例的流程示意图；
图4是本发明基于增强的神经网络的图像复原方法的另一个实施例的第一深度卷积神经网络的流程示意图；
图5是本发明基于增强的神经网络的图像复原方法的另一个实施例的第二深度卷积神经网络的流程示意图；
图6为本发明基于增强的神经网络的图像复原方法的另一个实施例的待复原图像变换的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的第一实施例，提供了一种基于增强的神经网络的图像复原方法，如图1所示，所述方法包括以下步骤：
S1、将待复原图像变换成不同缩放因子下的多个低分辨率图像，例如，将待复原图像分别缩小为原图像的1/2、1/3、1/4等等；
S2、将多个低分辨率图像分别输入至预先训练好的第一深度卷积神经网络，从而得到对应的不同缩放因子下的多个高分辨率图像；
S3、将S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，并将这些图像进行融合以得到复原后的图像。
其中，第一深度卷积神经网络为三层以上的卷积神经网络，且第一深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用GN方法将卷积结果进行归一化再输入至激活函数，
由于在图像深度学习中，图像特征可以用四维向量(N，C，H，W)来表示，其中N代表分块(batch)、C代表通道(Channel)，H代表特征的高(Height)以及W代表特征的宽(Weight)，因此本实施例中的GN方法依次包括如下步骤：
根据公式(1)和(2)来计算某一网络层中S j(j＝1，2，……，m)像素区域的平均值μ j与标准差δ j：
Figure PCTCN2018124654-appb-000006
Figure PCTCN2018124654-appb-000007
其中m为这一网络层的特征总数，j为向量且可表示为j＝[j N,j C,j H,j W]，j N为第j个特征所属的分块，j C为第j个特征所在的通道，j H为第j个特征的高，j W为第j个特征的宽，其中S j为计算平均值μ j和标准差δ j的像素的集合且
Figure PCTCN2018124654-appb-000008
(表示l和j位于通道的相同组中)，G为预定义的组数，一般选择为32，C/G为每组的通道数，其中n为集合S j中的像素个数，x l为S j像素区域中第l个特征，c 1为常数，优选地，c 1的数值可为0.0001；
根据公式(3)将这一网络层的第j个特征x j归一化：
x j′＝1/δ j(x j-μ j)   (3)
对归一化后的特征进行公式(4)所示的线性转化：
y j＝γ 1x j′+β 1   (4)
其中γ 1为训练的规模，β 1为训练中的转移，优选地，γ 1的初始值为1，β 1的初始值为0。
当深度网络的深度达到一定程度时，网络会丢失提取到的高分辨率图像的一些重要特征，从而导致网络性能下降，因此在上述实施例中，可以使用待复原图像在不同缩放因子下的多个图像作为神经网络的输入，从而有效解决特征丢失问题。进一步，为了加快网络在训练过程中的收敛速度，上述实施例在网络层中添加了GN归一化操作。
作为本发明上述第一实施例的优选实施方式，其中卷积层的过滤器的大小可以为3×3，这能有效减少网络的参数，避免过拟合。在以下无特别说明的情况下，各实施例的卷积层的过滤器的大小都可以为3×3。
作为本发明上述第一实施例的优选实施方式，其中激活函数可以选用ReLu激活函数。在以下无特别说明的情况下，各实施例的激活函数都可选用ReLu激活函数。
作为本发明上述第一实施例的优选实施方式，可以采用上采样的方法，例如使用双三次插值方法来将步骤S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，以用于图像融合从而进行图像复原。
本发明的第二实施例，如图2所示，提供了一种基于增强的神经网络的图像复原方法，其包括上述第一实施例的基本步骤，并在上述第一实施例的基础之上，所述方法还可以包括步骤：
S4、将步骤S3获得的复原图像输入至预先训练好的第二深度卷积神经网络，从而得到质量优化的复原后的图像，
其中第二深度卷积神经网络为三层以上的卷积神经网络，且第二深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用IN方法将卷积结果进行归一化再输入至激活函数，
请参照第一实施例，本实施例的IN方法可以依次包括如下步骤：
根据公式(5)和(6)来计算某一网络层中S i(i＝1，2，……，M)像素区域的平均值μ i与标准差δ i：
Figure PCTCN2018124654-appb-000009
Figure PCTCN2018124654-appb-000010
其中M为这一网络层的特征总数，i为向量且可表示为i＝[i N,i C,i H,i W]，i N为第i个特征所属的分块，i C为第i个特征所在的通道，i H为第i个特征的高，i W为第i个特征的宽，其中S i为计算平均值μ i和标准差δ i的像素的集合且S i＝{p|p N＝i N,p C＝i C}，其中k为集合S i中的像素个数，x p为S i像素区域中第p个特征，c 2为常数，优选地，c 2的数值可以为0.0001；
根据公式(7)将这一网络层的第i个特征x i归一化：
x i′＝1/δ i(x i-μ i)   (7)
对归一化后的特征进行公式(8)所示的线性转化：
y i＝γ 2x i′+β 2   (8)
其中γ 2为训练的规模，β 2为训练中的转移，优选地，γ 2的初始值为1，β 2的初始值为0。。
本发明的第三实施例，提供了一种基于增强的神经网络的图像复原方法，其包括上述第 二实施例的基本步骤，并在上述第二实施例的基础之上，如图3所示，所述方法还包括步骤：
S5、将待复原图像与步骤S4获得的图像进行融合，以得到质量进一步优化的复原后的图像，从而使得本发明的图像复原方法具有更好的鲁棒性。
作为本发明上述任一实施例的优选实施方式，如图4所示，所述第一深度卷积神经网络可以设置为十四层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十三层均为包括卷积层、GN方法和激活函数的网络层，第十四层可以为单一的卷积层。
作为上述实施例的优选实施方式，为了提高网络性能，本实施例优选得采用递归的方法来使每个网络层的输出都贡献至整个网络中。
作为本发明上述第三实施例的优选实施方式，如图5所示，所述第二深度卷积神经网络可以设置为十五层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十四层均为包括卷积层、IN方法和激活函数的网络层，第十五层可以为单一的卷积层。其中，第二深度卷积神经网络中IN方法的采用也是为了使数据归一化并加快测试过程中的收敛速度。优选地，为了使输入和输出保持一样大小，最后单一的卷积层，也可以选择用上采样方法使输入图像与输出图像大小保持一致。
作为本发明上述任一实施例的优选实施方式，在进行图像复原之前，可以采用一系列模板图像对本发明的网络结构进行不断训练，直到得到误差范围内的所有网络结构参数为止，然后就可以根据训练好的网络结构进行图像复原。
为了更清楚地说明本发明的实现过程，本发明的第四实施例，提供了一种基于增强的神经网络的图像复原方法，如图6所示。本实施例首先将图6的中(a)所示的待复原图像变换成不同缩放因子下的三个低分辨率图像，例如分别如图6的中(b)～(d)所示的缩放因子为1/2的低分辨图像、缩放因子为1/3的低分辨图像以及缩放因子为1/4的低分辨图像。然后，将低分辨图像分别输入至预先训练好的第一深度卷积神经网络得到对应的高分辨率图像，并将其分别变换为与待复原图像大小一样，其分别如图6的中(e)～(g)所示。将这些图像进行融合可以得到初步复原后的图像，如图6中的(h)所示。为了得到质量更优的复原后的图像，可以将图6中的(h)输入至第二深度卷积神经网络，以得到如图6中的(i)所示的优化图像。为了得到质量进一步更优的复原后的图像，可以将最初的待复原图像与图6中的(i)进行融合，以得到精确的复原后的图像，如图6中的(j)所示。
本发明的第五实施例，提供了一种存储介质，其存储有计算机程序，所述计算机程序用于实现本发明第一至第四任一实施例所述的基于增强的神经网络的图像复原方法。
本发明的第六实施例，提供了一种图像复原系统，所述图像复原系统包括存储介质，所 述存储介质存储有计算机程序，所述计算机程序用于实现本发明第一至第四任一实施例所述的基于增强的神经网络的图像复原方法。
本发明的第七实施例，提供了一种图像复原系统，所述图像复原系统包括处理器和存储介质，所述存储介质存储有计算机程序，所述处理器运行存储介质中的计算机程序以实现本发明第一至第四任一实施例所述的基于增强的神经网络的图像复原方法。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

  1. 基于增强的神经网络的图像复原方法，其特征在于，所述方法包括以下步骤：
    S1、将待复原图像变换成不同缩放因子下的多个低分辨率图像；
    S2、将多个低分辨率图像分别输入至预先训练好的第一深度卷积神经网络，从而得到对应的不同缩放因子下的多个高分辨率图像；
    S3、将S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，并将这些图像进行融合以得到复原后的图像，
    其中，第一深度卷积神经网络为三层以上的卷积神经网络，且第一深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用GN方法将卷积结果进行归一化再输入至激活函数，
    其中GN方法依次包括如下步骤：
    根据公式(1)和(2)来计算某一网络层中S j(j＝1，2，……，m)像素区域的平均值μ j与标准差δ j：
    Figure PCTCN2018124654-appb-100001
    Figure PCTCN2018124654-appb-100002
    其中m为这一网络层的特征总数，j为向量且可表示为j＝[j N,j C,j H,j W]，j N为第j个特征所属的分块，j C为第j个特征所在的通道，j H为第j个特征的高，j W为第j个特征的宽，其中S j为计算平均值μ j和标准差δ j的像素的集合且
    Figure PCTCN2018124654-appb-100003
    G为预定义的组数，C/G为每组的通道数，其中n为集合S j中的像素个数，x l为S j像素区域中第l个特征，c 1为常数；
    根据公式(3)将这一网络层的第j个特征x j归一化：
    x j′＝1/δ j(x j-μ j)  (3)
    对归一化后的特征进行公式(4)所示的线性转化：
    y j＝γ 1x j′+β 1  (4)
    其中γ 1为训练的规模，β 1为训练中的转移。
  2. 根据权利要求1所述的基于增强的神经网络的图像复原方法，其特征在于，所述方法还包括步骤：
    S4、将步骤S3获得的复原图像输入至预先训练好的第二深度卷积神经网络，从而得到质量优化的复原后的图像，
    其中第二深度卷积神经网络为三层以上的卷积神经网络，且第二深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用IN方法将卷积结果进行归一化再输入至激活函数，
    其中IN方法依次包括如下步骤：
    根据公式(5)和(6)来计算某一网络层中S i(i＝1，2，……，M)像素区域的平均值μ i与标准差δ i：
    Figure PCTCN2018124654-appb-100004
    Figure PCTCN2018124654-appb-100005
    其中M为这一网络层的特征总数，i为向量且可表示为i＝[i N,i C,i H,i W]，i N为第i个特征所属的分块，i C为第i个特征所在的通道，i H为第i个特征的高，i W为第i个特征的宽，其中S i为计算平均值μ i和标准差δ i的像素的集合且S i＝{p|p N＝i N,p C＝i C}，其中k为集合S i中的像素个数，x p为S i像素区域中第p个特征，c 2为常数；
    根据公式(7)将这一网络层的第i个特征x i归一化：
    x i′＝1/δ i(x i-μ i)  (7)
    对归一化后的特征进行公式(8)所示的线性转化：
    y i＝γ 2x i′+β 2  (8)
    其中γ 2为训练的规模，β 2为训练中的转移。
  3. 根据权利要求2所述的基于增强的神经网络的图像复原方法，其特征在于，所述方法还包括步骤：
    S5、将待复原图像与步骤S4获得的图像进行融合，以得到质量进一步优化的复原后的图像。
  4. 根据权利要求3所述的基于增强的神经网络的图像复原方法，其特征在于，其中待复原图像被变换成不同缩放因子下的三个低分辨率图像。
  5. 根据权利要求1-4任一项所述的基于增强的神经网络的图像复原方法，其特征在于，所述第一深度卷积神经网络为十四层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十三层均为包括卷积层、GN方法和激活函数的网络层，第十四层为卷积层。
  6. 根据权利要求2-4任一项所述的基于增强的神经网络的图像复原方法，其特征在于，所述第二深度卷积神经网络为十五层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十四层均为包括卷积层、IN方法和激活函数的网络层，第十五层为卷积层。
  7. 一种存储介质，其特征在于，其存储有计算机程序，所述计算机程序用于实现权利要求1-6任一项所述的基于增强的神经网络的图像复原方法。
  8. 一种图像复原系统，其特征在于，所述图像复原系统包括存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现权利要求1-6任一项所述的基于增强的神经网络的图像复原方法。
  9. 一种图像复原系统，其特征在于，所述图像复原系统包括处理器和存储介质，所述存储介质存储有计算机程序，所述处理器运行存储介质中的计算机程序以实现权利要求1-6任一项所述的基于增强的神经网络的图像复原方法。
PCT/CN2018/124654 2018-07-20 2018-12-28 基于增强的神经网络的图像复原方法、存储介质及系统 WO2020015330A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810803674.3A CN109087273B (zh) 2018-07-20 2018-07-20 基于增强的神经网络的图像复原方法、存储介质及系统
CN201810803674.3 2018-07-20

Publications (1)

Publication Number Publication Date
WO2020015330A1 true WO2020015330A1 (zh) 2020-01-23

Family

ID=64838367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/124654 WO2020015330A1 (zh) 2018-07-20 2018-12-28 基于增强的神经网络的图像复原方法、存储介质及系统

Country Status (2)

Country Link
CN (1) CN109087273B (zh)
WO (1) WO2020015330A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429378A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
CN111462002A (zh) * 2020-03-19 2020-07-28 重庆理工大学 一种基于卷积神经网络的水下图像增强与复原方法
CN111968034A (zh) * 2020-07-30 2020-11-20 北京大米科技有限公司 图像复原方法、装置、电子设备和计算机可读存储介质
CN112634391A (zh) * 2020-12-29 2021-04-09 华中科技大学 一种基于压缩感知的灰度图像深度重建及故障诊断系统
CN112801266A (zh) * 2020-12-24 2021-05-14 武汉旷视金智科技有限公司 神经网络构建方法、装置、设备及介质
CN113705718A (zh) * 2021-09-06 2021-11-26 齐齐哈尔大学 基于多层次特征密集融合的遥感场景图像分类方法
CN115346080A (zh) * 2022-07-22 2022-11-15 合肥本源量子计算科技有限责任公司 基于量子计算的图像处理方法及相关设备
CN115937018A (zh) * 2022-11-03 2023-04-07 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087273B (zh) * 2018-07-20 2021-09-14 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统
CN109886891B (zh) * 2019-02-15 2022-01-11 北京市商汤科技开发有限公司 一种图像复原方法及装置、电子设备、存储介质
CN110060215B (zh) * 2019-04-16 2021-09-10 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110189247B (zh) * 2019-05-16 2021-01-19 北京航空航天大学 图像生成的方法、装置及系统
CN111429458B (zh) * 2020-03-20 2021-06-08 北京创世云科技股份有限公司 一种图像还原的方法、装置及电子设备
CN114186686A (zh) * 2022-02-17 2022-03-15 江苏游隼微电子有限公司 一种图像去噪神经网络训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629373A (zh) * 2012-02-27 2012-08-08 天津大学 基于稀疏表示理论的超分辨率图像获取方法
US20130135445A1 (en) * 2010-12-27 2013-05-30 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN106600533A (zh) * 2016-12-08 2017-04-26 浙江工业大学 单图像超分辨率重建方法
CN107507134A (zh) * 2017-09-21 2017-12-22 大连理工大学 基于卷积神经网络的超分辨率方法
CN109087273A (zh) * 2018-07-20 2018-12-25 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
CN102360498B (zh) * 2011-10-27 2013-09-18 江苏省邮电规划设计院有限责任公司 图像超分辨率重建方法
CN107610194B (zh) * 2017-08-14 2020-08-04 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135445A1 (en) * 2010-12-27 2013-05-30 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN102629373A (zh) * 2012-02-27 2012-08-08 天津大学 基于稀疏表示理论的超分辨率图像获取方法
CN106600533A (zh) * 2016-12-08 2017-04-26 浙江工业大学 单图像超分辨率重建方法
CN107507134A (zh) * 2017-09-21 2017-12-22 大连理工大学 基于卷积神经网络的超分辨率方法
CN109087273A (zh) * 2018-07-20 2018-12-25 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WU ET AL., GROUP NORMALIZATION, 11 June 2018 (2018-06-11), XP081225688, Retrieved from the Internet <URL:https://arxiv.org/abs/1803.08494v3> *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462002B (zh) * 2020-03-19 2022-07-12 重庆理工大学 一种基于卷积神经网络的水下图像增强与复原方法
CN111462002A (zh) * 2020-03-19 2020-07-28 重庆理工大学 一种基于卷积神经网络的水下图像增强与复原方法
CN111429378A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
CN111968034A (zh) * 2020-07-30 2020-11-20 北京大米科技有限公司 图像复原方法、装置、电子设备和计算机可读存储介质
CN112801266B (zh) * 2020-12-24 2023-10-31 武汉旷视金智科技有限公司 神经网络构建方法、装置、设备及介质
CN112801266A (zh) * 2020-12-24 2021-05-14 武汉旷视金智科技有限公司 神经网络构建方法、装置、设备及介质
CN112634391A (zh) * 2020-12-29 2021-04-09 华中科技大学 一种基于压缩感知的灰度图像深度重建及故障诊断系统
CN112634391B (zh) * 2020-12-29 2023-12-29 华中科技大学 一种基于压缩感知的灰度图像深度重建及故障诊断系统
CN113705718A (zh) * 2021-09-06 2021-11-26 齐齐哈尔大学 基于多层次特征密集融合的遥感场景图像分类方法
CN113705718B (zh) * 2021-09-06 2024-04-02 齐齐哈尔大学 基于多层次特征密集融合的遥感场景图像分类方法
CN115346080A (zh) * 2022-07-22 2022-11-15 合肥本源量子计算科技有限责任公司 基于量子计算的图像处理方法及相关设备
CN115937018A (zh) * 2022-11-03 2023-04-07 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法
CN115937018B (zh) * 2022-11-03 2023-11-03 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法

Also Published As

Publication number Publication date
CN109087273B (zh) 2021-09-14
CN109087273A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
WO2020015330A1 (zh) 基于增强的神经网络的图像复原方法、存储介质及系统
Wang et al. Esrgan: Enhanced super-resolution generative adversarial networks
CN110782399B (zh) 一种基于多任务cnn的图像去模糊方法
WO2021208122A1 (zh) 基于深度学习的视频盲去噪方法及装置
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
CN108510485B (zh) 一种基于卷积神经网络的无参照图像质量评估方法
CN108932693B (zh) 基于人脸几何信息的人脸编辑补全方法及装置
WO2018214671A1 (zh) 一种失真图像的去失真方法、装置及电子设备
CN108734661B (zh) 基于图像纹理信息构建损失函数的高分辨率图像预测方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
RU2706891C1 (ru) Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями
CN111915484A (zh) 基于密集匹配与自适应融合的参考图引导超分辨率方法
WO2019001095A1 (zh) 一种视频编码方法、解码方法、装置及电子设备
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN111080591A (zh) 基于编码解码结构结合残差模块的医学图像分割方法
Ting et al. Image inpainting by global structure and texture propagation
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN107784296A (zh) 一种低分辨率图像的人脸识别方法
Wang et al. JPEG artifacts removal via compression quality ranker-guided networks
Shen et al. Deeper super-resolution generative adversarial network with gradient penalty for sonar image enhancement
CN103312941A (zh) 基于凸优化理论的视频联合去噪及超分辨率方法和系统
Pan et al. ChebyLighter: Optimal Curve Estimation for Low-light Image Enhancement
Zhang et al. Single image dehazing via reinforcement learning
Qin et al. Remote sensing image super-resolution using multi-scale convolutional neural network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18926966

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18926966

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18926966

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13/08/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18926966

Country of ref document: EP

Kind code of ref document: A1