WO2020056791A1 - 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 - Google Patents

一种多尺度空洞卷积神经网络超分辨率重构方法及装置 Download PDF

Info

Publication number
WO2020056791A1
WO2020056791A1 PCT/CN2018/107916 CN2018107916W WO2020056791A1 WO 2020056791 A1 WO2020056791 A1 WO 2020056791A1 CN 2018107916 W CN2018107916 W CN 2018107916W WO 2020056791 A1 WO2020056791 A1 WO 2020056791A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
super
network
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/107916
Other languages
English (en)
French (fr)
Inventor
徐颖
应自炉
商丽娟
翟懿奎
王天雷
甘俊英
曾军英
秦传波
曹鹤
邓文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University Fujian
Original Assignee
Wuyi University Fujian
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University Fujian filed Critical Wuyi University Fujian
Publication of WO2020056791A1 publication Critical patent/WO2020056791A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • a super-resolution reconstruction method of a multi-scale hole convolutional neural network includes:
  • performing super-resolution reconstruction on the pre-processed image by using the hole convolution super-resolution network includes:
  • the mapped high-resolution image blocks are aggregated and reconstructed to generate a high-resolution image.
  • control module when the control module performs an operation to construct a hole-convolution super-resolution network, it includes the following operations: replacing the pooling layer in the convolutional neural network and the convolution layer behind the pooling layer with a hole-convolution layer.
  • the beneficial effects of the present invention are: a method and device for super-resolution reconstruction of a multi-scale hole convolutional neural network, which can effectively solve the problem of small receptive field existing in the prior art by constructing a hole convolution super-resolution network, Increasing the receptive field of the network, and at the same time, in order to make the convolutional super-resolution network of holes suitable for super-resolution reconstruction at different scales, the original image is enhanced at different scales, so that the convolutional super-resolution network of holes can be used for different sizes. Multiple images are processed so that the hole convolutional super-resolution network can generalize multi-scale image super-resolution.
  • FIG. 1 is a flowchart of a super-resolution reconstruction method of the present invention
  • FIG. 4 is a further detailed flowchart of the super-resolution reconstruction step in FIG. 1.
  • an embodiment of the present invention proposes a multi-resolution hole convolutional neural network super-resolution reconstruction method, which includes but is not limited to the following steps:
  • Step S100 performing multi-scale data enhancement on the original image to obtain an enhanced image
  • Step S300 Construct a hole convolution super-resolution network, and use the hole convolution super-resolution network to perform super-resolution reconstruction on the preprocessed image.
  • the problem of the small receptive field existing in the prior art can be effectively solved, and the network receptive field can be increased.
  • the hole convolution super-resolution network in order to make the hole convolution super-resolution network applicable For different scale super-resolution reconstruction, the original image is enhanced with different scale data, so that the hole convolution super-resolution network can process images of different multiples, so that the hole convolution super-resolution network can be generalized. Scale image super-resolution.
  • Step S110 using the original image as an initial training set
  • the 91 images in the Timofte dataset in the prior art are used as the original images, and the 91 original images are used as the initial training set.
  • the initial training set is processed separately in two ways: scaling and rotation. .
  • first down-sampling the 91 original images in the initial training set scaling to 0.6, 0.7, 0.8, and 0.9 times the original size, and combining the 91 original images to form an intermediate training set.
  • the intermediate The number of images in the training set is five times the number of images in the initial training set; then each image in the intermediate training set is rotated by 90 °, 180 °, and 270 °, and the training set is formed by combining the images in the original intermediate training set.
  • the image in the processing training set is the enhanced image. At this time, the number of enhanced images is expanded to 20 times the number of images in the initial training set.
  • step S230 the initial high-resolution image and the original image are respectively cut into high-resolution image blocks of size N * N and original image blocks according to the step size M, where M and N are both constant.
  • step S300 of this embodiment super-resolution reconstruction of the preprocessed image by using a hole convolution super-resolution network includes, but is not limited to, the following steps:
  • Step S310 Extract image features of the original image block and the corresponding high-resolution image block.
  • the extraction and representation of image blocks is a process of convolution.
  • the convolution operation in the hole convolution super-resolution network is the same as the convolution operation of the traditional convolutional neural network, but the convolution kernel is different from the original.
  • the present invention uses a hole convolution kernel to perform the convolution operation, which also achieves the purpose of extracting network features.
  • the operation of this step is mainly implemented in the first layer of the network.
  • a 9 * 9 convolution kernel with a hole factor of 2 is used to extract the image features of the original image block and the corresponding high-resolution image block, and set the network output.
  • the feature map is 64, that is, the output channel is 64.
  • W 1 and B 1 represent the weight and bias variables of the hole convolution kernel, and * l represents the hole convolution.
  • W 1 corresponds to n 1 filters of size c ⁇ f 1 ⁇ f 1
  • c is the dimension of the input image
  • f 1 is the size of the filter.
  • B 1 is an n 1 -dimensional vector, and each element corresponds to a convolution kernel. Therefore, according to the principle of convolution, the first layer output of the hole convolution super-resolution network has a total of n 1 feature maps.
  • the hole convolution operation is as follows:
  • step S320 the image features of the original image block and the image features of the high-resolution image block are used to establish a single-layer neural network using the mapping characteristics of the convolution kernel and learn a non-linear mapping relationship between the two image features.
  • W 2 contains n 2 convolution kernels of size n 1 ⁇ f 2 ⁇ f 2
  • B 2 is a vector of size n 2 .
  • Each output of the second layer of the network will be used to reconstruct high-resolution image blocks of the image.
  • the 32-channel feature map is reconstructed into a high-resolution image block through a 5 * 5 convolution kernel to achieve image super-resolution reconstruction.
  • step S330 the mapped high-resolution image blocks are aggregated and reconstructed to generate a high-resolution image.
  • the operation of this step is mainly implemented in the third layer of the network.
  • the high-resolution image set of the second layer of the network is used to generate a high-resolution image, and the generated image is similar to the real original image.
  • the reconstruction operation produces a final complete high-resolution image by averaging the predicted high-resolution blocks.
  • the process of averaging can also be regarded as a pre-trained filter to convolve on a feature atlas.
  • the operation of this step in the third layer of the network is inspired by the convolution operation to obtain the final high-resolution image.
  • the third layer of the network is expressed as:
  • W 3 corresponds to c convolution kernels of size n 2 ⁇ f 3 ⁇ f 3
  • B 3 is a c-dimensional vector. If the high-resolution block is in the image domain, then consider the filter as an average filter; if the high-resolution block is in another domain, then the convolution kernel W 3 first projects each coefficient onto the image domain and then averages it .
  • n is the number of training samples.
  • the loss function uses the stochastic gradient descent (SGD) method to update the weights.
  • SGD stochastic gradient descent
  • l ⁇ ⁇ 1,2,3 ⁇ , i is the number of layers and the number of iterations, and ⁇ is the learning rate.
  • hole convolution provides a larger receptive field.
  • the network layer needs a large receptive field, but the computing resources are limited and the number or size of convolution kernels cannot be increased, hole convolution can be used.
  • Hole convolution can integrate multi-scale content information without loss of resolution and supports exponential growth of receptive fields.
  • the content information of different scales is integrated, so that any resolution can be added to the existing network structure, which is conducive to network reuse.
  • pooling layers are used to achieve dimensionality reduction, but this method will have certain side effects in image super-resolution.
  • the pixel size on the feature layer after pooling is relatively low, even through upsampling.
  • the feature map also loses a certain degree of accuracy. Therefore, the present invention uses a hole convolution method instead of a pooling layer to increase the receptive field of the network.
  • an embodiment of the present invention also provides a device for storing a super-resolution reconstruction method of the multi-scale hole convolutional neural network.
  • the device includes a control module and a storage medium for storing control instructions.
  • the control module reads the control instructions in the storage medium and performs the following operations:
  • control module performs operations to perform multi-scale data enhancement on the original image, and when an enhanced image is obtained, the following operations are included:
  • Each image in the intermediate training set is rotated at different angles, and a processing training set is formed by combining each image in the intermediate training set, and the image in the processing training set is the enhanced image.
  • control module performs operations to perform data pre-processing on the enhanced image, and when the pre-processed image is obtained, it includes the following operations:
  • the initial high-resolution image and the original image are respectively cut into high-resolution image blocks of size N * N and original image blocks according to the step size M, where M and N are both constant.
  • control module executes an operation to construct a hollow convolutional super-resolution network, it includes the following operations: replacing the pooling layer in the convolutional neural network and the convolution layer behind the pooling layer with a hole convolution layer.
  • control module when the control module performs operations to perform super-resolution reconstruction on the preprocessed image by using the hole convolution super-resolution network, the control module includes the following operations:
  • the mapped high-resolution image blocks are aggregated and reconstructed to generate a high-resolution image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多尺度空洞卷积神经网络超分辨率重构方法及装置，通过构建空洞卷积超分辨率网络，能够有效解决现有技术中存在的感受野小的问题，增大网络感受野，同时，为了使空洞卷积超分辨率网络能够适用于不同尺度超分辨率重构，对原始图像进行了不同尺度数据增强，使得空洞卷积超分辨率网络能够对不同大小倍数的图像进行处理，从而使空洞卷积超分辨率网络可以泛化多尺度图像超分辨率。

Description

一种多尺度空洞卷积神经网络超分辨率重构方法及装置 技术领域
本发明涉及图像处理技术领域，特别是一种多尺度空洞卷积神经网络超分辨率重构方法及装置。
背景技术
目前，深度卷积神经网络在计算机视觉问题中被广泛使用，并在图像分类、目标检测等问题中表现出了优异的性能。单图像超分辨率是一个典型的计算机视觉问题，针对低分辨率图像的重构问题，Dong等提出了利用卷积神经网络对图像进行超分辨率重构的算法，其思想是利用网络模型强大的学习能力学习低分辨率到高分辨率端到端的映射关系，从而重构超分辨率图像，该方法实现了端到端的学习架构，省去了特征提取预处理过程和后续高分辨率图像块聚合过程，虽然超分辨率效果不错，但速度却很慢。后来，Dong等在SRCNN方法基础上进行改进，以低分辨率图像作为网络输入，减小特征图维度和卷积核尺寸，提出了一种快速超分辨率方法，减少了网络训练参数。Shi等提出了一种利用亚像素卷积层的超分辨率方法，对最后得到的特征图重新排列，得到高分辨率图像，大幅提高运算速度。但是，以上3种深度学习方法，均属于浅层卷积神经网络结构，均存在感受野较小、提取的特征非常局部的问题，使得超分辨率效果存在一定的局限性。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种多尺度空洞卷积神经网络超分辨率重构方法及装置，能够增大网络感受野，提取到更加全局性的特征， 同时适合多尺度图像超分辨率重构。
本发明解决其问题所采用的技术方案是：
一种多尺度空洞卷积神经网络超分辨率重构方法，包括：
对原始图像进行多尺度数据增强，得到增强图像；
对增强图像进行数据预处理，得到预处理图像；
构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。
进一步，对原始图像进行多尺度数据增强，得到增强图像，包括：
把原始图像作为初始训练集；
对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；
对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。
进一步，对增强图像进行数据预处理，得到预处理图像，包括：
提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；
将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；
将所述初始高分辨率图像和原始图像分别按照步长M裁剪成大小为N*N的高分辨率图像块和原始图像块，其中，M和N均为常数。
进一步，构建空洞卷积超分辨率网络，包括：
把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层。
进一步，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构，包括：
提取所述原始图像块和对应的高分辨率图像块的图像特征；
将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系；
将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。
一种储存多尺度空洞卷积神经网络超分辨率重构方法的装置，包括控制模块和用于储存控制指令的储存介质，所述控制模块读取所述储存介质中的控制指令并执行以下操作：
对原始图像进行多尺度数据增强，得到增强图像；
对增强图像进行数据预处理，得到预处理图像；
构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。
进一步，控制模块执行操作对原始图像进行多尺度数据增强，得到增强图像时，包括以下操作：
把原始图像作为初始训练集；
对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；
对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。
进一步，控制模块执行操作对增强图像进行数据预处理，得到预处理图像时，包括以下操作：
提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；
将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；
将所述初始高分辨率图像和原始图像分别按照步长M裁剪成大小为N*N的高分辨率图像块和原始图像块，其中，M和N均为常数。
进一步，控制模块执行操作构建空洞卷积超分辨率网络时，包括以下操作：把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层。
进一步，控制模块执行操作利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构时，包括以下操作：
提取所述原始图像块和对应的高分辨率图像块的图像特征；
将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系；
将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。
本发明的有益效果是：一种多尺度空洞卷积神经网络超分辨率重构方法及装置，通过构建空洞卷积超分辨率网络，能够有效解决现有技术中存在的感受野小的问题，增大网络感受野，同时，为了使空洞卷积超分辨率网络能够适用于不同尺度超分辨率重构，对原始图像进行了不同尺度数据增强，使得空洞卷积超分辨率网络能够对不同大小倍数的图像进行处理，从而使空洞卷积超分辨率网络可以泛化多尺度图像超分辨率。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明的超分辨率重构方法的流程图；
图2是图1中进行多尺度数据增强步骤的进一步详细流程图；
图3是图1中进行数据预处理步骤的进一步详细流程图；
图4是图1中进行超分辨率重构步骤的进一步详细流程图。
具体实施方式
参照图1，本发明实施例提出了一种多尺度空洞卷积神经网络超分辨率重构方法，包括但不限于以下步骤：
步骤S100，对原始图像进行多尺度数据增强，得到增强图像；
步骤S200，对增强图像进行数据预处理，得到预处理图像；
步骤S300，构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。
在本实施例中，通过构建空洞卷积超分辨率网络，能够有效解决现有技术中存在的感受野小的问题，增大网络感受野，同时，为了使空洞卷积超分辨率网络能够适用于不同尺度超分辨率重构，对原始图像进行了不同尺度数据增强，使得空洞卷积超分辨率网络能够对不同大小倍数的图像进行处理，从而使空洞卷积超分辨率网络可以泛化多尺度图像超分辨率。
进一步地，参照图2，本实施例的步骤S100中，对原始图像进行多尺度数据增强，得到增强图像，包括但不限于以下步骤：
步骤S110，把原始图像作为初始训练集；
步骤S120，对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原 始图像形成中间训练集；
步骤S130，对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。
在本实施例中，使用现有技术中Timofte数据集中的91幅图像作为原始图像，并把这91幅原始图像作为初始训练集，接着采用尺度缩放和旋转两种方式对初始训练集分别进行处理。例如，首先对初始训练集中的91幅原始图像分别进行降采样，分别缩放到原始尺寸的0.6倍、0.7倍、0.8倍和0.9倍，并结合91幅原始图像形成中间训练集，此时，中间训练集中的图像数量为初始训练集中的图像数量的5倍；接着对中间训练集中的每一幅图像分别旋转90°、180°和270°，并结合原来的中间训练集中的图像形成处理训练集，该处理训练集中的图像即为所述的增强图像。此时，增强图像的数量扩增到初始训练集中的图像数量的20倍。
进一步地，参照图3，本实施例的步骤S200中，对增强图像进行数据预处理，得到预处理图像，包括但不限于以下步骤：
步骤S210，提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；
步骤S220，将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；
步骤S230，将所述初始高分辨率图像和原始图像分别按照步长M裁剪成大小为N*N的高分辨率图像块和原始图像块，其中，M和N均为常数。
在本实施例中，得到增强图像后，先对增强图像进行空间转换，得到YCbCr 空间图像，接着提取出增强图像的Y非线性亮度分量，然后对该亮度分量进行裁剪，并对裁剪后的图像按尺度因子分别为2、3、4进行下采样，从而得到对应的低分辨率图像，接着，对上述低分辨率图像按照同样的尺度因子分别进行上采样，从而生成分辨率高于原始图像的初始高分辨率图像，此外，为了匹配网络输入，将初始高分辨率图像和原始图像分别按照步长为14裁剪成大小为41*41的高分辨率图像块和原始图像块，并把该高分辨率图像块和原始图像块作为空洞卷积超分辨率网络的输入数据。
进一步地，本实施例的步骤S300中，构建空洞卷积超分辨率网络，主要是把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层而构成。由于传统卷积神经网络中的池化层的下采样操作会带来信息损失，为了解决这个问题，把该池化层及该池化层后面的卷积层替换为一个空洞卷积层，而该空洞卷积层的主要作用是：如何在去掉池化下采样操作的同时，不降低网络的感受野，从而重构出超分辨率图像。因此，对于重构出超分辨率图像的操作，具有空洞卷积层的空洞卷积超分辨率网络较之于传统的卷积神经网络具有更优的性能。
进一步地，参照图4，本实施例的步骤S300中，利用空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构，包括但不限于以下步骤：
步骤S310，提取所述原始图像块和对应的高分辨率图像块的图像特征。
对于将卷积神经网络应用到超分辨率重构中时，对于图像块的提取和表示是卷积的过程。空洞卷积超分辨率网络中的卷积操作与传统卷积神经网络的卷积操作相同，但是卷积核却与原来的不相同。本发明为了扩大网络感受野，使网络学习到更加全局性的特征，因此采用空洞卷积核进行卷积操作，同样达到了提取网 络特征的目的。本步骤的操作主要在网络第一层中实现，在本步骤中，利用空洞因子为2的9*9卷积核提取原始图像块和对应的高分辨率图像块的图像特征，并设置网络输出的特征图为64，即输出通道为64。具体地，卷积操作公式如下：F 1(Y)＝max(0,W 1* l Y+B 1)
其中，W 1和B 1表示空洞卷积核的权重和偏置变量，* l表示空洞卷积。W 1对应于大小为c×f 1×f 1的n 1个滤波器，c为输入图像的维度，f 1为滤波器的大小。B 1是一个n 1维向量，且每一个元素与一个卷积核相对应。因此，根据卷积的原理，空洞卷积超分辨率网络的第一层输出共有n 1个特征图。
特别地，空洞卷积操作具体如下：
定义离散函数：F:Z 2→R，假设Ωr＝[-r,r] 2∩Z 2,K:Ω→R是大小为(2r+1) 2的离散滤波器，则离散卷积操作*的定义为：
(F*k)(p)＝∑ s+t＝p
空洞卷积一般形式表示为：
(F* lk)(p)＝∑ s+lt＝p
其中l为空洞因子，* l表示空洞卷积，当l＝1时，为普通离散卷积操作*，基于空洞卷积的网络支持感受野指数增长，不丢失分辨率信息，记F 0,F 1,...,F n-1:Z 2→R为离散函数，k 0,k 1,...,k n-1:Ω→R是离散的3x3滤波器，采用指数增长卷积核后，F i+1＝F i* 2i k i,当i＝0,1,...,n-2
定义F i+1中的元素P感受野为：F 0中可以改变F i+1(p)值的元素集。F i+1中P感受野大小即为这些元素集数目。容易得到，F i+1中各元素感受野大小为(2 i+2-1)×(2 i+2-1)。
步骤S320，将得到的原始图像块的图像特征和高分辨率图像块的图像特征， 利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系。
本步骤的操作主要在网络第二层中实现，本步骤主要是将网络第一层中生成的高维向量非线性映射到另一个高维向量，这些新生成的高维向量组成了另一个向量集。在本步骤中，将步骤S310中所生成的64个通道生成的特征图利用1*1卷积核进行非线性映射，将低分辨率的高维向量映射到具有高分辨率特征的高维向量空间，并生成32个特征图。接着，把在网络第一层中生成的向量为n 1维的特征图，在网络第二层中将n 1维的向量映射到n 2维。这样的操作等价于用n 2个大小为1×1的卷积核进行卷积，网络第二层表示为：
F 2＝max(0,W 2*F 1(Y)+B 2)
其中，W 2包含了n 2个大小为n 1×f 2×f 2的卷积核，B 2是一个大小为n 2维的向量。网络第二层的每一个输出将会被用来重建图像的高分辨率图像块。最后，将32个通道特征图通过一个5*5卷积核重构为一张高分辨率图像块，实现图像超分辨率重构。
步骤S330，将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。
本步骤的操作主要在网络第三层中实现，本步骤将上述网络第二层的高分辨率图像集合生成高分辨率图像，生成的该图像与真正的原始图像相似。在传统方法中，重构操作通过将预测到的高分辨率块求平均值产生最终完整的高分辨率图像。其实，求平均的过程也可以看做是一个预先训练好的滤波器在一个特征图集上进行卷积。本步骤在网络第三层中的操作就是受到了这样的启发，即通过卷积操作得到最终的高分辨率图像。网络第三层表示为：
F(Y)＝W 3*F 2(Y)+B 3
其中，W 3对应于c个大小为n 2×f 3×f 3的卷积核，B 3是一个c维的向量。如果高分辨率块是在图像域里，那么将滤波器视作一个均值滤波器；如果高分辨率块是其他域，那么卷积核W 3先将各个系数投影到图像域上后再求平均。
接着，由上述的结果得到高分辨图像，则空洞卷积超分辨率网络中需要不断更新的参数为Θ＝{W 1,W 2,W 3,B 1,B 2,B 3}，重建的图像为F(Y；Θ)，且对应的原始图像为X。用均方误差作为损失函数即：
Figure PCTCN2018107916-appb-000001
其中，n是训练样本的个数。损失函数用随机梯度下降(SGD)法进行权值更新，公式为：
Figure PCTCN2018107916-appb-000002
其中，l∈{1,2,3}，i是层数和迭代次数，η是学习速率。
在相同的计算条件下，空洞卷积提供了更大的感受野。当网络层需要较大的感受野，但计算资源有限而无法提高卷积核数量或大小时，可以利用空洞卷积。空洞卷积能够整合多尺度内容信息，且不损失分辨率，支持感受野指数增长。同时，整合了不同尺度内容信息，使任何分辨率加入到已有的网络结构中，有利于网络重用性。传统卷积神经网络中，采用池化层达到降维的目的，但这种做法在图像超分辨率中会产生一定的副作用，经过池化后的特征层上像素尺寸比较低，即使通过上采样，特征图也会丢失一定精度，因此，本发明采用空洞卷积方式代替池化层增大网络的感受野。
另外，为了实现上述实施例中的多尺度空洞卷积神经网络超分辨率重构方法，本发明实施例还提供了一种储存多尺度空洞卷积神经网络超分辨率重构方法 的装置，该装置包括控制模块和用于储存控制指令的储存介质，所述控制模块读取所述储存介质中的控制指令并执行以下操作：
对原始图像进行多尺度数据增强，得到增强图像；
对增强图像进行数据预处理，得到预处理图像；
构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。
进一步地，控制模块执行操作对原始图像进行多尺度数据增强，得到增强图像时，包括以下操作：
把原始图像作为初始训练集；
对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；
对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。
进一步地，控制模块执行操作对增强图像进行数据预处理，得到预处理图像时，包括以下操作：
提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；
将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；
将所述初始高分辨率图像和原始图像分别按照步长M裁剪成大小为N*N的高分辨率图像块和原始图像块，其中，M和N均为常数。
进一步地，控制模块执行操作构建空洞卷积超分辨率网络时，包括以下操作：把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层。
进一步地，控制模块执行操作利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构时，包括以下操作：
提取所述原始图像块和对应的高分辨率图像块的图像特征；
将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系；
将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

  1. 一种多尺度空洞卷积神经网络超分辨率重构方法，其特征在于：包括：
    对原始图像进行多尺度数据增强，得到增强图像；
    对增强图像进行数据预处理，得到预处理图像；
    构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。
  2. 根据权利要求1所述的一种多尺度空洞卷积神经网络超分辨率重构方法，其特征在于：所述对原始图像进行多尺度数据增强，得到增强图像，包括：
    把原始图像作为初始训练集；
    对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；
    对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。
  3. 根据权利要求1所述的一种多尺度空洞卷积神经网络超分辨率重构方法，其特征在于：所述对增强图像进行数据预处理，得到预处理图像，包括：
    提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；
    将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；
    将所述初始高分辨率图像和原始图像分别按照步长M裁剪成大小为N*N的高分辨率图像块和原始图像块，其中，M和N均为常数。
  4. 根据权利要求1所述的一种多尺度空洞卷积神经网络超分辨率重构方法，其特征在于：所述构建空洞卷积超分辨率网络，包括：
    把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层。
  5. 根据权利要求3所述的一种多尺度空洞卷积神经网络超分辨率重构方法，其特征在于：所述利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构，包括：
    提取所述原始图像块和对应的高分辨率图像块的图像特征；
    将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系；
    将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。
  6. 一种储存多尺度空洞卷积神经网络超分辨率重构方法的装置，其特征在于：包括控制模块和用于储存控制指令的储存介质，所述控制模块读取所述储存介质中的控制指令并执行以下操作：
    对原始图像进行多尺度数据增强，得到增强图像；
    对增强图像进行数据预处理，得到预处理图像；
    构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。
  7. 根据权利要求6所述的装置，其特征在于：所述控制模块执行操作对原始图像进行多尺度数据增强，得到增强图像时，包括以下操作：
    把原始图像作为初始训练集；
    对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；
    对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。
  8. 根据权利要求6所述的装置，其特征在于：所述控制模块执行操作对增强图像进行数据预处理，得到预处理图像时，包括以下操作：
    提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；
    将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；
    将所述初始高分辨率图像和原始图像分别按照步长M裁剪成大小为N*N的高分辨率图像块和原始图像块，其中，M和N均为常数。
  9. 根据权利要求6所述的装置，其特征在于：所述控制模块执行操作构建空洞卷积超分辨率网络时，包括以下操作：
    把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层。
  10. 根据权利要求8所述的装置，其特征在于：所述控制模块执行操作利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构时，包括以下操作：提取所述原始图像块和对应的高分辨率图像块的图像特征；
    将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系；
    将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。
PCT/CN2018/107916 2018-09-21 2018-09-27 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 Ceased WO2020056791A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811113028.0 2018-09-21
CN201811113028.0A CN109389556B (zh) 2018-09-21 2018-09-21 一种多尺度空洞卷积神经网络超分辨率重构方法及装置

Publications (1)

Publication Number Publication Date
WO2020056791A1 true WO2020056791A1 (zh) 2020-03-26

Family

ID=65419007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/107916 Ceased WO2020056791A1 (zh) 2018-09-21 2018-09-27 一种多尺度空洞卷积神经网络超分辨率重构方法及装置

Country Status (2)

Country Link
CN (1) CN109389556B (zh)
WO (1) WO2020056791A1 (zh)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111667409A (zh) * 2020-06-09 2020-09-15 云南电网有限责任公司电力科学研究院 一种基于超分辨率算法的绝缘子影像分辨率增强方法
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法
CN111985544A (zh) * 2020-08-07 2020-11-24 中移（杭州）信息技术有限公司 分形图形风格融合方法、装置、电子设备及存储介质
CN112017116A (zh) * 2020-07-23 2020-12-01 西北大学 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN112017191A (zh) * 2020-08-12 2020-12-01 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112070689A (zh) * 2020-08-24 2020-12-11 中国人民解放军陆军装甲兵学院 一种基于深度图像的数据增强方法
CN112070667A (zh) * 2020-08-14 2020-12-11 西安理工大学 一种多尺度特征融合的视频超分辨率重建的方法
CN112070669A (zh) * 2020-08-28 2020-12-11 西安科技大学 一种针对任意模糊核的超分辨率图像重建方法
CN112101366A (zh) * 2020-09-11 2020-12-18 湖南大学 基于混合扩张网络的实时分割系统与方法
CN112132768A (zh) * 2020-09-30 2020-12-25 西京学院 一种基于多降噪器联合优化降噪的mri图像降噪方法
CN112200725A (zh) * 2020-10-26 2021-01-08 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN112288629A (zh) * 2020-10-27 2021-01-29 河南威虎智能科技有限公司 一种跨尺度图神经网络的超分辨率方法
CN112330540A (zh) * 2020-11-08 2021-02-05 哈尔滨理工大学 一种基于多尺度优化的图像超分辨率方法
CN112541878A (zh) * 2020-12-24 2021-03-23 北京百度网讯科技有限公司 建立图像增强模型与图像增强的方法、装置
CN112699967A (zh) * 2021-01-18 2021-04-23 武汉大学 一种基于改进深度神经网络的远距离机场目标检测方法
CN112734915A (zh) * 2021-01-19 2021-04-30 北京工业大学 一种基于深度学习的多视角立体视觉三维场景重建方法
CN112884654A (zh) * 2021-03-03 2021-06-01 鄂尔多斯应用技术学院 一种基于cnn的wdsr图像超分辨率重建优化方法
CN112949829A (zh) * 2021-03-05 2021-06-11 深圳海翼智新科技有限公司 特征图的池化方法、数据处理方法和计算设备
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
CN113191947A (zh) * 2021-03-23 2021-07-30 西安电子科技大学 一种图像超分辨率的方法及系统
CN113298714A (zh) * 2021-05-24 2021-08-24 西北工业大学 一种基于深度学习的图像跨尺度超分辨率方法
CN113781306A (zh) * 2021-09-09 2021-12-10 西北工业大学 基于双阶段策略的高光谱图像超分辨率重建方法
CN113850721A (zh) * 2021-09-26 2021-12-28 陕西师范大学 单幅图像超分辨率重建方法、装置、设备及可读存储介质
CN113971674A (zh) * 2020-07-24 2022-01-25 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的卫星图像目标检测方法
CN114119642A (zh) * 2021-10-18 2022-03-01 中国科学院空天信息创新研究院 洪涝灾害水体提取方法及装置、设备和存储介质
CN114170111A (zh) * 2021-12-15 2022-03-11 南京中设航空科技发展有限公司 一种基于渐进变化率空洞卷积的图像去模糊方法
CN114419252A (zh) * 2022-01-05 2022-04-29 中国科学院空天信息创新研究院 一种利用影像重建数字高程模型的方法
CN114418843A (zh) * 2021-12-24 2022-04-29 中国电子科技集团公司第五十四研究所 空间数据插值方法、装置及电子设备
CN114529519A (zh) * 2022-01-25 2022-05-24 河南大学 基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统
CN114677314A (zh) * 2021-12-17 2022-06-28 上海大学 一种基于多尺度特征对齐及精化网络的双目图像修复网络模型的训练方法
CN114742915A (zh) * 2022-04-20 2022-07-12 南京医科大学 一种基于空洞卷积的超分辨率卷积神经网络的磁共振重建方法
US11394980B2 (en) * 2020-01-05 2022-07-19 Isize Limited Preprocessing image data
CN114913069A (zh) * 2022-04-26 2022-08-16 上海大学 一种基于深度神经网络的红外图像超分辨率重建方法
CN114926330A (zh) * 2022-04-18 2022-08-19 武汉珈和科技有限公司 一种遥感图像超分辨率深度学习方法及装置
CN114926557A (zh) * 2022-06-17 2022-08-19 广东工业大学 一种结合注意力机制的多尺度图像压缩重构方法
CN115082312A (zh) * 2022-06-21 2022-09-20 广东工业大学 一种基于退化蒸馏网络的红外图像超分方法及系统
CN115147836A (zh) * 2022-07-28 2022-10-04 上海大学 一种基于深度学习的无参考光场图像质量评价方法及系统
CN115293965A (zh) * 2022-06-27 2022-11-04 武汉工程大学 一种卫星超分辨率图像生成方法、装置以及存储介质
CN115496659A (zh) * 2022-09-26 2022-12-20 苏州雷泰医疗科技有限公司 基于单张投影数据的三维ct图像重建方法及装置
CN115735224A (zh) * 2021-06-25 2023-03-03 京东方科技集团股份有限公司 非抽取的图像处理方法及装置
CN115809962A (zh) * 2022-12-09 2023-03-17 武汉大学 一种图像下采样方法和系统
CN115841582A (zh) * 2022-12-07 2023-03-24 浙江大华技术股份有限公司 图像处理方法、模型、计算机设备及存储介质
CN115937018A (zh) * 2022-11-03 2023-04-07 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法
CN116071229A (zh) * 2022-08-24 2023-05-05 中国矿业大学 一种用于可穿戴头盔的图像超分辨率重建方法
CN116309067A (zh) * 2023-03-21 2023-06-23 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法
CN116452696A (zh) * 2023-06-16 2023-07-18 山东省计算中心（国家超级计算济南中心） 一种基于双域特征采样的图像压缩感知重构方法及系统
CN116703729A (zh) * 2023-08-09 2023-09-05 荣耀终端有限公司 一种图像处理方法、终端、存储介质及程序产品
CN116863332A (zh) * 2023-06-28 2023-10-10 昆明理工大学 一种低分辨率振动图像目标检测网络结构、训练方法及应用
CN117132472A (zh) * 2023-10-08 2023-11-28 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117172134A (zh) * 2023-10-19 2023-12-05 武汉大学 基于融合地形特征的月表多尺度dem建模方法及系统
CN118096556A (zh) * 2024-04-23 2024-05-28 华东交通大学 一种图像重构方法、系统、设备及介质
CN119831880A (zh) * 2024-12-09 2025-04-15 杭州电子科技大学 一种基于卷积神经网络的图像去噪方法
CN120219173A (zh) * 2025-05-27 2025-06-27 烟台大学 一种遥感图像超分辨率重建方法、系统、设备和存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428428B (zh) * 2019-07-26 2022-03-25 长沙理工大学 一种图像语义分割方法、电子设备和可读存储介质
CN110533051B (zh) * 2019-08-02 2023-01-17 中国民航大学 基于卷积神经网络的x光安检图像中违禁品自动检测方法
WO2021041772A1 (en) 2019-08-30 2021-03-04 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising
CN110659724B (zh) * 2019-09-12 2023-04-28 复旦大学 基于目标尺度的目标检测深度卷积神经网络构建方法
CN112488916B (zh) * 2019-09-12 2023-12-26 武汉Tcl集团工业研究院有限公司 一种图像超分重建模型的训练方法和计算机设备
CN110781776B (zh) * 2019-10-10 2022-07-05 湖北工业大学 一种基于预测和残差细化网络的道路提取方法
CN111028147B (zh) * 2019-11-25 2024-02-02 天津大学 基于级联空洞卷积的三维医学图像超分辨率重建方法
CN111160413B (zh) * 2019-12-12 2023-11-17 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
CN111144460A (zh) * 2019-12-16 2020-05-12 华东师范大学 一种提高卷积神经网络分类性能的算法
CN111047515B (zh) * 2019-12-29 2024-01-09 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111242846B (zh) * 2020-01-07 2022-03-22 福州大学 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111414988B (zh) * 2020-02-13 2023-04-18 湖北工业大学 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN111429347A (zh) * 2020-03-20 2020-07-17 长沙理工大学 图像超分辨率重建方法、装置及计算机可读存储介质
CN112580479B (zh) * 2020-12-13 2025-07-08 成都易书桥科技有限公司 一种基于空洞卷积神经网络的地磁式室内定位系统
CN113450290B (zh) * 2021-09-01 2021-11-26 中科方寸知微(南京)科技有限公司 基于图像修补技术的低照度图像增强方法及系统
CN114547358A (zh) * 2022-02-10 2022-05-27 中国人民解放军战略支援部队信息工程大学 一种多尺度特征融合的图像检索方法
CN115759202B (zh) * 2022-11-22 2023-11-28 江苏济远医疗科技有限公司 一种可变空洞卷积的稠密图像超分辨率方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392852A (zh) * 2017-07-10 2017-11-24 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
CN107464216A (zh) * 2017-08-03 2017-12-12 济南大学 一种基于多层卷积神经网络的医学图像超分辨率重构方法
CN108428212A (zh) * 2018-01-30 2018-08-21 中山大学 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3507773A1 (en) * 2016-09-02 2019-07-10 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
CN106952228B (zh) * 2017-03-10 2020-05-22 北京工业大学 基于图像非局部自相似性的单幅图像的超分辨率重建方法
US10803378B2 (en) * 2017-03-15 2020-10-13 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
CN106991648B (zh) * 2017-04-10 2024-01-02 中国石油大学(华东) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
CN107679477B (zh) * 2017-09-27 2021-02-02 深圳市未来媒体技术研究院 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN108537733B (zh) * 2018-04-11 2022-03-11 南京邮电大学 基于多路径深度卷积神经网络的超分辨率重建方法
CN108550115B (zh) * 2018-04-25 2020-06-16 中国矿业大学 一种图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392852A (zh) * 2017-07-10 2017-11-24 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
CN107464216A (zh) * 2017-08-03 2017-12-12 济南大学 一种基于多层卷积神经网络的医学图像超分辨率重构方法
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN108428212A (zh) * 2018-01-30 2018-08-21 中山大学 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11394980B2 (en) * 2020-01-05 2022-07-19 Isize Limited Preprocessing image data
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111667409A (zh) * 2020-06-09 2020-09-15 云南电网有限责任公司电力科学研究院 一种基于超分辨率算法的绝缘子影像分辨率增强方法
CN111667409B (zh) * 2020-06-09 2024-03-22 云南电网有限责任公司电力科学研究院 一种基于超分辨率算法的绝缘子影像分辨率增强方法
CN112017116A (zh) * 2020-07-23 2020-12-01 西北大学 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN112017116B (zh) * 2020-07-23 2024-02-23 西北大学 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN113971674A (zh) * 2020-07-24 2022-01-25 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的卫星图像目标检测方法
CN111985544A (zh) * 2020-08-07 2020-11-24 中移（杭州）信息技术有限公司 分形图形风格融合方法、装置、电子设备及存储介质
CN112017191A (zh) * 2020-08-12 2020-12-01 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112017191B (zh) * 2020-08-12 2023-08-22 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112070667A (zh) * 2020-08-14 2020-12-11 西安理工大学 一种多尺度特征融合的视频超分辨率重建的方法
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法
CN112070689A (zh) * 2020-08-24 2020-12-11 中国人民解放军陆军装甲兵学院 一种基于深度图像的数据增强方法
CN112070669A (zh) * 2020-08-28 2020-12-11 西安科技大学 一种针对任意模糊核的超分辨率图像重建方法
CN112070669B (zh) * 2020-08-28 2024-04-16 西安科技大学 一种针对任意模糊核的超分辨率图像重建方法
CN112101366A (zh) * 2020-09-11 2020-12-18 湖南大学 基于混合扩张网络的实时分割系统与方法
CN112132768A (zh) * 2020-09-30 2020-12-25 西京学院 一种基于多降噪器联合优化降噪的mri图像降噪方法
CN112200725B (zh) * 2020-10-26 2023-11-28 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN112200725A (zh) * 2020-10-26 2021-01-08 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN112288629A (zh) * 2020-10-27 2021-01-29 河南威虎智能科技有限公司 一种跨尺度图神经网络的超分辨率方法
CN112288629B (zh) * 2020-10-27 2024-03-01 河南威虎智能科技有限公司 一种跨尺度图神经网络的超分辨率方法
CN112330540A (zh) * 2020-11-08 2021-02-05 哈尔滨理工大学 一种基于多尺度优化的图像超分辨率方法
CN112541878A (zh) * 2020-12-24 2021-03-23 北京百度网讯科技有限公司 建立图像增强模型与图像增强的方法、装置
CN112699967B (zh) * 2021-01-18 2024-03-12 武汉大学 一种基于改进深度神经网络的远距离机场目标检测方法
CN112699967A (zh) * 2021-01-18 2021-04-23 武汉大学 一种基于改进深度神经网络的远距离机场目标检测方法
CN112734915A (zh) * 2021-01-19 2021-04-30 北京工业大学 一种基于深度学习的多视角立体视觉三维场景重建方法
CN112884654B (zh) * 2021-03-03 2024-02-20 鄂尔多斯应用技术学院 一种基于cnn的wdsr图像超分辨率重建优化方法
CN112884654A (zh) * 2021-03-03 2021-06-01 鄂尔多斯应用技术学院 一种基于cnn的wdsr图像超分辨率重建优化方法
CN112949829A (zh) * 2021-03-05 2021-06-11 深圳海翼智新科技有限公司 特征图的池化方法、数据处理方法和计算设备
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
CN113191947A (zh) * 2021-03-23 2021-07-30 西安电子科技大学 一种图像超分辨率的方法及系统
CN113191947B (zh) * 2021-03-23 2024-05-14 西安电子科技大学 一种图像超分辨率的方法及系统
CN113298714A (zh) * 2021-05-24 2021-08-24 西北工业大学 一种基于深度学习的图像跨尺度超分辨率方法
CN113298714B (zh) * 2021-05-24 2024-04-26 西北工业大学 一种基于深度学习的图像跨尺度超分辨率方法
CN115735224A (zh) * 2021-06-25 2023-03-03 京东方科技集团股份有限公司 非抽取的图像处理方法及装置
CN113781306B (zh) * 2021-09-09 2024-03-08 西北工业大学 基于双阶段策略的高光谱图像超分辨率重建方法
CN113781306A (zh) * 2021-09-09 2021-12-10 西北工业大学 基于双阶段策略的高光谱图像超分辨率重建方法
CN113850721A (zh) * 2021-09-26 2021-12-28 陕西师范大学 单幅图像超分辨率重建方法、装置、设备及可读存储介质
CN114119642A (zh) * 2021-10-18 2022-03-01 中国科学院空天信息创新研究院 洪涝灾害水体提取方法及装置、设备和存储介质
CN114170111A (zh) * 2021-12-15 2022-03-11 南京中设航空科技发展有限公司 一种基于渐进变化率空洞卷积的图像去模糊方法
CN114677314A (zh) * 2021-12-17 2022-06-28 上海大学 一种基于多尺度特征对齐及精化网络的双目图像修复网络模型的训练方法
CN114418843A (zh) * 2021-12-24 2022-04-29 中国电子科技集团公司第五十四研究所 空间数据插值方法、装置及电子设备
CN114419252A (zh) * 2022-01-05 2022-04-29 中国科学院空天信息创新研究院 一种利用影像重建数字高程模型的方法
CN114529519A (zh) * 2022-01-25 2022-05-24 河南大学 基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统
CN114926330A (zh) * 2022-04-18 2022-08-19 武汉珈和科技有限公司 一种遥感图像超分辨率深度学习方法及装置
CN114742915B (zh) * 2022-04-20 2024-09-24 南京医科大学 一种基于空洞卷积的超分辨率卷积神经网络的磁共振重建方法
CN114742915A (zh) * 2022-04-20 2022-07-12 南京医科大学 一种基于空洞卷积的超分辨率卷积神经网络的磁共振重建方法
CN114913069B (zh) * 2022-04-26 2024-05-03 上海大学 一种基于深度神经网络的红外图像超分辨率重建方法
CN114913069A (zh) * 2022-04-26 2022-08-16 上海大学 一种基于深度神经网络的红外图像超分辨率重建方法
CN114926557A (zh) * 2022-06-17 2022-08-19 广东工业大学 一种结合注意力机制的多尺度图像压缩重构方法
CN115082312A (zh) * 2022-06-21 2022-09-20 广东工业大学 一种基于退化蒸馏网络的红外图像超分方法及系统
CN115293965A (zh) * 2022-06-27 2022-11-04 武汉工程大学 一种卫星超分辨率图像生成方法、装置以及存储介质
CN115147836A (zh) * 2022-07-28 2022-10-04 上海大学 一种基于深度学习的无参考光场图像质量评价方法及系统
CN116071229A (zh) * 2022-08-24 2023-05-05 中国矿业大学 一种用于可穿戴头盔的图像超分辨率重建方法
CN115496659B (zh) * 2022-09-26 2025-10-28 北京雷泰腾飞医疗科技有限公司 基于单张投影数据的三维ct图像重建方法及装置
CN115496659A (zh) * 2022-09-26 2022-12-20 苏州雷泰医疗科技有限公司 基于单张投影数据的三维ct图像重建方法及装置
CN115937018B (zh) * 2022-11-03 2023-11-03 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法
CN115937018A (zh) * 2022-11-03 2023-04-07 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法
CN115841582A (zh) * 2022-12-07 2023-03-24 浙江大华技术股份有限公司 图像处理方法、模型、计算机设备及存储介质
CN115809962A (zh) * 2022-12-09 2023-03-17 武汉大学 一种图像下采样方法和系统
CN116309067A (zh) * 2023-03-21 2023-06-23 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法
CN116309067B (zh) * 2023-03-21 2023-09-29 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法
CN116452696A (zh) * 2023-06-16 2023-07-18 山东省计算中心（国家超级计算济南中心） 一种基于双域特征采样的图像压缩感知重构方法及系统
CN116452696B (zh) * 2023-06-16 2023-08-29 山东省计算中心（国家超级计算济南中心） 一种基于双域特征采样的图像压缩感知重构方法及系统
CN116863332A (zh) * 2023-06-28 2023-10-10 昆明理工大学 一种低分辨率振动图像目标检测网络结构、训练方法及应用
CN116703729A (zh) * 2023-08-09 2023-09-05 荣耀终端有限公司 一种图像处理方法、终端、存储介质及程序产品
CN116703729B (zh) * 2023-08-09 2023-12-19 荣耀终端有限公司 一种图像处理方法、终端、存储介质及程序产品
CN117132472B (zh) * 2023-10-08 2024-05-31 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117132472A (zh) * 2023-10-08 2023-11-28 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117172134A (zh) * 2023-10-19 2023-12-05 武汉大学 基于融合地形特征的月表多尺度dem建模方法及系统
CN117172134B (zh) * 2023-10-19 2024-01-16 武汉大学 基于融合地形特征的月表多尺度dem建模方法
CN118096556A (zh) * 2024-04-23 2024-05-28 华东交通大学 一种图像重构方法、系统、设备及介质
CN119831880A (zh) * 2024-12-09 2025-04-15 杭州电子科技大学 一种基于卷积神经网络的图像去噪方法
CN120219173A (zh) * 2025-05-27 2025-06-27 烟台大学 一种遥感图像超分辨率重建方法、系统、设备和存储介质

Also Published As

Publication number Publication date
CN109389556A (zh) 2019-02-26
CN109389556B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
WO2020056791A1 (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN110232394B (zh) 一种多尺度图像语义分割方法
CN113744136B (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN114387486A (zh) 基于持续学习的图像分类方法以及装置
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
Zeng et al. Single image super-resolution using a polymorphic parallel CNN: K. Zeng et al.
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
WO2019120110A1 (zh) 图像重建方法及设备
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
WO2018045602A1 (zh) 一种基于深度学习的模糊核尺寸估计方法与系统
CN112270366B (zh) 基于自适应多特征融合的微小目标检测方法
CN113129212B (zh) 图像超分辨率重建方法、装置、终端设备及存储介质
CN112837320B (zh) 一种基于并行空洞卷积的遥感影像语义分割方法
CN108805814A (zh) 基于多频段深度卷积神经网络的图像超分辨重建方法
CN110136062A (zh) 一种联合语义分割的超分辨率重建方法
CN112686119A (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN112419152A (zh) 一种图像超分辨率方法、装置、终端设备和存储介质
CN107516128A (zh) 一种基于ReLU激活函数的卷积神经网络的花卉识别方法
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
WO2020187029A1 (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN115564649A (zh) 一种图像超分辨率重建方法、装置及设备
CN110276389A (zh) 一种基于边缘修正的矿井移动巡检图像重建方法
CN111353939A (zh) 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法
WO2023087597A1 (zh) 一种图像处理方法、系统、设备以及介质
CN118154450A (zh) 低照度图像增强方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18933987

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18933987

Country of ref document: EP

Kind code of ref document: A1