WO2020098449A1 - 一种基于哈达玛变换的单幅图像超分辨率方法 - Google Patents

一种基于哈达玛变换的单幅图像超分辨率方法 Download PDF

Info

Publication number
WO2020098449A1
WO2020098449A1 PCT/CN2019/112053 CN2019112053W WO2020098449A1 WO 2020098449 A1 WO2020098449 A1 WO 2020098449A1 CN 2019112053 W CN2019112053 W CN 2019112053W WO 2020098449 A1 WO2020098449 A1 WO 2020098449A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
super
image
low
node
Prior art date
Application number
PCT/CN2019/112053
Other languages
English (en)
French (fr)
Inventor
金龙存
罗晶晶
孙先仿
姚文龙
彭新一
Original Assignee
华南理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华南理工大学 filed Critical 华南理工大学
Publication of WO2020098449A1 publication Critical patent/WO2020098449A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention relates to the field of computer vision, in particular to a single image super-resolution method based on Hadamard transformation.
  • the learning-based super-resolution method can learn the mapping relationship from the low-resolution space to the high-resolution space from the training data set, and is used for super-resolution reconstruction of low-resolution images.
  • learning mapping models including dictionary learning, local linear regression, decision trees, random forests, and convolutional neural networks.
  • the super-resolution methods based on dictionary learning are roughly divided into two categories: methods for building internal dictionaries and methods for building external dictionaries.
  • the super-resolution method based on internal dictionaries mainly uses low-resolution input images to build dictionaries; the super-resolution method based on external dictionaries requires an additional training data set to build dictionaries.
  • a more representative method among dictionary-based super-resolution methods is a sparse coding-based method, which represents a low-resolution input image patch as a sparse linear combination of low-resolution dictionary atoms, while the target high-resolution image Patches are generated from corresponding atoms in the high-resolution dictionary and the same sparse representation weights.
  • the regression-based super-resolution method greatly promotes the solution of super-resolution problems.
  • the method can solve the mapping relationship between the low-resolution space and the high-resolution space.
  • some methods regard the image feature space as a whole and solve a global mapping model; some methods believe that the image feature space is locally linear, first divide the feature space into multiple subspaces, and then learn more Local linear mapping model.
  • Decision trees can be used to solve classification and regression problems.
  • the super-resolution method based on decision trees and random forests also divides the image feature space into multiple subspaces, and each subspace learns a mapping model for super-resolution reconstruction.
  • the super-resolution method based on deep convolutional neural network regards the image feature space as a whole. In this image feature space, this type of method only solves a global mapping model for super-resolution problem solving.
  • This mapping model is described as a deep convolutional neural network whose input is a low-resolution image and the output is a high-resolution image.
  • the super-resolution method based on deep convolutional neural network is an end-to-end mapping.
  • the purpose of the present invention is to overcome the shortcomings of the prior art and provide a single image super-resolution method based on Hadamard transform.
  • the invention obtains a piecewise linear regression model from a low-resolution space to a high-resolution space through learning, and uses these models to perform super-resolution reconstruction on a low-resolution input image.
  • the invention can generate high-quality super-resolution reconstructed images at a faster running speed.
  • a single image super-resolution method based on Hadamard transform the specific steps include:
  • the training obtains the stage of piecewise linear mapping model from low-resolution space to high-resolution space and the stage of super-resolution reconstruction;
  • the step of training to obtain a piecewise linear mapping model from a low-resolution space to a high-resolution space includes:
  • the high-resolution training images are sampled by bicubic interpolation to obtain the corresponding low-resolution training images to form low-resolution-high-resolution image pairs; all the low-resolution-high-resolution image pairs form the training image data set Extract low-resolution-high-resolution image patch pairs;
  • construct a three-branch super-resolution decision tree store the segmentation information generated by dividing the training data in each non-leaf node of the super-resolution decision tree;
  • the super-resolution reconstruction stage includes:
  • Input a low-resolution image, and extract the low-resolution image patches from the raster scan sequence;
  • the raster scan sequence is from left to right, and from top to bottom;
  • Each low-resolution image patch generates a high-resolution patch through the searched corresponding mapping model, and all generated high-resolution image patches constitute the target high-resolution output image.
  • the non-leaf nodes of the constructed tri-resolution super-resolution decision tree store the segmentation threshold, the indexes of its child nodes, and the depth of the tree where the current node is located.
  • the leaf nodes of the super-resolution decision tree store the indexes of the corresponding mapping models .
  • v ⁇ (0, 1) controls the position of the selection threshold, and also limits the number of training data on the three child nodes.
  • the value of the parameter v is set to 0.5.
  • ind l , ind m and ind r represent the index pointing to the left child node, the middle child node and the right child node respectively.
  • v 1 and v 2 are the learned segmentation thresholds, where v 1 is smaller than v 2 .
  • each data segmentation should satisfy the condition expressed by formula (5):
  • N l , N m and N r denote the number of left child node, neutron node and right child node training data respectively
  • min_num represents the minimum number of training samples in a leaf node. In the present invention, the value of min_num is set to 512.
  • the corresponding mapping model is obtained by solving the problem in formula (6) using the least squares method, with the constraint that each column of M q has a modulus of 1.
  • M q is the regression coefficient matrix corresponding to the qth leaf node
  • H q and L q are the high-resolution training data and the corresponding low-resolution training data reaching the leaf node q, respectively.
  • the present invention has the following beneficial effects:
  • the present invention extracts image features through Hadamard transformation, because the Hadamard transformation involving only addition and subtraction operations is fast. Due to the data structure of the three-decision decision tree, the speed of the algorithm is further improved while ensuring the quality of super-resolution reconstruction.
  • 1 is a flowchart of training a piecewise linear mapping model from a low-resolution space to a high-resolution space in the present invention
  • Figure 2 is a visualized image of the Hadamard matrix
  • Figure 3 is a flowchart of super-resolution reconstruction
  • FIG. 4 is a trade-off between speed and accuracy based on the test image data set Set5 of the present invention and each comparison method.
  • the amplification factor is 2
  • the objective evaluation index is the peak signal-to-noise ratio (PSNR).
  • FIG. 5 is a trade-off between speed and accuracy based on the test image data set Set14 of the present invention and each comparison method.
  • the amplification factor is 2
  • the objective evaluation index is the peak signal-to-noise ratio (PSNR).
  • Fig. 6 is a schematic diagram of the results of the super-resolution of butterfly images by various methods when the magnification factor is 2.
  • a single image super-resolution method based on Hadamard transform the specific steps include:
  • the stage of training to obtain a piecewise linear mapping model from a low-resolution space to a high-resolution space is shown in FIG. 1 and includes:
  • each low-resolution image patch is represented by a row vector and stacked into a matrix, and the corresponding high-resolution image patch is processed in the same way.
  • the Hadamard transform operator is the Hadamard matrix.
  • the Hadamard matrix has a variety of forms.
  • a Hadamard matrix of order 2 n is selected .
  • Hadamard matrices of different orders can be obtained by iterative equations.
  • the specific calculation formula is:
  • each column of the 16th order Hadamard matrix is equivalent to a convolution filter, which can be used to obtain different statistics of image characteristics of a low-resolution image patch.
  • the first column of the 16th order Hadamard matrix is all 1, and the filter represented in this column can only calculate the sum of all pixel values in the low-resolution image patch.
  • the filter cannot reflect the texture characteristics of the low-resolution image patch. Therefore, in this embodiment, the first column of the 16th order Hadamard matrix is deleted to obtain a new matrix.
  • the following Hadamard matrices all represent new matrices.
  • the Hadamard matrix in this embodiment has 15 columns, and each column can be transformed into a 4 ⁇ 4 matrix.
  • the visualization of the Hadamard matrix is shown in FIG. 2.
  • (A)-(o) in Fig. 2 represent the 1st to 15th columns of the Hadamard matrix.
  • the large black (white) block in FIG. 2 represents a low-frequency signal, and the small squares represent high-frequency signals. The small size is more correlated with noise. Therefore, the sequence Seq is set in this embodiment, and the sequence Seq is expressed as:
  • the sequence Seq is determined.
  • Each number in the sequence Seq represents the corresponding column of the Hadamard matrix.
  • 15 rounds of segmentation are performed to divide the training data into different types, and each round of segmentation is based on the corresponding column of the low-resolution training data Hadamard pattern.
  • the training data is split from one non-leaf node to 3 child nodes.
  • the number of training samples in a child node is greater than a set minimum value, continue to split the training data of this node. Otherwise, this child node becomes a leaf node, and this node does not perform further data segmentation.
  • all training data is used to initialize the root node of the super-resolution decision tree, and according to the sequence Seq that has been determined above, in the first round of data segmentation, the second column of the generated Hadamard pattern (Seq [1]) is used Combined with the two learned segmentation thresholds, the training data is divided into three categories. So far, the super-resolution decision tree has a root node and three child nodes.
  • the second round of data segmentation is performed on these three parts respectively.
  • the eighth column of the Hadamard pattern corresponding to each part of the training data is used to perform further data classification.
  • the next round of data segmentation is completed after one round of data segmentation is completed, so in this embodiment a total of 15 rounds of data segmentation are required.
  • how many data segmentations are performed depends on the number of current non-leaf nodes. For each non-leaf node, the training data is split according to the Seq [k] column of its Hadamard pattern.
  • a super-resolution decision tree is gradually constructed.
  • the kth layer of the super-resolution decision tree is being constructed.
  • the depth of the super-resolution decision tree is at most 16, because Q 15 has 15 columns, so the generated Hadamard pattern has 15 columns.
  • the depth of the root node is 1.
  • the generated child nodes are marked as leaf nodes.
  • v ⁇ (0, 1) controls the position of the selection threshold, and also limits the number of training data on the three child nodes.
  • the value of the parameter v is set to 0.5.
  • ind l , ind m and ind r represent the index pointing to the left child node, the middle child node and the right child node respectively.
  • v 1 and v 2 are the learned segmentation thresholds, where v 1 is smaller than v 2 .
  • each data segmentation should satisfy the condition expressed by formula (5):
  • N l , N m and N r denote the number of left child node, neutron node and right child node training data respectively
  • min_num represents the minimum number of training samples in a leaf node. In the present invention, the value of min_num is set to 512.
  • each leaf node of the super-resolution decision tree has a part of the training data; according to the training data divided into each leaf node, a low-resolution space to a high-resolution space is calculated. Map the model and store the index of the map model in the corresponding leaf node;
  • step 14 the present invention learns the mapping model from the low-resolution space to the high-resolution space using the training data divided into this.
  • Each non-leaf node in the super-resolution decision tree stores the depth of the current node in the tree, the learned segmentation threshold, and the index pointing to its child nodes.
  • the learned segmentation threshold is used for classification.
  • the Hadamard pattern of the training data or test data is compared with the learned segmentation threshold. According to the comparison result, the training data or test data is passed to the left child node, neutron node or right child node of the current node.
  • the leaf nodes in the super-resolution decision tree store the indexes of the corresponding mapping models. If the current leaf node is the qth leaf node generated in the process of constructing the super-resolution decision tree, q is the index pointing to the mapping model M q . M q is a mapping model calculated using the training data reaching the leaf node q.
  • the corresponding mapping model is obtained by solving the problem in formula (6) using the least square method, with the constraint that the modulus of each column of M q is 1.
  • M q is the regression coefficient matrix corresponding to the qth leaf node
  • H q and L q are the high-resolution training data and the corresponding low-resolution training data reaching the leaf node q, respectively.
  • the super-resolution reconstruction stage is shown in Figure 3, including:
  • a 4 ⁇ 4 sliding window is used to extract image patches from the low-resolution input image in the order of raster scanning. Each sliding window moves one pixel position.
  • the Hadamard pattern is calculated for each extracted image patch. First, the extracted low-resolution image patches are vectorized, and then Hadamard transformation is performed on them to obtain Hadamard patterns.
  • the Hadamard pattern of the image patch is passed into the learned super-resolution decision tree. Then according to the depth of the current tree, the present invention compares the Seq [depth] column of the Hadamard mode of the image patch with the segmentation threshold of the current node, and passes the image patch to the next node according to the comparison Until it reaches a leaf node.
  • Each low-resolution image patch searches the corresponding high-resolution image patch of the corresponding mapping model, and all generated high-resolution image patches form a target high-resolution output image.
  • the corresponding mapping model is searched for in the super-resolution decision tree, and the super-resolution reconstruction is performed according to the searched mapping model.
  • FIG. 4 shows the trade-off between speed and accuracy of the method of the present invention and each comparison method based on the test image data set Set5.
  • the magnification factor is 2
  • the objective evaluation index is the peak signal-to-noise ratio (PSNR)
  • FIG. 5 shows the trade-off between speed and accuracy of the method of the present invention and each comparison method based on the test image data set Set14.
  • the amplification factor is 2
  • the objective evaluation index is the peak signal-to-noise ratio (PSNR).
  • the methods used for comparison are super-resolution method based on sparse coding (ANR, A +), super-resolution method based on decision tree (RFL, SRDHD_f *) and super-resolution method based on neural network (SRCNN, LapSRN). 4 and 5 show that the method of the present invention can produce the best super-resolution results with the fastest running speed.
  • Fig. 6 shows the results of super resolution of butterfly images by various methods when the magnification factor is 2.
  • the method of the present invention can reconstruct clearer edges and restore more detailed information.

Abstract

一种基于哈达玛变换的单幅图像超分辨率方法，包括分段线性映射模型阶段以及超分辨率重建阶段。分段线性映射模型阶段包括：获取训练图像数据集，提取图像补丁对；对向量化的低分辨率训练图像补丁计算其哈达玛模式；构建三叉超分辨率决策树；根据划分到此的训练数据计算出映射模型，并将该映射模型的索引存储在叶子节点中；超分辨率重建阶段包括：提取低分辨率图像补丁；计算低分辨率图像补丁的哈达玛模式；构建的三叉超分辨率决策树中为低分辨率图像补丁搜索对应的映射模型；低分辨率图像补丁映射到高分辨率空间，生成的高分辨率图像补丁组成目标高分辨率输出图像。上述方法能够以较快运行速度生成高质量的超分辨率重建图像。

Description

一种基于哈达玛变换的单幅图像超分辨率方法 技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于哈达玛变换的单幅图像超分辨率方法。
背景技术
近年来，单幅图像超分辨率问题被大量研究。基于学习的超分辨率方法受到越来越多的关注。
基于学习的超分辨率方法能够从训练数据集中学习得到从低分辨率空间到高分辨率空间的映射关系，并用于低分辨率图像的超分辨率重建。目前用于学习映射模型的方法有多种，包括字典学习，局部线性回归，决策树，随机森林和卷积神经网络等等。
基于字典学习的超分辨率方法大致分为两类：构建内部字典的方法和构建外部字典的方法。基于内部字典的超分辨率方法主要利用低分辨率输入图像构建字典；基于外部字典的超分辨率方法需要利用一个额外的训练数据集构建字典。基于字典的超分辨率方法中比较具有代表性的方法是基于稀疏编码的方法，所述方法将一个低分辨率输入图像补丁表示为低分辨率字典原子的稀疏线性组合，而目标高分辨率图像补丁由高分辨率字典中的对应原子和相同的稀疏表示权重生成。
基于回归的超分辨率方法在很大程度上促进了超分辨率问题的求解。所述方法能够求解出低分辨率空间和高分辨率空间之间的映射关系。在这类方法中，有些方法将图像特征空间视为一个整体，并求解出一个全局映射模型；有些方法认为图像特征空间是局部线性的，首先将特征空间分为多个子空间，然后学习出多个局部线性映射模型。
决策树能够用来解决分类和回归的问题。基于决策树和随机森林的超分辨率方法也是将图像特征空间分为多个子空间，每个子空间学习得到用于超分辨率重建的映射模型。
基于深度卷积神经网络的超分辨率方法将图像特征空间视为一个整体，在该图像特征空间中，这类方法只求解出一个全局映射模型用于超分辨率问题求解。这一映射模型描述为一个深度卷积神经网络，该网络的输入是一幅低分辨率图像，输出是一幅高分辨率图像。基于深度卷积神经网络的超分辨率方法是一种端到端的映射。
在基于学习的单幅图像超分辨率算法中，基于深度卷积神经网络的方法是计算复杂的，这些算法需要花费大量时间训练映射模型，这使得该类算法很难被应用到某些实例中。一些基于稀疏编码的超分辨率方法提取图像补丁的梯度作为图像特征，这一图像特征提取方式也增加了算法计算复杂性。基于决策树和随机森林的超分辨率方法分别因其复杂的树结构和决策树的数量而获得了较慢运行速度。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于哈达玛变换的单幅图像超分辨率方法。本发明通过学习得到从低分辨率空间到高分辨率空间的分段线性回归模型，并使用这些模型对低分辨率输入图像进行超分辨率重建。本发明能够以较快的运行速度来生成高质量的超分辨率重建图像。
本发明的目的能够通过以下技术方案实现：
一种基于哈达玛变换的单幅图像超分辨率方法，具体步骤包括：
训练得到从低分辨率空间到高分辨率空间的分段线性映射模型阶段以 及超分辨率重建阶段；
所述训练得到从低分辨率空间到高分辨率空间的分段线性映射模型阶段，包括：
采用双立方插值核对高分辨训练图像进行采样，获得对应的低分辨率训练图像，组成低分辨率-高分辨率图像对；所有的低分辨率-高分辨率图像对组成训练图像数据集，并提取低分辨率-高分辨率图像补丁对；
对向量化的低分辨率训练图像补丁执行哈达玛变换来计算其哈达玛模式，并以此作为图像特征；
根据得到的图像特征，构建一棵三叉超分辨率决策树；将训练数据进行划分产生的分割信息存储在超分辨率决策树的每一个非叶子节点中；
训练数据分类结束后，对超分辨率决策树的每一个叶子节点，都有一部分训练数据；根据划分到每一个叶子节点的训练数据计算出一个从低分辨率空间到高分辨率空间的映射模型，并将该映射模型的索引存储在相应叶子节点中。
所述超分辨率重建阶段，包括：
输入一幅低分辨率图像，按照光栅扫描顺序从中提取低分辨率图像补丁；所述光栅扫描顺序为从左到右，从上到下；
计算每一个低分辨率图像补丁的哈达玛模式；
依据计算得到的哈达玛模式，在构建的三叉超分辨率决策树中为每一个低分辨率图像补丁搜索对应的映射模型；
每一个低分辨率图像补丁通过搜索到的对应的映射模型生成高分辨率补丁，所有生成的高分辨率图像补丁组成目标高分辨率输出图像。
具体地，所构建的三叉超分辨率决策树的非叶子节点存储了分割阈值、 其子节点的索引以及当前节点所处树的深度，超分辨率决策树的叶子节点存储了对应映射模型的索引。
具体地，在分割非叶子节点j的训练数据时，假设该节点中训练补丁对低分辨率图像补丁L j和高分辨率图像补丁H j的数量为N j并且足够，首先为节点j的训练数据生成哈达玛模式P j，假设这次分割处于第k轮(k＝1，…，15)，使用P j的第Seq[k]列来对L j和H j进行分类。首先将P j的第Seq[k]列进行升序排列得到P S，具体公式为：
P S＝Sort(P j(:,Seq[k] th))  (3)
然后通过从
Figure PCTCN2019112053-appb-000001
中选取分割阈值v 1和v 2，具体公式为：
Figure PCTCN2019112053-appb-000002
其中v∈(0,1)控制了选取阈值的位置，同时限制了三个子节点上训练数据的数量。在本发明中，参数v的值设为0.5。
当P j第Seq[k]列上的值比v 1小，对应部分的训练数据被划分到左子节点；当P j第Seq[k]列上的值比v 2大，对应部分的训练数据被划分到右子节点；剩余部分训练数据被划分到中子节点。然后将一组参数β j＝[k ind l ind m ind r v 1 v 2]存储在当前非叶子节点中，其中，参数k表示当前非叶子节点的深度(也就是该节点的训练数据在第几轮内进行数据分割)。ind l，ind m和ind r分别表示指向左子节点、中子节点和右子节点的索引。v 1和v 2是学习到的分割阈值，其中v 1比v 2小。
具体地，每一次数据分割都应满足公式(5)表示的条件：
min(N l,N m,N r)≥min_num   (5)
其中，N l,N m和N r分别表示左子节点、中子节点和右子节点训练数据的数量，min_num表示一个叶子节点中训练样本的最小数量。在本发明中， min_num的值设为512。
在一次数据分割结束后，当有一个子节点的样本数量比min_num小，则此次分割被判定无效，当前节点被标记为叶子节点。
对每个叶子节点q，与之对应的映射模型通过使用最小二乘方法解决公式(6)中的问题获得，约束条件是M q的每一列模为1。
H q＝L qM q   (6)
其中M q是第q个叶子节点对应的回归系数矩阵，H q和L q分别是到达叶子节点q的高分辨率训练数据和对应的低分辨率训练数据。
本发明相较于现有技术，具有以下的有益效果：
本发明通过哈达玛变换提取图像特征，因为只涉及到加减法运算的哈达玛变换是快速的。由于采用了三叉决策树数据结构，因此在保证超分辨率重建质量的同时进一步提高了算法的运行速度。
附图说明
图1本发明中训练从低分辨率空间到高分辨率空间的分段线性映射模型的流程图；
图2为哈达玛矩阵的可视化的图像；
图3为进行超分辨率重建的流程图；
图4为本发明与各个对比方法基于测试图像数据集Set5，在速度和精度方面的权衡。放大因子为2，客观评价指标为峰值信噪比(PSNR)。
图5为本发明与各个对比方法基于测试图像数据集Set14，在速度与精度方面的权衡。放大因子为2，客观评价指标为峰值信噪比(PSNR)。
图6为当放大因子为2时，各个方法对蝴蝶图像的超分辨率的结果示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
一种基于哈达玛变换的单幅图像超分辨率方法，具体步骤包括：
训练得到从低分辨率空间到高分辨率空间的分段线性映射模型阶段以及超分辨率重建阶段；
所述训练得到从低分辨率空间到高分辨率空间的分段线性映射模型阶段如图1所示，包括：
S101、获取高分辨率训练图像，并采用双立方插值核进行采样获得对应的低分辨率训练图像，组成低分辨率-高分辨率图像对；所有的低分辨率-高分辨率图像对组成训练图像数据集，并提取低分辨率-高分辨率图像补丁对；
训练数据提取完成后，将每一个低分辨率图像补丁用一个行向量表示并堆叠成一个矩阵，对应的高分辨率图像补丁进行相同的处理。
S102、对向量化的低分辨率训练图像补丁执行哈达玛变换来计算其哈达玛模式，并以此作为图像特征；
哈达玛变换的运算子是哈达玛矩阵。哈达玛矩阵具有多种形式，选取一种阶数为2 n的哈达玛矩阵，不同阶数的哈达玛矩阵之间能够通过迭代方程获取，具体计算公式为：
Figure PCTCN2019112053-appb-000003
本实施例中采用上述形式的哈达玛矩阵，且矩阵阶数为16。
优选地，16阶哈达玛矩阵的每一列都相当于一个卷积滤镜，能够被用来获取一个低分辨率图像补丁图像特征的不同统计。16阶哈达玛矩阵的第一列全为1，这一列表示的滤镜仅仅可以计算低分辨率图像补丁中所有像素值的和，该滤镜不能反映出低分辨率图像补丁的纹理特点。因此在本实施例中，将16阶哈达玛矩阵的第一列删除，得到一个新矩阵。下文所指的哈达玛矩阵皆表示新矩阵。
因此，本实施例中的哈达玛矩阵具有15列，每一列都可变形为一个4×4矩阵，哈达玛矩阵的可视化如图2所示。其中白色表示+1，黑色表示-1。图2中(a)-(o)分别表示哈达玛矩阵的第1列到第15列。图2中大的黑色(白色)块表示低频信号，小尺寸方块表示高频信号。小尺寸与噪声关联度更高。因此，本实施例中设置序列Seq，所述序列Seq表示为：
Seq＝[2 8 3 12 10 1 4 11 14 6 9 15 7 13 5]   (2)
为了保证划分的准确及高效，先按照低频信息进行划分。根据图2中方块的大小进行排序，确定了上述序列Seq。序列Seq中每个数表示哈达玛矩阵相应的列。根据上述确定的序列Seq，执行15轮分割将训练数据分为不同类型，每一轮分割都依据低分辨率训练数据哈达玛模式的对应列。
S102、根据得到的图像特征，构建一棵三叉超分辨率决策树；将训练数据进行分类产生的分割信息存储在超分辨率决策树的每一个非叶子节点中；
在本实施例中的学习超分辨率决策树的过程中，训练数据从一个非叶子节点分割到3个子节点。当一个子节点中训练样本的数量大于一个设定的最小值，则继续对这个节点的训练数据进行分割。否则，这个子节点变成一个叶子节点，这个节点不再进行进一步的数据分割。
本实施例采用所有的训练数据初始化超分辨率决策树的根节点，根据上述已经确定的序列Seq，在第一轮数据分割中，使用生成的哈达玛模式的第二列(Seq[1])并结合两个学习得到的分割阈值将训练数据分为三类。到目前为止，超分辨率决策树有一个根节点和3个子节点。
接着对这3部分分别进行第二轮数据分割。在第二轮分割过程中，使用每一部分训练数据对应哈达玛模式的第八列执行进一步的数据分类。在本发明中，一轮数据分割完成后才会进行下一轮，因此本实施例中总共需要进行15轮数据分割。在第k轮训练数据分割中(k＝1，…，15)，执行多少次数据分割取决于当前非叶子节点的个数。对每个非叶子节点，其训练数据是根据其哈达玛模式的第Seq[k]列进行分割。通过将非叶子节点的训练数据分割到叶子节点中，超分辨率决策树逐步构建起来。当执行第k轮分割时，正在构建超分辨率决策树的第k层。超分辨率决策树的深度最多只有16，因为Q 15有15列，所以生成的哈达玛模式有15列。
本实施例中根节点的深度为1，当完成第15轮数据分割，生成的子节点被标记为叶子节点。
在分割非叶子节点j的训练数据时，假设该节点中训练补丁对低分辨率图像补丁L j和高分辨率图像补丁H j的数量为N j并且足够，首先为节点j的训练数据生成哈达玛模式P j。本实施例中假设这次分割处于第k轮(k＝1，…，15)，使用P j的第Seq[k]列来对L j和H j进行分类。首先将P j的第Seq[k]列进行升序排列得到P S，具体公式为：
P S＝Sort(P j(:,Seq[k] th))    (3)
然后通过从
Figure PCTCN2019112053-appb-000004
中选取分割阈值v 1和v 2，具体公式为：
Figure PCTCN2019112053-appb-000005
其中v∈(0,1)控制了选取阈值的位置，同时限制了三个子节点上训练数据的数量。在本发明中，参数v的值设为0.5。
当P j第Seq[k]列上的值比v 1小，对应部分的训练数据被划分到左子节点；当P j第Seq[k]列上的值比v 2大，对应部分的训练数据被划分到右子节点；剩余部分训练数据被划分到中子节点。然后将一组参数β j＝[k ind l ind m ind r v 1 v 2]存储在当前非叶子节点中，其中，参数k表示当前非叶子节点的深度(也就是该节点的训练数据在第几轮内进行数据分割)。ind l，ind m和ind r分别表示指向左子节点、中子节点和右子节点的索引。v 1和v 2是学习到的分割阈值，其中v 1比v 2小。
具体地，每一次数据分割都应满足公式(5)表示的条件：
min(N l,N m,N r)≥min_num    (5)
其中，N l,N m和N r分别表示左子节点、中子节点和右子节点训练数据的数量，min_num表示一个叶子节点中训练样本的最小数量。在本发明中，min_num的值设为512。
在一次数据分割结束后，当有一个子节点的样本数量比min_num小，则此次分割被判定无效，当前节点被标记为叶子节点。
在本实施例中，当进行一次新的数据分割之前，首先检查当前节点的样本数量是否比3*min_num少。如果是，则当前节点被标记为叶子节点。
S104、训练数据分类结束后，对超分辨率决策树的每一个叶子节点，都有一部分训练数据；根据划分到每一个叶子节点的训练数据计算出一个从低分辨率空间到高分辨率空间的映射模型，并将该映射模型的索引存储在相应叶子节点中；
对每个叶子节点，在步骤14中，本发明用划分到此的训练数据学习出 从低分辨率空间到高分辨率空间的映射模型。
超分辨率决策树中每个非叶子节点存储了当前节点在树中的深度、学习到的分割阈值和指向其子节点的索引。学习到的分割阈值用来进行分类。训练数据或是测试数据的哈达玛模式与学习到的分割阈值进行比较，根据比较结果，训练数据或是测试数据被传递到当前节点的左子节点、中子节点或右子节点。超分辨率决策树中的叶子节点存储了与其对应的映射模型的索引。如果当前叶子节点是构建超分辨率决策树过程中产生的第q个叶子节点，q是指向映射模型M q的索引。M q是使用到达叶子节点q的训练数据计算出的映射模型。
对每个叶子节点q，与之对应的映射模型通过使用最小二乘方法解决公式(6)中的问题获得，约束条件是M q的每一列的模为1。
H q＝L qM q    (6)
其中M q是第q个叶子节点对应的回归系数矩阵，H q和L q分别是到达叶子节点q的高分辨率训练数据和对应的低分辨率训练数据。
至此三叉超分辨率决策树构建完成。
超分辨率重建阶段如图3所示，包括：
S201、输入一幅低分辨率图像，按照光栅扫描顺序从中提取低分辨率图像补丁；
首先使用一个大小为4×4滑动窗口从低分辨率输入图像中以光栅扫描的顺序提取图像补丁。每次滑动窗口移动一个像素位置。
S202、计算每一个低分辨率图像补丁的哈达玛模式；
为提取出的每一个图像补丁计算哈达玛模式。首先将提取出的低分辨率图像补丁进行向量化，然后对其执行哈达玛变换，获取哈达玛模式。
S203、依据计算得到的哈达玛模式，在构建的三叉超分辨率决策树中为每一个低分辨率图像补丁搜索对应的映射模型；
为每一个低分辨率图像补丁搜索对应的映射模型，首先将该图像补丁的哈达玛模式传入到学习出的超分辨率决策树中。然后根据目前所处树的深度(depth)，本发明将该图像补丁的哈达玛模式的第Seq[depth]列与当前节点的分割阈值进行比较，根据比较结果将该图像补丁传递到下一个节点，直至到达一个叶子节点。
S204、每一个低分辨率图像补丁通过搜索到的对应的映射模型高分辨率图像补丁，所有生成的高分辨率图像补丁组成目标高分辨率输出图像。
利用低分辨率图像补丁的哈达玛模式在超分辨率决策树中为其搜索到对应的映射模型，根据搜索到的映射模型进行超分辨率重建。
至此，所有生成的高分辨率图像补丁组成目标高分辨率输出。
图4表示了本发明的方法与各个对比方法基于测试图像数据集Set5，在速度与精度方面的权衡。此时放大因子为2，客观评价指标为峰值信噪比(PSNR)；图5示出了本发明的方法与各个对比方法基于测试图像数据集Set14，在速度与精度方面的权衡。此时放大因子为2，客观评价指标为峰值信噪比(PSNR)。用于对比的方法有基于稀疏编码的超分辨率方法(ANR,A+)、基于决策树的超分辨率方法(RFL,SRHDT_f*)和基于神经网络的超分辨率方法(SRCNN,LapSRN)。图4和图5展示了本发明的方法能够以最快的运行速度产生最好的超分辨率结果。
图6示出了放大因子为2时，各个方法对蝴蝶图像的超分辨率结果。本发明的方法能够重建出更清晰的边缘，恢复出更详细的信息。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上 述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

  1. 一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，具体步骤包括：
    训练分段线性映射模型阶段以及超分辨率重建阶段；
    所述训练分段线性映射模型阶段，包括：
    获取高分辨率训练图像，并采用双立方插值核进行采样获得对应的低分辨率训练图像，组成低分辨率-高分辨率图像对，并提取低分辨率-高分辨率图像补丁对；
    对向量化的低分辨率训练图像补丁执行哈达玛变换来计算其哈达玛模式，并以此作为图像特征；
    根据得到的图像特征，构建一棵三叉超分辨率决策树；将训练数据进行划分产生的分割信息存储在超分辨率决策树的每一个非叶子节点中；
    训练数据分类结束后，对超分辨率决策树的每一个叶子节点，都有一部分训练数据；根据划分每一个叶子节点的训练数据计算出一个从低分辨率空间到高分辨率空间的映射模型，并将该映射模型的索引存储在相应叶子节点中；
    所述超分辨率重建阶段，包括：
    输入一幅低分辨率图像，按照光栅扫描顺序从中提取低分辨率图像补丁；
    计算每一个低分辨率图像补丁的哈达玛模式；
    依据计算得到的哈达玛模式，在构建的三叉超分辨率决策树中为每一个低分辨率图像补丁搜索对应的映射模型；
    每一个低分辨率图像补丁通过搜索到的对应的映射模型生成高分辨率补丁，所有生成的高分辨率图像补丁组成目标高分辨率输出图像。
  2. 根据权利要求1所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，所构建的三叉超分辨率决策树的非叶子节点存储了分割阈值、其子节点的索引以及当前节点所处树的深度；超分辨率决策树的叶 子节点存储了对应映射模型的索引。
  3. 根据权利要求1所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，在分割非叶子节点j的训练数据时，假设该节点中训练补丁对低分辨率图像补丁L j和高分辨率图像补丁H j的数量为N j并且足够，首先为节点j的训练数据生成哈达玛模式P j，假设这次分割处于第k轮(k＝1，…，15)，使用P j的第Seq[k]列来对L j和H j进行分类；
    首先将P j的第Seq[k]列进行升序排列得到P s，具体公式为：
    P s＝Sort(P j(:,Seq[k] th))  (3)
    然后通过从
    Figure PCTCN2019112053-appb-100001
    中选取分割阈值v 1和v 2，具体公式为：
    Figure PCTCN2019112053-appb-100002
    其中v∈(0,1)，控制了选取阈值的位置，同时限制了三个子节点上训练数据的数量；参数v的值设为0.5。
  4. 根据权利要求3所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，当P j第Seq[k]列上的值比v 1小，对应部分的训练数据被划分到左子节点；当P j第Seq[k]列上的值比v 2大，对应部分的训练数据被划分到右子节点；剩余部分训练数据被划分到中子节点；然后将一组参数β j＝[k ind l ind m ind r v 1 v 2]存储在当前非叶子节点中；其中，参数k表示当前非叶子节点的深度；ind l，ind m和ind r分别表示指向左子节点、中子节点和右子节点的索引；v 1和v 2是学习到的分割阈值，v 1比v 2小。
  5. 根据权利要求1所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，每一次数据分割都应满足公式(5)表示的条件：
    min(N l,N m,N r)≥min_num   (5)
    其中，N l,N m和N r分别表示左子节点、中子节点和右子节点训练数据的数量，min_num表示一个叶子节点中训练样本的最小数量；min_num的值设为512；
    在一次数据分割结束后，当有一个子节点的样本数量比min_num小， 则此次分割被判定无效，当前节点被标记为叶子节点。
  6. 根据权利要求1所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，对每个叶子节点q，与之对应的映射模型通过使用最小二乘方法解决公式(6)中的问题获得，约束条件是M q的每一列的模为1；
    H q＝L qM q  (6)
    其中M q是第q个叶子节点对应的回归系数矩阵，H q和L q分别是到达叶子节点q的高分辨率训练数据和对应的低分辨率训练数据。
PCT/CN2019/112053 2018-11-15 2019-10-18 一种基于哈达玛变换的单幅图像超分辨率方法 WO2020098449A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811357052.9A CN109598676A (zh) 2018-11-15 2018-11-15 一种基于哈达玛变换的单幅图像超分辨率方法
CN201811357052.9 2018-11-15

Publications (1)

Publication Number Publication Date
WO2020098449A1 true WO2020098449A1 (zh) 2020-05-22

Family

ID=65958534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/112053 WO2020098449A1 (zh) 2018-11-15 2019-10-18 一种基于哈达玛变换的单幅图像超分辨率方法

Country Status (2)

Country Link
CN (1) CN109598676A (zh)
WO (1) WO2020098449A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784584A (zh) * 2020-07-14 2020-10-16 云南电网有限责任公司昆明供电局 一种基于深度学习的绝缘子遥感影像超分辨率方法
CN112308781A (zh) * 2020-11-23 2021-02-02 中国科学院深圳先进技术研究院 一种基于深度学习的单幅图像三维超分辨率重构方法
CN113191945A (zh) * 2020-12-03 2021-07-30 陕西师范大学 一种面向异构平台的高能效图像超分辨率系统及其方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598676A (zh) * 2018-11-15 2019-04-09 华南理工大学 一种基于哈达玛变换的单幅图像超分辨率方法
CN110675326B (zh) * 2019-07-24 2022-04-22 西安理工大学 基于U-Net网络的计算鬼成像重建恢复的方法
WO2021031069A1 (zh) * 2019-08-19 2021-02-25 深圳先进技术研究院 一种图像重建方法及装置
CN111416779B (zh) * 2020-03-27 2022-04-19 西安电子科技大学 基于时限的互联网业务队列调度方法
CN111402143B (zh) * 2020-06-03 2020-09-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778659A (zh) * 2015-04-15 2015-07-15 杭州电子科技大学 基于深度学习的单帧图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
US20170280052A1 (en) * 2014-09-30 2017-09-28 Beijing Zhigu Tech Co., Ltd. Super-resolution image acquisition methods and apparatus
CN109598676A (zh) * 2018-11-15 2019-04-09 华南理工大学 一种基于哈达玛变换的单幅图像超分辨率方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666163A (en) * 1994-07-12 1997-09-09 Sony Corporation Electronic image resolution enhancement by frequency-domain extrapolation
US9934714B2 (en) * 2014-03-18 2018-04-03 Nvidia Corporation Superresolution display using cascaded panels
CN104918047B (zh) * 2015-05-29 2018-08-03 北京奇艺世纪科技有限公司 一种双向运动估计的排除方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170280052A1 (en) * 2014-09-30 2017-09-28 Beijing Zhigu Tech Co., Ltd. Super-resolution image acquisition methods and apparatus
CN104778659A (zh) * 2015-04-15 2015-07-15 杭州电子科技大学 基于深度学习的单帧图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN109598676A (zh) * 2018-11-15 2019-04-09 华南理工大学 一种基于哈达玛变换的单幅图像超分辨率方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BAI, YANG ET AL.: "Non-official translation: Application of Matlab in Super Resolution Image Reconstruction", TECHNOLOGY APPLICATION, no. 19, 31 October 2011 (2011-10-31), pages 143 - 144 *
LIU, JUN: "Constrained Random Forest Algorithm for Single Image Super-Resolution", COMPUTER ENGINEERING AND DESIGN, vol. 38, no. 4, 30 April 2017 (2017-04-30), pages 970 - 975 *
SONG, XIAONING: "An Improved Fuzzy Support Vector Machine and Its Application to Face Recognition", MICROCOMPUTER DEVELOPMENT, vol. 15, no. 3, 31 March 2005 (2005-03-31), pages 23 - 25 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784584A (zh) * 2020-07-14 2020-10-16 云南电网有限责任公司昆明供电局 一种基于深度学习的绝缘子遥感影像超分辨率方法
CN111784584B (zh) * 2020-07-14 2023-08-01 云南电网有限责任公司昆明供电局 一种基于深度学习的绝缘子遥感影像超分辨率方法
CN112308781A (zh) * 2020-11-23 2021-02-02 中国科学院深圳先进技术研究院 一种基于深度学习的单幅图像三维超分辨率重构方法
CN113191945A (zh) * 2020-12-03 2021-07-30 陕西师范大学 一种面向异构平台的高能效图像超分辨率系统及其方法
CN113191945B (zh) * 2020-12-03 2023-10-27 陕西师范大学 一种面向异构平台的高能效图像超分辨率系统及其方法

Also Published As

Publication number Publication date
CN109598676A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
WO2020098449A1 (zh) 一种基于哈达玛变换的单幅图像超分辨率方法
CN109543754B (zh) 基于端对端深度学习的目标检测与语义分割的并行方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN111932457B (zh) 遥感影像高时空融合处理算法及装置
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
US7536064B2 (en) Image comparison by metric embeddings
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN108428220B (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN111144214B (zh) 基于多层堆栈式自动编码器的高光谱图像解混方法
DE102017006563A1 (de) Bildpatchabgleich unter Nutzung eines wahrscheinlichkeitsbasierten Abtastens auf Grundlage einer Vorhersage
CN113312993B (zh) 一种基于PSPNet的遥感数据土地覆盖分类方法
CN109712150A (zh) 基于稀疏表示的光学微波图像融合重建方法和装置
CN111144234A (zh) 一种基于深度学习的视频sar目标检测方法
CN109636722B (zh) 一种基于稀疏表示的在线字典学习超分辨率重建的方法
CN109345549A (zh) 一种基于自适应复合近邻图的自然场景图像分割方法
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN112598575B (zh) 一种基于特征处理的图像信息融合及超分辨率重建方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN110517272B (zh) 基于深度学习的血细胞分割方法
CN111091580A (zh) 一种基于改进ResNet-UNet网络的立木图像分割方法
CN115082780A (zh) 基于增量式差异学习网络的多源异质影像变化检测方法
Jing et al. Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks
Zhang et al. Application of isolated forest algorithm in deep learning change detection of high resolution remote sensing image
CN104881842B (zh) 一种基于图像分解的图像超分辨率方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19883987

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24.08.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19883987

Country of ref document: EP

Kind code of ref document: A1