WO2018120329A1 - 基于稀疏域重构的单帧图像超分辨重建方法及装置 - Google Patents

基于稀疏域重构的单帧图像超分辨重建方法及装置 Download PDF

Info

Publication number
WO2018120329A1
WO2018120329A1 PCT/CN2017/071334 CN2017071334W WO2018120329A1 WO 2018120329 A1 WO2018120329 A1 WO 2018120329A1 CN 2017071334 W CN2017071334 W CN 2017071334W WO 2018120329 A1 WO2018120329 A1 WO 2018120329A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
image
low
feature
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/071334
Other languages
English (en)
French (fr)
Inventor
李冀翔
许神贤
周明忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Technology Co Ltd
Priority to US15/504,503 priority Critical patent/US20180225807A1/en
Publication of WO2018120329A1 publication Critical patent/WO2018120329A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention relates to the field of graphics processing, and in particular, to a single frame image super-resolution reconstruction method and apparatus based on sparse domain reconstruction.
  • Image super-resolution reconstruction refers to the technique of obtaining a clear high-resolution image by signal processing technology using one or more low-resolution images.
  • the technology can effectively overcome the insufficiency of the inherent resolution of the imaging device, break through the limitations of the imaging environment, and obtain high-quality images higher than the physical resolution of the imaging system at the lowest cost without changing the existing imaging system.
  • This technology has a very wide application prospect, is the face detection and recognition technology in low-quality intelligent security monitoring system, the key technology of intelligent robot, and also the driving force for promoting the development of intelligent display technology.
  • the prior art is based on an interpolation method.
  • the method first determines a pixel value of a corresponding low resolution image on the reconstructed image according to the magnification, and then estimates an unknown pixel value on the reconstructed image grid using the determined interpolation kernel function or an adaptive interpolation kernel function.
  • Such methods are simple and efficient, and the computational complexity is low, but it is difficult to select a suitable interpolation function based on the prior knowledge of the image to obtain a high quality reconstructed image.
  • the essential reason is that the interpolation based method does not increase compared to the lower resolution image. Reconstruct the amount of information in the image. Therefore, it is necessary to provide a single-frame image super-resolution reconstruction algorithm based on sparse domain reconstruction, which can select a suitable interpolation function according to the prior knowledge of the image to obtain a high-quality reconstructed image.
  • the technical problem to be solved by the present invention is the technical problem in the prior art that a high-quality reconstructed image cannot be obtained according to the prior knowledge of the image, and the present invention provides a suitable knowledge according to the prior knowledge of the image.
  • the interpolation function obtains the reconstruction of the high quality reconstructed image law.
  • a single frame image super-resolution reconstruction method based on sparse domain reconstruction comprising:
  • the training phase is a mapping model for learning a low resolution image on the training data set to obtain a corresponding high resolution image, including:
  • the synthesis phase is to apply the learned mapping model to the input low resolution image to synthesize a high resolution image, including:
  • step (A) in the step (1) includes:
  • the horizontal direction is a step degree G X
  • the vertical direction is a step degree G Y
  • the horizontal direction is two steps L X
  • the vertical direction is two steps L Y , respectively:
  • Low resolution image training set A step of respectively G X, a vertical direction of the horizontal direction of a step G Y, second order Second Derivative L Y L X, the vertical gradient of the horizontal direction convolution operation, to obtain the original low-resolution Feature training set
  • the projection matrix V pca and the low-resolution feature training set are obtained.
  • N s is the number of high-resolution images
  • N s is the number of low-resolution images
  • T is the transposition operation
  • N sn is the number of original low-resolution features
  • N sn is the number of low resolution features.
  • step (B) in the step (1) comprises:
  • the high resolution image training set And corresponding low resolution image training set Subtraction to obtain a high frequency image set
  • N sn the number of high-resolution features
  • ⁇ l the regular term coefficient optimized by l 1 norm
  • F is the F-norm
  • 1 is 1 norm.
  • step (C) in the step (1) comprises:
  • the initial value ⁇ h0 of the high resolution dictionary is solved according to the high resolution feature training set Y S and the low resolution feature coding coefficient B l :
  • the sparseness of the high resolution feature is the error term E D :
  • the sparse domain mapping error term E M is:
  • B l is a low resolution feature coding coefficient
  • Y S is a high resolution feature training set
  • T is a matrix transpose operation
  • ( ⁇ ) -1 is a matrix inversion operation
  • Y S is a high resolution feature training set
  • ⁇ h is a high resolution dictionary
  • B h is a high resolution feature coding coefficient
  • B l is a low resolution feature coding coefficient
  • M is a mapping matrix of low resolution feature coding coefficients to high resolution feature coefficients
  • E D is The sparseness of high-resolution features is the error term
  • E M is the sparse domain mapping error term
  • ⁇ is the mapping error term coefficient
  • ⁇ is the l 1 norm optimization regular term coefficient
  • ⁇ is the mapping matrix regular term coefficient
  • the i-th atom of the high-resolution dictionary ⁇ h is a low resolution feature training set
  • T is a matrix transpose operation
  • ( ⁇ ) -1 is a matrix inversion operation
  • Y S is a
  • step (D) in the step (1) comprises:
  • the high-resolution feature coding coefficient B h and the mapping matrix M are fixed values, and the high-resolution dictionary ⁇ h is solved according to the quadratic constrained quadratic programming method to obtain:
  • mapping matrix M (t) of the t-th iteration is solved:
  • ⁇ h0 is used as the iterative initial value of the high-resolution dictionary
  • E is the unit matrix.
  • Y S is a high-resolution feature training set.
  • the augmented matrix of the high-resolution dictionary ⁇ is the sparse domain mapping error term coefficient, the value is 0.1, ⁇ is the L1 norm optimization regular term coefficient, and the value is 0.01;
  • ⁇ is the iterative step size, ⁇ is the sparse domain Mapping the error term coefficients, ⁇ is the mapping matrix regular term coefficient.
  • step (a) in the step (2) comprises:
  • the low resolution image is processed in the same training phase to obtain the low resolution test feature X R .
  • step (b) in the step (2) comprises:
  • the low resolution test feature X R is encoded on the low resolution dictionary ⁇ l obtained in the training phase by an orthogonal matching pursuit algorithm to obtain a low resolution test feature coding coefficient B' l .
  • step (c) in the step (2) comprises:
  • the low resolution test feature coding coefficient B' l is mapped to the mapping matrix M in step (1) to obtain a high resolution test feature coding coefficient B' h ;
  • the high-resolution dictionary ⁇ h obtained in the training phase is multiplied with the high-resolution test feature coding coefficient B′ h to obtain a high-resolution test feature Y R .
  • the invention also discloses a device for super-resolution reconstruction of single frame image based on sparse domain reconstruction, package
  • the invention comprises an extraction module connected in sequence, an operation module for numerical calculation, a storage module and a graphic output module;
  • the extraction module is configured to extract image features
  • the storage module is configured to store data, including a single chip microcomputer and an SD card, and the single chip is connected to the SD card for controlling the SD card to perform read and write operations;
  • the SD card is used for storing and transmitting data
  • the graphic output module is configured to output an image and compare it with an input image, including a liquid crystal display and a printer.
  • the extraction module includes an edge detection module, a noise filtering module, and a graphics segmentation module that are sequentially connected;
  • the edge detection module is configured to detect image edge features
  • the noise filtering module is configured to filter out noise in image features
  • the image segmentation module is configured to segment an image.
  • the present invention adopts the first paradigm of instance mapping learning, the mapping M from the low-resolution feature B l on the sparse domain to the high-resolution feature B h on the sparse domain and the high-resolution feature B h to the high-resolution feature on the sparse domain.
  • Y S mapping is jointly trained, and the mapping error and reconstruction error are evenly spread to the mapping operator M, the reconstructed high resolution dictionary ⁇ h and the reconstructed high resolution sparse coefficient B h , avoiding the specific one because of the error
  • the quality of the reconstruction is greatly affected, so the mapping of low resolution features to high resolution features is described more accurately.
  • the third effect is that a suitable interpolation function can be selected according to the prior knowledge of the image to obtain a high quality reconstructed image.
  • Figure 1 is a schematic view showing the training phase of the method of the present invention
  • Figure 2 is a flow chart of the training phase of the method of the present invention.
  • Figure 3 is a schematic view showing the synthesis stage of the method of the present invention.
  • Figure 4 is a flow chart of the synthesis stage of the method of the present invention.
  • FIG. 5 is a block diagram showing the structure of the apparatus of the present invention.
  • Figure 1 is a schematic illustration of the training phase of the method of the present invention.
  • Figure 2 is a flow chart of the training phase of the method of the present invention.
  • Figure 3 is a schematic representation of the stage of synthesis of the method of the invention.
  • Figure 4 is a flow diagram of the synthesis phase of the method of the present invention.
  • Figure 5 is a block diagram showing the structure of the apparatus of the present invention.
  • the embodiment provides the apparatus shown in FIG. 5, which includes an extraction module, an operation module, a storage module and a graphic output module, which are sequentially connected; the operation module is used for numerical calculation, and the extraction module is used for extracting image features; the storage The module is used for storing data, and comprises an 80C51 general-purpose single-chip microcomputer and an SD card, wherein the single-chip microcomputer is connected to the SD card for controlling the SD card to perform read and write operations; the SD card is used for storing and transmitting data; and the graphic output module is used for The image is output and compared to the input image, including the LCD display and printer.
  • the extraction module includes an edge detection module, a noise filtering module and a graphic segmentation module, which are sequentially connected; the edge detection module is configured to detect image edge features; and the noise filtering module is configured to filter out noise in image features;
  • the image segmentation module is used to segment an image.
  • the device is applied to the method of the embodiment, and the method is divided into a training phase and a synthesis phase.
  • the framework of the algorithm training phase is shown in Figure 1 and Figure 2:
  • Training set based on low resolution image Construct wherein the low resolution training set X S, a step of definition of the horizontal G X, a vertical direction of the step G Y, second order gradient of the horizontal direction L X, L Y vertical second order gradient operator template are :
  • T represents the transpose operation
  • the low resolution image training set Convolution operation is performed with an operator template of a step degree G X in the horizontal direction, a step degree G Y in the vertical direction, two steps L X in the horizontal direction, and two steps L Y in the vertical direction, respectively, to obtain the original Low resolution feature training set among them
  • N sn represents the number of original low resolution features.
  • the projection matrix V pca and the low-resolution feature training set are obtained.
  • N sn represents the number of low resolution features.
  • the high-resolution image training set And corresponding low resolution image training set Subtraction to obtain a high frequency image set
  • e p denotes the p-th high-frequency image
  • N s denotes the number of high-frequency images
  • the unit matrix is used as the operator template
  • the high-frequency image set E S is convoluted to obtain a high-resolution feature training set among them
  • N sn denotes the number of high-resolution features.
  • ⁇ l represents the regular term coefficient of the l 1 norm optimization
  • F represents the F norm
  • 1 represents the 1 norm.
  • the initial value ⁇ h0 of the high resolution dictionary is solved according to the high resolution feature training set Y S and the low resolution feature coding coefficient B l . It can be assumed that the low resolution feature and the corresponding high resolution feature are respectively in the low resolution dictionary.
  • B l represents a low resolution feature coding coefficient
  • Y S represents a high resolution feature training set
  • T represents a matrix transpose operation
  • ( ⁇ ) -1 represents a matrix inversion operation
  • Y S is a high-resolution feature training set
  • ⁇ h is a high-resolution dictionary
  • B h is a high-resolution feature coding coefficient
  • B l is a low-resolution feature coding coefficient
  • M is a low-resolution feature coding coefficient to a high
  • the mapping matrix of the resolution feature coefficients E D is the sparse representation error term of the high resolution feature
  • E M is the sparse domain mapping error term
  • ⁇ is the mapping error term coefficient.
  • the sparse representation error term E D of the high resolution feature is further represented as shown in equation (5):
  • ⁇ is a mapping matrix regular term coefficient
  • ⁇ is the sparse domain mapping error term coefficient, the value is 0.1, ⁇ is the L1 norm optimization regular term coefficient, and the value is 0.01; the fixed high resolution dictionary ⁇ h and the high resolution feature coding coefficient B h Keep the same, use the ridge regression optimization method to solve the mapping matrix M (t) of the t-th iteration:
  • ⁇ denotes the step size of the iteration
  • ⁇ is the sparse domain mapping error term coefficient
  • ⁇ is the mapping matrix regular term coefficient
  • the final ⁇ h , B h and M are obtained; thus completing the training of the super-resolution algorithm based on the sparse domain reconstruction. process.
  • the image is processed in the same training phase to obtain the low-resolution test feature X R , and the low-resolution test feature X R is tracked by the orthogonal matching on the low-resolution dictionary ⁇ l obtained in the training phase.
  • the algorithm performs coding to obtain a low-resolution test feature coding coefficient B′ l , and performs a projection operation on the low-resolution test feature coding coefficient B′ l and the mapping matrix M in the training phase to obtain a high-resolution test feature coding coefficient B′.
  • the high-resolution dictionary ⁇ h obtained in the training phase is multiplied with the high-resolution test feature coding coefficient B′ h to obtain a high-resolution test feature Y R , and finally the feature is fused to obtain a high-resolution image. So far, all the steps of this embodiment are completed.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于稀疏域重构的单帧图像超分辨重建方法及装置，主要解决现有技术中存在的不能够根据图像的先验知识选择合适的插值函数获得高质量的重建图像的技术问题。本发明通过采用实例映射学习的第一范式，将稀疏域上低分辨率特征Bl到稀疏域上高分辨率特征Bh的映射M与稀疏域上高分辨率特征Bh到高分辨率特征YS的映射进行联合训练，将映射误差和重构误差平摊到映射算子M、重构的高分辨率字典Φh以及重构的高分辨率稀疏系数Bh，避免具体一项因为误差较大影响重构质量，较好的解决了该问题，可用于图形处理中。

Description

基于稀疏域重构的单帧图像超分辨重建方法及装置 技术领域
本发明涉及图形处理领域，特别涉及一种基于稀疏域重构的单帧图像超分辨重建方法及装置。
背景技术
图像作为人类记载客观世界信息的载体，在工业生产和日常生活中具有重要作用，然而受成像系统设备状况、成像环境和有限网络数据传输带宽等条件的限制，成像过程往往存在运动模糊、下采样和噪声污染等退化过程，以至于实际获得的图像分辨率低、细节纹理丢失、主观视觉效果差。为了获得纹理清晰且细节丰富的高分辨率图像，最直接有效的方法就是通过改善制造工艺，来提高传感器设备和光学成像系统的物理分辨率级别，然而高昂的价格和复杂的改进流程严重限制了这类技术的发展前景。为此，我们需要一种价格低廉、效果突出的重建方法来提升图像的分辨率，在无需额外硬件支持的情况下最大程度地减弱模糊和噪声等外界环境的干扰，在现有工艺制造水平的条件下获取高质量、高品质的图像。图像超分辨率重建是指用一幅或者多幅低分辨率图像，通过信号处理技术来获得一幅清晰的高分辨率图像的技术。该技术能有效克服成像设备固有分辨率的不足，突破成像环境的限制，在不改变现有成像系统的前提下，能以最低的成本获取高于成像系统物理分辨率的高质量图像。该技术具有非常广泛的应用前景，是低质量智能安全监控系统中人脸检测与识别技术、智能机器人关键技术，也是推动智能显示技术发展的源动力。
现有技术是基于插值的方法。该方法首先根据放大倍数确定重建图像上对应低分辨率图像的像素值，然后利用确定的插值核函数或者自适应的插值核函数估计重建图像网格上的未知像素值。此类方法简单高效并且计算复杂度低，但是难以根据图像的先验知识选择合适的插值函数获得高质量的重建图像，其本质原因是基于插值的方法相比较低分辨率图像而言并没有增加重建图像的信息量。因此，提供一种可以根据图像的先验知识选择合适的插值函数获得高质量的重建图像的基于稀疏域重构的单帧图像超分辨重建算法是很有必要的。
发明内容
本发明所要解决的技术问题是现有技术中存在的不能根据图像的先验知识选择合适的插值函数获得高质量的重建图像的技术问题，本发明提供一种可以根据图像的先验知识选择合适的插值函数获得高质量的重建图像的重建算 法。
为解决上述技术问题，本发明采用的技术方案如下：
一种基于稀疏域重构的单帧图像超分辨重建方法，所述方法包括：
(1)训练阶段：
所述训练阶段是在训练数据集上学习低分辨率图像得到对应的高分辨率图像的映射模型，包括：
(A)根据低分辨率图形建立低分辨率特征集，根据高分辨率图形建立高分辨率特征集；
(B)根据K-SVD方法求解低分辨率特征对应的字典和稀疏编码系数；
(C)建立稀疏域重构优化目标方程式；
(D)根据二次约束二次规划算法、稀疏编码算法及岭回归算法交替优化，迭代求解，变化量小于阈值时停止；得到高分辨率字典，高分辨率稀疏编码系数及稀疏映射矩阵；
(2)合成阶段：
所述合成阶段是将学习到的映射模型应用于输入的低分辨率图像上，合成出高分辨率图像，包括：
(a)自分辨率图形进行提取特征；
(b)将所述低分辨率特征在所述训练阶段得到的字典上用OMP算法得到稀疏编码系数；
(c)将所述训练阶段得到的低分辨率编码系数应用于高分辨率字典上，从而合成高分辨率特征；
(d)融合高分辨率特征得到高分辨率图像。
上述方案中，为优化，进一步地，所述步骤(1)中步骤(A)包括：
选择高分辨率图像数据库作为图像训练集
Figure PCTCN2017071334-appb-000001
低分辨率图像集为
Figure PCTCN2017071334-appb-000002
水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY，分别为：
GX＝[1,0,-1]，GY＝[1,0,-1]T
Figure PCTCN2017071334-appb-000003
将低分辨率图像训练集
Figure PCTCN2017071334-appb-000004
分别与水平方向的一阶梯度GX、竖直方向的一阶梯度GY、水平方向的二阶梯度LX、竖直方向的二阶梯度LY进行卷积运算，获得原始的低分辨率特征训练集
Figure PCTCN2017071334-appb-000005
将原始低分辨率特征训练集ZS使用PCA方法进行维度约简后，获得投影矩阵Vpca和低分辨率特征训练集
Figure PCTCN2017071334-appb-000006
其中
Figure PCTCN2017071334-appb-000007
为第p幅高分辨率图像，Ns为高分辨率图像的数量，
Figure PCTCN2017071334-appb-000008
为第p幅低分辨率图像，Ns为低分辨率图像的数量；T为转置运算；
Figure PCTCN2017071334-appb-000009
为第i项原始低分辨率特征，Nsn为原始低分辨率特征的数量；
Figure PCTCN2017071334-appb-000010
为第i项的低分辨率特征，Nsn为低分辨率特征的数量。
进一步地，所述步骤(1)中步骤(B)包括：
将所述高分辨率图像训练集
Figure PCTCN2017071334-appb-000011
与对应的低分辨率图像训练集
Figure PCTCN2017071334-appb-000012
相减获得高频图像集
以单位矩阵作为算子模板，与高频图像集ES进行卷积运算，获得高分辨率特征训练集
Figure PCTCN2017071334-appb-000014
根据K-SVD算法求解低分辨率特征XS对应的低分辨率字典Φl和稀疏编码系数Bl；
Figure PCTCN2017071334-appb-000015
其中ep为第p幅高频图像，Ns为高频图像的数量；
Figure PCTCN2017071334-appb-000016
为第i项的高分辨率特征，Nsn为高分辨特征的数量；λl为l1范数优化的正则项系数，||·||F为F范数，||·||1为1范数。
进一步地，所述步骤(1)中步骤(C)包括：
根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的初始值Φh0：
假设低分辨率特征和对应的高分辨率特征分别在低分辨率字典上和高分辨率字典上具有相同的编码系数，根据最小平方误差，得出：
Figure PCTCN2017071334-appb-000017
对高分辨率特征的稀疏为项和稀疏域的映射模型建立初始优化目标公式：
Figure PCTCN2017071334-appb-000018
高分辨率特征的稀疏为误差项ED为：
Figure PCTCN2017071334-appb-000019
将稀疏域映射误差项EM为：
Figure PCTCN2017071334-appb-000020
得到稀疏域重构的优化目标公式为：
Figure PCTCN2017071334-appb-000021
其中，Bl为低分辨率特征编码系数，YS为高分辨率特征训练集，T为矩阵的转置运算，(·)-1为矩阵求逆运算；YS是高分辨率特征训练集，Φh是高分辨率字典，Bh是高分辨率特征编码系数，Bl是低分辨率特征编码系数，M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵，ED是高分辨率特征的稀疏为误差项，EM是稀疏域映射误差项，α是映射误差项系数；β是l1范数优化正则项系数；γ是映射矩阵正则项系数；
Figure PCTCN2017071334-appb-000022
为高分辨率字典Φh的第i项原子。
进一步地，所述步骤(1)中步骤(D)包括：
根据所述稀疏域重构的优化目标公式和高分辨率字典的初始值Φh0，迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M，
高分辨率特征编码系数Bh及映射矩阵M为固定值，根据二次约束二次规划方法求解高分辨率字典Φh，得到：
Figure PCTCN2017071334-appb-000023
通过
Figure PCTCN2017071334-appb-000024
进行稀疏编码，求解高分辨率特征编码系数Bh；
Figure PCTCN2017071334-appb-000025
根据岭回归优化方法，求解第t次迭代的映射矩阵M(t)：
Figure PCTCN2017071334-appb-000026
依次优化，直到相邻两次稀疏域重构的优化目标值的变化量小于阈值时得到高分辨率字典Φh，高分辨率稀疏编码系数Bh及稀疏映射矩阵M；
其中，Φh0作为高分辨率字典的迭代初始值，高分辨率特征编码系数的迭代初始值设为Bh0＝Bl，映射矩阵的迭代初始值设为M0＝E，E为单位矩阵，
Figure PCTCN2017071334-appb-000027
为高分辨率特征的增广矩阵，YS为高分辨率特征训练集，
Figure PCTCN2017071334-appb-000028
为高分辨率字典的增广矩阵：α是稀疏域映射误差项系数，取值为0.1，β是L1范数优化正则项系数，取值为0.01；μ为迭代的步长，α是稀疏域映射误差项系数，γ是映射矩阵正则项系数。
进一步地，所述步骤(2)中步骤(a)包括：
根据低分辨率图像，对低分辨率图像做同训练阶段的处理得到低分辨率测试特征XR。
进一步地，所述步骤(2)中步骤(b)包括：
将所述低分辨率测试特征XR在训练阶段得到的低分辨率字典Φl上用正交匹配追踪算法进行编码，得到低分辨率测试特征编码系数B′l。
进一步地，所述步骤(2)中步骤(c)包括：
将低分辨率测试特征编码系数B′l与步骤(1)中的映射矩阵M做投影运算，得到高分辨率测试特征编码系数B′h；
将训练阶段得到的高分辨率字典Φh与高分辨率测试特征编码系数B′h做乘法运算，得到高分辨率测试特征YR。
本发明还公开一种基于稀疏域重构的单帧图像超分辨重建方法的装置，包 括依次连接的提取模块，用于数值计算的运算模块，存储模块及图形输出模块；
所述提取模块用于提取图像特征；
所述存储模块用于存放数据，包括单片机及SD卡，所述单片机连接SD卡，用于控制SD卡进行读写操作；
所述SD卡用于存储、传递数据；
所述图形输出模块用于输出图像，并与输入图像进行对比，包括液晶显示器及打印机。
进一步地，所述提取模块包括依次连接的边缘检测模块，噪声滤除模块及图形分割模块；
所述边缘检测模块用于检测图像边缘特征；
所述噪声滤除模块用于滤除图像特征中的噪点；
所述图像分割模块用于将图像进行分割。
本发明通过采用实例映射学习的第一范式，将稀疏域上低分辨率特征Bl到稀疏域上高分辨率特征Bh的映射M与稀疏域上高分辨率特征Bh到高分辨率特征YS的映射进行联合训练，将映射误差和重构误差平摊到映射算子M、重构的高分辨率字典Φh以及重构的高分辨率稀疏系数Bh，避免具体一项因为误差较大影响重构质量，因此较准确地描述了低分辨率特征到高分辨率特征的映射。
本发明的有益效果：
效果一，提高了描述了低分辨率特征到高分辨率特征的映射的准确度；
效果二，减小影响重构质量的误差值；
效果三，可以根据图像的先验知识选择合适的插值函数获得高质量的重建图像。
附图说明
图1本发明所述方法训练阶段的示意图；
图2本发明所述方法训练阶段的流程图；
图3本发明所述方法合成阶段的示意图；
图4本发明所述方法合成阶段的流程图；
图5本发明所述装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1本发明所述方法训练阶段的示意图。图2本发明所述方法训练阶段的流程图。图3本发明所述方法合成阶段的示意图。图4本发明所述方法合成阶段的流程图。图5本发明所述装置的结构框图。
实施例1
本实施例提供图5所示的装置，包括依次连接的提取模块，运算模块，存储模块及图形输出模块；所述运算模块用于数值计算，所述提取模块用于提取图像特征；所述存储模块用于存放数据，包括80C51式通用型单片机及SD卡，所述单片机连接SD卡，用于控制SD卡进行读写操作；所述SD卡用于存储、传递数据；所述图形输出模块用于输出图像，并与输入图像进行对比，包括液晶显示器及打印机。所述提取模块包括依次连接的边缘检测模块，噪声滤除模块及图形分割模块；所述边缘检测模块用于检测图像边缘特征；所述噪声滤除模块用于滤除图像特征中的噪点；所述图像分割模块用于将图像进行分割。
装置应用于本实施例方法，方法分为训练阶段和合成阶段。其中算法训练阶段框架如图1和图2所示：
选择具有复杂纹理和几何边缘的高分辨率图像数据库作为图像训练集
Figure PCTCN2017071334-appb-000029
其中
Figure PCTCN2017071334-appb-000030
表示第p幅高分辨率图像，Ns表示高分辨率图像的数量。
Figure PCTCN2017071334-appb-000031
为其对应的低分辨率图像集，其中
Figure PCTCN2017071334-appb-000032
表示第p幅低分辨率图像，Ns表示低分辨率图像的数量。根据低分辨率图像训练集
Figure PCTCN2017071334-appb-000033
构 建低分辨率特征训练集XS，定义水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板分别为：
GX＝[1,0,-1]，GY＝[1,0,-1]T
Figure PCTCN2017071334-appb-000034
其中T表示转置运算，将低分辨率图像训练集
Figure PCTCN2017071334-appb-000035
分别与水平方向的一阶梯度GX、竖直方向的一阶梯度GY、水平方向的二阶梯度LX、竖直方向的二阶梯度LY的算子模板进行卷积运算，获得原始的低分辨率特征训练集
Figure PCTCN2017071334-appb-000036
其中
Figure PCTCN2017071334-appb-000037
表示第i项原始低分辨率特征，Nsn表示原始低分辨率特征的数量。将原始低分辨率特征训练集ZS使用PCA进行维度约简后，获得投影矩阵Vpca和低分辨率特征训练集
Figure PCTCN2017071334-appb-000038
Figure PCTCN2017071334-appb-000039
表示第i项的低分辨率特征，Nsn表示低分辨率特征的数量。接下来，将高分辨率图像训练集
Figure PCTCN2017071334-appb-000040
与对应的低分辨率图像训练集
Figure PCTCN2017071334-appb-000041
相减获得高频图像集
Figure PCTCN2017071334-appb-000042
其中ep表示第p幅高频图像，Ns表示高频图像的数量；以单位矩阵作为算子模板，与高频图像集ES进行卷积运算，获得高分辨率特征训练集
Figure PCTCN2017071334-appb-000043
其中
Figure PCTCN2017071334-appb-000044
表示第i项的高分辨率特征，Nsn表示高分辨特征的数量。根据K-SVD算法求解低分辨率特征XS对应的低分辨率字典Φl和稀疏编码系数Bl
Figure PCTCN2017071334-appb-000045
其中，λl表示l1范数优化的正则项系数，||·||F表示F范数，||·||1表示1范数。根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的初始值Φh0，可以先假设低分辨率特征和对应的高分辨率特征分别在低分辨率字典上和高分辨率字典上具有相同的编码系数，即Bh＝Bl，则有编码 关系Φh0Bl＝YS，根据最小平方误差可得式(3)所示：
Figure PCTCN2017071334-appb-000046
其中，Bl表示低分辨率特征编码系数，YS表示高分辨率特征训练集，T表示矩阵的转置运算，(·)-1表示矩阵求逆运算。
接下来通过建立稀疏域重构的优化目标公式进行迭代，首先对高分辨率特征的稀疏表示项和稀疏域的映射模型建立初始优化目标公式：
Figure PCTCN2017071334-appb-000047
其中，YS是高分辨率特征训练集，Φh是高分辨率字典，Bh是高分辨率特征编码系数，Bl是低分辨率特征编码系数，M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵，ED是高分辨率特征的稀疏表示误差项，EM是稀疏域映射误差项，α是映射误差项系数。将高分辨率特征的稀疏表示误差项ED进一步表示为式(5)所示：
Figure PCTCN2017071334-appb-000048
其中，β是l1范数优化正则项系数；将稀疏域映射误差项EM进一步表示为
Figure PCTCN2017071334-appb-000049
其中γ是映射矩阵正则项系数；
Figure PCTCN2017071334-appb-000050
为最终的稀疏域重构的优化目标公式；
其中，
Figure PCTCN2017071334-appb-000051
表示高分辨率字典Φh的第i项原子。根据稀疏域重构的优化目标公式和高分辨率字典的初始值Φh0，迭代求解高分辨率字典Φh、高分辨率 特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M，具体地以得到的Φh0作为高分辨率字典的迭代初始值，将高分辨率特征编码系数的迭代初始值设为Bh0＝Bl，将映射矩阵的迭代初始值设为M0＝E，其中E表示单位矩阵；固定高分辨率特征编码系数Bh和映射矩阵M，使其保持不变，使用二次约束二次规划方法求解高分辨率字典Φh，得到：
Figure PCTCN2017071334-appb-000052
固定映射矩阵M和高分辨率字典Φh，进行稀疏编码
Figure PCTCN2017071334-appb-000053
求解高辨率特征编码系数Bh。其中，
Figure PCTCN2017071334-appb-000054
表示高分辨率特征的增广矩阵，YS表示高分辨率特征训练集，
Figure PCTCN2017071334-appb-000055
表示高分辨率字典的增广矩阵：
Figure PCTCN2017071334-appb-000056
其中，α是稀疏域映射误差项系数，取值为0.1，β是L1范数优化正则项系数，取值为0.01；固定高分辨率字典Φh和高分辨率特征编码系数Bh，使其保持不变，使用岭回归优化方法求解第t次迭代的映射矩阵M(t)：
Figure PCTCN2017071334-appb-000057
其中，μ表示迭代的步长，α是稀疏域映射误差项系数，γ是映射矩阵正则项系数。
通过依次优化迭代直到相邻两次稀疏域重构的优化目标值的变化量小于 阈值时停止，得到最终的Φh、Bh和M；从而完成基于稀疏域重构的超分辨率算法的训练过程。
发明合成阶段框架如图3和图4所示：
对于输入的低分辨率图像，对图像做同训练阶段的处理得到低分辨率测试特征XR，将低分辨率测试特征XR在训练阶段得到的低分辨率字典Φl上用正交匹配追踪算法进行编码，得到低分辨率测试特征编码系数B′l，将低分辨率测试特征编码系数B′l与训练阶段得到中的映射矩阵M做投影运算，得到高分辨率测试特征编码系数B′h，将训练阶段得到的高分辨率字典Φh与高分辨率测试特征编码系数B′h做乘法运算，得到高分辨率测试特征YR，最后将特征融合得到高分辨率图像。至此，该实施例的所有步骤完成。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员能够理解本发明，但是本发明不仅限于具体实施方式的范围，对本技术领域的普通技术人员而言，只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内，一切利用本发明构思的发明创造均在保护之列。

Claims (10)

  1. 一种基于稀疏域重构的单帧图像超分辨重建方法，其中：所述方法包括：
    (1)训练阶段：
    所述训练阶段是在训练数据集上学习低分辨率图像得到对应的高分辨率图像的映射模型，包括：
    (A)根据低分辨率图形建立低分辨率特征集，根据高分辨率图形建立高分辨率特征集；
    (B)根据K-SVD方法求解低分辨率特征对应的字典和稀疏编码系数；
    (C)建立稀疏域重构优化目标方程式；
    (D)根据二次约束二次规划算法、稀疏编码算法及岭回归算法交替优化，迭代求解，变化量小于阈值时停止；得到高分辨率字典，高分辨率稀疏编码系数及稀疏映射矩阵；
    (2)合成阶段：
    所述合成阶段是将学习到的映射模型应用于输入的低分辨率图像上，合成出高分辨率图像，包括：
    (a)自分辨率图形进行提取特征；
    (b)将所述低分辨率特征在所述训练阶段得到的字典上用OMP算法得到稀疏编码系数；
    (c)将所述训练阶段得到的低分辨率编码系数应用于高分辨率字典上，从而合成高分辨率特征；
    (d)融合高分辨率特征得到高分辨率图像。
  2. 根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其中：所述步骤(1)中步骤(A)包括：
    选择高分辨率图像数据库作为图像训练集
    Figure PCTCN2017071334-appb-100001
    低分辨 率图像集为
    Figure PCTCN2017071334-appb-100002
    水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY，分别为：
    GX＝[1,0,-1]，GY＝[1,0,-1]T
    Figure PCTCN2017071334-appb-100003
    将低分辨率图像训练集
    Figure PCTCN2017071334-appb-100004
    分别与水平方向的一阶梯度GX、竖直方向的一阶梯度GY、水平方向的二阶梯度LX、竖直方向的二阶梯度LY进行卷积运算，获得原始的低分辨率特征训练集
    Figure PCTCN2017071334-appb-100005
    将原始低分辨率特征训练集ZS使用PCA方法进行维度约简后，获得投影矩阵Vpca和低分辨率特征训练集
    Figure PCTCN2017071334-appb-100006
    其中
    Figure PCTCN2017071334-appb-100007
    为第p幅高分辨率图像，Ns为高分辨率图像的数量，
    Figure PCTCN2017071334-appb-100008
    为第p幅低分辨率图像，Ns为低分辨率图像的数量；T为转置运算；
    Figure PCTCN2017071334-appb-100009
    为第i项原始低分辨率特征，Nsn为原始低分辨率特征的数量；
    Figure PCTCN2017071334-appb-100010
    为第i项的低分辨率特征，Nsn为低分辨率特征的数量。
  3. 根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其中：所述步骤(1)中步骤(B)包括：
    将所述高分辨率图像训练集
    Figure PCTCN2017071334-appb-100011
    与对应的低分辨率图像训练集
    Figure PCTCN2017071334-appb-100012
    相减获得高频图像集
    Figure PCTCN2017071334-appb-100013
    以单位矩阵作为算子模板，与高频图像集ES进行卷积运算，获得高分辨率特征训练集
    Figure PCTCN2017071334-appb-100014
    根据K-SVD算法求解低分辨率特征XS对应的低分辨率字典Φl和稀疏编 码系数Bl；
    Figure PCTCN2017071334-appb-100015
    其中ep为第p幅高频图像，Ns为高频图像的数量；
    Figure PCTCN2017071334-appb-100016
    为第i项的高分辨率特征，Nsn为高分辨特征的数量；λl为l1范数优化的正则项系数，||·||F为F范数，||·||1为1范数。
  4. 根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其中：所述步骤(1)中步骤(C)包括：
    根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的初始值Φh0：
    假设低分辨率特征和对应的高分辨率特征分别在低分辨率字典上和高分辨率字典上具有相同的编码系数，根据最小平方误差，得出：
    Figure PCTCN2017071334-appb-100017
    对高分辨率特征的稀疏为项和稀疏域的映射模型建立初始优化目标公式：
    Figure PCTCN2017071334-appb-100018
    高分辨率特征的稀疏为误差项ED为：
    Figure PCTCN2017071334-appb-100019
    将稀疏域映射误差项EM为：
    Figure PCTCN2017071334-appb-100020
    得到稀疏域重构的优化目标公式为：
    Figure PCTCN2017071334-appb-100021
    其中，Bl为低分辨率特征编码系数，YS为高分辨率特征训练集，T为矩阵的转置运算，(·)-1为矩阵求逆运算；YS是高分辨率特征训练集，Φh是高分辨率字典，Bh是高分辨率特征编码系数，Bl是低分辨率特征编码系数，M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵，ED是高分辨率特征的稀疏为误差项，EM是稀疏域映射误差项，α是映射误差项系数；β是l1范数优化正则项系数；γ是映射矩阵正则项系数；
    Figure PCTCN2017071334-appb-100022
    为高分辨率字典Φh的第i项原子。
  5. 根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其中：所述步骤(1)中步骤(D)包括：
    根据所述稀疏域重构的优化目标公式和高分辨率字典的初始值Φh0，迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M，
    高分辨率特征编码系数Bh及映射矩阵M为固定值，根据二次约束二次规划方法求解高分辨率字典Φh，得到：
    Figure PCTCN2017071334-appb-100023
    通过
    Figure PCTCN2017071334-appb-100024
    进行稀疏编码，求解高分辨率特征编码系数Bh；
    Figure PCTCN2017071334-appb-100025
    根据岭回归优化方法，求解第t次迭代的映射矩阵M(t)：
    Figure PCTCN2017071334-appb-100026
    依次优化，直到相邻两次稀疏域重构的优化目标值的变化量小于阈值时得到高分辨率字典Φh，高分辨率稀疏编码系数Bh及稀疏映射矩阵M；
    其中，Φh0作为高分辨率字典的迭代初始值，高分辨率特征编码系数的迭代初始值设为Bh0＝Bl，映射矩阵的迭代初始值设为M0＝E，E为单位矩阵，
    Figure PCTCN2017071334-appb-100027
    为高分辨率特征的增广矩阵，YS为高分辨率特征训练集，
    Figure PCTCN2017071334-appb-100028
    为高分辨率字典的增广矩阵：α是稀疏域映射误差项系数，取值为0.1，β是L1范数优化正则项系数，取值为0.01；μ为迭代的步长，α是稀疏域映射误差项系数，γ是映射矩阵正则项系数。
  6. 根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其中：所述步骤(2)中步骤(a)包括：
    根据低分辨率图像，对低分辨率图像做同训练阶段的处理得到低分辨率测试特征XR。
  7. 根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其中：所述步骤(2)中步骤(b)包括：
    将所述低分辨率测试特征XR在训练阶段得到的低分辨率字典Φl上用正交匹配追踪算法进行编码，得到低分辨率测试特征编码系数B′l。
  8. 根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其中：所述步骤(2)中步骤(c)包括：
    将低分辨率测试特征编码系数B′l与步骤(1)中的映射矩阵M做投影运算，得到高分辨率测试特征编码系数B′h；
    将训练阶段得到的高分辨率字典Φh与高分辨率测试特征编码系数B'h做乘法运算，得到高分辨率测试特征YR。
  9. 一种用于基于稀疏域重构的单帧图像超分辨重建方法的装置，其中：所述装置包括依次连接的提取模块，用于数值计算的运算模块，存储模块及图形输出模块；
    所述提取模块用于提取图像特征；
    所述存储模块用于存放数据，包括单片机及SD卡，所述单片机连接SD卡，用于控制SD卡进行读写操作；
    所述SD卡用于存储、传递数据；
    所述图形输出模块用于输出图像，并与输入图像进行对比，包括液晶显示器及打印机。
  10. 根据权利要求9所述的用于基于稀疏域重构的单帧图像超分辨重建方法的装置，其中：
    所述提取模块包括依次连接的边缘检测模块，噪声滤除模块及图形分割模块；
    所述边缘检测模块用于检测图像边缘特征；
    所述噪声滤除模块用于滤除图像特征中的噪点；
    所述图像分割模块用于将图像进行分割。
PCT/CN2017/071334 2016-12-28 2017-01-17 基于稀疏域重构的单帧图像超分辨重建方法及装置 Ceased WO2018120329A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/504,503 US20180225807A1 (en) 2016-12-28 2017-01-17 Single-frame super-resolution reconstruction method and device based on sparse domain reconstruction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611237470.5A CN106780342A (zh) 2016-12-28 2016-12-28 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN201611237470.5 2016-12-28

Publications (1)

Publication Number Publication Date
WO2018120329A1 true WO2018120329A1 (zh) 2018-07-05

Family

ID=58925056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/071334 Ceased WO2018120329A1 (zh) 2016-12-28 2017-01-17 基于稀疏域重构的单帧图像超分辨重建方法及装置

Country Status (3)

Country Link
US (1) US20180225807A1 (zh)
CN (1) CN106780342A (zh)
WO (1) WO2018120329A1 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308683A (zh) * 2018-07-23 2019-02-05 华南理工大学 一种柔性集成电路基板图像超分辨率重建的方法
CN109345453A (zh) * 2018-09-12 2019-02-15 中南民族大学 利用标准化组稀疏规则化的图像超分辨率重构系统及方法
CN109360148A (zh) * 2018-09-05 2019-02-19 北京悦图遥感科技发展有限公司 基于混合随机降采样的遥感影像超分辨率重构方法和装置
CN109447905A (zh) * 2018-11-06 2019-03-08 大连海事大学 基于判别字典的海上图像超分辨率重建方法
CN109671019A (zh) * 2018-12-14 2019-04-23 武汉大学 一种基于多目标优化算法和稀疏表达的遥感影像亚像元制图方法
CN109886869A (zh) * 2018-10-15 2019-06-14 武汉工程大学 一种基于上下文信息的非线性拓展的人脸幻构方法
CN110020986A (zh) * 2019-02-18 2019-07-16 西安电子科技大学 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
CN110136060A (zh) * 2019-04-24 2019-08-16 西安电子科技大学 基于浅层密集连接网络的图像超分辨率重建方法
CN110443754A (zh) * 2019-08-06 2019-11-12 安徽大学 一种数字图像分辨率提升的方法
CN110675317A (zh) * 2019-09-10 2020-01-10 中国人民解放军国防科技大学 基于学习和自适应三边滤波正则化的超分辨率重建方法
CN110826467A (zh) * 2019-11-22 2020-02-21 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN111080516A (zh) * 2019-11-26 2020-04-28 广东石油化工学院 基于自样例增强的超分辨率图像重建方法
CN111275620A (zh) * 2020-01-17 2020-06-12 西安工程大学 一种基于Stacking集成学习的图像超分辨方法
WO2020118830A1 (zh) * 2018-12-12 2020-06-18 深圳先进技术研究院 字典训练及图像超分辨重建方法、系统、设备及存储介质
CN112163998A (zh) * 2020-09-24 2021-01-01 肇庆市博士芯电子科技有限公司 一种匹配自然降质条件的单图像超分辨率分析方法
CN112529777A (zh) * 2020-10-30 2021-03-19 肇庆市博士芯电子科技有限公司 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法
CN112785662A (zh) * 2021-01-28 2021-05-11 北京理工大学重庆创新中心 一种基于低分辨率先验信息的自适应编码方法
CN112819909A (zh) * 2021-01-28 2021-05-18 北京理工大学重庆创新中心 基于低分辨率先验光谱图像区域分割的自适应编码方法
CN113160046A (zh) * 2020-01-23 2021-07-23 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113628114A (zh) * 2021-08-17 2021-11-09 南京航空航天大学 一种双通道稀疏编码的图像超分辨率重建方法
CN113724351A (zh) * 2021-08-24 2021-11-30 南方医科大学 一种光声图像衰减校正方法
CN113763248A (zh) * 2021-09-08 2021-12-07 深圳前海微众银行股份有限公司 超分辨率图像重建方法、装置、设备及存储介质
CN113781304A (zh) * 2021-09-08 2021-12-10 福州大学 基于单张图像超分辨率的轻量级网络模型及处理方法
CN114170081A (zh) * 2021-11-26 2022-03-11 中国科学院沈阳自动化研究所 基于非局部低秩张量分解的三维医学图像超分辨率方法
CN114332607A (zh) * 2021-12-17 2022-04-12 清华大学 针对多帧图像光谱字典构建的增量学习方法和系统
CN114820326A (zh) * 2022-05-25 2022-07-29 厦门大学 基于可调节核稀疏化的高效单帧图像超分方法
CN114841223A (zh) * 2022-07-04 2022-08-02 北京理工大学 一种基于深度学习的微波成像方法和系统
CN115393184A (zh) * 2021-05-24 2022-11-25 四川大学 基于布点的模式匹配融合重建方法
CN115439320A (zh) * 2022-08-10 2022-12-06 三峡大学 基于输电线路绝缘子红外图像的局部超分辨率重建算法
CN116091322A (zh) * 2023-04-12 2023-05-09 山东科技大学 超分辨率图像重建方法和计算机设备
CN116563412A (zh) * 2023-06-26 2023-08-08 中国科学院自动化研究所 基于稀疏系统矩阵的mpi图像重建方法、系统及设备
CN118608438A (zh) * 2024-08-07 2024-09-06 深圳市壹倍科技有限公司 一种图像质量提升方法、装置、设备及介质

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN108108652B (zh) * 2017-03-29 2021-11-26 广东工业大学 一种基于字典学习的跨视角人体行为识别方法及装置
CN107341776B (zh) * 2017-06-21 2021-05-14 北京工业大学 基于稀疏编码与组合映射的单帧超分辨率重建方法
CN107680146A (zh) * 2017-09-13 2018-02-09 深圳先进技术研究院 Pet图像的重建方法、装置、设备及存储介质
CN108364255A (zh) * 2018-01-16 2018-08-03 辽宁师范大学 基于稀疏表示和偏微分模型的遥感图像放大方法
CN108898568B (zh) * 2018-04-25 2021-08-31 西北大学 图像合成方法与装置
CN108830791B (zh) * 2018-05-09 2022-05-06 浙江师范大学 基于自身样例和稀疏表示的图像超分辨率方法
CN108830792B (zh) * 2018-05-09 2022-03-11 浙江师范大学 一种利用多类字典的图像超分辨率方法
CN109064403B (zh) * 2018-08-10 2022-11-01 安徽师范大学 基于分类耦合字典稀疏表示的指纹图像超分辨率方法
CN109446870A (zh) * 2018-09-07 2019-03-08 佛山市顺德区中山大学研究院 一种基于cnn的qr码寻像图形缺陷恢复方法
CN109490840B (zh) * 2018-11-22 2022-05-31 中国人民解放军海军航空大学 基于改进稀疏自编码模型的雷达目标hrrp的降噪和重构方法
CN109741263B (zh) * 2019-01-11 2019-10-11 四川大学 基于自适应联合约束的遥感图像超分辨率重建方法
CN109949223B (zh) * 2019-02-25 2023-06-20 天津大学 基于反卷积稠密连接的图像超分辨率重构方法
CN110097499B (zh) * 2019-03-14 2023-05-05 西安电子科技大学 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
CN110147782B (zh) * 2019-05-29 2023-06-13 苏州大学 一种基于投影字典对学习的人脸识别方法及装置
CN112150354B (zh) * 2019-06-26 2021-08-24 四川大学 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN110544215B (zh) * 2019-08-23 2023-07-21 淮阴工学院 一种基于各向异性稀疏梯度的交通监控图像去雨方法
CN110619603B (zh) * 2019-08-29 2023-11-10 浙江师范大学 一种优化稀疏系数的单幅图像超分辨率方法
CN110675318B (zh) * 2019-09-10 2023-01-03 中国人民解放军国防科技大学 一种基于主结构分离的稀疏表示图像超分辨率重建方法
CN112734635A (zh) * 2019-10-28 2021-04-30 浙江师范大学 一种带约束条件的图像超分辨率的方法
CN110852950B (zh) * 2019-11-08 2023-04-07 中国科学院微小卫星创新研究院 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法
CN113496468B (zh) * 2020-03-20 2023-07-04 北京航空航天大学 深度图像的修复方法、装置和存储介质
CN111582048B (zh) * 2020-04-16 2022-09-23 昆明理工大学 基于字典学习和稀疏表示的欠采样信号高分辨率重构方法
CN113744277B (zh) * 2020-05-29 2024-07-02 广州汽车集团股份有限公司 一种基于局部路径优化的视频去抖方法及系统
CN111696042B (zh) * 2020-06-04 2023-06-27 四川轻化工大学 基于样本学习的图像超分辨重建方法
CN111865325B (zh) * 2020-07-10 2023-03-17 山东云海国创云计算装备产业创新中心有限公司 一种压缩感知信号重构方法、装置及相关设备
CN111967331B (zh) * 2020-07-20 2023-07-21 华南理工大学 基于融合特征和字典学习的人脸表示攻击检测方法及系统
CN114066725A (zh) * 2020-07-31 2022-02-18 南京森林警察学院 基于加权残差和低秩约束的含噪人脸超分辨率重建方法
CN111932462B (zh) * 2020-08-18 2023-01-03 Oppo（重庆）智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN112200718A (zh) * 2020-09-18 2021-01-08 郑州航空工业管理学院 基于ncsr和多传感器的红外图像超分辨率方法
CN112163616B (zh) * 2020-09-25 2022-04-22 电子科技大学 一种局部稀疏约束变换rcs序列特征提取方法
CN112308086B (zh) * 2020-11-02 2023-07-18 金陵科技学院 基于非线性降维与智能寻优的四轴抗干扰无人机系统
CN112565887B (zh) * 2020-11-27 2023-06-20 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
CN112580473B (zh) * 2020-12-11 2024-05-28 北京工业大学 一种融合运动特征的视频超分辨率重构方法
CN112652000B (zh) * 2020-12-30 2024-05-24 南京航空航天大学 一种针对图像小尺度运动方向判定的方法
CN112819945B (zh) * 2021-01-26 2022-10-04 北京航空航天大学 一种基于稀疏视点视频的流体重建方法
CN112734763B (zh) * 2021-01-29 2022-09-16 西安理工大学 基于卷积与k-svd字典联合稀疏编码的图像分解方法
CN112927138B (zh) * 2021-03-19 2023-09-19 重庆邮电大学 一种基于即插即用的磁共振成像超分辨重建系统及方法
CN113034641B (zh) * 2021-03-29 2022-11-08 安徽工程大学 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法
CN113139918B (zh) * 2021-04-23 2023-11-10 大连大学 一种基于决策灰狼优化字典学习的图像重构方法
CN113139903B (zh) * 2021-04-27 2023-08-04 西安交通大学 一种基于压缩感知理论提高红外光谱分辨率方法
CN113450252A (zh) * 2021-05-11 2021-09-28 点智芯科技(北京)有限公司 一种超像素分割单映矩阵聚类图像拼接方法
CN113628109B (zh) * 2021-07-16 2023-11-28 上海交通大学 基于可学习字典的人脸五官超分辨率方法和系统、介质
CN114240756B (zh) * 2021-12-16 2025-05-06 北京邮电大学 一种基于字典原子嵌入的rgb图像光谱信息重构方法
CN114638157B (zh) * 2022-02-28 2024-10-29 中国地质大学（武汉） 基于l4范数最大化正交字典的地震数据重建方法和系统
CN114612453B (zh) * 2022-03-18 2024-03-26 西北工业大学 基于深度学习和稀疏表示模型的基建表面缺陷检测方法
CN115115520A (zh) * 2022-07-20 2022-09-27 晨星基因(北京)智能科技有限公司 一种具有提高图像清晰度和分辨率的图像成像方法
CN115482176B (zh) * 2022-09-06 2026-02-10 哈尔滨工程大学 一种基于支持度变换与稀疏表示的前视声纳图像融合方法
CN116205806B (zh) * 2023-01-28 2023-09-19 荣耀终端有限公司 一种图像增强方法及电子设备
CN115797184B (zh) * 2023-02-09 2023-06-30 天地信息网络研究院(安徽)有限公司 一种地表水体超分辨率提取方法
CN116452466B (zh) * 2023-06-14 2023-10-20 荣耀终端有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN116879862B (zh) * 2023-09-08 2023-12-01 西安电子科技大学 基于分层稀疏迭代的单快拍稀疏阵空间角度超分辨方法
CN117994135B (zh) * 2024-04-02 2024-07-02 中国科学院云南天文台 基于深度学习进行soho/mdi磁图超分辨率重建的方法
CN119520808B (zh) * 2024-11-26 2025-09-30 重庆位图信息技术有限公司 一种基于稀疏表示的低比特率视频编码方法
CN119784594B (zh) * 2024-12-31 2025-10-28 哈尔滨工程大学 一种在视觉模糊状态下的留胚米小目标图像特征增强方法、程序、设备及存储介质
CN120263914B (zh) * 2025-06-03 2025-08-15 江西财经大学 稀疏光场子孔径图像加密与重建的隐私保护方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157600A1 (en) * 2009-12-30 2011-06-30 USA as represented by the Administrator of the Optical wave-front recovery for active and adaptive imaging control
CN102930518A (zh) * 2012-06-13 2013-02-13 上海汇纳网络信息科技有限公司 基于改进的稀疏表示的图像超分辨率方法
CN103390266A (zh) * 2013-07-31 2013-11-13 广东威创视讯科技股份有限公司 一种图像超分辨率方法和装置
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156875B (zh) * 2011-03-25 2013-04-03 西安电子科技大学 基于多任务ksvd字典学习的图像超分辨率重构方法
CN103077505B (zh) * 2013-01-25 2015-12-09 西安电子科技大学 基于字典学习和结构聚类的图像超分辨率重建方法
CN103226818B (zh) * 2013-04-25 2015-09-02 武汉大学 基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法
CN103366347B (zh) * 2013-07-16 2016-09-14 苏州新视线文化科技发展有限公司 基于稀疏表示的图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157600A1 (en) * 2009-12-30 2011-06-30 USA as represented by the Administrator of the Optical wave-front recovery for active and adaptive imaging control
CN102930518A (zh) * 2012-06-13 2013-02-13 上海汇纳网络信息科技有限公司 基于改进的稀疏表示的图像超分辨率方法
CN103390266A (zh) * 2013-07-31 2013-11-13 广东威创视讯科技股份有限公司 一种图像超分辨率方法和装置
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308683A (zh) * 2018-07-23 2019-02-05 华南理工大学 一种柔性集成电路基板图像超分辨率重建的方法
CN109360148A (zh) * 2018-09-05 2019-02-19 北京悦图遥感科技发展有限公司 基于混合随机降采样的遥感影像超分辨率重构方法和装置
CN109360148B (zh) * 2018-09-05 2023-11-07 北京悦图遥感科技发展有限公司 基于混合随机降采样的遥感影像超分辨率重构方法和装置
CN109345453A (zh) * 2018-09-12 2019-02-15 中南民族大学 利用标准化组稀疏规则化的图像超分辨率重构系统及方法
CN109345453B (zh) * 2018-09-12 2022-12-27 中南民族大学 利用标准化组稀疏规则化的图像超分辨率重构系统及方法
CN109886869A (zh) * 2018-10-15 2019-06-14 武汉工程大学 一种基于上下文信息的非线性拓展的人脸幻构方法
CN109886869B (zh) * 2018-10-15 2022-12-20 武汉工程大学 一种基于上下文信息的非线性拓展的人脸幻构方法
CN109447905A (zh) * 2018-11-06 2019-03-08 大连海事大学 基于判别字典的海上图像超分辨率重建方法
CN109447905B (zh) * 2018-11-06 2022-11-18 大连海事大学 基于判别字典的海上图像超分辨率重建方法
WO2020118830A1 (zh) * 2018-12-12 2020-06-18 深圳先进技术研究院 字典训练及图像超分辨重建方法、系统、设备及存储介质
CN109671019A (zh) * 2018-12-14 2019-04-23 武汉大学 一种基于多目标优化算法和稀疏表达的遥感影像亚像元制图方法
CN109671019B (zh) * 2018-12-14 2022-11-01 武汉大学 一种基于多目标优化算法和稀疏表达的遥感影像亚像元制图方法
CN110020986A (zh) * 2019-02-18 2019-07-16 西安电子科技大学 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
CN110020986B (zh) * 2019-02-18 2022-12-30 西安电子科技大学 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
CN110136060B (zh) * 2019-04-24 2023-03-24 西安电子科技大学 基于浅层密集连接网络的图像超分辨率重建方法
CN110136060A (zh) * 2019-04-24 2019-08-16 西安电子科技大学 基于浅层密集连接网络的图像超分辨率重建方法
CN110443754A (zh) * 2019-08-06 2019-11-12 安徽大学 一种数字图像分辨率提升的方法
CN110443754B (zh) * 2019-08-06 2022-09-13 安徽大学 一种数字图像分辨率提升的方法
CN110675317A (zh) * 2019-09-10 2020-01-10 中国人民解放军国防科技大学 基于学习和自适应三边滤波正则化的超分辨率重建方法
CN110675317B (zh) * 2019-09-10 2022-12-06 中国人民解放军国防科技大学 基于学习和自适应三边滤波正则化的超分辨率重建方法
CN110826467A (zh) * 2019-11-22 2020-02-21 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN110826467B (zh) * 2019-11-22 2023-09-29 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN111080516A (zh) * 2019-11-26 2020-04-28 广东石油化工学院 基于自样例增强的超分辨率图像重建方法
CN111080516B (zh) * 2019-11-26 2023-04-28 广东石油化工学院 基于自样例增强的超分辨率图像重建方法
CN111275620A (zh) * 2020-01-17 2020-06-12 西安工程大学 一种基于Stacking集成学习的图像超分辨方法
CN111275620B (zh) * 2020-01-17 2023-08-01 金华青鸟计算机信息技术有限公司 一种基于Stacking集成学习的图像超分辨方法
CN113160046A (zh) * 2020-01-23 2021-07-23 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN113160046B (zh) * 2020-01-23 2023-12-26 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN112163998A (zh) * 2020-09-24 2021-01-01 肇庆市博士芯电子科技有限公司 一种匹配自然降质条件的单图像超分辨率分析方法
CN112529777A (zh) * 2020-10-30 2021-03-19 肇庆市博士芯电子科技有限公司 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法
CN112785662A (zh) * 2021-01-28 2021-05-11 北京理工大学重庆创新中心 一种基于低分辨率先验信息的自适应编码方法
CN112819909A (zh) * 2021-01-28 2021-05-18 北京理工大学重庆创新中心 基于低分辨率先验光谱图像区域分割的自适应编码方法
CN115393184A (zh) * 2021-05-24 2022-11-25 四川大学 基于布点的模式匹配融合重建方法
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113222822B (zh) * 2021-06-02 2023-01-24 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113628114A (zh) * 2021-08-17 2021-11-09 南京航空航天大学 一种双通道稀疏编码的图像超分辨率重建方法
CN113724351A (zh) * 2021-08-24 2021-11-30 南方医科大学 一种光声图像衰减校正方法
CN113724351B (zh) * 2021-08-24 2023-12-01 南方医科大学 一种光声图像衰减校正方法
CN113781304A (zh) * 2021-09-08 2021-12-10 福州大学 基于单张图像超分辨率的轻量级网络模型及处理方法
CN113763248A (zh) * 2021-09-08 2021-12-07 深圳前海微众银行股份有限公司 超分辨率图像重建方法、装置、设备及存储介质
CN113781304B (zh) * 2021-09-08 2023-10-13 福州大学 基于单张图像超分辨率的轻量级网络模型及处理方法
CN114170081A (zh) * 2021-11-26 2022-03-11 中国科学院沈阳自动化研究所 基于非局部低秩张量分解的三维医学图像超分辨率方法
CN114332607A (zh) * 2021-12-17 2022-04-12 清华大学 针对多帧图像光谱字典构建的增量学习方法和系统
CN114332607B (zh) * 2021-12-17 2024-06-11 清华大学 针对多帧图像光谱字典构建的增量学习方法和系统
CN114820326B (zh) * 2022-05-25 2024-05-31 厦门大学 基于可调节核稀疏化的高效单帧图像超分方法
CN114820326A (zh) * 2022-05-25 2022-07-29 厦门大学 基于可调节核稀疏化的高效单帧图像超分方法
CN114841223A (zh) * 2022-07-04 2022-08-02 北京理工大学 一种基于深度学习的微波成像方法和系统
CN115439320A (zh) * 2022-08-10 2022-12-06 三峡大学 基于输电线路绝缘子红外图像的局部超分辨率重建算法
CN116091322A (zh) * 2023-04-12 2023-05-09 山东科技大学 超分辨率图像重建方法和计算机设备
CN116563412A (zh) * 2023-06-26 2023-08-08 中国科学院自动化研究所 基于稀疏系统矩阵的mpi图像重建方法、系统及设备
CN116563412B (zh) * 2023-06-26 2023-10-20 中国科学院自动化研究所 基于稀疏系统矩阵的mpi图像重建方法、系统及设备
CN118608438A (zh) * 2024-08-07 2024-09-06 深圳市壹倍科技有限公司 一种图像质量提升方法、装置、设备及介质

Also Published As

Publication number Publication date
CN106780342A (zh) 2017-05-31
US20180225807A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
WO2018120329A1 (zh) 基于稀疏域重构的单帧图像超分辨重建方法及装置
Cai et al. Coarse-to-fine sparse transformer for hyperspectral image reconstruction
CN114565528B (zh) 一种基于多尺度和注意力机制的遥感影像降噪方法及系统
CN109903301B (zh) 一种基于多级特征信道优化编码的图像轮廓检测方法
CN103295197B (zh) 基于字典学习和双边正则的图像超分辨率重建方法
CN111462012A (zh) 一种基于条件生成对抗网络的sar图像仿真方法
Liu et al. A spectral diffusion prior for unsupervised hyperspectral image super-resolution
CN108765479A (zh) 利用深度学习对视频序列中单目视图深度估计优化方法
CN111369487A (zh) 一种高光谱和多光谱图像融合方法、系统及介质
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN106815806B (zh) 基于压缩感知和svr的单幅图像sr重建方法
CN117956175A (zh) 基于卷积和变换器的压缩感知
CN119991485B (zh) 基于小波变换的图像去雾方法、装置、设备和存储介质
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN110689509A (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
CN117788297A (zh) 一种基于超分辨率的深度图像增强的方法
CN117058196A (zh) 一种用于视频插帧的运动细化方法及系统
CN118628366A (zh) 基于自学习耦合扩散后验采样的高光谱和多光谱图像融合方法及系统
CN110264404A (zh) 一种超分辨图像纹理优化的方法和装置
Ni et al. Example-driven manifold priors for image deconvolution
Gong et al. GKC-Net: gated KAN with Channel-Position attention mechanism for image deraining
Ren et al. MSFDN: multi-scale spatial-spectral-frequency joint denoising network for hyperspectral images
Wang et al. Real-scene image dehazing via laplacian pyramid-based conditional diffusion model
CN116630162A (zh) 基于局部纹理估计器网络的监控图像超分辨率重建方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15504503

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17887549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17887549

Country of ref document: EP

Kind code of ref document: A1