WO2017004890A1 - 基于迭代投影重建的字典类图像超分辨率系统及方法 - Google Patents

基于迭代投影重建的字典类图像超分辨率系统及方法 Download PDF

Info

Publication number
WO2017004890A1
WO2017004890A1 PCT/CN2015/089307 CN2015089307W WO2017004890A1 WO 2017004890 A1 WO2017004890 A1 WO 2017004890A1 CN 2015089307 W CN2015089307 W CN 2015089307W WO 2017004890 A1 WO2017004890 A1 WO 2017004890A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
atom
reconstruction
dictionary
projection matrix
Prior art date
Application number
PCT/CN2015/089307
Other languages
English (en)
French (fr)
Inventor
赵洋
王荣刚
高文
王振宇
王文敏
Original Assignee
北京大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学深圳研究生院 filed Critical 北京大学深圳研究生院
Publication of WO2017004890A1 publication Critical patent/WO2017004890A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Definitions

  • the present invention relates to the field of image and video super-resolution technology, and in particular to a dictionary-based image super-resolution system and method based on iterative projection reconstruction.
  • Super-Resolution also known as upsampling, image magnification, refers to the restoration of high-resolution, sharp images with low-resolution images.
  • Super-resolution is one of the fundamental problems in the field of image and video processing. It has a wide application prospect in the fields of medical image processing, image recognition, digital photo processing, and high-definition television.
  • One of the most classic super-resolution algorithms is a kernel-based interpolation algorithm such as bilinear interpolation, spline interpolation, and the like.
  • this type of algorithm generates continuous data by using known discrete data, which brings effects such as blurring and aliasing, and also fails to recover high-frequency details lost in low-resolution images.
  • edge-based super-resolution algorithms have been proposed, which have improved the unnatural effect of traditional interpolation and improved the visual quality of edges.
  • this type of algorithm focusing on edge improvement still does not restore high frequency texture details.
  • the technical problem to be solved by the present invention is to provide a dictionary-like super-resolution system based on iterative projection reconstruction, so as to effectively improve the calculation speed of the dictionary-like method and recover image high-frequency detail information.
  • the technical problem to be solved by the present invention is to provide a fast dictionary-like super-resolution method based on iterative projection reconstruction, so as to effectively improve the calculation speed of the dictionary-like method and recover image high-frequency detail information.
  • the present invention first provides a dictionary-like image super-resolution system based on iterative projection reconstruction, which includes:
  • a dictionary training and projection matrix pre-calculation module configured to respectively extract a high-resolution image block from the training image set and select a corresponding low-resolution image block from the downsampled image of the image as a sample, and then use the ⁇ mean value to gather
  • the class method trains the dictionary, calculates the Euclidean distance of each atom and all samples in the dictionary, selects the nearest neighbors to form the K-nearest neighbors of the atom, and then uses the K-nearest neighbor sample set of each atom to calculate the projection matrix of the atom as the representative of the atom.
  • a projection matrix of the same type of image block
  • An iterative projection super-resolution reconstruction module based on a projection matrix, which is used for inputting y to a low-resolution image block, searching for the most similar atom in the dictionary, and using the projection matrix of the atom to perform super-resolution reconstruction on y Re-projection reconstruction of the residual vector generated in the process of calculating the input projection matrix using similar atoms in the dictionary to obtain a high-resolution reconstruction of the residual vector, so that the reconstruction is performed iteratively, and finally all the reconstructed components are weighted and added. As a result of the final reconstruction;
  • a post-processing module based on global constraints used to post-process the reconstructed image through global constraints to eliminate unnatural effects that do not satisfy global constraints that occur during block-wise reconstruction.
  • the present invention also provides a dictionary-like image super-resolution method based on iterative projection reconstruction, which comprises the following steps:
  • Step S1 learning of the dictionary and calculation of the projection matrix: respectively extracting high resolution image blocks from the training image set and selecting corresponding low resolution image blocks from the downsampled images of the image as samples, using ⁇ mean aggregation
  • the class method trains the dictionary, calculates the Euclidean distance of each atom and all samples in the dictionary, selects the nearest neighbors to form the K-nearest neighbors of the atom, and then uses the K-nearest neighbor sample set of each atom to calculate the projection matrix of the atom as the representative of the atom.
  • a projection matrix of the same type of image block
  • Step S2 iterative projection super-resolution reconstruction based on the projection matrix: For the low-resolution image block input y, find the atom most similar to it in the dictionary, and use the projection matrix of the atom to perform super-resolution reconstruction on y Re-projection reconstruction of the residual vector generated in the process of calculating the input projection matrix using similar atoms in the dictionary to obtain a high-resolution reconstruction of the residual vector, so that the reconstruction is performed iteratively, and finally all the reconstructed components are weighted and added. As a result of the final reconstruction;
  • Step S3 post-processing based on global constraints: eliminating the reconstructed image after step S2 by global constraints Unnatural effects that occur during the reconstruction process that do not satisfy the global constraints.
  • step S1 is performed, and the K neighbor includes a low resolution image block neighbor sample set N1 and a corresponding high resolution image block neighbor sample set N h .
  • step S1 is performed, and the calculation method of the projection matrix is as follows:
  • the K-nearest neighbor sample set N1 of the atom in the low-resolution dictionary is used to reconstruct it, and the reconstruction objective function is as follows:
  • ⁇ is a reconstructed expression coefficient
  • ⁇ is a parameter of the objective function
  • N h is a high-resolution image block neighbor sample set
  • I is an identity matrix
  • the projection matrix is defined by formula (3):
  • step S2 is performed, and by calculating the inner product, y is projected on each atom, and the atom with the largest projection length is selected as the atom most similar to y, and the calculation formula is as follows:
  • ⁇ ⁇ ( ⁇ ⁇ ⁇ ⁇ ) is an artificially defined weight, which is used to adjust the proportion of the residual component in the final reconstruction result, and calculate the first-order residual by iteratively.
  • the weight CO i is calculated as follows,
  • step S3 is performed, and the following formula is used for global constraint:
  • the present invention has the following technical effects:
  • the present invention performs re-projection reconstruction on the residual vector generated in the projection process to obtain high-resolution reconstruction of the residual vector, and thus iteratively reconstructs, and finally reconstructs all
  • the weighted addition of components is used as the result of the final reconstruction.
  • the post-processing of global constraints is used to eliminate the unnatural effects that may occur during the block-by-block reconstruction process, which can effectively improve the calculation speed of the dictionary-like method and restore the high-frequency details of the image. information.
  • FIG. 1 is a flow chart of a fast dictionary-like image super-resolution method based on iterative projection reconstruction of the present invention.
  • 3 is a comparison diagram of the method proposed by the present invention with conventional Bicubic interpolation, ICBI method, gradient map constraint reconstruction method, ScSR method, ASDS classification dictionary method, and ANR (A+).
  • the present invention first provides a dictionary-like image super-resolution system based on iterative projection reconstruction, which includes:
  • a dictionary training and projection matrix pre-calculation module configured to respectively extract a high-resolution image block from the training image set and select a corresponding low-resolution image block from the downsampled image of the image as a sample, and then use K-means to gather
  • the class method trains the dictionary, calculates the Euclidean distance of each atom and all samples in the dictionary, selects the nearest neighbors to form the K-nearest neighbors of the atom, and then uses the K-nearest neighbor sample set of each atom to calculate the projection matrix of the atom as the representative of the atom.
  • a projection matrix of the same type of image block
  • An iterative projection super-resolution reconstruction module based on a projection matrix, which is used to input y to a low-resolution image block, find an atom closest to it in a dictionary, and use the projection matrix of the atom to perform super-resolution reconstruction on y Re-projection reconstruction of the residual vector generated in the process of estimating the input projection matrix using similar atoms in the dictionary to obtain a high-resolution reconstruction of the residual vector, so that the reconstruction is performed iteratively, and finally all the reconstructed components are weighted and added. As a result of the final reconstruction;
  • a post-processing module based on global constraints used to post-process the reconstructed image through global constraints to eliminate unnatural effects that do not satisfy global constraints that occur during block-wise reconstruction.
  • the present invention further provides a dictionary-like image super-resolution method based on iterative projection reconstruction, comprising the following steps:
  • Step Sl dictionary learning and projection matrix calculation
  • a local block is randomly selected in the training image, and a corresponding low-resolution local block is selected on the downsampled image of the image, and the high-resolution image block and the corresponding low-resolution image block are extracted by a large amount.
  • the local block feature is used as a sample.
  • the dictionary is trained by ⁇ -means clustering. Five million samples are randomly selected from the training image library, and 1024 cluster centers are clustered by K-means clustering algorithm.
  • the center serves as a dictionary of atoms to form a dictionary; again, calculates the Euclidean distance of each atom and all five million samples in the dictionary, from which 2048 nearest neighbors form the K-nearest neighbors of the atom, and K-nearest neighbors contain low-resolution image block neighbor samples.
  • Set N and the corresponding high-resolution image block neighbor sample set N A .
  • the projection matrix, the calculation method of the projection matrix is as follows:
  • V A is a high-resolution image block neighbor sample set, and / is an identity matrix, and the projection matrix can be defined by formula 3):
  • the projection matrix corresponding to each atom in the dictionary can be pre-calculated using equation (4).
  • the projection matrix of the pre-computed dictionary atom is used to estimate the projection matrix of the input image block, thereby avoiding the calculation of the expression coefficient of each input image block separately when reconstructing each image block, thus greatly improving the dictionary.
  • the speed of calculation of the class method is very important.
  • Step S2 Iterative Projection Super-resolution Reconstruction Based on Projection Matrix
  • ( ⁇ , ⁇ ) is an artificially defined weight, which is used to adjust the proportion of the residual component in the final reconstruction result.
  • the first-order residual can be calculated in an iterative manner.
  • Step S3 post-processing based on global constraints
  • the image is reconstructed block by block, and is affected by noise, etc., and some unnatural effects may appear in the image block locally, and these unnatural effects are eliminated by the following global constraints:
  • Equation (14) can be solved by the gradient descent method:
  • FIG. 3 shows the method and Bicubic interpolation proposed by the present invention, and the ICBI method proposed by Giachett et al. in 2011 (A. Giachett and N. Asuni, "Real-time artifact-free image upscaling," IEEE Transactions on Image Processing, vol. 20, no. 10, pp. 2760-2768, 2011), Wang et al. proposed a method based on gradient graph constrained reconstruction (L. Wang, S. Xiang, G. Meng, et al, "Edge-Directed Single Image Super- Resolution via Adaptive Gradient Magnitude Self-Interpolation," IEEE Transactions on Circuits and Systems for Video Technology vol. 23, no. 8, pp. 1289-1299, 2013), Yang et al. ScSR method (J. Yang,
  • Figure 4 shows the comparison between the method proposed by the present invention and some better-performing dictionary-like methods.
  • the comparison methods are: ScSR, ASDS, NE+LLE (H. Chang, D. Y. Yeung, and Y. Xiong,

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于迭代投影重建的字典类图像超分辨率系统及方法，所述系统包括：字典训练和投影矩阵预计算模块、基于投影矩阵的迭代投影超分辨率重建模块和基于全局约束的后处理模块。所述方法包括：步骤S1、字典的学习和投影矩阵的计算；步骤S2、基于投影矩阵的迭代投影超分辨率重建：对低分辨率图像块输入 y ，在字典中寻找与其最相似的原子，使用该原子的投影矩阵来对 y 进行超分辨率重建，对产生的残差向量进行再次投影重建获得残差向量的高分辨率重建，如此迭代重建，最后将全部重建成分加权相加作为最后重建的结果；步骤S3、对重建图像通过全局约束来消除不自然效应。本发明可有效提高字典类方法的计算速度并能够恢复图像高频细节信息。

Description

说明书 发明名称：基于迭代投影重建的字典类图像超分辨率系统及方法 技术领域
[0001] 本发明涉及图像及视频超分辨率技术领域， 具体是一种基于迭代投影重建的字 典类图像超分辨率系统及方法。
背景技术
[0002] 超分辨率 （Super-Resolution) 也被称为上采样、 图像放大， 指的是通过低分辨 率的图像来恢复高分辨率的清晰图像。 超分辨率是图像和视频处理领域的基础 问题之一， 在医学图像处理、 图像识别、 数码照片处理、 高清电视等领域有着 非常广泛的应用前景。
[0003] 最经典的超分辨率算法之一是基于核的插值算法， 例如： 双线性插值、 样条曲 线插值等等。 但是这一类算法是通过已知的离散数据来生成连续数据， 会带来 模糊、 锯齿等效应， 同吋， 也无法恢复在低分辨率图像中所丢失的高频细节信 息。 近年来， 大量的基于边缘的超分辨率算法被提出， 改善了传统插值的不自 然效应， 同吋提高了边缘的视觉质量。 但是， 这一类聚焦于改善边缘的算法仍 然不能恢复高频纹理细节。 为了解决高频细节重建的问题， 一些字典学习类方 法也被相继提出， 通过使用额外的高分辨率图像块来训练低分辨率对应的高分 辨率字典， 来恢复低分辨率图像中丢失的细节信息。 但是该类方法中逐块使用 字典进行高分辨率重建非常耗吋。 因此， 如何在降低吋间和计算消耗的同吋提 高超分辨率图像的质量， 是我们十分关注的一个重要课题。
技术问题
[0004] 本发明所要解决的技术问题是， 提供一种基于迭代投影重建的字典类超分辨率 系统， 以有效提高字典类方法的计算速度并且能够恢复图像高频细节信息。
[0005] 本发明所要解决的技术问题是， 提供一种基于迭代投影重建的快速字典类超分 辨率方法， 以有效提高字典类方法的计算速度并且能够恢复图像高频细节信息 技术解决方案
[0006] 为解决上述技术问题， 本发明首先提供一种基于迭代投影重建的字典类图像超 分辨率系统， 其包括：
[0007] 字典训练和投影矩阵预计算模块， 用于分别从训练图像集中提取高分辨率图像 块以及从该图像的降采样图像上选取对应的低分辨率图像块作为样本， 然后使 用 κ均值聚类的方法训练字典， 计算字典中每个原子和全部样本的欧式距离， 从 中选取最近邻构成该原子的 K近邻， 再使用每个原子的 K近邻样本集计算原子的 投影矩阵， 作为该原子代表的同一类图像块的投影矩阵；
[0008] 基于投影矩阵的迭代投影超分辨率重建模块， 用于对低分辨率图像块输入 y， 在字典中寻找与其最相似的原子， 使用该原子的投影矩阵来对 y进行超分辨率重 建， 对使用字典中的相似原子来计算输入的投影矩阵的过程中产生的残差向量 进行再次投影重建获得残差向量的高分辨率重建， 如此迭代进行重建， 最后将 全部重建成分加权相加， 作为最后重建的结果；
[0009] 基于全局约束的后处理模块： 用于对重建图像通过全局约束的后处理来消除逐 块重建过程中出现的不满足全局约束的不自然效应。
[0010] 另一方面， 本发明还提供一种基于迭代投影重建的字典类图像超分辨率方法， 其包括如下步骤：
[0011] 步骤 Sl、 字典的学习和投影矩阵的计算： 分别从训练图像集中提取高分辨率图 像块以及从该图像的降采样图像上选取对应的低分辨率图像块作为样本， 使用 κ 均值聚类的方法训练字典， 计算字典中每个原子和全部样本的欧式距离， 从中 选取最近邻构成该原子的 K近邻， 再使用每个原子的 K近邻样本集计算原子的投 影矩阵， 作为该原子代表的同一类图像块的投影矩阵；
[0012] 步骤 S2、 基于投影矩阵的迭代投影超分辨率重建： 对于低分辨率图像块输入 y ， 在字典中寻找与其最相似的原子， 使用该原子的投影矩阵来对 y进行超分辨率 重建， 对使用字典中的相似原子来计算输入的投影矩阵的过程中产生的残差向 量进行再次投影重建获得残差向量的高分辨率重建， 如此迭代进行重建， 最后 将全部重建成分加权相加， 作为最后重建的结果；
[0013] 步骤 S3、 基于全局约束的后处理： 对步骤 S2后的重建图像通过全局约束来消除 在重建过程中产生的不满足全局约束的不自然效应。
[0014] 进一步地， 进行步骤 S1吋， K近邻包含低分辨率图像块邻居样本集 N1和相应高 分辨率图像块邻居样本集 N h。
[0015] 进一步地， 进行步骤 S1吋， 投影矩阵的计算方法如下：
[0016] 对于低分辨率字典中的原子 d， 使用低分辨率字典中的原子的 K近邻样本集 N1来 对其进行重建， 重建目标函数如下：
[0017]
|¾ : J善.一：¾«1| - Λΐβ11;2, (i)
[0018] 其中， α为重建的表达系数， λ为目标函数的参数， 该目标函数的解为：
[0019] ： + Μ)— ^
(2)
[0020] 然后， 使用原子 d的高分辨率邻居样本集和求解出的表达系数 α对 d进行超分辨 率重建， 其重建的公式如下：
[0021] ： ：； ：+ ― 黨,
(3)
[0022] 其中， Nh为高分辨率图像块邻居样本集， I为单位矩阵， 通过公式 （3) ， 定义 投影矩阵：
[0023]
Figure imgf000005_0001
(4)
[0024] 再使用公式 （4) 预先计算出字典中每一个原子对应的投影矩阵， 在重建吋， 使用这些预计算的字典原子的投影矩阵来估计输入图像块的投影矩阵。
[0025] 进一步地， 进行步骤 S2吋， 通过计算内积， 将 y在各个原子上进行投影， 选择 投影长度最大的原子作为与 y最相似的原子， 计算公式如下：
[0026]
>1~雄 ¾..': 《 : ：:》
[0027] 其中， 。是和 y最相似的原子， 使用原子 。的投影矩阵 Pdq。来估计输入 y的投 影矩阵 Λ， 得到 y的超分辨率重建：
[0028] f
(6)
[0029] 输入 y和相似原子 dqo之间的 （第
Figure imgf000006_0001
(7)
[0031] 同样的， 使用内积计算残差 的最相似原子 ■ql，
[0032]
'、 '晨 = S:^½£( 52s- .-si¾]i l'^-置^' : &: ■
(8)
[0033] 使用相似原子 d ;的投影矩阵 P 来估计残差 A的投影矩阵 P R1 , 得到该残差
[0034]
Figure imgf000006_0002
[0035] 考虑第一阶残差之后， 输入 y的超分辨率重建为，
Figure imgf000007_0001
(10)
[0037] 其中， ω ι (ω ι< ι) 是人为定义的权值， 用于调整残差分量在最后重建结果中 的比重， 通过迭代的方式计算第 阶残差 ，
[0038] _■ ¾： . ■— ■ ■ .■ - 、、 ί
(11)
[0039] 同样使用内积计算 的最相似原子 dqi， 并使用该原子的投影矩阵 来估计第 i 阶残差 的投影矩阵 PRi， 并计算 Ri的超分辨重建 ， 在总计 NR
次迭代后， 输入 y的超分辨率重建为，
Figure imgf000007_0002
(12)
[0041] 权值 CO i计算公式如下,
Figure imgf000007_0003
(13)
[0043] 其中， ie(l， 2， ...， NR)， RQ = y， ε是一个很小的正数以避免分母为 0， 当低 分辨率图像 γ中每个低分辨率图像块 y都使用公式 （12) 重建其高分辨率图像块 X 后， 就得到了重建的高分辨率图像 X。
[0044] 进一步地， 进行步骤 S3吋， 采用以下公式进行全局约束：
[0045]
Figure imgf000008_0001
(14)
[0046] 其中， 是上述迭代投影重建模块逐块重建得到的高分辨率图像， c是一个常 数， 公式 （14) 通过梯度下降法求解：
[0047]
( 觀 ■ (15)
[0048] 其中， X ,代表第 t次迭代后的高分辨率图像， γ为梯度下降步长， U为上采样操 作， 公式 （15) 的结果即作为最终的高分辨率输出图像。
发明的有益效果
有益效果
[0049] 通过采用上述技术方案， 本发明具有以下技术效果： 本发明对投影过程中产生 的残差向量进行再次投影重建获得残差向量的高分辨率重建， 如此迭代进行重 建， 最后将全部重建成分加权相加作为最后重建的结果， 而且， 还采用全局约 束的后处理来消除逐块重建过程中可能出现的不自然效应， 从而可以有效提高 字典类方法的计算速度并且能够恢复图像高频细节信息。
对附图的简要说明
附图说明
[0050] 图 1是本发明基于迭代投影重建的快速字典类图像超分辨率方法的流程图。
[0051] 图 2是本发明提出的方法与传统的 Bicubic插值方法和快速字典类方法 ANR(A+) 的超分辨率效果对比图。
[0052] 图 3是本发明提出的方法与传统的 Bicubic插值、 ICBI方法、 基于梯度图约束重 建的方法、 ScSR方法、 ASDS分类字典方法以及 ANR(A+)的效果对比图。
[0053] 图 4是本发明提出的方法与传统的字典类方法 Bicubic. ScSR、 ASDS、 NE+LLE 、 Zeyde以及 ANR(A+)的效果对比图。 本发明的实施方式
[0054] 需要说明的是， 在不冲突的情况下， 本申请中的实施例及实施例中的特征可以 相互结合， 下面结合附图和具体实施例对本发明作进一步详细说明。
[0055] 如图 1所示， 本发明首先提供一种基于迭代投影重建的字典类图像超分辨率系 统， 其包括：
[0056] 字典训练和投影矩阵预计算模块， 用于分别从训练图像集中提取高分辨率图像 块以及从该图像的降采样图像上选取对应的低分辨率图像块作为样本， 然后使 用 K均值聚类的方法训练字典， 计算字典中每个原子和全部样本的欧式距离， 从 中选取最近邻构成该原子的 K近邻， 再使用每个原子的 K近邻样本集计算原子的 投影矩阵， 作为该原子代表的同一类图像块的投影矩阵；
[0057] 基于投影矩阵的迭代投影超分辨率重建模块， 用于对低分辨率图像块输入 y， 在字典中寻找与其最相似的原子， 使用该原子的投影矩阵来对 y进行超分辨率重 建， 对使用字典中的相似原子来估计输入的投影矩阵的过程中产生的残差向量 进行再次投影重建获得残差向量的高分辨率重建， 如此迭代进行重建， 最后将 全部重建成分加权相加， 作为最后重建的结果；
[0058] 基于全局约束的后处理模块： 用于对重建图像通过全局约束的后处理来消除逐 块重建过程中出现的不满足全局约束的不自然效应。
[0059] 另一方面， 本发明还提供一种基于迭代投影重建的字典类图像超分辨率方法， 包括如下步骤：
[0060] 步骤 Sl、 字典的学习和投影矩阵的计算
[0061] 首先， 在训练图像中随机选取局部块， 再在该图片的降采样图像上选取对应的 低分辨率局部块， 通过大量提取这种高分辨率图像块和对应的低分辨图像块的 局部块特征作为样本； 其次， 使用 κ均值聚类的方法训练字典， 从训练图像库中 随机选取五百万个样本， 使用 K均值聚类算法聚类出 1024个聚类中心， 用这些聚 类中心作为字典的原子构成字典； 再次， 计算字典中每个原子和全部五百万个 样本的欧式距离， 从中选取 2048个最近邻构成该原子的 K近邻， K近邻包含低分 辨率图像块邻居样本集 N ,和相应高分辨率图像块邻居样本集 N A， 最后， 使用每 个原子的 K近邻样本集计算原子的投影矩阵， 作为该原子代表的同一类图像块的 投影矩阵， 投影矩阵的计算方法如下：
[0062] 对于低分辨率字典中的原子 d， 我们使用低分辨率字典中的原子的 K近邻样本集 N ,来对其进行重建， 重建目标函数如下：
Figure imgf000010_0001
(1)
其中， α为重建的表达系数， λ为目标函数的参数， 该目标函数的解为:
Figure imgf000010_0002
(2)
[0066] 然后， 可以使用原子 d的高分辨率邻居样本集和求解出的表达系数 α对 d进行超 分辨率重建， 其重建的公式如下：
Figure imgf000010_0003
(3)
[0068] 其中， V A为高分辨率图像块邻居样本集， /为单位矩阵， 通过公式 3) ， 可 定义投影矩阵：
[0069]
Figure imgf000010_0004
14)
[0070] 这样， 可以使用公式 （4) 预先计算出字典中每一个原子对应的投影矩阵。 在 重建吋， 使用这些预计算的字典原子的投影矩阵来估计输入图像块的投影矩阵 ， 从而避免了在重建每个图像块时对每个输入图像块单独计算其表达系数， 因 此大大提高了字典类方法的计算速度。
[0071] 步骤 S2、 基于投影矩阵的迭代投影超分辨率重建 [0072] 对于一个低分辨率图像块输入 y， 在字典中寻找与其最相似的原子， 使用该原 子的投影矩阵来对 y进行超分辨率重建。 通过计算内积， 将 y在各个原子上进行 投影， 选择投影长度最大的原子作为与 y最相似的原子， 计算方式如下：
Figure imgf000011_0001
?^ ¾ ' ：》』： : ':L:>
[0074] 其中， 。是和 y最相似的原子， 使用原子 。的投影矩阵 Pdq。来估计输入 y的投 影矩阵 Λ， 可以得到 y的超分辨率重建：
[0075]
Figure imgf000011_0002
(6)
[0076] 由于直接使用相似的原子的投影矩阵直接估计输入的投影矩阵是有误差的， 因 而重建的效果取决于输入和选择的原子的相似程度， 当估计误差扩大吋， 重建 的误差也会相应增加， 并且损失高频细节信息。 本发明使用迭代投影的方法来 更好地进行超分辨率重建， 输入 y和相似原子 d。之间的 （第一阶） 残差为，
[0077]
Figure imgf000011_0003
[0078] 同样的， 使用内积计算残差 的最相似原子 d
[0079]
Figure imgf000011_0004
(8)
[0080] 我们使用相似原子 dql的投影矩阵 Λς1来估计残差 A的投影矩阵 PR1， 可以得到 [0081]
Figure imgf000012_0001
(9)
[0082] 考虑第一阶残差之后， 输入 y的超分辨率重建为，
[0083] ··= ::: : 1： = ：漏
(10)
[0084] 其中， (ω,<ΐ) 是人为定义的权值， 用于调整残差分量在最后重建结果中 的比重。 类似地， 可以通过迭代的方式计算第 阶残差
[0085]
Figure imgf000012_0002
(11)
[0086] 同样使用内积计算 的最相似原子 dqi
， 并使用该原子的投影矩阵 Pdqi来估计第 i阶残差 的投影矩阵 PRi， 并计算 的 超分辨重建; cffi。 在总计 NR次迭代后， 输入 y的超分辨率重建为，
[0087]
Figure imgf000012_0003
(12)
[0088] 权值 ω i计算公式如下，
[0089]
Figure imgf000012_0004
(13) [0090] 其中， ie(l， 2， ...， N R)， R Q = y， ε是一个很小的正数以避免分母为 0。 当低 分辨率图像 γ中每个低分辨率图像块 y都使用公式 （12) 重建其高分辨率图像块 X 后， 就得到了重建的高分辨率图像 X。
[0091] 步骤 S3、 基于全局约束的后处理
[0092] 图像超分辨率的一个基本全局约束为重建的高分辨率图像 X要和输入的低分辨 率图像 Y保持一致， 即 DHX=Y， 其中 D和 Η分别代表降采样和模糊操作。 在本发 明提出的方法中， 图像逐块进行重建， 受到噪声等影响吋可能在图像块局部出 现一些不自然效应， 通过以下全局约束来消除这些不自然效应：
Figure imgf000013_0001
( 14)
[0094] 其中， ¾是上述迭代投影重建模块逐块重建得到的高分辨率图像， c是一个常 数。 公式 （14) 可以通过梯度下降法求解：
[0095]
= ¾ 扉: ' + — .
( 15)
[0096] 其中， X ,代表第 次迭代后的高分辨率图像， γ为梯度下降步长， 为上采样操 作。 公式 （15) 的结果即作为最终的高分辨率输出图像。
[0097] 图 2给出了本发明提出的方法和传统的插值方法以及一种快速字典类方法 ANR( A+) (R. Timofte, V. D. Smet, and L. V. Gool, " A+: Adjusted anchored neighborhood regression for fast super-resolution," Asian Conference on Computer Vision, 2014, pp. 1-15 )的超分辨率效果比较。 可以看出， 本方法在边缘、 织物、 衣料、 头发等细 节纹理处的超分辨率效果有明显改善， 恢复了插值算法及快速字典方法中丢失 的高频纹理细节信息。
[0098] 图 3给出了本发明提出的方法和 Bicubic插值， Giachett等人在 2011年提出的 ICBI 方法 (A. Giachett and N.Asuni, "Real-time artifact-free image upscaling," IEEE Transactions on Image Processing, vol. 20, no. 10, pp. 2760-2768, 2011) ， Wang等 人提出的基于梯度图约束重建的方法 （L. Wang, S. Xiang, G. Meng, et al, "Edge- Directed Single Image Super- Resolution via Adaptive Gradient Magnitude Self-Interpolation," IEEE Transactions onCircuits and Systems for Video Technology vol. 23, no. 8, pp. 1289-1299, 2013) ， Yang等人 2010年提出的 ScSR方法 （J. Yang,
J. Wright, T. S. Huang, et al, "Image super-resolution via sparse representation," IEEE
Transactions on Image Processing, vol. 19, no. 11, pp. 2861-2873, 2010) ， Dong等 人提出的 ASDS分类字典方法 （W. Dong, D. Zhang, G. Shi, et al. "Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization," IEEE Transactions on Image Processing, vol. 20, no. 7, pp. 1838-1857,
2011) ， 以及 ANR(A+)的效果比较。 通过比较锐利边缘以及帽子等纹理细节， 可以观察到， 本发明提出的方法可以恢复锐利的边缘， 在传统 ScSR中会出现的 边缘光晕效应也能够很好地避免； 同吋本方法还能够很好的恢复纹理细节。
图 4给出了本发明提出的方法和一些效果较好的字典类方法的结果比较， 对比 方法有： ScSR, ASDS , NE+LLE (H. Chang, D. Y. Yeung, and Y. Xiong,
Super-resolution through neighbor embedding," IEEE Conference on Computer
Vision and Pattern Reco nition, 2004, vol. 1, pp. 275-282) ， Zeyde等人提出的方法
Figure imgf000014_0001
sparse-representations," Curves and Surfaces, pp. 711- 730, 2010) ， 以及 ANR(A+) 的效果比较。 通过比较清晰边缘以及衣物、 窗户等纹理细节， 可以观察到， 本 发明提出的方法可以恢复清晰的边缘和最多的纹理细节。 同吋本方法还可以有 效消除 ScSR等方法在边缘处产生的振铃效应 （图中长方形框标出） 。
尽管已经示出和描述了本发明的实施例， 对于本领域的普通技术人员而言， 可 以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化 、 修改、 替换和变型， 本发明的范围由所附权利要求及其等同范围限定。

Claims

权利要求书
[权利要求 1] 一种基于迭代投影重建的字典类图像超分辨率系统， 其特征在于， 其 包括：
字典训练和投影矩阵预计算模块， 用于分别从训练图像集中提取高分 辨率图像块以及从该图像的降采样图像上选取对应的低分辨率图像块 作为样本， 然后使用 κ均值聚类的方法训练字典， 计算字典中每个原 子和全部样本的欧式距离， 从中选取最近邻构成该原子的 κ近邻， 再 使用每个原子的 K近邻样本集计算原子的投影矩阵， 作为该原子代表 的同一类图像块的投影矩阵；
基于投影矩阵的迭代投影超分辨率重建模块， 用于对低分辨率图像块 输入 _， 在字典中寻找与其最相似的原子， 使用该原子的投影矩阵来 对 进行超分辨率重建， 对使用字典中的相似原子来计算输入的投影 矩阵的过程中产生的残差向量进行再次投影重建获得残差向量的高分 辨率重建， 如此迭代进行重建， 最后将全部重建成分加权相加， 作为 最后重建的结果；
基于全局约束的后处理模块： 用于对重建图像通过全局约束的后处理 来消除逐块重建过程中出现的不满足全局约束的不自然效应。
[权利要求 2] —种基于迭代投影重建的字典类图像超分辨率方法， 其特征在于， 其 包括如下步骤：
步骤 Sl、 字典的学习和投影矩阵的计算： 分别从训练图像集中提取高 分辨率图像块以及从该图像的降采样图像上选取对应的低分辨率图像 块作为样本， 使用 K均值聚类的方法训练字典， 计算字典中每个原子 和全部样本的欧式距离， 从中选取最近邻构成该原子的 K近邻， 再使 用每个原子的 K近邻样本集计算原子的投影矩阵， 作为该原子代表的 同一类图像块的投影矩阵；
步骤 S2、 基于投影矩阵的迭代投影超分辨率重建： 对于低分辨率图像 块输入 _， 在字典中寻找与其最相似的原子， 使用该原子的投影矩阵 来对 进行超分辨率重建， 对使用字典中的相似原子来计算输入的投 影矩阵的过程中产生的残差向量进行再次投影重建获得残差向量的高 分辨率重建， 如此迭代进行重建， 最后将全部重建成分加权相加， 作 为最后重建的结果；
步骤 S3、 基于全局约束的后处理： 对步骤 S2后的重建图像通过全局 约束来消除在重建过程中产生的不满足全局约束的不自然效应。
[权利要求 3] 如权利要求 2所述的基于吋域信息的自适应视频预处理方法， 其特征 在于， 进行步骤 S1吋， K近邻包含低分辨率图像块邻居样本集 N ,和 相应高分辨率图像块邻居样本集 N A。
[权利要求 4] 如权利要求 2或 3所述的基于吋域信息的自适应视频预处理方法， 其特 征在于， 进行步骤 S1吋， 投影矩阵的计算方法如下：
对于低分辨率字典中的原子 d' 使用低分辨率字典中的原子的 K近邻 样本集 N ,来对其进行重建， 重建目标函数如下： 輝 ：衡：圓 -f 1|1¾112
(1)
其中， 應
为重建的表达系数，
-、 为目标函数的参数， 该目标函数的解为： : ¾i
(2)
然后， 使用原子 的高分辨率邻居样本集和求解出的表达系数
对 进行超分辨率重建， 其重建的公式如下: 風:
Figure imgf000017_0001
其中， NA为高分辨率图像块邻居样本集， I
为单位矩阵， 通过公式 （3) ， 定义投影矩阵: 频》〜:
(4)
再使用公式 （4) 预先计算出字典中每一个原子对应的投影矩阵， 在 重建吋， 使用这些预计算的字典原子的投影矩阵来估计输入图像块的 投影矩阵。
[权利要求 5] 如权利要求 2所述的基于吋域信息的自适应视频预处理方法， 其特征 在于， 进行步骤 S2吋， 通过计算内积， 将 在各个原子上进行投影， 选择投影长度最大的原子作为与 j最相似的原子， 计算公式如下：
Figure imgf000017_0002
其中， ^是和 j最相似的原子， 使用原子 rf 。的投影矩阵 p 计输入 _的投影矩阵 Py， 得到 _的超分辨率重建：
Figure imgf000017_0003
输入 j n相似原子 之间的 （第一阶） 残差为: fi ' :： "《： 》
同样的， 使用内积计算残差^的最相似原子 rf, ql '
Figure imgf000018_0001
(8)
使用相似原子 d ql的投影矩阵 P ^来估计残差 A的投影矩阵 PR1, 得 到该残差分量的超分辨率重建：
Figure imgf000018_0002
考虑第一阶残差之后， 输入 _的超分辨率重建为，
Figure imgf000018_0003
(10)
其中， ω ι (ω ι<ι) 是人为定义的权值， 用于调整残差分量在最后重 建结果中的比重， 通过迭代的方式计算第 阶残差
Figure imgf000018_0004
(11)
同样使用内积计算 R ,·的最相似原子 d qi, 并使用该原子的投影矩阵 P 来估计第 ί阶残差 R ,·的投影矩阵 P Ri, 并计算 R ;的超分辨重建 ; ， 在总计 Ns次迭代后， 输入 y的超分辨率重建为，
¾*" — Ύ -j ,w ¾" — ''J3^ ¾ji ,,ί, S ,- < Έ$
― ： F ¾ — 丁 -^i^l^ -
(12)
权值 计算公式如下，
Figure imgf000018_0005
(13) 其中， ie(l， 2， ...， N R)， R Q = _ ， ε是一个很小的正数以避免分母 为 0， 当低分辨率图像 F中每个低分辨率图像块 y都使用公式 （12) 重建其高分辨率图像块 ΛΓ后， 就得到了重建的高分辨率图像 X。
[权利要求 6] 如权利要求 2所述的基于吋域信息的自适应视频预处理方法， 其特征 在于， 进行步骤 S3吋， 采用以下公式进行全局约束：
Figure imgf000019_0001
(14)
其中， X。是上述迭代投影重建模块逐块重建得到的高分辨率图像， c 是一个常数， 公式 （14) 通过梯度下降法求解： , =:¾：+ '幽 (麵 ' +翁-'
(15)
其中， X ,代表第 次迭代后的高分辨率图像， γ为梯度下降步长， U 为上采样操作， 公式 （15) 的结果即作为最终的高分辨率输出图像。
PCT/CN2015/089307 2015-07-08 2015-09-10 基于迭代投影重建的字典类图像超分辨率系统及方法 WO2017004890A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510398331.XA CN105023240B (zh) 2015-07-08 2015-07-08 基于迭代投影重建的字典类图像超分辨率系统及方法
CN201510398331.X 2015-07-08

Publications (1)

Publication Number Publication Date
WO2017004890A1 true WO2017004890A1 (zh) 2017-01-12

Family

ID=54413185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/089307 WO2017004890A1 (zh) 2015-07-08 2015-09-10 基于迭代投影重建的字典类图像超分辨率系统及方法

Country Status (2)

Country Link
CN (1) CN105023240B (zh)
WO (1) WO2017004890A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550111A (zh) * 2018-03-30 2018-09-18 西安工程大学 一种基于多级字典学习的残差实例回归超分辨重建方法
CN108921783A (zh) * 2018-06-01 2018-11-30 武汉大学 一种基于混合损失函数约束的卫星影像超分辨率重建方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910215B (zh) * 2017-03-15 2022-01-07 沈阳理工大学 一种基于分数阶梯度插值的超分辨率方法
CN107680037B (zh) * 2017-09-12 2020-09-29 河南大学 改进的基于最近特征线流形学习的人脸超分辨率重建方法
CN107945114A (zh) * 2017-11-30 2018-04-20 天津大学 基于聚类字典和迭代反投影的磁共振图像超分辨率方法
CN109905717A (zh) * 2017-12-11 2019-06-18 四川大学 一种基于空时域下采样与重建的h.264/avc编码优化方法
CN108830791B (zh) * 2018-05-09 2022-05-06 浙江师范大学 基于自身样例和稀疏表示的图像超分辨率方法
CN108986059B (zh) * 2018-06-22 2021-12-24 武汉工程大学 基于流形正则化群的局部约束表达的人脸超分辨率重建方法
CN109564677B (zh) * 2018-11-09 2022-09-27 香港应用科技研究院有限公司 基于随机森林分类器加权结果的超分辨率合成系统和方法
CN110111252B (zh) * 2019-04-12 2024-01-23 浙江师范大学 基于投影矩阵的单幅图像超分辨率方法
CN110097503B (zh) * 2019-04-12 2024-01-19 浙江师范大学 基于邻域回归的超分辨率方法
CN113888398B (zh) * 2021-10-21 2022-06-07 北京百度网讯科技有限公司 头发渲染方法、装置及电子设备
CN114780781B (zh) * 2022-06-17 2022-09-23 中船重工(武汉)凌久高科有限公司 一种基于模糊聚类和非对称距离计算的乘积量化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103595A1 (en) * 2005-10-27 2007-05-10 Yihong Gong Video super-resolution using personalized dictionary
CN102142137A (zh) * 2011-03-10 2011-08-03 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN102629373A (zh) * 2012-02-27 2012-08-08 天津大学 基于稀疏表示理论的超分辨率图像获取方法
CN102750677A (zh) * 2012-06-12 2012-10-24 清华大学 基于同尺度结构自相似与压缩感知的单图像超分辨率方法
CN102968766A (zh) * 2012-11-23 2013-03-13 上海交通大学 基于字典数据库的自适应图像超分辨率重构方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722876B (zh) * 2012-05-29 2014-08-13 杭州电子科技大学 一种基于残差的图像超分辨率重建方法
CN104063855B (zh) * 2014-05-28 2017-01-04 北京大学深圳研究生院 一种基于分类字典库的超分辨率图像重构方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103595A1 (en) * 2005-10-27 2007-05-10 Yihong Gong Video super-resolution using personalized dictionary
CN102142137A (zh) * 2011-03-10 2011-08-03 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN102629373A (zh) * 2012-02-27 2012-08-08 天津大学 基于稀疏表示理论的超分辨率图像获取方法
CN102750677A (zh) * 2012-06-12 2012-10-24 清华大学 基于同尺度结构自相似与压缩感知的单图像超分辨率方法
CN102968766A (zh) * 2012-11-23 2013-03-13 上海交通大学 基于字典数据库的自适应图像超分辨率重构方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550111A (zh) * 2018-03-30 2018-09-18 西安工程大学 一种基于多级字典学习的残差实例回归超分辨重建方法
CN108550111B (zh) * 2018-03-30 2021-12-03 西安工程大学 一种基于多级字典学习的残差实例回归超分辨重建方法
CN108921783A (zh) * 2018-06-01 2018-11-30 武汉大学 一种基于混合损失函数约束的卫星影像超分辨率重建方法

Also Published As

Publication number Publication date
CN105023240A (zh) 2015-11-04
CN105023240B (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
WO2017004890A1 (zh) 基于迭代投影重建的字典类图像超分辨率系统及方法
Huang et al. Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization
Dong et al. Denoising prior driven deep neural network for image restoration
Zhang et al. Image super-resolution based on structure-modulated sparse representation
Cui et al. Deep network cascade for image super-resolution
Yu et al. A unified learning framework for single image super-resolution
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
Ren et al. Single image super-resolution via adaptive high-dimensional non-local total variation and adaptive geometric feature
Ren et al. Single image super-resolution using local geometric duality and non-local similarity
Cao et al. Image Super-Resolution via Adaptive $\ell _ {p}(0< p< 1) $ Regularization and Sparse Representation
WO2015180053A1 (zh) 一种快速超分辨率图像重建方法和装置
CN108830791B (zh) 基于自身样例和稀疏表示的图像超分辨率方法
Makwana et al. Single image super-resolution via iterative back projection based Canny edge detection and a Gabor filter prior
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution
CN111640059B (zh) 基于高斯混合模型的多字典图像超分辨方法
CN105590296B (zh) 一种基于双字典学习的单帧图像超分辨率复原方法
Li et al. Example based single-frame image super-resolution by support vector regression
Ren et al. Learning image profile enhancement and denoising statistics priors for single-image super-resolution
Deshpande et al. SURVEY OF SUPER RESOLUTION TECHNIQUES.
Ye et al. Depth super-resolution via deep controllable slicing network
Barzigar et al. A video super-resolution framework using SCoBeP
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
Zhao et al. Single depth image super-resolution with multiple residual dictionary learning and refinement
WO2018119565A1 (zh) 一种桶形畸变图像的矫正重构方法及装置
Alvarez-Ramos et al. Image super-resolution via two coupled dictionaries and sparse representation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15897546

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 09/05/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 15897546

Country of ref document: EP

Kind code of ref document: A1