WO2015180055A1 - 一种基于分类字典库的超分辨率图像重构方法及装置 - Google Patents

一种基于分类字典库的超分辨率图像重构方法及装置 Download PDF

Info

Publication number
WO2015180055A1
WO2015180055A1 PCT/CN2014/078614 CN2014078614W WO2015180055A1 WO 2015180055 A1 WO2015180055 A1 WO 2015180055A1 CN 2014078614 W CN2014078614 W CN 2014078614W WO 2015180055 A1 WO2015180055 A1 WO 2015180055A1
Authority
WO
WIPO (PCT)
Prior art keywords
dictionary
partial block
classification
image
reconstructed
Prior art date
Application number
PCT/CN2014/078614
Other languages
English (en)
French (fr)
Inventor
赵洋
王荣刚
王振宇
高文
王文敏
董胜富
黄铁军
马思伟
Original Assignee
北京大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学深圳研究生院 filed Critical 北京大学深圳研究生院
Priority to US15/314,091 priority Critical patent/US20170200258A1/en
Priority to PCT/CN2014/078614 priority patent/WO2015180055A1/zh
Publication of WO2015180055A1 publication Critical patent/WO2015180055A1/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Definitions

  • Kernel-based interpolation is one of the classic super-resolution methods, such as bilinear interpolation, spline interpolation, and curve interpolation.
  • Such algorithms generate continuous data from known discrete data.
  • the images processed by such algorithms still have effects such as blurring and aliasing, and cannot recover high-frequency details lost in low-resolution images.
  • edge-based super-resolution algorithms have been proposed, which have improved the unnatural effects of traditional interpolation algorithms and improved the visual quality of edges.
  • this type of algorithm focusing on edge improvement still does not restore high frequency texture details.
  • a plurality of sets of dictionary groups are pre-trained using a sparse coding algorithm to obtain an over-completed classification dictionary library.
  • the LBS and the SES of the second dictionary in each dictionary group are respectively calculated before the dictionary library is trained, the LBS and the SES of the third partial block of the image to be reconstructed may be utilized in the matching process. Fast The corresponding classification dictionary group is allocated, thereby improving the efficiency of image reconstruction, and recovering the high-frequency information of the low-resolution image to be reconstructed.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于分类字典库的超分辨率图像重构装置,该装置可以从训练图像中选取第一局部块以及降采样后对应的第二局部块,提取相应特征,组合得到一组字典组,再对多组字典组按照LBS和SES的计算值作为分类标记进行分类并进行预训练,得到包含多个带分类标记的字典组的分类字典库。在重构图像时,同样提取待重构图像上局部块的局部特征,并将局部块的LBS和SES分类与分类字典库中各字典的LBS和SES分类相匹对,即可以快速获取到匹对的字典,最后利用匹对的字典对该待重构图像进行图像重构。从而,可以在恢复图像的高频信息的同时,提升图像的超分辨率重构的效率。

Description

一种基于分类字典库的超分辨率图像重构方法及装置 技术领域
本发明涉及图像超分辨率技术领域, 具体涉及一种基于分类字典库 的超分辨率图像重构方法及装置。
背景技术
超分辨率也被称为上釆样、 图像放大, 是一种通过低分辨率的图像 来恢复高分辨率的清晰图像的处理技术。 超分辨率是图像和视频处理领 域的基础问题之一, 在医学图像处理、 图像识别、 数码照片处理、 高清 电视等领域有着非常广泛的应用前景。
早期的超分辨率技术主要分为基于重建的方法和基于插值的方法。 基于核的插值是其中一类经典的超分辨方法, 例如: 双线性插值、 样条 曲线插值和曲线插值等。 但是这类算法是通过已知的离散数据生成连续 的数据, 通过这类算法处理后的图片仍然会出现模糊、 锯齿等效应, 无 法恢复在低分辨率图像中所丟失的高频细节信息。 近年来, 大量的基于 边缘的超分辨率算法被提出, 改善了传统插值算法的不自然效应, 同时 提高了边缘的视觉质量。 但是, 这一类聚焦于改善边缘的算法仍然不能 恢复高频紋理细节。 为了解决紋理模糊问题, 一些字典学习类方法也被 相继提出, 通过训练低分辨率对应的高分辨率字典, 来恢复低分辨率图 像中丟失的细节信息。 但是该类方法中, 将低分辨率图像的中各个局部 块逐个在字典中进行匹配, 非常耗时, 图像重构效率低下。
发明内容
本发明实施例提供一种基于分类字典库的超分辨率图像重构方法, 包括: 从训练图像中选取若干个第一局部块, 以及, 从降釆样后的所述 训练图像上提取与所述第一局部块一一对应的第二局部块, 所述第二局 部块由其所在训练图像上的至少四个相邻像素点组成; 提取所述第一局 部块的局部特征, 作为第一字典, 以及提取所述与所述第一局部块—— 对应的第二局部块的局部特征, 作为第二字典, 所述第一字典与所述第 二字典——映射构成一组字典组; 计算所述第二局部块的局部二值结构 和锐利边缘结构, 得到的计算结果作为所述第二局部块对应的字典组的 分类标记; 对若干组所述字典组进行预训练, 得到分类字典库, 所述分 类字典库中的每一字典组携带有对应的分类标记; 计算待重构图像上的 第三局部块的局部二值结构和锐利边缘结构, 得到所述第三局部块的分 类标记, 所述第三局部块由其所在的待重构图像上的至少四个相邻像素 点组成; 将所述待重构图像中的第三局部块的分类标记与所述分类字典 库中的各个字典组的分类标记进行比较, 提取分类标记相同的字典组作 为所述第三局部块的匹对字典组; 利用所述匹对字典组对所述第三局部 块进行图像重构, 得到重构的第四局部块, 将所述待重构图像中的所有 第四局部块组合得到重构的图像。
本发明实施例提供一种基于分类字典库的超分辨率图像重构装置, 包括: 选取单元, 用于从训练图像中选取若干个第一局部块, 以及, 从 降釆样后的所述训练图像上提取与所述第一局部块——对应的第二局部 块, 所述第二局部块由其所在训练图像上的至少四个相邻像素点组成; 第一提取单元, 用于提取所述选取单元选取的所述第一局部块的局部特 征, 作为第一字典; 第二提取单元, 用于提取所述选取单元选取的所述 与所述第一局部块——对应的第二局部块的局部特征, 作为第二字典, 所述第一字典与所述第二字典——映射构成一组字典组;第一计算单元, 用于计算所述选取单元选取的所述第二局部块的局部二值结构和锐利边 缘结构, 作为所述第二局部块对应的字典组的分类标记; 预训练单元, 用于对对经过所述第一提取单元和所述第二提取单元提取的若干组所述 字典组进行预训练, 得到分类字典库, 所述分类字典库中的每一字典组 携带有所述第一计算单元计算所得的对应的分类标记; 第二计算单元, 用于计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构, 得到所述第三局部块的分类标记, 所述第三局部块由其所在的待重构图 像上的至少四个相邻像素点组成; 匹对单元, 用于将所述第二计算单元 计算得到的所述待重构图像中的第三局部块的分类标记与经过所述预训 练单元训练得到的所述分类字典库中的各个字典组的分类标记进行比 较, 提取分类标记相同的字典组作为所述第三局部块的匹对字典组; 重 构单元, 用于利用所述匹对单元匹对得到的所述匹对字典组对所述第三 局部块进行图像重构, 得到重构的第四局部块, 将所述待重构图像中的 所有第四局部块组合得到重构的图像。
本发明实施例提供的基于分类字典库的超分辨率图像重构系统, 包 括: 数据输入单元, 用于输入数据; 数据输出单元, 用于输出数据; 存 储单元, 用于存储数据, 其中包括可执行的程序; 处理器, 与所述数据 输入单元、 数据输出单元及存储单元数据连接, 用于执行所述可执行的 程序, 所述程序的执行包括完成上述方法。
从以上技术方案可以看出, 本发明实施例具有以下优点:
本申请提供的基于分类字典库的超分辨率图像重构方法及装置, 可 以从训练图像中选取第一局部块以及降釆样后对应的第二局部块, 提取 相应特征, 组合得到一组字典组, 再对多组字典组按照 LBS和 SES的 计算值作为分类标记进行分类并进行预训练, 得到包含多个带分类标记 的字典组的分类字典库。 在重构图像时, 同样提取待重构图像上局部块 的局部特征, 并将局部块的 LBS和 SES分类与分类字典库中各字典的 LBS和 SES分类相匹对, 即可以快速获取到匹对的字典, 最后利用匹对 的字典对该待重构图像进行图像重构。 从而, 可以在恢复图像的高频信 息的同时, 提升图像的超分辨率重构的效率。
附图说明
本发明的上述和 /或附加的方面和优点从结合下面附图对实施方式 的描述中将变得明显和容易理解, 其中:
图 1是依据本发明实施例一的方法流程图;
图 2a-2c为本申请一种实施例中局部块分类示意图;
图 3是依据本发明实施例二的装置结构示意图;
图 4是依据本发明实施例三的装置结构示意图。
具体实施方式 实施例一:
依据本发明的一种实施方式, 提供一种基于分类字典库的超分辨率 图像重构方法, 参考图 1 , 该方法可以包括以下步骤:
101、 从训练图像中选取第一局部块以及降釆样后对应的第二局部 块。
其中, 值得指出的是, 本领域技术人员应该知道, 可以为后续训练 分类字典库预先准备图像集合, 图像集合中可以包括多张训练图像。 在 选取训练图像时, 应当选择高分辨率的图像, 所述高分辨率的图像指的 是清晰的带有高频信息的图像。
本实施例步骤具体可以是: 从包含若干个训练图像的训练图像集中 选取若干个第一局部块, 以及, 从降釆样后的所述训练图像上提取与所 述第一局部块对应的第二局部块。
每个局部块的选取举例如下: 选取一个训练图像上任意 3 x3大小的 第一局部块。 其中, 多个不同的第一局部块可以从一张训练图像上选取 得到, 也可以从几张不同的训练图像上选取得到, 本申请实施例对此不 作具体限定。
第一局部块是从清晰的高分辨率图像上选取的局部块, 由于经过欠 釆样处理, 第二局部块是从第一局部块所在的高分辨率图像所对应的低 分辨率图像上选取的局部块。
102、提取第一局部块的局部特征以及第二局部块的局部特征,分别 得到第一字典和第二字典。
其中, 值得指出的是, 提取第一局部块的局部特征和提取第二局部 块的局部特征的执行顺序可以是同时, 也可以是任一先后顺序, 本申请 实施例对此不作限定。 将所述第一字典与所述第二字典——映射构成一 字典组, 以便后续用于重构低分辨率的局部块。
一个优选的实施例中, 第一字典的具体获取过程可以是: 将第一局 部块中每个像素点的灰度值与该第一局部块的灰度值的均值相减, 得到 该第一局部块的残差值, 将该残差值作为第一局部块对应的第一字典。
一个优选的实施例中, 第二字典的具体获取过程可以是: 计算所述 第二局部块的局部灰度差异值、 一阶梯度值以及二阶梯度值, 计算所得 的结果作为所述第二局部块对应的第二字典。
103、 计算第二局部结构的局部二值结构和锐利边缘结构。
其中, 计算第二局部结构的局部二值结构和锐利边缘结构, 得到的 计算结果作为第局部结构对应的字典组的分类标记。
第一字典及第二字典构成——映射关系, 组成一字典组。 通过使用 局部二值结构 (LBS , Local Binary Structure ) 和锐利边缘结构 ( SES , Sharp Edge Structure ) 对第二局部块的局部特征进行分类, 可以把字典 组样本划分为不同类别。
104、 对若干组字典组进行预训练, 得到分类字典库。
其中, 得到的分类字典库中的每一字典组携带有对应的分类标记。 一个优选的实施例, 可以利用 K均值聚类算法对若干组字典组进行 预训练, 得到欠完备的分类字典库。
一个优选的实施例,利用稀疏编码算法对若干组字典组进行预训练, 得到过完备的分类字典库。
105、计算待重构图像上的第三局部块的局部二值结构和锐利边缘结 构。
其中, 第三局部块由其所在的待重构图像上的至少四个相邻像素点 组成, 待重构图像为低分辨率图像, 为了得到其对应的清晰的高分辨率 图像, 需要恢复待重构图像上的高频信息。
计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构, 得到第三局部块的分类标记。
106、提取与第三局部块的分类标记相同的字典组作为该第三局部块 的匹对字典组。
将所述待重构图像中的第三局部块的分类标记与所述分类字典库中 的各个字典组的分类标记进行比较, 提取分类标记相同的字典组作为所 述第三局部块的匹对字典组。
步骤 106具体可以是: 使用所述 LBS和 SES对待重构图像中的第 三局部块进行分类, 提取与第三局部块分类标记相同的字典组作为所述 第三局部块的匹对字典组。
为了恢复待重构图像上的高频信息, 需要利用训练得到的分类字典 库中的字典组对待重构图像进行重构。 本申请实施例中, 由于训练字典 库前, 分别计算了每组字典组中第二字典的 LBS 和 SES , 因此在匹配 的过程中, 可以利用待重构图像的第三局部块的 LBS 和 SES , 快速匹 配出对应的分类字典组, 从而提高了图像重构的效率, 并且可以恢复低 分辨率的待重构图像的高频信息。
107、利用匹对字典组对第三局部块进行图像重构,得到重构的第四 局部块。
将所述待重构图像中的所有第四局部块组合得到重构的图像。
本申请实施例提供的基于分类字典库的超分辨率图像重构方法, 从 训练图像中选取第一局部块以及降釆样后对应的第二局部块, 提取第一 局部块及第二局部块的局部特征, 组合得到一组字典组, 计算第二局部 块的 LBS和 SES并进行分类, 再对多组带分类标记的字典组按分类类 别进行预训练, 得到包含多个字典组的分类字典库。 在重构图像时, 同 样计算重建图像上局部块的 LBS和 SES分类, 即可以快速获取到匹对 的字典组, 最后利用所匹对的字典组对该待重构图像进行图像重构。 从 而, 可以在恢复图像的高频信息的同时, 提高图像的超分辨率重构的效 率。
下面以一具体例子对本申请实施例一中所描述的 LBS和 SES的计 算过程及分类字典原理进一步进行阐述。
如图 2a、 2b和 2c所示, A、 B、 C、 D是局部相邻的四个像素点, 图中, 像素点的高度反应了像素点的灰度值大小。 如图 2a所示, A、 B、
C、 D 四个像素点组成一块平坦局部区域, 因此灰度值大小相等。 如图
2b所示, 像素点 A和 B的灰度值比像素点 C和 D的灰度值高。 本实施 例定义 LBS-Geometry ( LBS— G ) 区分这种几何结构上的不同,
LBS-Geometry ( LBS— G ) 的计算方式如公式 ( 1 ):
Figure imgf000007_0001
其中, gp表示局部的第 p个像素点的灰度值 , 8„1∞11是八、 B、 C、 D四个像素点构成的局部的像素值的均值。 本实施例中以 4个像素点为 例进行举例, 在其它实施例中, 像素点的数量可以为其它数值, 例如 N 个, N 为正整数的平方值。
如图 2b、 2c所示的局部块, 由于灰度差异程度不同, 二者仍然属于 不同的局部模式, 因此本实施例定义 LBS-Difference ( LBS— D ) 来表示 局部灰度差异程度, 可以得到公式 (2 ): ... ... ( 2 )
Figure imgf000007_0002
其中 dglbal是整幅图像上全部的局部灰度差异的均值。
结合 LBS— G和 LBS— D便组成了完整的局部二值结构描述, 如公式 ( 3 ) 所示:
LBS二 ¾ S (gp-gmean ) 2P+3+ S (dp-dglobal) 2P- 1 ―…( 3 ) p=l p=l
时, 本实施例中定义锐利边缘结构 SES:
Figure imgf000008_0001
其中, t为预先设置有灰度阔值, 在具体实施例中, t设置为一相对 较大的阔值, 用于区分锐利边缘。
本实施例中, 分类字典库的训练可以釆用 K均值聚类的方式, 得到 欠完备分类字典库,或者,分类字典库的训练可以釆用稀疏编码的方式, 得到过完备分类字典库。
本申请实施例中, 使用 K均值聚类的方式训练字典库时, 从选取一 定数量(例如十万个) 的字典基组, 使用 K均值聚类算法聚类出若干个 类别中心, 用这些类别中心作为分类字典库。 使用 K均值聚类的方式训 练字典库可以建立维数低的欠完备字典库。
下面对本申请实施例一中的步骤 107利用匹对字典基对每个第三局 部块进行图像重构的过程进行举例描述:
一个优选的实施例中, 待重构图像中第三局部块 y重构后的高分辨 率第四局部块 X可以利用以下公式计算得到:
X - Dh(y) α ( 5 )
其中, Dh(y)是和第三局部块 y有相同的 LBS和 SES (即相同的分 类标记) 的第一字典, α是表达系数。
在使用过完备字典库对第三局部块 y进行重构时 , 系数 α满足稀疏 性, 使用与 y匹对的第二字典 D^y)来计算稀疏表达系数 α , 然后将计算 得到的表达系数 ot代入式(5 ) 中来计算对应的第四局部块 X , 因此最优 α的获取可以转化为以下最优化问题: mm a s. t. FD.a-Fy ε ( 6 ) 其中 ε为趋于 0的极小值, F是局部特征提取操作, 在本实施例提 供的分类字典中, 取的特征是局部灰度差异结合一阶梯度值、 二阶梯度 值所得到的结果。 由于 α足够稀疏, 因此使用 L1范数来代替式(6 ) 的 L0范数, 优化目标函数变为:
Figure imgf000009_0001
其中, λ是一个调节系数稀疏性和重构相似性的系数, 最优的稀疏 表达系数 α可以通过解上述 Lasso问题获得, 然后代入式( 5 )即可重构 出 y对应的高分辨率第四局部块 x。
在使用欠完备字典对第三局部块 y进行重构时, α不满足足够稀疏 性, 使用 k近邻算法在 D^y)字典中找出最接近 y的 k个字典基, 再用对 应的 k个第一字典的线性组合来重建 x。
图像中每个低分辨率的第三局部块 y都重建其清晰的高分辨率的第 四图像块 X后, 就得到了最终的清晰还原图像, 即可得到清晰的重构图 像。 实施例二:
依据本申请的一种实施方式, 提供一种基于分类字典库的超分辨率 图像重构装置, 参考图 3 , 该装置可以包括:
选取单元 20, 用于从训练图像中选取若干个第一局部块, 以及, 从 降釆样后的所述训练图像上提取与所述第一局部块——对应的第二局部 块, 所述第二局部块由其所在训练图像上的至少四个相邻像素点组成。
第一提取单元 21 , 用于提取选取单元 20选取的所述第一局部块的 局部特征, 作为第一字典。
第二提取单元 22 , 用于提取选取单元 20选取的所述与所述第一局 部块——对应的第二局部块的局部特征, 作为第二字典, 所述第一字典 与所述第二字典——映射构成一组字典组。
第一计算单元 23 , 用于计算选取单元 20选取的所述第二局部块的 局部二值结构和锐利边缘结构, 作为所述第二局部块对应的字典组的分 类标记。
预训练单元 24,用于对经过第一提取单元 21和第二提取单元 22提 取的若干组所述字典组进行预训练, 得到分类字典库, 所述分类字典库 中的每一字典组携带有第一计算单元 23计算所得的对应的分类标记。
第二计算单元 25 ,计算待重构图像上的第三局部块的局部二值结构 和锐利边缘结构, 得到所述第三局部块的分类标记, 所述第三局部块由 其所在的待重构图像上的至少四个相邻像素点组成。
匹对单元 26 , 用于将第二计算单元 25计算得到的所述待重构图像 中的第三局部块的分类标记与经过预训练单元 24 训练得到的所述分类 字典库中的各个字典组的分类标记进行比较, 提取分类标记相同的字典 组作为所述第三局部块的匹对字典组。
重构单元 27 , 用于利用匹对单元 26 匹对得到的所述匹对字典组对 所述第三局部块进行图像重构, 得到重构的第四局部块, 将所述待重构 图像中的所有第四局部块组合得到重构的图像。
一个优选的实施例中, 第一提取单元 21具体用于: 将第一局部块中 每个像素点的灰度值与所述第一局部块的灰度值均值相减, 得到所述第 一局部块的残差值, 作为所述第一局部块对应的第一字典。
一个优选的实施例中, 第二提取单元 22具体用于: 计算第二局部块 的局部灰度差异值、 一阶梯度值以及二阶梯度值, 计算所得的结果作为 所述第二局部块对应的第二字典。
一个优选的实施例中, 重构单元 27具体用于: 利用以下公式计算得 到所述第三局部块重构后的第四局部块 X: x ^ Dh (y)a 其中, y为待重构的所述第三局部块, Dh(y)为和第三局部块有相同 的分类标记的字典组的第一字典, α是表达系数。
一个优选的实施例中, 预训练单元 24具体用于: 利用 Κ均值聚类 算法对若干组所述字典组进行预训练, 得到欠完备字典的数据库。
一个优选的实施例中,预训练单元 24具体用于: 利用稀疏编码算法 对若干组所述字典组进行预训练, 得到过完备字典的数据库。
本申请实施例提供一种基于分类字典库的超分辨率图像重构装置, 该装置可以从训练图像中选取第一局部块以及降釆样后对应的第二局部 块, 提取相应特征, 组合得到一组字典组, 再对多组字典组按照 LBS和 SES的计算值作为分类标记进行分类并进行预训练, 得到包含多个带分 类标记的字典组的分类字典库。 在重构图像时, 同样提取待重构图像上 局部块的局部特征, 并将局部块的 LBS和 SES分类与分类字典库中各 字典的 LBS和 SES分类相匹对, 即可以快速获取到匹对的字典, 最后 利用匹对的字典对该待重构图像进行图像重构。 从而, 可以在恢复图像 的高频信息的同时, 提升图像的超分辨率重构的效率。 实施例三:
依据本申请的一种实施方式, 提供一种基于分类字典库的超分辨率 图像重构系统, 参考图 4, 该装置可以包括:
数据输入单元 30,用于输入数据。数据输出单元 31 ,用于输出数据。 存储单元 32 , 用于存储数据, 其中包括可执行的程序。 处理器 33 , 与数 据输入单元 30、 数据输出单元 31及存储单元 32数据连接, 用于执行所 全部或部分步骤。
本领域技术人员可以理解, 上述实施方式中各种方法的全部或部分 步骤可以通过程序来指令相关硬件完成, 该程序可以存储于一计算机可 读存储介质中, 存储介质可以包括: 只读存储器、 随机存储器、 磁盘或 光盘等。
以上所述仅为本发明的较佳实施例, 应当理解, 这些实施例仅用以 解释本发明, 并不用于限定本发明。 对于本领域的一般技术人员, 依据 本发明的思想, 可以对上述具体实施方式进行变化。

Claims

权 利 要 求
1、 一种基于分类字典库的超分辨率图像重构方法, 其特征在于, 包 括:
从训练图像中选取若干个第一局部块, 以及, 从降釆样后的所述训 练图像上提取与所述第一局部块一一对应的第二局部块, 所述第二局部 块由其所在训练图像上的至少四个相邻像素点组成;
提取所述第一局部块的局部特征, 作为第一字典, 以及提取所述与 所述第一局部块——对应的第二局部块的局部特征, 作为第二字典, 所 述第一字典与所述第二字典——映射构成一组字典组;
计算所述第二局部块的局部二值结构和锐利边缘结构, 得到的计算 结果作为所述第二局部块对应的字典组的分类标记;
对若干组所述字典组进行预训练, 得到分类字典库, 所述分类字典 库中的每一字典组携带有对应的分类标记;
计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构, 得到所述第三局部块的分类标记, 所述第三局部块由其所在的待重构图 像上的至少四个相邻像素点组成;
将所述待重构图像中的第三局部块的分类标记与所述分类字典库中 的各个字典组的分类标记进行比较, 提取分类标记相同的字典组作为所 述第三局部块的匹对字典组;
利用所述匹对字典组对所述第三局部块进行图像重构, 得到重构的 第四局部块, 将所述待重构图像中的所有第四局部块组合得到重构的图 像。
2、 如权利要求 1所述的基于分类字典库的超分辨率图像重构方法, 其特征在于, 所述提取所述第一局部块的局部特征,作为第一字典包括: 将所述第一局部块中每个像素点的灰度值与所述第一局部块的灰度 值的均值相减, 得到所述第一局部块的残差值, 作为所述第一局部块对 应的第一字典。
3、 如权利要求 1所述的基于分类字典库的超分辨率图像重构方法, 其特征在于, 所述提取所述与每个所述第一局部块——对应的第二局部 块的局部特征, 作为第二字典包括:
计算所述第二局部块的局部灰度差异值、 一阶梯度值以及二阶梯度 值, 计算所得的结果作为所述第二局部块对应的第二字典。
4、如权利要求 1-3中任意一项所述的基于分类字典库的超分辨率图 像重构方法, 其特征在于, 所述利用所述匹对字典组对所述第三局部块 进行图像重构, 得到重构的第四局部块包括:
利用以下公式计算得到所述第三局部块重构后的第四局部块 X: x ^ Dh (y)a 其中, y为待重构的所述第三局部块, Dh(y)为和所述第三局部块有 相同的分类标记的字典组的第一字典, α为表达系数。
5、 如权利要求 4所述的基于分类字典库的超分辨率图像重构方法, 其特征在于, 所述对若干组所述字典组进行预训练, 得到分类字典库包 括:
利用稀疏编码算法对若干组所述字典组进行预训练, 得到过完备的 分类字典库。
6、 如权利要求 4所述的基于分类字典库的超分辨率图像重构方法, 其特征在于, 所述对若干组所述字典组进行预训练, 得到分类字典库包 括:
利用 Κ均值聚类算法对若干组所述字典组进行预训练,得到欠完备 的分类字典库。
7、 如权利要求 5所述的基于分类字典库的超分辨率图像重构方法, 其特征在于,
在使用过完备字典库对所述第三局部块 y进行重构时, 所述表达系 数 α满足稀疏性, α由以下公式计算得到:
min||a||o s.t. \\FD, (y)a - Fyf2 < ε 其中, D^y)为与 y有相同的分类标记的第二字典, ε为趋于 0的极 小值, F是局部特征提取操作。
8、 如权利要求 6所述的基于分类字典库的超分辨率图像重构方法, 其特征在于,
在使用欠完备字典库对所述第三局部块 y进行重构时, 所述表达系 数 α不满足稀疏性, 由以下方式得到:
使用 k近邻算法提取最接近 y的 k个第二字典 D^y);
获取对应的 k个第一字典 Dh(y);
利用所述 k个第一字典 Dh(y)线性组合, 重建第四局部块 X , 其中, k为预置的选取字典样本的数目, D^y)为与 y有相同的局部二值结构和 边缘锐利结构的第二字典。
9、 一种基于分类字典库的超分辨率图像重构装置, 其特征在于, 包 括:
选取单元, 用于从训练图像中选取若干个第一局部块, 以及, 从降 釆样后的所述训练图像上提取与所述第一局部块——对应的第二局部 块, 所述第二局部块由其所在训练图像上的至少四个相邻像素点组成; 第一提取单元, 用于提取所述选取单元选取的所述第一局部块的局 部特征, 作为第一字典;
第二提取单元, 用于提取所述选取单元选取的所述与所述第一局部 块——对应的第二局部块的局部特征, 作为第二字典, 所述第一字典与 所述第二字典——映射构成一组字典组;
第一计算单元, 用于计算所述选取单元选取的所述第二局部块的局 部二值结构和锐利边缘结构, 作为所述第二局部块对应的字典组的分类 标记;
预训练单元, 用于对对经过所述第一提取单元和所述第二提取单元 提取的若干组所述字典组进行预训练, 得到分类字典库, 所述分类字典 库中的每一字典组携带有所述第一计算单元计算所得的对应的分类标 记;
第二计算单元, 用于计算待重构图像上的第三局部块的局部二值结 构和锐利边缘结构, 得到所述第三局部块的分类标记, 所述第三局部块 由其所在的待重构图像上的至少四个相邻像素点组成;
匹对单元, 用于将所述第二计算单元计算得到的所述待重构图像中 的第三局部块的分类标记与经过所述预训练单元训练得到的所述分类字 典库中的各个字典组的分类标记进行比较, 提取分类标记相同的字典组 作为所述第三局部块的匹对字典组;
重构单元, 用于利用所述匹对单元匹对得到的所述匹对字典组对所 述第三局部块进行图像重构, 得到重构的第四局部块, 将所述待重构图 像中的所有第四局部块组合得到重构的图像。
10、如权利要求 9所述的基于分类字典库的超分辨率图像重构装置, 其特征在于, 所述第一提取单元具体用于:
将所述第一局部块中每个像素点的灰度值与所述第一局部块的灰度 值均值相减, 得到所述第一局部块的残差值, 作为所述第一局部块对应 的第一字典。
11、如权利要求 9所述的基于分类字典库的超分辨率图像重构装置, 其特征在于,
所述第二提取单元具体用于: 计算所述第二局部块的局部灰度差异 值、 一阶梯度值以及二阶梯度值, 计算所得的结果作为所述第二局部块 对应的第二字典。
12、如权利要求 9-11任一所述的基于分类字典库的超分辨率图像重 构装置, 其特征在于, 所述重构单元具体用于: 利用以下公式计算得到 所述第三局部块重构后的第四局部块 X: x ^ Dh (y)a 其中, y为待重构的所述第三局部块, Dh(y)为和第三局部块有相同 的分类标记的字典组的第一字典, α是表达系数。
13、 如权利要求 12 所述的基于分类字典库的超分辨率图像重构装 置, 其特征在于, 所述预训练单元具体用于: 利用 Κ均值聚类算法对若 干组所述字典组进行预训练, 得到欠完备字典的数据库。
14、 如权利要求 12 所述的基于分类字典库的超分辨率图像重构装 置, 其特征在于, 所述预训练单元具体用于: 利用稀疏编码算法对若干 组所述字典组进行预训练, 得到过完备字典的数据库。
15、 一种基于分类字典库的超分辨率图像重构系统, 其特征在于, 包括: 数据输入单元, 用于输入数据; 数据输出单元, 用于输出数据; 存储单元, 用于存储数据, 其中包括可执行的程序; 处理器, 与所述数 据输入单元、 数据输出单元及存储单元数据连接, 用于执行所述可执行 的程序, 所述程序的执行包括完成所述权利要求 1-8中的任一方法。
PCT/CN2014/078614 2014-05-28 2014-05-28 一种基于分类字典库的超分辨率图像重构方法及装置 WO2015180055A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/314,091 US20170200258A1 (en) 2014-05-28 2014-05-28 Super-resolution image reconstruction method and apparatus based on classified dictionary database
PCT/CN2014/078614 WO2015180055A1 (zh) 2014-05-28 2014-05-28 一种基于分类字典库的超分辨率图像重构方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/078614 WO2015180055A1 (zh) 2014-05-28 2014-05-28 一种基于分类字典库的超分辨率图像重构方法及装置

Publications (1)

Publication Number Publication Date
WO2015180055A1 true WO2015180055A1 (zh) 2015-12-03

Family

ID=54697838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/078614 WO2015180055A1 (zh) 2014-05-28 2014-05-28 一种基于分类字典库的超分辨率图像重构方法及装置

Country Status (2)

Country Link
US (1) US20170200258A1 (zh)
WO (1) WO2015180055A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169925A (zh) * 2017-04-21 2017-09-15 西安电子科技大学 无级缩放超分辨率图像的重建方法
CN109615576A (zh) * 2018-06-28 2019-04-12 西安工程大学 基于级联回归基学习的单帧图像超分辨重建方法
CN111091158A (zh) * 2019-12-25 2020-05-01 科大讯飞股份有限公司 针对教辅图像的图像质量的分类方法、装置及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978809B (zh) * 2017-12-26 2022-02-22 同方威视技术股份有限公司 图像处理方法、装置及计算机可读存储介质
CN110008954B (zh) * 2019-03-29 2021-03-19 重庆大学 一种基于多阈值融合的复杂背景文本图像提取方法及系统
CN113903035A (zh) * 2021-12-06 2022-01-07 北京惠朗时代科技有限公司 一种基于超分辨率多尺度重建的文字识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708576A (zh) * 2012-05-18 2012-10-03 西安电子科技大学 基于结构字典的分块图像压缩感知重建方法
CN102722876A (zh) * 2012-05-29 2012-10-10 杭州电子科技大学 一种基于残差的图像超分辨率重建方法
CN102930518A (zh) * 2012-06-13 2013-02-13 上海汇纳网络信息科技有限公司 基于改进的稀疏表示的图像超分辨率方法
CN103116880A (zh) * 2013-01-16 2013-05-22 杭州电子科技大学 一种基于稀疏表示和多残差的图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9324133B2 (en) * 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708576A (zh) * 2012-05-18 2012-10-03 西安电子科技大学 基于结构字典的分块图像压缩感知重建方法
CN102722876A (zh) * 2012-05-29 2012-10-10 杭州电子科技大学 一种基于残差的图像超分辨率重建方法
CN102930518A (zh) * 2012-06-13 2013-02-13 上海汇纳网络信息科技有限公司 基于改进的稀疏表示的图像超分辨率方法
CN103116880A (zh) * 2013-01-16 2013-05-22 杭州电子科技大学 一种基于稀疏表示和多残差的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIAN, QIUSHENG ET AL.: "Image Super-resolution Algorithms Based on Sparse Representation of Classified Image Patches", CHINESE JOURNAL OF ELECTRONICS, vol. 40, no. 5, 31 May 2012 (2012-05-31), pages 921 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169925A (zh) * 2017-04-21 2017-09-15 西安电子科技大学 无级缩放超分辨率图像的重建方法
CN107169925B (zh) * 2017-04-21 2019-10-22 西安电子科技大学 无级缩放超分辨率图像的重建方法
CN109615576A (zh) * 2018-06-28 2019-04-12 西安工程大学 基于级联回归基学习的单帧图像超分辨重建方法
CN111091158A (zh) * 2019-12-25 2020-05-01 科大讯飞股份有限公司 针对教辅图像的图像质量的分类方法、装置及设备
CN111091158B (zh) * 2019-12-25 2024-04-30 科大讯飞股份有限公司 针对教辅图像的图像质量的分类方法、装置及设备

Also Published As

Publication number Publication date
US20170200258A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
KR102184755B1 (ko) 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
Li et al. Hyperspectral image super-resolution by band attention through adversarial learning
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
Lim et al. Enhanced deep residual networks for single image super-resolution
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
WO2015180055A1 (zh) 一种基于分类字典库的超分辨率图像重构方法及装置
KR102169242B1 (ko) 초해상도 영상 복원을 위한 기계 학습 방법
US20220138454A1 (en) Training method and training apparatus for a neural network for object recognition
US9349072B2 (en) Local feature based image compression
US20180232857A1 (en) Method and device for super-resolution image reconstruction based on dictionary matching
US9986255B2 (en) Method and device for video encoding or decoding based on image super-resolution
JP2010108494A (ja) 画像内の顔の特性を判断する方法及びシステム
Yu et al. Improving face sketch recognition via adversarial sketch-photo transformation
CN104992407B (zh) 一种图像超分辨方法
Krishnan et al. SwiftSRGAN-Rethinking super-resolution for efficient and real-time inference
CN104063855B (zh) 一种基于分类字典库的超分辨率图像重构方法及装置
Vo et al. StarSRGAN: Improving real-world blind super-resolution
Ilin et al. Creating training datasets for ocr in mobile device video stream.
Knoche et al. Susceptibility to image resolution in face recognition and trainings strategies
Kastaniotis et al. HEp-2 cells classification using locally aggregated features mapped in the dissimilarity space
CN103077396B (zh) 一种彩色图像的向量空间特征点提取方法及装置
Chowdhury et al. Automatic Generation of Synthetic Palm Images
Tang et al. Coupled dictionary learning on common feature space for medical image super resolution
Ahmed et al. Clustering Oriented Scale Invariant Dictionaries for Single Image Super-Resolution

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14893552

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15314091

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14893552

Country of ref document: EP

Kind code of ref document: A1