WO2018120043A1 - 图像重建方法及装置 - Google Patents
图像重建方法及装置 Download PDFInfo
- Publication number
- WO2018120043A1 WO2018120043A1 PCT/CN2016/113563 CN2016113563W WO2018120043A1 WO 2018120043 A1 WO2018120043 A1 WO 2018120043A1 CN 2016113563 W CN2016113563 W CN 2016113563W WO 2018120043 A1 WO2018120043 A1 WO 2018120043A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- sample
- target
- subset
- samples
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000010276 construction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Definitions
- the present invention relates to the field of image processing technologies, and in particular, to an image reconstruction method and apparatus.
- a single-frame image super-resolution reconstruction technique is a method of reducing a low-resolution image into a high-resolution image.
- the image reconstruction methods in the conventional technology can be roughly classified into three categories.
- One type is based on interpolation methods, such as bilinear interpolation and bicubic interpolation. These methods are computationally intensive and short in time, but such methods can cause blurring and aliasing on the edges of the image, and cannot reconstruct images. Frequency details.
- the second type of method is based on a reconstruction method that uses image prior knowledge to obtain a reconstructed high-resolution image from the maximum a posteriori estimate.
- the more representative methods are the methods based on the prior knowledge of gradient contours.
- the third type of method is a learning-based approach, which typically uses a training database consisting of a large number of low-resolution image blocks and their corresponding high-resolution image blocks to estimate low-resolution image blocks by learning a dictionary or directly using image blocks. The mapping relationship with high resolution image blocks.
- the learning-based method in the conventional technology first captures a large number of high-resolution material maps, and obtains a low-resolution material map corresponding to the high-resolution material map by blurring, and compares the target image with low when reconstructing the target image.
- the difference of the resolution material map find a set of weighting coefficients, so that the low-resolution material map is weighted by the weighting coefficient and the difference from the target image is the smallest, and then the high-resolution image is weighted according to the weighting coefficient, thereby redrawing the target image .
- the first aspect of the embodiment of the present invention discloses an image reconstruction method, including:
- the first image, the second image, the target image area, and the reconstructed image area are image blocks of the same size
- the acquiring target image area is: dividing the input target image into one or more target image areas;
- the method further includes:
- the reconstructed image regions are stitched into a reconstructed image.
- the determining, by norm regularization, determining a set of weighting coefficients corresponding to each second image sample in the second subset of image samples is according to a formula:
- the determining by the norm regularization and the second image sample subset The set of weighting coefficients corresponding to each second image sample is according to the formula:
- the determining, by norm regularization, determining a set of weighting coefficients corresponding to each second image sample in the second subset of image samples is according to a formula:
- the second aspect of the embodiment of the present invention discloses an image reconstruction apparatus, including:
- a sample set construction module configured to acquire a first image sample set, and perform blurring on the first image sample to obtain a corresponding second image sample set, where the first image sample and the second image sample are the same size;
- a sample set clustering module configured to cluster the second image sample in the second image sample set, Obtaining one or more second image sample subsets, each second image sample subset corresponding to one cluster;
- a sample set selection module configured to acquire a target image region, and search for a second image sample subset of the target cluster to which the target image region belongs and a corresponding first image sample subset;
- a weighting coefficient determining module configured to determine, by norm regularization, a set of weighting coefficients corresponding to each second image sample in the second subset of image samples
- an image reconstruction module configured to weight the first subset of image samples according to the set of weighting coefficients to obtain a reconstructed image region corresponding to the target image region.
- the first image, the second image, the target image area, and the reconstructed image area are image blocks of the same size
- the sample set selection module is further configured to divide the input target image into one or more target image regions;
- the image reconstruction module is further configured to splicing the reconstructed image region into a reconstructed image.
- the weighting coefficient determination module is used according to a formula:
- the weighting coefficient determination module is used according to a formula:
- the weighting coefficient determination module is used according to a formula:
- the above image reconstruction method and apparatus may set a high resolution first image sample set as a sample and a corresponding low resolution second image sample set, and then cluster the samples.
- For the input low-resolution target image to be reconstructed first determine the cluster to which it belongs, and then normalize the second image sample subset and the target image in the cluster to be regularized by the norm.
- the optimal solution determines the weighting coefficients independently corresponding to each of the first image samples in the subset of the first image samples in the cluster, since the first image samples of different high resolutions are obtained by the norm regularization. Excellent independent weighting coefficients, so that the reconstructed image is more fitted with the input real high resolution image corresponding to the low resolution target image to be reconstructed, thereby improving the accuracy of image reconstruction.
- FIG. 1 is a flowchart of an image reconstruction method according to an embodiment of the present invention.
- FIG. 2 is a schematic diagram showing the principle of blurring a high-resolution image of a sample in a low-resolution image according to an embodiment of the present invention
- FIG. 3 is a schematic diagram of an image reconstruction apparatus according to an embodiment of the present invention.
- an image reconstruction method is proposed.
- the execution of the method may rely on a computer program that can run on a mobile terminal or smart terminal based on the von Neumann system.
- the computer program can be an image processing program or an image reconstruction program that reconstructs an input low resolution image into a high resolution image.
- the computer system can be a smartphone, a tablet, a laptop or a personal computer.
- the image reconstruction method includes:
- Step S102 Acquire a first image sample set, and perform blurring on the first image sample to obtain a corresponding second image sample set, where the first image sample and the second image sample are the same size.
- the first image sample set is a set of a plurality of pre-selected high-resolution images, and a plurality of high-resolution images rich in texture details may be selected to form a training library. Then, the same blurring and downsampling operation is performed on each of the image high resolution images X in the training library, thereby generating a corresponding low-resolution image with high-frequency detail loss, and the low-resolution image size at this time is the original high-resolution. 1/d (d>1) times of the image, the low-resolution image Y is enlarged by interpolation to the same size as the high-resolution image.
- the high frequency detail map is the extracted high resolution image feature.
- High frequency detail image Perform sufficient sampling to collect N sizes as Image block, interpolated image The same position of the same image block size is sampled, the acquisition is completed, and the training sample set can be obtained.
- the second sample image where y i represents the interpolated image blocks resulting in development of image acquisition into, x i denotes a first image corresponding to the image on the samples collected on frequency detail position of the image block into development.
- a high resolution image block as a first image sample and a low resolution image block as a second image sample after the feature extraction are obtained.
- Step S104 Clustering the second image samples in the second image sample set to obtain one or more second image sample subsets, each second image sample subset corresponding to one cluster.
- Step S106 Acquire a target image region, and search for a second image sample subset of the target cluster to which the target image region belongs and a corresponding first image sample subset.
- the target image area is the input low-resolution image that needs to be reconstructed into a high-resolution image, and the input target image can be divided into one or more target image regions, that is, the input low-resolution image is divided into a plurality of sizes.
- the same image block as the low resolution image block in the training library, each image block is the input target image area y t .
- y t and cluster center can be calculated
- the distance k, the cluster k where the smallest cluster center is located, is the cluster to which y t belongs.
- the obtained second image sample subset of the cluster k and the corresponding first image sample subset are the aforementioned
- Step S108 Determine, by norm regularization, a set of weighting coefficients corresponding to each second image sample in the second image sample subset.
- the input target image region y t and the second image sample subset are available
- norm regularization determines the optimal solution of w k .
- the L2 norm regularization employed to determine the optimal solution w k.
- the L2 norm regularization can effectively prevent the occurrence of over-fitting.
- Embodiment 1 is a diagrammatic representation of Embodiment 1:
- Embodiment 2 is a diagrammatic representation of Embodiment 1:
- Embodiment 3 is a diagrammatic representation of Embodiment 3
- Step S110 Weighting the first subset of image samples according to the set of weighting coefficients to obtain a reconstructed image region corresponding to the target image region.
- the N sizes for the above reconstruction are The reconstructed image area x t is spliced to finally obtain a reconstructed image corresponding to the target image.
- the set w k of the weighting coefficients is determined by the above three methods, and the first half of the above formula can be adopted: Partially or regularized so that w k can more closely fit the weighted x t with the first image sample
- the training sample can pass the second half of the above formula: with Prevent weighted x t from the first image sample
- the training samples have been fitted, so that the true high-resolution images corresponding to x t and y t obtained through the training set are more consistent, thereby improving the accuracy of the high-resolution reconstructed images.
- the apparatus includes a sample set construction module 102, a sample set clustering module 104, a sample set selection module 106, a weighting coefficient determination module 108, and an image reconstruction module 110, wherein:
- the sample set construction module 102 is configured to acquire a first image sample set, and perform blurring on the first image sample to obtain a corresponding second image sample set, where the first image sample and the second image sample are the same size.
- the sample set clustering module 104 is configured to cluster the second image samples in the second image sample set to obtain one or more second image sample subsets, and each second image sample subset corresponds to one cluster. .
- the sample set selection module 106 is configured to acquire a target image region, and search for a second image sample subset of the target cluster to which the target image region belongs and a corresponding first image sample subset.
- the weighting coefficient determination module 108 is configured to determine, by norm regularization, a set of weighting coefficients corresponding to each second image sample in the second subset of image samples.
- the image reconstruction module 110 is configured to weight the first subset of image samples according to the set of weighting coefficients to obtain a reconstructed image region corresponding to the target image region.
- the first image, the second image, the target image area, and the reconstructed image area are image blocks of the same size.
- the sample set selection module 106 is further configured to divide the input target image into one or more target image regions;
- the image reconstruction module 110 is further configured to splicing the reconstructed image region into a reconstructed image.
- the weighting coefficient determination module 108 is operative to use the formula:
- the weighting coefficient determination module 108 is configured to use a formula:
- the weighting coefficient determination module 108 is configured to use a formula:
- the above image reconstruction method and apparatus can set a first image sample set as a high resolution of a sample And a corresponding low resolution second image sample set, and then clustering the samples.
- For the input low-resolution target image to be reconstructed first determine the cluster to which it belongs, and then normalize the second image sample subset and the target image in the cluster to be regularized by the norm.
- the optimal solution determines the weighting coefficients independently corresponding to each of the first image samples in the subset of the first image samples in the cluster, since the first image samples of different high resolutions are obtained by the norm regularization. Excellent independent weighting coefficients, so that the reconstructed image is more fitted with the input real high resolution image corresponding to the low resolution target image to be reconstructed, thereby improving the accuracy of image reconstruction.
- the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种图像重建方法，包括：获取第一图像样本集合，对所述第一图像样本进行模糊得到对应的第二图像样本集合，所述第一图像样本和所述第二图像样本大小相同；对第二图像样本集合中的第二图像样本进行聚类，得到一个或一个以上的第二图像样本子集，每个第二图像样本子集对应一个聚类；获取目标图像区域，查找所述目标图像区域所属的目标聚类的第二图像样本子集以及相应的第一图像样本子集；通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合；根据所述加权系数的集合对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域,由此重建的图像更加准确。
Description
本发明涉及图像处理技术领域，特别是涉及一种图像重建方法及装置。
传统技术中，单帧图像超分辨率重构技术即为将低分辨率的图像还原成高分辨率图像的方法。传统技术中的图像重建方法大致可以分为三类。一类是基于插值的方法，如双线性插值、双三次插值方法，这类方法计算量小，耗时短，但这类方法会导致图像边缘出现模糊与锯齿等问题，无法重构图像高频细节信息。第二类方法是基于重建的方法，这类方法利用图像先验知识由最大后验估计获取重建高分辨率图像。其中比较有代表性的方法有基于梯度轮廓先验知识的方法，这类方法可以产生锐利边缘并能抑制振铃效应，但无法产生充足的丢失高频细节信息，尤其是在放大倍数较大时。第三类方法是基于学习的方法，这类方法通常利用一个由大量低分辨率图像块与其对应高分辨率图像块组成的训练数据库，通过学习字典或直接利用图像块去估计低分辨率图像块和高分辨率图像块的映射关系。
例如，传统技术中基于学习的方法为先拍摄大量的高分辨率素材图，并通过模糊得到高分辨率素材图对应的低分辨率素材图，在进行目标图像的重建时，比较目标图像与低分辨率素材图的差异，找到一组加权系数，使得低分辨率素材图经过该加权系数加权后与目标图像的差异最小，然后根据该加权系数加权高分辨率图像，从而对目标图像进行重绘。
然而，上述方法中不同的低分辨率素材图采用了相同的加权系数，这就使得图像重建方法恢复的高分辨率的图像不够准确。
发明内容
基于此，为了解决上述传统技术中图像重建方法恢复的高分辨率的图像不够准确的问题，特提出了一种图像重建方法。
本发明实施例第一方面公开了一种图像重建方法，包括：
获取第一图像样本集合，对所述第一图像样本进行模糊得到对应的第二图像样本集合，所述第一图像样本和所述第二图像样本大小相同；
对第二图像样本集合中的第二图像样本进行聚类，得到一个或一个以上的第二图像样本子集，每个第二图像样本子集对应一个聚类；
获取目标图像区域，查找所述目标图像区域所属的目标聚类的第二图像样本子集以及相应的第一图像样本子集；
通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合；
根据所述加权系数的集合对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域。
在其中一个实施例中，所述第一图像、第二图像、目标图像区域和重建图像区域为大小相同的图像块；
所述获取目标图像区域为：将输入的目标图像划分为一个或一个以上的目标图像区域；
所述根据所述加权系数对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域之后还包括：
将所述重建图像区域拼接为重建图像。
在其中一个实施例中，所述通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合为根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，所述i和j属于1至n的序号，
为目标聚类对应的第二图像样本子集中第i个第二图像样本，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，为yt为所述目标图像区域。
在其中一个实施例中，所述通过范数规则化确定与所述第二图像样本子集
中每个第二图像样本对应的加权系数的集合为根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，
为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，为yt为所述目标图像区域。
在其中一个实施例中，所述通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合为根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，
为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，
为
组成的向量，yt为所述目标图像区域。
此外，为了解决上述传统技术中的图像重建方法恢复的高分辨率的图像不够准确的问题，特提出了一种图像重建装置。
本发明实施例第二方面公开了一种图像重建装置，包括：
样本集构建模块，用于获取第一图像样本集合，对所述第一图像样本进行模糊得到对应的第二图像样本集合，所述第一图像样本和所述第二图像样本大小相同；
样本集聚类模块，用于对第二图像样本集合中的第二图像样本进行聚类，
得到一个或一个以上的第二图像样本子集，每个第二图像样本子集对应一个聚类；
样本集选择模块，用于获取目标图像区域，查找所述目标图像区域所属的目标聚类的第二图像样本子集以及相应的第一图像样本子集；
加权系数确定模块，用于通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合；
图像重建模块，用于根据所述加权系数的集合对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域。
在其中一个实施例中，所述第一图像、第二图像、目标图像区域和重建图像区域为大小相同的图像块；
所述样本集选择模块还用于将输入的目标图像划分为一个或一个以上的目标图像区域；
所述图像重建模块还用于将所述重建图像区域拼接为重建图像。
在其中一个实施例中，所述加权系数确定模块用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，所述i和j属于1至n的序号，
为目标聚类对应的第二图像样本子集中第i个第二图像样本，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，为yt为所述目标图像区域。
在其中一个实施例中，所述加权系数确定模块用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，
为目标聚类对应的第二图像样本子
集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，为yt为所述目标图像区域。
在其中一个实施例中，所述加权系数确定模块用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，
为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，
为
组成的向量，yt为所述目标图像区域。
综上所述，实施本发明实施例，将具有如下有益效果：
上述图像重建方法和装置可设置作为样本的高分辨率的第一图像样本集合以及对应的低分辨率的第二图像样本集合，然后将样本进行聚类。对于输入的待重建的低分辨率的目标图像，则先确定其所属的聚类，再将该聚类中的第二图像样本子集和目标图像进行范数规则化，从而通过范数规则化的最优解确定了与该聚类中的第一图像样本子集中每一个第一图像样本独立对应的加权系数，由于不同的高分辨率的第一图像样本均通过范数规则化得到了最优的独立的加权系数，从而使得重建得到图像与输入的待重建的低分辨率的目标图像对应的真实高分辨率图像更加拟合，从而提高了图像重建的准确性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明实施例中一种图像重建方法的流程图；
图2为本发明实施例中将样本集中高分辨率图像模糊得到低分辨率图像的原理示意图；
图3为本发明实施例中一种图像重建装置的示意图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述传统技术中的图像重建方法恢复的高分辨率的图像不够准确的技术问题，特提出了一种图像重建方法。该方法的执行可依赖计算机程序，该计算机程序可运行于基于冯诺依曼体系的移动终端或智能终端上。该计算机程序可以是图像处理程序或将输入的低分辨率图像重建为高分辨率图像的图像重建程序。该计算机系统可以是智能手机，平板电脑，笔记本电脑或个人电脑。
具体的，如图1所示，该图像重建方法，包括：
步骤S102：获取第一图像样本集合，对所述第一图像样本进行模糊得到对应的第二图像样本集合，所述第一图像样本和所述第二图像样本大小相同。
第一图像样本集合为预先选取的多个高分辨率图像的集合，可选取多张纹理细节丰富的高分辨率图像组成训练库。然后通过对训练库中的每张图高分辨图像X进行相同的模糊和下采样操作，从而产生相应的高频细节丢失的低分辨率图像，此时的低分辨率图像大小为原始高分辨率图像的1/d(d＞1)倍，将低分辨率图像Y通过插值的方法放大到与高分辨率图像相同大小得到图像
将高分辨图像X减去其对应的低分辨图像插值放大后的图像
得到高频细节图
高频细节图即为提取的高分辨率图像特征。对高频细节图像
进行足量
的采样，采集N个大小为
的图像块，在插值所得图像
的相同位置进行相同图像块大小的采样，采集完成，可以得到训练样本集
其中yi表示在插值所得图像上采集的图像块展成的第二图像样本，xi表示相应位置上高频细节图像上采集的图像块展成的第一图像样本。如图2所示，可得到了提取特征后的作为第一图像样本的高分辨率图像块与作为第二图像样本的低分辨率图像块。
步骤S104：对第二图像样本集合中的第二图像样本进行聚类，得到一个或一个以上的第二图像样本子集，每个第二图像样本子集对应一个聚类。
通过聚类算法将低分辨率图像块
聚为K类，K个聚类中心为
根据高、低分辨率图像块之间的对应关系将
划分到相应的类别中，这样就生成了各个样本子空间
其中，Nk是第k个聚类里的图像块的个数。且由上述描述可知，该第k个聚类中，第一图像样本子集的图像块的个数为Nk，第二图像样本子集的图像块的个数也为Nk。
步骤S106：获取目标图像区域，查找所述目标图像区域所属的目标聚类的第二图像样本子集以及相应的第一图像样本子集。
目标图像区域即为输入的需要重建为高分辨率图像的低分辨率图像，可将将输入的目标图像划分为一个或一个以上的目标图像区域，即将输入的低分辨率图像划分成很多个大小与训练库中低分辨率图像块相同的图像块，每个图像块即为输入的目标图像区域yt。
在本实施例中，可计算yt与聚类中心
的距离，距离最小的聚类中心所在的聚类k即为yt所从属的聚类。得到的聚类k的第二图像样本子集以及相应的第一图像样本子集即为前述的
步骤S108：通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合。
在本实施例中，第二图像样本子集中的每一个
均分配有独立的加权系数w，假设Nk为n，则，与所述第二图像样本子集中每个第二图像样本对应的加
权系数的集合为wk＝[w1,w2,...,wn]，而第二图像样本子集中的第二图像样本即构成向量
即：
在本实施例中，可通过输入的目标图像区域yt、第二图像样本子集
和范数规则化确定wk的最优解。
在本实施例中，采用L2范数规则化来确定wk的最优解。L2范数规则化可以有效的防止过拟合情况的出现。
具体的，以下以三种不同形式的L2范数规则化的模型来说明如何确定wk的最优解。
实施例一：
可根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，所述i和j属于1至n的序号，
为目标聚类对应的第二图像样本子集中第i个第二图像样本，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，为yt为所述目标图像区域。
实施例二：
可根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，
为目标聚类对应的第二图像样本子
集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，为yt为所述目标图像区域。
实施例三：
可根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，
为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，
为
组成的向量，yt为所述目标图像区域。
步骤S110：根据所述加权系数的集合对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域。
在得到与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合wk之后，则可通过公式：
即，
得到与目标图像区域对应的重建图像区域xt，其中，
即为与低分辨率图像块
对应的高分辨率图像块的样本(第一图像样本)。
对于上述重建的N个大小为
的重建图像区域xt，将其拼接，即可最终得到与目标图像对应的重建图像。
采用上述三种方式确定加权系数的集合wk，可通过上述公式中的前半部分：
部分或进行规则化，使得wk既能够更加拟合加权后的xt与第一图像
样本
的训练样本，又可以通过上述公式中的后半部分：
和
防止加权后的xt与第一图像样本
的训练样本出现过拟合，从而可使得通过训练集得到的xt与yt对应的真实高分辨率图像更加吻合，从而提高了高分辨率重建图像的准确性。
为了解决上述传统技术中的图像重建方法恢复的高分辨率的图像不够准确的技术问题，还提出了一种图像重建装置。如图3所示，该装置包括样本集构建模块102、样本集聚类模块104、样本集选择模块106、加权系数确定模块108和图像重建模块110，其中：
样本集构建模块102，用于获取第一图像样本集合，对所述第一图像样本进行模糊得到对应的第二图像样本集合，所述第一图像样本和所述第二图像样本大小相同。
样本集聚类模块104，用于对第二图像样本集合中的第二图像样本进行聚类，得到一个或一个以上的第二图像样本子集，每个第二图像样本子集对应一个聚类。
样本集选择模块106，用于获取目标图像区域，查找所述目标图像区域所属的目标聚类的第二图像样本子集以及相应的第一图像样本子集。
加权系数确定模块108，用于通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合。
图像重建模块110，用于根据所述加权系数的集合对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域。
在一个实施例中，所述第一图像、第二图像、目标图像区域和重建图像区域为大小相同的图像块。
样本集选择模块106还用于将输入的目标图像划分为一个或一个以上的目标图像区域；
图像重建模块110还用于将所述重建图像区域拼接为重建图像。
在一个实施例中，加权系数确定模块108用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，所述i和j属于1至n的序号，
为目标聚类对应的第二图像样本子集中第i个第二图像样本，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，为yt为所述目标图像区域。
在另一个实施例中，加权系数确定模块108用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，
为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，为yt为所述目标图像区域。
在另一个实施例中，加权系数确定模块108用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，
为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，
为
组成的向量，yt为所述目标图像区域。
综上所述，实施本发明实施例，将具有如下有益效果：
上述图像重建方法和装置可设置作为样本的高分辨率的第一图像样本集
合以及对应的低分辨率的第二图像样本集合，然后将样本进行聚类。对于输入的待重建的低分辨率的目标图像，则先确定其所属的聚类，再将该聚类中的第二图像样本子集和目标图像进行范数规则化，从而通过范数规则化的最优解确定了与该聚类中的第一图像样本子集中每一个第一图像样本独立对应的加权系数，由于不同的高分辨率的第一图像样本均通过范数规则化得到了最优的独立的加权系数，从而使得重建得到图像与输入的待重建的低分辨率的目标图像对应的真实高分辨率图像更加拟合，从而提高了图像重建的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
- 一种图像重建方法，其特征在于，包括：获取第一图像样本集合，对所述第一图像样本进行模糊得到对应的第二图像样本集合，所述第一图像样本和所述第二图像样本大小相同；对第二图像样本集合中的第二图像样本进行聚类，得到一个或一个以上的第二图像样本子集，每个第二图像样本子集对应一个聚类；获取目标图像区域，查找所述目标图像区域所属的目标聚类的第二图像样本子集以及相应的第一图像样本子集；通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合；根据所述加权系数的集合对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域。
- 根据权利要求1所述的图像重建方法，其特征在于，所述第一图像、第二图像、目标图像区域和重建图像区域为大小相同的图像块；所述获取目标图像区域为：将输入的目标图像划分为一个或一个以上的目标图像区域；所述根据所述加权系数对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域之后还包括：将所述重建图像区域拼接为重建图像。
- 根据权利要求1所述的图像重建方法，其特征在于，所述通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合为根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，所述i和j属于1至n的序号，为 目标聚类对应的第二图像样本子集中第i个第二图像样本，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，为yt为所述目标图像区域。
- 根据权利要求1所述的图像重建方法，其特征在于，所述通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合为根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，为yt为所述目标图像区域。
- 根据权利要求1所述的图像重建方法，其特征在于，所述通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合为根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，
为
组成的向量，yt为所述目标图像区域。
- 一种图像重建装置，其特征在于，包括：样本集构建模块，用于获取第一图像样本集合，对所述第一图像样本进行 模糊得到对应的第二图像样本集合，所述第一图像样本和所述第二图像样本大小相同；样本集聚类模块，用于对第二图像样本集合中的第二图像样本进行聚类，得到一个或一个以上的第二图像样本子集，每个第二图像样本子集对应一个聚类；样本集选择模块，用于获取目标图像区域，查找所述目标图像区域所属的目标聚类的第二图像样本子集以及相应的第一图像样本子集；加权系数确定模块，用于通过范数规则化确定与所述第二图像样本子集中每个第二图像样本对应的加权系数的集合；图像重建模块，用于根据所述加权系数的集合对所述第一图像样本子集进行加权得到与所述目标图像区域对应的重建图像区域。
- 根据权利要求6所述的图像重建装置，其特征在于，所述第一图像、第二图像、目标图像区域和重建图像区域为大小相同的图像块；所述样本集选择模块还用于将输入的目标图像划分为一个或一个以上的目标图像区域；所述图像重建模块还用于将所述重建图像区域拼接为重建图像。
- 根据权利要求6所述的图像重建装置，其特征在于，所述加权系数确定模块用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，所述i和j属于1至n的序号，为目标聚类对应的第二图像样本子集中第i个第二图像样本，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，为yt为所述目标图像区域。
- 根据权利要求6所述的图像重建装置，其特征在于，所述加权系数确定模块用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，为yt为所述目标图像区域。
- 根据权利要求6所述的图像重建装置，其特征在于，所述加权系数确定模块用于根据公式：
计算加权系数的集合wk；其中，k为目标聚类的序号，n为所述第二图像样本子集中包含的第二图像样本的数量，为目标聚类对应的第二图像样本子集中第二图像样本的集合，所述wk为满足上述min函数的最优解的集合{w1，…wi，..wn}，所述i和j属于1至n的序号，
为
组成的向量，yt为所述目标图像区域。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/113563 WO2018120043A1 (zh) | 2016-12-30 | 2016-12-30 | 图像重建方法及装置 |
| CN201680089867.6A CN110100263B (zh) | 2016-12-30 | 2016-12-30 | 图像重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/113563 WO2018120043A1 (zh) | 2016-12-30 | 2016-12-30 | 图像重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018120043A1 true WO2018120043A1 (zh) | 2018-07-05 |
Family
ID=62706736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2016/113563 WO2018120043A1 (zh) | 2016-12-30 | 2016-12-30 | 图像重建方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110100263B (zh) |
| WO (1) | WO2018120043A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110895705A (zh) * | 2018-09-13 | 2020-03-20 | 富士通株式会社 | 异常样本检测装置及其训练装置和训练方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091320A (zh) * | 2014-07-16 | 2014-10-08 | 武汉大学 | 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法 |
| US9294690B1 (en) * | 2008-04-10 | 2016-03-22 | Cyan Systems, Inc. | System and method for using filtering and pixel correlation to increase sensitivity in image sensors |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012218374A1 (de) * | 2012-10-09 | 2014-04-10 | Siemens Aktiengesellschaft | Verfahren zur iterativen Bildrekonstruktion fürDual-Energy-CT-Daten |
| CN103020935B (zh) * | 2012-12-10 | 2015-09-02 | 宁波大学 | 一种自适应在线字典学习的图像超分辨率方法 |
| US10096098B2 (en) * | 2013-12-30 | 2018-10-09 | Carestream Health, Inc. | Phase retrieval from differential phase contrast imaging |
| CN103914816A (zh) * | 2014-03-04 | 2014-07-09 | 西安电子科技大学 | 一种基于非局部正则化和关键帧的视频超分辨方法 |
-
2016
- 2016-12-30 WO PCT/CN2016/113563 patent/WO2018120043A1/zh active Application Filing
- 2016-12-30 CN CN201680089867.6A patent/CN110100263B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9294690B1 (en) * | 2008-04-10 | 2016-03-22 | Cyan Systems, Inc. | System and method for using filtering and pixel correlation to increase sensitivity in image sensors |
| CN104091320A (zh) * | 2014-07-16 | 2014-10-08 | 武汉大学 | 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| NIHAT, ADAR ET AL.: "Iterative Super Resolution Reconstruction from Multiple Images Using Cluster Computers", IEEE 15TH SIGNAL PROCESSING AND COMMUNICATIONS APPLICATIONS, 31 December 2007 (2007-12-31), pages 1 - 4, XP031132249 * |
| ZHAO, XIAOQIANG ET AL.: "Image Super-resolution Reconstruction Algorithm Based on Clustering", 27TH CHINESE CONTROL AND DECISION CONFERENCE (CCDC), 31 December 2015 (2015-12-31), XP033178063 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110895705A (zh) * | 2018-09-13 | 2020-03-20 | 富士通株式会社 | 异常样本检测装置及其训练装置和训练方法 |
| CN110895705B (zh) * | 2018-09-13 | 2024-05-14 | 富士通株式会社 | 异常样本检测装置及其训练装置和训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110100263A (zh) | 2019-08-06 |
| CN110100263B (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| Li et al. | Survey of single image super‐resolution reconstruction | |
| CN110570440A (zh) | 一种基于深度学习边缘检测的图像自动分割方法及装置 | |
| WO2023116632A1 (zh) | 基于时空记忆信息的视频实例分割方法和分割装置 | |
| Guo et al. | Multiscale semilocal interpolation with antialiasing | |
| CN112529908A (zh) | 一种基于级联卷积网络的数字病理图像分割方法及其模型 | |
| Shi et al. | Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution | |
| CN116310852A (zh) | 双时相遥感影像无监督分类与变化检测方法及系统 | |
| Wagner et al. | River water segmentation in surveillance camera images: A comparative study of offline and online augmentation using 32 CNNs | |
| Sun et al. | MCnet: Multiscale visible image and infrared image fusion network | |
| CN108335265B (zh) | 一种基于样本学习的快速图像超分辨率重建方法及装置 | |
| CN114240949A (zh) | 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置 | |
| CN115867933A (zh) | 用于处理图像的计算机实现的方法、计算机程序产品以及系统 | |
| Huan et al. | Remote sensing image reconstruction using an asymmetric multi-scale super-resolution network | |
| WO2018120043A1 (zh) | 图像重建方法及装置 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
| CN110136061B (zh) | 一种基于深度卷积预测与插值的分辨率提升方法及系统 | |
| CN111967292B (zh) | 一种轻量级的sar图像船只检测方法 | |
| CN114820576A (zh) | 乳腺特征提取、检测模型的训练方法、装置 | |
| WO2023138764A1 (en) | Device and method for super resolution kernel estimation | |
| CN114463764A (zh) | 表格线检测方法、装置、计算机设备和存储介质 | |
| Zhang et al. | Bilateral upsampling network for single image super-resolution with arbitrary scaling factors | |
| Hirahara et al. | Denoising and inpainting of sea surface temperature image with adversarial physical model loss | |
| US20230237628A1 (en) | Modeling continuous kernels to generate an enhanced digital image from a burst of digital images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16925082 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16925082 Country of ref document: EP Kind code of ref document: A1 |