WO2015085636A1 - 一种视频超分辨率处理方法 - Google Patents
一种视频超分辨率处理方法 Download PDFInfo
- Publication number
- WO2015085636A1 WO2015085636A1 PCT/CN2013/090963 CN2013090963W WO2015085636A1 WO 2015085636 A1 WO2015085636 A1 WO 2015085636A1 CN 2013090963 W CN2013090963 W CN 2013090963W WO 2015085636 A1 WO2015085636 A1 WO 2015085636A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- block
- super
- blocks
- resolution
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005070 sampling Methods 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Definitions
- the invention relates to the field of computational video processing, and in particular to a video super-resolution processing method based on self-similar block matching.
- Super-resolution processing technology is a technique for improving the resolution of video or images.
- the popular understanding is to improve the resolution of the original image by hardware or software.
- Image video may cause its quality level to drop or be too low due to certain factors in its acquisition, transmission and storage.
- people have higher and higher requirements for the definition of digital images. Therefore, it is often necessary to improve the resolution of video or image through super-resolution processing, and at the same time, it is hoped that the resolution of the processed video is high.
- the existing video super-resolution processing method usually obtains a high-resolution image by up-sampling processing. When the improvement is made, the upsampling process is generally improved, thereby improving the processing effect.
- the high-resolution images obtained by the existing processing methods still have a problem of poor clarity and poor super-resolution processing.
- the technology to be solved by the present invention is: To make up for the deficiencies of the above prior art, a video super-resolution processing method is proposed, which ensures image resolution while improving image resolution, and improves super-resolution processing.
- a video super-resolution processing method includes the following steps: performing the following processing operations on each frame image in the received video to be processed; 1) dividing the current frame image into a plurality of image blocks; 2) in the current frame image Each image block is processed as follows to obtain a super-resolution image block of each image block: 21) detecting a similar block of the current image block and/or a front L frame of the current frame image in the current frame image, and/or Detecting a similar block of the image block corresponding to the current image block, and obtaining a plurality of similar blocks of the current image block; wherein, L and ⁇ are integers greater than or equal to 0, and: L and ⁇ are not 0, specifically The value is set by the user according to the requirements of processing precision and processing speed; 22) performing upsampling processing on multiple similar blocks of the current image block to obtain upsampled image blocks of each phase in blocks; 23) The upsampled image blocks are merged into one super-resolution image block; 3) the super-resolution image blocks of the respective image blocks
- the video super-resolution processing method of the present invention detects, respectively, a plurality of divided image blocks, and respectively acquires blocks that match each image block in the current frame image and/or blocks that match in the front and rear domain frame images, that is, acquired Approximate image blocks on the spatial domain and/or image blocks similar in time domain, followed by upsampling, image block fusion and so on.
- the information in the time domain of the video sequence and in the spatial domain is fully utilized, that is, the sub-pixel information in the similar image block is fully utilized to ensure sufficient information of the fusion reconstruction basis, and it is recognized that the information is improved.
- the image resolution ensures image sharpness and improves super-resolution processing.
- m 1 is a flowchart of image processing for each frame in a video super-resolution processing method according to an embodiment of the present invention
- m 2 is a flowchart of a method for detecting and acquiring similar blocks in a video super-resolution processing method according to an embodiment of the present invention
- the video super-resolution processing method processes the video sequence that is obtained by the camera > camera, or the video sequence obtained by the computer tool, and the data format is not limited.
- the super-resolution processing operation shown in the figure is performed on each frame image in the video, which specifically includes the following steps:
- an image block there are multiple implementation manners for dividing an image block, and one way is to fix the current frame image according to a fixed shape.
- the shape (such as a uniform square window) is divided into a plurality of image blocks, for example, an image containing 256 pixels is divided into four 8 ⁇ 8 image blocks, or 16 4 ⁇ 4 image blocks.
- Another example is to use the square window image block in the BM3D algorithm to divide the image into multiple blocks.
- Another way is to use the 8-direction LPA-Id (Local adaptive image block shape to divide the current frame image into multiple Adaptive image blocks
- LPA-Id Local adaptive image block shape
- the method when detecting and acquiring similar blocks, includes acquiring a current frame spatial similar block and/or a front and rear frame time domain phase block. If both the spatial phase block and the time domain phase block are obtained, the precision is higher, but the corresponding operation amount is larger. Therefore, the user can set one of the similar blocks according to the requirements of processing integration and speed. It is more suitable to obtain two types of phase blocks at the same time. Furthermore, combined with the subsequent steps of super-resolution processing, it can be known that the computational complexity of the processing process is mainly reflected in the process of detecting and acquiring similar blocks, but since there are many implementation methods for finding similar blocks, the video super-resolution effect can be ensured. In the case of the case, try to choose a detection method with a lower complexity.
- the acquisition of the phase block in the spatial domain or the time domain is as shown in FIG. 2, and includes the following steps:
- FIG. 2 exemplarily illustrates a specific method for calculating a candidate block with low computational complexity, including the following steps:
- p Set the window; set the WxW size window centered on the image block to be searched for in the current block, where W is the experience value set by the user. If a spatial domain similar block is sought in the current frame, the window is set centered on the current image block. If a time domain similarity block is sought in the neighborhood frame, the window is set with the current image block in the current frame image centered on the corresponding image block in the corresponding neighborhood.
- the subsequent calculation amount is set here.
- the defined search range is related. If the setting of w is large, for example, the window of WxW is the global image range, then the number of phased blocks obtained later is larger, and the calculation amount of the corresponding super-resolution processing is larger.
- the advantage is that the processing precision is better; Small, as WxW window is only a small partial image range around the current image block, then there will be fewer similar blocks, and the corresponding super-resolution processing will be small.
- the disadvantage is that the processing accuracy will be slightly worse.
- the user can comprehensively set according to the speed and accuracy requirements of the super-resolution processing; if the super-resolution processing speed is required to be high, the localized block matching is used, that is, the local area range of the similar block is searched for ( Decrease the value of W) and reduce the number of neighboring neighbors in the search time domain (minus the values of /j, L, and K).
- the step size ⁇ is a pixel point or a plurality of pixel points.
- step 100 the process of determining candidate blocks in step 100) is achieved. After determining a plurality of candidate blocks, the process proceeds to step 200) to step 300).
- the phase and degree of matching between the block values are determined by the reciprocal of their color distance, and inversely proportional to the color distance, that is, the smaller the distance means the higher similarity. So in this step, set a threshold (set by the user The empirical value), if the color distance is smaller than the threshold, indicating that the candidate block has a high similarity to the current block, and can be regarded as a similar block; if the color distance is larger, the greater than the threshold indicates that the candidate block is not similar to the current block, that is, Can be excluded.
- a step 100' of filtering a plurality of candidate blocks is further included, that is, a) calculating a mean or a variance of pixel values of pixel points in the current image block; b) calculating each candidate block The mean or variance of the pixel values of the pixels in the middle; c) Calculate the difference between the mean or variance in step b) and the mean or variance in step a); d) compare the difference between the mean or the variance and the threshold of the mean or variance And retaining the candidate block whose difference is smaller than the threshold, and removing the candidate block whose difference is greater than or equal to the threshold.
- Candidate blocks are filtered by means of mean or variance, and blocks with similar mean or variance are reserved as candidate blocks. Some dissimilar blocks can be quickly removed by mean or variance before calculating the color distance, and then through the refined color distance screening process. The fine filtering is determined to be a similar block, thereby improving the operation speed of detecting and acquiring a similar block process.
- step U22 After detecting the similar block, the process of stepping up to step U22) is performed:
- the bicubic rmedi3 interpolation algorithm or the SmartEdge algorithm you can select (but not limited to) the bicubic rmedi3 interpolation algorithm or the SmartEdge algorithm.
- the multiple or size of the image block depends on the size of the current frame image that requires super resolution. For example, the original video image has a resolution of 10 x 10, and it is hoped that the super resolution will be 40 x 40. Resolution, then the multiplier is set to 4 times; if you want super resolution processing to get 20 x 30 resolution, then the upsampling multiple is set to 2 times longer and 3 times wider.
- U23) Combining the upsampled image blocks of each similar block into one super-resolution image block.
- the high-resolution similar blocks are merged into an image block in a suitable manner, which can be used here ( However, it is not limited to the method of taking the median, the average value or the weighted average, that is, obtaining the super-resolution result of the original image block.
- the corresponding pixel in each upsampled image block is taken, and the median, average or weighted average of the pixel values of the corresponding pixel is calculated as the current pixel point in the super The pixel value in the resolution image block.
- the weighting coefficient is determined according to the color distance between the current image block and the similar block corresponding to the upsampled image block, and is inversely proportional to the color distance, and the specific value is an empirical value set by the household. If the color distance is smaller, it means that the similar block is more similar to the current image block, so the weighting coefficient of the corresponding upper image block can be set to be higher; otherwise, if the color distance is larger, the corresponding weight is The coefficient is small. In this way, the super-resolution image block of the current image block is obtained after fusion.
- step U21) to the step U23 the super-resolution image block after the super-resolution processing of the image block is obtained.
- Steps U21) to U23) are repeated to obtain super-resolution image blocks for each image block, and then proceeds to step U3).
- the super-resolution image block of each image block is integrated into one image to obtain a super-resolution processed image of the current frame image.
- the following preferred method may be employed:
- 2 to 5 pixels are overlapped between adjacent image blocks.
- the width of the point ranges to divide the image.
- FIG. 3 the description is made by taking a square block as an example.
- the upper part of Fig. 3 shows the case of division when not overlapping, and the lower part shows the case of overlapping division.
- the image block A1 is first divided, and then the width of ⁇ (2 zAA 5 ) pixels is overlapped on the right side of the image block A1 to divide the image block A2, and then ⁇ is overlapped on the right side of the image block A2 (2 zAA 5
- the width of the pixel is divided into image blocks A3, and so on, the image blocks A4, A5 are divided.
- the image of the overlapping portion takes the average value of the pixel values of the corresponding pixel points in the super-resolution image block of the corresponding image block.
- the pixel value at the corresponding position of the pixel point is taken, and the pixel position of the corresponding position in the super-resolution image block corresponding to the image block A2 is taken.
- the pixel points of the corresponding positions in the super-resolution image block corresponding to the image block A3 taking the average value of the pixel values of the two pixel points. If more image blocks are involved in the overlap, the average of the pixel values of the plurality of corresponding pixels is taken in the corresponding integration.
- the super-resolution processing method of the embodiment further includes the step of outputting a video: integrating the processed super-resolution processed images obtained in the process in time sequence, and outputting the super-resolution processed video. That is, through the output step, the super-resolution processed images of each frame are integrated into a video, that is, the super-resolution burn-in reconstructed video is obtained.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频超分辨率处理方法，包括以下步骤：对接收的待处理的視频中的各帧图像进行如下处理操作：1）将当前帧图像划分为多个图像块；2）对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块；21）检测获取当前块的相似块；22）对当前图像块的多个相似块分别进行上釆样处理，得到各相似块的上釆样图像块；23）将各相似块的上采样图像块融合成一个超分辨率图像块；3）按照各个图像块在当前帧图像中的位置，将各个图像块的超分辨率图像块整合成一幅图像，得到当前帧图像的超分辨率处理图像。本发明的视频超分辨率处理方法，利用空间域上相近似的图像块和/或时间域上相近似的图像块，可提高处理效果。
Description
一种视频超分辨率处理方法
I 技术领域 】
本发明渉及计算杭视频处理领域， 特别是涉及一种基于自相似块匹配的视频超分 辨率处理方法。
I 背景技术 】
超分辨率处理技术是一种提高视频或者图像的分辨率的技术， 通俗的理解即是通 过硬件或软件的方法提高原有图像的分辨率。 图像视频在其获取收集、 传输储存等过 程中由于某些因素的制约， 可能导致其质量水平下降或者过低。 随着计算机多媒体技 术的发展， 人 ίΠ对数字图像清晰度的要求越来越高， 因此经常需要通过超分辨率处理 提高視频或者图像的分辨率， 同时希望处理后的视频清晰度较高。 现有的视频超分辨 率处理方法， 通常通过上采样处理后获得高分辨率图像。 改进时一般对上采样过程不 断改进， 从而提高处理效果。 然而， 现有的处理方法得到的高分辨率图像仍然存在清 晰度较差， 超分辨率处理效果不好的问题。
I 发明内容 】
本发明所要解决的技术!¾题是： 弥补上述现有技术的不足， 提出一种视频超分辨 率处理方法， 在提高图像分辨率的同时确保图像清斷度， 提高了超分辨率处理效果。
本发明的技术问题通过以下的技术方案予以解决：
一种视频超分辨率处理方法， 包括以下步骤： 对接收的待处理的视频中的各帧图 像进行如下处理操作； 1 ) 将当前帧图像划分为多个图像块； 2 ) 对当前帧图像中的各 个图像块， 分别进行如下处理， 得到各个图像块的超分辨率图像块： 21 ) 在当前帧图 像中检测获取当前图像块的相似块和 /或在当前帧图像的前 L帧、后 Κ帧图像中检测获 取当前图像块对应的图像块的相似块， 得到当前图像块的多个相似块； 其中， L 和 Κ 均为大于等于 0的整数， 且： L和 Κ不同时为 0, 具体取值由用户根据处理精度和处理 速度的要求进行设定； 22 ) 对当前图像块的多个相似块分别进行上采样处理， 得到各 相以块的上采样图像块； 23)将各相似块的上采样图像块融合成一个超分辨率图像块; 3 )按照各个图像块在当前帧图像中的位置， 将各个图像块的超分辨率图像块整合成一 幅图像， 得到当前帧图像的超分辨率处理图像。
本发明与现有技术对比的有益效果是：
本发明的视频超分辨率处理方法， 对划分的多个图像块， 分别检测获取各图像块 在当前帧图像中相匹配的块和 /或在前后领域帧图像中相匹配的块， 即获取了空间域上 相近似的图像块和 /或时间域上相近似的图像块， 后续再进行上采样、 图像块融合等步 骤。 这祥， 在超分辨率处理过程中充分地利用了视频序列时域上以及空域上的信息， 即充分利用相似图像块中的亚像素信息， 确保融合重建依据的信息量充足， 认而在提 高图像分辨率的同时确保图像清晰度， 提高了超分辨率处理效果。
I 跗图说明 】
图 1是本发明具体实施方式的视频超分辨率处理方法中对各帧图像处理的流程图； m 2是本发明具体实施方式的視频超分辨率处理方法中检测获取相似块的方法流 程图；
图 3是本发明具体实施方式的视频超分辨率处理方法中重叠划分块时的示意图。
I 具体实施方式 】
下面结合具体实施方式并对照附图对本发明做进一步详细说明。
本发明的构思是；。通过研究自相似图像块与提高视频清晰度之间的相关性， 在超 分辨率处理的上釆样算法的基础上， 利^相似图像块集合中的亚像素信息来实现超分 辨率， 从而在提高视频分辨率的同时确保重建后图像的清晰度。 超分辨率处理时， 首 先将当前帧图值划分为多个图像块， 对于划分出来的每一个图像块， 在当前帧空域上 以及时间域上前后幀寻找与之相似的匹配图像块， 并将所有相似的匹配图像块组合在 —起构成相 块集合。 然后将相似块集合中图像块分别采用上采样算法进行上采样， 得到上采样后尺寸较大的相^图像块数组、 最后将这些图像块数组融合为一个图像块 便得到了超分辨率后的一个图像块。 类似地， 将当前帧内划分出来的所有图值块按照 上述方法处理便可以得到一幀超分辨率后的图像。 将视频中各幀图像均进行上述超分 辨率处理， 即得到分辨率提高且清晰度较好的视频。
本具体实施方式中视频超分辨率处理方法， 处理针对的视频序列为通过摄像机 > 照相机采集所得， 或者通过计算机工具所得的视频序列， 数据格式不限。 理时， 对 视频中的各帧图像均进行如图〗所示的超分辨率处理操作， 具体包括以下步骤：
U1 )将当前帧图像划分为多个图像块。
该歩骤中， 划分图像块有多种实现方式， 一种方式是， 将当前帧图像按照固定形
状 （如统一的正方形窗口） 大小划分成多个图像块， 例如将包含 256个像素点的图像 划分为 4个 8 X 8的图像块，或者 16个 4 X 4的图像块。再例如采用类以 BM3D算法中 的平方窗图像块， 将图像划分为多个块 还有一种方式是， 采用 8方向 LPA- Id (Local 的自适应图像块形状， 从而将当前帧图像划分为多个自适应的图像块。 划分图像块的 方式有多种， 上述仅为示例性， 其它可 ^于划分图像的方法均可以应用于此。
U2) 对当前帧图像中的各个图像块， 分别进行如下处理， 得到各个图像块的超分 辨率图像块：
U21 )检测获取当前图像块的多个相似块， 具体为： 在当前帧图像中检测获取当前 图像块的相似块和 /或在当前帧图像的领域帧图像中检测获取当前图像块对应的图像 块的相似块， 得到当前图像块的多个相似块。 其中， 领域帧图像为前 L帧、 后 K帧图 像， 其中 L和 K均为大于等于 0的整数， 且 L和 K不同 为 0， 具体取值由用户根据 处理精度和处理速度的要求迸行设定。
该步骤中， 检测获取相似块时， 包括获取当前帧空域相似块和 /或前后幀时域相 块。 如果既获取空域相 块， 又获取时域相 块， 则精度较高， 但相应运算量较大。 因此用户可根据处理積度和速度的要求设定是获取其中一类相似块较为合适还.是同时 获取两类相 块较为合适。 再者， 结合后续超分辨率处理的步骤， 可知处理过程的运 算复杂度主要体现在检测获取相似块的过程中， 但由于寻找相似块有较多实现方法， 因此可以在保证视频超分辨率效果的情况下， 尽量选择计算复杂度较低的检测方法。
本具体实施方式中在空间域或者时间域检测获取相^块 如图 2所示， 包括以下 步骤：
100 )检测获取多个候选块。
该步骤中， 获取候选块时有多种方式。 图 2 中仅示例性地列举一种计算复杂度较 低的获取候选块的具体方法， 包括如下步骤：
p) 设定窗口； 以当前待寻找相以块的图像块为中心， 设定 WxW大小的窗口， 其 中， W为用户设定的经验值。 如果在当前帧中寻求获取空间域相似块， 则以当前图像 块为中心， 设定窗口。 如果在邻域帧中寻求获取时间域相似块， 则以当前帧图像中当 前图像块在相应邻域中对应的图像块为中心， 设定窗口。
根据后续检测获取候选块直至确定为相似块的过程， 可知后续的运算量与此处设
定的搜索范围有关联。 如果 w设定较大， 例如 WxW的窗口为全局图像范围， 那么后 续得到的相叙块就多， 相应超分辨处理的运算量就大， 当然好处就是处理精度会较好; 如果 W设定较小，倒如 WxW的窗口仅仅为当前图像块周围一个较小的局部图像范围， 那么后续得到的相似块就少， 相应超分辨处理的运算量就小， 当然缺点就是处理精度 会稍差一些。 因此， 用户可根据超分辨率处理的速度和精度的要求综合设定； 如果对 超分辨率处理速度要求较高， 则使用局部化的块匹配， 即缩 /、寻找相似块的局部区域 范围 （减小 W的值） 以及减少搜索时间域上前后邻域械的数量 （减 /j、L和 K的值）。
q) 设定左上角块： 在所述窗口中， 取左上角块， 所述左上角块的形状、 大小与当 前待寻找相似块的图像块的形状、 大小相同。
该步骤中， 如果前述步骤 in) 中将当前帧图像划分为多个正方形块， 那么针对当 前帧图像中当前块寻找相似块时， 此处左上角块即取相同大小的正方形块。 如果前述 步骤 U1 ) 中将当前帧图像划分为多个不规则形状块， 那么寻找相似块 ， 此处左上角 块即取与当前块相同大小和形状的不规则形状块。
r) 滑动所述左上角块， 得到多个候选块； 将所述左上角块沿着水平向右和竖直向 下的方向按设定的步进尺度滑动， 得到多个候选块。 该步骤中， 步进尺度^为一个像 素点或者多个像素点。
通过如上步骤 p)至步骤 r), 即实现了步骤 100) 中确定候选块的过程。 确定出多 个候选块后， 即进入歩骤 200) 至步骤 300)。
200 ) 计算各个候选块与当前待寻找相似块的图像块的颜色距离。
该步骤 Φ， 两个图像块之间的颜色距离 d可根据如下公式计算：
d - ^Ul (x， y) - I： (x, y)f十 (7f ( , v) - /| ( , v))2 +(/ (x, v)― i' (x, )，))2， x, y e /, , /2 其中， Γ(χ， « P (x, y) > /A (x，_y)分别表示块 / ( ^或 ） 中位置（x、 y )处像素 点的红色通像素值、 绿色通道像素值、 蓝色通道像素值。 上述计算公式是在 RGB色彩 空间， 当然也可转换到其它空间， 例如 CIELri色彩空间， 相应计算颜色距离。 在此不 详细说明。
300) 比较各个候选块对应的颜色距离与设定的阈值之间的大小， 将颜色距离小于 所述阈值的候选块保留作为当前待寻找相以块的图像块的相似块。
图值块之间的相^性、 匹配度由其颜色距离的倒数来决定的， 与颜色距离成反比 例 即越小的距离意味着越高的相似度。 因此该步骤中， 设定一个阈值 （由用户设定
的经验值）， 如果颜色距离小于该阈值， 说明候选块与当前块有着较高的相似度， 可认 定其为相似块； 如果颜色距离较大， 大于阈值 说明候选块与当前块不相似， 即可排 除掉。
通过如上步骤 100 ) 至步骤 300)， 即实现了一种检测获取相似块的过程。 其中， 有如下优选地设置， ¾ί优化上述检测获取相似块的过程；
第一种， 步骤 100 )中还包括扩充候选块的步骤， 即将得到的所述候选块对称翻转 或者左右旋转多个角度得到多个转动块， 也作为当前图像块的候选块。 其中多个角度 为遍布 0 〜90。 范围内等间隔分布的多个角度。 例如， 取 10。 ， 20 ， 30° ， …- - . , 90 的 9个角度， 分别转动候选块， 得到另外 9个转动块， 也作为当前块的候选块。 也可取 15。 ， 30 , 45° , ... ... , 90 的 6个角度， 分别转动候选块， 得到另外 6个 转动块， 也作为当前块的候选块。 这样， 通过对称翻转或者角度转动， 获得更多个数 的候选块， 从面增加候选块携带的信息量， 后续即可获得效果更好的超分辨率处理结 果。
第二种， 步骤 100 ) 和步骤 200 ) 之间还包括筛选多个候选块的步骤 100 ' ) , 即 a) 计算当前图像块中像素点的像素值的均值或者方差； b)计算各个候选块中像素点的像 素值的均值或者方差； c) 计算歩骤 b ) 中均值或者方差与步骤 a) 中均值或者方差的 差值； d) 比较均值或者方差的差值与均值或者方差的阈值的大小， 保留所述差值小于 所述阈值的候选块， 去除所述差值大于等于所述阈值的候选块。 通过均值或者方差来 筛选候选块， 保留均值或者方差相接近的块作为候选块， 可在计算颜色距离之前通过 均值或者方差快速地去除一些不相似的块， 后续再通过精细化的颜色距离筛选过程精 细化筛选确定为相似块， 从而提开检测获取相似块过程的运算速度。
检测获取相似块后， 即迸入步骤 U22 ) 的上采样过程：
U22 )对当前图像块的多个相似块分别进行上采样处理，得到各相似块的上采样图 像块。
该步骤中， 可以选取（但不局限于） bicubic rmedi3插值算法或者 SmartEdge上采 祥算法等。 图值块上采祥的倍数或者尺寸大小按照当前帧图像需要超分辨率得到的尺 寸倍数而定， 例如， 原视频图像为 10 x 10的分辨率， 希望超分辨率 理后得到 40 x 40 的分辨率， 那么上采样的倍数即设定为 4倍； 如果希望超分辨率处理后得到 20 x 30的 分辨率， 那么上采样的倍数即设定为长 2倍， 宽 3倍。
U23 ) 将各相似块的上采样图像块融合成一个超分辨率图像块。
如上所述， 将包含空间域和 /或时间域的相似块数组上采样处理后， 按照一种合适 的方式将高分辨率的相似块融合成为一个上采祥后的图像块， 这里可以采用 （但不局 限于）取中值、 平均值或者加权平均的方法， 即得到原图像块的超分辨率后的结果。 具体融合时， 对于当前图像块中的当前像素点， 取各上采样图像块中的相应像素点， 计算相应像素点的像素值的中值、 平均值或者加权平均值， 作为当前像素点在超分辨 率图像块中的像素值。 其中， 加权系数根据当前图像块与上采样图像块对应的相似块 之间的颜色距离确定， 与颜色距离成反比， 具体取值为^户设定的经验值。 如颜色距 离越小， 则表示相似块与当前图像块越相近似， 因此可设定其对应的上釆样图像块融 合时的加权系数较高； 反之， 如颜色距离越大， 剣相应的加权系数较小。 如此， 融合 后得到当前图像块的超分辨率图像块。
如上所述步骤 U21 )至步骤 U23 ) , 即可得到一个图像块经超分辨率处理后的超分 辨率图像块。 重复步骤 U21 ) 至歩骤 U23 ), 得到各个图像块的超分辨率图像块， 之后 进入步骤 U3 )。
U3 ) 按照各个图像块在当前帧图像中的位置， 将各个图像块的超分辨率图像块整 合成一幅图像， 得到当前帧图像的超分辨率处理图像。
该步骤中， 按照原视频当前帧图像中各图像块的相对位置进行整合， 将各个超分 辨率图像块整合后， 即得到当前帧图像的超分辨率处理图像。 对视频中各帧图像重复 执行步骤 U1 ) 至 U3 ), 即可得到各帧图像的超分辨率处理块。
优选地， 为了防止图像块整合时出现的 "网格"效应， 可以采用如下优选的方法： 在步骤 U1 ) 中将当前帧划分图像块时， 将相邻图像块之间重叠 2〜5个像素点的宽度范 围来划分图像。 如图 3所示， 以划分为正方形块为例说明。 图 3上部的内容示出了未 重叠时划分的情形， 下部的内容示出了重叠划分的情形。 重叠划分时， 先划分出图像 块 A1 , 然后在图像块 A1 的右边重叠 ΔΑ个 （2 zAA 5 ) 像素点的宽度划分出图像 块 A2, 接着在图像块 A2的右边重叠 ΔΑ个 （2 zAA 5 ) 像素点的宽度划分出图像 块 A3 , 依此类推， 划分出图像块 A4, A5。 重叠划分后， 此步骤 U3 )所有超分辨率后 的图像块整合的时候， 重叠部分的图像即取相应涉及到的图像块的超分辨率图像块中 相应像素点的像素值的平均值。 倒如， 图中像素点 I处， 整合超分辨率图像块时， 该 像素点相应位置处的像素值，取图像块 A2对应的超分辨率图像块中相应位置的像素点，
以及图像块 A3对应的超分辨率图像块中相应位置的像素点， 取上述两个像素点的像素 值的平均值。 如果重叠时涉及到更多个图像块， 则相应整合时取多个相应像素点的像 素值的平均值。 通过重叠的处理， 可消除图像块整合时出现的 "网格"效应， 确保视 本具体实施方式中， 由于超分辨率处理 ， 对于视频图像帧中的每一帧图像中的 每一个图像块面言， 因其搜索了当前帧空域上以及时域上的前后相郐帧内所有的相 图像块， 因此充分利用了视频序列时域上以及空域上的信息， 即充分利用相似图像块 中的亚像素信息， 确保融合重建依据的信息量充足， 认而在提高图像分辨率的同时确 保图像清斷度， 提高了超分辨率处理效果。 而整个算法中运算量较大的相似图像块寻 找检测过程， 又因为用户可根据对于运算复杂度和精度的要求综合选择寻找时的范围， 因此本具体实施方式中超分辨率焚理方法的计算复杂度也在可控制的范围。
优选地， 本具体实施方式的超分辨率处理方法还包括输出视频的歩骤： 将处理后 得到的各械超分辨率处理图像按照时间顺序进行整合， 输出超分辨率赴理后的视频。 即通过输出步骤， 将各帧超分辨率处理图像整合成视频， 即得到超分辨率焚理重建后 的视频。
以上内容是结合具体的优选实施方式对本发明所作的进一歩详细说明， 不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说， 在不脱离本发明构思的前提下做出若干替代或明显变型， 而且性能或用途相同， 都应 当视为属于本发明的保护范围。
Claims
1.一种视频超分辨率处理方法， 其特征在于： 包括以下歩骤： 对接收的待处理的 视频中的各帧图像进行如下处理操作：
1 ) 将当前帧图像划分为多个图像块；
2)对当前帧图像中的各个图像块， 分别进行如下处理， 得到各个图像块的超分辨 率图像块：
21 ) 在当前帧图像中检测获取当前图像块的相似块和 /或在当前帧图像的前 L中贞、 后 K帧图像中检测获取当前图像块对应的图像块的相似块， 得到当前图像块的多个相 似块； 其中， L和 K均为大于等于 0的整数， 旦 L和 K不同时为 0, 具体取值 ώ用户 根据处理精度和处理速度的要求进行设定；
22) 对当前图像块的多个相似块分别进行上¾样处理， 得到各相似块的上采样图 像块；
23 ) 将各相似块的上采样图像块融合成一个超分辨率图像块；
3)按照各个图像块在当前帧图像中的位置， 将各个图像块的超分辨率图像块整合 成一幅图像， 得到当前帧图像的超分辨率处理图像。
2.根据权利要求 1所述的视频超分辨率处理方法， 其特征在于： 所述歩骤 21 )检 测获取当前图像块或者当前图像块对应的图像块的相似块时包括如下步骤： 〗00)检測 获取多个候选块； 200)计算各个候选块与当前待寻找相似块的图像块的颜色距离：300) 比较各个候选块对应的颜色距离与设定的阈值之间的大小， 将颜色距离小于所述阈值 的候选块保留作为当前待寻找相似块的图像块的相似块。
3.根据权利要求 2所述的视频超分辨率处理方法， 其特征在于： 所述步骤 100) 中还包括扩充候选块的步骤； 将得到的所述候选块对称翻转或者左右旋转多个角度得 到多个转动块， 也作为当前图像块的候选块； 其中多个角度为遍布 0 〜90° 范围内等 间隔分布的多个角度。
4.根据权利要求 2或 3所述的视频超分辨率处理方法，其特征在于;所述步骤 100 ) 和步骤 200 ) 之间还包括筛选多个所述候选块的步骤 100' ): a) 针算当前图像块中像 素点的像素值的均值或者方差； b)计算各个候选块中像素点的像素值的均值或者方差;
c) 计算步骤 b) 中均值或者方差与步骤 a) 中均值或者方差的差值； d) 比较所述均值 或者方差的差值与设定的均值或者方差的阈值的大小， 保留所述差值小于所述阈值的 候选块， 去除所述差值大于等于所述阈值的候选块。
5.根据权利要求 2所述的视频超分辨率处理方法， 其特征在于： 所述步骤 100) 包括以 T步骤： p) 以当前待寻找相似块的图像块为中心， 设定 WxW大小的窗口， 其 中， W为用户设定的经验值； q) 在所述窗口中， 取左上角块， 所述左上角块的形状、 大小与当前待寻找相似块的图像块的形状、 大小相同； r) 将所述左上角块沿着水平向 右和竖直向下的方向按设定的步进尺度滑动 , 得到多个候选块。
6.根据权利要求 1所述的视频超分辨率处理方法，其特征在于：所述步骤 22)中， 上采样处理时采用 bicu c/nnece插值算法或者 SmartEdge上釆样算法。
7.根据权利要求 1所述的视频超分辨率处理方法， 其特征在于： 所述步骤 23 ) 中 融合时， 对于当前图像块中的当前像素点， 取各上采样图像块中的相应像素点， 算 相应像素点的像素值的中值、 平均值或者加权平均值， 作为当前像素点在超分辨率图 像块中的像素值； 其中， 加权系数根据当前图像块与上采样图像块对应的相叙块之间 的颜色距离确定， 与颜色距离成反比， 具体取值为用户设定的经验值。
8.根据权利要求 1所述的视频超分辨率处理方法， 其特征在于： 所述歩骤 1 ) 中 划分图像时， 将相邻图像块之间重叠 2〜5个像素点宽度的范围划分图像； 所述步骤 3 ) 整合 未重叠的位置处的图像， 直接取相应超分辨率图像块中相应像素点的像素值; 重叠的位置处的图像， 取重叠处涉及的超分辨率图像块中相应像素点的像素值的平均 值。
9.根据权利要求 1所述的视频超分辨率处理方法， 其特征在于： 所述歩骤 1 ) 中 划分图像时， 按照设定的固定形状划分图像或者根据当前帧图像中像素点的像素值计 算出自适应的图像块形状后按照自适应的图像块形状划分图像。
1(λ根据权利要求 1所述的视频分辨率处理方法，其特征在干：还包括输出视频的 歩骤： 将处理后得到的各帧超分辨率处理图像按照时间顺序进行整合， 输出超分辨率 处理后的视频。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310689367.4 | 2013-12-13 | ||
| CN201310689367.4A CN103632359B (zh) | 2013-12-13 | 2013-12-13 | 一种视频超分辨率处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015085636A1 true WO2015085636A1 (zh) | 2015-06-18 |
Family
ID=50213376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2013/090963 WO2015085636A1 (zh) | 2013-12-13 | 2013-12-30 | 一种视频超分辨率处理方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103632359B (zh) |
| WO (1) | WO2015085636A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182940B (zh) * | 2014-08-20 | 2017-04-19 | 阔地教育科技有限公司 | 一种模糊图像恢复方法及系统 |
| CN104200449B (zh) * | 2014-08-25 | 2016-05-25 | 清华大学深圳研究生院 | 一种基于压缩感知的fpm方法 |
| TWI565317B (zh) * | 2015-01-06 | 2017-01-01 | 緯創資通股份有限公司 | 影像處理方法以及行動電子裝置 |
| CN105100778A (zh) * | 2015-08-31 | 2015-11-25 | 深圳凯澳斯科技有限公司 | 一种多视点立体视频转换的方法及装置 |
| CN105681719A (zh) * | 2016-02-17 | 2016-06-15 | 北京金迈捷科技有限公司 | 一种利用时域数据融合技术获取图像和视频的方法 |
| CN107094230A (zh) * | 2016-02-17 | 2017-08-25 | 北京金迈捷科技有限公司 | 一种利用多空域数据融合技术获取图像和视频的方法 |
| CN106504306B (zh) * | 2016-09-14 | 2019-09-24 | 厦门黑镜科技有限公司 | 一种动画片段拼接方法、信息发送方法及装置 |
| CN106658095A (zh) * | 2016-10-18 | 2017-05-10 | 武汉斗鱼网络科技有限公司 | 一种直播视频传输的方法、服务器和用户设备 |
| CN106851105A (zh) * | 2017-03-08 | 2017-06-13 | 吕盼稂 | 一种录制高分辨率运动人脸图像的方法和装置 |
| CN108665436B (zh) * | 2018-05-10 | 2021-05-04 | 湖北工业大学 | 一种基于灰度均值参照的多聚焦图像融合方法和系统 |
| CN110675355B (zh) * | 2019-09-27 | 2022-06-17 | 深圳市商汤科技有限公司 | 图像重建方法及装置、电子设备和存储介质 |
| WO2021115242A1 (zh) * | 2019-12-09 | 2021-06-17 | 华为技术有限公司 | 一种超分辨率图像处理方法以及相关装置 |
| CN111489292B (zh) * | 2020-03-04 | 2023-04-07 | 北京集朗半导体科技有限公司 | 视频流的超分辨率重建方法及装置 |
| CN116797452A (zh) * | 2022-03-17 | 2023-09-22 | 北京字节跳动网络技术有限公司 | 一种视频的超分辨率方法及装置 |
| CN114363617A (zh) * | 2022-03-18 | 2022-04-15 | 武汉大学 | 一种网络轻量级视频流传输方法、系统及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710993A (zh) * | 2009-11-30 | 2010-05-19 | 北京大学 | 基于块的自适应超分辨率视频处理方法及系统 |
| CN102073866A (zh) * | 2010-12-27 | 2011-05-25 | 清华大学 | 一种利用时空马尔科夫随机场模型的视频超分辨方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2291822A1 (en) * | 2008-05-21 | 2011-03-09 | Koninklijke Philips Electronics N.V. | Image resolution enhancement |
| CN102142137B (zh) * | 2011-03-10 | 2012-10-24 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
| CN102750677B (zh) * | 2012-06-12 | 2015-06-17 | 清华大学 | 基于同尺度结构自相似与压缩感知的单图像超分辨率方法 |
| US8675999B1 (en) * | 2012-09-28 | 2014-03-18 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Apparatus, system, and method for multi-patch based super-resolution from an image |
| CN103020909B (zh) * | 2012-12-06 | 2015-02-18 | 清华大学 | 基于多尺度结构自相似与压缩感知的单图像超分辨率方法 |
-
2013
- 2013-12-13 CN CN201310689367.4A patent/CN103632359B/zh not_active Expired - Fee Related
- 2013-12-30 WO PCT/CN2013/090963 patent/WO2015085636A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710993A (zh) * | 2009-11-30 | 2010-05-19 | 北京大学 | 基于块的自适应超分辨率视频处理方法及系统 |
| CN102073866A (zh) * | 2010-12-27 | 2011-05-25 | 清华大学 | 一种利用时空马尔科夫随机场模型的视频超分辨方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN, XIAOHONG;: "Research on Video Super-Resolution Technology", CHINA MASTER'S THESES FULL-TEXT DATABASE, no. 06, 15 June 2013 (2013-06-15), pages 1138 - 1095 * |
| YANG, LITAO;: "Research on Super Resolution Reconstruction from Image Sequences", CHINA MASTER'S THESES FULL-TEXT DATABASE, no. 10, 15 October 2010 (2010-10-15), pages 1138 - 702 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103632359A (zh) | 2014-03-12 |
| CN103632359B (zh) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2015085636A1 (zh) | 一种视频超分辨率处理方法 | |
| CN109903226B (zh) | 基于对称残差卷积神经网络的图像超分辨率重建方法 | |
| JP5450600B2 (ja) | 画像解像度の向上 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| WO2021233006A1 (zh) | 图像处理模型的训练方法、图像处理方法、装置及设备 | |
| JP4527172B2 (ja) | ２色イメージを用いたベイズ式デモザイク法 | |
| US8687923B2 (en) | Robust patch regression based on in-place self-similarity for image upscaling | |
| US8780172B2 (en) | Depth and video co-processing | |
| CN107959805A (zh) | 基于混合相机阵列的光场视频成像系统及视频处理方法 | |
| CN103650486B (zh) | 摄像装置和图像生成方法 | |
| JP2000188680A (ja) | 高解像度画像の生成方法及びシステム | |
| WO2015035781A1 (zh) | 一种边缘导向的自适应图像插值方法及其vlsi实现装置 | |
| JP2001160139A (ja) | 画像処理方法及び画像処理装置 | |
| KR102055411B1 (ko) | 적응적 기준 범위 선택에 따른 디모자이킹 방법 | |
| JP6904842B2 (ja) | 画像処理装置、画像処理方法 | |
| Chhabra et al. | Detailed survey on exemplar based image inpainting techniques | |
| CN112529773B (zh) | Qpd图像后处理方法及qpd相机 | |
| Bennett et al. | Video and image bayesian demosaicing with a two color image prior | |
| WO2024032331A9 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| Zhang et al. | Nonlocal edge-directed interpolation | |
| CN112508832A (zh) | 一种面向对象的遥感影像数据时空融合方法、系统及设备 | |
| Tian et al. | Dual regularization-based image resolution enhancement for asymmetric stereoscopic images | |
| CN109285121A (zh) | 一种Bayer图像还原方法 | |
| CN105469399B (zh) | 一种面向混合噪声的人脸超分辨率的重建方法及装置 | |
| Ousguine et al. | A new image interpolation using gradient-orientation and cubic spline interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13899129 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 13899129 Country of ref document: EP Kind code of ref document: A1 |