WO2017092662A1 - 视频分辨率提升方法及装置 - Google Patents

视频分辨率提升方法及装置 Download PDF

Info

Publication number
WO2017092662A1
WO2017092662A1 PCT/CN2016/107903 CN2016107903W WO2017092662A1 WO 2017092662 A1 WO2017092662 A1 WO 2017092662A1 CN 2016107903 W CN2016107903 W CN 2016107903W WO 2017092662 A1 WO2017092662 A1 WO 2017092662A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
enhanced
wavelet
transform
unit
Prior art date
Application number
PCT/CN2016/107903
Other languages
English (en)
French (fr)
Inventor
梁捷
别晓辉
Original Assignee
广州市动景计算机科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广州市动景计算机科技有限公司 filed Critical 广州市动景计算机科技有限公司
Publication of WO2017092662A1 publication Critical patent/WO2017092662A1/zh
Priority to US15/995,521 priority Critical patent/US10803552B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Definitions

  • the related technology usually adopts resolution enhancement technology (super-resolution technology) to improve the resolution of network video in the video playback process, that is, while playing video, Real-time magnification of downloaded or buffered network video from low-resolution video to high-resolution video.
  • resolution enhancement technology super-resolution technology
  • the commonly used methods for improving the video resolution include a bilinear interpolation based processing method, a bicubic interpolation based processing method, etc., which are downloaded to the player by embedding a corresponding processing module in the network video player. The resolution of each frame of image in the network video is improved in real time.
  • the initial amplified signal is subjected to wavelet positive transform, so that the initial amplified signal is decomposed into the first signal and the second signal, including:
  • Performing wavelet inverse transform on the second signal and the enhanced first signal includes: performing n wavelet inverse transform on the second signal and the enhanced first signal.
  • An upsampling unit configured to perform an upsampling-based upsampling operation on the original signal of each frame image in the target video, to obtain an initial amplified signal of the corresponding enlarged image
  • a forward transform unit configured to perform wavelet positive transform on the initial amplified signal, so that the initial amplified signal is decomposed into a first signal and a second signal, wherein the first signal is equal in volume to the original signal;
  • the positive transform unit includes:
  • the inverse transform unit includes:
  • a merging unit configured to combine the enhanced first split signal and the enhanced second split signal to obtain a final amplified signal of the enlarged image.
  • a first upsampling unit configured to perform a upsampling operation based on bilinear interpolation on an original signal of each frame image in the target video
  • the second upsampling unit is configured to perform a double-cubic interpolation based upsampling operation on the original signal of each frame image in the target video.
  • the positive transform unit is specifically configured to perform n times wavelet forward transform on the initial amplified signal
  • the inverse transform unit is specifically configured to perform n wavelet inverse transforms on the second signal and the enhanced first signal.
  • FIG. 2 is a schematic diagram showing the principle of upsampling a video signal
  • FIG. 1 is a flowchart of a video resolution improvement method according to an embodiment of the present disclosure; the video resolution improvement method performs real-time processing on a target video downloaded by a network video player in units of frames, that is, each frame of the target video is separately processed. The steps described in the embodiments of the present application are performed to obtain an image obtained by magnifying each frame image.
  • the video resolution enhancement method includes the following steps.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种视频分辨率提升方法及装置，其通过小波正变换将对原始信号上采样得到的初始放大信号分解为第一信号和第二信号两部分，其中，第一信号与原始信号等体积，保留了原始信号中的高频信息；然后对所述第一信号进行增强，进而通过对所述第二信号和增强后的第一信号进行小波逆变换，将对第一信号的增强传递到第二信号中，从而补偿第二信号中的高频损失；即相对于初始放大信号，经过小波逆变换得到的整个最终放大信号的高频信息均得以补偿，使得最终放大信号对应的放大图像可以更好的保留原始图像的高频信息，降低甚至消除放大图像模糊程度，提高整个视频的清晰度。

Description

视频分辨率提升方法及装置 技术领域
本发明涉及视频处理技术领域，特别是涉及视频分辨率提升方法及装置。
背景技术
网络视频是近年来一个发展非常迅速的行业，在人们的生活中扮演着越来越重要的角色。随着相关信息技术的发展和各种终端设备的不断升级，用户对网络视频的分辨率要求越来越高。虽然视频分辨率越高，清晰度越好，但相应的也需要更高的带宽来进行网络传输，增加网络视频运营商及终端用户的开销。
为了满足用户对高清网络视频的需求，同时缩减网络视频的传输开销，相关技术通常采用分辨率提升技术(超分辨率技术)在视频播放环节提升网络视频的分辨率，即在播放视频的同时，将从下载或缓冲的网络视频从低分辨率视频实时放大成高分辨率视频。目前，普遍采用的提升视频分辨率的方法包括基于双线性插值的处理方法、基于双三次插值的处理方法等，通过在网络视频播放器中内置相应的处理模块，来对播放器所下载的网络视频中每一帧图像的分辨率进行实时提升。
上述基于插值的分辨率提升技术处理速度快、便于视频播放过程中的实时处理，但是无论基于双线性插值的处理方法，还是基于双三次插值的处理方法，其插值信号中缺少与原始信号的高频部分相对应的信息，即插值信号中缺少高频信息，从而会导致处理后的视频图像边缘和细节缺失，使得图像变得模糊，严重影响视频的清晰度。
发明内容
为了解决上述技术问题，本申请公开了一种视频分辨率提升方法及装置。
第一方面，本申请提供了一种视频分辨率提升方法，所述方法包括：
对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号；
对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，其中所述第一信号与所述原始信号等体积；
对所述第一信号进行增强；
对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。
结合第一方面，在第一方面第一种可行的实施方式中，对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，包括：
将所述初始放大信号s[n]分割为互相关联的第一分割信号se[n/2]和第二分割信号so[n/2]；
根据公式d[n/2]＝so[n/2]-P(se[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；
根据公式c[n/2]＝se[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。
结合第一方面第一种可行的实施方式，在第一方面第二种可行的实施方式中，对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号，包括：
根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；
根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；
将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。
结合第一方面，或者第一方面第一种可行的实施方式，或者第一方面第二种可行的实施方式，在第一方面第三种可行的实施方式中，所述对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，包括：
对目标视频中每帧图像的原始信号，执行基于双线性插值法的上采样操作或者基于双三次插值法的上采样操作。
结合第一方面，或者第一方面第一种可行的实施方式，或者第一方面第二种可行的实施方式，在第一方面第四种可行的实施方式中，所述方法还包括：
根据所述目标视频的预设放大倍数N确定小波变换次数n，其中，N＝n/(n-1),n为不小于2的整数；
所述对所述初始放大信号进行小波正变换，包括：对所述初始放大信号进行n次小波正变换；
所述对所述第二信号和增强后的第一信号进行小波逆变换，包括：对所述第二信号和增强后的第一信号进行n次小波逆变换。
第二方面，本申请提供了一种视频分辨率提升装置，所述装置包括：
上采样单元，用于对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号；
正变换单元，用于对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，其中所述第一信号与所述原始信号等体积；
增强单元，用于对所述第一信号进行增强；
逆变换单元，用于对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。
结合第二方面，在第二方面第一种可行的实施方式中，所述正变换单元，包括：
分割单元，用于将所述初始放大信号s[n]分割为互相关联的第一分割信号se[n/2]和第二分割信号so[n/2]；
预测单元，用于根据公式d[n/2]＝so[n/2]-P(se[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；
更新单元，用于根据公式c[n/2]＝se[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。
结合第二方面第一种可行的实施方式，在第二方面第二种可行的实施方式中，所述逆变换单元包括：
逆更新单元，用于根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；
逆预测单元，用于根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；
合并单元，用于将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。
结合第二方面，或者第二方面第一种可行的实施方式，或者第二方面第二种可行的实施方式，在第二方面第三种可行的实施方式中，所述上采样单元包括以下至少一种：
第一上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双线性插值法的上采样操作；
第二上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双三次插值法的上采样操作。
结合第二方面，或者第二方面第一种可行的实施方式，或者第二方面第二种可行的实施方式，在第二方面第四种可行的实施方式中，所述装置还包括：
变换次数确定单元，用于根据所述目标视频的预设放大倍数N确定小波变换次数n，其中，N＝n/(n-1),n为不小于2的整数；
相应的，所述正变换单元具体被配置为，对所述初始放大信号进行n次小波正变换；
所述逆变换单元具体被配置为，对所述第二信号和增强后的第一信号进行n次小波逆变换。
第三方面，本申请提供了一种计算设备，包括：网络接口，所述网络接口使得所述计算设备能够获取目标视频；以及与所述网络接口相连接的处理器，所述处理器被配置为执行如下操作：对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号；对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，其中所述第一信号与所述原始信号等体积；对所述第一信号进行增强；以及对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。
第四方面，本申请还提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行根据本申请第一方面所述的方法。
由以上技术方案可知，本申请实施例通过小波正变换将对原始信号上采样得到的初始放大信号分解为第一信号和第二信号两部分，其中，第一信号与原始信号等体积，保留了原始信号中的高频信息；然后对所述第一信号进行增强，进而通过对所述第二信号和增强后的第一信号进行小波逆变换，将对第一信号的增强传递到第二信号中，从而补偿第二信号中的高频损失；即相对于初始放大信号，经过小波逆变换得到的整个最终放大信号的高频信息均得以补偿，使得最终放大信号对应的放大图像可以更好的保留原始图像的高频信息，降低甚至消除放大图像模糊程度，提高整个视频的清晰度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而 言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的视频分辨率提升方法的流程图；
图2为对视频信号进行上采样的原理示意图；
图3为本申请一个实施例提供的对相关信号进行小波变换的原理示意图；
图4为本申请一个实施例提供的对相关信号进行两次小波正变换的原理示意图；
图5为本申请一个实施例提供的视频分辨率提升装置的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
首先对本申请提供的视频分辨率提升方法的实施例进行说明。图1为本申请一个实施例提供的视频分辨率提升方法流程图；该视频分辨率提升方法以帧为单位对网络视频播放器下载的目标视频进行实时处理，即针对目标视频的每帧图像分别执行本申请实施例所述的步骤，从而得到各帧图像放大后的图像。参照图1，该视频分辨率提升方法包括如下步骤。
在步骤S11，对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号。
如图2所示，对于任一帧图像对其原始信号进行基于插值法的上采样操作，可以得到相应的初始放大信号s[n]。该初始放大信号s[n]由两部分构成：第一部分为s[m](n＞m)，直接由原始信号上采样(Upsample)得到，与原始信号等体积；第二部分为s[n-m]，由原始信号中的相邻像素插值(Interpolate)得到。
例如，像素p(sp∈s[n-m])的信号量插值计算式为
Figure PCTCN2016107903-appb-000001
其中Cp＝{q|q∈Np&sq∈s[m]}，
Figure PCTCN2016107903-appb-000002
Np表示像素p的邻域。设Cp里信号量最大值与最小值(即邻域Np中信号量的上下界)分别记作sM和sm，那么通过上述插值计算式可知sm＜sp＜sM，即sp始终无法取到邻域Np中信号量的上下界，而这里的上下界极大可能为局部邻域内高频的边缘和细节，导致在s[n-m]中无法重构出如原始信号中的高频信 息。
因此，上述初始放大信号对应的图像会产生模糊现象，这也是相关技术中通过基于差值法的上采样操作来提升视频的分辨率会得到的结果。本实施例目的在于使得插值得到的像素信号量sp可以取到其最大值和最小值，即使得sm≤sp≤sM，从而可以保留边缘及细节对应的高频信息，消除边缘及细节缺失导致的图像模糊现象。
在步骤S12，对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，其中所述第一信号与所述原始信号等体积。
在步骤S13，对所述第一信号进行增强。
在步骤S14，对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。
由以上步骤可知，本实施例通过小波正变换将初始放大信号分解为第一信号和第二信号两部分，其中，第一信号与原始信号等体积，保留了原始信号中的高频信息，对所述第一信号进行增强，进而通过对所述第二信号和增强后的第一信号进行小波逆变换的过程，将对第一信号的增强传递到第二信号中，从而可以补偿第二信号中的高频损失，也即补偿整个最终放大信号的高频损失，使得最终放大信号对应的放大图像可以更好的保留原始图像的高频信息，降低甚至消除放大图像模糊程度，提高整个视频的清晰度。
具体的，上述步骤S11中所述对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，具体可以采用基于双线性插值法的上采样操作，也可以采用基于双三次插值法的上采样操作。
本申请一个可行的实施例中，优选采用基于提升法(lifting scheme)的小波构造方法对相关信号进行小波正变换(步骤S12)及小波逆变换(步骤S14)。
具体的，上述步骤S12所述的对所述初始放大信号进行小波正变换，得到相应的第一信号和第二信号，包括如下步骤：
在步骤S121，将所述初始放大信号s[n]分割为互相关联的第一分割信号se[n/2]和第二分割信号so[n/2]；
上述第一分割信号se[n/2]和第二分割信号so[n/2]的相关性越好，分割效果越好；具体的，可以采用惰性(lazy)的分割方法，即按像素编号的奇偶性进行分割：假设任一像素的坐标为(x,y)，则初始放大信号可以分割为如下两部分：x+y为奇数的像素对应的信号，和x+y为偶数的像素对应的信号。
在步骤S122，根据公式d[n/2]＝so[n/2]-P(se[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；
在步骤S123，根据公式c[n/2]＝se[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。
对于一次小波正变换，上述与原始信号等体积的第一信号实际为原始放大信号中的高频信号，第二信号实际为除高频信号之外的亚采样信号。
如图3所示的小波变换原理示意图，小波正变换过程中的预测运算(prediction)，即用se[n/2]来预测so[n/2]，d[n/2]为预测误差；所述预测运算是可逆的，只要预测算子P(·)确定，既可以通过d[n/2]和se[n/2]来恢复出so[n/2]，进而恢复出初始放大信号s[n]。
相应的，小波正变换过程中的更新运算(update)，即通过预测误差d[n/2]对se[n/2]进行修正，使得修正后的信号c[n/2]只包含初始放大信号s[n]中的低频部分；所述更新运算也是可逆的，只要更新算子U(·)确定，就可以通过c[n/2]和d[n/2]恢复出se[n/2]。
在本申请一个可行的实施例中，对任一像素p，执行上述步骤S122所采用的预测算子P(·)可以为：
Figure PCTCN2016107903-appb-000003
执行步骤S123所采用的更新算子U(·)可以为：
Figure PCTCN2016107903-appb-000004
其中，Np表示像素p的邻域；w(p,q)为像素p和q之间的权重。为更好的保留图像边缘，需要选择一个能够保证边缘保持的权重函数。本实施例采用如下权重计算公式：
Figure PCTCN2016107903-appb-000005
Ip、Iq分别为像素p和q的亮度值，σc为常数(该常数可利用图像亮度方差来确定)。
本实施例中，上述步骤S122所述的预测运算和步骤S123所述的更新运算都是对所述初始放大信号对应的放大图像中的每个像素及其周围像素(即邻域)进行加权计算。例如，对坐标为(x,y)的任一像素p，其邻域Np可以简单的包括像素p的上下左右四个相邻像素，即Np＝{(x,y-1),(x-1,y),(x+1,y),(x,y+1)}，则对像素p的预测运算和更新运算即利用 其四个相邻像素对像素p根据上述公式进行加权计算。
相应的，上述步骤S14所述的对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号，包括如下步骤：
在步骤S141，根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；
在步骤S142，根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；
在步骤S143，将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。
本实施例所述的预测运算和更新运算都是可逆运算，即步骤S141相当于步骤S123的逆运算，步骤S142相当于步骤S122的逆运算。假设步骤S122得到的第一信号d[n/2]，经过步骤S13的增强，得到增强后的第一信号
Figure PCTCN2016107903-appb-000006
则根据步骤S123中的更新运算公式c[n/2]＝se[n/2]+U(d[n/2])可以推导出步骤S141所采用的更新逆运算公式，得到增强后的第一分割信号
Figure PCTCN2016107903-appb-000007
即
Figure PCTCN2016107903-appb-000008
进一步的，根据步骤S122中的预测运算公式d[n/2]＝so[n/2]-P(se[n/2])可以推导出步骤S142所采用的预测逆运算公式，得到增强后的第二分割信号
Figure PCTCN2016107903-appb-000009
即
Figure PCTCN2016107903-appb-000010
最终在步骤S143中将
Figure PCTCN2016107903-appb-000011
和
Figure PCTCN2016107903-appb-000012
合并，即得到最终放大信号
Figure PCTCN2016107903-appb-000013
由以上步骤可知，本申请实施例将目标视频中的每一帧图像的原始信号通过基于插值法的上采样操作采样得到对应的放大信号s[n]，再对s[n]执行基于提升法的小波正变换(包括分割运算、预测运算和更新运算三个步骤)，使得s[n]分解为第一信号d[n/2]和第二信号c[n/2]两部分，然后对第一信号d[n/2]进行增强，得到增强后的第一信号
Figure PCTCN2016107903-appb-000014
最后对增强后的第一信号
Figure PCTCN2016107903-appb-000015
和第二信号c[n/2]进行小波逆变换(包括更新逆运算、预测逆运算和合并运算三个步骤)，将对第一信号d[n/2]的增强扩散到第二信号c[n/2]中，使得相对于s[n]，最终放大信号
Figure PCTCN2016107903-appb-000016
中的第二信号也得到增强，即相对于s[n]，
Figure PCTCN2016107903-appb-000017
整体得以增强，从而使得
Figure PCTCN2016107903-appb-000018
对应的最终放大图像在分辨率得到提升的同时，也能保留 边缘和细节等的高频信息，减少甚至消除模糊现象；另外，由于基于提升法的小波变换的计算复杂度较低，故相对于相关技术，本申请实施例所增加的计算量很小，处理速度可以达到甚至超过目标视频的播放速度。
本申请实施例中，目标视频分辨率的预设放大倍数N不同，所需要执行的小波变换次数n也不同，预设放大倍数N与小波变换次数n存在如下关系：N＝n/(n-1)，且n为不小于2的整数；即N＝2时，n＝2；N＝3/2时，n＝3；N＝4/3时，n＝4，依此类推。
以将目标视频的分辨率放大2倍为例，通过步骤S11，原始信号s[m]变为初始放大信号s[4m]，在步骤S12中执行2次小波正变换：如图4所示，首先，对s[4m]执行第一次小波正变换，将s[4m]分解成了高频信号d0[2m]和亚采样信号c0[2m]；然后，对亚采样信号c0[2m]执行第二次小波正变换，得到高频信号d1[m]和亚采样信号c1[m]。其中，亚采样信号c1[m]为与原始信号s[m]等体积的信号，作为第一信号在步骤S13中对c1[m]进行增强，得到增强后的亚采样信号
Figure PCTCN2016107903-appb-000019
进而在步骤S14中执行两次小波逆变换：首先，对d1[m]和增强后的亚采样信号
Figure PCTCN2016107903-appb-000020
执行第一次小波逆变换，使得对c1[m]的增强扩散至d1[m]中，从而得到增强后的亚采样信号
Figure PCTCN2016107903-appb-000021
然后，对d0[2m]和增强后的亚采样信号
Figure PCTCN2016107903-appb-000022
执行第二次小波逆变换，使得对c0[2m]的增强扩散至d0[2m]中，从而得到增强后的初始放大信号，也即最终放大信号
Figure PCTCN2016107903-appb-000023
预设放大倍数为其他可取值时的小波正变换及小波逆变换过程可以根据以上N＝2的情况类推得到，此处不再赘述。
实际验证得知，对于分辨率为600*400的目标视频进行分辨率提升，采用本实施例所述方法处理一帧图像(CUP:I5520M，RAM:4GB)需要约22ms，基本能与视频播放同步。另外，在本申请其他实施例中还可以通过以下两种方式中的任一种对本实施例所述步骤进行优化，提高处理速度：
1)采用sse或者neon指令优化；此优化方式可以将处理速度提高3倍以上。
2)利用图形处理器(Graphics Processing Unit，GPU)辅助CPU执行本实施例所述步骤；由于GPU的并行粒度更高，故无论是采用GLSL、OpenCL或者CUDA等任一种GPU并行计算架构，理论上都可以将处理速度提高10倍。
与上述网络请求处理方法的实施例相对应，本申请实施例还提供了一种视频分辨率提升装置，应用于播放器的内核，实现对播放器所播放视频的分辨率进行实时提升。图5为该装置的一种结构示意图。参照图5，该装置包括：上采样单元101、正变换单元102、增强单元103和逆变换单元104。
其中，该上采样单元101用于，对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号。
该正变换单元102用于，对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号；其中，所述第一信号与所述原始信号等体积。
该增强单元103用于，对所述第一信号进行增强。
该逆变换单元104用于，对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。
由以上技术方案可知，本申请实施例通过小波正变换将上采样得到的初始放大信号分解为第一信号和第二信号两部分，其中，第一信号与原始信号等体积，保留了原始信号中的高频信息，对所述第一信号进行增强，进而通过对所述第二信号和增强后的第一信号进行小波逆变换的过程，将对第一信号的增强传递到第二信号中，从而可以补偿第二信号中的高频损失，也即补偿整个最终放大信号的高频损失，使得最终放大信号对应的放大图像可以更好的保留原始图像的高频信息，降低甚至消除放大图像模糊程度，提高整个视频的清晰度。
在本申请一个可行的实施方式中，上述正变换单元103具体可以包括：分割单元、预测单元和更新单元。
其中，所述分割单元用于，将所述初始放大信号s[n]分割为互相关联的第一分割信号se[n/2]和第二分割信号so[n/2]；
所述预测单元用于，根据公式d[n/2]＝so[n/2]-P(se[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；
所述更新单元用于，根据公式c[n/2]＝se[n/2]+U(d[n/2])进行更新运算，得到第二 信号c[n/2]，其中，U(·)为预设的更新算子。
相应的，上述逆变换单元104具体可以包括：逆更新单元、逆预测单元和合并单元。
其中，所述逆更新单元用于，根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；
所述逆预测单元用于，根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；
所述合并单元用于，将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。
由以上结构可知，本实施例通过基于提升法的小波变换进行分辨率提升，计算复杂度低，故相对于相关技术，本申请实施例所增加的计算量很小，在分辨率得到提升的同时，既能保留边缘和细节等的高频信息，减少甚至消除模糊现象，又能保证处理速度达到甚至超过目标视频的播放速度。
在本申请另一个可行的实施方式中，上述上采样单元101具体可以采用以下任一种：
第一上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双线性插值法的上采样操作；
第二上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双三次插值法的上采样操作。
在本申请另一个可行的实施方式中，上述视频分辨率提升装置还可以包括：变换次数确定单元，用于根据所述目标视频的预设放大倍数N确定小波变换次数n，其中，N＝n/(n-1),n为不小于2的整数。
相应的，所述正变换单元102具体被配置为，对所述初始放大信号进行n次小波正变换；所述逆变换单元104具体被配置为，对所述第二信号和增强后的第一信号进行n次小波逆变换。
本申请的方案还可以实现为一种计算设备。该计算设备可以包括：网络接口，所述网络接口使得所述计算设备能够获取目标视频；以及与所述网络接口相连接的处理器。处理器被配置为执行上述方法实施例中记载的任一种视频分辨率提升方法。
另外，本申请实施例还提供了一种非暂时性机器可读存储介质，例如可以是ROM、 随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等；该可读存储介质中存储有可执行代码，例如程序，当所述存储介质中的程序由视频播放装置的处理器执行时，使得该视频播放装置能够执行上述方法实施例中记载的任一种视频分辨率提升方法所述的部分或全部步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

  1. 一种视频分辨率提升方法，包括：
    对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号；
    对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，其中所述第一信号与所述原始信号等体积；
    对所述第一信号进行增强；以及
    对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。
  2. 根据权利要求1所述的方法，其特征在于，对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，包括：
    将所述初始放大信号s[n]分割为互相关联的第一分割信号se[n/2]和第二分割信号so[n/2]；
    根据公式d[n/2]＝so[n/2]-P(se[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；以及
    根据公式c[n/2]＝se[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。
  3. 根据权利要求2所述的方法，其特征在于，对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号，包括：
    根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；
    根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；以及
    将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。
  4. 根据权利要求1至3任一项所述的方法，其特征在于，所述对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，包括：
    对目标视频中每帧图像的原始信号，执行基于双线性插值法的上采样操作或者基于双三次插值法的上采样操作。
  5. 根据权利要求1至3任一项所述的方法，其特征在于，还包括：
    根据所述目标视频的预设放大倍数N确定小波变换次数n，其中，N＝n/(n-1),n为不小于2的整数；
    所述对所述初始放大信号进行小波正变换，包括：对所述初始放大信号进行n次小波正变换；
    所述对所述第二信号和增强后的第一信号进行小波逆变换，包括：对所述第二信号和增强后的第一信号进行n次小波逆变换。
  6. 一种视频分辨率提升装置，包括：
    上采样单元，用于对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号；
    正变换单元，用于对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，其中所述第一信号与所述原始信号等体积；
    增强单元，用于对所述第一信号进行增强；以及
    逆变换单元，用于对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。
  7. 根据权利要求6所述的装置，其特征在于，所述正变换单元包括：
    分割单元，用于将所述初始放大信号s[n]分割为互相关联的第一分割信号se[n/2]和第二分割信号so[n/2]；
    预测单元，用于根据公式d[n/2]＝so[n/2]-P(se[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；以及
    更新单元，用于根据公式c[n/2]＝se[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。
  8. 根据权利要求7所述的装置，其特征在于，所述逆变换单元包括：
    逆更新单元，用于根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；
    逆预测单元，用于根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；以及
    合并单元，用于将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。
  9. 根据权利要求6至8任一项所述的装置，其特征在于，所述上采样单元包括以下至少一种：
    第一上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双线性插值法的上采样操作；和
    第二上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双三次插值法的上采样操作。
  10. 根据权利要求6至8任一项所述的装置，其特征在于，还包括：
    变换次数确定单元，用于根据所述目标视频的预设放大倍数N确定小波变换次数n，其中，N＝n/(n-1),n为不小于2的整数；
    所述正变换单元被配置为对所述初始放大信号进行n次小波正变换；
    所述逆变换单元被配置为对所述第二信号和增强后的第一信号进行n次小波逆变换。
  11. 一种计算设备，包括：
    网络接口，所述网络接口使得所述计算设备能够获取目标视频；以及
    与所述网络接口相连接的处理器，所述处理器被配置为执行如下操作：
    对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号；
    对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，其中所述第一信号与所述原始信号等体积；
    对所述第一信号进行增强；以及
    对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。
  12. [根据细则26改正22.12.2016]　
    一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行根据权利要求1-5中任何一项所述的方法。
PCT/CN2016/107903 2015-12-03 2016-11-30 视频分辨率提升方法及装置 WO2017092662A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/995,521 US10803552B2 (en) 2015-12-03 2018-06-01 Video resolution up-conversion method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510882457.4A CN106851399B (zh) 2015-12-03 2015-12-03 视频分辨率提升方法及装置
CN201510882457.4 2015-12-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/995,521 Continuation US10803552B2 (en) 2015-12-03 2018-06-01 Video resolution up-conversion method and device

Publications (1)

Publication Number Publication Date
WO2017092662A1 true WO2017092662A1 (zh) 2017-06-08

Family

ID=58796325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/107903 WO2017092662A1 (zh) 2015-12-03 2016-11-30 视频分辨率提升方法及装置

Country Status (3)

Country Link
US (1) US10803552B2 (zh)
CN (1) CN106851399B (zh)
WO (1) WO2017092662A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3723376A4 (en) * 2018-09-02 2021-01-27 LG Electronics Inc. VIDEO SIGNAL CODING / DECODING PROCESS AND DEVICE FOR THE SAME
CN110599406B (zh) * 2019-03-18 2022-05-03 上海立可芯半导体科技有限公司 一种图像增强方法及装置
CN111932460B (zh) * 2020-08-10 2023-09-22 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN112258396B (zh) * 2020-12-17 2021-04-06 恒银金融科技股份有限公司 一种用于字符图像缩放的方法
CN114125346B (zh) * 2021-12-24 2023-08-29 成都索贝数码科技股份有限公司 视频转换方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430759A (zh) * 2008-12-04 2009-05-13 上海大学 优化的人脸识别预处理方法
US7676103B2 (en) * 2005-06-20 2010-03-09 Intel Corporation Enhancing video sharpness and contrast by luminance and chrominance transient improvement
CN102063699A (zh) * 2010-08-10 2011-05-18 东莞环亚高科电子有限公司 一种基于插值正交多小波的视频图像缩放的方法
US20110243378A1 (en) * 2010-04-02 2011-10-06 Samsung Techwin Co., Ltd. Method and apparatus for object tracking and loitering detection
CN103500436A (zh) * 2013-09-17 2014-01-08 广东威创视讯科技股份有限公司 图像超分辨率处理方法和系统
CN104036455A (zh) * 2013-03-06 2014-09-10 江苏理工学院 基于二代小波的红外图像细节增强方法
WO2014173970A1 (en) * 2013-04-26 2014-10-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upsampling and signal enhancement

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085436B2 (en) 2001-08-28 2006-08-01 Visioprime Image enhancement and data loss recovery using wavelet transforms
WO2005022463A1 (en) 2003-08-28 2005-03-10 Koninklijke Philips Electronics N.V. Method for spatial up-scaling of video frames
US7519488B2 (en) 2004-05-28 2009-04-14 Lawrence Livermore National Security, Llc Signal processing method and system for noise removal and signal extraction
CN1965330B (zh) 2004-06-09 2010-04-14 松下电器产业株式会社 图象处理方法及图象处理装置、图象放大方法
CN100521743C (zh) 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
JP3996631B2 (ja) * 2005-09-09 2007-10-24 松下電器産業株式会社 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
KR101303879B1 (ko) 2006-06-30 2013-09-04 삼성전자주식회사 영상 처리 장치 및 방법
US8380003B2 (en) 2007-11-07 2013-02-19 The Board of Trustees of the Lenard Stanford Junior University Image reconstruction with incomplete fourier-space magnitude data combined with real-space information
US8204125B2 (en) * 2007-11-28 2012-06-19 Tsai Sheng Group Llc Fast motion estimation in scalable video coding
KR101548285B1 (ko) 2009-01-20 2015-08-31 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
CN101599169A (zh) * 2009-07-24 2009-12-09 武汉大学 基于pde和小波的遥感图像放大方法
US8346333B2 (en) 2009-07-30 2013-01-01 Nellcor Puritan Bennett Ireland Systems and methods for estimating values of a continuous wavelet transform
US8284314B2 (en) 2009-12-16 2012-10-09 Vixs Systems, Inc. Adaptive edge enhancement using directional components from non-linear filtering
CN102236883A (zh) 2010-04-27 2011-11-09 株式会社理光 图像增强方法和装置、物体检测方法和装置
US8659618B2 (en) 2010-10-15 2014-02-25 Stmicroelectronics Asia Pacific Pte., Ltd. Noise-robust edge enhancement system and method for improved image sharpness
US9161705B2 (en) * 2010-12-07 2015-10-20 The Board Of Regents Of The University Of Texas System Method and device for early detection of heart attack
US8750383B2 (en) 2011-01-17 2014-06-10 Exaimage Corporation Systems and methods for wavelet and channel-based high definition video encoding
US8761537B2 (en) 2011-05-27 2014-06-24 Vixs Systems, Inc. Adaptive edge enhancement
US20130028538A1 (en) * 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
US8917948B2 (en) 2011-09-16 2014-12-23 Adobe Systems Incorporated High-quality denoising of an image sequence
WO2013042734A1 (ja) * 2011-09-20 2013-03-28 株式会社東芝 画像処理装置及び医用画像診断装置
US20130207992A1 (en) 2012-02-10 2013-08-15 Emil Alexander WASBERGER Method, apparatus and computer readable medium carrying instructions for mitigating visual artefacts
US8805114B2 (en) 2012-11-27 2014-08-12 Texas Instruments Incorporated Content adaptive edge and detail enhancement for image and video processing
US9305332B2 (en) 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9523635B2 (en) * 2013-06-20 2016-12-20 Rigaku Raman Technologies, Inc. Apparatus and methods of spectral searching using wavelet transform coefficients
CN104299185A (zh) 2014-09-26 2015-01-21 京东方科技集团股份有限公司 一种图像放大方法、图像放大装置及显示设备
US9444548B1 (en) 2014-10-15 2016-09-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Wavelet-based processing for fiber optic sensing systems
CN104851077B (zh) * 2015-06-03 2017-10-13 四川大学 一种自适应的遥感图像全色锐化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676103B2 (en) * 2005-06-20 2010-03-09 Intel Corporation Enhancing video sharpness and contrast by luminance and chrominance transient improvement
CN101430759A (zh) * 2008-12-04 2009-05-13 上海大学 优化的人脸识别预处理方法
US20110243378A1 (en) * 2010-04-02 2011-10-06 Samsung Techwin Co., Ltd. Method and apparatus for object tracking and loitering detection
CN102063699A (zh) * 2010-08-10 2011-05-18 东莞环亚高科电子有限公司 一种基于插值正交多小波的视频图像缩放的方法
CN104036455A (zh) * 2013-03-06 2014-09-10 江苏理工学院 基于二代小波的红外图像细节增强方法
WO2014173970A1 (en) * 2013-04-26 2014-10-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upsampling and signal enhancement
CN103500436A (zh) * 2013-09-17 2014-01-08 广东威创视讯科技股份有限公司 图像超分辨率处理方法和系统

Also Published As

Publication number Publication date
CN106851399B (zh) 2021-01-22
US20180276794A1 (en) 2018-09-27
CN106851399A (zh) 2017-06-13
US10803552B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
WO2017092662A1 (zh) 视频分辨率提升方法及装置
CN110570356B (zh) 图像处理方法和装置、电子设备及存储介质
EP2164040B1 (en) System and method for high quality image and video upscaling
US8483516B2 (en) Super resolution system and method with database-free texture synthesis
WO2015180053A1 (zh) 一种快速超分辨率图像重建方法和装置
US20100245670A1 (en) Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
CN113365110B (zh) 模型训练、视频插帧方法，装置，设备以及存储介质
JP5200788B2 (ja) 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
JP2009212969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Liu et al. PD-GAN: perceptual-details gan for extremely noisy low light image enhancement
TWI827771B (zh) 圖像處理設備和方法
CN107220934B (zh) 图像重建方法及装置
WO2014073198A1 (ja) 画像処理装置、及び、画像処理方法
US11663698B2 (en) Signal processing method for performing iterative back projection on an image and signal processing device utilizing the same
WO2024032331A9 (zh) 图像处理方法及装置、电子设备、存储介质
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
KR20110115594A (ko) 고화질 비디오 콘텐츠 향상 방법 및 장치, 및 저장 매체
CN115375539A (zh) 图像分辨率增强、多帧图像超分辨率系统和方法
CN111815535B (zh) 图像处理方法、装置、电子设备和计算机可读介质
JP6158956B2 (ja) 画像処理装置
WO2023093838A1 (zh) 超分图像处理方法、装置、设备及介质
WO2014034242A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
TWI776733B (zh) 快速抑制數位影像中的背景高頻雜訊的資料處理方法
JP2009169932A (ja) 周波数基盤の映像モデルを用いた映像復元方法およびシステム
US20230153952A1 (en) Deep learning framework for video remastering

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16869972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16869972

Country of ref document: EP

Kind code of ref document: A1