WO2016187776A1 - 一种基于光流法的视频插帧方法及系统 - Google Patents

一种基于光流法的视频插帧方法及系统 Download PDF

Info

Publication number
WO2016187776A1
WO2016187776A1 PCT/CN2015/079697 CN2015079697W WO2016187776A1 WO 2016187776 A1 WO2016187776 A1 WO 2016187776A1 CN 2015079697 W CN2015079697 W CN 2015079697W WO 2016187776 A1 WO2016187776 A1 WO 2016187776A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
pixel
frame
backward
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2015/079697
Other languages
English (en)
French (fr)
Inventor
汤传新
王荣刚
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to US15/574,954 priority Critical patent/US10531093B2/en
Priority to CN201580000102.6A priority patent/CN105517671B/zh
Priority to PCT/CN2015/079697 priority patent/WO2016187776A1/zh
Publication of WO2016187776A1 publication Critical patent/WO2016187776A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Definitions

  • the present invention relates to the field of video processing and transmission, and in particular, to a video frame insertion method and system based on an optical flow method.
  • the current mainstream frame rate up-conversion method is usually based on block-compensated motion compensated interpolation.
  • the block matching algorithm has a fundamental defect. At the edge of the object, the regions that do not belong to the same object are divided into the same block and given the same motion vector, which causes a blockiness problem in the interpolated frame.
  • the "conflict” and "hole” problems caused by "occlusion” and “exposure” are also unresolved by current mainstream methods.
  • FIG. 6 is a schematic flow chart of a reference frame to interpolate a frame map to obtain a forward or backward interpolated frame.
  • the formula for calculating the distance between the forward motion vector of the current pixel and the backward motion vector of the forward reference pixel is as follows.
  • This embodiment uses smoothing filtering based on image segmentation to smooth motion vectors.
  • the idea is that the region motion vectors belonging to the same object should be consistent. Therefore, after image segmentation, motion vector smoothing processing is performed on regions belonging to the same object. Inserting frames using such motion vectors can maintain spatial continuity and solve the blockiness problem.
  • the method for detecting the occlusion region in this embodiment is: when the motion vector of only one direction of a pixel in one frame is reliable, then the motion vector in the other direction is marked, and marking indicates that the object is unreliable.
  • the direction of the motion vector belongs to the occlusion area.
  • the motion vector in the reliable direction is used to update the motion vector in the unreliable direction, that is, the direction is replaced by the reverse motion vector of the directionally reliable motion vector. Unreliable motion vector.
  • each non-hole point in the interpolated frame corresponds to a forward motion vector, or a backward motion vector, or two-way Motion vector.
  • the hole pixel P in the interpolation frame the non-hole pixel adjacent to the pixel in the four directions of up, down, left, and right is found.
  • a most suitable motion vector is selected from the motion vectors corresponding to the nearest neighboring non-hole pixel as a motion vector for mapping the pixel of the hole.
  • the pixel to the left of the pixel P is obtained by the motion of the forward and backward motion vectors, and the pixel to the right of the pixel P of the hole is also a hole pixel, so it is not considered.
  • the nearest four pixels in the up, down, left, and right directions of the pixel P represent all possible occurrences.
  • the non-hole pixel on the left side of the hole pixel P corresponds to the minimum value of the gray value difference of the forward motion vector of a pixel of the i-1th frame
  • the non-hole point on the left side of the hole pixel P is obtained.
  • the forward motion vector of a pixel corresponding to the pixel of the i-1th frame is used as the motion vector of the mapped hole pixel P.
  • the interpolation frame repair unit uses a difference algorithm to repair the hole points in the interpolation frame.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

一种基于光流法的视频插帧方法及系统，其过程为：对输入的视频的帧序列，采用光流法计算得到相邻两帧之间的双向运动矢量；判断相邻两帧之间的双向运动矢量是否可靠，对光流法的锯齿问题和噪声问题进行处理；对相邻两帧中的"遮挡"和"暴露"区域进行标记，对不可靠的运动矢量进行更新处理；对于相邻两帧，根据"遮挡"和"暴露"区域的标记信息以及更新处理后所得的双向运动矢量场，将前后帧向内插帧映射得到前向内插帧和后向内插帧；将前向内插帧和后向内插帧合成成内插帧；对内插帧中的洞点进行修补；得到最终的内插帧。本发明的帧率上转换采用光流法计算得到相邻两帧之间的双向运动矢量，其基于的是像素，因此更加精确，不存在块效应等问题。

Description

一种基于光流法的视频插帧方法及系统 技术领域
本发明涉及视频处理及传输领域，具体涉及一种基于光流法的视频插帧方法及系统。
背景技术
随着高清数字电视和高端多媒体信息系统的发展，现有的视频信号节目源已经不能满足人们对于视觉效果的需求，因此需要提高现有视频节目源的帧率以达到更好的视觉效果；与此同时，尽管目前视频传输中的编解码技术已经可以获得很高的压缩比，然而为了适应一些网络带宽有限的应用，通常将视频信号的时空分辨率降低使数据量更少，在时域中可以通过编码端跳帧来实现。这样，在解码端的低帧率视频必然会引起运动不连续、图像质量的退化，尤其是在快速运动和复杂场景中更为明显。为此，可以在解码端采用视频插帧，即帧率上转换(FRUC，Frame Rate Up-conversion)技术来恢复原来帧率以提高视频图像的主观视觉效果。此外，该技术也可用于不同帧率视频格式之间的转换。通过在相邻帧之间插入中间帧的方式，将低帧率的视频提升至高帧率，实现不同帧率之间的转换。
目前主流的帧率上转换通常采用的方法是基于块匹配的运动补偿内插。但是块匹配算法存在一个根本的缺陷，在物体边缘处会将不属于同一个物体的区域划分到同一个块并赋予相同的运动矢量，这样就会导致内插帧存在块效应问题。此外，由“遮挡”和“暴露”引起的“冲突”和“洞点”问题，也是目前主流方法所不能解决的。
有效降低块效应问题和解决“遮挡”与“暴露”问题的方法一直是本领域的研究重点。
发明内容
一种基于光流法的视频插帧方法，包括如下步骤：
运动矢量计算过程：对输入视频的帧序列，采用光流法计算得到相 邻两帧之间的运动矢量；相邻两帧包括前向参考帧和后向参考帧；
内插帧映射过程：根据相邻两帧之间的运动矢量场，在相邻两帧之间映射得到内插帧。
基于光流法的视频插帧方法还可以是以下步骤：
运动矢量计算过程为：对输入视频的帧序列，采用光流法计算得到相邻两帧之间的双向运动矢量；
运动矢量计算过程之后还包括可靠性判断处理过程：对相邻两帧之间的双向运动矢量进行可靠性判断，根据可靠性判断的结果对相邻两帧中的闭塞区域进行标记，并更新闭塞区域的不可靠运动矢量；
内插帧映射过程为：根据闭塞区域的标记信息以及更新后所得的运动矢量场，将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧；将前向内插帧和后向内插帧合成成内插帧。
判断前向运动矢量与后向运动矢量可靠性的方法是相同的，下面仅以判断前向运动矢量可靠性为例来说明运动矢量可靠性的判别方法。取后向参考帧的某一像素为当前像素，当前像素从后向参考帧指向前向参考帧的运动矢量为当前像素的前向运动矢量；当前像素的前向运动矢量指向前向参考帧的像素为前向参考像素，前向参考像素从前向参考帧指向后向参考帧的运动矢量为前向参考像素的后向运动矢量。
对相邻两帧之间的双向运动矢量进行可靠性判断的具体方式为：计算当前像素在后向参考帧中的灰度值与前向参考像素在前向参考帧中的灰度值的差值，若该灰度值的差值大于等于灰度值差值的阈值，则判断当前像素的前向运动矢量是不可靠的；否则，若该灰度值的差值小于灰度值差值的阈值，则进一步计算当期像素的前向运动矢量和前向参考像素的后向运动矢量间的距离，若当期像素的前向运动矢量和前向参考像素的后向运动矢量间的距离小于运动矢量阈值距离，则判断当前像素的前向运动矢量是可靠的；否则，若当期像素的前向运动矢量和前向参考像素的后向运动矢量间的距离大于等于运动矢量阈值距离，判断当前像素的前向运动矢量是不可靠的。
更新不可靠运动矢量的方式为：用某像素的双向运动矢量中的可靠运动矢量取反值来替换不可靠的运动矢量。
将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧包括：
对于前向参考帧或后向参考帧中的某一像素，判断该像素的运动矢量是否可靠；
若该像素的运动矢量可靠，则进一步判断该像素是否发生“冲突”；
若该像素的运动矢量不可靠，则判断该像素是否属于“遮挡”和/或“暴露”区域；若属于，则进一步判断该像素是否发生“冲突”；若不属于，则丢弃该像素；
若判断该像素是否发生“冲突”的结果为否，则对该像素进行映射；
若判断该像素是否发生“冲突”的结果为是，则判断该像素的运动矢量是否比与其发生“冲突”的已经被映射的像素更可靠，若是，则对该像素进行映射；若否，则丢弃该像素。
可靠性判断处理过程还包括对光流法引起的锯齿问题和/或噪声问题进行处理，处理方式为：对相邻帧之间的双向运动矢量进行基于图像分割的平滑滤波处理。
内插帧映射过程之后还包括内插帧修补过程：对内插帧中的洞点进行修补，得到最终的内插帧。
可靠性判断处理过程还包括对光流法的锯齿问题和/或噪声问题进行处理，处理方式为：对相邻两帧进行空域上采样；或者，对相邻两帧进行空域上采样，对经过空域上采样后的相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理；或者，对相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理，对经过平滑滤波处理后的相邻两帧进行空域上采样。内插帧修补过程为：对内插帧中的洞点进行修补，对经过洞点修补后的内插帧进行下采样，得到最终的内插帧。
对相邻两帧进行空域上采样包括：将相邻两帧中的每一帧图像的像素数量按照预定倍数扩大，并将双向运动矢量的值按照预定倍数扩大。对内插帧进行下采样的方式为：将内插帧图像的像素数量按照预定倍数 缩减，并将双向运动矢量的值按照预定倍数缩减。
对内插帧中的洞点进行修补包括：对于内插帧中的某一洞点，分析与该洞点像素相邻的预设范围的非洞点像素的运动矢量，取得这些非洞点像素的运动矢量中最合适的运动矢量，用该最合适的运动矢量来作为映射洞点像素的运动矢量，从而进行空洞区域插值。
一种基于光流法的视频插帧系统，包括运动矢量计算单元、内插帧映射单元。
运动矢量计算单元用于对输入视频的帧序列，采用光流法计算得到相邻两帧之间的运动矢量；相邻两帧包括前向参考帧和后向参考帧。内插帧映射单元用于根据相邻两帧之间的运动矢量场，在相邻两帧之间映射得到内插帧。
运动矢量计算单元用于对输入视频的帧序列，采用光流法计算得到相邻两帧之间的双向运动矢量。系统还包括可靠性判断处理单元，用于对相邻两帧之间的双向运动矢量进行可靠性判断，根据可靠性判断的结果对相邻两帧中的闭塞区域进行标记，对更新闭塞区域的不可靠运动矢量或者更新所有不可靠运动矢量。内插帧映射单元根据闭塞区域的标记信息以及更新后所得的运动矢量场，将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧；将前向内插帧和后向内插帧合成成内插帧。
取后向参考帧的某一像素为当前像素，当前像素从后向参考帧指向前向参考帧的运动矢量为当前像素的前向运动矢量；当前像素的前向运动矢量指向前向参考帧的像素为前向参考像素，前向参考像素从前向参考帧指向后向参考帧的运动矢量为前向参考像素的后向运动矢量。
可靠性判断处理单元对相邻两帧之间的双向运动矢量进行可靠性判断的具体方式为：计算当前像素在后向参考帧中的灰度值与前向参考像素在前向参考帧中的灰度值的差值，若该灰度值的差值小于等于灰度值差值的阈值，则判断当前像素的前向运动矢量和前向参考像素的后向运动矢量是可靠的，否则判断当前像素的前向运动矢量和前向参考像素的后向运动矢量是不可靠的；和/或，计算当期像素的前向运动矢量和前向 参考像素的后向运动矢量间的距离，若当期像素的前向运动矢量和前向参考像素的后向运动矢量间的距离小于运动矢量阈值距离，则判断当前像素的前向运动矢量和前向参考像素的后向运动矢量是可靠的，否则判断当前像素的前向运动矢量和前向参考像素的后向运动矢量是不可靠的。
内插帧映射单元将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧的方式为：
对于前向参考帧或后向参考帧中的某一像素，判断该像素的运动矢量是否可靠；
若该像素的运动矢量可靠，则进一步判断该像素是否发生“冲突”；
若该像素的运动矢量不可靠，则判断该像素是否属于“遮挡”和/或“暴露”区域；若属于，则进一步判断该像素是否发生“冲突”；若不属于，则丢弃该像素；
若判断该像素是否发生“冲突”的结果为否，则对该像素进行映射；
若判断该像素是否发生“冲突”的结果为是，则判断该像素的运动矢量是否比与其发生“冲突”的已经被映射的像素更可靠，若是，则对该像素进行映射；若否，则丢弃该像素。
可靠性判断处理单元还用于对光流法的锯齿问题和/或噪声问题进行处理，处理方式为：对相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理；或者，对相邻两帧进行空域上采样；或者，对相邻两帧进行空域上采样，对经过空域上采样后的相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理；或者，对相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理，对经过平滑滤波处理后的相邻两帧进行空域上采样。系统还包括内插帧修补单元，用于对内插帧中的洞点进行修补，对经过洞点修补后的内插帧进行下采样，得到最终的内插帧。
可靠性判断处理单元对相邻两帧进行空域上采样的方式为：将相邻两帧中的每一帧图像的像素数量按照预定倍数扩大，并将双向运动矢量的值按照预定倍数扩大。内插帧修补单元对内插帧进行下采样的方式为： 将内插帧图像的像素数量按照预定倍数缩减，并将双向运动矢量的值按照预定倍数缩减。
内插帧修补单元对内插帧中的洞点进行修补的方式为：对于内插帧中的某一洞点，分析与该洞点像素相邻的预设范围的非洞点像素的运动矢量，取得这些非洞点像素的运动矢量中最合适的运动矢量，用该最合适的运动矢量来作为映射洞点像素的运动矢量，从而进行空洞区域插值。
现有的帧率上转换通常采用基于块匹配的运动补偿内插，其基于的是块，因此存在块效应以及不精确等问题；本发明的帧率上转换采用光流法计算得到相邻两帧之间的双向运动矢量，其基于的是像素，因此更加精确，不存在块效应等问题。
附图说明
图1为实施例1的基于稠密光流的视频插帧方法的流程示意图；
图2为空域上采样原理示意图；
图3为物体的运动矢量是否可靠的一种情况的示意图；
图4为物体的运动矢量是否可靠的另一种情况的示意图；
图5为连续三帧中物体的运动矢量是否可靠的一种情况的示意图；
图6为参考帧向内插帧映射得到前向或后向内插帧的流程示意图。
具体实施方式
光流法分为稀疏光流和稠密光流两大类。“稠密”是指一帧中每个像素都有一个运动矢量；而稀疏光流只有部分像素有运动矢量。本发明的实施例进行视频插帧优选地使用稠密光流，以便使每个像素都有运动矢量。使用稠密光流获得基于像素级的运动矢量进行插帧可以解决现有技术存在的块效应问题，且光流法估计出的运动矢量更加精确。
实施例1：
结合图1所示，本实施例的基于稠密光流的视频插帧方法包括如下步骤：
S1、对输入的视频的帧序列，采用光流法估计出相邻两帧之间的双向运动矢量。
为便于说明，以帧序列中的第t-1帧、第t帧、第t+1帧为例，第t 帧为后向参考帧，第t+1帧为前向参考帧，本实施例以第t帧为主视角进行说明，其中，t为大于1的整数。对于第t帧中的某一像素，其方向指向第t-1帧的运动矢量为该像素的后向运动矢量，其指向第t+1帧的运动矢量为该像素的前向运动矢量。这样，众多的像素都具备对应的双向运动矢量，视频帧序列之间的运动矢量即构成运动矢量场，所谓双向运动矢量即指从前向参考帧到后向参考帧的前向运动矢量，以及从后向参考帧到前向参考帧的后向运动矢量。
S2、判断双向运动矢量是否可靠。
本实施例使用前后向参考帧(即相邻两帧)对应像素的灰度值的差值(用AD表示)以及运动矢量间的距离(用MVD表示)来判断运动矢量是否可靠。
具体地，以图2为例，第t帧302的某一像素为当前像素，当前像素从第t帧302指向第t+1帧303的运动矢量为当前像素的前向运动矢量323。当前像素的前向运动矢量323指向第t+1帧303的像素为前向参考像素，前向参考像素从第t+1帧303指向第t帧302的运动矢量为前向参考像素的后向运动矢量332。
当前像素从第t帧302指向第t-1帧301的运动矢量为当前像素的后向运动矢量321。当前像素的后向运动矢量321指向第t-1帧301的像素为第t-1帧参考像素，第t-1帧参考像素从第t-1帧301指向第t帧302的运动矢量为第t-1帧参考像素的前向运动矢量312。
对于第t帧302中的当前像素的前向运动矢量323，如果当前像素满足其与前向参考像素的灰度值差值小于灰度值差值阈值Th_AD，且当前像素的前向运动矢量323与前向参考像素的后向运动矢量332间的距离小于运动矢量阈值距离Th_MVD，则当前像素的前向运动矢量323是可靠的，否则不可靠。本实施例的Th_AD设置为20，Th_MVD设置为3。
当前像素在后向参考帧303中的灰度值与前向参考像素在前向参考帧302中的灰度值的差值计算公式如下，
ADt(x)＝|Ft(x)-Ft+1(x+Vx)|   (1.1) 其中，ADt(x)为当前像素的灰度值与前向参考像素的灰度值的差值，Ft(x)为当前像素在后向参考帧302中的灰度值，Ft+1(x+Vx)为前向参考像素在前向参考帧303中的灰度值，Vx为当前像素从后向参考帧302到前向参考帧303的前向运动矢量323，x为当前像素在后向参考帧302中的位置，x+Vx为前向参考像素在前向参考帧中的位置，t为后向参考帧302的序号，t+1为前向参考帧303的序号。
当前像素的前向运动矢量和前向参考像素的后向运动矢量之间的距离的计算公式如下，
Figure PCTCN2015079697-appb-000001
其中，MVDt(x)为当前像素的前向运动矢量323和前向参考像素的后向运动矢量332间的距离，
Figure PCTCN2015079697-appb-000002
为当前像素的前向运动矢量，
Figure PCTCN2015079697-appb-000003
为前向参考像素的后向运动矢量，x为当前像素在后向参考帧302中的位置，x’为前向参考像素在前向参考帧303中的位置，||·||代表欧几里得距离。
帧的前后关系是相对的，本实施例以帧在视频序列出现的时间先后顺序来指示帧的前后关系。
x与x’的关系如下式，
Figure PCTCN2015079697-appb-000004
对于第t帧302中的当前像素的后向运动矢量321，是计算其灰度值与第t-1帧参考像素的灰度值的差值，以及其与第t-1帧参考像素的前向运动矢量312间的距离来判断可靠性，在原理上与上述论述相同，故不作赘述。
S3、对帧序列中的每一帧进行空域上采样，使得空域上采样后得到的帧的尺寸在水平方向和竖直方向均扩大一倍，使得由S1得到的运动矢量的值扩大一倍。
如图3所示，对于某一帧001，以其中包含像素11、像素12、像素21、像素22为例，对帧进行空域上采样即将帧中的像素数量扩大一倍，从而帧在水平方向和竖直方向的尺寸扩大一倍，这里的水平及竖直以图 3为基准。具体实现上，在该帧中的每一个像素周围增加一圈像素从而得到空域上采样后的帧002，帧001的像素22仍然是帧002中的像素22，而帧002中的像素22在其周围多了一圈及8个像素，对于帧001的像素11、像素12、像素21，像素11下方增加的像素与像素21上方增加的像素是同一个，像素11右方增加的像素和像素12左方增加的像素也是同一个，通过这种方式使得帧001的像素在整体上扩大一倍从而得到帧002。
对空域上采样之前各帧之间的运动矢量在数值上均扩大一倍，在表现形式上即各运动矢量在长度上变为原来的两倍，运动矢量的方向不改变。
本领域技术人员还可以采取其他的方式来扩大帧的尺寸或扩大像素的数量，扩大的幅度可以是一倍或几倍。
之所以要对视频序列以及运动矢量场进行空域上采样的处理，是因为使用光流法计算出的运动矢量都是浮点数。在后续的插值阶段，需要将这些浮点型的运动矢量四舍五入成整数，这样合成的内插帧会存在锯齿问题。为了消除直接使用光流法获得的浮点型运动矢量进行插帧产生的锯齿问题，本实施例使用超采样抗锯齿的方法，即空域上采样处理。具体就是将输入的视频序列以及运动矢量场分别在水平方向和垂直方向进行二倍上采样，并将运动矢量乘以二。这样，后续合成的内插帧的尺寸在水平方向和垂直方向也是原始图片的二倍，在最终输出结果时，需要在水平方向和垂直方向进行二倍下采样来恢复到原始尺寸。
S4、对经过空域上采样后的相邻帧之间的双向运动矢量进行基于图像分割的平滑滤波处理。
使用光流法获得的像素的运动矢量可能会比较“离散”，属于同一个物体的像素的运动矢量可能会存在不一致的情况。此外,受光照变化、图像噪声、非刚体运动等因素的影响，运动矢量场会存在一些孤立点，从而破坏运动矢量的连续性。使用这些运动矢量不连续的像素进行插值，会使重构的内插帧中存在噪声点。为了更好的保持空间连续性，本实施例使用基于图像分割的平滑滤波方法进行运动矢量后处理。经过图像分 割后，属于同一个区域的像素的运动矢量应当更趋向于一致，因此，对于每个像素的运动矢量，使用一定邻域内与该像素属于同一个区域并且运动矢量是可靠的像素的运动矢量来对该像素运动矢量进行平滑处理。图像分割为现有技术，具体公式如下：
Figure PCTCN2015079697-appb-000005
其中，W是以当前要更新运动矢量的像素(即中心像素)为中心大小为11*11的邻域中的像素索引，T是邻域中与中心像素属于同一分割区域并且运动矢量是可靠的像素的数量，j是邻域中像素的索引，αj的定义如下：
Figure PCTCN2015079697-appb-000006
(1.5)
本实施例使用基于图像分割的平滑滤波来平滑运动矢量，其思想在于属于同一物体的区域运动矢量应保持一致，因此图像分割后，对属于同一物体的区域进行运动矢量平滑处理。使用这样的运动矢量进行插帧，能很好的保持空间连续性，解决块效应问题。
S5、对相邻两帧中的“遮挡”和“暴露”区域进行标记，对不可靠的运动矢量进行更新处理。
“遮挡”和“暴露”区域的产生是现有技术中本身存在的问题，对其进行标记也是现有技术已经使用的技术手段，故不作赘述。“遮挡”和“暴露”区域又称闭塞区域，闭塞区域的定义为：当某个像素的前向运动矢量和后向运动矢量中一个是可靠的，一个是不可靠的时，则认为不可靠的那个运动矢量属于闭塞区域。
本实施例采用基于时域的闭塞区域检测方法并对闭塞区域的运动矢量进行标记与更新，使得可以在内插帧中对应的闭塞区域只用前后帧中对应的闭塞区域进行映射，避免出现重影现象。本实施例提出的基于时 域的闭塞区域检测方法是依据运动矢量的可靠性进行的，具体阐述如下。
闭塞区域检测的前提是假设相邻帧之间物体的运动是连续的，物体在帧与帧之间的运动速度与方向基本一致。当物体在之前帧中存在，但运动到当前帧中突然消失；或者物体在之前帧中不存在，运动到当前帧中突然出现，那么这些区域就属于闭塞区域。而根据前提假设，物体在帧与帧之间的运动是连续的，对于物体运动到当前帧中突然消失的情况，如图2所示，在上一帧302中该物体的前向运动矢量323必然是不可靠的(因为当前帧303中物体不存在)，但是上一帧302中该物体的后向运动矢量321是可靠的(因为物体在上上一帧301中是存在的)。图3中只是示例性地给出了部分像素，其中每一个小方格代表一个像素，黑色方格代表所讨论的物体所包含的一个像素，或者代表一个物体。同理，对于运动到当前帧中突然出现的物体，如图4所示，当前帧402该物体的后向运动矢量421是不可靠的(因为在上一帧401中该物体没有出现)，但是当前帧402中该物体的前向运动矢量423是可靠的(因为该物体在下一帧403会继续出现)。
根据上述分析可知，对于属于闭塞区域的物体，总是只有一个方向的运动矢量是可靠的，而另一个方向的运动矢量是不可靠的。因此，本实施例检测闭塞区域的方法是：当一帧中某个像素只有一个方向的运动矢量是可靠的，那么就将另一个方向的运动矢量进行标记，进行标记则表示该物体在不可靠运动矢量的方向属于闭塞区域。同时，根据物体在帧与帧之间的运动速度与方向基本一致的假设，使用可靠方向的运动矢量来更新不可靠方向的运动矢量，即用方向可靠的运动矢量的反向运动矢量来替换方向不可靠的运动矢量。
例如图5所示是连续的三帧图片，图中的圆圈501与方块502代表两个物体，其在连续三帧内的运动速度与方向基本是一致的。第t-1帧(即Ft-1)中的像素P1运动到第t帧(即Ft)中，则此过程像素P1不属于闭塞区域，故像素P1从第t-1帧到第t帧中的运动矢量512是可靠的；以从第t帧到第t-1的视角来看，像素P1的运动矢量521也是可靠的，且运动矢量512和运动矢量521大小相等、方向相反。而像素P1由第t 帧运动到第t+1帧(即Ft+1)中时，由于像素P1被方块遮挡，则此过程像素P1属于闭塞区域，因此可以判定出第t帧与第t+1帧中P1的运动矢量523是不可靠的；图中第t帧的像素P1即错误地指向了第t+1帧中的像素P2。因此，对于第t帧中的像素P1，其后向运动矢量521是可靠的而前向运动矢量523是不可靠的。因而标记出第t帧中像素P1的前向运动矢量523方向为闭塞区域，并使用第t帧中像素P1的后向运动矢量521取反值后来更新P1的前向运动矢量523。
S6、对于相邻两帧，根据“遮挡”和“暴露”区域的标记信息以及更新处理后所得的双向运动矢量场，将第t帧向内插帧映射得到前向内插帧，将第t+1帧向内插帧映射得到后向内插帧。
以第t帧、第t+1帧为例，将第t帧向内插帧映射得到前向内插帧，将第t+1帧向内插帧映射得到后向内插帧。
结合图6所示，将第t帧向内插帧映射得到前向内插帧的详细步骤如下(将第t+1帧向内插帧映射得到后向内插帧也遵循以下步骤)：
S601、输入当前帧及其运动矢量。
S602、选择需要映射的像素。
S603、判断该像素的运动矢量是否可靠。
若该像素的运动矢量可靠，则进入S604判断该像素是否发生“冲突”；
若该像素的运动矢量不可靠，则判断该像素是否属于“遮挡”和“暴露”区域，即判断该像素是否被标记；若属于，则进入S604判断该像素是否发生“冲突”；若不属于，则丢弃该像素；
若S604判断该像素是否发生“冲突”的结果为否，则进入S605对该像素进行映射；
若S604判断该像素是否发生“冲突”的结果为是，则判断该像素的运动矢量是否比与其发生“冲突”的已经被映射的像素更可靠(“冲突”表示：在该像素之前，已经有别的像素在该像素的位置被映射了)，若是，则进入S605对该像素进行映射；若否，则丢弃该像素。
在S605对该像素进行映射后，在S606中判断该像素是否为最后一 个需要映射的像素，如果是，则执行S7；如果否，则继续S602选择没有被映射的像素。
S607、对一帧图像的所有像素都完成上述映射操作后，即可生成第t帧的前向内插帧。当利用上述步骤将第t+1帧向内插帧映射，则得到的为第t+1帧的后向内插帧。将第t帧向内插帧映射得到前向内插帧和将第t+1帧向内插帧映射得到后向内插帧还可以同时用上述步骤完成。
S7、将第t帧的前向内插帧和第t+1帧的后向内插帧合成成内插帧。这样，原帧序列的帧两两之间就会增加一个内插帧。将两帧合为一帧的方法可以采用现有技术，故不作赘述。
S8、用差值算法对内插帧中的洞点进行修补。
分为两个过程，首先使用相邻非洞点的运动矢量来进行空洞区域插值，然后对于最终剩下的洞点使用线性插值的方法处理。
对于“使用相邻非洞点的运动矢量来进行空洞区域插值”的含义,具体地，内插帧中每个非洞点均对应着一个前向运动矢量，或者一个后向运动矢量，或者双向运动矢量。对于内插帧中的洞点像素P，找到该洞点像素上下左右四个方向最邻近的非洞点像素。从它最邻近的非洞点像素所对应的运动矢量中选择一个最合适的运动矢量，来作为映射该洞点像素的运动矢量。以下详细分析如何选择最合适的非洞点像素以及最合适的运动矢量。
对于洞点像素P，需要分析其上下左右四个方向最邻近的四个像素，当然，本领域技术人员也可以分析围绕洞点像素P的八个像素，还可以是分析洞点像素P周围的预定范围或预设数量的像素。本实施例为便于说明，只对洞点像素P上下左右四个方向最邻近的四个像素进行分析，如果四个像素也是洞点像素，则可以按照预设的方式继续分析距离洞点像素P预定范围内的像素，既可以是找到合适的非洞点像素为止，也可以是直接放弃对洞点像素P的处理。
先澄明，第t帧为前向参考帧，第t+1帧为后向参考帧，经过步骤S1至S7的处理后，在第t帧和第t+1帧之间插入了内插帧，则帧序列中帧的数量整体扩大了一倍，为表述的合理，以下以第i帧、第i-1帧、第 i+1帧为例进行说明，其中第i帧为内插帧。
为便于说明，假设第i帧中洞点像素P上方的像素为非洞点像素且其由第i-1帧的某像素的前向运动矢量
Figure PCTCN2015079697-appb-000007
映射得到，洞点像素P下方的像素为非洞点像素且其由第i+1帧的某像素的后向运动矢量
Figure PCTCN2015079697-appb-000008
映射得到，洞点像素P左方的像素为非洞点像素且其对应第i-1帧的某像素的前向运动矢量和第i+1帧的某像素的后向运动矢量，即洞点像素P左方的像素由前后向运动矢量共同作用而得到，洞点像素P右方的像素也为洞点像素故不作考虑。这个假设中，洞点像素P上下左右四个方向最邻近的四个像素表达了所有可能出现的情况。
为了赋予洞点像素P一个最合适的运动矢量，需要对映射洞点像素P上下左右四个方向最邻近的非洞点像素的运动矢量进行分析。对于洞点像素P上方的非洞点像素，由于其由第i-1帧的某像素的前向运动矢量
Figure PCTCN2015079697-appb-000009
映射得到，故采用公式(1.6)判断对应第i-1帧的某像素的前向运动矢量
Figure PCTCN2015079697-appb-000010
的灰度值差值Δf(x)。
Figure PCTCN2015079697-appb-000011
对于洞点像素P下方的非洞点像素，由于其由第i+1帧的某像素的后向运动矢量
Figure PCTCN2015079697-appb-000012
映射得到，故采用公式(1.7)判断对应第i+1帧的某像素的后向运动矢量
Figure PCTCN2015079697-appb-000013
的灰度值差值Δb(x)。
Figure PCTCN2015079697-appb-000014
其中，x是洞点像素坐标，
Figure PCTCN2015079697-appb-000015
是洞点像素P上方的像素所对应的第i-1帧中某像素的前向运动矢量，
Figure PCTCN2015079697-appb-000016
是洞点像素P下方的像素所对应的第i+1帧中某像素的后向运动矢量。
对于洞点像素P左方的非洞点像素，由于其由第i-1帧的某像素的 前向运动矢量
Figure PCTCN2015079697-appb-000017
和第i+1帧的某像素的后向运动矢量
Figure PCTCN2015079697-appb-000018
共同映射得到，故需要同时采用公式(1.6)和(1.7)判断该非洞点像素对应第i-1帧的某像素的前向运动矢量的灰度值差值Δf(x)和对应第i+1帧的某像素的后向运动矢量的灰度值差值Δb(x)。
洞点像素P右方的洞点像素不作考虑。
此时比较所得的四个值，即洞点像素P上方的非洞点像素对应第i-1帧的某像素的前向运动矢量的灰度值差值、洞点像素P下方的非洞点像素对应第i+1帧的某像素的后向运动矢量的灰度值差值、洞点像素P左方的非洞点像素对应第i-1帧的某像素的前向运动矢量的灰度值差值、洞点像素P左方的非洞点像素对应第i+1帧的某像素的后向运动矢量的灰度值差值，在这四个值中选择取值最小的值，以对应该取值最小的值的非洞点像素的运动矢量作为映射洞点像素P的运动矢量。
例如，假设洞点像素P左方的非洞点像素对应第i-1帧的某像素的前向运动矢量的灰度值差值取值最小，则将洞点像素P左方的非洞点像素的对应第i-1帧的某像素的前向运动矢量作为映射洞点像素P的运动矢量。
如果所有运动矢量的Δ(x)值(即所有求得的Δf(x)和Δb(x))均大于阈值Δ，那么则认为洞点像素P没有合适的运动矢量，不处理洞点像素P。否则，使得Δ(x)值最小的运动矢量即为最合适的运动矢量。
对于最合适的运动矢量是前向运动矢量的情况，则洞点像素P的灰度值Fi(x)的计算公式为：
Figure PCTCN2015079697-appb-000019
对于最合适的运动矢量是后向运动矢量的情况，则洞点像素P的灰度值Fi(x)的计算公式为：
Figure PCTCN2015079697-appb-000020
本例中假设的是洞点像素P左方的非洞点像素对应第i-1帧的某像素的前向运动矢量为最合适的运动矢量，故洞点像素P的灰度值应按照公式(1.8)来进行计算。
对于最终剩余的洞点，使用该洞点上下左右四个方向的邻域像素进行线性插值来填补，线性插值算法采用现有技术。
S9、对经过洞点修补后的内插帧进行下采样，从而得到最终的内插帧。
由于前述过程中对原始帧进行了上采样从而多出了一倍数量的像素点，在该过程中，进行下采样只需要将多出的像素点都除去即可，从而得到最终的内插帧。
实施例2：
直接使用光流法存在锯齿问题和噪声点问题。在实施例1中，S3是解决锯齿问题，S4解决噪声点问题，解决锯齿问题和解决噪声点问题的过程可以有先后顺序，也可以并行进行。本实施例与实施例1的区别在于解决噪声点问题的过程在前，而解决锯齿问题的过程在后。具体步骤如下：
运动矢量计算过程：
S1、对输入的视频的帧序列，采用光流法估计出相邻两帧之间的双向运动矢量。
运动矢量可靠性判断处理过程：
S2、判断双向运动矢量是否可靠。
S3、对相邻帧之间的双向运动矢量进行基于图像分割的平滑滤波处理。
S4、对帧序列中的每一帧进行空域上采样。
S5、对相邻两帧中的“遮挡”和“暴露”区域进行标记，对不可靠的运动矢量进行更新处理。
内插帧映射过程：
S6、对于相邻两帧，根据“遮挡”和“暴露”区域的标记信息以及更新处理后所得的双向运动矢量场，将第t帧和第t+1帧分别向内插帧映射得到前向内插帧和后向内插帧。
S7、将第t帧的前向内插帧和第t+1帧的后向内插帧合成成内插帧。
内插帧修补过程：
S8、用差值算法对内插帧中的洞点进行修补。
S9、对经过洞点修补后的内插帧进行下采样，从而得到最终的内插帧。
实施例3：
在实施例1中，解决锯齿问题和解决噪声点问题与标记“遮挡”、“暴露”区域即对不可靠的运动矢量进行更新处理不存在必然的先后顺序，可以并行处理。本实施例的过程如下。
S1、对输入的视频的帧序列，采用光流法估计出相邻两帧之间的双向运动矢量。
S2、判断双向运动矢量是否可靠。
S3、对相邻两帧中的“遮挡”和“暴露”区域进行标记，对不可靠的运动矢量进行更新处理。
S4、对相邻帧之间的双向运动矢量进行基于图像分割的平滑滤波处理。
S5、对帧序列中的每一帧进行空域上采样。
S6、对于相邻两帧，根据“遮挡”和“暴露”区域的标记信息以及当前的双向运动矢量场，将第t帧和第t+1帧分别向内插帧映射得到前向内插帧和后向内插帧。
S7、将第t帧的前向内插帧和第t+1帧的后向内插帧合成成内插帧。
S8、用差值算法对内插帧中的洞点进行修补。
S9、对经过洞点修补后的内插帧进行下采样，从而得到最终的内插帧。
实施例4：
在某些处理环境下，可以不考虑光流法的锯齿问题和/或噪声点问题，因此可以不考虑实施例1中S3和/或S4所对应的过程，如本实施例的下述视频插帧处理过程。
S1、对输入的视频的帧序列，采用光流法估计出相邻两帧之间的双向运动矢量。S2、判断双向运动矢量是否可靠。
S3、对相邻两帧中的“遮挡”和“暴露”区域进行标记，对不可靠的运动矢量进行更新处理。
S4、对于相邻两帧，根据“遮挡”和“暴露”区域的标记信息以及更新处理后所得的双向运动矢量场，将第t帧和第t+1帧分别向内插帧映射得到前向内插帧和后向内插帧。
S5、将第t帧的前向内插帧和第t+1帧的后向内插帧合成成内插帧。
S6、用差值算法对内插帧中的洞点进行修补，从而得到最终的内插帧。
实施例5：
实施例1中S2判断双向运动矢量是否可靠与S3对帧序列中的每一帧进行空域上采样并不必然存在先后顺序，可以并行处理。本实施例提供的基于光流法的视频插帧系统包括以下单元。
运动矢量计算单元，用于对输入的视频的帧序列，采用光流法估计出相邻两帧之间的双向运动矢量。
运动矢量可靠性判断处理单元，用于对帧序列中的每一帧进行空域上采样；
再判断双向运动矢量是否可靠；
再对相邻两帧中的“遮挡”和“暴露”区域进行标记，对不可靠的运动矢量进行更新处理。
内插帧映射单元，用于根据“遮挡”和“暴露”区域的标记信息以及更新处理后所得的双向运动矢量场，将第t帧和第t+1帧分别向内插帧映射得到前向内插帧和后向内插帧。
再将第t帧的前向内插帧和第t+1帧的后向内插帧合成成内插帧。
内插帧修补单元，用差值算法对内插帧中的洞点进行修补。
再对经过洞点修补后的内插帧进行下采样，从而得到最终的内插帧。
实施例6：
本实施例的基于光流法的视频插帧方法，包括如下步骤：
运动矢量计算过程：对输入视频的帧序列，采用光流法计算得到相 邻两帧之间的运动矢量；相邻两帧包括前向参考帧和后向参考帧。
内插帧映射过程：根据相邻两帧之间的运动矢量场，在相邻两帧之间映射得到内插帧，本过程可以采用任意一种现有技术实现。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明并不用以限制本发明。对于本领域的一般技术人员，依据本发明的思想，可以对上述具体实施方式进行变化。

Claims (20)

  1. 一种基于光流法的视频插帧方法，其特征在于，包括：
    运动矢量计算过程：对输入视频的帧序列，采用光流法计算得到相邻两帧之间的运动矢量；所述相邻两帧包括前向参考帧和后向参考帧；
    内插帧映射过程：根据所述相邻两帧之间的运动矢量场，在所述相邻两帧之间映射得到内插帧。
  2. 如权利要求1所述的方法，其特征在于，
    所述运动矢量计算过程为：对输入视频的帧序列，采用光流法计算得到相邻两帧之间的双向运动矢量；
    所述运动矢量计算过程之后还包括可靠性判断处理过程：对所述相邻两帧之间的双向运动矢量进行可靠性判断，根据可靠性判断的结果对所述相邻两帧中的闭塞区域进行标记，并更新所述闭塞区域的不可靠运动矢量；
    所述内插帧映射过程为：根据所述闭塞区域的标记信息以及更新后所得的运动矢量场，将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧；将所述前向内插帧和所述后向内插帧合成成内插帧。
  3. 如权利要求2所述的方法，其特征在于，
    取后向参考帧的某一像素为当前像素，当前像素从后向参考帧指向前向参考帧的运动矢量为当前像素的前向运动矢量；
    当前像素的前向运动矢量指向前向参考帧的像素为前向参考像素，前向参考像素从前向参考帧指向后向参考帧的运动矢量为前向参考像素的后向运动矢量；
    所述对所述相邻两帧之间的双向运动矢量进行可靠性判断的具体方式为：
    计算当前像素在后向参考帧中的灰度值与前向参考像素在前向参考帧中的灰度值的差值，若该灰度值的差值大于等于灰度值差值的阈值，则判断当前像素的前向运动矢量是不可靠的否则，若该灰度值的差值小于灰度值差值的阈值，则计算当期像素的前向运动矢量和前向参考像素的后向运动矢量间的距离，若当期像素的前向运动矢量和前向参考像素的后向运动矢量间的距离小于运动矢量阈值距离，则判断当前像素的前向运动矢量是可靠的，否则判断当前像素的前向运动矢量是不可靠的。
  4. 如权利要求3所述的方法，其特征在于，
    所述当前像素在后向参考帧中的灰度值与前向参考像素在前向参考帧中的灰度值的差值的计算式为
    ADt(x)＝|Ft(x)-Ft+1(x+Vx)|
    其中，ADt(x)为所述当前像素在后向参考帧中的灰度值与前向参考像素在前向参考帧中的灰度值的差值，Ft(x)为当前像素在后向参考帧中的灰度值，Ft+1(x+Vx)为前向参考像素在前向参考帧中的灰度值，Vx为当前像素从后向参考帧到前向参考帧的前向运动矢量，x为当前像素在后向参考帧中的位置，x+Vx为前向参考像素在前向参考帧中的位置，t为后向参考帧的序号，t+1为前向参考帧的序号；
    所述当前像素的前向运动矢量和前向参考像素的后向运动矢量间的距离的计算式为
    Figure PCTCN2015079697-appb-100001
    其中，MVDt(x)为所述当前像素的前向运动矢量和前向参考像素的后向运动矢量间的距离，
    Figure PCTCN2015079697-appb-100002
    为当前像素的前向运动矢量，
    Figure PCTCN2015079697-appb-100003
    为前向参考像素的后向运动矢量，x为当前像素在后向参考帧中的位置，x’为前向参考像素在前向参考帧中的位置，t为后向参考帧的序号，t+1为前向参考帧的序号，||·||代表欧几里得距离。
  5. 如权利要求2-4任一项所述的方法，其特征在于，更新不可靠运动矢量的方式为：
    用某像素的双向运动矢量中的可靠运动矢量取反值来替换不可靠的运动矢量。
  6. 如权利要求2-4任一项所述的方法，其特征在于，所述将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧包括：
    对于前向参考帧或后向参考帧中的某一像素，判断该像素的运动矢量是否可靠；
    若该像素的运动矢量可靠，则进一步判断该像素是否发生“冲突”；
    若该像素的运动矢量不可靠，则判断该像素是否属于“遮挡”和/或“暴露”区域；若属于，则进一步判断该像素是否发生“冲突”；若不属于， 则丢弃该像素；
    若判断该像素是否发生“冲突”的结果为否，则对该像素进行映射；
    若判断该像素是否发生“冲突”的结果为是，则判断该像素的运动矢量是否比与其发生“冲突”的已经被映射的像素更可靠，若是，则对该像素进行映射；若否，则丢弃该像素。
  7. 如权利要求2-4任一项所述的方法，其特征在于，所述可靠性判断处理过程还包括对光流法引起的锯齿问题和/或噪声问题进行处理，处理方式为：
    对所述相邻帧之间的双向运动矢量进行基于图像分割的平滑滤波处理。
  8. 如权利要求1-4任一项所述的方法，其特征在于，
    所述内插帧映射过程之后还包括内插帧修补过程：对所述内插帧中的洞点进行修补，得到最终的内插帧。
  9. 如权利要求8所述的方法，其特征在于，所述可靠性判断处理过程还包括对光流法的锯齿问题和/或噪声问题进行处理，处理方式为：
    对所述相邻两帧进行空域上采样；
    或者，对所述相邻两帧进行空域上采样，对经过空域上采样后的相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理；
    或者，对所述相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理，对经过平滑滤波处理后的相邻两帧进行空域上采样；
    所述内插帧修补过程为：对所述内插帧中的洞点进行修补，对经过洞点修补后的内插帧进行下采样，得到最终的内插帧。
  10. 如权利要求9所述的方法，其特征在于，
    所述对所述相邻两帧进行空域上采样包括：将所述相邻两帧中的每一帧图像的像素数量按照预定倍数扩大，并将所述双向运动矢量的值按照预定倍数扩大；
    对内插帧进行下采样的方式为：将内插帧图像的像素数量按照预定倍数缩减，并将所述双向运动矢量的值按照预定倍数缩减。
  11. 如权利要求8-10任一项所述的方法，其特征在于，所述对所述内插帧中的洞点进行修补包括：
    对于所述内插帧中的某一洞点，分析与该洞点像素相邻的预设范围 的非洞点像素的运动矢量，取得这些非洞点像素的运动矢量中最合适的运动矢量，用该最合适的运动矢量来作为映射所述洞点像素的运动矢量，从而进行空洞区域插值。
  12. 如权利要求11所述的方法，其特征在于，所述最合适的运动矢量的确定方式为：
    若与所述洞点像素相邻的预设范围内的某一非洞点像素只是由某个前向运动矢量映射得到，则按照下式计算该前向运动矢量所对应的灰度值的差值，
    Figure PCTCN2015079697-appb-100004
    其中，Δf(x)为映射某一非洞点像素的前向运动矢量所对应的灰度值的差值的表达式，x为洞点像素的位置，i-1为洞点像素所在帧的前一帧的序号，i+1为洞点像素所在帧的后一帧的序号，
    Figure PCTCN2015079697-appb-100005
    为映射这个非洞点像素的前向运动矢量；
    若与所述洞点像素相邻的预设范围内的某一非洞点像素只是由某个后向运动矢量映射得到，则按照下式计算该后向运动矢量所对应的灰度值的差值，
    Figure PCTCN2015079697-appb-100006
    其中，Δb(x)为映射某一非洞点像素的后向运动矢量所对应的灰度值的差值的表达式，
    Figure PCTCN2015079697-appb-100007
    为映射这个非洞点像素的后向运动矢量；
    若与所述洞点像素相邻的预设范围内的某一非洞点像素是由某个前向运动矢量和某个后向运动矢量共同映射得到，则计算该前向运动矢量所对应的灰度值的差值和该后向运动矢量所对应的灰度值的差值；
    对通过上述方法取得的各个灰度值差值，选择取值最小的灰度值差值所对应的运动矢量作为最合适的运动矢量。
  13. 如权利要求12所述的方法，其特征在于，所述进行空洞区域插值包括：
    如果最合适的运动矢量是前向运动矢量，则按照下式计算洞点像素的灰度值，
    Figure PCTCN2015079697-appb-100008
    其中，Fi(x)为洞点像素的灰度值，
    Figure PCTCN2015079697-appb-100009
    为用于映射这个洞点像素的前向运动矢量；
    如果最合适的运动矢量是后向运动矢量，则按照下式计算洞点像素的灰度值，
    Figure PCTCN2015079697-appb-100010
    其中，
    Figure PCTCN2015079697-appb-100011
    为用于映射这个洞点像素的后向运动矢量。
  14. 一种基于光流法的视频插帧系统，其特征在于，包括：
    运动矢量计算单元，用于对输入视频的帧序列，采用光流法计算得到相邻两帧之间的运动矢量；所述相邻两帧包括前向参考帧和后向参考帧；
    内插帧映射单元，用于根据所述相邻两帧之间的运动矢量场，在所述相邻两帧之间映射得到内插帧。
  15. 如权利要求14所述的系统，其特征在于，
    所述运动矢量计算单元用于对输入视频的帧序列，采用光流法计算得到相邻两帧之间的双向运动矢量；
    所述系统还包括可靠性判断处理单元，用于对所述相邻两帧之间的双向运动矢量进行可靠性判断，根据可靠性判断的结果对所述相邻两帧中的闭塞区域进行标记，对更新所述闭塞区域的不可靠运动矢量或者更新所有不可靠运动矢量；
    所述内插帧映射单元根据所述闭塞区域的标记信息以及更新后所得的运动矢量场，将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧；将所述前向内插帧和所述后向内插帧合成成内插帧。
  16. 如权利要求15所述的系统，其特征在于，
    取后向参考帧的某一像素为当前像素，当前像素从后向参考帧指向前向参考帧的运动矢量为当前像素的前向运动矢量；
    当前像素的前向运动矢量指向前向参考帧的像素为前向参考像素，前向参考像素从前向参考帧指向后向参考帧的运动矢量为前向参考像素的后向运动矢量；
    所述可靠性判断处理单元对相邻两帧之间的双向运动矢量进行可靠性判断的具体方式为：
    计算当前像素在后向参考帧中的灰度值与前向参考像素在前向参考帧中的灰度值的差值，若该灰度值的差值小于等于灰度值差值的阈值，则判断当前像素的前向运动矢量和前向参考像素的后向运动矢量是可靠的，否则判断当前像素的前向运动矢量和前向参考像素的后向运动矢量是不可靠的；
    和/或，计算当期像素的前向运动矢量和前向参考像素的后向运动矢量间的距离，若当期像素的前向运动矢量和前向参考像素的后向运动矢量间的距离小于运动矢量阈值距离，则判断当前像素的前向运动矢量和前向参考像素的后向运动矢量是可靠的，否则判断当前像素的前向运动矢量和前向参考像素的后向运动矢量是不可靠的。
  17. 如权利要求15所述的系统，其特征在于，
    所述内插帧映射单元将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧的方式为：
    对于前向参考帧或后向参考帧中的某一像素，判断该像素的运动矢量是否可靠；
    若该像素的运动矢量可靠，则进一步判断该像素是否发生“冲突”；
    若该像素的运动矢量不可靠，则判断该像素是否属于“遮挡”和/或“暴露”区域；若属于，则进一步判断该像素是否发生“冲突”；若不属于，则丢弃该像素；
    若判断该像素是否发生“冲突”的结果为否，则对该像素进行映射；若判断该像素是否发生“冲突”的结果为是，则判断该像素的运动矢量是否比与其发生“冲突”的已经被映射的像素更可靠，若是，则对该像素进行映射；若否，则丢弃该像素。
  18. 如权利要求15所述的系统，其特征在于，
    所述可靠性判断处理单元还用于对光流法的锯齿问题和/或噪声问题进行处理，处理方式为：
    对所述相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理；
    或者，对所述相邻两帧进行空域上采样；
    或者，对所述相邻两帧进行空域上采样，对经过空域上采样后的相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理；
    或者，对所述相邻两帧之间的双向运动矢量进行基于图像分割的平滑滤波处理，对经过平滑滤波处理后的相邻两帧进行空域上采样；
    所述系统还包括内插帧修补单元，用于对所述内插帧中的洞点进行修补，对经过洞点修补后的内插帧进行下采样，得到最终的内插帧。
  19. 如权利要求18所述的系统，其特征在于，
    所述可靠性判断处理单元对所述相邻两帧进行空域上采样的方式为：将所述相邻两帧中的每一帧图像的像素数量按照预定倍数扩大，并将所述双向运动矢量的值按照预定倍数扩大；
    所述内插帧修补单元对内插帧进行下采样的方式为：将内插帧图像的像素数量按照预定倍数缩减，并将所述双向运动矢量的值按照预定倍数缩减。
  20. 如权利要求18所述的系统，其特征在于，
    所述所述内插帧修补单元对所述内插帧中的洞点进行修补的方式为：
    对于所述内插帧中的某一洞点，分析与该洞点像素相邻的预设范围的非洞点像素的运动矢量，取得这些非洞点像素的运动矢量中最合适的运动矢量，用该最合适的运动矢量来作为映射所述洞点像素的运动矢量，从而进行空洞区域插值。
PCT/CN2015/079697 2015-05-25 2015-05-25 一种基于光流法的视频插帧方法及系统 Ceased WO2016187776A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/574,954 US10531093B2 (en) 2015-05-25 2015-05-25 Method and system for video frame interpolation based on optical flow method
CN201580000102.6A CN105517671B (zh) 2015-05-25 2015-05-25 一种基于光流法的视频插帧方法及系统
PCT/CN2015/079697 WO2016187776A1 (zh) 2015-05-25 2015-05-25 一种基于光流法的视频插帧方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/079697 WO2016187776A1 (zh) 2015-05-25 2015-05-25 一种基于光流法的视频插帧方法及系统

Publications (1)

Publication Number Publication Date
WO2016187776A1 true WO2016187776A1 (zh) 2016-12-01

Family

ID=55724955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/079697 Ceased WO2016187776A1 (zh) 2015-05-25 2015-05-25 一种基于光流法的视频插帧方法及系统

Country Status (3)

Country Link
US (1) US10531093B2 (zh)
CN (1) CN105517671B (zh)
WO (1) WO2016187776A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776688B2 (en) 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
CN112700516A (zh) * 2020-12-23 2021-04-23 杭州群核信息技术有限公司 基于深度学习的视频渲染方法、装置、计算机设备以及存储介质
CN113269086A (zh) * 2021-05-24 2021-08-17 苏州睿东科技开发有限公司 一种vlog剪辑方法和剪辑系统
CN113411596A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113727141A (zh) * 2020-05-20 2021-11-30 富士通株式会社 视频帧的插值装置以及方法
CN114640885A (zh) * 2022-02-24 2022-06-17 影石创新科技股份有限公司 视频插帧方法、训练方法、装置和电子设备
CN116389670A (zh) * 2023-05-18 2023-07-04 上海哔哩哔哩科技有限公司 视频处理方法及装置、电子设备和存储介质
CN116999044A (zh) * 2023-09-07 2023-11-07 南京云思创智信息科技有限公司 一种实时运动全连接双向一致光流场心率信号提取方法
CN118101970A (zh) * 2024-04-17 2024-05-28 哈尔滨师范大学 基于深度学习的冰雪项目场地监控图像高效通信方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102126511B1 (ko) * 2015-09-02 2020-07-08 삼성전자주식회사 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
CN107968946B (zh) * 2016-10-18 2021-09-21 深圳万兴信息科技股份有限公司 视频帧率提升方法及装置
JP2018107580A (ja) * 2016-12-26 2018-07-05 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US11778195B2 (en) * 2017-07-07 2023-10-03 Kakadu R & D Pty Ltd. Fast, high quality optical flow estimation from coded video
US9900550B1 (en) * 2017-08-01 2018-02-20 Novatek Microelectronics Corp. Frame rate up-conversion apparatus and method
CN107945124B (zh) * 2017-11-17 2021-12-03 上海大学 一种运动路径指引的老电影黑帧修复方法
CN108376391B (zh) * 2018-01-29 2022-04-05 江苏宇特光电科技股份有限公司 一种智能化红外图像场景增强方法
CN110392282B (zh) * 2018-04-18 2022-01-07 阿里巴巴（中国）有限公司 一种视频插帧的方法、计算机存储介质及服务器
CN109389072B (zh) * 2018-09-29 2022-03-08 北京字节跳动网络技术有限公司 数据处理方法和装置
CN111277780B (zh) * 2018-12-04 2021-07-20 阿里巴巴集团控股有限公司 一种改善插帧效果的方法和装置
CN109922231A (zh) * 2019-02-01 2019-06-21 重庆爱奇艺智能科技有限公司 一种用于生成视频的插帧图像的方法和装置
CN109905624B (zh) 2019-03-01 2020-10-16 北京大学深圳研究生院 一种视频帧插值方法、装置及设备
CN110322525B (zh) * 2019-06-28 2023-05-02 连尚（新昌）网络科技有限公司 一种动图处理方法及终端
CN110428373B (zh) * 2019-07-12 2021-11-23 深圳市优乐学科技有限公司 一种用于视频插帧的训练样本处理方法和系统
CN110706262B (zh) * 2019-10-09 2023-06-02 上海思岚科技有限公司 图像处理方法、装置、设备及存储介质
EP4231642A1 (en) * 2019-12-30 2023-08-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Inter-frame prediction method, encoder, decoder and storage medium
CN111083501A (zh) * 2019-12-31 2020-04-28 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
EP4088253A1 (en) * 2020-02-03 2022-11-16 Huawei Technologies Co., Ltd. Devices and methods for digital signal processing
CN113660443B (zh) * 2020-05-12 2024-07-02 武汉Tcl集团工业研究院有限公司 一种视频插帧方法、终端以及存储介质
CN113949930B (zh) * 2020-07-17 2024-03-12 晶晨半导体(上海)股份有限公司 选取参考帧的方法、电子设备和存储介质
US11533451B2 (en) * 2020-08-21 2022-12-20 Beijing Dajia Internet Information Technology Co., Ltd System and method for frame rate up-conversion of video data
CN112184575B (zh) * 2020-09-16 2024-09-13 华为技术有限公司 图像渲染的方法和装置
CN112804561A (zh) * 2020-12-29 2021-05-14 广州华多网络科技有限公司 视频插帧方法、装置、计算机设备及存储介质
CN112801907B (zh) * 2021-02-03 2024-04-16 北京字节跳动网络技术有限公司 深度图像的处理方法、装置、设备和存储介质
CN112954395B (zh) * 2021-02-03 2022-05-17 南开大学 一种可插入任意帧率的视频插帧方法及系统
CN112866612B (zh) * 2021-03-10 2023-02-21 北京小米移动软件有限公司 插帧方法、装置、终端及计算机可读存储介质
US12200398B2 (en) * 2021-03-16 2025-01-14 Samsung Electronics Co., Ltd. Pixel blending for synthesizing video frames with occlusion and watermark handling
CN113225589B (zh) * 2021-04-30 2022-07-08 北京凯视达信息技术有限公司 一种视频插帧处理方法
WO2023001042A1 (en) * 2021-07-17 2023-01-26 Beijing Bytedance Network Technology Co., Ltd. Signaling of down-sampling information for video bitstreams
CN113691758A (zh) * 2021-08-23 2021-11-23 深圳市慧鲤科技有限公司 插帧方法和装置、设备、介质
US12272022B2 (en) * 2021-08-26 2025-04-08 Mediatek Inc. Frame sequence quality booster under uneven quality conditions
CN115811585B (zh) * 2021-09-14 2025-02-07 腾讯科技（深圳）有限公司 场景切换的识别方法、装置、设备、介质及计算机产品
CN114782262B (zh) * 2022-03-29 2026-01-30 南开大学 一种基于光流引导的端到端视频补全方法及系统
CN114745545B (zh) * 2022-04-11 2024-07-09 北京字节跳动网络技术有限公司 一种视频插帧方法、装置、设备和介质
US12526448B2 (en) * 2022-04-29 2026-01-13 Samsung Electronics Co., Ltd. Video frame rate conversion method supporting replacement of motion-compensated frame interpolation with linear combination of frames and device implementing the same
CN114898577B (zh) * 2022-07-13 2022-09-20 环球数科集团有限公司 一种用于高峰期道路管理的道路智能管理系统与方法
EP4588244A4 (en) * 2022-11-21 2026-01-07 Samsung Electronics Co Ltd METHOD AND DEVICE FOR REFINING SUB-PIXELS OF MOTION VECTORS
CN116193279B (zh) * 2022-12-29 2024-11-15 影石创新科技股份有限公司 视频处理方法、装置、计算机设备和存储介质
WO2024210426A1 (ko) * 2023-04-05 2024-10-10 삼성전자 주식회사 동영상 처리 방법 및 장치
US20250142050A1 (en) * 2023-10-26 2025-05-01 Google Llc Overlapped Filtering For Temporally Interpolated Prediction Blocks
CN117152692B (zh) * 2023-10-30 2024-02-23 中国市政工程西南设计研究总院有限公司 基于视频监控的交通目标检测方法及系统
WO2025234223A1 (ja) * 2024-05-08 2025-11-13 株式会社ソニー・インタラクティブエンタテインメント 画像補間装置および画像補間方法
CN120751282B (zh) * 2025-08-29 2025-11-07 北京玄戒技术有限公司 视频生成方法、装置、电子设备、存储介质及芯片
CN121353490B (zh) * 2025-12-16 2026-04-28 瀚博半导体(上海)股份有限公司 一种图像处理的方法、装置和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090052532A1 (en) * 2007-08-24 2009-02-26 Simon Robinson Automatically identifying edges of moving objects
CN101427265A (zh) * 2005-05-27 2009-05-06 微软公司 用于数字视频指纹化的抗共谋去同步化
US20090174812A1 (en) * 2007-07-06 2009-07-09 Texas Instruments Incorporated Motion-compressed temporal interpolation
CN103402098A (zh) * 2013-08-19 2013-11-20 武汉大学 一种基于图像插值的视频插帧方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826133B (zh) * 2004-05-04 2017-11-24 高通股份有限公司 运动补偿帧速率上调方法和设备
US8861601B2 (en) * 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
CN101626508A (zh) * 2008-07-11 2010-01-13 宝利微电子系统控股公司 一种判断帧率提升中闭塞区域的方法
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
ES2660610T3 (es) * 2010-04-30 2018-03-23 Vestel Elektronik Sanayi Ve Ticaret A.S. Procedimiento y aparato para la detección y clasificación de regiones de oclusión
US8891831B2 (en) * 2010-12-14 2014-11-18 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus for conservative motion estimation from multi-image sequences
US20130294519A1 (en) * 2011-12-22 2013-11-07 Marat Gilmutdinov Complexity scalable frame rate-up conversion
CN102630014B (zh) * 2012-04-05 2014-06-18 重庆大学 一种基于前后两帧参考帧产生内插帧的双向运动估计器
CN103888767B (zh) * 2014-03-31 2017-07-28 山东大学 Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
CN104219533B (zh) * 2014-09-24 2018-01-12 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101427265A (zh) * 2005-05-27 2009-05-06 微软公司 用于数字视频指纹化的抗共谋去同步化
US20090174812A1 (en) * 2007-07-06 2009-07-09 Texas Instruments Incorporated Motion-compressed temporal interpolation
US20090052532A1 (en) * 2007-08-24 2009-02-26 Simon Robinson Automatically identifying edges of moving objects
CN103402098A (zh) * 2013-08-19 2013-11-20 武汉大学 一种基于图像插值的视频插帧方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776688B2 (en) 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
US12075085B2 (en) 2019-06-21 2024-08-27 Hangzhou Hikvision Digital Technology Co., Ltd. Encoding and decoding method, apparatus, and device
CN113411596A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411608A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411608B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411596B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113727141B (zh) * 2020-05-20 2023-05-12 富士通株式会社 视频帧的插值装置以及方法
CN113727141A (zh) * 2020-05-20 2021-11-30 富士通株式会社 视频帧的插值装置以及方法
CN112700516B (zh) * 2020-12-23 2023-12-01 杭州群核信息技术有限公司 基于深度学习的视频渲染方法和装置
CN112700516A (zh) * 2020-12-23 2021-04-23 杭州群核信息技术有限公司 基于深度学习的视频渲染方法、装置、计算机设备以及存储介质
CN113269086A (zh) * 2021-05-24 2021-08-17 苏州睿东科技开发有限公司 一种vlog剪辑方法和剪辑系统
CN114640885A (zh) * 2022-02-24 2022-06-17 影石创新科技股份有限公司 视频插帧方法、训练方法、装置和电子设备
CN114640885B (zh) * 2022-02-24 2023-12-22 影石创新科技股份有限公司 视频插帧方法、训练方法、装置和电子设备
CN116389670A (zh) * 2023-05-18 2023-07-04 上海哔哩哔哩科技有限公司 视频处理方法及装置、电子设备和存储介质
CN116999044A (zh) * 2023-09-07 2023-11-07 南京云思创智信息科技有限公司 一种实时运动全连接双向一致光流场心率信号提取方法
CN116999044B (zh) * 2023-09-07 2024-04-16 南京云思创智信息科技有限公司 一种实时运动全连接双向一致光流场心率信号提取方法
CN118101970A (zh) * 2024-04-17 2024-05-28 哈尔滨师范大学 基于深度学习的冰雪项目场地监控图像高效通信方法

Also Published As

Publication number Publication date
CN105517671B (zh) 2020-08-14
US10531093B2 (en) 2020-01-07
US20180176574A1 (en) 2018-06-21
CN105517671A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
WO2016187776A1 (zh) 一种基于光流法的视频插帧方法及系统
CN101953167B (zh) 减少光晕的图像插值
US6625333B1 (en) Method for temporal interpolation of an image sequence using object-based image analysis
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN103220488B (zh) 一种视频帧率上转换装置及方法
JP5594968B2 (ja) ビデオ画像間の運動を確定するための方法と装置
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
CN105100807B (zh) 一种基于运动矢量后处理的帧率提升方法
US20120075535A1 (en) Efficient motion vector field estimation
US20100123792A1 (en) Image processing device, image processing method and program
JP2003533800A (ja) Ｍｃアップコンバージョンにおけるハローを低減する動き推定器
US10410358B2 (en) Image processing with occlusion and error handling in motion fields
CN103402098A (zh) 一种基于图像插值的视频插帧方法
JP2004297719A (ja) フレーム補間方法及びこれを用いた画像表示システム
CN106851046A (zh) 视频动态超分辨率处理方法及系统
CN102868879B (zh) 一种视频帧速率上转换方法及系统
CN107968946B (zh) 视频帧率提升方法及装置
JP2013225740A (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US20070247529A1 (en) Image processing method and image processing device
KR20070066047A (ko) 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
CN103152566B (zh) 一种视频帧率提升方法
Gangal et al. An improved motion-compensated restoration method for damaged color motion picture films
Huang et al. Algorithm and architecture design of multirate frame rate up-conversion for ultra-HD LCD systems
Crivelli et al. From optical flow to dense long term correspondences
EP2237560A1 (en) Halo reducing motion-compensated interpolation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15892857

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15574954

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 16.04.2018

122 Ep: pct application non-entry in european phase

Ref document number: 15892857

Country of ref document: EP

Kind code of ref document: A1