WO2012142934A1 - 使用空间缩放预测的视频编解码方法 - Google Patents

使用空间缩放预测的视频编解码方法 Download PDF

Info

Publication number
WO2012142934A1
WO2012142934A1 PCT/CN2012/074163 CN2012074163W WO2012142934A1 WO 2012142934 A1 WO2012142934 A1 WO 2012142934A1 CN 2012074163 W CN2012074163 W CN 2012074163W WO 2012142934 A1 WO2012142934 A1 WO 2012142934A1
Authority
WO
WIPO (PCT)
Prior art keywords
scaling
reference frame
zoom
macroblock
prediction
Prior art date
Application number
PCT/CN2012/074163
Other languages
English (en)
French (fr)
Inventor
王荣刚
王振宇
董胜富
高文
Original Assignee
北京大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学深圳研究生院 filed Critical 北京大学深圳研究生院
Publication of WO2012142934A1 publication Critical patent/WO2012142934A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to the field of digital video codec technology, and more particularly to an encoding and decoding method for predicting a current frame using spatial scaling information of a video sequence.
  • the mainstream video codec standards based on block-matching hybrid coding framework such as MPEG4, H.264/AVC, AVS, etc.
  • interframe prediction spatially mainly consider the motion of image blocks in a two-dimensional plane, ie Horizontal and vertical movement.
  • the motion vector is programmed into the code stream.
  • the motion vector is also predicted, that is, the motion vector of some blocks around the current block is used to calculate the motion vector of the current block, and only the difference between the motion vector and the actual motion vector obtained by motion estimation is encoded into the code stream. Significant savings in the number of bits required for encoding.
  • the image content is not simply moving in a two-dimensional plane, but there is a scaling phenomenon.
  • the object in the scene changes in distance from the lens, causing the object to zoom; the camera stretching the lens will cause the entire scene to zoom. Therefore, if there is a scaling relationship between the corresponding block in the current block and the reference frame, the best matching block is not obtained using the motion estimation algorithm in the existing video coding standard. If the scaled relationship in the video sequence can be used for auxiliary prediction, the coding quality can be improved.
  • the Subsampl e d Block-Matching for Zoom Motion Compensated Prediction published by Lai-Man Po et al. of the City University of Hong Kong in 2010 proposed a method of encoding video using scaling information.
  • it is proposed to use the interpolated image required for sub-pixel prediction in the original coding standard to generate reference frames of certain specific scaling ratios.
  • the reference frame index of the multi-frame reference is used to represent the reference frame of the original multi-frame reference and the reference frame after the scaling. This method can improve the coding performance and can be easily integrated into the existing codec framework.
  • the method can only use the reference frame of a specific scaling ratio, and the video scaling ratio in the actual application is uncertain, the method cannot achieve a higher coding quality improvement.
  • the reference frame index value used will be larger, which affects the encoding performance.
  • the present invention proposes a method of generating different scaling reference frames by using different scaling steps and scaling windows for each macroblock by scaling prediction, so that the prediction of scaling is more accurate.
  • it is proposed to use the reference frame index prediction method to predict the reference frame index numbering manner, and reduce the number of bits to be consumed to represent the reference frame index.
  • a video encoding method that causes motion estimation to be performed on a scaled reference frame of a different scaling ratio of an original reference frame to find a best matching block.
  • the method includes: recording the original reference frame number R, the zoom layer layer number L, and the minimum zoom step size S in each image frame, the zoom layer layer number and the minimum zoom step size can be artificially set or estimated by the previous several frames.
  • the original reference frame is an unscaled reconstructed frame of the current frame in the original video sequence;
  • the original reference frame of one macroblock in the image frame has a set of a total of L equal scaling steps a scaled reference frame group including the original reference frame, the zoom step size of the scaled reference frame group and the zoom window are obtained by scaling prediction;
  • different macroblocks may have zoom reference frames of different zoom steps and zoom windows;
  • the sub-blocks in the block may perform motion estimation in the scaled reference frame group of the original reference frame to find the best matching block;
  • the index values of the reference frame selected by the macro block may be numbered by different methods, and the numbering method Predicted by reference frame index.
  • the scaled reference frame group is composed of a series of scaled reference frames obtained by bilinear interpolation and scaling transformation using different scaling ratios according to original reference frames, including a scaled reference frame with a scaling ratio of 1, ie, an original reference frame.
  • the scaling of these scaled reference frames is arranged from small to large with equal scaling steps between adjacent scaling ratios.
  • the zoom step size and zoom window are derived from the scaling prediction.
  • the scaling prediction includes: a zoom ratio average value Z of the available macroblocks in the left, upper left, upper, and upper right macroblocks of the current macroblock.
  • the available macroblock refers to a macroblock in which a macroblock exists and whose scaling ratio also exists; according to Z.
  • the size relationship between 1 and 1 and the current frame scaling layer number L, the scaling window setting is queried by Table 1.
  • the scaling ratio is predicted Z.
  • the scaling ratio is 1 and Z.
  • the scaling ratio between the two is divided into n+1 copies, that is, the scaling step is 1 ⁇ - 1 1 ; when the scaling ratio is predicted Z.
  • Scaling step size when the absolute value of the difference of 1 is less than or equal to n times the minimum scaling step S
  • n + 1 Set to 1 . 1 .
  • the zoom window settings can also be queried from Table 1, that is, the number of scaled reference frames with different scaling ratios. According to the n
  • the zoom window and the zoom step size determine a scaling ratio of each of the scaled reference frames in a scaled reference frame group, and perform a bilinear scaling operation on the original reference frame to generate each of the scaled reference frames.
  • the macroblock can perform motion estimation on the scaled reference frame, and only need to use the reference frame index to distinguish different scaled reference frames from the original reference frame. If the macroblock has multiple original reference frames, each original reference frame has a set of scaled reference frames, and the zoom window and the zoom step size of all the scaled reference frame groups are the same, and are obtained by the above-mentioned scaling prediction. .
  • the reference frame index prediction is that the pointer predicts the numbering manner of the reference frame index.
  • the one-dimensional reference frame sequence originally arranged in time becomes a two-dimensional reference frame matrix arranged in time and zoom relationship.
  • the basic numbering method can be prioritized by the time dimension. First, the reference frames of different scaling ratios at the same time are numbered, and the reference frames at different times are also numbered.
  • the zooming relationship can also be prioritized, and the reference frames of the same zooming ratio at different times are numbered first, and then the numbers are different.
  • the reference frame of the scaling ratio can be prioritized by the time dimension.
  • the reference frame index prediction method is: determining a zoom ratio of available macroblocks in a left macroblock, a top left, an upper, and an upper right macroblock of the current macroblock; if the zoom ratio of the available macroblock is greater than 1, or less than 1 at the same time Then, the time dimension is prioritized, and the reference frames of different scaling ratios at the same time are first numbered; otherwise, the reference frames of the same scaling ratio at different times are numbered first.
  • a video decoding method comprising: when decoding a frame image, first decoding a zoom layer number L and a minimum scaling ratio S of the image; decoding each macro block The reference frame index prediction is performed first, and the position of the reference frame used by the macroblock in the reference frame matrix is calculated according to the reference frame index of the macroblock; according to the scaling ratio of the surrounding macroblock, the scaling layer The number of layers L, the minimum scaling ratio S, and the scale prediction of Table 1 determine the scaling window and the scaling step size, and then calculate the scaling ratio of the reference frame according to the position of the reference frame used by the macroblock in the reference frame matrix; Each sub-block of the macroblock obtains a prediction sub-block of each sub-block by a bilinear difference scaling operation from an image block corresponding to a position of the original reference frame according to a motion vector of each sub-block and a scaling ratio of the reference frame.
  • the prediction sub-block is used for motion compensation.
  • the invention has the following advantages: The video coding compression rate can be improved by using the scaling information; different macroblocks adopt different scaling steps and zoom windows according to the scaling prediction, which can better adapt to the difference of the zoom relationship in different regions of the image and improve the compression ratio;
  • the reference frame index is predicted to reduce the number of bits required to represent the reference frame index, thereby improving coding efficiency.
  • FIG. 1 is a flow chart of encoding in an embodiment
  • FIG. 2 is a schematic diagram of surrounding macroblocks of a current macroblock used for scaling prediction and reference frame index prediction;
  • 3 is a zoom window and a zoom step size under different prediction zoom ratios in the embodiment
  • Figure 5 is a flow chart of decoding in the embodiment.
  • the present invention will be described in detail below with reference to the accompanying drawings and embodiments.
  • This embodiment is only one embodiment of the invention and not all of the embodiments.
  • the encoding process of this embodiment is as shown in FIG. 1.
  • the artificially set zoom layer number L and the minimum zoom step size S are first written into the image header.
  • the number of original reference frames is set to 3
  • the number of layers of the zoom layer is set to 5
  • the minimum zoom step is set to 0.05.
  • a motion prediction of the scale prediction is used for each macroblock.
  • the scaling prediction is performed, and the scaling window and the scaling step are predicted according to the scaling ratio of the surrounding macroblocks and the scaling layer number 5, and the minimum scaling step of 0.05.
  • two scaling reference frame groups corresponding to the three original reference frames are generated by bilinear interpolation, and a total of 15 scaling reference frames are generated.
  • Motion estimation is performed on each of the scaled reference frames to find a motion vector for each sub-block of the macroblock on a certain scaled reference frame.
  • the reference frame index prediction is performed according to available macroblocks around the current macroblock, and the numbering manner of the macroblock reference frame index is predicted.
  • the reference frame index and the residuals, motion vectors, and the like of each subblock of the macroblock are encoded.
  • the current macroblock in FIG. 2 is the macroblock 10
  • the macroblock 11 and the macroblock 14 are not present
  • the macroblock 12 and the macroblock 13 are present and have a scaling ratio
  • the scaling ratio according to the macroblock 12 and the macroblock 13 is averaged.
  • the value is used as the prediction scaling ratio of the macroblock 10; and the reference frame index numbering manner of the macroblock 10 is predicted based on the scaling ratio sizes of the macroblock 12 and the macroblock 13.
  • the number of layers of the zoom layer is 5, which can be expressed as 3*1+2.
  • the scaling ratio of each macroblock prediction and the minimum scaling step size of 0.05 are used to perform prediction of the scaling window and the scaling step.
  • different scaling windows and scaling steps can be obtained for different prediction scaling ratios. 4 ⁇
  • the prediction scaling ratio is 0. 8, 1 + 1
  • the zoom step size is 0.1.
  • the prediction scaling ratio is 0.95.
  • the macroblock scaling step is the minimum scaling step of 0.05, and the scaling reference frames with scaling ratios greater than 1 and less than 1 each have two.
  • the original reference frame is set to 3, so for each original reference frame, a scaling operation is required to generate another 4 scaled reference frames, and a total of 12 scaled reference frames are generated, which has a high computational amount.
  • the scaled reference frame is generated, according to the maximum search range set by the code, only the partial picture covered by the search range on each reference frame is calculated by bilinear interpolation according to the original reference frame, without generating complete One frame scales the reference frame.
  • the reference frame index numbering manner has a time-first manner, that is, a reference frame that is first numbered with different scaling ratios at the same time, such as As shown in Fig. 4 (a), the number is started from 0 to the beginning in the direction of the dotted line; there is a zoom priority mode, that is, the reference frame of the same zoom ratio is first numbered, as shown in Fig. 4 (b), by the direction of the dotted line by 0 Start numbering from small to large.
  • the reference frame index prediction is performed for each macroblock, the reference frame index numbering manner of the current macroblock is predicted according to the scaling ratio of the available macroblocks around the current block shown in FIG. 2. If the zoom ratio of available macroblocks is all greater than 1 or all is less than 1, they are numbered in time-first mode, otherwise they are numbered in zoom priority mode.
  • FIG. 5 A typical decoding process in this embodiment is shown in FIG. 5.
  • the number of layers of the zoom layer L and the minimum zoom step size S are first decoded. Then, the decoding operation is performed on each macroblock: the reference frame index prediction is performed, and the reference frame index number is predicted according to the scaling ratio of the available macroblocks around the current macroblock as shown in FIG.
  • the zoom ratio of the available macroblocks is greater than 1 or all less than 1, they are numbered in time-first mode, otherwise they are numbered according to the scaling priority method; according to the predicted reference frame index numbering method and the reference frame index value, the position of the reference frame in the reference frame matrix can be calculated; Calculate the scaling ratio of the available macroblocks around the current macroblock as shown in Figure 2 to obtain the predicted scaling ratio; Query the scaling window settings in Table 1 according to the predicted scaling ratio, the scaling layer number L, and the minimum scaling step size S.
  • the motion vector calculates the prediction block of the sub-block; the motion compensation and the remaining decoding steps are performed according to the prediction block and the decoded residual.

Description

说 明 书
使用空间缩放预测的视频编解码方法 技术领域
本发明涉及数字视频编解码技术领域， 特别是涉及到一种使用视频序列的空间缩放信息对当前帧进行 预测的编码和解码方法。 技术背景
目前主流的基于块匹配混合编码框架的视频编解码标准， 例如 MPEG4, H. 264/AVC, AVS等， 在帧间预 测中， 从空间上主要考虑了图像块在二维平面中的运动， 即横向和纵向的运动。 通过基于块匹配的运动估 计得到当前图像块的运动矢量， 找出当前图像块在前一帧或多帧中， 以及在后一帧中的对应块， 用这些对 应块对当前图像块进行预测， 并将运动向量编入码流。 此外， 对运动向量同样进行了预测， 即使用当前块 周围一些块的运动矢量计算当前块的预测运动矢量， 而仅将预测运动矢量和通过运动估计得到的实际运动 矢量之差编入码流， 大大节约了编码所需比特数。
在大部分视频序列中， 图像内容都不是简单的在二维平面中运动， 而是存在缩放现象。 场景中的物体 相对于拍摄镜头的距离发生变化， 会引起物体的缩放； 摄像机拉伸镜头会造成整个场景的缩放。 因此， 如 果当前块和参考帧中对应块存在缩放关系， 使用现有视频编码标准中的运动估计算法则得不到最佳匹配的 块。 而如果能利用视频序列中的缩放关系进行辅助预测， 则能很好地提升编码质量。
经过对现有文献检索和调研发现， 香港城市大学的 Lai-Man Po等人于 2010年发表的 《Subsampled Block-Matching for Zoom Motion Compensated Prediction》 即提出了利用缩放信息进行视频编码的方 法。 该论文中提出， 利用原编解码标准中分像素预测所需的插值图像， 来生成某些特定缩放比的参考帧。 同时， 使用多帧参考的参考帧索引来表示原多帧参考的参考帧和进行缩放之后的参考帧。 该方法能提升编 码性能， 并能较为方便地整合到现有编解码框架中。 但是由于该方法只能使用特定缩放比的参考帧， 而实 际应用中的视频缩放比是不确定的， 因此该方法不能达到较高的编码质量提升。 同时， 由于编码需要生成 较多的参考帧， 因此使用到的参考帧索引值会比较大， 影响了编码性能。
因此， 本发明提出针对每一个宏块通过缩放预测， 使用不同的缩放步长和缩放窗口生成不同的缩放参 考帧的方法， 使得对缩放的预测更加精确。 同时， 提出使用参考帧索引预测的方法来预测参考帧索引编号 方式， 减小了为表示参考帧索引需消耗的比特数。 发明内容
本发明的目的在于提供一种利用视频序列的空间缩放信息辅助压缩的视频编解码方法， 在不大幅增加 解码复杂度的情况下， 提高视频压缩的质量和效率。 为实现上述目的， 根据本发明的一方面， 提供了一种视频编码方法， 使运动估计在原始参考帧的不同 缩放比的缩放参考帧上进行， 以査找最佳匹配块。 所述方法包括： 在每一个图像帧中记录原始参考帧数目 R、缩放层层数 L和最小缩放步长 S，缩放层层数及最小缩放步长可以人为设定或通过前面若干帧估计得到； 所述原始参考帧即当前帧在原始视频序列中前后若干帧未经缩放的重建帧； 所述图像帧中一个宏块的一个 原始参考帧具有一组共 L个相等缩放步长的包括所述原始参考帧在内的缩放参考帧组， 所述缩放参考帧组 的缩放步长以及缩放窗口通过缩放预测得到； 不同宏块可以具有不同缩放步长及缩放窗口的缩放参考帧； 所述宏块内的子块可以在所述原始参考帧的缩放参考帧组中进行运动估计， 寻找最佳匹配块； 所述宏块选 择的参考帧的索引值可以采用不同的方法进行编号， 编号的方法通过参考帧索引预测得出。 所述缩放参考帧组是由一系列根据原始参考帧使用不同缩放比进行双线性插值缩放变换得到的缩放 参考帧组成，其中包含缩放比为 1的缩放参考帧， 即原始参考帧。这些缩放参考帧的缩放比从小到大排列， 相邻缩放比之间具有相等的缩放步长。 所述缩放步长以及缩放窗口由缩放预测得到。 所述缩放预测包括： 将当前宏块左方、 左上方、 上方、 右上方宏块中， 可用宏块的缩放比平均值 Z。作 为当前宏块的缩放比预测值； 所述可用宏块是指宏块存在， 并且其缩放比也存在的宏块； 根据 Z。和 1 的 大小关系以及所述当前帧缩放层层数 L， 通过表 1査询缩放窗口设置。 其中， 当前帧缩放层层数 L可表示 为 3n+k (n k=l， 2， 3 )：
Figure imgf000004_0001
表 1
从表 1可以査看当缩放比预测值 Z。同 1的差的绝对值大于最小缩放步长 S的 n倍时，缩放比在 1和 Z。 之间的缩放参考帧有 n+1个， 其中包含 1不包含 Z。， 将 1和 Z。之间的缩放比值平均分为 n+1份， 即求得 缩放步长为1 ^―1 1； 当缩放比预测值 Z。同 1的差的绝对值小于等于最小缩放步长 S的 n倍时，缩放步长
n + 1 设为1 。 1 。 从表 1中还可査询得到缩放窗口设置， 即缩放比在不同范围的缩放参考帧数目。 根据所述 n
缩放窗口和缩放步长， 可确定一个缩放参考帧组中每一个缩放参考帧的缩放比， 并对原始参考帧进行双线 性缩放操作， 生成所述每一个缩放参考帧。 缩放参考帧生成之后， 所述宏块就可以在缩放参考帧上进行运 动估计， 而只需要用参考帧索引区分不同的缩放参考帧及原始参考帧。 若所述宏块有多个原始参考帧， 则 每一个原始参考帧具有一个缩放参考帧组， 所有缩放参考帧组的缩放窗口和缩放步长都相同， 且都是通过 以上所述缩放预测得到。 所述参考帧索引预测是指针对参考帧索引的编号方式进行预测。 由于引入了缩放关系， 因此原来以时 间排布的一维的参考帧序列变为以时间和缩放关系排布的二维的参考帧矩阵。 基本的编号方式可以以时间 维度优先， 先编号同一时刻不同缩放比的参考帧， 再编号不同时刻的参考帧； 也可以以缩放关系优先， 先 编号同一缩放比不同时刻的参考帧， 再编号不同缩放比的参考帧。 所述参考帧索引预测方法为： 判断当前 宏块左方、 左上方、 上方、 右上方宏块中可用宏块的缩放比； 若所述可用宏块的缩放比同时大于 1， 或者 同时小于 1， 则以时间维度优先， 先编号同一时刻不同缩放比的参考帧； 反之， 则先编号同一缩放比不同 时刻的参考帧。 根据本发明的另一方面， 提供了一种视频解码方法， 所述方法包括： 解码一帧图像时， 先解码出该图 像的缩放层层数 L和最小缩放比 S ; 在解码每个宏块时， 先进行所述的参考帧索引预测， 根据所述宏块的 参考帧索引计算得出所述宏块所用的参考帧在参考帧矩阵中的位置； 根据周围宏块的缩放比、 缩放层层数 L、 最小缩放比 S以及表 1进行缩放预测求得缩放窗口及缩放步长， 进而根据所述宏块所用参考帧在参考 帧矩阵中的位置计算出该参考帧的缩放比； 然后解码所述宏块的各个子块， 根据各个子块的运动矢量以及 参考帧的缩放比从原始参考帧对应位置的图像块通过双线性差值缩放操作求出所述各个子块的预测子块； 最后将预测子块用于运动补偿。 本发明具有以下优点： 能利用缩放信息提高视频编码压缩率； 不同宏块根据缩放预测采用不同缩放步 长以及缩放窗口， 能更好的适应图像中不同区域缩放关系的差异性，提高压缩率；对参考帧索引进行预测， 减少表示参考帧索引所需的比特数， 提高编码效率。
附图说明 图 1是实施例中编码的流程图；
图 2是缩放预测和参考帧索引预测所使用的当前宏块的周围宏块示意图；
图 3是实施例中不同预测缩放比下的缩放窗口和缩放步长；
图 4是实施例中不同的参考帧索引编号方法。 图 5是实施例中解码的流程图。
具体实施方式 下面结合附图和实施例， 对本发明进行详细的描述。 本实施例仅为本发明的一个实施例而不是全部实 施例。 该实施例的编码流程如图 1所示， 当编码一帧图像的时候， 首先将人为设定的缩放层层数 L和最小缩 放步长 S写入图像头中。 该实施例中， 将原始参考帧个数设为 3， 缩放层层数设为 5， 最小缩放步长设为 0. 05。 针对每一个宏块使用缩放预测的运动估计。 首先进行缩放预测， 根据周围宏块的缩放比和所述缩放 层层数 5， 以及最小缩放步长 0. 05， 预测缩放窗口和缩放步长。 根据缩放窗口和缩放步长通过双线性插值 生成 3个原始参考帧对应的 3个缩放参考帧组共 15个缩放参考帧。 在各个缩放参考帧上进行运动估计， 找到某一个缩放参考帧上该宏块各个子块的运动矢量。 根据当前宏块周围的可用宏块进行参考帧索引预 测， 预测该宏块参考帧索引的编号方式。 最后将参考帧索引和宏块各子块的残差、 运动矢量等进行编码。
在对每一个宏块进行所述的缩放预测和参考帧索引预测的时候， 先査看所述当前宏块左方、 左上、 上 方以及右上的宏块状态， 如图 2所示。 首先看这些宏块是否存在； 若存在， 这些宏块编码模式是否是帧间 编码， 是否有缩放比。 若这些宏块存在且有缩放比， 则是可用宏块。 例如图 2中当前宏块为宏块 10， 宏块 11和宏块 14不存在， 宏块 12和宏块 13存在且具有缩放比， 为可用宏块， 则根据宏块 12和宏块 13的缩 放比平均值作为宏块 10的预测缩放比； 并且根据宏块 12和宏块 13的缩放比大小来预测宏块 10的参考帧 索引编号方式。
该实施例中， 所述缩放层层数为 5， 可表示为 3*1+2。 对每一个宏块进行所述的缩放预测的时候， 利 用每个宏块预测得到的缩放比以及最小缩放步长 0. 05， 进行缩放窗口和缩放步长的预测。如图 3所示， 针 对不同的预测缩放比可以得到不同的缩放窗口和缩放步长。 对宏块 100， 预测缩放比为 1. 4。 由于 1.4 > 1 + 1 * 0.05， 根据表 1可以得到缩放比位于 1和 1. 4之间有一个缩放参考帧， 因此计算得到缩放步 长为1 , 1 ·0 = 0.2， 并进而求出预测窗口中其他缩放参考帧的缩放比。 对宏块 200， 预测缩放比为 0. 8， 1 + 1
同理通过表 1可得到缩放步长为 0. 1。 对宏块 300， 预测缩放比为 0. 95， 根据表 1， 该宏块缩放步长为最 小缩放步长 0. 05， 且缩放比大于 1和小于 1的缩放参考帧各有两个。
该实施例中原始参考帧设为 3， 因此对于每一个原始参考帧， 都需要进行缩放操作生成另外 4个缩放 参考帧， 共需生成 12个缩放参考帧， 具有较高的运算量。 该实施例中， 生成缩放参考帧时， 跟据编码设 定的最大搜索范围， 仅跟据原始参考帧通过双线性插值计算出每个参考帧上搜索范围覆盖的局部画面， 而 不用生成完整一帧缩放参考帧。
该实施例中， 所述参考帧索引编号方式有时间优先方式， 即先编号同一时间不同缩放比的参考帧， 如 图 4 (a)所示， 按虚线方向由 0开始从小到大顺序开始编号； 有缩放优先方式， 即先编号同一缩放比的参考 帧， 如图 4 (b)所示， 按虚线方向由 0开始从小到大顺序编号。对每一个宏块进行所述参考帧索引预测的时 候， 跟据图 2所示的当前块周围的可用宏块的缩放比预测当前宏块的参考帧索引编号方式。 若可用宏块的 缩放比全大于 1或全小于 1， 则按时间优先方式编号， 反之则按缩放优先方式编号。
该实施例中一个典型的解码流程如图 5所示， 解码一帧图像时， 首先解码得到缩放层层数 L和最小缩 放步长 S。 然后对每一个宏块进行解码操作： 进行参考帧索引预测， 跟据如图 2所示的当前宏块周围可用 宏块的缩放比预测参考帧索引编号方式， 若可用宏块的缩放比全大于 1或全小于 1， 则按时间优先方式编 号， 反之则按缩放优先方式编号； 跟据预测的参考帧索引编号方式和参考帧索引值， 可以计算得到参考帧 在参考帧矩阵中的位置； 然后计算如图 2所示的当前宏块周围可用宏块的缩放比均值， 得到预测缩放比； 根据预测缩放比、 缩放层层数 L和最小缩放步长 S， 在表 1中査询缩放窗口设置， 并计算出缩放步长； 跟 据缩放步长和所述参考帧在参考帧矩阵中的位置计算参考帧的缩放比； 跟据参考帧缩放比和对应的原始参 考帧以及宏块中子块的运动矢量计算子块的预测块； 跟据预测块以及解码得到的残差进行运动补偿及其余 解码步骤。

Claims

1. 一种使用空间缩放预测的视频编码方法， 其特征在于：
在一帧编码图像头中记录该图像的原始参考帧数目 R、 缩放层层数 L和最小缩放步长 S ; 所述原始 参考帧是当前帧在原始视频序列中前后若干个未经缩放的重建帧； 所述缩放层层数是对一个原始参考帧 经缩放得到的缩放参考帧组中参考帧的个数， 其中包括了缩放比为 1的原始参考帧本身；
对同一宏块不同原始参考帧进行缩放生成各个原始参考帧的缩放参考帧组时， 要使用相同的缩放窗 口和缩放步长；
不同宏块可以拥有不同的缩放窗口和缩放步长；
缩放窗口和缩放步长通过缩放预测得到；
将所有参考帧排布成按时间维度和缩放维度组织的二维参考帧矩阵， 对矩阵中参考帧按横向或纵向 进行编号作为参考帧索引；
对参考帧编号的方式通过参考帧索引预测得到。
2. 如权利要求 1所述的视频编码方法， 其中， 所述最小缩放步长 S， 是指该帧图像中对任意一个宏块 的任意一个原始参考帧进行缩放， 允许的两个相邻的缩放比之差的最小值。
3. 如权利要求 1所述的视频编码方法， 其中， 所述缩放预测方法包括：
当前宏块左方、左上方、 上方、右上方宏块中， 若宏块存在且宏块的缩放比也存在， 则为可用宏块; 使用当前周围的可用宏块缩放比的平均值 Z。作为当前宏块的缩放比预测值； 跟据所述缩放比预测值 Z。、所述当前帧的缩放层层数 L、所述当前帧的最小缩放步长通过査表方法 求得缩放窗口；
跟据缩放窗口求得缩放步长。
4. 如权利要求 3所述的缩放预测方法， 其中， 所述査表方法包括：
将所述当前帧的缩放层层数表示为 3n+k (n为自然数， k=l， 2， 3)的形式；
跟据所述当前宏块的缩放比预测值 Z。和 1的大小关系， 以及 k的取值， 在下表中査询缩放比在不 同区间内的缩放参考帧数目。
Figure imgf000008_0001
5. 如权利要求 3所述的缩放预测方法， 其中， 所述的跟据缩放窗口求得缩放步长的方法为： 当缩放比预测值 Z。同 1的差的绝对值大于最小缩放步长 S的 n倍时， 缩放比在 Z。和 1之间的缩放 参考帧有 n+1个， 其中包含 1不包含 Zn， 将 1和^之间的缩放比值平均分为 n+1份， 即求得缩放步 n + l
当缩放比预测值 Z。同 1的差的绝对值小于等于最小缩放步长 S的 n倍时， 缩放步长设为1 Zq _ 1 |。
n
6. 如权利要求 1所述的视频编码方法， 其中， 所述的参考帧索引预测方法为：
当前宏块左方、左上方、 上方、 右上方宏块中， 若宏块存在且宏块的缩放比也存在， 则为可用宏块; 若所述可用宏块的缩放比同时大于 1， 或者同时小于 1， 则以时间维度优先， 先编号同一时刻不同 缩放比的参考帧； 反之， 则先编号同一缩放比不同时刻的参考帧。
7. 一种使用空间缩放预测的视频解码方法， 其特征在于：
先解码出该图像的原始参考帧数目 R、 缩放层层数 L和最小缩放比 S;
在解码每个宏块时， 先进行如权利要求 6所述的参考帧索引预测， 并跟据参考帧索引计算得出所述 宏块所用的参考帧在参考帧矩阵中的位置；
进行如权利要求 3所述的缩放预测， 求得缩放窗口及缩放步长；
计算参考帧的缩放比；
根据所述宏块的各个子块的运动矢量以及参考帧的缩放比从原始参考帧对应位置的图像块通过双 线性差值缩放操作求出所述各个子块的预测子块。
PCT/CN2012/074163 2011-04-22 2012-04-17 使用空间缩放预测的视频编解码方法 WO2012142934A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110102546.4A CN102752588B (zh) 2011-04-22 2011-04-22 使用空间缩放预测的视频编解码方法
CN201110102546.4 2011-04-22

Publications (1)

Publication Number Publication Date
WO2012142934A1 true WO2012142934A1 (zh) 2012-10-26

Family

ID=47032466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/074163 WO2012142934A1 (zh) 2011-04-22 2012-04-17 使用空间缩放预测的视频编解码方法

Country Status (2)

Country Link
CN (1) CN102752588B (zh)
WO (1) WO2012142934A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
CN104427337B (zh) * 2013-08-21 2018-03-27 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
US10630992B2 (en) * 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
CN107295340A (zh) * 2016-03-31 2017-10-24 中兴通讯股份有限公司 一种远程桌面视频编码的方法及装置
WO2019183906A1 (zh) 2018-03-29 2019-10-03 华为技术有限公司 帧间预测的方法和装置
CN110876084B (zh) * 2018-08-29 2021-01-01 浙江大学 处理和传输媒体数据的方法和装置
CN110838151B (zh) * 2019-11-12 2020-07-03 南京甄视智能科技有限公司 图片压缩处理方法、计算机系统以及可读存储介质
KR20220101736A (ko) * 2019-12-11 2022-07-19 에이치에프아이 이노베이션 인크. 스케일링 비율 제한을 갖는 비디오 인코딩 또는 디코딩 방법들 및 장치들
CN111724304B (zh) * 2020-06-12 2024-04-19 深圳市爱协生科技股份有限公司 一种图像缩放方法、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910932A (zh) * 2004-01-21 2007-02-07 皇家飞利浦电子股份有限公司 空间和snr细粒度可缩放视频编码和传输方法
CN101292538A (zh) * 2005-10-19 2008-10-22 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
CN101507267A (zh) * 2005-09-07 2009-08-12 维德约股份有限公司 用于使用可缩放视频编码进行可缩放和低延迟视频会议的系统和方法
US20100110298A1 (en) * 2007-03-05 2010-05-06 Snell Limited Video transmission considering a region of interest in the image data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
CN1213613C (zh) * 2003-09-12 2005-08-03 浙江大学 视频编解码中运动矢量的预测方法和装置
CN101127900A (zh) * 2006-08-17 2008-02-20 上海乐金广电电子有限公司 利用基本层的图像信号的编码/解码方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910932A (zh) * 2004-01-21 2007-02-07 皇家飞利浦电子股份有限公司 空间和snr细粒度可缩放视频编码和传输方法
CN101507267A (zh) * 2005-09-07 2009-08-12 维德约股份有限公司 用于使用可缩放视频编码进行可缩放和低延迟视频会议的系统和方法
CN101292538A (zh) * 2005-10-19 2008-10-22 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
US20100110298A1 (en) * 2007-03-05 2010-05-06 Snell Limited Video transmission considering a region of interest in the image data

Also Published As

Publication number Publication date
CN102752588B (zh) 2017-02-15
CN102752588A (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
WO2012142934A1 (zh) 使用空间缩放预测的视频编解码方法
US9451255B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
TWI540885B (zh) 經由畫面內預測進行影像之編碼與解碼的方法及其裝置
JP5234587B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
CN111385569A (zh) 一种编解码方法及其设备
CN108134939B (zh) 一种运动估计方法及装置
WO2015010319A1 (zh) 一种基于p帧的多假设运动补偿编码方法
CN102263951B (zh) 一种快速的分形视频压缩与解压缩方法
WO2009124511A1 (zh) 一种帧间预测编解码方法、装置及系统
TW200942045A (en) Method for video coding
TW200952499A (en) Apparatus and method for computationally efficient intra prediction in a video coder
TWI722465B (zh) 子塊的邊界增強
CN101621694B (zh) 一种运动估计方法、系统及显示终端
JP2008167449A (ja) 映像の符号化、復号化方法及び装置
TW201008288A (en) Apparatus and method for high quality intra mode prediction in a video coder
WO2022194103A1 (zh) 解码方法、编码方法、装置、设备及存储介质
TWI489876B (zh) A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space
CN101883275B (zh) 视频编码方法
WO2021031225A1 (zh) 一种运动矢量导出方法、装置及电子设备
CN104601991B (zh) 一种时域预测参数的搜索方法和装置
CN102263952B (zh) 一种基于对象的快速双目立体视频分形压缩与解压缩方法
CN113992911A (zh) 全景视频h264编码的帧内预测模式确定方法和设备
KR101078525B1 (ko) 다중시점 영상의 부호화 방법
TW202025726A (zh) 部分交織的預測
TWI833795B (zh) 交織預測的快速編碼方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12774276

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12774276

Country of ref document: EP

Kind code of ref document: A1