WO2009121233A1 - 一种用于视频编码的空间预测方法 - Google Patents

一种用于视频编码的空间预测方法 Download PDF

Info

Publication number
WO2009121233A1
WO2009121233A1 PCT/CN2008/073088 CN2008073088W WO2009121233A1 WO 2009121233 A1 WO2009121233 A1 WO 2009121233A1 CN 2008073088 W CN2008073088 W CN 2008073088W WO 2009121233 A1 WO2009121233 A1 WO 2009121233A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
coding mode
candidate
prediction method
coding
Prior art date
Application number
PCT/CN2008/073088
Other languages
English (en)
French (fr)
Inventor
马国强
Original Assignee
深圳市融创天下科技发展有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市融创天下科技发展有限公司 filed Critical 深圳市融创天下科技发展有限公司
Publication of WO2009121233A1 publication Critical patent/WO2009121233A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to the field of video image processing, and more particularly to a spatial prediction method for video coding. Background technique
  • the concept of spatial prediction coding is used in intra coding. Since the continuity of the regions of the image is different in all directions, for example, in the edge portion of the object, the direction perpendicular to the edge is discontinuous, and the direction parallel to the edge is generally continuous, so in this direction Each pixel is relatively close in value.
  • the concept of spatial predictive coding is to analyze the spatial correlation of each region of the image, find the direction with the strongest correlation, and predictive coding in this direction, so as to minimize redundancy and achieve maximum compression performance.
  • the prior art spatial prediction methods for video coding mostly adopt a rate-distortion optimization method, and the method includes the following steps: (1) predicting the coding mode one by one for each possible direction; (2) testing after each direction The predictive coding mode calculates its Lagrangian cost function; (3) compares the Lagrangian cost function value of the predictive coding mode, and selects the predictive coding mode whose minimum value is the best predictive coding mode.
  • the rate-distortion optimization method has high judgment accuracy, but since the method needs to calculate the Lagrangian cost function value for each possible direction, the computational complexity is quite high and the calculation amount is large, which is not conducive to the use in real-time performance requirements. .
  • the encoder performs predictive coding according to the candidate predictive coding mode, and calculates a Lagrangian cost function value of each candidate predictive coding mode;
  • the encoder compares the value of the Lagrangian cost function of the candidate prediction coding mode, and selects the candidate prediction coding mode of the minimum value as the optimal prediction coding mode.
  • the pixels are sub-sampled prior to using the boundary direction based mode selection to select an available candidate predictive coding mode.
  • the sub-sampling the pixels further comprises: averaging adjacent pixels, and the obtained pixels are sub-sampled pixels.
  • the mode selection based on the boundary direction in the step A further comprises: calculating a boundary direction vector of the pixel by using a Sobel operator, and adding the modes of the vector in the same direction to obtain a corresponding boundary direction histogram, selecting The direction of the largest modulo in the direction histogram is used as the candidate predictive coding mode.
  • the Sobel operator is
  • boundary direction histogram is:
  • a p (Dm , ") is the modulus of the boundary direction vector
  • ' ⁇ ⁇ ' ⁇ is the direction of the boundary direction vector
  • the mode selection of the context-based model in the step ⁇ further comprises: selecting an average value in a prediction coding mode of a neighboring small block of the current small block as a candidate prediction coding mode of the current small block.
  • the mode selection based on the coding mode of the block at the same position of the previous frame image in the step A further comprises: selecting an encoding mode of the corresponding small block of the previous frame as the candidate prediction coding mode of the current small block.
  • the Lagrangian cost function for calculating each candidate prediction coding mode in the step B is:
  • J(s, c, IMODB QP, ⁇ ⁇ ) SSD(s, c, IMODE QP) + ⁇ ⁇ ⁇ R(s, c, IMODB QP)
  • QP is the quantization parameter of the encoder
  • 0/) is the Lagrange factor, which is the mean square error between the original pixel value ⁇ and the reconstructed pixel value c
  • R s, c, IMODE I QP) is the code rate obtained by encoding in /M6> / ⁇ mode.
  • FIG. 1 is a flow chart of a spatial prediction method for video coding in the present invention
  • 4 is an alternative predictive coding mode in which the present invention uses 4 ⁇ 4 small blocks as the basic unit of intra prediction coding in one embodiment
  • Figure 5 is a schematic illustration of sub-sampling a pixel in one embodiment of the invention.
  • FIG. 6 is a schematic diagram of a context model in mode selection using a context-based model in one embodiment of the present invention.
  • Figure 7 is a block diagram showing the use of blocks based on blocks at the same position of the previous frame image in one embodiment of the present invention. Schematic diagram of the block in the mode selection. detailed description
  • step S101 the encoder adopts a mode selection based on a boundary direction and a mode based on a context-based model according to a prediction coding mode. Selecting a mode candidate selection based on an encoding mode of a block at the same position of the previous frame image to select an available candidate prediction encoding mode;
  • step S102 the encoder performs predictive coding according to the candidate predictive coding mode, and calculates a Lagrangian cost function value of each candidate predictive coding mode;
  • step S103 the encoder compares the Lagrangian cost function value of the candidate prediction coding mode, and selects the candidate prediction coding mode of the minimum value as the optimal prediction coding mode.
  • step S201 the encoder determines an available predictive coding mode according to different basic units of intra prediction coding.
  • the encoder is an H.264 encoder, and for the current macroblock to be an intra prediction coding mode, the predicted value of the macroblock is derived from the adjacent coded reconstructed macroblock.
  • the luma component can use 16 ⁇ 16 macroblock or 4 ⁇ 4 small block as the basic unit of intra prediction encoding.
  • 16 ⁇ 16 macroblock is used as the basic unit of encoding
  • In the basic unit there are 9 predictive coding modes to choose from.
  • two chrominance components use 8X8 macroblocks as the basic unit of intra prediction coding
  • there are four prediction modes to choose from and the coding modes of the two chrominance components must be the same.
  • 4X4 tiles are used as the basic unit of intra prediction coding, so there are nine alternative prediction coding modes.
  • FIG. 3 shows a pixel distribution diagram when the present invention uses 4 ⁇ 4 small blocks as the basic unit of intra prediction encoding in one embodiment, in which lowercase English letters a to p represent 16 pixels inside the small block, uppercase letter A To M means the pixels around the small fast.
  • FIG. 4 shows a predictive coding mode that can be selected when the 4 ⁇ 4 small block is used as the basic unit of intra prediction coding in one embodiment, wherein the directions indicated by the numbers 0 ⁇ 1, 3 ⁇ 8 respectively indicate The direction of the selected predictive coding mode, that is, the mode 0 ⁇ mode 1, the mode 3 ⁇ the mode 8, it should be noted that since the coding mode 2 is the DC predictive coding mode, regardless of the direction, the present invention does not relate to the coding mode 2 Therefore, it is not shown in the figure.
  • mode 1 is selected for horizontal prediction, and the predicted values in the small blocks of Figure 3 are from pixels I, J, K, L.
  • step S202 the encoder sub-samples the pixels according to the predictive coding mode, and selects an available candidate predictive coding mode by using a mode selection based on the boundary direction.
  • 4X4 small blocks are used as the basic unit of intra prediction encoding, so there are 8 predictive coding modes as shown in Figure 4, since the images are continuous and correlated in space, composing the image. Each pixel has a correlation in all eight prediction directions in space.
  • One embodiment of the present invention is to find the direction with the strongest correlation in the eight prediction directions, and use this direction to perform predictive coding to reach the frame. The optimal effect of intra prediction coding.
  • FIG. 5 is a schematic diagram showing sub-sampling of pixels in an embodiment of the present invention, wherein a solid circle represents available sampling pixels, and sub-sampled pixel values are obtained by averaging two adjacent pixels, such as In the figure, the pixel A in the sub-sampled picture is equal to the average of the original pixel 1 and the original pixel 2 in the picture before the sub-sampling.
  • the mode selection based on the boundary direction is used to select an available candidate prediction coding mode.
  • the specific implementation process is: calculating the pixel by using the Sobel operator.
  • the boundary direction vector is added, and the modes of the vectors in the same direction are added to obtain a corresponding edge direction histogram (Edge Direction Histogram), and the direction of the largest mode of the direction histogram is selected as the candidate prediction coding mode.
  • the Sobel operator is , used to calculate The horizontal and vertical components of the boundary vector, for the subsampled pixel A ⁇ , the corresponding boundary vector is D i
  • the boundary direction histogram is:
  • the direction in which the modulus of the boundary direction histogram is the largest is selected as the candidate prediction coding mode.
  • step S203 the encoder selects an available candidate prediction coding mode by using a mode selection based on the context-based model according to the prediction coding mode.
  • FIG. 6 is a diagram showing a context model in mode selection using a context-based model in an embodiment of the present invention, which uses 4 ⁇ 4 small blocks as a basic unit of intra prediction encoding, where S represents the current 4 ⁇ 4 Small blocks, Q and R represent the 4X4 small block on the upper side of the current small block and the 4X4 small block on the left side of the current small block, respectively.
  • the specific process is implemented as: selecting an average value in the prediction coding modes of the adjacent small blocks Q and R of the current small block S as the candidate prediction coding mode of the current small block S.
  • step S204 the encoder selects an available candidate predictive coding mode based on the predictive coding mode using mode selection based on the coding mode of the block at the same position of the previous frame image.
  • FIG. 7 is a diagram showing a mode selection middle block using an encoding mode based on a block at the same position of a previous frame image in an embodiment of the present invention, which uses a 4 ⁇ 4 small block as a basic unit of intra prediction encoding, The coding mode of the 4 ⁇ 4 small block corresponding to the position of the current small block in the previous frame image is selected as the candidate prediction coding mode of the current 4 ⁇ 4 small block.
  • step S205 the encoder performs predictive coding according to each candidate prediction coding mode, and calculates each candidate.
  • the Lagrangian cost function value of the predictive coding mode is selected.
  • a 4 ⁇ 4 small block is used as a basic unit of intra prediction coding, and according to the candidate prediction coding mode selected above, the Lagrangian cost function of each candidate prediction coding mode is calculated as:
  • J(s, c, IMODB QP, ⁇ ⁇ ) SSD(s, c, IMODE QP) + ⁇ ⁇ ⁇ R(s, c, IMODB QP)
  • QP is the quantization parameter of the encoder
  • ⁇ ⁇ £ is the Lagrange factor, which is the mean square error between the original pixel value of the frame and the reconstructed pixel value c
  • R s, c, IMODE I QP) is the code rate obtained by encoding in /M6> / ⁇ mode.
  • the value of « ⁇ is 0.85 ⁇ 2 ( ⁇ ⁇ _ 12) / 3 , where QP is the quantization parameter of the encoder as described above, and QP dynamically changes during the encoding process.
  • step S206 the encoder compares the Lagrangian cost function values of the candidate prediction coding modes, selects the candidate prediction coding mode of the minimum value as the optimal prediction coding mode, and the optimal prediction coding mode is the most spatial correlation. Strong direction.
  • PSNR Peak Signal Noise Ratio
  • the version of the test video coding software used in the experiment is JM7.6, the parameter setting of the encoding software: using Hadamard transform, RD optimization, the number of reference frames is 1, the quantization parameter is 28, and the GOP is IPPP.
  • the test sequence used is Mobile, Tempete, Bus, Paris of size QCIF, and only the luminance component is tested.
  • the coding performance changes under different test sequences in the experimental results are shown in the following table: The sequence of the first encoding of the PSNR of each image in the sequence of the first I-frame image sequence is changed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

说 明 书 一种用于视频编码的空间预测方法 技术领域
本发明涉及视频图象处理领域， 更具体地说， 涉及一种用于视频编码的空 间预测方法。 背景技术
视频压缩编码体系中， 在帧内编码时， 会用到空间预测编码的概念。 由于 图象各区域对于空间的连续性在各个方向上是不同的， 例如， 在物体的边缘部 分， 垂直于边缘的方向不连续， 而平行于边缘的方向一般是连续的， 因此这方 向上的各像素在数值上比较接近。 空间预测编码的概念就是对图象各区域的空 间相关性作分析， 找出相关性最强的方向， 在该方向上作预测编码， 从而能够 最大地消除冗余， 实现最大的压缩性能。
现有技术用于视频编码的空间预测方法大都采用率失真优化方法， 该方法 包括以下步骤： （ 1 )对每个可能的方向逐个测试得到预测编码模式； （ 2 )对 每个方向测试后的预测编码模式计算其拉格郎日代价函数； （ 3 ) 比较预测编码 模式的拉格郎日代价函数值， 选择其最小值的预测编码模式作为最佳预测编码 模式。 率失真优化方法判断准确度高， 但是由于该方法需要对每个可能的方向 计算拉格郎日代价函数值， 因此计算复杂度相当高， 计算量很大， 不利于在实 时性能要求高的场合使用。
因此需要一种新的用于视频编码的空间预测方法， 在保证判断准确度高的 同时， 降低了计算复杂度， 从减少了计算量。 发明内容
本发明的目的在于提供一种用于视频编码的空间预测方法， 旨在解决现有 技术计算复杂度高的问题。
为了实现发明目的， 所述用于视频编码的空间预测方法包括以下步骤： A. 编码器根据预测编码模式， 分别采用基于边界方向的模式选择、 基于上 下文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选 择， 确定一个以上可用的侯选预测编码模式；
B. 编码器根据侯选预测编码模式进行预测编码， 计算各侯选预测编码模式 的拉格郎日代价函数值；
C. 编码器比较侯选预测编码模式的拉格郎日代价函数值， 选择其最小值的 侯选预测编码模式作为最佳预测编码模式。
优选地， 在采用基于边界方向的模式选择来选择可用的侯选预测编码模式 之前， 对像素进行亚采样。
进一步优选地， 所述对像素进行亚采样进一步包括： 对相邻的像素求平均， 得到的像素为亚采样后的像素。
优选地， 所述步骤 A中的基于边界方向的模式选择进一步包括： 使用 Sobel 算子计算像素的边界方向向量， 并将相同方向上的向量的模相加， 得到相应的 边界方向直方图， 选择方向直方图中模最大的方向作为侯选预测编码模式。
进一步优选地， 所述 Sobel算子为
Figure imgf000004_0001
进一步优选地， 所述边界方向直方图为：
Figure imgf000004_0002
while
=(—103.3。,— 76.6。]
a, =(-13.3°,13.3°]
a3 =(35.8°,54.2°]
a4 =(-54.2°,-35.8°]
a5 =(-76.7° -54.2°]
a6 =(-35.8° -13.3°]
a7 =(54.2° -76.7°]
¾ =(13.3°,35.8°]
其中，
Figure imgf000004_0003
是边界方向直方图， A p (Dm，"）是边界方向向量的模, 'δ ^ '^是边界方向向量的方向。
优选地， 所述步骤 Α中的基于上下文的模型的模式选择进一步包括： 选择当 前小块的相邻小块的预测编码模式中的平均值作为当前小块的侯选预测编码模 式。
优选地，所述步骤 A中的基于前一帧图象相同位置上块的编码模式的模式选 择进一步包括： 选择前一帧的对应小块的编码模式作为当前小块的侯选预测编 码模式。
优选地， 所述步骤 B中计算各侯选预测编码模式的拉格郎日代价函数为：
J(s, c, IMODB QP, λΜΟΒΕ) = SSD(s, c, IMODE QP) + λΜΟΌΕ · R(s, c, IMODB QP) 其中， 是 /M6> /^帧内预测可供选择的几种预测方向， QP是编码器的量化参 数， 0/) 是拉格郎日因子， 是帧内原始的像素值 ^和重建的像素值 c之间的 均方误差和， R s, c, IMODE I QP) 是使用 /M6> /^模式进行编码后得到的码率。
本发明根据预测编码模式， 分别采用基于边界方向的模式选择、 基于上下 文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选择， 来选择出可用的侯选预测编码模式， 再对该侯选预测编码模式计算其拉格郎日 代价函数值， 而无需对每个方向测试后的预测编码模式计算拉格郎日代价函数 值， 因此， 大大降低了计算复杂度， 减少了计算量， 并且在降低计算复杂度的 同时仍能保证对方向判断的准确度， 即保证了图象质量。 附图说明
图 1是本发明中用于视频编码的空间预测方法的流程图；
图 2是本发明的一个实施例中用于视频编码的空间预测方法的流程图； 图 3是本发明在一个实施例中使用 4X4小块作为帧内预测编码的基本单位时 的像素分布图；
图 4是本发明在一个实施例中使用 4X4小块作为帧内预测编码的基本单位时 可供选择的预测编码模式；
图 5是本发明的一个实施例中对像素进行亚采样的示意图；
图 6是本发明的一个实施例中采用基于上下文的模型的模式选择中的上下 文模型的示意图；
图 7是本发明的一个实施例中采用基于前一帧图象相同位置上块的编码模 式的模式选择中块的示意图。 具体实施方式
为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实 施例， 对本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅 仅用以解释本发明， 并不用于限定本发明。
本发明根据预测编码模式， 分别采用基于边界方向的模式选择、 基于上下 文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选择， 来选择出可用的侯选预测编码模式， 再对该侯选预测编码模式计算其拉格郎日 代价函数值， 选择其最小值的侯选预测编码模式作为最佳预测编码模式。 这样， 在保证判断准确度高的同时， 降低了计算复杂度， 从而减少了计算量。 图 1示出了本发明中用于视频编码的空间预测方法的流程图， 过程如下： 在步骤 S101中， 编码器根据预测编码模式， 分别采用基于边界方向的模式 选择、 基于上下文的模型的模式选择和基于前一帧图象相同位置上块的编码模 式的模式选择， 来选择出可用的侯选预测编码模式；
在步骤 S102中， 编码器根据侯选预测编码模式进行预测编码， 计算各侯选 预测编码模式的拉格郎日代价函数值；
在步骤 S103中， 编码器比较侯选预测编码模式的拉格郎日代价函数值， 选 择其最小值的侯选预测编码模式作为最佳预测编码模式。
图 2示出了本发明的一个实施例中用于视频编码的空间预测方法的流程图， 该方法基于 H.264编码器， 应当说明的是， 本发明典型的应用不限于 H.264编码 器， 在实际应用时， 可灵活改变到其它类型的编码器， 该方法具体步骤如下： 在步骤 S201中， 编码器根据不同的帧内预测编码的基本单位， 确定可供选 择的预测编码模式。 在一个实施例中， 该编码器为 H.264编码器， 对于当前宏块 是帧内预测编码模式而言， 宏块的预测值来自于相邻的编码重建后的宏块。 亮 度分量可以使用 16X16宏块或 4X4小块作为帧内预测编码的基本单位， 在使用 16X16宏块作为编码的基本单位时， 有 4种预测编码模式可供选择； 在使用 4X4 小块作为编码的基本单位时， 有 9中预测编码模式可供选择。 两个色度分量使用 8X8宏块作为帧内预测编码的基本单位时， 有 4种预测模式可供选择， 两个色度 分量选择的编码模式必须一样。 在一示例方案中， 使用 4X4小块作为帧内预测编码的基本单位， 因此有 9种 可供选择的预测编码模式。 图 3示出了本发明在一个实施例中使用 4X4小块作为 帧内预测编码的基本单位时的像素分布图， 其中， 小写英文字母 a到 p表示小块 内部的 16个像素， 大写字母 A到 M表示小快周围的像素。
图 4示出了本发明在一个实施例中使用 4X4小块作为帧内预测编码的基本单 位时可供选择的预测编码模式， 其中， 数字 0~1、 3~8所指的方向分别表示可供 选择的预测编码模式的方向， 即表示模式 0~模式 1、 模式 3~模式 8, 需说明的是， 由于编码模式 2是 DC预测编码模式， 与方向无关， 本发明未涉及到编码模式 2, 因此在图中未示出。 在一实施例中， 选用模式 1进行水平方向的预测， 则图 3中 小块中的预测值来自于像素 I、 J、 K、 L。
在步骤 S202中， 编码器根据预测编码模式， 对像素进行亚采样后， 采用基 于边界方向的模式选择， 选择出可用的侯选预测编码模式。
在一个实施例中， 使用 4X4小块作为帧内预测编码的基本单位， 因此有如图 4所示的 8种预测编码模式可供选择， 由于图象在空间是连续和相关的， 组成图 象的各像素在空间上的 8个预测方向上都具有相关性， 本发明的一个实施例是要 找到该 8个预测方向上的相关性最强的方向， 并使用此方向进行预测编码， 从而 达到帧内预测编码的最优效果。
图 5示出了本发明的一个实施例中对像素进行亚采样的示意图， 其中， 实心 圓表示的是可用的采样像素， 亚采样后的像素值由两个相邻像素求平均而得到， 如图中，亚采样后的图中像素 A等于亚采样前的图中原始像素 1和原始像素 2的平 均。 因为相邻像素在空间上的相关性强， 亚采样后的数据保留了原图象的数据 特征，所以对算法的性能影响很小，而由于本发明对输入的原始像素进行的是 2: 1的亚采样， 采样后的像素个数将是原始像素个数的 1/2, 因此对采样后的像素进 行边界方向向量计算时所耗费的时间大约是原来的 1/2 , 亚采样后计算复杂度将 大大降低。
在一个实施例中， 对像素进行亚采样后， 采用基于边界方向的模式选择， 来选择出可用的侯选预测编码模式， 在一实施例中， 其具体实现过程为： 使用 Sobel算子计算像素的边界方向向量， 并将相同方向上的向量的模相加， 得到相 应的边界方向直方图 （ Edge Direction Histogram ) , 选择方向直方图中模最大的 方向作为侯选预测编码模式。 在一示例方案中， Sobel算子为 , 分别用来计算
Figure imgf000008_0001
边界向量的水平和垂直方向分量， 对亚采样后的像素 A^, 相应边界向量为 Di
Figure imgf000008_0002
表示边界向量水平方向的分量， dy 表示 边界向量垂直方向的分量， dxij和 dyid的计算公式为：
-- Pi-i,j+i + 2 x Pi,j+i + Pi+i,j+i - Pi-i -ι _ 2 x Pi -i - Pi+l -l
P i+ j -i+2xPi+u +P,
Figure imgf000008_0003
2xpi_l ,-p i- j+l 其中， / W+i、 Pi,j+i , Pi+iJ+i , Pi-i -i , P P 、 Pi 分别表示像素 A 在原始图象中的相邻像素。 为了方便计算， 定义边界方向向量的模为：
Figure imgf000008_0004
定义边界方向向量的方向为：
Figure imgf000008_0005
1 将相同方向上的向量的模相加， 得到相应的边界方向直方图， 该边界方向 直方图为：
Histo{k) = ^ Amp (Dm n ),
SET(k) G { (i, j) \ Ang a
while
= (-103.3° -76.6°]
ax = (-13.3°,13.3°]
a3 = (35.8°,54.2°]
a4 = (-54.2° -35.8°]
a5 = (-76.7° -54.2°]
a6 = (—35.8。,— 13.3。]
a7 = (54.2° -76.7°]
«8 = (13.3° ,35.8°]
其中，
Figure imgf000009_0001
)是边界方向向量的模， g 是边界方向向量的方向。
选择该边界方向直方图中模最大的方向作为侯选预测编码模式。
在步骤 S203中， 编码器根据预测编码模式， 采用基于上下文的模型的模式 选择， 选择出可用的侯选预测编码模式。
图 6示出了本发明的一个实施例中采用基于上下文的模型的模式选择中的 上下文模型的示意图， 该实施例使用 4X4小块作为帧内预测编码的基本单位， 其 中， S表示当前的 4X4小块， Q和 R分别表示当前小块上边的 4X4小块和当前小块 左边的 4X4小块。 其具体过程实现为： 选择当前小块 S的相邻小块 Q和 R的预测编 码模式中的平均值作为当前小块 S的侯选预测编码模式。
在步骤 S204中， 编码器根据预测编码模式， 采用基于前一帧图象相同位置 上块的编码模式的模式选择， 选择出可用的侯选预测编码模式。
图 7示出了本发明的一个实施例中采用基于前一帧图象相同位置上块的编 码模式的模式选择中块的示意图，该实施例使用 4X4小块作为帧内预测编码的基 本单位，选择当前小块在前一帧图象中对应位置的 4X4小块的编码模式作为当前 4X4小块的侯选预测编码模式。
在步骤 S205中， 编码器根据各侯选预测编码模式进行预测编码， 计算各侯 选预测编码模式的拉格郎日代价函数值。 在一个实施例中， 使用 4X4小块作为帧 内预测编码的基本单位， 根据上文选择出的侯选预测编码模式， 计算各侯选预 测编码模式的拉格郎日代价函数为：
J(s, c, IMODB QP, λΜΟΒΕ) = SSD(s, c, IMODE QP) + λΜΟΌΕ · R(s, c, IMODB QP) 其中， 是 /M6> /^帧内预测可供选择的几种预测方向， QP是编码器的量化参 数， ΑΜΟβ£是拉格郎日因子， 是帧内原始的像素值 ^和重建的像素值 c之间的 均方误差和， R s, c, IMODE I QP) 是使用 /M6> /^模式进行编码后得到的码率。 在一实施例中， « ^的取值是 0.85 χ 2(βΡ_12) / 3， 其中， QP与上述一样， 是编码 器的量化参数， QP在编码过程中动态变化。
在步骤 S206中， 编码器比较各侯选预测编码模式的拉格郎日代价函数值， 选择其最小值的侯选预测编码模式作为最佳预测编码模式， 最佳预测编码模式 即为空间相关性最强的方向。
应当说明的是， 本发明典型的应用不限于 Η.264编码器， 在实际应用时， 可 灵活改变到其它类型的编码器， 因此上述实施例仅用于解释本发明， 并不用于 限制本发明， 在其它编码器中， 也可以应用本发明所阐述的方法。
另外， 可通过实验对上述算法进行测试， 在视频编码中， 可通过峰值信噪 比（Peak signal noise ratio, 筒称 "PSNR" )来测试图象的质量， PSNR越高， 图 象质量越好， PSNR的单位是 dB (分贝）， 其计算式为：
Figure imgf000010_0001
其中， MSE是两个视频序列之间的均方误差。
在一实施例中， 实验使用的测试视频编码软件的版本是 JM7.6, 编码软件的 参数设置： 使用 Hadamard变换、 RD优化， 参考帧的数目为 1 , 量化参数为 28, GOP是 IPPP。 使用的测试序列为大小为 QCIF的 Mobile, Tempete、 Bus, Paris, 同时只对亮度分量进行测试， 实验结果中在不同测试序列下的编码性能变化如 下表所示： 测试序 第一个 I 帧图像 序列中平均每 序列中平均每 图像 PSNR的 列 编码时间的变化 帧图像比特率 帧图像编码时 变化
( ) 的变化 间的变化 (dB)
( ) ( )
Mobile -70.25 0.12 -33.56 -0.016
Tempete -69.78 0.26 -32.14 -0.014
Bus -69.58 0.39 -24.34 -0.024
Paris -71.03 0.42 -31.76 -0.021 由上表可知，第一个 I 帧图像编码时间的变化了 -60%左右， 因此对于 I帧（即 帧内编码） ， 其计算复杂度降低了 60%左右， 而图象的 PSNR仅仅降低了 0.01dB~0.02dB, 因此图象的质量并没有明显的下降， 从而说明了本发明的方法 在降低计算复杂度的同时， 保证了图象的质量。
以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发 明的精神和原则之内所作的任何修改、 等同替换和改进等， 均应包含在本发明 的保护范围之内。

Claims

权 利 要 求 书
1、 一种用于视频编码的空间预测方法， 其特征在于， 包括以下步骤：
A. 编码器根据预测编码模式， 分别采用基于边界方向的模式选择、 基于上 下文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选 择， 确定一个以上可用的侯选预测编码模式；
B. 编码器根据侯选预测编码模式进行预测编码， 计算各侯选预测编码模式 的拉格郎日代价函数值；
C. 编码器比较侯选预测编码模式的拉格郎日代价函数值， 选择其最小值的 侯选预测编码模式作为最佳预测编码模式。
2、 根据权利要求 1所述的用于视频编码的空间预测方法， 其特征在于， 在 采用基于边界方向的模式选择来选择可用的侯选预测编码模式之前， 对像素进 行亚采样。
3、 根据权利要求 2所述的用于视频编码的空间预测方法， 其特征在于， 所 述对像素进行亚采样进一步包括： 对相邻的像素求平均， 得到的像素为亚采样 后的像素。
4、 根据权利要求 1所述的用于视频编码的空间预测方法， 其特征在于， 所 述步骤 A中的基于边界方向的模式选择进一步包括： 使用 Sobel算子计算像素的 边界方向向量， 并将相同方向上的向量的模相加， 得到相应的边界方向直方图， 选择方向直方图中模最大的方向作为侯选预测编码模式。
5、 根据权利要求 4所述的用于视频编码的空间预测方法， 其特征在于， 所
述 Sobel算子为
Figure imgf000012_0001
6、 根据权利要求 4所述的用于视频编码的空间预测方法， 其特征在于， 所 述边界方向直方图为：
Figure imgf000013_0001
while
=(—103.3。,— 76.6。]
a, =(-13.3°,13.3°]
a3 =(35.8°,54.2°]
a4 =(-54.2°,-35.8°]
a5 =(-76.7° -54.2°]
a6 =(-35.8° -13.3°]
a7 =(54.2° -76.7°]
¾ =(13.3°,35.8°]
其中，
Figure imgf000013_0002
是边界方向向量的模，
Ang 是边界方向向量的方向。
7、 根据权利要求 1所述的用于视频编码的空间预测方法， 其特征在于， 所 述步骤 A中的基于上下文的模型的模式选择进一步包括：选择当前小块的相邻小 块的预测编码模式中的平均值作为当前小块的侯选预测编码模式。
8、 根据权利要求 1所述的用于视频编码的空间预测方法， 其特征在于， 所 述步骤 A中的基于前一帧图象相同位置上块的编码模式的模式选择进一步包括： 选择前一帧的对应小块的编码模式作为当前小块的侯选预测编码模式。
9、 根据权利要求 1所述的用于视频编码的空间预测方法， 其特征在于， 所 述步骤 B中计算各侯选预测编码模式的拉格郎日代价函数为：
J(s, c, IMODB QP, λΜΟΒΕ) = SSD(s, c, IMODE QP) + λΜΟΌΕ · R(s, c, IMODB QP) 其中， 是 /M6> /^帧内预测可供选择的几种预测方向， QP是编码器的量化参 数， 0/) 是拉格郎日因子， 是帧内原始的像素值 ^和重建的像素值 c之间的 均方误差和， R(^,c,IMODE I QP) 是使用 /M6> /^模式进行编码后得到的码率。
PCT/CN2008/073088 2008-03-31 2008-11-17 一种用于视频编码的空间预测方法 WO2009121233A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2008100664079A CN101552924B (zh) 2008-03-31 2008-03-31 一种用于视频编码的空间预测方法
CN200810066407.9 2008-03-31

Publications (1)

Publication Number Publication Date
WO2009121233A1 true WO2009121233A1 (zh) 2009-10-08

Family

ID=41134808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2008/073088 WO2009121233A1 (zh) 2008-03-31 2008-11-17 一种用于视频编码的空间预测方法

Country Status (2)

Country Link
CN (1) CN101552924B (zh)
WO (1) WO2009121233A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158716A (zh) * 2011-01-28 2011-08-17 北京视博云科技有限公司 一种视频优化方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674480B (zh) * 2009-10-21 2012-08-08 浙江宇视科技有限公司 一种编码模式的选择方法和装置
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
CN101986716B (zh) * 2010-11-05 2012-07-04 宁波大学 一种快速深度视频编码方法
CN102364948B (zh) * 2011-10-28 2013-10-16 上海国茂数字技术有限公司 视频编码合并模式双向补偿方法
PL2842313T3 (pl) 2012-04-13 2017-06-30 Ge Video Compression, Llc Skalowalny strumień danych i obiekt sieciowy
CA3214600A1 (en) 2012-06-29 2014-01-03 Ge Video Compression, Llc Video data stream concept
RU2654129C2 (ru) 2013-10-14 2018-05-16 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
CN105917650B (zh) 2014-01-03 2019-12-24 微软技术许可有限责任公司 视频和图像编/解码的方法、计算设备及计算机可读介质
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
KR102330740B1 (ko) 2014-09-30 2021-11-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487474A (zh) * 2002-07-05 2004-04-07 微软公司 用于数据压缩的改进优化技术
CN1658673A (zh) * 2005-03-23 2005-08-24 南京大学 视频压缩编解码方法
CN1754389A (zh) * 2003-01-08 2006-03-29 苹果电脑有限公司 用于改进的编码模式选择的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907075B2 (en) * 2000-06-30 2005-06-14 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
CN100413342C (zh) * 2005-03-09 2008-08-20 浙江大学 用于视频或图像压缩的帧内预测模式编解码的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487474A (zh) * 2002-07-05 2004-04-07 微软公司 用于数据压缩的改进优化技术
CN1754389A (zh) * 2003-01-08 2006-03-29 苹果电脑有限公司 用于改进的编码模式选择的方法和装置
CN1658673A (zh) * 2005-03-23 2005-08-24 南京大学 视频压缩编解码方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158716A (zh) * 2011-01-28 2011-08-17 北京视博云科技有限公司 一种视频优化方法及装置

Also Published As

Publication number Publication date
CN101552924A (zh) 2009-10-07
CN101552924B (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
WO2009121233A1 (zh) 一种用于视频编码的空间预测方法
KR100739790B1 (ko) 인트라 예측 모드 결정 방법 및 장치
KR100871588B1 (ko) 인트라 부호화 장치 및 그 방법
JP5795525B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
KR20090095316A (ko) 영상 인트라 예측 방법 및 장치
AU2016426405B2 (en) Devices and methods for video coding
KR20070090700A (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
EP2070333A2 (en) Geometric intra prediction
WO2008153300A1 (en) Method and apparatus for intraprediction encoding/decoding using image inpainting
WO2018070896A1 (en) Distance weighted bi-directional intra prediction
Kim et al. Fast intra-mode decision in H. 264 video coding using simple directional masks
KR101989160B1 (ko) 영상 부호화 방법 및 장치
TWI597977B (zh) 採用自適性色彩轉換之視訊編碼方法及系統
KR100689215B1 (ko) Ｈ.264 에서 다운 샘플링과 에지 방향성을 이용한 고속예측 모드 결정 방법
KR20070077955A (ko) 인트라 예측 모드 결정 방법 및 장치
KR101607613B1 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101761278B1 (ko) 영상 복호화 방법 및 장치
KR100930164B1 (ko) 고속 율-왜곡 최적화 방법
KR20150045980A (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101607614B1 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
Wei et al. Transformed-domain intra mode decision in H. 264/AVC encoder
KR101607611B1 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101606853B1 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
Pan et al. A fast mode decision algorithm for H. 264/AVC intra prediction
KR101886259B1 (ko) 영상 부호화 방법 및 장치, 및 부호화된 비트스트림을 포함하는 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08873694

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18/02/2011)

122 Ep: pct application non-entry in european phase

Ref document number: 08873694

Country of ref document: EP

Kind code of ref document: A1