WO2015010319A1 - 一种基于p帧的多假设运动补偿编码方法 - Google Patents

Abstract

一种基于P帧的多假设运动补偿编码方法，以当前图像块的相邻已编码图像块作为参考图像块，获得每一块参考图像块对应的第一运动矢量，再参考第一运动矢量通过联合运动估计的方式获得相应的第二运动矢量，并以编码代价最小的第一运动矢量、第二运动矢量和最终预测块作为当前图像块最终的第一运动矢量、第二运动矢量和最终预测块，使得获得的当前图像块的最终预测块具有更高的准确性，且不会增大传输码流的码率。

Description

一种基于 P帧的多假设运动补偿编码方法 技术领域

本申请涉及视频编码技术领域， 具体涉及一种基于 P帧的多假设运 动补偿编码方法。

背景技术

目前， 主流的视频编码标准如 AVS、 H. 264、 HEVC等大多使用混合编 码框架， 由于综合使用了运动估计和运动补偿技术， 使得视频帧之间的 时域相关性获得了很好的利用， 视频的压缩效率得到了提高。

在传统的 P帧运动补偿方法中， 预测块只与经过运动估计之后获得 的单个运动矢量有关， 这使得得到的预测块的准确性并不是很高。 对于 如 B帧的双向运动补偿方法， 经过运动估计之后， 它获得前向和后向两 个运动矢量， 并相应的获得两个预测块， 最终预测块由两个预测块进行 加权求平均获得， 这使得得到的预测块更准确， 但由于需要在码流中传 入两个运动矢量， 使得码率增大。

发明内容

本申请提供一种可以在不增加码率的前提下， 提高 P帧运动补偿预 测块准确性的多假设运动补偿编码方法。

该基于 P帧的多假设运动补偿编码方法， 包括：

以当前图像块的相邻已编码图像块作为参考图像块， 分别将每一块 参考图像块的运动矢量作为当前图像块的第一运动矢量， 所述第一运动 矢量指向第一预测块。

分别以每一块参考图像块对应的第一运动矢量为参考值， 对当前图 像块进行联合运动估计获得每一块参考图像块对应的当前图像块的第二 运动矢量， 所述第二运动矢量指向第二预测块。

分别对每一块参考图像块对应的第一预测块和第二预测块进行加权 平均， 获得当前图像块的最终预测块。

计算以每一块参考图像块对应的第一运动矢量和第二运动矢量进行 编码时的编码代价， 将编码代价最小的第一运动矢量、 第二运动矢量和 最终预测块作为当前图像块最终的第一运动矢量、 第二运动矢量和最终 预测块。

在一具体实例中， 所述参考图像块选自当前图像块的相邻已编码图 像块中的两个图像块。

在某些实施例中， 分别对每一块参考图像块对应的第一预测块和第 二预测块进行加权平均， 获得当前图像块的最终预测块时， 第一预测块 和第二预测块的权重和为 1。 具体的， 第一预测块和第二预测块的权重 在某些实施例中， 在将编码代价最小的第一运动矢量、 第二运动矢 量和第三预测块作为当前图像块最终的第一运动矢量、 第二运动矢量和 最终预测块后， 还包括：

将当前图像块和最终预测块的残差信息、第一运动矢量的标识信息、 第二运动矢量加入到当前图像块的编码码流中， 所述第一运动矢量的标 识信息指向编码代价最小的第一运动矢量对应的参考图像块。

本申请提供的一种基于 P帧的多假设运动补偿编码方法， 以当前图 像块的相邻已编码图像块作为参考图像块， 获得每一块参考图像块对应 的第一运动矢量， 再参考第一运动矢量通过联合运动估计的方式获得相 应的第二运动矢量， 并以编码代价最小的第一运动矢量、 第二运动矢量 和最终预测块作为当前图像块最终的第一运动矢量、 第二运动矢量和最 终预测块， 使得获得的当前图像块的最终预测块具有更高的准确性， 且 不会增大传输码流的码率。

附图说明

下面结合附图和具体实施方式作进一步详细的说明。

图 1为本申请一种实施例中参考图像块的示意图；

图 2为本申请另一种实施例中参考图像块的示意图；

图 3为当前主流的视频编码标准釆用的编码框图；

图 4为本申请一种实施例中基于 P帧的多假设运动补偿编码方法流 程图；

图 5为本申请一种实施例中当前图像块的预测块的获取示意图； 图 6为本申请一种实施例中基于 P帧的多假设运动补偿编码方法相 应的解码框图。

具体实施方式

本申请实施例提供了一种基于 P帧的多假设运动补偿编码方法， 用 于视频编码技术领域。 本申请的发明构思在于， 综合 B帧和 P帧的运动 补偿方法的利弊， 提出一种基于 P帧的多假设运动补偿编码方法， 该方 法不仅利用视频帧之间的时域相关性， 还利用了空域相关性， 使得预测 块的准确性更高， 但同时又只需要在码流中传入一个运动矢量， 无需增 大码流码率。

在视频编码时， 通常将每一帧图像划分宏块， 每个宏块具有固定大 小， 从左上方的第一图像块开始依次按照从左往右、 从上往下的顺序依 次对一帧图像中的每一个图像块进行处理。 请参考图 1 , 例如将一帧图 像划分为 1 6 * 16像素的宏块（图像块）， 每一宏块的大小为 16 * 1 6像素， 对图像的处理顺序为， 先从左到右处理第一行的图像块， 然后再依次处 理第二行， 直到整帧图像被处理完毕。

2 假设图像块 P为当前图像块， 在某些实施例中， 在对当前图像块 P 进行运动补偿时， 以参考图像块的运动矢量作为参考值来计算当前图像 块的第一运动矢量。 由于帧图像中的每一个图像块与其相邻已编码图像 块具有最高的相似性， 因此， 一般的， 参考图像块釆用当前图像块的相 邻已编码图像块。 如图 1中， 当前图像块 P的参考图像块为 A、 B、 C、 D。

在某些实施例中， 参考图像块在选择时， 也可以选择当前图像块相 邻的上块、 右上块和左块图像块作为参考图像块， 例如图 1中当前图像 块 P的参考图像块为 、 B、 C ; 如果当前图像块的右上块图像块不存在 (当前图像块位于右边第一列时） 或者图像块 C不具有运动矢量时， 则 用当前图像块的左上块图像块来代替， 例如图 1中当前图像块 P的参考 图像块选为 A、 B、 D。

在某些实施例中， 在对图像块进行编码时还会将图像块再进一步划 分子图像块，例如将 1 6 * 1 6像素的图像块再划分为 4 * 4像素的子图像块， 请参考图 2。

本实施例中， 在获得当前图像块的第一运动矢量时， 以其相邻已编 码的子图像块作为参考图像块为例进行说明，为了便于对本申请的理解， 本实施例中将当前图像块的相邻已编码的子图像块统称为当前图像块的 相邻已编码图像块。

请参考图 3 , 为当前主流的视频编码标准釆用的编码框图。 对输入 的帧图像划分成若干宏块 （图像块） ， 然后对当前图像块进行帧内预测 (帧内编码） 或运动补偿 （帧间编码） ， 通过模式决策过程选择编码代 价最小的编码模式， 从而得到当前图像块的预测块， 当前图像块与预测 块相差得到残差值， 并对残差进行变换、 量化、 扫描和熵编码， 形成码 流序列输出。

在本申请中， 对其中的运动估计和运动补偿部分提出了改进。 在运 动估计部分， 以当前图像块的相邻已编码图像块作为参考图像块， 分别 将每一块参考图像块的运动矢量作为当前图像块的第一运动矢量， 再分 别以每一块参考图像块对应的第一运动矢量为参考值， 对当前图像块进 行联合运动估计获得每一块参考图像块对应的当前图像块的第二运动矢 量； 在运动补偿部分获得最终预测块时， 最终预测块由第一运动矢量和 第二运动矢量指向的第一预测块和第二预测块的加权平均获得。 之后， 再计算以每一块参考图像块对应的第一运动矢量和第二运动矢量进行编 码时的编码代价， 将编码代价最小的第一运动矢量、 第二运动矢量和最 终预测块作为当前图像块最终的第一运动矢量 MVL 1、第二运动矢量 MVL 2 和最终预测块 PL。 本申请实施例中， 在进行熵编码时， 只需要传输第一 运动矢量 MVL 1的标识信息、 一个运动矢量（MVL2 )及当前图像块与最终 预测块的残差信息即可， 不会增大传输码流的码率。 请参考图 4 , 本实施例提供了一种基于 P帧的多假设运动补偿编码 方法， 包括：

步骤 1 0 : 以当前图像块的相邻已编码图像块作为参考图像块， 分别 将每一块参考图像块的运动矢量作为当前图像块的第一运动矢量， 第一 运动矢量指向第一预测块。

步骤 20 : 分别以每一块参考图像块对应的第一运动矢量为参考值， 对当前图像块进行联合运动估计获得每一块参考图像块对应的当前图像 块的第二运动矢量， 第二运动矢量指向第二预测块。

步骤 30 : 分别对每一块参考图像块对应的第一预测块和第二预测块 进行加权平均， 获得当前图像块的最终预测块。

步骤 40 : 计算以每一块参考图像块对应的第一运动矢量和第二运动 矢量进行编码时的编码代价。

步骤 50 : 将编码代价最小的第一运动矢量、 第二运动矢量和最终预 测块作为当前图像块最终的第一运动矢量、第二运动矢量和最终预测块。

本实施例， 在步骤 1 0中， 请参考图 2 , 参考图像块选自当前图像块 的相邻已编码图像块中的两个图像块 A、 B , 在其它实施例中可以选择当 前图像块的部分其它相邻已编码图像块作为参考图像块， 或者将当前图 像块的所有相邻已编码图像块作为参考图像块。

当选择如图 2中的 A、 B作为参考图像块时， 相当于步骤 1 0中第一 运动矢量只包括两种选择： 第一运动矢量等于参考图像块 A的运动矢量 值， 或者等于参考图像块 B的运动矢量值。

在步骤 20中，对于第一运动矢量的两种选择，分别以该第一运动矢 量为参考值， 对当前图像块进行联合运动估计获得对应的当前图像块的 第二运动矢量。

本实施例中， 第二运动矢量 MVL2以第一运动矢量 MVL 1为参考值通 过联合运动估计的方式导出， 其具体导出公式可如公式 （1 ) 所示。

MVL2=f (MVL 1)…… ( 1 )

其中， f 是一个与第一运动矢量 MVL1有关的进行联合运动估计的函 数。

在本实例中， 第二运动矢量使用的联合运动估计的估计过程与常规 的运动估计过程一样 （例如常规的 B帧运动估计过程） ， 因此在此不再 赘述。由于本实施例中第二运动矢量 MVL2通过联合运动估计的方式导出 时参考了第一运动矢量 MVL 1 , 因此， 在求拉格朗日代价函数时， 在搜索 范围内使得如公式（ 2 )所示的拉格朗日代价函数最小的运动矢量即作为 第二运动矢量 MVL2。

J ( λ s ad, MVL2) =Ds ad (S, MVL2 , MVL1) + λ s ad*R (MVL2-MVL2pred)

…… （ 2 ) 其中， MVL2pred是 MVL2的预测值， R (MVL2_MVL2pred)表示编码运 动矢量残差的比特数， λ s ad 为 R (MVL2-MVL2pred)的一个权重系数， Dsad (S, MVL2, MVLl)表示当前图像块 S 与预测块的残差， 它可以由公式 ( 3 ) 进一步获取。

Dsad(S,MVL2,MVLl)=

^ |S(x,y)-(Sref(x+MVL2x,y+MVL2y)

(x,y)

+Sref(x+MVLlx,y+MVLly))»l I _{( 3 )}

其中， x、 y为当前图像块 S内的像素点在当前编码帧内的相对坐标 位置， MVLlx、 MVLly、 MVL2x、 MVL2y分别为 MVL1和 MVL2的水平和垂直 分量， Sref 代表参考帧。

请参考图 5 , 为本实施例中当前图像块的预测块的获取示意图， 其 中， 时间为 t-1的帧图像作为前向参考帧， 时间为 t的帧图像为当前编 码帧。 在步骤 30中对第一预测块 PL 1和第二预测块 PL 2进行加权平均 , 获得当前图像块 S的最终预测块 PL , 即 PL=aPLl+bPL2 , a、 b为加权系 数， a+b=l , 本实施例中， a=b=l /2 , 即第一预测块 PLl和第二预测块 PL2 的权重为 1 /2。

由于每一种选择中， 第一运动矢量和第二运动矢量都对应一个编码 代价， 因此， 在步骤 40中计算这两种选择的编码代价。

在步骤 50中，选择编码代价最小的第一运动矢量和第二运动矢量作 为当前图像块最终的第一运动矢量、 第二运动矢量和最终预测块。 即， 如果选择参考图像块 A的运动矢量作为第一运动矢量时的编码代价小于 选择参考图像块 B的运动矢量作为第一运动矢量时的编码代价时， 则当 前图像块最终的第一运动矢量、 第二运动矢量和最终预测块选择参考图 像块 A对应的第一运动矢量、 第二运动矢量和最终预测块， 反之， 当前 图像块最终的第一运动矢量、 第二运动矢量和最终预测块选择参考图像 块 B对应的第一运动矢量、 第二运动矢量和最终预测块。

本实施例中， 在将编码代价最小的第一运动矢量、 第二运动矢量和 第三预测块作为当前图像块最终的第一运动矢量、 第二运动矢量和最终 预测块后， 还包括： 将当前图像块和最终预测块的残差信息、 第一运动 矢量的标识信息、 第二运动矢量加入到当前图像块的编码码流中， 第一 运动矢量的标识信息指向编码代价最小的第一运动矢量对应的参考图像 块。 对于第一运动矢量标识信息中的的标识位， 用 G代表第一运动矢量 的值等于参考图像块 A的运动矢量值， 用 1代表第一运动矢量的值等于 参考图像 B的运动矢量值。

本实施例中， 由于编码码流中只包含一个运动矢量（第二运动矢量） 和第一运动矢量的标识信息， 因此， 本实施例提供的基于 P帧的多假设 运动补偿编码方法可以在不增大码流码率的前提下， 提高 P帧预测块的 准确性。

请参考图 6 , 为本实施例釆用的解码框图， 在解码端， 当码流输入 之后， 经过熵解码、 反量化、 反变换， 通过一选择器选择是帧内编码还 是帧间编码， 对于帧间编码， 通过解码信息和参考緩冲区中的重建帧获 得当前图像块的预测块， 再将预测块与残差块相加， 即得到重建块。 对 于本申请来说， 第一运动矢量可以通过熵解码后得到的标识信息， 再通 过推导求出， 具体推导过程见编码端中第一运动矢量的导出过程， 第二 运动矢量的值通过熵解码得到， 第一运动矢量和第二运动矢量分别在参 考重建帧上指向对应的第一预测块和第二预测块， 最终预测块由第一预 测块和第二预测块加权求平均得到。

在具体的编码过程中， 可以单独釆用本申请实施例中提供的多假设 运动补偿编码方法对 P帧进行编码， 也可以将该多 H没运动补偿编码方 法作为一种新的编码模式加入到 P帧的编码模式中，经过模式决策过程， 最终选择一种使得编码代价最小的编码模式对 P帧进行编码。

本领域技术人员可以理解， 上述实施方式中各种方法的全部或部分 步骤可以通过程序来指令相关硬件完成， 该程序可以存储于一计算机可 读存储介质中， 存储介质可以包括： 只读存储器、 随机存储器、 磁盘或 光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明， 不能认定本申请的具体实施只局限于这些说明。 对于本申请所属技术领 域的普通技术人员来说， 在不脱离本申请发明构思的前提下， 还可以做 出若干简单推演或替换。

Claims

权 利 要 求

1.一种基于 P帧的多假设运动补偿编码方法， 其特征在于， 包括： 以当前图像块的相邻已编码图像块作为参考图像块， 分别将每一块 参考图像块的运动矢量作为当前图像块的第一运动矢量， 所述第一运动 矢量指向第一预测块；

分别以每一块参考图像块对应的第一运动矢量为参考值， 对当前图 像块进行联合运动估计获得每一块参考图像块对应的当前图像块的第二 运动矢量， 所述第二运动矢量指向第二预测块；

分别对每一块参考图像块对应的第一预测块和第二预测块进行加权 平均， 获得当前图像块的最终预测块；

计算以每一块参考图像块对应的第一运动矢量和第二运动矢量进行 编码时的编码代价， 将编码代价最小的第一运动矢量、 第二运动矢量和 最终预测块作为当前图像块最终的第一运动矢量、 第二运动矢量和最终 预测块。

2.如权利要求 1所述的方法， 其特征在于， 所述参考图像块选自当 前图像块的相邻已编码图像块中的两个图像块。

3.如权利要求 1所述的方法， 其特征在于， 分别对每一块参考图像 块对应的第一预测块和第二预测块进行加权平均， 获得当前图像块的最 终预测块时， 第一预测块和第二预测块的权重和为 1。

4.如权利要求 3所述的方法， 其特征在于， 所述第一预测块和第二 预测块的权重各为 1 / 2。

5.如权利要求 1-4任一项所述的方法， 其特征在于， 在将编码代价 最小的第一运动矢量、 第二运动矢量和第三预测块作为当前图像块最终 的第一运动矢量、 第二运动矢量和最终预测块后， 还包括：

将当前图像块和最终预测块的残差信息、第一运动矢量的标识信息、 第二运动矢量加入到当前图像块的编码码流中， 所述第一运动矢量的标 识信息指向编码代价最小的第一运动矢量对应的参考图像块。