WO2012097552A1

WO2012097552A1 - 一种p帧双向预测方法及装置

Info

Publication number: WO2012097552A1
Application number: PCT/CN2011/073584
Authority: WO
Inventors: 舒倩
Original assignee: 深圳市融创天下科技股份有限公司
Priority date: 2011-01-17
Filing date: 2011-04-29
Publication date: 2012-07-26
Also published as: CN102595125A; CN102595125B

Abstract

本发明提出一种P帧双向预测方法及装置，对存在镜头推进的视频源，通过对当前编码帧的一个参考帧进行双向变换，并利用其进行双向预测从而达到优化当前编码帧的压缩效果。此方法，一方面可以缓解由于对镜头推进判定不准确或者采用不合适的采样率，而产生的制约P帧预测参考帧变换技术性能的问题，另一方面可以利用一个前向参考帧达到对当前编码P帧进行前后双向预测的效果。低帧率时，帧与帧之间的镜头变化更大，此时采用本发明的P帧预测方法，压缩性能的提升将更为显著。

Description

一种 P帧双向预测及装置技术领域

本发明涉及视频编码领域，尤其涉及一种 P帧双向预测方法及装置。背景技术

目前在视频编码中，通常使用帧内预测来消除图像的空间冗余度，使用帧间预测来消除时间冗余度。其中视频源的帧间信息冗余度相比较于帧内的要大得多，这就使得帧间编码方法在视频编码中显得极为重要。

帧间预测根据预测方向的不同分为： P帧预测和 B帧预测。目前主流的 P 帧预测方法采用前向已编码的帧作为当前编码帧的参考帧，利用两者之间的相似性，压缩当前编码帧的信息。而主流的 B帧预测方法则采用前向已编码的帧以及后向已编码的帧，分别作为当前编码 B帧的前后向参考帧，利用当前编码 B帧与前后向参考帧之间的相似性，压缩当前编码 B帧的信息。由于 P帧预测仅使用前向预测，而 B 帧预测方法使用了前后向双向预测技术，从而使得 P 帧预测比 B帧预测的压缩率低。发明内容

本发明的目的在于提出一种 P帧双向预测方法及装置，旨在解决现有技术中 P帧预测仅使用前向预测导致的压缩率低的问题。

为解决上述问题，本发明提出一种 P帧双向预测方法，该方法包括：步骤 101 : 确定第一参考帧与当前编码帧的关系；若为镜头拉近则执行步骤 102；

步骤 102 : 对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧；

步骤 103 : 判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数，若是则执行步骤 104; 若否则执行步骤 105;

步骤 104: 对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，执行步骤 106 ;

步骤 105 : 对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；执行步骤 106 ;

步骤 106 :判断是否第一、第二当前参考帧都存在，若是则利用所述第一、第二当前参考帧对当前编码帧进行双向预测；若否则用第一参考帧对当前编码帧进行常规预测。其中，所述步骤 101中，进一步包括：若是镜头推远则执行步骤 107; 步骤 107: 对第一参考帧进行处理，得到第八参考帧，并将第一当前参考帧设置为第八参考帧；执行步骤 108;

步骤 108; 判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数，若是则执行步骤 109; 若否则执行步骤 110;

步骤 109: 对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十参考帧，执行步骤 106;

步骤 110: 对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧；执行步骤 106。本发明还提出了一种 P帧双向预测装置，所述装置包括：

第一判断单元，用于确定第一参考帧与当前编码帧的关系；

镜头拉近单元包括：第一处理单元，第二处理单元，第三处理单元；所述第一处理单元，用于当第一参考帧与当前编码帧的关系为镜头拉近时则对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧，则第二判断单元进行判断；

第二处理单元，用于当判断单元判断出所述均方差小于第一参数，则对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，由预测单元进行处理；

第三处理单元，用于判断单元判断出所述均方差大于等于第一参数，则对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；

第二判断单元，用于判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数；

预测单元，用于判断否第一、第二当前参考帧都存在，若是则利用所述第一、第二当前参考帧对当前编码帧进行双向预测；若否则用第一参考帧对当前编码帧进行常规预测。

其中，所述装置进一步包括镜头推远单元，该单元包括：第四处理单元，第五处理单元，第六处理单元；

第四处理单元，用于当第一参考帧与当前编码帧的关系为镜头推远时则对第一参考帧进行处理得到第八参考帧，并将第一当前参考帧设置为第八参考帧，则第二判断单元进行判断；

第五处理单元，用于当判断单元判断出所述均方差小于第一参数，则对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十参考帧；

第六处理单元，用于当判断单元判断出所述均方差大于等于第一参数，则对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十本发明产生的有益技术效果是：提出一种 P帧双向预测方法及装置，对存在镜头推进的视频源，通过对当前编码帧的一个参考帧进行双向变换，并利用其进行双向预测从而达到优化当前编码帧的压缩效果。

本发明一方面可以缓解由于对镜头推进判定不准确或者采用不合适的采样率，而产生的制约 P帧预测参考帧变换技术性能的问题，另一方面可以利用一个前向参考帧达到对当前编码 P帧进行前后双向预测的效果。低帧率时，帧与帧之间的镜头变化更大，此时采用本发明的 P帧预测方法，压缩性能的提升将更为显著。附图说明

图 1是实施例 1的方法流程图。

图 2是实施例 2的装置结构图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。实施例 1，本发明实施例提出了一种新的 P帧双向预测方法，参见图 1，该方法主要应用于 P帧预测，具体为：

步骤 101 : 确定第一参考帧 rei (该第一参考帧可以为参考帧列表中任

i述关系为镜头拉近则执行;

^:述关系为镜头推远则执行步骤 107 ; 若不存在镜头拉近或者镜

进行处理，得到第三参考帧 <；对第二参考帧 ref进行处理的方法可以为：将第二参考帧 ref进行边界像素删除，获取第三参考帧 <，使得第三参考帧 r<与第一参考帧 rei;具有相同的分辨率;相应的可以将第一当前参考帧设置为第三参考帧 relT ; 该方法进一步对第二参考帧进行了像素删除，使得第一当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中将第二参考帧 ref进行边界像素删除，获取第三参考帧 _r<的方法可以为：

re (m, n) = re¾ (m+d_ heifht ,n + d_ vAdth )

d _ width = (m_ width _ o _ width) 12

d _ height = (m_ height _ o _ height) 12

其中¹ 为第二参考帧， refi"为第三参考帧， ⁰-^她、 o-height为! ^第一参考帧的列数与行数， ^m-^width'、 m_ height为！ · 的列数与行数， _m、 _n为参考帧像素的行标号与列标号；步骤 103: 判断第一参考帧 rei与当前编码帧 frame像素差值的均方差是否小于第一参数，若是则执行步骤 104; 若否则执行步骤 105;

if std(re¾(m,n)- frame(m,n)) < Thres ^ 进入步骤 104.

else 进入步骤 105;

其中 std: 求均方差；

^ ^(m' ⁿ⁾: 第 i个参考帧¹^第 m行 n列的像素值；

frame(m,n)：当前编码帧 frame第 _n

列的像素值；

Thres: 相应判定阈值，即预置的第一参数。步骤 104: 对第一参考帧 rei进行处理，得到第四参考帧 r<'，并将第二当前参考帧 cmr—rei¹设置为第四参考帧 π ，执行步骤 106;

该步骤 104中对第一参考帧 rei进行处理得到第四参考帧的方法可以为对第一参考帧 rei进行下采样；

该步骤 104中可以在获取第四参考帧 < '后进一步对第四参考帧¹"^ "进行处理，得到第五参考帧 relf ;对第四参考帧 ^fefi' "进行处理获得第五参考帧 relf的方法可以是：对第四参考帧 < '进行边界像素填充扩展，获得第五参考帧，使得第五参考帧与第一参考帧 rei;具有相同的分辨率；该方法进一步对第四参考帧进行了像素扩展，使得第二当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中对第四参考帧 ^fefi' "进行边界像素填充扩充的方法可以为：

列填充： refj (m,0) 0< n-< d_ width'

refj (m,n) ref (m, n) d _ width < n -< o_ width -d_ width

ref (m,o_ width - 1) o width -d width < n -< o width

行填充: re (0, n) ， 0≤ m - < d_ height

ref「 (m, n) = < re (m, n) , d _ height ≤ n -< o_ height- d _ height

re (o _ height- l,n) , o— height- d _ height ≤ n -< o_ height

其中 r<'为第四参考帧、、 o-height为第一参考帧的列数与行数， m_width'"、 m_height '为！ " 第四参考帧 r<的列数与行数， _m、 _n为参考帧像素的行标号与列标号；为第五参考帧；

d _ width = (o_ width - m_ width )12

d _ height = (o _ height- m_ height )12 步骤 105: 对第一参考帧 rei进行处理，得到第六参考帧 ref), 并将第二当前参考帧 cmr— rei¹设置为第六参考帧 rel ), 执行步骤 106;

该步骤 105 中对第一参考帧 rei进行处理得到第六参考帧 rel )方法可以为：更换采样率对第一参考帧 re 进行上采样，得到第六参考帧 rei;⁽⁵⁾ _;

该步骤 105 中在得到第六参考帧 re )后可以进一步对第六参考帧 ref'进行处理，得到第七参考帧 ref ⁶), 使得第七参考帧 ref ⁶)与第一参考帧 rei具有相同的分辨率；并相应的将第二当前参考帧设置为第七参考帧 rei ); 进入步骤 106;

其中对第六参考帧 rei )进行处理，得到第七参考帧 rei )的方法可以为：对第六参考帧 rei )进行边界像素删除：

ref (m, n) = ref (m+d_ heifht^p)， n + d _ width^p) )

其中¹ "^e )为第七参考帧、 re )为第六参考帧、。- width、。_height为第一参考帧 ^的列数与行数， m-width^ m_h_eigh_t«_¾ ef) 的列数与行数、 ^(⁶)为第七参考帧； m、 n为参考帧像素的行标号与列标号；

d _ width⁽⁵⁾ = (m_ width⁽⁵⁾— o _ width) 12，

d _ heigh t(⁵) = (m_ height⁽⁵⁾ _ o _ height) 12.

该方法进一步对第六参考帧进行了像素删除使得第二当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容。步骤 106:判断是否第一、第二当前参考帧（_CUrr__refi°、 curr— rei¹)都存在，若是则利用第一、第二当前参考帧（c_Urr__rei;°、 curr— rei;¹)对当前编码帧进行双向预测，结束；若否则用第一 I

if (curr _ ref^ & &curr _ ref存在)

curr re ;°和 π ，对当前编码帧 frame进行双向 p帧预测，结束。

else 利用对当前编码帧 frame进行常规 p帧预测，结束。

其中，

: 第一当前参考帧，即更新处理后 0方向的第 i个参考帧; ^Curr-^re^: 第二当前参考帧，即更新处理后 1方向的第 i个参考帧。步骤 107: 对第一参考帧 rei进行处理，得到第八参考帧 ref ⁷) , 并将第一当前参考帧设置为第八参考帧 rel )；执行步骤 108;

该步骤 107中，对第一参考帧 rei进行处理得到第八参考帧 rel )的方法可以为：对第一参考帧 rei;进行下采样，得到第八参考帧 rei;⁽⁷⁾ _;

该步骤 107 中，得到第八参考帧 re )后可以进一步对第八参考帧 rei;(⁷⁾进行像素填充扩展，获得第九参考帧 re ); 并相应的将第一参考帧 rei是设置为第九参考帧 rei ); 该方法进一步对对第八参考帧进行了像素扩展，使得第一当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中对第八参考帧 re )进行像素填充扩展，获得第九参考帧 re )的方法可以为：

列填充：

O o) 0≤n^d_width⁽⁷⁾

O n) O n) d _ width⁽⁷⁾≤ n -< o_ width _ d _ width⁽⁷⁾

(m, o _ width o _ width -d _ width⁽⁷⁾≤ n -< o_ width

行填充：

re^⁽⁷⁾(0,n) 0≤m-<d_height⁽⁷⁾

O n) ref⁽⁷⁾(m,n) d _ height⁽⁷⁾≤ n -< o_ height- d _ height⁽⁷

ref '(o_ height o _ height- d _ height*⁷)≤ n -< o_ height

F(8)

其中为第九参考 ^ '为第八参考帧、 o— width、 o— height为第参考帧 ^reS的列数与行数，

m_hei_ght(⁷)为 ref

第九参考帧； m、 n为参考帧像素的行标号与列标号;

d_width⁽⁷⁾ = (o _ width - m_ width⁽⁷⁾ ) / 2，

d _ height⁽⁷⁾ = (o _ height- m_ heigh t(⁷) ) 12 步骤 108: 判断第一参考帧 rei与当前编码帧 frame像素差值的均方差是否小于第一参数，若是则执行步骤 109; 若否则执行步骤 110;

if

frame(m，n))<Thres，进入步骤 109. else 进入步骤 110;

其中 std: 求均方差；

r^el^^(m'ⁿ⁾: 当第 i个参考帧¹ ^第 ^m行 ⁿ列的像素值；

frame(m,n)：当前编码帧 frame第 n

列的像素值；

Thres: 相应判定阈值，即预置的第一参数。步骤 109: 对第一参考帧 rei进行处理，得到第十参考帧 rel ),并将第二当前参考帧 curr— rei;¹设置为第十参考帧 rel ), 执行步骤 106;

该步骤 109中：对第一参考帧 rei进行处理得到第十参考帧 ref ⁹)方法可以为：对第一参考帧 rei;上采样；

该步骤 109中，在得到第十参考帧 re )后，可以进一步对第十参考帧 rei;⁽⁹⁾ 进行处理，获得第 ^一参考帧 rel ⁵), 使得第 ^一参考帧 rel^)与第一参考帧 rei 具有相同的分辨率；相应的将第二当前参考帧 cmrjei¹设置为第十一参考帧 ref ；其中对第一参考帧 rei;进行处理，获得第十一参考帧 rel ⁵)的方法可以为对第十参考帧进行边界像素删除；该方法进一步对第十参考帧进行了像素删除，使得第二当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中对第一参考帧 re 进行边界像素删除，获得第十一参考帧 rel ⁵)的方法可以为：

ref ¹⁰) (m, n) = ref ⁹) (m+ d _ heifht⁽⁹⁾， n + d _ width⁽⁹⁾ )

其中^ 为第十一参考帧、 re )为第十参考帧、 o— width、 o_height为第一参考帧的列数与行数， ^m- ^^ώ m_ height为 ) 的列数与行数； ^(⁹) 为第十参考帧； rei^)为第十一参考帧； _m、 n为参考帧像素的行标号与列标号; d _ width⁽⁹⁾ = (m_ width⁽⁹⁾— o _ width) 12，

d_ height⁰³) = (m_ height⁰³) _ o _ height) / 2 步骤 110: 对第一参考帧 rei进行处理，得到第十二参考帧 ref ¹¹)，并将第二当前参考帧 cmr— rei;¹设置为第十二参考帧 π^¹¹), 执行步骤 106;

该步骤 110中，对第一参考帧 rei进行处理，得到第十二参考帧 ref ¹¹)的方法可以为：更换采样率对第一参考帧 rei进行下采样；

该步骤 110 中，得到第十二参考帧 re ¹)后可以进一步对第十二参考帧 re ¹)进行边界像素填充扩展，得到第十三参考帧 ref²); 使得第十三参考帧 re ²)与第一参考帧 rei具有相同的分辨率；相应的将第二当前参考帧 curr 设置为第十三参考帧 ref ¹²),进入步骤 106; 该方法进一步对第十二参考帧进行了像素扩展，使得第二当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中，对第十二参考帧 re ¹)进行像素填充扩展，得到第十三参考帧 I

方法可以为：

列填充：

Ο ο) 0≤n^d_width⁽¹¹⁾

O n) O n) d _ width⁽¹¹⁾≤ n-< o_ width- d _ width⁽¹¹⁾

ref™ (m,o_ width -1) o width -d width⁽¹¹⁾≤ n -< o width 行填充：

re ⁽¹¹⁾ (0,n) , 0≤ m d _ height⁽¹¹⁾

O n) re ⁽¹¹⁾ (m,n) , d _ height⁽¹¹⁾≤ n o _ height- d _ height⁽¹¹⁾

[r ef ¹¹) (o _ height- l,n) , o _ height- d _ height⁽¹¹⁾≤n-<o_ height 其中¹ "^efi(¹²⁾为第十三参考帧、 ^refi(^U)为第十二参考帧、 o— width、 o-height为

(H)

第一参考帧 r 的列数与行数， m—widthd" ^m-^heig^ht 为的列数与行数；

1)为第十二参考帧； ^{rc 2})为第十三参: •帧； m、 n为参考帧像素的行标号与列标号；

d _ width⁽¹¹⁾ = (o _ width- m_ width⁽¹¹⁾ ) / 2，

d _ height⁽¹¹⁾ = (o _ height- m_ height⁽¹¹⁾ ) 12

实施例 2，本发明实施例还提供了一种 P帧双向预测装置，参见图 2，该装置包括：

第一判断单元，用于确定第一参考帧与当前编码帧的关系；

镜头拉近单元包括：第一处理单元，第二处理单元，第三处理单元；第一处理单元，用于当第一参考帧与当前编码帧的关系为镜头拉近时则对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧，则第二判断单元进行判断；

第一处理单元中对第一参考帧进行处理，得到第二参考帧具体为：对第一参考帧进行上采样，得到第二参考帧；

第一处理单元还可以用于：得到第二参考帧后，进一步对第二参考帧进行处理，得到第三参考帧；相应的，将第一当前参考帧设置为第三参考帧；

对第二参考帧进行处理，得到第三参考帧具体为：将第二参考帧进行边界像素删除，获取第三参考帧，使得第三参考帧与第一参考帧具有相同的分辨率; 将第二参考帧进行边界像素删除方法具体为：

re (m, n) = ref (m+d_ heifht ,n + d_ vwdth )

其中 '为第二参考帧， ^<为第三参考帧， 0-Width、 o_ height为 ^第一参考帧的列数与行数， ^m-^width'、 m_ height为！的列数与行数， _m、 _n为参贞像素的行标号与列标号；

d _ width = (m_ width _ o _ width) 12

d _ height = (m_ height _ o _ height) 12 第二处理单元，用于当判断单元判断出均方差小于第一参数，则对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，由预测单元进行处理；

第二处理单元中对第一参考帧进行处理，得到第四参考帧具体为：对第一参考帧进行下采样，得到第四参考帧。

第二处理单元还可以进一步用于，得到第四参考帧后，进一步对第四参考帧进行处理，得到第五参考帧；相应的，将第二当前参考帧设置为第五参考帧; 对第四参考帧进行处理，得到第五参考帧具体为：对第四参考帧进行边界像素填充扩展，获取第五参考帧，使得第五参考帧与第一参考帧具有相同的分辨率；

对第四帧进行边界像素填充扩具体为：

列填充:

refj (m,0) 0≤ n -< d _ width'

refj (m, n) ref (m, n) d _ width ≤ n -< o_ width - d _ width

ref (m,o_ width - 1) o width - d width ≤ n -< o width

行填充: re (0, n) ， 0 < m - < d _ height

ref「 (m, n) = re (m, n) , d _ height < n -< o_ height- d _ height

re (o _ height- l,n) , o— height- d _ height < n -< o_ height

其中¹^" '为第四参考帧、 _r<"为第五参考帧、 0— width、 o_height为！ ^第— 贞的列数与行数， m- ^dth'^ "^^^^'为¹^" '第四参考帧的列数与行数 m、 _n为参帧像素的行标号与标号；

d _ width = (o _ width - m_ width ) 12

d _ height = (o _ height- m_ height )12 第三处理单元，用于判断单元判断出均方差大于等于第一参数，则对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；第三处理单元中，对第一参考帧进行处理，得到第六参考帧具体为：更换采样率对第一参考帧进行上采样，得到第六参考帧；

第三处理单元还看可以进一步用于，对第一参考帧进行处理，得到第六参考帧后进一步对第六参考帧进行处理，得到第七参考帧，使得第七参考帧与第一参考帧具有相同的分辨率；相应的将第二当前参考帧设置为第七参考帧；对第六参考帧进行处理，得到第七参考帧具体为：对第六参考帧进行边界像素删除；进行边界像素删除具体为：

re¾⁽⁶⁾ (m, n) = re¾⁽⁵⁾ (m+ d _ heifht⁽⁵⁾， n + d _ width⁽⁵⁾ )

其中^ (⁶)为第七参考帧、 ^(⁵)为第六参考帧、 0-Wdth、 o_heigh_t为第一参考帧 r 的列数与行数， m_ width«、 m_heigh ^为 ref ) 的列数与行数； _m、 _n为参考帧像素的行标号与列标号；

d _ width⁽⁵⁾ = (m_ width⁽⁵⁾— o _ width) 12，

d _ heigh t(⁵) = (m_ height⁽⁵⁾ _ o _ height) 12 第二判断单元，用于判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数；

预测单元，用于判断否第一、第二当前参考帧都存在，若是则利用第一、第二当前参考帧对当前编码帧进行双向预测，结束；若否则用第一参考帧对当前编码帧进行常规预测，结束。在以上实施例的基础上，本发明还可以进一步包括镜头推远单元，该单元包括：第四处理单元，第五处理单元，第六处理单元；

第四处理单元，用于当第一参考帧与当前编码帧的关系为镜头推远时则对第一参考帧进行处理得到第八 i 帧，并将第一当前参考帧设置为第八参考帧，则第二判断单元进行判断;

第四处理单元中，对第一参贞进行处理得到第八参帧具体为：对第一参考帧进行下采样，得到第八帧。

第四处理单元还可以进一步用于得到第八参考帧后，进一步对第八参 ^帧进行像素填充扩展，获得第九参考帧；并相应的将第一参考帧设置为第九帧；

对第八参考帧进行像素填充扩展，获得第九参考帧的方法具体为：列填充：

Ο ο) 0≤n ^ d _ width⁽⁷⁾

O n) O n) d _ width⁽⁷⁾≤ n -< o_ width _ d _ width⁽⁷

' (m, o _ width o width - d width⁽⁷⁾≤ n -< o width 行填充：

re ⁽⁷⁾ (0,n) , 0≤ m d _ height⁽⁷⁾

O n) ref ⁷) (m, n) , d _ height⁽⁷⁾≤n -< o_ height- d _ height⁽⁷⁾ refj¹ ') (o _ height- 1, n) , o _ height- d _ heigh t(⁷⁾≤ n -< o_ height 其中 re^)为第九参考帧、 re¾(⁷)为第八参考帧、。- width、。_height为 ^第考帧的列数与行数， m- ^dth^ ^m-^heig^ht 为¹^ '的列数与行数； _m、 _n为帧像素的行标号与列标号；

d _ width⁽⁷⁾ = (o _ width - m_ width⁽⁷⁾ ) / 2，

d _ height⁽⁷⁾ = (o _ height- m_ heigh t(⁷) ) 12 第五处理单元，用于当判断单元判断出均方差小于第一参数，则对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十参考帧；第五处理单元中，对第一参考帧进行处理得到第十参考帧具体为：对第一参考帧上采样。

第五才处理单元还可以进一步用于对第十参考帧进行边界像素删除，得到第十一参考帧，使得第一参考帧与第十一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十一参考帧；

对第十参考帧进行边界像素删除，得到第十一参考帧具体为：

其中为第十一参考帧、 i )为第十参考帧、。― width、 _Q_height为 ^ 第一参考帧的列数与行数， m_ width m_heigh ^为 ) 的列数与行数； _m、 _n为参考帧像素的行标号与列标号；

d _ width⁽⁹⁾ = (m_ width⁽⁹⁾— o _ width) 12，

d _ height⁰³) = (m_ height⁰³) _ o _ height) / 2 第六处理单元，用于当判断单元判断出均方差大于等于第一参数，则对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧。

第六处理单元中，对第一参考帧进行处理，得到第十二参考帧具体为：更换采样率对第一参考帧进行下采样。

第六处理单元进一步用于：得到第十二参考帧后进一步对第十二参考帧进行边界像素填充扩展，得到第十三参考帧，使得第十三参考帧与第一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十三参考帧；

对第十二参考帧进行边界像素填充扩展，得到第十三参考帧具体为：列填充：

' Ο θ) , 0≤n ^ d _ width⁽¹¹⁾

Γ6^⁽¹²⁾(ηι,η) = ] Γ6^⁽¹¹⁾(ηι,η) , d _ width⁽¹¹⁾≤ η ^ ο_ width - d _ width⁽¹¹⁾

ref ¹¹) (r¾ o_ width— 1) , o _ width - d _ width⁽¹¹⁾≤ n -< o _ width 行填充： re^⁽¹¹⁾(0,n) 0≤m ^ d _height⁽¹¹⁾

O n) O n) d _ height⁽¹¹⁾≤n -< o_ height- d _ height⁽¹¹ re^⁽¹¹⁾(o_ height- l,n) o _ height- d _ height⁽¹¹⁾≤ n -< o_ height 其中¹ "^efi 为第十三参考帧、 ^refi 为第十二参考帧、 o— width、 o-height为第一参考帧^的列数与行数， ^m- width^、 ^m-^hei§^ht(n)为 refi(^U)的列数与行数； m、 n为参考帧像素的行标号与列标号；

d _ width⁽¹¹⁾ = (o _ width- m_ width⁽¹¹⁾ ) / 2，

d _ height⁽¹¹⁾ = (o _ height- m_ height⁽¹¹⁾ ) / 2。本发明实施例提出一种新的 P帧预测装置。该装置对存在镜头推进的视频源，通过对当前编码帧的一个参考帧进行双向变换，并利用其进行双向预测从而达到优化当前编码帧的压縮效果；一方面该装置可以缓解由于对镜头推进判定不准确或者采用不合适的采样率，而产生的制约 P帧预测参考帧变换技术性能的问题，另一方面可以利用一个前向参考帧达到对当前编码 P帧进行前后双向预测的效果。低帧率时，帧与帧之间的镜头变化更大，此时采用本发明的 P 帧预测方法，压縮性能的提升将更为显著。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为 R0M、 RAM, 磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

权利要求

1、一种 P帧双向预测方法，其特征在于，该方法包括：

步骤 101 : 确定第一参考帧与当前编码帧的关系；若为镜头拉近则执行步骤 102；

步骤 103: 判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数，若是则执行步骤 104; 若否则执行步骤 105;

步骤 104: 对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，执行步骤 106;

步骤 105: 对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；执行步骤 106;

步骤 106:判断是否第一、第二当前参考帧都存在，若是则利用所述第一、第二当前参考帧对当前编码帧进行双向预测；若否则用第一参考帧对当前编码帧进行常规预测。

2、根据权利要求 1所述的 P帧双向预测方法，其特征在于，所述步骤 101 中，进一步包括：若是镜头推远则执行步骤 107;

步骤 107: 对第一参考帧进行处理，得到第八参考帧，并将第一当前参考帧设置为第八参考帧；执行步骤 108;

步骤 110: 对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧；执行步骤 106。

3、根据权利要求 1所述的 P帧双向预测方法，其特征在于，所述步骤 102 : 对第一参考帧进行处理，得到第二参考帧具体为：对第一参考帧进行上采样，得到第二参考帧。

4、根据权利要求 1所述的 P帧双向预测方法，其特征在于，所述步骤 102 中，得到所述第二参考帧后，进一步对第二参考帧进行处理，得到第三参考帧; 相应的，将第一当前参考帧设置为第三参考帧，进入步骤 103。

5、根据权利要求 4所述的 P帧双向预测方法，其特征在于，所述步骤 102 中：进一步对第二参考帧进行处理，得到第三参考帧具体为：将第二参考帧进行边界像素删除，获取第三参考帧，使得第三参考帧与第一参考帧具有相同的分辨率。

6、根据权利要求 5所述的 P帧双向预测方法，其特征在于，所述步骤 102 中：将第二参考帧进行边界像素删除方法具体为：

re (m, n) = re¾ (m+ d _ heifht ,n + d _ width )

其中为第二参考帧， ^<为第三参考帧， ⁰- ^她、 o-height为第一参考帧的列数与行数， ^m-^width'、 m_ height为！ · 的列数与行数， _m、 _n为参考帧像素的行标号与列标号；

d _ width = (m_ width _ o _ width) 12

d _ height = (m_ height _ o _ height) 12

7、根据权利要求 1所述的 P帧双向预测方法，其特征在于，

中：对第一参考帧进行处理，得到第四参考帧具体为：对第一参帧进行下采样，得到第四参考帧。

8、根据权利要求 1所述的 P帧双向预测方法，其特征在于，

中：得到所述的第四参考帧后，进一步对第四参考帧进行处理，得到第五参考帧；相应的，将第二当前参考帧设置为第五参考帧，进入步骤 106。

9、根据权利要求 8所述的 P帧双向预测方法，其特征在于，所述步骤 104 中：对第四参考帧进行处理，得到第五参考帧具体为：

对第四参考帧进行边界像素填充扩展，获取第五参考帧，使得第五参考帧与第一参考帧具有相同的分辨率。

10、根据权利要求 9所述的 P帧双向预测方法，其特征在于，所述步骤 104中：对第四参考帧进行边界像素填充扩具体为：

列填充:

refj (m,0) 0≤ n -< d _ width

refj (m, n) ref (m, n) d _ width ≤ n -< o_ width - d _ width

ref (m,o_ width - 1) o width - d width ≤ n -< o width

行填充: ref「 (0, n) ， 0≤ m - < d _ height

ref「 (m, n) = < ref「 (m, n) , d _ height ≤ n -< o_ height- d _ height

ref「 (o _ height- l,n) , o— height- d _ height ≤ n -< o_ height

其中¹^" '为第四参考帧、 _r<"为第五参考帧、 0— width、 o_height为！ ^第— 贞的列数与行数， m- ^dth'^ "^^^^'为¹^" '第四参考帧的列数与行数 m _n为参帧像素的行标号与标号；

d _ width = (o _ width - m_ width ) 12

d _ height = (o _ height- m_ height )12

11、根据权利要求 1所述的 P帧双向预测方法，其特征在于，所述步骤 105中：对第一参考帧进行处理，得到第六参考帧具体为：更换采样率对第一参考帧进行上采样，得到第六参考帧。

12、根据权利要求 11所述的 P帧双向预测方法，其特征在于，所述步骤 105中：对第一参考帧进行处理，得到第六参考帧后进一步对第六参考帧进行处理，得到第七参考帧，使得第七参考帧与第一参考帧具有相同的分辨率；相应的将第二当前参考帧设置为第七参考帧；进入步骤 106。

13、根据权利要求 12所述的 P帧双向预测方法，其特征在于，所述步骤

105中：对第六参考帧进行处理，得到第七参考帧具体为：对第六参考帧进行边界像素删除；所述进行边界像素删除具体为：

re¾⁽⁶⁾ ((mm,, nn)) == rree¾f⁽⁵⁾ ((mm++dd__ hheeiiffhhtt^(p5))，, nn ++ dd _ width⁽⁵⁾ )

为第七参考帧、为第六参考帧、 0-Wdth、 o_heigh_t为第考帧 r 的列数与行数， m_ width' m_ height为 ref) 的列数与行数； _m、参考帧像素的行标号与列标号；

d _ width⁽⁵⁾ = (m_ width⁽⁵⁾— o _ width) 12，

d _ heigh t(⁵) = (m_ height⁽⁵⁾ _ o _ height) 12

14、根据权利要求 2所述的 P帧双向预测方法，其特征在于，所述步骤 107中：对第一参考帧进行处理得到第八参考帧具体为：对第一参 ^ 帧进行下采样，得到第八参考帧。

15、根据权利要求 14所述的 P帧双向预测方法，其特征在于，

107中：得到第八参考帧后，进一步对第八参考帧进行像素填充扩展，获得第九参考帧；并相应的将第一参考帧设置为第九参考帧；

所述对第八参考帧进行像素填充扩展，获得第九参考帧的方法具体为：列填充：

O o) 0≤n^d_width⁽⁷⁾

O n) O n) d _ width⁽⁷⁾≤ n -< o_ width _ d _ width⁽⁷⁾

' (m, o _ width o width -d width⁽⁷⁾≤ n -< o width 行填充:

reO 0≤m-<d_height⁽⁷⁾

O n) O n) d _ height⁽⁷⁾≤n-<o_ height- d _ height⁽⁷⁾

'(o_ height- 1, n) o _ height- d _ height"⁷)≤ n -< o_ height 其中 r^e 为第九参考帧、 re '为第八参考帧、。- width、。_height为第一帧 ^的列数与行数， m-^d ^ ^m-^heig^ht(⁷ r )的列数与行数； _m、 _n

的行标号与列标号；

d _ width⁽⁷⁾ =(o_ width— m_ width⁽⁷⁾ ) 12 d—height") = (o _ height- m_ height ) / 2

16、根据权利要求 2所述的 P帧双向预测方法，其特征在于，所述步骤 109中：对第一参考帧进行处理得到第十参考帧具体为：对第一参考帧上采样。

17、根据权利要求 16所述的 P帧双向预测方法，其特征在于，所述步骤

109 中，进一步对第十参考帧进行边界像素删除，得到第十一参考帧，使得第一参考帧与第十一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十一参考帧；

所述对第十参考帧进行边界像素删除，得到第十一参考帧具体为： re¾⁽¹⁰⁾ (m, n) = re¾⁽⁹⁾ (m+ d _ heifht⁽⁹⁾， n + d _ width⁽⁹⁾ )

其中 r^efi⁽¹°)为第十一参考帧、 ^refi(⁹)为第十参考帧、 o— width、 o_height为第

'(9)

一参考帧 ^re 的歹 lj数与行数， ^m- width 、 m_height⁽⁹⁾为 ref m _n为参考帧像素的行标号与列标号；

d _ width⁽⁹⁾ = (m_ width⁽⁹⁾— o _ width) 12，

d _ height⁰³) = (m_ height⁰³) _ o _ height) / 2

18、根据权利要求 2所述的 P帧双向预测方法，其特征在于，所述步骤 110 中：对第一参考帧进行处理，得到第十二参考帧具体为：更换采样率对第一参考帧进行下采样。

19、根据权利要求 18所述的 P帧双向预测方法，其特征在于，所述步骤 110中：得到第十二参考帧后进一步对第十二参考帧进行边界像素填充扩展，得到第十三参考帧，使得第十三参考帧与第一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十三参考帧；进入步骤 106 ;

所述对第十二参考帧进行边界像素填充扩展，得到第十三参考帧具体为：列填充：

Ο ο) 0≤n ^ d _ width⁽¹¹⁾

O n) = O n) d _ width⁽¹¹⁾≤ n -< o_ width- d _ width⁽¹

O o_ width o _ width - d _ width⁽¹¹⁾≤ n -< o_ width 行填充：

Γε^⁽¹¹⁾(0,η) 0≤m ^ d _height⁽¹¹⁾

Γε^⁽¹²⁾(ηι,η) = O n) d _ height⁽¹¹⁾≤n -< o_ height- d _ height⁽¹¹

o _ height- d _ height⁽¹¹⁾≤ n -< o_ height 其中¹ ^ 为第十三参考帧、 ^rd; 为第十二参考帧、。- ^^dth、。- height为第一参考帧 r 的列数与行数， m_ width^、 m_height⁽¹¹⁾为 fef¹)的列数与行数； m、 n为参考帧像素的行标号与列标号；

d _ width⁽¹¹⁾ = (o _ width- m_ width⁽¹¹⁾ ) / 2，

d _ height⁽¹¹⁾ = (o _ height- m_ height⁽¹¹⁾ ) / 2。

20、根据权利要求 1所述的 P帧双向预测方法，其特征在于，所述步骤 101中进一步包括：若不存在镜头拉近或推远则执行步骤 106。

21、一种 P帧双向预测装置，其特征在于，所述装置包括：

第一判断单元，用于确定第一参考帧与当前编码帧的关系；

镜头拉近单元，包括第一处理单元、第二处理单元和第三处理单元；其中，所述第一处理单元，用于当第一参考帧与当前编码帧的关系为镜头拉近时则对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧，则第二判断单元进行判断；

所述第二处理单元，用于当判断单元判断出所述均方差小于第一参数，则对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，由预测单元进行处理；

所述第三处理单元，用于判断单元判断出所述均方差大于等于第一参数，则对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；

22、根据权利要求 21所述的 P帧双向预测装置，其特征在于，所述装置进一步包括镜头推远单元，该单元包括第四处理单元、第五处理单元和第六处理单元；

所述第四处理单元，用于当第一参考帧与当前编码帧的关系为镜头推远时则对第一参考帧进行处理得到第八参考帧，并将第一当前参考帧设置为第八参考帧，则第二判断单元进行判断；

所述第五处理单元，用于当判断单元判断出所述均方差小于第一参数，则对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十所述第六处理单元，用于当判断单元判断出所述均方差大于等于第一参数，则对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧。

23、根据权利要求 21所述的 P帧双向预测装置，其特征在于，所述第一处理单元中对第一参考帧进行处理，得到第二参考帧具体为：对第一参考帧进行上采样，得到第二参考帧。

24、根据权利要求 21所述的 P帧双向预测装置，其特征在于，所述第一处理单元进一步用于，得到所述第二参考帧后，进一步对第二参考帧进行处理，得到第三参考帧；相应的，将第一当前参考帧设置为第三参考帧；

所述对第二参考帧进行处理，得到第三参考帧具体为：将第二参考帧进行边界像素删除，获取第三参考帧，使得第三参考帧与第一参考帧具有相同的分所述将第二参考帧进行边界像素删除方法具体为：

re (m, n) = ref (m+ d _ heifht ,n + d _ vwdth )

其中 '为第二参考帧， r<

参考帧的列数与行数， ^m_^w]

考帧像素的行标号与列标号；

d _ width = (m_ width _ o _ width) 12

d _ height = (m_ height _ o _ height) 12

25、根据权利要求 21所述的 P

处理单元中对第一参考帧进行处理，

行下采样，得到第四参考帧。

26、根据权利要求 21所述的 P帧双向预测装置，其特征在于，所述第二处理单元进一步用于：得到所述的第四参考帧后，进一步对第四参考帧进行处理，得到第五参考帧；相应的，将第二当前参考帧设置为第五参考帧；

所述对第四参考帧进行处理，得到第五参考帧具体为：对第四参考帧进行边界像素填充扩展，获取第五参考帧，使得第五参考帧与第一参考帧具有相同的分辨率；

所述对第四 ί 帧进行边界像素填充扩具体为：

列填充：

refj (m,0) 0≤ n -< d _ width

refj (m, n) ref (m, n) d _ width ≤ n -< o_ width - d _ width

refj (m,o_ width - 1) o width - d width ≤ n -< o width

行填充： ref「 (0, n) ， 0≤ m - < d _ height

ref「 (m, n) = < ref「 (m, n) , d _ height ≤ n -< o_ height- d _ height

ref「 (o _ height- l,n) , o— height- d _ height ≤ n -< o_ height

其中¹^" '为第四参考帧、 _r<"为第五参考帧、 0— width、 o_height为 ^第一帧的列数与行数， m- ^dth'^ "^^^^'为¹^" '第四参考帧的列数与行数， m _n为参帧像素的行标号与标号；

d _ width = (o _ width - m_ width ) 12

d _ height = (o _ height- m_ height )12

27、根据权利要求 21所述的 P帧双向预测装置，其特征在于，所述第三处理单元中，对第一参考帧进行处理，得到第六参考帧具体为：更换采样率对第一参考帧进行上采样，得到第六参考帧。

28、根据权利要求 21所述的 P帧双向预测装置，其特征在于，所述第三处理单元进一步用于，对第一参考帧进行处理，得到第六参考帧后进一步对第六参考帧进行处理，得到第七参考帧，使得第七参考帧与第一参考帧具有相同的分辨率；相应的将第二当前参考帧设置为第七参考帧；

所述对第六参考帧进行处理，得到第七参考帧具体为：对第六参考帧进行边界像素删除；所述进行边界像素删除具体为：

re¾⁽⁶⁾ (m, n) = re¾⁽⁵⁾ (m+d_ heifht⁽⁵⁾， n + d _ width⁽⁵⁾ )

其中¹ "^e '为第七参考帧、 ^rc '为第六参考帧、 0-Wdth、 o_heigh_t为第一考帧 r 的列数与行数， m_width«、 m_heigh ^为 ref ) 的列数与行数； _m、 _n为参考帧像素的行标号与列标号；

d _ width⁽⁵⁾ = (m_ width' -o_width)/2

d_ heigh t⁽⁵⁾ = (m_ height⁵)—o_ height)/ 2

29、根据权利要求 22所述的 P帧双向预测 $ ；置，其特征在于，） i述第四处理单元中，对第一参考帧进行处理得到第八参 ^ 帧具体为：对第一 ^考帧进行下采样，得到第八参考帧。

30、根据权利要求 22所述的 P帧双向预测装置，其特征在于，所述第四处理单元，进一步用于得到第八参考帧后，进一步对第八参考帧进行像素填充扩展，获得第九参考帧；并相应的将第一参考帧设置为第九参考帧；

所述对第八; 帧进行像素填充扩展，获得第九参考帧的方法具体为：列填充：

Ο ο) 0≤n-<d width' (7)

Ο η) = O n) d_width⁽ '≤ n -< o _ width- d _ width (7)

' (m, o _ width o width -d width⁽⁷⁾≤ n -< o width 行填充:

re ⁽⁷⁾ (0,n) , 0≤ m d _ height⁽⁷⁾

O n) ref ⁷) (m,n) , d_ height⁽⁷⁾≤n-<o_ height- d _ height⁽⁷⁾

-(V) height- 1, n) , o _ height- d _ height⁽⁷⁾≤ n -< o _ height 其中 re^)为第九参考帧、 ^refi(⁷)为第八参考帧、 0-Width、 o_height为的列数与行数， m-^d ^ ^^ ^为¹"^⁷)的列数与行数； _m、 n为参考帧像素的行标号与列标号；

d_width⁽⁷⁾ = (o _ width - m_ width⁽⁷⁾ ) / 2，

d _ height⁽⁷⁾ = (o _ height- m_ heigh t(⁷) ) 12

31、根据权利要求 22所述的 P帧双向预测装置，其特征在于，所述第五处理单元中，对第一参考帧进行处理得到第十参考帧具体为：对第一参考帧上采样。

32、根据权利要求 22所述的 P帧双向预测装置，其特征在于，所述第五处理单元，进一步用于对第十参考帧进行边界像素删除，得到第十一参考帧，使得第一参考帧与第十一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十一参考帧；

其中¹ 为第十一参考帧、 re )为第十参考帧、。- width、。_height为第一参考帧¹ ^的列数与行数， m-

m_hei_ght e (⁹) 的列数与行数； _m、 _n为参考帧像素的行标号与列标号；

d _ width⁽⁹⁾ = (m_ width⁽⁹⁾— o _ width) 12，

d _ height⁰³) = (m_ height⁰³) _ o _ height) / 2

33、根据权利要求 22所述的 P帧双向预测装置，其特征在于，所述第六处理单元中，对第一参考帧进行处理，得到第十二参考帧具体为：更换采样率对第一参考帧进行下采样。

34、根据权利要求 22所述的 P帧双向预测装置，其特征在于，所述第六处理单元进一步用于：得到第十二参考帧后进一步对第十二参考帧进行边界像素填充扩展，得到第十三参考帧，使得第十三参考帧与第一参考帧具有相同的

^^彭辛率 ·

相应的将第二当前参考帧设置为第十三参考帧；

所述对第十二「帧进行边界像素填充扩展，得到第十三参考帧具体为: 列填充：

O o) 0≤n ^ d _ width⁽¹¹⁾

O n) O n) d _ width⁽¹¹⁾≤ n -< o_ width- d _ width⁽¹

) (m, o _ width o _ width - d _ width⁽¹¹⁾≤ n -< o_ width 行填充：

reC ) 0≤m ^ d _height⁽¹¹⁾

O n) O n) d _ height⁽¹¹⁾≤n -< o_ height- d _ height⁽¹¹ re^⁽¹¹⁾(o_ height o _ height- d _ height⁽¹¹⁾≤ n -< o_ height 其中¹ "^efi 为第十三参考帧、 ^refi 为第十二参考帧、。- ^^dth、。- height为第一参考帧^的列数与行数， ^m- width^、 ^m-^hei§^ht(n)为 refi(^U)的列数与行数； m、 n为参考帧像素的行标号与列标号；

d _ width⁽¹¹⁾ = (o _ width- m_ width⁽¹¹⁾ ) / 2，

d _height⁽¹¹⁾ = (o _ height- m_ height⁽¹¹⁾ ) / 2