JP4763737B2 - ブロック予測方法 - Google Patents

Description

本発明は、動画符号化システムに係るもので、詳しくは、Ｂピクチャにおける改善されたダイレクトモードのブロック予測方法に関する。

一般に、動画符号化システムにおいて、Ｂピクチャを利用する最も大きな長所は、オーバーヘッド情報を付加しないダイレクト予測モードを他の予測モード（順方向予測、逆方向予測、両方向予測、イントラ予測等）に比べて多く選択することである。したがって、動画符号化システムは、Ｂピクチャを利用することで、Ｐピクチャのみを利用する時より高い符号化効率を得ることになる。

このようなＢピクチャにおいて、ダイレクトモードのブロック予測方法は、ダイレクトモードのための逆方向参照ピクチャと同一の位置にあるブロックが有する動きベクトルを利用して、ダイレクトモードの順方向動きベクトル及び逆方向動きベクトルを計算し、これら値を利用して動き補償値を得て、最終的に二つの動き補償値を平均演算して予測されたブロックを得る。

以下、このようなダイレクトモードのブロック予測方法に対して、図４を用いて説明する。
図４は従来のダイレクトモードのブロック予測方法を説明するためのピクチャパターンを示した図で、図示されたように、本ピクチャパターンは、実際のピクチャ情報のみで符号化されたＩピクチャ（図示せず）と、Ｉピクチャまたは以前のＰピクチャを利用して予測されたＰピクチャ（Ｐ１、Ｐ４、Ｐ７）と、ＩピクチャまたはＰピクチャを利用して順方向に予測されたＢピクチャ（Ｂ２、Ｂ３、Ｂ５、Ｂ６）とから構成されている。

まず、説明の便宜のために、図４に示された各パラメーターを説明する。
図中、ＴＲ_Dはダイレクトモードのための順方向参照ピクチャ（Ｐ１）とダイレクトモードのための逆方向参照ピクチャ（Ｐ７）間の時間的距離を示し、ＴＲ_Bはダイレクトモードのための順方向参照ピクチャ（Ｐ１）と現在のＢピクチャ（Ｂ５）間の時間的距離を示し、ＭＶはダイレクトモードのための逆方向参照ピクチャ（Ｐ７）と同一の位置にあるブロックが有する動きベクトルを示し、ＭＶ_fはダイレクトモードのための順方向参照ピクチャ（Ｐ１）を利用して求めたダイレクトモードの順方向動きベクトルを示し、ＭＶ_bはダイレクトモードのための逆方向参照ピクチャ（Ｐ７）を利用して求めたダイレクトモードの逆方向動きベクトルをそれぞれ示している。

以下、このような各パラメーターを利用して、ダイレクトモードのブロック予測方法に対して説明する。

まず、ダイレクトモードの順方向動きベクトル（ＭＶ_f）は、ダイレクトモードのための逆方向参照ピクチャ（Ｐ７）のブロック（Ｂ_s）の動きベクトル（ＭＶ）及びダイレクトモードのための逆方向参照ピクチャ（Ｐ７）が参照する参照ピクチャ、即ち、ダイレクトモードのための順方向参照ピクチャ（Ｐ１）を利用し、次式（１）を適用して求める。
ＭＶ_f＝ＴＲ_B×ＭＶ／ＴＲ_D −−−−−−−−−−−−式（１）

そして、ダイレクトモードの逆方向動きベクトル（ＭＶ_b）は、ダイレクトモードのための逆方向参照ピクチャ（Ｐ７）のブロック（Ｂ_s）が有する動きベクトル（ＭＶ）を利用し、次式（２）を適用して求める。
ＭＶ_b＝（ＴＲ_B−ＴＲ_D）ＭＶ／ＴＲ_D−−−−−−−−−−式（２）

従って、式（１）及び式（２）のような動きベクトル（ＭＶ_f、ＭＶ_b）を利用して動きが補償されたブロック（Ｂ_f）（Ｂ_b）を求めた後、次式（３）のように平均演算して現在符号化しようとするＢピクチャのブロック（Ｂ_c）を予測（Ｂ_c'）する。
Ｂ_c’＝（Ｂ_f＋Ｂ_b）／２ −−−−−−−−−−−−−−式（３）

然るに、このような従来のダイレクトモードのブロック予測方法においては、ダイレクトモードのための逆方向参照ピクチャの現在のブロックと同一の位置にあるブロックが有する動きベクトルを利用してダイレクトモードの順方向動きベクトルを求めるため、この値はＢピクチャの現在のブロックの正確な動きベクトルにはなれず、近似値に過ぎないという不都合な点があった。

且つ、時間的にＢピクチャに近い参照ピクチャであるほど、Ｂピクチャとの類似性が高くなるが、それにもかかわらず、参照ピクチャ間の時間的距離を考慮しないで、単純に各順方向及び逆方向の動きが補償されたブロックの平均でブロック予測をするため、その予測されたブロックの正確度が低下されるという不都合な点があった。

特に、フェーディングシーンのある画像では、連続された各Ｂピクチャの明るさが徐々に暗くなったり、または、反対に明るくなるため、従来の各方向の動きが補償されたブロックを単純に平均して得た予測値は、実際の値と大きな差を示すこととなる。したがって、システム全体の符号化効率が大幅に低下する。

本発明は、このような従来の課題に鑑みてなされたもので、ダイレクトモードのための逆方向参照ピクチャと同一の位置にあるブロックが有する動きベクトルを利用してダイレクトモードの順方向動きベクトルを求め、次いで、動きが補償された各ブロック値に対して補間予測を適用して予測されたブロックを得ることで、一層向上した符号化効率を有するダイレクトモードのブロック予測方法を提供することを目的とする。

且つ、現在符号化又は復号しようとするＢピクチャと類似性の確率が高く、最も近い距離に位置した参照ピクチャを利用してダイレクトモードの順方向動きベクトルを求め、次いで、動きが補償された各ブロック値に対して補間予測を適用して予測されたブロックを得ることで、その予測されたブロックの正確度を高めることができ、一層向上した符号化効率を有するダイレクトモードのブロック予測方法を提供することを目的とする。

このような目的を達成するため、本発明に係る改善されたダイレクトモードのブロック予測方法においては、双予測ピクチャの順方向動きベクトルを求めるステップと、双予測ピクチャの逆方向動きベクトルを求めるステップと、順方向動きベクトル及び順方向参照ピクチャを用いて順方向動き補償ブロックを得るステップと、逆方向動きベクトル及び逆方向参照ピクチャを用いて逆方向動き補償ブロックを得るステップと、第１の係数が適用された順方向動き補償ブロック及び第２の係数が適用された逆方向動き補償ブロックを用いて双予測ピクチャの現在のブロックを予想するステップを有し、順方向動きベクトル及び逆方向動きベクトルは、第１の時間的距離及び第２の時間的距離に基づいて、逆方向参照ピクチャにおける同一位置のブロックの動きベクトルから計算されることを特徴とする。

このような目的を達成するため、本発明に係る改善されたダイレクトモードのブロック予測方法においては、現在符号化又は復号しようとするＢピクチャのブロック予測方法において、Ｂピクチャに対して、現在符号化又は復号しようとするダイレクトモードの順方向及び逆方向動きベクトルを求める第１段階と、その第１段階で求めた順方向及び逆方向の動きベクトルを利用して動きが補償されたブロック（Ｂ_f，Ｂ_b）を求める第２段階と、その第２段階で求めた動きが補償されたブロックに対して予測補間を適用して、現在符号化又は復号しようとするＢピクチャのブロックを予測する第３段階とを順次行うことを特徴とする。

本発明は、ダイレクトモードのための逆方向参照ピクチャと同一の位置にあるブロックが有する動きベクトルを利用してダイレクトモードの順方向動きベクトルを求め、次いで、動きが補償された各ブロック値に対して補間予測を適用して予測されたブロックを得ることで、従来のダイレクトモードより一層向上した符号化効率を有するという効果がある。

且つ、現在符号化又は復号しようとするＢピクチャと類似性の確率が高く、最も近い距離に位置した参照ピクチャを利用してダイレクトモードの順方向動きベクトルを求め、次いで、動きが補償された各ブロック値に対して補間予測を適用して予測されたブロックを得ることで、予測されたブロックの正確度を向上させることができ、一層向上され符号化効率を有するという効果がある。

以下、本発明の実施形態について説明する。本実施形態に係るダイレクトモードのブロック予測方法においては、ダイレクトモードのための逆方向参照ピクチャと同一の位置にあるブロックが有する動きベクトルを利用して、ダイレクトモードの順方向動きベクトル及び逆方向動きベクトルを計算し、これら値を利用して動き補償値を得て、最終的に、二つの動き補償値を補間演算して予測されたブロックを得ている。

且つ、ダイレクトモードのための逆方向参照ピクチャを利用して逆方向動きベクトルを計算し、現在符号化しようとする順方向参照ピクチャ中、最も近い距離の参照ピクチャを利用してダイレクトモードの順方向動きベクトルを計算し、これら値を利用して動き補償値を得て、最終的に、二つの動き補償値を補間演算して予測されたブロックを得る。

図１は、本発明実施形態に係るダイレクトモードのブロック予測方法を説明するためのピクチャパターンを示した図で、図示されたように、本ピクチャパターンは、実際のピクチャ情報のみで符号化されたＩピクチャ（図示せず）と、そのＩピクチャまたは以前のＰピクチャを利用して予測されたＰピクチャ（Ｐ１、Ｐ４、Ｐ７）と、ＩピクチャまたはＰピクチャを利用して順方向に予測されたＢピクチャ（Ｂ２、Ｂ３、Ｂ５、Ｂ６）とから構成されている。

説明の便宜のため、図１に示された各パラメーターを先に説明すると、ＴＲ_Dはダイレクトモードのための順方向参照ピクチャ（Ｐ１）とダイレクトモードのための逆方向参照ピクチャ（Ｐ７）間の時間的距離を示し、ＴＲ_Bはダイレクトモードのための順方向参照ピクチャ（Ｐ１）と現在のＢピクチャ（Ｂ５）間の時間的距離を示し、ＴＲ_NはＢピクチャから最も近い距離にある参照ピクチャ（Ｐ４）とＢピクチャ間の時間的距離を示し、ＭＶはダイレクトモードのための逆方向参照ピクチャ（Ｐ７）が有する動きベクトルを示し、ＭＶ_f'はＢピクチャから最も近い距離にある参照ピクチャ（Ｐ４）を利用して求めたダイレクトモードの順方向動きベクトルを示し、ＭＶ_Bはダイレクトモードのための逆方向参照ピクチャ（Ｐ７）を利用して求めたダイレクトモードの逆方向動きベクトルをそれぞれ示している。

この時、現在符号化しようとするＢピクチャのブロック（Ｂ_C）とダイレクトモードのための逆方向参照ピクチャ（Ｐ７）と同一の位置にあるブロック（Ｂ_S）が有する動きベクトル（ＭＶ）は、Ｂピクチャが符号化又は復号される前に、既にダイレクトモードのための逆方向参照ピクチャを符号化又は復号する過程で求めた値である。

以下、このように構成された本発明に係るダイレクトモードのブロック予測方法に対して説明する。

まず、順方向参照ピクチャ中、時間的距離が最も近い参照ピクチャを利用して、順方向動きベクトル（ＭＶ_f'）を次式（４）の演算を行って求める。
ＭＶ_f'＝ＴＲ_N×ＭＶ／ＴＲ_D −−−−−−−−−式（４）

そして、ダイレクトモードのための逆方向参照ピクチャ（Ｐ７）を利用して、逆方向動きベクトル（ＭＶ_b）を従来と同様に式（２）の演算で求める。
ＭＶ_b＝（ＴＲ_B−ＴＲ_D）ＭＶ／ＴＲ_D −−−−−−式（２）

これに従って、式（２）及び式（４）により求めた動きベクトル（ＭＶ_f'、ＭＶ_b）を利用して動きが補償されたブロック（Ｂ_f，Ｂ_b）を求める。

一方、Ｂピクチャの元の画像のブロック（Ｂ_c）に対する予測値（Ｂ_c'）は、動きが補償された二つのブロック（Ｂ_f，Ｂ_b）を利用して求められる。この時、Ｂピクチャは、動きが補償されたブロック（Ｂ_f）が存在する参照ピクチャと動きが補償されたブロック（Ｂ_b）が存在するダイレクトモードのための逆方向参照ピクチャの何れか一つのより近い方のピクチャに位置させることができる。

本実施形態に係るダイレクトモードのブロック予測方法は、図４と図１の全てに適用することができるため、前記動きが補償されたブロック（Ｂ_f）が存在する参照ピクチャは、ダイレクトモードのための順方向参照ピクチャ（例えば、図４ではＰ１ピクチャ）またはＢピクチャから最も近い参照ピクチャ（例えば、図１ではＰ４ピクチャ）である。

フェーディングシーンのある映像においては、連続されたＢピクチャが徐々に暗くなったり、または、反対に明るくなったりする。したがって、従来のように各方向の動きが補償されたブロック（Ｂ_f，Ｂ_b）を単純に平均して得た予測値は、実際に入力された値と大きな差を示すようになる。これは、符号化効率を大きく低下させる要因になる。

これに対して、本実施形態に係るダイレクトモードのブロック予測方法は、ダイレクトモードにより予測されたブロックの正確度を向上させるために、平均演算の代わりに、Ｂピクチャと動きが補償されたブロック（Ｂ_f）が存在する参照ピクチャ（即ち、ダイレクトモードのための順方向参照ピクチャまたはＢピクチャから最も近い参照ピクチャ）、そしてダイレクトモードのための逆方向参照ピクチャ間の時間的距離を考慮した補間予測を行う。

図２に示されたように、従来ダイレクトモードの順方向動きベクトルを求めた場合、動きが補償されたブロック（Ｂ_f）はダイレクトモードのための順方向参照ピクチャ（Ｐ１）に存在し、動きが補償されたブロック（Ｂ_b）はダイレクトモードのための逆方向参照ピクチャ（Ｐ７）に存在するため、次式（５）のような補間予測が実行される。この時、ＴＲ_Dはダイレクトモードのための順方向参照ピクチャ（Ｐ１）とダイレクトモードのための逆方向参照ピクチャ（Ｐ７）間の時間的距離、ＴＲ_Bはダイレクトモードのための順方向参照ピクチャ（Ｐ１）と現在のＢピクチャ（Ｂ５）間の時間的距離をそれぞれ示したものである。このような補間予測方法は、従来の平均演算も含むことになるが、その場合、Ｂピクチャは、ダイレクトモードのための順方向参照ピクチャとダイレクトモードのための逆方向参照ピクチャ間の中央に位置する。
Ｂ_c'＝Ｂ_f×（ＴＲ_D−ＴＲ_B）／ＴＲ_D＋Ｂ_b×ＴＲ_B／ＴＲ_D −−−式（５）

また、図３に示されたように、本発明に係るダイレクトモードの順方向動きベクトルを求める場合、動きが補償されたブロック（Ｂ_f）はＢピクチャから最も近い参照ピクチャ（Ｐ４）に存在し、動きが補償されたブロック（Ｂ_b）はダイレクトモードのための逆方向参照ピクチャ（Ｐ７）に存在することになって、次式（６）のような補間予測が実行される。この時、ＴＲ_Dはダイレクトモードのための順方向参照ピクチャ（Ｐ１）とダイレクトモードのための逆方向参照ピクチャ（Ｐ７）間の時間的距離、ＴＲ_Bはダイレクトモードのための順方向参照ピクチャ（Ｐ１）と現在のＢピクチャ間の時間的距離、ＴＲ_NはＢピクチャから最も近い距離にある参照ピクチャ（Ｐ４）とＢピクチャ間の時間的距離である。
Ｂ_c'＝Ｂ_f×（ＴＲ_D−ＴＲ_B）／（ＴＲ_N＋ＴＲ_D−ＴＲ_B）
＋Ｂ_b×ＴＲ_N／（ＴＲ_N＋ＴＲ_D−ＴＲ_B） −−−−−式（６）

一方、各ピクチャは、ディスプレー順序情報のピクチャ順序カウンタ値（picture order count）を利用して表現することができる。

従って、前記式（５）及び式（６）は、各ピクチャのディスプレー順序情報のピクチャ順序カウンタ値を利用して、次式（７）で表現することができる。この時、Ｔ_cは現在のＢピクチャに割り当てられたディスプレー順序情報のピクチャ順序カウンタ値、Ｔ_fはダイレクトモードのための順方向参照ピクチャに割り当てられたディスプレー順序情報のピクチャ順序カウンタ値または前記式（４）によりダイレクトモードの順方向動きベクトルを求めた場合には、Ｂピクチャから最も近い参照ピクチャに割り当てられたディスプレー順序情報のピクチャ順序カウンタ値、Ｔ_bはダイレクトモードのための逆方向参照ピクチャに割り当てられたディスプレー順序情報のピクチャ順序カウンタ値をそれぞれ示している。
Ｂ_c'＝Ｂ_f（Ｔ_b−Ｔ_c）／（Ｔ_b−Ｔ_f）
＋Ｂ_b（Ｔ_c−Ｔ_f）／（Ｔ_b−Ｔ_f） −−−−−式（７）
（Ｔ_b−Ｔ_c）＋（Ｔ_c−Ｔ_f）＝（Ｔ_b−Ｔ_f）であることから、上記の式（７）によれば、ダイレクトモードの順方向動きベクトルにより動きが補償されたブロックＢ_fの係数である［（Ｔ_b−Ｔ_c）／（Ｔ_b−Ｔ_f）］が大きくなれば、逆方向動きベクトルにより動きが補償されたブロックＢ_bの係数［（Ｔ_c−Ｔ_f）／（Ｔ_b−Ｔ_f）］が小さくなり、また、係数［（Ｔ_b−Ｔ_c）／（Ｔ_b−Ｔ_f）］が小さくなれば、係数［（Ｔ_c−Ｔ_f）／（Ｔ_b−Ｔ_f）］が大きくなることが理解される。これは、時間的距離が離れ、（Ｔ_c−Ｔ_f）または（Ｔ_b−Ｔ_c）が大きくなるにつれて、Ｂ_fまたはＢ_bの係数は小さくなり、したがって、Ｂ_c'に対するＢ_fおよびＢ_bの影響がそれぞれ小さくなることを意味している。

本発明実施形態に係るダイレクトモードのブロック予測方法を説明するためのピクチャパターンを示した図である。 本発明に係る補間予測方法の第１実施形態を説明するためのピクチャパターンを示した図である。 本発明に係る補間予測方法の第２実施形態を説明するためのピクチャパターンを示した図である。 従来ダイレクトモードのブロック予測方法を説明するためのピクチャパターンを示した図である。

符号の説明

Ｐ１、Ｐ４、Ｐ７ Ｐピクチャ
Ｂ２、Ｂ３、Ｂ５、Ｂ６ Ｂピクチャ

Claims (1)

1. ダイレクトモードにおいて符号化又は復号化しようとする双予測ピクチャの現在のブロックの予測方法において、
   前記双予測ピクチャの順方向動きベクトルを求めるステップと、
   前記双予測ピクチャの逆方向動きベクトルを求めるステップと、
   前記順方向動きベクトル及び順方向参照ピクチャを用いて順方向動き補償ブロックを得るステップと、
   前記逆方向動きベクトル及び逆方向参照ピクチャを用いて逆方向動き補償ブロックを得るステップと、
   第１の係数が適用された前記順方向動き補償ブロック及び第２の係数が適用された前記逆方向動き補償ブロックを用いて双予測ピクチャの現在のブロックを予想するステップとを有し、
   前記順方向動きベクトル及び前記逆方向動きベクトルは、第１の時間的距離及び第２の時間的距離に基づいて、前記逆方向参照ピクチャにおける同一位置のブロックの動きベクトルから計算され、
   前記第１の時間的距離は、前記双予測ピクチャのピクチャ順序カウンタと前記順方向参照ピクチャのピクチャ順序カウンタとの差に基づいて計算され、及び前記第２の時間的距離は、前記順方向参照ピクチャのピクチャ順序カウンタと前記逆方向参照ピクチャのピクチャ順序カウンタとの差に基づいて計算され、
   前記第１の係数は、前記順方向参照ピクチャのピクチャ順序カウンタと前記逆方向参照ピクチャのピクチャ順序カウンタに基づいて計算され、及び前記第２の係数は、前記双予測ピクチャのピクチャ順序カウンタと前記順方向参照ピクチャのピクチャ順序カウンタに基づいて計算される、
   ことを特徴とするブロック予測方法。

Images