JP5576048B2 - 直接モード符号化及び復号化方法 - Google Patents

Description

本発明は、動画符号化及び復号化に関し、特に、動画の直接モード符号化及び復号化方法に関する。

国際標準化機構／国際電気標準会議第一合同技術委員会（ＩＳＯ／ＩＥＣ ＪＴＣ１）で定義したＭＰＥＧ−１、ＭＰＥＧ−２、及びＭＰＥＧ−４、及び国際電気通信連合（ＩＴＵ−Ｔ）が提唱したＨ．２６ｘ標準などのような映像圧縮国際標準によれば、現在のピクチャの動きを予測符号化するにあたり、過去のピクチャを参照するＰピクチャ符号化方法と、過去のピクチャ及び未来のピクチャをすべて参照するＢピクチャ符号化方法とがある。また、符号化効率を高めるためには、現在のブロックの動きベクトルをそのまま符号化するのではなく、時空間的に隣接ブロックの動きベクトルとの関連性を反映するように、隣接ブロックの動きベクトルを用いて予測符号化を行う。
したがって、映像の符号化効率を向上させるためには、動きベクトルの正確性及びこれに伴う動き予測エラーの最小化が重要であり、また、動きベクトルデータの圧縮効率も考慮すべきである。

動きベクトルデータの圧縮効率を考慮した従来の方法の１つの例に、直接モード符号化方法がある。これは、時間軸直接モード(temporal direct mode)と空間軸直接モード（spatial direct mode）とに大別することができる。時間軸直接モード符号化方法は、現在のピクチャより時間的に後に位置するバックワード参照ピクチャの同一の位置ブロックが有している動きベクトルが時間的に現在のピクチャに対してバックワード参照ピクチャと正反対方向に位置するフォワード参照ピクチャを示す場合には、その動きベクトルをスケーリングすることにより現在のピクチャの対応するブロックの双方向動きベクトルを導出するものである。空間軸直接モード符号化方法は、現在のピクチャ内で符号化するブロックの空間的な隣接ブロックが有している動きベクトルを取得し、この取得された動きベクトルから双方向動きベクトルを導出する方法である。この２種類の直接モード符号化方法は、動きベクトルを復号化器に送信する必要がないために、相当に高い符号化効率を示す。以下、添付の図面を参照して従来技術の直接モード符号化方法について詳細に説明する。

図１は、一般的な動画符号化での時間軸直接モード符号化方法を示す図である。図１を参照すると、従来技術の時間軸直接モード符号化方法は、下記の式（１）及び式（２）を用いて、バックワード参照ピクチャの同一の位置ブロックから取得した動きベクトルを時間的な距離に対して同等にスケーリングすることにより、双方向動きベクトルを導出する。

この式（１）及び（２）において、ＴＤ_Ｐは、フォワード参照ピクチャからバックワード参照ピクチャまでの時間軸上の距離を示す。ＴＤ_Ｂは、現在の映像からフォワード参照ピクチャまでの時間軸上の距離を示す。ｍｖＦｗ_Ｐは、バックワード参照ピクチャの同一の位置ブロックが有している動きベクトルとして現在のピクチャに対してバックワードと正反対方向にあるフォワード参照ピクチャを示す動きベクトルである。上述した式（１）からの計算結果であるｍｖＦｗ_Ｂは、現在のピクチャのブロックに対するフォワード動きベクトルである。
上述した式（２）において、ＴＤ_Ｐ、ＴＤ_Ｂ、及びｍｖＦｗ_ｐは、式（１）で表現した意味と同一である。式（２）からの計算結果であるｍｖＢｗ_Ｂは、現在のピクチャのブロックがバックワード参照ピクチャを示す動きベクトルである。

上述した式（１）及び式（２）を用いる時間軸直接モード符号化方法において、映像の時間軸相関度が映像の空間軸相関度より大きい場合には、符号化効率は、低くなる。また、バックワード参照ピクチャの同一の位置ブロックがイントラブロックとして符号化される場合には、動きベクトルがないために、このような符号化は、直接モード動きベクトルの算出の際に非効率的である。

図２は、一般的な動画符号化での空間軸直接モード符号化方法を示す図である。図２を参照すると、従来技術の空間軸直接モード符号化方法は、時間軸動きベクトル相関度でない隣接ブロックの空間軸動きベクトル相関度も使用する。このような方法は、下記式（３）及び式（４）を用いて、現在のピクチャのブロックに対して空間的に隣接ブロックから動きベクトルを取得し、現在のブロックに対する双方向動きベクトルを導出する。

上述した式（３）において、変数Ａ_Ｆｗ、Ｂ_Ｆｗ、及びＣ_Ｆｗは、符号化が終了したブロックのフォワード動きベクトルであり、符号化されるブロックに空間的に隣接したブロックのフォワード動きベクトルを意味する。図２をさらに参照すると、Ａ_Ｆｗフォワード動きベクトルは、空間軸に対して、現在のブロックの左側にあり、Ｂ_Ｆｗフォワード動きベクトルは、現在のブロックの上側にあり、Ｃ_Ｆｗフォワード動きベクトルは、現在のブロックの右上側にある。また、ｍｅｄｉａｎは、中央値関数を意味し、この関数は、一般的に降順又は昇順に整列された入力値の中の中央値を出力する。式（３）からの計算結果は、現在のピクチャのブロックに対するフォワード動きベクトル、すなわち、ｍｖＦｗ_Ｂである。

上述した式（４）において、変数Ａ_Ｂｗ、Ｂ_Ｂｗ、及びＣ_Ｂｗは、符号化が終了したブロックのバックワード動きベクトルであり、符号化されるブロックに空間的に隣接したブロックのバックワード動きベクトルを意味する。ここで、Ａ_Ｂｗバックワード動きベクトルは、空間軸に対して、現在のブロックの左側にあり、Ｂ_Ｂｗは、現在のブロックの上側にあり、Ｃ_Ｂｗは、現在のブロックの右上側にある。ｍｅｄｉａｎは、上述した式（３）で説明したような機能をする関数である。式（４）からの計算結果は、現在のピクチャのブロックに対するバックワード動きベクトル、すなわち、ｍｖＢｗ_Ｂである。

上述したような時間軸又は空間軸直接モード符号化方法は、時間軸又は空間軸相関度の特性を用いてその特性に従って映像の動きを予測することができる。したがって、動きベクトル自体を符号化する必要がなく、ブロックの残余値及びブロック情報だけを符号化することにより、動きベクトルのビット量を相当に減少させることができる。
上述したように、時間軸相関度及び空間軸相関度を用いる従来技術の直接モード符号化方法は、動きベクトルを送信する必要がないために、双方向予測でビット量を効率的に減少させることができる。しかしながら、時間軸に対して、現在のピクチャとバックワード参照ピクチャとの間の距離が遠くなる場合には、動きベクトルを導出することにより予測性能が低下する問題点がある。また、バックワード参照ピクチャの対応するブロックがイントラブロックとして符号化される場合にも、これをただ（０，０）動きベクトルとして見なすことにより直接モードの動きベクトルを算出する。また、フォワード参照ピクチャとバックワード参照ピクチャとの間の映像の動き特性がバックワード動きベクトルによって主に決定されない場合には、相関度が低い動きベクトルが使用されるため、残余値も増加し、これにより、符号化効率が相当に低下する問題点があった。

韓国特許出願公開第２００４−００９６４１４号公報（韓国特許出願第２００３−７０１５５０４号）

したがって、本発明は、上述した従来技術の問題点を解決するために提案されたものであり、その目的は、直接モード符号化でより正確な動きベクトルを導出することにより残余値に必要とされるビット量を減少させ、これにより、効率的な直接モード符号化を行うことができる選択的な直接モード符号化方法及びその復号化方法を提供することにある。
本発明の他の目的は、映像の相関度特性を考慮して直接モードから最適のモードを選択することにより効率的な動きベクトル符号化を行うことができる直接モード符号化方法及びその復号化方法を提供することにある。

上記のような目的を達成するために、本発明の実施形態の一態様によれば、時間軸相関度を考慮して、現在の参照ピクチャに対して、バックワード参照ピクチャの同一の位置ブロックの動きベクトルを取得することにより、現在のブロックの動きベクトルを算出し、フォワード参照ピクチャの同一の位置ブロックの動きベクトルを取得することにより、現在のブロックの動きベクトルを算出し、空間軸相関度を考慮して、上記現在の参照ピクチャのブロックに対して隣接ブロックの動きベクトルを用いて前記現在のブロックの動きベクトルを算出し、最適のモードを選択することを特徴とする。

本発明によれば、直接モードの符号化及び復号化を行うにあたり、従来の時間軸直接モードでバックワード参照ピクチャの同一の位置ブロックがイントラブロックとして符号化されるか、又はフォワード参照ピクチャの同一の位置ブロックとの相関度が高い場合にも、この事実を十分に使用せず、バックワード参照ピクチャの同一の位置ブロックから動きベクトルを取得して使用することにより、不正確な動きベクトルを導出し、全体的に直接モードの符号化ビットが多く発生することによる符号化性能が低下する問題点を解決し、現在のブロックの直接モードを計算する際に、バックワードに基づく時間軸直接モード、フォワードに基づく時間軸直接モード、及び空間軸直接モードの中で符号化効率がよい直接モードを選択して符号化するので、送信する残余値の符号化効率を一層増大させることができる。また、映像の動き特性が時間軸相関度及び空間軸相関度の中で最も高い相関度を選択的に決定するので、符号化及び復号化効率がより向上する。

一般的な動画符号化での時間軸直接モード符号化方法を示す図である。 一般的な動画符号化での空間軸直接モード符号化方法を示す図である。 本発明の一実施形態による動画符号化での時間軸直接モード符号化方法を示す図である。 バックワードに基づく時間軸直接モードでの２個のフォワード双方向予測に対する予測符号化方法を示す図である。 バックワードに基づく時間軸直接モードでの２個のバックワード双方向予測に対する予測符号化方法を示す図である。 フォワードに基づく時間軸直接モードでの２個のフォワード双方向予測に対する予測符号化方法を示す図である。 フォワードに基づく時間軸直接モードでの２個のバックワード双方向予測に対する予測符号化方法を示す図である。 本発明の一実施形態による符号化装置で行われる双方向対称予測符号化動作を説明するフローチャートである。 本発明の一実施形態による復号化装置で行われる双方向対称予測復号化動作を説明するフローチャートである。 本発明による符号化装置の概略的な構成を示すブロック図である。 本発明による復号化装置の概略的な構成を示すブロック図である。

以下、本発明の好適な実施形態について添付図面を参照して詳細に説明する。本発明の詳細な構成要素のような特定の事項は、本発明の実施形態の包括的な理解を助けるために提供される。したがって、本発明の範囲及び趣旨を逸脱することなく、ここに説明された実施形態の様々な変更及び変形が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明は、省略する。

本発明の一実施形態による直接モードを符号化する方法は、下記のステップによりなされることができる。
（ａ）時間軸直接モードで符号化する現在のブロックに対してバックワード参照ピクチャの同一の位置ブロックから動きベクトルを取得するステップ。
（ｂ）取得した動きベクトルをスケーリングすることにより現在のブロックの双方向動きベクトルを導出するステップ。
（ｃ）この双方向動きベクトル及びこの双方向動きベクトルが示す２つの予測ブロックを用いてバックワードに基づく時間軸直接モードで符号化するコストを算出するステップ。
（ｄ）時間軸直接モードで符号化する現在のブロックに対してフォワード参照ピクチャの同一の位置ブロックから動きベクトルを取得するステップ。
（ｅ）取得した動きベクトルをスケーリングすることにより現在のブロックの双方向動きベクトルを導出するステップ。
（ｆ）この双方向動きベクトル及びこの双方向動きベクトルが示す２つの予測ブロックを用いてフォワードに基づく時間軸直接モードで符号化するコストを算出するステップ。
（ｇ）空間軸直接モードで符号化するる現在のブロックに対して隣接ブロックから動きベクトルを取得するステップ。
（ｈ）取得した動きベクトルをスケーリングすることにより現在のブロックの双方向動きベクトルを導出するステップ。
（ｉ）この双方向動きベクトル及びこの双方向動きベクトルが示す２つの予測ブロックを用いて空間軸直接モードで符号化するコストを算出するステップ。
（ｊ）上述したステップ（ｃ）、（ｆ）、及び（ｉ）から算出したコストの中で最も低いコストを有する１つの直接モードを選択するステップ。
（ｋ）上述したステップ（ｊ）から選択された直接モードをシグナリングするステップ。

ステップ（ａ）及び（ｂ）における時間軸直接モードでバックワード参照ピクチャの同一の位置ブロックから得られた動きベクトルをスケーリングすることにより導出される双方向動きベクトルは、図１に示したような一般的な時間軸直接モード方式と同様に、下記式（５）及び式（６）を用いて算出される。ここで、現在のピクチャのブロックに対するフォワード動きベクトルは、ｍｖＦｗ_Ｂであり、現在のピクチャのブロックに対するバックワード動きベクトルは、ｍｖＢｗ_Ｂである。

式（５）及び式（６）での変数は、従来技術の時間軸直接モードで使用された変数と同一である。
一方、本発明のステップ（ｄ）及び（ｅ）でのフォワード参照ピクチャの同一の位置ブロックから得られた動きベクトルをスケーリングすることにより導出される双方向動きベクトルは、図３に示すように、下記式（７）及び式（８）を用いて算出される。

式（７）において、ｍｖＦｗ_Ｐは、フォワード参照ピクチャの同一の位置ブロックに対応する動きベクトルであり、この動きベクトルは、他のフォワード参照ピクチャを示す。ＴＤ_Ｄは、時間軸に対して、バックワード参照ピクチャからｍｖＦｗ_Ｐ動きベクトルが示すフォワード参照ピクチャまでの距離である。式（８）の変数の意味は、式（７）の変数の意味と同一である。
一方、本発明に従うステップ（ｇ）及び（ｈ）において、空間軸直接モードでの現在のブロックが予測する双方向動きベクトルは、図２に示したように、下記式（９）及び式（１０）を用いて算出される。

上述した式（９）及び式（１０）の変数は、空間軸直接モードで従来技術の式（３）及び式（４）で使用された変数の意味と同一である。この際、Ａ_Ｆｗ、Ｂ_Ｆｗ、Ｃ_Ｆｗ、Ａ_Ｂｗ、Ｂ_Ｂｗ、及びＣ_Ｂｗは、上述した位置にある必要がないが、これら変数は、現在のブロックに対して符号化が終了した隣接ブロックである場合に、上述した特性から外れない範囲で変形された形態で実現されることができる。

また、この隣接ブロックが有している動きベクトルの中でフォワード方向性を有する動きベクトルが使用不可能な状態の１つの動きベクトルを含む場合には、この使用不可能な状態の動きベクトルを任意の常数値として設定し、その性質を使用可能な状態の動きベクトルに切り替えた後に、動きベクトルを入力し、この式（９）の入力値として計算する。最後に、現在のブロックが予測する双方向動きベクトルの中でフォワード動きベクトルを得ることができる。この設定された任意の常数値は、動きがないことを示す常数値又は動きベクトルが有することができる常数値の範囲内で平均値及びその周辺値の全体を含む。また、使用不可能な状態の動きベクトルが２つある場合には、この使用不可能な状態の動きベクトルを使用可能な状態の動きベクトルと同一の値として設定し、この性質を使用可能な状態の動きベクトルに置き換える。その後に、この動きベクトルを入力し、この式（９）の入力値として計算し、これにより、現在のブロックが予測する双方向動きベクトルの中でフォワード動きベクトルを得ることができるか、又は式（９）を省略し、現在のブロックが予測する双方向動きベクトルの中のフォワード動きベクトルを使用可能な動きベクトルに置き換えることができる。この方法は、フォワード方向だけでなくバックワード方向でも上述した特性から外れない範囲で変形された形態で実現されることができる。
この際、この直接モードは、Ｎ×Ｎの固定されたブロックサイズに適用されることができるだけではなく、従来のＨ．２６４符号化標準におけるように、様々なブロックサイズ、すなわち、Ｎ１×Ｎ２にも適用されることができる。

次いで、本発明の一実施形態による直接モードを復号化する方法は、下記のステップでなされることができる。
（ａ）入力ビットストリームから現在のブロックを復号化した後に、Ｂピクチャの現在のブロックが直接モードにあるか否かを判定するステップ。
（ｂ）直接モードにある場合には、この現在のブロックがシグナリング情報を読み出した後に、時間軸直接モード又は空間軸直接モードにあるか否かを判定するステップ。
（ｃ）現在のブロックが時間軸直接モードにある場合には、この現在のブロックが時間軸直接モードであることを示す情報を読み出した後に、この現在のブロックがバックワードに基づく時間軸直接モードにあるか、又はフォワードに基づく時間軸直接モードにあるかを判定するステップ。
（ｄ）ステップ（ｃ）での判定の結果、この現在のブロックがバックワードに基づく時間軸直接モードにあるか、又はフォワードに基づく時間軸直接モードにある場合には、バックワード参照ピクチャ又はフォワード参照ピクチャの同一の位置ブロックの動きベクトルを読み出した後に、この現在のブロックの双方向動きベクトルを算出するステップ。
（ｅ）ステップ（ｂ）での判定の結果、現在のブロックが空間軸直接モードにある場合には、この現在のブロックに密接に隣接した隣接ブロックの動きベクトルを読み出した後に、この現在のブロックの双方向動きベクトルを算出するステップ。
（ｆ）ステップ（ｄ）又はステップ（ｅ）で算出された直接モード双方向動きベクトルを用いて双方向予測方法を適用することにより双方向予測参照ブロックを求めるステップ。
（ｇ）この求められた予測参照ブロックと入力ビットストリームから得られた残余ブロックとを合わせることにより現在のブロックを復元するステップ。
ステップ（ｄ）で復元された時間軸直接モードがバックワードに基づいている場合に、双方向動きベクトルは、下記式（１１）及び式（１２）を用いて算出される。

上述した式（１１）及び式（１２）の変数は、式（１）などで使用された変数の意味と同一である。
一方、上述したステップ（ｄ）で復元された時間軸直接モードがフォワードに基づいている場合に、双方向動きベクトルは、下記式（１３）及び式（１４）を用いて算出される。

上述した式（１３）及び式（１４）の変数は、式（７）及び式（８）などで使用された変数の意味と同一である。
一方、上述したステップ（ｅ）で復元されたモードが空間軸直接モードである場合に、双方向動きベクトルは、下記式（１５）及び式（１６）を用いて算出される。

上述した（１５）及び式（１６）の変数は、上述した式（３）及び式（４）などで使用された変数の意味と同一である。
一方、本発明による動きベクトルを符号化する方法は、Ｂ（Bi-predictive）ピクチャの特徴と同一であるので、下記では、Ｂピクチャについて詳細に説明する。
Ｂピクチャは、過去ピクチャ及び未来ピクチャを使用することにより動き補償を必ず行わなければならないという制約を受けない。したがって、Ｂピクチャに従う現在のブロックの動きベクトルは、時間及び方向に独立している。すなわち、Ｂピクチャは、複数のピクチャを参照して得られるので、この現在のブロックの動きベクトルは、２個のフォワード動きベクトル及び２個のバックワード動きベクトルを用いて符号化及び復号化が可能である。
Ｂピクチャは、４種類の動き補償モードを有し、これにより、４種類の動きベクトルが存在し、これは、フォワード動きベクトル、バックワード動きベクトル、双方向動きベクトル（Bi-predictive）、及び直接動きベクトルを含む。
上述したように、Ｂピクチャに従う現在のブロックの動きベクトルは、時間及び方向に独立しているので、“フォワード”及び“バックワード”が必ず特定の時間及び方向で識別されない。また、双方向は、特定の時間又は特定の方向を識別することにより、特定の時点又は特定の位置に対して過去及び未来を必ず含む必要はない。

図４は、バックワードに基づく時間軸直接モードでの２個のフォワード双方向予測に対する予測符号化の一例を示す。本発明に従うと、双方向動きベクトルは、下記式（１７）及び式（１８）を用いて算出される。

図５は、バックワードに基づく時間軸直接モードでの２個のバックワード双方向予測に対する予測符号化の一例を示す。本発明に従うと、双方向動きベクトルは、下記式（１９）及び式（２０）を用いて算出される。

図６は、フォワードに基づく時間軸直接モードでの２個のフォワード双方向予測に対する予測符号化の一例を示す。本発明に従うと、双方向動きベクトルは、下記式（２１）及び式（２２）を用いて算出される。

図７は、フォワードに基づく時間軸直接モードでの２個のバックワード双方向予測に対する予測符号化の一例を示す。本発明に従うと、双方向動きベクトルは、下記式（２３）及び式（２４）を用いて算出される。

上記のように、直接モード符号化は、Ｂピクチャに対しても同一の方法で適用可能であり、本発明の範囲を外れることなく様々な形態の変形が可能であることを理解すべきである。
以下、本発明の好ましい実施形態について詳細に説明する。

図８は、本発明の一実施形態による符号化装置で行われる双方向対称予測符号化動作を説明するフローチャートである。
図８を参照すると、ステップＳ８０１で、符号化する１つのＮ×Ｍブロックが入力されると、ステップＳ８０２で、バックワードに基づく時間軸直接モードを予測し、この予測に対するコストを求める。ここで、Ｎ×Ｍのブロックサイズは、ＮがＭと同一であるか、又はＮがＭとは異なるすべての場合を含む。この後に、ステップＳ８０３で、フォワードに基づく時間軸直接モードを予測し、この予測に対するコストを求める。この後に、ステップＳ８０４で、空間軸直接モードを予測し、この予測に対するコストを求める。時間軸直接モードの予測の際に又は空間軸直接モードの予測の際に、この手続きは、独立して行われることができ、これにより、並列して行われることができる。空間軸直接モードにおいて、現在のピクチャに隣接した任意のブロックは、動きベクトルを取得して使用することができる候補ブロックとなることができる。ステップＳ８０２、ステップＳ８０３、及びステップＳ８０４が図８の順序で行われる必要はなく、本発明の範囲を外れることなく変形された形態のステップで行われてもよいことを理解すべきである。

ステップＳ８０５で、このステップを介して得られたコストを比較して最も低いコストを有する場合を最適の符号化モードとして決定し、このように決定された符号化モードを復号化器にシグナリングする。この際、シグナリングモードの一例は、この決定された符号化モードに関する情報の幾つかのビットをブロックのヘッダーに適切に挿入する方式を使用することができる。したがって、復号化器は、現在のブロックがこのシグナリング情報を通じてバックワードに基づく時間軸直接モードで符号化されるか、フォワードに基づく時間軸直接モードで符号化されるか、又は空間軸直接モードで符号化されるかを判定することができる。また、コストの計算は、最も小さい値を有する歪曲を選択するか又はビット率−歪曲を計算することにより、このコストの計算からの最適の直接モードを決定することができる。

図９は、本発明の一実施形態による復号化装置で行われる双方向対称予測復号化動作を説明するフローチャートである。
図９を参照すると、復号化装置は、本発明による直接モードを復号化し、この復号化装置は、ステップＳ９０１乃至ステップＳ９０３で、入力ビットストリームから復号化されるブロックの直接モードを求める。この際、バックワードに基づく直接モードである場合には、ステップＳ９０４で、バックワード参照ピクチャの同一の位置ブロックから動きベクトルを取得してスケーリングした後に、双方向動きベクトルを導出することにより、双方向予測ブロックを求める。また、フォワードに基づく直接モードである場合には、ステップＳ９０５で、フォワード参照ピクチャの同一の位置ブロックから動きベクトルを取得してスケーリングした後に、双方向動きベクトルを導出することにより、双方向予測ブロックを求める。一方、空間軸直接モードである場合には、ステップＳ９０６で、現在のブロックで空間軸相関度を有する隣接ブロックから動きベクトルを取得して双方向動きベクトルを導出することにより、双方向予測ブロックを求める。ステップＳ９０１、ステップＳ９０２、及びステップＳ９０３が図９の順序で行われる必要はなく、本発明の範囲を外れることなく変形された形態のステップで行われてもよいことを理解すべきである。
この後に、ステップＳ９０７で、この取得された予測ブロックとこの入力ビットストリームから取得された動き予測エラー信号ブロックとを合わせることにより、現在のブロックの映像を復元する。

図１０は、本発明による符号化装置の概略的な構成を示すブロック図である。図１０を参照して、本発明による符号化装置の動作を行う方式について説明する。符号化される動画は、ピクチャ単位で入力ピクチャメモリ１０１に入力された後に、符号化が行われる順序に配列される。各ピクチャは、ブロックと呼ばれる、例えば、１６(水平)×１６(垂直)画素のグループに分割された後に、ブロック単位で処理される。

入力ピクチャメモリ１０１から読み出されたブロックは、動きベクトル検出部１０６に入力される。ここで、参照ピクチャメモリ１０５に記憶されている符号化されたピクチャから復号化された映像を参照ピクチャとして使用し、符号化されるブロックの動きベクトルを検出する。この際、モード選択部１０７は、動きベクトル検出部１０６から得られた動きベクトル又は動きベクトル記憶部１０８に記憶されている符号化されたピクチャからの動きベクトルを参照して適切な予測モードを決定することができる。モード選択部１０７から得られた予測モード及びこの予測モードで使用された動きベクトルにより決定される予測映像が差分演算部１０９に入力された後に、予測残差映像は、符号化されるブロックからの差分を求めることにより生成される。この予測残差映像は、予測残差符号化部１０２で符号化される。また、モード選択部１０７から得られた予測モードで使用される動きベクトルは、後続のブロック又はピクチャの符号化に使用するために、動きベクトル記憶部１０８に記憶される。上述した処理の流れは、ピクチャの予測符号化が選択される場合に行われ、スイッチ１１１は、ピクチャの予測符号化との置換えを行う。最後に、符号列生成部１０３は、動きベクトルなどのような制御情報及び予測残差符号化部１０２から出力される映像情報の可変長符号化を行うことにより、符号化装置から出力される符号列を生成する。また、予測残差復号化部１０４は、予測残差符号化部１０２からの符号化結果を復号化する。加算部１１０は、復号化された参照ピクチャを参照ピクチャメモリ１０５に提供するために、予測残差復号化部１０４からの復号化結果である予測残差をスイッチ１１２を介してモード選択部１０７から提供された参照映像に加算する。
好ましくは、動きベクトル検出部１０６及びモード選択部１０７は、フォワード及びバックワード時間軸直接モード予測のほかに空間軸直接モード予測も行うことができ、これに従って、最適の直接モード予測を判定する。

図１１は、本発明による復号化装置の概略的な構成を示すブロック図である。図１１を参照して、本発明による復号化装置の動作の手続きについて説明する。
図１１に示す復号化装置は、本発明による映像符号化方法で生成された符号列を受信する。まず、符号列解析部２０１は、予測モード情報、動きベクトル情報、及び予測残差符号化データなどを入力された符号列から抽出する。

予測モード又は動きベクトル情報は、予測モード／動きベクトル復号化部２０８に出力され、予測残差符号化データは、予測残差復号化部２０２に出力される。予測モード／動きベクトル復号化部２０８は、予測モードの復号化及びこの予測モードで使用される動きベクトルの復号化を行う。動きベクトルの復号化のためには、動きベクトル記憶部２０５に記憶されている復号化された動きベクトルを使用する。この復号化された予測モード及び動きベクトルは、動き補償復号化部２０４に出力される。また、この復号化された動きベクトルは、後続のブロックの動きベクトルの復号化に使用するために、動きベクトル記憶部２０５に記憶される。動き補償復号部２０４は、フレームメモリ２０３に記憶されている復号化が完了したピクチャ復号化映像を参照ピクチャとして使用して入力された予測モード又は動きベクトル情報に従って予測映像を生成する。したがって、この生成された予測映像は、加算部２０６に入力された後に、復号化された映像を生成するために、予測残差復号化部２０２から生成された予測残差映像に加算される。上述した動作の手続きは、ピクチャの予測符号化による符号列の場合に行われ、スイッチ２０７は、ピクチャの予測符号化による符号列の復号化への置換えを行う。

上述したように、本発明の一実施形態による直接モード符号化及び復号化動作がなされることができる。一方、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかである。例えば、上述した説明は、本発明がフォワード及びバックワード時間軸直接モード予測及び空間軸直接モード予測を行い、これらモード予測から１つのモードを判定することができることを示す。しかしながら、本発明の他の実施形態は、空間軸直接モードを使用することなく、フォワード及びバックワード時間軸直接モード予測を行い、このモード予測から最適のモードを判定することもできる。このように、本発明の様々な変形及び変更が可能である。したがって、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められる。

１０１ 入力ピクチャメモリ
１０２ 予測残差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０５ 参照ピクチャメモリ
１０６ 動きベクトル検出部
１０７ モード選択部
１０８ 動きベクトル記憶部
１０９ 差分演算部
１１０ 加算部
１１１，１１２ スイッチ
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ フレームメモリ
２０４ 動き補償復号化部
２０５ 動きベクトル記憶部
２０６ 加算部
２０７ スイッチ
２０８ 予測モード／動きベクトル復号化部

Claims (9)

1. 動画を符号化する際における符号化器が直接モードにより符号化を遂行する方法であって、
   符号化する入力イメージを受信するステップと、
   前記受信したイメージをメモリに格納するステップと、
   前記メモリから符号化する現在のブロックを出力するステップと、
   前記出力される現在のブロックに対して、バックワード参照ピクチャに位置する同一の位置ブロックを使用する第１の時間軸直接モードとフォワード参照ピクチャに位置する同一の位置ブロックを使用する第２の時間軸直接モードとを含む複数の直接モードに対する各予測及びコストを求めるステップと、
   前記求められたコストを比較して最も低いコストを有する１つの直接モードを最適の符号化モードとして決定し、前記決定されたモードにより符号化を行うステップと、
   前記最適の符号化モードに対する情報を前記符号化を通じて出力されるビットストリームに挿入するステップと、
   を有することを特徴とする符号化方法。
2. 前記複数の直接モードは、空間軸直接モードをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記空間軸直接モードに対する予測及びコストを求めるステップは、
   前記現在のブロックに対する隣接ブロックから動きベクトルを取得するステップと、
   前記取得した動きベクトルをスケーリングすることにより、前記現在のブロックの双方向動きベクトルを導出するステップと、
   前記双方向動きベクトル及び前記双方向動きベクトルが示す２つの予測ブロックを用いて空間軸直接モードによる符号化コストを算出するステップと、
   を有することを特徴とする請求項２に記載の方法。
4. 前記第１の時間軸直接モードに対する予測及びコストを求めるステップは、
   前記現在のブロックに対するバックワード参照ピクチャの同一の位置ブロックから動きベクトルを取得するステップと、
   前記取得した動きベクトルをスケーリングすることにより前記現在のブロックの双方向動きベクトルを導出するステップと、
   前記双方向動きベクトル及び前記双方向動きベクトルが示す２つの予測ブロックを用いて第１の時間軸直接モードによる符号化コストを算出するステップと、
   を有することを特徴とする請求項１に記載の符号化方法。
5. 前記第２の時間軸直接モードに対する予測及びコストを求めるステップは、
   前記現在のブロックに対するフォワード参照ピクチャの同一の位置ブロックから動きベクトルを取得するステップと、
   前記取得した動きベクトルをスケーリングすることにより前記現在のブロックの双方向動きベクトルを導出するステップと、
   前記双方向動きベクトル及び前記双方向動きベクトルが示す２つの予測ブロックを用いて第２の時間軸直接モードによる符号化コストを算出するステップと、
   を有することを特徴とする請求項４に記載の方法。
6. 前記双方向動きベクトルは、下記の式（１）及び式（２）により定義されることを特徴とする請求項５に記載の方法。
   

   

   ここで、前記ｍｖＦｗ_Ｂ及び前記ｍｖＢｗ_Ｂは、前記現在のブロックに対するフォワード動きベクトル及びバックワード動きベクトルをそれぞれ示し、前記ｍｖＦｗ_Ｐは、前記フォワード参照ピクチャの同一の位置ブロックに対応する動きベクトルを示し、前記ＴＤ_Ｐは、前記フォワード参照ピクチャから前記バックワード参照ピクチャまでの時間軸上の距離を示し、前記ＴＤ_Ｂは、現在のピクチャから前記フォワード参照ピクチャまでの時間軸上の距離を示し、前記ＴＤ_Ｄは、前記バックワード参照ピクチャから前記ｍｖＦｗ_Ｐ動きベクトルが示すフォワード参照ピクチャまでの時間軸上の距離を示す。
7. 動画を復号化する際における復号化器が直接モードにより復号化を遂行する方法であって、
   復号化する入力ビットストリームを受信するステップと、
   前記入力ビットストリームに含まれた最適の符号化モードに対する情報に基づいて現在のブロックの復号化する直接モードを求めるステップと、
   前記求められた現在のブロックの直接モードがバックワード参照ピクチャにおける同一の位置ブロックを使用する第１の時間軸直接モードである場合には、バックワード参照ピクチャで前記現在のブロックと同一の位置に存在する同一の位置ブロックから動きベクトルを取得し、スケーリングした後に、予測ブロックを求めるステップと、
   前記求められた現在のブロックの直接モードがフォワード参照ピクチャにおける同一の位置ブロックを使用する第２の時間軸直接モードである場合には、フォワード参照ピクチャで前記現在のブロックと同一の位置に存在する同一の位置ブロックから動きベクトルを取得し、スケーリングした後に、予測ブロックを求めるステップと、
   前記求められた予測ブロックと入力ビットストリームから求められた残余ブロックとを合わせることにより、前記現在のブロックを復元するステップと、
   を有することを特徴とする方法。
8. 前記現在のブロックの直接モードが空間軸直接モードである場合には、前記現在のブロックと空間軸相関度を有する隣接ブロックから動きベクトルを取得し、動きベクトルを導出することにより、予測ブロックを求めるステップと、
   前記空間軸直接モードに従って求められた前記予測ブロックと前記入力ビットストリームから求められた残余ブロックとを合わせることにより、前記現在のブロックを復元するステップと、
   をさらに含むことを特徴とする請求項７に記載の方法。
9. 前記現在のブロックの直接モードがフォワードに基づく直接モードである場合に、前記動きベクトルは、下記の式（３）及び式（４）により決定されることを特徴とする請求項７に記載の方法。
   

   

   ここで、前記ｍｖＦｗ_Ｂ及び前記ｍｖＢｗ_Ｂは、前記現在のブロックに対するフォワード動きベクトル及びバックワード動きベクトルをそれぞれ示し、前記ｍｖＦｗ_Ｐは、前記フォワード参照ピクチャの同一の位置ブロックに対応する動きベクトルを示し、前記ＴＤ_Ｐは、前記フォワード参照ピクチャから前記バックワード参照ピクチャまでの時間軸上の距離を示し、前記ＴＤ_Ｂは、現在のピクチャから前記フォワード参照ピクチャまでの時間軸上の距離を示し、前記ＴＤ_Ｄは、前記バックワード参照ピクチャから前記ｍｖＦｗ_Ｐ動きベクトルが示すフォワード参照ピクチャまでの時間軸上の距離を示す。

Images