JP4614512B2

JP4614512B2 - 適応性のある動き精度をもった動き推定方法

Info

Publication number: JP4614512B2
Application number: JP2000256484A
Authority: JP
Inventors: リバスジョディー; シェンジャンドン
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-07-27
Filing date: 2000-07-24
Publication date: 2011-01-19
Anticipated expiration: 2020-07-24
Also published as: EP2051531A1; EP2373036B1; EP1073276A3; USRE46468E1; USRE44012E1; HK1161948A1; US6968008B1; EP2026582A3; JP2012075175A; USRE45014E1; EP1073276A2; JP2011035928A; JP2001189934A; JP5269023B2; EP2373036A1; EP2026582A2; JP2009273157A

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル動画のビット圧縮又は符号化方法に適した適応性のある動き精度をもった動き推定方法に関し、より詳細には、動き補償動画像符号化装置において動きベクトルを推定して符号化する効果的な方法、並びに動き補償動画像復号装置においてその符号化データを復号する効果的な方法に関する。
【０００２】
【従来の技術】
従来の動き推定方法において、符号化する現フレームを、“マクロブロック”と称する、例えば１６×１６ピクセルの同一サイズの画像ブロックに分割する。各現マクロブロック毎に、符号化器は、現マクロブロックに最も一致する、前に符号化されたフレーム（“参照フレーム”）内ブロックをサーチする。１個の現マクロブロックと参照フレーム内の最も一致するマクロブロック間の座標移動量は、マクロブロックの２次元ベクトル（“動きベクトル”）によって表現される。動きベクトルの各成分は画素単位で測定される。
【０００３】
例えば、現マクロブロックに最も一致する参照マクロブロックが同一位置にある場合、静止背景画像が代表的な例であるように、現マクロブロックの動きベクトルは（０，０）である。最も一致する参照マクロブロックが、現マクロブロックの座標から右に２画素及び上に３画素の位置で発見された場合の動きベクトルは（２，３）である。かような動きベクトルは、水平成分Ｘ及び垂直成分Ｙが整数画素値を有しているので、整数画素（又は“整数ペル”又は“完全ペル”）の精度を有すると云う。図１において、ベクトルＶ₁＝（１，１）は、任意の現マクロブロックに対する完全ペルの動きベクトルを表わしている。
【０００４】
動画シーン中の移動オブジェクトは、しかしながら、フレームからフレームへ整数画素増分単位では移動しない。真の動きは、Ｘ及びＹ方向に沿った実数値を取る。従って、現マクロブロックにより良く一致する参照マクロブロックは、前フレームをＮ×Ｎの因子（ファクタ）で補間し、次に補間したフレーム内の最も一致するマクロブロックをサーチすることにより発見できることがよくある。動きベクトルはＸとＹに沿って１／Ｎ画素の増分値を取ることができ、１／Ｎ画素（又は１／Ｎペル）の精度を有すると表現される。
【０００５】
ＩＴＵ電気通信標準化部門の“Ｈ．２６Ｌ規格に対する提案呼びかけへの応答（Response to Call for Proposals for H.26L）”（Ｑ．１５／ＳＧ１６，文書Ｑ１５−Ｆ−１１，ソウル，１９９８年１１月）及びＩＴＵ電気通信標準化部門の“Ｈ．２６Ｌ規格に対するＴｅｌｅｎｏｒの提案の強化（Enhancement of the Telenor Proposal for H.26L）”（Ｑ．１５／ＳＧ１６，文書Ｑ１５−Ｇ−２５，モントレー，１９９９年２月）において、ＧｉｓｌｅＢｊｏｉｔｅｇａａｒｄは、動画符号化規格Ｈ．２６Ｌ（“Ｔｅｌｅｎｏｒ符号化器”）に関し１／３ペル精度の動きベクトルと立方体状補間法の使用を提案した。これを実施するために、Ｔｅｌｅｎｏｒ符号化器は、立方体状補間フィルタを用いて参照フレームを３×３補間するか又は“アップサンプリング”する。この補間バージョンは、参照フレームの９倍のメモリを必要とする。１個の与えられたマクロブロックにおいて、Ｔｅｌｅｎｏｒ符号化器は最適動きベクトルを２つのステップで推定する。即ち、符号化器は、先ず最適な整数ペルベクトルを探索し、次にＶ₁に近い最適な１／３画素精度のベクトルＶ_1/3を探索する。図１の例では、３×３補間参照フレーム内の（１６×１６画素）の全８ブロックを調べ、図示のように動きベクトルＶ_1/3＝（ＶＸ，ＶＹ）＝（１＋１／３，１）に関連するブロックである最も一致するブロックを見つけ出す。このＴｅｌｅｎｏｒ符号化器は、幾つかの問題を有している。先ず、１／３ペル精度の動きベクトルを計算するために部分最適なファストサーチ戦略と複雑な立方体フィルタを（全段階において）使用することである。結果として、計算した動きベクトルは、最適ではなく、莫大な記憶容量と計算量を要し非常に高価につく。さらに、このＴｅｌｅｎｏｒ符号化器は、１／３画素に固定した有効レート歪み判定基準による精度を用い、そのために、より良い動き精度を選択するようには適応できない。同様に、このＴｅｌｅｎｏｒ符号化器の可変長符号（“ＶＬＣ”）テーブルは、１／３画素に固定した精度を有しているので、異なる精度に対して適応できず異なる解釈ができない。
【０００６】
最も良く知られている動画圧縮方法では、１／２画素精度で動きベクトルを推定して符号化するが、その理由は、従前の研究によれば、より高い又はより適応性を有する動き精度では計算が複雑になるだけで追加の圧縮利得が得られないことを示唆していたからである。しかしながら、これらの従前の研究は、最適化レート歪み判定基準を用いて動きベクトルを推定しておらず、計算の複雑化を減少させるためにかような基準の凸状特性を利用しておらず、動きベクトルと動きベクトルの精度を符号化する有効な戦略を用いていなかった。
【０００７】
かような従前の研究の１つとして、ＢｅｒｎｄＧｉｒｏｄの論文（以後Ｇｉｒｏｄの論文と略記する）“分数ペル精度による動き補償予測（Motion-Compensating Prediction with Fractional-Pel Accuracy）”（ＩＥＥＥ通信会報，第４１巻４号，６０４−６１２頁，１９９３年４月）が挙げられる。このＧｉｒｏｄの論文は、動画符号化に部分画素（サブピクセル）の動き精度を用いる利点に関する最初の基本的な分析である。Ｇｉｒｏｄは、部分画素空間における最適動きベクトルを探索するために簡単な階層戦略を用いた。彼はまた所与の精度に対する最適な動きベクトルを選択するために単純平均絶対差分（“ＭＡＤ”）の基準を用いた。この最適精度は、理想化された仮定に基くために非実用的な公式を用いて選択され、非常に複雑であり、また、全ての動きベクトルは１フレーム内の同一精度を持つものに制限される。最後に、Ｇｉｒｏｄは、予測誤差エネルギーにのみ注目し、動きベクトルを符号化するためのビットの使用法には言及しなかった。
【０００８】
他の従前の研究として、ＳｍｉｔａＧｕｐｔａ及びＡｌｌｅｎＧｅｒｓｈｏの論文（以後“Ｇｕｐｔａの論文”と略記する）“分数画素の動き推定（On Fractional Pixel Motion Estimation）”（ＳＰＩＥＶＣＩＰ会報，２０９４巻４０８−４１９頁，ケンブリッジ，１９９３年１１月）が挙げられる。このＧｕｐｔａの論文は、動画圧縮のために部分画素精度で動きベクトルを計算し選択して符号化する方法を提示している。Ｇｕｐｔａの論文は、平均自乗誤差（“ＭＳＥ”）と双線形補間に基づく公式を開示し、この公式を用いて理想的な動きベクトルを見つけ出し、かようなベクトルを所望の動き精度に量子化した。所与の精度に対する、この最適な動きベクトルは、部分最適ＭＳＥ判定基準を用いて決定され、この最適精度は歪みビット当たりエネルギー差を最大限減少させる方法を用いて選択された。これは、渇望された（部分最適な）判定基準である。所与の動きベクトルの符号化は、最初に１／２ペル精度で符号化し、次に詳細化ビットでより高精度に符号化する方法で行われた。粗から微細への符号化は、かなりのビットを必要とするきらいがある。
【０００９】
論文“ブロックに基づく動き補償動画符号化器の場合の最適動きベクトル精度（On the Optimal Motion Vector Accuracy for Block-Based Motion-Compensated Video Coders）”（ＩＳＴ／ＳＰＩＥディジタル動画の圧縮会報：アルゴリズムと技術，３０２−３１４頁，サンジョセ，１９９６年２月）（以後、Ｒｉｂａｓの論文と略記する）において、ＪｏｒｄｉＲｉｂａｓ−Ｃｏｒｂｅｒａ及びＤａｖｉｄＬ．Ｎｅｕｈｏｆｆは、動き精度のビットレートへの影響をモデル化し、ビットレートを最小にする最適精度を推定する幾つかの方法を提案した。このＲｉｂａｓの論文は、任意精度に対する動きベクトルを計算するためのフルサーチ方法を記述し、双線形補間のみを考慮した。最適な動きベクトルはＭＳＥを最小にすることにより発見し、最適精度はレート歪みの最適化により導出された幾つかの公式を用いて選択した。動きベクトルと精度は、リアルタイム装置には実装が難しい、複雑なフレーム適応エントロピー符号化器を用いて符号化した。
【００１０】
論文“より高いビットレートでの予測強化に関する新しいコア実験の提案（Proposal for a new core experiment on Prediction enhancement at higher bitrates）”（ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１動画及び音声の符号化、ＭＰＥＧ９７／１８２７，セビリア，１９９７年２月）及び“１／４ペル動き補償のための複雑さを軽減した実装装置の性能評価（Performance Evaluatior of a Reduced Complexity Implemetatior for Quarter Pel Motion Compensatior）”（ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１動画及び音声の符号化，ＭＰＥＧ９７／３１４６，サンジョセ、１９９８年１月）において、ＵｒｉｃｈＢｅｎｚｌｅｒは、動画シーケンスのために１／４ペル精度の動きベクトルの使用と、ＭＰＥＧ４動画符号化基準のさらに進んだ補間フィルタの使用を提案した。しかしながら、Ｂｅｎｚｌｅｒは、１／４ペルの動きベクトルの発見にＧｉｒｏｄのファストサーチ技法を用いた。Ｂｅｎｚｌｅｒは、異なる補間フィルタを考慮しなかったが、第１段階で複合フィルタを使用して第２段階でより簡単なフィルタを使用することを提案し、一度に１つのマクロブロックを補間した。この方法は、多量のキャッシュメモリは必要としないが、複雑であり、全ての動きベクトルを１つのマクロブロック内の全ての可能なモード（例えば、１６×１６，４−８×８，１６−４×４等）につき１／４ペル精度で計算して最適のモードを決定するために、計算量が多大である。ＢｅｎｚｌｅｒはＭＡＤ判定基準を使用して、全シーケンスに対し１／４ペル精度に固定した最適な動きベクトルを発見した。従って、最適な動き精度を選択する方法は示さなかった。最後に、Ｂｅｎｚｌｅｒは、１／２及び１／４画素精度のベクトルを符号化するために使用可能な可変長符号（“ＶＬＣ”）テーブルを用いて動きベクトルを符号化した。
【００１１】
【発明が解決しようとする課題】
上述の参考文献は、最適化したレート歪み基準を用いて動きベクトルを推定しておらず、かような基準の凸状特性を利用して計算の複雑さを軽減していない。さらに、これらの参考文献は、動きベクトルと精度を符号化する有効な戦略を用いていない。
【００１２】
【課題を解決するための手段】
本発明の１つの実施形態は、高画素精度（“分数”又は“部分画素”精度とも称される）の動きベクトルを僅かな計算量の増加で計算することにより従来技術の問題を解決する。
【００１３】
本発明の戦略を用いると、動画符号化器はかなりの圧縮利得（例えば、動き精度の古典的な選択に比較して３０％に達するビットレートの削減）を同等の計算レベルで達成できることが、実験により明らかになっている。動き精度に適応して計算し選択するので、本発明は適応動き精度（“ＡＭＡ”）方式として記述できる。
【００１４】
本発明の好ましい実施形態の１つは、部分画素（サブピクセル）空間におけるファストサーチ戦略を用いて最適な動きベクトルをスマートにサーチする。この技法は、１マクロブロックに対する最適な動きベクトルを発見することにより、動き補償動画符号化時の動きベクトルを推定する。第１ステップは、Ｖ₁に中心をもつ予め定められた正方形範囲の部分画素解像度のグリッド内で、第１セットの動きベクトル候補をサーチして最適な動きベクトルＶ₂を見つけ出す。次に、Ｖ₂に中心をもつ予め定められた正方形範囲の部分画素解像度をもつグリッド内で、第２セットの動きベクトル候補を探索して最適な動きベクトルＶ₃を見つけ出す。その後、Ｖ₃に中心をもつ予め定められた正方形範囲の部分画素解像度をもつグリッド内で、第３セットの動きベクトル候補を探索してマクロブロックの最適動きベクトルを見つけ出す。
【００１５】
本発明の別の好ましい実施形態において、高精度の動きベクトル推定技法は異なる段階において異なる補間フィルタを使用して計算の複雑さを低減することができる。
本発明の別の好ましい実施形態は、レート歪み（ＲＤ）に関して最適のベクトルと精度を選択する。この実施形態は、異なる動き精度に従い対応するレート歪み判定基準を用いて最適な動きベクトルと最適な動き精度の両方を決定する。
本発明のさらに別の好ましい実施形態は、有効な可変長符号化（ＶＬＣ）法により、動きベクトルと精度を符号化する。この技法は、異なる符号化単位で異なる解釈が可能な、関連する動きベクトル精度に従ったＶＬＣテーブルを使用する。
【００１６】
より具体的には、本発明の第１の技術手段は、入力画像のフレームから分割された複数のブロックのそれぞれに対し、対象とする現ブロックにおいて、参照フレームの対応する位置からの移動量を表す動きベクトルをブロック毎にサーチする動きベクトルサーチ手段と、１／Ｎペル（Ｎは任意の整数）で表現された複数の分数精度を有する前記動きベクトルを用いて動き補償を行う動き補償手段と、前記精度及び前記動きベクトルを符号化する符号化手段とを備えた動き補償動画像符号化装置であって、前記動きベクトルとは別に前記精度を可変長符号化し、各ブロックに対する前記動きベクトルを前記ブロック毎に符号化し、複数の異なる補間フィルタの中から選択される第１のフィルタを用いて、前記複数の精度のうちの第１の精度に従って、前記サーチ、及び前記動き補償を行い、複数の異なる補間フィルタの中から選択される前記第１のフィルタよりも計算の複雑な第２のフィルタを用いて、前記複数の精度のうちの前記第１の精度よりも高精度な第２の精度に従って、前記サーチ、及び前記動き補償を行い、前記精度はフレーム単位で設定が可能であり、１フレーム内の全ての動きベクトルには同一の精度が用いられるが、異なるフレームには異なる精度を用いることを可能とすることを特徴としたものである。
本発明の第２の技術手段は、入力画像のフレームから分割された複数のブロックのそれぞれに対し、対象とする現ブロックにおいて、参照フレームの対応する位置からの移動量を表す動きベクトルをブロック毎にサーチする動きベクトルサーチ手段と、１／Ｎペル（Ｎは任意の整数）で表現された複数の分数精度を有する前記動きベクトルを用いて動き補償を行う動き補償手段と、前記精度及び前記動きベクトルを符号化する符号化手段とを備えた動き補償動画像符号化装置であって、前記動きベクトルとは別に前記精度を符号化し、各ブロックに対する前記動きベクトルを前記ブロック毎に符号化し、複数の異なる補間フィルタの中から選択される第１のフィルタを用いて、前記複数の精度のうちの第１の精度に従って、前記サーチ、及び前記動き補償を行い、複数の異なる補間フィルタの中から選択される前記第１のフィルタよりも計算の複雑な第２のフィルタを用いて、前記複数の精度のうちの前記第１の精度よりも高精度な第２の精度に従って、前記サーチ、及び前記動き補償を行い、符号化対象の動きベクトルは、符号化データのベクトル値に対する前記精度の積に相当し、前記精度に応じて異なる値として解釈されるものであることを特徴としたものである。
【００１８】
本発明の上述及び他の目的、特徴及び利点は、添付図面を参照し本発明の以下の詳細な説明を読めば容易に理解されよう。
【００１９】
【発明の実施の形態】
本発明の諸方法は、各画像ブロックにおいて動き精度を変更して説明するが、精度を全シーケンスに対して固定又はフレーム毎に変更する場合にも適用できる。本発明は、又、発明の背景において記述したように、Ｔｅｌｅｎｏｒの動画符号化器（及び特殊にはＴｅｌｅｎｏｒの符号化器）を使用するものとして記述する。Ｔｅｌｅｎｏｒの動画符号化器の用語を用いて説明するが、ここに記述する技術は、任意の他の動き補償動画符号化器にも適用できる。
【００２０】
動画符号化器の多くは、半画素（又は“１／２ペル”）精度の動きベクトルと双線形補間を用いる。Ｔｅｌｅｎｏｒの符号化器の第１バージョンは、１／２ペル動きベクトルと双線形補間を用いる。しかしながら、Ｔｅｌｅｎｏｒの符号化器の最新バージョンは、さらなる圧縮利得を得るために１／３ペルベクトルと立方体形補間機能を内蔵している。特に、１つの与えられたマクロブロックにおいて、Ｔｅｌｅｎｏｒの符号化器は、図２に示す２つのステップで最適な動きベクトルを推定する。先ず、このＴｅｌｅｎｏｒ符号化器は、最適な整数ペルベクトルＶ₁（図１）を探索する（ステップ１００）。次に、このＴｅｌｅｎｏｒ符号化器は、Ｖ₁付近の最適な１／３ペル精度ベクトルＶ_1/3（図１）をサーチする（ステップ１０２）。この第２ステップは図１のグラフに示すように、３×３内挿（補間）参照フレーム内の（各々１６×１６の画素列を有する）全部で８個のブロックを調べて最も一致するブロックを見つけ出す。８個のブロックの動きベクトルは、Ｖ₁に中心をもつグリッド中に８個の実点で表示してある。図１において、最も一致するのは、動きベクトルＶ_1/3＝（Ｖ_X，Ｖ_Y）＝（１＋１／３，１）に関連するブロックである。
【００２１】
本発明の技術によれば、符号化器は、フルサーチ戦略又はファストサーチ戦略のいずれかを用いて任意の動き精度の組（例えば、１／２，１／３及び１／６ペル精度動きベクトル）間で精度を選択できる。
【００２２】
（フルサーチＡＭＡ方式のサーチ戦略）
図３及び図４に示すように、このフルサーチ適応動き精度（ＡＭＡ）方式サーチ戦略の場合、Ｔｅｌｅｎｏｒ符号化器は、図３に示す５個の画素の（上方画素数、下方画素数及び両側の画素数により規定される正方形ブロックとして定義される）“正方形範囲”と１／６画素解像度のグリッド上の全ての動きベクトル候補をサーチする。図４に示すように、フルサーチＡＭＡの第１ステップ（１０４）では最適な整数ペルベクトルＶ₁（図１）をサーチする。フルサーチＡＭＡの第２ステップ（１０６）において、符号化器はＶ₁付近の最適な１／６画素精度ベクトルＶ_1/6（図３）をサーチする。換言すれば、このフルサーチＡＭＡは、Ｔｅｌｅｎｏｒプロセスの第２ステップを変更して符号化器が速度空間内の他の部分画素位置における動きベクトル候補もサーチできるようにしたものである。この目的は、グリッド内の最適動きベクトル、即ち、現マクロブロックに最も一致するブロック（補間参照フレーム内）を指示するベクトルを発見することである。このフルサーチ戦略は、１２０個の部分画素候補をサーチするので計算は複雑ではあるが、本発明のこの実施形態の全潜在能力を示している。
【００２３】
動きベクトルサーチにおける重要な課題は、所与のマクロブロックに最も符合するブロックを確定する判定測度又は基準の選択である。実際には、殆どの方法は、平均自乗誤差（ＭＳＥ）又は平均絶対差分（ＭＡＤ）の何れかの判定基準を用いている。２つのブロック間のＭＳＥは、２つのブロックの画素値を引き算して、画素値差を自乗し、平均値を取る。２つのブロック間のＭＡＤ差分は、自乗計算の代わりに画素値差の絶対値を計算することを除き同様な歪み測度である。２つの画像ブロックが互いに類似であれば、ＭＳＥ及びＭＡＤの値は小さい。しかしながら、画像ブロックが類似でなければ、これらの値は大きい。従って、代表的な動画符号化器は、最小のＭＳＥ又は最小のＭＡＤの何れかをもたらす動きベクトルを選択することにより、マクロブロックに最も符合するマクロブロックを見つけ出す。言い換えれば、最適動きベクトルに関連するブロックは、ＭＳＥ又はＭＡＤにおいて所与のマクロブロックに最も近似のブロックである。
【００２４】
残念ながら、ＭＳＥ及びＭＡＤの歪み測度は、ベクトルを実際に符号化するビットのコストを考慮していない。例えば、１つの任意動きベクトルはＭＳＥを最小にできるが、しかし、ビットで符号化するコストが非常に高く、符号化の観点から最適の選択でない場合があり得る。
【００２５】
この問題を処理するために、Ｔｅｌｅｎｏｒが記述しているような最新の符号化器は、“歪み＋Ｌ×ビット”形のレート歪み（ＲＤ）判定基準を使用して最適な動きベクトルを選択する。“歪み”値は、代表的にはＭＳＥ又はＭＡＤであり、“Ｌ”は圧縮レベル（即ち、量子化ステップサイズ）に依存する定数であり、“ビット”は動きベクトルの符号化に要するビット数である。一般に、このタイプのどのＲＤ判定基準も本発明に使用できる。しかしながら、本発明の場合、“ビット”は、ベクトルの符号化に要するビットとそのベクトル精度の符号化に要するビットを含んでいる。事実、幾つかの候補が、幾つかの精度モードをもつために、若干数の“ビット”値をもち得る。例えば、位置（１／２， −１／２）に在る候補は、１／２又は１／６画素精度をもつと考えられる。
【００２６】
（ファストサーチＡＭＡ方式サーチ戦略）
図５及び図６に示すように、ファストサーチ適応動き精度（ＡＭＡ）方式サーチ戦略の場合、符号化器は動きベクトル候補の小さいセットのみを調べる。ファストサーチＡＭＡの第１ステップ（１０８）では、符号化器は、１／２画素解像度のグリッドにおいてＶ₁に中心をもち一辺が１の正方形（正方形範囲１内）の８個の動きベクトル候補をチェックする。最小のＲＤコストを有する候補（即ち、８個の前ベクトルとＶ₁の中で最適のもの）を表現するためにＶ₂を設定する（１１０）。次に、符号化器は、１／６画素解像度のグリッド上でＶ₂に中心をもち一辺が１の正方形内の８個の動きベクトル位置をチェックする（１１２）。Ｖ₂が最小ＲＤコストを有している場合（１１４）、符号化器は探索を中止し、Ｖ₂をブロックの動きベクトルとして選択する。そうでなければ、８個の前ベクトルの中で最適のものを表現するためにＶ₃を設定する（１１６）。符号化器は、次に１／６画素解像度のグリッドにおいてＶ₃に中心をもつ正方形範囲１内の新しい動きベクトル候補をサーチする（１１８）。このグリッド内の幾つかの候補は既にチェック済みであり飛ばすことができることに注意すべきである。この最終ステップでは最小のＲＤコストをもつ候補をブロックの動きベクトルとして選択する（１２０）。
【００２７】
実験データによれば、この簡単なファストサーチ戦略は、平均で（Ｔｅｌｅｎｏｒ探索戦略より１０個多い）部分画素空間における代表的な約１８の位置のＲＤコストをチェックするので、従って、全体としての計算の複雑さは適度の増加に留まる。
【００２８】
図８乃至図１８に関連して以下に説明する実験結果は、このＡＭＡ方式のファストサーチバージョンを用いることによる圧縮性能の損失が実際に皆無であることを示している。その理由は、このファストサーチＡＭＡ探索戦略が、ＲＤコストが高レベルから低レベルにスマートに移行するパスを創設することによって“歪み＋Ｌ×ビット”曲線の凸度（“歪み”は凸性であることは知られている）を活用しているからである。
【００２９】
本発明の別の実施態様は、ステップ１０８−１２０のうちの１つ又はそれ以上を変更する。これらの実施形態も効率的であり、部分画素速度空間においてチェックする動きベクトル候補数をさらに削減している。
【００３０】
図７の例では、１／３ペル精度の候補をチェックする。この実施例において、ステップ１１２は３つの可能なシナリオの１つで置き換えられる。先ず、ステップ１１０からの最適な動きベクトル候補がＶ₁（“整数ペルベクトル”）の中心にあれば（１３０）、符号化器は中心ベクトルと次に最低のＲＤコストをもつ１／２ペル位置の間にある１／３ペル精度の３候補をチェックする（１３２）。次に、ステップ１１０からの最適な動きベクトル候補がコーナーのベクトルであれば（１３４）、符号化器はかようなコーナーベクトルに最も近い１／３ペル精度の４ベクトル候補をチェックする（１３６）。第３に、ステップ１１０からの最適な動きベクトル候補が２つのコーナーベクトルの間にあれば（１３８）、符号化器は２つのコーナーベクトルの中でＲＤコストが低い方を決定し、ステップ１１０からの最適な動きベクトル候補とかようなコーナーとの間の直線に最も近い１／３ペル精度の４ベクトル候補をチェックする（１４０）。Ｖ₂が中心に無く又コーナーベクトルでも無い場合は２つのコーナー間にある筈であり、このプロセスを実行する際にステップ１３８は不必要になることに注意すべきである。符号化器を１／３画素精度の動きベクトルの探索に設定する場合、図７は、ステップ１１４への続行ではなく終了になるように変更可能である。
【００３１】
（計算量とメモリの削減）
ステップ１０８では１／２画素精度の動きベクトル候補のみをチェックするために、ハードウェアとソフトウェアの実装に要する計算量とメモリは大幅に削減される。特に、このファストサーチのスマートな実装において、参照フレームは２×２だけ補間して１／２ペルベクトル候補に対するＲＤコストを得る。ハードウェア又はソフトウェア符号化器用のファスト（又はキャッシュ）メモリは、参照フレームを３×３だけ補間するために要するＴｅｌｅｎｏｒの方法と比較してかなりの量削減される。Ｔｅｌｅｎｏｒの符号化器と比較し、キャッシュメモリは９／４の削減又は２.２５倍の削減になる。若干の追加補間はブロック単位で後で行うことができる。
【００３２】
さらに、ステップ１０８における補間はＲＤコスト関数値を下げる方向にサーチを方向づけるように用いるので、これらの補間には複合フィルタを必要としない。従って、計算量はステップ１０８用に簡単な双線形フィルタを用いることにより節減できる。
【００３３】
又、マクロブロックモード（例えば、１６×１６，４個の８×８等）の選択のような他の主要な符号化に関する決定は、そのような決定は高精度を用いることによる有意な利益がないので、１／２ペルベクトルを用いて行うことができる。次に、符号化器は残りのステップにおいてチェックする若干の追加ベクトル候補に対して必要な部分画素値を補間するためにより複雑な立方体（３次）フィルタを使用することができる。マクロブロックモードは既に選択済みであるので、これらの最後の補間は選択モードに対し実施する必要がある。
【００３４】
複数フィルタを使用することにより、常時立方体補間を用いるＴｅｌｅｎｏｒの方法と比較し、ＳｐａｒｃＵｌｔｒａ１０型ワークステーションでの稼動時間で２０％を超える計算量の削減が得られた。さらに、ファストメモリの必要性は、略半分に減少した。又、圧縮性能に関しては損失は殆どなかった。このファストサーチの１実施形態での比較において、Ｂｅｎｚｌｅｒ技法は、Ｔｅｌｅｎｏｒ符号化器において画素当たり約７０の補間を必要とするのに対し、本発明は画素当たり約７つの補間を要するのみである。
【００３５】
（動きベクトルと精度のビット符号化）
最適な動きベクトルと精度が決定されると、符号化器は動きベクトルと精度値の両方をビットで符号化する。１つの方法は、所与の精度（例えば、半画素精度）で動きベクトルを符号化し、次に、そのベクトルをより高い動き精度に詳細化するために幾つかのエクストラビットを追加する。これは、Ｂ．Ｇｉｒｏｄが提案した戦略であるが、但し、レート歪みの点では部分最適化である。
【００３６】
本発明の１つの好ましい実施形態では、１つのマクロブロックに対する動きベクトルの精度を表１に示したような簡単な符号を用いて最初に符号化する。符号長｛１，２，２｝の任意の他のテーブルを用いることも可能である。ビットレートは、代表的なＤＰＣＭ法を用いてさらに減少させることができる。
【００３７】
【表１】

【００３８】
次に、各々の精度空間におけるベクトル値を符号化する。これらのビットはＨ２６Ｌコーディックにおいて使用されるような単一ＶＬＣテーブルの項目より得ることができる。重要なアイデアは、これらのビットはマクロブロックの動き精度によって異なって解釈されることである。例えば、動き精度が１／３であり、異なる動きベクトルのＸ成分に対する符号ビットが００００１１である場合、ベクトルのＸ成分はＶｘ＝２／３である。精度が１／２であれば、ベクトルのＸ成分はＶｘ＝１に相当する。
【００３９】
１／２及び１／４画素精度ベクトルの符号化に使用できる可変長符号（ＶＬＣ）テーブルにより動きベクトルを符号化するＢｅｎｚｌｅｒの方法と比較して、本発明の方法は、任意の動き精度のベクトルを符号化するのに用いられ、テーブルは、各フレームとマクロブロックにおいて異なって解釈できる。さらに、本発明の全体的方法は、任意の動き精度に適用でき、互いに倍数であったり１／ｎ（ｎは整数）型である必要はない。所与の部分画素空間における増分数は単純に計数し、テーブルの関連項目中のビットを符号として使用する。復号器の観点からは、動き精度を復号すれば動きベクトルもまた容易に復号することができる。その後、前フレーム中の関連ブロックを代表的な４タップの立方体補間器を用いて再構築する。各動き精度毎に異なる４タップフィルタが存在する。
ＡＭＡ方式は、予測ブロックの再構築に要する動作数は同じで、動き精度とは無関係なので、復号の複雑さを増大させることはない。
【００４０】
（実験結果）
図８乃至図１８は、表２に記載の種々の動画シーケンス、解像度及びフレームレートでＡＭＡを使用又は使用せずにＴｅｌｅｎｏｒの符号化コーディックを試験した結果を示している。これらの図面は、各ケース毎にレート歪み（“ＲＤ”）を作図したものである。“Anchor”曲線は、最適化Ｈ．２６３＋（図８と図９のみ）からのＲＤ点を示している。“Ｔｅｌｅｎｏｒ１／２＋ｂ”曲線は１／２ペルベクトルと双線形補間によるＴｅｌｅｎｏｒ（古典的な例）を示している。“Ｔｅｌｅｎｏｒ１／３”曲線は、現Ｔｅｌｅｎｏｒの提案（“Ｔｅｌｅｎｏｒ符号化器”）を示している。“Ｔｅｌｅｎｏｒ＋ＡＭＡ＋ｃ”曲線は、本発明のフルサーチ戦略によるＴｅｌｅｎｏｒ符号化器を示している。図１５乃至図１７に示す“Ｔｅｌｅｎｏｒ＋ＦＳＡＭＡ＋ｃ”曲線は、本発明のファストサーチ戦略によるＴｅｌｅｎｏｒ符号化器を示している。（他に規定がない限り、ＡＭＡのフルサーチバージョンは実験に使用した符号化器の戦略であった。）全ての試験結果は、符号化器と復号器においてクロスチェックを行った。これらの結果は、ＡＭＡを実施する場合、信号対雑音（ノイズ）比のピーク（“ＰＳＮＲ”）における利得は、Ｈ２６Ｌを超え１ｄＢの高さであり、古典的な例よりもさらに高い。
【００４１】
【表２】

【００４２】
動画シーケンスは、“ゆれるパリ”を除き、動画符号化共同体により共通に使用されている。後者は、よく知られているシーケンス“パリ”を、ＸとＹ成分が［−１，１］の範囲で任意の値をとる動きベクトルだけ移動させることにより得られた合成動画である。この合成動画は、代表的な動画電話シーンにおいて手持ちカメラにより生じた小さな動きをシミュレートする。
【００４３】
（動き精度適応（ＡＭＡ）方式のフルサーチ及びファストサーチの比較）
図１６及び１７に示した実験結果は、ＡＭＡに関するファストサーチ戦略（“ＴｅｌｅｎｏｒＦＳＡＭＡ＋ｃ”）とフルサーチ戦略（ＴｅｌｅｎｏｒＡＭＡ＋ｃ“）方式の符号化器の使用性能が実際には同じであることを示している。ファストサーチ戦略は部分画素速度空間においてＲＤコスト曲線の凸性を利用するのでこれは間違いない。言い換えれば、ＲＤコスト曲線の形状はなだらかな凸曲線を辿るので、その最小値は、曲線を下降させる幾つかのスマートなファストサーチスキームを用いて容易に発見できる。
【００４４】
（ＡＭＡ及び複数参照フレームの結合）
図１８に示すグラフにおいて、“１ｒ”の標識をもつ曲線は、動き補償のために１枚の参照フレームのみを使用した。従って、これらの曲線は図１０に示した曲線と同じである。“５ｒ”の標識をもつ曲線は５枚の参照フレームを使用した。
ＡＭＡによる利得は複数の参照フレームを使用して得た曲線に付加されることを実験は示している。参照フレーム１枚の場合のＡＭＡによる利得は、緑とピンクの曲線（注：凡例で×と△）を比較することにより測定でき、参照フレーム５枚の場合の利得は青と赤の曲線（注：凡例で○と●）間で測定できる。
【００４５】
特に注意すべきことは、本発明はフレームレベルで実施でき、異なるフレームは異なる動き精度を用いることができるが、１フレーム内の全ての動きベクトルには同一精度を用いることである。この実施形態において、動きベクトル精度は、フレーム層において１度だけ信号化されるのが好ましい。実験は、全フレームに対して最適な固定動き精度を用いることによっても、マクロブロック適応の場合につき提示したような圧縮利得が生じることを示している。
【００４６】
他のフレームベースの実施形態において、符号化器は、異なるベクトル精度でフレーム全体に動き補償を行い、その後、ＲＤ判定基準に従って最適な精度を選択することができる。この方法は、パイプライン方式のワンパス符号化器には適しないが、ソフトウェアベースの符号化器又はより複雑な符号化には適用できる。他のフレームベースの実施形態において、符号化器は所与のフレームに対する最適精度を予測するために以前の統計値及び／又は公式を用いることができる（例えば、Ｒｉｂａｓの論文に記述されている公式又はそのバージョンを使用することができる）。この方法は、性能利得は予測に用いる公式の精度に依存するが、ワンパス符号化器には適している。
【００４７】
上述の明細書に用いた用語と表現は説明のためのものであり制限するものではなく、かような用語と表現を用いるに当たって表示及び記述の特徴又はその部分の同等の用語及び表現を排除する意図は全くなく、本発明の範囲は特許請求範囲の請求項によってのみ規定され限定されることを確認する。
【図面の簡単な説明】
【図１】速度空間における完全ペル及び１／３ペルの位置の例を示す図である。
【図２】最適動きベクトルを推定する従来技術による方法を説明するためのフローチャート図である。
【図３】部分画素速度空間におけるフルサーチ時の動きベクトル候補位置の例を示す図である。
【図４】本発明によるフルサーチ方式の最適動きベクトル推定方法の好ましい実施態様を説明するためのフローチャート図である。
【図５】部分画素速度空間におけるファストサーチ時の動きベクトル候補位置の例を示す図である。
【図６】本発明によるファストサーチ方式の最適動きベクトル推定方法の好ましい実施形態を説明するためのフローチャート図である。
【図７】図６のステップ１１４の別の好ましい実施形態を説明するためのフローチャート図である。
【図８】動画シーケンス“コンテナ”において毎秒１０フレームのフレームレートと解像度ＱＣＩＦで適応動き精度（ＡＭＡ）を使用、または使用しないでＴｅｌｅｎｏｒ符号化器の性能試験をした結果を示すグラフ図である。
【図９】動画シーケンス“ニュース”において毎秒１０フレームのフレームレートと解像度ＱＣＩＦで適応動き精度（ＡＭＡ）を使用または使用しないでＴｅｌｅｎｏｒ符号化器の性能試験をした結果を示すグラフ図である。
【図１０】動画シーケンス“自動車”において毎秒１０フレームのフレームレートと解像度ＱＣＩＦで適応動き精度（ＡＭＡ）を使用または使用しないでＴｅｌｅｎｏｒ符号化器の性能試験をした結果を示すグラフ図である。
【図１１】動画“庭園”においてい毎秒１５フレームのフレームレートと解像度ＳＩＦで適応動き精度（ＡＭＡ）を使用または使用しないでＴｅｌｅｎｏｒ符号化器の性能試験をした結果を示すグラフ図である。
【図１２】動画シーケンス“庭園”において毎秒１５フレームのフレームレートと解像度ＱＣＩＦで適応動き精度（ＡＭＡ）を使用または使用しないでＴｅｌｅｎｏｒ符号化器の性能試験をした結果を示すグラフ図である。
【図１３】動画シーケンス“Ｔｅｍｐｅｔｅ”において毎秒１５フレームのフレームレートと解像度ＳＩＦで適応動き精度（ＡＭＡ）を使用または使用しないでＴｅｌｅｎｏｒ符号化器の性能試験をした結果を示すグラフ図である。
【図１４】動画シーケンス“Ｔｅｍｐｅｔｅ”において毎秒１５フレームのフレームレートと解像度ＱＣＩＦで適応動き精度（ＡＭＡ）を使用または使用しないでＴｅｌｅｎｏｒ符号化器の性能試験をした結果を示すグラフ図である。
【図１５】動画シーケンス“ゆれるパリ”において毎秒１５フレームのフレームレートと解像度ＱＣＩＦで適応動き精度（ＡＭＡ）を使用または使用しないでＴｅｌｅｎｏｒ符号化器の性能試験をした結果を示すグラフ図である。
【図１６】動画シーケンス“自動車”において、毎秒１０フレームのフレームレートと解像度ＱＣＩＦでファストサーチ戦略（“ＴｅｌｅｎｏｒＦＳＡＭＡ＋ｃ"）及びフルサーチ戦略（“ＴｅｌｅｎｏｒＡＭＡ＋ｃ”）の性能試験の結果を示すグラフ図である。
【図１７】動画シーケンス“コンテナ”において毎秒１０フレームのフレームレートと解像度ＱＣＩＦでファストサーチ戦略（“ＴｅｌｅｎｏｒＦＳＡＭＡ＋ｃ"）及びフルサーチ戦略（“ＴｅｌｅｎｏｒＡＭＡ＋ｃ”）の性能試験の結果を示すグラフ図である。
【図１８】動画シーケンス“自動車”において解像度ＱＣＩＦと毎秒１０フレームのフレームレートで動き補償のために１枚の参照フレームのみを使用し試験した場合と動き補償のために複数枚のフレームを使用し試験した場合とを比較する性能試験結果を示すグラフ図である。

Claims

入力画像のフレームから分割された複数のブロックのそれぞれに対し、対象とする現ブロックにおいて、参照フレームの対応する位置からの移動量を表す動きベクトルをブロック毎にサーチする動きベクトルサーチ手段と、
１／Ｎペル（Ｎは任意の整数）で表現された複数の分数精度を有する前記動きベクトルを用いて動き補償を行う動き補償手段と、
前記精度及び前記動きベクトルを符号化する符号化手段とを備えた動き補償動画像符号化装置であって、
前記動きベクトルとは別に前記精度を可変長符号化し、
各ブロックに対する前記動きベクトルを前記ブロック毎に符号化し、
複数の異なる補間フィルタの中から選択される第１のフィルタを用いて、前記複数の精度のうちの第１の精度に従って、前記サーチ、及び前記動き補償を行い、
複数の異なる補間フィルタの中から選択される前記第１のフィルタよりも計算の複雑な第２のフィルタを用いて、前記複数の精度のうちの前記第１の精度よりも高精度な第２の精度に従って、前記サーチ、及び前記動き補償を行い、
前記精度はフレーム単位で設定が可能であり、１フレーム内の全ての動きベクトルには同一の精度が用いられるが、異なるフレームには異なる精度を用いることを可能とすることを特徴とする動き補償動画像符号化装置。
入力画像のフレームから分割された複数のブロックのそれぞれに対し、対象とする現ブロックにおいて、参照フレームの対応する位置からの移動量を表す動きベクトルをブロック毎にサーチする動きベクトルサーチ手段と、
１／Ｎペル（Ｎは任意の整数）で表現された複数の分数精度を有する前記動きベクトルを用いて動き補償を行う動き補償手段と、
前記精度及び前記動きベクトルを符号化する符号化手段とを備えた動き補償動画像符号化装置であって、
前記動きベクトルとは別に前記精度を符号化し、
各ブロックに対する前記動きベクトルを前記ブロック毎に符号化し、
複数の異なる補間フィルタの中から選択される第１のフィルタを用いて、前記複数の精度のうちの第１の精度に従って、前記サーチ、及び前記動き補償を行い、
複数の異なる補間フィルタの中から選択される前記第１のフィルタよりも計算の複雑な第２のフィルタを用いて、前記複数の精度のうちの前記第１の精度よりも高精度な第２の精度に従って、前記サーチ、及び前記動き補償を行い、
符号化対象の動きベクトルは、符号化データのベクトル値に対する前記精度の積に相当し、前記精度に応じて異なる値として解釈されるものであることを特徴とする動き補償動画像符号化装置。