JP4438797B2 - 動きベクトルの成分に関連する部分を考慮に入れるビデオ画像の符号化のための方法 - Google Patents

Description

本発明は画像の空間的解析のためのステップを有し、画像間の時間的予測の利用に依存する、画像のシーケンス内のビデオ画像を符号化するための方法に関する。より特定すれば、これは画像の時間的コンテキスト（temporal context）に基づくエントロピー符号化であり、この時間的コンテキストは動き情報に関する特性を利用する。

ハイブリッド規格、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ｈ２６４として公知の符号化規格においては、大多数の２Ｄ＋ｔサブバンド符号化スキーム、例えばＭＣＥＺＢＣ（Motion Compensated Embedded Zero Block Context）のように、符号化シーケンスの最初のステップは連続する画像の間の時間的冗長性を利用する。

図１は従来技術によるビデオコーダスキームを示す。

ビデオ信号は時間的解析回路（temporal analysis circuit）１に伝送される。動き推定回路２がコーダにより受信される２つの画像の間の動きを推定するためにこの第１の回路に接続されている。動き情報は回路１及び例えば動きベクトルフィールドの形式の符号化回路６に伝送される。回路１の出力は、テクスチャから画像周波数係数を抽出する空間的解析回路（spatial analysis circuit）３に伝送される。これらの係数は続いて定量化され（quantified）、エントロピー符号化回路４によって符号化される。この符号化された情報及び動き情報はパケット生成回路又はパケット化器５に伝送され、このパケット生成回路又はパケット化器５はビデオデータをビデオデータストリームを形成するビデオパケットの形式において送出する。

時間的解析回路１はハイブリッドスキームの場合には動き補償された時間的予測を実施し又はサブバンド符号化スキームの場合にはＭＣＴＦ（Motion Compensated Temporal Filtering 動き補償された時間的フィルタリング）を実施する。時間的予測による符号化アルゴリズムは、後ほど符号化プロセスにおいて使用される予測画像を生成するために動き補償を適用する。これらのアルゴリズムは同一の原理に基づいている。符号化すべき画像が、参照画像と呼ばれる予め符号化された１つ以上の画像から出発して予測されるのである。これは予測（Ｐ）画像及び両方向又は両予測（Ｂ）画像によるビデオＭＰＥＧ規格において当てはまる。予測はこれらの参照画像（reference images）及び瞬時の画像（current image）に関連する動きベクトルを使用する動き補償を実施する。続いて符号化されるものは、予測の残余であり、言い換えれば、瞬時の画像と時間的予測画像との間の差である。動きは一般的にピクセルのブロックにおいて記述され、動き補償はブロックによって達成される。

空間的解析回路３は、例えばウェーブレットへの分解又は離散コサイン変換を実施する。回路４のエントロピー符号化はＶＬＣ（Variable Length Coding 可変長符号化）タイプの符号化か又は算術タイプの符号化でよい。

パケット化回路の機能は、それぞれエントロピー符号化回路及び動きフィールドのための符号化回路から来るテクスチャ及び動き情報を、それらの空間及び時間周波数及びそれらの重要性、例えばビットプレーン符号化アプローチにおけるそれらのウェイトに従ってコヒーレントなサブアセンブリに分割することである。よって、取得されたバイナリストリームは個別に解像度、フレーム周波数及び適合度（fidelity）においてスケーラブルである。

推定された動きフィールドはソースの解像度に相応する。それゆえ、フィルタリングにより行われても又は予測により行われても、コーダの動き補償ステップ及びデコーダにおけるその逆の処理ステップは、コヒーレントであるために全解像度画像で実行されなければならない。

空間的スケーラビリティ、すなわち、様々なレベルの解像度における画像、例えばＳＤ（Standard Definition）、ＣＩＦ又はＱＣＩＦフォーマットの画像を伝送すること及びそれゆえ再構成することの可能性は、現在しばしばビデオデータ伝送において利用されている。ウェーブレット分解又は離散コサイン変換を使用して先に記述されたような時空間的解析（spatio-temporal analysis）による従来の符号化スキームは、このようなスケーラビリティに向いている。しかし、従来の符号化スキームは、動き情報をこのスケーラビリティに、言い換えれば画像の様々な解像度に最適なやり方で適合させることができず、従ってデータ圧縮を最適化することができない。上記のアーキテクチャをフォローするビデオコーダはテクスチャに対して空間的にはスケーラブルでありうるが、動きに対してはそうではない。しかも、この動き情報は無視できない。例えば、それは、低レート１５ＨｚのＣＩＦシーケンスが符号化される場合には、バイナリストリーム全体の約３０％を表現する。それゆえ、通常のアーキテクチャは、低解像度での圧縮パフォーマンスに実質的に影響を与える動き情報の過剰定義（over-definition）という欠点を有してしまう。

複数のソリューションがテクスチャ及び動きの両方のスケーラビリティを守るために存在する。最も簡単な手段は、復号化のために許される最低空間解像度で動きを推定することである。従って、空間的分解は最初に実行される。この場合、連続する高空間周波数の間に存在する時間的冗長性が相変わらず利用される。この目的のために、従来の時間的デコリレーションツール（temporal decorrelation tools）を再導入する数個のソリューションが提案されている：予測又は動き補償されたフィルタリングである。今や、これらの従来技術は、空間的変換の「シフト分散（shift-variance）」として周知の現象を発生する位相問題のために、ピクセル領域におけるよりも変換領域において有効性を失っている。実際、離散ウェーブレット変換（ＤＷＴ）も離散コサイン変換（ＤＣＴ）もそうであり、同一のピクセルパターンに相応する連続する画像係数が、動きの方向及び振幅、空間フィルタの方向及び長さに依存して、正負符号及び絶対値において非常に異なりうる。空間的変換に固有のシフト分散は、動き推定の新たなアプローチを必要とする。というのも、このシフト分散は、時間的高周波数が予測又はフィルタリングによる符号化には適さないようにしてしまうからである。

本発明の課題は、上記の欠点を克服することである。本発明の１つの解決策は、低空間周波数の信号及び高空間周波数の信号を導出するための瞬時の画像の空間的解析のステップを有し、動きベクトルを供給するために瞬時の画像に相応する瞬時の時間と参照画像に相応する参照時間との間の動きの推定を行う、画像のシーケンス内の画像を符号化するための方法において、この方法が、動きの推定に基づく時間的コンテキストを考慮に入れることによって瞬時の画像に関連する高空間周波数の信号のうちの少なくとも１つの信号のエントロピー符号化を実行し、この時間的コンテキストの計算のために利用されるパラメータのうちの１つは動きベクトルの成分に関するパリティであることを特徴とすることである。

１つの特別な実施形態によれば、時間的コンテキストの計算のために利用されるパラメータのうちの１つは動きベクトルの成分に関連する分数部（fractional part）である。

１つの特別な実施形態によれば、高空間周波数の信号において、考慮される成分はハイパス空間フィルタの方向における成分である。

１つの特別な実施形態によれば、エントロピー符号化は算術ビットプレーン符号化であり、時間的コンテキストは時間的参照画像における同一レベルのビットプレーンに相応する。

１つの特別な実施形態によれば、算術符号化はＮ進符号化であり、時間的コンテキストは時間的参照画像における同一レベルのＮビットプレーンに相応する。

本発明の別の解決策は、上記の符号化方法に従って符号化された画像のシーケンス内の画像の復号化のための方法において、この方法は、動き推定に基づく時間的コンテキストを考慮に入れることによって高空間周波数信号のうちの少なくとも１つの信号に関連するエントロピー復号化を実施し、この時間的コンテキストの計算のために利用されるパラメータのうちの１つは動きベクトルの成分に関するパリティであることを特徴とすることである。

１つの特別な実施形態によれば、復号化方法は、時間的コンテキストの計算のために利用されるパラメータのうちの１つは動きベクトルの成分に関連する分数部であることを特徴とする。

本発明の更なる解決策は、ビデオ信号を受信し、最低解像度に相応する最低空間周波数の信号及び１つ以上のより高い解像度に対する高空間周波数の信号を導出する空間的解析回路を有し、動きベクトルの計算のための動き推定回路を有する、上記の符号化方法をインプリメントするビデオコーダにおいて、さらに、このビデオコーダは、動きの推定に基づく時間的コンテキストを考慮に入れることによる高空間周波数の信号のうちの少なくとも１つの信号のエントロピー符号化のための回路を有し、この時間的コンテキストの計算のために利用されるパラメータのうちの１つは動きベクトルの成分に関するパリティであることを特徴とすることである。

本発明の更に別の解決策は、上記の符号化方法に従って符号化された画像のシーケンス内の画像に対するビデオデコーダにおいて、このビデオデコーダは、動き推定に基づく時間的コンテキストの計算のためのアルゴリズムをインプリメントするエントロピー復号化回路を有し、この時間的コンテキストの計算のために利用されるパラメータのうちの１つは動きベクトルの成分に関するパリティであることを特徴とすることである。

本発明の方法によって、とりわけ高周波数の連続する画像の空間的変換の時間的冗長性が比較的良好に利用され、他方で同時に動き及びテクスチャの空間的スケーラビリティを保持することができることである。動きの多重解像度記述のおかげで、空間的スケーラビリティの各解像度に対するレート品質（rate-quality）に関して圧縮パフォーマンスが改善される。

復号化されたビデオの視覚的及びオブジェクティブな品質も、フィルタリング又は予測なしで時間的冗長性を利用するおかげで改善される。フィルタリング又は予測はアーチファクトノイズ（artefact noise）、例えばもし動き推定がブロック内で実行される場合にはブロックのエフェクトのソースである。

本発明の他の特別な特徴及び利点は、非限定的な実施例により及び添付された図面を参照して表示される以下の記述から明らかになる。

図１は従来技術による符号化スキームを示し、
図２は本発明による符号化回路の簡略化されたブロック線図を示し、
図３は瞬時の画像のピクセル（ｘ，ｙ）の時間的近傍を示し、
図４はピクセル（ｘ，ｙ）の時間的及び空間的近傍を示し、
図５はピクセル（ｘ，ｙ）の２つの時間的近傍を示し、
図６はピクセル（ｍ，ｎ）の空間的及び時間的近傍を示し、
図７は動きベクトルの成分のパリティ及び分数部を示し、
図８は本発明の符号化回路のブロック線図を示す。

本発明の符号化方法をインプリメントする符号化回路は図２に示されている。これに限定されるわけではないが、ウェーブレットへの分解のケースが選択されている。

ビデオソースは２Ｄ空間的解析回路、参照符号７、に伝送され、この２Ｄ空間的解析回路はそれゆえウェーブレットへの分解のための回路である。この回路は様々な空間的解像度のサブバンド係数を供給するために空間的分解を実施する。最低解像度係数を導出する最初の出力側は時間的解析回路８に接続されている。より高い解像度のサブバンド係数に相応する他の出力側は、動き補償された時空間的コンテキスト（motion compensated spatio-temporal context）を利用する算術符号化回路又はＭＣ−ＳＴＡＣ（Motion Compensated Spatio-Temporal Arithmetic Coding）回路の入力側に接続されている。時間的解析回路８はコンテキストベースの算術符号化又はＣＡＥ回路９に接続されている。ＭＣ−ＳＴＡＣ回路の出力側は様々な解像度に相応する。

ビデオ画像からスタートして、２Ｄ空間的ウェーブレット分解回路は、復号化によって許容される最低解像度に到達するまで、各々所与の空間周波数バンドに相応するウェーブレット係数画像又はサブ画像を生成する。画像は空間領域においてベースバンド又はローバンド（ＬＬ）及びハイバンド（ＬＨ、ＨＬ、ＨＨ）に分解される。

ベースバンドに相応する画像だけは時間的解析回路８によって処理される。それゆえ、空間的解析回路７から来る最低空間解像度信号（ＬＬ）は時間的解析回路８に伝送される。この回路は動き推定を実施し、次いでＭＣＴＦとも呼ばれる動き補償された時間的フィルタリングを実施する。この時間的解析は時間的スケーラビリティを得るために入力周波数で受信された画像からの中間画像の生成を行う。このような解析器回路は例えば後で説明するようにＭＣリフトタイプのものである。時間的フィルタリングは、例えば動き補償された先行画像から予測された画像から瞬時の画像を減算する。

ベースバンドに相応する画像ではない画像は、動き補償された時空間的コンテキスト算術符号化又はＭＣＳＴＡＣ回路１０によって処理される。実際、これらのサブバンドは、オリジナルの解像度までの連続的な解像度の再構成のために必要とされ、従来のフィルタリング又は時間的予測技術には適さず、それゆえ直ちに算術的に符号化される。連続的な高空間周波数をリンクする残留時間的冗長性を使用するために、この適応コンテキスト的算術符号化（adaptive contextual arithmetic coding）は後で説明されるような動き情報の使用を伴う。

高空間周波数のウェーブレット係数の分布は以下のとおり：画像の一様な領域に相応するゼロの又は低振幅係数の大きな連結されたエリアが輪郭によって分割され、これらの輪郭は普通は連続曲線であり、これらの連続曲線に沿って係数の振幅（amplitude）が急激に変化し、それらの正負符号も同様に急激に変化する。

従って、既存のスキームにおいて普及している空間的コンテキストデータは、符号化すべき係数の振幅及び正負符号をより確からしい（more probable）ものにすることができ、これ故に、サブバンドのエントロピーを減少させ、圧縮率を増大させることができる。空間的コンテキスト（spatial context）に基づくコンテキスト的算術符号化のための演算アルゴリズムは、例えばG.Langdon and J.Rissanenの論文 "Compression of black-white images with arithmetic coding", IEEE Transactions on Communications, vol.29, no.6, pp858-867, June 1981 に記述されている。この算術符号化はコンテキスト的（contextual）である。なぜなら、推定及び確率テーブルの使用が信号全体に対して大域的ではなくてコンテキストに依存するからであり、言い換えれば近傍の可能なコンフィギュレーションの分類に従って局所的に適応されるからである。この種の符号化は空間的ＤＣＴ又はＤＷＴの高周波係数を符号化するのに良く適している。というのも、それは残留局所的空間相関（residual local spatial correlation）を利用するからである。様々なコンテキストは通常は直ぐ近傍の可能な値の組み合わせによって決定される。統計の推定が符号化プロセスの間に初期設定値から出発する学習プロセスによって実行されるので、算術符号化はアダプティブである。

公知の方法によるコンテキストの時間的ディメンションのインプリメンテーションは非常に効率的なプロセスとはいえない。厳密に空間的なコンテキストの場合よりも情報の高い存在度（abundance）にもかかわらず、動きベクトルにより指示される係数のデータは、上記のシフト分散の現象のために、統計学習フェーズにとって誤りに導くものとなりうる。空間的変化のダイナミクス、変位（displacement）及び空間フィルタの長さに依存して、ピクセルパターンの及びその変換のウェーブレット又はＤＣＴ係数は、原理的には異なる振幅及び異なる正負符号を有するだろう。もし変位が偶数個の全ピクセルによるものであるならば、変換は「同相（in phase）」であろう；もし変位が奇数個の全ピクセルによるものであるならば、変換は「逆相（in phase opposition）」であろう等々。この推論は推定された動きのサブピクセル精度がどんなものでもフォローされうる。高周波の連続の統計の評価がその条件付き分布へと最も良く収束することを可能にするために、革新的なやり方で、この判別情報（discriminating information）が時空間的コンテキストに付加されることが提案される。

この提案されたアプローチは、コンテキストが時間的コンテキストを含んでいるコンテキスト的エントロピー符号化を使用する。

エントロピー符号化及び算術符号化は１ビットより小さい平均符号長を大いに確からしい値（highly probable value）に対して使用することを可能にする。エントロピー符号化の本質的なポイントは符号化すべき信号の統計を特徴付ける確率テーブルの決定である。

まず最初に、例えば空間的コンテキストを考慮に入れて、適応確率テーブルの構成を手短に想起しよう。ビットプレーン符号化のケースを考察する。この場合、符号化及びコンテキストにおいて考慮される値はバイナリ値：０又は１である。

瞬時のピクセルを取り囲むピクセルの値及びちょうど今処理されたピクセル、例えば３つの最も近くの隣接ピクセルが考察される。故に、２^３＝８個の異なるコンテキストのリストが利用可能である。各コンテキストには確率のテーブルが関連づけられている。これらの確率テーブルはアダプティブであり、言い換えれば、処理される係数の値に従って符号化プロセスの間にアップデートされる。符号化アルゴリズムは予め定められた順番で画像の係数を走り抜けることによって演算する。このプロセスの各ステージにおいて、コンテキストは、これらのコンテキストの発生の間に値１（又は０）に遭遇した回数とともに、問題の瞬間に至るまでのコンテキストの発生数によって特徴付けられる。従って、所与のエレメントのビットプレーンに関する瞬時のビットの符号化の間に、もしこのエレメントのコンテキストがＣｊである場合にはＣｊに関する発生数がインクリメントされ、もしビットの値が１である場合には値１に遭遇する回数がインクリメントされる。コンテキストＣｊにおいて「ゼロ」又は「１」を取得する確率は次のようにして計算される：ゼロを取得する確率（ｐ0）は、所与のコンテキストにとって遭遇したゼロの個数をこのコンテキストの全発生数によって割った値に等しい。よって、コンテキストＣｊにおける瞬時のビットｘは、コンテキストＣｊにおけるこのビットの確率ｐxを知ることによって符号化される。

ここで、信号の様々な統計及び確率テーブルを時空間的コンテキストの関数として使用することによってエントロピー符号化を演算することが提案される。

先行する画像はＩ_ｐｒｅｃと記され、符号化すべき瞬時の画像はＩ_ｃｕｒと記される。これらの画像は必ずしもルミナンス画像である必要はない。これらはウェーブレット係数画像、動きフィールド画像等々でもよい。

これらの画像はそれぞれ参照符号１２及び１１により図３では示されており、この図３は瞬時の画像のピクセル（ｘ，ｙ）の時間的近傍（temporal neighbourhood）を表している。この瞬時の画像の全てのピクセル（ｘ，ｙ）において、処理されるデータ値はその時間的近傍の関数として符号化される。この時間的近傍は先行画像の中のデータ値に相応し、参照符号１４の変位されたピクセル（ｐｄ_ｘ，ｐｄ_ｙ）の近傍にローカライズされ、言い換えればこの図３のピクセル（ｘ，ｙ）の動きベクトル参照符号１３により指示される。

Ｃ（ｐｄ_ｘ，ｐｄ_ｙ）と記される時間的コンテキストはこの時間的近傍のデータの関数である。記号法を簡明にするために、Ｃ（ｐｄ_ｘ，ｐｄ_ｙ）は以下の記述ではＣと記される。この時間的コンテキストにおいて考察される係数の個数ｋに従って、２^ｋ個のコンテキストのリストが利用可能である。コンテキスト毎に、確率のテーブルが適応的なやり方で時間的コンテキストの場合に記述したのと同じやり方で定義される。

もちろん、例えば最初のビットプレーンに対しては動きのラフな記述、第２のビットプレーンに対してはより精細なバージョン等々を利用することによって、異なるビットプレーンに対して異なる動きフィールドを使用することも可能である。

時間的コンテキストの使用は空間的コンテキストの使用と組み合わせられる。もし空間的コンテキストを形成する係数の個数がｊと記され、ｋが時間的コンテキストを形成する係数の個数であるならば、２^ｊ＋ｋ個のコンテキストのリストがこの場合利用可能である。

図４は、座標（ｘ，ｙ）のピクセル（ｘ，ｙ）に関連付けられさらにこのピクセル（ｘ，ｙ）のまわりの空間的近傍１５と組み合わされた動きベクトル１３を使用して定義される時間的近傍１４を示す。

同じ原理に従って、両方向画像によるＭＰＥＧ規格において使用されているように数個の参照画像を使用する予測と類似のやり方で、１つ以上の時間的コンテキストの使用が考えられる。図５は瞬時の画像のまわりの先行画像及び後続画像を示す。（ＭＰＥＧ規格の場合のような）前方動きベクトル１３によって先行画像Ｉ_ｐｒｅｃに関する時間的近傍１４が定義され、後方動きベクトル１６によって後続画像Ｉ_{ｆｕｔｕｒｅ}に関する時間的近傍１７が定義されうる。

本発明の最も重要な局面の１つは、時空間的コンテキスト（spatio-temporal context）を定義するために利用されるパラメータのタイプに関する。上述した「シフト分散」の現象はコンテキスト的算術コーデックを「混乱させる（"disorientate"）」傾向がある。確率テーブルの適応がこの現象により損なわれないために、「シフト分散」の決定因子であるパラメータがコンテキストデータ値に組み込まれる。

それゆえ、考察されるパラメータは次のパラメータの全て又は一部である：
所与の個数の係数の空間的近傍、
考察されている空間的サブバンドの既に符号化された別の時間的サンプルの係数の動き補償された時間的近傍、
考察されている空間的サブバンドのハイパスフィルタリング方向における変位の成分のうちの少なくとも１つの成分のパリティ、
考察されている空間的サブバンドのハイパスフィルタリング方向における変位の成分のうちの少なくとも１つの成分の分数部（fractional part）。

変位の整数部のパリティによって時間的及び空間的近傍が同相及び逆相であるケースを識別することができ、変位の分数部によって変位により誘発される「位相シフト」に関するこの情報が指示される。最後に、これらのパラメータに対して、ハイパスフィルタリングの方向における成分だけが考察されると有利である。というのも、これは判別成分であるからである。これは水平方向デティールのサブバンドに対する垂直方向成分（ＬＨ）及び水平方向デティールのサブバンドに対する水平方向成分（ＨＬ）であろう。対角デティールのサブバンド（ＨＨ）は、それがそれぞれ＋４５°及び−４５°で配向された２つのフィルタリング方向を有しているという点で特別なケースである。このバンドに対して、どちらの成分がコンテキストの個数を増大させるのか２つの成分が同時に考察されるか、又は、代替的に、この個数を制限するためにこれら２つの成分のパラメータの関数が使用されうる。こうして、変位の振幅が例えば考察されるか、又は、よりシンプルに、２つの成分の和が考察されるか、又は、代替的に、最高振幅を有する変位だけが保留される。変位振幅に対して、パリティは２つの隣接ピクセル間の対角距離に関連する。

図６は各コンテキストに対して限定された個数の隣接する係数及びピクセルの１／４のリーズナブルな動き精度のケースの時空間的近傍の例を示す。瞬時の画像の行ｍ及び列ｎに位置するグレーで示された瞬時の係数（ｍ，ｎ）の空間的近傍１８は、３つの予め処理された隣接する係数Ｌ_ｃｕｒ、Ｕ_ｃｕｒ及びＤ_ｃｕｒに相応する。時間的近傍２０は参照画像の中に向かう動きベクトル１９により表される４つの係数Ｘ_ｒｅｆ、Ｂ_ｒｅｆ、Ｒ_ｒｅｆ及びＤ_ｒｅｆに相応する。係数Ｘ_ｒｅｆは行ｍ＋ｋ及び列ｎ＋１に位置している。

図７は変位ベクトルの成分に関するパラメータを示す。正規直交座標系２１における軸の目盛りは２つのピクセル間の距離の１／４に相応する。パリティは動きベクトルの成分に関連している。動きベクトルの端部のまわりのオーバーサンプリンググリッドは、相応の分数部、Ｆｒａｃｔ_ｄｘ＝ｄｌ及びＦｒａｃｔ_ｄｙ＝ｄｋの決定を可能にし、図７の例では水平方向における２／４及び垂直方向における１／４の分数の決定を可能にする。

ｄｘ＝ｌ＋ｄｌはベクトルの水平方向成分であり、ｄｙ＝ｋ＋ｄｋはベクトルの垂直方向成分である。

水平方向及び垂直方向成分のパリティはそれぞれＰａｒ_ｘ＝ｌ ｍｏｄ２及びＰａｒ_ｙ＝ｋ ｍｏｄ２である。係数は、パリティ又はノンパリティがあるかに従って同相又は逆相である。

ウェーブレット係数はビットプレーンにおいて符号化される。各ビットプレーン毎に、係数Ｌ、Ｕ及びＤの有意性（significance）は、係数Ｘ、Ｂ、Ｒ及びＤのそれと共に決定される。これは、処理されているプレーンに関連するビットのウェイトに相応する値よりも係数の値が大きいかどうかを測定することによって達成される。フラクショネーション（fractionation）及びパリティ情報も記録される。それゆえ、コンテキストは包括的に次のバイナリデータストリームによってインデックスされる：

分数部は各々２ビット（ピクセルの０〜３／４まで）に亘って符号化され、他のパラメータは１ビットに亘って符号化される。

例えば数個の参照画像が利用される時に１つ以上の動きベクトルが係数又はピクセルに関連付けられている場合には、数個のベクトルのパリティ及びフラクショネーションパラメータがもちろん考慮に入れられる。

時間的解析回路８の動き推定は、従来のやり方でこの回路の入力側に伝送される低周波バンドに亘って実施される。

ＭＥ−ＭＣＳＴＡＣ回路１０によりインプリメントされる動き推定方法（ＭＥ）は様々なアプローチ、例えば、
連続する低周波バンドに亘る動き推定、
直に高周波バンドに亘る動き推定
に従って実行されうる。

第１のケースはインプリメントするのに最もシンプルである。空間的分解の各ステップにおいて、低周波がさらに４つのサブバンドにスライスされる前に、動きフィールドが低周波に亘って推定される。この場合ソースがピクセル領域に関連付けられるので、この推定は従来のやり方で予測誤差の最小化によって実行されうる。

動きはこの場合解像度においてコヒーレントである。なぜなら、それはＭＣ−ＳＴＡＣにより符号化される３つの高周波バンドのディメンションを有し、実際に所望の解像度における変位情報を含むからである。

こうして、例えばＣＩＦ解像度において推定された動きは、ＣＩＦからＳＤ解像度へと移行するために使用される水平方向、垂直方向及び対角デティールの３つのバンドをＭＣ−ＳＴＡＣによって符号化するために使用される。同様に、ＱＣＩＦ解像度において推定された動きは、ＱＣＩＦ解像度でのシーケンスに対する従来のＭＣＴＦのサポートとして使用されることに加えて、ＱＣＩＦからＳＤ解像度へと移行するために使用される水平方向、垂直方向及び対角方向デティールの３つのバンドをＭＣ−ＳＴＡＣによって符号化することを可能にする。後で説明するように、図８はこのソリューションを利用するコーダを記述している。

もっとＭＣ−ＳＴＡＣアプリケーション用の動きフィールドを有することも望ましいだろう。この場合、符号化される各高周波バンドにおける動きが推定される必要がある；これが第２のケースである。高周波は低周波ほど情報を含んではいないので、高周波に亘って推定されるフィールドは低周波に亘って推定されるフィールドよりもコスト安だと考えるのが妥当である。それでもやはり、前述のシフト分散現象のために、推定に使用される判定基準はもはやシンプルなＤＦＤ最小化からは構成され得ない。選択される判定基準は、ＭＣＳＴＡＣに潜在的に関連付けられた条件付きエントロピーの最小化である。このような判定基準はベクトルの遡及的な選択に相応し、リソース及び複雑性の点で非常にコスト高となりうる。しかし、これはもちろん最適な判定基準である。別の判定基準は絶対値における差の最小化である。これはシフト分散の最初の障害物を克服することを可能にする非常にシンプルな判定基準である。

これらの動き推定もビットプレーンにおいて行われうる。

時間的解析回路８は一つの実施例では所望の時間的解像度を有する画像を取得するために動き補償されたリフティング又はＭＣリフト（MC-Lift）と呼ばれる公知の技術に依存する。ＭＣリフトは、画像の１つのグループに対して、様々なレベルの時間的解像度を構成する。各時間的解像度に対して、最初の画像を除いて、比較的低い時間的解像度の画像から出発する時間的予測によって画像が構成される。

図８は、より詳細に、本発明の方法をインプリメントしている装置を記述している。

このコーダのビデオ入力側は２Ｄウェーブレット変換（２ｄＷＴ）回路２２に接続されており、この２Ｄウェーブレット変換（２ｄＷＴ）回路２２はローバンドＬＬ及びハイバンドＬＨ、ＨＬ及びＨＨをその出力側に送出する。ローバンドＬＬは第２の２Ｄウェーブレット変換回路２３及び動き推定ＭＥ回路２４に接続されている。ハイバンドＬＨ、ＨＬ及びＨＨはＭＣ−ＳＴＡＣ回路２５に接続されている。第２の２Ｄウェーブレット変換回路２３はローバンドＬＬＬＬを１つの出力側に送出し、ハイバンドＬＬＬＨ、ＬＬＨＬ及びＬＬＨＨを他の出力側に送出する。このローバンドＬＬＬＬはＭＣＴＦ回路２６及び動き推定ＭＥ回路２７に接続されている。ハイバンドは第２のＭＣ−ＳＴＡＣ回路２８に接続されている。

ＭＥ回路２４からの動き情報はＭＣ−ＳＴＡＣ回路２５に伝送され、ＭＥ回路２７からの動き情報はＭＣＴＦ回路２６及びＭＣ−ＳＴＡＣ回路２８に伝送される。

ＭＣ−ＳＴＡＣ回路２５及び２８の出力側はＳＤ及びＣＩＦ解像度でテクスチャを送出する。ＭＥ回路２４及び２７の出力側はそれぞれ動きフィールドを符号化するための回路２９及び３０に接続されており、これらの動きフィールドを符号化するための回路２９及び３０は、回路２９においてはＳＤ動き情報を送出し、回路３０においてはＱＣＩＦ及びＣＩＦ動き情報を送出する。ＭＣＴＦ回路２６の出力側はコンテキストベースの算術符号化ＣＡＥ回路３１に接続されており、このコンテキストベースの算術符号化ＣＡＥ回路３１はその出力側においてＱＣＩＦ解像度の符号化されたテクスチャを送出するためにエントロピー符号化を実施する。

従って、ビデオ入力信号は回路２２、次いで回路２３によってピラミッドウェーブレット分解をうける。上記のように、動き推定はローバンドに亘って実施される。所与の空間解像度のローバンドに亘って計算された動き推定は、このローバンドに相応する解像度のハイバンドを符号化する動き補償時空間コンテキスト算術符号化ＭＣ−ＳＴＡＣ回路によって利用される。

ベースバンドＬＬＬＬは動き補償された時間的フィルタリングを実施するＭＣＴＦ回路２６によって従来のやり方で処理される。

本発明をインプリメントする復号化方法及び回路は上述の符号化方法及び回路に対応する。

従って、復号化方法は上記の符号化方法により符号化されたデータのストリームについての情報に依存することによってコンテキストを計算する。この情報は、既に瞬時の係数の処理の間に復号化されて、コンテキストのリストを計算することを可能にし、さらにこの係数の計算のために符号化において選択された様々なパラメータに対してコンテキストのリストを連続的にアップデートすることを可能にする。

エントロピー復号化回路は先の方法に従って確率テーブル及びコンテキストを計算するためのアルゴリズムをインプリメントする。

上記の符号化はビットプレーン符号化であり、それゆえバイナリ符号化である。Ｎ進符号化を利用すること、言い換えればＮビットプレーンの同時的符号化を実施することも考えられる。それゆえ、バイナリ値、ビットプレーンのバイナリ値ではなく、利用されるコンテキストがＮビットを有するＮ進値を考慮に入れる。これから結果的に生じる異なるコンテキストのリストは比較的長く、計算回数を増大させるが、符号化効率は改善される。

この記述は「フルにスケーラブルな」スキーム、言い換えれば同時に空間的に、時間的に及び適合度においてスケーラブルであるスキームに関し、どんなデコーダでもこの符号化ストリームを利用することができる。別の種類のスキーム、例えば時間的スケーラビリティを有しないスキームは、本発明の範囲内には入らない。

時間的コンテキストを使用するエントロピー符号化は空間的高周波に亘ってのみ記述されている。というのも、空間的低周波は予測された画像から出発する時間的フィルタリングに向いているからである。信号の全ての空間的周波数に亘るこのようなエントロピー符号化のアプリケーションも、もちろん本発明の範囲から逸脱することなしに、考えられる。

同様に、動き推定はベースバンドに亘って又はソース画像において実行されうる。

パリティは成分の整数部において計算される。パリティはまた最も近い整数値においても計算されうる。

ここに記述されたエントロピー符号化は算術符号化である。本発明の方法は信号の統計的性質を利用する他のタイプのエントロピー符号化、例えばＶＬＣタイプの符号化にも適用されうる。

本発明のアプリケーションは時間的予測によるビデオ圧縮に関する。

従来技術による符号化スキームを示す。 本発明による符号化回路の簡略化されたブロック線図を示す。 瞬時の画像のピクセル（ｘ，ｙ）の時間的近傍を示す。 ピクセル（ｘ，ｙ）の時間的及び空間的近傍を示す。 ピクセル（ｘ，ｙ）の２つの時間的近傍を示す。 ピクセル（ｍ，ｎ）の空間的及び時間的近傍を示す。 動きベクトルの成分のパリティ及び分数部を示す。 本発明の符号化回路のブロック線図を示す。

符号の説明

１ 時間的解析回路
２ 動き推定回路
３ 空間的解析回路
４ エントロピー符号化回路
５ パケット化回路
６ 動きベクトルフィールドの形式の符号化回路
７ ２Ｄ空間的解析回路
８ 時間的解析回路
９ コンテキストベースの算術符号化回路
１０ 動き補償された時空間的コンテキスト算術符号化又はＭＣＳＴＡＣ回路
１１ 瞬時の画像
１２ 先行画像
１３ 動きベクトル
１４ 時間的近傍
１５ ピクセル（ｘ，ｙ）のまわりの空間的近傍
１６ 後方動きベクトル
１７ 時間的近傍
１８ 瞬時の係数の空間的近傍
１９ 動きベクトル
２０ 時間的近傍
２１ 正規直交座標系
２２ ２Ｄウェーブレット変換回路
２３ 第２の２Ｄウェーブレット変換回路
２４ 動き推定ＭＥ回路
２５ ＭＣ−ＳＴＡＣ回路
２６ ＭＣＴＦ回路
２７ 動き推定ＭＥ回路
２８ 第２のＭＣ−ＳＴＡＣ回路
２９ 動きフィールド符号化回路
３０ 動きフィールド符号化回路
３１ コンテキストベースの算術符号化ＣＡＥ回路

Claims (15)

1. 画像のシーケンス内の画像を符号化するための方法において、
   低空間周波数の信号及び高空間周波数の信号を導出するための現在の画像の空間的解析のステップ（７，２２，２３）を有し、
   動きベクトル（１３）を供給するために現在の画像（１１）に相応する現在の時間と参照画像（１２）に相応する参照時間との間の動きの推定を行い、
   動きの推定に基づく時間的コンテキスト（１４，１７，２０）を考慮に入れることによる現在の画像に関連する高空間周波数の信号のうちの少なくとも１つの信号のエントロピー符号化（１０，２５，２８）のステップを有し、
   前記時間的コンテキストの計算のために利用されるパラメータのうちの１つは、動きベクトルの成分に関するパリティ（２１）である、
   画像のシーケンス内の画像を符号化するための方法。
2. 時間的コンテキストの計算のために利用されるパラメータのうちの１つは、動きベクトルの成分に関する分数部（fractional part）（２１）であることを特徴とする、請求項１記載の方法。
3. 高空間周波数の信号において、考慮される成分はハイパス空間フィルタの方向における成分であることを特徴とする、請求項１記載の方法。
4. 時間的コンテキスト（１４，１７，２０）は空間的コンテキスト（１５，１８）と組み合わされることを特徴とする、請求項１記載の方法。
5. 時間的コンテキスト（１４，１７，２０）は、１つ以上の参照画像（１４，１７）を使用する１つ以上の動き推定（１３，１６）に基づいていることを特徴とする、請求項１記載の方法。
6. エントロピー符号化は算術符号化であることを特徴とする、請求項１記載の方法。
7. 算術符号化はビットプレーンによる符号化であり、時間的コンテキストは時間的参照画像における同一レベルのビットプレーンに相応することを特徴とする、請求項６記載の方法。
8. 算術符号化はＮ進符号化であり、時間的コンテキストは時間的参照画像における同一レベルのＮビットプレーンに相応することを特徴とする、請求項６記載の方法。
9. 動き推定（２４，２７）は空間的解析により導出される信号のうちの１つを使用して実行されることを特徴とする、請求項１記載の方法。
10. 動き推定（２４，２７）はビットプレーンによって実施され、１ビットプレーンに対する時間的コンテキストは前記ビットプレーンに亘る動き推定に基づいていることを特徴とする、請求項７記載の方法。
11. 空間的解析はウェーブレット変換であることを特徴とする、請求項１記載の方法。
12. 請求項１の符号化方法に従って符号化された画像のシーケンス内の画像の復号化のための方法において、
    動き推定に基づく時間的コンテキスト（１４，１７，２０）を考慮に入れることによって高空間周波数信号のうちの少なくとも１つの信号に関連するエントロピー復号化のステップを有し、
    前記時間的コンテキストの計算のために利用されるパラメータのうちの１つは、動きベクトルの成分に関するパリティ（２１）である、請求項１の符号化方法に従って符号化された、画像のシーケンス内の画像の復号化のための方法。
13. 時間的コンテキストの計算のために利用されるパラメータのうちの１つは、動きベクトルの成分に関連する分数部（２１）であることを特徴とする、請求項１２記載の復号化のための方法。
14. 請求項１記載の符号化方法をインプリメントするビデオコーダにおいて、
    ビデオ信号を受信し、最低解像度に相応する最低空間周波数の信号及び１つ以上のより高い解像度に対する高空間周波数の信号を導出する空間的解析回路（７，２２，２３）を有し、
    動きベクトルの計算のための動き推定回路を有し、
    さらに、動きの推定に基づく時間的コンテキスト（１４，１７，２０）を考慮に入れることによる高空間周波数の信号のうちの少なくとも１つの信号のエントロピー符号化のための回路を有し、
    前記時間的コンテキストの計算のために利用されるパラメータのうちの１つは動きベクトルの成分に関するパリティ（２１）である、
    請求項１記載の符号化方法をインプリメントするビデオコーダ。
15. 請求項１の符号化方法に従って符号化された画像のシーケンス内の画像に対するビデオデコーダにおいて、
    動き推定に基づく時間的コンテキストの計算のためのアルゴリズムをインプリメントするエントロピー復号化回路を有し、
    前記時間的コンテキストの計算のために利用されるパラメータのうちの１つは動きベクトルの成分に関するパリティ（２１）である、
    請求項１の符号化方法に従って符号化された画像のシーケンス内の画像に対するビデオデコーダ。

Images