JP3659353B2 - ビデオ画像符号化方法 - Google Patents

Description

本願は、１９９５年１０月２５日出願の米国仮出願Ｎｏ．６０／００７，０１７並びに１９９６年６月２８日出願の米国仮出願Ｎｏ．６０／０２０，５１４の利益を請求するものである。
本発明は、ビデオ画像符号化方法に関する。より詳細には、本発明はブロックサイズの可変度と位置に関する制限をし、画像の分割構造を伝送する際のビットを削減するための方法に関する。

ディジタルビデオ技術の発展は、ビデオ圧縮コーデック（コーダ（符号器）／デコーダ（復号器））の高いコストの削減と異なるメーカの装置の互換性の解決が益々重要な問題になっている。これらの目的を達成するために、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：動画専門家グループ）はＭＰＥＧによるＩＳＯ／ＩＥＣ国際規格１１１７２（１９９１）（一般にＭＰＥＧ−１フォーマットと呼ばれる）及びＩＳＯ／ＩＥＣ国際規格１３８１８（１９９５）（一般にＭＰＥＧ−２フォーマットと呼ばれる）が作成されており、参照のために、ここに完全引用する。しかしながら、ＭＰＥＧは有効なビットストリームを生成するのに必要な特有のアルゴリズムを規定していない。

動き推定に関して、ＭＰＥＧは各画像のための動きベクトルを計算する特有のアルゴリズムを定義しない。動きベクトルは、現在画像中の１ブロックの座標位置から参照フレーム内座標までのオフセットを提供するために計算される二次元ベクトルである。動きベクトルを用いることにより、現在フレーム内の変分だけを符号化し伝送すればよいので、伝送路で伝送する情報量が削減でき、画像圧縮をかなり向上させる。

一般的に、動きベクトルは固定サイズのブロックにつき計算される。先行参照画像をもとに各ブロックの動きに“最良”整合を求めて探索した後に各ブロック毎に１つの動きベクトルが生成される。しかしながら、大きいブロックサイズは一般に劣った動き推定となることから、大きな動き補償フレーム差分（誤差信号）を生み出す。反対に、小さいブロックサイズは一般に優れた動き推定となり、計算の複雑度が増大し、より多くの動きベクトルを受信側に伝送するためにオーバーヘッドが増大する。このように、高い動きベクトルオーバーヘッドと良好な動き推定とのバランスが可変ブロックサイズ動き推定方法の眼目になる。

図１に任意の可変ブロックサイズと位置を用いて画像を分割するという方法による動き推定の１つの方法を示す。この分割構造を伝送するための計算オーバーヘッドは非常に高価で、例えば、ブロック毎の位置とサイズを記述する際のビットコストは非常に高い。

さらに、図１には所定の画像に対する最適なブロックサイズの決定という第２の問題がある。１つの方法は、全数探索を行うことであり、全ての可能な構造を所定の深さ又は許容ブロックサイズ数に分析する。４分割ツリー構造（以下に記述する）において、必要な探索数は全ての可能なサブツリーの数と同じであり、下記の帰納関係式で与えられる。

式中、ｄは木の最大深さ、Ｃ_f（ｄ）はｄと同じか又はそれ以下の深さを有する全ての木の数である。

により式（１）を近似し、

が得られる。これにより、５の深さを有する４分割ツリーに対する全数探索のための計算は近似値で

となり、これは多くの実装にとって実際的でない。

本発明は、画像の分割構造を伝送するためにブロック毎の位置とサイズを記述する際のビットコストを削減するビデオ画像符号化方法を提供することを目的とする。

本発明は、４分割ツリーによる可変ブロックサイズ（ＶＢＳ：Ｖａｒｉａｂｌｅ Ｂｌｏｃｋ−Ｓｉｚｅ）の動き評価のための最適な４分割ツリー構造の計算方法である。この方法は先ず全ての可能なノード位置の動きベクトルを計算する。即ち、画像全体を全てのノードにつき最低レベルまで空間的に区分する。次に、“ボトムアップ”から全てのサブブロック又はサブノード（子）の符号化による歪みの和を、そのサブノード（子）に分割したブロックまたはノード（親）の符号化による歪みと比較する。子ノードの符号化による歪みの和がその親ノードの符号化による歪みより大きい場合は、そのノードは“合成（ｍｅｒｇｅ）”される。
反対に、子ノードの符号化による歪みの和がその親ノードの符号化による歪みより小さい場合、そのノードは“分割（ｓｐｌｉｔ）”され、親ノードに対するラグランジェコストはその子ノードのラグランジェのコストの和として設定される。これらのステップは最適な４分割ツリー構造が得られるまで全てのレベルを通し全てのノードに対し反復される。

本発明によると、画像の分割構造を伝送するためにブロック毎の位置とサイズを記述する際のビットコストを削減するビデオ画像符号化方法を提供することができる。

本発明のビデオ画像符号化方法は、最適化問題を解くためのラグランジェの乗数処理により開発された。条件付き最適化問題は４分割ツリー構造（図３を参照して以下に記述する）と各ノードに対する量子化器スケールを、総歪みＤが総ビットバジェット拘束条件Ｒ_budgetに基づき最小になるように同時に決定することである。この問題は、下式により表現される。

式中、ＳはＶＢＳ動き推定用の４分割ツリーであり、Ｑ＝Ｑ（Ｓ）は４分割ツリーＳ中の全ノードに対する量子化器スケールの集まり、ＲはＳとＱに対応するビットレートである。

この問題は、ラグランジェ乗数λ≦０に対応するラグランジェコストＬ（Ｓ，Ｑ）＝Ｄ（Ｓ，Ｑ）＋λＲ（Ｓ，Ｑ）を導入することにより無条件最小化問題のパラメータ化されたファミリー問題に変えられ、この問題は、次式で表される。

このように、式（３）の解（Ｓ^*，Ｑ^*）はＲ_budget＝Ｒ（Ｓ^*，Ｑ^*）の特定なケースの式（２）の解でもある。さらに、Ｒ（Ｓ^*，Ｑ^*）をＲ_budgetに等しくさせるλ^*を持つ式（３）中の無条件最適化問題の解を得て、次に（Ｓ^*，Ｑ^*）で式（２）の中の条件付き問題を解決する。λとＲ（Ｓ，Ｑ）間には単調な関係（逆比例）があるので、λ^*に等しいλを０から∞まで走査して得る（図５を参照し以下に説明する）。

最後に、式（３）のラグランジェのコストを４分割ツリーの最適化と量子化器スケールの最適化に分解する。サブツリーＳの１つのノードをｎで表し、Ｓに属する全てのｎの集合をＡ_ｓで表す。コストは各ノードにおけるコストの合計として表現される。

式中、Ｌ_nはノードｎに対するラグランジェコストであり、ｑ（ｎ）はそのノードに対する量子化器スケールである。上記の分解により、式（３）の共同最小化問題は２つの独立した最小化問題になる。１つは、Ｓに関し、もう１つはＱに関する。

式中、Ａ_Qはすべての許容される量子化器スケールの集合である。式（５）を解くために、最初のステップとして全４分割ツリー中の全てのノードに対する最良の量子化器スケール問題を解く。次のステップでは、前記ノードのラグランジェコストを最小にする最良のサブツリーＳを決定する。式（５）の問題の解法について図２と図５を参照し、以下に詳述する。

図２には、４分割ツリーに基づく可変ブロックサイズの動きを推定するための動きベクトルを計算する際の計算処理オーバーヘッドを減少させる本発明によるビデオ画像符号化装置２００のブロック図である。本発明のこの好ましい実施例において、装置２００はより複雑な可変ブロックに基づく動き補償符号化システムの部分または符号器である。

装置２００は、可変ブロック動き推定モジュール２４０と、動き補償モジュール２５０と、レートコントロールモジュール２３０と、離散コサイン変換（ＤＣＴ）モジュール２６０と、量子化（Ｑ）モジュールと２７０と、可変長符号化（ＶＬＣ）モジュール２８０と、バッファ（ＢＵＦ）２９０と、逆量子化（Ｑ^-1）モジュール２７５と、逆ＤＣＴ（ＤＣＴ^-1）モジュール２６５と、減算器２１５と加算器２５５より成る。

装置２００は複数のモジュールから成るが、当業者には種々のモジュールで実行される機能は図２に示すように別々のモジュールに分離しないでも良いことは理解できるであろう。例えば、動き補償モジュール２５０と逆量子化モジュール２７５と逆ＤＣＴモジュール２６５とより成るモジュール１式は通常“埋め込み復号器”として知られている。

図２には、パス２１０に入力画像（画像シーケンス）が示されており、この入力画像はディジタル化され、ＭＰＥＧ規格に一致した１つの輝度信号と２つの異なる色信号（Ｙ，Ｃｒ，Ｃｂ）として表現される。これらの信号は、さらに、複数の層（シーケンス、画像グループ、画像、スライスおよびブロック）に分けられ、各画像（フレーム）は異なる寸法を有する複数のブロックにより表現される。

１枚の画像をブロック単位に分けることにより、２枚の連続する画像間の変化を識別する能力を改善（下記に説明する）し、低振幅の変換係数の除去により画像の圧縮度を改善する。ディジタル化信号は、適当なウィンドウ、分解能と入力フォーマットを選択するためのフォーマットのような予備処理を適宜施される。好ましい実施例において、許容されるブロックサイズとブロックの位置は、図３に示すように４分割ツリー構造によって指示される。

図３に、５つのレベルを有する４分割ツリー構造の概念を示す。この４分割ツリー構造は可変サイズのブロックを許容するが、ブロックサイズと位置を予め定義された構造に制限する。

図示のように、４分割ツリー構造は完全な画像の単一ブロック３１０より成る初期レベル“ゼロ”から始まる。特に、初期ブロックは２５６×２５６ブロックであり、全ての入力画像はこのブロックサイズに切り落とす。

４分割ツリー構造をさらに第２レベル“１”に区分する場合は、初期ブロックは４つのブロック３２０に分割する。ブロック３２０をさらに区分する必要があれば、各ブロック３２０を４つのブロック３３０に分割し、さらにブロック３４０に区分し、さらにサブブロック３５０等々にと区分することが出来る。

この好ましい実施例の場合、許容されるブロックサイズのセットは、｛８，１６，３２，６４，１２８，２５６｝である。換言すれば、６層の４分割ツリー構造を選択している。しかしながら、当業者ならば、他のツリー構造および／または異なる層数を採用して本発明を変更できることは理解できるであろう。例えば、この４分割ツリーを、各ブロックを次のレベルで１６ブロックに分割する“１６分割ツリー”として実施出来る。

４分割ツリー構造は、より大きな動き推定を要する有効変位（動き情報）がある画像領域により小さいブロックを指定する効率的な方法を提供する。例えば、図３の４分割ツリー構造は、右上“分割”ブロック３２０に変位がある画像に適している。他の“合成（ｍｅｒｇｅｄ）”ブロック３２０中の情報は参照画像と比較し変位を含んでおらず、より大きい歪みを導入する条件を付けることなくより大きいブロックサイズに対する動きベクトルで符号化出来る。

このように、この４分割ツリー構造は、図３の（破線で囲んだ）ブロック３６０又は図１のブロックで表すような任意のブロックサイズと配置を許さない。この制限は４分割ツリー構造を描くために受信側（図示せず）に送る情報を単純化する。例えば、図３の４分割ツリー構造は１３データビット、例えば、1,010,001,000,100（コンマはデータセットの部分ではない）で有効に記述出来る。

しかしながら、当業者ならば４分割ツリーを構造を記述するためにデータビットを用いる種々の方法を採用でき、例えば、頻繁に使用する４分割ツリー構造等を表現するために短縮ビットパターンを用いることは理解できよう。４分割ツリーを使用しなければ、各画像毎に受信側へブロック数、各々のブロックサイズ及び各々のブロック位置を記述するには何百ものビットを必要とする。このように、４分割ツリーのブロックサイズの可変度と位置に関するこの制限は、その構造を伝送する際のビットを削減することで相殺される。

図２に戻り、パス２１０の入力ビデオ画像は、動きベクトルを推定するために可変ブロック動き推定モジュール２４０に入力される。この可変ブロック動き推定モジュール２４０は、特に、画像全体に対する全ての可能なノード位置の動きベクトルを計算する。即ち、この４分割ツリーは満開、即ち、画像全体を全てのノードにつき空間的に最低レベルまで分割していると仮定する。かように、最大ブロックサイズから最小ブロックサイズまで４分割ツリー全体につき動きベクトルを計算する。

可変ブロック動き推定モジュール２４０からの動きベクトルは、サンプル値の予測の効率を改善するために動き補償モジュール２５０に送られる。この動き補償処理は、予測誤差を形成するために用いる、先に復号されたサンプル値を含んでいる過去及び／又は未来の基準フレームにオフセットを供給する動きベクトルを用いた予測処理を含んでいる。即ち、この動き補償モジュール２５０は先に復号されたフレームと動きベクトルを使用して現フレームの推定を構成する。

さらに、所定ブロックに対する動き補償予測の前に、符号化モードを選択しなければならない。符号化モード決定領域において、ＭＰＥＧは、複数の異なる符号化モードを規定している。一般に、これらの符号化モードは、２つの広い分類、インターモード（ｉｎｔｅｒ ｍｏｄｅ）符号化及びイントラモード（ｉｎｔｒａ ｍｏｄｅ）符号化に大別される。イントラモード符号化は、１つのブロック又は１枚の画像を、同ブロックまたは同画像からの情報のみを用いて符号化する。

これに反し、インターモード符号化は、１つのブロック又は１枚の画像を、同ブロックまたは同画像からの情報と異なる時間に発生したブロック又は画像からの情報の両方を用いて符号化する。特に、ＭＰＥＧ−２はイントラモードと、動き補償なし（Ｎｏ ＭＣ）モードと、フレーム／フィールド／デュアル−プライム（ｄｕａｌ−ｐｒｉｍｅ）動き補償インターモードと、前方／後方／平均インターモードと、フィールド／フレームＤＣＴモードを含む符号化モードを規定している。各ブロックに対するモードを正しく選択することによって、符号化の性能特性が向上する。符号器の設計者は、符号化モードを決定実施するために種々の方法を使用することが出来る。

符号化モードを選択すると、動き補償モジュール２５０は過去及び／又は未来の参照画像に基づきブロック内容の動き補償予測（予測画像）をパス２５２上に生成する。パス２５２上のこの動き補償画像をパス２１０上の現ブロック中のビデオ画像から減算器２１５で差し引いてパス２５３上に誤差信号または予測残差信号を形成する。この予測残差信号の形成により、入力ビデオ画像中の冗長情報が有効に除去される。即ち、伝送チャンネルで実際のビデオ画像を伝送する代わりに、ビデオ画像の予測を生成するに必要な情報と予測誤差のみを送信する。これにより、送信を要するデータ量をかなり削減できる。ビットレートをさらに削減するために、パス２５３上の予測残差信号をＤＣＴモジュール２６０に送り符号化する。

ＤＣＴモジュール２６０は前方離散コサイン変換プロセスを予測残差信号の各ブロックに適用し、８×８ブロックのＤＣＴ係数のセットを生成する。ＤＣＴ係数の８×８ブロック数は各ブロックのサイズに依存する。この離散コサイン変換は可逆離散直交変換であり、そこでのＤＣＴ係数はコサイン基底関数の集合（セット）の振幅を表す。離散コサイン変換の利点は、ＤＣＴ係数が無相関であることである。ＤＣＴ係数の無相関は圧縮の場合に重要である。何故なら、各係数は圧縮効率の損失無く個別に処理できるからである。さらに、ＤＣＴ基底関数又はサブバンド分割は、量子化の次の段階のために重要である視覚心理判定基準（ｐｓｙｃｈｏｖｉｓｕａｌ ｃｒｉｔｅｒｉａ）の有効使用を可能にする。

量子化モジュール２７０は生成された８×８ブロックのＤＣＴ係数を受け取り量子化する。量子化プロセスは、ＤＣＴ係数を量子化値のセットで割り適当に丸めて整数値にして表現し精度を低減させる。量子化値は、（視覚的に重みづけた量子化として知られる）基底関数の可視性（ｖｉｓｉｂｉｌｉｔｙ）に基づく判定基準を用いて各ＤＣＴ係数毎に個別に設定出来る。

即ち、量子化値は、所定基底関数の可視性に対する閾値、即ち、人間の目により正確に検出できる係数振幅に該当する。ＤＣＴ係数をこの値で量子化することにより、多数のＤＣＴ係数を“ゼロ”値に変換し、画像圧縮効率を向上させることができる。この量子化プロセスは画質を達成し、符号器を制御して出力を所定のビットレートに整合させる（レートコントロールの）ための重要な処理であり、重要なツールである。異なる量子化値を各ＤＣＴ係数に適用できるので、“量子化マトリックス”を参照テーブル、例えば、輝度量子化テーブルまたは色量子化テーブルとして一般に設定する。このように、符号器は変換ブロック中の各周波数の量子化方法を決定する量子化マトリックスを選択する。

しかしながら、量子化誤差の主観的知覚は、周波数によってかなり変化し、周波数が高いほど粗い量子化値を使用できる有利さがある。即ち、人間の量子化誤差に対する知覚感度は空間周波数が高いほど低くなる。従って、高い周波数は、低い周波数より少ない許容値でより粗く量子化する。さらに、正確な量子化マトリックスは、このような意図するディスプレイの特性、視距離、画像源のノイズ量等の多数の外部パラメータに左右される。このように、応用先又はフレームの個別シーケンスに対しても特殊な量子化マトリックスを適合させることは可能である。一般に、カスタム化した量子化マトリックスを圧縮ビデオ画像と共にコンテキスト（ｃｏｎｔｅｘｔ）として保管できる。量子化器のスケールはレートコントロールモジュール２３０により正しく選択される。図５を参照して以下に説明する。

次に、可変長符号化モジュール２８０は信号コネクタ２７１を介して８×８ブロックの量子化ＤＣＴ係数を受信し、量子化係数の二次元ブロックを“ジグザグ”順序で走査し量子化係数の一次元の列に変換する。このジグザグ走査順序はＤＣＴ係数を最低空間周波数から最高空間周波数までの近似遂次順序である。量子化は一般に高い空間周波数のＤＣＴ係数を０に減少させるので、代表的には量子化ＤＣＴ係数の一次元列を若干の整数とそれに続くゼロ列で表現する。

可変長符号化（ＶＬＣ）モジュール２８０が量子化ＤＣＴ係数の列と、ブロック形式及び動きベクトルのような全てのサイド情報を符号化する。ＶＬＣモジュール２８０は符号化効率を有効に改善するために可変長符号化とランレングス符号化を用いる。可変長符号化は可逆符号化プロセスであり、短い符号語（ｃｏｄｅ−ｗｏｒｄ）を頻度の高い事象に指定し、長い符号語を頻度の低い事象に指定する。一方、ランレングス符号化は記号列を単一記号で符号化することで符号化効率を高める。これらの符号化スキームは当該技術において公知であり、整数長符号語を使用する時にハフマン符号化と称されることも多い。かようにＶＬＣモジュール２８０は入力ビデオ画像を有効データストリームに変換する最終段階を実行する。

データストリームは“先入れ先出し（ＦＩＦＯ）”バッファ２９０に保管される。異なる画像形式と可変長符号化を用いる結果、ＦＩＦＯバッファへの総ビットレートは可変である。即ち、各フレームを符号化するために使用するビット数は異なり得る。固定レートチャンネルを含む用途の場合、ＦＩＦＯバッファを使用し符号器の出力をビットレートを平滑化するためのチャンネルに整合させる。このようにして、ＦＩＦＯバッファ２９０の出力信号は入力ビデオ画像パス２１０の圧縮表現となり、パス２９５で記憶媒体または電気通信チャンネルに送られる。

レートコントロールモジュール２３０はデータストリーム送信後、復号側（受信機又は目的の記憶装置（図示せず）内）でのオーバーフローとアンダーフローを防止するためにＦＩＦＯバッファ２９０に入力するデータストリームのビットレートを監視し調整する働きをする。固定レートチャンネルが復号器内の入力バッファへ一定のレートでビットを入力すると仮定する。画像レートにより決まる一定の間隔で、復号器は入力バッファから次の画像用の全てのビットを即座に移動する。入力バッファ中のビットが少なすぎる、即ち、次の画像用の全ビットが受信されていない場合、入力バッファはアンダーフローになりエラーを生じる。

同様に、入力バッファ中のビットが多すぎる、即ち、入力バッファが一画像と他画像の開始点間で容量超過になっていると、入力バッファはオーバーフローになりオーバーフローエラーを生じる。このように、レートコントロールモジュール２３０の役割は、バッファ２９０の状態を監視し符号器が生成するビット数を調整し、オーバーフロー及びアンダーフロー状態を防止する。レートコントロールのアルゴリズムは、画像の質と圧縮効率に重要な役割を演じる。

現在、ビットレートを制御する１つの方法として量子化プロセスを変える方法があり、これは、入力画像の歪みに影響を与える。量子化器スケール（ステップサイズ）を変えることにより、ビットレートを変えて制御することができる。実例で説明すれば、バッファがオーバーフローに向かっている場合は、量子化器スケールを増加させねばならない。この動作により、量子化プロセスは追加のＤＣＴ係数を“ゼロ”値まで減じ、１つのブロックを符号化するのに必要なビット数を減少させる。これにより、実際にビットレートを減じ、潜在的なオーバーフロー状態を除去する。

反対に、バッファがアンダーフローの方向に向かっている場合、量子化器のスケールを減少させねばならない。この動作により、非ゼロ（ｎｏｎ−ｚｅｒｏ）量子化ＤＣＴ係数の数が増加し、１つのブロックを符号化するのに必要なビット数を増加させる。このように、ビットレートを増加し潜在的なオーバーフロー状態を除去する。

本発明の好ましい実施例において、レートコントロールモジュール２３０は、各ノードにおける各ブロック毎に量子化器スケールを、完全なツリー中の全てのノードのラグランジェのコストを計算し各ノードに対する最良の量子化器スケールを発見して選択する。即ち、各ブロックを量子化器スケール（１〜３１）の完全セットで符号化し最小のラグランジェのコストを生じる量子化器スケールをそのブロックに対して選択する。尚、当業者ならば異なる数値の量子化器スケールを使用できることは容易に理解できよう。量子化器スケールと４分割ツリー構造との合同最適化（ｊｏｉｎｔ ｏｐｔｉｍｉｚａｔｉｏｎ）方法につき、図５を参照し以下に詳述する。

量子化モジュール２７０からの量子化ＤＣＴ係数の８×８ブロックは、信号接続２７２を介して逆量子化モジュール２７５にも送られる。この段階で、ビデオ画像符号化装置２００は、次の符号化の参照フレームとして使用するために、データを復号して入力ビデオ画像のＩフレームとＰフレームを生成する。この逆量子化モジュール２７５は量子化ＤＣＴ係数を逆量子化することにより復号プロセスを開始する。即ち、量子化ＤＣＴ係数に量子化値のセットを乗じ、しかるべく整数値に丸める。

逆量子化した８×８ブロックのＤＣＴ係数を逆ＤＣＴモジュール２６５に送る。該モジュールは各ブロックを逆離散コサイン変換（ＤＣＴ）し復号エラー信号を生成する。このエラー信号を、動き補償モジュールからの予測信号に加算器２５５を用いて加算し復号参照画像（再構成画像）を生成する。一般に、Ｉフレーム又はＰフレームを復号して保管し、同時に最も古い保管参照フレームを除去する。

適切な４分割ツリー構造を選択するために、装置２００は“ボトムアップ”（最低レベルから最高レベルまで）の方向で、全サブブロックまたはサブノード（子供）の符号化による歪みの合計をサブノードに区分されたブロック又はノードの符号化歪みと比較する。即ち、親ノードのラグランジェコストを子供ノードのラグランジェコストと比較して、その親を分割するか併合する。子供の符号化歪みの合計が親の符号化歪みより大きい場合、そのノードを“合成”する。反対に、子供の符号化歪みの合計が親の符号化歪みより小さい場合、そのノードを“分割”し、親ノードのラグランジェコストをその子供のラグランジェコストの合計として設定する。このステップを最適４分割ツリー構造が得られるまで、全てのレベルの全てのノードに対し反復する。

上述の枝刈り方法を説明するために、図４にレベルｉ（ｉ番目のレベル）の位置ｊ（ｊ番目の位置）における親ノードを示し、その子供のラグランジェコストをＬⁱ _jで表す。その子供ノードのラグランジェコストを次のように表し、そのノードを合成する。もしくは、そのノードを分割する。

この方法は、式（１）の全数探索法と比較して、計算オーバーヘッドをかなり減少させる。この木の枝刈り法の複雑度は、ラグランジェコストの比較回数に比例する。この回数は、ボトムレベル（レベルｄ）を除く４分割ツリーの全ノード数と一致する。このように、複雑度は、次式で表される。

ｄ＝５の場合、複雑度Ｃ_p（５）は３４１である。このように、本方法は全数探索法に比し、約１０³⁰⁵倍の非常に有効な削減を達成する。
さらに、この方法は、完全に開花したツリーから開始し、木の上から下への“トップダウン”比較（探索パターン）に付随する極小を避けられるので最適な解が得られる。

図５に、本発明の好ましい実施例における４分割ツリー構造と量子化器スケールの合同最適化処理のフローチャートを示す。この方法５００は４分割ツリー構造の各ブロックに対する最適な量子化器スケールを有する最適な４分割ツリー構造を導出するために公式化されている。その解は画像に割り当てられたバジェットビットレートを満足し、符号化画像の総歪みを最小にする。

以下、図５を参照して説明する。本方法はステップ５０５より始まり、ステップ５１０に進む。この方法は全ての可能なノード位置のベクトルを計算する。本方法は４分割ツリーの完全な開花、即ち、全画像を全てのノードにつき最低レベルまで空間的に区分することを保証する。このように、最大ブロックサイズから最小ブロックサイズまで全４分割ツリーに対する動きベクトルを計算する。全ブロックに対する動きベクトルをステップ５２０に送り、適当な量子化器スケールを計算する。

ステップ５２０において、本方法は各ノードに対する量子化を最適化する。本方法は全ての可能な量子化器スケール（例えば、１〜３１）につき、各ブロックの歪みを計算し比較する。即ち、各ブロックを１から３１までの量子化器スケールの完全セットで符号化し、ラグランジェコストを最小にする量子化器スケールをそのブロックに対して選択する。

ステップ５３０において、本方法は、ｉをｄ−１に等しく設定する。ここで、ｉは現在の深さレベルであり、ｄは最深レベルである。本方法は、ボトムアップで最適の４分割ツリーの探索を開始する。ステップ５４０において、本方法は、最低レベルから最高レベルまで、現在の親レベルｎのラグランジエコストＬ_nをその子供ノードｃのラグランジェコストＬ_ｃの合計と比較する。実際に、本方法は、全てのサブブロックまたはサブノード（子）の符号化歪みの合計をそのサブノードに区分したブロックまたはノード（親）の符号化歪みと比較する。子供の符号化歪み（ラグランジェコスト）の合計が、親の符号化歪みより大きい場合、そのノードを合成する。

反対に、子供の符号化歪み（ラグランジェコスト）の合計が、親の符号化歪みより小さい場合、そのノードを分割し、親ノードに対するＬ_nをその子供のＬ_Cの合計として設定する。Ｌ_n←ΣＬ_Cの効果は極小問題を除去する。この高速枝刈り法は、方法５００を適当なハードウェアにおいてリアルタイムで実施できるように最適４分割ツリー構造を決定する際の計算複雑度を有効に減少させる。

ステップ５５０において、方法５００は現レベルで残っている追加ノードがあるか問い合わせる。問い合わせに対する答えが肯定であれば、方法５００はステップ５４０に戻り、次のノードの枝刈りをするかどうかを決定する。前記問い合わせに対する回答が否定であれば、方法５００はステップ５６０に進む。

ステップ５６０において、方法５００は、プロセスが４分割ツリーの最高レベル又はルート（ｒｏｏｔ）まで到達したか問い合わせる。問い合わせに対する答えが否定であれば、方法５００はステップ５３０に戻り、ステップ５４０と５５０を、次のレベルを枝刈りするまで繰り返す。前記問い合わせに対する回答が肯定であれば、本方法５００はステップ５７０に進む。

ステップ５７０において、方法５００は、選択したλがＲ（Ｓ^*，Ｑ^*）をＲ_budgetに等しくするλ^*と等しいか問い合わせる。本発明において、ラグランジェの乗数が固定されているものと仮定する。しかしながら、この乗数λはλを０から無限大までの範囲で掃き出す（ｓｗｅｅｐ）ことにより反復計算できる。すなわち、掃き出し（ｓｗｅｅｐ）の間に、Ｒ^*（λ）の値がＲ_budgetに等しくなるようなＳ^*，Ｑ^*及びＲ^*（λ）の解のセットを得る。Ｒ（λ）は単調減少関数であるので、２分探索を用いて先述のビットバジェット制約条件に対する歪みを最小にする所望のλを計算する。例えば、λ^*は下記の関係式から選択することができる。

式中、（Ｒ１とＤ１）と（Ｒ２とＤ２）のセットは、任意に選択した２つのλ₁とλ₂に対するビットレートと歪みである。一般に、λ₁は０のような低い数値に設定し、λ₂は1,000,000のような高い数値に設定する。式（７）から計算されたλ^*を使用し、その値がＲ^*（λ）をＲ_budgetに等しくする適切な数値であるかを調べる。λ^*が適切なλでなければ、式（７）に使用し、λ₁またはλ₂を置き換え、新しいλ^*を計算する。この反復プロセスは、Ｒ^*（λ）がＲ_budgetより少ないかまたは等しくなるまで継続する。一般に、λ^*は１０回以下の反復で得ることができる。

しかしながら、当業者ならば、多くの２分探索法（バイナリサーチ）があり、記述の方法は式（７）に限定されないことは容易に理解できよう。このようなアルゴリズムは、Ｙａｉｒ Ｓｈｏｈａｍ及びＡｌｌｅｎ Ｇｅｒｓｈｏ、“量子化器の任意セットに対する有効なビット割り当て”、ＩＥＥＥの音響、音声及び信号処理に関する会報、第３６巻、Ｎｏ．９（１９８８年９月）に詳述されている。

このように、本方法５００は、ステップ５７０において選択したλがＲ^*（λ）をＲ_budgetに等しくするλ^*に等しくないと判定すると、ステップ５２０に戻り、式（７）に従って異なるλを用いて本方法を繰り返す。問い合わせに対する回答が肯定であれば、方法５００はステップ５７５に進み方法を終了するか、本方法を次の画像に対し繰り返す。

尚、本発明の複雑度をさらに低減するために、ステップ数を削減し方法を簡素化することが可能である。第１の簡素化は、先行画像のラグランジェ乗数を現在の画像のラグランジェ乗数として使用することにより、図５のステップ５７０を除去することである。第２の簡素化は、所与のサブツリーの全てのノードまたは４分割ツリーＳの全体に対し同一の量子化器スケールを採用することである。

最後の第３の簡素化は、４分割ツリー探索のためにグリーディ（Ｇｒｅｅｄｙ）アルゴリズムを使用することである。所望の構造を得るために、完全４分割ツリーの枝刈りの代わりに、上記のツリー枝刈りアルゴリズムと同一のラグランジェコストの比較規則を使用し、４分割ツリーをトップからボトムまでグリーディに成長させることができる。このグリーディ法の場合、全ての可能なノードに対しレート−歪みデータを生成する必要はない。成長中のツリーのノードに対するデータのみが計算を要する。しかしながら、この方法により得た解は極小問題のために最適ではない。

セールスマンシーケンスでのシミュレーションを行い、最適ＶＢＳ動き推定の性能と１６×１６の固定ブロックサイズ（ＦＢＳ）の従来の動き推定の性能を比較した。比較のために、同じ量子化器スケールの最適化ルーチンと同じ残差符号器を両方の場合に使用する。さらに、輝度（Ｙ）のみを符号化し、前方動き補償のみを用いて符号化の遅れを減少させる。このシミュレーションはセールスマンシーケンスの１２０フレームを２５６×２５６のサイズに刈り込み（ｃｒｏｐ）、フレームレートをビットレート６４キロビット／秒に対し１０フレーム／秒とした。

図６と図７に、セールスマンシーケンスに対する信号ノイズ比（ＳＮＲ）の結果と６４ｋｂ／ｓｅｃ．時のビットレート結果を示す。ＶＢＳ動き推定方法はＦＢＳ動き推定方法より１.７デシベルだけ向上する。ＶＢＳ方法の場合の平均ＳＮＲとＦＢＳ方法の場合の平均ＳＮＲは各々３２.５４デシベルと３０.８４デシベルであった。

図８には、輝度データと、動きベクトルと、４分割ツリー表現のビットレート曲線を示す。図９には、セールスマンシーケンスのフレーム６０に対しＶＢＳ法で使用した最適４分割ツリーを示す。

第２の好ましい実施例においては、上記の方法をウェーブレットベースのスキームに適用する。ウェーブレットベースの補償は、１９９２年３月にカリフオルニア州サンフランシスコ市にて開催された音響、音声及び信号処理に関する国際会議の議事録第IV巻、６５７−６６０頁）に記載されている圧縮技法である。

同資料には、階層サブバンド分解又はウェーブレット変換を行い、ゼロツリーを含む階層的遂次近似エントロピー符号化量子化器を後続する信号圧縮システムが記述されている。マルチ解像度階層サブバンド表現を用いる信号データの表現はＢｕｒｔ他によりＩＥＥＥの通信に関する会報（第３１巻、Ｎｏ．４、１９９３年４月、５３３頁）に開示されている。臨界サンプリング直交ミラーフィルター（ｃｒｉｔｉｃａｌｌｙ ｓａｍｐｌｅｄ ｑｕａｄｒａｔｕｒｅ−ｍｉｒｒｏｒ ｆｉｌｔｅｒ）（ＱＭＦ）サブバンド表現とも呼ばれるウェーブレットピラミッドは画像のマルチ解像度階層的サブバンド表現である。

このウェーブレットピラミッドはＰｅｎｔｒａｎｄ他が１９９１年４月８−１１日に米国ユタ州スノーバード市にて開催されたデータ圧縮会議の論文集中で開示している。ＱＭＦサブバンドピラミッドは、“サブバンド画像符号化”（Ｊ．Ｗ．Ｗｏｏｄ編、Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ出版社、１９９１年）と“ウェーブレットに関する１０の講義”（Ｉ．Ｄａｕｂｅｃｈｉｅｓ，工業及び応用数学の学会（ＳＩＡＭ）、米国ペンシルヴアニア州フィラデルフィア，１９９２年）に記述されている。また、フレーム間（インターフレーム）ウェーブレットビデオ圧縮スキームが、１９９６年２月２７日に発行された動画像復号化に関する米国特許Ｎｏ．５，４９５，２９２に開示されている。

さらに、ウェーブレットに基づく圧縮技法が、１９９５年５月２日に発行された米国特許Ｎｏ．５，４１２，７４１に開示されており、本明細書においてもこれを参照する。同技法は、階層画像表現のために埋込みゼロツリーウェーブレット（ＥＺＷ）の導出に離散ウェーブレット変換（ＤＷＴ）を使用することを記述している。この階層表現は、次に、エントロピー符号化を使用して有効に符号化される。

ウェーブレットの階層サブバンド分解の場合、画像は２回ずつサンプリングされ高水平−高垂直（ＨＨ）周波数サブバンド、高水平−低垂直（ＨＬ）周波数サブバンド、低水平−高垂直（ＬＨ）周波数サブバンド、低水平−低垂直（ＬＬ）周波数サブバンドに分解される。
ＬＬサブバンドはさらに２回ずつサブサンプリングされて、ＨＨ，ＨＬ，ＬＨ及びＬＬのサブバンドのセット（組）を生成する。このようなサンプリングを繰り返し、図１０に示すような列（アレイ）を３度のサブサンプリングにより生成する。
好ましくは、６回のサブサンプリングを実施する。親子関係は親ノードのサブバンドから子ノードのサブバンドを指す矢印で示される。最低周波数サブバンドは左上のＬＬ₃であり、最高周波数サブバンドは右下のＨＨ₁である。この例の場合、全ての子ノードは１つの親を持つ。

図１１に、サブサンプリングされた画像の３世代の親子関係を示す。１つの親ノード７２は、４度のサブサンプリングによる画像中の同一領域に対応する４つの子ノード７４を有する。各子ノード７４はさらに４度のサブサンプリングによる４つの対応する次世代の子ノード７６を持つ。

図１２に、４分割ツリーに基づく可変ブロックサイズの動き推定のための動きベクトルを決定する際の計算オーバーヘッドを減少させるために、ウェーブレット変換方法を実施する本発明の装置１２００のブロック図を示す。本発明の好ましい実施例において、装置１２００は符号器又はより複雑な可変ブロックベースの動き補償符号化システムの一部分である。

この装置１２００は、図２に示す装置２００につき記述したモジュールと略同一のモジュールより成る。両者の違いは、ＤＣＴモジュール２６０と逆ＤＣＴモジュール２６５とＶＬＣモジュール２８０をＤＷＴモジュール１２６０と逆ＤＷＴモジュール１２６５とウェーブレット符号化モジュール１２８０で各々置き換えていることである。ウェーブレット符号化モジュールは、ゼロツリー符号化及び／又はエントロピー符号化のような異なる符号化方式を任意数内蔵できる。装置１２００の機能は、入力ビデオ画像でウェーブレット変換を行うことを除き、装置２００の機能と同じである。
しかしながら、ウェーブレットベースの方法は、ブロック間の独立性を許さない。従って、各個別ブロックの正確なコスト計算を行うのは非常に難しい。

このように、ウェーブレットベースの方法は、歪みのモデルを使用し、ビットレートに対する動きベクトルビットだけを計数する。符号化歪みを、予測誤差ＭＳＥの定数倍によって近似させる。この定数は実験的に決められ、ＭＳＥは予測残差の平均二乗誤差であり、原画像と復号フレーム間の差ではない。十分な時間的相関性が仮定できれば、ラグランジェの乗数は、先行フレームの残差符号化のレート歪みカーブの傾斜により近似できる。

第２のウェーブレットベースの方法では、親ノードとその子ノードの総フレーム・ラグランジェ・コストだけを比較する。この総コストを計算するために、隣接ブロックのブロック区分を先行４分割ツリーの枝刈り結果によって定める。枝刈りがなされていない区域のブロック区分は最小ブロックサイズ（最低レベル）によって定める。

第３の実施例において、本発明の可変４分割ツリー構造はアフィン動きモデルと共に可変ブロックサイズアフィン動きモデルを生成するのに用いる。アフィン動きモデルはＪ．Ｎｉｅｗｅｇｌｏｗｓｋｉ他により“ディジタル画像のワーピング（ｗａｒｐｉｎｇ）を利用するテンポラル（時間的）予測ベースの新規ビデオ符号化スキーム“（ＩＥＥＥ会報、コンシューマエレクトロニクス、第３９巻３、１４１−１５０頁、１９９３年８月）に開示されており、本明細書でも参照する。このアフィン動きモデルは、“画像のワーピング”として知られる幾何学的変換を適用し先行画像から予測画像又はフレームを構成する。この変換により、先行画像と予測画像中の各点間の空間的関係が規定される。

一般に、ブロックマッチング法を使用する動き補償は平行移動に関し良好な統合性能を提供する。しかしながら、ブロックマッチングによる動き推定は動きが回転成分又はスケーリング成分（例えば、ズーミング又は回転イメージ）を含んでいる場合、良い成果は得られない。

これに反し、アフィン動きモデル（アフィン変換）は６つのパラメータ（ａ₁からａ₆）により定められ、下式のように表現される。

式中、（ｘ，ｙ）は先行フレーム中の画素座標であり、（ｕ，ｖ）は予測フレーム中の所定画素の座標である。Ｊ．Ｎｉｅｗｅｇｌｏｗｓｋｉ他の参考資料に６つのパラメータの計算方法が詳細に記述されている。アフィン関係は６つのパラメータを特徴とする。このように、アフィン動きモデルは、一般的に、自然なシーケンスのみならずディジタル効果を用いた合成画像においてしばしば観察される平行移動（ｔｒａｎｓｌａｔｉｏｎ）、スケーリングおよび回転のような動きを予測する場合により有効である。

実際に、アフィン動きモデルはフレーム毎の全体の動き補償に用いるか、又は、ブロックベースの動き補償フレームワークと連結して使用できる。前者の場合、オーバーヘッド情報が少ないと云う利点があるが、しかし、局部の動きをよく把握できない。極端な場合、アフィン動きモデルを全体的な動き補償の場合のようなフレームレベルに構築してしまう。

同様に、後者の場合も局所的回転、平行移動及びスケーリングの動きに良く適合するが、相対的に“固定された”ブロックサイズ条件は幾分制限的である。即ち、アフィン動きモデルは、（例えば、図１３に示す完全開花４分割ツリー構造）の一様なパッチブロックと比較して、不規則なブロック形状（図１４）を含んでいるが、現有の符号器に実装できるように設計されている。このように、“グリッドポイント”の個数を従来の動き補償ブロックの個数と同じになるように選択する。

さらに特定すると、グリッドポイントのセットを先行フレーム上で選択する。動きは、現フレーム上で上記のグリッドポイントに最も良くマッチするポイントを発見して推定する。別案では、グリッドポイントのセットを現フレーム上で選択しプロセスを逆にすることができ、動きは、先行フレーム上で上記のグリッドポイントに最も良くマッチするポイントを発見して推定する。

アフィン動きモデルにおける主な問題は、非常に小さい画像ブロック（例えば、１６×１６マクロブロック）に対するアフィンパラメータの推定である。反復勾配（ｉｔｅｒａｔｉｖｅ ｇｒａｄｉｅｎｔ）ベースの方法は、最初のポイントが正確に選択されないと収斂しない。アフィンパラメータの計算は種々の方法でなされる。しかしながら、Ｔｉｈａｏ ＣｈｉａｎｇとＹａ−Ｑｉｎ Ｚｈａｎｇが“ステレオビデオ符号化”（１９９５年１０月にニューヨークにて開催された＜マルチメディアとビデオ符号化＞に関する国際シンポジウムの論文集）に記述しているように、ピラミッド法をアフィンパラメータの評価のために良好な始点を発見するために使用でき、この論文を本明細書に参照する。このように、本４分割ツリーベースの可変ブロックサイズの動き推定のフレームワーク（図１５に示される）は同様なやり方で拡張し、可変ブロックサイズアフィン動きモデル（図１６に示される）を生成する。

即ち、“アフィン”４分割ツリーが完全に開花し、即ち、全体画像を図１４に示すように全てのノードに対し最下位レベルまで空間的に区分したと仮定する。最大ブロックサイズから最小ブロックサイズまでアフィン４分割ツリー全体に対する動きベクトルを計算する。この方法は、前述の如く各ノードに対する量子化を最適化するために任意に実行する。最小の歪みを生み出す量子化器スケールを選択する。

同様に、本方法は、（最低レベルから最高レベルまで）“ボトムアップ”しながら、全ての“アフィン”サブブロック又はサブノード（子供）の符号化歪みの合計をサブノードに区分したブロック又はノード（親）の符号化歪みと比較する。子供の符号化歪みの合計が親の符号化歪みより大きい場合、そのノードを“合成”する。反対に、子供の符号化歪みの合計が親の符号化歪みより小さい場合、そのノードを“分割”し、親ノードのラグランジェコストをその子供のラグランジェコストの合計として設定する。このステップを（例えば、図１６に図示のような）最適なアフィン４分割ツリー構造が得られるまで全てのレベルの全てのノードに対し反復する。

可変ブロックサイズアフィン動きモデルは、異なる形状の画像分割を補償する能力を有するので、より良い予測特性を達成でき、提案されているＭＰＥＧ４規格ビデオ（ＭＰＥＧ４規格の作成は現在進行中）のビデオ・オブジェクト平面（ＶＯＰ）を有効に符号化する能力を向上させる。

以上、４分割ツリーベースの可変ブロックサイズ動き推定のために動きベクトルを算定する際の計算オーバーヘッドを減少させるための新規な方法を説明してきた。
本発明の多くの変更、修正、変種及び他の使用と応用は、実施態様を開示しているこの明細書を読み添付の図面を参照すれば、当業者には明らかになるであろう。
尚、このような改変，変更、変形及び他の使用と応用はすべて、本発明の精神と範囲から逸脱するものではなく、本発明により包含されるとみなされる。

任意の可変ブロックのサイズと位置を画像の分割に用いる動き推定のブロック図である。 本発明による装置のブロック図である。 ４分割ツリー構造を示すブロック図である。 親ノードとその子ノードのラグランジェコスト間の関係を示す図である。 ４分割ツリー構造と量子化器スケールの合同最適化処理のフローチャートである。 ＶＢＳ動き推定とＦＢＳ動き推定間の信号対雑音比（ＳＮＲ）の比較を示す図である。 ＶＢＳ動き推定とＦＢＳ動き推定間のビットレートの比較を示す図である。 ＶＢＳ動き推定のための輝度データ、動きベクトルビット及び４分割ツリービットの結果を示す図である。 セールスマンシーケンスのＶＢＳ動き推定時にフレーム６０に対し使用した４分割ツリー構造を示す図である。 ウェーブレットの階層的サブバンド分解を示す図である。 ウェーブレットの階層的サブバンド分解のためのサブサンプル画像の３世代の場合の親子関係を示す図である。 ウェーブレットベースの本装置のブロック図である。 均等ブロックサイズ構造を示す図である。 アフィン動きモデルの不規則ブロック形状構造を示す図である。 ４分割ツリー構造動き補償グリッドを示す図である。 図１５の可変ブロックのアフィン動き構造を示す図である。

符号の説明

２００…ビデオ画像符号化装置、２１０…入力ビデオ画像パス、２１５…減算器、２３０…レートコントロールモジュール、２４０…可変ブロック動き推定モジュール、２５０…動き補償モジュール、２５２，２５３，２９５…パス、２５５…加算器、２６０…ＤＣＴモジュール、２６５…逆ＤＣＴモジュール、２７０…量子化モジュール、２７１…信号コネクタ、２７２…信号接続、２７５…逆量子化モジュール、２８０…ＶＬＣ（可変長符号化）モジュール、２９０…ＦＩＦＯバッファ、１２００…ビデオ画像符号化装置、１２６０…ＤＷＴモジュール、１２６５…逆ＤＷＴモジュール、１２８０…ウェーブレット符号化モジュール。

Claims (3)

1. ビデオ画像を可変ブロックサイズＳのブロックに分割するブロック分割ステップと、前記ブロックに対応した動きベクトルによって動き補償処理を行うステップと、動き補償処理の予測誤差を直交変換する直交変換ステップと、直交変換の結果を量子化スケールＱで量子化する量子化ステップとを備え、前記ブロック分割ステップは、可変ブロックサイズＳと量子化スケールＱとの関数であるラグランジュコストＬ（Ｓ，Ｑ）を、総量子化歪みＤ（Ｓ，Ｑ）、総ビット数Ｒ（Ｓ，Ｑ）およびラグランジュ乗数λによって、Ｄ（Ｓ，Ｑ）＋λＲ（Ｓ，Ｑ）と表わし、前記ラグランジェコストＬ（Ｓ，Ｑ）を使用して、総ビット数Ｒ（Ｓ，Ｑ）が一定の条件の下に、総量子化歪みＤ（Ｓ，Ｑ）を最小化する可変ブロックサイズＳと量子化スケールＱを求めてブロック分割を行うことを特徴とするビデオ画像符号化方法。
2. 前記ブロックサイズとして、第１のサイズの正方ブロックと、第１のサイズの正方ブロックを４分割した第２のサイズの正方ブロックと、第２のサイズの正方ブロックを４分割した第３のサイズの正方ブロックを含むことを特徴とする請求項１記載のビデオ画像符号化方法。
3. 前記直交変換の結果である変換係数を量子化するための量子化テーブルとして、輝度量子化テーブル及び色差量子化テーブルを備えたことを特徴とする請求項１記載のビデオ画像符号化方法。

Images