JP4990622B2 - 画像のグループを符号化及び／又は復号化するための方法 - Google Patents

Description

本発明は、画像のグループを符号化及び／又は復号化する方法に関する。

本発明は３Ｄウェーブレット分解に基づくビデオ圧縮のコンテキストにおいて適用される。

従来技術においては、すでに３Ｄウェーブレット画像分解の技術の利用が提案されており、この３Ｄウェーブレット画像分解においては画像のグループ又はＧＯＰが２次元又は２Ｄ画像にウェーブレット分解を適用するプロセスに従って分解される。これに基づいて、第３の次元の役割を果たす時間次元に沿ったデータストリームの圧縮を実施する。

従来技術では、時間的ウェーブレット分解の間にきわめて扱いにくいポイントが発生する。時間的な分解が実施される場合、ＧＯＰ画像シーケンスに動きベクトルによって結合されるピクセルにはタグが付けられた。それゆえ、動きベクトルが通過しないピクセルは、時間次元に沿った圧縮処理を実施する時には失われてしまう。

従って、この問題を解決し、処理の間の情報の損失を回避するためには、これらのピクセルに特別な処理を適用する必要があるのだが、これによりウェーブレット処理の効率が低下してしまう。

通常のビデオコーディングスキームでは、動きはブロック、例えば１６ピクセルの幅で１６ピクセルの高さのブロックにより記述される。この場合、上記の問題は、ブロックの境界にシフトされてしまう。

この問題を解決するために、画像シーケンスの２つの実行方向、すなわちＧＯＰ画像シーケンスの自然な（natural）方向及びその正反対の方向におけるピクセルの軌道も考慮された。しかし、この場合、従来技術を基準にすると動き情報の量が倍になってしまう。

従来技術のこれらの欠点に対する対策を提出するために、本発明は、各シーケンス毎にコンフィギュレーションデータを選択し、各ＧＯＰ画像シーケンス内の接続されないピクセル（unconnected pixels）の個数を低減することを可能にする最適化規準を選択する。

この結果、接続されないピクセルの個数が３Ｄウェーブレット分解に従って比較的多くの処理を必要とすることなしに大いに低減される。

特に、本発明は、３Ｄウェーブレット処理に基づく画像シーケンスの符号化及び／又は復号化の方法に関する。本発明の方法は符号化フェーズを含み、この符号化フェーズは、
所定の最適化規準に基づいて連続画像のシーケンスに対して参照画像のような、３Ｄウェーブレット符号化を構成するための少なくとも１つの情報アイテムを決定するステップと、次いで、
画像のシーケンスに対して参照画像のデータを含むコンフィギュレーション情報ユニットを生成するためのステップと、最後に、
最後にコンフィギュレーション情報に基づいて３Ｄウェーブレット符号化を実行するためのステップとを有し、
このようにして画像シーケンスの画像に対するコンフィギュレーション情報ユニット及び／又は３Ｄウェーブレット符号化データの各画像シーケンスに対するユニオン（union）を含む符号化されたデータのストリームを発生する。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、参照画像として少なくとも１つのテスト画像におけるウェーブレット分解のステップ、次いで動き推定のステップ、次いで動き推定ステップの間に接続されないピクセルの数が最小であるような画像シーケンスの画像を参照画像として決定するステップを含む。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、少なくとも１つのテスト画像における動きの振幅を決定するステップ、次いで画像における動きの振幅が最小であるような画像シーケンスの画像を参照画像として決定するステップを含む。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、高周波成分を測定することによって少なくとも１つのテスト画像におけるテクスチャ情報アイテムを決定するステップ、次いで、テクスチャ情報アイテムがもっともリッチであるような画像シーケンスの画像を参照画像として決定するステップを含む。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、画像シーケンスにおける画像の個数の決定も含む。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、画像シーケンスに対する時間的分解の少なくとも１つの方向の決定も含む。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
第１のステップにおいて所定のサイズの画像シーケンスＧＯＰを構成し、
第２のステップにおいて各画像シーケンス毎に接続されないピクセルの数を最小化する選択に従って画像シーケンスの最初の画像を参照画像として及びフォワード方向における時間的分解の方向をセレクトするか又は画像シーケンスの最後の画像を参照画像として及びバックワード方向における時間的分解の方向をセレクトする
ことから成る。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
第１のステップにおいて所定のサイズのＧＯＰ画像シーケンスを構成し、
第２のステップにおいて参照画像の選択を実行する
ことから成り、
時間的分解の方向は、セレクトされた参照画像に続く画像シーケンスの画像に対してはフォワード方向に決定され、セレクタされた参照画像に先行する画像シーケンスの画像に対してはバックワード方向に決定される。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
フォワード方向において画像間で、動きを推定するステップ、フォワード動き推定における動きドットの軌道を構成するステップ及び軌道を構成するステップの間に接続されないピクセルの個数を計算するステップを含み、
バックワード方向において画像間で、バックワード方向において画像間で動きを推定するステップ、バックワード動き推定における動きドットの軌道を構成するステップ及び軌道を構成するステップの間に接続されないピクセルの個数を計算するステップを含み、
接続されないピクセルの最小個数に基づいて最良の参照画像を選択するステップを含む。

本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
フォワード方向において画像間で動きを推定するステップ及び同時にバックワード方向において画像間で動きを推定するステップを含み、
次いで、ループが適応されるＧＯＰシーケンスの各画像毎に実施され、このループ内では連続的に軌道を構成するステップが実行され、次いで接続されないピクセルの個数を計算するステップが実行され、
次いで、適応されるＧＯＰ画像シーケンスにおける最良の参照画像をセレクトするステップが接続されないポイントの最小個数に基づいて実施される。

本発明によれば、本発明の方法は復号化フェーズを含み、この復号化フェーズは、
バイナリデータの所与のストリームにおいて実施された３Dウェーブレット符号化の特性を決定するコンフィギュレーション情報ユニットを復号化し、
３Ｄウェーブレット復号化処理回路の更新を実施し、
最後に、画像シーケンスを表すバイナリデータのストリームの復号化を実施し、この結果、バイナリデータの所与のストリームに含まれる少なくとも１つの画像のシーケンスを出力側にて発生すること
から成る。

本発明によれば、本発明の方法は３Ｄウェーブレットベースのビデオコンプレッサ／デコンプレッサスキームに統合されている。

本発明によれば、本発明の方法はＭＰＥＧ^ＴＭ符号化／復号化スキームに統合されている。

ＧＯＰにおける動きの計算を実施するための基礎となる参照画像及び時間的分解の方向の選択は、この動きにより接続されるピクセルの個数の関数として実行され、この動きの情報は動きベクトルフィールドテクスチャ又は動きデータと結合されうる。２Ｄ+Ｔウェーブレット分解の効率は時間的に接続されるピクセルの個数によって改善される。

本発明の他の特徴及び利点は記述及び添付図面によってより良く明らかとなる。図面は、
図１〜５は従来技術の解決策を表す図であり、
図６〜９は本発明の方法の様々なステップを表し、
図１０及び１１は本発明の方法をインプリメントするための装置の特定の実施例を表す。

図１に表されているのは、従来技術による３Ｄウェーブレット圧縮スキームの実施形態である。注意すべきは、この３Ｄウェーブレット圧縮スキームは本発明の方法が実行された後も利用されるかもしれないことである。また、さらに注意すべきは、方法に関して記述されることは画像シーケンスを処理するためのコンピュータにおける処理ブロックの形式でインプリメントされうることである。

ステップ１の間に、Ｎ個の連続画像を含む画像のシーケンスＧＯＰの捕捉又は合成が実行される。ＧＯＰシーケンスは次いでウェーブレット分解ステップ２に伝送され、並行して画像間の動きを推定するステップ３にも伝送される。

ウェーブレット分解ステップは時間領域における解析のステップ２ａ及び空間領域における解析のステップ２ｂ（パターン繰り返し周波数等々）を有する。

実際には、従来技術では、動き推定ステップ３は、ＧＯＰ画像シーケンス内のベース画像を選択することにより開始され、このベース画像はシーケンスの最後の画像である。画像間の差、つまり画像＿２と画像＿１との間の差、次いで画像＿３と画像＿２との間の差、等々によって動きの推定が行われる。この動き推定が実行された場合、動き推定情報アイテムが動き推定情報アイテム８によってウェーブレット分解のための時間領域における解析のステップ２ａに伝送され、これにより動きの方向における１次元ウェーブレット分解を実行する。

このウェーブレット分解の間に、異なる時間周波数に従って変換された画像のシーケンスが発生される。時間周波数に変換された画像のシーケンスは次いで２Ｄウェーブレット変換による空間的分解のステップ２ｂの間に処理される。

ステップ３の動き推定ステップの終了時に、ＧＯＰ画像シーケンスにおける動きベクトルを表す動き係数が、ＧＯＰ画像シーケンスの動きを表すベクトルフィールドを符号化するステップに伝送される。

空間的解析のステップ２ｂの終了時に、画像シーケンスの各画像における空間周波数を表す係数がエントロピー符号化回路の入力側に伝送される。

ステップ４で実施されるエントロピー符号化は２つのフェーズを含む。すなわち、事前モデリング及び本来の符号化である。このモデリングによって、処理すべきデータフローにおける各シンボルへの確率の割り当てが可能となる。符号化は各シンボルにバイナリ語を割り当てる。このバイナリ語の長さは関連する確率に依存する。このために、ハフマン符号又は算術符号のようなコーディングスキームが利用される。

エントロピー符号化４から送出される符号化係数はデータストリームシェーピング処理回路（data stream shaping processing circuit）６の第１の入力側に伝送され、このデータストリームシシェーピング処理回路６の第２の入力側はステップ３から送出される動きベクトルフィールドの成分を受信する。こうして、これらは全体としてシリアル化された３Ｄウェーブレット係数データストリームを構成し、こうして、バイナリデータトレイン７を発生する。このバイナリデータトレイン７には暗号化、格納又は伝送処理のようななんらかの適切なその後の処理が適用される。

図２に表されているのは、４つの画像のＧＯＰ画像シーケンスの場合の１次元変換技術を示す線図である。時間フィルタリングはベース画像の各ポイントの軌道に沿って実施され、このベース画像は動き推定ステップ３の間に選択される。画像＿１、画像＿２，．．．として図２に示された各画像はそのピクセルのシリアル化された形式で表されており、このシリアル化された形式は１次元ウェーブレット変換のための従来のスキームに相応している。図２ではそれゆえ考慮される軌道はそれぞれタグが付けられた位置、画像＿１のｘ１、画像＿２のｘ２等々を通過する。矢印Ｆ１、Ｆ２及びＦ３は連続的なインターピクチャ変位を表し、これによってＧＯＰ画像シーケンス全体に対して考慮される軌道に相応してウェーブレット係数を識別することが可能になる。

図３に表されているのは、図１のステップ２において言及された１次元ウェーブレット分解のステップである。この例では、長さ２の時間フィルタリングによる長さ４のＧＯＰの２レベル分解を考察する。このような分解が係数のシーケンス［ｘ１，ｘ２，ｘ３，ｘ４］に適用されるならば、ローパスフィルタリング及び２によるサブサンプリングのステップ１０を最初に適用し、これにより一対の低周波数係数［Ｌ１，Ｌ２］を発生する。同時に、ハイパスフィルタリング及び２によるサブサンプリングのステップ１１を適用し、これにより一対の高周波数係数［Ｈ１，Ｈ２］を発生する。

次いで、この一対の低周波数係数［Ｌ１，Ｌ２］に対して、再びローパスフィルタリング及び２によるサブサンプリングのステップ１２を適用し、これにより最も低い時間周波数成分を表す係数［ＬＬ］を発生し、同時にハイパスフィルタリング及び２によるサブサンプリングのステップ１３を適用し、これにより中間時間周波数成分を表す係数［ＬＨ］を発生する。４つの時間周波数ウェーブレット変換係数［ＬＬ，ＬＨ，Ｈ１，Ｈ２］のバッチがこうして得られる。さらに、３Ｄウェーブレット画像圧縮のための最近のスキームでは、画像２と画像３との間のフィールドＦ２が推定されず、フィルタリング１２及び１３が実際にはＬ１とＬ２との間の推定されたフィールドによって実行される。

この変換は参照画像から生じる軌道毎に実行され、これにより時間周波数に変換された画像を発生することが可能となり、これらの画像は図４に示されたそれぞれ画像＿Ｈ１、画像Ｈ＿２、画像＿ＬＨ、画像＿ＬＬである。図２の画像、画像＿１、画像＿２，．．．においてタグを付けられた動きドットに相応する４つの係数は、それらの時間周波数トランスポジションの形式においてそれぞれ画像＿Ｈ１ではＨ１、画像Ｈ＿２ではＨ２、画像＿ＬＨではＬＨ、画像＿ＬＬではＬＬである。この結果、考察される軌道は図４の時間周波数線図上に存在する。

本発明の明細書の前書き部分で指示したように、図４の時間的分解の実現において、動きベクトルが通過しないピクセルには図５の時間周波数領域において値が割り当てられない。従来技術では、これらは、接続されないピクセル（unconnected pixels）と呼ばれる。動きベクトルに割り当てられる他の全てのピクセルは正しく処理される。しかし、最後の変換８において、もしシーケンスの線図｛画像＿１，画像＿２，画像＿３，画像４｝の他のピクセルを接続する動きベクトルが到達していない図５の左側に示された画像＿１の線図の「Ｘ」によりマーキングされた接続されないピクセルに関する情報が加えられないならば、このようなシーケンスの再構成は、最初のＧＯＰ画像シーケンスに対して忠実で正確だとは言えないだろう。

本発明の方法は上記のような従来技術の要素を正確に借用する。データストリームは、カメラにより発生される画像のような「自然な（natural）」画像のような又は合成画像の発生器により発生される画像のような画像のストリームである。本発明の方法は、主に、３Ｄウェーブレット符号化のためのコンフィギュレーション情報ユニットを従来の符号化器の出力側７において記述されるデータストリームに関連付けることにある。符号化のためのコンフィギュレーション情報はコーディングスキームコスト規準への最適なレスポンスを保証する。

２つのモードがインプリメントされうる：
単一方向モード又は「フォワード／バックワード」モード。このモードでは動き補償の方向がＧＯＰ内で一定でなくてはならない。このモードでは、ＧＯＰの最初の及び最後の画像だけが参照画像の選択の候補である。

双方向モード。このモードに対しては、ＧＯＰの全ての画像が参照画像の選択の候補である。このモードでは、動き補償の両方の方向が参照画像のどちらのサイドにおいても利用される。図６及び７は単一方向モード又は「フォワード／バックワード」モードを示し、図８及び９は双方向モードを示す。

図６には単一方向モードにおける画像の分解が示されており、ただ一つの補償の方向がＧＯＰ画像シーケンス毎に許可されている。各画像は垂直のストロークにより時間領域において表示されている。画像ストリームは画像の時間シーケンスにおいて左から右へと３つのＧＯＰ画像シーケンスに分割されており、これらの３つのＧＯＰ画像シーケンスは連続的に時間においてＧＯＰ１、ＧＯＰ２及びＧＯＰ３によって示されている。

本発明によれば、各シーケンスＧＯＰ１，ＧＯＰ２，ＧＯＰ３，．．．の画像の個数はＧＯＰ毎の接続されないピクセルの個数の上限制約に関連している。

本発明によれば、太いストロークによりマーキングされている参照画像Ｒの選択は、所与の規準に従って行われる。規準のいくつかの例を以下に記述する。

第１の規準はＧＯＰ内の接続されないピクセルの個数の最小化である。この場合、動き補償の２つの方向の各々に対してＧＯＰ内の接続されないピクセルの個数を計算する。次いで、このＧＯＰ全体に対して接続されないピクセルの個数を最小化する方向及び参照画像を選択する。

第２の規準は動きの振幅の最小化である。この場合、２つの方向の各々に対して、ＧＯＰ全体における動きの振幅を、例えば各フィールドの各動きベクトルの成分の二乗の和を計算することによって測定する。次いで、動きの最小振幅を示す方向及び参照画像を選択する。

第３の規準は参照画像の情報のリッチネス（richness）である。この場合、最初の及び最後の画像のテクスチャ情報アイテムをそれらのそれぞれのウェーブレット分解の高周波数の振幅によって測定し、最もリッチなものを参照画像として選択する。

図６に示された例において、注目すべきことは、画像ストリームの中の画像のシーケンスが次のようなやり方で次のようなテーブルにおいて定められていることである：
シーケンス サイズ 参照画像 方向
ＧＯＰ１ ４画像 最終画像 《バックワード》
ＧＯＰ２ ８画像 最終画像 《バックワード》
ＧＯＰ３ ４画像 第１画像 《フォワード》。

図７に示されているのは、接続されないピクセルの個数の最小化を使用する単一方向モードにおける本発明の方法の実施例である。ここに示されている複数のステップは各々本発明の方法を実施するための回路の形式で同定可能なプロセッサ又は同定可能なプロセッサの部分において実行され、インプリメンテーションデバイスは直接そこから導出される。

ステップ２０によって、画像ストリームが捕捉され、画像間のポジティブ方向における動きの推定のステップ２１及び同時に画像間のネガティブ方向における動きの推定のステップ２２に伝送される。

次いで、フォワード動き推定２１に対してはステップ２４及びバックワード動き推定２２に対してはステップ２５の間に動きドットの軌道の作成を実行する。

次いで、ステップ２４の軌道の作成に対してはステップ２６の間に及びステップ２５の軌道の作成に対してはステップ２７の間に接続されないピクセルの個数の計算を実行する。

最後に、ステップ２９において適応されたＧＯＰ画像シーケンスの空間的変換を表すバイナリストリームを発生するためにステップ２８において動き補償の最良の方向を選択する。

動き補償の最良の方向の選択は、ステップ２６又はステップ２７における記録された接続されないピクセルの個数の最小数によってステップ２８において行われる。

注目すべきことは、もしポジティブ方向が接続されないピクセルの個数を最小化するものであると検出されるならば、選択される参照画像は適応されるＧＯＰ画像シーケンスの最終画像であることである。逆に、もしネガティブ方向が接続されないピクセルの個数を最小化するものであると検出されるならば、選択される参照画像は適応されるＧＯＰ画像シーケンスの第１画像である。

本発明は、ＧＯＰの全ての画像を参照画像の選択の候補とすることによって拡張されうる。これは双方向モードである。時間的分解の両方の方向が、この場合、参照画像のどちらのサイドにおいても同一のＧＯＰ画像シーケンスに対して採用されうる。

図８に示されているのは、３つのＧＯＰ画像シーケンスに分割された画像のストリームの一部分であり、図６により説明されたのと同じ符号化を借用している。しかし、各ＧＯＰシーケンスは分解Ｓ及びＳ’の１つ又は２つの方向を有する。分解Ｓ及びＳ’の２つの方向が与えられる場合、参照画像はＧＯＰシーケンス内で決定される。

このモードでは、参照画像Ｒの選択は単一方向モードの場合と同じ規準、つまりＧＯＰ全体にわたって接続されないピクセルの個数の最小化、ＧＯＰ全体における動きの振幅の最小化及び画像の選択に従って行われる。

図９に示されているのは、双方向モードにおける本発明の方法の実施例であり、つまり、ＧＯＰの全画像が参照画像の選択の候補であり、接続されないピクセルの個数の最小化の規準を有する場合の実施例である。ここでも指示されたステップは各々本発明の方法を実行するための回路の形式で同定可能なプロセッサ又は同定可能なプロセッサの部分において実行され、インプリメンテーションデバイスは直接そこから導出される。

ステップ３０の間に、画像ストリームが捕捉され、画像間のポジティブ方向の動きの推定のステップ３１及び同時に画像間のネガティブ方向の動きの推定のステップ３２に伝送される。

次いで、ループ３３が適応を施されているＧＯＰシーケンスの各画像に対して実施され、このループ内で連続的に軌道を構成するステップ３４が実行され、次いで接続されないピクセルの個数を計算するステップ３５が実行される。

次いで、適応を施されているＧＯＰ画像シーケンスの中で最良の参照画像Ｒを選定するステップが実施される。図９では、最良の参照画像を選定する規準は接続されないポイントの最小個数の規準である。

本発明の方法は３Ｄウェーブレットビデオコンプレッサ／デコンプレッサスキームに統合される。このようなアプリケーションにおいて本発明の方法は３つの別個の場所においてインプリメントされ、これらの３つの別個の場所とは、
符号化ステップがインプリメントされている場所、
コンフィギュレーション情報ユニット及び３Ｄウェーブレット符号化データを有するバイナリデータストリームが伝送信号又は記録されたデータのキャリアの形式において存在している状態の場所、
復号化ステップがインプリメントされている場所
である。

本発明の局面によれば、本発明の方法はＭＰＥＧ^ＴＭ符号化／復号化スキームに統合される。このアレンジメントはＭＰＥＧ−７規格のインプリメンテーションのフレームワーク内でとりわけ重要である。

図１０には本発明の方法をインプリメントする３Ｄウェーブレット符号化装置の実施形態を詳細に示すブロック線図が示されている。

このような装置はビデオデータストリーム１０６のための入力側端子１００を有し、この入力側端子１００は画像群解析器回路１０１の入力側に結合されており、この回路１０１の第１の出力側端子１０７は３Ｄウェーブレット符号化のためのコンフィギュレーション情報ユニットを生成する回路１０３の入力側端子１０９’に接続され、さらにこの第１の出力側端子１０７は本来の３Ｄウェーブレット符号化器１０２の入力側端子１０９に接続されており、この結果、上述の本発明の方法によって適用される３Ｄウェーブレット処理を定めるコンフィギュレーションデータをそれらに提供する。回路１０１は最終的に本来の３Ｄウェーブレット符号化器１０２における３Ｄウェーブレット処理を継続するための第２の出力側端子を有する。

符号化器１０２の出力側端子１１０及び生成回路１０３の出力側端子１１１はバイナリデータストリームＦＤＢのシェーピングを実行してその出力側１０５に送出する回路１０４の相応の入力側に接続されており、この回路１０４は決定されたプロトコルに従って次のようなシーケンスを含む、すなわち
ＧＯＰ画像シーケンスに関連する３Ｄウェーブレット符号化コンフィギュレーション情報ユニットのシーケンス、及び、
相応のＧＯＰ画像シーケンスの３Ｄウェーブレット符号化の結果に相応するバイナリデータストリームのシーケンス
を含む。

こうして構成されるデータストリームは新たな処理回路、記録デバイス又は伝送線路に伝送される。

図１１に示されているのは本発明の方法をインプリメントする３Ｄウェーブレット復号化装置の実施形態の詳細を示すブロック線図である。

このような装置はディスクリミネーティング回路１２１に接続された入力側端子１２０を有し、この回路１２１の出力側端子１２６及び１２７はそれぞれ３Ｄ復号化コンフィギュレーション情報生成回路１２２及び３Ｄウェーブレット復号化回路１２３に接続されている。図１０から生じるバイナリデータのストリームが入力側端子１２０に伝送されると、データはディスクリミネータ１２１によって解析され、この結果、ディスクリミネータ１２１の第１の出力側端子１２６ではバイナリデータストリームに適用された３Ｄウェーブレット符号化を特徴付ける情報が現れる。

バイナリデータストリームは次いでディスクリミネータの出力側１２７に現れ、復号化器１２３にロードされる。この復号化器１２３はコンフィギュレーション入力側端子を有し、このコンフィギュレーション入力側端子は、参照画像のデータ、分解の方向及び／又はデータストリーム１２０において表される画像シーケンスの画像の個数のような各コンフィギュレーション情報ユニットに含まれた情報に基づくコンフィギュレーション情報生成回路１２２の端子１２８から送出されるコンフィギュレーション情報を受信する。復号化されたＧＯＰ画像のシーケンスは出力側端子１２４に送出される。

本発明は３Ｄウェーブレット分解に基づくビデオ圧縮の分野において適用される。それゆえ本発明は３Ｄウェーブレットベースのビデオコンプレッサ／デコンプレッサスキームに統合されうる。

本発明は従来のハイブリッドコーディングスキーム、とりわけＭＰＥＧタイプスキームに適用される。このＭＰＥＧタイプスキームではタイプＩ画像及びタイプＰ画像が参照画像として使用される。この場合には本発明の方法はＭＰＥＧ符号化／復号化スキームに統合される。

従来技術の解決策を表す図である。 従来技術の解決策を表す図である。 従来技術の解決策を表す図である。 従来技術の解決策を表す図である。 従来技術の解決策を表す図である。 本発明の方法の様々なステップを表す。 本発明の方法の様々なステップを表す。 本発明の方法の様々なステップを表す。 本発明の方法の様々なステップを表す。 本発明の方法をインプリメントするための装置の特定の実施例を表す。 本発明の方法をインプリメントするための装置の特定の実施例を表す。

符号の説明

１ ＧＯＰ捕捉又は合成ステップ
２ ウェーブレット分解ステップ
２ａ 時間領域での解析ステップ
２ｂ 空間領域での解析ステップ
３ 動き推定ステップ
４ エントロピー符号化ステップ
５ ベクトルフィールド符号化ステップ
６ データストリームシェーピング処理回路
７ バイナリデータトレイン
８ 動き推定情報アイテム
Ｆ１、Ｆ２、Ｆ３ インターピクチャ変位
１０ ローパスフィルタリング及び２によるサブサンプリングステップ
１１ ハイパスフィルタリング及び２によるサブサンプリングステップ
１２ ローパスフィルタリング及び２によるサブサンプリングステップ
１３ ハイパスフィルタリング及び２によるサブサンプリングステップ
Ｈ１、Ｈ２、ＬＨ、ＬＬ 時間周波数トランスポジション
Ｒ 参照画像
２０ 画像ストリーム捕捉ステップ
２１ ポジティブ方向における動き推定ステップ
２２ ネガティブ方向における動き推定ステップ
２４ フォワード動きドットの軌道構成
２５ バックワード動きドット軌道構成
２６ 接続されないピクセル個数計算
２７ 接続されないピクセル個数計算
２８ 動き補償の最小の方向選択
２９ ＧＯＰ空間変換を表すバイナリストリーム生成
３０ 画像ストリーム捕捉ステップ
３１ ポジティブ方向における動き推定ステップ
３２ ネガティブ方向における動き推定ステップ
３３ ループ
３４ 軌道構成
３５ 接続されないピクセル個数計算
３６ 最良参照画像Ｒ選定ステップ
１００ 入力側端子
１０１ 画像群解析器回路
１０２ ３Ｄウェーブレット符号化器
１０３ コンフィギュレーション情報ユニット生成回路
１０４ データストリームシェーピング回路
１０５ 出力側
１０６ ビデオデータストリーム
１０７ 第１の出力側端子
１０８ 第２の出力側端子
１０９ 入力側端子
１０９’ 入力側端子
１１０ 出力側端子
１１１ 出力側端子
１２０ 入力側端子
１２１ ディスクリミネータ
１２２ ３Ｄ復号化コンフィギュレーション情報生成回路
１２３ ３Ｄウェーブレット復号化回路
１２４ 出力側端子
１２６ 出力側端子
１２７ 出力側端子
１２８ 端子

Claims (11)

1. ３Ｄウェーブレット処理に基づいて画像シーケンスを符号化する方法において、
   該方法は符号化フェーズを有し、該符号化フェーズは、符号化されたデータのストリームを発生するように、
   動きベクトルが通過しないピクセルである接続されないピクセルの数を最小化するために、所定の最適化規準に基づいて連続画像のシーケンスに対して参照画像を決定するステップと、
   前記参照画像に基づいて３Ｄウェーブレット符号化を実行するステップと
   を有することを特徴とする方法。
2. 前記参照画像を決定するステップは、参照画像として少なくとも１つの画像におけるウェーブレット分解のステップ、次いで動き推定のステップ、次いで動き推定ステップを実行する間に前記接続されないピクセルの数が最小である画像シーケンスの画像を参照画像として決定するステップを含むことを特徴とする、請求項１記載の方法。
3. 前記参照画像を決定するステップは、少なくとも１つの画像における動きの振幅を決定するステップ、次いで画像における動きの振幅が最小である画像シーケンスの画像を参照画像として決定するステップを含むことを特徴とする、請求項１記載の方法。
4. 前記参照画像を決定するステップは、高周波成分を測定することによって少なくとも１つの画像における少なくとも１つのテクスチャ情報アイテムを決定するステップ、次いで、テクスチャ情報アイテムがもっともリッチであるような画像シーケンスの画像を参照画像として決定するステップを含むことを特徴とする、請求項１記載の方法。
5. 前記参照画像を決定するステップは、少なくとも１つの動き補償の方向の決定も含むことを特徴とする、請求項１記載の方法。
6. 前記参照画像を決定するステップは、
   第１のステップにおいて、所定のサイズの画像シーケンスＧＯＰを構成し、
   第２のステップにおいて、各画像シーケンス毎に接続されないピクセルの数を最小化する選択に従って、画像シーケンスの最初の画像を参照画像として及びフォワード動き補償の方向を選択するか、又は、画像シーケンスの最後の画像を参照画像として及びバックワード動き補償の方向を選択する
   ことから成ることを特徴とする、請求項１記載の方法。
7. 前記参照画像を決定するステップは、
   第１のステップにおいて、所定のサイズのＧＯＰ画像シーケンスを構成し、
   第２のステップにおいて、参照画像の選択を実行する
   ことから成り、
   さらに、動き補償の方向は、選択された参照画像に後続する画像シーケンスの画像に対してはフォワード方向であり、選択された参照画像に先行する画像シーケンスの画像に対してはバックワード方向であることを特徴とする、請求項１記載の方法。
8. 前記参照画像を決定するステップは、
   フォワード方向において画像間で、動きを推定するステップ、フォワード動き推定における動きドットの軌道を構成するステップ及び軌道を構成するステップを実行する間に前記接続されないピクセルの個数を計算するステップを含み、
   バックワード方向において画像間で、バックワード方向において画像間で動きを推定するステップ、バックワード動き推定における動きドットの軌道を構成するステップ及び軌道を構成するステップを実行する間に前記接続されないピクセルの個数を計算するステップを含み、
   前記接続されないピクセルの最小個数に基づいて最良の参照画像を選択するステップを含むことを特徴とする、請求項７記載の方法。
9. 前記参照画像を決定するステップは、
   フォワード方向において画像間で動きを推定するステップ及び同時にバックワード方向において画像間で動きを推定するステップを含み、
   次いで、ループが適応されるＧＯＰシーケンスの各画像毎に実施され、このループ内では連続的に軌道を構成するステップが実行され、次いで接続されないピクセルの個数を計算するステップが実行され、
   次いで、適応されるＧＯＰ画像シーケンスにおける最良の参照画像を選択するステップが接続されないポイントの最小個数に基づいて実施されることを特徴とする、請求項１記載の方法。
10. ３Ｄウェーブレットベースのビデオコンプレッサスキームに適用されることを特徴とする、請求項１項記載の方法。
11. ＭＰＥＧ^TM符号化スキームに適用されることを特徴とする、請求項１項記載の方法。

Images