JP5358568B2 - モーションチューブを用いて表現される画像シーケンスを符号化および復号化する方法、装置、コンピュータプログラム製品、信号 - Google Patents

Description

本発明は、画像シーケンスの符号化および復号化の分野に属する。

具体的には、本発明は、モーションチューブを用いて表現される、ビデオ画像のシーケンスあるいは二次元または三次元のシーン（あるいはさらに高次元のシーン）のシーケンスの処理に関する。

従来のビデオ符号化装置、例えば、ＩＳＯ／ＩＥＣ １４４９６−１０に示されている、ＩＴＵ（国際電気通信連合）のＡＶＣ Ｈ．２６４／ＭＰＥＧ−４規格（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）で定められているビデオ符号化装置は、画像シーケンスを符号化して、符号化シーケンス、つまり元の画像シーケンスを圧縮した符号化シーケンスを提供する。

このような符号化装置は、ビデオシーケンスの不連続な表現を用いる。具体的には、シーケンスに含まれる画像は画素のブロックに切り分けられる。ここで、各画素ブロックは、隣接する画素のグループに相当する。これらの符号化装置は、それらのブロックに含まれている情報について、変換、量子化、エントロピー符号化といった処理を行う。したがって、各ブロックは、画像内または画像間の予測により符号化される。

このような従来技術の欠点は、各画像内のブロックが、そのシーケンスの別の画像のブロックと無関係に定義されることである。このことは、シーケンス内のモーションの表現を不連続なものとし、結果的に、リアルなモーションの表現が難しくなるとともに、圧縮ビットレートの観点でコスト増加の要因となる。

そこで、メッシュに基づく代替的な手法が提案されている。これにより、モーションの連続的な表現が得られる。

しかし、このようなメッシュに基づく手法の欠点は、リージョン間のモーションが制限されることである。結果として、画像シーケンス内の、モーションが異なる二つのリージョン間で（例えば、物体の出現または消滅により）発生する可能性のあるモーションフィールドの途切れ（break）を表現することができない。

さらに、これらの手法には、使用するメッシュが不規則であることから、時間の経過に対するメッシュセルの構造を送信しなければならないという、もう一つの弱点もある。実際、このような追加的な情報の送信は、圧縮の効果という観点では不利である。

したがって、これらの従来技術の欠点を多少なりとも解消する、画像の符号化、復号化の新たな手法が求められている。

本発明は、上記従来技術の欠点を解消した新規な解決法を、画像シーケンスを表す信号を復号化する方法として提案する。

本発明の画像シーケンスを表す信号を復号化する方法は、画像シーケンスを表す信号からモーションチューブを抽出するステップであって、あるチューブは、少なくとも一つの別のチューブとは独立して変化する画素ブロックを含むことができ、ある時点において、二つのチューブは一つの画像内の同一の画素へ別々の値を割り当てることができ、前記チューブのそれぞれは少なくとも以下の情報、すなわち、参照テクスチャ情報を含んだ参照画素のブロックと、チューブの開始時点およびチューブの終了時点と、前記画像シーケンス内の少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報とにより定まるものである、ステップと、前記遷移情報を処理して、ある時点ｔにおけるカレントイメージ（現在の画像）内の各チューブについてのカレントブロック（現在のブロック）を提供するステップと、前記カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を結合して、該オーバーラップゾーンにおいて最適化された画素を再現（reconstruct）するステップとを含む。

したがって、本発明は、モーションチューブの形式で表現される画像シーケンスの復号化に関する新規であって進歩性を有するアプローチに基づく。

具体的には、モーションチューブは、経時的に変化（evolve）する画素ブロックに相当する。この変化の過程において、チューブは、例えば、明確なモーション（動き）、あるいは、ブロック内に存在する画素の増減を考慮するために、変化しうる。さらに、このチューブは、修正（refine）が可能である。修正されたチューブとは、例えば、ブロックのサブピクセルレベルにわたる（pass to）チューブである。

したがって、各モーションチューブが、独立して変化しうる。つまり、画像シーケンスは、画像シーケンスのモーションの軌跡に従って時間とともに空間内を移動するモーションチューブの集合により表現される。このチューブの「時間的な継続性（temporal persistence）」により、ビデオシーケンスを連続的に表現することが可能となる。さらに、この表現は、シーケンス内のモーションの連続性および不連続性のゾーンを同時に効率的に表現することを可能にする。

これに対し、上述のように、従来技術のブロック予測符号化では、各画像内のブロックは、そのシーケンス内の他の画像のブロックとは無関係に定められる。したがって、これらの予測においては、追跡（tracking）は行われない。

本発明によれば、具体的には、復号化の際に、受信した信号からモーションチューブを抽出する。これは、これらのチューブについての遷移情報を処理し、各チューブについて、再現しようとする画像内の（変化している可能性がある）カレントブロックを再現するためである。

その後、オーバーラップしている各チューブに対応するカレントブロックへと関連付けられている情報は、オーバーラップゾーン内に位置する画素を再現するために結合される。オーバーラップゾーンという表現は、具体的には、各チューブに関連付けられているカレントブロックが共通の画素を有するゾーンを意味している。

具体的には、チューブの開始時点における画素ブロック、すなわち開始ブロックは、該チューブを定義する参照画素ブロックに直接的に対応したものとすることができ、あるいは、該参照画素ブロックの修正に基づいて得ることもできる。そのような修正は、例えば、幾何学的変換（ホモグラフィック変換、アフィン変換、回転など）を含む符号化に相当する。

本発明の一実施形態によれば、結合するステップは、オーバーラップゾーン内の少なくとも一つの画素について、オーバーラップしている各チューブの画素に割り当てられているテクスチャ値の平均を計算する処理を含む。

具体的には、この平均は、以下のものからなる群から選らばれた少なくとも一つの条件の関数である重み付けがなされた平均とすることができる。
・該各チューブに関連付けられている深度情報
・該各チューブに関連付けられている優先度情報
・該各チューブの生成時点および／または継続時間
・該各チューブにおける対象画素についての位置情報
・該各チューブのチューブタイプに関連する情報

言い換えると、オーバーラップゾーンにおいて最適化される画素は、オーバーラップしている各チューブの画素に割り当てられているテクスチャ値の結合（一次結合、幾何学的結合など）に基づいて決定される。

本発明の一態様によれば、抽出するステップにより、異なるタイプのチューブが提供される。これらのチューブには、具体的には、ベースチューブと、少なくとも一つのベースチューブの再現（restitution）を改善するための修正チューブ（refinement tube）とが含まれる。

修正チューブの変化は、ベースチューブの変化とは独立なものとしうる。

具体的には、修正チューブは、以下のものを含む。
・加算チューブ（additive tube）：加算チューブは、ベースチューブの情報に加算される残差情報を含む。
・記述チューブ（description tube）：記述チューブは、ベースチューブの情報により提供される第一の記述に対して補足的かつ／または冗長な第二の記述を提供する記述情報を含む。例えば、第一の記述は、ブロック内の偶数画素（even pixel）の記述を可能とし、第二の記述は、奇数画素（odd pixel）の記述を可能とする。

したがって、本実施形態によれば、本発明は、品質が調整可能であって時空間解像度（spatio-temporal resolution）が可変である、データのスケーラブルな符号化および復号化に応用される。

ベースチューブと加算型の修正チューブとの間の相互関係を利用するスケーラブルな表現の実行を目的とする一態様によれば、加算型の修正チューブは、修正対象のベースチューブへと関連付けられる。したがって、加算型の修正チューブの時間的な変化は、ベースチューブの時間的な変化に依存する。

本発明の一実施例によれば、モーションチューブを定義する遷移情報は、以下のものを含む。
・該カレントイメージ内のブロックの位置および／または変位の修正に関する情報
・該テクスチャの修正に関する情報

これらの遷移情報は、具体的には、既に復号化された画像に対して行われた修正を考慮した、カレントイメージ内のカレントブロックの再現を可能にする。例えば、これらの修正は、画像ごとの更新、空間的変換および／または時間的変換による符号化などに相当する。

例えば、遷移情報は、以下のものからなる群から選ばれた少なくとも一つの演算を行うための、ブロックの変化に関する情報を含む。
・ホモグラフィック変換
・アフィン変換
・回転
この演算は、処理するステップにおいて、変化に関する情報を考慮して行われる。

本発明の一実施形態によれば、復号化方法は、参照チューブのリストを生成して更新するステップを含む。この、リストを生成するステップは、シーケンス内の第１番目の画像に対して実行できる。

本発明の一態様によれば、抽出するステップは、ある時点ｔにおいて、各チューブについて、以下の情報の少なくとも一つを読み取るステップを含む。
・該チューブを使用するか否かの情報
・該チューブについての予測を使用するか否かの情報
・画像内の該チューブの位置に関する情報
・チューブタイプに関連する情報
・テクスチャデータ

例えば、復号化方法は、以下のステップを含む。

別の実施形態では、本発明は、画像シーケンスを表す信号を復号化する装置を提供する。

本発明によれば、復号化装置は、以下のものを備えている。
・信号からモーションチューブを抽出する手段： チューブは、少なくとも一つの別のチューブとは独立に変化しうる画素ブロックを含む。
・遷移情報を処理する手段： ある時点ｔにおけるカレントイメージ内の各チューブのカレントブロックを提供する。
・オーバーラップゾーンにおいて最適化された画素を再現するために、該カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を結合する手段。

このような復号化装置は、特に、上述の復号化方法の実施に好適である。そのような復号化装置は、例えば、Ｈ．２６４型または修正Ｈ．２６４型のビデオ復号化装置を必要とする。

本発明の別の態様では、通信ネットワークからダウンロード可能であり、および／または、コンピュータが読み取り可能な媒体に記録され、および／または、プロセッサが実行可能なコンピュータプログラム製品であって、上述の復号化方法を実施するためのプログラムコード命令を含むコンピュータプログラム製品が提供される。

本発明の別の実施形態は、画像シーケンスを符号化する方法に関する。

本発明によれば、符号化方法は、以下のステップを含む。
・シーケンスを表す信号にモーションチューブを挿入するステップ： チューブは、少なくとも一つの別のチューブと独立に変化しうる画素ブロックを含んでいる。ある時点において、二つのチューブは、一つの画像の同一の画素へ別々の値を割り当てることが可能である。各チューブは、少なくとも以下の情報、すなわち、参照テクスチャ情報を含む参照画素ブロックと、チューブ開始時点およびチューブ終了時点と、該シーケンスの少なくとも一つの時点ｔにおいて該参照ブロックを更新することを可能にする遷移情報とにより定められる。
・該モーションチューブを定義する該遷移情報を生成するステップ
・これにより、復号化の際に、カレントイメージ内のオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を結合して、オーバーラップゾーンにおいて最適化された画素を再現することができる。

そのような符号化方法は、特に、上述の復号化方法に従って復号化される画像シーケンスを符号化することに好適である。

具体的には、そのような符号化方法は、以下の二つの主なフェーズを含む。
・モーションチューブを確立するフェーズ： 情報に基づいてチューブを構成することを可能にする。
・モーションチューブを符号化するフェーズ

本発明の一実施形態以下の通りである。

別の実施形態では、画像シーケンスを符号化する装置が提供される。

本装置は、以下のものを備えている。
・シーケンスを表す信号にモーションチューブを挿入する手段： チューブは、少なくとも一つの別のチューブと独立に変化しうる画素ブロックを含む。
・モーションチューブを定義する遷移情報を生成する手段：
これにより、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を結合して、オーバーラップゾーンにおいて最適化された画素が再現される。

そのような符号化装置は、特に、上述の符号化方法の実施に好適である。そのような復号化装置は、例えば、Ｈ．２６４型または修正Ｈ．２６４型のビデオ符号化装置を必要とする。

本発明の別の態様では、通信ネットワークからダウンロード可能であり、および／または、コンピュータによる読み取りが可能な媒体に記録され、および／または、プロセッサによる実行が可能なコンピュータプログラム製品であって、上述の符号化方法を実施するためのプログラムコード命令を含むコンピュータプログラム製品が提供される。

本発明のさらに別の態様では、画像シーケンスを表す信号が提供される。

本信号は、モーションチューブを含む。チューブは、少なくとも一つの別のチューブとは独立に変化しうる画素ブロックを含む。ある時点において、二つのチューブが、一つの画像の同一の画素へ別々の値を割り当てることができる。
該各チューブは、少なくとも以下の情報で定義される。
・参照テクスチャ情報を含む参照画素ブロック
・チューブ開始時点およびチューブ終了時点
・該シーケンスの少なくとも一つの時点ｔにおいて該参照ブロックを更新することを可能にする遷移情報
本信号は、各モーションチューブに関連付けられている遷移情報をさらに含む。
これにより、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を結合して、オーバーラップゾーンにおいて最適化された画素が再現される。

本信号は、特に、上述の符号化方法に従って符号化されたデータストリームを表すことができる。もちろん、この信号は、本発明による符号化方法に関連する様々な特性を含むことができる。

単純で、例示的かつ非限定的な例として与えられる、以下の実施例の説明、ならびに以下に示す添付図面を参照することにより、本発明の特徴および利点を説明する。

モーションチューブを用いた画像シーケンスの一例を示す図である。 モーションチューブ内のブロックの経時的な変化を示す図である。 本発明の一実施形態による復号化方法の主なステップを示す図である。 オーバーラップを制御するメカニズムを示す図である。 本発明の一実施形態による符号化方法の主なステップを示す図である。 本発明の一実施形態による符号化装置の一例を示す図である。 本発明の一実施形態による復号化装置の一例を示す図である。

５．１ 一般原理
本発明の一般原理は、モーションチューブを用いて表現される２次元または３次元の画像シーケンスを符号化および復号化することに基づいている。

モーションチューブによるビデオシーケンスの表現の一例について、図１を参照しながら説明する。

本例では、時点ｔ０、ｔ１、ｔ２、ｔ３にそれぞれ対応するビデオシーケンスの画像Ｉ０、Ｉ１、Ｉ２、Ｉ３の間に、四つのモーションチューブＴｕ１、Ｔｕ２、Ｔｕ３、Ｔｕ４が存在している。

具体的には、あるモーションチューブは、画素の集合（正方形あるいは長方形のブロック、または３次元の立方体など）として定義されるものであり、その特性は以下のとおりである。
・生成時点（すなわちチューブ開始時点）
・消滅時点（すなわちチューブ終了時点）
・時点ｔに依存する位置（ｘｔ、ｙｔ）の集合または変位（ｄｘｔ、ｄｙｔ）の集合（ただし、ｔはチューブの生成時点と消滅時点との間にある）
・必要に応じて時間とともに変化するテクスチャ

例えば、チューブＴｕ１は、時点ｔ０で生成され、時点ｔ２で消滅する。このことは、時点ｔ０より前にはチューブＴｕ１は存在せず、時点ｔ２より後にはチューブＴｕ１はもはや存在しないことを意味する。同様に、チューブＴｕ２は、時点ｔ０で生成され、時点ｔ１で消滅する。チューブＴｕ３は、時点ｔ１で生成され、時点ｔ３で消滅する。チューブＴｕ４は、時点ｔ１で生成され、時点ｔ２で消滅する。さらに、各チューブは、テクスチャ値を有している。

言い換えると、例えば、画像Ｉ０の場合は、チューブＴｕ１が、画像Ｉ０の画素ブロック１に対応する。これに関して、「時間的な推移（temporal extension）」としてｔが適用される。ｔはｔ０からｔ２まで変化する。

このように、チューブは、各時点において再び初期化されることなく、画像を通じて「残存」する。特に、画像シーケンス内の連続しない複数の画像に対して、モーションチューブを定義することができる。例えば、時点ｔにおいてチューブが画像から「消滅」した場合には、このチューブはメモリ内に保存され、時点ｔ＋１において「再度出現」しうる。

これらのチューブは、復号化する際に、シーケンス内の画像を再現するために用いられる。例えば、チューブＴｕ１を用いて、画像Ｉ１およびＩ２を予測することができる。

各チューブに関連付けられている画素ブロックは、互いに独立して変化（evolve）しうることに留意されたい。したがって、例えば、図１の時点ｔ２におけるチューブＴｕ３とチューブＴｕ４のように、チューブどうしがオーバーラップすることがある。これは、メッシュに基づく手法では不可能である。

さらに、チューブの時間的な変化は、平行移動（translation）に限られないことに留意されたい。画素ブロックにおいては、最初の画像を含めて、画像ごとに幾何学的変換が行われる場合がある。このような変換としては、回転、アフィン変換、ホモグラフィック変換などがある。

図２は、チューブどうしのオーバーラップを具体的に示している。例えば、時刻ｔにおいて、画像Ｉｔ内でチューブＴｕ_ｉ、Ｔｕ_ｋが初期化されている。時刻ｔ＋１では、画像Ｉｔ＋１内でチューブＴｕ_ｉとチューブＴｕ_ｋが完全にオーバーラップしている。つまり、このときチューブＴｕ_ｉおよびチューブＴｕ_ｋは、同じ画素ブロックに対応している。これが起こるのは、例えば、ある物体について、チューブＴｕ_ｉの画素ブロックに関連付けられている一部分が、ブロックＴｕ_ｋに関連付けられている別の物体によって隠されている場合である。その後、各チューブが互いに独立して変化（evolve）することにより、チューブＴｕ_ｉとチューブＴｕ_ｋは、各チューブに関連付けられている物体の変位に応じて、別の方向に変化していく。

また、モーションチューブは、時間とともに変化（平行移動から回転運動、アフィン変形、ホモグラフィック変形などへ拡張）しうる。例えば図２では、チューブＴｕ_ｌが時点ｔ＋１において画像Ｉｔ＋１内で初期化され、時点ｔ＋２において画像Ｉｔ＋２内で消滅している。チューブＴｕ_ｌに対応した、画像Ｉｔ＋２内の画素ブロックは、同じチューブＴｕ_ｌに対応した、画像Ｉｔ＋１内の画素ブロックとは異なることがある。例えば、チューブＴｕ_ｌは、画像Ｉｔ＋１において８×８の画素ブロックに対応し、画像Ｉｔ＋２においては１２×８の画素ブロックに対応している。この場合、チューブを構成している画素の集合は、時間とともに変化している。画像Ｉｔ＋２内のチューブＴｕ_ｌに対応した画素ブロックを表現するために、画像Ｉｔ＋１について当初定められた、修正された画素値を含んだブロックを変形することができる。このような変形としては、ホモグラフィック変換、アフィン変換、回転などがある。

つまり、あるビデオシーケンスは、そのビデオシーケンスのモーションの軌跡（trajectory）に従って時間とともに空間内を動くモーションチューブの集まりによって表現される。

５．２ 復号化
本発明による復号化方法の主なステップを、図３を参照して具体的に説明する。

信号３０は、復号化部が受信した画像シーケンスである。

本復号化方法では、まず抽出ステップ３１において、画素ブロックに各々関連付けられているモーションチューブを信号３０から抽出する。本発明においては、各チューブは互いに独立して変化しうる。さらに、所与の時点において、二つのチューブが、ある画像の同一の画素へ別々のテクスチャ値を割り当てることができる。

各チューブは、少なくとも以下の情報によって定められる。
・参照テクスチャ情報を含んだ参照画素ブロック
・チューブ開始時点およびチューブ終了時点
・当該シーケンスの少なくとも一つの時点ｔにおいて当該参照ブロックを更新することを可能にする遷移情報

チューブの開始時点における画素ブロック（開始ブロックと呼ぶ）は、当該チューブを定める参照画素ブロックに対応したものとすることができ、あるいは、当該参照画素ブロックの修正により得られるものとすることもできる。したがって、この開始ブロックは、必ずしも当該シーケンスの画像に属するものではなく、ストレージメモリ、データベースなどから作成されることがある。

また、参照画素ブロック（あるいは、チューブの開始時点における画素ブロック）は、モーションチューブごとに異なりうる。

例えば、図１の画像Ｉ１を参照すると、チューブＴｕ３の開始時点における画素ブロックは、ブロック３である。チューブＴｕ４の開始時点における画素ブロックは、ブロック４である。

また、チューブの開始時点は、モーションチューブごとに異なりうる。例えば、チューブＴｕ１の開始時点はｔ０であり、チューブＴｕ３の開始時点はｔ１である。

これらの遷移情報は、具体的には、カレントイメージにおけるブロックの位置の修正および／または変位の修正に関する情報、ならびに、テクスチャの修正に関する情報を含んでいる。

本復号化方法は、遷移情報を処理するステップ３２において、時点ｔにおけるカレントイメージ内の各チューブのカレントブロックを提供する。例えば、画像Ｉ２（これをカレントイメージとする）の再現が必要な場合には、時点ｔ１における画像Ｉ１内のブロック３と、チューブＴｕ３に関連付けられている遷移情報とに基づいて、チューブＴｕ３の画像Ｉ２内のブロック３が時点ｔ２において更新される。言い換えると、開始ブロックは、遷移情報を考慮に入れながら、時間とともに変化しうる。そして、それをカレントブロックと呼ぶ。

その後、本復号化方法は、ステップ３３において、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックに関連付けられている情報を結合（combine）する。これにより、オーバーラップゾーンにおいて最適化された画素を再現する。

図１を再度参照すると、例えば、チューブＴｕ３とチューブＴｕ４とが、画像Ｉ２内でオーバーラップしていることに留意されたい。ここで、チューブＴｕ３およびチューブＴｕ４に関連付けられている情報（具体的には、テクスチャ情報）を結合することに基づいた、オーバーラップを制御するメカニズムを導入する。そして、このオーバーラップを制御するメカニズムにより、オーバーラップゾーン内に位置する画素について値を再現することが可能となる。

そして、本復号化方法により、再現された画像シーケンス３４が得られる。

ステップ３３は、各モーションチューブについての情報を結合するステップである。これについて、図４を参照して具体的に説明する。

所与の時点における画像を画像Ｉとする。画像Ｉは、それぞれが画素ブロックに関連付けられている三つのモーションチューブを含んでいる。簡単にするために、ブロックとこれに対応するチューブとを同じ文字で表す。図４では、三つのチューブ４１、４２、４３が、符号Ｈで示された、ハッチングされたオーバーラップゾーンにおいてオーバーラップしている。

このオーバーラップゾーンＨを制御するために、様々な手法を用いる。

例えば、結合ステップ３３では、オーバーラップゾーンの画素を再現するために、オーバーラップしているチューブのそれぞれにおける、オーバーラップゾーンＨの各画素に割り当てられたテクスチャ値の平均を計算する。ゾーンＨの画素Ｐが、ブロック４１において値２１０を有し、ブロック４２において値２３０を有し、ブロック４３において値２４０を有しているとすると、再現された画素は値２２６（＝（２１０＋２３０＋２４０）／３）を有することとなる。

各モーションチューブに重みを付けることにより、上述の平均に重みを付けることができる。例えば、各チューブに対して優先度情報（priority information）を関連付けることができる。この優先度情報は、品質情報とすることができる。この場合は、最大の優先度情報を有するチューブに関連付けられているテクスチャ値のみを考慮する。

また、優先度情報は、深度情報（depth information）とすることもできる。この場合は、最大の深度情報を有するチューブに関連付けられているテクスチャ値のみを考慮する。また、オーバーラップしているすべてのチューブに関連付けられているテクスチャ値を結合することもできる。この場合、それらの値について、各チューブに関連付けられている深度により重み付けを行う。

別の形態によれば、オーバーラップしている複数のチューブのうち、一つのチューブに関連付けられているテクスチャ値を考慮することもできる。例えば、（継続時間が）最も長いチューブ、すなわち、個数が最大の連続画像または不連続画像にわたって定義されているチューブのみを考慮したり、あるいは、直近のチューブ、すなわち、生成時点が時間的に最も近いチューブのみを考慮する。また、オーバーラップしているすべてのチューブに関連付けられているテクスチャ値を結合することもできる。この場合、それらの値について、各チューブの継続時間（終了時点と生成時点との差）、あるいは、各チューブの生成時点を起点とする時間的間隔の単調減少（または単調増加）関数（現在の時点と生成時点との差）により重み付けを行う。

さらに別の手法では、各チューブにおいて対象画素の位置を考慮する。例えば、オーバーラップゾーンＨ内の画素Ｐが、チューブ４１の中心から距離ｄ１の位置にあり、チューブ４２の中心から距離ｄ２の位置にあり、チューブ４３の中心から距離ｄ３の位置にあるとする。この場合、再現する画素に最も近いチューブ（例えば、ｄ２＜ｄ１かつｄ２＜ｄ３であるとすれば、チューブ４２）に関連付けられているテクスチャ値のみを考慮することができる。また、オーバーラップしているチューブの画素に対し、各チューブ内での位置に関して重み付けをすることもできる。

別の実施形態によれば、抽出ステップ３１は、別のチューブタイプ、すなわち、ベースチューブ（base tube）、あるいは修正チューブ（refinement tube）を提供することに留意されたい。このような修正チューブは、具体的には、ベースチューブの再現（restitution）を改善することができる。

したがって、本実施形態によれば、本発明は、品質が調整可能であって時空間的解像度が可変であるスケーラブルなデータの符号化および復号化に応用される。

本実施形態によれば、本発明はまた、データのロバストな符号化および復号化に応用される。

本実施形態では、オーバーラップゾーンＨを制御することにより、結合ステップ３３において、ベースチューブの情報へ修正チューブの情報を追加することができる。

具体的には、修正チューブには次の二つのタイプがある。
・加算チューブ
これは、ベースチューブの品質を改善するものであり、残差という値を持っている。この場合、ベースチューブの情報を結合すること、および修正チューブの再現情報（restitution information）を結合することは、いずれも加算である。
・記述チューブ（descriptive tube）
参照チューブの情報により提供される第一の記述に対して補足的および／または冗長な第二の記述を提供する記述情報を含む。例えば、第一の記述は、ブロック内の偶数画素の記述し、第二の記述は、奇数画素を記述する。この場合、ベースチューブの情報を結合すること、および修正チューブの情報を結合することは、ベースチューブの情報および修正チューブの情報の重み付けである。また、ベースチューブの情報のみ、あるいは修正チューブの情報のみを考慮することもできる。

この場合、ベースチューブと、ベースチューブを詳細に表現する一つまたは複数の修正チューブとは関連付けられ、それらの時間的な変化は依存関係にあると見なされる。

画像シーケンスを表す信号を復号化する復号化方法のアルゴリズムの一例について、以下に説明する。

つまり、カレントイメージの再現は、各モーションチューブから生まれる予測値を結合することによって行う。したがって、各チューブは、点（ｘ、ｙ）および時点ｔにおけるそのチューブのモーションの補正、ならびに必要に応じてテクスチャの内挿（interpolation）によって得られる予測値、すなわち、

を定める。

例えば、図４に関して説明したように、これらの予測値は、次のように結合される。

重みｗ_ｉおよび重みｗ_ｊは、複数の予測を行う際に適用する重み付けを考慮するためのものである。

したがって、第一の形態によれば、これらの重みは、次式によって定められる。
ｗ＝１／｛その点における予測値の数｝

第二の形態によれば、各チューブは、チューブに対する当該点の位置に関連付けられた重みｗ_ｔ（例えば、そのチューブの中心からの距離に反比例する重み）を定める。ｗ_ｉは、ｗ_ｔを複数のｗ_ｔの合計で割ったものとして定められる。

第三の形態によれば、重み付け以外の方法（例えば、多重記述符号化（multiple description coding）をもとにした手法）によって、各チューブの予測値を結合して最終的な予測値を得ることができる。

５．３ 符号化
ここでは、本発明による符号化方法の主なステップを、図５を参照して説明する。

具体的には、画像シーケンス５１を符号化する。

第一の挿入ステップ５２において、上述のモーションチューブを、画像シーケンスを表す信号へ挿入する。

具体的には、各モーションチューブは、少なくとも以下の情報によって定められる。
・参照テクスチャ情報を含んだ参照画素ブロック
・チューブ開始時点およびチューブ終了時点
・当該シーケンスの少なくとも一つの時点ｔにおいて当該参照ブロックを更新することを可能にする遷移情報

次の生成ステップ５３において、モーションチューブを定義する遷移情報を生成する。言い換えると、各モーションチューブについて、参照画素ブロックの時間的な変化を定義する。

このようにして、画像シーケンス５１を表す信号５４を生成する。信号５４は、モーションチューブを含んでいる。信号５４は、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックに関連付けられている情報を結合することにより、オーバーラップゾーンにおいて最適化された画素を再現することを可能とする。

画像ビデオシーケンスを符号化する符号化方法のアルゴリズムの一例を以下に説明する。このアルゴリズムには、チューブを確立するフェーズと、チューブを符号化するフェーズという二つの主なフェーズがある。

Ａ）チューブを確立するフェーズ
最初に、ビデオシーケンスをモーションチューブの集合に分解する。

シーケンスの第一番目の画像については、その第一番目の画像をカバーしている一組のブロックのそれぞれについて、モーションチューブを初期化する。この第一番目の画像をカバーしている一組のブロックは、互いに素なブロック（すなわち、互いに共通の画素を含まないブロック）のみを含んでいるか、あるいは、部分的に重なり合っているブロック（すなわち、互いに共通の画素を含む少なくとも二つのブロック）を含んでいる。このように冗長性を考慮しており、それによって、例えば、同一のコンテンツに対して多重記述（multiple description）を施したり、境界ゾーンにおける物体のモーションをより良く推定したりすることができる。

このようなモーションチューブにより、参照チューブのリストを定義することができる。

次に、符号化の対象となる画像の符号化について説明する。ここで、既知の（例えば、既に符号化あるいは復号化されてキャッシュメモリに記憶されている）画像または参照画素ブロックのリスト、ならびに参照チューブのリストが、あらかじめ与えられているものとする。

本符号化方法におけるモーションチューブを確立するフェーズは、以下のステップを含んでいる。

Ｂ）チューブを符号化するフェーズ
様々なチューブを符号化するために、符号化を実行する本アルゴリズムに従って、イントラ残差型（intra-residual type）のスキームを用いる。

したがって、画像の符号化は、以下の手順により行われる。

５．４ 符号化装置および復号化装置の構造
最後に、上述したような符号化および復号化をそれぞれ実行する符号化装置および復号化装置の構造を、図６Ａおよび図６Ｂを参照しながら説明する。

符号化装置の一例を図６Ａに示している。この符号化装置は、バッファメモリからなるメモリ６１と、処理ユニット６２とを備えている。処理ユニット６２は、マイクロプロセッサμＰを備えており、コンピュータプログラム６３を実行して、本発明による符号化方法を実行する。

まず、コンピュータプログラム６３のコード命令が、例えば、ＲＡＭメモリにロードされ、その後、処理ユニット６２内のプロセッサによって実行される。処理ユニット６２は、符号化する画像シーケンス５１を入力として受け取る。処理ユニット６２のマイクロプロセッサは、モーションチューブにより表現された画像シーケンスを符号化するために、コンピュータプログラム６３の命令に従って、上述の符号化方法の手順を実行する。そのために、符号化装置は、バッファメモリ６１に加えて、モーションチューブを挿入する手段と、モーションチューブを定める遷移情報を生成する手段とを備えている。これらの手段は、処理ユニット６２内のマイクロプロセッサによって実現される。

処理ユニット６２は、モーションチューブを含んだ、画像シーケンスを表す信号５４を出力する。

復号化装置の一例を図６Ｂに示している。この復号化装置は、バッファメモリからなるメモリ６６と、処理ユニット６７とを備えている。処理ユニット６７は、マイクロプロセッサμＰを備えており、コンピュータプログラム６８を実行して、本発明による復号化方法を実行する。

まず、コンピュータプログラム６８のコード命令が、例えば、ＲＡＭメモリにロードされ、その後、処理ユニット６７内のプロセッサによって実行される。処理ユニット６７は、モーションチューブを含んだ、画像シーケンスを表す信号３０を入力として受け取る。処理ユニット６７内のマイクロプロセッサは、シーケンスの画像を再現するために、コンピュータプログラム６８の命令に従って、上述の復号化方法の手順を実行する。そのため、復号化装置は、バッファメモリ６６に加えて、信号３０からモーションチューブを抽出する手段と、遷移情報を処理する手段と、オーバーラップしている少なくとも二つのチューブのカレントブロックに関連付けられている情報を結合する手段とを備えている。これらの手段は、処理ユニット６７内のマイクロプロセッサによって実現される。

処理ユニット６７は、再現された画像シーケンス３４を出力する。

Claims (14)

1. 画像シーケンスを表す信号からモーションチューブを抽出するステップであって、あるチューブは、少なくとも一つの別のチューブとは独立して変化する画素ブロックを含むことができ、ある時点において、二つのチューブは一つの画像内の同一の画素へ別々の値を割り当てることができ、前記チューブのそれぞれは以下の情報、すなわち、
   参照テクスチャ情報を含んだ参照画素のブロックと、
   チューブの開始時点およびチューブの終了時点と、
   前記画像シーケンス内の少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報と
   により定まるものである、ステップと、
   前記遷移情報を処理して、ある時点ｔにおけるカレントイメージ内の各チューブについてのカレントブロックを提供するステップと、
   前記カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を組み合わせる処理により、該オーバーラップゾーンにおいて最適化された画素を再現するステップであって、前記組み合わせる処理は、前記オーバーラップゾーンの少なくとも一つの画素について、オーバーラップしている各チューブ内の当該画素へと割り当てられているテクスチャ値の平均を計算する演算を含むものである、ステップと
   を含む、画像シーケンスを表す信号を復号化する方法。
2. 前記平均は、
   各チューブに関連付けられている深度情報と、
   各チューブに関連付けられている優先度情報と、
   各チューブの生成時点または継続時間の少なくともいずれか一方と、
   各チューブにおいて対象となる画素についての位置情報と、
   各チューブのチューブタイプに関連する情報と
   からなる群から選ばれた少なくとも一つの条件に応じて重み付けがなされた平均である、請求項１に記載の方法。
3. あるチューブの開始時点における画素ブロック、すなわち開始ブロックが、当該チューブを定める参照画素のブロックに対応するか、あるいは該参照画素ブロックの修正により得られるものである、請求項１または２に記載の方法。
4. 前記抽出するステップは、ベースチューブと、少なくとも一つのベースチューブの再現を改善するための修正チューブとを提供するものである、請求項１から３のいずれか一項に記載の方法。
5. 前記修正チューブは、加算チューブと記述チューブとを含むものであり、
   加算チューブは、ベースチューブの情報へと加算される残差情報を含むものであり、
   記述チューブは、ベースチューブの情報により提供される第一の記述に対して補足的および／または冗長な第二の記述を提供する記述情報を含むものである、請求項４に記載の方法。
6. 前記遷移情報は、
   前記カレントイメージ内のブロックの位置および／または変位の修正に関する情報と、
   前記テクスチャの修正に関する情報と
   を含むものである、請求項１から５のいずれか一項に記載の方法。
7. 前記遷移情報は、
   ホモグラフィック変換と、
   アフィン変換と、
   回転と
   からなる群から選ばれた少なくとも一つの演算を行うための、ブロックの変化に関する情報を含むものであり、
   前記処理するステップは、前記変化に関する情報の関数として前記演算を行うものである、請求項６に記載の方法。
8. 前記抽出するステップは、ある時点ｔにおいて、前記各チューブに関し、以下の情報、すなわち、
   前記チューブを使用するか否かの情報と、
   前記チューブについての予測を使用するか否かの情報と、
   前記画像におけるチューブの位置に関する情報と、
   チューブタイプに関する情報と、
   テクスチャデータと
   のうちの少なくとも一つを読み取るステップを含むものである、請求項１から７のいずれか一項に記載の方法。
9. 画像シーケンスを表す信号からモーションチューブを抽出する手段であって、あるチューブは、少なくとも一つの別のチューブとは独立して変化する画素ブロックを含むものであり、ある時点において、二つのチューブが一つの画像における同一の画素へ別々の値を割り当てることができ、前記各チューブは、以下の情報、すなわち、
   参照テクスチャ情報を含んだ参照画素ブロックと、
   チューブ開始時点およびチューブ終了時点と、
   前記画像シーケンスの少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報と
   により定まるものである、抽出する手段と、
   前記遷移情報を処理して、ある時点ｔにおけるカレントイメージ内の前記チューブのそれぞれのカレントブロックを提供する手段と、
   前記カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を組み合わせる処理により、該オーバーラップゾーンにおいて最適化された画素を再現する手段であって、前記組み合わせる処理は、前記オーバーラップゾーンの少なくとも一つの画素について、オーバーラップしている各チューブ内の当該画素へと割り当てられているテクスチャ値の平均の計算を含むものである、手段と、
   を備えている、画像シーケンスを表す信号を復号化する装置。
10. ある通信ネットワークからダウンロード可能であり、および／または、コンピュータが読み取り可能な媒体に記録され、および／または、プロセッサが実行可能なコンピュータプログラムであって、請求項１から８のいずれか一項に記載の方法を実行するためのプログラムコード命令を有するコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 画像シーケンスを表す信号へモーションチューブを挿入するステップであって、あるチューブは、少なくとも一つの別のチューブとは独立して変化することが可能な画素ブロックを含むものであり、ある時点において、二つのチューブが一つの画像内の同一の画素へ別々の値を割り当てることができ、前記各チューブは、以下の情報、すなわち、
    参照テクスチャ情報を含んだ参照画素ブロックと、
    チューブ開始時点およびチューブ終了時点と、
    前記画像シーケンスの少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報と
    により定まるものである、挿入するステップと、
    前記モーションチューブを定める遷移情報を生成するステップと
    を含み、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を組み合わせる処理により、該オーバーラップゾーンにおいて最適化された画素が再現され、前記組み合わせる処理は、前記オーバーラップゾーンの少なくとも一つの画素について、オーバーラップしている各チューブ内の当該画素へと割り当てられているテクスチャ値の平均を計算する演算を含むものである、画像シーケンスを符号化する方法。
12. 画像シーケンスを表す信号へモーションチューブを挿入する手段であって、あるチューブは、少なくとも一つの別のチューブとは独立に変化することが可能な画素ブロックを含むものであり、ある時点において、二つのチューブが一つの画像内の同一の画素へ別々の値を割り当てることができ、前記各チューブは、以下の情報、すなわち、
    参照テクスチャ情報を含んだ参照画素ブロックと、
    チューブ開始時点およびチューブ終了時点と、
    前記シーケンスの少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報と
    により定まるものである、挿入する手段と、
    前記モーションチューブを定める遷移情報を生成する手段と
    を備えており、復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を組み合わせる処理により、該オーバーラップゾーンにおいて最適化された画素が再現され、前記組み合わせる処理は、前記オーバーラップゾーンの少なくとも一つの画素について、オーバーラップしている各チューブ内の当該画素へと割り当てられているテクスチャ値の平均を計算する演算を含むものである、画像シーケンスを符号化する装置。
13. 通信ネットワークからダウンロード可能であり、および／または、コンピュータが読み取り可能な媒体に記録され、および／または、プロセッサが実行可能なコンピュータプログラムであって、請求項１１に記載の方法を実行するプログラムコード命令を有するコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
14. モーションチューブを含み、ここで、あるモーションチューブは、少なくとも一つの別のチューブとは独立して変化することが可能な画素ブロックを含むものであり、ある時点において、二つのチューブが一つの画像内の同一の画素へ別々の値を割り当てることができ、前記各チューブは、以下の情報、すなわち、
    参照テクスチャ情報を含んだ参照画素ブロックと、
    チューブ開始時点およびチューブ終了時点と、
    画像シーケンスの少なくとも一つの時点ｔにおける参照ブロックを更新することを可能にする遷移情報と
    により定まるものであり、
    前記各モーションチューブに関連付けられている遷移情報をさらに含み、
    復号化の際に、カレントイメージのオーバーラップゾーンにおいてオーバーラップしている少なくとも二つのチューブのカレントブロックへと関連付けられている情報を組み合わせる処理により、該オーバーラップゾーンにおいて最適化された画素が再現される、画像シーケンスを表す信号を生成するステップであって、前記組み合わせる処理は、前記オーバーラップゾーンの少なくとも一つの画素について、オーバーラップしている各チューブ内の当該画素へと割り当てられているテクスチャ値の平均を計算する演算を含むものである、ステップと、
    前記信号を送信するステップと
    を含む方法。
    

Images