JP5498963B2 - ピクセルブロックに分割された画像または画像のシーケンスの符号化及び復号化 - Google Patents

Description

本発明は、一般的に、画像処理の分野に関係すると共に、更に正確には、デジタル画像、そしてデジタル画像のシーケンスの符号化及び復号化に関係する。

デジタル画像、そしてデジタル画像シーケンスは、多くのメモリ空間を占有するということが知られており、それによって、それらが送信されるとき、その伝送のために使用されると共に、ネットワークの使用できるビットレートが一般に限られている通信ネットワークにおける混雑の問題を回避するために、それらを圧縮することが必要になる。

現在の圧縮符号化技術、とりわけ共同のビデオチーム（Joint Video Team：ＪＶＴ）ワーキンググループによって開発されると共に、国際電気通信連合の画像符号化専門家グループ（Video Coding Expert Group：ＶＣＥＧ）と、動画専門家グループ（Moving Picture Expert Group：ＭＰＥＧ）との協調から生じる、文書ＩＳＯ／ＩＥＣ１４４９６−１０で説明されたＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding：高度なビデオ符号化）標準の符号化技術は、同じ画像、または前の画像、または次の画像の他のマクロブロックに対する、現在の画像のマクロブロックと呼ばれるピクセルのブロックのグループに関する空間予測、または時間予測の手法を使用する。そのような予測符号化の後で、ピクセルブロックは、離散的コサイン変換を適用することによって処理され、その後で量子化される。量子化されたピクセルブロックの係数は、その場合に、高周波において多数のゼロ係数を利用することを可能にする読取り順序でスキャンされると共に、次に、それらは、エントロピー的に（entropically）に符号化される。

A. Dumitras等、「An encoder-decoder texture replacement method with application to content-based movie coding」、ＩＥＥＥ論文、２００４年 T. Kanungo等、「An Efficient k-means Clustering Algorithm: Analysis and Implementation」、ＩＥＥＥ論文、２００２年 "T. Wiegang"等、「Rate-Constrained Coder Control and Comparison of Video Coding Standards」、ＩＥＥＥ論文、２００３年７月

それらの圧縮符号化技術は効果的であるが、しかし、それらは一様なテクスチャ（texture）の領域の特色を有する画像を圧縮するための最適条件ではない。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準において、同じ画像における別のマクロブロックに対する、画像におけるマクロブロックの空間予測は、その他のマクロブロックが、いわゆる原因となる周辺におけるそれに関連したある所定の方向、一般的には上側及び左側において、予測されるべきマクロブロックに隣接している場合に限り、可能である。同様に、画像のブロックまたはマクロブロックの動きベクトルの予測は、近隣のブロックの動きベクトルに対する因果予測である。

そのタイプの予測は、従って、同じテクスチャを有する個別の領域のマクロブロックのテクスチャの類似性、もしくは、同じテクスチャを有する領域においてはるかに離れているマクロブロックのテクスチャの類似性を利用することを可能にしない。すなわち、そのタイプの技術は、共通の特性を有するマクロブロックのグループを１つの主体として同時に処理することを可能にしない。更に、１つの画像から別の画像までの一様なテクスチャの領域の動きは、同様に最適に利用されず、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準の時間予測は、１つの画像から別の画像までのマクロブロックの動きを利用することを可能にするが、しかし、そのマクロブロックが一様な動きを有する領域の一部分であるという事実はない。

その問題を解決するために、画像を符号化する前に、画像における一様なテクスチャの領域または動きを分離する方法でビデオシーケンスをセグメント化する、いわゆる領域符号化技術（regional coding technique）が提案された。例えば、それらの領域は、より改善された符号化を使用するか、または改善されていない符号化を使用するかの選択が行われる、画像内のオブジェクトを定義する。そのような技術の例は、“A. Dumitras”等によって、２００４年に公表された“An encoder-decoder texture replacement method with application to content-based movie coding”と題名が付けられたＩＥＥＥ（Institute of Electrical and Electronics Engineers：米国電気電子技術者協会）論文において説明される。

しかしながら、それらの領域符号化技術は、ビデオシーケンスの宛先である復号化装置に対して、ビデオシーケンスを送信する符号化装置において各画像に関して計算されたセグメント化マップを送信することを必要とする。セグメント化マップは、その境界が一般的にセグメント化された画像のピクセルのブロックの境界と一致しないので、メモリ空間の観点から、非常に高価である。更に、任意の形状の領域へのビデオシーケンスのセグメント化は、決定論的ではなく、セグメント化マップの境界は、一般的に、そのマップがビデオシーケンスの画像において細分化しようと試みる実在の対象物の境界と一致しない。このため、そのようなセグメント化マップの生成ではなく、そのようなセグメント化マップの表現及び伝送のみが、（ＭＰＥＧ−４パート２標準において）標準化された。

結論として、多くのセグメント化技術があり、そして、それらの内のいずれも、全ての種類の画像シーケンスの効果的なセグメント化に関して十分に一般的であるとは限らない。それらの複雑で、かつ非決定論的技術は、従って、産業用の符号化装置に決して配置されたことがない。

本発明は、テクスチャまたはカラーデータのような各ブロックまたはマクロブロックに特有のデータが、同様のテクスチャまたは色を有するブロックまたはマクロブロックの間で共同利用される画像符号化／画像復号化方法及び装置を提供することによって、従来技術の欠点を解決することを目指す。

従って、領域符号化方法において情報を共同利用することの利点は、セグメント化マップの伝送を必要とする優れたセグメント化の欠点なしで獲得される。

そのために、本発明は、画像の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含むデータストリームを生成する画像または画像のシーケンスを符号化する符号化方法であって、前記方法が、・符号化されるべき少なくとも１つのブロックパラメータに対応するそれらのそれぞれの値の近接性に従って、ブロックをブロックのクラスタに分類する段階と、・前記ブロックのグループに固有である前記パラメータの値を決定する段階とを含むと共に、前記方法が、・前記クラスタのブロックを符号化すると共に、前記ブロックのクラスタと関連付けられているデータ構造を符号化する段階を含み、前記パラメータに対する前記ブロックの値が、前記固有値の継承によって黙示的に符号化されるか、もしくは、前記固有値に対する改善値として符号化されると共に、前記データ構造が、前記固有値と関連付けられているデータを含むことを特徴とする符号化方法を提案する。

本発明によって、一様なテクスチャ、色、または動きの領域のブロックに特有のデータは、従来技術と比べると、非常に柔軟な方法で共同利用される。必要に応じて、ブロックを一様なテクスチャを有するブロックのクラスタに分類する段階は、相互から遠く離れているか、もしくは個別の領域の一部分であるブロックを含む。更に、これらのクラスタの各々にデータ構造を結び付けることは、同様にブロックヘッダデータを共同利用することを可能にする。最終的に、本発明は、本発明の符号化方法によって符号化された画像または複数の画像の宛先である符号化装置に対するセグメント化マップの伝送を必要としない。

ブロックに関するパラメータの値を継承することによる黙示的な符号化は、そのブロックに関して継承された値が符号化されない手段に関係する。復号化において、クラスタに関して決定された固有値は、関係のあるブロックのパラメータに割り当てられる。

ブロックに関してパラメータの値を改善することによって符号化することは、関係のある値に関する改善値が、関係のあるブロックに関して符号化されることを意味する。復号化において、関係のあるブロックのパラメータに割り当てられる値は、クラスタに関して決定された固有値及び改善値である。

有利な特徴によれば、前記固有値は、符号化されるべき前記パラメータに対する前記クラスタのブロックの値に対応する。

本発明の１つの実施例において、画像の特定のブロックは、ブロックのクラスタと関連付けられているデータ構造として使用され、それは、ブロックがインター画像（inter image）に属する場合に、クラスタにブロックに関する情報、例えばブロックの符号化のために使用された時間予測の利益を与えることを可能にする。

別の有利な特徴によれば、前記ブロック分類段階において、この方法で分類されたブロックの内の１つの少なくとも１つのサブブロックは、前記ブロックのクラスタに割り当てられないと共に、前記クラスタに割り当てられた前記ブロックのサブブロックを決定する前記ブロックに関する分割情報は、前記クラスタのブロックを符号化する前記段階の間に、前記データ構造または前記ブロックに符号化される。

この特徴は、正確に一様なテクスチャの領域または動きを定義することを可能にし、いくらかのサブブロックが、それらがその一部分であるブロックのクラスタに割り当てられないので、実際には、このクラスタは、それらがその一部分であるブロックによって形成される領域より更に輪郭がはっきりした領域を定義するサブブロックを分類する。

別の有利な特徴によれば、前記ブロックのクラスタは、前記クラスタのブロックを復号化するための、前記画像の他のブロックまたはブロックのクラスタに対する優先順位データと関連付けられている。

この優先順位データは、時には、復号化装置に対して、クラスタまたはブロックと関連付けられているデータを復号する順序を指定するのに有益である。例えば、もしブロックのいくらかのサブブロックがそのブロックがその一部分であるグループに割り当てられていないならば、クラスタに割り当てられたブロックのサブブロックを最初に復号化することが望ましいかもしれない。たとえブロックのクラスタが複数のクラスタのクラスタとして定義されるとしても、その中に含まれるクラスタと関連付けられているデータ構造を復号化する前に、そのクラスタと関連付けられているデータ構造を最初に復号化することが望ましい。

別の有利な特徴によれば、本発明の符号化方法が画像シーケンスを符号化するために使用される場合に、前記ブロックのクラスタは、前記画像シーケンスの複数の連続する画像に対応する生存時間（time-to-live）データと関連付けられていると共に、前記クラスタと関連付けられている前記データ構造は、前記連続する画像に関して１度だけ符号化される。

この生存時間データは、１つの画像から別の画像まで、クラスタに共通のデータを共同利用することを可能にし、それは、符号化されるべき画像の空間的次元に加えて、符号化されるべき画像の時間次元を利用する。

本発明は、更に、画像または画像のシーケンスを表すデータストリームを復号化する復号化方法であって、前記ストリームが、前記画像の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含み、前記方法が、・ブロックのクラスタと呼ばれる前記ブロックのセット、及びブロック符号化パラメータに対応する少なくとも１つの固有の関連した値と関連付けられているデータ構造を復号化する段階と、・前記符号化パラメータに、もし前記ブロックに関して前記パラメータが符号化されていないならば前記固有値を割り当てるか、または、もし前記ブロックに関して前記パラメータが符号化されているならば前記符号化パラメータに対応する値から計算された前記固有値の改善値を割り当てて、前記クラスタのブロックを復号化する段階とを含むことを特徴とする復号化方法を提供する。

有利な機能によれば、ブロックを復号化する前記段階に先だって、前記ブロックのクラスタに割り当てられた前記マクロブロックのサブブロックを決定する前記ブロックに関する分割情報を復号化する段階が実行されると共に、前記クラスタに割り当てられていない前記ブロックのサブブロックは、前記固有値を使用せずに復号化される。

本発明は、更に、画像または画像のシーケンスを表すデータストリームを伝送する信号であって、前記ストリームが、前記画像の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含み、前記信号は、・前記ストリームが、ブロックのクラスタと呼ばれる前記ブロックのセットと関連付けられているデータ構造を表すデータを更に含むと共に、前記構造が、前記ブロックのクラスタの固有値を表すデータを含み、ブロック符号化パラメータに対応し、・前記クラスタのブロックを表すデータが、前記符号化パラメータの値を表すデータを含まないか、または前記固有値の改善値を表すデータを含むことを特徴とする信号を提供する。

本発明は、更に、画像の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含むデータストリームを生成する画像または画像のシーケンスを符号化するための装置であって、前記装置が、・符号化されるべき少なくとも１つのブロックパラメータに対応するそれらのそれぞれの値の近接性に従って、ブロックをブロックのクラスタに分類するための手段と、・符号化されるべき前記パラメータに対する前記ブロックのクラスタの固有値を決定するための手段とを備えると共に、前記装置が、・前記ブロックのクラスタと関連付けられているデータ構造を符号化するための手段と、・前記固有値の継承によって前記パラメータに対する前記ブロックの値を黙示的に符号化するための手段、及び／または、前記固有値の改善値として前記値を符号化するための手段とを有する前記クラスタのブロックを符号化するための手段とを備え、前記データ構造が、前記固有値と関連付けられているデータを含むことを特徴とする装置を提供する。

本発明は、更に、画像または画像のシーケンスを表すデータストリームを復号化するための装置であって、前記ストリームが、前記画像の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含み、前記装置が、・前記ブロックのクラスタと呼ばれる前記ブロックのセット、及びブロック復号化パラメータに対応する前記ブロックのクラスタの少なくとも１つの固有値と関連付けられているデータ構造を復号化するための手段と、・前記符号化パラメータに、もし前記ブロックに関して前記パラメータが符号化されていないならば前記固有値を割り当てるか、または、もし前記ブロックに関して前記パラメータが符号化されているならば前記符号化パラメータに対応する値から計算された前記固有値の改善値を割り当てて、前記クラスタのブロックを復号化するための手段とを備えることを特徴とする装置を提供する。

本発明は、更に、コンピュータプログラムであって、それがコンピュータ上で実行される場合に本発明のいずれかの方法を実行するための命令を含むことを特徴とするコンピュータプログラムを提供する。

本発明の符号化方法のステップを表す図である。 本発明の第１の実施例の符号化装置を表す図である。 本発明に従って符号化された画像を表す図である。 本発明に従って符号化された画像のマクロブロックを符号化する１つの方法を表す図である。 本発明に従って符号化された画像のマクロブロックを符号化する別の方法を表す図である。 本発明の復号化装置を表す図である。 本発明の復号化方法のステップを表す図である。 本発明の第２の実施例の符号化装置を表す図である。 本発明に従って符号化された画像のマクロブロックを符号化する更なる方法を表す図である。 本発明に従って符号化された画像におけるマクロブロックのクラスタの動きと関連付けられている動きベクトルを表す図である。

他の特徴及び利点は、添付の図面を参照して与えられた好ましい実施例の以下の説明を読むことによって明白になる。

画像のシーケンスを、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準に基づく符号化によって獲得されるビットストリームと類似したビットストリームとして符号化するために本発明の符号化方法が使用される本発明の３つの実施例が、以下で説明される。これらの実施例において、例えば、本発明の符号化方法は、初めはＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準に適合する符号化装置を修正することによって、ソフトウェアまたはハードウェアで実施される。本発明の符号化方法は、本発明の３つの実施例のすべてに当てはまる図１に示されたステップＣ１〜Ｃ３を含むアルゴリズムの形式で表される。

本発明の復号化方法が、対称的に、初めはＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準に適合する復号化装置を修正することによって、ソフトウェアまたはハードウェアで実施される点に注意が必要である。

更に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準は、画像をピクセルブロックのブロックに対応するピクセルのマクロブロックに細分化するので、本発明のこれらの実施例の符号化方法は、マクロブロックをクラスタに分類する。しかしながら、その発明は、ピクセルのブロックで構成された、独立した画像またはあらゆる画像シーケンスを符号化するか、もしくは復号化するために、同様に使用され得る。従って、本発明は、例えば、初めは現在合同ビデオチーム（Joint Video Team：ＪＶＴ）による標準化の途中であるＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準の拡張であるＳＶＣ（Scalable Video Coding：スケーラブルビデオ符号化）標準に従うビデオ符号化装置を修正することによって、等しく実施され得る。

本発明の第１の実施例において、本発明の符号化方法は、図２において示された符号化装置ＣＯ１において実施される。

図１に示された第１のステップＣ１は、符号化されるべき画像シーケンスが提供する画像ＩＥのマクロブロックを、マクロブロックの１つ以上のクラスタに分類する。このために、画像ＩＥは、図２において示されたマクロブロックをクラスタに分類するためのモジュールＭＲＧ１の入力に印加される。

このクラスタ分類化モジュールＭＲＧ１は、例えば、セグメント化されるべきセットの要素の特徴の間の距離を測定することによって要素のクラスに要素のセットをセグメント化するアルゴリズムを使用するｋ−平均クラスタリング方法（k-means clustering method）として知られている領域的成長方法（regional growth method）を使用する。そのような方法は、“T. Kanungo”等によって、２００２年に公表された“An Efficient k-means Clustering Algorithm: Analysis and Implementation”と題名が付けられたＩＥＥＥ論文において説明される。クラスタ分類化モジュールＭＲＧ１は、従って、符号化されるべき画像シーケンスの画像を、シーケンスが提供する各画像に関して定義されたマクロブロックのクラスタを定義する情報と共にそれらを、動き推定モジュールＭＥＶ１、予測計算モジュールＭＣＰ１、及び判定モジュールＭＤＣ１に対して送信する前に、事前分析する。これらのモジュールの動作は、以下で詳細に説明される。

従って、このステップＣ１において、画像ＩＥのマクロブロックは、テクスチャ形状及び階調度に関して定義されたそれらのテクスチャの幾何学的配置の類似性に応じて、または、それらの色の類似性に応じてクラスタに分類される。図３において示されたように、３つのクラスタＧ１、Ｇ２、及びＧ３がこのようにして決定される。クラスタＧ１は、非常に類似したテクスチャ及び動きを有するマクロブロックを含み、クラスタＧ２は、類似した幾何学的配置を有するマクロブロックを含み（すなわち、これらのマクロブロックを通過する形状は、ある幾何学的配置に従うか、もしくは、これらのマクロブロックのテクスチャは、特定の方向に全体的に方向付けられる）、そして、クラスタＧ３は、一様なテクスチャのマクロブロックを分類する。

クラスタＧ２のマクロブロックのいくらかのブロックは、クラスタＧ２に割り当てられないと共に、それがクラスタＧ２の形状の一部分を際だたせる点に注意が必要である。

更に、この第１の実施例において、以下で説明される第２の実施例のように、テクスチャデータのみが、マクロブロッククラスタデータによって共同利用される。以下で説明される第３の実施例は、一様な動きクラスタのマクロブロックの間で、動きデータを共同利用するために本発明を使用することの例である。

次のステップＣ２において、ステップＣ１において決定されたクラスタＧ１、Ｇ２、及びＧ３のそれぞれの１つ以上の固有値が、クラスタ分類化モジュールＭＲＧ１により決定され、それは、固有のテクスチャ値をクラスタＧ１及びクラスタＧ３に割り当てると共に、固有のテクスチャの幾何学的配置の値（texture orientation value）をクラスタＧ２に割り当てる。例えば、クラスタＧ２に割り当てられたテクスチャの幾何学的配置の値は、クラスタＧ２の各々のマクロブロックの形状の幾何学的配置の平均値である。同様に、クラスタＧ１及びクラスタＧ３に割り当てられたテクスチャ値は、例えば、各々、クラスタＧ１及びクラスタＧ３のマクロブロックのそれぞれの平均値である。

もしクラスタがそれを可能にするならば、モジュールＭＲＧ１がそのクラスタに関する複数の固有値を決定し得る点に注意が必要である。例えば、そのようなクラスタは、従って、平均的なピクセル値、及びテクスチャの幾何学的配置の値と関連付けられている。テクスチャを、様々な方法、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ符号化装置における現存する方法を補足するアドオンの方法で符号化することが可能であり、
・それは、色と関連付けられている幾何学的配置の形で符号化され、これらの２つのデータ項目は、テクスチャを再合成することを可能にする。あるいは、
・それは、直接ピクセルの方陣の形で符号化される。あるいは、
・完全にパラメータ的な方法（parametric manner）でそれを再生するために、統計的テクスチャ値（平均、分散等）のみが格納される。

例えば、これらの符号化の形式の間の選択は、ビットレートに関するそれらのコストによって決まる。

用語“値”が、ここでは“パラメータの値”という意味で使用され、それ故、そのパラメータに応じて複数の値を示し得るという点に注意が必要である。この実施例において、例えば、マクロブロックデータのヘッダに存在するマクロブロック符号化パラメータ以外のマクロブロック符号化パラメータに関して、それらは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準において定義されていると見なす。選択された符号化オプションに応じて、例えば、マクロブロックのテクスチャ値は、値の３つの方陣または行列、すなわちルミナンス値の方陣及び２つのクロミナンス値の方陣に対応する。

ステップＣ２の終りに、クラスタ分類化モジュールＭＲＧ１は、画像ＩＥと、クラスタＧ１、Ｇ２、及びＧ３を定義する情報とを、予測計算モジュールＭＣＰ１、及び判定モジュールＭＤＣ１に対して送信する。クラスタＧ１、Ｇ２、またはＧ３の内の１つを定義する情報は、以下の通りである。
・このクラスタに分類されたマクロブロックのインデックス。
・テクスチャの幾何学的配置の値のような、ステップＣ２においてこのクラスタに割り当てられた固有値または複数の固有値。
・クラスタに１つ以上のブロックまたはサブブロックが割り当てられていないこのクラスタの各マクロブロックに対して、このクラスタに割り当てられたマクロブロックのブロック及びサブブロックを定義する分割情報。
・もしこのクラスタが複数の連続した画像に存在するならば、必要に応じて、例えばそのクラスタが関係する画像の残りの数に等しいクラスタ生存時間（time-to-live）データ、及び前の画像に対するこのクラスタのマクロブロックのインデックスを更新するためのデータ、もしこれらのマクロブロックがこのクラスタに割り当てられなかったブロックまたはサブブロックを含むならば、必要に応じて、更新されたマクロブロックと関連付けられている分割情報、そして前の画像においてクラスタに割り当てられた固有値に対するクラスタの固有値を更新するための情報。
・もしクラスタがマクロブロックの他のクラスタの前または後で復号化されなければならないならば、あるいは、もしクラスタがクラスタに割り当てられなかった“フリー”マクロブロックと呼ばれるマクロブロックの前または後で復号化されなければならないならば、復号化の優先順位データ。

次のステップＣ３は、クラスタＧ１、Ｇ２、及びＧ３の各々と関連付けられているデータ構造に、ステップＣ２において決定された固有値を符号化し、そして画像ＩＥのマクロブロックを符号化する。

クラスタを符号化するとき、もし生存時間がそれに関連付けられているならば、予測計算モジュールＭＣＰ１は、必要に応じて、画像ＩＥに関してステップＣ２においてクラスタに割り当てられた固有値と、前の画像に関してステップＣ２においてクラスタに割り当てられた固有値との間の差異を計算する。従って、固有値の時間予測残余（更新情報）のみが、当然ながらこのクラスタが現れる最初の画像を除いて、１つの画像からこのクラスタに関する別の画像まで符号化される。代りに、もし生存時間がクラスタと関連付けられているならば、このクラスタが現れる最初の画像の後で、固有値は画像に関して符号化されない（固有値を更新することがない）。この変形例において、本発明の復号化装置は、クラスタの同じ固有値、すなわちそのクラスタが現れる最初の画像に関して受信した固有値を常に再使用する。

判定モジュールＭＤＣ１は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣフォーマットのマクロブロックの対応する値を符号化することと類似した方法で、クラスタの固有値、またはそれらの固有値の予測値を符号化する。

図４は、本発明の変形例に従って符号化された画像ＩＥのマクロブロックのスライスＴを示す。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣフォーマットと比べると、スライスのマクロブロックのクラスタに特有のデータを符号化するフィールドＧＤが、スライスヘッダーデータフィールドＳＨとマクロブロックデータフィールドＳＤとの間に挿入される。

このフィールドＧＤは、これらのクラスタの固有値が符号化される、各クラスタと関連付けられているデータ構造を符号化する。この実施例において、それらの構文は、Ｈ．２６４の構文と類似している。従って、クラスタＧ１と関連付けられているデータ構造は、データＧ１Ｄと、その各々がクラスタＧ１のマクロブロックを指し示すポインタＰ１１、Ｐ１２、及びＰ１３とを含む。データＧ１Ｄは、
・クラスタに関する符号化のタイプ、例えばイントラ符号化またはインター符号化を指定するフィールドＧＴ、
・クラスタの固有値を符号化するために使用された予測のタイプ（予測なし、または予測値のポジション）を示すフィールドＧＰ、そして、
・必要に応じて予測された固有値またはグループの値、そして恐らくはクラスタに関連付けられている生存時間、復号化の優先順位データの符号化を有するフィールドＧＭ、
を含む。

例えば、もしその生存時間がＧＯＰ（group of pictures）の持続時間に等しいならば、クラスタと関連付けられている生存時間が、黙示的に代りに符号化される。

フィールドＧＤは、更に、クラスタＧ２、及びＧ３のデータを含み、クラスタＧ３のデータは、クラスタＧ３のマクロブロックを指し示すポインタＰ３１、Ｐ３２、Ｐ３３、及びＰ３４を従えているデータフィールドＧ３Ｄによって、図４に示されている。

ポインタが、いくらかのブロックがクラスタに割り当てられていないマクロブロック、例えばクラスタＧ２のポインタの内の１つに関連する場合に、このポインタは、マクロブロックの分割データを含むデータ構造に符号化される。この分割データは、以下で説明される。

スライスＴが一般的に全体の画像ＩＥに対応する点に注意が必要である。例えば、もし使用されるマクロブロックのスライスがそれぞれ画像ＩＥの一部分のみ含むならば、ＦＭＯ（柔軟なマクロブロック順序づけ：Flexible Macroblock Ordering）メカニズムは、クラスタのデータ、及び同じマクロブロックのスライスにおけるそのクラスタと関連付けられているマクロブロックのデータを分類するために使用される。

図５は、本発明の別の変形例によって符号化されたマクロブロックのスライスＴを示す。図４の変形例と比べると、データＧ１Ｄは、更にクラスタインデックスフィールドＧＩを含み、そして各々のクラスタと関連付けられているデータ構造は、それらのクラスタのマクロブロックに対するポインタを含まない。マクロブロック符号化ステップＣ３を参照して以下で詳細に示されるように、１つ以上のクラスタインデックスを含む各マクロブロックにおける符号化されたフィールドＭＬを使用して、マクロブロックがクラスタに属するということが別の方法で示される。これのために、この符号化の変形例において、あるクラスタに関するクラスタデータＧＤは、クラスタに分類されたマクロブロックを更新するためのデータ、または優先順位データを復号化するためのデータを含まない。

これらの２つの符号化の変形例が、同じマクロブロックが複数のクラスタの一部分であることを可能にする点に注意が必要である。従って、このマクロブロックは、例えば、第１のクラスタからの固有値と、別のクラスタからの別の固有値を継承する。

更に、いくらかのクラスタと関連付けられている優先順位データは、それらのクラスタを“接続する”ことを可能にし、例えば、もし１つのクラスタの固有値が別のクラスタの固有値を予測するために使用されるならば、優先順位データは、基準クラスタを最初に、そして次にその基準クラスタから予測される他のクラスタを復号化することが必要であることを復号化装置に対して示すために使用される。

画像ＩＥのマクロブロックは、このステップＣ３において、同様に符号化される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準と同様に、予測計算モジュールＭＣＰ１は、画像ＩＥのマクロブロックの様々な可能な予測を計算する。これらの予測は、以前に符号化され、その後復号化されて、基準画像ＩＲ１のリストに挿入されたシーケンスの画像ＩＥから、もしくは他の画像から計算される。これらの基準画像ＩＲ１は、以下に示すように、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準に従って、符号化されるべき画像シーケンスの最初の画像から組み立てられる。
・離散的コサイン変換及び量子化符号化が、変換及び量子化モジュールＭＴＱ１によって達成される。
・逆離散的コサイン変換及び逆量子化復号化が、次に、逆量子化及び逆変換モジュールＭＴＱＩ１によって達成される。
・最終的に、ブロック効果フィルタモジュールＭＦＢ１が、このように符号化されると共に、出力で基準画像ＩＲ１を提供するように復号化された画像におけるブロック効果を減少させる。

予測計算モジュールＭＣＰ１によって計算された予測値は、画像ＩＥが以下のどのタイプであるかによって変わる。
・もし画像ＩＥがイントラ画像、すなわち符号化されるべきシーケンスの他の送り手のマクロブロックに関する時間予測なしで符号化された画像であるならば、予測計算モジュールＭＣＰ１は、画像ＩＥの他のマクロブロックに対する、画像ＩＥの各マクロブロックの可能な空間予測値を計算する。そして、
・もし画像ＩＥがインター画像、すなわちそれに関して、符号化されるべきシーケンスが提供する他の画像のマクロブロックに対する時間予測によってマクロブロックを符号化することが可能である画像であるならば、その場合に、モジュールＭＥＶ１は、画像ＩＥと１つ以上の基準画像ＩＲ１との間の動きを計算する。予測計算モジュールＭＣＰ１は、その場合に、符号化されるべきシーケンスが提供する他の画像のマクロブロックに対する、画像ＩＥの各マクロブロックの可能な時間予測値と、更に、画像ＩＥの他のマクロブロックに対する、画像ＩＥの各マクロブロックの可能な空間予測値を計算する。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準によって供給された時間予測値及び空間予測値に加えて、予測計算モジュールＭＣＰ１は、クラスタにおける画像ＩＥのマクロブロックに関して、そのクラスタの固有値とそれらのマクロブロックの対応する値との間の差異を計算する。

１度予測計算モジュールＭＣＰ１が、可能な予測値を計算したならば、判定モジュールＭＤＣ１は、画像ＩＥのマクロブロックをスキャンすると共に、このステップＣ３において、マクロブロックの各々を符号化するために使用される予測のタイプを選択する。マクロブロックに関する可能な予測値から、判定モジュールＭＤＣ１は、ビットレート対歪み基準に従って最高の予測値を選択するか、または、もし“予測なし”オプションに関するビットレート対歪み基準が全ての可能な予測値より良いならば全く予測値を使用しないか、を選択する。使用できるビットレート対歪み基準は、“T. Wiegang”等によって、２００３年７月に公表された“Rate-Constrained Coder Control and Comparison of Video Coding Standards”と題名が付けられたＩＥＥＥ論文において説明される。

もし判定モジュールＭＤＣ１によってスキャンされたマクロブロックが、フリーマクロブロック、すなわちクラスタに全く属さないマクロブロックであるならば、判定モジュールＭＤＣ１は、画像のタイプ（インターまたはイントラ）、そしてビットレート対歪み基準の可能な最適化に応じて、時間予測値または空間予測値によって、あるいは予測値を使用せずに、そのマクロブロックを符号化する。

一方、もし判定モジュールＭＤＣ１によってスキャンされたマクロブロックが、クラスタのマクロブロックであるならば、判定モジュールＭＤＣ１は、ビットレート対歪み基準を最適化する選択に応じて、そのクラスタのデータを使用して、またはフリーマクロブロックと同じ方法で、そのマクロブロックを符号化する。

図４の符号化の変形例において、クラスタのマクロブロックが、フリーマクロブロックのように符号化されるとき、そのクラスタのデータが、マクロブロックに対するポインタを含まない点に注意が必要である。こういうわけで、クラスタデータは、クラスタのマクロブロックの符号化と同時に符号化される。すなわち、クラスタデータとマクロブロックデータの両方に対して、そのスライスに関する全ての符号化選択が完成された後で、スライスＴの構文生成が行われる。

画像ＩＥのマクロブロックは、図４及び図５に示された変形例の内の１つに従って、マクロブロックのスライスに符号化される。例えば、スライスＴに関して、各マクロブロックは、マクロブロックデータのために取っておかれたフィールドＳＤにおけるフィールドＭＤ１からＭＤｎのフィールドＭＤｉに符号化される。フィールドＳＫＲは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準の“ｓｋｉｐ＿ｒｕｎ”モードに従って符号化されたマクロブロックを表す。

図４の変形例において、フリーマクロブロックは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準と同様に符号化され、各々は、関係のあるマクロブロックのタイプ（インターまたはイントラ）を指定するフィールドＭＴ、使用された予測方向（イントラマクロブロックに関する空間予測方向、インターマクロブロックに関する動きベクトル）を示すフィールドＭＰ、そしてマクロブロックの残余の値を符号化するフィールドＭＣＲを含む。対照的に、クラスタのマクロブロックに関して、
・フィールドＭＴは、存在せず、
・フィールドＭＰは、クラスタの固有値に対応するパラメータ以外のパラメータに対応する、対応するマクロブロックの値の予測モードを示すために存在し、そして、
・フィールドＭＣＲは、もしクラスタから継承されたデータを改善するために残余が符号化されるならば存在する。

図５の変形例において、フリーマクロブロックは、更に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準と同様に符号化されるが、しかし、クラスタのマクロブロックは、フィールドＭＴに符号化されると共に、それらがクラスタに属することを示している新しいマクロブロックタイプ、例えばＭＢ＿ＣＬＵＳＴＥＲを有している。もしマクロブロックがＭＢ＿ＣＬＵＳＴＥＲタイプのマクロブロックであるならば、それは、更に、それが一部分であるクラスタまたは複数のクラスタを示すための１つ以上のクラスタインデックスを含む新しいヘッダフィールドＭＬを有している。

他の符号化の変形例が、当然ながら構想され得る。例えば、別の符号化の変形例において、マクロブロックは、ヘッダフィールドＭＬが、マクロブロックがクラスタ内にあるか否かに従って値０または１を有するシンプルなフラグであるということを除いて、図５における変形例と同様の方法で符号化される。それでもなお、この他の変形例が、マクロブロックが複数のクラスタの一部分であることを可能にしない点に注意が必要である。

更に、これらの変形例において、クラスタのデータを使用するマクロブロックのフィールドＭＣＲは、以下のように符号化される。
・それが属するクラスタのデータにおける対応する値を有していないマクロブロックの符号化パラメータの値は、フィールドＭＰに示された予測方法を使用して、ＡＶＣ符号化と類似した方法で符号化される。そして、
・それが属するクラスタのデータにおける対応する値を有しているマクロブロックの符号化パラメータの値は符号化されないか、または、クラスタの固有値とマクロブロックの対応する値との間の差異のみが符号化され、例えば、これらの固有値とマクロブロックの対応する値との間のビットレート対歪み基準に従って、これらの値に関して何も符号化しないか、もしくは改善値のみ符号化するか、の間の選択が行われる。

従って、フレームＴは、そのいくらかのパラメータ値が明白に符号化されないが、しかしクラスタデータＧＤに符号化された固有値を継承することによって黙示的に符号化されるマクロブロックを含む。

もしマクロブロックのいくらかのブロックのみがクラスタの一部分ではないならば、マクロブロックと関連付けられている位置設定情報は、どのブロックがクラスタに割り当てられているか、これ以降“フリー”ブロックとも呼ばれる他のブロックがクラスタに割り当てられていないか、を判定することを可能にするマクロブロックの下位区分を示す。例えば、図５の変形例において、この下位区分は、マクロブロックの各ブロックと関連付けられていると共に、そのブロックがフリーであるか否かを示すフラグによって符号化される。クラスタに割り当てられたブロックは、クラスタに完全に割り当てられたマクロブロックを符号化するのと類似した方法で符号化され、すなわちクラスタの固有値に対応するパラメータに関して、これらのブロックの値は、これらの固有値を継承するか、もしくは改善する。分割情報は、各フリーブロックに対してＡＶＣ予測タイプが使用されたことを示す。更に、予測方向を決定するために使用されるデフォルトの値が修正され、その結果、フリーブロックは、クラスタの一部分であるマクロブロックのブロックを使用しない。

この構造符号化が判定モジュールＭＤＣ１によって達成される場合に、画像ＩＥのブロックと対応するあらゆる残余係数が、量子化を従えている離散的コサイン変換を適用する、変換及び量子化モジュールＭＴＱ１に送信される。これらの量子化された係数を有するマクロブロックのスライスは、その場合に、本発明に従って符号化されたビデオビットストリームＦ１を生成するために、画像ＩＥと同じ方法で既に符号化されたビデオシーケンスの他の画像と共に、エントロピー符号化モジュールＭＣＥ１に送信される。

このように符号化されたビットストリームＦ１は、図６に示される本発明の復号化装置ＤＥＣを含む遠隔端末装置に通信ネットワークを介して送信される。

ビットストリームＦ１は、最初に、モジュールＭＣＥ１によって達成された符号化の逆である復号化を達成するエントロピー復号化モジュールＭＤＥに送信される。再構成されるべき各画像ブロックのために、モジュールＭＤＥによって復号化されたあらゆる係数が、逆量子化及び逆変換モジュールＭＱＴＩに送信される。

本発明による符号化ステップＣ３において、画像再構成モジュールＭＲＩは、その場合に、伝送エラーを無視すると、モジュールＭＤＣ１によって生成されたデータに対応する復号化されたデータを受信する。モジュールＭＲＩは、図７に示される本発明の復号化方法のステップＤ１及びＤ２を実行する。対称的に、本発明の符号化方法と比較して、これらのステップは、本発明の３つの実施例の全てにあてはまる。

第１のステップＤ１は、画像ＩＥのマクロブロックのスライスに符号化されたクラスタのデータ構造を復号化する。モジュールＭＲＩは、時間予測がそのクラスタのデータを符号化するために使用されたかどうかについて、あるクラスタのデータのヘッダフィールドＧＰを用いて確認する。

もし予測がストリームＦ１の前の画像または現在の画像の一部分に対して使用されたならば、クラスタの固有値を復号化するために、モジュールＭＲＩは、図６において示された予測計算モジュールＭＣＰによって供給された予測値を使用する。モジュールＭＣＰは、
・再構成モジュールＭＲＩによって以前に再構成されると共に、復号化によって引き起こされたブロック効果を減少させるために、モジュールＭＦＢによってフィルタ処理されたシーケンスが提供する画像に対応する、復号化されるべき画像シーケンスが提供する基準画像ＩＲ、及び、
・再構成モジュールＭＲＩによって、以前に復号化されると共に、メモリに保持されたクラスタの固有値、
を受信する。

クラスタの各固有値に対する予測値は、その場合に、モジュールＭＱＴＩによって復号化された値に加えられる。

もしクラスタのフィールドＧＰが時間予測を示さないならば、モジュールＭＱＴＩによって復号化された値が、クラスタの固有値として存在するので、使用される。

１度画像ＩＥの各クラスタの固有値が復号化されると、もし画像ＩＥが図４の変形例に従って符号化されたならば、モジュールＭＲＩは、画像ＩＥの各クラスタに関して、そのクラスタに関連付けられているマクロブロックのリスト、及び、必要に応じて、もしいくらかのブロックが分割されるならば、そのクラスタに個々に割り当てられたブロックのリストを作成する。

本発明の符号化方法を参照して説明されたように、複数の画像に及ぶ生存時間を有すると共に、図４の符号化の変形例に従って符号化されるいくらかのクラスタは、これらのクラスタの各々のマクロブロックを更新するためのデータを含む。この状況において、モジュールＭＲＩは、このクラスタに含まれる最新のデータを、以前の画像に対して作成されると共にモジュールＭＲＩのメモリに保持されたリストに適用して、そのようなクラスタと関連付けられているマクロブロックのリストを作成する。

画像ＩＥのクラスタのマクロブロック及びブロックのリストが作成された場合に、もしそれらのクラスタと関連付けられているデータが、１つのクラスタの別のクラスタに対する、あるいは１つのクラスタの画像ＩＥのフリーマクロブロックに対する復号化優先順位を示す復号化優先順位データを含むならば、モジュールＭＲＩは、その優先順位データに応じて、マクロブロック及びブロックの復号化の順位を決定する。

それに対して、もし画像ＩＥが図５の変形例を用いて符号化されたならば、モジュールＭＲＩは、各クラスタに対するマクロブロックのリストを作成しない。マクロブロックのヘッダデータに含まれるフィールドＭＬによってマクロブロックをクラスタに結び付けるシステムは、連続してマクロブロックを復号化するために画像ＩＥをスキャンする場合に、モジュールＭＲＩが、この結び付きを考慮することを可能にする。

もし復号化順序が、ステップＤ１において、モジュールＭＲＩによって確立されるならば、モジュールＭＲＩは、ステップＤ２において、その順序で画像ＩＥのマクロブロックを復号化し、もしそうでなければ、復号化は、画像ＩＥのマクロブロックをスキャンするための通常の順序で達成される。

画像ＩＥのフリーマクロブロックは、マクロブロックのヘッダフィールドＭＰに示された時間予測または空間予測を使用して、従来の方法で復号化される。

画像ＩＥのクラスタの一部分であるマクロブロックまたはブロックは、以下のように復号化される。
・クラスタの固有値に対応する、復号化されるべきパラメータに関して、
・もしマクロブロックまたはブロックのデータが復号化されるべきパラメータに対応する値を含まないならば、モジュールＭＲＩは、クラスタの固有値をこのパラメータに割り当てる。
・もしマクロブロックまたはブロックのデータが復号化されるべきパラメータに対応する値を含むならば、モジュールＭＲＩは、その値を使用して、例えばその値をクラスタの固有値に加えると共に、このように計算された値をパラメータに割り当てることによって、クラスタの固有値を改善する。
・クラスタの固有値に対応しない、復号化されるべきパラメータに関して、マクロブロックまたはブロックのデータに含まれる対応する値は、そのブロックまたはマクロブロックに関して示されたＡＶＣ予測を用いて復号化される。

マクロブロックが複数のクラスタの一部分である場合に、モジュールＭＲＩは、最初に、これらのクラスタの各々に関して、マクロブロックのどのブロックまたはサブブロックがそれに割り当てられているかを示している分割情報が、そのマクロブロックに関して符号化されているかどうかを確認する。もしそのような情報が存在するならば、１つのクラスタに割り当てられたブロック及びサブブロックは、１つだけのクラスタの一部分であるマクロブロックを復号化するために、上述のように復号化される。

もしそのような情報がこのマクロブロックに関して符号化されていないならば、もしくは、もしマクロブロックのいくらかのブロックまたはサブブロックが複数のクラスタに割り当てられているならば、モジュールＭＲＩは、１つだけのクラスタの一部分であるマクロブロックを復号化するために、上述のように、これらのクラスタの内の１つの固有値を継承することによって、またはその固有値を改善することによって、どのパラメータに割り当てることが可能であるか、それらに関して、一度に１つのマクロブロック符号化パラメータを調査する。異なるクラスタの複数の固有値、または異なるクラスタの固有値の複数の改善値を継承することによって、符号化パラメータに割り当てることが可能である場合に、モジュールＭＲＩは、例えば、これらの固有値の組み合わせ、またはその組み合わせの改善値を、そのパラメータに割り当てるか、もしくは、もし様々なクラスタに関する優先順位データが存在するならば、モジュールＭＲＩは、最も高い優先順位のクラスタの固有値、またはその固有値の改善値を継承することによって、この符号化パラメータに割り当てる。

画像ＩＥの全てのマクロブロックが復号化された場合に、画像再構成モジュールＭＲＩは、復号化装置ＤＥＣの出力において、画像ＩＥに対応する復号化された画像ＩＤを供給する。

本発明の第２の実施例の符号化方法は、図８において示された符号化装置ＣＯ２において実施される。本発明の第２の実施例の符号化方法のステップは、図１と同じであるが、しかし異なって実施され、画像ＩＥの“フリー”マクロブロックを符号化する一方、画像ＩＥのマクロブロックがクラスタに分類され、すなわち“フリー”マクロブロックは、まだ分類されない。

本発明のこの第２の実施例は、それが第１の実施例と共通の構成要素を多く有しているので、第１の実施例ほど詳細には説明されない点に注意が必要である。

本発明のこの第２の実施例において、符号化されるべき画像ＩＥは、動き推定モジュールＭＥＶ２、予測計算モジュールＭＣＰ２、及び判定モジュールＭＤＣ２の入力に直接到達する。本発明の第１の実施例と同様に、予測計算モジュールＭＣＰ２は、画像ＩＥから、または変換及び量子化モジュールＭＴＱ２によって以前に符号化されたシーケンスの他の画像から組み立てられ、逆変換及び逆量子化モジュールＭＴＱＩ２によって復号化され、そして次に、ブロック効果フィルタモジュールＭＦＢ２によってフィルタ処理された基準画像ＩＲ２から、画像ＩＥのマクロブロックの可能な予測値を計算する。これらのモジュールＭＴＱ２、ＭＴＱＩ２、及びＭＦＢ２の機能は、それぞれ装置ＣＯ１のモジュールＭＴＱ１、ＭＴＱＩ１、及びＭＦＢ１に適合する。

予測計算モジュールＭＣＰ２によって計算された予測値は、画像ＩＥのタイプ（イントラまたはインター）によって変わる。
・もし画像ＩＥがイントラ画像であるならば、予測モジュールＭＣＰ２は、画像ＩＥの他のマクロブロックに対する、画像ＩＥの各マクロブロックについての可能な空間予測値を計算する。
・もし画像ＩＥがインター画像であるならば、モジュールＭＥＶ２は、画像ＩＥと１つ以上の基準画像ＩＲ２との間の動きを計算する。予測計算モジュールＭＣＰ２は、その場合に、符号化されるべきシーケンスの他の画像のマクロブロックに対する、画像ＩＥの各マクロブロックについての可能な時間予測値を計算すると共に、画像ＩＥの他のマクロブロックに対する、画像ＩＥの各マクロブロックについての可能な空間予測値を計算する。

１度これらの予測値が計算されると、判定モジュールＭＤＣ２は、その場合に、図１において示された本発明の符号化方法のステップＣ１〜Ｃ３を実行する。

ステップＣ１は、画像ＩＥのマクロブロックをクラスタに分類する。このステップは、その時クラスタに分類された複数の他のマクロブロックに対する代表的なマクロブロックを決定することを可能にする、モジュールＭＣＰ２によって画像ＩＥのマクロブロックに関して以前に計算された予測値を使用する。第１の実施例と対照的に、この代表的なマクロブロックは、ビットレート対歪み基準を使用して決定され、従って、知覚の基準を必ずしも使用しない。

次のステップＣ２は、ステップＣ１において形成されたクラスタの固有値を決定する。あるクラスタに関する固有値は、クラスタの代表的なマクロブロックの符号化パラメータの値に対応する。

次のステップＣ３は、このように決定された固有値を、ステップＣ１において形成された各クラスタと関連付けられているデータ構造に符号化すると共に、ステップＣ１において形成されたクラスタのマクロブロックを符号化する。クラスタは、以下の情報によって定義される。
・このクラスタに分類されたマクロブロックのインデックス。
・クラスタの代表的なマクロブロックのインデックス。
・クラスタに１つ以上のブロックまたはサブブロックが割り当てられていないクラスタの各マクロブロックに関する、クラスタに割り当てられたマクロブロックのブロック及びサブブロックを定義する分割情報。
・必要に応じて、もしクラスタが複数の連続した画像に存在するならば、そのクラスタがまだ関係する次の画像の数に例えば等しいクラスタ生存時間（time-to-live）データ、前の画像に対するクラスタのマクロブロックのインデックスを更新するためのデータ、そして必要に応じて、もしこれらのマクロブロックがクラスタに割り当てられなかったブロックまたはサブブロックを含むならば、更新されたマクロブロックと関連付けられている分割情報。
・もしクラスタがマクロブロックの他のクラスタの前または後で復号化されなければならないならば、あるいは、もしクラスタがフリーマクロブロックの前または後で復号化されなければならないならば、復号化の優先順位データ。

この第２の実施例では、図９において示されたように、クラスタの固有値は、クラスタの代表的なマクロブロックを参照して符号化される。

図４及び図５の符号化の変形例と比較すると、クラスタデータフィールドＧＤが存在しない。この実施例において、クラスタの固有値を符号化するデータ構造は、クラスタの代表的なマクロブロックである。他のクラスタデータの全ては、マクロブロックデータに含まれる。

図４及び図５の符号化の変形例と同様に、フリーマクロブロックは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準と同様に符号化され、すなわち、各々は、関係のあるマクロブロックのタイプ（インターまたはイントラ）を指定するフィールドＭＴ、使用された予測方向を示すフィールドＭＰ、そしてマクロブロックの残余の値を符号化するか、または、もし時間予測または空間予測が関係のあるマクロブロックに関して使用されないならば、マクロブロック非予測値を符号化するフィールドＭＣＲを含む。

一方、クラスタの固有値を用いて符号化されたマクロブロック、及びクラスタの代表的なマクロブロックは、それぞれ以下のフィールドを含む。
・関係のあるマクロブロックがクラスタの一部分であることを示す新しいマクロブロックタイプＭＢ＿ＣＬＵＳＴＥＲを符号化するフィールドＭＴ。
・関係のあるマクロブロックがクラスタの代表的なマクロブロックであるかどうかを示し、クラスタインデックスを与え、そして必要に応じてクラスタの生存時間及びクラスタに関する復号化優先順位を与えるフィールドＭＺ。
・関係のあるマクロブロックがクラスタの代表的なマクロブロックである場合に限り存在する、代表的なマクロブロックを符号化するために使用された予測（予測タイプ、そして必要に応じて予測方向）を示すフィールドＭＰ。
・必要に応じて、関係のあるマクロブロックの予測残余を符号化するフィールドＭＣＲ。

クラスタの代表的なマクロブロックは、従って、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準において定義されたような予測、例えば空間予測または時間予測に従って符号化される。そのフィールドＭＣＲは、マクロブロックの予測値、または、もし時間予測または空間予測が関係のあるマクロブロックに関して使用されないならば、非予測値を符号化する。

クラスタの一部分である他のマクロブロックは、ビットレート対歪み基準を最適化する選択に応じて、それらのクラスタのデータを用いて符号化されるか、またはフリーマクロブロックと同じ方法で符号化される。

モジュールＭＤＣ２がマクロブロックを符号化するためにクラスタのデータを使用する場合に、それは、マクロブロックのフィールドＭＣＲを符号化するために、クラスタの代表的なマクロブロックの初期値、すなわち非予測値を使用する。具体的には、このフィールドＭＣＲに含まれるパラメータの値は、符号化されないか、または、クラスタの代表的なマクロブロックの対応する初期値と、符号化されるべきマクロブロックの対応する初期値との間の差異に等しい。もしこの値が符号化されないならば、それは、実際には、クラスタの代表的なマクロブロックから対応する初期値を継承することによって黙示的に符号化される。

１度判定モジュールＭＤＣ２がこの構造符号化を達成すると、画像ＩＥのブロックに対応する係数は、量子化を従えている離散的コサイン変換を適用する、変換及び量子化モジュールＭＴＱ２に送信される。これらの量子化された係数を有するマクロブロックのスライスは、その場合に、本発明に従って符号化されたビデオビットストリームＦ２を生成するために、画像ＩＥと同じ方法で既に符号化されたビデオシーケンスの他の画像と共に、エントロピー符号化モジュールＭＣＥ２に送信される。

このように符号化されたビットストリームＦ２は、遠隔端末装置に通信ネットワークを介して送信される。この端末は、第１の実施例の復号化装置ＤＥＣと同じ構造を有する本発明の復号化装置を備えるが、しかし、その復号化装置ＤＥＣと比較すると、それが、モジュールＭＤＣ２によって達成された符号化の逆である符号化に対応する復号化を達成するので、その画像再構成モジュールが異なって機能する。本発明によるこの復号化は、図７において示された２つの復号化ステップＤ１及びＤ２において達成される。

ステップＤ１において、画像再構成モジュールは、画像ＩＥのマクロブロックのスライスに符号化されたクラスタのデータ構造を復号化する。画像再構成モジュールは、クラスタの代表的なマクロブロックを識別するために、ストリームＦ２に含まれるマクロブロックをスキャンすると共に、これらの代表的なマクロブロックの各々は、クラスタを識別する。このスキャンの間に、それは、更に、クラスタからのデータを用いて符号化されたマクロブロックを識別すると共に、復号化の順序を判定するために、クラスタのマクロブロックと関連付けられているフィールドＭＺを復号化し、必要に応じて、フィールドＭＺに含まれたあらゆる優先順位データを考慮する。

もし時間予測または空間予測が代表的なマクロブロックのフィールドＭＰに示されるならば、このステップＤ１において、画像再構成モジュールは、更に、必要に応じて、前の画像を符号化している間に計算された予測データを使用して、以前に識別されたクラスタの各代表的なマクロブロックを復号化する。

これらの代表的なマクロブロックのフィールドＭＣＲに含まれる値は、他のＭＢ＿ＣＬＵＳＴＥＲマクロブロックの次の復号化のための基準としての役割を果たす。

ステップＤ２において、画像再構成モジュールは、ステップＤ１において確立された復号化順序で、ストリームＦ２の他のマクロブロックを復号化する。

イントラまたはインターマクロブロックを示すフィールドＭＴを有するストリームＦ２のマクロブロックは、マクロブロックヘッダフィールドＭＰに示された予測のタイプを使用して、従来の方法で復号化される。

ＭＢ＿ＣＬＵＳＴＥＲに等しいそのフィールドＭＴを有する、クラスタの代表的なマクロブロックではないクラスタのマクロブロックは、以下の方法で復号化される。
・もしマクロブロックのフィールドＭＣＲ内のデータが復号化されるべきパラメータに対応する値を含んでいないならば、画像再構成モジュールは、構造の代表的なマクロブロックの対応する以前に復号化された値を、このパラメータに割り当てる。
・もしマクロブロックのフィールドＭＣＲ内のデータが復号化されるべきこのパラメータに対応する値を含んでいるならば、画像再構成モジュールは、クラスタを代表するマクロブロックの対応する以前に復号化された値の改善値を計算し、このように計算された値をパラメータに割り当てるために、この値を使用する。

本発明の第３の実施例の符号化方法が、図２が提供する装置ＣＯ１と類似した符号化装置において実施されるが、しかし、その中で、クラスタ分類化モジュールが、前の画像に対する画像ＩＥのマクロブロックの一様な動き、例えばクラスタＧ１の動きを検出する。マクロブロックのこの一様な動きは、図１０において示されたベクトルＶを使用してクラスタ分類化モジュールによってモデル化されるか、もしくは、１つのベクトルによる方法とは別の方法で、例えばパラメータ的に（parametrically）符号化される。

クラスタＧ１からのデータを使用するこの第３の実施例において、それは、テクスチャデータではなく、共同利用される動きデータである。更に、本発明のこの第３の実施例の符号化方法は、図１において示されたのと同じステップを含むと共に、これらのステップが第１の実施例と共通の構成要素を多く有しているので、従って、第１の実施例ほど詳細には説明されない。

最初のステップＣ１において、クラスタ分類化モジュールは、動き推定モジュールＭＥＶ１によって使用された手法と類似した動き推定手法を使用して、一様な動きを有するマクロブロック、ここではクラスタＣ１のマクロブロックのセットを、クラスタに分類する。

次のステップＣ２は、クラスタＧ１の１つ以上の動き固有値を決定する。ここでクラスタ分類化モジュールは、画像ＩＰから画像ＩＥまで、クラスタＧ１のマクロブロックの動きと関連付けられている動きベクトルを平均化し、それは動き固有ベクトルＶに帰着する。

ステップＣ２の終りに、クラスタ分類化モジュールは、画像ＩＥ、及びクラスタＧ１を定義する情報を、この第３の実施例に使用される符号化装置の予測計算モジュール及び判定モジュールに送信する。クラスタＧ１を定義するその情報は、
・このクラスタに分類されたマクロブロックのインデックス、及び、
・動きベクトルを符号化するための２つのＡＶＣタイプのパラメータに対応する動き固有ベクトルＶの値、
で構成される。

その代りに、第１の実施例及び第２の実施例と同様に、もしクラスタＧ１のマクロブロックのいくらかのブロックがクラスタＧ１に割り当てられていないならば、クラスタＧ１は、生存時間データ、または復号化優先順位データ、または分割情報を割り当てられる。この変形例において、クラスタＧ１の動き固有ベクトルを符号化するための時間予測が、従って想定され得る。

次のステップＣ３において、判定モジュールは、クラスタＧ１と関連付けられているデータ構造にクラスタＧ１の固有ベクトルＶを符号化すると共に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣフォーマットにおけるマクロブロックのあらゆる動きベクトルの符号化と同様の方法で画像ＩＥのマクロブロックを符号化する。

クラスタＧ１からのデータ及び画像ＩＥのマクロブロックは、図４の変形例または図５の変形例のいずれかと同様の方法で符号化される。

図４の変形例において、特に、クラスタＧ１と関連付けられているデータ構造は、データＧ１Ｄと、そのいずれもがクラスタＧ１のマクロブロックを指し示すポインタＰ１１、Ｐ１２、及びＰ１３とを含み、データＧ１Ｄは、符号化されたクラスタの動き固有ベクトルＶを有するフィールドＧＭを含む。図５の変形例においてデータＧ１Ｄは、更に、クラスタインデックスフィールドＧＩを含むと共に、クラスタの各々と関連付けられているデータ構造は、クラスタのマクロブロックに対するポインタを含まず、マクロブロックは、各マクロブロックにおける符号化されたフィールドＭＬを使用することによって別の方法で示された、クラスタの一部分である。

ビットレート対歪み基準に従って、判定モジュールは、フリーマクロブロックとして、クラスタＧ１の最も適切なＡＶＣ予測及びマクロブロックを使用して、もしくは、クラスタＧ１と関連付けられているデータを使用して、画像ＩＥのフリーマクロブロックを符号化する。

そのような状況の下で、図４の符号化の変形例が使用されるとき、クラスタＧ１のマクロブロックは、１つだけのフィールド、すなわちフィールドＭＣＲを含むと共に、それは、クラスタの動き固有ベクトルＶを改善するために残余が符号化される場合に、もしくは、できる限り改善された固有ベクトルＶを使用して動き補償によって獲得されたそのテクスチャと比較してマクロブロックのテクスチャを改善するために残余が符号化される場合に存在する。

一方、もし図５の変形例が使用されるならば、このマクロブロックは、以下のフィールドを含む。
・新しいタイプのマクロブロック、例えばそれがクラスタの一部分であることを示すＭＢ＿ＣＬＵＳＴＥＲに対応するフィールドＭＴ。
・マクロブロックがその一部分であるクラスタを示す新しいヘッダフィールドＭＬ。そして、
・クラスタの動き固有ベクトルＶを改善するために残余が符号化されるならば、もしくは、できる限り改善された固有ベクトルＶを使用して動き補償によって獲得されたそのテクスチャと比較してマクロブロックのテクスチャを改善するために残余が符号化されるならば存在するフィールドＭＣＲ。

この実施例がクラスタデータを符号化するために時間予測を使用しないので、ＭＢ＿ＣＬＵＳＴＥＲタイプのマクロブロックがフィールドＭＰを有していない点に注意が必要である。

これらの変形例の各々において、クラスタＧ１のデータを使用するマクロブロックのフィールドＭＣＲは、以下のように符号化される。
・符号化装置の動き推定モジュールによってこのマクロブロックに関してあらかじめ計算された動きベクトルの値は、符号化されないか、またはその値と、クラスタの動き固有ベクトルＶの値との間の差異のみが、符号化される。
・例えばそのテクスチャの特性を示す、マクロブロックの他の符号化パラメータの値は、符号化されないか、または動き推定モジュールによってあらかじめ計算されたマクロブロックの動きベクトルを使用して、動き補償によって獲得された対応する値の間の差異のみが符号化される。

図１０において、例えば、もしマクロブロックＭＢが前の画像ＩＰのマクロブロックＭＡに多かれ少なかれ対応すると考えられるならば、マクロブロックＭＢとマクロブロックＭＡとの間の動きベクトルは、クラスタの動き固有ベクトルＶに対応し、その場合に、
・マクロブロックＭＢのフィールドＭＣＲは、動きベクトルパラメータに対応する値を含まず、その値は、クラスタの動き固有ベクトルＶの値と同様に、黙示的に符号化される。そして、
・マクロブロックＭＢのフィールドＭＣＲは、マクロブロックＭＢとマクロブロックＭＡとの間のテクスチャの差異に対応するテクスチャの残余値を含む。

１度この構造符号化が判定モジュールによって達成されたならば、離散的コサイン変換及び次の量子化が、その場合に画像ＩＥのブロックに対応するあらゆる残余係数に適用される。量子化された係数を有するマクロブロックのスライスは、その場合に、本発明に従って符号化されたビデオビットストリームを生成するために、エントロピー符号化を受ける。

このビデオビットストリームは、その場合に、本発明の符号化装置によって達成される操作と逆である操作を達成する本発明の復号化装置によって、本発明の他の実施例に関して上述された復号化方法と類似した方法で復号化される。

本発明の符号化方法及び復号化方法を実行するための、他の実施例そして他の符号化及び復号化の変形例が想定され得る点に注意が必要である。更に、種々の符号化構文（coding syntax）が可能である。例えば、同様の固有値を有するクラスタのデータは、クラスタと関連付けられているデータ構造において共同利用されると共に、これらのクラスタの各々と関連付けられているデータ構造を個別に復号化するために使用される。

ＣＯ１ 符号化装置
ＭＲＧ１ クラスタ分類化モジュール
ＭＥＶ１ 動き推定モジュール
ＭＣＰ１ 予測計算モジュール
ＭＤＣ１ 判定モジュール
ＭＴＱ１ 変換及び量子化モジュール
ＭＦＢ１ ブロック効果フィルタモジュール
ＭＣＥ１ エントロピー符号化モジュール
ＭＱＴＩ１ 逆量子化及び逆変換モジュール
ＩＲ１ 基準画像
ＩＥ 画像
Ｆ１ ビットストリーム
ＤＥＣ 復号化装置
ＭＤＥ エントロピー復号化モジュール
ＭＱＴＩ 逆量子化及び逆変換モジュール
ＭＲＩ 画像再構成モジュール
ＭＣＰ 予測計算モジュール
ＭＦＢ ブロック効果フィルタモジュール
ＩＤ 画像
ＣＯ２ 符号化装置
ＭＥＶ２ 動き推定モジュール
ＭＣＰ２ 予測計算モジュール
ＭＤＣ２ 判定モジュール
ＭＴＱ２ 変換及び量子化モジュール
ＭＣＥ２ エントロピー符号化モジュール
ＭＦＢ２ ブロック効果フィルタモジュール
ＭＴＱＩ２ 逆変換及び逆量子化モジュール
ＩＲ２ 基準画像
Ｆ２ ビデオビットストリーム
Ｇ１、Ｇ２、Ｇ３ クラスタ
ＩＰ 画像
ＭＡ、ＭＢ マクロブロック
Ｖ 動き固有ベクトル
Ｐ１１、Ｐ１２、Ｐ１３ ポインタ

Claims (8)

1. 画像（ＩＥ）の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含むデータストリーム（Ｆ１）を生成する画像または画像のシーケンスを符号化する符号化方法であって、
   前記方法が、
   ・符号化されるべき少なくとも１つのブロックパラメータに対応するそれらのそれぞれの値の近接性に従って、ブロックをブロックのクラスタ（Ｇ１）に分類する段階（Ｃ１）と、
   ・前記ブロックのクラスタ（Ｇ１）に固有である前記パラメータの値を決定する段階（Ｃ２）とを含むと共に、
   前記方法が、
   ・前記クラスタ（Ｇ１）のブロックを符号化すると共に、前記ブロックのクラスタ（Ｇ１）と関連付けられているデータ構造を符号化する段階（Ｃ３）を含み、
   前記パラメータに対する前記ブロックの値が、前記固有値の継承によって黙示的に符号化されるか、もしくは、前記固有値に対する改善値として符号化されると共に、
   前記データ構造が、前記固有値と関連付けられているデータを含み、
   前記ブロック分類段階（Ｃ１）において、この方法で分類されたブロックの内の１つの少なくとも１つのサブブロックが、前記ブロックのクラスタ（Ｇ１）に割り当てられないと共に、
   前記クラスタ（Ｇ１）に割り当てられた前記ブロックのサブブロックを決定する前記ブロックに関する分割情報が、前記クラスタ（Ｇ１）のブロックを符号化する前記段階（Ｃ３）の間に、前記データ構造または前記ブロックに符号化される
   ことを特徴とする符号化方法。
2. 前記固有値が、符号化されるべき前記パラメータに対する前記クラスタ（Ｇ１）のブロックの値に対応する
   ことを特徴とする請求項１に記載の符号化方法。
3. 前記ブロックのクラスタ（Ｇ１）が、前記クラスタ（Ｇ１）のブロックを復号化するための、前記画像のブロックの他のブロックまたはクラスタに対する優先順位データと関連付けられている
   ことを特徴とする請求項１または請求項２のいずれか一項に記載の符号化方法。
4. 前記ブロックのクラスタ（Ｇ１）が、前記画像シーケンスの複数の連続する画像に存在するならば、前記クラスタ（Ｇ１）が、該クラスタが関係する画像の数を表す該クラスタの生存時間データと関連付けられていると共に、
   前記クラスタ（Ｇ１）と関連付けられている前記データ構造が、前記連続する画像に関して１度だけ符号化される
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の符号化方法。
5. 画像または画像のシーケンスを表すデータストリーム（Ｆ１）を復号化する復号化方法であって、
   前記ストリーム（Ｆ１）が、前記画像（ＩＥ）の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含み、
   前記方法が、
   ・前記ブロックが少なくとも１つのブロック符号化パラメータに対応するそれらのそれぞれの値の近接性に従って分類されたブロックのクラスタ（Ｇ１）と呼ばれる前記ブロックのセット、及び前記ブロック符号化パラメータに対応する少なくとも１つの固有の関連した値と関連付けられているデータ構造を復号化する段階（Ｄ１）と、
   ・前記符号化パラメータに、もし前記ブロックに関して前記パラメータが符号化されていないならば前記固有値を割り当てるか、または、もし前記ブロックに関して前記パラメータが符号化されているならば前記符号化パラメータに対応する値から計算された前記固有値の改善値を割り当てて、前記クラスタ（Ｇ１）のブロックを復号化する段階（Ｄ２）とを含み、
   ブロックを復号化する前記段階（Ｄ２）に先だって、前記ブロックのクラスタ（Ｇ１）に割り当てられた前記ブロックのサブブロックを決定する前記ブロックに関する分割情報を復号化する段階が実行されると共に、
   前記ブロックを復号化する前記段階（Ｄ２）の間に、前記クラスタ（Ｇ１）に割り当てられていない前記ブロックのサブブロックが、前記固有値を使用せずに復号化される
   ことを特徴とする復号化方法。
6. 画像（ＩＥ）の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含むデータストリーム（Ｆ１）を生成する画像または画像のシーケンスを符号化するための装置（ＣＯ１）であって、
   前記装置が、
   ・符号化されるべき少なくとも１つのブロックパラメータに対応するそれらのそれぞれの値の近接性に従って、ブロックをブロックのクラスタ（Ｇ１）に分類するための手段（ＭＲＧ１）と、
   ・符号化されるべき前記パラメータに対する前記ブロックのクラスタ（Ｇ１）の固有値を決定するための手段（ＭＲＧ１）とを備えると共に、
   前記装置が、
   ・前記ブロックのクラスタ（Ｇ１）と関連付けられているデータ構造を符号化するための手段（ＭＤＣ１）と、
   ・前記固有値の継承によって前記パラメータに対する前記ブロックの値を黙示的に符号化するための手段、及び／または、前記固有値の改善値として前記値を符号化するための手段を有する前記クラスタ（Ｇ１）のブロックを符号化するための手段（ＭＤＣ１）とを備え、
   前記データ構造が、前記固有値と関連付けられているデータを含み、
   もしブロックをブロックのクラスタ（Ｇ１）に分類するための前記手段（ＭＲＧ１）によって分類された前記ブロックの内の１つの少なくとも１つのサブブロックが、前記ブロックのクラスタ（Ｇ１）に割り当てられないならば、前記クラスタ（Ｇ１）のブロックを符号化するための前記手段（ＭＤＣ１）が、前記クラスタ（Ｇ１）に割り当てられた前記ブロックのサブブロックを決定する前記ブロックに関する分割情報を、前記データ構造または前記ブロックに符号化する
   ことを特徴とする装置。
7. 画像または画像のシーケンスを表すデータストリーム（Ｆ１）を復号化するための装置（ＤＥＣ）であって、
   前記ストリーム（Ｆ１）が、前記画像（ＩＥ）の内の１つにおけるブロックと呼ばれるピクセルのグループを表すデータを含み、
   前記装置が、
   ・前記ブロックが少なくとも１つのブロック符号化パラメータに対応するそれらのそれぞれの値の近接性に従って分類された前記ブロックのクラスタ（Ｇ１）と呼ばれる前記ブロックのセット、及び前記ブロック復号化パラメータに対応する前記ブロックのクラスタ（Ｇ１）の少なくとも１つの固有値と関連付けられているデータ構造を復号化するための手段（ＭＲＩ）と、
   ・前記符号化パラメータに、もし前記ブロックに関して前記パラメータが符号化されていないならば前記固有値を割り当てるか、または、もし前記ブロックに関して前記パラメータが符号化されているならば前記符号化パラメータに対応する値から計算された前記固有値の改善値を割り当てて、前記クラスタ（Ｇ１）のブロックを復号化するための手段（ＭＲＩ）とを備え、
   もし分類された前記ブロックの内の１つの少なくとも１つのサブブロックが、前記ブロックのクラスタ（Ｇ１）に割り当てられないならば、前記クラスタ（Ｇ１）に割り当てられた前記ブロックのサブブロックを決定する前記ブロックに関する、前記データ構造内の分割情報が、データ構造を復号化するための前記手段（ＭＲＩ）によって復号化されるか、または前記クラスタ（Ｇ１）に割り当てられた前記ブロックのサブブロックを決定する前記ブロックに関する、前記ブロック内の分割情報が、前記クラスタ（Ｇ１）のブロックを復号化するための前記手段（ＭＲＩ）によって復号化される
   ことを特徴とする装置。
8. コンピュータプログラムであって、
   それがコンピュータ上で実行される場合に請求項１から請求項５のいずれか一項に記載の方法を実行するための命令を含む
   ことを特徴とするコンピュータプログラム。

Images