JP5211048B2 - 低解像度画像のモーションデータから高解像度画像用のモーションデータを取得する方法並びにその方法を実施する符号化及び復号装置 - Google Patents

Description

本発明は、基本階層マクロブロックと称する低解像度画像の少なくとも１つのマクロブロックに関連するモーションデータから、上位階層マクロブロックと称する高解像度画像の少なくとも１つのマクロブロック用のモーションデータを取得する方法に関する。本発明はまた、その方法を実装する符号化及び復号装置に関する。

最先端のスケーラブル階層符号化方法によって、情報を階層的に符号化して異なる解像度及び／または品質レベルで復号することが可能である。スケーラブル符号化装置によって生成されるデータストリームは、基本階層及び１つまたは複数の拡張階層であるいくつかの階層に分割される。これらの装置は、１つのデータストリームを、伝送条件（帯域幅、誤り率・・・）変更や、受信装置の能力（ＣＰＵ、再生装置の特性・・・）に適応させることができる。空間スケーラブル階層符号化（または復号）方法によると、基本階層画像（ＢＬ画像）とも称する低解像度画像に関する、基本階層と称するデータの第１の部分が符号化（または復号）される。さらに、この基本階層から、上位階層画像（ＨＬ画像）または拡張階層画像とも称する高解像度画像に関する、拡張階層と称する少なくとも別のデータ部分も符号化（または復号）される。拡張階層に関するモーションデータは、階層間予測方法または階層間継承方法（inter-layer inheriting method）と称する方法によって、基本階層に関するモーションデータから場合により継承（即ち、取得）される。従って、高解像度画像の各マクロブロックは、従来の空間予測モードもしくは現在の予測モード（例えば、イントラ予測、双方向予測モード、直接予測モード、前方向予測／後方向予測など）に従って、または階層間予測モードに従って予測する。

「スケーラブル映像符号化‐ジョイントドラフト５(Scalable Video Coding - Joint Draft 5)」ＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧ、ＪＶＴ−Ｒ２０２ 「１４４９６−２テキスト第３版(Text of 14496-2 Third Edition)」ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、Ｎ５５４６ 「ジョイントスケーラブル映像モデルＪＳＶＭ−６：変更案を含むジョイントドラフト６（Joint Scalable Video Model JSVM-6: Joint Draft 6 with proposed changes）」ＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧ、ＪＶＴ−Ｓ２０２、ＪＶＴ ＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧ、ＪＶＴ−Ｓ２０２、ＪＶＴ

前者の場合は、高解像度マクロブロックに関連するモーションデータは、低解像度画像または高解像度画像の形式が何であれ、言い換えればプログレッシブであれインタレースであれ、低解像度画像のマクロブロックに関連するモーションデータ（動き情報とも称する）から取得するかまたは継承する必要がある。この文脈において、語句「モーションデータ」は、動きベクトルだけでなく、より一般的な符号化情報を含む。より一般的な符号化情報は、高解像度画像のピクセルのマクロブロック／ブロックに関連してそのマクロブロック／ブロックをいくつかのサブブロックに分ける分割パターン、そのブロックに関連する符号化モード、及びそのブロックを予測するために用いられる画像を参照するのを可能にするいくつかのブロックに関連する画像の参照指標などである。

本発明は、これらの欠点のうちの少なくとも１つを多少とも解決することを目的とする。特に、本発明は、基本階層マクロブロックと称する低解像度画像のマクロブロックに関連するモーションデータから、上位階層マクロブロックと称する高解像度画像の少なくとも１つのマクロブロック用のモーションデータを取得する方法に関し、フレームモードとフィールドモードとのうちの１つのマクロブロック符号化モードが各マクロブロックに関連しており、画像符号化モードが高解像度画像及び低解像度画像に関連している。本方法は、以下のステップを備える。即ち、
‐上位階層マクロブロックを重なっていない複数の基本ブロックに分割するステップと、
‐各基本ブロックについて、上位階層マクロブロックの符号化モードに応じてかつ高解像度画像の画像符号化モード及び低解像度画像の画像符号化モードに応じて高解像度画像内の基本ブロックの位置から、仮想基本階層位置（ｖｂｌ＿ｐｏｓ）と称する低解像度画像内の中間位置を算出するステップと、
‐各基本ブロックについて、仮想基本階層位置にあるピクセルを含んでいる、ｂａｓｅ＿ＭＢと称する基本階層マクロブロックを識別するステップと、
‐各基本ブロックについて、ｂａｓｅ＿ＭＢの符号化モード及び上位階層マクロブロックの符号化モードに応じてかつ高解像度画像の画像符号化モード及び低解像度画像の画像符号化モードに応じて仮想基本階層位置から、真の基本階層位置と称する低解像度画像内の最終位置を算出するステップと、
‐各基本ブロックについて、真の基本階層位置にあるピクセルを含んでいる、ｒｅａｌ＿ｂａｓｅ＿ＭＢと称する基本階層マクロブロックを識別するステップと、
‐各基本ブロックについての識別された基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢのモーションデータから、上位階層マクロブロック用のモーションデータを取得するステップと
を備える。

好適な実施形態によれば、基本階層マクロブロックは分割され、モーションデータは分割部分の各々に関連する。この方法は、各基本ブロックについて、真の基本階層位置にあるピクセルを含んでいる、ｒｅａｌ＿ｂａｓｅ＿ＭＢと称する基本階層マクロブロックを識別するステップの後に、各基本ブロックについて、真の基本階層位置にあるピクセルを含んでいるｒｅａｌ＿ｂａｓｅ＿ＭＢの分割部分（ｍｂＰａｒｔｌｄｘＢａｓｅ）を識別するステップをさらに備える。

上位階層マクロブロック用のモーションデータを取得するステップは、以下のステップを備えることが望ましい。即ち、
‐識別された基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢに応じてかつ各基本ブロックについての基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢの識別された分割に応じて上位階層マクロブロックを分割するステップと、
‐各基本ブロックについての識別された基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢのモーションデータから上位階層マクロブロックの各分割部分についての動きベクトルを取得するステップと
である。

好適な実施形態によれば、上位階層マクロブロックは、１６×１６ピクセルのブロックであり、各基本ブロックは４×４ピクセルのブロックである。

本方法は、映像信号を符号化するプロセスの一部であり、かつ映像信号を復号するプロセスの一部である点で有利である。

本発明はまた、一連の高解像度画像及び一連の低解像度画像を符号化する装置に関する。各画像は、重ならないマクロブロックに分割され、フレームモードとフィールドモードとのうちの１つのマクロブロック符号化モードは各マクロブロックに関連しており、画像符号化モードは高解像度画像及び低解像度画像に関連している。符号化装置は、以下を含む。即ち、
‐低解像度画像を符号化する第１の符号化手段を含み、この第１の符号化手段は低解像度画像のマクロブロックについてのモーションデータ及び基本階層データストリームを生成し、
符号化装置はさらに、
‐低解像度マクロブロックと称する低解像度画像のマクロブロックのモーションデータから、高解像度マクロブロックと称する高解像度画像の少なくとも１つのマクロブロック用のモーションデータを取得する継承（inheritance）手段と、
‐得られたモーションデータを用いて、高解像度画像を符号化する第２の符号化手段と、を備え含み、その第２の符号化手段は拡張階層データストリームを生成する。

本発明はまた、少なくとも一連の高解像度画像を復号する装置に関する。符号化された画像はデータストリームの形式で生成されており、各画像は、重なっていない複数のマクロブロックに分割されており、フレームモードとフィールドモードとうちの１つのマクロブロック符号化モードは各マクロブロックに関連しており、画像符号化モードは高解像度画像及び低解像度画像に関連している。復号装置は、以下を備える。即ち、
‐データストリームの少なくとも第１の部分を復号して、低解像度画像及びその低解像度画像のマクロブロックについてのモーションデータを生成する第１の復号化手段と、
‐低解像度画像のマクロブロックのモーションデータから、高解像度画像の少なくとも１つのマクロブロックについてのモーションデータを取得する継承手段と、
‐得られたモーションデータを用いてデータストリームの少なくとも第２の部分を復号して高解像度画像を生成する復号手段と
を備える。

本発明の重要な特徴によれば、符号化装置及び復号装置の継承手段は、以下を備える。即ち、
‐上位階層マクロブロックを重ならない基本ブロックに分割する手段と、
‐各基本ブロックについて、上位階層マクロブロックの符号化モードに応じてかつ高解像度画像の画像符号化モード及び低解像度画像の画像符号化モードに応じて高解像度画像内の基本ブロックの位置から、仮想基本階層位置（ｖｂｌ＿ｐｏｓ）と称する低解像度画像内の中間位置を算出する手段と、
‐各基本ブロックについて、その仮想基本階層位置にあるピクセルを含んでいる、ｂａｓｅ＿ＭＢと称する基本階層マクロブロックを識別する手段と、
‐各基本ブロックについて、ｂａｓｅ＿ＭＢの符号化モード及び上位階層マクロブロックの符号化モードに応じてかつ高解像度画像の画像符号化モード及び低解像度画像の画像符号化モードに応じて仮想基本階層位置から、真の基本階層位置と称する低解像度画像内の最終位置を算出する手段と、
‐各基本ブロックについて、真の基本階層位置にあるピクセルを含んでいる、ｒｅａｌ＿ｂａｓｅ＿ＭＢと称する基本階層マクロブロックを識別する手段と、
‐各基本ブロックについての識別された基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢのモーションデータから、上位階層マクロブロック用のモーションデータを取得する手段と
を備える。

第１の符号化手段は、ＭＰＥＧ−４ ＡＶＣ映像符号化器であることが望ましい。

符号化装置は、基本階層データストリーム及び拡張階層データストリームを単一のデータストリームに結合する手段を更に備える点で有利である。

第１の復号化手段は、ＭＰＥＧ−４ ＡＶＣ映像復号器であることが望ましい。

本発明の他の特徴及び利点は、本発明の実施形態のいくつかについての以下の詳細な説明によって明らかになるだろう。この詳細な説明は図を参照して行う。

垂直に位置して、フレームモード（図の左側）またはフィールドモード（図の右側）のいずれかで符号化される一対のマクロブロックを示す図である。 本発明による方法のフローチャートを示す図である。 所定の上位階層マクロブロック用のモーションデータ導出の例を示す図である。 本発明による映像信号を符号化する符号化装置を示す図である。 本発明による映像信号を復号する復号装置を示す図である。

「スケーラブル映像符号化‐ジョイントドラフト５(Scalable Video Coding - Joint Draft 5)」と題され、かつ続編においてＪＳＶＭ５として参照されている非特許文献１においてＪＶＴ（ＭＰＥＧ＆ＩＴＵ）により目下定義されているＳＶＣ標準規格では、空間スケーラビリティについては、プログレッシブの構成要素しか考慮されていない。２つ（またはそれ以上）の連続した空間階層（基本階層及び１つまたは複数の拡張階層）の間の動き階層間予測は、プログレッシブの映像シーケンスの場合についてのみ扱われている。本発明は、これらの階層間予測方法を拡大して、インタレーススケーラビリティ／プログレッシブスケーラビリティのいかなる組合せにも対応することを提案するものである。多くの映像符号化標準規格によれば、異なる時刻に捕捉されるボトムフィールドとともに、トップフィールドインタレースを含んでいるインタレース画像は、２つのフィールド画像（フィールド画像モード）として、即ち画像の２つのフィールドが別個に符号化されるか、またはフレーム画像（フレーム画像モード）として、即ち画像が単一のフレームとして符号化されるか、のいずれかとして符号化することができる。「１４４９６−２資料第３版(Text of 14496-2 Third Edition)」という非特許文献２に記載されているＭＰＥＧ−４ ＡＶＣは、その決定が、画像全体について独立して行うか、または２つの垂直マクロブロック対毎に独立して行うかのいずれかを認めている。決定が画像レベルで行われるとＰＡＦＦ符号化（ピクチャ適応型フレーム／フィールドのＰＡＦＦ標準規格）と称し、決定がマクロブロック対レベルで行われるとＭＢＡＦＦ（マクロブロック適応型フレーム／フィールド標準規格）と称する。より正確に言えば、ＭＰＥＧ−４ ＡＶＣによれば、インタレース画像がフレーム画像として符号化され、かつＭＢＡＦＦが認められる場合、各垂直マクロブロック（ＭＢ）対は、インタレースとして符号化、即ちその対のＭＢはフィールドモードで符号化される（図１の右側部分）か、またはプログレッシブとして符号化、即ちその対のＭＢはフレームモードで符号化される（図１の左側部分）。図１では、画像の奇数ライン、即ち白線とともに、灰色の線が、画像インタレースの偶数ラインを示している。プログレッシブ画像は、常にフレーム画像として符号化される。画像の符号化モードは、その画像がフレーム符号化されているかどうかまたはフィールド符号化されているかどうかを特定し、そしてさらにＭＢＡＦＦが認められる場合にその画像がフレーム符号化されているかどうかを特定する。

本発明の方法によると、高解像度シーケンス及び低解像度シーケンスのフォーマットが何（インタレースまたはプログレッシブ）であれ、低解像度画像のマクロブロック（基本階層マクロブロックとも称し、ＢＬ ＭＢと示す）に関連するモーションデータから、高解像度画像の少なくとも１つのマクロブロック（上位階層マクロブロックとも称し、ＨＬ ＭＢと示す）用のモーションデータを直接取得することが可能となる。

ＢＬ ＭＢ（又は複数のＢＬ ＭＢ）から少なくとも１つのＨＬ ＭＢ用のモーションデータを取得する方法は、現在のＨＬ ＭＢについて図２を参照して以下で説明する。図２において、示したボックスは、単なる機能エンティティであって、機能エンティティは物理的に分けられているエンティティと必ずしも一致しないこともある。即ち、機能エンティティは、ソフトウェアの形で開発してもよいし、または１つまたはいくつかの集積回路により実現してもよい。図３は、現在のＨＬ ＭＢについてのこのような算出（derivation）の例を示す。この方法によれば、ＨＬ ＭＢ用のモーションデータは、ＢＬ ＭＢのモーションデータから直接得られる点で有利である。即ち、モーションデータは、仮想基本階層マクロブロック（ＶＢＬ ＭＢとも称する）などの中間マクロブロックについては明確には取得できない。このことにより、プロセス全体がかなり単純なものとなる。実際、現在のＨＬ ＭＢ自体のモーションデータを取得する前に、現在のＨＬ ＭＢに関連する中間ＭＢについてのモーションデータを取得することはもはや必要ない。この方法によって、異なる隣接するＨＬ ＭＢに関連している同じＶＢＬ ＭＢについてのモーションデータを何度も取得するのを避けることができる点で有利である。

この方法によれば、現在のＨＬ ＭＢは、図３に示すように、上位階層基本ブロックｅｌｅｍ＿ｂｌｋ（例えば、４×４ブロック）に最初に分割される（ステップ２１００）。

次に、この方法は、（ピクセルユニット内の）位置（ｂｌｋ＿ｘ，ｂｌｋ＿ｙ）の各ブロックｅｌｅｍ＿ｂｌｋについて、以下のように仮想基本階層位置ｖｂｌ＿ｐｏｓ＝（ｖｂｌ＿ｘ，ｖｂｌ＿ｙ）を算出するステップから成る（ステップ２２００）。
ｖｂｌ＿ｘ＝ｂｌｋ＿ｘ^*Ｗ_base／Ｗ_enh、かつ
ｖｂｌ＿ｙ＝オフセット＋因数^*（ｙ１^*ｈｂ／ｈｅ）
ここで、オフセット、因数、及びｈｂは以下のように定義されたパラメータである。即ち、
‐２つの以下の条件のうちの１つが真である場合、即ち
・現在のＨＬ ＭＢはフィールドマクロブロックであり、基本階層画像はマクロブロック適応フレームフィールド（ＭＢＡＦＦ）モードで符号化される。または、
・現在のＨＬ ＭＢはフィールドマクロブロックであり、基本階層画像はプログレッシブでありかつｈ_enh＜２^*ｈ_baseである。
のうちの１つが真である場合、上位階層マクロブロックがトップ（ＴＯＰ）マクロブロックであれば、因数＝２、ｈｂ＝ｈ_base／２、かつオフセット＝０であり、または上位階層マクロブロックがボトム（ＢＯＴＴＯＭ）マクロブロックであれば、オフセット＝１６である。
‐そうでなければ、因数＝１、ｈｂ＝ｈ_base、かつオフセット＝０である。
さらに、ここでｙ１及びｈｅは、以下のように定義されたパラメータである。即ち、
‐現在のＨＬ ＭＢがフィールドマクロブロックである場合、かつ上位階層画像がマクロブロック適応フレームフィールド（ＭＢＡＦＦ）モードで符号化される場合、ｙ１＝ｂｌｋ＿ｙ／２、かつｈｅ＝ｈ_enh／２である。
‐そうでなければ、ｙ１＝ｂｌｋ＿ｙかつｈｅ＝ｈ_enhである。

ステップ２３００は、各ｅｌｍ＿ｂｌｋについて、基本階層画像における位置ｖｂｌ＿ｐｏｓのピクセル、即ち図３に示すような座標（ｖｂｌ＿ｘ，ｖｂｌ＿ｙ）のピクセルを含んでいる基本階層マクロブロックｂａｓｅ＿ＭＢを識別するステップから成る。

次に、ステップ２４００では、低解像度画像内の基本階層位置ｒｅａｌ＿ｂｌ＿ｐｏｓ＝（ｂｌ＿ｘ，ｂｌ＿ｙ）が、各ｅｌｅｍ＿ｂｌｋについて、ｂａｓｅ＿ＭＢのフレーム符号化モード／フィールド符号化モードに基づいて仮想基本階層位置ｖｂｌ＿ｐｏｓから算出される。ｂｌ＿ｘは、ｖｂｌ＿ｘに等しく設定され、ｂｌ＿ｙは以下のように得られる。
＞以下の条件が真である場合、即ち、
・基本階層画像は、マクロブロック適応フレームフィールド（ＭＢＡＦＦ）モードで符号化される。
・基本階層マクロブロックｂａｓｅ＿ＭＢは、フィールドマクロブロックである。
・上位階層画像がプログレッシブである（即ち、フレームモードで符号化される）か、または上位階層マクロブロックがフレームマクロブロックである。
が真である場合に、仮想基本階層位置ｖｂｌ＿ｐｏｓのフレーム変換のフィールドが、用いられる。ｗ列の画像における位置（ａｘ，ａｙ）の所定のマクロブロックのアドレスは、（ａｙ^*ｗ＋ａｘ）と定義される。ｍｂＡｄｄｒＢａｓｅＴＯＰ及びｍｂＡｄｄｒＢａｓｅＢＯＴを次のように定義することとする。

ｂａｓｅ＿ＭＢがトップ（ＴＯＰ）マクロブロックである場合、ｍｂＡｄｄｒＢａｓｅＴＯＰはｂａｓｅ＿ＭＢのアドレスであり、ｍｂＡｄｄｒＢａｓｅＢＯＴはｂａｓｅ＿ＭＢよりも下位にある基本階層マクロブロックのアドレスである。

そうでなければ、ｍｂＡｄｄｒＢａｓｅＢＯＴはｂａｓｅ＿ＭＢのアドレスであり、ｍｂＡｄｄｒＢａｓｅＴＯＰはｂａｓｅ＿ＭＢの上位にある基本階層マクロブロックのアドレスである。

従って、位置ｍｂＡｄｄｒＢａｓｅＴＯＰ及びｍｂＡｄｄｒＢａｓｅＢＯＴのマクロブロックがいずれもイントラ符号化される場合、ｂｌ＿ｙ＝ｖｂｌ＿ｙであり、
そうでなければ、y２を（ｖｂｌ＿ｙ％１６）／４に等しく設定された変数とし、ｍｂＡｄｄｒＢａｓｅを以下のように定義することとする。
・y₂が２未満の場合、ｍｂＡｄｄｒＢａｓｅ＝ｍｂＡｄｄｒＢａｓｅＴＯＰ
・それ以外は、ｍｂＡｄｄｒＢａｓｅ＝ｍｂＡｄｄｒＢａｓｅＢＯＴ
ｂａｓｅ＿ＭＢが、トップ（ＴＯＰ）マクロブロックである場合、ｂｌ＿ｙ＝（ｍｂＡｄｄｒＢａｓｅ／ｗ_base）＋４^*（ｂｌｋ＿ｙ／２）であり、そうでなければ、ｂｌ＿ｙ＝（ｍｂＡｄｄｒＢａｓｅ／ｗ_base）＋４^*（ｂｌｋ＿ｙ／２＋２）である。
＞そうでなければ、以下の条件のうちの１つが真である場合、即ち、
・基本階層画像はプログレッシブであり（即ち、フレームモードで符号化される）、現在のＨＬ ＭＢはフィールドマクロブロックでありかつｈ_enh＜２^*ｈ_baseである。
・基本階層画像はマクロブロック適応フレームフィールド（ＭＢＡＦＦ）モードで符号化され、基本階層マクロブロックｂａｓｅ＿ＭＢはフレームマクロブロックでありかつ上位階層マクロブロックはフィールドマクロブロックである。

のうちの１つが真である場合、仮想基本階層位置ｖｂｌ＿ｐｏｓのフィールド変換のフレームが用いられる。ｍｂＡｄｄｒＢａｓｅＴＯＰ及びｍｂＡｄｄｒＢａｓｅＢＯＴを次のように定義することとする。即ち、
ｂａｓｅ＿ＭＢがトップ（ＴＯＰ）マクロブロックである場合、ｍｂＡｄｄｒＢａｓｅＴＯＰはｂａｓｅ＿ＭＢのアドレスであり、ｍｂＡｄｄｒＢａｓｅＢＯＴはｂａｓｅ＿ＭＢの下位にある基本階層マクロブロックのアドレスである。

そうでなければ、ｍｂＡｄｄｒＢａｓｅＢＯＴはｂａｓｅ＿ＭＢのアドレスであり、ｍｂＡｄｄｒＢａｓｅＴＯＰはｂａｓｅ＿ＭＢに対して上位にある基本階層マクロブロックのアドレスである。

従って、位置ｍｂＡｄｄｒＢａｓｅＴＯＰ及びｍｂＡｄｄｒＢａｓｅＢＯＴのマクロブロックがいずれもイントラ符号化される場合、ｂｌ＿ｙ＝ｖｂｌ＿ｙであり、
そうでなければ、位置ｍｂＡｄｄｒＢａｓｅＴＯＰのマクロブロックがイントラ符号化される場合、ｍｂＡｄｄｒＢａｓｅＴＯＰはｍｂＡｄｄｒＢａｓｅＢＯＴに設定され、そうでなければ、位置ｍｂＡｄｄｒＢａｓｅＢＯＴのマクロブロックがイントラ符号化される場合、ｍｂＡｄｄｒＢａｓｅＢＯＴはｍｂＡｄｄｒＢａｓｅＴＯＰに設定される。y₂を（ｖｂｌ＿ｙ％１６）／４に等しく設定された変数とし、ｍｂＡｄｄｒＢａｓｅを次のように定義することとする。
・y２が２未満であれば、ｍｂＡｄｄｒＢａｓｅ＝ｍｂＡｄｄｒＢａｓｅＴＯＰ
・それ以外は、ｍｂＡｄｄｒＢａｓｅ＝ｍｂＡｄｄｒＢａｓｅＢＯＴ
ｂａｓｅ＿ＭＢがトップ（ＴＯＰ）マクロブロックである場合、ｂｌ＿ｙ＝（ｍｂＡｄｄｒＢａｓｅ／ｗ_base）＋４^*（２^*（ｂｌｋ＿ｙ％２））であり、そうでなければ、ｂｌ＿ｙ＝（ｍｂＡｄｄｒＢａｓｅ／ｗ_base）＋４^*（２^*（ｂｌｋ＿ｙ％２）＋１）である。
＞そうでなければ、ｂｌ＿ｙ＝ｖｂｌ＿ｙである。

ステップ２５００は、各ｅｌｅｍ＿ｂｌｋについて、位置ｒｅａｌ＿ｂｌ＿ｐｏｓ＝（ｂｌ＿ｘ，ｂｌ＿ｙ）の基本階層画像内のピクセルを含んでいる基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢ、基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢ内の位置ｒｅａｌ＿ｂｌ＿ｐｏｓのピクセルを含んでいる基本階層分割の指標ｍｂＰａｒｔｌｄｘＢａｓｅ、及び、指標ｍｂＰａｒｔｌｄｘＢａｓｅの基本階層分割内の位置ｒｅａｌ＿ｂｌ＿ｐｏｓのピクセルを含んでいる基本階層サブ分割がもしあればその指標ｓｕｂＭｂＰａｒｔｌｄｘＢａｓｅを識別するステップから成る。そのｒｅａｌ＿ｂａｓｅ＿ＭＢ、そのｍｂＰａｒｔｌｄｘＢａｓｅ指標、及びもしあればｓｕｂＭｂＰａｒｔｌｄｘＢａｓｅ指標は、そのｅｌｅｍ＿ｂｌｋに関連する。

次のステップ２６００は、現在のＨＬ ＭＢに関連するモーションデータを取得するステップから成る。モーションデータ導出ステップは、２つのサブステップを含むことが望ましい。実際に、マクロブロックタイプｍｂ＿ｔｙｐｅ及びサブマクロブロックタイプは、動きベクトル及び参照指標を取得する前に最初に得られる。もっと正確に言えば、サブステップ２６１０は、以下のやり方で開始される、非特許文献３のセクションＦ．６．４「階層間予測におけるマクロブロックタイプ及びサブマクロブロックタイプについての導出プロセス（Deviation process for macroblock type and sub-macroblock type in inter-layer prediction）」に定義されたプロセスを用いて、現在のＨＬ ＭＢのマクロブロックタイプｍｂ＿ｔｙｐｅ、即ち分割パターン、及び取得する可能性のあるサブマクロブロックタイプｓｕｂ＿ｍｂ＿ｔｙｐｅ（ｓｕｂ＿ｍｂ＿ｔｙｐｅは、所定の分割を行う方法を特定する。例えば、８×８分割はそのｓｕｂ＿ｍｂ＿ｔｙｐｅが８×４であって、２つの８×４サブ分割部分に分割される）を取得するステップから成る。即ち、
‐要素ｐａｒｔｌｎｆｏ［ｘ，ｙ］は以下のように得られる。
‐ｍｂＡｄｄｒＢａｓｅが使用不可とマークされている場合、ｐａｒｔｌｎｆｏ［ｘ，ｙ］は利用不可とマークされる。
‐そうでなければ、以下が適用される。
‐マクロブロックｍｂＡｄｄｒＢａｓｅがイントラ符号化される場合、
ｐａｒｔｌｎｆｏ［ｘ，ｙ］＝−１ （Ｆ-４３）
‐そうでなければ、
ｐａｒｔｌｎｆｏ［ｘ，ｙ］＝１６^*ｍｂＡｄｄｒＢａｓｅ＋４^*ｍｂＰａｒｔｌｄｘＢａｓｅ＋ｓｕｂＭｂＰａｒｔｌｄｘＢａｓｅ （Ｆ−４４）
最後に、非特許文献４のセクションＦ．８．６「モーションデータについてのリサンプリングプロセス（Resampling process for motion data）」において説明されているように、ＨＬ ＭＢのフレームモードまたはフィールドモードに基づいてかつ基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢのフレームモードまたはフィールドモードに基づいて、その現在のＨＬ ＭＢの各ｅｌｅｍ＿ｂｌｋに関連するｒｅａｌ＿ｂａｓｅ＿ＭＢの基本階層分割またはもしあればサブ分割の動きベクトル及び参照指標から、現在のＨＬ ＭＢの各分割及びあり取得するサブ分割について、サブステップ２６２０において動きベクトル及び参照指標が得られる。

本発明による方法を、映像信号を符号化し、および復号するプロセスで用いることができる。映像信号を符号化するプロセスで用いると、符号化プロセスにおいては、階層間予測モードまたは従来の予測モードのいずれかを用いて、現在のＨＬ ＭＢを符号化することが選択される。

本発明はまた、図４に示す符号化装置８にとっても重要である。符号化装置８は、低解像度画像を符号化する第１の符号化モジュール８０を備える。モジュール８０は、基本階層データストリーム及びその低解像度画像についてのモーションデータを生成する。ここで、モジュール８０は、ＭＰＥＧ４ ＡＶＣ標準規格と互換性がある基本階層データストリームを生成することが望ましい。符号化装置８は、第１の符号化モジュール８０によって生成される低解像度画像のモーションデータから、高解像度画像用のモーションデータを取得するために用いられる継承手段８２を備える。継承手段８２は、本発明による方法のステップ２１００からステップ２６００を実行する。符号化装置８は、高解像度画像を符号化する第２の符号化モジュール８１を備える。第２の符号化モジュール８１は、継承手段８２によって得られるモーションデータを用いて高解像度画像を符号化する。この結果、第２の符号化モジュール８１は、拡張階層データストリームを生成する。符号化装置８はまた、モジュール８３（例えばマルチプレクサ）を備えるが、モジュール８３は、第１の符号化モジュール８０及び第２の符号化モジュール８１によってそれぞれ提供される、基本階層データストリーム及び拡張階層データストリームを組み合わせて、単一のデータストリームを生成することが望ましい。以上のとおり、ＨＬ ＭＢが階層間予測モードを用いて第２の符号化モジュール８１によって符号化される場合、そのＨＬ ＭＢに関連したモーションデータは、モジュール８０によって提供されるＢＬ ＭＢに関連するモーションデータから得られるので、データストリームにおいては符号化されない（あるいは、クォーターペル精度も場合により符号化することがあるので、この場合部分的にのみ符号化する）。このことにより、いくらかのビットを削減することを可能になる。一方で、ＨＬ ＭＢが従来のモード（例えば、双方向モード）を用いて符号化される場合、そのＨＬ ＭＢに関連するモーションデータはデータストリームにおいて符号化される。

本発明はまた、符号化装置８を用いて生成されるデータストリームから高解像度画像を復号する、図５に示す復号装置９にも適用することができる。復号装置９は、基本階層データストリームと称する、データストリームの第１の部分を復号する第１の復号モジュール９１を備え、その低解像度画像についての低解像度画像及びモーションデータを取得する。モジュール９１は、ＭＰＥＧ４ ＡＶＣ標準規格と互換性があるデータストリームを復号することが望ましい。復号装置９は、第１の復号モジュール９１によって生成される低解像度画像のモーションデータから、高解像度画像用のモーションデータを取得するために用いられる継承手段８２を備える。継承手段８２は、本発明による方法のステップ２１００からステップ２６００を実行する。復号装置９は、拡張階層データストリームと称するデータストリームの第２の部分を復号する第２の復号モジュール９２を備える。第２の復号モジュール９２は、継承手段８２によって得られたモーションデータを用いて、データストリームの第２の部分を復号する。この結果、第２の復号モジュール９２は、高解像度画像を生成する。装置９はまた、受信したデータストリームから基本階層データストリーム及び拡張階層データストリームを抽出する抽出モジュール９０（例えば、デマルチプレクサ）を備える。

別の実施形態によれば、復号装置は、２つのデータストリーム、即ち基本階層データストリーム及び拡張階層データストリームを受信する。この場合は、装置９は、抽出モジュール９０を有しない。

本発明は、開示された実施形態に限定されない。特に、本発明は２つの画像シーケンス、即ち２つの空間階層について記載したが、３つ以上の画像シーケンスを符号化するために用いることもできる。

Claims (11)

1. 基本階層マクロブロックと称する低解像度画像のマクロブロックに関連するモーションデータから、上位階層マクロブロックと称する高解像度画像の、重なっていない基本ブロックに分割される、少なくとも１つのマクロブロック用のモーションデータを取得する方法であって、フレームモードとフィールドモードとのうちの１つのマクロブロック符号化モードが各マクロブロックに関連しており、画像符号化モードが前記高解像度画像及び前記低解像度画像に関連しており、
   前記方法は、
   ‐前記少なくとも１つのマクロブロックの各基本ブロックについて、前記上位階層マクロブロックの符号化モードに応じてかつ前記高解像度画像の画像符号化モード及び前記低解像度画像の画像符号化モードに応じて前記高解像度画像内の前記基本ブロックの位置から、前記低解像度画像内の中間位置を算出するステップと、
   ‐各基本ブロックについて、前記中間位置にあるピクセルを含む、基本マクロブロックと称する基本階層マクロブロックを識別するステップと、
   ‐各基本ブロックについて、前記基本マクロブロックの符号化モード及び前記上位階層マクロブロックの符号化モードに応じて前記中間位置から、真の基本階層位置と称する前記低解像度画像内の最終位置を算出するステップと、
   ‐前記少なくとも１つのマクロブロックの各基本ブロックについて、前記真の基本階層位置にあるピクセルを含む、真のベースマクロブロックと称する基本階層マクロブロックを特定するステップと、
   ‐各基本ブロックについての前記真の基本マクロブロックのモーションデータから、前記上位階層マクロブロック用のモーションデータを取得するステップと、
   を含むことを特徴とする方法。
2. 基本階層マクロブロックは分割されて、モーションデータは分割部分の各々に関連しており、前記方法はさらに、各基本ブロックについて、前記真の基本階層位置にあるピクセルを含む、真の基本マクロブロックと称する基本階層マクロブロックを識別するステップの後に、各基本ブロックについて、前記真の基本階層位置にあるピクセルを含む前記真の基本マクロブロックの分割部分（ｍｂＰａｒｔｌｄｘＢａｓｅ）を識別するステップを更に含むことを特徴とする請求項１に記載の方法。
3. 前記上位階層マクロブロック用のモーションデータを取得するステップは、
   −前記真の基本マクロブロックに応じて、かつ、各基本ブロックについての前記真の基本マクロブロックの前記識別された分割部分に応じて、前記上位階層マクロブロックを分割するステップと、
   ‐各基本ブロックについての前記真の基本マクロブロックのモーションデータから前記上位階層マクロブロックの各分割部分用の動きベクトルを取得するステップと、
   を含むことを特徴とする請求項２に記載の方法。
4. 前記上位階層マクロブロックは１６×１６ピクセルのブロックであり、各基本ブロックは４×４ピクセルのブロックであることを特徴とする請求項１乃至３のうちのいずれかに記載の方法。
5. 前記方法は、映像信号を符号化するプロセスの一部であることを特徴とする請求項１乃至４のうちのいずれかに記載の方法。
6. 前記方法は、映像信号を復号するプロセスの一部であることを特徴とする請求項１乃至４のうちのいずれかに記載の方法。
7. 一連の高解像度画像及び一連の低解像度画像を符号化する装置であって、各画像は重なっていない基本ブロックに分けられた、重なっていない複数のマクロブロックに分割され、フレームモードとフィールドモードとのうちの１つのマクロブロック符号化モードが各マクロブロックに関連しており、画像符号化モードが前記高解像度画像及び前記低解像度画像に関連しており、前記装置は、
   ‐前記低解像度画像を符号化する第１の符号化手段と、
   ‐基本階層マクロブロックと称する低解像度画像のマクロブロックのモーションデータから、高階層マクロブロックと称する高解像度画像の少なくとも１つのマクロブロック用のモーションデータを取得する継承手段と、
   ‐前記得られたモーションデータを用いて、前記高解像度画像を符号化する第２の符号化手段と、
   を含み、
   前記第１の符号化手段は、前記低解像度画像のマクロブロックについてのモーションデータ及び基本階層データストリームを生成し、前記第２の符号化手段は、拡張階層データストリームを生成し、
   前記継承手段は、
   ‐前記少なくとも１つのマクロブロックの各基本ブロックについて、前記上位階層マクロブロックの符号化モードに応じてかつ前記高解像度画像の画像符号化モード及び前記低解像度画像の画像符号化モードに応じて前記高解像度画像内の前記基本ブロックの位置から、前記低解像度画像内の中間位置を算出する手段と、
   ‐各基本ブロックについて、前記中間位置にあるピクセルを含む、基本マクロブロックと称する基本階層マクロブロックを識別する手段と、
   ‐各基本ブロックについて、前記基本マクロブロックの符号化モード及び前記上位階層マクロブロックの符号化モードに応じて前記中間位置から、真の基本階層位置と称する前記低解像度画像内の最終位置を算出する手段と、
   ‐前記少なくとも１つのマクロブロックの各基本ブロックについて、前記真の基本階層位置にあるピクセルを含む、真の基本マクロブロックと称する基本階層マクロブロックを識別する手段と、
   ‐各基本ブロックについての前記識別された基本階層マクロブロックｒｅａｌ＿ｂａｓｅ＿ＭＢのモーションデータから、前記真の基本マクロブロックのモーションデータを取得する手段と、
   を含むことを特徴とする装置。
8. 前記第１の符号化手段は、ＭＰＥＧ−４ ＡＶＣ映像符号化器であることを特徴とする請求項７に記載の装置。
9. 前記装置は、基本階層データストリーム及び拡張階層データストリームを単一のデータストリームに結合する手段を更に含むことを特徴とする請求項７または８に記載の装置。
10. 低解像度画像から、少なくとも一連の高解像度画像を復号する装置であって、前記符号化された画像はデータストリームの形式で生成されており、各画像は、重なっていない基本ブロックに分割された、重なっていない複数のマクロブロックに分割されており、フレームモードとフィールドモードとのうちの１つのマクロブロック符号化モードが各マクロブロックに関連しており、画像符号化モードが前記高解像度画像及び前記低解像度画像に関連しており、前記装置は、
    ‐前記データストリームの少なくとも第１の部分を復号して、前記低解像度画像及び前記低解像度画像のマクロブロックについてのモーションデータを生成する第１の復号化手段と、
    ‐基本階層マクロブロックと称する低解像度画像のマクロブロックのモーションデータから、高階層マクロブロックと称する高解像度画像の少なくとも１つのマクロブロック用のモーションデータを取得する継承手段と、
    ‐前記得られたモーションデータを用いて、前記データストリームの少なくとも第２の部分を復号して、高解像度画像を生成する第２の復号手段と、
    を含み、
    前記継承手段は、
    ‐前記少なくとも１つのマクロブロックの各基本ブロックについて、前記上位階層マクロブロックの符号化モードに応じてかつ前記高解像度画像の画像符号化モード及び前記低解像度画像の画像符号化モードに応じて前記高解像度画像内の前記基本ブロックの位置から、前記低解像度画像内の中間位置を算出する手段と、
    ‐各基本ブロックについて、前記中間位置にあるピクセルを含む、基本マクロブロックと称する基本階層マクロブロックを識別する手段と、
    ‐各基本ブロックについて、前記基本マクロブロックの符号化モード及び前記上位階層マクロブロックの符号化モードに応じて前記中間位置から、真の基本階層位置と称する前記低解像度画像内の最終位置を算出する手段と、
    ‐前記少なくとも１つのマクロブロックの各基本ブロックについて、前記真の基本階層位置にあるピクセルを含む、真の基本マクロブロックと称する基本階層マクロブロックを識別する手段と、
    ‐各基本ブロックについての前記真の基本マクロブロックのモーションデータから、前記上位階層マクロブロック用のモーションデータを取得する手段と、
    を含むことを特徴とする装置。
11. 前記第１の復号化手段は、ＭＰＥＧ−４ ＡＶＣ映像復号器であることを特徴とする請求項１０に記載の装置。

Images