JP6376470B2 - 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 - Google Patents

Description

本発明は、画像を符号化する画像符号化方法に関する。

画像を符号化する画像符号化方法に関する技術として、非特許文献１に記載の技術がある。

ＩＳＯ／ＩＥＣ １３８１８−１

しかしながら、画像の符号化で生成されるサブビットストリームの柔軟性が低い場合、効率的な処理は困難である。

そこで、本発明は、柔軟性の高いサブビットストリームを生成することができる画像符号化方法を提供する。

本発明の一態様に係る画像符号化方法は、複数の画像を空間階層画像符号化およびマルチビュー画像符号化に従ってレイヤ毎およびビュー毎に符号化することで得られる複数のサブビットストリームであり複数のレイヤおよび複数のビューに対応する複数のサブビットストリームである複数の第１サブビットストリームから、少なくとも１つのレイヤおよび少なくとも１つのビューに対応する少なくとも１つの第１サブビットストリームをそれぞれが含む複数のサブビットストリームであり前記複数の第１サブビットストリームとは異なる複数のサブビットストリームである複数の第２サブビットストリームを生成するサブビットストリーム生成ステップと、前記複数の第２サブビットストリームのそれぞれについて、前記少なくとも１つのレイヤを示す少なくとも１つのレイヤ識別子の最小値を示す第１フィールドと、前記少なくとも１つのレイヤ識別子の最大値を示す第２フィールドと、前記少なくとも１つのビューを示す少なくとも１つのビュー識別子の最小値を示す第３フィールドと、前記少なくとも１つのビュー識別子の最大値を示す第４フィールドとを含むデスクリプタを生成するデスクリプタ生成ステップとを含み、前記複数の第２サブビットストリームは、（１）前記複数のレイヤのうちベースレイヤのみに対応し、かつ、前記複数のビューのうちベースビューのみに対応する第２サブビットストリームと、（２）前記複数のレイヤのうち前記ベースレイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の複数の拡張ビューのみに対応する第２サブビットストリームと、（３）前記複数のレイヤのうち前記ベースレイヤ以外の複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビューのみに対応する第２サブビットストリームと、（４）前記複数のレイヤのうち前記ベースレイヤ以外の前記複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の前記複数の拡張ビューのみに対応する第２サブビットストリームとで構成される４つの第２サブビットストリームである。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る画像符号化方法は、柔軟性の高いサブビットストリームを生成することができる。

図１は、参考例に係るＳＶＣ拡張デスクリプタを示す図である。 図２は、参考例に係るビデオサブビットストリームを示す図である。 図３は、参考例に係るＭＶＣ拡張デスクリプタを示す図である。 図４は、参考例に係るビューＩＤ集合（ＭＶＣ ｖｉｅｗ＿ｉｄ ｓｕｂｓｅｔ）を示す図である。 図５は、参考例に係る空間階層画像符号化装置の構成を示すブロック図である。 図６は、参考例に係る空間階層画像符号化装置で符号化される画像を示す図である。 図７は、参考例に係るマルチビュー画像符号化装置の構成を示すブロック図である。 図８は、参考例に係るマルチビュー画像符号化装置で符号化される画像を示す図である。 図９は、参考例に係る送信側システムの構成を示すブロック図である。 図１０は、実施の形態１に係る空間階層−マルチビュー動画像符号化装置の構成を示すブロック図である。 図１１は、実施の形態１に係るシステムエンコーダに入力されるサブビットストリームの例を示す図である。 図１２は、実施の形態１に係るシステムエンコーダの構成を示すブロック図である。 図１３は、実施の形態１に係るサブビットストリーム生成部が生成するサブビットストリームを示す図である。 図１４は、実施の形態１に係るＳＶＣ−ＭＶＣ拡張デスクリプタを示す図である。 図１５は、実施の形態２に係るシステムデコーダの構成を示すブロック図である。 図１６は、実施の形態２に係るシステムデコーダの動作を示すフローチャートである。 図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１８は、デジタル放送用システムの全体構成図である。 図１９は、テレビの構成例を示すブロック図である。 図２０は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図２１は、光ディスクである記録メディアの構造例を示す図である。 図２２Ａは、携帯電話の一例を示す図である。 図２２Ｂは、携帯電話の構成例を示すブロック図である。 図２３は、多重化データの構成を示す図である。 図２４は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図２５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図２６は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図２７は、ＰＭＴのデータ構成を示す図である。 図２８は、多重化データ情報の内部構成を示す図である。 図２９は、ストリーム属性情報の内部構成を示す図である。 図３０は、映像データを識別するステップを示す図である。 図３１は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図３２は、駆動周波数を切り替える構成を示す図である。 図３３は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図３４は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図３５Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図３５Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、動画像を符号化する画像符号化装置に関し、以下の課題を見出した。

ビデオおよびオーディオのビットストリームには、フレームのサイズおよび表示時刻などのヘッダ情報が付加される。そして、システム多重化が行われて、その後、ビットストリームは伝送される。システム多重化の方式としてＩＳＯ／ＩＥＣ １３１８１−１において規定されるＭＰＥＧ−２システムが一般的に用いられている。

ＭＰＥＧ−２システムでは、トランスポートストリームとプログラムストリームという２種類の多重化方式が規定されている。トランスポートストリームは、伝送エラーが発生する環境に適用されることが想定されており、主に放送などで使用されるビットストリームに対応する。一方、プログラムストリームは、エラーの発生しない環境に適用されることが想定されており、主にＤＶＤなどの蓄積メディアで使用されるビットストリームに対応する。

ＭＰＥＧ−２のトランスポートストリームでは、すべてのデータがトランスポートストリームパケット（ＴＳパケット）と呼ばれる１８８バイトの固定長のパケットを用いて伝送される。ビデオおよびオーディオの符号化データは、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットに多重化された後、適切なサイズに分割され、ＴＳパケットのペイロードに挿入される。

また、プログラムに関する情報は、セクションと呼ばれるデータ構造に多重化された後、適切なサイズに分割され、ＴＳパケットのペイロードに挿入される。そして、生成されたＴＳパケットが並べられ、トランスポートストリームが生成される。

セクションには、プログラムの一覧情報を含むＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、および、ＰＳＭ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ Ｍａｐ）などがある。ＭＰＥＧ−２システムは、ビットレートおよびフレームレートなどのビットストリームの属性情報をデスクリプタという単位に格納して、ＰＭＴまたはＰＳＭに含めて伝送することができる。

一般的に、デスクリプタに含まれる情報は、ビデオおよびオーディオの符号化データにも含まれている情報である。しかし、ＰＭＴまたはＰＳＭにデスクリプタが含められることにより、システム層は、プログラム情報を取得した時点で、符号化データの内容を知り、復号できるか否かを判断することができる。

ＩＴＵ−Ｔ Ｈ．２２２．０ Ａｍｅｎｄｍｅｎｔ ３（Ｔｒａｎｓｐｏｒｔ ｏｆ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｏｖｅｒ Ｒｅｃ． ＩＴＵ−Ｔ Ｈ．２２２．０ ｜ ＩＳＯ／ＩＥＣ １３８１８−１）には、ＭＰＥＧ−２システムを用いて、スケーラブルビデオ符号化で得られたデータ（ＳＶＣデータ）を伝送するための拡張が規定されている。

図１は、ビデオサブビットストリームのスケーラビリティと再構築（ｒｅ−ａｓｓｅｍｂｌｙ）とに関する情報を含むＳＶＣ拡張デスクリプタを示す。ビデオサブビットストリームは、スケーラブルビデオ符号化で得られるビデオストリームの一部を構成する。ビデオサブビットストリームを構成するＮＡＬユニットは、全て同じｄｅｐｅｎｄｅｎｃｙ＿ｉｄの値を有している。

図２は、ビデオサブビットストリームの一例を示す。図２に示されたビデオサブビットストリームは、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄの値が２であるＮＡＬユニットから構成されている。なお、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、空間スケーラブルビデオ符号化の階層を示す識別子である。既に標準化されているＨ．２６４と呼ばれる動画像符号化方式では、ＳＶＣデータを含むＮＡＬユニットヘッダは拡張され、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄはＮＡＬユニットヘッダのＳＶＣ拡張部に含まれている。

つぎに、ＳＶＣ拡張デスクリプタに含まれている各フィールドについて説明する。ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇはデスクリプタを識別するための識別子であり、ＳＶＣ拡張デスクリプタには４８が割当てられている。ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈは、そのデスクリプタのサイズを示す。ｗｉｄｔｈとｈｅｉｇｈｔは、ビデオストリームの最大の画像サイズを示す。ｆｒａｍｅ＿ｒａｔｅは、ビデオストリームの最大のフレームレートを示す。

ａｖｅｒａｇｅ＿ｂｉｔｒａｔｅは、ビデオストリームの平均のビットレートを示す。ｍａｘｉｍｕｍ＿ｂｉｔｒａｔｅは、ビデオストリームの最大のビットレートを示す。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、上述したように、そのビデオサブビットストリームを構成するＮＡＬユニットのＮＡＬユニットヘッダのｄｅｐｅｎｄｅｎｃｙ＿ｉｄの値である。

ｑｕａｌｉｔｙ＿ｉｄ＿ｓｔａｒｔは、そのビデオサブビットストリームを構成するＮＡＬユニットのＮＡＬユニットヘッダのｑｕａｌｉｔｙ＿ｉｄの最小値を示す。ｑｕａｌｉｔｙ＿ｉｄ＿ｅｎｄは、そのビデオサブビットストリームを構成するＮＡＬユニットのＮＡＬユニットヘッダのｑｕａｌｉｔｙ＿ｉｄの最大値を示す。すなわち、ｑｕａｌｉｔｙ＿ｉｄの値として、ｑｕａｌｉｔｙ＿ｉｄ＿ｓｔａｒｔからｑｕａｌｉｔｙ＿ｉｄ＿ｅｎｄまでの値を有するＮＡＬユニットが、そのビデオサブビットストリームに含まれる。

ｔｅｍｐｏｒａｌ＿ｉｄ＿ｓｔａｒｔとｔｅｍｐｏｒａｌ＿ｉｄ＿ｅｎｄは、同様に、そのビデオサブビットストリームを構成するＮＡＬユニットのＮＡＬユニットヘッダのｔｅｍｐｏｒａｌ＿ｉｄの最小値と最大値を示す。

ｎｏ＿ｓｅｉ＿ｎａｌ＿ｕｎｉｔ＿ｐｒｅｓｅｎｔは、そのビデオサブビットストリームにＳＥＩ（Ｓｕｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）のＮＡＬユニットが含まれるか否かを示すフラグである。ｎｏ＿ｓｅｉ＿ｎａｌ＿ｕｎｉｔ＿ｐｒｅｓｅｎｔの値が１であることは、そのビデオサブビットストリームにＳＥＩのＮＡＬユニットは含まれていないことを示す。

ＩＴＵ−Ｔ Ｈ．２２２．０ Ａｍｅｎｄｍｅｎｔ ４（Ｔｒａｎｓｐｏｒｔ ｏｆ ｍｕｌｔｉｖｉｅｗ ｖｉｄｅｏ ｏｖｅｒ Ｒｅｃ． ＩＴＵ−Ｔ Ｈ．２２２．０ ｜ ＩＳＯ／ＩＥＣ １３８１８−１）には、ＭＰＥＧ−２システムを用いて、マルチビュービデオ符号化で得られたデータ（ＭＶＣデータ）を伝送するための拡張が規定されている。

図３は、ＭＶＣビデオサブビットストリームと、ＭＶＣビデオサブビットストリームの再構築（ｒｅ−ａｓｓｅｍｂｌｙ）とに関する情報を含むＭＶＣ拡張デスクリプタを示す。

ＭＶＣビデオサブビットストリームは、マルチビュービデオ符号化で得られるビデオストリームの一部を構成する。ＭＶＣビデオサブビットストリームを構成するＮＡＬユニットは、ビューＩＤ集合（ＭＶＣ ｖｉｅｗ＿ｉｄ ｓｕｂｓｅｔ）に含まれるｖｉｅｗ＿ｉｄの値を有している。ビューＩＤ集合（ＭＶＣ ｖｉｅｗ＿ｉｄ ｓｕｂｓｅｔ）は、一つ又は複数のｖｉｅｗ＿ｉｄの集合である。

図４は、ビューＩＤ集合（ＭＶＣ ｖｉｅｗ＿ｉｄ ｓｕｂｓｅｔ）の例を示す。図４の（ａ）のビューＩＤ集合（ＭＶＣ ｖｉｅｗ＿ｉｄ ｓｕｂｓｅｔ）は、値が１であるｖｉｅｗ＿ｉｄと、値が２であるｖｉｅｗ＿ｉｄとの集合である。図４の（ａ）のＭＶＣビデオサブビットストリームは、ｖｉｅｗ＿ｉｄの値が１または２であるＮＡＬユニットのみから構成されている。

図４の（ｂ）のビューＩＤ集合（ＭＶＣ ｖｉｅｗ＿ｉｄ ｓｕｂｓｅｔ）は、値が３であるｖｉｅｗ＿ｉｄのみの集合である。図４の（ｃ）のビューＩＤ集合（ＭＶＣ ｖｉｅｗ＿ｉｄ ｓｕｂｓｅｔ）は、値が４、５または６であるｖｉｅｗ＿ｉｄの集合である。そして、ＭＶＣビデオサブビットストリームは、各ビューＩＤ集合（ＭＶＣ ｖｉｅｗ＿ｉｄ ｓｕｂｓｅｔ）に含まれるｖｉｅｗ＿ｉｄの値を有するＮＡＬユニットから構成されている。

なお、ｖｉｅｗ＿ｉｄは、マルチビュービデオ符号化のビューを示す識別子である。Ｈ．２６４の規格では、ＭＶＣデータを含むＮＡＬユニットヘッダは拡張され、ｖｉｅｗ＿ｉｄは、ＮＡＬユニットヘッダのＭＶＣ拡張部に含まれている。

つぎに、ＭＶＣ拡張デスクリプタに含まれている各フィールドについて説明する。ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇはデスクリプタを識別するための識別子であり、ＭＶＣ拡張デスクリプタには４９が割当てられている。

ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍｉｎは、そのＭＶＣビデオサブビットストリームを構成するＮＡＬユニットのｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘの最小値を示す。ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍａｘは、そのＭＶＣビデオサブビットストリームを構成するＮＡＬユニットのｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘの最大値を示す。

すなわち、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘの値として、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍｉｎからｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍａｘまでの値を有するビューが、そのＭＶＣビデオサブビットストリームに含まれている。なお、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘはビューのオーダーを示す値であり、ビューを識別するｖｉｅｗ＿ｉｄの値は、サブセットシーケンスパラメータセット（サブセットＳＰＳ）等によって関連付けられている。

ｎｏ＿ｐｒｅｆｉｘ＿ｎａｌ＿ｕｎｉｔ＿ｐｒｅｓｅｎｔは、そのＭＶＣビデオサブビットストリームにプレフィックスＮＡＬユニットが含まれるか否かを示すフラグである。ｎｏ＿ｐｒｅｆｉｘ＿ｎａｌ＿ｕｎｉｔ＿ｐｒｅｓｅｎｔの値が０である場合、ベースビューを含むＭＶＣビデオサブビットストリームにのみ、プレフィックスＮＡＬユニットが含まれている。なお、ベースビューは、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘが最小値であるビューである。

図５は、Ｈ．２６４の動画符号化方式における空間階層画像符号化装置の構成を示すブロック図である。

空間階層画像符号化装置１００は、図５のように、入力画像制御部１０１、ダウンサンプリング部１０２、ベースレイヤ符号化部１０３、拡張レイヤ符号化部１０５、および、拡大伸張部１０４を備えている。

入力画像制御部１０１は、入力画像信号を各レイヤの符号化を担当する符号化部に送信する。ダウンサンプリング部１０２は、入力画像信号のダウンサンプリングを行い、より解像度の小さい入力画像を生成する。ベースレイヤ符号化部１０３は、空間階層符号化を行わない通常の画像符号化装置であり、ベースレイヤの画像符号化を行い、ベースレイヤの符号化情報を含むビデオサブビットストリームを出力する。

拡大伸張部１０４は、ベースレイヤの画像符号化情報を拡大または伸張して拡張レイヤの画像符号化に用いる予測情報を生成し、拡張レイヤ符号化部１０５に入力する。拡張レイヤ符号化部１０５は、予測情報を用いて入力画像制御部１０１から入力される入力画像信号（拡張レイヤ）の画像符号化を行う。そして、拡張レイヤの符号化情報を含むビデオサブビットストリームを出力する。

なお、図５に示された空間階層画像符号化装置１００は、例としてベースレイヤと拡張レイヤの２階層に対応する。しかし、複数の拡張レイヤ符号化部が結合されることにより、複数の拡張レイヤに対応する空間階層画像符号化が実現される。

図６は、空間階層画像符号化装置１００の各レイヤの符号化部における入力画像の例を示す。本例において、入力画像は、１つのベースレイヤと２つの拡張レイヤとに対応する。

ベースレイヤ（Ｌａｙｅｒ１）の入力画像はＳＤサイズを有し、第１拡張レイヤであるＬａｙｅｒ２の入力画像はＨＤサイズを有し、第２拡張レイヤであるＬａｙｅｒ３の入力画像は４Ｋ２Ｋサイズを有する。また、Ｌａｙｅｒ１のｄｅｐｅｎｄｅｎｃｙ＿ｉｄは０であり、Ｌａｙｅｒ２のｄｅｐｅｎｄｅｎｃｙ＿ｉｄは１であり、Ｌａｙｅｒ３のｄｅｐｅｎｄｅｎｃｙ＿ｉｄは２である。

相対的に解像度の小さいレイヤを下位レイヤと呼び、解像度の大きいレイヤを上位レイヤと呼ぶ。すなわち、ベースレイヤが最下層の下位レイヤである。空間階層画像符号化では、上位レイヤの符号化が行われる際、下位レイヤの予測情報を用いてレイヤ間予測が行われる。これにより、符号化効率が向上する。予測情報として、イントラテクスチャ予測、動きベクトル予測、または、フレーム間差分予測などの情報が用いられる。なお、上位レイヤを符号化する際、下位レイヤの予測情報を用いることをレイヤ間参照（予測）と呼ぶ。

空間階層画像符号化においても、通常の画像符号化で用いられる時間方向のフレーム間予測（インター予測）は用いられる。ただし、フレーム間参照関係は、全てのレイヤで一致していなければならない。

図６の点線矢印は、レイヤ間予測と、インター予測を示している。より具体的には、矢印の先の画像が矢印の始点の画像から参照されることを示す。ベースレイヤのインター予測では、２枚前のフレームが参照されているので、拡張レイヤにおいても同様に２枚前のフレームが参照される。なお、レイヤ間予測を行うか否かは、ブロック単位で切り替えられる。

図７は、Ｈ．２６４の動画像符号化方式におけるマルチビュー画像符号化装置の構成を示すブロック図である。

マルチビュー画像符号化装置２００は、図７のように、入力画像制御部２０１、ベースビュー符号化部２０２、および、拡張ビュー符号化部２０３を備えている。

入力画像制御部２０１は、必要に応じて入力画像信号から各ビュー画像を生成し、各ビュー画像を対応する各ビューの符号化部（２０２、２０３）に送信する。なお、各ビューの入力画像信号が入力画像制御部２０１に入力されてもよい。

ベースビュー符号化部２０２は、マルチビュー符号化を行わない通常の画像符号化装置であり、ベースビューの画像符号化を行い、ベースビューの符号化情報を含むＭＶＣビデオサブビットストリームを出力する。また、ベースビュー符号化部２０２は、ベースビュー符号化部２０２の内部で符号化され復号化されたベースビューの再構築ビュー画像を拡張ビュー符号化部２０３に入力する。

拡張ビュー符号化部２０３は、再構築ビュー画像を用いて入力画像制御部２０１から入力される拡張ビュー画像の画像符号化を行う。そして、拡張ビュー符号化部２０３は、拡張ビューの符号化情報を含むＭＶＣビデオサブビットストリームを出力する。なお、図７に示されたマルチビュー画像符号化装置２００は、例としてベースビューと拡張ビューの２つのビューに対応する。しかし、複数の拡張ビュー符号化部が結合されることにより、複数の拡張ビューに対応するマルチビュー画像符号化が実現される。

図８は、マルチビュー画像符号化装置２００における各ビューの入力画像の例を示す。本例において、入力画像は、１つのベースビューと２つの拡張ビューとに対応する。ベースビュー（Ｖｉｅｗ１）、および、拡張ビュー（Ｖｉｅｗ２、Ｖｉｅｗ３）の画像解像度は同一である。一般的に、各ビューの画像はわずかに違う視点から同時刻に撮影された画像であり相関を有している。マルチビュー画像符号化は、現在では、立体画像（３Ｄ）の符号化方法として用いられている。

各ビューには、ビューを識別する識別子が割り振られており、例えば、Ｖｉｅｗ１のｖｉｅｗ＿ｉｄは１であり、Ｖｉｅｗ２のｖｉｅｗ＿ｉｄは２であり、Ｖｉｅｗ３のｖｉｅｗ＿ｉｄは３である。また、例えば、各ビューのｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘは、Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３でそれぞれ０、１、２である。

マルチビュー画像符号化では、拡張ビューの符号化が行われる際、他のビューの再構築画像を参照画像として用いてフレーム間予測が行われる。これにより、符号化効率が向上する。なお、拡張ビューを符号化する際、他のビューの再構築画像を用いることをビュー間参照（予測）と呼ぶ。

マルチビュー画像符号化においては、通常の画像符号化で用いられる時間方向のフレーム間予測（インター予測）の参照画像として、他のビューの再構築画像が用いられる。ただし、符号化対象画像と時間的に異なる他のビューの再構築画像は、参照画像として用いられない。

ビュー間予測が用いられる場合には、参照するビューが選択される。図８の点線矢印は、ビュー間予測と、インター予測とを示している。第１拡張ビュー（Ｖｉｅｗ２）のビュー間予測では、ベースビュー（Ｖｉｅｗ１）が参照されている。一方で、第２拡張ビュー（Ｖｉｅｗ３）のビュー間予測では、第１拡張ビュー（Ｖｉｅｗ２）が参照されている。なお、ビュー間予測を行うか否かは、ブロック単位で切り替えられる。また、時間が異なれば、ビュー間の参照関係は異なってもよい。

図９は、マルチビュー画像符号化装置とＭＰＥＧ−２システムエンコーダを含む送信側システムを示す。送信側システム３００のマルチビュー画像符号化装置３０１は、図７に示されたマルチビュー画像符号化装置２００と同等の構成を有している。ただし、送信側システム３００のマルチビュー画像符号化装置３０１では、２つの拡張ビュー符号化部が結合されている。

マルチビュー画像符号化装置３０１は、図８のような各ビューの画像を入力画像として符号化し、各ビューの符号化情報を含むＭＶＣビデオサブビットストリームをＭＰＥＧ−２システムエンコーダ３０２に出力する。すなわち、ｖｉｅｗ＿ｉｄがそれぞれ１、２および３である３本のＭＶＣビデオサブビットストリームが、ＭＰＥＧ−２システムエンコーダ３０２に入力される。

ＭＰＥＧ−２システムエンコーダ３０２は、入力された３本のＭＶＣビデオサブビットストリームを必要に応じて一つにまとめ、新たなＭＶＣビデオサブビットストリームを生成する。

例えば、ＭＰＥＧ−２システムエンコーダ３０２は、ｖｉｅｗ＿ｉｄがそれぞれ１または２である２つのＭＶＣビデオサブビットストリームから１つのＭＶＣビデオサブビットストリームを生成する。また、ＭＰＥＧ−２システムエンコーダ３０２は、ｖｉｅｗ＿ｉｄが３であるＭＶＣビデオサブビットストリームからもう一つ別のＭＶＣビデオサブビットストリームを生成する。生成された２つのＭＶＣビデオサブビットストリームは、図４の（ａ）および（ｂ）のＭＶＣビデオサブビットストリームに相当する。

上述したように、ＭＰＥＧ−２システムエンコーダ３０２は、入力されたビデオおよびオーディオのビットストリームを多重化する機能を有している。ＭＰＥＧ−２システムエンコーダ３０２で多重化方式としてトランスポートストリームが用いられる場合には、ＴＳパケットが出力される。

ところで、上述したように、ＭＰＥＧ−２システムエンコーダ３０２は、入力された複数のサブビットストリームを必要に応じて一つにまとめ、新たなサブビットストリームを生成する。

しかしながら、ＭＰＥＧ−２システムエンコーダ３０２は、複数のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有するサブビットストリームを生成することはできない。すなわち、ＭＰＥＧ−２システムエンコーダ３０２が生成するサブビットストリームの柔軟性は低い。

また、空間階層画像符号化とマルチビュー画像符号化とを組み合わせた符号化が行われる場合、マルチビュー画像符号化装置３０１からＭＰＥＧ−２システムエンコーダ３０２に入力されるサブビットストリームは、ｖｉｅｗ＿ｉｄ（ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ）とｄｅｐｅｎｄｅｎｃｙ＿ｉｄとの両方に関連付けられている。

しかしながら、ＭＰＥＧ−２システムエンコーダ３０２は、ｖｉｅｗ＿ｉｄ（ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ）とｄｅｐｅｎｄｅｎｃｙ＿ｉｄとが混在するサブビットストリームを生成することはできない。そのため、生成されるサブビットストリームは制約を受ける。

そこで、本発明の一態様に係る画像符号化方法は、複数の画像を空間階層画像符号化に従ってレイヤ毎に符号化することで得られる複数の第１サブビットストリームから、２つ以上のレイヤに対応する２つ以上の第１サブビットストリームを含む第２サブビットストリームを生成するサブビットストリーム生成ステップと、前記２つ以上のレイヤを示す２つ以上のレイヤ識別子の最小値を示す第１フィールドと、前記２つ以上のレイヤ識別子の最大値を示す第２フィールドとを含むデスクリプタを生成するデスクリプタ生成ステップとを含む。

これにより、画像符号化方法は、複数のレイヤに対応する柔軟性の高いサブビットストリームを生成することができる。

例えば、前記サブビットストリーム生成ステップでは、前記複数の画像を前記空間階層画像符号化およびマルチビュー画像符号化に従って前記レイヤ毎およびビュー毎に符号化することで得られる前記複数の第１サブビットストリームから、前記２つ以上のレイヤおよび２つ以上のビューに対応する前記２つ以上の第１サブビットストリームを含む前記第２サブビットストリームを生成し、前記デスクリプタ生成ステップでは、前記第１フィールドと、前記第２フィールドと、前記２つ以上のビューを示す２つ以上のビュー識別子の最小値を示す第３フィールドと、前記２つ以上のビュー識別子の最大値を示す第４フィールドとを含む前記デスクリプタを生成してもよい。

これにより、画像符号化方法は、複数のレイヤおよび複数のビューに対応する柔軟性のより高いサブビットストリームを生成することができる。

また、例えば、本発明の一態様に係る画像復号方法は、複数の画像を空間階層画像符号化に従ってレイヤ毎に符号化することで得られる複数の第１サブビットストリームを含むビットストリームから、２つ以上のレイヤに対応する２つ以上の第１サブビットストリームを含む第２サブビットストリームのデスクリプタと、前記第２サブビットストリームとを取得する取得ステップと、前記２つ以上のレイヤを示す２つ以上のレイヤ識別子の最小値を示す第１フィールドと、前記２つ以上のレイヤ識別子の最大値を示す第２フィールドとを含む前記デスクリプタを解析する解析ステップと、前記第１フィールドによって示される前記最小値と、前記第２フィールドによって示される前記最大値とに基づいて、前記デスクリプタに対応する前記第２サブビットストリームの処理を決定する決定ステップとを含む画像復号方法でもよい。

これにより、画像復号方法は、複数のレイヤに対応する柔軟性の高いサブビットストリームを処理することができる。

また、例えば、前記取得ステップでは、前記複数の画像を前記空間階層画像符号化およびマルチビュー画像符号化に従って前記レイヤ毎およびビュー毎に符号化することで得られる前記複数の第１サブビットストリームを含む前記ビットストリームから、前記２つ以上のレイヤおよび２つ以上のビューに対応する前記２つ以上の第１サブビットストリームを含む前記第２サブビットストリームの前記デスクリプタと、前記第２サブビットストリームとを取得し、前記解析ステップでは、前記第１フィールドと、前記第２フィールドと、前記２つ以上のビューを示す２つ以上のビュー識別子の最小値を示す第３フィールドと、前記２つ以上のビュー識別子の最大値を示す第４フィールドとを含む前記デスクリプタを解析し、前記決定ステップでは、前記第１フィールドによって示される前記最小値と、前記第２フィールドによって示される前記最大値と、前記第３フィールドによって示される前記最小値と、前記第４フィールドによって示される前記最大値とに基づいて、前記デスクリプタに対応する前記第２サブビットストリームの処理を決定してもよい。

これにより、画像復号方法は、複数のレイヤおよび複数のビューに対応する柔軟性のより高いサブビットストリームを処理することができる。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１０は、本実施の形態に係る空間階層−マルチビュー動画像符号化装置の構成を示すブロック図である。図１０に示された空間階層−マルチビュー動画像符号化装置４００は、画像符号化装置の例である。

空間階層−マルチビュー動画像符号化装置４００は、図１０のように、入力画像制御部４０１、第１ダウンサンプリング部４０２、ベースビューベースレイヤ符号化部４０３、ベースビュー拡張レイヤ符号化部４０４、第１拡大伸張部４０５、第２ダウンサンプリング部４０６、拡張ビューベースレイヤ符号化部４０７、拡張ビュー拡張レイヤ符号化部４０８、および、第２拡大伸張部４０９を備えている。

なお、第１ダウンサンプリング部４０２と第２ダウンサンプリング部４０６とは、同一の機能を有しており、共用されるように実装されてもよい。また、第１拡大伸張部４０５と第２拡大伸張部４０９とは、同一の機能を有しており、共用されるように実装されてもよい。

また、図１０に示された空間階層−マルチビュー動画像符号化装置４００は、ベースビューと拡張ビューの２つのビューに対応する。しかし、複数の拡張ビュー符号化部（複数の拡張ビューベースレイヤ符号化部および複数の拡張ビュー拡張レイヤ符号化部など）が結合されることにより、複数の拡張ビューに対応するマルチビュー画像符号化が実現される。

同様に、空間階層−マルチビュー動画像符号化装置４００は、ベースレイヤと拡張レイヤとの２つのレイヤに対応する。しかし、複数の拡張レイヤ符号化部（複数のベースビュー拡張レイヤ符号化部および複数の拡張ビュー拡張レイヤ符号化部など）が結合されることにより、複数の拡張レイヤに対応する空間階層画像符号化が実現される。

入力画像制御部４０１は、入力画像信号をビューごとに分離し、各ビューの符号化を担当する符号化部に送信する。

第１ダウンサンプリング部４０２（第２ダウンサンプリング部４０６）は、入力画像信号のダウンサンプリングを行い、より解像度の小さい入力画像を生成する。

ベースビューベースレイヤ符号化部４０３は、空間階層符号化を行わない通常の画像符号化装置であり、ベースビューのベースレイヤの画像符号化を行い、ベースレイヤの符号化情報を含むＳＶＣ−ＭＶＣサブビットストリームを出力する。そして、ベースビューベースレイヤ符号化部４０３は、ベースビューのベースレイヤの再構築画像を拡張ビューベースレイヤ符号化部４０７に入力する。

第１拡大伸張部４０５は、ベースビューのベースレイヤの画像符号化情報を拡大または伸張して拡張レイヤの画像符号化に用いる予測情報を生成し、ベースビュー拡張レイヤ符号化部４０４に入力する。

ベースビュー拡張レイヤ符号化部４０４は、予測情報を用いて入力画像制御部４０１から入力される入力画像信号（ベースビューの拡張レイヤ）の画像符号化を行う。そして、ベースビュー拡張レイヤ符号化部４０４は、ベースビューの拡張レイヤの符号化情報を含むＳＶＣ−ＭＶＣサブビットストリームを出力する。さらに、ベースビュー拡張レイヤ符号化部４０４は、ベースビューの拡張レイヤの再構築画像を拡張ビュー拡張レイヤ符号化部４０８に入力する。

拡張ビューベースレイヤ符号化部４０７は、ベースビューベースレイヤ符号化部４０３によって再構築されたベースビューのベースレイヤの再構築画像を用いて、拡張ビューのベースレイヤの画像符号化を行う。そして、拡張ビューベースレイヤ符号化部４０７は、拡張ビューのベースレイヤの符号化情報を含むＳＶＣ−ＭＶＣサブビットストリームを出力する。

第２拡大伸張部４０９は、拡張ビューのベースレイヤの画像符号化情報を拡大もしくは伸張して拡張ビューの拡張レイヤの画像符号化に用いる予測情報を生成し、拡張ビュー拡張レイヤ符号化部４０８に入力する。

拡張ビュー拡張レイヤ符号化部４０８は、送られた予測情報（ベースビューの拡張レイヤの再構築画像、または、拡張ビューのベースレイヤの画像符号化情報を拡大もしくは伸張した画像）を用いて入力画像制御部４０１から入力される入力画像信号（拡張ビューの拡張レイヤ）の画像符号化を行う。そして、拡張ビュー拡張レイヤ符号化部４０８は、拡張ビューの拡張レイヤの符号化情報を含むＳＶＣ−ＭＶＣサブビットストリームを出力する。

出力されたＳＶＣ−ＭＶＣサブビットストリームは、ＭＰＥＧ−２システムエンコーダに入力される。ＭＰＥＧ−２システムエンコーダは、ビデオおよびオーディオのビットストリームの多重化を行う機能を有している。

図１１は、ＭＰＥＧ−２システムエンコーダに入力されるＳＶＣ−ＭＶＣサブビットストリームの例を示す。なお、図１０に示された空間階層−マルチビュー動画像符号化装置４００は、説明の便宜上、ベースビューと拡張ビューとの２つのビューに対応し、ベースレイヤと拡張レイヤとの２つの階層に対応している。そのため、４本のＳＶＣ−ＭＶＣサブビットストリームがＭＰＥＧ−２システムエンコーダに出力される。

図１１では、マルチビューについて４つのビューと、空間階層について３つの階層が想定されている。そのため、１２本のＳＶＣ−ＭＶＣサブビットストリームが存在する。各ＳＶＣ−ＭＶＣサブビットストリームは、ｖｉｅｗ＿ｉｄ（ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ）とｄｅｐｅｎｄｅｎｃｙ＿ｉｄとで特定される。

図１１のＳＶＣ−ＭＶＣサブビットストリームには、０から３のｖｉｅｗ＿ｉｄと、０から２のｄｅｐｅｎｄｅｎｃｙ＿ｉｄとが、それぞれ割当てられている。例えば、左上のＳＶＣ−ＭＶＣサブビットストリームのｖｉｅｗ＿ｉｄには０が割り当てられ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄには２が割当てられている。

なお、ｖｉｅｗ＿ｉｄとｄｅｐｅｎｄｅｎｃｙ＿ｉｄの値は、例えばＮＡＬユニットヘッダに直接挿入されてもよい。また、ＮＡＬユニットヘッダに挿入されたレイヤＩＤに基づき、シーケンスパラメータセット（ＳＰＳ）などの上位レイヤの情報から、レイヤＩＤに対応するｖｉｅｗ＿ｉｄおよびｄｅｐｅｎｄｅｎｃｙ＿ｉｄが取得されてもよい。

図１２は、ＭＰＥＧ−２システムエンコーダの構成を示すブロック図である。図１２に示されたＭＰＥＧ−２システムエンコーダ５００は、画像符号化装置の例である。ＭＰＥＧ−２システムエンコーダ５００は、サブビットストリーム生成部５０１、および、デスクリプタ生成部５０２を備えている。なお、ＭＰＥＧ−２システムエンコーダ５００は、さらに、ＴＳパケット生成部等を備えてもよい。

サブビットストリーム生成部５０１は、入力された複数のＳＶＣ−ＭＶＣサブビットストリーム（第１サブビットストリーム）を必要に応じて一つにまとめ、新たなＳＶＣ−ＭＶＣサブビットストリーム（第２サブビットストリーム）を出力する。

図１３は、図１１に示された１２本のＳＶＣ−ＭＶＣサブビットストリームが入力された場合に、サブビットストリーム生成部５０１が生成するＳＶＣ−ＭＶＣサブビットストリームを示す。点線で囲まれたＳＶＣ−ＭＶＣサブビットストリームが一つにまとめられる。そして、図１３の（ａ）から（ｄ）の４本のＳＶＣ−ＭＶＣサブビットストリームがサブビットストリーム生成部５０１から出力される。

例えば、図１３の（ｄ）では、使用頻度が低いと考えられる拡張ビューにおける上位レイヤを一つのＳＶＣ−ＭＶＣサブビットストリームにまとめている。いくつかのＳＶＣ−ＭＶＣサブビットストリームをまとめることにより、システム層でのサブビットストリームの管理が容易になる。

なお、図１３の（ａ）から（ｄ）は、まとめ方の一例であり、まとめ方はこれに限定されるものではない。サブビットストリーム生成部５０１が出力するＳＶＣ−ＭＶＣサブビットストリームの本数に制限はなく、また、入力された１つのＳＶＣ−ＭＶＣサブビットストリームが、出力される複数のＳＶＣ−ＭＶＣサブビットストリームに属してもよい（すなわち、点線で囲まれたいくつかの領域が重なってもよい）。

デスクリプタ生成部５０２は、ＭＰＥＧ−２システムで用いられるデスクリプタを生成する。デスクリプタ生成部５０２は、空間階層画像符号化とマルチビュー画像符号化とを組み合わせた符号化に対応するデスクリプタ（以後、ＳＶＣ−ＭＶＣ拡張デスクリプタと呼ぶ）を生成する。

図１４にＳＶＣ−ＭＶＣ拡張デスクリプタの一例を示す。ＳＶＣ−ＭＶＣ拡張デスクリプタは、ＳＶＣ−ＭＶＣサブビットストリームに関する情報であるため、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄとｖｉｅｗ＿ｉｄ（ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ）とに係る情報を含む。次に、ＳＶＣ−ＭＶＣ拡張デスクリプタに含まれる各フィールドについて説明する。図１のＳＶＣ拡張デスクリプタ、または、図３のＭＶＣ拡張デスクリプタに含まれるフィールドと同じフィールドについては、すでに説明したとおりである。

ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇはデスクリプタを識別するための識別子であり、ＳＶＣ−ＭＶＣ拡張デスクリプタには特定の値（例えば、５０から６３のいずれか）が割当てられている。

ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔは、そのＳＶＣ−ＭＶＣサブビットストリームに含まれるＮＡＬユニットのｄｅｐｅｎｄｅｎｃｙ＿ｉｄの最小値を示す。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｅｎｄは、そのＳＶＣ−ＭＶＣサブビットストリームに含まれるＮＡＬユニットのｄｅｐｅｎｄｅｎｃｙ＿ｉｄの最大値を示す。

すなわち、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄの値として、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔからｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｅｎｄまでの値を有するＮＡＬユニットが、そのＳＶＣ−ＭＶＣサブビットストリームに含まれる。

また、先の説明では、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、ｖｉｅｗ＿ｉｄは、ＮＡＬユニットヘッダ又はＮＡＬユニットヘッダの拡張部に含まれているが、これに限られない。例えば、ＮＡＬユニットヘッダに挿入されたレイヤＩＤに基づき、ＳＰＳなどの上位レイヤの情報からレイヤＩＤに対応するｖｉｅｗ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄおよびｄｅｐｅｎｄｅｎｃｙ＿ｉｄが取得されてもよい。

次に、ＳＶＣ−ＭＶＣ拡張デスクリプタに含まれる一部のフィールドの値について、図１３を用いて具体的に説明する。図１３の（ａ）のＳＶＣ−ＭＶＣサブビットストリームについてのＳＶＣ−ＭＶＣ拡張デスクリプタでは、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔは０であり、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｅｎｄは０であり、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍｉｎは０であり、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍａｘは０である。

また、図１３の（ｂ）では、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔは１であり、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｅｎｄは２であり、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍｉｎは０であり、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍａｘは０である。また、図１３の（ｃ）では、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔは０であり、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｅｎｄは０であり、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍｉｎは１であり、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍａｘは３である。

また、図１３の（ｄ）では、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔは１であり、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｅｎｄは２であり、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍｉｎは１であり、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍａｘは３である。

つまり、そのサブビットストリームに１種類のｄｅｐｅｎｄｅｎｃｙ＿ｉｄしか含まれていない場合には、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔとｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｅｎｄには同じ値が設定される。同様に、そのサブビットストリームに１種類のｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘしか含まれていない場合には、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍｉｎとｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍａｘには同じ値が設定される。

図１４のＳＶＣ−ＭＶＣ拡張デスクリプタを用いることにより、デスクリプタ生成部５０２は、サブビットストリーム生成部５０１から出力されるさまざまなＳＶＣ−ＭＶＣサブビットストリームに対応するデスクリプタを柔軟に生成することができる。

以上の通り、本実施の形態では、サブビットストリーム生成部５０１は、複数のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ（レイヤ識別子）を有するサブビットストリームを生成する。そして、デスクリプタ生成部５０２は、複数のｄｅｐｅｎｄｅｎｃｙ＿ｉｄの最小値を示すフィールド（第１フィールド）と最大値を示すフィールド（第２フィールド）とを含むデスクリプタを生成する。したがって、本実施の形態に係る画像符号化装置は、柔軟にサブビットストリームを生成することができる。

また、サブビットストリーム生成部５０１は、複数のｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ（ビュー識別子）を有するサブビットストリームを生成してもよい。そして、デスクリプタ生成部５０２は、複数のｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘの最小値を示すフィールド（第３フィールド）と最大値を示すフィールド（第４フィールド）とを含むデスクリプタを生成してもよい。これにより、画像符号化装置は、さらに柔軟にサブビットストリームを生成することができる。

例えば、空間階層画像符号化とマルチビュー画像符号化とを組み合わせた符号化が行われる場合、デスクリプタ生成部５０２は、これらの符号化に対応するＳＶＣ−ＭＶＣ拡張デスクリプタを用いる。これにより、柔軟にサブビットストリームが生成される。

（実施の形態２）
図１５は、ＳＶＣ−ＭＶＣサブビットストリームをペイロードに含むＴＳパケットを受信するＭＰＥＧ−２システムデコーダの構成を示すブロック図である。図１５に示されたＭＰＥＧ−２システムデコーダ６００は、画像復号装置の例である。ＭＰＥＧ−２システムデコーダ６００は、ＴＳパケット受信部６０１、デスクリプタ解析部６０２、および、サブビットストリーム制御部６０３を備えている。なお、デマルチプレクシング部等の従来からあるいくつかの機能ブロックは省略している。

ＴＳパケット受信部６０１は、ＴＳパケットを受信する。そして、ＴＳパケット受信部６０１は、ＴＳパケットヘッダを解析し、ペイロードのデータを取得する。

デスクリプタ解析部６０２は、ＴＳパケットのペイロードから抽出されたデスクリプタを解析する。本実施の形態に係るデスクリプタ解析部６０２は、図１４に示されたＳＶＣ−ＭＶＣ拡張デスクリプタの解析を行うことができる。

サブビットストリーム制御部６０３は、デスクリプタ解析部６０２から出力されるデスクリプタ情報に基づき、対応するサブビットストリームの制御を行う。

図１６は、ＭＰＥＧ−２システムデコーダ６００におけるＳＶＣ−ＭＶＣサブビットストリームの処理の流れを示す処理フローを示す。まず、ＴＳパケット受信部６０１がＳＶＣ−ＭＶＣサブビットストリームを受信する（ステップＳ１）。次に、サブビットストリーム制御部６０３は、そのＳＶＣ−ＭＶＣサブビットストリームに対応するＳＶＣ−ＭＶＣ拡張デスクリプタの情報を参照する（ステップＳ２）。この情報は、デスクリプタ解析部６０２から出力される。

サブビットストリーム制御部６０３は、ＳＶＣ−ＭＶＣ拡張デスクリプタの情報のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔおよびｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｅｎｄの値からそのＳＶＣ−ＭＶＣサブビットストリームに含まれている空間レイヤを認識する。また、サブビットストリーム制御部６０３は、ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍｉｎおよびｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ＿ｍａｘの値からそのＳＶＣ−ＭＶＣサブビットストリームに含まれるビューオーダーを認識する。

そして、サブビットストリーム制御部６０３は、デコーダ側システムにおいて設定されている所定の基準に従い、そのＳＶＣ−ＭＶＣサブビットストリームの処理を判断（決定）する（ステップＳ３）。例えば、拡張レイヤを復号および表示しないという基準が設定されている場合、サブビットストリーム制御部６０３は、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＿ｓｔａｒｔが１以上のＳＶＣ−ＭＶＣサブビットストリームをビデオデコーダに入力せずに廃棄する。

以上のように、本実施の形態では、複数のｄｅｐｅｎｄｅｎｃｙ＿ｉｄの最小値を示すフィールドと最大値を示すフィールドとを含むデスクリプタが用いられる。したがって、効率的な処理が可能である。さらに、デスクリプタは、複数のｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘの最小値を示すフィールドと最大値を示すフィールドとを含んでもよい。これにより、さらに効率的な処理が可能である。

また、空間階層画像符号化とマルチビュー画像符号化とに対応するＳＶＣ−ＭＶＣ拡張デスクリプタが用いられることにより、システム層でのサブビットストリームの管理が容易になる。例えば、ＭＰＥＧ−２システムデコーダ６００が、ＳＶＣ−ＭＶＣ拡張デスクリプタを参照し、ＳＶＣ−ＭＶＣサブビットストリームの廃棄を行うことにより、ビデオデコーダの負荷を軽減することができる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

言い換えると、画像符号化装置および画像復号装置は、制御回路（ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔｒｙ）と、当該制御回路に電気的に接続された（当該制御回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。制御回路は、専用のハードウェアおよびプログラム実行部の少なくとも一方を含む。また、記憶装置は、制御回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。

ここで、上記各実施の形態の画像符号化装置または画像復号装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、複数の画像を空間階層画像符号化に従ってレイヤ毎に符号化することで得られる複数の第１サブビットストリームから、２つ以上のレイヤに対応する２つ以上の第１サブビットストリームを含む第２サブビットストリームを生成するサブビットストリーム生成ステップと、前記２つ以上のレイヤを示す２つ以上のレイヤ識別子の最小値を示す第１フィールドと、前記２つ以上のレイヤ識別子の最大値を示す第２フィールドとを含むデスクリプタを生成するデスクリプタ生成ステップとを含む画像符号化方法を実行させる。

また、このプログラムは、コンピュータに、複数の画像を空間階層画像符号化に従ってレイヤ毎に符号化することで得られる複数の第１サブビットストリームを含むビットストリームから、２つ以上のレイヤに対応する２つ以上の第１サブビットストリームを含む第２サブビットストリームのデスクリプタと、前記第２サブビットストリームとを取得する取得ステップと、前記２つ以上のレイヤを示す２つ以上のレイヤ識別子の最小値を示す第１フィールドと、前記２つ以上のレイヤ識別子の最大値を示す第２フィールドとを含む前記デスクリプタを解析する解析ステップと、前記第１フィールドによって示される前記最小値と、前記第２フィールドによって示される前記最大値とに基づいて、前記デスクリプタに対応する前記第２サブビットストリームの処理を決定する決定ステップとを含む画像復号方法を実行させてもよい。

以上、一つまたは複数の態様に係る画像符号化装置および画像復号装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

（実施の形態３）
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０６、ex１０７、ex１０８、ex１０９、ex１１０が設置されている。

このコンテンツ供給システムex１００は、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０６からex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１７のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。

また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムex１００の例に限らず、図１８に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１９は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。

また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。

まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図２０に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２１に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図１９に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。

図２２Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。

さらに、携帯電話ex１１４の構成例について、図２２Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。

電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。

携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。

多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。

また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態４）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図２３は、多重化データの構成を示す図である。図２３に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２４は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２５における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２５の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図２６は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２６下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図２７はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図２８に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図２８に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図２９に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図３０に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態５）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３１に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。

なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ex５０１が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５０１の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。このようなプログラマブル・ロジック・デバイスは、典型的には、ソフトウェア又はファームウェアを構成するプログラムを、ロードする又はメモリ等から読み込むことで、上記各実施の形態で示した動画像符号化方法、又は動画像復号化方法を実行することができる。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態６）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビex３００、ＬＳＩex５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３２は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ex８０３は、図３１のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図３１の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態４で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態４で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図３４のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図３３は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態７）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３５Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。特に、本発明の一態様は、システムデコーダ処理に特徴を有していることから、例えば、システムデコーダ処理については専用の復号処理部ex９０１を用い、それ以外のエントロピー復号、デブロッキング・フィルタ、動き補償、逆量子化のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図３５Ｂのex１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

本発明は、例えば、テレビジョン受像機、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、または、デジタルビデオカメラ等に利用可能である。

１００ 空間階層画像符号化装置
１０１、２０１、４０１ 入力画像制御部
１０２ ダウンサンプリング部
１０３ ベースレイヤ符号化部
１０４ 拡大伸張部
１０５ 拡張レイヤ符号化部
２００、３０１ マルチビュー画像符号化装置
２０２ ベースビュー符号化部
２０３ 拡張ビュー符号化部
３００ 送信側システム
３０２、５００ ＭＰＥＧ−２システムエンコーダ
４００ 空間階層−マルチビュー動画像符号化装置
４０２ 第１ダウンサンプリング部
４０３ ベースビューベースレイヤ符号化部
４０４ ベースビュー拡張レイヤ符号化部
４０５ 第１拡大伸張部
４０６ 第２ダウンサンプリング部
４０７ 拡張ビューベースレイヤ符号化部
４０８ 拡張ビュー拡張レイヤ符号化部
４０９ 第２拡大伸張部
５０１ サブビットストリーム生成部
５０２ デスクリプタ生成部
６００ ＭＰＥＧ−２システムデコーダ
６０１ ＴＳパケット受信部
６０２ デスクリプタ解析部
６０３ サブビットストリーム制御部

Claims (6)

1. 複数の画像を空間階層画像符号化およびマルチビュー画像符号化に従ってレイヤ毎およびビュー毎に符号化することで得られる複数のサブビットストリームであり複数のレイヤおよび複数のビューに対応する複数のサブビットストリームである複数の第１サブビットストリームから、少なくとも１つのレイヤおよび少なくとも１つのビューに対応する少なくとも１つの第１サブビットストリームをそれぞれが含む複数のサブビットストリームであり前記複数の第１サブビットストリームとは異なる複数のサブビットストリームである複数の第２サブビットストリームを生成するサブビットストリーム生成ステップと、
   前記複数の第２サブビットストリームのそれぞれについて、前記少なくとも１つのレイヤを示す少なくとも１つのレイヤ識別子の最小値を示す第１フィールドと、前記少なくとも１つのレイヤ識別子の最大値を示す第２フィールドと、前記少なくとも１つのビューを示す少なくとも１つのビュー識別子の最小値を示す第３フィールドと、前記少なくとも１つのビュー識別子の最大値を示す第４フィールドとを含むデスクリプタを生成するデスクリプタ生成ステップとを含み、
   前記複数の第２サブビットストリームは、
   （１）前記複数のレイヤのうちベースレイヤのみに対応し、かつ、前記複数のビューのうちベースビューのみに対応する第２サブビットストリームと、
   （２）前記複数のレイヤのうち前記ベースレイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の複数の拡張ビューのみに対応する第２サブビットストリームと、
   （３）前記複数のレイヤのうち前記ベースレイヤ以外の複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビューのみに対応する第２サブビットストリームと、
   （４）前記複数のレイヤのうち前記ベースレイヤ以外の前記複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の前記複数の拡張ビューのみに対応する第２サブビットストリームと
   で構成される４つの第２サブビットストリームである
   画像符号化方法。
2. 前記デスクリプタ生成ステップでは、ＭＰＥＧ−２システムで利用可能な前記デスクリプタを生成する
   請求項１に記載の画像符号化方法。
3. 複数の画像を空間階層画像符号化およびマルチビュー画像符号化に従ってレイヤ毎およびビュー毎に符号化することで得られる複数のサブビットストリームであり複数のレイヤおよび複数のビューに対応する複数のサブビットストリームである複数の第１サブビットストリームを含むビットストリームから、少なくとも１つのレイヤおよび少なくとも１つのビューに対応する少なくとも１つの第１サブビットストリームをそれぞれが含む複数のサブビットストリームであり前記複数の第１サブビットストリームとは異なる複数のサブビットストリームである複数の第２サブビットストリームにおける第２サブビットストリームのデスクリプタと、前記第２サブビットストリームとを取得する取得ステップと、
   前記少なくとも１つのレイヤを示す少なくとも１つのレイヤ識別子の最小値を示す第１フィールドと、前記少なくとも１つのレイヤ識別子の最大値を示す第２フィールドと、前記少なくとも１つのビューを示す少なくとも１つのビュー識別子の最小値を示す第３フィールドと、前記少なくとも１つのビュー識別子の最大値を示す第４フィールドとを含む前記デスクリプタを解析する解析ステップと、
   前記第１フィールドによって示される前記最小値と、前記第２フィールドによって示される前記最大値と、前記第３フィールドによって示される前記最小値と、前記第４フィールドによって示される前記最大値とに基づいて、前記デスクリプタに対応する前記第２サブビットストリームの処理を決定する決定ステップとを含み、
   前記複数の第２サブビットストリームは、
   （１）前記複数のレイヤのうちベースレイヤのみに対応し、かつ、前記複数のビューのうちベースビューのみに対応する第２サブビットストリームと、
   （２）前記複数のレイヤのうち前記ベースレイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の複数の拡張ビューのみに対応する第２サブビットストリームと、
   （３）前記複数のレイヤのうち前記ベースレイヤ以外の複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビューのみに対応する第２サブビットストリームと、
   （４）前記複数のレイヤのうち前記ベースレイヤ以外の前記複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の前記複数の拡張ビューのみに対応する第２サブビットストリームと
   で構成される４つの第２サブビットストリームである
   画像復号方法。
4. 前記解析ステップでは、ＭＰＥＧ−２システムで利用可能な前記デスクリプタを解析する
   請求項３に記載の画像復号方法。
5. 制御回路と、
   前記制御回路に電気的に接続される記憶装置とを備え、
   前記制御回路は、
   複数の画像を空間階層画像符号化およびマルチビュー画像符号化に従ってレイヤ毎およびビュー毎に符号化することで得られる複数のサブビットストリームであり複数のレイヤおよび複数のビューに対応する複数のサブビットストリームである複数の第１サブビットストリームから、少なくとも１つのレイヤおよび少なくとも１つのビューに対応する少なくとも１つの第１サブビットストリームをそれぞれが含む複数のサブビットストリームであり前記複数の第１サブビットストリームとは異なる複数のサブビットストリームである複数の第２サブビットストリームを生成するサブビットストリーム生成ステップと、
   前記複数の第２サブビットストリームのそれぞれについて、前記少なくとも１つのレイヤを示す少なくとも１つのレイヤ識別子の最小値を示す第１フィールドと、前記少なくとも１つのレイヤ識別子の最大値を示す第２フィールドと、前記少なくとも１つのビューを示す少なくとも１つのビュー識別子の最小値を示す第３フィールドと、前記少なくとも１つのビュー識別子の最大値を示す第４フィールドとを含むデスクリプタを生成するデスクリプタ生成ステップとを実行し、
   前記複数の第２サブビットストリームは、
   （１）前記複数のレイヤのうちベースレイヤのみに対応し、かつ、前記複数のビューのうちベースビューのみに対応する第２サブビットストリームと、
   （２）前記複数のレイヤのうち前記ベースレイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の複数の拡張ビューのみに対応する第２サブビットストリームと、
   （３）前記複数のレイヤのうち前記ベースレイヤ以外の複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビューのみに対応する第２サブビットストリームと、
   （４）前記複数のレイヤのうち前記ベースレイヤ以外の前記複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の前記複数の拡張ビューのみに対応する第２サブビットストリームと
   で構成される４つの第２サブビットストリームである
   画像符号化装置。
6. 制御回路と、
   前記制御回路に電気的に接続される記憶装置とを備え、
   前記制御回路は、
   複数の画像を空間階層画像符号化およびマルチビュー画像符号化に従ってレイヤ毎およびビュー毎に符号化することで得られる複数のサブビットストリームであり複数のレイヤおよび複数のビューに対応する複数のサブビットストリームである複数の第１サブビットストリームを含むビットストリームから、少なくとも１つのレイヤおよび少なくとも１つのビューに対応する少なくとも１つの第１サブビットストリームをそれぞれが含む複数のサブビットストリームであり前記複数の第１サブビットストリームとは異なる複数のサブビットストリームである複数の第２サブビットストリームにおける第２サブビットストリームのデスクリプタと、前記第２サブビットストリームとを取得する取得ステップと、
   前記少なくとも１つのレイヤを示す少なくとも１つのレイヤ識別子の最小値を示す第１フィールドと、前記少なくとも１つのレイヤ識別子の最大値を示す第２フィールドと、前記少なくとも１つのビューを示す少なくとも１つのビュー識別子の最小値を示す第３フィールドと、前記少なくとも１つのビュー識別子の最大値を示す第４フィールドとを含む前記デスクリプタを解析する解析ステップと、
   前記第１フィールドによって示される前記最小値と、前記第２フィールドによって示される前記最大値と、前記第３フィールドによって示される前記最小値と、前記第４フィールドによって示される前記最大値とに基づいて、前記デスクリプタに対応する前記第２サブビットストリームの処理を決定する決定ステップとを実行し、
   前記複数の第２サブビットストリームは、
   （１）前記複数のレイヤのうちベースレイヤのみに対応し、かつ、前記複数のビューのうちベースビューのみに対応する第２サブビットストリームと、
   （２）前記複数のレイヤのうち前記ベースレイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の複数の拡張ビューのみに対応する第２サブビットストリームと、
   （３）前記複数のレイヤのうち前記ベースレイヤ以外の複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビューのみに対応する第２サブビットストリームと、
   （４）前記複数のレイヤのうち前記ベースレイヤ以外の前記複数の拡張レイヤのみに対応し、かつ、前記複数のビューのうち前記ベースビュー以外の前記複数の拡張ビューのみに対応する第２サブビットストリームと
   で構成される４つの第２サブビットストリームである
   画像復号装置。

Images