WO2012108210A1

WO2012108210A1 - ビデオストリームの映像のデータ作成装置及び再生装置

Info

Publication number: WO2012108210A1
Application number: PCT/JP2012/000899
Authority: WO
Inventors: 泰治佐々木; 洋矢羽田; 智輝小川; 遠間　正真
Original assignee: パナソニック株式会社
Priority date: 2011-02-10
Filing date: 2012-02-10
Publication date: 2012-08-16
Also published as: MX2013008310A; US20130315573A1; JP6008292B2; CA2823289A1; BR112013020175A2; JPWO2012108210A1; US9025941B2; TW201242373A

Abstract

第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置は、ＭＰＥＧ－２形式のストリームと、ＭＰＥＧ－４　ＭＶＣ形式に準拠したベースビュービデオストリーム及びディペンデントビュービデオストリームと、を生成する。前記ＭＰＥＧ－２形式のストリームは、前記第１フレーム画像群を圧縮符号化したストリームである。また、前記ベースビュービデオストリームは、前記ＭＰＥＧ－２形式のストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームであり、前記ディペンデントビュービデオストリームは、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ－２形式のストリームのフレームを参照画像として前記第２フレーム画像群を圧縮符号化したストリームである。

Description

ビデオストリームの映像のデータ作成装置及び再生装置

　本発明は映像を記録又は伝送するための符号化、及び復号して再生する技術に関し、特に３Ｄ映像データのデータ作成装置及びその再生装置に関する。

　３Ｄ映像を圧縮符号化する方式として、ＭＰＥＧ－４　ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）と呼ばれるＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の修正規格（非特許文献１）がある。このＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化方式を利用すれば、圧縮率の高い圧縮符号化を実現した３Ｄ映像のビデオストリームを生成することができる。

　日本や米国のデジタルテレビ放送では現在、ＭＰＥＧ－２のビデオストリームを用いているので、既存の再生装置での２Ｄ映像の再生を維持しながら３Ｄ映像のデジタルテレビ放送を提供するためには、一案としてＭＰＥＧ－２形式のビデオストリームとは別にＭＰＥＧ－４　ＭＶＣ形式のビデオストリームを同時に配信することが考えられる。

「ＭＰＥＧ－４Ｐａｒｔ１０ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ」、ＩＳＯ／ＩＥＣ、１４４９６－１０、２００３

しかしながら、ＭＰＥＧ－２ビデオのビデオストリームとＭＰＥＧ－４　ＭＶＣ形式のビデオストリームとを配信しようとすると、データ量が増加するので、ビデオストリーム全体が占める帯域が増加する。放送波の使用できる帯域には制約があり、その帯域に収めるためには、ビデオストリーム全体のデータ量を削減することが求められる。

　そこで本発明では、係る問題に鑑みてなされたものであり、ＭＰＥＧ－２形式のビデオストリームに対応した既存の再生装置での再生を維持しながら、３Ｄ映像に対応したビデオストリームを、データ量を削減して生成するデータ作成装置、及びこのようなビデオストリームの再生装置を提供することを目的とする。

　上記課題を解決するために本発明に係るデータ作成装置は、第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置であって、前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、ＭＰＥＧ－４　ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、前記第１、第２符号化手段により生成されたストリームを送出する送出手段とを備え、前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ－２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成することを特徴とする。

　また、本発明に係る再生装置は、前記データ作成装置で送出されたストリームを取得する取得手段と、前記取得手段により取得された前記ストリームに含まれるＭＰＥＧ－２形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段とを備えることを特徴とする。

　上述の構成により、本発明に係るデータ作成装置は、ＭＰＥＧ－２形式のビデオストリームに対応した既存の再生装置での再生を維持しながら、３Ｄ映像に対応したビデオストリームを、データ量を削減して生成することができる。

　また、本発明に係る再生装置は、上記の３Ｄ映像に対応したビデオストリームを再生することができる。

ビデオストリームのピクチャの参照関係を示す図。ＭＰＥＧ－４　ＭＶＣ形式による圧縮符号化方式を示す図。ベースビューの圧縮符号化方式と、ディペンデントビューの圧縮符号化方式が異なる場合のピクチャ参照を示す図。２Ｄ映像とデプスマップから左目用画像と右目用画像の視差画像を生成する場合の概念図。再生装置の使用態様を示す図。トランスポートストリーム形式のデジタルストリームの概念構成図。ビデオストリームの構造の概念図。クロッピング領域情報とスケーリング情報の概念図。クロッピング領域情報とスケーリング情報の具体的な指定方法を示す図。ＰＥＳパケットの概念構成図。トランスポートストリームを構成するＴＳパケットのデータ構造を示す図。ＰＭＴのデータ構造を示す図。立体視画像の表示の一例を示す図。Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式の概念図。ＭＰＥＧ－４　ＭＶＣ形式のビュービデオストリームの内部構成の一例を示す図。ビデオストリームのアクセスユニットの内部構成の概念図。ベースビュービデオストリームの各ピクチャと右目用画像ビデオストリームの各ピクチャのビデオアクセスユニットの構成を示す図。ベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳとＤＴＳの関係を示す図。ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図。ディペンデントＧＯＰに含まれるビデオアクセスユニットの構成を示す図。トランスポートストリームのデータ構造を示す図。本実施の形態において、２Ｄ互換ビデオストリームをＭＰＥＧ－２ビデオ、マルチビュービデオストリームをＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化方式としたときに、一致させるビデオ属性とそのビデオ属性を示すための各フィールド名を示す図。トランスポートストリーム中における２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳ、ＤＴＳ及びピクチャタイプの関係の例を示す図。２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームにおいて、特殊再生を容易にするための好適なピクチャタイプの関係を示す図。２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図。本実施の形態に係るデータ作成装置を示す図。本実施の形態に係るデータ作成装置のデータ作成フローを示す図。本実施の形態に係る３Ｄ映像を再生する再生装置の構成を示す図。ビデオデコーダとマルチビュービデオデコーダの機能構成を示すブロック図。本実施の形態に係る再生装置の３Ｄ映像におけるデコード処理と出力処理のフローチャート。本実施の形態に係る３Ｄ映像の再生装置におけるＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒの管理を示す図。本実施の形態に係る３Ｄ映像の再生装置におけるＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒの管理の変形例を示す図。本実施の形態に係る３Ｄ映像の再生装置におけるバッファの共用を示す図。本実施の形態に係る３Ｄ映像の再生装置における映像出力処理の変形例を示す図。本実施の形態に係る３Ｄ映像のトランスポートストリームにおけるＰＴＳとＤＴＳの付与方法の変形例を示す図。トランスポートストリームの構成とＰＭＴパケットの関係を示す図。３Ｄ情報ディスクリプタの構造を示す図。３Ｄ情報ディスクリプタの再生方式を示す図。３Ｄストリームディスクリプタの構造を示す図。本実施の形態に係る３Ｄ映像の再生装置において再生方式に従ったスイッチ方法を示す図。再生方式とコーデック間参照スイッチとプレーンセレクタの関係を示す図。再生方式の切り替わりをスムーズに遷移するための２Ｄ移行区間を示す図。２Ｄ互換ビデオストリームのデコード結果に対する高画質フィルタを適用する場合の符号装置の機能構成を示すブロック図。２Ｄ互換ビデオストリームのデコード結果に対する高画質フィルタを適用する場合の再生装置の機能構成を示すブロック図。ベースビュービデオとディペンデントビュービデオが同一ストリームで転送される場合の本実施の形態に係る３Ｄ映像の再生装置の機能構成を示すブロック図。

＜１．実施の形態１＞
　＜１－１．概要＞
　本発明の一実施の形態に係る放送システムは、２Ｄ映像として、既存技術であるＭＰＥＧ－２形式のストリームを生成し、３Ｄ映像として、ＭＰＥＧ－４　ＭＶＣ形式を拡張した新規形式（本明細書において、この形式をＭＰＥＧ－４　ＭＶＣに準拠という。）のベースビュービデオストリームとディペンデントビュービデオストリームとを生成し、送出する。

　受信側では、再生装置の中の、２Ｄ再生部分がＭＰＥＧ－２形式のストリームを既存の復号方式で復号して再生し、３Ｄ再生部分が、ＭＰＥＧ－４　ＭＶＣに準拠したベースビュービデオストリームとディペンデントビュービデオストリームを、新規符号化に対応した復号形式で復号して再生する。
図２１は、本実施の形態における放送システムによって作成されたトランスポートストリームのデータ構造を示している。同図に示されるように、トランスポートストリームは、２Ｄ互換ビデオストリームＡとマルチビュービデオストリームＢとからなる。後者のマルチビュービデオストリームＢは、ベースビュービデオストリームＢ１と、ディペンデントビュービデオストリームＢ２とからなる。
前記２Ｄ互換ビデオストリームＡは、左目用画像を圧縮符号化して作成され、ベースビュービデオストリームＢ１は、黒などの単色映像（以下、「黒画像」という。）を圧縮符号化して作成される。
更に、ディペンデントビュービデオストリームＢ２は、左目用画像と右目用画像の差分を圧縮符号化して生成される。先に述べたようにベースビュービデオストリームＢ１は、黒画像を圧縮符号化したものであるので、ディペンデントビュービデオストリームＢ２を生成する際の参照画像として用いることができない。この点が、既存のＭＰＥＧ－４　ＭＶＣ形式と異なっているところであり、参照画像は、２Ｄ互換ビデオストリームＡの同時刻のフレーム画像に設定されている。

　このようなＭＰＥＧ－４　ＭＶＣに準拠した形式のストリームとすると、２Ｄ映像と３Ｄ映像の両方を送信できると共に、ベースビュービデオストリームＢ１が、黒画像を圧縮符号化するので、ビットレートを極端に低くすることができ、結果として既存の割り当てられた周波数帯域の範囲において、２Ｄ映像と３Ｄ映像の双方を送出できるのである。
ＭＰＥＧ－４　ＭＶＣ形式で圧縮符号化されたストリームの復号処理では、ベースビュービデオストリームのフレーム画像を参照してディペンデントビュービデオストリームを復号するが、本実施の形態では、ＭＰＥＧ－２互換ストリーム、すなわち、左目用画像のフレーム画像を参照画像として、ディペンデントビュービデオストリームを復号できるようにしている。
ＭＰＥＧ－４　ＭＶＣに準拠した形式では、具体的には、復号の際の参照先を、ベースビュービデオストリームから、ＭＰＥＧ－２互換ビデオストリームに変更することを再生側に指示するディスクリプタ等を規定している。
以下、本発明の実施の形態に係るデータ作成装置及び再生装置について図面を参照しながら説明する。
＜１－２．データ作成装置＞
　＜１－２－１．構成＞
　以下、本発明に係るデータ作成装置の一実施形態について図を参照しながら説明する。

　図２６は本実施の形態に係るデータ作成装置２６０１の機能構成のブロック図である。

　データ作成装置２６０１は、３Ｄ映像を構成する左目用画像と右目用画像、及び黒画像を入力として、後述するデータフォーマットの２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームからなるトランスポートストリームを出力する。

　データ作成装置２６０１は、２Ｄ互換ビデオエンコーダ２６０２、Ｄｅｃ（２Ｄ互換ビデオデコーダ）２６０３、拡張マルチビュービデオエンコーダ２６０４、及びマルチプレクサ２６１０を備える。

　拡張マルチビュービデオエンコーダ２６０４は、ベースビュービデオエンコーダ２６０５、２Ｄ互換ビデオフレームメモリ２６０８、及びディペンデントビュービデオエンコーダ２６０９を備える。

　２Ｄ互換ビデオエンコーダ２６０２は、左目用画像を入力として、ＭＰＥＧ－２形式で圧縮符号化し、２Ｄ互換ビデオストリームを生成して出力する。

　Ｄｅｃ２６０３は、２Ｄ互換ビデオストリーム内の圧縮符号化されたピクチャを復号し、その結果得られる復号ピクチャと、２Ｄ互換ビデオ符号化情報２６０６とを出力する。ここで、ピクチャとは、フレーム又はフィールドを構成する画像であり１つの符号化の単位である。
復号ピクチャは、拡張マルチビュービデオエンコーダ２６０４の２Ｄ互換ビデオフレームメモリ２６０８に格納される。また、２Ｄ互換ビデオ符号化情報２６０６は、ベースビュービデオエンコーダ２６０５に入力される。

　２Ｄ互換ビデオ符号化情報２６０６は、復号した２Ｄ互換ビデオストリームの、属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、該当ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報の情報を含む構成である。

　２Ｄ互換ビデオフレームメモリ管理情報は、２Ｄ互換ビデオフレームメモリ２６０８に格納される復号ピクチャのメモリアドレスと該当ピクチャの表示順情報（ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）やｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ）と符号順情報（ファイルの符号順やＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ））とを関連付した情報である。

　拡張マルチビュービデオエンコーダ２６０４は、Ｄｅｃ２６０３から出力される復号ピクチャと、２Ｄ互換ビデオ符号化情報と、右目用画像と、黒画像とを入力として、圧縮符号化を行い、ベースビュービデオストリーム、ディペンデントビュービデオストリームを出力する。

　ベースビュービデオエンコーダ２６０５は、ＭＰＥＧ－４　ＭＶＣ形式に準拠して圧縮符号化したデータをベースビュービデオストリームとして出力する機能を有し、２Ｄ互換ビデオ符号化情報２６０６に従って、黒画像を圧縮符号化して、ベースビュービデオストリームとベースビュービデオ符号化情報２６０７とを出力する。

　ベースビュービデオ符号化情報２６０７は、ベースビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースの区別など）、該当ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ構造、及びベースビュービデオフレームメモリ管理情報を含む構成である。

　ベースビュービデオエンコーダ２６０５は、ベースビュービデオ符号化情報２６０７を出力の際に、ベースビュービデオストリームの属性情報を２Ｄ互換ビデオ符号化情報２６０６に含まれるビデオの属性情報と同じ値にする。さらに、ベースビュービデオエンコーダ２６０５は、２Ｄ互換ビデオ符号化情報２６０６に含まれるピクチャの属性情報（ピクチャタイプなど）やＧＯＰ構造に従って、同一表示時刻のピクチャの圧縮符号化の際のピクチャタイプを決定して、黒画像を圧縮符号化する。例えば、時刻ａのピクチャの２Ｄ互換ビデオ符号化情報２６０６で示されるピクチャタイプがＩピクチャで、当該ピクチャがＧＯＰ先頭のピクチャであれば、ベースビュービデオエンコーダ２６０５は、同一表示時刻を示す黒画像をＩピクチャになるように圧縮符号化し、ベースビュービデオストリームのＧＯＰ先頭のビデオアクセスユニットとする。

　また、時刻ｂのピクチャの２Ｄ互換ビデオ符号化情報２６０６で示されるピクチャタイプがＢピクチャの場合は、ベースビュービデオエンコーダ２６０５は、同一表示時刻を示す黒画像をＢピクチャになるように圧縮符号化する。このとき、ベースビュービデオストリームのＤＴＳやＰＴＳを、２Ｄ互換ビデオストリームの同時刻を示すビューに対応するピクチャのＤＴＳやＰＴＳにそれぞれ一致させる。

　ベースビュービデオフレームメモリ管理情報は、２Ｄ互換ビデオフレームメモリ管理情報を元に、２Ｄ互換ビデオストリームを復号して得られた復号ピクチャを格納しているフレームメモリ２６０８のメモリアドレスと、当該復号ピクチャの表示順情報と符号順情報とを示すｓｙｎｔａｘ要素をベースビュービデオストリームの圧縮符号化方式の規則に則ったｓｙｎｔａｘ要素に変換して関連付けした情報である。ｓｙｎｔａｘ要素とは、ＭＰＥＧ－２やＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化方式における符号化に必要な属性情報を規定した要素で、例えば、マクロブロックタイプ等のヘッダ情報、動きベクトル、変換係数などを示す要素である。

　ディペンデントビュービデオエンコーダ２６０９は、ＭＰＥＧ－４　ＭＶＣ形式に準拠して圧縮符号化し、ディペンデントビュービデオストリームを生成する機能を有し、ベースビュービデオ符号化情報２６０７に含まれる情報を元に、右目用画像を圧縮符号化し、ディペンデントビュービデオストリームを出力する。このとき、ディペンデントビュービデオエンコーダ２６０９は、ビュー間参照として、２Ｄ互換ビデオフレームメモリ内の復号ピクチャを用いて、圧縮符号化を行う。ここで、ビュー間参照とは、異なる視点からのビューを示すピクチャを参照することをいう。
ディペンデントビュービデオエンコーダ２６０９は、ビュー間参照を実行するための参照ピクチャＩＤを、ベースビュービデオ符号化情報２６０７のベースビュービデオフレームメモリ管理情報に基づいて決定する。さらに、ディペンデントビュービデオエンコーダ２６０９は、ディペンデントビュービデオストリームのビデオの属性情報をベースビュービデオ符号化情報２６０７に含まれるベースビュービデオストリームの属性情報の値と同じ値を設定する。

　さらに、ディペンデントビュービデオエンコーダ２６０９は、ベースビュービデオ符号化情報２６０７に格納されているピクチャの属性情報（例えば、ピクチャタイプ）とＧＯＰ構造とに基づいて、符号化対象の画像のピクチャタイプを決定して、右目用画像を圧縮符号化する。例えば、時刻ａのピクチャのベースビュービデオ符号化情報２６０７で示されるピクチャタイプがＩピクチャで、ＧＯＰ先頭であれば、ディペンデントビュービデオエンコーダ２６０９は、同じ時刻ａのピクチャのピクチャタイプをアンカーピクチャにして、右目用画像を圧縮符号化し、ディペンデントＧＯＰ先頭のビデオアクセスユニットとする。アンカーピクチャとは、自ピクチャよりも時間的に前のピクチャを参照しないピクチャであり、自ピクチャから飛び込み再生することが可能なピクチャのことである。また、時刻ｂのピクチャのベースビュービデオ符号化情報２６０７で示されるピクチャタイプがＢピクチャであれば、ディペンデントビュービデオエンコーダ２６０９は、同じ時刻ｂのピクチャのピクチャタイプをＢピクチャにして、右目用画像を圧縮符号化する。

　このとき、ディペンデントビュービデオストリームのＤＴＳやＰＴＳを、ベースビュービデオストリームの同時刻に表示すべきビューに対応するピクチャのＤＴＳやＰＴＳにそれぞれ一致させて圧縮符号化する。

　マルチプレクサ２６１０は、出力された２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームを、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケット化した後にＴＳパケット単位で分割し、多重化したトランスポートストリームとして出力する。

　なお、再生装置が、多重化されたトランスポートストリームのストリームデータから、それぞれのビデオストリームを識別できるようにするために、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームは、それぞれ別々のＰＩＤが設定される。

　＜１－２－２．データフォーマット＞
　次に、データフォーマットについて、図面を参照しながら説明を行う。

　図２２に、ＭＰＥＧ－２形式とＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化において、各圧縮符号化方式で一致させるビデオ属性と、そのビデオ属性を示すための各フィールド名を示す。

　ディペンデントビュービデオストリームのピクチャの復号の際に、異なる圧縮符号化方式である２Ｄ互換ビデオストリームのピクチャを容易に参照できるようにするために、図２２に示すビデオストリームの解像度、アスペクト比、フレームレート、及びプログレッシブかインターレースかを示すビデオ属性の値は、それぞれの符号化形式のピクチャ間で同じになるように構成する。

　図２５は本実施の形態での２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。

　このように、２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰはすべて同じ枚数になるよう構成する。つまり、２Ｄ互換ビデオストリームのピクチャがＧＯＰ先頭の場合には、ＰＴＳが同じ値を持つベースビュービデオストリームのピクチャと、ＰＴＳが同じ値を持つディペンデントビュービデオストリームのピクチャも、それぞれＧＯＰ先頭、ディペンデントＧＯＰの先頭でなければならない。

　このように構成することで、飛び込み再生時に、２Ｄ互換ビデオストリームがＩピクチャであれば、その時刻からすべてのビデオストリームの復号が可能であるため、飛び込み再生時の処理が容易となる。

　トランスポートストリームがファイルとして保存されている場合には、ＧＯＰ先頭のピクチャがファイル上のどこにあるかを示すエントリマップ情報を管理情報として持つことがある。例えばＢｌｕ－ｒａｙ　Ｄｉｓｃのフォーマットでは、そのエントリマップ情報は管理情報ファイルとして別のファイルとして保存される。

　本実施の形態のトランスポートストリームにおいては、２Ｄ互換ビデオストリームのＧＯＰ先頭のピクチャの位置が、エントリマップに登録される場合には、同時刻のベースビューの位置もディペンデントビューの位置もエントリマップに登録するようにする。このようにすることで、エントリマップを参照することで、３Ｄ映像の飛び込み再生が容易になる。

　図３６は、トランスポートストリームの構成とＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）パケットの関係を示している。３Ｄ映像のストリームを含むトランスポートストリームにおいては、ＰＭＴパケットなどのシステムパケット中に、３Ｄ映像の復号処理を行う上でのシグナリング情報を含める。図３６に示すように、ディスクリプタには、各ビデオストリームの関係や本方式の３Ｄ映像再生の開始・終了などのシグナリングを行うための３Ｄ情報ディスクリプタと、ビデオストリームごとに設定される３Ｄストリームディスクリプタを含む構成である。

　図３７は、３Ｄ情報ディスクリプタの構造を示す。

　３Ｄ情報ディスクリプタは、再生方式、左目映像タイプ、２Ｄ互換ビデオＰＩＤ、ベースビュービデオＰＩＤ、及びディペンデントビュービデオＰＩＤから構成される。

　再生方式は、再生装置の再生方法をシグナリングするための情報である。

　図３８を用いて、その再生方式を説明する。

　再生方式の値が「０」の場合は、２Ｄ互換ビデオによる２Ｄ映像再生を示し、この場合には、再生装置は、２Ｄ互換ビデオストリームのみを２Ｄ映像再生する。

　再生方式の値が「１」の場合は、２Ｄ互換ビデオとディペンデントビュービデオによる３Ｄ映像再生（つまり、本実施の形態で説明する３Ｄ映像再生方式であること）を示す。この場合は、再生装置は、２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームを本実施の形態で説明する再生方法で３Ｄ映像再生を行う。なお、本実施の形態における３Ｄ映像の再生方法は後述する。

　再生方式の値が「２」の場合は、ベースビュービデオストリームとディペンデントビュービデオによる３Ｄ映像の再生であることを示す。つまり、２Ｄ互換ビデオストリームと、３Ｄ映像を構成するマルチビュービデオストリームはそれぞれ異なる映像を圧縮符号化して生成したものであり、参照関係にないことを示す。この場合は、再生装置は通常のＭＰＥＧ－４　ＭＶＣ形式で圧縮符号化したビデオストリームとして、そのビデオストリームを３Ｄ映像再生する。

　再生方式の値が「３」の場合は、２Ｄ互換ビデオストリーム又はベースビュービデオストリームをダブリング再生することを示し、再生装置はダブリング再生を行う。ダブリング再生とは、ある時刻ａの左右のビューのどちらか一方のピクチャをＬとＲのどちらのプレーンにも出力することである。この再生方法による再生は、ユーザの視聴画面としては２Ｄ映像再生と等しいが、３Ｄ映像再生時にフレームレートの変更が発生しないので再生装置がＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）等でディスプレイ等に接続されている場合に再認証が発生せず、２Ｄ映像再生区間と３Ｄ映像再生区間とのシームレスな接続再生が実現できる利点がある。

　左目映像タイプは、マルチビュービデオストリームの内、どちらのストリームに左目用画像が圧縮符号化されているか（もう一方のビデオストリームが右目用画像となる）を示す情報である。再生方式の値が「０」の場合は、このフィールドの値は参照する意味がない。再生方式の値が「１」の場合は、２Ｄ互換ビデオとディペンデントビュービデオの内、どちらが左目用画像であるかを示す。すなわち、再生方式の値が「１」で左目映像タイプの値が「０」の場合には、２Ｄ互換ビデオのストリームが左目用画像に対応したビデオストリームであることを示す。再生装置は、再生方式の値が「２」や「３」の場合も同様にして、左目映像タイプの値を参照することによって、どのビデオストリームが左目用画像に対応したビデオストリームであるかを判断することができる。

　２Ｄ互換ビデオＰＩＤ、ベースビュービデオＰＩＤ、及びディペンデントビュービデオＰＩＤは、トランスポートストリーム内の各ビデオストリームのＰＩＤを示す。この情報により、復号対象のストリームを識別できる。

　図３９は、３Ｄストリームディスクリプタを示す。

　３Ｄディスクリプタのフィールド名として、ベースビュービデオタイプ、参照先タイプ、被参照タイプがある。

　ベースビュービデオタイプは、ベースビュービデオストリームにどの映像が圧縮符号化されているかを示す。ベースビュービデオタイプの値が「０」の場合は、３Ｄ映像の左目用画像もしくは右目用画像を圧縮符号化したデータのどちらかが圧縮符号化されているかを示し、「１」の場合は、２Ｄ互換ビデオストリームによって置き換えられプレーンへ出力されないダミー映像として黒画像を圧縮符号化していることを示す。

　参照先タイプは、ディペンデントビュービデオストリームがビュー間参照の参照先のビデオストリームのタイプを示す。参照先タイプの値が「０」の場合は、ベースビュービデオストリームのピクチャをビュー間参照先としていることを示し、「１」の場合は、２Ｄ互換ビデオストリームのピクチャをビュー間参照先としていることを示す。つまり、参照先タイプの値が「１」の場合が本実施の形態における３Ｄ映像方式による参照方式であることを示す。

　被参照タイプは、該当ビデオストリームがビュー間参照されるか否かを示す。参照されないのであれば、ビュー間参照の処理をスキップすることができるため復号処理の負荷を軽減できる。なお、３Ｄ情報ディスクリプタと３Ｄストリームディスクリプタの情報の全て又は一部は、ＰＭＴパケットではなく、各ビデオストリームの補足データ等に格納されてもよい。

　図２３はトランスポートストリーム中における２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳ、ＤＴＳ及びピクチャタイプの関係の例を示している。

　データ作成装置２６０１は、同時刻の左目画像を圧縮符号化して生成した２Ｄ互換ビデオストリームのピクチャとディペンデントビュービデオストリームのピクチャとのＤＴＳ及びＰＴＳの値を、それぞれ同じＤＴＳ及びＰＴＳの値に設定する。また、同時刻に再生されるべきベースビュービデオストリームのピクチャのＰＴＳ、ＤＴＳ、及びＰＯＣに対しても、ディペンデントビュービデオストリームのピクチャのＰＴＳ、ＤＴＳ、及びＰＯＣとそれぞれ同じ値を設定する。

　ディペンデントビュービデオストリームのピクチャのビュー間参照では、この同じ値のＰＴＳ、ＤＴＳ、ＰＯＣを持つベースビュービデオストリームのピクチャを参照する。具体的には、ディペンデントビュービデオストリームのピクチャのビュー間参照では、ディペンデントビュービデオストリームのピクチャの各マクロブロックから指定されるピクチャ参照ＩＤ（ｒｅｆ＿ｉｄｘ＿ｌ０もしくはｒｅｆ＿ｉｄｘ＿ｌ１）は、ＰＯＣが同じ値を持つベースビューピクチャを示す値が設定される。

　＜１－２－３．動作＞
　図２７はデータ作成装置２６０１のデータ作成フローを示す図である。以下、そのデータ作成フローを説明する。

　変数Ｎは、圧縮符号化対象のフレーム画像のフレーム番号を記憶する変数である。

　まず、変数Ｎを初期化する（Ｎ＝０）。次に、左目用画像にＮ番目のフレームが存在するかをチェックする（ステップＳ２７０１）。存在しない場合（ステップＳ２７０１：Ｎｏ）は、圧縮符号化すべきデータがなくなったと判断して、処理を終了する。

　ステップＳ２７０１でＹｅｓの場合には、１回の圧縮符号化フロー（ステップＳ２７０２～ステップＳ２７０６）で、圧縮符号化する画像の枚数（以下、「１符号化枚数」と呼ぶ。）を決定する（ステップＳ２７０２）。１つのＧＯＰとして設定するビデオアクセスユニットの最大数（最大ＧＯＰ枚数、例えば３０フレーム）を１符号化枚数と設定する。ビデオストリームの最後のＧＯＰは、入力するビデオストリームの長さによって符号化するフレームの枚数が最大ＧＯＰ枚数に足りない場合が想定されるので、この場合には残りのフレーム枚数を１符号化枚数とする。

　次に、２Ｄ互換ビデオエンコーダ２６０２は、１符号化枚数分の２Ｄ互換ビデオストリームの生成を行う（ステップＳ２７０３）。左目用画像のＮ番目のフレームから１符号化枚数分だけ、２Ｄ互換ビデオストリームの圧縮符号化方式に従って、圧縮符号化して、２Ｄ互換ビデオストリームを生成して出力する。

　さらに、２Ｄ互換ビデオデコーダ２６０３は、１符号化枚数分の２Ｄ互換ビデオストリームの復号処理を行う（ステップＳ２７０４）。ステップＳ２７０３にて出力された２Ｄ互換ビデオストリームに対して、Ｎ番目フレームから１符号化枚数分、圧縮ピクチャデータを復号して得られる復号ピクチャと２Ｄ互換ビデオ符号化情報とを出力する。

　ベースビュービデオエンコーダ２６０５は、１符号化枚数分のベースビュービデオストリームの生成を行う（ステップＳ２７０５）。具体的には、２Ｄ互換ビデオ符号化情報を元に、ベースビュー符号化情報２６０７としてベースビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、ＧＯＰ内の各ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報を設定し、黒画像を、１符号化枚数分、圧縮符号化して、ベースビュービデオストリームを生成する。また、設定したベースビュース符号化情報２６０７を出力する。

　次に、ディペンデントビュービデオエンコーダ２６０９は、１符号化枚数分のディペンデントビュービデオストリームの生成を行う（ステップＳ２７０６）。具体的には、ステップＳ２７０５で出力したベースビュービデオ符号化情報を元に、ディペンデントビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、ＧＯＰ内の各ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報を設定する。

　さらに、ディペンデントビュービデオストリームエンコーダ２６０９は、ピクチャ間予測符号化を用いて符号化を行う際に、ベースビュービデオストリームのピクチャを参照するのではなく、２Ｄ互換ビデオフレームメモリ２６０８内の同一表示時刻を示す２Ｄ互換ビデオストリームを復号したピクチャを参照しながら、ピクチャ間予測符号化を用いて右目用画像のＮ番目のフレームから１符号化枚数分、圧縮符号化して、ディペンデントビュービデオストリームを生成する。

　マルチプレクサ２６１０は、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームを、ＰＥＳパケット化する。次にＰＥＳパケットをＴＳパケット単位に分割し、多重化したトランスポートストリームを生成する。その後、Ｎに１符号化枚数を加算する（ステップＳ２７０７）。

　ステップＳ２７０７の処理が完了したら、ステップＳ２７０１に戻って処理を繰り返す。

　なお、１回のフローでの符号化枚数は変更することができる。枚数を少なくしたい場合は、ステップＳ２７０２の１符号化枚数の値を小さくなるように設定すればよい。例えば、ビデオ符号化時のリオーダリングの枚数が２枚の場合には、４枚単位で圧縮符号化を実行すれば、リオーダリングの影響を受けない。リオーダリングの枚数が２枚の圧縮符号化方式で、ピクチャタイプがＩ１、Ｐ４、Ｂ２、Ｂ３、Ｐ７、Ｂ５、Ｂ６（数字は表示順）の場合を想定する。１符号化枚数が３の場合、Ｐ４のピクチャが処理できないため、Ｂ２、Ｂ３の圧縮符号化処理ができない。１符号化枚数を４にすれば、Ｐ４のピクチャが処理できるため、Ｂ２、Ｂ３の圧縮符号化処理ができる。このように、１符号化枚数は、１回の圧縮符号化フローごとに、最大GOP枚数以内で、画像の特性に応じて最適な枚数に設定してもよい。
＜１－３．再生装置＞
　＜１－３－１．構成＞
　次に本実施の形態に係る３Ｄ映像を再生する再生装置２８２３の構成について図を参照しながら説明する。

　図２８は再生装置２８２３の機能構成を示すブロック図である。

　再生装置２８２３は、ＰＩＤフィルタ２８０１、２Ｄ互換ビデオデコーダ２８２１、拡張マルチビュービデオデコーダ２８２２、第１プレーン２８０８、及び第２プレーン２８２０を含む構成である。

　ＰＩＤフィルタ２８０１は、入力されたトランスポートストリームをフィルタリングする。ＰＩＤフィルタ２８０１はＴＳパケットのうち、ＴＳパケットのＰＩＤの値が、再生に必要とされるＰＩＤの値に一致するものを、ＰＩＤの値に従って、２Ｄ互換ビデオデコーダ２８２１又は拡張マルチビュービデオデコーダ２８２２に転送する。

　どのストリームがどのＰＩＤに対応しているかはＰＭＴパケットのストリーム情報によって判断できる。例えば、２Ｄ互換ビデオストリームのＰＩＤが０ｘ１０１１、マルチビュービデオストリームのベースビュービデオストリームのＰＩＤが０ｘ１０１２、マルチビュービデオストリームのディペンデントビュービデオストリームのＰＩＤが０ｘ１０１３とすると、ＴＳパケットのＰＩＤの値を参照し、ＴＳパケットに含まれるＰＩＤの値が予め決められている上記ＰＩＤの値と一致する場合に、そのＴＳパケットをそれぞれ対応するデコーダに転送する。

　第１プレーン２８０８は、２Ｄ互換ビデオデコーダ２８２１が復号してＰＴＳの値に従って出力したピクチャを保持するプレーンメモリである。

　第２プレーン２８２０は、拡張マルチビュービデオデコーダ２８２２が復号してＰＴＳの値に従って出力したピクチャを保持するプレーンメモリである。

　次に２Ｄ互換ビデオデコーダ２８２１と拡張マルチビュービデオデコーダ２８２２とについて説明する。

　２Ｄ互換ビデオデコーダ２８２１は、２Ｄ映像の圧縮符号化方式であるＭＰＥＧ－２形式のデコーダと基本的には同じ復号機能を有し、拡張マルチビュービデオデコーダ２８２２は、ビュー間参照を実現する３Ｄ映像の圧縮符号化方式であるＭＰＥＧ－４　ＭＶＣ形式のデコーダと基本的には同じ復号機能を有する。ここでは、ＭＰＥＧ－２形式の圧縮符号化方式の一般的なデコーダをビデオデコーダ２９０１、及びＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化方式の一般的なデコーダをマルチビュービデオデコーダ２９０２とする。

　まず、ビデオデコーダ２９０１及びマルチビュービデオデコーダ２９０２について図２９を用いて説明する。その後で、２Ｄ互換ビデオデコーダ２８２１とビデオデコーダ２９０１との異なる部分、及び拡張マルチビュービデオデコーダ２８２２とマルチビュービデオデコーダ２９０２との異なる部分を重点的に説明する。

　図２９に示すように、ビデオデコーダ２９０１は、ＴＢ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍＢｕｆｆｅｒ）（１）２８０２、ＭＢ（Ｍｕｌｔｉｐｌｅｘｉｎｇ　Ｂｕｆｆｅｒ）（１）２８０３、ＥＢ（ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍＢｕｆｆｅｒ）（１）２８０４、Ｄ１（２Ｄ互換ビデオ圧縮映像デコーダ）２８０５、及びＯ（Ｒｅ－ｏｒｄｅｒｉｎｇ　Ｂｕｆｆｅｒ）２８０６を含む構成である。

　ＴＢ（１）２８０２は、ビデオストリームを含むＴＳパケットがＰＩＤフィルタ２８０１から出力された際、ＴＳパケットのまま一旦蓄積されるバッファである。

　ＭＢ（１）２８０３は、ＴＢ（１）２８０２からＥＢ（１）２８０４にビデオストリームを出力するにあたって、一旦ＰＥＳパケットを蓄積しておくためのバッファである。ＴＢ（１）２８０２からＭＢ（１）２８０３にデータが転送される際に、ＴＳパケットのＴＳヘッダ及びアダプテーションフィールドは取り除かれる。

　ＥＢ（１）２８０４は、圧縮符号化状態にあるピクチャ（Ｉピクチャ、Ｂピクチャ、Ｐピクチャ）が格納されるバッファである。ＭＢ（１）２８０３からＥＢ（１）２８０４にデータが転送される際にＰＥＳヘッダが取り除かれる。

　Ｄ１（２８０５）は、ビデオエレメンタリストリームの個々のビデオアクセスユニットを所定のＤＴＳの時刻で復号することによりフレーム画像のピクチャを作成する。

　Ｄ１（２８０５）で復号されたピクチャはプレーン２８０８もしくはＯ２８０６に出力される。ＰピクチャやＩピクチャのように、ＤＴＳとＰＴＳの値が異なる場合には、Ｏ２８０６に出力され、ＢピクチャのようにＤＴＳとＰＴＳの値が同じ場合には、そのままプレーン２８０８に出力される。

　Ｏ２８０６は、復号したピクチャのＤＴＳとＰＴＳとの値が異なる場合、すなわち、ピクチャの復号順と表示順が異なる場合にリオーダリングを行うためのバッファである。Ｄ１（２８０５）は、Ｏ２８０６に格納されるピクチャのデータを参照して、復号処理を行う。

　スイッチ２８０７は、復号されたピクチャをプレーン２８０８に出力する際に、Ｏ２８０６にバッファリングされた画像を出力するかＤ１（２８０５）からの出力を直接出力するかの切り替えを行う。

　次に、マルチビュービデオデコーダ２９０２について説明する。

　図２９に示すように、マルチビュービデオデコーダ２９０２は、ＴＢ（２）２８０９、ＭＢ（２）２８１０、ＥＢ（２）２８１１、ＴＢ（３）２８１２、ＭＢ（３）２８１３、ＥＢ（３）２８１４、デコードスイッチ２８１５、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６、Ｄ２（マルチビュービデオ圧縮映像デコーダ）２８１７、ＤＰＢ（Ｄｅｃｏｄｅｄ　Ｐｉｃｔｕｒｅ　Ｂｕｆｆｅｒ）２８１８、及び出力プレーンスイッチ２８１９とを含む構成である。

　ＴＢ（２）２８０９、ＭＢ（２）２８１０、及びＥＢ（２）２８１１は、それぞれＴＢ（１）２８０２、ＭＢ（１）２８０３、及びＥＢ（１）２８０４と同じ機能を持つが、バッファリングするデータがベースビュービデオストリームである点が異なる。

　ＴＢ（３）２８１２、ＭＢ（３）２８１３、及びＥＢ（３）２８１４は、それぞれＴＢ（１）２８０２、ＭＢ（１）２８０３、及びＥＢ（１）２８０４と同じ機能を持つが、バッファリングするデータがディペンデントビュービデオストリームである点が異なる。

　スイッチ２８１５は、ＥＢ（２）２８１１とＥＢ（３）２８１４とからＤＴＳの値に従って、そのＤＴＳが付与されているビデオアクセスユニットのデータを取り出しの、３Ｄビデオアクセスユニットを構成して、Ｄ２（２８１７）に転送する。

　Ｄ２（２８１７）は、スイッチ２８１５を介して転送される３Ｄビデオアクセスユニットに対する復号処理を行い、フレーム画像のピクチャを作成する。

　Ｄ２（２８１７）により復号されたベースビュービデオの復号されたピクチャは、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に一旦格納される。Ｄ２（２８１７）は、ディペンデントビュービデオストリームのピクチャを、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に格納されるＰＴＳが同じ値を持つベースビュービデオストリームの復号ピクチャを参照して、復号処理を行う。

　マルチビュービデオデコーダ２９０２は、ビュー間参照を行うためのピクチャを指定する参照ピクチャリストを、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャのピクチャタイプやｓｙｎｔａｘ要素に基づいて作成する。

　Ｄ２（２８１７）は、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に格納されるベースビューの復号ピクチャと、ディペンデントビューの復号ピクチャをＤＰＢ２８１８に転送し、ＰＴＳの値に従って、出力プレーンスイッチ２８１９を介して出力する。

　ＤＰＢ２８１８は、復号されたピクチャを一時的に保持しておくバッファである。Ｄ２（２８１７）が、ピクチャ間予測符号化モードを用いてＰピクチャやＢピクチャなどのビデオアクセスユニットを復号する際に、既に復号されたピクチャを参照するために利用する。

　出力プレーンスイッチ２８１９は、復号されたピクチャを、適切なプレーンへ出力する処理を行う。例えば、ベースビュービデオストリームが、左目用画像を示し、ディペンデントビュービデオストリームが、右目用画像を示す場合には、ベースビュービデオストリームのピクチャを左目用画像のプレーンに、ディペンデントビュービデオストリームのピクチャを右目用画像のプレーンに出力する。

　次に、２Ｄ互換ビデオデコーダ２８２１と拡張マルチビュービデオデコーダ２８２２について説明する。

　２Ｄ互換ビデオデコーダ２８２１は、ビデオデコーダ２９０１と基本的な構造は同じであるため、機能の共通部分については説明を省略して、異なる部分を説明する。

　図２８で示す２Ｄ互換ビデオデコーダ２８２１はＤ１（２８０５）で復号したピクチャをＯ２８０６やスイッチ２８０７に転送するだけでなく、ＤＴＳの値に基づいて、拡張マルチビュービデオデコーダ２８２２のＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６にも転送する。

　拡張マルチビュービデオデコーダ２８２２は、マルチビュービデオデコーダ２９０２と基本的な構造は同じであるため、機能の共通部分については説明を省略して、異なる部分を説明する。

　拡張マルチビュービデオデコーダ２８２２は、２Ｄ互換ビデオデコーダ２８２１から、ＤＴＳの値に従って転送されるピクチャを、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６内で、先に復号されているベースビュービデオストリームのＰＴＳ及びＤＴＳが同じ値を持つ復号ピクチャが格納される領域に上書きして格納する。このため、拡張マルチビューデコーダ２８２２は、ディペンデントビュービデオストリームのピクチャを復号する際に、２Ｄ互換ビデオストリームの復号ピクチャを、あたかもベースビュービデオストリームの復号ピクチャであるとして参照することができる。Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６上のアドレス管理は、従来のベースビュービデオストリームの復号ピクチャの管理と変更する必要はない。

　また、拡張マルチビュービデオデコーダ２８２２は、ＤＰＢ２８１８に格納された映像の内、第２プレーン２８２０への出力は、ディペンデントビュービデオストリームのピクチャのみをＰＴＳの値に従って出力するように出力プレーンスイッチ２８１９を制御する。ベースビュービデオストリームのピクチャは、表示には関係ないのでプレーンに出力しない。

　このようにして、２Ｄ互換ビデオデコーダ２８２１からは、２Ｄ互換ビデオストリームのピクチャがＰＴＳの値に従って第１プレーン２８０８に出力され、拡張マルチビュービデオデコーダ２８２２からは、マルチビュービデオストリームのディペンデントビュービデオストリームのピクチャがＰＴＳの値に従って第２プレーン２８２０に出力される。

　このように構成することによって、異なる映像圧縮符号化方式である２Ｄ互換ビデオストリームのピクチャを参照して、マルチビュービデオストリームのディペンデントビュービデオストリームを復号することができる。

　＜１－３－２．動作＞
　図３０は再生装置２８２３の３Ｄ映像における復号処理と出力処理のフローを示す図である。

　再生装置２８２３は、ＥＢ（１）２８０４にピクチャがあるかどうかを判定する（ステップＳ３００１）。ピクチャがなければ（ステップＳ３００１：Ｎｏ）、ビデオストリームの転送が終了したと判断して、処理を終了する。

　ＥＢ（１）にピクチャがある場合（ステップＳ３００２：Ｙｅｓ）、再生装置２８２３は、拡張マルチビュービデオデコーダ２８２２を利用して、ベースビュービデオストリームの復号処理を行う（ステップＳ３００２）。具体的には、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（２）より取り出し、復号処理を行い、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６にデータを格納する。Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６内のピクチャの管理は、従来のＭＰＥＧ－４　ＭＶＣ形式における管理と同じであるので詳細は省略するが、参照ピクチャリストを作るための管理情報としてＰＴＳ及びＰＯＣと復号ピクチャの参照先を示すＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のデータアドレスとを関連付けるテーブル情報を内部に持って管理する。

　次に、再生装置２８２３は、２Ｄ互換ビデオデコーダ２８２１を利用して、２Ｄ互換ビデオストリームの復号処理を行う（ステップＳ３００３）。具体的には、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（１）より取り出し、復号処理を行う。このとき、Ｏ２８０６やスイッチ２８０７に復号したピクチャを転送する。さらに、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６にも復号したピクチャを転送する。

　拡張マルチビュービデオデコーダは、転送されたピクチャを、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６にある同じ値のＤＴＳ及びＰＴＳが付与されているベースビューピクチャに上書きする。

　具体的な上書き処理について図３１を用いて説明する。

　図３１上段のように、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のピクチャの管理は、例えばＰＴＳとＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のメモリアドレスで管理されているとする。図３１上段は、ＰＴＳ＝１００におけるベースビュービデオストリームのピクチャが復号された直後の様子を示しており、ＰＴＳ＝１００のベースビューの復号ピクチャは、アドレスＢから始まるメモリ領域に格納されていることを示す。

　ここで、ステップＳ３００３の処理が行われると、図３１下段のようになり、ＰＴＳ＝１００のベースビュービデオピクチャが格納されるメモリ領域のアドレスＢに対して、ＰＴＳが同じ値の２Ｄ互換ビデオストリームの復号ピクチャが上書きされる。このように、バッファ内のピクチャ管理を行うための管理情報（例えば、ＰＴＳ）は変更する必要なく、ピクチャのデータのみを上書きする。これにより、Ｄ２（２８１７）は、従来のＭＰＥＧ－４　ＭＶＣ形式のディペンデントビュービデオストリームの復号処理と同じ処理で、２Ｄ互換ビデオストリームを復号して得たピクチャを参照しながら復号することができる。

　次に、拡張マルチビュービデオデコーダ２８２２は、ディペンデントビュービデオストリームの復号処理を行う（ステップＳ３００４）。具体的には、拡張マルチビュービデオデコーダ２８２２は、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（３）より取り出し、ディペンデントビュービデオストリームのピクチャをＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に格納されるピクチャを参照しながら復号処理を行う。

　このとき参照するピクチャは、ベースビュービデオストリームのピクチャではなく、ステップＳ３００３にて上書きされた２Ｄ互換ビデオストリームのピクチャである。

　再生装置２８２３は、２Ｄ互換ビデオストリームの復号ピクチャをＰＴＳの値に従って、第１プレーン２８０８に出力し、ディペンデントビュービデオストリームの復号ピクチャをＰＴＳの値に従って、第２プレーン２８２０に出力する（ステップＳ３００５）
　再生装置２８２３のＤ１（２８０５）で行う復号処理は、既存のＭＰＥＧ－２形式のビデオストリームの復号処理と同じなので、既存のＭＰＥＧ－２形式のビデオの再生装置のＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）やソフトウェアを利用することができる。また、Ｄ２（２８１７）で行うＭＰＥＧ－４　ＭＶＣ形式の復号処理についても、既存のＭＰＥＧ－４　ＭＶＣ形式の処理と同じであるので、既存のＭＰＥＧ－４　ＭＶＣ形式のビデオの再生装置のＬＳＩやソフトウェアを利用できる。
＜再生装置２８２３の使用態様の一例＞
　図５を用いて、データ作成装置２８２３で作成したビデオストリームの３Ｄ映像を再生できる３Ｄデジタルテレビ１００と、３Ｄ映像の再生をサポートしない従来の２Ｄ映像のみを再生できる２Ｄデジタルテレビ３００を例に挙げて説明する。

　図５（ａ）に示すように、ユーザは、３Ｄデジタルテレビ１００と３Ｄ眼鏡２００を用いて３Ｄ映像を視聴する。

　３Ｄデジタルテレビ１００は、２Ｄ映像及び３Ｄ映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。具体的には、ＭＰＥＧ－２形式で圧縮符号化された２Ｄ互換ビデオストリームとＭＰＥＧ－４　ＭＶＣ形式に準拠して圧縮符号化されたベースビュービデオストリームとディペンデントビュービデオストリームを再生する。

　３Ｄデジタルテレビ１００は、２Ｄ互換ビデオストリームを復号して得た左目用画像とディペンデントビュービデオストリームを復号して得た右目用画像とを交互に表示する。

　ユーザは、このようにして再生された映像を、３Ｄ眼鏡２００を着用して眺めることで立体映像として視聴することができる。

　図５（ｂ）は、３Ｄ眼鏡２００の左目用画像の表示時を示す。

　画面上に左目用の画像が表示されている瞬間において、３Ｄ眼鏡２００は、左目に対応する液晶シャッターを透光にし、右目に対応する液晶シャッターは遮光する。

　同図（ｃ）は、右目用画像の表示時を示す。

　画面上に右目用画像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。

　図５（ｄ）の２Ｄデジタルテレビ３００は、２Ｄ映像の再生に対応し、データ作成装置２６０１で作成したトランスポートストリームに含まれるビデオストリームのうち２Ｄ互換ビデオストリームを復号して得られる２Ｄ映像を再生することができる。
＜２．変形例＞
　以上、本発明に係るデータ作成装置及び再生装置の実施の形態を説明したが、例示したデータ作成装置及び再生装置を以下のように変形することも可能であり、本発明が上述の実施の形態で示した通りのデータ作成装置及び再生装置に限らないことは勿論である。

　（１）本実施の形態の再生装置では、ステップＳ３００３にて、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のベースビュービデオストリームの復号ピクチャに対して、ＰＴＳの値が同じ２Ｄ互換ビデオストリームの復号ピクチャを上書きするとしたが、図３２下段のように、上書き処理を行わずにアドレス参照先を変更するようにしてもよい。

　このように処理を行うことによって、上書き処理を省略できるので負荷を軽減できる。

　（２）本実施の形態の再生装置では、ベースビューの復号ピクチャをＤＰＢ２８１８に格納するとしたが、ベースビュービデオストリームの復号ピクチャは参照されないため、ＤＰＢ２８１８に格納しないようにしてもよい。このようにすれば、ＤＰＢ２８１８からベースビュービデオストリームのピクチャを格納する分のメモリ量を削減することが可能となる。

　（３）本実施の形態では、ベースビュービデオストリームをトランスポートストリームに含めて生成し、復号処理において、ベースビュービデオストリームのピクチャの復号処理を行うとしたが、ベースビュービデオストリームのピクチャの復号処理は省略してもよい。

　拡張マルチビュービデオデコーダ２８２２は、ベースビュービデオストリームのピクチャの復号をせずに、ヘッダ情報の解析（例えば、ＰＯＣの取得、ピクチャタイプ、ＶｉｅｗＩＤ、参照有り無しの情報取得など）とＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に１枚分のピクチャが格納できる領域の確保を行う。拡張マルチビュービデオデコーダ２８２２は、確保した領域に、ヘッダ情報解析で得たＰＴＳやＤＴＳと同じ値を持つ２Ｄ互換ビデオデコーダから出力される復号ピクチャを格納する。

　このようにすれば、ピクチャの復号処理をスキップできるので、再生処理全体での処理負荷を軽減できる。

　また、ディペンデントビュービデオストリームのピクチャから、２Ｄ互換ビデオストリームのピクチャへのビュー間参照を実現させるため必要な情報、すなわち、拡張マルチビュービデオデコーダがＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６を管理できるようにするための情報を含めた２Ｄ互換ビデオストリームを生成するようにしてもよい。

　具体的には、ベースビュービデオストリームのｓｙｎｔａｘ要素の全てまたは一部を２Ｄ互換ビデオストリームの補足データに格納するように構成する。すなわち、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒバッファ２８１６のピクチャ管理を行うための情報（ＭＰＥＧ－４　ＭＶＣ形式の表示順を示すＰＯＣ、ピクチャタイプを示すｓｌｉｃｅ＿ｔｙｐｅ、ピクチャの参照・非参照を示すｎａｌ＿ｒｅｆ＿ｉｄｃ、ベース参照ピクチャリストを作成するための情報であるｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｖｃ＿ｍｏｄｉｆｉｃａｔｉｏｎ、ベースビュービデオストリームのＶｉｅｗＩＤ、ＭＭＣＯコマンド）などを２Ｄ互換ビデオストリームの各ピクチャの補足データに含めるようにする。

　このように２Ｄ互換ビデオストリームのデータをディペンデントビュービデオストリームから直接参照できるように構成すれば、ベースビュービデオストリームはトランスポートストリーム上に多重化されていなくてもよい。

　この場合、図３で示すように、ＭＰＥＧ－４　ＭＶＣ形式のディペンデントビュービデオストリームのピクチャはＭＰＥＧ－２形式のビデオストリームのピクチャを直接参照することになる。

　ただし、ＭＰＥＧ－４　ＭＶＣ形式のベースビュービデオストリームをトランスポートストリーム上に多重化した場合、データ形式は従来とほぼ同じなので、従来のＭＰＥＧ－４　ＭＶＣ形式に対応した符号化装置や再生装置と親和性がよく、少ない改良で本実施の形態のビデオストリームデータに対応した符号化装置や再生装置が実現できる。

　（４）本実施の形態の再生装置では、Ｏ２８０６とＤＰＢ２８１８のメモリは別領域として扱っていたが、図３３に示すように、メモリ空間を共用化してもよい。例えば、図３３の例では、ＰＴＳ＝１００とＰＴＳ＝２００の２Ｄ互換ビデオのピクチャは、ステップＳ３００３によって、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のＰＴＳが同じ値のベースビューピクチャに上書きされることになる。このとき、ＤＰＢ２８１８にデータを格納する際にＤＰＢ２８１８の管理テーブルの参照先ピクチャのアドレスの設定だけで行い、上書き処理を省略することができる。具体的には、図３３の例では、ＤＰＢ２８１８のピクチャ管理テーブルにおいては、ＰＴＳ＝１００，ＰＴＳ＝２００のベースビュー（Ｖｉｅｗ＿ＩＤが最小値）のピクチャのアドレスは、Ｏ２８０６の管理テーブルのＰＴＳ＝１００、ＰＴＳ＝２００に対応した.２Ｄ互換ビデオの復号ピクチャのアドレスをそれぞれ示すように設定する。

　このようにすれば、ピクチャを格納するためのメモリ量を削減することができる。

　（５）本実施の形態の再生装置では、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６とＤＰＢ２８１８は別のバッファとして扱ったが、これを同じバッファとしてもよい。例えば、ＤＰＢ２８１８に統一される場合には、ＤＰＢ２８１８内の同一の値のＰＴＳと、同一のＶｉｅｗＩＤとを持つベースビュービデオストリームの復号ピクチャを２Ｄ互換ビデオストリームの復号ピクチャに置き換えればよい。

　（６）本実施の形態における圧縮符号化処理において、２Ｄ互換ビデオストリームのピクチャと、同一表示時刻のベースビュービデオストリームのピクチャと、同一表示時刻のディペンデントビュービデオストリームのピクチャにおいて、ひとつでもＢピクチャ（Ｂｒピクチャを含む）があれば、同一表示時刻の２Ｄ互換ビデオストリームのピクチャと、ベースビュービデオストストリームのピクチャと、ディペンデントビュービデオストリームのピクチャとのピクチャタイプをＢピクチャ（Ｂｒピクチャを含む）にしなければならないという制約を課してもよい。このように構成することによって、ＩピクチャとＰピクチャのみを選択して特殊再生（例えば、飛び込み再生）を行う再生装置において、その特殊再生処理が容易になる。
図２４は、特殊再生について説明するための図である。図２４上段は、上記の制約が課されていない場合について示している。この場合、表示順で３番目のピクチャにおいて、２Ｄ互換ビデオストリームとベースビュービデオストリームは、Ｐピクチャ（Ｐ３）になっているが、ディペンデントビュービデオストリームのピクチャはＢピクチャ（Ｂ３）となっている。

　これにより、ディペンデントビュービデオストリームの復号を行うために、ディペンデントビュービデオストリームのピクチャＢｒ２を復号する必要があり、また、ベースビュービデオストリームのＢｒ２も復号する必要がある。一方で、図２４下段は、上記制約を課した場合について示している。

　この場合には、表示順で３番目のピクチャにおいて、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームのピクチャはすべてＰピクチャとなり、すべてのビデオストリームにおいて、ＩピクチャとＰピクチャのみを復号すればよいため、ＩピクチャとＰピクチャを選択した特殊再生処理が容易になる。

　（７）本実施の形態のデータ作成装置では、トランスポートストリームの多重化において、各ビデオストリームのＰＩＤとして別々のＰＩＤを設定するとしたが、ベースビュービデオストリームとディペンデントビュービデオストリームとに、同一のＰＩＤを割り当てるようにしてもよい。

　このように構成することで、マルチビュービデオストリームの圧縮符号化方式の仕様に合わせて各ビデオストリームのアクセスユニットをマージして転送することができる。

　この場合、ベースビュービデオストリームとディペンデントビデオストリームのマージは圧縮符号化方式の仕様に合わせて行い、再生装置は図４５のような構成で、拡張マルチビュービデオデコーダのデータ転送ラインがひとつになるように構成すればよい。

　また、ベースビュービデオストリームとディペンデントビュービデオストリームとにおいて、同時刻のピクチャを格納した各アクセスユニットのヘッダ（例えば、シーケンスヘッダ、ピクチャヘッダ）情報を共有してもよい。すなわち、ヘッダ情報をベースビュービデオストリームのみに設けて、ディペンデントビュービデオストリームを復号する際には、復号に必要なヘッダ情報をベースビュービデオストリームのヘッダ情報を参照しながら復号するようにしてもよい。従って、ディペンデントビュービデオストリームには、復号に必要なヘッダ情報の付加を省略できる。

　（８）本実施の形態のデータ作成装置において、図２３にて説明したように、同一表示時刻の２Ｄ互換ビデオストリームとディペンデントビュービデオストリームのピクチャのＤＴＳの値はそれぞれ等しく、さらに、ディペンデントビュービデオストリームのピクチャと、ベースビュービデオストリームとのピクチャのＤＴＳもそれぞれ同じ値とした。しかし、同一表示時刻のそれぞれのビデオストリームにおけるピクチャのＤＴＳの値は、同じでなくてもよい。例えば、図３５に示すように２Ｄ互換ビデオストリームのＤＴＳの値を、ベースビュー・ディペンデントビュービデオストリームよりも先（例えば、１フレーム分前）に復号される値に設定してもよい。

　このように構成することで、２Ｄ互換ビデオストリームの復号を前もって行うことができるため、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒへの上書き処理やディペンデントビュービデオストリームのピクチャ復号処理を、余裕を持って行うことができる。

　なお、図３５では、同一表示時刻の視差画像を格納する２Ｄ互換ビデオストリームのピクチャのＰＴＳについては、ディペンデントビューのピクチャのＰＴＳと同じとしているが、２Ｄ互換ビデオストリームの復号処理を前もって行うために、同一表示時刻の２Ｄ互換ビデオストリームのピクチャのＰＴＳを、ベースビュー・ディペンデントビュービデオストリームよりも先（例えば、１フレーム分前）になるように設定している。

　このように２Ｄ互換ビデオストリームとマルチビュービデオストリーム間でのＰＴＳ値を変える場合、例えば、２Ｄ互換ビデオストリームのピクチャのＰＴＳを、ディペンデントビュービデオストリームのピクチャのＰＴＳよりも１フレーム前にする場合には、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒのベースビュービデオストリームのピクチャの入れ換え時に、ベースビュービデオストリームのピクチャに対して、１フレーム前を示す値のＰＴＳの２Ｄ互換ビデオストリームのピクチャで入れ換えるようにする。

　なお、実データに付与されるＰＴＳやＤＴＳの設定は、図２３に示す時刻設定であっても、２Ｄ互換ビデオストリームのピクチャのＤＴＳやＰＴＳが先になるように、内部的に値を修正して復号処理を行ってもよい。

　（９）本実施の形態の再生装置では、ステップＳ３００５にて、２Ｄ互換ビデオデコーダ２８２１が、２Ｄ互換ビデオストリームの復号ピクチャを、ＰＴＳの値に従って第１プレーン２８０８に出力するとしたが、図３４のように、拡張マルチビュービデオデコーダ２８２２が、出力プレーンスイッチ２８１９を使って両方の映像を出力するように構成してもよい。

　このように構成することで、既存のマルチビュービデオストリームを使って３Ｄ映像を再生するプレーン出力の仕組みをそのまま利用することができる。

　（１０）本実施の形態において、多重化方式をトランスポートストリームとしたが、これに限らない。

　例えば、多重化方式としてＭＰ４のシステムフォーマットを用いることができる。図３４の入力をＭＰ４で多重化されたファイルとして、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームにそれぞれ分離して復号する。そして、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のベースビュービデオストリームのピクチャを２Ｄ互換ビデオストリームのピクチャに上書きしたピクチャを参照しながらディペンデントビュービデオストリームのピクチャを復号する。ただし、ＭＰ４システムフォーマットの場合にはＰＴＳがないので、ＭＰ４システムフォーマットのヘッダ情報（ｓｔｔｓ，ｓｔｓｚなど）を元に、各アクセスユニットにおける時刻情報を特定する。

　（１１）本実施の形態におけるベースビュービデオストリームやディペンデントビュービデオストリームにおいては、ディペンデントビュービデオストリームの参照先のピクチャを、２Ｄ互換ビデオストリームの復号ピクチャとしており、通常のマルチビュービデオストリームの構成と異なるため、ストリームタイプやＰＥＳパケットヘッダに付与されるｓｔｒｅａｍ＿ｉｄを、従来のマルチビュービデオストリームの場合の値と異なるように設定してもよい。

　このように構成することで、再生装置は、ストリームタイプやｓｔｒｅａｍ＿ｉｄを参照することにより、本実施の形態における３Ｄ映像の再生方式であると判断して、再生方法を変更することができる。

　（１２）本実施の形態では、図３８で説明したディスクリプタに格納される再生方式について説明したが、この再生方式の切り替え方法については、図４０のような構成にして実現してもよい。

　図４０の再生装置２８２３ｂは図２８で説明した再生装置２８２３と基本的な構造は変わらないが、コーデック間参照スイッチ２８２４、プレーンセレクタ２８２５、第３プレーン２８２６が追加されている。

　コーデック間参照スイッチ２８２４は、図４０で示すようにＯＮの場合には、２Ｄ互換ビデオデコーダから拡張マルチビュービデオデコーダ内のＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒに対してステップＳ３００３で説明したデータ転送を行い、ＯＦＦの場合には、データ転送を行わない。

　プレーンセレクタ２８２５は、２Ｄ互換ビデオデコーダからピクチャタが出力される第１プレーン２８０８、拡張マルチビュービデオデコーダのベースビュービデオストリームのピクチャが出力される第２プレーン２８２０、拡張マルチビュービデオデコーダのディペンデントビュービデオストリームのピクチャが出力される第３プレーン２８２６に対して、どのプレーンを２Ｄ映像として出力するのか、３Ｄ映像の左目用画像として出力するのか、または３Ｄ映像の右目用画像として出力するのかを選択する。

　再生方式に従って、コーデック間参照スイッチ２８２４とプレーンセレクタ２８２５での出力を切り替えることで、再生装置２８２３ｂは再生モードを変更する。

　図３８の再生方式の例に対して、具体的な再生方法の切り替えについて図４１を用いて説明する。

　コーデック間参照スイッチ２８２４のＯＮ、ＯＦＦの切り替えとプレーンセレクタ２８２５でのプレーンの選択例を図４１下段に記している。

　再生装置２８２３ｂは、再生方式の値が「０」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、２Ｄ映像として第１プレーン２８０８を選択する。

　再生装置２８２３ｂは、再生方式の値が「１」の場合、コーデック間参照スイッチ２８２４をＯＮにする。そして、プレーンセレクタ２８２５は、左目用画像として第１プレーン２８０８又は第２プレーン２８２０を選択し、右目用画像として第３プレーン２８２６を選択する。

　再生装置２８２３ｂは、再生方式の値が「２」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、左目用画像として第２プレーン２８２０を選択し、右目用画像として第３プレーン２８２６を選択する。

　再生装置２８２３ｂは、再生方式の値が「３」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、左目用画像として第１プレーン２８０８を選択し、右目用画像として第１プレーン２８０８を選択する。

　（１３）本実施の形態において、再生方式が、２Ｄ互換ビデオストリームとディペンデントビュービデオストリームによる３Ｄ映像再生から２Ｄ互換ビデオストリームの２Ｄ映像再生に切り替わるようなトランスポートストリームを生成する場合には、復号処理の遅延を考慮して、図４２に示すように、再生方式が変わる時点で、２Ｄ互換ビデオストリームと同じ映像をディペンデントビュービデオストリームに圧縮符号化しておくように構成してもよい。２Ｄ互換ストリームと同じ映像をディペンデントビュービデオストリームに圧縮符号化する区間を図４２上段に示す２Ｄ移行期間とする。この２Ｄ移行区間においては、どちらの方式で再生しても２Ｄ映像として再生されるため、ユーザにとってはスムーズな映像遷移となる。これは、２Ｄ映像再生から３Ｄ映像再生に切り替わる場合においても２Ｄ移行区間を設けてもよい。また、図３７のシグナリング情報を示す「再生方式」の値が「０」と、その他の値（「１」、「２」又は「３」）との間で切り替わるそれぞれの場合において、２Ｄ移行区間を設けるようにしてもよい。

　（１４）ＭＰＥＧ－２形式の圧縮符号化における各ピクチャに含まれる表示順を示すｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅの値に、同一時刻表示を示すディペンデントビュービデオストリームのピクチャのＰＯＣの値を設定してもよい。

　このようにすることで、ＰＴＳを使わずにビデオＥＳ内の値でＭＰＥＧ－２形式のビデオストリームの圧縮符号化及び復号処理ができる。

　または、２Ｄ互換ビデオストリームの各ピクチャのユーザデータに、同時刻表示を示すディペンデントビュービデオストリームのＰＯＣを含めてもよい。

　このようにすることで、ｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅの値を独自の値に設定することもできるため、圧縮符号化処理における設定の自由度が増える。

　（１５）本実施の形態において、図４３、図４４に示すように２Ｄ互換ビデオストリームの復号結果に対して、高画質フィルタ４３０１を適用するようにしてもよい。

　高画質フィルタ４３０１は、ＭＰＥＧ－４　ＡＶＣで規定されているデブロッキングフィルタのようなブロックノイズを軽減するようなものなどである。高画質フィルタ４３０１を適用するか否かを示すフラグを用意する。そして、例えばフラグがＯＮを示す場合に高画質フィルタ４３０を適用し、ＯＦＦの場合に適用しないとする。

　このフラグは、ＰＭＴのディスクリプタやストリームの補足データ等に含めることができる。

　再生装置は、このフラグがＯＮであれば、復号結果において、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に、データを転送する前にフィルタを適用する。

　このように構成することで、２Ｄ互換ビデオストリームに対する２Ｄ映像の高画質化を実現する。また、高画質化処理されたピクチャを参照しながらディペンデントビュービデオストリームの復号処理を行うことができるので、結果３Ｄ映像の高画質化も図れる。なお、高画質フィルタ４３０１は複数あって、用途に応じて、選択できるようにフラグではなく、そのフィルタのタイプを指定できるようにしてもよい。

　（１６）本実施の形態において、ディペンデントビュービデオストリームは１つのケースを説明したが、ディペンデントビュービデオストリームは複数あってもよい。

　この場合には、拡張マルチビュービデオストリームは、複数のディペンデントビュービデオストリームを処理できるように構成して、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６における２Ｄ互換ビデオストリームのピクチャとの置き換え処理においては、ＰＴＳが同じ値を持つベースビューのピクチャに対して置き換えられるようにしてもよい。または、２Ｄ互換ビデオストリームで、置き換えるＶｉｅｗＩＤを指定できるようにして、常にベースビューのピクチャを置き換えるのではなく、複数ビューのピクチャの中から選択して置き換えられるようにしてもよい。

　（１７）本実施の形態において、２Ｄ互換ビデオストリームをＭＰＥＧ－２形式のビデオストリーム、マルチビュービデオストリーム（ベースビュービデオストリームとディペンデントビュービデオストリーム）をＭＰＥＧ－４　ＭＶＣ形式のビデオストリームとして説明したが、圧縮符号化方式の種類はこれに限らない。

　本実施の形態の再生装置及びデータ作成装置において、圧縮符号化方式の仕様に合わせて、構成を適宜変更してもよい。例えば、２Ｄ互換ビデオストリームをＭＰＥＧ－４　ＡＶＣとし、マルチビュービデオストリームが新規な圧縮符号化方式の場合、図３４で記した再生装置のＯ２８０６をＤＰＢに置き換え、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６内のピクチャの管理は新規な圧縮符号化方式の構成に従って行えばよい。

　（１８）本実施の形態のビデオストリームを用いた３Ｄ映像を視聴する方法として、ユーザが液晶シャッターを備えた３Ｄ眼鏡を用いる方法を例示したが、３Ｄ映像の視聴方法はこれに限られない。

　例えば、ディスプレイに表示する画面中の縦方向に左目用のピクチャと右目用のピクチャを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャを構成する画素は左目だけに結像し、右目用のピクチャを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャを見せ、３Ｄ映像としてみせるようにしてもよい。また、レンチキュラーレンズの代わりに、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。

　また、ディスプレイ側の左目用の画素には縦偏光のフィルタ、右目用の画素には横偏光のフィルタを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルタを設置した偏光メガネを用いた偏光方式と呼ばれる方式を用いてもよい。

　なお、視差画像を用いた立体視においては、右目用画像と左目用画像を用意する場合に、２Ｄ映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、２Ｄ映像とデプスマップに基づいて左目用画像と右目用画像の視差画像を生成するようにしてもよい。

　図４は２Ｄ映像とデプスマップから左目用画像と右目用画像の視差画像を生成する例を模式的に示している。

　デプスマップは２Ｄ映像内のそれぞれの画素に対応した奥行き値をもっており、図４の例では、２Ｄ映像の円形の物体は、デプスマップでは円形の物体が近くにあることを示す情報（奥行き値がＨｉｇｈ）が割り当てられ、それ以外の領域は円形の物体より遠くにある（奥行き値がＬｏｗ）ことを示す情報が割り当てられている。この情報は、画素ごとのビット列で表してもよいし、画像イメージ（例えば「黒」を奥行きがＬｏｗであることを示し、「白」を奥行きがＨｉｇｈであることを示す画像イメージ）で表してもよい。視差画像は、デプスマップの奥行き値から、２Ｄ映像の視差量を調整することによって作成することができる。図４の例では、２Ｄ映像内の円形の物体の奥行き値がＨｉｇｈであるため、視差画像を作成するときには、円形の物体の画素の視差量を大きくする。一方、円形物体以外の領域は、奥行き値がＬｏｗであるため、円形の物体以外の画素の視差量を小さくして、左目用画像、右目用画像を作成する。この左目用画像と右目用画像を、継時分離方式等を使って表示すれば立体視が可能となる。

　（１９）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

　更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。

　（２０）上記のデータ作成装置及び再生装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、などから構成されるコンピュータシステムとしてもよい。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

　（２１）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

　また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

　また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

　（２２）上記実施の形態及び上記変形例をそれぞれ適宜組み合わせるとしてもよい。

　（２３）以下、更に本発明の一実施形態に係るデータ作成装置及び再生装置の構成及びその変形例と各効果について説明する。

　　（ａ）本発明の一実施形態に係るデータ作成装置は、第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置であって、前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、ＭＰＥＧ－４　ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、前記第１、第２符号化手段により生成されたストリームを送出する送出手段とを備え、前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ－２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する。
この構成のデータ作成装置は、異なる符号化方式で圧縮符号化されたビデオストリーム間でビュー間参照をすることができる。これにより、３Ｄ映像を構成する拡張ビデオストリームにおいて、ディペンデントビュービデオストリームを復号する際に、ベースビューストリームのピクチャを参照せず、２Ｄ互換ビデオストリームのビューを参照しながら拡張ビデオストリームを復号可能なビデオストリームを生成することができる。従って、従来の圧縮符号化方式と互換性を保ちながらデータ量を削減したビデオストリームを生成することができる。

　（ｂ）また、データ作成装置の前記第２符号化手段は、前記疑似データからなるストリームを、同一のフレーム画像から構成されるフレーム画像群を圧縮符号化して生成するとしてもよい。

　ＭＰＥＧ－２形式やＭＰＥＧ－４　ＭＶＣ形式における画像の圧縮符号化は、前後の画像に差がない画像では、圧縮符号化効率が非常に高いので、データ量を削減した圧縮符号化が可能となる。この構成のデータ作成装置は、経時的変化のない画像群を圧縮符号化したデータをダミーデータとして用いるので、ベースビュービデオストリームのデータ量を削減することができるビデオストリームを生成することができる。

　（ｃ）また、前記同一のフレーム画像は、単色画像のフレーム画像であるとしてもよい。
これにより、単色（例えば、輝度のない黒色）の画像を圧縮符号化するので、データ量を削減したビデオストリームを生成することができる。

　（ｄ）また、データ作成装置の前記第２符号化手段は、前記第１フレーム画像群を圧縮符号化して得られるストリームのビットレートより低いビットレートで、前記ベースビュービデオストリームを生成するとしてもよい。

　この構成のデータ作成装置は、ディペンデントビュービデオストリームを生成する際の圧縮符号化に用いるビットレートより低いビットレートをベースビュービデオストリーム生成の際の圧縮符号化に用いるので、ベースビュービデオストリームのデータ量を削減することができるビデオストリームを生成することができる。

　（ｅ）また、データ作成装置の第２符号化手段は、ディペンデントビュービデオストリームのフレームを構成するピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）を、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ－２形式のストリームのフレームを構成するピクチャのＰＴＳと同じ値にして圧縮符号化するとしてもよい。

　この構成のデータ作成装置は、第１視点のフレーム画像と第２視点のフレーム画像のそれぞれ対応する画像の圧縮符号化されたピクチャのＰＴＳの設定値を同じにすることができる。これにより、異なる圧縮符号化方式において参照するピクチャの対応関係を容易に知ることができるので、異なる圧縮符号化方式で圧縮符号化されたビデオストリーム間のビュー間参照が容易となるビデオストリームを生成することができる。

　（ｆ）また、データ作成装置の前記第１符号化手段及び前記第２符号化手段は、前記第１フレーム画像群及び前記第２フレーム画像群の圧縮符号化を同一のアスペクト比で行い、生成する前記各ストリームに前記アスペクト比を示す属性情報を含めるとしてもよい。

　この構成のデータ作成装置は、異なる圧縮符号化方式で生成されたビデオストリームのアスペクト比を同じにすることができる。これにより、異なる圧縮符号化されたビデオストリーム間のビュー間参照による復号処理時に参照画像の変換処理が簡素化できるビデオストリームを生成することができる。

　（ｇ）また、データ作成装置の前記第２符号化手段は、ディペンデントビュービデオストリームのフレームを構成するピクチャのＤＴＳに、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ－２形式のストリームのフレームを構成するピクチャのＤＴＳの値よりＮフレーム分（Ｎ≧１の整数値）後の時刻を示す値にして圧縮符号化するとしてもよい。

　この構成のデータ作成装置は、第１視点と第２視点との対応するフレーム画像を圧縮符号化する際の各ピクチャのＤＴＳの値として、第２フレームを圧縮符号化したピクチャのＤＴＳが、第１フレームを圧縮符号化したピクチャのＤＴＳよりＮフレーム分後の時刻を示すように設定することができる。これにより、ディペンデントビュービデオストリームを復号する際に、第１ストリームデータ内の参照ピクチャが予め復号されるので、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒへの書き込み処理や、第２ストリームデータ内のピクチャの復号処理を、余裕をもって行うことができる。

　（ｈ）また、データ作成装置の前記第２符号化手段は、ベースビュービデオストリーム及びディペンデントビュービデオストリームにおけるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）内のフレームの数が、前記フレームと同時刻のフレームを含む前記ＭＰＥＧ－２形式のストリームにおけるＧＯＰ内のフレームの数と同じ数にして圧縮符号化するとしてもよい。

　この構成のデータ作成装置は、第１ストリームデータと第２ストリームデータとのそれぞれ対応するフレーム画像数を収めた各ストリームデータのＧＯＰにおけるフレーム画像数を一致させることができる。これにより、第１視点と第２視点の同一表示時刻のピクチャのＧＯＰの先頭が一致するので飛び込み再生などの特殊再生時が容易に行えるビデオストリームを生成することができる。

　（ｉ）また、データ作成装置の前記第２符号化手段は、前記ＭＰＥＧ－２形式のストリームのフレームを構成するピクチャのピクチャタイプがＩピクチャである場合には、前記ＭＰＥＧ－２形式のフレームを構成するピクチャと同時刻のベースビュービデオストリームのフレームを構成するピクチャをＩピクチャとして圧縮符号化するとしてもよい。

　この構成のデータ作成装置は、第１ストリームデータ内のピクチャのＰＴＳと第２ストリームデータ内のピクチャのＰＴＳとが同じ値を持つピクチャをそれぞれＩピクチャとすることができる。従って、第１ストリーム及び第２ストリームは共に同じＩピクチャのＰＴＳの時刻から復号が可能なため、飛び込み再生などの特殊再生時の復号処理が簡素化できるビデオストリームを生成することができる。

　（ｊ）本発明の一実施形態に係る再生装置は、本発明の一実施形態に係るデータ作成装置で送出されたストリームを取得する取得手段と、前記取得手段により取得された前記ストリームに含まれるＭＰＥＧ－２形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段とを備える。

　この構成の再生装置は、ＭＰＥＧ－４　ＭＶＣ形式で圧縮符号化されたディペンデントビュービデオストリームを復号する際に、ベースビュービデオストリームを復号したフレーム画像群の代わりにＭＰＥＧ－２形式で圧縮符号化された第１ストリームデータを復号したフレーム画像群を参照して復号処理を行うことができる。従って、異なる圧縮符号化したビデオストリームデータを復号した画像群を参照しながら、ディペンデントビュービデオストリームを復号することができるので、従来の圧縮符号化方式とデータ互換性を保ちながら、ビデオストリーム全体としては、データ量を削減したビデオストリームの再生を行うことができる。

　（ｋ）また、前記再生装置の前記第２復号手段は、前記第１復号手段により復号されたフレームのうち、前記第２フレーム画像群のフレームを構成するピクチャのＰＴＳと同じ値のＰＴＳのピクチャで構成されるフレームを参照画像として、復号処理を行うとしてもよい。

　この構成の再生装置は、ディペンデントビュービデオストリームを復号する際に、ＭＰＥＧ－２形式で圧縮符号化された第１視点のビデオストリーム内のピクチャであり、ディペンデントビュービデオストリームの復号対象のピクチャのＰＴＳと同じ値を持つピクチャを復号化したフレーム画像を参照画像とする。従って、同一時刻表示の第１フレーム画像を参照して、第２視点のフレーム画像を再現することができる。
＜３．補足説明＞
　＜映像圧縮技術の説明＞
　　＜２Ｄ映像圧縮技術＞
　本実施の形態に係るデータ作成装置及び再生装置で使用する２Ｄ映像を圧縮符号化する規格であるＭＰＥＧ－２、及びＭＰＥＧ－４　ＡＶＣ（ＭＰＥＧ－４　ＭＶＣ形式のベースとなる圧縮符号化方式）の符号化方法について簡単に説明する。

　これらの圧縮符号化においては、動画像の空間方向及び時間方向の冗長性を利用してデータ量の圧縮符号化を行う。

　冗長性を利用して圧縮符号化する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分を圧縮符号化する。

　図１はビデオストリームのピクチャ間の参照関係を示している。図１では、ピクチャＰ３はピクチャＩ０を参照して圧縮符号化され、ピクチャＢ１とピクチャＢ２はそれぞれピクチャＩ０とピクチャＰ３を参照して圧縮符号化されている。このように時間的な冗長性を利用することで、圧縮率の高い圧縮符号化を実現できる。

　　＜３Ｄ映像圧縮技術＞
　次に、視差画像を用いて３Ｄ映像としてディスプレイ等で再生する方法、マルチビュー符号化方式であるＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化について簡単に説明する。

　視差画像を使った立体視の方式では、右目用画像（Ｒ画像）と、左目用画像（Ｌ画像）とを各々用意し、ユーザに対してそれぞれの目に対応した画像だけが、それぞれの目に映るように制御した表示を行うことで立体視を実現する。

　右目用画像で構成される動画像をレフトビュービデオといい、左目用画像で構成される動画像をライトビュービデオという。

　図１３は、立体視画像の表示の一例を示す図である。対象物たる恐竜の骨格の左目用画像と、対象物たる恐竜の骨格の右目用画像を表示した例を示している。３Ｄ眼鏡を用いて、右目及び左目の透光、遮光から繰り返されれば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。

　レフトビュービデオとライトビュービデオを圧縮符号化する３Ｄの映像方式には、フレーム互換方式とマルチビュー符号化方式がある。

　フレーム互換方式は、レフトビュービデオとライトビュービデオの同時刻のビューを示す画像に対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、圧縮符号化を行う方式である。一例として、図１４に示すような、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式がある。Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式では、レフトビュービデオとライトビュービデオの同時刻のビューを示す画像に対応する各ピクチャをそれぞれ水平方向に１／２に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像を、２Ｄ映像の圧縮符号化方式（例えばＭＰＥＧ－２）によって圧縮符号化することによってビデオストリームを生成する。一方、再生時は、ビデオストリームを、ビデオストリーム生成と同じ圧縮符号化方式に基づいて復号する。復号された各ピクチャは、左右画像に分割されて、分割した画像それぞれを水平方向に２倍に伸長して、レフトビュービデオとライトビュービデオとのそれぞれ対応するピクチャを得る。得たレフトビュービデオのピクチャ（Ｌ画像）とライトビュービデオのピクチャ（Ｒ画像）を交互に表示することによって、図１３に示すような立体視画像を得ることができる。

　これに対してマルチビュー符号化方式は、レフトビュービデオとライトビュービデオのピクチャを１つのピクチャには合成せずに、それぞれ別々のピクチャのまま圧縮符号化する方式である。

　図２は、マルチビュー符号化方式であるＭＰＥＧ－４　ＭＶＣ形式による符号化方式を示す図である。

　ＭＰＥＧ－４　ＭＶＣ形式のビデオストリームは、従来のＭＰＥＧ－４　ＡＶＣ形式のビデオストリームを再生する再生装置において再生可能なベースビュービデオストリームと、ベースビュービデオストリームと同時に処理することで別視点の映像の再生を実現するディペンデントビュービデオストリームを含む構成である。

　ベースビュービデオストリームは、図２のベースビュービデオストリームに示すように、別視点の映像を参照せず同一視点の映像との冗長性のみを利用してピクチャ間予測符号化を用いて圧縮符号化される。

　一方、ディペンデントビュービデオストリームは、同一視点の映像の参照を利用したピクチャ間予測符号化に加えて、別視点の映像との冗長性を利用したピクチャ間予測符号化によって圧縮符号化される。

　ディペンデントビュービデオストリームのピクチャは、ベースビュービデオストリーム内の同時刻のビューを示すピクチャを参照して圧縮符号化される。

　図２の矢印は参照関係を示しており、ディペンデントビュービデオストリームの先頭のＰピクチャであるピクチャＰ０は、ベースビュービデオストリームのＩピクチャであるピクチャＩ０を参照する。ディペンデントビュービデオストリームのＢピクチャであるピクチャＢ１は、ベースビュービデオストリームのＢｒピクチャであるピクチャＢｒ１を参照する。ディペンデントビュービデオストリームの二つ目のＰピクチャであるピクチャＰ３は、ベースビュービデオストリームのＰピクチャであるピクチャＰ３を参照することを示す。

　ベースビュービデオストリームは、ディペンデントビュービデオストリームのピクチャを参照していないため、このビデオストリームだけで復号し、再生することができる。

　一方、ディペンデントビュービデオストリームは、ベースビュービデオストリームを参照しながら復号するため、このビデオストリーム単独では再生することはできない。ただし、ディペンデントビュービデオストリームは、同一時刻のビューを示す別視点のベースビューのピクチャを用いて、ピクチャ間予測符号化を行う。一般的に同一時刻の右目用画像と左目用画像とは類似性があり（相関性が大きい）、その差分を圧縮符号化するのでディペンデントビュービデオストリームはベースビュービデオストリームに比べてデータ量を大幅に削減できる。

　＜ストリームデータの説明＞
　デジタルテレビの放送波等での伝送では、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームが使われている。

　ＭＰＥＧ－２トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ＩＳＯ／ＩＥＣ１３８１８－１及びＩＴＵ－Ｔ勧告Ｈ２２２．０において標準化されている。

　図６は、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームの構成を示す図である。

　本図に示すようにトランスポートストリーム５１３は、ビデオのＴＳ（Ｔａｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）パケット５０３、オーディオのＴＳパケット５０６、字幕ストリームのＴＳパケット５０９などを多重化して得られる。ビデオのＴＳパケット５０３は番組の主映像を、オーディオのＴＳパケット５０６は番組の主音声部分や副音声を、字幕ストリームのＴＳパケット５０９は番組の字幕情報を含む。

　ビデオフレーム列５０１は、ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣなどの映像の符号化方式を使って圧縮符号化される。オーディオのフレーム列５０４は、ドルビーＡＣ－３、ＭＰＥＧ－２　ＡＡＣ、ＭＰＥＧ－４　ＡＡＣ、ＨＥ－ＡＡＣなどの音声の符号化方式で圧縮符号化される。

　トランスポートストリームに含まれる各ストリームはＰＩＤと呼ばれるストリーム識別ＩＤによって識別される。このＰＩＤのパケットを抽出することで再生装置は、処理対象のストリームを抽出することができる。ＰＩＤとストリームの対応関係の情報は、以降で説明するＰＭＴパケットのディスクリプタに格納される。

　トランスポートストリームを生成するために、まず、複数のビデオフレームからなるビデオストリーム５０１、複数のオーディオフレームからなるオーディオストリーム５０４を、それぞれＰＥＳパケット列５０２及び５０５に変換する。次にＰＥＳパケット列５０２及び５０５を、それぞれＴＳパケット５０３及び５０６に変換する。同様に字幕ストリーム５０７のデータをそれぞれＰＥＳパケット列５０８に変換し、更にＴＳパケット５０９に変換する。ＭＰＥＧ－２トランスポートストリーム５１３はこれらのＴＳパケットを１本のストリームに多重化することで構成される。ＰＥＳパケット、ＴＳパケットについては後述する。

　＜ビデオストリームのデータ構成＞
　次に、映像を上述の符号化方式で圧縮符号化して得られるビデオストリームのデータ構成について説明する。

　ビデオストリームは、図７に示すような階層構造のデータである。ビデオストリームは、複数のＧＯＰから構成されており、これを圧縮符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となる。

　ＧＯＰは１つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの圧縮符号化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合の１フィールドのデータが格納される。各ビデオアクセスユニットは、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、及びストリーム終端コードを含む構成である。これら各データはＭＰＥＧ－４　ＡＶＣの場合には、ＮＡＬユニットと呼ばれる単位で格納される。

　ＡＵ識別コードはアクセスユニットの先頭を示す開始符号である。

　シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。

　ピクチャヘッダはピクチャ全体の符号化の方式などの情報を格納したヘッダである。

　補足データは圧縮ピクチャデータの復号には必須ではない付加情報であり、例えば、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などが格納される。

　圧縮ピクチャデータには、圧縮符号化されたピクチャのデータが格納される。

　パディングデータは、形式を整えるためのデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。

　シーケンス終端コードは、再生シーケンスの終端を示すデータである。

　ストリーム終端コードは、ビットストリームの終端を示すデータである。

　ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードのデータ構成は、ビデオの符号化方式によって異なる。

　ＭＰＥＧ－４　ＡＶＣの場合、ＡＵ識別コードは、ＡＵデリミタ（Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｄｅｌｉｍｉｔｅｒ）、シーケンスヘッダはＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｔｅｒ　Ｓｅｔ）に、ピクチャヘッダはＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）に、圧縮ピクチャデータは複数個のスライス、補足データはＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）、パディングデータはＦｉｌｌｅｒＤａｔａ、シーケンス終端コードはＥｎｄ　ｏｆ　Ｓｅｑｕｅｎｃｅ、ストリーム終端コードはＥｎｄ　ｏｆ　Ｓｔｒｅａｍに対応する。

　そして、ＭＰＥＧ－２形式の場合であれば、シーケンスヘッダはｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに、ピクチャヘッダはｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ、圧縮ピクチャデータは複数個のスライス、補足データはｕｓｅｒ＿ｄａｔａ、シーケンス終端コードはｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅに対応する。ＡＵ識別コードは存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。

　各属性情報のデータは常に必要ではなく、例えば、シーケンスヘッダはＧＯＰ先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットには付加せずに符号化することができる。また、ピクチャヘッダは符号順で前のビデオアクセスユニットのものを参照するようにして、自身のビデオアクセスユニット内にはピクチャヘッダを省略することもできる。

　また、図１６に示すようにＧＯＰ先頭のビデオアクセスユニットには、圧縮ピクチャデータとしてＩピクチャのデータが格納され、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは必要に応じて適宜格納される。一方、ＧＯＰ先頭以外のビデオアクセスユニットには、ＡＵ識別コード、圧縮ピクチャデータが必ず格納され、補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードを必要に応じて適宜格納される。

　図１０は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを示す図である。

　図１０の第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。

　図１０中のｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ　Ｐｒｅｓｅｎｔａｔｉｏｎ　ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。

　各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳやピクチャのデコード時刻であるＤＴＳが格納される。

　図１１は、トランスポートストリームを構成するＴＳパケットのデータ構造を示す図である。

　ＴＳパケットは、４ＢｙｔｅのＴＳヘッダと、アダプテーションフィールドとＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットである。ＴＳヘッダは、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ、ＰＩＤ、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌを含む構成である。ＰＩＤは前述したとおりトランスポートストリームに多重化されているストリームを識別するためのＩＤである。

　ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙは、同一ＰＩＤのＴＳパケットの中のパケットの種別を識別するための情報である。

　ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌは、アダプテーションフィールドとＴＳペイロードの構成を制御するための情報である。アダプテーションフィールドとＴＳペイロードはどちらかだけが存在する場合と両方が存在する場合があり、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌはその有無を示す情報である。

　ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「１」の場合は、ＴＳペイロードのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「２」の場合は、アダプテーションフィールドのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「３」の場合は、ＴＳペイロードとアダプテーションフィールドの両方が存在することを示す。

　アダプテーションフィールドは、ＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）などの情報の格納や、ＴＳパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロードにはＰＥＳパケットが分割されて格納される。

　トランスポートストリームに含まれるＴＳパケットの種別には、映像・音声・字幕などの各ストリームのパケット以外にもＰＡＴ（Ｐｒｏｇｒａｍ　Ａｓｓｏｃｉａｔｉｏｎ　Ｔａｂｌｅ）、ＰＭＴ、ＰＣＲなどのパケットがある。これらのパケットはＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｐｅｃｉｆｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。

　ＰＡＴはトランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは「０」である。

　図１２はＰＭＴのデータ構造を示す図である。

　ＰＭＴは、ＰＭＴヘッダ、トランスポートストリームに関する各種ディスクリプタ、及びトランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームに関するストリーム情報とを備える。

　ＰＭＴヘッダには、ＰＭＴに含まれるデータの長さなどの情報が記録される。

　トランスポートストリームに関するディスクリプタには、例えば、映像・音声などの各ストリームのコピーを許可・不許可を指示するコピーコントロール情報などが記録される。

　各ストリームに関するストリーム情報は、ストリームの圧縮符号化方式などを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（例えば、フレームレート、アスペクト比）が記載されたストリームディスクリプタを含む構成である。

　ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ、ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ）との同期を取るために、そのＰＣＲパケットがデコーダに転送される時刻に対応するＳＴＣ時間の情報を持つ。

　ところで、ＭＰＥＧ－２形式、ＭＰＥＧ－４　ＭＶＣ形式の符号化方式では、圧縮符号化されたフレームの領域のうち、実際に表示する領域を変更することができる。

　このため、ＭＰＥＧ－２形式のビデオストリームのピクチャをビュー間参照によって参照しながらＭＰＥＧ－４　ＭＶＣ形式のディペンデントビュービデオストリームのピクチャを復号する際には、同時刻のビューにおいてクロッピング範囲やスケーリングが同じ範囲やスケーリングを示す値になるように、属性情報を調整する必要がある。

　クロッピング領域情報とスケーリング情報について図８を参照しながら説明する。

　図８のように、圧縮符号化されたフレーム領域の中から実際に表示する領域を、クロッピング領域として指定することができる。例えば、ＭＰＥＧ－４　ＡＶＣの場合には、ＳＰＳに格納されるｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報を使って指定する。ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報は、図９の左方の図ように、クロッピンング領域の上線、下線、左線、右線と、圧縮符号化されたフレーム領域の上線、下線、左線、右線とのそれぞれの差分を、上下左右のクロップ量として指定する。具体的には、クロッピング領域を指定する場合には、ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇに「１」を設定し、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔにそれぞれ上、下、左、右のクロップ量を指定する。

　ＭＰＥＧ－２形式の場合には、図９の右図のように、クロッピング領域の縦横のサイズ（ｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｄｉｓｐｌａｙ＿ｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ，ｄｉｓｐｌａｙ＿ｖｅｒｔｉｃａｌ＿ｓｉｚｅ）と、圧縮符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報（ｐｉｃｔｕｒｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ）を使ってクロッピング領域を指定する。また、クロッピング領域を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報としてアスペクト比が設定される。再生装置は、アスペクト比の情報を使って、クロッピング領域をアップコンバートして表示を行う。ＭＰＥＧ－４　ＡＶＣの場合には、このスケーリング情報として、ＳＰＳにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ）が格納される。例えば、１４４０ｘ１０８０のクロッピング領域を、１９２０ｘ１０８０に拡大して表示するためには、アスペクト比を４：３と指定する。この場合水平方向に４／３倍にアップコンバート（１４４０ｘ４／３＝１９２０）され、１９２０ｘ１０８０のサイズに拡大されて表示される。

　ＭＰＥＧ－２形式の場合にも同様にｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒというアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎ）を格納する属性情報があり、この属性情報の値を適宜設定することによって上記と同様の処理が実現できる。

　＜ＭＰＥＧ－４　ＭＶＣ形式のビデオストリームのデータ構成＞
　次に、ＭＰＥＧ－４　ＭＶＣ形式のビデオストリームについて説明する。

　図１５は、ＭＰＥＧ－４　ＭＶＣ形式のビデオストリームの内部構成の一例を示す図である。

　同図において、ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮符号化されている。ライトビュービデオストリームのピクチャＰ１、Ｐ２は、それぞれレフトビュービデオストリームのピクチャＩ１、Ｐ２を参照し、ライトビュービデオストリームのピクチャＢ３、Ｂ４、Ｂ６、Ｂ７はそれぞれ、レフトビュービデオストリームのピクチャＢｒ３、Ｂｒ４、Ｂｒ６、Ｂｒ７を参照しながら圧縮符号化されている。

　同図の第２段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームには、ピクチャＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９が含まれている。これらのピクチャは、ＤＴＳに設定された時刻順に復号されたピクチャである。

　第１段目は、ディスプレイ等に表示される左目用画像を示す。左目用画像は、第２段目の復号されたピクチャＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９をＰＴＳに設定された時刻順、すなわち、Ｉ１、Ｂｒ３、Ｂｒ４、Ｐ２、Ｂｒ６、Ｂｒ７、Ｐ５の順に表示される。

　第４段目は、ライトビュービデオストリームの内部構成を示す。このライトビュービデオストリームには、ピクチャＰ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８が含まれている。これらのピクチャは、ＤＴＳに設定された時刻順に復号されたピクチャである。

　第３段目は、ディスプレイ等に表示される右目用画像を示す。右目用画像は、第４段目の復号されたピクチャＰ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８をＰＴＳに設定された時刻順、すなわち、Ｐ１、Ｂ３、Ｂ４、Ｐ２、Ｂ６、Ｂ７、Ｐ５の順に表示される。ただし、ＰＴＳに同じ値が付された左目用画像と右目用画像のうちどちらか一方の表示を、次のＰＴＳの時間までの間隔の半分の時間分だけ遅延させて行う。

　第５段目は、３Ｄ眼鏡２００の状態をどのように変化させるかを示す。この第５段目に示すように、左目用画像の視聴時は、右目のシャッターを閉じ、右目用画像の視聴時は、左目のシャッターを閉じる。

次に、ベースビュービデオストリームとディペンデントビュービデオストリームのアクセスユニットの関係について説明する。

　図１７はベースビュービデオストリームの各ピクチャとディペンデントビュービデオストリームの各ピクチャのビデオアクセスユニットの構成を示している。前述したとおり、図１７上段のように、ベースビュービデオストリームは、各ピクチャが１つのビデオアクセスユニットとして構成される。

　図１７下段のように、ディペンデントビュービデオストリームも同様に、各ピクチャが１つのビデオアクセスユニットを構成するが、ベースビュービデオストリームのビデオアクセスユニットとはデータ構造が異なる。

　ベースビュービデオストリームのビデオアクセスユニットと、ＰＴＳの値が同じディペンデントビュービデオストリームのビデオアクセスユニットとによって、３Ｄビデオアクセスユニット１７０１を構成する。再生装置は、この３Ｄビデオアクセスユニット単位で復号を行う。

　図１８はビデオストリーム中におけるベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳとＤＴＳとの関係の例を示している。

　同時刻のビューを示す視差画像を格納するベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャとは、ＤＴＳ及びＰＴＳが同じ値を持つように設定される。

　このように構成することで、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャを復号する再生装置は、３Ｄビデオアクセスユニット単位で復号して表示を行うことができる。

　図１９はベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。

　ベースビュービデオストリームのＧＯＰ構造は、従来のビデオストリームの構成と同じであり、複数のビデオアクセスユニットで構成される。

　また、ディペンデントビュービデオストリームは、複数のディペンデントＧＯＰから構成される。

　ディペンデントＧＯＰの先頭ピクチャは、３Ｄ映像を再生する際に、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャとペアで表示されるピクチャであり、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャのＰＴＳと同じ値のＰＴＳが付与されたピクチャである。

　図２０は、ディペンデントＧＯＰに含まれるビデオアクセスユニットのデータ構成を示す。

　図２０に示すようにディペンデントＧＯＰ先頭のビデオアクセスユニットは、圧縮ピクチャデータとして、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャと同時刻に表示されるピクチャのデータが格納され、サブＡＵ識別コード、サブシーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは適宜格納される。

　サブＡＵ識別コードは、アクセスユニットの先頭を示す開始符号である。

　サブシーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。サブシーケンスヘッダのフレームレート、解像度、アスペクト比の値は、対応するベースビュービデオストリームのＧＯＰ先頭のビデオアクセスユニットに含まれるシーケンスヘッダのフレームレート、解像度、アスペクト比と同じである。

　ＧＯＰ先頭以外のビデオアクセスユニットは、サブＡＵ識別コード、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは適宜格納される。

　本発明に係る映像ストリームのデータ作成装置又は再生装置は、ＭＰＥＧ－２形式のビデオストリームに対応した既存の再生装置での再生を維持しながら、データ量を削減した３Ｄ映像に対応したストリームを作成又は再生できるので、３Ｄ映像の生成、再生する装置等に有用である。

　２６０１　データ作成装置
　２６０２　２Ｄ互換ビデオエンコーダ
　２６０３　２Ｄ互換ビデオデコーダ
　２６０４　拡張マルチビュービデオエンコーダ
　２６０５　ベースビュービデオエンコーダ
　２６０６　２Ｄ互換ビデオ符号化情報
　２６０７　ベースビュービデオ符号化情報
　２６０８　２Ｄ互換ビデオフレームメモリ
　２６０９　ディペンデントビュービデオエンコーダ
　２６１０　マルチプレクサ
　２８０１　ＰＩＤフィルタ
　２８０２　ＴＢ（１）
　２８０３　ＭＢ（１）
　２８０４　ＥＢ（１）
　２８０５　Ｄ１（２Ｄ互換ビデオ圧縮映像デコーダ）
　２８０６　Ｏ（Ｒｅ－ｏｒｄｅｒｉｎｇ　Ｂｕｆｆｅｒ）
　２８０７　スイッチ
　２８０８　第１プレーン
　２８０９　ＴＢ（２）
　２８１０　ＭＢ（２）
　２８１１　ＥＢ（２）
　２８１２　ＴＢ（３）
　２８１３　ＭＢ（３）
　２８１４　ＥＢ（３）
　２８１５　デコードスイッチ
　２８１６　Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ
　２８１７　Ｄ２（マルチビュービデオ圧縮映像デコーダ）
　２８１８　ＤＰＢ
　２８１９　出力プレーンスイッチ
　２８２０　第２プレーン
　２８２１　２Ｄ互換ビデオデコーダ
　２８２２　拡張マルチビュービデオデコーダ
　２８２３　再生装置
　２９０１　ビデオデコーダ
　２９０２　マルチビュービデオデコーダ

Claims

　第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置であって、
　前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、
　ＭＰＥＧ－４　ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、
　前記第１、第２符号化手段により生成されたストリームを送出する送出手段と
を備え、
前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビュービデオストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ－２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
　ことを特徴とするデータ作成装置。
　前記第２符号化手段は、
　前記疑似データからなるストリームを、同一のフレーム画像から構成されるフレーム画像群を圧縮符号化して生成する
　ことを特徴とする請求項１記載のデータ作成装置。
　前記同一のフレーム画像は、単色画像のフレーム画像である
　ことを特徴とする請求項２記載のデータ作成装置。
　前記第２符号化手段は、
　前記第１フレーム画像群を圧縮符号化して得られるストリームのビットレートより低いビットレートで、前記ベースビュービデオストリームを生成する
　ことを特徴とする請求項１記載のデータ作成装置。
　前記第２符号化手段は、
ディペンデントビュービデオストリームのフレームを構成するピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）を、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ－２形式のストリームのフレームを構成するピクチャのＰＴＳと同じ値にして圧縮符号化する
　ことを特徴とする請求項３記載のデータ作成装置。
　前記第１符号化手段及び前記第２符号化手段は、
前記第１フレーム画像群及び前記第２フレーム画像群の圧縮符号化を同一のアスペクト比で行い、生成する前記各ストリームに前記アスペクト比を示す属性情報を含める
　ことを特徴とする請求項５記載のデータ作成装置。
　前記第２符号化手段は、
　ディペンデントビュービデオストリームのフレームを構成するピクチャのＤＴＳに、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ－２形式のストリームのフレームを構成するピクチャのＤＴＳの値よりＮフレーム分（Ｎ≧１の整数値）後の時刻を示す値にして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
　前記第２符号化手段は、
　ベースビュービデオストリーム及びディペンデントビュービデオストリームにおけるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）内のフレームの数が、
　前記フレームと同時刻のフレームを含む前記ＭＰＥＧ－２形式のストリームにおけるＧＯＰ内のフレームの数と同じ数にして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
　前記第２符号化手段は、
前記ＭＰＥＧ－２形式のストリームのフレームを構成するピクチャのピクチャタイプがＩピクチャである場合には、前記ＭＰＥＧ－２形式のフレームを構成するピクチャと同時刻のベースビュービデオストリームのフレームを構成するピクチャをＩピクチャとして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
　請求項１記載のデータ作成装置で送出されたストリームを取得する取得手段と、
前記取得手段により取得された前記ストリームに含まれるＭＰＥＧ－２形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、
前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、
前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段と
を備える
　ことを特徴とする再生装置。
　　前記第２復号手段は、
　前記第１復号手段により復号されたフレームのうち、前記第２フレーム画像群のフレームを構成するピクチャのＰＴＳと同じ値のＰＴＳのピクチャで構成されるフレームを参照画像として、復号処理を行う
　ことを特徴とする請求項１０記載の再生装置。
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ符号化方法であって、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化ステップと、
ＭＰＥＧ－４　ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を含み、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ－２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
ことを特徴とするデータ符号化方法。
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置に圧縮符号化処理を実行させるためのプログラムであって、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化ステップと、
ＭＰＥＧ－４　ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を含み、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ－２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
ことを特徴とするプログラム。
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置に圧縮符号化処理を実行させるためのプログラムを記録した記録媒体であって、
前記データ作成装置に、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化ステップと、
ＭＰＥＧ－４　ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を実行させ、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ－２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
プログラムを記録した記録媒体。
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置を構成する集積回路であって、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、
ＭＰＥＧ－４　ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、
前記第１、第２符号化手段により生成されたストリームを送出する送出手段と
を備え、
前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ－２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
ことを特徴とする集積回路。
請求項１記載のデータ作成装置で送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれるＭＰＥＧ－２形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を含む
ことを特徴とする再生方法。
請求項１記載のデータ作成装置で送出されたストリームの再生処理を再生装置に実行させるためのプログラムであって、
前記再生装置に、
前記送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれるＭＰＥＧ－２形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を実行させる
ことを特徴とするプログラム。
請求項１記載のデータ作成装置で送出されたストリームの再生処理を再生装置に実行させるためのプログラムを記録した記録媒体であって、
前記再生装置に、
前記送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれるＭＰＥＧ－２形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を実行させるプログラムを記録した記録媒体。
請求項１記載のデータ作成装置で送出されたストリームを再生する再生装置を構成する集積回路であって、
前記送出されたストリームを取得する取得手段と、
前記取得手段により取得された前記ストリームに含まれるＭＰＥＧ－２形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、
前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、
前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段と
を備える
ことを特徴とする集積回路。