<1.実施の形態1>
<1−1.概要>
本発明の一実施の形態に係る放送システムは、2D映像として、既存技術であるMPEG−2形式のストリームを生成し、3D映像として、MPEG−4 MVC形式を拡張した新規形式(本明細書において、この形式をMPEG−4 MVCに準拠という。)のベースビュービデオストリームとディペンデントビュービデオストリームとを生成し、送出する。
受信側では、再生装置の中の、2D再生部分がMPEG−2形式のストリームを既存の復号方式で復号して再生し、3D再生部分が、MPEG−4 MVCに準拠したベースビュービデオストリームとディペンデントビュービデオストリームを、新規符号化に対応した復号形式で復号して再生する。
図21は、本実施の形態における放送システムによって作成されたトランスポートストリームのデータ構造を示している。同図に示されるように、トランスポートストリームは、2D互換ビデオストリームAとマルチビュービデオストリームBとからなる。後者のマルチビュービデオストリームBは、ベースビュービデオストリームB1と、ディペンデントビュービデオストリームB2とからなる。
前記2D互換ビデオストリームAは、左目用画像を圧縮符号化して作成され、ベースビュービデオストリームB1は、黒などの単色映像(以下、「黒画像」という。)を圧縮符号化して作成される。
更に、ディペンデントビュービデオストリームB2は、左目用画像と右目用画像の差分を圧縮符号化して生成される。先に述べたようにベースビュービデオストリームB1は、黒画像を圧縮符号化したものであるので、ディペンデントビュービデオストリームB2を生成する際の参照画像として用いることができない。この点が、既存のMPEG−4 MVC形式と異なっているところであり、参照画像は、2D互換ビデオストリームAの同時刻のフレーム画像に設定されている。
このようなMPEG−4 MVCに準拠した形式のストリームとすると、2D映像と3D映像の両方を送信できると共に、ベースビュービデオストリームB1が、黒画像を圧縮符号化するので、ビットレートを極端に低くすることができ、結果として既存の割り当てられた周波数帯域の範囲において、2D映像と3D映像の双方を送出できるのである。
MPEG−4 MVC形式で圧縮符号化されたストリームの復号処理では、ベースビュービデオストリームのフレーム画像を参照してディペンデントビュービデオストリームを復号するが、本実施の形態では、MPEG−2互換ストリーム、すなわち、左目用画像のフレーム画像を参照画像として、ディペンデントビュービデオストリームを復号できるようにしている。
MPEG−4 MVCに準拠した形式では、具体的には、復号の際の参照先を、ベースビュービデオストリームから、MPEG−2互換ビデオストリームに変更することを再生側に指示するディスクリプタ等を規定している。
以下、本発明の実施の形態に係るデータ作成装置及び再生装置について図面を参照しながら説明する。
<1−2.データ作成装置>
<1−2−1.構成>
以下、本発明に係るデータ作成装置の一実施形態について図を参照しながら説明する。
図26は本実施の形態に係るデータ作成装置2601の機能構成のブロック図である。
データ作成装置2601は、3D映像を構成する左目用画像と右目用画像、及び黒画像を入力として、後述するデータフォーマットの2D互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームからなるトランスポートストリームを出力する。
データ作成装置2601は、2D互換ビデオエンコーダ2602、Dec(2D互換ビデオデコーダ)2603、拡張マルチビュービデオエンコーダ2604、及びマルチプレクサ2610を備える。
拡張マルチビュービデオエンコーダ2604は、ベースビュービデオエンコーダ2605、2D互換ビデオフレームメモリ2608、及びディペンデントビュービデオエンコーダ2609を備える。
2D互換ビデオエンコーダ2602は、左目用画像を入力として、MPEG−2形式で圧縮符号化し、2D互換ビデオストリームを生成して出力する。
Dec2603は、2D互換ビデオストリーム内の圧縮符号化されたピクチャを復号し、その結果得られる復号ピクチャと、2D互換ビデオ符号化情報2606とを出力する。ここで、ピクチャとは、フレーム又はフィールドを構成する画像であり1つの符号化の単位である。
復号ピクチャは、拡張マルチビュービデオエンコーダ2604の2D互換ビデオフレームメモリ2608に格納される。また、2D互換ビデオ符号化情報2606は、ベースビュービデオエンコーダ2605に入力される。
2D互換ビデオ符号化情報2606は、復号した2D互換ビデオストリームの、属性情報(解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など)、該当ピクチャのピクチャ属性情報(ピクチャタイプなど)、GOP(Group of Pictures)構造、及び、2D互換ビデオフレームメモリ管理情報の情報を含む構成である。
2D互換ビデオフレームメモリ管理情報は、2D互換ビデオフレームメモリ2608に格納される復号ピクチャのメモリアドレスと該当ピクチャの表示順情報(PTS(Presentation Time Stamp)やtemporal_reference)と符号順情報(ファイルの符号順やDTS(Decoding Time Stamp))とを関連付した情報である。
拡張マルチビュービデオエンコーダ2604は、Dec2603から出力される復号ピクチャと、2D互換ビデオ符号化情報と、右目用画像と、黒画像とを入力として、圧縮符号化を行い、ベースビュービデオストリーム、ディペンデントビュービデオストリームを出力する。
ベースビュービデオエンコーダ2605は、MPEG−4 MVC形式に準拠して圧縮符号化したデータをベースビュービデオストリームとして出力する機能を有し、2D互換ビデオ符号化情報2606に従って、黒画像を圧縮符号化して、ベースビュービデオストリームとベースビュービデオ符号化情報2607とを出力する。
ベースビュービデオ符号化情報2607は、ベースビュービデオストリームの属性情報(解像度、アスペクト比、フレームレート、プログレッシブかインターレースの区別など)、該当ピクチャのピクチャ属性情報(ピクチャタイプなど)、GOP構造、及びベースビュービデオフレームメモリ管理情報を含む構成である。
ベースビュービデオエンコーダ2605は、ベースビュービデオ符号化情報2607を出力の際に、ベースビュービデオストリームの属性情報を2D互換ビデオ符号化情報2606に含まれるビデオの属性情報と同じ値にする。さらに、ベースビュービデオエンコーダ2605は、2D互換ビデオ符号化情報2606に含まれるピクチャの属性情報(ピクチャタイプなど)やGOP構造に従って、同一表示時刻のピクチャの圧縮符号化の際のピクチャタイプを決定して、黒画像を圧縮符号化する。例えば、時刻aのピクチャの2D互換ビデオ符号化情報2606で示されるピクチャタイプがIピクチャで、当該ピクチャがGOP先頭のピクチャであれば、ベースビュービデオエンコーダ2605は、同一表示時刻を示す黒画像をIピクチャになるように圧縮符号化し、ベースビュービデオストリームのGOP先頭のビデオアクセスユニットとする。
また、時刻bのピクチャの2D互換ビデオ符号化情報2606で示されるピクチャタイプがBピクチャの場合は、ベースビュービデオエンコーダ2605は、同一表示時刻を示す黒画像をBピクチャになるように圧縮符号化する。このとき、ベースビュービデオストリームのDTSやPTSを、2D互換ビデオストリームの同時刻を示すビューに対応するピクチャのDTSやPTSにそれぞれ一致させる。
ベースビュービデオフレームメモリ管理情報は、2D互換ビデオフレームメモリ管理情報を元に、2D互換ビデオストリームを復号して得られた復号ピクチャを格納しているフレームメモリ2608のメモリアドレスと、当該復号ピクチャの表示順情報と符号順情報とを示すsyntax要素をベースビュービデオストリームの圧縮符号化方式の規則に則ったsyntax要素に変換して関連付けした情報である。syntax要素とは、MPEG−2やMPEG−4 MVC形式の圧縮符号化方式における符号化に必要な属性情報を規定した要素で、例えば、マクロブロックタイプ等のヘッダ情報、動きベクトル、変換係数などを示す要素である。
ディペンデントビュービデオエンコーダ2609は、MPEG−4 MVC形式に準拠して圧縮符号化し、ディペンデントビュービデオストリームを生成する機能を有し、ベースビュービデオ符号化情報2607に含まれる情報を元に、右目用画像を圧縮符号化し、ディペンデントビュービデオストリームを出力する。このとき、ディペンデントビュービデオエンコーダ2609は、ビュー間参照として、2D互換ビデオフレームメモリ内の復号ピクチャを用いて、圧縮符号化を行う。ここで、ビュー間参照とは、異なる視点からのビューを示すピクチャを参照することをいう。
ディペンデントビュービデオエンコーダ2609は、ビュー間参照を実行するための参照ピクチャIDを、ベースビュービデオ符号化情報2607のベースビュービデオフレームメモリ管理情報に基づいて決定する。さらに、ディペンデントビュービデオエンコーダ2609は、ディペンデントビュービデオストリームのビデオの属性情報をベースビュービデオ符号化情報2607に含まれるベースビュービデオストリームの属性情報の値と同じ値を設定する。
さらに、ディペンデントビュービデオエンコーダ2609は、ベースビュービデオ符号化情報2607に格納されているピクチャの属性情報(例えば、ピクチャタイプ)とGOP構造とに基づいて、符号化対象の画像のピクチャタイプを決定して、右目用画像を圧縮符号化する。例えば、時刻aのピクチャのベースビュービデオ符号化情報2607で示されるピクチャタイプがIピクチャで、GOP先頭であれば、ディペンデントビュービデオエンコーダ2609は、同じ時刻aのピクチャのピクチャタイプをアンカーピクチャにして、右目用画像を圧縮符号化し、ディペンデントGOP先頭のビデオアクセスユニットとする。アンカーピクチャとは、自ピクチャよりも時間的に前のピクチャを参照しないピクチャであり、自ピクチャから飛び込み再生することが可能なピクチャのことである。また、時刻bのピクチャのベースビュービデオ符号化情報2607で示されるピクチャタイプがBピクチャであれば、ディペンデントビュービデオエンコーダ2609は、同じ時刻bのピクチャのピクチャタイプをBピクチャにして、右目用画像を圧縮符号化する。
このとき、ディペンデントビュービデオストリームのDTSやPTSを、ベースビュービデオストリームの同時刻に表示すべきビューに対応するピクチャのDTSやPTSにそれぞれ一致させて圧縮符号化する。
マルチプレクサ2610は、出力された2D互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームを、PES(Packetized Elementary Stream)パケット化した後にTSパケット単位で分割し、多重化したトランスポートストリームとして出力する。
なお、再生装置が、多重化されたトランスポートストリームのストリームデータから、それぞれのビデオストリームを識別できるようにするために、2D互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームは、それぞれ別々のPIDが設定される。
<1−2−2.データフォーマット>
次に、データフォーマットについて、図面を参照しながら説明を行う。
図22に、MPEG−2形式とMPEG−4 MVC形式の圧縮符号化において、各圧縮符号化方式で一致させるビデオ属性と、そのビデオ属性を示すための各フィールド名を示す。
ディペンデントビュービデオストリームのピクチャの復号の際に、異なる圧縮符号化方式である2D互換ビデオストリームのピクチャを容易に参照できるようにするために、図22に示すビデオストリームの解像度、アスペクト比、フレームレート、及びプログレッシブかインターレースかを示すビデオ属性の値は、それぞれの符号化形式のピクチャ間で同じになるように構成する。
図25は本実施の形態での2D互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのGOP構成を示している。
このように、2D互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのGOPはすべて同じ枚数になるよう構成する。つまり、2D互換ビデオストリームのピクチャがGOP先頭の場合には、PTSが同じ値を持つベースビュービデオストリームのピクチャと、PTSが同じ値を持つディペンデントビュービデオストリームのピクチャも、それぞれGOP先頭、ディペンデントGOPの先頭でなければならない。
このように構成することで、飛び込み再生時に、2D互換ビデオストリームがIピクチャであれば、その時刻からすべてのビデオストリームの復号が可能であるため、飛び込み再生時の処理が容易となる。
トランスポートストリームがファイルとして保存されている場合には、GOP先頭のピクチャがファイル上のどこにあるかを示すエントリマップ情報を管理情報として持つことがある。例えばBlu−ray Discのフォーマットでは、そのエントリマップ情報は管理情報ファイルとして別のファイルとして保存される。
本実施の形態のトランスポートストリームにおいては、2D互換ビデオストリームのGOP先頭のピクチャの位置が、エントリマップに登録される場合には、同時刻のベースビューの位置もディペンデントビューの位置もエントリマップに登録するようにする。このようにすることで、エントリマップを参照することで、3D映像の飛び込み再生が容易になる。
図36は、トランスポートストリームの構成とPMT(Program Map Table)パケットの関係を示している。3D映像のストリームを含むトランスポートストリームにおいては、PMTパケットなどのシステムパケット中に、3D映像の復号処理を行う上でのシグナリング情報を含める。図36に示すように、ディスクリプタには、各ビデオストリームの関係や本方式の3D映像再生の開始・終了などのシグナリングを行うための3D情報ディスクリプタと、ビデオストリームごとに設定される3Dストリームディスクリプタを含む構成である。
図37は、3D情報ディスクリプタの構造を示す。
3D情報ディスクリプタは、再生方式、左目映像タイプ、2D互換ビデオPID、ベースビュービデオPID、及びディペンデントビュービデオPIDから構成される。
再生方式は、再生装置の再生方法をシグナリングするための情報である。
図38を用いて、その再生方式を説明する。
再生方式の値が「0」の場合は、2D互換ビデオによる2D映像再生を示し、この場合には、再生装置は、2D互換ビデオストリームのみを2D映像再生する。
再生方式の値が「1」の場合は、2D互換ビデオとディペンデントビュービデオによる3D映像再生(つまり、本実施の形態で説明する3D映像再生方式であること)を示す。この場合は、再生装置は、2D互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームを本実施の形態で説明する再生方法で3D映像再生を行う。なお、本実施の形態における3D映像の再生方法は後述する。
再生方式の値が「2」の場合は、ベースビュービデオストリームとディペンデントビュービデオによる3D映像の再生であることを示す。つまり、2D互換ビデオストリームと、3D映像を構成するマルチビュービデオストリームはそれぞれ異なる映像を圧縮符号化して生成したものであり、参照関係にないことを示す。この場合は、再生装置は通常のMPEG−4 MVC形式で圧縮符号化したビデオストリームとして、そのビデオストリームを3D映像再生する。
再生方式の値が「3」の場合は、2D互換ビデオストリーム又はベースビュービデオストリームをダブリング再生することを示し、再生装置はダブリング再生を行う。ダブリング再生とは、ある時刻aの左右のビューのどちらか一方のピクチャをLとRのどちらのプレーンにも出力することである。この再生方法による再生は、ユーザの視聴画面としては2D映像再生と等しいが、3D映像再生時にフレームレートの変更が発生しないので再生装置がHDMI(High−Definition Multimedia Interface)等でディスプレイ等に接続されている場合に再認証が発生せず、2D映像再生区間と3D映像再生区間とのシームレスな接続再生が実現できる利点がある。
左目映像タイプは、マルチビュービデオストリームの内、どちらのストリームに左目用画像が圧縮符号化されているか(もう一方のビデオストリームが右目用画像となる)を示す情報である。再生方式の値が「0」の場合は、このフィールドの値は参照する意味がない。再生方式の値が「1」の場合は、2D互換ビデオとディペンデントビュービデオの内、どちらが左目用画像であるかを示す。すなわち、再生方式の値が「1」で左目映像タイプの値が「0」の場合には、2D互換ビデオのストリームが左目用画像に対応したビデオストリームであることを示す。再生装置は、再生方式の値が「2」や「3」の場合も同様にして、左目映像タイプの値を参照することによって、どのビデオストリームが左目用画像に対応したビデオストリームであるかを判断することができる。
2D互換ビデオPID、ベースビュービデオPID、及びディペンデントビュービデオPIDは、トランスポートストリーム内の各ビデオストリームのPIDを示す。この情報により、復号対象のストリームを識別できる。
図39は、3Dストリームディスクリプタを示す。
3Dディスクリプタのフィールド名として、ベースビュービデオタイプ、参照先タイプ、被参照タイプがある。
ベースビュービデオタイプは、ベースビュービデオストリームにどの映像が圧縮符号化されているかを示す。ベースビュービデオタイプの値が「0」の場合は、3D映像の左目用画像もしくは右目用画像を圧縮符号化したデータのどちらかが圧縮符号化されているかを示し、「1」の場合は、2D互換ビデオストリームによって置き換えられプレーンへ出力されないダミー映像として黒画像を圧縮符号化していることを示す。
参照先タイプは、ディペンデントビュービデオストリームがビュー間参照の参照先のビデオストリームのタイプを示す。参照先タイプの値が「0」の場合は、ベースビュービデオストリームのピクチャをビュー間参照先としていることを示し、「1」の場合は、2D互換ビデオストリームのピクチャをビュー間参照先としていることを示す。つまり、参照先タイプの値が「1」の場合が本実施の形態における3D映像方式による参照方式であることを示す。
被参照タイプは、該当ビデオストリームがビュー間参照されるか否かを示す。参照されないのであれば、ビュー間参照の処理をスキップすることができるため復号処理の負荷を軽減できる。なお、3D情報ディスクリプタと3Dストリームディスクリプタの情報の全て又は一部は、PMTパケットではなく、各ビデオストリームの補足データ等に格納されてもよい。
図23はトランスポートストリーム中における2D互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるPTS、DTS及びピクチャタイプの関係の例を示している。
データ作成装置2601は、同時刻の左目画像を圧縮符号化して生成した2D互換ビデオストリームのピクチャとディペンデントビュービデオストリームのピクチャとのDTS及びPTSの値を、それぞれ同じDTS及びPTSの値に設定する。また、同時刻に再生されるべきベースビュービデオストリームのピクチャのPTS、DTS、及びPOCに対しても、ディペンデントビュービデオストリームのピクチャのPTS、DTS、及びPOCとそれぞれ同じ値を設定する。
ディペンデントビュービデオストリームのピクチャのビュー間参照では、この同じ値のPTS、DTS、POCを持つベースビュービデオストリームのピクチャを参照する。具体的には、ディペンデントビュービデオストリームのピクチャのビュー間参照では、ディペンデントビュービデオストリームのピクチャの各マクロブロックから指定されるピクチャ参照ID(ref_idx_l0もしくはref_idx_l1)は、POCが同じ値を持つベースビューピクチャを示す値が設定される。
<1−2−3.動作>
図27はデータ作成装置2601のデータ作成フローを示す図である。以下、そのデータ作成フローを説明する。
変数Nは、圧縮符号化対象のフレーム画像のフレーム番号を記憶する変数である。
まず、変数Nを初期化する(N=0)。次に、左目用画像にN番目のフレームが存在するかをチェックする(ステップS2701)。存在しない場合(ステップS2701:No)は、圧縮符号化すべきデータがなくなったと判断して、処理を終了する。
ステップS2701でYesの場合には、1回の圧縮符号化フロー(ステップS2702〜ステップS2706)で、圧縮符号化する画像の枚数(以下、「1符号化枚数」と呼ぶ。)を決定する(ステップS2702)。1つのGOPとして設定するビデオアクセスユニットの最大数(最大GOP枚数、例えば30フレーム)を1符号化枚数と設定する。ビデオストリームの最後のGOPは、入力するビデオストリームの長さによって符号化するフレームの枚数が最大GOP枚数に足りない場合が想定されるので、この場合には残りのフレーム枚数を1符号化枚数とする。
次に、2D互換ビデオエンコーダ2602は、1符号化枚数分の2D互換ビデオストリームの生成を行う(ステップS2703)。左目用画像のN番目のフレームから1符号化枚数分だけ、2D互換ビデオストリームの圧縮符号化方式に従って、圧縮符号化して、2D互換ビデオストリームを生成して出力する。
さらに、2D互換ビデオデコーダ2603は、1符号化枚数分の2D互換ビデオストリームの復号処理を行う(ステップS2704)。ステップS2703にて出力された2D互換ビデオストリームに対して、N番目フレームから1符号化枚数分、圧縮ピクチャデータを復号して得られる復号ピクチャと2D互換ビデオ符号化情報とを出力する。
ベースビュービデオエンコーダ2605は、1符号化枚数分のベースビュービデオストリームの生成を行う(ステップS2705)。具体的には、2D互換ビデオ符号化情報を元に、ベースビュー符号化情報2607としてベースビュービデオストリームの属性情報(解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など)、GOP内の各ピクチャのピクチャ属性情報(ピクチャタイプなど)、GOP(Group of Pictures)構造、及び、2D互換ビデオフレームメモリ管理情報を設定し、黒画像を、1符号化枚数分、圧縮符号化して、ベースビュービデオストリームを生成する。また、設定したベースビュース符号化情報2607を出力する。
次に、ディペンデントビュービデオエンコーダ2609は、1符号化枚数分のディペンデントビュービデオストリームの生成を行う(ステップS2706)。具体的には、ステップS2705で出力したベースビュービデオ符号化情報を元に、ディペンデントビュービデオストリームの属性情報(解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など)、GOP内の各ピクチャのピクチャ属性情報(ピクチャタイプなど)、GOP(Group of Pictures)構造、及び、2D互換ビデオフレームメモリ管理情報を設定する。
さらに、ディペンデントビュービデオストリームエンコーダ2609は、ピクチャ間予測符号化を用いて符号化を行う際に、ベースビュービデオストリームのピクチャを参照するのではなく、2D互換ビデオフレームメモリ2608内の同一表示時刻を示す2D互換ビデオストリームを復号したピクチャを参照しながら、ピクチャ間予測符号化を用いて右目用画像のN番目のフレームから1符号化枚数分、圧縮符号化して、ディペンデントビュービデオストリームを生成する。
マルチプレクサ2610は、2D互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームを、PESパケット化する。次にPESパケットをTSパケット単位に分割し、多重化したトランスポートストリームを生成する。その後、Nに1符号化枚数を加算する(ステップS2707)。
ステップS2707の処理が完了したら、ステップS2701に戻って処理を繰り返す。
なお、1回のフローでの符号化枚数は変更することができる。枚数を少なくしたい場合は、ステップS2702の1符号化枚数の値を小さくなるように設定すればよい。例えば、ビデオ符号化時のリオーダリングの枚数が2枚の場合には、4枚単位で圧縮符号化を実行すれば、リオーダリングの影響を受けない。リオーダリングの枚数が2枚の圧縮符号化方式で、ピクチャタイプがI1、P4、B2、B3、P7、B5、B6(数字は表示順)の場合を想定する。1符号化枚数が3の場合、P4のピクチャが処理できないため、B2、B3の圧縮符号化処理ができない。1符号化枚数を4にすれば、P4のピクチャが処理できるため、B2、B3の圧縮符号化処理ができる。このように、1符号化枚数は、1回の圧縮符号化フローごとに、最大GOP枚数以内で、画像の特性に応じて最適な枚数に設定してもよい。
<1−3.再生装置>
<1−3−1.構成>
次に本実施の形態に係る3D映像を再生する再生装置2823の構成について図を参照しながら説明する。
図28は再生装置2823の機能構成を示すブロック図である。
再生装置2823は、PIDフィルタ2801、2D互換ビデオデコーダ2821、拡張マルチビュービデオデコーダ2822、第1プレーン2808、及び第2プレーン2820を含む構成である。
PIDフィルタ2801は、入力されたトランスポートストリームをフィルタリングする。PIDフィルタ2801はTSパケットのうち、TSパケットのPIDの値が、再生に必要とされるPIDの値に一致するものを、PIDの値に従って、2D互換ビデオデコーダ2821又は拡張マルチビュービデオデコーダ2822に転送する。
どのストリームがどのPIDに対応しているかはPMTパケットのストリーム情報によって判断できる。例えば、2D互換ビデオストリームのPIDが0x1011、マルチビュービデオストリームのベースビュービデオストリームのPIDが0x1012、マルチビュービデオストリームのディペンデントビュービデオストリームのPIDが0x1013とすると、TSパケットのPIDの値を参照し、TSパケットに含まれるPIDの値が予め決められている上記PIDの値と一致する場合に、そのTSパケットをそれぞれ対応するデコーダに転送する。
第1プレーン2808は、2D互換ビデオデコーダ2821が復号してPTSの値に従って出力したピクチャを保持するプレーンメモリである。
第2プレーン2820は、拡張マルチビュービデオデコーダ2822が復号してPTSの値に従って出力したピクチャを保持するプレーンメモリである。
次に2D互換ビデオデコーダ2821と拡張マルチビュービデオデコーダ2822とについて説明する。
2D互換ビデオデコーダ2821は、2D映像の圧縮符号化方式であるMPEG−2形式のデコーダと基本的には同じ復号機能を有し、拡張マルチビュービデオデコーダ2822は、ビュー間参照を実現する3D映像の圧縮符号化方式であるMPEG−4 MVC形式のデコーダと基本的には同じ復号機能を有する。ここでは、MPEG−2形式の圧縮符号化方式の一般的なデコーダをビデオデコーダ2901、及びMPEG−4 MVC形式の圧縮符号化方式の一般的なデコーダをマルチビュービデオデコーダ2902とする。
まず、ビデオデコーダ2901及びマルチビュービデオデコーダ2902について図29を用いて説明する。その後で、2D互換ビデオデコーダ2821とビデオデコーダ2901との異なる部分、及び拡張マルチビュービデオデコーダ2822とマルチビュービデオデコーダ2902との異なる部分を重点的に説明する。
図29に示すように、ビデオデコーダ2901は、TB(TransportStreamBuffer)(1)2802、MB(Multiplexing Buffer)(1)2803、EB(ElementaryStreamBuffer)(1)2804、D1(2D互換ビデオ圧縮映像デコーダ)2805、及びO(Re−ordering Buffer)2806を含む構成である。
TB(1)2802は、ビデオストリームを含むTSパケットがPIDフィルタ2801から出力された際、TSパケットのまま一旦蓄積されるバッファである。
MB(1)2803は、TB(1)2802からEB(1)2804にビデオストリームを出力するにあたって、一旦PESパケットを蓄積しておくためのバッファである。TB(1)2802からMB(1)2803にデータが転送される際に、TSパケットのTSヘッダ及びアダプテーションフィールドは取り除かれる。
EB(1)2804は、圧縮符号化状態にあるピクチャ(Iピクチャ、Bピクチャ、Pピクチャ)が格納されるバッファである。MB(1)2803からEB(1)2804にデータが転送される際にPESヘッダが取り除かれる。
D1(2805)は、ビデオエレメンタリストリームの個々のビデオアクセスユニットを所定のDTSの時刻で復号することによりフレーム画像のピクチャを作成する。
D1(2805)で復号されたピクチャはプレーン2808もしくはO2806に出力される。PピクチャやIピクチャのように、DTSとPTSの値が異なる場合には、O2806に出力され、BピクチャのようにDTSとPTSの値が同じ場合には、そのままプレーン2808に出力される。
O2806は、復号したピクチャのDTSとPTSとの値が異なる場合、すなわち、ピクチャの復号順と表示順が異なる場合にリオーダリングを行うためのバッファである。D1(2805)は、O2806に格納されるピクチャのデータを参照して、復号処理を行う。
スイッチ2807は、復号されたピクチャをプレーン2808に出力する際に、O2806にバッファリングされた画像を出力するかD1(2805)からの出力を直接出力するかの切り替えを行う。
次に、マルチビュービデオデコーダ2902について説明する。
図29に示すように、マルチビュービデオデコーダ2902は、TB(2)2809、MB(2)2810、EB(2)2811、TB(3)2812、MB(3)2813、EB(3)2814、デコードスイッチ2815、Inter−view buffer2816、D2(マルチビュービデオ圧縮映像デコーダ)2817、DPB(Decoded Picture Buffer)2818、及び出力プレーンスイッチ2819とを含む構成である。
TB(2)2809、MB(2)2810、及びEB(2)2811は、それぞれTB(1)2802、MB(1)2803、及びEB(1)2804と同じ機能を持つが、バッファリングするデータがベースビュービデオストリームである点が異なる。
TB(3)2812、MB(3)2813、及びEB(3)2814は、それぞれTB(1)2802、MB(1)2803、及びEB(1)2804と同じ機能を持つが、バッファリングするデータがディペンデントビュービデオストリームである点が異なる。
スイッチ2815は、EB(2)2811とEB(3)2814とからDTSの値に従って、そのDTSが付与されているビデオアクセスユニットのデータを取り出しの、3Dビデオアクセスユニットを構成して、D2(2817)に転送する。
D2(2817)は、スイッチ2815を介して転送される3Dビデオアクセスユニットに対する復号処理を行い、フレーム画像のピクチャを作成する。
D2(2817)により復号されたベースビュービデオの復号されたピクチャは、Inter−view buffer2816に一旦格納される。D2(2817)は、ディペンデントビュービデオストリームのピクチャを、Inter−view buffer2816に格納されるPTSが同じ値を持つベースビュービデオストリームの復号ピクチャを参照して、復号処理を行う。
マルチビュービデオデコーダ2902は、ビュー間参照を行うためのピクチャを指定する参照ピクチャリストを、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャのピクチャタイプやsyntax要素に基づいて作成する。
D2(2817)は、Inter−view buffer2816に格納されるベースビューの復号ピクチャと、ディペンデントビューの復号ピクチャをDPB2818に転送し、PTSの値に従って、出力プレーンスイッチ2819を介して出力する。
DPB2818は、復号されたピクチャを一時的に保持しておくバッファである。D2(2817)が、ピクチャ間予測符号化モードを用いてPピクチャやBピクチャなどのビデオアクセスユニットを復号する際に、既に復号されたピクチャを参照するために利用する。
出力プレーンスイッチ2819は、復号されたピクチャを、適切なプレーンへ出力する処理を行う。例えば、ベースビュービデオストリームが、左目用画像を示し、ディペンデントビュービデオストリームが、右目用画像を示す場合には、ベースビュービデオストリームのピクチャを左目用画像のプレーンに、ディペンデントビュービデオストリームのピクチャを右目用画像のプレーンに出力する。
次に、2D互換ビデオデコーダ2821と拡張マルチビュービデオデコーダ2822について説明する。
2D互換ビデオデコーダ2821は、ビデオデコーダ2901と基本的な構造は同じであるため、機能の共通部分については説明を省略して、異なる部分を説明する。
図28で示す2D互換ビデオデコーダ2821はD1(2805)で復号したピクチャをO2806やスイッチ2807に転送するだけでなく、DTSの値に基づいて、拡張マルチビュービデオデコーダ2822のInter−view buffer2816にも転送する。
拡張マルチビュービデオデコーダ2822は、マルチビュービデオデコーダ2902と基本的な構造は同じであるため、機能の共通部分については説明を省略して、異なる部分を説明する。
拡張マルチビュービデオデコーダ2822は、2D互換ビデオデコーダ2821から、DTSの値に従って転送されるピクチャを、Inter−view buffer2816内で、先に復号されているベースビュービデオストリームのPTS及びDTSが同じ値を持つ復号ピクチャが格納される領域に上書きして格納する。このため、拡張マルチビューデコーダ2822は、ディペンデントビュービデオストリームのピクチャを復号する際に、2D互換ビデオストリームの復号ピクチャを、あたかもベースビュービデオストリームの復号ピクチャであるとして参照することができる。Inter−view buffer2816上のアドレス管理は、従来のベースビュービデオストリームの復号ピクチャの管理と変更する必要はない。
また、拡張マルチビュービデオデコーダ2822は、DPB2818に格納された映像の内、第2プレーン2820への出力は、ディペンデントビュービデオストリームのピクチャのみをPTSの値に従って出力するように出力プレーンスイッチ2819を制御する。ベースビュービデオストリームのピクチャは、表示には関係ないのでプレーンに出力しない。
このようにして、2D互換ビデオデコーダ2821からは、2D互換ビデオストリームのピクチャがPTSの値に従って第1プレーン2808に出力され、拡張マルチビュービデオデコーダ2822からは、マルチビュービデオストリームのディペンデントビュービデオストリームのピクチャがPTSの値に従って第2プレーン2820に出力される。
このように構成することによって、異なる映像圧縮符号化方式である2D互換ビデオストリームのピクチャを参照して、マルチビュービデオストリームのディペンデントビュービデオストリームを復号することができる。
<1−3−2.動作>
図30は再生装置2823の3D映像における復号処理と出力処理のフローを示す図である。
再生装置2823は、EB(1)2804にピクチャがあるかどうかを判定する(ステップS3001)。ピクチャがなければ(ステップS3001:No)、ビデオストリームの転送が終了したと判断して、処理を終了する。
EB(1)にピクチャがある場合(ステップS3002:Yes)、再生装置2823は、拡張マルチビュービデオデコーダ2822を利用して、ベースビュービデオストリームの復号処理を行う(ステップS3002)。具体的には、DTSの値に従って、該当するDTSに付与されたピクチャをEB(2)より取り出し、復号処理を行い、Inter−view buffer2816にデータを格納する。Inter−view buffer2816内のピクチャの管理は、従来のMPEG−4 MVC形式における管理と同じであるので詳細は省略するが、参照ピクチャリストを作るための管理情報としてPTS及びPOCと復号ピクチャの参照先を示すInter−view buffer2816のデータアドレスとを関連付けるテーブル情報を内部に持って管理する。
次に、再生装置2823は、2D互換ビデオデコーダ2821を利用して、2D互換ビデオストリームの復号処理を行う(ステップS3003)。具体的には、DTSの値に従って、該当するDTSに付与されたピクチャをEB(1)より取り出し、復号処理を行う。このとき、O2806やスイッチ2807に復号したピクチャを転送する。さらに、Inter−view buffer2816にも復号したピクチャを転送する。
拡張マルチビュービデオデコーダは、転送されたピクチャを、Inter−view buffer2816にある同じ値のDTS及びPTSが付与されているベースビューピクチャに上書きする。
具体的な上書き処理について図31を用いて説明する。
図31上段のように、Inter−view buffer2816のピクチャの管理は、例えばPTSとInter−view buffer2816のメモリアドレスで管理されているとする。図31上段は、PTS=100におけるベースビュービデオストリームのピクチャが復号された直後の様子を示しており、PTS=100のベースビューの復号ピクチャは、アドレスBから始まるメモリ領域に格納されていることを示す。
ここで、ステップS3003の処理が行われると、図31下段のようになり、PTS=100のベースビュービデオピクチャが格納されるメモリ領域のアドレスBに対して、PTSが同じ値の2D互換ビデオストリームの復号ピクチャが上書きされる。このように、バッファ内のピクチャ管理を行うための管理情報(例えば、PTS)は変更する必要なく、ピクチャのデータのみを上書きする。これにより、D2(2817)は、従来のMPEG−4 MVC形式のディペンデントビュービデオストリームの復号処理と同じ処理で、2D互換ビデオストリームを復号して得たピクチャを参照しながら復号することができる。
次に、拡張マルチビュービデオデコーダ2822は、ディペンデントビュービデオストリームの復号処理を行う(ステップS3004)。具体的には、拡張マルチビュービデオデコーダ2822は、DTSの値に従って、該当するDTSに付与されたピクチャをEB(3)より取り出し、ディペンデントビュービデオストリームのピクチャをInter−view buffer2816に格納されるピクチャを参照しながら復号処理を行う。
このとき参照するピクチャは、ベースビュービデオストリームのピクチャではなく、ステップS3003にて上書きされた2D互換ビデオストリームのピクチャである。
再生装置2823は、2D互換ビデオストリームの復号ピクチャをPTSの値に従って、第1プレーン2808に出力し、ディペンデントビュービデオストリームの復号ピクチャをPTSの値に従って、第2プレーン2820に出力する(ステップS3005)
再生装置2823のD1(2805)で行う復号処理は、既存のMPEG−2形式のビデオストリームの復号処理と同じなので、既存のMPEG−2形式のビデオの再生装置のLSI(Large Scale Integration)やソフトウェアを利用することができる。また、D2(2817)で行うMPEG−4 MVC形式の復号処理についても、既存のMPEG−4 MVC形式の処理と同じであるので、既存のMPEG−4 MVC形式のビデオの再生装置のLSIやソフトウェアを利用できる。
<再生装置2823の使用態様の一例>
図5を用いて、データ作成装置2823で作成したビデオストリームの3D映像を再生できる3Dデジタルテレビ100と、3D映像の再生をサポートしない従来の2D映像のみを再生できる2Dデジタルテレビ300を例に挙げて説明する。
図5(a)に示すように、ユーザは、3Dデジタルテレビ100と3D眼鏡200を用いて3D映像を視聴する。
3Dデジタルテレビ100は、2D映像及び3D映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。具体的には、MPEG−2形式で圧縮符号化された2D互換ビデオストリームとMPEG−4 MVC形式に準拠して圧縮符号化されたベースビュービデオストリームとディペンデントビュービデオストリームを再生する。
3Dデジタルテレビ100は、2D互換ビデオストリームを復号して得た左目用画像とディペンデントビュービデオストリームを復号して得た右目用画像とを交互に表示する。
ユーザは、このようにして再生された映像を、3D眼鏡200を着用して眺めることで立体映像として視聴することができる。
図5(b)は、3D眼鏡200の左目用画像の表示時を示す。
画面上に左目用の画像が表示されている瞬間において、3D眼鏡200は、左目に対応する液晶シャッターを透光にし、右目に対応する液晶シャッターは遮光する。
同図(c)は、右目用画像の表示時を示す。
画面上に右目用画像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
図5(d)の2Dデジタルテレビ300は、2D映像の再生に対応し、データ作成装置2601で作成したトランスポートストリームに含まれるビデオストリームのうち2D互換ビデオストリームを復号して得られる2D映像を再生することができる。
<2.変形例>
以上、本発明に係るデータ作成装置及び再生装置の実施の形態を説明したが、例示したデータ作成装置及び再生装置を以下のように変形することも可能であり、本発明が上述の実施の形態で示した通りのデータ作成装置及び再生装置に限らないことは勿論である。
(1)本実施の形態の再生装置では、ステップS3003にて、Inter−view buffer2816のベースビュービデオストリームの復号ピクチャに対して、PTSの値が同じ2D互換ビデオストリームの復号ピクチャを上書きするとしたが、図32下段のように、上書き処理を行わずにアドレス参照先を変更するようにしてもよい。
このように処理を行うことによって、上書き処理を省略できるので負荷を軽減できる。
(2)本実施の形態の再生装置では、ベースビューの復号ピクチャをDPB2818に格納するとしたが、ベースビュービデオストリームの復号ピクチャは参照されないため、DPB2818に格納しないようにしてもよい。このようにすれば、DPB2818からベースビュービデオストリームのピクチャを格納する分のメモリ量を削減することが可能となる。
(3)本実施の形態では、ベースビュービデオストリームをトランスポートストリームに含めて生成し、復号処理において、ベースビュービデオストリームのピクチャの復号処理を行うとしたが、ベースビュービデオストリームのピクチャの復号処理は省略してもよい。
拡張マルチビュービデオデコーダ2822は、ベースビュービデオストリームのピクチャの復号をせずに、ヘッダ情報の解析(例えば、POCの取得、ピクチャタイプ、ViewID、参照有り無しの情報取得など)とInter−view buffer2816に1枚分のピクチャが格納できる領域の確保を行う。拡張マルチビュービデオデコーダ2822は、確保した領域に、ヘッダ情報解析で得たPTSやDTSと同じ値を持つ2D互換ビデオデコーダから出力される復号ピクチャを格納する。
このようにすれば、ピクチャの復号処理をスキップできるので、再生処理全体での処理負荷を軽減できる。
また、ディペンデントビュービデオストリームのピクチャから、2D互換ビデオストリームのピクチャへのビュー間参照を実現させるため必要な情報、すなわち、拡張マルチビュービデオデコーダがInter−view buffer2816を管理できるようにするための情報を含めた2D互換ビデオストリームを生成するようにしてもよい。
具体的には、ベースビュービデオストリームのsyntax要素の全てまたは一部を2D互換ビデオストリームの補足データに格納するように構成する。すなわち、Inter−view bufferバッファ2816のピクチャ管理を行うための情報(MPEG−4 MVC形式の表示順を示すPOC、ピクチャタイプを示すslice_type、ピクチャの参照・非参照を示すnal_ref_idc、ベース参照ピクチャリストを作成するための情報であるref_pic_list_mvc_modification、ベースビュービデオストリームのViewID、MMCOコマンド)などを2D互換ビデオストリームの各ピクチャの補足データに含めるようにする。
このように2D互換ビデオストリームのデータをディペンデントビュービデオストリームから直接参照できるように構成すれば、ベースビュービデオストリームはトランスポートストリーム上に多重化されていなくてもよい。
この場合、図3で示すように、MPEG−4 MVC形式のディペンデントビュービデオストリームのピクチャはMPEG−2形式のビデオストリームのピクチャを直接参照することになる。
ただし、MPEG−4 MVC形式のベースビュービデオストリームをトランスポートストリーム上に多重化した場合、データ形式は従来とほぼ同じなので、従来のMPEG−4 MVC形式に対応した符号化装置や再生装置と親和性がよく、少ない改良で本実施の形態のビデオストリームデータに対応した符号化装置や再生装置が実現できる。
(4)本実施の形態の再生装置では、O2806とDPB2818のメモリは別領域として扱っていたが、図33に示すように、メモリ空間を共用化してもよい。例えば、図33の例では、PTS=100とPTS=200の2D互換ビデオのピクチャは、ステップS3003によって、Inter−view buffer2816のPTSが同じ値のベースビューピクチャに上書きされることになる。このとき、DPB2818にデータを格納する際にDPB2818の管理テーブルの参照先ピクチャのアドレスの設定だけで行い、上書き処理を省略することができる。具体的には、図33の例では、DPB2818のピクチャ管理テーブルにおいては、PTS=100,PTS=200のベースビュー(View_IDが最小値)のピクチャのアドレスは、O2806の管理テーブルのPTS=100、PTS=200に対応した.2D互換ビデオの復号ピクチャのアドレスをそれぞれ示すように設定する。
このようにすれば、ピクチャを格納するためのメモリ量を削減することができる。
(5)本実施の形態の再生装置では、Inter−view buffer2816とDPB2818は別のバッファとして扱ったが、これを同じバッファとしてもよい。例えば、DPB2818に統一される場合には、DPB2818内の同一の値のPTSと、同一のViewIDとを持つベースビュービデオストリームの復号ピクチャを2D互換ビデオストリームの復号ピクチャに置き換えればよい。
(6)本実施の形態における圧縮符号化処理において、2D互換ビデオストリームのピクチャと、同一表示時刻のベースビュービデオストリームのピクチャと、同一表示時刻のディペンデントビュービデオストリームのピクチャにおいて、ひとつでもBピクチャ(Brピクチャを含む)があれば、同一表示時刻の2D互換ビデオストリームのピクチャと、ベースビュービデオストストリームのピクチャと、ディペンデントビュービデオストリームのピクチャとのピクチャタイプをBピクチャ(Brピクチャを含む)にしなければならないという制約を課してもよい。このように構成することによって、IピクチャとPピクチャのみを選択して特殊再生(例えば、飛び込み再生)を行う再生装置において、その特殊再生処理が容易になる。
図24は、特殊再生について説明するための図である。図24上段は、上記の制約が課されていない場合について示している。この場合、表示順で3番目のピクチャにおいて、2D互換ビデオストリームとベースビュービデオストリームは、Pピクチャ(P3)になっているが、ディペンデントビュービデオストリームのピクチャはBピクチャ(B3)となっている。
これにより、ディペンデントビュービデオストリームの復号を行うために、ディペンデントビュービデオストリームのピクチャBr2を復号する必要があり、また、ベースビュービデオストリームのBr2も復号する必要がある。一方で、図24下段は、上記制約を課した場合について示している。
この場合には、表示順で3番目のピクチャにおいて、2D互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームのピクチャはすべてPピクチャとなり、すべてのビデオストリームにおいて、IピクチャとPピクチャのみを復号すればよいため、IピクチャとPピクチャを選択した特殊再生処理が容易になる。
(7)本実施の形態のデータ作成装置では、トランスポートストリームの多重化において、各ビデオストリームのPIDとして別々のPIDを設定するとしたが、ベースビュービデオストリームとディペンデントビュービデオストリームとに、同一のPIDを割り当てるようにしてもよい。
このように構成することで、マルチビュービデオストリームの圧縮符号化方式の仕様に合わせて各ビデオストリームのアクセスユニットをマージして転送することができる。
この場合、ベースビュービデオストリームとディペンデントビデオストリームのマージは圧縮符号化方式の仕様に合わせて行い、再生装置は図45のような構成で、拡張マルチビュービデオデコーダのデータ転送ラインがひとつになるように構成すればよい。
また、ベースビュービデオストリームとディペンデントビュービデオストリームとにおいて、同時刻のピクチャを格納した各アクセスユニットのヘッダ(例えば、シーケンスヘッダ、ピクチャヘッダ)情報を共有してもよい。すなわち、ヘッダ情報をベースビュービデオストリームのみに設けて、ディペンデントビュービデオストリームを復号する際には、復号に必要なヘッダ情報をベースビュービデオストリームのヘッダ情報を参照しながら復号するようにしてもよい。従って、ディペンデントビュービデオストリームには、復号に必要なヘッダ情報の付加を省略できる。
(8)本実施の形態のデータ作成装置において、図23にて説明したように、同一表示時刻の2D互換ビデオストリームとディペンデントビュービデオストリームのピクチャのDTSの値はそれぞれ等しく、さらに、ディペンデントビュービデオストリームのピクチャと、ベースビュービデオストリームとのピクチャのDTSもそれぞれ同じ値とした。しかし、同一表示時刻のそれぞれのビデオストリームにおけるピクチャのDTSの値は、同じでなくてもよい。例えば、図35に示すように2D互換ビデオストリームのDTSの値を、ベースビュー・ディペンデントビュービデオストリームよりも先(例えば、1フレーム分前)に復号される値に設定してもよい。
このように構成することで、2D互換ビデオストリームの復号を前もって行うことができるため、Inter−view bufferへの上書き処理やディペンデントビュービデオストリームのピクチャ復号処理を、余裕を持って行うことができる。
なお、図35では、同一表示時刻の視差画像を格納する2D互換ビデオストリームのピクチャのPTSについては、ディペンデントビューのピクチャのPTSと同じとしているが、2D互換ビデオストリームの復号処理を前もって行うために、同一表示時刻の2D互換ビデオストリームのピクチャのPTSを、ベースビュー・ディペンデントビュービデオストリームよりも先(例えば、1フレーム分前)になるように設定している。
このように2D互換ビデオストリームとマルチビュービデオストリーム間でのPTS値を変える場合、例えば、2D互換ビデオストリームのピクチャのPTSを、ディペンデントビュービデオストリームのピクチャのPTSよりも1フレーム前にする場合には、Inter−view bufferのベースビュービデオストリームのピクチャの入れ換え時に、ベースビュービデオストリームのピクチャに対して、1フレーム前を示す値のPTSの2D互換ビデオストリームのピクチャで入れ換えるようにする。
なお、実データに付与されるPTSやDTSの設定は、図23に示す時刻設定であっても、2D互換ビデオストリームのピクチャのDTSやPTSが先になるように、内部的に値を修正して復号処理を行ってもよい。
(9)本実施の形態の再生装置では、ステップS3005にて、2D互換ビデオデコーダ2821が、2D互換ビデオストリームの復号ピクチャを、PTSの値に従って第1プレーン2808に出力するとしたが、図34のように、拡張マルチビュービデオデコーダ2822が、出力プレーンスイッチ2819を使って両方の映像を出力するように構成してもよい。
このように構成することで、既存のマルチビュービデオストリームを使って3D映像を再生するプレーン出力の仕組みをそのまま利用することができる。
(10)本実施の形態において、多重化方式をトランスポートストリームとしたが、これに限らない。
例えば、多重化方式としてMP4のシステムフォーマットを用いることができる。図34の入力をMP4で多重化されたファイルとして、2D互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームにそれぞれ分離して復号する。そして、Inter−view buffer2816のベースビュービデオストリームのピクチャを2D互換ビデオストリームのピクチャに上書きしたピクチャを参照しながらディペンデントビュービデオストリームのピクチャを復号する。ただし、MP4システムフォーマットの場合にはPTSがないので、MP4システムフォーマットのヘッダ情報(stts, stszなど)を元に、各アクセスユニットにおける時刻情報を特定する。
(11)本実施の形態におけるベースビュービデオストリームやディペンデントビュービデオストリームにおいては、ディペンデントビュービデオストリームの参照先のピクチャを、2D互換ビデオストリームの復号ピクチャとしており、通常のマルチビュービデオストリームの構成と異なるため、ストリームタイプやPESパケットヘッダに付与されるstream_idを、従来のマルチビュービデオストリームの場合の値と異なるように設定してもよい。
このように構成することで、再生装置は、ストリームタイプやstream_idを参照することにより、本実施の形態における3D映像の再生方式であると判断して、再生方法を変更することができる。
(12)本実施の形態では、図38で説明したディスクリプタに格納される再生方式について説明したが、この再生方式の切り替え方法については、図40のような構成にして実現してもよい。
図40の再生装置2823bは図28で説明した再生装置2823と基本的な構造は変わらないが、コーデック間参照スイッチ2824、プレーンセレクタ2825、第3プレーン2826が追加されている。
コーデック間参照スイッチ2824は、図40で示すようにONの場合には、2D互換ビデオデコーダから拡張マルチビュービデオデコーダ内のInter−view bufferに対してステップS3003で説明したデータ転送を行い、OFFの場合には、データ転送を行わない。
プレーンセレクタ2825は、2D互換ビデオデコーダからピクチャタが出力される第1プレーン2808、拡張マルチビュービデオデコーダのベースビュービデオストリームのピクチャが出力される第2プレーン2820、拡張マルチビュービデオデコーダのディペンデントビュービデオストリームのピクチャが出力される第3プレーン2826に対して、どのプレーンを2D映像として出力するのか、3D映像の左目用画像として出力するのか、または3D映像の右目用画像として出力するのかを選択する。
再生方式に従って、コーデック間参照スイッチ2824とプレーンセレクタ2825での出力を切り替えることで、再生装置2823bは再生モードを変更する。
図38の再生方式の例に対して、具体的な再生方法の切り替えについて図41を用いて説明する。
コーデック間参照スイッチ2824のON、OFFの切り替えとプレーンセレクタ2825でのプレーンの選択例を図41下段に記している。
再生装置2823bは、再生方式の値が「0」の場合、コーデック間参照スイッチ2824をOFFにする。そして、プレーンセレクタ2825は、2D映像として第1プレーン2808を選択する。
再生装置2823bは、再生方式の値が「1」の場合、コーデック間参照スイッチ2824をONにする。そして、プレーンセレクタ2825は、左目用画像として第1プレーン2808又は第2プレーン2820を選択し、右目用画像として第3プレーン2826を選択する。
再生装置2823bは、再生方式の値が「2」の場合、コーデック間参照スイッチ2824をOFFにする。そして、プレーンセレクタ2825は、左目用画像として第2プレーン2820を選択し、右目用画像として第3プレーン2826を選択する。
再生装置2823bは、再生方式の値が「3」の場合、コーデック間参照スイッチ2824をOFFにする。そして、プレーンセレクタ2825は、左目用画像として第1プレーン2808を選択し、右目用画像として第1プレーン2808を選択する。
(13)本実施の形態において、再生方式が、2D互換ビデオストリームとディペンデントビュービデオストリームによる3D映像再生から2D互換ビデオストリームの2D映像再生に切り替わるようなトランスポートストリームを生成する場合には、復号処理の遅延を考慮して、図42に示すように、再生方式が変わる時点で、2D互換ビデオストリームと同じ映像をディペンデントビュービデオストリームに圧縮符号化しておくように構成してもよい。2D互換ストリームと同じ映像をディペンデントビュービデオストリームに圧縮符号化する区間を図42上段に示す2D移行期間とする。この2D移行区間においては、どちらの方式で再生しても2D映像として再生されるため、ユーザにとってはスムーズな映像遷移となる。これは、2D映像再生から3D映像再生に切り替わる場合においても2D移行区間を設けてもよい。また、図37のシグナリング情報を示す「再生方式」の値が「0」と、その他の値(「1」、「2」又は「3」)との間で切り替わるそれぞれの場合において、2D移行区間を設けるようにしてもよい。
(14)MPEG−2形式の圧縮符号化における各ピクチャに含まれる表示順を示すtemporal_referenceの値に、同一時刻表示を示すディペンデントビュービデオストリームのピクチャのPOCの値を設定してもよい。
このようにすることで、PTSを使わずにビデオES内の値でMPEG−2形式のビデオストリームの圧縮符号化及び復号処理ができる。
または、2D互換ビデオストリームの各ピクチャのユーザデータに、同時刻表示を示すディペンデントビュービデオストリームのPOCを含めてもよい。
このようにすることで、temporal_referenceの値を独自の値に設定することもできるため、圧縮符号化処理における設定の自由度が増える。
(15)本実施の形態において、図43、図44に示すように2D互換ビデオストリームの復号結果に対して、高画質フィルタ4301を適用するようにしてもよい。
高画質フィルタ4301は、MPEG−4 AVCで規定されているデブロッキングフィルタのようなブロックノイズを軽減するようなものなどである。高画質フィルタ4301を適用するか否かを示すフラグを用意する。そして、例えばフラグがONを示す場合に高画質フィルタ430を適用し、OFFの場合に適用しないとする。
このフラグは、PMTのディスクリプタやストリームの補足データ等に含めることができる。
再生装置は、このフラグがONであれば、復号結果において、Inter−view buffer2816に、データを転送する前にフィルタを適用する。
このように構成することで、2D互換ビデオストリームに対する2D映像の高画質化を実現する。また、高画質化処理されたピクチャを参照しながらディペンデントビュービデオストリームの復号処理を行うことができるので、結果3D映像の高画質化も図れる。なお、高画質フィルタ4301は複数あって、用途に応じて、選択できるようにフラグではなく、そのフィルタのタイプを指定できるようにしてもよい。
(16)本実施の形態において、ディペンデントビュービデオストリームは1つのケースを説明したが、ディペンデントビュービデオストリームは複数あってもよい。
この場合には、拡張マルチビュービデオストリームは、複数のディペンデントビュービデオストリームを処理できるように構成して、Inter−view buffer2816における2D互換ビデオストリームのピクチャとの置き換え処理においては、PTSが同じ値を持つベースビューのピクチャに対して置き換えられるようにしてもよい。または、2D互換ビデオストリームで、置き換えるViewIDを指定できるようにして、常にベースビューのピクチャを置き換えるのではなく、複数ビューのピクチャの中から選択して置き換えられるようにしてもよい。
(17)本実施の形態において、2D互換ビデオストリームをMPEG−2形式のビデオストリーム、マルチビュービデオストリーム(ベースビュービデオストリームとディペンデントビュービデオストリーム)をMPEG−4 MVC形式のビデオストリームとして説明したが、圧縮符号化方式の種類はこれに限らない。
本実施の形態の再生装置及びデータ作成装置において、圧縮符号化方式の仕様に合わせて、構成を適宜変更してもよい。例えば、2D互換ビデオストリームをMPEG−4 AVCとし、マルチビュービデオストリームが新規な圧縮符号化方式の場合、図34で記した再生装置のO2806をDPBに置き換え、Inter−view buffer2816内のピクチャの管理は新規な圧縮符号化方式の構成に従って行えばよい。
(18)本実施の形態のビデオストリームを用いた3D映像を視聴する方法として、ユーザが液晶シャッターを備えた3D眼鏡を用いる方法を例示したが、3D映像の視聴方法はこれに限られない。
例えば、ディスプレイに表示する画面中の縦方向に左目用のピクチャと右目用のピクチャを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャを構成する画素は左目だけに結像し、右目用のピクチャを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャを見せ、3D映像としてみせるようにしてもよい。また、レンチキュラーレンズの代わりに、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。
また、ディスプレイ側の左目用の画素には縦偏光のフィルタ、右目用の画素には横偏光のフィルタを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルタを設置した偏光メガネを用いた偏光方式と呼ばれる方式を用いてもよい。
なお、視差画像を用いた立体視においては、右目用画像と左目用画像を用意する場合に、2D映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、2D映像とデプスマップに基づいて左目用画像と右目用画像の視差画像を生成するようにしてもよい。
図4は2D映像とデプスマップから左目用画像と右目用画像の視差画像を生成する例を模式的に示している。
デプスマップは2D映像内のそれぞれの画素に対応した奥行き値をもっており、図4の例では、2D映像の円形の物体は、デプスマップでは円形の物体が近くにあることを示す情報(奥行き値がHigh)が割り当てられ、それ以外の領域は円形の物体より遠くにある(奥行き値がLow)ことを示す情報が割り当てられている。この情報は、画素ごとのビット列で表してもよいし、画像イメージ(例えば「黒」を奥行きがLowであることを示し、「白」を奥行きがHighであることを示す画像イメージ)で表してもよい。視差画像は、デプスマップの奥行き値から、2D映像の視差量を調整することによって作成することができる。図4の例では、2D映像内の円形の物体の奥行き値がHighであるため、視差画像を作成するときには、円形の物体の画素の視差量を大きくする。一方、円形物体以外の領域は、奥行き値がLowであるため、円形の物体以外の画素の視差量を小さくして、左目用画像、右目用画像を作成する。この左目用画像と右目用画像を、継時分離方式等を使って表示すれば立体視が可能となる。
(19)上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSIから構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory )などを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)やLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。
(20)上記のデータ作成装置及び再生装置は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、などから構成されるコンピュータシステムとしてもよい。前記RAM又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(21)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD―ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
(22)上記実施の形態及び上記変形例をそれぞれ適宜組み合わせるとしてもよい。
(23)以下、更に本発明の一実施形態に係るデータ作成装置及び再生装置の構成及びその変形例と各効果について説明する。
(a)本発明の一実施形態に係るデータ作成装置は、第1視点における経時的なビューを示す第1フレーム画像群と、第2視点における経時的なビューを示す第2フレーム画像群とを圧縮符号化するデータ作成装置であって、前記第1フレーム画像群を圧縮符号化することによりMPEG−2形式のストリームを生成する第1符号化手段と、MPEG−4 MVC形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第2符号化手段と、前記第1、第2符号化手段により生成されたストリームを送出する送出手段とを備え、前記第2符号化手段は、前記ベースビュービデオストリームとして、前記第1フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記MPEG−2形式のストリームのフレームを参照画像として前記第2フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する。
この構成のデータ作成装置は、異なる符号化方式で圧縮符号化されたビデオストリーム間でビュー間参照をすることができる。これにより、3D映像を構成する拡張ビデオストリームにおいて、ディペンデントビュービデオストリームを復号する際に、ベースビューストリームのピクチャを参照せず、2D互換ビデオストリームのビューを参照しながら拡張ビデオストリームを復号可能なビデオストリームを生成することができる。従って、従来の圧縮符号化方式と互換性を保ちながらデータ量を削減したビデオストリームを生成することができる。
(b)また、データ作成装置の前記第2符号化手段は、前記疑似データからなるストリームを、同一のフレーム画像から構成されるフレーム画像群を圧縮符号化して生成するとしてもよい。
MPEG−2形式やMPEG−4 MVC形式における画像の圧縮符号化は、前後の画像に差がない画像では、圧縮符号化効率が非常に高いので、データ量を削減した圧縮符号化が可能となる。この構成のデータ作成装置は、経時的変化のない画像群を圧縮符号化したデータをダミーデータとして用いるので、ベースビュービデオストリームのデータ量を削減することができるビデオストリームを生成することができる。
(c)また、前記同一のフレーム画像は、単色画像のフレーム画像であるとしてもよい。
これにより、単色(例えば、輝度のない黒色)の画像を圧縮符号化するので、データ量を削減したビデオストリームを生成することができる。
(d)また、データ作成装置の前記第2符号化手段は、前記第1フレーム画像群を圧縮符号化して得られるストリームのビットレートより低いビットレートで、前記ベースビュービデオストリームを生成するとしてもよい。
この構成のデータ作成装置は、ディペンデントビュービデオストリームを生成する際の圧縮符号化に用いるビットレートより低いビットレートをベースビュービデオストリーム生成の際の圧縮符号化に用いるので、ベースビュービデオストリームのデータ量を削減することができるビデオストリームを生成することができる。
(e)また、データ作成装置の第2符号化手段は、ディペンデントビュービデオストリームのフレームを構成するピクチャのPTS(Presentation Time Stamp)を、前記ベースビュービデオストリームの対応するフレームと同時刻のMPEG−2形式のストリームのフレームを構成するピクチャのPTSと同じ値にして圧縮符号化するとしてもよい。
この構成のデータ作成装置は、第1視点のフレーム画像と第2視点のフレーム画像のそれぞれ対応する画像の圧縮符号化されたピクチャのPTSの設定値を同じにすることができる。これにより、異なる圧縮符号化方式において参照するピクチャの対応関係を容易に知ることができるので、異なる圧縮符号化方式で圧縮符号化されたビデオストリーム間のビュー間参照が容易となるビデオストリームを生成することができる。
(f)また、データ作成装置の前記第1符号化手段及び前記第2符号化手段は、前記第1フレーム画像群及び前記第2フレーム画像群の圧縮符号化を同一のアスペクト比で行い、生成する前記各ストリームに前記アスペクト比を示す属性情報を含めるとしてもよい。
この構成のデータ作成装置は、異なる圧縮符号化方式で生成されたビデオストリームのアスペクト比を同じにすることができる。これにより、異なる圧縮符号化されたビデオストリーム間のビュー間参照による復号処理時に参照画像の変換処理が簡素化できるビデオストリームを生成することができる。
(g)また、データ作成装置の前記第2符号化手段は、ディペンデントビュービデオストリームのフレームを構成するピクチャのDTSに、前記ベースビュービデオストリームの対応するフレームと同時刻のMPEG−2形式のストリームのフレームを構成するピクチャのDTSの値よりNフレーム分(N≧1の整数値)後の時刻を示す値にして圧縮符号化するとしてもよい。
この構成のデータ作成装置は、第1視点と第2視点との対応するフレーム画像を圧縮符号化する際の各ピクチャのDTSの値として、第2フレームを圧縮符号化したピクチャのDTSが、第1フレームを圧縮符号化したピクチャのDTSよりNフレーム分後の時刻を示すように設定することができる。これにより、ディペンデントビュービデオストリームを復号する際に、第1ストリームデータ内の参照ピクチャが予め復号されるので、Inter−view bufferへの書き込み処理や、第2ストリームデータ内のピクチャの復号処理を、余裕をもって行うことができる。
(h)また、データ作成装置の前記第2符号化手段は、ベースビュービデオストリーム及びディペンデントビュービデオストリームにおけるGOP(Group of Pictures)内のフレームの数が、前記フレームと同時刻のフレームを含む前記MPEG−2形式のストリームにおけるGOP内のフレームの数と同じ数にして圧縮符号化するとしてもよい。
この構成のデータ作成装置は、第1ストリームデータと第2ストリームデータとのそれぞれ対応するフレーム画像数を収めた各ストリームデータのGOPにおけるフレーム画像数を一致させることができる。これにより、第1視点と第2視点の同一表示時刻のピクチャのGOPの先頭が一致するので飛び込み再生などの特殊再生時が容易に行えるビデオストリームを生成することができる。
(i)また、データ作成装置の前記第2符号化手段は、前記MPEG−2形式のストリームのフレームを構成するピクチャのピクチャタイプがIピクチャである場合には、前記MPEG−2形式のフレームを構成するピクチャと同時刻のベースビュービデオストリームのフレームを構成するピクチャをIピクチャとして圧縮符号化するとしてもよい。
この構成のデータ作成装置は、第1ストリームデータ内のピクチャのPTSと第2ストリームデータ内のピクチャのPTSとが同じ値を持つピクチャをそれぞれIピクチャとすることができる。従って、第1ストリーム及び第2ストリームは共に同じIピクチャのPTSの時刻から復号が可能なため、飛び込み再生などの特殊再生時の復号処理が簡素化できるビデオストリームを生成することができる。
(j)本発明の一実施形態に係る再生装置は、本発明の一実施形態に係るデータ作成装置で送出されたストリームを取得する取得手段と、前記取得手段により取得された前記ストリームに含まれるMPEG−2形式のストリームを復号することにより前記第1フレーム画像群を得る第1復号手段と、前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第1復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第2フレーム画像群を得る第2復号手段と、前記第1、第2復号手段により得られた前記第1、第2フレーム画像群を再生する再生手段とを備える。
この構成の再生装置は、MPEG−4 MVC形式で圧縮符号化されたディペンデントビュービデオストリームを復号する際に、ベースビュービデオストリームを復号したフレーム画像群の代わりにMPEG−2形式で圧縮符号化された第1ストリームデータを復号したフレーム画像群を参照して復号処理を行うことができる。従って、異なる圧縮符号化したビデオストリームデータを復号した画像群を参照しながら、ディペンデントビュービデオストリームを復号することができるので、従来の圧縮符号化方式とデータ互換性を保ちながら、ビデオストリーム全体としては、データ量を削減したビデオストリームの再生を行うことができる。
(k)また、前記再生装置の前記第2復号手段は、前記第1復号手段により復号されたフレームのうち、前記第2フレーム画像群のフレームを構成するピクチャのPTSと同じ値のPTSのピクチャで構成されるフレームを参照画像として、復号処理を行うとしてもよい。
この構成の再生装置は、ディペンデントビュービデオストリームを復号する際に、MPEG−2形式で圧縮符号化された第1視点のビデオストリーム内のピクチャであり、ディペンデントビュービデオストリームの復号対象のピクチャのPTSと同じ値を持つピクチャを復号化したフレーム画像を参照画像とする。従って、同一時刻表示の第1フレーム画像を参照して、第2視点のフレーム画像を再現することができる。
<3.補足説明>
<映像圧縮技術の説明>
<2D映像圧縮技術>
本実施の形態に係るデータ作成装置及び再生装置で使用する2D映像を圧縮符号化する規格であるMPEG−2、及びMPEG−4 AVC(MPEG−4 MVC形式のベースとなる圧縮符号化方式)の符号化方法について簡単に説明する。
これらの圧縮符号化においては、動画像の空間方向及び時間方向の冗長性を利用してデータ量の圧縮符号化を行う。
冗長性を利用して圧縮符号化する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分を圧縮符号化する。
図1はビデオストリームのピクチャ間の参照関係を示している。図1では、ピクチャP3はピクチャI0を参照して圧縮符号化され、ピクチャB1とピクチャB2はそれぞれピクチャI0とピクチャP3を参照して圧縮符号化されている。このように時間的な冗長性を利用することで、圧縮率の高い圧縮符号化を実現できる。
<3D映像圧縮技術>
次に、視差画像を用いて3D映像としてディスプレイ等で再生する方法、マルチビュー符号化方式であるMPEG−4 MVC形式の圧縮符号化について簡単に説明する。
視差画像を使った立体視の方式では、右目用画像(R画像)と、左目用画像(L画像)とを各々用意し、ユーザに対してそれぞれの目に対応した画像だけが、それぞれの目に映るように制御した表示を行うことで立体視を実現する。
右目用画像で構成される動画像をレフトビュービデオといい、左目用画像で構成される動画像をライトビュービデオという。
図13は、立体視画像の表示の一例を示す図である。対象物たる恐竜の骨格の左目用画像と、対象物たる恐竜の骨格の右目用画像を表示した例を示している。3D眼鏡を用いて、右目及び左目の透光、遮光から繰り返されれば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
レフトビュービデオとライトビュービデオを圧縮符号化する3Dの映像方式には、フレーム互換方式とマルチビュー符号化方式がある。
フレーム互換方式は、レフトビュービデオとライトビュービデオの同時刻のビューを示す画像に対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、圧縮符号化を行う方式である。一例として、図14に示すような、Side−by−Side方式がある。Side−by−Side方式では、レフトビュービデオとライトビュービデオの同時刻のビューを示す画像に対応する各ピクチャをそれぞれ水平方向に1/2に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像を、2D映像の圧縮符号化方式(例えばMPEG−2)によって圧縮符号化することによってビデオストリームを生成する。一方、再生時は、ビデオストリームを、ビデオストリーム生成と同じ圧縮符号化方式に基づいて復号する。復号された各ピクチャは、左右画像に分割されて、分割した画像それぞれを水平方向に2倍に伸長して、レフトビュービデオとライトビュービデオとのそれぞれ対応するピクチャを得る。得たレフトビュービデオのピクチャ(L画像)とライトビュービデオのピクチャ(R画像)を交互に表示することによって、図13に示すような立体視画像を得ることができる。
これに対してマルチビュー符号化方式は、レフトビュービデオとライトビュービデオのピクチャを1つのピクチャには合成せずに、それぞれ別々のピクチャのまま圧縮符号化する方式である。
これに対してマルチビュー符号化方式は、レフトビュービデオとライトビュービデオのピクチャを1つのピクチャには合成せずに、それぞれ別々のピクチャのまま圧縮符号化する方式である。
図2は、マルチビュー符号化方式であるMPEG−4 MVC形式による符号化方式を示す図である。
MPEG−4 MVC形式のビデオストリームは、従来のMPEG−4 AVC形式のビデオストリームを再生する再生装置において再生可能なベースビュービデオストリームと、ベースビュービデオストリームと同時に処理することで別視点の映像の再生を実現するディペンデントビュービデオストリームを含む構成である。
ベースビュービデオストリームは、図2のベースビュービデオストリームに示すように、別視点の映像を参照せず同一視点の映像との冗長性のみを利用してピクチャ間予測符号化を用いて圧縮符号化される。
一方、ディペンデントビュービデオストリームは、同一視点の映像の参照を利用したピクチャ間予測符号化に加えて、別視点の映像との冗長性を利用したピクチャ間予測符号化によって圧縮符号化される。
ディペンデントビュービデオストリームのピクチャは、ベースビュービデオストリーム内の同時刻のビューを示すピクチャを参照して圧縮符号化される。
図2の矢印は参照関係を示しており、ディペンデントビュービデオストリームの先頭のPピクチャであるピクチャP0は、ベースビュービデオストリームのIピクチャであるピクチャI0を参照する。ディペンデントビュービデオストリームのBピクチャであるピクチャB1は、ベースビュービデオストリームのBrピクチャであるピクチャBr1を参照する。ディペンデントビュービデオストリームの二つ目のPピクチャであるピクチャP3は、ベースビュービデオストリームのPピクチャであるピクチャP3を参照することを示す。
ベースビュービデオストリームは、ディペンデントビュービデオストリームのピクチャを参照していないため、このビデオストリームだけで復号し、再生することができる。
一方、ディペンデントビュービデオストリームは、ベースビュービデオストリームを参照しながら復号するため、このビデオストリーム単独では再生することはできない。ただし、ディペンデントビュービデオストリームは、同一時刻のビューを示す別視点のベースビューのピクチャを用いて、ピクチャ間予測符号化を行う。一般的に同一時刻の右目用画像と左目用画像とは類似性があり(相関性が大きい)、その差分を圧縮符号化するのでディペンデントビュービデオストリームはベースビュービデオストリームに比べてデータ量を大幅に削減できる。
<ストリームデータの説明>
デジタルテレビの放送波等での伝送では、MPEG−2トランスポートストリーム形式のデジタルストリームが使われている。
MPEG−2トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ISO/IEC13818−1及びITU−T勧告H222.0において標準化されている。
図6は、MPEG−2トランスポートストリーム形式のデジタルストリームの構成を示す図である。
本図に示すようにトランスポートストリーム513は、ビデオのTS(Taransport Stream)パケット503、オーディオのTSパケット506、字幕ストリームのTSパケット509などを多重化して得られる。ビデオのTSパケット503は番組の主映像を、オーディオのTSパケット506は番組の主音声部分や副音声を、字幕ストリームのTSパケット509は番組の字幕情報を含む。
ビデオフレーム列501は、MPEG−2、MPEG−4 AVCなどの映像の符号化方式を使って圧縮符号化される。オーディオのフレーム列504は、ドルビーAC−3、MPEG−2 AAC、MPEG−4 AAC、HE−AACなどの音声の符号化方式で圧縮符号化される。
トランスポートストリームに含まれる各ストリームはPIDと呼ばれるストリーム識別IDによって識別される。このPIDのパケットを抽出することで再生装置は、処理対象のストリームを抽出することができる。PIDとストリームの対応関係の情報は、以降で説明するPMTパケットのディスクリプタに格納される。
トランスポートストリームを生成するために、まず、複数のビデオフレームからなるビデオストリーム501、複数のオーディオフレームからなるオーディオストリーム504を、それぞれPESパケット列502及び505に変換する。次にPESパケット列502及び505を、それぞれTSパケット503及び506に変換する。同様に字幕ストリーム507のデータをそれぞれPESパケット列508に変換し、更にTSパケット509に変換する。MPEG−2トランスポートストリーム513はこれらのTSパケットを1本のストリームに多重化することで構成される。PESパケット、TSパケットについては後述する。
<ビデオストリームのデータ構成>
次に、映像を上述の符号化方式で圧縮符号化して得られるビデオストリームのデータ構成について説明する。
ビデオストリームは、図7に示すような階層構造のデータである。ビデオストリームは、複数のGOPから構成されており、これを圧縮符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となる。
GOPは1つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの圧縮符号化データを格納する単位であり、フレーム構造の場合は1フレーム、フィールド構造の場合の1フィールドのデータが格納される。各ビデオアクセスユニットは、AU識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、及びストリーム終端コードを含む構成である。これら各データはMPEG−4 AVCの場合には、NALユニットと呼ばれる単位で格納される。
AU識別コードはアクセスユニットの先頭を示す開始符号である。
シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。
ピクチャヘッダはピクチャ全体の符号化の方式などの情報を格納したヘッダである。
補足データは圧縮ピクチャデータの復号には必須ではない付加情報であり、例えば、映像と同期してTVに表示するクローズドキャプションの文字情報やGOP構造情報などが格納される。
圧縮ピクチャデータには、圧縮符号化されたピクチャのデータが格納される。
パディングデータは、形式を整えるためのデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。
シーケンス終端コードは、再生シーケンスの終端を示すデータである。
ストリーム終端コードは、ビットストリームの終端を示すデータである。
AU識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードのデータ構成は、ビデオの符号化方式によって異なる。
MPEG−4 AVCの場合、AU識別コードは、AUデリミタ(Access Unit Delimiter)、シーケンスヘッダはSPS(Sequence Paramter Set)に、ピクチャヘッダはPPS(Picture Parameter Set)に、圧縮ピクチャデータは複数個のスライス、補足データはSEI(Supplemental Enhancement Information)、パディングデータはFillerData、シーケンス終端コードはEnd of Sequence、ストリーム終端コードはEnd of Streamに対応する。
そして、MPEG−2形式の場合であれば、シーケンスヘッダはsequence_Header、sequence_extension、group_of_picture_headerに、ピクチャヘッダはpicture_header、picture_coding_extension、圧縮ピクチャデータは複数個のスライス、補足データはuser_data、シーケンス終端コードはsequence_end_codeに対応する。AU識別コードは存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。
各属性情報のデータは常に必要ではなく、例えば、シーケンスヘッダはGOP先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットには付加せずに符号化することができる。また、ピクチャヘッダは符号順で前のビデオアクセスユニットのものを参照するようにして、自身のビデオアクセスユニット内にはピクチャヘッダを省略することもできる。
また、図16に示すようにGOP先頭のビデオアクセスユニットには、圧縮ピクチャデータとしてIピクチャのデータが格納され、AU識別コード、シーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは必要に応じて適宜格納される。一方、GOP先頭以外のビデオアクセスユニットには、AU識別コード、圧縮ピクチャデータが必ず格納され、補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードを必要に応じて適宜格納される。
図10は、PESパケット列に、ビデオストリームがどのように格納されるかを示す図である。
図10の第1段目はビデオストリームのビデオフレーム列を示す。第2段目は、PESパケット列を示す。
図10中のyy1,yy2, yy3, yy4に示すように、ビデオストリームにおける複数のVideo Presentation UnitであるIピクチャ、Bピクチャ、Pピクチャは、ピクチャ毎に分割され、PESパケットのペイロードに格納される。
各PESパケットはPESヘッダを持ち、PESヘッダには、ピクチャの表示時刻であるPTSやピクチャのデコード時刻であるDTSが格納される。
図11は、トランスポートストリームを構成するTSパケットのデータ構造を示す図である。
TSパケットは、4ByteのTSヘッダと、アダプテーションフィールドとTSペイロードから構成される188Byte固定長のパケットである。TSヘッダは、transport_priority、PID、adaptaion_field_controlを含む構成である。PIDは前述したとおりトランスポートストリームに多重化されているストリームを識別するためのIDである。
transport_priorityは、同一PIDのTSパケットの中のパケットの種別を識別するための情報である。
adaptation_field_controlは、アダプテーションフィールドとTSペイロードの構成を制御するための情報である。アダプテーションフィールドとTSペイロードはどちらかだけが存在する場合と両方が存在する場合があり、adaptation_field_controlはその有無を示す情報である。
adaptation_field_controlの値が「1」の場合は、TSペイロードのみが存在し、adaptation_field_controlの値が「2」の場合は、アダプテーションフィールドのみが存在し、adaptation_field_controlの値が「3」の場合は、TSペイロードとアダプテーションフィールドの両方が存在することを示す。
アダプテーションフィールドは、PCR(Program Clock Reference)などの情報の格納や、TSパケットを188バイト固定長にするためのスタッフィングするデータの格納領域である。TSペイロードにはPESパケットが分割されて格納される。
トランスポートストリームに含まれるTSパケットの種別には、映像・音声・字幕などの各ストリームのパケット以外にもPAT(Program Association Table)、PMT、PCRなどのパケットがある。これらのパケットはPSI(Program Specific Information)と呼ばれる。
PATはトランスポートストリーム中に利用されるPMTのPIDが何であるかを示し、PAT自身のPIDは「0」である。
図12はPMTのデータ構造を示す図である。
PMTは、PMTヘッダ、トランスポートストリームに関する各種ディスクリプタ、及びトランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームに関するストリーム情報とを備える。
PMTヘッダには、PMTに含まれるデータの長さなどの情報が記録される。
トランスポートストリームに関するディスクリプタには、例えば、映像・音声などの各ストリームのコピーを許可・不許可を指示するコピーコントロール情報などが記録される。
各ストリームに関するストリーム情報は、ストリームの圧縮符号化方式などを識別するためストリームタイプ、ストリームのPID、ストリームの属性情報(例えば、フレームレート、アスペクト比)が記載されたストリームディスクリプタを含む構成である。
PCRは、TSパケットのデコーダへの到着時刻とPTS、DTSの時間軸であるSTC(System Time Clock)との同期を取るために、そのPCRパケットがデコーダに転送される時刻に対応するSTC時間の情報を持つ。
ところで、MPEG−2形式、MPEG−4 MVC形式の符号化方式では、圧縮符号化されたフレームの領域のうち、実際に表示する領域を変更することができる。
このため、MPEG−2形式のビデオストリームのピクチャをビュー間参照によって参照しながらMPEG−4 MVC形式のディペンデントビュービデオストリームのピクチャを復号する際には、同時刻のビューにおいてクロッピング範囲やスケーリングが同じ範囲やスケーリングを示す値になるように、属性情報を調整する必要がある。
クロッピング領域情報とスケーリング情報について図8を参照しながら説明する。
図8のように、圧縮符号化されたフレーム領域の中から実際に表示する領域を、クロッピング領域として指定することができる。例えば、MPEG−4 AVCの場合には、SPSに格納されるframe_cropping情報を使って指定する。frame_cropping情報は、図9の左方の図ように、クロッピンング領域の上線、下線、左線、右線と、圧縮符号化されたフレーム領域の上線、下線、左線、右線とのそれぞれの差分を、上下左右のクロップ量として指定する。具体的には、クロッピング領域を指定する場合には、frame_cropping_flagに「1」を設定し、frame_crop_top_offset、frame_crop_bottom_offset、frame_crop_left_offset、frame_crop_right_offsetにそれぞれ上、下、左、右のクロップ量を指定する。
MPEG−2形式の場合には、図9の右図のように、クロッピング領域の縦横のサイズ(sequence_display_extensionのdisplay_horizontal_size, display_vertical_size)と、圧縮符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報(picture_display_extensionのframe_centre_horizontal_offset、frame_centre_vertical_offset)を使ってクロッピング領域を指定する。 また、クロッピング領域を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報としてアスペクト比が設定される。再生装置は、アスペクト比の情報を使って、クロッピング領域をアップコンバートして表示を行う。MPEG−4 AVCの場合には、このスケーリング情報として、SPSにアスペクト比の情報(aspect_ratio_idc)が格納される。例えば、1440x1080のクロッピング領域を、1920x1080に拡大して表示するためには、アスペクト比を4:3と指定する。この場合水平方向に4/3倍にアップコンバート(1440x4/3=1920)され、1920x1080のサイズに拡大されて表示される。
MPEG−2形式の場合にも同様にsequence_headerというアスペクト比の情報(aspect_ratio_information)を格納する属性情報があり、この属性情報の値を適宜設定することによって上記と同様の処理が実現できる。
<MPEG−4 MVC形式のビデオストリームのデータ構成>
次に、MPEG−4 MVC形式のビデオストリームについて説明する。
図15は、MPEG−4 MVC形式のビデオストリームの内部構成の一例を示す図である。
同図において、ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮符号化されている。ライトビュービデオストリームのピクチャP1、P2は、それぞれレフトビュービデオストリームのピクチャI1、P2を参照し、ライトビュービデオストリームのピクチャB3、B4、B6、B7はそれぞれ、レフトビュービデオストリームのピクチャBr3、Br4、Br6、Br7を参照しながら圧縮符号化されている。
同図の第2段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームには、ピクチャI1、P2、Br3、Br4、P5、Br6、Br7、P9が含まれている。これらのピクチャは、DTSに設定された時刻順に復号されたピクチャである。
第1段目は、ディスプレイ等に表示される左目用画像を示す。左目用画像は、第2段目の復号されたピクチャI1、P2、Br3、Br4、P5、Br6、Br7、P9をPTSに設定された時刻順、すなわち、I1、Br3、Br4、P2、Br6、Br7、P5の順に表示される。
第4段目は、ライトビュービデオストリームの内部構成を示す。このライトビュービデオストリームには、ピクチャP1、P2、B3、B4、P5、B6、B7、P8が含まれている。これらのピクチャは、DTSに設定された時刻順に復号されたピクチャである。
第3段目は、ディスプレイ等に表示される右目用画像を示す。右目用画像は、第4段目の復号されたピクチャP1、P2、B3、B4、P5、B6、B7、P8をPTSに設定された時刻順、すなわち、P1、B3、B4、P2、B6、B7、P5の順に表示される。ただし、PTSに同じ値が付された左目用画像と右目用画像のうちどちらか一方の表示を、次のPTSの時間までの間隔の半分の時間分だけ遅延させて行う。
第5段目は、3D眼鏡200の状態をどのように変化させるかを示す。この第5段目に示すように、左目用画像の視聴時は、右目のシャッターを閉じ、右目用画像の視聴時は、左目のシャッターを閉じる。
次に、ベースビュービデオストリームとディペンデントビュービデオストリームのアクセスユニットの関係について説明する。
図17はベースビュービデオストリームの各ピクチャとディペンデントビュービデオストリームの各ピクチャのビデオアクセスユニットの構成を示している。前述したとおり、図17上段のように、ベースビュービデオストリームは、各ピクチャが1つのビデオアクセスユニットとして構成される。
図17下段のように、ディペンデントビュービデオストリームも同様に、各ピクチャが1つのビデオアクセスユニットを構成するが、ベースビュービデオストリームのビデオアクセスユニットとはデータ構造が異なる。
ベースビュービデオストリームのビデオアクセスユニットと、PTSの値が同じディペンデントビュービデオストリームのビデオアクセスユニットとによって、3Dビデオアクセスユニット1701を構成する。再生装置は、この3Dビデオアクセスユニット単位で復号を行う。
図18はビデオストリーム中におけるベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるPTSとDTSとの関係の例を示している。
同時刻のビューを示す視差画像を格納するベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャとは、DTS及びPTSが同じ値を持つように設定される。
このように構成することで、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャを復号する再生装置は、3Dビデオアクセスユニット単位で復号して表示を行うことができる。
図19はベースビュービデオストリームとディペンデントビュービデオストリームのGOP構成を示している。
ベースビュービデオストリームのGOP構造は、従来のビデオストリームの構成と同じであり、複数のビデオアクセスユニットで構成される。
また、ディペンデントビュービデオストリームは、複数のディペンデントGOPから構成される。
ディペンデントGOPの先頭ピクチャは、3D映像を再生する際に、ベースビュービデオストリームのGOP先頭のIピクチャとペアで表示されるピクチャであり、ベースビュービデオストリームのGOP先頭のIピクチャのPTSと同じ値のPTSが付与されたピクチャである。
図20は、ディペンデントGOPに含まれるビデオアクセスユニットのデータ構成を示す。
図20に示すようにディペンデントGOP先頭のビデオアクセスユニットは、圧縮ピクチャデータとして、ベースビュービデオストリームのGOP先頭のIピクチャと同時刻に表示されるピクチャのデータが格納され、サブAU識別コード、サブシーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは適宜格納される。
サブAU識別コードは、アクセスユニットの先頭を示す開始符号である。
サブシーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。サブシーケンスヘッダのフレームレート、解像度、アスペクト比の値は、対応するベースビュービデオストリームのGOP先頭のビデオアクセスユニットに含まれるシーケンスヘッダのフレームレート、解像度、アスペクト比と同じである。
GOP先頭以外のビデオアクセスユニットは、サブAU識別コード、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは適宜格納される。