JP5721733B2 - ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置 - Google Patents

Description

本発明は、立体ビデオを含むマルチメディアの符号化及び復号化に関する。

現実感と立体感とを伴った三次元コンテンツへの要求が高まっている。三次元で再生されるように制作された放送用コンテンツまたはプログラムも登場している。

プログラムは、相互関連するビデオ及情報びオーディオ情報を提供し、プログラムまたはチャネルについての付加説明または、日時及び場所のような付加情報を提供するために、ビデオと共に画面上に再生される視覚資料が付加されもする。

例えば、デジタルＴＶ（ＤＴＶ）のクローズドキャプション（closed caption）は、ＴＶプログラム・ストリーム内の一定領域に存在する字幕データであり、一般的にＴＶ画面上に表示されないが、ユーザの選択によって、ＴＶ画面上に表示されもする。クローズドキャプションは、聴覚障害者のために提供されたり、語学用などの付加的な用途に広く使われている。

デジタルＴＶのサブタイトル（subtitle）は、キャラクタ、ビットマップなどのイメージ、フレーム、アウトラインまたはシャドーなどを利用し、テキストに比べて、視覚的効果が強化された視覚資料であり、ビデオと共に画面上に表示されもする。

デジタルＴＶのＥＰＧ（electronic program guide）情報は、ＴＶ画面上に表示され、チャネルまたはプログラム情報を提供するので、視聴者がチャネルを転換したり、現チャネルプログラムの付加情報を確認するために、ＥＰＧ情報を利用することができる。

三次元ビデオが再生される場合、画面上にビデオと共に再生される付加的な視覚資料の処理方式が研究されている。

本発明は、画面上に三次元ビデオと共に、三次元付加再生情報を安定的に再生するために、ステレオスコーピックビデオを含むマルチメディア・ストリームの符号化及び復号化の方法及び装置が提供される。

本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオデータと共に再生される付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含むように、ビデオＥＳ（elementary stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成する段階と、前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、データＰＥＳパケット及び補助情報パケットを生成する段階と、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳ（transport stream）を生成する段階と、を含む。

既存のＭＰＥＧ ＴＳ方式に基づくＤＶＢ方式、ＡＴＳＣ方式、ケーブル方式などの多様な通信方式との互換性を維持し、三次元ビデオの再生と共に、安定して三次元付加再生情報を具現するためのマルチメディア・ストリームが視聴者に提供される。

一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置のブロック図である。 一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置のブロック図である。 三次元ビデオ及び三次元付加再生情報が同時に再生される場面を図示する図面である。 三次元ビデオ及び三次元付加再生情報が逆転されて再生される現象を図示する図面である。 各種付加再生データが含まれるＭＰＥＧ（moving picture experts group） ＴＳ（transport stream）構造を図示する図面である。 第１実施形態によるクローズドキャプション再生部の細部ブロック図である。 第１実施形態によって、クローズドキャプションのデプス感を調節する画面の透視図を図示する図面である。 第１実施形態によって、クローズドキャプションのデプス感を調節する画面の平面図を図示する図面である。 第１実施形態によるマルチメディア・ストリーム受信装置が三次元キャプション強調情報及びクローズドデータのオフセット情報を利用する方法のフローチャートである。 第１実施形態によるマルチメディア・ストリーム受信装置がクローズドキャプションの三次元再生安全性情報を利用する方法のフローチャートである。 第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の一例を図示する図面である。 第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の他の例を図示する図面である。 第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の他の例を図示する図面である。 第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法のさらに他の例を図示する図面である。 第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法のさらに他の例を図示する図面である。 第２実施形態及び第３実施形態によって、サブタイトルの三次元再生のためのデータストリーム生成装置のブロック図である。 ＤＶＢ通信方式によるサブタイトルデータの階層的構造を図示する図面である。 ＤＶＢ通信方式によって、サブタイトルＰＥＳパケットを指すＰＭＴ（program map table）内のサブタイトル叙述子の２種表現方式を図示する図面である。 ＤＶＢ通信方式によって、サブタイトルＰＥＳパケットを指すＰＭＴ（program map table）内のサブタイトル叙述子の２種表現方式を図示する図面である。 ＤＶＢ通信方式によるサブタイトルデータを含むデータストリーム構造の一例を図示する図面である。 ＤＶＢ通信方式によるコンポジションページの構造の一例を図示する図面である。 ＤＶＢ通信方式によるサブタイトル復号化モデルのフローチャートである。 符号化データバッファ（coded data buffer）、構成バッファ（composition buffer）、ピクセルバッファ（pixel buffer）に保存されたサブタイトル関連データを図示する図面である。 符号化データバッファ（coded data buffer）、構成バッファ（composition buffer）、ピクセルバッファ（pixel buffer）に保存されたサブタイトル関連データを図示する図面である。 符号化データバッファ（coded data buffer）、構成バッファ（composition buffer）、ピクセルバッファ（pixel buffer）に保存されたサブタイトル関連データを図示する図面である。 第２実施形態によるサブタイトルの領域別デプス感調節方式を図示する図面である。 第２実施形態によるサブタイトルのページ別デプス感調節方式を図示する図面である。 ケーブル放送方式によるサブタイトルのビットマップ・フォーマットの構成要素を図示する図面である。 ケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデルのフローチャートである。 ケーブル放送方式によるサブタイトル処理モデルを介して、サブタイトルがディスプレイキューからグラフィック平面に出力される過程を図示する図面である。 第３実施形態によるケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデルのフローチャートを図示する図面である。 第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節する一実施形態を図示する図面である。 第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節する他の実施形態を図示する図面である。 第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節するさらに他の実施形態を図示する図面である。 ＥＰＧ情報を伝送するデジタル通信システムのブロック図である。 ＡＴＳＣ通信方式によって、ＥＰＧ情報が収録されるＰＳＩＰテーブルを図示する図面である。 ＤＶＢ通信方式によって、ＥＰＧ情報が収録されるＳＩテーブルを図示する図面である。 ＥＰＧ情報が図示された画面及びそれぞれの情報のソースを図示する図面である。 第４実施形態によるＴＳ復号化システムのブロック図である。 第４実施形態によるＴＳ復号化システムのうち、ディスプレイ処理部のブロック図である。 一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法のフローチャートである。 一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法のフローチャートである。

本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオデータと共に再生される付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含むように、ビデオＥＳ（elementary stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成する段階と、前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、データＰＥＳパケット及び補助情報パケットを生成する段階と、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳを生成する段階と、を含む。

一実施形態による前記付加再生情報の三次元再生のための情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセット（offset）の量についての情報を含む。一実施形態による前記テキストのオフセットは、三次元付加再生情報の第１視点付加再生情報及び第２視点付加再生情報間のデプス（depth）差、変異（disparity）及び両眼視差（parallax）のうち１単位で表現された前記三次元付加再生情報の変位（displacement）を示す視差、前記三次元付加再生情報の座標及びデプスのうち少なくとも一つを示すことができる。

一実施形態による前記付加再生情報の三次元再生のための情報は、前記ビデオデータの三次元再生中、前記テキストのオフセット方向についての情報をさらに含んでもよい。一実施形態による前記付加再生情報の三次元再生のための情報は、前記付加再生情報のオフセットが、デプスが原点である基本平面（zero plane）に対比した第１変位、及び前記付加再生情報と共に再生されるビデオのデプス、変異及び両眼視差のうち少なくとも一つに対比した第２変位のうちいずれか一つで表現されたかを示すオフセットタイプ情報をさらに含んでもよい。一実施形態による前記付加再生情報の三次元再生のための情報は、前記テキストデータの二次元または三次元の識別情報、前記テキストデータの再生時、ビデオを二次元で再生するか否かを示すビデオ二次元再生情報、前記テキストデータが表示される領域の識別情報、前記テキストデータが表示される時間関連情報、及び前記付加再生情報の三次元再生安全性情報のうち少なくとも一つをさらに含んでもよい。

一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記ビデオＥＳに前記ビデオデータと共に、前記ディスプレイ画面上に再生されるためのクローズドキャプション（closed caption）データを挿入する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記クローズドキャプションの三次元再生のための情報を、前記ビデオＥＳ、前記ビデオＥＳのヘッダ、前記付加データのうち少なくとも一つに挿入する段階を含んでもよい。一実施形態による前記クローズドキャプションの三次元再生のための情報は、前記クローズドキャプション・データを代替して、三次元クローズドキャプション強調用データを利用するか否かを示す三次元キャプション強調情報を含んでもよい。

一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記付加データストリームとして、前記ビデオデータと共に、前記ディスプレイ画面上に再生されるサブタイトル（subtitle）データに係わるデータストリームを生成する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記サブタイトルの三次元再生のための情報を、前記付加データＰＥＳパケット及び前記付加データＰＥＳパケットのヘッダのうち、少なくとも一つに挿入する段階をさらに含んでもよい。

前記マルチメディア・ストリームがＡＮＳＩ／ＳＣＴＥ（American National Strandard Institute／Society of Cable Telecommunications Engineers）基盤のケーブル通信システムによって生成される場合、一実施形態による前記サブタイトルの三次元再生のための情報は、三次元サブタイトルのビットマップ及びフレームのうち少なくとも１つの変位を示す視差情報、前記三次元サブタイトルのデプス情報及び座標情報のうち少なくとも一つを示す視差情報を含んでもよい。

一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記マルチメディア・ストリームがＤＶＢ基盤の通信システムによって生成される場合、前記データストリームのページ構成セグメント（page composition segment）の保留フィールドに、現在ページ内の領域別オフセット情報を挿入してもよい。

一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記ビデオデータと共に、前記ディスプレイ画面上に再生されるＥＰＧ（electronic programguide）情報、及び前記ＥＰＧ情報の三次元再生のための情報を前記補助情報ストリームに挿入する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記マルチメディア・ストリームがＡＴＳＣ基盤の通信システムによって生成される場合、前記ＥＰＧ情報の三次元再生のための情報は、ＡＴＳＣのＰＳＩＰ（program specific information protocol）テーブル内の叙述子（descriptor）フィールドに挿入される。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム生成段階は、前記マルチメディア・ストリームがＤＶＢ基盤の通信システムによって生成される場合、ＤＶＢのＳＩ（service information）テーブル内の叙述子フィールドに、前記ＥＰＧ情報の三次元再生のための情報を挿入することもできる。

本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法は、マルチメディア・ストリームに係わるＴＳを受信して逆多重化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出する段階と、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記データＰＥＳパケット及び前記補助情報パケットから、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータに対して再生されるための付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含む、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する段階と、前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームからビデオデータ、オーディオデータ、付加データ、及び前記付加再生データを復元し、前記付加再生情報の三次元再生のための情報を抽出する段階と、前記復元されたビデオの再生と共に、前記復元された付加再生情報の三次元再生のための情報に基づいて、前記付加再生情報を三次元で再生する段階と、を含む。

一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報の三次元再生のための情報において、前記付加再生情報のオフセット値及びオフセット方向に基づいて、前記付加再生情報を前記オフセットほど正または負の方向に移動させる段階を含み、前記オフセットは、前記ビデオデータのデプス、変異及び両眼視差のうち一つで表現された前記付加再生情報の変位を示すことができる。

一実施形態による前記付加再生情報の三次元再生段階は、前記ビデオ二次元再生情報に基づいて、前記付加再生情報を三次元で再生するとき、当該ビデオは、二次元で再生する段階を含んでもよい。一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報が表示される時間関連情報に基づいて、前記付加再生情報及び当該ビデオを同期化する段階を含んでもよい。

一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報の三次元再生安全性情報に基づいて、前記付加再生情報の三次元再生の安全性を決定する段階を含んでもよい。一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報の三次元再生安全性があると決定されれば、前記付加再生情報を三次元で再生する段階をさらに含んでもよい。

一実施形態による前記付加再生情報の三次元再生段階は、前記付加再生情報の三次元再生安全性がないと決定されれば、当該ビデオの変異と、前記付加再生情報のオフセットとを比較する段階をさらに含んでもよい。一実施形態による、前記付加再生情報の三次元再生段階は、前記当該ビデオデータの変異と、前記付加再生情報のオフセットとの比較結果、前記付加再生情報のオフセットが、前記当該ビデオデータの変異の安全区間に属すか否かによって、前記テキストデータの三次元再生を決定する段階をさらに含んでもよい。一実施形態による前記付加再生情報の三次元再生段階は、前記当該ビデオの変異と、前記付加再生情報のオフセットとの比較結果、前記付加再生情報のオフセットが、前記当該ビデオの変異の安全区間に属さない場合、前記付加再生情報を後処理作業後に再生する段階をさらに含んでもよい。

一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記ビデオＥＳから、前記ビデオと共に、前記ディスプレイ画面上に再生されるクローズドキャプション・データを抽出する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記クローズドキャプションの三次元再生のための情報を、前記ビデオＥＳ、前記ビデオＥＳのヘッダ、前記補助情報ストリームのうち少なくとも一つから抽出する段階を含んでもよい。一実施形態による前記クローズドキャプションの三次元再生のための情報は、前記クローズドキャプション・データを代替し、三次元クローズドキャプション強調用データを利用するか否かを示す三次元キャプション強調情報を含んでもよい。一実施形態による前記付加再生情報の三次元再生段階は、前記クローズドキャプションの三次元再生のための情報に基づいて、前記クローズドキャプション・データを三次元で再生することができる。

一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記付加データストリームとして、前記ビデオデータと同時に再生されるためのサブタイトルデータに係わるサブタイトルデータ・ストリームを抽出する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記サブタイトルの三次元再生のための情報を、前記付加データＰＥＳパケット及び前記付加データＰＥＳパケットのヘッダのうち少なくとも一つから抽出する段階をさらに含んでもよい。

前記マルチメディア・ストリームがＡＮＳＩ／ＳＣＴＥ基盤のケーブル通信システムを介して受信された場合、一実施形態による前記サブタイトルの三次元再生のための情報は、三次元サブタイトルのビットマップ及びフレームのうち少なくとも１つの変位を示す視差情報、前記三次元サブタイトルのデプス情報及び座標情報のうち少なくとも一つを示すオフセット情報を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記マルチメディア・ストリームがＤＶＢ基盤の通信システムを介して受信された場合、前記データストリームのページ構成セグメントの保留フィールドから、現在ページ内の領域別オフセット情報を抽出することができる。一実施形態による前記付加再生情報の三次元再生段階は、前記サブタイトルの三次元再生のための情報に基づいて、前記サブタイトルデータを三次元で再生することができる。

一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記ビデオと同時に再生されるためのＥＰＧ（electronic program guide）データ、及び前記ＥＰＧ情報の三次元再生のための情報を、前記補助情報ストリームから抽出する段階を含んでもよい。一実施形態による前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリーム抽出段階は、前記ＥＰＧ情報の三次元再生のための情報を、ＡＴＳＣ−ＰＳＩＰテーブル内の叙述子フィールド、またはＤＶＢ−ＳＩテーブル内の叙述子フィールドから抽出することができる。一実施形態による前記付加再生情報の三次元再生段階は、前記ＥＰＧ情報の三次元再生のための情報に基づいて、前記ＥＰＧ情報を三次元で再生することができる。

本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオと共に再生される付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含む、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成し、前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳストリーム、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを生成するプログラム符号化部と、及び前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳを生成するＴＳ生成部と、を含む。

一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳを受信する受信部と、前記受信されたＴＳを逆多重化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出し、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットから、ディスプレイ画面上に前記ビデオと共に再生される付加再生情報のデータ、及び前記付加再生情報の三次元再生のための情報を含む、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する逆多重化部と、前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームからビデオデータ、オーディオデータ、付加データ、及び前記付加再生データを復元し、前記付加再生情報の三次元再生のための情報を抽出する復号化部と、前記復元されたビデオの再生と共に、前記付加再生情報の三次元再生のための情報に基づいて、前記復元された付加再生情報を三次元で再生する再生部と、を含む。

本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。また本発明は、一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、図１ないし図４２を参照し、本発明の一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置及びマルチメディア・ストリーム受信装置と、付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びマルチメディア・ストリーム受信方法とについて説明する。構成要素の目録前に使われる「〜のうち少なくとも一つ」のような表現は、構成要素のリスト全体に対して限定する表現であり、リストにおいてそれぞれの構成要素を限定するためのものではない。

本明細書で付加再生情報は、プログラムと関連して、画面上にビデオと共にディスプレイされる情報であり、クローズドキャプション（closed caption）、サブタイトル（subtitle）及びＥＰＧ（electronic program guide）情報を含んでもよい。本発明は、クローズドキャプション、サブタイトル及びＥＰＧ情報が三次元で再生されるための多様な実施形態を開示する。具体的には、図６ないし図１５を参照して、ＣＥＡ（Consumer Electronics Association）方式によるクローズドキャプションに係わる実施形態、図１６ないし図３４を参照して、サブタイトルに係わる実施形態、及び図３５ないし図４０を参照して、ＥＰＧ情報に係わる実施形態について説明する。

図１は、一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置のブロック図を図示している。

一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置１００（以下、「マルチメディア・ストリーム生成装置」とする）は、プログラム符号化部１１０、ＴＳ（transport stream）生成部（１２０）及び伝送部（１３０）を含む。

一実施形態によるプログラム符号化部１１０は、符号化されたビデオデータ、符号化されたオーディオデータと共に、付加再生情報のデータを入力される。以下、説明の便宜のために、画面上にビデオと共にディスプレイされるクローズドキャプション、サブタイトル及びＥＰＧ情報のような付加再生情報のデータとして、ストリーム上に挿入されるデータを「付加再生データ」という。

一実施形態によるプログラム符号化部１１０によって生成されるプログラムのビデオデータは、二次元ビデオデータ及び三次元ビデオデータのうち少なくとも一つを含む。一実施形態によるプログラムと関連した付加再生データは、プログラムに係わるクローズドキャプションデータ、サブタイトルデータ及びＥＰＧデータを含んでもよい。

また、一実施形態による付加再生データは、三次元ビデオデータと共に三次元で再生されるように、付加再生情報のデプス感が調節される。このために、一実施形態によるプログラム符号化部１１０は、符号化されたビデオデータ、符号化されたオーディオデータ、付加再生データと共に、付加再生情報の三次元再生のための情報を含むビデオＥＳ（elementary stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成する。

付加データは、ビデオデータ及びオーディオデータ以外のコントロール・データなどの各種データを含んでもよい。補助情報ストリームは、ＰＭＴ（program map table）、ＰＡＴ（program association table）などのＰＳＩ情報（program specific information）、ＡＴＳＣ ＰＳＩＰ（advanced television standards committee program specific information protocol）情報またはＤＶＢ ＳＩ（digital video broadcasting service information）情報などのセクション情報を含んでもよい。

一実施形態によるプログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳ及び付加データストリームをパケット化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケットを生成し、補助情報パケットを生成する。

一実施形態によるＴＳ生成部１２０は、プログラム符号化部１１０から出力されたビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを多重化し、ＴＳを生成する。一実施形態による伝送部１３０は、ＴＳ生成部１２０から出力されたＴＳを、所定チャネルを介して伝送する。

一実施形態によるプログラム符号化部１１０によって、プログラムと共にマルチメディア・ストリームに挿入されて伝送される付加再生情報の三次元再生のための情報は、三次元ビデオの再生時、三次元で再生される付加再生情報のデプス感を調節するための情報を含む。

付加再生情報のデプス感を調節するための情報の一例として、左視点映像のための左視点付加再生情報及び右視点映像のための右視点付加再生情報間のデプス（depth）差、変異（disparity）、両眼視差（parallax）などの視差情報、各視点別付加再生情報の座標情報またはデプス情報などを含む付加再生情報のオフセット情報であってもよい。以下、多様な実施形態で、オフセット情報のうち、変異、座標など、いずれか一つだけ例示されるとしても、各視点別に異なるオフセット情報についても、同じ方式の実施形態が具現される。

一実施形態による付加再生情報のオフセットは、三次元ビデオのうち、第１視点付加再生情報及び第２視点付加再生情報において、１視点の付加再生情報の位置に対比して、残りの視点ビデオについての付加再生情報の変位を示すことができる。また、付加再生情報のオフセットは、現在ビデオのデプス、変異及び両眼視差のうち一つに対比して、視点別付加再生情報の変位を示すこともできる。

また、一実施形態による付加再生情報のオフセットは、付加再生情報の相対的なデプス、変異または両眼視差ではなく、基本平面（zero parallax、zero plane）についての付加再生情報の絶対的位置を含むこともできる。

一実施形態による付加再生情報の三次元再生のための情報は、前記付加再生情報のオフセット方向についての情報をさらに含む。一実施形態による付加再生情報のオフセット方向は、三次元ビデオの第１視点付加再生情報に対して正の方向に設定され、第２視点付加再生情報に対して負の方向に設定される。

一実施形態による付加再生情報の三次元再生のための情報は、付加再生情報のオフセット量が、基本平面に対比した絶対的な位置を示す第１オフセットタイプ、及びビデオデータに対比した相対的変位で示す第２オフセットタイプのうち、いずれか一つであるかを示すオフセットタイプ情報をさらに含んでもよい。

また、一実施形態による付加再生情報の三次元再生のための情報は、付加再生情報の二次元／三次元識別情報、付加再生情報の再生時、ビデオデータを二次元で再生するか否かを示すビデオ二次元再生情報、付加再生情報が表示される領域の識別情報、付加再生情報が表示される時間関連情報、及び付加再生情報の三次元再生安全性情報のうち少なくとも一つをさらに含んでもよい。

マルチメディア・ストリームがＭＰＥＧ−２（moving picture expert group−２）基盤のデータ通信システムによって符号化される場合、一実施形態によるプログラム符号化部１１０は、三次元ビデオについての両眼視差情報、変異情報及びデプス情報のうち少なくとも一つを、ビデオＥＳにおいて、parallax info extensionフィールド、デプスマップ（depth map）及びクローズドキャプションデータ・フィールドの保留（reserved）フィールドのうち少なくとも一つに挿入してもよい。

また、マルチメディア・ストリームが、ＩＳＯ（International Organization for Standardization）基盤のメディアファイル・フォーマットで生成される場合、一実施形態によるプログラム符号化部１１０は、三次元ビデオについての両眼視差情報、変異情報及びデプス情報のうち少なくとも一つを、メディアファイル・フォーマット内のステレオスコーピックカメラ及びディスプレイ関連情報が含まれるＳＣＤＩ（stereoscopic camera and display information）領域に挿入することもできる。

付加再生情報が、クローズドキャプション、サブタイトルまたはＥＰＧ情報であるか否かによって、一実施形態によるプログラム符号化部１１０の動作が異なる。

第１実施形態によるプログラム符号化部１１０は、ＣＥＡ標準によるクローズドキャプション・データをビデオＥＳに挿入する。第１実施形態によるプログラム符号化部１１０は、クローズドキャプションの三次元再生のための情報（以下、「クローズドキャプション三次元再生情報」と縮約する）を、ビデオＥＳ、ビデオＥＳのヘッダまたはセクションに挿入してもよい。第１実施形態によるクローズドキャプション三次元再生情報は、前述の付加再生情報の三次元再生のための情報だけではなく、クローズドキャプション・データを代替し、三次元クローズドキャプション強調用データを利用するか否かを示す三次元キャプション強調情報をさらに含んでもよい。

第２実施形態によるマルチメディア・ストリーム生成装置１００が、ＡＮＳＩ／ＳＣＴＥ（American National Standard Institute／Society of Cable Telecommunications Engineers）方式に従う場合、第２実施形態によるプログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳだけではなく、サブタイトルデータを含むデータストリームを生成し、サブタイトルＰＥＳパケットを生成することができる。第２実施形態によるプログラム符号化部１１０は、サブタイトルの三次元再生のための情報（以下、「サブタイトル三次元再生情報」と縮約する）を、サブタイトルＰＥＳパケット及びサブタイトルＰＥＳパケットのヘッダのうち少なくとも一つに挿入してもよい。第２実施形態によるサブタイトル三次元再生情報のうちサブタイトル・オフセット情報は、サブタイトルのビットマップ及びフレームのうち少なくとも１つの変位に係わる情報であってもよい。

第２実施形態によるプログラム符号化部１１０は、第２実施形態によるサブタイトルデータ内のサブタイトルメッセージ・フィールドの保留フィールドに、サブタイトルのキャラクタ要素及びフレーム要素にいずれも適用されるオフセット情報を挿入してもよい。または、第２実施形態によるプログラム符号化部１１０は、サブタイトルデータに、サブタイトルのキャラクタ要素についてのオフセット情報、及びフレーム要素についてのオフセット情報を別途に追加的に挿入することもできる。

第２実施形態によるプログラム符号化部１１０は、サブタイトルタイプ情報として、三次元サブタイトルのうち、付加視点サブタイトルについてのサブタイトルタイプ情報を追加することができる。これによって、第２実施形態によるプログラム符号化部１１０は、サブタイトルデータに、付加視点ビデオデータに係わる付加視点サブタイトルの座標情報を追加して挿入してもよい。

第２実施形態によるプログラム符号化部１１０は、サブタイトルタイプ情報として、サブタイトル変異タイプを追加し、サブタイトルデータに、三次元ビデオのうち、基本視点ビデオのサブタイトルに対比した付加視点ビデオのサブタイトルの変異情報を追加して挿入してもよい。

第３実施形態によるマルチメディア・ストリーム生成装置１００がＤＶＢ（digital video broadcasting）方式に従う場合、第３実施形態によるプログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳだけではなく、サブタイトルデータを含む付加データストリームを生成し、サブタイトルＰＥＳパケットを生成することができる。この場合、第３実施形態によるプログラム符号化部１１０は、サブタイトルデータを前記データストリーム内のサブタイトル・セグメントの形態で挿入してもよい。

また第３実施形態によるプログラム符号化部１１０は、サブタイトルを三次元で再生するための情報は、ページ構成セグメント（page composition segment）内の保留（reserved）フィールドに挿入してもよい。第３実施形態によるプログラム符号化部１１０は、ページ構成セグメントに、サブタイトルのページ別オフセット情報、及びサブタイトルの現在ページ内の領域別オフセット情報のうち少なくとも一つを追加して挿入してもよい。

第４実施形態によるプログラム符号化部１１０は、ビデオデータと同時に再生されるためのＥＰＧ情報と、ＥＰＧ情報の三次元再生のための情報（以下、「ＥＰＧ三次元再生情報」と縮約する）を、セクションに挿入してもよい。

第４実施形態によるマルチメディア・ストリーム生成装置１００がＡＴＳＣ方式に従う場合、第４実施形態によるプログラム符号化部１１０は、ＥＰＧ情報の三次元再生のための情報を、ＡＴＳＣのＰＳＩＰ（program specific information protocol）テーブル内の叙述子（descriptor）フィールドに挿入してもよい。具体的には、ＡＴＳＣのＰＳＩＰテーブルのうち、ＴＶＣＴ（terrestrial virtual channel table）セクション、ＥＩＴ（event information table）セクション、ＥＴＴ（extended text table）セクション、ＲＲＴ（rating region table）セクション及びＳＴＴ（system time table）セクションのうち、少なくとも１セクション内の叙述子フィールドに、ＥＰＧ情報の三次元再生のための情報が挿入される。

第４実施形態によるマルチメディア・ストリーム生成装置１００がＤＶＢ方式に従う場合、第４実施形態によるプログラム符号化部１１０は、ＤＶＢのＳＩ（service information）テーブル内の叙述子フィールドに、ＥＰＧ情報の三次元再生のための情報を挿入してもよい。具体的には、ＳＩテーブルにおいて、ＮＩＴ（network information table）セクション、ＳＤＴ（service description table）セクション及びＥＩＴ（event information table）セクションのうち、少なくとも１セクション内の叙述子フィールドに、ＥＰＧ情報の三次元再生のための情報が挿入される。

従って、一実施形態によるマルチメディア・ストリーム生成装置１００は、ＣＥＡ（consumer electronics association）方式によるクローズドキャプション、ＤＶＢ方式またはケーブル放送方式によるサブタイトル、ＡＴＳＣ方式またはＤＶＢ方式によるＥＰＧ情報などの多様な通信方式の付加再生情報を三次元で再生するために、付加再生データ及び付加再生情報の三次元再生のための情報を、ビデオＥＳデータ、データストリームまたは補助ストリームに挿入し、マルチメディアデータと共に伝送することができる。付加再生情報の三次元再生のための情報は、受信端で、ビデオデータの三次元再生と共に、付加再生情報の安定した三次元再生のために利用される。

一実施形態によるマルチメディア・ストリーム生成装置１００によれば、既存ＭＰＥＧＴＳ方式に基づくＤＶＢ方式、ＡＴＳＣ方式、ケーブル方式などの多様な通信方式との互換性を維持し、三次元ビデオの再生と共に、安定して三次元付加再生情報を具現するためのマルチメディア・ストリームが視聴者に提供される。

図２は、一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置のブロック図を図示している。

一実施形態によるテキストの三次元再生のためのマルチメディア・ストリーム受信装置２００は、受信部２１０、逆多重化部２２０、復号化部２３０及び再生部２４０を含む。

一実施形態による受信部２１０は、二次元ビデオ及び三次元ビデオのうち、少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳを受信する。マルチメディア・ストリームは、画面上の二次元または三次元で再生されるビデオと共に再生されるためのクローズドキャプション、サブタイトル、ＥＰＧ情報などの付加再生情報のための付加再生データ、及び付加再生情報の三次元再生のための情報を含む。

一実施形態による逆多重化部２２０は、受信部２１０によって受信されたＴＳを入力されて逆多重化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報データを抽出する。一実施形態による逆多重化部２２０は、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットから、ビデオＥＳ、オーディオＥＳ、付加データストリーム及びプログラム関連情報を抽出する。抽出されたビデオＥＳ、オーディオＥＳ、データストリーム及びプログラム関連情報のうちには、付加再生データ及び付加再生情報の三次元再生のための情報が含まれている。

一実施形態による復号化部２３０は、逆多重化部２２０から、ビデオＥＳ、オーディオＥＳ、付加データストリーム及びプログラム関連情報を入力され、入力されたストリームから、ビデオ、オーディオ、付加データ及び付加再生情報を復元し、付加再生情報の三次元再生のための情報を抽出する。

一実施形態による再生部２４０は、復号化部２３０によって復元されたビデオ、オーディオ、付加データ及び付加再生情報を再生する。また、一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報に基づいて、三次元付加再生情報を構成することができる。一実施形態による再生部２４０は、ビデオデータの再生と共に、三次元付加再生情報を三次元で再生することができる。また、一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報に基づいて、三次元付加再生情報をさらに正確に三次元で再生することができる。

一実施形態によるマルチメディア・ストリーム受信装置２００が抽出して利用する付加再生データ及び付加再生情報の三次元再生のための情報は、一実施形態によるマルチメディア・ストリーム伝送装置１００を参考にして説明した付加再生データ及び付加再生情報の三次元再生のための情報に相応する。

一実施形態による再生部２４０は、付加再生情報の三次元再生のために、付加再生情報の三次元再生のための情報のうち、付加再生情報のオフセット情報に基づいて、付加再生情報を、基準位置からオフセットほど正または負の方向に移動させた位置で再生することができる。以下、説明の便宜のために、視差情報、デプス情報及び座標情報のうちいずれか一つのみで例示されるにしても、一実施形態による付加再生情報の三次元再生のための情報のうちオフセット情報は、これに限定されるものではないことは、前述の通りである。

一実施形態による再生部２４０は、付加再生情報のオフセットについての情報、及びオフセット方向についての情報に基づいて、付加再生情報が基本平面に対比して、オフセットほど正または負の方向に移動した位置で表示されるように、付加再生情報を再生することができる。また、一実施形態による再生部２４０は、付加再生情報と共に再生されるビデオのデプス、変異及び両眼視差のうち一つに対比し、オフセットほど正または負の方向に移動した位置で付加再生情報が表示されるように再生することができる。

一実施形態による再生部２４０は、付加再生情報のオフセット情報及びオフセット方向情報に基づいて、三次元付加再生情報のうち、第１視点付加再生情報及び第２視点付加再生情報のうち、１視点付加再生情報が本来位置に対比し、オフセットほど正の方向に移動した位置に表示され、残りの視点付加再生情報が本来位置に対比し、オフセットほど負の方向に移動した位置に表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。

一実施形態による再生部２４０は、付加再生情報のオフセット情報及びオフセット方向情報に基づいて、１視点付加再生情報が、残りの視点付加再生情報の位置に対比し、オフセットほど移動した位置で表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。

一実施形態による再生部２４０は、付加再生情報のオフセット情報及びオフセット方向情報に基づいて、現在ビデオについての付加再生情報が、現在ビデオのデプス、変異及び両眼視差のうち一つに対比し、オフセットほど移動した位置に表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。

一実施形態による再生部２４０は、視点別に独立して設定された付加再生情報の位置情報に基づいて、付加再生情報についてのオフセット情報のうち、第１視点付加再生情報の位置情報に基づいて、第１視点付加再生情報が表示され、第２視点付加再生情報の位置情報に基づいて、第２視点付加再生情報が表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。

一実施形態による復号化部２３０によって復元されたビデオデータのうち、三次元ビデオがサイドバイサイド・フォーマットの三次元合成フォーマットであってもよい。この場合、一実施形態による再生部２４０は、三次元合成フォーマットを構成する左視点ビデオ及び右視点ビデオに係わる左視点付加再生情報及び右視点付加再生情報が、それぞれオフセットの半分値ほど移動した位置に表示されるように、三次元付加再生情報を構成し、三次元付加再生情報を三次元で再生することができる。

一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報のうち、ビデオ二次元再生情報に基づいて、付加再生情報を三次元で再生するとき、当該ビデオデータは、二次元で再生される。

一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報のうち、付加再生情報が表示される時間関連情報に基づいて、付加再生情報及び当該ビデオを同期化させ、ビデオ及び付加再生情報を三次元で再生することができる。

一実施形態による再生部２４０は、付加再生情報の三次元再生のための情報のうち、付加再生情報の三次元再生安全性情報に基づいて、付加再生情報の三次元再生の安全性を判断した後、付加再生情報の再生方法を決定することができる。一実施形態による再生部２４０は、付加再生情報の三次元再生安全性情報に基づいて安全であると判断されれば、付加再生情報を三次元で再生することができる。一方、一実施形態による再生部２４０は、付加再生情報の三次元再生安全性情報に基づいて、安全性がないと判断されれば、付加再生情報を再生しなかったり、あるいは所定の映像後処理技法を行った後、付加再生情報を再生することができる。

例えば、一実施形態による再生部２４０は、付加再生情報の三次元再生安全性情報に基づいて、安全性がないと判断されれば、当該ビデオの変異と、付加再生情報のオフセットとを比較することができる。当該ビデオの変異と、付加再生情報のオフセットとの比較結果、付加再生情報のオフセットが、当該ビデオの変異の安全区間に属する場合、付加再生情報を三次元で再生することができる。一方、付加再生情報のオフセットが、当該ビデオの変異の安全区間に属さない場合、一実施形態による再生部２４０は、付加再生情報を再生せずに飛び越えることができる。

または、付加再生情報のオフセットが、当該ビデオの変異の安全区間に属さない場合、一実施形態による再生部２４０は、所定映像後処理技法を行った後、付加再生情報を再生することができる。所定映像後処理技法による一例として、一実施形態による再生部２４０は、付加再生情報を、当該ビデオの所定領域に二次元で再生することができる。所定映像後処理技法による他の例として、一実施形態による再生部２４０は、付加再生情報が、当該ビデオの客体より視聴者側にさらに飛び出して位置するように移動させ、付加再生情報を三次元で再生することができる。所定映像後処理技法によるさらに他の例として、一実施形態による再生部２４０は、当該ビデオを二次元で再生し、付加再生情報を三次元で再生することもできる。

一実施形態による再生部２４０は、当該ビデオの変異と、付加再生情報のオフセットとを比較するために、ビデオの変異を抽出したり、あるいは新たに測定することができる。例えば、マルチメディア・ストリームがＭＰＥＧ−２ＴＳ基盤である場合、一実施形態による再生部２４０は、ビデオＥＳにおいて、パララックス・インフォー・エクステンション（parallax_info_extension）フィールド、デプスマップ及びクローズドキャプションデータ・フィールドの保留（reserved）フィールドのうち少なくとも一つから、三次元ビデオについての両眼視差情報、変異情報及びデプス情報のうち少なくとも一つを抽出し、付加再生情報のオフセットと比較することができる。例えば、マルチメディア・ストリームが、ＩＳＯ基盤のメディアファイル・フォーマットである場合、一実施形態による再生部２４０は、メディアファイル・フォーマット内のステレオスコーピックカメラ及びディスプレイ関連情報が含まれるＳＣＤＩ領域から、三次元ビデオについての両眼視差情報、変異情報及びデプス情報のうち少なくとも一つを抽出し、付加再生情報のオフセットと比較することができる。

付加再生情報が、クローズドキャプション、サブタイトルまたはＥＰＧ情報であるかによって、一実施形態によるマルチメディア・ストリーム受信装置２００の動作が異なることがある。

第１実施形態による逆多重化部２２０は、ＴＳからＣＥＡ標準によるクローズドキャプション・データが挿入されているビデオＥＳを抽出することができる。第１実施形態による復号化部２３０は、ビデオＥＳからビデオデータを復元し、これからクローズドキャプション・データを抽出することができる。第１実施形態による復号化部２３０は、クローズドキャプション三次元再生情報を、ビデオＥＳ、ビデオＥＳのヘッダまたはセクションから抽出することができる。

第１実施形態による再生部２４０は、クローズドキャプション三次元再生情報に基づいて、左視点クローズドキャプション及び右視点クローズドキャプションから構成された三次元クローズドキャプションを構成し、三次元クローズドキャプションを三次元で再生することができる。第１実施形態によるクローズドキャプション・データ及びクローズドキャプション三次元再生情報の特性は、第１実施形態にマルチメディア・ストリーム生成装置１００を参考にして説明したところに相応する。

第２実施形態によるマルチメディア・ストリーム受信装置２００が、ＡＮＳＩ／ＳＣＴＥ方式に従う場合、第２実施形態による逆多重化部２２０は、ＴＳからビデオＥＳ、オーディオＥＳだけではなく、サブタイトルデータが含まれた付加データストリームを抽出することができる。これによって、第２実施形態による復号化部２３０は、付加データストリームからサブタイトルデータを抽出することができる。また、第２実施形態による逆多重化部２２０または復号化部２３０は、サブタイトル三次元再生情報を、サブタイトルＰＥＳパケット及びサブタイトルＰＥＳパケットのヘッダのうち少なくとも一つから抽出することができる。

第２実施形態によるサブタイトルデータ及びサブタイトル三次元再生情報の特性は、第２実施形態にマルチメディア・ストリーム生成装置１００を参考にして説明したところに相応する。第２実施形態による復号化部２３０は、第２実施形態によるサブタイトル内のサブタイトルメッセージ・フィールドの保留フィールドから、サブタイトルのキャラクタ要素及びフレーム要素にいずれも適用されるオフセット情報を抽出することができる。第２実施形態による復号化部２３０は、サブタイトルデータ内の、サブタイトルのキャラクタ要素についてのオフセット情報、及びフレーム要素についてのオフセット情報を別途に追加して抽出することもできる。

第２実施形態による復号化部２３０は、サブタイトルタイプ情報として、三次元ビデオデータのうち、第２視点ビデオデータに係わるサブタイトルタイプを確認することができる。これによって、第２実施形態による復号化部２３０は、サブタイトルデータから、第２視点ビデオデータに係わるサブタイトルの座標情報、デプス情報、視差情報などのオフセット情報を追加して抽出することもできる。

第２実施形態による復号化部２３０は、第２実施形態によるサブタイトルタイプ情報に基づいて、現在サブタイトルタイプがサブタイトル変異タイプである場合、サブタイトルデータから、三次元ビデオのうち第１視点サブタイトルに対比した第２視点サブタイトルの変異情報を追加して抽出することができる。

第２実施形態による再生部２４０は、サブタイトル三次元再生情報に基づいて、左視点サブタイトル及び右視点サブタイトルから構成された三次元サブタイトルを構成し、三次元サブタイトルを三次元で再生することができる。

第３実施形態によるマルチメディア・ストリーム受信装置２００がＤＶＢ方式に従う場合、第３実施形態による逆多重化部２２０は、ＴＳからビデオＥＳ、オーディオＥＳだけではなく、サブタイトルデータを含む付加データストリームを抽出することができる。これによって、第２実施形態による復号化部２３０は、付加データストリームからサブタイトル・セグメント形態のサブタイトルデータを抽出することができる。

また、第３実施形態による復号化部２３０は、サブタイトルを三次元で再生するための情報を、ページ構成セグメント内の保留（reserved）フィールドから抽出することができる。第３実施形態による復号化部２３０は、ページ構成セグメントから、サブタイトルのページ別オフセット情報、及びサブタイトルの現在ページ内の領域別オフセット情報のうち、少なくとも一つを追加して抽出することができる。

第３実施形態による再生部２４０は、サブタイトルデータの三次元再生のための情報に基づいて、左視点サブタイトル及び右視点サブタイトルから構成された三次元サブタイルを構成し、三次元サブタイトルを三次元で再生することができる。

第４実施形態によるマルチメディア・ストリーム受信装置２００が、ＡＴＳＣ方式に従う場合、第４実施形態による復号化部２３０は、ＥＰＧ情報の三次元再生のための情報を、ＡＴＳＣのＰＳＩＰ（program specific information protocol）テーブル内の叙述子（descriptor）フィールドから抽出することができる。具体的には、ＡＴＳＣのＰＳＩＰテーブルのうち、ＴＶＣＴ（terrestrial virtual channel table）セクション、ＥＩＴ（event information table）セクション、ＥＴＴ（extended text table）セクション、ＲＲＴ（rating region table）セクション及びＳＴＴ（system time table）セクションのうち、少なくとも１セクション内の叙述子フィールドから、ＥＰＧ情報の三次元再生のための情報が抽出される。

第４実施形態によるマルチメディア・ストリーム受信装置２００がＤＶＢ方式に従う場合、第４実施形態による復号化部２３０は、ＤＶＢのＳＩ（service information）テーブル内の叙述子フィールドから、ＥＰＧ情報の三次元再生のための情報を抽出することができる。具体的には、ＳＩテーブルにおいて、ＮＩＴ（network information table）セクション、ＳＤＴ（service description table）セクション及びＥＩＴ（event information table）セクションのうち、少なくとも１セクション内の叙述子フィールドから、ＥＰＧ情報の三次元再生のための情報が抽出される。

第４実施形態による再生部２４０は、ＥＰＧ情報の三次元再生のための情報に基づいて、左視点ＥＰＧ情報及び右視点ＥＰＧ情報から構成された三次元ＥＰＧ情報を構成し、三次元ＥＰＧ情報を三次元で再生することができる。

従って、一実施形態によるマルチメディア・ストリーム受信装置２００は、ＣＥＡ方式によるクローズドキャプション、ＤＶＢ方式またはケーブル放送方式によるサブタイトル、ＡＴＳＣ方式またはＤＶＢ方式によるＥＰＧ情報などの多様な通信方式の付加再生情報において、受信されたマルチメディア・ストリームから、付加再生データ及び付加再生情報の三次元再生のための情報を抽出することができる。一実施形態によるマルチメディア・ストリーム受信装置２００は、付加再生情報の三次元再生のための情報を利用し、ビデオの三次元再生と共に、付加再生情報を安定した三次元再生することができる。

一実施形態によるマルチメディア・ストリーム受信装置２００によれば、既存ＭＰＥＧＴＳ方式に基づくＤＶＢ方式、ＡＴＳＣ方式、ケーブル方式などの多様な通信方式との互換性を維持し、三次元ビデオの再生と共に、安定して三次元付加再生情報を具現するためのマルチメディア・ストリームが視聴者に提供される。

図３は、三次元ビデオ及び三次元付加再生情報が同時に再生される場面を図示している。

三次元ディスプレイ装置の三次元ビデオ再生によれば、客体映像３１０が、基本平面３００から視聴者側に飛び出すように再生される。この場合、クローズドキャプション、サブタイトル、ＥＰＧ情報などの付加再生情報が表示されるテキスト画面３２０は、ビデオのあらゆる客体より視聴者側にさらに飛び出すように再生されてこそ、視聴者が三次元ビデオ鑑賞による疲労感または違和感なしに、三次元ビデオを安定して鑑賞することができる。

図４は、三次元ビデオ及び三次元テキストが逆転されて再生される現象を図示している。

付加再生情報のデプス、変異または両眼視差情報に誤りがある場合、ビデオの客体映像３１０より付加再生情報画面３２０が視聴者から遠く位置するように再生される逆転現象が発生しうる。このような客体映像３１０及び付加再生情報画面３２０の逆転現象によって、客体映像３１０が付加再生情報画面３２０を隠してしまう。この場合、視聴者は、三次元ビデオ鑑賞による疲労感または違和感を感じることがある。

図５は、各種付加再生情報が含まれるＭＰＥＧ ＴＳ構造を図示している。

ＭＰＥＧ ＴＳ ５００は、プログラムを構成するコンテンツのストリームから構成され、具体的には、オーディオＥＳ ５１０、ビデオＥＳ ５２０、コントロール・データ５３０及びプログラム関連情報であるＰＳＩＰ（program specific information protocol）５４０から構成される。

一実施形態によるマルチメディア・ストリーム生成装置１００及び一実施形態によるマルチメディア・ストリーム受信装置２００が処理する付加再生データのうち、第１実施形態によるクローズドキャプション・データは、ビデオＥＳ ５２０内のピクチャユーザデータ（picture user data）領域に、「ｃｃ＿data」の形態で挿入される。具体的な実施形態で、ビデオＥＳ ５２０が多重化されて構成されるビデオＰＥＳパケット内の「user＿data」フィールド内の「ｃｃ＿data」フィールドにクローズドキャプション・データが挿入されてもよい。

第２実施形態及び第３実施形態によるサブタイトルデータは、オーディオＥＳ ５１０またはビデオＥＳ ５２０とは別途の付加データストリームに挿入され、ＴＳ ５００に含まれもする。特に、サブタイトルデータは、テキストデータだけではなく、グラフィックデータを含んでもよい。

第４実施形態によるＥＰＧ情報は、ＰＳＩＰ ５４０において、所定テーブルに挿入される。

以下、表１ないし表１２及び図６ないし図１５を参照して、第１実施形態による、クローズドキャプションの三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。

第１実施形態によるマルチメディア・ストリーム生成装置１００は、ビデオストリームに、ビデオデータと共にクローズドキャプションを挿入してもよい。第１実施形態によるプログラム符号化部１１０は、クローズドキャプション・データを、ビデオＰＥＳパケット内の「user＿data」フィールド内の「ｃｃ＿data」フィールドに挿入してもよい。下表１は、ＡＴＳＣ方式による「ｃｃ＿data」フィールドのシンタックス（syntax）を図示し、表２は、ＤＶＢ方式による「ｃｃ＿data」フィールドのシンタックスを図示する。「for」ループ（loop）内の「ｃｃ＿data＿１」フィールド及び「ｃｃ＿data＿２」フィールドに、クローズドキャプション・データが挿入されてもよい。

第１実施形態によるプログラム符号化部１１０は、クローズドキャプションの三次元再生のための情報を、表１及び表２の「ｃｃ＿data」フィールド内の「reserved」フィールドに挿入してもよい。

第１実施形態によるプログラム符号化部１１０は、クローズドキャプションの二次元／三次元識別情報、クローズドキャプションのオフセット情報及び三次元キャプション強調情報を、「ｃｃ＿data」フィールド内の「reserved」フィールドに挿入してもよい。

具体的に例を挙げれば、第１実施形態によるプログラム符号化部１１０は、表１及び表２の最初「reserved」フィールドに、下記表３のようなクローズドキャプションの二次元／三次元識別情報「２ｄ＿ＣＣ」を挿入してもよい。

第１実施形態による二次元／三次元識別情報「２ｄ＿ＣＣ」は、「２ｄ＿ＣＣ」フィールド次に挿入されるクローズドキャプション・データが、二次元または三次元の再生用であるか示すことができる。

また、第１実施形態によるプログラム符号化部１１０は、表１及び表２の２番目の「reserved」フィールドに、下記表４のように、三次元キャプション強調情報「enhanced＿ＣＣ」及びクローズドキャプションのオフセット情報「ｃｃ＿offset」を挿入してもよい。

第１実施形態による三次元キャプション強調情報「enhanced＿ＣＣ」は、ＤＴＶ ＣＣデータのクローズドキャプション・データを代替し、三次元クローズドキャプション強調用データを利用するか否かを示すことができる。第１実施形態によるクローズドキャプションのオフセット情報「ｃｃ＿offset」は、ＤＴＶ ＣＣデータのクローズドキャプションにデプス感を付与するために、左右に移動する変異オフセットを示すことができる。

第１実施形態によるマルチメディア・ストリーム生成装置１００は、ＡＴＳＣデジタルＴＶストリームのクローズドキャプションのための規格であるＣＥＡ−７０８で規定になったコードセット（code set）によって、命令語コード（command character）及びクローズドキャプションのテキストを符号化できる。下記表５は、ＣＥＡ−７０８で規定されたコードセット・マッピングテーブル（code set mapping table）を図示している。

コードセット・マッピングテーブルにおいて、Ｃ０グループのコードセットを利用して、アスキー制御コードが表現され、Ｇ０グループのコードセットを利用して、クローズドキャプション・データが表現される。ＣＥＡ−７０８で規定されたコードセット・マッピングテーブルにおいて、Ｃ２グループのコードセットは、拡張制御コードであり、ユーザが任意に定義可能なコードセットである。第１実施形態によるマルチメディア・ストリーム生成装置１００は、Ｃ２グループのコードセットを利用し、第１実施形態によるクローズドキャプションの三次元再生のための情報を設定するための命令語叙述子（command descriptor）を表現することができる。下記表６は、Ｃ２グループのコードセットテーブルを図示している。

具体的な実施形態で、第１実施形態によるマルチメディア・ストリーム生成装置１００は、Ｃ２グループコードセットにおいて、ビット列「０ｘ０８〜０ｘ０ｆ」の２バイトコードセクション（２byte code section）を利用し、クローズドキャプションの三次元再生のための情報を命令語コードでもって表現することができる。

例えば、第１実施形態によるマルチメディア・ストリーム生成装置１００は、クローズドキャプションの三次元再生のための情報を設定するための命令語叙述子「Ｄｅｆｉｎｅ３ＤＩｎｆｏ」を定義することができる。下記表７は、命令語叙述子「Ｄｅｆｉｎｅ３ＤＩｎｆｏ（）」の命令語コードの一例を示している。

第１実施形態による命令語叙述子「Ｄｅｆｉｎｅ３ＤＩｎｆｏ（）」のフォーマットが「Ｄｅｆｉｎｅ３ＤＩｎｆｏ（window＿ＩＤ，is＿safety＿check）」であるとき、表７の命令語コードにおいて、「００００１１００」（または「０ｘ０Ｃ」）は、命令語「Ｄｅｆｉｎｅ３ＤＩｎｆｏ」、命令語コードにおいて、「ｉｄ２ ｉｄ１ ｉｄ０ ｓｃ」は、入力パラメータ「ｉｄ」及び「ｓｃ」を示す。パラメータ「ｉｄ」は、クローズドキャプションが表示されるキャプション領域識別子「window＿ＩＤ」であり、３ビットであるから、０から７のうち１つの固有識別子に設定されてもよい。パラメータ「ｓｃ」は、クローズドキャプションの三次元再生安全性情報「is＿safety＿check」を示す。下記表８のように、パラメータ「is＿safety＿check」は、コンテンツに挿入されたクローズドキャプションのオフセット情報の安全性いかんを示すことができる。

他の例として、第１実施形態によるマルチメディア・ストリーム生成装置１００は、クローズドキャプションの三次元再生のためのオフセット情報を設定するための命令語叙述子「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ」を定義することができる。下記表９は、命令語叙述子「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ」の命令語コードの一例を示す。

第１実施形態による命令語叙述子「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ」のフォーマットが、「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ（window＿ＩＤ，disparity＿type）」であるとき、表９の命令語コードにおいて、「００００１１００」（または「０ｘ０Ｃ」）は、命令語「ＳｅｔＤisｐａｒｉｔｙＴｙｐｅ」、命令語コードにおいて、「ｉｄ２ ｉｄ１ ｉｄ０ ｄｔ」は、入力パラメータ「ｉｄ」及び「ｄｔ」を示す。

パラメータ「ｉｄ」は、キャプション領域識別子「window＿ＩＤ」を示す。パラメータ「ｄｔ」は、クローズドキャプションのオフセットタイプ情報「disparity＿type」を示す。下記表１０のように、パラメータ「disparity＿type」は、クローズドキャプションのオフセット値が、スクリーン平面または基本平面を基準に設定された第１オフセットタイプであるか、あるいはビデオの変異を基準に設定された第２オフセットタイプであるかを示すことができる。

従来ＣＥＡ−７０８規格によれば、ＤＴＶ ＣＣコーディングレイヤ（digital−ＴＶ closed caption coding layer）で、キャプション領域の生成、削除、修正及び表示などを制御するための命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」が利用されている。

第１実施形態によるマルチメディア・ストリーム生成装置１００は、命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」を変形して利用することができる。第１実施形態によるマルチメディア・ストリーム生成装置１００は、クローズドキャプション復号化手段を具備している受信装置と下位互換性を維持するために、ＣＥＡ７０８規格のコードセット・マッピングテーブルにおいて、拡張制御コードセット領域を利用し、命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」を表現することができる。

例えば、Ｃ２グループコードセットにおいて、ビット列「０ｘ０８〜０ｘ０ｆ」の２バイト・コードセクションを利用し、第１実施形態によるクローズドキャプションの三次元再生安全性情報「is＿safety＿check」及びオフセットタイプ情報「disparity type」が表現され、ビット列「０ｘ１０〜０ｘ１７」の３バイト・コードセクション（３byte code section）を利用し、オフセット値に係わる情報が追加して表現される。下記表１１は、第１実施形態によるマルチメディア・ストリーム生成装置１００によって変形された命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」の命令語コードの一例を示す。

第１実施形態による命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」のフォーマットが、「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ（disparity＿type，video＿flat，window＿ＩＤ，is＿safety＿check，offset＿sign，offset）」であるとき、表１１の命令語コードにおいて、「０００１００００」は、命令語「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」、命令語コードにおいて、「ｄｔ ｖｆ ｉｄ２ ｉｄ１ ｉｄ０ ０ ｓｃ ｏｓ」は、入力パラメータ「ｄｔ」、「ｖｆ」、「ｉｄ」、「ｓｃ」、「ｏｓ」を、命令語コードにおいて、「ｏｆｆ７ ｏｆｆ６ ｏｆｆ５ ｏｆｆ４ ｏｆｆ３ ｏｆｆ２ ｏｆｆ１ ｏｆｆ０」は、入力パラメータ「ｏｆｆ」を示す。

パラメータ「ｄｔ」は、クローズドキャプションのオフセットタイプ情報「disparity＿type」を示す。パラメータ「ｖｆ」は、ビデオ二次元再生情報「video＿flat」を示す。パラメータ「ｉｄ２ ｉｄ１ ｉｄ０」の「ｉｄ」は、クローズドキャプションが表示されるキャプション領域識別子「window＿ＩＤ」を示す。パラメータ「ｓｃ」は、クローズドキャプションの三次元再生安全性情報「is＿safety＿check」を示す。パラメータ「ｏｓ」は、クローズドキャプションのオフセット方向情報「offset＿sign」を示す。

第１実施形態によるマルチメディア・ストリーム受信装置２００は、表１１の命令語叙述子「ＳｅｔＷｉｎｄｏｗＤｅｐｔｈ」を実行する場合、パラメータ「disparity＿type」に基づいて、パラメータ「offset」値が、ビデオＥＳ内で定義されたビデオの変異値を基準に設定された値であると確認されるならば、パラメータ「video＿flat」及び「is＿safety＿check」は、利用されない。

下記表１２のように、ビデオ二次元再生情報「video＿flat」は、クローズドキャプションの三次元再生時、三次元ビデオの再生状態を三次元再生モードで維持するか否か、または二次元再生モードに転換するか否かを示すことができる。

例えば、第１実施形態によるマルチメディア・ストリーム受信装置２００は、パラメータ「video＿flat」に基づいて、三次元ビデオの再生状態が、三次元再生モードに維持されるように決定されるならば、ディスプレイ装置が、左視点映像及び右視点映像が時連続的に（time-sequentially）再生されるように制御することができる。また、第１実施形態によるマルチメディア・ストリーム受信装置２００は、パラメータ「video＿flat」に基づいて、三次元ビデオの再生状態が二次元再生モードに転換されるものであるならば、三次元ディスプレイ装置が左視点映像同士で時連続的に再生されたり、右視点映像同士で時連続的に再生されるように制御することができる。

パラメータ「video＿flat」によって、三次元ビデオの再生状態が三次元再生モードに維持されたり、あるいは三次元再生モードから二次元再生モードに転換されても、キャプション領域では、パラメータ「offset＿sign」及びパラメータ「offset」を利用して、クローズドキャプションのオフセットが適用され、クローズドキャプションが三次元で再生される。ただし、三次元ビデオの再生状態が、三次元再生モードから二次元再生モードに転換されるならば、パラメータ「is＿safety＿check」は、利用せずに無視されもする。また、その場合に、パラメータ「offset＿sign」は、クローズドキャプションが視聴者側に飛び出すように、負の方向のオフセットを示すように設定されることが望ましい。

パラメータ「ｓｃ」は、クローズドキャプションの三次元再生安全性情報「is＿safety＿check」を示す。下記表１３のように、パラメータ「is＿safety＿check」は、クローズドキャプションのオフセット方向（offset sign）及びオフセットの安全性いかんを示すことができる。

例えば、リアルタイム通信と共に、クローズドキャプションのオフセットがコンテンツ提供者によって安全性が確認されないまま、クローズドキャプションがコンテンツと共に提供される場合、三次元ビデオ及びクローズドキャプションのデプス間の逆転現象が発生したり、あるいは不安定なデプスによって、視聴者に疲労感が誘発される可能性が高い。従って、コンテンツ提供者によって、クローズドキャプションの三次元再生安全性が確保されたか否かを確認するために、パラメータ「is＿safety＿check」が利用されもする。

従って、第１実施形態によるマルチメディア・ストリーム受信装置２００では、パラメータ「is＿safety＿check」に基づいて、パラメータ「offset＿sign」及び「offset」によって調節されるクローズドキャプションのオフセット（または変異値）が、コンテンツ提供者によって安全性が保証されない場合、受信端固有のクローズドキャプション表示方式によって、キャプション領域にクローズドキャプションに係わるオフセットが適用されもする。

パラメータ「is＿safety＿check」に、クローズドキャプションのオフセットが、コンテンツ提供者によって安全性が保証される場合、受信端は、パラメータ「offset＿sign」及び「offset」を利用して、クローズドキャプションのオフセットを調節し、クローズドキャプションを再生することができる。

パラメータ「ｏｓ」は、パラメータ「offset」によって与えられたクローズドキャプションのオフセット値が、負または正の方向の両眼視差であるかを決定する方向情報「offset＿sign」を示す。パラメータ「off」は、クローズドキャプションのオフセット情報であり、パラメータ「ｉｄ」によって選択されたキャプション領域にオフセットを適用するために、二次元形態で生成されたキャプション領域のアンカポイントの位置を左右に移動するためのピクセルの左右変位を示すことができる。

以上、表１ないし表１３を参照して説明したクローズドキャプションの三次元再生のための情報は、第１実施形態によるマルチメディア・ストリーム生成装置１００によって、ビデオストリームに挿入されて伝送される。第１実施形態によるマルチメディア・ストリーム受信装置２００は、ビデオストリームから以上の表１ないし表１３を参照して説明したクローズドキャプションの三次元再生のための情報を抽出し、クローズドキャプションの三次元再生に利用される。

以下、図６ないし図１５を参照して、第１実施形態によるマルチメディア・ストリーム受信装置２００が、クローズドキャプションの三次元再生のための情報を利用する実施形態について説明する。

図６は、一実施形態によるクローズドキャプションの三次元再生のためのマルチメディア・ストリーム受信装置において、クローズドキャプション再生部の細部ブロック図を図示している。

一実施形態によるクローズドキャプションの三次元再生のためのマルチメディア・ストリーム受信装置において、クローズドキャプション再生部６００は、第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０の他の実施形態であってもよい。一実施形態によるクローズドキャプション再生部６００は、ビデオ復号化器（video decoder）６２０、クローズドキャプション復号化器（ＣＣ decoder）６３０、ビデオ平面保存部（video plane）６４０、クローズドキャプション平面保存部（closed caption plane）６５０、三次元クローズドキャプション強調用データ保存部（enhanced ＣＣ memory）６６０及びスイッチ（switch）６７０を含む。

逆多重化器（ＤＥ−ＭＵＸ）６１０によって分離されたクローズドキャプション・データ及びビデオデータが、一実施形態による再生部６００に入力される。クローズドキャプション復号化器６３０は、逆多重化器６１０から入力されたクローズドキャプション・データを復号化して復元する。ビデオ復号化器６２０は、逆多重化器６１０から入力されたビデオデータを復号化して復元する。ビデオ復号化器６２０及びクローズドキャプション復号化器６３０から出力されたビデオデータ及びクローズドキャプション・データは、それぞれビデオ平面保存部６４０及びクローズドキャプション平面保存部６５０に保存されもする。ビデオ平面保存部６４０及びクローズドキャプション平面保存部６５０のビデオデータ及びクローズドキャプション・データが出力されて合成されれば、クローズドキャプション・データが表示されたビデオ画面が出力されもする。

クローズドキャプション復号化器６３０は、表１，２，３を参照して説明した第１実施形態によるクローズドキャプションフィールド「ｃｃ＿data」内のパラメータ「２ｄ＿ＣＣ」に基づいて、クローズドキャプション・データ「ｃｃ＿data＿１」及び「ｃｃ＿data＿２」を、二次元または三次元で再生するかを決定することができる。

パラメータ「２ｄ＿ＣＣ」の設定値が０である場合、クローズドキャプション復号化器６３０は、クローズドキャプション・データ「ｃｃ＿data＿１」及び「ｃｃ＿data＿２」を三次元で再生することができる。その場合、クローズドキャプション復号化器６３０は、第１実施形態によるクローズドキャプションフィールド「ｃｃ＿data」内のパラメータ「enhance＿ＣＣ」に基づいて、入力されたクローズドキャプション・データ「ｃｃ＿data＿１」及び「ｃｃ＿data＿２」をそのまま再生するか、または三次元クローズドキャプション強調用データ保存部（enhanced ＣＣ memory）６６０に保存された三次元クローズドキャプション強調用データを再生するかを決定することができる。

例えば、三次元クローズドキャプション強調用データは、イメージなどのグラフィックデータであってもよい。また、三次元クローズドキャプション強調用データ保存部６６０に、左視点映像及び右視点映像のための三次元クローズドキャプション強調用データ６６２，６６４が別途に保存されていてもよい。三次元クローズドキャプション強調用データの利用いかんによって、スイッチ６７０が、クローズドキャプション平面保存部６５０に、三次元クローズドキャプション強調用データ６６２，６６４が出力される動作を制御することができる。

また、クローズドキャプション復号化器６３０は、第１実施形態によるクローズドキャプションフィールド「ｃｃ＿data」内のパラメータ「ｃｃ＿offset」に基づいて、クローズドキャプション・データを、左視点映像及び右視点映像として画面上にディスプレイするとき、クローズドキャプション・データを横軸方向に、オフセット値ほど移動させた位置で再生することができる。すなわち、三次元合成フォーマットの三次元ビデオ６８０において、左視点映像領域６８２及び右視点映像領域６８４で、左視点クローズドキャプション６８６及び右視点クローズドキャプション６８８が、それぞれオフセット１ offset１及びオフセット２ offset２ほど移動される。

図７は、第１実施形態によって、クローズドキャプションのデプス感を調節する画面の透視図を図示している。

第１実施形態によって、クローズドキャプションのオフセット値がデプス５であり、クローズドキャプションの三次元キャプション強調情報に基づいて、ビデオ平面７１０からデプス５ほど飛び出して移動した位置に、三次元クローズドキャプション強調用キャプション平面７２０が表示される実施形態が図示されている。

図８は、第１実施形態によって、クローズドキャプションのデプス感を調節する画面の平面図を図示している。

第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０は、左視点映像（left image）８１０のキャプション領域８１５、及び右視点映像（right image）８２０のキャプション領域８２５を三次元で再生するために、右視点キャプション領域８２５の位置を、左視点キャプション領域８１５からオフセット８３０ほど調節することができる。この場合、オフセット８３０は、実際のクローズドキャプションの変異値を示し、前述の第１オフセットタイプの第１変位に相応しうる。

また、第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０は、右視点キャプション領域８４５の位置を、ビデオの変異値８５５からクローズドキャプションのオフセット８６０ほど調節することができる。その場合、クローズドキャプションのオフセット８６０及び映像の変異値８５５の総合が、実際のクローズドキャプションの変異値８５０になり、クローズドキャプションのオフセット８６０が、前述の第２オフセットタイプの第２変位に相応しうる。

図９は、第１実施形態によるマルチメディア・ストリーム受信装置が、三次元キャプション強調情報及びクローズドデータのオフセット情報を利用する方法のフローチャートを図示している。

第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０に、ＤＴＶ ＣＣデータが入力される（段階９１０）。第１実施形態による再生部２４０は、クローズドキャプションの二次元／三次元識別情報「２ｄ＿ＣＣ」の値を確認する（段階９２０）。クローズドキャプションの二次元／三次元識別情報「２ｄ＿ＣＣ」に基づいて、クローズドキャプションが二次元再生用であるならば、ＤＴＶ ＣＣデータを二次元で再生することができる（段階９３０）。

クローズドキャプションの二次元／三次元識別情報「２ｄ＿ＣＣ」に基づいて、クローズドキャプションが三次元再生用であるならば、第１実施形態による再生部２４０は、三次元キャプション強調情報「enhance＿ＣＣ」及びクローズドデータのオフセット情報「ｃｃ＿offset」を確認する（段階９４０）。第１実施形態による再生部２４０は、ＤＴＶ ＣＣデータのうち、クローズドキャプション・データ「ｃｃ＿data＿１」及び「ｃｃ＿data＿２」を復号化する（段階９５０）。段階９６０で、三次元キャプション強調情報「enhance＿ＣＣ」に基づいた判断結果、三次元クローズドキャプションを強調するための三次元クローズドキャプション強調用データを利用しないと決定されるならば、第１実施形態による再生部２４０は、ＤＴＶ ＣＣデータを三次元で再生することができる（段階９８０）。

段階９６０で、三次元キャプション強調情報「enhance＿ＣＣ」に基づいた判断結果、三次元クローズドキャプション強調用データを利用すると決定されるならば、第１実施形態による再生部２４０は、三次元クローズドキャプション強調用データを抽出し（段階９７０）、三次元クローズドキャプション強調用データを三次元で再生することができる（段階９８０）。

図１０は、第１実施形態によるマルチメディア・ストリーム受信装置が、クローズドキャプションの三次元再生安全性情報を利用する方法のフローチャートを図示している。

第１実施形態によるマルチメディア・ストリーム受信装置２００の再生部２４０に、ＤＴＶ ＣＣデータが入力されてパージングされる（段階１０１０）。第１実施形態による再生部２４０は、ＤＴＶ ＣＣデータ内にクローズドキャプションの変異情報「ｃｃ＿offset」を検索する（段階１０１５）。クローズドキャプションの変異情報がなければ、第１実施形態による再生部２４０は、クローズドキャプションを二次元で再生する（段階１０２０）。

ＤＴＶ ＣＣデータ内にクローズドキャプションの変異情報が存在するならば、第１実施形態による再生部２４０は、ＤＴＶ ＣＣデータ内に三次元再生安全性情報（「is＿safety＿check」）を確認する（段階１０２５）。三次元再生安全性情報に基づいて、クローズドキャプションの変異情報の安全性が確保されるならば、第１実施形態による再生部２４０は、クローズドキャプションの変異情報を利用して、クローズドキャプションを三次元で再生する（段階１０３０）。

三次元再生安全性情報に基づいて、クローズドキャプションの変異情報の安全性が確保されなければ、第１実施形態による再生部２４０は、ビデオストリーム内に、映像に係わる変異情報を検索する（段階１０４０）。例えば、マルチメディア・ストリームが、ＭＰＥＧ−２ ＴＳ方式によって符号化された場合、ビデオＥＳにおいて、パララックス・インフォー・エクステンション・フィールド、デプスマップ及びクローズドキャプションデータ・フィールドの保留フィールドのうち少なくとも一つから、映像に係わる変異情報が検出される。また、マルチメディア・ストリームが、ＩＳＯメディアファイル・フォーマットで符号化された場合、メディアファイル・フォーマット内のＳＣＤＩ領域から、映像に係わる変異情報が検出される。

ビデオストリーム内に、映像に係わる変異情報があるならば、第１実施形態による再生部２４０は、クローズドキャプションの変異情報と映像の変異情報とを比較し、クローズドキャプションの変異情報が、三次元再生安全区間に属すか否かを判断する（段階１０４５）。

クローズドキャプションの変異情報が三次元再生安全区間に属するならば、第１実施形態による再生部２４０は、クローズドキャプションの変異情報を利用して、クローズドキャプションを三次元で再生する（段階１０３０）。クローズドキャプションの変異情報が、三次元再生安全区間に属さなければ、第１実施形態による再生部２４０は、クローズドキャプションを再生しないか、あるいは映像後処理作業を行い、安全性確保後にクローズドキャプションを三次元で再生することができる（段階１０７０）。ここで、映像後処理作業の多様な実施形態は、以下、図１１、図１２、図１３、図１４及び図１５を参照して後述する。

段階１０４０で、ビデオストリーム内に映像に係わる変異情報を検索した結果、ビデオストリーム内に映像に係わる変異情報が存在しなければ、第１実施形態によるマルチメディア・ストリーム受信装置２００で、直接ビデオの変異測定が可能である否かが判断される（段階１０５０）。第１実施形態によるマルチメディア・ストリーム受信装置２００に、映像の変異測定手段が存在するならば、三次元ビデオのステレオ映像に係わる変異測定作業が行われる（段階１０５５）。段階１０５５で測定された映像変異情報を利用し、第１実施形態による再生部２４０は、クローズドキャプションの変異情報と映像の変異情報とを比較し、クローズドキャプションの変異情報が、三次元再生安全区間に属すか否かを判断する（段階１０４５）。段階１０４５の判断結果によって、段階１０３０または１０７０が行われる。

第１実施形態によるマルチメディア・ストリーム受信装置２００に、映像の変異測定手段が存在しなければ、ユーザ設定によるクローズドキャプション強制出力モードであるか否かが判断されもする（段階１０６０）。クローズドキャプション強制出力モードであるならば、第１実施形態による再生部２４０は、クローズドキャプションの変異情報を利用し、クローズドキャプションを三次元で再生する（段階１０３０）。強制クローズドキャプション出力モードではないなら、第１実施形態による再生部２４０は、クローズドキャプションを再生しないか、あるいは映像後処理作業を行い、安全性確保後にクローズドキャプションを三次元で再生することができる（段階１０７０）。

図１１は、第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の一例を図示している。

第１実施形態による再生部２４０は、クローズドキャプションの三次元再生安全性情報「is＿safety＿check」に基づいて、安全性が確保されないと判断されれば、三次元映像（３Ｄ image）１１１０の所定領域に変異情報を有するクローズドキャプション・データ（ＣＣ data with disparity）１１２０を強制的に配置するように出力することができる。

例えば、第１実施形態による再生部２４０は、三次元映像１１１０を縦方向に縮小し（scale down）（１１３０）、縮小された三次元映像とクローズドキャプション・データ１１２０とを合成する（merging）（１１４０）。これによる結果映像１１５０は、縦方向に縮小された三次元映像領域１１５２及びクローズドキャプション領域１１５４に区分される。三次元映像領域１１５２及びクローズドキャプション領域１１５４が、互いに重畳しないようにそれぞれ三次元で再生することができる。

図１２及び図１３は、第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法の他の例を図示している。

図１２では、三次元ディスプレイ平面１２１０で、三次元ビデオが再生されることによって、ビデオ客体領域１２２０が固有のデプスほど飛び出して表示される。この場合、クローズドキャプションのテキスト領域１２３０が、三次元ディスプレイ平面１２１０とビデオ客体領域１２２０との間に表示されれば、視聴者１２００は、ビデオ客体とテキストとのデプス感が混同されつつ、めまいまたは疲労感を感じることがある。

図１３では、ビデオ客体領域１２３０の変異情報が獲得される場合、第１実施形態による再生部２４０は、テキスト領域１２３０を、ビデオ客体領域１２２０より視聴者１２００側に飛び出すように、テキスト領域１２３０の変異情報を調整することができる。また、あらゆる映像ピクセルの変異情報が分かる場合、第１実施形態による再生部２４０は、テキスト領域１２３０のキャプション領域のピクセル位置を、ビデオ客体領域１２２０とデプス順序上で重ならない領域に移動させることができる。

図１４及び図１５は、第１実施形態によるクローズドキャプションの三次元再生安全性情報に基づいて、安全性が保証されない場合に行われる後処理方法のさらに他の例を図示している。

図１４では、三次元ディスプレイ平面１４００で、三次元ビデオが再生されることによって、ビデオ客体領域１４１０が固有のデプスほど飛び出して表示されるが、クローズドキャプションのテキスト領域１４２０が、三次元ディスプレイ平面１４００とビデオ客体領域１４１０との間に存在するデプス感の逆転現象が生じている。

図１５で、第１実施形態による再生部２４０は、三次元ビデオを二次元再生モードに変換して再生する。すなわち、第１実施形態による再生部２４０は、ビデオ客体領域１４１０が、三次元ディスプレイ平面１４００で表示されるように二次元で再生し、テキスト領域１４２０は、固有の変異情報に基づいて、三次元で再生することができる。これによって、ビデオ客体領域１４１０のデプスが０になるので、テキスト領域１４２０とビデオ客体領域１４１０との間のデプス感の逆転現象が解消される。

第１実施形態によるマルチメディア・ストリーム生成装置１００は、クローズドキャプションに、三次元デプス感を付与するためのクローズドキャプション三次元再生情報を、データストリームに挿入し、ビデオ、オーディオと共に伝送することができる。第１実施形態によるマルチメディア・ストリーム生成装置２００は、受信されたマルチメディア・ストリームから、クローズドキャプション・データ及びクローズドキャプション三次元再生情報を抽出することができる。第１実施形態によるマルチメディア・ストリーム生成装置２００は、クローズドキャプション三次元再生情報に基づいて、クローズドキャプションの安全性を確認し、クローズドキャプションの再生方法を採択することができ、クローズドキャプションのデプス感を調節することができ、クローズドキャプションの三次元再生効果を強調するための強調用クローズドキャプションも利用することができる。これによって、三次元ビデオとクローズドキャプションとが自然に再生される。

以下、表１４ないし表４８及び図１６ないし図３４を参照して、一実施形態によるサブタイトルの三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。

図１６は、サブタイトルデータのマルチメディア・ストリームの生成及び受信方式を図示している。

シングルプログラム符号化部１６００は、ビデオデータ及びオーディオデータを入力され、それぞれビデオ符号化部（video encoder）１６１０及びオーディオ符号化部（audio encoder）１６２０によって符号化され、符号化されたビデオデータ及びオーディオデータは、それぞれパケット化器（packetizer）１６３０，１６４０を経て、ビデオＰＥＳパケット及びオーディオＰＥＳパケットに分解される。また、一実施形態によるシングルプログラム符号化部１６００は、サブタイトル生成部（subtitle generator station）１６５０）からサブタイトルデータを入力される。ＰＳＩ生成部１６６０は、ＰＡＴ（program association table）及びＰＭＴ（program map table）などの各種プログラム関連情報を生成する。

シングルプログラム符号化部１６００の多重化部（ＭＵＸ（multiplexer））１６７０は、パケット化器１６３０，１６４０から、ビデオＰＥＳパケット及びオーディオＰＥＳパケットだけではなく、ＰＥＳパケット形態のサブタイトルデータパケット及びＰＳＩ生成部１６６０から入力された各種プログラム関連情報をセクション形態で入力され、多重化して１つのプログラムに係わるＴＳを生成して出力する。

一実施形態によるシングルプログラム符号化部１６００が、ＤＶＢ通信方式またはケーブル通信方式によって、ＴＳを生成して伝送したか否かによって、ＤＶＢセットトップボックス（ＤＶＢ set-top box）１６８０またはケーブル・セットトップボックス（cable set-top box）１６８５がＴＳを受信してパージングし、ビデオ、オーディオ及びサブタイトルを復元する。ＴＶ １６９０は、ビデオ及びオーディオを再生し、サブタイトルをビデオ画面上に同期化して再生する。

第２実施形態または第３実施形態によるマルチメディア・ストリーム生成装置１００は、シングルプログラム符号化部１６００の動作に、三次元ビデオ及びサブタイトルの三次元再生のための情報を追加して挿入して伝送することができる。また、第２実施形態または第３実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢセットトップボックス１６７０またはケーブル・セットトップボックス１６８０、及びＴＶ １６９０の動作に追加し、三次元ビデオ及びサブタイトルを三次元で再生することができる。

まず、表１４ないし表３４及び図１７ないし図２７を参照して、第２実施形態によるＤＶＢ通信方式によるサブタイトルの三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。

図１７は、ＤＶＢ通信方式によるサブタイトルデータの階層的構造を図示している。

ＤＶＢ通信方式のディスプレイデータ構造はプログラム（program）レベル１７００、エポック（epoch）レベル１７１０、ディスプレイ（display）シーケンスレベル１７２０、領域（region）レベル１７３０、客体（object）レベル１７４０の階層的構造から構成される。

具体的には、１つのプログラム単位１７０５は、一つ以上のエポック単位１７１２，１７１４，１７１６から構成される。

エポック単位は、復号化器がメモリレイアウトが変わらないまま維持される時間単位である。すなわち、１つのエポック単位１７１２は、次のエポック単位１７１４が伝送されるまで、サブタイトル復号化器のメモリに保存される。メモリレイアウトは、ページ状態が、「モード変更」であるページ構成セグメントを受信し、復号化器状態がリセットされることによって変更される。従って、２つの連続的なエポック単位１７１２，１７１４の間には、復号化器にページ状態が「モード変更」であるページ構成セグメントが受信されたことを意味する。１つのエポック単位１７１４は、一つ以上のディスプレイシーケンス単位１７２２，１７２４，１７２６から構成される。

それぞれのディスプレイシーケンス単位１７２２，１７２４，１７２６は、完全なグラフィック場面を示し、数秒間画面上で維持される。一例として、１つのディスプレイシーケンス単位１７２４は、指定された表示位置を有する一つ以上の領域単位１７３２，１７３４，１７３６から構成される。

それぞれの領域単位１７３２，１７３４，１７３６は、あらゆるピクセルコードに適用される色相及び透明度を定義するＣＬＵＴテーブル（color look-up table）と一対になる。ピクセルデプスは、それぞれの領域単位１７３２，１７３４，１７３６に適用される色相のエントリを示し、２，４，８ビットのピクセルデプスは、それぞれ４，１６，２５６種の色相のピクセルコードを支援する。一例として、１つの領域単位１７３４は、背景色相を定義することができ、当該領域内に表示される一つ以上のグラフィック客体単位１７４２，１７４４，１７４６から構成される。

図１８及び図１９は、ＤＶＢ通信方式によって、サブタイトルのＰＥＳパケットを指すＰＭＴ（program map table）内のサブタイトル叙述子の２種表現方式を図示している。

１つのサブタイトル・ストリームは、一つ以上のサブタイトル・サービスを伝送することができる。一つ以上のサブタイトル・サービスが１つのパケットに多重化され、１つのＰＩＤ（packet identifier）情報を割り当てられて伝送されたり、あるいはそれぞれのサブタイトル・サービスが別個のパケットから構成され、別個のＰＩＤ情報を割り当てられてそれぞれ伝送される。プログラムのサブタイトル・サービスに係わるＰＩＤ情報、言語及びページ識別子が、関連ＰＭＴに定義されていなければならない。

図１８は、一つ以上のサブタイトル・サービスが１つのパケットに多重化された場合のサブタイトル叙述子及びサブタイトルＰＥＳパケットを図示している。一つ以上のサブタイトル・サービスが、１つのＰＥＳパケット１８４０に多重化されて、１つのＰＩＤ情報Ｘを割り当てられ、これによって、サブタイトル・サービスのための複数枚のページ１８４２，１８４４，１８４６も同じＰＩＤ情報Ｘに従属する。

補助ページ（ancillary page）１８４６のサブタイトルデータは、互いに異なるサブタイトルデータに対して共有される付属データ１８４２，１８４４である。

ＰＭＴ １８００は、サブタイトルデータに係わるサブタイトル叙述子１８１０を含んでもよい。サブタイトル叙述子１８１０は、サブタイトルデータに係わる情報をパケット別に定義し、同じパケット内では、サブタイトル・サービスに係わる情報が、ページ別に分類されもする。すなわち、サブタイトル叙述子１８１０は、ＰＩＤ情報ＸであるＰＥＳパケット１８４０内のサブタイトルデータ１８４２，８１４４，１８４６に係わる情報を含み、ＰＥＳパケット１８４０内のサブタイトルデータのページ１８４２，１８４４別に定義されたサブタイトルデータ情報１８２０，１８３０は、それぞれの言語情報「language」、構成ページ識別子「composition−page＿ｉｄ」及び共有ページ識別子「ancillary−page＿ｉｄ」を含んでもよい。

図１９は、それぞれのサブタイトル・サービスが、別個のパケットによって構成された場合のサブタイトル叙述子及びサブタイトルＰＥＳパケットを図示している。第１サブタイトル・サービスのための第１ページ１９５０は、第１ＰＥＳパケット１９４０から構成され、第２サブタイトル・サービスのための第２ページ１９７０は、第２ＰＥＳパケット１９６０から構成される。第１ＰＥＳパケット１９４０及び第２ＰＥＳパケット１９６０には、ＰＩＤ情報Ｘ及びＹがそれぞれ割り当てられる。

ＰＭＴ １９００のサブタイトル叙述子１９１０は、複数個のサブタイトルＰＥＳパケットのＰＩＤ情報値を含むことができ、複数個のＰＥＳパケットのサブタイトルデータのための情報を、ＰＥＳパケット別に定義することができる。すなわち、サブタイトル叙述子１９１０は、ＰＩＤ情報Ｘである第１ＰＥＳパケット１９４０内のサブタイトルデータのページ１９５０のためのサブタイトル・サービス情報１９２０、及びＰＩＤ情報Ｙである第２ＰＥＳパケット１９６０内のサブタイトルデータのページ１９７０のためのサブタイトル・サービス情報１９３０を含む。

図２０は、ＤＶＢ通信方式によるサブタイトルデータを含むデータストリーム構造の一例を図示している。

ＤＶＢ通信方式によるサブタイトルを含むＤＶＢ ＴＳ ２０００から、同じＰＩＤ情報が割り当てられたサブタイトルＴＳパケット２００２，２００４，２００６がギャザリング（gathering）され、サブタイトルＰＥＳパケット２０１２，２０１４が構成される。それぞれのＰＥＳパケット２０１２，２０１４の開始部分を構成するサブタイトルデータ２００２，２００６は、当該ＰＥＳパケット２０１２，２０１４のヘッダを構成する。

それぞれのサブタイトルＰＥＳパケット２０１２，２０１４は、ディスプレイセット２０２２，２０２４を構成する。１つのディスプレイセット２０２２は、複数枚の構成ページ（composition page）２０４２，２０４４及び補助ページ２０４６を含む。１枚の構成ページ２０４２は、ページ構成セグメント（page composition segment）２０５２、領域構成セグメント（region composition segment）２０５４、ＣＬＵＴ定義セグメント（ＣＬＵＴ definition segment）２０５６及び客体データセグメント（object data segment）２０５８を含む。１枚の補助ページ２０４６は、ＣＬＵＴ定義セグメント２０６２及び客体データセグメント２０６４を含む。

図２１は、ＤＶＢ通信方式による構成ページの構造の一例を図示している。

構成ページ２１００は、１つのディスプレイ定義セグメント２１１０、１つのページ構成セグメント２１２０、一つ以上の領域構成セグメント２１３０，２１４０、一つ以上のＣＬＵＴ定義セグメント２１５０，２１６０、一つ以上の客体データセグメント２１７０，２１８０及び１つのディスプレイセット・セグメント終了領域（end of display set segment）２１９０を含む。構成ページ２１００は、領域構成セグメント、ＣＬＵＴ定義セグメント、客体データセグメントを複数個ずつ含んでもよい。

ページ識別子が「１」である構成ページ２１００を構成するセグメント２１１０，２１２０，２１３０，２１４０，２１５０，２１６０，２１７０，２１８０，２１９０に係わるページ識別子「page ｉｄ」は、いずれも「１」に定義される。それぞれの領域構成セグメント２１３０，２１４０に係わる領域識別子「region ｉｄ」は、領域別インデックスで設定され、それぞれのＣＬＵＴ定義セグメント２１５０，２１６０に係わるＣＬＵＴテーブル識別子「ＣＬＵＴ ｉｄ」は、ＣＬＵＴテーブル別にインデックスに設定される。また、それぞれの客体データセグメント２１７０，２１８０に係わる客体識別子「object ｉｄ」は、客体データ別インデックスに設定される。

以上、ディスプレイ定義セグメント、ページ構成セグメント、領域構成セグメント、ＣＬＵＴ定義セグメント、客体データセグメント及びディスプレイセット・セグメント終了のシンタックスは、サブタイトル・セグメントの形態で符号化され、サブタイトルＰＥＳパケットのペイロード領域に挿入してもよい。

表１４は、ＤＶＢサブタイトルＰＥＳパケット内の「ＰＥＳ＿packet＿data＿bytes」フィールドに保存される「ＰＥＳ＿data＿ｆｉｅｌｄ」フィールドのシンタックスを示している。サブタイトルＰＥＳパケットに保存されるサブタイトルデータは、「ＰＥＳ＿data＿field」フィールドの形態で符号化される。

「data＿identifier」フィールドは、現在ＰＥＳパケットデータがＤＶＢサブタイトルデータであることを示すように、「０ｘ２０」値に固定される。「subtitle＿stream＿ｉｄ」フィールドは、現在サブタイトル・ストリームの識別子を含み、「０ｘ００」値に固定される。「end＿ｏｆ＿ＰＥＳ＿data＿field＿marker」フィールドは、現在データフィールドがＰＥＳデータフィールド終了フィールドであるか否かを示す情報を含み、値「１１１１１１１１」に固定される。サブタイトル・セグメント「subtitling＿segment」フィールドのシンタックスは、表１５の通りである。

「ｓｙｎｃ＿byte」フィールドは、「００００ １１１１」値に暗号化される。「segment＿length」フィールド値を基にセグメントが復号化されるとき、同期化いかんを確認し、伝送パケットの遺失（loss）いかんを判断するために、「ｓｙｎｃ＿byte」フィールドが利用される。

「segment＿type」フィールドは、セグメントデータ・フィールドに含まれたデータ種類に係わる情報を含む。表１６は、「segment＿type」フィールドによって定義されるセグメントタイプを示している。

「page＿ｉｄ」フィールドは、「subtitling＿segment」フィールドに含まれたデータのサブタイトル・サービスの識別子を含む。サブタイトル叙述子で、構成ページ識別子に設定された「page＿ｉｄ」値が割り当てられたサブタイトル・セグメントには、１つのサブタイトル・サービスに係わるサブタイトルデータが含まれる。また、サブタイトル叙述子で、補助ページ識別子に設定された「page＿ｉｄ」値が割り当てられたサブタイトル・セグメントには、複数個のサブタイトル・サービスが共有されるデータを含む。

「segment＿length」フィールドは、後続する「segment＿data＿field」フィールドに含まれたバイト数情報を含む。「segment＿data＿field」フィールドは、セグメントのペイロード領域であり、ペイロード領域のシンタックスは、セグメントタイプによって変わることがある。セグメントタイプ別ペイロード領域のシンタックスは、以下、表１７，１８，２０，２５，２６及び２８で例示される。

表１７は、ディスプレイ定義セグメント「display＿definition＿segment」のシンタックスを図示している。

ディスプレイ定義セグメントは、サブタイトル・サービスの解像度を定義することができる。

「ｄｄｓ＿version＿number」フィールドは、ディスプレイ定義セグメントのバージョン情報を含む。「ｄｄｓ＿version＿number」フィールド値のバージョン番号は、ディスプレイ定義セグメントの内容が変更されるたびに、モジュロ（modulo）１６単位で増加する。

「display＿window＿flag」フィールド値が「１」に設定される場合、ディスプレイ定義セグメントと関連したＤＶＢサブタイトル・ディスプレイセットは、「display＿width」フィールド及び「display＿height」フィールドで定義されたディスプレイサイズ内で、サブタイトルが表示されるウインドウ領域を定義する。この場合、ディスプレイ定義セグメントで、「display＿window＿horizontal＿position＿minimum」フィールド、「display＿window＿horizontal＿position＿maximum」フィールド、「display＿window＿vertical＿position＿minimum」フィールド及び「display＿window＿vertical＿position＿maximum」フィールド値によって、ディスプレイ内の現在ウインドウ領域のサイズと位置とが定義される。

「display＿window＿flag」フィールド値が「０」に設定される場合、現在ＤＶＢサブタイトル・ディスプレイセットは、「display＿width」フィールド及び「display＿height」フィールドで定義されたディスプレイサイズ内で、ウインドウ領域なしに直接表現される。

「display＿width」フィールド及び「display＿height」フィールドは、それぞれディスプレイサイズの最大水平幅情報及び最大垂直高さ情報を含み、それぞれフィールド値が０〜４０９５の範囲で設定される。

「display＿window＿horizontal＿position＿minimum」フィールドは、ディスプレイ内で、現在ウインドウ領域の水平最小位置情報を含む。すなわち、ディスプレイの左側端ピクセルを基準に、ＤＶＢサブタイトルディスプレイ・ウインドウの左側端ピクセル値が定義される。

「display＿window＿horizontal＿position＿maximum」フィールドは、ディスプレイ内で、現在ウインドウ領域の水平最大位置情報を含む。すなわち、ディスプレイの左側端ピクセルを基準に、ＤＶＢサブタイトルディスプレイ・ウインドウの右側端ピクセル値が定義される。

「display＿window＿vertical＿position＿minimum」フィールドは、ディスプレイ内で、現在ウインドウ領域の垂直最小ピクセル位置を含む。すなわち、ディスプレイの上端ラインを基準に、ＤＶＢサブタイトルディスプレイ・ウインドウの最上端ライン値が定義される。

「display＿window＿vertical＿position＿maximum」フィールドは、ディスプレイ内で、現在ウインドウ領域の垂直最大ピクセル位置情報を含む。すなわち、ディスプレイの上端ラインを基準に、ＤＶＢサブタイトルディスプレイ・ウインドウの最下端ライン値が定義される。

表１８は、ページ構成セグメント「page＿composition＿segment」のシンタックスを図示している。

「page＿time＿out」フィールドは、ページが有効ではなく、スクリーン上から消えるまでの期間に係わる情報を含み、秒（second）単位で設定される。「page＿version＿number」フィールド値は、ページ構成セグメントのバージョン番号を示し、ページ構成セグメントの内容が変更されるたびに、モジュロ１６単位で増加する。

「page＿state」フィールドは、ページ構成セグメントで記述されたサブタイトル・ページ・インスタンスの状態（page state）に係わる情報を含む。「page＿state」フィールド値は、ページ構成セグメントによるサブタイトルページを表示するためのデコーダの動作状態（status）を示すこともできる。表１９は、「page＿state」フィールド値の内容を示している。

「processed＿length」フィールドは、デコーダによって処理される「while」ループ（loop）内に含まれたバイト数情報を含む。「region＿ｉｄ」フィールドは、ページ内の領域に係わる固有識別子を含む。識別されたそれぞれの領域は、ページ構成で定義されたページインスタンスにディスプレイされる。それぞれの領域は、「region＿vertical＿address」フィールド値の昇順（ascending order）によってページ構成セグメントに収録される。

「region＿horizontal＿address」フィールドは、ページ内の当該領域の上端左側ピクセルが表示される水平ピクセルの位置情報を含む。「region＿vertical＿address」フィールドは、ページ内の当該領域の上端左、すなわち、ピクセルが表示される垂直ラインの位置情報を定義する。

表２０は、領域構成セグメント「region＿composition＿segment」のシンタックスを図示している。

「region＿ｉｄ」フィールドは、現在領域の固有識別子を含む。

「region＿version＿number」フィールドは、現在領域のバージョン情報を含む。（ｉ）「region＿fill＿flag」フィールド値が「１」に設定された場合、（ｉｉ）現在領域のＣＬＵＴテーブルが変更された場合、（ｉｉｉ）現在領域が長さが０ではない客体目録（object list）を具備する場合のうち、１つの条件が真である場合、現在領域のバージョンが増加する。

「region＿fill＿flag」フィールド値が「１」に設定される場合、「region＿ｎ−bit＿pixel＿code」フィールドで定義された色相で、現在領域の背景が充填される。

「region＿width」フィールド及び「region＿height」フィールドは、それぞれ現在領域の水平幅情報及び垂直高さ情報を含み、ピクセル単位で設定される。

「region＿level＿of＿compatibility」フィールドは、現在領域を復号化するために、デコーダが具備しなければならない最小限のＣＬＵＴタイプ情報を含み、表２１によって定義される。

デコーダが指定された最小限のＣＬＵＴタイプを支援することができない場合、さらに低いレベルのＣＬＵＴタイプを要求する他の領域は、表示されもするが、現在領域は、表示されない。

「region＿depth」フィールドは、領域のピクセル深さ情報を含み、表２２によって定義される。

「ＣＬＵＴ＿ｉｄ」フィールドは、現在領域に適用されるＣＬＵＴテーブルの識別子を含む。「region＿８−bit＿pixel−code」フィールド値は、「region＿fill＿flag」フィールドが設定された場合、現在領域の背景色として適用される８ビットＣＬＵＴテーブルの色相エントリを定義する。類似した方式で、「region＿４−bit＿pixel−code」フィールド値及び「region＿２−bit＿pixel−code」フィールド値は、それぞれ「region＿fill＿flag」フィールドが設定された場合、現在領域の背景色として適用される４ビットＣＬＵＴテーブルの色相エントリ、及び２ビットＣＬＵＴテーブルの色相エントリを定義する。

「object＿ｉｄ」フィールドは、現在領域で見られる客体の識別子を含み、「object＿type」フィールドは、表２３で定義された客体タイプ情報を含む。客体タイプは、基底客体または構成客体、ビットマップ、文字または文字列に分類されもする。

「object＿provider＿flag」フィールドは、表２４によって、客体を提供する方式を示している。

「object＿horizontal＿position」フィールドは、現在領域内の客体データが表示される相対的位置であり、現在客体の上端左側ピクセルが表示される水平ピクセルの位置情報を含む。すなわち、現在領域の左側端を基準に、現在客体の左側上端ピクセルまでのピクセル数が定義される。

「object＿vertical＿position」フィールドは、現在領域内の客体データが表示される相対的位置であり、現在客体の上端左側ピクセルが表示される垂直ラインの位置情報を含む。すなわち、現在領域の上端を基準に、現在客体までの上端ラインまでのラインの本数が定義される。

「foreground＿pixel＿code」フィールドは、文字の前景色相として選択された８ビットＣＬＵＴテーブルの色相エントリ情報を含む。「background＿pixel＿code」フィールドは、文字の背景色相として選択された８ビットＣＬＵＴテーブルの色相エントリ情報を含む。

表２５は、ＣＬＵＴ定義セグメント「ＣＬＵＴ＿definition＿segment」のシンタックスを図示している。

「ＣＬＵＴ−ｉｄ」フィールドは、ページ内でＣＬＵＴ定義セグメントに含まれたＣＬＵＴテーブルの識別子を含む。「ＣＬＵＴ＿version＿number」フィールドは、ＣＬＵＴ定義セグメントのバージョン番号を示し、現在セグメントの内容が変更される場合、バージョン番号がモジュロ１６単位で増加する。

「ＣＬＵＴ＿entry＿ｉｄ」フィールドは、ＣＬＵＴエントリの固有識別子を含み、最初の識別子値は、０である。「２−bit／entry＿ＣＬＵＴ＿flag」フィールド値が「１」に設定される場合、現在ＣＬＵＴテーブルは、２ビットエントリから構成されるが設定され、類似した方式で、「４−bit／entry＿ＣＬＵＴ＿flag」フィールド値または「８−bit／entry＿ＣＬＵＴ＿flag」フィールド値が「１」に設定される場合、現在ＣＬＵＴテーブルは、４ビットエントリまたは８ビットエントリとして構成設定される。

「full＿range＿flag」フィールド値が「１」に設定される場合、「Ｙ＿value」フィールド、「Ｃｒ＿value」フィールド、「Ｃｂ＿value」フィールド及び「Ｔ＿value」フィールドに対して、フル８ビット解像度が適用される。

「Ｙ＿value」フィールド、「Ｃｒ＿value」フィールド及び「Ｃｂ＿value」フィールドは、それぞれ入力に対するＣＬＵＴテーブルのＹ出力情報、Ｃｒ出力情報及びＣｂ出力情報を含む。

「Ｔ＿value」フィールドは、入力に対するＣＬＵＴテーブルの透明度情報を含む。「Ｔ＿value」フィールド値が「０」である場合、透明度がないことを意味する。

表２６は、客体データセグメント「object＿data＿segment」のシンタックスを図示している。

「object＿ｉｄ」フィールドは、ページ内の現在客体に係わる識別子を含む。「object＿version＿number」フィールドは、現在客体データセグメントのバージョン情報を含み、セグメントの内容が変更されるたびに、バージョン番号が「モジュロ１６」単位で増加する。

「object＿coding＿method」フィールドは、客体の符号化方法情報を含む。表２７によって、客体は、ピクセルまたは文字列で符号化可能である。

「non＿modifying＿colour＿flag」フィールド値が「１」に指定された場合、ＣＬＵＴテーブルの入力値「１」が修正されない「非修正色相」であることを示す。客体ピクセルに非修正色相が割り当てられれば、基底領域の背景または客体のピクセルは、修正されない。

「top＿field＿data＿block＿length」フィールドは、最上端フィールドに係わる「pixel−data＿sub−blocks」フィールドに含まれたバイト数情報を含む。「bottom＿field＿data＿block＿length」フィールドは、最下端フィールドに係わる「data＿sub−block」フィールドに含まれたバイト数情報を含む。それぞれの客体で、最上端フィールドのピクセルデータ・サブブロックと最下端フィールドのピクセルデータ・サブブロックは、同じ客体データセグメントを介して定義される。

「８＿stuff＿bits」フィールドは、「００００ ００００」に固定される。「number＿of＿codes」フィールドは、文字列内の文字コード数情報を含む。「character＿code」フィールド値は、サブタイトル叙述子で識別される文字コード内のインデックスを利用して文字を設定する。

表２８は、ディスプレイセット・セグメント終了領域（end＿of＿display＿set＿segment）のシンタックスを図示している。

「end＿of＿display＿set＿segment」フィールドは、デコーダに、ディスプレイセットの伝送が完了したことを明確に知らせるために利用される。「end＿of＿display＿set＿segment」フィールドは、それぞれのディスプレイセットに係わり、最後の客体データセグメント「object＿data＿segment」フィールドの次に挿入可能である。また「end＿of＿display＿set＿segment」フィールドは、１つのサブタイトル・ストリーム内で、それぞれのサブタイトル・サービスを区分するためにも利用される。

図２２は、ＤＶＢ通信方式によるサブタイトル処理モデルのフローチャートを図示している。

ＤＶＢ通信方式によるサブタイトル処理モデル２２００によれば、サブタイトルデータが含まれたＴＳ ２２１０が入力され、ＭＰＥＧ−２ ＴＳパケット（transport stream packet）に分解され、ＰＩＤフィルタ（ＰＩＤ filter）を介して、ＭＰＥＧ−２ＴＳパケット中で、サブタイトルに対応するＰＩＤ情報が割り当てられたサブタイトル用ＴＳパケット２２１２，２２１４，２２１６のみ抽出され（段階２２２０）、トランスポート・バッファ（transport buffer）に出力される。段階２２３０で、トランスポート・バッファは、サブタイトル用ＴＳパケット２２１２，２２１４，２２１６から、サブタイトルＰＥＳパケットを構成して抽出する。それぞれのサブタイトルＰＥＳパケットは、サブタイトルデータが含まれたＰＥＳペイロード及びＰＥＳヘッダから構成される。段階２２４０で、サブタイトル復号化部（subtitle decoder）が、トランスポート・バッファから出力されたサブタイトルＰＥＳパケットを入力され、画面上に表示されるサブタイトルを構成する。

サブタイトル復号化段階２２４０は、前処理及びフィルタリング（pre-processor and filters）段階（２２５０）、符号化データバッファリング（coded data buffer）段階（２２６０）、サブタイトル処理（sutitle processing）段階（２２７０）及び構成バッファリング（composition buffer）段階（２２８０）に細分化される。

例えば、ユーザによって、ＰＭＴ内のページＩＤ情報「page＿ｉｄ」が「１」であるページが選択された場合を仮定する。前処理及びフィルタリング段階（２２５０）は、ＰＥＳペイロード（ＰＥＳ payload）内の「page＿ｉｄ」が「１」である構成ページ（composition page）を、ディスプレイ定義セグメント、ページ構成セグメント、領域構成セグメント、ＣＬＵＴ定義セグメント及び客体データセグメントに分解する。分解されたセグメントのうち、一つ以上の客体データセグメント内の一つ以上の客体データは、符号化データバッファに保存され（段階２２６０）、ディスプレイ定義セグメント、ページ構成セグメント、一つ以上の領域構成セグメント及び一つ以上のＣＬＵＴ定義セグメントは、構成バッファに保存される（段階２２８０）。

サブタイトル処理段階（２２７０）は、符号化データバッファから、一つ以上の客体データを入力され、構成バッファに保存されたディスプレイ情報、ページ構成情報、領域構成情報及びＣＬＵＴ情報に基づいて、一つ以上の客体から構成されたサブタイトルを生成する。

サブタイトル復号化段階（２２４０）で構成されたサブタイトルは、ピクセルバッファ（pixel buffer）に保存される（段階２２９０）。

図２３、図２４及び図２５は、符号化データバッファ（coded data buffer）、構成バッファ（composition buffer）、ピクセルバッファ（pixel buffer）に保存されたデータを図示している。

符号化データバッファ２３００に、客体識別子（object ｉｄ）が１である客体データ２３１０、及び客体識別子が２である客体データ２３２０が保存される。

構成バッファ２４００に、領域識別子（region ｉｄ）が１である第１領域２４１０に係わる情報、領域識別子が「２」である第２領域２４２０に係わる情報、及び第１領域２４１０及び第２領域２４２０から構成されたページ構成に係わる情報２４３０が保存される。

サブタイトル処理段階（２２７０）を介して、符号化データバッファ２３００に保存された客体データ２３１０，２３２０、及び構成バッファ２４００に保存された第１領域２４１０、第２領域２４２０及びページ２４３０に係わる情報に基づいて、領域別サブタイトル客体２５１０，２５２０が配置されたサブタイトルページ２５００がピクセルバッファに保存される。

以下、表１４ないし表２８及び図１６ないし図２５を参照して説明したＤＶＢ通信方式によるサブタイトルを基に、サブタイトルの三次元再生のための第２実施形態によるマルチメディア・ストリーム生成装置１００、及び第２実施形態によるマルチメディア・ストリーム受信装置２００の動作について、以下、表２９ないし３４及び図２６ないし図２９を参照して説明する。

第２実施形態によるマルチメディア・ストリーム生成装置１００は、ＤＶＢサブタイトルの三次元再生のための情報を、サブタイトルＰＥＳパケットに挿入してもよい。第２実施形態によるＤＶＢサブタイトルの三次元再生のための情報は、サブタイトルデプスに係わる情報であり、デプス、視差、座標などのオフセット情報を多様な形態で利用することができる。

具体的な実施形態で、第２実施形態によるマルチメディア・ストリーム生成装置１００のプログラム符号化部１１０は、サブタイトルＰＥＳパケット内の構成ページ内のページ構成セグメントに、ＤＶＢサブタイトルの三次元再生のための情報を挿入してもよい。また、第２実施形態によるプログラム符号化部１１０は、サブタイトルのデプスを定義するためのセグメントを新たに定義し、ＰＥＳパケットに挿入してもよい。

表２９及び３０はそれぞれ、第２実施形態によるプログラム符号化部１１０によって、ＤＶＢサブタイトルのデプス情報が含まれるように変形された、ページ構成セグメントのシンタックスを例示している。

第２実施形態によるプログラム符号化部１１０は、表１８の基本「page＿composition＿segment（）」内のwhileループ内の「reserved」フィールドに、表２９のように、「region＿offset＿direction」フィールド及び「region＿offset」フィールドを追加して挿入してもよい。例えば、第２実施形態によるプログラム符号化部１１０は、「reserved」フィールドの８ビットを代替し、「region＿offset＿direction」フィールドに１ビットを割り当て、「region＿offset」フィールドに７ビットを割り当てることができる。

「region＿offset＿direction」フィールドは、現在領域のオフセットの方向性情報を含んでもよい。「region＿offset＿direction」フィールド値が「０」である場合、現在領域のオフセットが正の方向であることが設定され、「１」である場合、負の方向であることが設定される。

「region＿offset」フィールドは、現在領域のオフセット情報を含んでもよい。二次元用サブタイトルを利用し、左視点サブタイトルまたは右視点サブタイトルを生成するために、「region＿horizontal＿address」フィールド値によって、サブタイトル領域であると定義された現在領域のｘ座標値のピクセル変位が「region＿offset」フィールド値に設定されてもよい。

第２実施形態によるプログラム符号化部１１０は、表２９の変形されたページ構成セグメントに、「region＿offset＿based＿position」フィールドを追加することができる。表１８の基本的なページ構成セグメント内の８ビットの「reserved」フィールドを代替し、１ビットの「region＿offset＿direction」フィールド、６ビットの「region＿offset」フィールド、及び１ビットの「region＿offset＿based＿position」フィールドが割り当てられる。

「region＿offset＿based＿position」フィールドは、「region＿offset」フィールドのオフセット値が、基本平面を基準に適用されているか、またはビデオのデプスを基準として適用されているかを示すためのフラッグ情報を含んでもよい。

表３１、３２、３３及び３４は、第２実施形態によるプログラム符号化部１１０が、サブタイトルのデプスを定義するために、新たに定義したデプス定義セグメントである「Depth＿Definitioin＿Segment」フィールドのシンタックスを図示している。

第２実施形態によるプログラム符号化部１１０は、表１５の「subtitling＿segment」フィールド内の「segment＿data＿field」フィールドに、「Depth＿Definition＿Segment」フィールドなどのサブタイトルのオフセットと関連した情報を、追加的なセグメント形態で挿入してもよい。これによって、第２実施形態によるプログラム符号化部１１０は、サブタイトルタイプの一つとして、デプス定義セグメントを追加することもできる。例えば、第２実施形態によるマルチメディア・ストリーム生成装置１００が、表１６の「subtitle＿type」フィールド値が「０ｘ４０」〜「０ｘ７Ｆ」である、サブタイトルタイプフィールドの保留領域（reserved）における１つの値を利用し、デプス定義セグメントを追加して定義することにより、ＤＶＢサブタイトルシステムとの下位互換性が保証される。

第２実施形態によるマルチメディア・ストリーム生成装置１００は、ページ単位でサブタイトルのオフセット情報を定義するデプス定義セグメントを新たに生成することができる。デプス定義セグメント「Depth＿Definition＿Segment」フィールドのシンタックスを、表３１及び３２を介してそれぞれ例示する。

「page＿offset＿direction」フィールドは、現在ページに係わるオフセット方向性情報を含んでもよい。「page＿offset」フィールドは、現在ページについてのオフセット情報を含んでもよい。すなわち、「page＿offset」フィールド値は、現在ページのｘ座標値のピクセル変位を示すことができる。

また、第２実施形態によるプログラム符号化部１１０は、デプス定義セグメントに、「page＿offset＿based＿position」フィールドを追加することができる。「page＿offset＿based＿position」フィールドは、「page＿offset」フィールドのオフセット値が、基本平面を基準に適用されているか、またはビデオのデプスを基準として適用されているかを示すためのフラッグ情報を含んでもよい。

表３１及び３２のデプス定義セグメントによれば、現在ページに係わって、同じオフセットが適用される。

また、第２実施形態によるマルチメディア・ストリーム生成装置１００は、領域単位でサブタイトルのオフセット情報を定義するデプス定義セグメントを新たに生成することができる。この場合、「Depth＿Definition＿Segment」フィールドのシンタックスが、表３３及び３４でそれぞれ例示される。

表３３及び３４のデプス定義セグメント内の「page＿ｉｄ」フィールド及び「region＿ｉｄ」フィールドは、ページ構成セグメントの同一フィールドを参照することができる。第２実施形態によるマルチメディア・ストリーム生成装置１００は、新たに定義したデプス定義セグメント内で、forループを介して、現在ページ内の領域別に、サブタイトルのオフセット情報を設定することができる。すなわち、「region＿ｉｄ」フィールドは、現在領域の識別情報を含み、「region＿ｉｄ」フィールド値によって、「region＿offset＿direction」フィールド、「region＿offset」フィールド及び「region＿offset＿based＿position」フィールドが別途に設定される。従って、サブタイトルの領域別に、ｘ座標のピクセル変位が別途に設定される。

第２実施形態によるマルチメディア・ストリーム受信装置２００は、受信されたＴＳをパージングして構成ページを抽出し、構成ページ内のページ構成セグメント、領域定義セグメント、ＣＬＵＴ定義セグメント、客体データセグメントなどのシンタックスを判読し、これを基に、サブタイトルを構成することができる。また、第２実施形態によるマルチメディア・ストリーム受信装置２００は、表２６ないし３４を参照して、開示されたサブタイトルの三次元再生のための情報を利用し、サブタイトルのページまたは領域のデプス感を調節することができる。以下、図２６及び図２７を参照して、サブタイトルのページ及び領域のデプス感を調節する方法について説明する。

図２６は、第２実施形態によるサブタイトルの領域別デプス感調節方式を図示している。

一実施形態によるサブタイトル復号化部２６００は、図２２を参照して説明したＤＶＢ通信方式によるサブタイトル処理モデルにおいて、サブタイトル復号化段階（２２４０）を変形して具現したモデルである。また、一実施形態によるサブタイトル復号化部２６００は、第２実施形態によるマルチメディア・ストリーム受信装置２００の復号化部２３０及び再生部２４０が、サブタイトルを復元し、三次元サブタイトルを構成する動作を行う細部構成要素として理解することもできる。

一実施形態によるサブタイトル処理部２６００は、前処理及びフィルタリング部（pre-processor and filter）２６１０、符号化データバッファ（coded data buffer）２６２０、高級サブタイトル処理部（enhanced subtitle processing）２６３０及び構成バッファ（composition buffer）２６４０を含む。前処理及びフィルタリング部２６１０を介して、サブタイトルＰＥＳペイロードにおいて客体データは、符号化データバッファ２６３０に出力され、領域定義セグメント、ＣＬＵＴ定義セグメント、ページ構成セグメント及び客体データセグメントなどのサブタイトル構成情報は、構成バッファ２６４０に出力されもする。一実施形態によれば、ページ構成セグメントに、表２９及び３０で例示された領域別デプス情報が収録される。

例えば、構成バッファ２６４０に、領域識別子が１である第１領域２６４２に係わる情報、領域識別子が２である第２領域２６４４に係わる情報が保存され、領域別オフセット情報（offset value per region）が含まれたページ構成２６４６に係わる情報が保存されもする。

高級サブタイトル処理部２６３０は、符号化データバッファ２６２０の客体データ及び構成バッファ２６４０の構成情報を利用してサブタイトルページを構成し、領域ごとにオフセット情報によって移動させることによって、サブタイトルのデプス感を調節することができる。例えば、二次元サブタイトルページ２６５０には、第１領域２６５２及び第２領域２６５４に、それぞれ第１客体及び第２客体が表示される。一実施形態による構成バッファ２６４０に保存されたページ構成２６４６内の領域別オフセット情報に基づいて、第１領域２６５２及び第２領域２６５４が当該オフセットほど移動される。

すなわち、左視点映像のためのサブタイトルページ２６６０で、第１領域２６５２及び第２領域２６５４が、それぞれ第１領域オフセット（offset for region １）及び第２領域オフセット（offset for region ２）ほど正の方向に移動し、第１左視点領域２６６２及び第２左視点領域２６６４に、それぞれ第１客体及び第２客体が表示されもする。類似した方式で、右視点映像のためのサブタイトルページ２６７０で、第１領域２６７２及び第２領域２６７４が、それぞれ第１領域オフセット及び第２領域オフセットほど負の方向に移動し、第１右視点領域２６７２及び第２右視点領域２６７４に、それぞれ第１客体及び第２客体が表示されもする。

デプス感が調節されるように、オフセットが適用された三次元サブタイトルページ２６６０，２６７０は、ピクセルバッファに保存されもする。

図２７は、第２実施形態によるサブタイトルのページ別デプス感調節方式を図示している。

一実施形態によるサブタイトル処理部２７００は、前処理及びフィルタリング部（pre-processor and filter）２７１０、符号化データバッファ（coded data buffer）２７２０、高級サブタイトル処理部（enhanced subtitle processor）２７３０及び構成バッファ（composition buffer）２７４０を含む。前処理及びフィルタリング部２７１０を介して、サブタイトルＰＥＳペイロードにおいて客体データは、符号化データバッファ２７３０に出力され、領域定義セグメント、ＣＬＵＴ定義セグメント、ページ構成セグメント及び客体データセグメントなどのサブタイトル構成情報は、構成バッファ２７４０に出力されもする。一実施形態によれば、前処理及びフィルタリング部２７１０により、表３１ないし３４で例示されたデプス定義セグメントのページ別デプスまたは領域別デプス情報が構成バッファ２７４０に伝えられて保存されもする。

例えば、構成バッファ２７４０に、領域識別子が１である第１領域２７４２に係わる情報、領域識別子が２である第２領域２７４４に係わる情報が保存され、表３１及び３２で例示されたデプス定義セグメントのページ別オフセット情報（offset value per page）が含まれたページ構成２７４６に係わる情報が保存されもする。

一実施形態による高級サブタイトル処理部２７３０は、符号化データバッファ２７２０の客体データ及び構成バッファ２７４０の構成情報を利用し、サブタイトルページを構成し、ページ別オフセットによってページを移動させることによって、サブタイトルのデプス感を調節することができる。例えば、二次元サブタイトルページ２７５０には、第１領域２７５２及び第２領域２７５４に、それぞれ第１客体及び第２客体が表示される。一実施形態による構成バッファ２７４０に保存されたページ構成２７４６内のページ別オフセット情報に基づいて、第１領域２７５２及び第２領域２７５４が当該オフセットほど移動可能である。

すなわち、左視点映像のためのサブタイトルページ２７６０は、二次元サブタイトルページ２７５０の位置から、正のｘ軸方向に、現在ページオフセット（offset for page）ほど移動する。これによって、第１領域２７５２及び第２領域２７５４も、正のｘ軸方向に、現在ページオフセット（offset for page）ほど移動し、第１左視点領域２７６２及び第２左視点領域２７６４に、それぞれ第１客体及び第２客体が表示されもする。

類似した方式で、右視点映像のためのサブタイトルページ２７７０は、二次元サブタイトルページ２７５０の位置から、負のｘ軸方向に、現在ページオフセット（offset for page）ほど移動する。これによって、第１領域２７５２及び第２領域２７５４も、負のｘ軸方向に、現在ページオフセット（offset for page）ほど移動し、第１右視点領域２７７２及び第２右視点領域２７７４に、それぞれ第１客体及び第２客体が表示されもする。

また、表３３及び３４で例示された一実施形態によるデプス定義セグメントの領域別オフセット情報が、構成バッファ２７４０に保存されれば、一実施形態による高級サブタイトル処理部２７３０は、領域別にオフセットが適用されたサブタイトルページを生成し、図２６を参照して説明した左視点映像のためのサブタイトルページ２６６０、及び右視点映像のためのサブタイトルページ２６７０と類似した結果物を生成することができる。

第２実施形態によるマルチメディア・ストリーム生成装置１００は、ＤＶＢサブタイトルＰＥＳパケットに、サブタイトルデータ及びサブタイトル三次元再生情報を挿入して伝送することができる。サブタイトル三次元再生情報は、三次元サブタイトルの安定した再生のために、コンテンツ提供者によって設定される。これによって、第２実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢ方式によって受信されたマルチメディアのデータストリームを受信し、ＤＶＢサブタイトルデータ及びＤＶＢサブタイトル三次元再生情報を抽出し、三次元ＤＶＢサブタイトルを構成することができる。また、第２実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢサブタイトル三次元再生情報に基づいて、三次元ビデオと三次元サブタイトルとのデプスを調節することによって、三次元ビデオ及びサブタイトル間のデプス逆転現象を含んで、視聴者に疲労感を誘発する問題点を防止することができるので、これによって、視聴者が安定した環境で三次元ビデオを鑑賞することができる。

以下、表３５ないし表４８及び図２８ないし図３４を参照して、第３実施形態によるケーブル通信方式によるサブタイトルの三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。

表３５は、ケーブル通信方式によるサブタイトルメッセージ・テーブル「subtitle message」のシンタックスを図示している。

「table＿ＩＤ」フィールドは、現在「subtitle＿message」テーブルのテーブル識別子を含む。

「section＿length」フィールドは、「section＿length」フィールドから「ＣＲＣ＿３２」フィールドまでのバイト数情報を含む。「table＿ＩＤ」フィールドから「ＣＲＣ＿３２」フィールドまでの「subtitle＿message」テーブルの最大長は、１キロバイト、すなわち１０２４バイトに該当する。「simple＿bitmap（）」フィールドのサイズによって「subtitle＿message」テーブルのサイズが１キロバイトを超える場合、「subtitle＿message」テーブルは、セグメント構造に分割される。分割されたそれぞれの「subtitle＿message」テーブルのサイズは、１キロバイトに固定され、１キロバイトにならない最後の「subtitle＿message」テーブルは、stuffing叙述子（stuffing descriptor）を利用して、残余部分が補充される。表３６は、stuffing叙述子「stuffing＿descriptor（）」フィールドのシンタックスを図示している。

「stuffing＿string＿lenght」フィールドは、スタッフィング・ストリングの長さ情報を含む。「suffing＿string」フィールドは、スタッフィング・ストリングを含み、デコーダによって復号化されない。

表３５の「subtitle message」テーブルにおいて、「ＩＳＯ＿６３９＿language＿code」フィールドからの「simple＿bitmap（）」フィールドが、「message＿body（）」セグメントから構成される。選択的には、「subtitle＿message」テーブルに「descriptor（）」フィールドが存在する場合、「message＿body（）」セグメントは、「ＩＳＯ＿６３９＿language＿code」フィールドから「descriptor（）」フィールドまで含む。セグメント総合の最大長は、４メガバイトである。

表３５の「subtitle message（）」テーブルの「segmentation＿overlay＿included」フィールドは、現在「subtitle＿message（）」テーブルがセグメントから構成されたか否かに係わる情報を含む。「table＿extension」フィールドは、デコーダが「message＿body（）」セグメントを識別できるように割り当てられる固有情報を含む。「last＿segment＿number」フィールドは、サブタイトルの全体メッセージ映像を完成するための最後のセグメントの識別情報を含む。「segment＿number」フィールドは、現在セグメントの識別番号を含む。セグメントの識別情報は、０〜４０９５の範囲で割り当てられる。

表３５の「subtitle＿message（）」テーブルの「protocol＿version」フィールドは、既存プロトコル・バージョンと根本的に構造が変更される場合、新規プロトコル・バージョン情報を含む。「ＩＳＯ＿６３９＿language＿code」フィールドは、所定規格による言語コード情報を含む。「ｐｒｅ＿clear＿display」フィールドは、現在サブタイトルテキストを再生する前に、全体スクリーンを透明に処理するか否かに係わる情報を含む。「immediate」フィールドは、現在サブタイトルテキストを「display＿ｉｎ＿ＰＴＳ」フィールド値による再生視点ではない、受信後すぐに画面上に再生するか否かに係わる情報を含む。

「display＿standard」フィールドは、サブタイトルが再生されるディスプレイ規格情報を含む。表３７は「display＿standard」フィールドの内容を図示している。

すなわち、「display＿standard」フィールドによって、ディスプレイ規格が、「解像度７２０ｘ４８０及び秒当たり３０フレーム」、「解像度７２０ｘ５７６及び秒当たり２５フレーム」、「解像度１２８０ｘ７２０及び秒当たり６０フレーム」及び「解像度１９２０ｘ１０８０及び秒当たり６０フレーム」のうち、いずれのディスプレイ規格が現在サブタイトルに適するか設定される。

表３５の「subtitle＿message（）」テーブルの「display＿ｉｎ＿ＰＴＳ」フィールドは、サブタイトルが再生されるプログラム参照時間情報を含む。このような絶対的表現方式による時間情報をインキュータイム（in-cue time）という。「immediate」フィールドに基づいて、サブタイトルが直ちに画面に再生される場合、すなわち「immediate」フィールド値が「１」に設定された場合、デコーダは、「display＿ｉｎ＿ＰＴＳ」フィールド値を利用しない。

現在「subtitle＿message（）」テーブル以後に再生されるインキュータイム情報を有した「subtitle＿message（）」テーブルがデコーダに受信されれば、デコーダは、再生待機中であるサブタイトル・メッセージを廃棄することができる。「immediate」フィールド値が「１」に設定された場合、再生待機中であるあらゆるサブタイトル・メッセージが廃棄される。もしデコーダによって、サービスのためのＰＣＲ情報に不連続現象が発生すれば、再生待機中であるあらゆるサブタイトル・メッセージが廃棄される。

「display＿duration」フィールドは、サブタイトル・メッセージが表示される持続時間を、ＴＶのフレーム番号で表示した情報を含む。従って、「display＿duration」フィールド値は、「display＿standard」フィールドで定義されたフレームレートと関連する。「display＿duration」フィールド値の持続時間によって、インキュータイムに持続時間が加えられた時間を意味するアウトキュータイム（out-cue time）が決定される。アウトキューフレームタイムに達すれば、インキュータイムに画面に表示されたサブタイトル・ビットマップは消される。

「subtitle＿type」フィールドは、現在サブタイトルデータのフォーマット情報を含む。表３８によれば、「subtitle＿type」フィールド値が１である場合、現在サブタイトルデータは、シンプルビットマップ・フォーマットであることを意味する。

「block＿length」フィールドは、「simple＿bitmap（）」フィールドまたは「reserved（）」フィールドの長さ情報を含む。

「simple＿bitmap（）」フィールドは、サブタイトルのビットマップ・フォーマット情報を含む。まず、図２８を参照して、ビットマップ・フォーマットの構造について述べる。

図２８は、ケーブル放送方式によるサブタイトルのビットマップ・フォーマットの構成要素を図示している。

ビットマップ・フォーマットのサブタイトルは、一つ以上の圧縮ビットマップイメージから構成される。それぞれのビットマップイメージは、選択的に四角形の背景フレームを有することができる。例えば、第１ビットマップ２８１０は、背景フレーム２８００を有する。座標系の基準点（０，０）が、左側上端に設定される場合、第１ビットマップ２８１０の座標及び背景フレーム２８００の座標間に、以下の４種の関係式が成立しうる。

１．背景フレーム２８００の上端水平座標値（Ｆ_ＴＨ）は、第１ビットマップ２８１０の上端水平座標値（Ｂ_ＴＨ）より小さいか、あるいは同じである（Ｆ_ＴＨ≦Ｂ_ＴＨ）。

２．背景フレーム２８００の上端垂直座標値（Ｆ_ＴＶ）は、第１ビットマップ２８１０の上端垂直座標値（Ｂ_ＴＶ）より小さいか、あるいは同じである（Ｆ_ＴＶ≦Ｂ_ＴＶ）。

３．背景フレーム２８００の下端水平座標値（Ｆ_ＢＨ）は、第１ビットマップ２８１０の下端水平座標値（Ｂ_ＢＨ）より大きいか、あるいは同じである（Ｆ_ＢＨ≧Ｂ_ＢＨ）。

４．背景フレーム２８００の下端垂直座標値（Ｆ_ＢＶ）は、第１ビットマップ２８１０の下端垂直座標値（Ｂ_ＢＶ）より大きいか、あるいは同じである（Ｆ_ＢＶ≧Ｂ_ＢＶ）。

ビットマップ・フォーマットのサブタイトルは、アウトライン２８２０とドロップシャドー２８３０とを有することができる。アウトライン２８２０は、０〜１５の範囲で、多様な厚みに定義される。ドロップシャドー２８３０は、右側シャドー（Ｓｒ：shadow right）及び下端シャドー（Ｓｂ：shadow bottom；Ｓｂ）に定義され、右側シャドーＳｒ及び下端シャドーＳｂがそれぞれ０〜１５の範囲で、多様な厚みに定義される。

表３９は、ビットマップ・フォーマット情報「simple＿bitmap（）」フィールドのシンタックスを図示している。

「simple＿bitmap（）」フィールドでは、ビットマップの座標値（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）が設定される。

また「simple＿bitmap（）」フィールドでは、「background＿style」フィールドに基づいて、背景フレームが存在するならば、背景フレームの座標値（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate，frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）が設定される。

また、「simple＿bitmap（）」フィールドでは、「outline＿style」フィールドに基づいて、アウトラインが存在するならば、アウトラインの厚み値（outline＿thickness）が設定される。また、「outline＿style」フィールドに基づいて、ドロップシャドーが存在するならば、ドロップシャドーの右側シャドー及び下端シャドーの厚み値（shadow＿right，shadow＿bottom）が設定される。

「simple＿bitmap（）」フィールドは、サブタイトル文字の色相情報を含む「character＿color（）」フィールド、サブタイトル背景フレームの色相情報を含む「frame＿color（）」フィールド、サブタイトル・アウトラインの色相情報を含む「outline＿color（）」フィールド及びサブタイトルドロップシャドーの色相情報を含む「shadow＿color（）」フィールドを含んでもよい。

表４０は、各種「color（）」フィールドのシンタックスを図示している。

１スクリーン上にサブタイトル再生のために表現可能な色相は、最大１６種類である。色相情報は、Ｙ，Ｃｒ，Ｃｂ色相要素別に設定され、色相コードは、それぞれ０〜３１の範囲で決定される。

「opaque＿enable」フィールドは、サブタイトル色相の透明度情報を含む。「opaque＿enable」ビットに基づいて、サブタイトル色相が不透明であるか、あるいはビデオ色相と５０：５０でブレンドされるように表現可能である。

図２９は、ケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデルのフローチャートを図示している。

ケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデル２９００によれば、ＰＩＤフィルタリング（ＰＩＤ filtering）段階（２９１０）は、サブタイトル・メッセージが含まれたＴＳ（ＭＰＥＧ−２ ＴＳ carrying subtitle messages）が入力されれば、サブタイトル・メッセージが含まれたＴＳパケットをギャザリングし、トランスポート・バッファに出力する。トランスポート・バッファリング（transport buffer）段階（２９２０）は、サブタイトル・セグメントが含まれたＴＳパケットを保存する。

逆パケット化及び逆セグメント化（depacketization and desegmeatation）段階（２９３０）は、ＴＳパケットからサブタイトル・セグメントを抽出し、入力バッファリング（input buffer）段階（２９４０）は、サブタイトル・セグメントを保存し、サブタイトル・セグメントをギャザリングする。圧縮復元及びレンダリング（decompression and rendering）段階（２９５０）は、サブタイトル・セグメントからサブタイトルデータを復元してレンダリングし、ディスプレイキューイング（display queueing）段階（２９６０）は、レンダリングされたサブタイトルデータ及びサブタイトルの再生関連情報をディスプレイキューに保存する。

ディスプレイキューに保存されたサブタイトルデータは、サブタイトルの再生関連情報に基づいて、画面上の所定領域に配置されてサブタイトルから構成され、サブタイトルは、所定時点で、ＴＶなどのディスプレイ機器のグラフィックプレーン（graphic plane）（２９７０）に移動する。これによって、ディスプレイ機器は、ビデオ映像と共に、サブタイトルを再生することができる。

図３０は、ケーブル放送方式によるサブタイトル処理モデルを介して、サブタイトルがディスプレイキューからグラフィック平面に出力される過程を図示している。

ディスプレイキュー３０００に、サブデータメッセージ別に第１ビットマップデータ及び再生関連情報３０１０、及び第２ビットマップデータ及び再生関連情報３０２０が保存される。再生情報は、ビットマップがスクリーン上に表示され始める開始時間情報（display＿in＿ＰＴＳ）、持続時間情報（display＿duration）、ビットマップ座標情報を含む。ビットマップ座標情報は、ビットマップの左側上端ピクセルの座標値、及び右側下端ピクセルの座標値を含む。

ディスプレイキュー３０００に保存された情報に基づいて構成されたサブタイトルは、再生情報に基づいた時間情報によって、ピクセルバッファ（グラフィックプレーン）３０７０に保存される。例えば、第１ビットマップデータ及び再生関連情報３０１０及び第２ビットマップデータ及び再生関連情報３０２０に基づいて、ＰＴＳ単位時間４であるとき、第１ビットマップデータが当該座標の位置３０４０に表示されたサブタイトル３０３０が、ピクセルバッファ３０７０に保存される。また、ＰＴＳ単位時間５であるとき、第１ビットマップデータが当該座標位置３０４０に表示され、第２ビットマップデータが当該座標位置３０６０に表示されたサブタイトル３０５０が、ピクセルバッファ３０７０に保存される。

表３５ないし表４０及び図２８ないし図３０を参照して説明したケーブル通信方式によるサブタイトルを基に、サブタイトルの三次元再生のために変更された第３実施形態によるマルチメディア・ストリーム生成装置１００、及び第３実施形態によるマルチメディア・ストリーム受信装置２００の動作について、以下、表４１ないし４８及び図３１ないし図３４を参照して説明する。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブルサブタイトルの三次元再生のための情報を、サブタイトルＰＥＳパケットに挿入してもよい。第３実施形態によるケーブルサブタイトルの三次元再生のための情報は、サブタイトルに係わるデプス、変異またはオフセットについての情報を含んでもよい。

また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、ケーブル通信方式を介して受信されたＴＳから、ＰＩＤ情報が同じサブタイトルＰＥＳパケットをギャザリングし、ケーブルサブタイトルの三次元再生のための情報を抽出し、ケーブルサブタイトルの三次元再生のための情報を利用し、二次元サブタイトルを三次元サブタイトルに変更して再生することができる。

図３１は、第３実施形態によるケーブル放送方式によるサブタイトルの三次元再生のためのサブタイトル処理モデルのフローチャートを図示している。

第３実施形態によるサブタイトル処理モデル３１００の、ＰＩＤフィルタリング段階（PID filtering）（３１１０）、トランスポート・バッファリング段階（transport buffering）（３１２０）、逆パケット化及び逆セグメント化段階（depacketization and desegmentation）（３１３０）、入力バッファリング段階（input buffering）（３１４０）、圧縮復元及びレンダリング段階（decompression and rendering）（３１５０）及びディスプレイキューイング段階（display queuing）（３１６０）を介して、ケーブル放送方式によるサブタイトルデータ及びサブタイトル再生関連情報が復元される過程は、図２９を参照して説明したサブタイトル処理モデル２９００の段階２９１０から段階２９６０までの動作と類似している。ただし、ディスプレイキューイング段階（３１６０）で、サブタイトルの三次元再生のための情報が追加してディスプレイキューに保存されもする。

第３実施形態による三次元サブタイトル変換段階（３Ｄ subtitle converting）（３１８０）は、ディスプレイキューイング段階（３１６０）で保存されたサブタイトルデータ及びサブタイトルの三次元再生のための情報を含むサブタイトル再生関連情報に基づいて、三次元で再生することができる三次元サブタイトルを構成することができる。三次元サブタイトルは、ディスプレイ機器のグラフィック平面（graphic plane）３１７０に出力されもする。

第３実施形態によるサブタイトル処理モデル３１００は、第３実施形態によるマルチメディア・ストリーム受信装置２００のサブタイトル処理動作を具現するために適用されてもよい。特に、三次元サブタイトル転換（３Ｄ subtitle converter）段階（３１８０）は、第３実施形態による再生部２４０の三次元サブタイトル処理動作に相応しうる。

以下、第３実施形態によるマルチメディア・ストリーム生成装置１００が、サブタイトルの三次元再生のための情報を伝送するための具体的な実施形態、及び第３実施形態によるマルチメディア・ストリーム受信装置２００が、サブタイトルの三次元再生のための情報を利用し、三次元サブタイトルを再生する具体的な実施形態について説明する。

第３実施形態によるマルチメディア・ストリーム生成装置１００のプログラム符号化部１１０は、サブタイトルＰＥＳパケット内のサブタイトル・メッセージ「subtitle＿message（）」フィールドを利用し、サブタイトルの三次元再生のための情報を挿入してもよい。また、第２実施形態によるプログラム符号化部１１０は、サブタイトルのデプスを定義するための叙述子またはサブタイトルタイプを新たに定義し、ＰＥＳパケットに挿入してもよい。

表４１及び４２は、それぞれ、第３実施形態によるプログラム符号化部１１０によって、ケーブルサブタイトルのデプス情報が含まれるように変形された、「simple＿bitmap（）」フィールド及び「subtitle＿message（）」フィールドのシンタックスを例示している。

第３実施形態によるプログラム符号化部１１０は、表３９の「simple＿bitmap（）」フィールド内の「reserved（）」フィールド位置に、表４１によって、「３ｄ＿subtitle＿offset」フィールドを挿入してもよい。「３ｄ＿subtitle＿offset」フィールドは、サブタイトルの三次元再生のための左視点映像のためのビットマップ、及び右視点映像のためのビットマップを生成するために、水平座標軸を基準に、ビットマップを移動させる変位を示すオフセット情報を含んでもよい。「３ｄ＿subtitle＿offset」フィールドのオフセット値は、サブタイトル文字と背景フレームとにいずれも同一に適用されてもよい。

第３実施形態によるプログラム符号化部１１０は、表３５の「subtitle＿message（）」フィールド内の「reserved（）」フィールドを代替し、「３ｄ＿subtitle＿direction」フィールドを挿入してもよい。「３ｄ＿subtitle＿direction」フィールドは、サブタイトルの三次元再生のための左視点映像のためのビットマップ、及び右視点映像を生成するためのオフセットの方向情報を含んでもよい。負の方向のオフセットがサブタイトルに適用されれば、サブタイトルをＴＶ画面より前に飛び出して見せ、正の方向のオフセットによれば、サブタイトルがＴＶ画面より後に入り込んで見える現象が生じる。

オフセットの方向性による特徴を利用し、第３実施形態による再生部２４０は、左視点サブタイトルを基準にオフセットを適用し、右視点サブタイトルを生成することができる。すなわち、「３ｄ＿subtitle＿direction」フィールド値が負の方向を示す場合、第３実施形態による再生部２４０は、左視点サブタイトルのｘ座標値から、オフセット値ほど差し引いた値を右視点サブタイトルのｘ座標値に決定することができる。類似した方式で、「３ｄ＿subtitle＿direction」フィールド値が正の方向を示す場合、第３実施形態による再生部２４０は、左視点サブタイトルのｘ座標値から、オフセット値ほど加えた値を右視点サブタイトルのｘ座標値に決定することができる。

図３２は、第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節する一実施形態を図示している。

第３実施形態によるマルチメディア・ストリーム受信装置２００が、第３実施形態によるサブタイトル・メッセージが含まれたＴＳを受信し、ＴＳを逆多重化し、サブタイトルＰＥＳパケットからサブタイトルデータ及びサブタイトル再生関連情報を抽出する。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４１のビットマップフィールドから、サブタイトルのビットマップ座標関連情報、フレーム座標関連情報及びビットマップデータを抽出することができる。また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４１のビットマップフィールドの下位フィールド「３ｄ＿subtitle＿offset」から、三次元サブタイトル・オフセット情報を抽出することができる。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４２のサブタイトル・メッセージ・テーブルから、サブタイトル再生時間関連情報を抽出することができ、また、サブタイトル・メッセージ・テーブルの下位フィールド「３ｄ＿subtitle＿offset＿direction」から、三次元サブタイトル・オフセット方向情報を抽出することができる。

これによって、ディスプレイキュー３２００に、サブタイトル再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、三次元サブタイトル・オフセット情報（３ｄ＿subtitle＿offset）、オフセット方向情報（３ｄ＿subtitle＿direction）、サブタイトルのビットマップ座標情報（Ｂ_ＴＨ，Ｂ_ＴＶ，Ｂ_ＢＨ，Ｂ_ＢＶ）、及びサブタイトルの背景フレーム座標情報（Ｆ_ＴＨ，Ｆ_ＴＶ，Ｆ_ＢＨ，Ｆ_ＢＶ）を含むサブタイトル再生関連情報、並びにサブタイトルデータから構成されたサブタイトル情報セット３２１０が保存されもする。

三次元サブタイトル転換段階（３１８０）を介して、第３実施形態による再生部２４０は、ディスプレイキュー３２００に保存されたサブタイトル再生関連情報に基づいて、サブタイトルが配置されたサブタイトル構成画面が構成され、グラフィック平面３２７０上に、サブタイトルの構成画面が保存される。

ピクセルバッファまたはグラフィック平面３２７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元サブタイトル平面３２２０が保存されもする。サイドバイサイド・フォーマットは、ｘ軸に沿って解像度が半分に低減するので、三次元サブタイトル３２２０を生成するために、ディスプレイキュー３２００に保存されたサブタイトル再生関連情報のうち、基準視点サブタイトルのためのｘ軸座標値、及びサブタイトルのオフセット値を半分にして利用することが望ましい。左視点サブタイトル３２５０及び右視点サブタイトル３２６０のｙ座標値は、ディスプレイキュー３２００に保存されたサブタイトル再生関連情報のうち、サブタイトルのｙ座標値と同一である。

例えば、ディスプレイキュー３２００に、サブタイトル再生関連情報において、サブタイトル再生時間関連情報として、「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、三次元サブタイトル・オフセット情報として、「３ｄ＿subtitle＿offset＝１０」、三次元サブタイトル・オフセット方向情報として、「３ｄ＿subtitle＿direction＝１」、サブタイトルのビットマップ座標情報として、「（Ｂ_ＴＨ，Ｂ_ＴＶ）＝（３０，３０）」及び「（Ｂ_ＢＨ，Ｂ_ＢＶ）＝（６０，４０）」、サブタイトルの背景フレーム座標情報として、「（Ｆ_ＴＨ，Ｆ_ＴＶ）＝（２０，２０）」及び「（Ｆ_ＢＨ，Ｆ_ＢＶ）＝（７０，５０）」が保存されている。

ピクセルバッファ３２７０に保存されるサイドバイサイド・フォーマットの三次元サブタイトル平面３２２０は、左視点サブタイトル平面３２３０及び右視点サブタイトル平面３２４０から構成される。左視点サブタイトル平面３２３０及び右視点サブタイトル平面３２４０の横解像度は、原本解像度に比べて、半分に低減し、左視点サブタイトル平面３２３０の原点座標が、「（Ｏ_ＨＬ，Ｏ_ＶＬ）＝（０，０）」であるならば、右視点サブタイトル平面３２４０の原点座標は、「（Ｏ_ＨＲ，Ｏ_ＶＲ）＝（１００，０）」である。

このとき、左視点サブタイトル３２５０のビットマップ及び背景フレームのｘ座標値も半分に縮小される。すなわち、左視点サブタイトル３２５０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＬ及び右側下端地点のｘ座標値Ｂ_ＢＨＬ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＬ及び右側下端地点のｘ座標値Ｆ_ＢＨＬは、それぞれ以下関係式（１），（２），（３）及び（４）によって決定される。

（１）Ｂ_ＴＨＬ＝Ｂ_ＴＨ／２；（２）Ｂ_ＢＨＬ＝Ｂ_ＢＨ／２；
（３）Ｆ_ＴＨＬ＝Ｆ_ＴＨ／２；（４）Ｆ_ＢＨＬ＝Ｆ_ＢＨ／２
従って、左視点サブタイトル３２５０のビットマップのｘ座標値Ｂ_ＴＨＬ，Ｂ_ＢＨＬ，Ｆ_ＴＨＬ及びＦ_ＢＨＬは、それぞれ（１）Ｂ_ＴＨＬ＝Ｂ_ＴＨ／２＝３０／２＝１５；（２）Ｂ_ＢＨＬ＝Ｂ_ＢＨ／２＝６０／２＝３０；（３）Ｆ_ＴＨＬ＝Ｆ_ＴＨ／２＝２０／２＝１０；（４）Ｆ_ＢＨＬ＝Ｆ_ＢＨ／２＝７０／２＝３５に決定される。

また、右視点サブタイトル３２６０のビットマップ及び背景フレームの横軸解像度も、半分に縮小される。右視点サブタイトル３２６０のビットマップ及び背景フレームのｘ座標値は、右視点サブタイトル平面３２４０の原点（Ｏ_ＨＲ，Ｏ_ＶＲ）を基準に設定される。これによって、右視点サブタイトル３２６０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＲ及び右側下端地点のｘ座標値Ｂ_ＢＨＲ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＲ及び右側下端地点のｘ座標値Ｆ_ＢＨＲは、それぞれ以下関係式（５），（６），（７）及び（８）によって決定される。

（５）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋Ｂ_ＴＨＬ±（３ｄ＿subtitle＿offset／２）；
（６）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋Ｂ_ＢＨＬ±（３ｄ＿subtitle＿offset／２）；
（７）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋Ｆ_ＴＨＬ±（３ｄ＿subtitle＿offset／２）；
（８）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋Ｆ_ＢＨＬ±（３ｄ＿subtitle＿offset／２）
すなわち、右視点サブタイトル３２６０のビットマップ及び背景フレームのｘ座標値は、右視点サブタイトル平面３２４０の原点（Ｏ_ＨＲ，Ｏ_ＶＲ）を基準に、対応する左視点サブタイトル３２５０のｘ座標値ほど正の方向に移動した位置で、三次元サブタイトル・オフセットほど負の方向または正の方向に移動した位置に設定される。この場合、三次元サブタイトル・オフセット方向情報として、「３ｄ＿subtitle＿direction＝１」であるから、三次元サブタイトル・オフセット方向は、負の方向である。

従って、右視点サブタイトル３２６０のビットマップ及び背景フレームのｘ座標値Ｂ_ＴＨＬ，Ｂ_ＢＨＬ，Ｆ_ＴＨＬ及びＦ_ＢＨＬは、それぞれ（５）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋Ｂ_ＴＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋１５−５＝１１０；（６）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋Ｂ_ＢＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋３０−５＝１２５；（７）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋Ｆ_ＴＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋１０−５＝１０５；（８）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋Ｆ_ＢＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋３５−５＝１３０に決定される。

これによって、左視点サブタイトル３２５０及び右視点サブタイトル３２６０が、それぞれサブタイトル平面３２３０，３２４０上で、ｘ軸方向にオフセットほど移動した位置に表示された三次元サブタイトルを利用し、ディスプレイ機器は、三次元サブタイトルを三次元で再生することができる。

また、第２実施形態によるプログラム符号化部１１０は、サブタイトルのデプスを定義するための叙述子及びサブタイトルタイプを新たに定義し、ＰＥＳパケットに挿入してもよい。

表４３は、第３実施形態によるプログラム符号化部１１０によって新たに定義されたサブタイトルデプス叙述子「subtitle＿depth＿descriptor（）」フィールドのシンタックスを例示している。

一実施形態によるサブタイトルデプス叙述子（「subtitle＿depth＿descriptor（））は、サブタイトルのうち、文字のオフセット方向情報（「character＿offset＿directoin」）、文字のオフセット情報（「character＿offset」）、サブタイトルのうち背景フレームのオフセット方向情報（「frame＿offset＿direction」）、及び背景フレームのオフセット情報（「frame＿offset」）を含んでもよい。

また、一実施形態によるサブタイトルデプス叙述子（「subtitle＿depth＿descriptor（）」）は、サブタイトルの文字または背景フレームのオフセットが、基本平面を基準に設定されたか、あるいはビデオ客体の変異を基準に設定されたかを示す情報（「offset＿based」）を選択的に含んでもよい。

図３３は、第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節する他の実施形態を図示している。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４１のビットマップフィールドから、サブタイトルのビットマップ座標関連情報、フレーム座標関連情報及びビットマップデータを抽出し、表４２のサブタイトル・メッセージ・テーブルから、サブタイトル再生時間関連情報を抽出することができる。また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、表４３のサブタイトルデプス叙述子フィールドから、サブタイトルのうち文字のオフセット方向情報（「character＿offset＿direction」）、文字のオフセット情報（「character＿offset」）、サブタイトルのうち背景フレームのオフセット方向情報（「frame＿offset＿direction」）、及び背景フレームのオフセット情報（「frame＿offset」）をを抽出することができる。

これによって、ディスプレイキュー３３００に、サブタイトル再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、サブタイトルのうち文字のオフセット方向情報（character＿offset＿direction）、文字のオフセット情報（character＿offset）、サブタイトルのうち背景フレームのオフセット方向情報（frame＿offset＿direction）、及び背景フレームのオフセット情報（frame＿offset）を含むサブタイトル再生関連情報、並びにサブタイトルデータから構成されたサブタイトル情報セット３３１０が保存されもする。

例えば、ディスプレイキュー３３００に、サブタイトル再生関連情報において、サブタイトル再生時間関連情報として、「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、サブタイトルのうち文字のオフセット方向情報「character＿offset＿directoin＝１」、文字のオフセット情報として、「character＿offset＝１０」、サブタイトルのうち背景フレームのオフセット方向情報として、「frame＿offset＿direction＝１」及び背景フレームのオフセット情報「frame＿offset＝４」、サブタイトルのビットマップ座標情報として、「（Ｂ_ＴＨ，Ｂ_ＴＶ）＝（３０，３０）」及び「（Ｂ_ＢＨ，ＢＢＶ）＝（６０，４０）」、サブタイトルの背景フレーム座標情報として、「（Ｆ_ＴＨ，Ｆ_ＴＶ）＝（２０，２０）」及び「（Ｆ_ＢＨ，Ｆ_ＢＶ）＝（７０，５０）」が保存されている。

三次元サブタイトル転換段階（３１８０）を介して、ピクセルバッファまたはグラフィック平面３３７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元サブタイトル平面３３２０が保存されもする。

図３２を介して説明したところと類似した方式で、ピクセルバッファに保存されるサイドバイサイド・フォーマットの三次元サブタイトル平面３３２０において、左視点サブタイトル平面３３３０上の左視点サブタイトル３３５０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＬ及び下端地点のｘ座標値Ｂ_ＢＨＬ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＬ及び右側下端地点のｘ座標値Ｆ_ＢＨＬは、それぞれ（９）Ｂ_ＴＨＬ＝Ｂ_ＴＨ／２＝３０／２＝１５；（１０）Ｂ_ＢＨＬ＝Ｂ_ＢＨ／２＝６０／２＝３０；（１１）Ｆ_ＴＨＬ＝Ｆ_ＴＨ／２＝２０／２＝１０；（１２）Ｆ_ＢＨＬ＝Ｆ_ＢＨ／２＝７０／２＝３５に決定される。

また、三次元サブタイトル平面３３２０において、右視点サブタイトル平面３３４０上の右視点サブタイトル３３６０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＲ及び右側下端地点のｘ座標値Ｂ_ＢＨＲ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＲ及び右側下端地点のｘ座標値Ｆ_ＢＨＲは、それぞれ以下関係式（１３），（１４），（１５）及び（１６）によって決定される。

（１３）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋Ｂ_ＴＨＬ±（character＿offset／２）；
（１４）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋Ｂ_ＢＨＬ±（character＿offset／２）；
（１５）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋Ｆ_ＴＨＬ±（frame＿offset／２）；
（１６）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋Ｆ_ＢＨＬ±（frame＿offset／２）
この場合、三次元サブタイトル・オフセット方向情報として、「character＿offset＿direction＝１」及び「frame＿offset＿direction＝１」であるから、三次元サブタイトル・オフセット方向は、負の方向である。

従って、右視点サブタイトル３３６０のビットマップ及び背景フレームのｘ座標値Ｂ_ＴＨＬ，Ｂ_ＢＨＬ，Ｆ_ＴＨＬ及びＦ_ＢＨＬは、それぞれ（１３）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋Ｂ_ＴＨＬ−（character＿offset／２）＝１００＋１５−５＝１１０；（１４）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋Ｂ_ＢＨＬ−（character＿offset／２）＝１００＋３０−５＝１２５；（１５）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋Ｆ_ＴＨＬ−（frame＿offset／２）＝１００＋１０−２＝１０８；（１６）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋Ｆ_ＢＨＬ−（frame＿offset／２）＝１００＋３５−２＝１３３に決定される。

これによって、左視点サブタイトル３３５０及び右視点サブタイトル３３６０が、それぞれサブタイトル平面３３３０，３３４０上で、ｘ軸方向にオフセットほど移動した位置に配置した三次元サブタイトル３３２０を利用し、三次元ディスプレイ機器は、サブタイトルを三次元で再生することができる。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブルサブタイトルタイプであり、サブタイトルの三次元再生のために、付加視点のためのサブタイトルタイプを追加して設定することができる。表４４は、第３実施形態によるマルチメディア・ストリーム生成装置１００によって変形されたサブタイトルタイプのテーブルを例示している。

表４４のサブタイトルタイプの変形例にによれば、第３実施形態によるマルチメディア・ストリーム生成装置１００は、表３８のサブタイトルタイプの基本テーブルにおいて、サブタイトルタイプ・フィールド値が、「２〜１５」範囲である保留領域（reserved）を利用し、サブタイトルタイプ・フィールド値「２」に、サブタイトルの三次元再生のための付加視点サブタイトルタイプ「subtitle＿another＿view」を追加して割り当てることができる。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、表４４のサブタイトルタイプの変形例にに基づいて、表３５の基本サブタイトル・メッセージ・テーブルを変形することができる。表４５は、サブタイトル・メッセージ・テーブル「subititle＿message（）」の変形例のシンタックスを示している。

すなわち、サブタイトル・メッセージ・テーブルの変形例は、サブタイトルタイプが「subtitle＿another＿view」である場合、付加視点サブタイトル情報を設定するための「subtitle＿another＿view（）」フィールドを追加して含んでもよい。表４６は、一実施形態による「subtitle＿another＿view（）」フィールドのシンタックスを示している。

一実施形態による「subtitle＿another＿view（）」フィールドは、付加視点のためのサブタイトルのビットマップの座標情報（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）を含んでもよい。また、一実施形態による「subtitle＿another＿view（）」フィールドは、「background＿style」フィールドに基づいて、付加視点のためのサブタイトルの背景フレームが存在するならば、付加視点のためのサブタイトルの背景フレームの座標情報（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate、frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）を含んでもよい。

また、第３実施形態によるマルチメディア・ストリーム生成装置１００は、付加視点のためのサブタイトルのビットマップ関連座標情報、及び背景フレーム関連情報だけではなく、アウトラインが存在するならば、アウトラインの厚み情報（outline＿thickness）、ドロップシャドーが存在するならば、ドロップシャドーの右側シャドー及び左側シャドーの厚み情報（shadow＿right，shadow＿bottom）を一実施形態による「subtitle＿another＿view（）」フィールドに含めることができる。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、「subtitle＿another＿view（）」フィールドから、サブタイトルのビットマップの座標情報及び背景フレームの座標情報だけを抽出して利用することによって、データ処理量を減らすこともできる。

図３４は、第３実施形態によって、ケーブル放送方式によるサブタイトルのデプス感を調節するさらに他の実施形態を図示している。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、サブタイトルタイプ「subtitle＿another＿view（）」を考慮するように変形された表４５のサブタイトル・メッセージ・テーブルから、サブタイトル再生時間関連情報を抽出し、表４６の「subtitle＿another＿view（）」フィールドから、付加視点サブタイトルのビットマップ座標情報、フレーム座標情報及びビットマップデータを抽出することができる。

これによって、ディスプレイキュー３４００に、サブタイトル再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、付加視点のためのサブタイトルのビットマップの座標情報（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）、及び付加視点のためのサブタイトルの背景フレームの座標情報（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate，frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）を含むサブタイトル再生関連情報、並びにサブタイトルデータから構成されたサブタイトル情報セット３４１０が保存されもする。

例えば、ディスプレイキュー３４００に、サブタイトル再生関連情報において、サブタイトル再生時間関連情報として、「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、付加視点サブタイトルのビットマップ座標情報として、「bitmap＿top＿Ｈ＿coordinate＝２０」、「bitmap＿top＿Ｖ＿coordinate＝３０」、「bitmap＿bottom＿Ｈ＿coordinate＝５０」、「bitmap＿bottom＿Ｖ＿coordinate＝４０」、及び付加視点サブタイトルの背景フレーム座標情報として、「frame＿top＿Ｈ＿coordinate＝１０」、「frame＿top＿Ｖ＿coordinate＝２０」、「frame＿bottom＿Ｈ＿coordinate＝６０」、「frame＿bottom＿Ｖ＿coordinate＝５０」を含むサブタイトル再生関連情報、サブタイトルのビットマップ座標情報として、「（Ｂ_ＴＨ，Ｂ_ＴＶ）＝（３０，３０）」及び「（Ｂ_ＢＨ，Ｂ_ＢＶ）＝（６０，４０）」、サブタイトルの背景フレーム座標情報として、「（Ｆ_ＴＨ，Ｆ_ＴＶ）＝（２０，２０）」及び「（Ｆ_ＢＨ，Ｆ_ＢＶ）＝（７０，５０）」が保存されている。

三次元サブタイトル転換段階（３１８０）を介して、ピクセルバッファまたはグラフィック平面３４７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元サブタイトル平面３４２０が保存されもする。図３２を介して説明したところと類似した方式で、ピクセルバッファに保存されるサイドバイサイド・フォーマットの三次元サブタイトル平面３４２０において、左視点サブタイトル平面３４３０上の左視点サブタイトル３４５０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＬ及び右側下端地点のｘ座標値Ｂ_ＢＨＬ、背景フレームの左側上端地点のｘ座標値Ｆ_ＴＨＬ及び右側下端地点のｘ座標値Ｆ_ＢＨＬは、それぞれ（１７）Ｂ_ＴＨＬ＝Ｂ_ＴＨ／２＝３０／２＝１５；（１８）Ｂ_ＢＨＬ＝Ｂ_ＢＨ／２＝６０／２＝３０；（１９）Ｆ_ＴＨＬ＝Ｆ_ＴＨ／２＝２０／２＝１０；（２０）Ｆ_ＢＨＬ＝Ｆ_ＢＨ／２＝７０／２＝３５に決定される。

また、三次元サブタイトル平面３４２０において、右視点サブタイトル平面３４４０上の右視点サブタイトル３４６０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＲ及び右側下端地点のｘ座標値Ｂ_ＢＨＲ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＲ及び右側下端地点のｘ座標値Ｆ_ＢＨＲは、それぞれ下記関係式（２１），（２２），（２３）及び（２４）によって決定される。

（２１）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋bitmap＿top＿Ｈ＿coordinate／２；
（２２）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋bitmap＿bottom＿Ｈ＿coordinate／２；
（２３）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋frame＿top＿Ｈ＿coordinate／２；
（２４）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋frame＿bottom＿Ｈ＿coordinate／２
従って、右視点サブタイトル３４６０のビットマップのｘ座標値Ｂ_ＴＨＬ，Ｂ_ＢＨＬ、Ｆ_ＴＨＬ及びＦ_ＢＨＬは、それぞれ（２１）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋bitmap＿top＿Ｈ＿coordinate／２＝１００＋１０＝１１０；（２２）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋bitmap＿bottom＿Ｈ＿coordinate／２＝１００＋２５＝１２５；（２３）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋frame＿top＿Ｈ＿coordinate／２＝１００＋５＝１０５；（２４）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋frame＿bottom＿Ｈ＿coordinate／２＝１００＋３０＝１３０に決定される。

これによって、左視点サブタイトル３４５０及び右視点サブタイトル３４６０がそれぞれサブタイトル平面３４３０，３４４０上で、ｘ軸方向にオフセットほど移動した位置に配置した三次元サブタイトル３４２０を利用し、三次元ディスプレイ機器は、サブタイトルを三次元で再生することができる。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブルサブタイトルタイプであり、サブタイトルの三次元効果のためのサブタイトル変異タイプを追加して設定される。表４７は、第３実施形態によるマルチメディア・ストリーム生成装置１００によって、サブタイトル変異タイプが追加されるように変形されたサブタイトルタイプのテーブルを例示している。

表４７のサブタイトルタイプの変形例によれば、第３実施形態によるマルチメディア・ストリーム生成装置１００は、表３８のサブタイトルタイプの基本テーブルにおいて保留領域を利用し、サブタイトルタイプ・フィールド値「２」に、サブタイトル変異タイプ「subtitle＿disparity」を追加して割り当てることができる。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、表４７のサブタイトルタイプの変形例に基づいて、サブタイトル変異フィールドを新たに設定することができる。表４８は、一実施形態によるサブタイトル変異フィールド「subtitle＿disparity（）」のシンタックスを示している。

表４８によれば一実施形態によるサブタイトル変異フィールドは、左視点サブタイトル及び右視点サブタイトル間の変異情報を含む「disparity」フィールドを含む。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、新たに設定されたサブタイトルタイプ「subtitle＿disparity」を考慮するように変形されたサブタイトル・メッセージ・テーブルから、サブタイトル再生時間関連情報を抽出し、表４８の「subtitle＿disparity」フィールドから、三次元サブタイトルの変異情報及びビットマップデータを抽出することができる。これによって、第３実施形態による再生部２４０によって、右視点サブタイトルが左視点サブタイトル３４５０の位置から変異ほど移動した位置に表示することによって構成されたサブタイトルは、三次元ディスプレイ機器によって、三次元で再生される。

以下、表４９ないし５９及び図３５ないし図４０を参照して、第４実施形態によるＥＰＧ情報の三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。

図３５は、ＥＰＧ情報を伝送するデジタル通信システムのブロック図を図示している。

デジタル通信システム３５００にビデオ信号、オーディオ信号及び関連補助データが入力される。ビデオデータは、ビデオ符号化部（video encoder）３５１０によって符号化され、オーディオデータは、オーディオ符号化部（audio encoder）３５２０によって符号化される。符号化されたビデオデータ及びオーディオデータは、それぞれパケット化器（packetizer）３５３０，３５４０を経て、ビデオＰＥＳパケット及びオーディオＰＥＳパケットに分割（segmentation）される。

ＰＳＩＰ／ＰＳＩ生成部（ＰＳＩＰ／ＳＩ generator）３５５０は、ＰＡＴ（program association table）及びＰＭＴ（program map table）を生成し、各種ＰＳＩＰ情報またはＳＩ情報を生成する。このとき、デジタル通信システム３５００は、各種ＥＰＧ情報をＰＳＩＰテーブルまたはＳＩテーブルに挿入してもよい。

デジタル通信システム３５００がＡＴＳＣ通信方式に従う場合、ＰＳＩＰ／ＰＳＩ生成部（ＰＳＩＰ／ＳＩ generator）３５５０は、ＰＳＩＰテーブルを生成し、デジタル通信システム３５００がＤＶＢ通信方式に従う場合、ＰＳＩＰ／ＰＳＩ生成部（ＰＳＩＰ／ＳＩ generator）３５５０は、ＳＩテーブルを生成する。

デジタル通信システム３５００の多重化部（ＭＵＸ）３５６０は、パケット化器３５３０，３５４０から、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データ、及びＰＳＩ生成部３５５０から入力されたＰＳＩテーブル及びＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ−ＳＩテーブルをセクション形態で入力され、多重化して１つのプログラムに係わるＴＳを生成して出力する。

図３６は、ＡＴＳＣ通信方式によって、ＥＰＧ情報が収録されるＰＳＩＰテーブルを図示している。

ＡＴＳＣ通信方式によれば、ＰＳＩＰテーブルにＥＰＧ情報が収録される。ＰＳＩＰテーブルは、現在時間と日付に係わる情報が収録されるＳＴＴ（ＳＴＴ：system time table）３６１０、放送プログラムの地域別放送視聴等級に係わる情報が収録されるＲＲＴ（ＲＲＴ：rating region table）３６２０、ＳＴＴ ３６１０を除外したあらゆるテーブルのＰＩＤ情報とバージョン情報とが収録されるＭＧＴ（master guide table）３６３０、伝送するチャネル番号などのチャネル情報が収録された衛星ＶＣＴ（virtual channel table）３４６０、放送プログラムなどのイベントの題目及び開始時間などのイベント情報が収録されるＥＩＴ（event information table）３６５０，３６５２，３６５３、及び放送プログラムに係わる背景、あらすじ、登場人物のような詳細な説明などの付加テキスト情報が収録されるＥＴＴ（extended text table）３６６０，３６６２，３６６４，３６６６から構成される。すなわち、ＰＳＩＰテーブルに放送プログラムなどのイベントに係わる各種情報が収録される。

特に、衛星ＶＣＴ ３４６０は、チャネル別に仮想チャネル識別子source＿ｉｄを含み、仮想チャネル識別子によって、ＥＩＴ ３６５０，３６５２，３６５３のうち、チャネル別イベント情報が検索される。また、それぞれのＥＴＴ ３６６０，３６６２，３６６４，３６６６は、対応するＶＣＴ ３４６０またはＥＩＴ ３６５０，３６５２，３６５３のテキスト・メッセージを含んでもよい。

図３７は、ＤＶＢ通信方式によって、ＥＰＧ情報が収録されるＳＩテーブルを図示している。

ＳＩテーブルは、地上波、ケーブルまたは衛星ネットワークなどの現在放送のネットワーク種類情報が収録されるＮＩＴ（network information table）３７１０、サービス名、サービス提供業者などのサービス情報が収録されるＳＤＴ（service description table）３７２０、放送プログラムの題目または時間などのイベント関連情報が収録されるＥＩＴ（event information table）３７３０及び現在日付と現在時間との情報が収録されるＴＤＴ（time and data table）３７４０から構成される。従って、ＳＩテーブルに放送プログラムなどのイベントに係わる各種情報が収録される。

以下、ＡＴＳＣ−ＰＳＩＰテーブルにおいて、ＶＣＴテーブルのシンタックスが表４９に、ＲＲＴテーブルのシンタックスが表５０に、ＳＴＴテーブルのシンタックスが表５１に、ＥＩＴテーブルのシンタックスが表５２に、ＥＴＴテーブルのシンタックスが表５３に図示されている。

図３８は、ＥＰＧ情報が図示された画面及びそれぞれの情報のソースを図示している。

画面３８００上に、ＡＴＳＣ通信方式によるＰＳＩＰテーブルを利用して構成されたＥＰＧ画面３８１０が表示される。ＥＰＧ画面３８１０は、デジタルＴＶシステムが設定した画面上の所定領域に、ＰＳＩＰテーブルに収録されたテキストデータが表示されることによって構成される。この場合、デジタルＴＶシステムは、デジタルＴＶシステムが具備しているイメージ及びフォントを利用し、ＰＳＩＰテーブルに収録されたテキストデータを表示することによって、ＥＰＧ画面３８１０を構成することができる。

具体的には、ＥＰＧ画面３８１０上に、チャネル名３８２０、チャネル番号３８３０、地域別等級３８４０、放送プログラム名及び再生時間３８５０、放送プログラムに係わる説明テキスト３８６０及び現在時間及び日時３８７０が表示される。

チャネル名３８２０は、表４９のＶＣＴテーブルにおいて、「short＿name」フィールドの縮約されたチャネル名情報に基づいて決定される。チャネル番号３８３０は、ＶＣＴテーブルにおいて、「major＿channel＿number」フィールドの主要チャネル番号情報、及び「minor＿channel＿number」フィールドの付随チャネル番号情報が組み合わさったチャネル情報に基づいて決定される。

地域別等級３８４０は、表５０のＲＲＴテーブル内の「rating＿region＿name＿text（）」フィールドの地域名情報と、「ａｂｂｒｅｖ＿rating＿value＿text（）」フィールドまたは「rating＿value＿text（）」フィールドの等級情報とに基づいて決定される。

放送プログラム名及び再生時間３８５０は、表５２のＥＩＴテーブルにおいて、「title＿text（）」フィールドの放送プログラム名情報に基づいて決定される。

放送プログラムに係わる説明テキスト３８６０は、表５３のＥＴＴテーブルにおいて、「extended＿text＿message（）」フィールドのイベント説明テキスト情報に基づいて決定される。

現在時間及び日時３８７０は、表５１のＳＴＴテーブルにおいて、「system＿time」フィールドのシステム時間情報、及び「ＧＰＳ＿ＵＴＣ＿offset」フィールドのＧＰＳ−ＵＴＣ時刻差情報に基づいて決定される。

表５４は、表５２のＥＴＴテーブルの下位フィールド「ＥＴＭ＿ｉｄ」の構造である。

ＥＴＴテーブルにおいて、「ＥＴＭ＿ｉｄ」フィールドに基づいて、「Channel ＥＴＭ＿ｉｄ」である場合、現在ＥＴＴテーブルが、いずれのＶＣＴテーブルに対応するかが確認され、「event ＥＴＭ＿ｉｄ」である場合、現在ＥＴＴテーブルが、いずれのＥＩＴテーブルに対応するかが確認される。対応するチャネルまたはイベントに係わる説明として、現在ＥＴＴテーブルの「extended＿text＿message（）」フィールドのテキスト・メッセージ３８６０が、ＥＰＧ画面３８１０上に表示される。

従って、１つのＥＰＧ画面３８１０は、複数個のＰＳＩＰテーブルに含まれたＥＰＧデータを利用して構成される。

表４９ないし表５４及び図３５ないし図３８を参照して説明したＥＰＧを基に、ＥＰＧの三次元再生のために変更された第４実施形態によるマルチメディア・ストリーム生成装置１００、及び第４実施形態によるマルチメディア・ストリーム受信装置２００の動作について、以下、表５５ないし５９及び図３９及び図４０を参照して説明する。

第４実施形態によるマルチメディア・ストリーム生成装置１００は、三次元ＥＰＧ情報を三次元で再生するためのＥＰＧ三次元再生情報を、ＰＳＩＰテーブルまたはＳＩテーブルに挿入してもよい。第４実施形態によるＥＰＧ三次元再生情報は、三次元ＥＰＧ情報のデプスについての情報として、デプス、変異、両眼視差またはオフセットなどの多様な形態で利用される。

また、第４実施形態によるマルチメディア・ストリーム受信装置２００は、ＡＴＳＣ通信方式を介して受信されたＴＳからセクションをギャザリングし、ＥＰＧ情報及びＥＰＧ三次元再生情報を抽出し、三次元ＥＰＧ再生情報を利用し、二次元ＥＰＧ情報を三次元ＥＰＧ情報に変更して再生することができる。

第４実施形態によるマルチメディア・ストリーム生成装置１００は、三次元ＥＰＧ再生情報を叙述子形態で設定することができる。ＰＳＩＰテーブルにおいて、ＥＴＴテーブルを除き、表４９のＶＣＴ、表５０のＲＲＴ、表５１のＳＴＴ、表５２のＥＩＴは、いずれも叙述子フィールド「descriptor（）」を含む。第４実施形態によるマルチメディア・ストリーム生成装置１００は、ＰＳＩＰテーブルの叙述子フィールドに、第４実施形態による三次元ＥＰＧ再生情報を含む三次元ＥＰＧ叙述子を挿入してもよい。ＥＴＴは、叙述子フィールドがないが、「ＥＴＭ＿ｉｄ」フィールドを介して、ＶＣＴまたはＥＩＴと関連し、関連したテーブルの三次元ＥＰＧ叙述子を相続される。

表５５は、第４実施形態による三次元ＥＰＧ叙述子のシンタックスである。

「descriptor＿tag」フィールドは、三次元ＥＰＧ叙述子「３Ｄ＿ＥＰＧ＿descriptor」フィールドの識別子を含む。「descriptor＿length」フィールドは、「descriptor＿length」フィールドに後続するデータの総バイト数情報を含む。

「３Ｄ＿ＥＰＧ＿offset」フィールドは、「３Ｄ＿ＥＰＧ＿descriptor」フィールドを含むＰＳＩＰテーブルによって、ＥＰＧ画面上に表示されるＥＰＧ情報のオフセット情報を含む。

「Video＿Flat」フィールドは、ＥＰＧ情報を三次元で再生するとき、現在放送されるプログラムのビデオを、二次元再生モードに転換して再生するか否かを示すビデオ二次元再生情報を含む。表５６は、ビデオ二次元再生情報「Video＿Flat」の一例である。

「reserved」フィールド及び「addtional＿data（）」フィールドは、今後使われるために保留された領域である。

以下、ＤＶＢ−ＳＩテーブルにおいて、ＮＩＴテーブルのシンタックスは、表５７に、ＳＤＳテーブルのシンタックスは、表５８に、ＥＩＴテーブルのシンタックスは、表５９に図示されている。

ＤＶＢ通信方式によれば、ＳＩテーブルにおいて、ＮＩＴ、ＳＤＳテーブル、ＥＩＴの叙述子フィールド「descriptor（）」に、ＥＰＧテキスト情報が含まれる。表５５は、第４実施形態によるマルチメディア・ストリーム生成装置１００が、ＳＩテーブルの叙述子フィールドに、第４実施形態による三次元ＥＰＧ再生情報を含む三次元ＥＰＧ叙述子を追加して挿入した一例を図示している。

第４実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢ通信方式を介して受信されたＴＳからセクションをギャザリングし、ＥＰＧ情報及び三次元ＥＰＧ再生情報を抽出することができる。ＥＰＧが三次元で再生される場合、第４実施形態によるマルチメディア・ストリーム受信装置２００は、三次元ＥＰＧ叙述子を検索し、三次元ＥＰＧ叙述子が存在するならば、三次元ＥＰＧ再生情報を利用し、二次元ＥＰＧ情報を三次元ＥＰＧ情報に変換して再生することができる。

図３９は、第４実施形態によるＴＳ復号化システムのブロック図を図示している。

第４実施形態によるＴＳ復号化システム３９００がＴＳを受信すれば、トランスポート逆多重化部（transport demuxer）３９１０を介して、ビデオビット・ストリーム、オーディオビット・ストリーム、及びＰＳＩＰテーブルまたはＳＩテーブルが分離される。ビデオビット・ストリーム及びオーディオビット・ストリームは、プログラム復号化部３９２０に出力され、ＰＳＩＰテーブルまたはＳＩテーブルは、プログラムガイド処理部（program guide processor）３９６０に出力される。

また、ビデオビット・ストリームは、ビデオ復号化部（video decoder）３９３０に入力され、復元されたビデオは、ディスプレイ処理部（display processing）３９４０に出力されもする。オーディオビット・ストリームは、オーディオ復号化部（audio decoder）３９５０を介して復元される。

このとき、第４実施形態によるＰＳＩＰテーブルまたはＳＩテーブルは、三次元ＥＰＧ再生情報を含んでいる。例えば、第４実施形態によるＰＳＩＰテーブルまたはＳＩテーブルは、表５５の「３Ｄ＿ＥＰＧ＿descriptor」叙述子を含んでもよい。このようなＰＳＩＰテーブルまたはＳＩテーブルを利用し、三次元ＥＰＧを再生するためのプログラムガイド処理部（program guide processor）３９６０及びディスプレイ処理部（display processing）３９４０の細部動作については、図４０を介して説明する。

図４０は、第４実施形態によるＴＳ復号化システムのうち、ディスプレイ処理部のブロック図を図示している。

プログラムガイド処理部３９６０に入力されたＰＳＩＰテーブルまたはＳＩテーブルは、ＰＳＩＰまたはＳＩパージング部（ＰＳＩＰ or ＳＩ parser）４０７０によって分析され、ＥＰＧ構成に必要なＥＰＧ情報及び三次元ＥＰＧ再生情報と、ビデオ二次元再生情報とがＰＳＩＰテーブルまたはＳＩテーブルから抽出される。ＥＰＧ情報、三次元ＥＰＧ再生情報及びビデオ二次元再生情報は、ディスプレイ処理部３９４０のディスプレイ・プロセッサ（display processor）４０５０に出力されもする。

復元されたビデオは、左視点映像及び右視点映像に分離され、それぞれ左視点ビデオバッファ（decoded video Ｌ buffer）４０１０及び右視点ビデオバッファ（decoded video Ｒ buffer）４０２０に保存されもする。

ディスプレイ・プロセッサ４０５０は、三次元ＥＰＧ再生情報に基づいて、三次元ＥＰＧの左視点ＥＰＧ情報及び右視点ＥＰＧ情報を生成し、左視点ＥＰＧ情報及び右視点ＥＰＧ情報をそれぞれ左視点ディスプレイ平面（Ｌ display plane）４０３０及び右視点ディスプレイ平面（Ｒ display plane）４０４０上に表示する。左視点ＥＰＧが表示された左視点ディスプレイ平面４０３０は、左視点ビデオとブレンド（blending）され、右視点ＥＰＧが表示された右視点ディスプレイ平面４０４０は、右視点ビデオとブレンドされ、スイッチ４０６０によって、交互に再生されることによって、三次元ＥＰＧ情報が表示された三次元ビデオが再生される。

また、ビデオ二次元再生情報が、ビデオを二次元再生モードに転換して再生するように設定されている場合、ビデオは、二次元で再生されねばならない。例えば、左視点ＥＰＧ情報が表示された左視点ディスプレイ平面４０３０、及び右視点ＥＰＧ情報が表示された右視点ディスプレイ平面４０４０のいずれにも同一視点ビデオがブレンドされれば、ＥＰＧ情報は、三次元で再生され、ビデオは、二次元で再生される。

ディスプレイ・プロセッサ４０５０が、三次元ＥＰＧ再生情報に基づいて、三次元ＥＰＧ情報の左視点ＥＰＧ情報及び右視点ＥＰＧ情報を生成するために、三次元ＥＰＧオフセットを、二次元ＥＰＧ情報に視点別に異なるように適用することができる。例えば、三次元ＥＰＧオフセットが、ピクセルの左右移動距離である場合、ディスプレイ・プロセッサ４０５０は、二次元ＥＰＧ情報を、ｘ軸に沿って負の方向にオフセットほど移動させることによって、左視点ＥＰＧ情報を生成し、正の方向にオフセットほど移動させることによって、右視点ＥＰＧ情報を生成することができる。または、三次元ＥＰＧオフセットが、左右視点間の変異である場合、ディスプレイ・プロセッサ４０５０は、二次元ＥＰＧ情報を左視点ＥＰＧ情報に固定し、二次元ＥＰＧ情報を、ｘ軸に沿って負または正の方向に、オフセットほど移動させることによって、右視点ＥＰＧ情報を生成することができる。三次元ＥＰＧオフセットの性格によって、ディスプレイ・プロセッサ４０５０が三次元ＥＰＧ情報を生成する方法は、変わることがある。

第４実施形態によるマルチメディア・ストリーム生成装置１００は、ＥＰＧを三次元で再生するために必要なＥＰＧデータ及びＥＰＧ三次元再生情報を含む三次元ＥＰＧデータ構造を伝送するために、ＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ−ＳＩテーブルに、第４実施形態による三次元ＥＰＧデータ構造を挿入し、ビデオストリーム、オーディオストリームと共に伝送することができる。

第４実施形態によるマルチメディア・ストリーム生成装置２００は、第４実施形態によるマルチメディア・ストリームを受信してパージングし、抽出されたＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ−ＳＩテーブルから、第４実施形態による三次元ＥＰＧデータ構造を抽出することができる。第４実施形態によるマルチメディア・ストリーム生成装置２００は、ＥＰＧ三次元再生情報に基づいて、三次元ＥＰＧ情報を構成し、ＥＰＧ情報を三次元で再生することができる。また、第４実施形態によるマルチメディア・ストリーム生成装置２００は、ＥＰＧ三次元再生情報に基づいて、三次元ＥＰＧ情報を正確に再生することによって、視聴者が感じることがある視覚的息苦しさのような不便を防止することができる。

図４１は、一実施形態によるテキストの三次元再生のためのマルチメディア・ストリーム生成方法のフローチャートを図示している。

段階４１１０で、符号化されたビデオデータ、符号化されたオーディオデータ、付加再生データと共に、付加再生情報の三次元再生のための情報を含むビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームが生成される。一実施形態による付加再生データは、プログラムに係わるクローズドキャプション・データ、サブタイトルデータ及びＥＰＧデータを含んでもよい。

一実施形態による付加再生情報の三次元再生のための情報は、付加再生情報のデプス感を調節するための左右視点間の変異、デプス差などの視差情報、座標情報及びデプス情報のうち少なくとも一つを示すオフセット情報を含んでもよい。一実施形態による付加再生情報の三次元再生のための情報は、付加再生情報の三次元再生安全性情報、ビデオ二次元再生情報及び三次元再生強調情報などを含んでもよい。

段階４１２０で、ビデオＥＳ、オーディオＥＳ及び付加データストリームをパケット化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケットが生成され、補助情報パケットが生成される。一実施形態による付加再生情報の三次元再生のための情報及び付加再生データは、ＰＥＳパケットレベルで、ストリームに挿入されもする。

第１実施形態によるクローズドキャプション・データ及びクローズドキャプション三次元再生情報は、ビデオＥＳ、ビデオＥＳのヘッダまたはセクションに挿入してもよい。第２，３実施形態によるサブタイトルデータ及びサブタイトル三次元再生情報は、サブタイトルＰＥＳパケット及びサブタイトルＰＥＳパケットのヘッダのうち、少なくとも一つに挿入してもよい。第４実施形態によるＥＰＧデータ及びＥＰＧ三次元再生情報は、ＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ＿ＳＩテーブル内の叙述子（descriptor）フィールドに挿入してもよい。

段階４１３０で、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを多重化し、ＴＳを生成する。生成されたＴＳは、所定チャネルを介して伝送される。

図４２は、一実施形態によるテキストの三次元再生のためのマルチメディア・ストリーム受信方法のフローチャートを図示している。

段階４２１０で、ビデオ及び三次元ビデオのうち、少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳが受信され、逆多重化されたＴＳから、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットが抽出される。

段階４２３０で、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットから、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームが抽出される。補助情報ストリームは、ＰＳＩ情報、ＡＴＳＣ−ＰＳＩＰ情報、ＤＶＢ−ＳＩ情報などのプログラム関連情報を含んでもよい。抽出されたＰＥＳパケット段階で、付加再生データ及び付加再生情報の三次元再生のための情報が抽出される。

段階４２３０で、ビデオＥＳ、オーディオＥＳ、付加データストリーム及びプログラム関連情報からビデオ、オーディオ、付加データ及び付加再生情報が復元され、付加再生情報の三次元再生のための情報が抽出される。抽出されたＥＳ段階で、付加再生データ及び付加再生情報の三次元再生のための情報が抽出されもする。

第１実施形態によるクローズドキャプション・データ及びクローズドキャプション三次元再生情報は、ビデオＥＳ、ビデオＥＳのヘッダまたはセクションから抽出される。第２，３実施形態によるサブタイトルデータ及びサブタイトル三次元再生情報は、サブタイトルＰＥＳパケット及びサブタイトルＰＥＳパケットのヘッダのうち、少なくとも一つから抽出される。第４実施形態によるＥＰＧデータ及びＥＰＧ三次元再生情報は、ＡＴＳＣ−ＰＳＩＰテーブルまたはＤＶＢ＿ＳＩテーブル内の叙述子（descriptor）フィールドから抽出される。

段階４２４０で、復元されたビデオ、オーディオ、付加データ及び付加再生情報を再生する。一実施形態による付加再生情報の三次元再生のための情報に基づいて、三次元付加再生情報が構成される。ビデオデータの再生と共に、三次元付加再生情報が三次元で再生される。

また、付加再生情報の三次元再生のための情報に基づいて、付加再生情報のデプス感が調節されて三次元で再生されたり、あるいは付加再生情報のオフセット情報の安全性を確認した後で三次元で再生されるので、視聴者がビデオ及び付加再生情報間の不適切なデプス感のために感じることがある不便さが解消される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈さればならない。

Claims (18)

1. マルチメディア・ストリームに係わるＴＳ（transport stream）ストリームを受信して逆多重化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出する段階と、
   前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットから、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータと共に再生されるための付加再生情報のデータ及び前記付加再生情報の三次元再生のための前記付加再生情報のデプス感情報を含む、ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する段階と、
   前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームから、ビデオデータ、オーディオデータ、付加データ及び前記付加再生情報を復元し、前記付加再生情報のデプス感情報を抽出する段階と、
   前記復元されたビデオの再生と共に、前記復元された付加再生情報のデプス感情報に基づいて、前記付加再生情報を三次元で再生する段階と、を含み、
   前記付加再生情報のデプス感情報は、
   前記ビデオの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含み、
   前記ビデオデータに三次元再生安全性情報が添付されていない場合、前記付加再生情報を表示しないか、又は、前記付加再生情報よりも視聴者よりで前記付加再生情報と重畳しないように前記ビデオデータ又は前記オフセットの少なくとも一方を映像後処理する段階を含む、
   ことを特徴とする付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
2. 前記付加再生情報のデプス感情報は、前記ビデオの三次元再生中、前記付加再生情報のオフセット方向についての情報をさらに含み、
   前記付加再生情報の三次元再生段階は、
   前記付加再生情報のデプス感情報において、前記付加再生情報のオフセット及びオフセット方向に基づいて、前記付加再生情報を、前記オフセットほど正または負の方向に移動させる段階を含み、
   前記オフセットは、前記ビデオデータのデプス、変異及び両眼視差のうち一つで表現された前記付加再生情報の移動量を示すことを特徴とする請求項１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
3. 前記付加再生情報の三次元再生段階は、
   前記付加再生情報のオフセット及びオフセット方向に基づいて、
   （ｉ）前記付加再生情報を、デプスが原点の基本平面に対比して、前記オフセットほど正または負の方向に、移動させる段階と、
   （ｉｉ）前記付加再生情報を、前記付加再生情報と共に再生されるビデオのデプス、変異及び両眼視差のうち一つに対比して、前記オフセットほど正または負の方向に、移動させる段階と、
   （ｉｉｉ）前記付加再生情報の第１視点付加再生情報及び第２視点付加再生情報のうち１つの視点付加再生情報を、前記オフセットほど正の方向に、残りの視点付加再生情報を、前記オフセットほど負の方向に移動させる段階と、
   （ｉｖ）前記付加再生情報の第１視点付加再生情報及び第２視点付加再生情報のうち１つの視点付加再生情報の位置に対比して、残りの視点付加再生情報の位置を、前記オフセットほど移動させる段階と、のうちいずれか１つの段階を含むことを特徴とする請求項２に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
4. 前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
   前記ビデオＥＳから、前記ビデオと共に、ディスプレイ画面上に再生されるクローズドキャプション・データを抽出する段階と、
   前記クローズドキャプションの三次元再生のための前記クローズドキャプションのデプス感情報を、前記ビデオＥＳ、前記ビデオＥＳのヘッダ、前記補助情報ストリームのうち少なくとも一つから抽出する段階と、を含むことを特徴とする請求項１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
5. 前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
   前記付加データストリームとして、前記ビデオデータと共に再生されるためのサブタイトルデータに係わるサブタイトルデータストリームを抽出する段階と、
   前記サブタイトルデータの三次元再生のための前記サブタイトルデータのデプス感情報を、前記付加データＰＥＳパケット及び前記付加データＰＥＳパケットのヘッダのうち少なくとも一つから抽出する段階と、をさらに含むことを特徴とする請求項１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
6. 前記マルチメディア・ストリームが、ＡＮＳＩ／ＳＣＴＥ（American National Standard Institute/Society of Cable Telecommunications Engineers）基盤のケーブル通信システムを介して受信された場合、前記サブタイトルデータのデプス感情報は、三次元サブタイトルのビットマップ及びフレームのうち少なくとも一つの移動量を示す視差情報、前記三次元サブタイトルのデプス感情報及び座標情報のうち少なくとも一つを示すオフセット情報を含むことを特徴とする請求項５に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
7. 前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
   前記マルチメディア・ストリームが、ＤＶＢ（digital video broadcasting）基盤の通信システムを介して受信された場合、前記サブタイトルデータストリームのページ構成セグメントの保留フィールドから、現在ページ内の領域別オフセット情報を抽出することを特徴とする請求項５に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
8. 前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
   前記ビデオと同時に再生されるためのＥＰＧ（electronic program guide）データ及び前記ＥＰＧ情報の三次元再生のための前記ＥＰＧ情報のデプス感情報を、前記補助情報ストリームから抽出する段階を含むことを特徴とする請求項１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
9. 前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
   前記マルチメディア・ストリームが、ＡＴＳＣ（advanced television standards committee）基盤の通信システムを介して受信された場合、前記ＥＰＧ情報のデプス感情報を、ＡＴＳＣのＰＳＩＰ（program specific information protocol）テーブル内の叙述子フィールドから抽出することを特徴とする請求項８に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
10. 前記ビデオＥＳ、オーディオＥＳ、付加データストリーム及び補助情報ストリームの抽出段階は、
    前記マルチメディア・ストリームがＤＶＢ基盤の通信システムを介して受信された場合、前記ＥＰＧ情報のデプス感情報を、ＤＶＢのＳＩ（specific information）テーブル内の叙述子フィールドから抽出することを特徴とする請求項９に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
11. 二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳ（transport stream）ストリームを受信する受信部と、
    前記受信されたＴＳを逆多重化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出し、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットから、ディスプレイ画面上に、前記ビデオと共に再生される付加再生情報のデータ及び前記付加再生情報の三次元再生のための前記付加再生情報のデプス感情報を含む、ビデオＥＳ（elementary stream）ストリーム、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する逆多重化部と、
    前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームから、ビデオデータ、オーディオデータ、付加データ及び前記付加再生情報を復元し、前記付加再生情報の三次元再生のための情報を抽出する復号化部と、
    前記復元されたビデオの再生と共に、前記付加再生情報のデプス感情報に基づいて、前記復元された付加再生情報を三次元で再生する再生部と、を含み、
    前記付加再生情報のデプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含み、
    前記再生部は、前記ビデオデータに三次元再生安全性情報が添付されていない場合、前記付加再生情報を表示しないか、又は、前記付加再生情報よりも視聴者よりで前記付加再生情報と重畳しないように前記ビデオデータ又は前記オフセットの少なくとも一方を映像後処理する三次元再生のためのマルチメディア・ストリーム受信装置に対し、マルチメディア・ストリームを送信するマルチメディア・ストリーム生成方法であって、
    二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオデータと共に再生される付加再生情報のデータ及び前記付加再生情報の三次元再生のための付加再生情報のデプス感情報を含むように、ビデオＥＳ（elementary stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成する段階と、
    前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、データＰＥＳパケット及び補助情報パケットを生成する段階と、
    前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳ（transport stream）を生成する段階と、を含み、
    前記付加再生情報のデプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含むことを特徴とする付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法。
12. 前記付加再生情報の三次元デプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のオフセット方向についての情報をさらに含むことを特徴とする請求項１１に記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法。
13. 二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳ（transport stream）ストリームを受信する受信部と、
    前記受信されたＴＳを逆多重化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出し、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットから、ディスプレイ画面上に、前記ビデオと共に再生される付加再生情報のデータ及び前記付加再生情報の三次元再生のための前記付加再生情報のデプス感情報を含む、ビデオＥＳ（elementary stream）ストリーム、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する逆多重化部と、
    前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームから、ビデオデータ、オーディオデータ、付加データ及び前記付加再生情報を復元し、前記付加再生情報の三次元再生のための情報を抽出する復号化部と、
    前記復元されたビデオの再生と共に、前記付加再生情報のデプス感情報に基づいて、前記復元された付加再生情報を三次元で再生する再生部と、を含み、
    前記付加再生情報のデプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含み、
    前記再生部は、前記ビデオデータに三次元再生安全性情報が添付されていない場合、前記付加再生情報を表示しないか、又は、前記付加再生情報よりも視聴者よりで前記付加再生情報と重畳しないように前記ビデオデータ又は前記オフセットの少なくとも一方を映像後処理する、ことを特徴とする付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置。
14. 二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳ（transport stream）ストリームを受信する受信部と、
    前記受信されたＴＳを逆多重化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを抽出し、前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットから、ディスプレイ画面上に、前記ビデオと共に再生される付加再生情報のデータ及び前記付加再生情報の三次元再生のための前記付加再生情報のデプス感情報を含む、ビデオＥＳ（elementary stream）ストリーム、オーディオＥＳ、付加データストリーム及び補助情報ストリームを抽出する逆多重化部と、
    前記ビデオＥＳ、前記オーディオＥＳ、前記付加データストリーム及び前記補助情報ストリームから、ビデオデータ、オーディオデータ、付加データ及び前記付加再生情報を復元し、前記付加再生情報の三次元再生のための情報を抽出する復号化部と、
    前記復元されたビデオの再生と共に、前記付加再生情報のデプス感情報に基づいて、前記復元された付加再生情報を三次元で再生する再生部と、を含み、
    前記付加再生情報のデプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含み、
    前記再生部は、前記ビデオデータに三次元再生安全性情報が添付されていない場合、前記付加再生情報を表示しないか、又は、前記付加再生情報よりも視聴者よりで前記付加再生情報と重畳しないように前記ビデオデータ又は前記オフセットの少なくとも一方を映像後処理する三次元再生のためのマルチメディア・ストリーム受信装置に対し、マルチメディア・ストリームを送信するマルチメディア・ストリーム生成装置であって、
    二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータ、関連オーディオデータ、ディスプレイ画面上に前記ビデオと共に再生される付加再生情報のデータ及び前記付加再生情報の三次元再生のための前記付加再生情報のデプス感情報を含む、ビデオＥＳ（elementary stream）、オーディオＥＳ、付加データストリーム及び補助情報ストリームを生成し、前記ビデオＥＳ、前記オーディオＥＳ及び前記付加データストリームをパケット化し、ビデオＰＥＳ（packetized elementary stream）パケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを生成するプログラム符号化部と、
    前記ビデオＰＥＳパケット、前記オーディオＰＥＳパケット、前記付加データＰＥＳパケット及び前記補助情報パケットを多重化し、ＴＳを生成するＴＳ生成部と、を含み、
    前記付加再生情報のデプス感情報は、前記ビデオデータの三次元再生中、前記付加再生情報のデプス感を調節するための付加再生情報のオフセットについての情報を含むことを特徴とする付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置。
15. 請求項１ないし請求項１２のうち、いずれか一項に記載の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
16. 前記映像後処理する段階では、前記ビデオデータを縮小し、前記付加再生情報と合成する映像後処理を行う、ことを特徴とする請求項１記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
17. 前記映像後処理する段階では、前記付加再生情報を前記ビデオデータよりも視聴者よりに表示させる映像後処理を行う、ことを特徴とする請求項１記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。
18. 前記映像後処理する段階では、前記ビデオデータをディスプレイ平面のデプスで表示させる映像後処理を行う、ことを特徴とする請求項１記載の付加再生情報の三次元再生のためのマルチメディア・ストリーム受信方法。

Images