JP5675810B2

JP5675810B2 - 付加データの三次元再生のための信号処理方法及びその装置

Info

Publication number: JP5675810B2
Application number: JP2012525474A
Authority: JP
Inventors: リー，デ−ジョン; パク，ボン−ギル
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-08-17
Filing date: 2010-08-17
Publication date: 2015-02-25
Anticipated expiration: 2030-08-17
Also published as: KR20110018261A; MX2012002098A; US20110037833A1; WO2011021822A3; RU2012105469A; EP2467831A2; WO2011021822A2; EP2467831A4; CA2771340A1; JP2013502804A; KR20110018262A; RU2510081C2; CN102483858A

Description

本発明は、ビデオ映像と共に再生される付加データを、三次元で再生するための信号処理方法及びその装置に関する。

デジタル技術の発達により、ビデオ映像（video image）を三次元（３Ｄ）で再生する技術が広く普及している。人間の目は、横方向に一定の距離離れているので、左目と右目とに見える二次元（２Ｄ）映像が互いに異なるが、これを両眼視差という。脳は、互いに異なる２つの二次元映像、すなわち、左目が見る左目用映像と、右目が見る右目用映像とを融合し、遠近感と臨場感とがある三次元映像を生成する。

ビデオ映像は、ビデオ映像に対して付加的に提供されるメニューや字幕（subtitle）のような付加データと共にディスプレイすることができる。そこで、ビデオ映像が三次元で再生される場合、ビデオ映像と共に再生される付加データの処理方式が種々提案されている。

本発明は、ビデオ映像と共に再生される字幕を、三次元で再生する信号処理方法及びその装置を提供するためのものである。

前記課題を解決するために本発明の一実施形態によれば、ビデオ映像と共に再生される字幕を生成するための付加データから、前記字幕を三次元で再生するための三次元再生情報を抽出する段階と、前記付加データ及び前記三次元再生情報を利用し、字幕を三次元で再生する段階と、を含む信号処理方法を提供する。

望ましい実施形態において、前記三次元再生情報は、字幕が表示される領域の移動値、デプス値、ディスパリティ及び両眼視差のうち一つ以上を含むオフセット情報を含む。また、前記三次元再生情報は、前記オフセット情報が適用される方向を示すオフセット方向をさらに含んでもよい。また、前記字幕を三次元で再生する段階は、前記オフセット情報及び前記オフセット方向を利用し、前記字幕が表示される領域の位置を調節する段階を含んでもよい。

また、前記付加データは、テキスト字幕データを含み、前記三次元再生情報を抽出する段階は、前記テキスト字幕データに含まれたダイアログプレゼンテーション・セグメントから、前記三次元再生情報を抽出する段階を含んでもよい。また、前記ダイアログプレゼンテーション・セグメントには、字幕が表示される領域の個数と、前記領域の個数ほどのオフセット情報とを含むこともできる。

また、前記字幕が表示される領域の位置を調節する段階は、前記テキスト字幕データに含まれたダイアログスタイル・セグメントから、ダイアログ領域位置情報を抽出する段階と、前記ダイアログ領域位置情報、前記オフセット情報及び前記オフセット方向を利用し、前記字幕が表示される領域の位置を調節する段階と、を含んでもよい。また、前記付加データは、字幕データを含み、前記字幕データは、構成ページを含み、前記構成ページは、ページ構成セグメントを含み、前記三次元再生情報を抽出する段階は、前記ページ構成セグメントから、前記三次元再生情報を抽出する段階を含むこともできる。

また、前記付加データは、字幕データを含み、前記字幕データは、構成ページを含み、前記構成ページは、デプス定義セグメントを含み、前記三次元再生情報を抽出する段階は、前記デプス定義セグメントから、前記三次元再生情報を抽出する段階を含むこともできる。また、前記三次元再生情報は、前記三次元再生情報が、ビデオ映像のオフセット情報を基に生成されたか、あるいは視差が０である画面を基に生成されたかを表示する情報をさらに含んでもよい。

また、前記三次元再生情報を抽出する段階は、ページ別オフセット情報と、ページ内の領域別オフセット情報とのうち一つ以上を抽出する段階と、を含んでもよい。また、前記付加データは、字幕メッセージを含み、前記三次元再生情報を抽出する段階は、前記字幕メッセージから、前記三次元再生情報を抽出する段階を含んでもよい。また、前記字幕メッセージは、シンプルビットマップ情報を含み、前記三次元再生情報を抽出する段階は、前記シンプルビットマップ情報から、前記三次元再生情報を抽出する段階を含んでもよい。

また、前記三次元再生情報を抽出する段階は、前記シンプルビットマップ情報から、前記オフセット情報を抽出する段階と、前記字幕メッセージから、前記オフセット方向を抽出する段階と、を含んでもよい。また、前記字幕メッセージは、前記三次元再生情報を定義する記述子をさらに含み、前記三次元再生情報を抽出する段階は、前記字幕メッセージに含まれた前記記述子から、前記三次元再生情報を抽出する段階を含んでもよい。また、前記記述子は、キャラクタ及びフレームのうち少なくとも１つのオフセット情報、並びにオフセット方向を含んでもよい。

また、前記字幕メッセージは、字幕タイプをさらに含み、前記字幕タイプが付加視点字幕を指す場合、前記字幕メッセージは、前記付加視点字幕についての情報をさらに含んでもよい。また、前記付加視点字幕についての情報は、付加視点字幕のフレーム座標を含んでもよい。また、前記付加視点字幕についての情報は、基準視点字幕に係わる付加視点字幕の視差情報を含んでもよい。

また、前記付加視点字幕についての情報は、付加視点字幕を生成するための字幕ビットマップについての情報を含んでもよい。

発明の他の側面によれば、ビデオ映像と共に再生される字幕を生成するための付加データから、前記字幕を三次元で再生するための三次元再生情報を抽出し、前記付加データ及び前記三次元再生情報を利用し、字幕を三次元で再生する字幕デコーダを含む信号処理装置を提供することができる。

発明のさらに他の側面によれば、ビデオ映像と共に再生される字幕を生成するための付加データが保存されたコンピュータで読み取り可能な記録媒体において、前記付加データは、テキスト字幕データを含み、前記テキスト字幕データは、ダイアログスタイル・セグメント及びダイアログプレゼンテーション・セグメントを含み、前記ダイアログプレゼンテーション・セグメントは、前記字幕を三次元で再生するための三次元再生情報を含むコンピュータで読み取り可能な記録媒体を提供することができる。

発明のさらに他の側面によれば、ビデオ映像と共に再生される字幕を生成するための付加データが保存されたコンピュータで読み取り可能な記録媒体において、前記付加データは、字幕データを含み、前記字幕データは、構成ページを含み、前記構成ページは、ページ構成セグメントを含み、前記ページ構成セグメントは、前記字幕を三次元で再生するための三次元再生情報を含むコンピュータで読み取り可能な記録媒体を提供することができる。

発明のさらに他の側面によれば、ビデオ映像と共に再生される字幕を生成するための付加データが保存されたコンピュータで読み取り可能な記録媒体において、前記付加データは、字幕データを含み、前記字幕データは、字幕メッセージを含み、前記字幕メッセージは、前記字幕を三次元で再生するための三次元再生情報を含むコンピュータで読み取り可能な記録媒体を提供することができる。

本発明によれば、ビデオ映像と共に再生される字幕を三次元で再生する信号処理方法及びその装置を提供することができる。

一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置のブロック図である。一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置のブロック図である。三次元ビデオ及び三次元付加再生情報が同時に再生される場面を図示する図である。三次元ビデオ及び三次元付加再生情報が逆転して再生される現象を図示する図である。本発明の第１実施形態によるテキスト字幕ストリームを図示した図である。本発明の第１実施形態によって、三次元再生情報がダイアログプレゼンテーション・セグメントに含まれたことを表現するシンタックス（syntax）を図示した図である。本発明の第１実施形態による信号処理方法を図示したフローチャートである。本発明の第１実施形態による信号処理装置を図示する図である。本発明の第１実施形態によって、三次元再生情報を利用して生成された、左目用グラフィックと右目用グラフィックとが、それぞれ左目用ビデオ映像と右目用ビデオ映像とにオーバーレイされたところを図示した図である。マルチメディア・ストリームを生成するエンコーディング装置について説明するための図である。ＤＶＢ（digital video broadcasting）通信方式による字幕ストリームの階層的構造を図示する図である。一つ以上の字幕サービスが１つのパケットに多重化された場合の字幕記述子、及び字幕ＰＥＳ（packetized elementary stream）パケットを図示する図である。それぞれの字幕サービスが、別個のパケットに構成された場合の字幕記述子、及び字幕ＰＥＳパケットを図示する図である。ＤＶＢ通信方式による字幕データを含むデータストリーム構造の一例を図示する図である。ＤＶＢ通信方式による構成ページ構造の一例を図示する図である。ＤＶＢ通信方式による字幕処理モデルのフローチャートである。符号化データバッファ（coded data buffer）に保存されたデータを図示する図である。構成バッファ（composition buffer）に保存されたデータを図示する図である。ピクセルバッファ（pixel buffer）に保存されたデータを図示する図である。本発明の第２実施形態によって、ＤＶＢ通信方式による字幕データの構成ページ構造の一例を図示する図である。本発明の第２実施形態によって、ＤＶＢ通信方式による字幕データの構成ページ構造の他の例を図示する図である。第２実施形態によって、領域別に字幕のデプス感を調節するところを図示する図である。第２実施形態によって、ページ別に字幕のデプス感を調節するところを図示する図である。ケーブル放送方式による字幕のビットマップ・フォーマットの構成要素を図示する図である。ケーブル放送方式による字幕の三次元再生のための字幕処理モデルのフローチャートである。ケーブル放送方式による字幕処理モデルを介し、字幕がディスプレイキューからグラフィック平面に出力される過程を図示する図である。第３実施形態によるケーブル放送方式による字幕の三次元再生のための字幕処理モデルのフローチャートである。第３実施形態によって、ケーブル放送方式による字幕のデプス感を調節する一実施形態を図示する図である。第３実施形態によって、ケーブル放送方式による字幕のデプス感を調節する他の実施形態を図示する図である。第３実施形態によって、ケーブル放送方式による字幕のデプス感を調節するさらに他の実施形態を図示する図である。

本出願は、米国特許商標局に、２００９年８月１７日に出願された米国仮特許出願Ｎｏ．６１／２３４，３５２、２００９年９月１４日に出願された米国仮出願Ｎｏ．６１／２４２，１１７、２０１０年４月２日に出願された米国仮出願ＮＯ．６１／３２０，３８９、及び韓国特許庁に２０１０年６月１０日に出願された韓国特許出願Ｎｏ．１０−２０１０−００５５４６９に対して優先権を主張し、それぞれの全ての開示は、あらゆる目的の参照のために本明細書に組み込まれる。

以下の詳細な説明は、方法、装置、および／または本明細書に記載されるシステムの包括的な理解を得るにおいて、読者を支援するために提供される。よって、本明細書に記載の、さまざまな変更、修正、およびシステム・装置および／または方法の同等物は、該技術分野の当業者に提供されるものである。説明される処理ステップ及び／または操作の進行は一例であり、段階及び／または操作が必ずある一定の順序で行われるものではない限り、段階及び／または操作の順序はは、本明細書に記載されているところに限定されず、当技術分野において周知されているように知られているように変更されてもよい。また、周知の機能と構造との説明は、さらなる明快さと簡潔さとのために省略されていることがある。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。

図１は、一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置のブロック図である。

一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム生成装置１００（以下、「マルチメディア・ストリーム生成装置」と称する）は、プログラム符号化部１１０、ＴＳ（transport stream）ストリーム生成部１２０及び伝送部１３０を含む。

一実施形態によるプログラム符号化部１１０は、符号化されたビデオデータ、符号化されたオーディオデータと共に、付加再生情報のデータを入力される。以下、説明の便宜のために、ビデオ映像と共に画面にディスプレイされる字幕や、メニューのような情報を「付加再生情報」といい、付加再生情報を生成するためのデータを「付加データ」とする。付加データは、テキスト字幕データ、字幕データ及び字幕メッセージなどを含んでもよい。

一実施形態によって、三次元ビデオ映像と共に、字幕が三次元で再生されるように、付加再生情報のデプス感を調節することができる。このために、一実施形態によるプログラム符号化部１１０は、付加再生情報を三次元で再生するための情報が付加データに含まれるように、付加データを生成してもよい。以下、字幕などの付加再生情報を三次元で再生するための情報を「三次元再生情報」とする。

プログラム符号化部１１０は、符号化されたビデオデータ、符号化されたオーディオデータ、三次元再生情報が含まれた符号化された付加データを利用し、ビデオＥＳ（elementary stream）、オーディオＥＳ、付加データストリームを生成する。本発明の実施形態によって、プログラム符号化部１１０は、コントロールデータなどの各種データを含む補助情報を利用し、補助情報ストリームをさらに生成することもできる。補助情報ストリームは、ＰＭＴテーブル（program map table）、ＰＡＴテーブル（program association table）などのＰＳＩ情報（program specific information）、ＡＴＳＣＰＳＩＰ情報（advanced television standards committee program specific information protocol）またはＤＶＢＳＩ情報（digital video broadcasting service information）などのセクション情報を含んでもよい。

一実施形態によるプログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳ及び付加データストリームをパケット化し、ビデオＰＥＳパケット（packetized elementary stream）、オーディオＰＥＳパケット、付加データＰＥＳパケットを生成し、補助情報パケットを生成する。

一実施形態によるＴＳストリーム生成部１２０は、プログラム符号化部１１０から出力されたビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットを多重化し、ＴＳストリームを生成する。一実施形態による伝送部１３０は、ＴＳストリーム生成部１２０から出力されたＴＳストリームを、所定チャンネルを介して伝送する。

付加再生情報が字幕である場合、字幕を三次元で再生するためには、信号出力装置（図示せず）は、三次元再生情報を利用し、左目用字幕及び右目用字幕をそれぞれ生成し、これを交互に出力しなければならない。以下、三次元再生情報に含まれた情報でもって、字幕のデプス（depth）程度を表示する情報を、オフセット情報とする。オフセット情報は、左目用字幕及び右目用字幕を生成するために、字幕が表示される領域が、本来の位置から移動しなければならない距離を示す移動値、字幕が表示される領域が三次元で再生されるときの字幕のデプス程度を示す字幕のデプス値、左目用字幕と右目用字幕とのディスパリティ（disparity）、両眼視差（parallax）のうち一つ以上を含む。

以下、多様な実施形態で、オフセット情報のうち、ディスパリティ、デプス値及び座標で表示される移動値のようないずれか１つの例のみを例示するとしても、１つの例のみで例示されたオフセット情報を利用した実施形態が、他のオフセット情報を利用しても、同様に具現される。

一実施形態による付加再生情報のオフセット情報は、左目用字幕及び右目用字幕のうち、いずれか１つの視点の字幕の位置に比べて、残りの視点の字幕の相対的な移動量を含んでもよい。

付加再生情報のオフセット情報は、字幕と共に再生されるビデオ映像のデプス感情報、すなわち、ビデオ映像のオフセット情報を基準として生成することもできる。ビデオ映像のオフセット情報は、左目用映像と右目用映像とで、ビデオ映像が本来の位置から移動しなければならない距離を示す移動値、映像が三次元で再生されるときの映像のデプス程度を示す映像のデプス値、左目用映像と右目用映像とのディスパリティ、両眼視差のうち一つ以上を含んでもよい。また、ビデオ映像のオフセット情報は、移動値、デプス値、ディスパリティなどが適用される方向を示すオフセット方向をさらに含んでもよい。付加再生情報のオフセット情報は、ビデオ映像を三次元で再生するためのビデオ映像オフセット情報のうち、一つに対比させた相対的な字幕の移動量やデプス値などを含んでもよい。

また、一実施形態による付加再生情報のオフセット情報は、ビデオ映像からの相対的なデプス、ディスパリティまたは両眼視差ではなく、ビデオや字幕が二次元で再生される画面、すなわち、基本平面（zero parallax，zero plane）を基準として生成することができる。

一実施形態による三次元再生情報には、付加再生情報のオフセット情報が、基本平面を基準にした絶対値で与えられたか、あるいはビデオ映像のデプス値や移動値などのビデオ映像オフセット情報を基準にした相対値でもって与えられたかを示すフラグをさらに含むこともできる。

三次元再生情報は、オフセット情報の適用方向をさらに含んでもよい。オフセット方向は、左目用字幕及び／または右目用字幕を生成するとき、字幕を左または右のうち、いずれの方向に移動しなければならないかを示す。オフセット方向は、左または右のうちいずれか１つの方向に与えられてもよいが、視差を利用して与えられてもよい。視差は、正の視差（positive parallax）、ゼロの視差（zero parallax）、負の視差（negative parallax）に区分される。オフセット方向が正の視差である場合、字幕は、画面よりさらに深く内側に入り込んだ位置に位置しなければならないということを示す。オフセット方向が負の視差である場合、字幕が画面より手前に飛び出しているような立体感を有する位置になければならないことを示す。場合によっては、オフセット方向がゼロの視差である場合は、字幕が画面平面に、二次元に結ばれた位置になければならないことを示す。

また、一実施形態による付加再生情報の三次元再生情報は、付加再生情報が表示される領域、すなわち、字幕が表示される領域を識別する情報をさらに含むこともできる。

本発明の第１実施形態によって、マルチメディア・ストリーム生成装置１００が、ＢＤＡ（Blu-ray Disc Association）で定めた光記録方式による場合、プログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳと共に、字幕のためのテキスト字幕（text subtitle）データを含むテキスト字幕ＥＳを生成する。プログラム符号化部１１０は、本発明の実施形態による三次元再生情報をテキスト字幕ＥＳに挿入させることができる。

第１実施形態によって、プログラム符号化部１１０は、テキスト字幕データに含まれたダイアログプレゼンテーション・セグメント（dialog presentation segment）に三次元再生情報を挿入することができる。

本発明の第２実施形態によって、マルチメディア・ストリーム生成装置１００が、ＤＶＢ（digital video broadcasting）方式による場合、プログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳ以外に、字幕データを含む付加データストリームを生成し、字幕ＰＥＳパケットを生成することができる。第２実施形態によるプログラム符号化部１１０は、三次元再生情報を字幕データに含まれた構成ページ（composition page）内のページ構成セグメント（page composition segment）に挿入することができる。または、第２実施形態によるプログラム符号化部１１０は、三次元再生情報を定義する新たなセグメントを生成し、字幕データに含まれた構成ページに、三次元再生情報を定義するセグメントを挿入することもできる。プログラム符号化部１１０は、字幕のページに共通して適用されるページ別オフセット情報、及び字幕のページ内の領域それぞれに対して適用される領域別オフセット情報のうち、少なくとも一つを三次元再生情報に挿入することができる。

本発明の第３実施形態によって、マルチメディア・ストリーム生成装置１００が、ＡＮＳＩ／ＳＣＴＥ（American National Strandard Institue/Society of Cable Telecommunications Engineers）方式による場合、プログラム符号化部１１０は、ビデオＥＳ、オーディオＥＳだけではなく、字幕データを含むデータストリームを生成し、字幕ＰＥＳパケットを生成することができる。第３実施形態によるプログラム符号化部１１０は、三次元再生情報を字幕ＰＥＳパケット及び字幕ＰＥＳパケットのヘッダのうち、少なくとも一つに挿入することができる。三次元再生情報は、ビットマップ（bitmap）及びフレーム（frame）のうち、少なくとも１つのオフセット情報及びオフセット方向などを含むようにしてもよい。

第３実施形態によるプログラム符号化部１１０は、第３実施形態による字幕データ内の字幕メッセージ（subtitle message）に、字幕のキャラクタ要素及びフレーム要素にいずれも適用されるオフセット情報を挿入することができる。または、第３実施形態によるプログラム符号化部１１０は、字幕データに、字幕のキャラクタ要素に係わるオフセット情報、及びフレーム要素に係わるオフセット情報のうち、少なくとも一つを別途に挿入することもできる。

第３実施形態によるプログラム符号化部１１０は、字幕タイプ情報であって、左目用字幕及び右目用字幕のうち、付加視点の字幕についての情報を指す字幕タイプ情報を、三次元再生情報に追加することができる。この場合、第３実施形態によるプログラム符号化部１１０は、付加視点の字幕に係わる座標値などを含むオフセット情報を、三次元再生情報にさらに挿入することができる。

第３実施形態によるプログラム符号化部１１０は、字幕タイプ情報に字幕ディスパリティ・タイプを追加し、字幕データに、左目用字幕と右目用字幕とのうち、基本視点字幕に対比させた付加視点字幕の字幕のディスパリティ情報を、三次元再生情報にさらに挿入することができる。

従って、一実施形態によるマルチメディア・ストリーム生成装置１００は、字幕をＢＤ（blu-ray disc）方式、ＤＶＢ（digital video broadcasting）方式またはケーブル放送方式によって再生するために、各通信方式によって三次元再生情報を生成し、生成された三次元再生情報を付加データに挿入して付加データストリームを生成し、付加データストリームを、ビデオＥＳデータ、オーディオＥＳストリームまたは補助ストリームと共に多重化して伝送することができる。

三次元再生情報は、受信端（図示せず）で、ビデオデータと共に、付加再生情報を三次元で再生するのに利用することができる。

一実施形態によるマルチメディア・ストリーム生成装置１００によれば、ＢＤ、既存ＭＰＥＧ（moving picture experts group）ＴＳストリーム方式に基づくＤＶＢ方式、ケーブル方式などの多様な通信方式との互換性を維持し、三次元再生情報が挿入された付加データを、ビデオＥＳ、オーディオＥＳと共に多重化して伝送することができる。

図２は、一実施形態による付加再生情報の三次元再生のためのマルチメディア・ストリーム受信装置２００のブロック図である。

一実施形態によるテキストの三次元再生のためのマルチメディア・ストリーム受信装置２００は、受信部２１０、逆多重化部２２０、デコーダ２３０及び再生部２４０を含む。

一実施形態による受信部２１０は、二次元ビデオ及び三次元ビデオのうち少なくとも一つを含むビデオデータを含むマルチメディア・ストリームに係わるＴＳストリームを受信する。マルチメディア・ストリームは、ビデオと共に再生されるための字幕を含む付加データを含む。本発明の実施形態によって、付加データには、付加データを三次元で再生するための三次元再生情報が含まれている。

一実施形態による逆多重化部２２０は、受信部２１０によって受信されたＴＳストリームを入力されて逆多重化し、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報データを抽出する。

一実施形態による逆多重化部２２０は、ビデオＰＥＳパケット、オーディオＰＥＳパケット、付加データＰＥＳパケット及び補助情報パケットから、ビデオＥＳ、オーディオＥＳ、付加データストリーム及びプログラム関連情報を抽出する。付加データストリームには、三次元再生情報が含まれている。

一実施形態によるデコーダ２３０は、逆多重化部２２０から、ビデオＥＳ、オーディオＥＳ、付加データストリーム及びプログラム関連情報を入力され、入力されたストリームらから、ビデオ、オーディオ、付加データ及び付加再生情報を復元し、付加データから三次元再生情報を抽出する。

一実施形態による再生部２４０は、デコーダ２３０によって復元されたビデオ、オーディオを再生する。また一実施形態による再生部２４０は、三次元再生情報に基づいて、付加データを三次元で再生することができる。

一実施形態によるマルチメディア・ストリーム受信装置２００が抽出して利用する付加データ及び三次元再生情報は、一実施形態によるマルチメディア・ストリーム伝送装置１００を参考にして述べた付加データ及び三次元再生情報に対応する。

一実施形態による再生部２４０は、三次元再生情報に含まれたオフセット情報及びオフセット方向に基づいて、字幕などの付加再生情報を基準位置から、オフセットほどオフセット方向に移動させた位置で再生することができる。

一実施形態による再生部２４０は、付加再生情報が二次元基本平面に対比させて、オフセットほど正または負の方向に移動した位置で表示されるように、付加再生情報を再生することができる。または、一実施形態による再生部２４０は、付加再生情報と共に再生されるビデオ映像のオフセット情報、すなわち、ビデオ映像のデプス、ディスパリティ及び両眼視差などを基に、三次元再生情報に含まれたオフセットほど正または負の方向に移動した位置で、付加再生情報が表示されるように再生することができる。

一実施形態による再生部２４０は、左目用字幕及び右目用字幕のうち１つの視点の字幕を、本来の位置に対比させて、オフセットほど正の方向に移動した位置に表示させ、残りの視点字幕を、本来の位置に対比させて、オフセットほど負の方向に移動した位置に表示させ、字幕を三次元で再生することができる。

一実施形態による再生部２４０は、左目用字幕及び右目用字幕のうち１つの視点の字幕を、残りの視点字幕の位置に対比させて、オフセットほど移動した位置で表示させ、字幕を三次元で再生することもできる。

一実施形態による再生部２４０は、左目用字幕及び右目用字幕それぞれについて、独立して設定されたオフセット情報を基に、それぞれ左目用字幕及び右目用字幕の位置を移動させ、三次元で字幕を再生させることもできる。

第１実施形態によって、マルチメディア・ストリーム受信装置２００が、ＢＤＡで定めた光記録方式による場合、逆多重化部２２０は、ＴＳストリームから、ビデオＥＳ、オーディオＥＳだけではなく、テキスト字幕データが含まれた付加データストリームを抽出することができる。第１実施形態によるデコーダ２３０は、付加データストリームから、テキスト字幕データを抽出することができる。また、第１実施形態による逆多重化部２２０またはデコーダ２３０は、テキスト字幕データに含まれたダイアログプレゼンテーション・セグメント（dialog presentation segment）から、三次元再生情報を抽出することができる。本発明の実施形態によって、ダイアログプレゼンテーション・セグメントには、字幕が表示される領域の個数、及び領域の個数ほどのオフセット情報が含まれるようにする。

第２実施形態によって、マルチメディア・ストリーム受信装置２００が、ＤＶＢ方式による場合、逆多重化部２２０は、ＴＳストリームから、ビデオＥＳ、オーディオＥＳだけではなく、字幕データを含む付加データストリームを抽出することができる。第２実施形態によるデコーダ２３０は、付加データストリームから、字幕セグメント形態の字幕データを抽出することができる。デコーダ２３０は、三次元再生情報を、字幕データに含まれた構成ページ内のページ構成セグメントから抽出することができる。デコーダ２３０は、ページ構成セグメントから、字幕のページ別オフセット情報、及び字幕のページ内の領域別オフセット情報のうち、少なくとも一つをさらに抽出することができる。

第２実施形態によってデコーダ２３０は、三次元再生情報を、字幕データに含まれた構成ページ内に新たに定義されたデプス定義セグメント（depth definition segment）から抽出することもできる。

第３実施形態によって、マルチメディア・ストリーム受信装置２００が、ＡＮＳＩ／ＳＣＴＥ方式による場合、逆多重化部２２０は、ＴＳストリームから、ビデオＥＳ、オーディオＥＳだけではなく、字幕データが含まれた付加データストリームを抽出することができる。第３実施形態によるデコーダ２３０は、付加データストリームから、字幕データを抽出することができる。字幕データには、字幕メッセージが含まれている。第３実施形態による逆多重化部２２０またはデコーダ２３０は、字幕ＰＥＳパケット及び字幕ＰＥＳパケットのヘッダのうち少なくとも一つから、三次元再生情報を抽出することができる。

第３実施形態によるデコーダ２３０は、第３実施形態による字幕データ内の字幕メッセージから、字幕のキャラクタ要素及びフレーム要素に共通して適用されるオフセット情報、または独立してそれぞれ適用されるオフセット情報を抽出することができる。第３実施形態によるデコーダ２３０は、字幕メッセージに含まれたシンプルビットマップ情報から、三次元再生情報を抽出することができる。デコーダ２３０は、字幕メッセージに含まれた、三次元再生情報を定義する記述子（descriptor）から、三次元再生情報を抽出することができる。記述子は、キャラクタ及びフレームのうち少なくとも１つのオフセット情報、並びにオフセット方向を含んでもよい。

字幕メッセージには、字幕タイプが含まれてもよい。字幕タイプが付加視点字幕を指す場合、字幕メッセージには、付加視点字幕についての情報がさらに含まれている。付加視点字幕についての情報は、付加視点字幕のフレーム座標、デプス値、移動値、視差やディスパリティなどのオフセット情報を含んでもよい。または、付加視点字幕についての情報は、基準視点字幕に係わる付加視点字幕の移動値やディスパリティ、視差などを含んでもよい。

この場合、デコーダ２３０は、字幕メッセージに含まれた付加視点字幕についての情報を抽出し、これを利用して、付加視点字幕を生成することができる。

マルチメディア・ストリーム受信装置２００は、ＢＤ方式、ＤＶＢ方式またはケーブル放送方式によって、受信されたマルチメディア・ストリームから、付加データ及び三次元再生情報を抽出し、これを利用して、左目用字幕及び右目用字幕を生成し、左目用字幕及び右目用字幕を交互に再生し、字幕を三次元で再生することができる。

マルチメディア・ストリーム受信装置２００によれば、既存のＭＰＥＧ
ＴＳストリーム方式に基づくＢＤ方式、ＤＶＢ方式、ケーブル方式などの多様な通信方式との互換性を維持し、三次元ビデオの再生と共に、字幕を三次元で再生することができる。

図３は、三次元ビデオ及び三次元付加再生情報が同時に再生される場面を図示している。

字幕やメニューなどの付加再生情報が表示されるテキスト画面３２０は、ビデオ映像のオブジェクト３００，３１０より視聴者側にさらに突出して再生されてこそ、視聴者が疲労感または違和感なしに、ビデオ映像と付加再生情報とを視聴することができる。

図４は、三次元ビデオ及び三次元付加再生情報が逆転して再生される現象を図示している。図４のように、ビデオのオブジェクト映像３１０より、付加再生情報画面３２０が視聴者から遠く位置して再生される場合、オブジェクト映像３１０が付加再生情報画面３２０を隠す。この場合、視聴者は、ビデオ映像と付加再生情報とを視聴するとき、疲労感または違和感を感じることがある。

以下、図５ないし図９を参照しつつ、第１実施形態によって、三次元再生情報を利用しつつ、テキスト字幕を三次元で再生する方法及びその装置について記述する。

図５は、本発明の第１実施形態によるテキスト字幕ストリーム５００を図示した図である。テキスト字幕ストリーム５００には、１つのダイアログスタイル・セグメント（ＤＳＳ：dialog style segment）５１０と、一つ以上のダイアログプレゼンテーション・セグメント（ＤＰＳ：dialog presentation segment）５２０とが含まれている。

ダイアログスタイル・セグメント５１０には、ダイアログプレゼンテーション・セグメント５２０に適用されるスタイル情報（style information）が保存されており、ダイアログプレゼンテーション・セグメント５２０には、ダイアログ情報（dialog information）が含まれている。

ダイアログスタイル・セグメント５１０に含まれているスタイル情報は、テキスト情報を画面上にどのように出力するかを示す情報であり、画面上で字幕が表示される領域であるダイアログ領域を示すダイアログ領域情報、ダイアログ領域内に含まれてテキストが使われるテキストボックス領域を示すテキストボックス領域情報、及び字幕に適用されるフォントの種類や大きさなどを指定するフォント情報のうち一つ以上を含む。

ダイアログ領域情報は、画面の左上端地点を基準としたとき、ダイアログ領域が出力される位置、ダイアログ領域の横軸長、縦軸長のうち一つ以上を含む。テキストボックス領域情報は、ダイアログ領域の左上端地点を基に、テキストボックス領域が出力される位置、テキストボックス領域の横軸長、縦軸長のうち一つ以上を含む。

１つの画面には、複数個のダイアログ領域が互いに異なる位置に出力されてもよいので、ダイアログスタイル・セグメント５１０には、複数個のダイアログ領域それぞれに係わるダイアログ領域情報が含まれるようにすることもできる。

ダイアログプレゼンテーション・セグメント５２０に含まれているダイアログ情報は、画面にビットマップに変換され、すなわち、レンダリング（rendering）され、字幕として表示されるテキストストリング（text stiring）、テキスト情報をレンダリングするとき適用する参照スタイル情報、字幕が画面で現れて消える時間を指定するダイアログ出力時間情報のうち、一つ以上を含む。また、ダイアログ情報は、字幕の一部にのみスタイルを適用して強調するためのインラインスタイル情報を含んでもよい。

本発明の第１実施形態によれば、テキスト字幕データを三次元で再生するための三次元再生情報が、ダイアログプレゼンテーション・セグメント５２０に含まれる。三次元再生情報は、左目用字幕及び右目用字幕で、字幕が表示されるダイアログ領域の位置を調節するのに使われる。図２の再生部２４０は、三次元再生情報を利用して、ダイアログ領域の位置を調節することによって、ダイアログ領域に含まれて出力される字幕を、三次元で再生することができる。三次元再生情報は、ダイアログ領域が、本来の位置から移動しなければならない値や、移動しなければならない座標値、またはデプス値やディスパリティ、視差などのオフセット情報を含んでもよい。また、三次元再生情報は、オフセット情報が適用される方向を含んでもよい。

ある画面に、テキスト字幕が出力されるダイアログ領域が複数個である場合、ダイアログプレゼンテーション・セグメント５２０には、複数個のダイアログ領域それぞれに係わるオフセット情報を含む三次元再生情報が含まれてもよい。再生部２４０は、複数個のダイアログ領域それぞれについて三次元再生情報を利用し、ダイアログ領域の位置を調節することができる。

このように、本発明の実施形態によれば、ダイアログスタイル・セグメント５１０に、ダイアログ領域を三次元で再生するための三次元再生情報が含まれる。

図６は、本発明の第２実施形態によって、三次元再生情報がダイアログプレゼンテーション・セグメント５２０に含まれたことを表現するシンタックス（syntax）を図示した図である。便宜上、ダイアログプレゼンテーション・セグメント５２０に含まれた情報のうち一部だけを図６のシンタックスに表示した。

図６で、シンタックスに表示されたnumber_of_regionsは、ダイアログ領域の個数を示す。ダイアログ領域は、最小１個以上定義され、１つの画面に、同時に複数個のダイアログ領域が出力される場合には、複数個のダイアログ領域が定義される。ダイアログ領域が複数個である場合、ダイアログプレゼンテーション・セグメント５２０には、複数個のダイアログ領域それぞれに適用する三次元再生情報が含まれている。

図６のシンタックスには、三次元再生情報がregion_shift_valueと表記されている。三次元再生情報は、ダイアログ領域が移動しなければならない移動方向、及び移動しなければならない距離や座標値、デプス値などを含んでもよい。

このように、本発明の実施形態によれば、三次元再生情報がテキスト字幕ストリーム内部に含まれていてもよい。

図７は、本発明の第１実施形態による信号処理方法を図示したフローチャートである。図７を参照すれば、信号処理装置（図示せず）は、ダイアログ領域オフセット情報を抽出する（段階７１０）。信号処理装置は、テキスト字幕データに含まれたダイアログプレゼンテーション・セグメント５２０から、ダイアログ領域オフセット情報を抽出することができる。１つの画面に同時に出力されるダイアログ領域は、複数個になってもよい。その場合、信号処理装置は、複数のダイアログ領域それぞれに係わるダイアログ領域オフセット情報を抽出することができる。

信号処理装置は、ダイアログ領域オフセット情報を利用し、字幕が表示されるダイアログ領域の位置を調節する（段階７２０）。信号処理装置は、テキスト字幕データに含まれたダイアログスタイル・セグメント５１０から、ダイアログ領域情報を抽出し、ダイアログ領域情報と、ダイアログ領域オフセット情報とを利用し、ダイアログ領域の最終位置を求める。

ダイアログ領域オフセット情報が複数個である場合、信号処理装置は、複数個のダイアログ領域それぞれに係わるダイアログ領域オフセット情報を利用し、複数個のダイアログ領域それぞれの位置を調節する。

このように、本発明の実施形態によれば、ダイアログ領域オフセット情報を利用して、ダイアログ領域に含まれた字幕を三次元で再生させることができる。

図８は、本発明の第１実施形態による信号処理装置を図示する。図８の信号処理装置８００は、テキスト字幕データを利用して、字幕を三次元で再生する装置であり、テキスト字幕デコーダ８１０と、グラフィック平面８３０，８４０とを含んでもよい。

テキスト字幕デコーダ８１０は、テキスト字幕データをデコーディングして字幕を生成する。テキスト字幕デコーダ８１０は、テキスト字幕プロセッサ８１１、ダイアログ構成バッファ８１３、ダイアログプレゼンテーション・コントローラ８１５、ダイアログバッファ８１７、テキストレンダラ８１９及びビットマップオブジェクト・バッファ８２１を含む。

左目用グラフィック平面８３０と、右目用グラフィック平面８４０には、それぞれ左目用グラフィックと、右目用グラフィックとが描かれる。左目用グラフィックは、左目用字幕に対応し、右目用グラフィックは、右目用字幕に対応する。信号処理装置８００は、左目用グラフィック平面８３０と、右目用グラフィック平面８４０とに描かれた左目用字幕及び右目用字幕を、左目用ビデオ映像と右目用ビデオ映像とに、それぞれオーバーレイした後、最小１２０分の１秒単位で交互に出力する。

図８には、左目用グラフィック平面８３０と、右目用グラフィック平面８４０とがいずれも図示されているが、これは、本発明の一実施形態に過ぎず、信号処理装置８００に１つのグラフィック平面だけ含まれうるということは言うまでもない。その場合、信号処理装置８００は、１つのグラフィック平面に、左目用字幕及び右目用字幕を交互に描き、字幕を三次元で再生することができる。

ＰＩＤ（packet identifier）フィルタ（図示せず）は、トランスポート・ストリーム（ＴＳ）からテキスト字幕データをフィルタリングし、これを字幕プリローディング・バッファ（図示せず）に伝送する。字幕プリローディング・バッファは、テキスト字幕データをあらかじめ保存していて、テキスト字幕デコーダ８１０に伝送する。

ダイアログプレゼンテーション・コントローラ８１５は、信号処理装置８００全般を制御し、本発明の実施形態によって、テキスト字幕データから三次元再生情報を抽出し、これを利用して、字幕を三次元で再生させる。

テキスト字幕デコーダ８１０に含まれたテキスト字幕プロセッサ８１１は、ダイアログスタイル・セグメント５１０に含まれたスタイル情報を、ダイアログ構成バッファ８１３に送る。また、テキスト字幕プロセッサ８１１は、ダイアログプレゼンテーション・セグメント５２０をパージングし、インラインスタイル情報とテキストストリングとをダイアログバッファ８１７に伝送し、字幕が画面に出力される時間を指定するダイアログ出力時間情報を、ダイアログ構成バッファ８１３に送る。

ダイアログバッファ８１７は、テキストストリングとインラインスタイル情報とを保存し、ダイアログ構成バッファ８１３は、ダイアログスタイル・セグメント５１０と、ダイアログプレゼンテーション・セグメント５２０とのレンダリングのための情報を保存する。

テキストレンダラ８１９は、ダイアログバッファ８１７から、テキストストリング、インラインスタイル情報を受け、ダイアログ構成バッファ８１３から、レンダリングのための情報を受ける。また、テキストレンダラ８１９は、フォントプリローディング・バッファ（図示せず）から、フォントデータを受ける。テキストレンダラ８１９は、フォントデータを参照し、ダイアログスタイル・セグメント５１０に含まれたスタイル情報を適用して、テキストストリングをビットマップオブジェクトに変換する。テキストレンダラ８１９は、生成されたビットマップオブジェクトを、ビットマップオブジェクト・バッファ８２１に伝送する。

ダイアログプレゼンテーション・セグメント５２０に、複数のダイアログ領域が含まれている場合、テキストレンダラ８１９は、各領域別に複数のビットマップオブジェクトを生成することができる。

ビットマップオブジェクト・バッファ８２１は、レンダリングされたビットマップオブジェクトを保存していて、ダイアログプレゼンテーション・コントローラ８１５の制御によって、ビットマップオブジェクトをグラフィック平面に出力する。ダイアログプレゼンテーション・コントローラ８１５は、ダイアログ構成バッファ８１１に保存されているダイアログ領域情報を利用し、ビットマップオブジェクトが出力される位置を求め、その位置に、ビットマップオブジェクトが出力されるように制御する。

ダイアログプレゼンテーション・コントローラ８１５は、信号処理装置８００が字幕を三次元で再生することができるか否かを判断する。ダイアログプレゼンテーション・コントローラ８１５は、信号処理装置８００が字幕を三次元で再生することができない場合、ダイアログ領域情報で表示する位置に、ビットマップオブジェクトを出力し、字幕を二次元で再生する。ダイアログプレゼンテーション・コントローラ８１５は、信号処理装置８００が字幕を三次元で再生することができる場合、三次元再生情報を抽出する。ダイアログプレゼンテーション・コントローラ８１５は、ビットマップオブジェクト・バッファ８２１に保存されているビットマップオブジェクトをグラフィック平面に描くとき、三次元再生情報を利用し、ビットマップオブジェクトが、グラフィック平面に描かれる位置を調節し、字幕を三次元で再生することができる。すなわち、ダイアログプレゼンテーション・コントローラ８１５は、ダイアログスタイル・セグメント５１０から抽出したダイアログ領域情報を利用し、ダイアログ領域が表示される本来の位置を求め、求めた位置で、三次元再生情報に含まれた移動方向及び移動値によって、ダイアログ領域の位置を調節する。

ダイアログプレゼンテーション・コントローラ８１５は、三次元再生情報をテキスト字幕データに含まれたダイアログプレゼンテーション・セグメント５２０から抽出した後、その識別子で識別される三次元再生情報をダイアログ領域オフセットテーブルから識別し、抽出することができる。

信号処理装置８００にグラフィック平面が２つある場合、ダイアログプレゼンテーション・コントローラ８１５は、三次元再生情報に含まれた移動方向を利用し、左目用グラフィック平面８３０上で、ダイアログ領域を左側に移動し、右目用グラフィック平面８４０上で、ダイアログ領域を右側に移動するか、あるいは左目用グラフィック平面８３０上で、ダイアログ領域を右側に移動し、右目用グラフィック平面８４０上で、ダイアログ領域を左側に移動するかを決定する。

ダイアログプレゼンテーション・コントローラ８１５は、左目用グラフィック平面と、右目用グラフィック平面との上で、決定された移動方向に、三次元再生情報に含まれた座標値に対応する位置、または三次元再生情報に含まれた移動値ほど、またはデプス値に対応する距離ほど移動した位置に、ダイアログ領域を位置させる。

信号処理装置８００にグラフィック平面が１個ある場合、ダイアログプレゼンテーション・コントローラ８１５は、１つのグラフィック平面に、左目用字幕のための左目用グラフィックと、右目用字幕のための右目用グラフィックとを交互に送る。すなわち、信号処理装置８００は、三次元再生情報で指す移動方向に沿って、出力部８３０は、交互にダイアログ領域の位置を、左側及び右側の順序、または右側及び左側の順序で、移動値ほど移動させ、グラフィック平面に送る。

このように、本発明の実施形態によれば、信号処理装置は、三次元再生情報を利用し、字幕が表示されるダイアログ領域の位置を調節し、字幕を三次元で再生することができる。

図９は、本発明の第１実施形態によって、三次元再生情報を利用して生成された、左目用グラフィックと、右目用グラフィックとが、それぞれ左目用ビデオ映像と、右目用ビデオ映像とにオーバーレイされたところを図示した図である。

図９を参照すれば、左目用グラフィック及び右目用グラフィックには、ダイアログ領域がREGIONとして表記されており、ダイアログ領域中に字幕が含まれたテキストボックス（TEXT BOX）が表記されている。左目用グラフィック及び右目用グラフィックには、ダイアログ領域がそれぞれ反対方向に、所定値ほど移動することが分かる。図９を参照すれば、字幕が出力されるテキストボックスは、ダイアログ領域を基に位置が与えられるので、ダイアログ領域が移動する場合、ダイアログ領域に含まれたテキストボックスもまた移動する。従って、テキストボックスに出力される字幕もまた位置が移動する。図９に図示されたグラフィックを交互に再生する場合、視聴者は、字幕を三次元で視聴する。

図１０は、マルチメディア・ストリームを生成するエンコーディング装置について説明するための図である。シングルプログラム符号化部１０００は、ビデオ符号化部（video encoder）１０１０、オーディオ符号化部（audio encoder）１０２０、パケッタイザ（packetizer）１０３０，１０４０、ＰＳＩ生成部１０６０及び多重化部（ＭＵＸ：multiplexer）１６７０を含む。

ビデオ符号化部１０１０及びオーディオ符号化部１０２０は、ビデオデータ及びオーディオデータを入力され、それぞれ符号化する。ビデオ符号化部１０１０及びオーディオ符号化部１０２０は、符号化されたビデオデータ及びオーディオデータを、それぞれパケッタイザ１０３０，１０４０に送る。パケッタイザ１０３０，１０４０は、データをパケット化し、ビデオＰＥＳパケット及びオーディオＰＥＳパケットを生成する。本発明の実施形態で、シングルプログラム符号化部１０００は、字幕生成部（subtitle generator station）１０５０から字幕データを入力される。図１０には、字幕生成部１０５０が、シングルプログラム符号化部１０００と別個のユニットとして図示されているが、本発明はこれに限定されるものではなく、字幕生成部１０５０は、シングルプログラム符号化部１０００内部の１つのユニットとして含まれてもよい。

ＰＳＩ生成部１０６０は、ＰＡＴテーブル（program association table）及びＰＭＴテーブル（program map table）などの各種プログラム関連情報を生成する。

多重化部（ＭＵＸ）１０７０は、パケッタイザ１０３０，１０４０から、ビデオＰＥＳパケット及びオーディオＰＥＳパケットだけではなく、ＰＥＳパケット形態の字幕データパケット、及びＰＳＩ生成部１０６０から入力された各種プログラム関連情報をセクション形態で入力され、それらを多重化し、１つのプログラムに係わるＴＳストリームを生成して出力する。

シングルプログラム符号化部１０００が、ＤＶＢ通信方式によって、ＴＳストリームを生成して伝送した場合、ＤＶＢセットトップボックス（ＤＶＢ set-top box）１０８０は、ＴＳストリームを受信してパージングし、ビデオ、オーディオ及び字幕を復元することができる。

シングルプログラム符号化部１０００が、ケーブル通信方式によって、ＴＳストリームを生成して伝送した場合、ケーブルセットトップボックス（cable set-top box）１０８５は、ＴＳストリームを受信してパージングし、ビデオ、オーディオ及び字幕を復元することができる。ＴＶ（television）１０９０は、ビデオ映像及びオーディオ音響を再生し、字幕をビデオ映像にオーバーレイして再生する。

以下、第２実施形態によって、ＤＶＢ通信方式によって生成されて伝送された三次元再生情報を利用し、字幕を三次元で再生する方法及び装置について記述する。

第２実施形態は、表１ないし表２１及び図１０ないし図２３を参照しつつ説明する。

図１１は、ＤＶＢ通信方式による字幕ストリームの階層的構造を図示している。字幕ストリームは、プログラム・レベル１１００、エポック・レベル１１１０、ディスプレイシーケンス・レベル１１２０、領域レベル１１３０、オブジェクト・レベル１１４０の階層的構造によって構成される。

字幕ストリームは、デコーダの動作モデルを考慮し、エポック１１１２，１１１４，１１１６という単位で構成される。１つのエポックに含まれたデータは、次のエポックのデータが入るまで、字幕デコーダのバッファに保存される。１つのエポックは、一つ以上のディスプレイシーケンス単位１１２２，１１２４，１１２６から構成される。

ディスプレイシーケンス単位１１２２，１１２４，１１２６は、完全なグラフィック場面を示し、数秒間画面上で維持される。ディスプレイシーケンス単位１１２２，１１２４，１１２６は、一つ以上の領域単位１１３２，１１３４，１１３６から構成される。領域単位１１３２，１１３４，１１３６は、水平サイズ、垂直サイズ及び所定色相を有する領域であり、画面に字幕が含まれて出力される領域を示す。領域単位１１３２，１１３４，１１３６は、当該領域内に表示される字幕であるオブジェクト１１４２，１１４４，１１４６から構成される。

図１２及び図１３は、ＤＶＢ通信方式によって、字幕のＰＥＳパケットを指すＰＭＴテーブル内の字幕記述子の２種表現方式を図示している。

１つの字幕ストリームは、一つ以上の字幕サービスを伝送することができる。一つ以上の字幕サービスが、１つのパケットに多重化され、１つのＰＩＤ情報を割り当てられて伝送されたり、あるいはそれぞれの字幕サービスが、別個のパケットに構成され、別個のＰＩＤ情報を割り当てられ、それぞれ伝送されてもよい。プログラムの字幕サービスに係わるＰＩＤ情報、言語及びページ識別子が、関連ＰＭＴテーブルに定義されている。

図１２は、一つ以上の字幕サービスが、１つのパケットに多重化された場合の字幕記述子及び字幕ＰＥＳパケットを図示している。一つ以上の字幕サービスが、１つのＰＥＳパケット１２４０に多重化され、同じＰＩＤ情報Ｘを割り当てられ、これにより、字幕サービスのための複数枚のページ１２４２，１２４４，１２４６も、同じＰＩＤ情報Ｘに従属する。

補助ページ（ancillary page）１２４６の字幕データは、互いに異なる字幕データ１２４２，１２４４に対して共有されるデータである。

ＰＭＴテーブル１２００は、字幕データに係わる字幕記述子１２１０を含んでもよい。字幕記述子１２１０は、字幕データについての情報をパケット別に定義する。同じパケット内では、字幕サービスについての情報がページ別に分類されてもよい。すなわち、字幕記述子１２１０は、ＰＩＤ情報ＸであるＰＥＳパケット１２４０内の字幕データ１２４２，１２４４，１２４６についての情報を含み、ＰＥＳパケット１２４０内の字幕データのページ１２４２，１２４４別に定義された字幕データ情報１２２０，１２３０は、それぞれの言語情報「language」、構成ページ識別子「composition-page_id」及び共有ページ識別子「ancillary-page_id」を含んでもよい。

図１３は、それぞれの字幕サービスが、別個のパケットに構成された場合の字幕記述子及び字幕ＰＥＳパケットを図示している。第１字幕サービスのための第１ページ１３５０は、第１ＰＥＳパケット１３４０から構成され、第２字幕サービスのための第２ページ１３７０は、第２ＰＥＳパケット１３６０から構成される。第１ＰＥＳパケット１３４０及び第２ＰＥＳパケット１３６０には、ＰＩＤ情報Ｘ及びＹがそれぞれ割り当てられる。

ＰＭＴテーブル１３００の字幕記述子１３１０は、複数個の字幕ＰＥＳパケットのＰＩＤ情報値を含み、複数個のＰＥＳパケットの字幕データのための情報を、ＰＥＳパケット別に定義することができる。すなわち、字幕記述子１３１０は、ＰＩＤ情報Ｘである第１
ＰＥＳパケット１３４０内の字幕データのページ１３５０のための字幕サービス情報１３２０、及びＰＩＤ情報Ｙの第２ＰＥＳパケット１３６０内の字幕データのページ１３７０のための字幕サービス情報１３３０を含んでもよい。

図１４は、ＤＶＢ通信方式による字幕データを含むデータストリーム構造の一例を図示している。

字幕デコーダ（図示せず）は、ＤＶＢ通信方式による字幕を含むＤＶＢＴＳストリーム１４００から、同じＰＩＤ情報が割り当てられた字幕ＴＳパケット１４０２，１４０４，１４０６をギャザリング（gathering）し、字幕ＰＥＳパケット１４１２，１４１４を構成する。それぞれのＰＥＳパケット１４１２，１４１４の開始部分を構成する字幕データ１４０２，１４０６は、当該ＰＥＳパケット１４１２，１４１４のヘッダを構成する。

それぞれの字幕ＰＥＳパケット１４１２，１４１４は、グラフィックオブジェクトの出力単位であるディスプレイセット１４２２，１４２４から構成される。ディスプレイセット１４２２は、複数枚の構成ページ（composition page）１４４２，１４４４及び補助ページ１４４６を含む。構成ページ１４４２，１４４４は、字幕ストリームの構成情報を含む。１枚の構成ページ１４４２は、ページ構成セグメント（page composition segment）１４５２、領域構成セグメント（region composition segment）１４５４、ＣＬＵＴ定義セグメント（ＣＬＵＴ（color lookup table） definition segment）１４５６及びオブジェクトデータ・セグメント（object data segment）１４５８を含む。１枚の補助ページ１４４６は、ＣＬＵＴ定義セグメント１４６２及びオブジェクトデータ・セグメント１４６４を含む。

図１５は、ＤＶＢ通信方式による構成ページ構造の一例を図示している。

構成ページ１５００は、１つのディスプレイ定義セグメント１５１０、１つのページ構成セグメント１５２０、一つ以上の領域構成セグメント１５３０，１５４０、一つ以上のＣＬＵＴ定義セグメント１５５０，１５６０、一つ以上のオブジェクトデータ・セグメント１５７０，１５８０、及び１つの終了セグメント（end of display set segment）１５９０）を含む。構成ページ１５００は、領域構成セグメント、ＣＬＵＴ定義セグメント、オブジェクトデータ・セグメントを複数個ずつ含んでもよい。ページ識別子が「１」である構成ページ１５００を構成するセグメント１５１０，１５２０，１５３０，１５４０，１５５０，１５６０，１５７０，１５８０，１５９０は、いずれもページ識別子「page ｉｄ」が「１」と定義される。それぞれの領域構成セグメント１５３０，１５４０に係わる領域識別子「region ｉｄ」は、領域別インデックスとして設定され、それぞれのＣＬＵＴ定義セグメント１５５０，１５６０に係わるＣＬＵＴテーブル識別子「ＣＬＵＴｉｄ」は、ＣＬＵＴテーブル別インデックスとして設定されてもよい。また、それぞれのオブジェクトデータ・セグメント１５７０，１５８０に係わるオブジェクト識別子「object ｉｄ」は、オブジェクトデータ別インデックスとして設定されてもよい。

以上、ディスプレイ定義セグメント、ページ構成セグメント、領域構成セグメント、ＣＬＵＴ定義セグメント、オブジェクトデータ・セグメント及び終了セグメントのシンタックスは、字幕セグメントの形態に符号化され、字幕ＰＥＳパケットのペイロード領域に挿入されてもよい。

表１は、ＤＶＢ字幕ＰＥＳパケット内の「ＰＥＳ＿packet＿data＿bytes」フィールドに保存される「ＰＥＳ＿data＿field」フィールドのシンタックスを示している。字幕ＰＥＳパケットに保存される字幕データは、「ＰＥＳ＿data＿field」フィールドの形態に符号化される。

「data＿identifier」フィールドは、現在のＰＥＳパケットデータが、ＤＶＢ字幕データであることを示すように、「０ｘ２０」値に固定される。「subtitle＿stream＿ｉｄ」フィールドは、現在字幕ストリームの識別子を含み、「０ｘ００」値に固定される。「end＿of＿ＰＥＳ＿data＿field＿marker」フィールドは、現在データフィールドがＰＥＳデータフィールド終了フィールドであるか否かを示す情報を含み、値「１１１１１１１１」に固定される。字幕セグメント「subtitling＿segment」フィールドのシンタックスは、表２の通りである。

「ｓｙｎｃ＿byteフィールドは、「００００１１１１」値に暗号化される。「segment＿lengthフィールド値を基にセグメントが復号化されるとき、同期化いかんを確認し、伝送パケットのロス（loss）いかんを判断するために、「ｓｙｎｃ＿byte」フィールドが利用される。

「segment＿type」フィールドは、セグメントデータ・フィールドに含まれたデータ種類についての情報を含む。

表３は、「segment＿type」フィールドによって定義されるセグメント・タイプ（segment type）を示している。

「page＿ｉｄ」フィールドは、「subtitling＿segment」に含まれた字幕サービスの識別子を含む。字幕記述子で、構成ページ識別子として設定された「page＿ｉｄ」値が割り当てられた字幕セグメントには、１つの字幕サービスに係わる字幕データが含まれる。また、字幕記述子で、補助ページ識別子として設定された「page＿ｉｄ」値が割り当てられた字幕セグメントには、複数個の字幕サービスが共有されるデータが含まれる。

「segment＿length」フィールドは、後続する「segment＿data＿field」フィールドに含まれたバイト数情報を含む。「segment＿data＿field」フィールドは、セグメントのペイロード領域であり、ペイロード領域のシンタックスは、セグメント・タイプによって変わりうる。セグメント・タイプ別ペイロード領域のシンタックスは、下記表４，５，７，１２，１３及び１５で例示する。

表４は、ディスプレイ定義セグメント「display＿definition＿segment」のシンタックスを図示している。

ディスプレイ定義セグメントは、字幕サービスの解像度を定義することができる。

「ｄｄｓ＿version＿number」フィールドは、ディスプレイ定義セグメントのバージョン情報を含む。「ｄｄｓ＿version＿number」フィールド値のバージョン番号は、ディスプレイ定義セグメントの内容が変更されるたびに、モジュロ（modulo）１６単位で増加する。

「display＿window＿flag」フィールド値が「１」に設定される場合、ディスプレイ定義セグメントと関連したＤＶＢ字幕ディスプレイセットは、「display＿width」フィールド及び「display＿height」フィールドで定義されたディスプレイ・サイズ内で、字幕が表示されるウィンドウ領域を定義する。この場合、ディスプレイ定義セグメントで、「display＿window＿horizontal＿position＿minimum」フィールド、「display＿window＿horizontal＿position＿maximum」フィールド、「display＿window＿vertical＿position＿minimum」フィールド及び「display＿window＿vertical＿position＿maximum」フィールドの値によって、ディスプレイ内のウィンドウ領域の大きさと位置とが定義される。

「display＿window＿flag」フィールド値が「０」に設定される場合、ＤＶＢ字幕ディスプレイセットは、「display＿width」フィールド及び「display＿height」フィールドで定義されたディスプレイ・サイズ内で、ウィンドウ領域なしに表現される。

「display＿width」フィールド及び「display＿height」フィールドは、それぞれディスプレイ・サイズの最大水平幅及び最大垂直高を含み、それぞれフィールド値が０〜４０９５の範囲で設定されてもよい。

「display＿window＿horizontal＿position＿minimum」フィールドは、ディスプレイ内で、現在ウィンドウ領域の水平最小位置を含む。ウィンドウ領域の水平最小位置は、ディスプレイの左側末端ピクセルを基に、ＤＶＢ字幕ディスプレイ・ウィンドウの左側末端ピクセル値でもって定義される。

「display＿window＿horizontal＿position＿maximum」フィールドは、ディスプレイ内で、ウィンドウ領域の水平最大位置を含む。ウィンドウ領域内で、水平最大位置は、ディスプレイの左側末端ピクセルを基に、ＤＶＢ字幕ディスプレイ・ウィンドウの右側末端ピクセル値でもって定義される。

「display＿window＿vertical＿position＿minimum」フィールドは、ディスプレイ内で、現在ウィンドウ領域の垂直最小ピクセル位置を含み、ディスプレイの上端ラインを基に、ＤＶＢ字幕ディスプレイ・ウィンドウの最上端ライン値が定義される。

「display＿window＿vertical＿position＿maximum」フィールドは、ディスプレイ内で、現在ウィンドウ領域の垂直最大ピクセル位置を含み、ディスプレイの上端ラインを基に、ＤＶＢ字幕ディスプレイ・ウィンドウの最下端ライン値が定義される。

表５は、ページ構成セグメント「page＿composition＿segment」のシンタックスを図示している。

「page＿time＿out」フィールドは、ページが有効ではなく、スクリーン上で消えるまでの期間についての情報を含み、秒（second）単位で設定される。「page＿version＿number」フィールド値は、ページ構成セグメントのバージョン番号を示し、ページ構成セグメントの内容が変更されるたびに、モジュロ１６単位で増加する。

「page＿state」フィールドは、ページ構成セグメントで記述された字幕ページ・インスタンス（page instance）の状態についての情報を含む。「page＿state」フィールド値は、ページ構成セグメントによる字幕ページを表示するためのデコーダの動作状態（status）を示すこともできる。表６は、「page＿state」フィールド値の内容を示している。

「processed＿length」フィールドは、デコーダによって処理される「while」ループ（loop）内に含まれたバイト数情報を含む。「region＿ｉｄ」フィールドは、ページ内の領域に係わる固有識別子を表示する。識別されたそれぞれの領域は、ページ構成で定義されたページ・インスタンスにディスプレイされてもよい。それぞれの領域は、「region＿vertical＿address」フィールド値の昇順（ascending order）によって、ページ構成セグメントに収録される。

「region＿horizontal＿address」フィールドは、ページ内の当該領域の上端左側ピクセルが表示される水平ピクセルの位置を定義し、「region＿vertical＿address」フィールドは、ページ内の当該領域の上端左、すなわち、ピクセルが表示される垂直ラインの位置を定義する。

表７は、領域構成セグメント「region＿composition＿segment」のシンタックスを図示している。

「region＿ｉｄ」フィールドは、現在領域の固有識別子を含む。

「region＿version＿number」フィールドは、現在領域のバージョン情報を含む。「region＿fill＿flag」フィールド値が「１」に設定された場合、現在領域のＣＬＵＴテーブルが変更された場合、または現在領域が長さが０ではないオブジェクト目録（object list）を具備する場合のうち、いずれか１つの条件を満足する場合、現在領域のバージョンが増加する。

「region＿fill＿flag」フィールド値が「１」に設定される場合、「region＿ｎ−bit＿pixel＿code」フィールドで定義された色相で、現在領域の背景が充填される。

「region＿width」フィールド及び「region＿height」フィールドは、それぞれ現在領域の水平幅情報及び垂直高情報を含み、ピクセル単位で設定される。「region＿level＿of＿compatibility」フィールドは、現在領域を復号化するために、デコーダが具備しなければならない最小限のＣＬＵＴタイプ情報を含み、表８によって定義される。

デコーダが指定された最小限のＣＬＵＴタイプを支援することができない場合、さらに低いレベルのＣＬＵＴタイプを要求する他の領域は、表示されてもよいが、現在領域は、表示されない。

「region＿depth」フィールドは、領域のピクセルデプス情報を含み、表９によって定義される。

「ＣＬＵＴ＿ｉｄ」フィールドは、現在領域に適用されるＣＬＵＴテーブルの識別子を含む。「region＿８−bit＿pixel−code」フィールド値は、「region＿fill＿flag」フィールドが設定された場合、現在領域の背景色として適用される８ビットＣＬＵＴテーブルの色相エントリを定義する。同様の方式で、「region＿４−bit＿pixel−code」フィールド値及び「region＿２−bit＿pixel−code」フィールド値は、それぞれ「region＿fill＿flag」フィールドが設定された場合、現在領域の背景色として適用される４ビットＣＬＵＴテーブルの色相エントリ、及び２ビットＣＬＵＴテーブルの色相エントリを定義する。

「object＿ｉｄ」フィールドは、現在領域で見られるオブジェクトの識別子を含み、「object＿type」フィールドは、表１０で定義されたオブジェクト・タイプ情報を含む。オブジェクト・タイプは、基底オブジェクトまたは構成オブジェクト、ビットマップ、文字または文字列に分類されてもよい。

「object＿provider＿flag」フィールドは、表１１によって、オブジェクトを提供する方式を示している。

「object＿horizontal＿position」フィールドは、現在領域内のオブジェクトデータが表示される相対的位置であり、現在オブジェクトの上端左側ピクセルが表示される水平ピクセルの位置情報を含む。すなわち、現在領域の左側末端を基に、現在オブジェクトの左側上端ピクセルまでのピクセル数が定義される。

「object＿vertical＿position」フィールドは、現在領域内のオブジェクトデータが表示される相対的位置であり、現在オブジェクトの上端左側ピクセルが表示される垂直ラインの位置情報を含む。すなわち、現在領域の上端を基に、現在オブジェクトまでの上端ラインまでのラインの個数が定義される。

「foreground＿pixel＿code」フィールドは、文字の前景色相として選択された８ビットＣＬＵＴテーブルの色相エントリ情報を含む。「background＿pixel＿code」フィールドは、文字の背景色相として選択された８ビットＣＬＵＴテーブルの色相エントリ情報を含む。

表１２は、ＣＬＵＴ定義セグメント「ＣＬＵＴ＿definition＿segment」のシンタックスを図示している。

「ＣＬＵＴ−ｉｄ」フィールドは、ページ内で、ＣＬＵＴ定義セグメントに含まれたＣＬＵＴテーブルの識別子を含む。「ＣＬＵＴ＿version＿number」フィールドは、ＣＬＵＴ定義セグメントのバージョン番号を示し、現在セグメントの内容が変更される場合、バージョン番号がモジュロ１６単位で増加する。

「ＣＬＵＴ＿entry＿ｉｄ」フィールドは、ＣＬＵＴエントリの固有識別子を含み、最初の識別子値は、０である。「２−bit／entry＿ＣＬＵＴ＿flag」フィールド値が「１」に設定される場合、現在ＣＬＵＴテーブルは、２ビットエントリとして構成されることが設定され、同様の方式で、「４−bit／entry＿ＣＬＵＴ＿flag」フィールド値または「８−bit／entry＿ＣＬＵＴ＿flag」フィールド値が「１」に設定される場合、現在ＣＬＵＴテーブルは、４ビットエントリまたは８ビットエントリとして構成されることが設定される。

「full＿range＿flag」フィールド値が「１」に設定される場合、「Ｙ＿value」フィールド、「Ｃｒ＿value」フィールド、「Ｃｂ＿value」フィールド及び「Ｔ＿value」フィールドに対して、フル８ビット解像度が適用される。

「Ｙ＿value」フィールド、「Ｃｒ＿value」フィールド及び「Ｃｂ＿value」フィールドは、それぞれ入力に係わるＣＬＵＴテーブルのＹ出力情報、Ｃｒ出力情報及びＣｂ出力情報を含む。

「Ｔ＿value」フィールドは、入力に係わるＣＬＵＴテーブルの透明度情報を含む。「Ｔ＿value」フィールド値が「０」である場合、透明度がないことを意味する。

表１３は、オブジェクトデータ・セグメント「object＿data＿segment」のシンタックスを図示している。

「object＿ｉｄ」フィールドは、ページ内の現在オブジェクトに係わる識別子を含む。「object＿version＿number」フィールドは、現在オブジェクトデータ・セグメントのバージョン情報を含み、セグメントの内容が変更されるたびに、バージョン番号が「モジュロ１６」単位で増加する。

「object＿coding＿method」フィールドは、オブジェクトの符号化方法情報を含む。表１４によって、オブジェクトは、ピクセルまたは文字列で符号化されてもよい。

「non＿modifying＿colour＿flag」フィールド値が「１」に指定された場合、ＣＬＵＴテーブルの入力値「１」が修正されていない「非修正色相」であることを示す。オブジェクト・ピクセルに非修正色相が割り当てられれば、基底領域の背景またはオブジェクトのピクセルは、修正されない。

「top＿field＿data＿block＿length」フィールドは、最上端フィールドに係わる「pixel−data＿sub−blocks」フィールドに含まれたバイト数情報を含む。「bottom＿field＿data＿block＿length」フィールドは、最下端フィールドに係わる「data＿sub−block」フィールドに含まれたバイト数情報を含む。それぞれのオブジェクトで、最上端フィールドのピクセルデータサブブロックと、最下端フィールドのピクセルデータサブブロックは、同じオブジェクトデータ・セグメントを介して定義される。

「８＿stuff＿bits」フィールドは、「００００００００」に固定される。「number＿of＿codes」フィールドは、文字列内の文字コード術情報を含む。「character＿code」フィールド値は、字幕記述子で識別される文字コード内のインデックスを利用して文字を設定する。

表１５は、終了セグメント（end＿of＿display＿set＿segment）のシンタックスを図示している。

「end＿of＿display＿set＿segment」フィールドは、デコーダにディスプレイセットの伝送が完了していることを知らせるために利用される。「end＿of＿display＿set＿segment」フィールドは、それぞれのディスプレイセットについて、最後のオブジェクトデータ・セグメント「object＿data＿segment」フィールドの次に挿入されてもよい。また、「end＿of＿display＿set＿segment」フィールドは、１つの字幕ストリーム内で、それぞれの字幕サービスを区分するために利用されてもよい。

図１６は、ＤＶＢ通信方式による字幕処理モデルのフローチャートを図示している。

ＤＶＢ通信方式による字幕処理モデルによれば、字幕データが含まれたＴＳストリーム１６１０が、ＭＰＥＧ−２ＴＳパケット（transport stream packet）に分解される。ＰＩＤフィルタ（ＰＩＤ filter）１６２０は、ＭＰＥＧ−２ＴＳパケットにおいて、字幕に対応するＰＩＤ情報が割り当てられた字幕用ＴＳパケット１６１２，１６１４，１６１６のみ抽出し、抽出されたＴＳパケット１６１２，１６１４，１６１６をトランスポートバッファ（transport buffer）１６３０に送る。トランスポートバッファ１６３０は、字幕用ＴＳパケット１６１２，１６１４，１６１６を利用し、字幕ＰＥＳパケットを構成する。それぞれの字幕ＰＥＳパケットは、字幕データが含まれたＰＥＳペイロード及びＰＥＳヘッダから構成される。字幕デコーダ１６４０は、トランスポートバッファ１６３０から出力された字幕ＰＥＳパケットを入力され、画面上に表示される字幕を構成する。

字幕デコーダ１６４０は、前処理及びフィルタリング部（pre-processor and filters）１６５０、符号化データバッファ（coded data buffer）１６６０、構成バッファ（composition buffer）１６８０、字幕処理部（subtitle processor）１６７０を含んでもよい。

ユーザによってＰＭＴテーブル内のページＩＤ情報「page＿ｉｄ」が「１」であるページが選択された場合を仮定する。前処理及びフィルタリング部１６５０は、ＰＥＳペイロード（ＰＥＳ payload）内の「page＿ｉｄ」が「１」である構成ページを、ディスプレイ定義セグメント、ページ構成セグメント、領域構成セグメント、ＣＬＵＴ定義セグメント及びオブジェクトデータ・セグメントに分解する。分解されたセグメントのうち、一つ以上のオブジェクトデータ・セグメント内の一つ以上のオブジェクトデータは、符号化データバッファ１６６０に保存され、ディスプレイ定義セグメント、ページ構成セグメント、一つ以上の領域構成セグメント及び一つ以上のＣＬＵＴ定義セグメントは、構成バッファ１６８０に保存される。

字幕処理部１６７０は、符号化データバッファ１６６０から、一つ以上のオブジェクトデータを入力され、構成バッファ１６８０に保存されたディスプレイ情報、ページ構成情報、領域構成情報及びＣＬＵＴ情報に基づいて一つ以上のオブジェクトから構成された字幕を生成する。

字幕デコーダ１６４０は、生成された字幕をピクセルバッファ（pixel buffer）１６９０に描く。

図１７ないし図１９は、符号化データバッファ（coded data buffer）、構成バッファ（composition buffer）、ピクセルバッファ（pixel buffer）に保存されたデータを図示している。

図１７を参照すれば、符号化データバッファ１７００に、オブジェクト識別子（object ｉｄ）が「１」であるオブジェクトデータ１７１０、及びオブジェクト識別子が「２」であるオブジェクトデータ１７２０が保存されていることが分かる。

図１８を参照すれば、構成バッファ１８００に、領域識別子（region ｉｄ）が「１」である第１領域１８１０についての情報、領域識別子が「２」である第２領域１８２０についての情報、並びに第１領域１８１０及び第２領域１８２０から構成されたページ構成についての情報１８３０が保存される。

字幕処理部１６７０（図１６）は、符号化データバッファ１７００に保存されたオブジェクトデータ１７１０，１７２０、及び構成バッファ１８００に保存された第１領域１８１０、第２領域１８２０及びページ１８３０についての情報に基づいて、図１９のように、領域別字幕オブジェクト１９１０，１９２０が配置された字幕ページ１９００を、ピクセルバッファ１６９０に保存する。

以下、表１ないし表１５及び図１０ないし図１９を参照しつつ述べたＤＶＢ通信方式による字幕を基に、本発明の第２実施形態によるマルチメディア・ストリーム生成装置１００、及び第２実施形態によるマルチメディア・ストリーム受信装置２００の動作について、以下表１６ないし表２１及び図２０ないし図２３を参照しつつ説明する。

第２実施形態によるマルチメディア・ストリーム生成装置１００は、ＤＶＢ字幕の三次元再生のための情報を、字幕ＰＥＳパケットに挿入することができる。第２実施形態によるＤＶＢ字幕の三次元再生のための情報は、字幕が表示される領域の移動値、デプス値、ディスパリティ、両眼視差のうち一つ以上を含むオフセット情報、オフセット情報が適用される方向を示すオフセット方向を含んでもよい。

図２０は、本発明の第２実施形態によって、ＤＶＢ通信方式による字幕データの構成ページ構造の一例を図示する。図２０を参照すれば、構成ページ２０００は、１つのディスプレイ定義セグメント２０１０、１つのページ構成セグメント２０２０、一つ以上の領域構成セグメント２０３０，２０４０、一つ以上のＣＬＵＴ定義セグメント２０５０，２０６０、一つ以上のオブジェクトデータ・セグメント２０７０，２０８０、及び１つの終了セグメント（end of display set segment）２０９０を含む。図２０で、ページ構成セグメント２０２０には、本発明の実施形態による三次元再生情報が含まれることもできる。三次元再生情報は、字幕が表示される領域の移動値、デプス値、ディスパリティ、両眼視差のうち一つ以上を含むオフセット情報、そしてオフセット情報が適用される方向を示すオフセット方向を含んでもよい。

マルチメディア・ストリーム生成装置１００のプログラム符号化部１１０は、字幕ＰＥＳパケット内の構成ページ２０００内のページ構成セグメント２０２０に、字幕を三次元で再生するための三次元再生情報を挿入することができる。

表１６及び表１７は、三次元再生情報が含まれた構成セグメント２０２０のシンタックスを例示している。

第２実施形態によるプログラム符号化部１１０は、表５の基本「page＿composition＿segment（）」内のwhileループ内の「reserved」フィールドに、表１６のように、「region＿offset＿direction」フィールド及び「region＿offset」フィールドをさらに挿入することができる。

第２実施形態によるプログラム符号化部１１０は、「reserved」フィールドの８ビットを代替し、「region＿offset＿direction」フィールドに、オフセットの方向を示す情報１ビットを割り当て、「region＿offset」フィールドに、オフセットを７ビット割り当てることができる。

表１７は、表１６のページ構成セグメントに、「region＿offset＿based＿position」フィールドが追加されたところを図示している。表５の基本的なページ構成セグメント内の８ビットの「reserved」フィールドを代替し、１ビットの「region＿offset＿direction」フィールド、６ビットの「region＿offset」フィールド、及び１ビットの「region＿offset＿based＿position」フィールドが割り当てられる。

「region＿offset＿based＿position」フィールドは、「region＿offset」フィールドのオフセット値が、基本平面を基に適用されているか否か、あるいはビデオ映像のデプスや移動値などを基に適用されているか否かを示すためのフラグ情報を含んでもよい。

図２１は、本発明の第２実施形態によって、ＤＶＢ通信方式による字幕データの構成ページ構造の他の例を図示する。図２１を参照すれば、構成ページ２１００は、１つのディスプレイ定義セグメント２１１０、１つのページ構成セグメント２１２０、一つ以上の領域構成セグメント２１３０，２１４０、一つ以上のＣＬＵＴ定義セグメント２１５０，２１６０、一つ以上のオブジェクトデータ・セグメント２１７０，２１８０、及び１つの終了セグメント（end of display set segment）２１９０以外に、字幕のデプスを定義するセグメントであるデプス定義セグメント（depth definition segment）２１８５がさらに含まれることもできる。

デプス定義セグメント２１８５は、三次元再生情報について定義するセグメントであり、字幕を三次元で再生するためのオフセット情報が含まれた三次元再生情報を含んでもよい。このために、プログラム符号化部１１０は、字幕のデプスを定義するためのセグメントを新たに定義し、ＰＥＳパケットに挿入することができる。

表１８ないし表２１は、第２実施形態によるプログラム符号化部１１０が、字幕を三次元で再生するために新たに定義したデプス定義セグメント２１８５である「Depth_Definitioin_Segment」フィールドのシンタックスを図示する。

第２実施形態によるプログラム符号化部１１０は、表２の「subtitling＿segment」フィールド内の「segment＿data＿field」フィールドに「Depth_Definition_Segment」フィールドを、追加的なセグメント形態で挿入することができる。このために、第２実施形態によるプログラム符号化部１１０は、表３の「subtitle＿type」フィールド値が、「０ｘ４０」〜「０ｘ７Ｆ」である字幕タイプフィールドの保留領域（reserved）に、字幕タイプの一つとして、デプス定義セグメント２１８５をさらに定義することにより、ＤＶＢ字幕システムとの下位互換性が保証されるようにすることができる。

デプス定義セグメント２１８５には、ページ単位で、字幕のオフセット情報を定義する情報が含むこともできる。デプス定義セグメント「Depth_Definition_Segment」フィールドのシンタックスを、表１８及び表１９を介してそれぞれ例示する。

表１８及び表１９で、「page＿offset＿direction」フィールドは、現在ページに適用されるオフセットの方向を示す。「page＿offset」フィールドは、現在ページに係わるピクセル移動値、デプス値、ディスパリティ、視差などのオフセット情報を示す。

また、第２実施形態によるプログラム符号化部１１０は、デプス定義セグメントに、「page＿offset＿based＿position」フィールドを含めることができる。「page＿offset＿based＿position」フィールドは、「page＿offset」フィールドのオフセット値が、基本平面を基に適用されているか否か、あるいはビデオ映像のオフセット情報を基に適用されているか否かを示すためのフラグ情報を含んでもよい。

表１８及び表１９のデプス定義セグメントによれば、１枚のページについて、同じオフセット情報が適用されてもよい。

また、第２実施形態によるマルチメディア・ストリーム生成装置１００は、ページに含まれた領域それぞれについて、領域単位で字幕のオフセット情報を定義するデプス定義セグメントを、新たに生成することができる。その場合、「Depth_Definition_Segment」フィールドのシンタックスを、表２０及び表２１にそれぞれ例示する。

表２０及び２１のデプス定義セグメント内の「page＿ｉｄ」フィールド及び「region＿ｉｄ」フィールドは、ページ構成セグメントの同一フィールドを参照することができる。第２実施形態によるマルチメディア・ストリーム生成装置１００は、新たに定義したデプス定義セグメント内で、forループを介して、現在ページ内の領域別に、字幕のオフセット情報を設定することができる。すなわち、「region＿ｉｄ」フィールドは、現在領域の識別情報を含み、「region＿ｉｄ」フィールド値によって、「region＿offset＿direction」フィールド、「region＿offset」フィールド及び「region＿offset＿based＿position」フィールドが別途に設定されてもよい。従って、字幕の領域別に、ｘ座標のピクセル移動量が別途に設定されてもよい。

第２実施形態によるマルチメディア・ストリーム受信装置２００は、受信されたＴＳストリームをパージングして構成ページを抽出し、構成ページ内のページ構成セグメント、領域定義セグメント、ＣＬＵＴ定義セグメント、オブジェクトデータ・セグメントなどのシンタックスを判読し、これを基に字幕を構成することができる。また、第２実施形態によるマルチメディア・ストリーム受信装置２００は、表１３ないし表２１を参照しつつ開示された三次元再生情報を利用し、字幕が表示されるページまたは領域のデプス感を調節することができる。

以下、図２２及び図２３を参照しつつ、字幕のページ及び領域のデプス感を調節する方法について記述する。

図２２は、第２実施形態によって、領域別に字幕のデプス感を調節するところを図示している。

一実施形態による字幕デコーダ２２００は、図１６を参照して述べたＤＶＢ通信方式による字幕処理モデルにおいて、字幕デコーダ１６４０を変形して（modifying）具現したモデルである。

一実施形態による字幕デコーダ２２００は、前処理及びフィルタリング部２２１０、符号化データバッファ２２２０、拡張字幕処理部（enhanced subtitle processing）２２３０及び構成バッファ２２４０を含む。前処理及びフィルタリング部２２１０は、字幕ＰＥＳペイロードにおけるオブジェクトデータを、符号化データバッファ２２３０に送り、領域定義セグメント、ＣＬＵＴ定義セグメント、ページ構成セグメント及びオブジェクトデータ・セグメントなどの字幕構成情報を、構成バッファ２２４０に送る。一実施形態によれば、ページ構成セグメントに、表１６及び表１７で例示された領域別デプス情報が含まれもする。

例えば、構成バッファ２２４０に、領域識別子が「１」である第１領域２２４２についての情報、領域識別子が「２」である第２領域２２４４についての情報が保存され、領域別オフセット情報（offset value per region）が含まれたページ構成２２４６についての情報が保存されることもできる。

拡張字幕処理部２２３０は、符号化データバッファ２２２０に保存されたオブジェクトデータ、及び構成バッファ２２４０に保存された構成情報を利用し、字幕ページを構成する。この場合、二次元字幕ページ２２５０には、図２２のように、第１領域２２５２及び第２領域２２５４に、それぞれ第１オブジェクト及び第２オブジェクトが表示される。

本発明の実施形態によれば、拡張字幕処理部２２３０は、字幕が表示されるそれぞれの領域をオフセット情報によって移動させることによって、字幕が表示される領域別に、デプス感を調節することができる。すなわち、拡張字幕処理部２２３０は、構成バッファ２２４０に保存されたページ構成２２４６内の領域別オフセット情報に基づいて、第１領域２２５２及び第２領域２２５４を、当該オフセットほど移動させることができる。拡張字幕処理部２２３０は、第１領域２２５２及び第２領域２２５４が、それぞれ第１領域オフセット（offset for region １）及び第２領域オフセット（offset for region ２）ほど所定方向に移動し、第１左目用領域２２６２及び第２左目用領域２２６４にそれぞれ表示されるようにし、左目用字幕２２６０を生成することができる。同様の方式で、拡張字幕処理部２２３０は、第１領域２２７２及び第２領域２２７４が、それぞれ第１領域オフセット及び第２領域オフセットほど反対方向に移動し、第１右目用領域２２７２及び第２右目用領域２２７４に、それぞれ表示されるようにし、右目用字幕２２７０を生成することができる。

図２３は、第２実施形態によって、ページ別に字幕のデプス感を調節するところを図示している。

一実施形態による字幕処理部２３００は、前処理及びフィルタリング部２３１０、符号化データバッファ２３２０、拡張字幕処理部２３３０及び構成バッファ２３４０を含む。前処理及びフィルタリング部２３１０は、字幕ＰＥＳペイロードにおけるオブジェクトデータを、符号化データバッファ２３３０に送り、領域定義セグメント、ＣＬＵＴ定義セグメント、ページ構成セグメント及びオブジェクトデータ・セグメントなどの字幕構成情報を、構成バッファ２３４０に送る。一実施形態によれば、前処理及びフィルタリング部２３１０は、表１８ないし表２１で例示されたデプス定義セグメントのページ別デプスまたは領域別デプス情報を、構成バッファ２３４０に伝達することができる。

一例として、構成バッファ２３４０は、領域識別子が「１」である第１領域２３４２についての情報、領域識別子が「２」である第２領域２３４４についての情報、及び表１８及び表１９で例示されたデプス定義セグメントのページ別オフセット情報（offset value per page）を保存することができる。

拡張字幕処理部２３３０は、符号化データバッファ２３２０に保存されたオブジェクトデータ、及び構成バッファ２３４０に保存された構成情報を利用して字幕ページを構成し、ページ別オフセット情報によってページを移動させることにより、ページに含まれたあらゆる字幕に、同じデプス感を有させることができる。

図２３で、二次元字幕ページ２３５０には、第１領域２３５２及び第２領域２３５４に、それぞれ第１オブジェクト及び第２オブジェクトが表示される。拡張字幕処理部２３３０は、構成バッファ２３４０に保存されたページ構成２３４６内のページ別オフセット情報に基づいて、第１領域２２５２及び第２領域２２５４を当該オフセットほど移動させ、左目用字幕２３６０及び右目用字幕２３７０をそれぞれ生成することができる。拡張字幕処理部２３３０は、左目用字幕２３６０を生成するために、二次元字幕ページ２３５０の現在位置から右側方向に、現在ページオフセット（offset for page）ほど、二次元字幕ページ２３５０を移動させる。これにより、第１領域２３５２及び第２領域２３５４も、正のｘ軸方向に、現在ページオフセット（offset for page）ほど移動し、第１左目用領域２３６２及び第２左目用領域２３６４に、それぞれ第１オブジェクト及び第２オブジェクトが表示される。

同様の方式で、拡張字幕処理部２３３０は、右目用字幕２３７０を生成するために、二次元字幕ページ２３５０の現在位置から左側方向に、現在ページオフセット（offset for page）ほど、二次元字幕ページ２３５０を移動させる。これにより、第１領域２３５２及び第２領域２３５４も、負のｘ軸方向に、現在ページオフセット（offset for
page）ほど移動し、第１右目用領域２３７２及び第２右目用領域２３７４に、それぞれ第１オブジェクト及び第２オブジェクトが表示される。

また、表２０及び表２１で例示された一実施形態によるデプス定義セグメントの領域別オフセット情報が、構成バッファ２３４０に保存されれば、一実施形態による拡張字幕処理部２３３０は、領域別にオフセットが適用された字幕ページを生成し、図２２を参照して述べた左目用映像のための字幕ページ２２６０、及び右目用映像のための字幕ページ２２７０と類似した結果物を生成することができる。

第２実施形態によるマルチメディア・ストリーム生成装置１００は、ＤＶＢ字幕ＰＥＳパケットに、字幕データ、及び字幕を三次元で再生するための三次元再生情報を挿入して伝送することができる。これにより、第２実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢ方式によって受信されたマルチメディアのデータストリームを受信し、これから、字幕データ、及び三次元再生情報を抽出し、三次元ＤＶＢ字幕を構成することができる。また、第２実施形態によるマルチメディア・ストリーム受信装置２００は、ＤＶＢ字幕三次元再生情報に基づいて、三次元ビデオと三次元字幕とのデプスを調節することによって、三次元ビデオと字幕とのデプス逆転現象を含み、視聴者に疲労感を誘発する問題点を防止できるので、これにより、視聴者が安定した環境で三次元ビデオを鑑賞することができる。

以下、表２２ないし表３５及び図２４ないし図３０を参照しつつ、第３実施形態によるケーブル通信方式による字幕の三次元再生のためのマルチメディア・ストリームの生成及び受信について説明する。

表２２は、ケーブル通信方式による字幕メッセージテーブル「subtitle message」のシンタックスを図示している。

「table＿ＩＤ」フィールドは、現在「subtitle＿message」テーブルのテーブル識別子を含む。

「section＿length」フィールドは、「section＿length」フィールドから「ＣＲＣ＿３２」フィールドまでのバイト数情報を含む。「table＿ＩＤ」フィールドから「ＣＲＣ＿３２」フィールドまでの「subtitle＿message」テーブルの最大長は、１キロバイト、すなわち、１０２４バイトに該当する。「simple＿bitｍａｐ（）」フィールドの大きさによって、「subtitle＿message」テーブルの大きさが１キロバイトを超える場合、「subtitle＿message」テーブルは、セグメント構造に分割される。分割されたそれぞれの「subtitle＿message」テーブルの大きさは、１キロバイトに固定され、１キロバイトにならない最後の「subtitle＿message」テーブルは、スタッフィング記述子（stuffing descriptor）を利用して、残余部分が補充される。表２３は、スタッフィング記述子「stuffing＿descriptor（）」フィールドのシンタックスを図示している。

「stuffing＿string＿length」フィールドは、スタッフィング・ストリングの長さ情報を含む。「stuffing＿string」フィールドは、スタッフィング・ストリングを含み、デコーダによって復号化されない。

表２２の「subtitle message」テーブルのうち、「ＩＳＯ＿６３９＿language＿code」フィールドからの「simple＿bitｍａｐ（）」フィールドが、「message＿body（）」セグメントから構成される。選択的には、「subtitle＿message」テーブルに、「descriptor（）」フィールドが存在する場合、「message＿body（）」セグメントは、「ＩＳＯ＿６３９＿language＿code」フィールドから「descriptor（）」フィールドまで含む。セグメント総合の最大長は、４メガバイトである。

表２２の「subtitle message（）」テーブルの「segmentation＿overlay＿included」フィールドは、現在「subtitle＿message（）」テーブルがセグメントから構成されたか否かについての情報を含む。「table＿extension」フィールドは、デコーダが「message＿body（）」セグメントを識別することができるように割り当てられる固有情報を含む。「last＿segment＿number」フィールドは、字幕の全体メッセージ映像を完成するための最後のセグメントの識別情報を含む。「segment＿number」フィールドは、現在セグメントの識別番号を含む。セグメントの識別情報は、０〜４０９５の範囲で割り当てられる。

表２２の「subtitle＿message（）」テーブルの「protocol＿version」フィールドは、既存プロトコル・バージョンと根本的に構造が変更される場合、新規プロトコル・バージョン情報を含む。「ＩＳＯ＿６３９＿language＿code」フィールドは、所定規格による言語コード情報を含む。「pre＿clear＿display」フィールドは、現在字幕テキストを再生する前に、全体スクリーンを透明に処理しているか否かについての情報を含む。「immediate」フィールドは、現在字幕テキストを「display＿in＿ＰＴＳ」フィールド値による再生時点ではない、受信直後に画面上に再生しているか否かについての情報を含む。

「display＿standard」フィールドは、字幕が再生されるディスプレイ規格情報を含む。表２４は、「display＿standard」フィールドの内容を図示している。

すなわち、「display＿standard」フィールドによって、ディスプレイ規格が「解像度７２０ｘ４８０及び秒当たり３０フレーム」、「解像度７２０ｘ５７６及び秒当たり２５フレーム」、「解像度１２８０ｘ７２０及び秒当たり６０フレーム」及び「解像度１９２０ｘ１０８０及び秒当たり６０フレーム」のうちいずれのディスプレイ規格が、現在字幕に適しているか設定することができる。

表２２の「subtitle＿message（）」テーブルの「display＿in＿ＰＴＳ」フィールドは、字幕が再生されるプログラム参照時間情報を含む。このような絶対的表現方式による時間情報をインキュータイム（in-cue time）とする。「immediate」フィールドに基づいて、字幕が直ちに画面に再生されねばならない場合、すなわち「immediate」フィールド値が「１」に設定された場合、デコーダは、「display＿in＿ＰＴＳ」フィールド値を利用しない。

現在「subtitle＿message（）」テーブル以後に再生されるインキュータイム情報を有した「subtitle＿message（）」テーブルがデコーダに受信されれば、デコーダは、再生待機中である字幕メッセージを廃棄することができる。「immediate」フィールド値が「１」に設定された場合、再生待機中であるあらゆる字幕メッセージが廃棄される。もしデコーダによって、サービスのためのＰＣＲ情報に不連続現象が発生すれば、再生待機中であるあらゆる字幕メッセージが廃棄される。

「display＿duration」フィールドは、字幕メッセージが表示されねばならない持続時間を、ＴＶのフレーム番号で表示した情報を含む。従って、「display＿duration」フィールド値は、「display＿standard」フィールドで定義されたフレームレートと関連する。「display＿duration」フィールド値の持続時間によって、インキュータイムに持続時間が加えられた時間を意味するアウトキュータイム（out-cue time）が決定されてもよい。アウトキュータイムに達すれば、インキュータイムに画面に表示された字幕ビットマップは、消される。

「subtitle＿type」フィールドは、現在字幕データのフォーマット情報を含む。表２５によれば、「subtitle＿type」フィールド値が「１」である場合、現在字幕データは、シンプルビットマップ・フォーマットであることを意味する。

「block＿length」フィールドは、「simple＿bitｍａｐ（）」フィールドまたは「reserved（）」フィールドの長さ情報を含む。

「simple＿bitｍａｐ（）」フィールドは、字幕のビットマップ・フォーマット情報を含む。まず、図２４を参照しつつ、ビットマップ・フォーマットの構造について述べる。

図２４は、ケーブル放送方式による字幕のビットマップ・フォーマットの構成要素を図示している。

ビットマップ・フォーマットの字幕は、一つ以上の圧縮ビットマップ・イメージから構成される。それぞれのビットマップ・イメージは、選択的に四角形の背景フレームを有することができる。例えば、第１ビットマップ２４１０は、背景フレーム２４００を有する。座標系の基準点（０，０）が左側上端に設定される場合、第１ビットマップ２４１０の座標と、背景フレーム２４００の座標との間に、以下の４種の関係式が成立する。

１．背景フレーム２４００の上端水平座標値（Ｆ_ＴＨ）は、第１ビットマップ２４１０の上端水平座標値（Ｂ_ＴＨ）より小さいか同じである（Ｆ_ＴＨ≦Ｂ_ＴＨ）。

２．背景フレーム２４００の上端垂直座標値（Ｆ_ＴＶ）は、第１ビットマップ２４１０の上端垂直座標値（Ｂ_ＴＶ）より小さいか同じである（Ｆ_ＴＶ≦Ｂ_ＴＶ）。

３．背景フレーム２４００の下端水平座標値（Ｆ_ＢＨ）は、第１ビットマップ２４１０の下端水平座標値（Ｂ_ＢＨ）より大きいか同じである（ＦＢＨ≧ＢＢＨ）。

４．背景フレーム２４００の下端垂直座標値（Ｆ_ＢＶ）は、第１ビットマップ２４１０の下端垂直座標値（Ｂ_ＢＶ）より大きいか同じである（ＦＢＶ≧ＢＢＶ）。

ビットマップ・フォーマットの字幕は、アウトライン２４２０とドロップシャドウ２４３０とを有することができる。アウトライン２４２０は、０〜１５の範囲で、多様な厚みでもって定義することができる。ドロップシャドウ２４３０は、右側シャドウ（Ｓｒ：shadow right）及び下端シャドウ（Ｓｂ：shadow bottom）でもって定義され、右側シャドウ（Ｓｒ）及び下端シャドウ（Ｓｂ）が、それぞれ０〜１５の範囲で、多様な厚みでもって定義されてもよい。

表２６は、ビットマップ・フォーマット情報「simple＿bitｍａｐ（）」フィールドのシンタックスを図示している。

「simple＿bitｍａｐ（）」フィールドでは、ビットマップの座標値（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）が設定される。

また、「simple＿bitmap（）」フィールドでは、「background＿style」フィールドに基づいて、背景フレームが存在するならば、背景フレームの座標値（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate，frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）が設定されてもよい。

また、「simple＿bitmap（）」フィールドでは、「outline＿style」フィールドに基づいて、アウトラインが存在するならば、アウトラインの厚み値（outline＿thickness）が設定されてもよい。また、「outline＿style」フィールドに基づいて、ドロップシャドウが存在するならば、ドロップシャドウの右側シャドウ及び下端シャドウの厚み値（shadow＿right、shadow＿bottom）が設定されてもよい。

「simple＿bitmap（）」フィールドは、字幕文字の色相情報を含む「character＿color（）」フィールド、字幕背景フレームの色相情報を含むframe＿color（）」フィールド、字幕アウトラインの色相情報を含む「outline＿color（）」フィールド、及び字幕ドロップシャドウの色相情報を含む「shadow＿color（）」フィールドを含んでもよい。字幕文字（character）は、ビットマップ・イメージで表示される字幕を示し、フレーム（frame）は、字幕、すなわち、文字が出力される領域を示す。

表２７は、各種「color（）」フィールドのシンタックスを図示している。

１つのスクリーン上に、字幕再生のために表現可能な色相は、最大１６種である。色相情報は、Ｙ、Ｃｒ、Ｃｂの色相要素別に設定され、色相コードは、それぞれ０〜３１の範囲で決定される。

「opaque＿enable」フィールドは、字幕色相の透明度情報を含む。「opaque＿enable」ビットに基づいて、字幕色相が、不透明であるか、ビデオ色相と５０：５０でブレンディングされるように表現されてもよい。

図２５は、ケーブル放送方式による字幕の三次元再生のための字幕処理モデルのフローチャートを図示している。

ケーブル放送方式による字幕の三次元再生のための字幕処理モデル２５００によれば、ＰＩＤフィルタ（ＰＩＤ filtering）段階（２５１０）では、字幕メッセージが含まれたＴＳストリーム（ＭＰＥＧ−２ＴＳ carrying subtitle messages）において、字幕メッセージが含まれたＴＳパケットをギャザリングし、トランスポートバッファに出力する。トランスポートバッファリング（transport buffering）段階（２５２０）は、字幕セグメントが含まれたＴＳパケットを保存する。

逆パケット化及び逆セグメント化（depacketization and desegmeatation）段階（２５３０）は、ＴＳパケットから字幕セグメントを抽出し、入力バッファリング（input buffering）段階（２５４０）は、字幕セグメントを保存し、字幕セグメントをギャザリングする。圧縮復元及びレンダリング（decompression and rendering）段階（２５５０）は、字幕セグメントから字幕データを復元してレンダリングし、ディスプレイ・キューイング（display queueing）段階（２５６０）は、レンダリングされた字幕データ及び字幕の再生関連情報をディスプレイキューに保存する。

ディスプレイキューに保存された字幕データは、字幕の再生関連情報に基づいて、画面上の所定領域に配置されて字幕に構成され、字幕は、所定時点で、ＴＶなどのディスプレイ機器のグラフィック平面（graphic plane）に移動する（２５７０段階）。これにより、ディスプレイ機器は、ビデオ映像と共に字幕を再生することができる。

図２６は、ケーブル放送方式による字幕処理モデルを介して、字幕がディスプレイキューからグラフィック平面に出力される過程を図示している。

ディスプレイキュー２６００に、サブデータメッセージ別に、第１ビットマップデータ及び再生関連情報２６１０、並びに第２ビットマップデータ及び再生関連情報２６２０が保存される。再生関連情報は、ビットマップがスクリーン上に表示され始める開始時間情報（display＿in＿ＰＴＳ）、持続時間情報（display＿duration）、ビットマップ座標情報を含む。ビットマップ座標情報は、ビットマップの左側上端ピクセルの座標値、及び右側下端ピクセルの座標値を含む。

ディスプレイキュー２６００に保存された情報に基づいて構成された字幕は、再生情報に基づいた時間情報によって、ピクセルバッファ（グラフィック平面）２６７０に保存される。例えば、第１ビットマップデータ及び再生関連情報２６１０、並びに第２ビットマップデータ及び再生関連情報２６２０に基づいて、ＰＴＳが「４」であるとき、第１ビットマップデータが当該座標の位置２６４０に表示された字幕２６３０が、ピクセルバッファ２６７０に保存される。また、ＰＴＳが「５」であるとき、第１ビットマップデータが当該座標位置２６４０に表示され、第２ビットマップデータが当該座標位置２６６０に表示された字幕２６５０が、ピクセルバッファ２６７０に保存される。

表２２ないし表２７及び図２４ないし図２６を参照しつつ述べたケーブル通信方式による字幕を基に、本発明の第３実施形態によるマルチメディア・ストリーム生成装置１００、及び第３実施形態によるマルチメディア・ストリーム受信装置２００の動作について、以下表２８ないし表３５及び図２７ないし図３０を参照しつつ説明する。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブル字幕の三次元再生のための情報を、字幕ＰＥＳパケットに挿入してもよい。第３実施形態によるケーブル字幕の三次元再生のための情報は、字幕が表示される領域の移動値、デプス値、ディスパリティ、両眼視差のうち一つ以上を含むオフセット情報、オフセット情報が適用される方向を示すオフセット方向を含んでもよい。

また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、ケーブル通信方式を介して受信されたＴＳストリームから、ＰＩＤ情報が同一である字幕ＰＥＳパケットをギャザリングする。マルチメディア・ストリーム受信装置２００は、字幕ＰＥＳパケットから三次元再生のための情報を抽出し、三次元再生情報を利用して、二次元字幕を三次元字幕に変更して再生することができる。

図２７は、第３実施形態によるケーブル放送方式による字幕の三次元再生のための字幕処理モデルのフローチャートを図示している。

第３実施形態による字幕処理モデル２７００のＰＩＤフィルタリング段階（ＰＩＤ filtering）（２７１０）、トランスポートバッファリング段階（transport buffering）（２７２０）、逆パケット化及び逆セグメント化段階（depacketization and desegmeatation）（２７３０）、入力バッファリング段階（input buffering）（２７４０）、圧縮復元及びレンダリング段階（decompression and rendering）（２７５０）及びディスプレイキューイング段階（display queueing）（２７６０）を介して、ケーブル放送方式による字幕データ及び字幕再生関連情報が復元される過程は、図２５を参照して述べた字幕処理モデル２５００の段階２５１０から段階２５６０までの動作と類似している。ただし、ディスプレイキューイング段階（２７６０）で、字幕の三次元再生のための情報がさらにディスプレイキューに保存されることもできる。

第３実施形態による三次元字幕変換段階（３Ｄ subtitle converting）（２７８０）は、ディスプレイキューイング段階（２７６０）で保存された字幕データ及び三次元再生情報を含む字幕再生関連情報に基づいて、三次元で再生することができる三次元字幕を構成することができる。三次元字幕は、ディスプレイ機器のグラフィック平面（graphic plane）（２７７０）に出力されることもできる。

第３実施形態による字幕処理モデル２７００は、第３実施形態によるマルチメディア・ストリーム受信装置２００の字幕処理動作を具現するために適用される。特に、三次元字幕転換（３Ｄ subtitle converter）段階（２７８０）は、第３実施形態による再生部２４０の三次元字幕処理動作に対応する。

以下、第３実施形態によるマルチメディア・ストリーム生成装置１００が、字幕の三次元再生のための情報を伝送するための具体的な実施形態、及び第３実施形態によるマルチメディア・ストリーム受信装置２００が、字幕の三次元再生のための情報を利用し、三次元字幕を再生する具体的な実施形態について記述する。

第３実施形態によるマルチメディア・ストリーム生成装置１００のプログラム符号化部１１０は、字幕ＰＥＳパケット内の字幕メッセージ「subtitle＿message（）」フィールドに、三次元再生情報を挿入することができる。また、プログラム符号化部１１０は、字幕のデプスを定義するための記述子または字幕タイプを新たに定義し、ＰＥＳパケットに挿入することができる。

表２８及び表２９は、それぞれ第３実施形態によるプログラム符号化部１１０によって、ケーブル字幕のデプス情報が含まれるように変形された（modified）「simple＿bitmap（）」フィールド及び「subtitle＿message（）」フィールドのシンタックスを例示している。

第３実施形態によるプログラム符号化部１１０は、表２６の「simple＿bitmap（）」フィールド内の「reserved（）」フィールド位置に、表２８のように、「３ｄ＿subtitle＿offset」フィールドを挿入することができる。「３ｄ＿subtitle＿offset」フィールドは、字幕の三次元再生のための左目用字幕のためのビットマップ、及び右目用字幕のためのビットマップを生成するために、水平座標軸を基に、ビットマップを移動させる移動量を示すオフセット情報を含んでもよい。「３ｄ＿subtitle＿offset」フィールドのオフセット値は、字幕文字とフレームとに、いずれも同一に適用されてもよい。字幕文字（character）にオフセット値が適用されるということは、字幕を含む最小限の長方形領域に対してオフセット値が適用されるということを意味し、フレームにオフセット値が適用されるということは、字幕を含む最小限の長方形領域を含む、文字領域より広い領域に対してオフセット値が適用されるということを意味する。

第３実施形態によるプログラム符号化部１１０は、表２２の「subtitle＿message（）」フィールド内の「reserved（）」フィールドに、「３ｄ＿subtitle＿direction」フィールドを挿入することができる。「３ｄ＿subtitle＿direction」フィールドは、字幕を三次元で再生するために、オフセット情報を適用する方向を示す。

オフセットの方向性による特徴を利用し、第３実施形態による再生部２４０は、左目用字幕、すなわち、左目用字幕を基にオフセット情報を適用し、右目用字幕、すなわち、右目用字幕を生成することができる。オフセット方向は、正の方向または負の方向に与えられることもでき、左側または右側のように方向に与えられてもよい。「３ｄ＿subtitle＿direction」フィールド値が、負の方向を示す場合、第３実施形態による再生部２４０は、左目用字幕のｘ座標値からオフセット値ほど差し引いた値を、右目用字幕のｘ座標値として決定することができる。同様の方式で、「３ｄ＿subtitle＿direction」フィールド値が正の方向を示す場合、第３実施形態による再生部２４０は、左目用字幕のｘ座標値からオフセット値ほど加えた値を、右目用字幕のｘ座標値として決定することができる。

図２８は、第３実施形態によって、ケーブル放送方式による字幕のデプス感を調節する一実施形態を図示している。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、第３実施形態による字幕メッセージが含まれたＴＳストリームを受信し、ＴＳストリームを逆多重化し、字幕ＰＥＳパケットから字幕データを抽出する。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、表２８のビットマップフィールドから、字幕のビットマップ座標関連情報、フレーム座標関連情報及びビットマップデータを抽出することができる。また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、表２８のビットマップフィールドの下位フィールド「３ｄ＿subtitle＿offset」から、三次元再生情報を抽出することができる。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、表２９の字幕メッセージテーブルから、字幕再生時間関連情報を抽出することができ、また字幕メッセージテーブルの下位フィールド「３ｄ＿subtitle＿offset＿direction」から、三次元字幕オフセット方向情報を抽出することができる。

これにより、ディスプレイキュー２８００に、字幕再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、三次元字幕オフセット情報（３ｄ＿subtitle＿offset）、オフセット方向情報（３ｄ＿subtitle＿direction）、字幕のビットマップ座標情報（Ｂ_ＴＨ，Ｂ_ＴＶ，Ｂ_ＢＨ，Ｂ_ＢＶ）及び字幕の背景フレーム座標情報（Ｆ_ＴＨ，Ｆ_ＴＶ，Ｆ_ＢＨ，Ｆ_ＢＶ）を含む、字幕再生関連情報及び字幕データから構成された字幕情報セット２８１０が保存される。

三次元字幕転換段階（３Ｄ subtitle converting）（２７８０）を介して、第３実施形態による再生部２４０は、ディスプレイキュー２８００に保存された字幕再生関連情報に基づいて字幕が配置された字幕構成画面を構成し、グラフィック平面（２８７０）上に、字幕の構成画面を保存させる。

ピクセルバッファまたはグラフィック平面２８７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元字幕平面２８２０を保存することもできる。サイドバイサイド・フォーマットは、ｘ軸に沿って解像度が半減する（reduced by half）ので、三次元字幕２８２０を生成するために、ディスプレイキュー２８００に保存された字幕再生関連情報のうち、基準視点（reference view）字幕のためのｘ軸座標値及び字幕のオフセット値を半分にして利用することが望ましい。左目用字幕２８５０及び右目用字幕２８６０のｙ座標値は、ディスプレイキュー２８００に保存された字幕再生関連情報のうち、字幕のｙ座標値と同一である。

例えば、ディスプレイキュー２８００には、字幕再生関連情報のうち、字幕再生時間関連情報として「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、三次元字幕オフセット情報として「３ｄ＿subtitle＿offset＝１０」、三次元字幕オフセット方向情報として「３ｄ＿subtitle＿direction＝１」、字幕のビットマップ座標情報として「（Ｂ_ＴＨ，Ｂ_ＴＶ）＝（３０，３０）」及び「（Ｂ_ＢＨ，Ｂ_ＢＶ）＝（６０，４０）」、字幕の背景フレーム座標情報として「（Ｆ_ＴＨ，Ｆ_ＴＶ）＝（１４，２０）」及び「（ＦＢＨ，ＦＢＶ）＝（７０，５０）」が保存されていると仮定する。

ピクセルバッファ２８７０に保存されるサイドバイサイド・フォーマットの三次元字幕平面２８２０は、左目用字幕平面、すなわち、左目用字幕２８３０及び右目用字幕平面、すなわち、右目用字幕２８４０から構成される。左目用字幕平面２８３０及び右目用字幕平面２８４０の横解像度は、原本解像度に比べて半分に低減し、左目用字幕平面２８３０の原点座標が「（Ｏ_ＨＬ，Ｏ_ＶＬ）＝（０，０）」であるならば、右目用字幕平面２８４０の原点座標は、「（Ｏ_ＨＲ，Ｏ_ＶＲ）＝（１００，０）」である。

このとき、左目用字幕２８５０のビットマップ及び背景フレームのｘ座標値も、半分に縮小される。すなわち、左目用字幕２８５０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＬ及び右側下端地点のｘ座標値Ｂ_ＢＨＬ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＬ及び右側下端地点のｘ座標値Ｆ_ＢＨＬは、それぞれ以下の関係式（１），（２），（３）及び（４）によって決定される。

（１）Ｂ_ＴＨＬ＝Ｂ_ＴＨ／２；（２）Ｂ_ＢＨＬ＝Ｂ_ＢＨ／２；
（３）Ｆ_ＴＨＬ＝Ｆ_ＴＨ／２；（４）Ｆ_ＢＨＬ＝ＦＢＨ／_２
従って、左目用字幕２８５０のビットマップのｘ座標値Ｂ_ＴＨＬ，Ｂ_ＢＨＬ，Ｆ_ＴＨＬ及びＦ_ＢＨＬは、それぞれ（１）Ｂ_ＴＨＬ＝Ｂ_ＴＨ／２＝３０／２＝１５；（２）Ｂ_ＢＨＬ＝Ｂ_ＢＨ／２＝６０／２＝３０；（３）Ｆ_ＴＨＬ＝Ｆ_ＴＨ／２＝２０／２＝１０；（４）Ｆ_ＢＨＬ＝Ｆ_ＢＨ／２＝７０／２＝３５に決定される。

また、右目用字幕２８６０のビットマップ及び背景フレームの横軸解像度も、半分に縮小される。右目用字幕２８６０のビットマップ及び背景フレームのｘ座標値は、右目用字幕平面２８４０の原点（Ｏ_ＨＲ，Ｏ_ＶＲ）を基に設定される。これにより、右目用字幕２８６０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＲ及び右側下端地点のｘ座標値Ｂ_ＢＨＲ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＲ及び右側下端地点のｘ座標値Ｆ_ＢＨＲは、それぞれ以下の関係式（５），（６），（７）及び（８）によって決定される。

（５）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋Ｂ_ＴＨＬ±（３ｄ＿subtitle＿offset／２）；
（６）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋Ｂ_ＢＨＬ±（３ｄ＿subtitle＿offset／２）；
（７）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋Ｆ_ＴＨＬ±（３ｄ＿subtitle＿offset／２）；
（８）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋Ｆ_ＢＨＬ±（３ｄ＿subtitle＿offset／２）
すなわち、右目用字幕２８６０のビットマップ及び背景フレームのｘ座標値は、右目用字幕平面２８４０の原点（Ｏ_ＨＲ，Ｏ_ＶＲ）を基に、対応する左目用字幕２８５０のｘ座標値ほど正の方向に移動した位置で、三次元字幕オフセット値ほど負の方向または正の方向に移動した位置として設定することができる。この場合、三次元字幕オフセット方向情報として「３ｄ＿subtitle＿direction＝１」であるから、三次元字幕オフセット方向は、負の方向である。

従って、右目用字幕２８６０のビットマップ及び背景フレームのｘ座標値Ｂ_ＴＨＬ，Ｂ_ＢＨＬ，Ｆ_ＴＨＬ及びＦ_ＢＨＬは、それぞれ（５）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋Ｂ_ＴＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋１５−５＝１１０；（６）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋Ｂ_ＢＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋３０−５＝１２５；（７）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋Ｆ_ＴＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋１０−５＝１０５；（８）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋Ｆ_ＢＨＬ−（３ｄ＿subtitle＿offset／２）＝１００＋３５−５＝１３０に決定することができる。

これにより、左目用字幕２８５０及び右目用字幕２８６０が、それぞれ字幕平面２８３０，２８４０上で、ｘ軸方向にオフセット値ほど移動した位置に表示された三次元字幕を利用し、ディスプレイ機器は、三次元字幕を三次元で再生することができる。

また、第２実施形態によるプログラム符号化部１１０は、字幕のデプスを定義するための記述子及び字幕タイプを新たに定義し、これをＰＥＳパケットに挿入することができる。

表３０は、第３実施形態によるプログラム符号化部１１０によって新たに定義された字幕デプス記述子「subtitle＿depth＿descriptor（）」フィールドのシンタックスを例示している。

一実施形態による字幕デプス記述子（「subtitle＿depth＿descriptor（））は、字幕のうち、文字のオフセット方向情報（「character＿offset＿direction」）、文字のオフセット情報（「character＿offset」）、字幕のうち背景フレームのオフセット方向情報（「frame＿offset＿direction」）及び背景フレームのオフセット情報（「frame＿offset」）を含んでもよい。

字幕デプス記述子（「subtitle＿depth＿descriptor（）」）は、字幕の文字または背景フレームのオフセット値が、基本平面を基に設定されたか、またはビデオ映像のオフセット情報を基に設定されたかを示す情報（「offset＿based」）を選択的に含んでもよい。

図２９は、第３実施形態によって、ケーブル放送方式による字幕のデプス感を調節する他の実施形態を図示している。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、表２８のビットマップフィールドから、字幕のビットマップ座標関連情報、フレーム座標関連情報及びビットマップデータを抽出し、表２９の字幕メッセージテーブルから、字幕再生時間関連情報を抽出することができる。また、第３実施形態によるマルチメディア・ストリーム受信装置２００は、表３０の字幕デプス記述子フィールドから、字幕のうち文字のオフセット方向情報（「character＿offset＿direction」）、文字のオフセット情報（「character＿offset」）、字幕のうち背景フレームのオフセット方向情報（「frame＿offset＿direction」）、及び背景フレームのオフセット情報（「frame＿offset」）を抽出することができる。

これにより、ディスプレイキュー２９００に、字幕再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、字幕のうち文字のオフセット方向情報（character＿offset＿direction）、文字のオフセット情報（character＿offset）、字幕のうち背景フレームのオフセット方向情報（frame＿offset＿direction）及び背景フレームのオフセット情報（frame＿offset）を含む字幕再生関連情報、並びに字幕データから構成された字幕情報セット２９１０が保存される。

例えば、ディスプレイキュー２９００に、字幕再生関連情報のうち、字幕再生時間関連情報として「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、字幕のうち文字のオフセット方向情報「character＿offset＿direction＝１」、文字のオフセット情報として「character＿offset＝１０」、字幕のうち背景フレームのオフセット方向情報として「frame＿offset＿direction＝１」及び背景フレームのオフセット情報「frame＿offset＝４」、字幕のビットマップ座標情報として「（Ｂ_ＴＨ，Ｂ_ＴＶ）＝（３０，３０）」及び「（Ｂ_ＢＨ，Ｂ_ＢＶ）＝（６０，４０）」、字幕の背景フレーム座標情報として「（Ｆ_ＴＨ，Ｆ_ＴＶ）＝（２０，２０）」及び「（Ｆ_ＢＨ，Ｆ_ＢＶ）＝（７０，５０）」が保存されていると仮定する。

三次元字幕転換段階（３Ｄ subtitle converter）（２７８０）を介して、ピクセルバッファまたはグラフィック平面２９７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元字幕平面２９２０が保存されていると仮定する。

図２８を介して説明したところと同様の方式で、ピクセルバッファに保存されるサイドバイサイド・フォーマットの三次元字幕平面２９２０において、左目用字幕平面２９３０上の左目用字幕２９５０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＬ及び下端地点のｘ座標値Ｂ_ＢＨＬ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＬ及び右側下端地点のｘ座標値Ｆ_ＢＨＬは、それぞれ（９）Ｂ_ＴＨＬ＝Ｂ_ＴＨ／２＝３０／２＝１５；（１０）Ｂ_ＢＨＬ＝Ｂ_ＢＨ／２＝６０／２＝３０；（１１）Ｆ_ＴＨＬ＝Ｆ_ＴＨ／２＝２０／２＝１０；（１２）Ｆ_ＢＨＬ＝Ｆ_ＢＨ／２＝７０／２＝３５に決定される。

また、三次元字幕平面２９２０において、右目用字幕平面２９４０上の右目用字幕２９６０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＲ及び右側下端地点のｘ座標値Ｂ_ＢＨＲ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＲ及び右側下端地点のｘ座標値Ｆ_ＢＨＲは、それぞれ下記関係式（１３），（１４），（１５）及び（１６）によって決定される。

（１３）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋Ｂ_ＴＨＬ±（character＿offset／２）；
（１４）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋Ｂ_ＢＨＬ±（character＿offset／２）；
（１５）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋Ｆ_ＴＨＬ±（frame＿offset／２）；
（１６）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋Ｆ_ＢＨＬ±（frame＿offset／２）
この場合、三次元字幕オフセット方向情報として、「character＿offset＿direction＝１」と「frame＿offset＿direction＝１」とであるから、三次元字幕オフセット方向は、負の方向である。

従って、右目用字幕２９６０のビットマップ及び背景フレームのｘ座標値Ｂ_ＴＨＬ，Ｂ_ＢＨＬ，Ｆ_ＴＨＬ及びＦ_ＢＨＬは、それぞれ（１３）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋Ｂ_ＴＨＬ−（character＿offset／２）＝１００＋１５−５＝１１０；（１４）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋Ｂ_ＢＨＬ−（character＿offset／２）＝１００＋３０−５＝１２５；（１５）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋Ｆ_ＴＨＬ−（frame＿offset／２）＝１００＋１０−２＝１０８；（１６）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋Ｆ_ＢＨＬ−（frame＿offset／２）＝１００＋３５−２＝１３３に決定することができる。

これにより、左目用字幕２９５０及び右目用字幕２９６０が、それぞれ字幕平面２９３０，２９４０上で、ｘ軸方向にオフセット値ほど移動した位置に配置されることによって、字幕が三次元で再生される。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブル字幕タイプとして、字幕の三次元再生のために、付加視点のための字幕タイプをさらに設定することができる。表３１は、第３実施形態によるマルチメディア・ストリーム生成装置１００によって変形された字幕タイプのテーブルを例示している。

表３１の字幕タイプの変形例によれば、第３実施形態によるマルチメディア・ストリーム生成装置１００は、表２５の字幕タイプの基本テーブルにおいて、字幕タイプフィールド値が「２〜１５」範囲である保留領域（reserved）を利用し、字幕タイプフィールド値「２」に、字幕の三次元再生のための付加視点字幕タイプ「subtitle＿another＿view」をさらに割り当てることができる。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、表３１の字幕タイプの変形例に基づいて、表２２の基本字幕メッセージテーブルを変形することができる。表３２は、字幕メッセージテーブル「subititle＿message（）」の変形例のシンタックスを示している。

すなわち、変形された字幕メッセージテーブルには、字幕タイプが「subtitle＿another＿view」である場合、付加視点字幕情報を設定するための「subtitle＿another＿view（）」フィールドがさらに含まれることもできる。表３３は、一実施形態による「subtitle＿another＿view（）」フィールドのシンタックスを示している。

一実施形態による「subtitle＿another＿view（）」フィールドは、付加視点のための字幕のビットマップの座標情報（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）を含んでもよい。また、一実施形態による「subtitle＿another＿view（）」フィールドは、「background＿style」フィールドに基づいて、付加視点のための字幕の背景フレームが存在するならば、付加視点のための字幕の背景フレームの座標情報（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate，frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）を含んでもよい。

また、第３実施形態によるマルチメディア・ストリーム生成装置１００は、付加視点のための字幕のビットマップ関連座標情報及び背景フレーム関連情報だけではなく、アウトラインが存在するならば、アウトラインの厚み情報（outline＿thickness）、ドロップシャドウが存在するならば、ドロップシャドウの右側シャドウ及び左側シャドウの厚み情報（shadow＿right，shadow＿bottom）を、一実施形態による「subtitle＿another＿view（）」フィールドに含めることができる。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、「subtitle＿another＿view（）」を利用し、基準視点の字幕と、付加視点（another view）の字幕とをそれぞれ生成することができる。

または、マルチメディア・ストリーム受信装置２００は、「subtitle＿another＿view（）」フィールドから、字幕のビットマップの座標情報及び背景フレームの座標情報だけを抽出して利用することによって、データ処理量を減らすこともできる。

図３０は、第３実施形態によって、ケーブル放送方式による字幕のデプス感を調節するさらに他の実施形態を図示している。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、字幕タイプ「subtitle＿another＿view（）」を考慮するように変形された表３２の字幕メッセージテーブルから、字幕再生時間関連情報を抽出し、表３３の「subtitle＿another＿view（）」フィールドから、付加視点字幕のビットマップ座標情報、フレーム座標情報及びビットマップデータを抽出することができる。

これにより、ディスプレイキュー３０００に、字幕再生時間関連情報（display＿in＿ＰＴＳ，display＿duration）、付加視点のための字幕のビットマップの座標情報（bitmap＿top＿Ｈ＿coordinate，bitmap＿top＿Ｖ＿coordinate，bitmap＿bottom＿Ｈ＿coordinate，bitmap＿bottom＿Ｖ＿coordinate）及び付加視点のための字幕の背景フレームの座標情報（frame＿top＿Ｈ＿coordinate，frame＿top＿Ｖ＿coordinate，frame＿bottom＿Ｈ＿coordinate，frame＿bottom＿Ｖ＿coordinate）を含む字幕再生関連情報、並びに字幕データから構成された字幕情報セット３０１０が保存されうる。

例えば、ディスプレイキュー３０００に、字幕再生関連情報のうち、字幕再生時間関連情報として「display＿in＿ＰＴＳ＝４」及び「display＿duration＝６００」、付加視点字幕のビットマップ座標情報として「bitmap＿top＿Ｈ＿coordinate＝２０」、「bitmap＿top＿Ｖ＿coordinate＝３０」、「bitmap＿bottom＿Ｈ＿coordinate＝５０」、「bitmap＿bottom＿Ｖ＿coordinate＝４０」、及び付加視点字幕の背景フレーム座標情報として「frame＿top＿Ｈ＿coordinate＝１０」、「frame＿top＿Ｖ＿coordinate＝２０」、「frame＿bottom＿Ｈ＿coordinate＝６０」、「frame＿bottom＿Ｖ＿coordinate＝５０」を含む字幕再生関連情報、字幕のビットマップ座標情報として「（Ｂ_ＴＨ，Ｂ_ＴＶ）＝（３０，３０）」及び「（Ｂ_ＢＨ，Ｂ_ＢＶ）＝（６０，４０）」、字幕の背景フレーム座標情報として「（Ｆ_ＴＨ，Ｆ_ＴＶ）＝（２０，２０）」及び「（ＦＢＨ，ＦＢＶ）＝（７０，５０）」が保存されていると仮定する。

三次元字幕転換段階（３Ｄ subtitle converter）（２７８０）を介して、ピクセルバッファまたはグラフィック平面３０７０に、三次元合成フォーマットであるサイドバイサイド・フォーマットの三次元字幕平面３０２０が保存されると仮定する。表３２を介して説明したところと同様の方式で、ピクセルバッファに保存されるサイドバイサイド・フォーマットの三次元字幕平面３０２０において、左目用字幕平面３０３０上の左目用字幕３０５０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＬ及び右側下端地点のｘ座標値Ｂ_ＢＨＬ、背景フレームの左側上端地点のｘ座標値Ｆ_ＴＨＬ及び右側下端地点のｘ座標値Ｆ_ＢＨＬは、それぞれ（１７）Ｂ_ＴＨＬ＝Ｂ_ＴＨ／２＝３０／２＝１５；（１８）Ｂ_ＢＨＬ＝Ｂ_ＢＨ／２＝６０／２＝３０；（１９）Ｆ_ＴＨＬ＝Ｆ_ＴＨ／２＝２０／２＝１０；（２０）Ｆ_ＢＨＬ＝Ｆ_ＢＨ／２＝７０／２＝３５に決定される。

また、三次元字幕平面３０２０において、右目用字幕平面３０４０上の右目用字幕３０６０のビットマップの左側上端地点のｘ座標値Ｂ_ＴＨＲ及び右側下端地点のｘ座標値Ｂ_ＢＨＲ、フレームの左側上端地点のｘ座標値Ｆ_ＴＨＲ及び右側下端地点のｘ座標値Ｆ_ＢＨＲは、それぞれ下記関係式（２１），（２２），（２３）及び（２４）によって決定される。

（２１）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋bitmap＿top＿Ｈ＿coordinate／２；
（２２）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋bitmap＿bottom＿Ｈ＿coordinate／２；
（２３）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋frame＿top＿Ｈ＿coordinate／２；
（２４）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋frame＿bottom＿Ｈ＿coordinate／２
従って、右目用字幕３０６０のビットマップのｘ座標値Ｂ_ＴＨＬ，Ｂ_ＢＨＬ，Ｆ_ＴＨＬ及びＦ_ＢＨＬは、それぞれ（２１）Ｂ_ＴＨＲ＝Ｏ_ＨＲ＋bitmap＿top＿Ｈ＿coordinate／２＝１００＋１０＝１１０；（２２）Ｂ_ＢＨＲ＝Ｏ_ＨＲ＋bitmap＿bottom＿Ｈ＿coordinate／２＝１００＋２５＝１２５；（２３）Ｆ_ＴＨＲ＝Ｏ_ＨＲ＋frame＿top＿Ｈ＿coordinate／２＝１００＋５＝１０５；（２４）Ｆ_ＢＨＲ＝Ｏ_ＨＲ＋frame＿bottom＿Ｈ＿coordinate／２＝１００＋３０＝１３０に決定される。

これにより、左目用字幕３０５０及び右目用字幕３０６０が、それぞれ字幕平面３０３０，３０４０上で、ｘ軸方向にオフセット値ほど移動した位置に配置され、字幕が三次元で再生される。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、ケーブル字幕タイプとして、字幕の三次元効果のための字幕ディスパリティ・タイプをさらに設定することができる。表３４は、第３実施形態によるマルチメディア・ストリーム生成装置１００によって、字幕ディスパリティ・タイプが追加されるように変形された字幕タイプのテーブルを例示している。

表３４の字幕タイプの変形例によれば、第３実施形態によるマルチメディア・ストリーム生成装置１００は、表２５の字幕タイプの基本テーブルにおける保留領域を利用し、字幕タイプフィールド値「２」に、字幕ディスパリティ・タイプ「subtitle＿disparity」をさらに割り当てることができる。

第３実施形態によるマルチメディア・ストリーム生成装置１００は、表３４の字幕タイプの変形例に基づいて字幕ディスパリティ・フィールドを新たに設定することができる。表３５は、一実施形態による字幕ディスパリティ・フィールド「subtitle＿disparity（）」のシンタックスを示している。

表３５によれば一実施形態による字幕ディスパリティ・フィールドは、左目用字幕と右目用字幕とのディスパリティ情報を含む「disparity」フィールドを含む。

第３実施形態によるマルチメディア・ストリーム受信装置２００は、新たに設定された字幕タイプ「subtitle＿disparity」を考慮するように変形された字幕メッセージテーブルから字幕再生時間関連情報を抽出し、表３５の「subtitle＿disparity」フィールドから、三次元字幕のディスパリティ情報及びビットマップデータを抽出することができる。これにより、第３実施形態による再生部２４０は、右目用字幕を左目用字幕３０５０の位置から、ディスパリティほど移動した位置に表示することによって、字幕を三次元で再生させることができる。

このように、本発明の実施形態によれば、三次元再生情報を利用して、ビデオ映像と共に字幕を三次元で再生することができる。

前述のプロセッサ、機能、方法及び／またはソフトウェアは、プログラム命令を遂行または実行するために、コンピュータによって実行されるプログラム命令を含む少なくとも１つのコンピュータで読み取り可能な記録媒体に記録されたり保存されたり、または固定されてもよい。

また、該媒体は、プログラム命令、データファイル、データ構造のうち、少なくとも一つを含んでもよい。前記媒体及びプログラム命令は、当該本願発明を遂行するように設計されるものである。また、前記媒体及びプログラム命令は、コンピュータ・ソフトウェア分野で当業者によって容易に設計されるものである。

コンピュータで読み取り可能な媒体は、ハードディスク、フロッピー（登録商標）ディスク及びマグネチックテープのようなマグネチック媒体；及びＣＤ−ＲＯＭディスク、ＤＶＤ（digital versatile disc）のような光媒体、光ディスクのような磁気的光学（magneto-optical）媒体；ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）及びフラッシュメモリのようなハードウェア装置；を含むことができる。

例えば、プログラム命令は、コンパイラによって生成される機械的コード、コンピュータによって実行される高レベルコード（higher level code）を含むファイルを含むことができる。

前述のハードウェア装置は、所定動作及び前述の方法を遂行するために少なくとも１つのソフトウェア・モジュールのように動作しうる。さらに、コンピュータ読み取り可能な記録媒体は、ネットワークを介して連結されたコンピュータ・システム間に分配され、コンピュータで読み取り可能なコードまたはプログラム命令は、分散された方式で保存及び遂行が可能である。

コンピュータ・システムまたはコンピュータは、バス、ユーザインターフェース及びメモリ・コントローラと電気的に連結されたマイクロプロセッサを含むことができる。また、フラッシュメモリ装置をさらに含むことができる。前記フラッシュメモリ装置は、Ｎビットデータを保存することができる。

Ｎビットデータは、１または１より大きい整数値を有することができる。コンピュータ・システムまたはコンピュータは、モバイル装置であって、バッテリから所定電源の供給を受けることができる。

コンピュータ・システムまたはコンピュータが、アプリケーション・チップセット（application chipset）、カメライメージプロセッサ（ＣＩＳ：camera image processor（ＣＩＳ））、モバイルＤＲＡＭ（dynamic random-access memory）などをさらに含むことができるということは、本発明が属する当業者には自明である。メモリ・コントローラ及びフラッシュメモリ装置は、固体状態ディスク（ＳＤＤ：solid state drive/disk）から構成されてもよい。

前述の説明は、多様な実施例に適用される本発明の新規一特徴に焦点を合わせて行われているが、本技術分野の当業者であるならば、本発明の範囲を外れずに、前記説明された装置及び方法の形態及び細部事項で、多様な削除、代替及び変更が可能であるということを理解するであろう。従って、本発明の範囲は、特許請求の範囲により定義されている。

Claims

ダイアログスタイル・セグメント及びダイアログプレゼンテーション・セグメントを含むテキストサブタイトルデータから、三次元再生情報を抽出する段階であって、前記ダイアログスタイル・セグメントは前記ダイアログプレゼンテーション・セグメントのためのスタイル情報を含み、前記ダイアログプレゼンテーション・セグメントは、１画面に同時にディスプレイされる複数のテキスト領域を定義するための複数の領域情報を含み、それぞれの領域情報は、対応するテキスト領域に字幕にレンダリングされてディスプレイされるテキストストリング、該テキストストリングをレンダリングするのに使用されるスタイル参照情報、及び前記対応するテキスト領域に対して、デプス値を示すオフセット値と該オフセット値が適用される方向を示すオフセット方向を含む前記三次元再生情報を含む段階と、
それぞれのテキスト領域に対して、前記三次元再生情報を利用し、字幕を三次元で再生する段階と、
を含むことを特徴とする信号処理方法。
ダイアログスタイル・セグメント及びダイアログプレゼンテーション・セグメントを含むテキストサブタイトルデータから、三次元再生情報を抽出するサブタイトルデコーダであって、
前記ダイアログスタイル・セグメントは前記ダイアログプレゼンテーション・セグメントのためのスタイル情報を含み、前記ダイアログプレゼンテーション・セグメントは、１画面に同時にディスプレイされる複数のテキスト領域を定義するための複数の領域情報を含み、それぞれの領域情報は、対応するテキスト領域に字幕にレンダリングされディスプレイされるテキストストリング、該テキストストリングをレンダリングするのに使用されるスタイル参照情報、及び前記対応するテキスト領域に対して、デプス値を示すオフセット値と該オフセット値が適用される方向を示すオフセット方向を含む前記三次元再生情報を含むサブタイトルデコーダを含み、
前記サブタイトルデコーダは、それぞれのテキスト領域に対して、前記三次元再生情報を利用し、字幕を三次元で再生することを特徴とする信号処理装置。
信号処理方法を実行するためのプログラムを保存した、コンピュータで読み取り可能な記録媒体において、
前記信号処理方法は、
ダイアログスタイル・セグメント及びダイアログプレゼンテーション・セグメントを含むテキストサブタイトルデータから、三次元再生情報を抽出する段階であって、前記ダイアログスタイル・セグメントは前記ダイアログプレゼンテーション・セグメントのためのスタイル情報を含み、前記ダイアログプレゼンテーション・セグメントは、１画面に同時にディスプレイされる複数のテキスト領域を定義するための複数の領域情報を含み、それぞれの領域情報は、対応するテキスト領域に字幕にレンダリングされてディスプレイされるテキストストリング、該テキストストリングをレンダリングするのに使用されるスタイル参照情報、及び前記対応するテキスト領域に対して、デプス値を示すオフセット値と該オフセット値が適用される方向を示すオフセット方向を含む前記三次元再生情報を含む段階と、
それぞれのテキスト領域に対して、前記三次元再生情報を利用し、字幕を三次元で再生する段階と
を含むことを特徴とする記録媒体。