JP5789518B2 - グラフィック画面処理方法及び装置 - Google Patents

Description

本発明は、グラフィック画面処理方法及び装置に係り、さらに具体的には、字幕やメニューなどを含むグラフィック画面を、三次元映像として出力するグラフィック画面処理方法及び装置に関する。

デジタル技術の発達によって、三次元映像技術が広く普及している。三次元映像技術は、二次元映像に深み（デプス；depth）に係わる情報を付与し、さらに写実的な映像を表現する技術であり、現場で実物を見るような事実感、現実感（臨場感）を提供し、通信、ゲーム、医療、放送などの多様な分野で応用されている。

人間の目は、横方向に所定距離ほど離れているので、左目と右目とが見る二次元映像が互いに異なるが、これを両眼視差という。脳は、互いに異なる２つの二次元映像を融合し、遠近感と実在感とがある三次元映像を生成する。両眼視差を利用して三次元映像を具現する方法には、メガネを着用する方法と、メガネを着用せずに、レンチキュラレンズ（lenticular lens）、視差障壁（parallax barrier）、視差照明（barallax illumination）などが備わった装置を利用する方法とがある。

本発明は、字幕やメニューなどのグラフィック画面を三次元として出力するためのグラフィック画面処理方法及び装置を提供するためのものである。

前記課題を解決するために、本発明の一側面によれば、グラフィック・ストリームをデコーディングし、グラフィック・オブジェクトを生成する段階と、前記グラフィック・ストリームをデコーディングし、二次元構成情報及び色相情報を生成する段階と、前記グラフィック・ストリームに係わるメタデータを利用し、前記二次元構成情報から三次元構成情報を生成する段階と、前記三次元構成情報及び前記色相情報を利用し、前記グラフィック・オブジェクトを三次元画面として出力する段階と、を含むグラフィック・ストリーム処理方法を提供することができる。

望ましい実施形態で、前記方法は、前記グラフィック・ストリーム処理方法を遂行する再生装置内のプレーヤ・セッティング・レジスタから３Ｄケイパビリティー（capability）情報を抽出する段階、及び前記３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否か、またはグラフィック画面に同じデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否かを判断する段階をさらに含み、前記三次元構成情報を生成する段階は、前記３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、グラフィック画面を三次元で再生できると判断されれば、前記メタデータを利用し、それぞれのグラフィック・オブジェクト別に位置移動値を求める段階；前記位置移動値を利用し、前記二次元構成情報に含まれたオブジェクト位置値を左側及び右側に所定距離ほど離れた値に変換する段階；前記変換された位置値を各々含む左目用グラフィック画面生成のための左目用構成情報、及び右目用グラフィック画面生成のための右目用構成情報を生成する段階；を含むことができる。

また、前記グラフィック・オブジェクトの位置移動値を求める段階は、前記メタデータから各グラフィック・オブジェクトに適用されるオブジェクトデプス値を抽出する段階、及び前記オブジェクトデプス値を利用し、前記グラフィック・オブジェクトの位置移動値を求める段階を含むことができる。

また、前記三次元構成情報を生成する段階は、前記左目用構成情報及び前記右目用構成情報に、前記メタデータに含まれたホール補償情報をそれぞれ追加し、前記三次元構成情報を生成する段階を含むことができる。また、前記ホール補償情報は、ホール領域識別情報及び色相参照情報を含むことができる。また、前記グラフィック・オブジェクトを三次元画面として出力する段階は、前記三次元構成情報を利用し、前記グラフィック・オブジェクトそれぞれを変換された位置に配列し、前記ホール領域に前記色相参照情報によって参照された色相を適用し、前記左目用グラフィック画面及び前記右目用グラフィック画面をそれぞれ生成する段階を含むことができる。

また、前記ホール補償情報は、ホール領域識別情報、前記識別されたホール領域に挿入されるホール・グラフィック・オブジェクトのうちいずれか一つ以上を含むことができる。また、前記グラフィック・オブジェクトを三次元画面として出力する段階は、前記三次元構成情報を利用し、前記グラフィック・オブジェクトそれぞれを変換された位置に配列し、前記ホール領域に前記ホール・グラフィック・オブジェクトを配列し、前記左目用グラフィック画面及び右目用グラフィック画面をそれぞれ生成する段階を含むことができる。また、前記三次元構成情報を生成する段階は、前記メタデータから、前記グラフィック・ストリームが左目用ビデオ映像、右目用ビデオ映像、二次元ビデオ映像のうちいずれのビデオ映像を基準に作成されたものであるかを示すグラフィック画面生成基準情報を抽出する段階を含むことができる。

また、前記グラフィック・ストリームが左目用ビデオ映像を基準に作成された場合、前記三次元構成情報を生成する段階は、前記メタデータを利用し、前記グラフィック・オブジェクトの位置移動値を求める段階、前記位置移動値を利用し、前記二次元構成情報に含まれたオブジェクト位置値を左または右に所定距離ほど変換する段階、及び前記変換された位置値を含む右目用グラフィック画面生成のための右目用構成情報を生成する段階を含むことができる。

また、前記グラフィック・ストリームが右目用ビデオ映像を基準に作成された場合、前記三次元構成情報を生成する段階は、前記メタデータを利用し、前記グラフィック・オブジェクトの位置移動値を求める段階、前記位置移動値を利用し、前記二次元構成情報に含まれたオブジェクト位置値を左または右に所定距離ほど変換する段階、及び前記変換された位置値を含む左目用グラフィック画面生成のための左目用構成情報を生成する段階を含むことができる。

また、前記方法は、グラフィック・ストリーム処理方法を遂行する再生装置内のプレーヤ・セッティング・レジスタから３Ｄケイパビリティー情報を抽出する段階；前記３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、グラフィック画面を三次元で再生することができる否かが、またはグラフィック画面が同じデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否かを判断する段階をさらに含み、前記三次元構成情報を生成する段階は、前記３Ｄケイパビリティー情報を利用し、グラフィック画面が同じデプス値を有するようにして、グラフィック画面を三次元で再生することができると判断されれば、前記メタデータを利用し、前記グラフィック・オブジェクト全体が出力されるグラフィック画面の位置移動値を求める段階、前記グラフィック画面の位置移動値を利用し、前記二次元構成情報に含まれたオブジェクト位置値を左または右に所定距離ほど変換する段階、及び前記変換された位置値を含む三次元構成情報を生成する段階を含むことができる。

また、前記グラフィック・オブジェクトを三次元画面として出力する段階は、前記三次元構成情報を利用し、前記グラフィック画面が前記左または右に変換された位置に交互に出力されるようにする段階を含むことができる。

本発明の他の側面によれば、グラフィック・ストリームをデコーディングし、グラフィック・オブジェクト、二次元構成情報及び色相情報を生成するグラフィック処理部と、前記グラフィック・ストリームに係わるメタデータを利用し、前記二次元構成情報から三次元構成情報を生成するデプス処理部と、前記三次元構成情報及び前記色相情報を利用し、前記グラフィック・オブジェクトを三次元画面として出力するグラフィック画面出力部と、を含むグラフィック・ストリーム処理装置を提供することができる。

本発明のさらに他の側面によれば、グラフィック・ストリーム及び前記グラフィック・ストリームに係わるメタデータを含み、前記グラフィック・ストリームは、グラフィック・オブジェクト、二次元構成情報及び色相情報を含み、前記メタデータは、グラフィック・オブジェクト識別情報、グラフィック・オブジェクトのデプス値及び位置移動値のうちいずれか一つ、及びホール補償情報を含み、前記メタデータは、前記二次元構成情報から前記グラフィック・オブジェクトを三次元画面として出力するための三次元構成情報を生成するのに使われるコンピュータで読み取り可能な記録媒体を提供することができる。

本発明のさらに他の側面によれば、グラフィック・ストリームをデコーディングし、グラフィック・オブジェクトを生成する段階、前記グラフィック・ストリームをデコーディングし、二次元構成情報及び色相情報を生成する段階、前記グラフィック・ストリームに係わるメタデータを利用し、前記二次元構成情報から三次元構成情報を生成する段階、及び前記三次元構成情報及び前記色相情報を利用し、前記グラフィック・オブジェクトを三次元画面として出力する段階を含むグラフィック・ストリーム処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体を提供することができる。

本発明のさらに他の側面によれば、３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否か、またはグラフィック画面に同じデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否かを判断する段階を含むグラフィック・ストリーム処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体を提供することができる。

本発明のさらに他の側面によれば、グラフィック・ストリームと、前記グラフィック・ストリームを三次元グラフィック画面で再生するための、前記グラフィック・ストリームに係わるメタデータと、を含み、前記グラフィック・ストリームに係わるメタデータは、グラフィック・オブジェクトに係わるデプス情報、及びグラフィック画面に係わるデプス情報を含み、前記グラフィック・オブジェクトに係わるデプス情報は、グラフィック・オブジェクト識別子、グラフィック・オブジェクトのデプス値及び位置移動値のうちいずれか一つ、及びホール補償情報を含むコンピュータで読み取り可能な記録媒体を提供することができる。

本発明のさらに他の側面によれば、３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否か、またはグラフィック画面に同じデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否かを判断する段階を含むグラフィック・ストリーム処理方法を提供することができる。

本発明のさらに他の側面によれば、３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否か、またはグラフィック画面が同じデプス値を有するようにして、グラフィック画面を三次元で再生することができるか否かを判断するグラフィックデコーダを含むグラフィック・ストリーム処理装置を提供することができる。

本発明によれば、字幕やメニューなどのグラフィック画面を三次元として出力するグラフィック画面処理方法及び装置を提供することができる。

本発明の一実施形態によるグラフィック・ストリームに係わるメタデータを図示した図である。 本発明の一実施形態による再生装置の内部ブロック図である。 図２の再生装置内部のメモリであるプレーヤ・セッティング・レジスタ（player setting register）を図示した図である。 本発明の一実施形態によるグラフィック・ストリーム処理装置を示したブロック図である。 本発明の他の実施形態によるグラフィック・ストリーム処理装置を示したブロック図である。 本発明のさらに他の実施形態によるグラフィック・ストリーム処理装置を示したブロック図である。 メタデータに含まれたグラフィック画面生成基準情報を利用する場合に生成される構成情報を説明するための図である。 本発明の一実施形態によるグラフィック・ストリーム処理方法を図示したフローチャートである。 本発明の他の実施形態によるグラフィック・ストリーム処理方法を図示したフローチャートである。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。

図１は、本発明の一実施形態によるグラフィック・ストリームに係わるメタデータを図示した図である。本発明の一実施形態によるメタデータには、グラフィック・ストリームに係わる情報が含まれている。二次元映像に立体感を与えるためには、二次元映像にデプス（depth）感を付与しなければならない。肉眼で画面を見るとき、画面に投射された映像が両眼に結ばれるが、目に結ばれた映像の２点間の距離を視差（parallax）という。視差は、正の視差（positive parallax）、ゼロの視差（zero parallax）、負の視差（negative parallax）に区分される。正の視差とは、映像が画面奥に結ばれる場合の視差をいい、視差が両目間の距離と同じであるか、あるいはそれより小さいことをいう。視差値が大きくなるほど、映像が画面よりさらに深く位置したような立体感を与える。

映像が画面平面に二次元で結ばれた場合の視差は、０になる。視差が０である場合、映像が画面平面に結ばれるので、ユーザは、立体感を感じられない。負の視差は、映像が画面より手前にある場合の視差をいい、視線が交差するときに生じ、あたかも物体が飛び出してくるような立体感を与える。

ビデオ・ストリームは、グラフィック・ストリームと共に再生されうる。グラフィック・ストリームは、サブタイトルを提供するためのプレゼンテーション・グラフィック・ストリーム（presentation graphic stream）、ユーザとの相互作用のためのボタンなどからなるメニューを提供するためのインタラクティブ・グラフィック・ストリーム（interactive graphic stream)、及びJava（登録商標）のようなプログラム要素によって表示されるグラフィカル・オーバーレイ（graphical overlay）のうちいずれか一つ以上を含むことができる。ビデオ・ストリームが三次元映像として再生される場合、ビデオ・ストリームと共に再生されるグラフィック・ストリームもまた三次元で再生されうる。本発明は、グラフィック・ストリームを三次元で再生するための情報を含むデータを、グラフィック・ストリームとは別個のストリームとして開始し、その別個のストリームは、グラフィック・ストリームに係わるメタデータになりうる。

グラフィック・ストリームに係わるメタデータには、グラフィック・ストリームに含まれたグラフィック・オブジェクトが出力される時間を示すオブジェクト出力時間情報、及びグラフィック・オブジェクトに係わるデプス情報が含まれうる。グラフィック・オブジェクトは、グラフィック・ストリームによって表示されるグラフィック画面に含まれるボタンや字幕一つ一つを示す。グラフィック・オブジェクト出力時間情報は、メニューや字幕、すなわち、グラフィック・オブジェクトが出力される時刻を示し、ＩＣＳ（interactive composition segment）、ＰＣＳ（presentation composition segment）、ＤＰＳ（dialog composition segment）などのプレゼンテーション・タイムスタンプ（ＰＴＳ）値でもって表示されうる。グラフィック・ストリームによって表示されるグラフィック画面には、メニューやボタンまたは字幕などを示すグラフィック・オブジェクトが一つ以上含まれている。グラフィック・ストリームによって表示されるグラフィック画面に、複数個のグラフィック・オブジェクトが含まれている場合、複数個のグラフィック・オブジェクトそれぞれに係わる別個のデプス値を付与させることもでき、グラフィック・オブジェクトが含まれたグラフィック画面自体に、同じ一つのデプス値を付与させることもできる。本発明では、グラフィック画面に含まれた複数個のグラフィック・オブジェクトそれぞれについて、別個のデプス値を付与するための情報を、グラフィック・オブジェクトに係わるデプス情報といい、これと区別されるように、グラフィック・オブジェクトが含まれたグラフィック画面に、同じデプス値を付与するための情報を、グラフィック画面に係わるデプス情報と呼ぶ。

グラフィック・ストリームに係わるメタデータには、グラフィック・オブジェクトに係わるデプス情報、及びグラフィック画面に係わるデプス情報のうちいずれか一つ以上が含まれうる。

グラフィック・オブジェクトに係わるデプス情報は、グラフィック・オブジェクトを識別するためのオブジェクト識別子、グラフィック・オブジェクトに適用するデプス値／位置移動値、及びホール補償情報を含む。オブジェクト識別子は、グラフィック・ストリームがデコーディングされて生成されたグラフィック・オブジェクトのうち特定グラフィック・オブジェクトを識別するための情報である。

デプス値／位置移動値は、オブジェクト識別子によって識別されたオブジェクトに付与されるデプス値、またはデプス値によって画面でのグラフィック・オブジェクトの位置を移動するための値である。

ホール補償情報は、グラフィック・オブジェクトに立体感を付与するためにグラフィック・オブジェクトの位置を位置移動値ほど変更する場合、本来のオブジェクト位置に生じるホール（hole）を補償するための情報であり、ホールの領域を識別するためのホール領域識別情報、及び識別された領域を充填する色相の種類を示す色相参照情報を含むことができる。他の実施形態で、ホール補償情報は、色相参照情報の代わりに、ホール領域に挿入される図などに係わる情報が含まれうる。ホール領域に挿入される図などを示すために、ホール補償情報には、ホール領域に挿入されるホール・オブジェクト、及びホール・オブジェクトの位置や出力時刻などを示すためのホール構成情報を含むことができる。

グラフィック・ストリームに係わるメタデータには、グラフィック画面生成基準情報がさらに含まれうる。１つの二次元映像を三次元映像として再生するためには、１つの二次元映像からデプス値による距離ほど左または右に映像が偏っている左目用映像及び右目用映像を生成し、２つの映像を交互に画面に出力せねばならない。グラフィック・ストリームが二次元映像用に生成された場合には、特に問題はないが、グラフィック・ストリームが、左目用映像用、または右目用映像用に生成された場合、映像処理装置（図示せず）は、左目用映像用に生成されたグラフィック・ストリームを利用して、右目用映像だけ生成したり、または右目用映像用に生成されたグラフィック・ストリームを利用して、左目用映像だけ生成すればよい。このためにメタデータは、グラフィック・ストリームが二次元映像用に生成されているか、左目用映像用に生成されているか、または右目用映像用に生成されているかを映像処理装置に知らせなければならない。このためにメタデータには、グラフィック・ストリームが左目用グラフィック画面生成のためのものであるか、右目用グラフィック画面生成のためのものであるか、平面グラフィック画面生成のためのものであるかを示す情報であるグラフィック画面生成基準情報が含まれうる。

図２は、本発明の一実施形態による再生装置２００の内部ブロック図である。図２を参照するに、再生装置２００は、第１リード（read）バッファ２１０、第２リードバッファ２２０、第１ビデオデコーダ２３０、第２ビデオデコーダ２４０、グラフィックデコーダ２５０、左目用ビデオ画面バッファ２６０、右目用ビデオ画面バッファ２７０、左目用グラフィック画面バッファ２８０、右目用グラフィック画面バッファ２９０及びスイッチ３００を含む。

第１リードバッファ２１０は、再生装置２００に挿入されたディスクなどの媒体からビデオ・ストリームとグラフィック・ストリームとを読み取る。グラフィック・ストリームは、プレゼンテーション・グラフィック・ストリーム、インタラクティブ・グラフィック・ストリーム、グラフィカル・オーバーレイのうちいずれか一つ以上を含むことができる。グラフィック・ストリームに係わるメタデータが、ビデオ・ストリーム、グラフィック・ストリームと多重化されている場合、第１リードバッファ２１０は、媒体からグラフィック・ストリームに係わるメタデータも読み取って保存する。グラフィック・ストリームに係わるメタデータが、ビデオ・ストリーム、グラフィック・ストリームと多重化されておらず、別個のストリームとして媒体に保存されている場合、第２リードバッファ２２０は、媒体からグラフィック・ストリームに係わるメタデータを読み取り、これを再生装置２００内部の保存メモリにプリローディングする。

第１ビデオデコーダ２３０と第２ビデオデコーダ２４０は、ステレオスコーピック（stereoscopic）・ビデオ・ストリームをそれぞれデコーディングする。すなわち、第１ビデオデコーダ２３０は、左目用ビデオ・ストリームをデコーディングし、第２ビデオデコーダ２４０は、右目用ビデオ・ストリームをデコーディングする。左目用ビデオ画面バッファ２６０は、左目用ビデオ・ストリームからデコーディングされて生成された左目用ビデオ画面を保存し、右目用ビデオ画面バッファ２７０は、右目用ビデオ・ストリームからデコーディングされて生成された右目用ビデオ画面を保存する。

グラフィックデコーダ２５０は、グラフィック・ストリームに係わるメタデータを解釈し、グラフィック・ストリームをデコーディングする。グラフィックデコーダ２５０は、グラフィック・ストリームに係わるメタデータから、グラフィック・オブジェクトに係わるデプス情報及びグラフィック画面に係わるデプス情報のうちいずれか一つを抽出する。グラフィックデコーダ２５０が、グラフィック・ストリームに係わるメタデータから、グラフィック・オブジェクトに係わるデプス情報を抽出するか、またはグラフィック画面に係わるデプス情報を抽出するかということは、再生装置２００がグラフィック・ストリームをどのように三次元で再生するかによって変わる。

図２には図示されていないが、再生装置２００には、レジスタなどのメモリが含まれうる。メモリには、再生装置２００がグラフィック・ストリームを三次元で再生することができるか否かを表示する情報が保存されうる。またメモリには、再生装置２００がグラフィック・ストリームを三次元で再生することができる場合、再生装置２００がいかなる方式でグラフィック・ストリームを三次元で再生するかを示すフラグが保存されうる。以下、再生装置２００が、グラフィック・ストリームを三次元で再生することができる場合、再生装置２００がいかなる方式でグラフィック・ストリームを三次元で再生するかを示すフラグを、３Ｄケイパビリティー情報と呼ぶ。

３Ｄケイパビリティー情報は、再生装置２００がそれぞれのグラフィック・オブジェクト別に異なるデプス値を有するようにして、グラフィック・ストリームを三次元で再生することができるか否か、またはグラフィック画面全体に同じデプス値が付与されるようにして、グラフィック・ストリームを三次元で再生することができるか否かを表示するフラグが含まれている。

再生装置２００がグラフィック・ストリームを三次元で再生することができる機能がない場合、グラフィックデコーダ２５０は、グラフィック・ストリームを二次元で再生する。すなわち、グラフィックデコーダ２５０は、左目用グラフィック画面バッファ２８０と、右目用グラフィック画面バッファ２９０とに、同じグラフィック画面を描いたり、あるいは左目用グラフィック画面バッファ２８０と、右目用グラフィック画面バッファ２９０とのうちいずれか１つのバッファにのみグラフィック画面を描き、グラフィック画面を二次元で再生させる。

再生装置２００がグラフィック・ストリームを三次元で再生することができる場合、再生装置２００は、ディスクなどの媒体に、左目用グラフィック・ストリームと右目用グラフィック・ストリームとがいずれも含まれているか否かを判断する。ディスクに、グラフィック・ストリームが、左目用グラフィック・ストリームと右目用グラフィック・ストリームとに分かれて含まれておらず、１つのグラフィック・ストリームだけ含まれている場合、グラフィックデコーダ２５０は、グラフィック・ストリームに係わるメタデータからグラフィック画面に係わるデプス情報を抽出し、抽出したデプス情報とグラフィック・ストリームとを利用し、抽出したデプス情報の深みを有するグラフィック画面を生成する。すなわち、グラフィックデコーダ２５０は、グラフィック画面に係わるデプス情報を利用し、グラフィック画面全体に適用するデプス値に対応する位置移動値を求め、グラフィック画面が位置移動値ほど移動した位置にマッピングされた左目用グラフィック画面と右目用グラフィック画面とを、左目用グラフィック画面バッファ２８０と右目用グラフィック画面バッファ２９０とにそれぞれ描く。このとき生成されるグラフィック画面は、グラフィック画面全体が同じデプス値を有することになる。

再生装置２００がグラフィック・ストリームを三次元で再生することができ、ディスクなどの媒体に左目用グラフィック・ストリームと右目用グラフィック・ストリームとがいずれも含まれている場合、すなわち、媒体に、ステレオスコーピック・グラフィック・ストリームが含まれている場合、グラフィックデコーダ２５０は、メモリから３Ｄケイパビリティー情報を抽出し、再生装置２００がグラフィック・ストリームをいかなる方式で三次元で再生することができるかを判断する。すなわち、グラフィックデコーダ２５０は、３Ｄケイパビリティー情報に含まれたフラグを利用し、再生装置２００がグラフィック画面に含まれる複数のグラフィック・オブジェクト別に、それぞれ別個のデプス値が適用されるようにして、グラフィック・ストリームを三次元で再生することができるか否か、またはグラフィック画面全体に同じデプス値が適用されるようにして、グラフィック・ストリームを三次元で再生することができるか否かを判断する。

３Ｄケイパビリティー情報に、再生装置２００がグラフィック画面に含まれる複数のグラフィック・オブジェクト別にそれぞれ別個のデプス値が適用されるようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグが含まれている場合、グラフィックデコーダ２５０は、グラフィック・ストリームに係わるメタデータから、グラフィック・オブジェクトに係わるデプス情報を抽出し、これを利用して、左目用グラフィック・ストリームと右目用グラフィック・ストリームとをデコーディングし、グラフィック画面に含まれるグラフィック・オブジェクト別に別個のデプス値が適用されるように、左目用グラフィック画面と右目用グラフィック画面とを生成する。すなわち、グラフィックデコーダ２５０は、グラフィック・オブジェクトに係わるデプス情報から、オブジェクト識別子、識別されたグラフィック・オブジェクトにそれぞれ適用するデプス値または位置移動値を抽出し、各グラフィック・オブジェクトが位置移動値ほど移動した位置にマッピングされた左目用グラフィック画面と右目用グラフィック画面とを、左目用グラフィック画面バッファ２８０と右目用グラフィック画面バッファ２９０とにそれぞれ描く。

３Ｄケイパビリティー情報に、再生装置２００が、グラフィック画面全体に同じデプス値が適用されるようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグが含まれている場合、グラフィックデコーダ２５０は、グラフィック・ストリームに係わるメタデータから、グラフィック画面に係わるデプス情報を抽出し、これを利用して、グラフィック画面全体に同じデプス値が付与されるようにするための位置移動値を求め、グラフィック画面が位置移動値ほど移動した位置にマッピングされた左目用グラフィック画面と右目用グラフィック画面とを、左目用グラフィック画面バッファ２８０と右目用グラフィック画面バッファ２９０とにそれぞれ描く。

スイッチ３００は、左目用ビデオ画面バッファ２６０と右目用ビデオ画面バッファ２７０とに保存された左目用ビデオ画面と右目用ビデオ画面とを交互に連続的に出力する。またスイッチ３００は、左目用グラフィック画面バッファ２８０と右目用グラフィック画面バッファ２９０とに保存された左目用グラフィック画面と右目用グラフィック画面とを交互にシーケンシャルに出力する。

図２には、再生装置２００に２つのグラフィック画面バッファ、すなわち、左目用グラフィック画面バッファ２８０と、右目用グラフィック画面バッファ２９０とが含まれているが、本発明は、これに限定されるものではなく、再生装置２００には、グラフィック画面バッファが一つだけ含まれていることも可能である。再生装置２００がグラフィック・ストリームを三次元で再生することができる機能がない場合には、再生装置２００に、グラフィック画面バッファが一つだけ含まれているのである。この場合、グラフィックデコーダ２５０は、１つのグラフィック画面バッファにグラフィック画面を描き、グラフィック画面を二次元で再生させることができる。

また、再生装置２００がグラフィック・ストリームを三次元で再生することができる機能がある場合でも、再生装置２００に、グラフィック画面バッファが一つだけ含まれた場合もある。グラフィック画面バッファが一つだけ含まれている場合には、再生装置２００は、グラフィック画面全体に同じデプス値が付与されるようにして、グラフィック画面を三次元で再生することができる。この場合、グラフィックデコーダ２５０は、グラフィック画面に係わるデプス情報を利用し、グラフィック画面全体が左右に移動しなければならない位置移動値を求め、求めた位置移動値ほどグラフィック画面バッファの左側及び右側に移動した位置に、グラフィック画面を交互に描く。このとき、再生装置２００によって再生されるグラフィック画面は、グラフィック画面全体に同じデプス値が付与されることになる。

このように、本発明の実施形態によれば、再生装置は、再生装置内部のプレーヤ・セッティング・レジスタに保存された３Ｄケイパビリティー情報を利用し、グラフィック画面全体に同じデプス値を適用し、グラフィック・ストリームを三次元で再生するか、またはグラフィック画面に含まれた複数のオブジェクト別に別個のデプス値を適用し、グラフィック・ストリームを三次元で再生するかを判断することができる。

図３は、図２の再生装置２００内部のメモリであるプレーヤ・セッティング・レジスタ（player setting register）を図示した図である。

再生装置２００内部のメモリは、プレーヤ・セッティング・レジスタと、プレイバック・ステータス・レジスタ（playback status register）とを含むことができる。プレイバック・ステータス・レジスタは、再生装置２００の再生状態によって保存される値が変わるレジスタである。プレーヤ・セッティング・レジスタは、ディスク内のナビゲーション・コマンドやＡＰＩ（application programming interface）コマンドを介してレジスタ内の内容を変えることができないレジスタであり、再生装置２００が出荷されるときに設定された値が保存されている。

本発明で、再生装置２００内部のプレーヤ・セッティング・レジスタには、再生装置２００がグラフィック・ストリームを三次元で再生することができるか否かを表示する情報が保存されていることが可能である。また、プレーヤ・セッティング・レジスタには、再生装置２００がグラフィック・ストリームをいなかる方式で三次元で再生することができるかを表示する３Ｄケイパビリティー情報が保存されていることが可能である。

図３を参照するに、プレーヤ・セッティング・レジスタの全体３２ビットのうち２ビット、例えば、「ｂ０」ビット、「ｂ１」ビットに、３Ｄケイパビリティー情報が設定されている。３Ｄケイパビリティー情報には、グラフィック・ストリームをいなかる方式で三次元で再生するかを表示するフラグが含まれ、グラフィック・ストリーム別に、すなわち、インタラクティブ・グラフィック・ストリームとプレゼンテーション・グラフィック・ストリームとのそれぞれについて、各グラフィック・ストリームをいなかる方式で三次元で再生するかを表示するフラグが含まれうる。

３Ｄケイパビリティー情報には、再生装置２００がグラフィック画面に含まれる複数のグラフィック・オブジェクトそれぞれについて、別個のデプス値を有するようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグと、再生装置２００がグラフィック画面全体に同じデプス値が付与されるようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグとのうちいずれか一つが含まれうる。

３Ｄケイパビリティー情報に、再生装置２００がグラフィック画面全体について同じデプス値が付与されるようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグが含まれた場合、再生装置２００は、メタデータからグラフィック画面に係わるデプス情報を抽出し、これを利用して、グラフィック画面を再生する。

３Ｄケイパビリティー情報に、再生装置２００が、グラフィック画面に含まれたグラフィック・オブジェクト別に別個のデプス値が付与されるようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグが含まれた場合、グラフィックデコーダ２５０は、メタデータからグラフィック・オブジェクトに係わるデプス情報を抽出し、これを利用して、グラフィック画面を三次元で再生する。グラフィックデコーダ２５０は、グラフィック・オブジェクトに係わるデプス情報に含まれたオブジェクト識別子を利用し、グラフィック・ストリームに含まれた複数のグラフィック・オブジェクトをそれぞれ識別し、識別された各オブジェクトに付与するデプス値または位置移動値を利用し、左目用グラフィック画面及び右目用グラフィック画面に各グラフィック・オブジェクトがマッピングされる位置を求める。各グラフィック・オブジェクト別に、デプス値または位置移動値は変わりうる。グラフィックデコーダ２５０は、各グラフィック・オブジェクト別に移動する位置が別個になるようにして、左目用グラフィック画面と右目用グラフィック画面とを生成し、これを交互に出力する。このとき、再生装置２００によって再生されるグラフィック画面は、グラフィック画面に含まれた各オブジェクト別に別個のデプス値が付与される。

このように、本発明の実施形態によれば、再生装置内部のプレーヤ・セッティング・レジスタには、再生装置がグラフィック・ストリームを三次元で再生することを支援するか否かを表示する情報、及び／またはいかなる方式でグラフィック・ストリームを三次元で再生するかを表示するフラグを含む３Ｄケイパビリティー情報が保存されている。

図４は、本発明の一実施形態によるグラフィック・ストリーム処理装置を示したブロック図である。図４を参照すれば、グラフィック・ストリーム処理装置は、グラフィックデコーダ４１０、左目用グラフィック画面バッファ４２０、右目用グラフィック画面バッファ４３０及びＣＬＵＴ（color look-up table）４４０を含む。グラフィックデコーダ４１０は、コーデッドデータ・バッファ（coded data buffer）４１１、グラフィック・プロセッサ（graphics processor）４１２、オブジェクト・バッファ（object buffer）４１３、コーデッドデプス・バッファ（coded depth buffer）４１４、デプス・プロセッサ（depth processor）４１５、構成バッファ（composition buffer）４１６及びグラフィック・コントローラ（graphics controller）４１７を含む。

コーデッドデータ・バッファ４１１には、デコーディングされるグラフィック・ストリームが記録されている。グラフィック・プロセッサ４１２は、コーデッドデータ・バッファ４１１に記録されているグラフィック・ストリームをデコーディングし、一つ以上のグラフィック・オブジェクト、二次元構成情報、色相情報を生成する。

グラフィック・プロセッサ４１２は、ボタンや字幕などのイメージ用グラフィック・オブジェクトをオブジェクト・バッファ４１３に送る。図２で、オブジェクト・バッファ４１３には、笑い顔の図形及び正方形図形の２つのグラフィック・オブジェクトが保存されていることが分かる。

グラフィック・プロセッサ４１２は、二次元構成情報及び色相情報を構成バッファ４１６に送る。二次元構成情報は、グラフィック・オブジェクトが二次元で画面に配列されるときに使われる情報であり、グラフィック・オブジェクトの画面出力を制御するのに使われる。

コーデッドデプス・バッファ４１４には、グラフィック・ストリームに係わるメタデータが含まれている。

図４のグラフィック・ストリーム処理装置内部には、プレーヤ・セッティング・レジスタが含まれており、プレーヤ・セッティング・レジスタには、グラフィック・ストリーム処理装置がいなかる方式でグラフィック・ストリームを三次元で再生することができるかを表示する３Ｄケイパビリティー情報が保存されている。グラフィック・ストリーム処理装置は、３Ｄケイパビリティー情報を利用して、グラフィック画面全体に同じデプス値を適用して、グラフィック・ストリームを三次元で再生することができるか否か、またはグラフィック画面に含まれた複数のオブジェクト別に別個のデプス値を適用して、グラフィック・ストリームを三次元で再生することができるか否かを判断する。

グラフィック・ストリーム処理装置が、３Ｄケイパビリティー情報を利用して、グラフィック画面に含まれたオブジェクト別に別個のデプス値を適用して、グラフィック・ストリームを三次元で再生することができると判断すれば、グラフィック・ストリーム処理装置は、グラフィック・ストリームに係わるメタデータから、オブジェクト出力時間情報、及びグラフィック・オブジェクトに係わるデプス情報を抽出し、グラフィック・ストリームを三次元で再生する。

デプス・プロセッサ４１５は、コーデッドデプス・バッファ４１４に保存されているメタデータから、グラフィック・ストリームに係わるデプス情報を抽出して、これを解釈する。グラフィック・オブジェクトに係わるデプス情報は、オブジェクト識別子、オブジェクト識別子によって識別されたオブジェクトに付与するデプス値または位置移動値が含まれている。デプス・プロセッサ４１５は、グラフィック・オブジェクトに係わるデプス情報に含まれたオブジェクト識別子を利用して、グラフィック・ストリームに含まれた複数のグラフィック・オブジェクトのうちいずれか一つを識別する。

デプス・プロセッサ４１５は、識別されたグラフィック・オブジェクトに対する二次元構成情報に含まれたグラフィック・オブジェクトの位置値を、メタデータに含まれた、グラフィック・オブジェクトに係わるデプス情報に含まれている位置移動値を利用して、左または右に所定距離ほど変換する。メタデータに、位置移動値の代わりにデプス値が含まれている場合、デプス・プロセッサ４１５は、デプス値を利用し、左目用グラフィック画面及び右目用グラフィック画面にグラフィック・オブジェクトがマッピングされる位置を求め、マッピングされる位置と、現在グラフィック・オブジェクトの位置との差を利用して、グラフィック・オブジェクトの位置移動値を求める。

デプス・プロセッサ４１５は、グラフィック・オブジェクトの位置値が、本来の位置より左または右に所定距離ほど変換された左目用構成情報を生成する。また、デプス・プロセッサ４１５は、グラフィック・オブジェクトの位置値が、本来の位置より左または右に所定距離ほど変換された右目用構成情報を生成する。左目用構成情報と右目用構成情報は、それぞれ左目用及び右目用のグラフィック画面を生成し、これを画面に配列するための構成情報である。

デプス・プロセッサ４１５は、グラフィック・オブジェクトの位置が変わることによって生じるホール領域を埋め込むために、メタデータからホール補償情報を抽出してこれを解釈する。図４でホール補償情報は、ホール領域を識別するためのホール領域識別情報、及びどの色相でホール領域を埋め込むかを示す色相参照情報を含む場合を仮定する。デプス・プロセッサ４１５は、左目用構成情報及び右目用構成情報それぞれに、ホール補償情報を含んで三次元構成情報を生成する。三次元構成情報は、グラフィック・オブジェクトを三次元で画面に配列するための情報であり、二次元構成情報のうちグラフィック・オブジェクトの位置値が変換された値であり、ホール補償情報を含む情報である。デプス・プロセッサ４１５は、生成された三次元構成情報を構成バッファ４１６に保存させる。

グラフィック・コントローラ４１７は、メタデータに含まれたオブジェクト出力時間情報を利用し、グラフィック・オブジェクトが出力されるＰＴＳ（presentation time stamp）を感知する。グラフィック・コントローラ４１７は、グラフィック・オブジェクトが出力されるＰＴＳ時間になれば、構成バッファ４１６に保存されている三次元構成情報を利用し、オブジェクト・バッファ４１３に保存されているグラフィック・オブジェクトを読み取り、画面に出力するイメージを左目用グラフィック画面バッファ４２０及び右目用グラフィック画面バッファ４３０に伝送して配列する。

グラフィック・コントローラ４１７は、色相情報をＣＬＵＴ（color look-up table）４４０に伝送し、画面上にグラフィック・オブジェクトを構成する。このとき、グラフィック・コントローラ４１７は、ホール補償情報を利用し、ホール領域がＣＬＵＴのうち色相参照情報によって参照された色相で充填される。

このように、本発明の一実施形態によれば、グラフィック・オブジェクトに係わる二次元構成情報を利用して、三次元構成情報を生成し、三次元構成情報を利用して、グラフィック・オブジェクトを三次元で画面に出力させることができる。

図５は、本発明の他の実施形態によるグラフィック・ストリーム処理装置を示したブロック図である。図５を参照するに、グラフィック・ストリーム処理装置は、グラフィックデコーダ５１０、左目用グラフィック画面バッファ５２０、右目用グラフィック画面バッファ５３０及びＣＬＵＴ ５４０を含む。グラフィックデコーダ５１０は、コーデッドデータ・バッファ５１１、グラフィック・プロセッサ５１２、オブジェクト・バッファ５１３、コーデッドデプス・バッファ５１４、デプス・プロセッサ５１５、構成バッファ５１６、グラフィック・コントローラ５１７及びホール補償情報バッファ（occlusion buffer）５１８を含む。

図５のグラフィック・ストリーム処理装置は、図４のグラフィック・ストリーム処理装置と他の構成要素は同一であるが、グラフィックデコーダ５１０に、ホール補償情報バッファ５１８をさらに含むという点で区別される。他のブロックは、図４のグラフィック・ストリーム処理装置のブロックと遂行するところが同一であるので、以下、図４のグラフィック・ストリーム処理装置と区別される機能を中心に説明する。

図５で、グラフィック・ストリーム処理装置内部のプレーヤ・セッティング・レジスタには、グラフィック・ストリーム処理装置が、グラフィック・ストリームを三次元で再生することができるか否かを表示する情報、及び／またはグラフィック・ストリームをいなかる方式で三次元で再生するかを表示する３Ｄケイパビリティー情報が含まれている。グラフィック・ストリーム処理装置は、３Ｄケイパビリティー情報を利用し、グラフィック画面全体に同じデプス値を適用し、グラフィック・ストリームを三次元で再生することができるか否か、またはグラフィック画面に含まれた複数のオブジェクト別に別個のデプス値を適用し、グラフィック・ストリームを三次元で再生することができるか否かを判断する。

グラフィック・ストリーム処理装置が、３Ｄケイパビリティー情報を利用し、グラフィック画面に含まれたオブジェクト別に別個のデプス値を適用し、グラフィック・ストリームを三次元で再生することができると判断すれば、グラフィック・ストリーム処理装置は、グラフィック・ストリームに係わるメタデータから、オブジェクト出力時間情報、及びグラフィック・オブジェクトに係わるデプス情報を抽出する。

図５のグラフィック・ストリーム処理装置は、図４のグラフィック・ストリーム処理装置と異なるように、ホール補償情報として、ホール・オブジェクト及びホール構成の情報が含まれているメタデータを利用する。

グラフィック・プロセッサ５１２は、コーデッドデータ・バッファ５１１に記録されているグラフィック・ストリームをデコーディングし、一つ以上のグラフィック・オブジェクト、二次元構成情報、色相情報を生成し、二次元構成情報及び色相情報を構成バッファ５１６に送り、グラフィック・オブジェクトをオブジェクト・バッファ５１３に送る。

デプス・プロセッサ５１５は、グラフィック・オブジェクトの位置が変わることによって生じるホール領域を埋め込むために、メタデータからホール補償情報を抽出してこれを解釈する。前述の通り、図５でホール補償情報は、ホール・オブジェクト及びホール領域の情報を含む。デプス・プロセッサ５１５は、デコーディングされたホール・オブジェクトをホール補償情報バッファ５１８に送る。

デプス・プロセッサ５１５は、メタデータを解釈し、オブジェクト識別子と、識別されたオブジェクトに付与するデプス値／位置移動値とを求める。デプス・プロセッサ５１５は、グラフィック・プロセッサ５１２によってデコーディングされた二次元構成情報内のオブジェクトの位置値を、デプス値／位置移動値を利用して変換する。デプス・プロセッサ５１５は、オブジェクトの位置値が変換された二次元構成情報及びホール領域識別情報を含み、左目用構成情報及び右目用構成情報をそれぞれ生成する。

グラフィック・コントローラ５１７は、三次元グラフィック・オブジェクトが出力されるＰＴＳ時点になれば、左／右目用イメージを表示するために、オブジェクト・バッファ５１３及びホール補償情報バッファ５１８から、グラフィック・オブジェクト及びホール・オブジェクトを読み取り、グラフィック・オブジェクト及びホール・オブジェクトに左目用構成情報及び右目用構成情報を適用し、それぞれ左目用グラフィック画面バッファ５２０及び右目用グラフィック画面バッファ５３０に配した後、ＣＬＵＴ ５４０を介して指定された色相を適用して出力する。

図６は、本発明のさらに他の実施形態によるグラフィック・ストリーム処理装置を示したブロック図である。図６を参照すれば、グラフィック・ストリーム処理装置は、グラフィックデコーダ６１０、グラフィック画面バッファ６２０、ＣＬＵＴ ６３０及びスイッチ６４０を含む。グラフィックデコーダ６１０は、コーデッドデータ・バッファ６１１、グラフィック・プロセッサ６１２、オブジェクト・バッファ６１３、コーデッドデプス・バッファ６１４、デプス・プロセッサ６１５、構成バッファ６１６及びグラフィック・コントローラ６１７を含む。

図６のグラフィック・ストリーム処理装置内部のプレーヤ・セッティング・レジスタには、グラフィック・ストリーム処理装置がグラフィック・ストリームを三次元で再生することができるか否かを表示する情報、及び／またはグラフィック・ストリームをいなかる方式で三次元で再生するかを表示する３Ｄケイパビリティー情報が含まれている。グラフィック・ストリーム処理装置は、３Ｄケイパビリティー情報を利用し、グラフィック画面全体に同じデプス値を適用し、グラフィック・ストリームを三次元で再生することができるか否か、またはグラフィック画面に含まれた複数のオブジェクト別に別個のデプス値を適用し、グラフィック・ストリームを三次元で再生することができるか否かを判断する。

図６のグラフィック・ストリーム処理装置には、グラフィック画面バッファ６２０が一つだけ含まれているので、グラフィック・ストリーム処理装置内部のプレーヤ・セッティング・レジスタに保存された３Ｄケイパビリティー情報には、グラフィック・ストリーム処理装置が、グラフィック画面全体に同じデプス値を適用し、グラフィック・ストリームを三次元で再生することができるということを表示するフラグが含まれている。

グラフィック・ストリーム処理装置は、図４または図５のグラフィック・ストリーム処理と異なるように、メタデータからグラフィック・オブジェクトに係わるデプス情報の代わりに、グラフィック画面に係わるデプス情報を抽出し、グラフィック・ストリームを三次元で再生する。前述の通り、グラフィック画面に係わるデプス情報は、グラフィック・オブジェクトが出力される画面全体について同じデプス値を付与するための情報である。メタデータには、グラフィック・オブジェクトに係わるデプス情報と、グラフィック画面に係わるデプス情報と、がいずれも含まれうるが、図６のグラフィック・ストリーム処理装置のように、グラフィック画面バッファが一つである場合、図４や図５のグラフィック・ストリーム処理装置のように、左目用グラフィック画面及び右目用グラフィック画面をそれぞれ生成して、グラフィック画面バッファに保存することはできない。代わりに、図６のグラフィック・ストリーム処理装置は、メタデータからグラフィック画面に係わるデプス情報を抽出し、グラフィック画面に適用するデプス値に対応する位置移動値を求め、１つのグラフィック・プレーンで、移動値ほど左側に離れた位置と、右側に離れた位置とに交互にグラフィック画面を撒き、グラフィック画面が三次元で再生される。

グラフィック・プロセッサ６１２は、コーデッドデータ・バッファ６１１に記録されているグラフィック・ストリームをデコーディングし、グラフィック・オブジェクト、二次元構成情報、色相情報を生成し、二次元構成情報及び色相情報を、構成バッファ６１６に送り、グラフィック・オブジェクトをオブジェクト・バッファ６１３に送る。

図６のグラフィック・ストリーム処理装置には、グラフィック・プレーン６２０が一つであるから、デプス・プロセッサ６１５は、グラフィック・オブジェクトに係わるデプス情報の代わりに、グラフィック画面に係わるデプス情報を抽出し、これを構成バッファ６１６に送る。図６で、グラフィック画面に係わるデプス情報は、Master Shift（Depth）と表示されている。デプス・プロセッサ６１５は、グラフィック画面に係わるデプス情報に含まれたグラフィック画面のデプス値またはグラフィック画面の位置移動値を利用し、グラフィック画面が三次元で再生されるようにグラフィック画面が左右に移動しなければならない移動距離を求める。

デプス・プロセッサ６１５は、二次元構成情報、グラフィック画面に係わるデプス情報、及び色相情報を含む三次元構成情報を生成し、これを構成バッファ６１６に保存する。

グラフィック・コントローラ６１７は、三次元グラフィック・オブジェクトが出力されるべきＰＴＳ時点になれば、オブジェクト・バッファ６１３からグラフィック・オブジェクトを読み取り、グラフィック・オブジェクトに構成情報を適用し、グラフィック画面バッファ６２０に配した後、ＣＬＵＴ
５４０を介して指定された色相を適用する。

グラフィック・コントローラ６１７は、グラフィック画面に係わるデプス情報を利用して求めたグラフィック画面移動値をスイッチ６４０に送る。スイッチ６４０は、グラフィック画面がグラフィック画面移動値ほど画面の左側及び右側に移動した位置に交互に撒かれるようにし、左目用グラフィック画面及び右目用グラフィック画面を交互に出力する。

片方の目を基準に、ディスプレイ装置が最小６０Ｈｚのframe rateで画面を再生してこそ、視聴者は、イメージが切れずに順次に再生されると認知する。三次元映像は、左右両眼を介して入力されたイメージが合わさって生成されるので、視聴者が、三次元映像が切れ目なしに再生されると認知するためには、ディスプレイ装置が、最小限１２０Ｈｚのframe rateで画面を出力しなければならない。これは、１／１２０秒単位で、左右イメージが順次に表示される場合、ユーザが画面を見て、三次元映像を認知することを意味する。従って、スイッチ６４０は、１／１２０秒単位で、左目用グラフィック画面及び右目用グラフィック画面を出力することによって、グラフィック画面を三次元で再生させることができる。

図７は、メタデータに含まれたグラフィック画面生成基準情報を利用する場合に生成される構成情報を説明するための図である。

以上までの説明は、グラフィック・ストリームが従来のように、ビデオ映像の中心を基準に制作されたと想定して、デプス値または位置移動値によって左目用及び右目用のグラフィック画面を生成すると説明した。しかし、オーサー（author）が左目用（あるいは右目用）ビデオ映像を基準に、グラフィック画面に係わるメタデータを生成した場合、すなわち、左目用グラフィック画面に係わるメタデータを生成した場合がありうる。

図７では、グラフィック・ストリームが左目用ビデオ映像のために生成された左目用グラフィック・ストリームであるか、右目用ビデオ映像に合うように生成された右目用グラフィック・ストリームであるか、または従来のように、二次元ビデオ映像を基準に作成されたものであるかを示すグラフィック画面生成基準情報を、メタデータにさらに含め、メタデータに含まれたグラフィック画面生成基準情報を利用して、構成情報を生成するところを説明する。

図７の（ａ）は、グラフィック・ストリームが二次元ビデオ映像の中央を基準に作成された場合を示している。デプス・プロセッサは、図４のデプス・プロセッサ４１５のように、各グラフィック・オブジェクト別に位置移動値またはデプス値を適用し、左目用構成情報及び右目用構成情報を生成して、これを構成バッファに保存する。

図７の（ｂ）は、グラフィック・ストリームが左目用ビデオ映像を基準に作成された場合を示している。この場合、グラフィック・ストリームに含まれたグラフィック・オブジェクトについての二次元構成情報は、左目用構成情報と同一になるので、デプス・プロセッサは、右目用構成情報だけを生成すればよい。デプス・プロセッサは、各オブジェクト別にデプス値／位置移動値を適用して右目用構成情報を生成し、グラフィック・プロセッサによってデコーディングされた左目用構成情報と共に、生成された右目用構成情報を構成バッファに保存する。

図７の（ｃ）は、グラフィック・ストリームが右目用ビデオ映像を基準に作成された場合を示している。この場合、グラフィック・ストリームに含まれたグラフィック・オブジェクトについての二次元構成情報は、右目用構成情報と同一になるので、デプス・プロセッサは、左目用構成情報だけを生成すればよい。デプス・プロセッサは、各オブジェクト別にデプス値／位置移動値を適用して左目用構成情報を生成し、生成された左目用構成情報をグラフィック・プロセッサによってデコーディングされた右目用構成情報と共に構成バッファに保存する。

図８は、本発明の一実施形態によるグラフィック・ストリーム処理方法を図示したフローチャートである。図８を参照すれば、グラフィック・ストリーム処理装置は、グラフィック・ストリームをデコーディングし、グラフィック・オブジェクト、二次元構成情報及び色相情報を生成する（段階８１０）。

グラフィック・ストリーム処理装置は、グラフィック・ストリームに係わるメタデータを利用し、二次元構成情報から三次元構成情報を生成する（段階８２０）。このために、グラフィック・ストリーム処理装置は、メタデータを利用して、グラフィック・オブジェクトの位置移動値を求め、位置移動値を利用し、二次元構成情報に含まれたオブジェクト位置値を、左及び右に所定距離ほど変換した位置値をそれぞれ含む左目用構成情報及び右目用構成情報を生成する。また、グラフィック・ストリーム処理装置は、メタデータに含まれたホール補償情報を、左目用構成情報及び右目用構成情報それぞれに追加し、三次元構成情報を生成する。グラフィック・ストリーム処理装置は、三次元構成情報及び色相情報を利用し、グラフィック・オブジェクトを三次元画面として出力する（段階８３０）。

図９は、本発明の他の実施形態によるグラフィック・ストリーム処理方法を図示したフローチャートである。図９を参照するに、グラフィック・ストリーム処理装置は、プレイヤ・セッティング・レジストから３Ｄケイパビリティー情報を抽出する（段階９１０）。３Ｄケイパビリティー情報は、グラフィック・ストリーム処理装置がいなかる方式でグラフィック・ストリームを三次元で再生するかを示す情報である。３Ｄケイパビリティー情報には、グラフィック・ストリーム処理装置がそれぞれのグラフィック・オブジェクト別に異なるデプス値を有するようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグと、グラフィック・ストリーム処理装置が、グラフィック画面全体について同じデプス値が付与されるようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグとのうちいずれか一つが含まれうる。

グラフィック・ストリーム処理装置は、３Ｄケイパビリティー情報に、グラフィック・ストリーム処理装置がグラフィック・オブジェクト別に異なるデプス値を有するようにして、グラフィック・ストリームを三次元で再生することができるということを表示するフラグが含まれているか否かを判断する（段階９２０）。

３Ｄケイパビリティー情報に、グラフィック・ストリーム処理装置が、グラフィック・オブジェクト別に異なるデプス値を有するようにして、グラフィック・ストリームを三次元で再生することができるということを表示するフラグが含まれている場合、グラフィック・ストリーム処理装置は、グラフィック・ストリームに係わるメタデータから、グラフィック・オブジェクトに係わるデプス情報を抽出し、グラフィック・オブジェクトに係わるデプス情報に含まれたオブジェクト識別子、デプス値または位置移動値、ホール補償情報を利用し、グラフィック・オブジェクト別に異なるデプス値を有するようにする左目用グラフィック画面及び右目用グラフィック画面を生成し、これを交互に出力してグラフィック・ストリームが三次元で再生されるようにする（段階９３０）。

３Ｄケイパビリティー情報に、グラフィック・ストリーム処理装置が、グラフィック・オブジェクト別に異なるデプス値を有するようにして、グラフィック・ストリームを三次元で再生することができるということを表示するフラグが含まれていない場合、すなわち、グラフィック・ストリーム処理装置が、グラフィック画面全体に同じデプス値が付与されるようにして、グラフィック・ストリームを三次元で再生することができるということを示すフラグが、３Ｄケイパビリティー情報に含まれている場合、グラフィック・ストリーム処理装置は、グラフィック・ストリームに係わるメタデータから、グラフィック画面に係わるデプス情報を抽出し、これを利用して、グラフィック画面が同じデプス値を有するようにして三次元で再生する（段階９４０）。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

Claims (15)

1. グラフィック・ストリームをデコーディングし、グラフィック・オブジェクトを生成する段階と、
   前記グラフィック・ストリームをデコーディングし、構成情報及び色相情報を生成する段階と、
   前記構成情報及び前記色相情報を利用し、前記グラフィック・オブジェクトが含まれたグラフィック画面を生成する段階と、
   プレイヤ・セッティング・レジスタから、プレゼンテーション・グラフィック・ストリームに関する第１ケイパビリティー値を示す第１フラグ及びインタラクティブ・グラフィック・ストリームに関する第２ケイパビリティー値を示す第２フラグを含む３Ｄケイパビリティー情報を抽出する段階と、
   前記３Ｄケイパビリティー情報及び前記グラフィック画面を利用し、左目用グラフィック画面及び右目用グラフィック画面を生成する段階と、
   を含み、
   前記プレイヤ・セッティング・レジスタの第１フラグが第１の値を含むと、前記プレゼンテーション・グラフィック・ストリームの前記左目用グラフィック画面及び前記右目用グラフィック画面内のグラフィック・オブジェクトに同じデプスが与えられ、
   前記プレイヤ・セッティング・レジスタの第１フラグが第２の値を含むと、前記プレゼンテーション・グラフィック・ストリームの前記左目用グラフィック画面及び前記右目用グラフィック画面内のグラフィック・オブジェクトに相異なるデプスが与えられ、
   前記プレイヤ・セッティング・レジスタの第２フラグが第１の値を含むと、前記インタラクティブ・グラフィック・ストリームの前記左目用グラフィック画面及び前記右目用グラフィック画面内のグラフィック・オブジェクトに同じデプスが与えられ、
   前記プレイヤ・セッティング・レジスタの第２フラグが第２の値を含むと、前記インタラクティブ・グラフィック・ストリームの前記左目用グラフィック画面及び前記右目用グラフィック画面内のグラフィック・オブジェクトに相異なるデプスが与えられることを特徴とするグラフィック・ストリーム処理方法。
2. 前記３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、前記グラフィック画面を三次元で再生することができるか否か、または前記グラフィック画面が同じデプス値を有するようにして、前記グラフィック画面を三次元で再生することができるか否かを判断する段階と、
   グラフィック・オブジェクト別に別個のデプス値を有するようにして、前記グラフィック画面を三次元で再生することができると判断されれば、メタデータを利用し、それぞれのグラフィック・オブジェクト別に位置移動値を求める段階と、
   前記位置移動値を利用し、前記構成情報に含まれたオブジェクト位置値を左側及び右側側に所定距離ほど離れた値に変換する段階と、
   前記変換された位置値をそれぞれ含む左目用グラフィック画面生成のための左目用構成情報、及び右目用グラフィック画面生成のための右目用構成情報を生成する段階と、
   を含むことを特徴とする請求項１に記載のグラフィック・ストリーム処理方法。
3. 前記グラフィック・オブジェクトの位置移動値を求める段階は、
   前記メタデータから各グラフィック・オブジェクトに適用されるオブジェクトデプス値を抽出する段階と、
   前記オブジェクトデプス値を利用し、前記グラフィック・オブジェクトの位置移動値を求める段階と、
   を含むことを特徴とする請求項２に記載のグラフィック・ストリーム処理方法。
4. 前記左目用構成情報及び前記右目用構成情報に、前記メタデータに含まれたホール補償情報をそれぞれ追加し、三次元構成情報を生成する段階をさらに含むことを特徴とする請求項２に記載のグラフィック・ストリーム処理方法。
5. 前記ホール補償情報は、
   ホール領域識別情報及び色相参照情報を含むことを特徴とする請求項４に記載のグラフィック・ストリーム処理方法。
6. 前記左目用グラフィック画面及び前記右目用グラフィック画面を生成する段階は、
   前記三次元構成情報を利用し、前記グラフィック・オブジェクトそれぞれを変換された位置に配列し、ホール領域に前記色相参照情報によって参照された色相を適用し、前記左目用グラフィック画面及び前記右目用グラフィック画面をそれぞれ生成する段階を含むことを特徴とする請求項５に記載のグラフィック・ストリーム処理方法。
7. 前記ホール補償情報は、
   ホール領域識別情報、前記識別されたホール領域に挿入されるホール・グラフィック・オブジェクトのうちいずれか一つ以上を含むことを特徴とする請求項４に記載のグラフィック・ストリーム処理方法。
8. 前記左目用グラフィック画面及び前記右目用グラフィック画面を生成する段階は、
   前記三次元構成情報を利用し、前記グラフィック・オブジェクトそれぞれを変換された位置に配列し、前記ホール領域に、前記ホール・グラフィック・オブジェクトを配列し、前記左目用グラフィック画面及び前記右目用グラフィック画面をそれぞれ生成する段階を含むことを特徴とする請求項７に記載のグラフィック・ストリーム処理方法。
9. メタデータから、前記グラフィック・ストリームが、左目用ビデオ映像、右目用ビデオ映像、二次元ビデオ映像のうちいずれのビデオ映像を基準に作成されたものであるかを示すグラフィック画面生成基準情報を抽出する段階をさらに含むことを特徴とする請求項１に記載のグラフィック・ストリーム処理方法。
10. 前記グラフィック・ストリームが、左目用ビデオ映像を基準に作成された場合、
    前記メタデータを利用し、前記グラフィック・オブジェクトの位置移動値を求める段階と、
    前記位置移動値を利用し、前記構成情報に含まれたオブジェクト位置値を左または右に所定距離ほど変換する段階と、
    前記変換された位置値を含む右目用グラフィック画面生成のための右目用構成情報を生成する段階と、
    をさらに含むことを特徴とする請求項９に記載のグラフィック・ストリーム処理方法。
11. 前記グラフィック・ストリームが、右目用ビデオ映像を基準に作成された場合、
    前記メタデータを利用し、前記グラフィック・オブジェクトの位置移動値を求める段階と、
    前記位置移動値を利用し、前記構成情報に含まれたオブジェクト位置値を左または右に所定距離ほど変換する段階と、
    前記変換された位置値を含む左目用グラフィック画面生成のための左目用構成情報を生成する段階と、
    を含むことを特徴とする請求項１０に記載のグラフィック・ストリーム処理方法。
12. 前記３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、前記グラフィック画面を三次元で再生することができるか否か、または前記グラフィック画面が同じデプス値を有するようにして、前記グラフィック画面を三次元で再生することができるか否かを判断する段階と、
    前記グラフィック画面が同じデプス値を有するようにして、前記グラフィック画面を三次元で再生することができると判断されれば、
    メタデータを利用し、前記グラフィック・オブジェクト全体が出力されるグラフィック画面の位置移動値を求める段階と、
    前記グラフィック画面の位置移動値を利用し、前記構成情報に含まれたオブジェクト位置値を左または右に所定距離ほど変換する段階と、
    前記変換された位置値を含む三次元構成情報を生成する段階と、
    をさらに含むことを特徴とする請求項１に記載のグラフィック・ストリーム処理方法。
13. 前記三次元構成情報を利用し、前記グラフィック画面が、前記左または右に変換された位置に交互に出力されるようにする段階をさらに含むことを特徴とする請求項１２に記載のグラフィック・ストリーム処理方法。
14. プレイヤ・セッティング・レジスタと、
    グラフィック・ストリームをデコーディングし、グラフィック・オブジェクト、構成情報及び色相情報を生成し、前記構成情報及び前記色相情報を利用して前記グラフィック・オブジェクトが含まれたグラフィック画面を生成するグラフィック処理部と、
    前記プレイヤ・セッティング・レジスタから、プレゼンテーション・グラフィック・ストリームに関する第１ケイパビリティー値を示す第１フラグ及びインタラクティブ・グラフィック・ストリームに関する第２ケイパビリティー値を示す第２フラグを含む３Ｄケイパビリティー情報を抽出するデプス処理部と、
    前記３Ｄケイパビリティー情報及び前記グラフィック画面を利用し、左目用グラフィック画面及び右目用グラフィック画面を生成するグラフィック画面出力部と、を含み、
    前記プレイヤ・セッティング・レジスタの第１フラグが第１の値を含むと、前記プレゼンテーション・グラフィック・ストリームの前記左目用グラフィック画面及び前記右目用グラフィック画面内のグラフィック・オブジェクトに同じデプスが与えられ、
    前記プレイヤ・セッティング・レジスタの第１フラグが第２の値を含むと、前記プレゼンテーション・グラフィック・ストリームの前記左目用グラフィック画面及び前記右目用グラフィック画面内のグラフィック・オブジェクトに相異なるデプスが与えられ、
    前記プレイヤ・セッティング・レジスタの第２フラグが第１の値を含むと、前記インタラクティブ・グラフィック・ストリームの前記左目用グラフィック画面及び前記右目用グラフィック画面内のグラフィック・オブジェクトに同じデプスが与えられ、
    前記プレイヤ・セッティング・レジスタの第２フラグが第２の値を含むと、前記インタラクティブ・グラフィック・ストリームの前記左目用グラフィック画面及び前記右目用グラフィック画面内のグラフィック・オブジェクトに相異なるデプスが与えられることを特徴とするグラフィック・ストリーム処理装置。
15. 前記デプス処理部は、前記３Ｄケイパビリティー情報を利用し、グラフィック・オブジェクト別に別個のデプス値を有するようにして、前記グラフィック画面を三次元で再生することができるか否か、または前記グラフィック画面が同じデプス値を有するようにして、前記グラフィック画面を三次元で再生することができるか否かを判断し、
    グラフィック・オブジェクト別に別個のデプス値を有するようにして、前記グラフィック画面を三次元で再生することができると判断されれば、メタデータを利用し、それぞれのグラフィック・オブジェクト別に位置移動値を求め、前記位置移動値を利用し、前記構成情報に含まれたオブジェクト位置値を左側及び右側側に所定距離ほど離れた値に変換し、変換された位置値をそれぞれ含む左目用グラフィック画面生成のための左目用構成情報、及び右目用グラフィック画面生成のための右目用構成情報を生成することを特徴とする請求項１４に記載のグラフィック・ストリーム処理装置。
    

Images