JP5697989B2

JP5697989B2 - グラフィックスオブジェクトを重ね合わせるための画像プロセッサ

Info

Publication number: JP5697989B2
Application number: JP2010540199A
Authority: JP
Inventors: フィリップスティーブンニュートン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2007-12-26
Filing date: 2008-12-19
Publication date: 2015-04-08
Anticipated expiration: 2028-12-19
Also published as: WO2009083885A1; CN101911124B; JP2011508557A; US8717355B2; KR20100103848A; EP2235685A1; CN101911124A; EP2235685B1; KR101512988B1; US20100271466A1

Description

本発明は主に、基本画像の上にグラフィックスオブジェクトを重ね合わせることができる画像プロセッサに関する。該画像プロセッサは、例えば立体映像出力データを提供することができるＢｌｕ‐ｒａｙ（登録商標）ディスク再生機器の形をとってもよい。本発明の他の態様は、立体映像レンダリングシステム、基本画像とグラフィックスオブジェクトを規定するデータの集合を処理する方法、及びプログラマブルプロセッサ用のコンピュータプログラムに関する。

拡張された映像体験は、映像を構成する基本画像又は基本画像のシーケンスの上にグラフィックスオブジェクトを重ね合わせることによって得られることができる。字幕の追加は、グラフィックスオブジェクトがテキストの形をとる基本的な例である。より高度な応用では、１つ以上のグラフィックスオブジェクトが、基本画像と概念的な関係を持ち得る図をあらわし得る。１つ以上のグラフィックスオブジェクトに基づいて映像にアニメーションを加えることもまた可能である。

拡張された映像体験を提供することができる、いわゆるＢｌｕ‐ｒａｙ（登録商標）ディスク応用のための規格が開発されている。該規格は、エンコードされた形でグラフィックスオブジェクトの基本表現を与えるいわゆるグラフィックスオブジェクトセグメントを指定する。該規格はさらにいわゆる構成セグメントを指定する。構成セグメントは、該構成セグメントが関連するグラフィックスオブジェクトの所与の外観をあらわす。グラフィックスオブジェクトの基本表現は、この所与の外観を得るために処理される必要がある。この処理は、例えばトリミング、位置調整、カラーマッピングなどの動作を含み得る。グラフィックスコントローラは通常、関連する構成セグメントに基づいてこれらの動作を規定する。基本表現の処理から得られるグラフィックスオブジェクトは、通常はいわゆるグラフィックス平面に置かれる。そしてこのグラフィックス平面は、映像の画像に対応する映像平面上に重ね合わされる。従って映像平面は、その上にグラフィックスオブジェクトが重ね合わされる基本画像とみなされることができる。

願番ＵＳ２００６／０２９４５４３で公開されている米国特許出願は背景技術を記載しており、それによれば、再生装置が映像ストリームとグラフィックスストリームを別々にデコードし、再生画像を作り出すために、得られる映像とグラフィックスを重ね合わせる。グラフィックスストリームはいわゆるＰＥＳパケットの配列であり、これらのパケットは、制御情報を持つＰＥＳパケットと、グラフィックスをあらわすグラフィックスデータを持つＰＥＳパケットという２つのタイプに分類されることができる。制御情報とグラフィックスデータの１つのペアは１つのグラフィックス表示を作り出す。再生装置は制御情報とグラフィックスデータを順に読み出し、制御情報をデコードし、またグラフィックスデータもデコードして、非圧縮グラフィックスを生成する。再生装置は、制御情報のデコード結果に従って所望の表示タイミングで非圧縮グラフィックスを表示する。

従って本発明の目的は、グラフィックスオブジェクトが基本画像に重なり合う画像の、満足のいく立体画像レンダリングを、比較的低コストで可能にする方法を提供することである。独立請求項は本発明の様々な態様を規定する。従属請求項は本発明を有利に実施するための追加の特徴を規定する。

本発明は以下の点を考慮する。基本画像の上にグラフィックスオブジェクトを重ね合わせることによって得られた画像が立体的な方法でレンダリングされると、遮蔽問題が生じ得る。画像を立体的な方法でレンダリングするためには、深さ情報が必要とされる。この深さ情報は、各オブジェクトが仮想観察者に対してとる各距離を示すが、多重ビューを生成するためにプロセッサによって使用されることができる。各ビューは特定の観察位置に対応し、これは他の観察位置とわずかに異なる。グラフィックスオブジェクトは基本画像の一部分を遮蔽する。遮蔽されている部分の少なくとも一部は、立体レンダリング用に生成される１つ以上のビューにおいて遮蔽が解除され得る（ｄｅ‐ｏｃｃｌｕｄｅｄ）。これは、プロセッサが上述の画像に基づいて多重ビューを生成する必要がある場合には問題を引き起こす。情報が欠けているのである。

遮蔽問題への基本的解決法は次の通りである。立体レンダリング用の多重ビューを生成するプロセッサは、グラフィックスオブジェクトが基本画像に重なり合う画像ではなく、基本画像を完全な形で与えられる。つまり、プロセッサは基本画像とグラフィックスオブジェクトだけでなく、関連する深さ情報も受け取る。従ってプロセッサは、正確に多重ビューを生成するために必要な情報全てを持つ。

しかしながら、上述の基本的解決法は比較的実施コストが高くなる可能性がある。関連プロセッサは好ましくは、多数の異なるタイプの映像機器に結合されることができる立体表示機器の一部を形成する。これは、立体表示機器と、それに結合する映像機器との間の接続が、基本画像だけでなく、グラフィックスオブジェクト、及びもしあれば、レンダリングされる必要がある他の視覚情報も伝達する必要があることを示唆する。該接続はこれら全ての情報を伝達するために比較的大きなバンド幅を持つことが必要になる。関連タイプの接続は標準化されている。標準化された接続は所与の最大バンド幅を持つ。この所与の最大バンド幅を超えるバンド幅が必要とされる場合は、複数の接続が必要になる。これは比較的コストがかかり、また面倒なことにもなり得る。

遮蔽問題はまた、いわゆる穴埋め技術によっても解決され得る。穴埋め技術は外挿に基づき得る。すなわち、ある画像における利用可能な視覚情報が、その画像において欠落ししている視覚情報を再構成するために使用される。別の例としては、グラフィックスオブジェクトが遮蔽する基本画像の部分は、同じ映像の前の画像若しくは後の画像、又はその両方に基づいて再構成され得る。映像は一般的に動いているオブジェクトを有する。従って、所与の画像において遮蔽される基本画像の部分は、その所与の画像に先行する画像若しくは後続する画像、又はその両方において少なくとも部分的に目に見える可能性がある。しかしながら、そうした穴埋め技術は典型的には複雑な処理を必要とし、従って実施コストが高い。

本発明によれば、画像プロセッサは基本画像とグラフィックスオブジェクトを規定するデータの集合を処理する。データの集合は、出力画像におけるグラフィックスオブジェクトの所与の外観を規定する構成データを有し、グラフィックスオブジェクトは基本画像の一部分に重なり合う。画像プロセッサは構成データに基づいて遮蔽指標を作るための遮蔽分析器を有する。遮蔽指標は、グラフィックスオブジェクトが出力画像において遮蔽するが、出力画像の立体レンダリングにおいて遮蔽が解除され得る、基本画像における領域を指定する。遮蔽データ生成器は、遮蔽指標と基本画像とに基づいて遮蔽画像を構成する。遮蔽画像は、遮蔽指標によって指定される領域に対応する基本画像の部分をあらわす。

例えばＢｌｕ‐ｒａｙ（登録商標）ディスク応用では、構成データは前述の構成セグメントの形で利用可能である。構成セグメントは、どこで遮蔽が起こるかを決定することができる。さらに、その目的のために最初に生成される必要がある、関連グラフィックスオブジェクトを分析する必要が無い。どこで遮蔽が起こるかの表示を与えるためには、比較的単純であり得る、比較的少ない動作で十分である。この表示は、穴埋め技術を全く使用する必要なく、プロセッサが多重ビューを生成することを可能にする、基本画像における補完的視覚情報を特定するために使用されることができる。この補完的視覚情報は、グラフィックスオブジェクトが基本画像に重なり合う関連画像と一緒に、表示機器に送信されることができる。補完的視覚情報は、典型的には基本画像の比較的小さな部分のみをあらわすことになる。これは、基本画像がグラフィックスオブジェクトを重ね合わされる表示機器及び映像機器の間の接続のバンド幅に対する要件を緩和する。これらの理由のため、本発明は比較的低コストで、グラフィックスオブジェクトが基本画像に重なり合う画像の満足のいく立体レンダリングを可能にする。

本発明の一実施例は、個々の独立請求項に対応する個別の段落に記載される、以下の追加の特徴のうちの１つ以上を有利に有する。これらの追加の特徴の各々は、満足のいく立体画像レンダリングを比較的低コストで実現することに貢献する。

遮蔽分析器は、好ましくは構成データの改作物として遮蔽指標を与える。そして画像プロセッサは、構成データと遮蔽指標を同様の方法で処理するグラフィックスコントローラを有する。遮蔽指標の処理は、遮蔽データ生成器に対して遮蔽データ生成制御パラメータを与える。従って、グラフィックスコントローラは、グラフィックス構成と遮蔽データ生成という２つの目的のために使用される。これは、例えばＢｌｕ‐ｒａｙ（登録商標）ディスク応用における既存のグラフィックスコントローラに基づくことができる、非常に効率的で、従って費用効果的な実施例を可能にする。

遮蔽分析器は好ましくは、グラフィックスオブジェクトが遮蔽する基本画像における領域を、グラフィックスオブジェクトの固定サイズの境界部分として規定する。

遮蔽分析器はまた、グラフィックスオブジェクトが遮蔽する基本画像における領域を、グラフィックスオブジェクトの可変サイズの境界部分として指定することもできる。境界部分は、グラフィックスオブジェクトと、グラフィックスオブジェクトが遮蔽する領域との深さの差を示す、深さ表示に基づくサイズを持つ。

遮蔽データ生成器は好ましくは、遮蔽指標と、基本画像に関連する深さマップとに基づいて遮蔽深さマップを構成する、遮蔽深さマップコンポーザを有する。遮蔽深さマップは、遮蔽指標によって規定される領域に対応する深さマップの部分をあらわす。

画像プロセッサは、遮蔽画像を出力画像に含めるためのバックエンドモジュールを有し得る。

バックエンドモジュールは出力画像にヘッダを組み込むことができる。ヘッダは、遮蔽画像が含まれている出力画像における領域を示すことができる。

詳細な説明は、図面を参照して、上記で要約された本発明と追加の特徴を説明する。

図１は立体映像システムを図示するブロック図である。図２は、立体映像システムにおいて生じる、視覚画像とそれに関連する深さマップを図示する絵図である。図３は立体映像システム内で生成される９個の異なるビューを図示する絵図である。図４は立体映像システムの一部を形成する再生プロセッサを図示するブロック図である。図５は表示機器への伝送用に再生プロセッサが生成することができる出力画像を図示する絵図である。

図１は、再生機器ＰＬＹ及び表示機器ＤＰＬを有する立体映像システムＶＳＹを図示する。再生機器ＰＬＹは例えばＢｌｕ‐ｒａｙ（登録商標）ディスクプレーヤであってもよい。再生機器ＰＬＹは、例えばデジタルビジュアルインターフェース（ＤＶＩ）又はハイディフィニションマルチメディアインターフェース（ＨＤＭＩ）など（両方とも示されていない）の、標準化された接続を介して表示機器ＤＰＬと通信する。表示機器ＤＰＬは自動立体式であってもよい。立体映像システムＶＳＹはさらに、ユーザが再生機器ＰＬＹ及び表示機器ＤＰＬを制御することを可能にする遠隔制御装置ＲＣＤを有してもよい。例えば、ユーザは立体映像システムＶＳＹに、遠隔制御装置ＲＣＤを用いてそこからある項目を選択するようなメニューを表示させてもよい。

再生機器ＰＬＹは、光ディスクリーダＯＤＲ、再生プロセッサＰＲＰ、表示インターフェースＤＩＰ、及びメインコントローラＣＴＭを有する。再生機器ＰＬＹはさらに、ネットワークＮＷを介して遠隔サーバＳＲＶと通信するためのネットワークインターフェースＮＩＦを有してもよい。再生プロセッサＰＲＰは適切なソフトウェアプログラムを搭載しているプログラマブルプロセッサの形をとってもよい。同じことが、メインコントローラＣＴＭ、表示インターフェースＤＩＰの少なくとも一部、及びネットワークインターフェースＮＩＦにも当てはまる。例えば再生プロセッサＰＲＰ及びメインコントローラＣＴＭなどの様々な機能エンティティは、単一のプログラマブルプロセッサを用いて実装されてもよい。

表示機器ＤＰＬは、表示インターフェースＤＩＤ、表示プロセッサＰＲＤ、表示コントローラＣＴＤ、及び立体映像レンダリングを可能にするスクリーンＳＣＲを有する。表示プロセッサＰＲＤは適切なソフトウェアプログラムを搭載しているプログラマブルプロセッサの形をとってもよい。同じことが、表示コントローラＣＴＤ、及び表示インターフェースＤＩＤの少なくとも一部にも当てはまる。

スクリーンＳＣＲは液晶（ＬＣＤ）ディスプレイ及びレンチキュラレンズのシートを有し得る。レンチキュラレンズは、視聴者の左目と右目が異なる画素からの光を受信するように、ディスプレイから発する光を回折する。従って、ある画素のセットを用いて表示されるビューは左目の方へ向けられることができる。異なる画素のセットを用いて同時に表示される別のビューは右目の方へ向けられることができる。このような自動立体スクリーンは、特殊な眼鏡をかける必要なく、三次元視覚体験を提供する立体映像をユーザが見ることを可能にする。しかしながら、多重ビューをレンダリングするために解像度が犠牲にされる。従って立体画像は、例えば９６０×５４０画素など、比較的低い解像度をとり得る。

立体映像システムＶＳＹは基本的に以下のように動作する。ユーザが、立体映像データを有するＢｌｕ‐ｒａｙ（登録商標）ディスクを再生機器ＰＬＹに挿入したとする。初期段階において、メインコントローラＣＴＭは光ディスクリーダＯＤＲに、光ディスク上に格納されているアプリケーションデータを読み出させる。メインコントローラＣＴＭは、表示機器ＤＰＬを用いてユーザにメニューを提示するためにこのアプリケーションデータを使用する。メニューは例えば、グラフィックスアニメーションを含まない基本立体モードで、又はグラフィックスアニメーションを含む拡張立体モードで、所与のタイトルの再生を提案し得る。

ユーザが、光ディスク上にあるマルチメディアコンテンツの特殊なレンダリングである、拡張立体モードを選択するとする。これに反応して、メインコントローラＣＴＭは、アプリケーションデータに含まれ、かつ拡張立体モードに関連する１つ以上の再生定義に基づいて、再生プロセッサＰＲＰを適切に設定する。メインコントローラＣＴＭは、ユーザが選択した特殊なレンダリングを確実にするためにさらなる動作を実行してもよい。

初期段階が完了すると、光ディスクリーダＯＤＲは、関心のあるマルチメディアコンテンツを有するディスクデータストリームＤＤＳを提供する。初期段階で適切に設定されている再生プロセッサＰＲＰは、ユーザが選択した特殊なレンダリングに対応する視聴覚データストリームＡＶＤを得るためにディスクデータストリームＤＤＳを処理する。視聴覚データストリームＡＶＤは出力画像を構成し、これは例えば映像とグラフィックスなどの様々な異なるタイプのコンテンツの合成物であってもよい。加えて、再生プロセッサＰＲＰは、表示機器ＤＰＬがこのデータストリームを正しく解釈するのを助けるために、視聴覚データストリームＡＶＤに追加情報を含めてもよい。視聴覚データストリームＡＶＤは、上述の表示インターフェースＤＩＰ，ＤＩＤ、及び、再生機器ＰＬＹと表示機器ＤＰＬそれぞれの該インターフェースＤＩＰ，ＤＩＤの間の接続ＣＸを介して、表示機器ＤＰＬの表示プロセッサＰＲＤに達する。

表示プロセッサＰＲＤは、スクリーンＳＣＲに対してドライバ信号ＤＲＳを作るために視聴覚データストリームＡＶＤを処理する。より具体的には、表示プロセッサＰＲＤは視聴覚データストリームＡＶＤから視覚画像のシーケンスと深さマップのシーケンスを読み出す。視覚画像は二次元である。深さマップは特定の視覚画像に関連し、その視覚画像における各オブジェクトが仮想観察者に対してとる各距離についての情報を与える。つまり、深さマップは視覚画像における各領域に対する深さ情報を与える。深さマップのシーケンスは関連シーンの立体レンダリングを可能にし、これは三次元レンダリングとも称され得る。

深さマップは、視覚画像において、各値が特定の画素又は特定の画素クラスタに関連する、値の行列の形をとってもよい。画素又は画素クラスタは、典型的には特定オブジェクトの特定部分をあらわす。従って、関連画素又は関連画素クラスタに関連する深さマップからの値は、関連オブジェクトの関連部分が仮想観察者に対してとる距離をあらわす。該値がその距離を表現することができる様々な異なる方法がある。例えば、該値は関連距離を直接示してもよい。別の例としては、該値は左目ビュー及び右目ビューにおける関連画素に対する角度シフトの量を示してもよい。こうした値は一般にパララックス値又は視差値と称される。

深さマップはグレースケール値の行列である白黒画像としてあらわされ得る。グレースケール値は例えば８ビットを用いて表現され得る。通常の表記法においては、これはグレースケール値が０から２５５の範囲内に含まれることを意味する。０のグレースケール値は仮想観察者からの最大可能距離を示す。これは深さマップをあらわす白黒画像における最も暗い可能な画素に対応する。反対に、２５５のグレースケール値は仮想観察者からの最小可能距離を示す。これは深さマップをあらわす白黒画像における最も明るい可能画素に対応する。

図２は、表示プロセッサＰＲＤが視聴覚データストリームＡＶＤから読み出し得る、視覚画像ＶＩとそれに関連する深さマップＤＭを図示する。視覚画像ＶＩは、前に木がある家をあらわす。家と木は深さマップＤＭにおいても確認されることができる。より正確に言えば、木は、この木が仮想観察者に比較的近いことを示す白色表面を囲む輪郭を持つ。家は、この家が木よりも仮想観察者からさらに離れて位置することを示す灰色表面を囲む輪郭をもつ。深さマップＤＭにおける暗い領域は視覚画像における背景に対応する。任意の背景オブジェクトは仮想観察者から比較的遠く離れて位置する。

図３は、図２に図示された視覚画像ＶＩと深さマップＤＭに基づいて表示プロセッサＰＲＤが生成し得る、９個の異なるビューのセットＭＶＳを図示する。各ビューは特定の観察位置から見られる家とその前にある木をあらわす。つまり、わずかに異なる９個の観察位置がある。木と仮想観察者の間の比較的わずかな距離のために、観察位置におけるわずかな変化は木の比較的大きな変位を引き起こす。対照的に、家は仮想観察者からより離れて位置するので、家はビュー全体を通して比較的わずかな程度まで動く。一般的に、表示プロセッサＰＲＤは深さマップに基づいて２つの異なるビュー間のオブジェクトの適切な変位を決定する。オブジェクトが仮想観察者に近いほど、変位は大きくなる。いわば、視覚画像において奥深くに位置するオブジェクトは、比較的小さな変位を受けるか、又は同じ位置にとどまる可能性がある。従って、三次元体験は深さマップに基づいて作られることができる。

スクリーンＳＣＲは前述の通り自動立体式であってもよく、レンチキュラレンズのシートを有する。その場合、表示プロセッサＰＲＤは、レンチキュラレンズのシートに対して特定位置をとるスクリーンＳＣＲ上の特定の画素のセットに対して特定のビューが適用されることを確実にする。従って表示プロセッサＰＲＤは、各ビューがいわば適切な方向に発せられることを確実にする。これは、視聴者がかけなければならない特殊な眼鏡を必要としない立体視覚体験を可能にする。

図２にあらわされた視覚画像ＶＩにおいて、木は家の一部分を遮蔽している。図３にあらわされた９個のビューのセットＭＶＳにおいて、遮蔽されている家の部分は、図２にあらわされた視覚画像に対応する中央のビューを除いて、部分的に目に見えるようになる。つまり、立体レンダリング用に生成されるビューは、立体レンダリングが基づく視覚画像には存在しない部分を有し得る。いわゆる穴埋め技術を用いて、視覚画像に存在する情報に基づいてこれらの欠落部分を適切に再構成することが可能である。しかしながら、穴埋め技術は部分的に遮蔽されているオブジェクトが仮想観察者から比較的離れている場合には不十分である可能性がある。

図４はＢｌｕ‐ｒａｙ（登録商標）ディスク規格に従って動作することができる再生プロセッサＰＲＰを図示する。再生プロセッサＰＲＰは、フロントエンドモジュールＦＥＭ、グラフィックスプロセッサＧＰＲ、立体映像デコーダＳＶＤ、遮蔽データ生成器ＯＤＧ、平面コンバイナＰＬＣ、及びバックエンドモジュールＢＥＭといった様々な主要機能エンティティを有する。再生プロセッサＰＲＰはさらに、図１に図示されたメインコントローラＣＴＭと協働する内部コントローラを有してもよい。グラフィックスプロセッサＧＰＲは適切なソフトウェアプログラムを搭載しているプログラマブルプロセッサの形をとってもよい。同じことが他の機能エンティティにも当てはまる。全ての機能エンティティは適切にプログラムされている単一プロセッサ上に統合されてもよい。

グラフィックスプロセッサＧＰＲは、グラフィックスストリームプロセッサＧＳＰ、グラフィックスオブジェクトコンポーザＧＯＣ、構成バッファＣＢ１、及びグラフィックスコントローラＧＣＴといった様々な機能エンティティを有する。これらの機能エンティティ、というよりその同等物は、従来のＢｌｕ‐ｒａｙ（登録商標）ディスク再生機器に見られることができる。図４に図示されたグラフィックスプロセッサＧＰＲはさらに、次の機能エンティティ、すなわち遮蔽分析器ＯＣＡ及び補助構成バッファＣＢ２を有する。これらの機能エンティティは、従来のＢｌｕ‐ｒａｙ（登録商標）ディスクグラフィックスプロセッサに既に存在するものに加えられるものとみなされることができる。遮蔽データ生成器ＯＤＧは、遮蔽画像コンポーザＯＩＣ及び遮蔽深さマップコンポーザＯＤＣという２つの機能エンティティを有する。

上記の機能エンティティのうちのいずれも、プログラマブルプロセッサに搭載されるソフトウェアプログラムを用いて実装され得る。こうしたソフトウェアベースの実装において、ソフトウェアプログラムはプログラマブルプロセッサに、関連機能エンティティに属する特定の動作を実行させる。例えば、適切にプログラムされる単一のプログラマブルプロセッサは、グラフィックスプロセッサＧＰＲだけでなく遮蔽データ生成器ＯＤＧも実装し得る。いずれの機能エンティティも、処理ステップ又は一連の処理ステップとして同様にみなされることができることに留意すべきである。例えば、遮蔽分析器ＯＣＡは遮蔽分析ステップをあらわすことができる。機能エンティティは、説明を容易にするためにこれらがステップではなく物理的エンティティであるかのように記載されているに過ぎない。

再生プロセッサＰＲＰは基本的に以下のように動作する。フロントエンドモジュールＦＥＭが、多重化形式でディスクデータストリームＤＤＳに存在する様々な異なるデータストリームを読み出すために、光ディスクリーダＯＤＲからディスクデータストリームＤＤＳを処理する。そのために、フロントエンドモジュールＦＥＭはエラーデコーディング及びデマルチプレキシングを含み得る様々な動作を実行する。従ってフロントエンドモジュールＦＥＭは、Ｂｌｕ‐ｒａｙ（登録商標）ディスク規格に従うグラフィックスデータストリームＧＤＳ、及び立体映像データストリームＳＶＤＳを読み出す。立体映像データストリームＳＶＤＳは、例えば視覚情報を伝えるデータストリームと深さ情報を伝える別のデータストリームとを有するデータストリームの多重送信であってもよい。

グラフィックスデータストリームＧＤＳはいわゆるグラフィックスオブジェクトセグメントといわゆる構成セグメントを有する。グラフィックスオブジェクトセグメントはエンコードされた形でグラフィックスオブジェクトを持つ。Ｂｌｕ‐ｒａｙ（登録商標）ディスク規格ではランレングスエンコーディングがグラフィックスオブジェクトに対して典型的に使用される。構成セグメントは、レンダリングの目的のために再生機器ＰＬＹにおいてグラフィックスオブジェクトがどのように処理されるべきかについての情報を有する。つまり、構成セグメントはいわゆるグラフィックス平面上にグラフィックスオブジェクトがどのようにあらわれるべきかを規定する。このレンダリングの目的のためのグラフィックス処理は、例えばトリミング、オブジェクト配置、及びカラーマッピングなどの動作を含み得る。従って、構成セグメントはグラフィックスオブジェクトセグメントに対するメタデータを構成する。メタデータは、データを解釈若しくは処理する、又はその両方を行うために使用され得る、該データについての情報を与えるようなデータである。Ｂｌｕ‐ｒａｙ（登録商標）ディスクにおけるグラフィックスに関するさらなる情報は、番号ＷＯ２００５／００６７４７及びＷＯ２００５／００４４７８で公開されている国際出願に見られることができる。

グラフィックスストリームプロセッサＧＳＰはグラフィックスデータストリームＧＤＳからグラフィックスオブジェクトセグメントを読み出し、これらのグラフィックスオブジェクトセグメントをデコードする。従って、グラフィックスストリームプロセッサＧＳＰはデコードされたグラフィックスオブジェクトを作り出し、これらは典型的には一時的にバッファに格納される。グラフィックスオブジェクトコンポーザＧＯＣは、典型的にはいわゆるタイムスタンプによって規定される適切な瞬間において、このバッファからデコードされたグラフィックスオブジェクトを受信する。従ってグラフィックスストリームプロセッサＧＳＰは、図４に図示される通り、グラフィックスオブジェクトのシーケンスＧＯＳをグラフィックスオブジェクトコンポーザＧＯＣに適用する。

グラフィックスストリームプロセッサＧＳＰはさらにグラフィックスデータストリームＧＤＳに存在する構成セグメントＣＳを読み出す。これらの構成セグメントＣＳは図４に図示された構成バッファＣＢ１に一時的に格納される。構成セグメントＣＳはさらに遮蔽分析器ＯＣＡに送信される。

グラフィックスコントローラＧＣＴは、タイムスタンプによって規定されるタイミングスキームに従って構成バッファＣＢ１から構成セグメントＣＳをフェッチする。グラフィックスオブジェクトコンポーザＧＯＣが特定のデコードされたグラフィックスオブジェクトを受信しようとしているとする。このデコードされたグラフィックスオブジェクトには特定の構成セグメントが関連する。グラフィックスコントローラＧＣＴは、グラフィックスオブジェクトコンポーザＧＯＣがデコードされた関連グラフィックスオブジェクトを処理し始める前に、構成バッファＣＢ１からこの構成セグメントをフェッチする。グラフィックスコントローラＧＣＴは、グラフィックスオブジェクトコンポーザＧＯＣに対してグラフィックス‐構成制御パラメータのセットＰＧを作るために、関連構成セグメントを解釈する。

グラフィックスオブジェクトコンポーザＧＯＣはグラフィックス‐構成制御パラメータのセットＰＧに従って、デコードされたグラフィックスオブジェクトを処理する。グラフィックスオブジェクトコンポーザＧＯＣは、例えばトリミング又はスケーリング、オブジェクト配置、及びカラールックアップテーブルに基づくカラーマッピングなどの様々な異なる動作を実行し得る。これらの動作は、デコードされたグラフィックスオブジェクトにグラフィックス平面上で所与の外観をとらせる。グラフィックスコントローラＧＣＴがグラフィックス‐構成制御パラメータのセットＰＧに変換した構成セグメントが、この外観を規定する。グラフィックス平面は基本画像とみなされることができ、これは表示用の出力画像を得るために他の基本画像と組み合わされてもよい。このことは以下でより詳細に説明される。

立体映像デコーダＳＶＤは、映像平面のシーケンスＶＰＳと深さマップのシーケンスＤＭＳを得るために立体映像データストリームＳＶＤＳをデコードする。映像平面は、光ディスク上に記録されている映像に属する基本画像とみなされることができる。従って映像平面のシーケンスＶＰＳは関連映像をあらわす。深さマップは特定の映像平面に関連し、上述した通り、映像平面に存在するオブジェクトについての深さ情報を与える。つまり、深さマップにおける値は、関連映像平面における特定領域に関連し、この特定領域が仮想観察者に対してとる距離を示す。関連領域は、例えば単一画素又は画素クラスタを有し得る。

平面コンバイナＰＬＣは、立体映像デコーダＳＶＤから映像平面のシーケンスＶＰＳを、グラフィックスプロセッサＧＰＲからグラフィックス平面のシーケンスＧＰＳを受信する。グラフィックス平面は特定の映像平面に関連する。平面コンバイナＰＬＣはグラフィックス平面とそれに関連する映像平面を合成する。グラフィックス平面は通常、グラフィックスオブジェクトが最前面位置をとるように、映像平面の上に重ね合わされる。最前面位置は、グラフィックスオブジェクトに関連し、かつ仮想観察者に対する距離を示す深さ表示を用いて指定され得る。あるいは、グラフィックスオブジェクトはあらかじめ定められた固定深さを持ってもよい。オブジェクトを含まないグラフィックス平面における領域は透明であるとみなされることができる。従って、１つ以上のグラフィックスオブジェクトが重ね合わされている関連映像の画像に対応する視覚画像が得られる。従って平面コンバイナＰＬＣは、映像平面のシーケンスＶＰＳとグラフィックス平面のシーケンスＧＰＳに応じて視覚画像のシーケンスＶＩＳを提供する。

視覚画像において最前面位置をとるグラフィックスオブジェクトは、通常、視覚画像が基づく映像平面に存在する１つ以上のオブジェクトを遮蔽する。例えば、図２に図示された家は映像平面に含まれるオブジェクトであり得る。同じ図に図示された木は、その映像平面の上に重ね合わされる、グラフィックス平面に含まれるグラフィックスオブジェクトであり得る。木は家の一部分を遮蔽し、これは図２及び図３を参照して前文で説明されたように立体レンダリングにおけるアーチファクトを生じさせ得る。

立体レンダリングアーチファクトは、グラフィックスオブジェクトが映像平面の一部分を遮蔽する時、比較的高い可視度、従って比較的高い妨害度を持つ可能性がある。これは、グラフィックスオブジェクトが典型的には仮想観察者に比較的近く、一方映像平面における１つ以上の遮蔽されるオブジェクトは典型的には仮想観察者から比較的遠く離れるためである。つまり、深さに比較的大きな差があることになる。そのような場合、前述の穴埋め技術を用いて前述のアーチファクトを軽減することは一般的に困難である。遮蔽分析器ＯＣＡ、補助構成バッファＣＢ２、及び遮蔽データ生成器ＯＤＧを含む、アーチファクトを防止する洗練された技術が以下で提示される。

遮蔽分析器ＯＣＡは、グラフィックスデータストリームＧＤＳに存在する構成セグメントＣＳに基づいて遮蔽構成セグメントＯＣＳを生成する。前文で説明した通り、構成セグメントは特定のグラフィックスオブジェクトに適用される。構成セグメントは、グラフィックスオブジェクトが視覚画像において占める領域を示す。典型的な場合として、グラフィックスオブジェクトが最前面位置をとるとする。するとグラフィックスオブジェクトによって占められる領域は遮蔽領域を構成する。構成セグメントはこの遮蔽領域を示す。遮蔽分析器ＯＣＡは、関連グラフィックスオブジェクトがあらわれることになる視覚画像に関連する遮蔽構成セグメントを生成するためにこの情報を使用する。随意的に、遮蔽分析器ＯＣＡは、もし利用可能であれば、遮蔽構成セグメントを生成するために深さ情報も使用し得る。遮蔽構成セグメントＯＣＳは補助構成バッファＣＢ２に一時的に格納される。

遮蔽構成セグメントは、構成セグメントの適合バージョンとみなされることができる。遮蔽構成セグメントは視覚画像における遮蔽領域を示す。遮蔽領域は関連グラフィックスオブジェクトが占める領域に対応し得る。遮蔽領域はまた、関連グラフィックスオブジェクトが占める領域の境界部分にも対応し得る。概念的には、境界部分は以下のように作られ得る。グラフィックスオブジェクトの輪郭から所与の距離において、関連領域内にいわばカッターが置かれる。カッターは所与の距離を保ちながら輪郭をたどる。境界部分は、グラフィックスオブジェクトの輪郭と、カッターがたどる経路との間に構成される。しかしながら、境界部分を作るために異なる技術が使用されてもよい。例えば境界部分は、遮蔽を補うために必要な実際の境界部分の丸め（ｒｏｕｎｄｉｎｇｏｆｆ）に対応する、固定サイズブロックで規定されてもよい。

境界部分は固定サイズをとってもよい。つまり、前述のカッターが置かれる所与の距離が固定されてもよく、又は境界部分を規定するブロックの数が固定されてもよい。境界部分はまた、関連グラフィックスオブジェクトと１つ以上の遮蔽されたオブジェクトとの深さの差を示す、深さ情報に依存するサイズをとってもよい。この深さにおける差が大きいほど、境界部分のサイズは大きくなるはずである。この最後のアプローチは、境界部分が固定サイズをとるアプローチと比較してより多くの計算量を要する。

実際には、固定サイズの境界部分は一般的に満足のいく結果をもたらす。これは立体表示が一般的に比較的低量の深さのみを再生することができるためである。さらに、視聴者は通常、比較的低量の深さしか快適な方法で経験することができない。比較的大きな深さ変動を伴う立体レンダリングは視聴者に頭痛を与え得る。従って境界部分は、表示技術若しくは人間生理学、又はその両方によって規定される、最大深さ変動に対応する固定サイズを与えられ得る。

グラフィックスコントローラＧＣＴは、適用可能なタイミングスキームに従って補助構成バッファＣＢ２に一時的に格納される遮蔽構成セグメントＯＣＳをフェッチする。例えば、グラフィックスコントローラＧＣＴは各グラフィックスオブジェクトに対して以下のスキームを適用し得る。グラフィックスコントローラＧＣＴはまず、グラフィックス‐構成制御パラメータのセットＰＧをグラフィックスオブジェクトコンポーザＧＯＣに適用するために、関連グラフィックスオブジェクトに属する構成セグメントをフェッチし、処理する。グラフィックスコントローラＧＣＴは続いて、遮蔽分析器ＯＣＡが関連構成セグメントに基づいて生成した遮蔽構成セグメントをフェッチする。グラフィックスコントローラＧＣＴは、構成セグメントが処理されたのと同様の方法で遮蔽構成セグメントを処理する。従って、グラフィックスコントローラＧＣＴは遮蔽データ生成制御パラメータのセットＰＯを確立する。遮蔽データ生成制御パラメータのセットＰＯは、特定の視覚画像、すなわち関連するグラフィックスオブジェクトが現れることになる視覚画像に関連する。

遮蔽データ生成器ＯＤＧは遮蔽データ生成制御パラメータのセットＰＯを受信する。遮蔽データ生成制御パラメータのセットＰＯは、映像平面のシーケンスＶＰＳにおける特定の映像平面、すなわち関連グラフィックスオブジェクトがあらわれることになる視覚画像を形成するために使用される映像平面に関連する。遮蔽データ生成制御パラメータのセットＰＯはさらに、特定の深さマップ、すなわち関連映像平面に関連する深さマップに関連する。遮蔽画像コンポーザＯＩＣは立体映像デコーダＳＶＤから関連映像平面を得ることができる。関連映像平面を一時的に格納するためにバッファが使用され得る。同様の方法で、遮蔽深さマップコンポーザＯＤＣは立体映像デコーダＳＶＤから関連深さマップを得ることができる。

遮蔽画像コンポーザＯＩＣは、関心映像平面と、グラフィックスコントローラＧＣＴが提供する遮蔽データ生成制御パラメータのセットＰＯとに基づいて遮蔽画像を形成する。遮蔽画像は関心映像平面の選択された部分を有する。選択された部分は、関心遮蔽構成セグメントが示す遮蔽領域に対応する。前述の通り、遮蔽領域は、関連視覚画像において関連グラフィックスオブジェクトが占める領域の境界部分に対応し得る。つまり、この境界部分は関心映像平面の選択された部分を構成し得る。遮蔽画像コンポーザＯＩＣはいわば、関心映像平面から選択された部分を切り取り、遮蔽画像を得るためにその選択された部分を空白画像に貼り付け得る。

同様の方法で、遮蔽深さマップコンポーザＯＤＣは、関心深さマップと、遮蔽データ生成制御パラメータのセットＰＯとに基づいて遮蔽深さマップを形成する。遮蔽深さ画像は、映像平面の選択された部分に対応する深さマップの選択された部分を有する。遮蔽深さマップコンポーザＯＤＣはいわば、関心深さマップから選択された部分を切り取り、遮蔽深さマップを得るためにその選択された部分を空白深さマップに貼り付け得る。遮蔽構成セグメントと、これに由来する遮蔽データ生成制御パラメータのセットＰＯは、概念的には、関連映像平面と関連深さマップの特定部分を規定するステンシルとみなされ得、この特定部分はそれぞれ遮蔽画像と遮蔽深さマップを構成する。

遮蔽データ生成器ＯＤＧは遮蔽画像のシーケンスＯＩＳと遮蔽深さマップのシーケンスＯＤＳを提供する。これらのシーケンスは、表示機器ＤＰＬがアーチファクトの無い立体視覚体験を提供するのを助け得る。これは例えば図２及び図３に基づいて理解されることができる。遮蔽画像は、視覚画像において欠落しているが、立体レンダリング用の異なるビューの適切なセットを生成するために必要とされ得る部分を有する。遮蔽画像は、前文で説明された通り、好ましくは視覚画像における遮蔽領域の関連境界部分のみを有する。遮蔽深さマップは、それに関連する遮蔽画像にあらわされる欠落部分に関する深さ情報を提供する。

バックエンドモジュールＢＥＭは、視覚画像のシーケンスＶＩＳ、深さマップのシーケンスＤＭＳ、遮蔽画像のシーケンスＯＩＳ、及び遮蔽深さマップのシーケンスＯＤＳに基づいて視聴覚データストリームＡＶＤを提供する。視聴覚データストリームＡＶＤは、図１に図示された接続ＣＸを介して表示機器ＤＰＬに伝送される出力画像のシーケンスを有する。出力画像は、視覚画像、深さマップ、遮蔽画像、及び深さ遮蔽画像を有する。出力画像が、視覚情報、ａｔ情報、及び遮蔽情報を伝達し得る多数の異なる方法がある。

図５は、視聴覚データストリームＡＶＤ内の出力画像ＯＩを図示する。出力画像ＯＩは、左上クワドラント、右上クワドラント、左下クワドラント、及び右下クワドラントという４つのクワドラントを持つモザイク画像である。左上クワドラントは映像平面とグラフィックス平面の合成である視覚画像を有する。映像平面は城をあらわす。グラフィックス平面はグラスを満たしているボトルをあらわす。ボトルとグラスは個別のグラフィックスオブジェクトであってもよいし、又は単一のグラフィックスオブジェクトによってあらわされてもよい。いずれの場合にも、グラスを満たしているボトルが城の一部分を遮蔽するように、グラフィックス平面は映像平面の上に重ね合わされている。

右上クワドラントは深さマップを有する。深さマップはグラスを満たしているボトルに対応する白色領域を有する。この白色領域は、前述のオブジェクトが仮想観察者に比較的近いことを示す。深さマップの残りは、城などの映像平面におけるオブジェクトが仮想観察者から比較的離れていることを示す、灰色で暗い外観を持つ。

左下クワドラントは遮蔽画像を有する。簡略化と明確化のため、遮蔽画像は実質的に、視覚画像においてグラスを満たしているボトルによって遮蔽される映像平面の部分に対応する。要は、遮蔽画像は映像平面全体の代わりに映像平面の特定部分のみを有する。これはバンド幅を節約する。同様の所見は遮蔽深さマップを有する右下クワドラントにも当てはまる。遮蔽深さマップは、視覚画像において遮蔽されたオブジェクトについての深さ情報を与える、深さマップの特定部分のみを有する。

視覚画像は水平方向と垂直方向における出力画像の解像度の半分の解像度を持つことに留意すべきである。例えば、出力画像ＯＩは例えば１９２０×１０８０画素の行列の形をとってもよい。つまり、出力画像ＯＩは各々１９２０画素の１０８０ラインを有し得る。その場合、視覚画像は各々９６０画素の５４０ラインを有する。従って視覚画像は比較的低解像度を持つ。しかしながらこれは、立体表示機器が同程度の低解像度を持ち得るので、問題となる必要がない。前文で説明された通り、自動立体表示機器は、深さの影響を実現するサイズに多重ビューをレンダリングするために、事実上解像度を犠牲にする。立体表示機器ＤＰＬの解像度を超える解像度を持つ視覚画像は必要ない。

図４に図示されたバックエンドモジュールＢＥＭは出力画像にヘッダを組み込み得る。ヘッダは、ビットシーケンス又はバイトシーケンスの形をとり得るが、出力画像においてどこに特定のタイプの情報が存在するかの指標となる。例えば、ヘッダは左上クワドラントが深さマップを有し、左クワドラントが遮蔽画像を有し、右下クワドラントが遮蔽深さマップを有することを示してもよい。ヘッダは、出力画像、というよりもその中に含まれる視覚画像を適切にレンダリングするために有用となり得るさらなる指標を与えてもよい。

ヘッダは以下の方法で出力画像に組み込まれ得る。画素のセットがヘッダからのビットのキャリアとして指定される。画素のセットは好ましくは、そのセットに属する任意の所与の画素のペア間に、そのセットに属さない出力画像における少なくとも１つの画素があるように指定される。言い換えれば、出力画像における２つの隣接画素がヘッダビットキャリアとしてはたらくことが防止される。該セットの一部を形成する各画素ごとに、所与の画素コンポーネントはヘッダからの１つ以上のビットに対応する値を割り当てられる。好ましくは、所与の画素コンポーネントの各ビットは、ヘッダからの特定ビットをあらわす同一の値を割り当てられる。こうした冗長性は、明度の変化、コントラスト設定、及び雑音に対してヘッダをより強固にする。

［結論］
図面を参照する上記の詳細な説明は、請求項において規定される本発明と追加の特徴の説明に過ぎない。本発明は多数の異なる方法で実施されることができる。これを説明するために、いくつかの代替案が簡潔に示される。

本発明は立体画像レンダリングを含むいかなるタイプの製品又は方法においても有利に適用され得る。図５に図示されるように、光ディスクプレーヤを有する立体レンダリングシステムは一実施例に過ぎない。本発明は、例えばＢｌｕ‐ｒａｙ（登録商標）ディスク規格に従ってデータストリームを受信及び処理する受信器などに等しく有利に適用され得る。こうしたデータストリームは、例えばインターネットなどのネットワークを介して受信器に到達し得る。データキャリアは必ずしも光ディスクの形である必要はない。例えば集積回路の形をとり得る書き込み可能メモリは、本発明に従って１つ以上の画像をエンコードすることによって得られたデータの集合を有することができる。本発明はいかなる特定タイプの立体表示機器も必要としない。詳細な説明において述べられた自動立体表示は一実施例に過ぎない。立体表示機器はまた、片方が左目ビュー又はそのシーケンスを左目に伝え、他方が右目ビュー又はそのシーケンスを右目に伝える眼鏡をかけることを視聴者に要求するタイプのものであってもよい。このような立体表示機器は左目ビューと右目ビューを交互に表示する。

本発明は多数の異なるタイプの用途に有利に適用され得る。上記の詳細な説明はＢｌｕ‐ｒａｙ（登録商標）ディスク応用について述べている。しかしながら、本発明はＤＶＤ応用（ＤＶＤはデジタル多用途ディスクの頭字語である）にも適用され得る。ＤＶＤ応用は、アニメーション、メニュー、及び字幕用のグラフィックスの重ね合わせのためのサブピクチャをサポートする。これらのサブピクチャはランレングスエンコードされたビットマップである。ＤＶＤプレーヤはこれらのランレングスエンコードされたビットマップをデコードし、この結果得られるサブピクチャを映像背景の上に重ね合わせ得る。この重ね合わせは、サブピクチャがどのように重ね合わされるべきかをあらわすいわゆるサブピクチャ制御コマンドにおいて指定される情報に従ってなされる。あるサブピクチャ制御コマンドは、そのサブピクチャが重ね合わされるべき映像背景上の領域を指定する矩形をあらわす。この情報はＢｌｕ‐ｒａｙ（登録商標）ディスク応用内の構成セグメントに含まれる情報と類似している。

グラフィックスデータを再生機器が利用できるようにする多数の異なる方法がある。図５を参照して説明された実施例においては、グラフィックスデータは光ディスク上に視覚データと共に記録されている。しかしながら、再生機器ＰＬＹはネットワークＮＷ及びネットワークインターフェースＮＩＦを介して遠隔サーバＳＲＶからグラフィックスデータを読み出してもよい。従って再生プロセッサＰＲＰはネットワークインターフェースＮＩＦからネットワークデータストリームＮＤＳの形でグラフィックスデータを受信してもよい。光ディスク上にあるコンテンツの立体レンダリングモードを選択するユーザは、関連コンテンツに関連するグラフィックスデータのこうした検索を始動させてもよい。同様に光ディスク上にあるアプリケーションデータは、立体視を可能にする（ｓｔｅｒｅｏ‐ｅｎａｂｌｉｎｇ）データが読み出されることができる特定のインターネットアドレス、又はこうしたアドレスのセットを示してもよい。検索は支払いを条件としてもよい。

遮蔽関連情報が表示機器に伝送されることができる多数の異なる方法がある。図５は遮蔽関連情報が出力画像に含まれる一実施例を図示する。つまり、全ての関連情報を表示機器ＤＰＬに伝送するために、接続ＣＸの形で、単一のチャネルが使用される。別の実施例においては、遮蔽関連情報は別々のチャネルを介して表示機器に送信されてもよい。こうした別々のチャネルは、遮蔽関連情報が通常は少ないデータ量を要するため、比較的低いバンド幅を持ち得る。これは、本発明のおかげで、遮蔽関連情報が、アーチファクトの無い立体レンダリングの目的のために実際に必要とされるものに限られるためである。いかなるオーバーヘッドも防止されることができる。さらに、遮蔽関連情報がいわばさらに少ないデータ量に組み込まれることができるように、圧縮技術が使用されてもよい。別々のチャネルを介して遮蔽関連情報を送信することは利点があり、これは比較的低いバンド幅を持ち得、従って本発明のおかげで比較的低コストとなり得る。この利点は、映像伝送チャネルがバンド幅に関して完全に使用されることができるということであり、これは映像の高解像度立体レンダリングを可能にする。この点において、立体表示機器は近い将来にさらに高解像度を提供することが期待されることに留意すべきである。

遮蔽関連情報が出力画像に含まれる場合、そのようにする多数の方法がある。図５は、各々が異なるタイプの情報を持つ４つのクワドラントに出力画像が効果的に分割される一実施例を図示する。別の実施例においては、遮蔽関連情報は上部ラインのセットと下部ラインのセットに含まれてもよい。遮蔽関連情報を、出力画像において比較的少数のライン又は比較的小さな領域に組み込むために、圧縮技術が使用されてもよい。同じことが深さ関連情報にも当てはまる。さらに、視覚情報以外の出力画像における情報は、いわばランダム化され得る。ランダム化は、出力画像が誤使用により"そのまま"表示される場合に、こうした他の情報を目立たなくする。

表示プロセッサが特定フォーマットの出力画像を検出することができる多数の異なる方法がある。出力画像におけるヘッダは必要とされない。例えば、表示プロセッサは特定フォーマットに従って出力画像を解釈及び処理するようにプログラムされてもよい。さらに別の実施例においては、表示プロセッサは、立体視を可能にするデータが存在し得る１つ以上の特定領域を特定するために、出力画像又は一連の出力画像を解析し得る。こうした自動検出は統計分析に基づくことができる。すなわち、視覚データを有する領域と立体視を可能にするデータを有する領域の間には不連続性がある。さらに、この不連続性は各画像においてあらわれる。

図１及び図４において図示された実施例のいずれも、方法の形で実施されてもよい。つまり、これらの図面にあらわれる任意のブロックは、方法の１つ以上の特定のステップをあらわすことができる。例えば、図４においてＧＳＰと指定されたブロックは、グラフィックスストリームプロセッサだけでなくグラフィックスストリームを処理するステップもあらわす。図１においてＧＣＴと指定されたブロックは、グラフィックスコントローラだけでなくグラフィックス構成のための制御ステップもあらわす。図１においてＯＩＣと指定されたブロックは、遮蔽画像コンポーザだけでなく遮蔽画像構成ステップもあらわすなど、前述の図面の各々における各ブロックに対しても同様であり、これらはフローチャートとして解釈されることができる。

ハードウェア若しくはソフトウェア、又はその両方の項目を用いて機能を実装する多数の方法がある。この点において、図面は非常に図式的であり、各々は本発明のある考えられる実施形態のみをあらわす。従って、図面は異なる機能を異なるブロックとして示すが、これは決して、ハードウェア又はソフトウェアの単一の項目が複数の機能を実行することを除外するものではない。また、ハードウェア若しくはソフトウェア又はその両方の項目の組み合わせが１つの機能を実行することを除外するものでもない。図２に図示された機能エンティティのいずれも、ソフトウェア若しくはハードウェア、又はソフトウェア及びハードウェアの組み合わせを用いて実装され得ることに留意すべきである。例えば任意の機能エンティティは、ソフトウェアベースの実装であるプログラマブルプロセッサを適切にプログラムすることによって、又はハードウェアベースの実装である専用回路の形で、実装されてもよい。ハイブリッド実装は、１つ以上の適切にプログラムされたプロセッサと１つ以上の専用回路を含んでもよい。

前文でなされた見解は、図面を参照して、詳細な説明が本発明を限定するのではなく説明することを示す。添付の請求項の範囲内にある多数の代替案がある。請求項におけるいかなる参照符号も、その請求項を限定するものと解釈されるべきではない。"有する"という語は、請求項に列挙されたもの以外の他の要素又はステップの存在を除外しない。ある要素又はステップに先行する"ａ"又は"ａｎ"という語は、かかる要素又はステップの複数形の存在を除外しない。

Claims

立体表示機器に接続されることにより、立体画像を表示するためのデータを前記立体表示機器に提供するための再生装置であって、当該再生装置は、
基本画像、当該基本画像の部分に重なり合うグラフィックスオブジェクト、及び、前記基本画像と前記グラフィックスオブジェクトとが合成された視覚画像において前記グラフィックスオブジェクトが前記基本画像のどこに重なり合うかを少なくとも規定する構成データ含むデータの集合を受信するためのフロントエンドモジュール、
前記データの集合を処理するための画像プロセッサ、
を有し、
当該画像プロセッサは、
前記構成データに基づいて遮蔽指標を作るための遮蔽分析器であって、前記遮蔽指標は、前記グラフィックスオブジェクトが前記視覚画像において遮蔽するが、前記立体表示機器において前記視覚画像及び深さ情報に基づいて生成される他のビューにおいて遮蔽が解除され得る、前記基本画像における領域を指定する、遮蔽分析器と、
前記遮蔽指標と前記基本画像とに基づいて遮蔽画像を構成するための遮蔽データ生成器であって、前記遮蔽画像は前記遮蔽指標によって指定される前記領域に対応する前記基本画像の部分をあらわす、遮蔽データ生成器と、
を有し、
前記再生装置はさらに、
前記立体表示機器に送信されるべき出力画像の視聴覚データストリームを提供するためのバックエンドモジュールを有し、前記視聴覚データストリームは、前記視覚画像、当該視覚画像に関する深さ情報及び前記遮蔽画像を有する、
再生装置。
前記バックエンドモジュールが、
別のチャネルにおいて前記遮蔽画像を提供すること、
前記遮蔽画像に圧縮技術を適用すること、
各々が異なるタイプの情報を伝達する４つのクワドラントに前記出力画像を分割すること、
前記遮蔽画像を上部ラインのセット又は下部ラインのセットに含めること、
のうちの少なくとも１つによって前記視聴覚データストリームを提供する、請求項１に記載の再生装置。
前記遮蔽分析器が、前記グラフィックスオブジェクトが遮蔽する前記基本画像における前記領域を、前記グラフィックスオブジェクトの固定サイズの境界部分として規定する、請求項１に記載の再生装置。
前記遮蔽分析器が、前記グラフィックスオブジェクトが遮蔽する前記基本画像における前記領域を、前記グラフィックスオブジェクトの可変サイズの境界部分として規定し、前記境界部分は、前記グラフィックスオブジェクトと前記グラフィックスオブジェクトが遮蔽する前記領域との深さの差を示す深さ表示に依存するサイズを持つ、請求項１に記載の再生装置。
前記遮蔽データ生成器が、前記遮蔽指標と、前記基本画像に関連する深さマップとに基づいて遮蔽深さマップを構成するための遮蔽深さマップコンポーザを有し、前記遮蔽深さマップは前記遮蔽指標によって規定される前記領域に対応する前記深さマップの部分をあらわす、請求項１に記載の再生装置。
前記遮蔽分析器が前記構成データに基づいて作られた前記遮蔽指標を与え、前記画像プロセッサが、
前記構成データと前記遮蔽指標を同様の方法で処理するためのグラフィックスコントローラであって、前記遮蔽指標の処理は前記遮蔽データ生成器に対して遮蔽データ生成制御パラメータを与える、グラフィックスコントローラを有する、請求項１に記載の再生装置。
前記バックエンドモジュールが前記出力画像にヘッダを組み込み、前記ヘッダは前記遮蔽画像が含まれている前記出力画像における領域を示す、請求項１に記載の再生装置。
前記データの集合が、前記グラフィックスオブジェクトをあらわす少なくとも１つのグラフィックスオブジェクトセグメントと、前記構成データを有する少なくとも１つの構成セグメントとを有する、Ｂｌｕ‐ｒａｙ（登録商標）ディスク規格に従って動作する請求項１に記載の再生装置。
請求項１に記載の再生装置と、前記再生装置が与える前記出力画像を表示するための立体表示機器とを有する、立体映像レンダリングシステム。
再生装置から立体表示機器に視聴覚データストリームを提供するする方法であって、
基本画像、当該基本画像の部分に重なり合うグラフィックスオブジェクト、及び、前記基本画像と前記グラフィックスオブジェクトとが合成された視覚画像において前記グラフィックスオブジェクトが前記基本画像のどこに重なり合うかを少なくとも規定する構成データ含むデータの集合を受信するステップと、
前記データの集合を処理するステップと、
を有し、前記処理するステップが、
前記構成データに基づいて遮蔽指標が作られる遮蔽分析ステップであって、前記遮蔽指標は、前記グラフィックスオブジェクトが前記視覚画像において遮蔽するが、前記立体表示機器において前記視覚画像及び深さ情報に基づいて生成される他のビューにおいて遮蔽が解除され得る、前記基本画像における領域を指定する、ステップと、
前記遮蔽指標と前記基本画像とに基づいて遮蔽画像が構成される遮蔽データ生成ステップであって、前記遮蔽画像は前記遮蔽指標によって指定される前記領域に対応する前記基本画像の部分をあらわす、ステップと、
を有し、
当該方法はさらに、前記立体表示機器に送信されるべき出力画像の視聴覚データストリームを提供するステップを有し、前記視聴覚データストリームは、前記視覚画像、当該視覚画像に関する深さ情報及び前記遮蔽画像を有する、方法。
プログラマブルプロセッサにロードされて実行され、前記プログラマブルプロセッサに請求項１０に記載の方法を実行させる、命令のセットを有する、コンピュータプログラム。