JP5567562B2

JP5567562B2 - 多用途三次元画像フォーマット

Info

Publication number: JP5567562B2
Application number: JP2011519274A
Authority: JP
Inventors: ヴィルヘルムスエイチエイブルルス; ヒュンネヴィークレイニエルビーエムクレイン; デルヘーイデンヒェラルドゥスダブリュティーファン; フィリップエスニュートン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2008-07-24
Filing date: 2009-07-22
Publication date: 2014-08-06
Anticipated expiration: 2029-07-22
Also published as: MY155378A; US10567728B2; RU2519057C2; KR101749893B1; US20110122131A1; EP2308241A2; BRPI0911016B1; CN102106152A; KR20110045013A; TW201010409A; BRPI0911016A2; TWI573434B; EP3101894A1; JP2011529287A; EP3101894B1; RU2011106470A; CN106101682A; WO2010010521A3; EP2308241B1; US20160344995A1

Description

本発明の態様は、一方の画像が観察者の一方の目を対象とし、他方の画像が観察者の他方の目を対象とする一対の画像を含む三次元画像を提供する方法に関する。三次元画像は、例えば、ビデオを構成するように同様のフォーマットを持つ三次元画像のシーケンスの一部を形成することができる。本発明の他の態様は、三次元画像提供システム、三次元画像を伝達する信号、三次元画像をレンダリングする方法、三次元画像レンダリングシステム、及び、プログラム可能なプロセッサ用のコンピュータープログラム製品に関する。

視覚的三次元レンダリングは、それぞれ観察者の左目及び右目を対象とする左画像及び右画像である一対の画像を含む信号に基づいて達成される。ビデオの場合では、信号は、そのような画像対のシーケンスを有する。その中に含まれる左及び右の画像は、立体視ディスプレイ装置に直接レンダリングされることができ、それは、観察者が眼鏡を着用することを必要とする場合がある。左目レンズは、レンダリングされた左画像を左目へと通す。右目レンズは、レンダリングされた右画像を右目へと通す。例えば、ディスプレイ装置は、レンダリングされた左画像及びレンダリングされた右画像を交互に表示することができる。その場合、左目のレンズは、レンダリングされた左画像が表示されるときに透明にされ、そうでないときには不透明である。同様に、右目のレンズは、レンダリングされた右画像が表示されるときに透明にされ、そうでないときには不透明である。

先行する段落に説明されるような一対の画像又は三次元ビデオを構成する画像対のシーケンスを含む信号は、一般的に、例えば画面サイズ及び観察距離に関する特定のレンダリング状況に対して、生成される。この特定のレンダリング状況は、例えば、幅１２メートルのスクリーンを用いた、典型的には観察者がスクリーンから１８メートル離れたところに座っているシネマである場合がある。レンダリング状況が、信号が生成されたレンダリング状況と異なる場合には、三次元ビデオは異なるように見える。例えば、シネマのために生成された三次元ビデオがホーム・ビデオ・セットでレンダリングされる場合、観察者は、シネマとは異なる視覚的印象を経験する。深さ効果は、一般的により小さく、さらに、シネマではスクリーンのずっと後ろにあるように見える物体が、ホーム・ビデオ・セットのスクリーンのほぼ前にあるように見えるという意味において、明らかな深さシフトが存在する場合がある。

プライベートな環境で、例えば在宅で、三次元ビデオを観察する観察者は、ユーザが最も好感の持てるように経験するレンダリングを得るように深さ効果を調整することを望む場合がある。原則として、これは、三次元ビデオに含まれる画像の各々のペアに基づく補間又は外挿によって達成することが可能である。要するに、左画像及び右画像は、特に水平変位に関して、これらの画像間の差を表現するいわゆる視差マップを得るために、比較される。深さ効果調整は、画像の新たなペアを生成するために用いられる修正された視差マップの形で表現されることができる。そのような補間又は外挿のプロセスは、比較的複雑であり、したがって比較的コストがかかる。さらに、そのようなプロセスは、認識されるアーチファクトを導入する場合があり、それは観察者にとって不快である場合がある。

米国特許出願公開番号2005/0190180は、所与の立体視ディスプレイに対して、ユーザ又はユーザの集合体により、シーン・コンテンツをカスタマイズするための方法を記載する。ユーザに関するカスタマイゼーション情報が取得される。一対の所与のステレオ画像のためのシーン視差マップがさらに取得される。ユーザのための目標視差範囲が決定される。所与の立体視ディスプレイのユーザの融和能力と相関するカスタマイズされた視差マップが生成される。ステレオ画像は、以降の表示のためにレンダリング又は再レンダリングされる。

多数の種類のディスプレイ装置上での満足なレンダリングを可能にする多用途三次元映像信号の必要性が存在する。本明細書に添付される独立請求項は、より適切にこの必要性に対処する本発明のさまざまな態様を定める。従属請求項は、有効に本発明を実施するための追加の特徴を定める。

本発明の態様によれば、三次元画像は、以下の通りに提供される。観察者の一方の目を対象としている第１画像及び観察者の他方の目を対象としている第２画像を含む一対の画像が提供される。加えて、特に第１画像専用の深さマップが提供される。この深さマップは、深さ指標値を有する。深さ指標値は、第１画像の特定の部分に関連し、第１画像のその部分によって少なくとも部分的に表される物体と観察者との間の距離を示す。

この画像の対は、一般的に異なる視点からのシーンを表す。レンダリング端において、シフトされた視点の画像は、第１画像及び深さマップから生成されることができる。このシフトされた視点の画像は、第１画像のそれと異なる視点からのシーンを表す。シフトされた視点の画像及び第２画像は、一緒に新たな画像対を構成し、それは、このように第１画像及び第２画像を表示することによって取得されたそれと異なる視覚的三次元レンダリングを可能にする。適切なレンダリングは、第１画像に対するシフトされた視点の画像の、視点に関するシフトの量を調整することによって達成されることができる。シフトの量は、一般的にレンダリング環境依存である。より大きいスクリーン又はより小さいスクリーンは、適切なシフトの量によって対処されることができる。重要なことは、シフトされた視点の画像は、第１画像及び特に第１画像専用の深さマップから、比較的正確であるが単純な仕方で生成されることができる。したがって、満足な視覚的三次元レンダリングが、費用効果が優れている仕方で、多数の種類のディスプレイ装置で達成されることができる。

本発明により提供される三次元画像（又はそのシーケンス）は、さらに、特に自動立体視ディスプレイ装置によるレンダリングに適していることが留意されるべきである。そのようなレンダリングは一般的に、特定の視点に関するシーンをそれぞれが表す複数のシフトされた視点の画像を生成することを含む。これらの複数のシフトされた視点の画像は、第１画像及び特に第１画像専用の深さマップから比較的単純な仕方で生成されることができる。第２画像は、自動立体視レンダリングのために事実上無視されることができる。したがって、深さマップは、２つの目的のため、第一に、特定のレンダリング環境に適応させるため、第二に、自動立体視ディスプレイ装置によるレンダリングの場合における複数のシフトされた視点の画像を生成するために、有効に用いられることができる。

本発明により提供される三次元画像（又はそのシーケンス）が、一般的に、一対の画像のみを含む基本的な三次元画像と比べて少量の追加のデータを有することがさらに留意されるべきである。これは、深さマップは一般的に、シーンの視覚的表現を構成する画像と比べて少量のデータを有するからである。深さマップは、深さマップが関係する画像より低い解像度を持つことができる。さらに、深さマップは、１ピクセル又はピクセルの１集合体に対して１つの値を有することのみを必要とし、一方、画像は一般的に、１ピクセルに対してさまざまな値、輝度値及び２つの彩度値を含む。したがって、基本的な三次元ビデオを記憶するための十分な容量を提供する例えばＤＶＤディスクのような記憶媒体は、一般的に、本発明によって提供される三次元ビデオを記憶するための十分な容量も提供する。同様に、基本的な三次元ビデオの送信を可能にする送信チャネルは、一般的に、本発明によって提供される三次元ビデオの送信も可能にする。したがって、前述の利点は、記憶容量若しくは帯域幅又はその両方に関する比較的小さい投資のみによって達成されることができる。

本発明の実施態様は、有利には、個々の従属請求項に対応する別々の段落に記載される以下の追加の特徴の１つ以上を含む。

好ましくは、レンダリング・ガイダンス・データは、それぞれのレンダリング環境のためのそれぞれのパラメータを指定する。それぞれのパラメータは、第１画像及び特に第１画像専用の深さマップからシフトされた視点の画像を生成することに関連する。

レンダリング・ガイダンス・データは、好ましくは、第１ステレオ・モードのための１セットのパラメータ及び第２ステレオ・モードのための１セットのパラメータを含む。第１ステレオ・モードにおいて、第１画像及び深さマップから生成されるシフトされた視点の画像はレンダリングされた第１画像を構成し、第２画像はレンダリングされた第２画像を構成する。第２ステレオ・モードにおいて、第１画像はレンダリングされた第１画像を構成し、第１画像及び深さマップから生成されるシフトされた視点の画像はレンダリングされた第２画像を構成する。

パラメータの前述のそれぞれのセットには、好ましくは、第１ステレオ・モードが適用されるべきである第１ステレオ強度範囲及び第２ステレオ・モードが適用されるべきである第２ステレオ強度範囲の定義が与えられる。

レンダリング・ガイダンス・データは、それぞれの深さ指標値のためのそれぞれの最大視差シフト値を定めることができる。

レンダリング・ガイダンス・データは、それぞれのスクリーン・サイズのためのそれぞれの視差オフセット値を定めることができる。

レンダリング・ガイダンス・データは、深さマップ精度の指標を有することができる。

特に第１画像専用の背景画像が好ましくは提供される。

加えて、特に第１画像専用のαマップが好ましくは提供される。αマップは、左画像、深さマップ及び背景画像から生成されることができるシフトされた視点の画像の漸進的な遷移を定める。

本発明は、請求項１に記載の方法においてさらに実施され、第１画像、第２画像及び深さマップは、信号の転送のための予め定められた帯域幅に調整された解像度で提供され、追加のフレームが符号化されて、画像及び深さ成分に基づくレンダリングに用いられる更なるデータを提供する。

基本的なアイデアは、第１画像、第２画像及び深さマップは、元の解像度における第１画像及び第２画像の転送のために利用可能な帯域幅に調整された解像度で提供されることができることである。追加のフレームは、次に、画像及び深さ成分に基づくレンダリングに用いられる更なるデータを提供するために提供される。

本発明は、三次元画像提供システムにおいてさらに実施され、第１画像、第２画像及び深さマップは、信号の転送のための予め定められた帯域幅に調整された解像度で提供され、追加のフレームが符号化されて、画像及び深さ成分に基づくレンダリングに用いられる更なるデータを提供する。

本発明は、三次元画像を伝達する信号においてさらに実施され、当該信号は、観察者の一方の目を対象とする第１画像（LP）及び観察者の他方の目を対象とする第２画像（RP）を含む一対の画像、特に第１画像(LP)専用の深さマップ(DM)を有し、深さマップは深さ指標値を含み、深さ指標値は、第１画像の特定の部分に関連して、第１画像のその部分によって少なくとも部分的に表される物体と観察者との間の距離を示し、第１画像、第２画像及び深さマップは、信号の転送のための予め定められた帯域幅に調整された解像度で提供され、追加のフレームが符号化されて、画像及び深さ成分に基づくレンダリングに用いられる更なるデータを提供する。

本発明は、請求項１９による信号を含む記憶媒体としてさらに実施される。

詳細な説明は、図面を参照して、追加の特徴と同様に、上に要約される本発明を示す。

三次元ビデオ生成システムを示すブロック図。三次元ビデオ生成システムが提供する多用途三次元映像信号を示す概念図。多用途三次元映像信号によって可能である第１ステレオ・モードを示す概念図。多用途三次元映像信号によって可能である第２ステレオ・モードを示す概念図。補充された多用途三次元映像信号を示す概念図。補充された多用途三次元映像信号中に含まれることができるレンダリング・ガイダンス・データの例を示すデータ図。補充された多用途三次元映像信号中に含まれることができるレンダリング・ガイダンス・データの他の例を示すデータ図。補充された多用途三次元映像信号中に含まれることができるレンダリング・ガイダンス・データのさらに他の例を示すデータ図。補充された多用途三次元映像信号を提供することが可能である三次元ビデオ補充システムを示すブロック図。三次元映像信号補充システムが実行することができる一連のステップを示すフローチャート図。多用途三次元映像信号に基づく立体視レンダリングを可能にするビデオ・レンダリング・システムを示すブロック図。自動立体視ディスプレイ装置を含む他のビデオ・レンダリング・システムを示すブロック図。 30Hzプログレッシブ又は60HzインターレースのモノスコープビデオのためのBDプレーヤーの概要を示す図。 L'R'D'信号がどのようにして、モノスコピック1080p 24Hzのモノラル信号のために必要とされるのとほぼ同じビットレートで、AVC／H264又はMVCを用いて効率的に符号化されることができるかの例を示す図。新たな三次元ブルーレイ・アプリケーションのためのさまざまなモード及びオプションを示す図。 L R D（2：2：1のフレームレート率）のビットレート及びメモリ効率の良い（AVC／H264による）ジョイント符号化の例を示す図。深さ及び透明度成分が12Hzで符号化され、深さ及び透明度が異なるフェーズに関連する符号化の例を示す図。 12Hz及び24Hzの深さ成分を混合した符号化の例を示す図。 LRDD' モードにおけるフレーム・インタリーブ及び圧縮を示し、D及びD' フレームのそれぞれのコンテンツを示す図。深さ及び透明度のための余地を生成するためのさまざまなサブサンプリング方法を示す図。

図1は、三次元ビデオ生成システムGSYを示す。三次元ビデオ生成システムGSYは、一対のカメラ、右カメラRCAM及び左カメラLCAM、記録プロセッサRPRを有し、記憶媒体STMを備えている。深さスキャナDSは、左カメラLCAMに結合されている。カメラの対RCAM, LCAMは、シーンSCNの方へ向けられて、シーンSCNの三次元ビデオを取り込む。シーンSCNは、さまざまな物体（例えば、人、樹木、住宅及び空の太陽）を含む。各々の物体は、シーンSCNを観察している仮想的な観察者とみなされることができるカメラの対に対して、所与の距離を持つ。

右カメラRCAM及び左カメラLCAMは、各々通常のカメラであることができる。記録プロセッサRPRは、例えば、命令実行装置、及び、以下に記載される記録プロセッサRPRの動作を定める一セットの命令が読み込まれたプログラムメモリを有することができる。例えば、記憶媒体STMは、ハードディスク、書込可能光学ディスク又は固体素子メモリの形であることができる。深さスキャナDSは、例えば、さまざまな方向に向きをかえられることができるレーザビーム及びそのレーザビームの反射を検出するセンサを有することができる。他の例として、深さスキャナDSは、レーダー・イメージング・モジュールを有することができる。さらに他の例として、深さスキャナは、さらにオフラインで深さマップを生成する人であることができる。

三次元ビデオ生成システムGSYは、基本的に以下のように動作する。カメラの対RCAM, LCAMは、画像対のシーケンスによって形成される、シーンSCNの基本的な三次元ビデオを提供する。画像対は、右画像及び左画像からなる。右のカメラRCAMによって取り込まれる右画像は、人である観察者の右目を対象とする。左のカメラLCAMによって取り込まれる左画像は、人である観察者の左目を対象とする。

右カメラRCAM及び左カメラLCAMは、互いに関して特定の位置関係を持つ。この位置関係は、例えばスクリーン・サイズ及び観察距離に関する典型的なレンダリング環境によって定められることができる。例えば、相互関係のある右画像のシーケンス及び左画像のシーケンスを含む基本的な三次元ビデオは、12メートルの典型的なスクリーン・サイズ及び18メートルの典型的な観察距離を有するシネマにおける表示を対象とすることができる。

左カメラLCAMが左画像を取り込むとき、深さスキャナDSは左画像のための一連の深さ測定を実行する。深さ測定は、関係する左画像の特定の部分のための深さ指標値を提供する。そのような特定の部分は、１つのピクセル又はブロックを構成することができるピクセルの集合体からなることができる。例えば、左画像は、ピクセルのさまざまなブロックに有効に分割されることができ、それによって、深さスキャナDSは、ピクセルのそれぞれのブロックのそれぞれの深さ指標値を提供する。シーンSCN中の人を部分的に表すピクセルのブロックに対して、深さスキャナDSは、シーンSCNのその人と仮想的な観察者との間の距離を表す深さ指標値を提供することができる。

記録プロセッサRPRは、したがって、深さスキャナDSがこの左画像に提供するそれぞれの深さ指標値を含む左画像のための深さマップを生成することができる。そのような深さマップは、左画像の拡張とみなされることができ、それは、二次元から三次元への追加の次元を加える。言い換えると、深さマップは、関係するピクセルのための輝度値及び一対の彩度値を含む左画像のピクセルに深さ指標値を追加する。深さマップは、左画像のために特に設けられている。深さ指標値は、左画像中の少なくとも１つのピクセルに関連付けられており、一方、この深さ指標値を右画像中の任意のピクセルに関連づけることはできない。深さマップは、左画像より低い解像度を持つことができる。その場合、隣接するピクセルは、ピクセルの集合体に適用される同じ深さ指標値を共有する。

深さ指標値は数多くの異なる形式で提供されることができることが留意されるべきである。例えば、深さ指標値は、典型的なスクリーン幅、典型的な観察距離及び典型的な目距離に関して定められる視差値の形であることができる。そのような視差値は、距離値に変換されることができる。

記録プロセッサRPRは、左画像のための背景画像をさらに生成することができる。背景画像は、前景位置を持つ他の物体によって左画像中で遮蔽される物体又はその部分を表す。つまり、背景画像は、前景位置を持つ左画像中の物体の後にあるものに関する情報を提供する。この情報は、深さマップに基づいて左画像の三次元表現を生成する際に有効に用いられることができる。図1を参照すると、住宅は背景位置を持ち、一方人は、前景位置を持ち、したがって左画像において住宅の一部を遮蔽する可能性がある。背景画像は、したがって、少なくとも部分的に、左画像において人によって遮蔽される住宅の部分を有する可能性がある。背景画像は、特にそれ専用の深さマップをさらに有することができることが留意されるべきである。言い換えると、背景画像は、深さ情報と同様にテクスチャ情報を有することができ、それは遮蔽された物体の三次元表現を提供する。記録プロセッサRPRは、例えば、右画像中に含まれる情報に基づいて、左画像のための背景画像を生成することができる。

記録プロセッサRPRは、特に左画像専用のαマップをさらに生成することができる。αマップは、左画像、深さマップ及び背景画像から生成されるシフトされた視点の画像における漸進的な遷移を提供するために、有利には用いられることができる。これは、知覚される画質に寄与する。αマップは、１セットのグロス重み係数とみなされることができ、それは、シフトされた視点の画像の特定の部分に対する、左画像からの寄与の程度及び背景画像からの寄与の程度を決定することができる。そのようなαマップは、それぞれの画像部分の異なる混合パラメータを定めることができ、滑らかな遷移を可能にする。

記録プロセッサRPRは、右カメラRCAM及び左カメラLCAMが提供する基本的な三次元ビデオに要素を追加することによって、多用途三次元映像信号VSを生成する。これらの要素は、深さマップ、並びにオプションとして、背景画像及びαマップを含み、それらは、上に記載されたように生成されることができる。記憶媒体STMは、多用途三次元映像信号VSを記憶する。多用途三次元映像信号VSは更なる処理を受けることができ、それは様々なディスプレイ上での満足な三次元レンダリングに寄与する。これは、以下でより詳細に説明される。

図2は、多用途三次元ビデオ信号VSを示す。多用途三次元ビデオ信号VSは、多用途三次元画像のシーケンス..., VP_n-1, VP_n, VP_n1, VP_n-2, ...を含む。多用途三次元画像は、所与の瞬間における図1に示されるシーンSCNの三次元表現を構成する。図2は、任意の多用途三次元画像VP_nの詳細を示す。多用途三次元画像VP_nは、一緒に基本的な三次元画像を構成する右画像RP及び左画像LPを含む。右画像RPは、人である観察者の右目を対象とするシーンSCNの包括的な表現を提供し、一方、左画像LPは、人である観察者の左目を対象とするシーンの包括的な表現を提供する。

多用途三次元画像はさらに、深さマップDMを含み、好ましくは、背景画像BG及び(図2に示されていない)αマップを含む。上で説明されたように、深さマップDMは特に左画像LP専用である。深さマップDMは、グレイスケール画像とみなされることができ、グレイスケール値は、左画像中の特定のピクセル又はピクセルの特定の集合体に関する深さ指標値と一致する。比較的小さい深さ指標値は、比較的近くの物体を示す明るいトーンに対応することができ、一方、比較的大きな深さ指標値は、比較的遠い物体を示す暗いトーンに対応することができ、逆もまた同じである。背景画像BGも、好ましくは、特に左画像LP専用である。要するに、部分的に又は完全に遮蔽される物体が背景画像BG中に表されるという意味において、背景画像BGは左画像LPの拡張を構成する。αマップが存在する場合、特に左画像LP専用である。

多用途三次元ビデオ信号VSは、したがって、上述の基本的な三次元ビデオに対応する基本的な三次元画像のシーケンスを含む。加えて、多用途三次元ビデオ信号VSは、深さマップの付随的なシーケンス、並びに好ましくは、背景画像の付随的なシーケンス及びαマップの付随的なシーケンスを含む。上で説明されたように、これらの追加の要素は、基本的な三次元ビデオに含まれる左画像に特に専用である。

多用途三次元ビデオ信号VSに含まれる基本的な三次元ビデオは、立体視ディスプレイ装置に表示されることができ、左画像及び右画像は、それぞれ、観察者の左目及び右目に適用される。立体視ディスプレイは所与のスクリーン・サイズを持ち、観察者は、立体視ディスプレイ装置から所与の距離の場所にいる。これは、所与のレンダリング環境を定める。

実際のレンダリング環境は、基本的な三次元ビデオが対象とする典型的なレンダリング環境と同様でありえる。その場合、シーンSCNの満足な三次元表現が達成される。例えば、上に述べられたように、基本的な三次元ビデオは、12メートルの典型的なスクリーン・サイズ及び18メートルの典型的な観察距離を有するシネマにおける表示を対象とすると仮定する。基本的な三次元ビデオがそのようなシネマにおいてレンダリングされる場合には、満足な三次元シーンの表現が達成される。

しかしながら、実際のレンダリング環境が基本的な三次元ビデオが対象とする典型的なレンダリング環境と異なる場合には、これは、満足度の低いシーンSCNの三次元表現に結びつく場合がある。例えばこれは、基本的な三次元ビデオが上に記載されるようなシネマにおける表示を対象とするが、基本的な三次元ビデオが1メートルのスクリーン・サイズ及び2 1/2メートルの典型的な観察距離を有するホーム・ビデオ・セットにレンダリングされる場合である。これは、観察者がシネマにおけるよりも少ない程度の深さを経験するという意味において、低下した深さ効果に終わる場合がある。さらにこれは、シネマではスクリーンのずっと後ろにあるように見える物体が、ホーム・セットのスクリーンのほぼ前にあるように見えるという意味において、観察者に向けての深さシフトに結びつく場合もある。簡単に言うと、シネマを対象とする三次元ビデオが家庭で観察される場合、三次元ビデオは、シネマとは非常に異なるように見える。

レンダリング環境がレンダリング環境と異なる場合に、補正のいくつかの形式を提供することが可能である。新たな画像対は、補間又は外挿によって、取り込まれた画像対に基づいて生成されることができる。しかしながら、そのような補正は、比較的複雑であり、したがって高価であって、複雑なハードウェア若しくはソフトウェア又はその両方を必要とする。さらには、そのような補正は、どちらが適用されても、補間誤差又は外挿誤差によって引き起こされる認識可能なアーチファクトを導入する場合がある。

図2に示される多用途三次元ビデオ信号VSは、多様なレンダリング環境において、満足な三次元表現を可能にする。前述の例に関して、シネマを対象とする三次元ビデオは、家庭において同様に見えることができる。これは、取り込まれた画像対中の一方の画像(この場合には左画像LP)に特に専用である深さマップDMの追加のおかげで達成される。

深さマップDMは、比較的単純かつ正確な仕方で左画像LPに基づいて新たな画像を生成することを可能にする。この新たな画像は、左画像LPのそれと僅かに異なる視点からシーンSCNを表す。視点は、左画像LPのそれの幾分右又は幾分左にシフトされることができる。新たな画像は、したがって、以下において、シフトされた視点の画像と呼ばれる。原則として、シフトされた視点の画像は、右画像RPのそれと同じ視点からシーンSCNを表すことができる。この特定の場合において、シフトされた視点の画像は、理想的には右画像RPに整合するべきである。

図3及び4は、図2に示される多用途三次元ビデオ信号VSによって可能である２つの異なるステレオ・モードを示す。これらのステレオ・モードは、それぞれ、ステレオ・モードA及びステレオ・モードBと呼ばれる。各々のステレオ・モードにおいて、一対のレンダリングされた画像が、多用途三次元画像に基づいてディスプレイ装置上の表示のために提供される。レンダリングされた画像の対は、レンダリングされた左画像LR及びレンダリングされた右画像RRを含み、それらは、観察者の左目及び右目にそれぞれ適用される。図3及び4は、各々、スクリーン視差を表す水平軸を含む。スクリーン視差は、視点の変化に起因する表示上の位置シフトである。結果的に、上で定められたシフトされた視点の画像中の物体は、左画像LP中の同じ物体に対してシフトされることができる。

図3は、ステレオ・モードAを示す。このステレオ・モードにおいて、多用途三次元画像中に含まれる右画像RPは、レンダリングされた右画像RRを構成する。つまり、レンダリングされた右画像RRは、右画像RPの単なるコピーである。上述されたように左画像LP及び深さマップDMに基づいて生成されるシフトされた視点の画像は、レンダリングされた左画像LRを構成する。

図3は、２つの異なるシフトされた視点の画像、左シフトされた視点の画像LP+S及び右シフトされた視点の画像LP-Sを示す。左シフトされた視点の画像LP+Sは、左画像LPのそれに対して左である視点からのシーンSCNを表す。このシフトされた視点の画像は、左画像LPに対して正の視差シフトP₊₂を持つ。右シフトされた視点の画像LP-Sは、左画像LPのそれに対して右である視点からのシーンSCNを表す。このシフトされた視点の画像は、左画像LPに対して負の視差シフトP_-2を持つ。図3はさらに、左画像LPがレンダリングされた左画像LRを構成し、後者は最初のものの単純なコピーである、特定の場合を示す。

左シフトされた視点の画像LP+Sがレンダリングされた左画像LRを構成する場合には、観察者は、左画像LPがレンダリングされた左画像LRを構成する場合より大きい深さ効果を経験する。ステレオ強度が増加する。逆に、右シフトされた視点の画像LP-Sがレンダリングされた左画像LRを構成する場合には、観察者は、左画像LPがレンダリングされた左画像LRを構成する時より小さい深さ効果を経験する。ステレオ強度が減少する。大胆に言うと、左シフトはステレオ強度を増加し、一方、右シフトはステレオ強度を減少させる。

ステレオ強度は、視差に関して評価されることができる。例えば、標準的なステレオ強度は、図3に示される視差P₈と一致することができ、それは、左画像LPがレンダリングされた左画像LRを構成するときに達成される。最大ステレオ強度は、図3に示される視差P₁₀と一致することができ、それは、左シフトされた視点の画像LP+Sがレンダリングされた左画像LRを構成するときに達成される。視差P₁₀は、正の視差シフトP₊₂が適用された視差P₈と一致する。適度なステレオ強度は、図3に示される視差P₆と一致することができ、それは、右シフトされた視点の画像LP-Sがレンダリングされた右画像RRを構成するときに達成される。視差P₆は、負の視差シフトP_-2が適用された視差P₈と一致する。

図4は、ステレオ・モードBを示す。このステレオ・モードにおいて、多用途三次元画像中に含まれる左画像LPは、レンダリングされた左画像LRを構成する。つまり、レンダリングされた左画像LRは、左画像LPの単なるコピーである。上に述べられたように左画像LP及び深さマップDMに基づいて生成される右シフトされた視点の画像LP-Sは、レンダリングされた右画像RRを構成する。右シフトされた視点の画像LP-Sは、左画像LPに対して負の視差シフトP_-4を持つ。ステレオ強度は、この負の平行なシフトによって完全に決定される。右画像RPは、ステレオ・モードBではいかなる特定の役割をも行う必要はない。つまり、右画像RPは、ステレオ・モードBでは事実上無視されることができる。

ステレオ・モードAは、最大ステレオ強度と中程度のステレオ強度との間に含まれるステレオ強度範囲において、好ましくは用いられる。標準的なステレオ強度は、この範囲に含まれる。ステレオ・モードBは、中程度のステレオ強度と最小のステレオ強度との間に含まれるステレオ強度範囲において、好ましくは用いられる。つまり、ステレオ・モードBは、比較的小さい深さ効果が望ましい場合に用いられることができる。最小のステレオ強度は、深さ効果が存在しないこと、すなわち純粋な二次元表現に対応してもよい。この極端な場合には、視差は0に等しく、レンダリングされた左画像LRとレンダリングされた右画像RRとは同一である。

したがって、望ましいステレオ強度は、シフトされた視点の画像を生成して、ステレオ・モードAか又はBがそれぞれ適用されるかどうかに応じて、シフトされた視点の画像を右画像RP又は左画像LPと組み合わせることによって、達成されることができる。シフトされた視点の画像は、事前に決められた一般的な規則によって、左画像LP及びそれに関連づけられた深さマップDMに基づいて生成されることができる。この事前に決められた一般的な規則は、幾何学的関係に基づくことができ、全ての異なる視点に対して適用されることができる。そのようなアプローチにおいて、左画像LP中のピクセルは、いわば、もっぱら３つの係数、望ましいステレオ強度、上で説明されたように深さマップDMがピクセルに提供する深さ指標値、及び事前に決められた一般的な式によって決定される量によってシフトされる。このようにシフトされたピクセルは、シフトされた視点の画像のピクセルを構成する。

しかしながら、より良好なレンダリング結果は、シフトされた視点の画像が、１つ以上のレンダリング・パラメータ（例えばスクリーン・サイズ）を考慮する、状況に依存した仕方で生成される場合に達成されることができる。さらに、作成者又は他の人が、所与の三次元ビデオが所与のレンダリング状況においてどのように見えるべきかを定めることを望む場合がある。すなわち、作成者が好ましい三次元レンダリングを表現することができ、それは物理的物体の幾何学的関係に基づく三次元レンダリングと必ずしも一致する必要があるというわけではない。三次元レンダリングは、芸術的なプリファランスを必要とする場合がある。

図5は、先行する段落において述べられたポイントに対処する、補充された多用途三次元ビデオ信号SVSを示す。補充された多用途三次元ビデオ信号SVSは、多用途三次元ピクチャのシーケンス..., VP_n-1, VP_n, VP_n1, VP_n-2,...に伴うレンダリング・ガイダンス・データGDを含む。したがって、補充された多用途三次元ビデオ信号SVSは、図2に示された多用途三次元ビデオ信号VSにレンダリング・ガイダンス・データGDを追加することによって得られる。

レンダリング・ガイダンス・データGDは、左画像及び特にこの左画像専用の深さマップに基づくシフトされた視点の画像の生成に関するパラメータを含む。レンダリング・ガイダンス・データGDは、例えば、シフトされた視点の画像を生成するデフォルトの方法を定める事前に決められた一般的な規則からの１つ以上の偏差を指定することができる。例えば、デフォルトの方法からの異なる偏差が、異なるステレオ強度のために指定されることができる。同様に、異なる偏差が、異なるスクリーン・サイズのために指定されることができる。さらに、偏差は、関連する三次元ビデオ全体に必ずしも適用される必要があるというわけではない。それぞれの偏差は、関連する三次元ビデオ中のそれぞれのシーンに対して、さらには、それぞれの三次元ピクチャに対して指定されることができる。したがって、レンダリング・ガイダンス・データGDは好ましくはさまざまなセグメントへとまとめられ、それによって、セグメントは、シーンSCNを構成することができる三次元ピクチャの特定のサブシーケンスに関連する。セグメントは、特定の三次元画像に関することもできる。

図6は、レンダリング・ガイダンス・データGDの一部を形成することができるパラメータ・セットの例を示す。パラメータ・セットは、３つのカラムを含むテーブルの形で表され、各カラムは、整数値（すなわち、10, 6及び5。10が最大ステレオ強度を表す）として表現される特定のステレオ強度に関する。各々のカラムは、ステレオ強度及びそのステレオ強度のために用いられるステレオ方法を示す影付きの中身を有する見出しを持つ。

テーブルは、図3に示されるステレオ・モードAが、10と6との間に含まれるステレオ強度のために用いられるべきであることを示す。テーブルはさらに、図3に示されるステレオ・モードBが、5と0との間に含まれるステレオ強度のために用いられるべきであることを示す。テーブルはさらに、それぞれの深さ指標値を表すそれぞれのラインを含む。それぞれの深さ指標値は、影付きの中身を持つテーブルの最も左のカラム中に記載される。

テーブルは、３つの前述のステレオ強度10、6及び5の各々に対して、それぞれの深さ指標値DVのためのそれぞれの最大視差シフトPmaxを指定する。ピクセル単位で表現されることができるそれぞれの最大視差シフトPmaxは、関係するカラムの白い領域中に記載される。最大視差シフトは、シフトされた視点の画像中のピクセルと、そのシフトされた視点の画像がそれから生成された左画像中の対応するピクセルとの間の最大変位を定める。図6に示されるテーブルは、したがって、シフトされた視点の画像の生成器における制限モジュールとして機能的にみなされることができる。

テーブルにおいて指定された最大視差シフトPmaxは、不自然に知覚される可能性がある効果若しくは眼精疲労を引き起こす可能性がある効果又はその両方を防止することができる。上で説明されたように、シフトされた視点の画像を生成することは、関係する左画像のピクセルをシフトすることを必要とする。シフトの量は、一般的に深さ指標値及びステレオ強度によって決まる。比較的大きいシフトは、不自然な効果を引き起こす可能性があり、あるいは、眼精疲労又は他の悪影響を引き起こす可能性がある。図6に示されるテーブルにおいて指定される最大視差シフトPmaxは、シフトの量が許容できる限界内に留まることを保証することによって、そのような悪影響を防止することを可能にする。

10と6との間及び5と0との間のステレオ強度のための適切な最大視差シフトPmaxは、例えば補間によって得られる。その目的のためには、テーブルが、ステレオ・モードAにおける２つの異なるステレオ強度（例えば図6の10及び6）及びステレオ・モードBにおけ１つのステレオ強度（例えば5）に対するそれぞれの最大視差シフトPmaxを指定すれば十分である。ステレオ強度０に対する全ての最大視差シフトPmaxは一般的に０に等しいと考えられるので、ステレオ・モードBでは２つの異なるステレオ強度のための最大視差シフトPmaxを指定する必要はない。ステレオ強度0は、モノラル・レンダリング（つまり、如何なる深さ効果も伴わない純粋な二次元表現）と一致する。

図7は、レンダリング・ガイダンス・データGDの一部を形成することができるパラメータ・セットの他の例を示す。このパラメータ・セットは、いくつかのカラムを含むテーブルの形で表され、各カラムは、整数値（すなわち、10, 8, 6, 5, 3及び1）として表現される特定のステレオ強度STSに関する。各々のカラムは、ステレオ強度STSを示す影付きの中身を有する見出しを持つ。テーブルはさらに、影付きの中身を持つテーブルの最も左のカラム中に示されるさまざまな異なるスクリーン・サイズSZ、30, 40及び50インチを表すさまざまなラインを含む。

テーブルは、前述のステレオ強度10, 8, 6, 5, 3及び1の各々に対して、さまざまな異なるスクリーン・サイズのためのそれぞれの視差オフセットPoffを指定する。ピクセル単位で表現されることができるそれぞれの視差オフセットPoffは、関係するカラムの白い領域中に記載される。視差オフセットは、シフトされた視点の画像がそれから生成される左画像中のそれぞれの対応するピクセルに対するシフトされた視点の画像中のそれぞれのピクセルの追加の変位を定める。つまり、視差オフセットは、シフトされた視点の画像を生成するための一般的な事前に決められた規則を適用することによって所与のピクセルに対して得られる特定のシフトに追加されるべき全体的なシフトを定める。図7に示されるテーブルは、シフトされた視点の画像の生成器における出力オフセット・モジュールであると機能的にみなされることができる。

視差オフセットは、関連する三次元ビデオが対象としたスクリーンより小さいサイズを持つスクリーンに関連する三次元ビデオがレンダリングされるときに発生する可能性がある観察者方向の深さシフトを補正することができる。例えば、上述のように、シネマではスクリーンのはるか後方に見える物体が、ホーム・セットのスクリーンのすぐ前にあるように見える場合がある。図7に示されるテーブルにおいて指定される視差オフセットPoffは、適切な補正を提供する。図7に示されるテーブル中のそれらと異なるスクリーン・サイズ及びステレオ強度に対する適切な視差オフセットは、例えば補間によって得られる。

図8は、レンダリング・ガイダンス・データGDの一部を形成することができるパラメータ・セットのさらに他の例を示す。このパラメータ・セットは、各々がカラム・タイトルを示す影付きの中身を有する見出しを持つ３つのカラムを含むテーブルの形で表される。STSと題されるカラムは、それぞれのステレオ強度を指定する。Poffと題される他のカラムは、それぞれの視差オフセットPoffを指定する。テーブルはさらに、表題をつけられたテーブルの最も左のカラム中に示されるさまざまな異なるスクリーン・サイズSZ、30, 40及び50インチを表すさまざまなラインを含む。

テーブルは、さまざまな異なるスクリーン・サイズのためのステレオ強度STS及び視差オフセットPoffの好ましい組み合わせOPTを指定する。ステレオ強度STSは、図6及び7に示されるテーブルのように、整数値によって示される。視差オフセットPoffは、ピクセル単位で、又は他の単位で表現されることができる。各々の好ましい組み合わせは、関連する三次元ビデオが対象とする典型的なスクリーン・サイズと異なる場合がある関係するスクリーン・サイズに対する満足なレンダリングを提供する。作成者は、満足なレンダリングを定めることができる。すなわち、作成者は、図8に示されるテーブルによって、関連するスクリーン・サイズをもつディスプレイ上にレンダリングされたときに関連する三次元ビデオがどのように見えるべきかを表現することができる。図8に示されるテーブル中のそれらと異なるスクリーン・サイズのための好ましい組み合わせは、例えば補間によって得られる。

レンダリング・ガイダンス・データGDは、明示的に又は暗黙に、深さマップ精度及び深さマップ解像度の指標をさらに有することができる。比較的不正確である深さマップDMは、好ましくは、シフトされた視点の画像を生成するときに、比較的正確である深さマップとは異なって適用される。例えば、シフトされた視点の画像が比較的不正確な深さマップに基づいて生成される場合、歪みが導入される確率が比較的大きい。そのような場合、ピクセルは、いかなる歪みも比較的弱いことを保証するために、比較的小さい量だけシフトされるべきである。結果的に、深さマップ精度及び深さマップ解像度の指標は、三次元レンダリング・プロセスにおいて有効に用いられることができる。そのような指標は、言わば、最大視差シフトPmaxを指定する図7に示されるテーブルのようなテーブル中に埋め込まれていることもできる。

例えば、深さ指標値が、二次元画像中に存在する情報のみに基づいて推定される場合、深さマップは比較的不正確である場合がある。機械若しくは人又はそれらの両方の組み合わせが、例えば、関係する画像中の物体に関する、特にそれらのそれぞれの典型的なサイズに関する先験的知識に基づいて、そのような推定された深さマップを生成することができる。典型的には比較的サイズが大きいが、画像中では比較的小さく見える物体は、おそらく遠くにある。そのような見積りの技術によって画像に深さを追加することは、白黒の画像に色を追加することと比較されることができる。深さ指標値が得られた値に十分に近いかどうか分からず、正確な深さマップ生成技術は、例えば、距離測定又は立体視画像対の分析に基づいて用いられている。

図9は、レンダリング・ガイダンス・データGDを生成することができる三次元ビデオ補充システムXSYを示す。三次元ビデオ補充システムXSYは、補充された多用途三次元ビデオ信号SVSを得るように、レンダリング・ガイダンス・データGDを多用途三次元ビデオ信号VSに、さらに加えることができる。三次元ビデオ補充システムXSYは、レンダリング・ガイダンス・プロセッサRGP、ディスプレイ装置DPL及びオペレータインタフェースOIFを含む。三次元ビデオ補充システムXSYはさらに、図1に示されるような、多用途三次元ビデオ信号VSが記憶される記憶媒体STMを含む。

レンダリング・ガイダンス・プロセッサRGPは、例えば、命令実行装置及びプログラムメモリを有することができる。ディスプレイ装置DPLは、好ましくは、ディスプレイ装置DPLが例えばスクリーン・サイズに関して異なる場合があるさまざまな種類の表示装置をエミュレートすることができるという意味において、多用途である。別の態様では、さまざまな異なる種類の表示装置が、図5に示される三次元ビデオ補充システムXSYとの関連において用いられることができる。オペレータインタフェースOIFは、例えば、キーボード、タッチパネル、マウス若しくはトラックボール、さまざまなノブ、又はそれらの任意の組み合わせを有することができる。

図10は、レンダリング・ガイダンス・プロセッサRGPがレンダリング・ガイダンス・データGDを生成するために実行することができる一連のステップS1-S7の例を示す。図10は、参照ガイダンス・プロセッサが図10を参照して以下に記載されるさまざまな動作を実行することを可能にする前述のプログラムメモリに読み込まれることができる一セットの命令のフローチャート表現とみなされることができる。

ステップS1において、レンダリング・ガイダンス・プロセッサRGPは、システム・オペレータに多用途三次元ビデオ信号VSの特定の部分を選択するようプロンプトを出し(SEL_VS)、必要とされる場合、システム・オペレータは、多用途三次元ビデオ信号VSを全体として選択することができる。選択される特定の部分は、特定のシーン（例えば図1に示されるシーンSCN）と一致することができる。先に説明されたように、１つのシーンに対して最適であると考えられることができる三次元レンダリングは、他のシーンにとって最適でない場合がある。したがって、シーンごとに三次元レンダリングを評価して調整することが有利である場合がある。

ステップS2において、レンダリング・ガイダンス・プロセッサRGPはさらに、システム・オペレータに深さマップ精度及び深さマップ解像度を示すデータを特定することを促すことができる(DM_PRC=?)。別の態様では、レンダリング・ガイダンス・プロセッサRGPは、深さマップ精度及び深さマップ解像度を自動的に検出するための検出モジュールを有することもできる。先に説明されたように、深さマップ精度及び深さマップ解像度の指標は三次元レンダリング・プロセスにおいて有効に用いられることができる。そのような指標は、レンダリング・ガイダンス・データGDを生成するために考慮されることもできる。例えば、深さマップ精度が比較的低い場合、深さマップ解像度が比較的小さい場合、又はその両方の場合には、図6に示されている最大視差シフトPmaxは、より小さい値に設定されることができる。

ステップS3において、レンダリング・ガイダンス・プロセッサRGPは、システム・オペレータにレンダリング状況を特定することを促す(RND_CXT = ?)。レンダリング状況は、例えば、他のレンダリングに関連したパラメータと同様に、スクリーン・サイズ、典型的な観察者距離に関して表現されることができる。スクリーン・サイズは、図10に示されるディスプレイ装置DPLのそれと一致することができ、又は、ディスプレイ装置DPLが先に述べられたようにエミュレートすることができる他のスクリーン・サイズと一致することができる。

ステップS4において、レンダリング・ガイダンス・プロセッサRGPは、システム・オペレータに、ステレオ強度及びオプションとしてステレオ・モードを特定することを促す(STS = ?)。ステレオ強度は、0と10との間の範囲の整数値の形であることができる。整数値0は、いかなる深さ効果も存在しないことを意味する純粋な二次元表現と一致することができる。整数値10は、深さ印象の最大の程度を提供する最大ステレオ強度と一致することができる。例えば、整数値8は、深さ印象のデフォルトの程度を提供する標準的なステレオ強度と一致することができ、シーンの忠実な三次元再生に関連付けられる。システム・オペレータは、先に記載されたステレオ・モードA及びBのどちらかを選択をすることができる。ステレオ・モードは、ステレオ強度の関数として事前に決められていることができる。その場合、レンダリング・ガイダンス・プロセッサRGPは、システム・オペレータにステレオ強度だけを指定することを促す。

ステップS5において、レンダリング・ガイダンス・プロセッサRGPは、潜在的にレンダリング・ガイダンス・データGDの一部を形成することができるパラメータの１つ以上のセットを指定することをシステム・オペレータに促す(SEL_PAR)。１セットのパラメータは、メニューから選択されることができ、又はカスタムで指定されることができる。パラメータの特定のセットは、多用途三次元ビデオ信号VS中に存在する左画像及びこの左画像専用の深さマップに基づくシフトされた視点の画像の生成に関連する。パラメータは、一般的に、図6, 7及び8に示されるような関連した視差であり、深さ印象を修正することができる。関係するシーン中の特定の物体は、パラメータのセットが多用途三次元ビデオ信号VSのレンダリングにおいて考慮する場合、より近くに、又はさらに離れて見える場合がある。

ステップS6において、レンダリング・ガイダンス・プロセッサRGPは、システム・オペレータが定めたレンダリング状況及びステレオ強度に従って、システム・オペレータが選択した多用途三次元ビデオの一部をディスプレイ装置DPLに表示させる(DPL_VS_SEL)。つまり、関係する部分の各々の多用途三次元画像に対して、レンダリング・ガイダンス・プロセッサRGPは、それぞれステレオ・モードがA又はBであるかどうかに応じて、図3又は4に示されるように、レンダリングされた左画像LR及びレンダリングされた右画像RRを生成する。この際、レンダリング・プロセッサは、システム・オペレータが指定したパラメータのセットを考慮する。これは、多用途三次元ビデオで関係する部分の特定のレンダリングを構成する。このように、システム・オペレータは、この特定のレンダリングが満足か否かを評価することができる。

ステップS7において、レンダリング・プロセッサは、どのレンダリングが実行されたかに従うパラメータのセットがレンダリング・ガイダンス・データGD中に含まれるべきかどうかを決定する(PAR：GD?)。レンダリング・ガイダンス・プロセッサRGPは、数多くの異なる態様においてそうすることができる。例えば、基本的なアプローチでは、レンダリング・ガイダンス・プロセッサRGPは、システム・オペレータに、レンダリングが満足だったかどうかを示すことを促すことができる。レンダリングが満足だったことをシステム・オペレータが示す場合には、レンダリング・プロセッサは、レンダリング・ガイダンス・データGD中に関連するパラメータのセットを含めることができる。加えて、レンダリング・プロセッサは、他のレンダリング状況のための適切なパラメータ・セットを決定するために、ステップS3及びそれ以降のステップをその後実行することができる。

より高度なアプローチでは、レンダリング・ガイダンス・プロセッサRGPは、関連する特定のレンダリングに対する満足の程度を指定することをシステム・オペレータに要求することができる。満足の程度は、スコアの形式であることができる。このアプローチでは、レンダリング・ガイダンス・プロセッサRGPは、それぞれの回で異なるパラメータのセットについて何回かステップS5-S7を実行することができる。したがって、それぞれのスコアは、それぞれ異なるパラメータのセットに対して得られる。関連するパラメータの全てのセットがスコアを与えられた場合には、レンダリング・ガイダンス・プロセッサRGPは、パラメータの１つのセット又はパラメータの複数のセット（いずれが適用されても、最高のスコアを持つセット）を選択することができる。これらの選択されたパラメータのセットは、レンダリング・ガイダンス・データGD中に含まれることができる。レンダリング・プロセッサは、他のレンダリング状況のための適切なパラメータ・セットを決定するために、ステップS3及びそれ以降のステップをその後実行することができる。

したがって、レンダリング・ガイダンス・プロセッサRGPは、図10に示される一連のステップS1-S7を実行することによって、図6, 7及び8に示されるパラメータのセットのいずれか又はそれらの任意の組み合わせを決定することができる。レンダリング・ガイダンス・プロセッサRGPは、システム・オペレータから特定のタスク又は決定を引き継ぐことができる。すなわち、単に一例として与えられた上述の図10を参照した記載よりも高度な自動化が存在する場合がある。さらに、システム・オペレータによって引き受けられる１つ以上の決定は、その代わりに、典型的な観察者を代表する委員会によって引き受けられることができる。そのような場合、例えば、レンダリング・ガイダンス・プロセッサRGPは、委員会メンバーの過半数が関連するレンダリングに満足するかどうかを決定する多数決モジュールを備えているか、又は、委員会メンバーによって与えられる平均を決定する平均スコア・モジュールを備えていることができる。

一旦、図5に示される補充された多用途三次元ビデオ信号SVSが先に記載されたように又は別の方法で得られると、補充された多用途三次元ビデオ信号SVSは、エンドユーザへと、配給及び販売され、又はライセンスされることができる。そうする数多くの異なる態様が存在する。例えば、補充された多用途三次元ビデオ信号SVSは、無線若しくは有線であることができるネットワーク又はそれらの組み合わせによって放送されることができる。他の例として、補充された多用途三次元ビデオ信号SVSは、サーバにアップロードされることができ、そのサーバから、エンドユーザは補充された多用途三次元ビデオ信号SVSをダウンロードすることができる。さらに他の例として、補充された多用途三次元ビデオ信号SVSが記録された多数の記憶媒体が、生産されることができる。前述の例のいずれかにおいて、補充された多用途三次元ビデオ信号SVSは、データ圧縮及びエラー・レジリエンスのために、好ましくは符号化される。

図11は、エンドユーザの自宅に設置されることができるビデオ・レンダリング・システムRSYを示す。ビデオ・レンダリング・システムRSYは、観察者が眼鏡を着用することを必要とする場合がある立体視タイプのディスプレイ装置DPLを含む。左目レンズは、レンダリングされた左画像LR又はそのシーケンスを左目へと通す。右目レンズは、レンダリングされた右画像RR又はそのシーケンスを右目へと通す。そのためには、ディスプレイ装置DPLは、レンダリングされた左画像及びレンダリングされた右画像を交互に表示することができる。左目レンズは、レンダリングされた左画像LRが表示されるときに透明にされ、そうでないときには不透明である。同様に、右目レンズは、レンダリングされた右画像RRが表示されるときに透明にされ、そうでないときには不透明である。他の例として、ディスプレイ装置DPLは、所与の偏光を有するレンダリングされた左画像及び反対の偏光を有するレンダリングされた右画像を表示することができる。その場合、左目レンズ及び右目レンズは、対応する反対の偏光を持つことができる。

ビデオ・レンダリング・システムRSYは、さらに、さまざまな機能的エンティティ、記憶媒体プレーヤーPLY、復号器DEC、逆多重化装置DMX、シフトされた視点の画像生成器SHG、セレクタSEL、コントローラCTRL及びユーザインタフェースUIFを含む。全ての前述の機能的エンティティは、例えば、ホーム・シネマ装置の一部を形成することができる。復号器DEC、逆多重化装置DMX、シフトされた視点の画像生成器SHG及びセレクタSELは、命令実行装置及びプログラムメモリによって実装されることができる。そのような実施態様において、プログラムメモリにロードされる１セットの命令は、１つ以上の機能的エンティティに対応する動作を命令実行装置に実行させることができ、以下でより詳細に説明される。コントローラCTRL及びユーザインタフェースUIFも、少なくとも部分的に、このように実装されることができ、さらに、同じ命令実行装置を前述の機能的エンティティと共有することができる。

ビデオ・レンダリング・システムRSYは、基本的に以下のように動作する。記憶媒体プレーヤーPLYが図5に示される補充された多用途三次元ビデオ信号SVSの符号化されたバージョンCVを含む記憶媒体を読むと仮定する。復号器DECは、この符号化されたバージョンCVを受け取り、応答して、補充された多用途三次元ビデオ信号SVSを提供する。逆多重化装置DMXは、効果的に、この信号中に含まれるさまざまな成分を抽出及び分離する。レンダリング・ガイダンス・データGDは、コントローラCTRLが受け取るそのような成分の１つである。シフトされた視点の画像生成器SHGは、多用途三次元画像中に含まれるさまざまな他の成分、左画像LP、深さマップDM及び背景画像BGを受け取る。シフトされた視点の画像生成器SHGはさらに、多用途三次元画像中に含まれる場合があるαマップを受け取ることができる。右画像RPは、セレクタSELに直接適用される。

コントローラCTRLは、レンダリング・ガイダンス・データGD及びビデオ・レンダリング・システムRSY中に予め格納されていることができるレンダリング状況・データに基づいて、１セットのシフトされた視点生成パラメータGP及びセレクタ制御信号SCを決定する。レンダリング状況・データは、例えば、ディスプレイ装置DPLのスクリーン・サイズ及び典型的な観察距離に関して、レンダリング状況を定める。コントローラCTRLは、シフトされたビュー生成パラメータのセットを決定するために、もしあれば、望ましいステレオ強度STDをさらに考慮することができる。観察者がユーザインタフェースUIFによって望ましいステレオ強度STDを定めることができる。観察者が望ましいステレオ強度STDを定めない場合には、コントローラCTRLは、デフォルトのステレオ強度に基づいて動作することができる。シフトされた視点生成パラメータGPのセットは、例えば、図10に示されるビデオ・レンダリング・システムRSYに当てはまるレンダリング状況を考慮している図6, 7及び8に示されるテーブルのいずれかに基づいて確立されるパラメータを有することができる。

シフトされた視点画像生成器SHGは、シフトされた視点生成パラメータGPのセットに従って、左画像LP、深さマップDM及び背景画像BGに基づいて、シフトされた視点画像LP+/-Sを生成する。シフトされた視点の画像生成器SHGは、左画像LP専用のαマップが利用可能な場合には、そのようなマップを有利に利用することができる。シフトされた視点の画像生成器SHGは、それぞれ図3及び4に示されるステレオ・モードA又はステレオ・モードBで動作する。シフトされた視点生成パラメータGPは、図3及び4に示されるように、右又は左であることができるシフトの程度を定める。

セレクタ制御信号SCは、適用されるステレオ・モードを表す。ステレオ・モードAが適用される場合、セレクタ制御信号SCは、レンダリングされた左画像LRを構成するようにシフトされた視点の画像LP+/-SをセレクタSELに選択させる。セレクタSELは、その場合、レンダリングされた右画像RRを構成するように右画像RPを選択する。逆に、ステレオ・モードBが適用される場合、セレクタ制御信号SCは、レンダリングされた右画像RRを構成するようにシフトされた視点の画像LP+/-SをセレクタSELに選択させる。セレクタSELは、その場合、レンダリングされた左画像LRを構成するように左画像LPを選択する。いずれの場合にも、ディスプレイ装置DPLは、レンダリングされた左画像LR及びレンダリングされた右画像RRに基づいて三次元レンダリングを提供する。

図12は、他のビデオ・レンダリング・システムARSY又はその一部を示す。この他のビデオ・レンダリング・システムARSYは、観察者が眼鏡を着用することを必要としない自動立体視タイプのディスプレイ装置ADPLを含む。そのようなディスプレイ装置は一般的に１セットの異なるビューMVSを表示し、各々のビューは、言わば、特定の方向に放射される。したがって、ディスプレイ装置ADPLは左目及び右目に異なるビューを投射して、観察者に深さ効果を経験させる。

この他のビデオ・レンダリング・システムARSYは、図11に示されるシフトされた視点画像生成器SHGと同じ成分、左画像LP、深さマップDM及び背景画像BGを受け取るマルチビュー生成器MVGを含む。これらの成分は、同様に図11に示される記憶媒体プレーヤーPLY、復号器DEC及び逆多重化装置DMXと同様の機能的エンティティによって提供されることができる。マルチビュー生成器MVGは、左画像LPに特に専用であるαマップをさらに受け取ることができる。

マルチビュー生成器MVGは、自動立体視タイプのディスプレイ装置DPLに表示される異なるビューのセットMVSを生成する。要するに、マルチビュー生成器MVGは、それぞれが図11に示されるシフトされた視点画像生成器SHGと同様である複数のシフトされた視点画像生成器を含むとみなされることができる。これらのそれぞれの視点の画像生成器は、異なるそれぞれの視点からシーンを表すそれぞれのシフトされた視点の画像を生成する。つまり、図3及び4と同様の図において、各々のそれぞれのシフトされた視点の画像は、水平軸上の特定位置を持つ。マルチビュー生成器MVGは、左画像LPに関連付けられた右画像RPを利用することを必要としないことが留意されるべきである。つまり、補充された多用途三次元ビデオ信号SVS中に存在する右画像は、三次元レンダリングのために用いられることを必要としない。

上では、ステレオ及びいわゆる画像＋深さフォーマットの利点を組み合わせた三次元フォーマットが説明された。以下の実施の形態は、どのようにしてそのようなステレオ＋深さフォーマットが実際に既存の及び将来の両方のブルーレイ・プレーヤー用に実現されることができるかについて詳しく述べる。基本的なアイデアは、以下で「D」とも呼ばれる深さ成分（及びオプションとして遮蔽データのような更なる情報）の空間的及び時間的サブサンプリングを用い、そして2：2：1のLRDフレームレート比でステレオ及び深さの両方を含む三次元ビデオ信号へとそれをフォーマットすることである。

本発明の特定の有利な実施の形態は、元のステレオ信号の帯域幅要求内に収まるステレオ+深さ信号を生成するために、ビデオ信号のより低い解像度表現を利用することを目的とする。基本的なアイデアは、1920*1080@24Hzのステレオ(LR)+深さ(D)信号を符号化するために、通常の1280*720@60Hzのビデオ・ストリームを利用することである。

2:1をさらに利用することによって、複数の時間インスタンス(例えばD_t=1及びD_t=2)のさまざまな成分（例えば深さ成分又は透明度成分）を含むことができる2：2：1のインターリーブされた追加のフレーム挿入が、実現されることができる。

以前に提案されたLRDフォーマットは、一般に、ブルーレイ・プレーヤーにおいて現在利用可能なものより多くの（復号）リソースを必要とする。さらに、そのようなブルーレイ・プレーヤーは、ステレオ信号及び深さ信号のための追加のインタフェースポートがない。

さらに、現在用いられているチェッカーボード・ステレオ・パターンは、典型的な自動立体視ディスプレイの使用を可能にせず、三次元知覚がスクリーン・サイズに非常に依存するという幾つかの欠点を持つことに留意すべきである。

さらに、チェッカーボード・パターンの性質に起因して、ビットレート要求が比較的高い(1080p, 24Hz, モノスコピック・ビデオのために必要とされるビットレートの少なくとも２倍)。

L'R'D'フレームを有する1280*720p時間インタリーブ・フォーマットを用いることにより、復号リソース及びインタフェース問題の両方を解決することが提案され、ここで、
- L' =空間的にサブサンプリングされた左画像(1920*1080 → 1280*720),
−R' =空間的にサブサンプリングされた右画像(1920*1080 → 1280*720)
−D' = 空間的深さ
である。

一般的に、必須ではないが、D'は、時間的及び空間的深さ、遮蔽テクスチャ、遮蔽深さ及び透明度情報を含む。D'は、係数２によって時間的にサブサンプリングされ、これは、L' + R' + D' = 24 + 24 + 12 Hz = 60Hzを意味する。

一般的に、ブルーレイ・プレーヤーは、MPEGを用いて符号化された720p画像ストリームのようなビデオ信号を復号することができる。さらに、720p画像信号は、HDMI/CEAのような既知のインタフェースでサポートされたビデオ・フォーマットである。L, R及びDの１つの1280*720@60Hz L'R'D'ストリームへの提案された空間的及び時間的サブ・サンプリング及びインタリーブは、全ての既存のBDプレーヤーでの本発明の実施を可能にする。

図13は、Mpixels/secでのインタフェース(IF)スループットと同様に既存のモノスコピックBDプレーヤー復号のための要求を例証する。上記のL'R'D'符号化をサポートするために、既存のプレーヤーに対して特別な変更が行われることは必要ない。なお、図13において、Dフレームは、深さ情報(D)、透明度情報(T)、背景テクスチャ(BG)及び背景深さ(BD)を有する。残る唯一の問題は、同期問題の解決である。

図14に示されるようにストリームが符号化される場合には、同期問題は解決されることができる。ここで、好ましくは、L, R及びDフレームが、L, R, D, L, Rフレームの繰り返しシーケンスとしてインタリーブされることが示される。さらに、図14は、画像を符号化する好ましい仕方を示す。HDMI規格は、いわゆるInfoframeにおいて、インタフェースに存在する画像が元の符号化されたフレームであることを示すオプションを持ち、特に、I, P及びBインジケータが存在する。加えて、インタフェース上の信号が通常のモノスコピック720p信号ではなく、本発明による三次元720p信号であることを示す、モニタ又はディスプレイに対するL'R'D'符号化の通知が必要とされる。これは、HDMI/CEAにおいて規格化されることを必要とする可能性があるが、そのようなインタフェース規格は、そのようなことを示すための十分な余地を提供する。

上記のL'R'D'信号は、通常の720p 60Hzのモノスコピック信号の全ての特性を持つので、ブルーレイ・プレーヤーによって復号されることができ、さらに、そのHDMI出力インタフェースへと出力されることができる。

上で示されるように、D'成分のコンテンツは、一般的に深さに限定されず、背景テクスチャ(BG)、透明度(T)及び追加のメタデータ情報を有することもできる。メタデータは、三次元知覚品質を改善するための追加の画像情報であることができるが、コンテンツ関連の情報（例えばシグナリングなど）であることもできる。

典型的な成分は、D((前景)深さ)、BG(背景テクスチャ)、BD(背景深さ)及びT(透明度マップ)である。提案されたフォーマットによって原則として、これらの成分は、24Hzの代わりに12Hzで利用可能である。それらは、既知の又は新規なアップサンプリング・アルゴリズムによって、時間的にアップサンプリングされることができる。しかしながら、いくつかのアプリケーションに対しては、アップサンプリングは必要とされない。例えば、ビデオの上にグラフィックス(字幕、OSDなど)を合成する場合、グラフィックスが正確な位置で（つまり深さに関して正確な位置で）合成されることができるように、利用可能な深さ情報を持つことが有用である。

上記は、図17に示されるように深さ(D)及び透明度(T)のための異なる（すなわち交互の）フェーズを持つことによって実現されることができる。図は、深さ情報D1及び透明度情報T2を含んでいる1280x720フレームを示す。1280x720フレームの成分D1は、時点T=1/24秒における1920x1080フレームからのD1成分に基づく。1280x720フレームの成分T2は、時点T=2/24秒における更なる1920x1080フレームからのT2成分に基づく。

異なる時点から利用可能なD1及びT2を持つ利点は、隣り合う時点からの透明度を利用することによって、改善された深さの時間的再構成を可能にすることである(図17参照)。

Dフレーム中の全ての成分が、同様に重要であるというわけではないことが留意されるべきである。これは、(常に又は動的にコンテンツに依存し、そしてなんらかのフラグによってマークされる)成分をスキップする余地を残し、他の成分が完全な24Hzである余地を残す。このコンセプトは図18に示され、T=1/24及びT=2/24からの透明度情報が１つの1280x720フレームの中に組み合わせられる。

したがって、図17は、全ての成分が時間的にサブサンプリングされる例を示し、図18は、T(透明度)が空間的にのみサブサンプリングされ、時間的にはサブサンプリングされない(T1, T2)ソリューションを示す。

新たな三次元BD

さらに、新たに定められる三次元ブルーレイ・プレーヤー/規格にとって、本発明によるLRDタイプのフォーマットが重要になる可能性がある。将来のBD-プレーヤー・システムのスループットは、互換性及びコストの理由で、約2*1080p@30（又は2*1080i@60Hz）になる可能性がある。上記のLRD原理が適用される場合、つまり、追加の情報が追加される場合、更なる11%多くのスループットが必要とされる。これは2*1080p@30Hzに近い。11%高い値によって最大スループットを増加させることは、利点次第では、将来のシステムにとって許容できる可能性がある。

将来の三次元ブルーレイ・プレーヤーにとって、品質は非常に重要である。実験は、特に空間的サブサンプリング、すなわち、深さ及び透明度成分の両方の係数2:1による水平方向及び垂直方向のサブサンプリングは、あまりにも品質を低下させる可能性があることを示した（図21参照）。この状況を改善する１つのオプションは、図21に示される対角線フィルタリングに基づくいわゆる５点形サブサンプリングを適用することである。例えば、1920*1080ピクセルは、最初に1920*540へと垂直にサブサンプリングされることができ、それから、対角線フィルタリングされ、そして５点形サブサンプリングされ、この後、960*540（５点形）サンプルで終わる。しかしながら、これらのサンプルは、水平方向において完全な1920の解像度を維持する。

他のアプローチは、深さ及び透明度について垂直方向のみにサブサンプリングすることである。図19は、これがL, R, D, L, R, D, D'フレームの繰り返しシーケンスを用いてどのようにして実現されることができるかについて示す。下に、Dフレームのコンテンツ、すなわち以降のD, D及びD'フレームが示される。図中の矢印は、フレームの符号化において使用される予測の方向を示す。

Dフレーム内において、深さ(D1, D2, D3)及び透明度(T1, T2)は、1920*540ピクセルの解像度で交互に提供される。一方、背景テクスチャ（BG）及び背景深さ（BD）は、960*540ピクセルで提供される。

なお、この特定の符号化スキームにおいて、Dフレーム及びD'フレームは異なるコンテンツ及びレートを持つ。D'タイプのフレームは、L及びDの半分のフレームレートで提供される。D'フレームは、深さ及び透明度の失われた時間インスタンス(ここではD2及びT2)を割り当てるために用いられることができる。（幾つかの）成分は５点形(Appendix 1も参照)サブサンプリングされることもできることに注意すべきである。

その後、D'フレームは、LRD-LRDD'-LRD-LRDD'を連続して符号化することによって、図19のGOP(Group of Picture)符号化構造に示されるように、LRDストリーム中にLRD情報によってインタリーブされる。

図19はさらに、LRDD'モードにおいて、D3を予測するためにD1を用いることにより及びD2を予測するためにD1及びD3の両方を用いることにより、深さ情報D及び深さ情報D'がどのようにして効率的に圧縮されることができるかについて示す。

図15は、三次元ブルーレイ・システムで使用するビデオを符号化するためのいくつかのオプションを示す。図15から分かるように、本発明は、ムービーフルHD及びスポーツHDの両方ためのLRD(ステレオ+深さ)の符号化を可能にする。

最後に、図20は、上述したLRDD'モードのためのDフレームがインタリーブされている本発明の実施の形態をオプション1の下で示す。図20はさらに、４つの時間インスタンスからの情報が組み合わせられている本発明の実施の形態をオプション2の下で示す(以前のオプションは、２つの時間インスタンスからの情報のみを組み合わせた)。この後者の実施の形態において、ビデオ信号のY, U及びV成分は、異なる情報を運ぶために用いられ、例えば、D²フレームの中で、U成分はT=1の背景深さを運び、一方、V成分はT=2の背景深さを運ぶ。個々の成分Y, U及びVは、それぞれのDフレームのために示される。

この第２のオプションのそれぞれのDフレームのコンテンツD¹, D², D³, D⁴, D⁵, D⁶は、インタリーブ例の下に示される。

この実施の形態において、４つの時間インスタンスのための背景テクスチャ(BG1₁、BG1₂、BG1₃、BG1₄)は、（４つの時間インスタンスに対して）１つのフレーム中にまとめられ、結果として、Dフレームはより効率的に用いられることができる。この実施の形態は、深さ成分が一般に、UV成分によって提供されるサイズと同様のサイズであるという事実を効果的に利用する。これはさらに、２つのD又はTの１つが、12Hzに対してフル1920*1080解像度であることを可能にし、他の時間インスタンスは1920*540である。図20で分かるように、残された若干の空いている余地がさらに存在する場合がある。

図面を参照した先の詳細な説明は、特許請求の範囲において定められる本発明及び追加の特徴の単なる説明である。本発明は、数多くの異なる態様で実施されることができる。これを示すために、いくつかの変形例が短く示される。

本発明は、三次元視覚表現に関連した数多くのタイプの製品又は方法に有効に適用されることができる。三次元ビデオは単なる例である。本発明は、三次元静止画（つまり三次元写真）に同様に適用されることができる。

本発明による三次元ビデオ画像を提供する数多くの態様が存在する。図1は、一対のカメラRCAM, LCAMを含む実施態様を示す。この例において、カメラの対は、現実の画像を取り込む。他の実施態様において、仮想的な画像対は、例えば、適切にプログラムされたプロセッサによって生成されることができる。深さマップは、深さスキャナ又は同様の測定装置によって必ずしも取得される必要があるというわけではない。深さマップは、詳細な説明において先に述べられたように、推定に基づいて確立されることができる。重要なのは、深さマップが、三次元視覚表現を構成する一対の画像中の１つの画像に特に専用であることである。

深さマップは、先の詳細な説明中にあるように左画像に特に専用であるか、又は右画像に特に専用である。すなわち、図2に示される多用途三次元ビデオ信号VSの異なるバージョンにおいて、深さマップDMは、右画像RPに特に専用でありえる。そのような変形例において、シフトされた視点の画像は、右画像RP及び特にこの画像専用の深さマップDMから生成される。その場合、背景画像BGも右画像RPに専用である。背景画像BGは、例えば、データ低減又は帯域幅低減のために省略されることができる。

レンダリング・ガイダンス・データを提供する数多くの異なる態様が存在する。先の詳細な説明は、図10を参照した例を提供する。この例において、一連のステップが実行され、その幾つかはシステム・オペレータとのインタラクションを必要とする。これらのインタラクションの１つ以上は、自動化された決定によって効果的に置き換えられることができる。完全に自動化された仕方でレンダリング・ガイダンス・データを生成することも可能である。図10に示される一連のステップは、必ずしもこれらが示された順序で実行される必要があるというわけではないことがさらに留意されるべきである。さらに、さまざまなステップが１つのステップに組み合わせられることができ、又は、あるステップが省略されることができる。

用語「画像」は、広い意味で理解されるべきである。この用語は、例えば画像、フレーム又はフィールドのような視覚的レンダリングを可能にするいかなるエンティティも含む。

大きくみると、ハードウェア若しくはソフトウェア又は両方の組み合わせによって機能的エンティティを実施する数多くの態様が存在する。この点で、図面は非常に概略的である。図面は異なる機能的エンティティを異なるブロックとして示すが、これは、１つのエンティティがいくつかの機能を実行するか又はいくつかのエンティティが１つの機能を実行する実現例を決して除外しない。例えば、図11を参照して、復号器DEC、逆多重化装置DMX、シフトされた視点画像生成器SHG、セレクタSEL及びコントローラCTRLは、全てのこれらの機能的エンティティを含む集積回路の形の適切にプログラムされたプロセッサ又は専用のプロセッサによって実施されることができる。

プログラム可能な回路が本発明に従って動作することを可能にする１セットの命令、つまりソフトウェアを記憶して及び配布するための数多くの態様が存在する。例えば、ソフトウェアは、適切な媒体（例えば光学ディスク又はメモリ回路）中に記憶されることができる。ソフトウェアが記憶される媒体は、個々の製品として又はソフトウェアを実行することができる他の製品と共に供給されることができる。そのような媒体は、さらに、ソフトウェアが実行されることを可能にする製品の一部であることができる。ソフトウェアは、さらに、有線、無線又は混成の通信ネットワークを介して配信されることができる。例えば、ソフトウェアは、インターネットを介して配信されることができる。ソフトウェアは、サーバによってダウンロードのために利用可能にされることができる。ダウンロードは支払いを必要とする場合がある。

先に行われた注釈は、図面を参照した詳細な説明が、本発明を限定ではなく説明することを示す。添付の請求の範囲内である数多くの変形例が存在する。特許請求の範囲中のいかなる参照符号も、特許請求の範囲を限定するものとして解釈されるべきでない。「有する」「含む」などの用語は、請求の範囲に挙げられた要素又はステップ以外の他の要素又はステップの存在を除外しない。単数で表現された要素又はステップは、そのような要素又はステップが複数存在することを除外しない。それぞれの従属請求項がそれぞれの追加の特徴を定めるという単なる事実は、従属請求項の組み合わせに対応する追加の特徴の組み合わせを除外しない。

Claims

三次元画像を提供する方法であって、
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像が提供される画像提供ステップ、
特に前記第１画像専用の深さマップが提供される深さマップ提供ステップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示し、当該方法はさらに、
レンダリング・ガイダンス・データが提供されるレンダリング・ガイダンス・データ提供ステップを有し、前記レンダリング・ガイダンス・データは、それぞれのレンダリング状況のためのそれぞれのパラメータを指定し、前記それぞれのパラメータは、前記第１画像及び特に前記第１画像専用の前記深さマップからのシフトされた視点の画像の生成に関連し、
前記レンダリング・ガイダンス・データ提供ステップがサブステップを有し、当該サブステップにおいて、
前記第１画像及び前記深さマップから生成されるシフトされた視点の画像がレンダリングされた第１画像を構成し、前記第２画像がレンダリングされた第２画像を構成する第１ステレオ・モードのための、１セットのパラメータが定められ、
前記第１画像がレンダリングされた第１画像を構成し、前記第１画像及び前記深さマップから生成されるシフトされた視点の画像がレンダリングされた第２画像を構成する第２ステレオ・モードのための、１セットのパラメータが定められる、方法。
前記レンダリング・ガイダンス・データ提供ステップがサブステップを有し、当該サブステップにおいて、パラメータのそれぞれのセットが、前記第１ステレオ・モードが用いるべき第１ステレオ強度範囲及び前記第２ステレオ・モードが用いるべき第２ステレオ強度範囲の定義を提供される、請求項１に記載の方法。
三次元画像を提供する方法であって、
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像が提供される画像提供ステップ、
特に前記第１画像専用の深さマップが提供される深さマップ提供ステップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示し、当該方法はさらに、
レンダリング・ガイダンス・データが提供されるレンダリング・ガイダンス・データ提供ステップを有し、前記レンダリング・ガイダンス・データは、それぞれのレンダリング状況のためのそれぞれのパラメータを指定し、前記それぞれのパラメータは、前記第１画像及び特に前記第１画像専用の前記深さマップからのシフトされた視点の画像の生成に関連し、
前記レンダリング・ガイダンス・データが、それぞれの深さ指標値のためのそれぞれの最大視差シフト値を定める、方法。
三次元画像を提供する方法であって、
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像が提供される画像提供ステップ、
特に前記第１画像専用の深さマップが提供される深さマップ提供ステップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示し、当該方法はさらに、
レンダリング・ガイダンス・データが提供されるレンダリング・ガイダンス・データ提供ステップを有し、前記レンダリング・ガイダンス・データは、それぞれのレンダリング状況のためのそれぞれのパラメータを指定し、前記それぞれのパラメータは、前記第１画像及び特に前記第１画像専用の前記深さマップからのシフトされた視点の画像の生成に関連し、
前記レンダリング・ガイダンス・データが、それぞれのスクリーン・サイズのためのそれぞれの視差オフセット値を定める、方法。
三次元画像を提供する方法であって、
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像が提供される画像提供ステップ、
特に前記第１画像専用の深さマップが提供される深さマップ提供ステップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示し、当該方法はさらに、
レンダリング・ガイダンス・データが提供されるレンダリング・ガイダンス・データ提供ステップを有し、前記レンダリング・ガイダンス・データは、それぞれのレンダリング状況のためのそれぞれのパラメータを指定し、前記それぞれのパラメータは、前記第１画像及び特に前記第１画像専用の前記深さマップからのシフトされた視点の画像の生成に関連し、
前記レンダリング・ガイダンス・データが、深さマップ精度の指標を含む、方法。
三次元画像を提供する方法であって、
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像が提供される画像提供ステップ、
特に前記第１画像専用の深さマップが提供される深さマップ提供ステップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示し、
特に前記第１画像専用の背景画像が提供される背景画像提供ステップを有する、方法。
特に前記第１画像専用のαマップが提供されるαマップ提供ステップを有し、前記αマップは、前記左画像、前記深さマップ及び前記背景画像から生成されることができるシフトされた視点の画像における漸進的な遷移を定める、請求項６に記載の方法。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像を提供するための画像提供装置、
特に前記第１画像専用の深さマップを提供するための深さマップ提供装置、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示す、三次元画像提供システムであって、当該システムは、
レンダリング・ガイダンス・データを提供するレンダリング・ガイダンス・データ提供装置を有し、前記レンダリング・ガイダンス・データは、それぞれのレンダリング状況のためのそれぞれのパラメータを指定し、前記それぞれのパラメータは、前記第１画像及び特に前記第１画像専用の前記深さマップからのシフトされた視点の画像の生成に関連し、
前記レンダリング・ガイダンス・データ提供装置は、
前記第１画像及び前記深さマップから生成されるシフトされた視点の画像がレンダリングされた第１画像を構成し、前記第２画像がレンダリングされた第２画像を構成する第１ステレオ・モードのための、１セットのパラメータを定め、
前記第１画像がレンダリングされた第１画像を構成し、前記第１画像及び前記深さマップから生成されるシフトされた視点の画像がレンダリングされた第２画像を構成する第２ステレオ・モードのための、１セットのパラメータを定める、三次元画像提供システム。
前記レンダリング・ガイダンス・データ提供装置が、パラメータのそれぞれのセットが、前記第１ステレオ・モードが用いるべき第１ステレオ強度範囲及び前記第２ステレオ・モードが用いるべき第２ステレオ強度範囲の定義を提供する、請求項８に記載の三次元画像提供システム。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像を提供するための画像提供装置、
特に前記第１画像専用の深さマップを提供するための深さマップ提供装置、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示す、三次元画像提供システムであって、当該システムは、
レンダリング・ガイダンス・データを提供するレンダリング・ガイダンス・データ提供装置を有し、前記レンダリング・ガイダンス・データは、それぞれのレンダリング状況のためのそれぞれのパラメータを指定し、前記それぞれのパラメータは、前記第１画像及び特に前記第１画像専用の前記深さマップからのシフトされた視点の画像の生成に関連し、
前記レンダリング・ガイダンス・データが、それぞれの深さ指標値のためのそれぞれの最大視差シフト値を定める、三次元画像提供システム。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像を提供するための画像提供装置、
特に前記第１画像専用の深さマップを提供するための深さマップ提供装置、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示す、三次元画像提供システムであって、当該システムは、
レンダリング・ガイダンス・データを提供するレンダリング・ガイダンス・データ提供装置を有し、前記レンダリング・ガイダンス・データは、それぞれのレンダリング状況のためのそれぞれのパラメータを指定し、前記それぞれのパラメータは、前記第１画像及び特に前記第１画像専用の前記深さマップからのシフトされた視点の画像の生成に関連し、
前記レンダリング・ガイダンス・データが、それぞれのスクリーン・サイズのためのそれぞれの視差オフセット値を定める、三次元画像提供システム。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像を提供するための画像提供装置、
特に前記第１画像専用の深さマップを提供するための深さマップ提供装置、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示す、三次元画像提供システムであって、当該システムは、
レンダリング・ガイダンス・データを提供するレンダリング・ガイダンス・データ提供装置を有し、前記レンダリング・ガイダンス・データは、それぞれのレンダリング状況のためのそれぞれのパラメータを指定し、前記それぞれのパラメータは、前記第１画像及び特に前記第１画像専用の前記深さマップからのシフトされた視点の画像の生成に関連し、
前記レンダリング・ガイダンス・データが、深さマップ精度の指標を含む、三次元画像提供システム。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像を提供するための画像提供装置、
特に前記第１画像専用の深さマップを提供するための深さマップ提供装置、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示す、三次元画像提供システムであって、
特に前記第１画像専用の背景画像を提供する背景画像提供装置を有する、三次元画像提供システム。
特に前記第１画像専用のαマップを提供するαマップ提供装置を有し、前記αマップは、前記左画像、前記深さマップ及び前記背景画像から生成されることができるシフトされた視点の画像における漸進的な遷移を定める、請求項１３に記載の三次元画像提供システム。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像、
特に前記第１画像専用の深さマップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示す、
三次元画像を伝達する信号に基づいて三次元画像をレンダリングする方法であって、
前記第１画像及び特に前記第１画像専用の前記深さマップからシフトされた視点の画像が生成されるシフトされた視点の画像生成ステップ、
２つのステレオ・モードのうちの少なくとも一方に従って三次元画像をレンダリングするレンダリングステップ、
を有し、前記２つのステレオ・モードは、
前記シフトされた視点の画像がレンダリングされた第１画像を構成し、前記信号に含まれる前記第２画像がレンダリングされた第２画像を構成する第１ステレオ・モード、
前記信号に含まれる前記第１画像がレンダリングされた第１画像を構成し、前記シフトされた視点の画像がレンダリングされた第２画像を構成する第２ステレオ・モード、
である方法。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像、
特に前記第１画像専用の深さマップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示す、
三次元画像を伝達する信号に基づいて三次元画像をレンダリングするための三次元画像レンダリングシステムであって、
前記第１画像及び特に前記第１画像専用の深さマップからシフトされた視点の画像を生成するためのシフトされた視点の画像生成器、
２つのステレオ・モードのうちの少なくとも一方に従って三次元画像をレンダリングするためのセレクタ、
を有し、前記２つのステレオ・モードは、
前記シフトされた視点の画像がレンダリングされた第１画像を構成し、前記信号に含まれる前記第２画像がレンダリングされた第２画像を構成する第１ステレオ・モード、
前記信号に含まれる前記第１画像がレンダリングされた第１画像を構成し、前記シフトされた視点の画像がレンダリングされた第２画像を構成する第２ステレオ・モード、
であるシステム。
プログラム可能なプロセッサにロードされたときに前記プログラム可能なプロセッサに請求項１から７、１５のうちのいずれか一項に記載の方法を実行させる命令セットを有するコンピュータープログラム。
三次元画像を提供する方法であって、
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像が提供される画像提供ステップ、
特に前記第１画像専用の深さマップが提供される深さマップ提供ステップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示し、
前記第１画像、前記第２画像及び前記深さマップが、信号の転送のための予め定められた帯域幅に調整された解像度で提供され、追加のフレームが符号化されて、画像及び深さ成分に基づくレンダリングに用いる更なるデータを提供する、方法。
前記追加のフレームが、複数の時点の成分を含む、請求項１８に記載の方法。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像を提供するための画像提供装置、
特に前記第１画像専用の深さマップを提供するための深さマップ提供装置、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示す、三次元画像提供システムであって、
前記第１画像、前記第２画像及び前記深さマップが、信号の転送のための予め定められた帯域幅に調整された解像度で提供され、追加のフレームが符号化されて、画像及び深さ成分に基づくレンダリングに用いる更なるデータを提供する、三次元画像提供システム。
観察者の一方の目を対象とする第１画像及び観察者の他方の目を対象とする第２画像を有する一対の画像、
特に前記第１画像専用の深さマップ、
を有し、
前記深さマップは深さ指標値を有し、深さ指標値は、前記第１画像の特定の部分に関連し、前記第１画像のその部分により少なくとも部分的に表される物体と前記観察者との間の距離を示し、
前記第１画像、前記第２画像及び前記深さマップが、信号の転送のための予め定められた帯域幅に調整された解像度で提供され、追加のフレームが符号化されて、画像及び深さ成分に基づくレンダリングに用いる更なるデータを提供する、
三次元画像を伝達する信号が記録された記録媒体。