JP5575778B2 - 信号に含まれる視差情報を処理する方法 - Google Patents

Description

本発明は、信号に含まれる視差情報を処理するための方法及び装置に関する。

三次元（3D）表示装置は、観察されているシーンの異なるビューを観察者の各々の目に提供することによって、観察経験に第３の次元（深さ）を追加する。多くの3Dディスプレイ装置は、２つの異なるが関連するビューを意味するステレオ入力を用いる。これは例えば、標準的な3D映画（観察者の目のための左及び右ビューを分離するために眼鏡が用いられる）において用いられる。例えば毎秒50フレーム（の画像データ）が提供される代わりに、ステレオ・システムでは、左目に50、右目に50の毎秒100フレームが提供される。１つのペアの各々のフレームは同じシーンの僅かに異なるビューを有し、脳はそれらを三次元画像を生成するように組み合わせる。3D映画におけるこの技術の採用の結果として、多くの利用可能なステレオ・コンテンツが存在する。家庭で映画経験を複製すること及びステレオ投影システムを構築又は設置すること望むホーム・シネマ・ファンが存在することも考えられる。

しかしながら、ステレオ3Dシステムに伴う眼鏡の使用は、多くのアプリケーション（例えば3D看板、更には、よりカジュアルなホーム3D TV）にとってわずらわしい。眼鏡フリー・システム（自動立体視システムとも呼ばれる）は、観察者の動きの自由度を提供するために、多くの場合、シーンの２つ以上のビューを提供し、そして、ビューの数が変化するので、これらのアプリケーションにおいて多くの場合に用いられる表現は、画像+深さフォーマットであり、１つの画像及びその深さマップが、必要とされる数のビューをレンダリングするために要する情報を提供する。

視差情報を提供するシステムに存在する問題は、（画像データに付加された）視差情報の構造が、特定の対象レンダリング・システム又は装置のために最適化されることである。例えば、深さマップが提供される場合、これは、念頭にある特定の対象システムに関して設計されるだろう。例えば、エンド・システムが６つの異なるビューを提供するように設計されていることが、マップの作成において仮定される（ユーザは、彼らの位置に依存して、いつも６つのビューのうちの２つのみを見る）。６つのビューの選択は、エンド・システムの最も見込みのある（又は平均の）構成であると知覚されるものに基づくことができる。しかしながら、信号の中に含まれる視差情報は、ディスプレイ装置で行われるレンダリングにとって適切でない場合がある。

本発明の目的は、既知の技術を改善することである。

１つの態様によれば、本発明は、信号に含まれる視差情報を処理する方法に関し、
更なる画像情報に関連する少なくとも１つの視差マップを含む信号を受信し、
第１視差マップ制約を示す信号からの第１データを取得し、
第２視差マップ制約を示す信号からの第２データを取得し、
少なくとも第１データ及び第２データを処理することによって対象装置の第３視差マップ制約に適合する第３データを決定し、
第３データは、対象装置の視差マップ情報制約に適合する更新された信号を生成するように適応される。

したがって、第１データも第２データも対象装置の制約に適合しない場合に、対象装置に適合する更新された第３データを生成する際に入力として前記データを用いることが可能である。画像情報は、静止画像又はビデオ・シーケンスのフレーム若しくはフィールドであることができる。

一実施例において、第１データ及び第２データは視差情報変換であり、第１及び第２視差マップ制約は画像情報のための第１及び第２深さ範囲であり、第３データは第３視差情報変換であり、第３視差マップ制約は第３深さ範囲である。

視差情報との用語は、深さ関連情報若しくは視差関連情報又はそれら両方の組み合わせを意味する。ここで、観察者/カメラへの画像情報の見かけ上の距離に関する指標を表現する情報として深さ関連情報が用いられる。次に、ビュー間の画像要素の見かけ上のシフト(すなわち左目及び右目のための画像における変位)に関する指標を表現する情報として視差関連情報が用いられる。

一実施例において、第１視差情報変換は、受信された視差マップの恒等情報変換である。

一実施例において、第２視差情報変換は、処理される入力として恒等情報変換を用いることにより取得される視差情報変換であり、この処理の結果、第２視差情報変換を出力する。

一実施例において、信号はビデオ信号であり、第２視差情報変換は、メタデータとしてビデオ信号中に含まれる。

一実施例において、メタデータは、視差情報に関するマッピング関数、視差情報に関するマッピング関数の逆関数、及び視差情報に関するマッピング関数のための係数のうちの少なくとも１つを有する。

いくつかの場合において、例えば、シネマ・ステレオから視差情報を決定し、そして減少した深さ範囲の家庭用3Dディスプレイにより適したフォーマットにそれらの視差を変換するためのマッピングを追加することが必要又は可能である。（変換を適用した結果）後者のための視差は、家庭における受信端においてのみ初めて生成される。このメタデータは、コンテンツ作成側で実行されたマッピングを元に戻す「逆方向」マッピングである。

したがって、少なくとも第２視差情報変換は、特定のエンド受信機に適した調整された視差情報とみなされることができる。メタデータの原理は、メタデータ無しでは（元の）視差情報から取得されることができないデータを取得することを可能にすることである。一例として、第１視差情報は、3Dディスプレイ装置に送信される。メタデータは、視差情報の生成、すなわちそれらがどのように取得されたか（例えば関数又はルックアップ・テーブルなどを介して）の方法に関する。メタデータは、視差情報から、視差情報を生成するために用いられた基礎となるデータへと、又は特定の対象装置により適した新たな視差情報へと、受信機が機能することを可能にする。結果として、前記第２視差情報変換が（すなわち受信機側の3Dディスプレイに対して調整される視差情報が）生成される。

一実施例において、対象装置の第３視差マップ制約に適合する第３データを決定するステップは、１セットの視差情報変換からの２つのそれぞれの視差情報変換の間を補間することを含み、前記１セットの視差情報変換は、第１及び第２視差情報変換を有し、第３データは、対象装置の深さ範囲に適合する第３視差情報変換である。

理想的には、3Dディスプレイは、大きい視差範囲を示すことができる。しかしながら、これは、いくつかの観察条件が満たされることを必要とし、例えば、スクリーンが大きくなければならず、スクリーンが大きい距離から観察されなければならず、そして、ビュー間の分離が非常に良好でなければならない。これらの観察条件は常に満たされるわけではない。したがって、この「元の深さ」は前記第１視差範囲を生じさせ、一方、前記第２視差情報変換は、前記第２視差範囲を有する第２深さ信号をもたらす。この実施例の利点は、3Dディスプレイ装置の視差範囲がこれらの範囲のいずれにも適合しないときに、新規な変換が、例えば補間によって２つの（又はより多くの）変換から計算されることができることである。そのように、信号の深さ範囲は3Dディスプレイの利用可能な視差範囲へと正確に調整されることができ、それによって、改善された3Dレンダリングを可能にする。

一実施例において、視差情報変換のセットはさらに、信号からの更なるデータに基づく更なる視差情報変換を有する。

一実施例において、更新された視差情報変換を決定する際に入力として用いられる視差情報変換は、選択ルールに基づいて選択される。一実施例において、選択ルールは、対象装置の予め定められた深さ範囲内である視差情報変換を選択するように定める。この予め定められた範囲は、例えば最も近い深さ範囲量であることができる。

一実施例において、対象装置は三次元（3D）表示システムであり、それぞれの視差マップ制約は、3Dディスプレイ装置の視差又は深さ範囲、観察者と3Dディスプレイ装置との間のディスプレイ距離、3Dディスプレイ装置からの観察者の位置を示す位置パラメータのうちの少なくとも１つを有する。

一実施例において、更新された信号はその後、対象装置に転送され、更新された信号は、対象装置の利用できる視差範囲内の三次元画像のためのビュー情報の画像要素をレンダリングするために、視差マップを調整するために用いられる。したがって、視差情報の処理は、例えば三次元(3D)ディスプレイ装置の外部で実行されることができる。

他の態様によれば、本発明は、コンピュータ上で実行されるときに処理ユニットに上記の方法ステップを実行するように指示するためのコンピュータプログラム製品に関する。

さらに別の態様によれば、本発明は、信号に含まれる視差情報を処理するための装置に関し、当該装置は、
画像情報に関連する少なくとも１つの視差マップを含む信号を受信するための受信機、
第１視差マップ制約を示す信号からの第１データを取得し、第２視差マップ制約を示す信号からの第２データを取得し、少なくとも第１及び第２データを処理することによって対象装置の第３視差マップ制約に適合する第３データを決定するためのプロセッサ、
を有し、
第３データは、対象装置の視差マップ情報制約に適合する更新された信号を生成するように適応される。

したがって、第１データも第２データも対象装置の制約に適合しない場合に、対象装置に適合する更新された第３データを生成する際の入力として前記データを用いることが可能である装置を提供する。画像情報は、静止画像又はビデオ・シーケンスのフレーム若しくはフィールドであることができる。

この装置は、セットトップ・ボックス、ブルーレイ・ディスク・プレーヤー、3Dディスプレイ装置、ステレオ表示、ＰＣ電算機装置又はポータブル・コンピュータ装置の不可欠な要素であることができる。

さらに別の態様によれば、本発明は、前記装置を有する三次元(3D)ディスプレイ装置に関する。

一実施例において、3Dディスプレイ装置は、自動立体視ディスプレイシステムである。

3Dディスプレイ装置は、立体視ディスプレイ・システム又は自動立体視ステレオ・ディスプレイである。

本発明の態様は、他の態様のいずれかとそれぞれ組み合わせられることができる。本発明のこれらの及び他の態様は、以下に説明される実施の形態から明らかであり、それらを参照して説明される。

本発明の実施の形態は、単に例として、図面を参照して説明される。

スクリーン視差、観察者とディスプレイとの間のディスプレイ距離、目距離、及び、スクリーン面から測定されるオブジェクトの知覚される距離の間の関係を示す図。 ステレオTV、映画及び最高水準の自動立体視ディスプレイの典型的な深さ範囲の比較を示す図。 本発明の方法のフローチャート。 変換前の視差マップを示す図。 限定されたスクリーンのための視差変換の例を示す図。 変換後の視差マップを示す図。 視差マッピングの他の例を示す図。 対象装置制約に適合する第３視差情報変換を取得するための２つの視差情報変換の間の補間の例を視覚的に表す図。 本発明による装置を示す図。 前記装置から成る本発明による三次元(3D)ディスプレイ装置を示す図。

立体的な深さ知覚への導入

人々がどのように現実世界における深さを知覚するかについて調べてみると、人々は２つの目で世界を見て、各々の目は僅かに異なる位置から世界を見る。脳は、三次元印象を得るために、左及び右目からの画像を融合させる。

深さは、異なる深さ「手がかり」を通して知覚され、そのうちの幾つかは、一方の目を閉じたとしても（又は人が写真若しくはテレビを見る場合でも）機能する。それらは、（適応を除いて）単眼深さ手がかりと呼ばれる。両方の目を必要とする深さ手がかりは、双眼深さ手がかりと呼ばれる。

単眼の手がかりは、遠近法、動き視差、テクスチャ勾配、相対的なサイズ、介在、陰影、被写界深度及び適応を含む。適応は、目が特定のオブジェクトに焦点を合わせるときに、脳が、焦点を制御する目の筋肉の緊張からそのオブジェクトの距離を推定することができることを意味する。それは唯一の絶対的な単眼手がかりであり、他は全て相対的である。

双眼深さ手がかりは、輻輳及び立体視である。輻輳は、人の目の軸が、その人が注目しているオブジェクトに集中することを意味する。人が無限遠のオブジェクトに注目する場合、目は平行であり、人が鼻の先端に注目しようと試みるとき、目のラインは交差する。輻輳も適応のような絶対的な手がかりである。しかしながら、適応及び輻輳は、立体視と比較すると軽微な手がかりに過ぎない。時折「三角測量」と呼ばれる立体視は、人の脳が左及び右目の網膜上のオブジェクト間の視差に基づいて適用する「画像処理」による「深さ計算」を意味する。

立体的深さ知覚が3D映画において又は任意の他の立体視若しくは自動立体視ディスプレイ上でどのように機能するかを考えるとき、この技術は、各々の目に異なる画像を示すことである。これは、異なる色で左及び右画像を符号化することにより(anaglyph, Dolby/Infitec)、偏光した光を用いることにより、又は左及び右の画像を順番に示すことによって、達成されることができる。全てのこれらの方法は、左及び右の画像をフィルタリングするための眼鏡を観察者が着用することを必要とする。変形例は、観察者が眼鏡を着用することを必要とせず、例えばディスプレイ上のバリア又はレンズに基づいて、左及び右目に異なる画像を示す自動立体視ディスプレイである。全ての方法の質は、左及び右画像間の分離がどれくらい良好かによって決まる。左画像のいくらかの部分があまりにも右目に見える場合（又はその逆の場合）、結果として生じる効果はゴースト又はクロストークと呼ばれ、3D経験を低下させる場合がある。

スクリーン面上にあるように見えるオブジェクトは、左及び右目に対して同一の像を持つ。スクリーンの前又は後ろに浮かぶ任意のオブジェクトは、左/右の画像において、僅かにシフトされる。画像におけるシフトは通常、ピクセルで測定されて、「視差」と呼ばれる。それが画像の解像度及びスクリーン・サイズに応じて異なる効果をもたらすので、「スクリーン視差」と呼ばれるスクリーン面上のオブジェクトのシフトのみを見る。それは、特定の解像度又はスクリーン・サイズから独立しているように、物理的距離として定められる。

図1は、スクリーン視差、観察者とディスプレイとの間のディスプレイ距離、目距離及びスクリーン面から測定されるオブジェクトの知覚される距離の間の関係を示す。x軸はディスプレイ・パネルを表し、z軸はディスプレイ・パネルからの距離を表す。

この関係は、以下のように表されることができる。

この式から以下の特性を導き出すことが可能である。知覚される深さz_pが0であるとき、スクリーン視差pは0である。

スクリーン視差pは、オブジェクトがスクリーンの後ろにあるように見えるときは正であり、オブジェクトがスクリーンの前にあるように見えるときは負である。

無限遠のオブジェクトに対して(z_p→∞)、pは目距離x_Bに等しい。これはpの上限である。

（z_p=D/2で）観察者とスクリーンとの間の途中に浮かぶオブジェクトは、p=-x_Bの視差を持つ。

観察者からD/3の距離を持つオブジェクトはp=-2x_Bの視差を持ち、D/4の距離を持つオブジェクトはp=-3x_Bの視差を持つなどである。

時折、異なる態様で式を定めることがより容易である。スクリーン面からの絶対的な距離の代わりに、（スクリーン距離を基準として用いて）観察者からのオブジェクトの相対的な距離に集中することが可能である。相対的な深さは、

として表されることができる。

この測度は、時折、「見かけ上の深さ」と呼ばれる。dが100%のとき、オブジェクトはスクリーン面上にあるように見え、dが50%のとき、それは観察者とスクリーンとの間の途中に浮かぶ。それが100%を超えるとき、オブジェクトはスクリーンの後ろにあるように見える。dに関する元の式を書き直すことによって、

であり、これをdに対して解くと、

を与える。

上記の式は一般的であり、全てのスクリーン・サイズ及び観察者距離に適用される。残念なことに、以下の理由のために、現実のスクリーン上で完全な3D経験を生成することは容易ではない。
スクリーン・サイズが限定される
適応/輻輳の不整合が存在する
動き視差が失われている
視野が限定される

スクリーン・サイズが問題である理由を見いだすために、いわゆる、可視画像のまわりのフレームであるステレオ・ウィンドウに注目するべきである。左及び右の画像を水平方向にシフトすることによって、どのオブジェクトがスクリーン上に、その前に、又はその後ろにあるように見えるかに影響を与えることができる。スクリーン面の後ろの任意のオブジェクトは、ほぼ現実の窓を通して見るように、自動的に自然に感じる。スクリーンの前に浮かぶオブジェクトがスクリーン境界によって切り取られるときに問題が生じる。これは、ウィンドウ違反と呼ばれる。例えば、オブジェクトがスクリーンの前に浮かんでおり、左目のための画像上の左の境界に触れると、オブジェクトの一部は、右目のための画像において切り取られる。人間の脳は、矛盾する手がかりを受けとり、立体視手がかりは、オブジェクトがスクリーンの前にあることを伝えるが、遮蔽手がかりは、オブジェクトはスクリーン境界の後ろに隠されていて、したがってスクリーンの後ろにあるはずであることを伝える。より少ない程度だが、最上部又は最下部の境界において切り取られたオブジェクトがある場合も不自然に感じる。

現在、IMAXスクリーンだけが、人が左右の境界上のウィンドウ違反について心配する必要がない程に十分に広い。通常の映画スクリーン（約10mの幅）では、ウィンドウ違反が問題になり始めており、3Dテレビ受像機では、この問題は不可避である。上記の式に注目すると、相対的な深さに関して同じ3D効果を得るためには、スクリーン・サイズに関係なく、物理的スクリーン視差が同一であることが分かる。映画において無限遠のオブジェクトを示すために、左右の画像はx_B=65mmだけシフトされる。これは、スクリーン幅の約0.5%である。3D TVにおいて無限遠のオブジェクトを示すために、左右の画像は同様に65mmシフトされるが、ここではこのシフトはスクリーン幅のほぼ5%である。25%の相対的な距離でスクリーンの前に浮かぶオブジェクトを示すために、映画スクリーンの幅の少なくとも1.5%のマージンを必要とするが、TVでは15%のマージンである。したがって、3D TVによって人の鼻先にオブジェクトを浮かべることは非常に難しい。それは、事実上、スクリーンの中央にあるオブジェクトに対してのみ機能する。

結論としては、より小さいスクリーンは、示されることができる深さの量を自動的に制限する。

他の重大な問題は、適応/輻輳不整合である。オブジェクトがスクリーンの前後のどこにあるように見えるかに係らず、依然としてスクリーンに目の焦点を合わせなければならない。簡単に言えば、２つの絶対的な深さ手がかりのうちの１つだけが立体視投影に用いられ、それは互いに矛盾する。経験のない3D視聴者にとって、経験則は、1.5度を超える網膜視差を回避することである。1.5度を超えると目の負荷につながり、時折、人々は両方の画像を１つに融合させることができず、3D効果を認知しない。これは、我々が立体視によって画像を融合させるのを援助する単眼深さ手がかりの質に主に依存する。網膜視差は以下のように計算されることができる。

ここでも、物理的視差pがスクリーン距離Dと比較すると小さいので、3D映画には利点がある。D=10mのスクリーン距離を仮定すると、無限遠のオブジェクトに対する網膜視差は、わずか約0.37°である。

20%の相対的な距離のところに浮かぶオブジェクトは1.48°の網膜視差を持ち、大体、映画において達するべきである程度に近い。

再び相対的な深さのための式に注目して、観察者がステレオ・スクリーンの前に座っていると仮定する。50%の相対的な深さのオブジェクトは、観察者とスクリーンとの間の途中にあるように見える。ここで、スクリーンのより近くに移動することによって、同じオブジェクトは依然として50%の相対的な深さを持つが、スクリーン上でのサイズと比べたその深さは変化する。オブジェクトは、より少ない絶対的な深さを持つ。観察者がスクリーンから離れて移動する場合、絶対的な深さは増加する。特定の「スイートスポット」においてのみ、観察者は、深さと二次元サイズとの間の正確な比を得る。観察者がその位置にいるときに、視野(すなわちスクリーンがどれくらいあなたにとって大きく見えるかの角度)がカメラの視野と同一である。この条件は、カメラによって観察された深さの完全な再生である正立体視(ortho-stereopsis)とも呼ばれる。

全ての観察者に対してこの条件を達成することは不可能である。一人の観察者に対してでさえ、それは、全てのコンテンツが、１つのカメラレンズで、ズームなしで生成されなければならないことを意味する。観察者は、あまりに小さい深さを、それが彼らが二次元TV及び二次元映画において慣れているものであるので、容易に許容することができるが、不自然に見える場合があるあまりに大きい深さは回避するべきである。

深さスケーリングがどのように異なるスクリーンに対して機能するか

深さスケーリングは、フォーマットに記憶された深さを対象スクリーンの深さ範囲に変換する処理である。好ましくは、深さスケーリングという用語は、視差(disparity/parallax)を他の視差にマッピングすることを意味する。WOWvxフォーマットのような様々なフォーマットは、眼精疲労及び観察不快感が最低限に低減されつつ、各々のスクリーンの完全な深さ能力を常に用いることにより、携帯電話の自動立体視ディスプレイから映画のステレオ投影まで、任意のスクリーン上で3Dを示すことができる。しかしながら、フォーマットは、特定の3Dフォーマットに制限されるべきでなく、2D+深さファイル及びインタフェース・フォーマットのような他のフォーマットも同様に用いられることができることが留意されるべきである。

ここでの目標は、携帯型装置から映画スクリーンまで、任意の利用可能な3Dスクリーン上に適切なフォーマットを持つコンテンツを表示することである。このように、フォーマットは、大画面上でそれを表示するために十分な情報が利用可能であるように、大きい深さ範囲を含むべきである。上述のように、元の深さ情報の対象スクリーンへの最適な変換を見いだすために、いくつかの要因が考慮されなければならない。

大きなスクリーンから始めて携帯型サイズへと、各々のスクリーン・サイズに対して最適な構成は何かを調査する。

相対的な深さに関して25%から無限の深さ範囲を含むファイルが提供されると仮定する。これは、最も近いオブジェクトがスクリーン距離の1/4のところで視聴者の前に浮いており、そして一番遠いオブジェクトが無限の深さのところにあることを意味する。視差範囲は、65mm（無限遠に離れている）から-195mm（25%の相対的な深さ）に及ぶ。

映画スクリーン

ある映画スクリーン上で、より正確には任意の映画スクリーン上で、視聴者とスクリーンとの間には十分な距離があり、したがって、適応/輻輳矛盾は問題ではなく、ステレオ・ウィンドウに関する問題を予想しない。結果的に、任意の映画スクリーンは、適切なフォーマットで符号化される深さ範囲を示すことができ、深さ情報を変換する必要はない。なお、これは各々のスクリーン上に同じステレオ画像を示すことと同一ではなく、物理的スクリーン視差は同じままであるが、これはスクリーン・サイズ及びピクセル解像度によって決まるピクセル視差につながる。視野が通常の映画より大きいので、IMAXは例外である。通常の映画のために生成されたコンテンツの深さアスペクト比を維持するために、スクリーン面を視聴者から離れるように移動させることが有益である。

立体視3D TV

3D眼鏡及び1mのスクリーン幅（約45フィートの対角線）を伴う立体視3D TVを考慮すると、視聴者とTVセットとの間の通常の距離は3mである。

25%の相対的な深さは、一般的に快適な視聴のためにはあまりに大きく知覚される3.72°の網膜視差につながるので、元のコンテンツの全ての深さ範囲を示すことができないことは明らかである。無限の深さでさえ、観察者が連続的にそれを見なければならない場合、わずか1.24°の網膜視差しかないものの、眼精疲労につながる場合がある。

他の問題は、-195mmのスクリーン視差が、スクリーンのほぼ20%を要することである。これは、ステレオ・ウィンドウに違反しないために、スクリーンの前に浮かぶべきであるオブジェクトの両側に少なくとも20%のマージンを必要とする。

加えて、元のコンテンツが映画スクリーン用の場合、小さなスクリーン上で同じ物理的スクリーン視差によってそれを見ると、「あまりに大きい深さ」を感じるだろう。これは、不相応な深さアスペクト比によって引き起こされ、現在異なる視野によって引き起こされる。オブジェクトはサイズが小さいが、依然として同じ深さを持つ（例えば、現在キュウリの形状を持つように見えるボール）。

最後に、スクリーン面をそれが意図されたところに残すように試みるべきであり、観察者に向って又は観察者から離れるようにあまり大きく動かしてはならない。理由は単純である。観察者が集中しなければならないコンテンツの大部分は（例えば小さいテキスト又は他の微細な詳細）、眼精疲労を回避するために、スクリーン面上で最もよく表示され、コンテンツは通常、コンテンツ・クリエイターが観察者に集中して欲しいオブジェクトをその深さに配置するように生成される。４つ全ての要因を考慮することによって、3D TVのための望ましい深さ範囲は、（視差に関して）25mm〜-75mm、（相対的な深さに関して）46.4%〜162.5%であることができる。それは、もちろん非常に主観的であり、単に無難な初期設定である。

この深さ範囲を、観察者が同じTVセット上で映画スクリーン用に生成されたステレオ動画を示されるときに観察者が得るものと比較することは興味深い。コンテンツが上述のものと同じであり、動画が40フィート・スクリーン・サイズのために作られたと仮定すると、結果として生じる深さ範囲は、（スクリーン視差に関して）5.3mm〜-16mm、（相対的な深さに関して）80%〜109%である。一例として、WOWvxフォーマットによって、深さ効果は、最大で4〜5倍大きくされることができる。差を比較する図が図2に示され、この図は、映画スクリーンに示される典型的な映画コンテンツ、立体視TVに示される同じステレオ（L/R）画像並びに同じ立体視TVに示されるWOWvx技術（深さスケーリング及び視差情報変換）によって適応された同じコンテンツの深さ範囲の比較を示す。

限定されたスクリーン及びより小さいディスプレイ

最新の自動立体視ディスプレイ及びより小さいディスプレイは、単にディスプレイが有意な量のスクリーン幅を用い尽くすことなく十分な視差を示すのに十分に大きくないので、又は、マルチビュー自動立体視ディスプレイがいくつかのビューをレンダリングしなければならず、同じサイズの立体視ディスプレイによって使用される視差範囲の倍数を必要とするので、一般に限定された深さ及び視差範囲を持つ。

この限られた深さ範囲を最大限の効果に用いるために、以下の方法のうちの１つを用いることが可能である。

すべてのショット/シーンが完全な深さ範囲を用いるというわけではなく、各々のショットの深さ範囲をディスプレイの深さ範囲にマップすることが可能である。異なるショットにわたって一貫した深さを得ることは可能ではなく、深さの絶対的な基準は存在しないが、それは、そのようなスクリーン上では目立たない。

完全な深さ範囲を用いるショットにおいて、元の深さ範囲の何分の一だけにそれを低減すると、カード・ボーディング(card boarding)効果につながり、例えば、顔及び他のオブジェクトが平らに見える。望ましいソリューションは、オブジェクト間の深さを犠牲にして、オブジェクト内の深さを増加させることである。これは、フォーマットに視差変換を埋め込むことによって達成されることができる。

シーンの焦点であるオブジェクトは、近い面及び遠い面又は観察錐台によって囲まれることができる。限定されたスクリーン上で、遠い面の後ろのどんなものもディスプレイの遠い面に投射され、近い面の前のどんなものも、近い面にクリップされる/投射される。これも、フォーマットに視差変換を埋め込むことによって達成されることができる。

3Dディスプレイ装置のための観察条件は、必ずしも満たされない。これは、スクリーンが大きく、それが大きい距離から観察されなければならず、ビュー間の分離が非常に良好でなければならないことを必要とする。これらの観察条件は、しかしながら必ずしも満たされず、したがって、時折、画像+深さ信号は、制限がより少ない深さ能力を有する3Dディスプレイ装置用として意図される場合、あまりにも大きい視差範囲を示す場合がある。コンテンツが限られた深さ範囲を有するディスプレイ用に作成されている場合もあり、これは、制限がより少ないディスプレイ上で更なる深さが視覚化されることができることを意味する。深さの単純な線形拡張が、深さの量を増減するために進歩することができるが、時折、更なるシーン固有の視差変換が要求される。そのようなマッピングは、例えば、http://www.comp.leeds.ac.uk/edemand/publications/hol04a.pdfとして利用可能なNick Holliman, Mapping Perceived Depth to Regions of Interest in Stereoscopic Images, in Stereoscopic Displays and Applications XV, 2004(この文献は参照として本明細書に組み込まれる)に記載されているような従来技術において知られている。

そのようなマッピングの使用の例が図4-6に与えられる。図4の左側は、スクリーンの後ろにあるように見えてスクリーン深さから無限遠まで伸びる道のシーンを示し、右側は視差マップである。観察者の非常に近くに、ボールが浮かんでいる。ボールと道の見える部分との間には大きな深さのギャップが存在する。範囲全体に対する視差範囲は、一例として、-65mm〜65mmであることができる。限定された深さ範囲を有するスクリーンに対して、視差を線形にスケーリングすると、ボールは非常に平らに見える。スクリーンの前の利用可能なスペース全体をボールに使用させることが、より好ましい。これは、図5に示されるような視差変換によって達成されることができ、ここで、x軸は変換の入力視差を含み、y軸は出力視差を示す。正の視差値は線形にスケーリングされる（正の視差はスクリーンの背後であり、この場合、これは道路である)。線形スケーリング以外の他の何かを実行することは、単眼及び双眼深さ手がかり間の不一致を引き起こし、他のビューを再形成することは、真直なものの代わりに湾曲した/曲げられた道を示す。-65mmから例えば約-40mmまでのボールの視差範囲は、限定されたスクリーンの前の「空間」全体を用いるために、線形にスケーリングされる。前景と背景オブジェクトとの間のギャップ（視差範囲-40mm〜0mm）は除去される。図5に示される視差マッピングはこれを達成し、図6に示されるような(より小さい視差スケールを用いた)変更された視差マップをもたらす。以下で議論されるように、供給された変換（図6の画像の表示のための深さデータ）に加えて、恒等変換（すなわち図4の画像の表示のための実際の深さデータ）が、特定の対象装置の表示範囲のための新たなものを導き出すために用いられる。それぞれの3Dディスプレイが異なる深さ範囲の視覚化特性を持つので、視差変換が好ましくは用いられることが留意されるべきである。一例として、より小さいスクリーン上では通常、オブジェクトがほぼ観察者の鼻に触れる大きい映画スクリーンより深さ範囲が小さい。

視差マッピングの他の例が図7に示され、ディスプレイの深さ範囲が割り当てられる遠い面と近い面との間の関連する範囲を特定し、その範囲の外の深さ値を切り取る。

図4（右図）に示されるような視差マップを受信することによって、この視差マップから、図5に示されるマッピングの代わりに、視差マップ（例えば(-65mm,-65mm), (65mm, 65mm)によって特徴づけられる視差変換）から前記マッピング（この場合には恒等マッピング）を導き出すことが可能であることが留意されるべきである。

2007年9月13日に出願された未公開特許出願EP 07116278.8（代理人整理番号 PH008849EP1）に説明されるように（この文献全体は参照として本明細書に組み込まれる）、マッピングが観察条件及び3D表示特性が知られている受信端において適用されることができる（又はできない）ように、深さマップとともにこれらのマッピングを記述する視差変換を送信することが有益である。このように、視差マップが3Dディスプレイ及び観察条件に依然として適合していることができるので、コンテンツは様々な視差範囲能力を有するディスプレイ上で観察されることができる。したがって、図4からの画像及び深さには、図5に示される視差変換を記述する情報が付随することができ、あるいは逆に、図6からの深さマップがコンテンツ中に符号化される場合、図5に示される変換の逆が、図4に示される深さマップの再構成を可能にするために、メタデータとして送信されることができる。

さらに、元の深さ信号（又はMPEG-C part 3の視差スケール及びオフセットのようなメタデータ）が１つの視差範囲を生じさせ、一方、PH008849EP1に記載されているような提供された視差変換を適用することは、第２視差範囲を有する第２深さ信号をもたらす。

一実施例において、本発明の目的は、前記視差範囲のいずれも、すなわち、元の深さ信号の視差範囲も第２視差範囲も、対象3Dディスプレイの視差範囲に適合しないシナリオを取り扱うことである。そのような状況において、新規な変換は、補間（又は必要あらば外挿）によって、２つの変換（例えば提供された変換及び恒等変換）から計算されることができる。このようにして、信号の深さ範囲は、3Dディスプレイの利用可能な視差範囲に調整されることができる。

図3は、信号中に含まれる視差情報を処理する本発明による方法のフローチャートを示す。

ステップ（S1）301において、更なる画像情報に関連した視差マップを含む信号が受信される。

ステップ（S2）303において、第１データが、第１視差マップ制約を示す信号から取得される。

視差マップを示すデータは、視差情報（別名、像差情報であり、ビュー間の変位の（水平方向の）量を示す）、又は、距離情報（その位置のシーンがディスプレイの前又は背後でどれくらい離れて配置されるかを示すデータ）であることができる。一例として、視差マップ制約は、観察者と3Dディスプレイ装置との間のディスプレイ距離、3Dディスプレイ装置からの観察者の位置を示す位置パラメータ、又はその組み合わせを含むことができる。

ステップ（S3）305において、第２データが、第２視差マップ制約を示す信号から取得される。

ステップ（S4）307において、対象装置の第３視差マップ制約に適合する第３データが、少なくとも第１データ及び第２データを処理することによって決定される。この第３データは、対象装置の視差マップ情報制約に適合する更新された信号を生成するように適応される。

一実施例において、第１データ及び第２データは視差情報変換であり、第１及び第２視差マップ制約は画像情報のための第１及び第２深さ範囲である。

視差情報に関する用語は、深さ関連情報若しくは視差関連情報、又は両方の組み合わせを含むことができる。

この実施の形態において、第３データは第３視差情報変換であり、第３視差マップ制約は第３深さ範囲である。一実施例において、この第１視差情報変換は、受信された視差マップ、すなわち画像の表示のための実際の深さデータの恒等情報変換であり、少なくとも第２視差情報変換は、恒等情報変換から処理された視差情報変換である（図4-6参照）。

PH008849EP1に記載されるように、この少なくとも第２視差情報変換は、メタデータとしてビデオ信号中に含まれることができ、メタデータは、視差情報変換の生成に使用される少なくとも１つのマッピング関数、視差情報変換の生成に使用されるマッピング関数の少なくとも１つの逆関数、視差情報変換の生成に使用されるマッピング関数のための少なくとも１つの係数、又はそれらの組み合わせを有する。

一実施例において、対象装置の第３視差マップ制約に適合する第３データを決定するステップは、１セットの視差情報変換からの２つのそれぞれの視差変換の間を補間することを含み、視差変換の前記セットは第１及び第２視差変換を有し、第３データは、対象装置の深さ範囲に適合する第３視差情報変換である。２つ以上の視差情報変換は、第２視差情報変換から、又は受信された視差マップの恒等情報変換及び第２視差情報変換の１つ以上から、選択されることができる。他の実施例において、補間は、各々がそれらの範囲を持つ２つ（以上）の深さマップ間を補間することを含む。

したがって、複数の視差変換が提供される場合、高次の補間が用いられることができ、又は、利用可能な変換の適切なサブセットが補間を実行するために選択される。１つの一般的な潜在的な第３変換は、コンテンツ視差範囲をディスプレイ視差範囲に線形に圧縮又は拡張する線形変換である。

どの２つ以上の視差情報変換が更新された視差情報変換を決定する際に入力として使用されるかの選択は、選択ルールに基づいて選択されることができる。この選択は、対象装置の予め定められた深さ範囲内の視差情報変換を選択することに基づくことができる。一例として、どの２つ以上の変換を用いるべきかの選択は、その範囲が対象装置範囲の最も近くにある視差情報変換、好ましくは、より小さい範囲を持つもの及びより大きい範囲を持つものを選択することに基づくことができる。

一例として、元の深さデータの視差範囲が[0..12]であると仮定し、そして、おそらく、0〜12から副範囲[4..8]を選択して4を下回る値及び8を上回る値を切り取ることによって、この範囲を[0..4]にマップする視差変換が利用可能であると仮定する。この変換は、0-＞0、4-＞0、8-＞4及び12-＞4のマッピング（それらの間は線形補間による）によって特徴づけられることができる。対象装置が[0..8]の深さ範囲を持つディスプレイ装置である場合、恒等変換と供給された視差変換との間を補間することによって新たな視差変換を計算することが可能である。8が12及び4の平均であるので、これはマッピングを平均することによって達成される。結果は、0->(0+0)/2、4->(0+4)/2、8->(4+8)/2、12->(4+12)/2のマッピングである。そして、この新たな変換は、供給された変換の代わりに視差データに適用されることができる(したがって、例えば、０が０にマップされて４が２にマップされるので、２の視差は１にマップされる)。これは図8に視覚的に表され、「ダイヤモンド」は元の深さデータ[0..12]の視差範囲を示し、「三角形」は、この範囲を[0..4]にマップする供給された視差変換の視差範囲を示し、三角形は、第３の新たな視差変換［0..8］である。これは、新規な変換がどのように補間によって２つの変換から計算されることができるかという例である。このようにして、信号の深さ範囲は、3D対象ディスプレイの利用可能な視差範囲へと正確に調整されることができる。

補間はさらに、異なる位置で「制御ポイント」を持つ視差変換を用いて実行されることができる。例えば、以前の例を参照して、この例の供給された視差変換は、0, 4, 8及び12において制御ポイントを持つ。他の視差変換0-＞0, 6-＞8, 12-＞12（前記恒等変換と比べて(6,8)における追加の制御ポイント）がある場合、補間は、この視差変換に対して4及び8において値がいくつであるか、そして以前の視差変換に対して6において値がいくつであるかを計算しなければならず、そして新たな視差変換が、0, 4, 6, 8及び12における制御ポイントによって生成される。

図3のフローチャートに関して続けて、ステップ（S5）309において、更新された信号は続いて対象装置に転送され、そこで、更新された信号は、対象装置の利用可能な視差範囲内の三次元画像のビュー情報のための画像要素をレンダリングするように視差マップを調整するために用いられる。このステップは、上述の処理ステップが対象装置の外部で実行されるシナリオ、すなわち、上述の処理ステップが、必ずしも対象装置によって実行されるというわけではなく、（対象装置ではない）任意の受信装置によって実行されるシナリオを開示する。そのような装置は、プロセッサが、対象装置（例えば3Dディスプレイ装置）によって示される要求に適した信号を導き出すように補間することによってデータを変換することを可能にする処理ユニットであることができる。結果として、処理装置は、（例えば入力信号がすでに関連する２つの重要な信号を持つときに）セットトップ・ボックス中に存在することができ、それは3Dディスプレイ装置中に存在することができ、それは、メモリ中の情報をディスプレイへのビデオ出力に変換する「ディスプレイ・アダプタ」中に存在することができ、又は、PCコンピュータ上で動作するプログラムであることができる。

図9は、信号901中に含まれる視差情報を処理するための装置900を示し、装置900は、受信機(R) 910及びプロセッサ(P) 911を有する。受信機は、画像情報902に関連する視差マップを含む信号を受信するように適応されている。プロセッサ(P) 911は、第１視差マップ制約を示す信号からの第１データを取得し、第２視差マップ制約を示す信号からの第２データを取得し、少なくとも第１及び第２データを処理することによって対象装置904の第３視差マップ制約に適合する第３データを決定するように適応されている。この第３データは、対象装置904の視差マップ情報制約に適合する更新された信号を生成するように適応される。プロセッサ(P) 911によって実行される処理ステップは、図3のフローチャートにおいてすでに議論された。

この装置は、セットトップ・ボックス905、ブルーレイ・ディスク・プレーヤー905、3Dディスプレイ装置1000、ステレオ・ディスプレイ、ＰＣ電算機装置905、ポータブル・コンピュータ装置などの不可欠な要素であることができる。

図9に表されて、図3においてすでに議論されたように、この処理は、ディスプレイ装置側で（すなわちエンド受信機側で）実行されることができ、又は外部で実行されることができ、第３データは続いて、対象装置904の視差マップ情報制約に適合する更新された信号を生成するように、送信機(T) 906によって、処理、情報を受信するために受信機903に提供される有線又は無線通信チャネル907を介して対象装置904に送信される。外部で処理する場合、ディスプレイ装置900は、その中に例えば視差変換を有する.wowvxファイルを読み込んで、合成器(compositor)のための出力モードを（特定の範囲を持つ）特定のディスプレイのためのステレオ・モードに設定するように適応される。そのように、合成器は、調整された視差を用いて左及び右の画像をレンダリングする。

一例として、ブルーレイ・ディスクは、特定の3D深さ範囲のためのビデオ+視差情報及び異なる深さ範囲の第２ディスプレイ・タイプのために用いられることができる新たな視差マップへの視差情報のマッピングを可能にする視差変換を含むことができる。ブルーレイ・ディスク・プレーヤーは、このディスクを再生し、圧縮されたフォーマットからディスプレイ・フォーマットへと情報を変換し、そして全てのこの情報を例えばHDMIを介して3Dディスプレイ装置に送信することができる。ディスプレイ装置又はブルーレイ・ディスク・プレーヤーは、視差情報を懸案の3Dディスプレイのディスプレイ範囲にマップするために用いられることができる新規な視差変換を計算するために本願明細書において開示される方法を適用することができる（ブルーレイ・ディスク・プレーヤーは、例えばEDID情報からディスプレイの表示範囲を確認することができる）。ブルーレイ・ディスク・プレーヤーがこの方法を実行する場合、それは、ビデオ・データをディスプレイに伝達するときに、3Dディスプレイ装置に適合する新規な変換によってディスクから読み込まれる視差変換を置き換える。別の態様では、ブルーレイ・プレーヤーは、新規な視差変換をディスクから読み込まれる視差マップに適用することができ、ディスクから読み込まれるものの代わりにディスプレイに新規な視差マップを送信することができる。視差変換を送信する必要性はもはや存在せず、本願明細書において開示される方法を実行しない3Dディスプレイに互換性を提供する。別の態様では、ディスクからの元の視差変換は3Dディスプレイに送信され、3Dディスプレイは新規な視差変換を計算するために本願明細書において開示される方法を実行する。

図10は、図9からの装置900を備える三次元（3D）ディスプレイ装置1000を示す。この3Dディスプレイ装置は、自動立体視ディスプレイシステム、立体視ディスプレイシステム又はステレオ・ディスプレイであることができる。

本発明による方法は、様々な処理プラットフォーム上で有利に実行されることができる。汎用コンピュータ、デジタルシグナルプロセッサ又は他のプログラム可能なプロセッサ上で動作する実施態様が想定されることができる。あるいは、本発明は、特定用途向けＩＣに含まれる予めプログラムされたハードウェア実施態様で実行されることができる。

本発明が図面及び前述の説明において詳細に図示されて説明されたが、そのような図示及び説明は、解説又は例示であって、制限的なものではなく、本発明は、開示された実施の形態に制限されない。図10を参照して上で述べられたように、本発明は、ディスプレイ、セットトップ・ボックス又は他の装置のような製品で実施されることができることが留意される。後者の場合、本発明は、まさにこの目的及び/又はより一般的な目的の処理プラットフォームを対象とされる処理プラットフォームに組み込まれることができ、その上で実行されることができる。

図面、開示及び添付の請求の範囲の検討から、開示された実施の形態に対する他のバリエーションは、請求された発明を実施する際に、当業者によって理解され、遂行されることができる。請求の範囲において、「有する」「含む」などの用語は、他の要素又はステップを除外せず、単数の表現は複数を除外しない。１つのプロセッサ又は他のユニットは、請求項中に列挙されるいくつかのアイテムの機能を実現することができる。特定の手段が相互に異なる従属請求項中に列挙されているからといって、これらの手段の組み合わせが有効に用いられることができないことを意味しない。コンピュータプログラムは、光学記憶媒体又は他のハードウェアと一緒に若しくはその一部として提供される固体素子媒体のような、適切な媒体上で記憶/配信されることができるが、インターネット又は他の有線若しくは無線遠隔通信システムのような他の形態で配信されることもできる。請求項中の任意の参照符号はその範囲を制限するものとして解釈されてはならない。

Claims (14)

1. 信号に含まれる視差情報を処理する方法であって、
   視差情報及び画像情報を含む信号を受信し、
   前記視差情報及び前記画像情報のための第１視差情報範囲から生成される第１視差情報変換特性を取得し、
   前記視差情報及び前記画像情報のための第２視差情報範囲から生成される第２視差情報変換特性を取得し、
   少なくとも前記第１視差情報変換特性及び前記第２視差情報変換特性を処理することによって対象表示装置の第３視差情報範囲に適合する第３視差情報変換特性を決定し、
   前記第３視差情報変換特性は、前記視差情報を前記対象表示装置の前記第３視差情報範囲に適合されるように変換するために用いられる、方法。
2. 前記第１視差情報変換特性が、受信された前記視差情報の恒等変換を示す、請求項１に記載の方法。
3. 前記第２視差情報変換特性が、処理される入力として前記恒等変換を用いることにより取得される視差情報変換特性であり、前記処理は、前記第２視差情報変換特性を出力する、請求項２に記載の方法。
4. 前記信号がビデオ信号であり、前記第２視差情報変換特性がメタデータとして前記ビデオ信号に含まれる、請求項１から請求項３のいずれか一項に記載の方法。
5. 前記メタデータが、
   前記視差情報に関するマッピング関数、
   前記視差情報に関するマッピング関数の逆関数、及び
   前記視差情報に関するマッピング関数の係数、
   のうちの少なくとも１つを含む、請求項４に記載の方法。
6. 前記対象表示装置の前記第３視差情報範囲に適合する第３視差情報変換特性を決定するステップが、
   １セットの視差情報変換特性のからの２つのそれぞれの視差情報変換特性の間を補間することを含み、前記１セットの視差情報変換特性は前記第１及び第２視差情報変換特性を含み、前記第３視差情報変換特性は前記対象表示装置の深さ範囲に適合する、請求項１に記載の方法。
7. 前記１セットの視差情報変換特性は、前記信号からの更なるデータに基づく更なる視差変換特性をさらに含む、請求項６に記載の方法。
8. 前記第３視差情報変換特性の決定において入力として用いられる前記視差情報変換特性は、選択ルールに基づいて選択される、請求項６又は請求項７に記載の方法。
9. 前記選択ルールが、前記対象表示装置の予め定められた深さ範囲内の視差情報変換特性を選択することを定める、請求項８に記載の方法。
10. 前記対象表示装置が三次元ディスプレイシステムであり、それぞれの前記視差情報範囲が、
    三次元ディスプレイ装置の視差又は深さ範囲、
    観察者と三次元ディスプレイ装置との間のディスプレイ距離、及び
    三次元ディスプレイ装置からの観察者の位置を示す位置パラメータ、
    のうちの少なくとも１つを含む、請求項１に記載の方法。
11. 前記第３視差情報変換特性は、続いて、前記対象表示装置に転送され、前記第３視差情報変換特性は、前記対象表示装置の利用可能な視差範囲内の三次元画像のビュー情報のための画像要素をレンダリングするために、前記対象表示装置によって前記視差情報を調整するために用いられる、請求項１に記載の方法。
12. コンピュータ上で実行されたときに処理ユニットに請求項１に記載の方法を実行することを指示するコンピュータプログラム。
13. 信号に含まれる視差情報を処理するための装置であって、
    視差情報及び画像情報を含む信号を受信するための受信機、
    前記視差情報及び前記画像情報のための第１視差情報範囲から生成される第１視差情報変換特性を取得し、
    前記視差情報及び前記画像情報のための第２視差情報範囲から生成される第２視差情報変換特性を取得し、
    少なくとも前記第１視差情報変換特性及び前記第２視差情報変換特性を処理することによって対象表示装置の第３視差情報範囲に適合する第３視差情報変換特性を決定するためのプロセッサ、
    を有し、
    前記第３視差情報変換特性は、前記視差情報を前記対象表示装置の前記第３視差情報範囲に適合されるように変換するために用いられる、装置。
14. 請求項１３に記載の装置を含む三次元ディスプレイ装置。

Images