JP5112326B2

JP5112326B2 - ３次元表示のための光学システム

Info

Publication number: JP5112326B2
Application number: JP2008538467A
Authority: JP
Inventors: ペテル−アンドレレデルツ; マルセリヌスピーシーエムクレイン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2005-11-02
Filing date: 2006-10-26
Publication date: 2013-01-09
Anticipated expiration: 2026-10-26
Also published as: WO2007069099A2; CN101300520A; JP2009515214A; WO2007069099A3; CN101300520B; US20080278809A1; US7692859B2; TW200720704A; EP1946180B1; EP1946180A2

Description

本発明は、画像及び／又はビデオ信号の３次元(3D)表示の分野に関する。特に、本発明は、２次元(2D)表示と共に使用するのに適した光学システムを提供する。更に、本発明は、3D表示デバイスと、2D画像に基づく3D効果を与える方法とを与える。

放送テレビシステムにおいて、3Dテレビ(3DTV)は、カラーテレビの導入に次ぐ革新的出来事であろう。(医療／産業上の)専門用途においては、3Dによる視覚化はすでに当たり前の技術である。商業的に次に注目されそうな分野は、エンターテインメント及び携帯通信における3Dによる視覚化である。

3Dディスプレイの１つのタイプは、例えば、[C. van Berkel, "Image preparation for 3D-LCD", Proc SPIE, Vol. 3639, pp. 84-91,1999]に記載される3D-LCDといった、自動立体表示マルチビューディスプレイである。このディスプレイは、特殊な3Dメガネの必要なしに、複数の観者に対して自由な3Dディスプレイを提供する。それは、いくつかの光学フロントエンドを備える標準的な2Dマトリクスディスプレイを有する。

こうしたディスプレイにおける深刻な問題は、分解能である。光学フロントエンドは、空間及び角分解能に対して2Dマトリクスディスプレイの元の空間分解能を分散させてしまう。角分解能は、「表示数」N_viewsと呼ばれる。現在のディスプレイは、N_views〜10を持ち、係数10で空間分解能の損失をもたらす。

現在の技術でも、切り替え可能なディスプレイを介して分解能損失は部分的には解決される。光学フロントエンドは、オン又はオフに切り替えられることができ、その切り替えが、分解能が低下した状態の3Dイメージング、又は完全な2D分解能を持つ2Dイメージングをもたらす。固定レンズに比べて調整可能レンズの屈折力が低いことが原因で、レンズに基づく現在の切り替え原理は、結果として、追加的な性能損失を生じさせる。

マルチビューディスプレイは、高品質な奥行き(depth)及び表示角度要件に合致するため、N_views〜100を必要とする。これは、深刻な分解能損失をもたらす。

最後に、現在のディスプレイは、水平角分解能のみを与える。これは、通常の表示条件には十分である。しかしながら、いくつかの場合においては、表示が正常に機能しない。観者の垂直な動きが、3D画像における弾力性をもたらす。例えば文書作成などでそのディスプレイが90°回転される場合、又は(例えばソファからTVを見るため)観者が頭を回転させる場合、3D効果は失われる。垂直角分解能を追加することは、分解能損失の更に大きな係数をもたらす(例えば、総数にしてN_views:x* N_views:y)。

国際公開第2004/075526 A2号は、平行化された光に基づき2D画像を与える2Dディスプレイアレイと、その前に配置されるスプリットスクリーンとを有する自動立体ディスプレイを記載する。スプリットスクリーンは、画像をスキャンし、連続的に出口角の範囲において画像を表示する。ディスプレイアレイのピクセルをアドレッシングする手段を用いて、ディスプレイアレイにおける表示画像をスキャンのタイミングと合わせることにより、画像のマルチビュー自動立体表示が実現可能となる。スプリットスクリーンは、ディスプレイアレイのピクセルに対して、ピクセルの平行化された光がレンズに軸外で入射し、レンズの焦点が制御可能であるよう配置される複数の円筒形レンズを持つレンチクラレンズとすることができる。時間的なマルチプレキシングは、非常に高フレームレートなディスプレイを必要とし、現在利用可能なフレームレートは、独立な表示数を制限する。

国際公開第03/081920 A2号は、2D画像を生成する2Dディスプレイと、その2Dディスプレイの前に配置される光学フロントエンドとに基づく3D表示デバイスを記載する。光学フロントエンドは、コレクタ板と、そのコレクタ板の前に配置される第１のフレネルタイプのレンズと、その第１のフレネルタイプのレンズの前に配置される第２のフレネルタイプのレンズとを含む。しかしながら、斯かるディスプレイは、フレネル光学機器から特定の距離に位置する画像平面で焦点を結ぶ画像しか提供しないことになる。

本発明の目的は、2D画像に奥行き情報を与えるものとして機能することができ、かつ分解能損失又は輝度損失のいずれにも苦しむことなく、様々な表示角度から見られることができる光学システムを提供することにある。

第１の側面によれば、本発明は、実質的に平行化された光により表される２次元画像に光学的奥行き情報を追加する光学システムを提供する。その光学システムは、
上記２次元画像の前に第１の距離で配置される光学レンズの第１のアレイと、
上記２次元画像の前に上記第１の距離より大きな第２の距離で配置される光学レンズの第２のアレイとを有し、光学レンズの上記第１及び第２のアレイにおける上記光学レンズの光学特性が、上記光学的奥行き情報に基づき調整可能である。

平行化された光により表される２次元画像は、例えば2Dディスプレイマトリクスにより与えられるような複数のピクセルを含む。

第１の側面によるその光学システムは、2D画像の前に配置され、その2D画像に光学的奥行きを与える光学フロントエンドとして機能することができる。その光学システムは、ほぼ平行化された光により表される2D画像を生み出すことができる2Dディスプレイに適用可能である。斯かるディスプレイは、例えば、液晶ディスプレイ(LCD)又は液晶オンシリコン(LCOS)技術に基づかれる2Dピクセルマトリクスの後に配置される平行化された光源に基づかれることができる。

その光学システムは、N_viewsに関係なく、下にある2Dディスプレイの分解能又は輝度のいずれも犠牲にすることがないマルチビュー3Dディスプレイを可能にする。実際の実施形態に応じて、得られる視覚的3D効果は、ボリュメトリックディスプレイ又はマルチビューディスプレイで得られることができるものと似たものとすることができる。ある実施形態では、水平及び垂直角分解能が共に得られることができるか、又はある実施形態では、水平角分解能だけが得られる。

第１の側面による光学システムを用いる場合、3D画像を与えるのにレンダリングは必要とされない。即ち、例えばRGBDビデオ信号(Philips Research 3Dビデオ標準)といった奥行き情報を備えるビデオ信号に基づき3D画像を提供するための強力な信号プロセッサ等は必要ない。斯かるRGBD信号における奥行きパートDは、例えば簡単な変換式に基づき、光学レンズのピクセルワイズの焦点距離を制御するのに使用される。RGBD信号の2D画像パートであるRGBは、従来の態様における光学システムの後段側の2Dディスプレイに適用される。

光学レンズの調整可能な光学特性により、光学レンズの任意の調整可能な光学特性又はパラメタが、光学レンズの焦点距離又は強度に影響を与えることを理解されたい。GRINレーザ又はいわゆる流体(fluid focus)レンズといった各光学レンズに個別的に電流を印加することにより例えば焦点距離といった光学特性を調整することができる斯かるアレイが存在する。

好ましい実施形態において、光学システム、即ち、光学レンズの２つのアレイはそれぞれ実質的にフラットである。即ち、各アレイは、１つの平面に広がるように配置される光学レンズを持つ。フラット2Dディスプレイと組み合わせると、これは特に好ましい。しかしながら、2Dディスプレイが曲面を持つ場合でも、2Dディスプレイの全体領域に対して、2Dディスプレイからその光学システムの光学レンズの第１のアレイまでの同じ距離を提供するよう、その光学システムは、対応する曲面に沿って好ましい形状とされる。

いくつかの実施形態において、上記光学レンズの第１及び第２のアレイにおける上記光学レンズは、第１の状態と第２の状態との間で切替られることができる。その場合、上記光学レンズは、上記第１の状態において屈折的であり、上記第２の状態において非屈折的である。斯かる簡単な光学特性調整により、第１又は第２のアレイのレンズのいずれかを屈折的であるよう選択しつつ、同じ位置にある他のアレイにおけるレンズを非屈折的であるよう選択することにより、奥行きを与えることができる実施形態を提供することが可能である。その場合、位置は、2D画像における2D空間座標に関連付けられる。こうして、2D画像の見かけの位置が、屈折レンズの位置にあることになる。好ましくは、斯かる実施形態が、受け入れ可能な奥行き分解能を可能にするよう、第１及び第２の層に似た光学レンズの複数のアレイを含む。

他の実施形態では、上記光学レンズの第１及び第２のアレイにおける上記光学レンズの焦点距離又は光学強度が、上記光学レンズの第１及び第２のアレイ間に配置される仮想的レンズをエミュレートするよう調整されることができる。好ましい実施形態では、レンズは連続的に調整可能である。仮想的レンズがエミュレートされることができるような実施形態では、レンズの２つのアレイのみを用いてかなりの奥行き分解能を提供することが可能である。そのレンズは、ターゲット最大画像奥行きにより与えられる距離に配置される。

上記光学レンズの光学特性が、各レンズに対して個別に調整可能である。こうして、例えばピクセルサイズに依存して2D画像の異なる領域が異なる奥行きに関連付けられるよう、レンズを調整することが可能である。従って、奥行き画像が、高速なディスプレイマトリクスを必要とすることになる時間的マルチプレキシングを必要とすることなく2D画像に適用されることができる。

好ましくは、上記光学レンズの第１及び第２のアレイにおける上記調整可能な光学レンズの形状は、馬の鞍の形状、フラネルタイプの形状、球面形状及びレンチクラ形状からなるグループから選択される。光学レンズの第１及び第２のアレイの両方に対して同じ形状のレンズを使用することが可能である。代替的に、光学レンズの第１及び第２のアレイが、異なるレンズ形状を持つこともできる。

上記光学システムは、上記光学レンズの第１及び第２のアレイにおける上記光学レンズを調整するよう機能する前に、上記光学的奥行き情報に関する形態学的フィルタリングを実行するよう構成されるプロセッサを有することができる。斯かる形態学的フィルタリングは、多くの斯かるアレイが使用される場合に、異なる奥行きにあるレンズの２つのアレイ間で複数回屈折される光線に伴う問題を解決するのに適用されることができる。２つの層だけが使用される場合、複数回の屈折はめったに起こらない。連続的に調整可能なレンズが使用されるとき、形態学的フィルタリングは、空間的な位置揃えのずれを解決するのにまだ有利に適用されることができる。第１のアレイにおける単一のレンズを通る光線が、2D画像座標で見たときわずかに異なる空間位置にある第２のアレイにおける複数の異なるレンズを通過する場合があるので、これらのことが起こる。

2D画像がピクセル化されている場合、上記光学レンズの第１及び第２のアレイにおける上記光学レンズのサイズは、好ましくは、上記２次元画像のピクセルサイズとほぼ等しいか、又はピクセルサイズより小さい。これは、ピクセルワイズな光学レンズの第１及び第２のアレイを可能にする。これらのレンズの光学特性が個別に調整可能である場合、高い奥行き分解能だけでなく高い空間分解能を備える奥行き画像を提供することが可能である。

上記光学システムは、好ましくは、上記２次元画像の前の第３の距離に配置される拡散器を有する。上記第３の距離は、上記第２の距離より大きい。好ましくは、その拡散器は、入射光線を任意のすべての垂直方向に屈折させるが、水平方向には屈折させない垂直拡散器である。斯かる拡散器は、観者が異なる垂直表示角度からディスプレイを観測することを可能にすることになる。

第２の側面によれば、本発明は、ピクセルの２次元画像へ光学的奥行き情報を適用する方法を提供する。その方法は、
上記２次元画像の前に第１の距離で配置される光学レンズの第１のアレイを適用するステップと、
上記２次元画像の前に上記第１の距離より大きな第２の距離で配置される光学レンズの第２のアレイを適用するステップと、
上記光学的奥行き情報に基づき、上記光学レンズの第１及び第２のアレイにおける上記光学レンズの光学特性を調整するステップとを有する。

原理上は、第１の側面に関して上述されたのと同じ利点、実施形態及び用途が、第２の側面にも同様にあてはまる。

第３の側面によれば、本発明は、奥行き情報を含むビデオ信号を受信するよう構成される３次元表示デバイスを与える。その３次元表示デバイスは、
上記ビデオ信号を表すほぼ平行化された光の２次元画像を表示するよう構成されるディスプレイと、
光学システムとを有し、上記光学システムが、
上記２次元画像の前に第１の距離で配置される光学レンズの第１のアレイと、
上記２次元画像の前に上記第１の距離より大きな第２の距離で配置される光学レンズの第２のアレイとを有し、光学レンズの上記第１及び第２のアレイにおける上記光学レンズの光学特性が、上記光学的奥行き情報に基づき調整可能である。

その表示デバイスは、RGBD信号を受信し、そのRGBパートを、2D画像を表示するよう構成されるディスプレイに適用することができる。一方、斯かる信号の奥行きパートDは、光学システムに適用され、その場合、2D画像に奥行き寸法を与えるよう、レンズの第１及び第２のアレイの光学特性を調整するのに、その奥行きパートDが使用される。第１の側面に関して示されるように、2Dディスプレイマトリクスを与えるのにLCD又はLCOSディスプレイ技術が使用されることができる。その場合、2Dディスプレイマトリクスの後に平行化された光を与えるのに、平行化された光源が使用される。

原理上は、第１の側面に関して上述されたのと同じ利点、実施形態及び用途が、第３の側面にも同様にあてはまる。

本発明は、3Dイメージング機能を含む任意のタイプの製品に適用可能であることを理解されたい。例えば、3DTVといったテレビセット、コンピュータディスプレイ、ハンドヘルドコンピュータ、携帯電話、携帯ゲーム機等、コマーシャル又はスポーツイベント若しくはコンサートといったパブリックイベントを見せる大画面ディスプレイに適用可能である。医療用途に関しては、本発明は、スキャン結果の3Dイメージングのための3Dディスプレイ、又は複雑な外科処置若しくはトレーニング目的での仮想現実手術において医師のナビゲーションを補助するための3Dディスプレイに適用されることができる。

以下、対応する図面を参照して、本発明がより詳細に説明される。

本発明は、様々な修正及び代替的な形態を受け入れることができるが、本書では、特殊な実施形態が、図面において例示を介して示され、詳細に説明されることになる。しかしながら、本発明は、開示される特定の形態に限定されるものではない点に留意されたい。本発明は、添付された請求項により規定される本発明の精神及び範囲に含まれるすべての修正、均等物、及び代替物を含むものである。

図１は、上面図において、本発明の１つの実施形態の背後にある原理を説明するものとして機能する。そこでは、平行化された光の2D画像の前に配置される光学レンズ３０のスタックを備える光学フロントエンドを用いて、2D画像の奥行き次元が生成される。その2D画像は、例えばLCD又はLCOSといったピクセルの2D表示マトリクス２０を平行な光線で照射する平行化された光源１０により提供される。その2D表示マトリクス２０は、こうした光線上に例えば通常のRGB画像といった2D画像をインプリントする。

2D表示マトリクス２０の各ピクセル２１の前に、光学レンズ３０のスタックが奥行き方向に、即ち、表示マトリクス２０により形成される平面に対して垂直に異なる距離で位置する。光学レンズ３０は、非屈折(「オフ」)状態と屈折(「オン」)状態との間で調整されることができる調整可能な拡散器として機能する。光学レンズ３１の１つを「オン」に切り替えつつ、光学レンズ３０のスタックにおける残りの光学レンズを「オフ」にすることで、「オン」状態のレンズ３１は屈折を起こす、即ち、ピクセル２１を通る平行化された光の平行な光線に対して拡散器として機能する。ディスプレイの前にいる観者にとって、屈折を起こす光学レンズ３１は、ピクセル２１の見かけの位置として機能することになり、こうして、奥行き次元が、表示マトリクス２０により与えられる2D画像に適用される。例えばRGBD信号に含まれるような奥行き情報は、2D画像の各ピクセルに対して、レンズ３０のスタックにおいて屈折状態へと切り替えられる適切なレンズを選択するのに使用されることができる。一方、レンズ３０のスタックにおける残りのレンズは、非屈折状態に切り替えられる。

図１は簡単化のため１つのピクセル２１に対して揃えられた光学レンズ３０しか図示しないが、光学レンズの同様なセットが、2D画像における好ましくはすべてのピクセルの前に配置されることを理解されたい。従って、2D表示マトリクス２０により与えられる2D画像の各ピクセルに奥行き次元を適用することが可能であり、ディスプレイの前のすべての観者に対して、水平及び垂直視差なしに、及び分解能又は輝度損失なしにフル3D画像が与えられることになる。ディスプレイの表示角度は、光学レンズ(又は拡散器)３０の強度により制約を受けることになる。図１において、７つの光学レンズ３０のスタックが説明のために表示される。しかし、使用するレンズの数として何を選択するかは、所望の奥行き分解能に依存する。即ち、レンズのスタックにおけるレンズ数を増やすことは、より奥行き分解能を高くすることを意味する。その2D画像に最も近いレンズと、2D画像に対して最大距離にあるスタック内のレンズとの間の距離は、2D画像に適用されることができる奥行きの範囲を決定することになる。

異なる奥行きにある２つ又はそれ以上の光学レンズ間の光線が複数回屈折することを防止するため、２つ以上のレンズ層が使用される場合、奥行きパターンは、その2D画像を横切って滑らかに変化すべきである。効率的には、「オン」状態にある別の光学レンズの光コーンに光学レンズが位置する場合、「オン」状態にある光学レンズが存在すべきではない。即ち、オブジェクトが他のオブジェクトをふさぐべきではない。非常に複雑性の低い形態学フィルタを用いて奥行き情報を処理することにより、この要件は容易に合致されることができる。

図１に表示されるような拡散器３０の光学レンズは、様々な方法で作成されることができる。図１に示される最も簡単なものは、(正、又は図示されるような負)レンズが、ウインドウベースの切り替え可能な2D-3Dディスプレイに対して切り替え可能なマトリクスレンズとして存在するものである。更に、フラットピクセルマトリクスにおいて容易に製造することができるフラネルレンズが使用されることができる。フラネルレンズは拡散器として使用されることができるだけなので、その品質／強度トレードオフは、広い表示角度を可能にする強度に完全に設定されることができる。

また、レンズの代わりに、例えば、アクティブ・バックライト・スキャニング・ウィンドウ技術で使用されるようなLCポリマゲルに基づかれる、他のタイプの拡散器が使用されることができる。これらは、アクティブマトリクスで作られることができる。

図２は、単一のピクセルに対する好ましい実施形態を示す。図１に示される実施形態は、受け入れ可能な奥行き分解能を与えるため、複数の調整可能な光学レンズ又は拡散器のスタックを必要とするという不利な点があるが、図２における実施形態は、光学レンズの２つのアレイだけを用いて同様の機能を提供する。図２において、第１の光学レンズ４０は、平行化された光の2D画像のピクセルの前における第１の距離に配置されるが、第２の光学レンズ４２は、その2D画像の前でより遠い第２の距離に配置される。焦点距離又は強度は、互いに独立した、第１及び第２の光学レンズ４０、４２の両方に基づき連続的に調整されることができる。全体の効果は、実際の第１及び第２の光学レンズの位置及び強度(焦点距離)に応じて、１つの仮想的な光学レンズ４１がいくつかの他の位置に存在するとした場合と同じである。これは、図２において、2D画像のピクセルから第１及び第２の光学レンズ４０、４２を通る光線経路４３と、対応する見かけの光線経路４４との例により示される。

従って、図１において、オン／オフ光学レンズのスタックは、光学レンズの２つのピクセル・マトリクスアレイにより置き換えられることができる。１つのアレイは、所望の最小奥行きにあり、もう１つのアレイは、所望の最大奥行きにある。各光学レンズは、連続的に調整可能な焦点距離又は強度を持つ。こうして、２つの光学レンズの強度又は焦点距離を適切に調整することにより、(少なくとも２つのアレイ間の)任意の所望の奥行き位置に仮想的なレンズを構築することが可能である。

上述した方法は、仮想的な光学レンズ４１が第１の光学レンズ４０の位置又は第２の光学レンズ４２の位置に正確に配置される場合に、うまく機能する。仮想的な光学レンズ４１が第１の光学レンズの位置に配置される場合、屈折光線は、他の表示ピクセルに対応するレンズの第２のアレイの多くの異なるレンズを通過することになるが、これは問題ではない。なぜなら、この場合、第２のアレイにおけるすべてのレンズが、完全に「オフ」状態、即ち、非屈折状態であるからである。

図３は、仮想的レンズ５１の中間位置に対する問題を説明する。第１のレンズ５０及び第２のレンズ５２は、適切な位置及び焦点距離(強度)で仮想的なレンズ５１を作成することができる。しかし、斯かる仮想的レンズ５１の有効な開口はあまりにも小さいことになる。第２の光学レンズ５２における固定され限定された開口は、結果として、仮想的レンズ５１に対するものより小さな開口を生じさせる。

これは、第２のレンズ５２の開口を適切に大きくする(up-scaling)ことにより補償されることができる。適合的な開口の大きさ変更が実行されることができるが、斯かる適合的な開口の大きさ変更は、複雑な場合がある。第１に、ピクセルサイズより大きな任意の開口が、密集したピクセルマトリクスにおけるレンズのタイル化(tiling)を不可能にすることになる。

この問題に対するソリューションは、光学レンズの第１及び第２のアレイの両方に対して特殊なタイプの光学レンズを用いることである。この特殊なタイプの光学レンズは、適合的な強度と適合的な開口の大きさ変更とを組み合わせつつ、密集したピクセルタイル化ができる能力は維持する。この方法を用いると、垂直方向の運動視差を生成する能力は失われる。以下、光学レンズの２つのアレイ間の相互作用だけでなく、適切なタイプの光学レンズが論じられる。

図４の左側は、光学レンズの第１及び第２のアレイの両方の各ピクセルに対して使用されることになる光学レンズ６０の好ましい形状の3Dスケッチを示す。即ち、「馬の鞍」形状レンズ６０である。斯かるレンズ６０は、入力する平行化された光をある方向における焦点へと傾けつつ、その方向に直交する方向に光を拡散させることになる。レンズを完全な「オフ」状態６１に調整することにより、平行化された光線が、影響を受けないでレンズを通過することになり、こうして、ピクセルサイズ領域における平行化された光が、図４の真中のスケッチに描かれるように、レンズ通過後もピクセルサイズ６２のままであることになる。一方、右側のスケッチは、完全に「オン」状態６３に調整されるとき、レンズが平行化された光をライン状の焦点６４へともたらすことを説明する。

「馬の鞍」形状のレンズは、h = x*yにより記述されることができる。ここで、hは、局所空間位置x、yでの高さ(又は厚み)である。x = y = 0は、レンズの中心を参照する。直線x = yに沿って、これは、正レンズを生み出し、y = -xに沿って、これは負レンズ(又はレンズ物質の屈折率とレンズが埋め込まれる基板とによってはその逆)を生み出す。斯かるレンズは、符号において異なる２つの焦点距離を同時に持つ。x及びyのスケールに応じて、実際の式は、幾分異なることができ、例えば定数を含むことができる。

図５は、ライン状のピクセルに対する好ましい光学システムを示し、その光学システムは、2D画像の各ピクセル７２に対して「馬の鞍」形状の光学レンズの第１及び第２のアレイ７０、７１を含む。その2D画像は、平行化された光源７３の光上にその2D画像をインプリントするピクセルのマトリクス７２(例えば従来のLCDマトリクス)を備える空間光変調器により与えられる。第１のアレイ７０の光学レンズは、それらが完全に「オン」に調整されるとき、その焦点のラインが、第２の光学アレイ７１における多数の光学レンズを横切るような態様で方向付けられる。照射される部分は共に、必要とされる大きな開口レンズを形成する。

図５に示される図示される実施例において、第１のアレイ７０の光学レンズは、ほとんど完全に「オン」に切り替えられる。即ち、ほとんど最大屈折状態にされる。従って、ほぼ最大開口が第２のアレイ７１に対して必要とされる(アレイ７０が完全に「オン」という例外的な場合、アレイ７１は、通常完全に「オフ」であることになり、レンズの形状及びサイズは重要でなくなる)。実施例において、ピクセル７２のマトリクスの中間ピクセルはアクティブであり、このピクセルを通る平行化された光線は、まっすぐな線で示される。こうした光線は、第1のアレイ７０の真中の光学レンズでぶつかり、このアレイ７０が「オン」に切り替えられるので、その光線は、図示されるようにこのレンズにおいて屈折される。屈折した光線は、第２のアレイ７１の図示される７つのレンズすべてに入ることが示される。第２のアレイ７１の図示される７つのレンズすべてを通る太い真っ直ぐな線は、その光線がアレイ７１とぶつかる位置を示し、アレイ７０の真中の光学レンズの焦点のラインに対応する。点線７４は、アレイ７１におけるレンズの断面を示し、そこでは、その断面は、奥行き方向にあり、焦点のラインに沿っている。この断面は、アクティブピクセルとアレイ７０の真中のレンズとにより使用されるアレイ７１におけるレンズの一部でしかない。図示されるように、この断面は、所望の形状及びサイズを正確に持ち、各個別のレンズよりも実質的に大きな開口を持つ。

第２のアレイ７１の前のある距離の位置に配置される垂直拡散器７５が図５に示される。この垂直拡散器７５は、異なる高さからディスプレイを表示することを可能にする。２つの光学レンズアレイ７０、７１が、主に水平方向に光を屈折させ、従って垂直屈折が非常に制限されるという理由で、これが必要とされる。完全な拡散器が、入力光線を任意の方向に屈折させる場合(例えば研磨されたガラス)、垂直拡散器は入力光線を任意の方向に屈折させるが、それも垂直にのみである。(通常、従来のレンチクラ3Dディスプレイにおける方向に垂直に)正確に方向付けされるとき、3Dディスプレイに使用されるような通常のレンチクラアレイがこの目的のために使用されることができる。

図６は、図５において図示される光学システムのシミュレーションから生じる光線を示す。図６は、第１及び第２のアレイ８０、８１のレンズが共に50%「オン」にされるとき、即ち、第１及び第２のアレイ８０、８１が共に部分的に屈折状態にされるとき、最も関連する状態に対する結果を示す。図５においてわかるように、垂直拡散器８２は、レンズ８１の第２のアレイの前に位置する。簡単化のため、図６は、１つのピクセルだけがアクティブ、従って、第１のアレイ８０の１つのレンズのみがアクティブであるような状態を示す。見かけのピクセル位置８３が、第１のアレイ８０と第２のアレイ８１との中間に示される。そのシミュレーションは、何らかの光線が誤った後退方向に屈折していることを示す。これは、こうした光線が、誤ってレンズと正確にその縁部分でぶつかっているからである。これは重要ではない。なぜなら、斯かる光線の数は非常に少ないからである。

図７は、図５による馬の鞍レンズ６０のフレネルバージョンであるレンズ９０を示す。この場合「フレネル」であるとは、図７にはっきり示されるように、もとのレンズ６０が、水平方向に沿って複数のサブレンズにスライスされることを意味する。その態様は、局所表面方向が実質的にレンズ６０とレンズ９０とに対して同じであるようにされる。フレネルタイプのレンズは、図６のシミュレーションにおいてレンズ８１の第２のアレイにも使用された。フレネルレンズは、例えば、反対側アレイにも使用される「馬の鞍」形状レンズと共に、第１及び第２のアレイのいずれかにおいて使用されるか、又はフレネルレンズが第１及び第２のアレイの両方において使用されることができるか、のいずれかである。フレネルレンズの薄い構造が、それらを容易に調整可能なものとする。また、サブレンズの数に応じて、その垂直屈折はほぼゼロである。これは、システムデザインを容易にすることができるが、より望ましくない屈折をいくらか生じさせる。それは、図６においても望ましくない反射光線として表示される。図７の真中のスケッチは、「オフ」状態、即ち、非屈折状態であるよう調整される調整可能なフレネルレンズ９１を通り移動する平行化された光線を示す。見て分かるように、光線９２は、屈折することなくレンズを通過している。右側のスケッチは、「オン」状態、即ち屈折状態である調整可能なフレネルレンズに対する光線９３を示す。ここで、光線９４は、異なる方向に屈折していることがわかる。

更に別の代替例として、同じ又はより好適な特性を持つ調整可能又は切り替え可能なホログラフィックタイプのレンズが使用されることができる。これは、可能性として、例えばスペクトル純度又はコヒーレンスといった、平行化されたバックライトに関する追加的な要件を含む。

図８は、奥行き方向に2D画像から異なる距離d₁、d₂の位置にある第１及び第２のレンズ１００、１０２を示す。レンズ１００、１０２は、通常の負レンズであり、行われる計算は、馬の鞍形状のレンズに対してよりも実質的に簡単である。しかしながら、その結果は、図１及び図２に基づく実施形態が効果的に同じであることを既に示したように、同じである。２つのレンズ１００、１０２は、単一の仮想的な有効なレンズ１０１を、第１及び第２のレンズ１００、１０２の中間の見かけの位置d_effに生じさせる。光線１０３は、2D画像からレンズ１００、１０２を通る経路に従う。仮想レンズを通るその見かけの経路は、符号１０４で示される。第１のレンズ、仮想レンズ、及び第２のレンズの焦点距離は、それぞれ以下f₁、f_eff及びf₂で表されることになる。C = 1/fとして焦点距離に対して規定される、対応する光学強度C₁、C_eff、及びC₂が、以下の計算において使用されることになる。

負レンズに対して、Cは、0以上として規定される。ここでは、第１及び第２の(即ち実際の)レンズの強度が、

として規定される。

ここで、αは共に、0から1の間で自由に調整可能であり、C_maxは、レンズに対する最大強度を表す。更に、仮想的なレンズ強度に対して、

であることがわかる。仮想的なレンズの位置は、

で与えられる。所望の量に対して、

が成り立ち、

であることがわかる。

これらは共に、0から1までの区間内にあり、従って、これらの値は実現可能である。更に、ディスプレイ表示角度は、(通常、ピクセルサイズに等しい)レンズ開口W_lensを焦点距離(1/C_max)で割ったものに関連し、従ってディスプレイ表示角度βは、

と書きかえられることができる。

図９は、調整可能なレンズ１１０、１１１の第１及び第２のアレイを備える実施形態を介してβのより正確な計算を示す。各アレイは、屈折率n_substrateの基板に関する上位部分及び下位部分と、調整可能な屈折率n_substrate + Δnを備える部分とを持つ。ここで、Δnは、調整可能である。レンズの第１及び第２のアレイの間の隙間は空気であり、即ち、屈折率

である。図９は、レンズ上部の断面における２つの層の上面図を示す(図４におけるレンズ６０の上部)。

d_eff = d₁であるような簡単な状況だけを想定する。なぜなら、そのシステムは、すべてのd_effに対して同じ動作をするからである。この簡単な状況において、レンズ１１０の第１のアレイは、最大限「オン」に切り替えられ(C_max)、レンズの第２のアレイは、完全に「オフ」に切り替えられる。これは、第１のレンズ１１０に対して、その下位部分１１２に対する屈折率が、n_substrate + Δnで表されることを意味し、第１のレンズ１１０の上位部分１１３に対する屈折率が、n_ON = n_substrateで与えられることを意味する。第２のレンズ１１１に対して、その下位部分１１４に対する屈折率は、その上位部分１１５と同じくn_substrateである。なぜなら、第２のレンズは、「オフ」に切り替えられているからである。

さらに、最大限左方向に行く光線が示される(ここでの断面は、図４に示されるレンズ６０の上部で選択されている。仮に例えばレンズの下部が断面として選択される場合、光線は、最大限右方向に移動したであろう)。

図９にも示されるように、第２のレンズ層を去るような角度は、表示角度の半分即ちβ/2に関係する。詳述はしないが、第１及び第２のレンズ１１０、１１１に対してn_substrateが同じであることを仮定すると、ディスプレイ表示角度βが、

と書き換えられることが得られる。

ここで、γは、レンズ形状に直接関係する、図９においてスケッチされる第１のレンズ１１０の下位部分１１２と上位部分１１３との間の角度である。

例えば、現在のLC切り替え可能なレンズを用いると、Δn〜0.3であり、従って、表示角度はおよそβ〜0.6γとなる。

図１０は、バックライトに関する追加的な制御及びレンズの再度の形状調整を用いて、図６における見かけとしての望ましくない反射がどのように最小化されることができるかを示す。基本的に、レンズの縁に当たる光線の可能性が最小化される。グリッド、バリア又は回折格子１２０が、入射光をレンズ１２１の中央領域だけへと空間的に制限する目的で、第１のレンズ１２１の前に導入されていることがわかる。更に、各レンズは、各レンズの正確な部分のみを光線が通過することを確実にするため、再度形状が整えられる。その形状再調整(re-shaping)は、図９に示されるレンズの形状との比較により明らかにわかる。図１０に示されるその厚い光線は、図９に示されるような形状を備えるレンズの場合、第２のレンズ層で反射を経験することができる光線を示す。

別の実施形態においては、調整可能なレンズのアレイが、使用されることができる。そこでは、各レンズの光学特性を個別に調整することはできないが、むしろ一様に、即ち、アレイのすべてのレンズの光学特性が、すべて同じ特性を持つよう一度に調整されることができる。こうして、一様に調整可能なレンズの２つの斯かる一様なアレイを用いる実施形態を提供することができる。これらの実施形態に対して、時間的なマルチプレキシングを用いて、完全な奥行き画像が表示されることができる。最初に、ディスプレイマトリクスが背景オブジェクトを表示する。一方、レンズの２つのアレイは、最小奥行きでこの画像を投影するよう調整される。それから、２つのアレイは、連続的に後から前へと調整され、一方ディスプレイマトリクスは、各奥行に対して適切なオブジェクトを表示する。これは、例えば高速なLCDタイプのマトリクスといった高速なディスプレイマトリクスと、比較的簡単な画像処理とを必要とする。

請求項において、図面への参照符号は、明確さのためだけに含まれる。図面における例示的な実施形態への参照は、いかなる態様でも請求項の範囲を限定するものとして解釈されるべきではない。

複数のオン／オフ切り替え可能な拡散器のスタックを備える実施形態の原理を示す図である。２つの調整可能なレンズ間に見かけ上位置する仮想レンズを提供することができる２つの連続的に調整可能なレンズを備える実施形態の原理を示す図である。仮想レンズの限られた開口に関する図２の構成に伴う問題を示す図である。馬の鞍形状での好ましい調整可能レンズと、「オフ」状態及び完全に「オン」に切り替えられた状態での平行化された光に関するその効果とを示す図である。第２の層が「オフ」に切り替えられた状態で第１の層が「オン」に切り替えられた２つのレンズアレイを含む好ましい実施形態における光線の例を示す図である。第１及び第２のレンズアレイにおけるレンズが共に50%「オン」にされた場合の好ましい実施形態におけるシミュレーションされた光線の例を示す図である。図４に示されるレンズの代替例として、調整可能なフレネルタイプのレンズと、「オフ」状態及び完全に「オン」に切り替えられた状態での平行化された光に関するその効果とを示す図である。２つのレンズとその２つのレンズの間に見かけ上位置する仮想レンズとに対する、焦点距離と奥行き方向における距離とを規定する図である。第２のアレイのレンズが完全に「オフ」に切り替えられた状態で第１のアレイのレンズが完全に「オン」に切り替えられた状態である、調整可能なフレネルタイプのレンズの２つのアレイに対する様々なパラメタを示す図である。フレネルタイプのレンズが使用される場合における、内部反射を防ぐためのバックライト及びレンズ形状の適合を示す図である。

Claims

略平行化された光により表される２次元画像に光学的奥行き情報を追加する光学システムであって、
前記２次元画像の前に第１の距離で配置される光学レンズの第１のアレイと、
前記２次元画像の前に前記第１の距離より大きな第２の距離で配置される光学レンズの第２のアレイとを有し、
光学レンズの第１及び第２のアレイにおける前記光学レンズの焦点距離が、前記光学的奥行き情報に基づき、前記光学レンズの第１及び第２のアレイ間に配置される仮想的レンズをエミュレートするよう調整されることができる、
光学システム。
前記光学レンズの第１及び第２のアレイにおける前記光学レンズが、第１の状態と第２の状態との間で切替可能であり、前記光学レンズは、前記第１の状態において屈折的であり、前記第２の状態において非屈折的である、請求項１に記載の光学システム。
前記光学レンズの光学特性が、各レンズに対して個別に調整可能である、請求項１に記載の光学システム。
前記光学レンズの第１のアレイにおける前記光学レンズの光学特性が、連続的に調整可能であり、前記光学レンズの第２のアレイの光学特性が、連続的に調整可能である、請求項１に記載の光学システム。
前記光学レンズの第１及び第２のアレイにおける前記調整可能な光学レンズの形状が、馬の鞍の形状、フラネルタイプの形状、球面形状及びレンチクラ形状からなるグループから選択される、請求項１に記載の光学システム。
前記光学レンズの第１及び第２のアレイにおける前記光学レンズを調整するよう機能する前に、前記光学的奥行き情報に関する形態学的フィルタリングを実行するよう構成されるプロセッサを更に有する、請求項１に記載の光学システム。
前記平行化された光により表される２次元画像が、複数のピクセルを含む、請求項１に記載の光学システム。
前記光学レンズの第１及び第２のアレイにおける前記光学レンズのサイズが、前記２次元画像のピクセルサイズとほぼ等しいか、又はピクセルサイズより小さい、請求項２に記載の光学システム。
拡散器が、前記２次元画像の前の第３の距離に配置され、前記第３の距離は、前記第２の距離より大きい、請求項１に記載の光学システム。
前記光学レンズが、前記略平行化された光を拡散させるように機能する、請求項１から請求項９のいずれか一項に記載の光学システム。
略平行化された光により表される２次元画像へ光学的奥行き情報を適用する方法において、
前記２次元画像の前に第１の距離で配置される光学レンズの第１のアレイを適用するステップと、
前記２次元画像の前に前記第１の距離より大きな第２の距離で配置される光学レンズの第２のアレイを適用するステップと、
前記光学的奥行き情報に基づき、前記光学レンズの第１及び第２のアレイにおける前記光学レンズの焦点距離を前記光学レンズの第１及び第２のアレイ間に配置される仮想的レンズをエミュレートするよう調整するステップとを有する、方法。
奥行き情報を含むビデオ信号を受信するよう構成される３次元表示デバイスであって、
前記ビデオ信号を表す略平行化された光の２次元画像を表示するよう構成されるディスプレイと、
請求項１から請求項１０のいずれか一項に記載の光学システムとを有し、
前記ビデオ信号の前記奥行き情報が、前記光学システムにより用いられる、３次元表示デバイス。