JP7437498B2 - 中心窩投影を備えるライトフィールド仮想及び複合現実システム - Google Patents

Description

本開示は、ニアアイライトフィールド仮想及び複合現実システム、特に、中心窩投影（フォービエイテッドプロジェクション）を備えるニアアイライトフィールド仮想及び複合現実システムに関する。

人間の眼は非常に広い視野（ＦＯＶ）を持っている。個々に、人間の眼は、約１３５°の水平ＦＯＶと１８０°をわずかに超える垂直ＦＯＶを持っている。ＦＯＶにより、単一の焦点ではなく、ある範囲を包含できる。バーチャルリアリティ（ＶＲ）や複合現実装置では、没入型の疑似現実様の体験を得るには、大きなＦＯＶが不可欠である。より広いＦＯＶは、他の多くの光学装置のセンサの包含範囲又はアクセス可能性も向上させる。

仮想又は複合現実装置は、眼の最高解像度を満たすために、このＦＯＶを規則的に分散された画素で包含するために約４００００００００画素を提供する必要がある。

しかしながら、眼の解像度は均等に分布していない。眼は、中心窩周辺の約２０°のＦＯＶでのみ高解像度を実現する。２０°ＦＯＶを範囲に含むフルＨＤディスプレイ（１９２０ｘ１０８０）は、もはや中心窩で網膜解像度に達している。眼の解像度は中心窩から徐々に低下する。ＦＯＶ全体（中心窩の外側）は、中心窩の内側とほぼ同じ量の情報で包含可能であり、必要な画素の総数は約４００００００になる。

いわゆる中心窩レンダリングと投影は、人間の視覚のこの機能を正確に活用するために、仮想及び複合現実ヘッドセットに導入されている。ただし、これは平らな像でも実行される。ライトフィールド装置には、中心窩投影の解決手段がまだない。

特許文献１（ＵＳ２０１９０３２４２７２）は、３次元（３Ｄ）像表示装置を開示す。この装置は、複数の光源と、３Ｄ像情報に従って複数の光源からの光を変調するように構成された空間光変調器と、空間光変調器によって形成された像を焦点面に集束させるように構成された集束光学システムとを備える。複数の光源は、それぞれ複数の光源に対応する複数の焦点が、ユーザの瞳孔の近くの焦点面上に形成されるように配置してよい。

米国特許公開第２０１９／３２４２７２号明細書

本開示は、ライトフィールド投影システムに関するものであり、このライトフィールド投影システムは、
複数の点ライトを備えて、入射ライトフィールドを変調しかつ複数の変調ライトフィールド成分を投影軸線に沿って投影するように構成された光学光変調器を照らす入射ライトフィールドを生成するピンライトアレイと、
第１ピンライト面に第１ピンライト像を形成し、変調器の像面に変調器の像を形成するように構成された第１光学要素と、
アイボックス領域を画定し、アイボックス内の第２ピンライト平面に第２ピンライト像を形成するように構成された第２光学要素とを備え、ここで、第１及び第２ピンライト平面及び変調器の像面は、投影軸線に実質的に垂直であり、変調器の像面は、第１光学要素と第２光学要素との間にある。このシステムは、第１ピン光面に少なくとも１つの光学装置をさらに備え、変調器の像面内で変調器の像を空間的にずらすように、変調ライトフィールド成分の少なくとも１つを偏向させるように構成されている。

ライトフィールド投影システムは、人間、動物、又はカメラの眼に仮想現実と複合現実の体験を提供できる。ライトフィールド投影システムのユーザは、実際の３Ｄシーンと仮想の３Ｄシーンの現実的な混合を体験できる。ライトフィールド投影システムは、正しい眼の調節の快適さで３Ｄ仮想及び拡張現実情報を提供するのに適している。

ライトフィールド投影システムは、視線追跡及び操縦装置を備えてよい。視線追跡及び操縦装置を使用して、観察者がどこを見ているかを判断し、それによって、中心窩領域が投影された像に対してどこにあるかを判断できる。

ライトフィールド投影システムは、中心窩投影を可能にする。特に、ライトフィールド投影システムは、狭い視野（ＦＯＶ）でより高い角度分解能の像を提供し、広いＦＯＶで低い角度分解能の像を提供するライトフィールドを作成できる。ライトフィールド投影システムは、周辺視野（中心窩によって注視される領域の外側）の画質を大幅に低下させることにより、レンダリングの作業負荷を軽減する。

本発明は、例として与えられ、図によって示される実施形態の説明の助けを借りて、よりよく理解されるであろう。

図１ａは、変調ライトフィールド成分を投影する光学光変調器を備えるライトフィールド投影システムを示す。図１ｂ及び１ｃは、観察者の眼が無限遠（図１ｂ）及び無限遠よりも近く（図１ｃ）に焦点を合わせたときに観察者によって見られる光変調器の投影像を示す。 図２ａは、一実施形態による、変調ライトフィールド成分の少なくとも１つと相互作用する偏向プリズムを備えるライトフィールド投影システムを示す。図２ｂ及び２ｃは、観察者の眼が無限遠（図２ｂ）及び無限遠よりも近く（図２ｃ）に焦点を合わせたときの、図２ａのシステムの光学光変調器の投影像を示す。 図２ｄは、偏向プリズムを通過する変調ライトフィールド成分のレイアウトを示す。 図３ａは、一実施形態による、複数の偏向プリズムを備えるライトフィールド投影システムを示す。図３ｂ及び３ｃは、観察者の眼が無限遠（図３ｂ）及び無限遠よりも近く（図３ｃ）に焦点を合わせたときの、図３ａのシステムの光学光変調器の投影像を示す。 一実施形態による、複数の偏向プリズム（図４ａ）と複数の偏向プリズム及びニュートラル光学要素（図４ｂ）とのアレイを備える光学装置を示す。 図５ａから図５ｃは、一実施形態による、無限遠（図５ｂ）及び無限遠（図５ｃ）よりも近くに焦点を合わせている観察者によって見られる空間的に分離された像の継ぎ合わせを作成している図３ａ（図５ａ）のライトフィールド投影システムの特定の構成を示す。 図６ａは、一実施形態による、変調ライトフィールド成分の少なくとも１つと相互作用するオフセットレンズを備えるライトフィールド投影システムを示す。図６ｂ及び図６ｃは、観察者の眼が無限遠（図６ｂ）及び無限遠よりも近く（図６ｃ）に焦点を合わせたときの、図６ａのシステムの光学光変調器の投影像を示す。 図７は、一実施形態による、複数のオフセットレンズのアレイを備える光学装置を示す。 図８ａは、一実施形態による、変調ライトフィールド成分の少なくとも１つと相互作用するイメージングレンズを備えるライトフィールド投影システムを示す。図８ｂ及び８ｃは、観察者の眼が無限遠（図８ｂ）及び無限遠よりも近く（図８ｃ）に焦点を合わせたときの、図８ａのシステムの光学光変調器の投影像を示す。 一実施形態による、複数のイメージングレンズのアレイを備える光学装置を示す。 点ライトのアレイを備えるピンライトアレイを示す。 図１１は、偏向プリズムを備えるライトフィールド投影システム及び９つの点ライトを備えるピンライトアレイを使用して、観察者によって見られる投影された第２ピンライト像の継ぎ合わせを示す。 図１２は、ピンライトアレイが２５個の点ライトを備える場合の、投影された第２ピンライト像の継ぎ合わせを示す。 図１３は、投影された第２ピンライト像の継ぎ合わせの別の例を示す。 図１４は、投影された第２ピンライト像の継ぎ合わせのさらに別の例を示す。 図１５は、代替構成によるライトフィールド投影システムを示す。 図１６は、別の代替構成による、ライトフィールド投影システムを示す。 図１７は、さらに別の代替構成によるライトフィールド投影システムを示す。

図１ａは、ライトフィールド投影システム１を示す。ライトフィールド投影システム１は、光学光変調器２０を照明する入射ライトフィールド１００を生成するピンライトアレイ１０を備える。光学光変調器２０は、入射ライトフィールド１００を変調し、複数の変調ライトフィールド成分１１０を投影軸線１７０に沿って投影するように構成されている。システム１は、第１ピンライト光学要素７０をさらに備え、第１ピンライト光学要素７０は、投影軸線１７０に実質的に垂直な第１ピンライト面３０内への第１ピンライト像３１の形成用に構成されている。第１ピンライト光学要素７０は、イメージングレンズを備えてよい。
システム１は、第２光学要素４０をさらに備え、第２光学要素４０は、アイボックス領域２１２を画定し、アイボックス２１２内の第２ピンライト平面１２４内への第２ピンライト像１２０の形成用に構成されている。第２ピンライト面１２４は、投影軸線１７０に実質的に垂直である。
第２ピンライト平面１２４は、アイボックス２１２内の虚像開口又は射出瞳に相当可能であり、射出瞳１２４は、複数の第２ピンライト像１２０を備える（３つの第２ピンライト像１２０が図２ａに表されている）。

任意選択で、ライトフィールド投影システム１は、変調器光学要素３２を備えてよく、変調器光学要素３２は、変調器の像平面１１５内への光学光変調器２０の変調器の像１１４の形成用に構成されている。変調器の像平面１１５もまた、投影軸線１７０に実質的に垂直である。変調器の像平面１１５は、アイボックス領域２１２から距離Ｄで第２光学要素４０によって投影される。距離Ｄは、アイボックス領域２１２のいずれかの側で、無限遠又は投影軸線１７０に沿った任意の距離であってよい。無限遠又は投影軸線１７０に沿った任意の距離Ｄは、通常、観察者の調節範囲外である。

代替的に、変調器の像平面１１５は、対応する屈折力を有する第１ピンライト光学要素７０によって、あるいは投影軸線１７０に沿って異なる距離に第１ピンライト光学要素７０を配置することによって作成できる。

第２光学要素４０は、接眼鏡を備えてよい。接眼鏡４０は、凸レンズ、ミラー、曲面ミラー、半透明ミラー、あるいはレンズ、ミラー、曲面ミラー又は半透明ミラーのセットのような光学要素を備えてよく、ミラー又は半透明ミラーは、変調器の像平面１１５をアイボックス領域１２１からの像距離Ｄに配置するように構成してよい。距離Ｄは、アイボックス領域２１２のいずれかの側で、無限遠又は投影軸線１７０に沿った任意の距離に設定できる。

ライトフィールド投影システム１は、第１ピンライト平面３０に配置されたフーリエフィルタ３４を備えてよい。フーリエフィルタ３４は、必ずしも光学光変調器２０のフーリエ面に正確に配置されているとは限らないことに留意されたい。各視点について、フーリエフィルタ３４は、光学光変調器２０で反射及び回折される変調ライトフィールド成分１１０から１つを除く全ての回折成分を除去するように構成してよい。ここで、「視点」という用語は、変調ライトフィールド成分１１０の１つに相当する。

フーリエフィルタ３４は、変調ライトフィールド成分１１０の像面を作成する少なくとも１つのイメージングレンズを備えてよい。フーリエフィルタ３４は、例えば、光学的に不透明で非半透明の板又は他のフィルタリングパターンで作られたピンホールアレイを備えてよい。フーリエフィルタ３４は、代替的に、ピンホール又は他のフィルタリングパターンがマイクロミラーで置換される反射モードで配置してもよい。フーリエフィルタ３４は、変調されフィルタリングされた仮想ライトフィールド１１２を生成する。ここで、視点は、１つのピンホールを通過する１つのライトフィールド成分１１０に相当する。

ライトフィールド投影システム１は、仮想及び複合現実アプリケーションの観察者に着用されるものとしている。ライトフィールド投影システムは、それが観察者によって着用されたときに、アイボックス２１２及び射出瞳１２４が観察者の眼９０内にあるように構成してよい。第２光学要素４０は、変調ライトフィールド成分１１０が網膜９２に投影されるように、変調ライトフィールド成分１１０を観察者の眼９０の瞳孔１３０に向けて伝達する。

図に表現されている変調ライトフィールド成分１１０からの各二重線は、考慮に入れる必要がある実際のシステムの制限の説明に使用される。ピンライトアレイ１０もフーリエフィルタ３４も、開口はゼロではない。光学光変調器２０の像は、各画素からの光が、多かれ少なかれコリメートされた狭いビームでアイボックス２１２に向かって（そして、したがって、観察者の眼９０に向かって）投射されるように扱われなければならない（最良の場合それは、アイボックス１１２のはるか後ろの点にわずかに収束しているので、観察者の眼９０はそれに焦点を合わせられず、したがって、観察者の収容範囲内の全ての像は類似して見える）。

図１ｂは、観察者の眼９０が無限遠に焦点を合わせているときの、観察者がライトフィールド投影システム１を着用したときの第２ピンライト像１２０の３つの像についての光学光変調器２０の投影像１４０を示す。

図１ｃは、観察者の眼９０が無限遠よりも近くに焦点を合わせたときの投影像１４０を示す。ここで、観察者は、第２ピンライト像１２０の３つの像それぞれについて３つの投影像１４１、１４２、１４３を見る。ここで、３つの投影像１４１、１４２、１４３は、一方が他方に対してわずかにずらされている。

図２ａは、一実施形態による、ライトフィールド投影システム１を示す。ライトフィールド投影システム１は、第１ピンライト面３０に少なくとも１つの光学装置６０をさらに備える。
光学装置６０は変調ライトフィールド成分１１０のうちの少なくとも１つと相互作用するように構成されている。より具体的には、光学装置は、変調器の像１１４がその変調器の像平面１１５内で空間的にずらされるように、変調ライトフィールド成分１１０の１つを偏向させるように構成された偏向プリズム６０を備える。変調器の像平面１１５における変調器の像１１４の空間的ずらしは、白い三角形によって示されている。ずらされていない変調器の像１１４は、黒い三角形で示されている。偏向プリズム６０は、プリズム６０を使用せずに、変調器の像平面１１５に対して、投影軸線１７０に沿った変調器の像１１４の位置を変更しない。残りの光学系（第１光学要素７０と、第２光学要素４０と、変調器の光学要素３２）もまた、偏向プリズム６０によって偏向される変調ライトフィールド成分１１０の変調器の像１１４の位置を変更しない。

偏向プリズム６０を通過する変調ライトフィールド成分１１０のレイアウトを図２ｄに示す。偏向角θ_Ｄは、入射変調ライトフィールド成分１１０ａから、偏向プリズム６０の出口の出口変調ライトフィールド成分１１０ｂまでの角度として定義してよい。偏向角θ_Ｄは、入射面６１１と偏向プリズム６０の出口面との間の配向の差、又は図２ｄの頂角θ_ａに依存する。偏向プリズム６０の他の構成を検討してよい。例えば、偏向プリズム６０の形状は、等しい底角を有する均一な三角プリズムを備えてよく、又は回折格子で置換してよい。

図２ｂは、光学光変調器２０の投影像、すなわち、観察者の眼９０が無限遠に焦点を合わせているときの、観察者がライトフィールド投影システム１を着用したときの第２ピンライト像１２０を示す。第２ピンライト像１２０（及び第１ピンライト平面３０内の第１ピンライト像３１）を「視点」と呼ぶ場合、観察者は、視点から、（任意平面内の）観察者のＦＯＶに対応する投影像１４０の継ぎ合わせを見る。より具体的には、観察者は、偏向されていない変調ライトフィールド成分１１０の１つに相当するずらされていない投影像１４１と、変更プリズム６０によって空間的にずらされかつ接眼レンズ４０によって射出瞳１２４から距離Ｄまで投影された変調器の像１１４に相当する、ずらされた投影像１４３とを見る。

図２ｃは、観察者の眼９０が無限遠よりも近くに焦点を合わせたときの投影像１４０を示す。偏向プリズム６０によって変調器の像平面１１５において空間的にずらされた変調器の像１１４に相当する、ずらされた投影像１４３は、偏向されていないライトフィールド成分１１０の変調器の像１１４に相当する、投影像１４１、１４２と比較してより大きなずれを持つ。

図３ａでは、ライトフィールド投影システム１は、２つの偏向プリズム６０を含み、各偏向プリズム６０は、変調ライトフィールド成分１１０のうちの１つを所定の角度だけ偏向するように構成されている。図３ｂ及び図３ｃは、ずらされていない投影像１４２を、無限遠に焦点を合わせているユーザによって見られているずらされた投影像１４１、１４３（図３ｂ）と、そして無限遠に近い距離に焦点を合わせているユーザによって見られているずらされた投影像１４１、１４３（図３ｃ）と比較している。

２つの偏向された変調ライトフィールド成分１１０の空間的ずらしは白い三角形で示され、一方、偏向されていない変調ライトフィールド成分１１０の変調器の像平面１１５内の位置は黒い三角形で示されている。

ライトフィールド投影システム１は、複数の変調ライトフィールド成分１１０を偏向させるために、２つより多い偏向プリズム６０を備えてよい。

図４ａ及び図４ｂは、複数の偏向プリズム６０を備えるアレイ１６０を備える光学装置の断面図を示す。例えば、アレイ１６０は、マイクロプリズムのアレイであってよい。

アレイ１６０は、各偏向プリズム６０が１つの変調ライトフィールド成分１１０と相互作用するように構成してよい。アレイ１６０はさらに、各偏向プリズム６０が２つ以上の変調ライトフィールド成分１１０と相互作用するように、又は複数のプリズム６０は、複数のライトフィールド成分１１０に対して同一の光学変換を実行するように、構成してよい。

一観点では、アレイ１６０は、アレイ１６０の異なる偏向プリズム６０が異なる頂角θ_ａを持ち得るように構成される。図１及び図２の例では、図４ａ及び４ｂにおいて、頂角θ_ａは、アレイ１６０の中心から周辺に向かって大きくなり、その結果、変調ライトフィールド成分１１０は、中心からアレイ１６０の周辺に向かって大きくなる偏向角θ_Ｄで、偏向される。アレイ１６０内の偏向プリズム６０の他の構成が可能である。例えば、偏向プリズム６０の頂角θ_ａは、アレイ１６０の中心から周辺に向かって小さくしてよく、又はアレイ１６０内の全ての偏向プリズム６０について実質的に等しくしてもよい。

一観点では、アレイ１６０は、少なくとも１つのニュートラル光学要素６１を備える。そのようなニュートラル光学要素６１と相互作用する変調ライトフィールド成分１１０は、変調器の像面１１５を空間的にずらすことはない。そのようなニュートラル光学要素６１と相互作用する変調ライトフィールド成分１１０の変調器の像１１４もまた、変調器の像平面１１５に対して、投影軸線１７０に沿ってずらされていない。

ニュートラル光学要素６１は、フラットレンズを備えてよい。図４ａでは、アレイ１６０は、アレイ１６０の中心にニュートラル光学要素６１を備える。図４ｂの例では、アレイ１６０は、アレイ１６０の中心から周辺に向かって交互に偏向するプリム６０及びニュートラル光学要素６１を備える。アレイの中心は、ニュートラル光学要素６１でできている。フーリエフィルタ３４も図４ａ及び図４ｂに表されている。

図５ａは、図３のライトフィールド投影システム１の特定の構成を示していて、２つの変調ライトフィールド成分１１０は、それらが観察者のＦＯＶにおいて重ならない程度にプリズムアレイ１６０によって偏向される。しかしながら、空間的に分離された像１４１及び１４３の継ぎ合わせを作成する。図５ｂは、ずらされていない像１４２及びずらされた像１４２を示す。無限遠に焦点を合わせている観察者によって見られる像１４１、１４３及び図５ｃは、無限遠よりも近い距離に焦点を合わせている観察者によって見られるずらされていない像１４２及びずらされた像１４１、１４３を示す。他の視点との部分的な重なりはライトフィールドを構成し、周辺は個々の視点を通過する単一の像で覆われている。

図６ａは、変調ライトフィールド成分１１０と相互作用するオフセットレンズ６４を備えるライトフィールド投影システム１を示す。オフセットレンズ６４のそれぞれは、変調ライトフィールド成分１１０が変調器の像平面１１５内で空間的にずらされるように、そして変調ライトフィールド成分１１０の変調器の像１１４が変調器の像面１１５に対して投影軸線１７０に沿ってずらされるように構成される。図６ａにおいて、黒い三角形は、偏向された変調ライトフィールド成分１１０が変調器の像平面１１５において空間的にずらされていないが、対応する変調器の像１１４が、変調器の像面１１５内にある偏向されていない変調ライトフィールド成分１１０の変調器の像１１５の左側に、投影軸線１７０に沿ってずらされることを示す。

オフセットレンズ６４は、偏向プリズムと組み合わされたイメージングレンズレンズから作製してよい。

図６ａでは、第１ピンライト平面３０の周辺にある２つのオフセットレンズ６４は、同じイメージングレンズの切り出された部分から形成してよく、第１ピンライト平面３０の中心にあるオフセットレンズ６４とは異なる。よって、２つの周辺オフセットレンズ６４を通過する変調ライトフィールド成分１１０は、変調器の像平面１１５に対して、そして中央オフセットレンズ６４を通過する変調ライトフィールド成分１１０によって生成された変調器の像１１４の位置に対して、投影軸線１７０に沿ってずらされている変調器の像１１４を生成できる。

図６ｂは、無限遠に焦点を合わせている観察者によって見られる、ずらされていない像１４１及びずらされた像１４３を示す。図６ｃは、無限遠より近い距離を置いて焦点を合わせている観察者によって見られる、ずらされていない像１４２及びずらされた像１４１、１４３を示す。この構成では、システム１は、２つの異なるベース深度平面を使用することによって変調ライトフィールド成分１１０を表示し、それによって、１つのベース深度平面を有するシステムと同じ方法で全範囲の深度を生成する。ここで、「ベース深度平面」という表現は、観察者から見た光変調器２０の像平面に対応する。図６ａから図６ｃに示されるように、オフセットレンズ６４は、変調ライトフィールド成分１１０によって横断されるオフセットレンズ６４に応じて、光学光変調器２０ＳＬＭの異なる像平面（又はベース深度平面）で像を見るようにする。少なくとも１つの別のベース深度平面を持つことは、像の残りの部分とは異なる像距離Ｄで、高空間周波数の像又はテキストのような古典的な平坦なコンテンツを表示するのに有用であってよい。そのような異なる像距離Ｄは、約５０ｃｍであってよい。別のベース深度平面を、無限遠などのシーンの非ライトフィールド部分にさらに使用してよい。

システム１は、特定の深度でより高解像度の像を提供してよく、あるいは、１つのフラットスクリーンを近づけて次のものは遠ざける、又はフラットスクリーンとライトフィールドの組み合わせなど、いくつかの異なる深度のみのボリュームの像の投影手段として使用してよい。

図７は、複数のオフセットレンズ６４を備えるアレイ１６０を備える光学装置の断面図を示す。可能な変形例では、オフセットレンズ６４を備えるアレイ１６０は、異なるイメージングレンズから切り出され、一緒に組み立てられ、同心円状にされたリングから得られる。代替的には、オフセットレンズ６４を備えるアレイ１６０は、異なる同心のイメージングレンズ部分のアレイを作成するために、イメージングレンズから切り取られた立方体から得てよく、いくつかの、必ずしも対称的に分布されていない部分は、光学系全体の軸と一致する同心レンズの軸を持つ同じ元のイメージングレンズの一部である。

一観点では、オフセットレンズ６４を備えるアレイ１６０は、図４ａ及び図４ｂで説明したマイクロプリズムアレイと同様に、１つ又はいくつかのニュートラル光学要素６１をさらに備える。

例えば、変調ライトフィールド成分１１０が、オフセットレンズ６４を備えるアレイ１６０を通して同時に投影される場合、対応する変調器の像１１４は、投影軸線１７０に沿って異なる光学距離で形成される。変調ライトフィールド成分１１０はまた、オフセットレンズ６４によって偏向され、変調器の像平面１１５において変調器の像１１４を空間的にずらす。よって、オフセットレンズ６４のアレイ１６０を備えるライトフィールド投影システム１は、投影軸線１７０に沿った異なる光学距離で、及び変調器の像平面１１５内の異なる位置で像を作成する。

一観点では、オフセットレンズ６４を備えるアレイ１６０は、１つ又は複数の偏向プリズム６０をさらに備えてよい。

図８ａに示される別の実施形態では、ライトフィールド投影システム１は、投影軸線１７０に沿ってイメージングレンズ６３を通過する変調ライトフィールド成分１１０の変調器の像１１４を変調器の像面１１５に対してずらすように構成された少なくとも１つのイメージングレンズ６３を備える。イメージングレンズ６３は、変調器の像平面１１５内の変調ライトフィールド成分１１０を実質的に空間的にずらすことはない。これは、イメージングレンズ６３を通過しない変調ライトフィールド成分１１０のずらされていない変調器の像１１４（黒い三角形）と比較して、イメージングレンズ６３を通過する変調ライトフィールド成分１１０の投影軸線１７０に沿った変調器の像１１４のずらされた位置（白い三角形）から見られる。

偏向プリズム６０とは対照的に、イメージングレンズ６３（及びオフセットレンズ６４）は、変調ライトフィールド成分１１０のビームの輻輳を変化させる。偏向プリズム６０は、変調ライトフィールド成分１１０のビームの輻輳を変化させない（コリメートされたままである）が、収束する（又は発散する）変調ライトフィールド成分１１０のビームを生成する。したがって、イメージングレンズ６３は、投影軸線１７０に沿って変調器の像１１４の光学的位置を変化させる。

これは、フーリエフィルタのピンライトと穴の直径がかなり大きい場合（１ｍｍを超える場合など）に機能する。それにより、像成分が通過したレンズに応じて、異なる光学距離で像の表示が可能である。

図８ｂは、無限遠に焦点を合わせている観察者によって見られる像１４３、１４２、１４１を示す。図８ｃは、無限遠よりも近い距離に焦点を合わせている観察者によって見られる像１４３、１４２、１４１を示す。それらの見かけの空間シフトに加えて、像１４３、１４２、１４１はまた、各サブ像の光学的距離に応じて、ぼやけたり、鮮明になったりする可能性がある。ここで、「サブイメージ」という用語は、１つの視点の変調ライトフィールド成分１１０に対応する。変調ライトフィールド成分１１０とピンホールが小さいため、被写界深度が浅いため、サブイメージは焦点が合っていると見なしてよい。しかしながら、実際には、各視点はまた、特に変調ライトフィールド成分１１０及びピンホールが十分に小さくない場合に役割を果たす独自の光学距離を有する。そのため、各サブイメージの光学距離は変化する可能性がある。

図９は、複数の撮像レンズ６３を備えるアレイ１６０を備える光学装置の断面図を示す。可能な変形例では、イメージングレンズ６４を備えるアレイ１６０は、１つ又はいくつかのニュートラル光学要素６１をさらに備えてもよい。

一観点では、ライトフィールド投影システム１は、偏向プリズム６０と、ニュートラル光学要素６１と、撮像レンズ６３と、オフセットレンズ６４との中で、任意の１つ又は複数を、単独又は組み合わせで備えてよい。もちろん、変調ライトフィールド成分１１０の変調器の像平面１１５において空間的ずらしを得るために、ライトフィールド投影システム１は、少なくとも偏向プリズム６０又はオフセットレンズ６４を１つ備えなければならない。

一実施形態では、アレイ１６０は、前述の変調ライトフィールド成分１１０のそれぞれと相互作用するように構成される。

一観点では、１つの変調ライトフィールド成分１１０は、アレイ１６０の光学装置６０、６１、６３、６４を通過する。

図１０は、１００個のピンライト１０１を備えるアレイを備えるピンライトアレイ１０の可能な実装を示す。ピンライト１０１は、変調ライトフィールド成分１１０が同時に投影されるように同時に照明してよい。代替的に、ピンライト１０１は、変調ライトフィールド成分１１０が順次投影されるように、順次照射してよい。後者の選択肢が、作動しているピンライト１０１ａ及び非作動のピンライト１０１ｂによって図１０に示されている。作動しているピンライト１０１ａは、投影軸線１７０に沿って対応する変調ライトフィールド成分１１０を投影するなどのように、光学光変調器２０を照明する入射ライトフィールド１００を投影する。図１０では、数字１から８は、ピンライトアレイ１０内の異なるピンライト１０１のあり得る一連の照明を示す。他の一連の照明も考えられる。

図１１は、第１ピンライト平面３０にマイクロプリズムアレイ１６０を備えるライトフィールド投影システム１及び９つのピンライト１０１を備えるピンライトアレイ１０を使用して観察者によって見られる、投影された変調器の像１１４の継ぎ合わせを示す。長方形の外周は、（平面内の）観察者のＦＯＶに対応する投影像１４４のサイズに対応する。９つの変調器の像１１４（視点）は全て、投影された像の中央領域１４５で重なっている。中央領域１４５からより遠くにあるほど、変調器の像１１４の重なりがより少なくなっている。隅にある変調器の像１１４は１つだけである。よって、中央領域１４５は、高いライトフィールド及び色解像度を有する狭いＦＯＶに相当し、周辺領域は、より低いライトフィールド（深さ）及び色解像度を有するより広いＦＯＶに相当する。換言すると、中央領域１４５は、高いライトフィールド及び色解像度を有する中心窩領域に相当する。よって、ライトフィールド投影システム１は、狭いＦＯＶでの高いライトフィールド及び色の解像度と、大きなＦＯＶでの低い解像度との組み合わせを提供できる。

図１２は、第１ピンライト平面３０にマイクロプリズムアレイ１６０と、２５個の点ライト１０１を備えるピンライトアレイ１０とを備えるライトフィールド投影システム１を使用する観察者によって見られであろうように、投影された変調器の像１１４の継ぎ合わせを示す。より現実的な高解像度システムの状況を示しながら、図１１と同じ理由が当てはまる。

図１３は、中心領域１４５が（複数の変調器の像１１４を備える）複数成分ライトフィールドを生成し、周辺が８つの個別のずらされた変調器の像１１４によって覆われるように、偏向プリズム６０によって分散されている、投影された変調器の像１１４の継ぎ合わせの別の例を示す。

図１４は、投影された変調器の像１１４の継ぎ合わせの別の例を示していて、中心領域１４５が（複数の変調器の像１１４を備える）高解像度の複数成分ライトフィールドを作成する一方、変調ライトフィールド成分１１０は、低い角度、色、及び深さの解像度で広いＦＯＶ周辺像を作成するなどのように、アレイ１６０を通して同時に投影される。

一実施形態では、ライトフィールド投影システム１は、視線追跡（アイトラッキング）及び投影操縦装置を備える。視線追跡及び投影操縦装置を使用して、観察者がどこを見ているかを決定し、それによって、中心窩領域が投影された像１４４に対してどこにあるかを決定できる。ここで、中心窩領域は、投影像１４４の中心領域１４５に相当する。

本発明は、上記の例示的な実施形態に限定されず、他の実施例も特許請求の範囲内で可能であることが理解される。

光学光変調器２０は、空間光変調器（ＳＬＭ）、例えば、透過型空間光変調器又は反射型空間光変調器を含んでよい。ＳＬＭは、高速反射ＳＬＭを備えてよく、高速反射ＳＬＭは、シリコン上液晶（ＬＣｏＳ）、シリコン上の強誘電性液晶（ＦＬＣｏＳ）、デジタルマイクロミラー装置（ＤＭＤ）、又はその他の適切な変調器のようなものである。

ライトフィールド投影システム１は、コリメート又は部分的にコリメートするレンズ５０を備えてよい。ピンライトアレイ１０は、コリメートレンズ５０又は部分コリメートレンズ５０を介して光学光変調器２０を照明する。コリメートレンズ又は部分コリメートレンズ５０は、コリメートレンズ又は部分コリメートレンズと同じ機能を有する反射要素又はホログラフィック要素を備えてよい。

図１５は、代替構成によるライトフィールド投影システム１を示し、それにより、コリメートレンズ５０又は部分的コリメートレンズ５０及び第１ピンライト光学要素７０は、反射空間光変調器２０の表面に配置される同じ光学要素であってよい。

図１６は、代替構成によるライトフィールド投影システム１を示していて、それにより、コリメートレンズ５０又は部分コリメートレンズ５０と、第１ピンライト光学要素７０とは、反射空間光変調器２０の表面に配置される同じ光学要素である。さらに、ピンライトアレイ１０は、第１ピンライト平面３０において光学装置６０、６１、６３、６４と一致する。ピンライトアレイ１０はまた、そのようなフィルタが存在する場合、フーリエフィルタ３４と一致してよい。そのような構成では、ピンライトアレイ１０は、変調ライトフィールド成分１１０がピンライトアレイ１０を通過し、変調器光学要素３２への到達を可能にする複数の穴（開口部）を備えるべきである。

図１７は、第２光学要素４０がコンバイナを備える別の代替構成によるライトフィールド投影システム１を示す。コンバイナ４０は、変調器の光学要素３２から来る変調ライトフィールド成分１１０を反射し、アイボックス２１２内の第２ピンライト面１２４に第２ピンライト像１２０を形成するように構成されている。コンバイナ４０は、（導波路の積み重ねを使用して、複数の焦点面を提供できる）固定焦点面に像を提供するホログラフィック回折格子を備えた導波路か、ホログラフィックパターンを持つホログラフィック反射器か、ビームスプリッターを備えたドーム型の半透明ミラーか、あるいは楕円体コンバイナを備えてよい。コンバイナ４０は、凹状部及び楕円形を持つ第１反射面を備える半透明の第１要素をさらに備えてよい。コンバイナ４０は、一般的な自由曲面をさらに備えてよい。コンバイナ４０は、異なる又は同一に傾斜したミラーのアレイを備えてよい。

コンバイナは、現実世界からアイボックスに向かって自然光を透過するようにさらに構成してよく、その結果、投影された仮想ライトフィールドと自然光の両方が、コンバイナを介してアイボックス領域１１２内に投影される。

１０ ピンライトアレイ
２０ 光学光変調器、空間光変調器（ＳＬＭ）
３０ 第１ピンライト平面
３１ 第１ピンライト像
３２ 変調器の光学要素
３４ フーリエフィルタ
４０ 第２光学要素
５０ コリメートレンズ又は部分コリメートレンズ
６０ 偏向プリズム
６１ ニュートラル光学要素
６３ イメージングレンズ
６４ オフセットレンズ
７０ 第１ピンライト光学要素
９０ 眼
９２ 網膜
１００ 入射ライトフィールド
１０１ ピンライト（点ライト）
１０１ａ 作動しているピンライト
１０１ｂ 非作動のピンライト
１１０ 変調ライトフィールド成分
１１０ａ 入射変調ライトフィールド成分
１１０ｂ 出口変調ライトフィールド成分
１１２ 変調されフィルタリングされた仮想ライトフィールド
１１４ 変調器の像
１１５ 変調器の像平面
１２０ 第２ピンライト像、視点
１２１ アイボックス領域
１２４ 第２ピンライト平面、射出瞳
１３０ 瞳孔
１４０、１４１ 投影像
１４２、１４３ 投影像
１４５ 投影像の中央領域
１６０ マイクロプリズムアレイ
１６２ イメージングレンズアレイ
１６３ レンズ要素
１６４ オフセットレンズアレイ
１６５ オフセットレンズ要素
１７０ 投影軸線
θ_ａ 頂角
θ_Ｄ 偏向角
Ｄ 像距離

Claims (16)

1. 複数の点ライトを備えるピンライトアレイであって、入射ライトフィールドを変調して、変調ライトフィールド成分を投影軸線に沿って投影するように構成されている光学光変調器を照らす入射ライトフィールドを生成するピンライトアレイと、
   第１ピンライト平面内に第１ピンライト像を、変調器の像平面内に変調像を形成するように構成されている第１光学要素と、
   アイボックス領域を画定する第２光学要素であって、第２ピンライト像を前記アイボックスの範囲で第２ピンライト平面内に形成するように構成されている第２光学要素と、
   を備えるライトフィールド投影システムにおいて、
   第１及び第２ピンライト平面と、変調器の像平面とは実質的に投影軸線に垂直であり、変調器の像平面は第１光学要素と第２光学要素との間にあり、
   前記システムが、
   第１ピンライト平面にて、少なくとも１つの光学装置をさらに備えて、少なくとも１つの変調ライトフィールド成分に相当する変調器の像を空間的にずらすように、少なくとも１つの変調ライトフィールド成分を偏向するように構成されている、
   ライトフィールド投影システム。
2. 前記光学装置は、前記少なくとも１つの変調ライトフィールド成分を所定角度で偏向するように構成された少なくとも１つの偏向プリズムを備えている、請求項１に記載のシステム。
3. 前記光学装置は、変調ライトフィールド成分の少なくとも１つが変調器の像平面において空間的にずらされるようにかつ変調ライトフィールド成分の前記少なくとも１つの変調器の像が、前記変調器の像平面に対して投影軸線に沿ってずらされるように構成された少なくとも１つのオフセットレンズを備えている、請求項１に記載のシステム。
4. 前記光学装置は、変調されたライトフィールド成分の少なくとも１つの変調器の像を変調器の像平面に対して投影軸線に沿ってずらすように構成された少なくとも１つのイメージングレンズをさらに備えている、請求項２に記載のシステム。
5. 前記光学装置は、変調ライトフィールド成分が光学的に変更されないように、前記少なくとも１つの変調ライトフィールド成分と相互作用する少なくとも１つのニュートラル光学要素をさらに備えている、請求項２に記載のシステム。
6. 前記少なくとも１つの光学装置は、アレイに配置された複数の光学装置を備え、各光学装置は少なくとも１つの変調ライトフィールド成分と相互作用する、請求項１に記載のシステム。
7. アレイが複数の偏向プリズムを備えている、請求項６に記載のシステム。
8. アレイが１つ又は複数のオフセットレンズを備えている、請求項６に記載のシステム。
9. 複数の光学装置は、変調ライトフィールド成分を異なる所定角度で偏向させるように配置されている、請求項７に記載のシステム。
10. 変調ライトフィールド成分は、中心からアレイの周辺に向かって所定の角度を増加させることによって偏向されている、請求項９に記載のシステム。
11. アレイは、少なくとも１つのニュートラル光学要素と、少なくとも１つのイメージングレンズとの少なくとも一方を備える、請求項７に記載のシステム。
12. アレイは、変調ライトフィールド成分のそれぞれと相互作用するように構成されている、請求項６に記載のシステム。
13. 複数の変調ライトフィールド成分を同時に投影する、請求項１に記載のシステム。
14. 複数の変調ライトフィールド成分を順次投影する、請求項１に記載のシステム。
15. 前記変調器の像平面における空間的ずらしを決定するように構成された、視線追跡及び操縦装置をさらに備えている、請求項１に記載のシステム。
16. 第１光学要素は、第１ピンライト平面に第１ピンライト像を形成するように構成された第１ピンライト光学要素と、変調器の像平面に変調器の像を形成するように構成された変調器の光学要素を備える、請求項１に記載のシステム。

Images