JPWO2021209785A5 - - Google Patents

Description

本開示は、ニアアイ画像投影に関し、より具体的には、仮想現実、拡張現実、混合現実、又は拡張現実の頭部装着装置及び関連用途のためのニアアイ画像投影に関する。

ピン光に基づいたニアアイシーケンシャルライトフィールド投影装置は、本出願人による特許出願ＷＯ２０１８０９１９８４Ａ１（特許文献１）に記載されている。説明されているライトフィールド投影装置は、出口瞳孔に投影された視点の配列のサイズによって定義されるアイボックスにライトフィールドを投影する。出口の瞳孔は、多くの使用事例では小さい。同時に、投影像の角度分解能は、投影像の視野角（ＦｏＶ）と両立しない（一方を取ると他方を損なう）。

国際出願第２０１８／０９１９８４号明細書

本開示は、ニアアイ画像投影システムに関し、
入射光ビームを変調しかつ複数の変調光ビームを投影するように構成された光学光変調器を照らす複数の入射光ビームを生成するピン光アレイと
第１ピン光平面にピン光像を形成し、投影軸に沿ってアイボックス領域を画定する複数の投影像光ビームを投影するように、複数の変調光ビームを投影すべく構成された光学要素と
を備える、ニアアイ画像投影システムにおいて、前記複数の変調光ビームは、中心窩瞳孔画像を形成し、かつ中心窩アイボックス領域を画定する複数の中心窩投影画像光ビームと投影する複数の中心窩変調光ビームを備える。
複数の変調光ビームは、周辺瞳孔像を形成する複数の周辺変調光ビームをさらに備える。前述のシステムは、周辺瞳孔像のそれぞれに対して複数の瞳孔拡大ビームを投影するように構成された出口瞳孔拡大装置をさらに備え、周辺投影画像光ビームは、複数の瞳孔拡大ライトフィールドを形成して、中心窩アイボックス領域よりも広い周辺アイボックス領域を画定する。

ここに開示される画像投影システムにおいて、中心窩投影像光ビームは、ＦｏＶの狭い中央部におけるライトフィールド画像の形成に寄与する。周辺変調光ビームは、全ＦｏＶの周辺部に対応する画像情報によって変調され、出口瞳孔拡大要素を介して投影される。

前述の画像投影システムは、効果的なＦｏＶを増加させ、知覚される画像解像度を向上させました。後者は、狭いＦｏＶと限られたアイボックス内の高解像度のライトフィールドと、より大きな総ＦｏＶの周辺部分を覆い、より大きなアイボックスを通過する非ライトフィールド画像とを組み合わせることによって達成される。

前述の画像投影システムは、観察者が見ている場所に関する視線追跡情報（アイトラッキング情報）を提供するように構成された視線追跡及び方向変換装置を備えてよい。視線追跡及び方向変換装置は、視線追跡情報に従って周辺投影像光ビーム及びライトフィールド画像を偏向するように構成してよい。

本発明の例示的な実施形態は、説明に開示され、その中で図面によって例示される。

図１ａは、一実施形態による中心窩入射光ビームを示す画像投影システムを示す。 図１ｂは、一実施形態による１本の周辺入射光ビームを示す画像投影システムを示す。 図１ｃは、一実施形態による２本の周辺入射光ビームを示す画像投影システムを示す。 図１ｄは、一実施形態による２本の周辺入射光ビーム及び１本の中心窩入射光ビームを示す画像投影システムを示す。 図２ａは、一実施形態による導波路の側面図を示す。 図２ｂは、一実施形態による導波路の正面図を示す。 図３は、一実施形態による構成される視野角（ＦｏＶ）を表す。 図４は、別の実施形態による画像投影システムを表す。 図５ａは、基本的な説明のために瞳孔拡大要素のない視線追跡及び方向変換装置を備える画像投影システムを示す。 図５ｂは、一実施形態による瞳孔拡大要素を備える画像投影システムを示す。 図６は、別の実施形態によるミラー偏向器、投影光学系、瞳孔膨張要素及びビーム分割器として機能する拡散器を使用して、別々のライトフィールド中心窩及び周辺像投影経路を有する画像投影システムを示す。 図７は、さらに別の実施形態による、ミラー偏向器及び導波路コンバイナを瞳孔拡大要素として使用することにより、別々のライトフィールド中心窩及び周辺像投影経路を有する画像投影システムを示す。

図１ａから図１ｄは、一実施形態に係る画像投影システムを示す。この画像投影システムは、入射光ビーム１００ａ、１００ｂの変調用に構成された光学光変調器２０を照らす複数の入射光ビーム１００ａ、１００ｂを生成し、かつ入射光ビーム１００ａ、１００ｂを投影するピン光アレイ１０を備える。光学要素３２、７０、４０は、複数の変調光ビーム１１０ａ、１１０ｂを投影して第１ピン光平面３０にピン光像３１、３９を形成してアイボックス領域１２１ａ、１２１ｂを投影軸線１７０に沿って画定する、複数の投影された画像光ビーム１１２ａ、１１２ｂを投影して第２ピン光像１２０（又は視点）を第２ピン光平面１２４に形成するように構成されている。

画像投影システムは、観察者が、仮想現実及び複合現実の適用で着用するものである。画像投影システムは、観察者が着用したときに、アイボックス領域１２１ａ、１２１ｂ及び出口瞳孔１２０が観察者の眼９０内にあるように構成してよい。変調光ビーム１１０ａ、１１０ｂは、観察者の眼９０の瞳孔１３０に向けて投影され、その結果、変調光ビーム１１０ａ、１１０ｂが網膜９２に投影される。

光学要素は、第１ピン光像光学要素７０を備えてよい。第１ピン光像光学要素７０は、各変調光ビーム１１０ａ、１１０ｂが第１ピン光平面３０において瞳孔像３１、３９を形成し、かつ変調器像平面１１５において変調器像１１４ａ、１１４ｂを形成するように、複数の変調光ビーム１１０ａ、１１０ｂを投影するように構成されている。

光学要素は、第２光学要素４０をさらに備えてよい。第２光学要素４０は、複数の変調光ビーム１１０ａ、１１０ｂと相互作用して、投影軸線１７０に沿ってアイボックス領域１２１ａ、１２１ｂを画定する複数の投影像光ビーム１１２ａ、１１２ｂを投影するように構成されている。第２光学要素４０は、接眼部（アイピース）、湾曲半透明ミラーのような半反射型コンバイナ、ミラーアレイ又はホログラフィック要素のいずれか１つを備えてよい。第２光学要素４０は、現実世界１９０からアイボックス領域１２１ａ、１２１ｂに向かって自然光を透過するように構成されたコンバイナを備えてよく、その結果、投影された仮想ライトフィールド及び自然光の両方が、コンバイナ４０を介して、アイボックス領域１２１ａ、１２１ｂ内に投影される。

図１ａで表される一観点では、ピン光アレイ１０の中心窩ピン光サブアレイ１４によって生成された複数の入射光ビームは、複数の中心窩入射光ビーム１００ａを備える。中心窩変調光ビーム１００ａのサブアンサンブルは、第１光学要素５０を通過し、光学光変調器２０を照らす。第１光学要素５０は、導波路を備えてよい。導波路は、コリメートレンズ又は部分的コリメートレンズ、もしくはコリメートされた狭い照明ビームを受け入れ、アウトカップリング要素を介して拡大コリメートビームを出すインカップリング要素を持つ。第１ピン光像光学要素７０は、複数の中心窩変調光ビーム１１０ａを投影して第１ピン光平面３０に中心窩瞳孔像３１を形成する。そして一部の実施形態では、第１ピン光像光学要素７０は、光学要素３２とともに、中心窩変調器像１１４ａを変調器像平面１１５に形成する。第２光学要素４０は、中心窩変調光ビーム１１０ａと相互作用し、複数の中心窩投影像光ビーム１１２ａを投影して、投影軸線１７０に沿って中心窩アイボックス領域１２１ａを画定する。

図１ｂ及び図１ｃに示すように、入射光ビームを生成するピン光アレイ１０は、複数の周辺入射光ビーム１００ｂを生成する複数の周辺ピン光サブアレイ１３をさらに備える（周辺ピン光１３は、典型的には、中心窩ピン光１４よりも高強度の照明光を提供する）。周辺入射光ビーム１００ｂの１本を図１ｂに示し、周辺入射光ビーム１００ｂの２本を図１ｃに示す。周辺入射光ビーム１００ｂは、第１光学要素５０を通過し、（周辺入射光ビーム１００ｂが）変調されるところで光学光変調器２０を照らす。第１ピン光像光学要素７０は、複数の周辺変調光ビーム１１０ｂを投影する。周辺変調光ビーム１１０ｂは、第１ピン光平面３０において周辺瞳孔像３９を形成する。

画像投影システムは、第１ピン光平面３０にて偏向要素６０をさらに備える。偏向要素６０は、周辺変調光ビーム１１０ｂを前記投影軸線１７０に対して偏向するように構成されている。偏向要素６０は、変調器像１１４ｂを、変調器像平面１１５に沿って空間的にずらして形成するようにさらに構成されている。

偏向要素６０は、プリズム又はオフセットレンズなどの任意の他の偏向光学要素を備えてよい。

この画像投影システムは、出口瞳孔拡大装置３６をさらに備える。この出口瞳孔拡大装置３６は、周辺瞳孔像３９を複製するように構成されている（周辺ピン光像３９は、出口瞳孔拡大要素３６によって複製された瞳孔を表す）。複製された周辺瞳孔像３９ごとに、出口瞳孔拡大装置３６は、複数の瞳孔拡大ライトフィールド１０４を投影する。光学要素３２及び第２光学要素４０は、瞳孔拡大ライトフィールド１０４と相互作用し、複数の周辺投影像光ビーム１１２ｂ（非ライトフィールド周辺像）を投影し、中心窩アイボックス領域１２１ａよりも幅広い周辺アイボックス領域１２１ｂを画定する。

画像投影システムは、第１ピン光平面３０に位置するフーリエフィルタ３４を備えてよい。フーリエフィルタ３４は、光学光変調器２０上で反射及び回折される変調光ビーム１１０ａ、１１０ｂから１つの回折成分を除く全てを除去するように構成してよい。

１実施形態では、出口瞳孔拡大装置は、第１ピン光平面３０に延在する導波路３６を備える。導波路３６は、周辺瞳孔像３９を入力するように構成されたインカップリング要素３５と、複数の瞳孔拡大ライトフィールド１０４を投影するように構成されたアウトカップリング要素３７とを備える。

図１ｄは、周辺入射光ビーム１００ｂの２本及び入射ライトフィールドビーム１００ａの１本を示す、第１ピン光平面３０にて導波路３６を備える画像投影システムを表す。

一観点では、インカップリング要素３５は、回折格子を備える。周辺瞳孔像３９を形成するコリメート画素ビーム１０３（図２ａ参照）は、アウトカップリング要素３７に向かって全反射により導波路３６内を通っていく。アウトカップリング要素３７は、別の回折格子を備えてよい。この別の回折格子は、内部反射した瞳孔像３９が導波路３６から結合され、複数の瞳孔拡大ライトフィールド１０４を投影するように複製される、複数の瞳孔拡大ライトフィールド１０４を投影するようにする。

別の観点では、インカップリング要素３５とアウトカップリング要素３７の少なくとも一方は、ホログラフィック光学要素を備えてよい。図示されていない代替の観点では、インカップリング要素３５とアウトカップリング要素３７との少なくとも一方は、ミラーアレイ又は部分的に透明なミラー（ビーム分割器）の積み重ねたものを備えてよく、ここでは、コリメートされた画素ビーム１０３は、各ミラーの界面から部分的に反射するいくつかのミラーを通って進む。別の変形例では、インカップリング要素３５及びアウトカップリング要素３７は、回折格子、ホログラフィック光学要素、ミラーアレイまたは部分的に透明なミラーの積み重ねたもの、もしくはこれらの要素の組み合わせのいずれか１つを備えてよい。

図２ａは、一実施形態に係る導波路３６の側面図を示す。図２ａの特定の例では、偏向要素６０は、周辺瞳孔像３９が導波路３６に注入され得るように、周辺変調光ビーム１１０ｂを結合要素３５に向かって偏向させる。図２ｂは、黒丸で表される４つのインカップリング要素３５を備える導波路３６の正面図を示す。アウトカップリング要素３７は、円盤状の導波路３６の略全面を占める。

インカップリング要素３５は、インカップリング要素３５内に注入された非コリメート周辺変調光ビーム１１０ｂをコリメートするように構成してよい。このようなインカップリング要素３５は、傾斜回折格子、球面鏡又はコリメートホログラムのいずれかを備える。注入された周辺変調光ビーム１１０ｂは、導波路３６を導かれて、アウトカップリング要素３７との相互作用時に導波路３６から徐々に出ていくコリメート画素光ビーム１０３を運ぶ。小さな周辺瞳孔像３９を介して注入された周辺変調光ビーム１１０ｂは、アウトカップリング要素３７を介して導波路３６を出る。アウトカップリング要素３７は、複数の瞳孔拡大ライトフィールド１０４が導波路３６を出るように構成してよい。導波路３６は、アウトカップリング要素３７の種類及び構成に応じて、出口瞳孔拡大要素３６の表面に連続的又は離散的に分布されている。

各コリメートされた画素ビーム１０３は、瞳孔拡大ライトフィールド１０４の複製投影点から、同じ角度で（平行に）同時に出されてよい。したがって、画素は無限に輝くように見え、複数の投影点（又は投影瞳孔の１つの連続した大きな領域）を通過する。

１実施形態では、導波路３６は、導波路３６の影響を受けずに中心窩変調光ビーム１１０を伝送するように構成された少なくとも１つの絞り開口部１２０ａを備えてよく、その結果、変調光ビーム１１０は変調器像平面１１５において中心窩変調器像１１４ａを形成する。図２ｂの例では、導波路３６は、白丸で表される３２個の絞り開口部１２０ａを備える。

画像投影システムがフーリエフィルタ３４を備える場合、後者は、１つ又は複数の絞り開口部１２０ａを備えてよい。ここで、中心窩瞳孔像３１のそれぞれは、導波路３６に設けられた絞り開口部１２０ａに一致する。また、フーリエフィルタ３４に設けられた絞り開口部１２０ａと一致するようにしてよい。

別の実施形態では、画像投影システムは、シフト周辺変調器像１１４ｂを形成するような複数の瞳孔拡大光ビーム１０４を集束するように構成された変調器結像レンズ３２（図１ａから図１ｄ参照）を備える。

図３は、視野角（ＦｏＶ）の構成を表す。中央領域１１には、開口部１２０ａを通過して中心窩アイボックス領域１２１ａを形成する中心窩変調器像１１４ａが含まれている。４つの周辺領域１２ａから１２ｄのそれぞれは、（非ライトフィールドの）シフト周辺変調器像１１４ｂを備え、周辺アイボックス領域１２１ｂを形成する。

図４は、別の実施形態による画像投影システムを表し、ここでは、出口瞳孔拡大装置は、変調器像平面１１５に拡散要素３８を備える。このような構成において、周辺入射光ビーム１００ｂは、第１光学要素５０を通過し、光学光変調器２０を照らす。光学光変調器２０は、周辺入射光ビーム１００ｂが変調されるところである。第１ピン光像光学要素７０は、複数の周辺変調光ビーム１１０ｂを投影する。周辺変調光ビーム１１０ｂは、第１ピン光平面３０にて周辺瞳孔像３９を形成する。偏向要素６０は、前記周辺変調光ビーム１１０ｂを投影軸線１７０に対して偏向させ、変調器像平面１１５内で空間的にずらした、シフト周辺変調器像１１４ｂを形成するように構成されている。拡散要素３８は、複数の瞳孔拡大ライトフィールド１０４を投影して、周辺変調光ビーム１１０ｂの各画素の角度発光範囲を拡大する。拡散要素３８は、透過的又は反射的であり得る。拡散要素３８は、照明時間が短い場合やデューティ比が小さい場合に像発光を延長するために蛍光拡散板にしてよい。拡散要素３８は、エミッシブディスプレイ（自己発光ディスプレイ）によって置換可能でもある。

眼窩における眼９０の動きは、眼の瞳孔１３０（相当の光）が中心窩アイボックス領域１２１ａを出て、像光が眼９０に入らない状態を引き起こす場合がある。そのような場合、中心窩像光ビーム１１２ａ（投影画像のライトフィールド部分）によって覆われたＦｏＶ内の画像情報が失われることになる。この問題は、周辺アイボックス領域１２１ｂを通過する非ライトフィールド画像によるＦｏＶのこの部分の一時的な充填によって低減可能であり、したがって、眼９０が動いても失われない。その結果、中心窩像光ビーム１１２ａを覆う画像の部分が常に存在する。この単純な解決策は、眼の瞳孔１３０がアイボックスのライトフィールド部分、すなわち中心窩像光ビーム１１２ａの内側に位置するかどうかを識別する二値の視線追跡情報（アイトラッキング情報）を少なくとも必要とする。眼９０は、中心窩アイボックス１２１ａの外側でごく一部の時間しかとどまっていない。典型的には５％未満であり、毎回短期間しかとどまっていないので、この解決策は、ほとんどの使用事例にとって十分である。

図５ａに例示される実施形態では、画像投影システムは、視線追跡及び方向変換（方向変換）装置を備える。視線追跡及び方向変換装置は、観察者が見ている場所に関する視線追跡情報を提供し、視線追跡情報に従って周辺投影像光ビーム１１２ｂを偏向するように構成されている。

視線追跡及び方向変換装置は、視線追跡情報が、観察者が中心窩アイボックス領域１２１の外側を見ていることを示している場合に、中心窩アイボックス領域１２１の外側に周辺投影像光ビーム１１２ｂを提供するようにさらに構成してよい。

より詳細には、視線追跡及び方向変換装置は、眼９０、特に瞳孔１３０の注視の位置及び方向を推定するように構成してよい。視線追跡及び方向変換装置は、さらに、ユーザの眼９０と瞳孔１３０との少なくとも一方の視線の位置及び方向を推定するように構成してよい。

一観点では、視線追跡及び方向変換装置は、視線追跡情報に従って移動可能であるミラー又はレンズを備えてよい。視線追跡情報は、可動ミラー又はレンズを制御して周辺投影像光ビーム１１２ｂの角度を調整する図示しない制御部に提供されてもよい。

視線追跡及び方向変換装置は、図５ｂに例示されるように出口瞳孔拡大要素３６を備える画像投影システムと組み合わせてよい。

図６は、別の実施形態による画像投影システムを示していて、ここでは、出口瞳孔拡大要素３６は、中心窩及び周辺入射光ビーム１００ａ、１００ｂに平行な入射投影軸線１６０から外れて位置する軸外光学系１５０を備える。偏向要素６０は、ミラーであり、周辺変調光ビーム１１０ｂを入射投影軸線１６０に略平行に延在する拡散要素３８上に投影する軸外光学系１５０に向かって周辺変調光ビーム１１０ｂを偏向させる。拡散要素３８は、入射投影軸線１６０と略直交する投影軸線１７０に沿って複数の瞳孔拡大ライトフィールド１０４を投影する。

画像投影システムは、ビーム分割器１４０を備える。中心窩変調光ビーム１１０ａは、第１ピン光平面３０内の絞り開口部１２０ａを通過し、ビーム分割器１４０に到達し、そこで投影軸線１７０に沿って反射され、ユーザの眼９０に向かう。反射中心窩変調光ビーム１１０ａ及び瞳孔拡大ライトフィールド１０４は、入射投影軸線１６０に略平行に延在する第２光学要素４０において結合される。本実施形態では、光学系１５０及び拡散要素３８が１つの周辺像を広いＦｏＶに展開するため、１つの周辺像を作成するピン光１３のみを用いてよい。

図７は、さらに別の実施形態による画像投影システムを示していて、ここで、出口瞳孔拡大要素３６は、導光器を備える。偏向要素６０は、ミラーであり、単一の周辺変調光ビーム１１０ｂを結合要素３５内の導光体に向けて偏向させる。導光体３６は、単一の周辺変調光ビーム１１０ｂを導光し、導光体３６に設けられたアウトカップリング要素３７から瞳孔拡大ライトフィールド１０４を投影する。瞳孔拡大ライトフィールド１０４は、投影軸線１７０に沿って投影される。投影軸線１７０は、入射投影軸線１６０に対して３０°から１２０°の間の角度をなしてよい。

中心窩変調光ビーム１１０ａは、第１ピン光平面３０内の絞り開口部１２０ａを通過して第２光学要素４０に到達し、アウトカップリング要素３７に略平行に延在する。中心窩変調光ビーム１１０ａは、投影軸線１７０に沿って第２光学要素４０に反射される。中心窩変調光ビーム１１０ａは、瞳孔拡大ライトフィールド１０４と結合され、ユーザの眼９０に到達する。

１０ ピン光アレイ
１１ 中央領域
１２ａ、１２ｂ、１２ｃ、１２ｄ 周辺領域
１３ 周辺ピン光サブアレイ
１４ 中心窩ピン光サブアレイ
２０ 光学光変調器
３０ 第１ピン光平面
３１ 中心窩瞳孔像
３２ 変調器結像レンズ
３４ フーリエフィルタ
３５ インカップリング要素
３６ 出口瞳孔拡大装置（導波路）
３７ アウトカップリング要素
３８ 拡散器
３９ 周辺瞳孔像
４０ 第２光学要素
５０ 第１光学要素
６０ 偏向要素
７０ 第１ピン光像光学要素
９０ 眼
９２ 網膜
１００ａ 中心窩入射光ビーム
１００ｂ 周辺入射光ビーム
１０４ 瞳孔拡大光ビーム
１１０ａ 中心窩変調光ビーム
１１０ｂ 周辺変調光ビーム
１１２ａ 中心窩像光ビーム
１１２ｂ 周辺像光ビーム
１１４ａ 中心窩変調器像
１１４ｂ 周辺変調器像
１１５ 変調器像平面
１２０ 第２ピン光像、視点
１２０ａ 絞り開口部
１２１ａ 中心窩投影アイボックス領域
１２１ｂ 周辺投影アイボックス領域
１２４ 第２ピン光平面
１３０ 瞳孔
１４０ ビーム分割器又は半透明ミラー
１５０ 画像投影光学部材
１６０ 入射投影軸線
１７０ 投影軸線
１９０ 現実世界