JP2023505791A - 複合現実ディスプレイのための増加された被写界深度 - Google Patents

複合現実ディスプレイのための増加された被写界深度 Download PDF

Info

Publication number
JP2023505791A
JP2023505791A JP2022534393A JP2022534393A JP2023505791A JP 2023505791 A JP2023505791 A JP 2023505791A JP 2022534393 A JP2022534393 A JP 2022534393A JP 2022534393 A JP2022534393 A JP 2022534393A JP 2023505791 A JP2023505791 A JP 2023505791A
Authority
JP
Japan
Prior art keywords
optical system
virtual
pixel beam
distance
collimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022534393A
Other languages
English (en)
Inventor
マイケル アンソニー クルグ,
ウィリアム ハドソン ウェルチ,
ジェイソン シェーファー,
ビョルン ニコラース セルヴァティウス ブラスカンプ,
ロバート ディー. テコルスト,
マイケル ボウ デニソン ボーン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023505791A publication Critical patent/JP2023505791A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

光学システムおよびその動作方法が、開示される。区切ゾーンが、VAC限界に基づいて、光学システムからの距離の関数として定義される、区切ゾーンは、少なくとも1つの距離閾値を有する。仮想オブジェクトが表示されることになる、光学システムからの仮想深度面の仮想距離が、決定される。少なくとも1つの距離閾値までの仮想距離を比較することによって、仮想距離が区切ゾーン外にあるかどうかが決定される。仮想オブジェクトと関連付けられる、コリメートされたピクセルビームが、光学システムのプロジェクタによって生成される。コリメートされたピクセルビームは、仮想距離が区切ゾーン外にある場合、修正されたピクセルビームを生成するように修正される。

Description

本願は、その全内容が、あらゆる目的のために、参照することによって本明細書に組み込まれる、2019年12月10日に出願され、「INCREASED DEPTH OF FIELD FOR MIXED-REALITY DISPLAY」と題された、米国仮特許出願第62/946,291号の優先権の利益を主張する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または知覚され得る様式において、ユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張として、デジタルまたは仮想画像情報の提示を伴う。
これらのディスプレイ技術において成された進歩にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する、改良された方法、システム、およびデバイスの必要性が存在する。
本開示は、概して、光学システムの性能およびユーザ体験を改良するための技法に関する。より具体的には、本開示の実施形態は、マイクロディスプレイと、コンパクトな形状因子において、そのシステムの被写界深度を動的に延在させることによって、ヒト視覚系遠近調節キューを妨げるためのスキームを用いる、漏出性格子光誘導瞳拡張接眼レンズ要素とを備える、固定焦点面光学システムを動作させるためのシステムおよび方法を提供する。本発明は、拡張現実(AR)デバイス等の光学システムを参照して説明されるが、本開示は、コンピュータビジョンおよび画像ディスプレイシステムにおける種々の用途に適用可能である。
本発明の概要が、一連の実施例を参照して下記に提供される。下記で使用されるように、一連の実施例の任意の参照は、それらの実施例のそれぞれを分離して参照するものとして理解されるものとする(例えば、「実施例1-4」は、「実施例1、2、3、または4」として理解されるべきである)。
実施例1は、光学システムを動作させる方法であって、輻輳・開散運動(vergence)-遠近調節(accommodation)衝突(VAC)限界に基づいて、光学システムからの距離の関数として、区切ゾーンを定義するステップであって、区切ゾーンは、少なくとも1つの距離閾値を有する、ステップと、仮想オブジェクトが表示されることになる、光学システムからの仮想深度面の仮想距離を決定するステップと、少なくとも1つの距離閾値までの仮想距離を比較することによって、仮想距離が区切ゾーン外にあるかどうかを決定するステップと、光学システムのプロジェクタによって、仮想オブジェクトと関連付けられる、コリメートされたピクセルビームを生成するステップと、仮想距離が区切ゾーン外にあることを決定することに基づいて、コリメートされたピクセルビームを修正し、修正されたピクセルビームを生成するステップであって、コリメートされたピクセルビームを修正するステップは、コリメートされたピクセルビームを収束させるステップ、またはコリメートされたピクセルビームの直径を低減させるステップのうちの少なくとも1つを含む、ステップと、修正されたピクセルビームを光学システムの接眼レンズの中に投入するステップと、修正されたピクセルビームを接眼レンズからユーザの眼に向かって出力するステップとを含む、方法である。
実施例2は、光学システムであって、仮想オブジェクトと関連付けられる、コリメートされたピクセルビームを生成するように構成される、プロジェクタと、コリメートされたピクセルビームを修正し、修正されたピクセルビームを生成するように構成される、光修正デバイスと、修正されたピクセルビームを出力するように構成される、接眼レンズと、仮想オブジェクトが表示されることになる、光学システムからの仮想深度面の仮想距離を決定するステップと、仮想距離と少なくとも1つの距離閾値を比較するステップと、仮想距離と少なくとも1つの距離閾値を比較することに基づいて、光修正デバイスに、コリメートされたピクセルビームを修正し、修正されたピクセルビームを生成させるステップと含む、動作を実施するように構成される、処理モジュールとを備える、光学システムである。
実施例3は、コリメートされたピクセルビームを修正するステップは、コリメートされたピクセルビームを収束させるステップを含む、実施例2に記載の光学システムである。
実施例4は、コリメートされたピクセルビームを修正するステップは、コリメートされたピクセルビームの直径を低減させるステップを含む、実施例2-3に記載の光学システムである。
実施例5は、動作はさらに、光学システムからの距離の関数として、区切ゾーンを定義するステップであって、区切ゾーンは、少なくとも1つの距離閾値を含む、ステップを含む、実施例2-4に記載の光学システムである。
実施例6は、仮想距離と少なくとも1つの距離閾値を比較するステップは、仮想距離が区切ゾーン外にあるかどうかを決定するステップを含む、実施例5に記載の光学システムである。
実施例7は、区切ゾーンは、VAC限界に基づいて定義される、実施例5-6に記載の光学システムである。
実施例8は、VAC限界は、光学システムのユーザによって定義される、実施例7に記載の光学システムである。
実施例9は、少なくとも1つの距離閾値は、上側距離閾値を含む、実施例2-8に記載の光学システムである。
実施例10は、仮想距離と少なくとも1つの距離閾値を比較するステップは、仮想距離が上側距離閾値を上回るかどうかを決定するステップを含む、実施例9に記載の光学システムである。
実施例11は、仮想距離と少なくとも1つの距離閾値を比較することに基づいて、コリメートされたピクセルビームを修正するステップは、仮想距離が上側距離閾値を上回ることの決定に応答して、光修正デバイスに、コリメートされたピクセルビームを修正させるステップを含む、実施例10に記載の光学システムである。
実施例12は、少なくとも1つの距離閾値は、下側距離閾値を含む、実施例2-11に記載の光学システムである。
実施例13は、仮想距離と少なくとも1つの距離閾値を比較するステップは、仮想距離が下側距離閾値未満であるかどうかを決定するステップを含む、実施例12に記載の光学システムである。
実施例14は、仮想距離と少なくとも1つの距離閾値を比較することに基づいて、コリメートされたピクセルビームを修正するステップは、仮想距離が下側距離閾値未満であることの決定に応答して、光修正デバイスに、コリメートされたピクセルビームを修正させるステップを含む、実施例13に記載の光学システムである。
実施例15は、接眼レンズは、修正されたピクセルビームを光修正デバイスから受光するように構成される、実施例2-14に記載の光学システムである。
実施例16は、光修正デバイスは、プロジェクタと接眼レンズとの間の光学経路内に位置付けられる、実施例2-15に記載の光学システムである。
実施例17は、光学システムを動作させる方法であって、仮想オブジェクトが表示されることになる、光学システムからの仮想深度面の仮想距離を決定するステップと、仮想距離と少なくとも1つの距離閾値を比較するステップと、光学システムのプロジェクタによって、仮想オブジェクトと関連付けられる、コリメートされたピクセルビームを生成するステップと、仮想距離と少なくとも1つの距離閾値を比較することに基づいて、コリメートされたピクセルビームを修正し、修正されたピクセルビームを生成するステップとを含む、方法である。
実施例18は、コリメートされたピクセルビームを修正するステップは、コリメートされたピクセルビームを収束させるステップを含む、実施例17に記載の方法である。
実施例19は、コリメートされたピクセルビームを修正するステップは、コリメートされたピクセルビームの直径を低減させるステップを含む、実施例17-18に記載の方法である。
実施例20は、光学システムからの距離の関数として、区切ゾーンを定義するステップであって、区切ゾーンは、少なくとも1つの距離閾値を含む、ステップをさらに含む、実施例17-19に記載の方法である。
実施例21は、仮想距離と少なくとも1つの距離閾値を比較するステップは、仮想距離が区切ゾーン外にあるかどうかを決定するステップを含む、実施例20に記載の方法である。
実施例22は、区切ゾーンは、VAC限界に基づいて定義される、実施例20-21に記載の方法である。
実施例23は、VAC限界は、光学システムのユーザによって定義される、実施例22に記載の方法である。
実施例24は、少なくとも1つの距離閾値は、上側距離閾値を含む、実施例17-23に記載の方法である。
実施例25は、仮想距離と少なくとも1つの距離閾値を比較するステップは、仮想距離が上側距離閾値を上回るかどうかを決定するステップを含む、実施例24に記載の方法である。
実施例26は、仮想距離と少なくとも1つの距離閾値を比較することに基づいて、コリメートされたピクセルビームを修正するステップは、仮想距離が上側距離閾値を上回ることの決定に応答して、コリメートされたピクセルビームを修正するステップを含む、実施例25に記載の方法である。
実施例27は、少なくとも1つの距離閾値は、下側距離閾値を含む、実施例17-26に記載の方法である。
実施例28は、仮想距離と少なくとも1つの距離閾値を比較するステップは、仮想距離が下側距離閾値未満であるかどうかを決定するステップを含む、実施例27に記載の方法である。
実施例29は、仮想距離と少なくとも1つの距離閾値を比較することに基づいて、コリメートされたピクセルビームを修正するステップは、仮想距離が下側距離閾値未満であることの決定に応答して、コリメートされたピクセルビームを修正するステップを含む、実施例28に記載の方法である。
実施例30は、修正されたピクセルビームを光学システムの接眼レンズの中に投入するステップをさらに含む、実施例17-29に記載の方法である。
実施例31は、修正されたピクセルビームを光学システムの接眼レンズからユーザの眼に向かって出力するステップをさらに含む、実施例17-30に記載の方法である。
実施例32は、コリメートされたピクセルビームは、プロジェクタと光学システムの接眼レンズとの間の光学経路内に位置付けられる、光修正デバイスによって修正される、実施例17-31に記載の方法である。
従来の技法に優る多数の利点が、本開示の方法によって達成される。例えば、実施形態は、単一焦点面システムが、近視野および遠視野仮想深度面の両方において低減されたVAC等の2焦点面システムと同一利点のうちのいくつかを有することを有効にする。加えて、ピクセルビームは、接眼レンズの中への投入に先立って、修正されることができるため、実施形態は、瞳拡張コンバイナ接眼レンズ技術を採用する、既存の接眼レンズと互換性がある。実施形態はまた、多くの場合、近視野深度面のために採用される、平面をクリッピングする必要性を排除し、それによって、仮想コンテンツ消失に起因する、ユーザにとっての不便を低減させる。本開示の他の利点は、当業者に容易に明白となるであろう。
本開示のさらなる理解を提供するために含まれ、本明細書内に組み込まれ、その一部を構成する、付随の図面は、本開示の実施形態を図示し、詳細な説明とともに、本開示の原理を解説する役割を果たす。本開示の構造詳細を本開示の基本理解およびそれが実践され得る種々の方法のために必要であり得るもの以上にさらに詳細に示すことが、試みられているわけではない。
図1は、ウェアラブルARデバイスを通して視認されるような拡張現実(AR)場面を図示する。
図2Aは、単一固定焦点面を有する、ARデバイスを図示する。
図2Bは、2つの固定焦点面を有する、ARデバイスを図示する。
図3は、輻輳・開散運動-遠近調節衝突(VAC)と仮想深度面の距離との間の関係を図示する。
図4は、例示的ウェアラブルARデバイスの概略図を図示する。
図5は、ARデバイスの視認光学系アセンブリの例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。
図6は、ARデバイスの視認光学系アセンブリの例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。
図7は、ARデバイスの視認光学系アセンブリの例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。
図8は、ARデバイスの視認光学系アセンブリの例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。
図9は、ARデバイスの視認光学系アセンブリの例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。
図10A-10Cは、コリメートされたピクセルビームの直径を低減させるための例示的光修正デバイスを図示する。
図11は、光修正デバイスのための例示的制御スキームと、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。
図12は、VAC区切ゾーンを定義するための例示的方法を図示する。
図13は、VAC区切ゾーンの種々の実施例を図示する。
図14は、光学システムを動作させる例示的方法を図示する。
図15は、簡略化されたコンピュータシステムを図示する。
添付の図では、類似コンポーネントおよび/または特徴は、同一数値参照標識を有し得る。さらに、同一タイプの種々のコンポーネントは、文字を伴う参照標識が続くことによって、またはダッシュを伴う参照標識の後に、類似コンポーネントおよび/または特徴の中で区別する、第2の数値参照標識が続くことによって、区別され得る。第1の数値参照標識のみが、本明細書内で使用される場合、説明は、添え字に関係なく、同一の第1の数値参照標識を有する、類似コンポーネントおよび/または特徴のうちの任意の1つに適用可能である。
複合現実(MR)および拡張現実(AR)ウェアラブルディスプレイは、広深度範囲にわたって、仮想コンテンツをユーザに提示することが可能である。多くのディスプレイに関して、ユーザは、異なる深度において、可変レベルの遠近調節-輻輳・開散運動衝突(VAC)を被り得、これは、ユーザの脳が、ユーザの眼から仮想オブジェクトまでの距離と眼がその仮想オブジェクト上に合焦させるために要求される集束距離との間の不整合キューを受信するときに生じる。VACは、視覚的疲労、頭痛、吐き気、および眼精疲労につながり、ユーザにとって有意な不快感源を残す。故に、ユーザの快適性を維持するために、現代のMRおよびARウェアラブルディスプレイは、有意に低減された深度範囲をもたらし得る、深度範囲にわたって仮想コンテンツを送達するとき、VAC予算許容値を考慮し得る。
VACを軽減させるための種々のアプローチが、実装されている。1つのアプローチは、第2の深度面および眼追跡に基づく可変焦点スイッチを光学システムに追加することを含む。別のアプローチは、接眼レンズ焦点面を広範囲を横断して掃引する能力を伴う、可変焦点要素を追加することである。これらのアプローチは、付加的接眼レンズ層の形態における、および/または接眼レンズに跨架する液体充填可能調整可能レンズ対の統合を通した、増加された体積、および複雑な照明スキームに起因する増加された複雑性とともに生じる。
本発明のいくつかの実施形態は、光学システムに、区切ゾーンを提供し、その中では、限定された量のVACが、ユーザによって許容され、その外側では、拡張された被写界深度が、ヒト視覚系遠近調節キューを妨げるように、オンに切り替えられ得る。いくつかの実施形態では、区切ゾーンは、単一または複数の固定焦点面または単一または複数の可変焦点面に基づいて定義されることができる。区切ゾーン内にある、関連付けられる仮想深度面を有する、仮想コンテンツは、通常様式において、ユーザに投影され得る一方、区切ゾーン外にある仮想コンテンツは、遠近調節キューの信頼性を低減させるように、光修正デバイスによって修正される。
いくつかのインスタンスでは、光修正デバイスは、プロジェクタによって生成されたコリメートされた光を、接眼レンズに入射するとき、収束した状態にさせ得る。これは、接眼レンズの漏出性格子から外部結合される、仮想画像光(すなわち、仮想画像と関連付けられる光)もまた、収束させる。しかしながら、各ビームレットの主光線は、方向を変化させず、輻輳・開散運動キューを伴うが、非常に弱い遠近調節キューを伴う、仮想画像をもたらす。そのような仮想画像は、VACが閾値許容度を超えるであろう、被写界深度の面積内においては、輻輳・開散運動-遠近調節応答を妨げ得る。したがって、本明細書に開示される実施形態は、ユーザの眼が、仮想深度面におけるピクセルに合焦することが不可能であり得るため、光学システムの被写界深度を延在させることができる。加えて、または代替として、光修正デバイスは、プロジェクタによって生成された各コリメートされたピクセルビームの直径を低減させ得る。これは、接眼レンズの漏出性格子から外部結合される光に、同様に、低減された直径を伴うピクセルビームを有しさせ、それによって、外部結合された光と関連付けられる、遠近調節キューを妨げることができる。
いくつかのインスタンスでは、光学シースルー(OST)ARデバイスは、光学スタック内に配列される1つまたはそれを上回るレンズアセンブリを使用して、屈折力を仮想画像光に適用することによって、ユーザに提示されている仮想コンテンツを改良することができる。本発明の実施形態は、レンズアセンブリを利用して、仮想オブジェクトの仮想深度面を変動させる、既存のシステムと互換性がある。
図1は、いくつかの実施形態による、ウェアラブルARデバイスを通して視認されるようなAR場面100を図示する。AR技術のユーザに、人々、木々、背景内の建物、および実世界コンクリートプラットフォーム120等の種々の実世界オブジェクト130を特徴とする、実世界公園状設定106が見える、AR場面100が、描写される。これらのアイテムに加え、AR技術のユーザはまた、実世界コンクリートプラットフォーム120上に立っている、ロボット像102-2、およびマルハナバチの擬人化のように見える、飛んでいる漫画状アバタキャラクタ102-1等の種々の仮想オブジェクト102が「見える」と知覚するが、これらの要素(キャラクタ102-1および像102-2)は、実世界内には存在しない。ヒト視知覚および神経系の極端な複雑性に起因して、他の仮想または実世界像要素の中への仮想画像要素の快適で自然な感覚の豊かな提示を促進する、仮想現実(VR)またはAR技術を生産することは、困難である。
図2Aは、いくつかの実施形態による、単一固定焦点面を有する、ARデバイス200Aを図示する。動作の間、ARデバイス200Aのプロジェクタ214は、仮想画像光223(すなわち、仮想コンテンツと関連付けられる光)を接眼レンズ202-1上に投影し得、これは、ユーザが対応する仮想コンテンツをユーザの環境内のある場所に位置付けられているように知覚するような様式において、ライトフィールド(すなわち、仮想コンテンツの角度表現)をユーザの網膜上に投影させ得る。例えば、接眼レンズ202-1によって外部結合された仮想画像光223は、ユーザにキャラクタ102-1を第1の仮想深度面210-1に位置付けられているように、および像102-2を第2の仮想深度面210-2に位置付けられているように知覚させ得る。ユーザは、仮想コンテンツを、プラットフォーム120等の1つまたはそれを上回る世界オブジェクト230に対応する、世界光232とともに知覚する。
いくつかの実施形態では、ARデバイス200Aは、接眼レンズ202-1のユーザ側(ユーザの眼に最も近い接眼レンズ202-1の側)上に位置付けられる、第1のレンズアセンブリ205-1と、接眼レンズ202-1の世界側上に位置付けられる、第2のレンズアセンブリ205-2とを含む。レンズアセンブリ205-1、205-2はそれぞれ、屈折力をそれを通して通過する光に印加するように構成されてもよい。
図2Bは、いくつかの実施形態による、2つの固定焦点面を有する、ARデバイス200Bを図示する。動作の間、プロジェクタ214は、仮想画像光223を第1の接眼レンズ202-1および第2の接眼レンズ202-2上に投影してもよく、これは、ユーザが対応する仮想コンテンツをユーザの環境内のある場所に位置付けられているように知覚するような様式において、ライトフィールドをユーザの網膜上に投影させ得る。例えば、第1の接眼レンズ202-1によって外部結合された仮想画像光223は、ユーザに、キャラクタ102-1を第1の仮想深度面210-1に位置付けられるように知覚させ得、第2の接眼レンズ202-2によって外部結合された仮想画像光223は、ユーザに、像102-2を第2の仮想深度面210-2に位置付けられるように知覚させ得る。
図3は、それぞれ、図2Aおよび2Bを参照して説明されるARデバイス200A、200Bのそれぞれに対し、VACと仮想深度面の距離との間の関係を図示する。ARデバイス200Bに関して、2焦点面システムは、1.3ジオプタ(0.77メートル)に切替点を伴う、1.95ジオプタ(0.51メートル)および0.65ジオプタ(1.54メートル)における切替可能な焦点面と、2.7ジオプタ(0.37メートル)における近コンテンツ限界(クリッピング平面)と、その平面と無限遠との間で決して1.0ジオプタVACを超えない像を提供する能力とを提供する。ARデバイス200Aに関して、単一固定焦点面システムは、1.5ジオプタ(0.6メートル)における焦点面場所と、2.5ジオプタ(0.4メートル)の近コンテンツ限界と、0.31ジオプタ(3.2メートル)の遠コンテンツ限界とを有し、1.0ジオプタの最大許容可能VACを仮定する。そのような構成は、0.4~3.2メートルの使用可能範囲を有し、その範囲外に該当するコンテンツは、VAC限界超過を軽減させるためのあるソリューションを要求する。
図4は、本発明のいくつかの実施形態による、例示的ウェアラブルARデバイス400の概略図を図示する。ARデバイス400は、並置構成に配列される、左接眼レンズ402Aと、左レンズアセンブリ405Aとを含んでもよく、右接眼レンズ402Bおよび右レンズアセンブリ405Bもまた、並置構成に配列される。いくつかの実施形態では、ARデバイス400は、限定ではないが、直接、左接眼レンズ402Aまたはその近くに取り付けられる、左正面に向いた世界カメラ406Aと、直接、右接眼レンズ402Bまたはその近くに取り付けられる、右正面に向いた世界カメラ406Bと、直接、左接眼レンズ402Aまたはその近くに取り付けられる、左側に向いた世界カメラ406Cと、直接、右接眼レンズ402Bまたはその近くに取り付けられる、右側に向いた世界カメラ406Dとを含む、1つまたはそれを上回るセンサを含む。いくつかの実施形態では、ARデバイス400は、左接眼レンズ402Aに光学的にリンクされる、左プロジェクタ414A、および右接眼レンズ402Bに光学的にリンクされる、右プロジェクタ414B等の1つまたはそれを上回る画像投影デバイスを含む。
ARデバイス400のコンポーネントのいくつかまたは全ては、投影された画像がユーザによって視認され得るように、頭部搭載型であってもよい。1つの特定の実装では、図4に示されるARデバイス400のコンポーネントは全て、ユーザによって装着可能な単一デバイス(例えば、単一ヘッドセット)上に搭載される。別の実装では、処理モジュール450の1つまたはそれを上回るコンポーネントは、ARデバイス400の他のコンポーネントと物理的に別個であって、1つまたはそれを上回る有線および/または無線接続によって、それに通信可能に結合される。例えば、処理モジュール450は、ARデバイス400の頭部搭載型部分上におけるローカルモジュール452と、ローカルモジュール452と物理的に別個であって、それに通信可能にリンクされる、遠隔モジュール456とを含んでもよい。遠隔モジュール456は、フレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様に、ユーザに除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において等)等、種々の構成において搭載されてもよい。
処理モジュール450は、プロセッサと、不揮発性メモリ(例えば、フラッシュメモリ)等の関連付けられるデジタルメモリとを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、カメラ406、周囲光センサ、眼追跡器、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等のセンサ(例えば、ARデバイス400に動作可能に結合される、または別様に、ユーザに取り付けられ得る)から捕捉される、データを含んでもよい。例えば、処理モジュール450は、画像420をカメラ406から受信してもよい。具体的には、処理モジュール450は、左正面画像420Aを左正面に向いた世界カメラ406Aから、右正面画像420Bを右正面に向いた世界カメラ406Bから、左側画像420Cを左側に向いた世界カメラ406Cから、および右側画像420Dを右側に向いた世界カメラ406Dから受信してもよい。いくつかの実施形態では、画像420は、単一画像、一対の画像、画像のストリームを備える、ビデオ、ペアリングされた画像のストリームを備える、ビデオ、および同等物を含んでもよい。画像420は、ARデバイス400が電源投入されている間、周期的に生成され、処理モジュール450に送信されてもよい、または処理モジュール450によってカメラのうちの1つまたはそれを上回るものに送信される命令に応答して、生成されてもよい。別の実施例として、処理モジュール450は、周囲光情報を周囲光センサから受信してもよい。別の実施例として、処理モジュール450は、視線情報を1つまたはそれを上回る眼追跡器から受信してもよい。別の実施例として、処理モジュール450は、画像情報(例えば、画像明度値)をプロジェクタ414の一方または両方から受信してもよい。
カメラ406A、406Bは、それぞれ、ユーザの左および右眼の視野内に実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ406の設置は、ユーザの眼の近くであるが、ユーザの視野を不明瞭にするほど近くなくあり得る。代替として、または加えて、カメラ406A、406Bは、それぞれ、仮想画像光422A、422Bの内部結合場所と整合するように位置付けられてもよい。カメラ406C、406Dは、例えば、ユーザの周辺視覚内またはユーザの周辺視覚外にある、ユーザの側面に対して画像を捕捉するように位置付けられてもよい。カメラ406C、406Dを使用して捕捉された画像420C、420Dは、必ずしも、カメラ406A、406Bを使用して捕捉された画像420A、420Bと重複する必要はない。
接眼レンズ402A、402Bは、それぞれ、プロジェクタ414A、414Bによって生成された光を指向および外部結合するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール450は、左プロジェクタ414Aに、左仮想画像光422Aを左接眼レンズ402Aに出力させ得、右プロジェクタ414Bに、右仮想画像光422Bを右接眼レンズ402Bに出力させ得る。いくつかの実施形態では、接眼レンズ402A、402Bはそれぞれ、異なる色に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、レンズアセンブリ405A、405Bは、接眼レンズ402A、402Bに結合され、および/またはそれと統合されてもよい。例えば、レンズアセンブリ405A、405Bは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ402A、402Bのうちの1つを構成する、1つまたはそれを上回る層を形成してもよい。
いくつかの実施形態では、ARデバイス400は、仮想画像光422A、422Bを修正するための1つまたはそれを上回る光修正デバイス404A、404Bを含む。具体的には、左光修正デバイス404Aは、左接眼レンズ402A上に出力されることに先立って、左仮想画像光422Aを修正するように、左プロジェクタ414Aと左接眼レンズ402Aとの間の光学経路内に位置付けられてもよく、右光修正デバイス404Bは、右接眼レンズ402B上に出力されることに先立って、右仮想画像光422Bを修正するように、右プロジェクタ414Bと右接眼レンズ402Bとの間の光学経路内に位置付けられてもよい。いくつかの実施形態では、光修正デバイス404A、404Bは、プロジェクタ414A、414Bと統合されてもよい。いくつかの実施形態では、光修正デバイス404A、404Bは、接眼レンズ402A、402Bと統合されてもよい。
いくつかの実施形態では、プロジェクタ414A、414Bは、微小電気機械システム(MEMS)空間光変調器(SLM)走査デバイスを含んでもよい。そのような実施形態では、光修正デバイス404A、404Bは、走査式ミラーに先立って、レーザビーム内で使用され得る、可変焦点ミラーまたはレンズを採用してもよい。中継光学システムが、使用される場合、中継光学系内の光学要素のうちの1つは、可変焦点であって、収束ピクセル光線を接眼レンズ上に形成されるICGに提供するように切り替えられ得る。標準的投影システムが、ピクセルベースのSLM(シリコン上液晶(LCOS)等)と併用される場合、SLM自体は、投影レンズが有限外部焦点面(したがって、収束性ピクセル光線)を生産するように、(アレイと垂直な)z-軸において平行移動され得る。いくつかの実施形態では、可変焦点レンズが、マイクロディスプレイの投影/中継レンズと接眼レンズ自体のICGとの間に組み込まれ、出力されるコリメートされたピクセル光線を収束性状態に変換し得る。
図5は、ARデバイスの視認光学系アセンブリ500の例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。視認光学系アセンブリ500は、プロジェクタ514と、接眼レンズ502とを含む。プロジェクタ514は、接眼レンズ502上に形成される、入力結合格子(ICG)503において、接眼レンズ502上で搬送される、コリメートされたピクセルビーム516を生成する。ICG503によって回折された後、コリメートされたピクセルビーム516は、接眼レンズ502上に形成される出力格子が、光をユーザに向かって回折するまで、接眼レンズ502内を伝搬する。
プログラムされた屈折力を伴わない、漏出性格子光誘導瞳拡張接眼レンズが、仮想画像を無限遠に生産する。知覚の対象は、瞳を通して収集され、ユーザの眼の網膜上に結像される、複数の出力「ビームレット」(入力ピクセル波面の放出される複製物)によって生産される。この場合、ユーザの眼が、無限遠に合焦されると、ピクセルの鮮明な画像が、網膜上に形成される。眼が、別の平面(例えば、ユーザから1.33メートル)に合焦されると、ピクセルのぼけた画像が、網膜上に形成される。
図6は、ARデバイスの視認光学系アセンブリ600の例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。視認光学系アセンブリ600は、接眼レンズ602上に形成されるICG603において、接眼レンズ602上で搬送される、コリメートされたピクセルビーム616を生成する、プロジェクタ614を含む。ICG603によって回折された後、コリメートされたピクセルビーム616は、接眼レンズ602上に形成される出力格子が、光をユーザに向かって回折するまで、接眼レンズ602内を伝搬する。
視認光学系アセンブリ600は、ピクセル光を集束させることと、ビームレットをユーザの眼から1.33メートルに収束させることとの両方を行うように、放出されるビームレットの波面を変調させ、それらを相互に対して発散させ、かつ各光線を独立して発散させる、-0.75ジオプタレンズアセンブリ605を含む。レンズアセンブリ605は、出現するビームレットの主光線を偏移させ、レンズの焦点距離におけるコリメートされた出力を単一ピクセル焦点位置に発散させる。この場合、ユーザの眼が、1.33メートルに合焦されると、ピクセルの鮮明な画像が、網膜上に形成される。眼が、無限遠に合焦すると、その画像は、ぼかされる。
図6に図示される実施例では、画像の焦点深度は、ビームレット充塞密度(いくつかの他の要因とともに、ビーム径、接眼レンズ基板厚によって決定される)、ユーザの瞳孔のサイズ、レンズアセンブリ605の光学品質、およびユーザの眼の固有の被写界深度を含む、いくつかの要因よって決定される。これらの要因はそれぞれ、本システムのための容認可能VAC予算値を決定すると見なされ得る。いくつかの実施形態では、1.0ジオプタが、VAC予算値として使用されることができるが、本値は、実践では、より高いまたはより低くあり得る。
図7は、ARデバイスの視認光学系アセンブリ700の例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。視認光学系アセンブリ700は、光修正デバイス704によって修正され、収束波面を有する、修正されたピクセルビーム752を生産する、コリメートされたピクセルビーム716を生成する、プロジェクタ714を含む。修正されたピクセルビーム752は、接眼レンズ702上に形成されるICG703において、接眼レンズ702上で搬送される。ICG703によって回折された後、修正されたピクセルビーム752は、接眼レンズ702上に形成される出力格子が、光をユーザに向かって回折するまで、接眼レンズ702内を伝搬する。
図7に図示される実施例では、結像されるピクセルの波面を修正することは、屈折力を投影システムに導入し、無限遠集束システムを、有限画像位置をプロジェクタの正面に生産する、システムに変換する。そのような構成では、単一ピクセルが、収束(湾曲)波面をプロジェクタの瞳面に生産する。収束ピクセル光線が、接眼レンズに入射すると、出射ビームレットは、本収束を維持するが、しかしながら、各ビームレットの主光線は、方向を変化させない。この場合、ユーザの眼が、1.33メートルまたは無限遠のいずれかに合焦されると、ピクセルのぼかされた画像が、網膜上に形成される。加えて、ユーザの眼が1.33メートルに合焦されるときに知覚されるピクセルは、図7における異なるタイプのぼけによって描写されるように、ユーザの眼が無限遠に合焦されるときに知覚されるピクセルと異なり得る。
図8は、ARデバイスの視認光学系アセンブリ800の例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。視認光学系アセンブリ800は、光修正デバイス804によって修正され、収束波面を有する、修正されたピクセルビーム852を生産する、コリメートされたピクセルビーム816を生成する、プロジェクタ814を含む。修正されたピクセルビーム852は、接眼レンズ802上に形成されるICG803において、接眼レンズ802上で搬送される。ICG803によって回折された後、修正されたピクセルビーム852は、接眼レンズ802上に形成される出力格子が、光をユーザに向かって回折するまで、接眼レンズ802内を伝搬する。視認光学系アセンブリ800はさらに、放出されるビームレットの波面を変調させる、接眼レンズ802とユーザの眼との間に位置付けられる、-0.75ジオプタレンズアセンブリ805を含む。
図8に図示される実施例では、レンズアセンブリ805は、各ビームレット出力をコリメートしながら、同時に、各ビームレットの主光線を再指向し、レンズの焦点面におけるある点の周囲で枢動させる。結果として、ユーザの眼が、1.33メートルに合焦されると、ピクセルのぼかされた画像が、網膜上に形成される。ユーザの眼が、無限遠に集束されると、ぼかされた画像の繰り返される構造を備える、知覚の対象が、生産される。ユーザの眼は、ぼかされた画像に合焦させることが不可能であって、それによって、ユーザの生理学的輻輳・開散運動-遠近調節キューを妨げ、輻輳・開散運動-遠近調節衝突の不快な影響を低減させる。繰り返される構造を有する、本知覚の対象は、仮想コンテンツが、VAC閾値外の平面上に存在することを可能にする。結果として、光学システムの被写界深度は、ユーザの眼が仮想深度面におけるピクセルに合焦することが可能ではないであろうため、不快感を伴わずに、VAC閾値を越えて延在することができる。
図9は、ARデバイスの視認光学系アセンブリ900の例示的機能と、本システムの出力の結果として生じるユーザ視知覚の対象とを図示する。視認光学系アセンブリ900は、空間光変調器(SLM)、中継光学系、偏光器、ビームスプリッタ、レンズ、またはそれらの組み合わせ等の光修正デバイス904によって修正され、低減された直径を有する、修正されたピクセルビーム952を生産する、コリメートされたピクセルビーム916を生成する、プロジェクタ914を含む、修正されたピクセルビーム952は、接眼レンズ902上に形成されるICG903において、接眼レンズ902上で搬送される。ICG903によって回折された後、修正されたピクセルビーム952は、接眼レンズ902上に形成される出力格子が、光をユーザに向かって回折するまで、接眼レンズ902内を伝搬する。視認光学系アセンブリ900はさらに、接眼レンズ902とユーザの眼との間に位置付けられる、-1ジオプタコンポーネントと、接眼レンズ902の世界側上に位置付けられる、+1ジオプタコンポーネントとを含む、レンズアセンブリ905を含む。
図9に図示される実施例では、輻輳・開散運動-遠近調節キューは、妨げられ、本システムの被写界深度は、画像光の発散/収束を通してではなく、レーザビームの直径を変調させることによって、延在される。これは、光をICG903の中に投入することに先立って、光修正デバイス904によって実施されてもよい。この場合、知覚の対象は、接眼レンズ902とユーザの眼との間のレンズアセンブリが、ピクセルビームの低減されたサイズに起因して、小焦点スポットを提供することができないことによって駆動される。
図10A-10Cは、本発明のいくつかの実施形態による、コリメートされたピクセルビームの直径を低減させるための例示的光修正デバイスを図示する。第1のレンズ1002および第3のレンズ1006に対する第2のレンズ1004の位置を変動させることによって、入力されたコリメートされたピクセルビームの直径は、拡張される、低減される、または未修正のままにされることができる。図10Aを参照すると、第2のレンズ1004は、第3のレンズ1006より第1のレンズ1002の近くに(例えば、第1のレンズ1002に隣接して)位置付けられ、コリメートされたピクセルビームの直径を、光修正デバイスからの出射に応じて、拡張された状態にさせるように調節される。図10Bを参照すると、第2のレンズ1004は、第1のレンズ1002と第3のレンズ1006との間の中点に位置付けられ、コリメートされたピクセルビームの直径を、光修正デバイスからの出射に応じて、未修正のままにさせるように調節される。図10Cを参照すると、第2のレンズ1004は、第1のレンズ1002より第3のレンズ1006の近くに(例えば、第3のレンズ1006に隣接して)位置付けられ、コリメートされたピクセルビームの直径を、光修正デバイスからの出射に応じて、低減された状態にさせるように調節される。
いくつかの実施形態では、図10A-10Cに図示される光修正デバイスは、MEMSレーザビームの直径を動的に変化させるために使用される。いくつかのインスタンスでは、光修正デバイスは、MEMSミラーに入射することに立って、レーザビームを修正するように、MEMSミラーに先立って位置付けられてもよい。
図11は、本発明のいくつかの実施形態による、光修正デバイスのための例示的制御スキームと、本システムの出力の対応するユーザ視知覚の対象とを図示する。いくつかの実施形態では、VAC区切ゾーン1102が、1ジオプタ等の所望のVAC限界に基づいて定義される。VAC区切ゾーン1102は、それを下回ると、ユーザによって被られるVACがVAC限界を超える、下側距離閾値1104と、それを上回ると、ユーザによって被られるVACがVAC限界を超える、上側距離閾値1106とを含んでもよい。
制御スキーム下では、(ARデバイスまたはユーザから)仮想深度面までの距離が、下側距離閾値1104未満であることが決定されると、光修正デバイスは、コリメートされたピクセルビームの波面を修正させられる。仮想深度面までの距離が、下側距離閾値1104上回り、上側距離閾値1106未満(すなわち、VAC区切ゾーン1102内)であることが決定されると、光修正デバイスは、コリメートされたピクセルビームを修正せず、修正を伴わずに、コリメートされたピクセルビームを出力させられる。仮想深度面までの距離が、上側距離閾値1106を上回ることが決定されると、光修正デバイスは、コリメートされたピクセルビームの波面を修正させられる。
制御スキームは、随意に、距離閾値またはその近くにおいて、コリメートされたピクセルビームに対する段階的修正を実装してもよい。例えば、光修正デバイスは、距離閾値直前において、部分的修正、距離閾値において、より大きな修正、および距離閾値を優に過ぎて、完全修正を仮想距離のためのコリメートされたピクセルビームに付与してもよい。一実施例として、3.2メートルの上側距離閾値に関して、コリメートされたピクセルビームが、2.8メートルの仮想距離のために、0%、3.0メートルの仮想距離のために、25%、3.2メートルの仮想距離のために、50%、3.4メートルの仮想距離のために、75%、および3.6メートルの仮想距離のために、100%収束される、制御スキームが、実装されてもよい。同一または異なる実施例では、0.4メートルの下側距離閾値に関して、コリメートされたピクセルビームが、0.6メートルの仮想距離のために、0%、0.5メートルの仮想距離のために、25%、0.4メートルの仮想距離のために、50%、0.3メートルの仮想距離のために、75%、および0.2メートルの仮想距離のために、100%収束される、制御スキームが、実装されてもよい。上記の実施例より長いまたはより短い遷移帯域を伴う、制御スキームも、実装されてもよい。当業者は、種々の変形例、代替、および修正を想起するであろう。
図12は、本発明のいくつかの実施形態による、VAC区切ゾーン1202を定義するための例示的方法を図示する。最初に、ユーザによって被られるVACが、ARデバイスから仮想深度面までの距離の関数として、プロットされる(代替として、「VACプロット」と称される)。いくつかの実施形態では、VACプロットは、ARデバイスの焦点面設計に基づいて決定される。図12に図示されるVACプロットに関して、0.75メートル焦点面が、利用される。次に、VAC限界が、ユーザによって被られるVACとともにプロットされる。次に、2つのプロット間の交点1204、1206が、識別され、対応する距離が、それぞれ、VACゾーン1202の下側および上側距離閾値として使用される。
図13は、種々の単一焦点面システムのためのVACプロットに基づいて定義され得る、VAC区切ゾーンの種々の実施例を図示する。ARデバイスの焦点面が、増加するにつれて、VAC区切ゾーンの下側距離閾値および上側距離閾値の両方が、増加し、近視野と遠視野性能との間のトレードオフを提示する。付加的深度面も、本システムに追加され、VAC区切ゾーンを増加させることができる。
図14は、本発明のいくつかの実施形態による、光学システム(例えば、ARデバイス400)を動作させる例示的方法1400を図示する。方法1400の1つまたはそれを上回るステップは、図示される実施形態と異なる順序で実施されてもよく、方法1400の1つまたはそれを上回るステップが、方法1400の実施の間、省略されてもよい。さらに、方法1400の2つまたはそれを上回るステップが、同時に、または相互に並行して、実施されてもよい。
ステップ1402では、VAC区切ゾーン(例えば、VAC区切ゾーン1102、1202)が、定義される。いくつかの実施形態では、VAC区切ゾーンは、光学デバイスの焦点面の数および/またはその対応する焦点面場所に基づいて定義される。例えば、1.5ジオプタにおける焦点面場所を伴う、単一焦点面システムと関連付けられる、VACが、推定され、VAC区切ゾーンを決定するために使用されることができ、これは、例えば、1.95ジオプタおよび0.65ジオプタにおける焦点面場所を伴う、2焦点面システム等の複数の焦点面システムと関連付けられるVACを使用して決定される、VAC区切ゾーンより有意に小さくあり得る。いくつかの実施形態では、VAC区切ゾーンは、加えて(または代替として)、VAC限界に基づいて定義され、これは、ユーザによって規定されてもよい、または本システムのために事前に定義されてもよい。いくつかの実施形態では、VAC区切ゾーンは、少なくとも、図3、12、および13を参照して説明されるように、光学システムと関連付けられるVACとVAC限界との間の交点(例えば、交点1204、1206)を見出すことによって定義される。
いくつかの実施形態では、VAC区切ゾーンは、光学システムからの距離の関数として定義され、VAC区切ゾーンの内側の距離は、仮想コンテンツがユーザにVAC限界未満のVACを被らせる、仮想深度面に対応し、VAC区切ゾーンの外側の距離は、仮想コンテンツがユーザにVAC限界を上回るVACを被らせる、仮想深度面に対応する。いくつかの実施形態では、VAC区切ゾーンは、少なくとも1つの距離閾値を含む。例えば、VAC区切ゾーンは、下側距離閾値(例えば、下側距離閾値1104)および/または上側距離閾値(例えば、上側距離閾値1106)を含んでもよく、下側距離閾値は、上側距離閾値未満である。
ステップ1404では、仮想オブジェクト(例えば、仮想オブジェクト102)が表示されることになる、光学システムから仮想深度面(例えば、仮想深度面210)までの仮想距離が、決定される。仮想距離は、物理的変位を示す、メートル、ジオプタ、またはある他の単位で表されてもよい。いくつかの実施形態では、仮想距離は、処理モジュール(例えば、処理モジュール450)によって決定される。いくつかの実施形態では、仮想距離は、仮想オブジェクトと関連付けられる、コリメートされたピクセルビームが、光学システムによって生成されることに先立って、その間、またはその後に決定される。
ステップ1406では、仮想距離が、下側距離閾値および/または上側距離閾値と比較される。いくつかの実施形態では、仮想距離が、下側距離閾値未満である、下側距離閾値を上回る、上側距離閾値未満である、または上側距離閾値を上回るかどうかが決定される。例えば、いくつかの実施形態では、ステップ1406は、仮想距離が下側距離閾値未満であるかどうかを決定するステップを含んでもよい。別の実施例として、いくつかの実施形態では、ステップ1406は、仮想距離が上側距離閾値を上回るかどうかを決定するステップを含んでもよい。別の実施例として、いくつかの実施形態では、ステップ1406は、仮想距離が下側距離閾値未満であるまたは上側距離閾値を上回るかどうかを決定するステップを含んでもよい。いくつかの実施形態では、ステップ1406は、仮想距離がVAC区切ゾーン外であるかどうかを決定するステップに匹敵する。
ステップ1408では、仮想オブジェクトと関連付けられる、コリメートされたピクセルビーム(例えば、コリメートされたピクセルビーム516、616、716、816、916)が、光学システムによって生成される。いくつかの実施形態では、コリメートされたピクセルビームは、光学システムのプロジェクタ(例えば、プロジェクタ214、414、514、614、714、814、914)によって生成される。コリメートされたピクセルビームは、仮想オブジェクトを表示するために、色、明度、およびサイズ情報を含有してもよい。例えば、コリメートされたピクセルビームは、単一LED色源(例えば、赤色)または複数のLED色源(例えば、赤色、緑色、および青色)からの光を含んでもよい。
ステップ1410では、コリメートされたピクセルビームが、修正されたピクセルビーム(例えば、修正されたピクセルビーム752、852、952)を生成するように修正される。いくつかの実施形態では、コリメートされたピクセルビームは、光学システムの光修正デバイス(例えば、光修正デバイス404、704、804、904)によって修正される。いくつかの実施形態では、ステップ1410が、実施されるかどうかは、ステップ1406において実施される比較に依存し得る。例えば、いくつかの実施形態では、ステップ1410は、仮想距離がVAC区切ゾーン外にあることが決定されたときのみ、実施される。例えば、ステップ1410は、仮想距離が下側距離閾値未満であることの決定に応答して、または仮想距離が上側距離閾値を上回ることの決定に応答してのみ、実施されてもよい。いくつかの実施形態では、光修正デバイスは、プロジェクタと統合される。いくつかの実施形態では、光修正デバイスは、プロジェクタと別個である。
いくつかの実施形態では、ステップ1410は、ステップ1412および/またはステップ1414を含む。ステップ1412では、コリメートされたピクセルビームが、収束される。いくつかの実施形態では、コリメートされたピクセルビームは、光修正デバイスによって収束される。ステップ1414では、コリメートされたピクセルビームの直径は、低減される。いくつかの実施形態では、コリメートされたピクセルビームの直径は、光修正デバイスによって低減される。
ステップ1416では、修正されたピクセルビームは、光学システムの接眼レンズ(例えば、接眼レンズ202、402、502、602、702、802、902)の中に投入される。いくつかの実施形態では、修正されたピクセルビームは、接眼レンズ上に形成されるICG(例えば、ICG503、603、703、803、903)の中に投入される。
ステップ1418では、修正されたピクセルビームは、光学システムの接眼レンズから出力される。いくつかの実施形態では、修正されたピクセルビームは、接眼レンズ上に形成される、漏出性格子から出力される。いくつかの実施形態では、修正されたピクセルビームは、接眼レンズからユーザの眼に向かって出力される。
図15は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム1500を図示する。図15に図示されるようなコンピュータシステム1500は、本明細書に説明されるデバイスの中に組み込まれてもよい。図15は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム1500の一実施形態の概略化された例証を提供する。図15は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図15は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。
コンピュータシステム1500は、バス1505を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および/または同等物等の、1つまたはそれを上回る汎用プロセッサおよび/または1つまたはそれを上回る特殊目的プロセッサを含む、1つまたはそれを上回るプロセッサ1510と、限定ではないが、マウス、キーボード、カメラ、および/または同等物を含むことができる、1つまたはそれを上回る入力デバイス1515と、限定ではないが、ディスプレイデバイス、プリンタ、および/または同等物を含むことができる、1つまたはそれを上回る出力デバイス1520とを含んでもよい。
コンピュータシステム1500はさらに、限定ではないが、ローカルおよび/またはネットワークアクセス可能記憶装置を備えることができ、および/または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および/または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ(「RAM」)等のソリッドステート記憶デバイス、および/または読取専用メモリ(「ROM」)を含むことができる、1つまたはそれを上回る非一過性記憶デバイス1525を含む、および/またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および/または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。
コンピュータシステム1500はまた、限定ではないが、Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備等、および/または同等物等のモデム、ネットワークカード(無線または有線)、赤外線通信デバイス、無線通信デバイス、および/またはチップセットを含むことができる、通信サブシステム1519を含み得る。通信サブシステム1519は、1つまたはそれを上回る入力および/または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および/または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および/または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム1519を介して、画像および/または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第1の電子デバイスは、コンピュータシステム1500、例えば、電子デバイスの中に入力デバイス1515として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム1500はさらに、作業メモリ1535を備え、これは、上記に説明されるようなRAMまたはROMデバイスを含むであろう。
コンピュータシステム1500はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および/または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および/またはシステムを構成するように設計され得る、1つまたはそれを上回るアプリケーションプログラム1545等のオペレーティングシステム1540、デバイスドライバ、実行可能ライブラリ、および/または他のコードを含む、作業メモリ1535内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される1つまたはそれを上回るプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび/または命令として実装され得、ある側面では、次いで、そのようなコードおよび/または命令は、説明される方法に従って1つまたはそれを上回る動作を実施するように汎用コンピュータまたは他のデバイスを構成および/または適合するために使用されることができる。
これらの命令および/またはコードのセットは、上記に説明される記憶デバイス1525等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム1500等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および/または記憶媒体が、汎用コンピュータをその上に記憶される命令/コードを用いてプログラム、構成、および/または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム1500によって実行可能である、実行可能コードの形態をとり得る、および/または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティ等のいずれかを使用したコンピュータシステム1500上へのコンパイルおよび/またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび/またはインストール可能コードの形態をとり得る。
実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および/または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。
上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム1500等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ1510が、オペレーティングシステム1540の中に組み込まれ得る、1つまたはそれを上回る命令の1つまたはそれを上回るシーケンス、および/または作業メモリ1535内に含有される、アプリケーションプログラム1545等の他のコードを実行することに応答して、コンピュータシステム1500によって実施される。そのような命令は、記憶デバイス1525のうちの1つまたはそれを上回るもの等の別のコンピュータ可読媒体から作業メモリ1535の中に読み取られてもよい。単に、一例として、作業メモリ1535内に含有される命令のシーケンスの実行は、プロセッサ1510に、本明細書に説明される方法の1つまたはそれを上回るプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。
用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム1500を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令/コードをプロセッサ1510に提供する際に関わり得る、および/またはそのような命令/コードを記憶および/または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および/または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス1525等の光学および/または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ1535等の動的メモリを含む。
一般的形態の物理的および/または有形コンピュータ可読媒体は、例えば、フロッピー(登録商標)ディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および/またはコードを読み取ることができる、任意の他の媒体を含む。
種々の形態のコンピュータ可読媒体が、実行のための1つまたはそれを上回る命令の1つまたはそれを上回るシーケンスをプロセッサ1510に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび/または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム1500によって受信および/または実行される伝送媒体を経由して、命令を信号として送信し得る。
通信サブシステム1519および/またはそのコンポーネントは、概して、信号を受信し、バス1505が、次いで、信号および/または信号によって搬送されるデータ、命令等を作業メモリ1535に搬送し得、そこから、プロセッサ1510が、命令を読み出し、実行する。作業メモリ1535によって受信された命令は、随意に、プロセッサ1510による実行前または後のいずれかにおいて、非一過性記憶デバイス1525上に記憶されてもよい。
上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および/または種々の段階は、追加される、省略される、および/または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。
具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。
また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、シーケンシャルプロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されてもよい。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。
いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。
本明細書および添付の請求項で使用されるように、単数形「a」、「an」、および「the」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ(a user)」の言及は、複数のそのようなユーザを含み、「プロセッサ(the processor)」の言及は、1つまたはそれを上回るプロセッサおよび当業者に公知のその均等物等の言及を含む。
また、単語「comprise(~を備える)」、「comprising(~を備える)」、「contains(~を含有する)」、「containing(~を含有する)」、「include(~を含む)」、「including(~を含む)」、および「includes(~を含む)」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、1つまたはそれを上回る他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。
また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。

Claims (20)

  1. 光学システムを動作させる方法であって、前記方法は、
    輻輳・開散運動-遠近調節衝突(VAC)限界に基づいて、前記光学システムからの距離の関数として、区切ゾーンを定義することであって、前記区切ゾーンは、少なくとも1つの距離閾値を有する、ことと、
    仮想オブジェクトが表示されることになる前記光学システムからの仮想深度面の仮想距離を決定することと、
    前記少なくとも1つの距離閾値までの仮想距離を比較することによって、前記仮想距離が前記区切ゾーン外にあるかどうかを決定することと、
    前記光学システムのプロジェクタによって、前記仮想オブジェクトと関連付けられるコリメートされたピクセルビームを生成することと、
    前記仮想距離が前記区切ゾーン外にあることを決定することに基づいて、前記コリメートされたピクセルビームを修正し、修正されたピクセルビームを生成することであって、前記コリメートされたピクセルビームを修正することは、
    前記コリメートされたピクセルビームを収束させること、または
    前記コリメートされたピクセルビームの直径を低減させること
    のうちの少なくとも1つを含む、ことと、
    前記修正されたピクセルビームを前記光学システムの接眼レンズの中に投入することと、
    前記修正されたピクセルビームを前記接眼レンズからユーザの眼に向かって出力することと
    を含む、方法。
  2. 光学システムであって、
    プロジェクタであって、前記プロジェクタは、仮想オブジェクトと関連付けられるコリメートされたピクセルビームを生成するように構成される、プロジェクタと、
    光修正デバイスであって、前記光修正デバイスは、前記コリメートされたピクセルビームを修正し、修正されたピクセルビームを生成するように構成される、光修正デバイスと、
    前記修正されたピクセルビームを出力するように構成される接眼レンズと、
    処理モジュールであって、前記処理モジュールは、
    前記仮想オブジェクトが表示されることになる前記光学システムからの仮想深度面の仮想距離を決定することと、
    前記仮想距離と少なくとも1つの距離閾値を比較することと、
    前記仮想距離と前記少なくとも1つの距離閾値を比較することに基づいて、前記光修正デバイスに、前記コリメートされたピクセルビームを修正し、前記修正されたピクセルビームを生成させることと
    を含む動作を実施するように構成される、処理モジュールと
    を備える、光学システム。
  3. 前記コリメートされたピクセルビームを修正することは、
    前記コリメートされたピクセルビームを収束させることを含む、請求項2に記載の光学システム。
  4. 前記コリメートされたピクセルビームを修正することは、
    前記コリメートされたピクセルビームの直径を低減させることを含む、請求項2に記載の光学システム。
  5. 前記動作はさらに、
    前記光学システムからの距離の関数として、区切ゾーンを定義することであって、前記区切ゾーンは、前記少なくとも1つの距離閾値を含む、ことを含む、請求項2に記載の光学システム。
  6. 前記仮想距離と前記少なくとも1つの距離閾値を比較することは、
    前記仮想距離が前記区切ゾーン外にあるかどうかを決定することを含む、請求項5に記載の光学システム。
  7. 前記区切ゾーンは、輻輳・開散運動-遠近調節衝突(VAC)限界に基づいて定義される、請求項5に記載の光学システム。
  8. 前記VAC限界は、前記光学システムのユーザによって定義される、請求項7に記載の光学システム。
  9. 前記接眼レンズは、前記修正されたピクセルビームを前記光修正デバイスから受光するように構成される、請求項2に記載の光学システム。
  10. 前記光修正デバイスは、前記プロジェクタと前記接眼レンズとの間の光学経路内に位置付けられる、請求項2に記載の光学システム。
  11. 光学システムを動作させる方法であって、前記方法は、
    仮想オブジェクトが表示されることになる前記光学システムからの仮想深度面の仮想距離を決定することと、
    前記仮想距離と少なくとも1つの距離閾値を比較することと、
    前記光学システムのプロジェクタによって、前記仮想オブジェクトと関連付けられるコリメートされたピクセルビームを生成することと、
    前記仮想距離と前記少なくとも1つの距離閾値を比較することに基づいて、前記コリメートされたピクセルビームを修正し、修正されたピクセルビームを生成することと
    を含む、方法。
  12. 前記コリメートされたピクセルビームを修正することは、
    前記コリメートされたピクセルビームを収束させることを含む、請求項11に記載の方法。
  13. 前記コリメートされたピクセルビームを修正することは、
    前記コリメートされたピクセルビームの直径を低減させることを含む、請求項11に記載の方法。
  14. 前記光学システムからの距離の関数として、区切ゾーンを定義することであって、前記区切ゾーンは、前記少なくとも1つの距離閾値を含む、ことをさらに含む、請求項11に記載の方法。
  15. 前記仮想距離と前記少なくとも1つの距離閾値を比較することは、
    前記仮想距離が前記区切ゾーン外にあるかどうかを決定することを含む、請求項14に記載の方法。
  16. 前記区切ゾーンは、輻輳・開散運動-遠近調節衝突(VAC)限界に基づいて定義される、請求項14に記載の方法。
  17. 前記VAC限界は、前記光学システムのユーザによって定義される、請求項16に記載の方法。
  18. 前記修正されたピクセルビームを前記光学システムの接眼レンズの中に投入することをさらに含む、請求項11に記載の方法。
  19. 前記修正されたピクセルビームを前記光学システムの接眼レンズからユーザの眼に向かって出力することをさらに含む、請求項11に記載の方法。
  20. 前記コリメートされたピクセルビームは、前記プロジェクタと前記光学システムの接眼レンズとの間の光学経路内に位置付けられる光修正デバイスによって修正される、請求項11に記載の方法。
JP2022534393A 2019-12-10 2020-12-09 複合現実ディスプレイのための増加された被写界深度 Pending JP2023505791A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962946291P 2019-12-10 2019-12-10
US62/946,291 2019-12-10
PCT/US2020/064079 WO2021119171A1 (en) 2019-12-10 2020-12-09 Increased depth of field for mixed-reality display

Publications (1)

Publication Number Publication Date
JP2023505791A true JP2023505791A (ja) 2023-02-13

Family

ID=76209680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534393A Pending JP2023505791A (ja) 2019-12-10 2020-12-09 複合現実ディスプレイのための増加された被写界深度

Country Status (5)

Country Link
US (2) US11726318B2 (ja)
EP (1) EP4073570A4 (ja)
JP (1) JP2023505791A (ja)
CN (1) CN114787690A (ja)
WO (1) WO2021119171A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387314B1 (ko) * 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
CN105229719B (zh) 2013-03-15 2018-04-27 奇跃公司 显示系统和方法
EP4073570A4 (en) 2019-12-10 2023-01-18 Magic Leap, Inc. INCREASED DEPTH OF FIELD FOR A MIXED REALITY DISPLAY
US11782290B2 (en) * 2021-05-21 2023-10-10 Lightspace Group, Inc. Apparatus and method for displaying three-dimensional image
CN118033971A (zh) * 2022-11-11 2024-05-14 华为技术有限公司 投影系统、投影方法和交通工具

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1784988A1 (en) * 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
IL302656A (en) * 2016-02-11 2023-07-01 Magic Leap Inc Multi-depth planar display system with limited change between depth planes
JP6680109B2 (ja) * 2016-06-28 2020-04-15 株式会社デンソー 映像投射装置及びそれを備えるヘッドアップディスプレイ装置
WO2018057660A2 (en) 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
US10241329B2 (en) * 2017-07-13 2019-03-26 Google Llc Varifocal aberration compensation for near-eye displays
CN112136073A (zh) 2018-03-14 2020-12-25 奇跃公司 用于剪辑内容以增加观看舒适感的显示系统和方法
EP4073570A4 (en) 2019-12-10 2023-01-18 Magic Leap, Inc. INCREASED DEPTH OF FIELD FOR A MIXED REALITY DISPLAY

Also Published As

Publication number Publication date
US20230333369A1 (en) 2023-10-19
EP4073570A1 (en) 2022-10-19
US20210173204A1 (en) 2021-06-10
WO2021119171A1 (en) 2021-06-17
EP4073570A4 (en) 2023-01-18
CN114787690A (zh) 2022-07-22
US11726318B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
US10598938B1 (en) Angular selective grating coupler for waveguide display
JP7096836B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
US10746999B2 (en) Dual depth exit pupil expander
KR102460874B1 (ko) 구면 미러 및 결합 해제된 비구면 엘리먼트를 갖는 근안 디스플레이
JP2023505791A (ja) 複合現実ディスプレイのための増加された被写界深度
JP2020514824A (ja) 回折光学要素を使用した眼結像装置
JP2019507902A (ja) 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
JP2021099523A (ja) 薄型ビームスプリッタ
CN113302431A (zh) 用于近眼波导显示器的体布拉格光栅
US11695913B1 (en) Mixed reality system
US11841510B1 (en) Scene camera
US20220269076A1 (en) Waveguide display with multiple monochromatic projectors
US11885967B2 (en) Phase structure on volume Bragg grating-based waveguide display
WO2022182784A1 (en) Staircase in-coupling for waveguide display
US20240134191A1 (en) Monovision display for wearable device
CN117043658A (zh) 通过波导的眼睛跟踪器照明
US20220291437A1 (en) Light redirection feature in waveguide display
US11733521B2 (en) Heterogeneous layered volume Bragg grating waveguide architecture
US20220163816A1 (en) Display apparatus for rendering three-dimensional image and method therefor
CN117980808A (zh) 用于混合现实头戴式显示设备中多个焦平面的组合双折射材料和反射波导
Das et al. NextGen XR Requirements State-of-the-Art

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231124