JP2023509295A - 中心窩適応ディスプレイシステム - Google Patents
中心窩適応ディスプレイシステム Download PDFInfo
- Publication number
- JP2023509295A JP2023509295A JP2022532083A JP2022532083A JP2023509295A JP 2023509295 A JP2023509295 A JP 2023509295A JP 2022532083 A JP2022532083 A JP 2022532083A JP 2022532083 A JP2022532083 A JP 2022532083A JP 2023509295 A JP2023509295 A JP 2023509295A
- Authority
- JP
- Japan
- Prior art keywords
- light
- lens
- diffuser
- foveal
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
様々な実施形態によって、中心窩適応ディスプレイシステムおよびそのコンポーネントが説明される。中心窩適応ディスプレイシステムは、中心窩ディスプレイモジュールと直列に配設される周辺ディスプレイモジュールを含む。周辺ディスプレイモジュールは、ユーザの周辺視力用に低解像度で大きい視野の結像を生成するように構成される。中心窩ディスプレイモジュールは、高解像度の結像がユーザの目の注視の中心窩領域に向けてフォーカスされる、中心窩適応レンダリングを実行するように構成される。周辺ディスプレイモジュールは、比較的コンパクトな設計であるパンケーキレンズ内部に配設されるディフューザを含んでもよい。中心窩ディスプレイモジュールは、仮想画像をユーザの目に見える視野全体を覆うようにステアリングすることができるように、ビームステアリングデバイスのステアリング範囲を大きくするパンチャラトナム-ベリー位相格子積層体を含んでもよい。【選択図】図5
Description
関連出願の相互参照
本出願は「Pancake Lens Including Diffuser」および「Switchable Pancharatnam-Berry Phase Grating Stack」と題される特許出願に関し、これらは本出願と同一の譲受人に譲渡され、また本出願と同日に提出されており、その全体が参照により本明細書に組み込まれる。
本出願は「Pancake Lens Including Diffuser」および「Switchable Pancharatnam-Berry Phase Grating Stack」と題される特許出願に関し、これらは本出願と同一の譲受人に譲渡され、また本出願と同日に提出されており、その全体が参照により本明細書に組み込まれる。
様々な実施形態の分野
本開示の実施形態は、一般的に光学システムに関し、より詳細には中心窩適応ディスプレイシステムに関する。
本開示の実施形態は、一般的に光学システムに関し、より詳細には中心窩適応ディスプレイシステムに関する。
関連技術の説明
人工現実システムは、完全に生成されたコンテンツ、またはキャプチャした(例えば、現実世界の)コンテンツと組み合わせて生成されたコンテンツを表示する。現実的なディスプレイは、ユーザがユーザ自身の周辺視力、ならびにユーザの目の裏に位置する網膜中心窩(本明細書では「中心窩」とも称される)により作り出される高視力で見る物を考慮するべきである。ヘッドマウントディスプレイ(HMD)システムなどのいくつかの人工現実システムでは、小型のフォームファクタおよび軽量設計がさらに望ましい。このような人工現実システムを設計することは、難しいことが証明されている。
人工現実システムは、完全に生成されたコンテンツ、またはキャプチャした(例えば、現実世界の)コンテンツと組み合わせて生成されたコンテンツを表示する。現実的なディスプレイは、ユーザがユーザ自身の周辺視力、ならびにユーザの目の裏に位置する網膜中心窩(本明細書では「中心窩」とも称される)により作り出される高視力で見る物を考慮するべきである。ヘッドマウントディスプレイ(HMD)システムなどのいくつかの人工現実システムでは、小型のフォームファクタおよび軽量設計がさらに望ましい。このような人工現実システムを設計することは、難しいことが証明されている。
本開示の一実施形態は、中心窩適応ディスプレイシステムを説明する。中心窩適応ディスプレイシステムは、角度および波長が選択的なレンズを含む中心窩ディスプレイモジュールを含む。中心窩適応ディスプレイシステムは、レンズと直線上に配設されるディフューザを含む周辺ディスプレイモジュールをさらに含む。
ディフューザは、偏光、角度、および波長が選択的であってもよい。
レンズは、周辺ディスプレイモジュールから出力された光は、レンズを通して通過させることができる。
周辺ディスプレイモジュールは、光をある角度でディフューザに投影するように構成された投影デバイスをさらに含んでもよく、ディフューザは、投影された光を拡散するように構成されてもよく、ディフューザは、現実世界の光はディフューザを通して通過させるようにさらに構成されてもよい。
周辺ディスプレイモジュールは、パンケーキレンズであって、パンケーキレンズを通過する光の伝播距離を大きくするように構成され得る、パンケーキレンズをさらに含んでもよい。
ディフューザは、パンケーキレンズ内に含まれてもよい。
パンケーキレンズは、半波長板であって、半波長板を通過する光の偏光の左右像を変えるように構成されてもよい、半波長板と、偏光および波長が選択的であってもよい、ミラーと、ハーフミラーであって、偏光の1つの左右像を有する入射する光の偏光の左右像を反射して変え、偏光のもう一方の左右像を有する入射する光を通すように構成されてもよい、ハーフミラーと
をさらに含んでもよい。
をさらに含んでもよい。
中心窩ディスプレイモジュールは、視線追跡モジュールと、ディスプレイと、光をビームステアリングミラーでフォーカスするように構成されてもよい光学素子とを含んでもよく、ビームステアリングミラーは、レンズを介して、視線追跡モジュールによって検出された瞳孔位置に対応する中心窩領域に向けて光をフォーカスするように制御可能であってもよく、レンズは、ビームステアリングミラーからの光を反射し、周辺ディスプレイモジュールによって出力され得る光は、レンズを通過させるように構成されてもよい。
中心窩ディスプレイモジュールは、ビームステアリングミラーのステアリング範囲を大きくするよう制御可能なスイッチ可能なパンチャラトナム-ベリー位相(PBP)格子積層体をさらに含んでもよい。
スイッチ可能なPBP格子積層体は、2つのPBP格子および2つのPBP格子間に配設されたスイッチ可能な半波長板を含んでもよい。
レンズは、ホログラフィック光学素子であってもよい。
レンズは、体積型格子レンズであってもよい。
ディフューザは、コレステリック液晶材料を含んでもよい。
本開示の別の実施形態は、ヘッドマウントディスプレイ(HMD)を説明する。HMDは、周辺ディスプレイシステムと直列に配設された中心窩ディスプレイシステムを含む。中心窩ディスプレイシステムは、角度および波長が選択的なレンズを含む。周辺ディスプレイシステムは、ディフューザを含む。
ディフューザは、レンズと直線上に配設されてもよく、ディフューザは、偏光および角度が選択的であってもよい。
周辺ディスプレイシステムは、光をある角度でディフューザに投影するように構成されてもよい投影デバイスであって、ディフューザは、投影された光を拡散し、現実世界の光はディフューザを通過させるように構成されてもよい、投影デバイスをさらに含んでもよく、パンケーキレンズは、パンケーキレンズを通過する光の伝播距離を大きくするように構成されてもよく、ディフューザはパンケーキレンズに含まれてもよい。
中心窩ディスプレイシステムは、視線追跡モジュールと、ディスプレイと、光を微小電気機械システム(MEMS)ミラーでフォーカスするように構成されてもよい光学素子とをさらに含んでもよく、MEMSミラーは、レンズを介して、視線追跡モジュールによって検出された瞳孔位置に対応する中心窩領域に向けて光をフォーカスするように制御可能であってもよく、レンズは、MEMSミラーからの光を反射し、周辺ディスプレイシステムによって出力された光は、レンズを通過させるように構成されてもよい。
中心窩ディスプレイシステムは、MEMSミラーのステアリング範囲を大きくするよう制御可能なスイッチ可能なパンチャラトナム-ベリー位相(PBP)格子積層体をさらに含んでもよく、スイッチ可能なPBP格子積層体は、2つのPBP格子および2つのPBP格子間に配設されたスイッチ可能な半波長板を含んでもよい。
HMDは、現実世界の光を、周辺ディスプレイシステムによって生成された光と組み合わせるように構成されたコンバイナをさらに含んでもよい。
本開示の別の実施形態は、方法を説明する。方法は、ユーザの目の瞳孔位置を検出することを含む。方法は、角度および波長が選択的な少なくとも1つのレンズを使用して仮想画像を生成することをさらに含む。仮想画像は、レンズを介して、検出された瞳孔位置に対応するユーザの目の中心窩領域に向けてフォーカスされる。加えて、方法は、レンズと直線上に配設された少なくとも1つのディフューザを使用して投影画像を生成することを含む。レンズは、投影画像に関する光はレンズを通過させる。
本明細書で開示される中心窩適応ディスプレイシステムの1つの利点は、中心窩適応ディスプレイシステムが、ユーザの目の注視の中心窩領域には高解像度の仮想結像を、それと共にユーザの目の注視の他の領域には低解像度で大きい視野の背景結像を生成することである。投影結像を生成するために使用されるディフューザは、パンケーキレンズ内に配設することが可能であり、パンケーキレンズは、小型のフォームファクタおよび重量が検討事項となるHMDや他のデバイスを用いる用途に有益な比較的コンパクトな(つまり、より薄い)設計である。加えて、スイッチ可能なパンチャラトナム-ベリー位相格子積層体は、例えば仮想結像に関する光が、ユーザの目に見える視野全体を覆うようにステアリングすることができるように、高解像度の仮想結像を生成するために使用されるビームステアリングデバイスのステアリング範囲を大きくするために使用することが可能である。これらの技術上の利点は、従来技術の手法に優る1つまたは複数の技術的な進歩を代表する。
様々な実施形態の上述の特徴が詳細に理解され得るやり方、上で簡略に要約された開示される概念のさらに特定の説明は、様々な実施形態を参照することによって得ることができ、それらの一部は添付の図面に図示される。しかしながら、添付の図面は、開示される概念の典型的な実施形態のみを図示しており、故にいかなる範囲の限定と解釈されてはならず、他に同様の効果的な実施形態があることに留意されたい。
以下の説明では、様々な実施形態のさらなる理解を与えるために、数多くの具体的な詳細が説明される。しかしながら、当業者には、開示される概念は、これらの具体的な詳細のうちの1つまたは複数を伴わずに実践され得ることが明らかである。
構成概要
本明細書で開示される1つまたは複数の実施形態は、中心窩適応ディスプレイシステムに関する。中心窩適応ディスプレイシステムは、中心窩ディスプレイモジュールと直列に配設される周辺ディスプレイモジュールを含む。周辺ディスプレイモジュールは、ユーザの周辺視力用に低解像度で大きい視野(FOV)の結像を生成するように構成される一方で、中心窩ディスプレイモジュールは、高解像度の結像がユーザの目の注視の中心窩領域に向けてフォーカスされる、中心窩適応レンダリングを実行するように構成される。加えて、現実世界の光は、周辺と中心窩のディスプレイモジュールを通過し、ユーザによって観察することが可能である。
本明細書で開示される1つまたは複数の実施形態は、中心窩適応ディスプレイシステムに関する。中心窩適応ディスプレイシステムは、中心窩ディスプレイモジュールと直列に配設される周辺ディスプレイモジュールを含む。周辺ディスプレイモジュールは、ユーザの周辺視力用に低解像度で大きい視野(FOV)の結像を生成するように構成される一方で、中心窩ディスプレイモジュールは、高解像度の結像がユーザの目の注視の中心窩領域に向けてフォーカスされる、中心窩適応レンダリングを実行するように構成される。加えて、現実世界の光は、周辺と中心窩のディスプレイモジュールを通過し、ユーザによって観察することが可能である。
周辺ディスプレイモジュールは、ユーザの周辺視力用の背景結像を、背景結像を拡散するディフューザに投影する投影デバイス、ならびに背景結像がユーザにとってさらに遠くに見えるように光の伝播距離を大きくするパンケーキレンズを含む。ディフューザは、いくつかの実施形態では、偏光、角度、および波長が選択的である。このようなディフューザは、例えばコレステリック液晶材料を使用して構成することができる。動作中、円偏光した光は傾斜した角度でディフューザに投影され、パンケーキレンズ内で2回跳ね返る。いくつかの実施形態では、ディフューザはまた、パンケーキレンズ内に含まれてもよく、これは、ディフューザがパンケーキレンズの外部にあるものよりもコンパクトな(つまり、より薄い)で設計ある。
中心窩ディスプレイモジュールは、ホログラフィックディスプレイ、微小電気機械システム(MEMS)ミラーなどのビームステアリングデバイス、ホログラフィック光学素子(HOE)などの角度-波長選択的レンズ、ならびに視線追跡デバイスを含む。動作中、ビームステアリングデバイスは、視線追跡デバイスによってキャプチャされる瞳孔位置に基づいて、光をホログラフィックディスプレイから、角度-波長選択的レンズを介してユーザの目の注視の中心窩領域に向けてフォーカスするよう制御可能である。いくつかの実施形態では、中心窩ディスプレイモジュールはまた、ビームステアリングデバイスのステアリング範囲を大きくする、スイッチ可能なパンチャラトナム-ベリー位相(PBP)格子積層体を含む。そのような事例では、スイッチ可能なPBP格子積層体は、2つのPBP格子間に配設されたスイッチ可能な半波長板を含んでもよい。スイッチ可能なPBP格子積層体中の1つのPBP格子によって作り出される回折角は、スイッチ可能な半波長板がオンである場合と、スイッチ可能な半波長板がオフである場合とでは、スイッチ可能な半波長板によって出力される光の偏光の左右像に基づいて、異なる。
本開示の実施形態はまた、人工現実システムを含むか、人工現実システムと併せて実装されてもよい。人工現実は、例えば、仮想現実(VR)システム、拡張現実(AR)システム、複合現実(MR)システム、ハイブリッド現実システム、またはそれらの何らかの組み合わせおよび/もしくは派生物を含み得る、ユーザへの提示前に何らかの様式で調節された現実の形態である。人工現実コンテンツは、限定はしないが、完全に生成されたコンテンツ、またはキャプチャした(例えば、現実世界)コンテンツと組み合わせて生成されたコンテンツを含み得る。人工現実コンテンツは、限定はしないが、動画、音声、触覚フィードバック、またはそれらの何らかの組み合わせを含み得る。人工現実コンテンツは、単一のチャネルまたは複数のチャネルにおいて提示され得る(視聴者に三次元効果を作り出すステレオ動画像など)。加えて、いくつかの実施形態において、人工現実システムはまた、例えば、人工現実システムにおいてコンテンツを作成するために使用される、および/または人工現実システムにおいて別途使用される(例えば、人工現実においてアクティビティを実施する)、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組み合わせと関連付けられ得る。人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、スタンドアローンHMD、モバイルデバイスもしくはコンピューティングシステム、または1もしくは複数の視聴者に人工現実コンテンツを提供することができる任意の他のハードウェアプラットフォームを含む、様々なプラットフォームに実装され得る。
本開示の実施形態はまた、人工現実システムを含むか、人工現実システムと併せて実装されてもよい。人工現実は、例えば、VRシステム、ARシステム、MRシステム、ハイブリッド現実システム、またはそれらの何らかの組み合わせおよび/もしくは派生物を含み得る、ユーザへの提示前に何らかの様式で調節された現実の形態である。人工現実コンテンツは、限定はしないが、完全に生成されたコンテンツ、またはキャプチャした(例えば、現実世界)コンテンツと組み合わせて生成されたコンテンツを含み得る。人工現実コンテンツは、限定はしないが、動画、音声、触覚フィードバック、またはそれらの何らかの組み合わせを含み得る。人工現実コンテンツは、単一のチャネルまたは複数のチャネルにおいて提示され得る(視聴者に三次元効果を作り出すステレオ動画像など)。加えて、いくつかの実施形態において、人工現実システムはまた、例えば、人工現実システムにおいてコンテンツを作成するために使用される、および/または人工現実システムにおいて別途使用される(例えば、人工現実においてアクティビティを実施する)、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組み合わせと関連付けられ得る。人工現実システムは、ホストコンピュータシステムに接続されたHMD、スタンドアローンHMD、モバイルデバイスもしくはコンピューティングシステム、または1もしくは複数の視聴者に人工現実コンテンツを提供することができる任意の他のハードウェアプラットフォームを含む、様々なプラットフォームに実装され得る。
システム概要
図1Aは、様々な実施形態による、ニアアイディスプレイ(NED)100の配線図である。NEDおよびヘッドマウントディスプレイ(HMD)は本明細書では参照例として開示されるが、中心窩適応ディスプレイシステムを含むディスプレイデバイスはまた、ヘッドマウントにせず、ユーザの片目または両目に近接して固定位置で配置するために構成されてもよい(例えば、ディスプレイデバイスは、ユーザの片目または両目の前方に配置するために、車や航空機などの乗り物に搭載されてもよい)。
図1Aは、様々な実施形態による、ニアアイディスプレイ(NED)100の配線図である。NEDおよびヘッドマウントディスプレイ(HMD)は本明細書では参照例として開示されるが、中心窩適応ディスプレイシステムを含むディスプレイデバイスはまた、ヘッドマウントにせず、ユーザの片目または両目に近接して固定位置で配置するために構成されてもよい(例えば、ディスプレイデバイスは、ユーザの片目または両目の前方に配置するために、車や航空機などの乗り物に搭載されてもよい)。
示されるように、NED100は、前方剛体105およびバンド110を含む。前方剛体105は、電子ディスプレイ(図示せず)の1つまたは複数の電子ディスプレイ素子、慣性測定ユニット(IMU)115、1つまたは複数の位置センサ120、およびロケータ125を含む。図1Aに図示されるように、位置センサ120はIMU115内に配置され、IMU115と位置センサ120のいずれもユーザには見えない。NED100がARまたはMRデバイスとして機能する様々な実施形態において、NED100の一部および/またはその内部コンポーネントは、少なくとも部分的に透明である。
図1Bは、図1Aに示されるNED100の実施形態の前方剛体105の断面図160である。示されるように、前方剛体105は、電子ディスプレイ130および光学系ブロック135を含み、これらは共に射出瞳145へ画像光を提供する。射出瞳145は、ユーザの目140が位置し得る前方剛体105の場所である。説明のため、図1Bは片目140に関する断面図160を示しているが、光学系ブロック135とは別個の別の光学系ブロックは、ユーザのもう片方の目に改変した画像光を提供することができる。追加的に、NED100は、視線追跡システム(図1Bには図示せず)を含む。視線追跡システムは、ユーザの片目または両目を照射する1つまたは複数の光源を含んでもよい。視線追跡システムはまた、目の位置を追跡するためにユーザの片目または両目を撮像する1つまたは複数のカメラを含んでもよい。
電子ディスプレイ130は、ユーザに対して画像を表示する。様々な実施形態において、電子ディスプレイ130は、単一の電子ディスプレイまたは複数の電子ディスプレイ(例えば、ユーザの片目ごとに1つのディスプレイ)を含み得る。電子ディスプレイ130の例としては、以下が挙げられる:液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、アクティブマトリクス式有機発光ダイオードディスプレイ(AMOLED)、QOLED、QLED、何らかの他のディスプレイ、またはそれらの何らかの組み合わせ。
光学系ブロック135は、電子ディスプレイ130から発せられた画像光の配向を、ユーザから特定の仮想画像距離に電子ディスプレイ130が現れるように調節する。光学系ブロック135は、電子ディスプレイ130から発せられた画像光を受け取り、画像光を射出瞳145に関連付けられたアイボックスに導くように構成される。アイボックスに導かれる画像光は、目140の網膜に像を結ぶ。アイボックスは、目140が著しい画質の劣化を伴わずに上下左右にどれくらい動くかを定義する領域である。図1Bの図では、視野(FOV)150は、任意の所与の瞬間に目140によって見られる観察可能な世界の範囲である。
追加的に、いくつかの実施形態では、光学系ブロック135は、受け取った光を拡大し、画像光に関する光学誤差を補正し、補正画像光を目140に提示する。光学系ブロック135は、1つまたは複数の光学素子155を光学直列に含んでもよい。光学素子155は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、導波路、パンチャラトナム-ベリー位相(PBP)レンズもしくは格子、色選択フィルタ、波長板、Cプレート、または画像光に影響を与えるあらゆる他の適切な光学素子155であってもよい。その上、光学系ブロック135は、異なる光学素子の組み合わせを含んでもよい。光学系ブロック135における光学素子のうちの1つまたは複数は、反射防止コーティングなどの1つまたは複数のコーティングを有してもよい。いくつかの実施形態では、光学系ブロック135は、図4~図11と併せて以下で詳細に考察される、中心窩適応、周辺、および/または中心窩システムのうちの1つまたは複数の光学素子を含んでもよい。
図2Aは、様々な実施形態による、NEDとして実装されるHMD162の図である。示されるように、HMD162は、拡張現実眼鏡の形態である。HMD162は、コンピュータ生成メディアをユーザに提示し、物理的で、現実世界の環境のビューをコンピュータ生成メディアで拡張する。HMD162によって提示されるコンピュータ生成メディアの例としては、1つまたは複数の画像、動画、音声、またはそれらのいくつかの組み合わせが挙げられる。いくつかの実施形態において、音声は、HMD162、コンソール(図示せず)または両方から音声情報を受信し、音声情報に基づいて音声データを提示する外部デバイス(例えば、スピーカおよびヘッドフォン)を介して提示される。いくつかの実施形態では、HMD162は、VR HMD、MR HMD、またはそれらのいくつかの組み合わせとしても動作するように修正されてもよい。HMD162は、フレーム175およびディスプレイ164を含む。示されるように、フレーム175は、NEDをユーザの頭部に搭載し、一方でディスプレイ164は画像光をユーザに提供する。ディスプレイ164は、異なるスタイルの眼鏡フレームに適合するよう多様な形状およびサイズにカスタマイズしてもよい。
図2Bは、様々な実施形態による、NEDとして実装される図2AのHMD162の断面図である。この視点には、フレーム175、ディスプレイ164(ディスプレイアセンブリ180およびディスプレイブロック185を含む)、および目170が含まれる。ディスプレイアセンブリ180は、画像光を、目170に与える。ディスプレイアセンブリ180は、異なる実施形態では異なるタイプの撮像光学系およびリダイレクト構造を包み込む、ディスプレイブロック185を収容する。説明のため、図2Bは単一のディスプレイブロック185および片方の目170に関する断面図を示しているが、図示されていない代替的な実施形態では、図2Bに示されるディスプレイブロック185とは別個の別のディスプレイブロックが、ユーザのもう片方の目に対して画像光を提供する。
ディスプレイブロック185は、図示されるように、局所的エリアからの光をコンピュータ生成の画像からの光と組み合わせて、拡張されたシーンを形成するように構成される。ディスプレイブロック185はまた、拡張されたシーンをユーザの目170の位置に対応するアイボックス165に提供するように構成される。ディスプレイブロック185は、例えば導波路ディスプレイ、フォーカスアセンブリ、補償アセンブリ、またはそれらのいくつかの組み合わせを含んでもよい。いくつかの実施形態では、ディスプレイブロック185は、図4~図11と併せて以下で詳細に考察される、中心窩適応、周辺、および/または中心窩システムのうちの1つまたは複数のコンポーネントを含んでもよい。
HMD162は、ディスプレイブロック185と目170との間に、1つまたは複数の他の光学素子を含んでもよい。光学素子は、例えば、ディスプレイブロック185から発せられた画像光の収差を補正するように、ディスプレイブロック185から発せられた画像光を拡大するように、ディスプレイブロック185から発せられた画像光の何らかの他の光学的な調節のため、またはそれらのいくつかの組み合わせのために機能してもよい。光学素子の例としては、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または画像光に影響を与えるあらゆる他の適切な光学素子を挙げることができる。ディスプレイブロック185はまた、重量を効果的に最小化してHMD162の視野を広げる1つまたは複数の屈折率を有する1つまたは複数の材料(例えば、プラスチック、ガラスなど)を含んでもよい。
図3は、コンソール310が動作するニアアイディスプレイシステム300の実施形態のブロック図である。いくつかの実施形態では、NEDシステム300は、NED100またはHMD162に対応する。NEDシステム300は、VRシステム環境、ARシステム環境、MRシステム環境、またはそれらのいくつかの組み合わせにおいて、動作してもよい。図3に示されるNEDシステム300は、NED305およびコンソール310に結合された入力/出力(I/O)インターフェース315を含む。
図3は、1つのNED305、および1つのI/Oインターフェース315を含む例示的なNEDシステム300の例を示しているが、他の実施形態では、あらゆる数のこれらのコンポーネントがNEDシステム300に含まれてもよい。例えば、それぞれが関連するI/Oインターフェース315を有し、各NED305とI/Oインターフェース315がコンソール310と通信する、複数のNED305があってもよい。代替の構成において、異なるおよび/または追加のコンポーネントが、NEDシステム300に含まれてもよい。追加的に、NED305、コンソール310、およびI/Oインターフェース315に含まれる様々なコンポーネントは、いくつかの実施形態において図3に関連して説明されるやり方以外の様々なやり方で分散されてもよい。例えば、コンソール310の機能性の一部またはすべては、NED305によって実現されてもよい。
NED305は、ユーザにコンテンツを提示するヘッドマウントディスプレイであってもよい。コンテンツは、コンピュータ生成の要素(例えば、二次元または三次元画像、二次元または三次元動画、音声など)を含む物理的で現実世界環境の仮想的および/または拡張的なビューを含んでもよい。いくつかの実施形態では、NED305はまた、音声コンテンツをユーザに提示してもよい。NED305および/またはコンソール310は、音声コンテンツをI/Oインターフェース315を通じて外部デバイスに送信してもよい。外部デバイスとしては、様々な形態のスピーカシステム、および/またはヘッドフォンを挙げることができる。様々な実施形態では、音声コンテンツは、NED305によって表示されている視覚的コンテンツと同期される。
NED305は、共に剛結合または非剛結合され得る1つまたは複数の剛体を含み得る。剛体同士の剛結合は、結合した剛体を単一の剛実体として作用させる。それとは対照的に、剛体同士の非剛結合は、剛体が互いに対して移動することを可能にする。
図3に示されるように、NED305は、深度カメラアセンブリ(DCA)320、ディスプレイ325、光学アセンブリ330、1つまたは複数の位置センサ335、慣性測定ユニット(IMU)340、視線追跡システム345、および可変焦点モジュール350を含んでもよい。いくつかの実施形態では、ディスプレイ325および光学アセンブリ330は、共に投影アセンブリに一体化することが可能である。NED305の様々な実施形態は、上に列挙したコンポーネントに加えて、それらより少ない、またはそれらとは異なるコンポーネントを有してもよい。追加的に、それぞれのコンポーネントの機能性は、部分的にまたは完全に、様々な実施形態における1つまたは複数の他のコンポーネントの機能性によって包含されてもよい。
DCA320は、NED305の周囲のエリアの深度情報を記述するセンサデータをキャプチャする。センサデータは、三角法、構造化光イメージング、time-of-flightイメージング、レーザスキャンなど深度イメージング技法のうちの1つまたは組み合わせによって生成されてもよい。DCA320は、センサデータを用いてNED305の周囲のエリアの様々な深度プロパティを計算することができる。追加的に、または代替的に、DCA320は、処理するためにセンサデータをコンソール310に送信してもよい。
DCA320は、照明光源、撮像デバイス、およびコントローラを含む。照明光源は、NED305の周囲のエリアに向けて光を発する。一実施形態では、発せられた光は、構造化光である。照明光源は、ある特性(例えば、波長、偏光、コヒーレンス、時間的挙動など)を有する光をそれぞれが発する複数のエミッタを含む。特性は、エミッタ同士で同じであってもよく、または異なっていてもよく、エミッタは同時的にまたは個別に動作してもよい。一実施形態において、複数のエミッタは、例えば、レーザダイオード(エッジエミッタなど)、無機もしくは有機発光ダイオード(LED)、垂直共振器型面発光レーザ(VCSEL)、または何らかの他の光源であってもよい。いくつかの実施形態では、照明光源における単一のエミッタまたは複数のエミッタは、構造化光パターンを有する光を発することができる。撮像デバイスは、複数のエミッタから生成された環境内の物体から反射された光に加えて、NED305の周りの環境における周囲光をキャプチャする。様々な実施形態では、撮像デバイスは、赤外カメラ、または可視スペクトルで動作するように構成されたカメラであってもよい。コントローラは、照明光源がどのように発光するか、および撮像デバイスがどのように光をキャプチャするかを調整する。例えば、コントローラは、発光の明るさを決定することができる。いくつかの実施形態では、コントローラはまた、検出された光を分析して、環境内の物体およびそのような物体に関連する位置情報を検出する。
ディスプレイ325は、コンソール310から受信したピクセルデータに従って、二次元または三次元画像をユーザに対して表示する。様々な実施形態において、ディスプレイ325は、単一のディスプレイまたは複数のディスプレイ(例えば、ユーザの片目ごとに別個のディスプレイ)を含む。いくつかの実施形態では、ディスプレイ325は、単一または複数の導波路ディスプレイを含む。光は、例えば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、無機発光ダイオード(ILED)ディスプレイ、アクティブマトリクス式有機発光ダイオード(AMOLED)ディスプレイ、透明有機発光ダイオード(TOLED)ディスプレイ、レーザベースディスプレイ、1つまたは複数の導波路、他のタイプのディスプレイ、スキャナ、一次元アレイなどを通じて、単一または複数の導波路ディスプレイにカップリングすることができる。加えて、複数のディスプレイのタイプの組み合わせが、ディスプレイ325に組み込まれて、別個に、並行して、および/または組み合わせて使用されてもよい。
光学アセンブリ330は、ディスプレイ325から受け取った画像光を拡大し、画像光に関する光学誤差を補正し、補正画像光をNED305のユーザに提示する。光学アセンブリ330は、複数の光学素子を含む。例えば、以下の光学素子のうちの1つまたは複数が、光学アセンブリ330に含まれてもよい:開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光を偏向、反射、屈折する、および/もしくは何らかのやり方で改変するあらゆる他の適切な光学素子。その上、光学アセンブリ330は、異なる光学素子の組み合わせを含んでもよい。いくつかの実施形態では、光学アセンブリ330における光学素子のうちの1つまたは複数は、部分的反射コーティングまたは反射防止コーティングなどの1つまたは複数のコーティングを有してもよい。光学アセンブリ330は、例えば、投影アセンブリなどの投影アセンブリに一体化することが可能である。一実施形態において、光学アセンブリ330は、光学系ブロック155を含む。
動作中、光学アセンブリ330は、ディスプレイ325によって生成された画像光を、拡大したり、フォーカスしたりする。そのようにしながら、光学アセンブリ330は、光学アセンブリ330を使用しないディスプレイよりも、ディスプレイ325が物理的に小型で、より軽量で、より少ない電力消費となるようにすることができる。加えて、拡大は、ディスプレイ325によって提示されるコンテンツの視野を大きくし得る。例えば、いくつかの実施形態では、表示されるコンテンツの視野は、ユーザの視野を部分的にまたは完全に使用する。例えば、表示される画像の視野は、310度を満たすか、310度を越える場合がある。様々な実施形態では、拡大の大きさは、光学素子を追加すること、または除去することによって調節することができる。
いくつかの実施形態では、光学アセンブリ330は、1つまたは複数のタイプの光学誤差を補正するように設計されてもよい。光学誤差の例としては、たる形もしくは糸巻形ひずみ、軸上色収差、または倍率色収差が挙げられる。他のタイプの光学誤差としては、他のタイプの光学誤差に加えて、球面収差、レンズ像面湾曲による色収差または誤差、非点収差をさらに挙げることができる。いくつかの実施形態では、ディスプレイ325に送られる視覚的コンテンツは、予め歪めてあり、ディスプレイ325からの画像光が光学アセンブリ330の様々な光学素子を通過すると、光学アセンブリ330は、その歪みを補正する。いくつかの実施形態では、光学アセンブリ330の光学素子は、1つまたは複数の光学素子と結合された少なくとも1つの導波路を含む投影アセンブリとしてディスプレイ325に一体化される。いくつかの実施形態では、ディスプレイ325および/または光学アセンブリ330は、図4~図7と併せて以下で考察される周辺ディスプレイシステムまたはそのコンポーネントを含んでもよい。
IMU340は、位置センサ335のうちの1つまたは複数から受信した測定信号に基づいて、およびDCA320から受信した深度情報から、NED305の位置を示すデータを生成する電子デバイスである。NED305のいくつかの実施形態では、IMU340は、専用のハードウェアコンポーネントであってもよい。他の実施形態では、IMU340は、1つまたは複数のプロセッサに実装されたソフトウェアコンポーネントであってもよい。
動作中、位置センサ335は、NED305の動きに応答して1つまたは複数の測定信号を生成する。位置センサ335の例としては、以下が挙げられる:1つもしくは複数の加速度計、1つもしくは複数のジャイロスコープ、1つもしくは複数の磁気計、1つもしくは複数の高度計、1つもしくは複数の傾斜計、ならびに/または動き検出、ドリフト検出、および/もしくは誤差検出のための様々なタイプのセンサ。位置センサ335は、IMU340の外部に、IMU340の内部に、またはそれらの何らかの組み合わせで配置されてもよい。
1つまたは複数の位置センサ335からの1つまたは複数の測定信号に基づいて、IMU340は、NED305の初期位置に対するNED305の推定現在位置を示すデータを生成する。例えば、位置センサ335は、並進運動(前後、上下、左右)を測定するための複数の加速度計、および回転運動(例えば、ピッチ、ヨー、およびロール)を測定するための複数のジャイロスコープを含んでもよい。いくつかの実施形態では、IMU340は、測定信号を素早くサンプリングして、サンプリングされたデータからNED305の推定現在位置を計算する。例えば、IMU340は、速度ベクトルを推定するために加速度計から経時的に受信される測定信号を統合し、NED305上の基準点の推定現在位置を決定するために速度ベクトルを経時的に統合してもよい。代替的に、IMU340は、サンプリングされた測定信号をコンソール310に提供し、コンソール310はサンプルデータを分析して1つまたは複数の測定誤差を判断する。コンソール310は、制御信号および/または測定誤差のうちの1つまたは複数をIMU340にさらに送信して、IMU340が1つまたは複数の測定誤差(例えば、ドリフト誤差)を、補正および/または低減するように構成してもよい。基準点は、NED305の位置を記述するために用いられ得る点である。基準点は、一般的に、空間中のある点、またはNED305の位置および/もしくは配向に関する位置として定義することができる。
様々な実施形態では、IMU340は、コンソール310から1つまたは複数のパラメータを受信する。1つまたは複数のパラメータは、NED305の追跡を維持するために使用される。受信したパラメータに基づいて、IMU340は、1つまたは複数のIMUパラメータ(例えば、サンプリングレート)を調節することができる。いくつかの実施形態では、特定のパラメータは、IMU340に基準点の初期位置を更新させ、その位置が基準点の次の位置に対応するようにする。基準点の初期位置を基準点の次の較正済の位置として更新することは、IMU340の現在位置推定を検出する際のドリフト誤差を低減することに役立つ。
いくつかの実施形態では、視線追跡システム345は、NED305に一体化される。視線追跡システム345は、1つまたは複数の照明光源および撮像デバイス(カメラ)を含んでもよい。動作中、視線追跡システム345は、ユーザがNED305を装着するとユーザの目に関する追跡データを生成して分析する。視線追跡システム345は、ユーザの目の位置についての情報、つまり目の注視の角度についての情報を含み得る視線追跡情報をさらに生成してもよい。
いくつかの実施形態では、可変焦点モジュール350が、NED305にさらに一体化される。可変焦点モジュール350は、可変焦点モジュール350が視線追跡システム345から視線追跡情報を受信できるようにするために、視線追跡システム345に通信可能に結合することができる。可変焦点モジュール350は、視線追跡システム345から受信した視線追跡情報に基づいて、ディスプレイ325から発せられた画像光の焦点をさらに修正してもよい。したがって、可変焦点モジュール350は、ユーザの目が画像光を解像する際に作り出され得る輻輳調節矛盾を低減することができる。様々な実施形態では、可変焦点モジュール350は、光学アセンブリ330の少なくとも1つの光学素子で(例えば、機械的または電気的のいずれかで)インターフェースすることができる。
動作中、可変焦点モジュール350は、光学アセンブリ330を伝播する画像光の焦点を調節するために、光学アセンブリ330内の1つまたは複数の光学素子の位置および/または配向を調節することができる。様々な実施形態では、可変焦点モジュール350は、視線追跡システム345から取得した視線追跡情報を使用して、光学アセンブリ330内の1つまたは複数の光学素子をどのように調節するかを決定することができる。いくつかの実施形態では、可変焦点モジュール350は、ディスプレイ325によって発せられた画像光の解像度を調節するために、視線追跡システム345から取得した視線追跡情報に基づいて画像光の中心窩適応レンダリングを行うことができる。この場合、可変焦点モジュール350は、ユーザの目の注視の中心窩領域に高ピクセル密度を、またユーザの目の注視の他の領域に低ピクセル密度を表示するようにディスプレイ325を構成する。いくつかの実施形態では、可変焦点モジュール350は、図4~図5、および図8~図11と併せて以下で考察される中心窩ディスプレイシステムまたはそのコンポーネントを含んでもよい。
I/Oインターフェース315は、ユーザからコンソール310へのアクション要求の転送を容易にする。加えて、I/Oインターフェース315は、コンソール310からユーザへのデバイスフィードバックの転送を容易にする。アクション要求は、特定のアクションを実施するための要求である。例えば、アクション要求は、画像もしくは動画データのキャプチャを開始もしくは終了させる命令であってもよく、または動画再生を一時停止する、音声再生の音量を大きくするもしくは小さくするなどアプリケーション内で特定のアクションを実施するための命令などであってもよい。様々な実施形態では、I/Oインターフェース315は、1つまたは複数の入力デバイスを含み得る。入力デバイスの例としては、以下が挙げられる:キーボード、マウス、ゲームコントローラ、ジョイスティック、および/またはアクション要求を受信し、アクション要求をコンソール310に通信するためのあらゆる他の適切なデバイス。いくつかの実施形態では、I/Oインターフェース315は、I/Oインターフェース315の初期位置に対するI/Oインターフェース315の推定現在位置を示す較正データをキャプチャするIMU340を含む。
動作中、I/Oインターフェース315はユーザからアクション要求を受信し、それらのアクション要求をコンソール310に送信する。アクション要求を受信したことに応答して、コンソール310は対応するアクションを実施する。例えば、アクション要求を受信したことに応答して、コンソール310は、I/Oインターフェース315が、ユーザの腕に触覚フィードバックを発するように構成することができる。例えば、コンソール315は、アクション要求が受信されたときに、I/Oインターフェース315が、触覚フィードバックをユーザに与えるように構成されてもよい。追加的に、または代替的に、コンソール310は、コンソール310がアクション要求を受信したことに応答してアクションを実施するときに、I/Oインターフェース315が、触覚フィードバックを生成するように構成されてもよい。
コンソール310は、DCA320、NED305、およびI/Oインターフェース315のうちの1つまたは複数から受信される情報に従って処理するために、NED305にコンテンツを提供する。図3に示されるように、コンソール310はアプリケーションストア355、追跡モジュール360、およびエンジン365を含む。いくつかの実施形態では、コンソール310は、図3に関して説明したモジュールおよび/もしくはコンポーネントに加えて、それらより少ない、またはそれらとは異なるモジュールおよび/もしくはコンポーネントを有してもよい。同様に、以下でさらに説明される機能は、図3に関して説明したものとは異なる様式で、コンソール310のコンポーネントに分散され得る。
アプリケーションストア355は、コンソール310による実行のための1つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されるとき、ユーザに対する提示のためのコンテンツを生成するなど、機能の特定のセットを実施する命令のグループである。例えば、アプリケーションは、ユーザから入力を(例えば、ユーザが自身の頭部を動かす際のNED305の動きによって、I/Oインターフェース315によって、など)受信したことに応答してコンテンツを生成してもよい。アプリケーションの例としては、ゲーミングアプリケーション、会議アプリケーション、動画再生アプリケーション、または他の適切なアプリケーションが挙げられる。
追跡モジュール360は、1つまたは複数の較正パラメータを使用してNEDシステム300を較正する。追跡モジュール360は、NED305またはI/Oインターフェース315の位置および/または配向を決定する際の誤差を低減するために、1つまたは複数の較正パラメータをさらに調節してもよい。例えば、追跡モジュール360は、DCA320の焦点を調節するために、較正パラメータをDCA320に送信してもよい。したがって、DCA320は、環境内の物体から反射する構造化光の要素の位置をさらに正確に決定することができる。追跡モジュール360はまた、修正する様々な較正パラメータを決定する際、IMU340によって生成されたセンサデータを分析することができる。さらには、いくつかの実施形態では、NED305がユーザの目の追跡を失った場合、追跡モジュール360は、NEDシステム300のコンポーネントのうちの一部またはすべてを再較正することができる。例えば、DCA320がユーザの目に投影される少なくともしきい値数の構造化光の要素の視線を失った場合、追跡モジュール360は、視線追跡を再確立するために、較正パラメータを可変焦点モジュール350に送信してもよい。
追跡モジュール360は、DCA320、1つもしくは複数の位置センサ335、IMU340、またはそれらの何らかの組み合わせからの情報を使用して、NED305の動きおよび/またはI/Oインターフェース315の動きを追跡する。例えば、追跡モジュール360は、NED305にローカルなエリアのマッピングからNED305の基準位置を決定してもよい。追跡モジュール360は、NED305それ自体から受信した情報に基づいて、このマッピングを生成してもよい。追跡モジュール360はまた、IMU340からのセンサデータおよび/またはDCA320からの深度データを利用して、NED305および/またはI/Oインターフェース315についての基準位置を決定してもよい。様々な実施形態では、追跡モジュール360は、NED305および/またはI/Oインターフェース315のその後の位置についての推定および/または予測を生成する。追跡モジュール360は、予測されたその後の位置をエンジン365に送信してもよい。
エンジン365は、NED305から受信した情報に基づいて、NED305の周囲のエリア(つまり、「局所的エリア」)の三次元マッピングを生成する。いくつかの実施形態では、エンジン365は、DCA320から受信した深度データに基づいて、局所的エリアの三次元マッピング用の深度情報を決定する(例えば、局所的エリア内の物体の深度情報)。いくつかの実施形態では、エンジン365は、DCA320によって生成された深度データを使用して、NED305の深度および/または位置を計算する。特に、エンジン365は、NED305の深度および/または位置を計算するために、ステレオベースの技法、構造化光照明技法、time-of-flight技法などの、様々な技法を実装することができる。様々な実施形態では、エンジン365は、DCA320から受信した深度データを使用して、局所的エリアのモデルを更新し、更新モデルに一部基づいてメディアコンテンツを生成および/または修正する。
エンジン365はまた、NEDシステム300内でアプリケーションを実行し、NED305の位置情報、加速度情報、速度情報、予測した今後の位置、またはそれらの何らかの組み合わせを追跡モジュール360から受信する。受信した情報に基づいて、エンジン365は、ユーザへの提示のためにNED305に送信する様々な形態のメディアコンテンツを決定する。例えば、受信した情報が、ユーザが左を見たことを示す場合、エンジン365は、仮想環境内で、または局所的エリアを追加的なメディアコンテンツで拡張する環境内で、メディアコンテンツにおけるユーザの運動を左右逆にする、NED305のためのメディアコンテンツを生成する。したがって、エンジン365は、ユーザへの提示用のメディアコンテンツ(例えば、視覚的コンテンツおよび/または音声コンテンツ)を生成および/または修正することができる。エンジン365は、メディアコンテンツをNED305に向けてさらに送信してもよい。追加的に、I/Oインターフェース315からアクション要求を受信したことに応答して、エンジン365は、コンソール310で実行中のアプリケーション内でアクションを実施してもよい。エンジン305は、アクションが実施されるとフィードバックをさらに提供してもよい。例えば、エンジン365は、NED305が視覚的および/もしくは音声フィードバックを生成するように、ならびに/またはI/Oインターフェース315がユーザに向けて触覚フィードバックを生成するように構成してもよい。
いくつかの実施形態では、視線追跡システム345から受信した視線追跡情報(例えば、ユーザの目の配向)に基づいて、エンジン365は、NED305に提供されるメディアコンテンツの、ディスプレイ325でのユーザへ向けた提示用の解像度を決定する。エンジン365は、視線追跡システム345から受信したユーザの注視の方向に少なくとも一部基づいて、ディスプレイ325が視覚的コンテンツの中心窩適応レンダリングを実施するように構成することによって、NED305に提供される視覚的コンテンツの解像度を調節することができる。エンジン365は、ユーザの注視の中心窩領域ではディスプレイ325で高解像度を有し、他の領域では低解像度を有するコンテンツをNED305に提供し、それによりNED305の電力消費を低減している。加えて、中心窩適応レンダリングを用いることは、ユーザの視覚体験の品質を損なうことなく、視覚的コンテンツをレンダリングする際に使用される計算サイクル数を低減させる。いくつかの実施形態では、エンジン365は、輻輳調節矛盾を低減するために、視線追跡情報をさらに使用して、ディスプレイ325から発せられた画像光の焦点を調節することができる。いくつかの実施形態では、エンジン365は、図4~図11と併せて以下で詳細に考察される、中心窩適応、周辺、および/もしくは中心窩システムまたはそのコンポーネントのうちの1つまたは複数と相互動作してもよい。
中心窩適応ディスプレイシステム
図4は、様々な実施形態による、中心窩適応ディスプレイシステム400を図示する概略図である。示されるように、中心窩適応ディスプレイシステム400は、周辺ディスプレイモジュール402および中心窩ディスプレイモジュール410を含む。説明目的で、図4~図11は、画像光をユーザの片目に提供する単一の中心窩適応ディスプレイシステムおよびそのコンポーネントを示す。示されない一部の実施形態では、もう1つの別個の中心窩適応ディスプレイシステムが、ユーザのもう片方の目に画像光を提供してもよい。
図4は、様々な実施形態による、中心窩適応ディスプレイシステム400を図示する概略図である。示されるように、中心窩適応ディスプレイシステム400は、周辺ディスプレイモジュール402および中心窩ディスプレイモジュール410を含む。説明目的で、図4~図11は、画像光をユーザの片目に提供する単一の中心窩適応ディスプレイシステムおよびそのコンポーネントを示す。示されない一部の実施形態では、もう1つの別個の中心窩適応ディスプレイシステムが、ユーザのもう片方の目に画像光を提供してもよい。
動作中、中心窩適応ディスプレイシステム400は、ユーザの目の注視の中心窩領域には中心窩適応レンダリングにより高解像度の仮想結像を、ならびにユーザの目の注視の他の領域には低解像度で大きい視野(FOV)の背景結像を生成するように構成される。特に、中心窩ディスプレイモジュール410は、高解像度の仮想結像を生成するように構成され、一方で周辺ディスプレイモジュール402は、低解像度で大きいFOVの背景結像を生成するように構成される。加えて、周辺および中心窩ディスプレイモジュール402および410は、現実世界の光を通過させ、ユーザによって観察できるように構成される。
示されるように、周辺ディスプレイモジュール402は、投影デバイス404、ディフューザ406、およびパンケーキレンズ408を含む。中心窩ディスプレイモジュール410は、ホログラフィックディスプレイ412、ビームステアリングデバイス414、角度-波長選択的レンズ416、ならびに視線追跡モジュール418を含む。例として、ディフューザ406ならびに角度-波長選択的レンズ416は、互いに直線上にある。つまり、ディフューザ406と角度-波長選択的レンズ416は、共通の軸を共有している。
動作中、投影デバイス404は、生成される結像に対応する偏光した光を発する。示されるように、偏光した光が、傾斜した角度でディフューザ406に投影され、ディフューザ406は、ディフューザ406の偏光および角度選択性特性に起因して、そのような光を反射および拡散する。いくつかの実施形態では、ディフューザ406は、偏光、角度、および波長が選択的であってもよい。そのような事例では、ディフューザ406は、ほとんどの光を通過させることができるが、特定の波長範囲内にあり、特定の角度範囲内でディフューザ406に入射する、偏光の特定の左右像を持つ光は拡散させる。より一般的には、他の光(例えば、現実世界の光)を通過させつつ、投影デバイス404からディフューザに投影される光を拡散させることができる、あらゆる技術的に実現可能なディフューザが使用されてもよい。
ディフューザ406によって拡散された光は、ユーザの目の注視の非中心窩領域に、低解像度で高FOVの背景結像を与える。加えて、現実世界の光、つまりディフューザ406に入射する現実世界のシーンからの光は、ディフューザ406の偏光、角度、および波長選択性特性のおかげで拡散されることなくディフューザ406を通過する。結果として、ユーザは、ディフューザ406および現実世界のコンテンツを使用して生成された、低解像度で、高FOVの両方の背景結像を観察することができる。
示されるように、ディフューザ406によって拡散される光は、パンケーキレンズ408を通過する。パンケーキレンズは、屈曲光学系であり、このレンズに入った光は、出て行く前に複数回反射するか、「跳ね返る(bounce)」。複数の跳ね返りは、光の伝播距離を大きくし、次いでユーザからの結像の知覚距離を大きくすることができる、および/または結像を拡大することができる。光の伝播距離を大きくすることによって、パンケーキレンズ408は、ディフューザ406を介して生成された低解像度で、高FOVの背景結像が、ユーザからより遠くに見えるようにする。例として、パンケーキレンズ408はまた、低解像度で、高FOVの背景結像をよりずっと遠くに見えるようにすることが可能な焦点屈折力(focal power)を有する。本明細書において、パンケーキレンズは、参照例として説明されるが、他の実施形態では、あらゆる技術的に実現可能な光学素子を使用して、光の伝播距離を大きくしてもよく、ユーザからの結像の知覚距離を大きくする、および/または結像を拡大してもよい。
説明目的で別個のコンポーネントとして示されているが、いくつかの実施形態では、ディフューザ406はパンケーキレンズ408内に含められてもよい。そのような実施形態を、図6~図7と併せて以下で詳細に考察する。つまり、ディフューザ406は、一般的にパンケーキレンズ408内部に含まれてもよく、またはパンケーキレンズ408の外部にあってもよい。ディフューザ406がパンケーキレンズ408内部に含まれる構成は、ディフューザ406がパンケーキレンズ408とは別個である構成よりもコンパクトである。そのようなコンパクトさは、小型のフォームファクタおよび重量が検討事項となるHMDや他のデバイスを用いる用途で有益な可能性がある。
示されるように、パンケーキレンズ408を通過した光は、中心窩ディスプレイモジュール410の角度-波長選択的レンズ416をさらに通過してアイボックスに向かう。いくつかの実施形態では、角度-波長選択的レンズ416はまた、焦点屈折力を有する。動作中、そのような角度-波長選択的レンズ416は、パンケーキレンズ408を通過した光を含め、ほとんどの光を通過させることができるが、一方で、ビームステアリングデバイス414によって角度-波長選択的レンズ416にステアリングされるホログラフィックディスプレイ412からの光を含め、特定の波長の範囲内にあり、特定の角度範囲内でレンズ416に入射する光を反射およびフォーカスする。
示されるように、ビームステアリングデバイス414は、ビームステアリングミラーである。ビームステアリングデバイス414は、注視追従(gaze-following)ステアリングを行うように構成され、このステアリングでは、ビームステアリングミラー414は、ホログラフィックディスプレイ412からユーザの目の注視の中心窩領域に向けて、角度-波長選択的レンズ416を介して光をステアリングし、それによってユーザによって観察可能な高解像度の仮想結像を作り出す。いくつかの実施形態では、ビームステアリングミラー414は、微小電気機械システム(MEMS)ミラーであってもよい。そのようなMEMSミラーは、参照例として説明されるが、他の実施形態では、あらゆる技術的に実現可能なデバイスを使用して、ユーザの目の注視の中心窩領域に向けて、光をステアリングしてもよい。
示されるように、角度-波長選択的レンズ416は、レンズ416の波長および角度選択性特性に起因してビームステアリングミラー414によってレンズ416で様々な角度でフォーカスされる、ホログラフィックディスプレイ412からの光を反射する。いくつかの実施形態では、角度-波長選択的レンズ416は、体積型格子レンズなどのホログラフィック光学素子(HOE)であってもよい。HOEは、ホログラフィックイメージングのプロセスまたは原理を使用して作り出される光学素子である。本明細書では、説明目的で主にHOEについて考察されるが、他の実施形態では、本明細書で説明される角度-波長選択的レンズ416の機能性を実施するあらゆる光学素子が使用されてもよい。
ホログラフィックディスプレイ412は、光回折を使用して仮想イメージを作るディスプレイである。いくつかの実施形態では、ホログラフィックディスプレイ412は、投影デバイスによって発せられた光を変調するように構成された空間光変調器を含んでもよい。さらには、ホログラフィックディスプレイ412によって作り出された光は、特定の角度範囲内で角度-波長選択的レンズ416に入射する場合、角度-波長選択的レンズ416によって反射される波長範囲内にあってもよい。本明細書では、説明目的で主にホログラフィックディスプレイについて考察されるが、他の実施形態では、高解像度の結像を作り出すためにユーザの目の注視の中心窩領域でフォーカスすることができる光を生成することが可能な、あらゆる技術的に実現可能なディスプレイデバイスが使用されてもよい。
上述で示したように、中心窩適応ディスプレイシステム400のユーザは、(1)中心窩ディスプレイモジュール410によってユーザの目の注視の中心窩領域でフォーカスされる高解像度の仮想結像、(2)周辺ディスプレイモジュール402によって作り出される、低解像度で高FOVの背景結像、および(3)現実世界のシーンからのコンテンツ、を含むARコンテンツを観察することが可能である。本明細書においてARは参照例として説明されるが、中心窩適応ディスプレイシステム400はまた、VR、MR、ハイブリッド現実、またはそれらの何らかの組み合わせおよび/もしくは派生物などの、他の人工現実用途で使用されてもよいことを理解されたい。例えば、VRの事例では、現実世界の光は中心窩適応ディスプレイシステム400の出力に含まれない。
図5は、様々な実施形態による、中心窩適応ディスプレイシステム500のコンポーネントをさらに詳細に示している。示されるように、中心窩適応ディスプレイシステム500は、周辺ディスプレイモジュール502および中心窩ディスプレイモジュール512を含み、これらは図4と併せて上述した、周辺ディスプレイモジュール402および中心窩ディスプレイモジュール410にそれぞれ対応する。動作中、中心窩ディスプレイモジュール512は、ユーザの目の注視の中心窩領域用に中心窩適応レンダリングにより高解像度の仮想結像を生成するように構成され、一方で周辺ディスプレイモジュール502は、ユーザの目の注視の他の領域用に低解像度で大きいFOVの背景結像を生成するように構成される。
示されるように、周辺ディスプレイモジュール502は、投影デバイス502を含み、投影デバイス502は、発光ダイオード(LED)デバイス、有機LED(OLED)、レーザなど、あらゆる技術的に実現可能な光源を含んでもよい。いくつかの実施形態では、投影デバイス502はピコプロジェクタであってもよい。
周辺ディスプレイモジュール502は、投影デバイス502からの発散光ビームをレンダリングして、ディフューザ508に投影される平行ビームにするように構成されたコンデンサ506をさらに含む。ディフューザ508は、偏光、角度、および波長が選択的なディフューザであり、図4と併せて上述したディフューザ406と類似している。本明細書で説明されるディフューザ508の、偏光、角度、および波長選択性を含む特性を有するディフューザは、コレステリック液晶材料を用いて構成してもよい。いくつかの実施形態では、ディフューザ508は、コレステリック液晶材料を使用して構成された体積型格子レンズであってもよい。より一般的には、あらゆる技術的に実現可能な材料を使用してディフューザ508を構成してもよい。
図4に関連する上の考察と同様に、投影デバイス502は、コンデンサ506を介して傾斜した角度でディフューザ508に投影される、生成された結像に関する偏光した光を発する。ディフューザ508の偏光および角度選択性特性によって、ディフューザ508は、投影された光をアイボックスに向けて反射および拡散するように構成される。このような拡散は、ユーザの目の注視の非中心窩領域に、低解像度で高FOVの背景結像を作り出す。
説明したように、ディフューザ508の偏光および角度選択性特性は、ディフューザ508に、特定の角度範囲内でディフューザ508に入射する、偏光の特定の左右像を有する光を拡散または散乱させるだけである。例えば、特定の実施形態では、ディフューザ508は、偏光の1つの左右像を有し、40°の角度でディフューザ508に入射する光を選択的に拡散しつつ、他の光は拡散せずに通過させることが可能である。いくつかの実施形態では、ディフューザ508は、特定の角度範囲内で入射する右円偏光(RCP)の光を拡散するように構成される。そのような事例では、ディフューザ508は、左円偏光(LCP)の光、および/または他の角度(例えば、0度)でディフューザ508に入射する光は、拡散させずに通過させることができるが、光に幾分の減衰が生じる場合がある。本明細書では、説明目的で、偏光の特定の左右像を有し、特定の角度で光学素子に入射する光を説明したが、他の実施形態では、偏光の任意の左右像を有する光、および/またはあらゆる技術的に実現可能な角度範囲内で光学素子に入射する光が使用されてもよい。例えば、代わりにいくつかの実施形態では、ディフューザ508は、特定の角度範囲内でディフューザ508に入射するLCP光を拡散し、RCPの光および/または他の角度でディフューザ508に入射する光を、拡散せずに通過させるように構成されてもよい。
示されるように、ディフューザ508は、ディフューザ508背後の現実世界のシーンからの光に対しては透明である。結果として、ユーザ(例えば、中心窩適応ディスプレイシステム400を含むHMDを装着しているユーザ)は、ディフューザ508によって拡散される生成コンテンツ(および、以降でさらに詳細に考察するような、中心窩ディスプレイモジュール512によってユーザの目の注視の中心窩領域でフォーカスされる生成コンテンツ)に加えて、現実世界のシーン中の物体を観察することが可能である。本明細書では、光学素子は透明であると説明されることがあるが、光が「透明な」光学素子を通過する際、光の幾分の減衰が生じ得ることを理解されたい。
示されるように、ディフューザ508によって作り出される拡散結像は、パンケーキレンズ510をさらに通過し、このパンケーキレンズ510は、パンケーキレンズ408に相当し、光の伝播距離を大きくするように構成されることにより、拡散された結像が、ユーザに対してより遠くに見えるようにする。いくつかの実施形態では、ディフューザ508は、図5に示されるように、パンケーキレンズ510の外部ではなく、パンケーキレンズ510内部に含むことができる。そのような実施形態は比較的コンパクトであることが可能であり、図6~図7と併せて以下で詳細に考察する。
次に中心窩ディスプレイモジュール512を見ると、示されるように、中心窩ディスプレイモジュールは、投影デバイス514および空間光変調器(SLM)516を含む。いくつかの実施形態では、SLM516は、入射してくる光を変調してホログラフィックディスプレイに提供するように構成される。そのような事例では、アプリケーション(例えば、アプリケーションストア355に記憶されたアプリケーションのうちの1つ)またはエンジン(例えば、エンジン365)は、仮想結像を生成するために必要な、投影デバイス514によって発せられた光に対する変調を決定し、それに応じてSLM516を制御してもよい。加えて、SLM516によって変調された光は、凹型ミラー520および1つまたは複数のビームスプリッタ(例えば、ビームスプリッタ522)を介して、MEMSミラー524にフォーカスされてもよい。
動作中、視線追跡モジュール528は、ユーザの目の瞳孔位置を追跡するように構成される。例えば、いくつかの実施形態では、アプリケーション(例えば、アプリケーションストア355に記憶されたアプリケーションのうちの1つ)またはエンジン(例えば、エンジン365)は、図3と併せて上述したように、ユーザが装着するNEDまたはHMDに含まれる1つまたは複数の照明光源と撮像デバイス(カメラ)を用いて生成された、ユーザの目に関連する追跡データを分析してもよい。
MEMSミラー524は、視線追跡モジュール528によって検出された瞳孔位置に基づいて、凹型ミラー520によってMEMSミラー524に反射された光をステアリングするように制御可能である。つまり、MEMSミラー524は、注視追従ステアリングを行うように制御されてもよい。特に、MEMSミラー524は、高解像度の結像が反射されるように、また検出された瞳孔位置に対応するユーザの目の注視の中心窩領域を通過するべくHOE526によってフォーカスされるようにステアリングされてもよい。例えば、MEMSミラー524は、MEMSミラー524によって反射されるほとんどの光線がユーザの瞳孔を通過して適当な注視方向ビューを与えるようにステアリングすることが可能である。いくつかの実施形態では、MEMSミラー524は、ユーザ注視方向にしたがう様々な視野を提供するために、3方向にステアリング可能であってもよい。
いくつかの実施形態では、中心窩ディスプレイモジュール512は、図7~図8と併せて以下でさらに詳細に考察するように、MEMSミラー524のステアリング範囲を大きくするスイッチ可能なPBP格子積層体をさらに含む。本明細書で本使用される場合、MEMSミラー524の「ステアリング範囲」とは、MEMSミラー524がMEMSミラー524に入射した光をステアリングすることが可能な角度範囲を指す。MEMSミラー524のステアリング範囲は、MEMSミラー524の傾き角、すなわちMEMSミラー524が機械的に偏向可能な角度によって限定されることを理解されたい。いくつかの事例では、MEMSミラー524の限定されるステアリング範囲は、ユーザの目に見える視野全体を覆うように拡大する必要がある場合がある。スイッチ可能なPBP格子積層体は、いくつかの実施形態ではMEMSミラー524のステアリング範囲を大きくするために使用されてもよい。しかしながら、MEMSミラー524が関連用途に十分なステアリング範囲を有する場合は、スイッチ可能なPBP格子積層体は、不必要であってもよいことを理解されたい。
説明したように、HOE526は、焦点屈折力を有するレンズであり、いくつかの実施形態では、さらに偏光、角度、および波長が選択的である。そのような事例では、HOE526は、周辺ディスプレイモジュール502によって生成される低解像度で、高FOVの背景結像用の光を含むほとんどの光、ならびに現実世界の光を通過させることができる。同時に、HOE526は、MEMSミラー524からの、特定の波長を有しHOE526に特定の角度範囲内で入射する光を反射して、ユーザの目の注視の中心窩領域に向けてフォーカスするように構成される。結果として、ユーザは、中心窩ディスプレイモジュール512によって生成され、ユーザの目の注視の中心窩領域でフォーカスされた高解像度の仮想結像、ならびに周辺ディスプレイモジュール502によって生成される低解像度で大きいFOVの背景結像および周辺ディスプレイモジュール502と中心窩ディスプレイモジュール512の光学素子を通過した現実世界の光を観察することが可能である。
本明細書では、具体的な光学素子およびデバイスを、参照例として考察するが、代替的な実施形態では、本明細書で開示される光学素子および/またはデバイスの機能性を実行することが可能な、あらゆる技術的に実現可能なタイプの光学素子および/またはデバイスが使用されてもよい。いくつかの実施形態では、中心窩適応ディスプレイシステム400および500はまた、示されていない他の光学素子を含んでもよい。例えば、中心窩適応ディスプレイシステム400または500は、現実世界の光を、ディフューザ406またはディフューザ510によってそれぞれ拡散され反射された光と組み合わせるように構成されたコンバイナを含んでもよい。
いくつかの実施形態では、中心窩適応ディスプレイシステム400および500のそれぞれは、図1~図3と併せて上述したNED100もしくは300、またはHMD162などの、NEDまたはHMDに含まれてもよい。他の実施形態では、中心窩適応ディスプレイシステム400および500のそれぞれは、モバイルデバイス、コンピューティングシステム、または人工現実コンテンツを1つもしくは複数のユーザに提供することが可能なあらゆる他のハードウェアプラットフォームなどの、あらゆる技術的に実現可能なプラットフォーム上の人工現実システムを含んでもよいか、またはそのようなシステムと併せて実装されてもよい。
ディフューザを含むパンケーキレンズ
図6は、様々な実施形態による、ディフューザを含むパンケーキレンズ600を図示する概略図である。説明したように、パンケーキレンズは、屈曲光学系であり、このレンズに入った光は、出て行く前に複数回反射するか「跳ね返る(bounce)」。例として、光はパンケーキレンズ600内で2回跳ね返る。複数の跳ね返りは、光の伝播距離を大きくし、次いで視聴者からの結像の知覚距離を大きくすることができる、および/または結像を拡大することができる。
図6は、様々な実施形態による、ディフューザを含むパンケーキレンズ600を図示する概略図である。説明したように、パンケーキレンズは、屈曲光学系であり、このレンズに入った光は、出て行く前に複数回反射するか「跳ね返る(bounce)」。例として、光はパンケーキレンズ600内で2回跳ね返る。複数の跳ね返りは、光の伝播距離を大きくし、次いで視聴者からの結像の知覚距離を大きくすることができる、および/または結像を拡大することができる。
示されるように、パンケーキレンズ600は、偏光-角度選択的ミラー602、半波長板604、ディフューザ606、およびハーフミラー608を含む。パンケーキレンズ600のコンポーネントのすべてまたは一部は、互いに物理的に接触していてもよく、互いに1つの基板を共有してもよく、互いに積層されてもよく、互いに光学的に接触してもよく、屈折率マッチング流体もしくは光学糊を互いの間に有してもよく、および/またはコンポーネント同士の間に空間があってもよい。例えば、パンケーキレンズ600のコンポーネントの一部のすべてまたは一部は、レンズの表面であることができる。
偏光-角度選択的ミラー602は、1つまたは複数の角度範囲内でミラー602に入射する光の偏光の1つまたは複数の左右像を選択的に反射しつつ、他の光を通すように構成される。いくつかの実施形態では、図7と併せて以下でさらに詳細に考察するように、偏光-角度選択的ミラー602は、特定の角度範囲でミラー602に入射するLCP光、および0°でミラー602に入射するRCP光を選択的に通しつつ、ミラー602に0°で入射するLCP光を反射する。さらには、偏光-角度選択的ミラー602は、Bragg反射器のように、反射光の偏光を維持する。いくつかの実施形態では、偏光-角度選択的ミラー602は、偏光選択性を有する液晶材料から構成された体積型格子ミラーであってもよい。より一般的には、偏光-角度選択的ミラー602は、あらゆる技術的に実現可能な材料から構成されてもよい。
偏光-角度選択的ミラー602とは対照的に、ハーフミラー608は、反射光の左右像を維持しない単純なメタミラーである。特に、ハーフミラー608は、光の偏光の1つの左右像を通すが、偏光のもう一方の左右像を反射する。加えて、ハーフミラー608によって反射される光の偏光の左右像は、反対の左右像に変換される。例えば、いくつかの実施形態では、図7と併せて以下でさらに詳細に考察するように、ハーフミラー608は、LCP光を通しつつ、RCP光をLCP光として反射する。
半波長板604は、光の1つの直線成分を他の成分に対して180°遅らせるように構成される。結果として、半波長板604は、入射する光の偏光の左右像を、偏光のもう一方の左右像に変換する。例えば、半波長板604は、LCP光をRCP光に変換することが可能であり、その逆も可能である。
ディフューザ606は、いくつかの実施形態では、図4および図5と併せて上述したディフューザ406および508にそれぞれ類似している。そのような事例では、ディフューザ606は、偏光、角度、および角度が選択的であってもよい。例えば、図7と併せて以下でさらに詳細に考察するように、ディフューザ606は、プロジェクタから特定の角度範囲で入射したRCP光を拡散しつつ、他の光を通すように構成することが可能である。
示されるように、パンケーキレンズ600の内部では、ディフューザ606は、半波長板604とハーフミラー608との間に配設される。ディフューザ606がパンケーキレンズ600内に含まれる光学システムは、ディフューザをパンケーキレンズの外部に有するシステムよりもコンパクトであり、小型のフォームファクタおよび重量が検討事項となるHMDや他のデバイスを用いる用途で有益な可能性がある。
図7は、様々な実施形態による、ディフューザ606を含むパンケーキレンズ600の動作を図示するレイトレーシング図である。示されるように、LPC光(例えば、投影デバイス404または504からの光)は、偏光-角度選択的ミラー602を介して傾斜した角度でパンケーキレンズ600に入る。例として、偏光-角度選択的ミラー602は、いくつかの実施形態では、ある角度範囲内でミラー602に入射するLCP光を通すように構成される。加えて、偏光-角度選択的ミラー602は、他の光を通過させるように構成される。
示されるように、ある角度で偏光-角度選択的ミラー602に入射するLCP光はミラー602を通過するが、ミラー602は、ミラー602に特定の角度範囲内で入射するLCP光、およびミラー602に0°で入射するRCP光を選択的に通しつつ、ミラー602に0°で入射するLCP光を反射する。偏光-角度選択的ミラー602を通過したLCP光は、次いでLCP光をRCP光に変換する半波長板604に入射する。
示されるように、半波長板604によって作り出されたRCP光は、傾斜した角度でディフューザ606に入射する。いくつかの実施形態では、ディフューザ606は、ある角度範囲内でディフューザ606に入射する、このようなRCP光を拡散または散乱するように構成される。加えて、ディフューザ606は、LCPの光、および/または他の角度(例えば、0度)でディフューザ606に入射する光は、拡散せずに通過させるように構成されるが、光に幾分の減衰が生じる場合がある。
示されるように、ディフューザ606によって作り出される、拡散された光はRCPであり、0°でディフューザ606から反射されるが偏光の左右像は維持する。反射されたRCP光は、半波長板604を再度通過し、この半波長板604はRCP光をLCP光に変換する。LCP光は、次いで偏光-角度選択的ミラー602に入射し、これによりパンケーキレンズ600内の1跳ね返りが完了する。
パンケーキレンズ600内の第2の跳ね返りは、LCP光が偏光-角度選択的ミラー602によって反射されると開始する。示されるように、偏光-角度選択的ミラー602は、LCPである反射光の左右像を維持する。反射されたLCP光は、半波長板604を通過し、RCP光に変換される。次いでRCP光はディフューザ606を再度通過するが、その偏光の左右像は維持され、拡散されない。その後、ディフューザ606を通過したRCP光は、ハーフミラー608によって反射される。
説明したように、ハーフミラー608は、反射光の左右像を維持しない単純なメタミラーである。示されるように、ハーフミラー608に入射するRCP光は、LCP光として反射される。いくつかの実施形態では、ハーフミラー608は、結像をさらに遠くに見せるために使用することが可能な焦点屈折力を有する凹型のハーフミラーであってもよい。示されるように、一部の光はハーフミラー608を通過し、外部に漏れる。しかしながら、実施形態においては漏れる光の割合は比較的小さい場合がある(例えば、おおよそ1パーセント)。
示されるように、ハーフミラー608によって反射されるLCP光は、拡散することなくディフューザ606を再度通過し、次いで半波長板604によってRCP光に変換される。その後、RCP光は、このようなRCP光を通過させるように構成されたミラー602を通過し、パンケーキレンズ600を出てアイボックスに向かう。
さらに示されるように、LCPである現実世界の光は、パンケーキレンズ600を直接通過する。動作中、ハーフミラー608は、入射する現実世界の光を、ハーフミラー608を通過するLCP成分と、ハーフミラー608によって反射されるRCP成分とに分離する。いくつかの実施形態では、円偏光板(図示せず)は、現実世界の光のLCPがハーフミラー608に入射するよりも前に、そのLCP成分を選択的に通過させるために使用してもよい。
示されるように、ハーフミラー608を通過したLCPの現実世界の光は、ディフューザ606を通過しつつ、その偏光の左右像を維持し、拡散されない。その後、LCPの現実世界の光は、半波長板を通過して、半波長板624によってRCP光に変換される。次いでRCP光はミラー602を通過して、パンケーキレンズ600を出てアイボックスに向かう。
説明したように、ディフューザを含むパンケーキレンズは、ディフューザとパンケーキレンズが別個である設計よりもコンパクトな設計である。その結果、ディフューザとパンケーキレンズを必要とするシステム(例えば、周辺ディスプレイモジュール402もしくは502、または中心窩適応ディスプレイシステム400およびまたは500)は、比較的コンパクトな構成を有することが可能である。そのようなコンパクトさは、小型のフォームファクタおよび重量が検討事項となるHMDや他のデバイスを用いる用途で有益な可能性がある。加えて、パンケーキレンズ600は、ディフューザ606の角度選択性によって、作り出されるクロストークまたは予期される光の低減を比較的少なくすることができる。
本明細書では、パンケーキレンズ600の具体的な光学素子を、参照例として考察するが、代替的な実施形態では、本明細書で開示される光学素子の機能性を実行することが可能な、あらゆる技術的に実現可能なタイプの光学素子が使用されてもよい。
スイッチ可能なPBP格子積層体を有する中心窩ディスプレイシステム
図8は、様々な実施形態による、図5の中心窩ディスプレイモジュール512のコンポーネントの光学構成を図示する概略図である。説明的な例として図5の中心窩ディスプレイモジュール512に関して説明したが、図8の光学構成もまた、図4の中心窩ディスプレイモジュール410など他の中心窩ディスプレイシステムに適用可能である。
図8は、様々な実施形態による、図5の中心窩ディスプレイモジュール512のコンポーネントの光学構成を図示する概略図である。説明的な例として図5の中心窩ディスプレイモジュール512に関して説明したが、図8の光学構成もまた、図4の中心窩ディスプレイモジュール410など他の中心窩ディスプレイシステムに適用可能である。
示されるように、中心窩ディスプレイモジュール512は、図5と併せて上述された、SLM516、凹型ミラー520、MEMSミラー524、およびHOE526を含む。説明目的で、光は、MEMSミラー524を通過するものとして示されるが、実際には、光はMEMSミラー524によって反射されることを理解されたい。説明したように、中心窩ディスプレイシステムに含まれるSLM516は、ホログラフィックディスプレイを提供し、ホログラフィックディスプレイからの光は、ユーザの目の注視の中心窩領域でフォーカスすることが可能である。特に、中心窩領域ロケーションに対応する瞳孔位置に変化が検出されたことに応答して、MEMSミラー524は、特定の角度でホログラフィックディスプレイからの光をステアリングするように制御することが可能である。特に、MEMSミラー420は、ホログラフィックディスプレイからのほとんどの光線を、このような光線がHOE526から反射され、検出された瞳孔位置を通過するように、ステアリングすることが可能である。結果として、中心窩ディスプレイモジュール512は、適当な注視方向ビューを生成することが可能である。
示されるように、中心窩ディスプレイモジュール512は、任意選択のスイッチ可能なPBP格子積層体802をさらに含む。スイッチ可能なPBP格子積層体802は、光路中、MEMSミラー524の手前に配設される。スイッチ可能なPBP格子積層体802はMEMSミラー524のステアリング範囲を拡大するように構成される。いくつかの実施形態では、スイッチ可能なPBP格子積層体802は、MEMSミラー524のステアリング範囲を倍にすることができる。例えば、MEMSミラー524の水平ステアリング範囲が±15°であり、アクティブなPBP格子素子を有していない場合、水平ステアリング範囲はアクティブなPBP格子素子を用いて±30°まで拡大することが可能である。アクティブなPBP素子を有しておらず、垂直ステアリング範囲が±10°と仮定すると、全体的な動的視野は75°×35°、対角線方向79°となる。単純さのため、本明細書ではMEMSミラー524のステアリング範囲が一方向に(例えば、水平に)沿って拡大するスイッチ可能なPBP積層体に関して説明するが、いくつかの実施形態では、中心窩ディスプレイモジュールはまた、MEMSミラー524のステアリング範囲が直交方向に(例えば、垂直に)拡大する別のスイッチ可能なPBP積層体を含んでもよい。上述の例を続きであるが、垂直ステアリング範囲を拡大する、このようなスイッチ可能なPBP積層体を使用して、±10°の垂直なステアリング範囲は、±20°まで倍にすることが可能である。
図9は、様々な実施形態による、中心窩ディスプレイモジュール512のコンポーネントをさらに詳細に示す。説明的な例として図5の中心窩ディスプレイモジュール512に関して説明したが、図9に示されるコンポーネントもまた、図4の中心窩ディスプレイモジュール410など他の中心窩ディスプレイシステムに含まれてもよい。
示されるように、中心窩ディスプレイモジュール512は、ホログラフィックディスプレイを提供するSLM516を含む。中心窩ディスプレイモジュール512は、ビームスプリッタ506をさらに含み、ビームスプリッタ506は別のビームスプリッタ902と凹型ミラー(図示せず)と共に、SLM516からの光をスイッチ可能なPBP格子積層体802およびMEMSミラー524に向けてフォーカスする。
示されるように、スイッチ可能なPBP格子積層体802は、光路中、MEMSミラー524の手前に配設される。動作中、スイッチ可能なPBP格子積層体802およびMEMSミラー524を使用して、HOE526を介して光をステアリングし、図9では領域904として示されるユーザの目の注視の中心窩領域に対応する瞳孔位置に向ける。示されるように、光は、MEMSミラー524によって、瞳孔位置(視線追跡器528によって追跡される)に基づいて決定される角度でHOE526に向けてステアリングされる。HOE526に入射するステアリングされた光は、HOE526の角度-波長選択性特性により、HOE526によって瞳孔904に向かって反射およびフォーカスされる。同じ角度および波長選択性特性により、周辺ディスプレイモジュール502によって生成された低解像度で、高FOVの背景結像用の光、ならびに現実世界の光は、HOE526を通過することができる。
図10は、様々な実施形態による、図8のスイッチ可能なPBP格子積層体802のコンポーネントおよび動作を示す。パネルAに示すように、スイッチ可能なPBP格子積層体802は、2つのPBP格子1002および1006、ならびにPBP格子1002と1006との間に配設されたスイッチ可能な半波長板1004を含む。スイッチ可能なPBP格子積層体802のコンポーネントのすべてまたは一部は、互いに物理的に接触していてもよく、互いに1つの基板を共有してもよく、互いに積層されてもよく、互いに光学的に接触してもよく、屈折率マッチング流体もしくは光学糊を互いの間に有してもよく、および/またはコンポーネント同士の間に空間があってもよい。例えば、PBP格子積層体802のコンポーネントの一部のすべてまたは一部は、レンズの表面であることができる。
図11に関して以下でさらに詳細に考察するように、PBP格子1002および1006のそれぞれは、PBP格子1002または1006に入射する光の偏光の左右像、およびPBP格子1002または1006に印加される(または印加されない)電場の強さに応じた3つの可能な状態を有する。PBP格子1002および1006は、3つの状態のそれぞれにおいて、光を異なるように回折する。結果として、PBP格子1002および1006に入射する光は、PBP格子1002および1006の状態に応じて異なる角度でリダイレクトされる可能性がある。
スイッチ可能な半波長板1004は、オン状態とオフ状態の、2つの可能な状態を有する。スイッチ可能な半波長板1004がオフ状態にある場合、スイッチ可能な半波長板1004は妨げられることなく光を通過させる。つまり、スイッチ可能な半波長板1004は、オフ状態では、特性を持たないガラスのように作用する。オン状態では、スイッチ可能な半波長板1004は、光の1つの直線成分を他の成分に対して180°遅らせる半波長板として作用する。オン状態では、スイッチ可能な半波長板1004は、入射してきたLCP光をRCP光に変換するか、その逆である。
パネルAに示されるように、格子1002および1006は、スイッチ可能な半波長板1004がオフ状態の場合、PBP格子1002および1006によって作り出される回折角が打ち消されるように構成される。結果として、スイッチ可能なPBP格子積層体802を通過する光の伝播方向は、スイッチ可能な半波長板1004(またスイッチ可能なPBP積層体802全体)がオフ状態にあるときは、変わらないままである。
パネルBに示されるように、PBP格子1002および1006は、スイッチ可能な半波長板1004がオン状態の場合、PBP格子1002と1006によって作り出される回折角が足し合わされるようにさらに構成される。結果として、スイッチ可能なPBP格子積層体802を通過する光の伝播方向は、スイッチ可能な半波長板1004(およびスイッチ可能なPBP積層体802全体)がオン状態にあるときは、変化する。
パネルAとBとの回折角の差異は、PBP格子1006の異なる状態に起因し、スイッチ可能な半波長板1004がオン状態またはオフ状態のときの、スイッチ可能な半波長板1004によって出力される光の偏光の異なる左右像によって生じる。回折角が異なる結果として、スイッチ可能なPBP格子積層体802は、スイッチ可能な半波長板1004(およびスイッチ可能なPBP積層体802全体)を適宜オンまたはオフにすることによって、積層体802に入射する光のビームをステアリングするように制御することができる。さらには、図8~図9と併せて上述したように、スイッチ可能なPBP格子積層体802によって提供されるステアリング範囲を使用して、MEMSミラー524などのビームステアリングデバイスのステアリング範囲を大きく(例えば、2倍に)することができる。
本明細書では、PBP格子積層体800の具体的な光学素子を、参照例として考察するが、代替的な実施形態では、本明細書で開示される光学素子の機能性を実行することが可能な、あらゆる技術的に実現可能なタイプの光学素子が使用されてもよい。
図11は、様々な実施形態による、PBP格子1100を示す。いくつかの実施形態では、PBP格子1100は、図8と併せて上述したPBP格子1002および1006のうちの1つであってもよい。互いに直交するx軸およびy軸1110が、基準として図示される。z軸は図示されていないが、xy平面に直交し、格子1100の光軸に沿っている。
示されるように、格子1100は、LCまたは線形反復パターンで配向するメタ構造の一軸速軸1120を含む。図11では、速軸の配向は、LCまたはメタ構造の配向を概略的に表現するように揃えられた短い線分として図示されている。例えば、速軸1120Aは、x方向に配向しているが、LC1120Bはy方向に配向している。1120Aと1120Bとの間の速軸は、x方向とy方向に対して中間的な方向に沿って揃っている。そのようなパターン化された配向を有する一軸波長板は、光の光波が波長板(例えば、位相板)を伝播する際の偏光の進行の結果として、光の幾何学的位相シフトを引き起こす。様々な実施形態では、x軸に沿う速軸の配向は、格子1100の特定のxy平面について一定である。さらには、図示されていないが、様々な実施形態において、xy平面に垂直な(z軸)、ある方向における速軸の配向は、回転的に変化してもよい(例えば、ねじれ構造)。
格子1100の線形反復パターンは、パターンの繰返し部分の間がy軸に沿って距離1130の半分であるピッチを有する。ピッチは、一部、格子1100の光学的な性質を決定する。例えば、光学軸に沿って格子1100に入射する偏光した光は、それぞれが回折次数m=+1、-1、および0に対応する、一次、共役、および漏れ(leakage)の光を含む格子出力をもたらす。本明細書では、m=+1は一次の次数として考え、共役次数はm=-1の次数として考えるが、次数の指定は反転させてもよく、または変えてもよい。ピッチは、異なる回折次数における光の回折角(例えば、ビームステアリング角)を決定する。一般的に、所与の光の波長に対し、ピッチが小さくなると、角度は大きくなる。
いくつかの実施形態では、1100などのPBP格子は、アクティブ(「アクティブ素子」とも称される)またはパッシブ(「パッシブ素子」とも称される)であってもよい。アクティブなPBP格子は、例えば、アクティブなPBPレンズの状態と同様に、次の3つの光学的な状態を有する:加法状態、中間状態、および減法状態。加法状態では、アクティブなPBP格子は特定の波長の光を、減法状態の回折角に対して正となる角度に回折する。減法状態では、アクティブなPBP格子は特定の波長の光を、加法状態の正の角度に対して負となる角度に回折する。その一方で、中間状態では、PBP格子は光の回折に至らず、アクティブなPBP格子を通過する光の偏光に影響しない。
アクティブなPBP格子の状態は、アクティブなPBP格子に入射する光の偏光の左右像、およびアクティブなPBP格子に印加される電場の尺度によって決定される場合がある。例えば、いくつかの実施形態では、アクティブなPBP格子は、右回りの円偏光を有する入射光およびゼロの(またはより一般的には、しきい値電場を下回る)電場が印加されたことに応答して減法状態で動作する。いくつかの実施形態では、PBP格子は、左回りの円偏光を有する入射光およびゼロの電場が印加されたことに応答して加法状態で動作する。いくつかの実施形態では、PBP格子は、印加される電場に応答して(偏光に関わらず)中間状態で動作する。正の誘電率異方性を有する液晶は、印加される電場方向に沿って揃えることができる。アクティブなPBP格子が、加法または減法状態にある場合、アクティブなPBP格子から出力される光は、アクティブなPBP格子に入る光の左右像と反対の左右像を有する。アクティブなPBP格子が、中間状態にある場合、アクティブなPBP格子から出力される光は、アクティブなPBP格子に入る光と同じ左右像を有する。
パッシブなPBP格子の状態は、パッシブなPBP格子に入射する光の偏光の左右像によって決定される。例えば、いくつかの実施形態では、パッシブなPBP格子は、右回りの円偏光を有する入射光に応答して減法状態で動作する。いくつかの実施形態では、パッシブなPBP格子は、左回りの円偏光を有する入射光に応答して加法状態で動作する。加法または減法状態にあるパッシブなPBP格子では、パッシブなPBP格子から出力される光は、パッシブなPBP格子に入る光の左右像と反対の左右像を有する。
中心窩適応ディスプレイシステムを使用して人工現実コンテンツを生成する
図12は、様々な実施形態による、中心窩適応ディスプレイシステムを使用して人工現実コンテンツを生成する方法を示す。図1~図3および図5~図11のシステムを参照して方法ステップを説明するが、当業者であれば、あらゆるシステムは、他の実施形態では任意の順序で、方法ステップを実装するように構成されてもよいことを理解されよう。特に、方法は、説明的な例として図5の中心窩適応ディスプレイシステム500を参照して説明されるが、方法はまた、図4の中心窩適応ディスプレイシステム400などの他の中心窩適応ディスプレイシステムで実装されてもよい。
図12は、様々な実施形態による、中心窩適応ディスプレイシステムを使用して人工現実コンテンツを生成する方法を示す。図1~図3および図5~図11のシステムを参照して方法ステップを説明するが、当業者であれば、あらゆるシステムは、他の実施形態では任意の順序で、方法ステップを実装するように構成されてもよいことを理解されよう。特に、方法は、説明的な例として図5の中心窩適応ディスプレイシステム500を参照して説明されるが、方法はまた、図4の中心窩適応ディスプレイシステム400などの他の中心窩適応ディスプレイシステムで実装されてもよい。
示されるように、方法1200は、ブロック1202で始まり、このブロックでは、アプリケーションにより、HOE526と直線上にある少なくともディフューザ508を使用して投影画像が生成される。アプリケーションは、例えば、図3と併せて上述したようなアプリケーションストア355に記憶されたアプリケーションのうちの1つであってもよく、ゲーミングアプリケーション、会議アプリケーション、動画再生アプリケーション、またはあらゆる他の適切なアプリケーションを含んでもよい。そのようなアプリケーションに関して説明するが、他の実施形態では、方法1200の一部またはすべてのステップは、図3と併せて上述したエンジン365などのエンジンによって実施されてもよい。
図4~図7と併せて上述したように、いくつかの実施形態では、ディフューザ508は、偏光、角度、および波長が選択的であってもよい。そのような事例では、ディフューザ508は、ディフューザ508に投影される、偏光の特定の左右像を有し、特定の波長範囲内の光を反射および拡散しつつ、他の光(例えば、現実世界の光)はディフューザ508を通過させてもよい。結果として、ディフューザ508を使用して、ユーザの目の注視の非中心窩領域に、低解像度で大きいFOVの背景画像を生成することができる。いくつかの実施形態では、図6~図7と併せて上述したように、ディフューザ508は、パンケーキレンズ内に含まれてもよい。
図13は、様々な実施形態による、図12の方法1200のブロック1202をさらに詳細に示す。図5~図7のシステムを参照して方法ステップを説明するが、当業者であれば、あらゆるシステムは、他の実施形態では任意の順序で、方法ステップを実装するように構成されてもよいことを理解されよう。特に、説明的な例として図5の中心窩適応ディスプレイモジュール500を参照して説明されるが、方法ステップはまた、図4の中心窩適応ディスプレイシステム400などの他の中心窩適応ディスプレイシステムで実装されてもよい。
ブロック1302において、アプリケーションは、ユーザの目の注視の非中心窩領域用の背景画像を決定する。説明したように、非中心窩領域は、ユーザの周辺視力に相当するため、ブロック1304で決定される背景画像は、ユーザの目の注視の中心窩領域用に生成される仮想画像と同じ解像度(つまり、ピクセル密度)の画像である必要はない。ステップ1302で決定される背景画像は、任意の好適な画像であってもよく、特定の画像は一般的に用途に応じたものとなる。
ブロック1304において、アプリケーションによって背景画像が、ある角度でディフューザ508に投影される。いくつかの実施形態では、ディフューザは、光の伝播距離を大きくするパンケーキレンズ内に含まれてもよい。他の実施形態では、ディフューザは、パンケーキレンズとは別個であってもよい。説明したように、偏光の特定の左右像および特定の波長を有し、特定の角度でディフューザに投影される光を、反射して拡散しつつ、他の光(例えば、現実世界の光)はディフューザを通過させるために、ディフューザはまた、いくつかの実施形態では、偏光、角度、および波長が選択的であってもよい。
図12に戻ると、ブロック1204において、アプリケーションはユーザの目の瞳孔位置を決定する。実施形態では、あらゆる技術的に実現可能な視線追跡技法が採用されてもよい。例えば、アプリケーションは、図3と併せて上述したように、ユーザが装着するNEDまたはHMDに含まれる1つまたは複数の照明光源と撮像デバイス(カメラ)を用いて生成された、ユーザの目に関連する追跡データを分析してもよい。
ブロック1206において、アプリケーションによって、ブロック1204で決定された瞳孔位置に基づいて、少なくともHOE526を使用して、仮想画像が生成され、ユーザの目の注視の中心窩領域でフォーカスされる。いくつかの実施形態では、SLM516を介して生成される光をフォーカスするために使用されるMEMSミラー524のステアリング範囲は、図7~図8と併せて上述したように、スイッチ可能なPBP格子積層体802を使用してさらに大きくすることができる。
説明したように、HOE526は、投影画像およびブロック1202で生成された関連する光、ならびに現実世界の光をHOE526に通過させる、角度-波長選択的レンズである。加えて、HOE526は、HOE526に特定の角度で入射するMEMSミラー524からの特定波長の光を反射してユーザの目の注視の中心窩領域に向けてフォーカスするように構成され、それにより、高解像度の結像を生成する。
図14は、様々な実施形態による、図12の方法1200のブロック1206をさらに詳細に示す。図5および図8~図11のシステムを参照して方法ステップを説明するが、当業者であれば、あらゆるシステムは、他の実施形態では任意の順序で、方法ステップを実装するように構成されてもよいことを理解されよう。特に、説明的な例として図5の中心窩適応ディスプレイシステム500を参照して説明されるが、方法ステップはまた、図4の中心窩適応ディスプレイシステム400などの他の中心窩適応ディスプレイシステムで実装されてもよい。
示されるように、ブロック1402において、アプリケーションによってSLM516は投影デバイス514によって発せられた光を変調する。説明したように、いくつかの実施形態では、SLM516は、光回折を使用して、ユーザの目の注視の中心窩領域でフォーカスされる高解像度の仮想画像を作成するホログラフィックディスプレイを提供してもよい。そのような事例では、アプリケーションは、高解像度の仮想結像を生成するために必要とされる、投影デバイス514によって発せられる光に対する変調を決定し、それに応じてSLM516を制御することができる。あらゆる好適な変調が決定されてもよく、特定の変調は一般的に用途に応じたものとなる。加えて、SLM516によって変調された光は、いくつかの実施形態では、凹型ミラー508および1つまたは複数のビームスプリッタ(例えば、ビームスプリッタ506および902)を介して、MEMSミラー524にフォーカスされてもよい。
示されるように、ブロック1404において、アプリケーションは、方法1200のブロック1204で決定された瞳孔位置に基づいて、MEMSミラー414を使用してHOE526に光をステアリングする角度を決定する。説明したように、決定される角度は、光を、決定された瞳孔位置に対応するユーザの目の注視の中心窩領域でフォーカスするために必要な角度である。
ブロック1406において、アプリケーションは、角度がMEMSミラー524のステアリング範囲内にあるかどうかを決定する。説明したように、MEMSミラー524のステアリング範囲は、いくつかの実施形態では、MEMSミラー524によって達成可能な傾き角によって限定され得る。例えば、MEMSミラー524の水平ステアリング範囲はアクティブなPBP格子素子なしで±15°まで限定される可能性があり、MEMSミラー524の垂直ステアリング範囲はアクティブなPBP素子なしで±10°まで限定される可能性がある。
アプリケーションが、角度がMEMSミラー524のステアリング範囲内であると判定した場合、ブロック1408において、アプリケーションによってMEMSミラーはブロック1404で決定された角度で光をステアリングする。例えば、アプリケーションは、制御信号を送り、ブロック1404で決定された角度に基づいて、MEMSミラー524を電磁気的に駆動することができる。この事例では、スイッチ可能なPBP格子積層体802は、スイッチオンされない(または、スイッチ可能なPBP格子積層体802が既にオンである場合、スイッチオフされる)。
一方で、角度がMEMSミラー524のステアリング範囲内ではない場合、ブロック1410において、アプリケーションは、スイッチ可能なPBP格子積層体802がスイッチオンの状態で、MEMSミラー524を使用してHOE526に光をステアリングする角度を決定する。例えば、スイッチ可能なPBP格子積層体802がMEMSミラー524のステアリング範囲を倍にするように構成されている場合、アプリケーションは、ブロック1404で決定された角度をブロック1410において2で割ることが可能である。
ブロック1412において、アプリケーションによって、スイッチ可能なPBP格子積層体802はスイッチオンにされ、MEMSミラー524はブロック1410で決定された角度で光をステアリングする。説明したように、スイッチ可能半波長板1004をスイッチオンすることによって、スイッチ可能なPBP格子積層体802をスイッチオンしてもよい。
図12に戻ると、ステップ1208において、アプリケーションは、別の時点へと継続するかどうかを判定する。アプリケーションが継続すると判定する場合、方法1200はステップ1202に戻り、このステップでは、アプリケーションにより、HOE526と直線上にある少なくともディフューザ508を使用して別の投影画像が生成される。一方で、アプリケーションが継続しないと判定した場合、方法1200は終了する。
本明細書で開示される中心窩適応ディスプレイシステムの1つの利点は、中心窩適応ディスプレイシステムが、ユーザの目の注視の中心窩領域には高解像度の仮想結像を、それと共にユーザの目の注視の他の領域には低解像度で大きい視野の背景結像を生成することである。投影結像を生成するために使用されるディフューザは、パンケーキレンズ内に配設することが可能であり、パンケーキレンズは、小型のフォームファクタおよび重量が検討事項となるHMDや他のデバイスを用いる用途に有益な比較的コンパクトな(つまり、より薄い)設計である。加えて、スイッチ可能なパンチャラトナム-ベリー位相格子積層体は、例えば仮想結像に関する光が、ユーザの目に見える視野全体を覆うようにステアリングすることができるように、高解像度の仮想結像を生成するために使用されるビームステアリングデバイスのステアリング範囲を大きくするために使用することが可能である。これらの技術上の利点は、従来技術の手法に優る1つまたは複数の技術的な進歩を代表する。
請求項のいずれかで述べられる請求項要素のいずれか、および/または本出願において説明されるあらゆる要素の、任意およびすべての組み合わせは、あらゆる様式で、本開示および保護の企図される範囲に含まれる。
本開示の実施形態の前述の説明は、説明を目的として提示されたものであり、網羅的であること、または本開示を開示される厳密な形態に限定するように意図されていない。当業者であれば、上述の開示に照らして、多くの修正形態および変形形態が可能であることを諒解されよう。
本説明の一部分は、本開示の実施形態を、情報に対する操作のアルゴリズムおよび記号的な表現の観点から説明している。このようなアルゴリズム的な説明および表現は、一般的にはデータ処理分野の熟練者により、自身の仕事の実体を、他の当業者に効果的に伝えるために使用される。このような操作は、機能的に、計算科学的に、または論理的に説明されるが、コンピュータプログラムまたは等価的な電気回路、マイクロコードなどによって実装されるものと理解される。さらには、一般性を失うことなく、時には、このような操作の配置構成をモジュールと称することが便利であることもまた証明されている。説明される操作およびその関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらのあらゆる組み合わせに具体化され得る。
本明細書において説明されるステップ、操作、またはプロセスのいずれも、1つまたは複数のハードウェアまたはソフトウェアモジュールにより、単体で、または他のデバイスとの組み合わせとして、実施または実装することができる。一実施形態において、ソフトウェアモジュールは、説明されるステップ、操作、またはプロセスの、いずれかまたはすべてを実施するためにコンピュータプロセッサによって実行可能な、コンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品により実装される。
本開示の実施形態はまた、本明細書における動作を実施するための装置に関連する場合がある。この装置は、必要とされる目的のために特別に構築されてもよく、および/またはコンピュータに記憶されるコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを含んでもよい。そのようなコンピュータプログラムは、コンピュータシステムバスに連結可能な場合がある、非一時的な有形のコンピュータ可読記憶媒体、または電子的な命令を記憶するために適したあらゆるタイプの媒体に記憶されてもよい。さらには、本明細書で言及されるあらゆるコンピューティングシステムは、単一のプロセッサを含んでもよく、またはコンピューティング能力の向上のために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
本開示の実施形態はまた、本明細書において説明される計算プロセスによって作り出される製品に関連する場合がある。そのような製品は、計算プロセスから得られる情報を含んでもよく、この場合、情報は、非一時的な有形なコンピュータ可読記憶媒体に記憶され、コンピュータプログラム製品のあらゆる実施形態または本明細書において説明される他のデータの組み合わせを含んでもよい。
最終的に、本明細書で用いられる言葉は、原則的に読み易さと指示的な目的のために選ばれたものであり、発明の主題を詳述するため、またはその範囲を定めるために選ばれたものではない場合がある。したがって、本開示の範囲は、この詳細な説明によって限定されることは意図されておらず、これに基づく出願に対して発行されるあらゆる特許請求によって限定されることが意図されている。したがって、実施形態の開示は、本開示の範囲を限定するのではなく、例示的であることが意図されており、これを以下の特許請求の範囲において述べる。
様々な実施形態の説明が、説明を目的として提示されてきたが、網羅的であることまたは開示される実施形態に限定されることを意図されていない。説明される実施形態の範囲および思想から逸脱することなく、多くの修正形態および変形形態が、当業者には明らかである。
本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具体化することができる。したがって、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態を取ってもよく、これらは本明細書においては、すべて全体的に「モジュール」または「システム」と称することができる。さらには、本開示の態様は、コンピュータ可読プログラムコードが具体化された1つまたは複数のコンピュータ可読媒体に具体化されたコンピュータプログラム製品の形態を取ってもよい。
1つまたは複数のコンピュータ可読媒体のあらゆる組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読の信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外、または半導体のシステム、装置、もしくはデバイス、または前述のあらゆる適切な組み合わせであってもよいが、それに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的な一覧)としては、以下が挙げられよう:1つまたは複数の配線を有する電気接続、ポータブルのコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラム可能読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または前述のあらゆる適切な組み合わせ。本文書のコンテキストでは、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスにより、またはそれと併せて使用するためのプログラムを含むか記憶することができるあらゆる有形の媒体であってもよい。
本開示の態様は、本開示の実施形態による、方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して上述される。フローチャート図および/またはブロック図のそれぞれのブロック、ならびにフローチャート図および/またはブロック図におけるブロックの組み合わせは、コンピュータプログラム命令によって実装可能であることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されて、マシンを作り出すことができる。命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを通じて実行されると、フローチャートおよび/またはブロック図の1つまたは複数のブロックに指定される機能/作用の実装を可能にする。そのようなプロセッサは、限定することなく、汎用プロセッサ、特殊目的プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルゲートアレイであってもよい。
図面中のフローチャートおよびブロック図は、本開示の様々な実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実装形態の、アーキテクチャ、機能性、および動作を図示している。この点において、フローチャートまたはブロック図のそれぞれのブロックは、指定される論理機能を実装するための1つまたは複数の実行可能な命令を含む、コードのモジュール、セグメント、または一部を表現している場合がある。一部の代替的な実装形態では、ブロックに示される機能は、図面に示される順とは異なって生じてもよいことにも留意されたい。例えば、続けて示される2つのブロックは、実際には、実質的に同時的に実行されてもよく、または関与する機能性に応じて、ブロックは時に逆の順で実行されてもよい。ブロック図および/またはフローチャート図のそれぞれのブロック、ならびにブロック図および/またはフローチャート図のブロックの組み合わせは、指定された機能もしくは作用を実施する特殊目的のハードウェアベースのシステム、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって実装することも可能であることにも留意されたい。
上記は、本開示の実施形態に向けたものであるが、本開示の他の実施形態およびさらなる実施形態が、その基本的な範囲を逸脱することなく考案されてもよく、その範囲は、以下の特許請求の範囲によって定められる。
Claims (15)
- 角度および波長が選択的なレンズを含む中心窩ディスプレイモジュールと、
前記レンズと直線上に配設されるディフューザを含む周辺ディスプレイモジュールと
を備える、中心窩適応ディスプレイシステム。 - 前記ディフューザは、偏光、角度、および波長が選択的である、請求項1に記載の中心窩適応ディスプレイシステム。
- 前記レンズが、前記周辺ディスプレイモジュールから出力された光に前記レンズを通過させる、請求項1に記載の中心窩適応ディスプレイシステム。
- 前記周辺ディスプレイモジュールが、光をある角度で前記ディフューザに投影するように構成された投影デバイスをさらに含み、
前記ディフューザが、投影された前記光を拡散するように構成され、
前記ディフューザが、現実世界の光に前記ディフューザを通過させるようにさらに構成される、請求項1に記載の中心窩適応ディスプレイシステム。 - 前記周辺ディスプレイモジュールが、パンケーキレンズであって、前記パンケーキレンズを通過する光の伝播距離を大きくするように構成された、パンケーキレンズをさらに含み、
任意選択で、前記ディフューザが、前記パンケーキレンズ内に含まれ、任意選択で、
前記パンケーキレンズが、
半波長板であって、前記半波長板を通過する光の偏光の左右像を変えるように構成された、半波長板と、
偏光および波長が選択的である、ミラーと、
ハーフミラーであって、
偏光の1つの左右像を有する入射する光の偏光の左右像を反射して変え、
偏光のもう一方の左右像を有する入射する光を通すように構成された、ハーフミラーと
をさらに含む、請求項1に記載の中心窩適応ディスプレイシステム。 - 前記中心窩ディスプレイモジュールが、
視線追跡モジュールと、
ディスプレイと、
光をビームステアリングミラーにフォーカスするように構成された光学素子と
を備え、
前記ビームステアリングミラーが、前記レンズを介して、前記視線追跡モジュールによって検出された瞳孔位置に対応する中心窩領域に向けて光をフォーカスするように制御可能であり、
前記レンズが、前記ビームステアリングミラーからの光を反射し、前記周辺ディスプレイモジュールによって出力された光に前記レンズを通過させるように構成される、請求項1に記載の中心窩適応ディスプレイシステム。 - 前記中心窩ディスプレイモジュールが、前記ビームステアリングミラーのステアリング範囲を大きくするよう制御可能なスイッチ可能なパンチャラトナム-ベリー位相(PBP)格子積層体をさらに含み、任意選択で、
前記スイッチ可能なPBP格子積層体が、2つのPBP格子および前記2つのPBP格子間に配設されたスイッチ可能な半波長板を含む、請求項8に記載の中心窩適応ディスプレイシステム。 - 前記レンズが、ホログラフィック光学素子であり、任意選択で、
前記レンズが体積格子レンズである、請求項1に記載の中心窩適応ディスプレイシステム。 - 前記ディフューザが、コレステリック液晶材料を含む、請求項1に記載の中心窩適応ディスプレイシステム。
- 周辺ディスプレイシステムと直列に配設された中心窩ディスプレイシステム
を備えるヘッドマウントディスプレイ(HMD)であって、
前記中心窩ディスプレイシステムは、角度および波長が選択的なレンズを含み、
前記周辺ディスプレイシステムが、ディフューザを含む、ヘッドマウントディスプレイ(HMD)。 - 前記ディフューザが、前記レンズと直線上に配設され、
前記ディフューザは、偏光および角度が選択的である、請求項10に記載のHMD。 - 前記周辺ディスプレイシステムが、
光をある角度で前記ディフューザに投影するように構成された投影デバイスであって、前記ディフューザが、投影された前記光を拡散し、現実世界の光に前記ディフューザを通過させるように構成された、投影デバイスと、
パンケーキレンズであって、前記パンケーキレンズを通過する光の伝播距離を大きくするように構成された、パンケーキレンズと
をさらに備え、
前記ディフューザが前記パンケーキレンズに含まれる、請求項10に記載のHMD。 - 前記中心窩ディスプレイシステムが、
視線追跡モジュールと、
ディスプレイと、
光を微小電気機械システム(MEMS)ミラーにフォーカスするように構成された光学素子と
をさらに備え、
前記MEMSミラーが、前記レンズを介して、前記視線追跡モジュールによって検出された瞳孔位置に対応する中心窩領域に向けて光をフォーカスするように制御可能であり、
前記レンズが、前記MEMSミラーからの光を反射し、前記周辺ディスプレイシステムによって出力された光に前記レンズを通過させるように構成される、請求項10に記載のHMD。 - 前記中心窩ディスプレイシステムが、前記MEMSミラーのステアリング範囲を大きくするよう制御可能なスイッチ可能なパンチャラトナム-ベリー位相(PBP)格子積層体をさらに含み、
前記スイッチ可能なPBP格子積層体が、2つのPBP格子および前記2つのPBP格子間に配設されたスイッチ可能な半波長板を含む、請求項13に記載のHMD。 - ユーザの目の瞳孔位置を検出することと、
角度および波長が選択的な少なくとも1つのレンズを使用して仮想画像を生成することであって、前記仮想画像が、前記レンズを介して、前記検出された瞳孔位置に対応する前記ユーザの目の中心窩領域に向けてフォーカスされる、仮想画像を生成することと、
前記レンズと直線上に配設された少なくとも1つのディフューザを使用して投影画像を生成することと
を含む、方法であって、
前記レンズが、前記投影画像に関する光に前記レンズを通過させる、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/735,409 | 2020-01-06 | ||
US16/735,409 US11294184B2 (en) | 2020-01-06 | 2020-01-06 | Foveated display system |
PCT/US2021/012161 WO2021141884A1 (en) | 2020-01-06 | 2021-01-05 | Foveated display system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023509295A true JP2023509295A (ja) | 2023-03-08 |
Family
ID=74285617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022532083A Pending JP2023509295A (ja) | 2020-01-06 | 2021-01-05 | 中心窩適応ディスプレイシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11294184B2 (ja) |
EP (1) | EP4088155A1 (ja) |
JP (1) | JP2023509295A (ja) |
KR (1) | KR20220120664A (ja) |
CN (1) | CN115605796A (ja) |
WO (1) | WO2021141884A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021055230A1 (en) * | 2019-09-19 | 2021-03-25 | Akalana Management Llc | Optical systems with low resolution peripheral displays |
US11448803B1 (en) | 2020-01-06 | 2022-09-20 | Facebook Technologies, Llc | Pancake lens including diffuser |
US11668932B2 (en) * | 2020-01-06 | 2023-06-06 | Meta Platforms Technologies, Llc | Switchable Pancharatnam-Berry phase grating stack |
JP2021179563A (ja) * | 2020-05-15 | 2021-11-18 | 株式会社ジャパンディスプレイ | 表示装置 |
KR20220081162A (ko) * | 2020-12-08 | 2022-06-15 | 삼성전자주식회사 | 포비티드 디스플레이 장치 |
TW202331350A (zh) * | 2021-12-06 | 2023-08-01 | 美商元平台技術有限公司 | 具有可切換散射器的方向性照明器和顯示器設備 |
US20230176377A1 (en) | 2021-12-06 | 2023-06-08 | Facebook Technologies, Llc | Directional illuminator and display apparatus with switchable diffuser |
WO2023164131A1 (en) * | 2022-02-25 | 2023-08-31 | Meta Platforms Technologies, Llc | Efficient pancake lens for peripheral view in virtual reality headsets |
US20230319418A1 (en) * | 2022-03-29 | 2023-10-05 | Htc Corporation | Head mounted display device and control method for eye-tracking operation |
KR20240077827A (ko) * | 2022-11-25 | 2024-06-03 | 경북대학교 산학협력단 | 다중 초점면을 가지는 포비티드 근안 디스플레이 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4328785A1 (de) * | 1993-08-26 | 1995-03-02 | Consortium Elektrochem Ind | Optische Elemente mit abbildender farb- und polarisationsselektiver Reflexion enthaltend cholesterische Flüssigkristalle sowie Herstellung und Verwendung dieser Elemente |
US20090052838A1 (en) | 2004-03-22 | 2009-02-26 | Mcdowall Ian | Electrically controlled optical elements and method |
JP2006113434A (ja) | 2004-10-18 | 2006-04-27 | Konica Minolta Holdings Inc | 映像表示装置 |
US7167308B1 (en) | 2005-03-09 | 2007-01-23 | Rockwell Collins, Inc. | System for eliminating secondary images in rear projection systems |
US7522344B1 (en) * | 2005-12-14 | 2009-04-21 | University Of Central Florida Research Foundation, Inc. | Projection-based head-mounted display with eye-tracking capabilities |
EP1798587B1 (en) * | 2005-12-15 | 2012-06-13 | Saab Ab | Head-up display |
US8491121B2 (en) * | 2007-10-09 | 2013-07-23 | Elbit Systems Of America, Llc | Pupil scan apparatus |
US8042941B2 (en) * | 2010-01-29 | 2011-10-25 | Indizen Optical Technologies, S.I. | Lens with continuous power gradation |
US20120242698A1 (en) * | 2010-02-28 | 2012-09-27 | Osterhout Group, Inc. | See-through near-eye display glasses with a multi-segment processor-controlled optical layer |
US8436952B2 (en) * | 2010-05-28 | 2013-05-07 | Hong Kong Applied Science and Technology Research Institute Company Limited | Hybrid illumination system for head-up display |
WO2014053562A1 (en) * | 2012-10-04 | 2014-04-10 | Lemoptix Sa | An optical assembly |
US9857591B2 (en) * | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
GB2526158B (en) | 2014-05-16 | 2017-12-20 | Two Trees Photonics Ltd | Imaging device for moving a virtual image |
NZ773834A (en) * | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
US10151924B2 (en) | 2016-02-10 | 2018-12-11 | Nvidia Corporation | Holographic reflective slim virtual/augmented reality display system and method |
WO2018093562A1 (en) * | 2016-11-16 | 2018-05-24 | Google Llc | Freeform projected display |
WO2018160146A1 (en) | 2017-02-28 | 2018-09-07 | Koc Universitesi | Near-to-eye display device using a spatial light modulator |
CN110959132B (zh) | 2017-05-27 | 2022-06-14 | 李汶基 | 眼镜型显示器及可变焦距眼镜型显示器 |
US10338400B2 (en) * | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
US10574973B2 (en) | 2017-09-06 | 2020-02-25 | Facebook Technologies, Llc | Non-mechanical beam steering for depth sensing |
US10762810B2 (en) * | 2018-01-05 | 2020-09-01 | North Inc. | Augmented reality eyebox fitting optimization for individuals |
US10636340B2 (en) | 2018-04-16 | 2020-04-28 | Facebook Technologies, Llc | Display with gaze-adaptive resolution enhancement |
KR20200060103A (ko) | 2018-11-22 | 2020-05-29 | 삼성전자주식회사 | 편광 선택성 렌즈와 스크린을 구비한 다중 영상 디스플레이 장치 |
-
2020
- 2020-01-06 US US16/735,409 patent/US11294184B2/en active Active
-
2021
- 2021-01-05 JP JP2022532083A patent/JP2023509295A/ja active Pending
- 2021-01-05 WO PCT/US2021/012161 patent/WO2021141884A1/en unknown
- 2021-01-05 KR KR1020227026056A patent/KR20220120664A/ko active Search and Examination
- 2021-01-05 EP EP21702140.1A patent/EP4088155A1/en active Pending
- 2021-01-05 CN CN202180008096.4A patent/CN115605796A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210208397A1 (en) | 2021-07-08 |
KR20220120664A (ko) | 2022-08-30 |
EP4088155A1 (en) | 2022-11-16 |
US11294184B2 (en) | 2022-04-05 |
CN115605796A (zh) | 2023-01-13 |
WO2021141884A1 (en) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7289842B2 (ja) | 偏光子を利用したpancharatnam berry位相構成要素の画質改善 | |
US11294184B2 (en) | Foveated display system | |
US11175507B2 (en) | Polarization-sensitive components in optical systems for large pupil acceptance angles | |
JP2023509294A (ja) | スイッチ可能なパンチャラトナム-ベリー位相格子積層体 | |
US10989926B1 (en) | Polarization-selective diffusive combiner and near-eye display based thereon | |
US11695913B1 (en) | Mixed reality system | |
JP2023517828A (ja) | 高解像度液晶ディスプレイ | |
US10935794B1 (en) | Low-obliquity beam scanner with polarization-selective grating | |
US11157072B1 (en) | Direct retinal projector | |
US20210103140A1 (en) | Low-obliquity pupil relay for near-eye display | |
US11774737B2 (en) | Folded-beam, low-obliquity beam scanner | |
JP2023512873A (ja) | ヘッドマウントディスプレイシステムのための偏光多重光学系 | |
US20230029109A1 (en) | Techniques for multi-layer liquid crystal active light modulation | |
US20220026721A1 (en) | Polarization-sensitive components in optical systems for large pupil acceptance angles | |
CN115087909B (zh) | 用于照明光学器件的衍射元件的基于偏振的复用 | |
US11448803B1 (en) | Pancake lens including diffuser |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231020 |