JP7332763B2 - 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 - Google Patents

複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 Download PDF

Info

Publication number
JP7332763B2
JP7332763B2 JP2022114662A JP2022114662A JP7332763B2 JP 7332763 B2 JP7332763 B2 JP 7332763B2 JP 2022114662 A JP2022114662 A JP 2022114662A JP 2022114662 A JP2022114662 A JP 2022114662A JP 7332763 B2 JP7332763 B2 JP 7332763B2
Authority
JP
Japan
Prior art keywords
light
display system
different
eye
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022114662A
Other languages
English (en)
Other versions
JP2022141819A (ja
Inventor
アンソニー クルグ マイケル
コンラッド ロバート
ウェツシュタイン ゴードン
ティー. ショーウェンゲルト ブライアン
ビュー ヴォーン ミカル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022141819A publication Critical patent/JP2022141819A/ja
Priority to JP2023118182A priority Critical patent/JP7528324B2/ja
Application granted granted Critical
Publication of JP7332763B2 publication Critical patent/JP7332763B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/346Image reproducers using prisms or semi-transparent mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/008Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

(優先権出願)
本願は、2016年10月21日に出願された米国仮出願第62/411,490号の優先権の利益を主張するものであり、該米国仮出願は、参照により本明細書中に援用される。
(参照による援用)
本願は、以下の特許出願、すなわち米国出願第14/555,585号(出願日2014年11月27日);米国出願第14/690,401号(出願日2015年4月18日);米国出願第14/212,961号(出願日2014年3月14日);米国出願第14/331,218号(出願日2014年7月14日);米国出願第15/072,290号(出願日2016年3月16日);および米国仮出願第62/156,809号(出願日)2015年5月4日) の各々の全体を参照により援用するものである。
本開示は、拡張現実および仮想現実結像および可視化システムを含む、光学デバイスに関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実、すなわち、「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオでは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、AR画像コンテンツを含んでもよい。
図1を参照すると、拡張現実場面10が、描写されており、AR技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム30を特徴とする、実世界公園状設定20が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム30上に立っているロボット像40と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ50等の「仮想コンテンツ」を「見ている」と知覚するが、これらの要素50、40は、実世界には存在しないという点で、「仮想」である。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、AR技術の生産は、困難である。
本明細書に開示されるシステムおよび方法は、ARまたはVR技術に関連する種々の課題に対処する。
いくつかの実施形態では、頭部搭載型ディスプレイシステムが、提供される。ディスプレイシステムは、視認者上に搭載するように構成される、フレームと、光源と、光源からの光を変調するように構成される、空間光変調器と、フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学とを備える。ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するように構成される。
いくつかの他の実施形態では、画像コンテンツを表示するための方法が、提供される。本方法は、空間光変調器を提供するステップと、光を空間光変調器に複数の異なる光出力場所から出力するように構成される、光源を提供するステップと、仮想オブジェクトの視差的に異なる瞳孔内画像のセットを視認者の眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するステップとを含む。瞳孔内画像はそれぞれ、光源からの光を空間光変調器に出力するステップであって、光は、光源の1つ以上の関連付けられた光出力場所から出力される、ステップと、空間光変調器を用いて、光を変調し、1つ以上の関連付けられた光出力場所に対応する瞳孔内画像を形成するステップと、変調された光を眼に伝搬させるステップとによって形成される。瞳孔内画像毎の1つ以上の関連付けられた光出力場所は、瞳孔内画像のその他のための1つ以上の関連付けられた光出力場所と明確に異なる。
さらに他の実施形態では、ディスプレイシステムが、提供される。ディスプレイシステムは、複数の空間的に明確に異なる光出力場所を備える、光源と、光源からの光を変調するように構成される、空間光変調器と、フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学とを備える。ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するように構成される。
いくつかの他の実施形態では、画像コンテンツを表示するための方法が、提供される。本方法は、光源と、空間光変調器とを備える、頭部搭載型ディスプレイを提供するステップを含む。本方法はさらに、フリッカ融合閾値内において、仮想オブジェクトの視差的に異なる瞳孔内画像のセットをディスプレイから視認者の眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するステップを含む。
加えて、本開示に説明される主題の種々の革新的側面は、以下の実施形態において実装されてもよい。
1.画像コンテンツを表示するための方法であって、
空間光変調器を提供するステップと、
光を空間光変調器に複数の異なる光出力場所から出力するように構成される、光源を提供するステップと、
仮想オブジェクトの視差的に異なる瞳孔内画像のセットを視認者の眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するステップであって、瞳孔内画像はそれぞれ、
光源からの光を空間光変調器に出力するステップであって、光は、光源の1つ以上の関連付けられた光出力場所から出力される、ステップと、
空間光変調器を用いて、光を変調し、1つ以上の関連付けられた光出力場所に対応する瞳孔内画像を形成するステップと、
変調された光を眼に伝搬させるステップと、
によって形成され、瞳孔内画像の各々に対する1つ以上の関連付けられた光出力場所は、瞳孔内画像のその他のための1つ以上の関連付けられた光出力場所と明確に異なる、ステップと、
を含む、方法。
2.1つ以上の関連付けられた発光領域をアクティブ化するステップは、深度平面に基づいて、1つ以上の関連付けられた発光領域を選択するステップを含み、瞳孔内画像のための発光領域間の物理的分離は、深度平面から視認者までの距離の減少に伴って増加する、実施形態1に記載の方法。
3.視差的に異なる画像のそれぞれを形成する光線は、コリメートされ、深度平面は、光学無限遠未満にある、実施形態1-2のいずれかに記載の方法。
4.視差的に異なる瞳孔内画像のセットを投入するステップは、視認者のフリッカ融合閾値を下回る時間フレーム内で行われる、実施形態1-3のいずれかに記載の方法。
5.フリッカ融合閾値は、1秒の1/60である、実施形態4に記載の方法。
6.眼の視線を追跡するように構成される、眼追跡センサをさらに備え、仮想オブジェクトを表示するステップは、
眼追跡センサを使用して、眼の視線を決定するステップと、
眼の決定された視線に基づいて、瞳孔内画像のためのコンテンツを選択するステップと、を含む、実施形態1-5のいずれかに記載の方法。
7.空間光変調器からの変調された光を眼に指向するように構成される、投影光学をさらに備える、実施形態1-6のいずれかに記載の方法。
8.瞳孔内画像のための1つ以上の関連付けられた発光領域は、部分的に重複する、実施形態1-7のいずれかに記載の方法。
9.眼の中への瞳孔内画像のうちの少なくとも1つの投入の間、1つ以上の関連付けられた発光領域の位置を変化させるステップをさらに含む、実施形態1-8のいずれかに記載の方法。
10.実施形態1-9のいずれかに記載の方法を実施するように構成される、ディスプレイシステム。
11.画像コンテンツを表示するための方法であって、
光源と、
空間光変調器と、
を備える、頭部搭載型ディスプレイを提供するステップと、
フリッカ融合閾値内において、仮想オブジェクトの視差的に異なる瞳孔内画像のセットをディスプレイから視認者の眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するステップと、
を含む、方法。
12.視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像の個々のものを視認者の眼の中に時間的に連続して投入するステップを含む、実施形態11に記載の方法。
13.視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像の複数のものを同時に投入するステップを含む、実施形態11に記載の方法。
14.視差的に異なる瞳孔内画像のセットを投入するステップは、複数の瞳孔内画像を一度に時間的に連続して投入するステップを含む、実施形態13に記載の方法。
15.瞳孔内画像を形成する光ビームは、コリメートされる、実施形態11-14のいずれかに記載の方法。
16.瞳孔内画像を形成する光ビームは、発散波面を有する、実施形態11-14のいずれかに記載の方法。
17.光源は、複数の選択的にアクティブ化される発光領域を備え、視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像毎に異なる発光領域をアクティブ化するステップを含む、実施形態11-16のいずれかに記載の方法。
18.光源は、複数の明確に異なる光出力場所からの光を出力するように構成され、眼の中への瞳孔内画像のうちの少なくとも1つの投入の間、光出力場所をジッタさせるステップをさらに含む、実施形態11-17のいずれかに記載の方法。
19.実施形態11-18のいずれかに記載の方法を実施するように構成される、ディスプレイシステム。
20.頭部搭載型ディスプレイシステムであって、
視認者上に搭載するように構成される、フレームと、
光源と、
光源からの光を変調するように構成される、空間光変調器と、
フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学と、
を備え、ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
21.ディスプレイシステムは、個々の瞳孔内画像の表示を時間的に多重化するように構成される、実施形態20に記載のディスプレイシステム。
22.ディスプレイシステムは、瞳孔内画像の表示を空間的に多重化するように構成される、実施形態20-21のいずれかに記載のディスプレイシステム。
23.ディスプレイシステムは、複数の空間的に多重化された瞳孔内画像の表示を時間的に多重化するように構成される、実施形態20-22のいずれかに記載のディスプレイシステム。
24.投影光学は、内部結合光学要素と、外部結合光学要素とを備える、導波管を備える、実施形態20-23のいずれかに記載のディスプレイシステム。
25.投影光学は、複数の導波管を備え、各導波管は、複数の導波管の他の導波管と異なる原色の光を出力するように構成される、実施形態24に記載のディスプレイシステム。26.光源は、複数の選択的にアクティブ化される発光領域を備える、実施形態20-25のいずれかに記載のディスプレイシステム。
27.光源は、発光ダイオードアレイおよび空間光変調器のうちの少なくとも1つを含む、実施形態26に記載のディスプレイシステム。
28.発光ダイオードアレイは、有機発光ダイオードアレイまたは無機発光ダイオードアレイを備える、実施形態8に記載のディスプレイシステム。
29.空間光変調器光源は、液晶アレイまたはデジタル光処理(DLP)チップを備える、実施形態27に記載のディスプレイシステム。
30.ディスプレイシステムは、眼の中への瞳孔内画像のうちの少なくとも1つの投入の間、アクティブ化される発光領域の位置を変化させるように構成される、実施形態20-29のいずれかに記載のディスプレイシステム。
31.光源は、
光エミッタと、
光を空間光変調器に異なる経路に沿って指向するように構成される、アクチュエータと、を備える、実施形態20-25のいずれかに記載のディスプレイシステム。
32.アクチュエータは、2軸検流計である、実施形態31に記載のディスプレイシステム。
33.光源は、ファイバスキャナである、実施形態31に記載のディスプレイシステム。34.光源からの光を変調するように構成される、空間光変調器は、LCOSパネルを備える、実施形態20-33のいずれかに記載のディスプレイシステム。
35.眼の視線を追跡するように構成される、眼追跡センサをさらに備え、ディスプレイシステムは、
眼追跡センサを使用して、眼の視線を決定し、眼の決定された視線に基づいて、瞳孔内画像のためのコンテンツを選択する、
ように構成される、実施形態20-34のいずれかに記載のディスプレイシステム。
36.ディスプレイシステムは、光源の光出力場所と空間光変調器によって提供される画像コンテンツを同期させるように構成される、実施形態20-35のいずれかに記載のディスプレイシステム。
37.光学機構を空間光変調器と投影光学との間にさらに備え、光学機構は、空間光変調器の異なる場所からの光を投影光学に異なる角度で指向するように構成される、実施形態20-36のいずれかに記載のディスプレイシステム。
38.光学機構は、プリズムまたはレンズ構造のうちの1つ以上のものを備える、実施形態37に記載のディスプレイシステム。
39.レンズ構造は、レンズレットアレイである、実施形態38に記載のディスプレイシステム。
40.ディスプレイシステムであって、
複数の空間的に明確に異なる光出力場所を備える、光源と、
光源からの光を変調するように構成される、空間光変調器と、
フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学と、
を備え、ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
41.異なる瞳孔内画像のための光源の異なる光出力場所からの光を出力するように構成される、実施形態40に記載のディスプレイシステム。
42.視認者の眼からの深度平面の距離に基づいて、光出力場所間の側方分離を変動させるように構成される、実施形態41に記載のディスプレイシステム。
43.視認者の眼からの深度平面の距離の増加に伴って、光出力場所間の側方分離を増加させるように構成される、実施形態41-42のいずれかに記載のディスプレイシステム。
44.ディスプレイシステムは、眼の中への瞳孔内画像のうちの少なくとも1つの投入の間、光出力場所を変化させるように構成される、実施形態41-42のいずれかに記載のディスプレイシステム。
本発明は、例えば、以下を提供する。
(項目1)
頭部搭載型ディスプレイシステムであって、
視認者上に搭載するように構成されるフレームと、
光源と、
前記光源からの光を変調するように構成される空間光変調器と、
前記フレーム上に搭載され、前記空間光変調器からの光を視認者の眼の中に指向するように構成される投影光学と
を備え、
前記ディスプレイシステムは、前記オブジェクトの視差的に異なる瞳孔内画像のセットを前記眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
(項目2)
前記ディスプレイシステムは、個々の瞳孔内画像の表示を時間的に多重化するように構成される、項目1に記載のディスプレイシステム。
(項目3)
前記ディスプレイシステムは、前記瞳孔内画像の表示を空間的に多重化するように構成される、項目1に記載のディスプレイシステム。
(項目4)
前記ディスプレイシステムは、複数の空間的に多重化された瞳孔内画像の表示を時間的に多重化するように構成される、項目1に記載のディスプレイシステム。
(項目5)
前記投影光学は、内部結合光学要素と、外部結合光学要素とを備える導波管を備える、項目5に記載のディスプレイシステム。
(項目6)
前記投影光学は、複数の導波管を備え、各導波管は、前記複数の導波管の他の導波管と異なる原色の光を出力するように構成される、項目5に記載のディスプレイシステム。
(項目7)
前記光源は、複数の選択的にアクティブ化される発光領域を備える、項目1に記載のディスプレイシステム。
(項目8)
前記光源は、発光ダイオードアレイおよび空間光変調器のうちの少なくとも1つを備える、項目7に記載のディスプレイシステム。
(項目9)
前記発光ダイオードアレイは、有機発光ダイオードアレイまたは無機発光ダイオードアレイを備える、項目8に記載のディスプレイシステム。
(項目10)
空間光変調器光源は、液晶アレイまたはデジタル光処理(DLP)チップを備える、項目8に記載のディスプレイシステム。
(項目11)
前記ディスプレイシステムは、前記眼の中への前記瞳孔内画像のうちの少なくとも1つの投入の間、アクティブ化される発光領域の位置を変化させるように構成される、項目7に記載のディスプレイシステム。
(項目12)
前記光源は、
光エミッタと、
光を前記空間光変調器に異なる経路に沿って指向するように構成されるアクチュエータと
を備える、項目1に記載のディスプレイシステム。
(項目13)
前記アクチュエータは、2軸検流計である、項目12に記載のディスプレイシステム。(項目14)
前記光源は、ファイバスキャナを備える、項目12に記載のディスプレイシステム。
(項目15)
前記光源からの光を変調するように構成される前記空間光変調器は、LCOSパネルを備える、項目1に記載のディスプレイシステム。
(項目16)
前記眼の視線を追跡するように構成される眼追跡センサをさらに備え、前記ディスプレイシステムは、
前記眼追跡センサを使用して、前記眼の視線を決定することと、
前記眼の決定された視線に基づいて、前記瞳孔内画像のためのコンテンツを選択することと
を行うように構成される、項目1に記載のディスプレイシステム。
(項目17)
前記ディスプレイシステムは、前記光源の光出力場所と前記空間光変調器によって提供される画像コンテンツとを同期させるように構成される、項目1に記載のディスプレイシステム。
(項目18)
光学機構を前記空間光変調器と前記投影光学との間にさらに備え、前記光学機構は、前記空間光変調器の異なる場所からの光を異なる角度で投影光学に指向するように構成される、項目1に記載のディスプレイシステム。
(項目19)
前記光学機構は、プリズムまたはレンズ構造のうちの1つ以上のものを備える、項目18に記載のディスプレイシステム。
(項目20)
前記レンズ構造は、レンズレットアレイである、項目19に記載のディスプレイシステム。
(項目21)
画像コンテンツを表示するための方法であって、前記方法は、
空間光変調器を提供することと、
複数の異なる光出力場所から前記空間光変調器に光を出力するように構成される光源を提供することと、
仮想オブジェクトの視差的に異なる瞳孔内画像のセットを視認者の眼の中に時間的に連続して投入することによって、前記仮想オブジェクトを深度平面上に表示することであって、前記瞳孔内画像はそれぞれ、
前記光源からの光を前記空間光変調器に出力することであって、前記光は、前記光源の1つ以上の関連付けられた光出力場所から出力される、ことと、
前記空間光変調器を用いて、前記光を変調し、前記1つ以上の関連付けられた光出力場所に対応する瞳孔内画像を形成することと、
前記変調された光を前記眼に伝搬させることと
によって形成され、瞳孔内画像毎の前記1つ以上の関連付けられた光出力場所は、前記瞳孔内画像のうちの他のもののための前記1つ以上の関連付けられた光出力場所と明確に異なる、ことと
を含む、方法。
(項目22)
前記1つ以上の関連付けられた発光領域をアクティブ化することは、前記深度平面に基づいて、前記1つ以上の関連付けられた発光領域を選択することを含み、前記瞳孔内画像のための発光領域間の物理的分離は、前記深度平面から前記視認者までの距離の減少に伴って増加する、項目21に記載の方法。
(項目23)
前記視差的に異なる画像のそれぞれを形成する光線は、コリメートされ、前記深度平面は、光学無限遠未満にある、項目21に記載の方法。
(項目24)
視差的に異なる瞳孔内画像のセットを投入することは、前記視認者のフリッカ融合閾値を下回る時間フレーム内で行われる、項目21に記載の方法。
(項目25)
前記フリッカ融合閾値は、1秒の1/60である、項目24に記載の方法。
(項目26)
前記眼の視線を追跡するように構成される眼追跡センサをさらに備え、前記仮想オブジェクトを表示することは、
前記眼追跡センサを使用して、前記眼の視線を決定することと、
前記眼の決定された視線に基づいて、前記瞳孔内画像のためのコンテンツを選択することと
を含む、項目21に記載の方法。
(項目27)
前記空間光変調器からの変調された光を前記眼に指向するように構成される投影光学をさらに備える、項目21に記載の方法。
(項目28)
前記瞳孔内画像のための前記1つ以上の関連付けられた発光領域は、部分的に重複する、項目21に記載の方法。
(項目29)
前記眼の中への前記瞳孔内画像のうちの少なくとも1つの投入の間、前記1つ以上の関連付けられた発光領域の位置を変化させることをさらに含む、項目21に記載の方法。
(項目30)
ディスプレイシステムであって、
複数の空間的に明確に異なる光出力場所を備える光源と、
前記光源からの光を変調するように構成される空間光変調器と、
フレーム上に搭載され、前記空間光変調器からの光を視認者の眼の中に指向するように構成される投影光学と
を備え、
前記ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを前記眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
(項目31)
異なる瞳孔内画像のための前記光源の異なる光出力場所からの光を出力するように構成される、項目30に記載のディスプレイシステム。
(項目32)
前記視認者の眼からの前記深度平面の距離に基づいて、前記光出力場所間の側方分離を変動させるように構成される、項目30に記載のディスプレイシステム。
(項目33)
前記視認者の眼からの前記深度平面の距離の増加に伴って、前記光出力場所間の側方分離を増加させるように構成される、項目30に記載のディスプレイシステム。
(項目34)
前記ディスプレイシステムは、前記眼の中への前記瞳孔内画像のうちの少なくとも1つの投入の間、前記光出力場所を変化させるように構成される、項目30に記載のディスプレイシステム。
(項目35)
画像コンテンツを表示するための方法であって、前記方法は、
頭部搭載型ディスプレイを提供することと、
フリッカ融合閾値内において、仮想オブジェクトの視差的に異なる瞳孔内画像のセットを前記ディスプレイから視認者の眼の中に投入することによって、仮想オブジェクトを深度平面上に表示することと
を含む、方法。
(項目36)
前記瞳孔内画像の視差差を変化させることによって、前記仮想オブジェクトが配置される深度平面を変化させることをさらに含む、項目35に記載の方法。
(項目37)
視差的に異なる瞳孔内画像のセットを投入することは、前記瞳孔内画像の個々のものを視認者の眼の中に時間的に連続して投入することを含む、項目35に記載の方法。
(項目38)
視差的に異なる瞳孔内画像のセットを投入することは、前記瞳孔内画像の複数のものを同時に投入することを含む、項目35に記載の方法。
(項目39)
視差的に異なる瞳孔内画像のセットを投入することは、複数の瞳孔内画像を一度に時間的に連続して投入することを含む、項目38に記載の方法。
(項目40)
前記瞳孔内画像を形成する光ビームは、コリメートされる、項目35に記載の方法。
(項目41)
前記瞳孔内画像を形成する光ビームは、発散波面を有する、項目35に記載の方法。
(項目42)
前記ディスプレイは、
光を変調し、前記瞳孔内画像を形成するように構成される空間光変調器と、
光を前記空間光変調器に指向するように構成される光源と
を備える、項目35に記載の方法。
(項目43)
前記光源は、複数の選択的にアクティブ化される発光領域を備え、視差的に異なる瞳孔内画像のセットを投入することは、瞳孔内画像の各々に対して異なる発光領域をアクティブ化することを含む、項目42に記載の方法。
(項目44)
前記光源は、複数の明確に異なる光出力場所からの光を出力するように構成され、前記眼の中への前記瞳孔内画像のうちの少なくとも1つの投入の間、前記光出力場所をジッタさせることをさらに含む、項目42に記載の方法。
図1は、ARデバイスを通した拡張現実(AR)のユーザのビューを図示する。
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。
図4A-4Cは、曲率と焦点距離との間の関係を図示する。
図5は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
図6Aは、連続入射波面に対する眼の遠近調節前および遠近調節後状態を図示する。
図6Bは、連続入射波面の区分近似に対する眼の遠近調節前および遠近調節後状態を図示する。
図7Aは、投影システムによって提供される有限焦点距離仮想画像から発出する発散波面に対して遠近調節する眼を図示する。
図7Bは、無限遠合焦仮想画像によって形成される波面セグメントを利用して図7Aの発散波面の近似を形成するためのシステムを図示する。
図8は、図7Bの発散波面近似を形成する視差ビューの実施例を図示する。
図9は、図7Bの発散波面近似を形成するための投影システムを備える、ディスプレイシステムの実施例を図示する。
図10は、発光領域のためのサイズ、形状、および分布の実施例を図示する。
図11Aは、図7Bの発散波面近似を形成するための投影システムの別の実施例を図示する。
図11Bは、図11Aの投影システムによって提供される深度平面の範囲の実施例を図示する。
図12は、投影システムのための光源構成の実施例を図示する。
図13Aは、仮想オブジェクトを光学無限遠未満のデフォルト深度平面上に設置するための投影システムの実施例を図示する。
図13Bは、図13Aの投影システムによって提供される深度平面の範囲の実施例を図示する。
図14は、瞳孔内画像の空間的に多重化された表示のために構成される投影システムの実施例を図示する。
図15は、瞳孔内画像の空間的および時間的に多重化された表示のために構成される投影システムの実施例を図示する。
図16は、画像コンテンツをユーザの世界のビュー上に重畳するための瞳中継コンバイナ接眼レンズを備える、投影システムの実施例を図示する。
図17は、眼追跡システムと、瞳エクスパンダを伴うコンバイナ接眼レンズとを備える、ディスプレイシステムの実施例を図示する。
図18は、眼追跡システムと、非無限遠深度平面を生産するように構成される瞳エクスパンダを伴う瞳中継コンバイナ接眼レンズとを備える、ディスプレイシステムの実施例を図示する。
図19は、光の伝搬を異なる光出力場所に指向するためのミラーを備える、光源を図示する。
図20は、ファイバスキャナを備える、光源を図示する。
図21は、異なる原色に対応する異なる波長の光を出力するためのスタックされた導波管アセンブリを備える、接眼レンズの実施例を図示する。
図22は、ウェアラブルディスプレイシステムの実施例を図示する。
ヒト視覚系は、画像の若干異なる提示を視認者の左および右眼のそれぞれに提供することによって、ディスプレイによって提示される画像を「3-次元」であるように知覚させられ得る。各眼に提示される画像に応じて、視認者は、画像内の「仮想」オブジェクトを視認者から選択された距離(例えば、ある「深度平面」)にあるように知覚する。しかしながら、単に、画像の異なる提示を左および右眼に提供することは、視認者に不快感を生じさせ得る。本明細書でさらに議論されるように、視認快適性は、視認者が仮想オブジェクトが設置されたその深度平面における実オブジェクトを視認する場合に生じるであろう遠近調節と同様に、眼に画像に対して遠近調節させることによって、増加され得る。
所与の深度平面上の仮想オブジェクトのための適切な遠近調節は、その深度平面上の実オブジェクトから生じる光の波面発散に合致する波面発散を有する光を用いて、画像を眼に提示することによって、誘発され得る。いくつかのディスプレイシステムは、明確に異なる屈折力を有する明確に異なる構造を使用して、適切な波面発散を提供する。例えば、1つの構造は、(仮想オブジェクトを1つの深度平面上に設置するための)具体的量の波面発散を提供してもよく、別の構造は、(仮想オブジェクトを異なる深度平面上に設置するための)異なる量の波面発散を提供してもよい。したがって、物理的構造とこれらのディスプレイシステム内の深度平面との間には、1対1の対応が存在し得る。深度平面毎に別個の構造の必要性に起因して、そのようなディスプレイシステムは、嵩張りおよび/または重くなり得、これは、ポータブル頭部搭載型ディスプレイ等のいくつかの用途にとって望ましくあり得ない。加えて、そのようなディスプレイシステムは、利用され得る異なる屈折力の構造の数に関する実践的限界に起因して、それらが眼から誘発し得る、異なる遠近調節応答の数が限定され得る。
連続波面、例えば、連続発散波面は、眼の中に指向される視差的に異なる瞳孔内画像を投入することによって、近似され得ることが見出されている。いくつかの実施形態では、ディスプレイシステムは、ディスプレイ内の光学構造と遠近調節応答との間の1対1の対応を要求せずに、ある範囲の遠近調節応答を提供し得る。例えば、同一光学投影システムが、視差的に異なる瞳孔内画像のセットを眼の中に投入することによって、所望の深度平面に対応する選択された量の知覚される波面発散を伴う光を出力するために利用されてもよい。これらの画像は、各画像が所与の深度平面上の同一仮想オブジェクトまたは場面の異なる視差ビューであると見なされ得るため、「視差的に異なる」瞳孔内画像と称され得る。これらは、視差差(parallax disparity)を保有する画像のセットが、片眼、例えば、視認者の右眼の瞳孔の中に投影されるため、「瞳孔内」画像である。ある程度の重複が、生じ得るが、これらの画像を形成する光ビームは、重複を伴わない少なくともいくつかのエリアを有し、瞳孔上に若干異なる角度から衝突するであろう。いくつかの実施形態では、視認者の他方の眼、例えば、左眼は、その独自の視差的に異なる瞳孔内画像のセットを提供されてもよい。各眼の中に投影された視差的に異なる瞳孔内画像のセットは、若干異なり得る、例えば、画像は、各眼によって提供される若干異なる視点に起因して、同一場面の若干異なるビューを示し得る。
あるビューの眼の瞳孔の中に投影された瞳孔内画像のそれぞれを形成する光の波面は、全体として、連続発散波面に近似し得る。本近似された波面の知覚される発散の量は、瞳孔内画像を形成する光の波面が及ぶ角度範囲を変動させる、瞳孔内画像間の視差差量を変動させることによって、変動され得る。好ましくは、本角度範囲は、近似されている連続波面が及ぶ角度範囲を模倣する。いくつかの実施形態では、瞳孔内画像を形成する光の波面は、コリメートまたは準コリメートされる。
いくつかの実施形態では、ディスプレイシステムは、複数の明確に異なる光出力場所からの光を出力するように構成される、光源を利用する。例えば、光源は、複数の選択的にアクティブ化される発光領域を備えてもよく、各領域は、離散光出力場所である。瞳孔内画像間の視差差量は、画像毎の光出力場所を変化させることによって、変動され得る。所与の光出力場所からの光は、ディスプレイシステムを通して眼に1つの経路に沿って伝搬し得、光源上の異なる光出力場所からの光は、ディスプレイシステムを通して眼に異なる経路に沿って伝搬し得ることを理解されたい。その結果、光出力場所の空間差は、光が眼まで辿る経路の差異に変換され得る。異なる経路は、異なる視差差量に対応し得る。有利には、いくつかの実施形態では、視差差量は、光源の光出力場所間の空間変位または分離の量を選択することによって、選択されてもよい。
いくつかの実施形態では、上記に述べられたように、光源は、複数の選択的にアクティブ化される発光領域を備えてもよく、それぞれ、明確に異なる光出力場所に対応する。発光領域は、平面上に配置され、2D光エミッタアレイを形成してもよい。いくつかの他の実施形態では、光源は、F-シータ(F-θまたはF-tanθ)レンズ等の線形転送レンズと、共通または共有光エミッタと、光エミッタによって放出される光を異なる経路に沿ってF-シータレンズを通して指向するためのアクチュエータとを備えてもよい。光は、異なる場所における光源から、出射光を像面上に合焦させる、F-シータレンズを通して出射する。F-シータレンズから異なる場所に出射する光はまた、像面上の異なる場所に配置され、像面は、仮想2D光エミッタアレイを提供すると見なされ得る。その結果、光エミッタアレイの個々の領域および線形転送レンズからの光が像面を通して通過する場所は両方とも、本明細書では、光源の光出力場所と称され得る。
いくつかの実施形態では、アクチュエータは、異なる軸上で独立して作動され、光エミッタからの光を所望の伝搬経路に沿って指向させる、複数(例えば、対)のミラーを備える、2軸検流計の一部であってもよい。いくつかの他の実施形態では、光源は、ファイバスキャナを備えてもよく、アクチュエータは、ファイバスキャナのファイバを移動させるように構成される、アクチュエータであってもよい。光源はまた、光源による光の出力とミラーまたはファイバの場所および表示されることになる瞳孔内画像を同期させる、処理モジュールを備える、またはそれと通信してもよい。例えば、ミラーまたはファイバは、既知の経路に沿って移動してもよく、光エミッタは、本明細書でさらに議論されるように、ミラーまたはファイバが特定の瞳孔内画像(およびその画像と関連付けられた視差差)のための所望の光出力場所に対応する位置にあるとき、光を放出するように、処理モジュールによって制御されてもよい。
ディスプレイシステムはまた、光を眼の中に投入するために、空間光変調器を光源と投影光学との間に備えてもよい。空間光変調器は、光源からの光を変調し、その光ストリーム内の画像情報をエンコードし、瞳孔内画像を形成するように構成されてもよい。好ましくは、画像は、同時に、空間光変調器平面の画像を光学無限遠もしくはある他の選定される「ホーム平面」またはその近傍に提供し、また、光源の画像を視認者の瞳孔またはその近傍に提供する、投影光学を通して、眼の中に投入される。したがって、画像コンテンツおよび精密な視差差量の両方が、眼に提供され得る。
いくつかの実施形態では、同一空間光変調器が、光を変調し、眼に提供されることになる種々の瞳孔内画像を形成するために使用されてもよい。いくつかのそのような実施形態では、アクティブ光出力場所(そこから光が所与の時点において能動的に伝搬する、光出力場所)は、空間光変調器による変調と同期されてもよい。例えば、1つの瞳孔内画像に対応する光出力場所のアクティブ化は、空間光変調器内のディスプレイ要素のアクティブ化と同期される、すなわち、それと同時であってもよく、ディスプレイ要素は、特定の発光領域に対応する瞳孔内画像を形成するように構成される。いったん第2の瞳孔内画像に対応する別の光出力場所が、アクティブ化されると、空間光変調器内の適切な、可能性として異なる、ディスプレイ要素が、アクティブ化され、その第2の瞳孔内画像を形成してもよい。付加的瞳孔内画像が、光出力場所のアクティブ化と空間光変調器によって提供される画像コンテンツを同期させることによって形成されてもよい。眼への瞳孔内画像の本時間ベースの順次投入は、時間的多重化または瞳孔内画像の時間的に多重化された表示と称され得る。また、アクティブまたはアクティブ化された光出力場所は、そこから光が光源から瞳孔内画像を形成するために使用される空間光変調器に能動的に伝搬する、場所であることを理解されたい。
いくつかの他の実施形態では、空間多重化が、利用されてもよい。そのような実施形態では、空間光変調器の異なるエリア(例えば、異なるピクセル)は、異なる瞳孔内画像を形成するために専用であってもよい。光学機構が、光が異なる方向に投影光学を通して伝搬するように、空間光変調器と投影光学との間に提供され、異なる領域からの光を指向してもよい。好適な光学機構の実施例は、レンズレットアレイを含む。その結果、異なる瞳孔内画像が、形成され、画像を形成するピクセルの場所によって決定された視差差およびそれらのピクセルからの光の伝搬を指向する光学機構と同時に、眼に提供され得る。いくつかの実施形態では、視差差が空間光変調器と光学機構を併用して設定され得るため、選択的にアクティブ化される発光領域(例えば、点光源)を伴わない光源が、ディスプレイシステムのための光を生成するために利用されてもよい。
いくつかの他の実施形態では、空間および時間的多重化の両方が、利用されてもよい。そのような実施形態では、ディスプレイシステムは、上記の光学機構および空間光変調器の異なるエリア内の異なる瞳孔内画像の形成に加え、選択的にアクティブ化される光出力場所を伴う光源を含んでもよい。視差差は、光出力場所の選択的アクティブ化および光学機構の両方と空間光変調器の異なる場所における異なる瞳孔内画像の同時形成を併用して、提供されてもよい。
時間的多重化を伴う実施形態では、特定の連続波面に近似させるための瞳孔内画像のセットは、好ましくは、非常に急速であって、ヒト視覚系が画像が異なる時間に提供されたことを検出することができないように眼の中に投入される。理論によって限定されるわけではないが、視覚系は、フリッカ融合閾値内に網膜上に形成される画像を同時に存在するように知覚し得る。いくつかの実施形態では、連続波面に近似させることは、瞳孔内画像のセット毎の光のビームを眼の中に連続して投入することを含み得、光のビームの全てを投入するための総持続時間は、フリッカ融合閾値未満であって、これを上回ると、ヒト視覚系は、眼の中に別個に投入されているように画像を知覚するであろう。実施例として、フリッカ融合閾値は、約1秒の1/60であり得る。画像の各セットは、特定の数の視差ビュー、例えば、2つ以上のビュー、3つ以上のビュー、4つ以上のビュー等から成ってもよく、これらのビューは全て、フリッカ融合閾値内に提供されることを理解されたい。
好ましくは、ディスプレイシステムは、個々の瞳孔内画像を形成する光によって提供される被写界深度が、実質的に無限であって、視覚系が、眼が個々の瞳孔内画像に対して遠近調節不能である、「開ループ」モードで動作する、十分に小射出瞳を有する。いくつかの実施形態では、個々の画像を形成する光ビームは、眼上に入射するとき、約0.5mm未満の幅または直径を有するエリアを占有する。しかしながら、瞳孔内画像のセットを形成する光ビームは、少なくとも部分的に、重複せず、好ましくは、0.5mmより大きいエリアを画定し、十分な情報を眼の水晶体に提供し、瞳孔内画像を形成する光の波面によって形成される波面近似に基づいて、所望の遠近調節応答を誘発することを理解されたい。
理論によって限定されるわけではないが、光のビームのセットによって画定されたエリアは、それを通して眼が場面を視認する合成開口を模倣すると見なされ得る。瞳孔の正面の十分に小さいピンホールを通して場面を視認することは、ほぼ無限被写界深度を提供することを理解されたい。ピンホールの小開口を前提として、眼の水晶体は、明確に異なる焦点深度を判別するための適正な場面サンプリングを提供されない。ピンホールが拡大するにつれて、付加的情報が、眼の水晶体に提供され、自然光学現象が、限定された焦点深度が知覚されることを可能にする。有利には、光のビームのセットによって画定されたエリアおよび対応する視差的に異なる瞳孔内画像のセットは、無限被写界深度を生産するピンホールより大きくされ得、複数の瞳孔内画像は、上記の拡大されたピンホールによって提供される効果の近似を生産し得る。
本明細書に議論されるように、いくつかの実施形態では、光ビームが瞳孔に向かって伝搬する異なる角度は、光を変調し、画像を形成する、空間光変調器に光を出力する、複数の選択的にアクティブ化される光出力場所を有する光源を使用して、提供されてもよい。光源の異なる光出力場所からの光は、空間光変調器への異なる経路を辿り、これは、ひいては、空間光変調器から投影光学の出力瞳、したがって、視認者の眼への異なる経路を辿るであろうことを理解されたい。その結果、アクティブ光出力場所の側方変位は、空間光変調器から出射し、最終的に、視認者の瞳孔に向かって投影光学を通して伝搬する、光の角度変位に変換される。いくつかの実施形態では、アクティブ化される発光領域間の側方変位の増加は、空間光変調器平面に対して測定されるような角度変位の増加に変換されると理解され得る。いくつかの実施形態では、瞳孔内画像はそれぞれ、光を異なる光出力場所から出力し、それによって、画像のそれぞれを形成する光のビーム間の角度変位を提供することによって形成されてもよい。
いくつかの実施形態では、光源および/または光源の光出力場所は、単一視差画像(瞳孔内画像)ディスプレイエピソード内の位置またはジッタを変化させてもよい。例えば、光源および/または発光領域は、物理的に移動してもよく、および/または異なる光出力場所(例えば、光エミッタのアレイの異なる光エミッタ)は、所望の位置変化を提供しながら、瞳孔内画像を表示するようにアクティブ化されてもよい。変位またはジッタの速度は、空間光変調器上の視差画像の更新レートより高くあり得る。ジッタ変位は、所望の知覚効果に応じて、回旋を含む、任意の方向であってもよい。
いくつかの実施形態では、ディスプレイシステムは、コンバイナ接眼レンズを含んでもよく、これは、仮想画像コンテンツが視認者の世界または周囲環境のビューとともにオーバーレイされることを可能にする。例えば、コンバイナ接眼レンズは、視認者に世界が見えることを可能にする、光学的に透過性の導波管であってもよい。加えて、導波管は、瞳孔内画像を形成する光を受光し、誘導し、最終的に、視認者の眼に出力するために利用されてもよい。導波管は、視認者と世界との間に位置付けられ得るため、導波管によって出力された光は、世界内の深度平面上に設置される仮想画像を形成するように知覚され得る。本質的に、コンバイナ接眼レンズは、視認者が、ディスプレイシステムからの光と世界からの光の組み合わせを受光することを可能にする。
いくつかの実施形態では、ディスプレイシステムはまた、眼追跡システムを含み、視認者の視線方向を検出してもよい。そのような眼追跡システムは、視認者が見ている場所に基づいて、適切なコンテンツが選択されることを可能にする。
有利には、特定の関連付けられた発散を伴う波面を作成する、複数の離散光出力構造からの発散波面を提供するための機構を、恣意的発散量を作成し得る、単一構造に偏移させることによって、システムの物理的サイズおよび複雑性は、低減され得る。すなわち、出力構造のうちのいくつかが、排除され得る。加えて、仮想コンテンツをより多数の深度平面上に設置することも可能性として考えられ得、それらは、各深度平面が所与の波面発散を作成するための専用構造を要求する場合、実践的となるであろう。深度平面の数の本増加は、視認者のためのより現実的かつ快適な視認体験を提供し得る。加えて、いくつかの実施形態では、各空間光変調器ピクセルからの光は、公称上、コリメートされたままであって、それによって、その空間光変調器を有する投影システムとコリメートされたピクセル光を利用するコンバイナ接眼レンズの統合を促進し得る。
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。
本明細書に議論されるように、「3次元」または「3-D」としての画像の知覚は、視認者の各眼への画像の若干異なる提示を提供することによって達成され得る。図2は、ユーザに関する3次元画像をシミュレートするための従来のディスプレイシステムを図示する。眼210、220毎に1つの2つの明確に異なる画像190、200が、ユーザに出力される。画像190、200は、視認者の通視線と平行な光学またはz-軸に沿って距離230だけ眼210、220から離間される。画像190、200は、平坦であって、眼210、220は、単一の遠近調節された状態をとることによって、画像上に合焦し得る。そのような3-Dディスプレイシステムは、ヒト視覚系に依拠し、画像190、200を組み合わせ、組み合わせられた画像の深度および/または尺度の知覚を提供する。
しかしながら、ヒト視覚系は、より複雑であって、深度の現実的知覚を提供することは、より困難であることを理解されたい。例えば、従来の「3-D」ディスプレイシステムの多くの視認者は、そのようなシステムが不快であることを見出す、または深度の感覚を全く知覚しない場合がある。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動(vergence)および遠近調節(accommodation)の組み合わせに起因して、オブジェクトを「3次元」として知覚し得ると考えられる。相互に対する2つの眼の輻輳・開散運動の移動(例えば、瞳孔が、眼の視線を収束させ、オブジェクトを固視させるための相互に向かって、またはそこから離れるように移動する、眼の回転)は、眼の水晶体および瞳孔の合焦(または「遠近調節」)と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変化させる、または眼を遠近調節し、異なる距離における1つのオブジェクトから別のオブジェクトに焦点を変化させることは、「遠近調節-輻輳・開散運動反射」ならびに瞳孔拡張または収縮として知られる関係下、同一距離までの輻輳・開散運動における整合変化を自動的に生じさせるであろう。同様に、輻輳・開散運動における変化は、正常条件下では、水晶体形状および瞳孔サイズの遠近調節における整合変化を誘起するであろう。本明細書に記載されるように、多くの立体視または「3-D」ディスプレイシステムは、3次元視点がヒト視覚系によって知覚されるように、各眼への若干異なる提示(したがって、若干異なる画像)を使用して、場面を表示する。しかしながら、そのようなシステムは、とりわけ、単に、場面の異なる提示を提供するが、眼が全画像情報を単一の遠近調節された状態において視認すると、「遠近調節-輻輳・開散運動反射」に対抗して機能するため、多くの視認者にとって不快である。遠近調節と輻輳・開散運動との間のより優れた整合を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し、装着の持続時間の増加に寄与し得る。
図4は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。図3を参照すると、z-軸上の眼210、220からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼210、220によって遠近調節される。すなわち、眼210、220は、特定の遠近調節された状態をとり、z-軸に沿って異なる距離においてオブジェクトに合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面のための遠近調節された状態にあるとき合焦するように、関連付けられた焦点距離を有する、深度平面240のうちの特定の1つと関連付けられると言え得る。いくつかの実施形態では、3次元画像は、眼210、220毎に画像の異なる提示を提供することによってシミュレートされてもよく、画像の提示はまた、異なる深度平面に関して異なる。例証を明確にするために、別個であるように示されるが、眼210、220の視野は、例えば、z-軸に沿った距離が増加するにつれて重複し得ることを理解されたい。加えて、例証を容易にするために、平坦として示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。
オブジェクトと眼210または220との間の距離はまた、その眼によって視認されるようなそのオブジェクトからの光の発散の量を変化させ得る。図4A-4Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼210との間の距離は、減少距離R1、R2、およびR3の順序で表される。図4A-4Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成される光場は、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼210との間の距離の減少に伴って増加する。その結果、異なる深度平面では、光線の発散度もまた、異なり、発散度は、深度平面と視認者の眼210との間の距離の減少に伴って増加する。単眼210のみが、例証を明確にするために、図4A-4Cおよび本明細書の種々の他の図に図示されるが、眼210に関する議論は、視認者の両眼210および220に適用され得ることを理解されたい。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。異なる提示は、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面のための異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および/または焦点がずれている異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ててもよい。
各深度平面は、関連付けられた波面発散を有するため、特定の深度平面にあるように現れる画像コンテンツを表示するために、いくつかのディスプレイは、その深度平面に対応する発散を伴う光を出力するための屈折力を有する、導波管を利用してもよい。複数の類似するが、異なる屈折力を有する、導波管が、画像コンテンツを複数の深度平面上に表示するために利用されてもよい。例えば、そのようなシステムは、スタック内に形成される複数のそのような導波管を利用してもよい。図5は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム250は、画像情報を出力するための複数の導波管270、280、290、300、310を使用して3次元知覚を眼/脳に提供するために利用され得る、導波管のスタック260を含む。画像投入デバイス360、370、380、390、400は、画像情報を含有する光を導波管270、280、290、300、310に投入するために利用されてもよい。各導波管270、280、290、300、310は、各導波管が特定の深度平面に対応する事前に設定された量の波面発散を伴う光を出力するような屈折力を提供する、構造(例えば、それぞれ、光学格子および/またはレンズ570、580、590、600、610)を含んでもよい。したがって、各導波管270、280、290、300、310は、画像コンテンツをその導波管によって提供される波面発散の量によって決定された関連付けられた深度平面上に設置する。
しかしながら、導波管と深度平面との間の1対1の対応は、複数の深度平面が所望されるシステム内では、嵩張りかつ重いデバイスにつながり得ることを理解されたい。そのような実施形態では、複数の深度平面は、複数の導波管を要求するであろう。加えて、色画像が所望される場合、各深度平面が、複数の対応する導波管を有し得、原色毎に1つの導波管が、色画像を形成するために要求され得るため、さらにより多数の導波管が、要求され得る。
有利には、種々の実施形態は、オブジェクトまたは場面の異なる視差ビューを提示する瞳孔内画像を形成する、離散光ビームを使用することによって、所望の連続波面に近似させる、より単純なディスプレイシステムを提供し得る。
ここで図6Aを参照すると、眼210の遠近調節前状態と、連続入力波面1000を受光することに応じた遠近調節後状態とが、図示される。例証a)は、視覚系が波面1000を網膜211上に合焦させる前の遠近調節前状態を示す。着目すべきこととして、焦点212は網膜211上にない。例えば、焦点212は、図示されるように、網膜211の前方にあり得る。例証b)は、ヒト視覚系が視認者の眼210の瞳孔筋肉組織を撓曲させ、波面1000を網膜211上に合焦させた後の遠近調節後状態を示す。図示されるように、焦点212は、網膜211上にあり得る。
図6Aの波面1000等の連続波面は、複数の波面を使用して近似され得ることが見出されている。図6Bは、眼210の遠近調節前状態と、図6Aの連続波面1000の区分近似を受光することに応じた遠近調節後状態とを図示する。図6Bの例証a)は、眼210の遠近調節前状態を示し、例証b)は、遠近調節後状態を示す。近似は、複数の構成波面1010a、1010b、および1010cを使用して形成されてもよく、それぞれ、別個の光のビームと関連付けられる。本明細書で使用されるように、参照番号1010a、1010b、および1010cは、光ビームとその光ビームの関連付けられた波面の両方を示し得る。いくつかの実施形態では、構成波面1010aおよび1010bは、コリメートされた光のビームによって形成されるような平面波面であり得る。例証b)に示されるように、構成波面1010aおよび1010bによって形成される波面近似1010は、眼210によって網膜211上に合焦され、焦点212は、網膜211上にある。有利には、遠近調節前および後状態は、図6Aに示される連続波面1000によって生じるものに類似する。
連続発散波面は、光学投影システムを使用して形成されてもよいことを理解されたい。図7Aは、投影システムによって提供される有限焦点距離仮想画像から発出する発散波面に対して遠近調節する眼を図示する。本システムは、空間光変調器1018と、焦点距離「F」および外部停止を伴う投影光学1020とを含む。画像は、空間光変調器1018によって形成され得、画像情報を含有する空間光変調器1018からの光は、投影光学1020を通して眼210に指向されてもよい。図7Aに示されるように、空間光変調器1018と投影光学1020との間の間隔(F未満)は、発散波面1000が眼210に向かって出力されるように選定されてもよい。図6Aに関して上記に述べられたように、眼210は、次いで、波面1000を網膜211上に合焦させ得る。
図7Bは、無限遠合焦仮想画像によって形成される波面セグメントを利用して図7Aの発散波面の近似を形成するためのシステムを図示する。上記のように、本システムは、空間光変調器1018と、投影光学1020とを含む。空間光変調器1018は、相互に対して偏移される、2つの画像を形成する。空間光変調器1018は、Fの背面焦点距離を有する、投影光学1020の背面焦点面から距離Fに設置される。第1の画像に関する画像情報を含有する、光ビーム1010aは、投影光学1020を通して眼210の中に伝搬する。第2の画像に関する画像情報を含有する、光ビーム1010bは、投影光学1020を通して眼210の中への異なる経路を辿る。本明細書に議論されるように、光ビーム1010aおよび1010bは、光源(図示せず)の異なる領域から放出され、それによって、それらの光ビームに空間光変調器1018を異なる角度から照明させ、ひいては、光ビーム1010aおよび1010bによって形成される画像を相互に対して空間的に偏移させ得る。光ビーム1010aおよび1010bは、それらの光ビームが、発散波面1000(図7A)の角度範囲に合致する光ビーム毎の角度範囲を画定するように、空間光変調器から経路に沿って投影光学1020を通して眼210の中に伝搬する。光ビーム1010aと1010bとの間の角度分離は、近似される波面発散量の増加に伴って増加することを理解されたい。いくつかの実施形態では、投影光学1020および空間光変調器1018と投影光学1020との間の間隔は、光ビーム1010aおよび1010bがそれぞれコリメートされるように構成される。
ここで図8を参照すると、図7Bの発散波面近似を形成する視差ビューの実施例が、図示される。光ビーム1010a、1010b、および1010cはそれぞれ、空間内の画像の異なる場所に対応する若干異なる視点からの同一オブジェクトまたは場面の1つのビューの明確に異なる画像を形成することを理解されたい。図示されるように、画像は、異なる時間に連続して眼210の中に投入されてもよい。代替として、画像は、光学システムが可能である場合、同時に投入されてもよい、または画像は、本明細書に議論されるように、グループとして投入されることができる。いくつかの実施形態では、画像の全てを形成する光が眼210の中に投入される、総持続時間は、視認者のフリッカ融合閾値未満である。例えば、フリッカ融合閾値は、1秒の1/60であり得、光ビーム1010a、1010b、および1010cは全て、そのフリッカ融合閾値未満の持続時間にわたって眼210の中に投入される。したがって、ヒト視覚系は、これらの画像の全てを統合し、それらは、光ビーム1010a、1010b、および1010cが、その眼210の中に同時に投入されたかのように眼210に現れる。光ビーム1010a、1010b、および1010cは、したがって、波面近似1010を形成する。
ここで図9を参照すると、図7Bの発散波面近似1010を形成するための投影システム1003を備える、ディスプレイシステム1001の実施例が、図示される。投影システム1003は、光を変調し、同一オブジェクトまたは場面の若干異なる視差ビューを示す画像を形成する、空間光変調器1018に、光1010a’および1010b’を出力するように構成される、光源1026を備える。画像情報を伴う変調された光は、次いで、中継/投影光学1020を通して伝搬し、中継/投影光学1020によって、光ビーム1010aおよび1010bとして眼210の中に出力される。投影システム1003はまた、レンズ構造1014を含んでもよく、これは、光1010a’および1010b’の放射の空間差を空間光変調器1018へのその光の伝搬の角度差に変換するように構成され得る。投影システム1003はさらに、1)光源1026からの光を空間光変調器1018に指向し、2)空間光変調器1018からの変調された光がビームスプリッタ1016を通して中継/投影光学1020に後方伝搬することを可能にするように構成される、偏光ビームスプリッタ1016を含んでもよい。いくつかの実施形態では、ディスプレイシステム1001は、眼の視線を監視するように構成される、眼追跡デバイス1022、例えば、カメラを含んでもよい。そのような監視は、視認者が見ている方向を決定するために使用されてもよく、これは、その方向に関して適切な画像コンテンツを選択するために使用され得る。好ましくは、眼追跡デバイス1022は、視認者の両眼を追跡する、または各眼は、その独自の関連付けられた眼追跡デバイスを含む。その結果、視認者の両眼の輻輳・開散運動が、追跡され得、眼の収束点が、決定され、眼が指向される方向および距離を決定し得る。
光1010a’および1010b’は、本明細書に議論されるように、光源1026によって異なる時間に出力され得、空間光変調器1018は、光1010a’および1010b’を用いて異なる視差ビューを異なる時間に形成し得、得られた光ビーム1010aおよび1010bは、眼210の中に異なる時間に投入され得ることを理解されたい。
図9を継続して参照すると、光源1026は、平面上に実質的に配置される複数の選択的にアクティブ化される光出力場所を有する、2D光源であってもよい。いくつかの実施形態では、選択的にアクティブ化される光出力場所は、選択的にアクティブ化される発光領域であってもよい。例えば、光源1026は、発光ダイオード(LED)アレイ、または光を出力する離散ユニットもしくは光エミッタのアレイを含有する、空間光変調器(例えば、デジタル光処理(DLP)デバイス、LCOSデバイス等のデジタルマイクロミラーデバイス)であってもよい。LEDアレイの実施例は、有機発光ダイオード(OLED)アレイおよび無機発光ダイオード(ILED)アレイを含む。いくつかの実施形態では、光源1026内の個々の発光ダイオードおよび/または光変調器は、発光領域を構成してもよい。いくつかの他の実施形態では、発光ダイオードおよび/または光変調器のグループが、発光領域を形成してもよい。そのような実施形態では、異なる発光領域の発光ダイオードおよび/または光変調器間には、ある程度の重複が存在し得るが、領域は、重複が完全ではないため、明確に異なると見なされ得る。
いくつかの他の実施形態では、光源1026は、光を像面上に合焦させ、事実上、仮想2D光源をその像面上に提供するように構成されてもよい。像面上の異なる場所は、異なる光出力場所であると見なされ得、それらの場所は、作動されるミラーまたはファイバスキャナを使用して、光を像面上のそれらの場所を通して指向し、光エミッタからの光を操向することによって、アクティブ化されてもよい。そのような仮想2D光源に関するさらなる詳細は、下記の図19および20の議論に提供される。
いくつかの実施形態では、空間光変調器1018の実施例は、シリコン上液晶(LCOS)パネルを含む。別の実施例として、いくつかの他の実施形態では、空間光変調器1018は、DLP等の透過液晶パネルまたはMEMSデバイスを備えてもよい。
図9を継続して参照すると、ディスプレイシステム1001はまた、ディスプレイシステムによって提供される画像コンテンツのタイミングおよびタイプを決定するための制御システム1024を含んでもよい。いくつかの実施形態では、制御システム1024は、ディスプレイシステム1001を制御するためのプログラムを記憶するメモリを伴う、1つ以上のハードウェアプロセッサを備える。例えば、システム1024は、光源1026の発光領域のアクティブ化、空間光変調器1018の個々のピクセル要素の作動、および/または眼追跡デバイス1022から受信されたデータに対するディスプレイシステム1001の解釈ならびに反応を制御するように構成されてもよい。好ましくは、システム1024は、所望の深度平面または波面発散のための適切な差量を伴う視差ビューを形成するために、所望の深度平面または波面発散に関する入力を受信し、アクティブ化するための適切な発光領域を計算するように構成される、算出モジュール1024aを含む。加えて、算出モジュール1024aは、空間光変調器1018のピクセルの適切な作動を決定し、所望の視差ビューの画像を形成するように構成されてもよい。システム1024はまた、光源1026の特定の発光領域のアクティブ化と空間光変調器1018による光の変調を同期させ、それらのアクティブ化される発光領域に対応する視差ビューを提供するための画像を形成するように構成される、同期モジュール1024bを含んでもよい。加えて、システム1024は、入力を眼追跡デバイス1022から受信する、眼追跡モジュール1024cを含んでもよい。例えば、眼追跡デバイス1022は、眼210を結像するように構成される、カメラであってもよい。眼追跡デバイス1022によって捕捉された画像に基づいて、眼追跡モジュール1024cは、瞳孔の配向を決定し、眼210の通視線を外挿するように構成されてもよい。本情報は、算出モジュール1024aに電子的に伝達されてもよい。算出モジュール1024aは、眼210の通視線または視線に基づいて(好ましくは、また、視認者の他方の眼の通視線または視線に基づいて)、画像コンテンツを選択するように構成されてもよい。
光源1026は、離散光エミッタのアレイを含み得るため、光エミッタによって形成される発光領域のサイズおよび形状は、光エミッタの選択されたものをアクティブ化することによって、所望に応じて変動され得る。図10は、発光領域のためのサイズ、形状、および分布の実施例を図示する。図中の明色および暗色エリアは、異なる視差ビューのためにアクティブ化される、異なる放出領域を示すことを理解されたい。実施例a)は、水平に離間される、伸長発光領域を示し、これは、水平視差専用駆動遠近調節のために望ましくあり得る。実施例b)は、水平および垂直変位の両方を伴う、円形発光領域を示す。実施例c)は、輝度減少を有する、発光領域を示す。実施例d)は、重複する、発光領域を示す。実施例e)は、アレイを形成する、発光領域を示す。図示される実施例によって示されるように、光源1026(図9)は、バイナリ式(単に、オンおよびオフになる)光エミッタおよび/またはグレースケール(選択的に可変強度の光を放出する)を組み込む光エミッタを含んでもよい。いくつかの実施形態では、光源1026は、システム1001のための視差切替レートを超えるレートを含む、超高レートで切り替わる、要素を含んでもよい。例えば、光源1026は、異なる瞳孔内画像が異なる時間に表示される実施形態では、視差(瞳孔内)画像が切り替えられるレートより高いレートで光出力をオンおよびオフに切り替える、光出力要素を有してもよい。
再び図9を参照すると、いくつかの実施形態では、制御システム1024は、2つの部分、すなわち、1)明視野生成と、2)分解明視野最適化とを含んでもよい。本明細書に議論されるように、波面に近似させるために、適切な画像が、光源1026のアクティブ化される発光領域毎に、空間光変調器1018上に表示される。これらの画像は、3D場面がアクティブ化される発光領域内の若干の偏移に対応する複数の若干オフセットされた視点からレンダリングされる、明視野生成ステップの間に作成されることを理解されたい。例えば、5×5明視野を表示するために、3D場面は、グリッドパターンに配列される、25の異なる視点から25回レンダリングされるであろう。グリッドパターン内の視点の場所は、アクティブ化される光源領域の場所に対応し、レンダリングされた画像は、空間光変調器によって形成される画像に対応するであろう。
空間光変調器1018によって形成される画像の明度を増加させることが望ましくあり得る。有利には、光エミッタのアレイを備える光源1026を利用することは、種々の形状およびサイズを有する発光領域の形成を可能にし、これは、明度を増加させるために利用されてもよい。いくつかの実施形態では、明度は、空間光変調器1018によって形成される画像を有意に変化させずに、アクティブ化される発光領域のサイズを増加させることによって、増加され得る。算出モジュール1024aは、分解明視野最適化を使用して、アクティブ化される発光領域のサイズおよび形状を決定するように構成されてもよい。モジュール1024aは、入力焦点スタックをとり、空間光変調器1018上ならびに光源1026上に表示されることになる一連のパターンを作成するように構成されてもよく、パターンは、最小2乗の意味において焦点スタックに対する所望の近似を作成するように構成される。最適化は、視点のわずかな偏移が知覚された画像を有意に変化させないという事実を利用し、光源1026上のより大きいエリアからの照明を利用して発光領域パターンを生成しながら、同一画像を空間光変調器1018上に表示することが可能である。
最適化問題は、下記に与えられる、非凸最適化問題として公式化され得る。
式中、射影演算子ρは、4D明視野から3D焦点スタックへの線形変換を実施する(偏移および加算アルゴリズムを使用して)。本問題は、逆畳み込み問題に内蔵される非負行列分解である。本問題を解法するアルゴリズムは、交互方向乗数法(ADMM)を使用する。本問題を解法する例示的方法に関する付加的詳細は、付録Iに議論される。モジュール1024aは、空間光変調器1018によって形成されることになる視差ビューに基づいて、発光領域の適切なサイズおよび形状をリアルタイムで能動的に計算するように構成されることを理解されたい。
いくつかの他の実施形態では、最適化問題は、下記に与えられるように、若干異なる非凸面最適化問題として公式化され得る。
式中、AおよびBは、空間光変調器(例えば、画像を形成するための光源1026および空間光変調器1018)上に表示されるパターンを表し、yは、アルゴリズムの所望の出力である、標的4D明視野であって、AB’は、AおよびBが変調器上に示されるときの、空間光変調器パターンを組み合わせ、物理的ディスプレイによって放出される4D明視野をシミュレートするための演算子である。本問題は、非負行列分解である。本問題を解法するアルゴリズムは、反復最適化技法を使用して、無作為初期推測からのAおよびBを精緻化する。
図9を継続して参照すると、ヒト視覚系のフリッカ融合閾値は、依然として同時に投入されているように知覚されながら眼210の中に投入され得る、画像の数に時間制約を課すことを理解されたい。例えば、制御システム1024の処理帯域幅および光源1026の発光領域と空間光変調器1018の光変調器を切り替えるための能力は、フリッカ融合閾値によって可能にされる持続時間内に眼210の中に投入され得る画像の数を限定し得る。本有限数の画像を前提として、制御システム1024は、表示される画像に関する選択を行うように構成されてもよい。例えば、フリッカ融合閾値内において、ディスプレイシステムは、視差的に異なる瞳孔内画像のセットを眼の中に投入することが要求され得、ひいては、各視差ビューは、フルカラー画像を形成するために、種々の原色の画像を要求し得る。いくつかの実施形態では、原色画像を使用するフルカラー画像の形成は、所望の遠近調節応答の解明から分岐される。例えば、理論によって限定されるわけではないが、単色の光を伴う所望の遠近調節応答を誘発することが可能性として考えられ得る。そのような場合では、遠近調節応答を誘発するために使用される視差的に異なる瞳孔内画像は、単色のみにおけるであろう。その結果、他の色の光を使用して視差的に異なる瞳孔内画像を形成することは要求されず、それによって、他のタイプの画像が表示されるためのフリッカ融合閾値内の時間を解放するであろう。例えば、波面により良好に近似させるために、より大きい視差的に異なる瞳孔内画像のセットが、生成されてもよい。
いくつかの他の実施形態では、制御システム1024は、ヒト視覚系があまり敏感ではない光の色の画像を表示するために、フリッカ融合閾値内で殆ど時間を費やさないように構成されてもよい。例えば、ヒト視覚系は、緑色光ほど青色光に対して敏感ではない。その結果、ディスプレイシステムは、青色光を用いて形成される画像より多数の緑色光を用いて形成される画像を生成するように構成されてもよい。
ここで図11Aを参照すると、図7Bの発散波面近似を形成するための投影システム1003の別の実施例が、図示される。好ましくは、投影システムは、比較的に長い被写界深度を生産し、これは、システム内の限定開口によって制御されてもよい。理論によって限定されるわけではないが、投影システムは、有効瞳直径約0.5mmを伴う画像を眼に提供することは、眼がそのような画像に対して遠近調節不能であるため、ヒト視覚系を「開ループ」モードで動作させるように強制すると考えられる。そのような有効瞳直径を伴う画像を提供することによって、ディスプレイシステムは、無限遠合焦画像のための網膜上のスポットサイズを低減させる。
図11Aを継続して参照すると、投影システム1003は、本明細書に議論されるように、視差差を伴う画像を形成する。画像は、ヒト視覚系の知覚存続より高いレート(例えば、>60Hz)で視認者の眼に急速に交互に提供され得る。本明細書に議論されるように、図示される投影システム1003は、有限共役面における照明源の画像と無限遠におけるピクセル(画像)源の画像を同時に生産する。加えて、選択的にアクティブ化される発光領域1026aおよび1026bは、離間され、光学システム瞳の変位を生産し、視認者の瞳孔内で相互に対して視差画像を整合させる。
ここで図11Bを参照すると、図11Aの投影システムによって提供される深度平面の範囲の実施例が、図示される。範囲は、光学無限遠における遠方平面から眼210により近い近接平面まで及ぶ。光学無限遠における遠方平面は、コリメートされた光ビーム1010aおよび1010bによって提供されてもよい。近接平面は、本明細書に開示されるように、空間的に変位されたアクティブ化される発光領域を使用して提供されてもよく、ディスプレイシステムによって提供される最近傍深度平面であると理解され得る。いくつかの実施形態では、近接平面と眼210の知覚される近接度は、ディスプレイシステムが選択的にアクティブ化される発光領域1026aおよび1026bが分離されることを可能にしながら、依然として、光源1026の鮮明な画像を視認者の瞳孔またはその近傍に形成する、最大距離によって決定され得る、光ビーム1010aと1010bとの間の最大視差差によって決定され得る。
有利には、本明細書に議論されるように、複数の離散した選択的にアクティブ化される光エミッタを備える、光源1026の使用は、広範な瞳または知覚される画像形状、輝度プロファイル、および種々の被写界深度効果を達成するためのアレイ(照明源サイズ、形状、および位置の操作を通して)を生産する能力を提供する。光源1026はまた、有利には、遠近調節を駆動しながら、高発光効率を提供するために、所望に応じて、瞳の形状を柔軟かつ双方向に変化させ、水平視差のみ、完全視差、または視差の他の組み合わせに遠近調節する能力を提供する。
ここで図12を参照すると、投影システム1003のための光源構成の実施例が、図示される。光源1026は、単一固定照明器1028と、照明器1028から画像を形成するための空間光変調器1018への光の出力を調整するための空間光変調器1032とを含む。光源1026はまた、集光器/コリメータレンズを含み、光を照明器1028から空間光変調器1032に指向してもよい。空間光変調器1032は、所望に応じて、光が通過することを可能または遮断する、ピクセルおよび/またはシャッタを含んでもよい。ピクセルおよび/またはシャッタは、光が通過することを可能にするように作動され得、光が通過するエリアは、発光領域(例えば、発光領域1026aおよび1026b)であると見なされることを理解されたい。
ここで図13Aを参照すると、仮想オブジェクトを光学無限遠未満のデフォルト深度平面上に設置するための投影システム1003の実施例が、図示される。図示されるように、投影光学1020は、焦点距離「F」を有してもよく、空間光変調器は、F未満に位置付けられてもよく、これは、光ビーム1010aおよび1010bを発散させることによって、システム1003が遠方深度平面を光学無限遠未満に有するようにバイアスする。光ビーム1010aおよび1010bが発散する量は、投影光学1020に対する空間光変調器1018の位置によって決定され得、間隔が近いほど、発散量が多くなる。ある量の発散が、間隔に起因して、デフォルトとして予期されるため、いくつかの実施形態では、瞳孔内画像毎の発光領域1026aおよび1026bのサイズは、スケーリングアップされてもよく(例えば、LEDの数を増加させる、瞳孔内画像を形成するとき、空間光変調器を照明するためにアクティブ化される光源照明ピクセルの数を増加させる等によって)、各瞳孔内画像と関連付けられた射出瞳は、0.5mmより大きくてもよい。その結果、視覚系は、開ループモードで機能し得ない。いくつかの実施形態では、発光領域1026aおよび1026bのサイズは、システム1003のための所望のデフォルト深度平面に基づいて発光領域1026aおよび1026bのサイズを変動させるようにプログラムされ得る、制御システム1024(図9)によって設定されてもよい。加えて、各瞳孔内画像を形成するための光ビームの断面の幅は、好ましくは、投影光学1020が所望の発散を提供するように光に作用するために、投影光学1020の光学構造に対して十分に大きい。
ここで図13Bを参照すると、図13Aの投影システムによって提供される深度平面の範囲の実施例が、図示される。図示される範囲は、光学無限遠未満のDの距離における遠方平面から眼210に対する近接平面まで及ぶ。遠方平面は、投影光学1020に対する空間光変調器の位置の適切な選択によって設定されてもよい。近接平面は、図11Bに関して上記に開示されるように、提供されてもよい。
ここで図14を参照すると、瞳孔内画像の空間的に多重化された表示のために構成される投影システム1003の実施例が、図示される。所望の視差差を提供するための発光領域間の空間変位に依拠するのではなく、視差差は、空間光変調器1018の異なるエリアを利用して、異なる瞳孔内画像を形成することによって提供されてもよい。光学機構1019は、光ビーム1010aおよび1010bを視認者の眼(図示せず)に向かって出力する、投影光学1020に向かって、これらの異なるエリアのそれぞれからの光を異なる角度において指向するように構成される。いくつかの実施形態では、異なる瞳孔内画像を形成するための空間光変調器1018のエリアは、インターリーブされてもよい。例えば、異なる瞳孔内画像に関する画像情報を提供するピクセルは、相互にインターリーブされてもよい。光学機構1019は、光学機構1019が光を受光する異なる場所(例えば、異なるピクセル)をピクセルからの光が投影光学1020に入射する異なる角度に変換するように構成されてもよい。いくつかの実施形態では、光学機構1019は、レンズレットアレイ等のプリズムおよび/またはレンズ構造を含んでもよい。
空間光変調器1018の異なる非重複領域は、異なる瞳孔内画像に関する画像情報を提供するために専用であり得ることを理解されたい。これらの領域は、相互に明確に異なるため、いくつかの実施形態では、同時に作動されてもよい。その結果、複数の瞳孔内画像が、眼に同時に提示されてもよい。これは、有利には、空間光変調器1018が画像をリフレッシュするために要求される、速度に関する要件を低減させ得る。上記に議論されるように、連続波面に近似させるための瞳孔内画像のセットの全画像が同時に存在するような知覚を提供するために、これらの画像は全て、フリッカ融合閾値内で提示されなければならない。いくつかの実施形態では、瞳孔内画像のセットの全てまたは複数の画像は、これらの同時に提示される画像の高速順次表示がヒト視覚系が同時に存在するように画像を知覚するために要求されないように、空間光変調器の異なる領域内に同時に提示される。
図示されるように、光源1028は、光をレンズ構造1014を通して提供し、空間光変調器1018を照明する。いくつかの実施形態では、光源1028は、任意の選択的にアクティブ化される発光領域を伴わない、単一固定照明器であってもよい。
いくつかの他の実施形態では、光源は、選択的にアクティブ化される発光領域を含んでもよく、これは、有利には、視差差の付加的制御を提供し得る。したがって、投影システムは、空間および時間的多重化の両方を利用してもよい。ここで図15を参照すると、瞳孔内画像の空間および時間的多重化のために構成される投影システム1003の実施例が、図示される。投影システム1003は、光源1026を含んでもよく、これは、選択的にアクティブ化される発光領域、例えば、領域1026aおよび1026bを含んでもよい。本明細書に議論されるように、発光領域間の空間変位は、交互に出力される光ビーム1010a、1010b、1010c、および1010dに視差差を提供するために利用されてもよい。加えて、図14に関して上記に議論されるように、投影システム1000は、光学機構1019を空間光変調器1018と投影光学1020との間に含んでもよい。空間光変調器1018および光学機構1019は、協働し、空間多重化を提供し得る。したがって、単一発光領域による空間光変調器1018の照明は、複数の瞳孔内画像を生産し得る。例えば、発光領域1026aのアクティブ化は、空間光変調器1018を照明し、これは、同時に、2つの瞳孔内画像に関する画像情報を生成し、画像毎の光ビームは、光学機構1019によって異なる方向に指向される。光は、投影光学1020に入射し、2つの明確に異なる瞳孔内画像を形成するために、光ビーム1010bおよび1010dとして出射する。同様に、発光領域1026bの後続アクティブ化は、2つの他の瞳孔内画像を形成するための光ビーム1010aおよび1010dをもたらす。
図14および15の両方を参照すると、いくつかの実施形態では、図11A-11Bおよび13A-13Bに関して上記に議論されるように、投影光学1020に対する空間光変調器1018および光学機構1019の場所は、光学無限遠未満であり得る、所望のデフォルト「ホーム」深度平面を提供するように選択されてもよい。
本明細書の種々の図に示される投影システム1003は、オブジェクトをデフォルトとして非無限遠深度平面上に設置しながら、視差駆動遠近調節を採用し、仮想オブジェクトを他の深度平面上に設置する、単一有限焦点距離接眼レンズを利用する、ハイブリッドシステムの一部であってもよい。例えば、投影システム1003は、遠近調節-輻輳・開散運動不整合に関するヒト視覚系の公差内にあるために光学無限遠に十分に近接し得る、0.3dptまたは0.5dptにデフォルト深度平面を有するように構成されてもよい。例えば、理論によって限定されるわけではないが、ヒト視覚系は、コンテンツを0.3dptの深度平面上の光学無限遠から表示することに快適に耐え得ると考えられる。そのようなシステムでは、光のビーム1010aおよび1010bは、デフォルト深度平面に対応する波面発散量を有するであろう。有利には、そのような構成は、ディスプレイシステム内のプロセッサ(例えば、グラフィック処理ユニット)上の算出負荷を低減させ得、これは、他の利点の中でもとりわけ、電力消費を低下させ、待ち時間を短縮させ、プロセッサオプションを増加させる利点を提供し得る。
ここで図16を参照すると、画像コンテンツをユーザの世界のビュー上に重畳するための瞳中継コンバイナ接眼レンズ1030を備える、投影システム1003の実施例が、図示される。好ましくは、接眼レンズ1030は、光学的に透過性であって、世界からの光が接眼レンズを通して視認者の眼210の中に伝搬することを可能にする。いくつかの実施形態では、接眼レンズ1030は、内部結合光学要素770と、外部結合光学要素800とを有する、1つ以上の導波管を備える。内部結合光学要素770は、投影光学1020からの光を受光し、接眼レンズ1030を通して、全内部反射によって、外部結合光学要素800に伝搬するように、その光を再指向する。外部結合光学要素800は、光を視認者の眼210に出力する。有利には、接眼レンズ1030は、投影システム1003によって提供される画像属性の全てを保存し、したがって、視差ビューの急速切替は、接眼レンズ1030を通して正確に描写される。
内部結合光学要素770および外部結合光学要素800は、屈折または反射構造であってもよい。好ましくは、内部結合光学要素770および外部結合光学要素800は、回折光学要素である。回折光学要素の実施例は、表面起伏特徴、体積位相特徴、メタ材料、または液晶偏光格子を含む。
外部結合光学要素800または接眼レンズ1030の一部を形成する他の光学要素は、屈折力を有するように構成されてもよいことを理解されたい。いくつかの実施形態では、屈折力は、近視、遠視、老眼、および乱視等の屈折誤差を含む、眼210の屈折誤差を補正するように選定されてもよい。
ここで図17を参照すると、眼追跡システム1022と、瞳エクスパンダ1034を伴うコンバイナ接眼レンズ1030とを備える、投影システム1003の実施例が、図示される。瞳エクスパンダは、接眼レンズ1030を横断して投影システム瞳を複製する。瞳エクスパンダ1034は、眼運動を通して視認者の瞳孔によって横断され得る大エリアを横断して投影システム瞳を複製するため、空間光変調器1018によって形成される画像および光源1026の発光領域の場所は、眼追跡システム1022からの入力に基づいて、リアルタイムで更新されることができる。有利には、本構成は、より快適な視認のためのより大きいアイボックスを可能にし、眼とコンバイナの相対的位置付けおよび瞳孔間距離の変動に関する制限を緩和させる。
ここで図18を参照すると、眼追跡システム1022と、非無限遠深度平面を生産するように構成される瞳エクスパンダ1035を伴うコンバイナ接眼レンズ1030とを備える、投影システム1003の実施例が、図示される。いくつかの実施形態では、非無限遠深度平面は、3メートルにあってもよく、これは、無限遠まで約2.5メートルの予算内遠近調節をもたらす。例えば、遠近調節-輻輳・開散運動不整合に関するヒト視覚系の公差を前提として、視認者から無限遠まで約2.5メートルの距離における仮想コンテンツは、殆ど不快感を伴わずに、3メートル深度平面上に設置され得る。そのようなシステムでは、視差的に異なる瞳孔内画像は、可能性として、全て固定「デフォルト」焦点面より視認者に近い、より狭範囲の深度平面のための遠近調節を駆動するために使用されてもよい。いくつかの実施形態では、本システムはまた、眼追跡システム1022を組み込み、例えば、視認者の両眼の輻輳・開散運動角度に基づいて、視認者の固視の距離を決定してもよい。
いくつかの実施形態では、光源1026は、光投影システムの像面上に形成される仮想光源と置換されてもよい。光投影システムは、光のビームを仮想光源に対応する像面上のエリアを横断して走査させることが可能なアクチュエータを含んでもよい。光源1026の離散発光エリアをアクティブ化する能力を模倣するために、投影システムによる光の出力は、アクチュエータの移動と同期され、光を像面上の所望の場所に特定の時間に出力させる。好ましくは、アクチュエータが像面を横断して光のビームを走査可能なレートは、像面上の全ての所望の光出力場所が任意の所与の瞳孔内画像が表示される時間フレームの間にアクセスされ得るように十分に高い。例えば、特定の瞳孔内画像が表示される時間量の間、アクチュエータは、少なくとも1回、好ましくは、複数回、仮想2D光源に対応する像面のエリアを横断して、光のビームを走査可能であることが好ましい。
図19は、光の伝搬を異なる光出力場所に指向するためのミラーを備える、光源2026を図示する。光源2026は、光エミッタ2028と、それぞれ、アクチュエータ2031および2033によって移動される、ミラー2030および2032とを備える。光エミッタ2028の実施例は、LEDおよびレーザを含む。いくつかの実施形態では、光ファイバケーブルは、遠隔に位置する光エミッタからの光を伝送してもよい。図示されるように、光1010a’、1010b’は、光をエミッタ2028からミラー2032に伝搬し、これは、光をミラー2030に反射させ、これは、次いで、光を反射させ、レンズ2034を通して伝搬させ、中間像面1026’上に合焦させる。ミラー2030および2032は、2軸検流計の一部であってもよく、アクチュエータ2031および2033は、異なる軸、例えば、直交軸に沿って、ミラーを回転させ、それによって、光が像面1026’の2つの軸に沿って画定されたエリアに指向されることを可能にする。いくつかの実施形態では、アクチュエータ2031、2033は、モータであってもよい。レンズ2034は、F-シータ(F-θまたはF-tanθ)レンズ等の線形転送レンズであってもよく、光を平坦像面1026’上に合焦させるように構成されてもよい。いくつかの実施形態では、光線1010a’、1010b’は、光が光源1026(例えば、図9参照)から伝搬するであろう類似様式において、像面1026’から伝搬する。いくつかの実施形態では、光源2026はまた、コリメートレンズ2036を含み、光がミラー2032に到達する前に、光エミッタ2028によって放出される光をコリメートしてもよい。
光源2026はまた、好ましくは、光エミッタ2028からの光の出力を制御し、アクチュエータ2031、2033の移動および形成されることになる瞳孔内画像と同期させる、処理モジュール2038を含む、またはそれと通信する。例えば、処理モジュール2038は、ミラー2032、2030の移動と光エミッタ2028からの光の放射を協調させてもよい。いくつかの実施形態では、ミラー2032、2030は、アクチュエータ2031、2033によって、ミラーが移動するように設計される軸上で、往復して持続的に回転または旋回される。光エミッタ2028による光の放射(例えば、光のパルス)は、光が中間像面1026’上の所望の場所に所与の瞬間に指向されるように、本移動とタイミングが図られ、本場所および時間はまた、表示されることになる瞳孔内画像に基づいて決定された(例えば、特定の光出力場所のアクティブ化は、その特定の光出力場所と関連付けられた視差差を有する、瞳孔内画像の表示と時間的に一致する)。いくつかの実施形態では、光エミッタ2028からの光の放射は、光エミッタ2028をオン状態とオフ状態との間で切り替えることによって制御される(例えば、それぞれ、電力を光エミッタに供給する、または供給しないことによって)。いくつかの他の実施形態では、光エミッタ2028からの光の放射は、選択的に、光が像面1026’に到達することを可能にする、または到達しないように遮断する、物理的スイッチを使用して、機械的に制御されてもよい。
ここで図20を参照すると、光源2026は、ファイバスキャナ2027を含んでもよい。ファイバスキャナ2027は、光エミッタ2028と、ファイバ2042を移動させる、アクチュエータ2040とを含んでもよい。光1010a’、1010b’は、ファイバ2042の端部からレンズ2034を通して伝搬し、像面2026’上に合焦する。アクチュエータ2040は、ファイバ2042を所定の経路(例えば、円形経路)に沿って既知の速度で移動させ得ることを理解されたい。その結果、処理モジュール2038は、光が所望の光出力場所におけるファイバ2042から伝搬し、ひいては、表示されることになる瞳孔内画像と同期されるように、ファイバ2042の端部からの光の伝搬とファイバ2042の移動を同期させるように構成されてもよい。
上記に述べられたように、光源2026は、議論されるディスプレイシステムのいずれか内の光源1026に取って代わってもよい。例えば、光源2026は、図9、11A、12、13A、および15-18のいずれかの投影システム1003またはディスプレイシステム1001内の光源1026の代替となり得る。
ここで図21を参照すると、異なる原色に対応する異なる波長の光を出力するためのスタックされた導波管アセンブリを備える、接眼レンズ660(図14-16の接眼レンズ1030に対応し得る)の実施例が、図示される。いくつかの実施形態では、導波管アセンブリは、導波管670、680、および690を含む。各導波管は、関連付けられた内部結合光学要素(導波管上の光入力面積とも称され得る)を含み、例えば、内部結合光学要素700は、導波管670の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素710は、導波管680の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素720は、導波管690の主要表面(例えば、上側主要表面)上に配置される。いくつかの実施形態では、内部結合光学要素700、710、720のうちの1つ以上のものは、個別の導波管670、680、690の底部主要表面上に配置されてもよい(特に、1つ以上の内部結合光学要素は、反射性偏向光学要素である)。図示されるように、内部結合光学要素700、710、720は、その個別の導波管670、680、690の上側主要表面(または次の下側導波管の上部)上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素700、710、720は、個別の導波管670、680、690の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素700、710、720は、他の光の波長を透過しながら、1つ以上の光の波長を選択的に再指向するような波長選択的である。その個別の導波管670、680、690の片側または角に図示されるが、内部結合光学要素700、710、720は、いくつかの実施形態では、その個別の導波管670、680、690の他の面積内に配置されてもよいことを理解されたい。
図示されるように、内部結合光学要素700、710、720は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受信するようにオフセットされてもよい。例えば、各内部結合光学要素700、710、720は、図6に示されるように、光を異なる画像投入デバイス360、370、380、390、および400から受信するように構成されてもよく、光を内部結合光学要素700、710、720の他のものから実質的に受信しないように、他の内部結合光学要素700、710、720から分離されてもよい(例えば、側方に離間される)。いくつかの実施形態では、内部結合光学要素700、710、720は、垂直に整合され、側方にオフセットされない。
各導波管はまた、関連付けられた光分散要素を含み、例えば、光分散要素730は、導波管670の主要表面(例えば、上部主要表面)上に配置され、光分散要素740は、導波管680の主要表面(例えば、上部主要表面)上に配置され、光分散要素750は、導波管690の主要表面(例えば、上部主要表面)上に配置される。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられた導波管670、680、690の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられた導波管670、680、690の上部および底部両方の主要表面上に配置されてもよい、または光分散要素730、740、750は、それぞれ、異なる関連付けられた導波管670、680、690内の上部および底部主要表面の異なるもの上に配置されてもよい。
導波管670、680、690は、例えば、材料のガス、液体、および/または固体層によって離間ならびに分離されてもよい。例えば、図示されるように、層760aは、導波管670および680を分離してもよく、層760bは、導波管680および690を分離してもよい。いくつかの実施形態では、層760aおよび760bは、低屈折率材料(すなわち、導波管670、680、690の直近のものを形成する材料より低い屈折率を有する材料)から形成される。好ましくは、層760a、760bを形成する材料の屈折率は、導波管670、680、690を形成する材料の屈折率を0.05以上の、または0.10もしくはそれを下回る。有利には、より低い屈折率層760a、760bは、導波管670、680、690を通して光のTIR(例えば、各導波管の上部および底部主要表面間のTIR)を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層760a、760bは、空気から形成される。図示されないが、導波管の図示されるセット660の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。
図21を継続して参照すると、光線770、780、790が、投影システム1003(図9および11-16)によって、導波管670、680、690上に入射し、その中に投入される。
いくつかの実施形態では、光線770、780、790は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素700、710、720はそれぞれ、光が、TIRによって、導波管670、680、690のうちの個別の1つを通して伝搬するように、入射光を偏向させる。
例えば、内部結合光学要素700は、第1の波長または波長範囲を有する、光線770を偏向させるように構成されてもよい。同様に、伝送される光線780は、第2の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素710に衝突し、それによって偏向される。同様に、光線790は、第3の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素720によって偏向される。
図21を継続して参照すると、内部結合される光線770、780、790は、それぞれ、内部結合光学要素700、710、720によって偏向され、次いで、それぞれ、導波管670、680、690内でTIRによって伝搬する。光線770、780、790は、次いで、それぞれ、光分散要素730、740、750に衝突する。光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820に向かって伝搬するように、光線770、780、790を偏向させる。
いくつかの実施形態では、光分散要素730、740、750は、直交瞳エクスパンダ(OPE)である。いくつかの実施形態では、OPEは、光を外部結合光学要素800、810、820に偏向または分散し、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、例えば、ビームサイズが、すでに所望のサイズである場合、光分散要素730、740、750は、省略されてもよく、内部結合光学要素700、710、720は、光を直接外部結合光学要素800、810、820に偏向させるように構成されてもよい。いくつかの実施形態では、外部結合光学要素800、810、820は、光を視認者の眼210(図15-16)に指向させる、射出瞳(EP)または射出瞳エクスパンダ(EPE)である。OPEは、少なくとも1つの軸においてアイボックスの寸法を増加させるように構成されてもよく、EPEは、OPEの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。
故に、いくつかの実施形態では、接眼レンズ660は、原色毎に、導波管670、680、690と、内部結合光学要素700、710、720と、光分散要素(例えば、OPE)730、740、750と、外部結合光学要素(例えば、EP)800、810、820とを含む。導波管670、680、690は、各1つの間に空隙/クラッディング層を伴ってスタックされてもよい。内部結合光学要素700、710、720は、(異なる波長の光を受信する異なる内部結合光学要素を用いて)入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波670、680、690内にTIRをもたらすであろう角度で伝搬する。示される実施例では、光線770(例えば、青色光)は、前述の様式において、第1の内部結合光学要素700によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素(例えば、OPE)730、次いで、外部結合光学要素(例えば、EP)800と相互作用する。光線780および790(例えば、それぞれ、緑色および赤色光)は、導波管670を通して通過し、光線780は、内部結合光学要素710上に入射し、それによって偏向される。光線780は、次いで、TIRを介して、導波管680を辿ってバウンスし、その光分散要素(例えば、OPE)740、次いで、外部結合光学要素(例えば、EP)810に進むであろう。最後に、光線790(例えば、赤色光)は、導波管690を通して通過し、導波管690の光内部結合光学要素720に衝突する。光内部結合光学要素720は、光線が、TIRによって、光分散要素(例えば、OPE)750に、次いで、TIRによって、外部結合光学要素(例えば、EP)820に伝搬するように、光線790を偏向させる。外部結合光学要素820は、次いで、最後に、光線790を視認者に外部結合し、視認者はまた、他の導波管670、680からの外部結合した光も受信する。
ここで図22を参照すると、ウェアラブルディスプレイシステム60の実施例が、図示される。ディスプレイシステム60は、視認者またはユーザ90の眼毎に投影システム1003を伴う、図9のディスプレイシステム1001に対応してもよい。
ディスプレイシステム60は、ディスプレイ70と、そのディスプレイ70の機能をサポートするための種々の機械的および電子的モジュールならびにシステムとを含む。ディスプレイ70は、フレーム80に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者90によって装着可能であって、ディスプレイ70をユーザ90の眼の正面に位置付けるように構成される。ディスプレイ70は、いくつかの実施形態では、アイウェアと見なされ得る。いくつかの実施形態では、スピーカ100が、フレーム80に結合され、ユーザ90の外耳道に隣接して位置付けられるように構成される(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/調節可能音制御を提供する)。いくつかの実施形態では、ディスプレイシステムはまた、1つ以上のマイクロホン110または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンド(例えば、音声メニューコマンドの選択、自然言語質問等)をシステム60に提供することを可能にするように構成され、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にし得る。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ(例えば、ユーザおよび/または環境からの音)を収集してもよい。いくつかの実施形態では、ディスプレイシステムはまた、フレーム80から別個であって、ユーザ90の身体(例えば、ユーザ90の頭部、胴体、四肢等の上)に取り付けられ得る、周辺センサ120aを含んでもよい。周辺センサ120aは、いくつかの実施形態では、ユーザ90の生理学的状態を特性評価するデータを入手するように構成されてもよい。例えば、センサ120aは、電極であってもよい。
図22を継続して参照すると、ディスプレイ70は、有線導線または無線コネクティビティ等の通信リンク130によって、ローカルデータ処理モジュール140に動作可能に結合され、これは、フレーム80に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ90に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載されてもよい。同様に、センサ120aは、通信リンク120b、例えば、有線導線または無線コネクティビティによって、ローカルプロセッサおよびデータモジュール140に動作可能に結合されてもよい。ローカル処理およびデータモジュール140は、ハードウェアプロセッサと、不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリとを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、および/または本明細書に開示される他のセンサ等のセンサ(例えば、フレーム80に動作可能に結合される、または別様にユーザ90に取り付けられ得る)から捕捉され、および/またはb)可能性として、処理または読出後、ディスプレイ70への通過のために、遠隔処理モジュール150および/または遠隔データリポジトリ160(仮想コンテンツに関連するデータを含む)を使用して入手および/または処理されたデータを含んでもよい。ローカル処理およびデータモジュール140は、これらの遠隔モジュール150、160が、相互に動作可能に結合され、ローカル処理およびデータモジュール140へのリソースとして利用可能であるように、通信リンク170、180によって、有線または無線通信リンク等を介して、遠隔処理モジュール150および遠隔データリポジトリ160に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール140は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープのうちの1つ以上のものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つ以上のものは、フレーム80に取り付けられてもよい、もしくは有線または無線通信経路によってローカル処理およびデータモジュール140と通信する、独立型構造であってもよい。いくつかの実施形態では、ローカル処理およびデータモジュール140は、1つ以上のグラフィックプロセッサを含んでもよく、制御システム1024(図9)に対応してもよい。
図22を継続して参照すると、いくつかの実施形態では、遠隔処理モジュール150は、データおよび/または画像情報を分析および処理するように構成される、1つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ160は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ160は、1つ以上の遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツを生成するための情報をローカル処理およびデータモジュール140および/または遠隔処理モジュール150に提供する。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で実施され、遠隔モジュールからの完全に自律的使用を可能にする。
明視野および焦点スタック分解
明視野および焦点スタック分解は、光源1026、2026および空間光変調器1018の出力を含む、ディスプレイシステム1001の光出力を決定するために利用され得る。分解に関する詳細は、下記に議論される。
1.焦点スタック分解
焦点スタックyは、それぞれ、瞳および像面に位置する、2つの空間光変調器AおよびB上に表示されることになる一連の時間多重化されたパターンに分解される。いくつかの実施形態では、空間光変調器AおよびBは、それぞれ、光源1026、2026および空間光変調器1018に対応してもよい。全ての量は、mピクセルの垂直分解能、nピクセルの水平分解能、およびs焦点スライスを有する、焦点スタック
が、単一ベクトル
として表されるであろうように、ベクトル化される。太字記号は、下記では、離散ベクトルのために使用される。別様に規定されない限り、異なるカラーチャネルは、無視され、独立すると仮定される。表1は、本明細書で採用されるテンソル表記および演算子の概要を提供する。
像面Bにおける空間光変調器もまた、m×nピクセルの分解能を有するが、加えて、k個の時間多重化されたパターンが、それらが視認者によって知覚的に平均されるであろうように、間断なく示され得る。これらの時空間パターンは、全ての空間ピクセルが、ベクトル化され、本行列の行インデックスを形成し、k個の時間ステップが、行列の列インデックスであるように、行列
として表される。同様に、瞳面SLMAは、行列
として表され、式中、oは、瞳面内のアドレス指定可能なSLMピクセルの総数であって、列インデックスは、再び、時間ステップである。
故に、焦点スタックyを時間多重化されたパターンのセットに分解する目標は、非凸面最適化問題として書かれ得る。
式中、射影演算子
は、4D明視野から3D焦点スタックへの線形変換を実施する(偏移+加算アルゴリズムを使用して)。本問題は、逆畳み込み問題に内蔵される非負行列分解である。交互方向乗数法(ADMM)(Boyd et al, 2001, “Distributed
optimization and statistical learning via the alternating direction method of multipliers”, Foundations and Trends in Machine Learning 3, 1, 1-122によって説明されるように)は、それを解法するために使用されてもよい。
方程式1は、標準的ADMM形式にするために、等価性問題として書き直され得る。
式中、行列
は、演算子
の行列形式であって、演算子
は、単に、行列を単一1Dベクトルにベクトル化する(例えば、MathWorks(Natick, Massachusetts)から利用可能なソフトウェアMATLABによって行われるような列主順を使用して)。
次いで、本系の拡張ラグランジュ法は、以下のように公式化される。
スケーリングされた形式では、本拡張ラグランジュ法は、以下のように書かれる。
式中、
である。
ADMMアルゴリズムは、次いで、以下のように反復的に実行される、3つの別個の更新(または近接演算子)から成る。
ここでは、演算子
は、ベクトルを行列に形状変換し、演算子
が行列をベクトル化するために行った内容を元に戻す。方程式5-7は、毎回、前のステップからの最新の出力を使用して、反復的に解法され得る。
1.1 効率的z-更新
方程式5は、以下の単一線形方程式系として書き直され得る、非制約線形問題である。
本系は、大規模であるが、全ての演算が、無行列関数ハンドルとして表され得、したがって、行列は、明示的に形成されない。種々の異なるソルバが、zに関する本系を解法するために使用され得る。例えば、MATLABの非常に単純な同時代数的再構成法(SART)が、利用されてもよい。
算出効率を増加させるために、z-更新に関する閉形式解を導出することが望ましいであろう。これは、アルゴリズム全体のリアルタイム実装を促進し得る。閉形式解を導出するための1つのアプローチは、方程式8に関する正規方程式から開始する。
これに関する閉形式解を見出すために、
の逆行列が、導出される。Pは、明視野を焦点スタックに変換し、フーリエスライス定理は、プライマリドメイン内の再合焦がフーリエドメイン内のスライシングであると規定しているため、周波数ドメイン内の閉形式解が、導出され得る。本洞察を使用して、以下のように書かれ得る。
ここでは、sは、焦点スタック内のスライスの数であって、Oは、4D周波数ドメイン内の焦点スライスに関するスライシング演算子を表す対角行列である。F4Dおよび
は、それぞれ、離散4Dフーリエ変換およびその逆数を表す。
逆行列に関する予期される代数式は、以下である。
そのような閉形式解は、反復が要求されないため、反復アルゴリズムより迅速に解を提供し得ることを理解されたい。なお、十分な算出リソースが利用可能である場合、反復アルゴリズムもまた、好適である。
1.2 効率的A,B-更新
A,B-更新(方程式6)は、非負行列分解(NMF)問題である。この場合、これは、最も簡単な可能性として考えられるNMF問題である。本およびより高度なNMFアプローチのための標準解は、下記の第2項に詳述される。
1.3 カラーチャネルの取扱
上記の導出では、グレースケール分解が、仮定された、または各カラーチャネルは、独立して処理されると仮定された。ある場合には、これは、満足の行く近似を提供し得ない。例えば、2つの色のSLMが、色クロストークを導入し得、これは、上記ではモデル化されない。加えて、いくつかの実施形態では、ディスプレイシステムは、像面におけるグレースケールLCoSと瞳面におけるカラーLEDまたはOLEDアレイの組み合わせを使用し得る。この場合、全てのカラーチャネルは、リンクされる。
リンクされたカラーチャネルを考慮する際、z-更新またはu-更新のいずれも変化しない。すなわち、これらは、ADMM反復毎にカラーチャネルあたりで独立して算出され得る。しかしながら、行列分解ルーチンA,B-更新は、変化する。各カラーチャネルAR,G,B/BR,G,Bを独立して分解する代わりに、単一分解が、以下のように、Aの全てのカラーチャネルに関して同時に実施される(Bは、この場合、カラーチャネルを含有しない)。
2 行列分解変形
非負行列分解は、行列を非負階数1行列の和に分解する1つのアプローチである。分解問題は、非凸であって、したがって、解は、単純ではない。問題および可能性として考えられる解が、ここで議論されるであろう。
本問題は、行列Xを階数1行列の和に分解するものとして述べられ得る。
式中、
である。階数1行列の和は、元の行列の階数K近似をもたらす。
本問題に対する最小2乗誤差解は、以下の目的関数を最適化することによって見出され得る。
式中、行列のフロベニウスノルムは、
として与えられる。
2.1 交互最小2乗アプローチ
コスト関数
は、非線形かつ非凸の両方であって、ある数の極小値を伴う。AまたはBのいずれかを固定すると、他の行列の解法は、凸となる。非負制約を考慮しなければ、収束することが予期される、交互最小2乗アプローチが、本分解問題を解法するために採用され得る。本目的のために、各分解行列は、交互様式において他方を固定しながら更新される。個々の更新は、勾配降下法を使用して算出される。
式中、
は、個々の分解行列に対するコスト関数の導関数であって、αA,Bは、その個別のステップ長である。以下の項に示されるように、ステップ長を選定するための1つのアプローチは、更新ルールが乗法になるようなものを選ぶことである。ステップ長について議論する前に、勾配が、検討され、以下のように与えられ得る。
行列形式では、勾配は、以下のように書かれ得る。
2.2 乗法更新ルール
上記に述べられたように、ステップ長を選定するための重要な点は、最急降下方向を伴うものを組み合わせることによって、加算更新ルール(方程式15)が単純乗法において書かれ得ることである。xij≧0であって、A,Bが正の値で初期化されるという条件下、乗法更新ルールは、分解行列が反復更新プロセス全体を通して正のままであることを提供する。以下のステップ長は、乗法更新ルールをもたらす。
方程式15、17、18の組み合わせは、以下をもたらす。
以下の乗法更新ルールは、方程式19の簡略化されたバージョンである。
正の値(通常、無作為雑音)のみを含有する初期推測から開始し、データ行列Xが非負であると仮定し、これらの更新ルールは、AおよびBを反復プロセス全体を通して正に保つことが予期される。実戦では、小値が、ゼロによる除算を回避するように、除数に加算される。
2.3 加重非負行列分解
乗法更新ルールは、行列要素xij毎に加重を含むように修正されてもよい。
式中、Wは、Xと同一サイズの加重行列である。
2.4 射影NMF
射影NMFは、付加的射影行列Pを最適化手順全体を通して固定されたままである目的関数に加算する。
ここでは、AおよびBは、その次元において、前の全射に対して不変のままであるが、
は、
が及ぶ空間内にある。本公式に関する勾配は、以下である。
これは、以下のように行列形式で書かれ得る。
ステップ長を以下のように選定すると、
以下の乗法更新ルールにつながる。
2.5 射影加重NMF
射影NMFに関して、加重は、明視野に加算され、以下の更新ルールをもたらし得る。
本明細書に説明される、ならびに/または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、無作為アクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、および遠隔データリポジトリ(160)のうちの1つ以上のものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)透過され得、種々の形式(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一コンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。
別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一実施形態における組み合わせにおいて実装されてもよい。逆に、単一実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図されることを理解されたい。したがって、そのような条件文は、概して、特徴、要素、および/もしくはステップが、1つ以上の実施形態に対していかようにも要求されること、または1つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形式で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実施形態において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
故に、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

Claims (20)

  1. 頭部搭載型ディスプレイシステムであって、
    複数の空間的に明確に異なる光出力場所を含む光源と、
    前記光源からの光を変調するように構成される空間光変調器と、
    視認者の眼の中への伝搬のために前記空間光変調器からの光を指向するように構成される投影光学部と
    を備え、
    前記頭部搭載型ディスプレイシステムは、仮想オブジェクトの視差的に異なる瞳孔内画像のセットを前記眼の中に投入することによって、前記仮想オブジェクトを深度平面上に表示するように構成され、前記視差的に異なる瞳孔内画像の各々は、異なる角度から前記眼に衝突し、前記角度は、視差差に対応する角度範囲を画定し、
    前記視差的に異なる瞳孔内画像のセットを投入することは、前記仮想オブジェクトの前記視認者までの知覚される距離が減少すると、前記視差的に異なる瞳孔内画像間の視差差の大きさを増加するように、前記光出力場所のうちの異なる光出力場所をアクティブ化することによって、光源から前記頭部搭載型ディスプレイシステムの前記空間光変調器への光の経路を変化させることを含む、頭部搭載型ディスプレイシステム。
  2. 前記視認者までの前記仮想オブジェクトの前記知覚される距離の減少に伴って、アクティブ化される光出力場所間の側方変位を増加させるように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
  3. 前記眼の中への前記視差的に異なる瞳孔内画像のうちの少なくとも1つの投入の間、クティブ化される光出力場所を変化させるように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
  4. 前記空間光変調器上の前記視差的に異なる瞳孔内画像の更新レートよりも高い速度で前記アクティブ化される光出力場所を変化させるように構成される、請求項3に記載の頭部搭載型ディスプレイシステム。
  5. 異なる光出力場所のアクティブ化を前記空間光変調器による別の視差的に異なる瞳孔内画像の形成と同期させるように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
  6. 前記別の視差的に異なる瞳孔内画像は、前記空間光変調器を横断して異なる場所に形成される、請求項5に記載の頭部搭載型ディスプレイシステム。
  7. 前記空間光変調器と前記投影光学部との間にレンズレットアレイをさらに備え、前記レンズレットアレイは、前記空間光変調器の前記異なる場所からの光を異なる角度で前記投影光学部に指向するように構成される、請求項6に記載の頭部搭載型ディスプレイシステム。
  8. 前記空間光変調器と前記投影光学部との間にプリズムをさらに備え、前記プリズムは、前記空間光変調器の異なる場所からの光を異なる角度で前記投影光学部に指向するように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
  9. 前記光源、前記空間光変調器、前記投影光学部は、光の複数のビームを前記視認者の前記眼に指向するように構成され、光の各ビームは、関連付けられた視差的に異なる画像に対応し、光の各ビームは、コリメートされている、請求項1に記載の頭部搭載型ディスプレイシステム。
  10. 光の各コリメートされたビームは、前記眼に入射するときに、.5mm未満の直径を有する、請求項9に記載の頭部搭載型ディスプレイシステム。
  11. 前記空間光変調器は、デジタル光処理(DLP)チップである、請求項1に記載の頭部搭載型ディスプレイシステム。
  12. 前記投影光学部は、前記光を導波管に指向し、前記導波管は、内部結合光学要素と、外部結合光学要素とを備え、前記内部結合光学要素は、前記光を前記導波管内に内部結合するように構成され、前記外部結合光学要素は、前記光を前記導波管から前記視認者の前記眼内に出力するように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
  13. 前記光源は、発光ダイオードアレイを備える、請求項1に記載の頭部搭載型ディスプレイシステム。
  14. 前記発光ダイオードアレイは、2アレイである、請求項13に記載の頭部搭載型ディスプレイシステム。
  15. 前記光源は、
    光エミッタと、
    前記空間光変調器とは別の第2の空間光変調器であって、前記光エミッタから受け取られ、前記第2の空間光変調器から離れて伝搬する光の場所を選択的に変化させるように構成された第2の空間光変調器と
    を備える、請求項1に記載の頭部搭載型ディスプレイシステム。
  16. 前記光源は、ファイバスキャナを備える、請求項1に記載の頭部搭載型ディスプレイシステム。
  17. 前記視差的に異なる瞳孔内画像のセットを投入することは、前記視差的に異なる瞳孔内画像のうちの複数の視差的に異なる瞳孔内画像を同時に投入することを含む、請求項1に記載の頭部搭載型ディスプレイシステム。
  18. 前記視差的に異なる瞳孔内画像のセットは、前記仮想オブジェクトの2つ以上のビューから成る、請求項17に記載の頭部搭載型ディスプレイシステム。
  19. 前記視認者のフリッカ融合閾値を下回る時間フレーム内で、前記視差的に異なる瞳孔内画像を前記視認者の前記眼内に時間的に連続して投入することによって、前記視差的に異なる瞳孔内画像のセットを投入するように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
  20. 前記フリッカ融合閾値は、1秒の1/60である、請求項19に記載の頭部搭載型ディスプレイシステム。
JP2022114662A 2016-10-21 2022-07-19 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 Active JP7332763B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023118182A JP7528324B2 (ja) 2016-10-21 2023-07-20 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662411490P 2016-10-21 2016-10-21
US62/411,490 2016-10-21
PCT/US2017/057730 WO2018075968A1 (en) 2016-10-21 2017-10-20 System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
JP2019519708A JP7128179B2 (ja) 2016-10-21 2017-10-20 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019519708A Division JP7128179B2 (ja) 2016-10-21 2017-10-20 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023118182A Division JP7528324B2 (ja) 2016-10-21 2023-07-20 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2022141819A JP2022141819A (ja) 2022-09-29
JP7332763B2 true JP7332763B2 (ja) 2023-08-23

Family

ID=61971417

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019519708A Active JP7128179B2 (ja) 2016-10-21 2017-10-20 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法
JP2022114662A Active JP7332763B2 (ja) 2016-10-21 2022-07-19 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法
JP2023118182A Active JP7528324B2 (ja) 2016-10-21 2023-07-20 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019519708A Active JP7128179B2 (ja) 2016-10-21 2017-10-20 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023118182A Active JP7528324B2 (ja) 2016-10-21 2023-07-20 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法

Country Status (9)

Country Link
US (4) US11231584B2 (ja)
EP (2) EP4333428A3 (ja)
JP (3) JP7128179B2 (ja)
KR (3) KR20230161528A (ja)
CN (2) CN115343852A (ja)
AU (1) AU2017345780B2 (ja)
CA (1) CA3039990A1 (ja)
IL (3) IL311451A (ja)
WO (1) WO2018075968A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL311451A (en) 2016-10-21 2024-05-01 Magic Leap Inc System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view
US11454815B2 (en) 2017-06-01 2022-09-27 NewSight Reality, Inc. Transparent optical module using pixel patches and associated lenslets
CN107728986B (zh) * 2017-11-07 2020-10-09 北京小鸟看看科技有限公司 一种双显示屏的显示方法以及显示装置
US10574852B2 (en) * 2018-01-12 2020-02-25 Seiko Epson Corporation Imaging optical mechanism, reading module, and image reading apparatus
CN110297331A (zh) * 2018-03-23 2019-10-01 京东方科技集团股份有限公司 显示装置及显示方法
US12111467B2 (en) * 2018-06-28 2024-10-08 Apple Inc. Electronic device with multi-element display illumination system
WO2020007439A1 (en) * 2018-07-02 2020-01-09 Huawei Technologies Co., Ltd. A retinal display apparatus and method
US10861415B2 (en) * 2018-08-14 2020-12-08 Facebook Technologies, Llc Display device with throughput calibration
CN113631986A (zh) * 2018-12-10 2021-11-09 脸谱科技有限责任公司 用于超焦视口(hvp)显示器的自适应视口
SE542553C2 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
CN113490873A (zh) 2018-12-28 2021-10-08 奇跃公司 带有机械致动图像投影仪的可变像素密度显示系统
EP3931625B1 (en) 2019-02-28 2024-09-18 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US11262578B2 (en) * 2019-03-15 2022-03-01 Microsoft Technology Licensing, Llc Pixel sampling for spatial light modulator
US11543666B2 (en) 2020-05-22 2023-01-03 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization in at least one waveguide
WO2022115534A1 (en) * 2020-11-24 2022-06-02 NewSight Reality, Inc. Transparent optical module using pixel patches and associated lenslets
US12058302B2 (en) * 2022-04-06 2024-08-06 Samsung Electronics Co., Ltd. Encoding depth information for images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078234A (ja) 1999-09-07 2001-03-23 Mixed Reality Systems Laboratory Inc 画像入力装置及び画像表示装置
JP2002131694A (ja) 2000-10-26 2002-05-09 Mixed Reality Systems Laboratory Inc 画像観察装置及びそれを用いた画像観察システム
JP2007033655A (ja) 2005-07-25 2007-02-08 Canon Inc 立体像表示装置
US20120019908A1 (en) 2010-07-22 2012-01-26 Samsung Electronics Co., Ltd. Apparatus for displaying a multi-view 3d image
WO2015081313A2 (en) 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2015521298A (ja) 2012-04-25 2015-07-27 マイクロソフト コーポレーション ヘッドマウントディスプレイに用いるための可動式ledアレイ及びマイクロレンズアレイに基づくライトフィールドプロジェクタ

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH0991468A (ja) * 1995-09-22 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> 3次元画像表示装置および方法
DE69735736T2 (de) * 1996-01-31 2006-11-02 Canon K.K. Stereoskopische Bilddarstellungsvorrichtung mit verbreitertem Beobachtungsfeld
JPH11194299A (ja) * 1997-12-27 1999-07-21 Mr System Kenkyusho:Kk 表示装置
US6466185B2 (en) * 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
EP1083755A3 (en) 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
JP2002228978A (ja) 2001-02-02 2002-08-14 Mixed Reality Systems Laboratory Inc 立体画像表示装置
JP2002228987A (ja) 2001-02-05 2002-08-14 Teruyasu Yamamoto 金属のパッドアーム
WO2005121707A2 (en) * 2004-06-03 2005-12-22 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
US20080084544A1 (en) 2004-07-22 2008-04-10 Estill Thone Hall Discrete High Switching Rate Illumination Geometry For Single Imager Microdisplay
AU2005269256B2 (en) * 2004-08-03 2008-08-07 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
CN102341740B (zh) 2009-06-22 2015-09-16 财团法人工业技术研究院 发光单元阵列、其制造方法和投影设备
JP2011244349A (ja) * 2010-05-20 2011-12-01 Nikon Corp 表示装置および表示方法
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CA2835120C (en) 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
JP2012253690A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
EP2761362A4 (en) * 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
WO2013074978A1 (en) 2011-11-17 2013-05-23 Datalogic ADC, Inc. Systems and methods for reading color optical codes
JP6250547B2 (ja) 2011-11-23 2017-12-20 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元仮想現実および拡張現実表示システム
US8848006B2 (en) 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
EP2634747A1 (en) * 2012-02-29 2013-09-04 Flir Systems AB A method and system for projecting a visible representation of infrared radiation
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9841563B2 (en) 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
JP2015534108A (ja) 2012-09-11 2015-11-26 マジック リープ, インコーポレイテッド 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム
KR102507206B1 (ko) 2013-01-15 2023-03-06 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
US8873149B2 (en) * 2013-01-28 2014-10-28 David D. Bohn Projection optical system for coupling image light to a near-eye display
JP6123342B2 (ja) * 2013-02-20 2017-05-10 ソニー株式会社 表示装置
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
AU2014337171B2 (en) 2013-10-16 2018-11-15 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) * 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10274731B2 (en) * 2013-12-19 2019-04-30 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
KR20150086799A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 휴대용 디바이스를 위한 광섬유 어레이 백라이트를 이용한 홀로그래픽 디스플레이 장치 및 방법
CN111552079B (zh) 2014-01-31 2022-04-15 奇跃公司 多焦点显示系统和方法
EP3712680B1 (en) 2014-01-31 2022-07-13 Magic Leap, Inc. Multi-focal display system and method
WO2015134740A1 (en) 2014-03-05 2015-09-11 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6201836B2 (ja) * 2014-03-14 2017-09-27 ソニー株式会社 光学装置及びその組立方法、ホログラム回折格子、表示装置並びにアライメント装置
GB2525170A (en) * 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN106662754B (zh) 2014-05-30 2021-05-25 奇跃公司 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
KR102688893B1 (ko) * 2014-09-29 2024-07-29 매직 립, 인코포레이티드 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법
CN104749779B (zh) * 2014-12-24 2017-06-06 张璁 双屏头盔显示器
CN104570366A (zh) * 2015-01-16 2015-04-29 中国科学院上海光学精密机械研究所 一种具有手势识别功能的全息头盔显示器
CN108351519A (zh) 2015-02-17 2018-07-31 赛尔米克实验室公司 用于在可穿戴式平视显示器中进行适眼区扩大的系统、设备和方法
KR20170125940A (ko) * 2015-03-10 2017-11-15 미노루 이나바 스테레오 뷰어 및/또는 스테레오 뷰파인더
NZ773812A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US9651786B1 (en) 2015-05-05 2017-05-16 SA Photonics, Inc. Systems and methods for augmented reality devices with light security
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10701318B2 (en) 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
US9940701B2 (en) 2015-09-25 2018-04-10 Intel Corporation Device and method for depth image dequantization
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
CN112367513B (zh) 2016-05-06 2022-06-17 深圳市大疆创新科技有限公司 导航系统和用于感测环境的方法
US10663756B2 (en) * 2016-07-18 2020-05-26 Lumens Co., Ltd. Display apparatus
US20180025640A1 (en) 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
IL311451A (en) 2016-10-21 2024-05-01 Magic Leap Inc System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view
CN106485233B (zh) * 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
GB2551870B (en) * 2017-04-07 2020-04-01 Dualitas Ltd Holographic projector
US10836379B2 (en) 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
EP3931625B1 (en) 2019-02-28 2024-09-18 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US10755571B1 (en) 2019-03-01 2020-08-25 Amazon Technologies, Inc. Identifying parking location using single camera reverse projection
US11550324B2 (en) 2019-09-30 2023-01-10 Zoox, Inc. Parking zone detection for vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078234A (ja) 1999-09-07 2001-03-23 Mixed Reality Systems Laboratory Inc 画像入力装置及び画像表示装置
JP2002131694A (ja) 2000-10-26 2002-05-09 Mixed Reality Systems Laboratory Inc 画像観察装置及びそれを用いた画像観察システム
JP2007033655A (ja) 2005-07-25 2007-02-08 Canon Inc 立体像表示装置
US20120019908A1 (en) 2010-07-22 2012-01-26 Samsung Electronics Co., Ltd. Apparatus for displaying a multi-view 3d image
JP2015521298A (ja) 2012-04-25 2015-07-27 マイクロソフト コーポレーション ヘッドマウントディスプレイに用いるための可動式ledアレイ及びマイクロレンズアレイに基づくライトフィールドプロジェクタ
WO2015081313A2 (en) 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods

Also Published As

Publication number Publication date
US11231584B2 (en) 2022-01-25
CN110088663A (zh) 2019-08-02
IL302405A (en) 2023-06-01
US20180113311A1 (en) 2018-04-26
KR102603745B1 (ko) 2023-11-17
EP3529653B1 (en) 2024-01-24
IL266070B2 (en) 2023-10-01
IL302405B1 (en) 2024-04-01
US20230194879A1 (en) 2023-06-22
IL266070B1 (en) 2023-06-01
KR102551716B1 (ko) 2023-07-05
JP7528324B2 (ja) 2024-08-05
IL311451A (en) 2024-05-01
EP3529653A1 (en) 2019-08-28
IL302405B2 (en) 2024-08-01
IL266070A (en) 2019-06-30
WO2018075968A1 (en) 2018-04-26
EP4333428A2 (en) 2024-03-06
AU2017345780A1 (en) 2019-05-02
AU2017345780B2 (en) 2022-11-17
KR20230161528A (ko) 2023-11-27
US20220146834A1 (en) 2022-05-12
CN115343852A (zh) 2022-11-15
JP7128179B2 (ja) 2022-08-30
US11835724B2 (en) 2023-12-05
EP3529653A4 (en) 2020-07-01
JP2023139120A (ja) 2023-10-03
KR20190066623A (ko) 2019-06-13
CN110088663B (zh) 2022-08-23
EP4333428A3 (en) 2024-05-22
US11614628B2 (en) 2023-03-28
JP2022141819A (ja) 2022-09-29
WO2018075968A8 (en) 2019-05-09
JP2020504319A (ja) 2020-02-06
US20240045215A1 (en) 2024-02-08
CA3039990A1 (en) 2018-04-26
KR20230104763A (ko) 2023-07-10

Similar Documents

Publication Publication Date Title
JP7332763B2 (ja) 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法
JP7518844B2 (ja) 光エミッタアレイによって形成される複数の瞳孔内視差ビューを使用して可変遠近調節キューを提供するためのディスプレイシステムおよび方法
JP7402960B2 (ja) 可変焦点レンズ要素を用いた拡張現実システムおよび方法
JP2023126616A (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
JP2024045723A (ja) 走査ミラーを伴う1次元ピクセルアレイを有するディスプレイシステム
JP2024147666A (ja) 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230810

R150 Certificate of patent or registration of utility model

Ref document number: 7332763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150