JP7332763B2 - 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 - Google Patents
複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP7332763B2 JP7332763B2 JP2022114662A JP2022114662A JP7332763B2 JP 7332763 B2 JP7332763 B2 JP 7332763B2 JP 2022114662 A JP2022114662 A JP 2022114662A JP 2022114662 A JP2022114662 A JP 2022114662A JP 7332763 B2 JP7332763 B2 JP 7332763B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- display system
- different
- eye
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 74
- 230000003287 optical effect Effects 0.000 claims description 108
- 238000012545 processing Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 22
- 239000000835 fiber Substances 0.000 claims description 19
- 238000010168 coupling process Methods 0.000 claims description 14
- 238000005859 coupling reaction Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000002347 injection Methods 0.000 claims description 10
- 239000007924 injection Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 description 42
- 239000011159 matrix material Substances 0.000 description 31
- 230000004308 accommodation Effects 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 13
- 238000000926 separation method Methods 0.000 description 13
- 238000000354 decomposition reaction Methods 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 12
- 238000005457 optimization Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 210000001525 retina Anatomy 0.000 description 10
- 239000000243 solution Substances 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 230000008447 perception Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000002350 accommodative effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 241000153282 Theope Species 0.000 description 3
- 238000005253 cladding Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 208000014733 refractive error Diseases 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 201000010041 presbyopia Diseases 0.000 description 1
- 230000004478 pupil constriction Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000012086 standard solution Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
- G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/346—Image reproducers using prisms or semi-transparent mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/008—Aspects relating to glasses for viewing stereoscopic images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- User Interface Of Digital Computer (AREA)
Description
本願は、2016年10月21日に出願された米国仮出願第62/411,490号の優先権の利益を主張するものであり、該米国仮出願は、参照により本明細書中に援用される。
本願は、以下の特許出願、すなわち米国出願第14/555,585号(出願日2014年11月27日);米国出願第14/690,401号(出願日2015年4月18日);米国出願第14/212,961号(出願日2014年3月14日);米国出願第14/331,218号(出願日2014年7月14日);米国出願第15/072,290号(出願日2016年3月16日);および米国仮出願第62/156,809号(出願日)2015年5月4日) の各々の全体を参照により援用するものである。
1.画像コンテンツを表示するための方法であって、
空間光変調器を提供するステップと、
光を空間光変調器に複数の異なる光出力場所から出力するように構成される、光源を提供するステップと、
仮想オブジェクトの視差的に異なる瞳孔内画像のセットを視認者の眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するステップであって、瞳孔内画像はそれぞれ、
光源からの光を空間光変調器に出力するステップであって、光は、光源の1つ以上の関連付けられた光出力場所から出力される、ステップと、
空間光変調器を用いて、光を変調し、1つ以上の関連付けられた光出力場所に対応する瞳孔内画像を形成するステップと、
変調された光を眼に伝搬させるステップと、
によって形成され、瞳孔内画像の各々に対する1つ以上の関連付けられた光出力場所は、瞳孔内画像のその他のための1つ以上の関連付けられた光出力場所と明確に異なる、ステップと、
を含む、方法。
2.1つ以上の関連付けられた発光領域をアクティブ化するステップは、深度平面に基づいて、1つ以上の関連付けられた発光領域を選択するステップを含み、瞳孔内画像のための発光領域間の物理的分離は、深度平面から視認者までの距離の減少に伴って増加する、実施形態1に記載の方法。
3.視差的に異なる画像のそれぞれを形成する光線は、コリメートされ、深度平面は、光学無限遠未満にある、実施形態1-2のいずれかに記載の方法。
4.視差的に異なる瞳孔内画像のセットを投入するステップは、視認者のフリッカ融合閾値を下回る時間フレーム内で行われる、実施形態1-3のいずれかに記載の方法。
5.フリッカ融合閾値は、1秒の1/60である、実施形態4に記載の方法。
6.眼の視線を追跡するように構成される、眼追跡センサをさらに備え、仮想オブジェクトを表示するステップは、
眼追跡センサを使用して、眼の視線を決定するステップと、
眼の決定された視線に基づいて、瞳孔内画像のためのコンテンツを選択するステップと、を含む、実施形態1-5のいずれかに記載の方法。
7.空間光変調器からの変調された光を眼に指向するように構成される、投影光学をさらに備える、実施形態1-6のいずれかに記載の方法。
8.瞳孔内画像のための1つ以上の関連付けられた発光領域は、部分的に重複する、実施形態1-7のいずれかに記載の方法。
9.眼の中への瞳孔内画像のうちの少なくとも1つの投入の間、1つ以上の関連付けられた発光領域の位置を変化させるステップをさらに含む、実施形態1-8のいずれかに記載の方法。
10.実施形態1-9のいずれかに記載の方法を実施するように構成される、ディスプレイシステム。
11.画像コンテンツを表示するための方法であって、
光源と、
空間光変調器と、
を備える、頭部搭載型ディスプレイを提供するステップと、
フリッカ融合閾値内において、仮想オブジェクトの視差的に異なる瞳孔内画像のセットをディスプレイから視認者の眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するステップと、
を含む、方法。
12.視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像の個々のものを視認者の眼の中に時間的に連続して投入するステップを含む、実施形態11に記載の方法。
13.視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像の複数のものを同時に投入するステップを含む、実施形態11に記載の方法。
14.視差的に異なる瞳孔内画像のセットを投入するステップは、複数の瞳孔内画像を一度に時間的に連続して投入するステップを含む、実施形態13に記載の方法。
15.瞳孔内画像を形成する光ビームは、コリメートされる、実施形態11-14のいずれかに記載の方法。
16.瞳孔内画像を形成する光ビームは、発散波面を有する、実施形態11-14のいずれかに記載の方法。
17.光源は、複数の選択的にアクティブ化される発光領域を備え、視差的に異なる瞳孔内画像のセットを投入するステップは、瞳孔内画像毎に異なる発光領域をアクティブ化するステップを含む、実施形態11-16のいずれかに記載の方法。
18.光源は、複数の明確に異なる光出力場所からの光を出力するように構成され、眼の中への瞳孔内画像のうちの少なくとも1つの投入の間、光出力場所をジッタさせるステップをさらに含む、実施形態11-17のいずれかに記載の方法。
19.実施形態11-18のいずれかに記載の方法を実施するように構成される、ディスプレイシステム。
20.頭部搭載型ディスプレイシステムであって、
視認者上に搭載するように構成される、フレームと、
光源と、
光源からの光を変調するように構成される、空間光変調器と、
フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学と、
を備え、ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
21.ディスプレイシステムは、個々の瞳孔内画像の表示を時間的に多重化するように構成される、実施形態20に記載のディスプレイシステム。
22.ディスプレイシステムは、瞳孔内画像の表示を空間的に多重化するように構成される、実施形態20-21のいずれかに記載のディスプレイシステム。
23.ディスプレイシステムは、複数の空間的に多重化された瞳孔内画像の表示を時間的に多重化するように構成される、実施形態20-22のいずれかに記載のディスプレイシステム。
24.投影光学は、内部結合光学要素と、外部結合光学要素とを備える、導波管を備える、実施形態20-23のいずれかに記載のディスプレイシステム。
25.投影光学は、複数の導波管を備え、各導波管は、複数の導波管の他の導波管と異なる原色の光を出力するように構成される、実施形態24に記載のディスプレイシステム。26.光源は、複数の選択的にアクティブ化される発光領域を備える、実施形態20-25のいずれかに記載のディスプレイシステム。
27.光源は、発光ダイオードアレイおよび空間光変調器のうちの少なくとも1つを含む、実施形態26に記載のディスプレイシステム。
28.発光ダイオードアレイは、有機発光ダイオードアレイまたは無機発光ダイオードアレイを備える、実施形態8に記載のディスプレイシステム。
29.空間光変調器光源は、液晶アレイまたはデジタル光処理(DLP)チップを備える、実施形態27に記載のディスプレイシステム。
30.ディスプレイシステムは、眼の中への瞳孔内画像のうちの少なくとも1つの投入の間、アクティブ化される発光領域の位置を変化させるように構成される、実施形態20-29のいずれかに記載のディスプレイシステム。
31.光源は、
光エミッタと、
光を空間光変調器に異なる経路に沿って指向するように構成される、アクチュエータと、を備える、実施形態20-25のいずれかに記載のディスプレイシステム。
32.アクチュエータは、2軸検流計である、実施形態31に記載のディスプレイシステム。
33.光源は、ファイバスキャナである、実施形態31に記載のディスプレイシステム。34.光源からの光を変調するように構成される、空間光変調器は、LCOSパネルを備える、実施形態20-33のいずれかに記載のディスプレイシステム。
35.眼の視線を追跡するように構成される、眼追跡センサをさらに備え、ディスプレイシステムは、
眼追跡センサを使用して、眼の視線を決定し、眼の決定された視線に基づいて、瞳孔内画像のためのコンテンツを選択する、
ように構成される、実施形態20-34のいずれかに記載のディスプレイシステム。
36.ディスプレイシステムは、光源の光出力場所と空間光変調器によって提供される画像コンテンツを同期させるように構成される、実施形態20-35のいずれかに記載のディスプレイシステム。
37.光学機構を空間光変調器と投影光学との間にさらに備え、光学機構は、空間光変調器の異なる場所からの光を投影光学に異なる角度で指向するように構成される、実施形態20-36のいずれかに記載のディスプレイシステム。
38.光学機構は、プリズムまたはレンズ構造のうちの1つ以上のものを備える、実施形態37に記載のディスプレイシステム。
39.レンズ構造は、レンズレットアレイである、実施形態38に記載のディスプレイシステム。
40.ディスプレイシステムであって、
複数の空間的に明確に異なる光出力場所を備える、光源と、
光源からの光を変調するように構成される、空間光変調器と、
フレーム上に搭載され、空間光変調器からの光を視認者の眼の中に指向するように構成される、投影光学と、
を備え、ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
41.異なる瞳孔内画像のための光源の異なる光出力場所からの光を出力するように構成される、実施形態40に記載のディスプレイシステム。
42.視認者の眼からの深度平面の距離に基づいて、光出力場所間の側方分離を変動させるように構成される、実施形態41に記載のディスプレイシステム。
43.視認者の眼からの深度平面の距離の増加に伴って、光出力場所間の側方分離を増加させるように構成される、実施形態41-42のいずれかに記載のディスプレイシステム。
44.ディスプレイシステムは、眼の中への瞳孔内画像のうちの少なくとも1つの投入の間、光出力場所を変化させるように構成される、実施形態41-42のいずれかに記載のディスプレイシステム。
本発明は、例えば、以下を提供する。
(項目1)
頭部搭載型ディスプレイシステムであって、
視認者上に搭載するように構成されるフレームと、
光源と、
前記光源からの光を変調するように構成される空間光変調器と、
前記フレーム上に搭載され、前記空間光変調器からの光を視認者の眼の中に指向するように構成される投影光学と
を備え、
前記ディスプレイシステムは、前記オブジェクトの視差的に異なる瞳孔内画像のセットを前記眼の中に投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
(項目2)
前記ディスプレイシステムは、個々の瞳孔内画像の表示を時間的に多重化するように構成される、項目1に記載のディスプレイシステム。
(項目3)
前記ディスプレイシステムは、前記瞳孔内画像の表示を空間的に多重化するように構成される、項目1に記載のディスプレイシステム。
(項目4)
前記ディスプレイシステムは、複数の空間的に多重化された瞳孔内画像の表示を時間的に多重化するように構成される、項目1に記載のディスプレイシステム。
(項目5)
前記投影光学は、内部結合光学要素と、外部結合光学要素とを備える導波管を備える、項目5に記載のディスプレイシステム。
(項目6)
前記投影光学は、複数の導波管を備え、各導波管は、前記複数の導波管の他の導波管と異なる原色の光を出力するように構成される、項目5に記載のディスプレイシステム。
(項目7)
前記光源は、複数の選択的にアクティブ化される発光領域を備える、項目1に記載のディスプレイシステム。
(項目8)
前記光源は、発光ダイオードアレイおよび空間光変調器のうちの少なくとも1つを備える、項目7に記載のディスプレイシステム。
(項目9)
前記発光ダイオードアレイは、有機発光ダイオードアレイまたは無機発光ダイオードアレイを備える、項目8に記載のディスプレイシステム。
(項目10)
空間光変調器光源は、液晶アレイまたはデジタル光処理(DLP)チップを備える、項目8に記載のディスプレイシステム。
(項目11)
前記ディスプレイシステムは、前記眼の中への前記瞳孔内画像のうちの少なくとも1つの投入の間、アクティブ化される発光領域の位置を変化させるように構成される、項目7に記載のディスプレイシステム。
(項目12)
前記光源は、
光エミッタと、
光を前記空間光変調器に異なる経路に沿って指向するように構成されるアクチュエータと
を備える、項目1に記載のディスプレイシステム。
(項目13)
前記アクチュエータは、2軸検流計である、項目12に記載のディスプレイシステム。(項目14)
前記光源は、ファイバスキャナを備える、項目12に記載のディスプレイシステム。
(項目15)
前記光源からの光を変調するように構成される前記空間光変調器は、LCOSパネルを備える、項目1に記載のディスプレイシステム。
(項目16)
前記眼の視線を追跡するように構成される眼追跡センサをさらに備え、前記ディスプレイシステムは、
前記眼追跡センサを使用して、前記眼の視線を決定することと、
前記眼の決定された視線に基づいて、前記瞳孔内画像のためのコンテンツを選択することと
を行うように構成される、項目1に記載のディスプレイシステム。
(項目17)
前記ディスプレイシステムは、前記光源の光出力場所と前記空間光変調器によって提供される画像コンテンツとを同期させるように構成される、項目1に記載のディスプレイシステム。
(項目18)
光学機構を前記空間光変調器と前記投影光学との間にさらに備え、前記光学機構は、前記空間光変調器の異なる場所からの光を異なる角度で投影光学に指向するように構成される、項目1に記載のディスプレイシステム。
(項目19)
前記光学機構は、プリズムまたはレンズ構造のうちの1つ以上のものを備える、項目18に記載のディスプレイシステム。
(項目20)
前記レンズ構造は、レンズレットアレイである、項目19に記載のディスプレイシステム。
(項目21)
画像コンテンツを表示するための方法であって、前記方法は、
空間光変調器を提供することと、
複数の異なる光出力場所から前記空間光変調器に光を出力するように構成される光源を提供することと、
仮想オブジェクトの視差的に異なる瞳孔内画像のセットを視認者の眼の中に時間的に連続して投入することによって、前記仮想オブジェクトを深度平面上に表示することであって、前記瞳孔内画像はそれぞれ、
前記光源からの光を前記空間光変調器に出力することであって、前記光は、前記光源の1つ以上の関連付けられた光出力場所から出力される、ことと、
前記空間光変調器を用いて、前記光を変調し、前記1つ以上の関連付けられた光出力場所に対応する瞳孔内画像を形成することと、
前記変調された光を前記眼に伝搬させることと
によって形成され、瞳孔内画像毎の前記1つ以上の関連付けられた光出力場所は、前記瞳孔内画像のうちの他のもののための前記1つ以上の関連付けられた光出力場所と明確に異なる、ことと
を含む、方法。
(項目22)
前記1つ以上の関連付けられた発光領域をアクティブ化することは、前記深度平面に基づいて、前記1つ以上の関連付けられた発光領域を選択することを含み、前記瞳孔内画像のための発光領域間の物理的分離は、前記深度平面から前記視認者までの距離の減少に伴って増加する、項目21に記載の方法。
(項目23)
前記視差的に異なる画像のそれぞれを形成する光線は、コリメートされ、前記深度平面は、光学無限遠未満にある、項目21に記載の方法。
(項目24)
視差的に異なる瞳孔内画像のセットを投入することは、前記視認者のフリッカ融合閾値を下回る時間フレーム内で行われる、項目21に記載の方法。
(項目25)
前記フリッカ融合閾値は、1秒の1/60である、項目24に記載の方法。
(項目26)
前記眼の視線を追跡するように構成される眼追跡センサをさらに備え、前記仮想オブジェクトを表示することは、
前記眼追跡センサを使用して、前記眼の視線を決定することと、
前記眼の決定された視線に基づいて、前記瞳孔内画像のためのコンテンツを選択することと
を含む、項目21に記載の方法。
(項目27)
前記空間光変調器からの変調された光を前記眼に指向するように構成される投影光学をさらに備える、項目21に記載の方法。
(項目28)
前記瞳孔内画像のための前記1つ以上の関連付けられた発光領域は、部分的に重複する、項目21に記載の方法。
(項目29)
前記眼の中への前記瞳孔内画像のうちの少なくとも1つの投入の間、前記1つ以上の関連付けられた発光領域の位置を変化させることをさらに含む、項目21に記載の方法。
(項目30)
ディスプレイシステムであって、
複数の空間的に明確に異なる光出力場所を備える光源と、
前記光源からの光を変調するように構成される空間光変調器と、
フレーム上に搭載され、前記空間光変調器からの光を視認者の眼の中に指向するように構成される投影光学と
を備え、
前記ディスプレイシステムは、オブジェクトの視差的に異なる瞳孔内画像のセットを前記眼の中に時間的に連続して投入することによって、仮想オブジェクトを深度平面上に表示するように構成される、ディスプレイシステム。
(項目31)
異なる瞳孔内画像のための前記光源の異なる光出力場所からの光を出力するように構成される、項目30に記載のディスプレイシステム。
(項目32)
前記視認者の眼からの前記深度平面の距離に基づいて、前記光出力場所間の側方分離を変動させるように構成される、項目30に記載のディスプレイシステム。
(項目33)
前記視認者の眼からの前記深度平面の距離の増加に伴って、前記光出力場所間の側方分離を増加させるように構成される、項目30に記載のディスプレイシステム。
(項目34)
前記ディスプレイシステムは、前記眼の中への前記瞳孔内画像のうちの少なくとも1つの投入の間、前記光出力場所を変化させるように構成される、項目30に記載のディスプレイシステム。
(項目35)
画像コンテンツを表示するための方法であって、前記方法は、
頭部搭載型ディスプレイを提供することと、
フリッカ融合閾値内において、仮想オブジェクトの視差的に異なる瞳孔内画像のセットを前記ディスプレイから視認者の眼の中に投入することによって、仮想オブジェクトを深度平面上に表示することと
を含む、方法。
(項目36)
前記瞳孔内画像の視差差を変化させることによって、前記仮想オブジェクトが配置される深度平面を変化させることをさらに含む、項目35に記載の方法。
(項目37)
視差的に異なる瞳孔内画像のセットを投入することは、前記瞳孔内画像の個々のものを視認者の眼の中に時間的に連続して投入することを含む、項目35に記載の方法。
(項目38)
視差的に異なる瞳孔内画像のセットを投入することは、前記瞳孔内画像の複数のものを同時に投入することを含む、項目35に記載の方法。
(項目39)
視差的に異なる瞳孔内画像のセットを投入することは、複数の瞳孔内画像を一度に時間的に連続して投入することを含む、項目38に記載の方法。
(項目40)
前記瞳孔内画像を形成する光ビームは、コリメートされる、項目35に記載の方法。
(項目41)
前記瞳孔内画像を形成する光ビームは、発散波面を有する、項目35に記載の方法。
(項目42)
前記ディスプレイは、
光を変調し、前記瞳孔内画像を形成するように構成される空間光変調器と、
光を前記空間光変調器に指向するように構成される光源と
を備える、項目35に記載の方法。
(項目43)
前記光源は、複数の選択的にアクティブ化される発光領域を備え、視差的に異なる瞳孔内画像のセットを投入することは、瞳孔内画像の各々に対して異なる発光領域をアクティブ化することを含む、項目42に記載の方法。
(項目44)
前記光源は、複数の明確に異なる光出力場所からの光を出力するように構成され、前記眼の中への前記瞳孔内画像のうちの少なくとも1つの投入の間、前記光出力場所をジッタさせることをさらに含む、項目42に記載の方法。
明視野および焦点スタック分解は、光源1026、2026および空間光変調器1018の出力を含む、ディスプレイシステム1001の光出力を決定するために利用され得る。分解に関する詳細は、下記に議論される。
焦点スタックyは、それぞれ、瞳および像面に位置する、2つの空間光変調器AおよびB上に表示されることになる一連の時間多重化されたパターンに分解される。いくつかの実施形態では、空間光変調器AおよびBは、それぞれ、光源1026、2026および空間光変調器1018に対応してもよい。全ての量は、mピクセルの垂直分解能、nピクセルの水平分解能、およびs焦点スライスを有する、焦点スタック
optimization and statistical learning via the alternating direction method of multipliers”, Foundations and Trends in Machine Learning 3, 1, 1-122によって説明されるように)は、それを解法するために使用されてもよい。
方程式5は、以下の単一線形方程式系として書き直され得る、非制約線形問題である。
A,B-更新(方程式6)は、非負行列分解(NMF)問題である。この場合、これは、最も簡単な可能性として考えられるNMF問題である。本およびより高度なNMFアプローチのための標準解は、下記の第2項に詳述される。
上記の導出では、グレースケール分解が、仮定された、または各カラーチャネルは、独立して処理されると仮定された。ある場合には、これは、満足の行く近似を提供し得ない。例えば、2つの色のSLMが、色クロストークを導入し得、これは、上記ではモデル化されない。加えて、いくつかの実施形態では、ディスプレイシステムは、像面におけるグレースケールLCoSと瞳面におけるカラーLEDまたはOLEDアレイの組み合わせを使用し得る。この場合、全てのカラーチャネルは、リンクされる。
非負行列分解は、行列を非負階数1行列の和に分解する1つのアプローチである。分解問題は、非凸であって、したがって、解は、単純ではない。問題および可能性として考えられる解が、ここで議論されるであろう。
コスト関数
上記に述べられたように、ステップ長を選定するための重要な点は、最急降下方向を伴うものを組み合わせることによって、加算更新ルール(方程式15)が単純乗法において書かれ得ることである。xij≧0であって、A,Bが正の値で初期化されるという条件下、乗法更新ルールは、分解行列が反復更新プロセス全体を通して正のままであることを提供する。以下のステップ長は、乗法更新ルールをもたらす。
乗法更新ルールは、行列要素xij毎に加重を含むように修正されてもよい。
2.4 射影NMF
射影NMFは、付加的射影行列Pを最適化手順全体を通して固定されたままである目的関数に加算する。
射影NMFに関して、加重は、明視野に加算され、以下の更新ルールをもたらし得る。
Claims (20)
- 頭部搭載型ディスプレイシステムであって、
複数の空間的に明確に異なる光出力場所を含む光源と、
前記光源からの光を変調するように構成される空間光変調器と、
視認者の眼の中への伝搬のために前記空間光変調器からの光を指向するように構成される投影光学部と
を備え、
前記頭部搭載型ディスプレイシステムは、仮想オブジェクトの視差的に異なる瞳孔内画像のセットを前記眼の中に投入することによって、前記仮想オブジェクトを深度平面上に表示するように構成され、前記視差的に異なる瞳孔内画像の各々は、異なる角度から前記眼に衝突し、前記角度は、視差差に対応する角度範囲を画定し、
前記視差的に異なる瞳孔内画像のセットを投入することは、前記仮想オブジェクトの前記視認者までの知覚される距離が減少すると、前記視差的に異なる瞳孔内画像間の視差差の大きさを増加するように、前記光出力場所のうちの異なる光出力場所をアクティブ化することによって、光源から前記頭部搭載型ディスプレイシステムの前記空間光変調器への光の経路を変化させることを含む、頭部搭載型ディスプレイシステム。 - 前記視認者までの前記仮想オブジェクトの前記知覚される距離の減少に伴って、アクティブ化される光出力場所間の側方変位を増加させるように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記眼の中への前記視差的に異なる瞳孔内画像のうちの少なくとも1つの投入の間、アクティブ化される光出力場所を変化させるように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記空間光変調器上の前記視差的に異なる瞳孔内画像の更新レートよりも高い速度で前記アクティブ化される光出力場所を変化させるように構成される、請求項3に記載の頭部搭載型ディスプレイシステム。
- 異なる光出力場所のアクティブ化を前記空間光変調器による別の視差的に異なる瞳孔内画像の形成と同期させるように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記別の視差的に異なる瞳孔内画像は、前記空間光変調器を横断して異なる場所に形成される、請求項5に記載の頭部搭載型ディスプレイシステム。
- 前記空間光変調器と前記投影光学部との間にレンズレットアレイをさらに備え、前記レンズレットアレイは、前記空間光変調器の前記異なる場所からの光を異なる角度で前記投影光学部に指向するように構成される、請求項6に記載の頭部搭載型ディスプレイシステム。
- 前記空間光変調器と前記投影光学部との間にプリズムをさらに備え、前記プリズムは、前記空間光変調器の異なる場所からの光を異なる角度で前記投影光学部に指向するように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記光源、前記空間光変調器、前記投影光学部は、光の複数のビームを前記視認者の前記眼に指向するように構成され、光の各ビームは、関連付けられた視差的に異なる画像に対応し、光の各ビームは、コリメートされている、請求項1に記載の頭部搭載型ディスプレイシステム。
- 光の各コリメートされたビームは、前記眼に入射するときに、0.5mm未満の直径を有する、請求項9に記載の頭部搭載型ディスプレイシステム。
- 前記空間光変調器は、デジタル光処理(DLP)チップである、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記投影光学部は、前記光を導波管に指向し、前記導波管は、内部結合光学要素と、外部結合光学要素とを備え、前記内部結合光学要素は、前記光を前記導波管内に内部結合するように構成され、前記外部結合光学要素は、前記光を前記導波管から前記視認者の前記眼内に出力するように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記光源は、発光ダイオードアレイを備える、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記発光ダイオードアレイは、2Dアレイである、請求項13に記載の頭部搭載型ディスプレイシステム。
- 前記光源は、
光エミッタと、
前記空間光変調器とは別の第2の空間光変調器であって、前記光エミッタから受け取られ、前記第2の空間光変調器から離れて伝搬する光の場所を選択的に変化させるように構成された第2の空間光変調器と
を備える、請求項1に記載の頭部搭載型ディスプレイシステム。 - 前記光源は、ファイバスキャナを備える、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記視差的に異なる瞳孔内画像のセットを投入することは、前記視差的に異なる瞳孔内画像のうちの複数の視差的に異なる瞳孔内画像を同時に投入することを含む、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記視差的に異なる瞳孔内画像のセットは、前記仮想オブジェクトの2つ以上のビューから成る、請求項17に記載の頭部搭載型ディスプレイシステム。
- 前記視認者のフリッカ融合閾値を下回る時間フレーム内で、前記視差的に異なる瞳孔内画像を前記視認者の前記眼内に時間的に連続して投入することによって、前記視差的に異なる瞳孔内画像のセットを投入するように構成される、請求項1に記載の頭部搭載型ディスプレイシステム。
- 前記フリッカ融合閾値は、1秒の1/60である、請求項19に記載の頭部搭載型ディスプレイシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023118182A JP7528324B2 (ja) | 2016-10-21 | 2023-07-20 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662411490P | 2016-10-21 | 2016-10-21 | |
US62/411,490 | 2016-10-21 | ||
PCT/US2017/057730 WO2018075968A1 (en) | 2016-10-21 | 2017-10-20 | System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views |
JP2019519708A JP7128179B2 (ja) | 2016-10-21 | 2017-10-20 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019519708A Division JP7128179B2 (ja) | 2016-10-21 | 2017-10-20 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023118182A Division JP7528324B2 (ja) | 2016-10-21 | 2023-07-20 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022141819A JP2022141819A (ja) | 2022-09-29 |
JP7332763B2 true JP7332763B2 (ja) | 2023-08-23 |
Family
ID=61971417
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019519708A Active JP7128179B2 (ja) | 2016-10-21 | 2017-10-20 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
JP2022114662A Active JP7332763B2 (ja) | 2016-10-21 | 2022-07-19 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
JP2023118182A Active JP7528324B2 (ja) | 2016-10-21 | 2023-07-20 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019519708A Active JP7128179B2 (ja) | 2016-10-21 | 2017-10-20 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023118182A Active JP7528324B2 (ja) | 2016-10-21 | 2023-07-20 | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
Country Status (9)
Country | Link |
---|---|
US (4) | US11231584B2 (ja) |
EP (2) | EP4333428A3 (ja) |
JP (3) | JP7128179B2 (ja) |
KR (3) | KR20230161528A (ja) |
CN (2) | CN115343852A (ja) |
AU (1) | AU2017345780B2 (ja) |
CA (1) | CA3039990A1 (ja) |
IL (3) | IL311451A (ja) |
WO (1) | WO2018075968A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL311451A (en) | 2016-10-21 | 2024-05-01 | Magic Leap Inc | System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view |
US11454815B2 (en) | 2017-06-01 | 2022-09-27 | NewSight Reality, Inc. | Transparent optical module using pixel patches and associated lenslets |
CN107728986B (zh) * | 2017-11-07 | 2020-10-09 | 北京小鸟看看科技有限公司 | 一种双显示屏的显示方法以及显示装置 |
US10574852B2 (en) * | 2018-01-12 | 2020-02-25 | Seiko Epson Corporation | Imaging optical mechanism, reading module, and image reading apparatus |
CN110297331A (zh) * | 2018-03-23 | 2019-10-01 | 京东方科技集团股份有限公司 | 显示装置及显示方法 |
US12111467B2 (en) * | 2018-06-28 | 2024-10-08 | Apple Inc. | Electronic device with multi-element display illumination system |
WO2020007439A1 (en) * | 2018-07-02 | 2020-01-09 | Huawei Technologies Co., Ltd. | A retinal display apparatus and method |
US10861415B2 (en) * | 2018-08-14 | 2020-12-08 | Facebook Technologies, Llc | Display device with throughput calibration |
CN113631986A (zh) * | 2018-12-10 | 2021-11-09 | 脸谱科技有限责任公司 | 用于超焦视口(hvp)显示器的自适应视口 |
SE542553C2 (en) * | 2018-12-17 | 2020-06-02 | Tobii Ab | Gaze tracking via tracing of light paths |
CN113490873A (zh) | 2018-12-28 | 2021-10-08 | 奇跃公司 | 带有机械致动图像投影仪的可变像素密度显示系统 |
EP3931625B1 (en) | 2019-02-28 | 2024-09-18 | Magic Leap, Inc. | Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays |
US11262578B2 (en) * | 2019-03-15 | 2022-03-01 | Microsoft Technology Licensing, Llc | Pixel sampling for spatial light modulator |
US11543666B2 (en) | 2020-05-22 | 2023-01-03 | Magic Leap, Inc. | Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization in at least one waveguide |
WO2022115534A1 (en) * | 2020-11-24 | 2022-06-02 | NewSight Reality, Inc. | Transparent optical module using pixel patches and associated lenslets |
US12058302B2 (en) * | 2022-04-06 | 2024-08-06 | Samsung Electronics Co., Ltd. | Encoding depth information for images |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001078234A (ja) | 1999-09-07 | 2001-03-23 | Mixed Reality Systems Laboratory Inc | 画像入力装置及び画像表示装置 |
JP2002131694A (ja) | 2000-10-26 | 2002-05-09 | Mixed Reality Systems Laboratory Inc | 画像観察装置及びそれを用いた画像観察システム |
JP2007033655A (ja) | 2005-07-25 | 2007-02-08 | Canon Inc | 立体像表示装置 |
US20120019908A1 (en) | 2010-07-22 | 2012-01-26 | Samsung Electronics Co., Ltd. | Apparatus for displaying a multi-view 3d image |
WO2015081313A2 (en) | 2013-11-27 | 2015-06-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
JP2015521298A (ja) | 2012-04-25 | 2015-07-27 | マイクロソフト コーポレーション | ヘッドマウントディスプレイに用いるための可動式ledアレイ及びマイクロレンズアレイに基づくライトフィールドプロジェクタ |
Family Cites Families (77)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6590573B1 (en) * | 1983-05-09 | 2003-07-08 | David Michael Geshwind | Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JPH0991468A (ja) * | 1995-09-22 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | 3次元画像表示装置および方法 |
DE69735736T2 (de) * | 1996-01-31 | 2006-11-02 | Canon K.K. | Stereoskopische Bilddarstellungsvorrichtung mit verbreitertem Beobachtungsfeld |
JPH11194299A (ja) * | 1997-12-27 | 1999-07-21 | Mr System Kenkyusho:Kk | 表示装置 |
US6466185B2 (en) * | 1998-04-20 | 2002-10-15 | Alan Sullivan | Multi-planar volumetric display system and method of operation using psychological vision cues |
US6525699B1 (en) * | 1998-05-21 | 2003-02-25 | Nippon Telegraph And Telephone Corporation | Three-dimensional representation method and an apparatus thereof |
EP1083755A3 (en) | 1999-09-07 | 2003-11-12 | Canon Kabushiki Kaisha | Image input apparatus and image display apparatus |
JP2002228978A (ja) | 2001-02-02 | 2002-08-14 | Mixed Reality Systems Laboratory Inc | 立体画像表示装置 |
JP2002228987A (ja) | 2001-02-05 | 2002-08-14 | Teruyasu Yamamoto | 金属のパッドアーム |
WO2005121707A2 (en) * | 2004-06-03 | 2005-12-22 | Making Virtual Solid, L.L.C. | En-route navigation display method and apparatus using head-up display |
US20080084544A1 (en) | 2004-07-22 | 2008-04-10 | Estill Thone Hall | Discrete High Switching Rate Illumination Geometry For Single Imager Microdisplay |
AU2005269256B2 (en) * | 2004-08-03 | 2008-08-07 | Silverbrook Research Pty Ltd | Head mounted display with wave front modulator |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
CN102341740B (zh) | 2009-06-22 | 2015-09-16 | 财团法人工业技术研究院 | 发光单元阵列、其制造方法和投影设备 |
JP2011244349A (ja) * | 2010-05-20 | 2011-12-01 | Nikon Corp | 表示装置および表示方法 |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
EP2656135B1 (en) | 2010-12-24 | 2022-05-04 | Magic Leap, Inc. | Freeform waveguide prism |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
JP2012253690A (ja) * | 2011-06-06 | 2012-12-20 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
EP2761362A4 (en) * | 2011-09-26 | 2014-08-06 | Microsoft Corp | VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY |
EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION |
CA3207408A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
WO2013074978A1 (en) | 2011-11-17 | 2013-05-23 | Datalogic ADC, Inc. | Systems and methods for reading color optical codes |
JP6250547B2 (ja) | 2011-11-23 | 2017-12-20 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 3次元仮想現実および拡張現実表示システム |
US8848006B2 (en) | 2012-01-25 | 2014-09-30 | Massachusetts Institute Of Technology | Tensor displays |
EP2634747A1 (en) * | 2012-02-29 | 2013-09-04 | Flir Systems AB | A method and system for projecting a visible representation of infrared radiation |
NZ700887A (en) | 2012-04-05 | 2016-11-25 | Magic Leap Inc | Wide-field of view (fov) imaging devices with active foveation capability |
US20130286053A1 (en) | 2012-04-25 | 2013-10-31 | Rod G. Fleck | Direct view augmented reality eyeglass-type display |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9841563B2 (en) | 2012-08-04 | 2017-12-12 | Paul Lapstun | Shuttered waveguide light field display |
JP2015534108A (ja) | 2012-09-11 | 2015-11-26 | マジック リープ, インコーポレイテッド | 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム |
KR102507206B1 (ko) | 2013-01-15 | 2023-03-06 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
US8873149B2 (en) * | 2013-01-28 | 2014-10-28 | David D. Bohn | Projection optical system for coupling image light to a near-eye display |
JP6123342B2 (ja) * | 2013-02-20 | 2017-05-10 | ソニー株式会社 | 表示装置 |
KR20230173231A (ko) | 2013-03-11 | 2023-12-26 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
KR102560629B1 (ko) | 2013-03-15 | 2023-07-26 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
AU2014337171B2 (en) | 2013-10-16 | 2018-11-15 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
US9857591B2 (en) * | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US10274731B2 (en) * | 2013-12-19 | 2019-04-30 | The University Of North Carolina At Chapel Hill | Optical see-through near-eye display using point light source backlight |
KR20150086799A (ko) * | 2014-01-20 | 2015-07-29 | 한국전자통신연구원 | 휴대용 디바이스를 위한 광섬유 어레이 백라이트를 이용한 홀로그래픽 디스플레이 장치 및 방법 |
CN111552079B (zh) | 2014-01-31 | 2022-04-15 | 奇跃公司 | 多焦点显示系统和方法 |
EP3712680B1 (en) | 2014-01-31 | 2022-07-13 | Magic Leap, Inc. | Multi-focal display system and method |
WO2015134740A1 (en) | 2014-03-05 | 2015-09-11 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Wearable 3d augmented reality display with variable focus and/or object recognition |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
JP6201836B2 (ja) * | 2014-03-14 | 2017-09-27 | ソニー株式会社 | 光学装置及びその組立方法、ホログラム回折格子、表示装置並びにアライメント装置 |
GB2525170A (en) * | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
US10620700B2 (en) | 2014-05-09 | 2020-04-14 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
CN106662754B (zh) | 2014-05-30 | 2021-05-25 | 奇跃公司 | 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统 |
KR102688893B1 (ko) * | 2014-09-29 | 2024-07-29 | 매직 립, 인코포레이티드 | 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법 |
CN104749779B (zh) * | 2014-12-24 | 2017-06-06 | 张璁 | 双屏头盔显示器 |
CN104570366A (zh) * | 2015-01-16 | 2015-04-29 | 中国科学院上海光学精密机械研究所 | 一种具有手势识别功能的全息头盔显示器 |
CN108351519A (zh) | 2015-02-17 | 2018-07-31 | 赛尔米克实验室公司 | 用于在可穿戴式平视显示器中进行适眼区扩大的系统、设备和方法 |
KR20170125940A (ko) * | 2015-03-10 | 2017-11-15 | 미노루 이나바 | 스테레오 뷰어 및/또는 스테레오 뷰파인더 |
NZ773812A (en) | 2015-03-16 | 2022-07-29 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
US9651786B1 (en) | 2015-05-05 | 2017-05-16 | SA Photonics, Inc. | Systems and methods for augmented reality devices with light security |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US10701318B2 (en) | 2015-08-14 | 2020-06-30 | Pcms Holdings, Inc. | System and method for augmented reality multi-view telepresence |
US9940701B2 (en) | 2015-09-25 | 2018-04-10 | Intel Corporation | Device and method for depth image dequantization |
US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
CN112367513B (zh) | 2016-05-06 | 2022-06-17 | 深圳市大疆创新科技有限公司 | 导航系统和用于感测环境的方法 |
US10663756B2 (en) * | 2016-07-18 | 2020-05-26 | Lumens Co., Ltd. | Display apparatus |
US20180025640A1 (en) | 2016-07-19 | 2018-01-25 | Ford Global Technologies, Llc | Using Virtual Data To Test And Train Parking Space Detection Systems |
IL311451A (en) | 2016-10-21 | 2024-05-01 | Magic Leap Inc | System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view |
CN106485233B (zh) * | 2016-10-21 | 2020-01-17 | 深圳地平线机器人科技有限公司 | 可行驶区域检测方法、装置和电子设备 |
GB2551870B (en) * | 2017-04-07 | 2020-04-01 | Dualitas Ltd | Holographic projector |
US10836379B2 (en) | 2018-03-23 | 2020-11-17 | Sf Motors, Inc. | Multi-network-based path generation for vehicle parking |
EP3931625B1 (en) | 2019-02-28 | 2024-09-18 | Magic Leap, Inc. | Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays |
US10755571B1 (en) | 2019-03-01 | 2020-08-25 | Amazon Technologies, Inc. | Identifying parking location using single camera reverse projection |
US11550324B2 (en) | 2019-09-30 | 2023-01-10 | Zoox, Inc. | Parking zone detection for vehicles |
-
2017
- 2017-10-20 IL IL311451A patent/IL311451A/en unknown
- 2017-10-20 CN CN202210966066.0A patent/CN115343852A/zh active Pending
- 2017-10-20 WO PCT/US2017/057730 patent/WO2018075968A1/en unknown
- 2017-10-20 EP EP24152541.9A patent/EP4333428A3/en active Pending
- 2017-10-20 IL IL266070A patent/IL266070B2/en unknown
- 2017-10-20 US US15/789,895 patent/US11231584B2/en active Active
- 2017-10-20 IL IL302405A patent/IL302405B2/en unknown
- 2017-10-20 KR KR1020237039069A patent/KR20230161528A/ko active IP Right Grant
- 2017-10-20 EP EP17861810.4A patent/EP3529653B1/en active Active
- 2017-10-20 KR KR1020197013235A patent/KR102551716B1/ko active IP Right Grant
- 2017-10-20 KR KR1020237021967A patent/KR102603745B1/ko active IP Right Grant
- 2017-10-20 JP JP2019519708A patent/JP7128179B2/ja active Active
- 2017-10-20 CA CA3039990A patent/CA3039990A1/en active Pending
- 2017-10-20 AU AU2017345780A patent/AU2017345780B2/en active Active
- 2017-10-20 CN CN201780078662.2A patent/CN110088663B/zh active Active
-
2022
- 2022-01-21 US US17/581,773 patent/US11614628B2/en active Active
- 2022-07-19 JP JP2022114662A patent/JP7332763B2/ja active Active
-
2023
- 2023-02-13 US US18/168,494 patent/US11835724B2/en active Active
- 2023-07-20 JP JP2023118182A patent/JP7528324B2/ja active Active
- 2023-10-19 US US18/490,169 patent/US20240045215A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001078234A (ja) | 1999-09-07 | 2001-03-23 | Mixed Reality Systems Laboratory Inc | 画像入力装置及び画像表示装置 |
JP2002131694A (ja) | 2000-10-26 | 2002-05-09 | Mixed Reality Systems Laboratory Inc | 画像観察装置及びそれを用いた画像観察システム |
JP2007033655A (ja) | 2005-07-25 | 2007-02-08 | Canon Inc | 立体像表示装置 |
US20120019908A1 (en) | 2010-07-22 | 2012-01-26 | Samsung Electronics Co., Ltd. | Apparatus for displaying a multi-view 3d image |
JP2015521298A (ja) | 2012-04-25 | 2015-07-27 | マイクロソフト コーポレーション | ヘッドマウントディスプレイに用いるための可動式ledアレイ及びマイクロレンズアレイに基づくライトフィールドプロジェクタ |
WO2015081313A2 (en) | 2013-11-27 | 2015-06-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7332763B2 (ja) | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 | |
JP7518844B2 (ja) | 光エミッタアレイによって形成される複数の瞳孔内視差ビューを使用して可変遠近調節キューを提供するためのディスプレイシステムおよび方法 | |
JP7402960B2 (ja) | 可変焦点レンズ要素を用いた拡張現実システムおよび方法 | |
JP2023126616A (ja) | ディスプレイシステムのための深度ベース中心窩化レンダリング | |
JP2024045723A (ja) | 走査ミラーを伴う1次元ピクセルアレイを有するディスプレイシステム | |
JP2024147666A (ja) | 複数の瞳孔内示唆ビューを提供することによって複数の深度平面上に画像コンテンツを提示するためのシステムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7332763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |