JP7038713B2 - 検出された特徴を用いた3dオブジェクトレンダリング - Google Patents
検出された特徴を用いた3dオブジェクトレンダリング Download PDFInfo
- Publication number
- JP7038713B2 JP7038713B2 JP2019530207A JP2019530207A JP7038713B2 JP 7038713 B2 JP7038713 B2 JP 7038713B2 JP 2019530207 A JP2019530207 A JP 2019530207A JP 2019530207 A JP2019530207 A JP 2019530207A JP 7038713 B2 JP7038713 B2 JP 7038713B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- augmented reality
- display system
- reality display
- wearer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title description 15
- 230000003287 optical effect Effects 0.000 claims description 128
- 230000003190 augmentative effect Effects 0.000 claims description 110
- 238000012545 processing Methods 0.000 claims description 62
- 238000009826 distribution Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 9
- 239000003550 marker Substances 0.000 description 64
- 230000005855 radiation Effects 0.000 description 39
- 238000000034 method Methods 0.000 description 28
- 210000000695 crystalline len Anatomy 0.000 description 23
- 239000006185 dispersion Substances 0.000 description 17
- 238000006073 displacement reaction Methods 0.000 description 16
- 239000000463 material Substances 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 14
- 210000000707 wrist Anatomy 0.000 description 13
- 239000003086 colorant Substances 0.000 description 11
- 239000000835 fiber Substances 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 210000003462 vein Anatomy 0.000 description 9
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 8
- 241000153282 Theope Species 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004308 accommodation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 231100000241 scar Toxicity 0.000 description 6
- 206010027145 Melanocytic naevus Diseases 0.000 description 5
- 208000007256 Nevus Diseases 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000005253 cladding Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000005670 electromagnetic radiation Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000035790 physiological processes and functions Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000005469 synchrotron radiation Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0005—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type
- G02B6/0008—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type the light being emitted at the end of the fibre
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
- G02B6/0015—Means for improving the coupling-in of light from the light source into the light guide provided on the surface of the light guide or in the bulk of it
- G02B6/0016—Grooves, prisms, gratings, scattering particles or rough surfaces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0033—Means for improving the coupling-out of light from the light guide
- G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0066—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form characterised by the light source being coupled to the light guide
- G02B6/0068—Arrangements of plural sources, e.g. multi-colour light sources
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0075—Arrangements of multiple light guides
- G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0081—Mechanical or electrical aspects of the light guide and light source in the lighting device peculiar to the adaptation to planar light guides, e.g. concerning packaging
- G02B6/0086—Positioning aspects
- G02B6/0088—Positioning aspects of the light guide or other optical sheets in the package
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本願は、米国仮出願第62/433,767号,出願日2016年12月13日、発明の名称 “3D OBJECT RENDERING USING DETECTED FEATURES”からの35 U.S.C. § 119(e)のもとでの優先権を主張するものであり、該米国仮出願は、あらゆる目的のために、その全体が参照により本明細書中に援用される。本願は、さらに、以下の特許出願の各々の全体を参照により援用する:米国出願第14/555,585号(出願日2014年11月27日);米国出願第14/690,401号(出願日2015年4月18日);米国出願第14/212,961号(出願日2014年3月14日);米国出願第14/331,218号(出願日2014年7月14日);および米国出願第15/072,290号(出願日2016年3月16日)。
(実施例)
1.3Dコンテンツと実オブジェクトとを整合させるように構成される、拡張現実ディスプレイシステムであって、該システムは、
装着者上に搭載するように構成されるフレームと、
フレームに取り付けられ、画像を装着者の眼に指向するように構成される拡張現実ディスプレイと、
不可視光を放出することによって、オブジェクトの少なくとも一部分を照明するように構成される光源と、
該不可視光を使用して、該光源によって照明された該オブジェクトの該一部分を結像するように構成される光センサと、
処理回路であって、該処理回路は、不可視光の反射された部分を使用して形成される画像内の特徴の1つ以上の特性に基づいて、オブジェクトの場所、オブジェクトの配向、または両方に関する情報を決定するように構成される、処理回路と
を備える、システム。
2.不可視光の反射された部分を使用して形成される画像内の特徴は、眼に不可視である、実施例1に記載の拡張現実ディスプレイシステム。
3.不可視光は、赤外線光を備える、実施例1-2のいずれかに記載の拡張現実ディスプレイシステム。
4.光源によって放出される不可視光は、スポットをオブジェクトの該一部分上に形成するビームを備える、実施例1-3のいずれかに記載の拡張現実ディスプレイシステム。
5.光源によって放出される不可視光は、光パターンを備える、実施例1-3のいずれかに記載の拡張現実ディスプレイシステム。
6.該特性は、該特徴の場所を備える、実施例1-5のいずれかに記載の拡張現実ディスプレイシステム。
7.該特性は、該特徴の形状を備える、実施例1-6のいずれかに記載の拡張現実ディスプレイシステム。
8.該特性は、該特徴の配向を備える、実施例1-7のいずれかに記載の拡張現実ディスプレイシステム。
9.世界内の実オブジェクトの場所を検出するように構成される深度センサをさらに備える、実施例1-8のいずれかに記載の拡張現実ディスプレイシステム。
10.該処理回路は、放出された不可視光の分布と不可視光の反射された部分の分布との間の差異を決定するように構成される、実施例1-9のいずれかに記載の拡張現実ディスプレイシステム。
11.該処理回路は、決定された差異に基づいて、差異シグネチャを識別するように構成される、実施例10に記載の拡張現実ディスプレイシステム。
12.該処理回路は、実オブジェクトの場所および差異シグネチャの場所に基づいて、実オブジェクトの配向を決定するように構成される、実施例11に記載の拡張現実ディスプレイシステム。
13.該処理回路は、少なくとも部分的に、差異シグネチャの場所に基づいて、実オブジェクトの場所を決定するように構成される、実施例12に記載の拡張現実ディスプレイシステム。
14.フレーム上に配置される、接眼レンズをさらに備え、該接眼レンズの少なくとも一部分は、透明であり、該透明部分が、装着者の正面の環境からの光を装着者の眼に透過させ、装着者の正面の環境のビューを提供するように、装着者が該ディスプレイシステムを装着したときに装着者の眼の正面の場所に配置される、実施例1-13のいずれかに記載の拡張現実ディスプレイシステム。
15.拡張現実ディスプレイシステムであって、
装着者上に搭載するように構成されるフレームと、
フレームに取り付けられ、画像を装着者の眼に指向するように構成される拡張現実ディスプレイと、
装着者の視野内の実オブジェクトの表面をマッピングするように構成される深度センサと、
実オブジェクトの表面上に入射する少なくとも第1の波長における光を投影するように構成される光源と、
実オブジェクトの表面によって反射された光の一部分を使用して画像を形成するように構成される光検出器と、
処理回路であって、該処理回路は、少なくとも部分的に、光パターンの反射された部分に基づいて、光差異マーカを決定し、仮想オブジェクトを光差異マーカに対して固定変位でレンダリングするように構成される、処理回路と
を備える、拡張現実ディスプレイシステム。
16.仮想オブジェクトを光差異マーカに対して固定変位でレンダリングすることは、
初期時間において仮想オブジェクトを実オブジェクトに対してレンダリングするための初期場所を受信することと、
初期場所と光差異マーカとの間の距離に基づいて、固定変位を決定することと、
初期時間に続くある時間に光差異マーカの後続場所を検出することと、
仮想オブジェクトを光差異マーカの検出された後続場所に対して固定変位でレンダリングすることと
を含む、実施例15に記載の拡張現実ディスプレイシステム。
17.フレーム上に配置される接眼レンズをさらに備え、該接眼レンズの少なくとも一部分は、透明であり、該透明部分が、装着者の正面の環境からの光を装着者の眼に透過させ、装着者の正面の環境のビューを提供するように、装着者が該ディスプレイシステムを装着したときに装着者の眼の正面の場所に配置される、実施例15または16に記載の拡張現実ディスプレイシステム。
18.3Dコンテンツと実オブジェクトとを整合させるように構成される拡張現実ディスプレイシステムであって、該システムは、
装着者上に搭載するように構成されるフレームと、
フレームに取り付けられ、画像を装着者の眼に指向するように構成される拡張現実ディスプレイと、
装着者の視野内の実オブジェクトの表面をマッピングするように構成される深度センサと、
光を放出することによって、オブジェクトの少なくとも一部分を照明するように構成される光源と、
該放出された光を使用して該光源によって照明された該オブジェクトの該一部分を結像するように構成される光センサと、
処理回路であって、該処理回路は、該オブジェクトの該画像内の特徴の1つ以上の特性に基づいて、実オブジェクトの場所、実オブジェクトの配向、または両方に関する情報を決定するように構成される、処理回路と
を備える、システム。
19.光源によって放出される光は、スポットをオブジェクトの該一部分上に形成するビームを備える、実施例18に記載の拡張現実ディスプレイシステム。
20.光源によって放出される光は、光パターンを備える、実施例18に記載の拡張現実ディスプレイシステム。
21.該特性は、該特徴の場所を備える、実施例18-20のいずれかに記載の拡張現実ディスプレイシステム。
22.該特性は、該特徴の形状を備える、実施例18-21のいずれかに記載の拡張現実ディスプレイシステム。
23.該特性は、該特徴の配向を備える、実施例18-22のいずれかに記載の拡張現実ディスプレイシステム。
24.該処理回路は、放出された光の分布と該オブジェクトから反射された該放出された光の分布との間の差異を決定するように構成される、実施例18-23のいずれかに記載の拡張現実ディスプレイシステム。
25.該処理回路は、決定された差異に基づいて、光差異マーカを識別するように構成される、実施例24に記載の拡張現実ディスプレイシステム。
26.該処理回路は、実オブジェクトの場所および光差異マーカの場所に基づいて、実オブジェクトの配向を決定するように構成される、実施例25に記載の拡張現実ディスプレイシステム。
27.該処理回路は、少なくとも部分的に、光差異マーカの場所に基づいて、実オブジェクトの場所を決定するように構成される、実施例25または26に記載の拡張現実ディスプレイシステム。
28.該深度センサは、レーザまたは超音波距離計を備える、実施例18-27のいずれかに記載の拡張現実ディスプレイシステム。
29.該深度センサは、カメラを備える、実施例18-28のいずれかに記載の拡張現実ディスプレイシステム。
30.フレーム上に配置される接眼レンズをさらに備え、該接眼レンズの少なくとも一部分は、透明であり、該透明部分が、装着者の正面の環境からの光を装着者の眼に透過させ、装着者の正面の環境のビューを提供するように、装着者が該ディスプレイシステムを装着したときに装着者の眼の正面の場所に配置される、実施例18-29のいずれかに記載の拡張現実ディスプレイシステム。
31.該ディスプレイは、異なる画像コンテンツが異なる深度に位置するかのように、画像コンテンツをレンダリングするように構成される、前述の実施例のいずれかに記載の拡張現実ディスプレイシステム。
32.該ディスプレイは、該異なる深度を提供するための異なる屈折力を有する多屈折力光学要素を含む、実施例31に記載の拡張現実ディスプレイシステム。
(例示的ディスプレイシステム)
種々の実装では、本明細書に説明される拡張現実システムおよび方法は、装着者の周囲の世界内の実オブジェクトと相互作用するように現れる、仮想オブジェクト等の仮想コンテンツをレンダリングするために使用されることができる。いくつかの実施形態では、深度センサが、装着者および/または装着者の身体部分の周囲の世界をマッピングするために使用されてもよく、拡張現実システムは、オブジェクトまたはグラフィック等の3D仮想コンテンツを世界内で検出された実オブジェクト上にレンダリングすることができる。一実施例では、仮想コンテンツは、装着者の手首上にレンダリングされた仮想腕時計であることができる。したがって、頭部搭載型拡張現実デバイスの装着者が、実腕時計を装着していない間、デバイスのディスプレイを通して装着者に表示される仮想腕時計は、装着者の手首上に位置するように現れることができる。別の実施例では、仮想コンテンツは、コーヒーカップの側面上に表示されるためのロゴまたは広告コンテンツ等の実オブジェクト上への表示のためのグラフィック設計であることができる。
本明細書に説明される種々のシステムおよび方法は、拡張現実ディスプレイシステムが、オブジェクトの表面またはその近傍における可視または不可視マーカの光反射および/または散乱性質に基づいて、オブジェクトの場所および配向を追跡することを可能にし得る。いくつかの例示的実施形態では、拡張現実ディスプレイシステムは、深度センサを使用して、オブジェクトの位置を追跡し、オブジェクトの表面における特徴を識別し、オブジェクトに対する特徴の場所に基づいて、オブジェクトの配向を決定することができる。特徴(時として、本明細書では、基準特徴または基準とも称される)は、配向追跡の目的のために付加的マーカを別個に適用せずに、オブジェクトの配向が追跡され得るように、オブジェクトの既存の特徴であってもよい。より詳細に説明されるであろうように、特徴または基準は、赤外線または紫外線範囲内等の可視光または不可視光を使用して検出されてもよい。基準または特徴は、手首上の母斑またはコーヒーカップ内のシーム等の背景特徴、または手首、腕、または手上の1つ以上の静脈等の不可視特徴であってもよい。
ブロック1140では、放射または放射パターンが、再び、放出される。ブロック1140において放出される放射は、ブロック1120において放出される放射と同一分布(例えば、均一分布、スポット、パターン、テクスチャ、または同等物)であることができる。放射パターンの放射方向は、放出された放射パターンが、少なくとも部分的に、光差異シグネチャ、マーカ、または目印が、見出されることが予期される、実オブジェクトの領域上に入射するように、深度センサ28によって追跡されるような物理的基準点の場所に基づいて、決定されることができる。放射方向は、光源24をジンバルまたは他の移動可能な搭載プラットフォーム上で枢動または別様に移動させることによって選択されることができる。例えば、装着者の腕の実施例では、放出される放射パターンは、物理的基準点からの計算される変位に基づいて、光差異シグネチャ、マーカ、または目印と関連付けられた母斑、静脈、または他の特徴の場所に指向されることができる。放射または放射パターンは、ブロック1120を参照して上記に説明されるものと同一様式で光源24によって放出されることができる。放射または放射パターンが、放出された後、方法1100は、ブロック1150に継続する。
上記に議論されるように、光のパターンの照明に関して議論される、システム、デバイス、方法、およびプロセスは同様に、均一照明または円形スポット等の任意の形状のスポットの投影にも適用される。加えて、上記の議論は、マーカまたは目印の識別および使用を参照したが、複数のマーカまたは目印も、仮想画像コンテンツの追跡および設置を提供するために識別および使用されてもよい。
本明細書は、例えば、以下の項目も提供する。
(項目1)
3Dコンテンツと実オブジェクトとを整合させるように構成される拡張現実ディスプレイシステムであって、前記システムは、
装着者上に搭載するように構成されるフレームと、
前記フレームに取り付けられ、画像を前記装着者の眼に指向するように構成される拡張現実ディスプレイと、
不可視光を放出することによって、前記オブジェクトの少なくとも一部分を照明するように構成される光源と、
前記不可視光を使用して、前記光源によって照明された前記オブジェクトの前記一部分を結像するように構成される光センサと、
処理回路であって、前記処理回路は、前記不可視光の反射された部分を使用して形成される前記画像内の特徴の1つ以上の特性に基づいて、前記オブジェクトの場所、前記オブジェクトの配向、または両方に関する情報を決定するように構成される、処理回路と
を備える、システム。
(項目2)
前記不可視光の反射された部分を使用して形成される前記画像内の特徴は、前記眼に不可視である、項目1に記載の拡張現実ディスプレイシステム。
(項目3)
前記不可視光は、赤外線光を備える、項目1-2のいずれかに記載の拡張現実ディスプレイシステム。
(項目4)
前記光源によって放出される不可視光は、スポットを前記オブジェクトの前記一部分上に形成するビームを備える、項目1-3のいずれかに記載の拡張現実ディスプレイシステム。
(項目5)
前記光源によって放出される不可視光は、光パターンを備える、項目1-3のいずれかに記載の拡張現実ディスプレイシステム。
(項目6)
前記特性は、前記特徴の場所を備える、項目1-5のいずれかに記載の拡張現実ディスプレイシステム。
(項目7)
前記特性は、前記特徴の形状を備える、項目1-6のいずれかに記載の拡張現実ディスプレイシステム。
(項目8)
前記特性は、前記特徴の配向を備える、項目1-7のいずれかに記載の拡張現実ディスプレイシステム。
(項目9)
世界内の実オブジェクトの場所を検出するように構成される深度センサをさらに備える、項目1-8のいずれかに記載の拡張現実ディスプレイシステム。
(項目10)
前記処理回路は、前記放出された不可視光の分布と前記不可視光の反射された部分の分布との間の差異を決定するように構成される、項目1-9のいずれかに記載の拡張現実ディスプレイシステム。
(項目11)
前記処理回路は、前記決定された差異に基づいて、差異シグネチャを識別するように構成される、項目10に記載の拡張現実ディスプレイシステム。
(項目12)
前記処理回路は、前記実オブジェクトの場所および前記差異シグネチャの場所に基づいて、前記実オブジェクトの配向を決定するように構成される、項目11に記載の拡張現実ディスプレイシステム。
(項目13)
前記処理回路は、少なくとも部分的に、前記差異シグネチャの場所に基づいて、前記実オブジェクトの場所を決定するように構成される、項目11に記載の拡張現実ディスプレイシステム。
(項目14)
前記フレーム上に配置される接眼レンズをさらに備え、前記接眼レンズの少なくとも一部分は、透明であり、前記透明部分が、前記装着者の正面の環境からの光を前記装着者の眼に透過させ、前記装着者の正面の環境のビューを提供するように、前記装着者が前記ディスプレイシステムを装着したときに前記装着者の眼の正面の場所に配置される、項目1-13のいずれかに記載の拡張現実ディスプレイシステム。
(項目15)
拡張現実ディスプレイシステムであって、
装着者上に搭載するように構成されるフレームと、
前記フレームに取り付けられ、画像を前記装着者の眼に指向するように構成される拡張現実ディスプレイと、
前記装着者の視野内の実オブジェクトの表面をマッピングするように構成される深度センサと、
前記実オブジェクトの表面上に入射する少なくとも第1の波長における光を投影するように構成される光源と、
前記実オブジェクトの表面によって反射された前記光の一部分を使用して画像を形成するように構成される光検出器と、
処理回路であって、前記処理回路は、少なくとも部分的に、光パターンの反射された部分に基づいて、光差異マーカを決定し、仮想オブジェクトを前記光差異マーカに対して固定変位でレンダリングするように構成される、処理回路と
を備える、拡張現実ディスプレイシステム。
(項目16)
前記仮想オブジェクトを前記光差異マーカに対して固定変位でレンダリングすることは、
初期時間において前記仮想オブジェクトを前記実オブジェクトに対してレンダリングするための初期場所を受信することと、
前記初期場所と前記光差異マーカとの間の距離に基づいて、前記固定変位を決定することと、
前記初期時間に続くある時間に前記光差異マーカの後続場所を検出することと、
前記仮想オブジェクトを前記光差異マーカの前記検出された後続場所に対して前記固定変位でレンダリングすることと
を含む、項目15に記載の拡張現実ディスプレイシステム。
(項目17)
前記フレーム上に配置される接眼レンズをさらに備え、前記接眼レンズの少なくとも一部分は、透明であり、前記透明部分が、前記装着者の正面の環境からの光を前記装着者の眼に透過させ、前記装着者の正面の環境のビューを提供するように、前記装着者が前記ディスプレイシステムを装着したときに前記装着者の眼の正面の場所に配置される、項目15または16に記載の拡張現実ディスプレイシステム。
(項目18)
3Dコンテンツと実オブジェクトとを整合させるように構成される拡張現実ディスプレイシステムであって、前記システムは、
装着者上に搭載するように構成されるフレームと、
前記フレームに取り付けられ、画像を前記装着者の眼に指向するように構成される拡張現実ディスプレイと、
前記装着者の視野内の実オブジェクトの表面をマッピングするように構成される深度センサと、
光を放出することによって、前記オブジェクトの少なくとも一部分を照明するように構成される光源と、
前記放出された光を使用して前記光源によって照明された前記オブジェクトの前記一部分を結像するように構成される光センサと、
処理回路であって、前記処理回路は、前記オブジェクトの前記画像内の特徴の1つ以上の特性に基づいて、前記実オブジェクトの場所、前記実オブジェクトの配向、または両方に関する情報を決定するように構成される、処理回路と
を備える、システム。
(項目19)
前記光源によって放出される光は、スポットを前記オブジェクトの前記一部分上に形成するビームを備える、項目18に記載の拡張現実ディスプレイシステム。
(項目20)
前記光源によって放出される光は、光パターンを備える、項目18に記載の拡張現実ディスプレイシステム。
(項目21)
前記特性は、前記特徴の場所を備える、項目18-20のいずれかに記載の拡張現実ディスプレイシステム。
(項目22)
前記特性は、前記特徴の形状を備える、項目18-21のいずれかに記載の拡張現実ディスプレイシステム。
(項目23)
前記特性は、前記特徴の配向を備える、項目18-22のいずれかに記載の拡張現実ディスプレイシステム。
(項目24)
前記処理回路は、前記放出された光の分布と前記オブジェクトから反射された前記放出された光の分布との間の差異を決定するように構成される、項目18-23のいずれかに記載の拡張現実ディスプレイシステム。
(項目25)
前記処理回路は、前記決定された差異に基づいて、光差異マーカを識別するように構成される、項目24に記載の拡張現実ディスプレイシステム。
(項目26)
前記処理回路は、少なくとも部分的に、前記光差異マーカの場所に基づいて、前記実オブジェクトの配向を決定するように構成される、項目25に記載の拡張現実ディスプレイシステム。
(項目27)
前記処理回路は、少なくとも部分的に、前記光差異マーカの場所に基づいて、前記実オブジェクトの場所を決定するように構成される、項目25または26に記載の拡張現実ディスプレイシステム。
(項目28)
前記深度センサは、レーザまたは超音波距離計を備える、項目18-27のいずれかに記載の拡張現実ディスプレイシステム。
(項目29)
前記深度センサは、カメラを備える、項目18-28のいずれかに記載の拡張現実ディスプレイシステム。
(項目30)
前記フレーム上に配置される接眼レンズをさらに備え、前記接眼レンズの少なくとも一部分は、透明であり、前記透明部分が、前記装着者の正面の環境からの光を前記装着者の眼に透過させ、前記装着者の正面の環境のビューを提供するように、前記装着者が前記ディスプレイシステムを装着したときに前記装着者の眼の正面の場所に配置される、項目18-29のいずれかに記載の拡張現実ディスプレイシステム。
(項目31)
前記ディスプレイは、異なる画像コンテンツが異なる深度に位置するかのように、画像コンテンツをレンダリングするように構成される、前記項目のいずれかに記載の拡張現実ディスプレイシステム。
(項目32)
前記ディスプレイは、前記異なる深度を提供するための異なる屈折力を有する多屈折力光学要素を含む、項目28に記載の拡張現実ディスプレイシステム。
Claims (14)
- 3Dコンテンツと皮膚を含む実オブジェクトとを整合させるように構成される拡張現実ディスプレイシステムであって、前記システムは、
装着者上に搭載するように構成されるフレームと、
前記フレームに取り付けられる拡張現実ディスプレイであって、前記拡張現実ディスプレイは、視覚情報を表す光を前記装着者の眼に指向するように構成される、拡張現実ディスプレイと、
不可視光を放出することによって、前記実オブジェクトの少なくとも一部分を照明するように構成される光源と、
前記不可視光を使用して、前記光源によって照明された前記実オブジェクトの前記一部分を結像するように構成される光センサと、
処理回路と
を備え、
前記処理回路は、
前記不可視光の反射された部分を使用して形成される画像内の特徴を検出することであって、前記特徴は、前記皮膚の上または下の既存の特徴に対応する、ことと、
仮想コンテンツのためのマーカとして使用される前記特徴を記憶することと、
前記不可視光の反射された部分を使用して形成される前記画像内の前記既存の特徴の1つ以上の特性に基づいて、前記実オブジェクトの場所、前記実オブジェクトの配向、または両方に関する情報を決定することと
を実行するように構成される、システム。 - 前記不可視光の反射された部分を使用して形成される前記画像内の特徴は、前記眼に不可視である、請求項1に記載の拡張現実ディスプレイシステム。
- 前記不可視光は、赤外線光を備える、請求項1-2のいずれかに記載の拡張現実ディスプレイシステム。
- 前記光源によって放出される不可視光は、スポットを前記実オブジェクトの前記一部分上に形成するビームを備える、請求項1-3のいずれかに記載の拡張現実ディスプレイシステム。
- 前記光源によって放出される不可視光は、光パターンを備える、請求項1-3のいずれかに記載の拡張現実ディスプレイシステム。
- 前記特性は、前記特徴の場所を備える、請求項1-5のいずれかに記載の拡張現実ディスプレイシステム。
- 前記特性は、前記特徴の形状を備える、請求項1-6のいずれかに記載の拡張現実ディスプレイシステム。
- 前記特性は、前記特徴の配向を備える、請求項1-7のいずれかに記載の拡張現実ディスプレイシステム。
- 世界内の実オブジェクトの場所を検出するように構成される深度センサをさらに備える、請求項1-8のいずれかに記載の拡張現実ディスプレイシステム。
- 前記処理回路は、前記放出された不可視光の分布と前記不可視光の反射された部分の分布との間の差異を決定するように構成される、請求項1-9のいずれかに記載の拡張現実ディスプレイシステム。
- 前記処理回路は、前記決定された差異に基づいて、差異シグネチャを識別するように構成される、請求項10に記載の拡張現実ディスプレイシステム。
- 前記処理回路は、前記実オブジェクトの場所および前記差異シグネチャの場所に基づいて、前記実オブジェクトの配向を決定するように構成される、請求項11に記載の拡張現実ディスプレイシステム。
- 前記処理回路は、少なくとも部分的に、前記差異シグネチャの場所に基づいて、前記実オブジェクトの場所を決定するように構成される、請求項11に記載の拡張現実ディスプレイシステム。
- 前記フレーム上に配置される接眼レンズをさらに備え、前記接眼レンズの少なくとも一部分は、透明であり、前記透明部分が、前記装着者の正面の環境からの光を前記装着者の眼に透過させ、前記装着者の正面の環境のビューを提供するように、前記装着者が前記ディスプレイシステムを装着したときに前記装着者の眼の正面の場所に配置される、請求項1-13のいずれかに記載の拡張現実ディスプレイシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022035008A JP7482163B2 (ja) | 2016-12-13 | 2022-03-08 | 拡張現実ディスプレイシステム |
JP2023124302A JP2023159118A (ja) | 2016-12-13 | 2023-07-31 | 検出された特徴を用いた3dオブジェクトレンダリング |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662433767P | 2016-12-13 | 2016-12-13 | |
US62/433,767 | 2016-12-13 | ||
PCT/US2017/065850 WO2018111895A1 (en) | 2016-12-13 | 2017-12-12 | 3d object rendering using detected features |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022035008A Division JP7482163B2 (ja) | 2016-12-13 | 2022-03-08 | 拡張現実ディスプレイシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020513590A JP2020513590A (ja) | 2020-05-14 |
JP7038713B2 true JP7038713B2 (ja) | 2022-03-18 |
Family
ID=62559186
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019530207A Active JP7038713B2 (ja) | 2016-12-13 | 2017-12-12 | 検出された特徴を用いた3dオブジェクトレンダリング |
JP2022035008A Active JP7482163B2 (ja) | 2016-12-13 | 2022-03-08 | 拡張現実ディスプレイシステム |
JP2023124302A Pending JP2023159118A (ja) | 2016-12-13 | 2023-07-31 | 検出された特徴を用いた3dオブジェクトレンダリング |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022035008A Active JP7482163B2 (ja) | 2016-12-13 | 2022-03-08 | 拡張現実ディスプレイシステム |
JP2023124302A Pending JP2023159118A (ja) | 2016-12-13 | 2023-07-31 | 検出された特徴を用いた3dオブジェクトレンダリング |
Country Status (9)
Country | Link |
---|---|
US (2) | US10922887B2 (ja) |
EP (1) | EP3555865A4 (ja) |
JP (3) | JP7038713B2 (ja) |
KR (2) | KR102497707B1 (ja) |
CN (2) | CN116778120A (ja) |
AU (1) | AU2017375951B2 (ja) |
CA (1) | CA3046399A1 (ja) |
IL (1) | IL267117B (ja) |
WO (1) | WO2018111895A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018111895A1 (en) | 2016-12-13 | 2018-06-21 | Magic Leap, Inc. | 3d object rendering using detected features |
US10371896B2 (en) * | 2016-12-22 | 2019-08-06 | Magic Leap, Inc. | Color separation in planar waveguides using dichroic filters |
JP7407111B2 (ja) | 2017-12-15 | 2023-12-28 | マジック リープ, インコーポレイテッド | 拡張現実ディスプレイシステムのための接眼レンズ |
EP3528003A1 (en) * | 2018-02-15 | 2019-08-21 | Kinexon GmbH | System and method estimating orientation from radio measurements |
JP7444861B2 (ja) * | 2018-09-26 | 2024-03-06 | マジック リープ, インコーポレイテッド | 屈折力を有する回折光学要素 |
EP3632517B1 (en) * | 2018-10-05 | 2023-08-23 | HTC Corporation | Electronic apparatus |
WO2020101892A1 (en) | 2018-11-12 | 2020-05-22 | Magic Leap, Inc. | Patch tracking image sensor |
US11985440B2 (en) | 2018-11-12 | 2024-05-14 | Magic Leap, Inc. | Depth based dynamic vision sensor |
WO2020101895A1 (en) | 2018-11-12 | 2020-05-22 | Magic Leap, Inc. | Event-based camera with high-resolution frame output |
WO2020102110A1 (en) * | 2018-11-13 | 2020-05-22 | Magic Leap, Inc. | Event-based ir camera |
WO2020106824A1 (en) * | 2018-11-20 | 2020-05-28 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
CN113678435A (zh) | 2019-02-07 | 2021-11-19 | 奇跃公司 | 具有高时间分辨率的轻型低功耗交叉现实设备 |
JP2022519310A (ja) | 2019-02-07 | 2022-03-22 | マジック リープ, インコーポレイテッド | 受動深度抽出を伴う軽量のクロスリアリティデバイス |
WO2021040106A1 (ko) * | 2019-08-30 | 2021-03-04 | 엘지전자 주식회사 | Ar 장치 및 그 제어 방법 |
KR20210035557A (ko) | 2019-09-24 | 2021-04-01 | 삼성전자주식회사 | 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치 |
WO2021109885A1 (en) * | 2019-12-06 | 2021-06-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Light source detection for extended reality technologies |
US11176716B2 (en) * | 2020-02-28 | 2021-11-16 | Weta Digital Limited | Multi-source image data synchronization |
WO2021237168A1 (en) | 2020-05-22 | 2021-11-25 | Magic Leap, Inc. | Method and system for dual projector waveguide displays with wide field of view |
KR102419290B1 (ko) | 2020-08-12 | 2022-07-12 | 태나다 주식회사 | 동영상 데이터에 3차원 가상객체를 합성하는 방법 및 장치 |
WO2022140582A1 (en) * | 2020-12-23 | 2022-06-30 | Magic Leap, Inc. | Eyepiece imaging assemblies for a head mounted display |
WO2024123253A1 (en) * | 2022-12-09 | 2024-06-13 | National University Hospital (Singapore) Pte Ltd | System and method for mixed reality veinvein visualization |
CN117389422A (zh) * | 2023-10-24 | 2024-01-12 | 深圳市旅途供应链管理有限公司 | 磁吸式折叠键盘鼠标一体化的电脑组件 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050165A (ja) | 2004-08-03 | 2006-02-16 | Olympus Corp | 情報表示装置 |
JP2008508591A (ja) | 2004-07-30 | 2008-03-21 | インダストリー ユニバーシティー コーポレーション ファウンデーション ハンヤン ユニバーシティー | 肉眼で見えないマーカーを用いるビジョンベースの拡張リアリティシステム |
US20120274745A1 (en) | 2011-04-29 | 2012-11-01 | Austin Russell | Three-dimensional imager and projection device |
WO2013179427A1 (ja) | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
JP2015125641A (ja) | 2013-12-26 | 2015-07-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
Family Cites Families (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
CN102036616B (zh) | 2008-03-21 | 2015-05-13 | 高桥淳 | 三维数字放大镜手术支持系统 |
KR101648201B1 (ko) | 2009-11-04 | 2016-08-12 | 삼성전자주식회사 | 영상 센서 및 이의 제조 방법. |
US20130278631A1 (en) | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
WO2012088478A1 (en) | 2010-12-24 | 2012-06-28 | Chunyu Gao | An ergonomic head mounted display device and optical system |
US8611601B2 (en) * | 2011-03-08 | 2013-12-17 | Bank Of America Corporation | Dynamically indentifying individuals from a captured image |
RU2621644C2 (ru) | 2011-05-06 | 2017-06-06 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
EP2771877B1 (en) | 2011-10-28 | 2017-10-11 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR102513896B1 (ko) | 2011-11-23 | 2023-03-23 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
EP3608717B1 (en) | 2012-04-05 | 2023-09-27 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
JP5912059B2 (ja) * | 2012-04-06 | 2016-04-27 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
US20140046291A1 (en) | 2012-04-26 | 2014-02-13 | Evena Medical, Inc. | Vein imaging systems and methods |
US20140039309A1 (en) | 2012-04-26 | 2014-02-06 | Evena Medical, Inc. | Vein imaging systems and methods |
US20130293530A1 (en) | 2012-05-04 | 2013-11-07 | Kathryn Stone Perez | Product augmentation and advertising in see through displays |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
NZ702897A (en) | 2012-06-11 | 2017-03-31 | Magic Leap Inc | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
US9898742B2 (en) * | 2012-08-03 | 2018-02-20 | Ebay Inc. | Virtual dressing room |
JP2015534108A (ja) | 2012-09-11 | 2015-11-26 | マジック リープ, インコーポレイテッド | 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム |
US20140160162A1 (en) | 2012-12-12 | 2014-06-12 | Dhanushan Balachandreswaran | Surface projection device for augmented reality |
WO2014113506A1 (en) | 2013-01-15 | 2014-07-24 | Magic Leap, Inc. | Ultra-high resolution scanning fiber display |
IL308285B1 (en) | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
CN108628446B (zh) | 2013-03-15 | 2021-10-26 | 奇跃公司 | 显示系统和方法 |
US20140285520A1 (en) * | 2013-03-22 | 2014-09-25 | Industry-University Cooperation Foundation Hanyang University | Wearable display device using augmented reality |
EP2797313A1 (en) * | 2013-04-26 | 2014-10-29 | Elvesjö, John | Computer graphics presentation system and method |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
CA2927818C (en) | 2013-10-16 | 2021-11-30 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
US20150257735A1 (en) | 2013-10-24 | 2015-09-17 | Evena Medical, Inc. | Systems and methods for displaying medical images |
CN105934902B (zh) | 2013-11-27 | 2018-11-23 | 奇跃公司 | 虚拟和增强现实系统与方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US9405122B2 (en) | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
CA2938264C (en) | 2014-01-31 | 2020-09-22 | Magic Leap, Inc. | Multi-focal display system and method |
AU2015210708B2 (en) | 2014-01-31 | 2020-01-02 | Magic Leap, Inc. | Multi-focal display system and method |
US10691332B2 (en) * | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9552674B1 (en) * | 2014-03-26 | 2017-01-24 | A9.Com, Inc. | Advertisement relevance |
EP3140780B1 (en) | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
US10061058B2 (en) * | 2014-05-21 | 2018-08-28 | Universal City Studios Llc | Tracking system and method for use in surveying amusement park equipment |
EP3149539A4 (en) | 2014-05-30 | 2018-02-07 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
JP6481269B2 (ja) * | 2014-07-01 | 2019-03-13 | 富士通株式会社 | 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置 |
KR101930657B1 (ko) * | 2014-10-24 | 2018-12-18 | 유센스, 인코퍼레이티드 | 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법 |
US9733790B2 (en) * | 2014-10-30 | 2017-08-15 | Disney Enterprises, Inc. | Haptic interface for population of a three-dimensional virtual environment |
JP2016091348A (ja) * | 2014-11-06 | 2016-05-23 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
US20160140761A1 (en) | 2014-11-19 | 2016-05-19 | Microsoft Technology Licensing, Llc. | Using depth information for drawing in augmented reality scenes |
US9728010B2 (en) * | 2014-12-30 | 2017-08-08 | Microsoft Technology Licensing, Llc | Virtual representations of real-world objects |
US9846968B2 (en) * | 2015-01-20 | 2017-12-19 | Microsoft Technology Licensing, Llc | Holographic bird's eye view camera |
NZ773840A (en) | 2015-03-16 | 2022-07-29 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US10147218B2 (en) * | 2016-09-29 | 2018-12-04 | Sony Interactive Entertainment America, LLC | System to identify and use markers for motion capture |
WO2018111895A1 (en) | 2016-12-13 | 2018-06-21 | Magic Leap, Inc. | 3d object rendering using detected features |
-
2017
- 2017-12-12 WO PCT/US2017/065850 patent/WO2018111895A1/en unknown
- 2017-12-12 JP JP2019530207A patent/JP7038713B2/ja active Active
- 2017-12-12 CN CN202310784659.XA patent/CN116778120A/zh active Pending
- 2017-12-12 KR KR1020197019594A patent/KR102497707B1/ko active IP Right Grant
- 2017-12-12 CN CN201780086089.XA patent/CN110291565B/zh active Active
- 2017-12-12 EP EP17881991.8A patent/EP3555865A4/en active Pending
- 2017-12-12 US US15/839,654 patent/US10922887B2/en active Active
- 2017-12-12 CA CA3046399A patent/CA3046399A1/en active Pending
- 2017-12-12 AU AU2017375951A patent/AU2017375951B2/en active Active
- 2017-12-12 KR KR1020237004071A patent/KR20230022453A/ko not_active Application Discontinuation
-
2019
- 2019-06-05 IL IL267117A patent/IL267117B/en unknown
-
2021
- 2021-02-11 US US17/174,195 patent/US11461982B2/en active Active
-
2022
- 2022-03-08 JP JP2022035008A patent/JP7482163B2/ja active Active
-
2023
- 2023-07-31 JP JP2023124302A patent/JP2023159118A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008508591A (ja) | 2004-07-30 | 2008-03-21 | インダストリー ユニバーシティー コーポレーション ファウンデーション ハンヤン ユニバーシティー | 肉眼で見えないマーカーを用いるビジョンベースの拡張リアリティシステム |
JP2006050165A (ja) | 2004-08-03 | 2006-02-16 | Olympus Corp | 情報表示装置 |
US20120274745A1 (en) | 2011-04-29 | 2012-11-01 | Austin Russell | Three-dimensional imager and projection device |
WO2013179427A1 (ja) | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
JP2015125641A (ja) | 2013-12-26 | 2015-07-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7482163B2 (ja) | 2024-05-13 |
EP3555865A4 (en) | 2020-07-08 |
KR102497707B1 (ko) | 2023-02-08 |
CA3046399A1 (en) | 2018-06-21 |
WO2018111895A1 (en) | 2018-06-21 |
CN116778120A (zh) | 2023-09-19 |
US11461982B2 (en) | 2022-10-04 |
CN110291565A (zh) | 2019-09-27 |
EP3555865A1 (en) | 2019-10-23 |
KR20190095334A (ko) | 2019-08-14 |
US20180182173A1 (en) | 2018-06-28 |
JP2023159118A (ja) | 2023-10-31 |
AU2017375951B2 (en) | 2022-02-10 |
IL267117B (en) | 2022-05-01 |
JP2022088420A (ja) | 2022-06-14 |
IL267117A (en) | 2019-08-29 |
AU2017375951A1 (en) | 2019-06-20 |
US20210350623A1 (en) | 2021-11-11 |
JP2020513590A (ja) | 2020-05-14 |
KR20230022453A (ko) | 2023-02-15 |
CN110291565B (zh) | 2023-06-30 |
US10922887B2 (en) | 2021-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7038713B2 (ja) | 検出された特徴を用いた3dオブジェクトレンダリング | |
JP7077334B2 (ja) | 分割瞳のための空間光変調器照明を伴うディスプレイシステム | |
US11391951B2 (en) | Dual depth exit pupil expander | |
JP7539449B2 (ja) | 仮想現実、拡張現実、および複合現実システムのための接眼レンズ | |
JP2022103279A (ja) | 回折光学要素を使用した眼結像装置 | |
KR102665359B1 (ko) | 저-프로파일 빔 스플리터 | |
IL274976B1 (en) | Improved positioning for a display device | |
JP2022075703A (ja) | 複数の光エミッタに対する複数の光パイプを有するディスプレイシステム | |
JP2020534584A (ja) | 眼および/または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ | |
JP2020502567A (ja) | 周囲光源からの光を操作するためのシステムおよび方法 | |
JP2023511083A (ja) | アンカベースのクロスリアリティアプリケーションのための向上された状態制御 | |
NZ795513A (en) | 3D object rendering using detected features | |
US20230168506A1 (en) | High efficiency optical assembly with folded optical path | |
JP2023512238A (ja) | 眼球運動測定査定のための拡張および仮想現実ディスプレイシステム | |
TW202300987A (zh) | 用於改善視場的頭戴式顯示器中的波導配置 | |
NZ757423B2 (en) | Low-profile beam splitter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7038713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |