JP2024069461A - 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 - Google Patents
左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 Download PDFInfo
- Publication number
- JP2024069461A JP2024069461A JP2024039794A JP2024039794A JP2024069461A JP 2024069461 A JP2024069461 A JP 2024069461A JP 2024039794 A JP2024039794 A JP 2024039794A JP 2024039794 A JP2024039794 A JP 2024039794A JP 2024069461 A JP2024069461 A JP 2024069461A
- Authority
- JP
- Japan
- Prior art keywords
- user
- eye
- display
- head mounted
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001508 eye Anatomy 0.000 title claims abstract description 837
- 238000000034 method Methods 0.000 title claims abstract description 137
- 239000003550 marker Substances 0.000 claims abstract description 122
- 210000003128 head Anatomy 0.000 claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 claims description 88
- 230000008569 process Effects 0.000 claims description 61
- 238000003384 imaging method Methods 0.000 claims description 58
- 230000004044 response Effects 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 abstract description 109
- 230000000694 effects Effects 0.000 abstract description 5
- 210000001747 pupil Anatomy 0.000 description 122
- 230000003287 optical effect Effects 0.000 description 94
- 230000000007 visual effect Effects 0.000 description 41
- 238000004422 calculation algorithm Methods 0.000 description 38
- 210000004087 cornea Anatomy 0.000 description 34
- 238000012545 processing Methods 0.000 description 33
- 238000001514 detection method Methods 0.000 description 31
- 238000010606 normalization Methods 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 230000004438 eyesight Effects 0.000 description 17
- 230000004308 accommodation Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000001902 propagating effect Effects 0.000 description 8
- 210000001525 retina Anatomy 0.000 description 8
- 230000029777 axis specification Effects 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 230000036544 posture Effects 0.000 description 7
- 230000000284 resting effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000004418 eye rotation Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000035807 sensation Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000004434 saccadic eye movement Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 206010034962 Photopsia Diseases 0.000 description 4
- 230000002350 accommodative effect Effects 0.000 description 4
- 210000002159 anterior chamber Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000000193 eyeblink Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 229910000065 phosphene Inorganic materials 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 206010019233 Headaches Diseases 0.000 description 3
- XYFCBTPGUUZFHI-UHFFFAOYSA-N Phosphine Chemical compound P XYFCBTPGUUZFHI-UHFFFAOYSA-N 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 231100000869 headache Toxicity 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000004470 vergence movement Effects 0.000 description 2
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 1
- VWVRASTUFJRTHW-UHFFFAOYSA-N 2-[3-(azetidin-3-yloxy)-4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]pyrazol-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound O=C(CN1C=C(C(OC2CNC2)=N1)C1=CN=C(NC2CC3=C(C2)C=CC=C3)N=C1)N1CCC2=C(C1)N=NN2 VWVRASTUFJRTHW-UHFFFAOYSA-N 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- 241001589086 Bellapiscis medius Species 0.000 description 1
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005297 material degradation process Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000005382 thermal cycling Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0075—Arrangements of multiple light guides
- G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0606—Manual adjustment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2356/00—Detection of the display position w.r.t. other display screens
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】好適な左及び右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法を提供すること。【解決手段】ウェアラブルデバイスは、ディスプレイのユーザの周囲環境内に位置するように現れる3次元(3D)仮想オブジェクトをレンダリングするための頭部搭載型ディスプレイ(HMD)を含み得る。HMD及びユーザの片眼又は両眼の相対的位置は、HMDによって出力された画像情報を受信するために所望の位置にない場合がある。例えば、HMD/眼垂直整合は左眼と右眼との間で異なり得る。ウェアラブルデバイスは、HMDがユーザの頭部上で水平であるかどうかを決定し得、次いでユーザに左眼整合マーカ及び右眼整合マーカを提供し得る。ユーザフィードバックに基づいて、ウェアラブルデバイスは、任意の左右垂直不整合が存在するかどうかを決定し得、任意の不整合の影響を低減又は最小限にするための措置を講じ得る。【選択図】図18
Description
(参照による組み込み)
本願は、参照することによって、以下の特許出願、すなわち、2018年8月3日に出願された米国仮出願第62/714,649号、2019年7月17日に出願された米国仮出願第62/875,474号、2019年7月17日に出願された米国特許出願第16/251,017号、および2019年7月23日に出願されたPCT出願第PCT/US2019/043096号のそれぞれの全体を組み込む。
本願は、参照することによって、以下の特許出願、すなわち、2018年8月3日に出願された米国仮出願第62/714,649号、2019年7月17日に出願された米国仮出願第62/875,474号、2019年7月17日に出願された米国特許出願第16/251,017号、および2019年7月23日に出願されたPCT出願第PCT/US2019/043096号のそれぞれの全体を組み込む。
本開示は、仮想現実および拡張現実ディスプレイシステムを含む、ディスプレイシステムに関し、より具体的には、ウェアラブルディスプレイシステム内の左および右ディスプレイを整合させるためのシステムおよび方法に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VR、AR、またはMR技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、ならびにMR技術に関連する種々の課題に対処する。
複合現実システム内のディスプレイ整合の種々の実施例が、開示される。
いくつかの実施形態では、拡張現実システムが、提供される。拡張現実システムは、光をユーザに出力することによって仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、ユーザの眼の画像を捕捉するように構成される、結像デバイスと、頭部搭載型ディスプレイおよび結像デバイスに通信可能に結合される、少なくとも1つのプロセッサとを備える。少なくとも1つのプロセッサは、左眼ディスプレイを用いて、左眼整合マーカを提供し、右眼ディスプレイを用いて、右眼整合マーカを提供し、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するように構成される。いくつかの実施形態では、少なくとも1つのプロセッサは、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかを決定し、左または右眼整合マーカを提供する前に、ユーザに、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される。
いくつかの他の実施形態では、ユーザの左および右眼を用いて、頭部搭載型ディスプレイシステムの左眼ディスプレイおよび右眼ディスプレイの表示されるコンテンツを垂直に整合させるための方法が、提供される。本方法は、左眼ディスプレイを用いて、左眼整合マーカを提供するステップと、右眼ディスプレイを用いて、右眼整合マーカを提供するステップと、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するステップとを含む。いくつかの実施形態では、本方法はさらに、ユーザの左および右眼に対する頭部搭載型ディスプレイシステムの水平度を決定するステップと、左または右眼整合マーカを提供する前に、ユーザに、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するステップとを含む。
いくつかの実施形態では、拡張現実システムが、提供される。拡張現実システムは、光をユーザに出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイ(HMD)と、HMDに通信可能に結合される、少なくとも1つのプロセッサとを備える。HMDは、仮想コンテンツをユーザの左眼に提示するように構成される、左眼ディスプレイと、仮想コンテンツをユーザの右眼に提示するように構成される、右眼ディスプレイとを備える。少なくとも1つのプロセッサは、左眼ディスプレイを用いて、左眼整合マーカを提供し、右眼ディスプレイを用いて、右眼整合マーカを提供し、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するように構成される。
いくつかの実施形態では、拡張現実システムが、提供される。拡張現実システムは、光をユーザに出力することによって仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイ(HMD)と、ユーザの眼の画像を捕捉するように構成される、結像システムと、HMDおよび結像デバイスに通信可能に結合される、少なくとも1つのプロセッサとを備える。少なくとも1つのプロセッサは、少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定し、ユーザの眼球間軸に対するHMDの配向を決定し、ユーザに、ユーザの眼球間軸に対するHMDの決定された配向に基づいて、フィードバックを提供するように構成される。
付加的実施例が、下記に列挙される。
(実施例1)
拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
ユーザの眼の画像を捕捉するように構成される、結像デバイスと、
頭部搭載型ディスプレイおよび結像デバイスに通信可能に結合される、少なくとも1つのプロセッサであって、
左眼ディスプレイを用いて、左眼整合マーカを提供し、
右眼ディスプレイを用いて、右眼整合マーカを提供し、
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節する、
ように構成される、少なくとも1つのプロセッサと、
を備える、システム。
拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
ユーザの眼の画像を捕捉するように構成される、結像デバイスと、
頭部搭載型ディスプレイおよび結像デバイスに通信可能に結合される、少なくとも1つのプロセッサであって、
左眼ディスプレイを用いて、左眼整合マーカを提供し、
右眼ディスプレイを用いて、右眼整合マーカを提供し、
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節する、
ように構成される、少なくとも1つのプロセッサと、
を備える、システム。
(実施例2)
プロセッサは、
頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかを決定し、
ユーザに、左眼ディスプレイを用いて左眼整合マーカを提供する前に、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供する、
ように構成される、実施例1に記載の拡張現実システム。
プロセッサは、
頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかを決定し、
ユーザに、左眼ディスプレイを用いて左眼整合マーカを提供する前に、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供する、
ように構成される、実施例1に記載の拡張現実システム。
(実施例3)
プロセッサは、ユーザに、ユーザの左および右眼に対する頭部搭載型ディスプレイの配向に関連して変化する配向を有する、水平マーカを提示することによって、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される、実施例1に記載の拡張現実システム。
プロセッサは、ユーザに、ユーザの左および右眼に対する頭部搭載型ディスプレイの配向に関連して変化する配向を有する、水平マーカを提示することによって、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される、実施例1に記載の拡張現実システム。
(実施例4)
眼追跡システムをさらに備え、プロセッサは、眼追跡システムからの眼追跡データに基づいて、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかを決定するように構成される、実施例1に記載の拡張現実システム。
眼追跡システムをさらに備え、プロセッサは、眼追跡システムからの眼追跡データに基づいて、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかを決定するように構成される、実施例1に記載の拡張現実システム。
(実施例5)
眼追跡システムをさらに備え、プロセッサはさらに、眼追跡システムからの眼追跡データに基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定するように構成される、実施例1に記載の拡張現実システム。
眼追跡システムをさらに備え、プロセッサはさらに、眼追跡システムからの眼追跡データに基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定するように構成される、実施例1に記載の拡張現実システム。
(実施例6)
プロセッサはさらに、ユーザの眼球間軸に対する眼追跡システムの配向を決定することによって、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかを決定するように構成される、実施例5に記載の拡張現実システム。
プロセッサはさらに、ユーザの眼球間軸に対する眼追跡システムの配向を決定することによって、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかを決定するように構成される、実施例5に記載の拡張現実システム。
(実施例7)
プロセッサは、ユーザに、ユーザの眼球間軸に対する眼追跡システムの配向に関連して変化する配向を有する、水平マーカを提示することによって、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される、実施例5に記載の拡張現実システム。
プロセッサは、ユーザに、ユーザの眼球間軸に対する眼追跡システムの配向に関連して変化する配向を有する、水平マーカを提示することによって、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される、実施例5に記載の拡張現実システム。
(実施例8)
プロセッサは、ユーザに、頭部搭載型ディスプレイの配向と関連付けられる静的水平マーカを提示し、眼球間軸の配向と関連付けられる動的水平マーカを提示することによって、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成され、動的水平マーカは、眼球間軸の配向が頭部搭載型ディスプレイに対して変化するにつれて、静的水平マーカに対して移動する、実施例5に記載の拡張現実システム。
プロセッサは、ユーザに、頭部搭載型ディスプレイの配向と関連付けられる静的水平マーカを提示し、眼球間軸の配向と関連付けられる動的水平マーカを提示することによって、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成され、動的水平マーカは、眼球間軸の配向が頭部搭載型ディスプレイに対して変化するにつれて、静的水平マーカに対して移動する、実施例5に記載の拡張現実システム。
(実施例9)
動的水平マーカは、頭部搭載型ディスプレイが眼球間軸に対して水平であるとき、静的水平マーカとマージする、実施例8に記載の拡張現実システム。
動的水平マーカは、頭部搭載型ディスプレイが眼球間軸に対して水平であるとき、静的水平マーカとマージする、実施例8に記載の拡張現実システム。
(実施例10)
左眼整合マーカは、第1の水平線を備え、右眼整合マーカは、第2の水平線を備える、実施例1に記載の拡張現実システム。
左眼整合マーカは、第1の水平線を備え、右眼整合マーカは、第2の水平線を備える、実施例1に記載の拡張現実システム。
(実施例11)
プロセッサは、第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するように構成される、実施例10に記載の拡張現実システム。
プロセッサは、第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するように構成される、実施例10に記載の拡張現実システム。
(実施例12)
プロセッサは、第1および第2の水平線がユーザの視点から水平になるまで、第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するように構成される、実施例10に記載の拡張現実システム。
プロセッサは、第1および第2の水平線がユーザの視点から水平になるまで、第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するように構成される、実施例10に記載の拡張現実システム。
(実施例13)
頭部搭載型ディスプレイは、世界からの光をユーザの左眼の中に通過させるように構成される、第1の導波管スタックと、世界からの光をユーザの右眼の中に通過させるように構成される、第2の導波管スタックとを備え、各導波管スタックは、複数の導波管を備える、実施例1に記載の拡張現実システム。
頭部搭載型ディスプレイは、世界からの光をユーザの左眼の中に通過させるように構成される、第1の導波管スタックと、世界からの光をユーザの右眼の中に通過させるように構成される、第2の導波管スタックとを備え、各導波管スタックは、複数の導波管を備える、実施例1に記載の拡張現実システム。
(実施例14)
頭部搭載型ディスプレイは、世界からの光をユーザの左眼の中に通過させるように構成される、第1の導波管スタックと、世界からの光をユーザの右眼の中に通過させるように構成される、第2の導波管スタックとを備え、
各導波管スタックは、複数の導波管を備え、その導波管スタックの1つ以上の導波管は、ユーザに、その導波管スタックの1つ以上の他の導波管と異なる量の波面発散を伴う光を出力するように構成され、
異なる量の波面発散は、眼による異なる遠近調節と関連付けられ、
異なる量の波面発散を伴う出力された光は、仮想オブジェクトをユーザから離れた異なる知覚される深度に形成する、
実施例1に記載の拡張現実システム。
頭部搭載型ディスプレイは、世界からの光をユーザの左眼の中に通過させるように構成される、第1の導波管スタックと、世界からの光をユーザの右眼の中に通過させるように構成される、第2の導波管スタックとを備え、
各導波管スタックは、複数の導波管を備え、その導波管スタックの1つ以上の導波管は、ユーザに、その導波管スタックの1つ以上の他の導波管と異なる量の波面発散を伴う光を出力するように構成され、
異なる量の波面発散は、眼による異なる遠近調節と関連付けられ、
異なる量の波面発散を伴う出力された光は、仮想オブジェクトをユーザから離れた異なる知覚される深度に形成する、
実施例1に記載の拡張現実システム。
(実施例15)
ユーザの左および右眼を用いて、頭部搭載型ディスプレイシステムの左眼ディスプレイおよび右眼ディスプレイの表示されるコンテンツを垂直に整合させるための方法であって、
左眼ディスプレイを用いて、左眼整合マーカを提供するステップと、
右眼ディスプレイを用いて、右眼整合マーカを提供するステップと、
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するステップと、
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するステップと、
を含む、方法。
ユーザの左および右眼を用いて、頭部搭載型ディスプレイシステムの左眼ディスプレイおよび右眼ディスプレイの表示されるコンテンツを垂直に整合させるための方法であって、
左眼ディスプレイを用いて、左眼整合マーカを提供するステップと、
右眼ディスプレイを用いて、右眼整合マーカを提供するステップと、
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するステップと、
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するステップと、
を含む、方法。
(実施例16)
ユーザの左および右眼に対する頭部搭載型ディスプレイシステムの水平度を決定するステップと、
左または右眼整合マーカを提供する前に、ユーザに、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するステップと、
をさらに含む、実施例15に記載の方法。
ユーザの左および右眼に対する頭部搭載型ディスプレイシステムの水平度を決定するステップと、
左または右眼整合マーカを提供する前に、ユーザに、頭部搭載型ディスプレイシステムがユーザの左および右眼に対して水平であるかどうかに関するフィードバックを提供するステップと、
をさらに含む、実施例15に記載の方法。
(実施例17)
頭部搭載型ディスプレイシステムは、眼追跡システムを備え、ユーザの左および右眼に対する頭部搭載型ディスプレイシステムの水平度を決定するステップは、眼追跡システムを利用して、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定し、眼球間軸に対する頭部搭載型ディスプレイシステムの水平度を決定するステップを含む、実施例15に記載の方法。
頭部搭載型ディスプレイシステムは、眼追跡システムを備え、ユーザの左および右眼に対する頭部搭載型ディスプレイシステムの水平度を決定するステップは、眼追跡システムを利用して、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定し、眼球間軸に対する頭部搭載型ディスプレイシステムの水平度を決定するステップを含む、実施例15に記載の方法。
(実施例18)
眼追跡システムを利用して、ユーザの眼球間軸を決定するステップは、
眼追跡システムを用いて、ユーザの左眼の回転中心を決定するステップと、
眼追跡システムを用いて、ユーザの右眼の回転中心を決定するステップと、
ユーザの左および右眼の回転中心間に延在する線の位置を決定するステップであって、線は、眼球間軸を構成する、ステップと、
を含む、実施例17に記載の方法。
眼追跡システムを利用して、ユーザの眼球間軸を決定するステップは、
眼追跡システムを用いて、ユーザの左眼の回転中心を決定するステップと、
眼追跡システムを用いて、ユーザの右眼の回転中心を決定するステップと、
ユーザの左および右眼の回転中心間に延在する線の位置を決定するステップであって、線は、眼球間軸を構成する、ステップと、
を含む、実施例17に記載の方法。
(実施例19)
左眼整合マーカを提供するステップは、左眼ディスプレイを用いて、第1の垂直整合マーカおよび第1の水平整合マーカを提供するステップを含み、右眼整合マーカを提供するステップは、右眼ディスプレイを用いて、第2の垂直整合マーカおよび第2の水平整合マーカを提供するステップを含む、実施例15に記載の方法。
左眼整合マーカを提供するステップは、左眼ディスプレイを用いて、第1の垂直整合マーカおよび第1の水平整合マーカを提供するステップを含み、右眼整合マーカを提供するステップは、右眼ディスプレイを用いて、第2の垂直整合マーカおよび第2の水平整合マーカを提供するステップを含む、実施例15に記載の方法。
(実施例20)
ユーザによって視認されると、第1および第2の垂直整合マーカは、ユーザの視覚内でともに融合し、第1および第2の水平整合マーカは、ユーザの視覚内で融合されないままである、実施例19に記載の方法。
ユーザによって視認されると、第1および第2の垂直整合マーカは、ユーザの視覚内でともに融合し、第1および第2の水平整合マーカは、ユーザの視覚内で融合されないままである、実施例19に記載の方法。
(実施例21)
左眼および右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信するステップは、第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信するステップを含む、実施例19に記載の方法。
左眼および右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信するステップは、第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信するステップを含む、実施例19に記載の方法。
(実施例22)
左眼および右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信するステップは、第1および第2の水平整合マーカがユーザの視覚内で相互に垂直に整合されるまで、第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信するステップを含む、実施例19に記載の方法。
左眼および右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信するステップは、第1および第2の水平整合マーカがユーザの視覚内で相互に垂直に整合されるまで、第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信するステップを含む、実施例19に記載の方法。
(実施例23)
ユーザが所与の閾値時間にわたって頭部搭載型ディスプレイシステムを装着していることを決定するステップと、
ユーザが所与の閾値時間にわたって頭部搭載型ディスプレイシステムを装着していることを決定するステップと、
ユーザが所与の閾値時間にわたって頭部搭載型ディスプレイシステムを装着していることの決定に応答して、頭部搭載型ディスプレイシステムの水平度を決定するステップを実施するステップと、
をさらに含む、実施例15に記載の方法。
をさらに含む、実施例15に記載の方法。
(実施例24)
拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイであって、仮想コンテンツをユーザの左眼に提示するように構成される、左眼ディスプレイと、仮想コンテンツをユーザの右眼に提示するように構成される、右眼ディスプレイとを備える、頭部搭載型ディスプレイと、
頭部搭載型ディスプレイに通信可能に結合される、少なくとも1つのプロセッサであって、
左眼ディスプレイを用いて、左眼整合マーカを提供し、
右眼ディスプレイを用いて、右眼整合マーカを提供し、
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節する、
ように構成される、少なくとも1つのプロセッサと、
を備える、拡張現実システム。
拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイであって、仮想コンテンツをユーザの左眼に提示するように構成される、左眼ディスプレイと、仮想コンテンツをユーザの右眼に提示するように構成される、右眼ディスプレイとを備える、頭部搭載型ディスプレイと、
頭部搭載型ディスプレイに通信可能に結合される、少なくとも1つのプロセッサであって、
左眼ディスプレイを用いて、左眼整合マーカを提供し、
右眼ディスプレイを用いて、右眼整合マーカを提供し、
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節する、
ように構成される、少なくとも1つのプロセッサと、
を備える、拡張現実システム。
(実施例25)
左眼整合マーカは、第1の水平線を備え、右眼整合マーカは、第2の水平線を備える、実施例24に記載の拡張現実システム。
左眼整合マーカは、第1の水平線を備え、右眼整合マーカは、第2の水平線を備える、実施例24に記載の拡張現実システム。
(実施例26)
プロセッサは、第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するように構成される、実施例25に記載の拡張現実システム。
プロセッサは、第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するように構成される、実施例25に記載の拡張現実システム。
(実施例27)
プロセッサは、第1および第2の水平線がユーザの視点から水平になるまで、第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するように構成される、実施例25に記載の拡張現実システム。
プロセッサは、第1および第2の水平線がユーザの視点から水平になるまで、第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するように構成される、実施例25に記載の拡張現実システム。
(実施例28)
左眼ディスプレイは、世界からの光をユーザの左眼の中に通過させるように構成される、第1の導波管スタックを備え、右眼ディスプレイは、世界からの光をユーザの右眼の中に通過させるように構成される、第2の導波管スタックを備え、各導波管スタックは、複数の導波管を備える、実施例24に記載の拡張現実システム。
左眼ディスプレイは、世界からの光をユーザの左眼の中に通過させるように構成される、第1の導波管スタックを備え、右眼ディスプレイは、世界からの光をユーザの右眼の中に通過させるように構成される、第2の導波管スタックを備え、各導波管スタックは、複数の導波管を備える、実施例24に記載の拡張現実システム。
(実施例29)
左眼ディスプレイは、世界からの光をユーザの左眼の中に通過させるように構成される、第1の導波管スタックを備え、右眼ディスプレイは、世界からの光をユーザの右眼の中に通過させるように構成される、第2の導波管スタックを備え、
各導波管スタックは、複数の導波管を備え、その導波管スタックの1つ以上の導波管は、ユーザに、その導波管スタックの1つ以上の他の導波管と異なる量の波面発散を伴う光を出力するように構成され、
異なる量の波面発散は、眼による異なる遠近調節(accommodation)と関連付けられ、
異なる量の波面発散を伴う出力された光は、仮想オブジェクトをユーザから離れた異なる知覚される深度に形成する、
実施例24に記載の拡張現実システム。
左眼ディスプレイは、世界からの光をユーザの左眼の中に通過させるように構成される、第1の導波管スタックを備え、右眼ディスプレイは、世界からの光をユーザの右眼の中に通過させるように構成される、第2の導波管スタックを備え、
各導波管スタックは、複数の導波管を備え、その導波管スタックの1つ以上の導波管は、ユーザに、その導波管スタックの1つ以上の他の導波管と異なる量の波面発散を伴う光を出力するように構成され、
異なる量の波面発散は、眼による異なる遠近調節(accommodation)と関連付けられ、
異なる量の波面発散を伴う出力された光は、仮想オブジェクトをユーザから離れた異なる知覚される深度に形成する、
実施例24に記載の拡張現実システム。
(実施例30)
左眼ディスプレイおよび右眼ディスプレイを用いて、それぞれ、左眼整合マーカおよび右眼整合マーカを提供するために、少なくとも1つのプロセッサは、
左眼ディスプレイを用いて、第1の垂直整合マーカおよび第1の水平整合マーカを提供し、
右眼ディスプレイを用いて、第2の垂直整合マーカおよび第2の水平整合マーカを提供する、
ように構成される、実施例24に記載の拡張現実システム。
左眼ディスプレイおよび右眼ディスプレイを用いて、それぞれ、左眼整合マーカおよび右眼整合マーカを提供するために、少なくとも1つのプロセッサは、
左眼ディスプレイを用いて、第1の垂直整合マーカおよび第1の水平整合マーカを提供し、
右眼ディスプレイを用いて、第2の垂直整合マーカおよび第2の水平整合マーカを提供する、
ように構成される、実施例24に記載の拡張現実システム。
(実施例31)
ユーザによって視認されると、第1および第2の垂直整合マーカは、ユーザの視覚内でともに融合し、第1および第2の水平整合マーカは、ユーザの視覚内で融合されないままである、実施例30に記載の拡張現実システム。
ユーザによって視認されると、第1および第2の垂直整合マーカは、ユーザの視覚内でともに融合し、第1および第2の水平整合マーカは、ユーザの視覚内で融合されないままである、実施例30に記載の拡張現実システム。
(実施例32)
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するために、少なくとも1つのプロセッサは、
第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信するように構成される、実施例30に記載の拡張現実システム。
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するために、少なくとも1つのプロセッサは、
第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信するように構成される、実施例30に記載の拡張現実システム。
(実施例33)
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するために、少なくとも1つのプロセッサは、
第1および第2の水平整合マーカがユーザの視覚内で相互に垂直に整合されるまで、第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信するように構成される、実施例30に記載の拡張現実システム。
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節するために、少なくとも1つのプロセッサは、
第1および第2の水平整合マーカがユーザの視覚内で相互に垂直に整合されるまで、第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信するように構成される、実施例30に記載の拡張現実システム。
(実施例34)
少なくとも1つのプロセッサはさらに、
左眼整合マーカを提示するための第1の垂直位置を選択し、
右眼整合マーカを提示するための第2の垂直位置を選択する、
ように構成され、左眼ディスプレイおよび右眼ディスプレイを用いて、それぞれ、左眼整合マーカおよび右眼整合マーカを提供するために、少なくとも1つのプロセッサは、
左眼ディスプレイを用いて、左眼整合マーカを第1の垂直位置に提供し、
右眼ディスプレイを用いて、右眼整合マーカを第2の垂直位置に提供する、
ように構成される、実施例24に記載の拡張現実システム。
少なくとも1つのプロセッサはさらに、
左眼整合マーカを提示するための第1の垂直位置を選択し、
右眼整合マーカを提示するための第2の垂直位置を選択する、
ように構成され、左眼ディスプレイおよび右眼ディスプレイを用いて、それぞれ、左眼整合マーカおよび右眼整合マーカを提供するために、少なくとも1つのプロセッサは、
左眼ディスプレイを用いて、左眼整合マーカを第1の垂直位置に提供し、
右眼ディスプレイを用いて、右眼整合マーカを第2の垂直位置に提供する、
ように構成される、実施例24に記載の拡張現実システム。
(実施例35)
左眼整合マーカを提示するための第1の垂直位置を選択し、右眼整合マーカを提示するための第2の垂直位置を選択するために、少なくとも1つのプロセッサは、
擬似または準ランダムに、左眼整合マーカを提示するための第1の垂直位置を選択し、
擬似または準ランダムに、右眼整合マーカを提示するための第2の垂直位置を選択する、ように構成される、実施例24に記載の拡張現実システム。
左眼整合マーカを提示するための第1の垂直位置を選択し、右眼整合マーカを提示するための第2の垂直位置を選択するために、少なくとも1つのプロセッサは、
擬似または準ランダムに、左眼整合マーカを提示するための第1の垂直位置を選択し、
擬似または準ランダムに、右眼整合マーカを提示するための第2の垂直位置を選択する、ように構成される、実施例24に記載の拡張現実システム。
(実施例36)
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するために、少なくとも1つのプロセッサは、
受信されたユーザ入力、選択された第1の垂直位置、および選択された第2の垂直位置に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するように構成される、実施例24に記載の拡張現実システム。
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するために、少なくとも1つのプロセッサは、
受信されたユーザ入力、選択された第1の垂直位置、および選択された第2の垂直位置に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するように構成される、実施例24に記載の拡張現実システム。
(実施例37)
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するために、少なくとも1つのプロセッサは、
左眼ディスプレイと関連付けられる第1のレンダリングカメラおよび右眼ディスプレイと関連付けられる第2のレンダリングカメラのうちの少なくとも1つの1つ以上の付帯パラメータを調節するように構成される、実施例24に記載の拡張現実システム。
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節するために、少なくとも1つのプロセッサは、
左眼ディスプレイと関連付けられる第1のレンダリングカメラおよび右眼ディスプレイと関連付けられる第2のレンダリングカメラのうちの少なくとも1つの1つ以上の付帯パラメータを調節するように構成される、実施例24に記載の拡張現実システム。
(実施例38)
1つ以上の付帯パラメータは、位置および配向のうちの少なくとも1つを含む、実施例37に記載の拡張現実システム。
1つ以上の付帯パラメータは、位置および配向のうちの少なくとも1つを含む、実施例37に記載の拡張現実システム。
(実施例39)
ユーザの眼の画像を捕捉するように構成される、結像システムをさらに備え、
少なくとも1つのプロセッサは、結像システムに通信可能に結合され、少なくとも1つのプロセッサはさらに、
少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかを決定するように構成される、実施例24に記載の拡張現実システム。
ユーザの眼の画像を捕捉するように構成される、結像システムをさらに備え、
少なくとも1つのプロセッサは、結像システムに通信可能に結合され、少なくとも1つのプロセッサはさらに、
少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかを決定するように構成される、実施例24に記載の拡張現実システム。
(実施例40)
少なくとも1つのプロセッサは、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であることの決定に応答して、左眼ディスプレイおよび右眼ディスプレイを用いて、それぞれ、左眼整合マーカおよび右眼整合マーカを提供するように構成される、実施例39に記載の拡張現実システム。
少なくとも1つのプロセッサは、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であることの決定に応答して、左眼ディスプレイおよび右眼ディスプレイを用いて、それぞれ、左眼整合マーカおよび右眼整合マーカを提供するように構成される、実施例39に記載の拡張現実システム。
(実施例41)
左眼ディスプレイは、第1の導波管スタックを備え、右眼ディスプレイは、第2の導波管スタックを備え、そのそれぞれは、光をユーザに出力するように構成される、複数の導波管を備え、
左眼ディスプレイおよび右眼ディスプレイを用いて、それぞれ、左眼整合マーカおよび右眼整合マーカを提供するために、少なくとも1つのプロセッサは、
第1の導波管スタック内の複数の導波管のうちの単一のものを用いて、左眼整合マーカを提供し、
第2の導波管スタック内の複数の導波管のうちの単一のものを用いて、右眼整合マーカを提供する、
ように構成される、実施例24に記載の拡張現実システム。
左眼ディスプレイは、第1の導波管スタックを備え、右眼ディスプレイは、第2の導波管スタックを備え、そのそれぞれは、光をユーザに出力するように構成される、複数の導波管を備え、
左眼ディスプレイおよび右眼ディスプレイを用いて、それぞれ、左眼整合マーカおよび右眼整合マーカを提供するために、少なくとも1つのプロセッサは、
第1の導波管スタック内の複数の導波管のうちの単一のものを用いて、左眼整合マーカを提供し、
第2の導波管スタック内の複数の導波管のうちの単一のものを用いて、右眼整合マーカを提供する、
ように構成される、実施例24に記載の拡張現実システム。
(実施例42)
拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
ユーザの眼の画像を捕捉するように構成される、結像システムと、
頭部搭載型ディスプレイおよび結像システムに通信可能に結合される、少なくとも1つのプロセッサであって、
少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定し、
ユーザの眼球間軸に対する頭部搭載型ディスプレイの配向を決定し、
ユーザに、ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、フィードバックを提供する、
ように構成される、少なくとも1つのプロセッサと、
を備える、拡張現実システム。
拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
ユーザの眼の画像を捕捉するように構成される、結像システムと、
頭部搭載型ディスプレイおよび結像システムに通信可能に結合される、少なくとも1つのプロセッサであって、
少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定し、
ユーザの眼球間軸に対する頭部搭載型ディスプレイの配向を決定し、
ユーザに、ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、フィードバックを提供する、
ように構成される、少なくとも1つのプロセッサと、
を備える、拡張現実システム。
(実施例43)
ユーザに、ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、フィードバックを提供するために、少なくとも1つのプロセッサは、
ユーザの左および右眼に対する頭部搭載型ディスプレイの決定された配向に関連して変化する配向を有する、水平マーカを提示するように構成される、実施例42に記載の拡張現実システム。
ユーザに、ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、フィードバックを提供するために、少なくとも1つのプロセッサは、
ユーザの左および右眼に対する頭部搭載型ディスプレイの決定された配向に関連して変化する配向を有する、水平マーカを提示するように構成される、実施例42に記載の拡張現実システム。
(実施例44)
ユーザに、ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、フィードバックを提供するために、少なくとも1つのプロセッサは、
頭部搭載型ディスプレイの配向と関連付けられる、静的水平マーカを提示し、
眼球間軸の配向と関連付けられる、動的水平マーカを提示し、動的水平マーカは、眼球間軸の配向が頭部搭載型ディスプレイに対して変化するにつれて、静的水平マーカに対して移動する、
ように構成される、実施例42に記載の拡張現実システム。
ユーザに、ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、フィードバックを提供するために、少なくとも1つのプロセッサは、
頭部搭載型ディスプレイの配向と関連付けられる、静的水平マーカを提示し、
眼球間軸の配向と関連付けられる、動的水平マーカを提示し、動的水平マーカは、眼球間軸の配向が頭部搭載型ディスプレイに対して変化するにつれて、静的水平マーカに対して移動する、
ように構成される、実施例42に記載の拡張現実システム。
(実施例45)
動的水平マーカは、頭部搭載型ディスプレイが眼球間軸に対して水平であるとき、静的水平マーカとマージする、実施例44に記載の拡張現実システム。
動的水平マーカは、頭部搭載型ディスプレイが眼球間軸に対して水平であるとき、静的水平マーカとマージする、実施例44に記載の拡張現実システム。
(実施例46)
少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定するために、少なくとも1つのプロセッサは、
少なくとも部分的に、結像システムによって捕捉されたユーザの左眼の1つ以上の画像に基づいて、ユーザの左眼の回転中心を決定し、
少なくとも部分的に、結像システムによって捕捉されたユーザの右眼の1つ以上の画像に基づいて、ユーザの右眼の回転中心を決定し、
ユーザの左および右眼の回転中心間に延在する、線の位置を決定し、線は、ユーザの眼球間軸を構成する、
ように構成される、実施例42に記載の拡張現実システム。
少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定するために、少なくとも1つのプロセッサは、
少なくとも部分的に、結像システムによって捕捉されたユーザの左眼の1つ以上の画像に基づいて、ユーザの左眼の回転中心を決定し、
少なくとも部分的に、結像システムによって捕捉されたユーザの右眼の1つ以上の画像に基づいて、ユーザの右眼の回転中心を決定し、
ユーザの左および右眼の回転中心間に延在する、線の位置を決定し、線は、ユーザの眼球間軸を構成する、
ように構成される、実施例42に記載の拡張現実システム。
(実施例47)
少なくとも1つのプロセッサはさらに、
ユーザが少なくとも閾値時間量にわたって頭部搭載型ディスプレイを装着しているかどうかを決定するように構成され、
少なくとも1つのプロセッサは、ユーザが少なくとも閾値時間量にわたって頭部搭載型ディスプレイを装着していることの決定に応答して、少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定するように構成される、
実施例42に記載の拡張現実システム。
少なくとも1つのプロセッサはさらに、
ユーザが少なくとも閾値時間量にわたって頭部搭載型ディスプレイを装着しているかどうかを決定するように構成され、
少なくとも1つのプロセッサは、ユーザが少なくとも閾値時間量にわたって頭部搭載型ディスプレイを装着していることの決定に応答して、少なくとも部分的に、結像システムによって捕捉された1つ以上の画像に基づいて、ユーザの左眼と右眼との間に延在する、ユーザの眼球間軸を決定するように構成される、
実施例42に記載の拡張現実システム。
(実施例48)
少なくとも1つのプロセッサはさらに、
ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかを決定するように構成される、実施例42に記載の拡張現実システム。
少なくとも1つのプロセッサはさらに、
ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかを決定するように構成される、実施例42に記載の拡張現実システム。
(実施例47)
少なくとも1つのプロセッサはさらに、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であることの決定に応答して、
頭部搭載型ディスプレイの左眼ディスプレイを用いて、左眼整合マーカを提供し、
頭部搭載型ディスプレイの右眼ディスプレイを用いて、右眼整合マーカを提供し、
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節する、
ように構成される、実施例46に記載の拡張現実システム。
少なくとも1つのプロセッサはさらに、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であることの決定に応答して、
頭部搭載型ディスプレイの左眼ディスプレイを用いて、左眼整合マーカを提供し、
頭部搭載型ディスプレイの右眼ディスプレイを用いて、右眼整合マーカを提供し、
ユーザ入力を受信し、左眼および右眼整合マーカのうちの少なくとも1つを調節し、
受信されたユーザ入力に基づいて、左眼および右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節する、
ように構成される、実施例46に記載の拡張現実システム。
(実施例48)
ユーザに、ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、フィードバックを提供するために、少なくとも1つのプロセッサは、
ユーザに、ユーザの眼球間軸に対する頭部搭載型ディスプレイの決定された配向に基づいて、フィードバックを提供するために、少なくとも1つのプロセッサは、
ユーザに、頭部搭載型ディスプレイがユーザの左および右眼に対して水平であるかどうかを示すフィードバックを提供するように構成される、実施例46に記載の拡張現実システム。
本明細書に説明される主題の1つ以上の実施形態の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
(項目1)
拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される頭部搭載型ディスプレイと、
前記ユーザの眼の画像を捕捉するように構成される結像デバイスと、
前記頭部搭載型ディスプレイおよび前記結像デバイスに通信可能に結合される少なくとも1つのプロセッサであって、前記少なくとも1つのプロセッサは、
左眼ディスプレイを用いて、左眼整合マーカを提供することと、
右眼ディスプレイを用いて、右眼整合マーカを提供することと、
ユーザ入力を受信し、前記左眼整合マーカおよび前記右眼整合マーカのうちの少なくとも1つを調節することと、
前記受信されたユーザ入力に基づいて、前記左眼ディスプレイおよび右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節することと
を行うように構成される、少なくとも1つのプロセッサと
を備える、拡張現実システム。
(項目2)
前記プロセッサは、
前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかを決定することと、
前記左眼整合マーカまたは右眼整合マーカを提供する前に、前記ユーザに、前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供することと
を行うように構成される、項目1に記載の拡張現実システム。
(項目3)
前記プロセッサは、前記ユーザに、ユーザの左眼および右眼に対する前記頭部搭載型ディスプレイの配向に関連して変化する配向を有する水平マーカを提示することによって、前記頭部搭載型ディスプレイがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される、項目1に記載の拡張現実システム。
(項目4)
眼追跡システムをさらに備え、前記プロセッサは、前記眼追跡システムからの眼追跡データに基づいて、前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかを決定するように構成される、項目1に記載の拡張現実システム。
(項目5)
眼追跡システムをさらに備え、前記プロセッサはさらに、前記眼追跡システムからの眼追跡データに基づいて、前記ユーザの左眼と右眼との間に延在する前記ユーザの眼球間軸を決定するように構成される、項目1に記載の拡張現実システム。
(項目6)
前記プロセッサはさらに、前記ユーザの眼球間軸に対する前記眼追跡システムの配向を決定することによって、前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかを決定するように構成される、項目5に記載の拡張現実システム。
(項目7)
前記プロセッサは、前記ユーザに、前記ユーザの眼球間軸に対する前記眼追跡システムの配向に関連して変化する配向を有する水平マーカを提示することによって、前記頭部搭載型ディスプレイがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される、項目5に記載の拡張現実システム。
(項目8)
前記プロセッサは、前記ユーザに、前記頭部搭載型ディスプレイの配向と関連付けられる静的水平マーカを提示し、前記眼球間軸の配向と関連付けられる動的水平マーカを提示することによって、前記頭部搭載型ディスプレイがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成され、前記動的水平マーカは、前記眼球間軸の配向が前記頭部搭載型ディスプレイに対して変化するにつれて、前記静的水平マーカに対して移動する、項目5に記載の拡張現実システム。
(項目9)
前記動的水平マーカは、前記頭部搭載型ディスプレイが前記眼球間軸に対して水平であるとき、前記静的水平マーカとマージする、項目8に記載の拡張現実システム。
(項目10)
前記左眼整合マーカは、第1の水平線を備え、前記右眼整合マーカは、第2の水平線を備える、項目1に記載の拡張現実システム。
(項目11)
前記プロセッサは、前記第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、前記左眼整合マーカおよび右眼整合マーカのうちの少なくとも1つを調節するように構成される、項目10に記載の拡張現実システム。
(項目12)
前記プロセッサは、前記第1および第2の水平線が前記ユーザの視点から水平になるまで、前記第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、前記左眼整合マーカおよび右眼整合マーカのうちの少なくとも1つを調節するように構成される、項目10に記載の拡張現実システム。
(項目13)
前記頭部搭載型ディスプレイは、前記世界からの光を前記ユーザの左眼の中に通過させるように構成される第1の導波管スタックと、前記世界からの光を前記ユーザの右眼の中に通過させるように構成される第2の導波管スタックとを備え、各導波管スタックは、複数の導波管を備える、項目1に記載の拡張現実システム。
(項目14)
前記頭部搭載型ディスプレイは、前記世界からの光を前記ユーザの左眼の中に通過させるように構成される第1の導波管スタックと、前記世界からの光を前記ユーザの右眼の中に通過させるように構成される第2の導波管スタックとを備え、
各導波管スタックは、複数の導波管を備え、その導波管スタックの1つ以上の導波管は、ユーザに、その導波管スタックの1つ以上の他の導波管と異なる量の波面発散を伴う光を出力するように構成され、
異なる量の波面発散は、前記眼による異なる遠近調節と関連付けられ、
前記異なる量の波面発散を伴う出力された光は、仮想オブジェクトを前記ユーザから離れた異なる知覚される深度に形成する、
項目1に記載の拡張現実システム。
(項目15)
ユーザの左眼および右眼を用いて、頭部搭載型ディスプレイシステムの左眼ディスプレイおよび右眼ディスプレイの表示されるコンテンツを垂直に整合させるための方法であって、前記方法は、
前記左眼ディスプレイを用いて、左眼整合マーカを提供することと、
前記右眼ディスプレイを用いて、右眼整合マーカを提供することと、
ユーザ入力を受信し、前記左眼整合マーカおよび前記右眼整合マーカのうちの少なくとも1つを調節することと、
前記受信されたユーザ入力に基づいて、前記左眼ディスプレイおよび右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節することと
を含む、方法。
(項目16)
ユーザの左眼および右眼に対する前記頭部搭載型ディスプレイシステムの水平度を決定することと、
前記左眼整合マーカまたは右眼整合マーカを提供する前に、前記ユーザに、前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供することと
をさらに含む、項目15に記載の方法。
(項目17)
前記頭部搭載型ディスプレイシステムは、眼追跡システムを備え、ユーザの左眼および右眼に対する前記頭部搭載型ディスプレイシステムの水平度を決定することは、前記眼追跡システムを利用して、前記ユーザの左眼と右眼との間に延在する前記ユーザの眼球間軸を決定し、前記眼球間軸に対する前記頭部搭載型ディスプレイシステムの水平度を決定することを含む、項目15に記載の方法。
(項目18)
前記眼追跡システムを利用して、前記ユーザの眼球間軸を決定することは、
前記眼追跡システムを用いて、前記ユーザの左眼の回転中心を決定することと、
前記眼追跡システムを用いて、前記ユーザの右眼の回転中心を決定することと、
前記ユーザの左眼および右眼の回転中心間に延在する線の位置を決定することであって、前記線は、前記眼球間軸を構成する、ことと
を含む、項目17に記載の方法。
(項目19)
前記左眼整合マーカを提供することは、前記左眼ディスプレイを用いて、第1の垂直整合マーカおよび第1の水平整合マーカを提供することを含み、前記右眼整合マーカを提供することは、前記右眼ディスプレイを用いて、第2の垂直整合マーカおよび第2の水平整合マーカを提供することを含む、項目15に記載の方法。
(項目20)
ユーザによって視認されると、前記第1および第2の垂直整合マーカは、前記ユーザの視覚内でともに融合し、前記第1および第2の水平整合マーカは、前記ユーザの視覚内で融合されないままである、項目19に記載の方法。
(項目21)
前記左眼整合マーカおよび右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信することは、前記第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信することを含む、項目19に記載の方法。
(項目22)
前記左眼整合マーカおよび右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信することは、前記第1および第2の水平整合マーカが前記ユーザの視覚内で相互に垂直に整合されるまで、前記第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信することを含む、項目19に記載の方法。
(項目23)
前記ユーザが所与の閾値時間にわたって前記頭部搭載型ディスプレイシステムを装着していることを決定することと、
前記ユーザが所与の閾値時間にわたって前記頭部搭載型ディスプレイシステムを装着していることの決定に応答して、前記頭部搭載型ディスプレイシステムの水平度を決定することを実施することと
をさらに含む、項目15に記載の方法。
本発明は、例えば、以下を提供する。
(項目1)
拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される頭部搭載型ディスプレイと、
前記ユーザの眼の画像を捕捉するように構成される結像デバイスと、
前記頭部搭載型ディスプレイおよび前記結像デバイスに通信可能に結合される少なくとも1つのプロセッサであって、前記少なくとも1つのプロセッサは、
左眼ディスプレイを用いて、左眼整合マーカを提供することと、
右眼ディスプレイを用いて、右眼整合マーカを提供することと、
ユーザ入力を受信し、前記左眼整合マーカおよび前記右眼整合マーカのうちの少なくとも1つを調節することと、
前記受信されたユーザ入力に基づいて、前記左眼ディスプレイおよび右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節することと
を行うように構成される、少なくとも1つのプロセッサと
を備える、拡張現実システム。
(項目2)
前記プロセッサは、
前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかを決定することと、
前記左眼整合マーカまたは右眼整合マーカを提供する前に、前記ユーザに、前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供することと
を行うように構成される、項目1に記載の拡張現実システム。
(項目3)
前記プロセッサは、前記ユーザに、ユーザの左眼および右眼に対する前記頭部搭載型ディスプレイの配向に関連して変化する配向を有する水平マーカを提示することによって、前記頭部搭載型ディスプレイがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される、項目1に記載の拡張現実システム。
(項目4)
眼追跡システムをさらに備え、前記プロセッサは、前記眼追跡システムからの眼追跡データに基づいて、前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかを決定するように構成される、項目1に記載の拡張現実システム。
(項目5)
眼追跡システムをさらに備え、前記プロセッサはさらに、前記眼追跡システムからの眼追跡データに基づいて、前記ユーザの左眼と右眼との間に延在する前記ユーザの眼球間軸を決定するように構成される、項目1に記載の拡張現実システム。
(項目6)
前記プロセッサはさらに、前記ユーザの眼球間軸に対する前記眼追跡システムの配向を決定することによって、前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかを決定するように構成される、項目5に記載の拡張現実システム。
(項目7)
前記プロセッサは、前記ユーザに、前記ユーザの眼球間軸に対する前記眼追跡システムの配向に関連して変化する配向を有する水平マーカを提示することによって、前記頭部搭載型ディスプレイがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成される、項目5に記載の拡張現実システム。
(項目8)
前記プロセッサは、前記ユーザに、前記頭部搭載型ディスプレイの配向と関連付けられる静的水平マーカを提示し、前記眼球間軸の配向と関連付けられる動的水平マーカを提示することによって、前記頭部搭載型ディスプレイがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供するように構成され、前記動的水平マーカは、前記眼球間軸の配向が前記頭部搭載型ディスプレイに対して変化するにつれて、前記静的水平マーカに対して移動する、項目5に記載の拡張現実システム。
(項目9)
前記動的水平マーカは、前記頭部搭載型ディスプレイが前記眼球間軸に対して水平であるとき、前記静的水平マーカとマージする、項目8に記載の拡張現実システム。
(項目10)
前記左眼整合マーカは、第1の水平線を備え、前記右眼整合マーカは、第2の水平線を備える、項目1に記載の拡張現実システム。
(項目11)
前記プロセッサは、前記第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、前記左眼整合マーカおよび右眼整合マーカのうちの少なくとも1つを調節するように構成される、項目10に記載の拡張現実システム。
(項目12)
前記プロセッサは、前記第1および第2の水平線が前記ユーザの視点から水平になるまで、前記第1および第2の水平線のうちの少なくとも1つを上昇または降下させるためのユーザ入力の形態において、ユーザ入力を受信し、前記左眼整合マーカおよび右眼整合マーカのうちの少なくとも1つを調節するように構成される、項目10に記載の拡張現実システム。
(項目13)
前記頭部搭載型ディスプレイは、前記世界からの光を前記ユーザの左眼の中に通過させるように構成される第1の導波管スタックと、前記世界からの光を前記ユーザの右眼の中に通過させるように構成される第2の導波管スタックとを備え、各導波管スタックは、複数の導波管を備える、項目1に記載の拡張現実システム。
(項目14)
前記頭部搭載型ディスプレイは、前記世界からの光を前記ユーザの左眼の中に通過させるように構成される第1の導波管スタックと、前記世界からの光を前記ユーザの右眼の中に通過させるように構成される第2の導波管スタックとを備え、
各導波管スタックは、複数の導波管を備え、その導波管スタックの1つ以上の導波管は、ユーザに、その導波管スタックの1つ以上の他の導波管と異なる量の波面発散を伴う光を出力するように構成され、
異なる量の波面発散は、前記眼による異なる遠近調節と関連付けられ、
前記異なる量の波面発散を伴う出力された光は、仮想オブジェクトを前記ユーザから離れた異なる知覚される深度に形成する、
項目1に記載の拡張現実システム。
(項目15)
ユーザの左眼および右眼を用いて、頭部搭載型ディスプレイシステムの左眼ディスプレイおよび右眼ディスプレイの表示されるコンテンツを垂直に整合させるための方法であって、前記方法は、
前記左眼ディスプレイを用いて、左眼整合マーカを提供することと、
前記右眼ディスプレイを用いて、右眼整合マーカを提供することと、
ユーザ入力を受信し、前記左眼整合マーカおよび前記右眼整合マーカのうちの少なくとも1つを調節することと、
前記受信されたユーザ入力に基づいて、前記左眼ディスプレイおよび右眼ディスプレイのうちの少なくとも1つ内の画像コンテンツを垂直に調節することと
を含む、方法。
(項目16)
ユーザの左眼および右眼に対する前記頭部搭載型ディスプレイシステムの水平度を決定することと、
前記左眼整合マーカまたは右眼整合マーカを提供する前に、前記ユーザに、前記頭部搭載型ディスプレイシステムがユーザの左眼および右眼に対して水平であるかどうかに関するフィードバックを提供することと
をさらに含む、項目15に記載の方法。
(項目17)
前記頭部搭載型ディスプレイシステムは、眼追跡システムを備え、ユーザの左眼および右眼に対する前記頭部搭載型ディスプレイシステムの水平度を決定することは、前記眼追跡システムを利用して、前記ユーザの左眼と右眼との間に延在する前記ユーザの眼球間軸を決定し、前記眼球間軸に対する前記頭部搭載型ディスプレイシステムの水平度を決定することを含む、項目15に記載の方法。
(項目18)
前記眼追跡システムを利用して、前記ユーザの眼球間軸を決定することは、
前記眼追跡システムを用いて、前記ユーザの左眼の回転中心を決定することと、
前記眼追跡システムを用いて、前記ユーザの右眼の回転中心を決定することと、
前記ユーザの左眼および右眼の回転中心間に延在する線の位置を決定することであって、前記線は、前記眼球間軸を構成する、ことと
を含む、項目17に記載の方法。
(項目19)
前記左眼整合マーカを提供することは、前記左眼ディスプレイを用いて、第1の垂直整合マーカおよび第1の水平整合マーカを提供することを含み、前記右眼整合マーカを提供することは、前記右眼ディスプレイを用いて、第2の垂直整合マーカおよび第2の水平整合マーカを提供することを含む、項目15に記載の方法。
(項目20)
ユーザによって視認されると、前記第1および第2の垂直整合マーカは、前記ユーザの視覚内でともに融合し、前記第1および第2の水平整合マーカは、前記ユーザの視覚内で融合されないままである、項目19に記載の方法。
(項目21)
前記左眼整合マーカおよび右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信することは、前記第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信することを含む、項目19に記載の方法。
(項目22)
前記左眼整合マーカおよび右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信することは、前記第1および第2の水平整合マーカが前記ユーザの視覚内で相互に垂直に整合されるまで、前記第1および第2の水平整合マーカのうちの少なくとも1つを垂直に移動させるためのユーザ入力を受信することを含む、項目19に記載の方法。
(項目23)
前記ユーザが所与の閾値時間にわたって前記頭部搭載型ディスプレイシステムを装着していることを決定することと、
前記ユーザが所与の閾値時間にわたって前記頭部搭載型ディスプレイシステムを装着していることの決定に応答して、前記頭部搭載型ディスプレイシステムの水平度を決定することを実施することと
をさらに含む、項目15に記載の方法。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
ディスプレイシステムは、オブジェクトがユーザの周囲環境内に位置するように現れるように仮想オブジェクトを表示し得る、頭部搭載型ディスプレイ(HMD)を含んでもよい。いくつかの実施形態では、仮想オブジェクトは、ユーザによって3次元(3D)であるように知覚され得る。
HMDは、2つ以上の明確に異なるディスプレイもしくは単一の連続的ディスプレイを含んでもよい。いずれの場合も、異なる画像が、左および右ユーザの眼に出力され得る。本明細書で使用されるように、左眼および右眼ディスプレイまたは視認者の右および左眼と関連付けられるディスプレイの言及は、異なる画像を視認者の左および右眼に出力するように構成される、ディスプレイデバイスを示すと理解され得る。したがって、左眼および右眼ディスプレイは、物理的に分離される、ディスプレイ、または異なる画像を各眼に出力するように構成される、単一ディスプレイを示し得る。いくつかの実施形態では、異なる画像は、同一オブジェクトまたは場面の若干異なるビューを提示する、立体視画像であってもよく、異なるビューは、ヒト視覚系によってともに融合され、これは、深度の知覚を作成することができる。
いくつかの状況では、左および右ディスプレイは、相互およびユーザの眼に対して適切に垂直に整合されない場合がある。種々の要因が、相互およびユーザの眼に対して左および右眼ディスプレイの位置を決定するように組み合わせられ得る。例えば、HMDは、経時的に変形または偏曲され、左眼ディスプレイと右眼ディスプレイの垂直不整合につながり得る。HMDは、熱循環、物理的衝撃(例えば、落下されることに起因して)、手荒な取扱からの弾性または非弾性屈曲、材料の劣化等を含む、多数の要因の結果として、変形または偏曲され得る。ある場合には、左または右眼ディスプレイのうちの一方は、左または右眼ディスプレイの他方に対して回転および/または垂直に平行移動され得る。
そのような垂直不整合は、ユーザ体験を劣化させ、可能性として、ユーザ不快感を生じさせ得る。理論によって限定されるわけではないが、ヒト視覚系は、対応する左および右眼立体視画像を形成するために、垂直に不整合された光を受光することに順応せず、一方の眼に向かって伝搬する光は、他方の眼に向かって伝搬する光から垂直にオフセットされ、対応する立体視画像を形成し得ることが考えられる。各眼に向かって伝搬する光は、それらの眼に特有の立体視画像を形成し得ることを理解されたい。実施例として、1つのディスプレイからの光が、水平に指向され、片眼に到達し、別のディスプレイからの光が、下向きに指向され、他方の眼に到達する場合、これらのディスプレイは、垂直に不整合されると見なされ得る。左眼と右眼との間の比較的にわずかな垂直不整合でさえ、有害な眼精疲労および頭痛等の不快感を生じさせ得ることが考えられる。
垂直不整合に起因して視認者不快感を低減させるために、左眼ディスプレイと右眼ディスプレイとの間の垂直整合における差異が、低減され得る。例えば、左眼ディスプレイおよび右眼ディスプレイは、それらのディスプレイを物理的に移動させることによって垂直に整合され得る。ある場合には、ディスプレイのそのような物理的移動は、実践的ではない、または望ましくない。有利なこととして、いくつかの実施形態では、左眼ディスプレイと右眼ディスプレイとの間の垂直整合は、事実上、ディスプレイに、画像コンテンツをディスプレイの一方または両方上で垂直に上または下に偏移させることによって達成される。いくつかの実施形態では、画像偏移は、左眼および右眼ディスプレイが、その対応する左および右眼と類似垂直関係を有することを可能にし得る。
本明細書に説明される種々のシステムおよび技法は、少なくとも部分的に、視認者が画像コンテンツを快適に視認することを可能にし得る、左眼および右眼ディスプレイの適切な垂直整合に関連する問題を解決することを対象とする。いくつかの実施形態では、頭部搭載型ディスプレイシステムは、ユーザの眼の位置を決定するように構成されてもよい(例えば、眼追跡システムであり得る、内向きに面した結像システム等のコンポーネントを使用して)。眼の位置を決定するステップは、眼の個別の回転中心ならびにユーザの眼球間軸の位置および/または配向(例えば、ユーザの左眼の回転中心とユーザの右眼の回転中心との間の軸等のユーザの左眼と右眼の対応する部分間に延在する軸)等の眼と関連付けられる代表的点の位置を決定するステップを含んでもよい。ディスプレイシステムは、次いで、HMDがユーザの眼に対して水平である(例えば、ユーザの眼球間軸と水平である)かどうかを決定してもよい。水平にした後、ディスプレイシステムは、ユーザの左眼に、左眼整合マーカを、ユーザの右眼に、右眼整合マーカを提示してもよい。好ましくは、整合マーカは、ヒト視覚系によって融合されず、左眼ディスプレイと右眼ディスプレイとの間の垂直不整合において明白となる、水平コンポーネントを含む。ディスプレイシステムは、次いで、左眼ディスプレイと右眼ディスプレイとの間の垂直整合差を識別および/または調節する、フィードバックをユーザから求めてもよい(例えば、ユーザに、左眼および右眼整合マーカを整合させるように求めることによって)。そのようなフィードバックを使用して、ディスプレイシステムは、ユーザによって識別される任意の垂直整合差を補償することによって、システムを通して表示されるコンテンツを調節し、したがって、HMDを視認するときのユーザの快適性を改良し得る。
いくつかの実施形態では、ディスプレイシステムは、画像情報をユーザに出力するためのスタック内に形成される複数の導波管を含む。整合プロセスは、本明細書に議論されるように、導波管毎に行われてもよい。例えば、異なる導波管は、異なる深度平面に対応する、異なる原色および/または異なる量の波面発散を出力するように構成されてもよく、整合は、各原色(対応する原色導波管毎に)および/または各深度平面(対応する波面発散量を伴う導波管毎に)を用いて実施されてもよい。
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
(ウェアラブルシステムの3Dディスプレイの実施例)
(ウェアラブルシステムの3Dディスプレイの実施例)
ウェアラブルシステム(本明細書では、頭部搭載型ディスプレイシステムまたは拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されてもよい。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得る、ウェアラブルデバイス上に実装されてもよい。ウェアラブルデバイスは、ARデバイス(ARD)と同義的に使用されることができる。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100が、描写され、MR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
3Dディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されてもよい。画像は、深度平面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図2は、ウェアラブルシステム200の実施例を図示し、これは、AR/VR/MR場面を提供するように構成されてもよい。ウェアラブルシステム200はまた、ARシステム200と称され得る。ウェアラブルシステム200は、ディスプレイ220と、ディスプレイ220の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ220は、ユーザ、装着者、または視認者210によって装着可能である、フレーム230に結合されてもよい。ディスプレイ220は、ユーザ210の眼の正面に位置付けられてもよい。ディスプレイ220は、AR/VR/MRコンテンツをユーザに提示してもよい。ディスプレイ220は、ユーザ210の頭部上に装着される得るため、頭部搭載型ディスプレイ(HMD)とも称され得、ディスプレイ220を備える、ウェアラブルシステム200は、頭部搭載型ディスプレイシステムとも称され得る。
いくつかの実施形態では、スピーカ240が、フレーム230に結合され、ユーザの外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音響制御を提供する)。ディスプレイ220は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ(例えば、マイクロホン)232を含んでもよい。いくつかの実施形態では、示されない1つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されてもよい。ウェアラブルシステム200は、音声または発話認識をオーディオストリームに実施してもよい。
ウェアラブルシステム200は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム464(図4に示される)を含んでもよい。ウェアラブルシステム200はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム462(図4に示される)を含んでもよい。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム462は、フレーム230に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ210の眼の瞳孔直径または配向、眼の移動、もしくは眼姿勢を決定し得る、処理モジュール260または270と電気通信してもよい。内向きに面した結像システム462は、1つ以上のカメラを含んでもよい。例えば、少なくとも1つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
実施例として、ウェアラブルシステム200は、外向きに面した結像システム464または内向きに面した結像システム462を使用して、ユーザの姿勢の画像を入手してもよい。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ220は、有線導線または無線接続等によって、フレーム230に固定して取り付けられる、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ210に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載され得る、ローカルデータ処理モジュール260に動作可能に結合されてもよい(250)。
ローカル処理およびデータモジュール260は、ハードウェアプロセッサならびに不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、(a)画像捕捉デバイス(例えば、内向きに面した結像システムおよび/または外向きに面した結像システム内のカメラ)、オーディオセンサ(例えば、マイクロホン)、慣性測定ユニット(IMU)、加速度計、コンパス、全地球測位システム(GPS)ユニット、無線デバイス、もしくはジャイロスコープ等の(例えば、フレーム230に動作可能に結合される、または別様にユーザ210に取り付けられ得る)センサから捕捉されるデータ、または、(b)場合によっては処理もしくは読出後にディスプレイ220への通過のために、遠隔処理モジュール270もしくは遠隔データリポジトリ280を使用して入手もしくは処理されるデータを含んでもよい。ローカル処理およびデータモジュール260は、これらの遠隔モジュールがローカル処理およびデータモジュール260へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク262または264を遠隔処理モジュール270または遠隔データリポジトリ280に動作可能に結合されてもよい。加えて、遠隔処理モジュール280および遠隔データリポジトリ280は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール270は、データまたは画像情報を分析および処理するように構成される、1つもしくはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ280は、デジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
(ウェアラブルシステムの例示的コンポーネント)
(ウェアラブルシステムの例示的コンポーネント)
図3は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図3は、ウェアラブルシステム200を示し、これは、ディスプレイ220と、フレーム230とを含むことができる。引き伸ばし図202は、ウェアラブルシステム200の種々のコンポーネントを図式的に図示する。ある実装では、図3に図示されるコンポーネントのうちの1つ以上のものは、ディスプレイ220の一部であってもよい。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム200のユーザまたはユーザの環境と関連付けられた種々のデータ(例えば、聴覚的または視覚的データ等)を収集してもよい。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図3は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
図3は、例示的ウェアラブルシステム200を示し、これは、ディスプレイ220を含んでもよい。ディスプレイ220は、ユーザの頭部、またはフレーム230に対応する、筐体もしくはフレーム230に搭載され得る、ディスプレイレンズ226を備えてもよい。ディスプレイレンズ226は、筐体230によって、ユーザの眼302、304の正面に位置付けられる、1つ以上の透明ミラーを備えてもよく、投影された光338を眼302、304の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム338の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、2つの広視野マシンビジョンカメラ316(世界カメラとも称される)が、筐体230に結合され、ユーザの周囲の環境を結像してもよい。これらのカメラ316は、二重捕捉式可視光/非可視(例えば、赤外線)光カメラであってもよい。カメラ316は、図4に示される外向きに面した結像システム464の一部であってもよい。世界カメラ316によって入手された画像は、姿勢プロセッサ336によって処理されてもよい。例えば、姿勢プロセッサ336は、1つ以上のオブジェクト認識装置708(例えば、図7に示される)を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別してもよい。
図3を継続して参照すると、光338を眼302、304の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面(例えば、深度のために)光プロジェクタモジュールが、示される。描写される図はまた、ユーザの眼302、304を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光源326(発光ダイオード「LED」等)とペアリングされる、2つの小型赤外線カメラ324を示す。カメラ324は、図4に示される、内向きに面した結像システム462の一部であってもよい。ウェアラブルシステム200はさらに、センサアセンブリ339を特徴とし得、これは、X、Y、およびZ軸加速度計能力ならびに磁気コンパスおよびX、Y、およびZ軸ジャイロスコープ能力を備え、好ましくは、200Hz等の比較的に高周波数でデータを提供し得る。センサアセンブリ339は、図2Aを参照して説明される、IMUの一部であってもよい。描写されるシステム200はまた、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、またはARMプロセッサ(高度縮小命令セット機械)等の頭部姿勢プロセッサ336を備えてもよく、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス316から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ336は、ハードウェアプロセッサであってもよく、図2Aに示されるローカル処理およびデータモジュール260の一部として実装されてもよい。
ウェアラブルシステムはまた、1つ以上の深度センサ234を含んでもよい。深度センサ234は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されてもよい。深度センサ234は、レーザスキャナ(例えば、LIDAR)、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ316が深度感知能力を有する、ある実施形態では、カメラ316はまた、深度センサ234と見なされ得る。
また、示されるのは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ339からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ332である。プロセッサ332は、図2に示される、ローカル処理およびデータモジュール260の一部であってもよい。ウェアラブルシステム200はまた、図3に示されるように、例えば、GPS337(全地球測位システム)等の測位システムを含み、姿勢および測位分析を補助してもよい。加えて、GPSはさらに、ユーザの環境についての遠隔ベース(例えば、クラウドベース)の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
ウェアラブルシステムは、GPS337および遠隔コンピューティングシステム(例えば、遠隔処理モジュール270、別のユーザのARD等)によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供してもよい。一実施例として、ウェアラブルシステムは、GPSデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられた仮想オブジェクトを含む、世界マップを読み出してもよい(例えば、遠隔処理モジュール270と通信することによって)。別の実施例として、ウェアラブルシステム200は、世界カメラ316(図4に示される外向きに面した結像システム464の一部であってもよい)を使用して、環境を監視してもよい。世界カメラ316によって入手された画像に基づいて、ウェアラブルシステム200は、環境内のオブジェクトを検出してもよい(例えば、図7に示される1つ以上のオブジェクト認識装置708を使用することによって)。ウェアラブルシステムはさらに、GPS337によって入手されたデータを使用して、キャラクタを解釈してもよい。
ウェアラブルシステム200はまた、レンダリングエンジン334を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されてもよい。レンダリングエンジン334は、ハードウェアプロセッサ(例えば、中央処理ユニットまたはグラフィック処理ユニット等)によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール260の一部である。レンダリングエンジン334は、ウェアラブルシステム200の他のコンポーネントに通信可能に結合されてもよい(例えば、有線または無線リンクを介して)。例えば、レンダリングエンジン334は、通信リンク274を介して、眼カメラ324に結合され、通信リンク272を介して、投影サブシステム318(網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼302、304の中に投影してもよい)に結合されてもよい。レンダリングエンジン334はまた、それぞれ、リンク276および294を介して、例えば、センサ姿勢プロセッサ332および画像姿勢プロセッサ336等の他の処理ユニットと通信してもよい。
カメラ324(例えば、小型赤外線カメラ)は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度(眼の輻輳・開散運動(vergence)を用いて推定されてもよい)を含んでもよい。GPS337、ジャイロスコープ、コンパス、および加速度計339は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ316のうちの1つ以上のものは、画像および姿勢を入手してもよく、これは、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
図3に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの1つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図3に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ336、センサ姿勢プロセッサ332、およびレンダリングエンジン334は、ベルトパック内に位置付けられ、超広帯域、Wi-Fi、Bluetooth(登録商標)等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体230は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム200のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ240が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
ユーザの眼302、304の中への光338の投影に関して、いくつかの実施形態では、カメラ324は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の3次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼302、304に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルシステムおよび他のディスプレイシステムの実施例はまた、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)に説明される。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動移動と遠近調節の組み合わせに起因して、オブジェクトを3次元として知覚し得る。相互に対する2つの眼の輻輳・開散運動移動(例えば、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視点を収束させ、オブジェクトを固視するような瞳孔の回転)は、眼の水晶体の合焦(または「遠近調節」)と緊密に関連付けられる。通常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節-輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
さらに、約0.7ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決され得る。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ324を用いて追跡されてもよく、レンダリングエンジン334および投影サブシステム318は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい(例えば、意図的に作成されたぼけを使用して)。好ましくは、システム220は、ユーザに、約60フレーム/秒以上のフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ324は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約20ミリ秒未満の待ち時間、約0.1度未満の角度整合、および約1弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム220は、位置特定システムと統合されてもよく、これは、GPS要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい(例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう)。
いくつかの実施形態では、ウェアラブルシステム200は、ユーザの眼の遠近調節に基づいて、1つ以上の仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の3Dディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される1つ以上の画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、1mの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を3mに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム200は、ユーザの眼がより自然な様式において機能することを可能にする。
そのようなウェアラブルシステム200は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム200の種々の実施形態は、1つ以上の可変焦点要素(VFE)を通して、仮想画像を可変焦点距離に投影するように構成される。1つ以上の実施形態では、3D知覚は、画像をユーザから固定された焦点面に投影する、多平面焦点システムを通して達成されてもよい。他の実施形態は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、z-方向に往復して移動される。
多平面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム200は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム200は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム200のディスプレイの能力は、ユーザがオブジェクトを3Dにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を1つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
(導波管スタックアセンブリ)
(導波管スタックアセンブリ)
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応してもよく、図4Aは、そのウェアラブルシステム200のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
図4を継続して参照すると、導波管アセンブリ480はまた、複数の特徴458、456、454、452を導波管間に含んでもよい。いくつかの実施形態では、特徴458、456、454、452は、レンズであってもよい。他の実施形態では、特徴458、456、454、452は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層または構造)。
導波管432b、434b、436b、438b、440bまたは複数のレンズ458、456、454、452は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス420、422、424、426、428は、それぞれ、眼410に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管440b、438b、436b、434b、432bの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス420、422、424、426、428の出力表面から出射し、導波管440b、438b、436b、434b、432bの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス420、422、424、426、428は、それぞれ、それぞれの対応する導波管440b、438b、436b、434b、432bの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス420、422、424、426、428は、例えば、画像情報を1つ以上の光学導管(光ファイバケーブル等)を介して、画像投入デバイス420、422、424、426、428のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ460が、スタックされた導波管アセンブリ480および画像投入デバイス420、422、424、426、428の動作を制御する。コントローラ460は、導波管440b、438b、436b、434b、432bへの画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ460は、単一一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ460は、いくつかの実施形態では、処理モジュール260または270(図2に図示される)の一部であってもよい。
導波管440b、438b、436b、434b、432bは、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管440b、438b、436b、434b、432bはそれぞれ、主要上部表面および主要底部表面ならびにそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管440b、438b、436b、434b、432bはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素440a、438a、436a、434a、432aを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素(440a、438a、436a、434a、432a)は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確性にするために、導波管440b、438b、436b、434b、432bの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、上部または底部主要表面に配置されてもよい、または導波管440b、438b、436b、434b、432bの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、透明基板に取り付けられ、導波管440b、438b、436b、434b、432bを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管440b、438b、436b、434b、432bは、モノリシック材料部品であってもよく、光抽出光学要素440a、438a、436a、434a、432aは、その材料部品の表面上および/または内部に形成されてもよい。
図4を継続して参照すると、本明細書に議論されるように、各導波管440b、438b、436b、434b、432bは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管432bは、そのような導波管432bの中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管434bは、眼410に到達し得る前に、第1のレンズ452(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ452は、眼/脳が、その次の上方の導波管434bから生じる光を光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管436bは、眼410に到達する前に、その出力光を第1のレンズ452および第2のレンズ454の両方を通して通過させる。第1および第2のレンズ452ならびに454の組み合わせられた屈折力は、眼/脳が、第3の導波管436bから生じる光が次の上方の導波管434bからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層(例えば、導波管438b、440b)およびレンズ(例えば、レンズ456、458)も同様に構成され、スタック内の最高導波管440bを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ480の他側の世界470から生じる光を視認/解釈するとき、レンズ458、456、454、452のスタックを補償するために、補償レンズ層430が、スタックの上部に配置され、下方のレンズスタック458、456、454、452の集約力を補償してもよい。(補償レンズ層430およびスタックされた導波管アセンブリ480は、全体として、世界470から生じる光が、最初にスタックされた導波管アセンブリ480によって受光されたときに光が有していたものと実質的に同一レベルの発散(またはコリメーション)で眼410に伝達されるように構成され得る。)そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい(例えば、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図4を継続して参照すると、光抽出光学要素440a、438a、436a、434a、432aは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素440a、438a、436a、434a、432aは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素440a、438a、436a、434a、432aは、立体ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。
いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、回折パターンを形成する回折特徴または「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差部で眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼304に向かって非常に均一なパターンの出射放出となり得る。
いくつかの実施形態では、1つ以上のDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、もしくは特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられた2つの深度平面間を区別不能である場合、コントローラ460(ローカル処理およびデータモジュール260の実施形態であり得る)は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム400は、世界470の一部を結像する、外向きに面した結像システム464(例えば、デジタルカメラ)を含んでもよい。世界470の本部分は、世界カメラの視野(FOV)と称され得、結像システム464は、時として、FOVカメラとも称される。世界カメラのFOVは、視認者210のFOVと同一である場合とそうではない場合があり、これは、視認者210が所与の時間に知覚する、世界470の一部を包含する。例えば、いくつかの状況では、世界カメラのFOVは、ウェアラブルシステム400の視認者210の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、ウェアラブルシステム400を囲繞する4πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のFORは、より小さい立体角に接し得る。外向きに面した結像システム464から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界470内のオブジェクトを検出する等のために、使用されてもよい。
ウェアラブルシステム400は、オーディオセンサ232、例えば、マイクロホンを含み、周囲音を捕捉してもよい。上記に説明されるように、いくつかの実施形態では、1つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられてもよい。オーディオセンサ232は、別の実施例として、指向性マイクロホンを備えてもよく、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供してもよい。ウェアラブルシステム400は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに面した結像システム464およびオーディオセンサ230の両方からの情報を使用してもよい。例えば、ウェアラブルシステム400は、単独で、または話者の反射された画像(例えば、鏡に見られるように)と組み合わせて、音声認識を使用して、話者の識別を決定してもよい。別の実施例として、ウェアラブルシステム400は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム400は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別(例えば、名前または他の人口統計情報)を決定してもよい。
ウェアラブルシステム400はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム466(例えば、デジタルカメラ)を含んでもよい。内向きに面した結像システム466は、眼410の画像を捕捉し、眼304の瞳孔のサイズおよび/または配向を決定するために使用されてもよい。内向きに面した結像システム466は、ユーザが見ている方向(例えば、眼姿勢)を決定する際に使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)、画像を得るために使用されてもよい。いくつかの実施形態では、少なくとも1つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼410のみの瞳孔直径または配向(例えば、対の眼あたり単一カメラのみを使用して)が、決定され、ユーザの両眼に関して類似すると仮定された。内向きに面した結像システム466によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム400によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム400はまた、IMU、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を決定してもよい。
ウェアラブルシステム400は、ユーザが、コマンドをコントローラ460に入力し、ウェアラブルシステム400と相互作用し得る、ユーザ入力デバイス466を含んでもよい。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含んでもよい。マルチDOFコントローラは、コントローラの一部または全部の可能性として考えられる平行移動(例えば、左/右、前方/後方、もしくは上/下)または回転(例えば、ヨー、ピッチ、もしくはロール)におけるユーザ入力を感知してもよい。平行移動をサポートする、マルチDOFコントローラは、3DOFと称され得る一方、平行移動および回転をサポートする、マルチDOFコントローラは、6DOFと称され得る。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム400に提供してもよい(例えば、ユーザ入力をウェアラブルシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ウェアラブルシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ウェアラブルシステム400と有線または無線通信してもよい。
(ウェアラブルシステムの他のコンポーネント)
(ウェアラブルシステムの他のコンポーネント)
多くの実施形態では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトもしくはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実施形態では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実施形態では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、1つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実施形態では、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの1つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの1つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドもしくはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用もしくはタッチを検出し得る。ユーザ入力デバイス466(図4に示される)は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカもしくは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、HMD、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明される。
(眼画像の実施例)
(眼画像の実施例)
図5は、眼瞼504と、強膜508(「白眼」)と、虹彩512と、瞳孔516とを伴う、眼500の画像を図示する。曲線516aは、瞳孔516と虹彩512との間の瞳孔境界を示し、曲線512aは、虹彩512と強膜508との間の辺縁境界を示す。眼瞼504は、上側眼瞼504aと、下側眼瞼504bとを含む。眼500は、自然静置姿勢(例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される)に図示される。眼500の自然静置姿勢は、自然静置姿勢(例えば、図5に示される眼500に関しては、すぐ面外)にあって、本実施例では、瞳孔516内に心合されるときの眼500の表面に直交する方向である、自然静置方向520によって示され得る。
眼500が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置方向520に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する(かつ瞳孔516内に心合される)方向であるが、眼が現在指向されているオブジェクトに向かって配向される、眼姿勢方向524を参照して決定されてもよい。図5に示される例示的座標系を参照すると、眼500の姿勢は、両方とも眼の自然静置方向520に対する、眼の眼姿勢方向524の方位角偏向および天頂偏向を示す、2つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ(基点方位角から決定される、方位角偏向)およびφ(時として、極性偏向とも称される、天頂偏向)として表され得る。いくつかの実施形態では、眼姿勢方向524の周囲の眼の角度ロールが、眼姿勢の決定に含まれてもよく、角度ロールは、以下の分析に含まれてもよい。いくつかの他の実施形態では、眼姿勢を決定するための他の技法が、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されてもよい。
眼画像は、任意の適切なプロセスを使用して、例えば、画像を1つ以上のシーケンシャルフレームから抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されてもよい。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されてもよい。例えば、眼姿勢は、提供される光源に及ぼす角膜のレンズ効果を検討することによって決定されてもよい。任意の好適な眼追跡技法が、本明細書に説明される眼瞼形状推定技法において眼姿勢を決定するために使用されてもよい。
(眼追跡システムの実施例)
(眼追跡システムの実施例)
図6は、眼追跡システムを含む、ウェアラブルまたは頭部搭載型ディスプレイシステム600の概略図を図示する。頭部搭載型ディスプレイシステム600は、少なくともいくつかの実施形態では、頭部搭載型ユニット602内に位置するコンポーネントと、非頭部搭載型ユニット604内に位置するコンポーネントとを含んでもよい。非頭部搭載型ユニット604は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。頭部搭載型ディスプレイシステム600のコンポーネントのうちのいくつかを非頭部搭載型ユニット604内に組み込むことは、頭部搭載型ユニット602のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実施形態では、頭部搭載型ユニット602および/または非頭部搭載型604の1つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、頭部搭載型ディスプレイシステム600内のいずれかに含まれる1つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット602のCPU612と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット604のCPU616を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、頭部搭載型ディスプレイシステム600の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実施形態では、そのような機能性の一部または全部は、図2を参照して上記に説明されたものに類似する様式において、1つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
図6に示されるように、頭部搭載型ディスプレイシステム600は、ユーザの眼610の画像を捕捉する、カメラ324を含む、眼追跡システムを含んでもよい。所望に応じて、眼追跡システムはまた、光源326aおよび326b(発光ダイオード「LED」等)を含んでもよい。光源326aおよび326bは、閃光(すなわち、カメラ324によって捕捉された眼の画像内に現れる、ユーザの眼からの反射)を生成し得る。カメラ324に対する光源326aおよび326bの位置は、既知であり得、その結果、カメラ324によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡する際に使用されてもよい(図7-11に関連して下記により詳細に議論されるであろうように)。少なくとも一実施形態では、1つの光源326と、ユーザの眼610の片方と関連付けられた1つのカメラ324とが存在してもよい。別の実施形態では、1つの光源326と、ユーザの眼610のそれぞれと関連付けられた1つのカメラ324とが存在してもよい。さらに他の実施形態では、1つ以上のカメラ324と、ユーザの眼610の一方またはそれぞれと関連付けられた1つ以上の光源326とが存在してもよい。具体的実施例として、2つの光源326aおよび326bと、ユーザの眼610のそれぞれと関連付けられた1つ以上のカメラ324とが存在してもよい。別の実施例として、光源326aおよび326b等の3つ以上の光源と、ユーザの眼610のそれぞれと関連付けられた1つ以上のカメラ324とが存在してもよい。
眼追跡モジュール614は、画像を眼追跡カメラ324から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール614は、ユーザの眼姿勢、眼追跡カメラ324(および頭部搭載型ユニット602)に対するユーザの眼の3次元位置、合焦されているユーザの眼610の一方または両方の方向、ユーザの輻輳・開散運動深度(すなわち、ユーザが合焦しているユーザからの深度)、ユーザの瞳孔の位置、ユーザの角膜および角膜球面の位置、ユーザの眼のそれぞれの回転中心、およびユーザの眼のそれぞれの視点の中心を検出してもよい。眼追跡モジュール614は、図7-11に関連して下記に説明される技法を使用して、そのような情報を抽出してもよい。図6に示されるように、眼追跡モジュール614は、頭部搭載型ユニット602内のCPU612を使用して実装される、ソフトウェアモジュールであってもよい。
眼追跡モジュール614からのデータは、ウェアラブルシステム内の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、頭部搭載型ディスプレイシステムの600ディスプレイがユーザの眼と適切に位置合わせされているかどうかを評価するように構成され得る、ライトフィールドレンダリングコントローラ618および位置合わせオブザーバ620のためのソフトウェアモジュールを含む、CPU616等の非頭部搭載型ユニット604内のコンポーネントに伝送されてもよい。
レンダリングコントローラ618は、レンダリングエンジン622(例えば、GPU621内のソフトウェアモジュールであり得、画像をディスプレイ220に提供し得る、レンダリングエンジン)によって、眼追跡モジュール614からの情報を使用して、ユーザに表示される画像を調節してもよい。実施例として、レンダリングコントローラ618は、ユーザの回転中心または視点の中心に基づいて、ユーザに表示される画像を調節してもよい。特に、レンダリングコントローラ618は、ユーザの視点の中心に関する情報を使用して、レンダリングカメラをシミュレートしてもよく(すなわち、ユーザの視点からの画像の収集をシミュレートする)、シミュレートされたレンダリングカメラに基づいて、ユーザに表示される画像を調節してもよい。
時として、「ピンホール透視投影カメラ」(または単に、「透視投影カメラ」)または「仮想ピンホールカメラ」(または単に、「仮想カメラ」)とも称される、「レンダリングカメラ」は、可能性として、仮想世界内のオブジェクトのデータベースからの仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、および可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。言い換えると、レンダリングカメラは、そこからユーザまたは装着者がレンダリング空間の3D仮想コンテンツ(例えば、仮想オブジェクト)を視認すべきである、レンダリング空間内の視点を表し得る。レンダリングカメラは、レンダリングエンジンによって管理され、眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされ得る。例えば、仮想画像は、固有のパラメータの具体的セット(例えば、焦点距離、カメラピクセルサイズ、主点座標、歪/歪曲パラメータ等)と、付帯パラメータの具体的セット(例えば、仮想世界に対する平行移動成分および回転成分)とを有する、ピンホールカメラ(「レンダリングカメラ」に対応する)によって捕捉されたかのようにレンダリングされ得る。仮想画像は、レンダリングカメラの位置および配向(例えば、レンダリングカメラの付帯パラメータ)を有する、そのようなカメラの視点から撮影される。システムは、固有のおよび付帯レンダリングカメラパラメータを定義および/または調節し得るということになる。例えば、システムは、仮想画像が、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされるように、特定のセットの付帯レンダリングカメラパラメータを定義してもよい。システムは、後に、具体的場所との位置合わせを維持するように、付帯レンダリングカメラパラメータをオンザフライで動的に調節してもよい。同様に、固有のレンダリングカメラパラメータも、定義され、経時的に動的に調節されてもよい。いくつかの実施形態では、画像は、開口(例えば、ピンホール)をユーザまたは装着者の眼に対する具体的場所(視点の中心または回転中心もしくは他の場所等)に有するカメラの視点から捕捉されたかのようにレンダリングされる。
いくつかの実施形態では、システムは、ユーザの眼が、相互から物理的に分離され、したがって、一貫して異なる場所に位置付けられるにつれて、ユーザの左眼のための1つのレンダリングカメラおよびユーザの右眼のために別のレンダリングカメラを作成もしくは動的に再位置付および/または再配向してもよい。少なくともいくつかの実施形態では、視認者の左眼と関連付けられたレンダリングカメラの視点からレンダリングされた仮想コンテンツは、頭部搭載型ディスプレイ(例えば、頭部搭載型ユニット602)の左側の接眼レンズを通してユーザに提示され得、ユーザの右眼と関連付けられたレンダリングカメラの視点からレンダリングされた仮想コンテンツは、そのような頭部搭載型ディスプレイの右側の接眼レンズを通してユーザに提示され得るということになる。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION」と題された米国特許出願第15/274,823号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。
いくつかの実施例では、システム600の1つ以上のモジュール(またはコンポーネント)(例えば、ライトフィールドレンダリングコントローラ618、レンダリングエンジン622等)は、ユーザの頭部および眼の位置および配向(例えば、それぞれ、頭部姿勢および眼追跡データに基づいて決定されるように)に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。すなわち、システム600は、事実上、ユーザの頭部および眼の位置および配向を3D仮想環境内の特定の場所および角位置にマッピングし、レンダリングカメラを3D仮想環境内の特定の場所および角位置に設置および配向し、レンダリングカメラによって捕捉されるであろうにつれて、仮想コンテンツをユーザのためにレンダリングし得る。実世界/仮想世界マッピングプロセスについて議論するさらなる詳細は、「SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE」と題された米国特許出願第15/296,869号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。実施例として、レンダリングコントローラ618は、画像が、画像を表示するために任意の所与の時間に利用される深度平面(または複数の深度平面)を選択することによって表示される、深度を調節してもよい。いくつかの実施形態では、そのような深度平面切替は、1つ以上の固有のレンダリングカメラパラメータの調節を通して、行われてもよい。
位置合わせオブザーバ620は、眼追跡モジュール614からの情報を使用して、頭部搭載型ユニット602がユーザの頭部上に適切に位置付けられているかどうかを識別してもよい。実施例として、眼追跡モジュール614は、カメラ324に対するユーザの眼の3次元位置を示す、ユーザの眼の回転中心の位置等の眼場所情報を提供してもよく、頭部搭載型ユニット602および眼追跡モジュール614は、場所情報を使用して、ディスプレイ220がユーザの視野内に適切に整合されているかどうか、または頭部搭載型ユニット602(またはヘッドセット)が滑脱している、もしくは別様にユーザの眼と不整合状態であるかどうかを決定してもよい。実施例として、位置合わせオブザーバ620は、頭部搭載型ユニット602が、ユーザの鼻梁から滑脱しており、したがって、ディスプレイ220をユーザの眼から離れさせ、そこから下方に移動させている(望ましくあり得ない)かどうか、頭部搭載型ユニット602が、ユーザの鼻梁の上方に移動しており、したがって、ディスプレイ220をユーザの眼により近づけ、そこから上方に移動させているかどうか、頭部搭載型ユニット602が、ユーザの鼻梁に対して左または右に偏移されているかどうか、頭部搭載型ユニット602が、ユーザの鼻梁の上方に持ち上げられているかどうか、または頭部搭載型ユニット602が、これらまたは他の方法において、所望の位置または位置の範囲から離れて移動されているかどうかを決定することが可能であり得る。一般に、位置合わせオブザーバ620は、一般に、頭部搭載型ユニット602、特に、ディスプレイ220が、ユーザの眼の正面に適切に位置付けられているかどうかを決定することが可能であり得る。言い換えると、位置合わせオブザーバ620は、ディスプレイシステム220内の左眼ディスプレイが、ユーザの左眼と適切に整合されており、ディスプレイシステム220内の右眼ディスプレイが、ユーザの右眼と適切に整合されているかどうかを決定し得る。位置合わせオブザーバ620は、頭部搭載型ユニット602が、ユーザの眼に対する位置および/または配向の所望の範囲内に位置付けられ、配向されているかどうかを決定することによって、頭部搭載型ユニット602が適切に位置付けられているかどうかを決定してもよい。
少なくともいくつかの実施形態では、位置合わせオブザーバ620は、アラート、メッセージ、または他のコンテンツの形態におけるユーザフィードバックを生成してもよい。そのようなフィードバックは、ユーザに提供され、ユーザに、頭部搭載型ユニット602の任意の不整合を、不整合を補正する方法に関する随意のフィードバック(頭部搭載型ユニット602を特定の様式において調節するための提案等)とともに知らせてもよい。
位置合わせオブザーバ620によって利用され得る、例示的位置合わせ観察およびフィードバック技法は、2017年9月27日に出願された、米国特許出願第15/717,747号(弁理士整理番号MLEAP.052A2)(参照することによってその全体として本明細書に組み込まれる)に説明される。
(眼追跡モジュールの実施例)
(眼追跡モジュールの実施例)
例示的眼追跡モジュール614の詳細なブロック図が、図7Aに示される。図7Aに示されるように、眼追跡モジュール614は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール614は、光源326および頭部搭載型ユニット602に対する眼追跡カメラ324の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約4.7mmの典型的距離またはユーザの回転中心と視点の中心との間の典型的距離等の仮定された眼寸法704、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ706等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール614によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に説明される。
画像前処理モジュール710は、画像を眼カメラ324等の眼カメラから受信してもよく、1つ以上の前処理(すなわち、調整)動作を受信された画像上に実施してもよい。実施例として、画像前処理モジュール710は、ガウスぼけを画像に適用してもよい、画像をより低い分解能にダウンサンプリングしてもよい、アンシャープマスクを適用してもよい、縁シャープニングアルゴリズムを適用してもよい、または後の検出、位置特定、および眼カメラ324からの画像内の閃光、瞳孔、または他の特徴の標識化を補助する、他の好適なフィルタを適用してもよい。画像前処理モジュール710は、高周波数雑音を瞳孔境界516a(図5参照)等から除去し、それによって瞳孔および閃光決定を妨害し得る、雑音を除去し得る、オープンフィルタ等の低域通過フィルタまたは形態学的フィルタを適用してもよい。画像前処理モジュール710は、前処理された画像を瞳孔識別モジュール712および閃光検出および標識化モジュール714に出力してもよい。
瞳孔識別モジュール712は、前処理された画像を画像前処理モジュール710から受信してもよく、ユーザの瞳孔を含む、それらの画像の領域を識別してもよい。瞳孔識別モジュール712は、いくつかの実施形態では、カメラ324からの眼追跡画像内のユーザの瞳孔の位置の座標、すなわち、中心または重心の座標を決定してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール712は、眼追跡画像内の輪郭(例えば、瞳孔虹彩境界の輪郭)を識別し、輪郭モーメント(すなわち、質量中心)を識別し、スターバースト瞳孔検出および/またはCanny縁検出アルゴリズムを適用し、強度値に基づいて外れ値を除外し、サブピクセル境界点を識別し、眼カメラ歪曲(すなわち、眼カメラ324によって捕捉された画像内の歪曲)を補正し、ランダムサンプルコンセンサス(RANSAC)反復アルゴリズムを適用し、楕円形を眼追跡画像内の境界に適合させ、追跡フィルタを画像に適用し、ユーザの瞳孔重心のサブピクセル画像座標を識別してもよい。瞳孔識別モジュール712は、ユーザの瞳孔を示すと識別された前処理画像モジュール712の領域を示し得る、瞳孔識別データを、閃光検出および標識化モジュール714に出力してもよい。瞳孔識別モジュール712は、各眼追跡画像内のユーザの瞳孔の2D座標(すなわち、ユーザの瞳孔重心の2D座標)を閃光検出モジュール714に提供してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール712はまた、同一種類の瞳孔識別データを座標系正規化モジュール718に提供してもよい。
瞳孔識別モジュール712によって利用され得る、瞳孔検出技法は、2017年2月23日に公開された米国特許公開第2017/0053165号および2017年2月23日に公開された米国特許公開第2017/0053166号(それぞれ、参照することによってその全体として本明細書に組み込まれる)に説明される。
閃光検出および標識化モジュール714は、前処理された画像をモジュール710から、瞳孔識別データをモジュール712から受信してもよい。閃光検出モジュール714は、本データを使用して、閃光(すなわち、光源326からの光のユーザの眼からの反射)をユーザの瞳孔を示す前処理された画像の領域内で検出および/または識別してもよい。実施例として、閃光検出モジュール714は、ユーザの瞳孔の近傍にある、時として、本明細書では、「ブロブ」または局所強度最大値とも称される、眼追跡画像内の明るい領域を検索してもよい。少なくともいくつかの実施形態では、閃光検出モジュール714は、瞳孔楕円形を再スケーリング(例えば、拡大)し、付加的閃光を包含してもよい。閃光検出モジュール714は、サイズおよび/または強度によって、閃光をフィルタリングしてもよい。閃光検出モジュール714はまた、眼追跡画像内の閃光のそれぞれの2D位置を決定してもよい。少なくともいくつかの実施例では、閃光検出モジュール714は、瞳孔-閃光ベクトルとも称され得る、ユーザの瞳孔に対する閃光の2D位置を決定してもよい。閃光検出および標識化モジュール714は、閃光を標識化し、標識された閃光を伴う前処理画像を3D角膜中心推定モジュール716に出力してもよい。閃光検出および標識化モジュール714はまた、モジュール710からの前処理された画像およびモジュール712からの瞳孔識別データ等のデータを伝達してもよい。
モジュール712および714等のモジュールによって実施されるような瞳孔および閃光検出は、任意の好適な技法を使用してもよい。実施例として、縁検出が、眼画像に適用され、閃光および瞳孔を識別してもよい。縁検出は、種々の縁検出器、縁検出アルゴリズム、またはフィルタによって適用されてもよい。例えば、Canny縁検出器が、画像に適用され、画像の線等の縁を検出してもよい。縁は、局所最大導関数に対応する、線に沿って位置する点を含んでもよい。例えば、瞳孔境界516a(図5参照)が、Canny縁検出器を使用して、位置特定されてもよい。瞳孔の場所が決定されると、種々の画像処理技法が、瞳孔116の「姿勢」を検出するために使用されてもよい。眼画像の眼姿勢の決定は、眼画像の眼姿勢の検出とも称され得る。姿勢は、視線、向いている方向、または眼の配向とも称され得る。例えば、瞳孔は、オブジェクトに向かって左を見ている場合があり、瞳孔の姿勢は、左向き姿勢として分類され得る。他の方法も、瞳孔または閃光の場所を検出するために使用されてもよい。例えば、同心リングが、Canny縁検出器を使用した眼画像内に位置し得る。別の実施例として、積分微分演算子が、瞳孔または虹彩の角膜輪部境界を見出すために使用されてもよい。例えば、Daugman積分微分演算子、Hough変換、または他の虹彩セグメント化技法が、瞳孔または虹彩の境界を推定する、曲線を返すために使用されてもよい。
3D角膜中心推定モジュール716は、検出された閃光データおよび瞳孔識別データを含む、前処理された画像を、モジュール710、712、714から受信してもよい。3D角膜中心推定モジュール716は、これらのデータを使用して、ユーザの角膜の3D位置を推定してもよい。いくつかの実施形態では、3D角膜中心推定モジュール716は、眼の角膜曲率またはユーザの角膜球面の中心、すなわち、概して、ユーザの角膜と同延の表面部分を有する、想像上の球面の中心の3D位置を推定してもよい。3D角膜中心推定モジュール716は、角膜球面および/またはユーザの角膜の推定された3D座標を示すデータを、座標系正規化モジュール718、光学軸決定モジュール722、および/またはライトフィールドレンダリングコントローラ618に提供してもよい。3D角膜中心推定モジュール716の動作のさらなる詳細は、図8A-8Eに関連して本明細書に提供される。3D角膜中心推定モジュール716および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、角膜または角膜球面等の眼特徴の位置を推定するための技法は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に議論される。
座標系正規化モジュール718は、随意に、(その破線輪郭によって示されるように)眼追跡モジュール614内に含まれてもよい。座標系正規化モジュール718は、ユーザの角膜の中心(および/またはユーザの角膜球面の中心)の推定された3D座標を示すデータを、3D角膜中心推定モジュール716から受信してもよく、また、データを他のモジュールから受信してもよい。座標系正規化モジュール718は、眼カメラ座標系を正規化してもよく、これは、ウェアラブルデバイスの滑脱(例えば、位置合わせオブザーバ620によって識別され得る、ユーザの頭部上のその正常静置位置からの頭部搭載型コンポーネントの滑脱)を補償することに役立ち得る。座標系正規化モジュール718は、座標系を回転させ、座標系のz-軸(すなわち、輻輳・開散運動深度軸)と角膜中心(例えば、3D角膜中心推定モジュール716によって示されるように)を整合させてもよく、カメラ中心(すなわち、座標系の原点)を30mm等の角膜中心から離れた所定の距離に平行移動させてもよい(すなわち、モジュール718は、眼カメラ324が所定の距離より近くまたは遠くにあるように決定されるかどうかに応じて、眼追跡画像を拡大または収縮し得る)。本正規化プロセスを用いることで、眼追跡モジュール614は、比較的に、ユーザの頭部上に位置付けられるヘッドセットの変動から独立して、眼追跡データ内の一貫した配向および距離を確立することが可能であり得る。座標系正規化モジュール718は、角膜(および/または角膜球面)の中心の3D座標、瞳孔識別データ、および前処理された眼追跡画像を3D瞳孔中心ロケータモジュール720に提供してもよい。座標系正規化モジュール718の動作のさらなる詳細は、図9A-9Cに関連して本明細書に提供される。
3D瞳孔中心ロケータモジュール720は、正規化または非正規化座標系内において、ユーザの角膜(および/または角膜球面)の中心の3D座標、瞳孔場所データ、および前処理された眼追跡画像を含む、データを受信してもよい。3D瞳孔中心ロケータモジュール720は、そのようなデータを分析して、正規化または非正規化眼カメラ座標系内のユーザの瞳孔の中心の3D座標を決定してもよい。3D瞳孔中心ロケータモジュール720は、瞳孔重心の2D位置(モジュール712によって決定されるように)、角膜中心の3D位置(モジュール716によって決定されるように)、典型的ユーザの角膜球面のサイズおよび角膜中心から瞳孔中心までの典型的距離等の仮定された眼寸法704、および角膜の屈折率(空気の屈折率に対する)等の眼の光学性質、または任意のこれらの組み合わせに基づいて、3次元におけるユーザの瞳孔の場所を決定してもよい。3D瞳孔中心ロケータモジュール720の動作のさらなる詳細は、図9D-9Gに関連して本明細書に提供される。3D瞳孔中心ロケータモジュール720および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、瞳孔等の眼特徴の位置を推定するための技法は、2017年4月26日に出願された、米国特許出願第15/497,726(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に議論される。
光学軸決定モジュール722は、ユーザの角膜およびユーザの瞳孔の中心の3D座標を示すデータを、モジュール716および720から受信してもよい。そのようなデータに基づいて、光学軸決定モジュール722は、角膜中心の位置から(すなわち、角膜球面の中心から)、ユーザの眼の光学軸を定義し得る、ユーザの瞳孔の中心までのベクトルを識別してもよい。光学軸決定モジュール722は、実施例として、ユーザの光学軸を規定する出力をモジュール724、728、730、および732に提供してもよい。
回転中心(CoR)推定モジュール724は、ユーザの眼の光学軸のパラメータ(すなわち、頭部搭載型ユニット602に対して既知の関係を伴う座標系内の光学軸の方向を示すデータ)を含むデータを、モジュール722から受信してもよい。CoR推定モジュール724は、ユーザの眼の回転中心(すなわち、ユーザの眼が左、右、上、および/または下に回転するとき、その周囲でユーザの眼が回転する、点)を推定し得る。眼が、単点の周囲で完璧に回転し得ない場合でも、単点が十分であり得ると仮定する。少なくともいくつかの実施形態では、CoR推定モジュール724は、瞳孔の中心(モジュール720によって識別される)または角膜の曲率中心(モジュール716によって識別されるように)を網膜に向かって光学軸(モジュール722によって識別される)に沿って特定の距離だけ移動させることによって、眼の回転中心を推定し得る。本特定の距離は、仮定された眼寸法704であってもよい。一実施例として、角膜の曲率中心とCoRとの間の特定の距離は、約4.7mmであってもよい。本距離は、ユーザの年齢、性別、視覚処方箋、他の関連特性等を含む、任意の関連データに基づいて、特定のユーザのために変動され得る。
少なくともいくつかの実施形態では、CoR推定モジュール724は、ユーザの眼のそれぞれの回転中心のその推定値を経時的に精緻化してもよい。実施例として、時間が経過するにつれて、ユーザは、最終的に、その眼を回転させ(他の場所、より近く、より遠くの何らかのもの、またはある時に左、右、上、もしくは下を見るため)、その眼のそれぞれの光学軸において偏移させるであろう。CoR推定モジュール724は、次いで、モジュール722によって識別される2つ(以上の)光学軸を分析し、それらの光学軸の交点の3D点を位置特定してもよい。CoR推定モジュール724は、次いで、その交点の3D点にある回転中心を決定してもよい。そのような技法は、経時的に改良する正確度を伴う、回転中心の推定値を提供し得る。種々の技法が、CoR推定モジュール724ならびに左および右眼の決定されたCoR位置の正確度を増加させるために採用されてもよい。実施例として、CoR推定モジュール724は、種々の異なる眼姿勢に関して経時的に決定された光学軸の交点の平均点を見出すことによって、CoRを推定してもよい。付加的実施例として、モジュール724は、推定されたCoR位置を経時的にフィルタリングまたは平均化してもよく、推定されたCoR位置の移動平均を経時的に計算してもよく、および/またはカルマンフィルタならびに眼および眼追跡システムの既知の動態を適用し、CoR位置を経時的に推定してもよい。具体的実施例として、モジュール724は、決定されたCoRが、ユーザに関する眼追跡データが取得されるにつれて、仮定されたCoR位置(すなわち、眼の角膜曲率の中心の4.7mm背後)からユーザの眼内の若干異なる場所に経時的にゆっくりと移り、それによって、CoR位置のユーザ毎精緻化を可能にし得るように、光学軸交点の決定された点および仮定されたCoR位置(眼の角膜曲率の中心から4.7mm等)の加重平均を計算してもよい。
瞳孔間距離(IPD)推定モジュール726は、ユーザの左および右眼の回転中心の推定された3D位置を示すデータを、CoR推定モジュール724から受信してもよい。IPD推定モジュール726は、次いで、ユーザの左および右眼の回転中心間の3D距離を測定することによって、ユーザのIPDを推定してもよい。一般に、ユーザの左眼の推定されたCoRとユーザの右眼の推定されたCoRとの間の距離は、ユーザが光学無限遠を見ている(すなわち、ユーザの眼の光学軸が、相互に略平行である)とき、ユーザの瞳孔の中心間の距離と概ね等しくあり得、これは、瞳孔間距離(IPD)の典型的定義である。ユーザのIPDは、ウェアラブルシステム内の種々のコンポーネントおよびモジュールによって使用されてもよい。実施例として、ユーザのIPDは、位置合わせオブザーバ620に提供され、ウェアラブルデバイスがユーザの眼と整合されている程度(例えば、左および右ディスプレイレンズが、ユーザのIPDに従って適切に離間されているかどうか)を査定する際に使用されてもよい。別の実施例として、ユーザのIPDは、輻輳・開散運動深度推定モジュール728に提供され、ユーザの輻輳・開散運動深度を決定する際に使用されてもよい。モジュール726は、CoR推定モジュール724に関連して議論されるもの等の種々の技法を採用し、推定されたIPDの正確度を増加させてもよい。実施例として、IPD推定モジュール724は、正確な様式におけるユーザのIPDの推定の一部として、フィルタリング、経時的平均、仮定されたIPD距離を含む、加重平均、カルマンフィルタ等を適用してもよい。
眼球間軸推定モジュール740は、IPD推定モジュール726、光学軸決定モジュール722、3D角膜中心推定モジュール716、3D瞳孔中心ロケータモジュール720、CoR推定モジュール724、およびCoP推定モジュール723等の1つ以上のモジュールからのデータを受信してもよい。特に、眼球間軸推定モジュール740は、左および右眼回転中心、視点の中心、瞳孔位置、虹彩位置、光学軸、瞳孔間距離等のユーザの左および右眼の1つ以上の特徴の推定される3D位置を示すデータを受信してもよい。眼球間軸推定モジュール740は、そのような情報を使用して、ユーザの眼球間軸の場所を決定してもよい。眼球間軸は、ユーザの左眼の特徴およびユーザの右眼の対応する特徴との間に延在してもよい。実施例として、眼球間軸は、左眼の回転中心と右眼の回転中心との間に延在してもよい。別の実施例として、眼球間軸は、左眼瞳孔と右眼瞳孔との間に延在してもよい。眼球間軸推定モジュール740は、眼カメラ324に対するユーザの眼(またはその中のいくつかの特徴)の位置を決定すること等によって、ウェアラブルシステムに対する眼球間軸の位置および/または配向を決定することが可能であり得る。
輻輳・開散運動深度推定モジュール728は、データを眼追跡モジュール614内の種々のモジュールおよびサブモジュール(図7Aに関連して示されるように)から受信してもよい。特に、輻輳・開散運動深度推定モジュール728は、瞳孔中心の推定された3D位置(例えば、上記に説明されるモジュール720によって提供されるように)、光学軸の1つ以上の決定されたパラメータ(例えば、上記に説明されるモジュール722によって提供されるように)、回転中心の推定された3D位置(例えば、上記に説明されるモジュール724によって提供されるように)、推定されたIPD(例えば、回転中心の推定された3D位置間のユークリッド距離)(例えば、上記に説明されるモジュール726によって提供されるように)、および/または光学軸ならびに/もしくは視軸の1つ以上の決定されたパラメータ(例えば、下記に説明されるモジュール722および/またはモジュール730によって提供されるように)を示すデータを採用してもよい。輻輳・開散運動深度推定モジュール728は、ユーザの眼が合焦されるユーザからの距離であり得る、ユーザの輻輳・開散運動深度の測定値を検出または別様に取得してもよい。実施例として、ユーザが、彼らの正面から3フィートのオブジェクトを見ているとき、ユーザの左および右眼は、3フィートの輻輳・開散運動深度を有する一方、ユーザが遠距離の景観を見ている(すなわち、ユーザの眼の光学軸が、ユーザの瞳孔の中心間の距離が、ユーザの左および右眼の回転中心間の距離と概ね等しくあり得るように、相互に略平行である)とき、ユーザの左および右眼は、無限遠の輻輳・開散運動深度を有する。いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザの瞳孔の推定された中心(例えば、モジュール720によって提供されるように)を示すデータを利用し、ユーザの瞳孔の推定された中心間の3D距離を決定してもよい。輻輳・開散運動深度推定モジュール728は、瞳孔中心間のそのような決定された3D距離と推定されたIPD(例えば、回転中心の推定された3D位置間のユークリッド距離)(例えば、上記に説明されるモジュール726によって示されるように)を比較することによって、輻輳・開散運動深度の測定値を取得してもよい。瞳孔中心間の3D距離および推定されたIPDに加え、輻輳・開散運動深度推定モジュール728は、既知の、仮定された、推定された、および/または決定された幾何学形状を利用して、輻輳・開散運動深度を計算してもよい。実施例として、モジュール728は、瞳孔中心間の3D距離、推定されたIPD、および三角法計算における3D CoR位置を組み合わせて、ユーザの輻輳・開散運動深度を推定(すなわち、決定)してもよい。実際、推定されたIPDに対する瞳孔中心間のそのような決定された3D距離の評価は、光学無限遠に対するユーザの現在の輻輳・開散運動深度の測定値を示す役割を果たし得る。いくつかの実施例では、輻輳・開散運動深度推定モジュール728は、単に、輻輳・開散運動深度のそのような測定値を取得する目的のために、ユーザの瞳孔の推定された中心間の推定された3D距離を示すデータを受信する、またはそれにアクセスしてもよい。いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザの左および右光学軸を比較することによって、輻輳・開散運動深度を推定してもよい。特に、輻輳・開散運動深度推定モジュール728は、ユーザの左および右光学軸が交差する(または水平平面等の平面上のユーザの左および右光学軸の投影が交差する)、ユーザからの距離を位置特定することによって、輻輳・開散運動深度を推定してもよい。モジュール728は、ゼロ深度をユーザの左および右光学軸が、ユーザのIPDによって分離される深度であると設定することによって、本計算において、ユーザのIPDを利用してもよい。少なくともいくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、眼追跡データを、既知のまたは導出された空間関係とともに三角測量することによって、輻輳・開散運動深度を決定してもよい。
いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザが合焦している距離のより正確なインジケーションを提供し得る、ユーザの視軸の交点に基づいて(その光学軸の代わりに)、ユーザの輻輳・開散運動深度を推定してもよい。少なくともいくつかの実施形態では、眼追跡モジュール614は、光学軸/視軸マッピングモジュール730を含んでもよい。図10に関連してさらに詳細に議論されるように、ユーザの光学軸および視軸は、概して、整合されない。視軸は、それに沿って人物が見ている軸である一方、光学軸は、その人物の水晶体および瞳孔の中心によって定義され、人物の網膜の中心を通して進み得る。特に、ユーザの視軸は、概して、ユーザの網膜の中心からオフセットされ、それによって、異なる光学および視軸をもたらし得る、ユーザの中心窩の場所によって定義される。これらの実施形態のうちの少なくともいくつかでは、眼追跡モジュール614は、光学軸/視軸マッピングモジュール730を含んでもよい。光学軸/視軸マッピングモジュール730は、ユーザの光学軸と視軸との間の差異を補正し、輻輳・開散運動深度推定モジュール728およびライトフィールドレンダリングコントローラ618等のウェアラブルシステム内の他のコンポーネントに対するユーザの視軸に関する情報を提供してもよい。いくつかの実施例では、モジュール730は、光学軸と視軸との間の内向きの(鼻側に、ユーザの鼻に向かって)約5.2°の典型的オフセットを含む、仮定された眼寸法704を使用してもよい。言い換えると、モジュール730は、ユーザの左および右光学軸の方向を推定するために、ユーザの左光学軸を5.2°鼻に向かって(鼻側に)右に、ユーザの右光学軸を5.2°鼻に向かって(鼻側に)左に偏移させ得る。他の実施例では、モジュール730は、光学軸(例えば、上記に説明されるモジュール722によって示されるように)を視軸にマッピングする際、ユーザ毎較正データ706を利用してもよい。付加的実施例として、モジュール730は、ユーザの光学軸を鼻側に4.0°~6.5°、4.5°~6.0°、5.0°~5.4°等、またはこれらの値のいずれかによって形成される任意の範囲だけ偏移させてもよい。いくつかの配列では、モジュール730は、少なくとも部分的に、その年齢、性別、視覚処方箋、または他の関連特性等の特定のユーザの特性に基づいて、偏移を適用してもよく、および/または少なくとも部分的に、特定のユーザのための較正プロセス(すなわち、特定のユーザの光学軸-視軸オフセットを決定するため)に基づいて、偏移を適用してもよい。少なくともいくつかの実施形態では、モジュール730はまた、左および右光学軸の原点を偏移させ、ユーザのCoRの代わりに、ユーザのCoP(モジュール732によって決定されるように)に対応させてもよい。
随意の視点中心(CoP)推定モジュール732が、提供されるとき、ユーザの左および右視点中心(CoP)の場所を推定してもよい。CoPは、ウェアラブルシステムのための有用な場所であって、少なくともいくつかの実施形態では、瞳孔の真正面の位置であり得る。少なくともいくつかの実施形態では、CoP推定モジュール732は、ユーザの瞳孔中心の3D場所、ユーザの角膜曲率の中心の3D場所、またはそのような好適なデータ、もしくはそれらの任意の組み合わせに基づいて、ユーザの左および右視点中心の場所を推定してもよい。実施例として、ユーザのCoPは、角膜曲率の中心の正面の約5.01mm(すなわち、角膜球面中心から、眼の角膜に向かい、光学軸に沿った方向に5.01mm)にあり得、光学または視軸に沿ってユーザの角膜の外側表面の約2.97mm背後にあり得る。ユーザの視点中心は、その瞳孔の中心の真正面にあり得る。実施例として、ユーザのCoPは、ユーザの瞳孔から約2.0mm未満、ユーザの瞳孔から約1.0mm未満、またはユーザの瞳孔から約0.5mm未満、またはこれらの値のいずれか間の任意の範囲であり得る。別の実施例として、視点中心は、眼の前房内の場所に対応し得る。他の実施例として、CoPは、1.0mm~2.0mm、約1.0mm、0.25mm~1.0mm、0.5mm~1.0mm、または0.25mm~0.5mmにあり得る。
(レンダリングカメラのピンホールの潜在的に望ましい位置およびユーザの眼内の解剖学的位置としての)本明細書に説明される視点中心は、望ましくない視差偏移を低減および/または排除する役割を果たす、位置であり得る。特に、ユーザの眼の光学系は、レンズの正面のピンホールが画面上に投影することによって形成される理論的システムにほぼ概ね匹敵し、ピンホール、レンズ、および画面は、それぞれ、ユーザの瞳孔/虹彩、水晶体、および網膜に概ね対応する。さらに、ユーザの眼から異なる距離における2つの点光源(またはオブジェクト)が、ピンホールの開口部を中心として厳密に回転する(例えば、ピンホールの開口部からのその個別の距離と等しい曲率半径に沿って回転される)とき、殆どまたは全く視差偏移が存在しないことが望ましくあり得る。したがって、CoPは、眼の瞳孔の中心に位置するはずであると考えられるであろう(およびそのようなCoPが、いくつかの実施形態では、使用されてもよい)。しかしながら、ヒトの眼は、水晶体および瞳孔のピンホールに加え、付加的屈折力を網膜に向かって伝搬する光に付与する、角膜を含む。したがって、本段落に説明される理論的システム内のピンホールの解剖学的均等物は、ユーザの眼の角膜の外側表面とユーザの眼の瞳孔または虹彩の中心との間に位置付けられる、ユーザの眼の領域であり得る。例えば、ピンホールの解剖学的均等物は、ユーザの眼の前房内の領域に対応し得る。本明細書で議論される種々の理由から、CoPをユーザの眼の前房内のそのような位置に設定することが所望され得る。
上記に議論されるように、眼追跡モジュール614は、左および右眼回転中心(CoR)の推定された3D位置、輻輳・開散運動深度、左および右眼光学軸、ユーザの眼の3D位置、ユーザの角膜曲率の左および右中心の3D位置、ユーザの左および右瞳孔中心の3D位置、ユーザの左および右視点中心の3D位置、ユーザのIPD等のデータを、ウェアラブルシステム内のライトフィールドレンダリングコントローラ618および位置合わせオブザーバ620等の他のコンポーネントに提供してもよい。眼追跡モジュール614はまた、ユーザの眼の他の側面と関連付けられたデータを検出および生成する、他のサブモジュールを含んでもよい。実施例として、眼追跡モジュール614は、ユーザが瞬目する度に、フラグまたは他のアラートを提供する、瞬目検出モジュールと、ユーザの眼がサッカードする(すなわち、焦点を別の点に迅速に偏移させる)度に、フラグまたは他のアラートを提供する、サッカード検出モジュールとを含んでもよい。
(レンダリングコントローラの実施例)
(レンダリングコントローラの実施例)
例示的ライトフィールドレンダリングコントローラ618の詳細なブロック図が、図7Bに示される。図6および7Bに示されるように、レンダリングコントローラ618は、眼追跡情報を眼追跡モジュール614から受信してもよく、出力をレンダリングエンジン622に提供してもよく、これは、ウェアラブルシステムのユーザによって視認するために表示されるべき画像を生成し得る。実施例として、レンダリングコントローラ618は、輻輳・開散運動深度、左および右眼回転中心(および/または視点中心)、および瞬目データ、サッカードデータ等の他の眼データに関する情報を受信してもよい。
深度平面選択モジュール750は、輻輳・開散運動深度情報を受信してもよく、そのようなデータに基づいて、レンダリングエンジン622に、コンテンツが特定の深度平面(すなわち、特定の遠近調節または焦点距離)上に位置するように現れる状態で、コンテンツをユーザに提供させてもよい。図4に関連して議論されるように、ウェアラブルシステムは、それぞれ、可変レベルの波面曲率を伴う画像情報を伝達する、複数の導波管によって形成される、複数の離散深度平面を含んでもよい。いくつかの実施形態では、ウェアラブルシステムは、経時的に変動するレベルの波面曲率を伴う画像情報を伝達する、光学要素等の1つ以上の可変深度平面を含んでもよい。これらおよび他の実施形態では、深度平面選択モジュール750が、レンダリングエンジン622に、部分的に、ユーザの輻輳・開散運動深度に基づいて、コンテンツを選択された深度においてユーザに伝達させてもよい(すなわち、レンダリングエンジン622に、ディスプレイ220に深度平面を切り替えるように指示させる)。少なくともいくつかの実施形態では、深度平面選択モジュール750およびレンダリングエンジン622は、コンテンツを異なる深度にレンダリングし、また、深度平面選択データを生成し、および/またはディスプレイ220等のディスプレイハードウェアに提供してもよい。ディスプレイ220等のディスプレイハードウェアは、深度平面選択モジュール750およびレンダリングエンジン622等のモジュールによって生成および/または提供される深度平面選択データ(制御信号であり得る)に応答して、電気深度平面切替を実施してもよい。
一般に、深度平面選択モジュール750が、ユーザが正確な遠近調節キューを提供されるように、ユーザの現在の輻輳・開散運動深度に合致する深度平面を選択することが望ましくあり得る。しかしながら、また、慎重かつ目立たない様式において深度平面を切り替えることが望ましくあり得る。実施例として、深度平面間の過剰な切替を回避することが望ましくあり得、および/または瞬目もしくは眼サッカードの間等のユーザが切替に気付く可能性が低い時間に深度平面を切り替えることが望ましくあり得る。
ヒステリシス帯交点検出モジュール752は、特に、ユーザの輻輳・開散運動深度が、2つの深度平面間の中点または遷移点で変動するとき、深度平面間の過剰な切替を回避することに役立ち得る。特に、モジュール752は、深度平面選択モジュール750に、ヒステリシスを深度平面のその選択に呈させてもよい。実施例として、モジュール752は、深度平面選択モジュール750に、ユーザの輻輳・開散運動深度が第1の閾値を通過した後のみ、第1のより遠い深度平面から第2のより近い深度平面に切り替えさせてもよい。同様に、モジュール752は、深度平面選択モジュール750に(ひいては、ディスプレイ220等のディスプレイに指示し得る)、ユーザの輻輳・開散運動深度が第1の閾値よりユーザから遠い第2の閾値を通過した後のみ、第1のより遠い深度平面に切り替えさせてもよい。第1の閾値と第2の閾値との間の重複領域では、モジュール750は、深度平面選択モジュール750に、いずれかの深度平面が選択された深度平面として現在選択されているように維持させ、したがって、深度平面間の過剰な切替を回避してもよい。
眼球イベント検出モジュール750は、他の眼データを図7Aの眼追跡モジュール614から受信してもよく、深度平面選択モジュール750に、眼球イベントが生じるまで、いくつかの深度平面切替を遅延させてもよい。実施例として、眼球イベント検出モジュール750は、深度平面選択モジュール750に、ユーザ瞬目が検出されるまで、計画された深度平面切替を遅延させてもよく、眼追跡モジュール614内の瞬目検出コンポーネントから、ユーザが現在瞬目していることを示す、データを受信してもよく、それに応答して、深度平面選択モジュール750に、瞬目イベントの間、計画された深度平面切替を実行させてもよい(モジュール750に、瞬目イベントの間、ディスプレイ220に深度平面切替を実行するように指示させることによって等)。少なくともいくつかの実施形態では、ウェアラブルシステムは、ユーザが偏移を知覚する可能性が低いように、瞬目イベントの間、コンテンツを新しい深度平面上に偏移させることが可能であり得る。別の実施例として、眼球イベント検出モジュール750は、眼サッカードが検出されるまで、計画された深度平面切替を遅延させてもよい。眼瞬目に関連して議論されるように、そのような配列は、深度平面の離散偏移を促進し得る。
所望に応じて、深度平面選択モジュール750は、眼球イベントの不在下であっても、深度平面切替を実行する前に、限定された時間周期にわたってのみ、計画された深度平面切替を遅延させてもよい。同様に、深度平面選択モジュール750は、眼球イベントの不在下であっても、ユーザの輻輳・開散運動深度が、現在選択されている深度平面外に実質的にあるとき(すなわち、ユーザの輻輳・開散運動深度が、深度平面切替のための通常閾値を超える所定の閾を超えたとき)、深度平面切替を実行してもよい。これらの配列は、眼球イベント検出モジュール754が、深度平面切替を無限に遅延させず、大遠近調節誤差が存在するとき、遅延深度平面切替を遅延させないことを確実にすることに役立ち得る。
レンダリングカメラコントローラ758は、ユーザの左および右眼の場所を示す情報を、レンダリングエンジン622に提供してもよい。レンダリングエンジン622は、次いで、カメラをユーザの左および右眼の位置においてシミュレートし、シミュレートされたカメラの視点に基づいて、コンテンツを生成することによって、コンテンツを生成してもよい。上記に議論されるように、レンダリングカメラは、可能性として、仮想世界内のオブジェクトのデータベースから仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。レンダリングカメラは、レンダリングエンジン内に含まれ、眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされてもよい。例えば、仮想画像は、仮想世界内のオブジェクトを視認する、開口、レンズ、および検出器を有する、カメラ(「レンダリングカメラ」に対応する)によって捕捉されたかのようにレンダリングされてもよい。仮想画像は、「レンダリングカメラ」の位置を有する、そのようなカメラの視点から撮影される。例えば、仮想画像は、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラ視点から捕捉されたかのようにレンダリングされてもよい。いくつかの実施形態では、画像は、ユーザまたは装着者の眼に対する具体的場所(本明細書に議論されるような視点中心または回転中心もしくは他の場所等)に開口を有する、カメラ視点から捕捉されたかのようにレンダリングされてもよい。
レンダリングカメラコントローラ758は、CoR推定モジュール724によって決定された左および右眼回転中心(CoR)に基づいて、および/またはCoP推定モジュール732によって決定された左および右眼視点中心(CoP)に基づいて、左および右カメラの位置を決定してもよい。いくつかの実施形態では、レンダリングカメラコントローラ758は、種々の要因に基づいて、CoR場所とCoP場所との間で切り替えてもよい。実施例として、レンダリングカメラコントローラ758は、種々のモードでは、レンダリングカメラをCoR場所に常時位置合わせする、レンダリングカメラをCoP場所に常時位置合わせする、種々の要因に基づいて、経時的に、CoR場所へのレンダリングカメラの位置合わせとCoP場所へのレンダリングカメラの位置合わせとの間でトグルする、または離散的に切り替える、または種々の要因に基づいて、経時的に、CoR場所とCoP場所との間で光学(または視)軸に沿った異なる位置の範囲のいずれかにレンダリングカメラを動的に位置合わせしてもよい。CoRおよびCoP位置は、随意に、平滑フィルタ756を通して通過し得(レンダリングカメラ位置付けのための前述のモードのいずれかにおいて)、これは、CoRおよびCoP場所を経時的に平均し、これらの位置における雑音を低減させ、シミュレートされたレンダリングカメラをレンダリングする際のジッタを防止し得る。
少なくともいくつかの実施形態では、レンダリングカメラは、眼追跡モジュール614によって識別される推定されたCoRまたはCoPの位置に配置されるピンホールを伴うピンホールカメラとしてシミュレートされてもよい。CoPは、CoRからオフセットされるため、レンダリングカメラの位置がユーザのCoPに基づくときは常時、レンダリングカメラおよびそのピンホールの両方の場所が、ユーザの眼が回転するにつれて偏移する。対照的に、レンダリングカメラの位置が、ユーザのCoRに基づくときは常時、レンダリングカメラのピンホールの場所は、眼回転に伴って移動しないが、レンダリングカメラ(ピンホールの背後)は、いくつかの実施形態では、眼回転に伴って移動し得る。レンダリングカメラの位置がユーザのCoRに基づく、他の実施形態では、レンダリングカメラは、ユーザの眼に伴って移動(すなわち、回転)しなくてもよい。
(位置合わせオブザーバの実施例)
(位置合わせオブザーバの実施例)
例示的位置合わせオブザーバ620のブロック図が、図7Cに示される。図6、7A、および7Cに示されるように、位置合わせオブザーバ620は、眼追跡情報を眼追跡モジュール614(図6および7A)から受信してもよい。実施例として、位置合わせオブザーバ620は、ユーザの左および右眼回転中心(例えば、共通座標系上にある、または頭部搭載型ディスプレイシステム600との基準共通フレームを有し得る、ユーザの左および右眼回転中心の3次元位置)に関する情報を受信してもよい。他の実施例として、位置合わせオブザーバ620は、ディスプレイ付帯性質、フィット感公差、および眼追跡有効インジケータを受信してもよい。ディスプレイ付帯性質は、ディスプレイの視野、1つ以上のディスプレイ表面のサイズ、および頭部搭載型ディスプレイシステム600に対するディスプレイ表面の位置等のディスプレイ(例えば、図2のディスプレイ200)に関する情報を含んでもよい。フィット感公差は、ユーザの左および右眼が、ディスプレイ性能が影響される前に公称位置から移動し得る距離を示し得る、ディスプレイ位置合わせ体積に関する情報を含んでもよい。加えて、フィット感公差は、ユーザの眼の位置の関数として予期される、ディスプレイ性能影響の量を示してもよい。
図7Cに示されるように、位置合わせオブザーバ620は、3D位置フィット感モジュール770を含んでもよい。位置フィット感モジュール770は、実施例として、左眼回転中心3D位置(例えば、CoR左)、右眼回転中心3D位置(例えば、CoR右)、ディスプレイ付帯性質、およびフィット感公差を含む、種々のデータを取得および分析してもよい。3D位置フィット感モジュール770は、個別の左および右眼公称位置からのユーザの左および右眼の距離を決定してもよく(例えば、3D左誤差および3D右誤差を計算してもよく)、誤差距離(例えば、3D左誤差および3D右誤差)をデバイス3Dフィット感モジュール772に提供してもよい。
3D位置フィット感モジュール770はまた、ディスプレイ付帯性質およびフィット感公差までの誤差距離を比較してユーザの眼が、公称体積、部分的に劣化された体積(例えば、その中でディスプレイ220の性能が部分的に劣化された体積)、または完全に劣化されたまたはほぼ完全に劣化された体積(例えば、その中でディスプレイ220がコンテンツをユーザの眼に提供することが実質的に不可能である体積)内にあるかどうかを決定してもよい。少なくともいくつかの実施形態では、3D位置フィット感モジュール770または3Dフィット感モジュール772は、図7Cに示されるフィット感の品質出力等のユーザ上のHMDのフィット感を定質的に説明する出力を提供してもよい。実施例として、モジュール770は、ユーザ上のHMDの現在のフィット感が、良好、許容内、または失敗であるかどうかを示す、出力を提供してもよい。良好なフィット感は、ユーザが画像の少なくともあるパーセンテージ(90%等)を視認することを可能にするフィット感に対応し得、許容内フィット感は、ユーザが画像の少なくともより低いパーセンテージ(80%等)を視認することを可能にし得る一方、失敗フィット感は、画像のさらにより低いパーセンテージのみがユーザに可視である、フィット感であり得る。
別の実施例として、3D位置フィット感モジュール770および/またはデバイス3Dフィット感モジュール772は、ユーザに可視のディスプレイ220によって表示される画像の全体的エリア(またはピクセル)のパーセンテージであり得る、可視エリアメトリックを計算してもよい。モジュール770および772は、1つ以上のモデル(例えば、数学的または幾何学的モデル)、1つ以上のルックアップテーブル、またはユーザの眼の位置の関数としてユーザに可視の画像のパーセンテージを決定するための他の技法、もしくはこれらおよび他の技法の組み合わせを使用して、ディスプレイ220に対するユーザの左および右眼の位置(例えば、ユーザの眼の回転中心に基づき得る)を評価することによって、可視エリアメトリックを計算してもよい。加えて、モジュール770および772は、ユーザの眼の位置の関数としてユーザに可視であることが予期される、ディスプレイ220によって表示される画像の領域または部分を決定してもよい。
位置合わせオブザーバ620はまた、デバイス3Dフィット感モジュール772を含んでもよい。モジュール772は、データを3D位置フィット感モジュール770から受信してもよく、また、眼追跡モジュール614によって提供され得、眼追跡システムがユーザの眼の位置を現在追跡しているかどうか、または眼追跡データが利用不可能である、もしくはエラー条件下にある(例えば、信頼性がないと決定された)かどうかを示し得る、眼追跡有効インジケータを受信してもよい。デバイス3Dフィット感モジュール772は、所望に応じて、眼追跡有効データの状態に応じて、3D位置フィット感モジュール770から受信されたフィット感の質データを修正してもよい。例えば、眼追跡システムからのデータが、利用可能ではない、またはエラーを有することが示される場合、デバイス3Dフィット感モジュール772は、エラーが存在することの通知を提供し、および/またはフィット感の質またはフィット感誤差に関する出力をユーザに提供しなくてもよい。
少なくともいくつかの実施形態では、位置合わせオブザーバ620は、フィット感の質ならびに誤差の性質および大きさの詳細に関するフィードバックをユーザに提供してもよい。実施例として、頭部搭載型ディスプレイシステムは、較正またはフィッティングプロセスの間、フィードバックをユーザに提供してもよく(例えば、設定プロシージャの一部として)、動作の間もフィードバックを提供してもよい(例えば、フィット感が、滑脱に起因して劣化する場合、位置合わせオブザーバ620は、頭部搭載型ディスプレイシステムを再調節するようにユーザにプロンプトしてもよい)。いくつかの実施形態では、位置合わせ分析は、自動的に実施されてもよく(例えば、頭部搭載型ディスプレイシステムの使用の間)、フィードバックは、ユーザ入力を伴わずに提供されてもよい。これらは、単に、例証的実施例である。
(眼追跡システムを用いてユーザの角膜を位置特定する実施例)
(眼追跡システムを用いてユーザの角膜を位置特定する実施例)
図8Aは、眼の角膜球面を示す、眼の概略図である。図8Aに示されるように、ユーザの眼810は、角膜812と、瞳孔822と、水晶体820とを有し得る。角膜812は、角膜球面814によって示される、略球状形状を有し得る。角膜球面814は、角膜中心とも称される、中心点816と、半径818とを有し得る。ユーザの眼の半球状角膜は、角膜中心816の周囲に湾曲し得る。
図8B-8Eは、3D角膜中心推定モジュール716および眼追跡モジュール614を使用してユーザの角膜中心816を位置特定する、実施例を図示する。
図8Bに示されるように、3D角膜中心推定モジュール716は、角膜閃光854を含む、眼追跡画像852を受信してもよい。3D角膜中心推定モジュール716は、次いで、光線856を眼カメラ座標系内に投射するために、眼カメラ座標系850内において、眼カメラ324および光源326の既知の3D位置(眼追跡付帯性質および固有性質データベース702、仮定された眼寸法データベース704、および/またはユーザ毎較正データ706内のデータに基づき得る)をシミュレートしてもよい。少なくともいくつかの実施形態では、眼カメラ座標系850は、その原点を眼追跡カメラ324の3D位置に有してもよい。
図8Cでは、3D角膜中心推定モジュール716は、第1の位置における角膜球面814a(データベース704からの仮定された眼寸法に基づき得る)および角膜曲率中心816aをシミュレートする。3D角膜中心推定モジュール716は、次いで、角膜球面814aが、光を光源326から閃光位置854に適切に反射させるであろうかどうかをチェックしてもよい。図8Cに示されるように、第1の位置は、光線860aが光源326と交差しないため、合致しない。
図8Dと同様に、3D角膜中心推定モジュール716は、第2の位置における角膜球面814bおよび角膜曲率中心816bをシミュレートする。3D角膜中心推定モジュール716は、次いで、角膜球面814bが、光を光源326から閃光位置854に適切に反射させるかどうかをチェックする。図8Dに示されるように、第2の位置もまた、合致しない。
図8Eに示されるように、3D角膜中心推定モジュール716は、最終的に、角膜球面の正しい位置が角膜球面814cおよび角膜曲率中心816cであることを決定することが可能である。3D角膜中心推定モジュール716は、源326からの光が、角膜球面から適切に反射し、カメラ324によって画像852上の閃光854の正しい場所に結像されるであろうことをチェックすることによって、図示される位置が正しいことを確認する。本配列、および光源326、カメラ324の既知の3D位置、ならびにカメラの光学性質(焦点距離等)を用いることで、3D角膜中心推定モジュール716は、角膜の曲率の中心816の3D場所(ウェアラブルシステムに対する)を決定し得る。
少なくとも図8C-8Eに関連して本明細書に説明されるプロセスは、事実上、ユーザの角膜中心の3D位置を識別するための反復、繰り返し、または最適化プロセスであり得る。したがって、複数の技法(例えば、反復、最適化技法等)のいずれかが、効率的かつ迅速に選別する、または可能性として考えられる位置の検索空間を低減させるために使用されてもよい。さらに、いくつかの実施形態では、システムは、光源326等の2つ、3つ、4つ、またはそれよりも多い光源を含んでもよく、これらの光源の全てのうちのいくつかは、異なる位置に配置され、画像852上の異なる位置に位置する、閃光854等の複数の閃光ならびに異なる原点および方向を有する、光線856等の複数の光線をもたらしてもよい。そのような実施形態は、モジュール716が、閃光および光線の一部または全部がその個別の光源と画像852上のその個別の位置との間に適切に反射される結果をもたらす、角膜位置を識別することを模索し得るため、3D角膜中心推定モジュール716の正確度を向上させ得る。言い換えると、これらの実施形態では、光源の一部または全部の位置が、図8B-8Eの3D角膜位置決定(例えば、反復、最適化技法等)プロセスに依拠し得る。
(眼追跡画像の座標系を正規化する実施例)
(眼追跡画像の座標系を正規化する実施例)
図9A-9Cは、図7Aの座標系正規化モジュール718等のウェアラブルシステム内のコンポーネントによる、眼追跡画像の座標系の例示的正規化を図示する。ユーザの瞳孔場所に対する眼追跡画像の座標系の正規化は、ユーザの顔に対するウェアラブルシステムの滑脱(すなわち、ヘッドセット滑脱)を補償し得、そのような正規化は、眼追跡画像とユーザの眼との間の一貫した配向および距離を確立し得る。
図9Aに示されるように、座標系正規化モジュール718は、ユーザの角膜の回転中心の推定された3D座標900を受信してもよく、画像852等の非正規化眼追跡画像を受信してもよい。眼追跡画像852および座標900は、実施例として、眼追跡カメラ324の場所に基づく、非正規化座標系850内にあってもよい。
第1の正規化ステップでは、座標系正規化モジュール718は、図9Bに示されるように、座標系のz-軸(すなわち、輻輳・開散運動深度軸)が、座標系の原点と角膜曲率中心座標900との間のベクトルと整合され得るように、座標系850を回転座標系902の中に回転させてもよい。特に、座標系正規化モジュール718は、ユーザの角膜曲率中心の座標900が、回転画像904の平面に対して法線となるまで、眼追跡画像850を回転眼追跡画像904の中に回転させてもよい。
第2の正規化ステップとして、座標系正規化モジュール718は、図9Cに示されるように、角膜曲率中心座標900が、正規化された座標系910の原点から標準的正規化された距離906にあるように、回転座標系902を正規化された座標系910の中に平行移動させてもよい。特に、座標系正規化モジュール718は、回転眼追跡画像904を正規化された眼追跡画像912の中に平行移動させてもよい。少なくともいくつかの実施形態では、標準的正規化された距離906は、約30ミリメートルであってもよい。所望に応じて、第2の正規化ステップは、第1の正規化ステップに先立って実施されてもよい。(眼追跡システムを用いてユーザの瞳孔重心を位置特定する実施例)
図9D-9Gは、3D瞳孔中心ロケータモジュール720および眼追跡モジュール614を使用してユーザの瞳孔中心(すなわち、図8Aに示されるように、ユーザの瞳孔822の中心)を位置特定する、実施例を図示する。
図9Dに示されるように、3D瞳孔中心ロケータモジュール720は、瞳孔重心913(すなわち、瞳孔識別モジュール712によって識別されるようなユーザの瞳孔の中心)を含む、正規化された眼追跡画像912を受信してもよい。3D瞳孔中心ロケータモジュール720は、次いで、眼カメラ324の正規化された3D位置910をシミュレートし、瞳孔重心913を通して、光線914を正規化された座標系910内に投射してもよい。
図9Eでは、3D瞳孔中心ロケータモジュール720は、3D角膜中心推定モジュール716からのデータに基づいて(および図8B-8Eに関連してより詳細に議論されるように)、曲率中心900を有する角膜球面901等の角膜球面をシミュレートしてもよい。実施例として、角膜球面901は、図8Eに関連して識別された曲率中心816cの場所に基づいて、および図9A-9Cの正規化プロセスに基づいて、正規化された座標系910内に位置付けられてもよい。加えて、3D瞳孔中心ロケータモジュール720は、図9Eに示されるように、光線914(すなわち、正規化された座標系910の原点とユーザの瞳孔の正規化された場所との間の光線)とシミュレートされた角膜との間の第1の交点916を識別してもよい。
図9Fに示されるように、3D瞳孔中心ロケータモジュール720は、角膜球面901に基づいて、瞳孔球面918を決定してもよい。瞳孔球面918は、角膜球面901と共通曲率中心を共有するが、小半径を有し得る。3D瞳孔中心ロケータモジュール720は、角膜中心と瞳孔中心との間の距離に基づいて、角膜中心900と瞳孔球面918との間の距離(すなわち、瞳孔球面918の半径)を決定してもよい。いくつかの実施形態では、瞳孔中心と角膜曲率中心との間の距離は、図7Aの仮定された眼寸法704から、眼追跡付帯性質および固有性質データベース702から、および/またはユーザ毎較正データ706から決定されてもよい。他の実施形態では、瞳孔中心と角膜曲率中心との間の距離は、図7Aのユーザ毎較正データ706から決定されてもよい。
図9Gに示されるように、3D瞳孔中心ロケータモジュール720は、種々の入力に基づいて、ユーザの瞳孔中心の3D座標を位置特定してもよい。実施例として、3D瞳孔中心ロケータモジュール720は、瞳孔球面918の3D座標および半径、シミュレートされた角膜球面901と正規化された眼追跡画像912内の瞳孔重心913と関連付けられた光線914との間の交点916の3D座標、角膜の屈折率に関する情報、および空気の屈折率等の他の関連情報(眼追跡付帯性質および固有性質データベース702内に記憶されてもよい)を利用して、ユーザの瞳孔の中心の3D座標を決定してもよい。特に、3D瞳孔中心ロケータモジュール720は、シミュレーションにおいて、空気(約1.00の第1の屈折率における)と角膜材料(約1.38の第2の屈折率における)との間の屈折差に基づいて、光線916を屈折された光線922の中に屈曲させてもよい。角膜によって生じる屈折を考慮後、3D瞳孔中心ロケータモジュール720は、屈折された光線922と瞳孔球面918との間の第1の交点920の3D座標を決定してもよい。3D瞳孔中心ロケータモジュール720は、ユーザの瞳孔中心920が屈折された光線922と瞳孔球面918との間のおおよそ第1の交点920に位置することを決定してもよい。本配列を用いることで、3D瞳孔中心ロケータモジュール720は、瞳孔中心920の3D場所(ウェアラブルシステムに対する)を正規化された座標系910内で決定し得る。所望に応じて、ウェアラブルシステムは、瞳孔中心920の座標をオリジナル眼カメラ座標系850の中に正規化解除してもよい。瞳孔中心920は、角膜曲率中心900とともに使用され、とりわけ、光学軸決定モジュール722を使用して、ユーザの光学軸と、輻輳・開散運動深度推定モジュール728によって、ユーザの輻輳・開散運動深度とを決定してもよい。
(光学軸と視軸との間の差異の実施例)
(光学軸と視軸との間の差異の実施例)
図7Aの光学軸/視軸マッピングモジュール730に関連して議論されるように、ユーザの光学軸および視軸は、部分的に、ユーザの視軸がその中心窩によって定義され、中心窩が概して人物の網膜の中心にないことに起因して、概して、整合されない。したがって、人物が、特定のオブジェクトに集中することを所望するとき、人物は、その視軸をそのオブジェクトと整合させ、その光学軸(その瞳孔の中心およびその角膜の曲率中心によって定義される)が、実際には、そのオブジェクトから若干オフセットされる間、オブジェクトからの光がその中心窩上に当たることを確実にする。図10は、眼の光学軸1002と、眼の視軸1004と、これらの軸間のオフセットとを図示する、眼1000の実施例である。加えて、図10は、眼の瞳孔中心1006と、眼の角膜曲率の中心1008と、眼の平均回転中心(CoR)1010とを図示する。少なくともいくつかの母集団では、眼の角膜曲率の中心1008は、寸法1012によって示されるように、眼の平均回転中心(CoR)1010の正面の約4.7mmにあり得る。加えて、眼の視点中心1014は、眼の角膜曲率の中心1008の正面の約5.01mm、ユーザの角膜の外側表面1016の約2.97mm背後、および/またはユーザの瞳孔中心1006の真正面(例えば、眼1000の前房内の場所に対応する)にあり得る。付加的実施例として、寸法1012は、3.0mm~7.0mm、4.0~6.0mm、4.5~5.0mm、または4.6~4.8mm、もしくははこれらの範囲のいずれか内の任意の値と任意の値との間の任意の範囲であってもよい。眼の視点中心(CoP)1014は、少なくともいくつかの実施形態では、レンダリングカメラをCoPに位置合わせすることが、視差アーチファクトを低減または排除することに役立ち得るため、ウェアラブルシステムのための有用な場所であり得る。
図10はまた、それとレンダリングカメラのピンホールが整合され得る、ヒトの眼1000内のそのような場所を図示する。図10に示されるように、レンダリングカメラのピンホールは、ヒトの眼1000の(a)瞳孔または虹彩1006の中心および(b)角膜曲率の中心1008の両方より角膜の外側表面に近い、ヒトの眼1000の光学軸1002または視軸1004に沿った場所1014と位置合わせされてもよい。例えば、図10に示されるように、レンダリングカメラのピンホールは、角膜1016の外側表面から後方に約2.97ミリメートルおよび角膜曲率の中心1008から前方に約5.01ミリメートルにある、ヒトの眼1000の光学軸1002に沿った場所1014と位置合わせされてもよい。レンダリングカメラのピンホールの場所1014および/またはそれに対して場所1014が対応するヒトの眼1000の解剖学的領域は、ヒトの眼1000の視点中心を表すと見なされ得る。図10に示されるようなヒトの眼1000の光学軸1002は、角膜曲率の中心1008および瞳孔または虹彩1006の中心を通る最短線を表す。ヒトの眼1000の視軸1004は、ヒトの眼1000の中心窩から瞳孔または虹彩1006の中心まで延在する線を表すため、光学軸1002と異なる。
(コンテンツをレンダリングし、眼追跡に基づいて位置合わせをチェックする例示的プロセス)
(コンテンツをレンダリングし、眼追跡に基づいて位置合わせをチェックする例示的プロセス)
図11は、コンテンツをレンダリングする際、眼追跡を使用して、ウェアラブルデバイス内の位置合わせに関するフィードバックを提供するための例示的方法1100のプロセスフロー図である。方法1100は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法1100の実施形態は、ウェアラブルシステムによって、コンテンツをレンダリングし、眼追跡システムからのデータに基づいて、位置合わせ(すなわち、ユーザとのウェアラブルデバイスのフィット感)に関するフィードバックを提供するために使用されてもよい。
ブロック1110では、ウェアラブルシステムは、ユーザの片眼または両眼の画像を捕捉してもよい。ウェアラブルシステムは、少なくとも図3の実施例に示されるように、1つ以上の眼カメラ324を使用して、眼画像を捕捉してもよい。所望に応じて、ウェアラブルシステムはまた、IR光をユーザの眼上で光輝させ、対応する閃光を眼カメラ324によって捕捉された眼画像内に生産するように構成される、1つ以上の光源326を含んでもよい。本明細書に議論されるように、閃光は、眼追跡モジュール614によって、眼が見ている場所を含む、ユーザの眼についての種々の情報を導出するために使用されてもよい。
ブロック1120では、ウェアラブルシステムは、ブロック1110において捕捉された眼画像内で閃光および瞳孔を検出してもよい。実施例として、ブロック1120は、閃光検出および標識化モジュール714によって、眼画像を処理し、眼画像内の閃光の2次元位置を識別するステップと、瞳孔識別モジュール712によって、眼画像を処理し、眼画像内の瞳孔の2次元位置を識別するステップとを含んでもよい。
ブロック1130では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右角膜の3次元位置を推定してもよい。実施例として、ウェアラブルシステムは、ユーザの左および右角膜の曲率中心の位置ならびにそれらの曲率中心とユーザの左および右角膜との間の距離を推定してもよい。ブロック1130は、少なくとも図7Aおよび8A-8Eに関連して本明細書に説明されるように、曲率中心の位置を識別する3D角膜中心推定モジュール716を伴ってもよい。
ブロック1140では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右瞳孔中心の3次元位置を推定してもよい。実施例として、ウェアラブルシステムおよび3D瞳孔中心ロケータモジュール720は、特に、少なくとも図7Aおよび9D-9Gに関連して説明されるように、ブロック1140の一部として、ユーザの左および右瞳孔中心の位置を推定してもよい。
ブロック1150では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右中心または回転(CoR)の3次元位置を推定してもよい。実施例として、ウェアラブルシステムおよびCoR推定モジュール724は、特に、少なくとも図7Aおよび10に関連して説明されるように、ユーザの左および右眼に関するCoRの位置を推定してもよい。特定の実施例として、ウェアラブルシステムは、角膜の曲率中心から網膜に向かう光学軸に沿って逆行することによって、眼のCoRを見出し得る。
ブロック1160では、ウェアラブルシステムは、ユーザのIPD、輻輳・開散運動深度、視点中心(CoP)、光学軸、視軸、および他の所望の属性を眼追跡データから推定してもよい。実施例として、ブロック1160の一部として、IPD推定モジュール726は、左および右CoRの3D位置を比較することによって、ユーザのIPDを推定してもよく、輻輳・開散運動深度推定モジュール728は、左光学軸と右光学軸の交点(または近交点)または左視軸と右視軸の交点を見出すことによって、ユーザの深度を推定してもよく、光学軸決定モジュール722は、左および右光学軸を経時的に識別してもよく、光学軸/視軸マッピングモジュール730は、左および右視軸を経時的に識別してもよく、CoP推定モジュール732は、左および右視点中心を識別してもよい。
ブロック1170では、ウェアラブルシステムは、コンテンツをレンダリングしてもよく、随意に、ブロック1120-1160において識別された眼追跡データに部分的に基づいて、位置合わせに関するフィードバック(すなわち、ユーザの頭部とのウェアラブルシステムのフィット感)を提供してもよい。実施例として、ウェアラブルシステムは、ライトフィールドレンダリングコントローラ618(図7B)およびレンダリングエンジン622に関連して議論されるように、レンダリングカメラのための好適な場所を識別し、次いで、レンダリングカメラの場所に基づいて、ユーザのためのコンテンツを生成してもよい。別の実施例として、ウェアラブルシステムは、位置合わせオブザーバ620に関連して議論されるように、ユーザに適切にフィットされているか、またはユーザに対するその適切な場所から滑脱しているかどうかを決定してもよく、デバイスのフィット感が調節の必要があるかどうかを示す、随意のフィードバックをユーザに提供してもよい。いくつかの実施形態では、ウェアラブルシステムは、不適切なまたはずれた位置合わせの影響を低減させる、最小限にする、または補償する試みにおいて、不適切なまたは準理想的位置合わせに基づいて、レンダリングされたコンテンツを調節してもよい。
(デバイス位置合わせの概要)
(デバイス位置合わせの概要)
本明細書に説明されるウェアラブルシステム200が、高知覚画質の画像を出力するために、ウェアラブルシステム200(図2)のディスプレイ220は、好ましくは、ユーザに適切にフィットされる(例えば、システム200の入力および出力が、ユーザの頭部の対応する部分と適切にインターフェースをとるように、かつデバイスが、装着および使用するために安定かつ快適であるように、ユーザの頭部に対して位置付けられ、配向されている)。実施例として、ディスプレイ220が、視覚的コンテンツをユーザの眼に提供するために、ディスプレイ220は、好ましくは、ユーザの眼の正面に位置し、ディスプレイ220の関連性質に応じて、ユーザの眼は、好ましくは、特定の体積内に位置する。付加的実施例として、スピーカ240が、好ましくは、ユーザの耳の近傍、その上、またはその中に位置し、高品質オーディオコンテンツをユーザに提供し、オーディオセンサ(例えば、マイクロホン)232が、好ましくは、特定のエリア内に位置し、音をユーザから受信し、内向きに面した結像システム462(1つ以上のカメラ324と、1つ以上の赤外線光源326とを含んでもよい)が、好ましくは、ユーザの眼の鮮明な妨害のない画像を取得するための位置および配向に適切に位置する(眼追跡システムの一部であってもよい)。これらは、単に、ウェアラブルシステム200が、好ましくは、ユーザに適切にフィットされる、種々の理由の実施例である。
ウェアラブルシステム200が、ユーザに適切に位置合わせされていることを確実にするために、ウェアラブルシステム200は、図6の位置合わせオブザーバ620等の位置合わせオブザーバを含んでもよい。いくつかの実施形態では、適切に位置合わせされているウェアラブルシステム200は、ユーザの片眼または両眼が、十分な画像光を受光し、ウェアラブルディスプレイシステム200のディスプレイ220によって提供される視野の実質的に全体を見ることが可能であるように位置付けられる、ディスプレイを含む。例えば、適切に位置合わせされているディスプレイは、80%以上の、約85%以上の、約90%以上の、または約95%以上の明度均一性を伴って、ディスプレイの視野の約80%以上の、約85%以上の、約90%以上の、または約95%以上の割合を横断して、画像が見えることを可能にし得る。明度均一性は、ディスプレイが視野全体を通して同一コンテンツを表示するとき、ディスプレイの視野の全体を横断した最大輝度によって除算される最小輝度に100%を乗算したもの(100%×Lmin/Lmax)と等しくあり得ることを理解されたい。
位置合わせオブザーバ620は、種々のセンサを使用して、ウェアラブルシステム200がユーザ上にフィットされている程度(例えば、ウェアラブルシステム200のディスプレイ220がユーザ上に適切に位置付けられているかどうか)を決定してもよい。実施例として、位置合わせオブザーバ620は、眼追跡システムを含み得る、内向きに面した結像システム462を使用して、ウェアラブルシステム200の関連部分が、ユーザ、特に、ユーザの眼、耳、口、またはウェアラブルシステム200とインターフェースをとる他の部分に対して空間的に配向される程度を決定してもよい。
位置合わせオブザーバ620は、特定のユーザのためのウェアラブルシステム200の初期または後続構成もしくは設定等の較正プロセスを補助してもよい。実施例として、位置合わせオブザーバ620は、その特定のユーザのためのウェアラブルシステム200の構成または設定の間、フィードバックをユーザに提供してもよい。加えて、または代替として、位置合わせオブザーバ620は、持続的または断続的に、ユーザ上のウェアラブルシステム200の位置合わせを監視し、使用の間の継続的適切な位置合わせをチェックしてもよく、ユーザフィードバックをオンザフライで提供してもよい。位置合わせオブザーバ620は、構成プロセスの一部として、または使用の間の位置合わせ監視の一部としてのいずれかにおいて、ウェアラブルシステム200が適切に位置合わせされているとき、およびウェアラブルシステム200が適切に位置合わせされていないときを示す、ユーザフィードバックを提供してもよい。位置合わせオブザーバ620はまた、ユーザが、任意の位置合わせずれを補正し、適切な位置合わせを達成し得る方法のための特定の推奨を提供してもよい。実施例として、位置合わせオブザーバ620が、(ユーザの鼻梁から下方に等の)ウェアラブルデバイスの滑脱を検出後、ユーザにウェアラブルデバイスを上方に押し戻すように推奨し得ること、ユーザがウェアラブルデバイスのいくつかの調節可能コンポーネントを調節することを推奨し得ること等が挙げられる。
(位置合わせ座標系の実施例)
(位置合わせ座標系の実施例)
図12A-12Bは、本明細書に説明されるウェアラブルシステムのディスプレイに対するユーザの左および右眼の3次元位置を定義するために使用され得る、例示的眼位置座標系を図示する。実施例として、座標系は、軸x、y、およびzを含んでもよい。座標系の軸zは、ユーザの眼がある平面とディスプレイ220がある平面との間の距離等の深度(例えば、ユーザの顔の正面の平面に対して法線の方向)に対応し得る。座標系の軸xは、ユーザの左眼と右眼との間の距離等の左右方向に対応し得る。言い換えると、軸xは、概して、眼球間軸(例えば、回転中心等の合致する左および右眼特徴間の線)と平行であり得る。座標系の軸yは、ユーザが直立しているときの垂直方向であり得る、上下方向に対応し得る。
図12Aは、ユーザの眼1200の側面図およびディスプレイ表面1202(図2のディスプレイ220の一部であり得る)を図示する一方、図12Bは、ユーザの眼1200の上下図およびディスプレイ表面1202を図示する。ディスプレイ表面1202は、ユーザの眼の正面に位置してもよく、画像光をユーザの眼に出力してもよい。実施例として、ディスプレイ表面1202は、1つ以上の外部結合光要素、アクティブまたはピクセルディスプレイ要素を備えてもよく、図4のスタックされた導波管アセンブリ480等の導波管のスタックの一部であってもよい。いくつかの実施形態では、ディスプレイ表面1202は、平面であってもよい。いくつかの他の実施形態では、ディスプレイ表面1202は、他のトポロジを有してもよい(例えば、湾曲される)。ディスプレイ表面1202は、ディスプレイの物理的表面、または単に、そこから、画像光がディスプレイ220からユーザの眼に伝搬すると理解される、平面もしくは他の想像上の表面であってもよいことを理解されたい。
図12Aに示されるように、ユーザの眼1200は、公称位置1206からオフセットされた実際の位置1204を有し得、ディスプレイ表面1202は、位置1214にあってもよい。図12Aはまた、ユーザの眼1200の角膜頂点1212を図示する。ユーザの通視線(例えば、その光学軸および/または視軸)は、実際の位置1204と角膜頂点1212との間の線に実質的に沿ってあり得る。図12Aおよび12Bに示されるように、実際の位置1204は、z-オフセット1210、y-オフセット1208、およびx-オフセット1209だけ公称位置1206からオフセットされ得る。公称位置1206は、ディスプレイ表面1202に対するユーザの眼1200のための好ましい位置(時として、所望の体積内に概して心合され得る、設計位置とも称される)を表し得る。ユーザの眼1200が、公称位置1206から離れるように移動するにつれて、ディスプレイ表面1202の性能は、劣化され得る。
ユーザの眼1200と関連付けられた点または体積が、本明細書の位置合わせの分析におけるユーザの眼の位置を表すために使用され得ることを理解されたい。代表的点または体積は、好ましくは、一貫して使用される、眼1200と関連付けられた任意の点または体積であり得る。例えば、点または体積は、眼1200上または内にあってもよい、もしくは眼1200から離れるように配置されてもよい。いくつかの実施形態では、点または体積は、眼1200の回転中心である。回転中心は、本明細書に説明されるように決定され得、眼1200内の種々の軸上に概ね対称的に配置され、光学軸と整合される単一ディスプレイ位置合わせ体積が分析のために利用されることを可能にするため、位置合わせ分析を簡略化するための利点を有し得る。
図12Aはまた、ディスプレイ表面1202が、(ユーザがその光学軸が地面と平行な状態で真っ直ぐ見ているときにy-軸に沿って見られるような)ユーザの水平線の下方に心合され得、(y-軸に対して)傾斜され得ることを図示する。特に、ディスプレイ表面1202は、ユーザが、眼1200が位置1206にあるとき、ディスプレイ表面1202の中心を見るために、おおよそ角度1216において見下ろす必要があるであろうように、ユーザの水平線の若干下方に配置され得る。これは、ユーザがその水平線の上方よりその水平線の下方のコンテンツを視認することがより快適であり得るため、特に、より短い深度(またはユーザからの距離)にレンダリングされたコンテンツを視認するとき、ディスプレイ表面1202とのより自然かつ快適な相互作用を促進し得る。加えて、ディスプレイ表面1202は、ユーザがディスプレイ表面1202の中心を見ている(例えば、下記のユーザの水平線の若干下方を見ている)とき、ディスプレイ表面1202が、ユーザの通視線と略垂直であるように、(y-軸に対して)角度1218等で傾斜され得る。少なくともいくつかの実施形態では、ディスプレイ表面1202はまた、ユーザの眼の公称位置に対して(例えば、x-軸に沿って)左または右に偏移されてもよい。実施例として、ユーザの通視線が、無限遠未満のある距離に合焦されるとき、ディスプレイ表面の中心に衝打するように、左眼ディスプレイ表面は、右に偏移されてもよく、右眼ディスプレイ表面は、左に偏移されてもよい(例えば、ディスプレイ表面1202は、相互に向かって偏移されてもよく)、これは、ウェアラブルデバイス上での典型的使用の間のユーザ快適性を増加させ得る。
(左および右眼ディスプレイをユーザの頭部上で垂直に整合させる実施例)
(左および右眼ディスプレイをユーザの頭部上で垂直に整合させる実施例)
前述のように、頭部搭載型ディスプレイ(HMD)(例えば、図3のウェアラブルシステム200内のディスプレイ220)の左眼および右眼ディスプレイとユーザの眼との間の適切な整合は、望ましいユーザ体験を確実にするために、重要であり得る。例えば、左眼ディスプレイが、経時的な本デバイスの通常の摩耗から、または他の変形手段によって等、ユーザの左眼から、右眼ディスプレイがユーザの右眼から垂直にオフセットされる場合と異なる量で垂直にオフセットされるとき、ユーザは、不快感および眼精疲労を被り得る。
いくつかの実施形態では、頭部搭載型ディスプレイシステムは、左眼および右眼ディスプレイを通して投影された画像が眼間の眼球間軸と水平であるように、左または右ディスプレイ下位システム(対応する左または右接眼レンズのためのプロジェクタ入力等)の較正メトリックを補正することを最終目標として、その左眼および右眼ディスプレイがユーザの眼(例えば、その眼球間軸)と水平であるかどうかを決定し、適切なユーザフィードバックを提供し、ユーザに、左または右接眼レンズ上に表示される画像を調節するように促すように構成されてもよい。
ディスプレイシステムは、次いで、ユーザに、整合マーカを有する、左眼および右眼画像を提供してもよい。整合マーカは、左眼ディスプレイと右眼ディスプレイとの間の任意の垂直オフセットがユーザに可視であるように提供されてもよい。言い換えると、左眼ディスプレイおよび右眼ディスプレイ垂直オフセットが存在する(例えば、左眼ディスプレイが、右眼ディスプレイに対して垂直にオフセットされる)場合、ユーザは、左眼および右眼ディスプレイからの画像を垂直に不整合され、画像を適切に融合させることが不可能であることを知覚し得る(例えば、オフセットは、相互に整列していない整合マーカの水平部分の形態において可視であり得る)。整合マーカの水平部分は、垂直に不整合されるときに完全に重複しない、線の他の鏡像形状または配列の形態であってもよいことを理解されたい。
図13および14は、ユーザの眼(例えば、その眼球間軸)に対してHMDを水平にする(例えば、HMDの左眼および右眼ディスプレイを通して延在する、水平軸を水平にする)ステップの一部として頭部搭載型ディスプレイ(HMD)(例えば、ディスプレイ220、図3)のユーザに提供され得る、例示的ディスプレイ画面を図示する。特に、図13は、ユーザがHMDを水平にすることを補助するために提供され得る、例示的ガイドを含む、ディスプレイ画面1300を図示する。
ディスプレイ画面1300はまた、ユーザの眼に対するHMDの現在の配向に関するフィードバックを含んでもよい。そのようなフィードバックは、アバタ1304(例えば、ユーザの仮想表現)およびHMDの仮想描写1302の形態をとってもよい。アバタ1304は、垂直配向に描写され得る(眼球間軸が水平配向にあるように)一方、HMDの仮想描写1302の配向は、水平に対して傾斜され得る。仮想描写1302の傾斜の量および方向は、HMDに対する眼球間軸の推定された配向(例えば、図7Aのモジュール740によって決定されるように)に基づき得る。他の実施形態では、アバタ1302および1304は、省略されてもよい、または静的であってもよい。種々の実施形態では、HMDの傾斜の量および方向は、整合マーカ1306および1308等の他の印を介して、ユーザに伝達されてもよい。整合マーカ1306は、ユーザの眼球間軸(例えば、水平線として提示される)に対応し得る一方、整合マーカ1308は、眼球間軸に対するHMDの傾斜を示し得る。一実施例では、マーク1306は、静的なままであり得る一方、マーク1308は、ユーザがその頭部上のHMDを水平に向かって調節するにつれて偏移する。いくつかの実施形態では、HMDの配向は、外部環境内の1つ以上の基準点を結像し、それらの基準点に基づいて、HMDの配向を決定する、ジャイロスコープ、加速度計、および/または結像システムを含む、HMDに取り付けられる種々のセンサを使用して決定されてもよい。一般に、整合マーカは、任意の好適な形状または形態をとってもよい。整合マーカを使用することで、ユーザは、方向および量を含め、HMDがその頭部上で傾斜されているかどうかを迅速に知覚することが可能であり得る。したがって、ユーザは、HMDが適切に水平にされるまで、HMDの傾斜を補正することができる。
図14に示されるように、ユーザが、HMDがその頭部上で水平であるように、HMDの傾斜を正常に調節すると(例えば、眼球間軸またはその一部が、HMDの左眼ディスプレイと右眼ディスプレイとの間に延在する水平軸と平行であるとき、眼球間軸またはその一部が、HMDに対して定義された所定の体積内に該当するとき等)、ユーザは、HMDを水平することの成功を示す、画面1400等のディスプレイ画面を提示されてもよい。図14の実施例では、ユーザは、HMDを正常に水平にし、マーカ1402を示される。マーカ1402は、実施例として、図13のマーク1306および1308が重複すると現れ得る。
HMDをユーザ上で水平にすることに続き、システムは、左眼および右眼ディスプレイ整合プロトコルを実施し、それ自体は垂直に整合しない、剛性ディスプレイを通して、画像のディスプレイを適切に水平にしてもよい。特に、ディスプレイ整合プロセスは、左および右ディスプレイとその個別の眼との間の垂直整合における任意の差異をチェックおよび識別してもよい(例えば、自動的に、またはユーザフィードバックに基づいて)。言い換えると、ディスプレイ整合プロセスは、ユーザの左眼が、HMDの左眼ディスプレイとの第1の垂直整合(図12AのY-軸に沿った第1のオフセット等)を有する一方、ユーザの右眼が、HMDの右眼ディスプレイとの第2の異なる垂直整合(図12のY-軸に沿った異なる大きさの第2のオフセット等)を有するかどうかをチェックしてもよい(例えば、自動的に、または、ユーザに、任意の不整合をユーザに対してハイライトする、整合マーカを提供し、任意の不整合に関するユーザフィードバックを受信することによって)。左側と右側との間の垂直整合における差異は、HMDがユーザの眼の眼球間軸と水平であると決定されるときでも同一垂直高さにないように左眼および右眼ディスプレイの一方または両方を偏移させ得る、HMDに対する偏曲または損傷等の種々の要因に起因して、HMDは、ユーザの頭部に水平に装着されるときでも生じ得ることを理解されたい。
図15および16は、水平にした後に残っている垂直不整合を識別するステップの一部として頭部搭載型ディスプレイ(HMD)(例えば、ディスプレイ220、図3)のユーザに提供され得る、例示的ディスプレイ画面を図示する。図15に示されるように、画面1500等のディスプレイ画面は、ユーザ指示と、任意の垂直不整合をユーザに対してハイライトする、マーカ1502、1504、および1506等の整合マーカとを含んでもよい。いくつかの実施形態では、整合マーカは、側方に延びる文字「T」の形態をとってもよい。しかしながら、整合マーカは、他の形状または形態をとってもよいことを理解されたい。
図16に示されるように、HMDは、任意の左右垂直不整合を実証するために、異なる個別の整合マーカをユーザの左および右眼に提供してもよい。例えば、HMDは、画面1600aをユーザの左眼に表示してもよく、画面1600bをユーザの右眼に表示してもよい。画面1600aは、左眼水平整合マーカ1502および垂直整合マーカ1506を含んでもよい一方、画面1600bは、右眼水平整合マーカ1504および垂直整合マーカ1506を含んでもよい。いくつかの実施形態では、画面1600aは、右眼水平整合マーカ1504を含まなくてもよく、画面1600bは、左眼水平整合マーカ1502を含まなくてもよい。
HMDを装着しているユーザが、画面1600aおよび1600bを同時に視認するとき(例えば、それぞれ、その左および右眼を用いて)、垂直整合マーカ1506aおよび1506bは、ともに融合されているようにユーザに現れ得る(例えば、マーク1506として)。しかしながら、少なくとも、左眼および右眼水平整合マーカ1502ならびに1504は、相互に空間的に整合されないため、ユーザは、マーク1502および1504をともに融合されていると知覚しない。代わりに、ユーザは、マーク1502および1504が相互に垂直に整合されるかどうか(または左右垂直不整合が存在するかどうか)を決定することが可能であろう。言い換えると、正しくなく整合されるシステムは、1604の意図される画像を例示的不整合画像1602として表示するであろう。
少なくともいくつかの実施形態では、整合マーカ1502および1504は、最初に、左および右眼ディスプレイの同一位置に提示されるが、変形は、位置の知覚を非整合として促し得る。いくつかの実施形態では、システムは、垂直オフセットを整合マーカ1502と1504との間に意図的に導入してもよい。そのような実施形態では、マーカ1502および1504の整合は、必ずしも、左および右眼ディスプレイの整合を表すとは限らない。例えば、左および右眼ディスプレイは、比較的に殆どまたは全く不整合を呈さない場合があるが、これらの実施形態では、システムによって提示されるマーカ1502および1504は、比較的に多量の不整合を呈し得る。そのように行うことは、ディスプレイ整合プロセスにおけるユーザ関与を助長する役割を果たし得る。すなわち、一部のユーザは、システムによって提示されるようなマーカ1502および1504が比較的に高不整合度を呈するとき、ディスプレイ整合プロセスに能動的に関わるようにより強制されるように感じ得る。いくつかの実施例では、整合マーカ1502および1504の垂直位置は、ランダム化される、擬似ランダム化される、または準ランダム化されてもよい。例えば、システムは、ランダムに、擬似ランダムに、または準ランダムに、垂直位置の所定の範囲から整合マーカ1502および1504の垂直位置を選択してもよい。いくつかの実施形態では、システムは、ランダムに、擬似ランダムに、または準ランダムに、オフセットの所定の範囲から整合マーカ1502と1504との間のオフセットを選択してもよい。いくつかの実施形態では、ディスプレイシステムは、Mersenne Twister、Xorshift等の擬似乱数生成器に基づいて、ランダムに、擬似ランダムに、または準ランダムに、オフセットを選択するように構成されてもよい。いくつかの実施形態では、擬似乱数生成器は、直接、オフセット値を生成してもよい。いくつかの他の実施形態では、各オフセットは、数または数のセットと関連付けられてもよく、擬似乱数生成器による数の生成は、その生成された数またはその生成された数が属するセットと関連付けられる、オフセットを選択するために使用されてもよい(例えば、各オフセットは、1つ以上の一意の数または数のセットと関連付けられてもよく、数は、擬似ランダム生成器を使用して生成されてもよく、適用されるべきオフセットは、その生成された数(または数が属するセット)とオフセットと関連付けられる数(または数のセット)との間の対応に基づいて、選択されてもよい)。
システムは、ユーザがマーカ1502および1504を垂直に整合させるための入力を提供するとき、マーカ1502および1504の選択された垂直位置および/またはマーカ1502と1504との間の選択されたオフセットを考慮してもよい。ユーザが、マーク1502および1504を垂直に整合させるための入力を提供した後、システムは、ユーザ入力の大きさおよび方向に基づいて、左右垂直不整合の大きさおよび方向を決定することが可能であり得る。好ましくは、垂直整合の調節は、一度に1つのみのディスプレイ上で実施される。
HMDが導波管のスタックを含む、実施形態に関して、垂直整合の調節は、一度に1つのみの導波管上で実施されてもよい。したがって、いくつかの実施形態では、システムは、HMDの導波管スタック内に含まれる導波管毎に、ディスプレイ整合プロセスを行ってもよい。いくつかの実施例では、HMDの導波管スタックは、複数の導波管、例えば、深度平面毎に3つの導波管を含んでもよい。導波管の数は、ディスプレイシステムによって使用される原色の数に対応し、フルカラーコンテンツを形成してもよい。例えば、RGB(赤色、緑色、青色)ディスプレイシステムに関して、深度平面毎に提供される3つの導波管は、赤色光を出力するように構成される導波管と、緑色光を出力するように構成される導波管と、青色光を出力するように構成される導波管とを含んでもよい。システムは、マーカ1502および1504を各原色で、例えば、赤色光を出力するように構成される導波管のためのディスプレイ整合を行うときは赤色で、緑色光を出力するように構成される導波管のためのディスプレイ整合を行うときは緑色で、青色光を出力するように構成される導波管のためのディスプレイ整合を行うときは青色で提示してもよい。いくつかの実施形態では、システムは、連続して、導波管毎にディスプレイ整合を行ってもよい(例えば、整合は、異なる原色に対応する異なる導波管および/または異なる深度平面に対応する異なる波面発散量を提供する異なる導波管のために、順次、行われてもよい)。いくつかの他の実施形態では、システムは、HMDの導波管スタック内の導波管のいくつかまたは全てに関して、同時に、ディスプレイ整合を行ってもよい。そのような実施形態では、マーカ1502および1504は、種々の色(例えば、マーカ1502および1504の赤色、緑色、および青色バージョン)および/または種々の深度(異なる波面発散量を提供する導波管を用いて)で同時に提示されてもよく、ユーザは、1つのマーカを一度に垂直に偏移させるための入力を提供することが可能であり得る。
ユーザ入力は、ユーザに利用可能な任意の入力デバイスを使用して提供されてもよいことを理解されたい。例えば、ジェスチャ、音声アクティブ化コマンド、物理的トグル等が、入力を提供するために利用されてもよい。特定の実施例として、図17は、ユーザの手1700と、種々の入力デバイス1702、1704、1706を含む、コントローラ1701との斜視図である。入力デバイス1702、1704、1706のいずれかは、整合マーカ1502および1504を整合させるために所望される垂直偏移に関する入力を提供するように構成されてもよい。
(左および右眼ディスプレイをユーザの頭部上で垂直に整合させる例示的プロセス)
(左および右眼ディスプレイをユーザの頭部上で垂直に整合させる例示的プロセス)
図18は、頭部搭載型ディスプレイシステムをユーザの頭部上で水平にし、ディスプレイシステムの左および右ディスプレイの垂直整合を調節するための例示的方法1800のプロセスフロー図である。方法1800は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。
ブロック1802では、ウェアラブルシステムは、頭部搭載型ディスプレイ(HMD)(例えば、ディスプレイ220、図3)の較正を調節するための潜在的必要性を決定してもよい。ウェアラブルシステムは、HMDの始動に応じて、アプリケーションをHMD上で立ち上げることに応じて、HMDがユーザの頭部上に設置されたことを決定することに応じて等、個々に、または組み合わせて、最後の較正以降の時間数、HMDの潜在的または実際の変形の検出(例えば、加速度計または他のセンサとの衝撃イベントの検出)、HMDの位置合わせずれの検出(例えば、眼追跡コンポーネントによる、ユーザの眼の一方または両方がHMDに対して設計位置にないことの決定)を含む、種々の要因に基づいて、HMDを較正する必要があることを決定してもよい。付加的オプションとして、較正プロセスは、ユーザマニュアル、顧客サービス、または他のソースによって、ユーザに推奨されてもよく、ブロック1802は、較正プロセスを実施するためのユーザ要求を受信することを伴ってもよい。
ブロック1804では、ウェアラブルシステムは、デバイス水平化フローを実施してもよく、これは、ブロック1806および1808等のブロックを含んでもよい。ブロック1806では、HMDは、HMDの左眼および右眼ディスプレイ間に延びるディスプレイ間軸である、またはHMDの世界座標フレームの重力ベクトルに対して測定され得る、ユーザの眼球間軸および本デバイスの水平軸を決定してもよい。ブロック1806は、眼球間軸および本デバイスの水平軸が平行であるかどうか、または2つの軸間に傾斜が存在するかどうかを決定するステップを伴ってもよい。いくつかの実施例では、ブロック1806は、眼球間軸またはその一部がHMDに対して定義された所定の体積内に該当するかどうかを決定するステップを伴ってもよい。ブロック1808では、HMDは、HMDの水平化に関するフィードバックをユーザに提供してもよい。そのようなフィードバックは、図13の整合マーカ1306および1308を表示する形態をとってもよい。ブロック1806および1808は、ユーザが整合プロセスを終了する、またはHMDをその頭部上で正常に水平にする(例えば、マーク1308とマーク1306を整合させる)まで、継続し得る。
ブロック1810では、ウェアラブルシステムは、ディスプレイ整合フローを実施してもよく、これは、ブロック1812および1814等のブロックを含んでもよい。ブロック1812では、HMDは、融合されない左眼および右眼整合マーカを提供してもよい。実施例として、HMDは、本明細書に議論されるように、図15および16の整合マーカ1502を左眼ディスプレイ上に表示してもよく、図15および16の整合マーカ1504を右眼ディスプレイ上に表示してもよい。上記に説明されるように、いくつかの実施例では、HMDは、整合マーカ1502および1504の一方または両方をランダムに、擬似ランダムに、または準ランダムに選択された垂直位置に表示してもよい。ブロック1814では、ウェアラブルシステムは、左眼または右眼ディスプレイ垂直整合調節に関するユーザフィードバックを受信してもよい。特に、図15-17に関連して議論されるように、ウェアラブルシステムは、マーカがユーザの視点から相互に垂直に整合されるまで、整合マーカ1502および1504のうちの少なくとも1つを偏移させる、ユーザ入力を受信してもよい。ブロック1812および1814は、ユーザが、整合プロセスを終了する、または整合マーカに行った任意の垂直調節を承認するまで、継続し得る。上記に説明されるように、いくつかの実施例では、ウェアラブルシステムは、HMD内に含まれる導波管あたり1つのディスプレイ整合プロセスを行ってもよい。これらの実施例では、ウェアラブルシステムは、HMD内に含まれる導波管毎に、ブロック1810、1812、および1814のうちの1つ以上のものと関連付けられる動作を実施してもよい。
ブロック1816では、ウェアラブルシステムは、ユーザによって左右垂直整合に提供される、任意の調節を実装してもよい。実施例として、ユーザフィードバックが、右眼ディスプレイが左眼ディスプレイより所与の量だけ低いことを示した場合、ウェアラブルシステムは、右眼ディスプレイを介して表示される(例えば、図18の整合プロセスの完了に続いて表示される)画像コンテンツを所与の量だけ上向きに偏移させることによって、左眼ディスプレイを介して表示される画像コンテンツを所与の量だけ下向きに偏移させることによって、または右および左眼コンテンツの適切な組み合わせの偏移によって、その不整合を補償してもよい
いくつかの実施形態では、ブロック1816では、ウェアラブルシステムは、左眼ディスプレイと関連付けられるレンダリングカメラの1つ以上の付帯パラメータと、右眼ディスプレイと関連付けられるレンダリングカメラの1つ以上の付帯パラメータとに、調節を行なってもよい。例えば、これらの実施形態では、ウェアラブルシステムは、少なくとも部分的に、ユーザによって提供される入力に基づいて、2つのディスプレイ(例えば、左眼ディスプレイおよび右眼ディスプレイ)と関連付けられる2つのレンダリングカメラの一方または両方の位置および/または配向を調節してもよい。いくつかの実施形態では、ウェアラブルシステムは、ブロック1804、1806、および/または1808と関連付けられる動作をスキップしてもよい。これらの実施形態では、ウェアラブルシステムは、ブロック1802と関連付けられる動作を実施直後に、ブロック1810に進み得る。(周囲環境内のオブジェクトを検出するためのコンピュータビジョン)
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ(例えば、カメラ、オーディオセンサ、温度センサ等)を含む、種々の技法を使用して遂行されてもよい。
いくつかの実施形態では、環境内に存在するオブジェクトは、コンピュータビジョン技法を使用して、検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの前向きに面したカメラは、周囲環境を結像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で実施し、周囲環境内のオブジェクトの存在を決定するように構成されてもよい。ディスプレイシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施してもよい。他の実施例として、ディスプレイシステムは、顔および/または眼認識を実施し、ユーザの視野内の顔および/またはヒトの眼の存在および場所を決定するように構成されてもよい。1つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜キーポイント(FREAK)、Viola-Jonesアルゴリズム、Eigenfacesアプローチ、Lucas-Kanadeアルゴリズム、Horn-Schunkアルゴリズム、Mean-shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
これらのコンピュータビジョン技法のうちの1つ以上のものはまた、他の環境センサ(例えば、マイクロホン等)から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および決定してもよい。
本明細書に議論されるように、周囲環境内のオブジェクトは、1つ以上の基準に基づいて、検出されてもよい。ディスプレイシステムが、コンピュータビジョンアルゴリズムを使用して、もしくは1つ以上のセンサアセンブリ(ディスプレイシステムの一部である場合とそうではない場合がある)から受信されたデータを使用して、周囲環境内の基準の存在または不在を検出するとき、ディスプレイシステムは、次いで、オブジェクトの存在を信号伝達してもよい。
(機械学習)
(機械学習)
種々の機械学習アルゴリズムは、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含み得、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k-平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Gneralization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ(例えば、特定のユーザ)、データセット(例えば、取得される付加的画像のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
オブジェクトを検出するための基準は、1つ以上の閾値条件を含んでもよい。環境センサによって入手されたデータの分析が、閾値条件に達したことを示す場合、ディスプレイシステムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および/または定質的測定値を伴ってもよい。例えば、閾値条件は、反射および/またはオブジェクトが環境内に存在する尤度と関連付けられたスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および/またはオブジェクトの存在を検出し得る。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内のオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および/またはユーザの周囲環境との相互作用に基づいて決定されてもよい。
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストのために特殊化されてもよい。例えば、診断コンテキストでは、コンピュータビジョンアルゴリズムは、刺激に対するある応答を検出するために特殊化されてもよい。別の実施例として、ディスプレイシステムは、本明細書に議論されるように、顔認識アルゴリズムおよび/またはイベントトレーシングアルゴリズムを実行し、刺激に対するユーザの反応を感知してもよい。
本明細書に説明される、ならびに/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実施形態では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実施形態は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つもしくはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、および遠隔データリポジトリ(160)のうちの1つ以上のものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つもしくはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
(他の考慮点)
(他の考慮点)
本明細書に説明される、ならびに/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含んでもよい。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実施形態では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実施形態は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つもしくはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つもしくはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実施形態変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実施形態の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実施形態に適用され得る。したがって、請求項は、本明細書に示される実施形態に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されてもよい。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つもしくはそれを上回る実施形態に対していかようにも要求されること、もしくは1つもしくはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」もしくは「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「~のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、ならびにA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれてもよい。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されてもよい。加えて、動作は、他の実施形態において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実施形態も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成し得る。
Claims (20)
- 拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される頭部搭載型ディスプレイと、
前記ユーザの眼の画像を捕捉するように構成される結像システムと、
前記頭部搭載型ディスプレイおよび前記結像システムに通信可能に結合される少なくとも1つのプロセッサと、
命令を記憶している1つ以上のコンピュータ記憶媒体と
を備え、
前記命令は、前記1つ以上のプロセッサによって実行されるときに、前記1つ以上のプロセッサに動作を実行させ、前記動作は、
前記ユーザの各眼のための画像コンテンツ整合プロセスを行う前に、頭部搭載型ディスプレイ水平化動作を実行することを含み、前記頭部搭載型ディスプレイ水平化動作は、
前記結像システムによって捕捉された1つ以上の画像に少なくとも部分的に基づいて、前記ユーザの左眼および右眼間に延在する前記ユーザの眼球間軸の位置を決定することと、
前記ユーザの前記眼球間軸に対する前記頭部搭載型ディスプレイの配向を決定することと、
前記ユーザが前記ユーザの前記眼球間軸に対して前記頭部搭載型ディスプレイを水平にすることを可能にするために前記ユーザの前記眼球間軸に対する前記頭部搭載型ディスプレイの前記決定された配向に基づいてフィードバックを前記ユーザに提供することと
を含む、拡張現実システム。 - 前記ユーザの前記眼球間軸に対する前記頭部搭載型ディスプレイの前記決定された配向に基づいてフィードバックを前記ユーザに提供することは、
前記ユーザの左眼および右眼に対する前記頭部搭載型ディスプレイの前記決定された配向に関連して変化する配向を有する水平マーカを提示することを含む、請求項1に記載の拡張現実システム。 - 前記ユーザの前記眼球間軸に対する前記頭部搭載型ディスプレイの前記決定された配向に基づいてフィードバックを前記ユーザに提供することは、
前記頭部搭載型ディスプレイの配向と関連付けられる静的水平マーカを提示することであって、前記静的水平マーカは、前記頭部搭載型ディスプレイに対して静的である、ことと、
前記眼球間軸の配向と関連付けられる動的水平マーカを提示することであって、前記動的水平マーカは、前記頭部搭載型ディスプレイが前記ユーザの頭部上で調節されるときに前記眼球間軸の配向が前記頭部搭載型ディスプレイに対して変化するにつれて、前記頭部搭載型ディスプレイの前記静的水平マーカに対して移動する、ことと
を含む、請求項1に記載の拡張現実システム。 - 前記動的水平マーカは、前記頭部搭載型ディスプレイが前記眼球間軸に対して水平であるとき、前記静的水平マーカとマージする、請求項3に記載の拡張現実システム。
- 前記結像システムによって捕捉された1つ以上の画像に少なくとも部分的に基づいて、前記ユーザの左眼および右眼間に延在する前記ユーザの前記眼球間軸を決定することは、
前記結像システムによって捕捉された前記ユーザの左眼の1つ以上の画像に少なくとも部分的に基づいて、前記ユーザの左眼の回転中心を決定することと、
前記結像システムによって捕捉された前記ユーザの右眼の1つ以上の画像に少なくとも部分的に基づいて、前記ユーザの右眼の回転中心を決定することと、
前記ユーザの左眼および右眼の回転中心間に延在する線の位置を決定することであって、前記線は、前記ユーザの前記眼球間軸を構成する、ことと
を含む、請求項1に記載の拡張現実システム。 - 前記動作はさらに、前記頭部搭載型ディスプレイが前記ユーザの左眼および右眼に対して水平であるという決定に応答して、前記ユーザの各眼のための前記画像コンテンツ整合プロセスを行うことを含み、
前記画像コンテンツ整合プロセスは、
前記頭部搭載型ディスプレイの左眼ディスプレイを用いて、左眼整合マーカを提供することと、
前記頭部搭載型ディスプレイの右眼ディスプレイを用いて、右眼整合マーカを提供することと、
前記左眼整合マーカおよび前記右眼整合マーカのうちの少なくとも1つを調節するためのユーザ入力を受信することと、
前記受信されたユーザ入力に基づいて、前記左眼ディスプレイおよび前記右眼ディスプレイのうちの前記少なくとも1つにおける画像コンテンツを垂直に調節することと
を含む、請求項5に記載の拡張現実システム。 - 前記左眼整合マーカは、第1の水平線を備え、前記右眼整合マーカは、第2の水平線を備える、請求項6に記載の拡張現実システム。
- 前記ユーザの前記眼球間軸に対する前記頭部搭載型ディスプレイの前記決定された配向に基づいてフィードバックを前記ユーザに提供することは、
前記頭部搭載型ディスプレイが前記ユーザの左眼および右眼に対して水平であるかどうかを示すフィードバックを前記ユーザに提供することを含む、請求項5に記載の拡張現実システム。 - 前記動作はさらに、
前記ユーザが少なくとも閾値時間量にわたって前記頭部搭載型ディスプレイを装着しているかどうかを決定することと、
前記ユーザが少なくとも前記閾値時間量にわたって前記頭部搭載型ディスプレイを装着していることの決定に応答して、前記結像システムによって捕捉された1つ以上の画像に少なくとも部分的に基づいて、前記眼球間軸の前記位置を決定することと
を含む、請求項1に記載の拡張現実システム。 - 前記動作はさらに、
前記ユーザの前記眼球間軸に対する前記頭部搭載型ディスプレイの前記決定された配向に基づいて、前記頭部搭載型ディスプレイが前記ユーザの左眼および右眼に対して水平であるかどうかを決定することを含む、請求項1に記載の拡張現実システム。 - 前記頭部搭載型ディスプレイは、左眼ディスプレイおよび右眼ディスプレイを備え、前記左眼ディスプレイは、世界からの光を前記ユーザの左眼の中に通過させるように構成される第1の導波管スタックを備え、前記右眼ディスプレイは、前記世界からの光を前記ユーザの右眼の中に通過させるように構成される第2の導波管スタックを備え、各導波管スタックは、複数の導波管を備える、請求項1に記載の拡張現実システム。
- 前記第1の導波管スタックの少なくともいくつかの導波管は、前記第1の導波管スタックの他の導波管と異なる原色の光を出力するように構成され、前記第2の導波管スタックの少なくともいくつかの導波管は、前記第2の導波管スタックの他の導波管と異なる原色の光を出力するように構成される、請求項11に記載の拡張現実システム。
- 前記第1および第2の導波管スタックの各々の1つ以上の導波管は、前記ユーザに、その導波管スタックの1つ以上の他の導波管と異なる量の波面発散を伴う光を出力するように構成され、
異なる量の波面発散を伴う前記出力された光は、仮想オブジェクトを前記ユーザから離れた異なる知覚される深度に形成する、請求項11に記載の拡張現実システム。 - 前記動作はさらに、前記ユーザの各眼のための前記画像コンテンツ整合プロセスを行うことを含み、前記画像コンテンツ整合プロセスは、複数の整合プロセスを行うことを含み、前記整合プロセスは、前記ユーザの左眼および前記第1の導波管スタックの導波管間の整合を決定するためのものであり、整合プロセスは、前記第1の導波管スタックの導波管毎に行われる、請求項13に記載の拡張現実システム。
- 前記整合プロセスはさらに、前記ユーザの右眼および前記第2の導波管スタックの導波管間の整合を決定することを含み、整合プロセスは、前記第2の導波管スタックの導波管毎に行われる、請求項14に記載の拡張現実システム。
- 前記動作はさらに、前記結像システムからの眼追跡データに基づいて、前記頭部搭載型ディスプレイが前記ユーザの左眼および右眼に対して水平であるかどうかを決定することを含む、請求項1に記載の拡張現実システム。
- 前記結像システムは、カメラを備える、請求項1に記載の拡張現実システム。
- 前記カメラは、赤外線カメラである、請求項1に記載の拡張現実システム。
- 拡張現実システムであって、
光をユーザに出力することによって仮想コンテンツを提示するように構成される頭部搭載型ディスプレイであって、前記頭部搭載型ディスプレイは、左眼ディスプレイおよび右眼ディスプレイを含み、前記左眼ディスプレイは、世界からの光を前記ユーザの左眼の中に通過させるように構成される第1の導波管スタックを備え、前記右眼ディスプレイは、前記世界からの光を前記ユーザの右眼の中に通過させるように構成される第2の導波管スタックを備え、各導波管スタックは、複数の導波管を備え、前記第1および第2の導波管スタックの各々の1つ以上の導波管は、前記ユーザに、その導波管スタックの1つ以上の他の導波管と異なる量の波面発散を伴う光を出力するように構成され、異なる量の波面発散を伴う前記出力された光は、仮想オブジェクトを前記ユーザから離れた異なる知覚される深度に形成する、頭部搭載型ディスプレイと、
前記ユーザの眼の画像を捕捉するように構成される結像システムと、
前記頭部搭載型ディスプレイおよび前記結像システムに通信可能に結合される少なくとも1つのプロセッサと、
命令を記憶している1つ以上のコンピュータ記憶媒体と
を備え、
前記命令は、前記1つ以上のプロセッサによって実行されるときに、前記1つ以上のプロセッサに動作を実行させ、前記動作は、複数の整合プロセスを行うことを含み、前記整合プロセスは、前記ユーザの左眼および前記第1の導波管スタックの導波管間の整合を決定するためのものであり、整合プロセスは、前記第1の導波管スタックの導波管毎に行われる、拡張現実システム。 - 前記整合プロセスはさらに、前記ユーザの右眼および前記第2の導波管スタックの導波管間の整合を決定することを含み、整合プロセスは、前記第2の導波管スタックの導波管毎に行われる、請求項19に記載の拡張現実システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862702865P | 2018-07-24 | 2018-07-24 | |
US62/702,865 | 2018-07-24 | ||
JP2021502899A JP7456995B2 (ja) | 2018-07-24 | 2019-07-24 | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 |
PCT/US2019/043302 WO2020023672A1 (en) | 2018-07-24 | 2019-07-24 | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021502899A Division JP7456995B2 (ja) | 2018-07-24 | 2019-07-24 | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024069461A true JP2024069461A (ja) | 2024-05-21 |
Family
ID=69181195
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021502899A Active JP7456995B2 (ja) | 2018-07-24 | 2019-07-24 | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 |
JP2024039794A Pending JP2024069461A (ja) | 2018-07-24 | 2024-03-14 | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021502899A Active JP7456995B2 (ja) | 2018-07-24 | 2019-07-24 | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11422620B2 (ja) |
EP (1) | EP3827585A4 (ja) |
JP (2) | JP7456995B2 (ja) |
CN (1) | CN112655204A (ja) |
WO (1) | WO2020023672A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11181977B2 (en) * | 2017-11-17 | 2021-11-23 | Dolby Laboratories Licensing Corporation | Slippage compensation in eye tracking |
WO2020023672A1 (en) * | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes |
GB2588774B (en) * | 2019-11-05 | 2024-05-15 | Arspectra Sarl | Augmented reality headset for medical imaging |
CN113010125B (zh) | 2019-12-20 | 2024-03-19 | 托比股份公司 | 方法、计算机程序产品和双目式头戴装置控制器 |
GB2597533B (en) * | 2020-07-28 | 2022-11-23 | Sony Interactive Entertainment Inc | Gaze tracking system and method |
US20230119633A1 (en) * | 2021-10-20 | 2023-04-20 | Microsoft Technology Licensing, Llc | Enhanced eye tracking systems utilizing joint biological and hardware estimations |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US6684007B2 (en) * | 1998-10-09 | 2004-01-27 | Fujitsu Limited | Optical coupling structures and the fabrication processes |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
JP5499854B2 (ja) | 2010-04-08 | 2014-05-21 | ソニー株式会社 | 頭部装着型ディスプレイにおける光学的位置調整方法 |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
CN103688208B (zh) | 2010-12-24 | 2017-06-06 | 奇跃公司 | 人体工程学头戴式显示设备和光学系统 |
CA3035118C (en) | 2011-05-06 | 2022-01-04 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
JP5414946B2 (ja) | 2011-06-16 | 2014-02-12 | パナソニック株式会社 | ヘッドマウントディスプレイおよびその位置ずれ調整方法 |
EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION |
CA3048647C (en) | 2011-10-28 | 2022-08-16 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9116545B1 (en) * | 2012-03-21 | 2015-08-25 | Hayes Solos Raffle | Input detection |
WO2013152205A1 (en) | 2012-04-05 | 2013-10-10 | Augmented Vision Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
JP6248931B2 (ja) | 2012-07-24 | 2017-12-20 | ソニー株式会社 | 画像表示装置および画像表示方法 |
CN104813218A (zh) | 2012-09-11 | 2015-07-29 | 奇跃公司 | 人机工程学的头戴显示设备和光学系统 |
US20140240842A1 (en) * | 2013-02-22 | 2014-08-28 | Ian Nguyen | Alignment-insensitive image input coupling |
KR102271726B1 (ko) | 2013-03-15 | 2021-06-30 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US20140375540A1 (en) | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
US9094677B1 (en) * | 2013-07-25 | 2015-07-28 | Google Inc. | Head mounted display device with automated positioning |
IL295157B2 (en) | 2013-10-16 | 2023-10-01 | Magic Leap Inc | An augmented or virtual reality head device with intrapupillary distance adjustment |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
NZ755272A (en) | 2013-11-27 | 2020-05-29 | Magic Leap Inc | Virtual and augmented reality systems and methods |
US20150193980A1 (en) | 2014-01-06 | 2015-07-09 | Qualcomm Incorporated | Calibration of augmented reality (ar) optical see-through display using shape-based alignment |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20160187651A1 (en) * | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
WO2016018488A2 (en) | 2014-05-09 | 2016-02-04 | Eyefluence, Inc. | Systems and methods for discerning eye signals and continuous biometric identification |
TWI577172B (zh) | 2014-09-10 | 2017-04-01 | 鈺立微電子股份有限公司 | 影像校正系統和立體照相機的校正方法 |
NZ773814A (en) * | 2015-03-16 | 2023-03-31 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
US10271042B2 (en) | 2015-05-29 | 2019-04-23 | Seeing Machines Limited | Calibration of a head mounted eye tracking system |
CN113489967A (zh) * | 2015-11-04 | 2021-10-08 | 奇跃公司 | 可穿戴显示系统和用于校准可穿戴显示器的方法 |
KR20220040511A (ko) * | 2016-04-08 | 2022-03-30 | 매직 립, 인코포레이티드 | 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들 |
US10133071B2 (en) * | 2016-09-28 | 2018-11-20 | Intel Corporation | Replaceable optical element for near eye display |
WO2018067357A2 (en) | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
US10521662B2 (en) * | 2018-01-12 | 2019-12-31 | Microsoft Technology Licensing, Llc | Unguided passive biometric enrollment |
WO2020023672A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes |
US11042034B2 (en) * | 2018-12-27 | 2021-06-22 | Facebook Technologies, Llc | Head mounted display calibration using portable docking station with calibration target |
US10650785B1 (en) * | 2019-02-21 | 2020-05-12 | Microsoft Technology Licensing, Llc | Color management of display device |
US11099384B2 (en) * | 2019-03-27 | 2021-08-24 | Lenovo (Singapore) Pte. Ltd. | Adjusting display settings of a head-mounted display |
US10678059B1 (en) * | 2019-04-02 | 2020-06-09 | Microsoft Technology Licensing, Llc | Concealed shock protector for head-mounted device display |
US20220082739A1 (en) * | 2020-09-17 | 2022-03-17 | Facebook Technologies, Llc | Techniques for manufacturing variable etch depth gratings using gray-tone lithography |
-
2019
- 2019-07-24 WO PCT/US2019/043302 patent/WO2020023672A1/en unknown
- 2019-07-24 EP EP19840270.3A patent/EP3827585A4/en active Pending
- 2019-07-24 JP JP2021502899A patent/JP7456995B2/ja active Active
- 2019-07-24 US US17/258,083 patent/US11422620B2/en active Active
- 2019-07-24 CN CN201980058118.0A patent/CN112655204A/zh active Pending
-
2022
- 2022-08-18 US US17/890,998 patent/US11822718B2/en active Active
-
2023
- 2023-10-13 US US18/486,848 patent/US20240036645A1/en active Pending
-
2024
- 2024-03-14 JP JP2024039794A patent/JP2024069461A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7456995B2 (ja) | 2024-03-27 |
US11822718B2 (en) | 2023-11-21 |
EP3827585A1 (en) | 2021-06-02 |
US11422620B2 (en) | 2022-08-23 |
US20210181840A1 (en) | 2021-06-17 |
WO2020023672A1 (en) | 2020-01-30 |
EP3827585A4 (en) | 2022-04-27 |
US20240036645A1 (en) | 2024-02-01 |
US20220391013A1 (en) | 2022-12-08 |
JP2021532464A (ja) | 2021-11-25 |
CN112655204A (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7415077B2 (ja) | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 | |
JP7443332B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
US11880033B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
JP7390297B2 (ja) | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け | |
JP7456995B2 (ja) | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 | |
CN115053270A (zh) | 用于基于用户身份来操作头戴式显示系统的系统和方法 | |
CN114424147A (zh) | 利用一个或多个眼睛跟踪相机确定眼睛旋转中心 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240314 |