KR102357876B1 - 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 - Google Patents
가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 Download PDFInfo
- Publication number
- KR102357876B1 KR102357876B1 KR1020197010050A KR20197010050A KR102357876B1 KR 102357876 B1 KR102357876 B1 KR 102357876B1 KR 1020197010050 A KR1020197010050 A KR 1020197010050A KR 20197010050 A KR20197010050 A KR 20197010050A KR 102357876 B1 KR102357876 B1 KR 102357876B1
- Authority
- KR
- South Korea
- Prior art keywords
- conductive loop
- display device
- calibration
- measurement
- waveform
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 55
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 20
- 238000005259 measurement Methods 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 62
- 238000012937 correction Methods 0.000 claims description 18
- 239000003550 marker Substances 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 5
- 230000001939 inductive effect Effects 0.000 claims 1
- 230000005672 electromagnetic field Effects 0.000 description 40
- 210000003128 head Anatomy 0.000 description 30
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 230000004807 localization Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000004886 head movement Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000012888 cubic function Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 201000003152 motion sickness Diseases 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 208000032369 Primary transmission Diseases 0.000 description 1
- 238000007743 anodising Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/0023—Electronic aspects, e.g. circuits for stimulation, evaluation, control; Treating the measured signals; calibration
- G01R33/0035—Calibration of single magnetic sensors, e.g. integrated calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/0023—Electronic aspects, e.g. circuits for stimulation, evaluation, control; Treating the measured signals; calibration
- G01R33/0029—Treating the measured signals, e.g. removing offset or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R23/00—Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
- G01R23/16—Spectrum analysis; Fourier analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/0005—Geometrical arrangement of magnetic sensor elements; Apparatus combining different magnetic sensor types
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R35/00—Testing or calibrating of apparatus covered by the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring Magnetic Variables (AREA)
Abstract
VR(virtual reality) 또는 AR(augmented reality) 디바이스(58)에서 자기 및 광학 센서들의 정렬을 교정하기 위한 시스템(900, 1300)이 제공된다. 시스템은 제어기(910), 파형 생성기(920) 및 전기 드라이버(930)를 포함할 수 있다. 파형 생성기는 제어기의 제어하에서 교정 파형들을 생성할 수 있다. 시스템은 또한 교정 파형들에 대응하는 전류들로 통전되는 전도성 루프들(302, 304)을 포함할 수 있다. 제어기는 파형 생성기로 하여금, 디스플레이 디바이스의 제1 유형의 자기 센서(604)를 교정하기 위한 제1 교정 파형을 생성하게 하고, 디스플레이 디바이스의 제2 유형의 자기 센서(102)를 교정하기 위한 제2 교정 파형을 생성하게 할 수 있다. 시스템은 또한 전도성 루프들에 대해 알려진 공간적 관계에 있는 하나 이상의 광학 기준 마커들(316)을 포함할 수 있다. 광학 기준 마커들은 하나 이상의 광학 센서들의 정렬 방향을 교정하는 데 사용할 수 있다.
Description
[0001] 본 출원은, 2016년 9월 26일에 출원되고 발명의 명칭이 "SYSTEMS AND METHODS FOR AUGMENTED REALITY"인 미국 특허 출원 번호 제62/400,079호를 우선권으로 주장하며, 그리하여, 이 출원은 그 전체가 인용에 의해 본원에 포함된다.
[0002] 현대의 컴퓨팅 및 디스플레이 기술들은 "VR"("virtual reality"), "AR"("augmented reality") 및 "MR"("mixed reality") 시스템들의 개발을 가능하게 하였다. VR 시스템은 사용자가 경험할 시뮬레이팅된 환경을 생성한다. 이는 머리-장착 디스플레이를 통해 사용자에게 컴퓨터-생성 이미저리(imagery)를 제시함으로써 행해질 수 있다. 이러한 이미저리는 사용자를 시뮬레이팅된 환경에 몰입시키는 감각적 경험을 생성한다. VR 시나리오는 통상적으로 실제 실세계 이미저리를 또한 포함하기 보다는, 컴퓨터-생성 이미저리만의 프리젠테이션(presentation)을 수반한다.
[0003] AR 시스템은 일반적으로 시뮬레이팅된 엘리먼트(element)들로 실세계 환경을 보완한다. 예컨대, AR 시스템은 머리-장착 디스플레이를 통해 주변 실세계 환경의 뷰(view)를 사용자에게 제공할 수 있다. 그러나 컴퓨터-생성 이미저리는 또한 실세계 환경을 향상시키기 위해 디스플레이 상에 제시될 수 있다. 이 컴퓨터-생성 이미저리(imagery)는 실세계 환경과 맥락적으로 관련된 엘리먼트들을 포함할 수 있다. 이러한 엘리먼트들은 시뮬레이팅된 텍스트, 이미지들, 객체들 등을 포함할 수 있다. MR 시스템들은 시뮬레이팅된 객체들을 실세계 환경에 또한 도입하는 AR 시스템의 유형이지만, 이러한 객체들은 통상적으로 더 뛰어난 정도의 상호작용성(interactivity)을 특징으로 한다. 시뮬레이팅된 엘리먼트들은 종종 실시간으로 상호작용적일 수 있다.
[0004] 일부 실시예들에서, VR(virtual reality) 또는 AR(augmented reality) 디스플레이 디바이스에서 2개 이상의 자기 센서들의 정렬을 교정하기 위한 시스템이 개시되며, 이 시스템은, 제어기; 제어기의 제어 하에서 제1 교정 파형 및 제2 교정 파형을 생성하도록 구성된 파형 생성기; 제1 전도성 루프 ― 제1 전도성 루프는 제1 전도성 루프를 통과하는 제1 축에 직교하는 제1 평면으로 배향됨 ― ; 제1 평면에 평행한 제2 평면으로 배향되고 제1 축을 따라 제1 전도성 루프로부터 이격되는 제2 전도성 루프; 및 제1 교정 파형 및 제2 교정 파형을 수신하고, 대응하는 제1 전기 출력 및 제2 전기 출력 전류를 생성하고, 제1 전기 출력 및 제2 전기 출력 전류를 제1 전도성 루프 및 제2 전도성 루프에 제공하기 위해 파형 생성기에 연결된 전기 드라이버를 포함하고, 제어기는 파형 생성기로 하여금, 디스플레이 디바이스의 제1 유형의 자기 센서를 교정하기 위해 제1 교정 파형을 생성하게 하고, 디스플레이 디바이스의 제2 유형의 자기 센서를 교정하기 위해 제2 교정 파형을 생성하게 하도록 구성된다.
[0005] 일부 실시예들에서, VR(virtual reality) 또는 AR(augmented reality) 디스플레이 디바이스에서 2개 이상의 자기 센서들의 정렬을 교정하기 위한 방법이 개시되며, 이 방법은, 제1 교정 파형을 생성하는 단계; 제1 교정 파형으로, 제1 전도성 루프 ― 제1 전도성 루프는 제1 전도성 루프를 통과하는 제1 축에 직교하는 제1 평면으로 배향됨 ― 및 제1 평면에 평행한 제2 평면으로 배향되고 제1 축을 따라 제1 전도성 루프로부터 이격되는 제2 전도성 루프를 통전(energizing)시키는 단계; 디스플레이 디바이스의 제1 유형의 자기 센서를 사용하여, 제1 교정 파형으로 통전될 때 제1 전도성 루프 및 제2 전도성 루프에 의해 생성된 자기장의 배향을 나타내는 제1 측정을 결정하는 단계; 제2 교정 파형을 생성하는 단계; 제2 교정 파형으로 제1 전도성 루프 및 제2 전도성 루프를 통전시키는 단계; 디스플레이 디바이스의 제2 유형의 자기 센서를 사용하여, 제2 교정 파형으로 통전될 때 제1 전도성 루프 및 제2 전도성 루프에 의해 생성된 자기장의 배향을 나타내는 제2 측정을 결정하는 단계; 및 제1 측정을 제2 측정과 비교하는 단계를 포함한다.
[0006] 일부 실시예들에서, VR(virtual reality) 또는 AR(augmented reality) 디스플레이 디바이스에서 하나 이상의 자기 센서들 및 하나 이상의 광학 센서들의 정렬을 교정하기 위한 시스템이 개시되며, 이 시스템은, 제1 전도성 루프 ― 제1 전도성 루프는 제1 전도성 루프를 통과하는 제1 축에 직교하는 제1 평면으로 배향됨 ― ; 제1 평면에 평행한 제2 평면으로 배향되고 제1 축을 따라 제1 전도성 루프로부터 이격되는 제2 전도성 루프; 및 제1 전도성 루프 및 제2 전도성 루프에 대해 미리 결정된 공간적 관계로 지지되는 하나 이상의 광학 기준 마커들을 포함한다.
[0007] 일부 실시예들에서, VR(virtual reality) 또는 AR(augmented reality) 디스플레이 디바이스에서 하나 이상의 자기 센서들 및 하나 이상의 광학 센서들의 정렬을 교정하기 위한 방법이 개시되며, 이 방법은, 교정 파형을 생성하는 단계; 교정 파형으로, 제1 전도성 루프 ― 제1 전도성 루프는 제1 전도성 루프를 통과하는 제1 축에 직교하는 제1 평면으로 배향됨 ― ; 및 제1 평면에 평행한 제2 평면으로 배향되고 제1 축을 따라 제1 전도성 루프로부터 이격되는 제2 전도성 루프를 통전시키는 단계; 디스플레이 디바이스의 자기 센서를 사용하여, 교정 파형으로 통전될 때 제1 전도성 루프 및 제2 전도성 루프에 의해 생성된 자기장의 배향을 나타내는 제1 측정을 결정하는 단계; 디스플레이 디바이스의 광학 센서로, 제1 전도성 루프 및 제2 전도성 루프에 대한 광학 기준 마커의 공간적 관계를 나타내는 제2 측정을 결정하는 단계; 및 제1 측정을 제2 측정과 비교하는 단계를 포함한다 .
[0008] 본 명세서에 설명된 청구대상의 하나 이상의 실시예들의 세부사항들은 첨부한 도면들 및 아래의 설명에서 기재된다. 다른 특징들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다.
[0009] 도 1은 사람이 보고 있는 소정의 가상 현실 객체들, 및 소정의 물리적 객체들을 가진 증강 현실 시나리오의 예시를 묘사한다.
[0010] 도 2a 내지 도 2d는 웨어러블 시스템의 예들을 개략적으로 예시한다.
[0011] 도 3은 클라우드 컴퓨팅 에셋(asset)들과 로컬 프로세싱 에셋들 사이의 조정을 개략적으로 예시한다.
[0012] 도 4는 EM(electromagnetic) 추적 시스템의 예시적인 시스템 다이어그램을 개략적으로 예시한다.
[0013] 도 5는 전자기 추적 시스템의 실시예의 예시적인 기능을 설명하는 흐름도이다.
[0014] 도 6은 AR 시스템과 통합된 전자기 추적 시스템의 예를 개략적으로 예시한다.
[0015] 도 7은 AR 디바이스의 맥락에서 전자기 추적 시스템의 예의 기능을 설명하는 흐름도이다.
[0016] 도 8은 AR 시스템의 실시예의 컴포넌트들의 예들을 개략적으로 예시한다.
[0017] 도 9는 머리 장착 웨어러블 AR/VR 시스템에서 자력계들의 정렬을 교정하기 위한 시스템의 블록도이다.
[0018] 도 10a는 도 9에 도시된 자기장 생성 유닛의 제1 예시적인 실시예를 예시한다.
[0019] 도 10b는 도 10a에 도시된 전도성 루프 구성에 의해 생성된 자기장 라인들의 단면 개략도이다.
[0020] 도 10c는 도 9에 도시된 자기장 생성 유닛의 예시적인 다축 실시예를 예시한다.
[0021] 도 11은 제1 전도성 루프 및 제2 전도성 루프에 의해 생성된 균일한 자기장의 테스트 볼륨에 포지셔닝되는 머리 장착 웨어러블 AR/VR 시스템의 개략도이다.
[0022] 도 12는 웨어러블 AR/VR 시스템에서 2개의 상이한 유형들의 자력계들의 정렬을 교정하기 위한 예시적인 방법의 흐름도이다.
[0023] 도 13은 머리 장착 웨어러블 AR/VR 시스템에서 자력계들 및 광학 센서들의 정렬을 교정하기 위한 시스템의 블록도이다.
[0024] 도 14는 광학 기준 마커들을 갖는 자기장 생성 유닛의 예시적인 실시예에 포지셔닝된 머리 장착 웨어러블 AR/VR 시스템의 개략도이다.
[0025] 도 15는 웨어러블 AR/VR 시스템에서 자기 센서들 및 광학 센서들의 정렬을 교정하기 위한 예시적인 방법의 흐름도이다.
[0026] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)를 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
[0010] 도 2a 내지 도 2d는 웨어러블 시스템의 예들을 개략적으로 예시한다.
[0011] 도 3은 클라우드 컴퓨팅 에셋(asset)들과 로컬 프로세싱 에셋들 사이의 조정을 개략적으로 예시한다.
[0012] 도 4는 EM(electromagnetic) 추적 시스템의 예시적인 시스템 다이어그램을 개략적으로 예시한다.
[0013] 도 5는 전자기 추적 시스템의 실시예의 예시적인 기능을 설명하는 흐름도이다.
[0014] 도 6은 AR 시스템과 통합된 전자기 추적 시스템의 예를 개략적으로 예시한다.
[0015] 도 7은 AR 디바이스의 맥락에서 전자기 추적 시스템의 예의 기능을 설명하는 흐름도이다.
[0016] 도 8은 AR 시스템의 실시예의 컴포넌트들의 예들을 개략적으로 예시한다.
[0017] 도 9는 머리 장착 웨어러블 AR/VR 시스템에서 자력계들의 정렬을 교정하기 위한 시스템의 블록도이다.
[0018] 도 10a는 도 9에 도시된 자기장 생성 유닛의 제1 예시적인 실시예를 예시한다.
[0019] 도 10b는 도 10a에 도시된 전도성 루프 구성에 의해 생성된 자기장 라인들의 단면 개략도이다.
[0020] 도 10c는 도 9에 도시된 자기장 생성 유닛의 예시적인 다축 실시예를 예시한다.
[0021] 도 11은 제1 전도성 루프 및 제2 전도성 루프에 의해 생성된 균일한 자기장의 테스트 볼륨에 포지셔닝되는 머리 장착 웨어러블 AR/VR 시스템의 개략도이다.
[0022] 도 12는 웨어러블 AR/VR 시스템에서 2개의 상이한 유형들의 자력계들의 정렬을 교정하기 위한 예시적인 방법의 흐름도이다.
[0023] 도 13은 머리 장착 웨어러블 AR/VR 시스템에서 자력계들 및 광학 센서들의 정렬을 교정하기 위한 시스템의 블록도이다.
[0024] 도 14는 광학 기준 마커들을 갖는 자기장 생성 유닛의 예시적인 실시예에 포지셔닝된 머리 장착 웨어러블 AR/VR 시스템의 개략도이다.
[0025] 도 15는 웨어러블 AR/VR 시스템에서 자기 센서들 및 광학 센서들의 정렬을 교정하기 위한 예시적인 방법의 흐름도이다.
[0026] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)를 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
AR, VR 및
로컬화
(localization) 시스템들의 개요
[0027] 도 1에서, 증강 현실 장면(4)이 묘사되고, 여기서 AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(1120)을 특징으로 하는 실세계 공원형 세팅(6)을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(1120) 상에 서있는 로봇 동상(1110), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(2)를 보는 것을 지각하는데, 이들 엘리먼트들(2, 1110)은 실세계에 존재하지 않는다. 인간 시각 지각 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리 엘리먼트(imagery element)들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 만들어 내는 것은 난제이다.
[0028] 머리-착용 VR 또는 AR 디스플레이들(또는 헬멧 장착 디스플레이들, 또는 스마트 안경들)은 통상적으로 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 사용자의 머리가 움직일 때 움직인다. 사용자의 머리 모션들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 머리 포즈(pose)의 변화를 고려하기 위하여 업데이트될 수 있다. 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상의 3차원(3D) 객체의 가상 표현을 뷰잉하고 3D 객체가 나타나는 영역 주위를 걷는 경우, 그 3D 객체는, 각각의 관점에 대해 다시 렌더링되어 사용자가 실제 공간을 점유한 객체 주위를 걷고 있다는 지각을 사용자에게 제공할 수 있다. 머리 착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내의 다수의 객체들을 제시하는 데 사용되면, 머리 포즈(예컨대, 사용자의 머리의 위치 및 배향)의 측정들은 사용자의 동적으로 변하는 머리 위치 및 배향과 매칭시키기 위하여 장면을 재렌더링하고 그리고 가상 공간에서의 증가된 몰입감을 제공하는 데 사용될 수 있다.
[0029] AR 시스템들에서, 머리 포즈의 검출 또는 계산은, 가상 객체들이 사용자에게 이해되는 방식으로 실세계의 공간을 점유하는 것처럼 보이도록 디스플레이 시스템이 가상 객체들을 렌더링하도록 허용할 수 있다. 또한, 사용자의 머리 또는 AR 시스템과 관련하여 실제 객체, 이를테면, 핸드-헬드(hand-held) 디바이스("토템(totem)"으로서 또한 지칭될 수 있음), 햅틱 디바이스 또는 다른 실제 물리적 객체의 포지션 및/또는 배향의 검출은 또한, 사용자가 AR 시스템의 소정의 양상들과 효율적으로 상호작용하는 것을 가능하게 하도록 사용자에게 디스플레이 정보를 제시하는데 있어 디스플레이 시스템을 용이하게 할 수 있다. 사용자의 머리가 실세계에서 이리저리 움직임에 따라, 가상 객체들은 머리 포즈의 함수로써 재-렌더링될 수 있어서, 가상 객체들은 실세계에 대해 안정적으로 유지되는 것처럼 보이게 된다. 적어도 AR 애플리케이션들의 경우, 물리적인 객체들과 공간적으로 관련하여 가상 객체들의 배치(예컨대, 2- 또는 3-차원들로 물리적인 객체와 공간적으로 인접하게 보이도록 제시됨)는 중요한 문제일 수 있다. 예컨대, 머리 움직임은 주변 환경의 관점에서 가상 객체들의 배치를 상당히 복잡하게 할 수 있다. 이는 뷰가 주변 환경의 이미지로서 캡처되고 그 후 최종 사용자에게 프로젝팅되거나 디스플레이되든지 또는 최종 사용자가 주변 환경의 뷰를 직접 지각하든지 간에 사실이다. 예컨대, 머리 움직임은 최종 사용자의 시야가 변하게 할 가능성이 높을 것이며, 이는 최종 사용자의 시야에서 다양한 가상 객체들이 디스플레이되는 곳에 대한 업데이트를 요구할 가능성이 높을 것이다. 부가적으로, 머리 움직임들은 매우 다양한 범위들 및 속도들 내에서 발생할 수 있다. 머리 움직임 속도는 상이한 머리 움직임들 사이에서 뿐만 아니라, 단일 머리 움직임의 범위 내에서 또는 그 범위에 걸쳐서도 변동될 수 있다. 예컨대, 머리 움직임 속도는 시작 지점으로부터 초기에 (예컨대, 선형적으로든 아니든) 증가할 수 있고, 종료 지점에 도달됨에 따라 감소할 수 있어, 머리 움직임의 시작 지점과 종료 지점 사이 어딘가에서 최대 속도를 획득한다. 급격한 머리 움직임들은 심지어, 최종 사용자에게 균일하고 그리고/또는 부드러운 모션으로 나타나는 이미지들을 렌더링하는 특정 디스플레이 또는 프로젝션 기술의 능력을 초과할 수 있다.
[0030] 머리 추적 정확도 및 레이턴시(예컨대, 사용자가 자신의 머리를 움직일 때와 이미지가 업데이트되고 사용자에게 디스플레이되는 시간 사이의 경과된 시간)는 VR 및 AR 시스템들에 대한 난제가 되어왔다. 특히, 사용자의 시야의 상당 부분을 가상 엘리먼트들로 채우는 디스플레이 시스템들의 경우, 머리-추적의 정확도가 높고 머리 모션의 최초의 검출로부터, 디스플레이에 의해 사용자의 눈들로 전달되는 광의 업데이트까지 전반적인 시스템 레이턴시가 매우 낮은 것이 유리하다. 레이턴시가 높은 경우, 시스템은 사용자의 전정계와 시각 감각 시스템 사이의 미스매치를 생성하고, 멀미 또는 시뮬레이터 멀미로 이어질 수 있는 사용자 지각 시나리오를 생성할 수 있다. 시스템 레이턴시가 높은 경우, 가상 객체들의 외관상 위치는 급격한 머리 모션들 동안 불안정하게 나타날 것이다.
[0031] 머리-착용 디스플레이 시스템들 외에도, 다른 디스플레이 시스템들은 정확하고 저 레이턴시의 머리 포즈 검출로부터 이익을 얻을 수 있다. 이들은, 디스플레이가 사용자의 신체 상에 착용되는 것이 아니라, 예컨대, 벽 또는 다른 표면 상에 장착되는 머리-추적 디스플레이 시스템들을 포함한다. 머리-추적 디스플레이는 장면에 대한 창(window)과 같이 작용하고, 사용자가 "창"에 대해 자신의 머리를 움직임에 따라, 사용자의 변하는 시점과 매칭하도록 장면이 재-렌더링된다. 다른 시스템들은 머리-착용 디스플레이가 실세계 상에 광을 프로젝팅하는 머리-착용 프로젝션 시스템을 포함한다.
[0032] 부가적으로, 현실감 있는 증강 현실 경험을 제공하기 위해, AR 시스템들은 사용자와 상호작용하게 되도록 설계될 수 있다. 예컨대, 다수의 사용자들이 가상 공 및/또는 다른 가상 객체들로 공 게임을 할 수 있다. 하나의 사용자는 가상 공을 "잡아" 다른 사용자에게 공을 역으로 던질 수 있다. 다른 실시예에서, 제1 사용자에는 가상 공을 치기 위해 토템(예컨대, AR 시스템에 통신 가능하게 커플링된 배트-형 객체)이 제공될 수 있다. 다른 실시예들에서, 가상 사용자 인터페이스는 AR 사용자가 다수의 옵션들 중 하나를 선택할 수 있도록 그 사용자에게 제시될 수 있다. 사용자는 토템들, 햅틱 디바이스들, 웨어러블 컴포넌트들을 사용하거나 가상 스크린을 단순히 터치하여 시스템과 상호작용할 수 있다.
[0033] 사용자의 머리 포즈 및 배향을 검출하는 것 그리고 공간에서 실제 객체들의 물리적 위치를 검출하는 것은 AR 시스템이 효과적이고 즐거운 방식으로 가상 콘텐츠를 디스플레이하는 것을 가능하게 한다. 그러나 이러한 능력들은 AR 시스템에 유리하지만 이들은 달성하기 어려울 수 있다. 즉, AR 시스템은 실제 객체(예컨대, 사용자의 머리, 토템, 햅틱 디바이스, 웨어러블 컴포넌트, 사용자 손 등)의 물리적 위치를 인식하고 실제 객체의 물리적 좌표들을, 사용자에게 디스플레이되는 하나 이상의 가상 객체들에 대응하는 가상 좌표들과 상관시킬 수 있다. 이것은 일반적으로 신속한 레이트(rate)들로 하나 이상의 객체들의 포지션 및 배향을 추적하는 매우 정확한 센서들 및 센서 인식 시스템들을 필요로 한다. 현재의 접근법은 만족스러운 속도 또는 정밀도 표준들로 로컬화(localization)를 수행하지 못할 수 있다. 따라서, AR 및 VR 디바이스들의 맥락에서 더 양호한 로컬화 시스템에 대한 필요성이 존재한다.
예시적인 AR 및 VR 시스템들 및 컴포넌트들
[0034] 도 2a 내지 도 2d를 참조하면, 일부 일반적인 컴포넌트 옵션들이 예시된다. 도 2a 내지 도 2d의 논의에 뒤따르는 상세한 설명의 부분들에서, 인간 VR 및/또는 AR에 대한 고품질의 편안하게-지각되는 디스플레이 시스템을 제공하는 목적들을 해결하기 위해 다양한 시스템들, 서브시스템들 및 컴포넌트들이 제시된다.
[0035] 도 2a에 도시된 바와 같이, 사용자의 눈들 앞에 포지셔닝된 디스플레이 시스템(62)에 커플링된 프레임(64) 구조를 특징으로 하는 머리 장착 컴포넌트(58)를 착용한 AR 시스템 사용자(60)가 도시된다. 도시된 구성에서 스피커(66)가 프레임(64)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝된다(일 실시예에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능(shapeable) 사운드 제어를 제공함). 디스플레이(62)는 이를테면, 유선 리드 또는 무선 연결에 의해, 로컬 데이터 프로세싱 및 데이터 모듈(70)에 동작 가능하게 커플링(68)되고, 이 로컬 데이터 프로세싱 및 데이터 모듈(70)은 다양한 구성들로 장착될 수 있는데, 이를테면, 프레임(64)에 고정되게 부착되거나, 도 2b의 실시예에 도시된 바와 같이, 헬멧 또는 모자(80)에 고정되게 부착되거나, 헤드폰들에 임베딩되거나, 도 2c의 실시예에 도시된 바와 같이 백팩-스타일 구성으로 사용자(60)의 몸(82)에 제거 가능하게 부착되거나, 또는 도 2d의 실시예에 도시된 바와 같이 벨트-커플링 스타일 구성으로 사용자(60)의 엉덩이(84)에 제거 가능하게 부착될 수 있다.
[0036] 로컬 프로세싱 및 데이터 모듈(70)은 전력-효율적 프로세서 또는 제어기뿐만 아니라, 디지털 메모리 이를테면, 플래시 메모리를 포함할 수 있으며, 이들 둘 모두는, a) 이미지 캡처 디바이스들(이를테면, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPU 유닛들, 라디오 디바이스들, 및/또는 자이로와 같이 프레임(64)에 동작 가능하게 커플링될 수 있는 센서들로부터 캡처되고; 그리고/또는 b) 원격 프로세싱 모듈(72) 및/또는 원격 데이터 리포지토리(74)를 이용하여 취득 및/또는 프로세싱되는 (이는 가능하다면, 이러한 프로세싱 또는 리트리브 후에 디스플레이(62)로의 전달을 위한 것임) 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 로컬 프로세싱 및 데이터 모듈(70)은 이를테면, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(72) 및 원격 데이터 리포지토리(74)에 동작 가능하게 커플링(76, 78)될 수 있어서, 이들 원격 모듈들(72, 74)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(70)에 대한 자원들로서 이용 가능하다.
[0037] 일 실시예에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 리포지토리(74)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 비교적 대형-스케일 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0038] 이제 도 3을 참조하면, 개략도는, 도 3에 도시된 바와 같이, 예컨대, 사용자의 머리(120)에 커플링된 머리 장착 컴포넌트(58) 및 사용자의 벨트(308)(이에 따라, 컴포넌트(70)는 "벨트 팩"(70)이라고 또한 칭해질 수 있음)에 커플링된 로컬 프로세싱 및 데이터 모듈(70)에 상주할 수 있는 로컬 프로세싱 에셋들과 클라우드 컴퓨팅 에셋들(46) 간의 조정을 예시한다. 일 실시예에서, 클라우드(46) 에셋들, 이를테면, 하나 이상의 서버 시스템들(110)은, 위에서 설명된 바와 같이, 이를테면, 유선 또는 무선 네트워킹(이동성을 위해서는 무선이 선호되고, 소정의 고-대역폭 또는 고-데이터-볼륨 전달들에 대해서는 유선이 선호됨(이것이 바람직할 수 있음))을 통해, 동작 가능하게 커플링(115)되고, 사용자의 머리(120) 및 벨트(308)에 커플링된, 프로세서 및 메모리 구성들과 같은 로컬 컴퓨팅 에셋들 중 하나 또는 둘 모두에 직접적으로 커플링(40, 42)된다. 사용자에게 로컬인 이러한 컴퓨팅 에셋들은 또한, 유선 및/또는 무선 연결성 구성들(44), 이를테면, 도 8을 참조하여 아래에 논의되는 유선 커플링(68)을 통해 서로 동작 가능하게 커플링될 수 있다. 일 실시예에서, 사용자의 머리(120)에 장착된 저-관성 및 작은 크기의 서브시스템을 유지하기 위해, 사용자와 클라우드(46) 사이의 1차 전달은 벨트(308)에 장착된 서브시스템과 클라우드 사이의 링크를 통해 이루어질 수 있고, 머리(120) 장착 서브시스템은 예컨대, 개인 컴퓨팅 주변기기 연결성 애플리케이션들에 현재 이용되는 "UWB(ultra-wideband)" 연결성과 같은 무선 연결을 이용하여 주로 벨트(308)-기반 서브시스템에 데이터-테더링(tether)된다.
[0039] 효율적인 로컬 및 원격 프로세싱 조정, 및 사용자에 대한 적절한 디스플레이 디바이스, 이를테면, 도 2a에 도시된 사용자 인터페이스 또는 사용자 디스플레이 시스템(62), 또는 그의 변동들을 이용하여, 사용자의 현재 실제 또는 가상 위치와 관련되는 하나의 세계의 양상들이 사용자에게 전송 또는 "전달"되고 효율적인 방식으로 업데이트될 수 있다. 즉, 세계의 맵은, 사용자의 AR 시스템 상에 부분적으로 상주하고 클라우드 자원들에 부분적으로 상주할 수 있는 저장 위치에서 지속적으로 업데이트될 수 있다. 맵(또한 "통과 가능한 세계 모델(passable world model)"로서 지칭됨)은, 래스터 이미저리(raster imagery), 3-D 및 2-D 지점들, 실세계에 관한 파라미터 정보 및 다른 정보를 포함하는 대형 데이터베이스일 수 있다. 점점 더 많은 AR 사용자들이 자신들의 실제 환경에 관한 정보를(예컨대, 카메라들, 센서들, IMU들 등을 통해) 지속적으로 캡처함에 따라, 맵은 점점 더 정확하고 완전해진다.
[0040] 클라우드 컴퓨팅 자원들 상에 상주하고 그리고 클라우드 컴퓨팅 자원들로부터 분배될 수 있는 하나의 세계 모델이 존재하는 위에서 설명된 바와 같은 구성에 있어서, 이러한 세계는 거의 실시간 비디오 데이터 등을 전달하도록 시도하는 것보다 바람직한 비교적 저 대역폭 형태로 하나 이상의 사용자들에게 "통과 가능"할 수 있다. (예컨대, 도 1에 도시된 바와 같은) 동상 근처에 서 있는 사람의 증강된 경험은 클라우드-기반 세계 모델에 의해 영향을 받을 수 있으며, 이의 서브세트는 사람들 및 사람들의 로컬 디스플레이 디바이스로 전달되어 뷰를 완성할 수 있다. 데스크 상에 놓여 있는 개인 컴퓨터와 같이 단순할 수 있는, 원격 디스플레이 디바이스에 앉아 있는 사람은, 클라우드로부터 동일한 정보 섹션을 효율적으로 다운로드하여 이를 자신의 디스플레이 상에 렌더링되게 할 수 있다. 사실상, 동상 근처의 공원에 실제로 존재하는 한 사람은 그 공원에서의 산책을 위해 원격으로-로케이팅된 친구를 데려갈 수 있는데, 이 친구는 가상 및 증강 현실을 통해 합류(join)한다. 시스템은, 거리(street)가 어디인지, 나무들이 어디에 있는지, 동상이 어디에 있는지를 알 필요가 있을 것이지만 ― 합류한 친구는, 클라우드 상의 그 정보를 사용하여, 시나리오의 양상들을 클라우드로부터 다운로드할 수 있고, 그 후 실제로 공원에 있는 사람에 대해 현지의 증강 현실로서 함께 걷기 시작할 수 있다.
[0041] 3-D(three-dimensional) 지점들이 환경으로부터 캡처될 수 있고, 그리고 이들 이미지들 또는 지점들을 캡처하는 카메라들의 포즈(예컨대, 세계에 대한 벡터 및/또는 본래의 포지션 정보)가 결정될 수 있어서, 이들 지점들 또는 이미지들은 이 포즈 정보로 "태깅"되거나, 또는 이와 연관될 수 있다. 그 후, 제2 카메라에 의해 캡처된 지점들은 제2 카메라의 포즈를 결정하는 데 활용될 수 있다. 즉, 제1 카메라로부터의 태깅된 이미지들과의 비교들에 기초하여 제2 카메라가 배향 및/또는 로컬화될 수 있다. 그 후, 이 지식은 (왜냐하면, 정합된 2개의 카메라들이 있기 때문에) 텍스처들을 추출하고, 맵들을 만들고, 그리고 실세계의 가상 카피를 생성하는 데 활용될 수 있다.
[0042] 따라서, 베이스 레벨에서, 일 실시예에서, 사람-착용 시스템은 3-D 지점들 및 이 지점들을 생성한 2-D 이미지들 둘 모두를 캡처하는 데 활용될 수 있고, 이들 지점들 및 이미지들은 클라우드 저장 및 프로세싱 자원으로 전송될 수 있다. 이들은 또한, 임베딩된 포즈 정보를 사용하여 로컬로 캐싱될 수 있고(예컨대, 태깅된 이미지들을 캐싱함); 따라서 클라우드는 3-D 지점들과 함께, (예컨대, 이용 가능한 캐시 내에) 준비된 상태의 태깅된 2-D 이미지들(예컨대, 3-D 포즈로 태깅됨)을 가질 수 있다. 사용자가 동적인 무언가를 관찰중인 경우, 그 사용자는 또한, 모션에 관련된 부가적인 정보를 클라우드까지 전송할 수 있다(예컨대, 다른 사람의 얼굴을 보는 경우, 사용자는 얼굴의 텍스처 맵을 취하고, 그리고 주변 세계가 기본적으로 달리 정적이더라도 최적화된 주파수로 이를 푸시 업(push up)할 수 있음). 객체 인식기들 및 통과 가능한 세계 모델에 대한 더 많은 정보는, "System and method for augmented and virtual reality"이란 명칭의 미국 특허 공개 번호 제2014/0306866호(이 공개물은 그 전체가 인용에 의해 본원에 포함됨), 및 Florida, Plantation 소재의 Magic Leap, Inc.에 의해 개발된 것들과 같은 증강 및 가상 현실 시스템들에 관련된 하기의 부가적인 개시내용들: 미국 특허 공개 번호 제2015/0178939호; 미국 특허 공개 번호 제2015/0205126호; 미국 특허 공개 번호 제2014/0267420호; 미국 특허 공개 번호 제2015/0302652호; 미국 특허 공개 번호 제2013/0117377호; 및 미국 특허 공개 번호 제2013/0128230호(이들 공개물 각각은 이로써 그 전체가 인용에 의해 본원에 포함됨)에서 발견될 수 있다.
[0043] GPS 및 다른 로컬화 정보는 그런 프로세싱에 대한 입력들로서 활용될 수 있다. 사용자의 머리, 토템들, 손 제스처들, 햅틱 디바이스들 등의 매우 정확한 로컬화는 적절한 가상 콘텐츠를 사용자에게 디스플레이하는 데 유리할 수 있다.
[0044] 머리-장착 디바이스(58)는 디바이스의 착용자의 눈들 앞에 포지셔닝 가능한 디스플레이들을 포함할 수 있다. 디스플레이들은 광 필드 디스플레이들을 포함할 수 있다. 디스플레이들은 복수의 깊이 평면들에 있는 이미지들을 착용자에게 제시하도록 구성될 수 있다. 디스플레이들은 회절 엘리먼트들을 가진 평면형 도파관들을 포함할 수 있다. 본원에서 개시된 실시예들 중 임의의 실시예와 함께 사용 가능한 디스플레이들, 머리-장착 디바이스들, 및 다른 AR 컴포넌트들의 예들은 미국 특허 공개 번호 제2015/0016777호에서 설명된다. 미국 특허 공개 번호 제2015/0016777호는 이로써 그 전체가 인용에 의해 본원에 포함된다.
전자기
로컬화의
예들
[0045] 높은 정밀도 로컬화를 달성하기 위한 하나의 접근법은 사용자의 AR 헤드셋, 벨트 팩 및/또는 다른 보조 디바이스들(예컨대, 토템들, 햅틱 디바이스들, 게이밍 기구들 등) 상에 전략적으로 배치된 EM(electromagnetic) 센서들과 커플링된 전자기장(EN field)의 사용을 수반할 수 있다. 전자기 추적 시스템들은 통상적으로 적어도 전자기장 방출기 및 적어도 하나의 전자기장 센서를 포함한다. 전자기장 방출기는 AR 헤드셋의 착용자의 환경에서 알려진 공간적(및/또는 시간적) 분배를 가진 전자기장을 생성한다. 전자기장 센서들은 센서들의 위치들에서, 생성된 전자기장들을 측정한다. 생성된 전자기장의 이들 측정들 및 분배에 관한 지식에 기초하여, 방출기에 대한 필드 센서의 포즈(예컨대, 포지션 및/또는 배향)가 결정될 수 있다. 이에 따라, 센서가 부착된 객체의 포즈가 결정될 수 있다.
[0046] 이제 도 4를 참조하면, 전자기 추적 시스템(예컨대, 이를테면, Vermont, Colchester 소재의 Biosense division of Johnson & Johnson Corporation, Polhemus, Inc.와 같은 조직들에 의해 개발된 것, California, Los Gatos 소재의 Sixense Entertainment, Inc.에 의해 제조된 것 및 다른 추적 회사들에 의해 제조된 것)의 예시적인 시스템도가 예시된다. 하나 이상의 실시예들에서, 전자기 추적 시스템은 알려진 자기장을 방출하도록 구성된 전자기장 방출기(402)를 포함한다. 도 4에 도시된 바와 같이, 전자기장 방출기는 전력을 방출기(402)에 제공하기 위한 전력 공급기(예컨대, 전류, 배터리들 등)에 커플링될 수 있다.
[0047] 하나 이상의 실시예들에서, 전자기장 방출기(402)는 자기장들을 생성하는 여러 코일들(예컨대, X, Y 및 Z 방향들의 자기장을 생성하기 위해 서로 수직으로 포지셔닝된 적어도 3개의 코일들)을 포함한다. 이런 자기장은 좌표 공간(예컨대, X-Y-Z 데카르트 좌표 공간)을 설정하는 데 사용된다. 이는 시스템이 알려진 자기장과 관련하여 센서들의 포지션(예컨대, (X, Y, Z) 포지션)을 맵핑할 수 있게 하고, 센서들의 포지션 및/또는 배향을 결정하는 것을 돕는다. 하나 이상의 실시예들에서, 전자기 센서들(404a, 404b 등)은 하나 이상의 실제 객체들에 부착될 수 있다. 전자기 센서들(404)은 방출된 전자기장을 통해 전류가 유도될 수 있는 더 작은 코일들을 포함할 수 있다. 일반적으로, "센서" 컴포넌트들(404)은, 방출기(402)에 의해 방출된 자기장으로부터 인입하는 자속을 캡처하도록 포지셔닝/배향되는 작은 코일들 또는 루프들, 이를테면, 큐브 또는 다른 컨테이너와 같은 작은 구조 내에서 함께 커플링되는 3개가 상이하게-배향된(예컨대, 이를테면, 서로에 대해 직교하게 배향된) 코일들의 세트를 포함할 수 있고, 이들 코일들을 통해 유도된 전류들을 비교하고, 서로에 대한 코일들의 상대적 포지셔닝 및 배향을 인지함으로써, 방출기에 대한 센서의 상대적 포지션 및 배향이 계산될 수 있다.
[0048] 전자기 추적 센서들에 동작 가능하게 커플링된 IMU(inertial measurement unit) 컴포넌트들 및 코일들의 거동에 관련된 하나 이상의 파라미터들은 전자기장 방출기가 커플링되는 좌표계에 대한 센서(및 센서가 부착된 객체)의 포지션 및/또는 배향을 검출하기 위해 측정될 수 있다. 하나 이상의 실시예들에서, 다수의 센서들은 좌표 공간 내의 센서들 각각의 포지션 및 배향을 검출하기 위해 전자기 방출기와 관련하여 사용될 수 있다. 전자기 추적 시스템은 3개의 방향들(예컨대, X, Y 및 Z 방향들), 및 추가로 2개 또는 3개의 배향 각도들에서의 포지션들을 제공할 수 있다. 하나 이상의 실시예들에서, IMU의 측정들은 센서들의 포지션 및 배향을 결정하기 위해 코일의 측정들과 비교될 수 있다. 하나 이상의 실시예들에서, 다양한 다른 데이터 소스들, 이를테면 카메라들, 깊이 센서들, 및 다른 센서들과 함께, EM(electromagnetic) 데이터 및 IMU 데이터 둘 모두는 포지션 및 배향을 결정하기 위해 결합될 수 있다. 이 정보는 제어기(406)에 송신(예컨대, 무선 통신, 블루투스 등)될 수 있다. 하나 이상의 실시예들에서, 포즈(또는 포지션 및 배향)는 종래의 시스템들에서 비교적 높은 리프레시 레이트(refresh rate)로 리포트될 수 있다. 통상적으로, 전자기장 방출기는 비교적 안정적이고 큰 객체, 이를테면 테이블, 수술대, 벽 또는 천장에 커플링되고, 하나 이상의 센서들은 더 작은 객체들, 이를테면 의료 디바이스들, 핸드헬드 게이밍 컴포넌트들 등에 커플링된다. 대안적으로, 도 6을 참조하여 아래에서 설명되는 바와 같이, 전자기 추적 시스템의 다양한 특징들은 더 안정적인 글로벌 좌표계에 대해 공간에서 움직이는 2개의 객체들 간의 포지션 및/또는 배향의 변화들 또는 델타들이 추적될 수 있는 구성을 생성하는 데 이용될 수 있다. 즉, 전자기 추적 시스템의 변동이 머리-장착 컴포넌트와 핸드-헬드 컴포넌트 간의 포지션 및 배향 델타를 추적하는 데 활용될 수 있는 반면, 글로벌 좌표계(사용자에게 로컬인 룸 환경을 말함)에 대한 머리 포즈는, 이를테면 시스템의 머리 장착 컴포넌트에 커플링될 수 있는 외향 캡처 카메라들을 사용하는 "SLAM"(simultaneous localization and mapping) 기술들에 의해 다른 방식으로 결정되는 구성이 도 6에 도시된다.
[0049] 제어기(406)는 전자기장 생성기(402)를 제어할 수 있고 또한, 다양한 전자기 센서들(404)로부터 데이터를 캡처할 수 있다. 시스템의 다양한 컴포넌트들이 임의의 전기-기계적인 또는 무선/블루투스 수단을 통해 서로 커플링될 수 있다는 것이 인지되어야 한다. 제어기(406)는 또한 알려진 자기장, 및 자기장에 대한 좌표 공간에 관한 데이터를 포함할 수 있다. 그 후, 이 정보는 알려진 전자기장에 대응하는 좌표 공간과 관련하여 센서들의 포지션 및 배향을 검출하는 데 사용된다.
[0050] 전자기 추적 시스템들의 하나의 이점은, 이들이 최소 레이턴시 및 고 분해능으로 매우 정확한 추적 결과들을 생성한다는 점이다. 부가적으로, 전자기 추적 시스템은 반드시 광학 추적기들에 의존하는 것은 아니며, 사용자의 시선(line-of-vision)에 있지 않은 센서들/객체들이 쉽게 추적될 수 있다.
[0051] 전자기장의 세기(v)가 코일 송신기(예컨대, 전자기장 방출기(402))로부터의 거리(r)의 3차 함수로써 강하한다는 것이 인지되어야 한다. 따라서, 알고리즘은 전자기장 방출기로부터 떨어진 거리에 기초하여 사용될 수 있다. 제어기(406)는 전자기장 방출기로부터 떨어진 변동 거리들에 있는 센서/객체의 포지션 및 배향을 결정하기 위해 이러한 알고리즘들로 구성될 수 있다. 센서가 전자기 방출기로부터 더 멀리 움직임에 따른 전자기장의 세기의 급격한 감소를 고려하면, 정확도, 효율성 및 저 레이턴시 측면에서 최상의 결과들은 더 가까운 거리들에서 달성될 수 있다. 통상적인 전자기 추적 시스템들에서, 전자기장 방출기는 전류(예컨대, 플러그-인 전력 공급기)에 의해 전력을 공급받고, 전자기장 방출기로부터 20ft 반경 이내에 떨어져 로케이팅되는 센서들을 갖는다. AR 애플리케이션들을 포함하는 다수의 애플리케이션들에서 센서들과 전자기장 방출기 간의 더 짧은 반경이 보다 바람직할 수 있다.
[0052] 이제 도 5를 참조로, 통상적인 전자기 추적 시스템의 기능을 설명하는 예시적인 흐름도가 간략히 설명된다. 502에서, 알려진 전자기장이 방출된다. 하나 이상의 실시예들에서, 자기장 방출기는 자기장들을 생성할 수 있으며, 여기서 각각의 코일은 하나의 방향(예컨대, X, Y 또는 Z)으로 자기장을 생성할 수 있다. 자기장들은 임의의 파형으로 생성될 수 있다. 하나 이상의 실시예들에서, 각각의 축들을 따른 자기장 컴포넌트는 다른 방향들을 따른 다른 자기장 컴포넌트들과 약간 상이한 주파수로 오실레이팅할 수 있다. 504에서, 전자기장에 대응하는 좌표 공간이 결정될 수 있다. 예컨대, 도 4의 제어(406)는 전자기장에 기초하여 방출기 주위의 좌표 공간을 자동으로 결정할 수 있다. 506에서, (알려진 객체에 부착될 수 있는) 센서들에 있는 코일들의 거동이 검출될 수 있다. 예컨대, 코일들에서 유도된 전류가 계산될 수 있다. 다른 실시예들에서, 코일들의 회전, 또는 임의의 다른 정량화 가능한(quantifiable) 거동이 추적 및 측정될 수 있다. 508에서, 이러한 거동은 센서(들) 및/또는 알려진 객체의 포지션 또는 배향을 검출하는 데 사용될 수 있다. 예컨대, 제어기(406)는 센서들에 있는 코일들의 거동을 다양한 포지션들 또는 배향들에 상관시키는 맵핑 테이블을 참고(consult)할 수 있다. 이들 계산들에 기초하여, 센서들의 배향과 함께 좌표 공간에서의 포지션이 결정될 수 있다.
[0053] AR 시스템들의 맥락에서, 전자기 추적 시스템의 하나 이상의 컴포넌트들은 모바일 컴포넌트들의 정확한 추적을 가능하게 하도록 수정될 필요가 있을 수 있다. 위에서 설명된 바와 같이, 사용자의 머리 포즈 및 배향을 추적하는 것은 많은 AR 애플리케이션들에서 바람직할 수 있다. 사용자의 머리 포즈 및 배향의 정확한 결정은 AR 시스템이 정확한 가상 콘텐츠를 사용자에게 디스플레이할 수 있게 한다. 예컨대, 가상 장면은 실제 빌딩 뒤에 숨어 있는 몬스터를 포함할 수 있다. 빌딩과 관련하여 사용자의 머리의 포즈 및 배향에 의존하여, 가상 몬스터의 뷰는, 현실감 있는 AR 경험이 제공되도록 수정될 필요가 있을 수 있다. 또는, 토템, 햅틱 디바이스 또는 가상 콘텐츠와 상호작용하는 일부 다른 수단의 포지션 및/또는 배향은 AR 사용자가 AR 시스템과 상호작용하는 것을 가능하게 하는 데 있어 중요할 수 있다. 예컨대, 다수의 게이밍 애플리케이션들에서, AR 시스템은 가상 콘텐츠와 관련하여 실제 객체의 포지션 및 배향을 검출할 수 있다. 또는, 가상 인터페이스를 디스플레이할 때, 토템, 사용자의 손, 햅틱 디바이스 또는 AR 시스템과의 상호작용을 위해 구성된 임의의 다른 실제 객체의 포지션은 시스템이 커맨드 등을 이해하게 하기 위해, 디스플레이된 가상 인터페이스와 관련하여 알려질 수 있다. 광학 추적을 포함하는 종래의 로컬화 방법들 및 다른 방법들은 통상적으로 높은 레이턴시 및 저 분해능 문제들로 어려움을 겪고, 이는 다수의 증강 현실 애플리케이션들에서 가상 콘텐츠를 렌더링하는 것을 난제가 되게 한다.
[0054] 하나 이상의 실시예들에서, 도 4 및 도 5와 관련하여 논의된 전자기 추적 시스템은 방출된 전자기장과 관련하여 하나 이상의 객체들의 포지션 및 배향을 검출하도록 AR 시스템에 적응될 수 있다. 통상적인 전자기 시스템들은 머리-장착 AR 디바이스들에 대해 문제가 되는 크고 부피가 큰 전자기 방출기들(예컨대, 도 4의 402)을 갖는 경향이 있다. 그러나, (예컨대, 밀리미터 범위의) 더 작은 전자기 방출기들이 AR 시스템의 맥락에서 알려진 전자기장을 방출하는 데 사용될 수 있다.
[0055] 이제 도 6을 참조하면, 전자기 추적 시스템은 도시된 바와 같이 AR 시스템과 통합될 수 있고, 전자기장 방출기(602)는 핸드-헬드 제어기(606)의 부분으로서 통합된다. 제어기(606)는 AR 헤드셋(또는 벨트 팩(70))에 대해 독립적으로 이동 가능할 수 있다. 예컨대, 사용자는 자신의 손에 제어기(606)를 홀딩할 수 있거나, 또는 제어기는 (예컨대, 사용자가 착용한 반지 또는 팔찌로서 또는 글러브의 부분으로서) 사용자의 손 또는 팔에 장착될 수 있다. 하나 이상의 실시예들에서, 핸드-헬드 제어기는 게이밍 시나리오(예컨대, 멀티-자유도 제어기)에 사용될, 또는 AR 환경에서 풍부한 사용자 경험을 제공하거나 또는 AR 시스템과의 사용자 상호작용을 허용할 토템일 수 있다. 다른 실시예들에서, 핸드-헬드 제어기는 햅틱 디바이스일 수 있다. 또 다른 실시예들에서, 전자기장 방출기는 단순히 벨트 팩(70)의 부분으로서 통합될 수 있다. 핸드-헬드 제어기(606)는 배터리(610) 또는 그 전자기장 방출기(602)에 전력을 공급하는 다른 전력 공급기를 포함할 수 있다. 전자기장 방출기(602)는 또한 다른 컴포넌트들에 대해 전자기장 방출기(602)의 포지셔닝 및/또는 배향을 결정하는 것을 보조하도록 구성된 IMU(650) 컴포넌트를 포함하거나 이에 커플링될 수 있다는 것이 인지되어야 한다. 이는, 전자기장 방출기(602) 및 센서들(604) 둘 모두가 모바일인 경우들에서 특히 유리할 수 있다. 도 6의 실시예에서 도시된 바와 같이, 벨트 팩보다는, 핸드-헬드 제어기에 전자기장 방출기(602)를 배치하는 것이, 전자기장 방출기가 벨트 팩의 자원들을 경쟁하는 것이 아니라, 오히려 핸드-헬드 제어기(606)에서 그 자신의 배터리 소스를 사용하는 것을 보장하는 것을 돕는다. 또 다른 실시예들에서, 전자기장 방출기(602)는 AR 헤드셋 상에 배치될 수 있고 센서들(604)은 제어기(606) 또는 벨트 팩(70) 상에 배치될 수 있다.
[0056] 하나 이상의 실시예들에서, 전자기 센서들(604)은 다른 감지 디바이스들, 이를테면 하나 이상의 IMU들 또는 부가적인 자속 캡처 코일들(608)과 함께 사용자의 헤드셋 상의 하나 이상의 위치들 상에 배치될 수 있다. 예컨대, 도 6에 도시된 바와 같이, 센서들(604, 608)은 헤드셋(58)의 측들 중 하나 또는 둘 모두 상에 배치될 수 있다. 이들 센서들은 다소 작게 되도록(그리고 따라서, 일부 경우들에서, 덜 민감할 수 있음) 제작되기 때문에, 다수의 센서들을 가지는 것은 효율성 및 정밀도를 개선할 수 있다. 하나 이상의 실시예들에서, 하나 이상의 센서들은 또한 벨트 팩(70) 또는 사용자의 신체의 임의의 다른 부분 상에 배치될 수 있다. 센서들(604, 608)은 무선으로 또는 Bluetooth를 통해 센서들(및 그것이 부착된 AR 헤드셋)의 포즈 및 배향을 결정하는 컴퓨팅 장치와 통신할 수 있다. 하나 이상의 실시예들에서, 컴퓨팅 장치는 벨트 팩(70)에 상주할 수 있다. 다른 실시예들에서, 컴퓨팅 장치는 헤드셋 자체, 또는 심지어 핸드-헬드 제어기(606)에 상주할 수 있다. 결국, 하나 이상의 실시예들에서, 컴퓨팅 장치는 포즈를 검출하기 위한 맵핑 데이터베이스(예컨대, 통과 가능한 세계 모델, 좌표 공간 등)를 포함하여, 실제 객체들 및 가상 객체들의 좌표들을 결정할 수 있고, 그리고 심지어 클라우드 자원들 및 통과 가능한 세계 모델에 연결될 수 있다.
[0057] 위에서 설명된 바와 같이, 종래의 전자기 방출기들은 AR 디바이스들에 사용하기에는 너무 부피가 클 수 있다. 그러므로, 전자기장 방출기는 통상의 시스템들에 비해 더 작은 코일들을 사용하여, 콤팩트하게 제작될 수 있다. 그러나, 전자기장의 세기가 필드 방출기로부터 떨어진 거리의 3차 함수로써 감소한다는 것을 고려하면, 전자기 센서들(604)과 전자기장 방출기(602) 간의 더 짧은 반경(예컨대, 약 3 내지 3.5 ft)은 도 4에서 상세히 설명된 것과 같은 종래의 시스템들과 비교할 때 전력 소비를 감소시킬 수 있다.
[0058] 하나 이상의 실시예들에서, 이 양상은 또한 제어기(606) 및 전자기장 방출기(602)에 전력을 공급할 수 있는 배터리(610)의 수명을 연장시키는 데 활용될 수 있다. 또는, 다른 실시예들에서, 이 양상은 전자기장 방출기(602)에서 자기장을 생성하는 코일들의 크기를 감소시키는 데 활용될 수 있다. 그러나, 동일한 세기의 자기장을 얻기 위해, 전력이 증가될 필요가 있을 수 있다. 이는, 핸드-헬드 제어기(606)에 콤팩트하게 피팅(fit)될 수 있는 콤팩트 전자기장 방출기 유닛(602)을 허용한다.
[0059] AR 디바이스들에 대해 전자기 추적 시스템을 사용할 때 여러 다른 변경들이 이루어질 수 있다. 이 포즈 리포팅 레이트(reporting rate)가 다소 양호할지라도, AR 시스템들은 훨씬 더 효율적인 포즈 리포팅 레이트를 요구할 수 있다. 이를 위해, IMU-기반 포즈 추적이 (부가적으로 또는 대안적으로) 센서들에 사용될 수 있다. 유리하게는, IMU들은 포즈 검출 프로세스의 효율성을 증가시키기 위해 가능한 한 안정적인 상태를 유지할 수 있다. IMU들은, 이들이 50-100 밀리초까지 안정적인 상태를 유지하도록 제작될 수 있다. 일부 실시예들은, 포즈 업데이트들이 10 내지 20 Hz의 레이트로 리포트되는 것을 가능하게 할 수 있는 외측 포즈 추정기 모듈(예컨대, IMU들은 시간에 걸쳐 드리프트(drift)할 수 있음)을 활용할 수 있다는 것이 인지되어야 한다. IMU들을 합리적인 레이트로 안정적인 상태로 유지함으로써, 포즈 업데이트들의 레이트는 (종래의 시스템들에서의 더 높은 주파수들과 비교하면) 10 내지 20 Hz로 극적으로 감소될 수 있다.
[0060] 전자기 추적 시스템이 예컨대, 10% 듀티 사이클(예컨대, 단지 100 밀리초마다 지상 실측 자료(ground truth)에 대해 핑잉(pinging)함)로 실행될 수 있는 경우, 이는 AR 시스템에서 전력을 절감하기 위한 다른 방식이 될 것이다. 이는, 전자기 추적 시스템이 포즈 추정을 생성하기 위해 매 100 밀리초 중에서 매 10 밀리초마다 웨이크 업(wake up)한다는 것을 의미할 것이다. 이는 직접적으로 전력 소비 절감들로 전환되며, 이는 결국 AR 디바이스의 크기, 배터리 수명 및 비용에 영향을 미칠 수 있다.
[0061] 하나 이상의 실시예들에서, 듀티 사이클의 이러한 감소는 단지 하나보다는, 2개의 핸드-헬드 제어기들(도시되지 않음)을 제공함으로써 전략적으로 활용될 수 있다. 예컨대, 사용자는 2개의 토템들 등을 요구하는 게임을 플레이중일 수 있다. 또는, 멀티-사용자 게임에서, 2명의 사용자들은 게임을 플레이하기 위해 그 자신의 토템들/핸드-헬드 제어기들을 가질 수 있다. 하나보다는, 2개의 제어기들(예컨대, 각각의 손마다 대칭적인 제어기들)이 사용될 때, 제어기들은 오프셋 듀티 사이클들로 동작할 수 있다. 동일한 개념은 또한, 예컨대, 멀티-플레이어 게임을 플레이하는 2명의 상이한 사용자들에 의해 활용되는 제어기들에 적용될 수 있다.
[0062] 이제 도 7을 참조하면, AR 디바이스들의 맥락에서 전자기 추적 시스템을 설명하는 예시적인 흐름도가 설명된다. 702에서, 휴대용(예컨대, 핸드-헬드) 제어기는 자기장을 방출한다. 704에서, 전자기 센서들(헤드셋, 벨트 팩 등에 배치됨)이 자기장을 검출한다. 706에서, 헤드셋/벨트의 포즈(예컨대, 포지션 또는 배향)는 센서들에 있는 코일들/IMU들의 거동에 기초하여 결정된다. 708에서, 포즈 정보는 (예컨대, 벨트 팩 또는 헤드셋에 있는) 컴퓨팅 장치로 전달된다. 710에서, 선택적으로, 맵핑 데이터베이스(예컨대, 통과 가능한 세계 모델)는 (예컨대, 헤드셋/벨트의 포즈에 대해 결정된) 실세계 좌표들을 가상 세계 좌표들과 상관시키기 위해 참고될 수 있다. 712에서, 가상 콘텐츠는 AR 헤드셋에서 사용자에게 전달되고 (예컨대, 본원에서 설명된 광 필드 디스플레이들을 통해) 사용자에게 디스플레이될 수 있다. 위에서 설명된 흐름도가 예시적인 목적들만을 위한 것이고, 제한하는 것으로 읽혀지지 않아야 하는 것이 인지되어야 한다.
[0063] 유리하게는, 도 6에서 약술된 것과 유사한 전자기 추적 시스템을 사용하는 것은 포즈 추적(예컨대, 머리 포지션 및 배향, 토템들의 포지션 및 배향, 및 다른 제어기들)을 가능하게 한다. 이는 AR 시스템이, 광학 추적 기술들과 비교할 때 더 높은 정도의 정확도, 및 매우 낮은 레이턴시로 (결정된 포즈에 적어도 부분적으로 기초하여) 가상 콘텐츠를 프로젝팅할 수 있게 한다.
[0064] 도 8을 참조하면, 다수의 감지 컴포넌트들을 특징으로 하는 시스템 구성이 예시된다. 머리 장착 웨어러블 컴포넌트(58)는 여기서, 제어 및 빠른 릴리즈 모듈(86)을 또한 특징으로 하는 물리적 멀티코어 리드를 사용하여 로컬 프로세싱 및 데이터 모듈(70), 이를테면 벨트 팩에 동작 가능하게 커플링(68)되는 것으로 도시된다. 로컬 프로세싱 및 데이터 모듈(70)은 여기서, 무선 연결, 이를테면 저전력 블루투스에 의해 핸드 헬드 컴포넌트(606)에 동작 가능하게 커플링(100)되고; 핸드 헬드 컴포넌트(606)는 또한 이를테면, 무선 연결, 이를테면, 저전력 블루투스에 의해 머리 장착 웨어러블 컴포넌트(58)에 직접 동작 가능하게 커플링(94)될 수 있다. 일반적으로, IMU 데이터가 다양한 컴포넌트들의 포즈 검출을 조정하기 위해 전달되는 경우, 이를테면 수백 또는 수천의 사이클들/초 이상의 범위의 고주파수 연결이 바람직하고; 초당 수십 사이클들은 이를테면, 센서(604) 및 송신기(602) 페어링들에 의한 전자기 로컬화 감지에 대해 충분할 수 있다. 또한, 벽(8)과 같은, 사용자 주위 실세계에 있는 고정된 객체들을 대표하는 글로벌 좌표계(10)가 도시된다.
[0065] 클라우드 자원들(46)은 또한, 로컬 프로세싱 및 데이터 모듈(70)에, 머리 장착 웨어러블 컴포넌트(58)에, 벽(8) 또는 글로벌 좌표계(10)에 대해 고정된 다른 아이템에 커플링될 수 있는 자원들에 각각 동작 가능하게 커플링(42, 40, 88, 90)될 수 있다. 벽(8)에 커플링되거나 또는 글로벌 좌표계(10)에 대해 알려진 포지션들 및/또는 배향들을 가진 자원들은 무선 트랜시버(114), 전자기 방출기(602) 및/또는 수신기(604), 주어진 유형의 방사선을 방출 또는 반사하도록 구성된 비콘 또는 반사기(112), 이를테면, 적외선 LED 비콘, 셀룰러 네트워크 트랜시버(110), RADAR 방출기 또는 검출기(108), LIDAR 방출기 또는 검출기(106), GPS 트랜시버(118), 알려진 검출 가능한 패턴(122)을 가진 포스터(poster) 또는 마커(marker), 및 카메라(124)를 포함할 수 있다.
[0066] 머리 장착 웨어러블 컴포넌트(58)는, 카메라(124) 검출기들을 보조하도록 구성된 광 방출기들(130), 이를테면, 적외선 카메라(124)용 적외선 방출기들(130) 외에도, 예시된 바와 같은 유사한 컴포넌트들을 특징으로 하고; 또한, 머리 장착 웨어러블 컴포넌트(58)는, 머리 장착 웨어러블 컴포넌트(58)의 프레임 또는 기계적 플랫폼에 고정적으로 커플링되고 컴포넌트들, 이를테면 전자기 수신기 센서들(604) 또는 디스플레이 엘리먼트들(62) 간의 그러한 플랫폼의 편향(deflection)을 결정하도록 구성될 수 있는 하나 이상의 스트레인 게이지(strain gauge)들(116)을 특징으로 하고, 여기서 이를테면, 플랫폼의 얇아진 부분, 이를테면 도 8에 도시된 안경형 플랫폼 상의 코 위의 부분에서 플랫폼의 벤딩(bending)이 발생하였는지를 이해하는 것은 중요할 수 있다.
[0067] 머리 장착 웨어러블 컴포넌트(58)는 또한 프로세서(128) 및 하나 이상의 IMU들(102)을 특징으로 한다. 컴포넌트들의 각각은 바람직하게는, 프로세서(128)에 동작 가능하게 커플링된다. 유사한 컴포넌트들을 특징으로 하는 핸드헬드 컴포넌트(606) 및 로컬 프로세싱 및 데이터 모듈(70)이 예시된다. 도 8에 도시된 바와 같이, 너무 많은 감지 및 연결성 수단에 의해, 그러한 시스템은 무겁고, 전력 과소비형이고, 크고 그리고 비교적 값비쌀 가능성이 높다. 그러나, 예시적인 목적들을 위해, 그러한 시스템은 매우 고레벨의 연결성, 시스템 컴포넌트 통합, 및 포지션/배향 추적을 제공하는 데 활용될 수 있다. 예컨대, 그러한 구성을 통해, 다양한 메인 모바일 컴포넌트들(58, 70, 606)은 WiFi, GPS 또는 셀룰러 신호 삼각측량을 사용하여 글로벌 좌표계에 대한 포지션의 관점에서 로컬화될 수 있고; 비콘들, (본원에서 설명된 바와 같은) 전자기 추적, RADAR 및 LIDAR 시스템들은 또 다른 위치 및/또는 배향 정보 및 피드백을 제공할 수 있다. 마커들 및 카메라들은 또한 상대적 및 절대적 포지션 및 배향에 관한 추가의 정보를 제공하는 데 활용될 수 있다. 예컨대, 다양한 카메라 컴포넌트들(124), 이를테면 머리 장착 웨어러블 컴포넌트(58)에 커플링된 것으로 도시된 것들은, 컴포넌트(58)가 어디에 있는지 그리고 그것이 다른 컴포넌트들에 대해 어떻게 배향되는지를 결정하기 위해, 동시성 로컬화 및 맵핑 프로토콜들, 즉 "SLAM"에 활용될 수 있는 데이터를 캡처하는 데 활용될 수 있다.
[0068] 머리 장착 웨어러블 컴포넌트(58) 및 그의 센서들의 다른 특징들 및 실시예들은 2017년 8월 22일 출원되고 발명의 명칭이 "AUGMENTED REALITY DISPLAY DEVICE WITH DEEP LEARNING SENSORS"인 미국 특허 출원 번호 제15/683,664호에서 설명되며, 이로써 이 특허의 전체 내용들은 인용에 의해 본원에 포함된다.
[0069] 본원에서 논의된 바와 같이, 머리 장착 웨어러블 AR/VR 시스템(58)은 3-차원 공간 내에서 시스템의 위치 및/또는 배향을 결정하기 위해 다양한 센서들을 포함할 수 있다. 예컨대, 자기 센서들 및 광학 센서들이 이러한 목적을 위해 사용될 수 있다. 적합한 자기 센서들은 방출기(602)로부터의 자기장들의 검출에 기초하여 AR/VR 시스템(58)의 위치 및/또는 배향을 결정하는 것을 돕는 데 사용될 수 있는, 위에서 논의된 자력계들, 이를테면, 전자기 센서들(604)을 포함할 수 있다. 다른 적합한 자기 센서는 지구의 자기장의 검출에 기초하여 AR/VR 시스템(58)의 위치 및/또는 배향을 결정하는 것을 도울 수 있는, IMU(102) 내의 내장된 자력계이다. 한편, 적합한 광학 센서들은, 예컨대, AR/VR 시스템(58) 및 다른 객체들 둘 모두의 위치 및/또는 배향을 결정하는 것을 돕기 위해 마찬가지로 사용될 수 있는 외향 가시광 또는 적외선 카메라들을 포함할 수 있다.
[0070] 웨어러블 AR/VR 시스템(58)이 시스템 그 자체의 포지션 및/또는 배향 또는 다른 객체의 포지션 및/또는 배향을 검출하기 위해 어쩌면 상이한 유형들의 다수의 센서들을 사용할 때, 다양한 센서들이 공통 정렬 방향을 공유하는 것이 유리할 수 있다(또는, 공통 정렬 방향이 아닌 경우, 정렬 방향들의 오프셋이 알려짐). 이는 센서들 중 하나에 의해 취해진 측정들이 일관된 방식으로 센서들 중 다른 하나에 의해 취해진 측정들과 결합되거나 비교되도록 허용한다. 그러나, 제조 공차들 또는 다른 팩터들이 다양한 센서들 사이의 미지의 오정렬들을 초래할 수 있고, 따라서 이들 센서들로부터의 측정들이 AR/VR 시스템(58) 그 자체의 포지션 및/또는 배향 또는 다른 객체의 포지션 및/또는 배향을 측정하는 데 사용될 때 정합 에러(registration error)들을 야기한다. AR/VR 시스템(58)의 다양한 자기 및/또는 광학 센서들 사이의 오정렬들은 본 개시내용에서 설명된 정렬 교정 시스템들 및 기술들을 사용함으로써 보상될 수 있다.
[0071] 도 9는 머리 장착 웨어러블 AR/VR 시스템(58)에서 자력계들의 정렬을 교정하기 위한 시스템(900)의 블록도이다. 교정 시스템(900)은 머리 장착 웨어러블 AR/VR 시스템(58) 및 그의 통합된 자력계들(950a, 950b) 주위에서 ― 크기 및/또는 방향에 있어서 ― 적절히 균일한 자기장을 생성하기 위한 자기장 생성 유닛(940)을 포함한다. 이 균일한 자기장은, 자기장에 노출될 때 자력계들(950a, 950b) 각각으로부터 출력된 크기 및/또는 방향 측정들 사이에 존재할 수 있는 임의의 차이들을 측정하거나 또는 다른 방식으로 특징지을 목적으로 사용될 수 있다. 자기장 생성 유닛(940)의 예들이 도 10a 내지 도 10c에 예시된다. 교정 시스템(900)은 또한, 정렬을 위해 교정되는 상이한 유형들의 자력계들(950a, 950b)에 기초하여 상이한 유형들의 자기장들을 생성하기 위해 자기장 생성 유닛(940)과 함께 사용될 수 있는, 제어기(910), 파형 생성기(920) 및 전기 드라이버(930)를 포함할 수 있다.
[0072] 도 10a는 도 9에 도시된 자기장 생성 유닛(940)의 제1 예시적인 실시예(940a)를 예시한다. 예시된 실시예에서, 자기장 생성 유닛(940a)은 제1 전도성 루프(302) 및 제2 전도성 루프(304)를 포함한다. 일부 실시예들에서, 전도성 루프들(302, 304)은 각각 다수의 권선(turn)들의 와이어의 코일들일 수 있다. 전도성 루프들(302, 304)은 원형, 정사각형이거나 다른 형상들을 가질 수 있다. 일부 실시예들에서, 2개의 전도성 루프들(302, 304)은 동일한 크기 및 형상을 갖지만, 이것이 반드시 요구되는 것은 아니다.
[0073] 도 10a는 제1 및 제2 전도성 루프들(302, 304)이 평행한 평면들로 배향되고 공통 축을 따라 이격되어 있는 것을 도시한다. 구체적으로, 전도성 루프들(302, 304) 각각은 x-y 평면과 평행한 평면으로 배향되고 수직 z-축에 중심이 맞추어진 것으로 도시된다. 전도성 루프들(302, 304)은 프레임에 의해 서로에 대해 적소에 지지될 수 있다. 프레임은 고정될 수 있거나, 또는 그것은 AR/VR 시스템(58)에 대해 상이한 배향들로 전도성 루프들을 재배향하도록 이동 가능할 수 있다. 대안적으로, 전도성 루프들은 AR/VR 시스템(58)에 직접 장착되거나 그렇지 않으면, 그와 통합될 수 있다. 이러한 구성은 자력계들(950a, 950b)의 보다 규칙적인 교정을 허용할 수 있다.
[0074] 예시된 실시예에서, 전도성 루프들(302, 304) 둘 모두는 공통 반경(R)을 갖는 원형이고, 이들은 전도성 루프들의 반경(R)에 대응하는 거리만큼 z-축을 따라 분리된다. (z-축을 따른 분리 거리는, 예컨대, 제1 전도성 루프(302) 상의 임의의 주어진 지점으로부터 제2 전도성 루프(304) 상의 유사한 지점까지 측정될 수 있음.) 각각의 전도성 루프(302, 304)는 동일한 권선 수를 갖는 와이어의 코일일 수 있다. 도 10a에 도시된 구성은 헬름홀츠(Helmholtz) 코일 구성이다.
[0075] 전도성 루프들(302, 304)은 제1 전도성 루프(302)를 통과하는 전류(I)가 동일한 방향으로 제2 전도성 루프(304)를 또한 통과하는 방식으로 직렬로 전기적으로 연결된다. 예컨대, 전도성 루프들(302, 304)이 각각 와이어의 코일들인 경우, 양 코일들은 전류(I)가 일관된 방향으로 전도성 루프들(302, 304) 둘 모두 주위에서 흐르도록 동일한 방향으로 감겨질 수 있다.
[0076] 전류(I)는 전기 드라이버(930)에 의해 제공될 수 있다. 전기 드라이버(930)는 예컨대, 파형 생성기(920)에 의해 생성된 전기 신호를 증폭하는 증폭기를 포함할 수 있다. 파형 생성기(920)는 제어기(910)로부터의 제어 입력에 기초하여 다양한 전기 파형들을 생성할 수 있는 것일 수 있다. 예컨대, 전기 파형들은 직류(DC) 전기 파형(즉, 일정한 파형) 및 다양한 교류(AC) 파형들(즉, 주기적이든 아니든 간에 시변 파형들)을 포함할 수 있다. 이들 상이한 전기 파형들 각각은 정렬을 위해 교정되는 자력계들(950a, 950b) 중 하나의 교정에 매우 적합한 자기장을 자기장 생성 유닛(940)에서 생성하는 데 사용되는 교정 파형일 수 있다. 제어기(910)는 교정 루틴들, 교정 파형들 등을 저장하기 위한 메모리를 포함하는 프로세싱 디바이스일 수 있다. 제어기(910)는 또한 교정 루틴들을 수행하기 위해 머리 장착 웨어러블 AR/VR 시스템(58)과 같은 디바이스 또는 사용자로부터의 커맨드들을 수신하기 위한 인터페이스를 포함할 수 있다. 제어기(910)는 또한 교정될 특정 자력계 모델들을 결정하기 위해 웨어러블 AR/VR 시스템(58)과 통신할 수 있다. 이 모델 정보에 기초하여, 제어기(910)는 자력계들 각각을 교정하는 동안 사용할 하나 이상의 전기 교정 파형들을 선택할 수 있다.
[0077] 2개의 전도성 루프들(302, 304)만이 도 10a에 도시된 실시예에서 예시되지만, 다른 실시예들은 상이한 수의 전도성 루프들을 포함할 수 있다. 예컨대, 도 10a 내지 도 10c에 도시된 헬름홀츠 코일 구성과 대조적으로, 전도성 루프들은 대안적으로 메리트(Merritt) 코일 구성 또는 루벤(Ruben) 코일 구성으로 배열될 수 있다. 이들 구성들 각각은 정사각형 형상의 전도성 루프들을 사용할 수 있다. 또한, 이들 구성들은 2개 초과의 전도성 코일들을 포함할 수 있다. 메리트 코일 구성에서, 3개 또는 4개의 정사각형 형상의 전도성 루프들이 제공될 수 있으며, 각각의 전도성 루프는 정사각형 형상의 코일의 한 측의 길이의 절반에 대응하는 거리만큼 축을 따라 인접 루프로부터 분리된다. 루벤 코일 구성에서, 제5 전도성 루프가 부가될 수 있고 루프들 사이에 상이한 분리 거리들이 사용될 수 있다. 전도성 루프들 사이의 간격들 및/또는 각각의 전도성 루프에 제공된 와이어의 권선 수의 비들은 당업계에 알려진 수학 공식들을 사용하여 결정될 수 있다. 상이한 코일 구성들이 자기장 생성 유닛(940)의 상이한 실시예들에서 사용될 수 있지만, 일반적으로 전도성 루프들의 구성은 당면한 애플리케이션에 대해 균일성이 충분한 자기장을 생성하도록 선택된다. 자기장 생성 유닛(940)의 소정의 실시예가 제공할 수 있는 것보다 더 균일한 자기장이 특정 애플리케이션에 대해 필요한 경우, 전도성 루프들의 크기를 증가시키는 것이 주어진 공간 볼륨 내에서 자기장 균일성이 개선되게 할 수 있다.
[0078] 도 10b는 도 10a에 도시된 전도성 루프 구성에 의해 생성된 자기장 라인들의 단면 개략도이다. 도면은 전도성 루프들(302, 304) 각각에 대한 최상부 섹션(점을 가짐) 및 하부 섹션("x"를 가짐)을 도시한다. 이러한 표시들은, 전류(I)가 전도성 루프들의 최상부 섹션들의 페이지를 빠져나와 전도성 루프들의 하부 섹션들의 페이지 내로 들어가는 방식으로 전류(I)가 제1 전도성 루프(302) 및 제2 전도성 루프(304) 둘 모두를 통과한다는 것을 예시한다. 이는 루프들 내부의 공간 볼륨(306)에 좌에서 우로의 자기장을 생성한다. 테스트 공간 볼륨(306) 내의 자기장은 크기 및 방향 둘 모두에서 균일하며, 따라서 그 공간에 로케이팅되는 AR/VR 시스템(56)의 자력계들(950a, 950b)을 사용하여 일관된 교정 측정들을 수행하는 것을 가능하게 한다.
[0079] 도 10a 및 도 10b에 도시된 전도성 루프들의 어레인지먼트는 테스트 볼륨(306) 내에서 단일 방향의 자기장을 생성한다. 그러나, AR/VR 시스템(58)의 자력계들(950a, 950b)은 다수의 방향들(예컨대, 3개의 직교 방향들)의 자기장들을 측정할 수 있는 다축 센서들일 수 있다. 따라서, 일부 실시예들에서, 자기장 생성 유닛(940)은 다축 센서들의 교정을 가능하게 하기 위해 하나 초과의 방향으로 균일한 자기장들을 생성하도록 설계될 수 있다.
[0080] 도 10c는 도 9에 도시된 자기장 생성 유닛(940)의 예시적인 다축 실시예(940b)를 예시한다. 다축 실시예(940b)는, 평행한 평면들로 배향되고 공통 제1 축(예컨대, x-축)을 따라 이격된 전도성 루프들의 제1 쌍(310)을 포함한다. 그것은 또한, 마찬가지로 평행한 평면들로 배향되고 공통 제2 축(예컨대, y-축)을 따라 이격되는 전도성 루프들의 제2 쌍(312) 및 평행한 평면들로 배향되고 공통 제3 축(예컨대, z-축)을 따라 이격되는 전도성 루프들의 제3 쌍(314)을 포함한다. 제1 축, 제2 축 및 제3 축은 모두 서로 직교한다. 루프들의 각각의 쌍(310, 312, 314)은 루프들의 쌍의 종축을 따라 그리고 루프들의 다른 쌍들에 의해 생성된 자기장들과 직교하는 방향으로 균일한 자기장을 생성한다. 도 10c은 원형 루프들이 루프들의 반경에 대응하는 거리만큼 이격되는 헬름홀츠 코일 구성으로 배열된 전도성 루프들의 각각의 쌍을 도시하지만, 다축 자기장 생성 유닛의 다른 실시예들은 균일한 자기장들을 생성하기 위해 전도성 루프들의 다른 구성들을 사용할 수 있다. 예시된 바와 같이, 자기장 생성 유닛(940)의 다축 실시예(940b)는 또한 다양한 전도성 루프들을 서로에 대해 제 포지션에 지지하기 위한 프레임을 포함할 수 있다.
[0081] 도 11은 제1 전도성 루프(302) 및 제2 전도성 루프(304)에 의해 생성된 균일한 자기장의 테스트 볼륨(306) 내에 포지셔닝되는 머리 장착 웨어러블 AR/VR 시스템(58)의 개략도이다. 일부 실시예들에서, 테스트 볼륨(306)은 적어도 약 30cm인 측들을 갖는 입방형 공간이지만, 다른 크기들이 다른 실시예들에서 사용될 수 있다. 예시된 AR/VR 시스템(58)은 2개의 자력계들을 포함한다. 이 실시예에서, 제1 유형의 자력계는 본원에서 설명된 전자기 센서(604)이다. 이미 논의된 바와 같이, 전자기 센서(604)는 코일들을 통과하는 자기장(들)에 대한 응답으로 전류를 유도적으로 생성하는 하나 이상의 코일들을 포함할 수 있다. 전류는 변하는 자기장에 대한 응답으로만 유도된다. 전자기 센서(604)는 유도된 전류(들)에 기초하여 자기장의 세기 및/또는 배향을 측정하기 때문에, 이러한 유형의 자력계는 변하는(시간적으로 변하든 또는 공간적으로 변하든) 자기장들을 측정한다. 따라서, 변하는 자기장은 자기장 생성 유닛(940)을 사용하여 이러한 유형의 자력계를 교정하기 위해 필요하다. 도 11의 예시된 AR/VR 시스템(58)은 또한 IMU(102)를 포함한다. IMU(102)는 지구의 로컬 자기장과 같은 정적 자기장을 측정할 수 있는 DC 자력계를 포함할 수 있다. 예컨대, IMU(102) 내의 자력계는 홀 효과 자력계일 수 있다. 따라서, 정적 자기장은 자기장 생성 유닛(940)을 사용하여 이러한 유형의 자력계를 교정하기 위해 필요할 수 있다. 다른 유형들의 자력계들은 이러한 자력계들의 교정이 다른 특성들을 갖는 자기장들로부터 이익을 얻을 수 있도록 상이한 성질들을 가질 수 있다. 교정 시스템(900)은 유리하게는, 다양한 유형들의 자력계들에 적합하도록 다양한 성질들을 갖는 자기장들을 생성할 수 있다.
[0082] 자기장 생성 유닛(940)의 테스트 볼륨(306) 내에서 웨어러블 AR/VR 시스템(58)을 지지하기 위한 마운트가 제공될 수 있다. 일부 실시예들에서, 마운트는 고정될 수 있는 반면, 다른 실시예들에서, 마운트는 테스트 볼륨(306) 내에서 웨어러블 AR/VR 시스템(58)을 재포지셔닝하도록 이동 가능할 수 있다(예컨대, 하나 이상의 모터들, 액추에이터들 등을 사용하여 전기-기계적으로 이동 가능함). 예컨대, 교정 동작은, 자력계들의 제1 측정 축이 일반적으로 자기장 생성 유닛(940)에 의해 생성된 자기장(들)과 정렬되도록 포지셔닝되는 웨어러블 AR/VR 시스템(58)으로 수행될 수 있다. 그 후, 웨어러블 AR/VR 시스템(58)은 자력계들의 제2 측정 축이 일반적으로 자기장(들)과 정렬되고 제2 교정 동작이 수행될 수 있도록 재포지셔닝될 수 있다. 이 절차는 자력계들의 각각의 측정 축에 대해 반복될 수 있다. 이러한 방식으로, 다축 자력계들은 단일 축 자기장 생성 유닛(940)으로도 교정될 수 있다. 이러한 실시예들에서, 이동 가능한 마운트의 배향은 제어기(910)에 의해 제어될 수 있다. 웨어러블 AR/VR 시스템(58)에 대해 (예컨대, 하나 이상의 모터들, 액추에이터들 등을 사용하여 이동 가능한 프레임으로) 자기장 생성 유닛(940)의 배향을 대신 이동시킴으로써 유사한 절차가 사용될 수 있다.
[0083] 도 12는 웨어러블 AR/VR 시스템(58)에서 2개의 상이한 유형들의 자력계들의 정렬을 교정하기 위한 예시적인 방법(1200)의 흐름도이다. 방법(1200)은, 제1 전기 교정 파형을 생성하기 위해 제어기(910)가 파형 생성기(920)에 커맨드를 발행하는 블록(1210)에서 시작한다. 제1 전기 교정 파형의 성질들(예컨대, 크기, 주파수 등)은 교정될 제1 유형의 자력계의 검출 성질들에 기초하여 선택될 수 있다. 예컨대, 제1 전기 교정 파형은 정렬이 교정되는 자력계에 대해 튜닝된 선택된 주파수를 갖는 주기적인 AC 전기 파형일 수 있다. 블록(1220)에서, 전기 드라이버(930)는 제1 전기 교정 파형에 대응하는 전류(I)로 자기장 생성 유닛(940)의 전도성 루프들을 통전시킨다. 제1 전기 교정 파형은 AC 파형이기 때문에, 시변 AC 자기장이 자기장 생성 유닛(940)에 의해 생성된다. 블록(1230)에서, 전도성 루프들이 통전되는 동안, 전자기 센서(604)와 같은 제1 유형의 자력계는 AC 자기장에 의해 전자기 센서(604)에 유도된 하나 이상의 전류들에 기초하여 생성된 자기장을 측정한다. 측정은 자기장 생성 유닛(940)에 의해 생성된 자기장의 세기 및/또는 방향으로 이루어질 수 있다. 그 후, 측정(들)은 AR/VR 시스템(58)의 메모리에 저장될 수 있다.
[0084] 방법(1200)의 블록(1240)에서, 제어기(910)는 제2 전기 교정 파형을 생성하기 위해 파형 생성기(920)에 커맨드를 발행한다. 제2 전기 교정 파형(예컨대, 크기, 주파수 등)의 성질들은 교정될 제2 유형의 자력계의 검출 성질들에 기초하여 선택될 수 있다. 예컨대, 제2 전기 교정 파형은 DC 전기 파형일 수 있다. 블록(1250)에서, 전기 드라이버(930)는 제2 전기 교정 파형에 대응하는 전류로 자기장 생성 유닛(940)의 전도성 루프들을 통전시킨다. 제2 전기 교정 파형은 DC 파형이기 때문에, 그것은 마찬가지로 DC 자기장을 생성한다. 블록(1260)에서, 전도성 루프들이 통전되는 동안, IMU(102)와 같은 제2 유형의 자력계가 생성된 자기장을 측정한다. 측정은 자기장 생성 유닛(940)에 의해 생성된 자기장의 세기 및/또는 방향으로 이루어질 수 있다. 이들 측정(들)은 마찬가지로 AR/VR 시스템(58)의 메모리에 저장될 수 있다. 일부 실시예들에서, IMU(102) ― 또는 다른 디바이스 ― 는 제2 전기 교정 파형을 사용하여 생성된 교정 자기장의 부재 시에 측정을 수행함으로써 지구의 로컬 자기장을 결정하는 데 사용될 수 있다. 지구의 로컬 자기장은 그 후 교정 자기장의 IMU의 측정으로부터 (예컨대, 벡터 감산에 의해) 제거될 수 있다. 대안적으로, 지구의 로컬 자기장의 측정은 ― IMU(102) 또는 별개의 디바이스에 의해 ― 이루어질 수 있으며, 자기장 생성 유닛(940)은, IMU(102)가 제2 전기 교정 파형을 사용하여 생성된 교정 자기장을 측정하는 동안 (예컨대, 크기가 동일하고 방향이 반대인 자기장을 생성함으로써) 지구의 로컬 자기장을 상쇄시키는 데 사용될 수 있다.
[0085] 이미 간략하게 논의된 바와 같이, 제1 및 제2 전기 교정 파형들은 제1 유형의 자력계 및 상이한 제2 유형의 자력계에 의해 직접 측정 가능한 각각의 자기장들을 생성하도록 제어기(910)에 의해 선택될 수 있다. 상이한 유형들의 자력계들은 상이한 물리적 원리들에 기초하여 기능하기 때문에, 상이한 자력계들은 독특한 성질들을 갖는 상이한 유형들의 자기장들을 검출할 수 있거나, 또는 상이한 유형들의 자기장들이 상이한 자력계들에 보다 적합해질 수 있다. 제1 교정 파형은 제2 교정 파형과 별개일 수 있으며, 제1 유형의 자력계에 의해 측정 가능하지만 제2 유형의 자력계에 의해 측정 가능하지 않거나 또는 제2 유형의 자력계보다는 제1 유형의 자력계에 의해 더 쉽게 측정 가능한 하나 이상의 성질들(예컨대, 크기, 주파수 등)을 가질 수 있다. 유사하게, 제2 교정 파형은 제1 교정 파형과 별개일 수 있으며, 제2 유형의 자력계에 의해 측정 가능하지만 제1 유형의 자력계에 의해 측정 가능하지 않거나 또는 제1 유형의 자력계 보단 제2 유형의 자력계에 의해 더 쉽게 측정 가능한 하나 이상의 성질들(예컨대, 크기, 주파수 등)을 가질 수 있다.
[0086] 자력계들(102, 604)을 교정하기 위해 사용되는 제1 및 제2 전기 교정 파형들이 상이한 성질들을 가질 수 있지만, 그럼에도 이들은 동일한 자기장 생성 유닛(940)에 의해 그리고 동일한 배향으로 생성된다. 따라서, 제1 및 제2 전기 교정 파형들 각각을 사용하여 생성된 자기장들의 정렬 방향은 물리적으로 서로 정합된다(registered). 따라서, 제1 및 제2 유형의 자력계들(102, 604)에 의해 생성된 측정들은 2개의 자력계들의 정렬 배향에서 임의의 차이(들)를 특징지을 수 있는 하나 이상의 교정/정정 값들을 생성하는 데 사용될 수 있다. 실제로, 하나 이상의 그러한 값들의 생성은 교정 방법(1200)의 블록(1270)에서 발생하는 것이다.
[0087] 블록(1270)에서, 제1 및 제2 유형의 자력계들(102, 604)로부터 획득된 측정(들)은 하나 이상의 교정/정정 값들을 생성하기 위해 (예컨대, 하나 이상의 수학 연산들을 사용하여) 비교된다. 이 계산은 예컨대, 웨어러블 AR/VR 시스템(58)에 의해 수행될 수 있다. 일 예로서, 제1 및 제2 유형의 자력계들(102, 604) 둘 모두는 각각의 인가된 자기장들의 방향의 측정들을 생성할 수 있다. 방향 측정들이 상이한 경우 방향 측정들 간의 (1 또는 그 이상의 차원들의) 오프셋 각도가 결정될 수 있다. 이 오프셋 각도는 그 후 웨어러블 AR/VR 시스템(58)이 사용중인 동안 자력계들(102, 604) 중 어느 하나 또는 둘 모두에 의해 생성된 측정들에 적용될 수 있는 하나 이상의 교정 값들을 특정하는 데 사용될 수 있다. 예컨대, 자력계들 중 하나에 의해 생성된 모든 측정들은, 데이터가 AR 시스템에 의해 사용되거나 다른 방식으로 작용되기 전에 오프셋 각도 또는 다른 교정/정정 값에 기초하여 조정될 수 있다.
[0088] 교정 방법(1200)은 자력계들(102, 604)의 각각의 측정 축에 대해 반복될 수 있다. 이미 논의된 바와 같이, 이는 자력계들(102, 604)의 각각의 측정 축에 대하여 다른 것에 대해 웨어러블 AR/VR 시스템(58) 또는 자기장 생성 유닛(940)을 재배향시킴으로써 달성될 수 있다. 대안적으로, 자기장 생성 유닛(940)의 다축 실시예(940b)가 사용되는 경우, 교정 방법은 전도성 루프 쌍들(310, 312, 314) 각각에 대해 간단히 수행될 수 있다. 동일한 전기 교정 파형이 각각의 측정 축에 대해 사용할 수 있거나, 또는 상이한 파형들이 상이한 측정 축들에 대해 사용될 수 있다. 또한, 각각의 자력계 또는 자력계들의 각각의 측정 축의 교정을 위해 생성되는 자기장들이 상이한 시간들에 인가될 수 있지만, 자기장들을 동시에 또는 부분적으로 중첩되는 시간들에 인가하는 것이 또한 가능할 수 있다. 예컨대, 하나의 자력계가 AC 자기장들만을 검출하고 다른 자력계가 DC 자기장들만을 검출하는 경우, 교정 프로세스의 속도를 높이도록 AC 자기장 및 DC 자기장 둘 모두를 동시에 인가하는 것이 가능할 수 있다.
[0089] 이미 논의된 바와 같이, 일부 실시예들에서, 자기 및 광학 센서들의 조합이 웨어러블 AR/VR 시스템(58)의 포지션 및/또는 방향을 결정하는 데 사용된다. 따라서, 도 13 내지 도 15는 자기 센서들 및 광학 센서들 둘 모두의 정렬 방향을 교정하기 위한 시스템들 및 방법들을 예시한다.
[0090] 도 13은 머리 장착 웨어러블 AR/VR 시스템(58)에서 자력계들 및 광학 센서들의 정렬을 교정하기 위한 시스템(1300)의 블록도이다. 도 9에 도시된 교정 시스템(900)과 같이, 도 13에 도시된 교정 시스템(1300)은 머리 장착 웨어러블 AR/VR 시스템(58) 및 그의 통합된 자력계(들)(950) 주위에서 균일한 자기장을 생성하도록 자기장 생성 유닛(1340)을 포함한다. 교정 시스템(1300)은 또한 제어기(910), 파형 생성기(920) 및 전기 드라이버(930)를 포함할 수 있다. 이러한 컴포넌트들 모두는 위에서 설명된 바와 같이 기능할 수 있다. 그러나, 자기장 생성 유닛(1340)은 또한 하나 이상의 광학 기준 마커들을 포함할 수 있다. 광학 기준 마커들은 자기장 생성 유닛(1340)에 의해 생성된 자기장에 대해 교정된 포지션(들) 및/또는 배향(들)을 가질 수 있다. 따라서, 자기 센서들(950) 및 광학 센서들(1360) 둘 모두는 이 시스템(1300)을 사용하여 교정될 수 있다.
[0091] 도 14는 광학 기준 마커들을 갖는 자기장 생성 유닛(1340)의 예시적인 실시예에 포지셔닝된 머리 장착 웨어러블 AR/VR 시스템(58)의 개략도이다. 예시된 바와 같이, 자기장 생성 유닛(1340)은 제1 전도성 루프(302) 및 제2 전도성 루프(304)를 포함할 수 있다. 이들 전도성 루프들(302, 304)은 본원에서 이미 논의된 바와 같이 웨어러블 AR/VR 시스템(58)과 통합된 자력계들(102, 604)에 의해 추후에 측정될 수 있는 하나 이상의 자기장들을 인가하는 데 사용될 수 있다.
[0092] 그러나, 자기장 생성 유닛(1340)은 또한 하나 이상의 광학 기준 마커들(316)을 포함할 수 있다. 광학 기준 마커들(316)은 카메라와 같은 광학 센서에 의해 인식 가능한 임의의 마크일 수 있다. 광학 기준 마커들(316)은 체커보드들 또는 아르코(Aruco) 마커들과 같은 평평한 특징들을 가질 수 있거나, 또는 이들은 텍스처 처리되거나, 또는 그렇지 않고 3-차원 특징들을 가질 수 있다. 광학 기준 마커들(316)은 정적 또는 동적(예컨대, 전자 디스플레이들에 의해 제시되는 변하는 마커들 등)일 수 있다. 일부 실시예들에서, 광학 기준 마커들(316)은 기판 재료 내로 에칭될 수 있거나, 또는 이들은 코팅들 또는 양극산화(anodizing)로 형성될 수 있다.
[0093] 광학 기준 마커들(316)은 프레임 또는 다른 지지 구조에 의해 지지될 수 있거나, 또는 기준 마커들(316)은 전도성 루프들(302, 304) 자체에 장착될 수 있다. 그러나 어느 경우든, 기준 마커(들)(316)의 공간적 관계(들)(예컨대, 위치 및/또는 배향)는 전도성 루프들(302, 304)의 축에 대해 정합될 수 있다. 기준 마커(들)(316)의 위치(들) 및/또는 배향(들)은 웨어러블 AR/VR 시스템(58)과 통합된 하나 이상의 광학 센서들(1360)에 의해 검출되고 측정될 수 있다. 일부 실시예들에서, 광학 센서들(1360)은 적외선 또는 가시광 카메라들(124)일 수 있다. 도 14에 예시된 구성은 자기 센서들(102, 604)이 알려진 방식으로 광학 센서들(124)과 정렬되는 것을 보장하는 기회를 제공한다.
[0094] 도 15는 웨어러블 AR/VR 시스템(58)에서 자기 센서들 및 광학 센서들의 정렬을 교정하기 위한 예시적인 방법(1500)의 흐름도이다. 방법(1500)은, 전기 교정 파형을 생성하기 위해 제어기(910)가 파형 생성기(920)에 커맨드를 발행하는 블록(1510)에서 시작한다. 블록(1520)에서, 전기 드라이버(930)는 전기 교정 파형에 대응하는 전류(I)로 자기장 생성 유닛(1340)의 전도성 루프들(302, 304)을 통전시킨다. 블록(1530)에서, 전도성 루프들이 통전되는 동안, 자력계(예컨대, 전자기 센서(604) 또는 IMU(102))는 자기장 생성 유닛(1340)에 의해 생성된 자기장의 크기 및/또는 방향을 측정한다. 그 후, 측정(들)은 AR/VR 시스템(58)의 메모리에 저장될 수 있다.
[0095] 블록(1540)에서, 웨어러블 AR/VR 시스템(58)의 광학 센서들(예컨대, 카메라들(124)) 중 하나 이상은 광학 기준 마커(들)(316)의 포지션(들) 및/또는 배향(들)의 측정들을 수행한다. 이 정보는 카메라 외부 교정 알고리즘들을 사용하여 각각의 광학 센서의 정렬 방향을 결정하는 데 사용할 수 있다. 그 후, 이들 측정들은 마찬가지로 AR/VR 시스템(58)의 메모리에 저장될 수 있다. 광학 센서들에 의한 측정들은, 자기장 측정들이 자력계들에 의해 수행되기 이전에, 그 중간에, 또는 그 후에 수행될 수 있다.
[0096] 그 후, 블록(1550)에서, 자력계들(예컨대, 102, 604)로부터 획득된 측정(들)은 하나 이상의 교정 정정 값들을 생성하기 위해 (예컨대, 하나 이상의 수학 연산들을 사용하여) 광학 센서(1360)로부터 획득된 것들에 대해 비교될 수 있다. 이 계산은 예컨대, 웨어러블 AR/VR 시스템(58)에 의해 수행될 수 있다. 일 예로서, 자력계(예컨대, 102, 604)는 인가된 자기장의 방향의 측정들을 생성할 수 있다. 이러한 측정들은 자력계의 정렬 방향의 표시에 대응할 수 있다. 한편, 광학 센서(1360)는 광학 기준 마커들(316)에 대한 그의 검출된 공간 관계에 기초하여 그의 정렬 방향의 측정들을 생성할 수 있다. 방향 측정들이 상이한 경우 방향 측정들 간의(1 또는 그 이상의 차원들의) 오프셋 각도가 결정될 수 있다. 이 오프셋 각도는 그 후 웨어러블 AR/VR 시스템(58)이 사용중인 동안 자력계 및 광학 센서 중 어느 하나 또는 둘 모두에 의해 생성된 측정들에 적용될 수 있는 하나 이상의 교정 정정 값들을 특정하는 데 사용될 수 있다. 예컨대, 자력계 및/또는 광학 센서에 의해 생성된 모든 측정들은, 데이터가 AR/VR 시스템에 의해 사용되거나 다른 방식으로 작용되기 전에 오프셋 각도 또는 다른 교정 정정 값에 기초하여 조정될 수 있다.
[0097] 공장 교정 세팅에서, 본원에서 설명된 것들과 같은 복수의 교정 시스템들(예컨대, 900, 1300)은 서로 인접하여 로케이팅될 수 있다. 교정 시스템들의 동작은 인접한 시스템들이 인접한 시스템의 판독들을 방해할 자기장들을 생성하지 않도록 타이밍이 정해질 수 있다. 일부 실시예들에서, 일 그룹의 교정 시스템들은 시간 순차적일 수 있는 반면, 다른 실시예들에서, 하나 걸러 하나의 교정 스테이션, 두개 걸러 하나 또는 3개 걸러 하나 등이 기능적 분리를 제공하도록 동시에 동작될 수 있다.
부가적인 고려사항들
[0098] 본원에서 설명되고 그리고/또는 첨부 도면들에 도시되는 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 애플리케이션-특정 회로 및/또는 특유 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행 가능 프로그램으로 컴파일되어 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅된 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정한 동작들 및 방법들은, 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0099] 추가로, 본 개시내용의 기능성의 소정의 구현들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행 가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은 예컨대, 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성들을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 다수의 프레임들(각각의 프레임은 수백만개의 픽셀들을 가짐)을 포함할 수 있고, 상업적으로 합리적인 시간량 내에 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해, 특별히 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0100] 코드 모듈들 또는 임의의 유형의 데이터는, 임의의 유형의 비-일시적인 컴퓨터-판독 가능 매체, 이를테면, 하드 드라이브들, 솔리드 스테이트 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장소, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장소 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독 가능 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 유형의 비-일시적인 유형의(tangible) 컴퓨터 저장소에 지속적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독 가능 송신 매체를 통해 통신될 수 있다.
[0101] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시되는 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 이상의 실행 가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 제거되거나, 수정되거나, 또는 다른 방식으로 변할 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 그에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대, 직렬로, 병렬로 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 그로부터 제거될 수 있다. 또한, 본원에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 다수의 구현 변동들이 가능하다.
[0102] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은, 전사적(enterprise-wide) 컴퓨터 네트워크들, 인트라넷들, LAN(Local Area Network)들, WAN(Wide Area Network)들, PAN(Personal Area Network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 유형의 통신 네트워크일 수 있다.
[0103] 본 발명은, 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은, 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 최종 사용자에 의해 수행될 수 있다. 즉, "제공하는" 동작은 단지, 최종 사용자가 본 방법에서 필수적인 디바이스를 제공하도록 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 파워-업 또는 그렇지 않으면 동작해야 하는 것을 요구한다. 본원에서 인용된 방법들은, 논리적으로 가능한 임의의 순서의 인용된 이벤트들 뿐만 아니라 인용된 순서의 이벤트들로 수행될 수 있다.
[0104] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 전적으로 담당하거나 이를 위해 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다. 본 개시내용에서 설명된 구현들에 대한 다양한 수정들은 당업자들에게 자명할 수 있으며, 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 도시된 구현들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.
[0105] 별개의 구현들의 맥락에서 본 명세서에 설명된 소정의 특징들은 또한, 단일 구현으로 조합하여 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한, 별개로 다수의 구현들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 더욱이, 특징들이 소정의 조합들로 작용하는 것으로 위에서 설명되고 심지어 초기에 이와 같이 청구될 수 있지만, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 특징들은 그 조합으로부터 제거될 수 있고, 청구된 조합은 서브조합 또는 서브조합의 변동에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0106] 구체적으로 달리 언급되지 않거나 또는 사용된 맥락 내에서 달리 이해되지 않으면, 본원에서 사용된 조건어, 이를테면, 다른 것들 중에서도, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 소정의 실시예들이 소정의 특징들, 엘리먼트들, 및/또는 단계들을 포함하지만 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들, 및/또는 단계들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅(prompting)을 이용하거나 또는 그러한 것을 이용함이 없이, 이들 특징들, 엘리먼트들, 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예들에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하도록 의도되진 않는다. "포함하는 (comprising, including), "갖는 (having)" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 부가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아니라) 그의 포괄적인 의미로 사용되어서, 예컨대, 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미한다. 또한, 본 명세서 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현은 달리 특정되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구항 유효성을 유지하면서 일반적으로 이해되는 의미로 가능한 한 넓게 제공되어야 한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것에 추가로 주의한다.
[0107] 본원에서 사용된 바와 같이, 리스트의 아이템들 "중 적어도 하나"를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A; B; C; A와 B; A와 C; B와 C; 그리고 A와 B와 C를 커버하는 것으로 의도된다. 특정하게 다르게 언급되지 않으면, 구문 "X, Y 또는 Z 중 적어도 하나"와 같은 접속어는, 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 따라서, 이러한 접속어는 일반적으로, 소정의 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하는 것으로 의도되지 않는다.
[0108] 유사하게, 동작들이 특정한 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행될 필요가 없거나, 모든 예시된 동작들이 수행될 필요가 없다는 것이 인지될 것이다. 추가로, 도면들은 흐름도의 형태로 둘 이상의 예시적인 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 부가적인 동작들은, 예시된 동작들 중 임의의 동작 이전, 이후, 그들과 동시에, 또는 그들 사이에서 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재순서화될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 열거된 액션들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.
Claims (28)
- VR(virtual reality) 또는 AR(augmented reality) 디스플레이 디바이스에서 2개 이상의 자기 센서들의 정렬을 교정(calibrating)하기 위한 시스템으로서,
제어기;
상기 제어기의 제어 하에서 제1 교정 파형 및 제2 교정 파형을 생성하도록 구성된 파형 생성기;
제1 전도성 루프 ― 상기 제1 전도성 루프는 상기 제1 전도성 루프를 통과하는 제1 축에 직교하는 제1 평면으로 배향됨 ― ;
상기 제1 평면에 평행한 제2 평면으로 배향되고 상기 제1 축을 따라 상기 제1 전도성 루프로부터 이격되는 제2 전도성 루프; 및
상기 제1 교정 파형 및 상기 제2 교정 파형을 수신하고, 대응하는 제1 전기 출력 전류 및 제2 전기 출력 전류를 생성하고, 상기 제1 전기 출력 전류 및 상기 제2 전기 출력 전류를 상기 제1 전도성 루프 및 상기 제2 전도성 루프에 제공하기 위해, 상기 파형 생성기에 연결된 전기 드라이버를 포함하고,
상기 제어기는 상기 파형 생성기로 하여금, 상기 디스플레이 디바이스의 제1 유형의 자기 센서를 교정하기 위해 상기 제1 교정 파형을 생성하게 하고, 상기 디스플레이 디바이스의 제2 유형의 자기 센서를 교정하기 위해 상기 제2 교정 파형을 생성하게 하도록 구성되고, 그리고
상기 시스템은 상기 제1 유형의 자기 센서에 의해 취해진 제1 측정과 상기 제2 유형의 자기 센서에 의해 취해진 제2 측정을 비교하여, 상기 VR 또는 AR 디스플레이 디바이스에서 상기 제2 유형의 자기 센서에 대한 상기 제1 유형의 자기 센서의 정렬 배향의 차이를 특징짓기 위한 정정 값을 결정하도록 추가로 구성되는,
시스템. - 제1항에 있어서,
상기 제어기는, 교정될 자기 센서들을 식별하고 상기 자기 센서들의 식별에 기초하여 상기 제1 교정 파형 및 상기 제2 교정 파형을 선택하기 위해, 상기 디스플레이 디바이스와 통신하도록 구성되는,
시스템. - 제1항에 있어서,
상기 제1 유형의 자기 센서는 유도성 자력계를 포함하고, 상기 제1 교정 파형은 교류 파형을 포함하는,
시스템. - 제1항에 있어서,
상기 제2 유형의 자기 센서는 정적 자기장(static magnetic field) 자력계를 포함하고, 상기 제2 교정 파형은 직류 파형을 포함하는,
시스템. - 제1항에 있어서,
상기 제1 전도성 루프 및 상기 제2 전도성 루프는, 상기 제1 전기 출력 전류 및 상기 제2 전기 출력 전류가 각각 상기 제1 전도성 루프 및 상기 제2 전도성 루프 둘 모두 주위에서 동일한 방향으로 이동하도록 상기 전기 드라이버에 연결되는,
시스템. - 제1항에 있어서,
상기 제1 전도성 루프 및 상기 제2 전도성 루프는 동일한 형상을 갖는,
시스템. - 제1항에 있어서,
상기 제1 전도성 루프 및 상기 제2 전도성 루프는 동일한 크기를 갖는,
시스템. - 제7항에 있어서,
상기 제1 전도성 루프 및 상기 제2 전도성 루프는 원형이고 반경을 가지며, 상기 제1 전도성 루프 및 상기 제2 전도성 루프는 상기 반경에 대응하는 거리만큼 상기 제1 축을 따라 이격되는,
시스템. - 제1항에 있어서,
상기 디스플레이 디바이스에 부착되고 상기 제1 전도성 루프 및 상기 제2 전도성 루프에 대해 제1의 미리 결정된 공간적 관계로 상기 디스플레이 디바이스를 지지하도록 구성된 마운트(mount)를 더 포함하는,
시스템. - 제9항에 있어서,
상기 마운트에 연결되고 상기 제1 전도성 루프 및 상기 제2 전도성 루프에 대한 제2의 미리 결정된 공간적 관계로 상기 디스플레이 디바이스를 이동시키도록 구성된 액추에이터(actuator)를 더 포함하는,
시스템. - 제1항에 있어서,
제3 전도성 루프 ― 상기 제3 전도성 루프는 상기 제3 전도성 루프를 통과하는 제2 축에 직교하는 제3 평면으로 배향되며, 상기 제2 축은 상기 제1 축에 직교함 ―;
상기 제3 평면에 평행한 제4 평면으로 배향되고 상기 제2 축을 따라 상기 제3 전도성 루프로부터 이격되는 제4 전도성 루프를 더 포함하는,
시스템. - 제11항에 있어서,
제5 전도성 루프 ― 상기 제5 전도성 루프는 상기 제5 전도성 루프를 통과하는 제3 축에 직교하는 제5 평면으로 배향되며, 상기 제3 축은 상기 제1 축 및 상기 제2 축에 직교함 ―;
프레임에 의해 지지되고 상기 제5 평면에 평행한 제6 평면으로 배향되고 상기 제3 축을 따라 상기 제5 전도성 루프로부터 이격되는 제6 전도성 루프를 더 포함하는,
시스템. - 제1항에 있어서,
상기 시스템은 추가로, 광학 센서의 정렬을 교정하도록 구성되고, 상기 시스템은 상기 제1 전도성 루프 및 상기 제2 전도성 루프에 대해 미리 결정된 공간적 관계로 배향된 하나 이상의 광학 기준 마커(optical fiducial marker)들을 더 포함하는,
시스템. - 제13항에 있어서,
상기 광학 센서는 카메라를 포함하는,
시스템. - 제13항에 있어서,
상기 하나 이상의 광학 기준 마커들은 2-차원 또는 3-차원 특징들을 포함하는,
시스템. - 삭제
- 삭제
- 삭제
- VR(virtual reality) 또는 AR(augmented reality) 디스플레이 디바이스에서 2개 이상의 자기 센서들의 정렬을 교정하기 위한 방법으로서,
제1 교정 파형을 생성하는 단계;
상기 제1 교정 파형으로, 제1 전도성 루프 ― 상기 제1 전도성 루프는 상기 제1 전도성 루프를 통과하는 제1 축에 직교하는 제1 평면으로 배향됨 ― 및 상기 제1 평면에 평행한 제2 평면으로 배향되고 상기 제1 축을 따라 상기 제1 전도성 루프로부터 이격되는 제2 전도성 루프를 통전(energizing)시키는 단계;
상기 디스플레이 디바이스의 제1 유형의 자기 센서를 사용하여, 상기 제1 교정 파형으로 통전될 때 상기 제1 전도성 루프 및 상기 제2 전도성 루프에 의해 생성된 자기장의 배향을 나타내는 제1 측정을 결정하는 단계;
제2 교정 파형을 생성하는 단계;
상기 제2 교정 파형으로 상기 제1 전도성 루프 및 상기 제2 전도성 루프를 통전시키는 단계;
상기 디스플레이 디바이스의 제2 유형의 자기 센서를 사용하여, 상기 제2 교정 파형으로 통전될 때 상기 제1 전도성 루프 및 상기 제2 전도성 루프에 의해 생성된 자기장의 배향을 나타내는 제2 측정을 결정하는 단계; 및
상기 제1 측정을 상기 제2 측정과 비교하여, 상기 VR 또는 AR 디스플레이 디바이스에서 상기 제2 유형의 자기 센서에 대한 상기 제1 유형의 자기 센서의 정렬 배향의 차이를 특징짓기 위한 제1 정정 값을 결정하는 단계를 포함하는,
방법. - 삭제
- 제19항에 있어서,
상기 디스플레이 디바이스의 메모리에 상기 제1 정정 값을 저장하는 단계를 더 포함하는,
방법. - 제21항에 있어서,
상기 디스플레이 디바이스의 메모리에 상기 제1 정정 값을 저장한 후에, 상기 디스플레이 디바이스를 사용하여 애플리케이션을 실행하는 동안 상기 제1 정정 값에 기초하여 상기 제1 유형의 자기 센서 또는 상기 제2 유형의 자기 센서로부터의 판독들을 수정하는 단계를 더 포함하는,
방법. - 제19항에 있어서,
상기 디스플레이 디바이스의 광학 센서로, 상기 제1 전도성 루프 및 상기 제2 전도성 루프에 대한 광학 기준 마커의 공간적 관계를 나타내는 제3 측정을 결정하는 단계; 및
상기 제1 측정 또는 상기 제2 측정을 상기 제3 측정과 비교하는 단계를 더 포함하는,
방법. - 제23항에 있어서,
상기 제3 측정을 결정하는 단계는 상기 광학 기준 마커의 포지션 또는 배향을 결정하는 단계를 포함하는,
방법. - 제23항에 있어서,
상기 제3 측정을 결정하는 단계 이후에, 상기 제3 측정에 기초하여 상기 광학 센서의 정렬 방향을 나타내는 값을 결정하는 단계를 더 포함하는,
방법. - 제23항에 있어서,
상기 제1 측정 또는 상기 제2 측정과 상기 제3 측정의 비교에 기초하여 제2 정정 값을 결정하는 단계를 더 포함하는,
방법. - 제26항에 있어서,
상기 디스플레이 디바이스의 메모리에 상기 제2 정정 값을 저장하는 단계를 더 포함하는,
방법. - 제27항에 있어서,
상기 디스플레이 디바이스의 메모리에 상기 제2 정정 값을 저장한 후에, 상기 디스플레이 디바이스를 사용하여 애플리케이션을 실행하는 동안 상기 제2 정정 값에 기초하여 상기 제1 유형의 자기 센서 또는 상기 제2 유형의 자기 센서 또는 상기 광학 센서로부터의 판독들을 수정하는 단계를 더 포함하는,
방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020227002995A KR102626257B1 (ko) | 2016-09-26 | 2017-09-25 | 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662400079P | 2016-09-26 | 2016-09-26 | |
| US62/400,079 | 2016-09-26 | ||
| PCT/US2017/053306 WO2018058063A1 (en) | 2016-09-26 | 2017-09-25 | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227002995A Division KR102626257B1 (ko) | 2016-09-26 | 2017-09-25 | 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190057325A KR20190057325A (ko) | 2019-05-28 |
| KR102357876B1 true KR102357876B1 (ko) | 2022-01-28 |
Family
ID=61686058
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197010050A KR102357876B1 (ko) | 2016-09-26 | 2017-09-25 | 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 |
| KR1020247001381A KR20240011881A (ko) | 2016-09-26 | 2017-09-25 | 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 |
| KR1020227002995A KR102626257B1 (ko) | 2016-09-26 | 2017-09-25 | 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247001381A KR20240011881A (ko) | 2016-09-26 | 2017-09-25 | 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 |
| KR1020227002995A KR102626257B1 (ko) | 2016-09-26 | 2017-09-25 | 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 |
Country Status (9)
| Country | Link |
|---|---|
| US (3) | US10534043B2 (ko) |
| EP (1) | EP3516485A4 (ko) |
| JP (2) | JP6948387B2 (ko) |
| KR (3) | KR102357876B1 (ko) |
| CN (2) | CN109791435B (ko) |
| AU (2) | AU2017330454B2 (ko) |
| CA (1) | CA3036709A1 (ko) |
| IL (1) | IL265498A (ko) |
| WO (1) | WO2018058063A1 (ko) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| JP6948387B2 (ja) | 2016-09-26 | 2021-10-13 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正 |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| US11506745B2 (en) * | 2017-06-01 | 2022-11-22 | Terranet Ab | Vehicular self-positioning |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| KR20230152180A (ko) | 2017-12-10 | 2023-11-02 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
| CA3086206A1 (en) | 2017-12-20 | 2019-06-27 | Magic Leap, Inc. | Insert for augmented reality viewing device |
| CA3030247A1 (en) * | 2018-01-19 | 2019-07-19 | Ascension Technology Corporation | Calibrating a magnetic sensor |
| CA3030409A1 (en) * | 2018-01-19 | 2019-07-19 | Ascension Technology Corporation | Calibrating a magnetic transmitter |
| US10516929B2 (en) * | 2018-03-06 | 2019-12-24 | Bose Corporation | Audio device |
| US10755676B2 (en) | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| US10902680B2 (en) * | 2018-04-03 | 2021-01-26 | Saeed Eslami | Augmented reality application system and method |
| US10916066B2 (en) * | 2018-04-20 | 2021-02-09 | Edx Technologies, Inc. | Methods of virtual model modification |
| US11204491B2 (en) | 2018-05-30 | 2021-12-21 | Magic Leap, Inc. | Compact variable focus configurations |
| US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
| JP7369147B2 (ja) | 2018-06-05 | 2023-10-25 | マジック リープ， インコーポレイテッド | 視認システムのホモグラフィ変換行列ベースの温度較正 |
| WO2019237099A1 (en) | 2018-06-08 | 2019-12-12 | Magic Leap, Inc. | Augmented reality viewer with automated surface selection placement and content orientation placement |
| US11087538B2 (en) * | 2018-06-26 | 2021-08-10 | Lenovo (Singapore) Pte. Ltd. | Presentation of augmented reality images at display locations that do not obstruct user's view |
| US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
| US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
| US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| US11393170B2 (en) | 2018-08-21 | 2022-07-19 | Lenovo (Singapore) Pte. Ltd. | Presentation of content based on attention center of user |
| US10991139B2 (en) | 2018-08-30 | 2021-04-27 | Lenovo (Singapore) Pte. Ltd. | Presentation of graphical object(s) on display to avoid overlay on another item |
| US10937191B2 (en) * | 2018-10-23 | 2021-03-02 | Dell Products, Lp | Predictive simultaneous localization and mapping system using prior user session positional information |
| JP7472127B2 (ja) | 2018-11-16 | 2024-04-22 | マジック リープ， インコーポレイテッド | 画像鮮明度を維持するための画像サイズによってトリガされる明確化 |
| DE112020000394T5 (de) | 2019-01-11 | 2021-09-23 | Kanazawa Institute Of Technology | Magnetfeld-kalibrierungsvorrichtung und verfahren zur kalibrierung einer magnetismus-messvorrichtung mit dieser vorrichtung |
| EP4369151A2 (en) | 2019-02-06 | 2024-05-15 | Magic Leap, Inc. | Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors |
| US10932027B2 (en) | 2019-03-03 | 2021-02-23 | Bose Corporation | Wearable audio device with docking or parking magnet having different magnetic flux on opposing sides of the magnet |
| JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ， インコーポレイテッド | 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
| US11067644B2 (en) | 2019-03-14 | 2021-07-20 | Bose Corporation | Wearable audio device with nulling magnet |
| US11061081B2 (en) | 2019-03-21 | 2021-07-13 | Bose Corporation | Wearable audio device |
| US11076214B2 (en) | 2019-03-21 | 2021-07-27 | Bose Corporation | Wearable audio device |
| DE102020110212A1 (de) * | 2019-04-16 | 2020-10-22 | Ascension Technology Corporation | Positions- und Orientierungsbestimmung mit einer Helmholtz-Vorrichtung |
| EP3963565A4 (en) | 2019-05-01 | 2022-10-12 | Magic Leap, Inc. | CONTENT DELIVERY SYSTEM AND PROCEDURES |
| US11272282B2 (en) | 2019-05-30 | 2022-03-08 | Bose Corporation | Wearable audio device |
| CN110427104B (zh) * | 2019-07-11 | 2022-11-04 | 成都思悟革科技有限公司 | 一种手指运动轨迹校准系统及方法 |
| US11367368B2 (en) * | 2019-07-12 | 2022-06-21 | Universal City Studios Llc | Electronic display with deformable surface |
| WO2021021670A1 (en) | 2019-07-26 | 2021-02-04 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP4058979A4 (en) | 2019-11-15 | 2023-01-11 | Magic Leap, Inc. | VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT |
| CN115104078A (zh) * | 2020-03-24 | 2022-09-23 | Oppo广东移动通信有限公司 | 用于增强型远程协作的系统和方法 |
| CN111475019A (zh) * | 2020-03-30 | 2020-07-31 | 广州幻境科技有限公司 | 一种虚拟现实的手势交互系统和方法 |
| TWI758950B (zh) * | 2020-11-13 | 2022-03-21 | 大陸商昆山瑞創芯電子有限公司 | 應用於顯示面板的校準方法及校準裝置 |
| CN114527864B (zh) * | 2020-11-19 | 2024-03-15 | 京东方科技集团股份有限公司 | 增强现实文字显示系统、方法、设备及介质 |
| GB2608186A (en) * | 2021-06-25 | 2022-12-28 | Thermoteknix Systems Ltd | Augmented reality system |
| US11797127B1 (en) * | 2021-11-16 | 2023-10-24 | Alken Inc. | Hybrid tracking with auto-correction |
| US11822736B1 (en) | 2022-05-18 | 2023-11-21 | Google Llc | Passive-accessory mediated gesture interaction with a head-mounted device |
| KR102613926B1 (ko) * | 2023-07-12 | 2023-12-14 | (주)위플로 | 비행체용 캘리브레이션 장치 및 이를 구비한 비행체용스테이션 장치 |
| KR102612741B1 (ko) * | 2023-08-10 | 2023-12-13 | (주)위플로 | 비행체용 스테이션을 이용하여 비행체 내의 항법 센서를캘리브레이션 하는 제어 장치 및 그 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160259404A1 (en) * | 2015-03-05 | 2016-09-08 | Magic Leap, Inc. | Systems and methods for augmented reality |
Family Cites Families (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4109199A (en) * | 1977-10-17 | 1978-08-22 | The United States Of America As Represented By The Secretary Of The Navy | Three axis magnetometer calibration checking method and apparatus |
| US4843865A (en) * | 1988-02-29 | 1989-07-04 | Digicourse, Inc. | Method of calibrating a compass heading |
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5373857A (en) * | 1993-06-18 | 1994-12-20 | Forte Technologies, Inc. | Head tracking apparatus |
| JPH0712906A (ja) * | 1993-06-22 | 1995-01-17 | Hitachi Ltd | 磁界測定装置の校正用コイル |
| US5558091A (en) * | 1993-10-06 | 1996-09-24 | Biosense, Inc. | Magnetic determination of position and orientation |
| JPH0916921A (ja) * | 1995-06-29 | 1997-01-17 | Fujitsu Ltd | 磁気抵抗素子の試験装置及びその試験方法 |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| JPH1144538A (ja) * | 1997-07-25 | 1999-02-16 | Tokin Corp | 地磁気の検出方法 |
| JPH1152036A (ja) * | 1997-08-04 | 1999-02-26 | Murata Mfg Co Ltd | 磁界検出素子の感度校正方法およびその感度校正方法を用いる磁界検出素子の感度校正装置 |
| US6073043A (en) * | 1997-12-22 | 2000-06-06 | Cormedica Corporation | Measuring position and orientation using magnetic fields |
| US6538617B2 (en) | 2000-02-08 | 2003-03-25 | Concorde Microsystems, Inc. | Two-axis, single output magnetic field sensing antenna |
| JP3631151B2 (ja) * | 2000-11-30 | 2005-03-23 | キヤノン株式会社 | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 |
| JP2002365350A (ja) * | 2001-06-06 | 2002-12-18 | Fuji Electric Co Ltd | 磁気検出装置 |
| IL165314A (en) * | 2004-11-21 | 2009-08-03 | Elbit Ltd | Electromagnetic tracker |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8825426B2 (en) | 2010-04-09 | 2014-09-02 | CSR Technology Holdings Inc. | Method and apparatus for calibrating a magnetic sensor |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| JP2013036941A (ja) * | 2011-08-10 | 2013-02-21 | Yamaha Corp | 磁気センサの検査装置及び検査方法 |
| US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| AU2012348348B2 (en) | 2011-10-28 | 2017-03-30 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| CN104067316B (zh) | 2011-11-23 | 2017-10-27 | 奇跃公司 | 三维虚拟和增强现实显示系统 |
| EP2634802A1 (en) * | 2012-02-29 | 2013-09-04 | BlackBerry Limited | Single package imaging and inertial navigation sensors, and methods of manufacturing the same |
| KR102223290B1 (ko) | 2012-04-05 | 2021-03-04 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| NZ702897A (en) | 2012-06-11 | 2017-03-31 | Magic Leap Inc | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
| US9767712B2 (en) * | 2012-07-10 | 2017-09-19 | Lincoln Global, Inc. | Virtual reality pipe welding simulator and setup |
| US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
| RU2634080C2 (ru) * | 2012-10-12 | 2017-10-23 | Геотек Лтд. | Калиброванная система для электромагнитной съемки |
| US20140168264A1 (en) * | 2012-12-19 | 2014-06-19 | Lockheed Martin Corporation | System, method and computer program product for real-time alignment of an augmented reality device |
| NZ710096A (en) | 2013-01-15 | 2018-11-30 | Magic Leap Inc | Ultra-high resolution scanning fiber display |
| KR102387314B1 (ko) | 2013-03-11 | 2022-04-14 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| CN105229719B (zh) | 2013-03-15 | 2018-04-27 | 奇跃公司 | 显示系统和方法 |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9400164B2 (en) * | 2013-07-22 | 2016-07-26 | Allegro Microsystems, Llc | Magnetic field sensor and related techniques that provide an angle correction module |
| KR20230098359A (ko) | 2013-10-16 | 2023-07-03 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
| KR102378457B1 (ko) | 2013-11-27 | 2022-03-23 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| CA2938264C (en) | 2014-01-31 | 2020-09-22 | Magic Leap, Inc. | Multi-focal display system and method |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| AU2015201655B2 (en) * | 2014-04-07 | 2020-01-02 | Xcalibur Mph Switzerland Sa | Electromagnetic receiver tracking and real-time calibration system and method |
| AU2015255652B2 (en) | 2014-05-09 | 2018-03-29 | Google Llc | Systems and methods for using eye signals with secure mobile communications |
| NZ727350A (en) | 2014-05-30 | 2020-08-28 | Magic Leap Inc | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| US9626764B2 (en) * | 2014-07-01 | 2017-04-18 | Castar, Inc. | System and method for synchronizing fiducial markers |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| EP3420413A1 (en) * | 2016-02-22 | 2019-01-02 | Real View Imaging Ltd. | A method and system for displaying holographic images within a real object |
| WO2018039269A1 (en) | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
| JP6948387B2 (ja) | 2016-09-26 | 2021-10-13 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正 |
-
2017
- 2017-09-25 JP JP2019514092A patent/JP6948387B2/ja active Active
- 2017-09-25 EP EP17854090.2A patent/EP3516485A4/en active Pending
- 2017-09-25 WO PCT/US2017/053306 patent/WO2018058063A1/en active Application Filing
- 2017-09-25 CA CA3036709A patent/CA3036709A1/en active Pending
- 2017-09-25 CN CN201780058818.0A patent/CN109791435B/zh active Active
- 2017-09-25 CN CN202210306061.5A patent/CN114706478A/zh active Pending
- 2017-09-25 KR KR1020197010050A patent/KR102357876B1/ko active IP Right Grant
- 2017-09-25 US US15/714,905 patent/US10534043B2/en active Active
- 2017-09-25 KR KR1020247001381A patent/KR20240011881A/ko active Application Filing
- 2017-09-25 AU AU2017330454A patent/AU2017330454B2/en not_active Ceased
- 2017-09-25 KR KR1020227002995A patent/KR102626257B1/ko active IP Right Grant
-
2019
- 2019-03-20 IL IL265498A patent/IL265498A/en unknown
- 2019-11-22 US US16/692,969 patent/US11150310B2/en active Active
-
2021
- 2021-09-17 JP JP2021151814A patent/JP2022008432A/ja active Pending
- 2021-10-15 US US17/503,149 patent/US11531072B2/en active Active
-
2022
- 2022-08-05 AU AU2022211911A patent/AU2022211911A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160259404A1 (en) * | 2015-03-05 | 2016-09-08 | Magic Leap, Inc. | Systems and methods for augmented reality |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019535004A (ja) | 2019-12-05 |
| EP3516485A1 (en) | 2019-07-31 |
| KR20240011881A (ko) | 2024-01-26 |
| AU2022211911A1 (en) | 2022-09-01 |
| CN109791435B (zh) | 2022-04-12 |
| AU2017330454B2 (en) | 2022-08-18 |
| US11531072B2 (en) | 2022-12-20 |
| US20220034978A1 (en) | 2022-02-03 |
| KR20190057325A (ko) | 2019-05-28 |
| CN109791435A (zh) | 2019-05-21 |
| JP2022008432A (ja) | 2022-01-13 |
| AU2017330454A1 (en) | 2019-04-11 |
| EP3516485A4 (en) | 2020-06-03 |
| IL265498A (en) | 2019-05-30 |
| KR102626257B1 (ko) | 2024-01-16 |
| WO2018058063A1 (en) | 2018-03-29 |
| JP6948387B2 (ja) | 2021-10-13 |
| NZ751731A (en) | 2021-11-26 |
| CA3036709A1 (en) | 2018-03-29 |
| US20180088185A1 (en) | 2018-03-29 |
| CN114706478A (zh) | 2022-07-05 |
| KR20220018626A (ko) | 2022-02-15 |
| US10534043B2 (en) | 2020-01-14 |
| US11150310B2 (en) | 2021-10-19 |
| US20200096575A1 (en) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102357876B1 (ko) | 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정 | |
| JP2019535004A5 (ko) | ||
| CN108700939B (zh) | 用于增强现实的系统和方法 | |
| US11550156B2 (en) | Sensor fusion for electromagnetic tracking | |
| KR102331164B1 (ko) | 증강 현실을 위한 시스템들 및 방법들 | |
| US11709544B2 (en) | Pose estimation using electromagnetic tracking | |
| US11157090B2 (en) | Ambient electromagnetic distortion correction for electromagnetic tracking | |
| US20170205903A1 (en) | Systems and methods for augmented reality | |
| NZ751731B2 (en) | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |