KR102384882B1 - 증강 현실 시스템들을 사용한 전자기 추적 - Google Patents
증강 현실 시스템들을 사용한 전자기 추적 Download PDFInfo
- Publication number
- KR102384882B1 KR102384882B1 KR1020187033916A KR20187033916A KR102384882B1 KR 102384882 B1 KR102384882 B1 KR 102384882B1 KR 1020187033916 A KR1020187033916 A KR 1020187033916A KR 20187033916 A KR20187033916 A KR 20187033916A KR 102384882 B1 KR102384882 B1 KR 102384882B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- augmented reality
- signal
- electromagnetic
- display system
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 claims description 59
- 230000005236 sound signal Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 10
- 238000013461 design Methods 0.000 abstract description 15
- 230000005672 electromagnetic field Effects 0.000 description 46
- 210000003128 head Anatomy 0.000 description 42
- 239000003990 capacitor Substances 0.000 description 30
- 238000010586 diagram Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 27
- 230000004807 localization Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 12
- 230000004907 flux Effects 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000004886 head movement Effects 0.000 description 10
- 229910000859 α-Fe Inorganic materials 0.000 description 10
- 230000004438 eyesight Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 239000011295 pitch Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000012888 cubic function Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000258241 Mantis Species 0.000 description 1
- 208000032369 Primary transmission Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
- G01S1/68—Marker, boundary, call-sign, or like beacons transmitting signals not carrying directional information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
- G01S1/703—Details
- G01S1/7032—Transmitters
- G01S1/7038—Signal details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0247—Determining attitude
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0284—Relative positioning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
- H01H9/00—Details of switching devices, not covered by groups H01H1/00 - H01H7/00
- H01H9/02—Bases, casings, or covers
- H01H9/0214—Hand-held casings
- H01H9/0228—Line cord switches
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
- H01H9/00—Details of switching devices, not covered by groups H01H1/00 - H01H7/00
- H01H9/02—Bases, casings, or covers
- H01H9/0214—Hand-held casings
- H01H9/0235—Hand-held casings specially adapted for remote control, e.g. of audio or video apparatus
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S2201/00—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters
- G01S2201/01—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters adapted for specific applications or environments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physical Education & Sports Medicine (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Stereophonic System (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
머리 장착 증강 현실(AR) 디바이스들은 착용자의 환경 내의 객체들의 3차원 가상 표현을 제공하기 위해 착용자의 머리의 포즈를 추적할 수 있다. 전자기(EM) 추적 시스템은 머리 또는 몸체 포즈를 추적할 수 있다. 핸드헬드 사용자 입력 디바이스는 EM 필드를 생성하는 EM 방출기를 포함할 수 있고, 그리고 머리 장착 AR 디바이스는 EM 필드를 감지하는 EM 센서를 포함할 수 있다. 센서로부터의 EM 정보는 센서의 위치 및/또는 배향 및 이에 의한 착용자의 포즈를 결정하기 위해 분석될 수 있다. EM 방출기 및 센서는 다수의 주파수들에서 동작하도록 시분할 멀티플렉싱(TDM) 또는 동적 주파수 튜닝을 활용할 수 있다. 전압 이득 제어는 센서보다 오히려 송신기에서 구현될 수 있고, 이는 더 작고 그리고 무게가 더 가벼운 센서 설계들을 허용한다. EM 센서는 인근 오디오 스피커들에 의해 생성된 EM 간섭 레벨을 감소시키기 위해 노이즈 소거를 구현할 수 있다.
Description
[0001] 본 출원은, 2016년 4월 26일에 출원되고, 발명의 명칭이 SYSTEMS AND METHODS FOR AUGMENTED REALITY인 미국 특허 출원 번호 제 62/328,003호, 및 2017년 3월 30일에 출원되고, 발명의 명칭이 ELECTROMAGNETIC TRACKING WITH AUGMENTED REALITY SYSTEMS인 미국 특허 출원 번호 제 62/479,111호를 우선권으로 주장하고; 전술된 모든 출원은 이로써 그 전체가 본원에 인용에 의해 포함된다.
[0002] 본 개시내용은 증강 현실 시스템들의 맥락(context)에서 하나 또는 그 초과의 객체들의 포지션 또는 배향을 로컬라이징(localize)하기 위한 시스템들 및 방법들에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0004] 머리 장착 증강 현실(AR) 디바이스들은 착용자의 환경 내의 객체들의 3차원 가상 표현을 제공할 수 있도록 착용자의 머리(또는 다른 몸체 부분)의 포즈를 추적할 수 있다. 전자기(EM) 추적 시스템의 실시예들은 머리 포즈 또는 몸체 제스처들을 추적하는 데 사용될 수 있다. 예컨대, 핸드헬드 사용자 입력 디바이스는 EM 방출기를 포함할 수 있고 머리 장착 AR 디바이스는 EM 센서를 포함할 수 있다. 일부 구현들에서, EM 방출기는 EM 센서에 의해 감지될 수 있는 EM 필드를 생성한다. 센서로부터의 EM 정보는 센서 및 이에 의한 착용자의 머리 포즈의 위치 및/또는 배향을 결정하기 위해 분석될 수 있다. EM 방출기 및 센서는 추적 시스템이 다수의 주파수들에서 동작하는 것을 허용하는 시분할 멀티플렉싱(TDM) 또는 동적 주파수 튜닝을 활용할 수 있다. 전압 이득 제어는 센서보다 오히려 송신기에서 구현될 수 있고, 이는 더 작고 그리고 무게가 더 가벼운 센서 설계들을 허용한다. EM 센서는 인근 오디오 스피커들에 의해 생성되는 EM 간섭 레벨을 감소시키기 위해 노이즈 소거를 구현할 수 있다.
[0005] 머리 장착 디스플레이 시스템의 실시예는 착용자의 눈들의 전면에 포지셔닝 가능한 디스플레이; 주파수를 가진 자기장을 생성하도록 구성된 전자기(EM) 필드 방출기; 그 주파수에서 자기장을 감지하도록 구성된 EM 센서; 및 프로세서를 포함하고, 프로세서는 감지된 자기장을 표시하는 신호들을 EM 센서로부터 수신하고, 그리고 EM 센서의 포지션 또는 배향을 결정하기 위해, 수신된 신호들을 분석하도록 프로그래밍된다.
[0006] 전자기(EM) 추적 시스템의 실시예는, 제1 주파수를 가진 제1 자기장을 생성하도록 구성된 제1 송신기 코일, 제2 주파수를 가진 제2 자기장을 생성하도록 구성된 제2 송신기 코일, 및 제3 주파수를 가진 제3 자기장을 생성하도록 구성된 제3 송신기 코일을 포함하는 EM 필드 방출기를 포함하고, EM 필드 방출기는 제1 송신기 코일, 제2 송신기 코일 및 제3 송신기 코일 사이에서 전력을 스위칭하도록 구성된 제1 시분할 멀티플렉싱(TDM) 회로를 포함한다. 머리 장착 증강 현실 디스플레이 디바이스는 EM 추적 시스템의 실시예들을 포함할 수 있다.
[0007] 전자기(EM) 추적 시스템의 실시예는 자동 이득 제어(AGC) 회로 및 송신기 코일을 포함하는 EM 필드 방출기; 및 AGC 회로가 없는 EM 센서를 포함하고, EM 센서는 센서 코일을 포함한다. 머리 장착 증강 현실 디스플레이 디바이스는 EM 추적 시스템의 실시예들을 포함할 수 있다.
[0008] 본 명세서에서 설명된 청구 대상의 하나 또는 그 초과의 구현들의 세부사항들은 아래의 첨부 도면들 및 상세한 설명에서 설명된다. 다른 특징들, 양상들 및 장점들은 상세한 설명, 도면들 및 청구항들로부터 자명해질 것이다. 이러한 요약도 다음 상세한 설명도 본 발명의 청구 대상의 범위를 정의하거나 제한하도록 의도하지 않는다.
[0009] 도 1은 사람이 보고 있는 소정의 가상 현실 객체들, 및 소정의 물리적 객체들을 가진 증강 현실 시나리오의 예시를 묘사한다.
[0010] 도 2a-도 2d는 웨어러블 시스템의 예들을 개략적으로 예시한다.
[0011] 도 3은 클라우드 컴퓨팅 애셋(asset)들과 로컬 프로세싱 애셋들 사이의 조정을 개략적으로 예시한다.
[0012] 도 4는 전자기(EM) 추적 시스템의 예시적인 시스템 다이어그램을 개략적으로 예시한다.
[0013] 도 5는 전자기 추적 시스템의 실시예의 예시적인 기능을 설명하는 흐름도이다.
[0014] 도 6은 AR 시스템과 통합된 전자기 추적 시스템의 예를 개략적으로 예시한다.
[0015] 도 7은 AR 디바이스의 맥락에서 전자기 추적 시스템의 예의 기능을 설명하는 흐름도이다.
[0016] 도 8은 AR 시스템의 실시예의 컴포넌트들의 예들을 개략적으로 예시한다.
[0017] 도 9a-도 9f는 퀵 릴리스(quick release) 모듈의 예들을 개략적으로 예시한다.
[0018] 도 10은 머리 장착 디스플레이 시스템을 개략적으로 예시한다.
[0019] 도 11a 및 도 11b는 머리 장착 디스플레이에 커플링된 전자기 감지 코일들의 예들을 개략적으로 예시한다.
[0020] 도 12a-도 12e는 전자기 센서에 커플링될 수 있는 페라이트 코어(ferrite core)의 예시적인 구성들을 개략적으로 예시한다.
[0021] 도 13a는 주파수 분할 멀티플렉싱(FDM)된 EM 송신기 회로(EM 방출기)의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0022] 도 13b는 주파수 분할 멀티플렉싱된 EM 수신기 회로(EM 센서)의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0023] 도 13c는 시분할 멀티플렉싱(TDM)된 EM 송신기 회로의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0024] 도 13d는 EM 송신기에 대한 동적 튜닝가능 회로의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0025] 도 13e는 도 13d에 도시된 회로를 동적으로 튜닝함으로써 달성될 수 있는 공진들의 예들을 도시하는 그래프이다.
[0026] 도 13f는 시분할 멀티플렉싱된 EM 송신기 및 수신기에 대한 타이밍 다이어그램의 예를 예시한다.
[0027] 도 13g는 시분할 멀티플렉싱된 EM 송신기 및 수신기에 대한 스캔 타이밍의 예를 예시한다.
[0028] 도 13h는 EM 추적 시스템의 TDM 수신기의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0029] 도 13i는 자동 이득 제어(AGC)가 없는 EM 수신기의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0030] 도 13j는 AGC를 이용하는 EM 송신기의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0031] 도 14 및 도 15는 머리 장착 AR 시스템의 전자기 추적 시스템을 사용한 포즈 추적의 예들을 예시하는 흐름도들이다.
[0032] 도 16a 및 도 16b는 AR 시스템의 다른 실시예들의 컴포넌트들의 예들을 개략적으로 예시한다.
[0033] 도 17a는 전자기 추적 시스템의 송신기의 공진 회로의 예를 개략적으로 예시한다.
[0034] 도 17b는 도 17a의 공진 회로에서 22 kHz에서의 공진의 예를 도시하는 그래프이다.
[0035] 도 17c는 공진 회로를 통해 흐르는 전류의 예를 도시하는 그래프이다.
[0036] 도 17d 및 도 17e는 전자기 추적 시스템의 EM 필드 송신기의 공진 회로에 대한 동적 튜닝가능 구성의 예들을 개략적으로 예시한다.
[0037] 도 17f는 도 17e에 도시된 예시적인 회로에서 캐패시터(C4)의 캐패시턴스의 값을 변경함으로써 동적으로 튜닝되는 공진들의 예들을 도시하는 그래프이다.
[0038] 도 17g는 다양한 공진 주파수들에서 달성되는 최대 전류의 예들을 도시하는 그래프이다.
[0039] 도 18a는 오디오 스피커에 인접한 전자기 필드 센서의 예를 개략적으로 도시하는 블록 다이어그램이다.
[0040] 도 18b는 센서 및 외부 오디오 스피커 둘 다로부터 입력을 수신하는 노이즈 소거 시스템을 가진 전자기 필드 센서의 예를 개략적으로 도시하는 블록 다이어그램이다.
[0041] 도 18c는 오디오 스피커에 의해 유발된 자기 간섭을 소거하기 위해 신호가 어떻게 인버팅(invert)되고 합해질 수 있는지의 예를 도시하는 그래프이다.
[0042] 도 18d는 EM 추적 시스템의 EM 센서에 의해 수신된 간섭을 소거하기 위한 예시적인 방법을 도시하는 흐름도이다.
[0043] 도 19는 비전(vision) 시스템의 교정을 돕기 위해 광들의 패턴을 사용하는 것을 개략적으로 도시한다.
[0044] 도 20a-도 20c는 웨어러블 디스플레이 디바이스의 서브시스템들 또는 컴포넌트들과 함께 사용가능한 예시적인 회로들의 블록 다이어그램들이다.
[0045] 도 21은 IMU, 전자기 추적 센서 및 광학 센서로부터의 출력을 융합하는 예를 도시하는 그래프이다.
[0046] 도 22a-도 22c는 머리 장착 디스플레이에 커플링된 전자기 감지 코일들의 부가적인 예들을 개략적으로 예시한다.
[0047] 도 23a-도 23c는 전자기 신호들 및 음향 신호를 사용하여 머리 장착 디스플레이를 재교정하는 예를 개략적으로 예시한다.
[0048] 도 24a-도 24d는 카메라 또는 깊이 센서를 사용하여 머리 장착 디스플레이를 재교정하는 부가적인 예들을 개략적으로 예시한다.
[0049] 도 25a 및 도 25b는 전자기 추적 시스템과 연관될 수 있는 포지션 모호성을 해결하기 위한 기법들을 개략적으로 예시한다.
[0050] 도면들 전반에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응을 표시하는 데 재사용될 수 있다. 도면들은 본원에 설명된 예시적인 실시예들을 예시하기 위해 제공되고 본 개시내용의 범위를 제한하도록 의도되지 않는다.
[0010] 도 2a-도 2d는 웨어러블 시스템의 예들을 개략적으로 예시한다.
[0011] 도 3은 클라우드 컴퓨팅 애셋(asset)들과 로컬 프로세싱 애셋들 사이의 조정을 개략적으로 예시한다.
[0012] 도 4는 전자기(EM) 추적 시스템의 예시적인 시스템 다이어그램을 개략적으로 예시한다.
[0013] 도 5는 전자기 추적 시스템의 실시예의 예시적인 기능을 설명하는 흐름도이다.
[0014] 도 6은 AR 시스템과 통합된 전자기 추적 시스템의 예를 개략적으로 예시한다.
[0015] 도 7은 AR 디바이스의 맥락에서 전자기 추적 시스템의 예의 기능을 설명하는 흐름도이다.
[0016] 도 8은 AR 시스템의 실시예의 컴포넌트들의 예들을 개략적으로 예시한다.
[0017] 도 9a-도 9f는 퀵 릴리스(quick release) 모듈의 예들을 개략적으로 예시한다.
[0018] 도 10은 머리 장착 디스플레이 시스템을 개략적으로 예시한다.
[0019] 도 11a 및 도 11b는 머리 장착 디스플레이에 커플링된 전자기 감지 코일들의 예들을 개략적으로 예시한다.
[0020] 도 12a-도 12e는 전자기 센서에 커플링될 수 있는 페라이트 코어(ferrite core)의 예시적인 구성들을 개략적으로 예시한다.
[0021] 도 13a는 주파수 분할 멀티플렉싱(FDM)된 EM 송신기 회로(EM 방출기)의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0022] 도 13b는 주파수 분할 멀티플렉싱된 EM 수신기 회로(EM 센서)의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0023] 도 13c는 시분할 멀티플렉싱(TDM)된 EM 송신기 회로의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0024] 도 13d는 EM 송신기에 대한 동적 튜닝가능 회로의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0025] 도 13e는 도 13d에 도시된 회로를 동적으로 튜닝함으로써 달성될 수 있는 공진들의 예들을 도시하는 그래프이다.
[0026] 도 13f는 시분할 멀티플렉싱된 EM 송신기 및 수신기에 대한 타이밍 다이어그램의 예를 예시한다.
[0027] 도 13g는 시분할 멀티플렉싱된 EM 송신기 및 수신기에 대한 스캔 타이밍의 예를 예시한다.
[0028] 도 13h는 EM 추적 시스템의 TDM 수신기의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0029] 도 13i는 자동 이득 제어(AGC)가 없는 EM 수신기의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0030] 도 13j는 AGC를 이용하는 EM 송신기의 예를 개략적으로 예시하는 블록 다이어그램이다.
[0031] 도 14 및 도 15는 머리 장착 AR 시스템의 전자기 추적 시스템을 사용한 포즈 추적의 예들을 예시하는 흐름도들이다.
[0032] 도 16a 및 도 16b는 AR 시스템의 다른 실시예들의 컴포넌트들의 예들을 개략적으로 예시한다.
[0033] 도 17a는 전자기 추적 시스템의 송신기의 공진 회로의 예를 개략적으로 예시한다.
[0034] 도 17b는 도 17a의 공진 회로에서 22 kHz에서의 공진의 예를 도시하는 그래프이다.
[0035] 도 17c는 공진 회로를 통해 흐르는 전류의 예를 도시하는 그래프이다.
[0036] 도 17d 및 도 17e는 전자기 추적 시스템의 EM 필드 송신기의 공진 회로에 대한 동적 튜닝가능 구성의 예들을 개략적으로 예시한다.
[0037] 도 17f는 도 17e에 도시된 예시적인 회로에서 캐패시터(C4)의 캐패시턴스의 값을 변경함으로써 동적으로 튜닝되는 공진들의 예들을 도시하는 그래프이다.
[0038] 도 17g는 다양한 공진 주파수들에서 달성되는 최대 전류의 예들을 도시하는 그래프이다.
[0039] 도 18a는 오디오 스피커에 인접한 전자기 필드 센서의 예를 개략적으로 도시하는 블록 다이어그램이다.
[0040] 도 18b는 센서 및 외부 오디오 스피커 둘 다로부터 입력을 수신하는 노이즈 소거 시스템을 가진 전자기 필드 센서의 예를 개략적으로 도시하는 블록 다이어그램이다.
[0041] 도 18c는 오디오 스피커에 의해 유발된 자기 간섭을 소거하기 위해 신호가 어떻게 인버팅(invert)되고 합해질 수 있는지의 예를 도시하는 그래프이다.
[0042] 도 18d는 EM 추적 시스템의 EM 센서에 의해 수신된 간섭을 소거하기 위한 예시적인 방법을 도시하는 흐름도이다.
[0043] 도 19는 비전(vision) 시스템의 교정을 돕기 위해 광들의 패턴을 사용하는 것을 개략적으로 도시한다.
[0044] 도 20a-도 20c는 웨어러블 디스플레이 디바이스의 서브시스템들 또는 컴포넌트들과 함께 사용가능한 예시적인 회로들의 블록 다이어그램들이다.
[0045] 도 21은 IMU, 전자기 추적 센서 및 광학 센서로부터의 출력을 융합하는 예를 도시하는 그래프이다.
[0046] 도 22a-도 22c는 머리 장착 디스플레이에 커플링된 전자기 감지 코일들의 부가적인 예들을 개략적으로 예시한다.
[0047] 도 23a-도 23c는 전자기 신호들 및 음향 신호를 사용하여 머리 장착 디스플레이를 재교정하는 예를 개략적으로 예시한다.
[0048] 도 24a-도 24d는 카메라 또는 깊이 센서를 사용하여 머리 장착 디스플레이를 재교정하는 부가적인 예들을 개략적으로 예시한다.
[0049] 도 25a 및 도 25b는 전자기 추적 시스템과 연관될 수 있는 포지션 모호성을 해결하기 위한 기법들을 개략적으로 예시한다.
[0050] 도면들 전반에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응을 표시하는 데 재사용될 수 있다. 도면들은 본원에 설명된 예시적인 실시예들을 예시하기 위해 제공되고 본 개시내용의 범위를 제한하도록 의도되지 않는다.
AR, VR 및 로컬리제이션(localization) 시스템들의 개요
[0051] 도 1에서, 증강 현실 장면(4)이 묘사되고, 여기서 AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(1120)을 특징으로 하는 실세계 공원형 세팅(6)을 본다. 이들 아이템들 외에, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(1120) 상에 서 있는 로봇 동상(1110), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(2)(비록 이들 엘리먼트들(2, 1110)이 실세계에 존재하지 않더라도)를 "보는" 것을 인식한다. 밝혀진 바와 같이, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리(imagery) 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.
[0052] 예컨대, 머리에 착용된 AR 디스플레이들(또는 헬멧 장착 디스플레이들, 또는 스마트 안경들)은 통상적으로 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 사용자의 머리가 움직일 때 움직인다. 사용자의 머리 모션들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 머리 포즈의 변화를 고려하기 위하여 업데이트될 수 있다.
[0053] 예로서, 머리 착용 디스플레이를 착용한 사용자가 디스플레이 상의 3차원(3D) 객체의 가상 표현을 보면서 3D 객체가 나타나는 영역을 둘러보면, 그 3D 객체는 각각의 시점에 대해 재렌더링될 수 있고, 이는, 사용자가 실제 공간을 차지하는 객체를 둘러본다는 인식을 사용자에게 제공한다. 머리 착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내의 다수의 객체들을 제시하는 데 사용되면, 머리 포즈(예컨대, 사용자의 머리의 위치 및 배향)의 측정들은 사용자의 동적으로 변화하는 머리 위치 및 배향과 매칭시키기 위하여 장면을 재렌더링하고 그리고 가상 공간에서의 증가된 몰입감을 제공하는 데 사용될 수 있다.
[0054] AR 시스템들에서, 머리 포즈의 검출 또는 계산은 가상 객체들이 사용자에게 이해되는 방식으로 실세계의 공간을 차지는 것으로 보이도록 디스플레이 시스템이 가상 객체들을 렌더링하게 할 수 있다. 게다가, 사용자의 머리 또는 AR 시스템과 관련하여, 실제 객체, 이를테면 핸드헬드 디바이스(또한 "토템(totem)"으로 지칭될 수 있음), 촉각 디바이스, 또는 다른 실제 물리적 객체의 포지션 및/또는 배향의 검출은 또한, 사용자가 AR 시스템의 소정의 양상들과 효율적으로 상호작용하게 할 수 있도록 디스플레이 시스템이 사용자에게 디스플레이 정보를 제시하는 것을 가능하게 할 수 있다. 사용자의 머리가 실세계에서 이리저리 움직일 때, 가상 객체들은 머리 포즈의 함수로써 재렌더링될 수 있어서, 가상 객체들은 실세계에 관하여 안정적으로 있는 것으로 보인다. 적어도 AR 애플리케이션들에 대해, 물리적 객체들과 공간적으로 관련하여 가상 객체들을 배치하는 것(예컨대, 2차원 또는 3차원의 물리적 객체에 공간적으로 가깝게 보이도록 제시됨)은 중요한 문제일 수 있다. 예컨대, 머리 움직임은 주위 환경의 관점에서 가상 객체들의 배치를 상당히 복잡하게 할 수 있다. 이는, 뷰(view)가 주위 환경의 이미지로서 캡처되고 이어서 최종 사용자에게 투사되거나 디스플레이되든, 또는 최종 사용자가 주위 환경의 뷰를 직접 인식하든 간에 적용된다. 예컨대, 머리 움직임은 최종 사용자의 시야가 변화하게 할 공산이 있을 것이고, 이는, 다양한 가상 객체들이 최종 사용자의 시야에 디스플레이되는 장소로의 업데이트를 요구할 공산이 있을 것이다. 부가적으로, 머리 움직임들은 매우 다양한 범위들 및 속도들 내에서 발생할 수 있다. 머리 움직임 속도는 상이한 머리 움직임들 사이에서 가변할뿐 아니라, 단일 머리 움직임의 범위 내에서 또는 그 범위에 걸쳐 가변할 수 있다. 예컨대, 머리 움직임 속도는 처음에 시작 포인트로부터 (예컨대, 선형으로 또는 비선형으로) 증가할 수 있고, 그리고 종료 포인트에 도달함에 따라 감소할 수 있어서, 머리 움직임의 시작 포인트와 종료 포인트 사이의 어딘가에서 최대 속도를 획득한다. 빠른 머리 움직임들은 특정 디스플레이 또는 투사 기술이 최종 사용자에게 균일하고 그리고/또는 부드러운 모션으로 보이는 이미지들을 렌더링하는 능력을 훨씬 초과할 수 있다.
[0055] 머리 추적 정확도 및 레이턴시(latency)(예컨대, 사용자가 자신의 머리를 움직이는 시간과 이미지가 업데이트되고 사용자에게 디스플레이되는 시간 사이의 경과된 시간)는 VR 및 AR 시스템들에게 난제들이었다. 특히 사용자의 시각 필드의 상당 부분을 가상 엘리먼트들로 필링(fill)하는 디스플레이 시스템들에 대해, 머리 추적의 정확도가 높고 그리고 머리 모션의 제1 검출로부터 디스플레이에 의해 사용자의 시각 시스템으로 전달되는 광의 업데이팅까지 전체 시스템 레이턴시가 매우 낮은 것이 유리하다. 레이턴시가 높으면, 시스템은 사용자의 전정(vestibular) 및 시각 감각 시스템들 사이의 미스매칭을 생성하고, 그리고 멀미 또는 시뮬레이더 질병(simulator sickness)을 유도할 수 있는 사용자 인식 시나리오를 생성할 수 있다. 시스템 레이턴시가 높으면, 가상 객체들의 명백한 위치는 빠른 머리 움직임들 동안 불안정하게 보일 것이다.
[0056] 머리 착용 디스플레이 시스템들 외에, 다른 디스플레이 시스템들이 정확하고 낮은 레이턴시 머리 포즈 검출로부터 이익을 얻을 수 있다. 이들은, 디스플레이가 사용자의 몸체 상에 착용되는 것이 아니라, 예컨대 벽 또는 다른 표면상에 장착되는 머리 추적 디스플레이 시스템들을 포함한다. 머리 추적 디스플레이는 장면 위의 윈도우(window) 같이 작용하고, 그리고 사용자가 자신의 머리를 "윈도우"에 관하여 움직일 때, 장면은 사용자의 변화하는 시점과 매칭하도록 재렌더링된다. 다른 시스템들은 머리 착용 디스플레이가 광을 실세계 상으로 투사하는 머리 착용 투사 시스템을 포함한다.
[0057] 부가적으로, 현실적인 증강 현실 경험을 제공하기 위해, AR 시스템들은 사용자와 상호작용하도록 설계될 수 있다. 예컨대, 다수의 사용자들은 가상 볼(ball) 및/또는 다른 가상 객체들로 볼 게임을 할 수 있다. 한 사용자는 가상 볼을 "잡을" 수 있고, 볼을 다시 다른 사용자에게 던질 수 있다. 다른 실시예에서, 제1 사용자에게는 가상 볼을 치기 위해 토템(예컨대, AR 시스템에 통신가능하게 커플링된 실제 배트)이 제공될 수 있다. 다른 실시예들에서, 가상 사용자 인터페이스는 AR 사용자에게 제시되어 사용자가 많은 옵션들 중 하나를 선택하는 것을 허용할 수 있다. 사용자는 토템들, 촉각 디바이스들, 웨어러블 컴포넌트들을 사용하거나, 또는 시스템과 상호작용하기 위해 가상 스크린을 단순히 터치할 수 있다.
[0058] 사용자의 머리 포즈 및 배향을 검출하는 것, 및 공간 내의 실제 객체들의 물리적 위치를 검출하는 것은 AR 시스템이 효율적이고 즐거운 방식으로 가상 콘텐츠를 디스플레이하게 할 수 있다. 그러나, 비록 이들 능력들이 AR 시스템에 대해 핵심이지만, 달성하기 어렵다. 다시 말해서, AR 시스템은 실제 객체(예컨대, 사용자의 머리, 토템, 촉각 디바이스, 웨어러블 컴포넌트, 사용자의 손 등)의 물리적 위치를 인식하고 실제 객체의 물리적 좌표들을, 사용자에게 디스플레이되는 하나 또는 그 초과의 가상 객체들에 대응하는 가상 좌표들에 상관시킬 수 있다. 이것은 일반적으로, 빠른 레이트(rate)들로 하나 또는 그 초과의 객체들의 포지션 및 배향을 추적하는 매우 정확한 센서들 및 센서 인식 시스템들을 요구한다. 현재 접근법들은 만족스러운 스피드 또는 정밀도 표준들로 로컬리제이션을 수행하지 못한다.
[0059] 따라서, AR 및 VR 디바이스들의 맥락에서 더 나은 로컬리제이션 시스템이 필요하다.
예시적인 AR 및 VR 시스템들 및 컴포넌트들
[0060] 도 2a-도 2d를 참조하면, 일부 일반적인 컴포넌트리 옵션들이 예시된다. 도 2a-도 2d의 논의에 이은 상세한 설명의 부분들에서, 다양한 시스템들, 서브시스템들 및 컴포넌트들은 인간 VR 및/또는 AR을 위한 고품질이고, 편안하게 인식되는 디스플레이 시스템을 제공하는 목적들을 처리하기 위하여 제시된다.
[0061] 도 2a에 도시된 바와 같이, 사용자의 눈들의 전면에 포지셔닝된 디스플레이 시스템(62)에 커플링된 프레임(64) 구조를 특징으로 하는 머리 장착 컴포넌트(58)를 착용한 AR 시스템 사용자(60)가 묘사된다. 스피커(66)는 묘사된 구성에서 프레임(64)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝될 수 있다(일 실시예에서, 도시되지 않은 다른 스피커는 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능 사운드 제어를 제공함). 디스플레이(62)는 다양한 구성들로 장착될 수 있는, 이를테면 프레임(64)에 고정되게 부착되거나, 도 2b의 실시예에 도시된 바와 같이 헬멧 또는 모자(80)에 고정되게 부착되거나, 헤드폰들에 내장되거나, 도 2c의 실시예에 도시된 바와 같이 백팩(backpack)-스타일 구성으로 사용자(60)의 몸통(torso)(82)에 제거가능하게 부착되거나, 또는 도 2d의 실시예에 도시된 바와 같이 벨트-커플링 스타일 구성으로 사용자(60)의 엉덩이(84)에 제거가능하게 부착될 수 있는 로컬 프로세싱 및 데이터 모듈(70)에, 이를테면 유선 리드(lead) 또는 무선 연결성에 의해, 동작가능하게 커플링(68)된다.
[0062] 로컬 프로세싱 및 데이터 모듈(70)은 전력-효율적 프로세서 또는 제어기뿐 아니라, 디지털 메모리, 이를테면 플래시 메모리를 포함할 수 있고, 이들 둘 모두는 a) 프레임(64)에 동작가능하게 커플링될 수 있는 센서들, 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들로부터 캡처되고; 그리고/또는 b) 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)를 사용하여 획득되고 그리고/또는 프로세싱되어, 가능한 경우 그런 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이(62)에 전달되는 데이터의 프로세싱, 캐싱(caching) 및 저장을 돕는 데 활용될 수 있다. 로컬 프로세싱 및 데이터 모듈(70)은, 이를테면 유선 또는 무선 통신 링크들을 통해, 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작가능하게 커플링(76, 78)될 수 있어서, 이들 원격 모듈들(72, 74)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(70)에 대한 리소스들로서 이용가능하다.
[0063] 일 실시예에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 저장소(74)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)은 로컬 프로세싱 및 데이터 모듈에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0064] 이제 도 3을 참조하면, 도 3에 도시된 바와 같이, 예컨대 사용자의 머리(120)에 커플링된 머리 장착 컴포넌트리(58) 및 사용자의 벨트에 커플링된 로컬 프로세싱 및 데이터 모듈(70)(308; 그러므로 컴포넌트(70)는 또한 "벨트 팩"(70)으로 지칭될 수 있음)에 상주할 수 있는, 클라우드 컴퓨팅 애셋들(46) 및 로컬 프로세싱 애셋들 사이의 조정이 개략적으로 예시된다. 일 실시예에서, 클라우드(46) 애셋들, 이를테면 하나 또는 그 초과의 서버 시스템들(110)은 이를테면 유선 또는 무선 네트워킹(무선은 이동성에 바람직하고, 유선은 원해질 수 있는 소정의 높은 대역폭 또는 높은 데이터 볼륨 전달에 바람직함)을 통하여, 위에서 설명된 바와 같이 사용자의 머리(120) 및 벨트(308)에 커플링된 로컬 컴퓨팅 애셋들, 이를테면 프로세서 및 메모리 구성들 중 하나 또는 둘 모두에 직접적으로(40, 42) 동작가능하게 커플링(115)된다. 사용자에게 로컬인 이들 컴퓨팅 애셋들은 또한, 유선 및/또는 무선 연결 구성들(44), 이를테면 도 8을 참조하여 아래에 논의되는 유선 커플링(68)을 통하여 서로 동작가능하게 커플링될 수 있다. 일 실시예에서, 사용자의 머리(120)에 장착된 작은-관성 및 작은-사이즈 서브시스템을 유지하기 위하여, 사용자와 클라우드(46) 사이의 주 전달은 벨트(308)에 장착된 서브시스템과 클라우드 사이의 링크를 통해서 이루어질 수 있고, 머리 장착(120) 서브시스템은 주로, 예컨대 개인 컴퓨팅 주변장치 연결 애플리케이션들에서 현재 이용되는 바와 같이, 무선 연결, 이를테면 초광대역("UWB") 연결을 사용하여 벨트-기반(308) 서브시스템에 데이터-테더링(tether)된다.
[0065] 효율적인 로컬 및 원격 프로세싱 조정, 및 사용자에게 적합한 디스플레이 디바이스, 이를테면 도 2a에 도시된 사용자 인터페이스 또는 사용자 디스플레이 시스템(62), 또는 이들의 변형들에 의해, 사용자의 현재의 실제 또는 가상 위치에 관련된 하나의 세계의 양상들은 사용자에게 이송 또는 "전달(pass)"될 수 있고 효율적인 방식으로 업데이트될 수 있다. 다시 말해서, 세계의 맵은, 사용자의 AR 시스템에 부분적으로 상주하고 클라우드 리소스들에 부분적으로 상주할 수 있는 저장 위치에서 계속해서 업데이트될 수 있다. 맵(또한 "전달가능 세계 모델"로서 지칭됨)은 래스터(raster) 이미저리, 3D 및 2D 포인트들, 파라미터 정보 및 실세계에 관한 다른 정보를 포함하는 큰 데이터베이스일 수 있다. 점점 더 많은 AR 사용자들이 그들의 실제 환경에 관한 정보를 (예컨대, 카메라들, 센서들, IMU들 등을 통하여) 계속해서 캡처함에 따라, 맵은 더욱더 정확하고 완전하게 된다.
[0066] 클라우드 컴퓨팅 리소스들에 상주할 수 있고 이로부터 분배될 수 있는 하나의 세계 모델이 존재하는 위에서 설명된 바와 같은 구성에 의해, 그런 세계는 실시간 비디오 데이터 등을 전달하려고 시도하는 것에 바람직한 비교적 낮은 대역폭 형태로 하나 또는 그 초과의 사용자들에게 "전달가능"할 수 있다. 동상(예컨대, 도 1에 도시됨) 가까이 서 있는 사람의 증강 경험은 클라우드-기반 세계 모델에 의해 알려질 수 있고, 이 모델의 서브세트는 뷰를 완성하기 위하여 그들 및 그들의 로컬 디스플레이 디바이스에 전달될 수 있다. 책상 위에 놓이는 퍼스널 컴퓨터처럼 단순할 수 있는 원격 디스플레이 디바이스에 앉아 있는 사람은 클라우드로부터 동일한 정보 섹션을 효율적으로 다운로드하고 이를 그들의 디스플레이에 렌더링할 수 있다. 실제로, 동상에 가까운 공원에 실제로 있는 한 사람은 원격에 위치된 친구를 그 공원에서 산책을 위하여 데려갈 수 있고, 그 친구는 가상 및 증강 현실을 통하여 합류한다. 시스템은, 거리가 어디에 있는지, 여기에서 나무들이 있는지, 동상이 어디에 있는지를 알 필요가 있을 것이지만 ― 합류한 친구는, 클라우드 상의 그 정보를 사용하여, 시나리오의 양상들을 클라우드로부터 다운로드할 수 있고, 이어서 실제로 공원에 있는 사람에 비해 현지의 증강 현실로서 함께 걷기 시작할 수 있다.
[0067] 3차원(3D) 포인트들은 환경으로부터 캡처될 수 있고, 그리고 이들 이미지들 또는 포인트들을 캡처하는 카메라들의 포즈(예컨대, 세계에 관하여 벡터 및/또는 오리진(origin) 포지션 정보)가 결정될 수 있어서, 이들 포인트들 또는 이미지들은 이 포즈 정보로 "태그(tag)"되거나, 또는 이와 연관될 수 있다. 이어서, 제2 카메라에 의해 캡처된 포인트들은 제2 카메라의 포즈를 결정하는 데 활용될 수 있다. 다시 말해서, 제1 카메라로부터 태그된 이미지들과의 비교들에 기반하여 제2 카메라를 배향 및/또는 로컬라이징할 수 있다. 이어서, 이 지식은 (주위에 정합된 2개의 카메라들이 있기 때문에) 텍스처(texture)들을 추출하고, 맵들을 만들고, 그리고 실세계의 가상 카피를 생성하는 데 활용될 수 있다.
[0068] 따라서, 기저 레벨에서, 일 실시예에서, 사람 착용 시스템은 3D 포인트들 및 포인트들을 생성하는 2D 이미지들 둘 모두를 캡처하는 데 사용될 수 있고, 이들 포인트들 및 이미지들은 클라우드 저장 및 프로세싱 리소스로 전송될 수 있다. 이들은 또한 내장된 포즈 정보를 사용하여 로컬적으로 캐싱될 수 있고(예컨대, 태그된 이미지들을 캐싱함); 따라서 클라우드는 3D 포인트들과 함께, 준비된(즉, 이용가능한 캐시 내의) 태그된 2D 이미지들(즉, 3D 포즈로 태그됨)을 가질 수 있다. 사용자가 무언가 동적인 것을 관찰중이면, 그는 또한 모션에 관련된 부가적인 정보를 클라우드까지 전송할 수 있다(예컨대, 다른 사람의 얼굴을 보는 경우, 사용자는 얼굴의 텍스처 맵을 취하고 그리고 주위 세계가 기본적으로 정적이더라도 최적화된 주파수로 이를 푸시 업(push up)할 수 있다. 객체 인식기들 및 전달가능 세계 모델에 대한 더 많은 정보는 발명의 명칭이 "System and method for augmented and virtual reality"인 미국 특허 공개 번호 제 2014/0306866호(이 공개물은 그 전체가 인용에 의해 본원에 포함됨), 및 플로리다주의 플랜테이션의 Magic Leap, Inc.에 의해 개발된 것들과 같은 증강 및 가상 현실 시스템들에 관련된 다음 부가적인 개시내용들: 미국 특허 공개 번호 제 2015/0178939호; 미국 특허 공개 번호 제 2015/0205126호; 미국 특허 공개 번호 제 2014/0267420호; 미국 특허 공개 번호 제 2015/0302652호; 미국 특허 공개 번호 제 2013/0117377호; 및 미국 특허 공개 번호 제 2013/0128230호(이들 공개물 각각은 이로써 그 전체가 인용에 의해 본원에 포함됨)에서 발견될 수 있다.
[0069] GPS 및 다른 로컬리제이션 정보는 그런 프로세싱에 대한 입력들로서 활용될 수 있다. 사용자의 머리, 토템들, 손 제스처들, 촉각 디바이스들 등의 매우 정확한 로컬리제이션은 적합한 가상 콘텐츠를 사용자에게 디스플레이하는 데 유리할 수 있다.
[0070] 머리 장착 디바이스(58)는 디바이스의 착용자의 눈들의 전면에 포지셔닝 가능한 디스플레이들을 포함할 수 있다. 디스플레이들은 광 필드 디스플레이들을 포함할 수 있다. 디스플레이들은 복수의 깊이 평면들에 있는 이미지들을 착용자에게 제시하도록 구성될 수 있다. 디스플레이들은 회절 엘리먼트들을 가진 평면형 도파관들을 포함할 수 있다. 본원에서 개시된 실시예들 중 임의의 실시예와 함께 사용가능한 디스플레이들, 머리 장착 디바이스들, 및 다른 AR 컴포넌트들의 예들은 미국 특허 공개 번호 제 2015/0016777호에서 설명된다. 미국 특허 공개 번호 제 2015/0016777호는 이로써 그 전체가 인용에 의해 본원에 포함된다.
전자기 로컬리제이션의 예들
[0071] 높은 정밀도 로컬리제이션을 달성하기 위한 하나의 접근법은 사용자의 AR 머리 세트, 벨트 팩 및/또는 다른 보조 디바이스들(예컨대, 토템들, 촉각 디바이스들, 게이밍 기구들 등) 상에 전략적으로 배치된 전자기 센서들과 커플링된 전자기(EM) 필드의 사용을 수반할 수 있다. 전자기 추적 시스템들은 통상적으로 적어도 전자기 필드 방출기 및 적어도 하나의 전자기 필드 센서를 포함한다. 전자기 필드 방출기는 AR 헤드셋의 착용자의 환경에서 알려진 공간적(및/또는 시간적) 분포를 가진 전자기 필드를 생성한다. 전자기 필드 센서들은 센서들의 위치들에서 생성된 전자기 필드들을 측정한다. 이들 측정들 및 생성된 전자기 필드의 분포 지식에 기반하여, 방출기에 관하여 필드 센서의 포즈(예컨대, 포지션 및/또는 배향)가 결정될 수 있다. 따라서, 센서가 부착된 객체의 포즈가 결정될 수 있다.
[0072] 이제 도 4를 참조하면, 전자기 추적 시스템(예컨대 이를테면, 버몬트주의 콜체스터시의 Biosense division of Johnson & Johnson Corporation, Polhemus, Inc.같은 조직들에 의해 개발된 것, 캘리포니아주, 로스 가토스시의 Sixense Entertainment, Inc.에 의해 제조된 것 및 다른 추적 회사들에 의해 제조된 것)의 예시적인 시스템 다이어그램이 예시된다. 하나 또는 그 초과의 실시예들에서, 전자기 추적 시스템은 알려진 자기장을 방출하도록 구성된 전자기 필드 방출기(402)를 포함한다. 도 4에 도시된 바와 같이, 전자기 필드 방출기는 전력을 방출기(402)에 제공하기 위한 전원(예컨대, 전기 전류, 배터리들 등)에 커플링될 수 있다.
[0073] 하나 또는 그 초과의 실시예들에서, 전자기 필드 방출기(402)는 자기장들을 생성하는 몇몇 코일들(예컨대, X, Y 및 Z 방향들로 필드를 생성하기 위해 서로 수직으로 포지셔닝된 적어도 3개의 코일들)을 포함한다. 이런 자기장은 좌표 공간(예컨대, X-Y-Z 데카르트 좌표 공간)을 설정하는 데 사용된다. 이것은 시스템이 알려진 자기장에 관하여 센서들의 포지션(예컨대, (X, Y, Z) 포지션)을 매핑하는 것을 허용하고, 그리고 센서들의 포지션 및/또는 배향을 결정하는 것을 돕는다. 하나 또는 그 초과의 실시예들에서, 전자기 센서들(404a, 404b 등)은 하나 또는 그 초과의 실제 객체들에 부착될 수 있다. 전자기 센서들(404)은 방출된 전자기 필드를 통해 전류를 유도할 수 있는 더 작은 코일들을 포함할 수 있다. 일반적으로, "센서" 컴포넌트들(404)은, 작은 코일들 또는 루프(loop)들, 이를테면 큐브(cube) 또는 다른 컨테이너(container) 같은 작은 구조 내에서 함께 커플링되고, 방출기(402)에 의해 방출된 자기장으로부터 인입하는 자속을 캡처하도록 포지셔닝/배향되는 3개의 상이하게 배향된(예컨대 이를테면, 서로에 관하여 직교하여 배향된) 코일들의 세트를 포함할 수 있고, 그리고 이들 코일들을 통해 유도된 전류들을 비교하고, 그리고 서로에 관하여 코일들의 상대적 포지셔닝 및 배향을 앎으로써, 방출기에 관하여 센서의 상대적 포지션 및 배향이 계산될 수 있다.
[0074] 전자기 추적 센서들에 동작가능하게 커플링된 관성 측정 유닛("IMU") 컴포넌트들 및 코일들의 거동에 관련된 하나 또는 그 초과의 파라미터들은 전자기 필드 방출기가 커플링된 좌표 시스템에 관하여 센서(및 이것이 부착된 객체)의 포지션 및/또는 배향을 검출하기 위해 측정될 수 있다. 하나 또는 그 초과의 실시예들에서, 다수의 센서들은 좌표 공간 내의 센서들 각각의 포지션 및 배향을 검출하기 위해 전자기 방출기에 관하여 사용될 수 있다. 전자기 추적 시스템은 3개의 방향들(예컨대, X, Y 및 Z 방향들), 및 추가로 2개 또는 3개의 배향 각도들에서의 포지션들을 제공할 수 있다. 하나 또는 그 초과의 실시예들에서, IMU의 측정치들은 센서들의 포지션 및 배향을 결정하기 위해 코일의 측정치들과 비교될 수 있다. 하나 또는 그 초과의 실시예들에서, 다양한 다른 데이터 소스들, 이를테면 카메라들, 깊이 센서들, 및 다른 센서들과 함께, 전자기(EM) 데이터 및 IMU 데이터 둘 모두는 포지션 및 배향을 결정하기 위해 결합될 수 있다. 이 정보는 제어기(406)에 송신(예컨대, 무선 통신, 블루투스 등)될 수 있다. 하나 또는 그 초과의 실시예들에서, 포즈(또는 포지션 및 배향)는 종래의 시스템들에서 비교적 높은 리프레시 레이트(refresh rate)로 리포팅될 수 있다. 종래에, 전자기 필드 방출기는 비교적 안정되고 큰 객체, 이를테면 테이블, 수술대, 벽 또는 천장에 커플링되고, 그리고 하나 또는 그 초과의 센서들은 더 작은 객체들, 이를테면 의료 디바이스들, 핸드헬드 게이밍 컴포넌트들 등에 커플링된다. 대안적으로, 도 6을 참조하여 아래에서 설명된 바와 같이, 전자기 추적 시스템의 다양한 피처(feature)들은 더 안정된 글로벌 좌표 시스템에 관하여 공간에서 움직이는 2개의 객체들 사이의 포지션 및/또는 배향의 변화들 또는 델타(delta)들이 추적될 수 있는 구성을 생성하는 데 이용될 수 있고; 다시 말해서, 전자기 추적 시스템의 변형이 머리 장착 컴포넌트와 핸드헬드 컴포넌트 사이의 포지션 및 배향 델타를 추적하는 데 활용될 수 있는 반면, 글로벌 좌표 시스템(사용자에게 국한되는 룸 환경의 경우)에 관하여 머리 포즈가 이를테면 시스템의 머리 장착 컴포넌트에 커플링될 수 있는 외향 캡처링 카메라들을 사용하는 "SLAM"(simultaneous localization and mapping) 기법들에 의해 달리 결정되는 구성이 도 6에 도시된다.
[0075] 제어기(406)는 전자기 필드 생성기(402)를 제어할 수 있고, 그리고 또한 다양한 전자기 센서(404)로부터 데이터를 캡처할 수 있다. 시스템의 다양한 컴포넌트들이 임의의 전자-기계적 또는 무선/블루투스 수단을 통해 서로 커플링될 수 있다는 것이 인식되어야 한다. 제어기(406)는 또한 알려진 자기장, 및 자기장에 대한 좌표 공간에 관한 데이터를 포함할 수 있다. 이어서, 이 정보는 알려진 전자기 필드에 대응하는 좌표 공간에 관련하여 센서들의 포지션 및 배향을 검출하는 데 사용된다.
[0076] 전자기 추적 시스템들의 하나의 장점은, 이들이 최소 레이턴시 및 고해상도로 고도로 정확한 추적 결과를 생성하는 것이다. 부가적으로, 전자기 추적 시스템은 반드시 광학 추적기들에 의존하지는 않고, 그리고 사용자의 시선(line-of-vision)에 있지 않은 센서들/객체들이 쉽게 추적될 수 있다.
[0077] 전자기 필드(v)의 세기가 코일 송신기(예컨대, 전자기 필드 방출기(402))로부터의 거리(r)의 삼차함수로서 강하하는 것이 인식되어야 한다. 따라서, 알고리즘은 전자기 필드 방출기로부터 떨어진 거리에 기반하여 사용될 수 있다. 제어기(406)는 전자기 필드 방출기로부터 떨어져 가변 거리들에 있는 센서/객체의 포지션 및 배향을 결정하기 위해 그런 알고리즘들로 구성될 수 있다. 센서가 전자기 방출기로부터 더 멀리 움직임에 따라 전자기 필드의 세기가 빠르게 감소하면, 정확도, 효율성 및 낮은 레이턴시 측면에서 최상의 결과들은 더 가까운 거리들에서 달성될 수 있다. 통상적인 전자기 추적 시스템들에서, 전자기 필드 방출기는 전기 전류에 의해 전력을 인가받고(예컨대, 전원을 플러그-인) 전자기 필드 방출기로부터 20ft 반경 내에 위치된 센서들을 가진다. 센서들과 전자기 필드 방출기 사이의 더 짧은 반경은 AR 애플리케이션들을 포함하여, 많은 애플리케이션들에서 더 바람직할 수 있다.
[0078] 이제 도 5를 참조하면, 통상적인 전자기 추적 시스템의 기능을 설명하는 예시적인 흐름도가 간략히 설명된다. 502에서, 알려진 전자기 필드가 방출된다. 하나 또는 그 초과의 실시예들에서, 자기장 방출기는, 각각의 코일이 하나의 방향(예컨대, X, Y 또는 Z)으로 전기장을 생성할 수 있는 자기장들을 생성할 수 있다. 자기장들은 임의의 파형으로 생성될 수 있다. 하나 또는 그 초과의 실시예들에서, 각각의 축들을 따른 자기장 성분은 다른 방향들을 따른 다른 자기장 성분들과 약간 상이한 주파수로 진동할 수 있다. 504에서, 전자기 필드에 대응하는 좌표 공간이 결정될 수 있다. 예컨대, 도 4의 제어부(406)는 전자기 필드에 기반하여 방출기 주위 좌표 공간을 자동으로 결정할 수 있다. 506에서, (알려진 객체에 부착될 수 있는) 센서들에 있는 코일들의 거동이 검출될 수 있다. 예컨대, 코일들에서 유도된 전류가 계산될 수 있다. 다른 실시예들에서, 코일들의 회전, 또는 임의의 다른 정량화가능 거동은 추적 및 측정될 수 있다. 508에서, 이런 거동은 센서(들) 및/또는 알려진 객체의 포지션 또는 배향을 검출하는 데 사용될 수 있다. 예컨대, 제어기(406)는 센서들에 있는 코일들의 거동을 다양한 포지션들 또는 배향들에 상관시키는 매핑 테이블을 컨설팅(consult)할 수 있다. 이들 계산들에 기반하여, 센서들의 배향과 함께 좌표 공간에서의 포지션이 결정될 수 있다.
[0079] AR 시스템들의 맥락에서, 전자기 추적 시스템의 하나 또는 그 초과의 컴포넌트들은 모바일 컴포넌트들의 정확한 추적을 가능하게 하도록 수정될 필요가 있을 수 있다. 위에서 설명된 바와 같이, 사용자의 머리 포즈 및 배향을 추적하는 것은 많은 AR 애플리케이션들에서 바람직할 수 있다. 사용자의 머리 포즈 및 배향의 정확한 결정은 AR 시스템이 올바른 가상 콘텐츠를 사용자에게 디스플레이하는 것을 허용한다. 예컨대, 가상 장면은 실제 빌딩 뒤에 숨어 있는 몬스터를 포함할 수 있다. 빌딩에 관하여 사용자 머리의 포즈 및 배향에 따라, 가상 몬스터의 뷰는, 현실적인 AR 경험이 제공되도록 수정될 필요가 있을 수 있다. 또는, 토템의 포지션 및/또는 배향, 촉각 디바이스 또는 가상 콘텐츠와 상호작용하는 일부 다른 수단은 AR 사용자가 AR 시스템과 상호작용하게 할 수 있는 데 중요할 수 있다. 예컨대, 많은 게이밍 애플리케이션들에서, AR 시스템은 가상 콘텐츠에 관하여 실제 객체의 포지션 및 배향을 검출할 수 있다. 또는, 가상 인터페이스를 디스플레이할 때, 토템의 포지션, 사용자의 손, 촉각 디바이스 또는 AR 시스템과 상호작용하도록 구성된 임의의 다른 실제 객체는 시스템이 커맨드 등을 이해하게 하기 위해, 디스플레이된 가상 인터페이스에 관련하여 알려질 수 있다. 광학 추적을 포함하는 종래의 로컬리제이션 방법들 및 다른 방법들은 통상적으로 높은 레이턴시 및 저해상도 문제들이 유발되고, 이는 많은 증강 현실 애플리케이션에서 가상 콘텐츠를 렌더링하는 것을 어렵게 한다.
[0080] 하나 또는 그 초과의 실시예들에서, 도 4 및 도 5에 관련하여 논의된 전자기 추적 시스템은 방출된 전자기 필드에 관련하여 하나 또는 그 초과의 객체들의 포지션 및 배향을 검출하도록 AR 시스템에 적응될 수 있다. 통상적인 전자기 시스템들은 머리 장착 AR 디바이스들에 대해 문제가 되는 크고 부피가 큰 전자기 방출기들(예컨대, 도 4의 402)을 가지는 경향이 있다. 그러나, (예컨대, 밀리미터 범위 내의) 더 작은 전자기 방출기들이 AR 시스템의 맥락에서 알려진 전자기 필드를 방출하는 데 사용될 수 있다.
[0081] 이제 도 6을 참조하면, 전자기 추적 시스템은 도시된 바와 같이 AR 시스템과 통합될 수 있고, 전자기 필드 방출기(602)는 핸드헬드 제어기(606)의 부분으로서 통합된다. 제어기(606)는 AR 헤드셋(또는 벨트 팩(70))에 관하여 독립적으로 움직임가능할 수 있다. 예컨대, 사용자는 자신의 손에 제어기(606)를 홀딩할 수 있거나, 제어기는 (예컨대, 사용자가 착용한 반지 또는 팔찌로서 또는 글러브의 부분으로서) 사용자의 손 또는 팔에 장착될 수 있다. 하나 또는 그 초과의 실시예들에서, 핸드헬드 제어기는 게이밍 시나리오(예컨대, 멀티 자유도 제어기)에 사용되거나 또는 AR 환경에서 풍부한 사용자 경험을 제공하거나 또는 AR 시스템과의 사용자 상호작용을 허용할 토템일 수 있다. 다른 실시예들에서, 핸드헬드 제어기는 촉각 디바이스일 수 있다. 또 다른 실시예들에서, 전자기 필드 방출기는 벨트 팩(70)의 부분으로서 단순히 통합될 수 있다. 핸드헬드 제어기(606)는 배터리(610) 또는 그 전자기 필드 방출기(602)에 전력을 제공하는 다른 전원을 포함할 수 있다. 전자기 필드 방출기(602)가 또한 다른 컴포넌트들에 관하여 전자기 필드 방출기(602)의 포지셔닝 및/또는 배향을 결정하는 것을 돕도록 구성된 IMU(650) 컴포넌트를 포함하거나 이에 커플링될 수 있다는 것이 인식되어야 한다. 이것은, 전자기 필드 방출기(602) 및 센서들(604) 둘 모두가 이동적인 경우들에서 특히 유리할 수 있다. 도 6의 실시예에서 도시된 바와 같이, 벨트 팩보다 오히려 핸드헬드 제어기에 전자기 필드 방출기(602)를 배치하는 것은, 전자기 필드 방출기가 벨트 팩에서 리소스들에 대해 경쟁하는 것이 아니라, 오히려 핸드헬드 제어기(606)에서 그 자신의 배터리 소스를 사용하는 것을 보장하는 것을 돕는다. 또 다른 실시예들에서, 전자기 필드 방출기(602)는 AR 헤드셋 상에 배치될 수 있고 센서들(604)은 제어기(606) 또는 벨트 팩(70) 상에 배치될 수 있다.
[0082] 하나 또는 그 초과의 실시예들에서, 전자기 센서들(604)은 다른 감지 디바이스들, 이를테면 하나 또는 그 초과의 IMU들 또는 부가적인 자속 캡처링 코일들(608)과 함께 사용자의 헤드셋 상의 하나 또는 그 초과의 위치들에 배치될 수 있다. 예컨대, 도 6에 도시된 바와 같이, 센서들(604, 608)은 헤드셋(58)의 일측 또는 양측에 배치될 수 있다. 이들 센서들이 오히려 작도록(그리고 따라서, 일부 경우들에서, 덜 민감할 수 있음) 엔지니어링되기 때문에, 다수의 센서들을 가지는 것은 효율성 및 정밀도를 개선할 수 있다. 하나 또는 그 초과의 실시예들에서, 하나 또는 그 초과의 센서들은 또한 벨트 팩(70) 또는 사용자의 몸체의 임의의 다른 부분 상에 배치될 수 있다. 센서들(604, 608)은 무선으로 또는 블루투스를 통해 센서들(및 이것이 부착된 AR 헤드셋)의 포즈 및 배향을 결정하는 컴퓨팅 장치와 통신할 수 있다. 하나 또는 그 초과의 실시예들에서, 컴퓨팅 장치는 벨트 팩(70)에 상주할 수 있다. 다른 실시예들에서, 컴퓨팅 장치는 헤드셋 자체, 또는 심지어 핸드헬드 제어기(606)에 상주할 수 있다. 결국, 하나 또는 그 초과의 실시예들에서, 컴퓨팅 장치는 포즈를 검출하기 위한 매핑 데이터베이스(예컨대, 전달가능 세계 모델, 좌표 공간 등)를 포함하여, 실제 객체들 및 가상 객체들의 좌표들을 결정할 수 있고, 그리고 심지어 클라우드 리소스들 및 전달가능 세계 모델에 연결될 수 있다.
[0083] 위에서 설명된 바와 같이, 종래의 전자기 방출기들은 AR 디바이스들을 위해서는 너무 부피가 클 수 있다. 그러므로, 전자기 필드 방출기는 종래의 시스템들과 비교할 때 더 작은 코일들을 사용하여, 컴팩트하도록 엔지니어링될 수 있다. 그러나, 전자기 필드의 세기가 전자기 필드 방출기로부터의 거리의 삼차함수로서 감소하는 경우, 전자기 센서들(604)과 전자기 필드 방출기(602) 사이의 더 짧은 반경(예컨대, 약 3 내지 3.5ft)은 도 4에서 상세하게 설명된 것과 같은 종래의 시스템들과 비교할 때 전력 소비를 감소시킬 수 있다.
[0084] 하나 또는 그 초과의 실시예들에서, 이런 양상은 제어기(606) 및 전자기 필드 방출기(602)에 전력을 제공할 수 있는 배터리(610)의 수명을 연장시키는 데 활용될 수 있다. 또는, 다른 실시예들에서, 이런 양상은 전자기 필드 방출기(602)에서 자기장을 생성하는 코일들의 사이즈를 감소시키는 데 활용될 수 있다. 그러나, 동일한 세기의 자기장을 얻기 위해, 전력은 증가될 필요가 있을 수 있다. 이것은 핸드헬드 제어기(606)에 컴팩트하게 피팅(fit)될 수 있는 컴팩트 전자기 필드 방출기 유닛(602)을 허용한다.
[0085] AR 디바이스들에 전자기 추적 시스템을 사용할 때 몇몇 다른 변화들이 이루어질 수 있다. 비록 이런 포즈 리포팅 레이트가 다소 우수하지만, AR 시스템들은 훨씬 더 효율적인 포즈 리포팅 레이트를 요구할 수 있다. 이런 목적을 위해, IMU 기반 포즈 추적은 (부가적으로 또는 대안적으로) 센서들에 사용될 수 있다. 유리하게, IMU들은 포즈 검출 프로세스의 효율성을 증가시키기 위해 가능한 한 안정되게 유지될 수 있다. IMU들은, 이들이 50-100 밀리초까지 안정되게 유지되도록 엔지니어링될 수 있다. 일부 실시예들이, 포즈 업데이트들이 10 내지 20 Hz의 레이트로 리포팅되게 할 수 있는 외측 포즈 추정기 모듈(예컨대, IMU들은 시간에 걸쳐 드리프트(drift)할 수 있음)을 활용할 수 있다는 것이 인식되어야 한다. IMU들을 합리적인 레이트로 안정되게 유지함으로써, 포즈 업데이트들의 레이트는 (종래의 시스템들에서의 더 높은 주파수들과 비교할 때) 10 내지 20 Hz로 극적으로 감소될 수 있다.
[0086] 전자기 추적 시스템이 예컨대 10% 듀티 사이클(예컨대, 단지 100 밀리초마다 실측 자료(ground truth)에 대해서 핑잉(pinging))에서 실행될 수 있으면, 이것은 AR 시스템에서 전력을 절약하기 위한 다른 방식일 것이다. 이것은, 전자기 추적 시스템이 포즈 추정을 생성하기 위해 매 100 밀리초 중에서 매 10 밀리초마다 깨어나는 것을 의미할 것이다. 이는 바로 전력 소비 절약으로 해석되며, 이는 결국 AR 디바이스의 사이즈, 배터리 수명 및 비용에 영향을 미칠 수 있다.
[0087] 하나 또는 그 초과의 실시예들에서, 듀티 사이클의 이런 감소는 단지 하나의 핸드헬드 제어기보다 오히려 2개의 핸드헬드 제어기들(도시되지 않음)을 제공함으로써 전략적으로 활용될 수 있다. 예컨대, 사용자는 2개의 토템들 등을 요구하는 게임을 플레이할 수 있다. 또는, 멀티-사용자 게임에서, 2명의 사용자들은 게임을 플레이하기 위해 그 자신의 토템들/핸드헬드 제어기들을 가질 수 있다. 1개의 제어기보다는 오히려 2개의 제어기들(예컨대, 각각의 손에 대해 대칭적인 제어기들)이 사용될 때, 제어기들은 오프셋 듀티 사이클들로 동작할 수 있다. 동일한 개념은 또한 예컨대, 멀티 플레이어 게임을 플레이하는 2명의 상이한 사용자들에 의해 활용되는 제어기들에 적용될 수 있다.
[0088] 이제 도 7을 참조하면, AR 디바이스들의 맥락에서 전자기 추적 시스템을 설명하는 예시적인 흐름도가 설명된다. 702에서, 휴대용(예컨대, 핸드헬드) 제어기는 자기장을 방출한다. 704에서, 전자기 센서들(헤드셋, 벨트 팩 등에 배치됨)은 자기장을 검출한다. 706에서, 헤드셋/벨트의 포즈(예컨대, 포지션 또는 배향)는 센서들에 있는 코일들/IMU들의 거동에 기반하여 결정된다. 708에서, 포즈 정보는 (예컨대, 벨트 팩 또는 헤드셋에 있는) 컴퓨팅 장치로 전달된다. 710에서, 선택적으로, 매핑 데이터베이스(예컨대, 전달가능 세계 모델)는 (예컨대, 헤드셋/벨트의 포즈에 대해 결정된) 실제 세계 좌표들을 가상 세계 좌표들과 상관시키기 위해 컨설팅될 수 있다. 712에서, 가상 콘텐츠는 AR 헤드셋에서 사용자에게 전달되고 (예컨대, 본원에서 설명된 광 필드 디스플레이들을 통해) 사용자에게 디스플레이될 수 있다. 위에서 설명된 흐름도가 예시적인 목적들만을 위한 것이고, 제한으로 읽혀지지 않아야 하는 것이 인식되어야 한다.
[0089] 유리하게, 도 6에서 약술된 것과 유사한 전자기 추적 시스템을 사용하는 것은 포즈 추적(예컨대, 머리 포지션 및 배향, 토템들의 포지션 및 배향, 및 다른 제어기들)을 가능하게 한다. 이것은 AR 시스템이, 광학 추적 기법들과 비교할 때 더 높은 정확도, 및 매우 낮은 레이턴시로 (결정된 포즈에 적어도 부분적으로 기반하여) 가상 콘텐츠를 투사하는 것을 허용한다.
[0090] 도 8을 참조하면, 많은 감지 컴포넌트들을 특징으로 하는 시스템 구성이 예시된다. 머리 장착 웨어러블 컴포넌트(58)는, 도 9a-도 9f를 참조하여 아래에서 설명된 바와 같이, 여기서 컨트롤 및 퀵 릴리스(control and quick release) 모듈(86)을 또한 특징으로 하는 물리적 멀티코어 리드를 사용하여 로컬 프로세싱 및 데이터 모듈(70), 이를테면 벨트 팩에 동작가능하게 커플링(68)되는 것으로 도시된다. 로컬 프로세싱 및 데이터 모듈(70)은 여기서 무선 연결, 이를테면 저전력 블루투스에 의해 핸드헬드 컴포넌트(606)에 동작가능하게 커플링(100)되고; 핸드헬드 컴포넌트(606)는 또한 이를테면 무선 연결, 이를테면 저전력 블루투스에 의해 머리 장착 웨어러블 컴포넌트(58)에 직접 동작가능하게 커플링(94)될 수 있다. 일반적으로 IMU 데이터가 다양한 컴포넌트들의 포즈 검출을 조정하기 위해 전달되는 경우, 이를테면 수백 또는 수천의 사이클들/초 또는 그 초과의 범위의 고주파 연결이 바람직하고; 초당 수십 사이클들은 이를테면 센서(604) 및 송신기(602) 쌍들에 의한 전자기 로컬리제이션 감지에 적당할 수 있다. 또한, 벽(8)과 같은 사용자 주위 실세계에 있는 고정된 객체들을 나타내는 글로벌 좌표 시스템(10)이 도시된다.
[0091] 클라우드 리소스들(46)은 또한, 각각 로컬 프로세싱 및 데이터 모듈(70)에, 머리 장착 웨어러블 컴포넌트(58)에, 벽(8) 또는 글로벌 좌표 시스템(10)에 관하여 고정된 다른 아이템들에 커플링될 수 있는 리소스들에 동작가능하게 커플링(42, 40, 88, 90)될 수 있다. 벽(8)에 커플링되고 글로벌 좌표 시스템(10)에 관하여 알려진 포지션들 및/또는 배향들을 가진 리소스들은 무선 트랜스시버(114), 전자기 방출기(602) 및/또는 수신기(604), 주어진 타입의 방사선을 방출 또는 반사하도록 구성된 비콘 또는 반사기(112), 이를테면 적외선 LED 비콘, 셀룰러 네트워크 트랜스시버(110), 레이더 방출기 또는 검출기(108), LIDAR 방출기 또는 검출기(106), GPS 트랜스시버(118), 알려진 검출가능 패턴(122)을 가진 포스터(poster) 또는 마커(marker) 및 카메라(124)를 포함할 수 있다.
[0092] 머리 장착 웨어러블 컴포넌트(58)는 카메라(124) 검출기들을 돕도록 구성된 조명 방출기들(130), 이를테면 적외선 카메라(124)용 적외선 방출기들(130) 외에, 예시된 바와 같은 유사한 컴포넌트들을 특징으로 하고; 또한 머리 장착 웨어러블 컴포넌트(58)는 또한 머리 장착 웨어러블 컴포넌트(58)의 프레임 또는 기계적 플랫폼에 고정되게 커플링되고 컴포넌트들, 이를테면 전자기 수신기 센서들(604) 또는 디스플레이 엘리먼트들(62) 사이에서 그런 플랫폼의 휨을 결정하도록 구성될 수 있는 하나 또는 그 초과의 스트레인 게이지(strain gauge)들(116)을 특징으로 하고, 여기서 이를테면 플랫폼의 얇아진 부분, 이를테면 도 8에 묘사된 안경형 플랫폼상의 코 위의 부분에서 플랫폼의 벤딩(bending)이 발생하였는지를 이해하는 것은 중요할 수 있다.
[0093] 머리 장착 웨어러블 컴포넌트(58)는 또한 프로세서(128) 및 하나 또는 그 초과의 IMU들(102)을 특징으로 한다. 컴포넌트들의 각각은 바람직하게 프로세서(128)에 동작가능하게 커플링된다. 유사한 컴포넌트들을 특징으로 하는 핸드헬드 컴포넌트(606) 및 로컬 프로세싱 및 데이터 모듈(70)이 예시된다. 도 8에 도시된 바와 같이, 너무 많은 감지 및 연결성 수단에 의해, 그런 시스템은 무겁고, 전력 과소비형이고, 크고 그리고 비교적 비쌀 공산이 있다. 그러나, 예시 목적들을 위해, 그런 시스템은 매우 높은 레벨의 연결성, 시스템 컴포넌트 통합, 및 포지션/배향 추적을 제공하는 데 활용될 수 있다. 예컨대, 그런 구성으로 인해, 다양한 메인 모바일 컴포넌트들(58, 70, 606)은 와이파이(WiFi), GPS 또는 셀룰러 신호 삼각 측량을 사용하여 글로벌 좌표 시스템에 관하여 포지션의 측면에서 로컬라이징될 수 있고; 비콘들, (본원에서 설명된 바와 같은) 전자기 추적, 레이더 및 LIDAR 시스템들은 또 다른 위치 및/또는 배향 정보 및 피드백을 제공할 수 있다. 마커들 및 카메라들은 또한 상대적 및 절대적 포지션 및 배향에 관한 추가 정보를 제공하는 데 활용될 수 있다. 예컨대, 다양한 카메라 컴포넌트들(124), 이를테면 머리 장착 웨어러블 컴포넌트(58)에 커플링된 것으로 도시된 것들은, 컴포넌트(58)가 어디에 있는지 및 다른 컴포넌트들에 관하여 어떻게 배향되는지를 결정하기 위해 동시 로컬리제이션 및 매핑 프로토콜들, 즉 "SLAM"에 활용될 수 있는 데이터를 캡처하는 데 활용될 수 있다.
[0094] 도 9a-도 9f를 참조하면, 컨트롤 및 퀵 릴리스 모듈(86)의 다양한 양상들이 묘사된다. 도 9a를 참조하면, 2개의 외부 하우징 컴포넌트들(132, 134)은 기계적 래칭(latching)으로 강화될 수 있는 자기적 커플링 구성을 사용하여 함께 커플링된다. 연관된 시스템의 동작을 위한 버튼들(136)에는 예컨대, 온/오프 버튼(원형 버튼) 및 업/다운 볼륨 제어들(삼각형 버튼들)이 포함될 수 있다. 모듈(86)의 대향 단부들은 도 8에 도시된 바와 같이 로컬 프로세싱 및 데이터 모듈(70)과 디스플레이(62) 사이에서 이어지는 전기 리드들에 연결될 수 있다.
[0095] 도 9b는 버튼들(136) 및 아래 놓인 최상부 인쇄 회로 기판(138)을 도시하는, 외부 하우징(132)이 제거된 부분 절취도를 예시한다. 도 9c를 참조하면, 버튼들(136) 및 아래 놓인 최상부 인쇄 회로 기판(138)이 제거되어, 암형 콘택 핀 어레이(140)가 보인다. 도 9d를 참조하면, 하우징(134)의 대향 부분이 제거되어, 하부 인쇄 회로 기판(142)이 보인다. 하부 인쇄 회로 기판(142)이 제거되어, 도 9e에 도시된 바와 같이, 수형 콘택 핀 어레이(144)가 보인다.
[0096] 도 9f의 단면도를 참조하면, 수형 핀들 또는 암형 핀들 중 적어도 하나는, 각각의 핀의 길이방향 축을 따라 눌려질 수 있도록, 스프링-로딩(load)되게 구성될 수 있고; 핀들은 "포고(pogo) 핀들" 이라 칭해질 수 있고 그리고 일반적으로 높은 전도성 재료, 이를테면 구리 또는 금을 포함한다. 전도성 재료는 핀들 상에 도금(예컨대, 침지 또는 전기도금)될 수 있고 전도성 재료의 폭은 예컨대, 일부 경우들에서 적어도 25 μm의 금일 수 있다. 어셈블리될 때, 예시된 구성은 46개의 수형 핀들을 46개의 대응하는 암형 핀들과 짝을 지우고, 그리고 전체 어셈블리는 2개의 하우징들(132, 134)을 떨어지게 수동으로 당기고 그리고 핀 어레이들(140, 144)의 둘레 주위로 배향된 북극 및 남극 자석들을 사용하여 발현될 수 있는 자기 인터페이스(146) 로드를 극복함으로써 퀵-릴리스 디커플링(decouple)될 수 있다. 일 실시예에서, 46개의 포고 핀들을 압축함으로 인한 거의 2 kg 로드는 자기 인터페이스(146)에 의해 제공된 약 4 kg의 폐쇄 유지력으로 상쇄된다. 어레이에서 핀들은 약 1.3mm만큼 분리될 수 있고, 그리고 핀들은 일 실시예에서, 다양한 타입들의 전도성 라인들, 이를테면 USB 3.0, HDMI 2.0(디지털 비디오용), 및 I2S(디지털 오디오용), 고속 직렬 데이터용 TMDS(transition-minimized differential signaling), GPIO(general purpose input/output) 및 모바일 인터페이스(예컨대, MIPI) 구성들 같은 인터페이스들을 지원하기 위한 트위스티드(twisted) 쌍들 또는 다른 조합들, 배터리/전력 연결부들, 및 약 4 amps 및 5 볼트까지를 위해 구성된 고전류 아날로그 라인들 및 접지들에 동작가능하게 커플링될 수 있다.
[0097] 일 실시예에서, 자기 인터페이스(146)는 일반적으로 직사각형이고 핀 어레이들(140, 144)을 둘러싸고 그리고 약 1 mm 폭 및 4.8 mm 높이이다. 직사각형 자석의 내부 직경은 약 14.6 mm이다. 수형 핀 어레이(144)를 둘러싸는 자석은 제1 극성(예컨대, 북극)을 가질 수 있고, 암형 핀 어레이(140)를 둘러싸는 자석은 제2(반대) 극성(예컨대, 남극)을 가질 수 있다. 일부 경우들에서, 각각의 자석은 북극 및 남극 극성들의 혼합을 포함하고, 대향 자석은 대응하는 반대 극성들을 가져서, 하우징들(132, 134)을 함께 홀딩하는 것을 돕도록 자기 인력을 제공한다.
[0098] 어레이들(140, 144)에서 포고 핀들은 4.0 내지 4.6 mm 범위의 높이들 및 0.6 내지 0.8 mm 범위의 직경들을 가진다. 어레이의 상이한 핀들은 상이한 높이들, 직경들 및 피치(pitch)들을 가질 수 있다. 예컨대, 일 구현에서, 핀 어레이들(140, 144)은 약 42 내지 50 mm의 길이, 약 7 내지 10 mm의 폭 및 약 5 mm의 높이를 가진다. USB 2.0 및 다른 신호들용 핀 어레이의 피치는 약 1.3 mm일 수 있고, 고속 신호들용 핀 어레이의 피치는 약 2.0 내지 2.5 mm일 수 있다.
[0099] 도 10을 참조하면, 다양한 컴포넌트들의 무게 또는 부피를 감소시키거나 최소화하고, 그리고 비교적 슬림한 머리 장착 컴포넌트, 예컨대 이를테면 도 10에서 특징으로 하는 것(58)에 도달할 수 있도록 최소화된 컴포넌트/피처 세트를 갖는 것이 도움이 될 수 있다. 따라서, 도 8에 도시된 다양한 컴포넌트들의 다양한 순열들 및 조합들이 활용될 수 있다.
AR 시스템 내의 예시적인 전자기 감지 컴포넌트들
[0100] 도 11a를 참조하면, 전자기 감지 코일 어셈블리(604, 예컨대 하우징에 커플링된 3개의 개별 코일들)는 머리 장착 컴포넌트(58)에 커플링되는 것으로 도시되고; 그런 구성은 바람직하지 않을 수 있는 부가적인 기하구조를 전체 어셈블리에 부가한다. 도 11b를 참조하면, 도 11a의 구성에서와 같이 박스 또는 단일 하우징(604) 내에 코일들을 하우징하기보다, 개별 코일들은 도 11b에 도시된 바와 같이 머리 장착 컴포넌트(58)의 다양한 구조들에 통합될 수 있다. 도 11b는 X-축 코일들(148), Y-축 코일들(150) 및 Z-축 코일들(152)에 대한 머리 장착 디스플레이(58) 상의 위치들의 예들을 도시한다. 따라서, 감지 코일들은 전자기 추적 시스템에 의해 디스플레이(58)의 로컬리제이션 및/또는 배향의 원하는 공간 분해능 또는 정확도를 제공하기 위해 머리 장착 디스플레이(58) 상에 또는 그 주위에 공간적으로 분배될 수 있다.
[0101] 도 12a-도 12e는 필드 감도를 증가시키기 위해 전자기 센서에 커플링된 페라이트 코어(1200a-1200e)를 사용하기 위한 다양한 구성들을 예시한다. 도 12a는 큐브 형상의 솔리드(solid) 페라이트 코어(1200a)를 예시하고, 도 12b는 서로 이격된 복수의 직사각형 디스크들로서 구성된 페라이트 코어(1200b)를 도시하고, 도 12c는 단일 축 공기 코어를 가진 페라이트 코어(1200c)를 도시하고, 도 12d는 3개의 축 공기 코어를 가진 페라이트 코어(1200d)를 도시하고, 그리고 도 12e는 (플라스틱으로 만들어질 수 있는) 하우징 내에 복수의 페라이트 막대들을 포함하는 페라이트 코어(1200e)를 도시한다. 도 12b-도 12e의 실시예들(1200b-1200e)은 도 12a의 솔리드 코어 실시예(1200a)보다 무게가 가볍고 질량을 절약하는 데 활용될 수 있다. 비록 도 12a-도 12e에서 큐브로서 도시되지만, 페라이트 코어는 다른 실시예들에서 상이하게 형상화될 수 있다.
EM 추적 시스템들에 대한 주파수 분할 멀티플렉싱, 시분할 멀티플렉싱 및 이득 제어
[0102] 종래의 EM 추적 해결책들은 통상적으로 주파수 분할 멀티플렉싱(FDM) 회로 설계 또는 시분할 멀티플렉싱(TDM) 회로 설계를 이용한다. 그러나, FDM 설계는 통상적으로 더 많은 전류를 사용하고 TDM 설계는 통상적으로 제한된 수의 사용자들만을 지원한다. 아래에서 더 설명된 바와 같이, FDM 및 TDM 설계들 둘 모두를 병합한 회로 설계는 둘 다의 이익들을 달성할 수 있다. 그런 설계의 장점들은 종래의 설계들과 비교할 때 인쇄 회로 기판(PCB)의 영역, 재료 비용들, 사용된 부품들의 수, 및/또는 전류 드레인(drain)에 대한 절약들을 포함할 수 있다. 설계는 또한 개선된 또는 최적 성능으로 다수의 사용자들을 허용할 수 있다.
[0103] 도 13a는 주파수 분할 멀티플렉싱(FDM)된 EM 송신기(TX) 회로(1302)의 예를 개략적으로 예시하는 블록 다이어그램이다. EM 송신기 회로는 EM 추적 시스템 내의 3개의 튜닝된 직교 코일들을 구동할 수 있다. EM TX에 의해 생성된 시변 EM 필드는 EM 수신기(예컨대, 도 13b를 참조하여 설명됨)에 의해 감지될 수 있다. 이 회로는, (예컨대, 대역통과 필터(BPF)들 및 선택적인 FB(ferrite bead)에서) 필터링되고 그리고 (예컨대, 전치증폭기(PA)들을 통해) 증폭되고 그리고 개별 X, Y, Z 코일들에 공급되는 출력들을 갖는, 3개의 상이한 RF(radio frequency) 주파수들(f1, f2 및 f3)의 3개의 상이한 합성기들을 제어하기 위해 MCU(master control unit)를 사용한다. 회로는 또한 각각의 코일로의 전류가 일정하게 유지되는 것을 보장하는 전류 감지 제어 회로(R-sense 및 전류 ctrl)를 이용한다. 이 회로는 또한 도 13b를 참조하여 설명된 EM 수신기 유닛과 통신하는 MCU에 연결된 RF 무선 통신 인터페이스(예컨대, BLE(Bluetooth Low Energy))를 가진다.
[0104] 도 13b는 주파수 분할 멀티플렉싱된 EM 수신기(RX) 회로(1304)의 예를 개략적으로 예시하는 블록 다이어그램이다. EM 수신기는 EM TX 회로(1302)(예컨대, 도 13a를 참조)에 의해 생성된 시변 EM 신호들을 수신하기 위해 3개의 직교 코일들(주파수(f1)에서 동작하는 X-코일, 주파수(f2)에서 동작하는 Y-코일 및 주파수(f3)에서 동작하는 Z-코일)을 사용한다. 3개의 신호들은 병렬로 (예컨대, 전치증폭기(PA)들을 통해) 개별적으로 증폭되고 그리고 (예컨대, 대역통과 필터(BPF)들에 의해) 필터링된다. 선택적으로, 필터 출력은 추가로 증폭될 수 있다. 이어서, 증폭된 출력은 ADC(analog-to-digital)로 공급되고 디지털 신호들은 디지털 신호 프로세서(DSP)에 의해 프로세싱된다. DSP는 ADC가 포화를 유지하도록 전치증폭기들의 이득을 제어할 수 있다. 이런 수신기 설계는 또한 EM 송신기와 통신하는 DSP(또는 MCU)에 연결된 RF(radio frequency) 통신 링크를 가진다(예컨대, 도 13b를 참조하여 설명됨). RF 링크는 BLE(Bluetooth Low Energy)를 포함하여, 임의의 적절한 무선 표준을 지원하도록 구성될 수 있다.
[0105] 도 13a 및 도 13b에 도시된 EM TX 및 RX 회로들(1302, 1304)(및 도 13c-도 13j를 참조하여 아래에서 설명된 TX 및 RX 회로들)은 EM 추적에 사용될 수 있다. 예컨대, EM TX 회로(1302)는 도 4를 참조하여 설명된 EM 필드 방출기(402)에 사용될 수 있고 EM RX 회로(1304)는 도 4를 참조하여 설명된 EM 필드 센서(404)에 사용될 수 있다. 장점들, 이를테면 예컨대, 감소된 부품 카운트, 감소된 PCB 영역, 더 낮은 재료 비용들을 제공할 수 있고, 그리고 최적 성능으로 다수의 사용자들을 허용할 수 있는 EM TX 및 RX 회로들의 부가적인 실시예들이 설명될 것이다.
[0106] 도 13c는 시분할 멀티플렉싱된 EM 송신기 회로(1302)의 예를 개략적으로 예시하는 블록 다이어그램이다. 이 실시예에서, 도 13a의 FDM 회로는 시분할 멀티플렉싱 회로로 변경되었다. TDM 회로는 3개의 직교 코일들로 나뉘어진 단지 하나의 경로만을 사용한다. X, Y 및 Z-코일들은 각각, EM 수신기 회로에 의해 수신된 시변 EM 필드들을 생성하기 위해 주파수들(f1, f2 및 f3)에서 동작한다. TDM 회로는 TDM 타이밍 프로토콜(예컨대, 도 13f 및 도 13g를 참조)에 따라 개별 시간들(t1, t2 및 t3)에서 이들 코일들을 동작시킬 수 있다. 자동 이득 제어(AGC)는 송신기 회로에 포함될 수 있다(도 13i 및 도 13j를 참조하여 아래에서 추가로 설명됨). 각각의 코일은 MCU에 의해 할당된 원하는 주파수로 동적으로 주파수 튜닝될 수 있다.
동적 주파수 튜닝
[0107] 동적 주파수 튜닝은 EM TX 회로에서 증가된 또는 최대 전류 흐름을 획득하기 위해 각각의 코일에 대해 공진을 달성하는 데 사용될 수 있다. 동적 주파수 튜닝은 다수의 사용자들을 수용하는 데 사용될 수 있다. 도 13d는 동적 튜닝가능 회로(1306)의 예를 개략적으로 예시하는 블록 다이어그램이다. 동적 튜닝가능 회로들(1306)의 다른 실시예들은 도 17d-도 17g를 참조하여 설명된다. 도 13d에 도시된 회로에서, 송신 코일은 인덕터(L1)에 의해 나타내진다. 정적 캐패시터(C2)는 튜닝가능 캐패시터(C1)와 병렬이다. 이 예에서, 캐패시터(C1)를 튜닝함으로써 코일에 의해 생성된 주파수는 16 kHz 내지 30 kHz의 주파수 범위를 커버한다. 도 13e는 도 13d에 도시된 회로(1306)를 동적으로 튜닝함으로써 달성될 수 있는 다양한 주파수들(16 kHz 내지 30 kHz)에서의 공진들의 예들을 도시하는 그래프이다. 다수의 사용자들을 수용하기 위해, 예시적인 동적 주파수 튜닝 회로는 사용자당 1개의 송신(TX) 주파수를 이용할 수 있다. 주파수 할당들의 예들은 표 1에 도시된다.
| 예시적인 주파수 할당들 | |
| 시작 주파수 | 16 kHz |
| 정지 주파수 | 30 kHz |
| 사용자들의 # | 4 |
| 코일당 주파수들의 # | 1 |
| 사용자당 TX 주파수들의 # | 2 |
| 주파수 범위 | 14 kHz |
| 채널 간격 | 2 kHz |
| 요구된 총 주파수들 | 8 |
시분할 멀티플렉싱
[0108] 일부 실시예들에서, 송신기 상에서 시분할 멀티플렉싱을 달성하기 위해, 송신기와 수신기 회로들 사이의 동기화가 활용될 수 있다. 동기화에 대한 2개의 가능한 시나리오들이 아래에서 논의된다.
[0109] 제1 시나리오는 수신기 및 송신기 둘 모두의 RF 무선 인터페이스(예컨대, BLE)를 통한 동기화를 사용한다. 무선 RF 링크는 송신기 및 수신기 둘 모두의 클록(clock)들을 동기화시키는 데 사용될 수 있다. 동기화가 달성된 이후, 시분할 멀티플렉싱은 온-보드(on-board) RTC(real-time clock)를 참조할 수 있다.
[0110] 제2 시나리오는 전자기 펄스를 통한 동기화를 사용한다. EM 펄스의 비행 시간은 통상적으로 TDM 회로에 사용된 허용오차들보다 상당히 짧을 것이고 무시될 수 있다. TX EM 펄스는 송신기에 의해 수신기로 전송되고, 수신기는 수신기 클록과 송신기 클록 사이의 시간 차이를 계산한다. 이런 시간 차이는 알려진 오프셋으로서 RF 무선 링크를 통해 통신되거나 무선 인터페이스(예컨대, BLE) 클록에 대한 기준을 조정하는 데 사용된다.
[0111] 일부 실시예들에서, 이들 동기화 시나리오들 중 하나 또는 둘 모두가 구현될 수 있다. 동기화가 완료된 이후, 송신기 및 수신기에 대해 TDM에 대한 시간 시퀀스가 설정될 수 있다. 도 13f는 TDM 타이밍 다이어그램(1308)의 예를 예시한다. X-코일을 통한 TX는, 수신기의 X, Y 및 Z 코일들이 X-코일에 의해 생성된 자속을 수신하는 것을 허용하는 제1 시간 기간 동안 유지될 것이다. 제1 시간 기간 동안, Y-코일 및 Z-코일을 통한 TX들은 실질적으로 오프이다(예컨대, 코일들은 완전히 오프이거나 그들의 정상 동작 전압보다 훨씬 더 낮은(예컨대, < 10%, < 5%, < 1% 등) 전압으로 동작함). X-코일 송신 다음, Y-코일을 통한 TX는 턴 온될 것이고(그리고 X-코일은 실질적으로 턴 오프될 것인 반면, Z-코일은 실질적으로 오프로 유지됨), 그리고 수신기의 X, Y 및 Z 코일들은 TX Y-코일에 의해 생성된 자속을 수신할 것이다. Y-코일 송신 다음, Z-코일을 통한 TX는 턴 온될 것이고(그리고 Y-코일은 실질적으로 턴 오프될 것인 반면, X-코일은 실질적으로 오프로 유지됨), 그리고 수신기의 X, Y 및 Z 코일들은 TX Z-코일에 의해 생성된 자속을 수신할 것이다. 이어서, 이런 타이밍 시퀀스는, EM 송신기가 동작하는 동안 계속 반복된다.
[0112] 다음은 다수의 사용자들을 수용하는 비제한적, 예시적 예를 설명한다. 예컨대, 각각 2개의 송신기들씩 최대 4명의 사용자들을 수용하기 위해, 8개의 TX 주파수들이 요구된다. 이는 일반적으로, 이들 주파수들이 중복되지 않으면 유리하다. 그런 실시예들에서, 스캔 프로세스는, 특정 주파수가 아주 근접하여 사용되는지를 결정하기 위해 EM 수신기에 의해 구현될 수 있다. 도 13g는 스캔 타이밍(1310)의 예를 예시한다. 이런 스캔은 초기화 시뿐 아니라 사용자의 세션 동안 주기적으로 EM 수신기(1304)에 의해 행해질 수 있다. 스캔은 송신기(1302) 내의 TX를 의도적으로 턴 오프하고 그리고 비의도적인 간섭의 존재를 측정하기 위해 (수신기(1304) 내의) RX를 통해 사이클링함으로써 수행될 수 있다. 그 주파수에서 에너지가 있다는 것이 결정되면, 대안적인 주파수가 선택될 수 있다. 이런 스캔은 또한 3개의 직교 코일들 중 (3개 모두가 아닌) 1개 또는 2개를 모니터링함으로써 짧아질 수 있는데, 그 이유는 포지션 및 배향(PnO)이 그 슬롯(slot)에 요구되지 않기 때문이다.
[0113] 도 13h는 EM 추적 시스템 내의 수신기(1304)의 다른 예를 개략적으로 예시하는 블록 다이어그램이다. 도 13b에 예시된 예시적인 FDM 수신기와 비교할 때, TDM 스위치는 3개의 직교 코일들로부터의 개별 경로들을 대체하였다. TDM 스위치는 RF 무선 인터페이스(예컨대, BLE)에 의해 제어될 수 있다. TDM 스위치는 도 13f에 예시된 타이밍 프로토콜(1308)을 활용할 수 있다.
[0114] 다양한 실시예들에서, 도 13c-도 13h를 참조하여 설명된 시분할 멀티플렉싱 TX 및/또는 RX 회로들은 다음 장점들 중 하나 또는 그 초과를 제공할 수 있다. (A) 전류 드레인 및 배터리 수명. 송신기 및 수신기를 시간 멀티플렉싱함으로써, 사용된 전류의 양은 낮아질 수 있다. 이런 감소는, 고전류 회로들, 이를테면 송신기가 더 이상 100%의 시간 동안 활용되지 않는다는 사실로부터 발생한다. 시스템의 전류 드레인은 도 13a 및 도 13b에 도시된 FDM 회로들과 비교할 때 1/3 약간 넘게 감소될 수 있다. (B) BOM(Bill of Materials) 비용. 동일한 결과를 달성하는 데 사용되는 컴포넌트들의 수는 위에서 설명된 TDM 실시예들에서 (도 13a 및 도 13b의 FDM 회로들에 비해) 감소되었다. 동일한 경로를 통해 신호들을 멀티플렉싱하는 것은 부품 수를 감소시키고 이 경우에 컴포넌트들의 비용은 또한 FDM 카운터파트(counterpart)들에 비해 1/3 약간 넘게 감소되어야 한다. (C) PCB 영역. 부품 감소의 다른 이익은 PCB 영역에서 얻어지는 절약들일 수 있다. 부품 카운트는 거의 2/3만큼 감소하였고 따라서 PCB 상에서 요구되는 공간이 감소된다.
[0115] 다른 가능한 장점들은 TX 및 RX 회로들의 감소된 질량일 수 있다. 예컨대, 도 13a 및 도 13b에 도시된 FDM TX 및 RX 회로들은 3개의 직교 코일들 각각에 대해 별개의 필터 및 증폭기 경로들을 활용한다. 대조적으로, 도 13c 및 도 13h에 예시된 TDM TX 및 RX 회로들은 필터 및 증폭기 경로를 공유한다.
[0116] 센서 하우징들을 제거하는 것, 및 하드웨어 오버헤드(overhead)를 절약하기 위해 멀티플렉싱하는 것 외에, 신호 대 노이즈 비율들은 하나보다 많은 전자기 센서들의 세트를 가짐으로써 증가될 수 있고, 각각의 세트는 단일의 더 큰 코일 세트에 비해 상대적으로 작다. 또한, 일반적으로 아주 근접하게 다수의 감지 코일들을 갖기 위해 필요한 주파수 하한들은 대역폭 요건 개선들을 가능하게 하기 위해 개선될 수 있다. 멀티플렉싱이 일반적으로 시간 영역에서 RF 신호들의 수신을 확산시키고, 이것이 일반적으로 더 많은 노이즈 신호들을 초래하고; 따라서 더 큰 코일 직경들이 멀티플렉싱 시스템들에 대해 사용될 수 있다는 점에서, 일반적으로 TD 멀티플렉싱에 트레이드오프가 존재한다. 예컨대, 멀티플렉싱 시스템이 9 mm-측면 치수 큐빅 코일 센서 박스를 활용할 수 있는 경우, 논멀티플렉싱(nonmultiplexed) 시스템은 유사한 성능을 위해 단지 7 mm-측면 치수 큐빅 코일 박스를 활용할 수 있고; 따라서 기하구조 및 질량을 최소화하는 것과 FDM 및 TDM 회로들의 실시예들 사이에서 선택하는 것에 트레이드오프들이 존재할 수 있다.
전자기 추적 시스템에 대한 예시적인 자동 이득 제어
[0117] 도 13a 및 도 13b를 참조하면, FDM 수신기(도 13b)는 폐루프 이득 제어를 구현하는 반면, FDM 송신기(도 13a)는 이득 제어를 구현하지 않고 그리고 수신된 레벨에 무관하게, 자신의 최대 출력 전력에서 송신하도록 남겨진다. 수신기의 이득은 DSP에 의해 세팅될 수 있다. 예컨대, 수신기 코일들 상에 수신된 전압들은 이득 제어를 가진 제1 스테이지에 직접 공급된다. 큰 전압들은 DSP에서 결정될 수 있고, 그리고 DSP는 제1 스테이지의 이득을 자동으로 조정할 수 있다. 수신기에 이득 제어를 배치하는 것은, 심지어 필요하지 않을 때에도, 송신기에서 더 많은 전력을 활용할 수 있다. 따라서, (수신기 측보다 오히려) 송신기 측에서 자동 이득 제어(AGC, 때때로 또한 적응성 이득 제어로 지칭됨)를 이용하는 것이 유리할 수 있고, 이는 수신기 시스템에서 공간을 절약할 수 있고(그렇지 않으면 AGC에 사용될 것임), 이에 의해 훨씬 더 작고 더 휴대가능한 수신기를 허용한다.
[0118] 도 13i는 자동 이득 제어(AGC)를 활용하지 않는 EM 수신기(1304)의 예를 개략적으로 예시하는 블록 다이어그램이다. 제1 스테이지는 더 이상 AGC 회로가 없고(도 13b와 비교됨), 그리고 수신기는 단순히 일정한 이득을 가지도록 설계된다. 코일들 상에 수신된 전압 레벨은 DSP에 의해 결정되고, 그리고 DSP는 그 정보를 무선(예컨대, BLE) 링크에 제공한다. 이런 BLE 링크는 TX 레벨을 제어하기 위해 그 정보를 송신기(도 13j 참조)에 제공할 수 있다.
[0119] 도 13j는 AGC를 이용하는 EM 송신기(1302)의 예를 개략적으로 예시하는 블록 다이어그램이다. 도 13j의 EM 송신기(1302)는 도 13i의 수신기(1304)와 통신할 수 있다. 무선 링크(예컨대, BLE)는 (수신기 상의 BLE 링크로부터) 수신된 전압 레벨을 MCU에 통신한다. 증폭 스테이지는 MCU에 의해 제어되는 조정가능한 이득을 가질 수 있다. 이것은, 요구되는 수신 전압이 작을 때 송신기에서 전류 절약들을 허용할 수 있다.
[0120] 따라서, 도 13i 및 도 13j의 RX 및 TX 회로 예들은 EM 수신기(1304) 대신 EM 송신기(1302)의 AGC를 이용한다. 도 13a 및 도 13b의 RX 및 TX 회로 예들로부터의 이런 변화는, 필요한 경우 TX 전력이 감소되는 것을 허용할 것이기 때문에, 더 작은 RX 설계뿐 아니라 더 효율적인 전력 설계를 허용할 수 있다.
사용자 머리 포즈 또는 손 포즈의 EM 추적의 예들
[0121] 도 14를 참조하면, 일 실시예에서, 사용자가 자신의 웨어러블 컴퓨팅 시스템에 전력을 공급(160)한 이후, 머리 장착 컴포넌트 어셈블리는 실세계 글로벌 좌표 시스템에 관하여 머리 포즈(예컨대, 포지션 또는 배향)를 결정 및 업데이트하기 위해 IMU 및 카메라 데이터(카메라 데이터는, 예컨대 SLAM 분석을 위해, 이를테면 더 많은 로우(raw) 프로세싱 마력이 존재할 수 있는 벨트 팩 프로세서에서 사용됨)의 조합을 캡처할 수 있다(162). 사용자는 또한, 예컨대, 증강 현실 게임을 플레이하기 위해 핸드헬드 컴포넌트를 작동시킬 수 있고(164), 그리고 핸드헬드 컴포넌트는 벨트 팩 및 머리 장착 컴포넌트 중 하나 또는 둘 모두에 동작가능하게 커플링된 전자기 송신기를 포함할 수 있다(166). 하나 또는 그 초과의 전자기 필드 코일 수신기 세트들(예컨대, 하나의 세트는 3개의 상이하게 배향된 개별 코일들임)은 머리 장착 컴포넌트와 핸드헬드 컴포넌트 사이에서 포지션 차이 또는 배향 차이(또는 "델타")를 결정하는 데 활용될 수 있는, 송신기로부터의 자속을 캡처하기 위해 머리 컴포넌트에 커플링된다(168). 글로벌 좌표 시스템에 관하여 포즈를 결정하는 것을 돕는 머리 장착 컴포넌트와 머리 장착 컴포넌트에 관하여 핸드헬드의 상대적 위치 및 배향을 결정하는 것을 돕는 핸드헬드의 조합은, 각각의 컴포넌트의 글로벌 좌표 시스템에 관련된 위치를 시스템이 일반적으로 결정하는 것을 허용하고, 따라서 사용자의 머리 포즈 및 핸드헬드 포즈는, 바람직하게 비교적 낮은 레이턴시로, 핸드헬드 컴포넌트의 움직임들 및 회전들을 사용하여 증강 현실 이미지 피처들 및 상호작용의 프리젠테이션을 위해 추적될 수 있다(170).
[0122] 도 15를 참조하면, 시스템이 머리 장착 컴포넌트(172) 및 핸드헬드 컴포넌트(176, 178) 둘 모두의 포즈를 결정하는 것을 돕는 데 이용가능한 더욱 많은 감지 디바이스들 및 구성들을 포함하여, 사용자의 머리 포즈, 및 핸드헬드 포즈가, 바람직하게 비교적 낮은 레이턴시로, 핸드헬드 컴포넌트의 움직임들 및 회전들을 사용하여 증강 현실 이미지 피처들 및 상호작용의 프리젠테이션을 위해 추적될 수 있다는(180) 것을 제외하고, 도 14의 실시예와 다소 유사한 실시예가 예시된다.
예시적인 스테레오 및 비행 시간 깊이 감지
[0123] 도 16a 및 도 16b를 참조하면, 도 8의 구성들과 유사한 구성의 다양한 양상들이 도시된다. 도 16a의 구성은, LIDAR(106) 타입의 깊이 센서 외에, 도 16a의 구성이 예컨대 스테레오 삼각측량 스타일 깊이 센서(이를테면 패시브 스테레오 깊이 센서, 텍스처 투사 스테레오 깊이 센서, 또는 구조화된 광 스테레오 깊이 센서) 또는 시간 또는 비행 스타일 깊이 센서(이를테면 LIDAR 깊이 센서 또는 변조된 방출 깊이 센서)일 수 있는, 예시 목적들을 위한 일반 깊이 카메라 또는 깊이 센서(154)를 특징으로 하고; 추가로, 도 16a의 구성이 부가적인 전방 지향 "세계" 카메라(124, 이는 720p 범위 해상도 가능 센서를 가진 그레이스케일(grayscale) 카메라일 수 있음)뿐 아니라 비교적 높은 해상도 "픽처(picture) 카메라"(156, 이는 예컨대, 2개의 메가픽셀(megapixel) 또는 더 높은 해상도 가능 센서를 가진, 풀 컬러 카메라일 수 있음)를 가진다는 점에서 도 8의 구성과 상이하다. 도 16b는 도 16b를 참조하여 아래에서 추가로 설명된 바와 같이, 예시 목적들을 위해 도 16a의 구성의 부분 직교도를 도시한다.
[0124] 도 16a 및 위에서 언급된 스테레오 대 비행 시간 스타일 깊이 센서들을 다시 참조하면, 이들 깊이 센서 타입들 각각은, 각각이 다양한 장점들 및 단점들을 가지더라도, 본원에서 개시된 바와 같은 웨어러블 컴퓨팅 솔루션에 이용될 수 있다. 예컨대, 많은 깊이 센서들은 흑색 표면들 및 반짝이거나 반사성 표면들에 어려움들을 가진다. 패시브 스테레오 깊이 감지는 깊이 카메라 또는 센서로 깊이를 계산하기 위해 삼각측량을 얻는 비교적 단순한 방식이지만, 이는, "FOV"(wide field of view)가 요구되는 경우 어려울 수 있고, 그리고 비교적 큰 컴퓨팅 리소스를 요구할 수 있으며; 추가로, 그런 센서 타입은 에지 검출에 어려움들을 가질 수 있고, 이는 사용중인 특정 사용(use) 케이스에 중요할 수 있다. 패시브 스테레오는 텍스처리스(textureless) 벽들, 낮은 광 상황들, 및 반복된 패턴들에 어려움들을 가질 수 있다. 패시브 스테레오 깊이 센서들은 제조자들, 이를테면 Intel 및 Aquifi로부터 입수가능하다. 텍스처 투사를 가진 스테레오(또한 "액티브 스테레오"로 알려짐)는 패시브 스테레오와 유사하지만, 텍스처 투사기는 투사 패턴을 환경상으로 브로드캐스팅하고, 브로드캐스팅되는 텍스처가 많을수록, 깊이 계산을 위한 삼각측량에서 더 큰 정확도가 이용가능하다. 액티브 스테레오는 또한 비교적 높은 컴퓨트 리소스를 요구하고, 와이드 FOV가 요구될 때 난제들이 존재하고, 그리고 에지들을 검출하는 데 다소 최적이 아닐 수 있지만, 텍스처리스 벽들에 효과적이고, 낮은 광에 우수하고, 그리고 일반적으로 반복 패턴들에 있는 문제들을 가지지 않는다는 점에서 패시브 스테레오의 난제들 중 일부를 해결한다. 액티브 스테레오 깊이 센서들은 제조자들, 이를테면 Intel 및 Aquifi로부터 입수가능하다.
[0125] 구조화된 광을 가진 스테레오, 이를테면 Primesense, Inc.에 의해 개발되고 Kinect라는 상표명으로 이용가능한 시스템들뿐 아니라, Mantis Vision, Inc.로부터 입수가능한 시스템들은 일반적으로 단일 카메라/투사기 쌍을 활용하며, 투사기는 선험적으로 알려진 도트(dot)들의 패턴을 브로드캐스팅하도록 구성된다는 점에서 전문화된다. 본질적으로, 시스템은 브로드캐스팅되는 패턴을 알고, 그리고 결정될 변수가 깊이인 것을 안다. 그런 구성들은 컴퓨트 로드에 대해 비교적 효율적일 수 있고, 그리고 와이드 FOV 요건 시나리오들뿐 아니라 다른 인근 디바이스로부터 브로드캐스팅된 패턴들 및 주변 광을 가지는 시나리오들에서 어려울 수 있지만, 많은 시나리오들에서 매우 효과적이고 효율적일 수 있다. PMD Technologies, A.G. 및 SoftKinetic Inc.로부터 입수가능한 것들 같은 변조된 비행 시간 타입 깊이 센서들로 인해, 방출기는 진폭 변조된 광의 파, 이를테면 사인 파를 전송하도록 구성될 수 있고, 일부 구성들에서 인근 또는 심지어 오버랩하게 포지셔닝될 수 있는 카메라 컴포넌트는 카메라 컴포넌트의 픽셀들 각각에 대한 리턴 신호를 수신하고, 깊이 매핑이 결정/계산될 수 있다. 그런 구성들은 기하구조가 비교적 컴팩트하고, 정확도가 높고, 그리고 컴퓨트 로드가 낮을 수 있지만, (이를테면 객체들의 에지들에서) 이미지 해상도, 다중 경로 에러들(이를테면 센서가 반사성이거나 반짝이는 모서리를 겨냥하고 검출기가 하나보다 많은 리턴 경로를 수신하게 됨)의 측면에서 어려울 수 있어서, 일부 깊이 검출 에일리어싱(aliasing)이 존재한다.
[0126] 또한 위에서 언급된 LIDAR이라 지칭될 수 있는 직접 비행 시간 센서들은 LuminAR and Advanced Scientific Concepts, Inc.같은 공급자들로부터 입수가능하다. 이들 비행 시간 구성들로 인해, 일반적으로 광의 펄스(이를테면 피코초, 나노초, 또는 펨토초 길이의 광의 펄스)는 이런 광 핑으로 그 주위로 배향된 세계를 배이싱(bathe)하도록 전송되고; 이어서 카메라 센서 상의 각각의 픽셀은 그 펄스가 리턴하는 것을 기다리고, 그리고 광의 스피드를 알면, 각각의 픽셀에서의 거리가 계산될 수 있다. 그런 구성들은 변조된 비행 시간 센서 구성들(베이스라인 없음, 비교적 와이드 FOV, 높은 정확도, 비교적 낮은 컴퓨트 로드 등) 및 또한 수만 헤르쯔 같은 비교적 높은 프레임레이트(framerate)의 많은 장점들을 가질 수 있다. 이들은 또한 비교적 비싸고, 비교적 낮은 해상도를 가지며, 밝은 광에 민감하고, 그리고 다중 경로 에러들에 예민할 수 있고; 이들은 또한 비교적 크고 무거울 수 있다.
[0127] 도 16b를 참조하면, 사용자의 눈들(12)뿐 아니라 눈 추적, 관찰, 및/또는 이미지 캡처를 가능하게 하기 위해 눈들(12)을 향해 지향된 광 또는 방사선 소스들(16, 이를테면 적외선) 및 시계(fields of view)(28, 30)를 가진 카메라들(14, 이를테면 적외선 카메라들)을 특징으로 하는 부분 상면도가 예시 목적들을 위해 도시된다. 깊이 카메라(154) 및 이의 FOV(24), 및 픽처 카메라(156) 및 이의 FOV(26)와 마찬가지로, 자신의 FOV들(18, 20, 22)을 가진 3개의 외향 지향 세계 캡처링 카메라들(124)이 도시된다. 깊이 카메라(154)로부터 얻어진 깊이 정보는 오버랩핑하는 FOV들 및 다른 전방 지향 카메라들로부터의 데이터를 사용함으로써 강화될 수 있다. 예컨대, 시스템은 결국, 깊이 센서(154)로부터의 서브-VGA, 세계 카메라들(124)로부터의 720p 이미지, 및 때때로 픽처 카메라(156)로부터의 2 메카픽셀 컬러 이미지와 같은 무언가가 될 수 있다. 그런 구성은 공통 FOV를 공유하는 4개의 카메라들을 갖는데, 4개의 카메라들 중 2개는 이질적인 가시 스펙트럼 이미지들을 가지며, 1개는 컬러를 가지며, 세 번째 카메라는 비교적 낮은 해상도 깊이를 가진다. 시스템은 그레이스케일 및 컬러 이미지들에서 세그멘테이션(segmentation)을 행하고, 이들 둘을 융합하고 그리고 이들로부터 비교적 높은 해상도 이미지를 만들고, 일부 스테레오 대응물들을 얻고, 스테레오 깊이에 관한 가설을 제공하기 위해 깊이 센서를 사용하고, 그리고 단지 깊이 센서로부터 이용가능한 것보다 상당히 더 나을 수 있는 더 정제된 깊이 맵을 얻기 위해 스테레오 대응물들을 사용하도록 구성될 수 있다. 그런 프로세스들은 로컬 모바일 프로세싱 하드웨어 상에서 실행될 수 있거나, 또는 아마도 영역 내의 다른 사람들(이를테면 서로 인근에 테이블을 사이에 두고 앉아 있는 2명의 사람들)로부터의 데이터와 함께 클라우드 컴퓨팅 리소스들을 사용하여 실행될 수 있고, 매우 정제된 매핑을 초래할 수 있다. 다른 실시예에서, 위의 센서들 모두는 그런 기능성을 달성하기 위해 하나의 통합 센서로 결합될 수 있다.
EM 추적용 송신 코일의 예시적인 동적 튜닝
[0128] 도 17a-도 17g를 참조하면, 다수의 사용자들이 동일한 시스템 상에서 동작하는 것을 허용하는, 직교 축당 다수의 주파수들에서 송신 코일을 최적으로 동작시키는 것을 가능하게 하기 위해, 전자기 추적을 위한 동적 송신 코일 튜닝 구성의 양상들이 도시된다. 통상적으로 전자기 추적 송신기는 직교 축마다 고정된 주파수들에서 동작하도록 설계될 것이다. 그런 접근법에 의해, 각각의 송신 코일은 동작 주파수에서만 공진을 생성하는 정적 직렬 캐패시턴스로 튜닝된다. 그런 공진은 코일을 통한 가능한 최대 전류 흐름을 허용하고, 이는 차례로 생성된 자속을 최대화한다. 도 17a는 고정된 동작 주파수에서 공진을 생성하는 데 사용되는 통상적인 공진 회로(1305)를 예시한다. 인덕터("L")는 1 mH의 인덕턴스를 가진 단일 축 송신 코일을 나타내고, 그리고 캐패시턴스가 52 nF으로 세팅되면, 도 17b에 도시된 바와 같이, 공진은 22 kHz에서 생성된다. 도 17c는 도시된 도 17a의 회로(1305)를 지나는 전류 대 주파수를 도시하고, 그리고 전류가 공진 주파수에서 최대임을 알 수 있다. 이 시스템이 임의의 다른 주파수에서 동작하는 것으로 예상되면, 동작 회로는 가능한 최대 전류(22 kHz의 공진 주파수에서 발생함)에 있지 않을 것이다.
[0129] 도 17d는 전자기 추적 시스템의 송신기(1302)의 송신기 회로(1306)에 대한 동적 튜닝가능 구성의 실시예를 예시한다. 도 17d에 도시된 예시적인 회로(1306)는 본원에서 설명된 EM 필드 방출기(402, 602, 1302)의 실시예들에 사용될 수 있다. 도 17d의 회로는 발진 전압 소스(1702), 송신(TX) 코일, 고전압(HV) 캐패시터, 및 원하는 공진 주파수에 대한 튜닝을 제공하기 위해 선택될 수 있는 캐패시터 뱅크(1704) 내의 복수의 저전압(LV) 캐패시터들을 포함한다. 동적 주파수 튜닝은 최대 전류 흐름을 얻기 위해 코일 상의 공진(원하는, 동적 조정가능 주파수들에서)을 달성하도록 세팅될 수 있다. 동적 튜닝가능 회로(1306)의 다른 예는 도 17e에 도시되고, 여기서 튜닝가능 캐패시터(1706)("C4")는 도 17f에 예시된 시뮬레이팅된 데이터에서 도시된 바와 같이, 상이한 주파수들에서 공진을 생성하도록 튜닝될 수 있다. 튜닝가능 캐패시터를 튜닝하는 것은 도 17d에 도시된 회로에서 개략적으로 예시된 바와 같이 복수의 상이한 캐패시터들 사이에서 스위칭하는 것을 포함할 수 있다. 도 17e의 실시예에서 도시된 바와 같이, 전자기 추적기의 직교 코일들 중 하나는, 인덕터("L") 및 정적 캐패시터("C5")가 고정된 고전압 캐패시터이기 때문에 시뮬레이팅된다. 이런 고전압 캐패시터는 공진으로 인해 더 높은 전압들을 보일 것이고, 따라서 이의 패키지 사이즈는 일반적으로 더 커질 것이다. 캐패시터(C4)는 상이한 값들로 동적으로 스위칭되는 캐패시터일 것이고, 따라서 더 낮은 최대 전압을 보일 수 있고 그리고 일반적으로 배치 공간을 절약하기 위해 더 작은 기하구조 패키지일 수 있다. 인덕터(L3)는 또한 공진 주파수를 미세 튜닝하는 데 활용될 수 있다.
[0130] 도 17f는 도 17e의 회로(1306)에 의해 달성될 수 있는 공진들의 예들을 예시한다. 도 17f에서, 더 높은 곡선들(248)은 캐패시터(C5) 양단에 전압(Vmid - Vout)을 도시하고, 그리고 더 낮은 곡선들(250)은 캐패시터(C4) 양단에 전압(Vout)을 도시한다. C4의 캐패시턴스가 변함에 따라, 공진 주파수는 (이 예에서 약 22 kHz 내지 30 kHz에서) 변화되고, 그리고 C5 양단 전압(Vmid-Vout; 곡선들(248))이 C4 양단 전압(Vout; 곡선들(250))보다 더 높다는 것이 주목된다. 이것은 일반적으로, 이런 캐패시터의 배수들이 일반적으로 시스템에 사용될 것이기 때문에, 예컨대 동작 공진 주파수당 하나의 캐패시터(예컨대, 도 17d에 도시된 캐패시터 뱅크(1704) 내의 다수의 LV 캐패시터들을 참조)이기 때문에, C4 상에 더 작은 패키지 부분을 허용할 것이다. 도 17g는 캐패시터들 양단 전압에 무관하게, 달성된 최대 전류가 공진을 따르는 것을 도시하는 전류 대 주파수의 플롯(plot)이다. 따라서, 동적으로 튜닝가능 회로의 실시예들은 단일 EM 추적 시스템의 다수의 사용자들에게 개선된 또는 최적화된 성능을 허용하는 다수의 주파수들에 걸쳐 송신 코일에 증가된 또는 최대 전류를 제공할 수 있다.
EM 추적 시스템에 대한 예시적인 오디오 노이즈 소거
[0131] 오디오 스피커들(또는 임의의 외부 자석)은 EM 추적 시스템의 EM 필드 방출기에 의해 생성된 자기장과 비의도적으로 간섭할 수 있는 자기장을 생성할 수 있다. 그런 간섭은 EM 추적 시스템에 의해 제공된 위치 추정의 정확도 또는 신뢰성을 저하시킬 수 있다.
[0132] AR 디바이스들이 발달함에 따라, 이들은 더 복잡해지고 그리고 공존하고 독립적으로 수행하여야 하는 더 많은 기법들을 통합한다. EM 추적 시스템들은 EM 센서의 3D 포지션(및 이에 의해 센서가 부착되거나 통합되는 객체의 3D 포지션)을 결정하기 위해 (EM 필드 방출기에 의해 생성된) 자속의 미세 변화들의 수신(EM 센서에 의함)에 의존한다. EM 추적 센서 코일들에 가까이 상주하는 오디오 스피커들은 실제 포지션을 컴퓨팅하기 위한 EM 추적 시스템의 능력에 간섭할 수 있는 자속을 방출할 수 있다.
[0133] 도 18a-도 18c를 참조하면, 전자기 추적 시스템은 인간 청각에 대한 가청 범위보다 약간 더 높은 약 30 kHz 아래에서 작동하도록 경계가 이루어질 수 있다. 도 18a는, 오디오 스피커(1820)가 EM 센서(604)에 아주 근접하여 있는 구성을 도시한다. 오디오 스피커(1820)는 시변 전압 소스(1822) 및 증폭기(1824)에 의해 구동된다. 스피커가 EM 센서(604)의 코일들에 의해 감지되는 자기장에 노이즈를 생성하기 때문에, 스피커(1820)의 자기장은 EM 추적 시스템에 비의도적인 자기 간섭을 유발할 수 있다. 일부 구현들에서, 오디오 스피커(1820)와 EM 센서(604) 사이의 거리는 수신되는 간섭을 감소시키기 위해 증가될 수 있다. 그러나, 스피커로부터의 자속이 센서로부터의 거리의 세제곱(1/r3)으로 감소되기 때문에, 큰 거리들이 간섭에 매우 작은 감소를 제공하는 포인트가 존재할 것이다. 오디오 스피커(예컨대, 도 2a-도 2d에 도시된 스피커(66))는 일반적으로 AR 디바이스의 착용자에게 오디오 경험을 제공하기 위해 AR 디바이스들에 사용될 것이고; 그러므로, 오디오 스피커가 또한 AR 디바이스 상에 배치된 EM 센서(예컨대, 도 11a에 도시된 예시적인 웨어러블 디스플레이 디바이스(58) 내의 스피커(66)에 가까이 배치된 EM 센서(604))에 비교적 가까운 것이 일반적일 수 있다. 오디오 스피커로부터의 자기장은 EM 추적 시스템의 EM 센서에 의해 감지되는 EM 필드에 간섭할 수 있다.
[0134] 도 18a를 참조하면, 그런 전자기 추적 시스템들에 대해 사용가능한 주파수들에 노이즈를 생성하는 몇몇 오디오 시스템들이 있을 수 있다. 추가로, 오디오 스피커들은 통상적으로 자기장들 및 하나 또는 그 초과의 코일들을 가지며, 이는 또한 전자기 추적 시스템들을 간섭할 수 있다. 도 18b를 참조하면, 전자기 추적 시스템용 노이즈 소거 시스템(1830)의 예에 대한 블록 다이어그램이 도시된다. 비의도적인 EM 간섭이 알려진 엔티티이기 때문에(전압 소스(1822)에 의해 오디오 스피커(1820)에 공급되는 신호가 알려졌거나 측정될 수 있기 때문에), 이런 지식은 오디오 스피커(1820)로부터의 EM 간섭을 소거하고 EM 추적 시스템의 성능을 개선하는 데 사용될 수 있다. 다시 말해서, 시스템에 의해 생성된 오디오 신호는 EM 센서(604)의 코일에 의해 수신된 스피커로부터의 자기 간섭을 소거하는 데 활용될 수 있다. 도 18b에 개략적으로 도시된 바와 같이, 노이즈 소거 회로(1830)는 EM 센서(604)로부터 손상된 신호들(1850a)뿐 아니라 오디오 시스템으로부터의 신호(1850b)를 수용하도록 구성될 수 있다. 노이즈 소거 시스템은 오디오 스피커(1820)로부터 수신된 간섭을 소거하고 그리고 비손상된 센서 신호(1850c)를 제공하기 위해 신호들(1850a, 1850b)을 결합할 수 있다.
[0135] 도 18c는, 간섭을 소거하고 실질적으로 비손상된 센서 신호(1850c)를 제공하기 위해 오디오 신호(1850b)가 어떻게 인버팅되어 손상된 센서 신호(1850a)에 합해질 수 있는지의 예시적이고 비제한적인 예를 도시하는 플롯이다. 최상부 플롯(V(노이즈))은 오디오 스피커(1820)에 의해 EM 추적 시스템에 합해진 노이즈 신호(1850b)이다. 최하부 플롯(V(소거))은 인버팅된 오디오 신호(예컨대, -V(노이즈))이며, 이들이 함께 합해질 때, 효과는 오디오로부터의 노이즈 품질 저하가 없음이다. 다시 말해서, 노이즈 소거 시스템은 EM 송신기 코일들로부터의 신호를 나타내는 실제 EM 센서 신호(V(센서)), 및 노이즈 신호의 합(V(센서)+V(노이즈))인 손상된 신호(1850a)를 수신한다. 인버팅된 오디오 신호(-V(노이즈)를 손상된 신호(1850a)와 합함으로써, 비손상된 신호(V(센서))(1850c))가 복원된다. 비손상된 신호(1850c)는, 오디오 스피커(604)가 존재하지 않는 것처럼 센서(604)의 응답을 반영하고 그러므로 센서(604)의 포지션에서 EM 송신기 필드들을 반영한다. 동등하게, 노이즈 신호(1850b)는 비손상된 신호(V(센서))(1850c)를 복원하기 위해 손상된 신호(1850a)로부터 감산될 수 있다. 노이즈 소거는 (예컨대, 오디오 스피커로부터의) 노이즈 신호의 실질적으로 모두(예컨대, > 80%, >90%, > 95% 또는 그 초과)를 소거하는 것을 초래할 수 있다. 이런 노이즈 소거 기법은 단지 오디오 스피커 노이즈의 소거로 제한되는 것이 아니라, 노이즈 신호의 측정(또는 추정)이 결정(따라서 위에서 설명된 바와 같이 EM 센서 신호로부터 제거될 수 있음)되면 EM 센서 신호에 대한 노이즈 간섭의 다른 소스들에 적용될 수 있다.
[0136] 도 18d는 EM 추적 시스템의 EM 센서에 의해 수신된 간섭을 소거하기 위한 예시적인 방법(1800)을 도시하는 흐름도이다. 방법(1800)은 AR 디바이스의 하드웨어 프로세서, 이를테면 예컨대 로컬 프로세싱 및 데이터 모듈(70)에 의해, 또는 EM 추적 시스템의 하드웨어 프로세서에 의해 수행될 수 있다. 블록(1802)에서, 방법은 전자기 센서로부터 노이지(noisy) 신호를 수신한다. 위에서 설명된 바와 같이, 노이지 신호는 전자기 간섭을 생성하는 인근 오디오 스피커로부터의 간섭에 의해 유발될 수 있다. 블록(1804)에서, 방법은 EM 간섭의 소스로부터 신호를 수신한다. 예컨대, 신호는 오디오 스피커를 구동하는 데 사용되는 신호(1850b)일 수 있다(예컨대, 도 18b 참조). 블록(1806)에서, 노이지 신호 및 간섭 신호는 노이즈 제거된 EM 신호를 획득하기 위해 결합된다. 예컨대, 간섭 신호는 인버팅되어 노이지 신호에 합해질 수 있거나 또는 간섭 신호는 노이지 신호로부터 감산될 수 있다. 블록(1808)에서, 노이즈 제거된 신호는 EM 센서의 위치를 결정하는 데 사용될 수 있다. (노이지 신호를 사용하는 것과 비교할 때) 노이즈 제거된 신호를 사용하여 획득된 위치는 더 정확하고 신뢰성이 있다.
[0137] 따라서, 전술한 바는 EM 추적기 센서에 근접한 오디오 스피커에 의해 생성되는 비의도적인 노이즈를 제거하기 위한 방법을 제공한다. 이 방법은 EM 추적 신호로부터 노이즈를 제거하기 위해 오디오에 관한 알려진 정보를 사용하는 노이즈 소거 방법을 이용한다. 이 시스템은 오디오 스피커와 EM 센서 코일의 충분한 물리적 분리가 달성될 수 없을 때 사용될 수 있다(따라서 간섭이 충분히 낮다). 전술한 바에서, 간섭 노이즈가 오디오 스피커에 의해 생성된 것으로 설명되었지만, 이것은 예시를 위한 것이고 제한이 아니다. 전술한 바의 실시예들은 측정될 수 있고 이어서 손상된 센서 신호로부터 감산될 수 있는 임의의 간섭 신호에 적용될 수 있다.
비전 시스템들의 예시적인 교정
[0138] 도 19를 참조하면, 일 실시예에서, 광들 또는 다른 방출기들의 알려진 패턴(1900)(이를테면 원형 패턴)은 비전 시스템들의 교정을 돕는 데 활용될 수 있다. 예컨대, 원형 패턴은 기점으로서 활용될 수 있고; 알려진 배향을 가진 카메라 또는 다른 캡처 디바이스가, 패턴에 커플링된 객체가 재배향되는 동안, 패턴의 형상을 캡처하기 때문에, 객체, 이를테면 핸드헬드 토템 디바이스(606)의 배향이 결정될 수 있고; 그런 배향은 에러 결정 및 교정에 사용하기 위해 객체(예컨대, 토템) 상의 연관된 IMU로부터 오는 배향과 비교될 수 있다. 도 19를 더 참조하면, 광들의 패턴(1900)은 핸드헬드 토템(606)(도 19에서 원통형으로서 개략적으로 표현됨) 상의 광 방출기들(예컨대, 복수의 LED들)에 의해 생성될 수 있다. 도 19에 도시된 바와 같이, 토템이 AR 헤드셋(58) 상의 카메라에 의해 정면으로 보여질 때, 광들의 패턴(1900)은 원형으로 보인다. 토템(606)이 다른 배향들로 기울어질 때, 패턴(1900)은 타원형으로 보인다. 광들의 패턴(1900)은 컴퓨터 비전 기법들을 사용하여 식별될 수 있고 토템(606)의 배향이 결정될 수 있다.
[0139] 다양한 구현들에서, 증강 현실 디바이스는 광들의 패턴을 식별하기 위한 하나 또는 그 초과의 컴퓨터 비전 기법들을 구현(또는 본원에서 사용 또는 설명된 다른 컴퓨터 비전 절차들을 수행)하도록 구성된 컴퓨터 비전 시스템을 포함할 수 있다. 컴퓨터 비전 기법들의 비제한적 예들은: SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), 비올라-존스 알고리즘(Viola-Jones algorithm), 아이겐페이시스(Eigenfaces) 접근법, 루카스-카나데(Lucas-Kanade) 알고리즘, 혼-셩크(Horn-Schunk) 알고리즘, 민-시프트(Mean-shift) 알고리즘, vSLAM(visual simultaneous location and mapping) 기법들, 순차적 베이지안 추정기(sequential Bayesian estimator)(예컨대, 칼만 필터, 확장 칼만 필터 등), 번들(bundle) 조정, 적응형 스레스홀딩(Adaptive thresholding)(및 다른 스레스홀딩 기법들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램(Feature Point Histogram)들, 다양한 머신 학습 알고리즘들(이를테면, 예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 뉴럴 네트워크(컨볼루셔널 또는 심층 뉴럴 네트워크를 포함함), 또는 다른 감시/비감시 모델들 등) 등을 포함한다.
웨어러블 디스플레이 디바이스들의 서브시스템들에 대한 예시적인 회로들
[0140] 도 20a-도 20c를 참조하면, 웨어러블 컴퓨팅 구성의 2개의 서브시스템들 또는 컴포넌트들, 이를테면 머리 장착 컴포넌트 및 벨트 팩 컴포넌트 사이의 회로를 단순화하기 위해 합산 증폭기(2002)를 가진 구성이 도시된다. 종래의 구성에서, 전자기 추적 센서(604)의 코일들(2004)(도 20a의 좌측 상에 있음)의 각각은 증폭기(2006)와 연관되고, 그리고 3개의 별개의 증폭된 신호들은 합산 증폭기(2002) 및 케이블링을 통해 다른 컴포넌트(예컨대, 도 20b에 도시된 바와 같은 프로세싱 회로)에 전송될 수 있다. 예시된 실시예에서, 3개의 별개의 증폭된 신호들은 합산 증폭기(2002)로 지향될 수 있고, 합산 증폭기(2002)는 유리하게 단순화된 케이블(2008) 아래로 지향되는 하나의 증폭된 신호를 생성하고, 각각의 신호는 상이한 주파수일 수 있다. 합산 증폭기(2002)는 증폭기에 의해 수신된 모두 3개의 신호들을 증폭하도록 구성될 수 있고; 이어서 (도 20b에 예시된 바와 같이) 수신 디지털 신호 프로세서는, 아날로그-디지털 변환 이후, 다른 단부에서 신호들을 분리한다. 이득 제어가 사용될 수 있다. 도 20c는 각각의 주파수(F1, F2 및 F3)에 대한 필터를 예시하고 ― 따라서 신호들은 그런 스테이지에서 다시 분리될 수 있다. 3개의 신호들은 (예컨대, 센서 포즈를 결정하기 위해) 컴퓨테이셔널 알고리즘에 의해 분석될 수 있고 포지션 또는 배향 결과는 (예컨대, 사용자의 순시 머리 포즈에 기반하여 가상 콘텐츠를 사용자에게 적절히 디스플레이하기 위해) AR 시스템에 의해 사용될 수 있다.
예시적인 EM 추적 시스템 업데이팅
[0141] 도 21을 참조하면, 전자기("EM") 추적 업데이팅은 휴대용 시스템에 대한 전력 측면에서 비교적 "비쌀 수" 있고, 매우 높은 빈도 업데이팅이 가능하지 않을 수 있다. "센서 융합" 구성에서, 다른 센서, 이를테면 IMU로부터의 더 빈번하게 업데이트되는 로컬리제이션 정보는 비교적 높은 빈도이거나 또는 아닐 수 있는, 다른 센서, 이를테면 광학 센서(예컨대, 카메라 또는 깊이 카메라)로부터의 데이터와 함께 결합될 수 있고; 이들 입력들 모두를 융합시키는 네트(net)는 EM 시스템에 대한 요구를 낮추고 더 빠른 업데이팅을 제공한다.
[0142] 도 11b를 다시 참조하면, 분산형 센서 코일 구성이 AR 디바이스(58)에 대해 도시되었다. 도 22a를 참조하면, 단일 전자기 센서 디바이스(604), 이를테면 3개의 직교 감지 코일들(X, Y, Z의 각각의 방향에 대해 하나씩)을 포함하는 하우징을 가진 AR 디바이스(58)는 위에서 설명된 바와 같이 6개의 자유도 추적을 위해 웨어러블 컴포넌트(58)에 커플링될 수 있다. 또한 위에서 주목된 바와 같이, 도 22b 및 도 22c에 도시된 바와 같이, 그런 디바이스는 분해될 수 있고, 3개의 서브-부분들(예컨대, 코일들)은 웨어러블 컴포넌트(58)의 상이한 위치들에 부착된다. 도 22c를 참조하면, 추가 설계 대안들을 제공하기 위해, 각각의 개별 센서 코일은 유사하게 배향된 코일들의 그룹으로 대체될 수 있어서, 임의의 주어진 직교 방향에 대해 전체 자속은 각각의 직교 방향에 대해 단일 코일에 의해 캡처되기보다 그룹(148, 150, 152)에 의해 캡처된다. 다시 말해서, 각각의 직교 방향에 대해 하나의 코일보다 오히려, 더 작은 코일들의 그룹이 활용될 수 있고 이들 신호들은 그 직교 방향에 대해 신호를 형성하도록 어그리게이트(aggregate)된다. 특정 시스템 컴포넌트, 이를테면 머리 장착 컴포넌트(58)가 2개 또는 그 초과의 전자기 코일 센서 세트들을 특징으로 하는 다른 실시예에서, 시스템은 시스템의 성능을 개선 또는 최적화하기 위해 서로 가장 근접한(예컨대, 1 cm, 2 cm, 3 cm, 4 cm, 5 cm, 또는 10 cm 내) 센서 및 방출기 쌍을 선택적으로 활용하도록 구성될 수 있다.
웨어러블 디스플레이 시스템을 재교정하는 예들
[0143] 도 23a-도 23c를 참조하면, 본원에서 논의된 것들 같은 웨어러블 컴퓨팅 시스템을 재교정하는 것, 그리고 일 실시예에서 음향 비행 시간 계산 및 수신기에서의 음향 센서(예컨대, 마이크로폰)와 함께 송신기에서 생성된 음향(예컨대, 초음파) 신호들은 송신기와 수신기 사이의 사운드 전파 지연 및 이에 의해 (사운드의 속도가 알려졌기 때문에) 송신기와 수신기 사이의 거리를 결정하는 데 활용될 수 있다. 도 23a는, 일 실시예에서, 송신기 상의 3개의 코일들에 사인파들의 버스(burst)로 에너지가 공급되고 동시에 초음파 트랜스듀서에 바람직하게 코일들 중 하나와 동일한 주파수의 사인파들의 버스트로 에너지가 공급될 수 있다는 것을 도시한다. 도 23b는, EM 수신기가 X, Y, Z 센서 코일들을 사용하여 3개의 EM 파들, 및 마이크로폰(MIC)을 사용하여 음향, 초음파를 수신하도록 구성될 수 있다는 것을 예시한다. 총 거리는 3개의 EM 신호들의 진폭으로부터 계산될 수 있다. 비행 시간(사운드 전파 지연 시간(2300))은 EM 코일들(2304)의 응답과 음향(마이크로폰) 응답(2302)의 타이밍을 비교함으로써 계산될 수 있다(예컨대, 도 23c 참조). 이것은 또한 거리를 계산하는 데 사용될 수 있다. 전자기적으로 계산된 거리를 음향 지연 시간(2300)과 비교하는 것은 EM TX 또는 RX 회로들을 (예컨대, 보정 계수들에 의해) 교정하는 데 사용될 수 있다.
[0144] 도 24a를 참조하면, 다른 실시예에서, 카메라를 특징으로 하는 증강 현실 시스템에서, 거리는 다른 디바이스, 이를테면 핸드헬드 제어기(예컨대, 제어기(606)) 상의 알려진 사이즈 정렬 피처(도 24a에서 화살표로 묘사됨)의 픽셀들의 사이즈를 측정함으로써 계산될 수 있다.
[0145] 도 24b를 참조하면, 다른 실시예에서, 깊이 센서, 이를테면 적외선("IR") 깊이 센서를 특징으로 하는 증강 현실 시스템에서, 거리는 그런 깊이 센서에 의해 계산되어 제어기에 직접 리포팅될 수 있다.
[0146] 도 24c 및 도 24d를 참조하면, 총 거리가 알려지면, 카메라 또는 깊이 센서는 공간에서의 포지션을 결정하는 데 사용될 수 있다. 증강 현실 시스템은 하나 또는 그 초과의 가상 정렬 타겟들을 사용자에게 투사하도록 구성될 수 있다. 사용자는 제어기를 타겟들에 정렬할 수 있고, 그리고 시스템은 EM 응답, 및 가상 타겟들의 방향 더하기(plus) 이미 계산된 거리 둘 모두로부터 포지션을 계산할 수 있다. 롤(roll) 각도 교정은 제어기 상의 알려진 피처를 사용자에게 투사된 가상 객체와 정렬시킴으로써 행해질 수 있고; 요(yaw) 및 피치 각도는 가상 타겟을 사용자에게 제시하고 사용자가 제어기 상의 2개의 피처들을 타겟과 정렬(라이플(rifle)을 보는 것과 매우 흡사함)시키게 함으로써 교정될 수 있다.
[0147] 도 25a 및 도 25b를 참조하면, EM 추적 시스템들과 연관된 고유 모호성이 있을 수 있고: 수신기는 송신기 주위의 2개의 대각선으로 대향되는 위치들에서 유사한 응답을 생성할 것이다. 예컨대, 도 25a는 핸드헬드 디바이스(606) 및 유사한 응답을 생성하는 고스트(ghost) 디바이스(606a)를 도시한다. 그런 난제는 특히, 송신기 및 수신기 둘 모두가 서로에 관하여 모바일일 수 있는 시스템들에 관련된다.
[0148] 일 실시예에서, 시스템은, 사용자가 기준(예컨대, 대칭) 축의 플러스 측 상에 있는지 또는 네거티브 측 상에 있는지 여부를 결정하기 위해 IMU 센서를 사용할 수 있다. 세계 카메라들 및 깊이 카메라를 특징으로 하는 위에서 설명된 것들 같은 실시예에서, 시스템은, 핸드헬드 컴포넌트(예컨대, 도 25b의 핸드헬드(2500))가 기준 축의 포지티브 측에 있는지 네거티브 측에 있는지를 검출하기 위해 그 정보를 사용할 수 있고; 핸드헬드(2500)가 카메라 및/또는 깊이 센서의 시야 외측에 있다면, 시스템은, 핸드헬드 컴포넌트(2500)가 예컨대 도 25b에 도시된 바와 같이 고스트 포지션(2500a)에서, 사용자의 바로 뒤의 180 도 존에 있다는 것을 판정하도록(또는 사용자가 판정할 수 있음) 구성될 수 있다.
부가적인 양상들 및 장점들
[0149] 제1 양상에서, 머리 장착 디스플레이 시스템은 착용자의 눈들의 전면에 포지셔닝 가능한 디스플레이; 주파수를 가진 자기장을 생성하도록 구성된 전자기(EM) 필드 방출기; 그 주파수에서 자기장을 감지하도록 구성된 EM 센서; 및 프로세서를 포함하고, 프로세서는 감지된 자기장을 표시하는 신호들을 EM 센서로부터 수신하고, 그리고 EM 센서의 포지션 또는 배향을 결정하기 위해 수신된 신호들을 분석하도록 프로그래밍된다.
[0150] 제2 양상에서, 양상 1의 머리 장착 디스플레이 시스템에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0151] 제3 양상에서, 양상 1 또는 양상 2의 머리 장착 디스플레이 시스템에 있어서, EM 필드 방출기는 시분할 멀티플렉싱(TDM) 회로를 포함한다.
[0152] 제4 양상에서, 양상 3의 머리 장착 디스플레이 시스템에 있어서, TDM 회로는, 복수의 RF(radio frequency) 송신기 코일들 각각으로 TDM 스위칭되는 단일 증폭기 회로를 포함한다.
[0153] 제5 양상에서, 양상 3 또는 양상 4의 머리 장착 디스플레이 시스템에 있어서, EM 필드 방출기는 주파수를 동적으로 튜닝하도록 구성된다.
[0154] 제6 양상에서, 양상 5의 머리 장착 디스플레이 시스템에 있어서, 주파수를 동적으로 튜닝하기 위해, EM 필드 방출기는 캐패시터의 캐패시턴스를 변화시키거나 또는 캐패시터 뱅크 내의 복수의 캐패시터들 중에서 선택하도록 구성된다.
[0155] 제7 양상에서, 양상 3 내지 양상 6 중 어느 한 양상의 머리 장착 디스플레이 시스템에 있어서, EM 필드 방출기는 제1 무선 인터페이스를 포함하고, EM 센서는 제2 무선 인터페이스 및 TDM 회로를 포함하고, 그리고 EM 필드 방출기 및 EM 센서는 제1 무선 인터페이스와 제2 무선 인터페이스 사이에 무선 링크를 설정하고; 그리고 무선 링크를 통해 동기화하도록 구성된다.
[0156] 제8 양상에서, 양상 3 내지 양상 7 중 어느 한 양상의 머리 장착 디스플레이 시스템에 있어서, EM 필드 방출기는 EM 펄스를 EM 센서에 송신하도록 구성되고, 그리고 EM 필드 방출기 또는 EM 센서는 EM 필드 방출기 클록과 EM 센서 클록 사이의 타이밍 차이를 결정하도록 구성된다.
[0157] 제9 양상에서, 양상 7 또는 양상 8의 머리 장착 디스플레이 시스템에 있어서, EM 필드 방출기는 제1 코일 및 제2 코일을 포함하고, 그리고 EM 필드 방출기는, 제1 코일이 제1 시간 기간 동안 송신하는 반면, 제2 코일이 제1 시간 기간 동안 실질적으로 송신하지 않고; 그리고 제2 코일이 제1 시간 기간과 상이한 제2 시간 기간 동안 송신하는 반면, 제1 코일이 제2 시간 기간 동안 실질적으로 송신하지 않는 TDM 타이밍 프로토콜을 적용하도록 구성된다.
[0158] 제10 양상에서, 양상 7 내지 양상 9 중 어느 한 양상의 머리 장착 디스플레이 시스템에 있어서, EM 센서는: 제3 시간 기간 동안 주파수에서 비의도적인 RF 간섭을 스캔하고; 그리고 그 주파수에서 비의도적인 RF 간섭의 존재의 결정에 대한 응답으로, 그 주파수와 상이한 대안 주파수로 스위칭하도록 구성된다.
[0159] 제11 양상에서, 양상 10의 머리 장착 디스플레이 시스템에 있어서, EM 필드 방출기는 제3 시간 기간 동안 송신을 실질적으로 중단시키도록 구성된다.
[0160] 제12 양상에서, 양상 1 내지 양상 11 중 어느 한 양상의 머리 장착 디스플레이 시스템에 있어서, EM 필드 방출기는 자동 이득 제어(AGC) 회로를 포함한다.
[0161] 제13 양상에서, 양상 12의 머리 장착 디스플레이 시스템에 있어서, EM 센서는 AGC 회로를 포함하지 않는다.
[0162] 제14 양상에서, 양상 12 또는 양상 13의 머리 장착 디스플레이 시스템에 있어서, EM 필드 방출기의 AGC 회로는: EM 센서 내의 코일에 대한 전압 레벨을 수신하고; 그리고 수신된 전압 레벨에 적어도 부분적으로 기반하여 EM 필드 방출기의 증폭 스테이지에 대한 이득을 조정하도록 구성된다.
[0163] 제15 양상에서, 양상 1 내지 양상 14 중 어느 한 양상의 머리 장착 디스플레이 시스템에 있어서, 머리 장착 디스플레이 시스템은 오디오 스피커를 더 포함하고 EM 센서는 노이즈 소거 회로를 포함한다.
[0164] 제16 양상에서, 양상 15의 머리 장착 디스플레이 시스템에 있어서, 노이즈 소거 회로는: EM 센서로부터 제1 신호를 수신하고; 오디오 스피커로부터 제2 신호를 수신하고; 노이즈 소거된 신호를 제공하기 위해 제1 신호 및 제2 신호를 결합하도록 구성된다.
[0165] 제17 양상에서, 양상 16의 머리 장착 디스플레이 시스템에 있어서, 제1 신호 및 제2 신호를 결합하기 위해, 노이즈 소거 회로는: (a) 제2 신호를 인버팅하고 인버팅된 제2 신호를 제1 신호에 합하거나 또는 (b) 제1 신호로부터 제2 신호를 감산하도록 구성된다.
[0166] 제18 양상에서, 양상 1 내지 양상 17 중 어느 한 양상의 머리 장착 디스플레이 시스템에 있어서, 사용자 입력 토템을 더 포함하고, 사용자 입력 토템은 EM 필드 방출기를 포함한다.
[0167] 제19 양상에서, 전자기(EM) 추적 시스템은: 제1 주파수를 가진 제1 자기장을 생성하도록 구성된 제1 송신기 코일, 제2 주파수를 가진 제2 자기장을 생성하도록 구성된 제2 송신기 코일, 및 제3 주파수를 가진 제3 자기장을 생성하도록 구성된 제3 송신기 코일을 포함하는 EM 필드 방출기를 포함하고, EM 필드 방출기는 제1 송신기 코일, 제2 송신기 코일 및 제3 송신기 코일 사이에서 전력을 스위칭하도록 구성된 제1 시분할 멀티플렉싱(TDM) 회로를 포함한다.
[0168] 제20 양상에서, 양상 19의 EM 추적 시스템에 있어서, 제1 송신기 코일, 제2 송신기 코일, 및 제3 송신기 코일은 상호 직교 축들을 따라 배치된다.
[0169] 제21 양상에서, 양상 19 또는 양상 20의 EM 추적 시스템에 있어서, EM 필드 방출기는 제1 주파수, 제2 주파수 또는 제3 주파수를 동적으로 튜닝하도록 구성된다.
[0170] 제22 양상에서, 양상 19 내지 양상 21 중 어느 한 양상의 EM 추적 시스템에 있어서, 제1, 제2 또는 제3 주파수를 동적으로 튜닝하기 위해, EM 필드 방출기는 캐패시터의 캐패시턴스를 변화시키거나 또는 캐패시터 뱅크 내의 복수의 캐패시터들 중에서 선택하도록 구성된다.
[0171] 제23 양상에서, 양상 19 내지 양상 22 중 어느 한 양상의 EM 추적 시스템에 있어서, EM 필드 방출기는 자동 이득 제어(AGC) 회로로 구성된다.
[0172] 제24 양상에서, 양상 23의 EM 추적 시스템에 있어서, AGC 회로는 디지털 신호 프로세서(DSP)와 증폭 스테이지 사이에 제어 루프를 포함한다.
[0173] 제25 양상에서, 양상 23 또는 양상 24의 EM 추적 시스템에 있어서, EM 필드 방출기는 EM 센서 내의 코일에 대한 전압 레벨을 수신하고; 그리고 수신된 전압 레벨에 적어도 부분적으로 기반하여 EM 필드 방출기의 증폭 스테이지에 대한 이득을 조정하도록 구성된다.
[0174] 제26 양상에서, 양상 19 내지 양상 25 중 어느 한 양상의 EM 추적 시스템에 있어서, EM 센서를 더 포함하고, EM 센서는: 제1 주파수를 가진 제1 자기장을 감지하도록 구성된 제1 수신기 코일, 제2 주파수를 가진 제2 자기장을 감지하도록 구성된 제2 수신기 코일, 및 제3 주파수를 가진 제3 자기장을 감지하도록 구성된 제3 수신기 코일을 포함하고, EM 필드 센서는 제1 수신기 코일, 제2 수신기 코일 및 제3 수신기 코일 사이에서 전력을 스위칭하도록 구성된 제2 시분할 멀티플렉싱(TDM) 회로를 포함한다.
[0175] 제27 양상에서, 양상 26의 EM 추적 시스템에 있어서, EM 추적 시스템은 EM 필드 방출기와 EM 센서 사이의 무선 링크를 통해 EM 필드 방출기와 EM 센서를 동기화하도록 구성된다.
[0176] 제28 양상에서, 양상 27의 EM 추적 시스템에 있어서, EM 필드 방출기는 EM 펄스를 EM 센서에 송신하도록 구성되고; 그리고 EM 필드 방출기 또는 EM 센서는 EM 필드 방출기 클록과 EM 센서 클록 사이의 타이밍 차이를 결정하도록 구성된다.
[0177] 제29 양상에서, 양상 26 내지 양상 28 중 어느 한 양상의 EM 추적 시스템에 있어서, 제1 시간 기간 동안: 제1 송신기 코일은, 제2 송신기 코일 및 제3 송신기 코일이 각각의 제2 자기장 및 제3 자기장을 실질적으로 송신하지 않는 제1 주파수를 가진 제1 자기장을 생성하도록 구성되고; 그리고 EM 센서의 제1 수신기 코일, 제2 수신기 코일 및 제3 수신기 코일은 순차적으로 활성화되도록 구성된다.
[0178] 제30 양상에서, 양상 29의 EM 추적 시스템에 있어서, 제1 시간 기간 다음의 제2 시간 기간 동안: 제2 송신기 코일은, 제1 송신기 코일 및 제3 송신기 코일이 각각의 제1 자기장 및 제3 자기장을 실질적으로 송신하지 않는 제2 주파수를 가진 제2 자기장을 생성하도록 구성되고; 그리고 EM 센서의 제1 수신기 코일, 제2 수신기 코일 및 제3 수신기 코일은 순차적으로 활성화되도록 구성된다.
[0179] 제31 양상에서, 양상 26 내지 양상 30 중 어느 한 양상의 EM 추적 시스템에 있어서, EM 센서는 사용 중인 주파수들을 스캔하도록 구성된다.
[0180] 제32 양상에서, 양상 31의 EM 추적 시스템에 있어서, 제3 시간 기간 동안: 제1 송신기 코일은 제1 자기장을 실질적으로 송신하지 않도록 구성되고; 그리고 제1 수신기 코일은 제1 주파수에서 간섭의 존재를 측정하기 위해 활성화되도록 구성된다.
[0181] 제33 양상에서, 양상 32의 EM 추적 시스템에 있어서, 제1 주파수에서 간섭의 검출에 대한 응답으로, EM 추적 시스템은 제1 주파수를 다른 주파수로 변화시키도록 구성된다.
[0182] 제34 양상에서, 양상 26 내지 양상 33 중 어느 한 양상의 EM 추적 시스템에 있어서, EM 센서는: 자기 간섭의 소스를 나타내는 간섭 신호를 수신하고; 실질적으로 자기 간섭의 소스가 없는 센서 신호를 출력하기 위해 간섭 신호를 적어도 부분적으로 소거하도록 구성된다.
[0183] 제35 양상에서, 전자기(EM) 추적 시스템은 자동 이득 제어(AGC) 회로 및 송신기 코일을 포함하는 EM 필드 방출기; 및 AGC 회로 없는 EM 센서를 포함하고, EM 센서는 센서 코일을 포함한다.
[0184] 제36 양상에서, 양상 35의 EM 추적 시스템에 있어서, EM 센서는 센서 코일 신호 레벨을 EM 필드 방출기에 무선으로 통신하도록 구성되고; 그리고 EM 필드 방출기는 센서 코일 신호 레벨에 적어도 부분적으로 기반하여 송신기 코일의 이득을 조정하도록 구성된다.
[0185] 제37 양상에서, 양상 35 또는 양상 36의 EM 추적 시스템에 있어서, EM 필드 방출기는 송신기 코일에 의해 방출된 라디오 주파수를 동적으로 조정하도록 구성된다.
[0186] 제38 양상에서, 양상 35 내지 양상 37 중 어느 한 양상의 EM 추적 시스템에 있어서, EM 필드 방출기 및 EM 센서는 시분할 멀티플렉싱을 사용하여 동작하도록 구성된다.
[0187] 제39 양상에서, 양상 35 내지 양상 38 중 어느 한 양상의 EM 추적 시스템에 있어서, EM 센서는: 자기 간섭의 소스를 나타내는 간섭 신호를 수신하고; 실질적으로 자기 간섭의 소스가 없는 센서 신호를 출력하기 위해 간섭 신호를 적어도 부분적으로 소거하도록 구성된다.
[0188] 제40 양상에서, 양상 35 내지 양상 39 중 어느 한 양상의 EM 추적 시스템을 포함하는 머리 장착 증강 현실(AR) 디스플레이 디바이스.
[0189] 제41 양상에서, 양상 40의 머리 장착 AR 디스플레이 디바이스에 있어서, EM 센서는 AR 디스플레이 디바이스의 프레임 상에 배치된다.
[0190] 제42 양상에서, 양상 40 또는 양상 41의 머리 장착 AR 디스플레이 디바이스에 있어서, EM 필드 방출기는 핸드헬드, 사용자 입력 토템에 배치된다.
[0191] 제43 양상에서, 증강 현실 디스플레이 시스템은 가상 이미지들을 착용자의 눈들에 투사하도록 구성된 디스플레이; 착용자의 눈들의 전면에 디스플레이를 장착하도록 구성된 프레임; 자기장을 생성하도록 구성된 전자기(EM) 필드 방출기; 자기장을 감지하도록 구성된 EM 센서 ― EM 필드 방출기 또는 EM 센서 중 하나는 프레임에 기계적으로 커플링되고 그리고 EM 필드 방출기 또는 EM 센서 중 다른 하나는 프레임에 관하여 독립적으로 움직임가능한 증강 현실 디스플레이 시스템의 컴포넌트에 기계적으로 커플링됨 ―; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 감지된 자기장을 표시하는 신호들을 EM 센서로부터 수신하고; 그리고 EM 센서의 포지션 또는 배향을 결정하기 위해, 수신된 신호들을 분석하도록 프로그래밍된다.
[0192] 제44 양상에서, 양상 43의 증강 현실 디스플레이 시스템에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0193] 제45 양상에서, 양상 43 또는 양상 44의 증강 현실 디스플레이 시스템에 있어서, 컴포넌트는 사용자 입력 토템 또는 벨트 팩을 포함하고, EM 센서는 프레임에 기계적으로 커플링되고, 그리고 EM 필드 방출기는 사용자 입력 토템 또는 벨트 팩에 기계적으로 커플링된다.
[0194] 제46 양상에서, 양상 43 내지 양상 45 중 어느 한 양상의 증강 현실 디스플레이 시스템에 있어서, 오디오 스피커를 더 포함하고, 증강 현실 디스플레이 시스템은 오디오 스피커에 의해 생성된 감지된 자기장의 자기 간섭을 소거하도록 구성된 노이즈 소거 회로를 포함한다. 오디오 스피커는 프레임에 기계적으로 커플링될 수 있다.
[0195] 제47 양상에서, 양상 46의 증강 현실 디스플레이 시스템에 있어서, 노이즈 소거 회로는: EM 센서로부터 제1 신호를 수신하고; 오디오 스피커로부터 제2 신호를 수신하고; 노이즈 소거된 신호를 제공하기 위해 제1 신호 및 제2 신호를 결합하도록 구성된다.
[0196] 제48 양상에서, 양상 47의 증강 현실 디스플레이 시스템에 있어서, 제1 신호 및 제2 신호를 결합하기 위해, 노이즈 소거 회로는: (a) 제2 신호를 인버팅하고 인버팅된 제2 신호를 제1 신호에 합하거나 또는 (b) 제1 신호로부터 제2 신호를 감산하도록 구성된다.
[0197] 제49 양상에서, 양상 43 내지 양상 48 중 어느 한 양상의 증강 현실 디스플레이 시스템에 있어서, EM 필드 방출기는 제1 주파수를 가진 제1 자기장을 생성하도록 구성된 제1 송신기 코일; 및 제2 주파수를 가진 제2 자기장을 생성하도록 구성된 제2 송신기 코일; 및 제1 송신기 코일과 제2 송신기 코일 사이에서 각각 전력을 스위칭하도록 구성된 시분할 멀티플렉싱(TDM) 회로를 포함한다.
[0198] 제50 양상에서, 양상 49의 증강 현실 디스플레이 시스템에 있어서, TDM 회로는 제1 및 제2 송신기 코일들 각각으로 TDM 스위칭되는 단일 증폭기 회로를 포함한다.
[0199] 제51 양상에서, 양상 49 또는 양상 50의 증강 현실 디스플레이 시스템에 있어서, 제1 송신기 코일 및 제2 송신기 코일은 상호 직교 축들을 따라 배치된다.
[0200] 제52 양상에서, 양상 43 내지 양상 51 중 어느 한 양상의 증강 현실 디스플레이 시스템에 있어서, EM 필드 방출기는 제1 주파수 또는 제2 주파수를 동적으로 튜닝하도록 구성된다.
[0201] 제53 양상에서, 양상 52의 증강 현실 디스플레이 시스템에 있어서, 제1 주파수 또는 제2 주파수를 동적으로 튜닝하기 위해, EM 필드 방출기는 캐패시터의 캐패시턴스를 변화시키거나 또는 캐패시터 뱅크 내의 복수의 캐패시터들 중에서 선택하도록 구성된다.
[0202] 제54 양상에서, 양상 43 내지 양상 53 중 어느 한 양상의 증강 현실 디스플레이 시스템에 있어서, EM 필드 방출기는 제1 무선 인터페이스를 포함하고, EM 센서는 제2 무선 인터페이스 및 TDM 회로를 포함하고, 그리고 EM 필드 방출기 및 EM 센서는 제1 무선 인터페이스와 제2 무선 인터페이스 사이에 무선 링크를 설정하고; 그리고 무선 링크를 통해 EM 센서 클록과 EM 필드 방출기 클록의 타이밍을 동기화하도록 구성된다.
[0203] 제55 양상에서, 양상 43 내지 양상 54 중 어느 한 양상의 증강 현실 디스플레이 시스템에 있어서, EM 필드 방출기는 EM 펄스를 EM 센서에 송신하도록 구성되고, 그리고 EM 필드 방출기 또는 EM 센서는 EM 필드 방출기 클록과 EM 센서 클록 사이의 타이밍 차이를 결정하도록 구성된다. 다른 양상에서, 양상 43 내지 양상 54 중 어느 한 양상의 AR 디스플레이 시스템은, EM 필드 방출기가 음향 생성기를 포함하고 EM 센서가 음향 센서를 포함하도록 구성될 수 있다. AR 디스플레이 시스템은 음향 신호와 전자기 신호 사이의 측정된 지연에 적어도 부분적으로 기반하여 방출기와 센서 사이의 제1 거리의 비행 시간을 결정하도록 구성될 수 있다. AR 디스플레이 시스템은 전자기 신호들의 진폭에 적어도 부분적으로 기반하여 방출기와 센서 사이의 제2 거리를 결정하도록 추가로 구성될 수 있다. AR 디스플레이 시스템은 제1 거리 및 제2 거리의 비교에 적어도 부분적으로 기반하여 시스템을 교정하도록 추가로 구성될 수 있다.
[0204] 제56 양상에서, 양상 49 내지 양상 55의 증강 현실 디스플레이 시스템에 있어서, EM 필드 방출기는: 제1 송신기 코일이 제1 시간 기간 동안 송신하는 반면, 제2 송신기 코일이 제1 시간 기간 동안 실질적으로 송신하지 않고; 그리고 제2 송신기 코일이 제1 시간 기간과 상이한 제2 시간 기간 동안 송신하는 반면, 제1 송신기 코일이 제2 시간 기간 동안 실질적으로 송신하지 않는 TDM 타이밍 프로토콜을 적용하도록 구성된다.
[0205] 제57 양상에서, 양상 43 내지 양상 56 중 어느 한 양상의 증강 현실 디스플레이 시스템에 있어서, EM 필드 방출기는 제1 주파수에서 자기장을 생성하도록 구성되고, 그리고 EM 센서는 제1 주파수에서의 비의도적인 RF(radio frequency) 간섭을 스캔하고; 그리고 제1 주파수에서 비의도적인 RF 간섭의 존재의 결정에 대한 응답으로, 제1 주파수와 상이한 제2 주파수로 스위칭하도록 구성된다.
[0206] 제58 양상에서, 양상 43 내지 양상 57 중 어느 한 양상의 증강 현실 디스플레이 시스템에 있어서, EM 필드 방출기는: EM 센서 내의 코일에 대한 전압 레벨을 수신하고; 그리고 수신된 전압 레벨에 적어도 부분적으로 기반하여 EM 필드 방출기의 증폭 스테이지에 대한 이득을 조정하도록 구성된 자동 이득 제어(AGC) 회로를 포함한다.
[0207] 제59 양상에서, 증강 현실(AR) 디스플레이 시스템용 전자기(EM) 추적 시스템을 동작시키는 방법으로서, 머리 장착 AR 디스플레이, EM 방출기 및 EM 센서를 포함하는 휴대용 사용자 입력 디바이스를 포함하는 AR 디스플레이 시스템이 제공된다. 방법은, 휴대용 사용자 입력 디바이스 내의 EM 방출기에 의해, 시변 자기장을 방출하는 단계; EM 센서에 의해, 시변 자기장을 검출하는 단계; 검출된 자기장에 적어도 부분적으로 기반하여 EM 센서의 포즈를 결정하는 단계; 결정된 포즈에 적어도 부분적으로 기반하여, AR 디스플레이 시스템의 사용자에게 디스플레이할 가상 콘텐츠를 결정하는 단계; 및 머리 장착 AR 디스플레이에 의해, 가상 콘텐츠를 디스플레이하는 단계를 포함한다. 머리 장착 AR 디스플레이는 광 필드 디스플레이를 포함할 수 있다.
[0208] 제60 양상에서, 양상 59의 방법에 있어서, EM 방출기와 EM 센서를 시간-동기화하는 단계를 더 포함한다.
[0209] 제61 양상에서, 양상 59 또는 양상 60의 방법에 있어서, 검출된 자기장으로부터 자기 간섭을 소거하는 단계를 더 포함한다.
[0210] 제62 양상에서, 양상 59 내지 양상 61 중 어느 한 양상의 방법에 있어서, EM 센서의 포즈와 연관된 실세계 좌표들을 가상 콘텐츠와 연관된 가상 세계 좌표들과 상관시키는 단계를 더 포함한다.
[0211] 제63 양상에서, 양상 59 내지 양상 62의 방법들 중 어느 한 방법에 따라 동작되는 AR 디스플레이 시스템. AR 디스플레이 시스템은 광 필드 디스플레이를 포함할 수 있다.
부가적인 고려사항들
[0212] 본원에 설명되고 그리고/또는 첨부 도면들에 묘사된 프로세스들, 방법들 및 알고리즘들 각각은 하나 또는 그 초과의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 그리고 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅(interpret)된 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0213] 추가로, 본 개시내용의 기능성의 소정의 구현들은 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행가능 명령들을 활용하는) 주문형 하드웨어 또는 하나 또는 그 초과의 물리적 컴퓨팅 디바이스들은 예컨대, 수반된 계산들의 양 또는 복잡성으로 인해 또는 실질적으로 또는 실시간으로 결과들을 제공하기 위해 그 기능성을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수백만의 픽셀들을 가짐)을 포함할 수 있고, 그리고 상업적으로 합리적인 시간 양에서 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해, 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0214] 코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비-일시적 컴퓨터-판독가능 매체, 이를테면 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장부, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장부 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선 기반 및 유선/케이블 기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상에서 송신될 수 있고, 그리고 (예컨대, 단일 또는 멀티플렉싱 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비일시적, 유형의 컴퓨터 저장부에 영구적으로 또는 다른 방식으로 저장될 수 있거나 또는 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.
[0215] 본원에 설명되고 그리고/또는 첨부 도면들에 묘사된 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 기능성들은 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 또는 그 초과의 실행가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 삭제되거나, 수정되거나 다르게 변화될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에 설명된 기능성들 중 일부 또는 모두를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 이에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 이들로부터 제거될 수 있다. 게다가, 본원에 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이고 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품으로 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 많은 구현 변형들이 가능하다.
[0216] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은 전사적 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷, 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 타입의 통신 네트워크일 수 있다.
[0217] 본 발명은 청구대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 그런 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그런 제공은 최종 사용자에 의해 수행될 수 있다. 다른 말로, "제공" 동작은 단순히, 최종 사용자가 청구대상 방법에 필수적인 디바이스를 제공하기 위하여 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 전력-인가 또는 달리 동작하는 것만을 요구한다. 본원에 열거된 방법들은 논리적으로 가능한, 열거된 이벤트들의 임의의 순서로뿐만 아니라, 열거된 이벤트들의 순서로 수행될 수 있다.
[0218] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 이 양상들 중 어떤 단일의 양상도 본원에 개시된 바람직한 속성들을 전적으로 담당하거나 이를 위해 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하도록 의도된다. 본 개시내용에 설명된 구현들에 대한 다양한 수정들은 당업자들에게 자명할 수 있고, 그리고 본원에 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않고 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본원에 도시된 구현들로 제한되는 것으로 의도되는 것이 아니라, 본원에 개시된 본 개시내용, 원리들 및 신규 특징들과 일치하는 가장 넓은 범위에 부합될 것이다.
[0219] 별개의 구현들의 맥락에서 본 명세서에 설명된 특정 특징들은 또한 단일 구현으로 결합하여 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한 별도로 다수의 구현들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 동작하는 것으로서 위에서 설명될 수 있고 심지어 그와 같이 처음에 청구될 수 있지만, 청구된 조합으로부터의 하나 또는 그 초과의 특징들은 일부 경우들에서 조합으로부터 제거될 수 있고, 그리고 청구된 조합은 서브조합 또는 서브조합의 변형에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0220] 특정하게 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않으면, 본원에 사용된 조건어, 이를테면 특히, "할 수 있다(can, could, might, may)", "예컨대" 등은, 일반적으로 특정 실시예들이 특정 특징들, 엘리먼트들 또는 단계들을 포함하지만, 다른 실시예들은 이들을 포함하지 않는 것을 전달하기 위해 의도된다. 따라서, 그런 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 하나 또는 그 초과의 실시예들을 위해 어떤 식으로든 요구되거나 또는 하나 또는 그 초과의 실시예들이, 저자(author) 입력 또는 프롬프팅으로 또는 이들 없이, 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예에서 수행될지를 판정하기 위한 로직을 반드시 포함하는 것을 의미하도록 의도되지 않는다. 용어들 "포함하는(comprising)", "구비하는(including)", "가지는(having)" 등은 동의어이고 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되고, 그리고 부가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, 용어 "또는"은 그의 포괄적인 의미(및 그의 배타적 의미가 아님)로 사용되어, 예컨대 리스트의 엘리먼트들을 연결하기 위해 사용될 때, 용어 "또는"은 리스트 내 엘리먼트들 중 하나, 몇몇 또는 모두를 의미한다. 게다가, 본 출원 및 첨부된 청구항들에 사용된 단수 표현들은 다르게 특정되지 않으면 "하나 또는 그 초과" 또는 "적어도 하나"를 의미하는 것으로 이해될 것이다. 본원에 구체적으로 정의된 바를 제외하고, 본원에서 사용된 모든 기술적 및 과학적 용어들은 청구 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[0221] 본원에 사용된 바와 같이, 아이템들의 리스트 중 "적어도 하나"를 지칭하는 어구는 단일 부재들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 "A, B, C; A 및 B; A 및 C; B 및 C; 및 A, B 및 C를 커버하도록 의도된다. 특정하게 다르게 언급되지 않으면, "X, Y 및 Z 중 적어도 하나"라는 어구 같은 접속어는, 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 따라서, 그런 접속어는 일반적으로, 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 의미하도록 의도되지 않는다.
[0222] 유사하게, 동작들이 특정 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그런 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되거나, 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식될 것이다. 추가로, 도면들은 흐름도 형태로 하나 또는 그 초과의 예시적 프로세스들을 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들이 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 또는 그 초과의 부가적인 동작들은 예시된 동작들 중 임의의 동작 이전, 이후, 동시에, 또는 중간에 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재정렬될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합될 수 있거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 열거된 액션들은 상이한 순서로 수행될 수 있고 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.
Claims (20)
- 증강 현실 디스플레이 시스템으로서,
가상 이미지들을 착용자의 눈들에 투사하도록 구성된 디스플레이;
상기 착용자의 눈들의 전면에 상기 디스플레이를 장착하도록 구성된 프레임;
자기장을 생성하도록 구성된 전자기(EM) 필드 방출기;
상기 자기장을 감지하도록 구성된 EM 센서 ― 상기 EM 필드 방출기 또는 상기 EM 센서 중 하나는 상기 프레임에 기계적으로 커플링되고 그리고 상기 EM 필드 방출기 또는 상기 EM 센서 중 다른 하나는 상기 프레임에 관하여 독립적으로 움직임가능한 상기 증강 현실 디스플레이 시스템의 컴포넌트에 기계적으로 커플링됨 ―;
수신된 오디오 신호에 응답하여 자기장을 생성하도록 구성된 오디오 스피커;
하드웨어 프로세서 ― 상기 하드웨어 프로세서는:
감지된 자기장을 표시하는 신호들을 상기 EM 센서로부터 수신하고; 그리고
상기 EM 센서의 포지션 또는 배향을 결정하기 위해 수신된 신호들을 분석
하도록 프로그래밍됨 ― ; 및
상기 오디오 스피커를 구동하는데 사용되는 상기 수신된 오디오 신호에 적어도 부분적으로 기초하여 상기 감지된 자기장에서 자기 간섭을 소거하도록 구성되는 노이즈 소거 회로
를 포함하는,
증강 현실 디스플레이 시스템. - 제1 항에 있어서,
상기 노이즈 소거 회로는:
상기 EM 센서로부터 제1 신호를 수신하고;
상기 오디오 신호를 수신하고;
노이즈 소거된 신호를 제공하기 위해 상기 제1 신호 및 상기 오디오 신호를 결합
하도록 구성되는,
증강 현실 디스플레이 시스템. - 제2 항에 있어서,
상기 제1 신호 및 상기 오디오 신호를 결합하기 위해, 상기 노이즈 소거 회로는: (a) 상기 오디오 신호를 인버팅하고 인버팅된 오디오 신호를 상기 제1 신호에 합하거나 또는 (b) 상기 제1 신호로부터 상기 오디오 신호를 감산하도록 구성되는,
증강 현실 디스플레이 시스템. - 제2 항에 있어서,
상기 오디오 스피커는 시변 전압 소스 및 증폭기를 포함하고, 상기 오디오 신호는 상기 시변 전압 소스로부터 나오는,
증강 현실 디스플레이 시스템. - 제2 항에 있어서,
상기 EM 센서로부터의 상기 수신된 신호들은 상기 노이즈 소거된 신호를 포함하는,
증강 현실 디스플레이 시스템. - 제1 항에 있어서,
상기 EM 센서는 상기 노이즈 소거 회로를 포함하는,
증강 현실 디스플레이 시스템. - 제1 항에 있어서,
상기 오디오 스피커는 상기 프레임에 기계적으로 커플링되는,
증강 현실 디스플레이 시스템. - 제1 항에 있어서,
상기 디스플레이는 광 필드 디스플레이를 포함하는,
증강 현실 디스플레이 시스템. - 제1 항에 있어서,
상기 컴포넌트는 사용자-입력 토템(totem) 또는 벨트 팩을 포함하고,
상기 EM 센서는 상기 프레임에 기계적으로 커플링되고, 그리고
상기 EM 필드 방출기는 상기 사용자-입력 토템 또는 상기 벨트 팩에 기계적으로 커플링되는,
증강 현실 디스플레이 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020227011288A KR102522502B1 (ko) | 2016-04-26 | 2017-04-24 | 증강 현실 시스템들을 사용한 전자기 추적 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662328003P | 2016-04-26 | 2016-04-26 | |
| US62/328,003 | 2016-04-26 | ||
| US201762479111P | 2017-03-30 | 2017-03-30 | |
| US62/479,111 | 2017-03-30 | ||
| PCT/US2017/029189 WO2017189450A1 (en) | 2016-04-26 | 2017-04-24 | Electromagnetic tracking with augmented reality systems |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227011288A Division KR102522502B1 (ko) | 2016-04-26 | 2017-04-24 | 증강 현실 시스템들을 사용한 전자기 추적 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180135487A KR20180135487A (ko) | 2018-12-20 |
| KR102384882B1 true KR102384882B1 (ko) | 2022-04-07 |
Family
ID=60089537
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227011288A KR102522502B1 (ko) | 2016-04-26 | 2017-04-24 | 증강 현실 시스템들을 사용한 전자기 추적 |
| KR1020237012452A KR20230054499A (ko) | 2016-04-26 | 2017-04-24 | 증강 현실 시스템들을 사용한 전자기 추적 |
| KR1020187033916A KR102384882B1 (ko) | 2016-04-26 | 2017-04-24 | 증강 현실 시스템들을 사용한 전자기 추적 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227011288A KR102522502B1 (ko) | 2016-04-26 | 2017-04-24 | 증강 현실 시스템들을 사용한 전자기 추적 |
| KR1020237012452A KR20230054499A (ko) | 2016-04-26 | 2017-04-24 | 증강 현실 시스템들을 사용한 전자기 추적 |
Country Status (10)
| Country | Link |
|---|---|
| US (5) | US10261162B2 (ko) |
| EP (2) | EP4130942A1 (ko) |
| JP (4) | JP7027336B2 (ko) |
| KR (3) | KR102522502B1 (ko) |
| CN (2) | CN114699751A (ko) |
| AU (2) | AU2017257549B2 (ko) |
| CA (1) | CA3021964A1 (ko) |
| IL (2) | IL262504B (ko) |
| NZ (3) | NZ747815A (ko) |
| WO (1) | WO2017189450A1 (ko) |
Families Citing this family (95)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| JP6952713B2 (ja) | 2016-01-19 | 2021-10-20 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 反射を利用する拡張現実システムおよび方法 |
| EP4130942A1 (en) * | 2016-04-26 | 2023-02-08 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
| US20170337745A1 (en) | 2016-05-23 | 2017-11-23 | tagSpace Pty Ltd | Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments |
| US20170352184A1 (en) * | 2016-06-06 | 2017-12-07 | Adam G. Poulos | Optically augmenting electromagnetic tracking in mixed reality |
| US10254546B2 (en) | 2016-06-06 | 2019-04-09 | Microsoft Technology Licensing, Llc | Optically augmenting electromagnetic tracking in mixed reality |
| US10146335B2 (en) * | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Modular extension of inertial controller for six DOF mixed reality input |
| US10146334B2 (en) | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Passive optical and inertial tracking in slim form-factor |
| US10078377B2 (en) * | 2016-06-09 | 2018-09-18 | Microsoft Technology Licensing, Llc | Six DOF mixed reality input by fusing inertial handheld controller with hand tracking |
| CN106569339B (zh) * | 2016-11-08 | 2019-11-15 | 歌尔科技有限公司 | Vr头戴设备以及vr头戴设备的控制方法 |
| US10545219B2 (en) * | 2016-11-23 | 2020-01-28 | Chirp Microsystems | Three dimensional object-localization and tracking using ultrasonic pulses |
| JP2018107603A (ja) * | 2016-12-26 | 2018-07-05 | オリンパス株式会社 | センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具 |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| TWI646449B (zh) * | 2017-05-12 | 2019-01-01 | 華碩電腦股份有限公司 | 三維定位系統與方法 |
| US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
| US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
| US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| US20190042844A1 (en) * | 2017-08-03 | 2019-02-07 | Brown University | Intelligent visual prosthesis |
| CN107807738B (zh) * | 2017-12-04 | 2023-08-15 | 成都思悟革科技有限公司 | 一种用于vr显示眼镜的头部动作捕捉系统及方法 |
| US10514545B2 (en) * | 2017-12-08 | 2019-12-24 | Facebook Technologies, Llc | Selective tracking of a head-mounted display |
| KR102596429B1 (ko) | 2017-12-10 | 2023-10-30 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
| EP3729172A4 (en) | 2017-12-20 | 2021-02-24 | Magic Leap, Inc. | INSERT FOR AUGMENTED REALITY VIEWING DEVICE |
| TWI791728B (zh) * | 2018-01-02 | 2023-02-11 | 以色列商魯姆斯有限公司 | 具有主動對準的增強現實顯示裝置及其對準方法 |
| CA3030247A1 (en) * | 2018-01-19 | 2019-07-19 | Ascension Technology Corporation | Calibrating a magnetic sensor |
| CA3030409A1 (en) * | 2018-01-19 | 2019-07-19 | Ascension Technology Corporation | Calibrating a magnetic transmitter |
| AU2019217515A1 (en) * | 2018-02-06 | 2020-06-25 | Magic Leap, Inc. | Systems and methods for augmented reality |
| DE102018202240A1 (de) * | 2018-02-14 | 2019-08-14 | Osram Gmbh | Verfahren zur objekterkennung |
| US20190257673A1 (en) * | 2018-02-22 | 2019-08-22 | Sixense Enterprises Inc. | Electromagnetic Six Degree of Freedom (6DOF) Tracking System With Non-Concentric Transmitter Coils |
| CN110494792B (zh) * | 2018-03-07 | 2021-07-09 | 奇跃公司 | 外围设备的视觉跟踪 |
| CN112136152A (zh) | 2018-03-15 | 2020-12-25 | 奇跃公司 | 由观看设备的部件变形导致的图像校正 |
| JP7319303B2 (ja) | 2018-05-31 | 2023-08-01 | マジック リープ， インコーポレイテッド | レーダ頭部姿勢位置特定 |
| US10825424B2 (en) | 2018-06-05 | 2020-11-03 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
| US11534246B2 (en) | 2018-06-15 | 2022-12-27 | Verb Surgical Inc. | User input device for use in robotic surgery |
| US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US10916064B2 (en) | 2018-07-23 | 2021-02-09 | Magic Leap, Inc. | Method and system for resolving hemisphere ambiguity using a position vector |
| US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| US11624929B2 (en) | 2018-07-24 | 2023-04-11 | Magic Leap, Inc. | Viewing device with dust seal integration |
| EP3831058A4 (en) | 2018-08-02 | 2022-04-20 | Magic Leap, Inc. | VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT |
| US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| US11314281B2 (en) * | 2018-09-10 | 2022-04-26 | Apple Inc. | Display system |
| US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
| US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
| US11666203B2 (en) * | 2018-10-04 | 2023-06-06 | Biosense Webster (Israel) Ltd. | Using a camera with an ENT tool |
| US11519753B2 (en) * | 2018-10-09 | 2022-12-06 | Trustees Of Dartmouth College | Inductive sensing apparatus and method |
| US11157090B2 (en) | 2018-10-26 | 2021-10-26 | Magic Leap, Inc. | Ambient electromagnetic distortion correction for electromagnetic tracking |
| CN117111304A (zh) | 2018-11-16 | 2023-11-24 | 奇跃公司 | 用于保持图像清晰度的图像尺寸触发的澄清 |
| US11287885B1 (en) * | 2019-01-22 | 2022-03-29 | Facebook Technologies, Llc | Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems |
| US11326905B1 (en) | 2019-01-25 | 2022-05-10 | Alken Inc. | Dynamic mixing of and switching between sensor measurements in hybrid trackers using electromagnetic tracking |
| US11543529B1 (en) | 2019-01-26 | 2023-01-03 | Alken Inc. | Adaptive weighting of multiple sources in a magnetic or hybrid tracking system |
| CN113383294A (zh) * | 2019-01-28 | 2021-09-10 | 奇跃公司 | 用于解决六自由度姿态测量中的半球模糊的方法和系统 |
| JP2022519292A (ja) | 2019-02-06 | 2022-03-22 | マジック リープ， インコーポレイテッド | 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節 |
| JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ， インコーポレイテッド | 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
| DE102020109121A1 (de) * | 2019-04-02 | 2020-10-08 | Ascension Technology Corporation | Korrektur von Verzerrungen |
| CN114008514A (zh) | 2019-04-15 | 2022-02-01 | 奇跃公司 | 用于电磁跟踪的传感器融合 |
| DE102020110212A1 (de) * | 2019-04-16 | 2020-10-22 | Ascension Technology Corporation | Positions- und Orientierungsbestimmung mit einer Helmholtz-Vorrichtung |
| US11039118B2 (en) | 2019-04-17 | 2021-06-15 | XRSpace CO., LTD. | Interactive image processing system using infrared cameras |
| US10885671B2 (en) | 2019-04-17 | 2021-01-05 | XRSpace CO., LTD. | Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor |
| TWI696980B (zh) * | 2019-04-26 | 2020-06-21 | 未來市股份有限公司 | 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體 |
| DE102019111238A1 (de) | 2019-04-30 | 2020-11-05 | Carl Zeiss Ag | Verfahren zur Einstellung und Visualisierung von Parametern zur Fokussierung eines Objektivs auf ein Objekt sowie System zur Durchführung des Verfahrens |
| CN114127837A (zh) | 2019-05-01 | 2022-03-01 | 奇跃公司 | 内容提供系统和方法 |
| WO2020236624A1 (en) * | 2019-05-17 | 2020-11-26 | Magic Leap, Inc. | Methods and apparatuses for corner detection using neural network and corner detector |
| US11194386B1 (en) * | 2019-05-22 | 2021-12-07 | Facebook Technologies, Llc | Artificial reality wearable magnetic sensor system for body pose tracking |
| US10794730B1 (en) * | 2019-06-03 | 2020-10-06 | Wenbo Yang | Position tracking system |
| US20220113798A1 (en) * | 2019-06-26 | 2022-04-14 | Hewlett-Packard Development Company, L.P. | Apparatus having a handle and inflation bladders |
| CN114174895A (zh) | 2019-07-26 | 2022-03-11 | 奇跃公司 | 用于增强现实的系统和方法 |
| IT201900013200A1 (it) * | 2019-07-29 | 2021-01-29 | Uocy Italy S R L | Sistema di interazione multimediale, particolarmente per applicazioni turistiche e ludiche |
| CN110675307B (zh) * | 2019-08-19 | 2023-06-06 | 杭州电子科技大学 | 基于vslam的3d稀疏点云到2d栅格图的实现方法 |
| US20210065731A1 (en) * | 2019-08-29 | 2021-03-04 | Sony Interactive Entertainment Inc. | Noise cancellation using artificial intelligence (ai) |
| US11592592B2 (en) | 2019-09-25 | 2023-02-28 | Disney Enterprises, Inc. | Tracking system for visual effect triggering using induced magnetic field and predictive analysis |
| US11054923B2 (en) * | 2019-10-11 | 2021-07-06 | Finch Technologies Ltd. | Automatic switching between different modes of tracking user motions to control computer applications |
| WO2021097323A1 (en) | 2019-11-15 | 2021-05-20 | Magic Leap, Inc. | A viewing system for use in a surgical environment |
| CN113029190A (zh) * | 2019-12-09 | 2021-06-25 | 未来市股份有限公司 | 运动跟踪系统和方法 |
| CA3102791C (en) | 2019-12-30 | 2024-02-27 | Northern Digital Inc. | Reducing interference between electromagnetic tracking systems |
| CN113124852B (zh) * | 2019-12-31 | 2023-07-25 | 北京凌宇智控科技有限公司 | 一种多传感器融合定位系统及定位方法 |
| EP4111442A4 (en) * | 2020-02-26 | 2023-08-16 | Magic Leap, Inc. | FUSION OF HANDS AND TOTEM INPUT DATA FOR HABITRONIC SYSTEMS |
| WO2021190280A1 (en) * | 2020-03-24 | 2021-09-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | System and method for augmented tele-cooperation |
| CN111537988B (zh) * | 2020-03-31 | 2023-04-18 | 北京小米移动软件有限公司 | 角色控制方法、角色控制装置及计算机可读存储介质 |
| CN111988534B (zh) * | 2020-07-23 | 2021-08-20 | 首都医科大学附属北京朝阳医院 | 一种基于多摄像头的画面拼接方法和装置 |
| EP3958095A1 (en) * | 2020-08-21 | 2022-02-23 | Deutsche Telekom AG | A mobile computer-tethered virtual reality/augmented reality system using the mobile computer as a man machine interface |
| CN113426089B (zh) * | 2021-06-02 | 2022-11-08 | 杭州融梦智能科技有限公司 | 头戴式设备及其交互方法 |
| US11489336B1 (en) | 2021-06-29 | 2022-11-01 | Microsoft Technology Licensing, Llc | Two wire power delivery system for mobile devices with passive orientation detection |
| WO2023282885A1 (en) * | 2021-07-06 | 2023-01-12 | Hewlett-Packard Development Company, L.P. | Adjusting ergonomic configurations of display devices |
| WO2023037289A1 (en) * | 2021-09-10 | 2023-03-16 | Manus Technology Group B.V. | Novel self-governing synchronization system and method |
| US11693063B2 (en) * | 2021-09-16 | 2023-07-04 | Penumbra, Inc. | Method and apparatus for automatic frequency selection in magnetic tracking systems |
| US20230132644A1 (en) * | 2021-10-28 | 2023-05-04 | Meta Platforms Technologies, Llc | Tracking a handheld device |
| US11797127B1 (en) * | 2021-11-16 | 2023-10-24 | Alken Inc. | Hybrid tracking with auto-correction |
| US11675421B1 (en) * | 2021-12-23 | 2023-06-13 | Microsoft Technology Licensing, Llc | Time-multiplexing resonant drive scheme to generate dual polarity supplies |
| US20230224667A1 (en) * | 2022-01-10 | 2023-07-13 | Sound United Llc | Virtual and mixed reality audio system environment correction |
| US11960082B2 (en) | 2022-07-13 | 2024-04-16 | Htc Corporation | Virtual reality system and object detection method applicable to virtual reality system |
| US11775064B1 (en) * | 2022-07-29 | 2023-10-03 | Hunter Maximilian King | Multiple-magnet hand-mounted position-tracking device |
| WO2024090630A1 (ko) * | 2022-10-28 | 2024-05-02 | 엘지전자 주식회사 | 전송 코일을 구비하는 헤드 마운티드 디스플레이 장치 및 이를 포함하는 사용자 인터랙션 추정 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004056272A (ja) * | 2002-07-17 | 2004-02-19 | Japan Aviation Electronics Industry Ltd | 全周映像表示装置及びそれに用いるヘッドトラッカーの磁気補正方法 |
| JP2007272067A (ja) * | 2006-03-31 | 2007-10-18 | Brother Ind Ltd | 画像表示装置 |
| CN105188516A (zh) | 2013-03-11 | 2015-12-23 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
Family Cites Families (121)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4007443A (en) * | 1974-05-06 | 1977-02-08 | Termiflex Corporation | Hand-held interactive terminal |
| US4287809A (en) | 1979-08-20 | 1981-09-08 | Honeywell Inc. | Helmet-mounted sighting system |
| US4346384A (en) * | 1980-06-30 | 1982-08-24 | The Austin Company | Remote object position and orientation locator |
| USD322244S (en) * | 1989-11-20 | 1991-12-10 | Bishai Mark R | Remote control housing for a curtain positioner |
| JPH0442029U (ko) * | 1990-08-09 | 1992-04-09 | ||
| AU667688B2 (en) * | 1991-10-04 | 1996-04-04 | Micromed Systems, Inc. | Hand held computer input apparatus and method |
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| DE69431875T2 (de) * | 1993-04-22 | 2003-05-28 | Image Guided Technologies Inc | Anordnung zur bestimmung der gegenseitigen lage von körpern |
| US5579026A (en) * | 1993-05-14 | 1996-11-26 | Olympus Optical Co., Ltd. | Image display apparatus of head mounted type |
| US5685776A (en) * | 1994-11-23 | 1997-11-11 | Tiger Electronics, Inc. | Hand-held electronic game devices |
| FR2734900B1 (fr) | 1995-06-01 | 1997-07-04 | Sextant Avionique | Procede de determination de la position et de l'orientation d'un systeme mobile, notamment de la ligne de visee dans un viseur de casque |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US6022274A (en) * | 1995-11-22 | 2000-02-08 | Nintendo Co., Ltd. | Video game system using memory module |
| USD387352S (en) * | 1996-03-19 | 1997-12-09 | Microsoft Corporation | Remote control |
| CN1168057C (zh) * | 1996-08-14 | 2004-09-22 | 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 | 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统 |
| WO1998036236A1 (en) | 1997-02-13 | 1998-08-20 | Super Dimension Ltd. | Six-degree tracking system |
| JP3849250B2 (ja) * | 1997-09-30 | 2006-11-22 | 株式会社島津製作所 | 磁気式３次元トラッカー |
| US6176837B1 (en) * | 1998-04-17 | 2001-01-23 | Massachusetts Institute Of Technology | Motion tracking system |
| USD424553S (en) * | 1998-09-01 | 2000-05-09 | Abc International Traders, Inc. | Combined headset and handset video game |
| JP2000102036A (ja) | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
| US6222675B1 (en) * | 1998-12-01 | 2001-04-24 | Kaiser Electro-Optics, Inc. | Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views |
| JP2000215744A (ja) | 1999-01-25 | 2000-08-04 | Nichifu Co Ltd | コネクタ付きスイッチ |
| US6163155A (en) | 1999-01-28 | 2000-12-19 | Dresser Industries, Inc. | Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations |
| GB9917591D0 (en) | 1999-07-28 | 1999-09-29 | Marconi Electronic Syst Ltd | Head tracker system |
| AU2001233019A1 (en) * | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
| JP2001356875A (ja) | 2000-06-13 | 2001-12-26 | Toshiba Corp | ポインタ表示システム |
| US6484118B1 (en) | 2000-07-20 | 2002-11-19 | Biosense, Inc. | Electromagnetic position single axis system |
| US6990453B2 (en) | 2000-07-31 | 2006-01-24 | Landmark Digital Services Llc | System and methods for recognizing sound and music signals in high noise and distortion |
| CN2490773Y (zh) * | 2001-07-09 | 2002-05-08 | 王小光 | 穿戴式多功能可视大屏幕移动通讯装置 |
| US6861982B2 (en) | 2001-08-16 | 2005-03-01 | Itt Manufacturing Enterprises, Inc. | System for determining position of an emitter |
| US6774624B2 (en) | 2002-03-27 | 2004-08-10 | Ge Medical Systems Global Technology Company, Llc | Magnetic tracking system |
| WO2003091990A1 (en) | 2002-04-25 | 2003-11-06 | Shazam Entertainment, Ltd. | Robust and invariant audio pattern matching |
| JP2004201728A (ja) | 2002-12-24 | 2004-07-22 | Mitsumi Electric Co Ltd | コントローラ |
| US7599629B2 (en) * | 2003-06-06 | 2009-10-06 | Scientific-Atlanta, Inc. | Optical receiver having an open loop automatic gain control circuit |
| DE10330071B4 (de) | 2003-07-03 | 2013-01-24 | Byk Gardner Gmbh | Vorrichtung und Verfahren zur Bestimmung von Oberflächeneigenschaften |
| US7443154B1 (en) | 2003-10-04 | 2008-10-28 | Seektech, Inc. | Multi-sensor mapping omnidirectional sonde and line locator |
| US7710395B2 (en) | 2004-07-14 | 2010-05-04 | Alken, Inc. | Head-mounted pointing and control device |
| IL165314A (en) | 2004-11-21 | 2009-08-03 | Elbit Ltd | Electromagnetic tracker |
| US7276910B2 (en) | 2005-07-19 | 2007-10-02 | Seektech, Inc. | Compact self-tuned electrical resonator for buried object locator applications |
| US7787648B1 (en) * | 2005-08-26 | 2010-08-31 | At&T Mobility Ii Llc | Active cancellation hearing assistance device |
| US20070052672A1 (en) * | 2005-09-08 | 2007-03-08 | Swisscom Mobile Ag | Communication device, system and method |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US7881288B2 (en) * | 2006-02-01 | 2011-02-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Routing media streams from packet switched network to circuit switched network |
| JP4151982B2 (ja) * | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
| EP1998702A2 (en) | 2006-03-29 | 2008-12-10 | Stryker Corporation | Shielded surgical navigation system that determines the position and orientation of the tracked object with real and virtual dipoles |
| JP4757115B2 (ja) | 2006-06-28 | 2011-08-24 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| US10908421B2 (en) | 2006-11-02 | 2021-02-02 | Razer (Asia-Pacific) Pte. Ltd. | Systems and methods for personal viewing devices |
| US8090194B2 (en) | 2006-11-21 | 2012-01-03 | Mantis Vision Ltd. | 3D geometric modeling and motion capture using both single and dual imaging |
| US7796715B2 (en) * | 2006-12-28 | 2010-09-14 | Motorola, Inc. | Method and apparatus for reducing intra-device interference |
| US20090024050A1 (en) | 2007-03-30 | 2009-01-22 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Computational user-health testing |
| CN101093586A (zh) | 2007-07-12 | 2007-12-26 | 上海交通大学 | 面向复杂场景实时交互操作的并行碰撞检测方法 |
| US8121812B2 (en) | 2007-09-14 | 2012-02-21 | Alken Inc. | AC magnetic tracking with phase disambiguation |
| IL195389A (en) | 2008-11-19 | 2013-12-31 | Elbit Systems Ltd | Magnetic Field Mapping System and Method |
| US8995677B2 (en) | 2008-09-03 | 2015-03-31 | Apple Inc. | Accessory controller for electronic devices |
| JP5129795B2 (ja) | 2009-08-19 | 2013-01-30 | 東洋ガラス株式会社 | 物体識別装置および物体選別装置 |
| US8854798B1 (en) * | 2009-10-02 | 2014-10-07 | Qmotion Incorporated | Transmitter holder apparatus and method |
| JP2011085868A (ja) | 2009-10-19 | 2011-04-28 | Nikon Corp | 画像生成装置、画像生成方法およびプログラム |
| WO2011106798A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| JP5573238B2 (ja) | 2010-03-04 | 2014-08-20 | ソニー株式会社 | 情報処理装置、情報処理法方法およびプログラム |
| US8610771B2 (en) | 2010-03-08 | 2013-12-17 | Empire Technology Development Llc | Broadband passive tracking for augmented reality |
| CN102893236B (zh) * | 2010-07-20 | 2015-11-25 | 英派尔科技开发有限公司 | 增强现实临近检测 |
| KR20120040573A (ko) | 2010-10-19 | 2012-04-27 | 주식회사 팬택 | 이동식 태그를 이용한 증강 현실 제공 장치 및 방법 |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| KR101997852B1 (ko) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| EP2499961B1 (en) | 2011-03-18 | 2016-09-21 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Spectacle device with an adjustable field of view and method |
| JP5807364B2 (ja) | 2011-04-08 | 2015-11-10 | 株式会社バッファロー | 管理装置、管理方法、プログラムおよび記録媒体 |
| RU2017118159A (ru) | 2011-05-06 | 2018-10-30 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
| US8675781B2 (en) | 2011-09-08 | 2014-03-18 | Thinkrf Corporation | Radio frequency receiver system for wideband signal processing |
| US8743051B1 (en) | 2011-09-20 | 2014-06-03 | Amazon Technologies, Inc. | Mirror detection-based device functionality |
| WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| KR102116697B1 (ko) | 2011-11-23 | 2020-05-29 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
| US8958599B1 (en) | 2012-01-06 | 2015-02-17 | Google Inc. | Input method and system based on ambient glints |
| US20130194389A1 (en) | 2012-01-31 | 2013-08-01 | Ben Vaught | Head-mounted display device to measure attentiveness |
| NZ700887A (en) | 2012-04-05 | 2016-11-25 | Magic Leap Inc | Wide-field of view (fov) imaging devices with active foveation capability |
| CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9880193B2 (en) | 2012-08-15 | 2018-01-30 | Qualcomm Incorporated | Device driven inertial interference compensation |
| US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
| KR102274413B1 (ko) | 2013-01-15 | 2021-07-07 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
| US9589294B2 (en) | 2013-01-23 | 2017-03-07 | Wal-Mart Stores, Inc. | Location based alerts for shopper |
| US20140267004A1 (en) * | 2013-03-13 | 2014-09-18 | Lsi Corporation | User Adjustable Gesture Space |
| WO2014160342A1 (en) | 2013-03-13 | 2014-10-02 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
| KR102318391B1 (ko) | 2013-03-15 | 2021-10-26 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US10330931B2 (en) | 2013-06-28 | 2019-06-25 | Microsoft Technology Licensing, Llc | Space carving based on human physical data |
| US10533850B2 (en) | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
| JP6111932B2 (ja) | 2013-08-26 | 2017-04-12 | ソニー株式会社 | 行動支援装置、行動支援方法、プログラム、および記憶媒体 |
| WO2015039050A1 (en) * | 2013-09-13 | 2015-03-19 | Nod, Inc | Using the human body as an input device |
| US20150097719A1 (en) * | 2013-10-03 | 2015-04-09 | Sulon Technologies Inc. | System and method for active reference positioning in an augmented reality environment |
| AU2014337171B2 (en) | 2013-10-16 | 2018-11-15 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| US9672649B2 (en) | 2013-11-04 | 2017-06-06 | At&T Intellectual Property I, Lp | System and method for enabling mirror video chat using a wearable display device |
| CN107315249B (zh) | 2013-11-27 | 2021-08-17 | 奇跃公司 | 虚拟和增强现实系统与方法 |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| US9360935B2 (en) | 2013-12-20 | 2016-06-07 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Integrated bi-sensing optical structure for head mounted display |
| NZ722903A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
| KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US9344673B1 (en) | 2014-03-14 | 2016-05-17 | Brian K. Buchheit | Enhancing a camera oriented user interface via an eye focus guide |
| US9649558B2 (en) * | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| JP6320143B2 (ja) | 2014-04-15 | 2018-05-09 | 株式会社東芝 | 健康情報サービスシステム |
| JP2015210797A (ja) | 2014-04-30 | 2015-11-24 | シャープ株式会社 | 表示装置 |
| CN107087431B (zh) | 2014-05-09 | 2021-02-05 | 谷歌有限责任公司 | 用于辨别眼睛信号和连续生物识别的系统和方法 |
| AU2015266586B2 (en) | 2014-05-30 | 2020-07-23 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| US10056054B2 (en) * | 2014-07-03 | 2018-08-21 | Federico Fraccaroli | Method, system, and apparatus for optimising the augmentation of radio emissions |
| US9599821B2 (en) | 2014-08-08 | 2017-03-21 | Greg Van Curen | Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space |
| US9841784B2 (en) * | 2014-09-26 | 2017-12-12 | Intel Corporation | Apparatus and method for controlling wearable devices using wireless energy harvesting |
| CN104407700A (zh) * | 2014-11-27 | 2015-03-11 | 曦煌科技(北京)有限公司 | 一种移动头戴式虚拟现实和增强现实的设备 |
| CN112764536A (zh) * | 2015-03-05 | 2021-05-07 | 奇跃公司 | 用于增强现实的系统和方法 |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| CN106303498B (zh) | 2015-05-30 | 2018-10-16 | 北京智谷睿拓技术服务有限公司 | 视频显示控制方法和装置、显示设备 |
| US10049303B2 (en) | 2015-10-01 | 2018-08-14 | Infinity Augmented Reality Israel Ltd. | Method and a system for identifying reflective surfaces in a scene |
| US9851561B2 (en) | 2015-12-23 | 2017-12-26 | Intel Corporation | Head-mounted device with rear-facing camera |
| JP6952713B2 (ja) | 2016-01-19 | 2021-10-20 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 反射を利用する拡張現実システムおよび方法 |
| EP4130942A1 (en) | 2016-04-26 | 2023-02-08 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
-
2017
- 2017-04-24 EP EP22198674.8A patent/EP4130942A1/en active Pending
- 2017-04-24 CN CN202210265122.8A patent/CN114699751A/zh active Pending
- 2017-04-24 KR KR1020227011288A patent/KR102522502B1/ko active IP Right Grant
- 2017-04-24 NZ NZ747815A patent/NZ747815A/en unknown
- 2017-04-24 KR KR1020237012452A patent/KR20230054499A/ko not_active Application Discontinuation
- 2017-04-24 AU AU2017257549A patent/AU2017257549B2/en active Active
- 2017-04-24 US US15/495,597 patent/US10261162B2/en active Active
- 2017-04-24 EP EP17790199.8A patent/EP3458167B1/en active Active
- 2017-04-24 CN CN201780038686.5A patent/CN109689173B/zh active Active
- 2017-04-24 CA CA3021964A patent/CA3021964A1/en active Pending
- 2017-04-24 NZ NZ787459A patent/NZ787459A/en unknown
- 2017-04-24 NZ NZ787464A patent/NZ787464A/en unknown
- 2017-04-24 KR KR1020187033916A patent/KR102384882B1/ko active IP Right Grant
- 2017-04-24 WO PCT/US2017/029189 patent/WO2017189450A1/en active Application Filing
- 2017-04-24 JP JP2018555599A patent/JP7027336B2/ja active Active
-
2018
- 2018-10-22 IL IL262504A patent/IL262504B/en unknown
-
2019
- 2019-02-28 US US16/288,856 patent/US10495718B2/en active Active
- 2019-10-31 US US16/670,172 patent/US10948721B2/en active Active
-
2021
- 2021-02-09 US US17/171,328 patent/US11460698B2/en active Active
- 2021-10-13 IL IL287229A patent/IL287229A/en unknown
- 2021-12-01 AU AU2021277680A patent/AU2021277680B2/en active Active
-
2022
- 2022-02-16 JP JP2022021974A patent/JP7289944B2/ja active Active
- 2022-08-24 US US17/894,845 patent/US20220404622A1/en active Pending
-
2023
- 2023-05-31 JP JP2023089482A patent/JP7456047B2/ja active Active
- 2023-12-08 JP JP2023207609A patent/JP2024015296A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004056272A (ja) * | 2002-07-17 | 2004-02-19 | Japan Aviation Electronics Industry Ltd | 全周映像表示装置及びそれに用いるヘッドトラッカーの磁気補正方法 |
| JP2007272067A (ja) * | 2006-03-31 | 2007-10-18 | Brother Ind Ltd | 画像表示装置 |
| CN105188516A (zh) | 2013-03-11 | 2015-12-23 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102384882B1 (ko) | 증강 현실 시스템들을 사용한 전자기 추적 | |
| KR102439771B1 (ko) | 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스 | |
| CN112513711B (zh) | 用于使用位置向量解析半球模糊度的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |