KR20220125362A - 각도 감지 검출기들을 포함하는 머리-착용 디스플레이 시스템들에 대한 위치 추적 시스템 - Google Patents
각도 감지 검출기들을 포함하는 머리-착용 디스플레이 시스템들에 대한 위치 추적 시스템 Download PDFInfo
- Publication number
- KR20220125362A KR20220125362A KR1020227029078A KR20227029078A KR20220125362A KR 20220125362 A KR20220125362 A KR 20220125362A KR 1020227029078 A KR1020227029078 A KR 1020227029078A KR 20227029078 A KR20227029078 A KR 20227029078A KR 20220125362 A KR20220125362 A KR 20220125362A
- Authority
- KR
- South Korea
- Prior art keywords
- head
- worn display
- display system
- light sources
- system component
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 6
- 230000010287 polarization Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011896 sensitive detection Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Control Of Position Or Direction (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
착용가능 HMD 디바이스 또는 핸드-헬드 제어기와 같은 머리-착용 디스플레이(head-mounted display; HMD) 시스템 구성요소의 위치를 추적하기 위한 시스템들 및 방법들. HMD 구성요소는, 광원으로부터 방출된 광의 도달 각도를 검출할 수 있는 복수의 각도 감지 검출기들을 지탱하는 지지 구조체를 포함할 수 있다. 프로세서는 광원들이 지정된 패턴에 따라 광을 방출하게 하고, 복수의 각도 감지 검출기들로부터 센서 데이터를 수신한다. 프로세서는, 수신된 센서 데이터의 프로세싱에 기초하여 머리-착용 디스플레이 구성요소의 위치를 추적하기 위해 기계 학습 또는 다른 기술들을 사용하여 수신된 센서 데이터를 프로세싱할 수 있다.
Description
본 개시는 전반적으로 머리-착용형 디스플레이들 및 머리-착용 디스플레이와 연관된 제어기들과 같은 물체들에 대한 위치 추적에 관한 것이다.
가상 현실(virtual reality; "VR") 또는 증강 현실(augmented reality; "AR") 경험들의 하나의 현재 생성은, 고정식 컴퓨터(예컨대, 개인용 컴퓨터("PC"), 랩탑, 또는 게임 콘솔)에 연결되거나, 스마트 폰 및/또는 그것의 연관된 디스플레이와 결합되거나 및/또는 통합될 수 있거나, 또는 자급식일 수 있는 머리-착용 디스플레이(head-mounted display; "HMD")들을 사용하여 생성된다. 일반적으로, HMD들은, 하나의(단안 HMD) 또는 각각의 눈(쌍안 HMD)의 전방에 소형 디스플레이 디바이스를 갖는, 사용자의 머리에 착용되는 디스플레이 디바이스들이다. 디스플레이 유닛들은 전형적으로 소형화되며, 예를 들어, CRT, LCD, 실리콘 위 액정(Liquid crystal on silicon; LCos), 또는 OLED 기술품들을 포함할 수 있다. 쌍안 HMD는 각각의 눈에 상이한 이미지를 디스플레이할 가능성을 갖는다. 이러한 성능은 입체 이미지들을 디스플레이하기 위하여 사용된다.
스마트폰들 및 고-화질 텔레비전들뿐만 아니라 다른 전자 디바이스들의 성장과 함께 고성능을 갖는 디스플레이들에 대한 수요가 증가하였다. 가상 현실 및 증강 현실 시스템들, 특히 이러한 HMD들을 사용하는 가상 현실 및 증강 현실 시스템들의 성장하고 있는 인기가 이러한 수요를 추가로 증가시키고 있다. 가상 현실 시스템들은 전형적으로 착용자의 눈들을 완전히 감싸고 착용자의 전방에서 실제 또는 물리적 현실 뷰(view)를 "가상" 현실로 치환하며, 반면 증강 현실 시스템들은 전형적으로, 실제 뷰가 추가적인 정보로 증강되도록 착용자의 눈들의 전방에 하나 이상의 스크린들의 반-투명 또는 투명 오버레이(overlay)를 제공하고, 매개 현실 시스템(mediated reality system)들은 유사하게 실제 요소들을 가상 요소들과 결합하는 정보를 시청자(viewer)에게 나타낼 수 있다. 다수의 가상 현실 및 증강 현실 시스템들에 있어서, 보여지고 있는 이미지들이 사용자의 움직임들을 반영하는 것을 가능하게 하기 위하여 그리고 상호작용 환경을 가능하게 하기 위하여, 이러한 머리-착용 디스플레이의 착용자의 움직임은 다양한 방식들로, 예컨대 머리-착용 디스플레이, 제어기들 내의 센서들 및/또는 외부 센서들을 통해 추적될 수 있다.
위치 추적은 HMD 시스템이 서로에 대한 그리고 주변 환경에 대한 하나 이상의 구성요소들의 위치를 추정하는 것을 가능하게 한다. 위치 추적은 HMD 시스템의 구성요소들의 절대 위치의 검출을 달성하기 위해 하드웨어 및 소프트웨어의 조합을 사용할 수 있다. 위치 추적은 AR 또는 VR 시스템들에 대하여 중요한 기술이며, 이는 6 자유도(six degrees of freedom; 6DOF)를 가지고 HMD들(및/또는 제어기들 또는 다른 주변기기들)의 움직임을 추적하는 것을 가능하게 한다.
위치 추적 기술은 점프 또는 웅크림과 같은 상이한 액션들을 반영하기 위하여 사용자의 시점을 변화시키기 위해 사용될 수 있으며, 사용자의 손들 및 가상 환경 내의 다른 물체들의 정확한 표현을 가능하게 할 수 있다. 위치 추적은 또한, 예를 들어, 터치에 의해 가상 물체들을 움직이기 위해 손 위치를 사용함으로써, 물리적 환경과 가상 환경 사이의 연결을 증가시킬 수 있다. 위치 추적은 시차(parallax) 때문에 사용자에 대한 가상 현실의 3D 인식을 개선하며, 이는 거리의 인식을 돕는다. 또한, 위치 추적은, 눈으로 보여지는 것의 입력과 사용자의 귀의 전정계에 의해 느껴지고 있는 것의 입력 사이의 분리(disconnect)에 의해 초래되는 멀미를 최소화하거나 또는 감소시키는 것을 도울 수 있다.
위치 추적의 상이한 방법들이 존재한다. 이러한 방법들은 음향 추적, 관성 추적, 자기 추적, 광학 추적, 이들의 조합들, 등을 포함할 수 있다.
머리-착용 디스플레이 시스템은, 사용자가 착용할 수 있는 제1 머리-착용 디스플레이 시스템 구성요소; 제1 머리-착용 디스플레이 시스템 구성요소에 의해 지탱되는 복수의 각도 감지 검출기들로서, 동작 시에 복수의 각도 감지 검출기들의 각각은 하나 이상의 광원들로부터 방출되는 광의 도달 각도를 나타내는 센서 데이터를 캡처하는, 복수의 각도 감지 검출기들; 프로세서-실행가능 명령어들 또는 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및 복수의 각도 감지 검출기들 및 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 동작 시에, 적어도 하나의 프로세서는, 복수의 각도 감지 검출기들로부터 센서 데이터를 수신하고, 수신된 센서 데이터를 프로세싱하며, 및 수신된 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 제1 머리-착용 디스플레이 시스템 구성요소의 위치를 추적하는 것으로서 요약될 수 있다. 제1 머리-착용 디스플레이 시스템 구성요소는 사용자의 머리에 착용할 수 있는 머리-착용 디스플레이 디바이스 또는 핸드-헬드 제어기를 포함할 수 있다. 복수의 각도 감지 검출기들의 각각은 포토다이오드 검출기 또는 위치 감지 검출기 중 하나를 포함할 수 있다. 복수의 각도 감지 검출기들의 각각은 적어도 4개의 셀들을 갖는 포토다이오드 검출기를 포함할 수 있다.
머리-착용 디스플레이 시스템은, 복수의 광원들을 포함하는 제2 머리-착용 디스플레이 시스템 구성요소를 더 포함할 수 있다. 제1 머리-착용 디스플레이 시스템 구성요소는 머리-착용 디스플레이 디바이스, 제어기, 또는 기지국 중 하나를 포함할 수 있으며, 제2 머리-착용 디스플레이 시스템 구성요소는 머리-착용 디스플레이 디바이스, 제어기, 또는 기지국 중 다른 것을 포함할 수 있다. 제2 머리-착용 디스플레이 구성요소는, 머리-착용 디스플레이 시스템이 동작되는 환경에 근접한 로케이션에 고정된 구성요소를 포함할 수 있다. 복수의 광원들은 LED 광원들을 포함할 수 있다. 동작 시에, 제2 머리-착용 디스플레이 시스템 구성요소는 주어진 시간에 복수의 광원들의 서브세트를 조명할 수 있으며, 서브세트는 제2 머리-착용 디스플레이 시스템 구성요소의 복수의 광원들 모두를 포함하지는 않는다. 동작 시에, 제2 머리-착용 디스플레이 시스템 구성요소는 복수의 광원들을 순차적으로 조명할 수 있다. 동작 시에, 제2 머리-착용 디스플레이 시스템 구성요소는 멀티플렉싱을 사용하여 복수의 광원들을 조명할 수 있다. 멀티플렉싱은 시간 멀티플렉싱, 파장 멀티플렉싱, 주파수 멀티플렉싱, 또는 편광 멀티플렉싱 중 적어도 하나를 포함할 수 있다. 광원들의 각각은, 렌즈, 필터, 또는 편광기 중 적어도 하나를 포함하는 광학적 서브시스템을 포함할 수 있다. 각도 감지 검출기들의 각각은, 렌즈, 필터, 또는 편광기 중 적어도 하나를 포함하는 광학적 서브시스템을 포함할 수 있다. 각도 감지 검출기들의 각각은, 축-외(off-axis) 광이 축-상(on-axis) 광에 비해 각도 감지 검출기의 감지 요소들에서 유사한 치수들을 갖도록 하는 렌즈를 포함할 수 있다. 수신된 센서 데이터를 프로세싱하기 위해, 적어도 하나의 프로세서는 트레이닝된 기계 학습 모델에 대한 입력으로서 수신된 센서 데이터를 제공할 수 있다. 프로세서는 트레이닝 데이터를 수신하고 트레이닝 데이터를 사용하여 기계 학습 모델을 트레이닝시키도록 구성될 수 있다. 제1 머리-착용 디스플레이 시스템 구성요소는 적어도 하나의 프로세서에 동작가능하게 결합되는 관성 측정 유닛(inertial measurement unit; IMU) 센서를 포함할 수 있으며, 여기서, 동작 시에 적어도 하나의 프로세서는, IMU 센서로부터 IMU 센서 데이터를 수신하며, IMU 센서 데이터, 및 복수의 광학적 각도 감지 검출기들로부터 수신된 센서 데이터를 프로세싱하고, 및 수신된 센서 데이터 및 수신된 IMU 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 제1 머리-착용 디스플레이 시스템 구성요소의 위치를 추적한다. 각도 감지 검출기들의 프레임 레이트(frame rate)는 초당 1000 프레임 이상일 수 있다.
머리-착용 디스플레이 시스템을 동작시키는 방법으로서, 머리-착용 디스플레이 시스템은 사용자가 착용할 수 있는 제1 머리-착용 디스플레이 시스템 구성요소 및 제1 머리-착용 디스플레이 시스템 구성요소에 의해 지탱되는 복수의 각도 감지 검출기들을 포함하며, 방법은, 복수의 각도 감지 검출기들의 각각을 통해, 광원으로부터 방출된 광의 도달 각도를 나타내는 센서 데이터를 캡처하는 단계; 적어도 하나의 프로세서에 의해, 복수의 각도 감지 검출기들로부터 센서 데이터를 수신하는 단계; 적어도 하나의 프로세서에 의해, 수신된 센서 데이터를 프로세싱하는 단계; 및 적어도 하나의 프로세서에 의해, 수신된 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 제1 머리-착용 디스플레이 시스템 구성요소의 위치를 추적하는 단계를 포함하는 것으로서 요약될 수 있다.
머리-착용 디스플레이 시스템은, 사용자가 착용할 수 있는 제1 머리-착용 디스플레이 시스템 구성요소; 제1 머리-착용 디스플레이 시스템 구성요소에 의해 지탱되는 복수의 각도 감지 검출기들로서, 동작 시에 복수의 각도 감지 검출기들의 각각은 광원으로부터 방출되는 광의 도달 각도를 나타내는 센서 데이터를 캡처하는, 복수의 각도 감지 검출기들; 복수의 광원들을 포함하는 제2 머리-착용 디스플레이 시스템 구성요소; 프로세서-실행가능 명령어들 또는 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및 복수의 각도 감지 검출기들, 복수의 광원들, 및 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 동작 시에, 적어도 하나의 프로세서는, 복수의 광원들이 광을 방출하게 하며, 복수의 각도 감지 검출기들로부터 센서 데이터를 수신하고, 수신된 센서 데이터를 프로세싱하며, 및 수신된 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 제1 머리-착용 디스플레이 시스템 구성요소 및 제2 머리-착용 디스플레이 시스템 구성요소 중 적어도 하나의 위치를 추적하는 것으로서 요약될 수 있다. 복수의 각도 감지 검출기들의 각각은 포토다이오드 검출기 또는 위치 감지 검출기 중 하나를 포함할 수 있다. 제1 머리-착용 디스플레이 시스템 구성요소는 머리-착용 디스플레이 디바이스, 제어기, 또는 기지국 중 하나를 포함할 수 있으며, 제2 머리-착용 디스플레이 시스템 구성요소는 머리-착용 디스플레이 디바이스, 제어기, 또는 기지국 중 다른 것을 포함할 수 있다. 복수의 광원들은 비-가시광을 방출하는 LED 광원들을 포함할 수 있다. 동작 시에, 제2 머리-착용 디스플레이 시스템 구성요소는 주어진 시간에 복수의 광원들의 서브세트를 조명할 수 있으며, 서브세트는 제2 머리-착용 디스플레이 시스템 구성요소의 복수의 광원들 모두를 포함하지는 않는다. 동작 시에, 제2 머리-착용 디스플레이 시스템 구성요소는 복수의 광원들을 순차적으로 조명할 수 있다. 동작 시에, 제2 머리-착용 디스플레이 시스템 구성요소는 멀티플렉싱을 사용하여 복수의 광원들을 조명할 수 있다. 멀티플렉싱은 시간 멀티플렉싱, 파장 멀티플렉싱, 주파수 멀티플렉싱, 또는 편광 멀티플렉싱 중 적어도 하나를 포함할 수 있다. 광원들의 각각은, 렌즈, 필터, 또는 편광기 중 적어도 하나를 포함하는 광학적 서브시스템을 포함할 수 있다. 각도 감지 검출기들의 각각은, 렌즈, 필터, 또는 편광기 중 적어도 하나를 포함하는 광학적 서브시스템을 포함할 수 있다.
도면들에서, 동일한 참조 번호들은 유사한 요소들 또는 행동들을 식별한다. 도면들 내에서 요소들의 크기들 및 상대적인 위치들은 반드시 축적이 맞춰져야 하는 것은 아니다. 예를 들어, 다양한 요소들의 형상들 및 각도들이 반드시 축적이 맞춰져야 할 필요는 없으며, 이러한 요소들 중 일부는 도면 가독성을 개선하기 위하여 임의적으로 확장되고 위치될 수 있다. 추가로, 도시되는 요소들의 특정 형상들은 반드시 특정 요소들의 정확한 형상에 관한 임의의 정보를 전달하도록 의도되는 것은 아니며, 단지 도면들 내에서의 인식의 용이성을 위하여 선택될 수 있다.
도 1은, 추적 서브시스템의 실시예들을 포함하는, 본 개시에서 설명되는 적어도 일부 기술들을 수행하기에 적절한 하나 이상의 시스템들을 포함하는 네트워크형 환경의 개략도이다.
도 2는, 설명되는 기술들 중 적어도 일부가 비디오 렌더링 시스템에 테더링(tether)되고 사용자에게 가상 현실 디스플레이를 제공하는 예시적인 머리-착용 디스플레이 디스플레이와 함께 사용되는 예시적인 환경을 예시하는 도면이다.
도 3은 복수의 각도 감지(sensitive) 검출기들 및 쌍안 디스플레이 서브시스템들을 갖는 HMD 디바이스의 도식적인 도면이다.
도 4는 HMD 디바이스와 함께 사용될 수 있는 제어기의 도식적인 도면이다.
도 5는 본 개시의 예시적인 실시예에 따른 HMD 디바이스의 개략적인 블록도이다.
도 6은, 하나의 비-제한적인 예시된 구현예에 따른, HMD 디바이스의 추적 서브시스템을 구현하기 위해 기계 학습 기술이 사용될 수 있는 환경의 개략적인 도면이다.
도 7은, 본 개시의 예시적인 실시예에 따른, 사용 동안 HMD 시스템의 위치, 배향 및/또는 움직임을 추적하기 위해 HMD 시스템의 위치 추적 시스템을 동작시키는 방법에 대한 순서도이다.
도 8a는 본 개시의 구현예들 중 하나 이상에서 사용될 수 있는 예시적인 각도 감지 검출기의 상면도이다.
도 8b는 도 8a에 도시된 각도 감지 검출기의 사시도이다.
도 9는, 하나의 비-제한적인 예시된 구현예에 따른, HMD 시스템의 구성요소들의 위치를 결정하기 위한 광원들 및 각도 감지 검출기들의 사용을 예시하는 간략화된 도면이다.
도 10은, 하나의 비-제한적인 예시된 구현예에 따른, 광원 및 각도 감지 검출기의 예시적인 광학 시스템들을 도시하는 도면이다.
도 1은, 추적 서브시스템의 실시예들을 포함하는, 본 개시에서 설명되는 적어도 일부 기술들을 수행하기에 적절한 하나 이상의 시스템들을 포함하는 네트워크형 환경의 개략도이다.
도 2는, 설명되는 기술들 중 적어도 일부가 비디오 렌더링 시스템에 테더링(tether)되고 사용자에게 가상 현실 디스플레이를 제공하는 예시적인 머리-착용 디스플레이 디스플레이와 함께 사용되는 예시적인 환경을 예시하는 도면이다.
도 3은 복수의 각도 감지(sensitive) 검출기들 및 쌍안 디스플레이 서브시스템들을 갖는 HMD 디바이스의 도식적인 도면이다.
도 4는 HMD 디바이스와 함께 사용될 수 있는 제어기의 도식적인 도면이다.
도 5는 본 개시의 예시적인 실시예에 따른 HMD 디바이스의 개략적인 블록도이다.
도 6은, 하나의 비-제한적인 예시된 구현예에 따른, HMD 디바이스의 추적 서브시스템을 구현하기 위해 기계 학습 기술이 사용될 수 있는 환경의 개략적인 도면이다.
도 7은, 본 개시의 예시적인 실시예에 따른, 사용 동안 HMD 시스템의 위치, 배향 및/또는 움직임을 추적하기 위해 HMD 시스템의 위치 추적 시스템을 동작시키는 방법에 대한 순서도이다.
도 8a는 본 개시의 구현예들 중 하나 이상에서 사용될 수 있는 예시적인 각도 감지 검출기의 상면도이다.
도 8b는 도 8a에 도시된 각도 감지 검출기의 사시도이다.
도 9는, 하나의 비-제한적인 예시된 구현예에 따른, HMD 시스템의 구성요소들의 위치를 결정하기 위한 광원들 및 각도 감지 검출기들의 사용을 예시하는 간략화된 도면이다.
도 10은, 하나의 비-제한적인 예시된 구현예에 따른, 광원 및 각도 감지 검출기의 예시적인 광학 시스템들을 도시하는 도면이다.
다음의 설명에 있어, 어떤 특정 세부사항들이 개시된 다양한 구현예들의 철저한 이해를 제공하기 위하여 기술되었다. 그러나, 당업자는 구현예들이 이러한 특정 세부사항들 중 하나 이상이 없는 상태로 또는 다른 방법들, 구성 요소들, 재료들 등과 함께 실시될 수 있다는 것을 인식할 것이다. 다른 예들에 있어, 컴퓨터 시스템들, 서버 컴퓨터들, 및/또는 통신 네트워크들과 연관된 잘 알려진 구조들은 구현예들의 설명을 불필요하게 모호하게 하는 것을 회피하기 위하여 상세하게 도시되지 않거나 또는 설명되지 않는다.
문맥이 달리 요구하지 않는 한, 다음의 명세서 및 청구항들 전체에 걸쳐, 단어 "구성되는"은 "포함하는"과 동의어이며, 포괄적이고 개방적이다(즉, 추가적인, 언급되지 않은 요소들 또는 방법 행동들을 배제하지 않는다).
본 명세서 전체에 걸쳐 "하나의 구현예" 또는 "일 구현예"에 대한 이러한 설명의 언급은 구현예와 함께 설명된 특정 특징, 구조, 또는 특성이 적어도 하나의 구현예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에 걸쳐 다양한 위치들에서의 문구들 "하나의 구현예에 있어서" 또는 "일 구현예에 있어서"의 출현이 반드시 모두 동일한 구현예를 지칭하는 것이 아니다. 추가적으로, 특정 특징들, 구조들, 또는 특성들은 하나 이상의 구현예들에서 임의의 적절한 방식으로 결합될 수 있다.
본 명세서에서 그리고 첨부된 청구항들에서 사용될 때, 단수 형태들 "일", 및 "상기"는 문맥이 명백하게 달리 기재하지 않는 한 복수의 지시대상들을 포함한다. 용어 "또는"은 일반적으로, 문맥이 명백히 달리 기술하지 않는 한, "및/또는"을 포함하는 의미로 이용된다.
본원에서 제공되는 본 개시의 표제 및 요약은 오로지 편의를 위한 것이며, 구현예들의 의미 또는 범위를 해석하지 않는다.
본 개시의 하나 이상의 구현예들은, 머리-착용 디스플레이(head-mounted display; HMD) 시스템의 구성요소들(예를 들어, HMD, 제어기들, 주변기기들)의 위치를 정확히 추적하기 위한 시스템들 및 방법들에 관한 것이다. 적어도 하나의 구현예들에서, HMD는 전향(forward facing) 카메라("전방 카메라" 또는 "정면 카메라") 및 복수의 각도 감지 검출기들 또는 광원들을 지탱(carry)하는 지지 구조체를 포함한다. 유사하게, 하나 이상의 제어기들은 복수의 각도 감지 검출기들 또는 광원들을 포함할 수 있다. 다른 구현예들에서, HMD는 전방 카메라를 포함하지 않는다. 전방 카메라는 제1 프레임 레이트(rate)(예를 들어, 30 Hz, 90 Hz)로 전방 카메라 시야(field of view) 내의 이미지 센서 데이터를 캡처할 수 있다.
동작 시에, 하나 이상의 고정된 또는 이동가능 광원들(예를 들어, IR LED들)은 이하에서 추가로 논의되는 바와 같이 광을 방출하게 될 수 있다. 광원들은 HMD, 제어기, 환경 내에 위치된 고정된 물체(예를 들어, 기지국(base station)), 등에 결합될 수 있다. 복수의 각도 감지 검출기들의 각각은, (존재할 때) 전방 카메라의 제1 프레임 레이트보다 더 클 수 있는 제2 프레임 레이트(예를 들어, 1000 Hz, 2000 Hz)로 개별적인 복수의 각도 감지 검출기 시야들 내의 센서 데이터를 캡처한다. 적어도 일부 구현예들에서, 각도 감지 검출기 시야들은 전방 카메라 시야보다 더 좁을 수 있지만, 필수적인 것은 아니다. 예를 들어, 전방 카메라는 90°, 120°, 또는 150°의 상대적으로 넓은 전방 카메라 시야를 가질 수 있으며, 각도 감지 검출기들의 각각은 상대적으로 좁은 센서 ID 시야들(예를 들어, 25°, 45°, 75°)을 가질 수 있다. 적어도 일부 구현예들에서, 각도 감지 검출기 시야들은 집합적으로 적어도 전방 카메라 시야의 상당한 부분을 커버할 수 있거나, 또는 전방 카메라 시야보다 훨씬 더 클 수 있으며, 여기에서 각도 감지 검출기 시야들의 각각이 전방 카메라 시야의 상이한 부분들과 중첩한다.
동작 시에, 복수의 각도 감지 검출기들에 동작가능하게 결합된 적어도 하나의 프로세서는, 복수의 광원들(예를 들어, LED들, 레이저들, 다른 광원들)로부터 광을 캡처하는 센서 데이터를 수신할 수 있다. 적어도 하나의 프로세서는 수신된 이미지 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 머리-착용 디스플레이의 구성요소의 위치를 추적하기 위해 수신된 이미지 센서 데이터를 프로세싱할 수 있다. 예를 들어, 적어도 하나의 프로세서는 환경 내에 존재하는 하나 이상의 특징들을 추적하기 위하여 각도 감지 검출기들로부터의 센서 데이터를 융합할 수 있다. 적어도 하나의 프로세서는 HMD 시스템의 하나 이상의 구성요소들의 위치(position)(예를 들어, 로케이션(location), 배향, 움직임)을 결정하기 위하여 센서 데이터를 프로세싱하기 위해 기계 학습 기술들, 솔버(solver)들, 또는 다른 방법들을 사용할 수 있다. 적어도 일부 구현예들에서, 센서 데이터는 다른 센서들로부터의 센서 데이터, 예컨대 HMD 시스템 구성요소의 관성 측정 유닛(inertial measurement unit; IMU) 또는 전방 카메라로부터의 센서 데이터와 융합될 수 있다. 본 개시의 구현예들의 다양한 특징들이 이하에서 도면들을 참조하여 논의된다.
도 1은, 본원에서 설명되는 적어도 일부 기술들을 수행하기에 적절한 로컬 컴퓨팅 시스템(120), 디스플레이 디바이스(180)(예를 들어, 2개의 디스플레이 패널들을 갖는 HMD 디바이스) 및 하나 이상의 제어기들(182)을 포함하는, 로컬 미디어 렌더링(local media rendering; LMR) 시스템(110)(예를 들어, 게이밍 시스템)을 포함하는 네트워크형 환경(100)의 개략도이다. 도 1의 묘사된 실시예에서, 로컬 컴퓨팅 시스템(120)은 (예컨대, 도 2에 예시된 바와 같은 하나 이상의 케이블들(케이블(220))을 통해서 유선으로 연결되거나 또는 테더링될 수 있거나 또는 그 대신에 무선일 수 있는) 송신 링크(115)를 통해 디스플레이 디바이스(180)에 통신가능하게 연결된다. 제어기(182)는, 적절한 유선 또는 무선 링크들(186 및 184)을 통해 로컬 컴퓨팅 시스템(120) 또는 디스플레이 디바이스(180) 각각에 결합될 수 있다. 다른 실시예들에서, 로컬 컴퓨팅 시스템(120)은, HMD 디바이스(180)에 더하여 또는 그 대신에, 유선 또는 무선 링크를 통해 패널 디스플레이 디바이스(예를 들어, TV, 콘솔 또는 모니터)에 디스플레이를 위한 인코딩된 이미지 데이터를 제공할 수 있으며, 디스플레이 디바이스들 각각은 하나 이상의 어드레스가능(addressable) 픽셀 어레이들을 포함한다. 다양한 실시예들에 서, 로컬 컴퓨팅 시스템(120)은, 범용 컴퓨팅 시스템; 게이밍 콘솔; 비디오 스트림 프로세싱 디바이스; 모바일 컴퓨팅 디바이스(예를 들어, 무선 전화, PDA, 또는 다른 모바일 디바이스); VR 또는 AR 프로세싱 디바이스; 또는 다른 컴퓨팅 시스템을 포함할 수 있다.
예시된 실시예에서, 로컬 컴퓨팅 시스템(120)은, 하나 이상의 하드웨어 프로세서들(예를 들어, 중앙 프로세싱 유닛들, 또는 "CPU들")(125), 메모리(130), 다양한 I/O("입력/출력") 하드웨어 구성요소들(127)(예를 들어, 키보드, 마우스, 하나 이상의 게이밍 제어기들, 스피커들, 마이크, IR 송신기 및/또는 수신기, 등), 하나 이상의 특수 하드웨어 프로세서들(예를 들어, 그래픽 프로세싱 유닛들, 또는 "GPU들")(144) 및 비디오 메모리(VRAM)(148)를 포함하는 비디오 서브시스템(140), 컴퓨터-판독가능 저장부(150), 및 네트워크 연결(160)을 포함하는 구성요소들을 갖는다. 또한, 예시된 실시예에서, 추적 서브시스템(135)의 일 실시예는, 예컨대, 이러한 설명된 기술들을 구현하는 자동화된 동작들을 수행하기 위하여 CPU(들)(125) 및/또는 GPU(들)(144)에 의해, 설명된 기술들 중 적어도 일부를 수행하기 위하여 메모리(130) 내에서 실행되며, 메모리(130)는 선택적으로 (예를 들어, 게임 프로그램과 같은, 디스플레이될 비디오 또는 다른 이미지를 생성하기 위한) 하나 이상의 다른 프로그램들(133)을 추가로 실행할 수 있다. 본원에서 설명되는 적어도 일부 기술들을 구현하기 위한 자동화된 동작들의 부분으로서, 메모리(130) 내에서 실행 중인 추적 서브시스템(135) 및/또는 프로그램들(133)은, 저장부(150)의 예시적인 데이터베이스 데이터 구조체 내를 포함하여, 다양한 유형들의 데이터를 저장하거나 및/또는 검색할 수 있으며, 이러한 예에서, 사용되는 데이터는 데이터베이스(database; "DB")(154) 내의 다양한 유형들의 이미지 데이터 정보, DB(152) 내의 다양한 유형들의 애플리케이션, DB(157) 내의 다양한 유형들의 구성 데이터를 포함할 수 있으며, 시스템 데이터 또는 다른 정보와 같은 추가적인 정보를 포함할 수 있다.
도시된 실시예에서, LMR 시스템(110)은 또한, 이미지-생성 프로그램들(133)에 더하여 또는 그 대신에, 디스플레이를 위하여 LMR 시스템(110)에 콘텐트를 추가로 제공할 수 있는 예시적인 네트워크-액세스가능 미디어 콘텐트 제공자(190)에 하나 이상의 컴퓨터 네트워크들(101) 및 네트워크 링크들(102)을 통해 통신가능하게 연결된다. 미디어 콘텐트 제공자(190)는, 각기 하나 이상의 하드웨어 프로세서들, I/O 구성요소들, 로컬 저장 디바이스들 및 메모리를 포함하여, 로컬 컴퓨팅 시스템(120)의 구성요소들과 유사한 구성요소들을 가질 수 있는 하나 이상의 컴퓨팅 시스템들(미도시)을 포함할 수 있지만, 일부 세부사항들은 간결함을 위하여 네트워크-액세스가능 미디어 콘텐트 제공자에 대해 예시되지 않는다.
디스플레이 디바이스(180)가 도 1의 예시된 실시예에서 로컬 컴퓨팅 시스템(120)과는 별개의 그리고 구별되는 것으로서 도시되지만, 특정 실시예들에서, 로컬 미디어 렌더링 시스템(110)의 일부 또는 모든 구성요소들은 모바일 게이밍 디바이스, 휴대용 VR 엔터테인먼트 시스템, HMD 디바이스, 등과 같은 단일 디바이스 내에 통합되거나 또는 하우징될 수 있다는 것이 이해될 것이다. 이러한 실시예들에서, 송신 링크(115)는, 예를 들어, 하나 이상의 시스템 버스들 및/또는 비디오 버스 아키텍처들을 포함할 수 있다.
로컬 미디어 렌더링 시스템(120)에 의해 로컬적으로 수행되는 동작들을 수반하는 일 예로서, 로컬 컴퓨팅 시스템은 게이밍 컴퓨팅 시스템이며 그 결과 애플리케이션 데이터(152)는 메모리(130)를 사용하여 CPU(125)를 통해 실행되는 하나 이상의 게이밍 애플리케이션들을 포한다는 것, 및 다양한 비디오 프레임 디스플레이 데이터가 예컨대, 비디오 서브시스템(140)의 GPU(144)와 함께 이미지-생성 프로그램들(133)에 의해 생성되거나 및/또는 프로세싱된다는 것을 가정한다. 양질의 게이밍 경험을 제공하기 위하여 (초 당 이러한 비디오 프레임들의 약 60-180의 높은 "프레임 레이트"뿐만 아니라 각각의 비디오 프레임에 대한 높은 이미지 해상도에 대응하는) 높은 볼륨의 비디오 프레임 데이터가 로컬 컴퓨팅 시스템(120)에 의해 생성되고, 유선 또는 무선 송신 링크(115)를 통해 디스플레이 디바이스(180)에 제공된다.
컴퓨팅 시스템(120) 및 디스플레이 디바이스(180)가 단지 예시적이며 본 개시의 범위를 제한하도록 의도되지 않는다는 것이 또한 이해될 것이다. 컴퓨팅 시스템(120)은 그 대신에 다수의 상호작용 컴퓨팅 시스템들 또는 디바이스들을 포함할 수 있으며, 인터넷과 같은 하나 이상의 네트워크들을 통해, 웹을 통해, 또는 사설 네트워크들(예를 들어, 모바일 통신 네트워크들, 등)을 통하는 것을 포함하여, 예시되지 않은 다른 디바이스들에 연결될 수 있다. 보다 더 일반적으로, 컴퓨팅 시스템 또는 다른 컴퓨팅 노드는, 비제한적으로, 데스크탑 또는 다른 컴퓨터들, 게임 시스템들, 데이터베이스 서버들, 네트워크 저장 디바이스들 및 다른 네트워크 디바이스들, PDA들, 휴대용 전화기들, 무선 전화기들, 호출기들, 전자 수첩들, 인터넷 전기기기들, (예를 들어, 셋탑 박스들 및/또는 개인용/디지털 비디오 레코더들을 사용하는) 텔레비전-기반 시스템들, 및 적절한 통신 성능들을 포함하는 다양한 다른 소비자 제품들을 포함하는, 설명되는 유형들의 기능을 수행하고 상호작용할 수 있는 하드웨어 또는 소프트웨어의 임의의 조합을 포함할 수 있다. 디스플레이 디바이스(180)는 유사하게 다양한 유형들 및 형태들의 하나 이상의 디스플레이 패널들을 갖는 하나 이상의 디바이스들을 포함할 수 있으며, 선택적으로 다양한 다른 하드웨어 및/또는 소프트웨어 구성요소들을 포함할 수 있다.
이에 더하여, 추적 서브시스템(135)에 의해 제공되는 기능은, 일부 실시예들에서, 하나 이상의 구성요소들(예를 들어, 로컬 및 원격 컴퓨팅 시스템들, HMD, 제어기(들), 기지국(들))에 분산될 수 있으며, 일부 실시예들에서, 추적 서브시스템(135)의 기능 중 일부가 제공되지 않을 수 있거나 및/또는 다른 추가적인 기능이 이용가능할 수 있다. 다양한 아이템들이 사용되고 있는 동안 메모리 내에 또는 저장부 상에 저장되는 것으로서 예시되지만, 이러한 아이템들 또는 이들의 부분들은 메모리 관리 또는 데이터 무결성의 목적들을 위하여 메모리와 저장 디바이스들 사이에서 전송될 수 있다는 것이 또한 이해될 것이다. 따라서, 일부 실시예들에서, 설명되는 기술들 중 일부 또는 전부는, 예컨대, (예를 들어, 추적 서브시스템(135) 또는 그것의 구성요소들에 의해) 하나 이상의 소프트웨어 프로그램들에 의해 및/또는 데이터 구조들에 의해(예를 들어, 하나 이상의 소프트웨어 프로그램들의 소프트웨어 명령어들의 실행에 의해 및/또는 이러한 소프트웨어 명령어들 및/또는 데이터 구조들의 저장에 의해) 구성될 때, 하나 이상의 프로세서들 또는 다른 구성된 하드웨어 회로부 또는 메모리 또는 저장부를 포함하는 하드웨어에 의해 수행될 수 있다. 구성요소들, 시스템들 또는 데이터 구조들의 일부 또는 전부는 또한, 적절한 드라이브에 의해 또는 적절한 연결을 통해 판독될 하드 디스크 또는 플래시 드라이브 또는 다른 비-휘발성 저장 디바이스, 휘발성 또는 비-휘발성 메모리(예를 들어, RAM), 네트워크 저장 디바이스, 또는 휴대용 매체 물품(예를 들어, DVD 디스크, CD 디스크, 광 디스크, 등)과 같은, 비-일시적인 컴퓨터-판독가능 저장 매체 상에 (예를 들어, 소프트웨어 명령어들 또는 구조화된 데이터로서) 저장될 수 있다. 일부 실시예들에서, 시스템들, 구성요소들 및 데이터 구조들은 또한, 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상의 생성된 데이터 신호들로서(예를 들어, 반송파 또는 다른 아날로그 또는 디지털 전파형 신호의 부분으로서) 송신될 수 있으며, (예를 들어, 단일 또는 멀티플렉싱된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 이러한 컴퓨터 프로그램 제품들이 또한 다른 실시예들에서 다른 형태들을 취할 수 있다. 따라서, 본 발명은 다른 컴퓨터 시스템 구성들을 가지고 실시될 수 있다.
도 2는, 설명되는 기술들 중 적어도 일부가, 인간 사용자(206)에게 가상 현실 디스플레이를 제공하기 위해 테더링된 연결(220)(또는 다른 실시예들에서는 무선 연결)을 통해 비디오 렌더링 컴퓨팅 시스템(204)에 결합된 예시적인 HMD 디바이스(202)와 함께 사용되는 예시적인 환경(200)을 예시한다. 사용자는 HMD 디바이스(202)를 착용하고, 실제 물리적 환경과는 상이한 시뮬레이션된 환경의 컴퓨팅 시스템(204)으로부터 HMD 디바이스를 통해 디스플레이되는 정보를 수신하며, 여기에서 컴퓨팅 시스템은, 컴퓨팅 시스템 상에서 실행 중인 게임 프로그램 및/또는 다른 소프트웨어 프로그램에 의해 생성되는 이미지들과 같은, 시뮬레이션된 환경의 이미지들을 사용자에 대한 디스플레이를 위하여 HMD 디바이스로 공급하는 이미지 렌더링 시스템으로서 역할한다. 이러한 예에서, 사용자는 추가로 실제 물리적 환경(200)의 추적되는 체적(201) 내에서 돌아다닐 수 있으며, 사용자가 시뮬레이션된 환경과 추가로 상호작용하는 것을 가능하게 하기 위한 하나 이상의 I/O("입력/출력") 디바이스들을 가질 수 있고, 이러한 예에 있어서 이는 핸드-헬드 제어기들(208 및 210)을 포함한다.
예시된 예에서, 환경(200)은, HMD 디바이스(202) 또는 제어기들(208 및 210)의 추적을 용이하게 할 수 있는 하나 이상의 기지국들(214)(2개의 도시되고 라벨링된 기지국들(214a 및 214b))을 포함할 수 있다. 사용자가 HMD 디바이스(202)의 로케이션을 움직이거나 또는 이의 배향을 변화시킴에 따라, 예컨대, 시뮬레이션된 환경의 대응하는 부분이 HMD 디바이스 상에서 사용자에게 디스플레이되는 것을 가능하게 하기 위하여 HMD 디바이스의 위치가 추적되며, 제어기들(208 및 210)은, 제어기들의 위치를 추적하는데 사용하기 위하여 (그리고 선택적으로 HMD 디바이스의 위치를 결정하거나 또는 검증하는 것을 보조하기 위하여 해당 정보를 사용하기 위하여) 유사한 기술들을 추가로 이용할 수 있다. HMD 디바이스(202)의 추적된 위치가 알려진 이후에, 대응하는 정보가 테더(220)를 통해 또는 무선으로 컴퓨팅 시스템(204)으로 송신되며, 이는 사용자에게 디스플레이할 시뮬레이션된 환경의 하나 이상의 다음 이미지들을 생성하기 위해 추적된 위치 정보를 사용한다.
비제한적으로, 음향 추적, 관성 추적, 자기 추적, 광학적 추적, 이들의 조합들, 등을 포함하여, 본 개시의 다양한 구현예들에서 사용될 수 있는 위치를 추적하는 다수의 상이한 방법들이 존재한다.
적어도 일부 구현예들에서, HMD 디바이스(202) 및 제어기들(208 및 210) 중 적어도 하나는, 본 개시의 추적 기능 또는 다른 측면들을 구현하기 위해 사용될 수 있는 하나 이상의 광학적 수신기들 또는 센서들을 포함할 수 있다. 적어도 일부 구현예들에서, HMD 디바이스(202), 제어기들(208 및 210), 또는 다른 구성요소 중 적어도 하나는, 광학적 수신기들 중 하나 이상에 의해 검출되는 광을 방출할 수 있는 하나 이상의 광원들(예를 들어, LED)들을 포함할 수 있다. 광원들은 고정된 위치에 있을 수 있거나, 또는, HMD 디바이스 또는 제어기와 같은 이동가능한 구성요소 상에 있을 수 있다.
적어도 일부 구현예들에서, 고정된 포인트 광원들을 생성하는 것에 더하여 또는 그 대신에, 기지국들(214)은 각기 추적되는 체적(201)에 걸쳐 광학적 신호를 스윕(sweep)할 수 있다. 각각의 특정 구현예의 요건들에 의존하여, 각각의 기지국(214)은 2개 이상의 광학적 신호를 생성할 수 있다. 예를 들어, 단일 기지국(214)이 전형적으로 6-자유도 추적에 대하여 충분하지만, 한편 다수의 기지국들(예를 들어, 기지국들(214a, 214b))이 HMD 디바이스들 및 주변기기들에 대한 강건한 룸-스케일(room-scale) 추적을 제공하기 위해 일부 실시예들에서 필요하거나 또는 희망될 수 있다. 이러한 예에서, 광학적 수신기들은 HMD 디바이스(202) 및 또는 다른 추적되는 물체들, 예컨대 제어기들(208 및 210) 내에 통합된다. 적어도 일부 구현예들에서, 광학적 수신기들은 저-레이턴시 센서 융합을 지원하기 위해 각각의 추적되는 디바이스 상의 가속도계 및 자이로스코프 관성 측정 유닛(Inertial Measurement Unit; "IMU")과 페어링될 수 있다.
적어도 일부 구현예들에서, 각각의 기지국(214)은, 직교 축들 상의 추적되는 체적(201)에 걸쳐 선형 빔을 스윕하는 2개의 회전자(rotor)들을 포함한다. 각각의 스윕 사이클의 시작에서, 기지국(214)은, 추적되는 물체들 상의 모든 센서들에게 보일 수 있는 ("동기(sync) 신호"로 지칭되는) 전-방향성 광 펄스를 방출할 수 있다. 따라서, 각각의 센서는 동기 신호와 빔 신호 사이의 지속기간을 타이밍(time)함으로써 스윕되는 체적 내의 고유 각 위치를 계산한다. 센서 거리 및 배향은 단일 강성 몸체에 부착된 다수의 센서들을 사용하여 해결될 수 있다.
추적되는 물체들(예를 들어, HMD 디바이스(202), 제어기들(208 및 210)) 상에 위치된 하나 이상의 센서들은 회전자로부터의 변조된 광을 검출할 수 있는 광전자 디바이스를 포함할 수 있다. 가시광 또는 근-적외선(near-infrared; NIR) 광에 대하여, 실리콘 포토다이오드들 및 적절한 증폭기/검출기 회로가 사용될 수 있다. 환경(200)이 기지국(214) 신호들의 신호들과 유사한 파장들을 갖는 정적 및 시변 신호들(광학적 잡음)을 포함할 수 있기 때문에, 적어도 일부 구현예들에서, 기지국 광은, 이것을 임의의 간섭 신호들로부터 구분하는 것을 용이하게 만들기 위한 방식으로 및/또는 기지국 신호들과는 다른 방사의 임의의 파장으로부터 센서를 필터링하는 방식으로 변조될 수 있다. 아래에서 추가로 논의되는 바와 같이, 적어도 일부 구현들예들에서, 각도 감지 검출기들은 HMD 시스템의 하나 이상의 구성요소들을 추적하기 위해 사용된다.
인사이드-아웃(inside-out) 추적이 또한, HMD 디바이스(202) 및/또는 다른 물체들(예를 들어, 제어기들(208 및 210), 태블릿 컴퓨터들, 스마트폰들)의 위치를 추적하기 위해 사용될 수 있는 유형의 위치 추적이다. 인사이드-아웃 추적은, HMD 구성요소의 위치를 결정하기 위해 사용되는 카메라들 또는 다른 센서들의 로케이션에 의해 아웃사이드-인(outside-in) 추적과는 상이하다. 인사이드-아웃 추적에 대하여, 카메라 또는 센서들은 HMD 구성요소 또는 추적되는 물체 상에 위치되며, 반면 아웃사이드-아웃 추적에서 카메라 또는 센서들은 환경 내의 고정 위치에 위치된다.
인사이드-아웃 추적을 사용하는 HMD는, 환경에 대하여 그것의 위치가 변화하는 방식을 결정하기 위하여 "룩 아웃(look out)"하기 위해 하나 이상의 센서들을 사용한다. HMD가 움직일 때, 센서들은 공간(room) 내에서 그들의 위치를 재조정하며, 가상 환경은 그에 따라서 실시간으로 응답한다. 이러한 유형의 위치 추적은, 환경 내에 위치된 마커들을 가지고 또는 마커들 없이 달성될 수 있다. HMD 상에 위치된 카메라들은 주변 환경의 특징부들을 관찰한다. 마커들을 사용할 때, 마커들은 추적 시스템에 의해 용이하게 검출되고 특정 영역 내에 위치되도록 디자인된다. "무마커(markerless)" 인사이드-아웃 추적을 이용하면, HMD 시스템은, 위치 및 배향을 결정하기 위하여 환경 내에 원래 존재하는 특유한 특성들(예를 들어, 자연적 특징부들)을 사용한다. HMD 시스템의 알고리즘은 특정 이미지들 또는 형상들을 식별하고, 이들을 사용하여 공간 내의 디바이스의 위치를 계산한다. 가속도계들 및 자이로스코프들로부터의 데이터가 또한 위치 추적의 정밀도를 증가시키기 위해 사용될 수 있다.
도 3은, 사용자(342)의 머리에 착용될 때 예시적인 HMD 디바이스(344)의 정면도를 예시하는 정보(300)를 도시한다. HMD 디바이스(344)는, 전향(front-facing) 또는 전방 카메라(346) 및 하나 이상의 유형들의 복수의 각도 감지 검출기들(348a-348f)(집합적으로 348)을 지지하는 전향 구조체(343)를 포함한다. 일 예로서, 각도 감지 검출기들(348) 중 일부 또는 전부는, 하나 이상의 외부 디바이스들(도시되지 않음, 예를 들어, 도 2의 기지국들(214), 제어기들)로부터 방출되는 광 정보를 검출하고 사용하기 위한 광 센서들과 같이, 공간 내의 디바이스(344)의 로케이션 및 배향을 결정하는 것을 도울 수 있다. 각도 감지 검출기들(348)은 광원으로부터 방출되는 광의 도달 각도를 검출하도록 동작할 수 있는 임의의 유형의 검출기일 수 있다. 각도 감지 검출기들의 비-제한적인 예들은, 포토다이오드 검출기들(예를 들어, 바이-셀(bi-cell) 검출기들, 사분면(quadrant) 셀 검출기들), 저항성 시트들을 사용하는 위치 감지 검출기들, 등을 포함한다.
도시된 바와 같이, 전방 카메라(346) 및 각도 감지 검출기들(348)은, 사용자(342)가 HMD 디바이스(344)를 동작시키는 실제 신(scene) 또는 환경(미도시)을 향해 전방으로 지향된다. 보다 일반적으로, 각도 감지 검출기들(348)은 다양한 로케이션들(예를 들어, 벽, 천장)에 장착된 물체들 또는 제어기들과 같은 다양한 소스들로부터의 광을 검출하기 위해 다른 영역들을 향해(예를 들어, 위로, 아래로, 좌측으로, 우측으로, 후방으로) 지향될 수 있다. 실제 물리적 환경은, 예를 들어, 하나 이상의 물체들(예를 들어, 벽들, 천장들, 가구, 계단들, 자동차들, 나무들, 추적 마커들, 광원들, 또는 임의의 다른 유형의 물체들)을 포함할 수 있다. 센서들(348)의 특정 수는 도시된 센서들의 수보다 더 작거나(예를 들어, 2개, 4개) 또는 더 많을(예를 들어, 10개, 20개, 30개, 40개) 수 있다. HMD 디바이스(344)는, (예를 들어, 가속도계 및 자이로스코프들의 조합, 및 선택적으로, 자력계들을 사용하여) HMD 디바이스(344)의 특정 힘, 각도 레이트(angular rate), 및/또는 HMD 디바이스를 둘러싸는 자기장을 측정하고 보고하는 IMU(관성 측정 유닛)(347) 전자 디바이스와 같은, 전향 구조체에 부착되지 않은(예를 들어, HMD 디바이스 내부에 있는) 하나 이상의 추가적인 구성요소들을 더 포함할 수 있다. HMD 디바이스(344)는, HMD 디바이스 내의 광학적 렌즈 시스템들 및/또는 디스플레이 패턴들 중 하나 이상의 정렬 또는 다른 위치설정(positioning)을 변화시키기 위한 하나 이상의 부착된 내부 모터들을 선택적으로 가지는 사용자의 눈들(미도시)을 향해 배향된 하나 이상의 디스플레이 패널들 및 광학적 렌즈 시스템들을 포함하여, 도시되지 않은 추가적인 구성요소들을 더 포함할 수 있다.
HMD 디바이스(344)의 예시된 예는, 사용자의 머리 주위로 전체적으로 또는 부분적으로 연장되는 HMD 디바이스(344)의 하우징에 부착된 하나 이상의 스트랩들(345)에 적어도 부분적으로 기초하여 사용자(342) 머리 상에 지지된다. 여기에 예시되지는 않았지만, HMD 디바이스(344)는, 예컨대, 스트랩들(345) 중 하나 이상에 부착된 하나 이상의 외부 모터들을 더 가질 수 있으며, 자동화된 교정(corrective) 액션들은 사용자의 머리 상에서의 HMD 디바이스의 정렬 또는 다른 위치설정을 수정하기 위해 이러한 스트랩들을 조정하기 위해 이러한 모터들을 사용하는 것을 포함할 수 있다. HMD 디바이스가, 예시된 스트랩들에 더하여 또는 그 대신에, 여기에 예시되지 않은 다른 지지 구조체들(예를 들어, 노우즈 피스(nose piece), 턱 스트랩(chin strap), 등)을 포함할 수 있다는 것, 및 일부 실시예들은 사용자의 머리 상에서 HMD 디바이스의 정렬 또는 다른 위치설정을 수정하기 위해 그들의 형상 및/또는 로케이션들을 유사하게 조정하기 위해 하나 이상의 이러한 다른 지지 구조체들에 부착된 모터들을 포함할 수 있다는 것이 이해될 것이다. 사용자의 머리에 부착되지 않은 다른 디스플레이 디바이스들은 디스플레이 디바이스의 위치설정에 영향을 주는 하나 이상의 구조체들에 유사하게 부착될 수 있거나 또는 이들의 부분일 수 있으며, 적어도 일부 실시예들에서, 디스플레이 디바이스의 1명 이상의 사용자들의 하나 이상의 동공들에 대해 디스플레이 디바이스의 정렬 또는 다른 위치설정을 수정하기 위해 그들의 형상 및/또는 로케이션들을 유사하게 수정하기 위한 모터들 또는 다른 기계적 작동기들을 포함할 수 있다.
도 4는 핸드 제어기(400)의 일 예를 더 상세하게 도시된다. 실제로, HMD 시스템은, 이상에서 논의된 제어기들(182, 208, 및 210)과 유사하거나 또는 동일할 수 있는, 도 4의 핸드 제어기(400)와 유사하거나 또는 동일한 2개의 핸드 제어기들을 포함할 수 있다. 도시된 바와 같이, 제어기(400)는, 각도 감지 검출기들(402)이 위치되는 다양한 표면들을 갖는다. 각도 감지 검출기들(402)은 다양한 상이한 방향들로부터 광학적 신호들을 수신하도록 배열된다. 제어기(400)는, 다양한 방식들로 사용자에 의한 상호작용을 가능하게 하는 버튼들, 센서들, 조명들, 제어부들, 손잡이들, 표시기들, 디스플레이들, 등을 가질 수 있다. 추가로, 이상에서 논의된 바와 같이, 적어도 일부 구현예들에서, 제어기(400) 및 HMD 디바이스(344) 중 하나는 복수의 광원들을 포함할 수 있으며, 제어기 및 HMD 디바이스 중 다른 것은 복수의 각도 감지 검출기들 또는 다른 유형의 검출기들 또는 센서들을 포함할 수 있다. 본원에서 설명되는 기술들은 다양한 유형들의 위치 추적에 대해 사용될 수 있지만, HMD들, 제어기들, 등에 한정되지 않는다.
도 5는 본 개시의 하나 이상의 구현예들에 따른 HMD 디바이스(500)의 개략적인 블록도를 도시한다. HMD 디바이스(500)는 본원의 다른 곳에서 논의된 HMD 디바이스들과 유사하거나 또는 동일할 수 있다. 따라서, HMD 디바이스들에 관한 이상의 논의가 또한 HMD 디바이스(500)에 적용될 수 있다. 추가로, HMD 디바이스(500)의 구성요소들 중 적어도 일부는 제어기들, 기지국들, 등과 같은 HMD 시스템의 다른 구성요소들 내에 존재할 수 있다. 따라서, 아래의 설명 중 적어도 일부가 이러한 다른 구성요소들에 적용가능할 수 있다.
HMD 디바이스(500)는, 프로세서(502), 전향 또는 전방 카메라(504), 복수의 각도 감지 검출기들(506)(즉, 쿼드-셀(quad-cell) 포토다이오드들, 위치 감지 검출기들)을 포함하며, IMU(507) 또는 복수의 광원들(509)을 선택적으로 포함한다. 일부 구현예에서, HMD 디바이스(500)는 각도 감지 검출기들 또는 광원들 중 하나를 포함할 수 있으며, 다른 구성요소들(예를 들어, 제어기들, 기지국들)이 각도 감지 검출기들 또는 광원들 중 다른 것을 포함할 수 있다. HMD 디바이스(500)는 디스플레이 서브시스템(508)(예를 들어, 2개의 디스플레이들 및 대응하는 광학 시스템들)을 포함할 수 있다. HMD 디바이스(500)는 또한, 위치 추적을 위한 명령어들 또는 데이터(512), 디스플레이 기능성을 위한 명령어들 또는 데이터(514)(예를 들어, 게임들), 및/또는 다른 프로그램들(516)을 저장할 수 있는 비일시적인 데이터 저장부(510)를 포함할 수 있다. HMD 시스템(500)은, 이상에서 논의되고 도 1에 도시된 로컬 컴퓨팅 시스템(120) 또는 미디어 콘텐트 제공자(190)의 기능을 일부 포함하거나 또는 허용할 수 있다.
HMD 디바이스(500)는 또한 다양한 I/O 구성요소들(518)을 포함할 수 있으며, 이들은 하나 이상의 사용자 인터페이스들(예를 들어, 버튼들, 터치 패드들, 스피커들), 하나 이상의 유선 또는 무선 통신 인터페이스들, 등을 포함할 수 있다. 일 예로서, I/O 구성요소들(518)은, HMD 디바이스(500)이 유선 또는 무선 통신 링크(522)를 통해 외부 디바이스(520)와 통신하는 것을 가능하게 하는 통신 인터페이스를 포함할 수 있다. 비-제한적인 예들로서, 외부 디바이스(520)는 호스트 컴퓨터, 서버, 모바일 디바이스(예를 들어, 스마트폰, 착용형 컴퓨터), 제어기들, 등을 포함할 수 있다. HMD 디바이스(500)의 다양한 구성요소들은 단일 하우징 내에 하우징될 수 있거나, 별개의 하우징(예를 들어, 호스트 컴퓨터) 내에 하우징될 수 있거나, 또는 이들의 임의의 조합들일 수 있다.
예시된 컴퓨팅 시스템들 및 디바이스들이 단지 예시적이며 본 개시의 범위를 제한하도록 의도되지 않는다는 것이 이해될 것이다. 예를 들어, HMD(500) 및/또는 외부 디바이스들(520)은, 인터넷과 같은 하나 이상의 네트워크들을 통해서 또는 웹을 통하는 것을 포함하여, 예시되지 않은 다른 디바이스들에 연결될 수 있다. 더 일반적으로, 이러한 컴퓨팅 시스템 또는 디바이스는, 비제한적으로, 데스크탑 컴퓨터들, 랩탑 컴퓨터들, 슬레이트(slate) 컴퓨터들, 태블릿 컴퓨터들 또는 다른 컴퓨터들, 스마트 폰 컴퓨팅 디바이스들 및 다른 휴대폰들, 인터넷 기기들, PDA들 및 다른 전자 오거나이저(organizer)들, 데이터베이스 서버들, 네트워크 저장 디바이스 및 다른 네트워크 디바이스들, 무선 전화들, 호출기들, (예를 들어, 셋-탑 박스들 및/또는 개인용/디지털 비디오 레코더들 및/또는 게임 콘솔들 및/또는 미디어 서버들을 사용하는) 텔레비전-기반 시스템들, 및 적절한 상호-통신 성능들을 포함하는 다양한 다른 소비자 제품들을 포함하여, 예컨대 적절한 소프트웨어를 가지고 프로그래밍되거나 또는 달리 구성될 때 설명된 유형들의 기능을 수행하고 상호작용할 수 있는 하드웨어의 임의의 조합을 포함할 수 있다. 예를 들어, 예시된 시스템들(500 및 520)은, 적어도 일부 실시예들에 있어서, 예컨대 이러한 시스템들 또는 디바이스들의 프로세서들을 구성하기 위하여, 특정 컴퓨팅 시스템들 또는 디바이스들에 의해 로딩되거나 및/또는 실행될 때 이러한 시스템들 또는 디바이스들을 프로그래밍하거나 또는 달리 구성하기 위하여 사용될 수 있는 실행가능 소프트웨어 명령어들 및/또는 데이터 구조들을 포함할 수 있다. 대안적으로, 다른 실시예들에 있어서, 소프트웨어 시스템들 중 일부 또는 전부는 다른 디바이스 상의 메모리에서 실행될 수 있으며, 컴퓨터-간 통신을 통해 예시된 컴퓨팅 시스템/디바이스와 통신할 수 있다. 이에 더하여, 다양한 아이템들이 다양한 시간들에(예를 들어, 사용되는 동안에) 메모리 내에 또는 저장부 상에 저장되는 것으로서 예시되지만, 이러한 아이템들 또는 이들의 부분들은 메모리 관리 및/또는 데이터 무결성의 목적들을 위하여 메모리와 저장부 사이에서 및/또는 (예를 들어, 상이한 로케이션들에 있는) 저장 디바이스들 사이에서 전송될 수 있다.
따라서, 적어도 일부 실시예들에 있어서, 예시된 시스템들은, 프로세서(들) 및/또는 다른 프로세서 수단에 의해 실행될 때 해당 시스템에 대해 설명된 동작들을 자동으로 수행하게 프로세서(들)를 프로그래밍하는 소프트웨어 명령어들을 포함하는 소프트웨어-기반 시스템들이다. 추가로, 일부 실시예들에 있어서, 시스템들 중 일부 또는 전부는 예컨대, 비제한적으로, 하나 이상의 응용-특정 집적 회로(application-specific integrated circuit; ASIC)들, 표준 집적 회로들, (예를 들어, 적절한 명령어들을 수행함으로써, 그리고 마이크로제어기들 및/또는 내장형 제어기들을 포함하는) 제어기들, 필드-프로그램가능 게이트 어레이(field-programmable gate array; FPGA)들, 복합 프로그램가능 로직 디바이스(complex programmable logic device; CPLD)들, 등을 포함하여, 적어도 부분적으로 펌웨어 및/또는 하드웨어 수단으로 구현되거나 또는 제공될 수 있다. 시스템들 또는 데이터 구조들의 일부 또는 전부가 또한, 적절한 드라이브에 의해 또는 적절한 연결에 의해 판독될 하드 디스크 또는 플래시 드라이브 또는 다른 비-휘발성 저장 디바이스, 휘발성 또는 비-휘발성 메모리(예를 들어, RAM), 네트워크 저장 디바이스, 또는 휴대용 매체 물품(예를 들어, DVD 디스크, CD 디스크, 광 디스크, 플래시 메모리 디바이스, 등)와 같은, 비-일시적인 컴퓨터-판독가능 저장 매체 상에 (예를 들어, 소프트웨어 명령어들 콘텐츠 또는 구조화된 데이터 콘텐츠로서) 저장될 수 있다. 일부 실시예들에 있어서, 시스템들, 모듈들 및 데이터 구조들은 또한, 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상의 생성된 데이터 신호들로서(예를 들어, 반송파 또는 다른 아날로그 또는 디지털 전파형 신호의 부분으로서) 송신될 수 있으며, (예를 들어, 단일 또는 멀티플렉싱된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 이러한 컴퓨터 프로그램 제품들이 또한 다른 실시예들에서 다른 형태들을 취할 수 있다. 따라서, 본 개시는 다른 컴퓨터 시스템 구성들을 가지고 실시될 수 있다.
도 6은, 하나의 비-제한적인 예시된 구현예에 따른, 본원에서 논의되는 추적 서브시스템과 같은, HMD 디바이스, 하나 이상의 제어기들, 또는 다른 구성요소들을 추적하기 위한 추적 서브시스템을 구현하기 위해 기계 학습 기술들이 사용될 수 있는 환경(600)의 개략적인 도면이다. 환경(600)은 모델 트레이닝 부분(601) 및 추론 부분(603)을 포함한다. 트레이닝 부분(601)에서, 트레이닝 데이터(602)는 트레이닝된 기계 학습 모델(606)을 생성하기 위해 기계 학습 알고리즘(604)으로 공급된다. 트레이닝 데이터는, 예를 들어, 하나 이상의 광원들(예를 들어, LED들)에 대한 특정 물체의 위치 및/또는 배향을 지정하는 각도 감지 검출기들로부터의 라벨링된 데이터를 포함할 수 있다. 비-제한적인 예로서, 30개의 각도 감지 검출기들을 갖는 구성요소(예를 들어, HMD, 제어기)를 포함하는 일 실시예에서, 각각의 트레이닝 샘플은, 각도 감지 검출기들의 각각 또는 서브세트로부터의 출력, 구성요소의 알려진 또는 추론된 위치 또는 배향, 및 하나 이상의 광원들의 위치 또는 방향에 관한 정보를 포함할 수 있다. 이하에서 논의되는 바와 같이, 각각의 각도 감지 검출기는 단일 데이터 포인트(예를 들어, 각도)를 출력할 수 있거나, 또는, 각도 감지 검출기의 특정 활성 요소(예를 들어, 서브-검출기 또는 셀, 저항성 시트, 등)에서 수신된 광의 파워 또는 강도를 각각 나타내는 2개 또는 4개의 신호들과 같은 다수의 데이터 포인트들을 출력할 수 있다.
트레이닝 데이터(602)는 HMD 시스템의 복수의 사용자들로부터 및/또는 단일 사용자로부터 획득될 수 있다. 트레이닝 데이터(602)는 제어된 환경에서 및/또는 사용자에 의한 실제 사용("필드 트레이닝") 동안 획득될 수 있다. 추가로, 적어도 일부 구현예들에서, 모델(606)은 정확한 위치 추적 예측들을 제공하기 위해 때때로(time-to-time)(예를 들어, 주기적으로, 연속적으로, 특정 이벤트들 이후에) 업데이트되거나 또는 보정(calibrate)될 수 있다.
추론 부분(603)에서, 런-타임(run-time) 데이터(608)는, 위치 추적 예측들(610)을 생성하는 트레이닝된 기계 학습 모델(606)에 대한 입력으로서 제공된다. 이상의 예를 계속하면, 각도 감지 검출기들의 출력 데이터(예를 들어, 강도 데이터, 각도 데이터), 및 선택적으로 하나 이상의 광원들에 대한 정보는, 구성요소의 위치를 예측하기 위해 데이터를 프로세싱할 수 있는 트레이닝된 기계 학습 모델(606)에 대한 입력으로서 제공될 수 있다. 그런 다음, 추적 예측들(610)은, 예를 들어, 하나 이상의 VR 또는 AR 애플리케이션들, 하나 이상의 디스플레이 또는 렌더링 모듈들, 하나 이상의 기계적 제어부들, 하나 이상의 추가적인 위치 추적 서브시스템들, 등과 같은 HMD 디바이스와 연관된 하나 이상의 구성요소들에 제공될 수 있다.
본원에서 논의되는 특징들을 구현하기 위해 이용되는 기계 학습 기술들은 임의의 유형의 적절한 구조체들 또는 기술들을 포함할 수 있다. 비-제한적인 예들로서, 기계 학습 모델(606)은, 결정 트리들, 통계적 계층 모델들, 지원 벡터 머신들, 인공 신경망(artificial neural network; ANN)들 예컨대 콘볼루션 신경망(convolutional neural network; CNN)들 또는 순환 신경망(recurrent neural network; RNN)들(예를 들어, 장단기 기억(long short-term memory; LSTM) 네트워크들), 혼합 밀도 네트워크(mixture density network; MDN)들, 은닉 마르코프 모델(hidden Markov model)들 중 하나 이상을 포함할 수 있거나, 또는 다른 것들이 사용될 수 있다. RNN을 사용하는 구현예들과 같은 적어도 일부 구현예들에서, 기계 학습 모델(606)은 하나 이상의 HMD 구성요소들의 위치를 예측하기 위해 과거 입력(메모리, 피드백)을 사용할 수 있다. 이러한 구현예들은 유익하게는 모션 정보를 결정하기 위한 순차적 데이터 또는 이전의 위치 예측들을 사용할 수 있으며, 이는 더 정확한 실시간 위치 예측들을 제공할 수 있다.
도 7은 사용 동안 HMD 구성요소의 위치를 추적하기 위하여 HMD 시스템을 동작시키는 예시적인 방법(700)에 대한 순서도이다. 방법(700)은, 예를 들어, 도 5에 도시된 HMD 시스템(500)의 위치 추적 시스템 또는 모듈(512)에 의해 수행될 수 있다. 이상에서 논의된 바와 같이, 방법(700)은, HMD 디바이스, 하나 이상의 제어기들, 등과 같은 임의의 구성요소의 위치를 추적하기 위해 사용될 수 있다.
방법(700)의 예시된 구현예는 액트(702)에서 시작하며, 여기서 복수의 각도 감지 검출기들을 갖는 제1 HMD 시스템 구성요소가 제공된다. 복수의 각도 감지 검출기들은, 고정적으로 위치되거나(예를 들어, 벽 또는 천장에 장착됨) 또는 이동가능(예를 들어, HMD 또는 제어기에 결합됨)할 수 있는 하나 이상의 광원들로부터 방출되는 광을 검출하도록 동작가능할 수 있다. 동작 시에, 복수의 각도 감지 검출기들의 각각은 소정의 프레임 레이트로 개별적인 복수의 각도 감지 검출기 시야 내의 센서 데이터를 캡처한다. 센서 데이터는, 각도 감지 검출기에 대한 광원의 존재 및 방향을 검출하기 위해 프로세서에서 사용가능한 임의의 유형의 데이터를 포함할 수 있다. 적어도 일부 구현예들에서, 각도 감지 검출기들의 각각은 그 위에 이미지 센싱 회로부 및 이미지 프로세싱 회로부를 갖는 하나 이상의 센서들(예를 들어, 포토다이오드들)을 포함할 수 있다. 이미지 감지 검출기들은 상대적으로 원시(raw) 데이터(예를 들어, 광 강도 또는 파워 데이터) 또는 프로세싱된 데이터(예를 들어, 입사각 데이터)를 출력할 수 있다.
704에서, 복수의 광원들(예를 들어, 근-적외선(near-IR) LED들)을 포함하는 제2 HMD 시스템 구성요소가 제공될 수 있다. 제2 HMD 시스템 구성요소는, 예를 들어, 고정된 로케이션(예를 들어, 천장, 벽)에 위치되는 광원, 제어기, 또는 HMD 디바이스를 포함할 수 있다.
706에서, HMD 시스템의 적어도 하나의 프로세서는 광원들이 광을 방출하게 할 수 있다. 광원들은, 각도 감지 검출들이 각각 한 번에 단일 광원으로부터 광을 검출할 수 있는 방식으로, 또는, 더 일반적으로, 시스템이 각도 감지 검출기에 의해 검출된 광이 어떤 광원으로부터 수신되었는지를 결정하는 것이 가능할 수 있는 방식으로 조명(illuminate)될 수 있다. 이는, 시스템이 사용 동안 각도 감지 검출기들의 각각으로부터 수신된 광의 소스를 아는 것을 가능하게 하는, 시간 멀티플렉싱, 파장 멀티플렉싱, 주파수 멀티플렉싱, 편광(polarization) 멀티플렉싱, 또는 다른 기술들과 같은 임의의 적절한 유형의 멀티플렉싱을 사용하여 광원들의 조명을 멀티플렉싱함으로써 달성될 수 있다.
시간 멀티플렉싱의 일 예로서, 적어도 하나의 프로세서는 한 번에 광원들의 서브세트(예를 들어, 1개, 2개, 4개)만을 조명할 수 있다. 예를 들어, 적어도 하나의 프로세서는 한 번에 하나씩 광원들을 순차적으로 조명할 수 있으며, 광원들의 각각에 응답하는 센서 데이터를 수집할 수 있다.
파장 멀티플렉싱의 일 예로서, 광원들의 상이한 서브세트들은 광의 상이한 파장들을 방출할 수 있으며, 각도 감지 검출기들의 상이한 서브세트들이 광의 상이한 파장들을 센싱하도록 동작가능할 수 있다. 따라서, 상이한 파장들을 갖는 광원들은 동시에 조명되고 대응하는 파장-감지 검출기들에 의해 검출될 수 있다.
주파수 멀티플렉싱의 일 예로서, 광원들의 서브세트들은, 광의 특정 광원을 식별하기 위해 각도 감지 검출기들에 의해 검출될 수 있는 결정된 패턴들로 또는 주파수들로 조명될 수 있다.
편광 멀티플렉싱의 일 예로서, 광원들의 서브세트들은 상이하게(예를 들어, 선형으로, 원형으로) 편광될 수 있으며, 각도 감지 검출기들의 대응하는 서브세트들은, 다수의 광원들이 동시에 조명되는 것을 허용하는 특정 편광된 광을 검출하도록 구성될 수 있다.
708에서, HMD 시스템과 연관된 적어도 하나의 프로세서는 복수의 각도 감지 검출기들로부터 센서 데이터를 수신할 수 있다. 이상에서 언급된 바와 같이, 각각의 각도 감지 검출기에 대해, 센서 데이터는 알려진 광원으로부터 방출된 광의 도달 각도를 나타낼 수 있다. 710에서, HMD 시스템과 연관된 적어도 하나의 프로세서는 선택적으로, 관성 추적 성능을 제공하도록 동작할 수 있는 관성 측정 유닛(inertial measurement unit; IMU)으로부터의 센서 데이터 또는 하나 이상의 추가적인 센서들로부터의 센서 데이터를 수신할 수 있다.
712에서, HMD 시스템과 연관된 적어도 하나의 프로세서는 수신된 센서 데이터를 프로세싱할 수 있다. 예를 들어, 적어도 하나의 프로세서는, HMD 시스템이 동작되는 환경 내에 존재하는 하나 이상의 특징들을 추적하기 위하여 센서 데이터의 일부 또는 전부를 함께 융합할 수 있다. 센서 데이터는 복수의 각도 감지 검출기들로부터의 센서 데이터, 및 선택적으로 IMU로부터의 또는 카메라로부터의 센서 데이터를 포함할 수 있다. 적어도 하나의 프로세서는, 예를 들어, 기계 학습 모델(예를 들어, 모델(606)) 또는 다른 솔버를 사용하여 센서 데이터를 프로세싱할 수 있다.
714에서, HMD 시스템과 연관된 적어도 하나의 프로세서는, 환경 내에서 사용자에 의한 HMD 시스템의 사용 동안 HMD 시스템의 구성요소의 위치(예를 들어, 로케이션, 배향, 또는 움직임)를 실시간으로 추적할 수 있다. 방법(700)은, 이상에서 논의된, HMD 시스템의 구성요소의 위치를 계속하여 추적하기 위해 HMD의 동작 동안 계속될 수 있다.
도 8a 및 도 8b는 각각, 본 개시의 구현예들 중 하나 이상에서 사용될 수 있는 예시적인 각도 감지 검출기(800)의 상면도 및 평면도를 도시한다. 이러한 예에서, 각도 감지 검출기(800)는, 공통 기판(804) 상에서 작은 갭(gap)에 의해 분리된 4개의 별개의 포토다이오드 활성 영역들 또는 요소들(802A-802D)을 포함하는 사분면 셀("쿼드-셀") 포토다이오드를 포함한다. 더 적은 또는 더 많은 셀들을 갖는 포토다이오드 검출기들, 위치 감지 검출기들, 등과 같은 다른 유형들의 각도 감지 검출기들이 또한 사용될 수 있다는 것이 이해되어야 한다.
비-제한적인 예시된 예에서, 각각의 요소(802A-802D)의 활성 영역(예를 들어, 애노드(anode))는 또한, 단일 사분면을 조명하는 광 스팟이 해당 사분면에서만 존재하는 것으로 전기적으로 특징지어질 수 있도록 개별적으로 이용가능하다. 광 스팟이 각도 감지 검출기(800)에 걸쳐 병진 이동(translate)됨에 따라, 광 스팟의 에너지는 인접한 요소들(802A-802D) 사이에 분산되며, 각 요소에 대한 전기적 기여(contribution)의 차이는 각도 감지 검출기의 중심에 대한 광 스팟의 상대적 위치를 정의한다. 요소들(802A-802D)에 걸친 상대적 강도 프로파일이 광 스팟의 위치를 결정하기 위해 사용될 수 있다.
이러한 간략화된 예에서, 각도 감지 검출기(800)는, 광원(812)으로부터의 광(814)이 이를 통과하는 것을 허용하는 개구(808)를 내부에 갖는 커버(810)를 포함한다. 도시된 바와 같이, 광 스팟(806)을 형성하는 개구(808)를 통과하는 광(814)은, 광(814)의 각도, 및 그에 따라 각도 감지 검출기(800)에 대한 광원(812)의 각도를 결정하도록 전기적으로 특징지어질 수 있다. 이하에서 논의되는 바와 같이, 본 개시의 시스템들 및 방법들은 HMD 시스템의 구성요소들의 위치를 결정하기 위해 복수의 광원들 및 각도 감지 검출기들을 사용할 수 있다.
본 개시의 각도 감지 검출기들은, 쿼드-셀 포토다이오드 검출기들, 저항성 시트들을 사용하는 위치-감지 검출기(position-sensitive detector; PSD)들, 더 적은(예를 들어, 2개의) 또는 더 많은(예를 들어, 16개의) 독립적인 감지 요소들을 갖는 포토다이오드 검출기들, 또는 광원으로부터 방출된 광의 도달 각도를 검출할 수 있는 임의의 다른 검출기를 포함하여, 임의의 적절한 유형의 검출기들 중 하나 이상을 포함할 수 있다는 것이 이해되어야 한다. 추가로, 이하에서 논의되는 바와 같이, 적어도 일부 구현예들에서, 본 개시의 각도 감지 검출기들 또는 광원들은, 본원에서 논의되는 시스템들 및 방법들의 기능을 개선하기 위한 필터들, 렌즈들, 편광기들, 등과 같은 다양한 광학적 구성요소들을 사용할 수 있다.
도 9는, 하나의 비-제한적인 예시된 구현예에 따른, HMD 시스템의 구성요소들의 위치를 결정하기 위해 광원들 및 각도 감지 검출기들을 사용하는 HMD 시스템의 환경(900)의 간략화된 도면이다. 이러한 예에서, HMD와 같은 제1 구성요소(902)는 복수의 광원들(906)(2개가 도시됨, 906a-906b)을 포함하며, HMD 시스템의 제어기와 같은 제2 구성요소(904)는 복수의 각도 감지 검출기들(908)(2개가 도시됨, 908a-908b)을 포함한다. 각도 감지 검출기들(908a 및 908b)은 제2 구성요소(904) 상에서 알려진 거리(d1)만큼 서로 분리되며, 광원들(906a 및 906b)은 제1 구성요소(902) 상에서 알려진 거리(d2)만큼 서로 분리된다. 제1 및 제2 구성요소들은, HMD, 제어기, 기지국, 고정 또는 모바일 광원들, 고정 또는 모바일 각도 감지 검출기들, 등과 같은 HMD 시스템의 임의의 구성요소들일 수 있다.
이러한 예에서, 각도 감지 검출기(908a)는, 광이 광원(906a)으로부터 각도(910)로 도달하고 광이 광원(906b)으로부터 각도(912)로 도달한다는 것을 결정하도록 동작가능하다. 유사하게, 각도 감지 검출기(908b)는, 광이 광원(906b)으로부터 각도(914)로 도달하고 광이 광원(906a)으로부터 각도(916)로 도달한다는 것을 결정하도록 동작가능하다. 이해될 수 있는 바와 같이, 도달 각도들(910, 912, 914, 및 916), 및 광원들(906)과 검출기들(908) 사이의 알려진 기하구조 관계들(예를 들어, d1과 d2 사이의 거리들)이 주어지면, 방법들(예를 들어, 삼각측량들)이 제1 구성요소(902)와 제2 구성요소(904) 사이의 상대적인 위치, 배향, 또는 움직임을 결정하기 위해 사용될 수 있다. 이상에서 논의된 바와 같이, 하나 이상의 솔버들 또는 기계 학습 방법들은, 각도 감기 검출기들로부터의 센서 데이터 및/또는 HMD 시스템의 광원들에 관한 정보를 나타내는 광원 데이터를 사용하여 구성요소들의 위치를 결정하기 위해 사용될 수 있다.
도 10은, 본 개시의 예시적인 광원(1002) 및 각도 감지 검출기(1004)의 예시(1000)이다. 광원(1002) 및 각도 감지 검출기(1004)는 본원에서 논의된 광원들 및 각도 감지 검출기들 중 임의의 것과 유사하거나 또는 동일할 수 있으며, 본 개시의 구현예들 중 임의의 구현예에서 사용될 수 있다. 예시된 예에서, 광원(1002)은 광학적 서브시스템(1006)을 포함할 수 있으며, 각도 감지 검출기(1004)는 광학적 서브시스템(1008)을 포함할 수 있다. 광학적 서브시스템들(1006 및 1008)은 서로 동일하거나 또는 상이할 수 있으며, 각기 하나 이상의 광학적 구성요소들을 포함할 수 있다. 광학적 서브시스템들(1006 및 1008)은 광원(1002) 및 각도 감지 검출기(1004)와 함께 통합될 수 있거나, 또는 별개의 구성요소들일 수 있다. 광학적 구성요소들의 비-제한적인 예들은 하나 이상의 렌즈들, 하나 이상의 편광기들, 하나 이상의 필터들, 하나 이상의 개구들, 등을 포함한다. 적어도 일부 구현예들에서, 광원들의 서브세트는 하나의 유형의 광학적 서브시스템을 포함할 수 있으며, 광원들의 하나 이상의 다른 서브세트들은 다른 유형의 광학적 서브시스템을 포함할 수 있다. 유사하게, 각도 감지 검출기들의 서브세트는 하나의 유형의 광학적 서브시스템을 포함할 수 있으며, 각도 감지 검출기들의 하나 이상의 다른 서브세트들은 다른 유형의 광학적 서브시스템을 포함할 수 있다. 일 예로서, 광학적 서브시스템들은, 가시광 또는 다른 유형들의 광을 필터링하여 제거하는 필터들을 포함할 수 있다. 추가로 이상에서 논의된 바와 같이, 광학적 서브시스템들은, 방출되는 광의 소스에 관한 혼동 없이 다수의 광원들이 동시에 조명되는 것을 가능하게 하는, 이상에서 논의된 다양한 유형들의 멀티플렉싱 중 하나 이상을 용이하게 하는 구성요소들을 포함할 수 있다.
이상의 상세한 설명은 블록도들, 개략도들 및 예들의 사용을 통해 디바이스 및/또는 프로세스들의 다양한 구현예를 기술하였다. 이러한 블록도들, 개략도들, 및 예들이 하나 이상의 기능들 및/또는 동작들을 포함하는 한, 이러한 블록도들, 순서도들, 또는 예들 내의 각각의 기능 및/또는 동작이, 광범위한 하드웨어, 소프트웨어, 펌웨어, 또는 사실상 이들의 임의의 조합에 의해 개별적으로 및/또는 집합적으로 구현될 수 있음이 당업자들에 의해 이해될 것이다. 일 구현예에서, 본 주제는 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit; ASIC)를 통해 구현될 수 있다. 그러나, 당업자들은, 본원에서 개시되는 구현예들이, 전체적으로 또는 부분적으로, 하나 이상의 컴퓨터들 상에서 실행되는 하나 이상의 컴퓨터 프로그램들로서(예를 들어, 하나 이상의 컴퓨터 시스템들 상에서 실행되는 하나 이상의 프로그램들로서), 하나 이상의 제어기들(예를 들어, 마이크로제어기들) 상에서 실행되는 하나 이상의 프로그램들로서, 하나 이상의 프로세서들(예를 들어, 마이크로프로세서들) 상에서 실행되는 하나 이상의 프로그램들로서, 펌웨어로서, 또는 사실상 이들의 임의의 조합으로서, 표준 집적 회로들 내에서 동등하게 구현될 수 있다는 것, 및 회로부를 설계하는 것 및/또는 소프트웨어 및/또는 펌웨어에 대한 코드를 작성하는 것이 본 개시의 내용을 고려하여 당업자의 기술 범위 내에 있다는 것을 인식할 것이다.
당업자들은, 본원에서 기술되는 방법들 및 알고리즘들 중 다수가 추가적인 액트들을 이용할 수 있거나, 일부 액트들을 생략할 수 있거나, 및/또는 명시된 것과는 상이한 순서로 실행될 수 있다는 것을 인식할 것이다.
이에 더하여, 당업자들은, 본원에서 교시되는 메커니즘들이 다양한 형태들의 프로그램 제품들로서 배포될 수 있다는 것, 및 예시적인 구현예가 실제로 배포를 수행하기 위하여 사용되는 신호 함유 매체들의 특정 유형과 무관하게 동일하게 적용된다는 것을 이해할 것이다. 신호 함유 매체들의 예들은, 비제한적으로, 다음을 포함한다: 기록가능 유형 매체 예컨대 플로피 디스크들, 하드 디스크 드라이브들, CD ROM들, 디지털 테이프, 및 컴퓨터 메모리.
이상에서 설명된 다양한 구현예들이 추가적인 구현예들을 제공하기 위하여 결합될 수 있다. 이들이 본원의 특정 교시들 및 정의들과 부합되지 않는 정도까지, 2020년 01월 24일자로 출원된 미국 특허 출원 제16/752,478호를 포함하여, 본 명세서에서 언급된 미국 특허들, 미국 특허 출원 공보들, 미국 특허 출원들, 외국 특허들, 외국 특허 출원들 및 비-특허 공개문헌들의 전부는 그 전체가 본원에 참조로서 포함된다. 추가적인 구현예들을 제공하기 위하여 다양한 특허들, 출원들 및 공개문헌들의 시스템들, 회로들 및 개념들을 이용하는 것이 필요한 경우, 구현예들의 측면들이 수정될 수 있다.
이상의 상세한 설명을 고려하여 구현예들에 대하여 이러한 그리고 다른 변화들이 이루어질 수 있다. 일반적으로, 다음의 청구항들에 있어, 사용되는 용어들은 청구항들을 명세서 및 청구항들에 개시된 특정 구현예들로 한정하도록 해석되지 않아야만 하며, 오히려 이러한 청구항들에 대한 등가물들의 완전한 범위와 함께 가능한 모든 구현예들을 포함하는 것으로 해석되어야만 한다. 따라서, 청구항들은 본 개시에 의해 한정되지 않는다.
Claims (30)
- 머리-착용 디스플레이 시스템으로서,
사용자가 착용할 수 있는 제1 머리-착용 디스플레이 시스템 구성요소;
상기 제1 머리-착용 디스플레이 시스템 구성요소에 의해 지탱되는 복수의 각도 감지 검출기들로서, 동작 시에 상기 복수의 각도 감지 검출기들의 각각은 하나 이상의 광원들로부터 방출되는 광의 도달 각도를 나타내는 센서 데이터를 캡처하는, 상기 복수의 각도 감지 검출기들;
프로세서-실행가능 명령어들 또는 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및
상기 복수의 각도 감지 검출기들 및 상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 동작 시에, 상기 적어도 하나의 프로세서는,
상기 복수의 각도 감지 검출기들로부터 상기 센서 데이터를 수신하고,
수신된 센서 데이터를 프로세싱하며, 및
상기 수신된 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 상기 제1 머리-착용 디스플레이 시스템 구성요소의 위치를 추적하는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 제1 머리-착용 디스플레이 시스템 구성요소는 사용자의 머리에 착용할 수 있는 머리-착용 디스플레이 디바이스 또는 핸드-헬드 제어기를 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 복수의 각도 감지 검출기들의 각각은 포토다이오드 검출기 또는 위치 감지 검출기 중 하나를 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 복수의 각도 감지 검출기들의 각각은 적어도 4개의 셀들을 갖는 포토다이오드 검출기를 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 머리-착용 디스플레이 시스템은, 복수의 광원들을 포함하는 제2 머리-착용 디스플레이 시스템 구성요소를 더 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 5에 있어서,
상기 제1 머리-착용 디스플레이 시스템 구성요소는 머리-착용 디스플레이 디바이스, 제어기, 또는 기지국 중 하나를 포함하며, 상기 제2 머리-착용 디스플레이 시스템 구성요소는 머리-착용 디스플레이 디바이스, 제어기, 또는 기지국 중 다른 것을 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 5에 있어서,
상기 제2 머리-착용 디스플레이 구성요소는, 상기 머리-착용 디스플레이 시스템이 동작되는 환경에 근접한 로케이션에 고정된 구성요소를 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 5에 있어서,
상기 복수의 광원들은 LED 광원들을 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 5에 있어서,
동작 시에, 상기 제2 머리-착용 디스플레이 시스템 구성요소는 주어진 시간에 상기 복수의 광원들의 서브세트를 조명하며, 상기 서브세트는 상기 제2 머리-착용 디스플레이 시스템 구성요소의 상기 복수의 광원들 모두를 포함하지는 않는, 머리-착용 디스플레이 시스템.
- 청구항 5에 있어서,
동작 시에, 상기 제2 머리-착용 디스플레이 시스템 구성요소는 상기 복수의 광원들을 순차적으로 조명하는, 머리-착용 디스플레이 시스템.
- 청구항 5에 있어서,
동작 시에, 상기 제2 머리-착용 디스플레이 시스템 구성요소는 멀티플렉싱을 사용하여 상기 복수의 광원들을 조명하는, 머리-착용 디스플레이 시스템.
- 청구항 11에 있어서,
상기 멀티플렉싱은 시간 멀티플렉싱, 파장 멀티플렉싱, 주파수 멀티플렉싱, 또는 편광 멀티플렉싱 중 적어도 하나를 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 5에 있어서,
상기 광원들의 각각은, 렌즈, 필터, 또는 편광기 중 적어도 하나를 포함하는 광학적 서브시스템을 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 각도 감지 검출기들의 각각은, 렌즈, 필터, 또는 편광기 중 적어도 하나를 포함하는 광학적 서브시스템을 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 각도 감지 검출기들의 각각은, 축-외(off-axis) 광이 축-상(on-axis) 광에 비해 상기 각도 감지 검출기의 감지 요소들에서 유사한 치수들을 갖도록 하는 렌즈를 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 수신된 센서 데이터를 프로세싱하기 위해, 상기 적어도 하나의 프로세서는 트레이닝된 기계 학습 모델에 대한 입력으로서 상기 수신된 센서 데이터를 제공하는, 머리-착용 디스플레이 시스템.
- 청구항 16에 있어서,
상기 프로세서는 트레이닝 데이터를 수신하고 상기 트레이닝 데이터를 사용하여 상기 기계 학습 모델을 트레이닝시키도록 구성되는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 제1 머리-착용 디스플레이 시스템 구성요소는 상기 적어도 하나의 프로세서에 동작가능하게 결합되는 관성 측정 유닛(inertial measurement unit; IMU) 센서를 포함하며, 동작 시에 상기 적어도 하나의 프로세서는,
상기 IMU 센서로부터 IMU 센서 데이터를 수신하며,
상기 IMU 센서 데이터, 및 상기 복수의 광학적 각도 감지 검출기들로부터 수신된 상기 센서 데이터를 프로세싱하고, 및
상기 수신된 센서 데이터 및 상기 수신된 IMU 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 상기 제1 머리-착용 디스플레이 시스템 구성요소의 위치를 추적하는, 머리-착용 디스플레이 시스템.
- 청구항 1에 있어서,
상기 각도 감지 검출기들의 프레임 레이트(frame rate)는 초당 1000 프레임 이상인, 머리-착용 디스플레이 시스템.
- 머리-착용 디스플레이 시스템을 동작시키는 방법으로서, 상기 머리-착용 디스플레이 시스템은 사용자가 착용할 수 있는 제1 머리-착용 디스플레이 시스템 구성요소 및 상기 제1 머리-착용 디스플레이 시스템 구성요소에 의해 지탱되는 복수의 각도 감지 검출기들을 포함하며, 상기 방법은,
상기 복수의 각도 감지 검출기들의 각각을 통해, 광원으로부터 방출된 광의 도달 각도를 나타내는 센서 데이터를 캡처하는 단계;
적어도 하나의 프로세서에 의해, 상기 복수의 각도 감지 검출기들로부터 상기 센서 데이터를 수신하는 단계;
상기 적어도 하나의 프로세서에 의해, 수신된 센서 데이터를 프로세싱하는 단계; 및
상기 적어도 하나의 프로세서에 의해, 상기 수신된 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 상기 제1 머리-착용 디스플레이 시스템 구성요소의 위치를 추적하는 단계를 포함하는, 방법.
- 머리-착용 디스플레이 시스템으로서,
사용자가 착용할 수 있는 제1 머리-착용 디스플레이 시스템 구성요소;
상기 제1 머리-착용 디스플레이 시스템 구성요소에 의해 지탱되는 복수의 각도 감지 검출기들로서, 동작 시에 상기 복수의 각도 감지 검출기들의 각각은 광원으로부터 방출되는 광의 도달 각도를 나타내는 센서 데이터를 캡처하는, 상기 복수의 각도 감지 검출기들;
복수의 광원들을 포함하는 제2 머리-착용 디스플레이 시스템 구성요소;
프로세서-실행가능 명령어들 또는 데이터 중 적어도 하나를 저장하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및
상기 복수의 각도 감지 검출기들, 상기 복수의 광원들, 및 상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 동작 시에, 상기 적어도 하나의 프로세서는,
상기 복수의 광원들이 광을 방출하게 하며,
상기 복수의 각도 감지 검출기들로부터 센서 데이터를 수신하고,
수신된 센서 데이터를 프로세싱하며, 및
상기 수신된 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 상기 제1 머리-착용 디스플레이 시스템 구성요소 및 상기 제2 머리-착용 디스플레이 시스템 구성요소 중 적어도 하나의 위치를 추적하는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
상기 복수의 각도 감지 검출기들의 각각은 포토다이오드 검출기 또는 위치 감지 검출기 중 하나를 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
상기 제1 머리-착용 디스플레이 시스템 구성요소는 머리-착용 디스플레이 디바이스, 제어기, 또는 기지국 중 하나를 포함하며, 상기 제2 머리-착용 디스플레이 시스템 구성요소는 머리-착용 디스플레이 디바이스, 제어기, 또는 기지국 중 다른 것을 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
상기 복수의 광원들은 비-가시광을 방출하는 LED 광원들을 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
동작 시에, 상기 제2 머리-착용 디스플레이 시스템 구성요소는 주어진 시간에 상기 복수의 광원들의 서브세트를 조명하며, 상기 서브세트는 상기 제2 머리-착용 디스플레이 시스템 구성요소의 상기 복수의 광원들 모두를 포함하지는 않는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
동작 시에, 상기 제2 머리-착용 디스플레이 시스템 구성요소는 상기 복수의 광원들을 순차적으로 조명하는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
동작 시에, 상기 제2 머리-착용 디스플레이 시스템 구성요소는 멀티플렉싱을 사용하여 상기 복수의 광원들을 조명하는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
상기 멀티플렉싱은 시간 멀티플렉싱, 파장 멀티플렉싱, 주파수 멀티플렉싱, 또는 편광 멀티플렉싱 중 적어도 하나를 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
상기 광원들의 각각은, 렌즈, 필터, 또는 편광기 중 적어도 하나를 포함하는 광학적 서브시스템을 포함하는, 머리-착용 디스플레이 시스템.
- 청구항 21에 있어서,
상기 각도 감지 검출기들의 각각은, 렌즈, 필터, 또는 편광기 중 적어도 하나를 포함하는 광학적 서브시스템을 포함하는, 머리-착용 디스플레이 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/752,478 | 2020-01-24 | ||
| US16/752,478 US11209657B2 (en) | 2020-01-24 | 2020-01-24 | Position tracking system for head-mounted display systems that includes angle sensitive detectors |
| PCT/US2021/013444 WO2021150423A1 (en) | 2020-01-24 | 2021-01-14 | Position tracking system for head-mounted display systems that includes angle sensitive detectors |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220125362A true KR20220125362A (ko) | 2022-09-14 |
Family
ID=76969981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227029078A KR20220125362A (ko) | 2020-01-24 | 2021-01-14 | 각도 감지 검출기들을 포함하는 머리-착용 디스플레이 시스템들에 대한 위치 추적 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11209657B2 (ko) |
| EP (1) | EP4094141A4 (ko) |
| JP (1) | JP2023510455A (ko) |
| KR (1) | KR20220125362A (ko) |
| CN (1) | CN114930273A (ko) |
| WO (1) | WO2021150423A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4100784A4 (en) | 2020-02-06 | 2024-03-06 | Valve Corporation | POSITION TRACKING SYSTEM FOR HEAD-MOUNTED DISPLAY SYSTEMS |
| US11550386B2 (en) * | 2021-05-03 | 2023-01-10 | Htc Corporation | Handheld electronic device |
| JP2024536004A (ja) | 2021-09-28 | 2024-10-04 | バルブ コーポレーション | ヘッドマウントディスプレイシステムについての位置トラッキングシステム及び方法 |
| US11947122B1 (en) * | 2022-12-08 | 2024-04-02 | Varjo Technologies Oy | Tracking system and method incorporating selective control of light sources of controller |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6909473B2 (en) | 2002-01-07 | 2005-06-21 | Eastman Kodak Company | Display apparatus and method |
| US7160017B2 (en) | 2004-06-03 | 2007-01-09 | Eastman Kodak Company | Brightness enhancement film using a linear arrangement of light concentrators |
| US7295312B1 (en) | 2006-05-10 | 2007-11-13 | United States Of America As Represented By The Secretary Of The Army | Rapid 4-Stokes parameter determination via Stokes filter wheel |
| US8368889B2 (en) | 2007-04-12 | 2013-02-05 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Compact snapshot polarimetry camera |
| US8004675B2 (en) | 2007-09-20 | 2011-08-23 | Boss Nova Technologies, LLC | Method and system for stokes polarization imaging |
| WO2011014743A2 (en) | 2009-07-31 | 2011-02-03 | North Carolina State University | Beam steering devices including stacked liquid crystal polarization gratings and related methods of operation |
| KR101769171B1 (ko) | 2009-10-24 | 2017-08-17 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | 광원 및 이를 포함하는 디스플레이 시스템 |
| US8235533B2 (en) | 2009-11-12 | 2012-08-07 | Microvision, Inc. | Post-scan distortion adjustment optics for infinite focus projector system |
| JP5869494B2 (ja) | 2009-12-08 | 2016-02-24 | スリーエム イノベイティブ プロパティズ カンパニー | 光ガイド及び低屈折率フィルムを組み込んだ光学構造体 |
| US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
| US10585472B2 (en) * | 2011-08-12 | 2020-03-10 | Sony Interactive Entertainment Inc. | Wireless head mounted display with differential rendering and sound localization |
| JP6265901B2 (ja) | 2011-10-07 | 2018-01-24 | ノース・キャロライナ・ステイト・ユニヴァーシティ | 広帯域偏光変換のためのマルチツイストリターダ光学素子および関連製造方法 |
| WO2013052816A1 (en) | 2011-10-07 | 2013-04-11 | North Carolina State University | Polarization conversion systems with polarization gratings and related fabrication methods |
| US20130286479A1 (en) | 2012-04-25 | 2013-10-31 | Ko, Chi-Yuan of Cordic Technology Co. Ltd. | Polarization recycling structure |
| US9710057B2 (en) | 2014-03-14 | 2017-07-18 | Sony Interactive Entertainment Inc. | Methods and systems including tracking a head mounted display (HMD) and calibrations for HMD headband adjustments |
| GB201310365D0 (en) | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
| US10338186B2 (en) * | 2014-11-10 | 2019-07-02 | Valve Corporation | Positional tracking systems and methods |
| US9712806B2 (en) | 2014-12-19 | 2017-07-18 | Datalogic ADC, Inc. | Depth camera system using coded structured light |
| KR102474236B1 (ko) | 2015-05-28 | 2022-12-05 | 구글 엘엘씨 | 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들 |
| US10099122B2 (en) | 2016-03-30 | 2018-10-16 | Sony Interactive Entertainment Inc. | Head-mounted display tracking |
| US10252145B2 (en) * | 2016-05-02 | 2019-04-09 | Bao Tran | Smart device |
| US10203489B2 (en) | 2016-08-02 | 2019-02-12 | Apple Inc. | Optical system for head-mounted display |
| US11635486B2 (en) * | 2016-11-17 | 2023-04-25 | Trinamix Gmbh | Detector for optically detecting at least one object |
| US10460415B2 (en) | 2017-04-10 | 2019-10-29 | Intel Corporation | Contextual configuration adjuster for graphics |
| US10921881B2 (en) | 2018-01-18 | 2021-02-16 | Valve Corporation | Position tracking system for head-mounted displays that includes sensor integrated circuits |
| US20190243147A1 (en) | 2018-02-07 | 2019-08-08 | Disney Enterprises, Inc. | Polarization-sensitive pancake optics |
| US10627899B2 (en) | 2018-02-09 | 2020-04-21 | Microsoft Technology Licensing, Llc | Eye tracking system for use in a visible light display device |
| US11226483B2 (en) | 2018-06-07 | 2022-01-18 | Facebook Technologies, Llc | Reverse-order crossed pancake lens with a shaped polarizer |
| JP7518844B2 (ja) | 2019-02-28 | 2024-07-18 | マジック リープ， インコーポレイテッド | 光エミッタアレイによって形成される複数の瞳孔内視差ビューを使用して可変遠近調節キューを提供するためのディスプレイシステムおよび方法 |
-
2020
- 2020-01-24 US US16/752,478 patent/US11209657B2/en active Active
-
2021
- 2021-01-14 EP EP21744987.5A patent/EP4094141A4/en active Pending
- 2021-01-14 CN CN202180008025.4A patent/CN114930273A/zh active Pending
- 2021-01-14 JP JP2022526749A patent/JP2023510455A/ja active Pending
- 2021-01-14 KR KR1020227029078A patent/KR20220125362A/ko active Search and Examination
- 2021-01-14 WO PCT/US2021/013444 patent/WO2021150423A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN114930273A (zh) | 2022-08-19 |
| EP4094141A1 (en) | 2022-11-30 |
| US11209657B2 (en) | 2021-12-28 |
| JP2023510455A (ja) | 2023-03-14 |
| WO2021150423A1 (en) | 2021-07-29 |
| EP4094141A4 (en) | 2024-01-24 |
| US20210231962A1 (en) | 2021-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11209657B2 (en) | Position tracking system for head-mounted display systems that includes angle sensitive detectors | |
| JP7207809B2 (ja) | センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム | |
| US10198866B2 (en) | Head-mountable apparatus and systems | |
| US11507201B2 (en) | Virtual reality | |
| US11847257B2 (en) | Position tracking system for head-mounted display systems | |
| JP2023510459A (ja) | ヘッドマウントディスプレイデバイスのための視線追跡システム | |
| CN112655202B (zh) | 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 | |
| JP2016139375A (ja) | 情報処理装置および情報処理方法 | |
| US20240184105A1 (en) | Position tracking systems and methods for head-mounted display systems | |
| EP3673348B1 (en) | Data processing device, method and non-transitory machine-readable medium for detecting motion of the data processing device | |
| US20220230357A1 (en) | Data processing | |
| EP3547081B1 (en) | Data processing | |
| US12135834B2 (en) | Position tracking system for head-mounted display systems | |
| US12044846B2 (en) | Position tracking systems and methods for head-mounted display systems | |
| US20230393654A1 (en) | Optical tracking including imaging-based angle sensitive detectors | |
| JP2023099490A (ja) | 周辺デバイストラッキングシステムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |