KR102314822B1 - 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템 - Google Patents
후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템 Download PDFInfo
- Publication number
- KR102314822B1 KR102314822B1 KR1020197034286A KR20197034286A KR102314822B1 KR 102314822 B1 KR102314822 B1 KR 102314822B1 KR 1020197034286 A KR1020197034286 A KR 1020197034286A KR 20197034286 A KR20197034286 A KR 20197034286A KR 102314822 B1 KR102314822 B1 KR 102314822B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor array
- optical sensor
- speckle pattern
- augmented reality
- normal vector
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 75
- 230000003287 optical effect Effects 0.000 title claims description 217
- 230000003190 augmentative effect Effects 0.000 claims abstract description 85
- 230000001427 coherent effect Effects 0.000 claims abstract description 31
- 230000007613 environmental effect Effects 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 53
- 238000013519 translation Methods 0.000 claims description 39
- 230000014616 translation Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 26
- 239000007787 solid Substances 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000003491 array Methods 0.000 description 40
- 230000003595 spectral effect Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 210000001747 pupil Anatomy 0.000 description 10
- 210000003128 head Anatomy 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 239000011521 glass Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 241000153282 Theope Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
- Holo Graphy (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
증강 현실 헤드기어는, 사용자가 실세계 및 실세계에 포지셔닝된 가상 콘텐츠를 동시에 볼 수 있게 하는 투명 디스플레이들을 포함하고, 코히어런트 광의 적어도 하나의 소스 및 코히어런트 광이 환경 표면들에 충돌할 때 생성된 스페클 패턴들을, 일련의 시간들에서, 감지하기 위한 적어도 하나의 센서 어레이를 더 포함한다. 스페클 패턴의 시프트들을 감지하고, 스페클 패턴의 시프트를 발생시킨 모션을 결정하고, 모션을 보상하기 위해 증강 현실 헤드기어에 의해 디스플레이된 가상 오브젝트들의 디스플레이를 조정하기 위한 회로가 제공된다.
Description
본 출원은 2017년 4월 24일에 출원된 가특허 출원 일련번호 제62/489,339호에 기반한다.
[0001] 본 발명은 증강 현실 헤드기어에 관한 것이다.
[0002] 최근에, 컴퓨터 생성 가상 세계에서 사용자를 몰입시키는 가상 현실 디바이스들이 소개되었다. 특정 가상 현실 디바이스들은 사용자의 눈들에 매우 근접하게 배치된 한 쌍의 디스플레이들 및 한 쌍의 디스플레이들과 사용자의 눈들 사이에 개재된 보정 광학기를 포함하며, 그의 목적은, 디스플레이들이 매우 근접함에도 불구하고, 사용자가 디스플레이들 상에 디스플레이된 이미저리에 초점을 맞출 수 있도록 하는 것이다. 과학적 데이터 시각화와 같은 다른 애플리케이션들이 또한 고려되지만, 이러한 가상 현실 디바이스들의 주요 애플리케이션은 게이밍이다.
[0003] 가상 현실에 관련되지만 더욱 정교해진, 개발되고 있는 기술은 증강 현실이다. 증강 현실 웨어러블들(즉, 안경 폼 팩터를 갖는 헤드기어)은 사용자가 실세계 및 실세계에 중첩된 가상의 컴퓨터 생성 콘텐츠를 동시에 볼 수 있게 할 것이다. 가상 콘텐츠가 실제라는 환상을 개선하고 그리고/또는 가상 콘텐츠와 실세계를 더 끊김 없이(seamlessly) 통합하기 위해, 사용자가 헤드기어와 함께 자신들의 머리를 회전시키거나 자신들의 환경 내에서 보행함에도 불구하고, 가상 콘텐츠가 사용자의 실제 환경에 고정된 관성 기준 프레임에 존재하는 것처럼 보이는 것이 바람직할 것이다. 그래서, 예컨대, 가상 콘텐츠가 실세계 책상의 코너 상에 있는 가상의 책을 포함한다면, 사용자가 책상의 코너 상에 책의 이미지를 투사하는 증강 현실 헤드기어와 함께 자신들의 머리를 회전시킬 때에도, 책은 실세계에서, 예컨대, 책상의 코너 상에 고정된 상태를 유지해야 한다. 이를 달성하기 위해, 사용자의 머리에 보유된 헤드기어의 움직임들은 조심스럽게 추적될 필요가 있을 것이고, 증강 현실 헤드기어에 의해 생성되는 이미지는 헤드기어의 움직임들의 영향을 널 아웃(null out)하기 위해 시야에서 빠르게 시프팅된다. 오브젝트의 배향을 추적하는 하나의 방법은 하나 이상의 자이로스코프들을 사용하는 것이다. 그러나, 자이로스코프들은 본질적으로 드리프트(drift)에 시달리고, 따라서 자이로스코프 출력에 기반하여 실세계에서 가상 오브젝트들을 고정하려는 것은, 가상 오브젝트들이 실세계에 대해 고정된 포지션들을 유지하도록 의도될 때, 가상 오브젝트들이 실세계에 대해 천천히 드리프트하는 것으로 이어질 것이다.
[0004] 본원에 개시된 특정 실시예들에 따라, 증강 현실 헤드기어에는 적어도 하나의 레이저 및 적어도 하나의 광학 센서 어레이가 장착된다. 각각의 레이저는 룸 표면(예컨대, 벽, 천장 또는 바닥)으로부터 부분적으로 반사되는 빔을 방출하여, 연관된 광학 센서 어레이에 의해 검출되는 스페클 패턴을 생성한다. 광학 센서 어레이들은, 예컨대, 디지털 카메라들에 사용될 수 있는 타입일 수 있지만, 본 출원에서, 2D 광학 센서 어레이들은 오브젝트의 초점이 맞춰진 이미지를 캡처하는 데 사용될 필요는 없으며, 오히려 2D 광학 센서 어레이들은 룸 표면에서 반사된 레이저에 의해 생성된 스페클 패턴을 캡처할 수 있다. 센서 어레이(들)에 걸친 스페클 패턴의 움직임(일부 경우들에서 적절히 "광학 흐름"으로 지칭됨)은 룸에 고정된 관성 기준 프레임에서 증강 현실 헤드기어의 움직임을 계산하는 데 사용된다. 증강 현실 헤드기어의 접안렌즈들을 사용하여 디스플레이된 이미지들은, 룸에 고정된 관성 기준 프레임에서 이미지들의 포지션 또는 속도를 유지하기 위해, 계산된 움직임에 기반하여 시프팅된다.
[0005] 본 개시내용의 일 양상은 증강 현실 헤드기어이고, 증강 현실 헤드기어는: 이미지별 변조된 광(imagewise modulated light)의 적어도 하나의 소스; 사용자가 실세계를 보도록 허용하면서, 이미지별 변조된 광을 사용자의 눈에 커플링하도록 구성된 적어도 하나의 투명 접안렌즈; 적어도 하나의 환경 표면 상에 코히어런트 광(coherent light)을 투사하기 위해, 제1 방향으로 증강 현실 헤드기어로부터 외부로 조준된 적어도 제1 코히어런트 광 소스; 적어도 하나의 환경 표면에 의해 회절되고 이로부터 반사된 광을 수신하도록 구성된 적어도 제1 센서 어레이 ― 광은 제1 센서 어레이 상에 제1 스페클 패턴(speckle pattern)을 형성함 ― ; 이미지별 변조된 광의 소스 및 제1 센서 어레이에 커플링된 전자 회로를 포함하고, 전자 회로는: 증강 현실 헤드기어를 착용한 사용자에 의해 점유되는 물리적 공간에 고정된 관성 기준 프레임(inertial reference frame)에서 규정된 한 세트의 좌표들에서 가상 오브젝트를 디스플레이하도록 이미지별 변조된 광의 소스를 동작시키고; 제1 시간에서 제1 스페클 패턴의 제1 카피를 수신하고; 제2 시간에서 제1 스페클 패턴의 제2 카피를 수신하고; 제1 스페클 패턴의 제1 카피에 대한 제1 스페클 패턴의 제2 카피의 시프트를 결정하고; 제1 스페클 패턴의 제1 카피에 대한 제1 스페클 패턴의 제2 카피의 시프트에 기반하여, 사용자에 의해 점유되는 물리적 공간 내의 증강 현실 헤드기어의 모션을 결정하고; 증강 현실 헤드기어의 모션에 기반하여, 증강 현실 헤드기어의 모션을 보상하고, 관성 기준 프레임에서 규정된 한 세트의 좌표들에서 가상 오브젝트를 유지하기 위해, 이미지별 변조된 광을 조정하도록 구성된다. 추가적으로, 적어도 하나의 환경 표면으로부터 반사된 광을 수신하도록 구성된 제2 센서 어레이가 제공될 수 있다. 추가적으로, 증강 현실 헤드기어는 또한 적어도 하나의 환경 표면 상에 코히어런트 광을 투사하기 위해, 제2 방향으로 증강 현실 헤드기어로부터 외부로 조준된 제2 코히어런트 광 소스를 포함할 수 있다. 추가적으로, 증강 현실 헤드기어는 또한 적어도 하나의 환경 표면에 의해 반사된, 제2 코히어런트 광 소스로부터의 광을, 제1 센서 어레이에 도달하는 것으로부터 실질적으로 배제하도록 구성된 적어도 하나의 동공 정지부를 포함할 수 있다. 추가적으로, 증강 현실 헤드기어는 제1 코히어런트 광 소스 및 제2 코히어런트 광 소스의 상호 배타적인 방출 입체각 범위들을 설정하도록 구성된 적어도 하나의 광학 컴포넌트를 더 포함할 수 있다. 추가적으로, 제1 시야를 갖기 위한 제1 센서 어레이가 장착될 수 있고, 제2 시야를 갖기 위한 제2 센서 어레이가 장착될 수 있고, 제1 시야는 제2 시야와 부분적으로 중첩할 수 있다.
[0006] 본 개시내용의 일 양상은 한 세트의 3개의 독립적인 축들을 따른 구조의 병진운동 모션들 및 한 세트의 3개의 독립적인 축들 중 하나를 중심으로 한 구조의 회전을 감지 및 구별하는 방법이고, 방법은: 미리 결정된 입체각 범위에 걸쳐 광을 방출하고, 구조에 커플링된 코히어런트 광의 적어도 하나의 소스를 제공하는 단계; 구조에 커플링된 제1의 2D 광학 센서 어레이를 제공하는 단계 ― 제1의 2D 광학 센서 어레이는 제1 방향을 향하는 제1 법선 벡터를 가짐 ― ; 구조에 커플링된 제2의 2D 광학 센서 어레이를 제공하는 단계 ― 제2의 2D 광학 센서 어레이는 제2 방향을 향하는 제2 법선 벡터를 갖고, 제1 법선 벡터 및 제2 법선 벡터는 평면을 규정하고, 제1 법선 벡터는 평면에서 제2 법선 벡터에 대해 기울어짐 ― ; 비경면 환경 표면(non-specular environmental surface)을 조명하기 위해 코히어런트 광의 적어도 하나의 소스를 사용하는 단계 ― 이로써 제1 스페클 패턴이 제1의 2D 광학 센서 어레이에서 생성되고, 제2 스페클 패턴이 제2의 2D 광학 센서 어레이에서 생성됨 ― ; 제1의 2D 광학 센서 어레이 상의 제1 스페클 패턴의 제1 광학 흐름을 감지하고, 제2의 2D 광학 센서 어레이 상의 제2 스페클 패턴의 제2 광학 흐름을 감지함으로써, 제1 법선 벡터와 제2 법선 벡터 사이에 있는 평면 상의 0이 아닌 투사를 포함하는 한 세트의 3개의 독립적인 축들 중 제1 축을 따른 구조의 병진운동을 감지하는 단계 ― 제1 광학 흐름 및 제2 광학 흐름은 제1 법선 벡터와 제2 법선 벡터 사이의 차이 벡터에 대한 반대 방향 투사들을 가짐 ― ; 제1의 2D 광학 센서 어레이 상의 제1 스페클 패턴의 제3 광학 흐름을 감지하고, 제2의 2D 광학 센서 어레이 상의 제2 스페클 패턴의 제4 광학 흐름을 감지함으로써, 제1 법선 벡터와 제2 법선 벡터 사이의 각도 범위 외부에 있는 평면 상의 0이 아닌 투사를 포함하는 한 세트의 3개의 독립적인 축들 중 제2 축을 따른 구조의 병진운동을 감지하는 단계 ― 제3 광학 흐름 및 제4 광학 흐름은 제1 법선 벡터와 제2 법선 벡터 사이의 차이 벡터에 대한 공통 방향 투사들을 가짐 ― ; 제1의 2D 광학 센서 어레이 상의 제1 스페클 패턴 및 제2의 2D 광학 센서 어레이 상의 제2 스페클 패턴의 동일한 수직 방향 광학 흐름들을 감지함으로써, 평면에 수직인 0이 아닌 컴포넌트를 포함하는 한 세트의 3개의 독립적인 축들 중 제3 축을 따른 구조의 병진운동을 감지하는 단계; 및 제1의 2D 광학 센서 어레이 상의 제1 스페클 패턴 및 제2의 2D 광학 센서 어레이 상의 제2 스페클 패턴의 반대 수직 방향 광학 흐름들을 감지함으로써, 한 세트의 3개의 독립적인 축들 중 제1 축을 중심으로 한 구조의 회전을 감지하는 단계를 포함한다.
[0007] 본 개시내용의 일 양상은 한 세트의 3개의 독립적인 축들을 따른 구조의 병진운동 모션들 및 한 세트의 3개의 독립적인 축들을 중심으로 한 회전을 감지 및 구별하는 방법을 포함하고, 방법은: 구조에 커플링된 제1의 2D 광학 센서 어레이를 제공하는 단계 ― 제1의 2D 광학 센서 어레이는 제1 방향을 향하는 제1 표면 법선 및 제1 시야를 가짐 ― ; 구조에 커플링된 제2의 2D 광학 센서 어레이를 제공하는 단계 ― 제2의 2D 광학 센서 어레이는 제2 방향을 향하는 제2 표면 법선 및 제2 시야를 가짐 ― ; 구조에 커플링된 제3의 2D 광학 센서 어레이를 제공하는 단계 ― 제3의 2D 광학 센서 어레이는 제3 방향을 향하는 제3 표면 법선 및 제3 시야를 갖고, 제1 방향, 제2 방향 및 제3 방향은 독립적임 ― ; 광을 제1 시야, 제2 시야 및 제3 시야에 투사하는 적어도 하나의 코히어런트 광 소스를 제공하는 단계 ― 비경면 주변 표면들에 의해 회절되고 이로부터 반사된 광은 제1의 2D 광학 센서 어레이 상의 제1 스페클 패턴, 제2의 2D 광학 센서 어레이 상의 제2 스페클 패턴 및 제3의 2D 광학 센서 어레이 상의 제3 스페클 패턴을 형성함 ― ; 제1 방향에 대한 방위각인 방향의 제2 스페클 패턴의 병진운동을 감지하기 위해 제2의 2D 광학 센서 어레이를 사용하고, 제1 방향에 대한 방위각인 방향의 제3 스페클 패턴의 병진운동을 감지하기 위해 제3의 2D 광학 센서 어레이를 사용함으로써, 제1 방향을 중심으로 한 회전을 감지하는 단계; 제1 방향의 제2 스페클 패턴의 병진운동을 감지하기 위해 제2의 2D 광학 센서 어레이를 사용하고, 제3 방향의 제3 스페클 패턴의 병진운동을 감지하기 위해 제3의 2D 광학 센서 어레이를 사용함으로써, 제1 방향의 병진운동을 감지하는 단계; 제2 방향에 대한 방위각인 방향의 제1 스페클 패턴의 병진운동을 감지하기 위해 제1의 2D 광학 센서 어레이를 사용하고, 제2 방향에 대한 방위각인 방향의 제3 스페클 패턴의 병진운동을 감지하기 위해 제3의 2D 광학 센서 어레이를 사용함으로써, 제2 방향을 중심으로 한 회전을 감지하는 단계; 제2 방향의 제1 스페클 패턴의 병진운동을 감지하기 위해 제1의 2D 광학 센서 어레이를 사용하고, 제2 방향의 제3 스페클 패턴의 병진운동을 감지하기 위해 제3의 2D 광학 센서 어레이를 사용함으로써, 제2 방향의 병진운동을 감지하는 단계; 제3 방향에 대한 방위각인 방향의 제2 스페클 패턴의 병진운동을 감지하기 위해 제2의 2D 광학 센서 어레이를 사용하고, 제3 방향에 대한 방위각인 방향의 제1 스페클 패턴의 병진운동을 감지하기 위해 제1의 2D 광학 센서 어레이를 사용함으로써, 제3 방향을 중심으로 한 회전을 감지하는 단계; 및 제3 방향의 제1 스페클 패턴의 병진운동을 감지하기 위해 제1의 2D 광학 센서 어레이를 사용하고, 제3 방향의 제2 스페클 패턴의 병진운동을 감지하기 위해 제2의 2D 광학 센서 어레이를 사용함으로써, 제3 방향의 병진운동을 감지하는 단계를 포함한다.
[0008] 도면들은 본 발명의 바람직한 실시예들의 설계 및 유용성을 예시하며, 도면들에서 유사한 엘리먼트들은 공통 참조 번호들에 의해 지칭된다. 본 발명들의 위에서 언급된 그리고 다른 이점들 및 목적들이 어떻게 달성되는지를 더 잘 인지하기 위해, 위에서 간략하게 설명한 본 발명들의 보다 구체적 설명이 첨부 도면들에서 예시되는 본 발명의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 도시할 뿐이며, 이에 따라 본 발명의 범위를 제한하는 것으로 간주되지 않는다는 것을 이해하면서, 본 발명은 첨부된 도면들의 사용을 통해 부가적인 특이성 및 세부사항에 관해 설명되고 기술될 것이다.
[0009] 도 1은 본원에서 개시된 실시예에 따른 사용자의 머리 착용 증강 현실 헤드기어의 정면도이다.
[0010] 도 2는 도 1에 도시된 증강 현실 헤드기어에 포함된 모션 검출 시스템의 개략도이다.
[0011] 도 3은 실시예에 따른, 코히어런트 광의 2개의 소스들 사이의 광학 분리를 예시하는, 도 2에 도시된 모션 검출 시스템의 일부의 개략도이다.
[0012] 도 4a-4f는 일련의 병진운동 스텝들에 대응하는 일련의 스페클 패턴들을 도시한다.
[0013] 도 5는 대안적인 실시예에 따른, 증강 현실 헤드기어에 포함된 모션 검출 시스템의 개략도이다.
[0014] 도 6은 다른 실시예에 따른, 안경 폼 팩터를 갖는 증강 현실 헤드기어의 사시도이다.
[0015] 도 7은 도 6에 도시된 증강 현실 헤드기어에 포함된 모션 검출 시스템의 개략도이다.
[0016] 도 8은 실시예에 따른 도 1 및 도 6에 도시된 증강 현실 헤드기어에 적용 가능한 증강 현실 헤드기어의 블록도이다.
[0017] 도 9는 실시예에 따른, 도 1에 도시된 증강 현실 헤드기어를 동작시키는 방법의 흐름도이다.
[0018] 도 10은 실시예에 따른 증강 현실 헤드기어의 사용의 예의 개략적인 예시이다.
[0009] 도 1은 본원에서 개시된 실시예에 따른 사용자의 머리 착용 증강 현실 헤드기어의 정면도이다.
[0010] 도 2는 도 1에 도시된 증강 현실 헤드기어에 포함된 모션 검출 시스템의 개략도이다.
[0011] 도 3은 실시예에 따른, 코히어런트 광의 2개의 소스들 사이의 광학 분리를 예시하는, 도 2에 도시된 모션 검출 시스템의 일부의 개략도이다.
[0012] 도 4a-4f는 일련의 병진운동 스텝들에 대응하는 일련의 스페클 패턴들을 도시한다.
[0013] 도 5는 대안적인 실시예에 따른, 증강 현실 헤드기어에 포함된 모션 검출 시스템의 개략도이다.
[0014] 도 6은 다른 실시예에 따른, 안경 폼 팩터를 갖는 증강 현실 헤드기어의 사시도이다.
[0015] 도 7은 도 6에 도시된 증강 현실 헤드기어에 포함된 모션 검출 시스템의 개략도이다.
[0016] 도 8은 실시예에 따른 도 1 및 도 6에 도시된 증강 현실 헤드기어에 적용 가능한 증강 현실 헤드기어의 블록도이다.
[0017] 도 9는 실시예에 따른, 도 1에 도시된 증강 현실 헤드기어를 동작시키는 방법의 흐름도이다.
[0018] 도 10은 실시예에 따른 증강 현실 헤드기어의 사용의 예의 개략적인 예시이다.
[0019] 도 1은 실시예에 따른 증강 현실 헤드기어(104)를 착용한 사용자의 머리(102)의 정면도이다. 증강 현실 헤드기어(104)는 안경 폼 팩터를 가지며, 헤드기어(104)의 렌즈들(접안렌즈들)의 형태를 취하는 좌측(사용자의 좌측) 접안렌즈(108) 및 우측 접안렌즈(110)가 장착되는 프레임(106)을 포함한다. 접안렌즈들(108, 110)은, 사용자의 눈들을 향한 광의 재지향을 제어하는 표면 릴리프 반사 및 투과 회절 격자들을 포함할 수 있거나, 벌크 접안렌즈들(108, 110)에 임베딩된 기울어진 부분 반사 미러들을 포함할 수 있다. 예컨대, 각각의 접안렌즈(108, 110)는, 이미지별 변조된 광을 수신하고 이미지별 변조된 광을 각각의 접안렌즈 내의 내부 전반사(TIR)를 위해 임계각을 초과하는 각도들로 회절시키는 ICG(incoupling grating)를 포함할 수 있다. ICG 이외에, 각각의 접안렌즈는 ICG에 의해 OPE로 지향된 광을 출구 EPE(exit pupil expander)를 향해 아래로 증분적으로 편향시키는 OPE(orthogonal pupil expansion grating)를 더 포함할 수 있으며, EPE는 광을 사용자 눈 포지션을 향하여 외부로 증분적으로 편향시킨다. 대안적으로, 접안렌즈들(108, 110)은, 광을 사용자의 눈으로 재지향시키는 부분 반사 전면 코팅을 포함할 수 있다. 후자의 경우에, 접안렌즈들은 평면일 필요는 없지만, 유한한 광학력을 갖는 만곡된 전면 및 후면(인근 눈) 표면들을 포함할 수 있다. 도 1을 다시 참조하면, 이미지별 변조된 광의 좌측 소스(112)는 좌측 접안렌즈(108)에 광학적으로 커플링되고, 이미지별 변조된 광의 우측 소스(114)는 우측 접안렌즈(110)에 광학적으로 커플링된다. 이미지별 변조된 광의 소스들(112, 114)은, 예컨대, LCoS(Liquid Crystal on Silicon) 이미지 투사기들, 파이버 스캐너들 또는 방출(예컨대, 마이크로 발광 다이오드 마이크로 유기 발광 다이오드) 디스플레이 패널들을 포함할 수 있다. 접안렌즈들(108, 110)은 이미지별 변조된 광을 사용자의 눈에 광학적으로 커플링하는 역할을 한다. 접안렌즈들(108, 110)은 또한 투명하고, 이로써 사용자가 실세계를 볼 수 있게 한다. 이미지별 변조된 광의 소스들(112, 114) 및 접안렌즈들(108, 110)은, 본 맥락에서 "가상 콘텐츠"로 칭해지는 이미지들을 디스플레이하는 데 사용된다. 가상 콘텐츠는 접안렌즈들(108, 110)을 통해 볼 수 있는 실세계를 증강시킨다. 이미지별 변조된 광의 좌측 소스(112)와 결합하여 좌측 접안렌즈(108)는 좌측 디스플레이를 함께 형성하고, 이미지별 변조된 광의 우측 소스(114)와 결합하여 우측 접안렌즈(110)는 우측 디스플레이를 형성한다.
[0020] 많은 애플리케이션들에서, 사용자가 환경에서 이리저리 걷고 상이한 방향들로 보기 위해 자신의 머리(102)를 돌릴 때, 증강 현실 헤드기어(104)가 사용자와 함께 이동 및 회전된다는 사실에도 불구하고, 증강 현실 헤드기어의 사용자가 위치되는 환경(예컨대, 룸)에 고정된 관성 기준 프레임에 포지셔닝되거나 이동하는 가상 콘텐츠(예컨대, 걷고 있는 가상의 사람)를 갖는 것이 바람직하다. 후자의 목적을 달성하기 위해, 접안렌즈들(108, 110) 및 이미지별 변조된 광의 소스들(112, 114)을 통해 디스플레이된 이미저리는 사용자의 모션들을 보상하기 위해 시프팅되어야 한다. 정확한 시프트를 결정하는 것은 사용자의 모션들(병진운동들 및 회전들)을 조심스럽게 추적하는 것을 요구한다. 이를 위해, 증강 현실 헤드기어(104)에는 상방향 레이저(upward pointing laser)(코히어런트 조명 소스)(116), 측방향 레이저(sideways pointing laser)(118) 및 전방향 레이저(front pointing laser)(120)가 장착되고, 이들 모두는 프레임(106)에 기계적으로 커플링된다. 레이저들(116, 118, 120)의 지시 방향들은 또한, 적절한 방향들의 단지 단순한 예들인 전술된 방향들에 대해 변경될 수 있다. 상방향 2D 광학 센서 어레이(122), 측방향 2D 광학 센서 어레이(124) 및 전방향 2D 광학 센서 어레이(126)가 또한 제공되고, 프레임(106)에 기계적으로 커플링된다. 2D 광학 센서 어레이들(122, 124, 126)은, 예컨대, CMOS(Complementary Metal Oxide Semiconductor) 픽셀 어레이들 또는 CCD(Charge Couple Device) 픽셀 어레이들을 포함할 수 있다. 상방향 레이저(116)에 의해 방출된 광은 상방향 2D 광학 센서 어레이(122)의 시야 내에서 각지게(angularly) 있고, 측방향 레이저(118)에 의해 방출된 광은 측방향 2D 광학 센서 어레이(124)의 시야 내에 각지게 있고, 전방향 레이저(120)에 의해 방출된 광은 전방향 2D 광학 센서 어레이(126)의 시야 내에 각지게 있다. 각각의 레이저들(116, 118, 120)로부터의 광이 방출 레이저 및 연관된 2D 광 센서 어레이(122, 124, 126)에서 떠나서 전파되는 정도까지, 해당 광이 2D 광학 센서 어레이들(122, 124, 126) 중 특정 2D 광학 센서 어레이의 시야 내에 각지게 있지만, 광이 충돌하는 표면, 예컨대, 벽, 천장, 또는 가구에 의해 다시 산란되지 않는다면, 광은 연관된 2D 광 센서 어레이(122, 124, 126)에 의해, 어느 정도는, 감지되지 않을 것이다. 창문들 및 미러들을 제외하고, 이러한 표면들은 일반적으로, 후방 산란된 광이 산란 표면과 2D 광학 센서 어레이들(122, 124, 126) 사이의 공간을 채우는 스페클 패턴의 형태를 취하도록 확산된다. 이 경우에서, 스페클 패턴은 표면의 소규모 거칠기의 회절 패턴이다. 스페클 패턴들은 2D 광학 센서 어레이들(122, 124, 126)에 의해 검출된다. 게다가, 사용자가 증강 현실 헤드기어(104)와 함께 자신의 머리(102)를 움직일 때, 2D 광학 센서 어레이들(122, 124, 126)은 스페클 패턴으로 채워진 공간을 통해 움직일 것이고, 이러한 움직임은 연속적인 시간들에서 2D 광학 센서 어레이들(122, 124, 126)을 판독함으로써 검출 가능하다. 레이저들(116, 118, 120)이 2D 광학 센서 어레이들(122, 124, 126)과 함께 움직이기 때문에, 2D 광학 센서 어레이들에 걸친 스페클 패턴의 검출된 움직임은 2D 광학 센서 어레이들(122, 124, 126)의 물리적 움직임의 두 배가 될 것이다. 강체 역학(rigid body mechanics)의 경우에, 3개의 병진운동 자유도들(예컨대, 직교 X, Y, Z 축들을 따른 병진운동) 및 3개의 회전 자유도들, 예컨대, 요, 롤 및 피치가 존재한다. 편의상, 대안적으로 변수들(Rx, Ry, Rz)을 사용하여 X, Y 및 Z 축들을 중심으로 한 회전들이 참조될 수 있다.
[0021] 도 2는 도 1에 도시된 증강 현실 헤드기어에 포함된 모션 검출 시스템(200)의 개략도이다. 모션 검출 시스템(200)은 상방향 레이저(116), 측방향 레이저(118), 전방향 레이저(120), 상방향 2D 광학 센서 어레이(122), 측방향 2D 광학 센서 어레이(124) 및 전방향 2D 광학 센서 어레이(126)를 포함한다. 앞서 설명된 컴포넌트들은 Z(상방), Y(측방, 사용자의 좌측) 및 X(전방) 축들을 포함하는 3D 직교 좌표계(Cartesian coordinate system)(202)에 대해 배향된 것으로 도시된다. 상방향(+Z) 레이저(116)로부터의 코히어런트 광은, 비경면인 천장 표면(204)에 입사하고, 상방향(+Z) 2D 광학 센서 어레이(122)에 충돌하는 스페클 패턴을 형성하는 코히어런트 광을 회절시키는 일부 소규모 표면 거칠기를 포함한다. 유사하게, 측방향(+Y) 레이저(118)로부터의 코히어런트 광은, 측방향(+Y) 2D 광학 센서 어레이(124) 상에 스페클 패턴을 형성하는 광을 산란시키는 벽(206)의 측방향 패치(sideways facing patch)에 입사한다. 마찬가지로, 전방향(+X) 레이저(120)로부터의 코히어런트 광은 전방향(+X) 2D 광학 센서 어레이(126) 상에 스페클 패턴을 형성하는 광을 산란시키는 벽(208)의 후방향 패치에 입사한다. 도 2에서, X, Y 및 Z 축들을 중심으로 한 회전들은 표기법(Rx, Ry, Rz)으로 표시된다. 특정 직교 축들(X, Y 또는 Z)을 따른 증강 현실 헤드기어(104)의 병진운동 모션의 컴포넌트는 병진운동 모션의 컴포넌트와 상이한 방향들을 향하는 2개의 2D 광학 센서 어레이들(122, 124 및/또는 126) 상의 컴포넌트와 평행한 스페클 시프트를 야기한다. 따라서, 예컨대, +X 방향의 병진운동 컴포넌트는 상방향(+Z) 2D 광학 센서 어레이(122) 및 측방향(+Y) 2D 광학 센서 어레이(124) 상의 스페클 패턴들의 +X 방향 병진운동들을 야기한다. 스페클 패턴들의 유도된 병진운동들은 헤드기어(104)의 물리적 병진운동들의 두 배와 동일하다. 각각의 2D 광학 센서 어레이(122, 124, 126)는, 2D 센서 어레이(122, 124, 126)에 의해 감지된 레이저 스폿이 연속적인 프레임들 사이의 스폿의 크기(즉, FWHM(Full Width Half Max))의 일부인 거리를 이동하도록, 충분히 높은 프레임 레이트로 동작된다.
[0022] 도 2의 개략도에 도시된 바와 같이, 2D 광학 센서 어레이들(122, 124, 126)은 직교 좌표계 원점으로부터 변위된다. 증강 현실 헤드기어(104)에서, 2D 광학 센서 어레이들은 사용자의 목 뒤 부근에 위치된 머리 움직임들에 대한 회전의 유효 중심으로부터 변위된다. X, Y 및 Z 축들을 중심으로 한 회전들은 2D 광학 센서 어레이들(122, 124, 126) 상에 생성된 스페클 패턴들의 시프트들을 감지함으로써 감지된다. 정해진 축들(X, Y 또는 Z)을 중심으로 한 회전의 컴포넌트는, 정해진 축에 평행한 방향을 향하는 2D 광학 센서 어레이(122, 124 또는 126) 이외의 2D 광학 센서 어레이들(122, 124 또는 126) 상의 정해진 축들에 대한 방위각인 스페클 시프트를 유도할 것이다. (이 목적들을 위해, 양의 직교 축들을 중심으로 한 양의 회전 방향(sense of rotation)은 오른손 규칙을 사용하여 규정된다.) 따라서, 예컨대, -X 방향은 측방향(+Y) 2D 광학 센서 어레이(124) 상의 Z-축에 대한 방위각이고, +Y 방향은 또한 전방향(+X) 2D 광학 센서 어레이(126) 상의 Z-축에 대한 방위각이다. 따라서, Z-축을 중심으로 한 양의 Rz 회전 컴포넌트는 측방향(+Y) 2D 광학 센서 어레이(124) 상의 X 방향 스페클 시프트를 유도할 것이고, 전방향(+X) 2D 광학 센서 어레이(126) 상의 -Y 방향 스페클 시프트를 유도할 것이다.
아래의 행렬 수학식 1은 직교 X, Y 및 Z 축들을 따른 증분 병진운동들 및 직교 X, Y 및 Z 축들을 중심으로 한 증분 회전을 2D 광학 센서 어레이들(122, 124, 126) 상의 스페클 패턴들의 시프트들에 관련시킨다.
[0023] 수학식 1의 좌측에 있는 계수 행렬의 0이 아닌 계수들은 3개의 아래첨자들을 갖는다. 제1 아래첨자는 X, Y, Z 병진운동들 및 X, Y 및 Z 축들을 중심으로 한 Rx, Ry, Rz 회전들 중에서 증강 현실 헤드기어(104)의 모션에 대한 6개의 자유도들 중 하나를 식별한다. 제2 아래첨자는, 2D 광학 센서 어레이(122, 124, 126) 중 하나가 향하는 방향(X, Y 또는 Z)에 의해 2D 광학 센서 어레이들(122, 124, 126) 중 하나를 식별하고, 해당 방향은 2D 광학 센서 어레이(122, 124, 126)의 전방(광 수신) 표면에 대한 법선 벡터의 방향과 동일하다. 제3 아래첨자는 제2 아래첨자에 의해 식별된 특정 2D 광 센서 어레이(122, 124, 126) 상의 스페클 시프트의 방향(X, Y 또는 Z)을 식별한다. 병진운동 자유도들에 관련된 계수 행렬의 첫 번째 3개의 열들의 0이 아닌 계수들은 2의 값들을 갖는다. 병진운동 행렬의 세 번째 내지 여섯 번째 열들의 0이 아닌 계수들은 2/Rsensor의 값들을 갖고, 여기서 Rsensor는, 사용자가 증강 현실 헤드기어(104)를 착용하고 있을 때, 제2 아래 첨자에 의해 식별된 2D 광학 센서 어레이(122, 124 또는 126)와 회전의 유효 중심(예컨대, 사용자의 목 뒤) 사이의 거리이다.
[0024] 수학식 1의 좌측에 있는 열 벡터는 첫 번째 3개의 엘리먼트들로서 증분 병진운동들(Δx, Δy, Δz) 및 마지막 3개의 엘리먼트들로서 X, Y 및 Z 축들을 중심으로 한 중분 회전들(ΔRx, ΔRy, ΔRz)을 포함한다. 수학식 1의 우측에 있는 열 벡터의 각각의 엘리먼트는 2D 광학 센서 어레이들(122, 124, 126) 중 하나 상의 스페클 시프트이다. 각각의 스페클 시프트 엘리먼트는 아래첨자 및 위첨자 문자 S로 표기된다. 아래첨자는, 2D 광학 센서 어레이들(122, 124, 126) 중 하나의 법선 벡터가 배향되는 방향(그가 향하는 방향)에 의해 2D 광학 센서 어레이들(122, 124, 126) 중 하나를 식별한다. 위첨자는 2D 광학 센서 어레이(122, 124, 126) 상의 스페클 시프트의 방향을 식별한다. 예시로서, 계수 행렬(C)의 첫 번째 행은, y 방향의 병진운동(Cy , x, y로 표시됨) 및 Z 축을 중심으로 한 회전(CRz , x, y로 표시됨) 둘 모두가 전방향(+X) 2D 광학 센서 어레이(126) 상의 y 방향(z 축에 대한 방위각) 스페클 시프트를 야기할 것이라는 것을 나타낸다. 계수 행렬은 용이하게 반전 가능하여, 다음과 같이 주어진 행렬 수학식 2로 이어진다.
[0025] 여기서 C-1은 수학식 1의 역행렬이다. 수학식 2는 수학식 2의 좌측에 나타나는 스페클 시프트들의 벡터에 기반하여 증강 현실 헤드기어(104)의 증분 병진운동들 및 회전들을 결정하는 데 사용된다. 2D 광학 센서 어레이들(122, 124, 126) 상에 형성된 스페클 패턴들을 2개의 연속 시간들에서 판독하고, 2개의 연속 시간들에서 스페클 패턴들의 상대적인 시프트를 결정함으로써, 증분 스페클 시프트들이 획득될 수 있다. Farneback 방법 또는 정규화된 교차 상관과 같은 광학 흐름 추적 방법들은 스페클 패턴들의 상대적인 시프트를 결정하는 데 사용될 수 있다. 결정된 증분 병진운동들 및 회전들에 기반하여, 이미지별 변조된 광의 소스들(112, 114) 및 접안렌즈들(108, 110)을 통해 출력된 가상 콘텐츠는, 증강 현실 헤드기어(104)가 사용되는 환경에 고정된 관성 좌표계에서 포지션 및/또는 모션을 유지하도록 조정된다. 2D 광학 센서 어레이들(122, 124, 126)은 증강 현실 헤드기어의 최대 예상 레이트와 비교하여 충분히 높은 레이트로 판독되므로, 레이저들(116, 118, 120)의 지시 각도의 프레임간 변화(frame-to-frame)는 레이저들(116, 118, 120)의 FWHM 빔 발산(도 3의 확산기들(310, 312)의 효과를 포함함)의 일부이다. 따라서, 2D 광학 센서 어레이들(122, 124, 126)에 의해 감지된 스페클 패턴들의 프레임간 변화는 주로 시프트(광학 흐름)이다. 추가적으로, 레이저들(116, 118, 120)은 2D 광학 센서 어레이들(122, 124, 126)의 프레임 레이트와 동일한 펄스 레이트 및 2D 광학 센서 어레이들(122, 124, 126)의 프레임 주기(1/프레임 레이트)보다 실질적으로 더 짧은 펄스 폭에서 펄스 모드로 동작될 수 있다. 이러한 짧은 레이저 펄스 폭을 사용하는 것은 스페클 패턴의 모션 유도 블러(motion induced blur)를 피하는 데 도움이 될 것이다.
[0026] 도 3은 실시예에 따른, 코히어런트 광의 2개의 소스들 사이의 광학 분리를 예시하는, 도 2에 도시된 모션 검출 시스템의 일부의 개략도이다. 도 3에 도시된 도면은 측방향 레이저(118) 및 전방향 레이저(120)를 포함한다. 도시된 바와 같이 측방향 레이저(118)는 제1 시준 렌즈(304)에 광학적으로 커플링된 제1 레이저 다이오드(302)를 포함하고, 유사하게 전방향 레이저(120)는 제2 시준 렌즈(308)에 광학적으로 커플링된 제2 레이저 다이오드(306)를 포함한다. 시준 렌즈들(304, 308)은 측방향 레이저(118) 및 전방향 레이저(120)의 상호 배타적인 입체각 커버리지(방출) 범위를 설정한다. 제1 시준 렌즈(304)는 측방 전파 광 빔을 형성하고, 제2 시준 렌즈(308)는 전방 전파 광 빔을 형성한다. 대안적으로, 시준 렌즈들 대신에, 제어된 발산 빔들을 형성하는 렌즈들이 사용될 수 있다. 또한, 시준 렌즈들 대신에, 특정 방사상(예컨대, 플랫톱(flattop)) 또는 비축 대칭(nonaxisymmetric) 빔 프로파일을 설정하는 빔 성형 렌즈들이 사용될 수 있다. 제1 저각 확산기(low angle diffuser)(310)는 제1 시준 렌즈(304)의 앞에 포지셔닝되고, 제2 저각 확산기(312)는 제2 시준 렌즈(308)의 앞에 포지셔닝된다. 저각 확산기들(310, 312)은 시준 렌즈들(304, 308)에 의해 형성된 광 빔들의 휘도를 감소시키고, 시력 안전에 유용하다. 레이저 다이오드들(302, 306)이 적외선 방출할 수 있으며, 이 경우에 사용자는 방출된 광을 볼 수 없을 것이라는 것이 주목된다. 저각 확산기들(310, 312)은, 비-제한적인 예로서, 2° 내지 20°의 확산 FWHM을 특징으로 할 수 있다. 측방향 2D 광학 센서 어레이(124) 및 전방향 2D 광학 센서 어레이(126)가 또한 도 3에 도시된다. 측방향 동공 정지부(sideways facing pupil stop)(314)는 측방향 2D 광학 센서 어레이(124)의 앞에 포지셔닝되고, 측방향 2D 광학 센서 어레이(124)의 시야를 제한하는 역할을 한다. 유사하게, 전방향 동공 정지부(316)는 전방향 2D 광학 센서 어레이(126)의 앞에 포지셔닝되고, 전방향 2D 광학 센서 어레이(126)의 시야를 제한하는 역할을 한다. 측방향 동공 정지부(314)는, 제1 저각 확산기(310)에 의해 확장된 측방향 레이저(118)의 방출 입체각 범위와 실질적으로 중첩하고 제2 저각 확산기(312)에 의해 확장된 전방향 레이저(120)의 방출 입체각 범위를 실질적으로 배제하는 측방향 2D 광학 센서 어레이(124)의 시야를 설정한다. 유사하게, 전방향 동공 정지부(316)는, 제2 저각 확산기(312)에 의해 확장된 전방향 레이저(120)의 방출 입체각 범위와 실질적으로 중첩하고 제1 저각 확산기(310)에 의해 확장된 측방향 레이저(118)의 방출 입체각 범위를 실질적으로 배제하는 전방향 2D 광학 센서 어레이(126)의 시야를 설정한다. 따라서, 각각의 2D 광학 센서 어레이는 자신의 관련된 레이저에 의해 방출된 광에 의해 생성된 단일 스페클 패턴만을 수신할 것이다. 동공 정지부들(314, 316)의 다른 목적은 각각의 2D 광학 센서 어레이(124, 126)에 입사하는 스페클 패턴의 스페클들의 크기를 확대하는 것이다. 스페클 패턴의 스페클들의 특징적인 크기는, 2D 센서 어레이들(124, 126)을 구성하는 개별 센서 엘리먼트들(픽셀들)의 크기와 동일하거나 이보다 더 커야 한다. 도 3에 도시되지 않지만, 상방향 레이저(116)는 측방향 레이저(118) 및 전방향 레이저(120)에 대해 도 3에 도시된 내부 설계와 동일한 내부 설계를 갖고, 또한 저각 확산기를 장착할 수 있고, 상방향 2D 광학 센서 어레이(122)는 또한 동공 정지부를 장착할 수 있다.
[0027] 대안적인 실시예에 따라, 센서 어레이들(122, 124, 126)은, 자신들과 연관된 하나의 레이저 이외의 레이저들(116, 118, 120)의 방출들로부터 스펙트럼적으로 분리된다. 일 구현에서, 상방향 레이저(116)는 제1 피크 파장을 갖는 제1 스펙트럼 라인을 방출하고, 측방향 레이저(118)는 제2 피크 파장을 갖는 제2 스펙트럼 라인을 방출하고, 전방향 레이저(120)는 제3 피크 파장을 갖는 제3 스펙트럼 라인을 방출한다. 제2 스펙트럼 라인 또는 제3 스펙트럼 라인이 아닌 제1 스펙트럼 라인을 투과시키는 제1 스펙트럼 선택 필터는 상방향 2D 광학 센서 어레이(122) 위에 포지셔닝되고; 제1 스펙트럼 라인 또는 제3 스펙트럼 라인이 아닌 제2 스펙트럼 라인을 투과시키는 제2 스펙트럼 선택 필터는 측방향 2D 광학 센서 어레이(124) 위에 포지셔닝되고; 제1 스펙트럼 라인 또는 제2 스펙트럼 라인이 아닌 제3 스펙트럼 라인을 투과시키는 제3 스펙트럼 선택 필터는 전방향 2D 광학 센서 어레이(126) 위에 포지셔닝된다.
[0028] 도 4a는 도 1-3에 도시된 시스템의 모션을 추적하는 데 사용될 수 있는 스페클 패턴(400)의 초기 이미지이다. 도 4b-4f는 일련의 병진운동 증분들 후 도 4a에 도시된 스페클 패턴(400)의 일련의 이미지들(408, 410, 412, 414, 416)을 도시한다. 스페클 패턴(400)에서의 초기 임의의 포지션(402)은 수직 라인(404) 및 수평 라인(406)으로 표시된다. 이를테면, 위에 언급된 방법들에 제한되지 않는 광학 흐름 추적 방법은 스페클 패턴의 움직임을 추적하는 데 사용될 수 있다. 스페클 패턴의 병진운동 거리는, 모션 검출 시스템(200)을 포함하는 증강 현실 헤드기어(104)의 물리적 병진운동의 2 배와 동일하다. 임의로 선택된 포지션(402)의 위치는 연속적인 도 4b-4f 각각에 도시된다.
[0029] 도 5는 대안적인 실시예에 따른 증강 현실 헤드기어(104)에 포함된 모션 검출 시스템(500)의 개략도이다. 시스템(300)은 제1 방향을 향하도록 배향된 제1 레이저(506), 제2 방향을 향하도록 배향된 제2 레이저(508) 및 제3 방향을 향하도록 배향된 제3 레이저를 포함한다. 시스템(300)은 또한 제1 방향을 향하는 제1의 2D 광학 센서 어레이, 제2 방향을 향하는 제2의 2D 광학 센서 어레이 및 제3 방향을 향하는 제3의 2D 광학 센서 어레이를 포함한다. 반면에, 도 3에 도시된 움직임 검출 시스템(300)의 경우에, 레이저들(116, 118, 120)은 한 세트의 3개의 직교 방향들을 향하고, 2D 광학 센서 어레이들(122, 124, 126)은 동일한 세트의 3개의 직교 방향들을 향하도록 배향되고, 도 5에 도시된 모션 검출 시스템(500)의 경우에, 제1, 제2 및 제3 방향들은 직교하지 않는다.
[0030] 도 6은 다른 실시예에 따른 안경 폼 팩터를 가진 증강 현실 헤드기어(600)의 사시도이고, 도 7은 증강 현실 헤드기어(600)에 포함된 모션 검출 시스템(700)의 개략도이다. 증강 현실 헤드기어(600)는 좌측(사용자의 좌측) 투명 접안렌즈(604) 및 우측 투명 접안렌즈(606)를 지지하는 프레임(602)을 포함한다. 좌측 투명 접안렌즈(604)는 좌측 ICG(604A), 좌측 OPE(604B) 및 좌측 EPE(604C)를 포함하고, 유사하게 우측 투명 접안렌즈(606)는 우측 ICG(606A), 우측 OPE(606B) 및 우측 EPE(606C)를 포함한다. 접안렌즈들(604, 606) 각각은 대안적으로, 다수의 컬러 채널들을 취급하고 그리고/또는 (상이한 가상 이미지 거리들에 대응하는) 상이한 파면 곡률들에서 이미저리를 출력하기 위한 다수의 도파관들을 포함할 수 있다. 이미지별 변조된 광의 좌측 소스(608)는 좌측 투명 접안렌즈(604)에 광학적으로 커플링되고, 이미지별 변조된 광의 우측 소스(610)는 우측 투명 접안렌즈(606)에 광학적으로 커플링된다. 투명 접안렌즈들(604, 606)은 이미지별 변조된 광을 사용자의 눈들에 광학적으로 커플링하는 역할을 한다.
[0031] 증강 현실 헤드기어(600)에는 우측 레이저(611), 좌측 레이저(612), 좌측 2D 광학 센서 어레이(614) 및 우측 2D 광학 센서 어레이(616)가 추가로 장착된다. 전방향은 도 6에 도시된 직교 좌표계 트라이어드(triad) 중 +X 축에 대응한다. 좌측 레이저(612) 및 좌측 2D 광학 센서 어레이(614)는 전방향에 대해 방위각으로 좌측으로 기울어진(수직으로 배향된 Z 축을 중심으로 회전된) 방향을 향하고, 우측 레이저(611) 및 우측 2D 광학 센서 어레이(616)는 전방향에 대해 방위각으로 우측으로 기울어진 방향을 향한다. 좌측 레이저(612) 및 좌측 광학 센서(614)가 향하는 방향은 좌측 광학 센서(614)의 광 수신 표면에 수직인 좌측 법선 벡터(NL)에 의해 규정되고, 우측 레이저(611) 및 우측 광학 센서(616)가 향하는 방향은 우측 광학 센서(616)의 광 수신 표면에 수직인 우측 법선 벡터(NR)에 의해 규정된다. 대안적으로, 각각의 레이저 및 연관된 센서가 향하는 방향 사이에 차이가 있을 수 있다. 좌측 법선 벡터(NL)와 우측 법선 벡터(NR) 사이의 차이 벡터(D)가 도 7에 도시된다. 좌측 2D 광학 센서 어레이(614) 및 우측 2D 광학 센서 어레이(616)는 별개의 시야들을 갖는다. 좌측 2D 광학 센서 어레이(614)의 시야는, 적어도, 좌측 레이저(612)의 방출 범위의 상당한 부분을 포함하고 우측 2D 광학 센서 어레이(616)의 시야는, 적어도, 우측 레이저(611)의 방출 입체각 범위의 상당한 부분을 포함한다. 좌측 및 우측 2D 광학 센서 어레이들(614, 616)의 시야들은 동공 정지부들 또는 다른 시야 제한 광학 컴포넌트들(도 6에는 도시되지 않음)에 의해 제한될 수 있다. 예컨대, 좌측 2D 광학 센서 어레이(614)의 시야는 우측 레이저(611)의 방출 각도 범위를 배제하도록 제한될 수 있고, 그 역도 가능하다.
[0032] 선택적으로, 좌측 2D 광학 센서 어레이(614)는 좌측 이미징 렌즈(618)를 장착할 수 있고, 우측 2D 광학 센서 어레이(616)는 우측 이미징 렌즈(620)를 장착할 수 있다. 이미징 렌즈들(618, 620)은, 이미징 렌즈들(618, 620)의 앞의 공간에 포지셔닝된 좌측 초점 평면(622) 및 우측 초점 평면(624)으로부터의 스페클 광을 2D 광학 센서 어레이들(614, 616)로 각각 초점을 맞추고 확대 또는 축소시킨다.
[0033] 직교 좌표 트라이어드 중 Y 축이 좌측에서 우측으로 측변으로 연장된다는 것이 주목되어야 한다. 증강 현실 헤드기어(600)에 통합된 모션 검출 시스템(700)은, X-축, Y-축 및 Z-축을 따른 병진운동 컴포넌트들 및 전방향 X-축을 중심으로 한 회전을 포함하는, 4개의 자유도들을 감지 및 구별할 수 있다. 좌측 법선 벡터(NL) 및 우측 법선 벡터(NR)는 가상 평면을 규정하고, NL 및 NR에 의해 규정된 평면 상에서, NL과 NR 사이의 각도 범위가 존재한다. NL과 NR 사이의 각도 범위에서 NL 및 NR에 의해 규정된 평면 상에 투사를 갖는 병진운동 컴포넌트는, NL 및 NR에 의해 규정된 평면에 평행한 좌측 및 우측 2D 광학 센서 어레이들(614, 616) 상의 반대 방향 스페클 패턴 시프트들을 감지함으로써 감지될 수 있다. 이전의 경우에서, 좌측 2D 광학 센서 어레이(614) 상의 제1 광학 흐름 및 우측 2D 광학 센서 어레이(616) 상의 제2 광학 흐름은 차이 벡터(D)에 대한 반대 방향 투사들을 갖는다.
[0034] 반면에, NL과 NR 사이의 각도 범위 외부에서 NL 및 NR에 의해 규정된 평면 상에 투사를 갖는 병진운동 컴포넌트는, NL과 NR에 의해 규정된 평면에 평행하는 좌측 및 우측 2D 광학 센서 어레이들(614, 616) 상의 동일한 방향 스페클 패턴 시프트들을 감지함으로써 감지될 수 있다. 후자의 경우에서, 좌측 2D 광학 센서 어레이(614) 상의 제1 광학 흐름 및 우측 2D 광학 센서 어레이(616) 상의 제2 광학 흐름은 차이 벡터(D)에 대한 공통 방향 투사들을 갖는다. 또한, NL 및 NR에 의해 규정된 평면에 수직인 병진운동 컴포넌트는, NL 및 NR에 의해 규정된 평면에 수직인 좌측 및 우측 2D 광학 센서 어레이들(614, 616)에서 동일한 방향 스페클 패턴 시프트를 감지함으로써 감지될 수 있다. 추가적으로, 전방 연장 +X 축을 중심으로 한 회전들은, NL 및 NR에 의해 규정된 평면에 수직인 좌측 및 우측 2D 광학 센서 어레이들(614, 616) 상의 반대의 수직 방향 스페클 패턴 시프트들을 감지함으로써 감지될 수 있다.
[0035] 도 8은 실시예에 따른 증강 현실 헤드기어(900)의 블록도이다. 도 8에 도시된 설계는 특정 실시예들에 따른, 도 1 및 6에 도시된 증강 현실 헤드기어에 사용될 수 있다. 증강 현실 헤드기어(900)는 좌측 광 투과(시-스루) 접안렌즈(902), 우측 광 투과 접안렌즈(904), 제1 레이저 다이오드(906), 제1의 2D 광학 센서 어레이(908), 제N 레이저 다이오드(910) 및 제N 2D 광학 센서 어레이(912)를 포함하고, 이들 모두는 증강 현실 헤드기어 프레임(914)에 기계적으로 커플링된다. 식별자 "제N"의 사용은 "제N"으로 식별된 컴포넌트를 포함하는 유사한 컴포넌트들의 수가 변수라는 것을 의미하는 것으로 이해되어야 한다. 예컨대, 도 1에 도시된 증강 현실 헤드기어(104)의 경우에, 3개의 레이저 다이오드들이 3개의 레이저들(116, 118, 120) 내에서 활용되는 반면에, 도 6에 도시된 증강 현실 헤드기어(600)의 경우에, 단일 레이저 다이오드(도 6에 도시되지 않음)가 전방향 레이저(612) 내에 제공된다.
[0036] 이미지별 변조된 광의 좌측 소스(916)는 좌측 광 투과 접안렌즈(902)에 광학적으로 커플링되고, 이미지별 변조된 광의 우측 소스(918)는 우측 광 투과 접안렌즈(904)에 광학적으로 커플링된다. 이미지별 변조된 광의 소스들(916, 918)은, 예컨대, 파이버 스캐너들, LCoS 투사기들 또는 MEMS 광 빔 스캐너들 또는 마이크로 방출 디스플레이들을 포함할 수 있다. 좌측 이미지 데이터 소스(920)는 이미지별 변조된 광의 좌측 소스(916)에 커플링되고, 우측 이미지 데이터 소스(922)는 이미지별 변조된 광의 우측 소스(918)에 커플링된다. 이미지 데이터 소스들(920, 922)은, 예컨대, 디스플레이 드라이버들 형태를 취할 수 있다. 좌측 광 투과 접안렌즈(902)와 결합하여 이미지별 변조된 광의 좌측 소스(916)는 좌측 디스플레이(948)를 형성하고, 우측 광 투과 접안렌즈(904)와 결합하여 이미지별 변조된 광의 우측 소스(918)는 우측 디스플레이(950)를 형성한다. 이미지별 변조된 광의 좌측 및 우측 소스들(916, 918)은 좌측 및 우측 이미지 데이터 소스들(920, 922)에 의해 각각 제공된 데이터에 따라 광을 변조한다. 좌측 및 우측 이미지 데이터 소스들(920, 922)은, 마이크로프로세서와 함께 게임 엔진 프로그램을 실행하는 GPU(Graphics Processing Unit)에 의해 데이터가 공급되는 프레임 버퍼들의 형태를 취할 수 있다.
[0037] 제1 레이저 다이오드(906)는 제1 시준 렌즈(924)를 통해 제1 확산기(926)에 광학적으로 커플링되고, 제N 레이저 다이오드(912)는 제N 시준 렌즈(928)를 통해 제N 확산기(930)에 광학적으로 커플링된다. 제1 시준 렌즈(924) 및 제1 확산기(926)를 통해 커플링된 제1 레이저 다이오드(906)로부터의 코히어런트 광은, 제1의 2D 광학 센서 어레이(908)에 입사하는 제1 스페클 패턴(표면의 소규모 거칠기의 회절 패턴)을 형성하는 증강 현실 헤드기어(900)의 환경에서 제1 표면 패치(932)(예컨대, 벽, 천장, 바닥, 가구)에 입사한다. 유사하게, 제N 시준 렌즈(928) 및 제N 확산기(930)를 통해 커플링된 제N 레이저 다이오드(910)로부터의 코히어런트 광은, 제N 2D 광학 센서 어레이(912)에 입사하는 제N 스페클 패턴을 형성하는 증강 현실 헤드기어(900)의 환경에서 제N 표면 패치(934)에 입사한다.
[0038] 제1 센서 판독 회로(936)는 제1의 2D 광학 센서 어레이(908)에 커플링되고, 제N 센서 판독 회로(938)는 제N 2D 광학 센서 어레이(912)에 커플링된다. IMU(inertial measurement unit)(952)는 프레임(914)에 기계적으로 커플링된다. 제1 센서 판독 회로(936), 제N 센서 판독 회로(938), 좌측 이미지 데이터 소스(920), 우측 이미지 데이터 소스(922), IMU(952), 적어도 하나의 프로세서(940), 적어도 하나의 프로그램 메모리(942) 및 적어도 하나의 작업 공간 메모리(944)는 적어도 하나의 버스(946)를 통해 함께 커플링된다. 적어도 하나의 프로세서(940)는, 예컨대, 마이크로프로세서, 그래픽 프로세싱 유닛, 디지털 신호 프로세서 및/또는 마이크로제어기를 포함할 수 있다. IMU(952)는 스페클 광학 흐름을 통해 모션을 검출하는, 위에서 설명된 컴포넌트들과 연동하여 사용될 수 있다. 예컨대, IMU(952)는 정확도를 개선하기 위해 추가적인 중복의 모션 정보 소스로서 사용될 수 있거나, IMU로부터의 정보는 헤드기어(900)의 6DoF를 완전히 결정하기 위해 스페클 흐름 모니터링을 통해 획득된 정보와 결합될 수 있다.
[0039] 도 9는 실시예에 따라, 도 1에 도시된 증강 현실 헤드기어(104)를 동작시키는 방법(1000)의 흐름도이다. 도 6, 8에 도시된 증강 현실 헤드기어(600, 900)는 유사한 방식으로 동작될 수 있다. 블록(1002)에서, 헤드기어(104)의 로컬 환경의 표면들(예컨대, 204, 206, 208)은 증강 현실 헤드기어(104)에 고정된 레이저들(116, 118, 120)로 조명된다. 블록(1004)에서, 증강 현실 헤드기어의 디스플레이들은 로컬 환경의 포지션(좌표들의 세트로 규정됨)에서 적어도 하나의 가상 오브젝트를 디스플레이하도록 동작된다. 이미지별 변조된 광의 소스들(112, 114)과 결합하여 접안렌즈들(108, 110)은 함께 디스플레이를 형성한다. 도 10은 도 10에 도시된 방법에 따라 사용되는, 도 1에 도시된 증강 현실 헤드기어(104)의 사용의 예의 개략적인 예시이다. 도 10에서, 사용자의 머리(102) 위의 헤드기어(1100)가 도시된다. 사용자는 증강 현실 헤드기어의 디스플레이들을 사용하여 디스플레이되는 책 형태의 가상 오브젝트(1102)를 보고 있다. 가상 오브젝트(1102)는 실제 테이블(1104) 상에 위치된다. 가상 콘텐츠의 다른 예들은, 예컨대, 사람들, 동물들, 상상의 생물체들 및/또는 움직이는 오브젝트를 포함할 수 있다. 움직이는 가상 콘텐츠의 경우에, 가상 콘텐츠의 움직임은 물리적 환경에 고정된 관성 기준 프레임에서 규정되고, 헤드기어의 움직임이 물리적 환경에 대한 가상 콘텐츠의 의도된 움직임에 속도를 부가하도록, 헤드기어의 모션이 보상(널 아웃)될 수 있도록 헤드기어의 모션이 추적된다. 도 9를 다시 참조하면, 블록(1006)에서, 광 센서 어레이들(122, 124, 126)은, 레이저들(116, 118, 120)이 환경 표면들(예컨대, 204, 206, 208)에 의해 산란됨으로써 생성된 스페클 패턴들을 감지하는 데 사용된다. 아래에 설명되는 블록(1006) 및 블록(1010)을 실행하는 데 있어서, 스페클 패턴들은, 예컨대, 적어도 하나의 프로세서(940)(도 8)의 제어 하에서 작업 공간 메모리(944)(도 8)의 센서 판독 회로들(936, 938(도 8))로부터 수신될 수 있다. 블록(1008)은 연속적인 시간마다 실행되는 루프의 시작을 표시한다. 블록(1010)에서, 광 센서 어레이들은, 레이저들(116, 118, 120)이 환경 표면들(예컨대, 204, 206, 208)에 의해 산란됨으로써 생성된 스페클 패턴을 감지하는 데 다시 사용된다. 블록(1012)에서, 특정 스페클 패턴들의 적어도 하나의 이전 측정과 비교하여 각각의 특정 스페클 패턴의 시프트들이 결정된다. 이를테면, 위에 논의된 광학 흐름 결정 방법은 블록(1012)을 실행하는 데 사용될 수 있다. 블록(1014)에서, 증강 현실 헤드기어의 병진운동 및 회전 좌표들의 변화들은 블록(1012)에서 결정된 스페클 패턴들의 시프트들에 기반하여 결정된다. 블록(1014)을 실행하는 데 있어서, 위에 설명된 수학식 2가 사용될 수 있다. 다음에 블록(1016)에서, 증강 현실 헤드기어(104)의 디스플레이 상의 가상 오브젝트의 포지션(좌표들)은, 로컬 환경에서 가상 오브젝트의 포지션을 유지하기 위해, 예컨대, 실제 테이블(1104) 상의 포지션에 가상 책(1102)을 유지하기 위해, 블록(1014)에서 결정된 적어도 하나의 좌표의 변화에 따라 시프팅된다. 가상 오브젝트의 포지션은, 접안렌즈들을 통해 사용자의 눈들에 커플링된 이미지별 변조된 광을 조정함으로써 시프팅된다. 방법(1100)은, 적어도 하나의 메모리(942)에 저장되고 적어도 하나의 작업 공간 메모리(944)를 사용하여 적어도 하나의 프로세서(940)에 의해 실행되는 프로그램의 제어 하에서 실행될 수 있다. 더 일반적으로 말하자면, 헤드기어(100, 600, 900)에는 일부 형태의 전자 회로가 제공되고, 전자 회로는 대안적으로, 비제한적인 예로서, 연속적인 시간들 사이에서 스페클 시프트들을 결정하고, 스페클 시프트들에 기반하여 연속적인 시간들 사이의 증분 모션들(병진운동 및 회전)을 결정하고, 증분 모션들을 보정하기 위해 디스플레이된 가상 오브젝트들의 포지션을 조정하는 ASIC(Application Specific Integrated Circuit) 및/또는 FPGA를 포함할 수 있다.
[0040] 위에 설명된 실시예들이 투명 접안렌즈들 ― 투명 접안렌즈들을 통해, 사용자는, 또한 가상 콘텐츠를 보면서, 실세계를 볼 수 있음 ― 을 포함하는 증강 현실 안경을 포함하지만, 대안적으로 위에 설명된 6DoF 추적 시스템들은, 실세계의 사용자의 뷰가 가려지고, 사용자가 가상 콘텐츠만을 볼 수 있는 가상 현실 고글들에 통합될 수 있다. 위에 설명된 6DoF 시스템들은 또한, 사용자가 실세계를 직접 볼 수 없지만 하나 이상의 카메라들에 의해 캡처되어 가상 콘텐츠와 함께 사용자에게 디스플레이되는 실세계의 이미저리를 볼 수 있는 증강 현실 타입에 적용될 수 있다.
[0041] 본 발명의 다양한 예시적인 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 이루어진다. 그 예들은, 본 발명의 더 넓게 적용 가능한 양상들을 예시하기 위해 제공된다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, 등가물들이 본 발명의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 다수의 수정들은, 특정 상황, 재료, 재료의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키도록 행해질 수 있다. 추가로, 본원에서 설명되고 예시된 개별 변동들 각각은, 본 발명들의 사상 또는 범위를 벗어나지 않으면서 다른 여러 개의 실시예들 중 임의의 실시예의 특징들로부터 쉽게 분리될 수 있거나 이들과 결합될 수 있는 이산 컴포넌트들 및 특징들을 갖는다는 것이 당업자들에 의해 인지될 것이다. 그러한 모든 수정들은, 본 개시내용과 연관된 청구항들의 범위 내에 있는 것으로 의도된다.
[0042] 본 발명은, 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은, 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 최종 사용자에 의해 수행될 수 있다. 즉, "제공하는" 동작은 단지, 최종 사용자가 본 방법에서 필수적인 디바이스를 제공하도록 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 파워-업 또는 달리 동작하는 것을 요구한다. 본원에서 인용된 방법들은, 논리적으로 가능한 임의의 순서의 인용된 이벤트들뿐만 아니라 인용된 순서의 이벤트들로 수행될 수 있다.
[0043] 본 발명의 예시적인 양상들은, 재료 선택 및 제조에 대한 세부사항들과 함께 위에서 기술되었다. 본 발명의 다른 세부사항들에 대해, 이들은, 위에서-참조된 특허들 및 공개공보들과 관련하여 인지될 뿐만 아니라 당업자들에 의해 일반적으로 알려지거나 인지될 수 있다. 이들은 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들의 관점들에서 본 발명의 방법-기반 양상들에 적용될 수 있다.
[0044] 부가적으로, 본 발명이 다양한 피처들을 선택적으로 포함하는 여러 개의 예들을 참조하여 설명되었지만, 본 발명은, 본 발명의 각각의 변동에 대해 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않을 것이다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, (본원에서 인용되었는지 또는 일부 간략화를 위해 포함되지 않았는지 여부에 관계없이) 등가물들이 본 발명의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 다양한 값들이 제공되는 경우, 그 범위의 상한과 하한 사이의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 개재 값이 본 발명 내에 포함되는 것으로 해석된다.
[0045] 또한, 설명된 본 발명의 변동들의 임의의 선택적인 피처가 본원에 설명된 피처들 중 임의의 하나 이상에 독립적으로 또는 그에 결합하여 기술되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 달리 언급되지 않으면 복수의 지시 대상들을 포함한다. 즉, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것에 추가로 주의한다. 따라서, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 그런 배타적인 용어의 사용, 또는 "부정적" 제한의 사용을 위한 선행 기초로서 역할을 하도록 의도된다.
[0046] 그런 배타적 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 그런 청구항들에 열거되는지, 또는 특징의 부가가 그 청구항들에 기술된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있는지 여부에 무관하게 임의의 부가적인 엘리먼트의 포함을 허용할 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구항 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[0047] 본 발명의 범위는 제공된 예들 및/또는 본원 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 문언의 범위에 의해서만 제한된다.
Claims (8)
- 증강 현실 헤드기어로서,
이미지별 변조된 광(imagewise modulated light)을 제공하도록 구성된 이미지별 변조된 광의 적어도 하나의 소스;
사용자가 실세계를 보도록 허용하면서, 상기 이미지별 변조된 광을 상기 사용자의 눈에 커플링하도록 구성된 적어도 하나의 투명 접안렌즈;
적어도 하나의 환경 표면 상에 코히어런트 광(coherent light)을 투사하기 위해, 제1 방향으로 상기 증강 현실 헤드기어로부터 외부로 조준된 제1 코히어런트 광 소스;
상기 적어도 하나의 환경 표면 상에 코히어런트 광을 투사하기 위해, 상기 제1 방향과 상이한 제2 방향으로 상기 증강 현실 헤드기어로부터 외부로 조준된 제2 코히어런트 광 소스;
제3 방향을 향하는 제1 법선 벡터를 갖는 제1 센서 어레이 ― 상기 제1 센서 어레이는 상기 적어도 하나의 환경 표면으로부터 반사된 광을 수신하도록 구성되고, 상기 반사된 광은 상기 제1 센서 어레이 상에 제1 스페클 패턴(speckle pattern)을 형성함 ― ;
상기 제3 방향과 상이한 제4 방향을 향하는 제2 법선 벡터를 갖는 제2 센서 어레이 ― 상기 제2 센서 어레이는 상기 적어도 하나의 환경 표면으로부터 반사된 광을 수신하도록 구성되고, 상기 반사된 광은 상기 제2 센서 어레이 상에 제2 스페클 패턴을 형성함 ― ; 및
상기 이미지별 변조된 광의 소스, 상기 제1 센서 어레이 및 상기 제2 센서 어레이에 커플링된 전자 회로를 포함하고,
상기 전자 회로는:
상기 증강 현실 헤드기어를 착용한 사용자에 의해 점유되는 물리적 공간에 고정된 관성 기준 프레임(inertial reference frame)에서 규정된 한 세트의 좌표들에서 가상 오브젝트를 디스플레이하도록 상기 이미지별 변조된 광의 적어도 하나의 소스를 동작시키고;
제1 시간에서 상기 제1 스페클 패턴의 제1 카피와 상기 제2 스페클 패턴의 제1 카피를 수신하고;
제2 시간에서 상기 제1 스페클 패턴의 제2 카피와 상기 제2 스페클 패턴의 제2 카피를 수신하고;
상기 제1 스페클 패턴의 제1 카피에 대한 상기 제1 스페클 패턴의 제2 카피의 제1 시프트를 결정하고;
상기 제2 스페클 패턴의 제1 카피에 대한 상기 제2 스페클 패턴의 제2 카피의 제2 시프트를 결정하고; 그리고
상기 제1 시프트 및 상기 제2 시프트에 기반하여, 상기 사용자에 의해 점유되는 상기 물리적 공간 내의 상기 증강 현실 헤드기어의 모션을 결정 ― 상기 증강 현실 헤드기어의 모션은 3개의 독립적인 축들을 따른 병진운동들 및 상기 3개의 독립적인 축들 중 제1 축을 중심으로 한 회전을 포함함 ― 하도록 구성되는,
증강 현실 헤드기어. - 제1 항에 있어서,
상기 전자 회로는,
상기 증강 현실 헤드기어의 모션에 기반하여, 상기 증강 현실 헤드기어의 모션을 보상하고, 상기 관성 기준 프레임에서 규정된 상기 한 세트의 좌표들에서 상기 가상 오브젝트를 유지하기 위해, 상기 이미지별 변조된 광을 조정하도록 추가로 구성되는,
증강 현실 헤드기어. - 제1 항에 있어서,
상기 제3 방향은 상기 제1 방향과 동일하고, 상기 제4 방향은 상기 제2 방향과 동일한,
증강 현실 헤드기어. - 제1 항에 있어서,
상기 제1 법선 벡터 및 상기 제2 법선 벡터는 평면을 규정하고, 그리고
3개의 독립적인 축들을 따른 병진운동들은,
상기 제1 법선 벡터와 상기 제2 법선 벡터 사이에 있는 상기 평면 상의 0이 아닌 투사를 포함하는 상기 3개의 독립적인 축들 중 제1 축을 따른 상기 증강 현실 헤드기어의 병진운동;
상기 제1 법선 벡터와 상기 제2 법선 벡터 사이의 각도 범위 외부에 있는 상기 평면 상의 0이 아닌 투사를 포함하는 상기 3개의 독립적인 축들 중 제2 축을 따른 상기 증강 현실 헤드기어의 병진운동; 및
상기 3개의 독립적인 축들 중 제3 축을 따른 상기 증강 현실 헤드기어의 병진운동을 포함하는,
증강 현실 헤드기어. - 제1 항에 있어서,
상기 적어도 하나의 환경 표면에 의해 반사된, 상기 제2 코히어런트 광 소스로부터의 광을, 상기 제1 센서 어레이에 도달하는 것으로부터 실질적으로 배제하도록 구성된 적어도 하나의 애퍼처 정지부(aperture stop)를 더 포함하는,
증강 현실 헤드기어. - 제1 항에 있어서,
상기 제1 코히어런트 광 소스 및 상기 제2 코히어런트 광 소스의 상호 배타적인 방출 입체각 범위들을 설정하도록 구성된 적어도 하나의 광학 컴포넌트를 더 포함하는,
증강 현실 헤드기어. - 한 세트의 3개의 독립적인 축들을 따른 구조의 병진운동 모션들 및 상기 한 세트의 3개의 독립적인 축들 중 하나를 중심으로 한 상기 구조의 회전을 감지 및 구별하는 방법으로서,
미리 결정된 입체각 범위에 걸쳐 광을 방출하고, 상기 구조에 커플링된 코히어런트 광의 적어도 하나의 소스를 제공하는 단계;
상기 구조에 커플링된 제1의 2D 광학 센서 어레이를 제공하는 단계 ― 상기 제1의 2D 광학 센서 어레이는 제1 방향을 향하는 제1 법선 벡터를 가짐 ― ;
상기 구조에 커플링된 제2의 2D 광학 센서 어레이를 제공하는 단계 ― 상기 제2의 2D 광학 센서 어레이는 제2 방향을 향하는 제2 법선 벡터를 갖고, 상기 제1 법선 벡터 및 상기 제2 법선 벡터는 평면을 규정하고, 상기 제1 법선 벡터는 상기 평면에서 상기 제2 법선 벡터에 대해 기울어짐 ― ;
비경면 환경 표면(non-specular environmental surface)을 조명하기 위해 상기 코히어런트 광의 적어도 하나의 소스를 사용하는 단계 ― 이로써 제1 스페클 패턴이 상기 제1의 2D 광학 센서 어레이에서 생성되고, 제2 스페클 패턴이 상기 제2의 2D 광학 센서 어레이에서 생성됨 ― ;
상기 제1의 2D 광학 센서 어레이 상의 상기 제1 스페클 패턴의 제1 광학 흐름을 감지하고, 상기 제2의 2D 광학 센서 어레이 상의 상기 제2 스페클 패턴의 제2 광학 흐름을 감지함으로써, 상기 제1 법선 벡터와 상기 제2 법선 벡터 사이에 있는 상기 평면 상의 0이 아닌 투사를 포함하는 한 세트의 3개의 독립적인 축들 중 제1 축을 따른 상기 구조의 병진운동을 감지하는 단계 ― 상기 제1 광학 흐름 및 상기 제2 광학 흐름은 상기 제1 법선 벡터와 상기 제2 법선 벡터 사이의 차이 벡터에 대한 반대 방향 투사들을 가짐 ― ;
상기 제1의 2D 광학 센서 어레이 상의 상기 제1 스페클 패턴의 제3 광학 흐름을 감지하고, 상기 제2의 2D 광학 센서 어레이 상의 상기 제2 스페클 패턴의 제4 광학 흐름을 감지함으로써, 상기 제1 법선 벡터와 상기 제2 법선 벡터 사이의 각도 범위 외부에 있는 상기 평면 상의 0이 아닌 투사를 포함하는 한 세트의 3개의 독립적인 축들 중 제2 축을 따른 상기 구조의 병진운동을 감지하는 단계 ― 상기 제3 광학 흐름 및 상기 제4 광학 흐름은 상기 제1 법선 벡터와 상기 제2 법선 벡터 사이의 차이 벡터에 대한 공통 방향 투사들을 가짐 ― ;
상기 제1의 2D 광학 센서 어레이 상의 상기 제1 스페클 패턴 및 상기 제2의 2D 광학 센서 어레이 상의 상기 제2 스페클 패턴의 동일한 수직 방향 광학 흐름들을 감지함으로써, 상기 평면에 수직인 0이 아닌 컴포넌트를 포함하는 상기 한 세트의 3개의 독립적인 축들 중 제3 축을 따른 상기 구조의 병진운동을 감지하는 단계; 및
상기 제1의 2D 광학 센서 어레이 상의 상기 제1 스페클 패턴 및 상기 제2의 2D 광학 센서 어레이 상의 상기 제2 스페클 패턴의 반대 수직 방향 광학 흐름들을 감지함으로써, 상기 한 세트의 3개의 독립적인 축들 중 제1 축을 중심으로 한 상기 구조의 회전을 감지하는 단계를 포함하는,
한 세트의 3개의 독립적인 축들을 따른 구조의 병진운동 모션들 및 상기 한 세트의 3개의 독립적인 축들 중 하나를 중심으로 한 상기 구조의 회전을 감지 및 구별하는 방법. - 한 세트의 3개의 독립적인 축들을 따른 구조의 병진운동 모션들 및 상기 한 세트의 3개의 독립적인 축들을 중심으로 한 회전을 감지 및 구별하는 방법으로서,
상기 구조에 커플링된 제1의 2D 광학 센서 어레이를 제공하는 단계 ― 상기 제1의 2D 광학 센서 어레이는 제1 방향을 향하는 제1 표면 법선 및 제1 시야를 가짐 ― ;
상기 구조에 커플링된 제2의 2D 광학 센서 어레이를 제공하는 단계 ― 상기 제2의 2D 광학 센서 어레이는 제2 방향을 향하는 제2 표면 법선 및 제2 시야를 가짐 ― ;
상기 구조에 커플링된 제3의 2D 광학 센서 어레이를 제공하는 단계 ― 상기 제3의 2D 광학 센서 어레이는 제3 방향을 향하는 제3 표면 법선 및 제3 시야를 갖고, 상기 제1 방향, 상기 제2 방향 및 상기 제3 방향은 독립적임 ― ;
광을 상기 제1 시야, 상기 제2 시야 및 상기 제3 시야에 투사하는 적어도 하나의 코히어런트 광 소스를 제공하는 단계 ― 비경면 주변 표면들로부터 반사된 광은 상기 제1의 2D 광학 센서 어레이 상의 제1 스페클 패턴, 상기 제2의 2D 광학 센서 어레이 상의 제2 스페클 패턴 및 상기 제3의 2D 광학 센서 어레이 상의 제3 스페클 패턴을 형성함 ― ;
상기 제1 방향에 대한 방위각인 방향의 상기 제2 스페클 패턴의 병진운동을 감지하기 위해 상기 제2의 2D 광학 센서 어레이를 사용하고, 상기 제1 방향에 대한 방위각인 방향의 상기 제3 스페클 패턴의 병진운동을 감지하기 위해 상기 제3의 2D 광학 센서 어레이를 사용함으로써, 상기 제1 방향을 중심으로 한 회전을 감지하는 단계;
상기 제1 방향의 상기 제2 스페클 패턴의 병진운동을 감지하기 위해 상기 제2의 2D 광학 센서 어레이를 사용하고, 상기 제1 방향의 상기 제3 스페클 패턴의 병진운동을 감지하기 위해 상기 제3의 2D 광학 센서 어레이를 사용함으로써, 상기 제1 방향의 병진운동을 감지하는 단계;
상기 제2 방향에 대한 방위각인 방향의 상기 제1 스페클 패턴의 병진운동을 감지하기 위해 상기 제1의 2D 광학 센서 어레이를 사용하고, 상기 제2 방향에 대한 방위각인 방향의 상기 제3 스페클 패턴의 병진운동을 감지하기 위해 상기 제3의 2D 광학 센서 어레이를 사용함으로써, 상기 제2 방향을 중심으로 한 회전을 감지하는 단계;
상기 제2 방향의 상기 제1 스페클 패턴의 병진운동을 감지하기 위해 상기 제1의 2D 광학 센서 어레이를 사용하고, 상기 제2 방향의 상기 제3 스페클 패턴의 병진운동을 감지하기 위해 상기 제3의 2D 광학 센서 어레이를 사용함으로써, 상기 제2 방향의 병진운동을 감지하는 단계;
상기 제3 방향에 대한 방위각인 방향의 상기 제2 스페클 패턴의 병진운동을 감지하기 위해 상기 제2의 2D 광학 센서 어레이를 사용하고, 상기 제3 방향에 대한 방위각인 방향의 상기 제1 스페클 패턴의 병진운동을 감지하기 위해 상기 제1의 2D 광학 센서 어레이를 사용함으로써, 상기 제3 방향을 중심으로 한 회전을 감지하는 단계; 및
상기 제3 방향의 상기 제1 스페클 패턴의 병진운동을 감지하기 위해 상기 제1의 2D 광학 센서 어레이를 사용하고, 상기 제3 방향의 상기 제2 스페클 패턴의 병진운동을 감지하기 위해 상기 제2의 2D 광학 센서 어레이를 사용함으로써, 상기 제3 방향의 병진운동을 감지하는 단계를 포함하는,
한 세트의 3개의 독립적인 축들을 따른 구조의 병진운동 모션들 및 상기 한 세트의 3개의 독립적인 축들을 중심으로 한 회전을 감지 및 구별하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020217033021A KR102595778B1 (ko) | 2017-04-24 | 2018-04-23 | 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762489339P | 2017-04-24 | 2017-04-24 | |
| US62/489,339 | 2017-04-24 | ||
| PCT/US2018/028964 WO2018200423A1 (en) | 2017-04-24 | 2018-04-23 | Tracking optical flow of backscattered laser speckle patterns |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217033021A Division KR102595778B1 (ko) | 2017-04-24 | 2018-04-23 | 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190137908A KR20190137908A (ko) | 2019-12-11 |
| KR102314822B1 true KR102314822B1 (ko) | 2021-10-19 |
Family
ID=63853886
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197034286A KR102314822B1 (ko) | 2017-04-24 | 2018-04-23 | 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템 |
| KR1020217033021A KR102595778B1 (ko) | 2017-04-24 | 2018-04-23 | 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217033021A KR102595778B1 (ko) | 2017-04-24 | 2018-04-23 | 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템 |
Country Status (9)
| Country | Link |
|---|---|
| US (3) | US10649523B2 (ko) |
| EP (2) | EP4206761A1 (ko) |
| JP (4) | JP6994515B2 (ko) |
| KR (2) | KR102314822B1 (ko) |
| CN (2) | CN110573917B (ko) |
| AU (1) | AU2018257776A1 (ko) |
| CA (1) | CA3059373A1 (ko) |
| IL (3) | IL301447B2 (ko) |
| WO (1) | WO2018200423A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL301447B2 (en) * | 2017-04-24 | 2024-05-01 | Magic Leap Inc | Optical flow tracking of backscattered laser speckle samples |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012078342A (ja) | 2010-10-05 | 2012-04-19 | Mitsutoyo Corp | 画像相関変位センサ |
| US20150317833A1 (en) | 2014-05-01 | 2015-11-05 | Michael John Ebstyne | Pose tracking an augmented reality device |
| WO2016046514A1 (en) | 2014-09-26 | 2016-03-31 | LOKOVIC, Kimberly, Sun | Holographic waveguide opticaltracker |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2803307B2 (ja) * | 1990-04-03 | 1998-09-24 | 富士ゼロックス株式会社 | スペックルパターンの移動検出方法及びこれを用いた位置指定装置 |
| JP3287002B2 (ja) | 1992-02-06 | 2002-05-27 | 東日本旅客鉄道株式会社 | 鉄道車両の測距装置 |
| JP3112219B2 (ja) | 1993-06-25 | 2000-11-27 | 富士ゼロックス株式会社 | 移動検出方法及び検出器 |
| US20040061680A1 (en) * | 2002-07-10 | 2004-04-01 | John Taboada | Method and apparatus for computer control |
| US7292232B2 (en) * | 2004-04-30 | 2007-11-06 | Microsoft Corporation | Data input devices and methods for detecting movement of a tracking surface by a laser speckle pattern |
| US7354167B2 (en) * | 2004-05-27 | 2008-04-08 | Angstrom, Inc. | Beam focusing and scanning system using micromirror array lens |
| JP4917615B2 (ja) * | 2006-02-27 | 2012-04-18 | プライム センス リミティド | スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ） |
| JP5174684B2 (ja) * | 2006-03-14 | 2013-04-03 | プライムセンス リミテッド | スペックル・パターンを用いた三次元検出 |
| US8451224B2 (en) * | 2008-07-23 | 2013-05-28 | Sony Corporation | Mapping detected movement of an interference pattern of a coherent light beam to cursor movement to effect navigation of a user interface |
| US9201501B2 (en) * | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| WO2012054231A2 (en) * | 2010-10-04 | 2012-04-26 | Gerard Dirk Smits | System and method for 3-d projection and enhancements for interactivity |
| KR101151962B1 (ko) * | 2011-02-16 | 2012-06-01 | 김석중 | 포인터를 사용하지 않는 가상 터치 장치 및 방법 |
| US20160187654A1 (en) * | 2011-02-28 | 2016-06-30 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
| WO2012147702A1 (ja) * | 2011-04-28 | 2012-11-01 | シャープ株式会社 | ヘッドマウントディスプレイ |
| EP2581034B1 (en) * | 2011-10-11 | 2016-02-17 | Tobii AB | Eye-tracker illumination |
| KR101343748B1 (ko) * | 2012-04-23 | 2014-01-08 | 주식회사 브이터치 | 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 |
| US9597014B2 (en) * | 2012-06-22 | 2017-03-21 | Fitbit, Inc. | GPS accuracy refinement using external sensors |
| CN103514450B (zh) * | 2012-06-29 | 2017-02-15 | 华为技术有限公司 | 一种图像特征提取方法和图像校正方法以及设备 |
| KR102065687B1 (ko) * | 2012-11-01 | 2020-02-11 | 아이캠, 엘엘씨 | 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법 |
| US9208566B2 (en) * | 2013-08-09 | 2015-12-08 | Microsoft Technology Licensing, Llc | Speckle sensing for motion tracking |
| US9753288B2 (en) * | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US9430038B2 (en) * | 2014-05-01 | 2016-08-30 | Microsoft Technology Licensing, Llc | World-locked display quality feedback |
| GB2528699B (en) * | 2014-07-29 | 2017-05-03 | Sony Computer Entertainment Europe Ltd | Image processing |
| EP3177890B1 (en) * | 2014-08-10 | 2019-10-09 | Facebook Technologies, LLC | Structured light for 3d sensing |
| US9931040B2 (en) | 2015-01-14 | 2018-04-03 | Verily Life Sciences Llc | Applications of hyperspectral laser speckle imaging |
| US20160209929A1 (en) | 2015-01-20 | 2016-07-21 | Jahja I. Trisnadi | Method and system for three-dimensional motion-tracking |
| CN107209396B (zh) * | 2015-01-21 | 2020-03-31 | 日立乐金光科技株式会社 | 影像显示装置 |
| CN105607034A (zh) * | 2015-12-23 | 2016-05-25 | 北京凌宇智控科技有限公司 | 一种三维空间检测系统、定位方法及系统 |
| AU2017356886A1 (en) * | 2016-11-10 | 2019-05-02 | Magic Leap, Inc. | Method and system for eye tracking using speckle patterns |
| CN106525003B (zh) * | 2016-12-16 | 2019-02-12 | 深圳市未来感知科技有限公司 | 一种基于双目视觉的姿态测量方法 |
| US10152798B2 (en) * | 2017-04-10 | 2018-12-11 | Wisconsin Alumni Research Foundation | Systems, methods and, media for determining object motion in three dimensions using speckle images |
| IL301447B2 (en) * | 2017-04-24 | 2024-05-01 | Magic Leap Inc | Optical flow tracking of backscattered laser speckle samples |
-
2018
- 2018-04-23 IL IL301447A patent/IL301447B2/en unknown
- 2018-04-23 AU AU2018257776A patent/AU2018257776A1/en not_active Abandoned
- 2018-04-23 CN CN201880026770.XA patent/CN110573917B/zh active Active
- 2018-04-23 CN CN202210980603.7A patent/CN115327775A/zh active Pending
- 2018-04-23 CA CA3059373A patent/CA3059373A1/en active Pending
- 2018-04-23 WO PCT/US2018/028964 patent/WO2018200423A1/en unknown
- 2018-04-23 KR KR1020197034286A patent/KR102314822B1/ko active IP Right Grant
- 2018-04-23 EP EP23157732.1A patent/EP4206761A1/en active Pending
- 2018-04-23 US US15/960,497 patent/US10649523B2/en active Active
- 2018-04-23 EP EP18791186.2A patent/EP3615967B1/en active Active
- 2018-04-23 KR KR1020217033021A patent/KR102595778B1/ko active IP Right Grant
- 2018-04-23 IL IL309523A patent/IL309523A/en unknown
- 2018-04-23 JP JP2019557356A patent/JP6994515B2/ja active Active
-
2019
- 2019-10-22 IL IL270087A patent/IL270087B2/en unknown
-
2020
- 2020-04-07 US US16/842,542 patent/US11150725B2/en active Active
-
2021
- 2021-09-01 US US17/464,232 patent/US11762455B2/en active Active
- 2021-11-12 JP JP2021184611A patent/JP7150966B2/ja active Active
-
2022
- 2022-09-28 JP JP2022155078A patent/JP7419471B2/ja active Active
-
2024
- 2024-01-10 JP JP2024001688A patent/JP2024024099A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012078342A (ja) | 2010-10-05 | 2012-04-19 | Mitsutoyo Corp | 画像相関変位センサ |
| US20150317833A1 (en) | 2014-05-01 | 2015-11-05 | Michael John Ebstyne | Pose tracking an augmented reality device |
| WO2016046514A1 (en) | 2014-09-26 | 2016-03-31 | LOKOVIC, Kimberly, Sun | Holographic waveguide opticaltracker |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7482163B2 (ja) | 拡張現実ディスプレイシステム | |
| JP7528344B2 (ja) | 仮想／拡張現実システムにおけるビーム角度センサ | |
| US10228565B1 (en) | Variable focus waveguide display | |
| JP2024024099A (ja) | 後方散乱レーザスペックルパターンのオプティカルフローの追跡 | |
| CN117043658A (zh) | 通过波导的眼睛跟踪器照明 | |
| US10527858B1 (en) | Scanning waveguide display | |
| US20220350149A1 (en) | Waveguide configurations in a head-mounted display (hmd) for improved field of view (fov) | |
| KR102721668B1 (ko) | 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템 | |
| JP2020517934A5 (ko) | ||
| US11044460B1 (en) | Polychromatic object imager | |
| US20240192493A1 (en) | Pupil-steering for three-dimensional (3d) resolution enhancement in single photon avalanche diode (spad) eye tracking (et) | |
| EP4330757A1 (en) | Waveguide configurations in a head-mounted display (hmd) for improved field of view (fov) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |