KR102641655B1 - 3차원 공간에서 가상 객체들 선택 - Google Patents
3차원 공간에서 가상 객체들 선택 Download PDFInfo
- Publication number
- KR102641655B1 KR102641655B1 KR1020187014283A KR20187014283A KR102641655B1 KR 102641655 B1 KR102641655 B1 KR 102641655B1 KR 1020187014283 A KR1020187014283 A KR 1020187014283A KR 20187014283 A KR20187014283 A KR 20187014283A KR 102641655 B1 KR102641655 B1 KR 102641655B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- user input
- objects
- virtual
- interactable
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 175
- 230000003993 interaction Effects 0.000 claims description 82
- 230000008859 change Effects 0.000 claims description 62
- 238000003384 imaging method Methods 0.000 claims description 58
- 230000004044 response Effects 0.000 claims description 34
- 230000000977 initiatory effect Effects 0.000 claims description 17
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 101
- 210000003128 head Anatomy 0.000 description 95
- 230000008569 process Effects 0.000 description 48
- 230000003287 optical effect Effects 0.000 description 42
- 238000012545 processing Methods 0.000 description 24
- 210000001747 pupil Anatomy 0.000 description 23
- 230000004308 accommodation Effects 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 18
- 230000009471 action Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 14
- 210000004247 hand Anatomy 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 12
- 238000005266 casting Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 238000013500 data storage Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 125000001475 halogen functional group Chemical group 0.000 description 7
- 238000002347 injection Methods 0.000 description 7
- 239000007924 injection Substances 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 241000283153 Cetacea Species 0.000 description 6
- 241000406668 Loxodonta cyclotis Species 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000009191 jumping Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 210000003811 finger Anatomy 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 244000144992 flock Species 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241000475481 Nebula Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013124 brewing process Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
Abstract
웨어러블 시스템을 사용하여 3차원 공간에서 가상 객체들과 상호작용하기 위한 시스템들 및 방법들이 개시된다. 웨어러블 시스템은 사용자가 사용자 입력 디바이스 및 포즈들을 사용하여 가상 객체들과 상호작용하도록 프로그래밍될 수 있다. 웨어러블 시스템은 또한 사용자의 환경에서 가상 객체들의 레이아웃과 같은 맥락 관련 정보를 자동적으로 결정하고 맥락 관련 정보에 기반하여 사용자 입력 모드를 스위칭할 수 있다.
Description
[0001] 본 출원은 2015년 10월 20일에 출원되고 발명의 명칭이 "USER APPLICATIONS, INTERFACES, AND EXPERIENCES WITH AUGMENTED REALITY DISPLAY DEVICES"인 미국 가출원 번호 제62/244,115호, 2016년 2월 29일 출원되고 발명의 명칭이 "SELECTING VIRTUAL OBJECTS IN 3D SPACE"인 미국 가출원 번호 제62/301,422호, 및 2016년 3월 31일 출원되고 발명의 명칭이 "SELECTING VIRTUAL OBJECTS IN 3D SPACE"인 제62/316,179호에 대한 우선권을 35 U.S.C. § 119(e) 하에서 주장한다. 이에 의해, 이들 가출원들 모두는 그 전체가 인용에 의해 본원에 통합된다.
[0002] 본 개시내용은 가상 현실, 증강 현실 및 혼합 현실 이미징 및 가시화 시스템들, 및 특히 3차원(3D) 공간에서 가상 객체들과 상호작용하기 위한 시스템들에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실", "증강 현실" 또는 "혼합 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 이들의 디지털적으로 재생된 이미지들 또는 부분들은, 이들이 실제인 것으로 보이거나 또는 실제로서 인지될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 전형적으로 다른 현실 실제-세계 시각적 입력에 대한 투명성 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 전형적으로 사용자 주위의 현실 세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하고; 혼합 현실 또는 "MR"은 물리 및 가상 객체들이 실시간으로 공존하고 상호작용하는 새로운 환경들을 생성하기 위해 실제 세계와 가상 세계를 융합하는 것과 관련된다. 밝혀진 바와 같이, 인간 시지각 시스템(visual perception system)은 매우 복잡하고, 그리고 다른 가상 또는 실제-세계 이미저리 엘리먼트들 중에서 가상 이미지 엘리먼트들의 편안하고 자연스러운 느낌의 풍부한 프리젠테이션을 가능하게 하는 VR, AR 또는 MR 기술을 만드는 것은 난제이다. 본원에 개시된 시스템들 및 방법들은 VR, AR 및 MR 기술에 관련된 다양한 난제들을 처리한다.
[0004] 일부 실시예들에서, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 시스템이 개시된다. 시스템은 3차원(3D) 뷰(view)를 사용자에게 제시하도록 구성된 웨어러블 디바이스의 디스플레이 시스템 ― 3D 뷰는 상호작용가능 객체들을 포함함 ―; 사용자 입력을 수신하도록 구성된 사용자 입력 디바이스; 사용자의 포즈와 연관된 데이터를 획득하도록 구성된 센서; 및 사용자 입력 디바이스와 통신하는 하드웨어 프로세서를 포함할 수 있다. 하드웨어 프로세서는 상호작용가능 객체들과 상호작용하기 위한 현재의 사용자 입력 모드가 제1 사용자 입력 모드인지 또는 제2 사용자 입력 모드인지 여부를 결정하도록 프로그래밍될 수 있으며, 제1 사용자 입력 모드는 사용자의 포즈에 적어도 부분적으로 기반하며, 제2 사용자 입력 모드는 사용자 입력 디바이스로부터의 사용자 입력에 적어도 부분적으로 기반한다. 현재의 사용자 입력 모드가 제1 사용자 입력 모드라는 결정에 대한 응답으로: 하드웨어 프로세서는 센서를 사용하여 사용자의 포즈를 모니터링하며; 모니터링된 포즈에 적어도 부분적으로 기반하여, 사용자의 포즈와 관련된 방향에서 제1 사용자 입력 모드와 연관된 제1 형상의 포커스 표시자(focus indicator)를 디스플레이 시스템을 통해 제시하며; 제2 사용자 입력 모드로 스위칭하기 위한 제1 표시를 수신하며; 그리고 제1 표시에 대한 응답으로 현재의 사용자 입력 모드를 제2 사용자 입력 모드로 스위칭할 수 있다. 현재의 사용자 입력 모드가 제2 사용자 입력 모드라는 결정에 대한 응답으로: 하드웨어 프로세서는 사용자 입력 디바이스로부터의 사용자 입력을 모니터링하며; 모니터링된 입력에 적어도 부분적으로 기반하여, 제2 사용자 입력 모드와 연관된 제2 형상의 포커스 표시자를 디스플레이 시스템을 통해 제시하며; 제1 사용자 입력 모드로 스위칭하기 위한 제2 표시를 수신하며; 그리고 제2 표시에 대한 응답으로 현재의 사용자 입력 모드를 제1 사용자 입력 모드로 스위칭할 수 있다.
[0005] 특정 실시예들에서, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 방법이 개시된다. 방법은 컴퓨터 프로세서를 포함하는 웨어러블 디바이스의 제어하에서 수행될 수 있다. 웨어러블 디바이스는 사용자의 FOR(field of regard)내의 상호작용가능 객체들과 사용자의 상호작용을 허용하도록 구성되며, FOR은 웨어러블 디바이스의 디스플레이 시스템을 통해 사용자가 인지할 수 있는, 사용자 주위의 환경의 일부분을 포함한다. 방법은 사용자의 포즈를 결정하는 단계; 사용자의 포즈와 관련된 방향에서 상호작용가능 타겟 객체와 연관된 제1 포커스 표시자를 디스플레이 시스템을 통해 디스플레이하는 단계 ― 상호작용가능 타겟 객체는 복수의 가상 객체들을 포함함 ―; 상호작용가능 타겟 객체의 선택을 수신하는 단계; 사용자 입력 디바이스상에서 사용자 입력 모드를 포즈들로부터 손 제스처들로 스위칭하기 위한 옵션을 사용자에게 제시하는 단계; 복수의 가상 객체들을 디스플레이 디스템을 통해 디스플레이하는 단계; 사용자가 사용자 입력 디바이스상에서 사용자 입력 모드를 포즈들로부터 손 제스처들로 스위칭하였다는 결정에 대한 응답으로, 복수의 가상 객체들 중 타겟 가상 객체와 연관된 제2 포커스 표시자를 디스플레이 시스템을 통해 디스플레이하는 단계; 및 사용자 입력 디바이스로부터의 사용자 입력에 적어도 부분적으로 기반하여 제2 포커스 표시자를 업데이트하는 단계를 포함한다.
[0006] 일부 실시예들에서, 3차원(3D) 공간에 위치한 가상 객체를 선택하기 위한 웨어러블 시스템 및 방법이 개시된다. 웨어러블 시스템은 3D 공간에서 가상 객체들을 제시하도록 구성된 디스플레이 시스템; 3D 공간의 상호작용가능 객체들을 저장하도록 구성된 비-일시적 데이터 스토어; 사용자의 포즈를 결정하도록 구성된 센서; 및 디스플레이 시스템, 데이터 스토어 및 센서와 통신하도록 프로그래밍되는 하드웨어 프로세서를 포함할 수 있다. 웨어러블 시스템 및 방법은 센서로부터 수신된 데이터에 적어도 부분적으로 기반하여 사용자의 포즈를 결정하며, 사용자의 포즈에 적어도 부분적으로 기반하여 사용자의 FOV(field of view)를 결정하며 ― FOV는 주어진 시간에 사용자가 인지하는, 사용자의 환경의 일부분을 포함함 ―; FOV내에서 상호작용가능 객체들의 그룹을 식별하며; 사용자의 포즈에 적어도 부분적으로 기반하여 FOV내에서 상호작용가능 타겟 객체를 식별하며; 그리고 상호작용가능 타겟 객체와 연관된 선택 이벤트를 개시할 수 있다.
[0007] 본 명세서에 설명된 청구 대상의 하나 또는 그 초과의 구현들의 세부사항들은 아래의 첨부 도면들과 상세한 설명에서 설명된다. 다른 특징들, 양상들 및 장점들은 상세한 설명, 도면들 및 청구항들로부터 자명하게 될 것이다. 이 요약도 다음 상세한 설명 어느 것도 본 발명의 청구 대상의 범위를 정의하거나 제한하도록 주장하지 않는다.
[0008] 도 1은 사람이 보는 특정 가상 현실 객체들, 및 특정 물리적 객체들을 가진 혼합 현실 시나리오의 예시를 도시한다.
[0009] 도 2는 웨어러블(wearable) 시스템의 예를 개략적으로 예시한다.
[0010] 도 3은 다수의 깊이 평면들을 사용하여 3차원 이미저리(imagery)를 시뮬레이션하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0011] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0012] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출구 빔들을 도시한다.
[0013] 도 6은 도파관 장치, 도파관 장치로 또는 이로부터 광을 광학적으로 커플링하기 위한 광학 커플러 서브시스템, 및 멀티-포컬 볼류메트릭(multi-focal volumetric) 디스플레이, 이미지 또는 광 필드의 생성에 사용되는 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략도이다.
[0014] 도 7은 웨어러블 시스템의 예의 블록도이다.
[0015] 도 8은 인지된 객체들에 관한 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0016] 도 9는 웨어러블 시스템의 다른 예의 블록도이다.
[0017] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하기 위한 방법의 예의 프로세스 흐름도이다.
[0018] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법의 예의 프로세스 흐름도이다.
[0019] 도 12는 FOV(field of view)의 가상 객체들 및 FOR(field of regard)의 가상 객체들의 예를 예시한다.
[0020] 도 13a는 사용자 입력 디바이스의 터치 스크린상에서 터치 제스처로 상호작용가능 객체를 선택하는 예를 예시한다.
[0021] 도 13b는 사용자 입력 디바이스 상에서 손 제스처들로 선택가능 객체들을 필터링하는 예를 예시한다.
[0022] 도 14는 머리 포즈들에 대한 좌표 시스템의 예이다.
[0023] 도 15는 머리 포즈들로 상호작용 객체들과 상호작용하는 예를 예시한다.
[0024] 도 16은 손 제스처들로 상호작용 객체들과 상호작용하는 예를 예시한다.
[0025] 도 17은 기상 애플리케이션과의 예시적인 상호작용 이벤트를 예시한다.
[0026] 도 18은 3D 가상 객체와 상호작용하는 예시적인 사용자 경험을 예시한다.
[0027] 도 19는 사용자 입력 디바이스 상에서 포즈들과 손 제스처들의 조합을 사용하여 가상 객체를 선택하기 위한 예시적인 프로세스를 예시한다.
[0028] 도 20은 사용자 입력 디바이스 상에서 포즈들과 손 제스처들의 조합을 사용하여 가상 객체와 상호작용하기 위한 예시적인 프로세스를 예시한다.
[0029] 도 21은 맥락 관련 정보에 기반하여 머리 포즈로부터 손 제스처로 입력 제어를 스위칭하기 위한 예시적인 프로세스를 예시한다.
[0030] 도 22는 맥락 관련 정보에 기반하여 사용자 상호작용 모드를 스위칭하기 위한 예시적인 프로세스를 예시한다.
[0031] 도 23은 가상 객체들의 그룹을 포함하는 상호작용가능 객체와 상호작용하는 예시적인 프로세스를 예시한다.
[0032] 도면들 전반에 걸쳐, 참조 번호들은 참조된 엘리먼트들 간의 대응을 표시하는데 다시-사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되고 본 개시내용의 범위를 제한하도록 의도되지 않는다.
[0009] 도 2는 웨어러블(wearable) 시스템의 예를 개략적으로 예시한다.
[0010] 도 3은 다수의 깊이 평면들을 사용하여 3차원 이미저리(imagery)를 시뮬레이션하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0011] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0012] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출구 빔들을 도시한다.
[0013] 도 6은 도파관 장치, 도파관 장치로 또는 이로부터 광을 광학적으로 커플링하기 위한 광학 커플러 서브시스템, 및 멀티-포컬 볼류메트릭(multi-focal volumetric) 디스플레이, 이미지 또는 광 필드의 생성에 사용되는 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략도이다.
[0014] 도 7은 웨어러블 시스템의 예의 블록도이다.
[0015] 도 8은 인지된 객체들에 관한 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0016] 도 9는 웨어러블 시스템의 다른 예의 블록도이다.
[0017] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하기 위한 방법의 예의 프로세스 흐름도이다.
[0018] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법의 예의 프로세스 흐름도이다.
[0019] 도 12는 FOV(field of view)의 가상 객체들 및 FOR(field of regard)의 가상 객체들의 예를 예시한다.
[0020] 도 13a는 사용자 입력 디바이스의 터치 스크린상에서 터치 제스처로 상호작용가능 객체를 선택하는 예를 예시한다.
[0021] 도 13b는 사용자 입력 디바이스 상에서 손 제스처들로 선택가능 객체들을 필터링하는 예를 예시한다.
[0022] 도 14는 머리 포즈들에 대한 좌표 시스템의 예이다.
[0023] 도 15는 머리 포즈들로 상호작용 객체들과 상호작용하는 예를 예시한다.
[0024] 도 16은 손 제스처들로 상호작용 객체들과 상호작용하는 예를 예시한다.
[0025] 도 17은 기상 애플리케이션과의 예시적인 상호작용 이벤트를 예시한다.
[0026] 도 18은 3D 가상 객체와 상호작용하는 예시적인 사용자 경험을 예시한다.
[0027] 도 19는 사용자 입력 디바이스 상에서 포즈들과 손 제스처들의 조합을 사용하여 가상 객체를 선택하기 위한 예시적인 프로세스를 예시한다.
[0028] 도 20은 사용자 입력 디바이스 상에서 포즈들과 손 제스처들의 조합을 사용하여 가상 객체와 상호작용하기 위한 예시적인 프로세스를 예시한다.
[0029] 도 21은 맥락 관련 정보에 기반하여 머리 포즈로부터 손 제스처로 입력 제어를 스위칭하기 위한 예시적인 프로세스를 예시한다.
[0030] 도 22는 맥락 관련 정보에 기반하여 사용자 상호작용 모드를 스위칭하기 위한 예시적인 프로세스를 예시한다.
[0031] 도 23은 가상 객체들의 그룹을 포함하는 상호작용가능 객체와 상호작용하는 예시적인 프로세스를 예시한다.
[0032] 도면들 전반에 걸쳐, 참조 번호들은 참조된 엘리먼트들 간의 대응을 표시하는데 다시-사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되고 본 개시내용의 범위를 제한하도록 의도되지 않는다.
개요
[0033] AR/VR/MR 디바이스들의 사용으로, 사용자는 가상 사용자 인터페이스를 사용하여 3차원(3D) 공간의 객체를 타겟팅하고 선택하길 원할 수 있다. 예컨대, 사용자는 아이템들에 물리적으로 접근하는 것, 잡는 것, 또는 터치하는 것과 같은 몸 포즈들을 사용하여 가상 객체를 선택할 수 있다. 사용자는 또한 가상 광선들 또는 빔들로 객체들을 겨누어 클릭함으로써 가상 객체를 선택할 수 있다. 그러나, 이들 기법들은 피로를 유발할 수 있고 정밀하게 객체들을 선택하기에 어려울 수 있는데, 왜냐하면 사용자는 선택을 달성하기 위해 자신의 포즈를 계속 유지하도록 요구받을 수 있기 때문이다.
[0034] 본 개시내용은 이들 문제들 중 일부 또는 모두를 처리하는 웨어러블 시스템들의 예들을 제공한다. 일 예로서, 사용자는 그의 머리를 이동하여 객체들의 그룹 쪽을 볼 수 있다. 사용자의 FOV(field of view)의 중심에 가장 가까운 객체는 잠재적인 타겟 객체로서 하이라이트(highlight)될 수 있고, 그리고 사용자는 하나의 객체로부터 다른 객체로 하이라이트를 이동시키기 위해 (예컨대, 터치스크린 상에서 스와이핑(swiping)함으로써) 사용자 입력 디바이스를 작동시킬 수 있다. 사용자는 사용자 입력 디바이스를 다시 작동시킴으로써(예컨대, 터치스크린을 터치함으로써) 타겟 객체의 선택을 확인할 수 있다. 일단 선택되면, AR 사용자 인터페이스는 사용자가 선택된 타겟 객체에 대해 부가적인 액션들을 수행(예컨대, 객체와 연관된 메뉴로부터 디스플레이 또는 선택, 타겟 객체가 보이는 게임과 연관된 액션을 수행 등)하도록 허용할 수 있다. 이 기법은 피로를 감소시키면서 사용자가 관심이 있는 객체들을 선택하는데 특히 유리할 수 있다. 이는, 머리 포즈들이 정밀하게 제어되기 어렵기 때문이다. 웨어러블 시스템은 사용자의 머리 포즈에 기반하여 관심 객체를 미리 식별하고, 그동안에 사용자가 손 제스처들을 사용하여 정밀하게 객체들을 선택하도록 할 수 있다.
[0035] 일부 구현들에서, 상호작용가능 객체는 다수의 가상 객체들을 포함할 수 있다. 예컨대, 가상 사용자 인터페이스 평면은 다수의 가상 애플리케이션들, 이를테면, 예컨대 비디오 스트리밍 애플리케이션, 가상 교실 애플리케이션, 기상 애플리케이션, 게임 애플리케이션, 천문학 애플리케이션 등을 포함할 수 있다. 웨어러블 시스템은 상호작용가능 객체의 특성들에 기반하여 상이한 사용자 입력 모드들을 지원할 수 있다. 예컨대, 상호작용가능 객체가 사용자 인터페이스 평면(크기가 클 수 있음)일 때, 웨어러블 시스템은 사용자가 포즈들을 사용하여 사용자 인터페이스 평면과 상호작용하도록 할 수 있다. 다른 한편, 상호작용가능 객체가 비교적 작을 때, 웨어러블 시스템은 대신에 사용자 입력 디바이스를 디폴트 입력 모드로 세팅하여 사용자가 가상 객체들과 정밀하게 상호작용하도록 할 수 있다. 이들 구현들은 유리할 수 있는데, 왜냐하면 큰 객체들을 이동시키고 타겟팅하는 것은 사용자의 움직임에 대해 더 작은 정밀도를 요구할 수 있는 반면 작은 객체들을 이동시키고 선택하는 것은 사용자가 정밀하게 타겟팅할 것을 요구할 수 있기 때문이다.
[0036] 웨어러블 시스템은 또한 맥락 관련 정보에 기반하여 사용자 입력 모드를 결정할 수 있다. 예컨대, 웨어러블 시스템은 사용자의 환경에서 가상 객체들의 레이아웃을 결정할 수 있다. 웨어러블 시스템이 사용자의 응시 방향에서 가상 객체들의 조밀한 클러스터를 검출할 때, 웨어러블 시스템은 머리 제어로부터 손 제어로 입력 제어를 스위칭하기 위한 옵션을 사용자에게 제공할 수 있다. 이런 방식으로, 사용자는 더 정밀하게 가상 객체와 상호작용할 수 있다. 다른 예로서, AR 시스템은 객체의 배향(예컨대, 수직 또는 수평)을 검출하고 사용자에 적합한 상호작용들(예컨대, 사용자의 앞에서 수직하게 보이는 텔레비전 애플리케이션에 대한 볼륨 제어 또는 사용자의 데스크 상에서 수평하게 보이는 가상 키보드에 대한 타이핑 제어)을 제공할 수 있다.
[0037] 웨어러블 시스템은 예컨대 네트워크를 통해 웨어러블 시스템들 간에 사용자의 환경의 세계 지도를 패스하거나 가상 콘텐츠(또는 가상 콘텐츠에 대한 업데이트들)를 통신함으로써 사용자가 (웨어러블 시스템을 또한 착용한) 다른 사용자들과 가상 콘텐츠를 공유하도록 할 수 있다.
3D 디스플레이의 예들
[0038] 도 1은 사람이 보는 특정 가상 현실 객체들, 및 특정 물리적 객체들을 가진 혼합 현실 시나리오의 예시를 도시한다. 도 1에서, MR 장면(100)이 도시되는데, 여기서 MR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 특징으로 하는 실제-세계 공원형 세팅(110)을 본다. 이들 아이템들 외에도, MR 기술의 사용자는 또한, 그가 실제-세계 플랫폼(120) 상에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보이는 날고 있는 만화형 아바타 캐릭터(140)를 "보는" 것을 인지하지만, 이들 엘리먼트들은 실제 세계에 존재하지 않는다.
[0039] 3D 디스플레이가 진정한 깊이 감각(true sensation of depth)을 생성하고, 보다 상세하게는 시뮬레이션된 표면 깊이 감각(simulated sensation of surface depth)을 생성하도록 하기 위해, 디스플레이의 시각적 필드 내 각각의 포인트가 그 가상 깊이에 대응하는 원근조절 응답을 생성하는 것이 바람직할 수 있다. 디스플레이 포인트에 대한 원근조절 응답이 그 포인트의 가상 깊이에 대응하지 않으면, 수렴 및 입체 영상의 쌍안 깊이 큐에 의해 결정된 바와 같이, 인간 눈은 원근조절 충돌을 경험할 수 있고, 이는 불안정한 이미징, 해로운 눈 피로감, 두통들, 및 원근조절 정보의 부재시, 거의 표면 깊이의 완전한 결핍을 초래한다.
[0040] VR, AR 및 MR 경험들은, 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이들을 가진 디스플레이 시스템들에 의해 제공될 수 있다. 이미지들은 각각의 깊이 평면에 대해 상이할 수 있고(예컨대, 장면 또는 객체의 약간 상이한 프리젠테이션들을 제공함) 그리고 뷰어의 눈들에 의해 별개로 포커싱될 수 있고, 이에 의해 상이한 깊이 평면에 위치된 장면에 대해 상이한 이미지 피처들을 포커싱하게 하도록 요구받은 눈의 원근조절에 기반하거나 또는 포커싱되지 않은 상이한 깊이 평면들 상의 상이한 이미지 피처들을 관찰하는 것에 기반하여 사용자에게 깊이 큐를 제공하는 것을 돕는다. 본원의 다른 곳에서 논의된 바와 같이, 그런 깊이 큐들은 신뢰성 있는 지각 깊이를 제공한다.
[0041] 도 2는 웨어러블 시스템(200)의 예를 예시한다. 웨어러블 시스템(200)은 디스플레이(220), 및 디스플레이(220)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(220)는 사용자, 착용자, 또는 뷰어(210)가 착용할 수 있는, 프레임(230)에 커플링될 수 있다. 디스플레이(220)는 사용자(210)의 눈들 앞에 포지셔닝될 수 있다. 디스플레이(220)는 사용자에게 AR/VR/MR 콘텐츠를 제시할 수 있다. 디스플레이(220)는 사용자의 머리 상에 착용되는 HMD(head mounted display)를 포함할 수 있다. 일부 실시예들에서는, 스피커(240)가 프레임(230)에 커플링되고 사용자의 외이도(ear canal)에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화 가능 사운드 제어를 제공한다).
[0042] 웨어러블 시스템(200)은 사용자 주위의 환경에 있는 세계를 관찰하는 외향-대면 이미징 시스템(464)(도 4에 도시됨)을 포함할 수 있다. 웨어러블 시스템(200)은, 사용자의 눈 움직임들을 추적할 수 있는 내향-대면 이미징 시스템(462)(도 4에 도시됨)을 또한 포함할 수 있다. 내향-대면 이미징 시스템은 어느 하나의 눈의 움직임들 또는 둘 모두의 눈들의 움직임들을 추적할 수 있다. 내향-대면 이미징 시스템(462)은 프레임(230)에 어태치될 수 있고 내향-대면 이미징 시스템에 의해 획득된 이미지 정보를 프로세싱하여, 예컨대, 사용자(210)의 눈들의 동공 직경들 또는 배향들, 눈 움직임들, 또는 눈 포즈를 결정할 수 있는 프로세싱 모듈들(260 또는 270)과 전기 통신할 수 있다.
[0043] 예로서, 웨어러블 시스템(200)은 외향-대면 이미징 시스템(464) 또는 내향-대면 이미징 시스템(462)을 이용하여 사용자의 포즈의 이미지들을 획득할 수 있다. 이미지들은 스틸 이미지들, 비디오의 프레임들, 또는 비디오, 이들의 조합 등일 수 있다.
[0044] 디스플레이(220)는, 이를테면 프레임(230)에 고정적으로 어태치되거나, 사용자에 의해 착용되는 헬멧 또는 모자에 고정적으로 어태치되거나, 헤드폰들에 임베딩되거나, 또는 사용자(210)에 다른 방식으로(예컨대, 백팩(backpack) 스타일 구성으로, 벨트-커플링 스타일 구성으로) 분리 가능하게 어태치되는 다양한 구성들로 장착될 수 있는 로컬 데이터 프로세싱 모듈(260)에, 이를테면 유선 또는 무선 연결성에 의해, 동작가능하게 커플링(250)될 수 있다.
[0045] 로컬 프로세싱 및 데이터 모듈(260)은, 비휘발성 메모리(예컨대, 플래시 메모리)와 같은 디지털 메모리뿐만 아니라, 하드웨어 프로세서를 포함할 수 있으며, 이들 모두는 데이터의 저장, 캐싱, 및 프로세싱을 보조하기 위해 활용될 수 있다. 데이터는, a) (예컨대, 프레임(230)에 동작가능하게 커플링되거나 다른 방식으로 사용자(210)에 어태치될 수 있는) 센서들, 이를테면, 이미지 캡처 디바이스들(예컨대, 내향-대면 이미징 시스템 또는 외향-대면 이미징 시스템의 카메라들), 마이크로폰들, IMU(inertial measurement unit)들, 가속도계들, 나침반들, GPS(Global Positioning System) 유닛들, 라디오 디바이스들 또는 자이로스코프들로부터 캡처된; 또는 b) 원격 프로세싱 모듈(270) 또는 원격 데이터 저장소(280)를 이용하여, 가능하게는 그러한 프로세싱 또는 검색 이후에 디스플레이(220)로의 전달을 위해, 획득 또는 프로세싱된 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(260)은 통신 링크들(262 또는 264)에 의해, 이를테면 유선 또는 무선 통신 링크들을 통해 원격 프로세싱 모듈(270) 또는 원격 데이터 저장소(280)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들이 로컬 프로세싱 및 데이터 모듈(260)에 대해 자원들로서 이용 가능하다. 또한, 원격 프로세싱 모듈(280) 및 원격 데이터 저장소(280)는 서로 동작가능하게 커플링될 수 있다.
[0046] 일부 실시예들에서, 원격 프로세싱 모듈(270)은 데이터 및/또는 이미지 정보를 분석하고 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(280)는 디지털 데이터 스토리지 설비를 포함할 수 있고, 이는 "클라우드" 자원 구성으로 인터넷 또는 다른 네트워킹 구성을 통해 이용 가능할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0047] 인간 시각적 시스템은 복잡하게 되고 현실적인 깊이 지각을 제공하는 것은 난제이다. 이론에 의해 제한됨이 없이, 객체의 뷰어들은 수렴(vergence) 및 원근조절의 조합으로 인해 객체를 3차원인 것으로서 인식할 수 있다. 두 눈들의 서로에 대한 수렴 움직임들(즉, 객체를 응시하기 위해 눈들의 시선들을 수렴시키도록 서로 쪽으로 또는 서로로부터 멀리 동공들의 롤링 움직임들)은 눈들의 레즈들의 포커싱(또는 "원근조절")과 밀접하게 연관된다. 노멀 조건들 하에서, 한 객체로부터 상이한 거리에 있는 다른 객체로 포커스를 변경시키기 위하여, 눈들의 렌즈들의 포커스를 변경시키거나 또는 눈들을 원근조절하는 것은 "원근조절-수렴 반사"로 알려진 관계 하에서, 동일한 거리에 대한 수렴의 매칭 변경을 자동적으로 야기할 것이다. 마찬가지로, 수렴의 변경은 노멀 조건들 하에서, 원근조절에서의 매칭 변경을 트리거할 것이다. 원근조절과 수렴 간의 더 나은 매칭을 제공하는 디스플레이 시스템들은 더 현실적이고 편리한 3차원 이미저리 시뮬레이션들을 형성할 수 있다.
[0048] 도 3은 다수의 깊이 평면들을 이용하여 3차원 이미저리를 시뮬레이션하기 위한 접근법의 양상들을 예시한다. 도 3을 참조하면, z-축 상에서 눈들(302 및 304)로부터 다양한 거리들에 있는 객체들은 이들 객체들이 포커스에 있도록 눈들(302 및 304)에 의해 원근조절된다. 눈들(302 및 304)은 z-축을 따라 상이한 거리들에 있는 객체들을 포커스에 두기 위해 특정 원근조절 상태들을 가정한다. 결과적으로, 특정 원근조절 상태는, 눈이 해당 깊이 평면에 대한 원근조절 상태에 있을 때, 특정 깊이 평면 내의 객체들 또는 객체들의 일부들이 포커스에 있도록, 연관된 포커스 거리를 갖는 깊이 평면들(306) 중 특정 하나와 연관된다고 여겨질 수 있다. 일부 실시예들에서, 3차원 이미저리는 눈들(302 및 304) 각각에 대한 이미지의 상이한 프리젠테이션들을 제공함으로써, 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이션될 수 있다. 예시의 명확성을 위해 별개로 도시되어 있으나, 눈들(302 및 304)의 시야들은, 예컨대, z-축을 따른 거리가 증가할수록 겹쳐질 수 있다는 것을 인식할 것이다. 게다가, 예시의 용이함을 위해 편평하게 도시되어 있지만, 깊이 평면의 윤곽들은 물리적 공간에서 곡선형일 수 있어서, 깊이 평면의 모든 피처들이 특정 원근조절 상태에서 눈에 포커스를 맞출 수 있음을 이해할 것이다. 이론에 제한되지 않고, 인간의 눈은 전형적으로 깊이 지각을 제공하기 위해 유한적인 수의 깊이 평면들을 해석할 수 있다고 믿어진다. 결과적으로, 인지된 깊이의 매우 믿을만한 시뮬레이션은 이들 한정된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 눈에 제공함으로써 달성될 수 있다.
도파관 스택 어셈블리
[0049] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 웨어러블 시스템(400)은 복수의 도파관들(432b, 434b, 436b, 438b, 400b)을 사용하여 눈/뇌에 3차원 지각을 제공하기 위해 활용될 수 있는 도파관들 스택 또는 스택된 도파관 어셈블리(480)를 포함한다. 일부 실시예들에서, 웨어러블 시스템(400)은 도 2의 웨어러블 시스템(200)에 대응할 수 있으며, 도 4는 그 웨어러블 시스템(200)의 일부 부분들을 개략적으로 더욱 자세하게 도시한다. 예컨대, 일부 실시예들에서, 도파관 어셈블리(480)는 도 2의 디스플레이(220)로 통합될 수 있다.
[0050] 도 4를 계속 참조하면, 도파관 어셈블리(480)는 도파관들 사이에 복수의 피처들(458, 456, 454, 452)을 또한 포함할 수 있다. 일부 실시예들에서, 피처들(458, 456, 454, 452)은 렌즈들일 수 있다. 다른 실시예들에서, 피처들(458, 456, 454, 452)은 렌즈들이 아닐 수 있다. 오히려, 이들은 단순히 스페이서들(예컨대, 클래딩 층들 및/또는 공기 갭들을 형성하기 위한 구조들)일 수 있다.
[0051] 도파관들(432b, 434b, 436b, 438b, 440b) 또는 복수의 렌즈들(458, 456, 454, 452)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 눈에 이미지 정보를 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고, 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 도파관들(440b, 438b, 436b, 434b, 432b)에 이미지 정보를 주입하는데 이용될 수 있으며, 이들 각각은 인입 광을 각각의 개개의 도파관을 통해 분산시켜 눈(410) 쪽으로 출력하도록 구성될 수 있다. 광은 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 출력 표면을 퇴장하여 도파관들(440b, 438b, 436b, 434b, 432b)의 대응하는 입력 에지에 주입된다. 일부 실시예들에서, 단일 광 빔(예컨대, 시준된 빔)은 각각의 도파관에 주입되어, 특정 도파관에 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(410) 쪽으로 지향되는 복제된 시준된 빔들의 전체 필드를 출력할 수 있다.
[0052] 일부 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)는 대응하는 도파관(440b, 438b, 436b, 434b, 432b)으로 각각 주입하기 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 예컨대, 하나 또는 그 초과의 광학 도관들 (이를테면, 광섬유 케이블들)을 통해 이미지 정보를 각각의 이미지 주입 디바이스들(420, 422, 424, 426, 428)로 송신할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다.
[0053] 제어기(460)는 스택된 도파관 어셈블리(480) 및 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 동작을 제어한다. 제어기(460)는 도파관들(440b, 438b, 436b, 434b, 432b)로의 이미지 정보의 타이밍 및 제공을 조정하는 프로그래밍(예컨대, 비-일시적 컴퓨터-판독가능 매체에서의 명령들)을 포함한다. 일부 실시예들에서, 제어기(460)는 단일 일체형 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산형 시스템일 수 있다. 제어기(460)는 일부 실시예들에서 프로세싱 모듈들(260 또는 270)(도 2에 예시됨)의 부분일 수 있다.
[0054] 도파관들(440b, 438b, 436b, 434b, 432b)은 각각의 개개의 도파관 내에서 내부 전반사(TIR)에 의해 광을 전파하도록 구성될 수 있다. 도파관들(440b, 438b, 436b, 434b, 432b) 각각은, 주요 최상부 및 최하부 표면들 및 그들 주요 최상부 및 최하부 표면들 사이에서 연장하는 에지들을 가지면서, 평면이거나 또는 다른 형상(예컨대, 곡선형)을 각각이 가질 수 있다. 예시된 구성에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 이미지 정보를 눈(410)으로 출력하기 위해 각각의 개개의 도파관 내에서 전파하는 광을 도파관 밖으로 재지향시킴으로써, 도파관 밖에서 광을 추출하도록 구성되는 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)을 각각을 포함할 수 있다. 추출된 광은 아웃커플링된 광이라고 또한 지칭될 수 있고, 광 추출 광학 엘리먼트들은 아웃커플링 광학 엘리먼트들이라고 또한 지칭될 수 있다. 추출된 광 빔이 도파관 내에서 전파하는 광이 광 재지향 엘리먼트를 때리는 위치들에서 도파관에 의해 출력된다. 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은, 예컨대, 반사 및/또는 회절성 광학 피처들일 수 있다. 설명을 용이하게 하기 위해 그리고 도면의 명료함을 위해 도파관들(440b, 438b, 436b, 434b, 432b)의 최하부 주요 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 최상부 및/또는 최하부 주요 표면들에 배치될 수 있거나 도파관들(440b, 438b, 436b, 434b, 432b)의 볼륨 내에 직접적으로 배치될 수 있다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 도파관들(440b, 438b, 436b, 434b, 432b)을 형성하기 위해 투명 기판에 어태치되는 재료의 층으로 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 모놀리식 재료 피스일 수 있고 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 그 재료 피스의 표면 상에 또는 그 내부에 형성될 수 있다.
[0055] 도 4를 계속 참조하면, 본원에서 논의되는 바와 같이, 각각의 도파관(440b, 438b, 436b, 434b, 432b)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(432b)은 이러한 도파관(432b)에 주입된 바와 같은 시준된 광을 눈(410)으로 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 대표할 수 있다. 다음 상부 도파관(next waveguide up)(434b)은 눈(410)에 도달할 수 있기 전에 제1 렌즈(452)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 전송하도록 구성될 수 있다. 제1 렌즈(452)가 해당 다음 상부 도파관(434b)으로부터 나오는 광을 광학 무한대로부터 눈(410) 쪽으로 내부로 더 가까운 제1 초점 평면으로부터 나오는 것으로서 눈/뇌가 해석하도록 약간의 볼록 파면 곡률을 생성하도록 구성될 수 있다. 유사하게, 제3 상부 도파관(436b)은 자신의 출력 광을 눈(410)에 도달하기 전에 제1 렌즈(452) 및 제2 렌즈(454) 둘 모두를 통해 전달한다. 제1 및 제2 렌즈들(452 및 454)의 결합된 광학 전력은 제3 도파관(436b)으로부터 나오는 광을 다음 상부 도파관(434b)으로부터의 광보다 광학 무한대로부터 사람 쪽으로 내부로 훨씬 더 가까운 제2 초점 평면으로부터 나오는 것으로 눈/뇌가 해석하도록 다른 파면 곡률 증분량을 생성하도록 구성될 수 있다.
[0056] 다른 도파관 층들(예컨대, 도파관들(438b, 440b)) 및 렌즈들(예컨대, 렌즈들(456, 458))은, 사람에게 가장 가까운 초점 평면을 대표하는 어그리게이트 초점 전력(aggregate focal power)을 위해 자신과 눈 사이의 렌즈들의 모두를 통해 자신의 출력을 전송하는 스택에서의 가장 높은 도파관(440b)으로 유사하게 구성된다. 스택된 도파관 어셈블리(480)의 다른 측에서 세계(470)로부터 나오는 광을 보고/해석할 때 렌즈들(458, 456, 454, 452)의 스택을 보상하기 위해, 보상 렌즈 층(430)이 아래의 렌즈 스택(458, 456, 454, 452)의 어그리게이트 전력을 보상하기 위해 그 스택의 최상부에 배치될 수 있다. 그런 구성은 이용가능한 도파관/렌즈 페어링들이 존재하는 만큼 많은 인지되는 초점 평면들을 제공한다. 도파관들의 광 추출 광학 엘리먼트들 및 렌즈들의 포커싱 양상들 둘 모두는 정적(예컨대, 비 동적 또는 전기-활성)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두가 전기-활성 피처들을 사용하여 동적일 수 있다.
[0057] 도 4를 계속 참조하면, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 자신들 개개의 도파관들 밖으로 광을 재지향시킬 뿐만 아니라, 도파관과 연관된 특정 깊이 평면에 대해 적합한 발산 또는 시준 양으로 이 광을 출력하도록 구성될 수 있다. 결과적으로, 상이한 연관된 깊이 평면들을 갖는 도파관들은, 연관된 깊이 평면에 의존하는 상이한 발산 양으로 광을 출력하는, 상이한 구성들의 광 추출 광학 엘리먼트들을 가질 수 있다. 일부 실시예들에서, 본원에서 논의되는 바와 같이, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭 또는 표면 피처들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 광 추출 광학 엘리먼트들, 이를테면 회절 격자들은, 2015년 6월 25일자로 공개된 미국 특허 공보 제2015/0178939호에서 설명되며, 이 공보는 그 전체가 인용에 의해 본원에 통합된다.
[0058] 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 회절 패턴을 형성하는 회절 피처들, 또는 "회절성 광학 엘리먼트"(본원에서 또한 "DOE"라고 지칭됨)이다. 바람직하게는, DOE들은 빔의 광의 단지 일부분만이 DOE의 각각의 교차지점에서 눈(410) 쪽으로 편향되는 반면에, 나머지는 내부 전반사를 통하여 도파관을 통해 계속 이동하도록 상대적으로 낮은 회절 효율을 가진다. 따라서, 이미지 정보를 반송하는 광은 다수의 위치들에서 도파관을 퇴장하는 다수의 관련된 출구 빔들로 분할되고, 그 결과는 도파관 내에서 주위로 바운싱하는 이러한 특정 시준된 빔에 대해 눈(304) 쪽으로 상당히 균일한 패턴의 출구 방사이다.
[0059] 일부 실시예들에서, 하나 또는 그 초과의 DOE들은 그들이 활발히 회절시키는 "온" 상태와 그들이 크게 회절시키지 않는 "오프" 상태 사이에서 스위칭 가능할 수 있다. 예컨대, 스위치 가능 DOE가, 미세액적들이 호스트 매체에 회절 패턴을 포함하고, 미세액적들의 굴절률이 호스트 재료의 굴절률과 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우 패턴은 입사 광을 눈에 띄게 회절시키지 않음) 또는 미세액적이 호스트 매체의 굴절률과 매칭하지 않는 굴절률로 스위칭될 수 있는(이 경우 패턴은 입사광을 활발히 회절시킴) 폴리머 분산된 액정의 층을 포함할 수 있다.
[0060] 일부 실시예들에서, 깊이 평면들의 수 및 분포 및/또는 필드 깊이는 동공 크기들 및/또는 뷰어의 눈들의 배향들에 기반하여 동적으로 변경될 수 있다. 필드 깊이는 뷰어의 동공 크기와는 반비례하게 변경될 수 있다. 결과적으로, 뷰어의 눈들의 동공들의 크기들이 감소함에 따라, 평면의 위치가 눈의 포커스의 깊이를 넘어서기 때문에 구별될 수 없는 하나의 평면이 구별될 수 있고 동공 크기의 감소로 포커스에서 더 많이 나타나고 필드 깊이에서의 증가에 부합하도록 필드 깊이는 증가한다. 마찬가지로, 상이한 이미지들을 뷰어에게 제시하는데 사용되는 이격된 깊이 평면들의 수는 동공 크기 감소에 따라 감소될 수 있다. 예컨대, 하나의 깊이 평면으로부터 그리고 다른 깊이 평면으로 멀어지게 눈의 원근 조절을 조정하지 않고서, 하나의 동공 크기에서 제1 깊이 평면 및 제2 깊이 평면 둘 모두의 세부사항들을 뷰어가 명백하게 인지하지 못할 수 있다. 그러나 이들 2 개의 깊이 평면들은, 원근 조절을 변경하지 않고서 다른 동공 크기에서 사용자에게 동시에 충분히 포커스가 맞을 수 있다.
[0061] 일부 실시예들에서, 디스플레이 시스템은 동공 크기 또는 배향의 결정들에, 또는 특정 동공 크기들 또는 배향을 표시하는 전기 신호들을 수신하는 것에 기반하여 이미지 정보를 수신하는 도파관들의 수를 변경할 수 있다. 예컨대, 사용자의 눈들이 두 개의 도파관들과 연관된 두 개의 깊이 평면들 간을 구별할 수 없다면, 제어기(460)는 이들 도파관들 중 하나의 도파관에 이미지 정보를 제공하는 것을 중단하도록 구성 또는 프로그래밍될 수 있다. 유리하게, 이는 시스템 상의 프로세싱 부담을 감소시킴으로써, 시스템의 반응성을 증가시킬 수 있다. 도파관을 위한 DOE들이 온 및 오프 상태들 사이에서 스위칭 가능한 실시예들에서, 도파관이 이미지 정보를 수신할 때 DOE들은 오프 상태로 스위칭될 수 있다.
[0062] 일부 실시예들에서, 뷰어의 눈의 직경 미만인 직경을 갖는다는 조건을 충족시키는 출구 빔을 가지는 것이 바람직할 수 있다. 그러나 이 조건을 충족시키는 것은 뷰어의 동공들의 크기에서의 가변성의 측면에서 난제일 수 있다. 일부 실시예들에서, 이 조건은 뷰어의 동공의 크기의 결정들에 대한 응답으로 출구 빔의 크기를 변경함으로써 넓은 범위의 동공 크기들에 걸쳐 충족된다. 예컨대, 동공 크기가 감소함에 따라, 출구 빔의 크기는 또한 감소할 수 있다. 일부 실시예들에서, 출구 빔 크기는 가변적인 애퍼처를 사용하여 변경될 수 있다.
[0063] 웨어러블 시스템(400)은 세계(470)의 일부분을 이미징하는 외향-대면 이미징 시스템(464)(예컨대, 디지털 카메라)을 포함할 수 있다. 세계(470)의 이 일부분은 FOV(field of view)로 지칭될 수 있으며, 이미징 시스템(464)은 FOV 카메라로 때때로 지칭된다. 뷰어가 보거나 이미징하는데 이용가능한 전체 지역은 FOR(field of regard)로 지칭될 수 있다. FOR은 웨어러블 시스템(400) 주변의 입체 각도의 4π 스테라디안들을 포함할 수 있는데, 왜냐하면 착용자가 공간에서 실질적으로 임의의 방향으로 인지하기 위해 자신의 몸, 머리, 또는 눈들을 이동할 수 있기 때문이다. 다른 맥락들에서, 착용자의 움직임들은 더욱 제약될 수 있으며, 그에 따라서 착용자의 FOR은 더 작은 입체 각도를 정할 수 있다. 외향-대면 이미징 시스템(464)으로부터 획득된 이미지들은, 사용자에 의해 만들어진 제스처들(예컨대, 손 또는 손가락 제스처들)을 추적하는 것, 사용자 앞의 세계(470) 내의 객체들을 검출하는 것 등에 사용될 수 있다.
[0064] 웨어러블 시스템(400)은 또한, 사용자의 움직임들, 이를테면 눈 움직임들 및 안면 움직임들을 관찰하는 내향-대면 이미징 시스템(466)(예컨대, 디지털 카메라)을 포함할 수 있다. 내향-대면 이미징 시스템(466)은, 눈(304)의 동공의 크기 및/또는 배향을 결정하기 위해 눈(410)의 이미지들을 캡처하는 데 사용될 수 있다. 내향-대면 이미징 시스템(466)은, 사용자가 보고 있는 방향(예컨대, 눈 포즈)을 결정할 때 사용하기 위한 또는 (예컨대, 홍채 식별을 통해) 사용자의 바이오메트릭 식별을 위한 이미지들을 획득하는 데 사용될 수 있다. 일부 실시예들에서, 독립적으로 각각의 눈의 동공 크기 또는 눈 포즈를 개별적으로 결정하여서, 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰지도록 하기 위해, 각각의 눈에 적어도 하나의 카메라가 활용될 수 있다. 일부 다른 실시예들에서, (예컨대, 눈들의 쌍마다 단지 단일 카메라를 사용하여) 단지 단일 눈(410)의 동공 직경 또는 배향이 결정되고, 사용자의 눈들 둘 모두에 대해 유사하다고 가정된다. 내향-대면 이미징 시스템(466)에 의해 획득된 이미지들은, 어떤 오디오 또는 시각적 콘텐츠가 사용자에게 제시되어야 하는지를 판단하기 위해 웨어러블 시스템(400)에 의해 사용될 수 있는 사용자의 눈 포즈 또는 기분을 결정하기 위해 분석될 수 있다. 웨어러블 시스템(400)은 또한, 센서들, 이를테면 IMU들, 가속도계들, 자이로스코프들 등을 사용하여 머리 포즈(예컨대, 머리 포지션 또는 머리 배향)를 결정할 수 있다.
[0065] 웨어러블 시스템(400)은 사용자 입력 디바이스(466)를 포함할 수 있으며, 이 입력 디바이스에 의해, 사용자는 제어기(460)에 커맨드들을 입력하여 웨어러블 시스템(400)과 상호 작용할 수 있다. 예컨대, 사용자 입력 디바이스(466)는 트랙패드, 터치스크린, 조이스틱, 다중 DOF(degree-of-freedom) 제어기, 용량성 감지 디바이스, 게임 제어기, 키보드, 마우스, 지향성 패드(D-패드), 원드(wand), 햅틱 디바이스, 토템(예컨대, 가상 사용자 입력 디바이스로서 기능함) 등을 포함할 수 있다. 일부 경우들에서, 사용자는 웨어러블 시스템(400)에 입력을 제공하기 위해(예컨대, 웨어러블 시스템(400)에 의해 제공되는 사용자 인터페이스에 사용자 입력을 제공하기 위해) 터치-감지형 입력 디바이스를 누르거나 또는 스와이프하기 위해 손가락(예컨대, 엄지)을 사용할 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)의 사용 동안 사용자의 손에 의해 유지될 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)과 유선 또는 무선 통신할 수 있다.
[0066] 도 5는 도파관에 의해 출력된 출구 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(480)가 다수의 도파관들을 포함하는 경우에 도파관 어셈블리(480) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인식될 것이다. 광(520)은 도파관(432b)의 입력 에지(432c)에서 도파관(432b)에 주입되고, TIR에 의해 도파관(432b) 내에서 전파한다. 광(520)이 DOE(432a)에 충돌하는 포인트들에서, 광의 일부분이 출구 빔들(510)로서 도파관을 퇴장한다. 출구 빔들(510)은 실질적으로 병렬로서 예시되지만, 이들은 또한, 도파관(432b)과 연관된 깊이 평면에 따라, (예컨대, 발산 출구 빔들을 형성하는) 각도로 눈(410)으로 전파하도록 재지향될 수 있다. 실질적으로 병렬의 출구 빔들이, 광을 아풋커플링하여 눈(410)으로부터 먼 거리(예컨대, 광학 무한대)에 있는 깊이 평면 상에 세팅되는 것으로 보이는 이미지를 형성하는 광 추출 광학 엘리먼트들을 갖는 도파관을 표시할 수 있다는 것이 인식될 것이다. 다른 도파관들 또는 광 추출 광학 엘리먼트들의 다른 세트들은, 눈(410)이 망막 상에 초점을 맞추기 위해 더 가까운 거리로 원근조절할 것을 요구하고, 뇌에 의해 광학 무한대보다 눈(410)에 더 가까운 거리로부터의 광으로서 해석될, 더 발산적인 출구 빔 패턴을 출력할 수 있다.
[0067] 도 6은 도파관 장치, 도파관 장치로의 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 멀티-포컬 볼류메트릭 디스플레이, 이미지, 또는 광 필드의 생성에 사용된 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략도이다. 광학 시스템은 도파관 장치, 도파관 장치로의 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함할 수 있다. 광학 시스템은, 멀티-포컬 볼류메트릭, 이미지, 또는 광 필드를 생성하는 데 사용될 수 있다. 광학 시스템은 하나 또는 그 초과의 주 플레이너형 도파관들(632a)(도 6에서는 한 개만이 도시됨), 및 주 도파관들(632a) 중 적어도 일부의 각각과 연관된 하나 또는 그 초과의 DOE들(632b)을 포함할 수 있다. 플레이너형 도파관들(632b)은 도 4를 참조하여 논의된 도파관들(432b, 434b, 436b, 438b, 440b)과 유사할 수 있다. 광학 시스템은, 제1 축(도 6의 뷰에서, 수직 또는 Y-축)을 따라 광을 중계하고 제1 축(예컨대, Y-축)을 따라 광의 유효 출구 동공을 확장시키기 위해 분산 도파관 장치를 이용할 수 있다. 분산 도파관 장치는, 예컨대, 분산 플레이너형 도파관(622b) 및 분산 플레이너형 도파관(622b)과 연관된 적어도 하나의 DOE(622a)(이중 파선으로 예시됨)를 포함할 수 있다. 분산 플레이너형 도파관(622b)은 적어도 일부 관점에 있어, 그와는 상이한 배향을 갖는, 주 플레이너형 도파관(632b)과 유사하거나 또는 동일할 수 있다. 마찬가지로, 적어도 하나의 DOE(622a)는 DOE(632a)와 적어도 일부 관점에 있어 유사하거나 또는 동일할 수 있다. 예컨대, 분산 플레이너형 도파관(622b) 또는 DOE(622a)는 각각 주 플레이너형 도파관(632b) 또는 DOE(632a)와 동일한 재료들로 구성될 수 있다. 도 6에서 도시된 광학 디스플레이 시스템(600)의 실시예들은 도 2에서 도시된 웨어러블 시스템(200)에 통합될 수 있다.
[0068] 중계된 및 출구-동공 확장된 광은 분산 도파관 장치로부터 하나 또는 그 초과의 주 플레이너형 도파관들(632b)로 광학적으로 커플링될 수 있다. 주 플레이너형 도파관(632b)은, 바람직하게 제1 축에 직교하는 제2 축(예컨대, 도 6의 뷰에서, 수평 또는 X-축)을 따라 광을 중계할 수 있다. 특히, 제2 축은 제1 축에 대해 비-직교 축일 수 있다. 주 플레이너형 도파관(632b)은 제2 축(예컨대, X-축)을 따라 광의 유효 출구 동공을 확장시킨다. 예컨대, 분산 플레이너형 도파관(622b)은 수직 또는 Y-축을 따라 광을 중계 및 확장시키며, 그리고 그 광을, 수평 또는 X-축을 따라 광을 중계 및 확장시킬 수 있는 주 플레이너형 도파관(632b)으로 패스할 수 있다.
[0069] 광학 시스템은 단일 모드 광섬유(640)의 근접 단부에 광학적으로 커플링될 수 있는 하나 또는 그 초과의 컬러 광 소스들(예컨대, 적색, 녹색 및 청색 레이저 광)(610)을 포함할 수 있다. 광섬유(640)의 말단 단부는 압전 재료의 중공 튜브(642)를 통해 스레딩되거나 또는 수용될 수 있다. 말단 단부는 튜브(642)로부터 비고정 플렉시블 캔틸레버(644)로서 돌출한다. 압전 튜브(642)는 4개의 쿼드런트 전극들(예시되지 않음)과 연관될 수 있다. 전극들은 예컨대 튜브(642)의 외측, 외부 표면 또는 외부 주변 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한, 튜브(642)의 코어, 중심, 내부 주변 또는 내부 직경에 위치될 수 있다.
[0070] 예컨대 와이어들(660)을 통해 전기적으로 커플링된 구동 전자장치(650)는 2개의 축들에서 압전 튜브(642)를 독립적으로 구부리기 위하여 전극들의 대향 쌍들을 구동한다. 광섬유(644)의 돌출한 말단 팁은 기계적 공진 모드들을 갖는다. 공진 주파수들은 광섬유(644)의 직경, 길이, 및 재료 특성들에 따라 좌우될 수 있다. 섬유 캔틸레버(644)의 제1 기계적 공진 모드 근처에서 압전 튜브(642)를 진동시킴으로써, 섬유 캔틸레버(644)는 진동하게 될 수 있으며, 큰 편향들을 통해 스위프할 수 있다.
[0071] 2개의 축들로 공진 진동을 자극함으로써, 섬유 캔틸레버(644)의 팁은 2D(two-dimensional) 스캔을 필링하는 영역에서 2축 방향으로 스캐닝된다. 섬유 캔틸레버(644)의 스캔과 동시에 광 소스(들)(610)의 강도를 변조함으로써, 섬유 캔틸레버(644)로부터 나오는 광은 이미지를 형성할 수 있다. 이러한 셋업에 대한 설명들은 미국 특허 공보 번호 제2014/0003762호에서 제공되며, 이 특허 공보는 그 전체가 인용에 의해 본원에 통합된다.
[0072] 광학 커플러 서브시스템의 컴포넌트는 스캐닝 섬유 캔틸레버(644)로부터 나오는 광을 시준할 수 있다. 시준된 광은 미러링된 표면(648)에 의해, 적어도 하나의 DOE(diffractive optical element)(622a)를 포함하는 좁은 분산 플레이너형 도파관(622b)으로 반사될 수 있다. 시준된 광은 TIR에 의해 분산 플레이너형 도파관(622b)을 따라(도 6의 뷰에 대해) 수직으로 전파하고, 그렇게 할 때, DOE(622a)와 반복적으로 교차할 수 있다. DOE(622a)는 바람직하게, 낮은 회절 효율을 갖는다. 이는, 광의 일부(예컨대, 10%)로 하여금, DOE(622a)와의 각각의 교차 지점에서 더 큰 주 플레이너형 도파관(632b)의 에지 쪽으로 회절되게 하고, 광의 일부로 하여금, TIR을 통해 분산 플레이너형 도파관(622b)의 길이 아래로 그것의 오리지널 궤적 상에서 계속 진행하게 할 수 있다.
[0073] DOE(622a)와의 각각의 교차 지점에서, 부가적인 광은 주 도파관(632b)의 입구쪽으로 회절될 수 있다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출구 동공은 분산 플레이너형 도파관(622b) 내의 DOE(4)에 의해 수직으로 확장될 수 있다. 분산 플레이너형 도파관(622b) 밖으로 커플링된 이러한 수직으로 확장된 광은 주 플레이너형 도파관(632b)의 에지에 진입될 수 있다.
[0074] 주 도파관(632b)에 진입하는 광은 TIR을 통해 주 도파관(632b)을 따라(도 6의 뷰에 대해) 수평으로 전파될 수 있다. 광은 그것이 TIR을 통해 주 도파관(632b)의 길이의 적어도 일 부분을 따라 수평으로 전파될 때 다수의 포인트들에서 DOE(632a)와 교차한다. DOE(632a)는 선형 회절 패턴 및 방사상 대칭 회절성 패턴의 합인 위상 프로파일을 갖도록 유리하게 설계되거나 또는 구성되어, 광의 편향 및 포커싱 둘 모두를 생성할 수 있다. DOE(632a)는 유리하게 낮은 회절 효율(예컨대, 10%)을 가질 수 있어서, 빔의 광의 오직 일 부분만이 DOE(632a)의 각각의 교차 지점을 갖는 뷰의 눈쪽으로 편향되는 반면, 나머지 광은 TIR을 통하여 주 도파관(632b)을 통해 계속 전파된다.
[0075] 전파 광과 DOE(632a) 간의 각각의 교차 지점에서, 광의 일부는 주 도파관(632b)의 인접 면쪽으로 회절되어, 광이 TIR을 벗어나서 주 도파관(632b)의 면으로부터 나오도록 한다. 일부 실시예들에서, DOE(632a)의 방사상으로 대칭인 회절 패턴은 회절된 광에 포커스 레벨을 부가적으로 부여하여, 설계된 포커스 레벨과 일치하는 각도로 빔을 조종할 뿐만 아니라 개별적인 빔의 광 파면을 성형(예컨대, 파면 곡률을 부여)한다.
[0076] 따라서, 이들 상이한 경로들은 상이한 각도들, 포커스 레벨들로 다수의 DOE(632a)에 의해 그리고/또는 출구 동공에서의 상이한 필 패턴들의 산출에 의해 주 플레이너형 도파관(632b) 밖으로 광이 커플링되게 할 수 있다. 출구 동공에서의 상이한 필 패턴들은 다수의 깊이 평면들을 갖는 라이트 필드 디스플레이를 생성하는 데 유익하게 사용될 수 있다. 도파관 어셈블리의 각각의 층 또는 스택 내의 층들의 세트(예컨대, 3개의 층들)는 개개의 컬러(예컨대, 적색, 청색, 녹색)를 생성하는 데 이용될 수 있다. 따라서, 예컨대, 3개의 인접한 층들의 제1 세트는 제1 초점 깊이에서 적색, 청색 및 녹색 광을 각각 생성하는 데 이용될 수 있다. 3개의 인접한 층들의 제2 세트는 제2 초점 깊이에서 적색, 청색 및 녹색 광을 각각 생성하는 데 이용될 수 있다. 다수의 세트들은 다양한 초점 깊이들을 갖는 풀 3D 또는 4D 컬러 이미지 광 필드를 생성하는 데 이용될 수 있다.
웨어러블 시스템의 다른 컴포넌트들
[0077] 많은 구현예들에서, 웨어러블 시스템은 위에서 설명된 웨어러블 시스템의 컴포넌트들에 부가적으로 또는 대안적으로 다른 컴포넌트들을 포함할 수 있다. 웨어러블 시스템은, 예컨대, 하나 또는 그 초과의 햅틱 디바이스들 또는 컴포넌트들을 포함할 수 있다. 햅틱 디바이스들 또는 컴포넌트들은 사용자에게 촉감을 제공하도록 동작 가능할 수 있다. 예컨대, 햅틱 디바이스들 또는 컴포넌트들은 가상 콘텐츠(예컨대, 가상 객체들, 가상 툴들, 다른 가상 구조들)를 터치할 때 누르기 또는 텍스처의 촉감을 제공할 수 있다. 촉감은 가상 콘텐츠가 나타내는 물리적 객체의 느낌을 모사하거나, 가상 콘텐츠가 나타내는 상상의 객체 또는 캐릭터(예컨대, 용)의 느낌을 모사할 수 있다. 일부 구현예들에서, 햅틱 디바이스들 또는 컴포넌트들(예컨대, 사용자 웨어러블 장갑)은 사용자가 착용할 수 있다. 일부 구현예들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자가 휴대할 수 있다.
[0078] 웨어러블 시스템은, 예컨대, 웨어러블 시스템과의 입력 또는 상호작용을 허용하기 위해 사용자에 의해 조작 가능한 하나 또는 그 초과의 물리적 객체들을 포함할 수 있다. 이들 물리적 객체들은 본원에서 토템들(totems)로 지칭될 수 있다. 일부 토템들은 예컨대, 금속 또는 플라스틱 피스, 벽, 테이블 표면과 같은 무생물 객체들의 형태를 취할 수 있다. 특정 구현들에서, 토템들은 실제로 임의의 물리적 입력 구조들(예컨대, 키들, 트리거들, 조이스틱, 트랙볼, 로커 스위치)을 갖지 않을 수 있다. 대신에, 토템은 단순히 물리 표면을 제공할 수 있으며, 웨어러블 시스템은 사용자에게 토템의 하나 또는 그 초과의 표면들 상에 존재하는 것으로 나타나도록 사용자 인터페이스를 렌더링할 수 있다. 예컨대, 웨어러블 시스템은 토템의 하나 또는 그 초과의 표면들 상에 상주하는 것으로 나타나도록 컴퓨터 키보드 및 트랙패드의 이미지를 렌더링할 수 있다. 예컨대, 웨어러블 시스템은 토템으로서의 역할을 하는 얇은 직사각형 알루미늄 플레이트 표면 상에 나타나도록 가상 컴퓨터 키보드 및 가상 트랙패드를 렌더링할 수 있다. 직사각형 플레이트 자체는 임의의 물리 키들 또는 트랙패드, 또는 센서들을 갖지 않는다. 그러나, 웨어러블 시스템은 가상 키보드 또는 가상 트랙패드를 통해 이루어지는 선택들 또는 입력들로서 직사각형 플레이트와의 사용자 조작 또는 상호작용 또는 터치들을 검출할 수 있다. (도 4에 도시된) 사용자 입력 디바이스(466)는 트랙패드, 터치패드, 트리거, 조이스틱, 트랙볼, 로커 또는 가상 스위치, 마우스, 키보드, 다-자유도 제어기 또는 다른 물리 입력 디바이스를 포함할 수 있는 토템의 일 실시예일 수 있다. 사용자는 토템을 단독으로 또는 포즈들과 조합하여 사용하여 웨어러블 시스템 또는 다른 사용자들과 상호작용할 수 있다.
[0079] 본 개시내용의 웨어러블 디바이스들, HMD 및 디스플레이 시스템들과 함께 사용가능한 햅틱 디바이스들 및 토템들의 예들은, 본원에서 그 전체가 인용에 의해 포함되는 미국 특허 공보 제2015/0016777 호에 설명된다.
예시적 웨어러블 시스템들, 환경들 및 인터페이스들
[0080] 웨어러블 시스템은 렌더링된 광 필드들에서 필드의 높은 깊이를 달성하기 위해 다양한 매핑 관련 기법들을 이용할 수 있다. 가상 세계를 매핑할 때 실제 세계와 관련하여 가상 객체들을 정확하게 묘사하기 위해 실제 세계의 모든 피처들과 포인트들을 아는 것이 유리하다. 이를 위해, 웨어러블 시스템의 사용자들로부터 캡처된 FOV 이미지들은 실제 세계의 다양한 포인트들 및 피처들에 대한 정보를 전달하는 새로운 사진들을 포함시킴으로써 세계 모델에 추가될 수 있다. 예컨대, 웨어러블 시스템은(2D 포인트들 또는 3D 포인트들과 같은) 지도 포인트들의 세트를 수집하고 새로운 지도 포인트들을 찾아 더 정확한 세계 모델 버전을 렌더링할 수 있다. 제1 사용자의 세계 모델은 제2 사용자가 제1 사용자 주변의 세계를 경험할 수 있도록 제2 사용자에게 (예컨대, 클라우드 네트워크와 같은 네트워크를 통해) 통신될 수 있다.
[0081] 도 7은 MR 환경(700)의 일 예의 블록도이다. MR 환경(700)은 하나 또는 그 초과의 사용자 웨어러블 시스템들(예컨대, 웨어러블 시스템(200) 또는 디스플레이 시스템(220)) 또는 고정식 방 시스템들(예컨대, 방 카메라들 등)로부터 입력(예컨대, 사용자의 웨어러블 시스템으로부터의 시각적 입력(702), 방 카메라들과 같은 고정식 입력(704), 다양한 센서들, 제스처들, 토템들, 눈 추적으로부터의 센서리 입력(706), 사용자 입력 디바이스(504)로부터의 사용자 입력 등)을 수신하도록 구성될 수 있다. 웨어러블 시스템들은 사용자의 환경의 위치 및 다양한 다른 속성들을 결정하기 위해 다양한 센서들(예컨대, 가속도계들, 자이로스코프들, 온도 센서들, 움직임 센서들, 깊이 센서들, GPS 센서들, 내향-대면 이미징 시스템, 외향-대면 이미징 시스템 등)을 사용할 수 있다. 이 정보는 상이한 관점에서 이미지들 또는 다양한 큐(cue)들을 제공할 수 있는 방의 고정식 카메라들로부터의 정보로 추가로 보충될 수 있다. (외향-대면 이미징 시스템의 카메라들 및/또는 방 카메라들과 같은) 카메라들에 의해 획득된 이미지 데이터는 매핑 포인트들의 세트로 감소될 수 있다.
[0082] 하나 또는 그 초과의 객체 인지기들(708)은 지도 데이터베이스(710)의 도움으로, 수신된 데이터(예컨대, 포인트들의 수집)를 크롤링(crawling)하고 포인트들을 인지 또는 맵핑하고, 이미지들을 태그하고, 시맨틱 정보를 객체들에 어태치할 수 있다. 지도 데이터베이스(710)는 시간이 지남에 따라 수집된 다양한 포인트들 및 그들의 대응하는 객체들을 포함할 수 있다. 다양한 디바이스들 및 지도 데이터베이스는 클라우드에 액세스하기 위해 네트워크(예컨대, LAN, WAN 등)를 통해 서로 연결될 수 있다.
[0083] 이러한 지도 데이터베이스의 포인트들의 수집 및 정보에 기반하여, 객체 인지기들(708a 내지 708n)은 객체들을 인지하고 객체들을 시맨틱 정보로 보충하여 객체들에 생명을 부여할 수 있다. 예컨대, 만약 객체 인지기가 포인트들의 세트를 문이라고 인지하면, 시스템은 일부 시맨틱 정보(예컨대, 문은 힌지를 가지며 힌지를 중심으로 90도 움직임을 갖는다는 정보)를 어태치할 수 있다. 만약 객체 인지기가 포인트들의 세트를 미러라고 인지하면, 시스템은 미러가 방의 객체들의 이미지들을 반사시킬 수 있는 반사 표면을 갖는다는 시맨틱 정보를 어태치할 수 있다. (로컬로 상주할 수 있거나 또는 무선 네트워크를 통해 액세스가능할 수 있는) 시스템이 세계로부터 더 많은 데이터를 축적하므로, 시간이 지남에 따라 지도 데이터베이스는 증가하게 된다. 일단 객체들이 인지되면, 정보는 하나 또는 그 초과의 웨어러블 시스템들에 전송될 수 있다. 예컨대, MR 환경(700)은 캘리포니아에서 발생하는 장면에 대한 정보를 포함할 수 있다. 환경(700)은 뉴욕의 한 명 또는 그 초과의 사용자들에게 송신될 수 있다. FOV 카메라 및 다른 입력들로부터 수신된 데이터에 기반하여, 객체 인지기들 및 다른 소프트웨어 컴포넌트들은 다양한 이미지들로부터 수집된 포인트들을 맵핑하고, 객체들 등을 인지하여 장면이, 세계의 상이한 부분에 있을 수 있는 제2 사용자에게 정확하게 "전달"될 수 있다. 환경(700)은 또한 로컬화를 목적으로 토폴로지형 지도를 사용할 수 있다.
[0084] 도 8은 인지된 객체들과 관련하여 가상 콘텐츠를 렌더링하는 방법(800)의 예의 프로세스 흐름도이다. 방법(800)은 가상 장면이 웨어러블 시스템의 사용자에게 어떻게 표현될 수 있는지를 설명한다. 사용자는 장면으로부터 지리적으로 원격에 있을 수 있다. 예컨대, 사용자는 뉴욕에 있을 수 있지만, 현재 캘리포니아에서 현재 진행되고 있는 장면을 보기를 원하거나 캘리포니아에 거주하는 친구와 산책하기를 원할 수 있다.
[0085] 블록(810)에서, AR 시스템은 사용자 및 다른 사용자들로부터 사용자의 환경에 관한 입력을 수신할 수 있다. 이는, 다양한 입력 디바이스들 및 지도 데이터베이스에서 이미 있는 지식을 통해 달성될 수 있다. 사용자의 FOV 카메라, 센서들, GPS, 눈 추적 등은 블록(810)에서 시스템에 정보를 전달한다. 시스템은 블록(820)에서 이 정보에 기반하여 드문 포인트들을 결정할 수 있다. 드문 포인트들은 사용자 주변들의 다양한 객체들의 배향 및 포지션을 디스플레이하고 이해하는데 사용될 수 있는 포즈 데이터(예컨대, 머리 포즈, 눈 포즈, 몸 포즈 또는 손 제스처들)를 결정하는데 사용될 수 있다. 객체 인지기들(708a-708n)은 블록(830)에서 이러한 수집된 포인트들을 통해 크롤링하고 지도 데이터베이스를 사용하여 하나 또는 그 초과의 객체들을 인지할 수 있다. 이어서, 이 정보는 블록(840)에서 사용자의 개별적인 웨어러블 시스템에 전달될 수 있고, 블록(850)에서 원하는 가상 장면이 그에 따라서 사용자에게 디스플레이될 수 있다. 예컨대, 원하는 가상 장면(예컨대, CA의 사용자)은 뉴욕의 사용자의 다양한 객체들 및 다른 주변들과 관련하여 적절한 배향, 포지션 등에서 디스플레이될 수 있다.
[0086] 도 9는 웨어러블 시스템의 다른 예의 블록 다이어그램이다. 이 예에서, 웨어러블 시스템(900)은 세계에 대한 지도 데이터를 포함할 수 있는 지도를 포함한다. 지도는 부분적으로 웨어러블 시스템 상에 로컬로 상주할 수 있고, (예컨대, 클라우드 시스템에서) 유선 또는 무선 네트워크에 의해 액세스 가능한 네트워크화된 저장 위치들에 부분적으로 상주할 수 있다. 포즈 프로세스(910)는 웨어러블 컴퓨팅 아키텍처(예컨대, 프로세싱 모듈(260) 또는 제어기(460)) 상에서 실행될 수 있고 웨어러블 컴퓨팅 하드웨어 또는 사용자의 포지션 및 배향을 결정하기 위해 지도로부터의 데이터를 활용할 수 있다. 포즈 데이터는 사용자가 시스템을 경험하고 세계에서 동작할 때 즉석에서(on the fly) 수집된 데이터로부터 컴퓨팅될 수 있다. 데이터는 이미지들, (일반적으로 가속도계 및 자이로스코프 컴포넌트들을 포함하는 관성 측정 유닛들과 같은) 센서들로부터의 데이터 및 실제 또는 가상 환경의 객체들과 관련된 표면 정보를 포함할 수 있다.
[0087] 드문 포인트 프리젠테이션은 동시적인 로컬화 및 매핑 (입력이 오직 이미지들/시각적인 구성을 언급하는 SLAM 또는 V-SLAM) 프로세스의 출력일 수 있다. 이 시스템은 세계에서 다양한 컴포넌트들이 있는 곳을 파악할 뿐만 아니라 세계가 무엇으로 구성되었는지를 파악할 수 있도록 구성될 수 있다. 포즈는 지도를 파퓰레이팅하는 것 및 지도로부터의 데이터를 사용하는 것을 포함하여, 많은 목표들을 달성하는 빌딩 블록일 수 있다.
[0088] 일 실시예에서, 드문 포인트 포지션은 그 자체로는 완전히 적절하지는 않을 수 있으며, 멀티포컬 AR, VR 또는 MR 경험을 생성하기 위해 추가 정보가 필요할 수 있다. 일반적으로 깊이 지도 정보를 지칭하는 조밀한 프리젠테이션들이 이 갭을 적어도 부분적으로 필링하기 위해 활용될 수 있다. 이러한 정보는 스테레오(940)로 지칭되는 프로세스로부터 컴퓨팅될 수 있으며, 깊이 정보는 삼각 측량 또는 비행 시간 감지와 같은 기술을 사용하여 결정된다. 이미지 정보 및 (활성 프로젝터들을 사용하여 생성된 적외선 패턴들과 같은) 활성 패턴들은 스테레오 프로세스(940)에 대한 입력으로서의 역할을 할 수 있다. 상당량의 깊이 지도 정보가 함께 융합될 수 있으며, 이 중 일부는 표면 프리젠테이션으로 요약될 수 있다. 예컨대, 수학적으로 정의 가능한 표면들은 (예컨대, 큰 포인트 클라우드와 비교하여) 효율적일 수 있고, 게임 엔진들과 같은 다른 프로세싱 디바이스들로의 처리 가능한 입력들이다. 따라서, 스테레오 프로세스(예컨대, 깊이 지도)(940)의 출력은 융합 프로세스(930)에서 결합될 수 있다. 포즈는 또한 이 융합 프로세스(930)에 대한 입력일 수 있고, 융합(930)의 출력은 지도 프로세스(920)를 파퓰레이팅하는 입력이 된다. 서브-표면들은 지형적 매핑에서와 같이 서로 연결되어 더 큰 표면들을 형성할 수 있으며, 지도는 포인트들 및 표면들의 큰 하이브리드가 된다.
[0089] 혼합 현실 프로세스(960)에서의 다양한 양상들을 해결하기 위해, 다양한 입력들이 활용될 수 있다. 예컨대, 도 9에 도시된 실시예에서, 게임 파라미터들은, 시스템의 사용자가 다양한 위치들에서 하나 또는 그 초과의 몬스터들과 몬스터 전투 게임을 하고 있다는 것을 결정하기 위한 입력들, (사용자가 몬스터를 쏘는 경우와 같이) 다양한 조건들 하에서 죽거나 도망치고 있는 몬스터들, 벽들 또는 다양한 위치들의 다른 객체들 등일 수 있다. 세계 지도는 혼합 현실에 대한 또 다른 가치있는 입력이 될, 그러한 객체들이 서로에 대해 어디에 있는지에 관한 정보를 포함할 수 있다. 세계에 대한 상대적인 포즈는 거의 모든 상호작용 시스템에서 중요한 역할을 할 뿐만 아니라 입력이 된다.
[0090] 사용자로부터의 제어들 또는 입력들은 웨어러블 시스템(900)에 대한 다른 입력이다. 본원에서 설명된 바와 같이, 사용자 입력들은 시각적 입력, 제스처들, 토템들, 오디오 입력, 센서리 입력 등을 포함할 수 있다. 예컨대, 주위를 돌아다니거나 게임을 하기 위해, 사용자는 자신이 하고 싶어하는 것에 관하여 웨어러블 시스템(900)에 지시할 필요가 있을 수 있다. 공간에서 단지 스스로 움직이는 것 외에도 활용될 수 있는 다양한 형태들의 사용자 제어들이 있다. 일 실시예에서, 토템(예컨대, 사용자 입력 디바이스), 또는 장난감 총과 같은 객체는 사용자에 의해 유지되고 시스템에 의해 추적될 수 있다. 시스템은 바람직하게는 사용자가 아이템을 보유하고 있다는 것을 알고 사용자가 아이템과 어떤 종류의 상호 작용을 하고 있는지를 이해하도록 구성될 것이다(예컨대, 토템 또는 객체가 총인 경우, 시스템은 위치 및 배향을 이해하도록 구성될 수 있을 뿐만 아니라 사용자가 IMU와 같은 센서를 구비할 수 있는 트리거 또는 다른 감지식 버튼 또는 엘리먼트를 클릭하고 있는지 여부를 이해하도록 구성될 수 있으며, 이는 이러한 액티비티가 어떤 카메라들의 FOV(field of view)내에도 있지 않을 경우에도 무슨 일이 일어나고 있는지를 결정하는데 도움을 줄 수 있다).
[0091] 손 제스처 추적 또는 인식은 또한 입력 정보를 제공할 수 있다. 웨어러블 시스템(900)은 버튼 누름, 좌측 또는 우측 제스처, 정지, 잡기, 홀드 등을 위한 손 체스처들을 추적하고 해석하도록 구성될 수 있다. 예컨대, 일 구성에서, 사용자는 게임이 아닌 환경에서 이메일들 또는 캘린더를 넘기거나 다른 사람 또는 플레이어와 "피스트 범프"를 하기를 원할 수 있다. 웨어러블 시스템(900)은 동적일 수 있거나 동적이 아닐 수 있는 최소량의 손 제스처를 레버리지하도록 구성될 수 있다. 예컨대, 제스처들은 중지를 위해 벌린 손, 오케이를 의미하는 엄지손가락들 세움, 오케이가 아님을 의미하는 엄지손가락들 내림; 또는 방향 지시들을 위해 우측, 또는 좌측, 또는 위/아래로 손을 젖히는 것과 같은 단순한 정적 제스처들일 수 있다.
[0092] 눈 추적은 또 다른 입력(예컨대, 사용자가 특정 깊이 또는 범위에서 렌더링하기 위해 디스플레이 기술을 제어하고자 보고 있는 곳을 추적)이다. 일 실시예에서, 눈들의 수렴은 삼각 측량을 사용하여 결정될 수 있고, 이어서 그 특정 사람에 대해 개발된 수렴/원근 조절 모델을 사용하여, 원근 조절이 결정될 수 있다.
[0093] 카메라 시스템들과 관련하여, 도 9에 도시된 예시적인 웨어러블 시스템(900)은 3개의 쌍들의 카메라들, 즉 사용자의 얼굴의 측면들에 배열된 상대적으로 와이드 FOV 또는 수동 SLAM 쌍의 카메라들, 스테레오 이미징 프로세스(940)를 핸들링하고 또한 사용자 얼굴 앞에 토템/객체 추적 및 손 제스처들을 캡처하기 위해 사용자 앞에 배향된 상이한 쌍의 카메라들을 포함할 수 있다. FOV 카메라들 및 스테레오 프로세스(940)를 위한 카메라들의 쌍은 외향-대면 이미징 시스템(464)(도 4에 도시됨)의 일부일 수 있다. 웨어러블 시스템(900)은 눈 벡터들 및 다른 정보를 삼각 측량하기 위해 사용자의 눈들을 향해 배향되는 눈 추적 카메라들(도 4에 도시된 내향-대면 이미징 시스템(462)의 일부일 수 있음)을 포함할 수 있다. 웨어러블 시스템(900)은 또한 장면에 텍스처를 주입하기 위해 하나 또는 그 초과의 텍스처화된(적외선(IR) 프로젝터들과 같은) 광 프로젝터들을 포함할 수 있다.
[0094] 도 10은 웨어러블 시스템으로의 사용자 입력을 결정하기 위한 방법(1000)의 예의 프로세스 흐름 다이어그램이다. 이 예에서 사용자는 토템과 상호작용할 수 있다. 사용자는 여러 토템들을 가질 수 있다. 예컨대, 사용자는 소셜 미디어 애플리케이션을 위한 하나의 토템, 게임을 플레이하기 위한 다른 토템 등을 지정했을 수 있다. 블록(1010)에서, 웨어러블 시스템은 토템의 모션을 검출할 수 있다. 토템의 움직임은 외향 대면 시스템을 통해 인식될 수 있거나 센서들(예컨대 햅틱 글러브, 이미지 센서들, 손 추적 디바이스들, 눈 추적 카메라들, 머리 포즈 센서들 등)을 통해 검출될 수 있다.
[0095] 블록(1020)에서, 토템을 통한 검출된 제스처, 눈 포즈, 머리 포즈, 또는 입력에 적어도 부분적으로 기반하여, 웨어러블 시스템은 기준 프레임에 대해 토템(또는 사용자의 눈들 또는 머리 또는 제스처들)의 포지션, 배향, 및/또는 움직임을 검출한다. 기준 프레임은 지도 포인트들의 세트일 수 있으며, 그 세트에 기반하여, 웨어러블 시스템은 토템(또는 사용자)의 움직임을 액션 또는 커맨드로 전환한다. 블록(1030)에서, 토템과의 사용자의 상호작용이 매핑된다. 기준 프레임(1020)에 대한 사용자 상호작용의 매핑에 기반하여, 블록(1040)에서 시스템은 사용자 입력을 결정한다.
[0096] 예컨대, 사용자는 가상 페이지를 터닝하고 다음 페이지로 이동하거나 또는 하나의 UI(user interface) 디스플레이 스크린으로부터 다른 UI 스크린으로 이동하는 것을 나타내기 위해 토템 또는 물리적 객체를 앞뒤로 이동시킬 수 있다. 다른 예로서, 사용자는 사용자의 FOR에서 상이한 실제 또는 가상 객체들을 보기 위해 그들의 머리 또는 눈들을 이동시킬 수 있다. 만약 특정 실제 또는 가상 객체의 사용자의 응시가 임계치 시간보다 더 길면, 실제 또는 가상 객체는 사용자 입력으로서 선택될 수 있다. 일부 구현들에서, 사용자의 눈들의 수렴이 추적될 수 있고, 원근 조절/수렴 모델은, 사용자가 포커싱하고 있는 깊이 평면에 대한 정보를 제공하는 사용자의 눈들의 원근 조절 상태를 결정하기 위해 사용될 수 있다. 일부 구현들에서, 웨어러블 시스템은 어떤 실제 또는 가상 객체들이 사용자의 머리 포즈 또는 눈 포즈의 방향을 따라 존재하는지를 결정하기 위해 광선 캐스팅 기법들을 사용할 수 있다. 다양한 구현들에서, 광선 캐스팅 기법들은, 실질적으로 가로 폭이 거의 없는 얇은 광속 광선들을 캐스팅하는 것 또는 실질적인 가로 폭을 갖는 광선들(예컨대, 원뿔체들 또는 절두체들)을 캐스팅하는 것을 포함할 수 있다.
[0097] 사용자 인터페이스는 본원에서 설명된 바와 같이 디스플레이 시스템(이를테면, 도 2의 디스플레이(220))에 의해 프로젝팅될 수 있다. 그것은 또한, 다양한 다른 기법들, 이를테면 하나 또는 그 초과의 프로젝터들을 사용하여 디스플레이될 수 있다. 프로젝터들은 물리적 객체, 이를테면 캔버스 또는 구체 상으로 이미지들을 프로젝팅할 수 있다. 사용자 인터페이스와의 상호작용들은 시스템 또는 시스템의 일부분 외부의 하나 또는 그 초과의 카메라들을 사용하여 (이를테면, 예컨대 내향-대면 이미징 시스템(462) 또는 외향-대면 이미징 시스템(464)을 사용하여) 추적될 수 있다.
[0098] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법(1100)의 예의 프로세스 흐름도이다. 방법(1100)은 본원에서 설명된 웨어러블 시스템에 의해 수행될 수 있다.
[0099] 블록(1110)에서, 웨어러블 시스템은 특정 UI를 식별할 수 있다. UI의 타입은 사용자에 의해 미리 결정될 수 있다. 웨어러블 시스템은, 특정 UI가 사용자 입력(예컨대, 제스처, 시각적 데이터, 오디오 데이터, 센서리 데이터, 지향 커맨드 등)에 기반하여 파퓰레이팅될 필요가 있다는 것을 식별할 수 있다. 블록(1120)에서, 웨어러블 시스템은 가상 UI에 대한 데이터를 생성할 수 있다. 예컨대, UI의 한계들, 일반적인 구조, 형상 등과 연관된 데이터가 생성될 수 있다. 게다가, 웨어러블 시스템이 사용자의 물리 위치와 관련된 UI를 디스플레이할 수 있도록 웨어러블 시스템은 사용자의 물리 위치의 지도 좌표들을 결정할 수 있다. 예컨대, 만약 UI가 몸 중심이라면, 웨어러블 시스템은, 링 UI가 사용자 주위에서 디스플레이될 수 있거나 또는 플레이너형 UI가 벽 상에 또는 사용자의 앞에 디스플레이될 수 있도록 사용자의 물리적 자세, 머리 포즈, 또는 눈 포즈의 좌표들을 결정할 수 있다. 만약 UI가 손 중심이라면, 사용자의 손들의 지도 좌표들이 결정될 수 있다. 이들 지도 포인트들은 FOV 카메라들을 통해 수신된 데이터, 센서리 입력, 또는 임의의 다른 타입의 수집된 데이터를 통해 도출될 수 있다.
[0100] 블록(1130)에서, 웨어러블 시스템은 클라우드로부터 디스플레이로 데이터를 전송할 수 있거나 또는 데이터는 로컬 데이터베이스로부터 디스플레이 컴포넌트들로 전송될 수 있다. 블록(1140)에서, UI는 전송된 데이터에 기반하여 사용자에게 디스플레이된다. 예컨대, 라이트 필드 디스플레이는 가상 UI를 사용자의 눈들 중 하나 또는 둘 모두로 프로젝팅할 수 있다. 일단 가상 UI가 생성되면, 블록(1150)에서 웨어러블 시스템은 가상 UI 상에 더 많은 가상 콘텐츠를 생성하기 위해 사용자로부터의 커맨드를 간단히 기다릴 수 있다. 예컨대, UI는 사용자의 몸 주위의 몸 중심 링일 수 있다. 이어서, 웨어러블 시스템은 커맨드(제스처, 머리 또는 눈 움직임, 사용자 입력 디바이스로부터의 입력 등)를 기다릴 수 있으며, 만약 그것이 인지되면(블록(1160)), 커맨드와 연관된 가상 콘텐츠가 사용자에게 디스플레이될 수 있다(블록(1170)). 예로서, 웨어러블 시스템은 다수의 스트림 추적들을 혼합하기 전에 사용자의 손 제스처들을 기다릴 수 있다.
[0101] AR 시스템들, UI, 및 UX(user experiences)의 부가적인 예들은 미국 특허 공보 제2015/0016777호에 설명되며, 그 공보는 그 전체가 본원에서 인용에 의해 포함된다.
FOR(Field of Regard) 및 FOV(Field of View)의 객체들의 예들
[0102] 도 12는 FOV(field of view)의 가상 객체들 및 FOR(field of regard)의 가상 객체들의 예를 개략적으로 예시한다. 도 4를 참조하여 논의된 바와 같이, FOR은 웨어러블 시스템을 통하여 사용자가 인지할 수 있는, 사용자 주위의 환경의 일부분을 포함한다. 도 12에서, FOR(1200)은 웨어러블 시스템을 통하여 사용자가 인지할 수 있는 객체들(예컨대, 1210, 1220, 1230, 1242, 및 1244)의 그룹을 포함할 수 있다. 사용자의 FOR(1200) 내의 객체들은 가상 및/또는 물리적 객체들일 수 있다. 예컨대, 사용자의 FOR(1200)은 물리적 객체, 이를테면 의자, 소파, 벽 등을 포함할 수 있다. 가상 객체들은 운영 시스템 객체들, 이를테면 예컨대 삭제된 파일들에 대한 휴지통, 커맨드들을 입력하기 위한 단말, 파일들 또는 디렉토리들에 액세스하기 위한 파일 관리자, 아이콘, 메뉴, 오디오 또는 비디오 스트리밍을 위한 애플리케이션, 운영 시스템으로부터의 통지 등을 포함할 수 있다. 가상 객체들은 또한, 애플리케이션 내의 객체들, 이를테면 예컨대 아바타들, 게임들 내의 가상 객체들, 그래픽들 또는 이미지들 등을 포함할 수 있다. 일부 가상 객체들은 운영 시스템 객체 및 애플리케이션 내의 객체 둘 모두일 수 있다. 일부 실시예들에서, 가상 시스템은 가상 엘리먼트들을 기존의 물리적 객체들에 추가할 수 있다. 예컨대, 웨어러블 시스템은 방의 텔레비전과 연관된 가상 메뉴를 추가할 수 있으며, 여기서, 가상 메뉴는 웨어러블 시스템을 사용하여 텔레비전을 턴 온하거나 텔레비전의 채널들을 변경하기 위한 옵션을 사용자에게 제공할 수 있다.
[0103] 가상 객체는 3차원(3D), 2차원(2D), 또는 1차원(1D) 객체일 수 있다. 예컨대, 도 16에 개략적으로 예시된 바와 같이, 가상 객체는 (물리적 커피 메이커에 대한 가상 제어를 나타낼 수 있는) 3D 커피 머그(1636)일 수 있다. 가상 객체는 또한, (현재 시간을 사용자에게 디스플레이하는) 클록(1634)의 2D 그래픽 프리젠테이션일 수 있다. 일부 구현들에서, 하나 또는 그 초과의 가상 객체들은 다른 가상 객체 내에서 디스플레이(또는 그와 연관)될 수 있다. 예컨대, 도 13을 참조하면, 가상 커피 머그(1636)는 사용자 인터페이스 평면(1514)의 내부에 있는 것으로 도시되지만, 가상 커피 머그는 이러한 2D 평면 가상 공간 내에서 3D인 것으로 보인다.
[0104] 사용자의 FOR 내의 객체들은 도 9를 참조하여 설명된 바와 같이 세계 지도의 일부분일 수 있다. 객체들(예컨대, 위치, 시맨틱 정보, 특성들 등)과 연관된 데이터는 다양한 데이터 구조들, 이를테면, 예컨대 어레이들, 리스트들, 트리들, 해시들, 그래프들 등에 저장될 수 있다. 각각의 저장된 객체의 인덱스는 적용가능한 경우, 예컨대 객체의 위치에 의해 결정될 수 있다. 예컨대, 데이터 구조는 단일 좌표, 이를테면 기준 포지션으로부터의 객체의 거리(예컨대, 기준 포지션의 좌측 또는 우측에 얼마나 멀리있는지, 기준 포지션의 최상부 또는 최하부로부터 얼마나 멀리있는지, 또는 기준 포지션으로부터 깊이-방향으로 얼마나 멀리있는지)에 의해 객체들을 인덱싱할 수 있다. 기준 포지션은 사용자의 포지션(이를테면, 사용자의 머리의 포지션)에 기반하여 결정될 수 있다. 기준 포지션은 또한, 사용자의 환경 내의 가상 또는 물리적 객체(이를테면, 타겟 상호작용가능 객체)의 포지션에 기반하여 결정될 수 있다. 이러한 방식으로, 사용자의 환경 내의 3D 공간은, 가상 객체들이 기준 포지션으로부터의 객체의 거리에 따라 배열되는 2D 사용자 인터페이스로 컬랩스(collapse)될 수 있다.
[0105] FOR(1200) 내에서, 사용자가 주어진 시간에 인지하는 세계의 일부분은 FOV(1250)로 지칭된다(예컨대, FOV(1250)는 사용자가 현재 향하고 있는 FOR의 일부분을 포함할 수 있다). 도 12에서, FOV(1250)는 파선(1252)에 의해 개략적으로 예시된다. 웨어러블 시스템의 사용자는 FOV(1250)에서 다수의 객체들, 이를테면 객체(1242), 객체(1244), 및 객체(1230)의 일부분을 인지할 수 있다. FOV는 웨어러블 디바이스의 디스플레이의 크기 또는 광학 특성들에 의존할 수 있다. 예컨대, AR 디스플레이는, 사용자가 디스플레이의 특정 부분을 통해 보고 있을 때, AR 기능성만을 제공하는 옵틱스를 포함할 수 있다. FOV(1250)는, AR 디스플레이, 이를테면, 예컨대 스택된 도파관 어셈블리(480)(도 4) 또는 플레이너형 도파관(600)(도 6)을 통해 볼 때 사용자에 의해 인지가능한 입체 각도에 대응할 수 있다.
[0106] 사용자의 포즈(예컨대, 머리 포즈 또는 눈 포즈)가 변경됨에 따라, FOV(1250)가 대응하여 변경될 것이고, FOV(1250) 내의 객체들이 또한 변경될 수 있다. 예컨대, 도 12에서, 지도(1210)는 초기에 사용자의 FOV 외측에 있다. 만약 사용자가 지도(1210) 쪽을 본다면, 지도(1210)는 사용자의 FOV(1250) 내로 이동할 수 있고, (예컨대) 객체(1230)는 사용자의 FOV(1250) 외측으로 이동할 수 있다. 본원에서 설명될 바와 같이, 웨어러블 시스템은 FOV(1250) 내의 객체들뿐만 아니라 FOR(1200) 내의 객체들의 추적을 유지할 수 있다.
상호작용가능 객체들의 예들
[0107] 도 12에서, 사용자는 사용자의 FOR(1200) 내의 객체들의 서브세트와 상호작용할 수 있다. 종종, 객체들의 이 서브세트는 상호작용가능 객체들로 지칭될 수 있다. 일부 구현들에서, 상호작용가능 객체들은 사용자의 환경 내의 모든 객체들(가상 및 물리)을 포함할 수 있는 한편; 다른 구현들에서, 상호작용가능 객체들은 사용자의 환경 내의 객체들의 일부분만을 포함할 수 있다.
[0108] 웨어러블 시스템은 사용자의 FOV(1250) 내에 있는 상호작용가능 객체들의 서브그룹(예컨대, 1242, 1244, 및 1230)을 식별할 수 있다. 종종, FOV 내의 상호작용가능 객체들의 서브그룹은 선택가능 객체들로 지칭되는데, 이는 사용자가 현재 이들을 인지하고 있고, (예컨대, 이들의 이동, 이들의 활성화, 이들에 대한 정보의 획득 등을 위해) 이들을 선택할 수 있기 때문이다. 본원에서 논의된 바와 같이, 사용자가 사용자의 몸, 머리, 또는 눈들을 이동할 때, 사용자의 FOV는 변경될 수 있다. 일반적으로, 일부 객체들은 FOV 내에 계속 유지될 것이고, 일부 객체들은 FOV의 내측으로부터 외측으로 이동할 것이고(그리고 더 이상 선택가능하지 않게 될 것이고), FOV 외측에 있었던 다른 객체들은 FOV 내로 이동할 것이다(그리고 선택가능하게 될 것이다). 그에 따라서, 웨어러블 시스템은 사용자의 몸, 머리, 또는 눈 포즈에 기반하여 FOV 내의 상호작용가능 객체들의 서브그룹을 업데이트할 수 있다.
[0109] 웨어러블 시스템은 사용자의 FOV 내의 타겟 상호작용가능 객체를 식별할 수 있다. 타겟 상호작용가능 객체는 사용자가 상호작용하기를 원하는 객체 또는 사용자가 상호작용할 것으로 웨어러블 시스템이 예상하는 객체(예컨대, 사용자가 보고 있는 상호작용가능 객체 또는 사용자의 FOV의 중심에 가장 근접한 상호작용가능 객체)일 수 있다. 타겟 상호작용가능 객체는 다양한 규칙들, 이를테면 객체의 위치, 사용자의 선호도, 또는 사용자의 포즈를 사용하여 식별될 수 있다. 예컨대, 웨어러블 시스템은 FOV의 중심에 가장 근접한 객체를 타겟 상호작용가능 객체이도록 선정할 수 있다. 또한, 웨어러블 시스템은 사용자의 FOV 내의 가장 좌측의 객체 또는 가장 우측의 객체를 타겟 상호작용가능 객체이도록 선정할 수 있다. 다른 예로서, 웨어러블 시스템은 사용자의 응시 방향을 결정하기 위해 단독으로 또는 IMU들과 조합하여 (도 4에 도시된) 내향-대면 이미징 시스템(462)을 사용할 수 있다. 웨어러블 시스템은 사용자의 응시 방향이 닿는 객체를 타겟 상호작용가능 객체로서 식별할 수 있다.
[0110] 일부 구현들에서, AR 시스템은 상호작용가능 객체의 노멀이 사용자를 향하도록 타겟 상호작용가능 객체를 자동적으로 지향시킬 수 있다. 예컨대, 가상 TV 스크린은 초기에 방의 천장 쪽으로 상방으로 향할 수 있다. 사용자가 가상 TV 스크린 쪽을 보고 있는 것으로 AR 시스템이 결정하면, AR 시스템은 가상 TV 스크린이 사용자를 향하도록 가상 TV 스크린을 자동적으로 회전시킬 수 있다.
포커스
표시자의 예들
[0111] 웨어러블 시스템은 사용자가 타겟 상호작용가능 객체를 더 쉽게 인지할 수 있도록 타겟 상호작용가능 객체에 포커스 표시자를 할당할 수 있다. 포커스 표시자는 사용자에게 디스플레이될 수 있다. 예컨대, 포커스 표시자는 헤일로, 컬러, (예컨대, 선택될 때 타겟 객체가 더 근접하게 그리고/또는 더 크게 보이게 하는) 인지된 크기 또는 깊이 변경, 또는 사용자의 주의를 끄는 다른 시각적 효과들을 포함할 수 있다. 또한, 포커스 표시자는 가청 또는 촉각 효과들, 이를테면 진동들, 링 톤들, 발신음들 등을 포함할 수 있다.
[0112] 일부 실시예들에서, 웨어러블 시스템은 초기에, 본원에서 설명된 규칙들에 기반하여 타겟 상호작용가능 객체로서 객체를 식별할 수 있고, 사용자의 포즈의 변경에 기반하여 타겟 상호작용가능 객체를 다른 객체로 변경할 수 있다. 결과로서, 포커스 표시자는 사용자가 사용자의 포즈를 변경함에 따라 하나의 객체로부터 다른 객체로 이동할 수 있다.
[0113] 또한, 웨어러블 시스템은 사용자의 현재 포지션에 대응하는 커서를 디스플레이할 수 있다. 커서는 다양한 형상들, 이를테면 기하학적 원뿔체, 광선의 빔, 레티클, 화살표, 타원, 원, 폴리곤, 또는 다른 1D, 2D, 또는 3D 형상들을 취할 수 있다. 커서는 포커스 표시자와 동일한 형태로 제시될 수 있다. 예컨대, 커서는 포커스 표시자와 동일한 시각적, 오디오, 또는 촉각 효과를 가질 수 있다. 예로서, 커서는 사용자의 머리 포지션에 대응하는 레티클일 수 있다. 다른 예로서, 커서는 사용자 입력 디바이스와 연관된 현재 포지션에 대응하는 화살표의 형상을 가질 수 있다. 사용자가 사용자의 포즈를 변경하거나 또는 사용자 입력 디바이스를 작동할 때, 커서는 그에 따라서 이동할 수 있다. 커서는 사용자가 주위를 이동함에 따라 사용자의 환경 내의 빈 공간 또는 하나 또는 그 초과의 객체들을 포인팅할 수 있다. 예컨대, 도 16을 참조하면, AR 시스템은 가상 사용자 인터페이스(1514) 상의 커서를, 이를테면 포지션(1620)으로부터 포지션(1624)으로 또는 포지션(1622)으로부터 포지션(1620)으로 이동시킬 수 있다.
[0114] 웨어러블 시스템은 포커스 표시자에 부가하여 또는 대안적으로 커서를 제시할 수 있다. 예컨대, 도 15에서, 웨어러블 시스템은 가상 객체(1514) 상에 (사용자의 응시 방향에 대응할 수 있는) 레티클을 디스플레이할 수 있거나, 또는 포커스 표시자로서 밝은 청색 헤일로를 제공할 수 있거나, 또는 둘 모두를 행할 수 있다. 일부 구현들에서, 커서는 포커스 표시자의 실시예이다. 예컨대, 사용자가 가상 객체를 바라보고 있을 때, 웨어러블 시스템은 그 가상 객체 주위의 헤일로, 레티클 객체, 또는 객체 상의 화살표를 제시할 수 있다. 이들 시각적 표시들은 사용자가 상호작용에 관심을 갖는 타겟 객체 및 사용자의 현재 포지션 둘 모두를 나타낼 수 있다.
상호작용가능 객체들과의 상호작용들의 예들
[0115] 사용자는 웨어러블 시스템을 통해 사용자의 FOR(1200) 내의 상호작용가능 객체들, 및 특히, 사용자의 현재 FOV(1250) 내의 상호작용가능 객체들과 상호작용할 수 있다. 예컨대, 가상 객체(1230)는 시간에 걸친 주식의 가격의 변경을 나타내는 그래프일 수 있다. 가상 객체(1230)를 선택함으로써, 사용자는, 예컨대, 주식 시세들의 획득, 주식의 구매 또는 판매, 회사에 대한 정보의 획득 등을 위해 가상 객체(1230)와 상호작용할 수 있다. 이들 상호작용들을 수행하기 위해, 웨어러블 시스템은, 사용자가 다양한 액션들(예컨대, 주식 시세의 획득)을 수행하게 허가할 수 있는, 가상 객체와 연관된 메뉴들, 툴바들 등을 디스플레이할 수 있다.
[0116] 사용자는 다양한 기법들을 사용하여, 이를테면, 예컨대, 객체들을 선택함으로써, 객체들을 이동시킴으로써, 객체와 연관된 메뉴 또는 툴바를 오픈함으로써, 또는 선택가능 객체들의 새로운 세트를 선정함으로써, 사용자의 FOV 내의 객체들과 상호작용할 수 있다. 사용자는 사용자 입력 디바이스(예컨대, 도 4의 사용자 입력 디바이스(466) 참조)를 작동하기 위해 손 제스처들을 사용하여, 이를테면, 예컨대, 마우스를 클릭함으로써, 터치 패드를 태핑함으로써, 터치 스크린 상에서 스와이핑함으로써, 용량성 버튼 위에서 호버링(hovering)함으로써 또는 용량성 버튼을 터치함으로써, 키보드 또는 게임 제어기(예컨대, 5-웨이 d-패드) 상의 키를 누름으로써, 객체 쪽으로 조이스틱, 완드, 또는 토템을 포인팅함으로써, 원격 제어 상의 버튼을 누름으로써, 또는 사용자 입력 디바이스와의 다른 상호작용들에 의해, 상호작용가능 객체들과 상호작용할 수 있다. 또한, 사용자는 머리, 눈, 손, 발, 또는 다른 몸 포즈들을 사용하여, 이를테면, 예컨대, 시간 기간 동안 객체를 응시하거나 또는 객체를 팔로 포인팅하는 것에 의해, 발을 태핑하는 것에 의해, 임계 시간 인터벌 동안 특정 횟수로 눈들을 깜빡이는 것에 의해, 상호작용가능 객체들과 상호작용할 수 있다. 사용자 입력 디바이스 상의 이들 손 제스처들 및 사용자의 포즈들은 AR 시스템으로 하여금, 예컨대 사용자 인터페이스 동작이 수행되는(타겟 상호작용가능 객체와 연관된 메뉴가 디스플레이되는 것, 게임 내의 아바타에 대해 게이밍 동작이 수행되는 것 등) 선택 이벤트를 개시하게 할 수 있다.
[0117] 선택 이벤트의 개시 시에, AR 시스템은 본원에서 설명된 규칙들을 사용하여 사용자의 FOV 내의 타겟 상호작용가능 객체에 포커스 표시자를 할당할 수 있다. 예컨대, 도 12에서, AR 시스템은 객체(1244)에 포커스 표시자를 할당할 수 있는데, 이는 객체(1244)가 FOV의 중간점에 가장 근접하기 때문이다.
[0118] 선택 이벤트 동안, 사용자는, 본원에서 설명된 다양한 손 제스처들을 사용하여 타겟 상호작용가능 객체를 변경할 수 있다. 예컨대, 도 12에서, 사용자는 터치 스크린 상에서 왼쪽으로 스와이프할 수 있으며, 이는, AR 시스템으로 하여금 타겟 상호작용가능 객체를 객체(1244)로부터 객체(1230)로 변경하게 할 수 있다. 그에 따라서, AR 시스템은 또한, 가시적 포커스 표시자를 객체(1244)로부터 객체(1230)로 이동시킬 수 있다.
[0119] 일부 구현들에서, 손 제스처들은, AR 시스템으로 하여금 사용자의 FOV 내의 선택가능 객체들의 리스트를 업데이트하게 할 수 있다. 예컨대, 도 12에서, 사용자가 오른쪽으로 스와이프할 때, AR 시스템은, 객체(1210)를 사용자의 FOV 내로 이동시키고 객체(1230)를 사용자의 FOV 밖으로 이동시킬 수 있다. AR 시스템은 또한, 선택가능 객체들의 새로운 그룹에 기반하여 타겟 상호작용가능 객체를 업데이트할 수 있다. 예컨대, 객체(1210)가 FOV 내로 이동된 후, 시스템은, 타겟 상호작용가능 객체를 객체(1244)로부터 객체(1242)로 변경할 수 있다.
[0120] 사용자는, 본원에서 논의된 손 제스처들 또는 포즈들을 사용하여 타겟 상호작용가능 객체의 선택을 확인할 수 있다. 타겟 상호작용가능 객체의 선택을 확인하는 사용자의 액션은, 선택 이벤트를 개시하기 위해 사용된 것들과 동일한 액션 또는 상이한 액션일 수 있다. AR 시스템은, 예컨대, 포커스 표시자의 컬러, 밝기, 또는 형상을 변경함으로써, 사용자가 선택을 확인할 때 포커스 표시자를 변경할 수 있다.
[0121] 사용자는, 타겟 상호작용가능 객체 상에서 일련의 사용자 인터페이스 동작들을 수행할 수 있다. 이러한 동작들은 종종 상호작용 이벤트들로 지칭될 수 있다. 상호작용 이벤트는, 예컨대, 상호작용가능 객체를 리사이징하는 것, 상호작용가능 객체의 메뉴를 디스플레이하는 것, 메뉴를 브라우징하는 것, 메뉴 상의 아이템을 선택하는 것, 아이템을 탐색하는 것, 게임을 플레이하는 것, 비디오를 시청하는 것, 원격 화상회의를 수행하는 것, 타겟 상호작용가능 객체를 미리 보는 것 등을 포함할 수 있다. 상호작용 이벤트는 선택 이벤트와 동시에 또는 순차적으로 발생할 수 있다. 일부 구현들에서, 상호작용 이벤트는 선택 이벤트의 부분일 수 있다.
[0122] 일부 실시예들에서, 일단 선택 이벤트가 개시되면, 웨어러블 시스템은, 선택 이벤트가 개시된 후에 사용자의 FOV가 변경된다 하더라도 웨어러블 시스템이 사용자의 FOV 내의 선택가능 객체들의 그룹을 업데이트하는 것을 중단할 것이도록, 사용자의 FOV를 "로킹"할 수 있다. 일부 구현들에서, 사용자는, 사용자 입력 디바이스의 작동들 또는 포즈들의 변경들을 통해, 사용자의 FOV 내의 선택가능 객체들 간에 포커스 표시자를 계속 이동시킬 수 있다.
[0123] 선택 이벤트는, 사용자 입력에 의해 또는 웨어러블 시스템과의 다른 상호작용들에 의해 종결될 수 있다. 예컨대, 선택 이벤트는, 타겟 상호작용가능 객체의 선택을 확인하는 것, 상호작용 이벤트를 개시하는 것, 선택 이벤트를 종료하도록 사용자 입력 디바이스를 작동시키는 것, 선택 이벤트를 종결시키는 효과를 갖는 머리 또는 몸 포즈의 변경을 결정하는 것 등에 의해 종결될 수 있다.
손
제스처들을 사용하여
3D 공간에서 가상 객체들을 선택하는 예들
[0124] 사용자는, 사용자 입력 디바이스를 작동시킴으로써 상호작용가능 객체를 타겟팅 및 선택할 수 있다. 도 13a는, 사용자 입력 디바이스(1300)의 터치 스크린(1310) 상에서의 터치 제스처로 상호작용가능 객체를 선택하는 예이다. 사용자 입력 디바이스는, 도 4에 도시된 사용자 입력 디바이스(466)의 실시예일 수 있다. 터치 제스처는, 웨어러블 시스템을 트리거링하여 사용자의 FOV 내의 타겟 상호작용가능 객체에 포커스 표시자를 할당하게 할 수 있다. 터치 제스처는 또한, 웨어러블 시스템으로 하여금, 단독으로 또는 조합하여, 선택 이벤트를 개시하게 하고, 상호작용 이벤트를 개시하게 하고, 선택 이벤트를 종결하게 하고, 상호작용 이벤트를 종결하게 하고, 타겟 상호작용가능 객체의 선택을 확인하게 하는 등을 하게 할 수 있다.
[0125] 도 13b는, 사용자 입력 디바이스 상에서의 손 제스처들로 선택가능 객체들을 필터링하는 예이다. 사용자는, 사용자 입력 디바이스(1300) 상에서 경로를 따라 스와이프할 수 있다. 예컨대, 도 13b에 화살표(1314)로 표시된 바와 같이, 사용자는 터치 스크린(1310) 상에서 우측 쪽으로 경로를 따라 스와이프할 수 있다. 임의의 타입의 경로(예컨대, 입력 디바이스에 대해 수평, 수직, 대각, 또는 다른 궤도들)가 사용될 수 있거나 임의의 타입의 방향(예컨대, 좌측 또는 우측, 상향 또는 하향 등)이 사용될 수 있다.
[0126] 스와이프 제스처는, 웨어러블 시스템으로 하여금 가시적 포커스 표시자를 하나의 객체로부터 다른 객체로 이동시키게 할 수 있다. 도 12에 도시된 예들을 참조하면, 사용자가 (도 13b의 예에 표시된 바와 같이) 오른쪽으로 스와이프할 때, AR 시스템은, 포커스 표시자를 객체(1244)로부터 객체(1242)로 이동시킬 수 있다. 일부 실시예들에서, 스와이프 제스처는, AR 시스템으로 하여금 사용자의 FOV 내의 선택가능 객체들의 리스트를 업데이트하게 할 수 있다. 예컨대, 사용자가 오른쪽으로 스와이프할 때, AR 시스템은, 객체(1230)를 사용자의 FOV 밖으로 이동시키면서 객체(1210)를 사용자의 FOV 내로 이동시킬 수 있다. 그에 따라서, 가시적 포커스 표시자를 수신하는 객체가 또한 (예컨대, 객체 1244로부터 1242로) 업데이트될 수 있다.
[0127] 스와이프 제스처는, FOR 또는 FOV 내의 3D 가상 객체들을 필터링 및 선택하기 위해, (도 13a를 참조하여 설명된) 터치 제스처 및 (도 14를 참조하여 설명된) 머리 포즈와 조합하여 사용될 수 있다. 본원에서 논의된 바와 같이, 사용자는 또한, 선택가능 객체들의 세트를 변경하여 타겟 상호작용 객체를 변경하기 위해 다른 제스처들 또는 움직임들을 사용할 수 있다.
머리 포즈들을 사용하여 3D 공간에서 가상 객체들을 선택하는 예들
[0128] 도 14는, 머리 포즈를 위한 좌표 시스템의 예이다. 머리(1410)는 다수의 자유도들을 가질 수 있다. 머리(1410)가 상이한 방향들 쪽으로 이동함에 따라, 머리 포즈는 자연적 휴지(natural resting) 방향(1420)에 대해 변경될 것이다. 도 14의 좌표 시스템은, 머리의 자연적 휴지 상태(1420)에 대한 머리 포즈를 측정하기 위해 사용될 수 있는 3개의 각도 자유도들(예컨대, 요(yaw), 피치(pitch), 롤(roll))을 도시한다. 도 14에 예시된 바와 같이, 머리(1410)는 전방 및 후방으로 기울질 수 있고(예컨대, 피칭(pitching)), 좌측 및 우측으로 터닝할 수 있고(예컨대, 요잉(yawing)), 그리고 좌우로 기울질 수 있다(예컨대, 롤링). 다른 구현들에서, 머리 포즈를 측정하기 위해 다른 기법들 또는 각 표현들, 예컨대 임의의 다른 타입의 오일러(Euler) 각 시스템이 사용될 수 있다.
[0129] 웨어러블 시스템은, 사용자의 머리 포즈를 결정하기 위해, (이를테면, 도 2, 도 4, 및 도 7을 참조하여) 본원에서 설명된 다양한 센서들을 사용할 수 있다. 예컨대, 웨어러블 시스템은, 사용자의 머리 포즈 또는 눈 포즈를 계산하기 위해 IMU들 또는 내향-대면 이미징 시스템을 사용할 수 있다. 웨어러블 시스템은, 타겟 상호작용가능 객체를 식별하기 위해, 이러한 센서들에 의해 획득되는 데이터를 사용할 수 있다. 예컨대, 타겟 상호작용가능 객체는, 사용자의 응시 방향과 충돌하는 객체일 수 있다. 웨어러블 시스템은 타겟 상호작용가능 객체를 식별하고, 일 방향쪽으로의 확장된 응시에 기반하여 타겟 상호작용가능 객체에 가시적 포커스 표시자를 할당할 수 있다(예컨대, 포커스 표시자는, 사용자가 임계 시간보다 긴 시간 동안 객체를 보는 경우 타겟 객체에 할당됨).
[0130] 웨어러블 시스템은, 머리 포즈의 변경, 이를테면, 예컨대 선택 이벤트 동안의 롤링, 요잉, 또는 피칭에 기반하여 어느 객체가 타겟 상호작용가능 객체가 되는지를 결정 및 업데이트할 수 있다. 예컨대, 도 12를 참조하면, 사용자가 자신의 머리(1410)를 왼쪽으로 터닝할 수 있을 때, 타겟 상호작용가능 객체는, 객체(1244)로부터 그의 이웃하는 객체, 이를테면 객체(1230)로 업데이트될 수 있다. 일부 구현들에서, 웨어러블 시스템은, 이러한 업데이트를 반영하기 위해, 포커스 표시자를 객체(1244)로부터 객체(1230)로 이동시킬 수 있다.
[0131] 웨어러블 시스템은 또한, 머리 포즈의 변경에 기반하여 사용자의 FOV 내의 선택가능 객체들의 리스트를 업데이트할 수 있다. 예컨대, 사용자는 머리(1410)를 오른쪽으로 터닝할 수 있으며, 이는, 웨어러블 시스템으로 하여금, 객체(1230)를 사용자의 FOV 밖으로 이동시키고 객체(1210)를 사용자의 FOV(1250) 내로 이동시키게 할 수 있다. 그에 따라서, 타겟 상호작용가능 객체가 또한 본원에서 설명된 규칙들을 사용하여 업데이트될 수 있다.
[0132] 사용자는, 머리 포즈들 또는 눈 포즈들의 다양한 변경들을 사용하여 다수의 평면들 간에 스위칭할 수 있다. 사용자는 또한, 머리 포즈들 또는 눈 포즈들의 변동들을 사용하여, 선택 이벤트를 개시하거나, 타겟 상호작용가능 객체의 선택을 확인하거나, 상호작용 이벤트를 개시하거나, 상호작용 이벤트 동안 타겟 상호작용가능 객체와 상호작용하거나, 선택 이벤트를 종결시키거나, 또는 사용자 인터페이스와의 다른 상호작용들을 수행할 수 있다.
[0133] 일부 구현들에서, 웨어러블 시스템은, 사용자가 특정 깊이 평면에 있는 가상 객체들과만 상호작용할 수 있도록, 그 깊이 평면을 사용자의 머리 움직임에 연관시킬 수 있다. 예컨대, 웨어러블 시스템은, 사용자의 머리 포지션에 대응하는 커서(예컨대, 레티클)를 특정 깊이 평면으로 세팅할 수 있다. 결과적으로, 사용자가 자신의 머리를 이동시킴에 따라, 커서는 세팅된 깊이 평면 내에서 이동할 것이고, 사용자는, 상이한 깊이 평면들에 다른 가상 객체들이 존재할 수 있다 하더라도 세팅된 깊이 평면에 있는 객체들 중에서 선택할 수 있다. 일부 구현들에서, 깊이 평면은 가상 사용자 인터페이스를 수반할 수 있다. 웨어러블 시스템은, 사용자가 타겟 사용자 인터페이스 평면 내의 가상 객체들과 상호작용할 수 있도록, 타겟 가상 사용자 인터페이스의 깊이 평면으로 레티클을 세팅할 수 있다.
사용자 입력
디바이스에
대한 손 제스처들과 머리 포즈의 조합을 이용한 상호작용들의 예들
[0134] 사용자는 또한, 사용자의 포즈와 사용자의 손 제스처들의 조합을 사용하여 가상 객체를 선택할 수 있다. 예로서, 사용자는 사용자의 FOV 내의 가상 객체들의 그룹을 인지할 수 있다. 이 가상 객체들의 그룹은 본원에서 설명된 선택가능 객체들의 실시예일 수 있다. 가상 객체들의 그룹은, 도 2, 4-6을 참조하여 설명된 라이트 필드 디스플레이를 사용하여 제시될 수 있다. 라이트 필드 디스플레이는, 일부 가상 객체들이 다른 가상 객체 앞에 있는 것처럼 보일 수 있도록, 가상 객체들을 상이한 깊이 평면들로 사용자에게 프로젝팅할 수 있다.
[0135] 웨어러블 시스템은, 사용자의 FOV 내에 현재 존재하는 가상 객체들의 어레이를 유지할 수 있다. 웨어러블 시스템은 사용자의 환경의 가상 객체의 포지션을 가상 객체에 대한 어레이 인덱스로서 사용할 수 있다. 예컨대, 웨어러블 시스템은 x-y-z 좌표(예컨대, 도 6에 도시된 x-y-z 좌표)의 가상 객체의 y-값을 객체에 대한 어레이 인덱스로서 사용할 수 있다. 다른 실시예들에서, 웨어러블 시스템은 가상 객체의 어레이 인덱스를 결정하기 위해, x-값 또는 z-값을 단독으로 또는 y-값과 조합하여 사용할 수 있다.
[0136] 사용자가 사용자의 머리 또는 사용자의 응시 방향을 이동시킴에 따라, 사용자의 FOV에서 보이는 가상 객체들의 그룹이 변경될 수 있다. 웨어러블 시스템은 또한, 그에 따라서 어레이를 업데이트할 수 있다. 일부 구현들에서, 웨어러블 시스템은, 어레이를 사용하여 사용자의 FOR의 가상 객체들을 유지할 수 있고, 그리고 사용자가 선택 이벤트를 개시할 때, FOV의 가상 객체들의 그룹을 식별할 수 있다.
[0137] 사용자는, 사용자 입력 디바이스를 작동시킴으로써, 사용자의 FOV 내의 가상 객체들에 대한 선택 이벤트를 개시할 수 있다. 선택 이벤트의 개시 시에, 웨어러블 시스템은 사용자의 FOV 내의 모든 가상 객체들(또는 가상 객체들의 부분)을 포함하는 사용자 인터페이스를 제시할 수 있다. 일부 구현들에서, 웨어러블 시스템은 "숨겨진 가상 객체", 이를테면, 가상 사용자 인터페이스 메뉴 또는 가상 객체에 대한 특정 정보 등을 디스플레이할 수 있다. "숨겨진 가상 객체"는 선택 이벤트의 개시 시에 인지가능해질 수 있지만, 선택 이벤트의 개시 이전에 또는 선택 이벤트의 개시 이후에 숨겨질 수 있다.
[0138] 일부 실시예들에서, 선택 이벤트의 개시 시에, 웨어러블 시스템은 사용자의 FOV 내의 가상 객체들의 포지션들을 변경할 수 있다. 예컨대, 웨어러블 시스템은, 모든 가상 객체들이 실질적으로 동일한 깊이 평면에 있는 것처럼 보이도록, 멀리있는 객체들을 사용자 더 가까이에 이동시키거나 또는 인근의 객체들을 사용자로부터 더 멀어지게 이동시킬 수 있다. 일부 구현들에서, 웨어러블 시스템은, 가상 객체들이 사용자의 FOV의 크기에 피팅될 수 있도록, 가상 객체의 크기를 변경(증가 또는 감소)할 수 있다. 부가적으로 또는 대안적으로, 웨어러블 시스템은 가상 객체의 부분을 사용자에게 보여줄 수 있다(이를테면, 가상 이메일 애플리케이션의 콘텐츠 대신 아이콘을 보여줌).
[0139] 웨어러블 시스템은 또한, 선택 이벤트의 개시 시에, 사용자의 FOV 내의 가상 객체들을 다수의 깊이 평면들로 통합할 수 있다. 각각의 깊이 평면은 가상 사용자 인터페이스와 연관될 수 있다.
[0140] 웨어러블 시스템은 가상 객체의 어레이 인덱스를 사용하여 하나 또는 그 초과의 사용자 인터페이스 상에 가상 객체들을 배열할 수 있다. 예컨대, 웨어러블 시스템은, y-축 값이 특정 범위 내에 있는 가상 객체들을 통합하여, 동일한 사용자 인터페이스 상에 있는 것으로 제시할 수 있다. 부가적으로 또는 대안적으로, 웨어러블 시스템은 사용자의 포즈에 기반하여 깊이 평면 상에 가상 객체들을 배열할 수 있다. 예컨대, 다수의 가상 객체들이 사용자의 환경에서 상이한 깊이 평면들에 있기 때문에, 사용자의 응시 방향에 다수의 가상 객체들이 존재할 수 있는 경우, 웨어러블 시스템은, 선택 이벤트의 개시 시에 이들 가상 객체들을 사용자의 FOV 내측에 제시하는 한편, 다른 가상 객체들을 사용자의 FOV 외측에 배치할 수 있다. 사용자는, 도 12 및 13을 참조하여 설명된 기법들을 사용하여, 가상 객체들을 FOV 내로 그리고 FOV 밖으로 이동시킬 수 있다.
[0141] 웨어러블 시스템은 타겟 상호작용가능 객체를 식별하고, 타겟 상호작용가능 객체를 표시하는 포커스 표시자를 제시할 수 있다. 웨어러블 시스템은 타겟 상호작용가능 객체 근처의 가상 객체들을 재편성하고, 재편성된 가상 객체들을 사용자의 FOV 내에 제시할 수 있다. 예컨대, 도 12를 참조하면, 웨어러블 시스템은 기준 포지션(이를테면, 타겟 상호작용가능 객체의 포지션)으로부터의 가상 객체의 거리에 기반하여, 타겟 상호작용가능 객체 근처의 가상 객체들의 그룹을 식별할 수 있다. 웨어러블 시스템은, 어레이 인덱스, (도 6에 도시된) x-y-z 좌표의 값, 또는 타겟 상호작용가능 객체로부터의 거리 등에 기반하여, 이들 가상 객체들의 포지션들을 재편성할 수 있다. 도 12에 도시된 바와 같이, 객체들(1242, 1244, 및 1230)은 사용자의 FOR에서 상이한 초기 포지션들을 가질 수 있다. 예컨대, 객체(1242)는 객체(1244)보다 더 높게(예컨대, 사용자의 방의 천장에 더 가까이) 포지셔닝될 수 있고, 객체(1244)보다 사용자로부터 더 멀리 떨어져 있을 수 있다. 객체(1230)의 초기 포지션은 사용자의 FOR에서 객체(1244)보다 낮을 수 있다(예컨대, 사용자의 방의 바닥에 더 가까울 수 있음). 웨어러블 시스템이 객체(1244)를 타겟 상호작용가능 객체로서 식별할 때, 웨어러블 시스템은 y-축 값에 기반하여 사용자의 3D 공간을 2D 사용자 인터페이스로 "컬랩스"할 수 있으며, 여기서 더 큰 y-축 값을 갖는 객체는 사용자의 FOV의 좌측에 포지셔닝된다. 그에 따라서, FOV(1250)에서, 가상 객체(1242)는, 가상 객체(1230)의 좌측에 있는 가상 객체(1244)의 좌측에 있는 것처럼 보인다. 다른 예들에서, 가상 객체들의 재편성을 위한 상이한 기법들이 사용될 수 있다. 예컨대, FOV(1250)는 3D 공간에서 가상 객체들의 2D 프로젝션을 보일 수 있다. 도 12에서 설명되는 바와 같이, 사용자는 손 제스처들을 사용하여 포커스 표시자를 FOV 내의 객체들 사이에서 이동시킬 수 있다. 사용자는 또한, 손 제스처들을 사용하여 타겟 상호작용가능 객체를 변경할 수 있으며, 이는 웨어러블 시스템으로 하여금, 새로운 타겟 상호작용가능 객체 근처의 가상 객체들의 재편성들에 기반하여, FOV 내에 또 다른 세트의 가상 객체들을 제시하게 할 수 있다. 웨어러블 시스템이 상이한 깊이 평면들에서 다수의 사용자 인터페이스들을 제시하도록 구성되는 경우, 사용자는 또한, 손 제스처들을 사용하여 포커스 표시자를 다수의 깊이 평면들 사이에서 이동시켜 사용자 인터페이스들을 스위칭할 수 있다. 일부 실시예들에서, 웨어러블 시스템은, 사용자의 FOV에 더 이상 가상 객체들이 없을 때, 가상 객체들의 포지션들을, 재편성 이전의 가상 객체들의 오리지널 포지션들로 복원할 수 있다. 일부 상황들에서, 재편성된 가상 객체들을 제시하는 가상 사용자 인터페이스는, 사용자가 타겟 상호작용가능 객체에 대한 선택 이벤트를 개시한 후에 생성될 수 있다. 다수의 사용자 인터페이스들과의 상호작용에 대한 부가적인 세부사항들은 도 15를 참조하여 추가로 설명된다.
맥락 관련 정보에
기반한
사용자 상호작용의 예들
[0142] 웨어러블 시스템은 맥락 관련 정보에 기반하여 사용자의 상호작용의 모드(예컨대, 사용자 입력 디바이스에 대한 손 제스처들 또는 포즈들)를 자동적으로 선택하거나 추천할 수 있다. 맥락 관련 정보는 객체들의 타입(예컨대, 물리 또는 가상), 객체들의 레이아웃(예컨대, 객체들의 밀도, 객체들의 위치들 및 크기들 등), 사용자의 특성들, 또는 환경에서의 객체들과의 사용자의 현재 상호작용들, 이들의 조합 등을 포함할 수 있다. 예컨대, (도 10을 참조하여 설명된) 광선 캐스팅 동안, 웨어러블 시스템은, 사용자가, 서로 밀접하게 위치하는 다수의 가상 객체들을 보고 있다는 것을 검출할 수 있다. 웨어러블 시스템은, 사용자의 FOV 내의 가상 객체들의 밀도를 계산할 수 있다. 밀도가 특정 임계치를 패스할 때, 웨어러블 시스템은 사용자 상호작용 모드를 스위칭하도록 사용자에게 추천할 수 있다. 예컨대, 밀도가 특정 임계치를 초과할 때(이는 객체들이 서로 매우 가까이 위치하는 것을 표시함), 웨어러블 시스템은, 객체들과의 더 정확한 상호작용들을 가능하게 하기 위해, 사용자 상호작용 모드를 머리 포즈로부터 사용자 입력 디바이스에 대한 손 제스처들로 스위칭할 수 있다. 다른 예로서, 밀도가 특정 임계치 미만으로 떨어질 때(이는 객체들이 서로 멀리 떨어져 있음을 표시함), 웨어러블 시스템은 사용자 상호작용 모드를 사용자 입력 디바이스에 대한 손 제스처들로부터 머리 포즈로 스위칭할 수 있다. 이들 구현들은 특히 유리할 수 있는데, 왜냐하면, 조밀하게 클러스터링된 객체들과 상호작용하기 위해 사용자가 자신의 머리를 정확하게 포지셔닝하려고 시도할 때, 머리 포지션은 정확하게 제어하기 어려울 수 있고, 사용자 피로를 야기할 수 있기 때문이다. 다른 한편, 사용자 입력 디바이스에 대한 손 제스처들은 사용자의 포지션의 더 정교화된 제어(refined control)를 제공할 수 있지만, 드물게 위치하는 객체들을 선택하기 위해 사용자가 자신의 손을 많은 양의 거리에 걸쳐 이동시켜야 할 때, 사용자 피로를 야기할 수 있다.
[0143] 도 15 및 16은 맥락 관련 정보에 기반하여 사용자 상호작용 모드를 변경하는 예를 제공한다. 도 15는 머리 포즈들을 이용하여 상호작용가능 객체들과 상호작용하는 예를 예시한다. 도 16은 사용자 입력 디바이스에 대한 손 제스처들을 이용하여 상호작용가능 객체들과 상호작용하는 예를 예시한다. 도 16에 도시된 사용자 입력 디바이스(1610)는 도 4에서 설명된 사용자 입력 디바이스(466)의 실시예일 수 있다.
[0144] 도 15에서, 사용자의 FOR은 상호작용가능 객체들, 이를테면, 가상 사용자 인터페이스들(1512, 1514, 및 1516)을 포함한다. 일부 구현들에서, 가상 사용자 인터페이스들(1512, 1514, 및 1516)은 가상 사용자 인터페이스 평면들 내에 다른 가상 객체들(1D, 2D, 또는 3D)을 포함하는 플레이너형 객체들일 수 있다. 가상 사용자 인터페이스들(1512, 1514, 및 1516)은 큰 크기를 가지며, 서로 옆에 조밀하게 위치하지 않는다. 결과적으로, 웨어러블 시스템은, 사용자가 가상 사용자 인터페이스를 선택하기 위해 사용자 입력 디바이스 상에서 먼 거리를 이동할 필요가 없기 때문에, 머리 움직임이 최적의 사용자 상호작용 모드일 수 있다고 결정할 수 있다. 웨어러블 시스템은, 광선 캐스팅 기법을 사용하여, 사용자가 현재 가상 사용자 인터페이스(1514)를 보고 있음을 식별할 수 있다. 사용자는 가상 사용자 인터페이스(1514) 상에서 선택 이벤트를 개시하여 사용자 인터페이스(1514) 내의 객체들과 상호작용할 수 있다. 도 16에 도시된 바와 같이, 가상 사용자 인터페이스(1514)는, 다수의 가상 객체들, 이를테면, 예컨대, 가상 TV 스크린(1632), 가상 커피 컵(1636), 가상 클록(1634), 카메라 애플리케이션(1652), 기상 애플리케이션(1638), 및 뮤직 애플리케이션 등을 포함할 수 있다.
맥락 관련 정보에 기반하여 사용자 상호작용 모드를 추천하는 예들
[0145] 예로서, 도 16에서, 웨어러블 시스템은 가상 TV(1632), 가상 클록(1634), 가상 커피 머그(1636) 및 기상 애플리케이션(1638) 간의 관련 포지션들을 결정할 수 있다. 이들 4개의 객체들은 서로 가깝기 때문에, 웨어러블 시스템은 웨어러블 시스템이 사용자의 현재 포지션이 포지션(1620)에 있다고 결정할 때 사용자가 머리 포즈에서 손 제어로 스위칭하기를 원하는지 여부에 대한 옵션을 사용자에게 제시할 수 있다.
[0146] 다른 한편으로는, 객체(1652)(카메라 애플리케이션)의 그 주변에 다른 객체들이 없다. 그에 따라서, 웨어러블 시스템은 객체(1652)와 상호작용하기 위해 사용자 입력 디바이스를 사용하는 옵션을 제공하지 않을 수 있다. 그러나 사용자는 여전히 포즈들, 이를테면 머리 포즈 및 눈 포즈를 사용하여 객체(1652)와 상호작용할 수 있다.
[0147] 사용자는 사용자 입력 디바이스를 사용하여 또는 몸 포즈(이를테면, 머리 끄덕임)를 변경함으로써 사용자 상호작용 모드의 스위칭을 확인할 수 있다. 사용자 상호작용 모드가 사용자 입력 디바이스로 스위칭될 때, 사용자는 가상 객체들과 상호작용하도록 사용자 입력 디바이스(1610)를 작동시킬 수 있다. 예컨대, 사용자는 커서를 포지션(1620)에서 포지션(1624)으로 옮기는 사용자 입력 디바이스(1610) 상의 경로를 따라 스와이프할 수 있다. 유사하게, 사용자는 (화살표 형상일 수 있는) 커서를 포지션(1620)에서 포지션(1622)으로 이동시키는 사용자 입력 디바이스(1610)를 작동시킬 수 있다. 이들 예들 이외에, 사용자는 사용자 입력 디바이스(1610) 상에서 (예컨대, 입력 디바이스에 대해 수평, 수직 또는 대각인) 임의의 타입의 경로들 또는 임의의 타입의 방향들(예컨대, 좌측 또는 우측, 위 또는 아래 등)을 따라 스와이프할 수 있다.
[0148] 커서가 포지션(1624)에 있을 때, 커서의 일부는 가상 TV 스크린(1632)과 중첩한다. 사용자는 가상 TV 스크린(1632)을 선택하도록 (예컨대, 터치 스크린을 클릭함으로써) 사용자 입력 디바이스(1610)를 작동시킬 수 있다. 웨어러블 시스템이 가상 TV 스크린(1632)의 선택을 수신할 때, 웨어러블 시스템은 TV 스크린과 연관된 하나 또는 그 초과의 가상 메뉴들(예컨대, 가상 메뉴들(1642a, 1642b))을 디스플레이할 수 있다. 예컨대, 가상 메뉴는 옵션들, 이를테면 예컨대, 볼륨들의 조정, 비디오 애플리케이션(예컨대, 영화 또는 텔레비전 스트리밍 서비스)의 선택, 원격 화상회의의 개시 선택 등을 포함할 수 있다.
맥락 관련 정보에
기반하여
사용자 상호작용
모드를
자동적으로
스위칭하는 예들
[0149] 웨어러블 시스템은 또한 사용자 상호작용 모드를 자동적으로 스위칭할 수 있다. 예컨대, 사용자 상호작용 모드는 사용자가 가상 사용자 인터페이스 평면들(1512, 1514, 1516) 중에서 선택하고 있을 때 머리 포즈로 설정될 수 있다. 사용자가 가상 사용자 인터페이스 평면을 선택하면, 사용자 상호작용 모드는 자동적으로 (도 16에 도시된 바와 같이) 사용자 입력 디바이스 상의 손 제스처들로 변경될 수 있다. 다른 예로서, 사용자 상호작용 모드는 객체들이 충분히 드물 때 또는 객체들의 레이아웃이 특정 기준들을 충족시킬 때(이를테면, 객체들 사이에 폐색들이 없을 때) 몸 포즈로 설정될 수 있다. 웨어러블 시스템은 객체들이 조밀하게 포지셔닝될 때 또는 객체들의 레이아웃이 더는 기준들을 충족하지 않을 때(이를테면, 한 객체가 다른 객체를 가릴 때) 사용자 입력 디바이스상에서 사용자 상호작용 모드를 손 제스처들로 자동적으로 변경할 수 있다.
[0150] 웨어러블 시스템은 2D 공간에서의 객체들의 관련 포지션들에 부가적으로 또는 대안적으로 3D 공간에서의 객체들의 관련 포지션들을 고려할 수 있다. 예컨대, 사용자 인터페이스(1514)는 2D 사용자 인터페이스 대신 3D 사용자 인터페이스일 수 있다. 도 16에 도시된 바와 같이, 기상 애플리케이션(1638)은 커피 머그 애플리케이션(1636)보다 사용자로부터 더 멀리 떨어진 깊이 평면에 위치할 수 있다. 사용자의 응시 방향이 포지션(1620)에 있을 때, 웨어러블 시스템은 비록 뮤직 애플리케이션(1654)이 가상 클록(1634)보다 더 멀리 떨어진 것으로 보일 수 있을지라도, 사용자의 응시 방향과 교차하는 2개의 가상 객체들(예컨대, 가상 클록(1634) 및 뮤직 애플리케이션(1654))을 검출할 수 있다. 이 정보에 기반하여, 웨어러블 시스템은 객체들이 서로 충분히 가깝다고 결정할 수 있다. 그에 따라서, 웨어러블 시스템은 사용자 상호작용 모드를 손 제스처들로 자동적으로 스위칭하거나 사용자가 손 제스처들로 스위칭하는 옵션을 프롬프팅할 수 있다.
맥락 관련 정보에 기반한 사용자 인터페이스 피처들의 다른 예들
[0151] 일부 구현들에서, 웨어러블 시스템은 사용자가 손 제스처들로 스위칭했을 때 가상 객체들의 조밀한 클러스터를 하나 또는 그 초과의 고정 깊이 평면들로 재포지셔닝할 수 있다. 도 12, 도 13a - 도 13b를 참조하여 설명된 바와 같이, 사용자는 고정 깊이 평면들 내의 가상 객체들을 선택하거나 손 제스처들을 사용하여 깊이 평면들을 스위칭할 수 있다. 이 구현은 3D 공간에서 약간 상이한 깊이 평면에 각각 위치하는 가상 객체들 사이에서 내비게이팅함으로써 야기되는 사용자 입력 디바이스 상의 번거로운 동작들을 감소시키기 때문에, 특히 유리할 수 있다.
[0152] 웨어러블 시스템은 사용자 상호작용 모드가 방법마다 변경되었을 때, 포커스 표시자 또는 커서를 단독으로 또는 조합하여 변경할 수 있다. 예컨대, 웨어러블 시스템은 사용자가 사용자 입력 디바이스상에서 사용자 상호작용 모드를 머리 포즈에서 손 제스처들로(그리고 그 반대의 경우에도 마찬가지로) 변경할 때 포커스 표시자의 컬러를 변경할 수 있다. 다른 예에서, 웨어러블 시스템은 포커스 표시자의 모습을 레티클 형상에서 (도 16에 도시된) 화살표 형상으로 변경하여 사용자 입력 디바이스 상에서 입력 제어를 머리 포즈에서 손 제스처들로 변경하는 옵션을 표시할 수 있다.
[0153] 일부 구현들에서, 단독으로 또는 조합하여 포커스 표시자 또는 커서의 변경은 사용자 상호작용 모드를 변경하기 위한 옵션이 이용가능해졌음을 표시하는 데 사용될 수 있다. 예컨대, 사용자가 사용자 입력 디바이스상에서 손 제스처들을 사용하여 드물게 포지셔닝된 객체들의 그룹과 상호작용하고 있는 동안, 웨어러블 시스템은 화살표에서 레티클로 포커스 표시자의 모습을 변경하여, 머리 포즈를 사용하는 상호작용의 옵션이 이용가능함을 표시할 수 있다. 사용자는 예컨대, 사용자 입력 디바이스를 작동(이를테면, 사용자 입력 디바이스를 태핑)하거나 몸 포즈를 변경(이를테면, 머리를 끄덕임)함으로써 손 제스처들에서 머리 포즈로의 변경을 확인할 수 있다. 다른 예로서, 웨어러블 시스템은 대안적인 사용자 상호작용 모드가 이용가능해졌음을 나타내기 위한 포커스 표시자로서 사용자 입력 디바이스 상에 진동을 제공할 수 있다.
[0154] 비록 예들이 하나의 객체를 선택하는 것을 참조하여 설명될지라도, 웨어러블 시스템은 다수의 타겟 객체들을 식별하고 다수의 타겟 객체들을 선택하도록 구성될 수 있다. AR 시스템은 타겟 상호작용가능 객체들의 서브그룹에 대해 재귀적으로 선택 이벤트를 수행하도록 구성될 수 있다. 예컨대, AR 시스템은 (도 10에서 설명된) 광선 캐스트의 가상 원뿔체와 충돌하는 여러 타겟 객체들을 식별할 수 있다. 타겟 객체들은 상호작용가능 객체들을 포함할 수 있다. AR 시스템은 이들 타겟 객체들을 확대하여 사용자가 본원에서 설명된 포즈들 및/또는 손 제스처들을 사용하여 이들 타겟 객체들 내에서 선택하도록 할 수 있다. 게다가, 비록 예들이 사용자 입력 디바이스 상에서 머리 포즈와 손 제스처들 간에 변경하는 것을 참조하여 설명될지라도, 유사한 기법들이 또한 다른 사용자 상호작용 모드들 사이에서 스위칭하는 데 사용될 수 있다. 예컨대, 웨어러블 시스템은 유사한 기법들을 이용하여 사용자 상호작용 모드를 몸 포즈, 손 제스처들, 머리 포즈, 발 포즈, 눈 포즈 등 사이에서 단독으로 또는 조합하여 변경할 수 있다.
상호작용 이벤트의 예들
[0155] 사용자는 사용자가 상호작용가능 객체를 선택한 후에 자신의 FOV에서 상호작용가능 객체에 대한 상호작용 이벤트를 개시할 수 있다. 일부 구현들에서, 가상 객체는 물리적 객체에 대응할 수 있다. 그 결과, 사용자가 가상 객체에 대한 상호작용 이벤트를 수행할 때, 가상 객체는 물리적 객체와 통신할 수 있고, 이로써 사용자가 가상 사용자 인터페이스를 통해 물리적 객체와 상호작용하도록 할 수 있다. 예컨대, 도 16의 3D 커피 머그(1636)는 사용자의 환경에서 커피 머신과 통신할 수 있다. 3D 커피 머그(1636)에 도시된 물 레벨은 커피 제조 진행을 나타낼 수 있다. 예로서, 커피 머신이 유휴 상태이므로 물 레벨이 처음에는 보이지 않을 수 있다. 사용자는 3D 커피 머그(1636)를 선택하여, 웨어러블 시스템이 사용자의 주방에 있는 커피 머신에 명령을 전송하여 커피 내리기를 시작하게 하는 상호작용 이벤트를 개시할 수 있다. 내리기 프로세스 동안, 3D 커피 머그(1636) 내의 물 레벨은 커피 머신이 더 많은 커피를 생성함에 따라 점진적으로 증가할 수 있다. 커피 머신이 내리기를 완료할 때, 웨어러블 시스템은 3D 커피 머그(1636)가 가득 차 있음을 도시할 수 있다. 일부 구현들에서, 웨어러블 시스템은 또한 커피가 내리기를 완료했음을 표시하는, 3D 커피 머그 상의 포커스 표시자(이를테면, 사운드 또는 헤일로)를 제공할 수 있다.
[0156] 다른 예로서, 웨어러블 시스템은 상호작용 이벤트 동안 사용자의 환경에서 물리적 객체들과 연관된 가상 콘텐츠를 제시할 수 있다. 도 16에서, 사용자는 기상 애플리케이션(1638)을 선택하고 기상 애플리케이션(1638) 상에서 상호작용 이벤트를 개시할 수 있다. 도 17은 기상 애플리케이션(1638)과의 예시적인 상호작용 이벤트를 예시한다. 이 예에서, 웨어러블 시스템의 사용자는 자신의 집 밖에 있을 수 있으며 물리적 객체들, 이를테면 멀리있는 폭풍 클라우드들(1710) 및 토네이도(1720)를 인지할 수 있다. 사용자는 또한, 다른 물리적 객체들, 이를테면 도로들(1730), 차량들(1732) 및 빌딩들(1734)을 인지할 수 있다.
[0157] 웨어러블 시스템은 사용자의 환경의 이미지들을 분석함으로써 사용자의 위치를 식별할 수 있다. 사용자가 (도 16에 도시된) 기상 애플리케이션(1638) 상에서 상호작용 이벤트를 개시할 때, 웨어러블 시스템은 사용자의 FOR의 물리적 객체들 상에 슈퍼임포즈된 AR/MR 장면(1700)을 제시할 수 있다. 웨어러블 시스템은, 사용자의 위치 및 사용자 근처의 날씨에 대한 정보(예컨대, 사용자가 보고 있는 폭풍 클라우드들(1710) 및 토네이도(1720)의 존재)를 결정하기 위해 지오로케이션 센서들(예컨대, GPS(global positioning system) 센서들)을 사용할 수 있다. 일부 구현들에서, 웨어러블 시스템은 또한, 사용자의 환경의 이미지들을 획득하기 위해 외향-대면 이미징 시스템을 사용할 수 있다. 웨어러블 시스템은, 센서들, 이를테면 외향-대면 이미징 시스템(464), 내향-대면 이미징 시스템(462), 또는 IMU들(도 4에서 설명됨)을 단독으로 또는 조합하여 사용하여 사용자가 폭풍(1710) 및 토네이도(1720) 쪽을 바라보고 있다는 것을 결정할 수 있다.
[0158] 웨어러블 시스템은, 폭풍에 대한 정보에 액세스하고 이 정보를 사용자에게 가상 콘텐츠로서, 예컨대 토네이도 경고(1750)의 존재 및 지속기간, 토네이도의 스피드(1754), 기상 예보(1762)(예컨대, 시간의 함수로써, 온도, 비올 확률), 폭풍의 방향(1756)(예컨대, 시간의 함수로써 폭풍 포지션), 예상되는 강우량(1766) 등으로서 디스플레이하기 위해 네트워크(유선 또는 무선)와 통신할 수 있다. 이 정보는, 폭풍 클라우드들(1710) 또는 토네이도(1720)의 위치에 있거나 또는 이 위치 근처에 있다는 것으로 정보의 적어도 일부분이 인지되도록, 텍스트 또는 그래픽들을 통해 사용자에게 제시될 수 있다(예컨대, 가상 콘텐츠는 물리 콘텐츠 상에 슈퍼임포즈될 때 보일 수 있다). 예컨대, 도 17에 도시된 바와 같이, 화살표들(1752)은 폭풍의(예컨대, 토네이도의) 방향을 표시하며, 마치 이들이 3D이고 웨어러블 시스템의 사용자의 측면에서 토네이도(1720) 상에 또는 그 주위에 슈퍼임포즈된 것처럼 보인다. 풍속들(1754)은 방향 화살표들(1752) 근처에 제시될 수 있다. 웨어러블 시스템은 폭풍에 대한 다른 정보, 이를테면, 예컨대 온도 예보(1762), 비가 현재 내리는 또는 내릴 것으로 예상되는 장소(예컨대, 폭풍 클라우드들(1710) 아래의 경사진 파선들(1764)을 통해 도시됨), 얼마나 많은 비가 내릴 것으로 예상되는지(참조 번호 1766으로 도시됨) 그리고 (예컨대, 토네이도(1720)의 상이한 높이들에서) 폭풍의 바람들의 방향(1752) 및 스피드(1754) 등을 착용자에게 제시할 수 있다.
[0159] 웨어러블 시스템은, 사용자로부터 적합한 거리에 있고(예컨대, 폭풍(1710) 및 토네이도(1720)에 또는 이 근처에 있고), 웨어러블 시스템의 사용자에게 적합하게 사이즈가 정해지거나, 형상화되거나 또는 스케일링된 것으로(예컨대, 도 17에 개략적으로 도시된 바와 같이) 보이도록 현실적인 3D 가상 콘텐츠(1750, 1752, 1754, 1756, 1762, 1764, 1766)를 제시하기 위해 (도 4-6에 도시된) 라이트 필드 디스플레이를 사용할 수 있다.
[0160] 웨어러블 시스템은 또한, 2 또는 그 초과의 사용자들이 상호작용가능 객체와 상호작용하도록 할 수 있다. 사용자들 둘 모두가 그들 개개의 웨어러블 시스템들(이를테면, 그들의 머리에 장착되는 디바이스)을 착용할 수 있다. 도 18은 3D 가상 객체와 상호작용하는 복수의 사용자들의 예시적인 사용자 경험을 예시한다. 이 예에서, 사용자는 웨어러블 디바이스(1852)를 착용하고 있다. 사용자는 웨어러블 디바이스(1852)를 통해 가상 콘텐츠(1800)를 인지할 수 있다. 이 예에서, 가상 콘텐츠는 천문학적 객체(1810)(예컨대, 별, 또는 다른 경우들에서는, 은하계, 행성, 성운 또는 태양 시스템)을 포함할 수 있다. 가상 콘텐츠(1800)에 대한 정보는 그가 가상 콘텐츠 상에 또는 이에 인접하게 보이도록 디스플레이될 수 있다. 예컨대, 행성들(1830) 또는 별들의 궤도들(1820), 별자리들, 인근 별들 등은 천문학적 객체(1810) 근처에 디스플레이될 수 있다. 웨어러블 시스템은 사용자 인터페이스를 착용자에게 제시할 수 있으며, 이 착용자는 (예컨대, 제스처들에 의해) 상이한 액션들이 선택될 수 있는 가상 메뉴들(1832) 또는 가상 입력 피처들(1840)에 액세스하기 위해 포즈들 또는 사용자 입력 디바이스를 사용할 수 있다. 예컨대, 도 18에 도시된 바와 같이, 가상 메뉴(1832)는, 착용자가 디스플레이되고 있는 가상 콘텐츠(1800)의 프로파일을 편집/삭제 또는 저장하도록 허가할 수 있다. 프로파일은, 착용자(또는 다른 허가된 사용자)가 상이한 시간 또는 장소에서 가상 콘텐츠에 액세스하도록 할 수 있다. 다른 가상 메뉴는, 사용자가 가상 콘텐츠와 상호작용하고 디스플레이되고 있는 가상 콘텐츠를 수정하도록 허가할 수 있다. 예컨대, 도 18에 도시된 바와 같이, 사용자 입력 엘리먼트(1840)는, (예컨대, 이를테면 가상 버튼(1840)의 포지션에서 착용자의 손가락의 "누름" 제스처로 가상 버튼(1840)을 선택함으로써) 착용자가 "행성을 추가하도록" 허가할 수 있다. 선택 이후에, 착용자는 행성의 이름, 직경, 온도 또는 거리와 같은 정보를 갖는 행성 프로파일을 생성하기 위해 기능성에 (예컨대, 가상 메뉴, 가상 드롭 다운 박스, 등을 통해) 액세스하는 것이 가능할 수 있다. 선택 이후에, 부가적인 가상 콘텐츠(이 예에서는, 부가적인 행성)이 착용자에게 디스플레이될 수 있다.
[0161] 웨어러블 시스템들은, 예컨대, 네트워크를 통해 웨어러블 시스템들 간에 가상 콘텐츠(또는 가상 콘텐츠에 대한 업데이트들)를 통신하거나 사용자의 환경의 세계 지도를 패스함으로써, 사용자가 가상 콘텐츠를 다른 사람들과 공유하도록 허가할 수 있다. 예컨대, 도 18에 도시된 바와 같이, 웨어러블 시스템(200)을 착용하는 다른 사용자(1850)는 제1 사용자에 의해 공유되고 조작되고 있는 가상 콘텐츠를 볼 수 있다. 사용자들 둘 모두 서로 그리고 가상 콘텐츠와 상호작용하는 경험을 즐길 수 있다. 비록 이 예에서 천문학적 객체(1810)가 사용될지라도, 가상 콘텐츠(1800)는 임의의 타입의 콘텐츠일 수 있다. 예컨대, 백과사전이 액세스되고 하나 또는 그 초과의 주체들에 대한 콘텐츠가 (가상 텍스트, 가상 이미지들, 사운드들 등으로) 디스플레이되고 공유될 수 있다. 가상 콘텐츠를 공유하는 사용자들의 그룹이 가상 콘텐츠를 보도록 동일한 위치에 물리적으로 존재할 필요가 없고, 다수의 사용자들(예컨대, 2, 3, 4, 5, 10, 100 또는 이 초과)은 실질적으로, 공유된 가상 콘텐츠를 동시적으로 볼 수 있다.
[0162] 비록 예들은 가상 행성 시스템 및 기상 애플리케이션을 참조로 설명될지라도, 이들 예들은 제한되지 않는다. 본원에서 설명되는 기법들은 또한, AR/MR/VR 환경에서 상호작용 가상 콘텐츠를 제시하는 다른 애플리케이션들에 적용될 수 있다. 예컨대, 웨어러블 시스템은 의복 쇼핑 애플리케이션을 포함하도록 프로그래밍될 수 있다. 사용자가 백화점에 있는 동안, 애플리케이션은 백화점과 연관된 데이터베이스에 액세스하여 정보 또는 선반의 의복들을 식별할 수 있다. 애플리케이션은 액세스된 정보를 백화점의 물리 의복들 상에 슈퍼임포즈된 가상 콘텐츠로서 제시할 수 있다.
사용자 입력
디바이스
및 포즈들의 조합을 사용하여 가상 객체를 선택하는 예시적인 프로세스들
[0163] 도 19는 사용자 입력 디바이스 상에서 손의 제스처들 및 포즈들의 조합을 사용하여 가상 콘텐츠를 선택하기 위한 예시적 프로세스를 예시한다. 프로세스(1900)는 (예컨대, 프로세싱 모듈들(260, 270) 중 하나 또는 이 둘 모두에 의해) 본원에서 설명된 웨어러블 시스템(예컨대, HMD)에 의해 수행될 수 있다. 웨어러블 시스템은 사용자 입력 디바이스(예컨대, 도 4의 사용자 입력 디바이스(466) 참조), 다양한 이미징 시스템, 이를테면 외향-대면 이미징 시스템(예컨대, 도 4의 외향-대면 이미징 시스템(464) 참조) 및 내향-대면 이미징 시스템(예컨대, 도 4의 내향-대면 이미징 시스템(462) 참조)을 포함할 수 있다.
[0164] 블록(1910)에서, 웨어러블 시스템은 사용자의 FOR의 상호작용가능 객체들을 식별할 수 있다. 예컨대, 상호작용가능 객체들은 데이터 구조, 이를테면 어레이를 사용하여 원격 데이터 저장소(280)(도 2에 도시됨)에 저장될 수 있다. 사용자의 FOR의 상호작용가능 객체들은 사용자의 FOR의 모든 객체들의 서브세트일 수 있다. 웨어러블 시스템은, 외향-대면 이미징 시스템(462)뿐만 아니라 다른 센서들(이를테면, IMU들 및 GPS)을 사용하여 사용자의 위치를 결정하고, 이 위치 정보를 사용하여 사용자의 환경에서의 상호작용가능 객체들을 결정할 수 있다.
[0165] 블록(1920)에서, 웨어러블 시스템은 본원에 설명된 센서들을 사용하여 사용자의 포즈들을 측정할 수 있다. 웨어러블 시스템은 사용자의 방향을 식별하기 위해 내향-대면 이미징 시스템(462)을 사용할 수 있다.
[0166] 블록(1930)에서, 웨어러블 시스템은 사용자의 응시 방향에 기반하여 사용자의 FOV 내의 상호작용가능 객체들을 식별할 수 있다. FOV는 또한, 어떤 상호작용가능 객체들이 사용자의 응시 방향과 교차하는 지를 결정하기 위해 광선 캐스팅을 사용할 수 있다. 일부 구현들에서, 사용자의 FOV 내의 상호작용가능 객체들은 선택가능 객체들로 지칭될 수 있다. 웨어러블 시스템은 선택가능 객체들의 포지션들을 사용하여 선택가능 객체들을 어레이로 저장할 수 있다. 예컨대, 웨어러블 시스템은 x-축 값(예컨대, 도 6의 x-y-z 좌표 참조)에 기반하여 선택가능 객체들(및/또는 상호작용가능 객체들)을 인덱싱할 수 있다. 웨어러블 시스템은 x-축 값에 기반하여 객체들을 소팅하고, 선택가능 객체들을 1D 또는 2D 뷰에서 사용자의 FOV 내에서 좌측으로부터 우측으로 제시할 수 있다.
[0167] 일부 구현들에서, 웨어러블 시스템은 선택가능 객체들 만을 위한 별개의 어레이를 갖지 않을 수도 있다. 이들 구현들에서, 웨어러블 시스템은, 예컨대, (사용자의 FOV에 기반하여 결정되는) 선택가능 객체들의 어레이 인덱스들을 사용하여, 상호작용가능 객체들의 어레이로부터 선택가능 객체들을 식별 및 리트리브할 수 있다.
[0168] 그러나, 일부 실시예들에서, 웨어러블 시스템은 2개의 어레이들을 유지할 수 있고, 여기서, 하나의 어레이는 사용자의 FOR 내의 상호작용가능 객체들에 대한 것인 한편, 다른 어레이는 사용자의 FOV 내의 선택가능 객체들에 대한 것이다. 예컨대, 상호작용가능 객체들에 대한 어레이는 (도 2에 도시된) 원격 데이터 저장소(280)에 유지될 수 있는 한편, 선택가능 객체들에 대한 어레이는 웨어러블 시스템에 대한 로컬 데이터 스토어에 유지될 수 있다. 이러한 구현이 유리할 수 있는데, 왜냐하면 웨어러블 시스템의 로컬 스토리지 및 데이터 프로세싱 용량은 제한될 수 있는 한편, 원격 데이터 저장소는 더 큰 데이터 스토리지 및 더 강력한 데이터 프로세싱 용량을 가질 수 있기 때문이다. 웨어러블 시스템의 로컬 스토어에 모든 상호작용가능 객체들의 서브세트 만을 유지함으로써, 웨어러블 시스템에 대한 하드웨어 요건들을 감소시키고 웨어러블 시스템에서의 데이터 오버플로우의 가능성을 감소시킬 수 있다.
[0169] 만약 사용자의 FOV 내에 어떠한 상호작용가능 객체들도 존재하지 않는다면, 웨어러블 시스템은 블록(1910)으로 돌아갈 수 있다. 웨어러블 시스템은 사용자의 포즈를 연속적으로 모니터링하고, 사용자의 FOV를 업데이트하고, 사용자의 FOV 내의 상호작용가능 객체들의 리스트를 연속적으로 결정할 수 있다.
[0170] 블록(1940)에서, 웨어러블 시스템은 사용자가 사용자의 FOV 내의 객체에 대한 선택 이벤트를 개시하기를 원하는지 여부를 결정할 수 있다. 웨어러블 시스템은, 단독으로 또는 조합하여, 다양한 표시들, 이를테면, 예컨대, 연장된 시간 기간 동안 객체에 대한 응시, 사용자의 머리 포즈(이를테면, 끄덕임), 또는 사용자 입력 디바이스로부터의 입력에 기반하여, 이러한 결정들을 할 수 있다. 만약 사용자가 객체를 선택하기를 원한다는 표시를 웨어러블 시스템이 수신한다면, 웨어러블 시스템은 사용자가 본원에서 설명된 다양한 손 제스처들을 사용하여 선택가능 객체들과 상호작용하도록 할 수 있다. 예컨대, 사용자는 사용자 입력 디바이스 상의 궤적을 따라 스와이프하여 선택가능 객체들을 브라우징하거나, 또는 사용자 입력 디바이스를 클릭하여 선택가능 객체를 선택할 수 있다.
[0171] 선택 이벤트의 개시는 웨어러블 시스템으로 하여금 (블록(1940)에서) 사용자의 FOV 내의 타겟 상호작용가능 객체를 식별하게 하고 그리고 (블록(1950)에서) 타겟 상호작용가능 객체에 포커스 표시자를 할당하게 할 수 있다. 타겟 상호작용가능 객체는 FOV의 좌측 또는 우측에 있는 객체일 수 있다. 중심에 있는 객체가 타겟 상호작용가능 객체일 때, 가시적 포커스 표시자가 또한, FOV의 중심에 있는 객체 상에 배치될 수 있다. 웨어러블 시스템은 또한, 사용자의 눈 포즈의 방향을 결정하고 그리고 사용자의 눈 포즈의 방향과 교차하는 객체에 대해 가시적 포커스 표시자를 배치하기 위해 3D 눈 추적을 사용할 수 있다.
[0172] 블록(1960)에서, 사용자는 본원에서 설명된 다양한 제스처들을 사용하여 포커스 표시자를 다른 객체로 이동시킬 수 있다. 그에 따라서, 타겟 상호작용가능 객체는 다른 객체로 업데이트될 수 있다. 예컨대, 사용자는 포커스 표시자를 자신의 현재 포지션으로부터 자신의 인접 객체로 이동시킬 수 있고, 결과적으로, 타겟 상호작용가능 객체는 인접 객체로 업데이트된다.
[0173] 일부 실시예들에서, 이들 제스처들은 웨어러블 시스템으로 하여금 (가시적 포커스 표시자 자체를 이동시키는 대신) 사용자의 FOV 내의 경로를 따라 가상 객체들을 이동시키게 할 수 있다. 예컨대, 도 12를 참조하면, 사용자가 터치패드 상에서 왼쪽으로 스와이프할 때, 객체(1242)의 포지션을 왼쪽으로 시프트시키면서 객체(1230)를 FOV 내로 완전히 이동시키는 효과를 가질 수 있다.
[0174] 도 20은 사용자 입력 디바이스 상의 손 제스처들과 포즈들의 조합을 사용하여 가상 객체와 상호작용하기 위한 예시적인 프로세스를 예시한다. 프로세스(2000)는 본원에서 설명된 웨어러블 시스템에 의해 수행될 수 있다.
[0175] 블록(2010)에서, 웨어러블 시스템은 사용자의 FOR 내의 상호작용가능 객체들의 그룹을 결정할 수 있다. 상호작용가능 객체들의 그룹은 사용자의 환경 내의 객체들의 서브세트일 수 있다. 상호작용가능 객체들은 가상 객체들 및/또는 물리적 객체들일 수 있다. 일부 실시예들에서, AR 시스템은 기존의 물리적 객체들에 가상 엘리먼트들을 추가할 수 있다. 예컨대, AR 시스템은 방의 텔레비전에 가상 메뉴를 추가할 수 있고, 이러한 가상 메뉴는 사용자에게 AR 시스템을 사용하여 텔레비전을 턴 온시킬 수 있는 옵션을 제공할 수 있다.
[0176] 도 12를 참조하여 설명된 바와 같이, AR 시스템은 상호작용가능 객체들 및 상호작용가능 객체들과 연관된 정보를 다양한 데이터 구조들에 저장할 수 있다. 객체들의 위치들은 객체들과 연관된 정보를 저장하기 위한 인덱스들로서 사용될 수 있다.
[0177] 블록(2020)에서, 웨어러블 시스템은 사용자의 포즈를 결정할 수 있다. 사용자의 포즈는, 단독으로 또는 조합하여, 머리, 눈, 발 또는 다른 몸 포즈들일 수 있다. 웨어러블 시스템은, 예컨대, 내향-대면 이미징 시스템(462), 사용자 입력 디바이스(466)로부터 수신되는 입력들, 또는 외향-대면 이미징 시스템(464)과 같은, 도 4에 도시된 다양한 센서들을 사용하여 사용자의 포즈를 결정할 수 있다.
[0178] 블록(2030)에서, 웨어러블 시스템은 사용자의 포즈에 기반하여 사용자의 FOV를 결정할 수 있다. FOV는, 주어진 시간에 사용자가 인지한 FOR의 일부분을 포함할 수 있다. 사용자의 FOV에 기반하여, 블록(2040)에서, AR 시스템은 사용자의 FOV 내의 상호작용가능 객체들의 서브그룹을 결정할 수 있다. 상호작용가능 객체들의 이러한 서브그룹은 종종 선택가능 객체들로 지칭된다. 사용자의 FOV가 변경됨에 따라, 사용자의 FOV 내의 선택가능 객체들도 또한 변경된다.
[0179] 블록(2050)에서, 웨어러블 시스템은 상호작용가능 객체들의 서브그룹으로부터 타겟 상호작용가능 객체의 선택을 수신한다. 웨어러블 시스템은 처음에, 도 12를 참조하여 설명된 다양한 규칙들(이를테면, 사용자의 FOV에 대한 타겟 상호작용가능 객체의 위치)에 기반하여 타겟 상호작용가능 객체를 선정할 수 있다. AR 시스템은 타겟 상호작용가능 객체에 포커스 표시자를 할당할 수 있다. 사용자의 FOV가 변경됨에 따라, 가시적 포커스 표시자는 하나의 객체로부터 다른 객체로 이동될 수 있다.
[0180] 일부 실시예들에서, 웨어러블 시스템은, 사용자가 사용자 입력 디바이스를 작동시킨 후, 타겟 상호작용가능 객체를 식별할 수 있다. 사용자는, 도 12 - 도 13을 참조하여 설명된 다양한 손 제스처들을 사용하여 사용자 입력 디바이스를 작동시킬 수 있다. 이들 손 제스처들은 사용자의 FOV 내의 타겟 상호작용가능 객체에 포커스 표시자를 할당하도록 웨어러블 시스템을 트리거할 수 있다. 일부 구현들에서, AR 시스템이 사용자로부터 타겟 상호작용가능 객체의 선택을 수신할 때, AR 시스템은 사용자의 FOV가 변경되는 동안 사용자의 FOV 내의 선택가능 객체들의 그룹을 업데이트하는 것을 중단할 수 있다. 사용자는 여전히, 상호작용가능 객체들을 브라우징하거나 가시적 포커스 표시자를 하나의 객체로부터 자신의 FOV 내의 다른 객체로 이동시킬 수 있다.
[0181] 블록(2070)에서, 사용자는 타겟 상호작용가능 객체에 대한 선택 이벤트를 개시할 것을 판단할 수 있다. 선택 이벤트는 본원에서 설명된 포즈들 및 제스처들을 사용하여 개시될 수 있다. 일부 실시예들에서, 선택 이벤트의 개시는 타겟 상호작용가능 객체에 가시적 포커스 표시자를 할당하도록 웨어러블 시스템을 트리거할 수 있다. 사용자의 포즈들이 변경됨으로 인해 사용자의 FOV가 변경될 수 있기는 하지만, 웨어러블 시스템은 사용자의 FOV 내의 선택가능한 객체들의 그룹을 업데이트하는 것을 중단할 수 있다. 사용자는 본원에서 설명된 제스처들을 사용하여 가시적 포커스 표시자를 하나의 객체로부터 사용자의 FOV 내의 다른 객체로 이동시킬 수 있다. 예컨대, 사용자는 터치패드 상에서 궤적(이를테면, 좌측 및 우측)을 따라 스와이프할 수 있으며, 이는 웨어러블 시스템으로 하여금 가시적 포커스 표시자를 하나의 객체로부터 그의 가장 가까운 이웃으로 이동시키게 할 수 있다.
[0182] 일부 구현들에서, 사용자는 선택 이벤트 동안 또는 선택 이벤트 이후에 상호작용 이벤트를 개시할 수 있다. 상호작용 이벤트는 또한, 선택 이벤트의 부분일 수 있다. 예컨대, 도 12를 참조하여 설명된 바와 같이, 상호작용 이벤트는 상호작용가능 객체를 리사이징하는 것, 상호작용가능 객체의 메뉴를 디스플레이하는 것, 메뉴를 브라우징하는 것, 메뉴 상의 아이템을 선택하는 것, 아이템을 탐색하는 것, 게임을 플레이하는 것, 비디오를 보는 것, 원격 화상회의를 수행하는 것 등을 포함할 수 있다. 사용자는 본원에서 설명된 다양한 포즈들 및 제스처들을 사용하여 상호작용 이벤트에 참여할 수 있다. 사용자는 또한 본원에서 논의된 포즈들 및 제스처들을 사용하여 타겟 상호작용가능 객체의 선택을 확인할 수 있다.
맥락 관련 정보에
기반하여
객체들과 상호작용하는 예시적인 프로세스들
[0183] 도 21은 맥락 관련 정보에 기반하여 입력 제어 머리 포즈를 손 제스처로 스위칭하기 위한 예시적인 프로세스를 예시한다. 프로세스(2100)는 본원에서 설명된 웨어러블 시스템에 의해(예컨대, 프로세싱 모듈들(260, 270) 중 하나 또는 둘 모두에 의해) 수행될 수 있다.
[0184] 웨어러블 시스템은 사용자의 현재 포지션을 표시하는 커서를 디스플레이할 수 있다. 커서는 사용자의 머리 포지션에 대응하는 레티클일 수 있다. 사용자가 주위를 이동할 때, 커서는 타겟 상호작용가능 객체로 이동될 수 있다. 사용자는 포즈들, 사용자 입력 디바이스 상의 손 제스처들을 단독으로 또는 조합하여 사용하여 타겟 상호작용가능 객체를 선택할 수 있다. 프로세스(2100)에서, 사용자는 머리 포즈를 사용하여 객체들과 초기에 상호작용할 수 있다. 블록(2110)에서, 웨어러블 시스템은 사용자가 타겟 상호작용가능 객체를 선택했는지 여부를 결정할 수 있다. 타겟 상호작용가능 객체는 2D 플레이너형 가상 사용자 인터페이스일 수 있다. 사용자가 타겟 상호작용가능 객체를 선택하지 않으면, 프로세스는 블록(2190)에서 종료한다. 일부 실시예들에서, 웨어러블 시스템은 사용자가 주위를 이동할 때 사용자의 현재 포지션을 연속적으로 결정할 수 있다. 웨어러블 시스템은 사용자의 머리 포즈에 기반한 사용자의 FOV에서 다른 타겟 상호작용가능 객체들을 식별할 수 있다.
[0185] 블록(2120)에 도시된 바와 같이, 웨어러블 시스템이 타겟 상호작용가능 객체, 이를테면, 2D 플레이너형 가상 사용자 인터페이스의 선택을 수신할 때, 웨어러블 시스템은 타겟 상호작용가능 객체에 포커스 표시자를 할당할 수 있다. 예컨대, 웨어러블 시스템은 타겟 상호작용가능 객체 주위에 헤일로를 디스플레이할 수 있고, 마치 타겟 상호작용가능 객체가 3D 공간에서 호버링하는 것으로 보이는 것처럼 타겟 상호작용가능 객체를 사용자에게 더 가까워지게 할 수 있다. 웨어러블 시스템은 또한, (머리 포지션에 해당하는) 커서의 노멀 및 깊이를, 타겟 상호작용가능 객체의 노멀 및 깊이와 동일하게 세팅할 수 있다. 결과적으로, 사용자는 머리 포즈들을 사용하여 타겟 상호작용가능 객체 내의 가상 객체들과 상호 작용을 계속할 수 있다.
[0186] 블록(2130)에서, 웨어러블 시스템은 사용자의 상호작용들과 연관된 컨텍스트를 식별할 수 있다. 예컨대, 웨어러블 시스템은 사용자의 FOV에서 가상 객체들(또는 물리적 객체들)의 레이아웃을 결정할 수 있다.
[0187] 블록(2140)에서, 만약 웨어러블 시스템이, 레이아웃이 특정 패턴을 충족(이를테면, 하나의 가상 객체가 다른 가상 객체에 의해 가려짐)하거나 밀도가 특정 임계치를 초과한다고 결정하면, 웨어러블 시스템은 입력 제어의 모드를 스위칭하기 위해 사용자에게 옵션을 제공할 수 있다. 예로서, 웨어러블 시스템은 머리 포즈에서 사용자 입력 디바이스로 상호작용 모드를 스위칭하기 위해 사용자에게 옵션을 제공할 수 있다.
[0188] 블록(2142)에 도시된 바와 같이, 만약 사용자가 스위칭하지 않을 것을 선정하면, 사용자는 상호작용가능 객체들을 타겟팅 및 선택하기 위해 여전히 머리 포즈들을 사용할 수 있다. 프로세스는 블록(2190)에서 종료한다.
[0189] 블록(2150)에서, 만약 사용자가 입력 제어를 손 제스처들로 스위칭하기로 선정하면, 사용자는 사용자 입력 디바이스를 가상 객체와 상호작용하도록 작동시킬 수 있다. 블록(2160)에서, 웨어러블 시스템은, 2D 플레이너형 가상 사용자 인터페이스 상의 UI 엘리먼트와 같은 타겟 가상 객체의 사용자의 선택을 수신할 수 있다. 예컨대, 도 16을 참조하면, 사용자는 기상 애플리케이션(1638), 커피-제조 애플리케이션(1636) 등을 선택할 수 있다. 블록(2160)에서, 만약 사용자가 타겟 가상 객체를 선택하지 않으면, 사용자는 블록(6150)에 도시된 바와 같이, 사용자 입력 디바이스를 계속 작동시킬 수 있다.
[0190] 웨어러블 시스템은, 선택된 가상 객체에 대한 선택 이벤트 또는 상호작용 이벤트를 개시할 수 있다. 예컨대, 웨어러블 시스템은 선택된 가상 객체 상에 포커스 표시자를 제공할 수 있다. 웨어러블 시스템은 또한, 선택된 가상 객체와 연관된 VR/AR/MR 장면들을 제시할 수 있다. 예컨대, 웨어러블 시스템은, 사용자가 상호작용할 수 있는 (도 17에 도시된) 장면(1700) 및 (도 18에 도시된) 장면(1800)을 제시할 수 있다.
[0191] 블록(2180)에서, 웨어러블 시스템은 사용자가 선택 이벤트 또는 상호작용 이벤트를 완성했는지 여부를 결정할 수 있다. 만약 사용자가 타겟 가상 객체와 상호작용을 완료했다고 웨어러블 시스템이 결정하면, 프로세스(2100)는 블록(2190)에서 종료한다. 일부 실시예들에서, 블록(2190)에서, 웨어러블 시스템은 사용자 인터페이스 제어의 모드를 손 제스처들에서 머리 포즈로 다시 스위칭할 수 있다.
[0192] 도 22는 맥락 관련 정보에 기반하여 사용자 상호작용 모드를 스위칭하기 위한 예시적인 프로세스를 예시한다. 프로세스(2200)는, 본원에 설명된 웨어러블 시스템에 의해(예컨대, 프로세싱 모듈들(260, 270) 중 하나 또는 둘 모두에 의해) 수행될 수 있다.
[0193] 블록(2210)에서, 웨어러블 시스템은 상호작용가능 객체들과 상호 작용하기 위해 사용자가 사용하는 현재 입력 모드를 결정할 수 있다. 현재 입력 모드는, 포즈들 또는 사용자 입력 디바이스 상의 손 제스처들일 수 있다.
[0194] 블록(2220)에서, 웨어러블 시스템은 맥락 관련 정보, 이를테면, 사용자의 FOV에서 객체들의 레이아웃, 사용자의 FOV에서 객체들의 밀도, 사용자의 FOV에서 객체들의 특성들(이를테면, 크기, 포지션, 객체 타입들 등)을 결정할 수 있다.
[0195] 맥락 관련 정보에 기반하여, 블록(2230)에서 웨어러블 시스템은 현재 사용자 입력 모드를 변경하기 위한 옵션을 제시할 수 있다. 예컨대, 사용자가 객체들과 상호작용하기 위해 머리 포즈를 사용하고 있는 동안, 웨어러블 시스템이 사용자의 응시 방향에서 객체들의 조밀한 그룹을 식별할 때, 웨어러블 시스템은 사용자 입력 모드를 사용자 입력 디바이스로 변경하기 위한 옵션을 제시할 수 있다. 또 다른 예로서, 객체들이 드물게 위치되어 있다고 웨어러블 시스템이 결정할 때, 웨어러블 시스템은 사용자 입력 디바이스에서 머리 포즈로 현재 사용자 입력 모드를 변경하기 위한 옵션을 제공할 수 있다.
[0196] 또 다른 예로서, 웨어러블 시스템은, 사용자 입력 디바이스를 사용하여 사용자 인터페이스 엘리먼트들(이를테면, 사용자 인터페이스 평면 내의 애플리케이션들)과 상호작용하면서, 포즈들을 사용하여 사용자가 사용자 인터페이스 평면(이는 다른 가상 객체들을 포함할 수 있음)과 상호작용하게 할 수 있다. 결과적으로, 사용자가 사용자 인터페이스 평면을 선택했다고 웨어러블 시스템이 검출할 때, 웨어러블 시스템은 사용자 입력 모드를 머리 포즈에서 사용자 입력 디바이스로 변경할 수 있다. 반면에, 사용자가 사용자 인터페이스 엘리먼트와 상호작용을 완료했을 때, 웨어러블 시스템은 사용자 입력 모드를 사용자 입력 디바이스에서 머리 포즈로 변경할 수 있다.
[0197] 일부 구현들에서, (커서들을 포함하는) 포커스 표시자들의 모습이 상이한 사용자 입력 모드들에 기반하여 변경될 수 있다. 예컨대, 웨어러블 시스템은, 사용자가 사용자 입력 디바이스를 사용하여 객체와 상호작용하고 있음을 표시하기 위해 화살표를 사용하면서, 사용자가 머리 포즈를 사용하여 객체들과 상호작용하고 있음을 표시하기 위해 레티클을 사용할 수 있다. 일부 구현들에서, 사용자 입력 모드를 스위칭하기 위한 옵션이 이용가능함을 도시하기 위해, 웨어러블 시스템은 포커스 표시자의 모습을 변경할 수 있다. 예컨대, 웨어러블 시스템은, 사용자가 머리 포즈와 상호 작용하고 있을 때, 레티클을 초기에 디스플레이할 수 있다. 웨어러블 시스템이 객체들의 조밀한 그룹을 검출할 때, 웨어러블 시스템은, 사용자가 사용자 입력 모드를 사용자 입력 디바이스로 스위칭할 수 있음을 표시하기 위해 (레티클 대신에) 화살표를 디스플레이할 수 있다. 그러나, 사용자가 객체들의 조밀한 그룹에서 멀어지게 이동할 때, 웨어러블 시스템은 포커스 표시자를 화살표에서 레티클로 다시 변경할 수 있다.
[0198] 블록(2240)에서, 사용자는 새로운 사용자 입력 모드에 대한 옵션을 선택할 수 있다. 예컨대, 사용자는 자신이 사용자 입력 모드를 머리 포즈에서 사용자 입력 디바이스 상의 손 제스처들로 변경하기를 원하는 것을 확인하기 위해 사용자 입력 디바이스를 작동시킬 수 있다. 웨어러블 시스템은 그에 따라서 현재의 사용자 입력 모드를 새로이 선택된 모드로 업데이트할 수 있다. 웨어러블 시스템은 또한, 포커스 표시자를 새로이 선택된 모드와 연관된 것으로 업데이트할 수 있다.
[0199] 도 23은 가상 객체들의 그룹을 포함하는 상호작용가능 객체와 상호작용하는 예시적인 프로세스를 예시한다. 프로세스(2300)는, 본원에 설명된 웨어러블 시스템에 의해(예컨대, 프로세싱 모듈들(260, 270) 중 하나 또는 둘 모두에 의해) 수행될 수 있다. 웨어러블 시스템은, 사용자 입력 디바이스(466)(도 4에 도시됨), 라이트 필드 디스플레이(도 2 또는 4-6을 참조하여 설명됨), 다양한 센서들, 이를테면 외향-대면 이미징 시스템(464)(도 4에 도시됨) 및 내향-대면 이미징 시스템(462)(도 4에 도시됨)을 포함할 수 있다.
[0200] 블록(2310)에서, 웨어러블 시스템은 사용자의 포즈를 결정한다. 포즈는 머리, 눈, 발, 또는 다른 몸 포즈 등일 수 있다. 웨어러블 시스템은, 다양한 센서들, 이를테면, 예컨대, 내향-대면 이미징 시스템(462), 외향-대면 이미징 시스템(464)(이를테면, 도 10을 참조하여 설명된 FOV 카메라), IMU들 등을 사용하여 사용자의 포즈를 결정할 수 있다.
[0201] 웨어러블 시스템은 사용자의 FOR에서 상호작용가능 객체들의 그룹을 결정할 수 있다. 예컨대, 웨어러블 시스템은, 사용자의 환경의 객체들의 정보를 포함하는 사용자의 환경의 지도에 액세스할 수 있다. 블록(6230)에서, 웨어러블 시스템은, 상호작용가능 객체들의 그룹으로부터 타겟 상호작용가능 객체를 결정할 수 있다. 타겟 상호작용가능 객체는, 사용자의 포즈에 기반하여 결정될 수 있다. 예컨대, 타겟 상호작용가능 객체는 사용자의 응시 방향과 교차하는 객체일 수 있다. 사용자의 포즈들이 변경될 때, 타겟 상호작용가능 객체가 또한 변경될 수 있다.
[0202] 블록(2330)에서, 웨어러블 시스템은 타겟 상호작용가능 객체의 선택을 수신할 수 있다. 사용자는 단독으로 또는 조합하여, 사용자 입력 디바이스를 작동시키거나 포즈들을 변경함으로써 타겟 상호작용가능 객체를 선택할 수 있다. 블록(2340)에 도시된 바와 같이, 웨어러블 시스템은 (블록(6250)에 도시된 바와 같이) 타겟 상호작용가능 객체의 선택을 수신한 이후에 포커스 표시자를 타겟 상호작용가능 객체에 할당할 수 있다.
[0203] 일부 구현들에서, 하나 또는 그 초과의 가상 객체들이 타겟 상호작용가능 객체 내에 추가로 디스플레이될 수 있다. 예컨대, 가상 사용자 인터페이스는 사용자 인터페이스 엘리먼트들, 이를테면 기상 애플리케이션, 비디오 스트리밍 애플리케이션 등을 포함할 수 있다. 블록(2350)에서, 웨어러블 시스템은 선택된 타겟 상호작용가능 객체들과 연관된 가상 객체들의 그룹을 결정할 수 있다. 사용자는 머리 포즈들 및 손 제스처들을 사용하여 가상 객체들의 그룹과 상호작용할 수 있다. 예컨대, 사용자는 포즈들 또는 손 제스처들을 사용하여 가상 객체들의 그룹에서 가상 객체를 선택할 수 있다. 사용자는 또한 상호작용 이벤트, 이를테면 비디오 게임을 플레이하는 것, VR/AR/MR 장면을 보는 것, 또는 선택된 가상 객체와의 다른 사용자 인터페이스 상호작용들을 개시할 수 있다.
[0204] 일부 실시예들에서, 웨어러블 시스템은, 사용자가 타겟 상호작용가능 객체를 선택할 때, 상호작용들의 모드를 포즈들로부터 사용자 입력 디바이스로 변경할 수 있다. 예컨대, 사용자는 머리 포즈들을 사용하여 자신의 환경들에서 상호작용가능 객체들을 초기에 타겟팅하고 선택할 수 있다. 일단 사용자가 타겟 상호작용가능 객체를 선택하면, 웨어러블 시스템은 사용자가 사용자 입력 디바이스를 사용하여 타겟 상호작용가능 객체의 가상 객체와 상호작용할 수 있도록 하기 위해서 입력 모드를 머리 포즈로부터 사용자 입력 디바이스로 변경할 수 있다. 일단 사용자가 가상 객체와의 상호작용을 완료하면, 웨어러블 시스템은 사용자가 자신의 환경에서 다른 상호작용가능 객체들을 계속 타겟팅하고 그것들과 상호작용할 수 있도록 하기 위해서 입력 모드를 머리 포즈로 다시 변경할 수 있다. 특정 구현들에서, 웨어러블 시스템은 사용자가 입력 제어의 모드를 스위칭하게 하는 옵션을 제공할 수 있다. 예컨대, 만약 사용자가 타겟 상호작용가능 객체를 선택한 이후에 머리 포즈들로부터 손 제스처들로 스위칭하지 않기로 판단한다면, 사용자는 머리 포즈들을 사용하여 타겟 상호작용가능 객체의 가상 객체와 계속 상호작용할 수 있다.
부가적인 사용자 인터페이스 경험들
AR 및 MR 시각적 경험들의 부가적인 예들
[0205] 위에서 설명된 바와 같이, 웨어러블 시스템(이를테면 머리-장착된 디스플레이)은 물리 세계 상에 슈퍼임포즈되는 3D 가상 객체들을 제시하도록 구성될 수 있다. 예컨대, 웨어러블 디바이스의 사용자는 학교 체육관에 있을 수 있고, 로컬 물리 환경 및 물리적 객체들(예컨대, 체육관 및 체육관에서 앉아 있거나 서있는 학생들)을 인지할 뿐만 아니라 물리 세계(예컨대, 학교 체육관) 상에 슈퍼임포즈된 가상 객체들을 인지한다. 가상 객체들은 튀는 물에 의해 둘러싸인 점프하는 고래를 포함할 수 있다. 예컨대, 사용자는, 고래가 학교 체육관의 바닥으로부터 보이고 체육관을 부분적으로 가로질러 점프하고 큰 물방울로 바닥에 떨어지며 이어서 사라지는 경험을 인지할 수 있다. 이런 예에서, 웨어러블 시스템은 착용자가 점프하는 고래의 이미지들을 디스플레이하기 위해 보고 있는 외측 세계의 지역의 치수들(예컨대, 이런 예에서는 체육관의 크기)을 결정할 수 있음으로써, 그 이미지들이 지역의 부-지역으로부터(예컨대, 체육관의 바닥으로부터) 발생하는 것으로서 착용자에 의해서 인지되고 도 4-6에 설명된 라이트 필드 디스플레이를 사용하여, 점프하는 고래 및 물방울이 사용자에게는 현실적이고 실물과 똑같이 보이게 된다. 일부 구현들에서, 웨어러블 시스템은 사용자에게 디스플레이되는 이미지들을 동반하는 점프하는 고래의 사운드를 (예컨대 도 2에 도시된 스피커들(240)을 통해) 사용자에게 제시할 수 있다. AR 시스템은 부가적인 가상 콘텐츠, 이를테면 텍스트 또는 그래픽들을 사용자가 보는 장면 상에 (부가적으로 또는 대안적으로) 디스플레이할 수 있다. 예컨대, AR 시스템은 가상 고래가 체육관 바닥으로부터 점프하여 나타나기 전에, 그 동안에, 또는 그 이후에 고래들에 대한 정보(이를테면 고래들의 타입, 연령, 습관 등)를 착용자에게 디스플레이할 수 있다.
[0206] 다른 예로서, 웨어러블 시스템의 사용자는 소매 마켓에 있을 수 있다. 사용자는 환경의 실제, 물리 사람들뿐만 아니라 마켓을 걸어가는 우주 비행사의 이미지를 포함하는 가상 콘텐츠를 볼 수 있다. 가상 콘텐츠는 웨어러블 시스템의 디스플레이의 FOV 내에 슈퍼임포즈될 수 있다.
[0207] 웨어러블 시스템은 물리 세계의 이미지들을 수정하고, 사용자에게 MR 경험을 제공할 수 있다. 예컨대, 사용자는 v-형태로 날고 있는 물리적인 한 떼의 새들을 볼 수 있다. (예컨대, 도 4에 도시된) 외향-대면 이미징 시스템은 이런 물리 콘텐츠를 캡처할 수 있고, 웨어러블 시스템은 그것을 프로세싱하여 한 떼의 새들이 v-형태로 날고 있음을 식별할 수 있다. 웨어러블 시스템은 그 형상으로 또는 그와 비슷한 형상으로 날고 있는 가상 객체(예컨대, 이런 예에서 용)를 한 떼의 새들에 추가하거나 새들 중 하나(또는 그 초과)를 그 가상 객체로 대체할 수 있다. 다른 예로서, 웨어러블 시스템은 해변 위를 호버링하거나 그 위를 날고 있는 가상 객체(예컨대, 가상 고래)를 물리 해변의 사용자의 뷰에 추가할 수 있다. 마치 상이한 거리들에 있는 것으로 나타나는 현실적인 이미지들을 제시하기 위한 라이트 필드 디스플레이들의 성능은 웨어러블 디스플레이 시스템으로 하여금 착용자에게 가까이 있거나 또는 멀리 있는 것처럼 고래의 이미지를 제시하게 허가한다. 일부 구현들에서, 웨어러블 시스템은 가상 콘텐츠가 가상 그림자를 갖는 것으로 나타나도록 그림자 매핑 기법들을 사용할 수 있고, 이는 또한 웨어러블 시스템에 의해 디스플레이되는 가상 콘텐츠에 대한 더 큰 리얼리즘(realism)을 제공할 수 있다.
[0208] 일부 구현들에서, 웨어러블 시스템의 사용자는 AR/MR 환경의 가상 이미지들의 시퀀스를 인지할 수 있다. 예컨대, 사용자는 자신의 오므린 손들 쪽을 보고 있을 수 있다. 가상 객체, 이를테면 작은 코끼리가 웨어러블 시스템의 디스플레이에 의해 디스플레이될 수 있음으로써, 사용자는 가상 객체를 사용자의 오므린 손들 내에 있는 것으로 인지하게 된다. 웨어러블 시스템은 환경의 지역, 이를테면 착용자의 손들(그리고 손들을 넘어 임의의 배경)을 포함하는 지역을 이미징하기 위해서 외향-대면 이미징 시스템을 사용할 수 있다. 웨어러블 시스템은, 가상 콘텐츠(예컨대, 코끼리)가 스케일링될 수 있음으로써 그 콘텐츠가 보이는 전체 지역의 특정 부-지역(예컨대, 손들)에서 적합한 크기 및 거리에서 나타나도록, 착용자의 손들까지의 거리를 결정할 수 있다. 웨어러블 시스템은 장면으로 하여금 마치 착용자가 착용자의 손들에 코끼리를 잡고 있는 것처럼 나타나게 할 수 있다. 코끼리의 포지션은, 코끼리가 시간적 시퀀스에서, 그 시간적 시퀀스 보다 이전의 시간적 시퀀스와 비교하여, 사용자에게 더 근접한 것으로 보일 수 있도록 각각의 사진에 대하여 변경할 수 있다. 뛰는 코끼리의 이미저리에 사운드(예컨대, 음성들, 뮤직)가 동반될 수 있다.
가상 객체들과의 상호작용의 부가적인 예들
[0209] 가상 사용자 인터페이스와의 사용자 상호작용의 예로서, 웨어러블 시스템의 사용자는 사람들이 춤을 추고 있는 물리 방에서 가상 객체들을 인지하고 그 가상 객체들과 상호작용할 수 있다. 이런 예에서, 사용자는 DJ(disk jockey)일 수 있고, 웨어러블 시스템은 DJ의 손들의 움직임들(예컨대, 제스처들)에 의해서 조작될 수 있는 가상 UI를 DJ에게 디스플레이할 수 있다. 가상 UI는 DJ가 그 UI와 상호작용하도록 허가하는 가상 콘텐츠를 포함할 수 있다. 이런 예에서, 가상 UI는 춤을 추는 사람들에게 플레이되는 사운드를 제어할 수 있는 DJ 오디오 제어 시스템이도록 구성될 수 있다. UI는 사용자 입력 피처들, 이를테면 다이얼들(예컨대, 조그 셔틀 다이얼들), 스위치들, 슬라이더들, 버튼들, 또는 제스처들을 통해 DJ에 의해 조정될 수 있는 턴테이블들을 포함할 수 있다. 가상 UI는 출력 피처들, 이를테면 사운드 레벨 그래픽들 또는 등화기를 포함할 수 있다. 출력 피처들은 사운드 레벨들 또는 오디오 혼합이 DJ에 의해 변경될 때 실시간으로 반응할 수 있다. 웨어러블 시스템의 외향-대면 이미징 시스템은 DJ의 제스처들(예컨대, 손 또는 손가락 움직임들)을 결정하기 위해서 DJ의 손들 및 팔들을 이미징할 수 있다. 결정된 제스처들에 대한 응답으로, 웨어러블 시스템은 예컨대 볼륨을 높이거나 낮추고, 뮤직을 페이딩하거나 패닝하고, 뮤직을 혼합하는 등에 의해서 오디오를 조정할 수 있다.
[0210] 다른 예로서, 웨어러블 시스템의 사용자는 의사들이 환자를 수술하고 있는 수술실을 볼 수 있다. 웨어러블 시스템은 수술받고 있는 환자 해부구조 또는 장기(이를테면 심장)를 디스플레이하는 가상 콘텐츠를 사용자에게 제시할 수 있다. 가상 장기의 배향 및 포지션은 제스처들(예컨대, 착용자가 심장의 가상 이미지에 손을 뻗어서 움켜잡거나 이동시키는 것) 또는 사용자 입력 디바이스를 통해 조정될 수 있다. 가상 장기는 심장의 이상화(예컨대, 텍스트북 이미지) 또는 환자 심장의 실제 이미지(예컨대, 수술 동안에 획득되거나 수술 이전에 미리 맵핑됨)를 나타낼 수 있다. 웨어러블 시스템의 (도 4-6에 설명된) 라이트 필드 디스플레이 성능은 착용자로 하여금 장기의 3D 이미지를 보게 허가한다. 일부 구현들에서, 사용자는 환경(예컨대, 수술)에서 객체들(가상 및/또는 물리적 객체들)과 상호작용하기 위해 그 환경에 물리적으로 있을 필요가 없다. 사용자는 이를테면 예컨대 (예컨대, 스피커를 통해) 의사들과 통신하거나 가상 장기의 가상 이미지와 상호작용함으로써 의사들의 아바타들 또는 수술방의 모습과 상호작용할 수 있다.
[0211] 사용자는 또한 웨어러블 시스템을 사용하여 교육용 가상 콘텐츠를 보고 이와 상호작용할 수 있다. 이러한 예에서, 교육용 가상 콘텐츠는 포인터를 잡고 교육 수업의 부분으로서 착용자에게 디스플레이되는 그래픽들(예컨대, 숫자들)을 가르키는 아바타 (예컨대, 학생들에게 매력적이고 위협적이지 않도록 설계된 생물)를 포함할 수 있다. 웨어러블 시스템과 통신하는 교육용 시스템은 교육 수업의 부분으로서 착용자에게 제시될 교육용 가상 콘텐츠를 생성하여 전달할 수 있다. 가상 콘텐츠는 텍스트, 이미지들, 비디오, 그래픽들 및 사운드를 포함할 수 있다. 예컨대, 아바타는 학생들에게 산수 수업을 설명하고 있는 중일 수 있다(예컨대, 4 곱하기 5는 무엇인가?). 일부 경우들에서, 웨어러블 시스템은 주변 환경의 사운드들, 예컨대 학생들의 음성들을 수신할 수 있는 마이크로폰을 포함한다. 학생들은 질문들을 할 수 있고, 웨어러블 시스템 (또는 교육용 시스템)은 음성 인식 기술들을 사용하여 질문들을 전자 포맷으로 변환할 수 있으며, 교육용 시스템은 웨어러블 시스템에 응답을 다시 통신할 수 있다. 예컨대, 아바타는 질문에 대답하고, 대답을 설명하기 위하여 (예컨대, 막대를 사용하여) 가상 콘텐츠의 다른 부분을 가리키는 등을 수행함으로써 학생들의 질문에 응답할 수 있다.
[0212] 다른 AR 경험에서, (HMD와 같은) 웨어러블 시스템의 사용자는 가상 엔터테인먼트 디스플레이뿐만 아니라 물리적 객체들(예컨대, 다른 사람과 집)을 볼 수 있다. 가상 엔터테인먼트 디스플레이는 스포츠 이벤트(본 예에서는 농구 게임)의 프리젠테이션을 보여준다. 가상 엔터테인먼트 디스플레이는 보고 있는 중인 게임 또는 다른 게임들에 대한 정보(예컨대, 스코어들, 실황 방송, 게임 요약, 선수 통계들, 순위표들 등)를 웨어러블 시스템의 사용자에게 제시할 수 있다. 가상 엔터테인먼트 디스플레이는 사용자가 가상 엔터테인먼트 디스플레이의 다른 측면들을 보기 위하여 디스플레이 주위를 이동하는 것을 허용하는 3D인 것으로 보일 수 있다(디스플레이의 다른 측면들상에서 다른 콘텐츠, 다른 게임들, 다른 스포츠들 또는 심지어 다른 엔터테인먼트 장르들(예컨대 영화)을 디스플레이할 수 있다). 스포츠 이벤트는 스포츠 이벤트가 진행되는 동안 실시간으로 사용자에게 제시될 수 있다. 이는 비록 사용자가 스포츠 이벤트에 실제로 참석하지 않을지라도 스포츠 이벤트와 상호작용할 수 있는 능력을 사용자에게 제공한다. 특정 사용자는 제스처들 또는 사용자 입력 디바이스를 사용하여 가상 엔터테인먼트 디스플레이를 제어할 수 있다. 일부 경우들에서, 단일 사용자는 가상 엔터테인먼트 디스플레이를 제어하는 반면에, 다른 사용자는 디스플레이상에서 액션을 볼수 있지만 표시되고 있는 콘텐츠를 변경할 수는 없다. 다른 구현들에서, 가상 엔터테인먼트 디스플레이는 다수의 사용자의 액션들의 결과로서 생성되거나 업데이트된 콘텐츠를 제시할 수 있다.
다수의 사용자들
간의 부가적인 예시적 상호작용들
[0213] 한 그룹의 사람들 각각이 웨어러블 디바이스를 착용할 때, 사용자는 AR/VR/MR 환경에서 다른 사용자와 상호작용할 수 있다. 예컨대, 그룹내의 사람들은 자신들이 착용하고 있는 웨어러블 디바이스들을 통해 가상 콘텐츠(이미지들, 비디오, 사운드들, 텍스트 등을 포함할 수 있음)를 즐기거나, 이와 상호작용하거나, 이를 공유하거나, 또는 (예컨대, 제스처들을 통해) 이를 조작할 수 있다.
[0214] 이러한 사용자 상호작용들은 가상 게임에서 발생할 수 있다. 플레이어들이 게임에서 서로 교전함에 따라, 웨어러블 디바이스는 웨어러블 디바이스의 사용자에게 가상 콘텐츠 및 사운드를 제시할 수 있다. 이러한 예에서, 사용자는 물리적 객체들(예컨대, 침대, 테이블들, 창문 및 게임의 다른 플레이어(404))를 가진 방을 인지할 수 있다. 사용자는 또한 다른 플레이어 주위를 날고 있는 불을 뿜는 용을 인지할 수 있다. 플레이어들 중 1명 또는 2명 모두는 제스처들(예컨대, 손 또는 팔 제스처들), 토템들(예컨대, 막대들) 또는 제어기들 또는 인터페이스들(물리적 또는 가상적)에 의해 용의 위치, 움직임들 및 액션들(예컨대, 용이 불을 뿜는지 여부)을 제어할 수 있다. 일부 경우들에서, 다른 플레이어는 방에서 실제로 참석하지 않고, (예컨대, 텔레프레전스를 통해) 실제로 참석한 것으로 웨어러블 디바이스의 사용자에게 디스플레이된다. 예컨대, 웨어러블 디바이스는 (이를테면, 가상 어린이의 행태인) 다른 플레이어의 아바타를 이들이 게임을 하고 있는 것 처럼 제시할 수 있다. 어린이 아바타(및 용)는 웨어러블 시스템 또는 다른 게임 시스템에 의해 생성될 수 있고 착용자에게 디스플레이하기 위해 웨어러블 시스템에 통신될 수 있다. 어린이 아바타는 다른 플레이어의 실제 모습의 프리젠테이션일 수 있거나 또는 웨어러블 시스템의 사용자에 의해 인지되도록 다른 플레이어가 선정한 형태로서 선택될 수 있다. 다른 플레이어는 인간 플레이어 또는 기계 플레이어일 수 있다. 다른 예들에서, 2명 이상의 플레이어가 착용자의 환경(예컨대, 방, 방 외부 및 창문을 통해 보는 환경 등)내에서 보일 수 있다. 마치 이미지들이 착용자로부터의 상이한 거리들(예컨대, 상이한 깊이 평면들)에 있는 것처럼 이미지들을 제시하는 라이트 필드 디스플레이(이를테면, 예컨대 도 4-6를 참조로 하여 설명된 라이트 필드 디스플레이들)의 성능들은 게임의 리얼리즘 및 플레이능력(playability)을 크게 강화할 수 있다. 용 이외에도, 웨어러블 디바이스는 다른 정보(예컨대, 텍스트 또는 그래픽들)(예컨대, 게임 플레이 통계들 또는 상태)를 사용자에게 선택적으로 디스플레이할 수 있다.
[0215] 도 7를 참조로 하여 설명된 바와같이, 웨어러블 디바이스는 물리적 또는 가상 환경들의 지도들 뿐만아니라 환경내의 객체들을 다른 웨어러블 디바이스로 패스할 수 있다. 예컨대, 웨어러블 디바이스는 사용자의 방의 지도와 방내의 가상 객체들을 다른 사용자의 웨어러블 디바이스로 패스할 수 있다. 따라서, 사용자들은 마치 자신들과 가상 객체들이 동일한 환경내에 있는 것처럼 가상 객체들과 상호작용할 수 있다.
부가적인
실시예들
[0216] 제1 양상에서, 가상 콘텐츠를 보기 위한 방법으로서, 방법은 사용자의 FOV(field of view)의 지역에 관한 지역 데이터에 액세스하는 단계; 가상 콘텐츠가 디스플레이될 지역의 부-지역을 식별하기 위하여 지역 데이터를 분석하는 단계; 지역 데이터 및 부-지역 데이터에 부분적으로 기반하여 가상 콘텐츠에 액세스하거나 또는 가상 콘텐츠를 생성하는 단계; 및 사용자가 볼 때, 마치 가상 콘텐츠가 지역의 부-지역내에 배치되거나 또는 이 부-지역상에 배치된 것처럼 가상 콘텐츠가 보이도록 가상 콘텐츠를 디스플레이하는 단계를 포함한다.
[0217] 제2 양상에서, 양상 1의 방법에 있어서, 식별된 부-지역은 지역내의 물리적 객체를 포함한다.
[0218] 제3 양상에서, 양상 1 또는 양상 2의 방법에 있어서, 지역 데이터는 사용자의 FOV(field of view)내의 지역의 이미지를 분석하는 것으로부터 획득된다.
[0219] 제4 양상에서, 양상들 1 내지 3 중 어느 한 양상의 방법에서, 가상 콘텐츠는 새로이 수신된 지역 데이터 또는 부-지역 데이터에 부분적으로 기반하여 수정된다.
[0220] 제5 양상에서, 양상들 1 내지 4 중 어느 한 양상의 방법은 사용자 입력을 수신하는 단계; 사용자 입력에 적어도 부분적으로 기반하여 부가적인 가상 콘텐츠 베이스에 액세스하거나 또는 이를 생성하는 단계; 및 부가적인 가상 콘텐츠를 디스플레이하는 단계를 더 포함한다.
[0221] 제6 양상에서, 양상들 1 내지 5 중 어느 한 양상의 방법에 있어서, 부-영역은 사용자에 근접해 있는 지역의 부분을 포함한다.
[0222] 제7 양상에서, 가상 콘텐츠와 상호작용하기 위한 방법으로서, 방법은 가상 콘텐츠에 액세스하거나 또는 이를 생성하는 단계; 사용자의 FOV(field of view)내의 가상 콘텐츠를 디스플레이하는 단계; 가상 콘텐츠와 연관된 가상 사용자 인터페이스를 디스플레이하는 단계; 사용자 입력을 수신하는 단계; 가상 사용자 인터페이스의 사용자 입력 피처와 연관된 기능과 사용자 입력을 연관시키는 단계 및 기능을 수행하는 단계를 포함한다.
[0223] 제8 양상에서, 양상 7의 방법은 수신된 사용자 입력에 부분적으로 기반하여 가상 콘텐츠를 조작하거나 또는 수정하는 단계를 더 포함한다.
[0224] 제9 양상에서, 양상들 7 또는 8 중 어느 한 양상의 방법에 있어서, 사용자 입력은 제스처이다.
[0225] 제10 양상에서, 양상들 7 또는 9 중 어느 한 양상의 방법에 있어서, 사용자 입력은 사용자의 눈의 움직임이다.
[0226] 제11 양상에서, 양상들 7 또는 10 중 어느 한 양상의 방법에 있어서, 가상 콘텐츠는 교육용 콘텐츠 또는 엔터테인먼트 콘텐츠를 포함한다.
[0227] 제12 양상에서, 양상들 7 내지 11 중 어느 한 양상의 방법에 있어서, 가상 콘텐츠 또는 가상 사용자 인터페이스는 사용자가 인지할 때 3차원인 것으로 보인다.
[0228] 제13 양상에서, 양상들 7 내지 12 중 어느 한 양상의 방법에 있어서, 가상 사용자 인터페이스의 사용자 입력 피처는 다이얼, 스위치, 슬라이더 또는 버튼을 포함한다.
[0229] 제14 양상에서, 양상들 7 내지 13 중 어느 한 양상의 방법에 있어서, 가상 사용자 인터페이스는 가상 사용자 인터페이스의 기능성에 관한 정보를 디스플레이하도록 구성된 출력 피처를 포함한다.
[0230] 제15 양상에서, 양상 14의 방법에 있어서, 출력 피처는 실시간으로 업데이트된다.
[0231] 제16 양상에서, 증강 현실 환경에서 정보를 디스플레이하는 방법으로서, 방법은 사용자의 위치를 결정하는 단계; 사용자의 FOV(field of view)에서 물리적 객체를 식별하는 단계; 위치 또는 식별된 물리적 객체에 적어도 부분적으로 기반하여, 식별된 물리적 객체와 관련된 정보에 액세스하거나 또는 이를 생성하는 단계; 정보에 기반하여 가상 콘텐츠를 생성하는 단계; 및 물리적 객체와 연관되게 정보가 사용자에게 보이도록 가상 콘텐츠를 디스플레이하는 단계를 포함한다.
[0232] 제17 양상에서, 양상 16의 방법에 있어서, 가상 콘텐츠는 텍스트, 이미지, 그래픽 또는 비디오를 포함한다.
[0233] 제18 양상에서, 양상 16 또는 양상 17의 방법은 디스플레이된 가상 콘텐츠와 연관된 오디오를 플레이하는 단계를 더 포함한다.
[0234] 제19 양상에서, 양상들 16 내지 18 중 어느 한 양상의 방법은 사용자 입력에 적어도 부분적으로 기반하여 부가적인 가상 콘텐츠를 디스플레이하는 단계를 더 포함한다.
[0235] 제20 양상에서, 실행가능 명령들이 실행될 때 하드웨어 프로세서가 양상들 1 내지 19 중 어느 한 양상의 방법을 수행하도록, 하드웨어 프로세서는 실행가능 명령들로 프로그래밍된다.
[0236] 제21 양상에서, 웨어러블 디스플레이 시스템은 양상 20의 하드웨어 프로세서; 및 웨어러블 디스플레이 시스템의 사용자의 눈에 이미지를 제공하도록 구성된 디스플레이를 포함한다.
[0237] 제22 양상에서, 양상 21의 웨어러블 디스플레이 시스템에 있어서, 디스플레이는 라이트 필드 디스플레이를 포함한다.
[0238] 제23 양상에서, 양상 21 또는 양상 22의 웨어러블 디스플레이 시스템에 있어서, 디스플레이는 다수의 깊이 평면들에서 이미지들 디스플레이하도록 구성된다.
[0239] 제24 양상에서, 양상들 21 내지 23 중 어느 한 양상의 웨어러블 디스플레이 시스템은 물리적 객체들을 포함하는 지역의 이미지를 캡처하도록 구성된 이미지 캡처 디바이스를 더 포함하며, 웨어러블 디스플레이 시스템은 물리적 객체들 중 하나 또는 그 초과의 객체와 연관된 것으로 사용자에 의해 인지되는 가상 콘텐츠를 디스플레이하도록 구성된다.
[0240] 제25 양상에서, 3차원(3D) 공간에 위치한 가상 객체를 선택하기 위한 방법으로서, 방법은, 컴퓨터 하드웨어를 포함하는 증강 현실(AR) 시스템의 제어하에서 ― AR 시스템은 사용자의 FOR(field of regard)내의 사용작용가능 객체들과 사용자 상호작용을 허용하도록 구성되며, FOR은 AR 시스템을 통해 사용자가 인지할 수 있는, 사용자 주위의 환경의 일부분을 포함함 ―: 사용자의 FOR내의 상호작용가능 객체들의 그룹을 결정하는 단계; 사용자의 포즈를 결정하는 단계; 사용자의 포즈에 적어도 부분적으로 기반하여 사용자의 FOV(field of view)를 결정하는 단계 ― FOV는 주어진 시간에 사용자가 인지하는, FOR의 일부분을 포함함 ―; 사용자의 FOV 또는 포즈의 변경에 기반하여 사용자의 FOV에 위치하는 상호작용가능 객체들의 서브그룹을 업데이트하는 단계; 상호작용가능 객체들의 서브그룹으로부터 상호작용가능 타겟 객체의 선택을 수신하는 단계; 및 상호작용가능 타겟 객체에 대한 선택 이벤트를 개시하는 단계를 포함한다.
[0241] 제26 양상에서, 양상 25의 방법은 데이터 구조에 상호작용가능 객체들의 그룹을 저장하는 단계를 더 포함한다.
[0242] 제27 양상에서, 양상 26의 방법에 있어서, 상호작용가능 객체들의 그룹내의 각각의 상호작용가능 객체는 사용자의 FOV내의 상호작용가능 객체의 위치에 적어도 부분적으로 기반하여 데이터 구조에서 표현된다.
[0243] 제28 양상에서, 양상 27의 방법에 있어서, 위치는 사용자의 FOV의 에지로부터의 거리를 포함한다.
[0244] 제29 양상에서, 양상 25의 방법에 있어서, 상호작용가능 객체들의 서브그룹으로부터 상호작용가능 타겟 객체의 선택을 수신하는 단계는 사용자 디바이스로부터 제1 입력을 수신하는 단계; 및 제1 입력에 대한 응답으로, 상호작용가능 객체들의 서브그룹으로부터 상호작용가능 타겟 객체를 식별하는 단계를 포함한다.
[0245] 제30 양상에서, 양상 25의 방법은 사용자 디바이스로부터 제2 입력을 수신하는 단계; 및 제2 입력에 대한 응답으로, 상호작용가능 타겟 객체에 대한 상호작용 이벤트를 개시하는 단계를 더 포함한다.
[0246] 제31 양상에서, 양상 30의 방법에 있어서, 상호작용가능 타겟 객체는 사용자의 FOV의 중간점에 가장 근접한, 상호작용가능 객체들의 서브그룹의 상호작용가능 객체이다.
[0247] 제32 양상에서, 양상 30의 방법에 있어서, 상호작용가능 타겟 객체는 사용자의 FOV내의 상호작용가능 객체들의 서브그룹의 최좌측 또는 최우측 상호작용가능 객체이다.
[0248] 제33 양상에서, 양상들 30 내지 32 중 어느 한 양상의 방법에 있어서, 상호작용 이벤트를 개시하는 단계는 상호작용가능 타겟 객체를 리사이징하는 단계; 상호작용가능 타겟 객체의 메뉴를 디스플레이하는 단계; 상호작용가능 타겟 객체의 메뉴를 브라우징하는 단계; 메뉴상에서 제1 아이템을 선택하는 단계; 데이터베이스에서 제2 아이템을 탐색하는 단계; 상호작용가능 타겟 객체와 연관된 비디오 게임을 플레이하는 단계; 비디오를 보는 단계; 또는 원격 화상회의를 수행하는 단계 중 하나 또는 그 초과를 포함한다.
[0249] 제34 양상에서, 양상 25의 방법에 있어서, 상호작용가능 타겟 객체의 선택을 수신하는 단계는 사용자의 포즈에 기반하여 사용자의 응시 경로를 결정하는 단계; 및 사용자의 응시 경로와 교차하는 객체를 상호작용가능 타겟 객체로서 선택하는 단계에 의해 수행된다.
[0250] 제35 양상에서, 양상들 25 내지 34 중 어느 한 양상의 방법은 상호작용가능 타겟 객체에 가시적 포커스 표시자를 할당하는 단계를 더 포함한다.
[0251] 제36 양상에서, 양상 35의 방법에 있어서, 가시적 포커스 표시자는 상호작용가능 타겟 객체의 하이라이트(highlight), 헤일로 분위기(halo aura), 컬러 변경, 크기 변경, 또는 인지된 깊이의 변경을 포함한다.
[0252] 제37 양상에서, 양상 25의 방법에 있어서, 선택 이벤트를 개시하는 단계는 상호작용가능 타겟 객체가 되는 상이한 상호작용가능 객체로 상호작용가능 타겟 객체를 변경하는 단계; 상호작용가능 타겟 객체와 연관된 메뉴를 여는 단계; 또는 상호작용가능 타겟 객체를 선택하기 위하여 사용자로부터의 확인을 수신하는 단계 중 하나 또는 그 초과를 포함한다.
[0253] 제38 양상에서, 양상들 25 내지 37 중 어느 한 양상의 방법에 있어서, 상호작용가능 객체들의 그룹은 가상 객체들을 포함한다.
[0254] 제39 양상에서, 양상들 25 내지 38 중 어느 한 양상의 방법에 있어서, 사용자의 포즈는 눈 포즈를 포함한다.
[0255] 제40 양상에서, 양상들 25 내지 39 중 어느 한 양상의 방법에 있어서, 사용자의 포즈는 머리 포즈를 포함한다.
[0256] 제41 양상에서, 3차원(3D) 공간에 위치한 가상 객체를 선택하기 위한 증강 현실(AR) 시스템으로서, 시스템은 디스플레이 시스템; 네트워크 인터페이스; 및 컴퓨터 프로세서들을 포함하며, 컴퓨터 프로세서들은, 사용자의 FOR내의 상호작용가능 객체들의 그룹을 결정하며; 사용자의 포즈를 결정하며; 사용자의 포즈에 적어도 부분적으로 기반하여 사용자의 FOV(field of view)를 결정하며 ― FOV는 주어진 시간에 사용자가 인지하는 FOR의 일부분을 포함함 ―; 사용자의 FOV 또는 포즈의 변경에 기반하여 사용자의 FOV에 위치하는 상호작용가능 객체들의 서브그룹을 업데이트하며; 상호작용가능 객체들의 서브그룹으로부터 상호작용가능 타겟 객체의 선택을 수신하며; 그리고 상호작용가능 타겟 객체에 대한 선택 이벤트를 개시하기 위하여, 네트워크 인터페이스 및 디스플레이 시스템과 통신하도록 구성된다.
[0257] 제42 양상에서, 양상 41의 시스템에 있어서, 컴퓨터 프로세서들은 데이터 구조에 상호작용가능 객체들의 그룹을 저장하도록 추가로 구성된다.
[0258] 제43 양상에서, 양상 42의 시스템에 있어서, 상호작용가능 객체들의 그룹내의 하나 또는 그 초과의 상호작용가능 객체들은 사용자의 FOV내의 상호작용가능 객체의 위치에 적어도 부분적으로 기반하여 데이터 구조에서 표현된다.
[0259] 제44 양상에서, 양상 43의 시스템에 있어서, 위치는 사용자의 FOV의 에지로부터의 거리를 포함한다.
[0260] 제45 양상에서, 양상들 41 내지 44 중 어느 한 양상의 시스템에 있어서, 상호작용가능 객체들의 서브그룹으로부터 상호작용가능 타겟 객체의 선택을 수신하도록 구성된 컴퓨터 프로세서는 사용자 디바이스로부터 제1 입력을 수신하는 것; 및 제1 입력에 대한 응답으로, 상호작용가능 객체들의 서브그룹으로부터 상호작용가능 타겟 객체를 식별하는 것을 포함한다.
[0261] 제46 양상에서, 양상들 41 내지 45 중 어느 한 양상의 시스템에 있어서, 상호작용가능 타겟 객체는 사용자의 FOV의 중간점에 가장 근접한, 상호작용가능 객체들의 서브그룹의 상호작용가능 객체이다.
[0262] 제47 양상에서, 양상들 41 내지 45 중 어느 한 양상의 시스템에 있어서, 상호작용가능 타겟 객체는 사용자의 FOV내의 상호작용가능 객체들의 서브그룹의 최좌측 또는 최우측 상호작용가능 객체들이다.
[0263] 제48 양상에서, 양상들 41 내지 47의 시스템에 있어서, 상호작용가능 객체의 서브그룹으로부터 상호작용가능 타겟 객체의 선택을 수신하도록 구성된 컴퓨터 프로세서는 사용자의 포즈에 기반하여 사용자의 응시 경로를 결정하는 것; 및 사용자의 응시 경로와 교차하는 객체를 상호작용가능 타겟 객체로서 선택하는 것을 포함한다.
[0264] 제49 양상에서, 양상들 41 내지 48 중 어느 한 양상의 시스템에 있어서, 컴퓨터 프로세서는 상호작용가능 타겟 객체에 가시적 포커스 표시자를 할당하도록 추가로 구성된다.
[0265] 제50 양상에서, 양상 49의 시스템에 있어서, 가시적 포커스 표시자는 상호작용가능 타겟 객체의 하이라이트, 헤일로 분위기, 컬러 변경, 크기 변경, 또는 인지된 깊이의 변경을 포함한다.
[0266] 제51 양상에서, 양상들 41 내지 50의 시스템에 있어서, 선택 이벤트를 개시하도록 구성된 컴퓨터 프로세서는 상호작용가능 타겟 객체가 되는 상이한 상호작용가능 객체로 상호작용가능 타겟 객체를 변경하는 것; 상호작용가능 타겟 객체와 연관된 메뉴를 여는 것; 또는 상호작용가능 타겟 객체를 선택하기 위하여 사용자로부터의 확인을 수신하는 것 중 하나 또는 그 초과를 포함한다.
[0267] 제52 양상에서, 양상들 41 내지 51 중 어느 한 양상의 방법에 있어서, 상호작용가능 객체들의 그룹은 가상 객체들을 포함한다.
[0268] 제53 양상에서, 양상들 41 내지 52 중 어느 한 양상의 방법에 있어서, 사용자의 포즈는 눈 포즈를 포함한다.
[0269] 제54 양상에서, 양상들 51 내지 53 중 어느 한 양상의 방법에 있어서, 사용자의 포즈는 머리 포즈를 포함한다.
[0270] 제55 양상에서, 3차원(3D) 공간에서 가상 객체들과 상호작용하기 위한 시스템으로서, 시스템은 복수의 상호작용가능 객체들을 디스플레이하기 위한 증강 현실 디스플레이; 사용자 입력 디바이스; 사용자의 포즈를 결정하도록 구성된 하나 또는 그 초과의 센서들; 하나 또는 그 초과의 프로세서들을 포함하며, 하나 또는 그 초과의 프로세서들은 가상 객체들을 선택하기 위하여 제1 사용자 입력 모드와 제2 사용자 입력 모드 사이를 스위칭하도록 구성되며, 제1 사용자 입력 모드는 사용자의 포즈에 적어도 부분적으로 기반하며, 제2 사용자 입력 모드는 사용자 입력 디바이스로부터의 신호들에 적어도 부분적으로 기반하며, 그리고 하나 또는 그 초과의 프로세서들은 시스템이 제1 사용자 입력 모드에서 동작하는 동안, 사용자의 포즈를 모니터링하고, 모니터링된 포즈에 적어도 부분적으로 기반하여, 사용자의 포즈와 관련된 방향에서 제1 사용자 입력 모드와 연관된 제1 포커스 표시자를 디스플레이하며, 제2 사용자 입력 모드로 스위칭하기 위한 표시를 수신하며 ― 표시는 상호작용가능 타겟 객체의 선택을 추가로 표시함; 그리고 시스템이 제2 사용자 입력 모드에서 동작하는 동안, 사용자 입력 디바이스로부터의 사용자 입력을 모니터링하고 그리고 모니터링된 사용자 입력에 적어도 부분적으로 기반하여 제2 사용자 입력 모드와 연관된 제2 포커스 표시자를 디스플레이하도록 추가로 구성된다.
[0271] 제56 양상에서, 양상 55의 시스템에 있어서, 제1 포커스 표시자는 제1 형상의 커서를 포함하며, 제2 포커스 표시자는 제2 형상의 커서를 포함한다.
[0272] 제57 양상에서, 양상 56의 시스템에 있어서, 제1 형상은 레티클을 포함하며, 제2 형상은 화살표를 포함한다.
[0273] 제58 양상에서, 양상 55의 시스템에 있어서, 하나 또는 그 초과의 프로세서들은 제1 포커스 표시자 또는 제2 포커스 표시자의 위치와 연관된 맥락 관련 정보를 결정하며; 그리고 맥락 관련 정보에 적어도 부분적으로 기반하여 상이한 사용자 입력 모드로 스위칭하기 위한 옵션을 디스플레이하도록 추가로 구성된다.
[0274] 제59 양상에서, 양상들 55 내지 58 중 어느 한 양상의 시스템에 있어서, 상호작용가능 타겟 객체는 하나 또는 그 초과의 가상 객체들을 포함한다.
[0275] 제60 양상에서, 양상들 55 내지 59 중 어느 한 양상의 시스템에 있어서, 사용자의 포즈는 머리 포즈, 눈 포즈 또는 몸 포즈 중 적어도 하나를 포함한다.
[0276] 제61 양상에서, 양상들 55 내지 60 중 어느 한 양상의 시스템에 있어서, 사용자 입력 디바이스는 엄지 패드, 트랙패드, d-패드 또는 터치 스크린이다.
[0277] 제62 양상에서, 3차원(3D) 공간에 위치한 상호작용가능 객체를 선택하기 위한 방법으로서, 방법은, 컴퓨터 하드웨어를 포함하는 증강 현실(AR) 시스템의 제어하에서, ― AR 시스템은 사용자의 FOR(field of regard)내의 상호작용가능 객체와의 사용자 상호작용을 허용하도록 구성되며, FOR은 AR 시스템을 통해 사용자가 인지할 수 있는, 사용자 주위의 환경의 일부분을 포함하며, AR 시스템은 사용자 입력 디바이스를 더 포함함 ―, 사용자의 FOR내의 가상 객체들과 연관된 상호작용가능 객체들의 그룹을 결정하는 단계; 사용자의 포즈를 결정하는 단계; 사용자의 포즈에 적어도 부분적으로 기반하여 상호작용가능 객체들의 그룹 중에서 상호작용가능 타겟 객체를 결정하는 단계; 선택된 상호작용가능 타겟 객체와 포커스 표시자를 연관시키는 단계; 및 사용자 입력 디바이스의 입력에 적어도 부분적으로 기반하여 선택된 타겟 표면에 대한 선택 이벤트를 개시하는 단계를 포함한다.
[0278] 제63 양상에서, 양상 62의 방법에 있어서, 상호작용가능 타겟 객체를 결정하는 단계는 광선 캐스팅(ray casting)에 의해 수행된다.
[0279] 제64 양상에서, 양상 63의 방법에 있어서, 광선 캐스팅은 광속 광선(pencil ray)을 캐스팅하는 것을 포함한다.
[0280] 제65 양상에서, 양상 63의 방법에 있어서, 광선 캐스팅은 상당한 가로 폭을 가진 광선을 캐스팅하는 것을 포함한다.
[0281] 제66 양상에서, 양상 62의 방법에 있어서, 포커스 표시자는 사용자에게 가시적이다.
[0282] 제67 양상에서, 양상 66의 방법은 포커스 표시자를 사용자에게 디스플레이하는 단계를 더 포함한다.
[0283] 제68 양상에서, 양상 62의 방법은 사용자의 포즈에 적어도 부분적으로 기반하여 사용자의 FOV(field of view)를 결정하는 단계 ― FOV는 주어진 시간에 사용자가 인지한 FOR의 일부분을 포함함 ―; FOV(field of view) 내의 하나 또는 그 초과의 상호작용가능 객체들의 맥락 관련 정보에 액세스하는 단계; 및 맥락 관련 정보에 적어도 부분적으로 기반하여 사용자 입력 모드에 대한 하나 또는 그 초과의 옵션들을 제공하는 단계를 더 포함한다.
[0284] 제69 양상에서, 양상 68의 방법은 사용자 입력 모드에 대한 옵션의 선택을 수신하는 단계; 현재의 사용자 입력 모드를 결정하는 단계; 및 현재의 사용자 입력 모드가 선택된 옵션과 상이하다는 결정에 대한 응답으로 현재의 사용자 입력 모드를 선택된 옵션으로 업데이트하는 단계를 더 포함한다.
[0285] 제70 양상에서, 양상 69의 방법은 현재의 사용자 입력 모드가 변경되었음을 표시하기 위하여 포커스 표시자를 업데이트하는 단계를 더 포함한다.
[0286] 제71 양상에서, 양상 70의 방법에 있어서, 사용자 입력 모드는 사용자의 포즈 또는 사용자 입력 디바이스 중 하나 또는 그 초과를 포함한다.
[0287] 제72 양상에서, 양상들 62 내지 71 중 어느 한 양상의 방법에 있어서, 상호작용가능 객체들의 그룹은 하나 또는 그 초과의 가상 사용자 인터페이스 평면들을 포함한다.
[0288] 제73 양상에서, 양상들 62 내지 72 중 어느 한 양상의 방법에 있어서, 사용자의 포즈는 눈 포즈, 머리 포즈 또는 몸 포즈 중 적어도 하나를 포함한다.
[0289] 제74 양상에서, 3차원(3D) 환경에서 가상 객체들과 상호작용하기 위한 방법으로서, 방법은, 컴퓨터 하드웨어를 포함하는 증강 현실(AR) 시스템의 제어하에서, ― AR 시스템은 사용자의 FOR(field of regard)내의 상호작용가능 객체와의 사용자 상호작용을 허용하도록 구성되며, FOR은 AR 시스템을 통해 사용자가 인지할 수 있는, 사용자 주위의 환경의 일부분을 포함하며, AR 시스템은 사용자 입력 디바이스를 더 포함함 ―, 사용자의 포즈를 결정하는 단계; 사용자의 포즈와 관련된 방향에서 상호작용가능 타겟 객체와 연관된 제1 포커스 표시자를 디스플레이하는 단계 ― 상호작용가능 타겟 객체는 복수의 가상 객체들을 포함함―; 상호작용가능 타겟 객체의 선택을 수신하는 단계; 복수의 가상 객체들을 디스플레이하는 단계; 타겟 가상 객체와 연관된 제2 포커스 표시자를 디스플레이하는 단계; 사용자 입력 디바이스로부터의 입력에 적어도 부분적으로 기반하여 제2 포커스 표시자를 업데이트하는 단계를 포함한다.
[0290] 제75 양상에서, 양상 74의 방법에 있어서, 제1 포커스 표시자는 제1 형상의 커서를 포함하며, 제2 포커스 표시자는 제2 형상의 커서를 포함한다.
[0291] 제76 양상에서, 양상 75의 방법에 있어서, 제1 형상은 레티클을 포함하며, 제2 형상은 화살표를 포함한다.
[0292] 제77 양상에서, 양상들 74 내지 76 중 어느 한 양상의 방법에 있어서, 사용자의 포즈는 머리 포즈, 눈 포즈 또는 몸 포즈 중 적어도 하나를 포함한다.
[0293] 제78 양상에서, 양상들 74 내지 77 중 어느 한 양상의 방법에 있어서, 사용자 입력 디바이스는 엄지 패드, 트랙패드, d-패드 또는 터치 스크린이다.
[0294] 제79 양상에서, 3차원(3D) 공간에서 가상 객체들과 상호작용하기 위한 방법으로서, 방법은, 컴퓨터 하드웨어를 포함하는 증강 현실(AR) 시스템의 제어하에서 ― AR 시스템은 사용자의 FOR(field of regard)내의 상호작용가능 객체들과의 사용자 상호작용을 허용하도록 구성되며, FOR은 AR 시스템을 통해 사용자가 인지할 수 있는, 사용자 주의의 환경의 일부분을 포함하며, AR 시스템은 사용자 입력 디바이스를 더 포함함 ―, AR 시스템이 제1 사용자 입력 모드에서 동작하는 동안 ― 제1 사용자 입력 모드는 사용자의 포즈에 적어도 부분적으로 기반함 ―, 사용자의 포즈를 모니터링하는 단계, 모니터링된 포즈에 적어도 부분적으로 기반하여, 사용자의 포즈와 관련된 방향에서 제1 사용자 입력 모드와 연관된 제1 포커스 표시자를 디스플레이하는 단계, 제2 사용자 입력 모드로 스위칭하기 위한 표시를 수신하는 단계 ― 표시는 상호작용가능 타겟 객체의 선택을 추가로 표시함 ―; AR 시스템이 제2 사용자 입력 모드에서 동작하는 동안 ― 제2 사용자 입력 모드는 사용자 입력 디바이스로부터의 신호들에 적어도 부분적으로 기반함 ―, 사용자 입력 디바이스로부터의 사용자 입력을 모니터링하는 단계, 및 모니터링된 사용자 입력에 적어도 부분적으로 기반하여, 제2 사용자 입력 모드와 연관된 제2 포커스 표시자를 디스플레이하는 단계를 포함한다.
[0295] 제80 양상에서, 양상 79의 방법에 있어서, 제1 포커스 표시자는 제1 형상의 커서를 포함하며, 제2 포커스 표시자는 제2 형상의 커서를 포함한다.
[0296] 제81 양상에서, 양상 80의 방법에 있어서, 제1 형상은 레티클을 포함하며, 제2 형상은 화살표를 포함한다.
[0297] 제82 양상에서, 양상 79의 방법에 있어서, 제1 포커스 표시자 또는 제2 포커스 표시자의 위치와 연관된 맥락 관련 정보를 결정하는 단계; 및 맥락 관련 정보에 적어도 부분적으로 기반하여 상이한 사용자 입력 모드로 스위칭하기 위한 옵션을 디스플레이하는 단계를 더 포함한다.
[0298] 제83 양상에서, 양상들 79 내지 82 중 어느 한 양상의 방법에 있어서, 상호작용가능 타겟 객체는 하나 또는 그 초과의 가상 객체들을 포함한다.
[0299] 제84 양상에서, 양상들 79 내지 83 중 어느 한 양상의 방법에 있어서, 사용자의 포즈는 머리 포즈, 눈 포즈 또는 몸 포즈 중 적어도 하나를 포함한다.
[0300] 제85 양상에서, 양상들 79 내지 84 중 어느 한 양상의 방법에 있어서, 사용자 입력 디바이스는 엄지 패드, 트랙패드, d-패드 또는 터치 스크린이다.
[0301] 제86 양상에서, 증강 현실 디바이스는 양상들 62 내지 85 중 어느 한 양상의 방법을 수행하도록 프로그래밍된 컴퓨터 하드웨어를 포함한다.
[0302] 제87 양상에서, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 시스템으로서, 시스템은 사용자에게 3차원(3D) 뷰를 제시하도록 구성된 웨어러블 디바이스의 디스플레이 시스템 ― 3D 뷰는 상호작용가능 객체들을 포함함 ―; 사용자 입력을 수신하도록 구성된 사용자 입력 디바이스; 사용자의 포즈와 연관된 데이터를 획득하도록 구성된 센서; 사용자 입력 디바이스와 통신하는 하드웨어 프로세서를 포함하며, 프로세서는 상호작용가능 객체들과 상호작용하기 위한 현재의 사용자 입력 모드가 제1 사용자 입력 모드인지 또는 제2 사용자 입력 모드인지의 여부를 결정하며 ― 제1 사용자 입력 모드는 사용자의 포즈에 적어도 부분적으로 기반하며, 제2 사용자 입력 모드는 사용자 입력 디바이스로부터의 사용자 입력에 적어도 부분적으로 기반함―; 현재의 사용자 입력 모드가 제1 사용자 입력 모드라는 결정에 대한 응답으로, 센서를 사용하여 사용자의 포즈를 모니터링하며, 모니터링된 포즈에 적어도 부분적으로 기반하여, 사용자의 포즈와 관련된 방향에서 제1 사용자 입력 모드와 연관된 제1 형상의 포커스 표시자를 디스플레이 시스템을 통해 제시하며, 제2 사용자 입력 모드로 스위칭하기 위한 제1 표시를 수신하며, 그리고 제1 표시에 대한 응답으로 제2 사용자 입력 모드로 현재의 사용자 입력 모드를 스위칭하며; 현재의 사용자 입력 모드가 제2 사용자 입력 모드라는 결정에 대한 응답으로, 사용자 입력 디바이스로부터의 사용자 입력을 모니터링하며, 모니터링된 입력에 적어도 부분적으로 기반하여, 제2 사용자 입력 모드와 연관된 제2 형상의 포커스 표시자를 디스플레이 시스템을 통해 제시하며, 제1 사용자 입력 모드로 스위칭하기 위한 제2 표시를 수신하며, 그리고 제2 표시에 대한 응답으로 현재의 사용자 입력 모드를 제1 사용자 입력 모드로 스위칭하도록 프로그래밍된다.
[0303] 제88 양상에서, 양상 87의 시스템에 있어서, 사용자의 포즈는 머리 포즈, 눈 포즈, 발 포즈 또는 몸 포즈 중 적어도 하나를 포함하거나, 또는 센서는 내향-대면 이미징 시스템, 외향-대면 이미징 시스템 또는 관성 측정 유닛 중 적어도 하나를 포함하거나 또는 디스플레이 시스템은 다수의 깊이 평면들에서 상호작용가능 객체들 중 하나 또는 그 초과의 상호작용가능 객체들을 디스플레이하도록 구성된 라이트 필드 디스플레이를 포함한다.
[0304] 제89 양상에서, 양상들 87 내지 88 중 어느 한 양상의 시스템에 있어서, 프로세서는 사용자의 포즈에 적어도 부분적으로 기반하여 사용자의 FOV(field of view)를 결정하며 ― FOV는 주어진 시간에 사용자가 인지한, 사용자의 환경의 일부분을 포함함 ―; FOV와 연관된 맥락 관련 정보를 결정하며 ― 맥락 관련 정보는 FOV내의 상호작용가능 객체들의 레이아웃, FOV의 크기, 사용자의 FOV의 상호작용가능 객체들 중 하나 또는 그 초과의 상호작용가능 객체들의 크기 중 적어도 하나를 포함함―; 그리고 맥락 관련 정보에 적어도 부분적으로 기반하여, 제1 사용자 입력 모드로부터 제2 사용자 입력 모드로 또는 제2 사용자 입력 모드로부터 제1 사용자 입력 모드로 스위칭하기 위한 옵션을 제시하도록 추가로 프로그래밍된다.
[0305] 제90 양상에서, 양상 89의 시스템에 있어서, 옵션을 제시하기 위하여, 프로세서는 현재의 사용자 입력 모드가 제1 사용자 입력 모드일 때 제2 형상의 포커스 표시자를 제시하며, 현재의 사용자 입력 모드가 제2 사용자 입력 모드일 때 제1 형상의 포커스 표시자를 제시하도록 프로그래밍된다.
[0306] 제91 양상에서, 양상들 87 내지 90 중 어느 한 양상의 시스템에 있어서, 제1 표시는 사용자의 포즈의 변경을 포함하며, 제2 표시는 사용자 입력 디바이스의 작동을 포함한다.
[0307] 제92 양상에서, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 방법에 있어서, 방법은, 컴퓨터 프로세서를 포함하는 웨어러블 디바이스의 제어하에서 ― 웨어러블 디바이스는 사용자의 FOR(field of regard)내의 상호작용가능 객체들과의 사용자 상호작용을 허용하도록 구성되며, FOR은 웨어러블 디바이스의 디스플레이 시스템을 통해 사용자가 인지할 수 있는, 사용자 주위의 환경의 일부분을 포함함―, 사용자의 포즈를 결정하는 단계; 사용자의 포즈와 관련된 방향에서 상호작용가능 타겟 객체와 연관된 제1 포커스 표시자를 디스플레이 시스템을 통해 디스플레이하는 단계 ― 상호작용가능 타겟 객체는 복수의 가상 객체들을 포함함 ―; 상호작용가능 타겟 객체의 선택을 수신하는 단계; 사용자 입력 디바이스상에서 사용자 입력 모드를 포즈들로부터 손 제스처들로 스위칭하기 위한 옵션을 사용자에게 제시하는 단계; 복수의 가상 객체들을 디스플레이 시스템을 통해 디스플레이하는 단계; 사용자가 사용자 입력 디바이스상에서 사용자 입력 모드를 포즈들로부터 손 제스처들로 스위칭했다는 결정에 대한 응답으로 복수의 가상 객체들 중 타겟 가상 객체와 연관된 제2 포커스 표시자를 디스플레이 시스템을 통해 디스플레이하는 단계; 및 사용자 입력 디바이스로부터의 사용자 입력에 적어도 부분적으로 기반하여 제2 포커스 표시자를 업데이트하는 단계를 포함한다.
[0308] 제93 양상에서, 양상 92의 방법에 있어서, 옵션은 상호작용가능 타겟 객체의 선택 또는 복수의 가상 객체들 또는 상호작용가능 타겟 객체와 연관된 맥락 관련 정보에 대한 응답으로 제시된다.
[0309] 제94 양상에서, 양상 93의 방법에 있어서, 맥락 관련 정보는 복수의 가상 객체들의 밀도를 포함하며, 사용자 입력 디바이스상에서 사용자 입력 모드를 포즈들로부터 손 제스처들로 스위칭하기 위한 옵션은 복수의 가상 객체의 밀도가 임계 밀도를 초과한다는 결정에 대한 응답으로 제시된다.
[0310] 제95 양상에서, 양상들 92 내지 94 중 어느 한 양상의 방법에 있어서, 타겟 가상 객체는 사용자의 포즈에 적어도 부분적으로 기반하여 식별된다.
[0311] 제96 양상에서, 양상들 92 내지 95 중 어느 한 양상의 방법에 있어서, 제2 포커스 표시자를 업데이트하는 단계는 제2 포커스 표시자를 타겟 가상 객체로부터 복수의 가상 객체들 중 다른 가상 객체로 이동시키는 단계를 포함한다.
[0312] 제97 양상에서, 양상들 92 내지 96 중 어느 한 양상의 방법은 타겟 가상 객체에 대한 선택 이벤트를 개시하는 단계를 더 포함하며, 선택 이벤트는 타겟 가상 객체와 연관된 메뉴를 여는 것 또는 타겟 가상 객체를 선택하는 표시를 수신하는 것 중 적어도 하나를 포함한다.
[0313] 제98 양상에서, 양상들 92 내지 97 중 어느 한 양상의 방법에 있어서, 복수의 가상 객체들은 기상 애플리케이션 또는 천문학 애플리케이션 중 적어도 하나를 포함하며, 기상 애플리케이션의 선택에 대한 응답으로, 웨어러블 디바이스는 사용자의 환경내의 객체상에 슈퍼임포즈된 가상 기상 정보를 디스플레이하도록 프로그래밍되며, 천문학 애플리케이션의 선택에 대한 응답으로, 웨어러블 디바이스는 사용자의 환경상에 슈퍼임포즈된 3차원 가상 행성을 포함하는 상호작용 행성 시스템을 디스플레이하도록 프로그래밍된다.
[0314] 제99 양상에서, 3차원(3D) 공간에 위치한 가상 객체를 선택하기 위한 웨어러블 시스템에 있어서, 웨어러블 시스템은 3D 공간에서 가상 객체들을 제시하도록 구성된 디스플레이 시스템; 3D 공간에서 상호작용가능 객체들을 저장하도록 구성된 비-일시적 데이터 스토어; 사용자의 포즈를 결정하도록 구성된 센서; 및 하드웨어 프로세서를 포함하며, 하드웨어 프로세서는 센서로부터 수신된 데이터에 적어도 부분적으로 기반하여 사용자의 포즈를 결정하며; 사용자의 포즈에 적어도 부분적으로 기반하여 사용자의 FOV(field of view)를 결정하며 ― FOV는 주어진 시간에 사용자가 인지하는, 사용자의 환경의 일부분을 포함함―; FOV내의 상호작용가능 객체들의 그룹을 식별하며; 사용자의 포즈에 적어도 부분적으로 기반하여 FOV내의 상호작용가능 타겟 객체를 식별하며; 그리고 상호작용가능 타겟 객체와 연관된 선택 이벤트를 개시하기 위하여 디스플레이 시스템, 데이터 스토어 및 센서와 통신하도록 프로그래밍된다.
[0315] 제100 양상에서, 양상 99의 웨어러블 시스템에 있어서, 상호작용가능 객체들의 그룹은 각각의 상호작용가능 객체와 연관된 인덱스가 3D 공간내에서의 상호작용가능 객체의 위치에 적어도 부분적으로 기반하여 결정되는 데이터 구조에 저장된다.
[0316] 제101 양상에서, 양상들 99 내지 100 중 어느 한 양상의 웨어러블 시스템에 있어서, 상호작용가능 타겟 객체에 대한 선택 이벤트를 개시하는 것에 대한 응답으로, 웨어러블 시스템의 프로세서는 3D 공간내에서 상호작용가능 타겟 객체의 임계 범위내의 가상 객체들을 2차원(2D) 인터페이스에서 제시하도록 프로그래밍된다.
[0317] 제102 양상에서, 양상 101의 웨어러블 시스템에 있어서, 2D 인터페이스는 사용자 입력 디바이스를 통해 상호작용가능하다.
[0318] 제103 양상에서, 양상들 99 내지 102 중 어느 한 양상의 웨어러블 시스템에 있어서, FOV내에서 상호작용가능 타겟 객체를 식별하기 위하여, 프로세서는 사용자의 포즈에 기반하여 사용자의 응시 경로를 결정하고 응시 경로와 교차하는 상호작용가능 객체를 상호작용가능 타겟 객체로서 선택하는 것; 또는 사용자의 FOV내의 최좌측 또는 최우측 상호작용가능 객체를 상호작용가능 타겟 객체로서 선택하는 것 중 적어도 하나를 수행하도록 구성되며, 최좌측 또는 최우측 상호작용가능 객체는 상호작용가능 객체들의 그룹과 연관된 인덱스들에 적어도 부분적으로 기반하여 선택된다.
[0319] 제104 양상에서, 양상들 99 내지 103 중 어느 한 양상의 웨어러블 시스템에 있어서, 프로세서는 사용자 입력 디바이스로부터의 입력을 수신하는 것 또는 사용자의 포즈의 변경을 검출하는 것 중 적어도 하나에 대한 응답으로 선택 이벤트를 개시하도록 구성된다.
[0320] 제105 양상에서, 양상들 99 내지 104 중 어느 한 양상의 웨어러블 시스템에 있어서, 프로세서는 상호작용가능 타겟 객체와 연관된 포커스 표시자를 제시하도록 추가로 구성된다.
[0321] 제106 양상에서, 양상들 99 내지 105 중 어느 한 양상의 웨어러블 시스템은 사용자의 위치와 연관된 데이터를 획득하도록 구성된 제오로케이션 센서를 더 포함하며, 상호작용가능 타겟 객체는 지오로케이션 센서에 의해 획득된 데이터에 기반하여 사용자의 위치를 결정하고; 사용자의 위치에 기반하여 기상 데이터를 획득하기 위하여 원격 컴퓨팅 디바이스와 통신하며; 기상 데이터와 연관된 가상 엘리먼트를 생성하며 그리고 사용자의 3D 공간내의 가상 엘리먼트와 슈퍼임포즈하도록 프로그래밍되는 기상 애플리케이션을 포함한다.
결론
[0322] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시된 프로세스들, 방법들 및 알고리즘들 각각은 하나 또는 그 초과의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 애플리케이션-특정 회로 및/또는 특수 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고 이들에 의해 전체적으로 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수목적 컴퓨터들, 특수 목적 회로들 등을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치되거나 또는 해석형 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0323] 더욱이, 본 개시내용의 기능성의 특정 구현들은 예컨대 수반되는 계산량 또는 계산의 복잡성으로 인해 그 기능성을 수행하거나 또는 실질적으로 실시간으로 결과들을 제공하기 위하여 애플리케이션-특정 하드웨어 또는 하나 또는 그 초과의 물리적 컴퓨팅 디바이스들(적절히 전문화된 실행가능 명령들을 활용함)이 필요할 수 있기 때문에 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하다. 예컨대, 비디오는 각각이 수백만 픽셀들을 갖는 많은 프레임들을 포함할 수 있으며, 상업적으로 적정한 시간량에서 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해 비디오 데이터를 처리하는데 특수하게 프로그래밍된 컴퓨터 하드웨어가 필요하다.
[0324] 코드 모듈들 또는 임의의 타입의 데이터는 하드 드라이브들, 고체상태 메모리, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 광 디스크, 휘발성 또는 비-휘발성 스토리지, 전술한 것들의 조합들 등을 포함하는 물리적 컴퓨터 스토리지와 같은 임의의 타입의 비-일시적 컴퓨터-판독가능 매체상에 저장될 수 있다. 방법들 및 모듈들 (또는 데이터)은 또한 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들을 통해 일반화된 데이터 신호들로서 (예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 부분으로서) 송신될 수 있고 (예컨대, 단일 또는 다중화된 아날로그 신호의 부분으로서 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태를 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 영구적으로 또는 그렇지 않으면 임의의 타입의 비-일시적 유형의 컴퓨터 스토리지에 저장될 수 있거나 또는 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.
[0325] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시된 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스에서 특정 기능들(예컨대, 논리적 또는 산술적) 또는 단계들을 구현하기 위한 하나 또는 그 초과의 실행가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 결합되거나, 재배열되거나, 본원에서 제공된 예시적인 예들에 추가되거나 또는 이들로부터 제거되거나 또는 수정되거나 또는 그렇지 않으면 변경될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들의 일부 또는 전부를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않으며, 이에 관한 블록들, 단계들 또는 상태들은 예컨대 직렬로, 병렬로 또는 임의의 다른 방식으로 적절한 다른 시퀀시들로 수행될 수 있다. 개시된 예시적인 실시예들에 태스크들 또는 이벤트들이 추가되거나 또는 이들로부터 삭제될 수 있다. 게다가, 본원에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 예시적인 목적을 위한 것이며, 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 또는 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 많은 구현의 변형들이 가능하다.
[0326] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경으로 구현될 수 있다. 네트워크 환경들은 전사적(enterprise-wide) 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소싱(crowd-sourced) 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹을 포함한다. 네트워크는 유선 또는 무선 네트워크일 수 있거나 또는 임의의 다른 타입의 통신 네트워크일 수 있다.
[0327] 본 개시내용의 시스템들 및 방법들은 각각 여러 혁신적인 양상들을 가지며, 이들 양상들 중 어떠한 단일 양상도 본원에 개시된 바람직한 속성들을 단독으로 담당하지 않는다. 앞서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나 또는 다양한 방식들로 결합될 수 있다. 모든 가능한 조합들 및 부조합들은 본 개시내용의 범위내에 있는 것으로 의도된다. 본 개시내용에 개시된 구현들에 대한 다양한 수정들은 당업자들에게 쉽게 명백할 것이며, 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위로부터 벗어남이 없이 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본원에서 제시된 구현들로 제한되는 것으로 의도된 것이 아니라, 본 개시내용, 본원에 개시된 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위에 부합해야 한다.
[0328] 개별적인 구현들의 맥락에서 본 명세서에서 설명된 특정 특징들은 또한 단일 구현에서 조합하여 구현될 수 있다. 역으로, 단일 구현의 맥락에서 설명되는 다양한 특징들은 또한 다수의 구현들에서 개별적으로 구현되거나 또는 임의의 적절한 부조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 작용하는 것으로 앞서 설명되고 심지어 처음에 이와같이 청구될 수 있을지라도, 청구된 조합으로부터의 하나 또는 그 초과의 특징들은 일부 경우들에서 조합으로부터 삭제될 수 있으며, 청구된 조합은 부조합 또는 부조합의 변형으로 유도될 수 있다. 어떤 단일 특징 또는 특징들의 그룹도 각각의 그리고 모든 실시예에서 필요하거나 필수적이지 않다.
[0329] 특히 "할수 있다", "할 수 있었다", "할수도 있었다", "할수도 있다", "예컨대" 등과 같이 본원에서 사용된 조건부 언어는, 달리 구체적으로 언급되지 않거나 또는 사용되는 문맥내에서 달리 이해되지 않으면, 일반적으로 특정 실시예들이 특정 특징들, 엘리먼트들 및/또는 단계를 포함하는 반면에 다른 실시예들이 이러한 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지 않는다는 것을 전달하기 위하여 의도된다. 따라서, 이러한 조건부 언어는 일반적으로 하나 또는 그 초과의 실시예들에 대해 특징들, 엘리먼트들 및/또는 단계들이 어떤식으로든 요구되는 것을 의미하거나 또는 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되거나 또는 임의의 특정 실시예에서 수행되어야 하는지의 여부를 저자의 입력 또는 프롬프팅(prompting)아 있는 경우나 또는 없는 경우에도 결정하기 위한 로직을 하나 또는 그 초과의 실시예들이 반드시 포함하는 것을 의미하는 것으로 의도되지 않는다. "포함하는", "구비하는", "가진" 등의 용어들은 동의어이며, 오픈-엔드 방식(open-ended fashion)으로 포괄적으로 사용되며 부가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 예컨대 일 리스트의 엘리먼트들을 연결하도록 사용될 때 "또는"이라는 용어가 리스트의 엘리먼트들 중 하나, 일부 또는 전부를 의미하도록 (배타적 의미가 아니라) 포괄적인 의미로 사용된다. 게다가, 본 출원 및 첨부된 청구항들에서 사용되는 단수 의미는 달리 특정하지 않으면 "하나 또는 그 초과" 또는 "적어도 하나"를 의미하는 것으로 해석되어야 한다.
[0330] 본원에서 사용되는 바와같이, 항목들의 리스트 "중 적어도 하나"를 지칭하는 문구는 단일 부재들을 비롯하여 이들 항목들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A, B, C, A 및 B, A 및 C, B 및 C 및 A, B 및 C를 커버하도록 의도된다. "X, Y 및 Z 중 적어도 하나"라는 문구와 같은 결합 언어는, 달리 특별히 언급하지 않으면, 항목, 용어 등이 X , Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위하여 일반적으로 사용되는 문맥으로 달리 이해된다. 따라서, 이러한 결합 언어는 특정 실시예들이, X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 의미하는 것으로 일반적으로 의도되지 않는다.
[0331] 유사하게, 동작들이 특정 순서로 도면들에 도시될 수 있지만, 바람직한 결과들을 달성하기 위해서, 이러한 동작들이 도시된 특정 순서대로 또는 순차적인 순서로 수행될 필요가 없거나 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식되어야 한다. 더욱이, 도면들은 하나 또는 그 초과의 예시적인 프로세스들을 흐름도의 형태로 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 또는 그 초과의 추가적인 동작들이, 예시된 동작들 중 임의의 동작 이전에, 이 임의의 동작 이후에, 이 임의의 동작과 동시에, 또는 이 임의의 동작들 사이에서 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재정렬하거나 재순서화될 수 있다. 특정 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 앞서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안되며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 물건으로 함께 통합되거나 또는 다수의 소프트웨어 물건들로 패키징될 수 있음이 이해되어야 한다. 부가적으로, 다른 구현들이 하기 청구항들의 범위내에 속한다. 일부 경우들에서, 청구항들에서 인용된 동작들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 바람직한 결과들을 달성할 수 있다.
Claims (20)
- 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 시스템으로서,
3차원(3D) 뷰(view)를 사용자에게 제시하도록 구성된 웨어러블 디바이스의 디스플레이 시스템 ― 상기 3D 뷰는 상호작용가능 객체들을 포함함 ―;
사용자 입력을 수신하도록 구성된 사용자 입력 디바이스;
상기 사용자의 포즈와 연관된 데이터를 획득하도록 구성된 센서;
상기 사용자 입력 디바이스와 통신하는 하드웨어 프로세서를 포함하며,
상기 프로세서는,
상기 상호작용가능 객체들과 상호작용하기 위한 현재의 사용자 입력 모드가 제1 사용자 입력 모드인지 또는 제2 사용자 입력 모드인지 여부를 결정하고 ― 상기 제1 사용자 입력 모드는 상기 사용자의 포즈에 적어도 부분적으로 기반하며, 상기 제2 사용자 입력 모드는 상기 사용자 입력 디바이스로부터의 사용자 입력에 적어도 부분적으로 기반함 ―;
상기 사용자의 포즈에 적어도 부분적으로 기반하여 상기 사용자의 FOV(field of view)를 결정하며 ― 상기 FOV는 주어진 시간에 상기 사용자가 인지하는, 상기 사용자의 환경의 일부분을 포함함 ―;
상기 FOV와 연관된 맥락 관련 정보를 결정하며 ― 상기 맥락 관련 정보는 상기 상호작용가능 객체들의 밀도를 포함함 ―;
상기 현재의 사용자 입력 모드가 상기 제1 사용자 입력 모드라는 결정에 대한 응답으로:
상기 센서를 사용하여 상기 사용자의 포즈를 모니터링하며,
모니터링된 포즈에 적어도 부분적으로 기반하여, 상기 사용자의 포즈와 관련된 방향에서 상기 제1 사용자 입력 모드와 연관된 제1 형상에서의 포커스 표시자(focus indicator)를 상기 디스플레이 시스템을 통해 제시하며,
상기 상호작용가능 객체들의 밀도가 제1 임계 밀도를 초과한다고 결정하고;
상기 상호작용가능 객체들의 밀도가 상기 제1 임계 밀도를 초과한다는 결정에 기초하여 상기 제2 사용자 입력 모드로 스위칭하기 위한 제1 표시를 수신하며, 그리고
상기 제1 표시에 대한 응답으로 상기 현재의 사용자 입력 모드를 상기 제2 사용자 입력 모드로 스위칭하며; 그리고
상기 현재의 사용자 입력 모드가 상기 제2 사용자 입력 모드라는 결정에 대한 응답으로:
상기 사용자 입력 디바이스로부터의 상기 사용자 입력을 모니터링하며,
모니터링된 입력에 적어도 부분적으로 기반하여, 상기 제2 사용자 입력 모드와 연관된 제2 형상에서의 포커스 표시자를 상기 디스플레이 시스템을 통해 제시하며,
상기 상호작용가능 객체들의 밀도가 제2 임계 밀도 미만이라고 결정하고;
상기 상호작용가능 객체들의 밀도가 상기 제2 임계 밀도 미만이라는 결정에 기초하여 상기 제1 사용자 입력 모드로 스위칭하기 위한 제2 표시를 수신하며, 그리고
상기 제2 표시에 대한 응답으로 상기 현재의 사용자 입력 모드를 상기 제1 사용자 입력 모드로 스위칭하도록 프로그래밍되는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 시스템. - 제1 항에 있어서,
상기 맥락 관련 정보는 상기 FOV 내의 상기 상호작용가능 객체들의 레이아웃, 상기 FOV의 크기, 상기 사용자의 FOV 내의 상호작용가능 객체들 중 하나 또는 그 초과의 객체의 크기 중 적어도 하나를 더 포함하고, 그리고
상기 프로세서는 상기 맥락 관련 정보에 적어도 부분적으로 기반하여 상기 제1 사용자 입력 모드로부터 상기 제2 사용자 입력 모드로 또는 상기 제2 사용자 입력 모드로부터 상기 제1 사용자 입력 모드로 스위칭하기 위한 옵션을 제시하도록 추가로 프로그래밍되는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 시스템. - 제2 항에 있어서,
상기 옵션을 제시하기 위하여, 상기 프로세서는 상기 현재의 사용자 입력 모드가 상기 제1 사용자 입력 모드일 때 상기 제2 형상에서의 포커스 표시자를 제시하며, 상기 현재의 사용자 입력 모드가 상기 제2 사용자 입력 모드일 때 상기 제1 형상에서의 포커스 표시자를 제시하도록 프로그래밍되는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 시스템. - 제1 항에 있어서,
상기 제1 표시는 상기 사용자의 포즈의 변경을 포함하며, 상기 제2 표시는 상기 사용자 입력 디바이스의 작동을 포함하는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 시스템. - 제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 사용자의 포즈는 머리 포즈, 눈 포즈, 발 포즈 또는 몸 포즈 중 적어도 하나를 포함하거나, 또는 상기 센서는 내향-대면 이미징 시스템(inward-facing imaging system), 외향-대면 이미징 시스템(outward-facing imaging system) 또는 관성 측정 유닛 중 적어도 하나를 포함하거나 또는 상기 디스플레이 시스템은 다수의 깊이 평면들에서 상기 상호작용가능 객체들 중 하나 이상의 상호작용가능 객체들을 디스플레이하도록 구성된 라이트 필드 디스플레이를 포함하는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 시스템. - 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 방법으로서,
컴퓨터 프로세서를 포함하는 웨어러블 디바이스의 제어 하에서 ― 상기 웨어러블 디바이스는 사용자의 FOR(field of regard)내의 상호작용가능 객체들과 사용자의 상호작용을 허용하도록 구성되며, 상기 FOR은 상기 웨어러블 디바이스의 디스플레이 시스템을 통해 상기 사용자가 인지할 수 있는, 상기 사용자 주위의 환경의 일부분을 포함함 ―:
사용자의 포즈를 결정하는 단계;
상기 사용자의 포즈와 관련된 방향에서 상호작용가능 타겟 객체와 연관된 제1 포커스 표시자를 상기 디스플레이 시스템을 통해 디스플레이하는 단계 ― 상기 상호작용가능 타겟 객체는 복수의 가상 객체들을 포함함 ―;
상기 상호작용가능 타겟 객체의 선택을 수신하는 단계;
사용자 입력 디바이스 상에서 상기 사용자 입력 모드를 포즈들로부터 손 제스처들로 스위칭하기 위한 옵션을 상기 사용자에게 제시하는 단계;
상기 복수의 가상 객체들을 상기 디스플레이 시스템을 통해 디스플레이하는 단계;
상기 사용자가 상기 사용자 입력 디바이스 상에서 상기 사용자 입력 모드를 포즈들로부터 손 제스처들로 스위칭하였다는 결정에 대한 응답으로, 상기 복수의 가상 객체들 중 타겟 가상 객체와 연관된 제2 포커스 표시자를 상기 디스플레이 시스템을 통해 디스플레이하는 단계; 및
상기 사용자 입력 디바이스로부터의 사용자 입력에 적어도 부분적으로 기반하여 제2 포커스 표시자를 업데이트하는 단계를 포함하고,
상기 옵션은 상기 상호작용가능 타겟 객체의 선택, 또는 상기 복수의 가상 객체들 또는 상기 상호작용가능 타겟 객체와 연관된 맥락 관련 정보에 대한 응답으로 제시되고,
상기 맥락 관련 정보는 상기 복수의 가상 객체들의 밀도를 포함하며, 사용자 입력 디바이스 상에서 상기 사용자 입력 모드를 포즈들로부터 손 제스처들로 스위칭하기 위한 상기 옵션은 상기 복수의 가상 객체의 밀도가 임계 밀도를 초과한다는 결정에 대한 응답으로 제시되는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 방법. - 삭제
- 삭제
- 제6 항에 있어서,
상기 제2 포커스 표시자를 업데이트하는 단계는 상기 제2 포커스 표시자를 상기 타겟 가상 객체로부터 상기 복수의 가상 객체들 중 다른 가상 객체로 이동시키는 단계를 포함하는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 방법. - 제6 항에 있어서,
상기 타겟 가상 객체에 대한 선택 이벤트를 개시하는 단계를 더 포함하며, 상기 선택 이벤트는 상기 타겟 가상 객체와 연관된 메뉴를 여는 것 또는 상기 타겟 가상 객체를 선택하는 표시를 수신하는 것 중 적어도 하나를 포함하는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 방법. - 제6 항, 제9 항, 및 제10 항 중 어느 한 항에 있어서,
상기 타겟 가상 객체는 상기 사용자의 포즈에 적어도 부분적으로 기반하여 식별되는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 방법. - 제6 항에 있어서,
상기 복수의 가상 객체들은 기상 애플리케이션 또는 천문학 애플리케이션 중 적어도 하나를 포함하며, 상기 기상 애플리케이션의 선택에 대한 응답으로, 상기 웨어러블 디바이스는 상기 사용자의 환경내의 객체상에 슈퍼임포즈(superimpose)된 가상 기상 정보를 디스플레이하도록 프로그래밍되며, 상기 천문학 애플리케이션의 선택에 대한 응답으로, 상기 웨어러블 디바이스는 상기 사용자의 환경상에 슈퍼임포즈된 3차원 가상 행성을 포함하는 상호작용 행성 시스템을 디스플레이하도록 프로그래밍되는, 웨어러블 디바이스에 대한 사용자 입력 모드를 변경하기 위한 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247006073A KR20240028564A (ko) | 2015-10-20 | 2016-10-18 | 3차원 공간에서 가상 객체들 선택 |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562244115P | 2015-10-20 | 2015-10-20 | |
| US62/244,115 | 2015-10-20 | ||
| US201662301422P | 2016-02-29 | 2016-02-29 | |
| US62/301,422 | 2016-02-29 | ||
| US201662316179P | 2016-03-31 | 2016-03-31 | |
| US62/316,179 | 2016-03-31 | ||
| PCT/US2016/057554 WO2017070121A1 (en) | 2015-10-20 | 2016-10-18 | Selecting virtual objects in a three-dimensional space |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247006073A Division KR20240028564A (ko) | 2015-10-20 | 2016-10-18 | 3차원 공간에서 가상 객체들 선택 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180070681A KR20180070681A (ko) | 2018-06-26 |
| KR102641655B1 true KR102641655B1 (ko) | 2024-02-27 |
Family
ID=58524174
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187014283A KR102641655B1 (ko) | 2015-10-20 | 2016-10-18 | 3차원 공간에서 가상 객체들 선택 |
| KR1020247006073A KR20240028564A (ko) | 2015-10-20 | 2016-10-18 | 3차원 공간에서 가상 객체들 선택 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247006073A KR20240028564A (ko) | 2015-10-20 | 2016-10-18 | 3차원 공간에서 가상 객체들 선택 |
Country Status (10)
| Country | Link |
|---|---|
| US (5) | US10521025B2 (ko) |
| EP (2) | EP3365724B1 (ko) |
| JP (3) | JP6831840B2 (ko) |
| KR (2) | KR102641655B1 (ko) |
| CN (2) | CN113220116A (ko) |
| AU (2) | AU2016341196B2 (ko) |
| CA (1) | CA3002369A1 (ko) |
| IL (3) | IL293873B2 (ko) |
| NZ (1) | NZ741866A (ko) |
| WO (1) | WO2017070121A1 (ko) |
Families Citing this family (129)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6684559B2 (ja) * | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
| KR102641655B1 (ko) | 2015-10-20 | 2024-02-27 | 매직 립, 인코포레이티드 | 3차원 공간에서 가상 객체들 선택 |
| CA3015164A1 (en) * | 2016-02-18 | 2017-08-24 | Edx Technologies, Inc. | Systems and methods for augmented reality representations of networks |
| US10048751B2 (en) * | 2016-03-31 | 2018-08-14 | Verizon Patent And Licensing Inc. | Methods and systems for gaze-based control of virtual reality media content |
| AU2017203641B2 (en) * | 2016-05-31 | 2018-05-24 | Accenture Global Solutions Limited | Interactive virtual reality platforms |
| US11146661B2 (en) | 2016-06-28 | 2021-10-12 | Rec Room Inc. | Systems and methods for detecting collaborative virtual gestures |
| US10514752B2 (en) * | 2016-07-07 | 2019-12-24 | Google Llc | Methods and apparatus to determine objects to present in virtual reality environments |
| CN109791295A (zh) | 2016-07-25 | 2019-05-21 | 奇跃公司 | 使用增强和虚拟现实眼镜的成像修改、显示和可视化 |
| US10678397B2 (en) * | 2016-09-26 | 2020-06-09 | Htc Corporation | Method for providing demonstration information in simulation environment, and associated simulation system |
| US10572101B2 (en) * | 2016-11-14 | 2020-02-25 | Taqtile, Inc. | Cross-platform multi-modal virtual collaboration and holographic maps |
| CA3042554C (en) | 2016-11-16 | 2023-07-18 | Magic Leap, Inc. | Multi-resolution display assembly for head-mounted display systems |
| JP6996115B2 (ja) * | 2017-05-29 | 2022-01-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
| JP2018097141A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 頭部装着型表示装置、仮想物体表示システム |
| JP7096836B2 (ja) | 2017-03-22 | 2022-07-06 | マジック リープ， インコーポレイテッド | ディスプレイシステムのための深度ベース中心窩化レンダリング |
| JP7125950B2 (ja) | 2017-03-24 | 2022-08-25 | マジック リープ， インコーポレイテッド | 虹彩コードの蓄積および信頼性割当 |
| JP6714280B2 (ja) * | 2017-03-28 | 2020-06-24 | 株式会社ノーニューフォークスタジオ | 情報処理システム、情報処理方法、情報処理プログラム |
| CA3059234A1 (en) | 2017-04-19 | 2018-10-25 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| CA3060209A1 (en) | 2017-05-01 | 2018-11-08 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
| EP3646581A1 (en) | 2017-06-30 | 2020-05-06 | PCMS Holdings, Inc. | Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements |
| US20190019011A1 (en) * | 2017-07-16 | 2019-01-17 | Tsunami VR, Inc. | Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device |
| CN107396086A (zh) * | 2017-07-28 | 2017-11-24 | 歌尔科技有限公司 | 基于vr头戴设备播放视频的方法及vr头戴设备 |
| US20190043241A1 (en) * | 2017-08-03 | 2019-02-07 | Facebook, Inc. | Generating animations on a social-networking system |
| US10943399B2 (en) | 2017-08-28 | 2021-03-09 | Microsoft Technology Licensing, Llc | Systems and methods of physics layer prioritization in virtual environments |
| US10366291B2 (en) | 2017-09-09 | 2019-07-30 | Google Llc | Systems, methods, and apparatus for providing image shortcuts for an assistant application |
| CN109557677A (zh) * | 2017-09-26 | 2019-04-02 | 歌尔科技有限公司 | 显示设备和方法 |
| US11861136B1 (en) * | 2017-09-29 | 2024-01-02 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with virtual reality environments |
| CN107678551B (zh) * | 2017-10-19 | 2021-12-28 | 京东方科技集团股份有限公司 | 手势识别方法和装置、电子设备 |
| CN107908278B (zh) * | 2017-10-20 | 2020-04-28 | 华为技术有限公司 | 一种虚拟现实vr界面生成的方法和装置 |
| US10678333B2 (en) * | 2017-11-14 | 2020-06-09 | Verizon Patent And Licensing Inc. | Methods and systems for presenting haptically perceptible virtual objects |
| US10671238B2 (en) * | 2017-11-17 | 2020-06-02 | Adobe Inc. | Position-dependent modification of descriptive content in a virtual reality environment |
| CN111684495A (zh) | 2017-12-22 | 2020-09-18 | 奇跃公司 | 用于在混合现实系统中管理和显示虚拟内容的方法和系统 |
| CN108319363A (zh) * | 2018-01-09 | 2018-07-24 | 北京小米移动软件有限公司 | 基于vr的产品展示方法、装置及电子设备 |
| US11112863B2 (en) | 2018-01-17 | 2021-09-07 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| WO2019143864A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| US11114199B2 (en) | 2018-01-25 | 2021-09-07 | Mako Surgical Corp. | Workflow systems and methods for enhancing collaboration between participants in a surgical procedure |
| US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
| US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
| IL301281A (en) | 2018-02-22 | 2023-05-01 | Magic Leap Inc | Shoot an object with physical manipulation |
| IL301443A (en) | 2018-02-22 | 2023-05-01 | Magic Leap Inc | A browser for mixed reality systems |
| US11238836B2 (en) | 2018-03-16 | 2022-02-01 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| US10408972B1 (en) * | 2018-04-20 | 2019-09-10 | Adam Baker | System and method for lightning strike prediction and warning |
| EP3797345A4 (en) | 2018-05-22 | 2022-03-09 | Magic Leap, Inc. | TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM |
| WO2019236568A1 (en) | 2018-06-05 | 2019-12-12 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
| WO2019236344A1 (en) | 2018-06-07 | 2019-12-12 | Magic Leap, Inc. | Augmented reality scrollbar |
| US11243083B2 (en) * | 2018-06-11 | 2022-02-08 | International Business Machines Corporation | Implementing route generation with augmented reality |
| US11733824B2 (en) * | 2018-06-22 | 2023-08-22 | Apple Inc. | User interaction interpreter |
| US10795502B2 (en) | 2018-06-28 | 2020-10-06 | Dell Products L.P. | Information handling system touch device with adaptive haptic response |
| US10664101B2 (en) | 2018-06-28 | 2020-05-26 | Dell Products L.P. | Information handling system touch device false touch detection and mitigation |
| US10635199B2 (en) | 2018-06-28 | 2020-04-28 | Dell Products L.P. | Information handling system dynamic friction touch device for touchscreen interactions |
| US10761618B2 (en) | 2018-06-28 | 2020-09-01 | Dell Products L.P. | Information handling system touch device with automatically orienting visual display |
| US10817077B2 (en) | 2018-06-28 | 2020-10-27 | Dell Products, L.P. | Information handling system touch device context aware input tracking |
| US10852853B2 (en) * | 2018-06-28 | 2020-12-01 | Dell Products L.P. | Information handling system touch device with visually interactive region |
| US11169601B2 (en) * | 2018-07-12 | 2021-11-09 | Toyota Research Institute, Inc. | Methods and systems for determining teleoperating user intent via eye tracking |
| CN111198609A (zh) * | 2018-11-16 | 2020-05-26 | 广东虚拟现实科技有限公司 | 交互显示方法、装置、电子设备及存储介质 |
| CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
| US10665206B2 (en) | 2018-07-30 | 2020-05-26 | Honeywell International Inc. | Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance |
| CN109144349A (zh) * | 2018-08-07 | 2019-01-04 | 西交利物浦大学 | 一种虚拟、增强或混合现实头显运动方向识别方法及系统 |
| CN109407935A (zh) * | 2018-09-14 | 2019-03-01 | 歌尔科技有限公司 | 一种虚拟现实显示控制方法、装置和系统 |
| WO2020059277A1 (ja) * | 2018-09-20 | 2020-03-26 | 富士フイルム株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| WO2020075430A1 (ja) * | 2018-10-09 | 2020-04-16 | 古野電気株式会社 | 映像生成装置及び映像生成方法 |
| EP3867734A4 (en) * | 2018-10-17 | 2022-07-13 | Meta View, Inc. | SYSTEMS AND METHODS FOR PROVIDING A MOBILE COMPUTER PLATFORM AS A PHYSICAL INTERFACE TOOL OF AN INTERACTIVE SPACE |
| CN111309142A (zh) | 2018-12-11 | 2020-06-19 | 托比股份公司 | 用于切换显示设备的输入模态的方法和设备 |
| KR102174039B1 (ko) * | 2018-12-12 | 2020-11-04 | 한국광기술원 | 증강현실을 이용하여 어디에서도 파일을 편집할 수 있는 장치 및 방법 |
| CN109766006B (zh) * | 2019-01-02 | 2021-02-05 | 京东方科技集团股份有限公司 | 虚拟现实场景的显示方法、装置及设备 |
| TWI707251B (zh) | 2019-01-03 | 2020-10-11 | 晶翔機電股份有限公司 | 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置 |
| US11320911B2 (en) * | 2019-01-11 | 2022-05-03 | Microsoft Technology Licensing, Llc | Hand motion and orientation-aware buttons and grabbable objects in mixed reality |
| JP7440532B2 (ja) | 2019-04-03 | 2024-02-28 | マジック リープ， インコーポレイテッド | 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること |
| US10978019B2 (en) | 2019-04-15 | 2021-04-13 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
| EP3734415A1 (en) * | 2019-04-30 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
| EP3734416A1 (en) * | 2019-04-30 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium |
| JP7423659B2 (ja) | 2019-05-20 | 2024-01-29 | マジック リープ， インコーポレイテッド | 眼姿勢を推定するためのシステムおよび技法 |
| USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
| CN110164440B (zh) * | 2019-06-03 | 2022-08-09 | 交互未来(北京)科技有限公司 | 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质 |
| CN110276840B (zh) * | 2019-06-21 | 2022-12-02 | 腾讯科技（深圳）有限公司 | 多虚拟角色的控制方法、装置、设备及存储介质 |
| JP2021005157A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
| CN110308794A (zh) * | 2019-07-04 | 2019-10-08 | 郑州大学 | 具有两种显示模式的虚拟现实头盔及显示模式的控制方法 |
| EP3994510A4 (en) * | 2019-07-05 | 2023-08-02 | Magic Leap, Inc. | EYE TRACKING LATENCY IMPROVEMENTS |
| KR102252110B1 (ko) * | 2019-08-07 | 2021-05-17 | 한국과학기술연구원 | 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법 |
| US10943388B1 (en) * | 2019-09-06 | 2021-03-09 | Zspace, Inc. | Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces |
| US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
| US11170576B2 (en) | 2019-09-20 | 2021-11-09 | Facebook Technologies, Llc | Progressive display of virtual objects |
| US11086406B1 (en) | 2019-09-20 | 2021-08-10 | Facebook Technologies, Llc | Three-state gesture virtual controls |
| US11176745B2 (en) | 2019-09-20 | 2021-11-16 | Facebook Technologies, Llc | Projection casting in virtual environments |
| US10991163B2 (en) | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
| US11086476B2 (en) * | 2019-10-23 | 2021-08-10 | Facebook Technologies, Llc | 3D interactions with web content |
| US11493989B2 (en) * | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
| KR20210063928A (ko) | 2019-11-25 | 2021-06-02 | 삼성전자주식회사 | 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
| US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
| US11269181B2 (en) | 2019-12-09 | 2022-03-08 | Magic Leap, Inc. | Systems and methods for operating a head-mounted display system based on user identity |
| US11475639B2 (en) | 2020-01-03 | 2022-10-18 | Meta Platforms Technologies, Llc | Self presence in artificial reality |
| CN111246014B (zh) * | 2020-01-13 | 2021-04-06 | 维沃移动通信有限公司 | 通话方法、头戴式设备及介质 |
| US11354026B1 (en) * | 2020-01-28 | 2022-06-07 | Apple Inc. | Method and device for assigning an operation set |
| JP2021162993A (ja) * | 2020-03-31 | 2021-10-11 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| CN111459288B (zh) * | 2020-04-23 | 2021-08-03 | 捷开通讯(深圳)有限公司 | 一种运用头控实现语音输入的方法和装置 |
| US11257280B1 (en) | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
| US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
| KR20220003254A (ko) * | 2020-07-01 | 2022-01-10 | 삼성전자주식회사 | 증강 현실을 제공하는 전자 장치 및 그 방법 |
| WO2022020434A1 (en) | 2020-07-23 | 2022-01-27 | Magic Leap, Inc. | Eye tracking using alternate sampling |
| US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
| US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
| US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
| US11816759B1 (en) * | 2020-09-24 | 2023-11-14 | Apple Inc. | Split applications in a multi-user communication session |
| US11562528B2 (en) | 2020-09-25 | 2023-01-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
| TWI761976B (zh) * | 2020-09-30 | 2022-04-21 | 幻景啟動股份有限公司 | 互動系統 |
| US10989783B1 (en) * | 2020-10-26 | 2021-04-27 | Listen Technologies Corporation | False positive immunity in beacon systems, and related systems, methods, and devices |
| US20220148268A1 (en) * | 2020-11-10 | 2022-05-12 | Noderix Teknoloji Sanayi Ticaret Anonim Sirketi | Systems and methods for personalized and interactive extended reality experiences |
| US11113893B1 (en) | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
| CN116438503A (zh) * | 2020-12-17 | 2023-07-14 | 三星电子株式会社 | 电子装置和电子装置的操作方法 |
| US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
| US11461973B2 (en) | 2020-12-22 | 2022-10-04 | Meta Platforms Technologies, Llc | Virtual reality locomotion via hand gesture |
| KR20220091141A (ko) * | 2020-12-23 | 2022-06-30 | 삼성전자주식회사 | 센서 어레이를 포함하는 전자 장치 및 그 제어 방법 |
| US11954242B2 (en) | 2021-01-04 | 2024-04-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| CN113673292A (zh) * | 2021-01-14 | 2021-11-19 | 南方科技大学 | 一种电容成像传感器及手势形态感知方法 |
| US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
| US11804040B2 (en) * | 2021-03-17 | 2023-10-31 | Qualcomm Incorporated | Keypoint-based sampling for pose estimation |
| WO2022220459A1 (en) * | 2021-04-14 | 2022-10-20 | Samsung Electronics Co., Ltd. | Method and electronic device for selective magnification in three dimensional rendering systems |
| JP2022163813A (ja) * | 2021-04-15 | 2022-10-27 | キヤノン株式会社 | 装着型の情報端末、その制御方法及びプログラム |
| US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
| US11295503B1 (en) | 2021-06-28 | 2022-04-05 | Facebook Technologies, Llc | Interactive avatars in artificial reality |
| US20230082420A1 (en) * | 2021-09-13 | 2023-03-16 | Qualcomm Incorporated | Display of digital media content on physical surface |
| US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
| US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
| WO2023075894A1 (en) * | 2021-11-01 | 2023-05-04 | Microsoft Technology Licensing, Llc. | Real-time gestures in shared electronic canvases |
| US11893205B2 (en) | 2021-11-01 | 2024-02-06 | Microsoft Technology Licensing, Llc | Real-time gestures in shared electronic canvases |
| US20230259199A1 (en) * | 2022-02-15 | 2023-08-17 | Google Llc | Selection of real-world objects using a wearable device |
| US20240062484A1 (en) * | 2022-08-16 | 2024-02-22 | Perfect Mobile Corp. | Systems and methods for rendering an augmented reality object with adaptive zoom feature |
| US11947862B1 (en) * | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
| US11861030B1 (en) * | 2023-08-17 | 2024-01-02 | Datchat, Inc. | Technology platform for providing secure group-based access to sets of digital assets |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100265182A1 (en) * | 2009-04-20 | 2010-10-21 | Microsoft Corporation | Context-based state change for an adaptive input device |
| US20100325572A1 (en) * | 2009-06-23 | 2010-12-23 | Microsoft Corporation | Multiple mouse character entry |
| WO2013028813A1 (en) * | 2011-08-23 | 2013-02-28 | Microsoft Corporation | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
| US20140306866A1 (en) * | 2013-03-11 | 2014-10-16 | Magic Leap, Inc. | System and method for augmented and virtual reality |
Family Cites Families (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US6776480B2 (en) | 2001-07-18 | 2004-08-17 | Sola International Holdings, Ltd. | Spectacle frames for shaped lenses defined by monoformal carrier surfaces |
| US6885363B2 (en) * | 2002-05-09 | 2005-04-26 | Gateway, Inc. | Pointing device dwell time |
| USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| JP4895352B2 (ja) | 2006-02-07 | 2012-03-14 | 任天堂株式会社 | 対象選択プログラム、対象選択装置、対象選択システム、および対象選択方法 |
| US20080211771A1 (en) | 2007-03-02 | 2008-09-04 | Naturalpoint, Inc. | Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment |
| US20120105486A1 (en) * | 2009-04-09 | 2012-05-03 | Dynavox Systems Llc | Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods |
| KR101647722B1 (ko) * | 2009-11-13 | 2016-08-23 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
| US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
| RU2621644C2 (ru) | 2011-05-06 | 2017-06-06 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
| US8912979B1 (en) | 2011-07-14 | 2014-12-16 | Google Inc. | Virtual window in head-mounted display |
| US8942913B2 (en) * | 2011-09-20 | 2015-01-27 | Infosys Limited | System and method for on-road traffic density analytics using video stream mining and statistical techniques |
| US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| US20130104085A1 (en) | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
| WO2013085639A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| CA2858208C (en) | 2011-11-23 | 2019-01-15 | Magic Leap, Inc. | Three dimensional virtual and augmented reality display system |
| KR102028732B1 (ko) | 2012-04-05 | 2019-10-04 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
| US9690465B2 (en) * | 2012-06-01 | 2017-06-27 | Microsoft Technology Licensing, Llc | Control of remote applications using companion device |
| WO2013188464A1 (en) | 2012-06-11 | 2013-12-19 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| WO2014043196A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
| US9310611B2 (en) * | 2012-09-18 | 2016-04-12 | Qualcomm Incorporated | Methods and systems for making the use of head-mounted displays less obvious to non-users |
| KR102507206B1 (ko) | 2013-01-15 | 2023-03-06 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
| JP6260613B2 (ja) * | 2013-02-22 | 2018-01-17 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム、画像表示方法及び画像表示装置 |
| NZ751593A (en) | 2013-03-15 | 2020-01-31 | Magic Leap Inc | Display system and method |
| US9335547B2 (en) * | 2013-03-25 | 2016-05-10 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9329682B2 (en) * | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
| US20140376773A1 (en) * | 2013-06-21 | 2014-12-25 | Leap Motion, Inc. | Tunable operational parameters in motion-capture and touchless interface operation |
| US10408613B2 (en) | 2013-07-12 | 2019-09-10 | Magic Leap, Inc. | Method and system for rendering virtual content |
| US9437170B1 (en) * | 2013-08-12 | 2016-09-06 | Roberto Quevedo Montesdeoca | Systems and methods for augmented reality display |
| KR102547756B1 (ko) | 2013-10-16 | 2023-06-23 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| KR102493498B1 (ko) | 2013-11-27 | 2023-01-27 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| US9244539B2 (en) * | 2014-01-07 | 2016-01-26 | Microsoft Technology Licensing, Llc | Target positioning with gaze tracking |
| EP4099274B1 (en) | 2014-01-31 | 2024-03-06 | Magic Leap, Inc. | Multi-focal display system and method |
| KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| US10303324B2 (en) * | 2014-02-10 | 2019-05-28 | Samsung Electronics Co., Ltd. | Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| AU2015297035B2 (en) | 2014-05-09 | 2018-06-28 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
| AU2015266586B2 (en) | 2014-05-30 | 2020-07-23 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| US10101803B2 (en) * | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
| KR102641655B1 (ko) | 2015-10-20 | 2024-02-27 | 매직 립, 인코포레이티드 | 3차원 공간에서 가상 객체들 선택 |
| USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
| USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
-
2016
- 2016-10-18 KR KR1020187014283A patent/KR102641655B1/ko active IP Right Grant
- 2016-10-18 IL IL293873A patent/IL293873B2/en unknown
- 2016-10-18 IL IL307648A patent/IL307648A/en unknown
- 2016-10-18 JP JP2018519943A patent/JP6831840B2/ja active Active
- 2016-10-18 CN CN202110417965.0A patent/CN113220116A/zh active Pending
- 2016-10-18 NZ NZ741866A patent/NZ741866A/en unknown
- 2016-10-18 CN CN201680074220.6A patent/CN108369345B/zh active Active
- 2016-10-18 WO PCT/US2016/057554 patent/WO2017070121A1/en active Application Filing
- 2016-10-18 AU AU2016341196A patent/AU2016341196B2/en active Active
- 2016-10-18 KR KR1020247006073A patent/KR20240028564A/ko active Search and Examination
- 2016-10-18 US US15/296,869 patent/US10521025B2/en active Active
- 2016-10-18 IL IL258705A patent/IL258705B/en unknown
- 2016-10-18 CA CA3002369A patent/CA3002369A1/en active Pending
- 2016-10-18 EP EP16858075.1A patent/EP3365724B1/en active Active
- 2016-10-18 EP EP21165266.4A patent/EP3862852A1/en active Pending
-
2019
- 2019-11-13 US US16/682,794 patent/US11175750B2/en active Active
-
2021
- 2021-01-29 JP JP2021012808A patent/JP7296995B2/ja active Active
- 2021-11-12 US US17/454,793 patent/US11507204B2/en active Active
- 2021-12-09 AU AU2021282503A patent/AU2021282503C1/en not_active Expired - Fee Related
-
2022
- 2022-11-04 US US17/981,311 patent/US11733786B2/en active Active
-
2023
- 2023-06-13 JP JP2023097014A patent/JP2023121761A/ja active Pending
- 2023-07-03 US US18/346,722 patent/US20230350504A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100265182A1 (en) * | 2009-04-20 | 2010-10-21 | Microsoft Corporation | Context-based state change for an adaptive input device |
| US20100325572A1 (en) * | 2009-06-23 | 2010-12-23 | Microsoft Corporation | Multiple mouse character entry |
| WO2013028813A1 (en) * | 2011-08-23 | 2013-02-28 | Microsoft Corporation | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
| US20140306866A1 (en) * | 2013-03-11 | 2014-10-16 | Magic Leap, Inc. | System and method for augmented and virtual reality |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11733786B2 (en) | Selecting virtual objects in a three-dimensional space | |
| US11340694B2 (en) | Visual aura around field of view | |
| KR102551198B1 (ko) | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들 | |
| KR102666960B1 (ko) | 시야 주위의 시각적 아우라 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |