KR20230048554A - 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 - Google Patents
3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 Download PDFInfo
- Publication number
- KR20230048554A KR20230048554A KR1020237008878A KR20237008878A KR20230048554A KR 20230048554 A KR20230048554 A KR 20230048554A KR 1020237008878 A KR1020237008878 A KR 1020237008878A KR 20237008878 A KR20237008878 A KR 20237008878A KR 20230048554 A KR20230048554 A KR 20230048554A
- Authority
- KR
- South Korea
- Prior art keywords
- environment
- physical
- user
- location
- content
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 197
- 230000003993 interaction Effects 0.000 title description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 589
- 238000007654 immersion Methods 0.000 claims abstract description 227
- 230000004044 response Effects 0.000 claims abstract description 175
- 230000033001 locomotion Effects 0.000 claims description 299
- 230000009471 action Effects 0.000 claims description 98
- 230000008859 change Effects 0.000 claims description 86
- 230000003190 augmentative effect Effects 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 28
- 230000004807 localization Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 24
- 230000007704 transition Effects 0.000 claims description 22
- 230000000694 effects Effects 0.000 claims description 21
- 241001465754 Metazoa Species 0.000 claims description 20
- 230000010365 information processing Effects 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 374
- 210000003811 finger Anatomy 0.000 description 77
- 230000001976 improved effect Effects 0.000 description 76
- 210000003128 head Anatomy 0.000 description 61
- 210000003813 thumb Anatomy 0.000 description 38
- 238000010586 diagram Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 22
- 210000004247 hand Anatomy 0.000 description 18
- 238000001514 detection method Methods 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 15
- 230000001953 sensory effect Effects 0.000 description 15
- 230000002452 interceptive effect Effects 0.000 description 12
- 210000000707 wrist Anatomy 0.000 description 12
- 230000000903 blocking effect Effects 0.000 description 11
- 210000005069 ears Anatomy 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 238000010079 rubber tapping Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 230000001902 propagating effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 4
- 230000005021 gait Effects 0.000 description 4
- 230000012010 growth Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 239000007799 cork Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000269400 Sirenidae Species 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Ophthalmology & Optometry (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
컴퓨터 시스템은, 3차원 컴퓨터 생성 환경을 디스플레이하는 동안, 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하고, 이에 응답하여: 제1 이벤트가 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라, 컴퓨터 시스템은 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하며; 제1 이벤트가 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라, 컴퓨터 시스템은 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 출력 모드와는 상이한 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하며, 이는 제1 오디오 콘텐츠의 몰입 레벨을 변경한다.
Description
관련 출원
본 출원은 2020년 9월 24일자로 출원된 미국 가특허 출원 제63/082,933호에 대한 우선권을 주장하는 2021년 9월 23일자로 출원된 미국 특허 출원 제17/483,722호의 계속 출원이며, 이들 각각은 전체적으로 참고로 포함된다.
기술분야
본 개시내용은, 대체적으로, 디스플레이를 통해 가상 현실 및 혼합 현실 경험들을 제공하는 전자 디바이스들을 포함하지만 이에 제한되지 않는, 컴퓨터 생성 현실(CGR) 경험들을 제공하는 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 관한 것이다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치-감응형 표면들, 및 터치-스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
그러나, 적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 개시된 시스템들, 방법들 및 사용자 인터페이스들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 그러한 시스템들, 방법들 및 인터페이스들은, 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 시스템들, 방법들 및 사용자 인터페이스들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 접속을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트, 하나 이상의 오디오 출력 디바이스들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되며, 본 방법은, 제1 디스플레이 생성 컴포넌트를 통해, 3차원 컴퓨터 생성 환경을 디스플레이하는 단계; 3차원 컴퓨터 생성 환경을 디스플레이하는 동안, 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하는 단계 - 제1 컴퓨터 생성 콘텐츠는 제1 시각적 콘텐츠 및 제1 시각적 콘텐츠에 대응하는 제1 오디오 콘텐츠를 포함함 -; 및 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하는 것에 응답하여, 제1 이벤트가 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 제1 몰입 레벨로 제시되는 제1 컴퓨터 생성 콘텐츠는 3차원 컴퓨터 생성 환경의 제1 부분을 점유함 -, 3차원 환경의 제1 부분 내에 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하며; 제1 이벤트가 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 제2 몰입 레벨로 제시되는 제1 컴퓨터 생성 콘텐츠는 3차원 환경의 제1 부분보다 큰 3차원 컴퓨터 생성 환경의 제2 부분을 점유함 -, 3차원 환경의 제2 부분 내에 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 출력 모드와는 상이한 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 단계 - 제1 오디오 출력 모드 대신에 제2 오디오 출력 모드를 사용하는 것은 제1 오디오 콘텐츠의 몰입 레벨을 변경함 - 를 포함한다.
일부 실시예들에 따르면, 방법은, 디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템에서 수행되며, 본 방법은, 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경의 뷰를 디스플레이하는 단계; 컴퓨터 생성 환경을 디스플레이하는 동안 그리고 컴퓨터 생성 환경이, 사용자가 위치되는 물리적 환경에 존재하는 제1 물리적 객체의 제1 부분의 시각적 표현을 포함하지 않는 동안, 물리적 환경에서의 제1 물리적 객체의 제1 이동을 검출하는 단계; 및 물리적 환경에서의 제1 물리적 객체의 제1 이동을 검출하는 것에 응답하여, 사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라 - 미리설정된 기준들은 사용자로부터의 제1 물리적 객체의 거리 이외의 제1 물리적 객체의 미리설정된 특성과 관련된 요건을 포함함 -, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하고 - 제1 물리적 객체의 제1 부분 및 물리적 객체의 제2 부분 둘 모두는, 컴퓨터 생성 환경에 대한 사용자의 시야에 기초하여 사용자에게 잠재적으로 보이는 제1 물리적 객체의 범위의 일부임 -; 사용자가 사용자를 둘러싸는 물리적 환경에 존재하는 제1 물리적 객체의 임계 거리 내에 있고, 제1 물리적 객체가 미리설정된 기준들을 충족시키지 않는다는 결정에 따라, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것을 보류하는 단계를 포함한다.
일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되며, 본 방법은, 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하는 단계; 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하는 동안, 사용자의 손이 물리적 환경의 각자의 부분을 터치하는 것을 검출하는 단계; 및 사용자의 손이 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여, 사용자의 손이 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이하고; 사용자의 손이 물리적 환경의 제1 부분과는 상이한 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 물리적 환경의 제2 부분에 대응하는 3차원 환경 내의 위치에 제2 시각적 효과를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되며, 본 방법은, 제1 디스플레이 생성 컴포넌트를 통해, 3차원 환경의 뷰를 디스플레이하는 단계 - 3차원 환경의 뷰는 제1 가상 콘텐츠, 및 물리적 환경의 제1 부분의 표현을 동시에 포함하고, 물리적 환경의 제1 부분은 제1 물리적 표면을 포함하며, 제1 가상 콘텐츠는 물리적 환경의 제1 부분 내의 제1 물리적 표면의 위치에 대응하는 3차원 환경 내의 위치에 디스플레이되는 제1 사용자 인터페이스 객체를 포함함 -; 3차원 환경의 뷰를 디스플레이하는 동안, 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 단계 - 제1 위치는 3차원 환경의 뷰에 대응하는 시점과 제1 물리적 표면 사이에 있음 -; 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하는 단계; 3차원 환경의 뷰를 디스플레이하는 동안, 제1 위치로부터 물리적 환경의 제1 부분 내의 제2 위치로의 사용자의 일부분의 이동을 검출하는 단계 - 제2 위치는 3차원 환경의 뷰에 대응하는 시점과 제1 물리적 표면 사이에 있음 -; 및 제1 위치로부터 제2 위치로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하는 단계를 포함한다.
일부 실시예들에 따르면, 컴퓨터 시스템은 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 머리 장착형 디스플레이 등), 하나 이상의 입력 디바이스들(예를 들어, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 선택적으로 하나 이상의 촉각적 출력 생성기들, 하나 이상의 프로세서들, 및 하나 이상의 프로그램들을 저장하는 메모리를 포함하거나 그와 통신하고, 하나 이상의 프로그램들은 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 하나 이상의 프로그램들은 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들을 갖는 컴퓨터 시스템에 의해 실행될 때, 디바이스로 하여금 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하게 하거나 또는 그의 수행을 야기하는 명령어들을 저장하고 있다. 일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 선택적으로 하나 이상의 촉각적 출력 생성기들, 메모리, 및 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 갖는 컴퓨터 시스템 상에서의 그래픽 사용자 인터페이스는, 본 명세서에 기술되는 방법들 중 임의의 방법에서 기술된 바와 같이, 입력들에 응답하여 업데이트되는, 본 명세서에 기술된 방법들 중 임의의 방법에서 디스플레이되는 요소들 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들; 및 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 수단을 포함한다. 일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들을 갖는 컴퓨터 시스템에 사용하기 위한 정보 프로세싱 장치는, 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 수단을 포함한다.
따라서, 디스플레이 생성 컴포넌트들을 갖는 컴퓨터 시스템들에는, 3차원 환경과 상호작용하고 3차원 환경과 상호작용할 때 컴퓨터 시스템들의 사용자의 사용을 용이하게 하기 위한 개선된 방법들 및 인터페이스들이 제공되고, 이로써 이러한 컴퓨터 시스템들의 유효성, 효율 및 사용자 안전 및 만족도를 증가시킨다. 그러한 방법들 및 인터페이스들은, 3차원 환경과 상호작용하고 3차원 환경과 상호작용할 때 컴퓨터 시스템들의 사용자의 사용을 용이하게 하기 위한 종래의 방법들을 보완 또는 대체할 수 있다.
전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음에 주목한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 및 도 7b는 일부 실시예들에 따른, 컴퓨터 생성 콘텐츠가 제시되는 몰입 레벨에 따라 상이한 오디오 출력 모드들을 선택하는 것을 예시하는 블록도들이다.
도 7c 내지 도 7h는 일부 실시예들에 따른, 유의한 물리적 객체(physical object of significance)가 디스플레이 생성 컴포넌트 또는 사용자의 위치에 접근할 때 가상 콘텐츠의 일부분의 외관을 변경하는 것(예컨대, 물리적 객체의 일부분의 표현이 가상 콘텐츠를 돌파하도록 허용하는 것, 물리적 객체의 일부분의 시각적 속성들에 기초하여 가상 콘텐츠의 하나 이상의 시각적 속성들을 변경하는 것 등)을 예시하는 블록도들이다.
도 7i 내지 도 7n은 일부 실시예들에 따른, 물리적 환경의 일부분의 스캔에 기초하여 식별된(예컨대, 형상, 평면 및/또는 표면에 의해 특징지어짐), 물리적 환경의 일부분에 대응하는 3차원 환경 내의 영역에 시각적 효과를 적용하는 것을 예시하는 블록도들이다.
도 7o 내지 도 7q는 일부 실시예들에 따른, 물리적 환경의 제1 부분(예컨대, 물리적 환경에서의, 물리적 표면의 위치, 또는 자유 공간 내의 위치)에 대응하는 3차원 환경 내의 위치에 대화형 사용자 인터페이스 객체를 디스플레이하는 것, 및 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치와 물리적 환경의 제1 부분 사이의 공간에서 이동하는 사용자의 일부분(예컨대, 사용자의 손가락, 손 등)의 위치에 따라 사용자 인터페이스 객체의 각자의 하위 부분의 디스플레이를 선택적으로 보류하는 것을 예시하는 블록도들이다.
도 8은 일부 실시예들에 따른, 컴퓨터 생성 콘텐츠가 제시되는 몰입 레벨에 따라 상이한 오디오 출력 모드들을 선택하는 방법의 흐름도이다.
도 9는 일부 실시예들에 따른, 유의한 물리적 객체가 디스플레이 생성 컴포넌트 또는 사용자의 위치에 접근할 때 가상 콘텐츠의 일부분의 외관을 변경하는 방법의 흐름도이다.
도 10은 일부 실시예들에 따른, 물리적 환경의 일부분의 스캔에 기초하여 식별된, 물리적 환경의 일부분에 대응하는 3차원 환경 내의 영역에 시각적 효과를 적용하는 방법의 흐름도이다.
도 11은 일부 실시예들에 따른, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 대화형 사용자 인터페이스 객체를 디스플레이하고, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치와 물리적 환경의 제1 부분 사이의 공간에서 이동하는 사용자의 일부분의 위치에 따라 사용자 인터페이스 객체의 각자의 하위 부분의 디스플레이를 선택적으로 보류하는 방법의 흐름도이다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 및 도 7b는 일부 실시예들에 따른, 컴퓨터 생성 콘텐츠가 제시되는 몰입 레벨에 따라 상이한 오디오 출력 모드들을 선택하는 것을 예시하는 블록도들이다.
도 7c 내지 도 7h는 일부 실시예들에 따른, 유의한 물리적 객체(physical object of significance)가 디스플레이 생성 컴포넌트 또는 사용자의 위치에 접근할 때 가상 콘텐츠의 일부분의 외관을 변경하는 것(예컨대, 물리적 객체의 일부분의 표현이 가상 콘텐츠를 돌파하도록 허용하는 것, 물리적 객체의 일부분의 시각적 속성들에 기초하여 가상 콘텐츠의 하나 이상의 시각적 속성들을 변경하는 것 등)을 예시하는 블록도들이다.
도 7i 내지 도 7n은 일부 실시예들에 따른, 물리적 환경의 일부분의 스캔에 기초하여 식별된(예컨대, 형상, 평면 및/또는 표면에 의해 특징지어짐), 물리적 환경의 일부분에 대응하는 3차원 환경 내의 영역에 시각적 효과를 적용하는 것을 예시하는 블록도들이다.
도 7o 내지 도 7q는 일부 실시예들에 따른, 물리적 환경의 제1 부분(예컨대, 물리적 환경에서의, 물리적 표면의 위치, 또는 자유 공간 내의 위치)에 대응하는 3차원 환경 내의 위치에 대화형 사용자 인터페이스 객체를 디스플레이하는 것, 및 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치와 물리적 환경의 제1 부분 사이의 공간에서 이동하는 사용자의 일부분(예컨대, 사용자의 손가락, 손 등)의 위치에 따라 사용자 인터페이스 객체의 각자의 하위 부분의 디스플레이를 선택적으로 보류하는 것을 예시하는 블록도들이다.
도 8은 일부 실시예들에 따른, 컴퓨터 생성 콘텐츠가 제시되는 몰입 레벨에 따라 상이한 오디오 출력 모드들을 선택하는 방법의 흐름도이다.
도 9는 일부 실시예들에 따른, 유의한 물리적 객체가 디스플레이 생성 컴포넌트 또는 사용자의 위치에 접근할 때 가상 콘텐츠의 일부분의 외관을 변경하는 방법의 흐름도이다.
도 10은 일부 실시예들에 따른, 물리적 환경의 일부분의 스캔에 기초하여 식별된, 물리적 환경의 일부분에 대응하는 3차원 환경 내의 영역에 시각적 효과를 적용하는 방법의 흐름도이다.
도 11은 일부 실시예들에 따른, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 대화형 사용자 인터페이스 객체를 디스플레이하고, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치와 물리적 환경의 제1 부분 사이의 공간에서 이동하는 사용자의 일부분의 위치에 따라 사용자 인터페이스 객체의 각자의 하위 부분의 디스플레이를 선택적으로 보류하는 방법의 흐름도이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에 설명되는 시스템들, 방법들, 및 GUI들은 다수의 방식들로 가상/증강 현실 환경들과의 사용자 인터페이스 상호작용들을 개선한다.
일부 실시예들에서, 컴퓨터 시스템은, 영화, 가상 사무실, 애플리케이션 환경, 게임, 컴퓨터 생성 경험(예컨대, 가상 현실 경험, 증강 현실 경험, 또는 혼합 현실 경험) 등과 같은 컴퓨터 생성 콘텐츠를 디스플레이한다. 일부 실시예들에서, 컴퓨터 생성 콘텐츠는 3차원 환경 내에 디스플레이된다. 일부 실시예들에서, 컴퓨터 시스템은 물리적 환경으로부터의 시각적 감각 입력들에 비한 가상 콘텐츠로부터의 시각적 감각 입력들에 대한 다양한 강조 정도들에 대응하는 다수의 몰입 레벨들로 컴퓨터 생성 콘텐츠의 시각적 컴포넌트를 디스플레이할 수 있다. 일부 실시예들에서, 더 높은 몰입 레벨은 물리적 환경으로부터의 것들에 비한 가상 콘텐츠로부터의 시각적 감각 입력들에 대한 더 큰 강조에 대응한다. 유사하게, 일부 실시예들에서, 컴퓨터 생성 콘텐츠의 시각적 컴포넌트에 수반되고/되거나 그에 대응하는 컴퓨터 생성 콘텐츠의 오디오 컴포넌트(예컨대, 영화에서의 사운드 효과들 및 사운드 트랙들; 애플리케이션 환경에서의 오디오 경보들, 오디오 피드백 및 시스템 사운드들; 게임에서의 사운드 효과들, 스피치 및 오디오 피드백; 및/또는 컴퓨터 생성 경험에서의 사운드 효과들 및 오디오 피드백)는 다수의 몰입 레벨들로 출력될 수 있다. 일부 실시예들에서, 다수의 몰입 레벨들은, 선택적으로, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 가상 콘텐츠 내의 가상 음원들의 위치들과 가상 음원들에 대한 선택된 기준 프레임(frame of reference) 내의 가상 음원들의 인지된 위치들 사이의 다양한 공간적 대응 정도들에 대응한다. 일부 실시예들에서, 각자의 가상 음원의 선택된 기준 프레임은 물리적 환경에 기초하거나, 컴퓨터 생성 콘텐츠의 가상 3차원 환경에 기초하거나, 컴퓨터 생성 콘텐츠의 3차원 환경의 현재 디스플레이된 뷰의 시점에 기초하거나, 물리적 환경 내의 디스플레이 생성 컴포넌트의 위치에 기초하거나, 또는 물리적 환경 내의 사용자의 위치 등에 기초한다. 일부 실시예들에서, 더 높은 몰입 레벨은 컴퓨터 생성 환경 내의 가상 음원들의 위치들과 컴퓨터 생성 콘텐츠의 오디오 컴포넌트에 대한 선택된 기준 프레임(예컨대, 컴퓨터 생성 경험에 묘사된 3차원 환경에 기초한 기준 프레임, 시점의 위치에 기초한 기준 프레임, 디스플레이 생성 컴포넌트의 위치에 기초한 기준 프레임, 사용자의 위치에 기초한 기준 프레임 등) 내의 가상 음원들의 인지된 위치들 사이의 더 큰 대응 레벨에 대응한다. 일부 실시예들에서, 컴퓨터 생성 환경 내의 가상 음원들의 위치들과 컴퓨터 생성 콘텐츠의 오디오 컴포넌트에 대한 선택된 기준 프레임 내의 가상 음원들의 인지된 위치들 사이의 더 작은 대응 레벨은 가상 음원들의 인지된 위치들과 물리적 환경 내의 오디오 출력 디바이스들의 위치 사이의 더 큰 대응 레벨의 결과이다(예컨대, 사운드는, 컴퓨터 생성 콘텐츠의 3차원 환경 내의 가상 음원들의 위치들에 관계없이, 그리고/또는 시점의 위치, 디스플레이 생성 컴포넌트의 위치, 및/또는 사용자의 위치 등에 관계없이, 오디오 출력 디바이스들의 위치들로부터 나오는 것으로 보임). 일부 실시예들에서, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 제시하라는 요청에 대응하는 제1 이벤트를 검출하고, 컴퓨터 시스템은 컴퓨터 생성 경험의 시각적 컴포넌트가 디스플레이 생성 컴포넌트를 통해 디스플레이되는 몰입 레벨에 따라 컴퓨터 생성 경험의 오디오 컴포넌트를 출력하기 위한 오디오 출력 모드를 선택한다. 제1 컴퓨터 생성 경험의 시각적 콘텐츠의 디스플레이와 연관된 더 높은 몰입 레벨로, 컴퓨터 시스템은 컴퓨터 생성 경험의 오디오 콘텐츠를 대응하는 더 높은 몰입 레벨로 제시하는 오디오 출력 모드를 선택한다. 일부 실시예들에서, 시각적 콘텐츠를 더 높은 몰입 레벨로 디스플레이하는 것은 시각적 콘텐츠를 3차원 환경 내에 더 큰 공간적 범위로 디스플레이하는 것을 포함하고, 오디오 콘텐츠를 대응하는 더 높은 몰입 레벨로 출력하는 것은 오디오 콘텐츠를 공간 오디오 출력 모드로 출력하는 것을 포함한다. 일부 실시예들에서, 시각적 콘텐츠를 2개의 상이한 몰입 레벨들로 디스플레이하는 것 사이에서(예컨대, 더 높은 몰입 레벨로부터 더 낮은 몰입 레벨로, 더 낮은 몰입 레벨로부터 더 높은 몰입 레벨로 등) 스위칭할 때, 컴퓨터 시스템은, 또한, 오디오 콘텐츠를 2개의 상이한 몰입 레벨들로 출력하는 것 사이에서(예컨대, 공간 오디오 출력 모드로부터 스테레오 오디오 출력 모드로, 서라운드 사운드 출력 모드로부터 스테레오 오디오 출력 모드로, 스테레오 오디오 출력 모드로부터 서라운드 사운드 출력 모드로, 스테레오 오디오 출력 모드로부터 공간 오디오 출력 모드로 등) 스위칭한다. 컴퓨터 생성 콘텐츠의 시각적 콘텐츠가 디스플레이되는 몰입 레벨에 따라 컴퓨터 생성 콘텐츠의 오디오 컴포넌트를 출력하기 위한 적합한 오디오 출력 모드를 선택하는 것은, 컴퓨터 시스템이, 사용자의 예상들과 더 일치하는 컴퓨터 생성 경험을 제공하도록 그리고 사용자가 컴퓨터 생성 경험에 관여하는 동안 컴퓨터 생성 환경과 상호작용할 때 혼란을 야기하는 것을 회피하도록 허용한다. 이는 사용자 실수들을 감소시키고 컴퓨터 시스템과의 사용자 상호작용을 더 효율적으로 만들 수 있다.
일부 실시예들에서, 3차원 환경(예컨대, 가상 현실 환경, 증강 현실 환경 등) 내에 가상 콘텐츠를 디스플레이할 때, 물리적 환경의 뷰의 전부 또는 일부는 가상 콘텐츠에 의해 차단되거나 대체된다. 일부 경우들에서, 가상 콘텐츠보다 물리적 환경 내의 소정 물리적 객체들에 디스플레이 우선순위를 부여하여, 물리적 객체의 적어도 일부분이 3차원 환경의 뷰 내에 시각적으로 표현되게 하는 것이 유리하다. 일부 실시예들에서, 컴퓨터 시스템은, 물리적 환경 내의 각자의 물리적 객체의 위치가 3차원 환경 내의 가상 콘텐츠의 일부분의 위치에 대응할 때, 각자의 물리적 객체의 표현이 3차원 환경 내에 현재 디스플레이된 가상 콘텐츠의 일부분을 돌파할 수 있도록, 각자의 물리적 객체에 디스플레이 우선순위를 부여할지 여부를 결정하기 위한 다양한 기준들을 이용한다. 일부 실시예들에서, 기준들은 물리적 객체의 적어도 일부분이 디스플레이 생성 컴포넌트의 사용자(예컨대, 디스플레이 생성 컴포넌트를 통해 가상 콘텐츠를 보고 있는 사용자, 물리적 객체의 일부분의 뷰가 가상 콘텐츠의 디스플레이에 의해 차단되거나 대체되는 사용자 등)를 둘러싸는 임계 공간 영역에 접근하여 진입하였다는 요건, 및 컴퓨터 시스템이 사용자에 대한 물리적 객체의 높아진 유의성(significance)을 나타내는, 물리적 객체에 대한 하나 이상의 특성들의 존재를 검출한다는 추가 요건을 포함한다. 일부 실시예들에서, 사용자에 대한 높아진 유의성의 물리적 객체는 사용자의 친구 또는 가족 구성원, 사용자의 팀 구성원 또는 감독자, 사용자의 애완동물 등일 수 있다. 일부 실시예들에서, 사용자에 대한 높아진 유의성의 물리적 객체는 비상상황에 대처하기 위해 사용자의 주의를 요구하는 사람 또는 객체일 수 있다. 일부 실시예들에서, 사용자에 대한 높아진 유의성의 물리적 객체는 사용자가 놓치고 싶지 않은 액션을 취하기 위해 사용자의 주의를 요구하는 사람 또는 객체일 수 있다. 기준들은 사용자의 필요들 및 요구들에 기초하여 사용자에 의해 그리고/또는 콘텍스트 정보(예컨대, 시간, 위치, 스케줄링된 이벤트들 등)에 기초하여 시스템에 의해 조정가능하다. 일부 실시예들에서, 가상 콘텐츠보다 유의한 물리적 객체에 디스플레이 우선순위를 부여하고, 3차원 환경의 뷰 내에 물리적 객체의 적어도 일부분을 시각적으로 표현하는 것은, 가상 콘텐츠의 일부분의 디스플레이를 물리적 객체의 일부분의 표현으로 대체하는 것, 또는 물리적 객체의 일부분의 외관에 따라 가상 콘텐츠의 일부분의 외관을 변경하는 것을 포함한다. 일부 실시예들에서, 물리적 객체의 적어도 일부분은, 물리적 객체의 상기 부분의 위치에 대응하는 위치가 디스플레이 생성 컴포넌트에 의해 제공되는 시야 내에서 보이는 경우에도, 3차원 환경의 뷰 내에 시각적으로 표현되지 않고, 가상 콘텐츠의 디스플레이에 의해 차단되거나 대체된 상태로 유지된다(예컨대, 위치는 가상 콘텐츠에 의해 현재 점유되어 있음). 일부 실시예들에서, 물리적 객체의 존재를 보여주기 위해 변경되는 3차원 환경의 일부분, 및 물리적 객체의 존재를 보여주기 위해 변경되지 않는 3차원 환경의 일부분(예컨대, 3차원 환경의 일부분은 컴퓨터 생성 경험의 진행 및/또는 3차원 환경과의 사용자 상호작용 등에 기초하여 계속 변경될 수 있음)은 가상 객체 또는 표면의 연속적인 부분 상의 위치들에 대응한다. 물리적 객체가 사용자에 대한 높아진 유의성의 물리적 객체들을 식별하기 위한 미리설정된 기준들을 충족시키고, 물리적 객체가 사용자를 둘러싸는 미리설정된 공간 영역에 진입하였다는 결정에 따라, 물리적 객체의 적어도 일부분이 가상 콘텐츠에 의해 시각적으로 가려진 상태를 유지하면서, 유의한 물리적 객체의 적어도 일부분이 가상 콘텐츠의 디스플레이를 돌파하도록 그리고 물리적 객체의 일부분의 위치에 대응하는 위치에 시각적으로 표현되도록 허용하는 것은, 사용자가 관여하는 컴퓨터 생성 경험을 완전히 정지시키지 않고서, 그리고 사용자에게 거의 유의하지 않은 물리적 객체들(예컨대, 구르는 공, 행인 등)이 컴퓨터 생성 경험을 중단시키도록 무차별적으로 허용하지 않고서, 물리적 객체를 인지하고 그와 상호작용할 기회를 사용자에게 제공한다. 이는 사용자의 경험을 개선하고, 원하는 결과를 달성하기 위한 사용자로부터의 입력들(예컨대, 물리적 객체에 의해 물리적으로 방해되거나 터치될 때 컴퓨터 생성 경험을 수동으로 정지시키는 것, 컴퓨터 생성 경험이 불필요하게 중단된 후 그를 수동으로 재시작하는 것 등)의 수, 크기 및/또는 종류를 줄여서, 그에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에서, 컴퓨터 시스템은 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하라는 요청에 응답하여(예컨대, 사용자가 머리 장착형 디스플레이를 착용하는 것에 응답하여, 증강 현실 환경을 시작하라는 사용자의 요청에 응답하여, 가상 현실 경험을 종료하라는 사용자의 요청에 응답하여, 사용자가 저전력 상태로부터 디스플레이 생성 컴포넌트를 켜거나 웨이크업(wake up)하는 것에 응답하여 등) 물리적 환경의 표현을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은, 물리적 환경 내의 객체들 및 표면들을 식별하고, 선택적으로, 물리적 환경 내의 식별된 객체들 및 표면들에 기초하여 물리적 환경의 3차원 또는 의사 3차원 모델을 구축하기 위해, 물리적 환경의 스캔을 개시한다. 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 물리적 환경이 컴퓨터 시스템에 의해 이전에 스캐닝 및 특성화되지 않은 경우, 또는 미리설정된 재스캐닝 기준들이 충족되는 것(예컨대, 마지막 스캔이 임계량 초과의 시간 전에 수행되었음, 물리적 환경이 변경되었음 등)에 기초하여 사용자 또는 시스템에 의해 재스캔이 요청되는 경우 등) 3차원 환경을 디스플레이하라는 요청을 수신하는 것에 응답하여 물리적 환경의 스캔을 개시한다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 손이 물리적 환경의 일부분(예컨대, 물리적 표면, 물리적 객체 등)을 터치하는 것을 검출하는 것에 응답하여 스캔을 개시한다. 일부 실시예들에서, 컴퓨터 시스템은 물리적 환경의 일부분에 대응하는 위치로 지향되는 사용자의 시선이 미리설정된 안정성 및/또는 지속시간 기준들을 충족시킨다는 것을 검출하는 것에 응답하여 스캔을 개시한다. 일부 실시예들에서, 컴퓨터 시스템은 스캔의 진행 및 결과들(예컨대, 물리적 환경에서의, 물리적 객체들 및 표면들의 식별, 물리적 객체들 및 표면들의 물리적 및 공간적 특성들의 결정 등)에 관한 시각적 피드백을 디스플레이한다. 일부 실시예들에서, 시각적 피드백은, 사용자의 손에 의해 터치되는 물리적 환경의 일부분에 대응하고 물리적 환경의 일부분의 스캔에 기초하여 식별된 3차원 환경의 각자의 부분에 각자의 시각적 효과를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 시각적 효과는 3차원 환경의 각자의 부분으로부터 확장되고/되거나, 3차원 환경의 각자의 부분으로부터 전파되는 이동의 표현을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 손이 물리적 환경의 각자의 부분을 터치하는 것을 검출하는 것에 응답하여 시각적 효과를 디스플레이하는 한편, 3차원 환경은 3차원 환경을 디스플레이하기 위한 이전 요청에 응답하여 그리고 물리적 환경의 스캔이 완료된 후에 디스플레이된다. 일부 실시예들에서, 물리적 환경의 일부분에 대한 사용자의 터치의 위치에 대응하는 위치에 물리적 환경의 스캔의 진행 및 결과들을 나타내는 시각적 효과를 디스플레이하는 것은, 사용자가 컴퓨터가 가상 객체들 및 표면들을 디스플레이하고 고정시키기 위해 사용할 공간 환경을 시각화하는 것을 돕고, 사용자와 공간 환경 사이의 후속 상호작용들을 용이하게 한다. 이는 상호작용들을 더 효율적으로 만들고 입력 실수들을 감소시키며, 이는 더 효율적인 인간-기계 인터페이스를 생성한다. 일부 실시예들에서, 물리적 환경의 일부분과의 사용자의 접촉의 위치는, 물리적 환경의 3차원 모델을 생성하고 스캔에 기초하여 표면들 및 객체들의 경계들을 식별하기 위한 더 정확한 경계 조건들을 제공하기 위해 컴퓨터 시스템에 의해 이용되며, 이는 가상 객체들의 디스플레이를 3차원 환경에서 더 정확하고 끊김 없게 만든다.
일부 실시예들에서, 컴퓨터 시스템은 3차원 환경 내에 대화형 사용자 인터페이스 객체를 디스플레이한다. 컴퓨터 시스템은, 또한, 3차원 환경 내에 물리적 환경의 표현을 디스플레이하며, 여기에서 대화형 사용자 인터페이스 객체는 물리적 환경 내의 상이한 위치들에 대응하는 3차원 환경 내의 다양한 위치들에 대한 각자의 공간적 관계를 갖는다. 사용자가 터치 입력들 및/또는 제스처 입력들을 통해 사용자의 손의 일부분, 예를 들어 사용자의 손의 하나 이상의 손가락들 또는 전체 손으로 3차원 환경과 상호작용할 때, 사용자의 손과 가능하게는 손에 연결된 손목 및 팔을 포함하는 사용자의 일부분은 사용자 인터페이스 객체의 위치에 대응하는 위치(예컨대, 물리적 객체 또는 물리적 표면의 위치, 물리적 환경에서의 자유 공간 내의 위치 등)와 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치(예컨대, 사용자의 눈들의 위치, 디스플레이 생성 컴포넌트의 위치, 3차원 환경 내에 표시된 물리적 환경의 뷰를 캡처하는 카메라의 위치 등) 사이에 있는 공간 영역에 진입할 수 있다. 컴퓨터 시스템은, 사용자의 손의 위치, 사용자 인터페이스 객체의 위치에 대응하는 위치, 및 시점에 대응하는 위치 사이의 공간적 관계들에 기초하여, 시점의 위치로부터 사용자가 볼 때 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분에 의해 시각적으로 차단될 것인지 및 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분에 의해 시각적으로 차단되지 않을 것인지를 결정한다. 이어서, 컴퓨터 시스템은 (예컨대, 컴퓨터 시스템에 의해 결정된 바와 같은) 사용자의 일부분에 의해 시각적으로 차단될 사용자 인터페이스 객체의 각자의 부분을 디스플레이하는 것을 중지하고, 대신에, (예컨대, 컴퓨터 시스템에 의해 결정된 바와 같은) 사용자의 일부분에 의해 시각적으로 차단되지 않을 사용자 인터페이스 객체의 다른 부분의 디스플레이를 유지하면서, 사용자의 일부분의 표현이 사용자 인터페이스 객체의 각자의 부분의 위치에서 보이도록 허용한다. 일부 실시예들에서, (예컨대, 디스플레이 생성 컴포넌트의 이동, 물리적 환경을 캡처하는 카메라의 이동, 사용자의 머리 또는 몸통의 이동 등으로 인한) 사용자의 일부분의 이동 또는 시점의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은, 사용자의 일부분, 시점에 대응하는 위치, 및 사용자 인터페이스 객체의 위치에 대응하는 위치 사이의 새로운 공간적 관계들에 기초하여, 시점의 위치로부터 사용자가 볼 때 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분에 의해 시각적으로 차단될 것인지 및 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분에 의해 시각적으로 차단되지 않을 것인지를 재평가한다. 이어서, 컴퓨터 시스템은 (예컨대, 컴퓨터 시스템에 의해 결정된 바와 같은) 사용자의 일부분에 의해 시각적으로 차단될 사용자 인터페이스 객체의 다른 부분을 디스플레이하는 것을 중지하고, 이전에 디스플레이되는 것이 중지된 사용자 인터페이스 객체의 일부분이 3차원 환경의 뷰 내에 복원되도록 허용한다. 사용자 인터페이스 객체를 다수의 부분들로 시각적으로 분할하고, 사용자 인터페이스 객체의 하나 이상의 부분들의 디스플레이를 사용자 인터페이스 객체의 위치에 대응하는 위치와 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치 사이의 공간 영역에 진입한 사용자의 일부분의 표현으로 대체하는 것은, 사용자가 그/그녀의 손에 대한 사용자 인터페이스 객체의 배치 위치를 시각화 및 감지하는 것을 돕고, 3차원 환경에서의 사용자와 사용자 인터페이스 객체 사이의 상호작용들을 용이하게 한다. 이는 상호작용을 더 효율적으로 만들고 입력 실수들을 감소시키며, 이는 더 효율적인 인간-기계 인터페이스를 생성한다.
도 1 내지 도 6은 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 도 7a 및 도 7b는 일부 실시예들에 따른, 컴퓨터 생성 콘텐츠가 제시되는 몰입 레벨에 따라 상이한 오디오 출력 모드들을 선택하는 것을 예시하는 블록도들이다. 도 7c 내지 도 7h는 일부 실시예들에 따른, 유의한 물리적 객체가 디스플레이 생성 컴포넌트 또는 디스플레이 생성 컴포넌트의 사용자의 위치에 접근할 때 가상 콘텐츠의 일부분의 외관을 변경하는 것을 예시하는 블록도들이다. 도 7i 내지 도 7n은 일부 실시예들에 따른, 물리적 환경의 일부분의 스캔에 기초하여 식별된, 물리적 환경의 일부분에 대응하는 3차원 환경 내의 영역에 시각적 효과를 적용하는 것을 예시하는 블록도들이다. 도 7o 내지 도 7q는 일부 실시예들에 따른, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 대화형 사용자 인터페이스 객체를 디스플레이하는 것, 및 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치와 물리적 환경의 제1 부분 사이의 공간에서 이동하는 사용자의 일부분의 위치에 따라 사용자 인터페이스 객체의 각자의 하위 부분의 디스플레이를 선택적으로 보류하는 것을 예시하는 블록도들이다. 도 7a 내지 도 7q의 사용자 인터페이스들은 각각 도 8 내지 도 11의 프로세스들을 예시하기 위해 사용된다.
일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 그리고 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 홈 어플라이언스들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리-장착 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 현실: 대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 헤드 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 헤드 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 헤드 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 설정/환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(120)에 의해 제공되고/되거나 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부(예를 들어, 그의 머리에, 그의 손에 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예를 들어, 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 CGR 경험, 또는 하나 이상의 사용자들의 개개의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(242)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(244)은 장면(105)을 맵핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(244)은 손 추적 유닛(245), 및 눈 추적 유닛(243)을 포함한다. 일부 실시예들에서, 손 추적 유닛(245)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(245)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(243)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(243)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(242), 추적 유닛(244(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(245)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(245)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부 및/또는 외부 대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 눈-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 손-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 HMD(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하거나 또는 장면(105)의 물리적 환경을 캡처하는 이미지 센서들의 역할을 하기 위해 다른 이미지 센서들과 함께 사용된다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를, 맵 데이터로부터 고레벨 정보를 추출하는 제어기(110)에 출력한다. 이러한 고레벨 정보는 통상적으로, 애플리케이션 프로그램 인터페이스(API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동시킨다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 특정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 성분들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 관련된 전용 회로에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 각자의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 예컨대, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 컴포넌트(예컨대, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 너클들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 CGR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 일부이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 그러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60-120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선의 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 자동 초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 초점을 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 8개의 광원들(530)(예를 들어, LED들)이 예로서 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입시키지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실(예를 들어, 가상 현실, 증강 현실 및/또는 증강 가상을 포함함) 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실(예를 들어, 가상 현실 및/또는 혼합 현실을 포함함) 애플리케이션들에서 사용될 수 있다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트를 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예이면, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오이면, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되면, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(410)로부터 진행하면, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하면, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서의 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 리턴한다. 650에서, 결과들이 신뢰되면, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아니라면) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6은 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 내지 도 7q는 다양한 실시예들에 따른, 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7100), 디스플레이 생성 컴포넌트(120) 등)를 통해 디스플레이되는 3차원 환경들, 및 3차원 환경에 대한 사용자 입력들에 의해 야기되는, 3차원 환경에서 발생하는 상호작용들을 예시한다. 일부 실시예들에서, 입력들은 가상 객체들의 위치들에서 검출된 사용자의 시선에 의한, 가상 객체의 위치에 대응하는 물리적 환경 내의 위치에서 수행된 손 제스처에 의한, 가상 객체가 입력 포커스(예컨대, 시선에 의해 선택됨, 포인터에 의해 선택됨, 이전 제스처 입력에 의해 선택됨 등)를 갖는 동안 가상 객체의 위치와 독립적인 물리적 환경 내의 위치에서 수행되는 손 제스처에 의한, 3차원 환경 내의 가상 객체들에 대한 것이다. 일부 실시예들에서, 입력들은 사용자의 손 이동(예컨대, 전체 손 이동, 각자의 자세에서의 전체 손 이동, 손의 다른 부분에 대한 손의 한 부분의 이동, 두 손들 사이의 상대 이동 등) 및/또는 물리적 객체에 대한 조작(예컨대, 터칭, 스와이핑, 탭핑, 열기, ~를 향한 이동, ~에 대한 이동 등)에 의한, 물리적 객체 또는 물리적 객체에 대응하는 가상 객체의 표현에 대한 것이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경은 물리적 환경의 표현 없이 3차원 환경 내의 상이한 가상 위치들에 가상 객체들 및 콘텐츠를 포함하는 가상 3차원 환경이다. 일부 실시예들에서, 3차원 환경은 물리적 환경의 하나 이상의 물리적 태양들(예컨대, 벽들, 바닥들, 표면들의 위치들 및 배향들, 중력의 방향, 하루 중 시간 등)에 의해 제한되는 3차원 환경 내의 상이한 가상 위치들에 가상 객체들을 디스플레이하는 혼합 현실 환경이다. 일부 실시예들에서, 3차원 환경은 물리적 환경의 표현을 포함하는 증강 현실 환경이다. 물리적 환경의 표현은 3차원 환경 내의 상이한 위치들에 물리적 객체들 및 표면들의 각자의 표현들을 포함하여서, 물리적 환경 내의 상이한 물리적 객체들 및 표면들 사이의 공간적 관계들이 3차원 환경 내의 물리적 객체들 및 표면들의 표현들 사이의 공간적 관계들에 의해 반영되게 한다. 가상 객체들이 3차원 환경에서 물리적 객체들 및 표면들의 표현들의 위치들에 대해 배치될 때, 그들은 물리적 환경 내의 물리적 객체들 및 표면들과 대응하는 공간적 관계들을 갖는 것으로 보인다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 물리적 환경의 표현이 디스플레이되는 패스 스루 부분을 포함한다. 일부 실시예들에서, 패스 스루 부분은, 사용자를 둘러싸고 그의 시야 내에 있는 물리적 환경의 적어도 일부분을 드러내는 디스플레이 생성 컴포넌트의 투명 또는 반투명(예컨대, 시스루(see-through)) 부분이다. 예를 들어, 패스 스루 부분은 반투명(예컨대, 50%, 40%, 30%, 20%, 15%, 10% 또는 5% 미만의 불투명도) 또는 투명하게 만들어진 머리 장착형 디스플레이 또는 헤드업 디스플레이의 일부분이어서, 사용자가, 머리 장착형 디스플레이를 제거하거나 헤드업 디스플레이로부터 멀리 이동하지 않고서, 사용자를 둘러싸는 실제 세계를 보도록 그를 통해 볼 수 있게 한다. 일부 실시예들에서, 패스 스루 부분은 가상 또는 혼합 현실 환경을 디스플레이할 때 반투명 또는 투명으로부터 완전 불투명으로 점진적으로 전이한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트의 패스 스루 부분은 하나 이상의 카메라들(예컨대, 모바일 디바이스의 또는 머리 장착형 디스플레이와 연관된 후방 대면 카메라(들), 또는 이미지 데이터를 전자 디바이스에 공급하는 다른 카메라들)에 의해 캡처된 물리적 환경의 적어도 일부분의 이미지들 또는 비디오의 라이브 피드를 디스플레이한다. 일부 실시예들에서, 하나 이상의 카메라들은 사용자의 눈들 바로 앞에 있는(예컨대, 디스플레이 생성 컴포넌트 뒤에 있는) 물리적 환경의 일부분을 향한다. 일부 실시예들에서, 하나 이상의 카메라들은 사용자의 눈들 바로 앞에 있지 않은(예컨대, 상이한 물리적 환경에 있는, 또는 사용자 옆이나 뒤에 있는) 물리적 환경의 일부분을 향한다.
일부 실시예들에서, 물리적 환경 내의 하나 이상의 물리적 객체들의 위치들에 대응하는 위치들에 가상 객체들을 디스플레이할 때, 가상 객체들 중 적어도 일부는 카메라들의 라이브 뷰의 일부분(예컨대, 라이브 뷰 내에 캡처된 물리적 환경의 일부분) 대신에 디스플레이된다(예컨대, 그의 디스플레이를 대체함). 일부 실시예들에서, 가상 객체 및 콘텐츠의 적어도 일부는 물리적 환경 내의 물리적 표면들 또는 빈 공간 상에 투영되고, 디스플레이 생성 컴포넌트의 패스 스루 부분을 통해 보인다(예컨대, 물리적 환경의 카메라 뷰의 일부로서, 또는 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분 등을 통해 볼 수 있음). 일부 실시예들에서, 가상 객체들 및 콘텐츠 중 적어도 일부는 디스플레이의 일부분을 오버레이하도록 디스플레이되고, 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 전부는 아니지만 그의 적어도 일부분의 뷰를 차단한다. 일부 실시예들에서, 가상 객체들 중 적어도 일부는 (예컨대, 물리적 환경의 카메라 뷰를 통해, 또는 디스플레이 생성 컴포넌트의 투명 부분 등을 통해 보여지는 바와 같이) 물리적 환경의 표현의 이미지에 대한 위치들에서 사용자의 망막 상에 직접 투영된다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 3차원 환경에 대한 3차원 환경의 현재 디스플레이된 뷰의 시점의 가상 위치를 변경하는 사용자 입력들 또는 이동들에 따라 3차원 환경의 상이한 뷰들을 디스플레이한다. 일부 실시예들에서, 3차원 환경이 가상 환경일 때, 시점은 물리적 환경에서의 사용자의 머리, 몸통, 및/또는 디스플레이 생성 컴포넌트의 이동을 요구하지 않고서 내비게이션 또는 로코모션(locomotion) 요청들(예컨대, 인 에어(in-air) 손 제스처들, 손의 다른 부분에 대한 손의 한 부분의 이동에 의해 수행되는 제스처들 등)에 따라 이동한다. 일부 실시예들에서, 물리적 환경에 대한, 사용자의 머리 및/또는 몸통의 이동, 및/또는 (예컨대, 사용자가 디스플레이 생성 컴포넌트를 유지하거나 HMD를 착용하는 것 등으로 인한) 디스플레이 생성 컴포넌트 또는 컴퓨터 시스템의 다른 위치 감지 요소들의 이동 등은, 3차원 환경에 대한 (예컨대, 대응하는 이동 방향, 이동 거리, 이동 속도, 및/또는 배향의 변화 등을 갖는) 시점의 대응하는 이동을 야기하여, 3차원 환경의 현재 디스플레이된 뷰의 대응하는 변화를 가져온다. 일부 실시예들에서, 가상 객체가 시점에 대해 미리설정된 공간적 관계를 가질 때, 3차원 환경에 대한 시점의 이동은 시야 내의 가상 객체의 위치가 유지되는 동안(예컨대, 가상 객체는 헤드 로킹(head locking)된다고 함) 3차원 환경에 대한 가상 객체의 이동을 야기할 것이다. 일부 실시예들에서, 가상 객체는 사용자에게 보디 로킹(body-locking)되고, 사용자가 물리적 환경에서 전체적으로 이동할 때(예컨대, 디스플레이 생성 컴포넌트 및/또는 컴퓨터 시스템의 다른 위치 감지 컴포넌트를 휴대하거나 착용함) 3차원 환경에 대해 이동하지만, 사용자의 머리 이동(예컨대, 디스플레이 생성 컴포넌트 및/또는 컴퓨터 시스템의 다른 위치 감지 컴포넌트가 물리적 환경에서 사용자의 고정된 위치 주위로 회전하는 것)에 응답하여 3차원 환경에서 이동하지 않을 것이다.
일부 실시예들에서, 도 7a 내지 도 7q에 도시된 3차원 환경의 뷰들은 사용자의 손(들), 팔(들), 및/또는 손목(들)의 표현을 포함한다. 일부 실시예들에서, 표현은 디스플레이 생성 컴포넌트를 통해 제공되는 물리적 환경의 표현의 일부이다. 일부 실시예들에서, 표현은 물리적 환경의 표현의 일부가 아니며, (예컨대, 사용자의 손(들), 팔(들), 및 손목(들)을 향하는 하나 이상의 카메라에 의해) 개별적으로 캡처되고 3차원 환경의 뷰와 독립적으로 3차원 환경 내에 디스플레이된다. 일부 실시예들에서, 표현은 컴퓨터 시스템(들)의 하나 이상의 카메라들에 의해 캡처된 바와 같은 카메라 이미지들, 또는 다양한 센서들에 의해 캡처된 정보에 기초한 팔들, 손목들 및/또는 손들의 양식화된 버전들을 포함한다. 일부 실시예들에서, 표현은 물리적 환경의 표현의 일부분의 디스플레이를 대체하거나, 그 상에 오버레이되거나, 또는 그의 뷰를 차단한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트가 물리적 환경의 뷰를 제공하지 않고, 완전 가상 환경(예컨대, 카메라 뷰 또는 투명 패스 스루 부분 없음)을 제공할 때, 사용자의 한쪽 또는 양쪽 팔들, 손목들, 및/또는 손들의 실시간 시각적 표현들(예컨대, 양식화된 표현들 또는 분할된 카메라 이미지들)이 여전히 가상 환경 내에 디스플레이될 수 있다. 일부 실시예들에서, 사용자의 손의 표현이 도면들에 도시되어 있더라도, 대응하는 설명에 의해 달리 명확하게 되지 않는 한, 사용자의 손의 표현은 반드시 항상 디스플레이되지는 않고/않거나, 3차원 환경과 상호작용하기 위한 요구되는 입력들을 제공할 때, 디스플레이되도록 또는 사용자의 시야 내에 있도록 요구되지 않을 수 있다는 것이 이해되어야 한다.
도 7a 및 도 7b는 일부 실시예들에 따른, 컴퓨터 생성 콘텐츠가 제시되는 몰입 레벨에 따라 상이한 오디오 출력 모드들을 선택하는 것을 예시하는 블록도들이다.
일부 실시예들에서, 컴퓨터 시스템은, 영화, 가상 사무실, 애플리케이션 환경, 게임, 컴퓨터 생성 경험(예컨대, 가상 현실 경험, 증강 현실 경험, 혼합 현실 경험 등) 등과 같은 컴퓨터 생성 콘텐츠를 디스플레이한다. 일부 실시예들에서, 컴퓨터 생성 콘텐츠는 3차원 환경(예컨대, 도 7a 및 도 7b의 환경(7102), 또는 다른 환경) 내에 디스플레이된다. 일부 실시예들에서, 컴퓨터 시스템은 물리적 환경으로부터의 시각적 감각 입력들에 비한 가상 콘텐츠로부터의 시각적 감각 입력들에 대한 다양한 강조 정도들에 대응하는 다수의 몰입 레벨들로 컴퓨터 생성 콘텐츠(예컨대, 시각적 콘텐츠(7106), 또는 다른 시각적 콘텐츠)의 시각적 컴포넌트를 디스플레이할 수 있다. 일부 실시예들에서, 더 높은 몰입 레벨은 물리적 환경으로부터의 것들에 비한 가상 콘텐츠로부터의 시각적 감각 입력들에 대한 더 큰 강조에 대응한다. 유사하게, 일부 실시예들에서, 컴퓨터 생성 콘텐츠의 시각적 컴포넌트에 수반되고/되거나 그에 대응하는 컴퓨터 생성 콘텐츠의 오디오 컴포넌트(예컨대, 영화에서의 사운드 효과들 및 사운드 트랙들; 애플리케이션 환경에서의 오디오 경보들, 오디오 피드백 및 시스템 사운드들; 게임에서의 사운드 효과들, 스피치 및 오디오 피드백; 및/또는 컴퓨터 생성 경험에서의 사운드 효과들 및 오디오 피드백 등)는 다수의 몰입 레벨들로 출력될 수 있다. 일부 실시예들에서, 다수의 몰입 레벨들은, 선택적으로, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 가상 콘텐츠 내의 가상 음원들의 위치들과 가상 음원들에 대한 선택된 기준 프레임 내의 가상 음원들의 인지된 위치들 사이의 다양한 공간적 대응 정도들에 대응한다. 일부 실시예들에서, 각자의 가상 음원의 선택된 기준 프레임은 물리적 환경에 기초하거나, 컴퓨터 생성 콘텐츠의 가상 3차원 환경에 기초하거나, 컴퓨터 생성 콘텐츠의 3차원 환경의 현재 디스플레이된 뷰의 시점에 기초하거나, 물리적 환경 내의 디스플레이 생성 컴포넌트의 위치에 기초하거나, 또는 물리적 환경 내의 사용자의 위치 등에 기초한다. 일부 실시예들에서, 더 높은 몰입 레벨은 컴퓨터 생성 환경 내의 가상 음원들의 위치들과 컴퓨터 생성 콘텐츠의 오디오 컴포넌트에 대한 선택된 기준 프레임(예컨대, 컴퓨터 생성 경험에 묘사된 3차원 환경에 기초한 기준 프레임, 시점의 위치에 기초한 기준 프레임, 디스플레이 생성 컴포넌트의 위치에 기초한 기준 프레임, 사용자의 위치에 기초한 기준 프레임 등) 내의 가상 음원들의 인지된 위치들 사이의 더 큰 대응 레벨에 대응한다. 일부 실시예들에서, 컴퓨터 생성 환경 내의 가상 음원들의 위치들과 컴퓨터 생성 콘텐츠의 오디오 컴포넌트에 대한 선택된 기준 프레임 내의 가상 음원들의 인지된 위치들 사이의 더 작은 대응 레벨은 가상 음원들의 인지된 위치들과 물리적 환경 내의 오디오 출력 디바이스들의 위치 사이의 더 큰 대응 레벨의 결과이다(예컨대, 사운드는, 컴퓨터 생성 콘텐츠의 3차원 환경 내의 가상 음원들의 위치들에 관계없이, 그리고/또는 시점의 위치, 디스플레이 생성 컴포넌트의 위치, 및/또는 사용자의 위치 등에 관계없이, 오디오 출력 디바이스들의 위치들로부터 나오는 것으로 보임). 일부 실시예들에서, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 제시하라는 요청(예컨대, 도 7a 및 도 7b의 요청(7112), 요청(7114) 등, 또는 다른 요청들 등)에 대응하는 제1 이벤트를 검출하고, 컴퓨터 시스템은 컴퓨터 생성 경험의 시각적 컴포넌트가 디스플레이 생성 컴포넌트를 통해 디스플레이되는 몰입 레벨에 따라 컴퓨터 생성 경험의 오디오 컴포넌트를 출력하기 위한 오디오 출력 모드를 선택한다. 제1 컴퓨터 생성 경험의 시각적 콘텐츠의 디스플레이와 연관된 더 높은 몰입 레벨로, 컴퓨터 시스템은 컴퓨터 생성 경험의 오디오 콘텐츠를 대응하는 더 높은 몰입 레벨로 제시하는 오디오 출력 모드를 선택한다. 일부 실시예들에서, 시각적 콘텐츠를 더 높은 몰입 레벨로 디스플레이하는 것은 (예컨대, 도 7a와 대조적으로, 도 7b에 도시된 바와 같이) 시각적 콘텐츠를 3차원 환경 내에 더 큰 공간적 범위로 디스플레이하는 것을 포함하고, 오디오 콘텐츠를 대응하는 더 높은 몰입 레벨로 출력하는 것은 오디오 콘텐츠를 공간 오디오 출력 모드로 출력하는 것을 포함한다. 일부 실시예들에서, 시각적 콘텐츠를 2개의 상이한 몰입 레벨들로 디스플레이하는 것 사이에서(예컨대, 더 높은 몰입 레벨로부터 더 낮은 몰입 레벨로, 더 낮은 몰입 레벨로부터 더 높은 몰입 레벨로 등) 스위칭할 때, 컴퓨터 시스템은, 또한, 오디오 콘텐츠를 2개의 상이한 몰입 레벨들로 출력하는 것 사이에서(예컨대, 공간 오디오 출력 모드로부터 스테레오 오디오 출력 모드로, 서라운드 사운드 출력 모드로부터 스테레오 오디오 출력 모드로, 스테레오 오디오 출력 모드로부터 서라운드 사운드 출력 모드로, 스테레오 오디오 출력 모드로부터 공간 오디오 출력 모드로 등) 스위칭한다.
본 명세서에서 설명되는 바와 같이, 독립형 스피커들(예컨대, 사운드 바들, 외부 스피커들 등), 디스플레이 또는 컴퓨터 시스템의 내장 오디오 출력 컴포넌트들(예컨대, 머리 장착형 디스플레이 디바이스, 터치 스크린 디스플레이 디바이스, 휴대용 전자 디바이스, 또는 헤드업 디스플레이 등 내의 내장 스피커들), 웨어러블 오디오 출력 디바이스들(예컨대, 헤드폰들, 이어버드(earbud)들, 이어컵(earcup)들, 이어폰들 등)을 포함한 오디오 출력 디바이스들이 오디오 출력들을 사용자에게 제공하기 위해 널리 사용된다. 동일한 오디오 콘텐츠는, 상이한 오디오 출력 디바이스들을 사용하여 그리고/또는 동일한 오디오 출력 디바이스의 상이한 출력 모드들을 사용하여 출력될 때, 오디오 콘텐츠를 오디오 출력을 인지하는 사용자에게 상이하게 들리게 하는 상이한 오디오 특성들을 가질 수 있다. 이러한 이유로, 컴퓨터 생성 경험이 사용자에게 제공되고 있을 때, 컴퓨터 생성 경험의 오디오 콘텐츠 및 시각적 콘텐츠가 서로 조화를 이루고 더 끊김 없이 보완하도록, 컴퓨터 생성 경험의 시각적 콘텐츠가 사용자에게 제공되는 몰입 레벨에 기초하여, 사운드들의 특성들, 음원들의 특성들, 및/또는 오디오 출력 디바이스들을 변경하는 것을 포함하여, 오디오 출력 모드들을 조정하는 것이 바람직하다.
기존의 스테레오 및 모노 오디오 출력 모드들은 오디오 출력 디바이스들과 결부되는 기준 프레임에 대한 오디오를 제공한다. 고정된 오디오 출력 디바이스들의 경우, 사운드는, 물리적 환경에서의 사용자의 이동에 관계없이 그리고 컴퓨터 생성 경험의 시각적 콘텐츠의 변화들(예컨대, 컴퓨터 생성 경험의 3차원 환경에서의 가상 음원들의 이동 및/또는 시점의 이동 등으로 인한 변화들)에 관계없이, 물리적 환경 내의 오디오 출력 디바이스들의 위치들로부터 발생되는 것으로 보인다. 사용자의 신체의 일부분(예컨대, 귀들, 머리 등)에 대해 정지 상태로 유지되는 웨어러블 오디오 출력 디바이스들의 경우, 사운드는 컴퓨터 생성 경험의 3차원 환경에서, 컴퓨터 생성 경험의 시각적 콘텐츠의 변화들(예컨대, 가상 음원들의 이동으로 인한 변화들, 시점의 이동(예컨대, 사용자 또는 컴퓨터 시스템에 의한 로코모션 요청에 의해 야기되고, 사용자의 신체의 일부분의 이동에 의해 야기되지 않고 그에 대응하지 않는 시점의 이동 등)으로 인한 변화들 등)에 관계없이, 사용자의 신체의 일부분에 로킹된 것으로 보인다. 일부 경우들에서, 컴퓨터 시스템의 오디오 출력 디바이스들 및 디스플레이 생성 컴포넌트는 개별적으로 수용되고, 오디오 출력 디바이스들 및 디스플레이 생성 컴포넌트를 통한 컴퓨터 생성 콘텐츠의 제시 동안 물리적 환경에서 서로에 대해 이동할 수 있다. 그러한 경우들에서, 사운드는, 물리적 환경 내의 디스플레이 생성 컴포넌트의 위치, 또는 컴퓨터 생성 경험의 시각적 콘텐츠의 변화들(예컨대, 컴퓨터 생성 경험의 3차원 환경에서의 가상 음원의 이동 및/또는 시점의 이동(예컨대, 로코모션 요청에 의해, 또는 물리적 환경에서의 사용자 또는 그의 일부분의 이동에 응답하여 그리고 그에 따라 야기되는 이동 등) 등으로 인한 변화들)에 관계없이, 여전히 오디오 출력 디바이스들로부터 발생하는 것으로 보인다. 이와 같이, 스테레오 및 모노 오디오 출력 모드들은, 컴퓨터 생성 경험의 오디오 콘텐츠가 스테레오 오디오 출력 모드 또는 모노 오디오 출력 모드를 사용하여 사용자에게 제공될 때, 공간 오디오 출력 모드보다 덜 몰입적인 청취 경험 및 덜 사실적인 사운드들을 제공한다.
일부 실시예들에서, 공간 오디오 출력 모드는, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경(예컨대, 증강 현실 환경, 가상 현실 환경, 사용자를 둘러싸는 물리적 환경의 순수 패스 스루 뷰 등)과 같은 별개의 기준 프레임 내의 음원들로부터 오디오가 나오는 것으로 보이고, 시뮬레이션된 음원들의 위치설정이 물리적 환경에서의 오디오 출력 디바이스들의 위치 및 이동으로부터 결합해제되는 더 사실적인 청취 경험을 시뮬레이션한다.
일부 실시예들에서, 공간 오디오 출력 모드에 대한 기준 프레임은 컴퓨터 생성 경험의 3차원 환경 내에 표현되는 물리적 환경에 기초하고, 기준 프레임은, 선택적으로, 물리적 환경에서의 사용자의 이동, 오디오 출력 디바이스들의 이동, 및/또는 디스플레이 생성 컴포넌트의 이동으로 인해 변경되지 않는다.
일부 실시예들에서, 공간 오디오 출력 모드에 대한 기준 프레임은 컴퓨터 생성 경험의 가상 3차원 환경에 기초한다. 일부 실시예들에서, 기준 프레임은, 선택적으로, 물리적 환경에서의 사용자의 이동, 오디오 출력 디바이스의 이동, 및/또는 디스플레이 생성 컴포넌트의 이동이 가상 3차원 환경의 대응하는 이동을 야기하지 않는 경우, 이들 이동으로 인해 변경되지 않는다.
일부 실시예들에서, 공간 오디오 출력 모드에 대한 기준 프레임은 3차원 환경의 현재 디스플레이된 뷰의 시점과 결부되는 3차원 환경에 기초한다. 일부 실시예들에서, 기준 프레임은, 선택적으로, 물리적 환경에서의 사용자의 이동, 오디오 출력 디바이스의 이동, 및/또는 디스플레이 생성 컴포넌트의 이동이 3차원 환경의 현재 디스플레이된 뷰의 시점의 대응하는 이동을 야기하지 않는 경우, 이들 이동으로 인해 변경되지 않는다.
일부 실시예들에서, 공간 오디오 모드에서 출력되는 오디오 콘텐츠에 대한 기준 프레임은, 선택적으로, 컴퓨터 생성 경험에서의 시각적 콘텐츠에 대한 기준 프레임과는 상이하다. 예를 들어, 일부 실시예들에서, 시각적 콘텐츠가 디스플레이 생성 컴포넌트를 통해 시각적으로 제시되는 물리적 환경 또는 가상 환경과 결부되는 기준 프레임에 대해 디스플레이되는 동안, 가상 음원들 중 적어도 일부(예컨대, 외부 내레이터(narrator), 내부 대화 등)는 사용자의 시점과 결부되는 기준 프레임 내에 있다.
일부 실시예들에서, 컴퓨터 생성 경험의 오디오 콘텐츠는, 선택적으로, 컴퓨터 생성 경험의 3차원 환경에서 대응하는 가상 위치들을 갖지 않는 가상 음원들(예컨대, 시스템 레벨 사운드, 외부 내레이션 등)에 대한 제1 기준 프레임, 컴퓨터 생성 경험의 3차원 환경에서 대응하는 시각적 실시예들(예컨대, 가상 객체, 가상 표면, 가상 조명 등)을 갖는 가상 음원들에 대한 제2 기준 프레임, 및 선택적으로, 시점으로부터 멀리 떨어져 있는, 시야 밖에 있는, 숨겨진 등의 가상 음원들(예컨대, 파도들, 곤충들, 바람, 비, 정글 등의 사운드와 같은 주변 소음)에 대한 제3 기준 프레임과 같은 상이한 기준 프레임들과 결부되는 음원들을 포함한다. 일부 실시예들에서, 제1 기준 프레임은 사용자의 머리, 디스플레이 생성 컴포넌트, 및/또는 시점에 고정되며, 선택적으로, 그와 함께 이동한다. 일부 실시예들에서, 제2 기준 프레임은 컴퓨터 생성 경험의 3차원 환경과 결부되고, 선택적으로, 디스플레이 생성 컴포넌트와 함께 이동한다. 일부 실시예들에서, 제3 기준 프레임은 물리적 환경과 결부되고, 선택적으로, 사용자, 디스플레이 생성 컴포넌트, 또는 시점과 함께 이동하지 않는다. 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 사용하여 시각적 콘텐츠를 제공하는 것과 함께 더 사실적이고 더 몰입적인 청취 경험을 제공하기 위해, 디스플레이 생성 컴포넌트를 통해 제시되고 있는 시각적 콘텐츠에 기초하여, 물리적 환경에서의 오디오 출력 디바이스(들)와 디스플레이 생성 컴포넌트 사이의 공간적 구성에 기초하여, 그리고 사용자, 디스플레이 생성 컴포넌트 및 오디오 출력 디바이스들 사이의 공간적 구성에 기초하여, 상이한 기준 프레임(들)에 기초하여 사운드를 출력하도록 공간 오디오 모드를 선택 및 구성할 수 있다.
일부 실시예들에서, 공간 오디오 출력 모드는, 오디오 출력 디바이스(들)로부터 출력되는 오디오가, 그러한 오디오가 컴퓨터 생성 경험의 3차원 환경 또는 물리적 환경과 같은, 가상 음원들에 대해 선택된 각자의 기준 프레임 내의 하나 이상의 위치들(예컨대, 하나 이상의 음원들)로부터 나오고 있는 것처럼 들리도록 허용하는 모드이며, 여기에서 하나 이상의 시뮬레이션된 또는 인지된 음원들의 위치설정은 각자의 기준 프레임에 대한 오디오 출력 디바이스(들)의 이동으로부터 결합해제되거나 그와 독립적이다. 전형적으로, 하나 이상의 인지된 음원들은, 고정될 때, 음원들과 연관된 각자의 기준 프레임에 대해 고정되고, 이동할 때, 각자의 기준 프레임에 대해 이동한다.
일부 실시예들에서, 기준 프레임은 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 통해 제공되는 컴퓨터 생성 경험 내에 표현되는 물리적 환경에 기초한 기준 프레임이다. 일부 실시예들에서, 기준 프레임이 물리적 환경에 기초할 때(예컨대, 컴퓨터 생성 경험이 물리적 환경, 또는 물리적 환경의 패스 스루 뷰 등에 기초한 증강 현실 경험일 때), 하나 이상의 인지된 음원들은 물리적 환경 내에 각자의 공간적 위치들을 갖는다. 예를 들어, 일부 실시예들에서, 컴퓨터 생성 경험은 물리적 환경 내의 각자의 공간적 위치들에 대응하는 각자의 위치들을 갖는 인지된 음원들의 시각적 대응물들(예컨대, 컴퓨터 생성 경험에서 사운드들을 생성한 가상 객체들)을 포함한다. 일부 실시예들에서, 컴퓨터 생성 경험들은 시각적 대응물이 없는 사운드들(예컨대, 컴퓨터 생성 경험에서 사운드들을 생성한 원격 또는 숨겨진 가상 객체들, 가상 바람, 사운드 효과, 외부 내레이터 등)을 포함하지만, 물리적 환경 내의 각자의 공간적 위치들에 대응하는 원점(origin)들을 갖는다. 일부 실시예들에서, 오디오 출력 디바이스(들)가 물리적 환경에서 이리저리 이동함에 따라, 오디오 출력 디바이스(들)로부터 출력되는 오디오는, 오디오가, 그가 물리적 환경 내의 각자의 공간적 위치들에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다. 하나 이상의 인지된 음원들이 물리적 환경에서 공간적 위치들의 시퀀스를 통해 이리저리 이동하는 이동 소스들인 경우, 오디오 출력 디바이스(들)로부터 출력되는 오디오는, 오디오가, 그가 물리적 환경 내의 공간적 위치들의 시퀀스에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다. 이동 음원들에 대한 그러한 조정은, 또한, 물리적 환경에 대한 오디오 출력 디바이스(들)의 임의의 이동을 고려한다(예컨대, 오디오 출력 디바이스(들)가 음원과의 일정한 공간적 관계를 유지하기 위해 이동 음원과 유사한 경로를 따라 물리적 환경에 대해 이동하는 경우, 오디오는 사운드가 오디오 출력 디바이스(들)에 대해 이동하는 것으로 보이지 않도록 출력될 것임). 일부 실시예들에서, 오디오 콘텐츠가 컴퓨터 생성 경험 내에 표현되는 물리적 환경에 기초한 기준 프레임 및 공간 오디오 출력 모드를 사용하여 출력될 때, 3차원 환경의 현재 디스플레이된 뷰의 시점은 물리적 환경에서의 사용자 및/또는 디스플레이 생성 컴포넌트의 이동에 따라 변화하고; 사용자는 사운드를 가상 음원들의 가상 위치들로부터 나오는 것으로 인지할 것이고, 컴퓨터 생성 경험 내에 표현되는 물리적 환경에 기초한 동일한 기준 프레임에서 3차원 환경의 시각적 콘텐츠를 경험할 것이다.
일부 실시예들에서, 기준 프레임은 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 통해 제공되는 컴퓨터 생성 경험의 가상 3차원 환경에 기초한 기준 프레임이다. 일부 실시예들에서, 기준 프레임이 가상 3차원 환경(예컨대, 가상 3차원 영화, 3차원 게임, 가상 사무실 등의 환경)에 기초하는 경우, 하나 이상의 인지된 음원들은 가상 3차원 환경 내에 각자의 공간적 위치들을 갖는다. 일부 실시예들에서, 오디오 출력 디바이스(들)가 물리적 환경에서 이리저리 이동함에 따라, 오디오 출력 디바이스(들)로부터 출력되는 오디오는, 오디오가, 그가 가상 3차원 환경 내의 각자의 공간적 위치들에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다. 하나 이상의 인지된 음원들이 가상 3차원 환경에서 공간적 위치들의 시퀀스를 통해 이리저리 이동하는 이동 소스들인 경우, 오디오 출력 디바이스(들)로부터 출력되는 오디오는, 오디오가, 그가 가상 3차원 환경 내의 공간적 위치들의 시퀀스에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다. 일부 실시예들에서, 오디오 콘텐츠가 컴퓨터 생성 경험의 3차원 환경에 기초한 기준 프레임 및 공간 오디오 출력 모드를 사용하여 출력될 때, 3차원 환경의 현재 디스플레이된 뷰의 시점은 물리적 환경에서의 사용자 및/또는 디스플레이 생성 컴포넌트의 이동에 따라 변화하고; 사용자는 사운드를 가상 음원들의 가상 위치들로부터 나오는 것으로 인지할 것이고, 동일한 기준 프레임에서 3차원 환경의 시각적 콘텐츠를 경험할 것이다. 일부 실시예들에서, 오디오 콘텐츠가 컴퓨터 생성 경험의 3차원 환경에 기초한 기준 프레임 및 공간 오디오 출력 모드를 사용하여 출력될 때, 3차원 환경의 현재 디스플레이된 뷰의 시점은 사용자에 의해 제공되는 로코모션 요청에 따라 그리고/또는 물리적 환경에서의 사용자 및/또는 디스플레이 생성 컴포넌트의 이동에 따라 변화하고; 사용자는 사운드를 가상 음원들의 가상 위치들로부터 나오는 것으로 인지할 것이고, 동일한 기준 프레임에서 3차원 환경의 시각적 콘텐츠를 경험할 것이며, 이때 사용자의 가상 위치는 현재 디스플레이된 뷰의 시점과 결부된다.
일부 실시예들에서, 공간 오디오 출력 모드에 대한 기준 프레임은 오디오 출력 디바이스를 통해 출력되고 있는 오디오 콘텐츠에 대응하는 시각적 콘텐츠를 출력하고 있는, 디스플레이 생성 컴포넌트와 같은 전자 디바이스에 고정된다(예컨대, 사운드는 디스플레이 생성 컴포넌트를 따름). 예를 들어, 물리적 환경 내의 오디오의 시뮬레이션된 소스들의 위치들은 물리적 환경에서의 디스플레이 생성 컴포넌트의 이동에 대응하여 그러나 물리적 환경에서의 오디오 출력 디바이스의 이동에 대응하지 않고서 이동한다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트는 머리 장착형 디스플레이 디바이스, 또는 핸드헬드 디스플레이 디바이스인 한편, 오디오 출력 디바이스들은 물리적 환경 내에 배치되고 사용자의 이동을 따르지 않는다. 일부 실시예들에서, 공간 오디오 효과의 기준 프레임은, 디스플레이 생성 컴포넌트 및 사용자가 오디오 출력 디바이스(들)에 대해 물리적 환경에서 이리저리 이동함에 따라, 디스플레이 생성 컴포넌트에 그리고 사용자에게 간접적으로 고정된다. 일부 실시예들에서, 오디오 콘텐츠가 컴퓨터 생성 경험의 3차원 환경에 기초한 기준 프레임 및 공간 오디오 출력 모드를 사용하여 출력될 때, 3차원 환경의 현재 디스플레이된 뷰의 시점은 사용자에 의해 제공되는 로코모션 요청에 따라 그리고/또는 물리적 환경에서의 사용자 및/또는 디스플레이 생성 컴포넌트의 이동에 따라 변화하고; 사용자는 사운드를 가상 음원들의 가상 위치들로부터 나오는 것으로 인지할 것이고, 동일한 기준 프레임에서 3차원 환경의 시각적 콘텐츠를 경험할 것이며, 이때 사용자의 가상 위치는 현재 디스플레이된 뷰의 시점과 결부된다.
일부 실시예들에서, 공간 오디오 효과의 적어도 일부에 대한 기준 프레임은 디스플레이 생성 컴포넌트를 통해 제시되는 3차원 환경(예컨대, 증강 현실 환경, 혼합 현실 환경, 가상 현실 환경 등)의 현재 디스플레이된 뷰의 시점에 고정된다. 일부 실시예들에서, 시점은 컴퓨터 생성 경험 동안 3차원 환경 내의 상이한 위치들 또는 관찰 관점들로부터 3차원 환경의 뷰를 제공하기 위해 3차원 환경에 대해 이동한다. 일부 실시예들에서, 시점은 컴퓨터 생성 경험 동안 3차원 환경에서 정지 상태로 유지된다. 일부 실시예들에서, 3차원 환경에서의 시점의 이동은 물리적 환경에서의 디스플레이 생성 컴포넌트의 이동에 의해 야기되고 그에 대응한다. 일부 실시예들에서, 3차원 환경에서의 시점의 이동은 전체로서의 사용자의 이동 또는 물리적 환경에 대한 사용자의 머리 내지 몸통의 이동에 의해 야기되고 그에 대응한다. 일부 실시예들에서, 3차원 환경에서의 시점의 이동은, 사용자에 의해 제공되고/되거나 컴퓨터 시스템에 의해 생성되는 내비게이션 또는 로코모션 요청에 의해 야기되고 그에 대응한다. 일부 실시예들에서, 하나 이상의 인지된 음원들은 시점에 대해 3차원 환경 내에 각자의 공간적 위치들을 갖는다. 예를 들어, 일부 실시예들에서, 컴퓨터 생성 경험은 시점에 대해 3차원 환경 내에 각자의 위치들을 갖는 인지된 음원들의 시각적 대응물들(예컨대, 컴퓨터 생성 경험에서 사운드들을 생성한 가상 객체들, 가상 조명, 가상 표면들 등)을 포함한다. 일부 실시예들에서, 컴퓨터 생성 경험은 시각적 대응물이 없는 사운드들(예컨대, 컴퓨터 생성 경험에서 사운드들을 생성한 원격 또는 숨겨진 가상 객체들, 가상 바람, 사운드 효과, 외부 내레이터 등)을 포함하지만, 시점에 대한 3차원 환경 내의 각자의 위치들에 대응하는 원점들을 갖는다. 일부 실시예들에서, 시점이 3차원 환경에서 이리저리 이동함에 따라, 오디오 출력 디바이스(들)로부터 출력되는 오디오는, 오디오가, 그가 3차원 환경 내의 각자의 위치들에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다.
일부 실시예들에서, 컴퓨팅 시스템은 CGR 콘텐츠의 시각적 컴포넌트를 디스플레이 생성 컴포넌트를 통해 2개 이상의 몰입 레벨들로 디스플레이하도록 구성된다. 일부 실시예들에서, 컴퓨터 시스템은 CGR 콘텐츠의 시각적 컴포넌트를 적어도 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨로 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 CGR 콘텐츠의 시각적 컴포넌트를 서로에 대해 덜 몰입적인 시각적 경험 및 더 몰입적인 시각적 경험을 제공하는 적어도 2개의 몰입 레벨들로 각각 디스플레이한다. 일부 실시예들에서, 컴퓨팅 시스템은 디스플레이 생성 컴포넌트를 통해 디스플레이되는 시각적 콘텐츠로 하여금 하나 이상의 이벤트들의 시퀀스(예컨대, 애플리케이션 또는 경험의 자연 진행; 사용자 입력에 응답한 경험의 시작, 정지 및/또는 일시정지; 사용자 입력에 응답하여 경험의 몰입 레벨들을 변경하는 것; 컴퓨팅 디바이스의 상태의 변화; 외부 환경의 변화 등)에 응답하여 상이한 몰입 레벨들 사이에서 전이하게 한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 CGR 환경에 존재하는 가상 콘텐츠의 양을 증가시키는 것 및/또는 CGR 환경에 존재하는 주변 물리적 환경의 표현들(예컨대, 제1 디스플레이 생성 컴포넌트 전방의 물리적 환경의 일부분의 표현)의 양을 감소시키는 것에 대응한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 컴퓨터 생성 콘텐츠의 시각적 컴포넌트에 대한 증가하는 이미지 충실도(예컨대, 증가하는 픽셀 해상도, 증가하는 색상 해상도, 증가하는 색상 포화도, 증가하는 휘도, 증가하는 불투명도, 증가하는 이미지 상세사항들 등) 및/또는 공간 범위(예컨대, 각도 범위, 공간 깊이 등), 및/또는 주변 물리적 환경의 표현에 대한 감소하는 이미지 충실도 및/또는 공간 범위를 갖는 상이한 콘텐츠 디스플레이 모드들에 대응한다. 일부 실시예들에서, 제1 몰입 레벨은 물리적 환경이 디스플레이 생성 컴포넌트를 통해(예컨대, 물리적 환경의 카메라 뷰로서 또는 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해) 사용자에게 완전히 보이는 패스 스루 모드이다. 일부 실시예들에서, 패스 스루 모드에서 제시되는 시각적 CGR 콘텐츠는, 물리적 환경의 뷰로서 동시에 보이는 최소량의 가상 요소들을 갖거나 물리적 환경에 대한 사용자의 뷰에 대해 주변에 있는 가상 요소들(예컨대, 디스플레이의 주변 영역에 디스플레이되는 표시자들 및 제어부들)만을 갖는 물리적 환경의 패스 스루 뷰를 포함한다. 예를 들어, 물리적 환경의 뷰가 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 중심 및 대부분의 영역을 차지하고, 단지 몇 개의 제어부들(예컨대, 영화의 제목, 진행 바, 재생 제어부(예컨대, 재생 버튼) 등)만이 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 영역에 디스플레이된다. 일부 실시예들에서, 제1 몰입 레벨은, 물리적 환경이 디스플레이 생성 컴포넌트를 통해(예컨대, 물리적 환경의 카메라 뷰로서 또는 디스플레이 생성 컴포넌트의 투명 부분을 통해) 제1 사용자에게 완전히 보이고, 시각적 CGR 콘텐츠가, 물리적 환경의 표현의 일부분을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하거나 기타 등등을 하는 가상 윈도우 또는 프레임 내에 디스플레이되는 패스 스루 모드이다. 일부 실시예들에서, 제2 몰입 레벨은, 물리적 환경의 패스 스루 뷰가 컴퓨터 시스템에 의해 생성된 가상 요소들로 증강되는 혼합 현실 모드이며, 여기에서 가상 요소들은 사용자의 시야의 중심 및/또는 대부분의 영역을 차지한다(예컨대, 가상 콘텐츠는 컴퓨터 생성 환경의 뷰에서 물리적 환경과 통합됨). 일부 실시예들에서, 제2 몰입 레벨은, 물리적 환경의 패스 스루 뷰가, 물리적 환경의 표현의 일부분을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하거나 기타 등등을 하고, 디스플레이 생성 컴포넌트가 물리적 환경에 대해 이동될 때 드러나는 추가 깊이 또는 공간적 범위를 갖는 가상 윈도우, 뷰포트(viewport), 또는 프레임으로 증강되는 혼합 현실 모드이다. 일부 실시예들에서, 제3 몰입 레벨은, 가상 콘텐츠가 물리적 환경의 표현과 함께 3차원 환경 내에 디스플레이되고, 가상 객체들이 물리적 환경의 상이한 위치들에 대응하는 위치들에서 3차원 환경 전체에 걸쳐 분포되는 증강 현실 모드이다. 일부 실시예들에서, 제3 몰입 레벨은 가상 콘텐츠가 물리적 환경의 표현 없이 3차원 환경 내에 디스플레이되는 가상 현실 모드이다. 일부 실시예들에서, 위에서 설명된 상이한 몰입 레벨들은 서로에 대해 증가하는 몰입 레벨들을 나타낸다.
본 명세서에서 설명되는 바와 같이, 컴퓨터 시스템은, 일부 실시예들에 따르면, 컴퓨터 생성 경험의 시각적 콘텐츠가 디스플레이 생성 컴포넌트에 의해 디스플레이되고 있는 몰입 레벨에 따라 컴퓨터 생성 경험(예컨대, 애플리케이션, 영화, 비디오, 게임 등)의 오디오 콘텐츠를 출력하기 위한 오디오 출력 모드를 선택한다. 일부 실시예들에서, 시각적 콘텐츠가 디스플레이되는 몰입 레벨이 (예컨대, 제1 몰입 레벨로부터 제2 몰입 레벨로, 제1 몰입 레벨로부터 제3 몰입 레벨로, 또는 제2 몰입 레벨로부터 제3 몰입 레벨로 등) 증가할 때, 컴퓨터 시스템은 오디오 출력 모드를 덜 몰입적인 출력 모드로부터 더 몰입적인 출력 모드로(예컨대, 제1 오디오 출력 모드로부터 제2 오디오 출력 모드로, 또는 제1 오디오 출력 모드로부터 제3 오디오 출력 모드로, 또는 제2 오디오 출력 모드로부터 제3 오디오 출력 모드로 등, 여기에서 제1 오디오 출력 모드, 제2 오디오 출력 모드 및 제3 오디오 출력 모드는 증가하는 몰입 레벨들로 출력되는 오디오에 대응함) 스위칭한다. 본 명세서에서 설명되는 바와 같이, 공간 오디오 출력 모드는, 스테레오 오디오 출력 모드 및 모노 오디오 출력 모드보다 더 높은 몰입 레벨에 대응한다. 공간 오디오 출력 모드는 서라운드 사운드 출력 모드보다 더 높은 몰입 레벨에 대응한다. 서라운드 사운드 출력 모드는, 스테레오 오디오 출력 모드 및 모노 오디오 출력 모드보다 더 높은 몰입 레벨에 대응한다. 스테레오 오디오 출력 모드는 모노 오디오 출력 모드보다 더 높은 몰입 레벨에 대응한다. 일부 실시예들에서, 컴퓨터 시스템은, 컴퓨터 생성 경험의 시각적 콘텐츠가 디스플레이 생성 컴포넌트를 통해 제공되고 있는 몰입 레벨에 기초하여, 다수의 이용가능한 오디오 출력 모드들, 예컨대, 모노 오디오 출력 모드, 스테레오 오디오 출력 모드, 서라운드 사운드 출력 모드, 공간 오디오 출력 모드 등으로부터 오디오 출력 모드를 선택한다.
도 7a 및 도 7b는 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), 머리 장착형 디스플레이와 같은 다른 유형의 디스플레이 생성 컴포넌트 등) 및 하나 이상의 오디오 출력 디바이스들과 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨팅 시스템(101) 또는 도 4의 컴퓨팅 시스템(140) 등)에 의해 제1 컴퓨터 생성 경험이 제공되는 예시적인 시나리오를 예시한다.
도 7a에서, 컴퓨터 생성 경험의 시각적 콘텐츠(예컨대, 콘텐츠(7106), 또는 다른 콘텐츠 등)는 컴퓨터 생성 경험이 제공될 수 있는 2개 이상의 몰입 레벨 중 더 작은 몰입 레벨인 제1 몰입 레벨로 제공된다. 도 7b에서, 컴퓨터 생성 경험의 시각적 콘텐츠(예컨대, 콘텐츠(7106), 또는 다른 콘텐츠 등)는 컴퓨터 생성 경험이 제공될 수 있는 2개 이상의 몰입 레벨 중 더 큰 몰입 레벨인 제2 몰입 레벨로 제공된다.
일부 실시예들에서, 도 7a 및 7b에 도시된 시나리오들 중 각자의 하나는, 다른 하나의 도면에 도시된 시나리오로부터의 전이를 요구하지 않고서(예컨대, 시각적 콘텐츠를 먼저 다른 몰입 레벨로 디스플레이할 것을 요구하지 않고서), 컴퓨터 생성 경험이 시작되는 시간에(예컨대, 사용자 커맨드에 응답하여, 컴퓨터 시스템에 의해 생성된 이벤트에 응답하여 등) 발생할 수 있다. 그 결과, 컴퓨터 생성 경험의 시각적 콘텐츠가 제공되고 있는 몰입 레벨에 따라 컴퓨터 생성 경험의 오디오 콘텐츠를 출력하기 위해 컴퓨터 시스템에 의해 대응하는 오디오 출력 모드가 선택된다.
일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 사용자 커맨드에 응답하여, 컴퓨터 시스템에 의해 생성된 이벤트에 응답하여, 미리설정된 조건들이 충족되는 것에 따라 등) 도 7a에 도시된 시나리오로부터 도 7b에 도시된 시나리오로 또는 그 반대로 전이한다. 그 결과, 컴퓨터 시스템은 컴퓨터 생성 경험의 시각적 콘텐츠가 제공되고 있는 몰입 레벨의 변화에 따라 하나의 오디오 출력 모드로부터 다른 오디오 출력 모드로 전이한다.
일부 실시예들에서, 컴퓨터 생성 경험(예컨대, 3차원 영화, 가상 현실 게임, 비디오, 사용자 인터페이스 객체들을 포함하는 3차원 환경 등)은 가상 3차원 환경에서 발생하는 가상 경험이다. 일부 실시예들에서, 컴퓨터 생성 경험은 물리적 환경의 표현 및 가상 콘텐츠를 포함하는 증강 현실 경험이다. 도 7a 및 도 7b에서, 일부 실시예들에 따르면, 객체들(예컨대, 객체(7104) 등) 및 표면들(예컨대, 수직 표면들(7004', 7006'), 수평 표면(7008') 등)은 가상 3차원 환경(예컨대, 환경(7102), 또는 다른 가상 환경 등) 내의 가상 객체들 및 표면들을 나타낼 수 있다. 도 7a 및 도 7b에서, 일부 실시예들에 따르면, 3차원 환경(7102)은, 또한, 가상 객체들 및 표면들(예컨대, 객체(7104), 가상 테이블의 표면 등), 및 물리적 객체들 및 표면들의 표현들(예컨대, 표현들(7004', 7006')에 의해 표현되는 수직 벽들, 표현(7008')에 의해 표현되는 바닥, 테이블들, 창문들 등)을 포함하는 증강 현실 환경을 나타낼 수 있다. 환경(7102)은 이 예에서 컴퓨터 생성 경험의 시각적 콘텐츠(7106)의 디스플레이 이전에 그리고 그와 독립적으로 존재할 수 있는 환경이다.
도 7a에 도시된 바와 같이, 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), 또는 다른 유형의 디스플레이 등)와 사용자 사이의 공간적 관계는, 사용자가 디스플레이 생성 컴포넌트를 통해 제시된 시각적 CGR 콘텐츠를 보기 위한 위치에 있도록 하는 것이다. 예를 들어, 사용자는 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 HMD의 디스플레이이고, 도 7a에 표현된 공간적 관계는, HMD의 디스플레이 면이 사용자의 눈들을 향하는 상태로 사용자가 HMD를 착용하거나 유지하는 것에 대응한다. 일부 실시예들에서, 사용자는, 사용자가 디스플레이 생성 컴포넌트의 투영 시스템에 의해 조명되는 물리적 환경의 일부분을 향하고 있을 때 디스플레이 생성 컴포넌트를 통해 제시된 CGR 콘텐츠를 보기 위한 위치에 있다. 예를 들어, 가상 콘텐츠가 물리적 환경의 일부분 상에 투영되고, 가상 콘텐츠 및 물리적 환경의 일부분은 사용자가 물리적 환경의 일부분의 카메라 뷰를 통해, 또는 사용자가 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있을 때 디스플레이 생성 컴포넌트의 투명 부분을 통해 본다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는, 사용자가 디스플레이 생성 컴포넌트의 디스플레이 면을 향할 때 사용자의 망막 상에 이미지들을 형성하는 광을 방출한다. 예를 들어, 가상 콘텐츠는 LCD 또는 LED 디스플레이에 의해 디스플레이되는 물리적 환경의 뷰의 일부분에 오버레이되거나 그를 대체하는 LCD 또는 LED 디스플레이에 의해 디스플레이되고, LCD 또는 LED 디스플레이의 디스플레이 면을 향하는 사용자는 물리적 환경의 일부분의 뷰와 함께 가상 콘텐츠를 볼 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자 전방의 물리적 환경의 카메라 뷰를 디스플레이하거나, 또는 제1 사용자 전방의 물리적 환경의 일부분이 사용자에게 보이게 하는 투명 또는 반투명 부분을 포함한다.
일부 실시예들에서, 컴퓨터 시스템은 오디오 출력들(예컨대, 디스플레이되고 있는 CGR 콘텐츠의 시각적 부분에 수반되는 CGR 콘텐츠의 오디오 부분, CGR 콘텐츠의 외부에 있는 시스템 레벨 사운드 등)을 사용자에게 각각 제공하는 하나 이상의 오디오 출력 디바이스들을 제어한다. 일부 실시예들에서, 컴퓨터 시스템은, 오디오 CGR 콘텐츠가 출력될 수 있는 상이한 몰입 레벨들에 대응하는, 스테레오 오디오 출력 모드, 서라운드 사운드 출력 모드, 및 공간 오디오 출력 모드 등 중 2개 이상을 포함한 오디오 출력 디바이스들의 각자의 오디오 출력 모드를 사용하여 오디오 CGR 콘텐츠를 출력하기 전에 오디오 출력들을 생성 및/또는 조정한다. 일부 실시예들에서, 컴퓨팅 시스템은, 선택적으로, 주변 물리적 환경으로부터 전파되는 사운드들로부터 사용자를 (예컨대, 하나 이상의 능동 또는 수동 소음 억제 또는 소거 컴포넌트들을 통해) 부분적으로 또는 완전히 차폐한다. 일부 실시예들에서, 능동 사운드 차폐 또는 사운드 패스 스루의 양은 디스플레이 생성 컴포넌트를 통해 표시된 CGR 콘텐츠와 연관된 현재 몰입 레벨에 기초하여 컴퓨팅 시스템에 의해 결정된다(예컨대, 패스 스루 모드에 있을 때 사운드 차폐 없음, 또는 혼합 현실 모드에 있을 때 부분 사운드 차폐, 가상 현실 모드에 있을 때 완전 사운드 차폐 등).
일부 실시예들에서, 도 7a에 도시된 바와 같이, 컴퓨팅 시스템은 (예컨대, 프레임 또는 뷰포트(예컨대, 프레임 또는 뷰포트(7110), 윈도우, 가상 스크린 등) 내에 CGR 콘텐츠를 디스플레이하라는 사용자 커맨드(7112)에 응답하여, 또는 덜 몰입적인 모드로부터의 전이 또는 (예컨대, 도 7b에 도시된) 더 몰입적인 모드로부터의 전이에 응답하여 등) 디스플레이 생성 컴포넌트(7100)를 통해 시각적 CGR 콘텐츠(7106)를 디스플레이한다. 도 7a에 예시된 순간에, 컴퓨팅 시스템은 영화(예컨대, 3차원 영화, 2차원 영화, 대화형 컴퓨터 생성 경험 등)를 디스플레이하고 있다. 영화는 프레임 또는 시점(7110)에 디스플레이되어서, 영화의 콘텐츠가 환경(7102) 내의 물리적 환경의 표현과 동시에 보이게 한다. 일부 실시예들에서, 이러한 디스플레이 모드는 디스플레이 생성 컴포넌트를 통해 제시된 CGR 콘텐츠와 연관된 낮은 또는 중간 몰입 레벨에 대응한다.
일부 실시예들에서, 3차원 환경(예컨대, 환경(7102), 다른 환경 등) 내에 표시된 물리적 환경의 표현은, 사용자의 눈들이 디스플레이 생성 컴포넌트의 존재에 의해 차단되지 않는 경우(예컨대, 제1 사용자가 HMD를 착용하고 있지 않거나 HMD를 그/그녀의 눈들 전방에 유지하고 있지 않은 경우) 제1 사용자의 시야 내에 있을 물리적 환경의 일부분의 카메라 뷰를 포함한다. 도 7a에 도시된 디스플레이 모드에서, CGR 콘텐츠(7106)(예컨대, 영화, 3차원 증강 현실 환경, 사용자 인터페이스들, 가상 객체들 등)는, 물리적 환경의 표현의 전부는 아니지만 그의 제한된 부분을 오버레이하거나 대체하도록 디스플레이된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는, 물리적 환경의 일부분이 제1 사용자에게 보이게 하는 투명 부분을 포함한다. 일부 실시예들에서, 도 7a에 도시된 디스플레이 모드에서, CGR 콘텐츠(7106)(예컨대, 영화, 3차원 증강 현실 환경, 사용자 인터페이스들, 가상 객체들 등)는 물리적 환경 내의 물리적 표면들 또는 빈 공간 상에 투영되며, 물리적 환경과 함께 디스플레이 생성 컴포넌트의 투명 부분을 통해 보이거나, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 물리적 환경의 카메라 뷰를 통해 볼 수 있다. 일부 실시예들에서, CGR 콘텐츠(7106)는 디스플레이의 제한된 부분을 오버레이하도록 디스플레이되고, 제1 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 전부는 아니지만 그의 제한된 부분의 뷰를 차단한다. 일부 실시예들에서, 도 7a에 도시된 바와 같이, 시각적 CGR 콘텐츠는 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 하위 부분, 예를 들어 가상 윈도우(7110), 가상 뷰포트, 가상 스크린, 유한 물리적 표면의 위치에 대응하는 위치 등에 국한되는 한편, 시야는 3차원 환경의 다른 하위 부분들(예컨대, 가상 객체들 및/또는 물리적 환경의 표현들 등)을 동시에 포함한다.
일부 실시예들에서, 도 7a에 도시된 바와 같이, CGR 콘텐츠와 관련되고/되거나 CGR 콘텐츠와 관련되지 않은 다른 사용자 인터페이스 객체들(예컨대, 재생 제어부들(7108), 애플리케이션 아이콘들을 갖는 도크(dock) 등)은, 선택적으로, 3차원 환경 내에 시각적 CGR 콘텐츠와 동시에 디스플레이된다. 일부 실시예들에서, 시각적 CGR 콘텐츠는, 선택적으로, 3차원 콘텐츠이고, 윈도우(7110) 내의 3차원 콘텐츠의 현재 디스플레이된 뷰의 시점은 사용자 입력들 및/또는 물리적 환경에서의 디스플레이 생성 컴포넌트 또는 사용자의 머리의 이동에 응답하여 이동한다.
일부 실시예들에서, 시각적 CGR 콘텐츠가 국한되는 3차원 환경의 하위 부분(예컨대, 윈도우(7110), 뷰포트 등)의 위치는 시각적 CGR 콘텐츠의 디스플레이 동안 이동가능하다. 예를 들어, 일부 실시예들에 따르면, 시각적 CGR 콘텐츠를 디스플레이하는 윈도우(7110) 또는 뷰포트는 사용자의 핀치(pinch) 및 드래그 제스처에 따라 이동가능하다. 일부 실시예들에서, 시각적 CGR 콘텐츠를 디스플레이하는 윈도우 또는 뷰포트는, 사용자가 물리적 환경에 대해 디스플레이 생성 컴포넌트를 이동시킴에 따라(예컨대, 사용자가 HMD를 착용하고 있고 물리적 환경에서 걷고 있거나 물리적 환경에서 핸드헬드 디스플레이를 이동시키고 있을 때 등), 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 미리설정된 부분에(예컨대, 시야의 중심에, 또는 사용자에 의해 선택된 위치에 등) 머물러 있다.
이러한 예에서, 도 7a에 도시된 바와 같이, 시각적 CGR 콘텐츠를 낮은 또는 중간 몰입 레벨로 디스플레이할 때, 컴퓨터 시스템은 물리적 환경 내의 오디오 출력 디바이스(들)의 위치와 결부되는 기준 프레임에 대해 사운드를 출력하는 스테레오 오디오 출력 모드와 같은, 낮은 또는 중간 몰입 레벨에 대응하는 오디오 출력 모드를 선택한다. 이러한 예에서, 일부 실시예들에 따르면, 오디오 출력 디바이스는, 선택적으로, 물리적 환경에서 디스플레이 생성 컴포넌트 및/또는 사용자에 대해 이동가능하다. 스테레오 오디오 출력 모드에 따라 출력되는 오디오 CGR 콘텐츠는, 일부 실시예들에 따르면, 3차원 환경(7106) 내에서의 시각적 CGR 콘텐츠의 윈도우(7110) 또는 뷰포트의 위치 및/또는 이동을 고려하지 않는다. 스테레오 오디오 출력 모드에 따라 출력되는 오디오 CGR 콘텐츠는, 일부 실시예들에 따르면, 시각적 CGR 콘텐츠의 윈도우(7110) 또는 뷰포트 내에서의 가상 음원(들)의 위치들 및/또는 이동을 고려하지 않는다. 스테레오 오디오 출력 모드에 따라 출력되는 오디오 CGR 콘텐츠는, 일부 실시예들에 따르면, 3차원 환경(7106) 내에서의 시각적 CGR 콘텐츠의 시점의 위치 및/또는 이동을 고려하지 않는다. 스테레오 오디오 출력 모드에 따라 출력되는 오디오 CGR 콘텐츠는, 일부 실시예들에 따르면, 물리적 환경에서의 디스플레이 생성 컴포넌트의 위치들 및/또는 이동을 고려하지 않는다. 스테레오 오디오 출력 모드에 따라 출력되는 오디오 CGR 콘텐츠는, 일부 실시예들에 따르면, 선택적으로, 사용자가 디스플레이 생성 컴포넌트에 대해 이동함에도, 사용자의 가상 위치가 CGR 콘텐츠에 표현된 3차원 환경에 대해 이동함에도(예컨대, 시점의 이동을 야기함 등), 윈도우(7110)가 3차원 환경에서 이동함에도, 그리고/또는 가상 음원들의 시각적 실시예들이 윈도우(7110)에서 이동함에도, 기타 등등에도, 사용자의 머리의 위치와 결부되는 기준 프레임에 로킹된다.
일부 실시예들에서, 도 7a에 도시된 바와 같은 낮은 또는 중간 몰입 레벨은, 또한, 물리적 환경(예컨대, 제1 사용자를 둘러싸는 물리적 환경의 일부분)으로부터 전파되는 사운드들의 부분 차폐 또는 부분 패스 스루에 대응한다.
도 7b는 시각적 CGR 콘텐츠(7106)의 동일한 부분이 도 7a에 도시된 것보다 더 높은 몰입 레벨을 사용하여 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), 또는 HMD와 같은 다른 유형의 디스플레이 등)에 의해 디스플레이되는 것을 예시한다. 일부 실시예들에서, 몰입 레벨들 사이의 스위칭은 시각적 CGR 콘텐츠의 제시 동안 사용자 또는 컴퓨터 시스템에 의해 선택된 임의의 시간에 발생할 수 있다. 이때, CGR 콘텐츠(7106)는 여전히 증강 현실 환경(7102) 내에 디스플레이되지만, 도 7a에 도시된 것보다 더 큰 공간적 범위를 차지하고 있다. 예를 들어, 시각적 CGR 콘텐츠(7106) 내의 가상 객체들(7106-1, 7106-2, 7106-3, 7106-4)은 물리적 환경 내의 물리적 위치들에 대응하는 공간적 위치들로 디스플레이되고, 물리적 환경의 표현 내에 통합된다. 일부 실시예들에서, 3차원 환경에서 가상 객체들(7106-1, 7106-4, 7106-3 등)을 지지하거나 그 아래에 있는 물리적 위치들(예컨대, 물리적 표면들의 위치들)에 대응하는 각자의 가상 위치들에 추가 가상 객체들, 예컨대, 가상 그림자들(7106-1', 7106-4', 7106-3' 등)이 추가된다. 일부 실시예들에서, 물리적 환경에 대한 디스플레이 생성 컴포넌트의 이동에 따라, 컴퓨팅 시스템은 도 7b에서 시각적 CGR 콘텐츠(7106) 내의 가상 객체들의 시야각 및 관찰 거리와 3차원 환경(7102)의 뷰를 업데이트한다.
일부 실시예들에서, 도 7b는, 선택적으로, 예컨대 물리적 환경의 표현이 없는 가상 현실 모드(예컨대, 3D 영화 또는 게임 등의 환경)에서, 훨씬 더 큰 몰입 레벨을 이용한 CGR 콘텐츠(7106)의 디스플레이를 나타낸다. 일부 실시예들에서, 컴퓨팅 시스템에 의해 수행되는 스위칭은 제1 사용자로부터의 요청(예컨대, CGR 콘텐츠의 몰입 레벨을 변경하기 위한 미리설정된 기준들을 충족시키는 제스처 입력, 또는 현재 콘텍스트에 기초하여 컴퓨터 시스템에 의해 생성된 이벤트 등)에 응답하여 이루어진다.
일부 실시예들에서, 도 7b에 도시된 바와 같이, 컴퓨팅 시스템은 (예컨대, 물리적 환경의 표현 전체에 걸쳐 증강 현실 모드에서 CGR 콘텐츠(7106)를 디스플레이하라는 사용자 커맨드(7114)에 응답하여, 또는 (예컨대, 도 7a에 도시된) 덜 몰입적인 모드로부터의 전이 또는 더 몰입적인 모드(예컨대, 가상 현실 모드)로부터의 전이에 응답하여 등) 디스플레이 생성 컴포넌트(7100)를 통해 시각적 CGR 콘텐츠(7106)를 디스플레이한다. 일부 실시예들에서, 도 7b에 도시된 바와 같이, 도 7a에서의 것과 비교하여 더 높은 몰입 레벨을 사용하여 CGR 콘텐츠(7106)를 디스플레이할 때, 시각적 CGR 콘텐츠(7106)는 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 제한된 하위 부분, 예를 들어 가상 윈도우(7110), 가상 뷰포트, 유한 물리적 표면의 위치, 가상 스크린 등에 더 이상 국한되지 않고, 3차원 환경(7102)의 상이한 부분들 전체에 걸쳐 상이한 위치들에 분포된다. 일부 실시예들에서, CGR 콘텐츠와 관련되고/되거나 CGR 콘텐츠와 관련되지 않은 다른 사용자 인터페이스 객체들(예컨대, 재생 제어부들(7108), 애플리케이션 아이콘들을 갖는 도크 등)은, 선택적으로, 3차원 환경(7102) 내에(예컨대, 시야의 주변 부분에, 사용자에 의해 선택된 부분에 등) 시각적 CGR 콘텐츠(7106)와 동시에 디스플레이된다. 일부 실시예들에서, 시각적 CGR 콘텐츠(7106)가 3차원 콘텐츠일 때, 3차원 콘텐츠의 현재 디스플레이된 뷰의 시점은, 선택적으로, 사용자 입력들 및/또는 물리적 환경에서의 디스플레이 생성 컴포넌트 또는 사용자의 머리의 이동에 응답하여 이동한다.
이러한 예에서, 도 7b에 도시된 바와 같이, 시각적 CGR 콘텐츠(7106)를 증가된 몰입 레벨로 디스플레이할 때, 컴퓨터 시스템은 물리적 환경 내의 오디오 출력 디바이스(들)의 위치와 더 이상 결부되지 않는 기준 프레임에 대해 출력되는 공간 오디오 출력 모드 또는 서라운드 사운드 오디오 출력 모드와 같은, 증가된 몰입 레벨에 대응하는 오디오 출력 모드를 선택한다.
이러한 예에서, 일부 실시예들에 따르면, 오디오 출력 디바이스는, 선택적으로, 물리적 환경에서 디스플레이 생성 컴포넌트 및/또는 사용자에 대해 이동가능하다. 공간 오디오 출력 모드에 따라 출력되는 오디오 CGR 콘텐츠는, 일부 실시예들에 따르면, 3차원 환경(7102)에서의 가상 음원들의 위치 및/또는 이동을 고려한다. 공간 오디오 출력 모드에 따라 출력되는 오디오 CGR 콘텐츠는, 일부 실시예들에 따르면, 3차원 환경(7106) 내에서의 시각적 CGR 콘텐츠의 시점의 위치 및/또는 이동을 고려한다. 공간 오디오 출력 모드에 따라 출력되는 오디오 CGR 콘텐츠는, 일부 실시예들에 따르면, 물리적 환경에서의 디스플레이 생성 컴포넌트의 위치 및/또는 이동을 고려한다.
일부 실시예들에서, 더 높은 몰입 레벨은, 또한, 물리적 환경(예컨대, 제1 사용자를 둘러싸는 물리적 환경의 일부분)으로부터 전파되는 사운드들의 증가된 차폐 또는 감소된 패스 스루에 대응한다.
일부 실시예들에서, 오디오 출력 디바이스(들)의 위치로부터 결합해제되는 그들의 각자의 기준 프레임(들)에서의 음원(들)의 위치(들) 및/또는 이동을 계속 반영하면서, 디스플레이 생성 컴포넌트, 사용자, 오디오 출력 디바이스들, 시점, 및/또는 가상 음원들 등의 이동을 고려하는 공간 오디오 출력 모드에서 오디오 CGR 콘텐츠를 출력하는 데 필요한 조정을 달성하기 위해, 컴퓨터 시스템은, 선택적으로, 스테레오 오디오 출력 모드에서 사용되는 것들과 비교하여 사운드를 출력하기 위해 하나 이상의 추가 오디오 출력 컴포넌트들을 이용한다. 일부 실시예들에서, 추가 오디오 출력 컴포넌트들은 스테레오 오디오 출력 모드에서 사용되는 것들과는 상이한 위치들에 위치된다. 일부 실시예들에서, 컴퓨터 시스템은, 더 높은 몰입 레벨로 디스플레이 생성 컴포넌트를 통해 동시에 제공되는 컴퓨터 생성 경험의 시각적 CGR 콘텐츠의 대응하는 부분에서의 가상 음원들의 위치들 및 이동들에 기초하여, 공간 오디오 출력 모드에서 오디오 CGR 콘텐츠의 각자의 부분을 출력할 때 활성화되는 오디오 출력 컴포넌트들을 동적으로 선택한다. 일부 실시예들에서, 공간 오디오 출력 모드에서 오디오 CGR 콘텐츠를 출력하는 데 사용되는 오디오 출력 컴포넌트들은 스테레오 오디오 출력 모드 및/또는 서라운드 사운드 출력 모드에서 오디오 CGR 콘텐츠를 출력하는 데 사용되는 오디오 출력 컴포넌트들의 상위세트(superset)이다. 일부 실시예들에서, 공간 오디오 출력 모드에서 오디오 CGR 콘텐츠를 출력하는 데 사용되는 오디오 출력 컴포넌트들은 스테레오 오디오 출력 모드 및/또는 서라운드 사운드 오디오 출력 모드에서 오디오 CGR 콘텐츠를 출력하는 데 사용되는 오디오 출력 컴포넌트들보다 더 넓은 공간 영역에 걸쳐 있다.
일부 실시예들에서, 공간 오디오 출력 모드는 시각적 콘텐츠에 기초하여 사운드의 정위(localization)를 제공하는 한편, 스테레오 오디오 출력은 헤드 로킹된 사운드를 제공한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 오디오 출력 디바이스들은 동일한 머리 장착형 디바이스로 둘러싸인다. 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 오디오 출력 디바이스들은 사용자의 머리(예컨대, 각각, 사용자로부터 떨어진 물리적 환경에서, 눈들 및 귀들 등)에 대해 개별적으로 배치된다. 일부 실시예들에서, CGR 콘텐츠의 제시 동안, 디스플레이 생성 컴포넌트는 사용자의 머리에 대해 고정적으로 위치되지 않는 한편, 오디오 출력 디바이스(들)는 사용자의 귀들에 고정적으로 위치된다. 일부 실시예들에서, CGR 콘텐츠의 제시 동안, 디스플레이 생성 컴포넌트는 사용자의 머리에 대해 고정적으로 위치되는 한편, 오디오 출력 디바이스(들)는 사용자에게 고정적으로 위치되지 않는다. 일부 실시예들에서, 디스플레이 생성 컴포넌트, 사용자, 및 오디오 출력 디바이스(들)의 상대 이동 및 공간적 구성에 따라, 오디오 CGR 콘텐츠가 공간 오디오 출력 모드를 사용하여 출력되는 동안, 컴퓨터 시스템은 시각적 콘텐츠에 기초하여 사운드의 정위를 제공하기 위해 오디오 CGR 콘텐츠에 대응하는 사운드의 생성을 조정한다(예컨대, 시점을 이동시킴, 가상 음원들을 변경함, 가상 음원들을 이동시킴 등).
일부 실시예들에서, 시각적 CGR 콘텐츠 내의 가상 음원들의 위치들에 기초하여 사운드의 정위를 제공할 때, 컴퓨터 시스템은 CGR 콘텐츠의 3차원 환경 내의 각자의 가상 음원의 가상 위치를 결정하고, 각자의 가상 음원에 대응하는 사운드에 대한 적합한 기준 프레임(예컨대, 제시되고 있는 CGR 콘텐츠의 유형에 기초하여 선택되는, 물리적 환경에 기초한, 가상 환경에 기초한, 시점 등에 기초한 기준 프레임)을 결정하며, CGR 콘텐츠의 3차원 환경 내의 각자의 음원의 현재 위치에 기초하여, 선택된 기준 프레임 내의 가상 음원의 각자의 위치를 결정하고, 각자의 음원에 대응하는 사운드를 출력하도록 오디오 출력 디바이스(들)의 오디오 출력 컴포넌트들의 동작을 제어하여서, 사운드가 선택된 기준 프레임 내의 각자의 음원의 각자의 위치로부터 발생하는 것으로 물리적 환경에서 인지되게 한다. 도 7b에 도시된 예에서, 가상 객체(7106-1)가 오디오 출력(예컨대, 지저귀는 소리, 열차의 칙칙폭폭하는 소리, 말소리 등)과 연관되는 가상 음원(예컨대, 가상 새, 가상 열차, 가상 어시스턴트 등)인 경우, 오디오 CGR 콘텐츠가 공간 오디오 출력 모드를 사용하여 출력되고 있을 때, 컴퓨터 시스템은, 사운드가, 사용자에 의해 인지될 때, 선택적으로, 물리적 환경에서의 디스플레이 생성 컴포넌트의 이동, 사용자의 이동, 및/또는 오디오 출력 디바이스(들)의 이동에 관계없이, 3차원 환경(7102) 내의 가상 객체(7106-1)의 현재 가상 위치에 대응하는 물리적 위치로부터 발생한 것으로 보이도록 하는 방식으로, 가상 음원의 사운드의 오디오 출력 컴포넌트들을 제어한다. 유사하게, 도 7b에 도시된 예에서, 가상 객체(7106-3)가 다른 오디오 출력(예컨대, 다른 지저귀는 소리, 휘파람 소리 등)과 연관되는 다른 가상 음원(예컨대, 다른 가상 새, 가상 승무원(conductor) 등)인 경우, 오디오 CGR 콘텐츠가 공간 오디오 출력 모드를 사용하여 출력되고 있을 때, 컴퓨터 시스템은, 사운드가, 사용자에 의해 인지될 때, 선택적으로, 물리적 환경에서의 디스플레이 생성 컴포넌트의 이동, 사용자의 이동, 및/또는 오디오 출력 디바이스(들)의 이동에 관계없이, 3차원 환경(7102) 내의 가상 객체(7106-3)의 현재 가상 위치에 대응하는 물리적 위치로부터 발생한 것으로 보이도록 하는 방식으로, 이러한 다른 가상 음원의 사운드의 오디오 출력 컴포넌트들을 제어한다.
일부 실시예들에서, 사용자의 위치들에 기초하여 사운드의 정위를 제공할 때, 컴퓨터 시스템은 CGR 콘텐츠의 3차원 환경 내의 각자의 가상 음원의 가상 위치를 결정하고, CGR 콘텐츠의 3차원 환경에 대한 사용자의 위치와 연관되는 기준 프레임을 결정하며, 사용자의 위치에 기초하여 기준 프레임 내의 가상 음원의 각자의 위치를 결정하고, 각자의 음원에 대응하는 사운드를 출력하도록 오디오 출력 디바이스(들)의 오디오 출력 컴포넌트들의 동작을 제어하여서, 사운드가 사용자의 현재 위치에 고정된 기준 프레임 내의 각자의 음원의 각자의 위치로부터 발생하는 것으로 물리적 환경에서 인지되게 한다. 도 7b에 도시된 예에서, 오디오 출력과 연관되는 가상 음원(예컨대, 외부 내레이터, 가상 어시스턴트, 주변 음원들 등)은, 선택적으로, 대응하는 가상 객체를 갖지 않는다. 오디오 CGR 콘텐츠가 공간 오디오 출력 모드를 사용하여 출력되고 있을 때, 컴퓨터 시스템은, 사운드가, 사용자에 의해 인지될 때, 선택적으로, 물리적 환경에서의 디스플레이 생성 컴포넌트의 이동, 사용자의 이동, 및/또는 오디오 출력 디바이스(들)의 이동에 관계없이, 사용자에 대한 고정된 위치 또는 영역으로부터 발생한 것으로 보이도록 하는 방식으로, 가상 음원의 사운드의 오디오 출력 컴포넌트들을 제어한다. 일부 실시예들에 따르면, 시각적 CGR 콘텐츠의 시점은, 선택적으로, 디스플레이 생성 컴포넌트의 이동 및/또는 사용자의 이동에 따라 변경되는 한편, 가상 음원에 대응하는 오디오 출력은 사용자에 대해 고정된 상태로 유지된다.
도 7c 내지 도 7h는 일부 실시예들에 따른, 유의한 물리적 객체가 디스플레이 생성 컴포넌트 또는 사용자의 위치에 접근할 때 가상 콘텐츠의 일부분의 외관을 변경하는 것(예컨대, 물리적 객체의 일부분의 표현이 가상 콘텐츠를 돌파하도록 허용하는 것, 물리적 객체의 일부분의 시각적 속성들에 기초하여 가상 콘텐츠의 하나 이상의 시각적 속성들을 변경하는 것 등)을 예시하는 블록도들이다.
일부 실시예들에서, 3차원 환경(예컨대, 도 7c 내지 도 7h의 환경(7126), 다른 환경 등)(예컨대, 가상 현실 환경, 증강 현실 환경 등) 내에 가상 콘텐츠를 디스플레이할 때, 물리적 환경의 뷰의 전부 또는 일부는 가상 콘텐츠(예컨대, 도 7d의 가상 객체들(7128, 7130 등))에 의해 차단되거나 대체된다. 일부 경우들에서, 가상 콘텐츠보다 물리적 환경(예컨대, 도 7c, 도 7e 및 도 7g의 장면(105)) 내의 소정 물리적 객체들(예컨대, 도 7c의 물리적 객체(7122), 사용자에게 유의한 다른 물리적 객체 등)에 디스플레이 우선순위를 부여하여, (예컨대, 도 7f 및 도 7h에 도시된 바와 같이) 물리적 객체(예컨대, 도 7c의 물리적 객체(7122), 사용자에게 유의한 다른 물리적 객체 등)의 적어도 일부분이 3차원 환경의 뷰 내에 시각적으로 표현되게 하는 것이 유리하다. 일부 실시예들에서, 컴퓨터 시스템은, 물리적 환경 내의 각자의 물리적 객체의 위치가 3차원 환경 내의 가상 콘텐츠의 일부분의 위치에 대응할 때, 각자의 물리적 객체의 표현이 3차원 환경 내에 현재 디스플레이된 가상 콘텐츠의 일부분을 돌파할 수 있도록, 각자의 물리적 객체에 디스플레이 우선순위를 부여할지 여부를 결정하기 위한 다양한 기준들을 이용한다. 일부 실시예들에서, 기준들은 물리적 객체의 적어도 일부분이 디스플레이 생성 컴포넌트의 사용자(예컨대, 디스플레이 생성 컴포넌트를 통해 가상 콘텐츠를 보고 있는 사용자(7002), 물리적 객체의 일부분의 뷰가 가상 콘텐츠의 디스플레이에 의해 차단되거나 대체되는 사용자 등)를 둘러싸는 임계 공간 영역(예컨대, 도 7c, 도 7e 및 도 7g의 공간 영역(7124), 다른 공간 영역 등)에 접근하여 진입하였다는 요건, 및 컴퓨터 시스템이 사용자에 대한 물리적 객체의 높아진 유의성을 나타내는, 물리적 객체(예컨대, 도 7c의 물리적 객체(7122), 사용자에게 유의한 다른 물리적 객체 등)에 대한 하나 이상의 특성들의 존재를 검출한다는 추가 요건을 포함한다. 일부 실시예들에서, 사용자에 대한 높아진 유의성의 물리적 객체는 사용자의 친구 또는 가족 구성원, 사용자의 팀 구성원 또는 감독자, (예컨대, 도 7c 내지 도 7h의 예에 도시된 바와 같은) 사용자의 애완동물 등일 수 있다. 일부 실시예들에서, 사용자에 대한 높아진 유의성의 물리적 객체는 비상상황에 대처하기 위해 사용자의 주의를 요구하는 사람 또는 객체일 수 있다. 일부 실시예들에서, 사용자에 대한 높아진 유의성의 물리적 객체는 사용자가 놓치고 싶지 않은 액션을 취하기 위해 사용자의 주의를 요구하는 사람 또는 객체일 수 있다. 기준들은 사용자의 필요들 및 요구들에 기초하여 사용자에 의해 그리고/또는 콘텍스트 정보(예컨대, 시간, 위치, 스케줄링된 이벤트들 등)에 기초하여 시스템에 의해 조정가능하다. 일부 실시예들에서, 가상 콘텐츠보다 유의한 물리적 객체에 디스플레이 우선순위를 부여하고, 3차원 환경의 뷰 내에 물리적 객체의 적어도 일부분을 시각적으로 표현하는 것은, 가상 콘텐츠의 일부분(예컨대, 도 7f의 가상 객체(7130)의 일부분, 도 7h의 가상 객체(7128)의 일부분 등)의 디스플레이를 물리적 객체의 일부분의 표현으로 대체하는 것, 또는 물리적 객체의 일부분의 외관에 따라 가상 콘텐츠의 일부분의 외관을 변경하는 것을 포함한다. 일부 실시예들에서, 물리적 객체의 적어도 일부분(예컨대, 도 7f의 애완동물(7122)의 귀들 및 몸(body), 도 7h의 애완동물(7122)의 몸의 일부분 등)은, 물리적 객체의 상기 부분의 위치에 대응하는 위치가 디스플레이 생성 컴포넌트에 의해 제공되는 시야 내에서 보이는 경우에도, 3차원 환경의 뷰 내에 시각적으로 표현되지 않고, 가상 콘텐츠의 디스플레이에 의해 차단되거나 대체된 상태로 유지된다(예컨대, 위치는 가상 콘텐츠에 의해 현재 점유되어 있음). 일부 실시예들에서, 물리적 객체의 존재를 보여주기 위해 변경되는 3차원 환경의 일부분, 및 물리적 객체의 존재를 보여주기 위해 변경되지 않는 3차원 환경의 일부분(예컨대, 3차원 환경의 일부분(예컨대, 가상 객체(7128), 가상 객체(7130)의 일부분 등)은 컴퓨터 생성 경험의 진행 및/또는 3차원 환경과의 사용자 상호작용 등에 기초하여 계속 변경될 수 있음)은 가상 객체 또는 표면(예컨대, 가상 객체(7128), 가상 객체(7130)의 일부분 등)의 연속적인 부분 상의 위치들에 대응한다.
일부 실시예들에서, 사용자가 디스플레이 생성 컴포넌트를 통해 가상 현실 경험 또는 증강 현실 경험 등과 같은 컴퓨터 생성 경험에 관여할 때, 물리적 환경에 대한 사용자의 뷰는 컴퓨터 생성 경험에서 가상 콘텐츠의 존재에 의해 차단되거나 가려진다. 일부 실시예들에서, 사용자가 가상 현실 경험 또는 증강 현실 경험에 관여하는 동안 사용자의 물리적 부근에 접근하고 있는 유의한 물리적 객체(예컨대, 사람, 애완동물 등)의 존재를 사용자에게 드러내거나 시각적으로 나타내는 것이 바람직한 상황들이 있다. 일부 실시예들에서, 유의한 물리적 객체가 컴퓨터 생성 경험의 가상 콘텐츠 및 디스플레이 생성 컴포넌트가 존재하지 않는 상태의 사용자의 잠재적인 시야 내에 있는 동안(예컨대, 물리적 객체는 디스플레이 생성 컴포넌트 및/또는 가상 콘텐츠가 존재하지 않는 경우 사용자에게 보일 것임), 물리적 객체의 제1 부분에 대응하는 위치에서의 가상 콘텐츠의 일부분은 물리적 객체의 제1 부분의 외관을 반영하기 위해 제거되거나 외관이 변경되는 한편, 물리적 객체의 제1 부분에 인접한 물리적 객체의 다른 부분에 대응하는 위치에서의 가상 콘텐츠의 다른 부분은 물리적 객체의 상기 다른 부분의 외관을 반영하기 위해 제거 또는 변경되지 않는다. 다시 말해서, 가상 콘텐츠는 잠재적으로 사용자의 시야 내에 있는 물리적 객체의 모든 부분들을 보여주기 위해 갑자기 제거 또는 변경되지 않고, 컴퓨터 생성 경험에 대한 혼란을 완화하기 위해 부분별로 점진적으로 제거 또는 변경된다.
다양한 실시예들에서, 유의한 물리적 객체는, 물리적 객체와 사용자 사이의 거리와 관련되지 않거나 그와 독립적인 적어도 하나의 요건을 포함하는 기준들에 기초하여 컴퓨터 시스템에 의해 식별된다. 일부 실시예들에서, 컴퓨터 시스템은, 접근하는 물리적 객체가 사용자에게 유의한 물리적 객체이고 컴퓨터 생성 경험에 대한 시각적 혼란을 일으키는 것의 이유가 되는지 여부를 결정할 때, 사용자의 이전에 입력된 설정들, 이전에 식별된 특성들의 존재, 현재 콘텍스트, 물리적 객체와 연관된 마커 객체들 또는 신호들의 존재 등과 같은 다양한 정보를 고려한다.
도 7c에 도시된 바와 같이, 사용자(7002)는 물리적 환경(예컨대, 장면(105), 또는 다른 물리적 환경 등)에 존재한다. 사용자(7002)는 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠를 보기 위한, 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7100), HMD와 같은 다른 유형의 디스플레이 생성 컴포넌트 등)에 대한 위치에 있다. 사용자(7002)를 둘러싸는 미리설정된 공간 영역(7124)이 사용자(7002) 주위의 파선에 의해 도 7c에 표시된다. 일부 실시예들에서, 미리설정된 공간 영역(7124)은 사용자(7002)를 둘러싸는 3차원 영역이다. 일부 실시예들에서, 미리설정된 공간 영역(7124)은 물리적 환경에서 사용자의 특성 위치(예컨대, 사용자의 머리의 위치, 사용자의 질량 중심의 위치 등)에 대한 미리설정된 임계 거리(예컨대, 팔의 길이, 2 미터 등)에 의해 정의된다. 일부 실시예들에서, 미리설정된 공간 영역(7124)은 사용자의 후면(예컨대, 뒷머리, 등, 기타 등등)으로부터보다 사용자의 전면(예컨대, 얼굴, 가슴 등)으로부터 더 큰 거리를 갖는 경계 표면을 갖는다. 일부 실시예들에서, 미리설정된 공간 영역(7124)은 사용자의 타 측부보다 사용자의 일 측부로부터 더 큰 거리(예컨대, 사용자의 우측보다 사용자의 좌측으로부터 더 큰 거리, 또는 그 반대)를 갖는 경계 표면을 갖는다. 일부 실시예들에서, 미리설정된 공간 영역(7124)은 사용자의 2개의 측부들 상에서 대칭인 경계 표면을 갖는다. 일부 실시예들에서, 미리설정된 공간 영역(7124)은 사용자의 신체의 하부 부분(예컨대, 사용자의 발들, 사용자의 다리들 등)으로부터보다 사용자의 신체의 상부 부분(예컨대, 사용자의 머리, 사용자의 가슴 등)으로부터 더 큰 거리를 갖는다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 머리와 고정된 공간적 관계를 갖는다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 눈들을 둘러싸고, 디스플레이 생성 컴포넌트를 통해 제공되는 뷰를 제외하고는, 물리적 환경에 대한 사용자의 뷰를 차단한다.
일부 실시예들에서, 도 7c에 도시된 바와 같이, 물리적 환경 내에 다른 물리적 객체들(예컨대, 물리적 객체(7120), 물리적 객체(7122) 등) 및 물리적 표면들(예컨대, 벽들(7004, 7006), 바닥(7008) 등)이 있다. 일부 실시예들에서, 물리적 객체들 중 적어도 일부는 물리적 환경에 대한 고정된 객체들이다. 일부 실시예들에서, 물리적 객체들 중 적어도 일부는 물리적 환경 및/또는 사용자에 대해 이동한다. 도 7c에 도시된 예에서, 물리적 객체(7122)는 미리설정된 기준들에 따른 평가에 기초하여, 사용자(7002)에게 유의한 제1 유형의 물리적 객체의 인스턴스(instance)를 나타내고; 물리적 객체(7120)는 미리설정된 기준들에 따른 평가에 기초하여, 사용자(7002)에게 유의하지 않은 제2 유형의 물리적 객체의 인스턴스를 나타낸다. 일부 실시예들에서, 물리적 환경은 주어진 시간에 2가지 유형들의 물리적 객체들 중 하나만을 포함할 수 있다. 일부 실시예들에서, 2가지 유형들의 물리적 객체 중 각자의 하나의 물리적 객체는 사용자(7002)가 이미 컴퓨터 생성 경험을 시작한 후에 물리적 환경에 진입할 수 있고, 디스플레이 생성 컴포넌트 및/또는 디스플레이 생성 컴포넌트를 통해 디스플레이되는 가상 콘텐츠의 존재로 인해 물리적 환경 내로의 물리적 객체의 진입을 반드시 인지하지는 않는다.
도 7d는 디스플레이 생성 컴포넌트가 도 7c에 도시된 것에 대응하는 시간에 3차원 환경(7126)의 뷰를 디스플레이하고 있는 것을 예시한다. 이러한 예에서, 3차원 환경(7126)은 디스플레이 생성 컴포넌트 및 사용자를 둘러싸는 물리적 환경의 표현을 포함하지 않는 가상 3차원 환경이다. 일부 실시예들에서, 가상 3차원 환경은 가상 3차원 환경(7126) 내의 다양한 위치들에 가상 객체들(예컨대, 가상 객체(7128), 가상 객체(7130), 사용자 인터페이스 객체들, 아이콘들, 아바타들 등) 및 가상 표면들(예컨대, 가상 표면들(7132, 7136, 7138), 가상 윈도우들, 가상 스크린들, 사용자 인터페이스들의 배경 표면들 등)을 포함한다. 일부 실시예들에서, 사용자 및/또는 디스플레이 생성 컴포넌트의 이동은 3차원 환경(7126)의 현재 디스플레이된 뷰의 시점이 물리적 환경에서의 사용자 및/또는 디스플레이 생성 컴포넌트의 이동에 따라 변경되게 한다. 일부 실시예들에서, 컴퓨터 시스템은 사용자 입력, 컴퓨터 생성 경험의 미리프로그래밍된 진행, 및/또는 미리설정된 조건들이 충족되는 것에 기초하여 컴퓨터 시스템에 의해 생성된 이벤트에 따라 3차원 환경(7126)의 현재 디스플레이된 뷰의 시점을 이동시키거나 변경한다. 일부 실시예들에서, 가상 콘텐츠(예컨대, 영화, 게임 등)는, 사용자 입력 없이, 컴퓨터 생성 경험의 진행에 따라 시간 경과에 따라 변화한다.
일부 실시예들에서, 도 7d에 도시된 3차원 환경(7126)은 증강 현실 환경을 나타내고, 가상 콘텐츠(예컨대, 가상 표면들 및 가상 객체들)는 물리적 환경(예컨대, 장면(105), 또는 사용자를 둘러싸는 다른 물리적 환경 등)의 표현과 동시에 디스플레이된다. 사용자 전방의 물리적 환경의 표현의 적어도 일부분(예컨대, 물리적 환경의 하나 이상의 연속적인(또는 이웃하는) 부분들, 및/또는 이산되고 연결해제된 부분들)(예컨대, 디스플레이 생성 컴포넌트가 존재하지 않았거나 가상 콘텐츠를 디스플레이하고 있었다면, 사용자에게 보였거나 사용자의 시야 내에 있었을 물리적 환경의 일부분들)은 디스플레이 생성 컴포넌트에 의해 디스플레이되는 가상 콘텐츠에 의해 차단되거나 대체되거나 또는 가려진다. 예를 들어, 일부 실시예들에서, 가상 표면들(7132, 7136)은 물리적 환경(105) 내의 벽들(7006, 7004)의 표현들이고, 가상 표면(7134)은 물리적 환경(105) 내의 바닥(7008)의 표현인 한편, 가상 객체들(7128, 7130)은 물리적 환경의 표현의 적어도 일부분(예컨대, 벽(7006) 및 바닥(7008)의 표현의 일부, 및 물리적 객체들(7120, 7122)의 표현들 등)을 차단하거나 그의 디스플레이를 대체하거나 또는 그를 오버레이한다.
도 7c 및 도 7d에 도시된 바와 같이, 물리적 객체들(7122, 7120)이, 둘 모두, 사용자(7002)를 둘러싸는 미리설정된 공간 부분(7124)의 외측에 있지만, 디스플레이 생성 컴포넌트(7100)가 존재하지 않는 상태의 사용자의 잠재적인 시야 내에 있는 시간에, 3차원 환경(7126)의 가상 콘텐츠(예컨대, 가상 객체들(7128, 7130) 등)는 물리적 객체들(7122, 7120)의 방해 없이 디스플레이 생성 컴포넌트(7100)를 통해 디스플레이된다. 예를 들어, 3차원 환경(7126)이 가상 환경인 경우, 물리적 객체들(7122, 7120)의 위치들에 대응하는 각자의 가상 위치들을 갖는 가상 콘텐츠의 일부분들은, 물리적 객체(7122, 7120)의 위치들에 대응하는 위치들이 디스플레이 생성 컴포넌트에 의해 제공되는 시야 내에 있더라도, 원래 CGR 경험에 따라 정상적으로 디스플레이된다. 다른 예에서, 3차원 환경(7126)이 증강 현실 환경인 경우, 물리적 객체들(7122, 7120)의 위치들에 대응하는 각자의 가상 위치들을 갖는 가상 콘텐츠의 일부분들은, 물리적 객체(7122, 7120)의 위치들에 대응하는 위치들이 디스플레이 생성 컴포넌트에 의해 제공되는 시야 내에 있더라도, 그리고 물리적 환경의 일부 부분들(예컨대, 벽들의 일부분들, 바닥, 물리적 객체들(7122, 7120)의 일부분들 등)이, CGR 경험의 가상 콘텐츠에 의해 현재 점유되거나 시각적으로 차단되지 않은 공간에서 보일 수 있더라도, 원래 CGR 경험에 따라 정상적으로 디스플레이된다.
도 7e 및 도 7f는 물리적 객체들(7122, 7120)이 물리적 환경(105)에서 사용자(7002)에게 더 가깝게 이동한 시나리오를 예시한다. 이때, 물리적 객체(7122)의 전체 공간적 범위의 일부분만이 사용자(7002)를 둘러싸는 미리설정된 공간 영역(7124) 내에 있다. 유사하게, 물리적 객체(7120)의 전체 공간적 범위의 일부분만이 사용자(7002)를 둘러싸는 미리설정된 공간 영역(7124) 내에 있다. 일부 실시예들에서, 물리적 환경에서의 물리적 객체(예컨대, 물리적 객체(7120), 물리적 객체(7122) 등)의 이동을 검출하는 것에 응답하여, 그리고 사용자가 물리적 객체의 임계 거리 내에 있다는 결정에 따라(예컨대, 임계 거리는 미리설정된 공간 영역(7124)의 경계 표면, 및 사용자와 물리적 객체 사이의 각자의 상대적인 공간적 관계, 고정된 미리설정된 임계 거리 등에 기초하여 결정됨), 컴퓨터 시스템은 미리설정된 기준들에 따라 물리적 객체가 사용자에게 유의한 물리적 객체인지 여부를 결정한다.
이러한 예에서, 물리적 객체(7122)는 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻기 위한 요건을 충족시키고, 그에 따라, 컴퓨터 시스템은 물리적 객체(7122)의 제1 부분의 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 외관을 물리적 객체(7122)의 제1 부분의 외관에 따라 변경한다. 도 7f에 도시된 바와 같이, 물리적 객체(7122)의 제1 부분의 위치에 대응하는 위치에 표시된 가상 콘텐츠는 제거되고, 물리적 객체(7122)의 제1 부분(예컨대, 애완동물의 머리의 일부분, 물리적 객체(7122)의 머리 부분 등)의 표현(7122-1')을 드러낸다. 일부 실시예들에서, 물리적 객체(7122)의 제1 부분의 위치에 대응하는 위치에 표시된 가상 콘텐츠(예컨대, 이 예에서, 도 7f의 가상 객체(7130)의 일부분)의 시각적 특성들(예컨대, 색상, 시뮬레이션된 굴절률, 투명도 레벨, 밝기 등)은 물리적 객체(7122)의 제1 부분의 외관에 따라 변경된다. 일부 실시예들에서, 도 7f에 도시된 바와 같이, 미리설정된 공간 영역(7124) 내의 물리적 객체(7122)의 일부분의 일부 부분들의 위치에 대응하는 위치에서의 가상 콘텐츠는, 물리적 객체의 일부분의 그들 부분들(예컨대, 도 7e에 도시된 바와 같이, 물리적 객체(7122)의 머리 부분의 일부, 및 물리적 객체(7122)의 몸 부분의 일부)이 사용자의 임계 거리 내에 있고, 디스플레이 생성 컴포넌트가 제거되었다면 이 순간에 사용자의 자연 시야 내에 있었을 것이더라도, 3차원 환경(7126)의 뷰에서 변경되지 않는다(예컨대, 도 7f의, 표현(7122-1')의 파형 에지들 주위의 가상 객체(7130)의 일부분). 일부 실시예들에서, 미리설정된 공간 영역(7124) 내의 물리적 객체(7122)의 일부분의 모든 부분들의 위치에 대응하는 위치에서의 가상 콘텐츠는 물리적 객체(7122)의 일부분이 미리설정된 공간 영역(7124) 내에 유지되는 기간 후에 3차원 환경(7126)의 뷰에서 궁극적으로 제거 또는 변경될 수 있다.
이러한 예에서, 물리적 객체(7120)는 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻기 위한 요건을 충족시키지 않고, 그에 따라, 컴퓨터 시스템은 물리적 객체(7120)의 제1 부분의 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠(예컨대, 도 7f의 가상 객체(7128))의 외관을 물리적 객체(7120)의 제1 부분의 외관에 따라 변경하지 않는다. 도 7f에 도시된 바와 같이, 물리적 객체(7120)의 제1 부분의 위치에 대응하는 위치에 표시된 가상 콘텐츠는 제거되지 않고, 물리적 객체(7120)의 제1 부분은 3차원 환경(7126)의 뷰에서 보이지 않는다.
일부 실시예들에서, 물리적 객체(7120) 및 물리적 객체(7122)의 처리들 사이의 콘트라스트는 물리적 객체들(7120, 7122)이 평가되는 미리설정된 기준들에 기초한다. 예를 들어, 물리적 객체(7120)는 이전에 사용자에 의해 중요한 것으로 마킹되지 않은 반면, 물리적 객체(7122)는 이전에 사용자에 의해 중요한 것으로 마킹되고; 물리적 객체(7120)는 임계 속도 초과로 사용자를 향해 이동하고 있지 않은 반면, 물리적 객체(7122)는 임계 속도 초과로 사용자를 향해 이동하고 있고; 물리적 객체(7120)는 사람 또는 애완동물이 아닌 반면, 물리적 객체(7122)는 사람 또는 애완동물이고; 물리적 객체(7120)는 사람이지만 말하고 있지 않은 반면, 물리적 객체(7122)는 사용자에게 접근하고 있으면서 말하고 있는 사람이고; 물리적 객체(7120)는 미리설정된 식별자 객체(예컨대, 무선 전송된 ID를 갖는 칼라, RFID 태그, 색상 코딩된 태그 등)를 착용하고 있지 않은 반면, 물리적 객체(7122)는 미리설정된 식별자 객체(예컨대, 무선 전송된 ID를 갖는 칼라, RFID 태그, 색상 코딩된 태그 등)를 착용하고 있고; 기타 등등이다.
도 7f에 도시된 뷰에서, 물리적 객체(7120)의 제1 부분은 사용자(7002)의 임계 거리 내로 들어오고, 컴퓨터 생성 환경(7126) 내의 그의 대응하는 위치는 컴퓨터 생성 환경의 사용자의 시야에 기초하여 사용자에게 보이며, 물리적 객체(7120)의 제1 부분에 대응하는 위치는 사용자의 관찰 관점으로부터 다른 물리적 객체 또는 물리적 객체(7120)의 다른 부분에 대응하는 위치에 의해 차단되지 않고, 컴퓨터 시스템은, 물리적 객체(7120)가 사용자(7002)에게 유의한 물리적 객체가 되기 위한 미리설정된 기준들을 충족시키지 않기 때문에, 물리적 객체(7120)의 제1 부분의 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠(예컨대, 도 7f의 가상 객체(7128))의 일부분의 외관을 여전히 수정하지 않는다. 예를 들어, 공은 제1 물리적 객체가 사람 또는 애완동물일 것을 요구하는 미리설정된 기준들을 충족시키지 않으며; 공이 사용자에게 가까이 굴러갈 때, 컴퓨터 시스템은 사용자에 대한 공의 위치에 대응하는 컴퓨터 생성 환경 내의 위치에 디스플레이되는 가상 콘텐츠의 외관을 변경하지 않는다. 대조적으로, 애완동물이 사용자에게 접근하는 경우, 컴퓨터 시스템은, 사용자의 미리설정된 거리에 진입하지 않은 애완동물의 다른 부분에 대응하는 위치들도 사용자의 현재 시야 내에 있더라도, 애완동물의 상기 다른 부분에 대응하는 위치들에 디스플레이되는 가상 콘텐츠의 외관을 변경하지 않고서, 사용자의 미리설정된 거리에 진입하는 애완동물의 일부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 외관을 변경한다.
도 7g 및 도 7h는, 추후에, 물리적 객체들(7120, 7122)이 둘 모두 사용자에게 훨씬 더 가깝게 이동하였고, 사용자를 둘러싸는 미리설정된 공간 부분(7124)에 완전히 진입하였으며, 디스플레이 생성 컴포넌트가 제거되었다면 사용자의 시야 내에 있었을 것임을 예시한다.
도 7h에 도시된 바와 같이, 컴퓨터 시스템은 물리적 객체(7122)의 제2 부분(예컨대, 물리적 객체(7122)의 머리 부분 및 몸 부분의 적어도 일부)의 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠(예컨대, 가상 객체(7130), 및 가상 객체(7128)의 적어도 일부분 등)의 외관을 물리적 객체(7122)의 제2 부분(예컨대, 물리적 객체(7122)의 제1 부분 및 사용자를 둘러싸는 미리설정된 공간 영역(7124)에 진입한 물리적 객체(7122)의 추가 부분을 포함하는 일부분)의 외관에 따라 변경한다. 도 7h에 도시된 바와 같이, 물리적 객체(7122)의 제2 부분의 위치에 대응하는 위치에 표시된 가상 콘텐츠는 제거되고, 물리적 객체(7122)의 제2 부분(예컨대, 도 7f에 도시된 표현(7122-1')에 대응하는 것보다 물리적 객체(7122)의 더 큰 부분)의 표현(7122-2')을 드러낸다. 일부 실시예들에서, 물리적 객체(7122)의 제2 부분의 위치에 대응하는 위치에 표시된 가상 콘텐츠의 시각적 특성들(예컨대, 색상, 시뮬레이션된 굴절률, 투명도 레벨, 밝기 등)은 물리적 객체(7122)의 제2 부분의 외관에 따라 변경된다. 일부 실시예들에서, 도 7h에 도시된 바와 같이, 미리설정된 공간 영역(7124) 내의 물리적 객체(7122)의 일부분의 일부 부분들의 위치에 대응하는 위치에서의 가상 콘텐츠는, 물리적 객체의 일부분의 그들 부분들이 사용자의 임계 거리 내에 있고, 디스플레이 생성 컴포넌트가 제거되었다면 이 순간에 사용자의 자연 시야 내에 있었을 것이더라도, 3차원 환경(7126)의 뷰에서 변경되지 않는다. 일부 실시예들에서, 미리설정된 공간 영역(7124) 내의 물리적 객체(7122)의 일부분의 모든 부분들의 위치에 대응하는 위치에서의 가상 콘텐츠는 물리적 객체(7122)의 일부분이 미리설정된 공간 영역(7124) 내에 유지되는 기간 후에 3차원 환경(7126)의 뷰에서 궁극적으로 제거 또는 변경될 수 있다.
이러한 예에서, 물리적 객체(7120)는 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻기 위한 요건을 충족시키지 않고, 그에 따라, 컴퓨터 시스템은 물리적 객체(7120)의 제2 부분의 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 외관을 물리적 객체(7120)의 제2 부분의 외관에 따라 변경하지 않는다. 도 7h에 도시된 바와 같이, 도 7h에서, 물리적 객체(7120)의 제2 부분의 위치에 대응하는 위치에 표시된 가상 콘텐츠는 제거되지 않고, 물리적 객체(7120)의 제2 제1 부분은 3차원 환경(7126)의 뷰에서 보이지 않는다.
일부 실시예들에서, 3차원 환경(7126)의 뷰에서 드러나는 물리적 객체(7122)의 일부분과 제1 물리적 객체의 상이한 부분들에 적용되는 상이한 처리들에 대한 기초를 제공하는, 3차원 환경의 뷰에서 드러나지 않는 물리적 객체(7122)의 다른 부분들 사이에는 명확한 구조적 또는 시각적 구분들이 없으며; 대신에, 차이는, 드러난 물리적 객체(7120)의 일부분은 사용자의 임계 거리 또는 영역 내에 있는 반면, 물리적 객체(7122)의 다른 부분들은 사용자의 임계 거리 또는 영역 내에 있지 않다는 사실에 기초한다. 예를 들어, 물리적 객체(7122)는 애완동물이고, 주어진 시간에, 가상 콘텐츠의 제거 또는 가상 콘텐츠의 외관의 변화에 의해 드러나는 물리적 객체의 일부분은 애완동물의 머리의 제1 부분(예컨대, 코, 수염들, 얼굴의 일부 등)을 포함하고, 가상 콘텐츠의 제거 또는 변화에 의해 드러나지 않는 물리적 객체의 나머지 부분들은 사용자의 임계 거리 내에 있지 않은 애완동물의 머리의 추가 부분들(예컨대, 얼굴의 나머지 및 귀들 등) 및 머리에 연결된 몸통을 포함한다.
일부 실시예들에서, 미리설정된 공간 영역(7124) 내에 있는 물리적 객체(7122)의 일부분의 존재를 드러내기 위해 변경되거나 제거되는 가상 콘텐츠의 일부분은 연속적인 가상 객체 또는 표면의 일부이고, 연속적인 가상 객체 또는 표면의 다른 부분들은 변경 없이 계속 디스플레이된다. 예를 들어, 도 7f에 도시된 바와 같이, 미리설정된 공간 부분(7124) 내에 있고 가상 객체(7130)의 일부의 위치에서 대응하는 위치를 갖는 위치에서 물리적 객체(7122)의 일부분의 존재를 드러내기 위해 가상 객체(7130)의 일부만이 제거되거나 외관이 변경된다.
일부 실시예들에서, 물리적 객체(7122)는, 컴퓨터 시스템에 의해 검출되고 사람과 사람이 아닌 물리적 객체들을 구별하는 제1 특성에 기초하여 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻는다. 일부 실시예들에서, 제1 특성은 미리설정된 얼굴 구조(예컨대, 눈들의 존재 및/또는 이동, 눈들, 코 및 입의 상대 위치들 등), 물리적 객체(7122) 상의 몸 부분들(예컨대, 머리, 몸, 및 사지 등)의 비율들 및 상대 위치들, 물리적 객체(7122)의 이동에 수반되는 인간 스피치(human speech), 인간의 걷기 또는 달리기와 연관된 이동 패턴(예컨대, 팔들의 흔들기, 걸음걸이 등) 등을 포함한다. 물리적 객체(7120)는, 제1 특성이 물리적 객체(7120)에 없기 때문에, 사용자(7002)에게 유의한 물리적 객체로서의 자격이 없다.
일부 실시예들에서, 물리적 객체(7122)는, 컴퓨터 시스템에 의해 검출되고, 물리적 객체(7122)가 사용자를 향해 이동하고 있음에 따라 물리적 객체(7122)로부터 나오는 인간 스피치를 나타내는 제2 특성에 기초하여 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻는다. 일부 실시예들에서, 제2 특성은 물리적 객체(7122)의 위치로부터 발생하는 사운드의 미리설정된 음성 특성들(예컨대, 성문(voiceprint)의 존재, 인간 언어의 스피치 패턴들 등), 물리적 객체(7122)의 이동에 수반되는 인간 스피치의 특성들, 하나 이상의 미리설정된 단어들의 발화(예컨대, "Hi!", "Hey!", "Hello!", "[user's name]") 등을 포함한다. 물리적 객체(7120)는, 제2 특성이 물리적 객체(7120)에 없기 때문에, 사용자(7002)에게 유의한 물리적 객체로서의 자격이 없다.
일부 실시예들에서, 물리적 객체(7122)는, 컴퓨터 시스템에 의해 검출되고 동물을 사람 및 사람이 아닌 물리적 객체들과 구별하는 제3 특성에 기초하여 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻는다. 일부 실시예들에서, 제3 특성은 미리설정된 머리 구조(예컨대, 눈들의 존재 및/또는 이동, 눈들, 코, 귀들, 수염들 및 입의 상대 위치들 등), 물리적 객체(7122) 상의 몸 부분들(예컨대, 머리, 몸, 꼬리, 및 사지 등)의 비율들 및 상대 위치들, 털의 존재, 외피 색상 및 패턴 등, 물리적 객체(7122)의 이동에 수반되는 동물 울음소리들 대 인간 스피치의 검출, 동물의 걷기 또는 달리기와 연관된 이동 패턴(예컨대, 지면 상의 4개의 다리들, 날개들의 퍼덕거림, 걸음걸이 등)의 검출 등을 포함한다. 물리적 객체(7120)는, 제3 특성이 물리적 객체(7120)에 없기 때문에, 사용자(7002)에게 유의한 물리적 객체로서의 자격이 없다.
일부 실시예들에서, 물리적 객체(7122)는, 컴퓨터 시스템에 의해 검출되고, 물리적 객체(7122)의 특성 이동 속도가 미리설정된 임계 속도를 초과하는 것에 기초하는 제4 특성에 기초하여 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻는다. 일부 실시예들에서, 특성 이동 속도는 물리적 객체 또는 물리적 환경의 다른 부분에 대한 물리적 객체의 적어도 일부분의 이동 속도(예컨대, 사람의 손을 흔드는 것, 병으로부터 코르크 마개를 뽑아내는 것 등), 또는 사용자를 향한 물리적 객체의 적어도 일부분의 이동 속도 등을 포함한다. 물리적 객체(7120)는, 그의 특성 이동 속도가 미리설정된 임계 이동 속도를 충족시키지 않았기 때문에, 사용자(7002)에게 유의한 물리적 객체로서의 자격이 없다.
일부 실시예들에서, 물리적 객체(7122)는, 컴퓨터 시스템에 의해 검출되고, 사용자의 즉각적인 주의를 요구하는 이벤트(예컨대, 비상상황, 위험상태 등)의 발생을 나타내는 물리적 객체(7122)의 제5 특성에 기초하여 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻는다. 일부 실시예들에서, 제5 특성은 플래싱 조명들, 이동 패턴(예컨대, 도어 또는 창문 개방, 폐쇄 등, 사람이 손을 흔드는 것 등), 진동(예컨대, 간판의 흔들림, 커튼, 낙하물들 등), 함성, 사이렌 등을 포함한다. 물리적 객체(7120)는, 제5 특성이 물리적 객체(7120)에 없기 때문에, 사용자(7002)에게 유의한 물리적 객체로서의 자격이 없다.
일부 실시예들에서, 물리적 객체(7122)는, 컴퓨터 시스템에 의해 검출되고 물리적 객체 상의 식별자 객체(예컨대, RFID, 배지, 초음파 태그, 일련 번호, 로고, 이름 등)의 존재를 나타내는 물리적 객체(7122)의 제6 특성에 기초하여 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻는다. 물리적 객체(7120)는, 제6 특성이 물리적 객체(7120)에 없기 때문에, 사용자(7002)에게 유의한 물리적 객체로서의 자격이 없다.
일부 실시예들에서, 물리적 객체(7122)는, 컴퓨터 시스템에 의해 검출되고 물리적 객체의 이동 패턴(예컨대, 물리적 객체 또는 물리적 환경의 다른 부분에 대한 물리적 객체의 적어도 일부분의 이동 패턴, 또는 사용자에 대한 물리적 객체의 적어도 일부분의 이동 패턴 등)에 기초하는 물리적 객체(7122)의 제7 특성에 기초하여 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻는다. 물리적 객체(7120)는, 제7 특성이 물리적 객체(7120)에 없기 때문에, 사용자(7002)에게 유의한 물리적 객체로서의 자격이 없다.
일부 실시예들에서, 물리적 객체(7122)는, 컴퓨터 시스템에 의해 검출되고 물리적 객체의 인식된 아이덴티티(identity)(예컨대, 배우자, 좋아하는 애완동물, 상사, 자녀, 경찰, 열차의 승무원 등)와 제1 미리설정된 아이덴티티(예컨대, 이전에 "중요한", "주의가 필요한" 등으로 확립된 아이덴티티들) 사이의 매칭(예컨대, 검출된 센서 데이터, 이미지 데이터 등에 기초하여 컴퓨터 알고리즘 또는 인공 지능(예컨대, 얼굴 인식, 음성 인식, 스피치 인식 등)에 의해 결정된 바와 같은 임계 신뢰 값 초과의 매칭 또는 대응)에 기초하는 물리적 객체(7122)의 제8 특성에 기초하여 사용자(7002)에게 유의한 물리적 객체로서의 자격을 얻는다. 물리적 객체(7120)는, 제8 특성이 물리적 객체(7120)에 없기 때문에, 사용자(7002)에게 유의한 물리적 객체로서의 자격이 없다.
도 7i 내지 도 7n은 일부 실시예들에 따른, 물리적 환경의 일부분의 스캔에 기초하여 식별된(예컨대, 형상, 평면 및/또는 표면 등에 의해 특징지어짐), 물리적 환경의 일부분에 대응하는 3차원 환경 내의 영역에 시각적 효과를 적용하는 것을 예시하는 블록도들이다.
일부 실시예들에서, 컴퓨터 시스템은 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하라는 요청에 응답하여(예컨대, 사용자가 머리 장착형 디스플레이를 착용하는 것에 응답하여, 증강 현실 환경을 시작하라는 사용자의 요청에 응답하여, 가상 현실 경험을 종료하라는 사용자의 요청에 응답하여, 사용자가 저전력 상태로부터 디스플레이 생성 컴포넌트를 켜거나 웨이크업하는 것에 응답하여 등) 물리적 환경(예컨대, 도 7i의 장면(105), 다른 물리적 환경 등)의 표현을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은, 물리적 환경 내의 객체들 및 표면들(예컨대, 벽들(7004, 7006), 바닥(7008), 객체(7014) 등)을 식별하고, 선택적으로, 물리적 환경 내의 식별된 객체들 및 표면들에 기초하여 물리적 환경의 3차원 또는 의사 3차원 모델을 구축하기 위해, 물리적 환경의 스캔을 개시한다. 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 물리적 환경이 컴퓨터 시스템에 의해 이전에 스캐닝 및 특성화되지 않은 경우, 또는 미리설정된 재스캐닝 기준들이 충족되는 것(예컨대, 마지막 스캔이 임계량 초과의 시간 전에 수행되었음, 물리적 환경이 변경되었음 등)에 기초하여 사용자 또는 시스템에 의해 재스캔이 요청되는 경우 등) 3차원 환경을 디스플레이하라는 요청을 수신하는 것에 응답하여 물리적 환경의 스캔을 개시한다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 손(예컨대, 도 7k의 손(7202))이 물리적 환경의 일부분(예컨대, 물리적 표면(예컨대, 물리적 객체(7014)의 상단 표면, 벽(7006)의 표면 등), 물리적 객체 등)을 터치하는 것을 검출하는 것에 응답하여 스캔을 개시한다. 일부 실시예들에서, 컴퓨터 시스템은 물리적 환경의 일부분에 대응하는 위치로 지향되는 사용자의 시선(예컨대, 도 7j의 시선(7140), 다른 시선 등)이 미리설정된 안정성 및/또는 지속시간 기준들을 충족시킨다는 것을 검출하는 것에 응답하여 스캔을 개시한다. 일부 실시예들에서, 컴퓨터 시스템은 스캔의 진행 및 결과들(예컨대, 물리적 환경에서의, 물리적 객체들 및 표면들의 식별, 물리적 객체들 및 표면들의 물리적 및 공간적 특성들의 결정 등)에 관한 시각적 피드백(예컨대, 도 7k 및 도 7l의 시각적 효과(7144))을 디스플레이한다. 일부 실시예들에서, 시각적 피드백은, 사용자의 손에 의해 터치되는 물리적 환경의 일부분(예컨대, 물리적 객체(7014)의 상단 표면)에 대응하고 물리적 환경의 일부분의 스캔에 기초하여 식별된 3차원 환경의 각자의 부분에 각자의 시각적 효과(예컨대, 시각적 효과(7144))를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 도 7k 및 도 7l에 도시된 바와 같이, 시각적 효과(예컨대, 시각적 효과(7144))는 3차원 환경의 각자의 부분(예컨대, 손(7202)의 터치 위치에 대응하는 위치)으로부터 확장되고/되거나, 3차원 환경의 각자의 부분으로부터 전파되는 이동의 표현을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 손이 물리적 환경의 각자의 부분을 터치하는 것을 검출하는 것에 응답하여 시각적 효과를 디스플레이하는 한편, 3차원 환경은 3차원 환경을 디스플레이하기 위한 이전 요청에 응답하여 그리고 물리적 환경의 스캔이 완료된 후에 디스플레이된다.
일부 실시예들에서, 물리적 환경의 스캔들이 혼합 현실 환경(예컨대, 증강 현실 환경, 증강 가상 환경 등)을 생성하는 준비로 컴퓨터 시스템에 의해 수행될 때, 물리적 환경의 스캐닝을 고정시키고 물리적 환경에서 객체들 및 표면들을 식별하기 위해 관심 영역 및/또는 잘 정의된 표면 또는 평면의 영역을 식별하는 사용자 입력을 수신하는 것이 때때로 도움이 된다. 또한, 사용자의 입력의 위치에 대응하는 위치로부터 물리적 환경의 스캔 및 특성화의 진행 및 결과에 관한 시각적 피드백을 사용자에게 제공하여서, 그 위치가 정확한 특성화를 가져오지 않는 경우, 사용자가 입력을 조정하고 물리적 환경 내의 상이한 위치 또는 표면으로부터 스캔을 재시작할 수 있게 하는 것이 유리하다. 일부 실시예들에서, 물리적 표면이 스캐닝되고 스캔에 기초하여 식별된 후, 컴퓨터 시스템은 식별된 표면에 대응하는 위치에 애니메이션화된 시각적 효과를 디스플레이하고, 애니메이션화된 시각적 효과는 물리적 표면과 사용자의 손 사이의 접촉 위치에 대응하는 위치로부터 시작되고 전파된다. 일부 실시예들에서, 관심 위치를 추가로 확인하기 위해, 컴퓨터 시스템은 사용자가 터치하고 있는 물리적 표면의 위치에서 시선 입력이 검출될 것을 요구한다. 일부 실시예들에서, 시선의 위치는, 둘 모두의 위치들이 동일한 연장된 물리적 표면 상에 있고/있거나 서로의 임계 거리 내에 있는 한, 사용자의 터치의 위치에 대응하는 위치와 중첩될 필요가 없다.
도 7i에 도시된 바와 같이, 사용자(7002)는 물리적 환경(예컨대, 장면(105), 또는 다른 물리적 환경 등)에 존재한다. 사용자(7002)는 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠를 보기 위한, 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7100), HMD와 같은 다른 유형의 디스플레이 생성 컴포넌트 등)에 대한 위치에 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 머리와 고정된 공간적 관계를 갖는다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 눈들을 둘러싸고, 디스플레이 생성 컴포넌트를 통해 제공되는 뷰를 제외하고는, 물리적 환경에 대한 사용자의 뷰를 차단한다. 일부 실시예들에서, 도 7c에 도시된 바와 같이, 물리적 환경은 물리적 객체들(예컨대, 물리적 객체(7014), 및 다른 물리적 객체들 등) 및 물리적 표면들(예컨대, 벽들(7004, 7006), 바닥(7008) 등)을 포함한다. 사용자는 디스플레이 생성 컴포넌트를 통해 제공되는 물리적 환경의 뷰를 통해 물리적 환경 내의 상이한 위치들을 볼 수 있고, 사용자의 시선의 위치는 도 6에 개시된 눈 추적 디바이스와 같은 눈 추적 디바이스에 의해 결정된다. 이러한 예에서, 물리적 객체(7014)는 하나 이상의 표면들(예컨대, 수평 상단 표면, 수직 표면, 평면형 표면, 만곡된 표면 등)을 갖는다.
도 7j는 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경(105)의 뷰(7103)를 디스플레이한다. 물리적 환경의 뷰는, 일부 실시예들에 따르면, 물리적 환경 내의 디스플레이 생성 컴포넌트(7100)의 위치(예컨대, 디스플레이 생성 컴포넌트(7100)가 HMD일 때 사용자의 눈들 또는 머리에 또한 대응하는 위치)에 대응하는 시점의 관찰 관점으로부터 물리적 환경의 일부분 내의 물리적 표면들 및 객체들의 표현들을 포함한다. 도 7j에서, 물리적 환경의 뷰(7103)는 사용자 및 디스플레이 생성 컴포넌트의 물리적 환경 내의 2개의 인접한 벽들(예컨대, 벽들(7004, 7006))의 표현들(7004', 7006'), 바닥(7008)의 표현(7008'), 및 물리적 환경 내의 물리적 객체(7014)(예컨대, 가구, 객체들, 기기들 등)의 표현(7014')을 포함한다. 일부 실시예들에 따르면, 물리적 환경에서의 물리적 표면들과 물리적 객체들 사이의 공간적 관계들은 3차원 환경에서의 물리적 표면들 및 물리적 객체들의 표현들 사이의 공간적 관계들에 의해 3차원 환경 내에 표현된다. 사용자가 물리적 환경에 대해 디스플레이 생성 컴포넌트를 이동시킬 때, 상이한 관찰 관점으로부터의 물리적 환경의 상이한 뷰가 디스플레이 생성 컴포넌트를 통해 디스플레이된다. 일부 실시예들에서, 물리적 환경이 컴퓨터 시스템에 대한 알려지지 않은 환경일 때, 컴퓨터 시스템은 표면들 및 평면들을 식별하기 위해 환경의 스캔을 수행하고, 물리적 환경에 대한 3차원 모델을 구축한다. 일부 실시예들에 따르면, 스캔 후, 컴퓨터 시스템은 3차원 모델에 대한 가상 객체들의 위치들을 정의할 수 있어서, 가상 객체들이 3차원 환경 내의 물리적 표면들 및 객체들의 표현들과 다양한 공간적 관계들을 갖는 3차원 모델에 기초하여 혼합 현실 환경 내에 위치될 수 있게 한다. 예를 들어, 가상 객체는, 선택적으로, 3차원 모델에 대해 직립 배향이 주어지고, 물리적 표면 또는 객체의 표현과의 소정 공간적 관계(예컨대, 그를 오버레이함, 그 상에 서 있음, 그와 평행함, 그에 수직임 등)를 시뮬레이션하는 위치에 그리고/또는 배향으로 디스플레이될 수 있다.
일부 실시예들에서, 도 7j에 도시된 바와 같이, 컴퓨터 시스템은 3차원 환경의 뷰(7013)에서 물리적 환경의 표현의 일부분으로 지향되는 시선 입력(예컨대, 이 예에서, 시선 입력(7140))을 검출한다. 일부 실시예들에서, 컴퓨터 시스템은 시선의 위치에 시각적 표시(예컨대, 시각적 표시(7142))를 디스플레이한다. 일부 실시예들에서, 시선의 위치는 컴퓨터 시스템의 눈 추적 디바이스에 의해 검출된 바와 같은 사용자 눈들의 초점 거리 및 사용자의 시선에 기초하여 결정된다. 일부 실시예들에서, 사용자의 시선의 정확한 위치는 물리적 환경의 스캔이 완료되기 전에는 매우 확인하기 어렵다. 일부 실시예들에서, 물리적 객체의 표현(7014')에 의해 점유된 영역은, 물리적 환경의 3차원 스캔이 수행되거나 완료되기 전에, 2차원 이미지 분할에 의해 식별될 수 있고, 시선의 위치는 2차원 분할에 의해 결정된 바와 같이 표현(7014')에 의해 점유된 영역인 것으로 결정될 수 있다.
일부 실시예들에서, 사용자가 디스플레이 생성 컴포넌트를 물리적 환경에서 이리저리 이동시키고, 스캔을 시작하기 위한 적합한 위치를 찾기 위해 디스플레이 생성 컴포넌트를 통해 상이한 표면들 또는 객체들을 봄에 따라, 컴퓨터는 디스플레이 생성 컴포넌트에 의해 제공되는 시야 내에 현재 있는 물리적 환경의 일부분 내의 시선의 위치를 사용자에게 나타내기 위한 실시간 피드백을 제공한다.
도 7k 및 도 7l에서, 사용자의 시선(7140)이 물리적 객체(7014)의 표현(7014')으로 지향되는 동안, 컴퓨터 시스템은 사용자의 손이 물리적 환경에서 물리적 객체(7014)의 상단 표면 상의 제1 위치로 이동하였다는 것을 검출하고, 제1 위치에서 물리적 객체(7014)의 상단 표면과의 접촉을 유지한다. (예컨대, 선택적으로, 물리적 객체(7014)의 동일한 표면 상에서의 사용자의 시선(7140)의 검출 등과 함께) 사용자의 손(7202)이 물리적 객체(7014)의 상단 표면과 접촉하는 것을 검출하는 것에 응답하여, 컴퓨터 시스템은 사용자의 손의 위치로부터(예컨대, 사용자의 손과 물리적 객체(7014)의 상단 표면 사이의 접촉의 위치로부터) 물리적 환경을 스캐닝하기 시작한다. 일부 실시예들에서, 컴퓨터 시스템은, 선택적으로, 사용자의 손의 위치에서의 스캔에 더하여 그리고 그와 병행하여 물리적 환경의 다른 부분들에서 스캔들을 수행한다. 접촉 위치 근처의 물리적 객체(7014)의 표면의 일부분이 스캐닝되고 (예컨대, 평면형 표면, 또는 만곡된 표면 등으로) 특성화됨에 따라, 컴퓨터 시스템은 스캔의 결과 및 진행을 나타내기 위한 시각적 피드백을 디스플레이한다. 도 7k에서, 물리적 객체(7014)와의 사용자의 접촉의 위치에 대응하는 위치에서의 그리고 그 근처에서의 표현(7014')의 일부분의 외관은 시각적 효과에 의해 변경된다(예컨대, 강조됨, 애니메이션화됨, 및/또는 색상, 밝기, 투명도 및/또는 불투명도 등이 변경됨 등). 시각적 효과는 물리적 객체와의 사용자의 접촉의 위치에 또는 그 근처에 있는 물리적 표면의 일부분에서의 스캔의 결과에 기초하는 하나 이상의 공간적 특성들(예컨대, 위치, 배향, 표면 특성들, 공간적 범위 등)을 갖는다. 예를 들어, 이러한 경우, 컴퓨터 시스템은, 검지 손가락의 팁의 위치(예컨대, 사용자의 손(7202)과 물리적 객체(7014) 사이의 접촉의 위치) 근처의 영역의 스캔에 기초하여, 표현(7014')이 사용자의 손(7202)의 팁의 위치에 대응하는 위치에서 수평 배향을 갖는 평면형 표면이라고 결정한다. 일부 실시예들에서, 사용자의 손가락의 팁은 표면 스캔을 위한 앵커 위치를 제공한다. 일부 실시예들에서, 사용자의 손가락의 팁의 위치에서의 물리적 환경의 깊이 데이터는 사용자의 손가락끝의 깊이 데이터와 상관되고, 스캔의 정확도는 이러한 추가 제약으로 개선된다.
도 7l 및 도 7m에서, 사용자의 손(7202)이, 선택적으로, 물리적 객체(7014)의 상단 표면 상의 초기 터치 위치에서, 물리적 환경 내의 물리적 객체(7014)의 상단 표면과의 접촉을 유지하는 동안, 컴퓨터 시스템은 물리적 객체(7014)의 상단 표면 상의 초기 터치 위치에 연결된 물리적 표면의 추가 부분들의 식별 및 스캔의 진행을 나타내기 위해 시각적 피드백(7144)을 계속 적용 및 디스플레이한다. 도 7m에서, 물리적 객체(7014)의 상단 표면의 스캔 및 식별이 완료되고, 시각적 효과는 물리적 객체(7014)의 상단 표면의 초기 터치 위치에 대응하는 위치로부터 확산되어 표현(7014')의 상단 표면의 전체를 덮었다. 일부 실시예들에서, 시각적 효과(7144)의 확산은, 일단 물리적 표면의 경계가 식별되고 시각적 효과가 전체 표면의 표현에 적용되었으면 정지된다. 일부 실시예들에서, 시각적 효과(7144)는, 그 동안 스캐닝되고 특성화된 물리적 환경의 추가 부분들의 표현들로 계속 확산된다. 일부 실시예들에서, 컴퓨터 시스템은 접촉 지점을 물리적 객체(7014)의 상단 표면 상의 다른 위치들로 이동시키는 사용자의 손(7202)의 이동을 검출하고, 물리적 객체의 새로운 터치 위치로부터 새로운 스캔을 시작하거나 이전 스캔을 새로운 스캔과 병행하여 계속한다. 일부 실시예들에서, 하나 이상의 터치 위치들로부터의 스캔들이 계속됨에 따라, 대응하는 시각적 효과들은 스캔들의 결과들에 기초하여 터치 위치들에 대응하는 위치들로부터 확산되고 있다. 일부 실시예들에서, 시선(7140)이 물리적 객체(7014)의 상단 표면 상에서 검출되는 동안, 컴퓨터 시스템은 사용자의 손가락이 물리적 객체(7014)의 상단 표면 상의 경로를 따라 다수의 위치들을 가로질러 이동하는 것을 검출하고, 선택적으로, 경로의 위치로부터 스캔을 수행하고, 사용자의 손에 의해 터치되는 경로 또는 영역의 위치로부터 시각적 효과를 확산시킨다. 일부 실시예들에 따르면, 스캔에 대한 제약들로서 상단 표면 상의 더 많은 지점들에서의 깊이 데이터를 이용하여, 스캔은 단일 터치 지점으로부터보다 더 정확하고 빠르게 수행될 수 있다.
도 7m 및 도 7n에서, 컴퓨터 시스템에 의해 수행된 스캔에 의해 식별된 물리적 표면에 따라 물리적 객체(7014)의 상단 표면을 터치하는 사용자의 손의 위치에 대응하는 위치에 시각적 효과를 디스플레이하는 동안, 컴퓨터는 시스템은 물리적 객체(7014)의 상단 표면으로부터의 접촉의 단절을 가져오는 사용자 손의 이동을 검출한다. 사용자의 손이 물리적 객체(7014)의 표면으로부터 멀리 이동하였다는 것을 검출하는 것에 응답하여, 컴퓨터 시스템은, 도 7n에 도시된 바와 같이, 스캔에 기초하여 식별된 표면의 위치에 시각적 효과를 디스플레이하는 것을 중지한다. 표현(7014')은 도 7n에서 시각적 효과(7144)의 적용 전의 그의 원래 외관으로 복원된다.
일부 실시예들에서, 스캔이 완료되고 물리적 환경의 일부분 내의 물리적 객체 및 표면들이 식별된 후, 컴퓨터 시스템이 (예컨대, 사용자의 손(7202), 다른 손 등에 의한) 물리적 표면과의 사용자의 접촉을 검출하는 경우, 컴퓨터 시스템은, 선택적으로, 사용자의 터치의 위치에 대응하는 위치로부터 시작하는 물리적 표면의 공간적 특성들을 예시하기 위해 시각적 효과(7144)를 재디스플레이한다. 일부 실시예들에서, 시각적 효과는 터치가 물리적 표면 상에서 검출되자마자 전체 물리적 표면의 표현에 적용된다. 일부 실시예들에서, 시각적 효과는 터치의 위치에 대응하는 위치로부터 물리적 표면의 표현을 가로질러 점진적으로 성장하고 확장된다.
일부 실시예들에서, 물리적 객체(7014)의 표현(7014')은 물리적 환경의 카메라 뷰에 의해 제공되고, 시각적 효과(7144)는 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경의 뷰에서 물리적 객체의 표현(7014')의 적어도 일부분의 디스플레이를 대체한다. 일부 실시예들에서, 물리적 객체(7014)의 표현(7014')은 물리적 환경의 카메라 뷰에 의해 제공되고, 시각적 효과는 물리적 객체의 표면 상에 투영되고, 물리적 환경 내의 물리적 객체의 표면의 일부분을 오버레이하며, 물리적 환경의 카메라 뷰의 일부로서 보여진다. 일부 실시예들에서, 물리적 객체의 표현(7014')은 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 뷰의 일부이고, 시각적 효과는 물리적 객체(7014)의 표면의 적어도 일부분의 뷰를 차단하는 위치에 디스플레이 생성 컴포넌트에 의해 디스플레이된다. 일부 실시예들에서, 물리적 객체의 표현(7014')은 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 뷰의 일부이고, 시각적 효과는 물리적 객체(7014)의 표면 상에 투영되고, 물리적 환경 내의 물리적 객체(7014)의 표면의 일부분을 오버레이하며, 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 물리적 환경의 일부로서 보여진다. 일부 실시예들에서, 시각적 효과는 사용자의 망막 상에 직접 투영되어, 망막 상의 물리적 객체(7014)의 표면의 일부분의 이미지를 오버레이한다.
일부 실시예들에서, 사용자의 손(7202)이 벽(7006) 또는 바닥(7008) 등과 같은 물리적 환경의 상이한 부분을 터치하는 경우, 컴퓨터 시스템은 물리적 환경의 상기 상이한 부분 상의 사용자의 터치의 위치에서 또는 그 근처에서 식별되는 표면에 대응하는 위치에 시각적 효과를 적용한다(예컨대, 벽의 표현(7006')의 수직 표면, 또는 바닥의 표현(7008')의 수평 표면 등에 시각적 효과가 적용됨).
일부 실시예들에서, 컴퓨터 시스템이 물리적 환경의 일부분에서 스캔을 시작하고/하거나 물리적 환경의 일부분에서의 스캔의 결과에 따라 시각적 효과를 디스플레이하기 위해, 물리적 환경의 각자의 부분 상에서의 시선 및 터치 입력들의 검출이 동시에 요구된다. 일부 실시예들에서, 사용자의 시선이 물리적 환경의 각자의 부분으로부터 제거되는 경우, 사용자의 손의 터치가 물리적 환경의 각자의 부분 상에서 검출된 상태로 유지되더라도, 컴퓨터 시스템은 시각적 효과를 디스플레이하는 것을 중지하고, 선택적으로, 물리적 환경의 일부분에서 스캔을 계속하는 것을 중지한다.
일부 실시예들에서, 시각적 효과(7144)는 그가 적용되는 영역에서 애니메이션화된 시각적 변화들을 야기하는 애니메이션화된 시각적 효과이다. 일부 실시예들에서, 애니메이션화된 시각적 변화들은 시각적 효과가 적용되는 물리적 환경의 뷰 내의 영역에서 시간 경과에 따라 변화하는 아른거리는(shimmering) 광 및/또는 색상 변화들을 포함한다. 일부 실시예들에서, 시각적 효과가 적용되는 영역은 애니메이션화된 시각적 변화들이 발생하고 있을 때 (예컨대, 영역에 디스플레이되는 크기, 형상 및/또는 콘텐츠 등의 관점에서) 변화하지 않는다(예컨대, 시각적 효과는 영역의 원래 콘텐츠에 적용되는 하나 이상의 필터들 또는 수정 기능들로 영역의 외관에 영향을 미치는 한편, 콘텐츠의 시각적 특징부들(예컨대, 형상, 크기, 객체 유형 등)은 뷰어(viewer)에 의해 식별가능한 상태로 유지됨). 일부 실시예들에서, 시각적 변화들이 적용되는 3차원 환경 내의 영역은 애니메이션화된 시각적 변화들이 발생하고 있음에 따라 확장된다.
일부 실시예들에서, 컴퓨터 시스템은 사용자의 손에 의해 터치되는 표면의 상이한 부분들에 대해 상이한 시각적 효과들을 적용한다. 일부 실시예들에서, 사용자의 손에 의해 터치되는 표면은 연장된 영역에 걸쳐 있고, 표면 특성들은 연장된 영역의 상이한 부분들에 대해 상이할 수 있다. 일부 실시예들에서, 사용자가 연장된 표면의 주변 부분을 터치할 때, 시각적 효과는 표면의 표현의 중심 부분을 향한 애니메이션화된 이동을 보여주는 한편, 사용자가 연장된 표면의 중심 부분을 터치할 때, 시각적 효과는 표면의 표현의 주변 영역을 향한 상이한 애니메이션화된 이동을 보여준다. 일부 실시예들에서, 상이한 시각적 효과들이 표면 상의 동일한 연장된 영역에 적용될 때, 시각적 효과들은, 애니메이션화된 이동의 상이한 시작 위치 및 전파 방향으로 인해, 상이한 것으로 보일 것이다. 일부 실시예들에서, 상이한 시각적 효과들은 동일한 베이스라인 시각적 효과(예컨대, 그레이 오버레이, 아른거리는 시각적 효과, 잔물결들, 성장 메시 와이어들 등)에 따라 생성되고, 상이한 시각적 효과들 사이의 차이는 동일한 베이스라인 시각적 효과에 따라 생성된 상이한 애니메이션들(예컨대, 상이한 형상의 경계선들을 갖는 베이스라인 성장 그레이 오버레이들, 가상 광원과 밑에 있는 표면 사이의 상이한 공간적 관계들을 사용하여 수정된 베이스라인 아른거리는 시각적 효과들, 상이한 파장들 및/또는 원점들로 수정된 베이스라인 잔물결들, 상이한 시작 위치들로 수정된 베이스라인 메시 와이어 패턴들 등)을 포함한다.
일부 실시예들에서, 스캔이 완료되고 물리적 환경 내의 표면들이 식별된 후, 표면들은 물리적 환경의 뷰에서 강조되거나 시각적으로 표시될 수 있다. 컴퓨터 시스템이 스캔에 기초하여 이미 스캐닝되고 특성화된 표면과 사용자의 손 사이의 접촉을 검출할 때, 컴퓨터 시스템은, 터치의 위치에 대응하는 표면의 표현 상의 위치로부터 시작하고 스캔에 기초하여 결정된 표면의 공간적 특성들에 따라 표면의 표현을 가로질러 전파되는 애니메이션화된 시각적 효과를 디스플레이한다. 일부 실시예들에서, 애니메이션화된 시각적 효과는 접촉이 표면 상에서 유지되는 한 지속된다. 일부 실시예들에서, 컴퓨터 시스템은 애니메이션화된 시각적 효과를 계속 디스플레이하기 위해 접촉의 위치가 실질적으로 정지된 상태로 유지될(예컨대, 임계 시간 동안 임계량 미만의 이동을 가짐, 전혀 이동하지 않음 등) 것을 요구한다. 일부 실시예들에서, 컴퓨터 시스템은 애니메이션화된 시각적 효과를 계속 디스플레이하기 위해 접촉의 위치가 동일한 연장된 표면 상에 유지될(예컨대, 정지됨, 또는 연장된 표면 내에서 이동함 등) 것을 요구한다. 일부 실시예들에서, 컴퓨터 시스템은, 표면을 가로지르는 접촉의 이동 또는 표면으로부터 멀어지는 손의 이동을 검출하는 것에 응답하여, 애니메이션화된 시각적 효과를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 컴퓨터 시스템은, 표면으로부터 멀어지고 더 이상 표면과 접촉하지 않는 사용자의 손의 이동을 검출하는 것에 응답하여, 애니메이션화된 시각적 효과를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 컴퓨터 시스템은, 표면을 가로지르는 접촉의 이동 및/또는 표면으로부터 멀어지는 손의 이동을 검출하는 것에 응답하여, 애니메이션화된 시각적 효과를 정지시키고 시각적 효과의 정적 상태의 디스플레이를 유지한다. 일부 실시예들에서, 컴퓨터 시스템은, 표면으로부터 멀어지고 더 이상 표면과 접촉하지 않는 사용자의 손의 이동을 검출하는 것에 응답하여, 애니메이션화된 시각적 효과를 정지시키고 시각적 효과의 정적 상태의 디스플레이를 유지한다.
일부 실시예들에서, 본 명세서에서 설명되는 시각적 효과는 물리적 환경의 적어도 일부분의 공간적 표현을 생성하는 프로세스 동안 그리고 선택적으로, 사용자의 손이 물리적 환경의 일부분을 터치하는 것을 검출하는 것에 응답하여, 물리적 환경의 일부분의 공간적 표현이 생성된 후에 디스플레이된다.
일부 실시예들에서, 본 명세서에서 설명되는 바와 같은 시각적 효과의 디스플레이는, 컴퓨터 시스템이 가상 현실 환경을 디스플레이하는 것으로부터 증강 현실 환경 및/또는 물리적 환경의 표현을 디스플레이하는 것으로 스위칭할 때 트리거된다. 일부 실시예들에서, 본 명세서에서 설명되는 바와 같은 시각적 효과의 디스플레이는, 컴퓨터 시스템이, 사용자가 디스플레이 생성 컴포넌트를 통해 물리적 환경을 볼 수 있게 하는 사용자에 대한 공간적 관계로 디스플레이 생성 컴포넌트가 배치된다는 것을 검출할 때(예컨대, HMD가 사용자의 머리 상에 배치되거나 사용자의 눈들 전방에 배치되거나 사용자의 얼굴 전방에 유지될 때, 사용자가 헤드업 디스플레이 전방에서 걷거나 앉을 때, 사용자가 물리적 환경의 패스 스루 뷰를 보기 위해 디스플레이 생성 컴포넌트를 켤 때 등) 트리거된다. 일부 실시예들에서, 본 명세서에서 설명되는 바와 같은 시각적 효과의 디스플레이는, 컴퓨터 시스템이, 선택적으로, 물리적 환경의 일부분 상에서의 사용자의 터치를 요구하지 않고서, 가상 현실 환경을 디스플레이하는 것으로부터 증강 현실 환경 및/또는 물리적 환경의 표현을 디스플레이하는 것으로 스위칭할 때 트리거된다(예컨대, 시각적 효과는 물리적 환경의 일부분 상에서의 시선의 검출에 응답하여 디스플레이됨, 또는 선택적으로, 사용자의 시선 없이 디폴트 위치에서 시작됨 등). 일부 실시예들에서, 본 명세서에서 설명되는 바와 같은 시각적 효과의 디스플레이는, 컴퓨터 시스템이, 선택적으로, 물리적 환경의 일부분 상에서의 사용자의 터치를 요구하지 않고서, 사용자가 디스플레이 생성 컴포넌트를 통해 물리적 환경을 볼 수 있게 하는 사용자에 대한 공간적 관계로 디스플레이 생성 컴포넌트가 배치된다는 것을 검출할 때 트리거된다(예컨대, 시각적 효과는 물리적 환경의 일부분 상에서의 시선의 검출에 응답하여 디스플레이됨, 또는 선택적으로, 사용자의 시선 없이 디폴트 위치에서 시작됨 등).
도 7o 내지 도 7q는 일부 실시예들에 따른, 물리적 환경의 제1 부분(예컨대, 물리적 환경에서의, 물리적 표면의 위치, 자유 공간 내의 위치 등)에 대응하는 3차원 환경 내의 위치에 대화형 사용자 인터페이스 객체를 디스플레이하는 것, 및 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치와 물리적 환경의 제1 부분 사이의 공간에서 이동하는 사용자의 일부분(예컨대, 사용자의 손가락, 손 등)의 위치에 따라 사용자 인터페이스 객체의 각자의 하위 부분의 디스플레이를 선택적으로 보류하는 것을 예시하는 블록도들이다.
일부 실시예들에서, 컴퓨터 시스템은 3차원 환경(예컨대, 환경(7151), 또는 다른 환경 등) 내에 대화형 사용자 인터페이스 객체(예컨대, 사용자 인터페이스 객체(7152), 제어 패널과 같은 다른 사용자 인터페이스 객체, 선택가능 옵션들을 포함하는 사용자 인터페이스 객체, 단일 제어 객체 등)를 디스플레이한다. 컴퓨터 시스템은, 또한, 3차원 환경 내에 물리적 환경(예컨대, 도 7i의 환경(105), 다른 물리적 환경 등)의 표현을 디스플레이하며, 여기에서 대화형 사용자 인터페이스 객체는 물리적 환경 내의 상이한 위치들에 대응하는 3차원 환경 내의 다양한 위치들에 대한 각자의 공간적 관계를 갖는다. 사용자가 터치 입력들 및/또는 제스처 입력들을 통해 사용자의 손의 일부분(예컨대, 손(7202), 손(7202)의 손가락 등), 예를 들어 사용자의 손의 하나 이상의 손가락들 또는 전체 손으로 3차원 환경과 상호작용할 때, 사용자의 일부분(예컨대, 사용자의 손의 일부분, 전체 손, 및 가능하게는 손에 연결된 손목 및 팔 등을 포함함)은 사용자 인터페이스 객체의 위치에 대응하는 위치(예컨대, 물리적 객체 또는 물리적 표면의 위치, 물리적 환경에서의 자유 공간 내의 위치 등)와 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치(예컨대, 사용자의 눈들의 위치, 디스플레이 생성 컴포넌트의 위치, 3차원 환경 내에 표시된 물리적 환경의 뷰를 캡처하는 카메라의 위치 등) 사이에 있는 공간 영역에 진입할 수 있다. 컴퓨터 시스템은, 사용자의 손의 위치, 사용자 인터페이스 객체의 위치에 대응하는 위치, 및 시점에 대응하는 위치 사이의 공간적 관계들에 기초하여, 시점의 위치로부터 사용자가 볼 때 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분에 의해 시각적으로 차단될 것인지 및 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분에 의해 시각적으로 차단되지 않을 것인지를 결정한다. 이어서, 컴퓨터 시스템은, 도 7p에 도시된 바와 같이, (예컨대, 컴퓨터 시스템에 의해 결정된 바와 같은) 사용자의 일부분에 의해 시각적으로 차단될 사용자 인터페이스 객체의 각자의 부분을 디스플레이하는 것을 중지하고, 대신에, (예컨대, 컴퓨터 시스템에 의해 결정된 바와 같은) 사용자의 일부분에 의해 시각적으로 차단되지 않을 사용자 인터페이스 객체의 다른 부분의 디스플레이를 유지하면서, 사용자의 일부분의 표현이 사용자 인터페이스 객체의 각자의 부분의 위치에서 보이도록 허용한다. 일부 실시예들에서, (예컨대, 디스플레이 생성 컴포넌트의 이동, 물리적 환경을 캡처하는 카메라의 이동, 사용자의 머리 또는 몸통의 이동 등으로 인한) 사용자의 일부분의 이동 또는 시점의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은, 사용자의 일부분, 시점에 대응하는 위치, 및 사용자 인터페이스 객체의 위치에 대응하는 위치 사이의 새로운 공간적 관계들에 기초하여, 시점의 위치로부터 사용자가 볼 때 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분에 의해 시각적으로 차단될 것인지 및 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분에 의해 시각적으로 차단되지 않을 것인지를 재평가한다. 이어서, 컴퓨터 시스템은, 도 7q에 도시된 바와 같이, (예컨대, 컴퓨터 시스템에 의해 결정된 바와 같은) 사용자의 일부분에 의해 시각적으로 차단될 사용자 인터페이스 객체의 다른 부분을 디스플레이하는 것을 중지하고, 이전에 디스플레이되는 것이 중지된 사용자 인터페이스 객체의 일부분이 3차원 환경의 뷰 내에 복원되도록 허용한다.
일부 실시예들에서, 사용자가 증강 현실 환경 또는 가상 현실 환경에서 사용자 인터페이스 객체(예컨대, 사용자 인터페이스 객체(7152), 제어 패널과 같은 다른 사용자 인터페이스 객체, 선택가능 옵션들을 포함하는 사용자 인터페이스 객체, 단일 제어 객체 등)와 상호작용할 때, 물리적 환경에서 물리적 표면에 의해 제공되는 촉감은 사용자가 증강 현실 환경 또는 가상 현실 환경에서 사용자의 공간 감각을 더 잘 배향시키는 것을 도와서, 사용자가 사용자 인터페이스 객체와 상호작용할 때 더 정확한 입력들을 제공할 수 있게 한다. 일부 실시예들에서, 물리적 표면은 물리적 표면 상에서의 사용자의 터치에 관한 더 정확한 정보(예컨대, 터치 위치, 터치 지속시간, 터치 세기 등)를 제공하는 터치 센서들을 포함할 수 있으며, 이는 사용자 인터페이스 객체 또는 그의 일부분들과 상호작용하기 위한 더 다양하고/하거나 정제된 입력들을 가능하게 한다. 일부 실시예들에서, 물리적 표면은, 사용자가 표면 특징부들에 대해 그의 제스처 또는 터치 입력들을 정확하게 위치시키는 것, 및 또한, 물리적 표면 상의 표면 특징부들에 대응하는 시각적 특징부들(예컨대, 가상 마커들, 버튼들, 텍스처들 등)을 갖는 사용자 인터페이스 객체와 상호작용하는 것으로 더 사실적인 경험을 얻는 것을 돕는 표면 특성들(예컨대, 범프(bump)들, 버튼들, 텍스처들 등)을 포함할 수 있다.
본 명세서에서 설명되는 바와 같이, 사용자 인터페이스 객체가 물리적 표면의 공간적 특성들에 대응하는 공간적 특성들을 갖는 물리적 표면의 위치에 대응하는 위치에 디스플레이될 때, 사용자 인터페이스 객체는 물리적 표면의 공간적 특성들을 갖는 가상 표면 또는 물리적 표면의 표현을 오버레이하거나 증강시키는 것으로 보인다. 사용자가 물리적 표면 상에서의 터치 입력들을 통해 사용자 인터페이스 객체와 상호작용할 때 사용자에게 더 사실적이고 직관적인 경험을 제공하기 위해, 사용자 인터페이스 객체는 다수의 부분들로 시각적으로 분할되며, 여기에서 사용자의 손이 물리적 표면의 각자의 부분과 사용자의 눈들 사이에 놓인 물리적 공간의 일부분에 존재할 때, 다수의 부분들 중 적어도 하나의 부분은 사용자의 손의 표현에 의해 시각적으로 가려진다. 다시 말해서, 사용자의 손의 적어도 일부분(및 선택적으로, 손과 연결된 사용자의 다른 부분들)은 사용자 인터페이스 객체의 각자의 부분을 향해 지향되는 사용자의 시선과 교차할 수 있고, 사용자 인터페이스 객체의 각자의 부분에 대한 사용자의 뷰를 차단한다. 일부 실시예들에서, 사용자의 손이 물리적 표면과 사용자의 눈들 사이의 공간에서 이동함에 따라, 사용자의 손의 적어도 일부분(및 선택적으로, 손과 연결된 사용자의 다른 부분들)은 사용자 인터페이스 객체의 상이한 부분을 향해 지향되는 사용자의 시선과 교차할 수 있고, 사용자 인터페이스 객체의 상기 상이한 부분에 대한 사용자의 뷰를 차단하며, 사용자 인터페이스 객체의 이전에 차단된 부분이 다시 드러날 수 있다.
일부 실시예들에서, 물리적 표면들은, 버튼들, 슬라이더들, 리지(ridge)들, 원들, 틱 마크(tick mark)들, 스위치들 등과 같은 상이한 유형들의 사용자 인터페이스 요소들에 대응하는 공간 윤곽들 및 표면 텍스처들을 갖는 하나 이상의 부분들을 포함한다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소에 대응하는 사용자 인터페이스 객체의 각자의 부분은, 선택적으로, 다수의 하위 부분들로 분할되고, 하위 부분들 중 일부만이 3차원 환경의 뷰에서 사용자의 손의 표현에 의해 시각적으로 가려지는 반면, 사용자 인터페이스 요소의 하위 부분들 중 일부는 3차원 환경의 뷰에서 사용자의 손의 표현에 의해 시각적으로 가려지지 않는다.
도 7o 내지 도 7q에서, 디스플레이 생성 컴포넌트(7100)는 3차원 환경(7151)의 뷰를 디스플레이한다. 일부 실시예들에서, 3차원 환경(7151)은 3차원 환경 내의 다양한 공간 위치들에 가상 객체들 및 가상 표면들을 포함하는 가상 3차원 환경이다. 일부 실시예들에서, 3차원 환경(7151)은, 물리적 환경 내의 그들의 각자의 위치들에 대응하는 다양한 위치들에 위치되는 물리적 객체들 및 표면들의 표현들을 갖는 물리적 환경의 표현, 및 3차원 환경 내의 물리적 객체들 및 표면들의 표현들의 위치들에 대한 위치들을 갖는 가상 콘텐츠를 포함하는 증강 현실 환경이다. 일부 실시예들에서, 3차원 환경의 뷰는 제1 물리적 표면의 위치에 대응하는 위치에 적어도 제1 표면(예컨대, 가상 표면, 또는 물리적 표면의 표현 등)을 포함하고, 물리적 환경 내의 제1 물리적 표면의 공간적 특성들(예컨대, 배향, 크기, 형상, 표면 프로파일, 표면 텍스처, 공간적 범위, 표면 윤곽 등)에 대응하는 공간적 특성들(예컨대, 배향, 크기, 형상, 표면 프로파일, 표면 텍스처, 공간적 범위 등)을 갖는다. 일부 실시예들에서, 물리적 표면은 테이블 상판의 표면, 벽의 표면, 디스플레이 디바이스의 표면, 터치패드의 표면, 사용자의 무릎의 표면, 손바닥의 표면, 버튼들 및 하드웨어 어포던스(affordance)들을 갖는 프로토타입 객체의 표면 등이다. 이러한 예에서, 물리적 객체(7014)의 상단 표면은 사용자의 손에 의해 터치되는 물리적 표면의 비제한적인 예로서 사용된다.
이러한 예에서, 각자의 동작들에 대응하는 하나 이상의 대화형 부분들을 포함하는 제1 사용자 인터페이스 객체(예컨대, 가상 키보드(7152), 하나 이상의 제어 어포던스들을 갖는 제어 패널, 선택가능 옵션들을 갖는 메뉴, 단일 일체형 제어 객체 등)가 제1 물리적 표면(예컨대, 표현(7014')에 의해 표현되는 물리적 객체(7014)의 상단 표면, 가상 객체(7014')의 위치에 대응하는 위치에서의 물리적 객체의 표면 등)의 위치에 대응하는 3차원 환경(7151) 내의 위치에 디스플레이된다. 제1 사용자 인터페이스 객체(예컨대, 가상 키보드(7152), 하나 이상의 제어 어포던스들을 갖는 제어 패널, 선택가능 옵션들을 포함하는 메뉴, 단일 일체형 제어 객체 등)의 공간적 특성들은 제1 물리적 표면의 공간적 특성들에 대응한다. 예를 들어, 제1 사용자 인터페이스 객체는 평면형이고, 제1 물리적 표면이 평면형일 때 제1 물리적 표면의 표현과 평행하게 디스플레이된다. 다른 예에서, 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제1 물리적 표면의 표면 프로파일에 대응하는 표면 프로파일을 갖고, 제1 사용자 인터페이스 객체 상의 토폴로지 특징부들(예컨대, 범프들, 버튼들, 텍스처들 등)의 위치들은 제1 물리적 표면 상의 대응하는 토폴로지 특징부들의 위치들에 대응하는 위치들과 정렬된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제1 사용자 인터페이스 객체 상의 토폴로지 특징부들의 위치들에 대응하는 제1 물리적 표면 상의 위치들에 존재하지 않는 토폴로지 특징부들을 갖는다.
도 7o에 도시된 바와 같이, 컴퓨터 시스템은 디스플레이 생성 컴포넌트(7100)를 통해 3차원 환경(7151)의 뷰를 디스플레이한다. 일부 실시예들에 따르면, 3차원 환경(7151)의 뷰는 물리적 환경 내의 디스플레이 생성 컴포넌트(7100)의 위치(예컨대, 디스플레이 생성 컴포넌트(7100)가 HMD일 때 사용자의 눈들 또는 머리에 또한 대응하는 위치)에 대응하는 시점의 관찰 관점으로부터 물리적 환경의 일부분 내의 물리적 표면들(예컨대, 수직 벽들(7004, 7006)의 표현들(7004', 7006'), 수평 바닥(7008)의 표현(7008), 물리적 객체들의 표면들의 표현들 등) 및 객체들(예컨대, 물리적 객체(7014)의 표현(7014'), 다른 물리적 객체들의 표현 등)의 표현들을 포함한다. 일부 실시예들에 따르면, 물리적 환경(105)에서의 물리적 표면들과 물리적 객체들 사이의 공간적 관계들은 3차원 환경(7151)에서의 물리적 표면들 및 물리적 객체들의 표현들 사이의 공간적 관계들에 의해 3차원 환경 내에 표현된다. 일부 실시예들에서, 사용자가 물리적 환경에 대해 디스플레이 생성 컴포넌트를 이동시킬 때, 현재 디스플레이된 뷰의 시점은 3차원 환경에서 이동되어, 상이한 관찰 관점으로부터 3차원 환경(7151)의 상이한 뷰를 생성한다. 일부 실시예들에서, 컴퓨터 시스템은 표면들 및 평면들을 식별하기 위해 환경의 스캔을 수행하고, 물리적 환경에 대한 3차원 모델을 구축한다. 일부 실시예들에 따르면, 컴퓨터 시스템은 3차원 모델에 대한 가상 객체들의 위치들을 정의하여서, 가상 객체들이 3차원 환경 내의 물리적 표면들 및 객체들의 표현들과 다양한 공간적 관계들로 3차원 환경 내에 위치될 수 있게 한다. 예를 들어, 가상 객체는, 선택적으로, 3차원 환경(7151)에 대해 직립 배향이 주어지고, 물리적 표면 또는 객체의 표현(예컨대, 물리적 객체(7014)의 표현(7014'), 바닥(7008)의 표현(7008') 등)과의 소정 공간적 관계(예컨대, 그를 오버레이함, 그 상에 서 있음, 그와 평행함, 그에 수직임 등)를 시뮬레이션하는 위치에 그리고/또는 배향으로 디스플레이될 수 있다.
도 7o 내지 도 7q에서, 제1 사용자 인터페이스 객체(예컨대, 이 예에서, 가상 키보드(7152))는 제1 물리적 표면(예컨대, 표현(7014')에 의해 표현되는 물리적 객체(7014)의 상단 표면, 또는 가상 객체(7014')의 상단 표면에 대응하는 위치에 위치되는 물리적 객체의 상단 표면 등)의 위치에 대응하는 위치에 디스플레이되며, 이때 제1 사용자 인터페이스 객체의 공간적 특성들은 제1 물리적 표면의 공간적 특성들에 대응한다(예컨대, 제1 물리적 표면과 평행함, 제1 물리적 표면의 표면 프로파일에 순응함 등). 일부 실시예들에서, 컴퓨터 시스템은 물리적 환경에서의 제1 물리적 표면의 이동에 응답하여 제1 사용자 인터페이스 객체를 이동시킨다. 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 객체는 물리적 환경에서의 제1 물리적 표면의 이동 동안 3차원 환경 내의 제1 물리적 표면의 표현과 동일한 공간적 관계로 디스플레이된 상태로 유지된다.
일부 실시예들에서, 물리적 객체(7014)의 표현(7014')은 물리적 환경의 카메라 뷰에 의해 제공되고, 제1 사용자 인터페이스 객체는 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경(예컨대, 환경(7151), 또는 다른 증강 현실 환경 등)의 뷰에서 물리적 객체의 표현(7104')의 적어도 일부분의 디스플레이를 대체한다. 일부 실시예들에서, 물리적 객체의 표현(7014')은 물리적 환경의 카메라 뷰에 의해 제공되고, 제1 사용자 인터페이스 객체는 물리적 객체(7014)의 표면 상에 투영되고, 물리적 환경 내의 물리적 객체(7014)의 표면의 일부분을 오버레이하며, 물리적 환경의 카메라 뷰의 일부로서 보여진다. 일부 실시예들에서, 물리적 객체(7014)의 표현(7014')은 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 뷰의 일부이고, 제1 사용자 인터페이스 객체는 물리적 객체(7014)의 표현(7014')의 적어도 일부분의 뷰를 차단하는 위치에 디스플레이 생성 컴포넌트에 의해 디스플레이된다. 일부 실시예들에서, 물리적 객체(7014)의 표현(7014')은 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 뷰의 일부이고, 제1 사용자 인터페이스 객체는 물리적 객체(7014)의 표면 상에 투영되고, 물리적 환경 내의 물리적 객체(7014)의 표면의 일부분을 오버레이하며, 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 물리적 환경의 일부로서 보여진다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는, 사용자의 망막 상에 투영되고 사용자의 망막 상의 물리적 객체(7014)의 표면의 이미지의 일부분을 오버레이하는 이미지이다(예컨대, 이미지는 디스플레이 생성 컴포넌트에 의해 제공되는 물리적 환경의 카메라 뷰의 이미지, 또는 디스플레이 생성 컴포넌트의 투명 부분을 통한 물리적 환경의 뷰의 이미지 등임).
도 7o 내지 도 7q의 예에서, 사용자가 제1 사용자 인터페이스 객체(예컨대, 이 예에서, 가상 키보드(7152))와 상호작용하기 전에, 제1 사용자 인터페이스 객체는 3차원 환경(7151)의 뷰에서 사용자의 손의 표현(7202')에 의해 시각적으로 가려지지 않는다. 일부 실시예들에서, 사용자의 손의 표현(7202')은, 다른 사용자 인터페이스 객체의 위치와 사용자의 손(7202)의 위치에 대응하는 위치(예컨대, 3차원 환경 내의 사용자의 손(7202)의 표현(7202')의 위치) 사이의 공간적 관계에 따라, 상기 다른 사용자 인터페이스 객체(예컨대, 텍스트 입력 윈도우(7150), 또는 다른 사용자 인터페이스 객체 등)의 존재에 의해 시각적으로 가려질 수 있다. 예를 들어, 손(7202)의 표현(7202')의 일부는 도 7o에서 텍스트 입력 박스(7150)에 의해 차단되는데, 그 이유는 사용자의 손(7202)의 표현(7202')의 가상 위치가 환경(7151)에서 사용자의 시선을 따라 텍스트 입력 윈도우(7150)보다 환경(7151)의 현재 디스플레이된 뷰의 시점으로부터 더 멀리 떨어져 있기 때문이다. 일부 실시예들에서, 사용자의 손(7202)의 표현(7202')은 물리적 환경의 카메라 뷰의 일부이다. 일부 실시예들에서, 사용자의 손(7202)의 표현(7202')은 디스플레이 생성 컴포넌트의 투명 부분을 통한 손의 뷰이다. 일부 실시예들에서, 사용자의 손의 표현은 물리적 환경에서의 손의 형상 및 위치에 대한 실시간 데이터에 기초하여 생성되는 양식적 표현이다.
도 7p에서, 사용자의 손(7202)은 물리적 환경에서 제1 물리적 표면(예컨대, 이 예에서, 표현(7014')에 의해 표현되는 물리적 객체(7014)의 상단 표면)을 향해 이동한다. 일부 실시예들에서, 손의 하나 이상의 손가락들(예컨대, 검지 손가락, 엄지 손가락, 검지 손가락 및 중지 손가락 함께 등)과 같은 손(7202)의 일부분이 제1 물리적 표면 상의 제1 위치에서 제1 물리적 표면과 접촉한다. 일부 실시예들에서, 제1 물리적 표면 상의 제1 위치는 제1 사용자 인터페이스 객체 상의 제1 위치에 대응하고, 제1 사용자 인터페이스 객체 상의 제1 위치는 제1 사용자 인터페이스 객체와 연관된 제1 동작에 대응한다. 이러한 특정 예에서, 제1 물리적 표면 상의 제1 위치는 가상 키보드(7152) 상의 문자 키 "I"(예컨대, 이 예에서, 키(7154))의 위치에 대응하고, 제1 사용자 인터페이스 객체와 연관된 제1 동작은 텍스트 입력 윈도우(7150)에 텍스트 문자 "I"(예컨대, 이 예에서, 문자(7156))를 입력하는 것이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제어 패널이고, 제1 물리적 표면 상의 제1 위치는 제1 사용자 인터페이스 객체 내의 제1 제어 객체(예컨대, 버튼, 슬라이더, 스위치, 체크 박스 등)의 위치에 대응하며, 제1 사용자 인터페이스 객체와 연관된 제1 동작은, 디바이스 또는 기능을 켜기/끄기, 제어 기능의 값을 조정하는 것, 기능 또는 설정의 파라미터를 선택하는 것 등과 같은, 제1 제어 객체와 연관된 동작이다. 사용자의 손(7202)의 접촉이 제1 물리적 표면 상의 제1 위치에서 검출될 때, 컴퓨터 시스템은 제1 사용자 인터페이스 객체 상의 대응하는 제어 객체를 식별하고, 제1 동작을 수행하며, 선택적으로, 제1 동작이 수행됨을 나타내도록 제1 제어 객체 및/또는 환경(7151)의 외관을 업데이트한다.
일부 실시예들에서, 컴퓨터 시스템은 제1 물리적 표면과 사용자의 손 사이의 접촉의 특성들(예컨대, 형상(예컨대, 원형, 세장형 등), 크기(예컨대, 작음, 큼 등), 지속시간(예컨대, 탭 입력의 경우 임계 지속시간 미만임, 긴 탭 입력의 경우 임계 지속시간보다 김, 터치-홀드 입력의 경우 리프트오프 없이 임계 지속시간 초과 동안 계속됨 등), 이동 방향(예컨대, 상향, 하향, 좌향, 우향, 시계 방향, 반시계 방향 등), 이동 거리(예컨대, 임계 시간 내 임계량 미만의 이동, 임계 시간 내 임계량 초과의 이동, 임계량 초과의 병진, 임계량 초과의 회전 등), 이동 경로(예컨대, 선형 경로, 만곡된 경로, 지그재그 경로, 임계 위치/각도와 교차함, 임계 위치/각도와 교차하지 않음 등), 접촉 세기(예컨대, 임계 세기 초과, 임계 세기 미만 등), 접촉들의 수(예컨대, 단일 접촉, 2개의 접촉들 등), 제1 물리적 표면과 사용자의 손(예컨대, 사용자의 손의 하나 이상의 손가락들) 사이의 반복적인 접촉(예컨대, 더블 탭, 트리플 탭 등)의 반복, 및 상기한 것들 중 2개 이상의 조합들 등)을 결정한다. 접촉의 특성들에 기초하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체 및/또는 제1 사용자 인터페이스 객체 내의 제1 위치와 연관되는 복수의 동작들 중 어느 동작이 수행될 것인지를 결정한다. 일부 실시예들에서, 컴퓨터 시스템은 다양한 미리설정된 기준들에 대해 접촉을 평가하고, 각자의 동작에 대응하는 미리설정된 기준들이 접촉에 의해 충족된다는 결정에 따라, 컴퓨터 시스템은 각자의 동작을 수행한다(예컨대, 접촉의 특성들에 관계없이(예컨대, 경험을 시작함, 기능을 켬/끔 등), 접촉의 특성들에 따라(예컨대, 값을 조정함, 조정가능한 파라미터로 연속적인 동작을 수행함 등) 등).
일부 실시예들에서, 도 7p에 도시된 바와 같이, 사용자의 손이 시점의 위치에 대응하는 위치(예컨대, 디스플레이 생성 컴포넌트의 위치, 사용자의 눈들의 위치, 환경(7151)의 뷰 내에 표시된 물리적 환경 및 사용자의 손의 현재 뷰를 캡처하는 카메라의 위치 등)와 제1 물리적 표면 사이에 있는 물리적 환경 내의 공간 영역 내에 있는 동안, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 보류하거나 중지하여서, 사용자 손의 일부분이 제1 사용자 인터페이스 객체의 제1 부분의 위치에서 3차원 환경(7151)의 뷰에서 보이게 한다. 예를 들어, 도 7p에 도시된 바와 같이, 시점에 대응하는 위치(예컨대, 디스플레이 생성 컴포넌트, 사용자의 눈들, 컴퓨터 시스템의 카메라들 등의 위치)에 대해 사용자의 손(7020) 뒤의 위치들에 대응하는 위치들에 있는 가상 키보드(7152)의 제1 부분(예컨대, 키(7154)의 일부분, 키(7154) 바로 위의 2개의 키들의 일부분들, 및 키(7154) 위에 있는 키들의 상단 열 내의 2개의 키들의 일부분들 등)은 3차원 환경(7151)의 뷰 내에 디스플레이되지 않는 반면, 사용자의 손(7020)의 위치들 뒤에 있지 않은 가상 키보드(7152)의 다른 부분들은 3차원 환경(7151)의 뷰 내에 계속 디스플레이된다. 일부 실시예들에서, 제1 물리적 표면과 접촉하지 않는 사용자의 손의 일부분은 시점의 위치에 대응하는 위치(예컨대, 디스플레이 생성 컴포넌트의 위치, 사용자의 눈들의 위치, 환경(7151)의 뷰 내에 표시된 물리적 환경 및 사용자의 손의 현재 뷰를 캡처하는 카메라의 위치 등)와 제1 물리적 표면 사이에 있는 물리적 환경 내의 공간 영역에 진입할 수 있고, 컴퓨터 시스템은 3차원 환경의 현재 시점에 대응하는 위치로부터 볼 때 사용자의 손의 일부분에 의해 시각적으로 차단될 위치에 대응하는 위치에 있는 제1 사용자 인터페이스 객체의 일부분을 디스플레이하는 것을 보류하거나 중지한다. 예를 들어, 시점의 위치에 대해 사용자의 엄지손가락의 위치 뒤에 있는 가상 키보드(7152) 내의 위치에서의 키의 일부분도 디스플레이되지 않는다. 도 7p에서, 텍스트 입력 윈도우(7150)의 위치는 사용자의 손(7202)의 위치에 대응하는 위치 앞에 있는 위치를 갖고, 따라서 텍스트 입력 윈도우(7150)는 3차원 환경(7151)의 뷰 내에 디스플레이되어, 사용자의 손(7202)의 표현(7202')의 일부분의 뷰를 차단한다(또는 손의 표현(7202')의 일부분의 디스플레이를 대체함).
도 7q는, 3차원 환경(7151)의 뷰를 디스플레이하는 동안, 컴퓨터 시스템이 물리적 환경에서 물리적 환경에서의 사용자의 손의 이동을 검출하는 것을 도시한다. 예를 들어, 이동은, 물리적 객체의 제1 물리적 표면 상의 제1 위치로부터 리프트 오프하여 물리적 객체의 제1 물리적 표면 상의 다른 위치로 이동하는 것을 포함한다. 일부 실시예들에서, 손의 하나 이상의 손가락들(예컨대, 검지 손가락, 엄지 손가락, 검지 손가락 및 중지 손가락 함께 등)과 같은 손(7202)의 일부분이 제1 물리적 표면 상의 제2 위치에서 제1 물리적 표면과 접촉한다. 일부 실시예들에서, 제1 물리적 표면 상의 제2 위치는 제1 사용자 인터페이스 객체 상의 제2 위치에 대응하고, 제1 사용자 인터페이스 객체 상의 제2 위치는 제1 사용자 인터페이스 객체와 연관된 제2 동작에 대응한다. 이러한 특정 예에서, 제1 물리적 표면 상의 제2 위치는 가상 키보드(7152) 상의 문자 키 "p"(예컨대, 이 예에서, 키(7160))의 위치에 대응하고, 제1 사용자 인터페이스 객체와 연관된 제2 동작은 텍스트 입력 윈도우(7150)에 텍스트 문자 "p"(예컨대, 이 예에서, 문자(7158))를 입력하는 것이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제어 패널이고, 제1 물리적 표면 상의 제2 위치는 제1 사용자 인터페이스 객체 내의 제2 제어 객체(예컨대, 버튼, 슬라이더, 스위치, 체크 박스 등)의 위치에 대응하며, 제1 사용자 인터페이스 객체와 연관된 제2 동작은, 디바이스 또는 기능을 켜기/끄기, 제어 기능의 값을 조정하는 것, 기능 또는 설정의 파라미터를 선택하는 것 등과 같은, 제2 제어 객체와 연관된 동작이다. 사용자의 손의 접촉이 제2 위치에서 검출될 때, 컴퓨터 시스템은 제1 사용자 인터페이스 객체 상의 대응하는 제어 객체를 식별하고, 제2 동작을 수행하며, 선택적으로, 제2 동작이 수행됨을 나타내도록 제2 제어 객체 및/또는 환경(7151)의 외관을 업데이트한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 물리적 표면과 사용자의 손 사이의 접촉의 특성들(예컨대, 형상(예컨대, 원형, 세장형 등), 크기(예컨대, 작음, 큼 등), 지속시간(예컨대, 탭 입력의 경우 임계 지속시간 미만임, 긴 탭 입력의 경우 임계 지속시간보다 김, 터치-홀드 입력의 경우 리프트오프 없이 임계 지속시간 초과 동안 계속됨 등), 이동 방향(예컨대, 상향, 하향, 좌향, 우향, 시계 방향, 반시계 방향 등), 이동 거리(예컨대, 임계 시간 내 임계량 미만의 이동, 임계 시간 내 임계량 초과의 이동, 임계량 초과의 병진, 임계량 초과의 회전 등), 이동 경로(예컨대, 선형 경로, 만곡된 경로, 지그재그 경로, 임계 위치/각도와 교차함, 임계 위치/각도와 교차하지 않음 등), 접촉 세기(예컨대, 임계 세기 초과, 임계 세기 미만 등), 접촉들의 수(예컨대, 단일 접촉, 2개의 접촉들 등), 제1 물리적 표면과 사용자의 손(예컨대, 사용자의 손의 하나 이상의 손가락들) 사이의 반복적인 접촉(예컨대, 더블 탭, 트리플 탭 등)의 반복, 및 상기한 것들 중 2개 이상의 조합들 등)을 결정한다. 접촉의 특성들에 기초하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체 및/또는 제1 사용자 인터페이스 객체의 제2 위치와 연관되는 복수의 동작들 중 어느 동작이 수행될 것인지를 결정한다. 일부 실시예들에서, 컴퓨터 시스템은 다양한 미리설정된 기준들에 대해 접촉을 평가하고, 각자의 동작에 대응하는 미리설정된 기준들이 접촉에 의해 충족된다는 결정에 따라, 컴퓨터 시스템은 (예컨대, 접촉의 특성들에 관계없이, 접촉의 특성들에 따라 등) 각자의 동작을 수행한다.
일부 실시예들에서, 도 7q에 도시된 바와 같이, 사용자의 손(7202)이 시점의 위치에 대응하는 위치(예컨대, 디스플레이 생성 컴포넌트의 위치, 사용자의 눈들의 위치, 환경(7151)의 뷰 내에 표시된 물리적 환경 및 사용자의 손의 현재 뷰를 캡처하는 카메라의 위치 등)와 제1 물리적 표면 사이에 있는 물리적 환경 내의 공간 영역 내에 있는 동안, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제4 부분의 디스플레이를 유지하면서, 제1 사용자 인터페이스 객체의 제3 부분을 디스플레이하는 것을 보류하거나 중지하여서, 사용자 손의 일부분이 제1 사용자 인터페이스 객체의 제3 부분의 위치에서 3차원 환경(7151)의 뷰에서 보이게 한다. 예를 들어, 도 7q에 도시된 바와 같이, 시점에 대응하는 위치(예컨대, 디스플레이 생성 컴포넌트, 사용자의 눈들, 컴퓨터 시스템의 카메라들 등의 위치)에 대해 사용자의 손(7202) 뒤의 위치들에 대응하는 위치들에 있는 가상 키보드(7152)의 제3 부분(예컨대, 키(7160)의 일부분, 키(7160) 바로 위의 2개의 키들의 일부분들, 및 키(7160) 위에 있는 키들의 상단 열 내의 2개의 키들의 일부분들 등)은 3차원 환경(7151)의 뷰 내에 디스플레이되지 않는 반면, 사용자의 손(7020)의 위치들 뒤에 있지 않은 가상 키보드(7152)의 다른 부분들은 3차원 환경(7151)의 뷰 내에 계속 디스플레이된다. 도 7q에서, 사용자의 손(7202)의 위치에 대응하는 위치는 더 이상 텍스트 입력 윈도우(7150)의 위치 뒤에 있지 않고, 따라서 3차원 환경(7151)의 뷰 내에 디스플레이된 텍스트 입력 윈도우(7150)는 더 이상 사용자의 손의 표현(7202')의 뷰를 차단하지(또는 손의 표현(7202')의 일부분의 디스플레이를 대체하지) 않는다. 도 7q에 도시된 바와 같이, 손(7202)의 표현(7202')의 존재에 의해 이전에 가려졌던 가상 키보드(7152)의 제1 부분(예컨대, 키(7154), 키(7154) 위의 2개의 키들 등)은 더 이상 가려지지 않고, 3차원 환경(7151)의 뷰 내에 다시 디스플레이된다.
일부 실시예들에서, 제1 사용자 인터페이스 객체는 단일 사용자 인터페이스 객체, 예컨대 단일 버튼, 단일 체크박스, 단일 선택가능 옵션 등이고, 제1 물리적 표면 상의 제1 위치, 제2 위치, 또는 제3 위치에서 검출된 미리설정된 사용자 입력은 컴퓨터 시스템으로 하여금 제1 사용자 인터페이스 객체와 연관된 동일한 동작을 수행하게 하며, 여기에서 제1 위치, 제2 위치, 및 제3 위치는 단일 사용자 인터페이스 객체의 제1 부분, 제2 부분, 및 제3 부분에 각각 대응한다. 일부 실시예들에서, 물리적 환경 내의 사용자의 손의 위치에 따라, 컴퓨터 시스템은, 사용자의 손이 시점의 위치와 물리적 환경 내의 사용자의 손의 위치 사이에 있다는 결정에 기초하여 단일 사용자 인터페이스 객체의 제1 부분, 제2 부분, 또는 제3 부분 중 각자의 하나를 디스플레이하는 것을 선택적으로 중지한다.
일부 실시예들에서, 물리적 환경 내의 상이한 위치들에 대응하는 3차원 환경(7151) 내의 위치들에 디스플레이되는 다수의 사용자 인터페이스 객체들이 있고, 상이한 사용자 인터페이스 객체들의 위치들에 대응하는 위치들과 시점의 위치 사이의 물리적 환경의 공간 부분에서의 사용자의 손의 존재는 컴퓨터 시스템으로 하여금 다수의 사용자 인터페이스 객체들을 분할하게 하고, 3차원 환경(7151)의 현재 시점에 대응하는 위치로부터 볼 때 사용자의 손의 존재에 의해 차단되었을 위치들에 대응하는 위치들을 갖는 다수의 사용자 인터페이스 객체들의 각자의 부분들을 디스플레이하는 것을 선택적으로 중지한다. 일부 실시예들에서, 사용자의 손이 제1 사용자 인터페이스 객체와 상호작용하는 것은, 사용자의 손의 표현이 동시에 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체 둘 모두의 일부분들이 3차원 환경의 뷰로부터 제거되게 하는 경우에도, 3차원 환경의 동일한 뷰에서 제2 사용자 인터페이스 객체를 활성화하지 않는다. 예를 들어, 도 7p 및 도 7q에서, 컴퓨터 시스템이 가상 키보드 상에 다수의 키들의 일부분들을 디스플레이하는 것을 중지하더라도, 사용자의 터치의 위치 또는 사용자의 손의 특정 부분(예컨대, 검지 손가락의 팁, 엄지 손가락의 팁 등)의 위치에 대응하는 위치에서의 키만이 활성화된다.
일부 실시예들에서, 컴퓨터 시스템은, 예컨대 사용자의 손의 형상 및 위치, 및 3차원 환경 내의 가상 광원의 위치에 기초하여, 3차원 환경(7151)의 뷰에서의 사용자의 손(7202)의 표현에 대한 시뮬레이션된 그림자의 형상 및 위치를 결정한다. 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 표면 상의 위치에, 선택적으로 그 위치에서 제1 사용자 인터페이스 객체의 일부분의 외관을 변경하거나 또는 그 위치에서 제1 사용자 인터페이스 객체의 일부분의 디스플레이를 대체함으로써, 시뮬레이션된 그림자를 디스플레이한다.
일부 실시예들에서, (예컨대, 도 7a 내지 도 7q 및 도 8 내지 도 11과 관련하여) 본 명세서에 설명된 다양한 예들 및 실시예들에서 사용되는 입력 제스처들은 선택적으로, 일부 실시예들에 따라 가상 또는 혼합 현실 환경과 상호작용하기 위해 제스처 직전에 또는 제스처 동안 동작들을 수행하도록 사용자의 전체 손 또는 팔을 이들의 자연스러운 위치(들) 및 자세(들)로부터 멀리 이동시키는 주요 이동을 요구함이 없이 다른 손가락(들) 또는 사용자의 손의 일부(들)에 대한 사용자의 손가락(들)의 이동에 의해 수행되는 이산적인 작은 모션 제스처를 포함한다.
일부 실시예들에서, 입력 제스처들은 센서 시스템(예를 들어, 도 1의 센서들(190); 도 3의 이미지 센서들(314))에 의해 캡처된 데이터 또는 신호들을 분석함으로써 검출된다. 일부 실시예들에서, 센서 시스템은 하나 이상의 이미징 센서들(예를 들어, 모션 RGB 카메라들, 적외선 카메라들, 심도 카메라들 등과 같은 하나 이상의 카메라들)을 포함한다. 예를 들어, 하나 이상의 이미징 센서들은 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 터치-감응형 표면으로서의 역할을 하는 터치-스크린 디스플레이, 입체 디스플레이, 패스-스루 부분을 갖는 디스플레이 등))를 포함하는 컴퓨터 시스템(예를 들어, 도 1의 컴퓨터 시스템(101)(예를 들어, 휴대용 전자 디바이스(7100) 또는 HMD))의 컴포넌트들이거나 그에 데이터를 제공한다. 일부 실시예들에서, 하나 이상의 이미징 센서들은 디바이스의 디스플레이 반대편의 디바이스의 면 상에 하나 이상의 후방 카메라들을 포함한다. 일부 실시예들에서, 입력 제스처들은 머리 장착형 시스템의 센서 시스템(예를 들어, 사용자의 좌측 눈에 대한 좌측 이미지 및 사용자의 우측 눈에 대한 우측 이미지를 제공하는 입체 디스플레이를 포함하는 VR 헤드셋)에 의해 검출된다. 예를 들어, 머리 장착형 시스템의 컴포넌트들인 하나 이상의 카메라들이 머리 장착형 시스템의 전방 및/또는 밑면에 장착된다. 일부 실시예들에서, 하나 이상의 이미징 센서들은, 이미징 센서들이 머리 장착형 시스템의 이미지들 및/또는 머리 장착형 시스템의 사용자를 캡처하도록, 머리 장착형 시스템이 사용되는 공간에 위치된다(예를 들어, 룸 내의 다양한 위치들에서 머리 장착형 시스템 주위에 배열됨). 일부 실시예들에서, 입력 제스처들은 헤드 업 디바이스의 센서 시스템(예를 들어, 헤드 업 디스플레이, 그래픽들을 디스플레이하는 능력을 갖는 자동차 앞유리, 그래픽들을 디스플레이하는 능력을 갖는 윈도우, 그래픽들을 디스플레이하는 능력을 갖는 렌즈)에 의해 검출된다. 예를 들어, 하나 이상의 이미징 센서들이 자동차의 내부 표면들에 부착된다. 일부 실시예들에서, 센서 시스템은 하나 이상의 심도 센서들(예를 들어, 센서들의 어레이)을 포함한다. 예를 들어, 하나 이상의 심도 센서들은 하나 이상의 광-기반(예를 들어, 적외선) 센서들 및/또는 하나 이상의 음향-기반(예를 들어, 초음파) 센서들을 포함한다. 일부 실시예들에서, 센서 시스템은 광 방출기(예를 들어, 적외선 방출기) 및/또는 음향 방출기(예를 들어, 초음파 방출기)와 같은 하나 이상의 신호 방출기들을 포함한다. 예를 들어, 광(예를 들어, 미리 결정된 패턴을 갖는 적외선 광 방출기들의 어레이로부터의 광)이 손(예를 들어, 손(7200)) 상에 투영되는 동안, 광의 조명 하의 손의 이미지는 하나 이상의 카메라들에 의해 캡처되고, 캡처된 이미지는 손의 위치 및/또는 구성을 결정하기 위해 분석된다. 터치-감응형 표면들의 신호들 또는 다른 직접 접촉 메커니즘 또는 근접-기반 메커니즘들을 사용하는 것과 대조적으로, 입력 제스처들을 결정하기 위해 손으로 지향된 이미지 센서들로부터의 신호들을 사용하는 것은, 특정 입력 디바이스 또는 입력 영역에 의해 부과된 제약들을 경험하지 않고서, 사용자가 자신의 손으로 입력 제스처들을 제공할 때 큰 모션들을 실행할지 또는 비교적 정지된 것이 남아 있을지 여부를 자유롭게 선택할 수 있게 한다.
일부 실시예들에서, 탭 입력은, 선택적으로, 사용자의 손의 검지 손가락 위에서(예를 들어, 엄지 손가락에 인접한 검지 손가락의 면 위에서) 엄지 손가락의 탭 입력이다. 일부 실시예들에서, 검지 손가락의 면으로부터 엄지 손가락의 리프트 오프를 요구하지 않고 탭 입력이 검출된다. 일부 실시예들에서, 엄지 손가락의 하향 이동 후에 엄지 손가락의 상향 이동이 뒤따르고 엄지 손가락은 임계 시간 미만 동안 검지 손가락의 면과 접촉한다는 결정에 따라 탭 입력이 검출된다. 일부 실시예들에서, 엄지 손가락이 상승된 위치로부터 터치-다운 위치로 이동하고 적어도 제1 임계 시간(예를 들어, 탭 시간 임계치 또는 탭 시간 임계치보다 긴 다른 시간 임계치) 동안 터치-다운 위치에 유지된다는 결정에 따라 탭-홀드 입력이 검출된다. 일부 실시예들에서, 컴퓨터 시스템은 검지 손가락 상의 엄지 손가락에 의한 탭-홀드 입력을 검출하기 위해, 손 전체가 적어도 제1 임계 시간 동안의 위치에서 실질적으로 정지 상태로 유지될 것을 요구한다. 일부 실시예들에서, 터치-홀드 입력은, 손 전체가 실질적으로 정지된 상태로 유지될 것을 요구하지 않으면서 검출된다(예를 들어, 엄지 손가락이 검지 손가락의 면 상에 놓인 동안 손 전체가 이동할 수 있음). 일부 실시예들에서, 탭-홀드-드래그 입력은, 엄지 손가락이 검지 손가락의 면 상에서 터치 다운하고 엄지 손가락이 검지 손가락의 면 상에 놓여 있는 동안에 손이 전체적으로 움직일 때 검출된다.
일부 실시예들에서, 플릭(flick) 제스처는, 선택적으로, 검지 손가락에 걸친(예를 들어, 손바닥 면으로부터 검지 손가락의 뒷면으로의) 엄지 손가락의 이동에 의한 푸시 또는 플릭 입력이다. 일부 실시예들에서, 엄지 손가락의 확장 이동은, 예를 들어, 엄지 손가락에 의한 상향 플릭 입력에서와 같이, 검지 손가락의 면으로부터 멀어지는 상향 이동을 수반한다. 일부 실시예들에서, 검지 손가락은 엄지 손가락의 전방 및 상향 이동 동안 엄지 손가락의 방향과 반대 방향으로 이동한다. 일부 실시예들에서, 엄지 손가락이 확장된 위치로부터 후퇴 위치로 이동함으로써, 역방향 플릭 입력이 수행된다. 일부 실시예들에서, 검지 손가락은 엄지 손가락의 후방 및 하향 이동 동안 엄지 손가락의 방향과 반대 방향으로 이동한다.
일부 실시예들에서, 스와이프 제스처는, 선택적으로, 검지 손가락을 따라(예를 들어, 엄지 손가락에 인접한 검지 손가락의 면을 따라 또는 손바닥의 면 상에서) 엄지 손가락의 이동에 의한 스와이프 입력이다. 일부 실시예들에서, 검지 손가락은 선택적으로 확장된 상태(예를 들어, 실질적으로 일직선) 또는 말려진 상태에 있다. 일부 실시예들에서, 검지 손가락은 스와이프 입력 제스처에서 엄지 손가락의 이동 동안 확장된 상태와 말려진 상태 사이에서 이동한다.
일부 실시예들에서, 다양한 손가락들의 상이한 지골(phalange)들은 상이한 입력들에 대응한다. 다양한 손가락들(예를 들어, 검지 손가락, 중지 손가락, 약지 손가락, 및 선택적으로, 새끼 손가락)의 다양한 지골들에 걸친 엄지 손가락의 탭 입력은 선택적으로 상이한 동작들에 맵핑된다. 유사하게, 일부 실시예들에서, 상이한 푸시 또는 클릭 입력들은 각자의 사용자 인터페이스 접촉에서 상이한 동작들을 트리거하기 위해 상이한 손가락들 및/또는 손가락의 상이한 부분들에 걸쳐 엄지 손가락에 의해 수행될 수 있다. 유사하게, 일부 실시예들에서, 상이한 손가락들을 따라 그리고/또는 상이한 방향들로 (예를 들어, 손가락의 원위 또는 근위 단부를 향해) 엄지 손가락에 의해 수행되는 상이한 스와이프 입력들은 각자의 사용자 인터페이스 상황에서 상이한 동작들을 트리거한다.
일부 실시예들에서, 컴퓨터 시스템은 탭 입력들, 플릭 입력들 및 스와이프 입력들이 엄지 손가락의 이동 유형들에 기초하여 상이한 유형들의 입력들로서 취급되는 것으로 취급한다. 일부 실시예들에서, 컴퓨터 시스템은 엄지 손가락에 의해 탭핑되거나, 터치되거나, 스와이프되는 상이한 손가락 위치들을 갖는 입력들을 주어진 입력 유형(예를 들어, 탭 입력 유형, 플릭 입력 유형, 스와이프 입력 유형 등)의 상이한 서브-입력-유형들(예를 들어, 근위, 중간, 원위 하위 유형들, 또는 검지, 중지, 약지, 또는 새끼 하위 유형들)로 취급한다. 일부 실시예들에서, 움직이는 손가락(예를 들어, 엄지 손가락)에 의해 수행되는 이동의 양, 및/또는 손가락의 이동과 연관된 다른 이동 메트릭들(예를 들어, 속도, 초기 속도, 종료 속도, 지속기간, 방향, 이동 패턴 등)은 손가락 입력에 의해 트리거되는 동작에 정량적으로 영향을 미치는 데 사용된다.
일부 실시예들에서, 컴퓨터 시스템은 엄지 손가락에 의한 이동들의 시퀀스, 예를 들어, 탭-스와이프 입력(예를 들어, 손가락 상의 엄지 손가락의 터치 다운에 이은 손가락의 면을 따른 스와이프), 탭-플릭 입력(예를 들어, 손가락 위에서 엄지 손가락의 터치 다운에 이은 손가락의 손바닥 측으로부터 후방 측으로 손가락에 걸친 플릭), 더블 탭 입력(예를 들어, 대략 동일한 위치에서 손가락의 면 상의 2개의 연속적인 탭들) 등을 조합하는 조합 입력 유형들을 인식한다.
일부 실시예들에서, 제스처 입력들은 엄지 손가락 대신에 검지 손가락에 의해 수행된다(예를 들어, 검지 손가락이 엄지 손가락 상에서 탭 또는 스와이프를 수행하거나, 또는 엄지 손가락과 검지 손가락이 핀치 제스처를 수행하도록 서로를 향해 이동하는 것 등). 일부 실시예들에서, 손목 이동(예를 들어, 수평 방향 또는 수직 방향으로의 손목의 플릭)은 손가락 이동 입력들에 대해 바로 앞서, (예를 들어, 임계 시간 내에서) 바로 후속하여, 또는 동시에 수행되어, 손목 이동에 의한 수정자 입력이 없는 손가락 이동 입력들과 비교하여, 현재 사용자 인터페이스 상황에서 추가적인 동작들, 상이한 동작들 또는 수정된 동작들을 트리거한다. 일부 실시예들에서, 사용자의 손바닥이 사용자의 얼굴을 향하도록 수행된 손가락 입력 제스처들은 사용자의 손바닥이 사용자의 얼굴로부터 멀리 향하게 하여 수행되는 손가락 입력 제스처들과 상이한 유형의 제스처들로서 취급된다. 예를 들어, 사용자의 손바닥이 사용자를 향하여 수행되는 탭 제스처는, 사용자의 손바닥이 사용자의 얼굴로부터 멀리 향하도록 수행된 탭 제스처에 응답하여 수행되는 동작(예를 들어, 동일한 동작)과 비교하여 추가된(또는 감소된) 프라이버시 보호를 갖는 동작을 수행한다.
본 개시내용에 제공된 예들에서 일 유형의 동작을 트리거하기 위해 하나의 유형의 손가락 입력이 사용될 수 있지만, 다른 실시예들에서 동일한 유형의 동작을 트리거하기 위해 다른 유형들의 손가락 입력이 선택적으로 사용된다.
도 7a 내지 도 7q에 관한 추가 설명들은 아래의 도 8 내지 도 11과 관련하여 설명되는 방법들(8000, 9000, 10000, 11000)을 참조하여 아래에서 제공된다.
도 8은 일부 실시예들에 따른, 컴퓨터 생성 콘텐츠가 제시되는 몰입 레벨에 따라 상이한 오디오 출력 모드들을 선택하는 방법(8000)의 흐름도이다.
일부 실시예들에서, 본 방법(8000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(8000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(8000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(8000)은, 제1 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등), 하나 이상의 오디오 출력 디바이스들(예컨대, 이어폰들, 물리적 환경 내에 위치된 스피커들, 제1 디스플레이 생성 컴포넌트와 동일한 하우징 내에 있거나 동일한 지지 구조물에 부착된 스피커들(예컨대, HMD의 내장 스피커들 등)), 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)과 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이 컴포넌트이고, 사용자에게 CGR 경험을 제공한다. 일부 실시예들에서, 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트들, 하나 이상의 오디오 출력 디바이스들, 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트들(예컨대, 헤드업 디스플레이, 터치스크린, 독립형 디스플레이 등), 하나 이상의 출력 디바이스들(예컨대, 이어폰들, 외부 스피커들 등) 및 하나 이상의 입력 디바이스들 중 하나 이상과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트(예컨대, 서버, 스마트 폰 또는 태블릿 디바이스와 같은 모바일 전자 디바이스, 워치, 손목밴드 또는 이어폰들과 같은 웨어러블 디바이스, 데스크톱 컴퓨터, 랩톱 컴퓨터 등)를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트들 및 하나 이상의 오디오 출력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
본 방법(8000)에서, 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 3차원 컴퓨터 생성 환경(예컨대, 도 7a 및 도 7b의 환경(7102), 또는 다른 3차원 환경 등)을 디스플레이한다(예컨대, 3차원 컴퓨터 생성 환경을 디스플레이하는 것은 3차원 가상 환경, 3차원 증강 현실 환경, 물리적 환경의 공간적 특성들에 대응하는 대응 컴퓨터 생성 3차원 모델을 갖는 물리적 환경의 패스 스루 뷰 등을 디스플레이하는 것을 포함함)(8002). 3차원 컴퓨터 생성 환경을 디스플레이하는 동안, 컴퓨터 시스템은 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하며(예컨대, 제1 컴퓨터 생성 콘텐츠에 대응하는 아이콘을 선택 및/또는 활성화하는 사용자 입력을 검출함, 사용자의 액션에 의해 또는 컴퓨터 시스템의 다른 내부 이벤트들에 의해 충족되는 제1 컴퓨터 생성 콘텐츠를 시작하기 위한 트리거 조건을 검출함 등), 여기에서 제1 컴퓨터 생성 콘텐츠는 제1 시각적 콘텐츠(예컨대, 비디오 콘텐츠, 게임 콘텐츠, 애니메이션, 사용자 인터페이스, 영화 등) 및 제1 시각적 콘텐츠에 대응하는 제1 오디오 콘텐츠(예컨대, 사운드 효과들, 사운드 트랙들, 오디오 기록, 영화 사운드 트랙들, 게임 사운드 트랙들 등)를 포함한다(예컨대, 타이밍 데이터가 비디오 콘텐츠의 상이한 부분들을 오디오 데이터의 상이한 부분들에 연관시키는, 비디오 콘텐츠 및 연관된 오디오 데이터(예컨대, 비디오 재생 타임라인 및 오디오 재생 타임라인은 타이밍 데이터에 의해 시간적으로 상관됨))(8004). 예를 들어, 제1 컴퓨터 생성 콘텐츠는 도 7a 및 도 7b의 제1 시각적 콘텐츠(7106)를 포함한다. 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하는 것에 응답하여(8006), 제1 이벤트가 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨(예컨대, 여러 이용가능한 몰입 레벨들 중 중간 몰입 레벨, 2개 이상의 이용가능한 몰입 레벨들 중 최저 몰입 레벨, 2개 이상의 이용가능한 몰입 레벨들 중 더 작은 몰입 레벨 등)로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 제1 몰입 레벨로 제시되는 제1 컴퓨터 생성 콘텐츠는 3차원 컴퓨터 생성 환경의 제1 부분을 점유함(예컨대, 3차원 컴퓨터 생성 환경에 대한 사용자의 시야의 일부분을 점유하는 윈도우에서 비디오 콘텐츠를 재생함; 3차원 컴퓨터 생성 환경이 시점으로부터 미리설정된 임계 각도 초과로 걸쳐 있는 동안, 3차원 컴퓨터 생성 환경의 현재 뷰에 대응하는 시점으로부터 3차원 컴퓨터 생성 환경 내에서 미리설정된 임계 각도 미만으로 걸쳐 있는 시야로 비디오 콘텐츠를 재생함) -, 컴퓨터 시스템은 (예컨대, 선택적으로, 다른 가상 콘텐츠 및/또는 3차원 컴퓨터 생성 환경의 다른 부분들을 점유하는 물리적 환경의 표현과 동시에 등) 3차원 환경의 제1 부분 내에 제1 시각적 콘텐츠를 디스플레이하고, 컴퓨터 시스템은 제1 오디오 출력 모드(예컨대, 스테레오 오디오 모드, 서라운드 사운드 모드 등)(예컨대, 제1 오디오 콘텐츠에 대한 여러 이용가능한 오디오 출력 모드들 중 최소 몰입 오디오 출력 모드, 제1 오디오 콘텐츠에 대한 여러 이용가능한 오디오 출력 모드들 중 중간 몰입 레벨을 갖는 오디오 모드, 제1 오디오 콘텐츠에 대한 여러 이용가능한 오디오 출력 모드들 중 덜 몰입적인 오디오 출력 모드 등)를 사용하여 제1 오디오 콘텐츠를 출력한다(8008). 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하는 것에 응답하여(8006), 제1 이벤트가 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 제2 몰입 레벨로 제시되는 제1 컴퓨터 생성 콘텐츠는 3차원 환경의 제1 부분보다 큰 3차원 컴퓨터 생성 환경의 제2 부분을 점유함(예컨대, 3차원 환경 내의 2차원 윈도우를 점유하는 대신에, 콘텐츠의 디스플레이는 윈도우보다 3차원 공간의 더 큰 스팬을 점유함; 3차원 환경의 일부분에 걸쳐 있는 대신에, 시각적 콘텐츠는 전체 3차원 환경에 걸쳐 있음 등) -, 컴퓨터 시스템은 (예컨대, 선택적으로, 다른 가상 콘텐츠 및/또는 3차원 환경의 다른 부분들을 점유하는 물리적 환경의 표현과 동시에 등) 3차원 환경의 제2 부분 내에 제1 시각적 콘텐츠를 디스플레이하고, 컴퓨터 시스템은 제1 오디오 출력 모드와는 상이한 제2 오디오 출력 모드(예컨대, 서라운드 사운드 모드, 제1 컴퓨터 생성 콘텐츠 내의 가상 음원들의 위치들에 기초한 사운드 정위를 갖는 공간 오디오 모드 등)(예컨대, 제1 오디오 콘텐츠에 대한 여러 이용가능한 오디오 출력 모드들 중 더 몰입적인 오디오 출력 모드, 제1 오디오 콘텐츠에 대한 여러 이용가능한 오디오 출력 모드들 중 최고 몰입 레벨을 갖는 오디오 모드, 제1 오디오 콘텐츠에 대한 여러 이용가능한 오디오 출력 모드들 중 가장 몰입적인 오디오 출력 모드 등)를 사용하여 제1 오디오 콘텐츠를 출력하며, 여기에서 제1 오디오 출력 모드 대신에 제2 오디오 출력 모드를 사용하는 것은 제1 오디오 콘텐츠의 몰입 레벨을 변경한다(예컨대, 사용자 입력을 요구하지 않고서, 자동적으로 증가시킴)(예컨대, 제1 오디오 콘텐츠를 더 또는 덜 몰입적이게, 더 또는 덜 공간적으로 확장적이게, 더 또는 덜 복잡한 공간적 변화들을 갖게, 대응하는 시각적 콘텐츠에 기초하여 더 또는 덜 방향 조정가능하게, 기타 등등하게 함)(8010). 이는 도 7a 및 도 7b에 예시되어 있으며, 여기에서 도 7a는 제1 몰입 레벨을 사용한 컴퓨터 생성 콘텐츠(7106)의 디스플레이를 예시하고, 도 7b는 제2 몰입 레벨을 사용한 컴퓨터 생성 콘텐츠(7106)의 디스플레이를 예시하며, 여기에서 제1 몰입 레벨로 디스플레이되는 컴퓨터 생성 콘텐츠는 제2 몰입 레벨로 디스플레이되는 컴퓨터 생성 콘텐츠보다 더 작은 공간적 범위를 갖고, 컴퓨터 시스템은 컴퓨터 생성 콘텐츠가 디스플레이 생성 컴포넌트에 의해 디스플레이되는 몰입 레벨에 기초하여 컴퓨터 생성 콘텐츠의 오디오 콘텐츠를 출력하기 위한 상이한 오디오 출력 모드들을 선택한다.
일부 실시예들에서, 제1 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것은 물리적 환경 내의 제1 세트의 위치들에 각각 위치된 제1 세트의 음원들(예컨대, HMD의 2개의 측부들 상에 위치된 사운드 출력의 2개의 소스들, 사용자 전방에 위치된 단일 음원 등)을 사용하여 제1 오디오 콘텐츠를 출력하는 것을 포함하고, 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것은 물리적 환경 내의 제2 세트의 위치들에 각각 위치된 제2 세트의 음원들을 사용하여 제1 오디오 콘텐츠를 출력하는 것을 포함하며, 여기에서 제2 세트의 음원들은 제1 세트의 음원들과는 상이하다. 일부 실시예들에서, 제1 세트의 음원들 및 제2 세트의 음원들은 동일한 하우징(예컨대, HMD의 하우징, 동일한 스피커 또는 사운드 바의 하우징 등)으로 둘러싸인다. 일부 실시예들에서, 제1 세트의 음원들 및 제2 세트의 음원들은 각각 상이한 하우징들로 둘러싸인다(예컨대, 제1 세트의 음원들은 HMD 또는 이어폰들로 둘러싸이고, 제2 세트의 음원들은 사용자를 둘러싸는 물리적 환경 내의 다양한 위치들에 배치된 외부 스피커들의 세트로 둘러싸임; 제1 세트의 음원들은 사용자를 둘러싸는 물리적 환경 내에 배치된 한 쌍의 스피커들로 둘러싸이고, 제2 세트의 음원들은 사용자를 둘러싸는 물리적 환경 내에 배치된 3개 이상의 스피커들의 세트로 둘러싸임 등). 일부 실시예들에서, 제1 세트의 음원들 및 제2 세트의 음원들 내의 음원은 물리적 진동의 요소를 지칭하는데, 이는 음파들을 생성하고 그를 진동의 요소의 위치로부터 멀리 전파한다. 일부 실시예들에서, 각자의 음원의 물리적 진동의 특성(예컨대, 파면의 형상, 위상, 진폭, 주파수 등)은 출력 디바이스들에 의해 출력될 오디오 콘텐츠에 따라 컴퓨터 시스템에 의해 제어된다. 일부 실시예들에서, 제1 세트의 음원들 및/또는 제2 세트의 음원들 내의 음원들의 개별 음원들 또는 개별 서브세트들은 동일한 특성들 및 상이한 위치들을 갖는다. 일부 실시예들에서, 제1 세트의 음원들 및/또는 제2 세트의 음원들 내의 음원들의 개별 음원들 또는 개별 서브세트들은 상이한 특성들 및 동일한 위치들을 갖는다. 일부 실시예들에서, 제1 세트의 음원들 및/또는 제2 세트의 음원들 내의 음원들의 개별 음원들 또는 개별 서브세트들은 상이한 특성들 및 상이한 위치들을 갖는다. 일부 실시예들에서, 제1 세트의 음원들 및 제2 세트의 음원들 내의 음원들의 개별 음원들 또는 상이한 서브세트들의 상이한 특성들은 제1 시각적 콘텐츠의 현재 디스플레이된 부분 및 대응하는 오디오 콘텐츠에 기초하여 컴퓨터 시스템에 의해 개별적으로 제어된다. 일부 실시예들에서, 제1 세트의 음원들 내의 음원들은 개별적으로 제어되지 않는다(예컨대, 음원들은 동일한 위상, 동일한 진폭, 동일한 파면 형상 등을 가짐). 일부 실시예들에서, 제2 세트의 음원들 내의 음원들은 제1 시각적 콘텐츠의 현재 디스플레이된 부분 내의 가상 객체들의 액션들과 객체들 사이의 공간적 관계들에 기초하여 개별적으로 제어되어서(예컨대, 상이한 상대 위상들, 상이한 전파 방향들, 상이한 진폭들, 상이한 주파수들 등을 가짐), 물리적 환경 내의 상이한 위치들에서의 결과적인 사운드가 제1 시각적 콘텐츠의 현재 디스플레이된 부분의 변화들(예컨대, 제1 시각적 콘텐츠의 현재 디스플레이된 부분 내의 객체들 사이의 변화하는 공간적 관계들, 제1 시각적 콘텐츠의 현재 디스플레이된 부분 내의 상이한 가상 객체들 또는 가상 객체의 상이한 부분들과의 상이한 사용자 상호작용들, 제1 시각적 콘텐츠의 현재 디스플레이된 부분에서 발생하는 상이한 유형들의 이벤트들 등)에 기초하여 동적으로 조정되게 한다.
물리적 환경 내의 제1 세트의 위치들에 각각 위치된 제1 세트의 음원들을 사용하여 제1 오디오 콘텐츠를 출력하고, 물리적 환경 내의 제2 세트의 위치들에 각각 위치된, 제1 세트의 음원들과는 상이한 제2 세트의 음원들을 사용하여 제2 오디오 콘텐츠를 출력하는 것은, 사용자에게 개선된 오디오 피드백(예컨대, 현재 몰입 레벨에 관한 개선된 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 세트의 음원들은 제1 세트의 음원들, 및 제1 세트의 음원들에 포함되지 않는 하나 이상의 추가 음원들을 포함한다. 일부 실시예들에서, 제1 시각적 콘텐츠가 더 낮은 몰입 레벨로 디스플레이되고/되거나 더 작은 공간적 범위로(예컨대, 윈도우 또는 고정된 프레임 내에) 디스플레이될 때, 컴퓨터 시스템과 연관된 오디오 출력 디바이스(들) 내의 음원들의 더 작은 서브세트(예컨대, 하나 또는 2개의 음원들, 하나 또는 2개의 위치들에 위치된 음원들의 하나 또는 2개의 세트들, 단일 채널을 생성하는 데 사용되는 음원들, 또는 스테레오 사운드들 등)가 제1 오디오 콘텐츠를 출력하기 위해 채용되고; 제1 시각적 콘텐츠가 더 높은 몰입 레벨로 디스플레이되고/되거나 더 큰 공간적 범위로(예컨대, 고정된 윈도우 또는 고정된 프레임 없이, 사용자를 둘러싸는 3차원 공간에 걸쳐서 등) 디스플레이될 때, 컴퓨터 시스템과 연관된 오디오 출력 디바이스(들) 내의 이용가능한 음원들의 더 큰 서브세트 또는 전부(예컨대, 서라운드 사운드를 생성하기 위한 3개 이상의 음원들, 및/또는 공간적으로 위치된 사운드 등)가 제1 오디오 콘텐츠를 출력하기 위해 채용된다. 물리적 환경 내의 제1 세트의 위치들에 각각 위치된 제1 세트의 음원들을 사용하여 제1 오디오 콘텐츠를 출력하고, 물리적 환경 내의 제2 세트의 위치들에 각각 위치된, 제1 세트의 음원들, 및 제1 세트의 음원들에 포함되지 않는 하나 이상의 추가 음원들을 포함하는 제2 세트의 음원들을 사용하여 제2 오디오 콘텐츠를 출력하는 것은, 사용자에게 개선된 오디오 피드백(예컨대, 현재 몰입 레벨에 관한 개선된 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 세트의 위치들은 물리적 환경에서 제1 세트의 위치들보다 더 넓은 영역에 걸쳐 있다. 일부 실시예들에서, 제1 세트의 위치들은 사용자의 좌측 및 우측에, 또는 사용자의 전방에 위치되고; 제2 세트의 위치들은 사용자 주위의 3개 이상의 위치들에(예컨대, 3차원 공간에서 사용자의 전방에, 그의 좌측에, 그의 우측에, 그의 뒤에, 그의 위에, 그의 아래에, 그리고/또는 선택적으로, 그의 전방을 향하는 방향에 대해 다른 각도들로) 위치된다. 물리적 환경 내의 제1 세트의 위치들에 각각 위치된 제1 세트의 음원들을 사용하여 제1 오디오 콘텐츠를 출력하고, 물리적 환경에서 제1 세트의 위치들보다 더 넓은 영역에 걸쳐 있는 물리적 환경 내의 제2 세트의 위치들에 각각 위치된, 제1 세트의 음원들과는 상이한 제2 세트의 음원들을 사용하여 제2 오디오 콘텐츠를 출력하는 것은, 사용자에게 개선된 오디오 피드백(예컨대, 현재 몰입 레벨에 관한 개선된 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것은 제1 오디오 콘텐츠와 제1 시각적 콘텐츠 사이의 미리설정된 대응(예컨대, 오디오 재생 타임라인과 비디오 재생 타임라인 사이의 시간적 대응, 미리설정된 콘텐츠 기반 대응(예컨대, 각자의 객체와 연관된 사운드 효과, 각자의 사용자 인터페이스 이벤트와 연관된 경보 등) 등)에 따라 제1 오디오 콘텐츠를 출력하는 것을 포함하고, 여기에서 미리설정된 대응은 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 가상 객체들의 각자의 공간적 위치들(예컨대, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 가상 객체들의 공간적 위치들은, 선택적으로, 제1 시각적 콘텐츠에 묘사된 환경 내의 가상 객체들의 이동에 따라 그리고/또는 3차원 환경에 의해 묘사된 환경에서의 변경된 시점에 따라 변경됨 등)과 독립적이며, 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것은 제1 오디오 콘텐츠와 제1 시각적 콘텐츠 사이의 미리설정된 대응(예컨대, 오디오 재생 타임라인과 비디오 재생 타임라인 사이의 시간적 대응, 미리설정된 콘텐츠 기반 대응(예컨대, 각자의 객체와 연관된 사운드 효과, 각자의 사용자 인터페이스 이벤트와 연관된 경보 등) 등)에 따라 그리고 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 가상 객체들의 각자의 공간적 위치들에 따라 제1 오디오 콘텐츠를 출력하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 제1 오디오 출력 모드가 제1 오디오 콘텐츠를 출력하기 위해 사용될 때, 오디오 출력 디바이스(들)에 의해 생성되는 사운드는 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 사용자의 시점 사이의 공간적 관계와 독립적이다. 일부 실시예들에서, 제1 오디오 출력 모드가 제1 오디오 콘텐츠를 출력하기 위해 사용될 때, 오디오 출력 디바이스(들)에 의해 생성되는 사운드는 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 가상 객체들 사이의 공간적 관계와 독립적이다. 일부 실시예들에서, 제1 오디오 출력 모드가 제1 오디오 콘텐츠를 출력하기 위해 사용될 때, 오디오 출력 디바이스(들)에 의해 생성되는 사운드는 (예컨대, 제1 시각적 콘텐츠에서의 사운드의 인지된 생성기인 가상 객체가 (예컨대, 사용자 인터페이스에서, 게임에서, 가상 환경에서 등) 사용자에 의해 이동될 때) 사용자 입력들에 의해 야기되는 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 가상 객체들 사이의 공간적 관계의 변화들과 독립적이다. 일부 실시예들에서, 제1 오디오 출력 모드가 제1 오디오 콘텐츠를 출력하기 위해 사용될 때, 오디오 출력 디바이스(들)에 의해 생성되는 사운드는, 컴퓨터 생성 환경에 표시된 가상 콘텐츠에 대한 사용자의 시점 또는 공간적 관계에 관계없이, (예컨대, 사용자가 오디오 출력 디바이스(들)를 포함하는 HMD를 착용하고 있을 때) 사용자의 머리에 헤드 로킹된다. 일부 실시예들에서, 제1 오디오 출력 모드가 제1 오디오 콘텐츠를 출력하기 위해 사용될 때, 오디오 출력 디바이스(들)에 의해 생성되는 사운드는 (예컨대, 사용자가 오디오 출력 디바이스(들)를 포함하는 HMD를 착용하고 있을 때) 사용자의 머리에 헤드 로킹되고, 물리적 환경에서의 사용자의 이동과 독립적이다.
제1 오디오 콘텐츠와 제1 시각적 콘텐츠 사이의 미리설정된 대응에 따라 제1 오디오 콘텐츠를 출력하고 - 미리설정된 대응은 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 가상 객체들의 각자의 공간적 위치들과 독립적임 -, 제1 오디오 콘텐츠와 제1 시각적 콘텐츠 사이의 미리설정된 대응에 따라 그리고 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 가상 객체들의 각자의 공간적 위치들에 따라 제2 오디오 콘텐츠를 출력하는 것은, 사용자에게 개선된 오디오 피드백(예컨대, 현재 몰입 레벨에 관한 개선된 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것은, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 제1 가상 객체가 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 시점과 제1 공간적 관계를 갖는다는 결정에 따라, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 제1 오디오 콘텐츠의 제1 부분을 제1 공간적 관계에 대응하는 오디오 정위로 출력하는 것; 및 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 제1 가상 객체가 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 시점과 제2 공간적 관계를 갖는다는 결정에 따라, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 제1 오디오 콘텐츠의 제1 부분을 제2 공간적 관계에 대응하는 오디오 정위로 출력하는 것을 포함하며, 여기에서 제1 공간적 관계는 제2 공간적 관계와는 상이하고, 제1 공간적 관계에 대응하는 오디오 정위는 제2 공간적 관계에 대응하는 오디오 정위와는 상이하다. 예를 들어, 제1 시각적 콘텐츠가 지저귀는 새를 포함하고, 대응하는 제1 오디오 콘텐츠가 새의 지저귀는 소리를 포함할 때, 제2 오디오 출력 모드에 따라 출력되는 사운드는, 사운드의 음량이 현재 디스플레이된 뷰의 시점에 대한 새의 인지된 거리에 기초하여 변경될 뿐만 아니라, 사운드의 인지된 원점도 현재 디스플레이된 뷰의 시점에 대한 새의 위치에 따라 변경되도록 조정된다. 일부 실시예들에서, 사운드의 인지된 원점은 제1 시각적 콘텐츠의 현재 디스플레이된 뷰의 시점에 대한 제1 시각적 콘텐츠 내의 새의 위치에 따라 제2 오디오 출력 모드에서 오디오 출력을 생성하기 위해 사용되는 음원들의 상대 진폭, 위상 및/또는 다른 특성들을 변경함으로써 조정된다.
일부 실시예들에서, 제1 시각적 콘텐츠는, 선택적으로, 제2 몰입 레벨로 상이한 줌 레벨들 또는 상이한 관찰 관점들로 디스플레이되고(예컨대, 제1 시각적 콘텐츠는 제1 몰입 레벨 및 제2 몰입 레벨 둘 모두로 또는 제2 몰입 레벨만으로 상이한 각도들로부터 볼 수 있는 3차원 콘텐츠임 등), 제2 오디오 출력 모드에서 생성되는 사운드는 제1 시각적 콘텐츠의 현재 시야각 또는 관찰 관점에 따라 조정된다. 예를 들어, 트랙 상에서 주행하는 모델 열차에 수반되는 사운드는, 모델 열차가 사용자로부터 멀리 이동하는 것으로, 사용자의 전방에서 좌측으로 이동하는 것으로, 또는 사용자를 향해 이동하는 것으로 표시되도록 사용자 입력들에 응답하여 트랙이 방향전환될 때 제2 오디오 출력 모드에서 상이하게 출력된다. 일부 실시예들에서, 제2 오디오 출력 모드를 사용하여 오디오 콘텐츠를 출력하는 것은 공간 오디오 출력 모드를 사용하여 오디오 콘텐츠를 출력하는 것을 포함한다.
일부 실시예들에서, 공간 오디오 출력 모드는, 이어버드들 또는 헤드폰들로부터 출력되는 오디오가, 그러한 오디오가 물리적 환경(예컨대, 서라운드 사운드 효과)과 같은 기준 프레임 내의 하나 이상의 위치들(예컨대, 하나 이상의 음원들)로부터 나오고 있는 것처럼 들리도록 허용하는 모드이며, 여기에서 하나 이상의 시뮬레이션된 또는 인지된 음원들의 위치설정은 기준 프레임에 대한 이어버드들 또는 헤드폰들의 이동과 독립적이다. 전형적으로, 하나 이상의 인지된 음원들은, 고정될 때, 기준 프레임에 대해 고정되고, 이동할 때, 기준 프레임에 대해 이동한다. 예를 들어, 기준 프레임이 물리적 환경인 경우, 하나 이상의 인지된 음원들은 물리적 환경 내에 각자의 공간적 위치들을 갖는다. 이어버드들 또는 헤드폰들이 물리적 환경에서 이리저리 이동함에 따라, 이어버드들 또는 헤드폰들로부터 출력되는 오디오는, 오디오가, 그가 물리적 환경 내의 각자의 공간적 위치들에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다. 하나 이상의 인지된 음원들이 물리적 환경에서 공간적 위치들의 시퀀스를 통해 이리저리 이동하는 이동 소스들인 경우, 이어버드들 또는 헤드폰들로부터 출력되는 오디오는, 오디오가, 그가 물리적 환경 내의 공간적 위치들의 시퀀스에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다. 이동 음원들에 대한 그러한 조정은, 또한, 물리적 환경에 대한 이어버드들 또는 헤드폰의 임의의 이동을 고려한다(예컨대, 이어버드들 또는 헤드폰들이 음원과의 일정한 공간적 관계를 유지하기 위해 이동 음원과 유사한 경로를 따라 물리적 환경에 대해 이동하는 경우, 오디오는 사운드가 이어버드들 또는 헤드폰들에 대해 이동하는 것으로 보이지 않도록 출력될 것임). 일부 실시예들에서, 공간 오디오 효과에 대한 기준 프레임은, 선택적으로, 컴퓨터 생성 콘텐츠의 오디오를 출력하는 오디오 출력 디바이스에 대해 이동하는, 사용자에 의해 착용된 디스플레이 생성 컴포넌트 또는 HMD와 같은 전자 디바이스에 고정된다. 예를 들어, 물리적 환경 내의 오디오의 시뮬레이션된 소스들의 위치들은 물리적 환경에서의 디스플레이 생성 컴포넌트의 이동에 대응하여 이동한다. 이러한 특징은, 사용자가 차량 또는 다른 교통 수단, 또는 걷기 등으로 이동하고 있고, 디바이스가 사용자와 함께 이동하고 있으며, 따라서 오디오가 차량에서 디바이스 및 사용자와 함께 이동할 때, 또는 디바이스가 오디오 출력 디바이스(들)에 대해 이동하고 있고, 디바이스 상에서 재생되는 시각적 콘텐츠와 연관되어서, 시뮬레이션된 음원들이 디바이스가 물리적 환경에서 이리저리 이동함에 따라 디바이스의 위치에 대응하는 가상 위치들에 위치되게 하는 상황들에서 유용할 수 있다. 디바이스 따르기 특징부(follow device feature)가 인에이블되지 않을 때, 오디오 출력은 오디오 출력 디바이스의 이동을 따르지 않는다. 예를 들어, 공간 오디오는 (예컨대, 오디오 출력 디바이스가 기준 프레임에 대해 이동함에도 공간 오디오가 오디오 출력 디바이스의 이동에 기초하여 이동되지 않도록) 오디오 출력 디바이스에 고정되지 않은 기준 프레임에 대해 위치되고, 비공간(non-spatial) 스테레오 또는 모노 오디오는 이어버드들의 위치에 대해 위치되고, 디스플레이 생성 컴포넌트가 이동되는 것에 기초하여 이동되지 않는다.
일부 실시예들에서, 공간 오디오 출력 모드의 경우, 오디오 신호 프로세싱은, 사용자(예컨대, 평균 사용자)가 오디오 출력의 사운드를 기준 프레임 내의 하나 이상의 시뮬레이션된 위치들(예컨대, 사용자의 머리 내의 위치로 제한되지 않음)로부터 나오고 있는 것으로 인지하도록 출력을 위한 오디오 신호들을 계산 및 조정하도록 수행된다. 일부 실시예들에서, 오디오 신호들의 오디오 신호 프로세싱은 전자 디바이스에 의해, 하나 이상의 웨어러블 오디오 출력 디바이스들에 의해, 또는 전자 디바이스와 하나 이상의 웨어러블 오디오 출력 디바이스들의 조합에 의해(예컨대, 부분적으로 전자 디바이스에 의해 그리고 부분적으로 하나 이상의 웨어러블 오디오 출력 디바이스들에 의해) 수행된다. 일부 실시예들에서, 비공간 오디오 출력 모드는, 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트가 기준 프레임에 대해(예컨대, 물리적 환경에 대해 또는 디바이스의 디스플레이 또는 투영된 사용자 인터페이스와 같은, 하나 이상의 음원들에 대응하는 디스플레이된 사용자 인터페이스에 대해) 이동됨에 따라(예컨대, 하나 이상의 음원들을 기준 프레임에 대해 실질적으로 고정된 위치에 유지하지 않는 결과를 가져옴) 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트의 오디오가 조정되지 않는 오디오 출력 모드이다. 일부 실시예들에서, 비공간 오디오 모드는 스테레오 오디오 출력 모드(예컨대, 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트를 통해 출력되는 오디오가 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트가 기준 프레임에 대해 이동함에 따라 조정되지 않음, 또는 오디오가 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트와 하나 이상의 각자의 미리정의된 공간적 관계들을 갖는 하나 이상의 위치들로부터 나오고 있는 것처럼 들리도록 오디오가 출력됨, 여기에서 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트와 하나 이상의 위치들 사이의 상대적인 공간적 관계(들)는 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트가 이동함에 따라 유지됨)를 포함한다. 일부 실시예들에서, 비공간 오디오 모드는 모노 오디오 모드(예컨대, 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트를 통해 출력되는 오디오가 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트가 기준 프레임에 대해 이동함에 따라 조정되지 않고, 오디오가 단일 위치로부터 나오고 있는 것처럼 그리고/또는 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트의 제1 웨어러블 오디오 출력 컴포넌트 및 제2 웨어러블 오디오 출력 컴포넌트로부터 출력되는 오디오 사이의 어떠한 차이 없이 들리도록 출력됨)이다. 일부 실시예들에서, 모노 오디오 출력 모드를 사용하여 출력되는 오디오는, 공간 또는 스테레오 오디오 출력 모드들을 사용하여 출력되는 오디오가 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트의 상이한 컴포넌트들(예컨대, 상이한 귀들 내에, 그 상에, 또는 그 위에 착용되는 헤드폰들의 상이한 이어버드들 또는 이어컵들)과 상이한 공간적 관계들을 가질 수 있는 반면, 모노 오디오 출력 모드를 사용하여 출력되는 오디오는 그렇지 않다는 점에서, 공간 또는 스테레오 오디오 출력 모드들을 사용하여 출력되는 오디오와는 상이하다.
제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 제1 가상 객체가 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 시점과 제1 공간적 관계를 갖는다는 결정에 따라, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 제1 오디오 콘텐츠의 제1 부분을 제1 공간적 관계에 대응하는 오디오 정위로 출력하고, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 제1 가상 객체가 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 시점과 제1 공간적 관계와는 상이한 제2 공간적 관계를 갖는다는 결정에 따라, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 제1 오디오 콘텐츠의 제1 부분을 제1 공간적 관계에 대응하는 오디오 정위와는 상이한, 제2 공간적 관계에 대응하는 오디오 정위로 출력하는 것은, 사용자에게 개선된 오디오 피드백(예컨대, 컴퓨터 시스템이 제1 가상 객체가 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 시점과 제1 공간적 관계를 갖는 것으로 결정하였는지 또는 제2 공간적 관계를 갖는 것으로 결정하였는지에 관한 개선된 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것은, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰가 제1 시각적 콘텐츠에 묘사된 3차원 환경에서의 제1 시점에 대응한다는 결정에 따라, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 제1 오디오 콘텐츠의 제1 부분을 제1 시점에 대응하는 오디오 정위로 출력하는 것; 및 제1 시각적 콘텐츠의 현재 디스플레이된 뷰가 제1 시각적 콘텐츠에 묘사된 3차원 환경에서의 제2 시점에 대응한다는 결정에 따라, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 제1 오디오 콘텐츠의 제1 부분을 제2 시점에 대응하는 오디오 정위로 출력하는 것을 포함하며, 여기에서 제1 시점은 제2 시점과는 상이하고, 제1 시점에 대응하는 오디오 정위는 제2 시점에 대응하는 오디오 정위와는 상이하다. 예를 들어, 일부 실시예들에서, 사용자가 물리적 환경에서 이동하고 있어, 제1 시각적 콘텐츠(예컨대, 가상 3차원 게임 세계, 가상 3차원 환경, 사용자의 주변 물리적 환경에 기초한 증강 현실 환경 등)의 현재 디스플레이된 뷰에 대응하는 시점의 변화를 야기함에 따라, 제2 오디오 출력 모드에서 출력되는 사운드는 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응되는 현재 시점에 기초하여 변경된다. 예를 들어, 일부 실시예들에서, 제2 오디오 출력 모드에서 출력되는 사운드의 품질은 사용자가 그의 물리적 환경(예컨대, 공원, 방, 홀 등)을 이리저리 걸을 때 디스플레이 생성 컴포넌트에 의해 디스플레이되는 증강 현실 환경 또는 가상 환경에서 주변 가상 벽들, 바닥들 및/또는 창문들(예컨대, 방의 실제 바닥을 대체하는 가상의, 카펫이 깔린 바닥들 또는 가상 잔디, 방의 실제 벽들 및/또는 창문들을 대체하는 자연 장면 또는 가상 창문 등)의 음향 속성들에 기초하여 변경된다.
제1 시각적 콘텐츠의 현재 디스플레이된 뷰가 제1 시각적 콘텐츠에 묘사된 3차원 환경에서의 제1 시점에 대응한다는 결정에 따라, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 제1 오디오 콘텐츠의 제1 부분을 제1 시점에 대응하는 오디오 정위로 출력하고, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰가 제1 시각적 콘텐츠에 묘사된 3차원 환경에서의, 제1 시점과는 상이한 제2 시점에 대응한다는 결정에 따라, 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 제1 오디오 콘텐츠의 제1 부분을 제1 시점에 대응하는 오디오 정위와는 상이한, 제2 시점에 대응하는 오디오 정위로 출력하는 것은, 사용자에게 개선된 오디오 피드백(예컨대, 컴퓨터 시스템이 제1 가상 객체가 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 시점과 제1 공간적 관계를 갖는 것으로 결정하였는지 또는 제2 공간적 관계를 갖는 것으로 결정하였는지에 관한 개선된 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨(예컨대, 여러 이용가능한 몰입 레벨들 중 중간 몰입 레벨, 2개 이상의 이용가능한 몰입 레벨들 중 최저 몰입 레벨, 2개 이상의 이용가능한 몰입 레벨들 중 더 작은 몰입 레벨 등)로 제시하는 동안, 컴퓨터 시스템은 제1 컴퓨터 생성 콘텐츠를 제2 몰입 레벨(예컨대, 제1 몰입 레벨과 비교하여 더 몰입적인 레벨)로 제시하라는 요청에 대응하는 제2 이벤트(예컨대, 사용자가 HMD로부터 그녀의 손들을 떼는 것, 사용자가 카우치(couch)에 다시 앉는 것, 사용자가 제1 컴퓨터 생성 콘텐츠의 더 몰입적인 재생 모드를 시작하기 위한 제어부를 활성화하는 것, 사용자가 더 몰입적인 모드를 활성화하기 위한 제스처를 제공하는 것 등)를 검출한다. 제1 컴퓨터 생성 콘텐츠를 제2 몰입 레벨로 제시하라는 요청에 대응하는 제2 이벤트를 검출하는 것에 응답하여, 컴퓨터 시스템은 (예컨대, 선택적으로, 제1 시각적 콘텐츠의 지속적인 재생을 유지하면서) 3차원 환경 내에 디스플레이되고 있는 제1 시각적 콘텐츠의 공간적 범위를 확장시키고(예컨대, 각도 범위를 확장시킴, 3차원 환경의 볼 수 있는 부분을 확장시킴, 평평한 2차원 표현으로부터 환경의 3차원 표현으로 스위칭함 등)(예컨대, 제1 시각적 콘텐츠가 제1 몰입 레벨로 디스플레이되었을 때 이전에 디스플레이되지 않았던 3차원 환경의 추가 부분들을 드러냄, 제1 컴퓨터 생성 콘텐츠 내의 가상 객체들의 2차원 뷰로부터 3차원 뷰로 스위칭함 등), 컴퓨터 시스템은 (예컨대, 선택적으로, 제1 오디오 콘텐츠의 지속적인 재생을 유지하면서) 제1 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것으로부터 제2 오디오 출력 모드로 스위칭한다.
제1 컴퓨터 생성 콘텐츠를 제2 몰입 레벨로 제시하라는 요청에 대응하는 제2 이벤트를 검출하는 것에 응답하여, 3차원 환경 내에 디스플레이되고 있는 제1 시각적 콘텐츠의 공간적 범위를 확장시키고, 제1 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것으로부터 제2 오디오 출력 모드로 스위칭하는 것은, 사용자에게 개선된 시각적 및 오디오 피드백(예컨대, 컴퓨터 시스템이 제1 컴퓨터 생성 콘텐츠를 제2 몰입 레벨로 제시하라는 요청에 대응하는 제2 이벤트를 검출하였다는 개선된 시각적 및 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 컴퓨터 생성 콘텐츠를 제2 몰입 레벨(예컨대, 여러 이용가능한 몰입 레벨들 중 중간 몰입 레벨, 2개 이상의 이용가능한 몰입 레벨들 중 최고 몰입 레벨, 2개 이상의 이용가능한 몰입 레벨들 중 더 큰 몰입 레벨 등)로 제시하고, 컴퓨터 시스템은 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨(예컨대, 덜 몰입적인 모드)로 제시하라는 요청에 대응하는 제3 이벤트(예컨대, 사용자가 일어서고/일어서거나 HMD 상에 그녀의 손들을 얹는 것, 사용자가 콘텐츠를 일시정지시키는 것, 사용자가 제1 컴퓨터 생성 콘텐츠의 덜 몰입적인 재생 모드를 시작하기 위한 제어부를 활성화하는 것, 사용자가 덜 몰입적인 모드를 활성화하기 위한 제스처를 제공하는 것 등)를 검출한다. 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 요청에 대응하는 제3 이벤트를 검출하는 것에 응답하여, 컴퓨터 시스템은 (예컨대, 선택적으로, 제1 시각적 콘텐츠의 지속적인 재생을 유지하면서) 3차원 환경 내에 디스플레이되고 있는 제1 시각적 콘텐츠의 공간적 범위를 감소시키고(예컨대, 각도 범위를 감소시킴, 3차원 환경의 볼 수 있는 부분을 감소시킴, 환경의 3차원 표현으로부터 평평한 2차원 표현으로 스위칭함 등)(예컨대, 제1 시각적 콘텐츠가 제2 몰입 레벨로 디스플레이되었을 때 이전에 디스플레이되었던 3차원 환경의 부분들을 숨김, 제1 컴퓨터 생성 콘텐츠 내의 가상 객체들의 3차원 뷰로부터 2차원 뷰로 스위칭함 등), 컴퓨터 시스템은 (예컨대, 선택적으로, 제1 오디오 콘텐츠의 지속적인 재생을 유지하면서) 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것으로부터 제1 오디오 출력 모드로 스위칭한다. 일부 실시예들에서, 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것으로부터 제1 오디오 출력 모드로 스위칭하는 것은 오디오 콘텐츠를 공간 오디오 출력 모드로 출력하는 것으로부터 스테레오 오디오 출력 모드를 출력하는 것으로 스위칭하는 것을 포함한다. 일부 실시예들에서, 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것으로부터 제1 오디오 출력 모드로 스위칭하는 것은 오디오 콘텐츠를 스테레오 오디오 출력 모드로 출력하는 것으로부터 공간 오디오 출력 모드를 출력하는 것으로 스위칭하는 것을 포함한다.
제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 요청에 대응하는 제3 이벤트를 검출하는 것에 응답하여, 3차원 환경 내에 디스플레이되고 있는 제1 시각적 콘텐츠의 공간적 범위를 감소시키고, 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것으로부터 제1 오디오 출력 모드로 스위칭하는 것은, 사용자에게 개선된 시각적 및 오디오 피드백(예컨대, 컴퓨터 시스템이 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 요청에 대응하는 제3 이벤트를 검출하였다는 개선된 시각적 및 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 콘텐츠는 가상 환경을 묘사한다. 일부 실시예들에서, 가상 환경은 가상 게임 환경이다. 일부 실시예들에서, 가상 환경은, 컴퓨터 생성 경험들을 개시하기 위한 애플리케이션 아이콘들 및 컴퓨터 시스템의 디바이스 설정들을 제어하기 위한 디바이스 제어부들을 포함하는 가상 데스크톱 또는 커맨드 센터 환경이다. 일부 실시예들에서, 가상 환경은 영화 또는 비디오이다. 일부 실시예들에서, 가상 환경은 다양한 기준들을 충족시키는 사용자 입력들에 응답하여 수행되는 상이한 애플리케이션 동작들에 대응하는 사용자 인터페이스 객체들을 포함하는 애플리케이션 사용자 인터페이스이다. 가상 환경을 묘사하는 제1 시각적 콘텐츠를 디스플레이하는 것은 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 컴퓨터 생성 콘텐츠를 제시하고 있다는 개선된 시각적 피드백, 컴퓨터 생성 콘텐츠에 대한 몰입 레벨에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 콘텐츠는 디스플레이 생성 컴포넌트를 통해 제1 시각적 콘텐츠와 동시에 디스플레이되는 물리적 환경 내의 물리적 위치들에 대응하는 3차원 환경 내의 각자의 공간적 위치들을 갖는 하나 이상의 가상 객체들을 묘사한다. 일부 실시예들에서, 제1 컴퓨터 생성 환경은, 물리적 환경의 표현(예컨대, 물리적 환경의 카메라 뷰, 물리적 환경에 대응하는 포인트 클라우드 등)의 각자의 부분들의 디스플레이를 오버레이하거나 대체하여 디스플레이되는 하나 이상의 가상 객체들을 포함한다. 일부 실시예들에서, 제1 컴퓨터 생성 환경은 제1 디스플레이 생성 컴포넌트의 투명 부분을 통한 물리적 환경의 각자의 부분들의 뷰를 차단하는 하나 이상의 가상 객체들을 포함한다. 일부 실시예들에서, 제1 시각적 콘텐츠는, 제1 몰입 레벨로 디스플레이될 때, 물리적 환경 내의 물리적 표면(예컨대, 가상 콘텐츠가 벽, 실제 창문, 테이블 상판 등을 오버레이함)에 대응하거나 공중에 떠 있는 위치에서 3차원 컴퓨터 생성 환경 내에 위치되는 프레임 또는 디스플레이 영역에 디스플레이되고; 제2 몰입 레벨로 디스플레이될 때, 물리적 환경 내의 다수의 물리적 표면들(예컨대, 가상 콘텐츠가 다수의 벽들, 창문들 등을 오버레이함)에 대응하거나 사용자의 물리적 환경 내의 3차원 공간을 점유하는 위치들에서 3차원 컴퓨터 생성 환경 내에 디스플레이된다.
디스플레이 생성 컴포넌트를 통해 제1 시각적 콘텐츠와 동시에 디스플레이되는 물리적 환경 내의 물리적 위치들에 대응하는 3차원 환경 내의 각자의 공간적 위치들을 갖는 하나 이상의 가상 객체들을 묘사하는 제1 시각적 콘텐츠를 디스플레이하는 것은 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 컴퓨터 생성 콘텐츠를 제시하고 있다는 개선된 시각적 피드백, 컴퓨터 생성 콘텐츠에 대한 몰입 레벨에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 3차원 환경의 제1 부분 내에 제1 시각적 콘텐츠를 디스플레이하는 것은 3차원 환경의 제1 부분 내의 경계지어진 디스플레이 영역(예컨대, 윈도우, 프레임, 경계선들을 갖는 미리설정된 콘텐츠 디스플레이 영역, 단일 벽 또는 책상 표면에 대응하는 영역 등) 내에 제1 시각적 콘텐츠를 디스플레이하는 것을 포함하고, 제1 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것은 제1 오디오 콘텐츠를 (예컨대, 좌측 사운드 채널 및 우측 사운드 채널을 갖는, 헤드 로킹된 사운드를 갖는 등) 스테레오 오디오로서 출력하는 것을 포함한다. 3차원 환경의 제1 부분 내의 경계지어진 디스플레이 영역 내에 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 콘텐츠를 스테레오 오디오로서 출력하는 것은, 사용자에게 개선된 시각적 및 오디오 피드백(예컨대, 컴퓨터 시스템이 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하고 있다는 개선된 시각적 및 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 3차원 환경의 제2 부분 내에 제1 시각적 콘텐츠를 디스플레이하는 것은 3차원 환경의 제2 부분 내의 경계지어진 디스플레이 영역을 사용하지 않고서 3차원 환경의 제2 부분 내에 제1 시각적 콘텐츠를 디스플레이하는 것을 포함하고(예컨대, 가상 콘텐츠가 3차원 공간을 점유함, 다수의 물리적 표면들(예컨대, 다수의 벽들 및 창문들 등)에 대응하는 표면들을 점유함), 제2 오디오 출력 모드를 사용하여 제1 오디오 콘텐츠를 출력하는 것은 제1 오디오 콘텐츠를 공간 오디오(예컨대, 2개 초과의 방향들로부터 나오는 사운드, 디스플레이되고 있는 가상 콘텐츠에 기초한 다양한 공간 구역성(spatial locality)을 갖는 사운드, 물리적 환경에서의 사용자의 물리적 위치 및/또는 이동에 기초한 다양한 공간 구역성을 갖는 사운드, 현재 디스플레이된 가상 콘텐츠의 양 및/또는 유형들에 기초한 상이한 음향들에 대응하는 사운드 등)로서 출력하는 것을 포함한다. 일부 실시예들에서, 제2 오디오 출력 모드를 사용하여 오디오 콘텐츠를 출력하는 것은 공간 오디오 출력 모드를 사용하여 오디오 콘텐츠를 출력하는 것을 포함한다. 일부 실시예들에서, 공간 오디오 출력 모드는, 이어버드들 또는 헤드폰들로부터 출력되는 오디오가, 그러한 오디오가 물리적 환경(예컨대, 서라운드 사운드 효과)과 같은 기준 프레임 내의 하나 이상의 위치들(예컨대, 하나 이상의 음원들)로부터 나오고 있는 것처럼 들리도록 허용하는 모드이며, 여기에서 하나 이상의 시뮬레이션된 또는 인지된 음원들의 위치설정은 기준 프레임에 대한 이어버드들 또는 헤드폰들의 이동과 독립적이다. 전형적으로, 하나 이상의 인지된 음원들은, 고정될 때, 기준 프레임에 대해 고정되고, 이동할 때, 기준 프레임에 대해 이동한다. 예를 들어, 기준 프레임이 물리적 환경인 경우, 하나 이상의 인지된 음원들은 물리적 환경 내에 각자의 공간적 위치들을 갖는다. 이어버드들 또는 헤드폰들이 물리적 환경에서 이리저리 이동함에 따라, 이어버드들 또는 헤드폰들로부터 출력되는 오디오는, 오디오가, 그가 물리적 환경 내의 각자의 공간적 위치들에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다. 하나 이상의 인지된 음원들이 물리적 환경에서 공간적 위치들의 시퀀스를 통해 이리저리 이동하는 이동 소스들인 경우, 이어버드들 또는 헤드폰들로부터 출력되는 오디오는, 오디오가, 그가 물리적 환경 내의 공간적 위치들의 시퀀스에서 하나 이상의 인지된 음원들로부터 나오고 있는 것처럼 계속 들리도록 조정된다. 이동 음원들에 대한 그러한 조정은, 또한, 물리적 환경에 대한 이어버드들 또는 헤드폰의 임의의 이동을 고려한다(예컨대, 이어버드들 또는 헤드폰들이 음원과의 일정한 공간적 관계를 유지하기 위해 이동 음원과 유사한 경로를 따라 물리적 환경에 대해 이동하는 경우, 오디오는 사운드가 이어버드들 또는 헤드폰들에 대해 이동하는 것으로 보이지 않도록 출력될 것임).
일부 실시예들에서, 공간 오디오 효과에 대한 기준 프레임은 오디오 출력 디바이스를 통해 오디오를 출력하고 있는 전자 디바이스에 고정된다(예컨대, 사운드는 디바이스를 따름). 예를 들어, 물리적 환경 내의 오디오의 시뮬레이션된 소스들의 위치들은 물리적 환경에서의 디바이스의 이동에 대응하여 이동한다. 이러한 특징은, 사용자가 차량 또는 다른 교통 수단, 또는 걷기 등으로 이동하고 있고, 디바이스가 사용자와 함께 이동하고 있으며, 따라서 오디오가 차량에서 디바이스 및 사용자와 함께 이동할 때, 또는 디바이스가 오디오 출력 디바이스(들)에 대해 이동하고 있고, 디바이스 상에서 재생되는 시각적 콘텐츠와 연관되어서, 시뮬레이션된 음원들이 디바이스가 물리적 환경에서 이리저리 이동함에 따라 디바이스의 위치에 대응하는 가상 위치들에 위치되게 하는 상황들에서 유용할 수 있다. 디바이스 따르기 특징부가 인에이블되지 않을 때, 오디오 출력은 디바이스의 이동을 따르지 않는다. 예를 들어, 공간 오디오는 (예컨대, 디바이스가 기준 프레임에 대해 이동함에도 공간 오디오가 디바이스의 이동에 기초하여 이동되지 않도록) 디바이스에 고정되지 않은 기준 프레임에 대해 위치되고, 비공간 스테레오 또는 모노 오디오는 이어버드들의 위치에 대해 위치되고, 디바이스가 이동되는 것에 기초하여 이동되지 않는다.
일부 실시예들에서, 공간 오디오 출력 모드의 경우, 오디오 신호 프로세싱은, 사용자(예컨대, 평균 사용자)가 오디오 출력의 사운드를 기준 프레임 내의 하나 이상의 시뮬레이션된 위치들(예컨대, 사용자의 머리 내의 위치로 제한되지 않음)로부터 나오고 있는 것으로 인지하도록 출력을 위한 오디오 신호들을 계산 및 조정하도록 수행된다. 일부 실시예들에서, 오디오 신호들의 오디오 신호 프로세싱은 전자 디바이스에 의해, 하나 이상의 웨어러블 오디오 출력 디바이스들에 의해, 또는 전자 디바이스와 하나 이상의 웨어러블 오디오 출력 디바이스들의 조합에 의해(예컨대, 부분적으로 전자 디바이스에 의해 그리고 부분적으로 하나 이상의 웨어러블 오디오 출력 디바이스들에 의해) 수행된다.
일부 실시예들에서, 비공간 오디오 출력 모드는, 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트가 기준 프레임에 대해(예컨대, 물리적 환경에 대해 또는 디바이스의 디스플레이 또는 투영된 사용자 인터페이스와 같은, 하나 이상의 음원들에 대응하는 디스플레이된 사용자 인터페이스에 대해) 이동됨에 따라(예컨대, 하나 이상의 음원들을 기준 프레임에 대해 실질적으로 고정된 위치에 유지하지 않는 결과를 가져옴) 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트의 오디오가 조정되지 않는 오디오 출력 모드이다. 일부 실시예들에서, 비공간 오디오 모드는 스테레오 오디오 출력 모드(예컨대, 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트를 통해 출력되는 오디오가 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트가 기준 프레임에 대해 이동함에 따라 조정되지 않음, 또는 오디오가 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트와 하나 이상의 각자의 미리정의된 공간적 관계들을 갖는 하나 이상의 위치들로부터 나오고 있는 것처럼 들리도록 오디오가 출력됨, 여기에서 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트와 하나 이상의 위치들 사이의 상대적인 공간적 관계(들)는 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트가 이동함에 따라 유지됨)를 포함한다. 일부 실시예들에서, 비공간 오디오 모드는 모노 오디오 모드(예컨대, 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트를 통해 출력되는 오디오가 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트가 기준 프레임에 대해 이동함에 따라 조정되지 않고, 오디오가 단일 위치로부터 나오고 있는 것처럼 그리고/또는 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트의 제1 웨어러블 오디오 출력 컴포넌트 및 제2 웨어러블 오디오 출력 컴포넌트로부터 출력되는 오디오 사이의 어떠한 차이 없이 들리도록 출력됨)이다. 일부 실시예들에서, 모노 오디오 출력 모드를 사용하여 출력되는 오디오는, 공간 또는 스테레오 오디오 출력 모드들을 사용하여 출력되는 오디오가 하나 이상의 웨어러블 오디오 출력 디바이스들의 세트의 상이한 컴포넌트들(예컨대, 상이한 귀들 내에, 그 상에, 또는 그 위에 착용되는 헤드폰들의 상이한 이어버드들 또는 이어컵들)과 상이한 공간적 관계들을 가질 수 있는 반면, 모노 오디오 출력 모드를 사용하여 출력되는 오디오는 그렇지 않다는 점에서, 공간 또는 스테레오 오디오 출력 모드들을 사용하여 출력되는 오디오와는 상이하다.
3차원 환경의 제2 부분 내의 경계지어진 디스플레이 영역을 사용하지 않고서 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 콘텐츠를 공간 오디오로서 출력하는 것은, 사용자에게 개선된 시각적 및 오디오 피드백(예컨대, 컴퓨터 시스템이 제1 컴퓨터 생성 콘텐츠를 제2 몰입 레벨로 제시하고 있다는 개선된 시각적 및 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨 및 제2 몰입 레벨 중 하나로 제시하는 동안, 컴퓨터 시스템은 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨 및 제2 몰입 레벨 중 상이한 하나로 제시하라는 요청에 대응하는 제4 이벤트를 검출한다. 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨 및 제2 몰입 레벨 중 상이한 하나로 제시하라는 요청에 대응하는 제4 이벤트를 검출하는 것에 응답하여, 컴퓨터 시스템은 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경의 표현을 가리는(예컨대, 그를 오버레이함, 그의 디스플레이를 대체함, 그의 뷰를 차단함 등) 가상 콘텐츠의 양을 변경하는(예컨대, 증가시킴, 감소시킴 등) 애니메이션화된 전이를 디스플레이하고(예컨대, 몰입 레벨을 증가시킬 때 물리적 환경 내의 벽들 및/또는 창문들이 가상 콘텐츠로 점진적으로 대체되는 것(예컨대, 가상 풍경이 벽들 및 창문들의 표면을 따라 펼쳐짐 등)을 보여주는 애니메이션화된 전이를 디스플레이함; 몰입 레벨을 감소시킬 때 물리적 환경 내의 벽들 및/또는 창문들이 콘텐츠가 사라질 때(예컨대, 가상 풍경이 벽들 및 창문들의 표면을 따라 축소되거나 그 상에서 희미해짐 등) 점진적으로 드러나는 것을 보여주는 애니메이션화된 전이를 디스플레이함 등), 애니메이션화된 전이를 디스플레이하는 것과 함께(예컨대, 그와 동시에, 그의 임계 시간 윈도우 내에 등), 컴퓨터 시스템은 제1 오디오 출력 모드 및 제2 오디오 출력 모드 중 하나를 사용하여 제1 오디오 콘텐츠를 재생하는 것으로부터 제1 오디오 출력 모드 및 제2 오디오 출력 모드 중 상이한 하나를 사용하여 오디오 콘텐츠를 재생하는 것으로 스위칭한다(예컨대, 몰입 레벨을 증가시킬 때 제1 오디오 출력 모드로부터 제2 오디오 출력 모드로 스위칭함; 몰입 레벨을 감소시킬 때 제2 오디오 출력 모드로부터 제1 오디오 출력 모드로 스위칭함 등).
제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨 및 제2 몰입 레벨 중 상이한 하나로 제시하라는 요청에 대응하는 제4 이벤트를 검출하는 것에 응답하여, 제1 오디오 출력 모드 및 제2 오디오 출력 모드 중 하나를 사용하여 제1 오디오 콘텐츠를 재생하는 것으로부터 제1 오디오 출력 모드 및 제2 오디오 출력 모드 중 상이한 하나를 사용하여 오디오 콘텐츠를 재생하는 것으로 스위칭하는 것과 함께, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경의 표현을 가리는 가상 콘텐츠의 양을 변경하는 애니메이션화된 전이를 디스플레이하는 것은, 사용자에게 개선된 시각적 및 오디오 피드백(예컨대, 컴퓨터 시스템이 제1 몰입 레벨로부터 제2 몰입 레벨로 또는 그 반대로 변화하고 있다는 개선된 시각적 및 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 8에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 부가적으로, 본 명세서에 설명된 다른 방법들(예를 들어, 방법들(9000, 10000, 11000))에 관해 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 8에 관해 위에서 설명된 방법(8000)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(8000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 오디오 출력 모드들, 기준 프레임, 시점, 물리적 환경, 물리적 환경의 표현, 3차원 환경의 뷰들, 몰입 레벨들, 시각적 효과, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(9000, 10000, 11000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 오디오 출력 모드들, 기준 프레임, 시점, 물리적 환경, 물리적 환경의 표현, 3차원 환경의 뷰들, 몰입 레벨들, 시각적 효과, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 9는 일부 실시예들에 따른, 유의한 물리적 객체가 디스플레이 생성 컴포넌트 또는 사용자의 위치에 접근할 때 가상 콘텐츠의 일부분의 외관을 변경하는 방법(9000)의 흐름도이다.
일부 실시예들에서, 본 방법(9000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(9000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(9000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(9000)은 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등)와 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 오디오 출력 디바이스들(예컨대, 이어폰들, 물리적 환경 내에 위치된 스피커들, 디스플레이 생성 컴포넌트와 동일한 하우징 내에 있거나 동일한 지지 구조물에 부착된 스피커들(예컨대, HMD의 내장 스피커들 등)), 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)과 추가로 통신한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이 컴포넌트이고, 사용자에게 CGR 경험을 제공한다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트들, 하나 이상의 오디오 출력 디바이스들, 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트들(예컨대, 헤드업 디스플레이, 터치스크린, 독립형 디스플레이 등), 하나 이상의 출력 디바이스들(예컨대, 이어폰들, 외부 스피커들 등) 및 하나 이상의 입력 디바이스들 중 하나 이상과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트(예컨대, 서버, 스마트 폰 또는 태블릿 디바이스와 같은 모바일 전자 디바이스, 워치, 손목밴드 또는 이어폰들과 같은 웨어러블 디바이스, 데스크톱 컴퓨터, 랩톱 컴퓨터 등)를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트들 및 하나 이상의 오디오 출력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
본 방법(9000)에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경(예컨대, 도 7d의 환경(7126), 다른 컴퓨터 생성 환경 등)의 뷰를 디스플레이한다(9002). 일부 실시예들에서, 컴퓨터 생성 환경의 뷰는 3차원 가상 환경, 3차원 영화, 가상 사무실, 가상 데스크톱 등, 또는 디스플레이 생성 컴포넌트(및/또는 사용자)를 둘러싸는 물리적 환경의 표현과 동시에 디스플레이되는 가상 콘텐츠를 포함하는 증강 현실 환경 등이다. 컴퓨터 생성 환경을 디스플레이하는 동안 그리고 컴퓨터 생성 환경이, 사용자(예컨대, 사용자가 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠를 볼 수 있게 하는 디스플레이 생성 컴포넌트와 공간적 관계를 갖는 사용자)가 위치되는 물리적 환경에 존재하는 제1 물리적 객체(예컨대, 도 7c 내지 도 7h의 물리적 물체(7122), 도 7c의 물리적 객체(7120), 다른 물리적 객체 등)(예컨대, 애완동물, 다른 사람, 의자, 테이블 등)의 제1 부분의 시각적 표현을 포함하지 않는 동안, 컴퓨터 시스템은 물리적 환경에서의 제1 물리적 객체의 제1 이동(예컨대, 사용자를 향한 다른 사람의 이동, 사용자를 향한 애완동물의 이동, 사용자를 향한 구르는 공의 이동, 바람에 날리는 커튼의 이동 등)을 검출한다(9004). 물리적 환경에서의 제1 물리적 객체의 제1 이동(예컨대, 도 7c, 도 7e 및 도 7g에 도시된, 물리적 객체(7120)의 이동, 물리적 객체(7122)의 이동 등)을 검출하는 것에 응답하여(9006), 그리고 사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에(예컨대, 도 7c, 도 7e 및 도 7g의 공간 영역(7124) 내에, 사용자의 특성 위치의 임계 거리 내에 등) 있고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는(예컨대, 도 7c 내지 도 7h의 예에서, 물리적 객체(7122)가 미리설정된 기준들을 충족시킴) 결정에 따라 - 미리설정된 기준들은 사용자로부터의 제1 물리적 객체의 거리 이외의 제1 물리적 객체의 미리설정된 특성(예컨대, 중요성, 아이덴티티, 이동 속도, 미리설정된 액션의 존재, 이동 패턴, 물리적 객체의 유형(예컨대, 사람 및 애완동물 대 무생물), 제1 물리적 객체 상에서의 식별자 객체의 존재 등)과 관련된 요건을 포함함 -, 컴퓨터 시스템은, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하며, 여기에서 제1 물리적 객체의 제1 부분(예컨대, 물리적 객체(7122)의 머리 부분) 및 물리적 객체의 제2 부분(예컨대, 물리적 객체(7122)의 몸 부분) 둘 모두는, 컴퓨터 생성 환경에 대한 사용자의 시야에 기초하여 사용자에게 잠재적으로 보이는 제1 물리적 객체의 범위의 일부이다(예컨대, 둘 모두, 디스플레이 생성 컴포넌트(예컨대, HMD, 헤드업 디스플레이 등)가 존재하지 않는다면 사용자의 시야에 진입하였을 제1 물리적 객체의 제1 부분 및 제2 부분)(9008). 일부 실시예들에서, 제1 물리적 객체는, 제1 물리적 객체가 이전에 사용자에 의해 중요한 것으로 마킹되고/되거나, 제1 물리적 객체가 임계 속도 초과로 사용자를 향해 이동하고 있고/있거나, 제1 물리적 객체가 무생물 또는 동물과는 대조적으로 사람이고/이거나, 제1 물리적 객체가 사용자에게 접근하고 있으면서 말하고 있는 사람이고/이거나, 제1 물리적 객체가 무생물 또는 다른 유형들의 동물 또는 곤충들과는 대조적으로 사람 또는 애완동물이고/이거나, 제1 물리적 객체가 미리설정된 식별자 객체(예컨대, 무선 전송된 ID를 갖는 칼라, RFID 태그, 색상 코딩된 태그 등)를 착용하고 있고/있거나 등이기 때문에, 미리설정된 기준들을 충족시킨다. 일부 실시예들에서, 제1 물리적 객체의 제1 부분과 제1 물리적 객체의 제2 부분 사이의 공간적 관계가, 컴퓨터 생성 환경 내의 그들의 대응하는 위치들이, 둘 모두, 컴퓨터 생성 환경의 사용자의 시야에 기초하여 사용자에게 보이고, 제1 물리적 객체의 제2 부분에 대응하는 위치가 사용자의 관찰 관점으로부터 제1 물리적 객체의 제1 부분에 대응하는 위치에 의해 차단되지 않도록 하는 것일 때, 컴퓨터 시스템은, 제1 물리적 객체의 제1 부분만이 사용자의 임계 거리 내에 있고 제1 물리적 객체의 제2 부분이 사용자의 임계 거리 내에 있지 않은 경우, 제1 물리적 객체의 제1 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관만을 수정하지만, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 수정하지 않는다. 물리적 환경에서의 제1 물리적 객체의 제1 이동을 검출하는 것에 응답하여, 그리고 사용자가 사용자를 둘러싸는 물리적 환경에 존재하는 제1 물리적 객체의 임계 거리 내에 있고, 제1 물리적 객체가 미리설정된 기준들을 충족시키지 않는다는(예컨대, 도 7c 내지 도 7g에 도시된 예에서 물리적 객체(7120)가 미리설정된 기준들을 충족시키지 않음) 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것을 보류한다(그리고 사용자의 임계 거리 내에 있고, 물리적 환경에 대한 사용자의 뷰를 차단하는 디스플레이 생성 컴포넌트가 존재하지 않는다면 사용자에게 잠재적으로 보이는 제1 물리적 객체의 제1 부분의 존재로 인해 가상 콘텐츠의 외관을 변경하지 않고서 가상 콘텐츠를 유지함)(9010). 이는 도 7e 내지 도 7g에 예시되어 있으며, 여기에서 물리적 객체(7120)의 위치에 대응하는 위치에서의 가상 콘텐츠는, 물리적 객체가 사용자를 둘러싸는 공간 영역(7124) 내에 진입한 후에도, 디스플레이된 상태로 유지된다. 일부 실시예들에서, 제1 물리적 객체는, 제1 물리적 객체가 이전에 사용자에 의해 중요한 것으로 마킹되지 않고/않거나, 제1 물리적 객체가 임계 속도 초과로 사용자를 향해 이동하고 있지 않고/않거나, 제1 물리적 객체가 사람이 아니라 무생물 또는 동물이고/이거나, 제1 물리적 객체가 사람이지만 그/그녀가 사용자에게 접근하고 있으면서 말하고 있지 않고/않거나, 제1 물리적 객체가 사람 또는 애완동물이 아니고/아니거나, 제1 물리적 객체가 미리설정된 식별자 객체(예컨대, 무선 전송된 ID를 갖는 칼라, RFID 태그, 색상 코딩된 태그 등)를 착용하고 있지 않고/않거나 등이기 때문에, 미리설정된 기준들을 충족시키지 않는다. 일부 실시예들에서, 제1 물리적 객체의 일부분이 사용자의 임계 거리 내로 들어오고, 컴퓨터 생성 환경 내의 그의 대응하는 위치가 컴퓨터 생성 환경의 사용자의 시야에 기초하여 사용자에게 보이며, 제1 물리적 객체의 제1 부분에 대응하는 위치가 사용자의 관찰 관점으로부터 다른 물리적 객체 또는 제1 물리적 객체의 다른 부분에 대응하는 위치에 의해 차단되지 않을 때, 컴퓨터 시스템은, 제1 물리적 객체가 미리설정된 기준들을 충족시키지 않는 경우, 제1 물리적 객체의 제1 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 여전히 수정하지 않는다. 예를 들어, 공은 제1 물리적 객체가 사람 또는 애완동물일 것을 요구하는 미리설정된 기준들을 충족시키지 않으며; 공이 사용자에게 가까이 굴러갈 때, 컴퓨터 시스템은 사용자에 대한 공의 위치에 대응하는 컴퓨터 생성 환경 내의 위치에 디스플레이되는 가상 콘텐츠의 외관을 변경하지 않는다. 대조적으로, 애완동물이 사용자에게 접근하는 경우, 컴퓨터 시스템은, 사용자의 미리설정된 거리에 진입하지 않은 애완동물의 다른 부분에 대응하는 위치들도 사용자의 현재 시야 내에 있더라도, 애완동물의 상기 다른 부분에 대응하는 위치들에 디스플레이되는 가상 콘텐츠의 외관을 변경하지 않고서, 사용자의 미리설정된 거리에 진입하는 애완동물의 일부분에 대응하는 위치들에 디스플레이되는 가상 콘텐츠의 외관을 변경한다.
일부 실시예들에서, 제1 물리적 객체의 제1 부분 및 제1 물리적 객체의 제2 부분은 제1 물리적 객체의 연속적인(또는 이웃하는 또는 인접한) 부분들이다(예컨대, 도 7f 및 도 7h에서, 물리적 객체(7122)의 머리 부분의 중심 전방 부분 및 물리적 객체(7122)의 머리 부분의 주변 후방 부분은 물리적 객체(7122)의 연속적인(또는 이웃하는 또는 인접한) 부분들임, 물리적 객체(7122)의 몸 부분의 전방 부분 및 물리적 객체(7122)의 몸 부분의 후방 부분은 물리적 객체(7122)의 연속적인(또는 이웃하는 또는 인접한) 부분들임). 예를 들어, 일부 실시예들에서, 제1 물리적 객체의 제1 부분 및 제2 부분에 적용되는 상이한 처리에 대한 기초를 제공하는 제1 물리적 객체의 제1 부분과 제1 물리적 객체의 제2 부분 사이에는 명확한 구조적 또는 시각적 구분들이 없으며; 대신에, 차이는, 제1 물리적 객체의 제1 부분은 사용자의 임계 거리 내에 있는 반면, 제1 물리적 객체의 제2 부분은 사용자의 임계 거리 내에 있지 않다는 사실에 기초한다. 예를 들어, 제1 물리적 객체는 애완동물이고, 제1 물리적 객체의 제1 부분은 애완동물의 머리의 제1 부분(예컨대, 코, 수염들, 얼굴의 일부 등)을 포함하며, 제1 물리적 객체의 제2 부분은 애완동물의 머리의 추가 부분들(예컨대, 얼굴의 나머지 및 귀들 등) 및 머리에 연결된 몸통을 포함한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것 - 제1 물리적 객체의 제1 부분 및 제1 물리적 객체의 제2 부분은 제1 물리적 객체의 연속적인(또는 이웃하는 또는 인접한) 부분들이고, 둘 모두, 컴퓨터 생성 환경에 대한 사용자의 시야에 기초하여 사용자에게 잠재적으로 보이는 제1 물리적 객체의 범위의 일부임 - 은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 제1 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분 및 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분은 동일한 가상 객체(예컨대, 사용자 인터페이스 객체, 연속적인 가상 표면, 영화 장면 등)의 각자의 부분들을 포함한다. 예를 들어, 일부 실시예들에서, 가상 콘텐츠는 사용자의 임계 거리 내에 있는 물리적 객체의 일부분(들)에 대응하는 위치들에서, 선택적으로, 그들 위치들의 경계들에서의 가상 콘텐츠 상의 시각적 경계들의 존재 또는 부재에 관계없이, 외관이 수정된다. 사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것 - 제1 물리적 객체의 제1 부분 및 제1 물리적 객체의 제2 부분은 제1 물리적 객체의 연속적인(또는 이웃하는 또는 인접한) 부분들임 - 은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, (예컨대, 가상 콘텐츠의 미리설정된 진행 및 변화들에 따라(예컨대, 현재 재생되는 미디어에 대한 미리설정된 재생 시퀀스에 따라, 사용자의 손 또는 제어기를 사용하여 수행되는 사용자 상호작용에 대한 미리설정된 응답들에 따라 등)) 가상 콘텐츠의 디스플레이를 유지하는 동안, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분에 제1 시각적 효과를 적용하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분에 제1 시각적 효과를 적용하는 것(예컨대, 투명도 레벨을 증가시키는 것, 색상 포화도를 감소시키는 것, 픽셀들에 애니메이션을 적용하는 것(예컨대, 아른거리는 효과를 생성하는 것), 시뮬레이션된 굴절률을 변경하는 것(예컨대, 픽셀 위치들을 오프셋하는 것 등) 등)을 포함한다. 일부 실시예들에서, 시각적 효과를 적용하는 것은 제1 물리적 객체의 제1 부분의 다양한 하위 부분들의 상이한 시각적 속성들(예컨대, 제1 물리적 객체의 제1 부분의 내부 구조, 색상, 형상 등)에 기초하여 각각 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 다양한 하위 부분들을 변경하는 것을 포함한다. 따라서, 제1 시각적 효과는 제1 물리적 객체의 제1 부분의 다양한 하위 부분들의 외관을 반영한다(예컨대, 제1 물리적 객체의 제1 부분의 고스트 이미지(ghost image) 또는 그림자를 보여줌, 제1 물리적 객체의 제1 부분의 윤곽을 보여줌 등). 일부 실시예들에서, 제1 물리적 객체의 제1 부분의 위치에 대응하는 위치에서 가상 콘텐츠의 일부분의 외관을 변경하는 것은 가상 콘텐츠의 일부분의 디스플레이를 제1 물리적 객체의 제1 부분의 시각적 표현(예컨대, 제1 물리적 객체의 제1 부분의 카메라 뷰 또는 양식화된 표현)으로 대체하는 것을 포함한다. 일부 실시예들에서, 제1 물리적 객체의 제1 부분의 위치에 대응하는 위치들에서 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 가상 콘텐츠의 일부분의 투명도를 증가시켜, 제1 물리적 객체의 제1 부분이 반투명 디스플레이 생성 컴포넌트를 통해 보이게 하는 것을 포함한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분에 제1 시각적 효과를 적용하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분에 제1 시각적 효과를 적용하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 사용자가 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 개선된 시각적 피드백, 제1 물리적 객체의 제1 부분 및 제2 부분에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 미리설정된 특성은 사람과 사람이 아닌 물리적 객체들을 구별하는 제1 특성을 포함하고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다고 결정하는 것은 제1 물리적 객체 상에서 제1 특성(예컨대, 미리설정된 얼굴 구조(예컨대, 눈들의 존재 및/또는 이동, 눈들, 코 및 입의 상대 위치들 등), 제1 물리적 객체 상의 몸 부분들(예컨대, 머리, 몸, 및 사지 등)의 비율들 및 상대 위치들, 제1 물리적 객체의 이동에 수반되는 사용자의 스피치 이외의 인간 스피치의 검출, 인간의 걷기 또는 달리기와 연관된 이동 패턴(예컨대, 팔들의 흔들기, 걸음걸이 등)을 검출하는 것 등)의 존재를 (예컨대, 컴퓨터 시스템에 결합된 하나 이상의 카메라들을 사용하여 등) 검출하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가, 제1 물리적 객체가 무생물 또는 인간이 아닌 동물과는 대조적으로 사람인 것을 나타내는 제1 특성을 갖는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시킨다고 결정한다. 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가, 제1 물리적 객체가 무생물 또는 인간이 아닌 동물과는 대조적으로 사람인 것을 나타내는 제1 특성을 갖지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정하고, 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하는 것을 보류한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 사람과 사람이 아닌 물리적 객체들을 구별하는 제1 특성과 관련된 요건을 포함하는 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 미리설정된 특성은 제1 물리적 객체가 사용자를 향해 이동하고 있음에 따라 제1 물리적 객체로부터 나오는 인간 스피치를 나타내는 제2 특성을 포함하고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다고 결정하는 것은 제1 물리적 객체의 위치에서 제2 특성(예컨대, 제1 물리적 객체의 위치로부터 발생하는 사운드의 미리설정된 음성 특성들(예컨대, 성문의 존재, 인간 언어의 스피치 패턴들 등), 제1 물리적 객체의 이동에 수반되는 사용자의 스피치 이외의 인간 스피치의 특성들, 하나 이상의 미리설정된 단어들의 발화(예컨대, "Hi!", "Hey!", "Hello!", "[user's name]" 등) 등)을 (예컨대, 컴퓨터 시스템에 결합된 하나 이상의 마이크로폰들을 사용하여 등) 검출하는 것을 포함한다. 예를 들어, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 인간 스피치를 나타내는 제2 특성이 제1 물리적 객체의 위치에서 검출된다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시킨다고 결정한다. 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 인간 스피치를 나타내는 제2 특성이 제1 물리적 객체의 위치에서 검출되지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정하고, 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하는 것을 보류한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가, 제1 물리적 객체가 사용자를 향해 이동하고 있음에 따라 제1 물리적 객체로부터 나오는 인간 스피치를 나타내는 제2 특성과 관련된 요건을 포함하는 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 미리설정된 특성은 동물을 사람 및 사람이 아닌 물리적 객체들과 구별하는 (예컨대, 컴퓨터 시스템에 의해 검출된 바와 같은) 제3 특성을 포함하고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다고 결정하는 것은 제1 물리적 객체 상에서 제3 특성(예컨대, 미리설정된 머리 구조(예컨대, 눈들의 존재 및/또는 이동, 눈들, 코, 귀들, 수염들 및 입의 상대 위치들 등), 제1 물리적 객체 상의 몸 부분들(예컨대, 머리, 몸, 꼬리, 및 사지 등)의 비율들 및 상대 위치들, 털의 존재, 외피 색상 및 패턴 등, 제1 물리적 객체의 이동에 수반되는 동물 울음소리들 대 인간 스피치의 검출, 동물의 걷기 또는 달리기와 연관된 이동 패턴(예컨대, 지면 상의 4개의 다리들, 날개들의 퍼덕거림, 걸음걸이 등)을 검출하는 것 등)의 존재를 (예컨대, 컴퓨터 시스템에 결합된 하나 이상의 카메라들을 사용하여 등) 검출하는 것을 포함한다. 예를 들어, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가, 제1 물리적 객체가 무생물 또는 사람과는 대조적으로 동물(예컨대, 애완동물, 야생 동물 등)인 것을 나타내는 제3 특성을 갖는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시킨다고 결정한다. 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가, 제1 물리적 객체가 무생물 또는 사람과는 대조적으로 동물인 것을 나타내는 제1 특성을 갖지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정하고, 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하는 것을 보류한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 동물을 사람 및 사람이 아닌 물리적 객체들과 구별하는 제3 특성과 관련된 요건을 포함하는 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 미리설정된 특성은 (예컨대, 제1 물리적 객체가 사람인지, 동물인지 또는 무생물인지에 관계없이; 제1 물리적 객체가 동물일 때; 제1 물리적 객체가 사람일 때 등) 제1 물리적 객체의 이동 속도(예컨대, 제1 물리적 객체 또는 물리적 환경의 다른 부분에 대한 제1 물리적 객체의 적어도 일부분의 이동 속도(예컨대, 사람의 손을 흔드는 것, 병으로부터 코르크 마개를 뽑아내는 것 등), 또는 사용자를 향한 제1 물리적 객체의 적어도 일부분의 이동 속도 등)에 기초하는 (예컨대, 컴퓨터 시스템에 의해 검출된 바와 같은) 제4 특성을 포함하고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다고 결정하는 것은 제1 물리적 객체의 제4 특성의 특성 값(예컨대, 이동 속도, 이동 가속도 등)이 미리설정된 임계 값(예컨대, 임계 속도, 임계 이동 가속도 등)을 초과하는 것을 (예컨대, 컴퓨터 시스템에 결합된 하나 이상의 카메라들을 사용하여 등) 검출하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가 사용자의 방향으로 미리설정된 임계 속도 또는 가속도보다 큰 이동 속도 및/또는 이동 가속도를 갖는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시킨다고 결정한다. 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가 사용자의 방향으로 미리설정된 임계 속도 또는 가속도보다 큰 이동 속도 및/또는 이동 가속도를 갖지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정하고, 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하는 것을 보류한다. 예를 들어, 일부 실시예들에서, 사람 또는 애완동물이 이동 없이 사용자에 가깝게 앉아 있을 때, 가상 콘텐츠의 외관은 사람 또는 애완동물의 존재에 의해 변경되지 않지만; 사람 또는 애완동물이 임계 속도 또는 가속도보다 큰 속도 또는 가속도로 갑자기 이동할 때, 컴퓨터 시스템은, 이동하고 있고/있거나 사용자의 임계 거리 내에 있는 사람 또는 애완동물의 일부분(들)의 위치(들)에 대응하는 위치(들)에서 가상 콘텐츠의 외관을 변경한다. 일부 실시예들에서, 사람 또는 애완동물이 사용자를 향해 천천히 이동할 때, 컴퓨터 시스템은 사람 또는 애완동물의 일부분들이 사용자의 임계 거리 내에 있을 때에도 사람 또는 애완동물의 일부분들의 위치들에 대응하는 위치들에서 가상 콘텐츠의 외관을 변경하지 않지만; 사람 또는 애완동물 또는 그의 일부분이 사용자를 향해 빠르게 이동할 때(예컨대, 사용자에게 팔을 흔듦, 사용자를 향해 무언가를 던짐 등), 컴퓨터 시스템은 사람 또는 애완동물의 일부분들이 사용자의 임계 거리 내에 있을 때 사람 또는 애완동물의 일부분들의 위치들에 대응하는 위치들에서 가상 콘텐츠의 외관을 변경한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 제1 물리적 객체의 이동 속도에 기초하는 제4 특성과 관련된 요건을 포함하는 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 미리설정된 특성은 사용자의 즉각적인 주의를 요구하는 이벤트(예컨대, 비상상황, 위험상태 등)의 발생을 나타내는 제5 특성을 포함하고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다고 결정하는 것은 제1 물리적 객체(예컨대, 모니터, 깃발, 흔들리는 커튼, 도어, 사람, 차량 등) 상에서 제5 특성(예컨대, 플래싱 조명들, 이동 패턴(예컨대, 도어 또는 창문 개방, 폐쇄 등, 사람이 손을 흔드는 것 등), 진동(예컨대, 간판의 흔들림, 커튼, 낙하물들 등), 함성, 사이렌 등)의 존재를 (예컨대, 컴퓨터 시스템에 결합된 하나 이상의 카메라들, 센서들, 마이크로폰 등을 사용하여 등) 검출하는 것을 포함한다. 예를 들어, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가 사용자의 즉각적인 주의를 요구하는 이벤트의 발생을 나타내는 제5 특성을 갖는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시킨다고 결정한다. 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가 사용자의 즉각적인 주의를 요구하는 이벤트의 발생을 나타내는 제5 특성을 갖지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정하고, 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하는 것을 보류한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 사용자의 즉각적인 주의를 요구하는 이벤트의 발생을 나타내는 제5 특성과 관련된 요건을 포함하는 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 미리설정된 특성은 제1 물리적 객체 상의 식별자 객체(예컨대, RFID, 배지, 초음파 태그, 일련 번호, 로고, 이름 등)의 존재를 나타내는 제6 특성(예컨대, 센서 판독치, 검출기 신호, 이미지 프로세싱 결과들 등)을 포함하고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다고 결정하는 것은 제1 물리적 객체에 대응하는 위치에서 제6 특성의 존재를 (예컨대, 컴퓨터 시스템에 결합된 하나 이상의 카메라들, 센서들, 마이크로폰 등을 사용하여 등) 검출하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 (예컨대, 식별자 객체의 하나 이상의 검출기들로부터의 출력, 이미지 분석 결과 등에 기초하여) 제1 물리적 객체가 제1 물리적 객체 상의 식별자 객체를 나타내는 제6 특성을 갖는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시킨다고 결정한다. 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 (예컨대, 식별자 객체의 하나 이상의 검출기들로부터의 출력, 이미지 분석 결과 등에 기초하여) 제1 물리적 객체가 제1 물리적 객체 상의 식별자 객체를 나타내는 제6 특성을 갖지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정하고, 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하는 것을 보류한다. 예를 들어, 애완견 상의 특수 칼라가 식별자 객체로서 사용될 수 있고, 개가 사용자에게 가까워질 때, 가상 콘텐츠의 외관의 변화는 특수 칼라의 존재로 인해 트리거되는 반면; 특수 칼라를 갖지 않는 다른 애완동물(예컨대, 물고기, 새 등)이 사용자에게 가까워질 때, (예컨대, 칼라가 애완동물 상에 존재하지 않기 때문에) 가상 콘텐츠의 외관의 변화는 트리거되지 않는다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 제1 물리적 객체 상의 식별자 객체의 존재를 나타내는 제6 특성과 관련된 요건을 포함하는 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 미리설정된 특성은 (예컨대, 제1 물리적 객체가 사람인지, 동물인지 또는 무생물인지에 관계없이; 제1 물리적 객체가 동물일 때, 제1 물리적 객체가 사람일 때, 제1 물리적 객체가 미리설정된 무생물일 때 등) 제1 물리적 객체의 이동 패턴(예컨대, 제1 물리적 객체 또는 물리적 환경의 다른 부분에 대한 제1 물리적 객체의 적어도 일부분의 이동 패턴, 또는 사용자에 대한 제1 물리적 객체의 적어도 일부분의 이동 패턴 등)에 기초하는 제7 특성을 포함하고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다고 결정하는 것은 제1 물리적 객체의 이동 패턴에 기초한 제7 특성이 미리설정된 기준들(예컨대, 사용자 옆을 지나가거나 그를 향해 이동하는 것을 구별하기 위한 기준들, 사용자의 주의를 끌기 위한 의도 대 사용자와 상호작용하기를 원하지 않는 것을 구별하기 위한 기준들 등)을 충족시키는 것을 (예컨대, 컴퓨터 시스템에 결합된 하나 이상의 카메라들을 사용하여 등) 검출하는 것을 포함한다. 예를 들어, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가 미리설정된 기준들을 충족시키는 이동 패턴(예컨대, 단순히 옆을 지나가는 것이 아님을 나타냄, 사용자의 주의에 대한 요구를 나타냄 등)을 갖는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시킨다고 결정한다.
일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가 미리설정된 기준들을 충족시키는 이동 패턴(예컨대, 단순히 옆을 지나가는 것이 아님을 나타냄, 사용자의 주의에 대한 요구를 나타냄 등)을 갖지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정하고, 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하는 것을 보류한다. 예를 들어, 일부 실시예들에서, 애완동물 또는 다른 사람이 사용자를 향해 다가오기보다는 사용자 앞을 지나가고 있을 때, 가상 콘텐츠의 외관은 사람 또는 애완동물의 존재에 의해 변경되지 않지만; 사람 또는 애완동물이 사용자를 향해 이동할 때, 컴퓨터 시스템은, 이동하고 있고/있거나 사용자의 임계 거리 내에 있는 사람 또는 애완동물의 일부분(들)의 위치(들)에 대응하는 위치(들)에서 가상 콘텐츠의 외관을 변경한다. 일부 실시예들에서, 사람 또는 애완동물이 어떠한 다른 제스처들 없이 사용자를 향해 이동할 때, 컴퓨터 시스템은 사람 또는 애완동물의 일부분들이 사용자의 임계 거리 내에 있을 때에도 사람 또는 애완동물의 일부분들의 위치들에 대응하는 위치들에서 가상 콘텐츠의 외관을 변경하지 않지만; 사람 또는 애완동물이 사용자에게 손을 흔들면서(또는 애완동물의 경우에는 사용자에게 그의 꼬리를 흔들면서) 사용자를 향해 이동할 때, 컴퓨터 시스템은 사람 또는 애완동물의 일부분들이 사용자의 임계 거리 내에 있을 때 사람 또는 애완동물의 일부분들의 위치들에 대응하는 위치들에서 가상 콘텐츠의 외관을 변경한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 제1 물리적 객체의 이동 패턴에 기초하는 제7 특성과 관련된 요건을 포함하는 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 객체의 미리설정된 특성은 제1 물리적 객체의 인식된 아이덴티티(예컨대, 배우자, 좋아하는 애완동물, 상사, 자녀, 경찰, 열차의 승무원 등)와 제1 미리설정된 아이덴티티(예컨대, 이전에 "중요한", "주의가 필요한" 등으로 확립된 아이덴티티들) 사이의 매칭(예컨대, 검출된 센서 데이터, 이미지 데이터 등에 기초하여 컴퓨터 알고리즘 또는 인공 지능에 의해 결정된 바와 같은 임계 신뢰 값 초과의 매칭 또는 대응)(예컨대, 얼굴 인식, 음성 인식, 스피치 인식 등)에 기초하는 제8 특성을 포함하고, 제1 물리적 객체가 미리설정된 기준들을 충족시킨다고 결정하는 것은 제8 특성이 미리설정된 기준들을 충족시키는 것(예컨대, 매칭의 신뢰도가 미리설정된 매칭 임계치를 초과함, 매칭의 확률이 임계 값을 초과함 등)을 (예컨대, 컴퓨터 시스템에 결합된 하나 이상의 카메라들을 사용하여 등) 검출하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가 미리설정된 아이덴티티들 중 하나를 갖는 것으로 인식되었다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시킨다고 결정한다.
일부 실시예들에서, 제1 물리적 객체가 사용자의 미리설정된 거리 내에 제1 물리적 객체의 적어도 제1 부분을 갖는다는 것을 검출하는 것에 응답하여, 그리고 제1 물리적 객체가 미리설정된 아이덴티티들 중 하나를 갖는 것으로 인식되지 않았다는 결정에 따라, 컴퓨터 시스템은 제1 물리적 객체가 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정하고, 컴퓨터 생성 환경 내에 디스플레이되는 가상 콘텐츠의 외관의 변화를 트리거하는 것을 보류한다. 예를 들어, 일부 실시예들에서, 회의실에서, 미리설정된 아이덴티티들 중 하나로 인식되지 않는 사람들은 그들이 사용자에게 가까워지는 경우에도 가상 콘텐츠의 외관의 변화들을 트리거하지 않을 것이고; 미리설정된 아이덴티티들 중 하나를 갖는 것으로 인식되는 사람은 가상 콘텐츠의 외관의 변화를 야기할 것이다. 일부 실시예들에서, 미리설정된 아이덴티티들을 확립하기 위해, 컴퓨터 시스템은, 사용자에게 중요하고/하거나 사용자로부터 주의를 필요로 하는 객체들 및 사람들과 연관된 훈련 데이터; 및 선택적으로, 부정적인 훈련 자료로서 가상 콘텐츠의 외관의 변화들을 트리거하지 않아야 하는 다른 객체들 및 사람들과 연관된 훈련 데이터에 기초하여 하나 이상의 인식 또는 매칭 계산 모델들을 확립한다.
사용자가 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 제1 물리적 객체가 제1 물리적 객체의 인식된 아이덴티티와 제1 미리설정된 아이덴티티 사이의 매칭에 기초하는 제8 특성과 관련된 요건을 포함하는 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것은, 추가 사용자 입력(예컨대, 가상 콘텐츠의 적절한 부분의 외관을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 콘텐츠의 일부분의 외관을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 생성 환경은 사용자를 둘러싸는 물리적 환경의 표현을 동시에 포함하지 않고서 가상 환경을 포함한다. 일부 실시예들에서, 가상 환경은 애플리케이션 사용자 인터페이스이다. 일부 실시예들에서, 가상 환경은 가상 데스크톱이다. 일부 실시예들에서, 가상 환경은 3차원 가상 환경이다. 일부 실시예들에서, 가상 환경은 미디어 콘텐츠(예컨대, 영화, 게임, 비디오 등)의 재생을 포함한다. 일부 실시예들에서, 가상 환경은 3차원 게임 환경을 포함한다. 일부 실시예들에서, 가상 환경은 공간 오디오 콘텐츠를 갖는 3차원 비디오를 포함한다. 일부 실시예들에서, 가상 환경은 사용자를 둘러싸는 물리적 환경과는 상이한 시뮬레이션된 물리적 환경을 포함한다. 사용자를 둘러싸는 물리적 환경의 표현을 동시에 포함하지 않고서 가상 환경을 포함하는 컴퓨터 생성 환경의 뷰를 디스플레이하는 것은 가상 현실 설정에서의 본 명세서에서 설명되는 다른 특징부들 중 많은 것의 사용을 가능하게 하여, 그에 의해 광범위한 애플리케이션들에서 그러한 특징부들을 제공한다.
일부 실시예들에서, 컴퓨터 생성 환경은 가상 콘텐츠와 동시에 디스플레이되는 물리적 환경의 표현을 포함하는 증강 현실 환경을 포함하고, 가상 콘텐츠의 외관의 변화는 가상 콘텐츠에 인접한 영역들에 디스플레이 생성 컴포넌트를 통해 디스플레이되는(예컨대, 그의 투명 부분에 의해 디스플레이되고/되거나 그를 통해 보이는) 물리적 환경의 표현의 일부분과 동시에 디스플레이된다. 예를 들어, 일부 실시예들에서, 가상 콘텐츠는 (예컨대, 카메라 뷰 또는 패스 스루 뷰에서) 물리적 환경의 표현의 적어도 일부분의 디스플레이를 오버레이, 차단 또는 대체하여 디스플레이되고, 제1 물리적 객체의 제1 부분이 사용자의 임계 거리 내에서 이동하고 제1 물리적 객체가 미리설정된 기준들을 충족시킬 때, 제1 물리적 객체의 제1 부분(예컨대, 제1 물리적 객체의 제1 부분은 가상 콘텐츠의 상기 부분에 의해 이전에 오버레이, 차단 및/또는 대체되었던 물리적 환경의 일부분을 현재 점유하고 있음)의 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분은 제1 물리적 객체의 제1 부분의 외관에 따라 외관이 변경된다. 일부 실시예들에서, 제1 물리적 객체의 다른 부분들은 가상 콘텐츠에 의해 차단, 대체 또는 오버레이되지 않는 물리적 환경의 일부로서 보일 수 있다.
가상 콘텐츠와 동시에 디스플레이되는 물리적 환경의 표현을 포함하는 증강 현실 환경을 포함하는 컴퓨터 생성 환경의 뷰를 디스플레이하고, 가상 콘텐츠에 인접한 영역들에 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경의 표현의 일부분과 동시에 디스플레이되는 가상 콘텐츠의 외관의 변화를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 생성 환경의 뷰가 증강 현실 환경이라는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 9에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 부가적으로, 본 명세서에 설명된 다른 방법들(예를 들어, 방법들(8000, 10000, 11000))에 관해 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 9에 관해 위에서 설명된 방법(9000)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(9000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 오디오 출력 모드들, 기준 프레임, 시점, 물리적 환경, 물리적 환경의 표현, 3차원 환경의 뷰들, 몰입 레벨들, 시각적 효과, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 10000, 11000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 오디오 출력 모드들, 기준 프레임, 시점, 물리적 환경, 물리적 환경의 표현, 3차원 환경의 뷰들, 몰입 레벨들, 시각적 효과, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 10은 일부 실시예들에 따른, 물리적 환경의 일부분의 스캔에 기초하여 식별된, 물리적 환경의 일부분에 대응하는 3차원 환경 내의 영역에 시각적 효과를 적용하는 방법(10000)의 흐름도이다.
일부 실시예들에서, 본 방법(10000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(10000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(10000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(10000)은, 제1 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등), 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)과 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이 컴포넌트이고, 사용자에게 CGR 경험을 제공한다. 일부 실시예들에서, 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트들, 하나 이상의 오디오 출력 디바이스들, 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트들(예컨대, 헤드업 디스플레이, 터치스크린, 독립형 디스플레이 등), 하나 이상의 출력 디바이스들(예컨대, 이어폰들, 외부 스피커들 등), 및/또는 컴퓨터 시스템과 통신하는 하나 이상의 입력 디바이스들 중 하나 이상과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트(예컨대, 서버, 스마트 폰 또는 태블릿 디바이스와 같은 모바일 전자 디바이스, 워치, 손목밴드 또는 이어폰들과 같은 웨어러블 디바이스, 데스크톱 컴퓨터, 랩톱 컴퓨터 등)를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트들 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
본 방법(10000)에서, 컴퓨터 시스템은 (예컨대, 도 7j에 도시된 바와 같이), 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 표현을 포함하는 3차원 환경(예컨대, 3차원 증강 현실 환경, 물리적 환경의 패스 스루 뷰 등)을 디스플레이한다(10002). 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하는 동안, 컴퓨터 시스템은 (예컨대, 사용자의 손(7202)이 3차원 환경에서 표현(7014')에 의해 표현되는 물리적 객체의 상단 표면을 터치하는 도 7k에 도시된 바와 같이) 사용자의 손이 물리적 환경의 각자의 부분을 터치하는 것(예컨대, 그와 접촉하는 것, 그 상에 놓이는 것, 그의 임계 거리 내로 들어오는 것 등)을 검출한다(10004). 일부 실시예들에서, 컴퓨터 시스템은 사용자의 손 또는 손가락의 위치 및 물리적 환경의 각자의 부분(예컨대, 테이블 상판의 제1 부분, 테이블 상판의 제2 부분, 벽 표면의 제1 부분, 벽 표면의 제2 부분, 제1 물리적 객체, 제2 물리적 객체 등)이 서로의 임계 거리(예컨대, 0 또는 무시할 수 있는 거리들) 내에 있다는 것을 (예컨대, 하나 이상의 카메라들 또는 터치 센서들을 사용하여 등) 검출한다. 사용자의 손이 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여(그리고 선택적으로, 터칭이 물리적 환경의 각자의 부분으로부터의 임계량 미만의 이동으로 적어도 임계 시간 동안 지속된 후에(예컨대, 터치는 물리적 환경의 각자의 부분 상에 터치 다운한 후 물리적 환경의 각자의 부분에서 실질적으로 정지되어 있음))(10006), 그리고 사용자의 손이 물리적 환경의 제1 부분을 터치하고 있다는(예컨대, 그와 접촉하고 있음, 그 상에 놓여 있음 등) 결정에 따라, 컴퓨터 시스템은 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 제1 시각적 효과(예컨대, 도 7k 및 도 7l의 시각적 효과(7144))(예컨대, 아른거리는 시각적 효과, 성장 오버레이, 성장 와이어 메시 등)를 디스플레이한다(10008). 일부 실시예들에서, 물리적 환경의 제1 부분은, 물리적 환경의 제1 부분 내의 하나 이상의 물리적 객체들의 표면의 특성들을 갖고/갖거나 사용자의 손이 물리적 환경의 제1 부분을 터치하는 것을 검출하는 것에 응답하여 또는 더 이른 시간 등에 시작되는 3차원 모델 등의 구성 또는 표면 스캔(예컨대, 평면의 검출, 메시의 구성 등)에 기초하여 식별된다. 일부 실시예들에서, 제1 시각적 효과는 물리적 환경의 제1 부분의 공간적 특성들(예컨대, 표면 배향, 크기, 형상, 위치 등)에 대응하는 공간적 특성들(예컨대, 표면 배향, 크기, 형상, 전파 방향 등)을 갖는다. 사용자의 손이 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여, 그리고 사용자의 손이 물리적 환경의 제1 부분과는 상이한 물리적 환경의 제2 부분을 터치하고 있다는(예컨대, 그와 접촉하고 있음, 그 상에 놓여 있음 등) 결정에 따라, 컴퓨터 시스템은 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 물리적 환경의 제2 부분에 대응하는 3차원 환경 내의 위치에 제2 시각적 효과(예컨대, 아른거리는 시각적 효과, 성장 오버레이, 성장 메시 등)(예컨대, 제1 시각적 효과, 또는 제1 시각적 효과와는 상이하고 스캔 결과(예컨대, 표면의 유형, 식별된 객체의 유형 등)에 기초하여 선택되는 시각적 효과 등)를 디스플레이한다(10010). 일부 실시예들에서, 물리적 환경의 제2 부분은, 물리적 환경의 제2 부분 내의 하나 이상의 물리적 객체들의 표면의 특성들을 갖고/갖거나 사용자의 손이 물리적 환경의 제2 부분을 터치하는 것을 검출하는 것에 응답하여 또는 더 이른 시간 등에 시작되는 3차원 모델 등의 구성 및/또는 표면 스캔(예컨대, 평면의 검출, 메시의 구성 등)에 기초하여 식별된다. 일부 실시예들에서, 제2 시각적 효과는 물리적 환경의 제2 부분의 공간적 특성들(예컨대, 표면 배향, 크기, 형상, 위치 등)에 대응하는 공간적 특성들(예컨대, 표면 배향, 크기, 형상, 전파 방향 등)을 갖는다.
일부 실시예들에서, 물리적 환경의 각자의 부분으로 지향되는 시선 입력(예컨대, 도 7k 및 도 7l의 시선(7140))(예컨대, 물리적 환경의 각자의 부분의 위치에 대응하는 3차원 환경 내의 위치에서(예컨대, 물리적 환경의 표현 내의 물리적 환경의 각자의 부분의 표현에서) (예컨대, 임계 시간 내 임계량 미만의 이동을 갖는, 실질적으로 정지된 등) 미리설정된 안정성 및/또는 지속시간 요건(들)을 충족시키는 시선을 검출함)은 사용자의 손이 물리적 환경의 각자의 부분(예컨대, 제1 부분, 제2 부분 등)을 터치하는 것(예컨대, 그와 접촉하는 것, 그 상에 놓이는 것, 그의 임계 거리 내로 들어오는 것 등)을 검출하는 것과 함께(예컨대, 그와 동시에, 그의 임계 시간 내에(예컨대, 그 전에, 그 후에, 그 동안에 등) 등) 검출된다. 일부 실시예들에서, 물리적 환경의 각자의 부분은 물리적 표면, 물리적 객체 등을 포함한다. 일부 실시예들에서, 사용자의 손이 물리적 환경의 각자의 부분을 터치하는 것을 검출하는 것은 시선 입력이 물리적 환경의 각자의 부분으로 지향되는 것과 함께 사용자의 손이 물리적 환경의 각자의 부분과 접촉하는 것, 그 상에 놓이는 것, 그의 임계 거리 내로 들어오는 것 등을 검출하는 것을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 물리적 환경의 각자의 부분에 대응하는 3차원 환경 내의 위치에서 시각적 효과의 디스플레이를 트리거하기 위해 시선 입력의 위치에서 터칭이 물리적 환경의 각자의 부분으로부터의 임계량 미만의 이동으로 적어도 임계 시간 동안 지속되었을 것을 요구한다(예컨대, 터치는 물리적 환경의 각자의 부분 상에 터치 다운한 후 물리적 환경의 각자의 부분에서 실질적으로 정지되어 있음). 제1 시각적 효과는, 시선 입력이 물리적 환경의 제1 부분으로 지향되는 것(예컨대, 시선이 3차원 환경 내의 물리적 표면의 제1 부분의 표현, 제1 물리적 객체의 표현 등 상에서 검출되는 것)과 함께(예컨대, 그와 동시에, 그의 임계 시간 내에(예컨대, 그 전에, 그 후에, 그 동안에 등) 등) 사용자의 손이 물리적 환경의 제1 부분(예컨대, 물리적 표면의 제1 부분, 제1 물리적 객체 등)을 터치하고 있다는(예컨대, 그와 접촉하고 있음, 그 상에 놓여 있음, 그의 임계 거리 내로 들어오고 있음 등) 결정에 따라 디스플레이되고, 제2 시각적 효과는, 시선 입력이 물리적 환경의 제2 부분으로 지향되는 것(예컨대, 시선이 3차원 환경 내의 물리적 표면의 제2 부분의 표현, 제2 물리적 객체의 표현 등 상에서 검출되는 것)과 함께(예컨대, 그와 동시에, 그의 임계 시간 내에(예컨대, 그 전에, 그 후에, 그 동안에 등) 등) 사용자의 손이 물리적 환경의 제2 부분(예컨대, 물리적 표면의 제2 부분, 제2 물리적 객체 등)을 터치하고 있다는(예컨대, 그와 접촉하고 있음, 그 상에 놓여 있음, 그와 접촉하고 있음 등) 결정에 따라 디스플레이된다.
일부 실시예들에서, 시선 입력이 동시에 또는 임계 시간 윈도우 내에 물리적 환경의 각자의 부분으로 지향되지 않고서 사용자의 손이 물리적 환경의 각자의 부분을 터치하고 있다는 결정에 따라, 컴퓨터 시스템은 물리적 환경의 각자의 부분에 대응하는 3차원 환경의 뷰 내의 위치에, 대응하는 시각적 효과(예컨대, 물리적 환경의 각자의 부분의 스캔에 기초하여 생성되는 애니메이션화된 그리고/또는 성장하는 시각적 효과)를 디스플레이하지 않는다. 일부 실시예들에서, 시선 입력이 물리적 환경의 각자의 부분으로 지향되는 것과 함께 사용자의 손이 물리적 환경의 각자의 부분을 터치하는 것을 검출하는 것에 응답하여 각자의 시각적 효과가 디스플레이된(예컨대, 사용자에 의해 터치되고 있는 물리적 환경의 각자의 부분에 대응하는 위치에서 시작된) 후, 각자의 시각적 효과는, 선택적으로, 손이 더 이상 물리적 환경의 각자의 부분을 터치하고 있지 않고/않거나 시선이 물리적 환경의 각자의 부분으로부터 멀리 이동한 후에도, 물리적 환경의 각자의 부분에 인접한 물리적 환경의 영역들의 스캔에 기초하여 물리적 환경의 각자의 부분에 대응하는 위치로부터 계속 성장하고 확장된다.
시선 입력이 물리적 환경의 제1 부분으로 지향되는 것과 함께 사용자의 손이 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라 제1 시각적 효과를 디스플레이하고, 시선 입력이 물리적 환경의 제2 부분으로 지향되는 것과 함께 사용자의 손이 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라 제2 시각적 효과를 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 시각적 효과를 디스플레이할지 또는 제2 시각적 효과를 디스플레이할지를 결정하기 위한 추가의 디스플레이된 제어부들)로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 손이 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여, 그리고 (예컨대, 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이한 후) 사용자의 손이 물리적 환경의 제1 부분을 터치하고 있다는(예컨대, 그와 접촉하고 있음, 그 상에 놓여 있음, 그의 임계 거리 내로 들어오고 있음 등) 결정에 따라, 컴퓨터 시스템은 제1 시각적 효과가 적용되는 영역을 사용자의 손에 의해 터치되는 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치로부터 확장시킨다(예컨대, 도 7k 및 도 7l에 도시된 바와 같이, 시각적 효과(7144)는 손(7202)에 의한 터치의 위치에 대응하는 위치로부터 확장됨). 일부 실시예들에서, 제1 시각적 효과는 물리적 환경의 제1 부분에 대응하는 위치로부터 사용자의 손에 의해 터치되지 않는 물리적 환경의 제2 부분에 대응하는 영역으로 추후에 확장된다(예컨대, 추가 사용자 입력 없이 자동적으로 확장되거나, 사용자의 손이 물리적 환경의 제1 부분을 터치한 상태로 유지되는 동안 확장됨). 사용자의 손이 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여, 그리고 (예컨대, 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 물리적 환경의 제2 부분에 대응하는 3차원 환경 내의 위치에 제2 시각적 효과를 디스플레이한 후) 사용자의 손이 물리적 환경의 제2 부분을 터치하고 있다는(예컨대, 그와 접촉하고 있음, 그 상에 놓여 있음, 그의 임계 거리 내로 들어오고 있음 등) 결정에 따라, 컴퓨터 시스템은 제2 시각적 효과가 적용되는 영역을 사용자의 손에 의해 터치되는 물리적 환경의 제2 부분에 대응하는 3차원 환경 내의 위치로부터 확장시킨다.
일부 실시예들에서, 제1 시각적 효과는 물리적 환경의 제2 부분에 대응하는 위치로부터 사용자의 손에 의해 터치되지 않는 물리적 환경의 제1 부분에 대응하는 영역으로 추후에 확장된다(예컨대, 추가 사용자 입력 없이 자동적으로 확장되거나, 사용자의 손이 물리적 환경의 제1 부분을 터치한 상태로 유지되는 동안 확장됨). 일부 실시예들에서, 물리적 환경의 각자의 부분은, 선택적으로, 사용자의 손과 물리적 환경 사이의 접촉 영역, 사용자의 손과 물리적 표면 사이의 접촉 영역보다 크고 그를 포위하는 물리적 표면의 일부분, 및/또는 사용자의 손과 물리적 환경 사이의 접촉 영역의 임계 높이 차이 내에 있는 물리적 표면 또는 물리적 객체의 일부분 등이다. 일부 실시예들에서, 시각적 효과는 물리적 환경의 각자의 부분(예컨대, 물리적 환경 내의 물리적 표면) 상의 손의 터치 다운 위치에 대응하는 3차원 환경 내의 위치에 디스플레이되고 그로부터 외향으로 확장되며, 시각적 효과의 확장은 물리적 환경의 각자의 부분에서 그리고 그 주위에서 식별된 물리적 표면에 순응한다. 일부 실시예들에서, 시각적 효과는 물리적 환경의 각자의 부분 상에서의 사용자의 손의 터치 다운과 함께 검출되는 시선 입력의 위치에 디스플레이되고 그로부터 외향으로 확장된다(예컨대, 손이 테이블 상판의 중심으로부터 오프셋된 테이블 상판의 일부분 상에 터치 다운하는 동안 시선 입력이 테이블 상판의 중심으로 지향된다는 결정에 따라, 시각적 효과는, 선택적으로, 사용자의 손의 터치 다운 위치에 대응하는 위치와는 대조적으로, 테이블 상판의 중심에 대응하는 위치에 디스플레이되고 그로부터 확장됨). 일부 실시예들에서, 시각적 효과는, 시선 입력이 물리적 환경의 각자의 부분 상에서의 사용자의 손의 터치 다운과 함께 검출되지만 사용자의 손의 터치 다운 위치로부터 오프셋될 때 사용자의 손의 터치 다운 위치에 디스플레이되고 그로부터 외향으로 확장된다(예컨대, 손이 테이블 상판의 중심으로부터 오프셋된 테이블 상판의 일부분 상에 터치 다운하는 동안 시선 입력이 테이블 상판의 중심으로 지향된다는 결정에 따라, 시각적 효과는, 선택적으로, 테이블 상판의 중심에 대응하는 위치와는 대조적으로 사용자의 손의 터치 다운 위치에 대응하는 위치에 디스플레이되고 그로부터 확장됨).
사용자의 손이 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 제1 시각적 효과가 적용되는 영역을 사용자의 손에 의해 터치되는 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치로부터 확장시키고, 사용자의 손이 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 제2 시각적 효과가 적용되는 영역을 사용자의 손에 의해 터치되는 물리적 환경의 제2 부분에 대응하는 3차원 환경 내의 위치로부터 확장시키는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 사용자의 손이 터치하고 있는 위치에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 효과는 제1 시각적 효과가 적용되는 영역의 제1 애니메이션화된 시각적 변화들을 포함하고, 제2 시각적 효과는 제2 시각적 효과가 적용되는 영역의 제2 애니메이션화된 시각적 변화들을 포함한다. 일부 실시예들에서, 애니메이션화된 시각적 변화들은 시각적 효과가 적용되는 3차원 환경 내의 영역에서 시간 경과에 따라 변화하는 아른거리는 광 및/또는 색상 변화들을 포함한다. 일부 실시예들에서, 시각적 효과가 적용되는 영역은 애니메이션화된 시각적 변화들이 발생하고 있을 때 (예컨대, 영역에 디스플레이되는 크기, 형상 및/또는 콘텐츠 등의 관점에서) 변화하지 않는다(예컨대, 시각적 효과는 영역의 원래 콘텐츠에 적용되는 하나 이상의 필터 또는 수정 기능으로 영역의 외관에 영향을 미치는 한편, 콘텐츠의 시각적 특징부들(예컨대, 형상, 크기, 객체 유형 등)은 뷰어(viewer)에 의해 식별가능한 상태로 유지됨). 일부 실시예들에서, 시각적 변화들이 적용되는 3차원 환경 내의 영역은 애니메이션화된 시각적 변화들이 발생하고 있음에 따라 확장된다. 사용자의 손이 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 제1 애니메이션화된 시각적 변화들을 포함하는 제1 시각적 효과를 디스플레이하고, 사용자의 손이 물리적 환경의 제1 부분과는 상이한 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 물리적 환경의 제2 부분에 대응하는 3차원 환경 내의 위치에 제2 애니메이션화된 시각적 변화들을 포함하는 제2 시각적 효과를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 사용자의 손이 터치하고 있는 위치로 사용자의 주의를 끄는 것에 의한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 환경의 제1 부분 및 물리적 환경의 제2 부분은 연장된(예컨대, 연속적인, 실질적으로 평평한, 불연속부(예컨대, 갭, 균열, 표면 높이의 급격한 변화 등)가 없는 등) 물리적 표면(예컨대, 벽, 테이블 상판, 소파의 좌석, 바닥 등)의 상이한 부분들에 대응하고, 제1 시각적 효과는 제2 시각적 효과와는 상이하다. 일부 실시예들에서, 제1 시각적 효과 및 제2 시각적 효과는, 각각 적용될 때, 3차원 환경에서 적어도 하나의 공통 영역에 적용되지만(예컨대, 제1 시각적 효과 및 제2 시각적 효과에 의해 점유되는 영역들은 상기 공통 영역에서 부분적으로 중첩됨), (예컨대, 제1 시각적 효과 및 제2 시각적 효과의 시작 위치들이 상이하기 때문에, 적어도 하나의 공통 영역에서의 시각적 효과들의 적용의 타이밍이 상이하기 때문에, 공통 영역을 가로지르는 전파의 방향들이 상이하기 때문에 등) 적어도 하나의 공통 영역에서 영역의 외관을 상이하게 변경한다. 일부 실시예들에서, 제1 시각적 효과 및 제2 시각적 효과는, 각각 적용될 때, 동일한 연장된 물리적 객체 또는 표면의 상이한 영역들에 적용되고, 상이한 영역들에 적용된 제1 시각적 효과 및 제2 시각적 효과는 (예컨대, 제1 시각적 효과 및 제2 시각적 효과의 시작 위치들이 상이하기 때문에, 상이한 영역들의 국소 물리적 특성들(예컨대, 텍스처, 배향, 색상, 패턴, 높이 변동 등)이 상이하기 때문에, 상이한 영역들을 가로지르는 시각적 효과의 전파 방향들이 상이하기 때문에 등) 상이한 영역들의 외관들을 상이하게 변경한다.
사용자의 손이 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이하고, 사용자의 손이 물리적 환경의 제1 부분과는 상이한 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 물리적 환경의 제2 부분에 대응하는 3차원 환경 내의 위치에 제1 시각적 효과와는 상이한 제2 시각적 효과를 디스플레이하는 것 - 물리적 환경의 제1 부분 및 물리적 환경의 제2 부분은 연장된 물리적 표면의 상이한 부분들에 대응함 - 은, 사용자에게 개선된 시각적 피드백을 제공한다(예컨대, 물리적 환경의 제1 부분이 물리적 환경의 제2 부분과 동일한 표면의 일부인 경우에도 시각적 피드백을 제공함). 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 효과 및 제2 시각적 효과는 제1 베이스라인 시각적 효과(예컨대, 그레이 오버레이, 아른거리는 시각적 효과, 잔물결들, 성장 메시 와이어들 등)에 따라 생성되고, 제1 시각적 효과 및 제2 시각적 효과는 제1 베이스라인 시각적 효과에 따라 생성되는 상이한 애니메이션들(예컨대, 상이한 형상의 경계선들을 갖는 베이스라인 성장 그레이 오버레이들, 가상 광원과 밑에 있는 표면 사이의 상이한 공간적 관계들을 사용하여 수정된 베이스라인 아른거리는 시각적 효과들, 상이한 파장들 및/또는 원점들로 수정된 베이스라인 잔물결들, 상이한 시작 위치들로 수정된 베이스라인 메시 와이어 패턴들 등)을 포함한다. 제1 베이스라인 시각적 효과에 따라 제1 시각적 효과를 생성하고, 제1 베이스라인 시각적 효과에 따라, 제1 시각적 효과와는 상이한 애니메이션들을 포함하는 제2 시각적 효과를 생성하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 사용자의 손이 물리적 환경의 제1 부분을 터치하고 있다는 것을 검출하는지 또는 물리적 환경의 제2 부분을 터치하고 있다는 것을 검출하는지에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 효과(예컨대, 제1 정적 시각적 효과, 제1 애니메이션화된 시각적 변화들 등)는 물리적 환경의 제1 부분 내의 물리적 표면 상에서 사용자의 손의 터치 다운(예컨대, 초기 접촉, 적어도 임계 시간 동안 실질적인 이동 없이 지속된 초기 접촉 등)을 검출하는 것에 응답하여 디스플레이되고(예컨대, 물리적 표면 상의 사용자의 손의 터치 다운 위치에 대응하는 각자의 영역에 초기에 디스플레이되거나 그에서 시작되고 선택적으로 그로부터 확장됨; 물리적 표면 상에서의 사용자의 손의 터치 다운이 검출될 때 물리적 표면 상의 시선 위치에 대응하는 각자의 영역에 초기에 디스플레이되거나 그에서 시작되고 선택적으로 그로부터 확장됨 등), 제2 시각적 효과(예컨대, 제2 정적 시각적 효과, 제2 시각적 변화들 등)는 물리적 환경의 제2 부분 내의 물리적 표면 상에서 사용자의 손의 터치 다운(예컨대, 초기 접촉, 적어도 임계 시간 동안 실질적인 이동 없이 지속된 초기 접촉 등)을 검출하는 것에 응답하여 디스플레이된다(예컨대, 물리적 표면 상의 사용자의 손의 터치 다운 위치에 대응하는 각자의 영역에 초기에 디스플레이되거나 그에서 시작되고 선택적으로 그로부터 확장됨; 물리적 표면 상에서의 사용자의 손의 터치 다운이 검출될 때 물리적 표면 상의 시선 위치에 대응하는 각자의 영역에 초기에 디스플레이되거나 그에서 시작되고 선택적으로 그로부터 확장됨 등).
물리적 환경의 제1 부분 내의 물리적 표면 상에서 사용자의 손의 터치 다운을 검출하는 것에 응답하여 제1 시각적 효과를 디스플레이하고, 물리적 환경의 제2 부분 내의 물리적 표면 상에서 사용자의 손의 터치 다운을 검출하는 것에 응답하여 제2 시각적 효과를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 사용자의 손이 터치하고 있는 위치에 관한 개선된 시각적 피드백, 컴퓨터 시스템이 물리적 표면 상에서 사용자의 손의 터치 다운을 검출하였다는 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 도 7m에 도시된 바와 같이) 사용자의 손이 물리적 환경의 제1 부분과의 접촉을 유지하는 동안 제1 시각적 효과의 디스플레이를 유지한다. 일부 실시예들에서, 시각적 효과는, 사용자의 손이 (예컨대, 손의 초기 터치 다운 위치로부터의 실질적인 이동 없이, 선택적으로, 이동하면서 그러나 터치 다운 위치를 포함하는 표면으로부터의 접촉을 끊지 않고서 등) 물리적 환경의 제1 부분과의 접촉을 유지하는 동안, (예컨대, 선택적으로 정상 상태(steady state)에 도달한(예컨대, 터치된 표면, 물리적 객체 등의 에지들로 확장됨) 후) 동일한 형상, 크기 및/또는 외관으로 유지된다. 일부 실시예들에서, 시각적 효과는, 사용자의 손이 (예컨대, 손의 초기 터치 다운 위치로부터의 실질적인 이동 없이, 선택적으로, 이동하면서 그러나 터치 다운 위치를 포함하는 표면으로부터의 접촉을 끊지 않고서 등) 물리적 환경의 제1 부분과의 접촉을 유지하는 동안, 물리적 환경의 표현 내의 표면들 및/또는 공간을 가로질러 (예컨대, 형상, 크기 및/또는 외관을 변화시키면서) 계속 성장하고 확장된다. 사용자의 손이 물리적 환경의 제1 부분과의 접촉을 유지하는 동안 제1 시각적 효과의 디스플레이를 유지하는 것은 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 사용자의 손이 물리적 환경의 제1 부분과 접촉하는 것을 여전히 검출하고 있다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 도 7n에 도시된 바와 같이) 사용자의 손이 물리적 환경의 제1 부분과의 접촉을 중지하는 것을 검출하는 것에 응답하여 제1 시각적 효과의 디스플레이를 중지한다. 일부 실시예들에서, 시각적 효과는, 사용자의 손이 물리적 환경의 제1 부분과의 접촉을 끊을(예컨대, 또는 선택적으로, 터치 다운 후 접촉의 이동이 발생한 경우, 터치 다운 위치를 포함하는 표면과의 접촉을 끊음) 때, 디스플레이되는 것이 중지된다(예컨대, 물리적 환경의 표현의 외관이 복원됨). 일부 실시예들에서, 시각적 효과는, 사용자의 손이 물리적 환경의 제1 부분 내의 초기 터치 다운 위치로부터 이동할 때, 디스플레이되는 것이 중지된다(예컨대, 물리적 환경의 표현의 외관이 복원됨). 일부 실시예들에서, 시각적 효과는 시각적 효과가 이미 적용된 영역들에 계속 디스플레이되지만, 사용자의 손이 물리적 환경의 제1 부분과의 접촉을 끊거나 터치 다운 위치로부터 멀리 이동할 때, 물리적 환경의 표현 내의 표면들 및/또는 공간을 가로질러 성장하고 확장되는 것이 중지된다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 손이 물리적 환경의 제2 부분과의 접촉을 유지하는 동안 제2 시각적 효과의 디스플레이를 유지하고, 사용자의 손이 물리적 환경의 제2 부분과의 접촉을 중지하는 것을 검출하는 것에 응답하여 제2 시각적 효과의 디스플레이를 중지한다. 사용자의 손이 물리적 환경의 제1 부분과의 접촉을 중지하는 것을 검출하는 것에 응답하여 제1 시각적 효과의 디스플레이를 중지하는 것은 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 사용자의 손이 물리적 환경의 제1 부분과 접촉하는 것을 더 이상 검출하지 않는다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 효과는 제1 애니메이션화된 시각적 변화들을 포함한다. 컴퓨터 시스템은 사용자의 손이 물리적 환경의 제1 부분과의 접촉을 중지하는 것을 검출하는 것에 응답하여 제1 애니메이션화된 변화들의 디스플레이를 중지하고, 컴퓨터 시스템은 제1 애니메이션화된 변화들의 디스플레이를 중지한 후에 제1 애니메이션화된 변화들의 제1 정적 표현을 디스플레이한다. 일부 실시예들에서, 제2 시각적 효과는 제2 애니메이션화된 시각적 변화들(예컨대, 제1 애니메이션화된 변화들과 동일함, 하나 이상의 측면들에서 제1 애니메이션화된 변화들과는 상이함, 제1 애니메이션화된 변화들과 무관함 등)을 포함하며, 컴퓨터 시스템은 사용자의 손이 물리적 환경의 제2 부분과의 접촉을 중지하는 것을 검출하는 것에 응답하여 제2 애니메이션화된 변화들의 디스플레이를 중지하고, 컴퓨터 시스템은 제2 애니메이션화된 변화들의 디스플레이를 중지한 후에 제2 애니메이션화된 변화들의 제2 정적 표현을 디스플레이한다. 사용자의 손이 물리적 환경의 제1 부분과의 접촉을 중지하는 것을 검출하는 것에 응답하여 제1 애니메이션화된 변화들의 디스플레이를 중지하고, 제1 애니메이션화된 변화들의 디스플레이를 중지한 후에 제1 애니메이션화된 변화들의 제1 정적 표현을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 사용자의 손이 물리적 환경의 제1 부분과 접촉하는 것을 더 이상 검출하지 않고, 컴퓨터 시스템이 제1 애니메이션화된 변화들을 이전에 디스플레이하였다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 효과 및 제2 시각적 효과는 물리적 환경의 적어도 각자의 부분의 공간적 표현을 생성하는 프로세스의 애니메이션화된 표현을 포함한다. 예를 들어, 일부 실시예들에서, 제1 시각적 효과 및 제2 시각적 효과는 물리적 환경에 존재하는 물리적 객체들의 평면들, 표면들, 물리적 구조물들, 및/또는 크기들, 및/또는 형상들의 식별 및/또는 센서 데이터(예컨대, 실시간으로 캡처, 저장 및/또는 스트리밍 등이 되는, 이미지 데이터, 깊이 데이터, 초음파 데이터, 반향정위 데이터 등)에 기초한 물리적 환경의 가상 데이터 표현들(예컨대, 평면들, 메시 표면들, 3차원 모델들 등)의 구성의 애니메이션화된 시각적 표현들이다. 물리적 환경의 적어도 각자의 부분의 공간적 표현을 생성하는 프로세스의 애니메이션화된 표현을 포함하여, 제1 시각적 효과 및 제2 시각적 효과를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 물리적 환경의 각자의 부분의 공간적 표현을 생성하고 있다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 효과는 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치로부터 시작하여(예컨대, 물리적 환경의 제1 부분은 제1 물리적 객체에 대응하고, 제1 물리적 객체가 아닌 다른 물리적 객체에 대응하지 않음, 물리적 환경의 제1 부분은 연장된 물리적 표면에 대응하고, 연장된 물리적 표면에 매끄럽게 결합되지 않거나 연결해제되는 표면들에 대응하지 않음 등), 물리적 환경의 제1 부분에 대응하지 않는 3차원 환경 내의 영역으로 확장된다. 일부 실시예들에서, 제1 시각적 효과는 사용자에 의해 터치되는 물리적 표면 또는 객체와는 상이한 물리적 객체 또는 물리적 표면에 대응하는 영역으로 확장된다. 일부 실시예들에서, 확장은, 선택적으로, 사용자의 손이 더 이상 물리적 환경의 제1 부분을 터치하고 있지 않은 후에도 계속되고; 확장은 사용자의 손이 더 이상 물리적 환경의 제1 부분을 터치하고 있지 않을 때 정지되고, 기타 등등이다. 일부 실시예들에서, 제2 시각적 효과는 물리적 환경의 제2 부분 내로부터 시작하여(예컨대, 물리적 환경의 제2 부분은 제2 물리적 객체에 대응하고, 제2 물리적 객체가 아닌 다른 물리적 객체에 대응하지 않음, 물리적 환경의 제2 부분은 연장된 물리적 표면에 대응하고, 연장된 물리적 표면에 매끄럽게 결합되지 않거나 연결해제되는 표면들에 대응하지 않음 등), 물리적 환경의 제2 부분에 대응하지 않는 3차원 환경 내의 영역으로 확장된다(예컨대, 제2 시각적 효과는 사용자에 의해 터치되는 물리적 표면 또는 객체와는 상이한 물리적 객체 또는 물리적 표면에 대응하는 영역으로 확장됨). 일부 실시예들에서, 물리적 환경의 제1 부분 및 물리적 환경의 제2 부분은, 선택적으로 서로 접촉하지 않는 2개의 상이한 물리적 객체들에 대응한다. 일부 실시예들에서, 물리적 환경의 제1 부분 및 물리적 환경의 제2 부분은 동일한 물리적 객체 또는 동일한 연장된 물리적 표면의 2개의 상이한 부분들에 대응한다. 일부 실시예들에서, (예컨대, 사용자의 손이 애니메이션화된 변화들이 시작되는 물리적 환경의 각자의 부분과의 접촉을 유지하는 동안 애니메이션화된 변화들이 계속될 때, 또는 선택적으로, 사용자의 손이 애니메이션화된 변화들이 시작되는 물리적 환경의 각자의 부분을 더 이상 터치하고 있지 않은 후에 애니메이션화된 변화들이 계속될 때 등) 제1 시각적 효과는, 선택적으로, 물리적 환경의 제2 부분에 대응하는 영역 내로 확장될 수 있고, 제2 시각적 효과는, 선택적으로, 물리적 환경의 제1 부분에 대응하는 영역 내로 확장될 수 있다.
물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치로부터 시작하여, 물리적 환경의 제1 부분에 대응하지 않는 3차원 환경 내의 영역으로 확장되는 제1 시각적 효과를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이하는 것은 물리적 환경의 제1 부분에서 식별된 제1 표면에 대응하는 가상 표면을 가로질러 가상 조명을 이동시키는 것(예컨대, 제1 표면에 대응하는 가상 표면 상의 하나의 위치 또는 다른 위치로부터 전파되는 가상 광의 파면, 제1 표면에 대응하는 가상 표면 상의 하나의 위치로부터 다른 위치로 이동하는 밝기의 국소화된 증가 등)을 포함한다. 일부 실시예들에서, 가상 조명은, 제1 표면에 대응하는 가상 표면을 넘어, 물리적 환경에서 식별되는 다른 표면들에 대응하는 가상 표면들 상으로 추가로 이동한다. 일부 실시예들에서, 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 물리적 환경의 제2 부분에 대응하는 3차원 환경 내의 위치에 제2 시각적 효과를 디스플레이하는 것은 물리적 환경의 제2 부분에서 식별된 제2 표면에 대응하는 가상 표면을 가로질러 가상 조명을 이동시키는 것을 포함한다. 일부 실시예들에서, 제1 표면 및 제2 표면은 물리적 환경 내의 동일한 연장된 물리적 표면의 상이한 부분들이다. 일부 실시예들에서, 제1 표면 및 제2 표면은, 동일한 물리적 객체들의 상이한 부분들 또는 상이한 물리적 객체들에 대응하는 상이한 표면들이다. 일부 실시예들에서, 가상 조명은, 제2 표면에 대응하는 가상 표면을 넘어, 물리적 환경에서 식별되는 다른 표면들에 대응하는 다른 가상 표면들 상으로 추가로 이동한다. 물리적 환경의 제1 부분에서 식별된 제1 표면에 대응하는 가상 표면을 가로질러 가상 조명을 이동시키는 것은 사용자에게 개선된 시각적 피드백(예컨대, 물리적 환경의 제1 부분에서 식별된 제1 표면에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 시각적 효과 또는 제2 시각적 효과는 제1 디스플레이 생성 컴포넌트를 통한 3차원 환경의 초기 디스플레이의 임계 시간(예컨대, 가상 환경을 디스플레이하는 것으로부터 3차원 환경을 디스플레이하는 것으로의 전이의 임계 시간, 제1 디스플레이 생성 컴포넌트를 켜는 임계 시간, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 물리적 환경을 보기 위해 제1 디스플레이 생성 컴포넌트를 그녀의 머리 상에 또는 그녀의 눈들 전방에 놓는 임계 시간 등) 내에 사용자의 손이 물리적 환경의 각자의 부분을 터치하고 있다는 결정에 따라 디스플레이된다. 예를 들어, 일부 실시예들에서, 사용자의 손이 물리적 환경의 각자의 부분을 터치하는 것은, 3차원 환경이 초기에 디스플레이된 후 임계 시간(예컨대, 가상 환경을 디스플레이하는 것으로부터 3차원 환경을 디스플레이하는 것으로의 전이의 임계 시간, 제1 디스플레이 생성 컴포넌트를 켜는 임계 시간, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 물리적 환경을 보기 위해 제1 디스플레이 생성 컴포넌트를 그녀의 머리 상에 또는 그녀의 눈들 전방에 놓는 임계 시간 등)이 만료된 후에 터칭이 발생하는 경우, 제1 및/또는 제2 시각적 효과의 디스플레이를 트리거하지 않을 것이다.
제1 디스플레이 생성 컴포넌트를 통한 3차원 환경의 초기 디스플레이의 임계 시간 내에 사용자의 손이 물리적 환경의 각자의 부분을 터치하고 있다는 결정에 따라 제1 시각적 효과 또는 제2 시각적 효과를 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 시각적 효과 및/또는 제2 시각적 효과의 디스플레이를 인에이블 또는 디스에이블하기 위한 추가의 디스플레이된 제어부들)로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 디스플레이 생성 컴포넌트에 의해 가상 환경을 디스플레이하는 것으로부터 제1 디스플레이 생성 컴포넌트를 통해 3차원 환경을 디스플레이하는 것으로의 전이를 검출하고, 가상 환경을 디스플레이하는 것으로부터 3차원 환경을 디스플레이하는 것으로의 전이를 검출하는 것에 응답하여, 컴퓨터 시스템은 물리적 환경의 제3 부분의 스캔에 기초하여 식별된, 물리적 환경의 제3 부분에 대응하는 3차원 환경 내의 위치에 제3 시각적 효과(예컨대, 아른거리는 시각적 효과, 성장 오버레이, 성장 와이어 메시 등)를 디스플레이한다. 일부 실시예들에서, 물리적 환경의 제3 부분의 스캔은 물리적 환경의 제3 부분 내의 하나 이상의 물리적 객체들의 표면의 특성들을 갖는 3차원 모델 등의 구성 또는 표면 스캔(예컨대, 평면의 검출, 메시의 구성 등)이다. 일부 실시예들에서, 제3 시각적 효과는 물리적 환경의 제3 부분의 공간적 특성들(예컨대, 표면 배향, 크기, 형상 등)에 대응하는 공간적 특성들(예컨대, 표면 배향, 크기, 형상 등)을 갖는다. 가상 환경을 디스플레이하는 것으로부터 3차원 환경을 디스플레이하는 것으로의 전이를 검출하는 것에 응답하여, 물리적 환경의 제3 부분의 스캔에 기초하여 식별된, 물리적 환경의 제3 부분에 대응하는 3차원 환경 내의 위치에 제3 시각적 효과를 디스플레이하는 것은, 추가 사용자 입력(예컨대, 물리적 환경의 제3 부분을 터치하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제3 시각적 효과를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 디스플레이 생성 컴포넌트가 사용자와의 제1 미리설정된 공간적 관계로 배치되게(예컨대, 디스플레이 면이 사용자를 향하는 상태로 사용자의 전방에 배치되게, 사용자의 머리 상에 배치되게 등) 하는 이동을 검출하고, 제1 디스플레이 생성 컴포넌트가 사용자와의 제1 미리설정된 공간적 관계로 배치되게 하는 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 제4 부분의 스캔에 기초하여 식별된, 물리적 환경의 제4 부분에 대응하는 3차원 환경(예컨대, 물리적 환경의 패스 스루 뷰를 디스플레이할 때, 물리적 환경의 카메라 뷰 등) 내의 위치에 제4 시각적 효과(예컨대, 아른거리는 시각적 효과, 성장 오버레이, 성장 와이어 메시 등)를 디스플레이한다. 일부 실시예들에서, 물리적 환경의 제4 부분의 스캔은 물리적 환경의 제4 부분 내의 하나 이상의 물리적 객체들의 표면의 특성들을 갖는 3차원 모델 등의 구성 또는 표면 스캔(예컨대, 평면의 검출, 메시의 구성 등)이다. 일부 실시예들에서, 제4 시각적 효과는 물리적 환경의 제4 부분의 공간적 특성들(예컨대, 표면 배향, 크기, 형상 등)에 대응하는 공간적 특성들(예컨대, 표면 배향, 크기, 형상 등)을 갖는다. 제1 디스플레이 생성 컴포넌트가 사용자와의 제1 미리설정된 공간적 관계로 배치되게 하는 이동을 검출하는 것에 응답하여, 물리적 환경의 제4 부분의 스캔에 기초하여 식별된, 물리적 환경의 제4 부분에 대응하는 3차원 환경 내의 위치에 제4 시각적 효과를 디스플레이하는 것은, 추가 사용자 입력(예컨대, 물리적 환경의 제4 부분을 터치하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제4 시각적 효과를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 10에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 부가적으로, 본 명세서에 설명된 다른 방법들(예를 들어, 방법들(8000, 9000, 11000))에 관해 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 10에 관해 위에서 설명된 방법(10000)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(10000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 오디오 출력 모드들, 기준 프레임, 시점, 물리적 환경, 물리적 환경의 표현, 3차원 환경의 뷰들, 몰입 레벨들, 시각적 효과, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 11000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 오디오 출력 모드들, 기준 프레임, 시점, 물리적 환경, 물리적 환경의 표현, 3차원 환경의 뷰들, 몰입 레벨들, 시각적 효과, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 11은 일부 실시예들에 따른, 물리적 환경의 제1 부분에 대응하는 3차원 환경 내의 위치에 대화형 사용자 인터페이스 객체를 디스플레이하고, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 위치와 물리적 환경의 제1 부분 사이의 공간에서 이동하는 사용자의 일부분의 위치에 따라 사용자 인터페이스 객체의 각자의 하위 부분의 디스플레이를 선택적으로 보류하는 방법(11000)의 흐름도이다.
일부 실시예들에서, 본 방법(11000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(11000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(11000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(11000)은, 제1 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등), 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)과 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이 컴포넌트이고, 사용자에게 CGR 경험을 제공한다. 일부 실시예들에서, 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트들, 하나 이상의 오디오 출력 디바이스들, 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트들(예컨대, 헤드업 디스플레이, 터치스크린, 독립형 디스플레이 등), 하나 이상의 출력 디바이스들(예컨대, 이어폰들, 외부 스피커들 등) 및 하나 이상의 입력 디바이스들 중 하나 이상과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트(예컨대, 서버, 스마트 폰 또는 태블릿 디바이스와 같은 모바일 전자 디바이스, 워치, 손목밴드 또는 이어폰들과 같은 웨어러블 디바이스, 데스크톱 컴퓨터, 랩톱 컴퓨터 등)를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트들 및 하나 이상의 오디오 출력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
본 방법(11000)에서, 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 3차원 환경(예컨대, 가상 현실 환경, 3차원 증강 현실 환경 등)의 뷰를 디스플레이하며, 여기에서 3차원 환경의 뷰는 제1 가상 콘텐츠(예컨대, 가상 현실 콘텐츠, 증강 현실 콘텐츠의 가상 부분 등), 및 물리적 환경의 제1 부분(예컨대, HMD가 없는 사용자의 추정 시야 내에 있는 물리적 환경의 일부분, 어떠한 가상 콘텐츠 없이 패스 스루 뷰 내에 표현되는 물리적 환경의 일부분, 사용자의 시야가 디스플레이 생성 컴포넌트의 존재 및/또는 디스플레이 생성 컴포넌트에 의해 제시된 가상 콘텐츠에 의해 가려지지 않았다면 사용자에게 보였을, 물리적 환경에서 사용자와 공간적 관계를 갖는 물리적 환경의 일부분 등)의 표현을 동시에 포함하고, 물리적 환경의 제1 부분은 제1 물리적 표면(예컨대, 테이블 또는 카운터톱(countertop)의 표면과 같은 수평 표면, 벽 또는 창문의 표면과 같은 수직 표면, 램프(ramp) 또는 슬라이드의 표면과 같은 평면형 표면, 사용자의 무릎의 표면 또는 사용자의 손바닥의 표면과 같은 만곡된 표면 등)을 포함하며, 제1 가상 콘텐츠는 물리적 환경의 제1 부분 내의 제1 물리적 표면의 위치에 대응하는 3차원 환경 내의 위치에 디스플레이되는 제1 사용자 인터페이스 객체(예컨대, 하나 이상의 선택가능 및/또는 활성화가능 사용자 인터페이스 객체들을 포함하는 사용자 인터페이스, 가상 키보드, 가상 게임 보드, 맵, 하나 이상의 제어부들(예컨대, 미디어 재생 제어부들, 홈 환경 제어부들 등)을 갖는 제어 패널 등)를 포함한다(11002). 일부 실시예들에서, 제1 사용자 인터페이스 객체는 (예컨대, 제1 사용자 인터페이스 객체가 제1 물리적 표면의 일부분의 위치에 대응하는 위치에 디스플레이되지 않았다면 그리고/또는 디스플레이 생성 컴포넌트가 물리적 환경에 대한 사용자의 뷰를 차단하고 있지 않았다면 제1 물리적 표면의 일부분이 투명 또는 반투명 디스플레이를 통해 사용자에게 보였을 경우 등) 제1 물리적 표면의 적어도 일부분의 뷰를 차단하거나, 또는 (예컨대, 제1 물리적 표면의 일부분이 제1 물리적 표면의 일부분의 위치에 대응하는 위치에서의 제1 사용자 인터페이스 객체의 디스플레이 전에 디스플레이 생성 컴포넌트에 의해 제시된 카메라 뷰의 일부였던 경우 등) 제1 물리적 표면의 표현의 적어도 일부분의 디스플레이를 대체한다. 3차원 환경(예컨대, 도 7o 내지 도 7q의 환경(7151), 또는 다른 환경 등)의 뷰를 디스플레이하는 동안, 컴퓨터 시스템은 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분(예컨대, 사용자의 손(7202), 사용자의 신체의 다른 부분들 등)을 검출하며, 여기에서 제1 위치는 3차원 환경의 뷰에 대응하는 시점(예컨대, 사용자의 얼굴 또는 눈들의 위치)과 제1 물리적 표면(예컨대, 도 7o 내지 도 7q의 표현(7014')에 의해 표현되는 물리적 객체의 상단 표면) 사이에 있다(11004). 일부 실시예들에서, 사용자의 눈들, 제1 위치에 있는 사용자의 일부분, 및 제1 물리적 표면 사이의 공간적 관계는, 제1 디스플레이 생성 컴포넌트 및/또는 제1 가상 콘텐츠가 사용자의 뷰를 차단하고 있지 않았다면 사용자의 일부분이 제1 물리적 표면의 제1 부분에 대한 사용자의 뷰를 차단하였을 것이도록 하는 것이다. 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제2 부분(예컨대, 도 7p의 가상 키보드(7152) 내의 다른 키들)의 디스플레이를 유지하면서, 제1 사용자 인터페이스 객체의 제1 부분(예컨대, 도 7p의 키(7154)의 일부분들, 및 키(7154) 위의 다른 키들 등)을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현(예컨대, 사용자의 손(7202)의 표현(7202'))이 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 한다(11006). 일부 실시예들에서, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제2 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 차단 또는 대체하였음을 보여준다. 3차원 환경의 뷰를 디스플레이하는 동안, 컴퓨터 시스템은 (예컨대, 도 7p 다음의 도 7q에 도시된 바와 같이) 제1 위치로부터 물리적 환경의 제1 부분 내의 제2 위치로의 사용자의 일부분(예컨대, 사용자의 손, 사용자의 신체의 다른 부분들 등)의 이동을 검출하며, 여기에서 제2 위치는 3차원 환경의 뷰에 대응하는 시점과 제1 물리적 표면 사이에 있다(11008). 일부 실시예들에서, 사용자의 눈들, 제2 위치에 있는 사용자의 일부분, 및 제1 물리적 표면 사이의 공간적 관계는, 디스플레이 생성 컴포넌트 및/또는 제1 가상 콘텐츠가 사용자의 뷰를 차단하고 있지 않았다면 사용자의 일부분이 제1 물리적 표면의 제2 부분에 대한 사용자의 뷰를 차단하였을 것이도록 하는 것이다. 제1 위치로부터 제2 위치(예컨대, 제1 사용자 인터페이스 객체의 제2 부분에 대응하는 위치)로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 한다(예컨대, 키(7154)의 일부분들 및 키(7154) 위의 다른 키들은 도 7q에서 복원되는 반면, 가상 키보드(7152) 내의 키(7160)는 도 7q에서 디스플레이되는 것이 중지됨)(11010). 일부 실시예들에서, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제1 부분이 더 이상 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 차단 또는 대체하였음을 보여준다.
일부 실시예들에서, 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분(예컨대, 사용자의 손, 사용자의 신체의 다른 부분들 등)을 검출하고, 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하는 동안(예컨대, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제2 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 차단 또는 대체하였음을 보여줌), 컴퓨터 시스템은 제1 사용자 인터페이스 객체를 선택하라는 요청에 대응하는, 사용자의 일부분에 의한 제1 입력을 검출한다(예컨대, 제1 입력은 제1 사용자 인터페이스 객체에 대응하는 미리설정된 선택 기준들, 제1 사용자 인터페이스 객체에 대한 인 에어 탭 제스처를 검출하기 위한 기준들, 제1 물리적 표면의 제1 부분 상에서 탭 제스처 또는 스와이프 제스처를 검출하기 위한 기준들 등을 충족시킴). 사용자의 일부분에 의한 제1 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체에 대응하는 제1 동작을 수행한다(예컨대, 텍스트 기호를 입력하기 위해 제1 사용자 인터페이스 객체를 활성화함, 디바이스 기능을 활성화함 등). 물리적 환경의 제1 부분 내의 제2 위치에서 사용자의 일부분(예컨대, 사용자의 손, 사용자의 신체의 다른 부분들 등)을 검출하고, 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 유지하는 동안(예컨대, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제1 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 차단 또는 대체하였음을 보여줌), 컴퓨터 시스템은 제1 사용자 인터페이스 객체를 선택하라는 요청에 대응하는, 사용자의 일부분에 의한 제2 입력을 검출한다(예컨대, 제2 입력은 제1 사용자 인터페이스 객체에 대응하는 미리설정된 선택 기준들, 제1 사용자 인터페이스 객체에 대한 인 에어 탭 제스처를 검출하기 위한 기준들, 제1 물리적 표면의 제2 부분 상에서 탭 제스처 또는 스와이프 제스처를 검출하기 위한 기준들 등을 충족시킴). 사용자의 일부분에 의한 제2 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체에 대응하는 제2 동작(예컨대, 제1 동작과 동일한 동작, 제1 동작과는 상이한 동작 등)을 수행한다. 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 객체는 단일 제어부(예컨대, 제1 토글 제어부, 제1 체크 박스, 제1 슬라이더, 재생/일시정지 버튼, 제1 메뉴 항목, 제1 선택가능 옵션 등)이고, 물리적 환경 내의 각자의 위치에서의(예컨대, 제1 물리적 표면의 각자의 부분 상에서의) 사용자의 손가락의 존재는, 컴퓨터 시스템으로 하여금, 제1 물리적 표면의 다른 부분(들)을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하여 디스플레이되었던 제어부의 다른 부분(들)의 디스플레이를 유지하면서, 제1 물리적 표면의 각자의 부분을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하여 디스플레이되었던 제어부의 각자의 부분의 디스플레이를 중지하게 한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체를 선택하기 위한 기준들을 충족시키는 입력이 사용자의 일부분에 의해 제공될 때 제1 사용자 인터페이스 객체의 어느 부분이 사용자의 일부분의 존재에 의해 가려지는지에 관계없이, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 선택에 대응하는 동작을 수행한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 상이한 상태들을 갖고, 제1 사용자 인터페이스 객체의 선택은 선택이 발생한 시간에 제1 사용자 인터페이스 객체의 현재 상태에 따라 상이한 동작들이 수행되게 한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는, 제1 사용자 인터페이스의 어느 부분이 각자의 유형의 입력을 수행한 사용자의 일부분에 의해 가려졌는지에 관계없이, 각자의 유형의 입력에 대한 단일 동작에 대응한다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트에 의해 디스플레이되는 선택가능 옵션의 제1 부분에 대응하는 제1 물리적 표면의 제1 부분을 탭핑하고, 디스플레이 생성 컴포넌트에 의해 디스플레이되는 동일한 선택가능 옵션의 제2 부분에 대응하는 제1 물리적 표면의 제2 부분을 탭핑하는 것은, 동일한 동작이 수행되게 한다. 일부 실시예들에서, 재생/일시정지 버튼의 제1 부분(예컨대, 재생/일시정지 버튼의 제1 부분은 재생/일시정지 버튼의 다른 부분들이 디스플레이된 상태로 유지되는 동안 가려짐)에 대응하는 제1 물리적 표면의 제1 부분을 탭핑하는 것은, 제1 물리적 표면의 제1 부분이 탭핑되는 시간에 재생/일시정지 버튼의 현재 상태가 "일시정지" 상태에 있는 경우, 현재 선택된 미디어가 재생을 시작하게 하고; 재생/일시정지 버튼의 제2 부분(예컨대, 재생/일시정지 버튼의 제2 부분은 재생/일시정지 버튼의 다른 부분들이 디스플레이된 상태로 유지되는 동안 가려짐)에 대응하는 제1 물리적 표면의 제2 부분을 탭핑하는 것은, 제1 물리적 표면의 제2 부분이 탭핑되는 시간에 재생/일시정지 버튼의 현재 상태가 "재생" 상태에 있는 경우, 현재 선택된 미디어가 재생을 정지시키게 한다. 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 동안, 그리고 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하는 동안, 제1 사용자 인터페이스 객체에 대응하는 제1 동작을 수행하고, 물리적 환경의 제1 부분 내의 제2 위치에서 사용자의 일부분을 검출하는 동안, 그리고 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 유지하는 동안, 제1 사용자 인터페이스 객체에 대응하는 제2 동작을 수행하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체의 어느 부분들이 선택을 위해 이용가능한지 및 그에 따라 제1 또는 제2 동작들 중 어느 것이 이용가능한지에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분(예컨대, 사용자의 손, 사용자의 신체의 다른 부분들 등)을 검출하고, 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하는 동안(예컨대, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제2 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 차단 또는 대체하였음을 보여줌), 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제1 부분을 선택하라는 요청에 대응하는, 사용자의 일부분에 의한 제1 입력을 검출한다. 예를 들어, 제1 입력은, 제1 입력이 제1 사용자 인터페이스 객체의 제1 부분에 대응하는 미리설정된 선택 기준들, 제1 사용자 인터페이스 객체의 제1 부분에 대한 인 에어 탭 제스처를 검출하기 위한 기준들, 또는 제1 물리적 표면의 제1 부분 상에서 탭 제스처 또는 스와이프 제스처를 검출하기 위한 기준들 등을 충족시키기 때문에, 제1 사용자 인터페이스 객체의 제1 부분을 선택하라는 요청에 대응한다. 사용자의 일부분에 의한 제1 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제1 부분에 대응하는 제1 동작을 수행한다.
물리적 환경의 제1 부분 내의 제2 위치에서 사용자의 일부분(예컨대, 사용자의 손, 사용자의 신체의 다른 부분들 등)을 검출하고, 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 유지하는 동안(예컨대, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제1 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 차단 또는 대체하였음을 보여줌), 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제2 부분을 선택하라는 요청에 대응하는, 사용자의 일부분에 의한 제2 입력을 검출한다. 예를 들어, 제2 입력은, 제2 입력이 제1 사용자 인터페이스 객체의 제2 부분에 대응하는 미리설정된 선택 기준들, 제1 사용자 인터페이스 객체의 제2 부분에 대한 인 에어 탭 제스처를 검출하기 위한 기준들, 또는 제1 물리적 표면의 제2 부분 상에서 탭 제스처 또는 스와이프 제스처를 검출하기 위한 기준들 등을 충족시키기 때문에, 제1 사용자 인터페이스 객체의 제2 부분을 선택하라는 요청에 대응한다. 사용자의 일부분에 의한 제2 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제2 부분에 대응하는, 제1 동작과는 상이한 제2 동작을 수행한다. 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 객체는 상이한 제어부들(예컨대, 상이한 키들, 상이한 선택가능 옵션들, 상이한 제어 기능들 또는 제어 유형들에 대응하는 상이한 사용자 인터페이스 객체들 등)에 대응하는 상이한 하위 부분들을 포함하고, 물리적 환경 내의 각자의 위치에서의(예컨대, 제1 물리적 표면의 각자의 부분 상에서의) 사용자의 손가락의 존재는, 컴퓨터 시스템으로 하여금, 제1 물리적 표면의 다른 부분(들)을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하여 디스플레이되었던 다른 제어부들의 디스플레이를 유지하면서, 제1 물리적 표면의 각자의 부분을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하여 디스플레이되었던 상이한 제어부들 중 각자의 하나의 적어도 일부분의 디스플레이를 중지하게 한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체의 하위 부분을 선택하기 위한 기준들을 충족시키는 입력이 사용자의 일부분에 의해 제공될 때 제1 사용자 인터페이스 객체의 어느 하위 부분이 사용자의 일부분의 존재에 의해 가려지는지에 따라, 컴퓨터 시스템은 선택된 제1 사용자 인터페이스 객체의 각자의 하위 부분에 대응하는 동작을 수행한다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트에 의해 디스플레이되는 가상 키보드의 제1 하위 부분에 대응하는 제1 물리적 표면의 제1 부분을 탭핑하고, 가상 키보드의 제2 하위 부분에 대응하는 제1 물리적 표면의 제2 부분을 탭핑하는 것은, 가상 키보드의 상이한 키들이 활성화되게 한다. 일부 실시예들에서, 재생/일시정지 버튼(예컨대, 재생/일시정지 버튼은 다른 재생 제어부들이 디스플레이된 상태로 유지되는 동안 가려짐)에 대응하는 제1 물리적 표면의 제1 부분을 탭핑하는 것은, 제1 물리적 표면의 제1 부분이 탭핑되는 시간에 재생/일시정지 버튼의 현재 상태가 "일시정지" 상태에 있는 경우, 현재 선택된 미디어가 재생을 시작하게 하고; 빨리 감기 버튼(예컨대, 빨리 감기 버튼은 다른 재생 제어부들이 디스플레이된 상태로 유지되는 동안 가려짐)에 대응하는 제1 물리적 표면의 제2 부분을 탭핑하는 것은 현재 선택된 미디어가 빨리 감기되게 한다.
물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 동안, 그리고 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하는 동안, 제1 사용자 인터페이스 객체에 대응하는 제1 동작을 수행하고, 물리적 환경의 제1 부분 내의 제2 위치에서 사용자의 일부분을 검출하는 동안, 그리고 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 유지하는 동안, 제1 사용자 인터페이스 객체에 대응하는, 제1 동작과는 상이한 제2 동작을 수행하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체의 어느 부분들이 선택을 위해 이용가능한지 및 그에 따라 제1 또는 제2 동작들 중 어느 것이 이용가능한지에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 가상 콘텐츠는 물리적 환경의 제1 부분 내의 제1 물리적 표면의 위치에 대응하는 3차원 환경 내의 위치에 디스플레이되는 제2 사용자 인터페이스 객체(예컨대, 하나 이상의 선택가능 및/또는 활성화가능 사용자 인터페이스 객체들을 포함하는 사용자 인터페이스, 가상 키보드, 가상 게임 보드, 맵, 하나 이상의 제어부들(예컨대, 미디어 재생 제어부들, 홈 환경 제어부들 등)을 갖는 제어 패널 등)를 포함한다(예컨대, 제2 사용자 인터페이스 객체는 제1 물리적 표면의 적어도 일부분의 뷰를 차단하거나 제1 물리적 표면의 표현의 적어도 일부분의 디스플레이를 대체함)(예컨대, 제2 사용자 인터페이스 객체는 3차원 환경의 뷰 내에 제1 사용자 인터페이스 객체에 인접하게, 다른 사용자 인터페이스 객체에 의해 제1 사용자 인터페이스 객체로부터 분리되어, 기타 등등하게 디스플레이됨). 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 것에 응답하여, 컴퓨터 시스템은 제2 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 제2 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제2 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제2 부분 및 제2 사용자 인터페이스 객체의 제2 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제1 부분 및 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 차단 또는 대체하였음을 보여준다. 일부 실시예들에서, 사용자의 손의 표현은 다수의 사용자 인터페이스 객체들의 일부분들(예컨대, 사용자의 손에 의해 터치되거나 호버링(hovering)되는 물리적 표면에 대응하는 위치에 디스플레이되는 가상 키보드 상의 제1 키의 일부분 및 제2 키의 일부분)을 이전에 디스플레이한 영역들을 점유한다.
물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 것에 응답하여, 제2 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 제2 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제2 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하는 것은, 제1 및 제2 사용자 인터페이스 객체들의 적절한 부분들을 디스플레이하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는 제1 사용자 인터페이스 객체의 일부분들의 디스플레이를 중지하거나 유지하기 위한 별개의 입력들 및 제2 사용자 인터페이스 객체의 일부분들의 디스플레이를 중지하거나 유지하기 위한 별개의 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분(예컨대, 사용자의 손, 사용자의 신체의 다른 부분들 등)을 검출하고, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체의 제1 부분들을 디스플레이하지 않고서, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체의 제2 부분들의 디스플레이를 유지하는 동안(예컨대, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 및 제2 사용자 인터페이스 객체들의 제2 부분들이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 및 제2 사용자 인터페이스 객체들의 제1 부분들의 디스플레이를 차단 또는 대체하였음을 보여줌), 컴퓨터 시스템은 제1 사용자 인터페이스 객체를 선택하라는 요청에 대응하는, 사용자의 일부분에 의한 제3 입력을 검출한다(예컨대, 제1 입력은 제1 사용자 인터페이스 객체에 대응하는 미리설정된 선택 기준들, 제1 사용자 인터페이스 객체에 대한 인 에어 탭 제스처를 검출하기 위한 기준들, 제1 물리적 표면의 제1 부분 상에서 탭 제스처 또는 스와이프 제스처를 검출하기 위한 기준들 등을 충족시킴)(예컨대, 제1 입력은 제2 사용자 인터페이스 객체를 선택하기 위한 요청에 대응하지 않음). 사용자의 일부분에 의한 제3 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은, 제2 사용자 인터페이스 객체에 대응하는 제4 동작을 수행하지 않고서, 제1 사용자 인터페이스 객체에 대응하는 제3 동작을 수행한다. 일부 실시예들에서, 사용자의 일부분에 의해 가려지는 모든 사용자 인터페이스 객체들이 입력에 의해 선택되는 것은 아니며, 사용자의 일부분(예컨대, 사용자의 손, 사용자의 손가락 등)의 미리설정된 부분(예컨대, 팁 부분, 상단 부분, 검지 손가락 등)의 위치에 대응하는 위치에서의 사용자 인터페이스 객체만이 사용자의 일부분에 의해 수행되는 입력에 의해 선택된다.
제1 사용자 인터페이스 객체를 선택하라는 요청에 대응하는, 사용자의 일부분에 의한 제3 입력을 검출하는 것에 응답하여, 제2 사용자 인터페이스 객체에 대응하는 제4 동작을 수행하지 않고서, 제1 사용자 인터페이스 객체에 대응하는 제3 동작을 수행하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 또는 제2 사용자 인터페이스 객체를 선택하기 위한 추가의 디스플레이된 제어부들, 제3 또는 제4 동작을 수행하기 위한 추가의 디스플레이된 제어부들 등)로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 위치로부터 제2 위치(예컨대, 제1 사용자 인터페이스 객체의 제2 부분에 대응하는 위치)로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 제2 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제2 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 및 제2 사용자 인터페이스 객체들의 제1 부분들이 더 이상 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 및 제2 사용자 인터페이스 객체들의 제2 부분들의 디스플레이를 차단 또는 대체하였음을 보여준다.
제1 위치로부터 제2 위치로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 제2 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제2 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하는 것은, 추가 사용자 입력(예컨대, 사용자의 일부분의 이동 후 제2 사용자 인터페이스의 제1 부분이 더 이상 가려지지 않는 경우 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하기 위한 추가 사용자 입력, 사용자 인터페이스 객체의 제2 부분이 사용자의 일부분의 이동에 의해 가려지는 경우 제2 사용자 인터페이스 객체의 제2 부분의 디스플레이를 중지하기 위한 추가 사용자 입력 등)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제2 사용자 인터페이스 객체의 적절한 부분들을 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 위치로부터 제2 위치(예컨대, 제1 사용자 인터페이스 객체의 제2 부분에 대응하는 위치)로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하지 않고서, 제2 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하여서, 사용자의 일부분의 표현이 제2 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제1 부분 및 제2 사용자 인터페이스 객체들의 제2 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제2 부분 및 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 차단 또는 대체하였음을 보여준다. 예를 들어, 일부 실시예들에서, 사용자의 일부분의 이동은 사용자의 일부분에 의해 이전에 차단된 제2 가상 제어부의 동일한 부분을 계속 차단하면서, 사용자의 일부분에 의해 이전에 차단된 제1 가상 제어부의 제1 부분을 차단하는 것을 중지할 수 있다. 제1 위치로부터 제2 위치로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하지 않고서, 제2 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하여서, 사용자의 일부분의 표현이 제2 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하는 것은, 추가 사용자 입력(예컨대, 제2 사용자 인터페이스 객체의 제2 부분이 제1 위치 또는 제2 위치에서(또는 제1 위치로부터 제2 위치로의 사용자의 일부분의 이동 동안) 사용자의 일부분에 의해 가려지지 않는 경우 제2 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하기 위한 추가 사용자 입력, 제1 위치로부터 제2 위치로의 사용자의 일부분의 이동에도 불구하고 제2 사용자 인터페이스 객체의 제1 부분이 가려진 상태로 유지되는 경우 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이의 복원을 방지하기 위한 추가 사용자 입력 등)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제2 사용자 인터페이스 객체의 적절한 부분들을 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치로부터 오프셋되는(예컨대, 가상 광원의 위치에 기초하는 거리만큼 그리고/또는 방향으로 오프셋되는) 3차원 환경의 뷰 내의 제3 위치에 사용자의 일부분의 시뮬레이션된 그림자를 디스플레이한다(예컨대, 제1 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제2 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 그리고 제1 사용자 인터페이스 객체의 제3 부분(예컨대, 제1 사용자 인터페이스 객체의 제2 부분 또는 그의 일부, 및/또는 제1 사용자 인터페이스 객체의 제3 부분 등을 포함함)이 사용자의 일부분의 시뮬레이션된 그림자의 결과로서 어두워지고/지거나 흐릿해지는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 차단 또는 대체하였음을 보여줌). 제1 위치로부터 제2 위치(예컨대, 제1 사용자 인터페이스 객체의 제2 부분에 대응하는 위치)로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치로부터 오프셋되는(예컨대, 가상 광원의 위치에 기초하는 거리만큼 그리고/또는 방향으로 오프셋되는) 3차원 환경의 뷰 내의 제4 위치에 사용자의 일부분의 시뮬레이션된 그림자를 디스플레이한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통한 뷰는, 제1 사용자 인터페이스 객체의 제1 부분이 사용자의 일부분의 표현의 존재에 의해 차단 또는 대체되지 않는 동안, 그리고 제1 사용자 인터페이스 객체의 제4 부분(예컨대, 제1 사용자 인터페이스 객체의 제1 부분 또는 그의 일부, 및/또는 제1 사용자 인터페이스 객체의 제5 부분 등을 포함함)이 사용자의 일부분의 시뮬레이션된 그림자의 결과로서 어두워지는 동안, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 차단 또는 대체하였음을 보여준다. 예를 들어, 일부 실시예들에서, 제1 물리적 표면의 표현을 오버레이하고/하거나 그의 디스플레이를 대체하고/하거나 차단하여 디스플레이되는 사용자 인터페이스 객체들의 일부분(들)을 시각적으로 가리는 사용자의 일부분의 표현은 물리적 환경에서의 사용자의 일부분의 이동에 따라 3차원 환경의 뷰에서 이동하는 시뮬레이션된 그림자와 함께 디스플레이되고, 시뮬레이션된 그림자는 사용자의 일부분의 표현에 의해 시각적으로 가려지는 사용자 인터페이스 객체들의 일부분들로부터 오프셋되는 사용자 인터페이스 객체들의 각자의 부분들의 외관을 변화시킨다(예컨대, 어둡게 함, 덜 선명하게 함, 디밍(dimming)함 등). 일부 실시예들에서, 시뮬레이션된 그림자는 물리적 환경에 대한 사용자의 손의 위치에 따라 상이한 외관 속성들, 예컨대, 손이 제1 사용자 인터페이스 객체의 위치에 대응하는 위치에 더 가까울 때, 더 어두운, 덜 흐릿한, 및/또는 더 잘 정의된 등의 외관 속성을, 그리고 손이 제1 사용자 인터페이스 객체의 위치에 대응하는 위치로부터 더 멀리 떨어져 있을 때, 더 밝은, 더 흐릿한, 및/또는 덜 잘 정의된 등의 외관 속성을 갖는다.
물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치로부터 오프셋되는 3차원 환경의 뷰 내의 제3 위치에 사용자의 일부분의 시뮬레이션된 그림자를 디스플레이하고, 제1 위치로부터 제2 위치로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치로부터 오프셋되는 3차원 환경의 뷰 내의 제4 위치에 사용자의 일부분의 시뮬레이션된 그림자를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백을 제공한다(예컨대, 사용자의 일부분의 검출된 위치에 관한 개선된 시각적 피드백을 제공하기 위해 시뮬레이션된 그림자를 사용함). 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체는, 적어도 제1 키(예컨대, 제1 텍스트 기호를 입력하기 위한 키, 제1 디바이스 또는 애플리케이션 기능을 활성화하기 위한 키 등) 및 제1 키와는 상이한 제2 키(예컨대, 제2 텍스트 기호를 입력하기 위한 키, 제2 디바이스 또는 애플리케이션 기능을 활성화하기 위한 키 등)를 포함하는 가상 키보드이며, 제1 사용자 인터페이스 객체의 제1 부분은 제1 키에 대응하고(예컨대, 제1 사용자 인터페이스 객체의 제1 부분은 제2 키가 아니라 제1 키를 디스플레이함), 제1 사용자 인터페이스 객체의 제2 부분은 제2 키에 대응한다(예컨대, 제1 사용자 인터페이스 객체의 제2 부분은 제1 키가 아니라 제2 키를 디스플레이함). 일부 실시예들에서, 사용자의 손가락의 표현이 제1 사용자 인터페이스 객체의 제1 부분(및 선택적으로, 제3 키에 대응하는 제1 사용자 인터페이스 객체의 제3 부분)을 시각적으로 가리는 동안 제1 사용자 인터페이스 객체의 제1 부분의 선택은 제1 키와 연관된 문자 또는 기능이 선택되게(예컨대, 텍스트 입력 영역에 입력되게, 수행되게 등) 한다. 일부 실시예들에서, 사용자의 손가락의 표현이 제1 사용자 인터페이스 객체의 제2 부분(및 선택적으로, 제3 키에 대응하는 제1 사용자 인터페이스 객체의 제3 부분)을 시각적으로 가리는 동안 제1 사용자 인터페이스 객체의 제2 부분의 선택은 제2 키와 연관된 문자 또는 기능이 선택되게(예컨대, 텍스트 입력 영역에 입력되게, 수행되게 등) 한다.
물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하고, 제1 위치로부터 제2 위치로의 사용자의 일부분의 이동을 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 사용자의 일부분의 표현이 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하는 것 - 제1 사용자 인터페이스 객체는, 적어도 제1 키 및 제1 키와는 상이한 제2 키를 포함하는 가상 키보드이며, 제1 사용자 인터페이스 객체의 제1 부분은 제1 키에 대응하고, 제1 사용자 인터페이스 객체의 제2 부분은 제2 키에 대응함 - 은, 추가 사용자 입력(예컨대, 사용자의 일부분이 이동함에 따라 가상 키보드의 특정 키들을 디스플레이하거나 그의 디스플레이를 복원하거나 또는 그를 디스플레이하는 것을 중지하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 가상 키보드의 적절한 키들을 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 11에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 부가적으로, 본 명세서에 설명된 다른 방법들(예를 들어, 방법들(8000, 9000, 10000))에 관해 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 11에 관해 위에서 설명된 방법(11000)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(11000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 오디오 출력 모드들, 기준 프레임, 시점, 물리적 환경, 물리적 환경의 표현, 3차원 환경의 뷰들, 몰입 레벨들, 시각적 효과, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 10000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 오디오 출력 모드들, 기준 프레임, 시점, 물리적 환경, 물리적 환경의 표현, 3차원 환경의 뷰들, 몰입 레벨들, 시각적 효과, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 8, 도 9, 도 10 및 도 11을 참조하여 전술된 동작들은, 선택적으로, 도 1 내지 도 6에 도시된 컴포넌트들에 의해 구현된다. 일부 실시예들에서, 방법들(8000, 9000, 10000, 11000)의 태양들/동작들은 이들 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.
Claims (89)
- 방법으로서,
제1 디스플레이 생성 컴포넌트, 하나 이상의 오디오 출력 디바이스들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 컴퓨터 생성 환경을 디스플레이하는 단계;
상기 3차원 컴퓨터 생성 환경을 디스플레이하는 동안, 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하는 단계 - 상기 제1 컴퓨터 생성 콘텐츠는 제1 시각적 콘텐츠 및 상기 제1 시각적 콘텐츠에 대응하는 제1 오디오 콘텐츠를 포함함 -; 및
상기 제1 컴퓨터 생성 콘텐츠를 제시하라는 상기 요청에 대응하는 상기 제1 이벤트를 검출하는 것에 응답하여,
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제1 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 컴퓨터 생성 환경의 제1 부분을 점유함 -, 상기 3차원 환경의 제1 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하며;
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제2 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 환경의 제1 부분보다 큰 상기 3차원 컴퓨터 생성 환경의 제2 부분을 점유함 -, 상기 3차원 환경의 제2 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하고, 상기 제1 오디오 출력 모드와는 상이한 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 단계 - 상기 제1 오디오 출력 모드 대신에 상기 제2 오디오 출력 모드를 사용하는 것은 상기 제1 오디오 콘텐츠의 몰입 레벨을 변경함 - 를 포함하는, 방법. - 제1항에 있어서,
상기 제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것은 물리적 환경 내의 제1 세트의 위치들에 각각 위치된 제1 세트의 음원들을 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것을 포함하고;
상기 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것은 상기 물리적 환경 내의 제2 세트의 위치들에 각각 위치된 제2 세트의 음원들을 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것을 포함하고, 상기 제2 세트의 음원들은 상기 제1 세트의 음원들과는 상이한, 방법. - 제2항에 있어서, 상기 제2 세트의 음원들은 상기 제1 세트의 음원들, 및 상기 제1 세트의 음원들에 포함되지 않는 하나 이상의 추가 음원들을 포함하는, 방법.
- 제2항 또는 제3항에 있어서, 상기 제2 세트의 위치들은 상기 물리적 환경에서 상기 제1 세트의 위치들보다 더 넓은 영역에 걸쳐 있는, 방법.
- 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것은 상기 제1 오디오 콘텐츠와 상기 제1 시각적 콘텐츠 사이의 미리설정된 대응에 따라 상기 제1 오디오 콘텐츠를 출력하는 것을 포함하고, 상기 미리설정된 대응은 상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 가상 객체들의 각자의 공간적 위치들과 독립적이며;
상기 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것은 상기 제1 오디오 콘텐츠와 상기 제1 시각적 콘텐츠 사이의 상기 미리설정된 대응에 따라 그리고 상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 상기 가상 객체들의 각자의 공간적 위치들에 따라 상기 제1 오디오 콘텐츠를 출력하는 것을 포함하는, 방법. - 제5항에 있어서, 상기 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것은,
상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 제1 가상 객체가 상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 시점과 제1 공간적 관계를 갖는다는 결정에 따라, 상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 상기 제1 오디오 콘텐츠의 제1 부분을 상기 제1 공간적 관계에 대응하는 오디오 정위(localization)로 출력하는 것; 및
상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰 내의 상기 제1 가상 객체가 상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 상기 시점과 제2 공간적 관계를 갖는다는 결정에 따라, 상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 상기 제1 오디오 콘텐츠의 제1 부분을 상기 제2 공간적 관계에 대응하는 오디오 정위로 출력하는 것을 포함하며, 상기 제1 공간적 관계는 상기 제2 공간적 관계와는 상이하고, 상기 제1 공간적 관계에 대응하는 상기 오디오 정위는 상기 제2 공간적 관계에 대응하는 상기 오디오 정위와는 상이한, 방법. - 제5항 또는 제6항에 있어서, 상기 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것은,
상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰가 상기 제1 시각적 콘텐츠에 묘사된 3차원 환경에서의 제1 시점에 대응한다는 결정에 따라, 상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 상기 제1 오디오 콘텐츠의 제1 부분을 상기 제1 시점에 대응하는 오디오 정위로 출력하는 것; 및
상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰가 상기 제1 시각적 콘텐츠에 묘사된 상기 3차원 환경에서의 제2 시점에 대응한다는 결정에 따라, 상기 제1 시각적 콘텐츠의 현재 디스플레이된 뷰에 대응하는 상기 제1 오디오 콘텐츠의 제1 부분을 상기 제2 시점에 대응하는 오디오 정위로 출력하는 것을 포함하며, 상기 제1 시점은 상기 제2 시점과는 상이하고, 상기 제1 시점에 대응하는 상기 오디오 정위는 상기 제2 시점에 대응하는 상기 오디오 정위와는 상이한, 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨로 제시하는 동안, 상기 제1 컴퓨터 생성 콘텐츠를 상기 제2 몰입 레벨로 제시하라는 요청에 대응하는 제2 이벤트를 검출하는 단계; 및
상기 제1 컴퓨터 생성 콘텐츠를 상기 제2 몰입 레벨로 제시하라는 상기 요청에 대응하는 상기 제2 이벤트를 검출하는 것에 응답하여, 상기 3차원 환경 내에 디스플레이되고 있는 상기 제1 시각적 콘텐츠의 공간적 범위를 확장시키고, 상기 제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것으로부터 상기 제2 오디오 출력 모드로 스위칭하는 단계를 포함하는, 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 생성 콘텐츠를 상기 제2 몰입 레벨로 제시하는 동안, 상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨로 제시하라는 요청에 대응하는 제3 이벤트를 검출하는 단계; 및
상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨로 제시하라는 상기 요청에 대응하는 상기 제3 이벤트를 검출하는 것에 응답하여, 상기 3차원 환경 내에 디스플레이되고 있는 상기 제1 시각적 콘텐츠의 공간적 범위를 감소시키고, 상기 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것으로부터 상기 제1 오디오 출력 모드로 스위칭하는 단계를 포함하는, 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 제1 시각적 콘텐츠는 가상 환경을 묘사하는, 방법.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 제1 시각적 콘텐츠는 상기 디스플레이 생성 컴포넌트를 통해 상기 제1 시각적 콘텐츠와 동시에 디스플레이되는 물리적 환경 내의 물리적 위치들에 대응하는 3차원 환경 내의 각자의 공간적 위치들을 갖는 하나 이상의 가상 객체들을 묘사하는, 방법.
- 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 3차원 환경의 제1 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하는 것은 상기 3차원 환경의 제1 부분 내의 경계지어진 디스플레이 영역 내에 상기 제1 시각적 콘텐츠를 디스플레이하는 것을 포함하고;
제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것은 상기 제1 오디오 콘텐츠를 공간 오디오로서 출력하는 것을 포함하는, 방법. - 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 3차원 환경의 제2 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하는 것은 상기 3차원 환경의 제2 부분 내의 경계지어진 디스플레이 영역을 사용하지 않고서 상기 3차원 환경의 제2 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하는 것을 포함하고;
제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하는 것은 상기 제1 오디오 콘텐츠를 공간 오디오로서 출력하는 것을 포함하는, 방법. - 제1항 내지 제13항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨 및 상기 제2 몰입 레벨 중 하나로 제시하는 동안, 상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨 및 상기 제2 몰입 레벨 중 상이한 하나로 제시하라는 요청에 대응하는 제4 이벤트를 검출하는 단계; 및
상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨 및 상기 제2 몰입 레벨 중 상기 상이한 하나로 제시하라는 상기 요청에 대응하는 상기 제4 이벤트를 검출하는 것에 응답하여,
상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경의 표현을 가리는 가상 콘텐츠의 양을 변경하는 애니메이션화된 전이를 디스플레이하고;
상기 애니메이션화된 전이를 디스플레이하는 것과 함께, 상기 제1 오디오 출력 모드 및 상기 제2 오디오 출력 모드 중 하나를 사용하여 상기 제1 오디오 콘텐츠를 재생하는 것으로부터 상기 제1 오디오 출력 모드 및 상기 제2 오디오 출력 모드 중 상이한 하나를 사용하여 상기 오디오 콘텐츠를 재생하는 것으로 스위칭하는 단계를 포함하는, 방법. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 오디오 출력 디바이스들;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 컴퓨터 생성 환경을 디스플레이하기 위한;
상기 3차원 컴퓨터 생성 환경을 디스플레이하는 동안, 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하기 위한 - 상기 제1 컴퓨터 생성 콘텐츠는 제1 시각적 콘텐츠 및 상기 제1 시각적 콘텐츠에 대응하는 제1 오디오 콘텐츠를 포함함 -; 그리고
상기 제1 컴퓨터 생성 콘텐츠를 제시하라는 상기 요청에 대응하는 상기 제1 이벤트를 검출하는 것에 응답하여,
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제1 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 컴퓨터 생성 환경의 제1 부분을 점유함 -, 상기 3차원 환경의 제1 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하며;
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제2 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 환경의 제1 부분보다 큰 상기 3차원 컴퓨터 생성 환경의 제2 부분을 점유함 -, 상기 3차원 환경의 제2 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하고, 상기 제1 오디오 출력 모드와는 상이한 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하기 위한 - 상기 제1 오디오 출력 모드 대신에 상기 제2 오디오 출력 모드를 사용하는 것은 상기 제1 오디오 콘텐츠의 몰입 레벨을 변경함 - 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트, 하나 이상의 오디오 디바이스들, 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 컴퓨터 생성 환경을 디스플레이하게 하는;
상기 3차원 컴퓨터 생성 환경을 디스플레이하는 동안, 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하게 하는 - 상기 제1 컴퓨터 생성 콘텐츠는 제1 시각적 콘텐츠 및 상기 제1 시각적 콘텐츠에 대응하는 제1 오디오 콘텐츠를 포함함 -; 그리고
상기 제1 컴퓨터 생성 콘텐츠를 제시하라는 상기 요청에 대응하는 상기 제1 이벤트를 검출하는 것에 응답하여,
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제1 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 컴퓨터 생성 환경의 제1 부분을 점유함 -, 상기 3차원 환경의 제1 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하게 하고, 제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하게 하며;
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제2 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 환경의 제1 부분보다 큰 상기 3차원 컴퓨터 생성 환경의 제2 부분을 점유함 -, 상기 3차원 환경의 제2 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하게 하고, 상기 제1 오디오 출력 모드와는 상이한 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하게 하는 - 상기 제1 오디오 출력 모드 대신에 상기 제2 오디오 출력 모드를 사용하는 것은 상기 제1 오디오 콘텐츠의 몰입 레벨을 변경함 - 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 오디오 디바이스들;
하나 이상의 입력 디바이스들;
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 컴퓨터 생성 환경을 디스플레이하기 위한 수단;
상기 3차원 컴퓨터 생성 환경을 디스플레이하는 동안 인에이블되어, 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하기 위한 수단 - 상기 제1 컴퓨터 생성 콘텐츠는 제1 시각적 콘텐츠 및 상기 제1 시각적 콘텐츠에 대응하는 제1 오디오 콘텐츠를 포함함 -; 및
상기 제1 컴퓨터 생성 콘텐츠를 제시하라는 상기 요청에 대응하는 상기 제1 이벤트를 검출하는 것에 응답하여,
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제1 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 컴퓨터 생성 환경의 제1 부분을 점유함 -, 상기 3차원 환경의 제1 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하며;
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제2 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 환경의 제1 부분보다 큰 상기 3차원 컴퓨터 생성 환경의 제2 부분을 점유함 -, 상기 3차원 환경의 제2 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하고, 상기 제1 오디오 출력 모드와는 상이한 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하기 위한 수단 - 상기 제1 오디오 출력 모드 대신에 상기 제2 오디오 출력 모드를 사용하는 것은 상기 제1 오디오 콘텐츠의 몰입 레벨을 변경함 - 을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트, 하나 이상의 오디오 디바이스들, 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 컴퓨터 생성 환경을 디스플레이하기 위한 수단;
상기 3차원 컴퓨터 생성 환경을 디스플레이하는 동안 인에이블되어, 제1 컴퓨터 생성 콘텐츠를 제시하라는 요청에 대응하는 제1 이벤트를 검출하기 위한 수단 - 상기 제1 컴퓨터 생성 콘텐츠는 제1 시각적 콘텐츠 및 상기 제1 시각적 콘텐츠에 대응하는 제1 오디오 콘텐츠를 포함함 -; 및
상기 제1 컴퓨터 생성 콘텐츠를 제시하라는 상기 요청에 대응하는 상기 제1 이벤트를 검출하는 것에 응답하여,
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 제1 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제1 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 컴퓨터 생성 환경의 제1 부분을 점유함 -, 상기 3차원 환경의 제1 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하고, 제1 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하며;
상기 제1 이벤트가 상기 제1 컴퓨터 생성 콘텐츠를 상기 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 제시하라는 각자의 요청에 대응한다는 결정에 따라 - 상기 제2 몰입 레벨로 제시되는 상기 제1 컴퓨터 생성 콘텐츠는 상기 3차원 환경의 제1 부분보다 큰 상기 3차원 컴퓨터 생성 환경의 제2 부분을 점유함 -, 상기 3차원 환경의 제2 부분 내에 상기 제1 시각적 콘텐츠를 디스플레이하고, 상기 제1 오디오 출력 모드와는 상이한 제2 오디오 출력 모드를 사용하여 상기 제1 오디오 콘텐츠를 출력하기 위한 수단 - 상기 제1 오디오 출력 모드 대신에 상기 제2 오디오 출력 모드를 사용하는 것은 상기 제1 오디오 콘텐츠의 몰입 레벨을 변경함 - 을 포함하는, 정보 프로세싱 장치. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 오디오 디바이스들;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트, 하나 이상의 오디오 디바이스들, 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제1항 내지 제14항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 제1 디스플레이 생성 컴포넌트, 하나 이상의 오디오 디바이스들, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제1항 내지 제14항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 오디오 디바이스들;
하나 이상의 입력 디바이스들; 및
제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트, 하나 이상의 오디오 디바이스들, 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템에서,
상기 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경의 뷰를 디스플레이하는 단계;
상기 컴퓨터 생성 환경을 디스플레이하는 동안 그리고 상기 컴퓨터 생성 환경이, 사용자가 위치되는 물리적 환경에 존재하는 제1 물리적 객체의 제1 부분의 시각적 표현을 포함하지 않는 동안, 상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하는 단계; 및
상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하는 것에 응답하여,
상기 사용자가 상기 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 상기 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라 - 상기 미리설정된 기준들은 상기 사용자로부터의 상기 제1 물리적 객체의 거리 이외의 상기 제1 물리적 객체의 미리설정된 특성과 관련된 요건을 포함함 -, 상기 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분의 외관을 변경하고 - 상기 제1 물리적 객체의 제1 부분 및 상기 물리적 객체의 제2 부분 둘 모두는, 상기 컴퓨터 생성 환경에 대한 상기 사용자의 시야에 기초하여 상기 사용자에게 잠재적으로 보이는 상기 제1 물리적 객체의 범위의 일부임 -;
상기 사용자가 상기 사용자를 둘러싸는 상기 물리적 환경에 존재하는 상기 제1 물리적 객체의 임계 거리 내에 있고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것을 보류하는 단계를 포함하는, 방법. - 제24항에 있어서, 상기 제1 물리적 객체의 제1 부분 및 상기 제1 물리적 객체의 제2 부분은 상기 제1 물리적 객체의 연속적인 부분들인, 방법.
- 제24항 또는 제25항에 있어서, 상기 제1 물리적 객체의 제1 부분에 대응하는 상기 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분 및 상기 제1 물리적 객체의 제2 부분에 대응하는 상기 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분은 동일한 가상 객체의 각자의 부분들을 포함하는, 방법.
- 제24항 내지 제26항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 제2 부분에 대응하는 상기 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 상기 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분의 외관을 변경하는 것은,
상기 가상 콘텐츠의 디스플레이를 유지하는 동안, 상기 제1 물리적 객체의 제2 부분에 대응하는 상기 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분에 제1 시각적 효과를 적용하지 않고서, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 상기 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분에 상기 제1 시각적 효과를 적용하는 것을 포함하는, 방법. - 제24항 내지 제27항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 미리설정된 특성은 사람과 사람이 아닌 물리적 객체들을 구별하는 제1 특성을 포함하고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시킨다고 결정하는 것은 상기 제1 물리적 객체 상에서 상기 제1 특성의 존재를 검출하는 것을 포함하는, 방법.
- 제24항 내지 제28항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 미리설정된 특성은 상기 제1 물리적 객체가 상기 사용자를 향해 이동하고 있음에 따라 상기 제1 물리적 객체로부터 나오는 인간 스피치(human speech)를 나타내는 제2 특성을 포함하고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시킨다고 결정하는 것은 상기 제1 물리적 객체의 위치에서 상기 제2 특성을 검출하는 것을 포함하는, 방법.
- 제24항 내지 제27항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 미리설정된 특성은 동물을 사람 및 사람이 아닌 물리적 객체들과 구별하는 제3 특성을 포함하고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시킨다고 결정하는 것은 상기 제1 물리적 객체 상에서 상기 제3 특성의 존재를 검출하는 것을 포함하는, 방법.
- 제24항 내지 제30항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 미리설정된 특성은 상기 제1 물리적 객체의 이동 속도에 기초하는 제4 특성을 포함하고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시킨다고 결정하는 것은 상기 제1 물리적 객체의 제4 특성의 특성 값이 미리설정된 임계 값을 초과하는 것을 검출하는 것을 포함하는, 방법.
- 제24항 내지 제31항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 미리설정된 특성은 상기 사용자의 즉각적인 주의를 요구하는 이벤트의 발생을 나타내는 제5 특성을 포함하고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시킨다고 결정하는 것은 상기 제1 물리적 객체 상에서 상기 제5 특성의 존재를 검출하는 것을 포함하는, 방법.
- 제24항 내지 제32항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 미리설정된 특성은 상기 제1 물리적 객체 상의 식별자 객체의 존재를 나타내는 제6 특성을 포함하고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시킨다고 결정하는 것은 상기 제1 물리적 객체에 대응하는 위치에서 상기 제6 특성의 존재를 검출하는 것을 포함하는, 방법.
- 제24항 내지 제33항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 미리설정된 특성은 상기 제1 물리적 객체의 이동 패턴에 기초하는 제7 특성을 포함하고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시킨다고 결정하는 것은 상기 제1 물리적 객체의 이동 패턴에 기초한 상기 제7 특성이 미리설정된 기준들을 충족시키는 것을 검출하는 것을 포함하는, 방법.
- 제24항 내지 제34항 중 어느 한 항에 있어서, 상기 제1 물리적 객체의 미리설정된 특성은 상기 제1 물리적 객체의 인식된 아이덴티티(identity)와 제1 미리설정된 아이덴티티 사이의 매칭에 기초하는 제8 특성을 포함하고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시킨다고 결정하는 것은 상기 제8 특성이 미리설정된 기준들을 충족시키는 것을 검출하는 것을 포함하는, 방법.
- 제24항 내지 제35항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 환경은 상기 사용자를 둘러싸는 물리적 환경의 표현을 동시에 포함하지 않고서 가상 환경을 포함하는, 방법.
- 제24항 내지 제35항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 환경은 상기 가상 콘텐츠와 동시에 디스플레이되는 상기 물리적 환경의 표현을 포함하는 증강 현실 환경을 포함하고, 상기 가상 콘텐츠의 외관의 변화는 상기 가상 콘텐츠에 인접한 영역들에 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 물리적 환경의 표현의 일부분과 동시에 디스플레이되는, 방법.
- 컴퓨터 시스템으로서,
디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경의 뷰를 디스플레이하기 위한;
상기 컴퓨터 생성 환경을 디스플레이하는 동안 그리고 상기 컴퓨터 생성 환경이, 사용자가 위치되는 물리적 환경에 존재하는 제1 물리적 객체의 제1 부분의 시각적 표현을 포함하지 않는 동안, 상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하기 위한; 그리고
상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하는 것에 응답하여,
상기 사용자가 상기 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 상기 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라 - 상기 미리설정된 기준들은 상기 사용자로부터의 상기 제1 물리적 객체의 거리 이외의 상기 제1 물리적 객체의 미리설정된 특성과 관련된 요건을 포함함 -, 상기 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분의 외관을 변경하고 - 상기 제1 물리적 객체의 제1 부분 및 상기 물리적 객체의 제2 부분 둘 모두는, 상기 컴퓨터 생성 환경에 대한 상기 사용자의 시야에 기초하여 상기 사용자에게 잠재적으로 보이는 상기 제1 물리적 객체의 범위의 일부임 -;
상기 사용자가 상기 사용자를 둘러싸는 상기 물리적 환경에 존재하는 상기 제1 물리적 객체의 임계 거리 내에 있고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것을 보류하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
상기 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경의 뷰를 디스플레이하게 하는;
상기 컴퓨터 생성 환경을 디스플레이하는 동안 그리고 상기 컴퓨터 생성 환경이, 사용자가 위치되는 물리적 환경에 존재하는 제1 물리적 객체의 제1 부분의 시각적 표현을 포함하지 않는 동안, 상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하게 하는; 그리고
상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하는 것에 응답하여,
상기 사용자가 상기 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 상기 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라 - 상기 미리설정된 기준들은 상기 사용자로부터의 상기 제1 물리적 객체의 거리 이외의 상기 제1 물리적 객체의 미리설정된 특성과 관련된 요건을 포함함 -, 상기 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분의 외관을 변경하게 하고 - 상기 제1 물리적 객체의 제1 부분 및 상기 물리적 객체의 제2 부분 둘 모두는, 상기 컴퓨터 생성 환경에 대한 상기 사용자의 시야에 기초하여 상기 사용자에게 잠재적으로 보이는 상기 제1 물리적 객체의 범위의 일부임 -;
상기 사용자가 상기 사용자를 둘러싸는 상기 물리적 환경에 존재하는 상기 제1 물리적 객체의 임계 거리 내에 있고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것을 보류하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 컴퓨터 시스템으로서,
디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
상기 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경의 뷰를 디스플레이하기 위한 수단;
상기 컴퓨터 생성 환경을 디스플레이하는 동안 그리고 상기 컴퓨터 생성 환경이, 사용자가 위치되는 물리적 환경에 존재하는 제1 물리적 객체의 제1 부분의 시각적 표현을 포함하지 않는 동안 인에이블되어, 상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하기 위한 수단; 및
상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하는 것에 응답하여 인에이블되어,
상기 사용자가 상기 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 상기 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라 - 상기 미리설정된 기준들은 상기 사용자로부터의 상기 제1 물리적 객체의 거리 이외의 상기 제1 물리적 객체의 미리설정된 특성과 관련된 요건을 포함함 -, 상기 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분의 외관을 변경하고 - 상기 제1 물리적 객체의 제1 부분 및 상기 물리적 객체의 제2 부분 둘 모두는, 상기 컴퓨터 생성 환경에 대한 상기 사용자의 시야에 기초하여 상기 사용자에게 잠재적으로 보이는 상기 제1 물리적 객체의 범위의 일부임 -;
상기 사용자가 상기 사용자를 둘러싸는 상기 물리적 환경에 존재하는 상기 제1 물리적 객체의 임계 거리 내에 있고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것을 보류하기 위한 수단을 포함하는, 컴퓨터 시스템. - 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
상기 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경의 뷰를 디스플레이하기 위한 수단;
상기 컴퓨터 생성 환경을 디스플레이하는 동안 그리고 상기 컴퓨터 생성 환경이, 사용자가 위치되는 물리적 환경에 존재하는 제1 물리적 객체의 제1 부분의 시각적 표현을 포함하지 않는 동안 인에이블되어, 상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하기 위한 수단; 및
상기 물리적 환경에서의 상기 제1 물리적 객체의 제1 이동을 검출하는 것에 응답하여 인에이블되어,
상기 사용자가 상기 제1 물리적 객체의 제1 부분의 임계 거리 내에 있고, 상기 제1 물리적 객체가 미리설정된 기준들을 충족시킨다는 결정에 따라 - 상기 미리설정된 기준들은 상기 사용자로부터의 상기 제1 물리적 객체의 거리 이외의 상기 제1 물리적 객체의 미리설정된 특성과 관련된 요건을 포함함 -, 상기 제1 물리적 객체의 제2 부분에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하지 않고서, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 상기 가상 콘텐츠의 일부분의 외관을 변경하고 - 상기 제1 물리적 객체의 제1 부분 및 상기 물리적 객체의 제2 부분 둘 모두는, 상기 컴퓨터 생성 환경에 대한 상기 사용자의 시야에 기초하여 상기 사용자에게 잠재적으로 보이는 상기 제1 물리적 객체의 범위의 일부임 -;
상기 사용자가 상기 사용자를 둘러싸는 상기 물리적 환경에 존재하는 상기 제1 물리적 객체의 임계 거리 내에 있고, 상기 제1 물리적 객체가 상기 미리설정된 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 물리적 객체의 제1 부분의 현재 위치에 대응하는 위치에 디스플레이되는 가상 콘텐츠의 일부분의 외관을 변경하는 것을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 컴퓨터 시스템으로서,
디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제24항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제24항 내지 제37항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제24항 내지 제37항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들; 및
제24항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제24항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
상기 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하는 단계;
상기 물리적 환경의 표현을 포함하는 상기 3차원 환경을 디스플레이하는 동안, 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하는 것을 검출하는 단계; 및
상기 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여,
상기 사용자의 손이 상기 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제1 부분에 대응하는 상기 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이하고;
상기 사용자의 손이 상기 물리적 환경의 제1 부분과는 상이한 상기 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제2 부분에 대응하는 상기 3차원 환경 내의 위치에 제2 시각적 효과를 디스플레이하는 단계를 포함하는, 방법. - 제47항에 있어서,
상기 제1 시각적 효과는, 시선 입력이 상기 물리적 환경의 제1 부분으로 지향되는 것과 함께 상기 사용자의 손이 상기 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라 디스플레이되고,
상기 제2 시각적 효과는, 상기 시선 입력이 상기 물리적 환경의 제2 부분으로 지향되는 것과 함께 상기 사용자의 손이 상기 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라 디스플레이되는, 방법. - 제47항 또는 제48항에 있어서,
상기 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여,
상기 사용자의 손이 상기 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 상기 제1 시각적 효과가 적용되는 영역을 상기 사용자의 손에 의해 터치되는 상기 물리적 환경의 제1 부분에 대응하는 상기 3차원 환경 내의 상기 위치로부터 확장시키고;
상기 사용자의 손이 상기 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 상기 제2 시각적 효과가 적용되는 영역을 상기 사용자의 손에 의해 터치되는 상기 물리적 환경의 제2 부분에 대응하는 상기 3차원 환경 내의 상기 위치로부터 확장시키는 단계를 포함하는, 방법. - 제47항 내지 제49항 중 어느 한 항에 있어서, 상기 제1 시각적 효과는 상기 제1 시각적 효과가 적용되는 영역의 제1 애니메이션화된 시각적 변화들을 포함하고, 상기 제2 시각적 효과는 상기 제2 시각적 효과가 적용되는 영역의 제2 애니메이션화된 시각적 변화들을 포함하는, 방법.
- 제47항 내지 제50항 중 어느 한 항에 있어서, 상기 물리적 환경의 제1 부분 및 상기 물리적 환경의 제2 부분은 연장된 물리적 표면의 상이한 부분들에 대응하고, 상기 제1 시각적 효과는 상기 제2 시각적 효과와는 상이한, 방법.
- 제51항에 있어서, 상기 제1 시각적 효과 및 상기 제2 시각적 효과는 제1 베이스라인 시각적 효과에 따라 생성되고, 상기 제1 시각적 효과 및 상기 제2 시각적 효과는 상기 제1 베이스라인 시각적 효과에 따라 생성되는 상이한 애니메이션들을 포함하는, 방법.
- 제47항 내지 제52항 중 어느 한 항에 있어서, 상기 제1 시각적 효과는 상기 물리적 환경의 제1 부분 내의 물리적 표면 상에서 상기 사용자의 손의 터치 다운을 검출하는 것에 응답하여 디스플레이되고, 상기 제2 시각적 효과는 상기 물리적 환경의 제2 부분 내의 물리적 표면 상에서 상기 사용자의 손의 터치 다운을 검출하는 것에 응답하여 디스플레이되는, 방법.
- 제47항 내지 제53항 중 어느 한 항에 있어서,
상기 사용자의 손이 상기 물리적 환경의 제1 부분과의 접촉을 유지하는 동안 상기 제1 시각적 효과의 디스플레이를 유지하는 단계를 포함하는, 방법. - 제54항에 있어서,
상기 사용자의 손이 상기 물리적 환경의 제1 부분과의 접촉을 중지하는 것을 검출하는 것에 응답하여 상기 제1 시각적 효과의 디스플레이를 중지하는 단계를 포함하는, 방법. - 제54항에 있어서, 상기 제1 시각적 효과는 제1 애니메이션화된 시각적 변화들을 포함하고, 상기 방법은,
상기 사용자의 손이 상기 물리적 환경의 제1 부분과의 접촉을 중지하는 것을 검출하는 것에 응답하여 상기 제1 애니메이션화된 변화들의 디스플레이를 중지하는 단계; 및
상기 제1 애니메이션화된 변화들의 디스플레이를 중지한 후에 상기 제1 애니메이션화된 변화들의 제1 정적 표현을 디스플레이하는 단계를 포함하는, 방법. - 제47항 내지 제54항 중 어느 한 항에 있어서, 상기 제1 시각적 효과 및 상기 제2 시각적 효과는 상기 물리적 환경의 적어도 상기 각자의 부분의 공간적 표현을 생성하는 프로세스의 애니메이션화된 표현을 포함하는, 방법.
- 제47항 내지 제57항 중 어느 한 항에 있어서, 상기 제1 시각적 효과는 상기 물리적 환경의 제1 부분에 대응하는 상기 3차원 환경 내의 상기 위치로부터 시작하여, 상기 물리적 환경의 제1 부분에 대응하지 않는 상기 3차원 환경 내의 영역으로 확장되는, 방법.
- 제47항 내지 제58항 중 어느 한 항에 있어서, 상기 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제1 부분에 대응하는 상기 3차원 환경 내의 상기 위치에 상기 제1 시각적 효과를 디스플레이하는 것은 상기 물리적 환경의 제1 부분에서 식별된 제1 표면에 대응하는 가상 표면을 가로질러 가상 조명을 이동시키는 것을 포함하는, 방법.
- 제47항 내지 제59항 중 어느 한 항에 있어서, 상기 제1 시각적 효과 또는 상기 제2 시각적 효과는 상기 제1 디스플레이 생성 컴포넌트를 통한 상기 3차원 환경의 초기 디스플레이의 임계 시간 내에 상기 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하고 있다는 결정에 따라 디스플레이되는, 방법.
- 제47항 내지 제60항 중 어느 한 항에 있어서,
상기 제1 디스플레이 생성 컴포넌트에 의해 가상 환경을 디스플레이하는 것으로부터 상기 제1 디스플레이 생성 컴포넌트를 통해 상기 3차원 환경을 디스플레이하는 것으로의 전이를 검출하는 단계; 및
상기 가상 환경을 디스플레이하는 것으로부터 상기 3차원 환경을 디스플레이하는 것으로의 상기 전이를 검출하는 것에 응답하여, 상기 물리적 환경의 제3 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제3 부분에 대응하는 상기 3차원 환경 내의 위치에 제3 시각적 효과를 디스플레이하는 단계를 포함하는, 방법. - 제47항 내지 제61항 중 어느 한 항에 있어서,
상기 제1 디스플레이 생성 컴포넌트가 상기 사용자와의 제1 미리설정된 공간적 관계로 배치되게 하는 이동을 검출하는 단계; 및
상기 제1 디스플레이 생성 컴포넌트가 상기 사용자와의 상기 제1 미리설정된 공간적 관계로 배치되게 하는 상기 이동을 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 물리적 환경의 제4 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제4 부분에 대응하는 상기 3차원 환경 내의 위치에 제4 시각적 효과를 디스플레이하는 단계를 포함하는, 방법. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
상기 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하기 위한;
상기 물리적 환경의 표현을 포함하는 상기 3차원 환경을 디스플레이하는 동안, 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하는 것을 검출하기 위한; 그리고
상기 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여,
상기 사용자의 손이 상기 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제1 부분에 대응하는 상기 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이하고;
상기 사용자의 손이 상기 물리적 환경의 제1 부분과는 상이한 상기 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제2 부분에 대응하는 상기 3차원 환경 내의 위치에 제2 시각적 효과를 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
상기 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하게 하는;
상기 물리적 환경의 표현을 포함하는 상기 3차원 환경을 디스플레이하는 동안, 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하는 것을 검출하게 하는; 그리고
상기 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여,
상기 사용자의 손이 상기 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제1 부분에 대응하는 상기 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이하게 하고;
상기 사용자의 손이 상기 물리적 환경의 제1 부분과는 상이한 상기 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제2 부분에 대응하는 상기 3차원 환경 내의 위치에 제2 시각적 효과를 디스플레이하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
상기 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하기 위한 수단;
상기 물리적 환경의 표현을 포함하는 상기 3차원 환경을 디스플레이하는 동안 인에이블되어, 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하는 것을 검출하기 위한 수단; 및
상기 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여 인에이블되어,
상기 사용자의 손이 상기 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제1 부분에 대응하는 상기 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이하고;
상기 사용자의 손이 상기 물리적 환경의 제1 부분과는 상이한 상기 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제2 부분에 대응하는 상기 3차원 환경 내의 위치에 제2 시각적 효과를 디스플레이하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
상기 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이하기 위한 수단;
상기 물리적 환경의 표현을 포함하는 상기 3차원 환경을 디스플레이하는 동안 인에이블되어, 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하는 것을 검출하기 위한 수단; 및
상기 사용자의 손이 상기 물리적 환경의 각자의 부분을 터치하고 있다는 것을 검출하는 것에 응답하여 인에이블되어,
상기 사용자의 손이 상기 물리적 환경의 제1 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제1 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제1 부분에 대응하는 상기 3차원 환경 내의 위치에 제1 시각적 효과를 디스플레이하고;
상기 사용자의 손이 상기 물리적 환경의 제1 부분과는 상이한 상기 물리적 환경의 제2 부분을 터치하고 있다는 결정에 따라, 상기 물리적 환경의 제2 부분의 스캔에 기초하여 식별된, 상기 물리적 환경의 제2 부분에 대응하는 상기 3차원 환경 내의 위치에 제2 시각적 효과를 디스플레이하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제47항 내지 제62항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제47항 내지 제62항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 제1 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제47항 내지 제62항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들; 및
제47항 내지 제62항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제47항 내지 제62항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 환경의 뷰를 디스플레이하는 단계 - 상기 3차원 환경의 뷰는 제1 가상 콘텐츠, 및 물리적 환경의 제1 부분의 표현을 동시에 포함하고, 상기 물리적 환경의 제1 부분은 제1 물리적 표면을 포함하며, 상기 제1 가상 콘텐츠는 상기 물리적 환경의 제1 부분 내의 상기 제1 물리적 표면의 위치에 대응하는 상기 3차원 환경 내의 위치에 디스플레이되는 제1 사용자 인터페이스 객체를 포함함 -;
상기 3차원 환경의 뷰를 디스플레이하는 동안, 상기 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하는 단계 - 상기 제1 위치는 상기 3차원 환경의 뷰에 대응하는 시점과 상기 제1 물리적 표면 사이에 있음 -;
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 상기 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하는 단계;
상기 3차원 환경의 뷰를 디스플레이하는 동안, 상기 제1 위치로부터 상기 물리적 환경의 제1 부분 내의 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 단계 - 상기 제2 위치는 상기 3차원 환경의 뷰에 대응하는 상기 시점과 상기 제1 물리적 표면 사이에 있음 -; 및
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 상기 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하는 단계를 포함하는, 방법. - 제72항에 있어서,
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하고, 상기 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하지 않고서, 상기 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하는 동안, 상기 제1 사용자 인터페이스 객체를 선택하라는 요청에 대응하는, 상기 사용자의 일부분에 의한 제1 입력을 검출하는 단계;
상기 사용자의 일부분에 의한 상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체에 대응하는 제1 동작을 수행하는 단계;
상기 물리적 환경의 제1 부분 내의 상기 제2 위치에서 상기 사용자의 일부분을 검출하고, 상기 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하지 않고서, 상기 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 유지하는 동안, 상기 제1 사용자 인터페이스 객체를 선택하라는 상기 요청에 대응하는, 상기 사용자의 일부분에 의한 제2 입력을 검출하는 단계; 및
상기 사용자의 일부분에 의한 상기 제2 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체에 대응하는 제2 동작을 수행하는 단계를 포함하는, 방법. - 제72항에 있어서,
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하고, 상기 제1 사용자 인터페이스의 제1 부분을 디스플레이하지 않고서, 상기 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하는 동안, 상기 제1 사용자 인터페이스 객체의 제1 부분을 선택하라는 요청에 대응하는, 상기 사용자의 일부분에 의한 제1 입력을 검출하는 단계;
상기 사용자의 일부분에 의한 상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제1 부분에 대응하는 제1 동작을 수행하는 단계;
상기 물리적 환경의 제1 부분 내의 상기 제2 위치에서 상기 사용자의 일부분을 검출하고, 상기 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하지 않고서, 상기 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 유지하는 동안, 상기 제1 사용자 인터페이스 객체의 제2 부분을 선택하라는 상기 요청에 대응하는, 상기 사용자의 일부분에 의한 제2 입력을 검출하는 단계; 및
상기 사용자의 일부분에 의한 상기 제2 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제2 부분에 대응하는, 상기 제1 동작과는 상이한 제2 동작을 수행하는 단계를 포함하는, 방법. - 제72항 내지 제74항 중 어느 한 항에 있어서, 상기 제1 가상 콘텐츠는 상기 물리적 환경의 제1 부분 내의 상기 제1 물리적 표면의 위치에 대응하는 상기 3차원 환경 내의 위치에 디스플레이되는 제2 사용자 인터페이스 객체를 포함하고, 상기 방법은,
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하는 것에 응답하여, 상기 제2 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 상기 제2 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제2 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하는 단계를 포함하는, 방법. - 제75항에 있어서,
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하고, 상기 제1 사용자 인터페이스 객체 및 상기 제2 사용자 인터페이스 객체의 제1 부분들을 디스플레이하지 않고서, 상기 제1 사용자 인터페이스 객체 및 상기 제2 사용자 인터페이스 객체의 제2 부분들의 디스플레이를 유지하는 동안, 상기 제1 사용자 인터페이스 객체를 선택하라는 요청에 대응하는, 상기 사용자의 일부분에 의한 제3 입력을 검출하는 단계; 및
상기 사용자의 일부분에 의한 상기 제3 입력을 검출하는 것에 응답하여, 상기 제2 사용자 인터페이스 객체에 대응하는 제4 동작을 수행하지 않고서, 상기 제1 사용자 인터페이스 객체에 대응하는 제3 동작을 수행하는 단계를 포함하는, 방법. - 제75항 또는 제76항에 있어서,
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 것에 응답하여, 상기 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 상기 제2 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제2 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하는 단계를 포함하는, 방법. - 제75항 또는 제76항에 있어서,
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 것에 응답하여, 상기 제2 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하지 않고서, 상기 제2 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하여서, 상기 사용자의 일부분의 표현이 상기 제2 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 상기 위치에서 보이게 하는 단계를 포함하는, 방법. - 제72항 내지 제78항 중 어느 한 항에 있어서,
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 상기 위치로부터 오프셋되는 상기 3차원 환경의 뷰 내의 제3 위치에 상기 사용자의 일부분의 시뮬레이션된 그림자를 디스플레이하는 단계; 및
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 상기 위치로부터 오프셋되는 상기 3차원 환경의 뷰 내의 제4 위치에 상기 사용자의 일부분의 시뮬레이션된 그림자를 디스플레이하는 단계를 포함하는, 방법. - 제72항 내지 제79항 중 어느 한 항에 있어서, 상기 제1 사용자 인터페이스 객체는, 적어도 제1 키 및 상기 제1 키와는 상이한 제2 키를 포함하는 가상 키보드이며, 상기 제1 사용자 인터페이스 객체의 제1 부분은 상기 제1 키에 대응하고, 상기 제1 사용자 인터페이스 객체의 제2 부분은 상기 제2 키에 대응하는, 방법.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 환경의 뷰를 디스플레이하기 위한 - 상기 3차원 환경의 뷰는 제1 가상 콘텐츠, 및 물리적 환경의 제1 부분의 표현을 동시에 포함하고, 상기 물리적 환경의 제1 부분은 제1 물리적 표면을 포함하며, 상기 제1 가상 콘텐츠는 상기 물리적 환경의 제1 부분 내의 상기 제1 물리적 표면의 위치에 대응하는 상기 3차원 환경 내의 위치에 디스플레이되는 제1 사용자 인터페이스 객체를 포함함 -;
상기 3차원 환경의 뷰를 디스플레이하는 동안, 상기 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하기 위한 - 상기 제1 위치는 상기 3차원 환경의 뷰에 대응하는 시점과 상기 제1 물리적 표면 사이에 있음 -;
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 상기 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하기 위한;
상기 3차원 환경의 뷰를 디스플레이하는 동안, 상기 제1 위치로부터 상기 물리적 환경의 제1 부분 내의 제2 위치로의 상기 사용자의 일부분의 이동을 검출하기 위한 - 상기 제2 위치는 상기 3차원 환경의 뷰에 대응하는 상기 시점과 상기 제1 물리적 표면 사이에 있음 -; 그리고
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 상기 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 환경의 뷰를 디스플레이하게 하는 - 상기 3차원 환경의 뷰는 제1 가상 콘텐츠, 및 물리적 환경의 제1 부분의 표현을 동시에 포함하고, 상기 물리적 환경의 제1 부분은 제1 물리적 표면을 포함하며, 상기 제1 가상 콘텐츠는 상기 물리적 환경의 제1 부분 내의 상기 제1 물리적 표면의 위치에 대응하는 상기 3차원 환경 내의 위치에 디스플레이되는 제1 사용자 인터페이스 객체를 포함함 -;
상기 3차원 환경의 뷰를 디스플레이하는 동안, 상기 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하게 하는 - 상기 제1 위치는 상기 3차원 환경의 뷰에 대응하는 시점과 상기 제1 물리적 표면 사이에 있음 -;
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 상기 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하게 하는;
상기 3차원 환경의 뷰를 디스플레이하는 동안, 상기 제1 위치로부터 상기 물리적 환경의 제1 부분 내의 제2 위치로의 상기 사용자의 일부분의 이동을 검출하게 하는 - 상기 제2 위치는 상기 3차원 환경의 뷰에 대응하는 상기 시점과 상기 제1 물리적 표면 사이에 있음 -; 그리고
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 상기 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 환경의 뷰를 디스플레이하기 위한 수단 - 상기 3차원 환경의 뷰는 제1 가상 콘텐츠, 및 물리적 환경의 제1 부분의 표현을 동시에 포함하고, 상기 물리적 환경의 제1 부분은 제1 물리적 표면을 포함하며, 상기 제1 가상 콘텐츠는 상기 물리적 환경의 제1 부분 내의 상기 제1 물리적 표면의 위치에 대응하는 상기 3차원 환경 내의 위치에 디스플레이되는 제1 사용자 인터페이스 객체를 포함함 -;
상기 3차원 환경의 뷰를 디스플레이하는 동안 인에이블되어, 상기 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하기 위한 수단 - 상기 제1 위치는 상기 3차원 환경의 뷰에 대응하는 시점과 상기 제1 물리적 표면 사이에 있음 -;
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하는 것에 응답하여 인에이블되어, 상기 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 상기 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하기 위한 수단;
상기 3차원 환경의 뷰를 디스플레이하는 동안 인에이블되어, 상기 제1 위치로부터 상기 물리적 환경의 제1 부분 내의 제2 위치로의 상기 사용자의 일부분의 이동을 검출하기 위한 수단 - 상기 제2 위치는 상기 3차원 환경의 뷰에 대응하는 상기 시점과 상기 제1 물리적 표면 사이에 있음 -; 및
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 것에 응답하여 인에이블되어, 상기 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 상기 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
상기 제1 디스플레이 생성 컴포넌트를 통해, 3차원 환경의 뷰를 디스플레이하기 위한 수단 - 상기 3차원 환경의 뷰는 제1 가상 콘텐츠, 및 물리적 환경의 제1 부분의 표현을 동시에 포함하고, 상기 물리적 환경의 제1 부분은 제1 물리적 표면을 포함하며, 상기 제1 가상 콘텐츠는 상기 물리적 환경의 제1 부분 내의 상기 제1 물리적 표면의 위치에 대응하는 상기 3차원 환경 내의 위치에 디스플레이되는 제1 사용자 인터페이스 객체를 포함함 -;
상기 3차원 환경의 뷰를 디스플레이하는 동안 인에이블되어, 상기 물리적 환경의 제1 부분 내의 제1 위치에서 사용자의 일부분을 검출하기 위한 수단 - 상기 제1 위치는 상기 3차원 환경의 뷰에 대응하는 시점과 상기 제1 물리적 표면 사이에 있음 -;
상기 물리적 환경의 제1 부분 내의 상기 제1 위치에서 상기 사용자의 일부분을 검출하는 것에 응답하여 인에이블되어, 상기 제1 사용자 인터페이스 객체의 제2 부분의 디스플레이를 유지하면서, 상기 제1 사용자 인터페이스 객체의 제1 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제1 부분을 이전에 디스플레이한 위치에서 보이게 하기 위한 수단;
상기 3차원 환경의 뷰를 디스플레이하는 동안 인에이블되어, 상기 제1 위치로부터 상기 물리적 환경의 제1 부분 내의 제2 위치로의 상기 사용자의 일부분의 이동을 검출하기 위한 수단 - 상기 제2 위치는 상기 3차원 환경의 뷰에 대응하는 상기 시점과 상기 제1 물리적 표면 사이에 있음 -; 및
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 일부분의 이동을 검출하는 것에 응답하여 인에이블되어, 상기 제1 사용자 인터페이스 객체의 제1 부분의 디스플레이를 복원하고, 상기 제1 사용자 인터페이스 객체의 제2 부분을 디스플레이하는 것을 중지하여서, 상기 사용자의 일부분의 표현이 상기 제1 사용자 인터페이스 객체의 제2 부분을 이전에 디스플레이한 위치에서 보이게 하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제72항 내지 제80항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제72항 내지 제80항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 제1 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제72항 내지 제80항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들; 및
제72항 내지 제80항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제72항 내지 제80항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063082933P | 2020-09-24 | 2020-09-24 | |
| US63/082,933 | 2020-09-24 | ||
| US17/483,722 | 2021-09-23 | ||
| US17/483,722 US11615596B2 (en) | 2020-09-24 | 2021-09-23 | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| PCT/US2021/052016 WO2022067075A1 (en) | 2020-09-24 | 2021-09-24 | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230048554A true KR20230048554A (ko) | 2023-04-11 |
Family
ID=80740702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237008878A KR20230048554A (ko) | 2020-09-24 | 2021-09-24 | 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11615596B2 (ko) |
| EP (1) | EP4196867A1 (ko) |
| JP (1) | JP2023542847A (ko) |
| KR (1) | KR20230048554A (ko) |
| CN (2) | CN117008720A (ko) |
| WO (1) | WO2022067075A1 (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
| WO2020203832A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社ソニー・インタラクティブエンタテインメント | 境界表示制御装置、境界表示制御方法及びプログラム |
| US11340756B2 (en) | 2019-09-27 | 2022-05-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11830119B1 (en) * | 2020-05-29 | 2023-11-28 | Apple Inc. | Modifying an environment based on sound |
| US11567625B2 (en) | 2020-09-24 | 2023-01-31 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| KR20220058698A (ko) * | 2020-10-29 | 2022-05-10 | 삼성디스플레이 주식회사 | 전자 장치 |
| US20230113125A1 (en) * | 2021-10-08 | 2023-04-13 | Jpmorgan Chase Bank, N.A. | Systems and methods for dynamic detection and presentation of obscured real-world objects in augmented or mixed reality virtual content |
| WO2023141535A1 (en) * | 2022-01-19 | 2023-07-27 | Apple Inc. | Methods for displaying and repositioning objects in an environment |
| JP2024034133A (ja) * | 2022-08-31 | 2024-03-13 | 株式会社Ｊｖｃケンウッド | 提供装置および提供方法 |
| WO2024063786A1 (en) * | 2022-09-21 | 2024-03-28 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments |
| US20240104843A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | Methods for depth conflict mitigation in a three-dimensional environment |
| WO2024085998A1 (en) * | 2022-10-21 | 2024-04-25 | Meta Platforms Technologies, Llc | Activation of partial pass-through on an artificial reality device |
Family Cites Families (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5528735A (en) | 1993-03-23 | 1996-06-18 | Silicon Graphics Inc. | Method and apparatus for displaying data within a three-dimensional information landscape |
| US6480210B1 (en) | 1999-06-30 | 2002-11-12 | Koninklijke Philips Electronics N.V. | Video browsing space |
| JP2002073246A (ja) | 2000-08-25 | 2002-03-12 | Minolta Co Ltd | 映像表示システム |
| US20100241525A1 (en) | 2009-03-18 | 2010-09-23 | Microsoft Corporation | Immersive virtual commerce |
| US8405680B1 (en) | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
| US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
| JP2012155655A (ja) | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
| KR101896947B1 (ko) | 2011-02-23 | 2018-10-31 | 엘지이노텍 주식회사 | 제스쳐를 이용한 입력 장치 및 방법 |
| US20120254791A1 (en) | 2011-03-31 | 2012-10-04 | Apple Inc. | Interactive menu elements in a virtual three-dimensional space |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| WO2013180966A1 (en) | 2012-05-30 | 2013-12-05 | Kopin Corporation | Head -worn computer with improved virtual display function |
| CN104508600B (zh) | 2012-07-27 | 2017-06-13 | 日本电气方案创新株式会社 | 三维用户界面装置及三维操作方法 |
| US20140282220A1 (en) | 2013-03-14 | 2014-09-18 | Tim Wantland | Presenting object models in augmented reality images |
| US9741169B1 (en) | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
| US9690374B2 (en) | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
| US10620437B2 (en) * | 2016-05-25 | 2020-04-14 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for presentation of images from camera concurrently with presentation of virtual reality content |
| US9906885B2 (en) * | 2016-07-15 | 2018-02-27 | Qualcomm Incorporated | Methods and systems for inserting virtual sounds into an environment |
| US20180095636A1 (en) | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
| US10262036B2 (en) | 2016-12-29 | 2019-04-16 | Microsoft Technology Licensing, Llc | Replacing pronouns with focus-specific objects in search queries |
| US10261595B1 (en) | 2017-05-19 | 2019-04-16 | Facebook Technologies, Llc | High resolution tracking and response to hand gestures through three dimensions |
| US10304239B2 (en) | 2017-07-20 | 2019-05-28 | Qualcomm Incorporated | Extended reality virtual assistant |
| US10262446B2 (en) * | 2017-07-26 | 2019-04-16 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to alter presentation of virtual rendition based on real world object |
| DK180470B1 (en) | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
| KR102552403B1 (ko) | 2017-09-29 | 2023-07-07 | 애플 인크. | 물리적 경계 검출 |
| CN107992814A (zh) | 2017-11-28 | 2018-05-04 | 北京小米移动软件有限公司 | 对象寻找方法及装置 |
| US11709541B2 (en) * | 2018-05-08 | 2023-07-25 | Apple Inc. | Techniques for switching between immersion levels |
| CN112105983B (zh) * | 2018-05-08 | 2023-07-07 | 苹果公司 | 增强的视觉能力 |
| US11494988B2 (en) | 2018-05-22 | 2022-11-08 | Agilent Technologies, Inc. | Method and system for implementing augmented reality (AR)-based assistance within work environment |
| EP3584695B1 (en) * | 2018-06-20 | 2022-08-10 | Nokia Technologies Oy | An apparatus and associated methods for presentation of first and second virtual-or-augmented reality content |
| US10607083B2 (en) * | 2018-07-19 | 2020-03-31 | Microsoft Technology Licensing, Llc | Selectively alerting users of real objects in a virtual environment |
| US10740918B2 (en) | 2018-09-12 | 2020-08-11 | Dell Products, L.P. | Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications |
| US11032532B2 (en) * | 2018-10-04 | 2021-06-08 | Samsung Electronics Co., Ltd. | Electronic device and method for providing virtual device via at least portion of content |
| US10725308B1 (en) * | 2018-10-08 | 2020-07-28 | Facebook Technologies, Llc | Dynamic attenuator for combining real world and virtual content |
| EP3693846A1 (en) * | 2019-02-06 | 2020-08-12 | Nokia Technologies Oy | An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user |
| US11086475B1 (en) | 2019-06-07 | 2021-08-10 | Facebook Technologies, Llc | Artificial reality systems with hand gesture-contained content window |
| US11231827B2 (en) * | 2019-08-03 | 2022-01-25 | Qualcomm Incorporated | Computing device and extended reality integration |
| US11340756B2 (en) | 2019-09-27 | 2022-05-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11861674B1 (en) | 2019-10-18 | 2024-01-02 | Meta Platforms Technologies, Llc | Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems |
| US20210233341A1 (en) * | 2020-01-23 | 2021-07-29 | Eric Hayes | Digital identification validation system |
| US11436828B1 (en) | 2020-06-02 | 2022-09-06 | State Farm Mutual Automobile Insurance Company | Insurance inventory and claim generation |
| US11567625B2 (en) | 2020-09-24 | 2023-01-31 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
-
2021
- 2021-09-23 US US17/483,722 patent/US11615596B2/en active Active
- 2021-09-24 JP JP2023515649A patent/JP2023542847A/ja active Pending
- 2021-09-24 WO PCT/US2021/052016 patent/WO2022067075A1/en unknown
- 2021-09-24 CN CN202310732253.7A patent/CN117008720A/zh active Pending
- 2021-09-24 CN CN202180065408.5A patent/CN116348837A/zh active Pending
- 2021-09-24 EP EP21799406.0A patent/EP4196867A1/en active Pending
- 2021-09-24 KR KR1020237008878A patent/KR20230048554A/ko active Search and Examination
-
2023
- 2023-02-08 US US18/107,375 patent/US20230186578A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4196867A1 (en) | 2023-06-21 |
| US20230186578A1 (en) | 2023-06-15 |
| WO2022067075A1 (en) | 2022-03-31 |
| JP2023542847A (ja) | 2023-10-12 |
| US20220092862A1 (en) | 2022-03-24 |
| CN116348837A (zh) | 2023-06-27 |
| US11615596B2 (en) | 2023-03-28 |
| CN117008720A (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11615596B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11340756B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11562528B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| AU2024202670A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11922590B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11567625B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| KR20230037054A (ko) | 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| CN117957581A (zh) | 用于与三维环境交互的设备、方法和图形用户界面 | |
| KR20240091224A (ko) | 사용자의 표현을 생성 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| CN117999534A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |