KR20230047184A - 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 - Google Patents
3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 Download PDFInfo
- Publication number
- KR20230047184A KR20230047184A KR1020237008484A KR20237008484A KR20230047184A KR 20230047184 A KR20230047184 A KR 20230047184A KR 1020237008484 A KR1020237008484 A KR 1020237008484A KR 20237008484 A KR20237008484 A KR 20237008484A KR 20230047184 A KR20230047184 A KR 20230047184A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- environment
- view
- interface object
- computer
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims description 271
- 230000000007 visual effect Effects 0.000 claims abstract description 270
- 230000004044 response Effects 0.000 claims abstract description 204
- 230000009471 action Effects 0.000 claims abstract description 112
- 230000033001 locomotion Effects 0.000 claims description 707
- 238000007654 immersion Methods 0.000 claims description 293
- 230000001953 sensory effect Effects 0.000 claims description 223
- 230000004438 eyesight Effects 0.000 claims description 170
- 230000004308 accommodation Effects 0.000 claims description 150
- 230000006870 function Effects 0.000 claims description 100
- 230000008859 change Effects 0.000 claims description 78
- 230000004297 night vision Effects 0.000 claims description 62
- 230000005855 radiation Effects 0.000 claims description 48
- 230000014509 gene expression Effects 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 36
- 230000001965 increasing effect Effects 0.000 claims description 36
- 238000003860 storage Methods 0.000 claims description 36
- 230000002829 reductive effect Effects 0.000 claims description 34
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 34
- 238000006073 displacement reaction Methods 0.000 claims description 29
- 230000036387 respiratory rate Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 20
- 238000007667 floating Methods 0.000 claims description 20
- 230000007704 transition Effects 0.000 claims description 19
- 230000036541 health Effects 0.000 claims description 15
- 230000010365 information processing Effects 0.000 claims description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 11
- 230000002250 progressing effect Effects 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 7
- 230000001976 improved effect Effects 0.000 description 111
- 210000001508 eye Anatomy 0.000 description 105
- 230000003190 augmentative effect Effects 0.000 description 69
- 210000003811 finger Anatomy 0.000 description 62
- 238000013507 mapping Methods 0.000 description 46
- 210000003813 thumb Anatomy 0.000 description 43
- 210000003128 head Anatomy 0.000 description 38
- 238000010586 diagram Methods 0.000 description 33
- 210000004247 hand Anatomy 0.000 description 29
- 230000036772 blood pressure Effects 0.000 description 27
- 230000035945 sensitivity Effects 0.000 description 26
- 230000036760 body temperature Effects 0.000 description 24
- 238000009826 distribution Methods 0.000 description 23
- 241001465754 Metazoa Species 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 230000009187 flying Effects 0.000 description 19
- 210000000707 wrist Anatomy 0.000 description 19
- 230000000694 effects Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 230000009184 walking Effects 0.000 description 18
- 210000001747 pupil Anatomy 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 15
- 230000002708 enhancing effect Effects 0.000 description 14
- 230000035790 physiological processes and functions Effects 0.000 description 14
- 230000036651 mood Effects 0.000 description 13
- 230000000386 athletic effect Effects 0.000 description 12
- 210000004369 blood Anatomy 0.000 description 12
- 239000008280 blood Substances 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 230000009183 running Effects 0.000 description 12
- 230000003247 decreasing effect Effects 0.000 description 11
- 239000003814 drug Substances 0.000 description 11
- 229940079593 drug Drugs 0.000 description 11
- 239000000126 substance Substances 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 9
- 238000005562 fading Methods 0.000 description 9
- 230000003213 activating effect Effects 0.000 description 8
- 230000009194 climbing Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 8
- -1 802.3x Chemical compound 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 7
- 239000005556 hormone Substances 0.000 description 7
- 229940088597 hormone Drugs 0.000 description 7
- 230000037323 metabolic rate Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 210000002966 serum Anatomy 0.000 description 7
- 210000000617 arm Anatomy 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000006213 oxygenation reaction Methods 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 4
- 230000002459 sustained effect Effects 0.000 description 4
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000005057 finger movement Effects 0.000 description 3
- 239000008103 glucose Substances 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 230000009182 swimming Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 241000555745 Sciuridae Species 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000002350 accommodative effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000016339 iris pattern Diseases 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000112598 Pseudoblennius percoides Species 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 206010041235 Snoring Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Digital Computer Display Output (AREA)
Abstract
컴퓨터 시스템은 제1 사용자 인터페이스 객체를 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유되는 3차원 환경의 제1 뷰 내의 제1 위치에 제1 외관으로 디스플레이한다. 제1 사용자 인터페이스 객체를 디스플레이하는 동안, 컴퓨터 시스템은 제1 사용자에 의한 제1 사용자 입력을 검출한다. 제1 사용자 입력을 검출하는 것에 응답하여, 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 컴퓨터 시스템은 제1 동작을 수행하고; 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있다는 결정에 따라, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체의 외관 또는 위치를 변경하는 것을 포함하여, 제1 사용자 인터페이스 객체가 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하고, 제1 동작을 수행하는 것을 보류한다.
Description
관련 출원
본 출원은 2020년 9월 25일자로 출원된 미국 가특허 출원 제63/083,816호에 대한 우선권을 주장하는 2021년 9월 23일자로 출원된 미국 특허 출원 제17/483,730호의 계속 출원이며, 이들 각각은 전체적으로 참고로 포함된다.
기술분야
본 개시내용은, 대체적으로, 디스플레이를 통해 가상 현실 및 혼합 현실 경험들을 제공하는 전자 디바이스들을 포함하지만 이에 제한되지 않는, 컴퓨터 생성 현실(CGR) 경험들을 제공하는 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 관한 것이다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치-감응형 표면들, 및 터치-스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
그러나, 적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 개시된 시스템들, 방법들 및 사용자 인터페이스들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 그러한 시스템들, 방법들 및 인터페이스들은, 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 시스템들, 방법들 및 사용자 인터페이스들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 접속을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행된다. 본 방법은, 제1 사용자 인터페이스 객체를 3차원 환경의 제1 뷰 내에 디스플레이하는 단계 - 3차원 환경은 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유되고, 제1 사용자 인터페이스 객체는 3차원 환경의 제1 뷰 내의 제1 위치에 제1 세트의 외관 속성들로 디스플레이됨 -; 및 제1 사용자 인터페이스 객체를 3차원 환경의 제1 뷰 내의 제1 위치에 제1 세트의 외관 속성들로 디스플레이하는 동안, 제1 사용자에 의해 제공되는 제1 사용자 입력을 검출하는 단계 - 제1 사용자 입력은 제1 사용자 인터페이스 객체에 대한 것임 - 를 포함한다. 본 방법은, 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행하고; 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있다는 결정에 따라, 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하고 - 시각적 표시를 디스플레이하는 것은 3차원 환경의 제1 뷰에서 제1 사용자 인터페이스 객체의 외관 또는 제1 사용자 인터페이스 객체의 위치 중 적어도 하나를 변경하는 것을 포함함 -; 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행하는 것을 보류하는 단계를 추가로 포함한다.
일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되며, 본 방법은, 제1 사용자가 제1 물리적 환경 내의 제1 위치에 있는 동안, 제1 물리적 환경 내의 제1 위치와 연관되는 제1 시점에 대응하는 3차원 환경의 제1 뷰를 디스플레이하는 단계 - 3차원 환경의 제1 뷰는 제1 물리적 환경과는 상이한 제2 물리적 환경 내의 제1 객체를 표현하는 제1 사용자 인터페이스 객체를 포함하고, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치는 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응함 -; 제1 물리적 환경에서의 제1 사용자의 이동 및 제2 물리적 환경에서의 제1 객체의 이동 중 적어도 하나를 검출하는 단계; 및 제1 물리적 환경에서의 제1 사용자의 이동 및 제2 물리적 환경에서의 제1 객체의 이동 중 적어도 하나를 검출하는 것에 응답하여, 제2 시점에 대응하는 3차원 환경의 제2 뷰를 디스플레이하고; 제1 사용자 인터페이스 객체를 3차원 환경의 제2 뷰 내에 디스플레이하는 단계를 포함한다. 제1 사용자 인터페이스 객체를 3차원 환경의 제2 뷰 내에 디스플레이하는 것은, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치인, 3차원 환경의 제2 뷰 내의 제1 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것; 및 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 미만이라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는, 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것을 포함한다.
일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되며, 본 방법은, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 단계; 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 동안, 제1 사용자에 대응하는 생체측정 데이터를 수신하는 단계; 및 제1 사용자에 대응하는 생체측정 데이터를 수신하는 것에 응답하여, 제1 사용자에 대응하는 생체측정 데이터가 제1 기준들을 충족시킨다는 결정에 따라, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하고 - 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 제1 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험보다 제1 사용자의 시야의 더 큰 부분을 점유함 -; 제1 사용자에 대응하는 생체측정 데이터가 제1 기준들을 충족시키지 않는다는 결정에 따라, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 계속 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되며, 본 방법은, 물리적 환경의 제1 뷰를 디스플레이하는 단계 - 물리적 환경의 제1 뷰는 물리적 환경의 제1 부분의 제1 표현을 포함함 -; 물리적 환경의 제1 뷰를 디스플레이하는 동안, 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제1 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제1 사용자 입력을 검출하는 단계; 제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제2 뷰를 디스플레이하는 단계 - 물리적 환경의 제2 뷰는 물리적 환경의 제1 부분의 제2 표현을 포함하고, 물리적 환경의 제1 부분의 제2 표현은 제1 유형의 컴퓨터 생성 감각 조정에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -; 물리적 환경의 제2 뷰를 디스플레이하는 동안, 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제2 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제2 사용자 입력을 검출하는 단계 ― 제2 유형의 컴퓨터 생성 감각 조정은 제1 유형의 컴퓨터 생성 감각 조정과는 상이함 -; 및 제2 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제3 뷰를 디스플레이하는 단계 - 물리적 환경의 제3 뷰는 물리적 환경의 제1 부분의 제3 표현을 포함하고, 물리적 환경의 제1 부분의 제3 표현은 제1 유형의 컴퓨터 생성 감각 조정에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 제2 유형의 컴퓨터 생성 감각 조정에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 를 포함한다.
일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되며, 본 방법은, 3차원 환경의 제1 뷰를 디스플레이하는 단계 - 3차원 환경의 제1 뷰는 물리적 환경의 제1 부분의 제1 표현을 포함함 -; 물리적 환경의 제1 부분의 제1 표현을 포함하는 3차원 환경의 제1 뷰를 디스플레이하는 동안, 물리적 환경의 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 단계; 및 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 것에 응답하여, 제2 위치로의 이동이 제1 기준들을 충족시킨다는 결정에 따라 - 제1 기준들은, 제1 기준들이 충족되기 위해, 제2 위치가 제1 유형의 운동과 연관된 위치에 대응한다는 제1 요건을 포함함 -, 3차원 환경의 제2 뷰를 디스플레이하고 - 3차원 환경의 제2 뷰는 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 포함하고, 제1 세트의 가상 콘텐츠는 제2 위치를 포함하는 물리적 환경의 제2 부분의 제2 표현의 적어도 일부분을 대체함 -; 제2 위치로의 이동이 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라 - 제2 기준들은, 제2 기준들이 충족되기 위해, 제2 위치가 제2 유형의 운동과 연관된 위치에 대응한다는 제2 요건을 포함하고, 제2 유형의 운동은 제1 유형의 운동과는 상이함 -, 3차원 환경의 제3 뷰를 디스플레이하는 단계 - 3차원 환경의 제3 뷰는 제2 유형의 운동에 대응하는 제2 세트의 가상 콘텐츠를 포함하고, 제2 세트의 가상 콘텐츠는 제1 세트의 가상 콘텐츠와는 상이하며, 제2 세트의 가상 콘텐츠는 제2 위치를 포함하는 물리적 환경의 제3 부분의 제3 표현의 적어도 일부분을 대체함 - 를 포함한다.
일부 실시예들에 따르면, 컴퓨터 시스템은 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 머리 장착형 디스플레이 등), 하나 이상의 입력 디바이스들(예를 들어, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 선택적으로 하나 이상의 촉각적 출력 생성기들, 하나 이상의 프로세서들, 및 하나 이상의 프로그램들을 저장하는 메모리를 포함하거나 그와 통신하고, 하나 이상의 프로그램들은 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 하나 이상의 프로그램들은 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들을 갖는 컴퓨터 시스템에 의해 실행될 때, 디바이스로 하여금 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하게 하거나 또는 그의 수행을 야기하는 명령어들을 저장하고 있다. 일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 선택적으로 하나 이상의 촉각적 출력 생성기들, 메모리, 및 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 갖는 컴퓨터 시스템 상에서의 그래픽 사용자 인터페이스는, 본 명세서에 기술되는 방법들 중 임의의 방법에서 기술된 바와 같이, 입력들에 응답하여 업데이트되는, 본 명세서에 기술된 방법들 중 임의의 방법에서 디스플레이되는 요소들 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들; 및 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 수단을 포함한다. 일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들을 갖는 컴퓨터 시스템에 사용하기 위한 정보 프로세싱 장치는, 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 수단을 포함한다.
따라서, 디스플레이 생성 컴포넌트들을 갖는 컴퓨터 시스템들에는, 3차원 환경과 상호작용하고 3차원 환경과 상호작용할 때 컴퓨터 시스템들의 사용자의 사용을 용이하게 하기 위한 개선된 방법들 및 인터페이스들이 제공되고, 이로써 이러한 컴퓨터 시스템들의 유효성, 효율 및 사용자 안전 및 만족도를 증가시킨다. 그러한 방법들 및 인터페이스들은, 3차원 환경과 상호작용하고 3차원 환경과 상호작용할 때 컴퓨터 시스템들의 사용자의 사용을 용이하게 하기 위한 종래의 방법들을 보완 또는 대체할 수 있다.
전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음에 주목한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 내지 도 7c는 일부 실시예들에 따른, 2명 이상의 사용자들 사이에서 공유되는 컴퓨터 생성 3차원 환경 내의 사용자 인터페이스 객체와의 상호작용을 예시하는 블록도들이다.
도 7d 내지 도 7f는 일부 실시예들에 따른, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대한 물리적 객체의 표현을 상이한 방식들로 디스플레이하는 방법을 예시하는 블록도들이며, 여기에서 시점은 제1 물리적 환경에서의 사용자의 이동에 따라 이동하고, 물리적 객체의 표현은 제1 물리적 환경과는 상이한 제2 물리적 환경에서의 물리적 객체의 이동에 따라 이동하며, 표현을 디스플레이하는 방식의 변화는 미리설정된 기준들을 충족시키는 시점과 물리적 객체의 표현 사이의 공간적 관계에 응답하여 트리거된다.
도 7g 내지 도 7j는 일부 실시예들에 따른, 컴퓨터 시스템에 의해 수신되는 사용자의 변화하는 생체측정 데이터에 따라 컴퓨터 생성 경험의 환경이 디스플레이되는 몰입 레벨을 변경하는 것을 예시하는 블록도들이다.
도 7k 내지 도 7m은 일부 실시예들에 따른, 물리적 환경의 표현을 포함하는 환경의 뷰를 디스플레이할 때 컴퓨터 시스템에 의해 제공되는 다수의 유형들의 감각 조정의 효과들을 모으는 것을 예시하는 블록도들이다.
도 7n 내지 도 7p는 일부 실시예들에 따른, 3차원 환경의 뷰 내의 물리적 환경의 일부분이 각자의 유형의 운동에 대응한다는 결정에 따라 3차원 환경의 뷰 내에 각자의 유형의 운동에 대응하는 가상 콘텐츠를 선택적으로 디스플레이하는 것을 예시하는 블록도들이다.
도 8은 일부 실시예들에 따른, 2명 이상의 사용자들 사이에서 공유되는 컴퓨터 생성 3차원 환경 내의 사용자 인터페이스 객체와의 상호작용을 지원하는 방법의 흐름도이다.
도 9a 및 도 9b는 일부 실시예들에 따른, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대한 물리적 객체의 표현을 상이한 방식들로 디스플레이하는 방법의 흐름도이며, 여기에서 시점은 제1 물리적 환경에서의 사용자의 이동에 따라 이동하고, 물리적 객체의 표현은 제1 물리적 환경과는 상이한 제2 물리적 환경에서의 물리적 객체의 이동에 따라 이동하며, 표현을 디스플레이하는 방식의 변화는 미리설정된 기준들을 충족시키는 시점과 물리적 객체의 표현 사이의 공간적 관계에 응답하여 트리거된다.
도 10은 일부 실시예들에 따른, 컴퓨터 시스템에 의해 수신되는 사용자의 변화하는 생체측정 데이터에 따라 컴퓨터 생성 경험의 환경이 디스플레이되는 몰입 레벨을 변경하는 방법의 흐름도이다.
도 11은 일부 실시예들에 따른, 물리적 환경의 표현을 포함하는 환경의 뷰를 디스플레이할 때 컴퓨터 시스템에 의해 제공되는 다수의 유형들의 감각 조정의 효과들을 모으는 방법의 흐름도이다.
도 12는 일부 실시예들에 따른, 3차원 환경의 뷰 내의 물리적 환경의 일부분이 각자의 유형의 운동에 대응한다는 결정에 따라 3차원 환경의 뷰 내에 각자의 유형의 운동에 대응하는 가상 콘텐츠를 선택적으로 디스플레이하는 방법의 흐름도이다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 내지 도 7c는 일부 실시예들에 따른, 2명 이상의 사용자들 사이에서 공유되는 컴퓨터 생성 3차원 환경 내의 사용자 인터페이스 객체와의 상호작용을 예시하는 블록도들이다.
도 7d 내지 도 7f는 일부 실시예들에 따른, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대한 물리적 객체의 표현을 상이한 방식들로 디스플레이하는 방법을 예시하는 블록도들이며, 여기에서 시점은 제1 물리적 환경에서의 사용자의 이동에 따라 이동하고, 물리적 객체의 표현은 제1 물리적 환경과는 상이한 제2 물리적 환경에서의 물리적 객체의 이동에 따라 이동하며, 표현을 디스플레이하는 방식의 변화는 미리설정된 기준들을 충족시키는 시점과 물리적 객체의 표현 사이의 공간적 관계에 응답하여 트리거된다.
도 7g 내지 도 7j는 일부 실시예들에 따른, 컴퓨터 시스템에 의해 수신되는 사용자의 변화하는 생체측정 데이터에 따라 컴퓨터 생성 경험의 환경이 디스플레이되는 몰입 레벨을 변경하는 것을 예시하는 블록도들이다.
도 7k 내지 도 7m은 일부 실시예들에 따른, 물리적 환경의 표현을 포함하는 환경의 뷰를 디스플레이할 때 컴퓨터 시스템에 의해 제공되는 다수의 유형들의 감각 조정의 효과들을 모으는 것을 예시하는 블록도들이다.
도 7n 내지 도 7p는 일부 실시예들에 따른, 3차원 환경의 뷰 내의 물리적 환경의 일부분이 각자의 유형의 운동에 대응한다는 결정에 따라 3차원 환경의 뷰 내에 각자의 유형의 운동에 대응하는 가상 콘텐츠를 선택적으로 디스플레이하는 것을 예시하는 블록도들이다.
도 8은 일부 실시예들에 따른, 2명 이상의 사용자들 사이에서 공유되는 컴퓨터 생성 3차원 환경 내의 사용자 인터페이스 객체와의 상호작용을 지원하는 방법의 흐름도이다.
도 9a 및 도 9b는 일부 실시예들에 따른, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대한 물리적 객체의 표현을 상이한 방식들로 디스플레이하는 방법의 흐름도이며, 여기에서 시점은 제1 물리적 환경에서의 사용자의 이동에 따라 이동하고, 물리적 객체의 표현은 제1 물리적 환경과는 상이한 제2 물리적 환경에서의 물리적 객체의 이동에 따라 이동하며, 표현을 디스플레이하는 방식의 변화는 미리설정된 기준들을 충족시키는 시점과 물리적 객체의 표현 사이의 공간적 관계에 응답하여 트리거된다.
도 10은 일부 실시예들에 따른, 컴퓨터 시스템에 의해 수신되는 사용자의 변화하는 생체측정 데이터에 따라 컴퓨터 생성 경험의 환경이 디스플레이되는 몰입 레벨을 변경하는 방법의 흐름도이다.
도 11은 일부 실시예들에 따른, 물리적 환경의 표현을 포함하는 환경의 뷰를 디스플레이할 때 컴퓨터 시스템에 의해 제공되는 다수의 유형들의 감각 조정의 효과들을 모으는 방법의 흐름도이다.
도 12는 일부 실시예들에 따른, 3차원 환경의 뷰 내의 물리적 환경의 일부분이 각자의 유형의 운동에 대응한다는 결정에 따라 3차원 환경의 뷰 내에 각자의 유형의 운동에 대응하는 가상 콘텐츠를 선택적으로 디스플레이하는 방법의 흐름도이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에 설명되는 시스템들, 방법들, 및 GUI들은 다수의 방식들로 가상/증강 현실 환경들과의 사용자 인터페이스 상호작용들을 개선한다.
일부 실시예들에서, 컴퓨터 시스템은 다수의 사용자들이 3차원 환경 내에 디스플레이되는 제1 사용자 인터페이스 객체에 액세스할 권한을 갖도록 허용하지만, 다른 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있는 동안 사용자가 제1 사용자 인터페이스 객체에 액세스하는 것을 방지한다. 제1 사용자에 의해 사용되는 제1 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스 객체를 포함하는 3차원 환경의 뷰를 디스플레이할 때, 컴퓨터 시스템은 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력을 검출한다. 제1 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체가 그 시간에 제1 사용자와의 상호작용을 위해 이용가능하는지 여부에 따라, 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력에 대응하는 제1 동작을 수행하거나, 또는 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하고, 제1 동작의 수행을 보류한다. 컴퓨터 시스템은, 다른 사용자가 그 시간에 제1 사용자 인터페이스 객체를 제어한다는(예컨대, 다른 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있다는, 제1 사용자의 동시 상호작용을 배제하는 방식으로 제1 사용자 인터페이스 객체와 상호작용하고 있다는, 그리고/또는 제1 사용자가 수행하려고 시도하고 있는 액션의 유형에 대해 제1 사용자 인터페이스 객체를 장악하고 있다(have a lock on)는 등) 결정에 따라, 시각적 표시를 제공하고, 제1 동작의 수행을 보류한다. 일부 실시예들에서, 시각적 표시를 디스플레이하는 것은 제1 사용자 인터페이스 객체와 제1 사용자의 손의 접근하는 표현 사이의 미리설정된 거리를 유지하기 위해 제1 사용자에게 표시된 3차원 환경의 뷰에서 제1 사용자 인터페이스 객체를 이동시키는 것을 포함한다. 일부 실시예들에서, 시각적 표시를 디스플레이하는 것은 제1 사용자에게 표시된 3차원 환경의 뷰에서 제1 사용자 인터페이스 객체의 시각적 외관을 변경하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체가 제어 사용자에 의해(예컨대, 던지기 제스처, 토스 제스처 등에 의해) 제1 사용자에게 공개될 때, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제1 사용자에게 표시된 3차원 환경의 현재 디스플레이된 뷰의 시점에 대해 미리설정된 배향으로 디스플레이되도록 제1 사용자 인터페이스 객체를 회전시킨다. 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자의 일부분의 표현에서의 또는 그 근처에서의 위치에(예컨대, 제1 사용자의 손의 표현 내에, 사용자의 얼굴의 가상 위치의 팔의 도달 범위 내에 등) 제1 사용자 인터페이스 객체의 표현을 디스플레이함으로써 제1 사용자 인터페이스 객체에 대한 액세스를 제어하는 것을 제공한다. 제1 사용자 인터페이스 객체와 상호작용하려는 제1 사용자의 시도에 응답하여, 제1 사용자 인터페이스 객체가 제1 사용자에 의해 사용되는 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경의 뷰에서 제1 사용자와의 상호작용을 위해 이용가능하지 않음을 나타내는 시각적 표시를 디스플레이하는 것은, 시도된 상호작용의 시간에 직관적이고 시기적절한 피드백을 제공하고, 3차원 환경의 뷰에서 불필요한 시각적 클러터를 감소시킨다. 또한, 동일한 시각적 표시가 제1 사용자와 환경을 공유하고 있는 다른 사용자들에게 디스플레이될 필요가 없으며, 이는 사용자 혼란을 감소시키고, 인간-기계 인터페이스의 효율을 개선한다.
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자(및 3차원 환경을 보기 위해 제1 사용자에 의해 사용되는 제1 디스플레이 생성 컴포넌트)의 물리적 환경과는 상이한 물리적 환경 내에 위치되는 물리적 객체(예컨대, 제2 사용자, 동물, 이동 드론 등)의 표현을 포함하는 3차원 환경의 뷰를 디스플레이한다. 컴퓨터 시스템은, 선택적으로, 제1 사용자(및/또는 제1 디스플레이 생성 컴포넌트)의 그들의 물리적 환경에서의 이동에 따라 3차원 환경의 현재 디스플레이된 뷰에 대응하는 시점을 이동시킨다. 컴퓨터 시스템은 물리적 객체의 그의 물리적 환경에서의 위치 및 이동 경로에 기초하여 3차원 환경에서의 물리적 객체의 표현의 위치 및 이동 경로를 결정한다. 컴퓨터 시스템은 3차원 환경 내의 위치들과 각자의 물리적 환경(예컨대, 제1 사용자 및 제1 디스플레이 생성 컴포넌트의 물리적 환경, 물리적 객체의 물리적 환경 등) 내의 위치들 사이의 제1 유형의 대응(예컨대, 매핑 및 변환 관계들; 선택적으로, 시점, 물리적 객체, 및 제1 사용자에 대한 상이한 매핑 및 변환 관계들 등)을 이용한다. (예컨대, 제1 사용자의 이동, 및/또는 물리적 객체의 이동 등으로 인한) 일부 조건들 하에서, 물리적 객체의 표현의 위치는, 3차원 환경 내의 위치들과 물리적 환경 내의 위치들 사이의 제1 유형의 대응을 사용하여 위치(들)가 결정되는 경우, 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰의 시점의 위치의 임계 거리(예컨대, 팔의 길이, 3 피트, 사용자 특정 거리 등) 내에 있을 것이다. 그러한 조건들 하에서, 컴퓨터 시스템은 제1 유형의 대응에 기초하여 결정된 위치로부터 오프셋되는 조정된 위치에 물리적 객체의 표현을 디스플레이한다. 일부 실시예들에서, 조정된 위치는 제1 유형의 대응과는 상이한 제2 유형의 대응에 기초하여 결정되고, 조정된 위치가 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰의 시점의 위치로부터 임계 거리 초과로 유지되는 것을 보장한다. 컴퓨터 시스템은, 제1 유형의 대응에 기초하여 계산된 조정되지 않은 위치가 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰의 시점의 위치로부터 임계 거리를 초과하여 떨어질 때까지, 제2 유형의 대응을 계속 사용하여 물리적 객체의 표현의 조정된 위치를 결정한다. 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰의 시점의 위치와 물리적 객체의 표현의 위치 사이의 상대 거리를 모니터링함으로써, 컴퓨터는 물리적 객체의 표현의 디스플레이된 위치를 적시에 조정할 수 있어서, 물리적 객체의 표현과 시점 사이의 시각적 충돌이 회피될 수 있게 한다. 이는 사용자의 시각적 경험을 개선하고, 사용자가 3차원 환경과 상호작용할 때 사용자 혼란 및 실수들을 감소시킨다.
일부 실시예들에서, 컴퓨터 시스템은 컴퓨터 생성 경험(예컨대, 시각적 경험, 오디오-시각적 경험, 가상 현실 경험, 증강 현실 경험 등)이 사용자에 대응하는 생체측정 데이터에 따라 사용자에게 제시되는 몰입 레벨을 변경한다. 예를 들어, 컴퓨터 생성 경험이 시작된 후, 예컨대 사전행동적으로 또는 컴퓨터 생성 콘텐츠의 영향 하에서, 사용자가 그/그녀의 신체 상태 및 감정 상태를 조정하고 있을 때, 컴퓨터 시스템은 사용자에 대응하는 생체측정 데이터(예컨대, 심박수, 혈압, 호흡률 등)의 변화들을 검출할 수 있다. 상이한 몰입 레벨들과 연관된 미리설정된 기준들의 각자의 세트들에 대한 생체측정 데이터의 변화들에 따라, 컴퓨터 시스템은 (예컨대, 물리적 환경의 표현의 시각적 두드러짐에 대한 가상 콘텐츠의 시각적 두드러짐(예컨대, 공간적 범위, 시각적 깊이, 색상 포화도, 시각적 콘트라스트 등을 포함함)을 변경함으로써(예컨대, 가상 콘텐츠의 복잡도, 공간적 범위 및/또는 시각적 특성들을 향상시키고/시키거나, 물리적 환경의 표현의 시각적 선명도, 블러 반경, 불투명도, 색상 포화도 등을 감소시킴으로써 등) 컴퓨터 생성 경험이 사용자에게 제공되는 몰입 레벨을 증가 또는 감소시킨다. 사용자에 대응하는 생체측정 데이터의 변화들에 기초하여 컴퓨터 생성 경험이 사용자에게 제공되는 몰입 레벨을 조정하는 것은 컴퓨터 시스템이 덜 몰입적인 경험과 컴퓨터 생성 경험을 위해 사용자의 지각 상태에 더 잘 대응하는 더 몰입적인 경험 사이의 더 매끄러운 전이를 제공하는 것을 도와, 그에 의해, 사용자 혼란을 감소시키고, 컴퓨터 생성 경험의 효능을 개선한다.
일부 실시예들에서, 컴퓨터 시스템은 특수 장비 또는 컴퓨터 시스템의 도움 없이는 용이하게 인지가능하지 않을 수 있는 물리적 환경의 상이한 태양들을 인지하는 사용자의 능력을 향상시키는 다수의 유형들의 감각 조정 기능들을 제공한다. 사용자가 물리적 환경의 일부분을 볼 때 한 번에 단일 유형의 감각 조정 기능만 사용하도록 허용하는 대신에, 컴퓨터 시스템은 물리적 환경의 일부분의 표현 상에 2개 이상의 유형들의 감각 향상 기능들의 효과들을 모아서, 컴퓨터 시스템에 의해 제공되는 물리적 환경의 뷰에서 이전에 숨겨져 있던, 물리적 환경의 일부분에 존재하는 특징부들 및 특성들이 드러날 수 있게 한다. 다수의 유형들의 감각 조정 기능들의 효과들이 물리적 환경의 동일한 부분의 표현 상에 모이도록 그리고 물리적 환경의 일부분의 표현을 포함하는 3차원 환경의 뷰 내에 제시되도록 허용하는 것은 사용자가 물리적 환경을 더 잘 인지하고 이해할 수 있게 하고, 물리적 환경의 컴퓨터 생성 뷰의 유용성을 개선한다.
일부 실시예들에서, 컴퓨터 시스템은 3차원 환경의 뷰 내에 표현된 물리적 위치가 각자의 유형의 운동과 연관된다는 결정에 따라 각자의 유형의 운동에 대응하는 가상 콘텐츠(예컨대, 가상 풍경, 운동 장비의 시각적 및 기능적 향상들, 사용자 인터페이스들, 건강 및 스코어 보드들 등)를 디스플레이한다. 예를 들어, 사용자와 디스플레이 생성 컴포넌트가 실제 세계에서 한 위치로부터 다른 위치로 이동함에 따라, 3차원 환경의 뷰 내에 표시되는 가상 콘텐츠는 사용자 및 디스플레이 생성 컴포넌트의 현재 위치와 연관되는 운동의 유형에 대응하도록 조정된다. 일부 실시예들에서, 위치가 다수의 운동 유형들과 연관될 때, 컴퓨터 시스템은 다른 콘텍스트 정보(예컨대, 사용자의 이동, 그 위치에서의 객체들과 사용자의 관여 등)에 기초하여 그 위치와 연관되는 다수의 운동 유형들로부터 운동 유형을 선택하고, 선택된 운동 유형에 대응하는 시각적 콘텐츠를 디스플레이한다. 사용자 및 디스플레이 생성 컴포넌트의 위치와 연관되는 각자의 운동 유형에 기초하여 가상 콘텐츠를 자동적으로 선택하고/하거나 변경하는 것은 원하는 결과를 달성하기 위한 사용자로부터의 입력들(예컨대, 운동 유형에 대한 적합한 가상 콘텐츠를 선택하는 것, 특정 운동 모드들을 시작하는 것 등)의 수, 크기 및/또는 종류를 줄여서, 그에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
도 1 내지 도 6은 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 도 7a 내지 도 7c는 일부 실시예들에 따른, 2명 이상의 사용자들 사이에서 공유되는 컴퓨터 생성 3차원 환경 내의 사용자 인터페이스 객체와의 상호작용을 예시하는 블록도들이다. 도 7d 내지 도 7f는 일부 실시예들에 따른, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대한 물리적 객체의 표현을 상이한 방식들로 디스플레이하는 방법을 예시하는 블록도들이며, 여기에서 시점은 제1 물리적 환경에서의 사용자의 이동에 따라 이동하고, 물리적 객체의 표현은 제1 물리적 환경과는 상이한 제2 물리적 환경에서의 물리적 객체의 이동에 따라 이동하며, 표현을 디스플레이하는 방식의 변화는 미리설정된 기준들을 충족시키는 시점과 물리적 객체의 표현 사이의 공간적 관계에 응답하여 트리거된다. 도 7g 내지 도 7j는 일부 실시예들에 따른, 컴퓨터 시스템에 의해 수신되는 사용자의 변화하는 생체측정 데이터에 따라 컴퓨터 생성 경험의 환경이 디스플레이되는 몰입 레벨을 변경하는 것을 예시하는 블록도들이다. 도 7k 내지 도 7m은 일부 실시예들에 따른, 물리적 환경의 표현을 포함하는 환경의 뷰를 디스플레이할 때 컴퓨터 시스템에 의해 제공되는 다수의 유형들의 감각 조정의 효과들을 모으는 것을 예시하는 블록도들이다. 도 7n 내지 도 7p는 일부 실시예들에 따른, 3차원 환경의 뷰 내의 물리적 환경의 일부분이 각자의 유형의 운동에 대응한다는 결정에 따라 3차원 환경의 뷰 내에 각자의 유형의 운동에 대응하는 가상 콘텐츠를 선택적으로 디스플레이하는 것을 예시하는 블록도들이다. 도 7a 내지 도 7p의 사용자 인터페이스들은 각각 도 8 내지 도 12의 프로세스들을 예시하기 위해 사용된다.
일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 그리고 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 홈 어플라이언스들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리-장착 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 현실: 대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 헤드 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 헤드 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 헤드 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 설정/환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(120)에 의해 제공되고/되거나 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부(예를 들어, 그의 머리에, 그의 손에 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예를 들어, 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 CGR 경험, 또는 하나 이상의 사용자들의 개개의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(242)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(244)은 장면(105)을 맵핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(244)은 손 추적 유닛(243), 및 눈 추적 유닛(245)을 포함한다. 일부 실시예들에서, 손 추적 유닛(243)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(243)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(245)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(245)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(242), 추적 유닛(244(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부 및/또는 외부 대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 눈-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 손-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 HMD(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하거나 또는 장면(105)의 물리적 환경을 캡처하는 이미지 센서들의 역할을 하기 위해 다른 이미지 센서들과 함께 사용된다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를, 맵 데이터로부터 고레벨 정보를 추출하는 제어기(110)에 출력한다. 이러한 고레벨 정보는 통상적으로, 애플리케이션 프로그램 인터페이스(API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동시킨다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 특정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 성분들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 관련된 전용 회로에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 각자의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 구성요소(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 너클들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 CGR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 일부이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 그러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60-120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선의 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 자동 초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 초점을 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 8개의 광원들(530)(예를 들어, LED들)이 예로서 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입시키지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실(예를 들어, 가상 현실, 증강 현실 및/또는 증강 가상을 포함함) 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실(예를 들어, 가상 현실 및/또는 혼합 현실을 포함함) 애플리케이션들에서 사용될 수 있다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트를 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예이면, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오이면, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되면, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(410)로부터 진행하면, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하면, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서의 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 리턴한다. 650에서, 결과들이 신뢰되면, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아니라면) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6은 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 내지 도 7p는 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7100), 디스플레이 생성 컴포넌트(7200), 디스플레이 생성 컴포넌트(120) 등)를 통해 디스플레이되는 3차원 환경들, 및 3차원 환경에 대한 사용자 입력들 및/또는 다른 컴퓨터 시스템들 및/또는 센서들로부터 수신된 입력들에 의해 야기되는, 3차원 환경에서 발생하는 상호작용들을 예시한다. 일부 실시예들에서, 입력들은 가상 객체들의 위치들에서 검출된 사용자의 시선에 의한, 가상 객체의 위치에 대응하는 물리적 환경 내의 위치에서 수행된 손 제스처에 의한, 가상 객체가 입력 포커스(예컨대, 동시에 및/또는 이전에 검출된 시선 입력에 의해 선택됨, 동시에 또는 이전에 검출된 포인터 입력에 의해 선택됨, 동시에 및/또는 이전에 검출된 제스처 입력에 의해 선택됨 등)를 갖는 동안 가상 객체의 위치와 독립적인 물리적 환경 내의 위치에서 수행되는 손 제스처에 의한, 가상 객체의 위치에 포커스 선택기 객체(예컨대, 포인터 객체, 선택기 객체 등)를 위치시킨 입력 디바이스에 의한, 기타 등등에 의한, 3차원 환경 내의 가상 객체에 대한 것이다. 일부 실시예들에서, 입력들은 사용자의 손 이동(예컨대, 전체 손 이동, 각자의 자세에서의 전체 손 이동, 손의 다른 부분에 대한 손의 한 부분의 이동, 두 손들 사이의 상대 이동 등) 및/또는 물리적 객체에 대한 조작(예컨대, 터칭, 스와이핑, 탭핑, 열기, ~를 향한 이동, ~에 대한 이동 등)에 의한, 물리적 객체 또는 물리적 객체에 대응하는 가상 객체의 표현에 대한 것이다. 일부 실시예들에서, 컴퓨터 시스템은 센서들(예컨대, 이미지 센서들, 온도 센서들, 생체측정 센서들, 모션 센서들, 근접 센서들 등)로부터의 입력들 및 콘텍스트 조건들(예컨대, 위치, 시간, 환경에서의 다른 사람들의 존재 등)에 따라 3차원 환경의 변화들을 디스플레이한다(예컨대, 추가 가상 콘텐츠를 디스플레이함, 또는 기존의 가상 콘텐츠를 디스플레이하는 것을 중지함, 시각적 콘텐츠가 디스플레이되고 있는 상이한 몰입 레벨들 사이에서 전이함 등). 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 공유 컴퓨터 생성 경험에서, 공유 가상 환경에서, 통신 세션의 공유 가상 또는 증강 현실 환경에서 등) 컴퓨터 시스템의 사용자와 컴퓨터 생성 환경을 공유하고 있는 다른 사용자들에 의해 사용되는 다른 컴퓨터들로부터의 입력들에 따라 3차원 환경의 변화들을 디스플레이한다(예컨대, 추가 가상 콘텐츠를 디스플레이함, 또는 기존의 가상 콘텐츠를 디스플레이하는 것을 중지함, 시각적 콘텐츠가 디스플레이되고 있는 상이한 몰입 레벨들 사이에서 전이함 등).
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경은 물리적 환경의 표현 없이 3차원 환경 내의 상이한 가상 위치들에 가상 객체들 및 콘텐츠를 포함하는 가상 3차원 환경이다. 일부 실시예들에서, 3차원 환경은 물리적 환경의 하나 이상의 물리적 태양들(예컨대, 벽들, 바닥들, 표면들의 위치들 및 배향들, 중력의 방향, 하루 중 시간 등)에 의해 제한되는 3차원 환경 내의 상이한 가상 위치들에 가상 객체들을 디스플레이하는 혼합 현실 환경이다. 일부 실시예들에서, 3차원 환경은 물리적 환경의 표현을 포함하는 증강 현실 환경이다. 물리적 환경의 표현은 3차원 환경 내의 상이한 위치들에 물리적 객체들 및 표면들의 각자의 표현들을 포함하여서, 물리적 환경 내의 상이한 물리적 객체들 및 표면들 사이의 공간적 관계들이 3차원 환경 내의 물리적 객체들 및 표면들의 표현들 사이의 공간적 관계들에 의해 반영되게 한다. 가상 객체들이 3차원 환경에서 물리적 객체들 및 표면들의 표현들의 위치들에 대해 배치될 때, 그들은 물리적 환경 내의 물리적 객체들 및 표면들과 대응하는 공간적 관계들을 갖는 것으로 보인다. 일부 실시예들에서, 컴퓨터 시스템은 사용자 입력들 및/또는 콘텍스트 조건들에 기초하여 상이한 유형들의 환경을 디스플레이하는 것 사이에서 전이한다(예컨대, 컴퓨터 생성 환경 또는 경험을 상이한 몰입 레벨들로 제시하는 것 사이에서 전이함, 가상 콘텐츠로부터의 그리고 물리적 환경의 표현으로부터의 오디오/시각적 감각 입력들의 상대적 두드러짐을 조정함 등).
일부 실시예들에서, 디스플레이 생성 컴포넌트는 물리적 환경의 표현이 디스플레이되는 패스 스루 부분을 포함한다. 일부 실시예들에서, 패스 스루 부분은, 사용자를 둘러싸고 그의 시야 내에 있는 물리적 환경의 적어도 일부분을 드러내는 디스플레이 생성 컴포넌트의 투명 또는 반투명(예컨대, 시스루(see-through)) 부분이다. 예를 들어, 패스 스루 부분은 반투명(예컨대, 50%, 40%, 30%, 20%, 15%, 10% 또는 5% 미만의 불투명도) 또는 투명하게 만들어진 머리 장착형 디스플레이 또는 헤드업 디스플레이의 일부분이어서, 사용자가, 머리 장착형 디스플레이를 제거하거나 헤드업 디스플레이로부터 멀리 이동하지 않고서, 사용자를 둘러싸는 실제 세계를 보도록 그를 통해 볼 수 있게 한다. 일부 실시예들에서, 패스 스루 부분은 가상 또는 혼합 현실 환경을 디스플레이할 때 반투명 또는 투명으로부터 완전 불투명으로 점진적으로 전이한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트의 패스 스루 부분은 하나 이상의 카메라들(예컨대, 모바일 디바이스의 또는 머리 장착형 디스플레이와 연관된 후방 대면 카메라(들), 또는 이미지 데이터를 전자 디바이스에 공급하는 다른 카메라들)에 의해 캡처된 물리적 환경의 적어도 일부분의 이미지들 또는 비디오의 라이브 피드를 디스플레이한다. 일부 실시예들에서, 하나 이상의 카메라들은 사용자의 눈들 바로 앞에 있는(예컨대, 디스플레이 생성 컴포넌트 뒤에 있는) 물리적 환경의 일부분을 향한다. 일부 실시예들에서, 하나 이상의 카메라들은 사용자의 눈들 바로 앞에 있지 않은(예컨대, 상이한 물리적 환경에 있는, 또는 사용자 옆이나 뒤에 있는) 물리적 환경의 일부분을 향한다.
일부 실시예들에서, 물리적 환경 내의 하나 이상의 물리적 객체들의 위치들에 대응하는 (예컨대, 가상 현실 환경, 혼합 현실 환경, 증강 현실 환경 등 내의) 위치들에 가상 객체들을 디스플레이할 때, 가상 객체들 중 적어도 일부는 카메라들의 라이브 뷰의 일부분(예컨대, 라이브 뷰 내에 캡처된 물리적 환경의 일부분) 대신에 디스플레이된다(예컨대, 그의 디스플레이를 대체함). 일부 실시예들에서, 가상 객체 및 콘텐츠의 적어도 일부는 물리적 환경 내의 물리적 표면들 또는 빈 공간 상에 투영되고, 디스플레이 생성 컴포넌트의 패스 스루 부분을 통해 보인다(예컨대, 물리적 환경의 카메라 뷰의 일부로서, 또는 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분 등을 통해 볼 수 있음). 일부 실시예들에서, 가상 객체들 및 콘텐츠 중 적어도 일부는 디스플레이의 일부분을 오버레이하도록 디스플레이되고, 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 적어도 일부분의 뷰를 차단한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 3차원 환경에 대한 3차원 환경의 현재 디스플레이된 뷰의 시점의 가상 위치를 변경하는 사용자 입력들 또는 이동들에 따라 3차원 환경의 상이한 뷰들을 디스플레이한다. 일부 실시예들에서, 3차원 환경이 가상 환경일 때, 시점은 물리적 환경에서의 사용자의 머리, 몸통, 및/또는 디스플레이 생성 컴포넌트의 이동을 요구하지 않고서 내비게이션 또는 로코모션(locomotion) 요청들(예컨대, 인 에어(in-air) 손 제스처들, 손의 다른 부분에 대한 손의 한 부분의 이동에 의해 수행되는 제스처들 등)에 따라 이동한다. 일부 실시예들에서, 물리적 환경에 대한, 사용자의 머리 및/또는 몸통의 이동, 및/또는 (예컨대, 사용자가 디스플레이 생성 컴포넌트를 유지하거나 HMD를 착용하는 것 등으로 인한) 디스플레이 생성 컴포넌트 또는 컴퓨터 시스템의 다른 위치 감지 요소들의 이동 등은, 3차원 환경에 대한 (예컨대, 대응하는 이동 방향, 이동 거리, 이동 속도, 및/또는 배향의 변화 등을 갖는) 시점의 대응하는 이동을 야기하여, 3차원 환경의 현재 디스플레이된 뷰의 대응하는 변화를 가져온다. 일부 실시예들에서, 가상 객체가 시점에 대해 미리설정된 공간적 관계를 가질 때, 3차원 환경에 대한 시점의 이동은 시야 내의 가상 객체의 위치가 유지되는 동안(예컨대, 가상 객체는 헤드 로킹(head locking)된다고 함) 3차원 환경에 대한 가상 객체의 이동을 야기할 것이다. 일부 실시예들에서, 가상 객체는 사용자에게 보디 로킹(body-locking)되고, 사용자가 물리적 환경에서 전체적으로 이동할 때(예컨대, 디스플레이 생성 컴포넌트 및/또는 컴퓨터 시스템의 다른 위치 감지 컴포넌트를 휴대하거나 착용함) 3차원 환경에 대해 이동하지만, 사용자의 머리 이동(예컨대, 디스플레이 생성 컴포넌트 및/또는 컴퓨터 시스템의 다른 위치 감지 컴포넌트가 물리적 환경에서 사용자의 고정된 위치 주위로 회전하는 것)에 응답하여 3차원 환경에서 이동하지 않을 것이다.
일부 실시예들에서, 도 7a 내지 도 7p에 도시된 3차원 환경의 뷰들은 사용자의 손(들), 팔(들), 및/또는 손목(들)의 표현(들)을 포함한다. 일부 실시예들에서, 표현(들)은 디스플레이 생성 컴포넌트를 통해 제공되는 물리적 환경의 표현의 일부이다. 일부 실시예들에서, 표현들은 물리적 환경의 표현의 일부가 아니며, (예컨대, 사용자의 손(들), 팔(들), 및 손목(들)을 향하는 하나 이상의 카메라에 의해) 개별적으로 캡처되고 3차원 환경의 뷰와 독립적으로 3차원 환경 내에 디스플레이된다. 일부 실시예들에서, 표현(들)은 컴퓨터 시스템(들)의 하나 이상의 카메라들에 의해 캡처된 바와 같은 카메라 이미지들, 또는 다양한 센서들에 의해 캡처된 정보에 기초한 팔(들), 손목(들) 및/또는 손(들)의 양식화된 버전들을 포함한다. 일부 실시예들에서, 표현(들)은 물리적 환경의 표현의 일부분의 디스플레이를 대체하거나, 그 상에 오버레이되거나, 또는 그의 뷰를 차단한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트가 물리적 환경의 뷰를 제공하지 않고, 완전 가상 환경(예컨대, 카메라 뷰 또는 투명 패스 스루 부분 없음)을 제공할 때, 사용자의 한쪽 또는 양쪽 팔들, 손목들, 및/또는 손들의 실시간 시각적 표현들(예컨대, 양식화된 표현들 또는 분할된 카메라 이미지들)이 여전히 가상 환경 내에 디스플레이될 수 있다.
도 7a 내지 도 7c는 일부 실시예들에 따른, 2명 이상의 사용자들 사이에서 공유되는 컴퓨터 생성 3차원 환경 내의 사용자 인터페이스 객체와의 상호작용을 예시하는 블록도들이다.
일부 실시예들에서, 컴퓨터 시스템은 다수의 사용자들(예컨대, 제1 사용자(7102), 제2 사용자(7002), 다른 사용자 등)이 3차원 환경(예컨대, 3차원 환경(7015), 다른 가상 환경 또는 증강 현실 환경 등) 내에 디스플레이되는 제1 사용자 인터페이스 객체(예컨대, 제1 사용자 인터페이스 객체(7016), 다른 사용자 인터페이스 객체, 제어 패널, 가상 메뉴, 미디어 객체 등)에 액세스할 권한을 갖도록 허용하지만, 다른 사용자(예컨대, 제2 사용자(7002), 제2 사용자(7002)와는 상이한 다른 사용자 등)가 제1 사용자 인터페이스 객체와 상호작용하고 있는 동안 사용자(예컨대, 제1 사용자(7102), 또는 제1 사용자(7102)와는 상이한 다른 사용자 등)가 제1 사용자 인터페이스 객체에 액세스하는 것을 방지한다. 제1 사용자(예컨대, 제1 사용자(7102))에 의해 사용되는 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7200), HMD와 같은 상이한 유형의 디스플레이 생성 컴포넌트 등)를 통해 제1 사용자 인터페이스 객체를 포함하는 3차원 환경의 뷰를 디스플레이할 때, 컴퓨터 시스템은 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력(예컨대, 시선 입력, 손 이동, 시선 입력과 사용자의 손의 이동의 조합 등)을 검출한다. 제1 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체가 그 시간에 제1 사용자와의 상호작용을 위해 이용가능하는지 여부에 따라, 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력에 대응하는 제1 동작을 수행하거나(예컨대, 제1 사용자 인터페이스 객체 또는 그의 표현을 제1 사용자의 손(7202)의 표현(7202')으로 이동시킴, 3차원 환경을 변경하는(예컨대, 3차원 환경에서의 가상 콘텐츠의 디스플레이 또는 해제를 야기함, 3차원 환경에서 다른 가상 콘텐츠를 변경함 등) 제1 사용자 인터페이스 객체와 연관된 기능을 수행함 등), 또는 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하고, 제1 동작의 수행을 보류한다. 컴퓨터 시스템은, 다른 사용자(예컨대, 제2 사용자(7002))가 그 시간에 제1 사용자 인터페이스 객체를 제어한다는(예컨대, 다른 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있다는, 제1 사용자의 동시 상호작용을 배제하는 방식으로 제1 사용자 인터페이스 객체와 상호작용하고 있다는, 그리고/또는 제1 사용자가 수행하려고 시도하고 있는 액션의 유형에 대해 제1 사용자 인터페이스 객체를 장악하고 있다는 등) 결정에 따라, 시각적 표시를 제공하고, 제1 동작의 수행을 보류한다. 일부 실시예들에서, 시각적 표시를 디스플레이하는 것은 제1 사용자 인터페이스 객체와 제1 사용자의 손의 접근하는 표현 사이의 미리설정된 거리를 유지하기 위해 제1 사용자에게 표시된 3차원 환경의 뷰에서 제1 사용자 인터페이스 객체를 이동시키는 것을 포함한다. 일부 실시예들에서, 시각적 표시를 디스플레이하는 것은 제1 사용자에게 표시된 3차원 환경의 뷰(예컨대, 도 7c에 도시된 바와 같이, 사용자(7102) 측 상의 뷰)에서 제1 사용자 인터페이스 객체의 시각적 외관을 변경하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체가 제어 사용자에 의해(예컨대, 던지기 제스처, 토스 제스처 등에 의해) 제1 사용자에게 공개될 때, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제1 사용자에게 표시된 3차원 환경의 현재 디스플레이된 뷰의 시점에 대해 미리설정된 배향으로(예컨대, 콘텐츠 측부 또는 제어 측부가 제1 사용자(7102)를 향하는 상태로) 디스플레이되도록 제1 사용자 인터페이스 객체를 회전시킨다. 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자의 일부분의 표현에서의 또는 그 근처에서의 위치에(예컨대, 제1 사용자(7102)의 손(7202)의 표현 내에, 사용자의 얼굴의 가상 위치의 팔의 도달 범위 내에 등) 제1 사용자 인터페이스 객체의 표현을 디스플레이함으로써 제1 사용자에 대한 제1 사용자 인터페이스 객체의 액세스를 제어하는 것을 제공한다.
도 7a 내지 도 7c에 도시된 예에서, 일부 실시예들에 따르면, 3차원 환경(7015)은, 제1 사용자(7102) 및 제2 사용자(7002) 중 한 사용자에 의해 제어되는 컴퓨터 시스템을 사용하여 상기 한 사용자로부터 개시되고, 사용자들(7102, 7002) 중 다른 사용자에 의해 제어되는 컴퓨터 시스템을 사용하여 상기 다른 사용자에 의해 수락되는 요청에 응답하여, 사용자들(7102, 7002) 사이에서 공유된다. 일부 실시예들에서, 둘 모두의 사용자들은 제3 사용자에 의해 사용되는 컴퓨터 시스템으로부터 그들의 각자의 컴퓨터 시스템들을 사용하여 3차원 환경을 공유하라는 요청을 수신하였고 수락하였다. 일부 실시예들에서, 둘 모두의 사용자들은 그들의 각자의 컴퓨터 시스템들을 사용하여 서버로 3차원 환경을 공유하라는 요청들을 전송하였고, 여기에서 그들의 요청들은 서버에 의해 수락되었다. 컴퓨터 생성 3차원 환경을 공유할 때 사용자들 및 그들의 각자의 머리들, 눈들, 손들, 팔들 및/또는 손목들의 위치들 및 배향들은 센서들(예컨대, 카메라들, 모션 센서들 등)에 의해 실시간으로 또는 주기적으로 캡처되고, 위치 및 배향 데이터는 사용자들에 의해 제어되는 컴퓨터 시스템들 중 하나 또는 둘 모두에, 그리고/또는 컴퓨터 시스템들과 통신하는 서버에 제공된다. 위치 데이터는 컴퓨터 시스템들 및/또는 서버에 의해 사용되어, 컴퓨터 생성 3차원 환경에서의 사용자들 및 그들의 각자의 머리들, 눈들, 손들, 팔들 및/또는 손목들의 각자의 위치들 및 배향들, 및 이에 대응하여, 사용자들과 연관된 상이한 디스플레이 생성 컴포넌트들을 통해 제공된 3차원 환경의 뷰들에서의 그들의 각자의 머리들, 팔들, 손들 및/또는 손목들을 포함하는 사용자들의 표현들의 각자의 위치들뿐만 아니라, 사용자들과 연관된 상이한 디스플레이 생성 컴포넌트들을 통해 제공된 3차원 환경의 뷰들의 관찰 관점들 및 시점들을 결정한다.
일부 실시예들에서, 2명 이상의 사용자들이 컴퓨터 생성 환경(예컨대, 가상 전화 회의, 채팅 세션, 멀티 플레이어 게임, 공유 컴퓨터 생성 경험(예컨대, 그룹 명상, 운동, 게임, 협업 작업 등) 등)을 공유할 때, 그들은 컴퓨터 생성 환경에 존재하는 동일한 사용자 인터페이스 객체(예컨대, 가상 공, 가상 제어 패널, 문서 또는 미디어 콘텐츠, 가상 메뉴, 사용자 인터페이스 등)를 제어 및/또는 조작하기를 원할 수 있다. 이는 때때로 컴퓨터 시스템이 사용자 인터페이스 객체에 대한 상이한 사용자의 액션들을 일관되게 우선순위화하는 데 어려움을 야기하고, 3차원 환경의 결과적인 변화는 사용자들에게 혼란스러울 수 있다. 본 명세서에 개시된 바와 같이, 컴퓨터 시스템은 제1 사용자(7102)에게 제시된 환경의 뷰(7015-1)에서 제1 사용자 인터페이스 객체의 외관 속성들의 세트를 변경함으로써 환경에서 이미 제2 사용자(7002)의 제어 하에 있는 제1 사용자 인터페이스 객체(7016)와 상호작용하려는 제1 사용자(7102)의 시도에 응답하여 시각적 피드백을 제공하여, 그에 의해, 사용자들의 액션들 사이의 상충을 감소시키고, 그들이 제1 사용자 인터페이스 객체(7016)와 상호작용할 때 사용자 혼란을 감소시킨다. 일부 실시예들에서, 제1 사용자 인터페이스 객체를 제어하는 제2 사용자(7002)에게 표시된 3차원 환경의 뷰(7015-2) 내에 제시되는 제1 사용자 인터페이스 객체(7016)는 제1 사용자 인터페이스 객체와 상호작용하려는 제1 사용자의 시도의 결과로서 변경되지 않고, 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 상호작용할 때 제2 사용자(7002)의 주의를 산만하게 하지 않는다.
도 7a는 예시적인 물리적 환경(예컨대, 장면(105), 다른 실내 또는 실외 물리적 환경 등)을 예시한다. 일부 실시예들에서, 도 7a에 도시된 바와 같이, 2명 이상의 사용자들(예컨대, 사용자(7102), 사용자(7002) 등)이 동일한 물리적 환경에 존재한다. 제1 사용자(7102)는 제1 디스플레이 생성 컴포넌트(예컨대, 제1 사용자에 의해 사용되는, 디스플레이 생성 컴포넌트(7200), HMD 등과 같은 다른 유형의 디스플레이 생성 컴포넌트 등)를 통해 3차원 환경(7015)(예컨대, 증강 현실 환경, 가상 환경 등)의 제1 뷰(7015-1)를 보고 있다. 제2 사용자(7002)는 제2 디스플레이 생성 컴포넌트(예컨대, 제2 사용자에 의해 사용되는, 디스플레이 생성 컴포넌트(7100), HMD 등과 같은 다른 유형의 디스플레이 생성 컴포넌트 등)를 통해 3차원 환경(7015)의 제2 뷰(7015-2)를 보고 있다. 일부 실시예들에서, 3차원 환경(7015)(예컨대, 제1 디스플레이 생성 컴포넌트(7200)를 통해 제시될 때 7015-1로 라벨링됨, 제2 디스플레이 생성 컴포넌트(7100)를 통해 제시될 때 7015-2로 라벨링됨 등)은 공유 컴퓨터 생성 경험의 환경, 통신 세션, 애플리케이션 환경, 게임, 영화 등이다.
일부 실시예들에서, 제1 사용자(7102) 및 제2 사용자(7002)는 반드시 동일한 물리적 환경 내에 동시에 위치되는 것은 아니며, 2개의 상이한 물리적 환경 내에 개별적으로 위치될 수 있다. 일부 실시예들에서, 3차원 환경(7015)은 제2 사용자가 아닌 제1 사용자의 물리적 환경의 표현을 포함하고, 제1 사용자 및 제2 사용자는 제1 사용자의 물리적 환경에 기초하여 3차원 환경에서 공유 경험을 갖는다. 일부 실시예들에서, 3차원 환경(7015)은 제1 사용자가 아닌 제2 사용자의 물리적 환경의 표현을 포함하고, 제1 사용자 및 제2 사용자는 제2 사용자의 물리적 환경에 기초하여 3차원 환경에서 공유 경험을 갖는다. 일부 실시예들에서, 3차원 환경(7015)은, 제1 사용자의 물리적 환경 또는 제2 사용자의 물리적 환경이 아닌 제3 물리적 환경의 표현을 포함하고, 제1 사용자 및 제2 사용자는 제3 물리적 환경(예컨대, 공유 경험에 참여하고 있는 제3 사용자의 물리적 환경, 사용자와 연관되지 않거나 공유 경험에 참여하고 있지 않은 사용자와 연관되는 다른 물리적 환경 등)에 기초하여 3차원 환경에서 공유 경험을 갖는다. 일부 실시예들에서, 3차원 환경(7015)은 가상 3차원 환경을 포함하고, 제1 사용자 및 제2 사용자는 가상 3차원 환경에서 공유 경험을 갖는다. 일부 실시예들에서, 제1 사용자 및 제2 사용자의 그들의 각자의 물리적 환경들(예컨대, 동일한 물리적 환경, 상이한 물리적 환경들 등)에서의 위치들 및 이동들은 동일한 3차원 환경에서의 위치들 및 이동들에 (예컨대, 동일한 매핑 관계, 또는 상이한 매핑 관계 등을 사용하여) 매핑되지만, 3차원 환경들의 외관은 각자의 사용자에게 표시된 3차원 환경의 뷰에서 각자의 사용자에게 맞게 (예컨대, 상이한 벽지들, 색상 배색들, 상이한 가상 가구 등으로) 조정될 수 있다.
일부 실시예들에서, 컴퓨터 시스템은 환경(7015)의 적어도 일정 공간 부분(예컨대, 거실에는 대응하지만 주방에는 대응하지 않는 환경의 공간 부분; 제1 사용자 앞의 물리적 공간의 일부분에는 대응하지만 제1 사용자 뒤의 물리적 공간의 일부분에는 대응하지 않는 환경의 공간 부분 등)이 공유된다는 결정에 따라 3차원 환경이 제1 사용자(7102)와 제2 사용자(7002) 사이에서 적어도 부분적으로 공유된다고 결정한다. 일부 실시예들에서, 컴퓨터 시스템은 환경(7015)의 적어도 일정 공간 부분이 적어도 일정 기간 동안(예컨대, 제1 사용자와 제2 사용자 사이의 통신 세션 동안, 오전 동안, 근무 시간 동안, 둘 모두의 사용자들이 온라인 상태일 때 등) 공유된다는 결정에 따라 3차원 환경이 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유된다고 결정한다. 일부 실시예들에서, 컴퓨터 시스템은 환경(7015) 내의 객체들이 완전히 또는 부분적으로 공유된다는(예컨대, 동시에 볼 수 있고 액세스가능함, 동시에 볼 수는 있지만 동시에 액세스가능하지는 않음, 다른 사람들이 제어할 때(예컨대, 상기 다른 사람들은 객체를 보고 있을 수 있거나 보고 있지 않을 수 있음) 볼 수는 있지만 액세스가능하지는 않음 등) 결정에 따라 3차원 환경(7105)이 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유된다고 결정한다. 일부 실시예들에서, 컴퓨터 시스템은 3차원 환경(7015)의 적어도 일부분(예컨대, 3차원 환경의 제1 뷰(7015-1) 내에 표시된 일부분, 3차원 환경(7015)의 다른 부분 등)이 동시에 제1 사용자 및 제2 사용자 둘 모두가 보기 위해 디스플레이된다는 결정에 따라 3차원 환경(7015)이 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유된다고 결정한다. 일부 실시예들에서, 컴퓨터 시스템은 3차원 환경 내의 가상 객체들 중 일부 또는 전부가 제1 사용자 및 제2 사용자 둘 모두에게 3차원 환경 내에 동시에 디스플레이된다는 결정에 따라 3차원 환경(7015)이 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유된다고 결정한다.
도 7b 및 도 7c에서, 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트(7200)를 통해, 제1 사용자(7102)와 제2 사용자(7002) 사이에서 적어도 부분적으로 공유되는 3차원 환경(7015)의 제1 뷰(7015-1)를 디스플레이하고; 실질적으로 동일한 시간(예컨대, 네트워크 지연들, 프로세싱 시간 지연들 등에 대해 조정됨)에, 컴퓨터 시스템 또는 컴퓨터 시스템과 통신하는 다른 컴퓨터 시스템은 제2 디스플레이 생성 컴포넌트(7100)를 통해 3차원 환경(7105)의 제2 뷰(7015-2)를 디스플레이한다. 일부 실시예에 따르면, 제1 뷰(7015-1) 및 제2 뷰(7015-2) 둘 모두는 3차원 환경의 적어도 제1 부분(예컨대, 3차원 환경 내에 표현된 물리적 환경의 동일한 부분에 대응하는 각자의 부분, 3차원 환경의 가상 환경의 동일한 부분에 대응하는 각자의 부분 등)을 포함한다. 일부 실시예들에서, 3차원 환경의 제1 부분은, 선택적으로, (예컨대, 제1 사용자와 그/그녀의 물리적 환경 사이의 각자의 공간적 관계들, 및/또는 제1 사용자와 그/그녀의 물리적 환경 사이의 각자의 공간적 관계들 등에 기초하여) 3차원 환경(7105)의 제1 뷰(7015-1) 및 제2 뷰(7015-2) 내에 상이한 시야각들로부터 표시된다.
일부 실시예들에서, 제1 뷰(7015-1)는 제1 사용자(7102)의 그/그녀의 물리적 환경 내의 현재 위치에 대응하는 위치를 갖는 제1 시점을 갖고, 위치는 제1 사용자(7102)의 물리적 환경(예컨대, 장면(105), 다른 물리적 환경 등)에서의 제1 사용자(7102)의 이동에 따라 3차원 환경(7015)에서 이동한다. 일부 실시예들에서, 제2 뷰(7015-2)는 제2 사용자(7002)의 그/그녀의 물리적 환경 내의 현재 위치에 대응하는 3차원 환경(7015) 내의 위치를 갖는 제2 시점을 갖고, 위치는 제2 사용자의 물리적 환경(예컨대, 장면(105), 다른 물리적 환경 등)에서의 제2 사용자(7002)의 이동에 따라 3차원 환경(7015)에서 이동한다. 일부 실시예들에서, 각자의 디스플레이 생성 컴포넌트(예컨대, 제1 디스플레이 생성 컴포넌트(7200), 제2 디스플레이 생성 컴포넌트(7100) 등)를 통해 표시되는 3차원 환경(7015)의 현재 디스플레이된 뷰의 시점은 각자의 디스플레이 생성 컴포넌트의 현재 위치에 대응하는 3차원 환경(7015) 내의 위치를 갖고, 위치는 각자의 디스플레이 생성 컴포넌트의 물리적 환경(예컨대, 장면(105), 다른 물리적 환경 등)에서의 각자의 디스플레이 생성 컴포넌트의 이동에 따라 3차원 환경(7015)에서 이동한다. 일부 실시예들에서, 각자의 디스플레이 생성 컴포넌트(예컨대, 제1 디스플레이 생성 컴포넌트(7200), 제2 디스플레이 생성 컴포넌트(7100) 등)를 통해 표시되는 3차원 환경(7015)의 현재 디스플레이된 뷰의 시점은 각자의 디스플레이 생성 컴포넌트와 연관된 하나 이상의 카메라들의 현재 위치에 대응하는 3차원 환경 내의 위치를 갖고, 위치는 각자의 디스플레이 생성 컴포넌트의 물리적 환경(예컨대, 장면(105), 다른 물리적 환경 등)에서의 각자의 디스플레이 생성 컴포넌트와 연관된 하나 이상의 카메라들의 이동에 따라 3차원 환경(7015)에서 이동한다. 도 7a 내지 도 7c에 도시된 예에서, 제1 뷰(7015-1) 및 제2 뷰(7015-2)가 동일한 시점을 갖는 것으로 보이더라도, 제1 디스플레이 생성 컴포넌트(7200) 및 제2 디스플레이 생성 컴포넌트(7100)를 통해 표시되는 각자의 뷰들 및 그들의 대응하는 시점들은 제1 디스플레이 생성 컴포넌트(및 제1 사용자) 및 제2 디스플레이 생성 컴포넌트(및 제2 사용자)의 각자의 물리적 환경들에 존재하는 공간적 관계들 및 이동들에 기초하여 개별적으로 그리고 독립적으로 결정되고, 주어진 시간에 정확히 동일할 필요는 없다는 것이 이해되어야 한다.
도 7b 및 도 7c에서, 3차원 환경(7015)의 제1 뷰(7015-1) 및 제2 뷰(7015-2)는 하나 이상의 사용자 인터페이스 객체들(예컨대, 제1 사용자 인터페이스 객체(7016), 제2 사용자 인터페이스 객체(7018), 다른 사용자 인터페이스 객체들, 가상 3차원 객체들 등), 및 선택적으로, 하나 이상의 표면들(예컨대, 벽(7004)의 표현들(7004' 또는 7004"), 벽(7006)의 표현들(7006' 또는 7006"), 바닥(7008)의 표현(7008' 또는 7008"), 가상 벽들과 같은 가상 표면들, 가상 스크린들, 가상 창문들, 가상 풍경 등), 및/또는 하나 이상의 물리적 객체들의 표현들(예컨대, 물리적 환경(7014) 내의 물리적 객체(7014)의 표현(7014' 또는 7014"), 3차원 환경(7015) 내에 표현된 다른 물리적 환경 내의 다른 물리적 객체들의 표현들 등)을 포함한다. 일부 실시예들에서, 제1 뷰(7015-1) 및 제2 뷰(7015-2)는 물리적 환경의 표현을 포함하지 않고, 가상 3차원 환경(예컨대, 가상 회의실, 게임 환경, 가상 경험, 가상 스포츠 경기장 등)을 포함한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 애플리케이션의 표현이고, 미리설정된 기준들을 충족시키는 제1 사용자 인터페이스 객체와의 상호작용은 컴퓨터 시스템으로 하여금 3차원 환경에서 애플리케이션을 시작하게 하거나 애플리케이션의 애플리케이션 기능을 수행하게 한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 복수의 사용자 인터페이스 객체들(예컨대, 선택가능한 아바타들, 선택가능한 메뉴 항목들, 선택가능한 디바이스 제어부들, 선택가능한 콘텐츠 항목들, 슬라이더 제어부들, 버튼들 등)을 포함하는 사용자 인터페이스이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 물리적 환경에서의 사용자의 손 이동에 따라 3차원 환경에서 조작(예컨대, 변형, 부분들로 분리, 회전, 이동 등)될 수 있는 가상 3차원 객체이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 상이한 기능들 또는 동작들에 대응하는 다수의 제어부들을 포함하는 단일 제어부 또는 제어 패널이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 정보 항목, 통지, 경보 등이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 미디어 항목 또는 문서 등이다.
일부 실시예들에서, 도 7b 및 도 7c에 도시된 바와 같이, 제1 뷰(7015-1)는 제1 사용자(7102)의 손(7202)의 표현(7202'), 및 제2 사용자(7002)의 손(7028)의 표현(7028')을 포함하고; 제2 뷰(7015-2)는 제1 사용자(7102)의 손(7202)의 표현(7202"), 및 제2 사용자(7002)의 손(7028)의 표현(7028")을 포함한다. 도 7b 및 도 7c에 도시된 시나리오에서, 제2 사용자(7002)는, 제1 사용자(7102)와 제1 사용자 인터페이스 객체(7016) 사이의 동시 상호작용을 제외하고 제1 사용자 인터페이스 객체(7016)를 제어한다. 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제1 사용자(7002)의 제어 하에 있을 때, 제1 사용자 인터페이스 객체(7016)는 제2 사용자(7002)의 물리적 환경 내의 제2 사용자(7002)의 손(7028)의 위치에 대응하는 3차원 환경(7015) 내의 위치에 디스플레이된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제2 사용자(7002)의 제어 하에 있을 때, 제1 사용자 인터페이스 객체(7016)의 표현이 제2 사용자(7002)의 물리적 환경 내의 제2 사용자(7002)의 손(7028)의 위치에 대응하는 3차원 환경(7015) 내의 위치에 디스플레이되는 한편, 제1 사용자 인터페이스 객체(7016)는 제1 사용자 인터페이스 객체(7016)의 표현의 위치와는 별개인 다른 위치에 디스플레이된다. 이러한 예에서, 제2 사용자(7002)는 제1 사용자 인터페이스 객체(7016)를 제어하고, 제1 사용자 인터페이스 객체(7016)는 제2 사용자의 손(7028)의 위치에 대응하는 3차원 환경(7015) 내의 위치에 디스플레이된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제2 사용자(7002)의 제어 하에 있을 때, 제1 사용자 인터페이스 객체(7016)는 제1 사용자 인터페이스 객체(7016)의 미리설정된 표면(예컨대, 전방 표면(A), 콘텐츠 제시 표면, 대화형 표면 등)이 3차원 환경(7015)의 현재 디스플레이된 제2 뷰(7015-2)(예컨대, 제1 사용자 인터페이스 객체(7016)를 제어하는 제2 사용자(7002)에게 표시되는 뷰, 제2 디스플레이 생성 컴포넌트(7100)에 의해 디스플레이되는 뷰 등)에 대응하는 시점을 향하도록 3차원 환경(7105)에서 배향된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는, 제1 사용자 인터페이스 객체(7016)의 미리설정된 표면이 3차원 환경의 현재 디스플레이된 제1 뷰(7015-1)(예컨대, 그 시간에 제1 사용자 인터페이스 객체(7016)를 제어하지 않는 제1 사용자(7102)에게 표시되는 뷰, 제1 디스플레이 생성 컴포넌트(7200)에 의해 디스플레이되는 뷰 등)에 대응하는 시점을 향하도록, 제1 사용자 인터페이스 객체(7016)를 제어하는 제2 사용자(7002)에 의해 3차원 환경에서 재배향될 수 있다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016) 상의 콘텐츠의 적어도 일부는, 제1 사용자 인터페이스 객체(7016)가 제2 사용자(7002)의 제어 하에 있고 제1 사용자(7102)와 공유되지 않을 때(예컨대, 제1 사용자 인터페이스 객체(7016)의 콘텐츠 디스플레이 측부가 제1 디스플레이 생성 컴포넌트(7200)에 의해 제1 사용자(7102)에게 제시되는 3차원 환경의 제1 뷰(7015-1) 내에 있는 경우에도), 3차원 환경의 제2 뷰(7015-2) 내에만 표시되고, 3차원 환경의 제1 뷰(7015-1) 내에는 표시되지 않는다. 일부 실시예들에서, 제2 사용자(7002)는 제1 사용자 인터페이스 객체(7016)를 재배향시킴으로써 제1 사용자 인터페이스 객체(7016)의 숨겨진 콘텐츠를 제1 사용자(7102)에게 보이게 할 수 있어서, 제1 사용자 인터페이스 객체(7016)의 콘텐츠 제시 측부가 제2 뷰(7015-2)의 시점으로부터 멀리 향하게 한다.
도 7b 및 도 7c에서, 제1 뷰(7015-1) 및 제2 뷰(7015-2)는 둘 모두 제1 사용자의 손(7202)의 각자의 표현(예컨대, 표현(7202' 또는 7202")) 및 제2 사용자의 손(7028)의 각자의 표현(예컨대, 표현(7028' 또는 7028"))을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 사용자들의 손들의 카메라 뷰들에 기초하여 손들의 표현들을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 디스플레이 생성 컴포넌트(들)의 투명 부분을 통해 손들의 표현들의 뷰를 제공한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 및 제2 사용자의 물리적 환경(들) 내에 위치된 하나 이상의 센서들로부터 수신된 센서 정보에 기초하여 사용자 손들의 양식적 표현들을 생성한다. 일부 실시예들에서, 사용자의 손(들)의 표현들의 위치 및 구성은 사용자들의 물리적 환경(들)에서의 사용자의 손(들)의 위치(들) 및 구성(들)에 따라 변경된다. 일부 실시예들에서, 컴퓨터 시스템은 사용자들의 손들의 카메라 뷰들에 기초하여 손들의 표현들을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은, 주어진 시간에, 한 사용자의 손의 표현을 디스플레이하지만, 다른 사용자의 손의 표현은 디스플레이하지 않는다. 예를 들어, 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)를 제어할 때, 제2 사용자의 손(7028)의 표현은, 선택적으로, 제2 사용자(7002)에게 표시된 제2 뷰(7015-2) 내에만 디스플레이되고, 제1 사용자(7102)에게 표시된 제1 뷰(7015-1) 내에는 디스플레이되지 않는다. 다른 예에서, 사용자의 손의 표현은, 제1 사용자 및/또는 제2 사용자(및/또는 그들의 각자의 디스플레이 생성 컴포넌트들 또는 카메라들 등)의 그들의 각자의 물리적 환경들에서의 이동들로 인해, 각자의 디스플레이 생성 컴포넌트를 통해 제공된 시야 내외로 이동할 수 있다.
도 7b 및 도 7c에서, 제1 사용자 인터페이스 객체(7016)를 제어하는 제2 사용자(7002)에 의해 사용되는 제2 디스플레이 생성 컴포넌트(7100)를 통해 디스플레이되는 3차원 환경의 제2 뷰(7015-2)에서, 제1 사용자 인터페이스 객체(7016)는 제1 세트의 외관 속성들(예컨대, 제2 디스플레이 생성 컴포넌트에 의해 제2 사용자에게 디스플레이된 바와 같은 제1 사용자 인터페이스 객체의 정상 외관(예컨대, 제1 형상, 제1 크기, 제1 색상, 제1 불투명도, 제1 포화도 레벨, 제1 휘도 레벨 등))로 디스플레이된다. 제1 사용자 인터페이스 객체(7016)는, 제1 사용자(7102)가 제1 사용자 인터페이스 객체에 대한 각자의 이동 또는 입력으로 제1 사용자 인터페이스 객체(7016)에 액세스하려고 시도하고 있는지 여부에 관계없이, 제2 사용자(7002)의 제어 하에 제1 세트의 외관 속성들을 유지한다. 제1 사용자 인터페이스 객체(7016)는 제2 사용자(7002)에 의해 사용되는 컴퓨터 시스템을 통한 제2 사용자(7002)와 제1 사용자 인터페이스 객체(7016) 사이의 상호작용에 따라 각자의 방식으로 그의 외관을 변경할 수 있다. 제2 사용자(7002)와 제1 사용자 인터페이스 객체(7016) 사이의 상호작용에 의해 야기되는 외관의 이들 변화들은, 선택적으로, 변화들이 발생하는 임의의 주어진 시간에 제1 뷰(7015-1) 및 제2 뷰(7015-2) 둘 모두 내에 표시된다.
도 7b에서, 제1 사용자 인터페이스 객체(7016)가 제2 사용자(7002)의 제어 하에 있는 동안 (예컨대, 사용자의 손과 같은 사용자의 일부분의 이동을 통해, 시선 입력을 통해, 인 에어 제스처를 통해, 손의 다른 부분에 대한 손의 한 부분의 이동을 수반하는 제스처를 통해, 제어 객체를 통해 제공되는 입력을 통해 등) 제1 사용자(7002)가 제1 사용자 인터페이스 객체(7016)에 액세스하거나 그에 대한 제어를 획득하려고 시도하고 있지 않을 때, 제1 사용자 인터페이스 객체(7016)는 3차원 환경의 제2 뷰(7015-2)에서와 동일한 제1 세트의 외관 속성들로(선택적으로, 상이한 관찰 관점으로부터, 그리고/또는 숨겨진 콘텐츠의 편집으로 등) 제1 뷰(7015-1) 내에 디스플레이된다. 제1 사용자(7102)의 물리적 환경에서의 제1 사용자의 손(7202)의 이동은 제1 뷰 및 제2 뷰 둘 모두가 제1 사용자의 손(7202)을 포함하는 물리적 공간의 위치에 대응하는 3차원 환경의 일부분을 캡처하는 경우 제1 뷰(7015-1) 및 제2 뷰(7015-2) 둘 모두 내에 표현될 수 있다.
대조적으로, 도 7c에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7016)에 대한, 제1 사용자(7102)에 의해 제공되는 제1 사용자 입력을 검출한다. 예를 들어, 일부 실시예들에서, 컴퓨터 시스템은 3차원 환경(7015) 내의 제1 사용자 인터페이스 객체(7016)의 위치에 대응하는 제1 사용자(7102)의 물리적 환경 내의 위치로의 제1 사용자(7102)의 일부분(예컨대, 사용자의 손(7202), 제1 사용자의 다른 손 등)의 이동을 검출한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7016)로 지향되는 시선 입력, 및 시선 입력과 함께 검출되는 제어 입력(예컨대, 손가락 이동 제스처, 인 에어 제스처, 제어기에 의해 제공되는 입력 등)을 검출한다. 도 7c에 도시된 예에서, 제1 사용자 입력은 제1 사용자 인터페이스 객체(7016)의 위치에 대응하는 위치로의 그리고 선택적으로, 3차원 환경에서 제1 사용자 인터페이스 객체(7016)를 파지하기 위한 이동 또는 자세를 갖는 제1 사용자의 손(7202)의 이동이다. 일부 실시예들에서, 제1 사용자(7102)의 손(7202)의 이동, 위치 및/또는 자세의 표현은 제1 뷰(7015-1) 및 제2 뷰(7015-2) 둘 모두 내에 표시된다. 일부 실시예들에서, 제1 사용자(7102)의 손(7202)의 이동, 위치 및/또는 자세의 표현은 제1 뷰(7015-1) 내에만 표시되고 제2 뷰(7015-2) 내에는 표시되지 않는다. 일부 실시예들에서, 제2 뷰(7015-2) 내에 제1 사용자(7102)의 손(7202)의 이동, 위치 및/또는 자세를 표시하지 않음으로써, 제2 사용자(7002)에 의해 사용되는 컴퓨터 시스템은 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 상호작용할 때 제2 사용자(7002)에 대한 주의산만을 감소시킨다.
도 7c에서, 제1 사용자 인터페이스 객체(7016)에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 그리고 제2 사용자(7002)가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있다는(예컨대, 제1 사용자 인터페이스 객체(7016)를 제어한다는, 제1 사용자(7102)에 의한 요청된 상호작용을 제외하고 제1 사용자 인터페이스 객체를 제어한다는 등) 결정에 따라, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7016)가 제1 사용자(7102)와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이한다. 일부 실시예들에서, 시각적 표시를 디스플레이하는 것은 3차원 환경(7015)의 제1 뷰(7015-1)에서 제1 사용자 인터페이스 객체(7016)의 외관 또는 제1 사용자 인터페이스 객체(7016)의 위치 중 적어도 하나를 변경하는 것을 포함한다.
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7016)가 3차원 환경 내의 제2 사용자(7002)의 가상 위치와 미리설정된 공간적 관계를 갖는다는(예컨대, 제1 사용자 인터페이스 객체(7016)가 제2 사용자의 손바닥 또는 손(7028)의 표현 내에 있다는, 제1 사용자 인터페이스 객체(7016)가 3차원 환경의 제1 뷰(7015-1) 내에 있는 제2 사용자의 사적 공간 내에 있다는 등) 결정에 따라 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 현재 상호작용하고 있다고 결정한다. 일부 실시예들에서, 컴퓨터 시스템은 제2 사용자(7002)가 제2 디스플레이 생성 컴포넌트(7100)를 통해 3차원 환경의 제2 뷰(7015-2)를 디스플레이하는 컴퓨터 시스템을 통해 제1 사용자 인터페이스 객체(7016)를 제어하고 있고/있거나 선택하고 있고/있거나 이동시키고 있고/있거나 수정하고 있고/있거나 달리 그와 상호작용하고 있다는 결정에 따라 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 현재 상호작용하고 있다고 결정한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제1 사용자(7102)와의 상호작용을 위해 이용가능하지 않다는 것을 나타내기 위해 3차원 환경(7015)의 제1 뷰(7015-1) 내에 시각적 표시를 디스플레이하기 위해, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7016)를 제1 세트의 외관 속성들과는 상이한 제2 세트의 외관 속성들(예컨대, 제2 형상, 제2 크기, 제2 색상, 제2 불투명도, 제2 포화도 레벨, 제2 휘도 레벨 등)로 디스플레이한다(예컨대, 제2 세트의 외관 속성들은, 제1 사용자 인터페이스 객체가 이 순간에 제2 사용자의 제어 하에 있고, 제1 사용자와 상호작용하기 위해 이용가능하지 않다는 시각적 표시를 제공함). 예를 들어, 도 7c의 제1 뷰(7015-1) 내에 표시된 제1 사용자 인터페이스 객체(7016)는 도 7c의 제2 뷰(7015-2) 내에 표시된 것보다 더 반투명하다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제1 사용자(7102)와의 상호작용을 위해 이용가능하지 않다는 것을 나타내기 위해 3차원 환경(7015)의 제1 뷰(7015-1) 내에 시각적 표시를 디스플레이하기 위해, 컴퓨터 시스템은 제1 사용자(7102)가 제1 사용자 인터페이스 객체(7016)를 파지하려고 할 때 그를 비키어 이동시킨다. 일부 실시예들에서, 시각적 표시가 제1 사용자(7102)에게만 디스플레이될 필요가 있기 때문에, 제1 사용자 인터페이스 객체(7016)는 제2 사용자(7002)에게 디스플레이되는 제2 뷰(7015-2)에서 그의 외관 및/또는 위치를 유지한다. 일부 실시예들에서, 제1 사용자(7102)에 의해 제공되는 제1 사용자 입력이 제1 사용자 인터페이스 객체(7016)에 대해 제1 동작을 수행하라는 요청에 대응하는 경우, 컴퓨터 시스템은, 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 현재 상호작용하고 있다는(예컨대, 제1 사용자 인터페이스 객체(7016)를 제어한다는, 제1 사용자(7102)에 의한 요청된 상호작용을 제외하고 제1 사용자 인터페이스 객체를 제어한다는 등) 결정에 따라, 제1 사용자 인터페이스 객체(7016)에 대해 제1 동작을 수행하지 않는다. 예를 들어, 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7106)가 제1 사용자의 손(7202)의 표현(7202')에 의해 파지되는 것을 표시하지 않는다. 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7016)의 고스트 이미지(ghost image) 또는 다른 표현이 제1 사용자의 손(7202)의 표현(7202') 내로 이동하는 것을 표시하지 않는다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(7106)에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 그리고 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 현재 상호작용하고 있지 않다는 결정에 따라, 컴퓨터 시스템은 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행한다. 일부 실시예들에서, 제1 동작을 수행하는 것은 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체(7016)가 제1 사용자(7102)에 의해 파지 또는 이동되는 것(예컨대, 3차원 환경 내의 제1 사용자(7102)의 가상 위치를 향해 이동되는 것, 제1 사용자 입력의 이동에 따라 이동되는 것 등)을 표시하는 것을 포함한다. 일부 실시예들에서, 제1 동작을 수행하는 것은 제1 사용자 인터페이스 객체(7016)의 고스트 이미지 또는 다른 표현이 파지되고/되거나 제1 사용자의 손(7202)의 표현(7202') 내로 이동하는 것을 표시하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7106)는, 제1 사용자(7102)로부터의 제1 사용자 입력이 검출되었을 때 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 상호작용하고 있지 않았다는 결정에 따라, (예컨대, 그의 원래 위치에 또는 제1 사용자의 손의 표현 내에 등) 제1 세트의 외관 속성들로 계속 디스플레이된다.
일부 실시예들에서, 제2 사용자(7002)가 제1 사용자 인터페이스 객체와 상호작용하고 있는 동안 제1 사용자(7102)가 제1 사용자 인터페이스 객체(7016)를 파지하려고 또는 달리 제1 사용자 인터페이스 객체와 상호작용하려고 시도할 때, 컴퓨터 시스템은, 예를 들어 제1 사용자(7102)가 제1 사용자 인터페이스 객체(7016)를 파지하려고 함에 따라 제1 사용자(7102)에게 디스플레이된 제1 뷰(7015-1)에서 제1 사용자 인터페이스 객체를 페이드 아웃하는 것과 같이, 제1 사용자 인터페이스 객체의 외관을 변경한다. 예를 들어, 컴퓨터 시스템은 3차원 환경의 제1 뷰(7015-1)에서 제1 사용자 인터페이스 객체(7016)의 시각적 두드러짐을 감소시키기 위해 제1 사용자 인터페이스 객체(7016)의 제1 세트의 외관 속성들 중 적어도 하나를 변경한다(예컨대, 선택적으로, 제1 사용자 인터페이스 객체(7016)의 주변 환경의 외관을 유지하면서(예컨대, 주변 환경의 외관 및/또는 시각적 두드러짐을 변경하지 않음), 제1 사용자 인터페이스 객체의 투명도 레벨을 증가시킴, 색상 포화도를 감소시킴, 불투명도를 감소시킴, 흐릿하게 함, 어둡게 함, 해상도를 감소시킴, 크기 등이 축소됨 등). 일부 실시예들에서, 제1 사용자(7102)가 제1 사용자 인터페이스 객체(7016)와 상호작용하려고 시도하는 것을 중지하였다는 것을 검출하는 것에 응답하여, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체의 시각적 두드러짐을 복원하기 위해, 제1 사용자 인터페이스 객체를 파지하거나 달리 제1 사용자 인터페이스 객체와 상호작용하려는 제1 사용자의 시도들에 응답하여 변경되었던 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나(예컨대, 일부, 전부 등)를 (예컨대, 제1 사용자 입력을 검출하기 직전에, 또는 제1 사용자 입력을 검출하는 것에 응답하여 변경들이 이루어지기 전에 존재한 레벨로 등) 복원한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제1 사용자의 손(7202)의 위치에 대응하는 위치로부터 멀리 이동되는(예컨대, 제2 사용자(7002)의 액션에 의해 그리고/또는 3차원 환경에서 발생한 다른 이벤트들(예컨대, 제1 사용자(7102)에 의한 상호작용 시도와 관련 없는 이벤트들)에 따라 3차원 환경(7015)에서 손(7202)의 표현(7202')으로부터 멀리 이동되는 등) 경우, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체의 시각적 두드러짐을 복원하기 위해, 제1 사용자 인터페이스 객체를 파지하거나 달리 제1 사용자 인터페이스 객체와 상호작용하려는 제1 사용자의 시도에 응답하여 변경되었던 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나(예컨대, 일부, 전부 등)를 (예컨대, 제1 사용자 입력을 검출하기 직전에, 또는 제1 사용자 입력을 검출하는 것에 응답하여 변경들이 이루어지기 전에 존재한 레벨로 등) 복원한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제1 사용자(7102)와의 상호작용을 위해 이용가능하지 않다는 시각적 표시가 제1 뷰(7015-1) 내에 디스플레이된 후, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체가 제1 사용자(7102)와의 상호작용을 위해 이용가능하도록, 제2 사용자(7002)가 더 이상 제1 사용자 인터페이스 객체와 상호작용하고 있지 않고/않거나 제1 사용자 인터페이스 객체의 제어를 포기하였다는 것을 컴퓨터 시스템이 검출할 때까지, 시각적 표시를 계속 디스플레이한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제1 사용자(7102)와의 상호작용을 위해 이용가능하지 않다는 시각적 표시가 제1 뷰(7015-1) 내에 디스플레이된 후, 컴퓨터 시스템은 제1 사용자가 제1 사용자 입력 또는 다른 입력을 통해 제1 사용자 인터페이스 객체(7106)와 상호작용하려고 시도하는 것을 중지한 후 미리설정된 기간(예컨대, 10초, 5초 등) 동안 시각적 표시를 계속 디스플레이한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 제1 사용자 인터페이스 객체(7016)를 제어하는 제2 사용자(7002)에 의해 제공되는 제스처 입력(예컨대, 토스 제스처, 던지기 제스처, 푸시 제스처 등)에 따라 제1 사용자의 위치에 대응하는 위치(예컨대, 제1 사용자(7102)의 손(7202)에 대응하는 위치, 제1 사용자(7102)를 둘러싸는 사적 공간에 대응하는 위치 등)로 보내질 수 있다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 제2 사용자(7002)에 의해 제공되는 제스처 입력의 결과로서 3차원 환경(7015)에서 제1 위치로부터 제2 위치로 이동하는 동안 회전한다(예컨대, 재배향됨, 향하는 방향을 변경함 등). 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는, 또한, 제1 사용자(7102)가 제1 사용자 인터페이스 객체(7016)에 대한 제어를 획득한 후 제1 사용자(7102)에 의해 제공되는 제스처 입력(예컨대, 토스 제스처, 던지기 제스처, 푸시 제스처 등)에 따라 제2 사용자(7002)의 위치에 대응하는 위치로 보내질 수 있다. 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 제1 사용자(7102)에 의해 제공되는 제스처 입력의 결과로서 3차원 환경(7015)에서 제2 위치로부터 제3 위치로 이동하는 동안 회전한다(예컨대, 재배향됨, 향하는 방향을 변경함 등). 일부 실시예들에서, 제1 사용자 인터페이스 객체(7106)는 그의 콘텐츠 제시 측부 또는 대화형 측부가 제1 사용자 인터페이스 객체의 수신자를 향하게 하도록 회전한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)는 제1 사용자 인터페이스 객체를 제어하는 사용자에 의해 제공되는 제스처 입력(예컨대, 토스 제스처, 던지기 제스처, 푸시 제스처 등)에 응답하여 제1 사용자 및 제2 사용자 둘 모두가 제1 사용자 인터페이스 객체를 더 나은 뷰로 볼 수 있는 3차원 환경 내의 위치로 보내질 수 있다(예컨대, 3차원 환경(7015)의 중심에 디스플레이됨, 물리적 환경(105)의 벽에 대응하는 위치에 디스플레이됨, 3차원 환경(7015)에서 가상 표면에 디스플레이됨 등). 일부 실시예들에서, 제1 사용자 인터페이스 객체는 3차원 환경 내의 위치로 이동하는 동안 회전하여서(예컨대, 재배향됨, 향하는 방향을 변경함 등), 그가 3차원 환경 내의 위치에 도달할 때, 그가 제1 사용자 및 제2 사용자 둘 모두가 그의 콘텐츠 및/또는 대화형 측부를 볼 수 있게 하는 배향을 갖고/갖거나 3차원 환경의 위치에서 표면(예컨대, 벽 표면, 테이블 표면, 가상 표면, 가상 스크린, 가상 테이블 상판 등의 표현)과 미리설정된 공간적 관계(예컨대, 그를 오버레이함, 그와 평행함, 그에 대해 비스듬함, 그에 수직임, 그에 대해 직립임 등)를 가질 것이게 한다.
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7016)가 제1 사용자(7102)와의 상호작용을 위해 이용가능하지 않다는 시각적 표시로서 3차원 환경의 제1 뷰(7015-1)에서 제1 사용자 인터페이스 객체(7016)의 위치를 변경한다. 일부 실시예들에서, 3차원 환경의 제1 뷰(7015-1)에서 제1 사용자 인터페이스 객체의 위치를 변경하는 것은 제1 사용자 입력을 제공한 제1 사용자(7102)의 손(7202)의 표현(7202')과 제1 사용자 인터페이스 객체 사이의 적어도 미리설정된 거리를 유지하기 위해 제1 사용자 인터페이스 객체(7016)를 제1 사용자 인터페이스 객체의 원래 위치로부터 이동시키는 것을 포함한다(예컨대, 제1 사용자 인터페이스 객체는 제1 사용자 인터페이스 객체를 파지하려고 하는 제1 사용자(7102)의 손(7202)의 표현(7202')을 피하기 위해 하나 이상의 방향들로 이동하는 것으로 보임). 일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)의 이동은 제1 사용자 인터페이스 객체의 외관에 대해 이루어지는 변경들을 수반한다(예컨대, 제1 사용자 인터페이스 객체는 제1 사용자(7102)의 손의 표현(7202')이 그 자체에 너무 가까워지는 것을 피하기 위해 이동하는 동안 희미해지거나 흐릿해지는 것으로 보임).
일부 실시예들에서, 제1 사용자 인터페이스 객체(7016)가 제2 사용자(7002)의 제어 하에 있지 않고, 제1 사용자(7102)와의 상호작용을 위해 이용가능한 경우, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(7016)를 3차원 환경(7015)의 제1 뷰(7015-1)에서 그리고 선택적으로 또한 3차원 환경의 제2 뷰(7015-2)에서 제1 사용자의 손(7202)의 표현(7202')을 향해 이동시킨다.
일부 실시예들에서, 제1 사용자(7102)에 의해 제공되는 제1 사용자 입력은 미리정의된 선택 제스처를 포함한다(예컨대, 그임, 그를 포함함, 그로 시작됨, 그로 종료됨 등)(예컨대, 선택 제스처는 동일한 손의 엄지 손가락 상에서의 검지 손가락의 터치 다운을 포함하는 핀치(pinch) 제스처(선택적으로, 그 후에, 엄지 손가락으로부터의 검지 손가락의 리프팅 오프, 또는 손에 연결된 손목의 플릭(flick), 또는 전체 손의 병진 등이 뒤따름), 동일한 손의 검지 손가락 및 엄지 손가락이 터칭 자세로부터 서로 떨어지는 것을 포함하는 제스처, 핀치 제스처, 핀치 및 드래그(drag) 제스처, 핀치 및 플릭 제스처 등임). 일부 실시예들에서, 컴퓨터 시스템은, 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 상호작용하고 있지 않은 동안 제1 사용자 입력을 검출하는 것에 응답하여, 제1 사용자(7102)로부터 수신되는 후속 입력(예컨대, 핀치 제스처가 유지되는 동안의 드래그 제스처, 핀치 제스처가 유지되는 동안의 플릭 제스처, 미리정의된 선택 제스처가 종료된 후의 드래그 제스처 등)에 대한 타깃으로서 제1 사용자 인터페이스 객체(7016)를 선택한다. 일부 실시예들에서, 제1 사용자(7102)로부터 수신되는 후속 입력에 대한 타깃으로서 제1 사용자 인터페이스 객체(7016)를 선택하는 것과 함께, 컴퓨터 시스템은, 3차원 환경의 제1 뷰(7015-1) 내의 제1 위치에 제1 사용자 인터페이스 객체(7106)를 유지하면서, 제1 사용자(7102)의 손(7202)의 위치에 대응하는 위치에 제1 사용자 인터페이스 객체(7016)의 표현(예컨대, 제1 사용자 인터페이스 객체의 복제물, 제1 사용자 인터페이스 객체의 고스트 이미지 등)을 디스플레이한다(예컨대, 제1 사용자 인터페이스 객체는 그의 원래 위치에 유지되지만, 제1 사용자 인터페이스 객체의 표현과 제1 사용자(7102) 사이의 상호작용에 따라 제1 사용자(7102)에 의해 "원격으로" 제어될 수 있음). 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자의 손(7202)의 표현(7202') 근처에 디스플레이되지만, 컴퓨터 시스템이 제1 사용자(7102)에 의해 제공되는 다른 선택 입력을 검출할 때까지 제1 사용자의 손의 위치에 대응하는 위치로 이동하지 않는다. 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자(7102)가 선택 입력의 요건들과 일관되는 입력을 제공하고 있다는 결정에 따라 제1 사용자 인터페이스 객체의 표현의 형상을 변경하고, 제1 사용자 인터페이스 객체의 표현의 형상의 변화는, 선택적으로, 선택 입력을 완료하기 위한 요건들에 관한 시각적 안내를 제공한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현과의 사용자 상호작용들은 제1 사용자 인터페이스 객체와의 상호작용으로 변환되고, 컴퓨터 시스템으로 하여금 제1 사용자 인터페이스 객체의 표현과 제1 사용자(7102) 사이의 상호작용에 따라 제1 사용자 인터페이스 객체에 대해 동작들을 수행하게 한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자의 손(7202)의 표현(7202')의 위치에 디스플레이된 상태로 유지되어, 제1 사용자(7102)가, 선택적으로, 제1 사용자와 3차원 환경을 공유하고 있는 다른 사용자들의 상호작용을 제외하고, 제1 사용자 인터페이스 객체를 제어한다는 것을 나타낸다.
일부 실시예들에서, 도 7a 내지 도 7c의 컴퓨터 시스템들, 제1 디스플레이 생성 컴포넌트(7200) 및 제2 디스플레이 생성 컴포넌트(7100)의 거동들과 관련하여 위에서 설명된 일부 또는 모든 특징부들은 제1 사용자 인터페이스 객체(7016)에 대한 제1 사용자(7102) 및 제2 사용자(7002)의 역할들이 반전되는 다른 시나리오들에 동일하게 적용가능하다. 그러한 다른 시나리오들에서, 제1 사용자 및 제2 사용자에 의해 사용되는 컴퓨터 시스템들 및 디스플레이 생성 컴포넌트들의 동작들은 특정 시나리오에서 그에 따라 반전될 수 있다. 위에서 설명된 특징부들은 여전히 유효하며, 따라서 간결함을 위해 본 명세서에서 반복되지 않는다.
도 7d 내지 도 7f는 일부 실시예들에 따른, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대한 물리적 객체의 표현을 상이한 방식들로 디스플레이하는 방법을 예시하는 블록도들이며, 여기에서 시점은 제1 물리적 환경에서의 사용자의 이동에 따라 이동하고, 물리적 객체의 표현은 제1 물리적 환경과는 상이한 제2 물리적 환경에서의 물리적 객체의 이동에 따라 이동하며, 표현을 디스플레이하는 방식의 변화는 미리설정된 기준들을 충족시키는 시점과 물리적 객체의 표현 사이의 공간적 관계에 응답하여 트리거된다.
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자(및 3차원 환경(7204)을 보기 위해 제1 사용자(7002)에 의해 사용되는 제1 디스플레이 생성 컴포넌트(7100))의 물리적 환경(예컨대, 장면(105-a), 또는 다른 실내 또는 실외 물리적 환경 등)과는 상이한 물리적 환경(예컨대, 장면(105-b), 또는 다른 실내 또는 실외 물리적 환경 등) 내에 위치되는 물리적 객체(예컨대, 제2 사용자(7102), 동물, 이동 드론 등)의 표현을 포함하는 3차원 환경(7304)의 뷰를 디스플레이한다. 컴퓨터 시스템은, 선택적으로, 제1 사용자(7002)(및/또는 제1 디스플레이 생성 컴포넌트(7100))의 그들의 물리적 환경(예컨대, 장면(105-a), 또는 다른 물리적 환경 등)에서의 이동에 따라 3차원 환경(7304)의 현재 디스플레이된 뷰에 대응하는 시점을 이동시킨다. 컴퓨터 시스템은 물리적 객체의 그의 물리적 환경(예컨대, 장면(105-b), 또는 다른 물리적 환경 등)에서의 위치 및 이동 경로에 기초하여 3차원 환경(7204)에서의 물리적 객체의 표현(예컨대, 제2 사용자(7102)의 표현(7102'-a), 다른 물리적 객체의 표현 등)의 위치 및 이동 경로를 결정한다. 컴퓨터 시스템은 3차원 환경(7304) 내의 위치들과 각자의 물리적 환경(예컨대, 제1 사용자(7002) 및 제1 디스플레이 생성 컴포넌트(7100)의 물리적 환경(105-a), 물리적 객체의 물리적 환경(예컨대, 제2 사용자(7102)의 물리적 환경(105-b), 물리적 객체의 다른 물리적 환경 등) 등) 내의 위치들 사이의 제1 유형의 대응(예컨대, 매핑 및 변환 관계들; 선택적으로, 시점, 물리적 객체, 및 제1 사용자에 대한 상이한 매핑 및 변환 관계들 등)을 이용한다. (예컨대, 제1 사용자(7002)의 이동, 및/또는 물리적 객체(예컨대, 이 예에서 제2 사용자(7102)에 의해 표현되는 물리적 객체)의 이동 등으로 인한) 일부 조건들 하에서, 물리적 객체의 표현의 위치는, 3차원 환경(7304) 내의 위치들과 물리적 환경들(예컨대, 장면들(105-a, 105-b 등)) 내의 위치들 사이의 제1 유형의 대응을 사용하여 위치(들)가 결정되는 경우, 제1 디스플레이 생성 컴포넌트(7100)를 통해 표시된 3차원 환경(7304)의 현재 디스플레이된 뷰(예컨대, 뷰(7304-a, 7304-a' 등))의 시점의 위치의 임계 거리(예컨대, 팔의 길이, 3 피트, 사용자 특정 거리 등) 내에 있을 것이다. 그러한 조건들 하에서, 컴퓨터 시스템은 (예컨대, 도 7f에 도시된 바와 같이) 제1 유형의 대응에 기초하여 결정된 위치로부터 오프셋되는 조정된 위치에 물리적 객체의 표현(예컨대, 이 예에서, 표현(7102'-a))을 디스플레이한다. 일부 실시예들에서, 조정된 위치는 제1 유형의 대응과는 상이한 제2 유형의 대응에 기초하여 결정되고, 조정된 위치가 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰(예컨대, 뷰(7304-a"), 제1 디스플레이 생성 컴포넌트(7100)를 통해 표시되는 후속 뷰들 등)의 시점의 위치로부터 임계 거리 초과로 유지되는 것을 보장한다. 컴퓨터 시스템은, 제1 유형의 대응에 기초하여 계산된 조정되지 않은 위치가 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰(예컨대, 뷰(7304-a"), 제1 디스플레이 생성 컴포넌트(7100)를 통해 표시되는 후속 뷰들 등)의 시점의 위치로부터 임계 거리를 초과하여 떨어질 때까지, 제2 유형의 대응을 계속 사용하여 물리적 객체의 표현(예컨대, 이 예에서, 표현(7102'-a))의 조정된 위치를 결정한다.
일부 실시예들에서, 컴퓨터 시스템이 3차원 환경(7304)의 뷰를 제1 사용자(7002)에게 제공하고, 3차원 환경(7304)의 현재 디스플레이된 뷰에 대응하는 시점의 위치가 제1 사용자(7002)의 물리적 환경 내의 제1 사용자의 머리, 신체 또는 눈들의 위치에 기초할 때, 컴퓨터 시스템은 물리적 객체들의 그들의 각자의 물리적 환경 내의 위치들에 대응하는 위치들에 다른 물리적 객체들(예컨대, 이 예에서 제2 사용자(7102)에 의해 표현되는 물리적 객체, 그러나 제1 사용자(7002)와 컴퓨터 생성 환경(7304)을 공유하고 있지 않은 무생물 또는 생물일 수 있음 등)의 표현들을 때때로 디스플레이한다. 일부 상황들에서, 실제 세계에서의 제1 사용자(7002)와 다른 물리적 객체들 사이의 실제 물리적 충돌 또는 불편한 공간적 근접성의 위험 또는 가능성이 없더라도, 물리적 객체들의 표현들의 위치들은 (예컨대, 특별히 조정되지 않는 경우, 달리 어드레싱되는 경우 등) 제1 사용자에게 표시된 뷰에 대응하는 시점의 위치와 충돌하거나 그에 너무 가까워질 수 있어서, 3차원 환경에서의 제1 사용자의 시각적 경험을 때때로 제1 사용자에게 불편하게 또는 거슬리게 할 수 있다.
본 명세서에 개시된 바와 같이, 컴퓨터 시스템은, 제1 유형의 대응에 기초하여 결정된 물리적 객체의 표현의 위치가 제1 사용자에게 표시된 3차원 환경의 현재 디스플레이된 뷰에 대응하는 시점의 임계 범위 내에 있지 않을 때, 3차원 환경 내의 위치들과 물리적 객체의 물리적 환경 내의 대응하는 위치들 사이의 제1 유형의 대응 또는 매핑 관계에 기초하여 제1 사용자와는 상이한 물리적 환경 내에 위치된 물리적 객체의 표현에 대한 위치를 결정한다. 이는, 물리적 객체의 표현이 시점의 가상 위치로부터 떨어져 있는 경우, 3차원 환경에서의 물리적 객체의 표현의 이동이 실제 세계에서의 이동 및 공간적 관계들을 모방하는 방식으로 물리적 객체의 이동에 대응할 수 있고, 물리적 객체의 표현이 제1 사용자의 개인 공간감(sense of personal space)을 침해하지 않을 것임을 의미한다. 그러나, 물리적 객체의 표현이 시점의 가상 위치로부터 매우 가까운 경우, 동일한 방식으로(예컨대, 제1 유형의 대응 또는 매핑 관계에 따라) 물리적 객체의 이동에 대응하는 물리적 객체의 표현의 이동은 물리적 객체의 표현이 비합리적인 크기로 디스플레이되게, 시점과 중첩되게, 그리고/또는 제1 사용자의 개인 공간감을 침해하게 할 것이다. 따라서, 물리적 객체의 표현이 제1 유형의 대응 또는 매핑 관계에 기초하여 시점으로부터 임계 거리 내에 있을 것이라는 결정에 따라, 컴퓨터 시스템은 3차원 환경 내의 위치들과 물리적 객체의 물리적 환경 내의 대응하는 위치들 사이의 제2 유형의 대응 또는 매핑 관계를 사용하여 물리적 객체의 표현에 대한 조정된 위치를 계산하여서, 물리적 객체의 표현이 조정된 위치에 디스플레이될 수 있게 그리고/또는 비합리적인 크기로 디스플레이되는 것, 시점과 중첩되는 것, 및/또는 제1 사용자의 개인 공간감을 침해하는 것을 회피하는 방식으로 이동할 수 있게 한다.
도 7d는 일부 실시예들에 따른, 2명의 사용자들, 예컨대 제1 사용자(7002) 및 제2 사용자(7102)가 컴퓨터 생성 3차원 환경(7304)을 공유하고 있는 시나리오를 예시한다. 일부 실시예들에서, 제1 사용자(7002)는 제1 물리적 환경(105-a) 내에 위치되고, 제2 사용자(7102)는 제2 물리적 환경(105-b) 내에 위치된다. 일부 실시예들에서, 제1 물리적 환경 및 제2 물리적 환경은 서로 중첩될 수 있는 동일한 물리적 환경의 부분들이다. 일부 실시예들에서, 제1 물리적 환경 및 제2 물리적 환경은 서로 중첩되지 않는 별개의 물리적 환경들이다. 일부 실시예들에서, 제1 물리적 환경 및 제2 물리적 환경은, 선택적으로, 실내 환경들, 실외 환경들, 하나의 실내 및 하나의 실외 환경, 실내 환경과 실외 환경의 혼합 등이다. 이러한 예에서, 제1 물리적 환경은 물리적 표면들(예컨대, 벽들(7004-a, 7006-a), 바닥(7008-a) 등) 및 물리적 객체들(예컨대, 물리적 객체(7010), 다른 물리적 객체들 등)을 포함하고; 제2 물리적 환경은 물리적 표면들(예컨대, 벽들(7004-b, 7006-b), 바닥(7008-b) 등) 및 물리적 객체들(예컨대, 물리적 객체(7014), 다른 물리적 객체들 등)을 포함한다. 제1 사용자(7002)는 제1 디스플레이 생성 컴포넌트(7100)의 사용자이고, 제1 디스플레이 생성 컴포넌트(7100)를 통해 공유 3차원 환경(7304)의 제1 뷰(7304-a)(및 후속적으로 업데이트된 제1 뷰들(7304-a', 7304-a" 등))를 제공받는다. 제2 사용자(7102)는 제2 디스플레이 생성 컴포넌트(7200)의 사용자이고, 제2 디스플레이 생성 컴포넌트(7200)를 통해 공유 3차원 환경(7304)의 제2 뷰(7304-b)(및 후속적으로 업데이트된 제1 뷰들(7304-b', 7304-b" 등))를 제공받는다. 예시적인 목적들을 위해, 제1 사용자(7002)는 제1 물리적 환경(105-a)에서 직선(7300)을 따라 전방으로 이동하고, 제2 사용자(7102)는 제2 물리적 환경(105-b)에서 직선(7302)을 따라 전방으로 이동하며, 여기에서 3차원 환경(7304)의 제2 뷰(7304-b)에서의 직선(7300)의 표현(7300')은 제2 뷰(7304-b)의 시점을 통과하고; 3차원 환경(7304)의 제1 뷰(7304-a)에서의 직선(7302)의 표현(7302')은 제1 뷰(7304-a)의 시점을 통과한다. 일부 실시예들에서, 제1 사용자(7002) 및 제2 사용자(7102)의 이동 경로들이 직선들이어야 한다는 요건은 없으며, 경로들은 임의의 형상들일 수 있고/있거나 그들의 물리적 환경들에 적합한 임의의 공간적 범위들을 가질 수 있다. 일부 실시예들에서, 제1 사용자 및 제2 사용자 둘 모두가 그들의 각자의 물리적 환경에서 이동한다는 요건은 없다. 일부 실시예들에서, 각자의 디스플레이 생성 컴포넌트를 통해 제공되는 3차원 환경의 현재 디스플레이된 뷰의 시점은 정지되지 않을 수 있고/있거나, 각자의 디스플레이 생성 컴포넌트의 이동 및/또는 각자의 디스플레이 생성 컴포넌트의 각자의 사용자의 이동에 따라 이동할 수 있다. 일부 실시예들에서, 3차원 환경이 제1 사용자와 제2 사용자 사이의 공유 환경이라는 요건은 없다. 예를 들어, 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트(7100)의 관점으로부터, 이러한 예의 제2 사용자(7102)는 단지 제2 물리적 환경 내의 물리적 객체(예컨대, 동물, 드론, 3차원 환경에 대한 입력을 사용 또는 제공하고 있지 않은 사람 등)의 표현일 뿐이다. 유사하게, 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트의 관점으로부터, 이러한 예의 제1 사용자(7002)는 단지 제1 물리적 환경 내의 물리적 객체(예컨대, 동물, 드론, 3차원 환경에 대한 입력을 사용 또는 제공하고 있지 않은 사람 등)의 표현일 뿐이다. 일부 실시예들에서, 디스플레이 생성 컴포넌트들 중 하나(예컨대, 제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 등)만이 사용되고, 다른 디스플레이 생성 컴포넌트는 존재하지 않거나 또는 본 명세서에서 설명되는 프로세스들에 참여하지 않는다.
도 7d에 도시된 예에서, 일부 실시예들에 따르면, 3차원 환경(7304)은, 사용자(7002) 및 사용자(7102) 중 한 사용자에 의해 제어되는 컴퓨터 시스템을 사용하여 상기 한 사용자로부터 개시되고, 사용자들(7002, 7102) 중 다른 사용자에 의해 제어되는 컴퓨터 시스템을 사용하여 상기 다른 사용자에 의해 수락되는 요청에 응답하여, 사용자들(7002, 7102) 사이에서 공유된다. 일부 실시예들에서, 둘 모두의 사용자들은 제3 사용자에 의해 사용되는 컴퓨터 시스템으로부터 그들의 각자의 컴퓨터 시스템들을 사용하여 3차원 환경을 공유하라는 요청을 수신하였고 수락하였다. 일부 실시예들에서, 둘 모두의 사용자들은 그들의 각자의 컴퓨터 시스템들을 사용하여 서버로 3차원 환경을 공유하라는 요청들을 전송하였고, 여기에서 그들의 요청들은 서버에 의해 수락되었다. 컴퓨터 생성 3차원 환경을 공유할 때 사용자들 및 그들의 각자의 머리들, 눈들, 손들, 팔들 및/또는 손목들의 위치들 및 배향들은 센서들(예컨대, 카메라들, 모션 센서들 등)에 의해 실시간으로 또는 주기적으로 캡처되고, 위치 및 배향 데이터는 사용자들에 의해 제어되는 컴퓨터 시스템들 중 하나 또는 둘 모두에, 그리고/또는 컴퓨터 시스템들과 통신하는 서버에 제공된다. 위치 데이터는 컴퓨터 시스템들 및/또는 서버에 의해 사용되어, 컴퓨터 생성 3차원 환경에서의 사용자들 및 그들의 각자의 머리들, 눈들, 손들, 팔들 및/또는 손목들의 각자의 위치들 및 배향들, 및 이에 대응하여, 사용자들과 연관된 상이한 디스플레이 생성 컴포넌트들을 통해 제공된 3차원 환경의 뷰들에서의 그들의 각자의 머리들, 팔들, 손들 및/또는 손목들을 포함하는 사용자들의 표현들의 각자의 위치들뿐만 아니라, 사용자들과 연관된 상이한 디스플레이 생성 컴포넌트들을 통해 제공된 3차원 환경의 뷰들의 관찰 관점들을 결정한다. 일부 실시예들에서, 사용자들에 의해 공유되는 컴퓨터 생성 환경은 가상 전화 회의, 채팅 세션, 멀티 플레이어 게임, 공유 컴퓨터 생성 경험(예컨대, 그룹 명상, 운동, 게임, 협업 작업 등) 등의 환경이다. 일부 실시예들에서, 사용자들의 표현은 사용자들의 각자의 아바타들이다. 일부 실시예들에서, 사용자들의 표현들은, 선택적으로, 3차원 환경에서 표면에 부착되거나 그에 의해 지지되지 않는다.
도 7d의 부분 (A)에서, 컴퓨터 시스템은 제1 디스플레이 생성 컴포넌트(7100)를 통해 3차원 환경(7304)의 제1 뷰(7304-a)를 디스플레이한다. 3차원 환경의 제1 뷰(7304-a)에서, 제2 사용자(7102)의 표현(7102'-a)이 제2 물리적 환경(105-b) 내의 제2 사용자(7102)의 현재 위치에 대응하는 위치에 디스플레이된다. 가상 경로(7306-a), 가상 객체(7308-a) 등과 같은 다른 객체들이 3차원 환경의 제1 뷰(7304-a) 내에 있다. 제1 뷰(7304-a)에서의 제2 사용자(7102)의 표현(7102'-a), 가상 객체(7308-a) 및 가상 경로(7306-a)의 각자의 외관들 및 디스플레이 위치들은 제1 디스플레이 생성 컴포넌트(7100)를 통해 표시된 3차원 환경의 현재 디스플레이된 제1 뷰(7304-a)의 시점의 위치에 대한 3차원 환경 내의 그들의 각자의 위치들에 기초한다. 일부 실시예들에서, 제1 사용자(7002)의 표현(7002'-a)은, 선택적으로, 3차원 환경의 제1 뷰(7304-a)에서, 제1 사용자(7002)의 가상 위치 및/또는 3차원 환경에서의 현재 디스플레이된 제1 뷰(7304-a)의 시점에 대응하는 위치에서 보인다. 이러한 예에서, 도 7d의 부분 (A)에 도시된 바와 같이, 컴퓨터 시스템은 직선(7302)의 표현(7302')을 따라 제1 뷰(7304-a)의 시점의 가상 위치를 향한 표현(7102'-a)의 이동을 디스플레이한다. 도 7d에 묘사된 순간에, 표현(7102'-a)은 3차원 환경(7304) 내의 위치들과 제2 물리적 환경(예컨대, 장면(105-b), 또는 제2 사용자(7102)의 다른 물리적 환경 등) 내의 위치들 사이의 제1 유형의 대응에 따라 계산되는 위치에 디스플레이된다. 제2 사용자(7102)의 표현(7102'-a)은 제2 사용자(7102)가 제2 물리적 환경에서 선(7302)을 따라 전방으로 이동함에 따라 제1 뷰(7304-a)의 시점을 향해 이동하고 그에 접근하는 것으로 표시된다.
일부 실시예들에서, 도 7d의 부분 (B)에 도시된 바와 같이, 컴퓨터 시스템 또는 컴퓨터 시스템과 통신하는 다른 컴퓨터 시스템은, 선택적으로, 디스플레이 생성 컴포넌트(7200)를 통해 3차원 환경(7304)의 제2 뷰(7304-b)를 디스플레이한다. 3차원 환경의 제2 뷰(7304-b)에서, 제1 사용자(7002)의 표현(7002'-b)이 제1 물리적 환경(예컨대, 장면(105-a), 또는 제1 사용자의 다른 물리적 환경 등) 내의 제1 사용자(7002)의 현재 위치에 대응하는 위치에 디스플레이된다. 가상 경로(7306-b)(예컨대, 가상 경로(7306-a)와 동일한 가상 경로이지만 제2 뷰(7304-b)의 시점으로부터 봄), 가상 객체(7308-b)(예컨대, 가상 객체(7308-a)와 동일한 가상 객체이지만 제2 뷰(7304-b)의 시점으로부터 봄) 등과 같은 다른 객체들이 3차원 환경의 제2 뷰(7304-b) 내에 있다. 제2 뷰(7304-b)에서의 제1 사용자(7002)의 표현(7002'-b), 가상 객체(7308-b) 및 가상 경로(7306-b)의 각자의 외관들 및 디스플레이 위치들은 제2 디스플레이 생성 컴포넌트(7200)를 통해 표시된 3차원 환경의 현재 디스플레이된 제2 뷰(7304-b)의 시점의 위치에 대한 3차원 환경 내의 그들의 각자의 위치들에 기초한다. 일부 실시예들에서, 제2 사용자(7102)의 표현(7102'-b)은, 3차원 환경의 제2 뷰(7304-b)에서, 제2 사용자(7102)의 가상 위치 및/또는 현재 디스플레이된 제2 뷰(7304-b)의 시점에 대응하는 위치에서 보인다. 이러한 예에서, 도 7d의 부분 (B)에 도시된 바와 같이, 컴퓨터 시스템은 직선(7300)의 표현(7300')을 따라 제2 뷰(7304-b)의 시점의 가상 위치를 향한 표현(7002'-b)의 이동을 디스플레이한다. 도 7d에 묘사된 순간에, 표현(7002'-b)은 3차원 환경(7304) 내의 위치들과 제1 물리적 환경(예컨대, 장면(105-a), 또는 제1 사용자의 다른 물리적 환경 등) 내의 위치들 사이의 제1 유형의 대응에 따라 계산되는 위치에 디스플레이된다. 제1 사용자(7002)의 표현(7002'-b)은 제1 사용자(7002)가 제1 물리적 환경에서 선(7300)을 따라 전방으로 이동함에 따라 제2 뷰(7304-b)의 시점의 가상 위치를 향해 이동하고 그에 접근하는 것으로 표시된다.
도 7e는, 제1 유형의 대응(예컨대, 3차원 환경(7304) 내의 위치들과 제1 물리적 환경 내의 위치들 사이의 제1 유형의 대응, 3차원 환경(7304) 내의 위치들과 제2 물리적 환경 내의 위치들 사이의 제1 유형의 대응 등)에 따라 계산된 바와 같은 3차원 환경(7304) 내의 제1 사용자 및 제2 사용자의 각자의 위치들이 3차원 환경(7304)에서 서로의 각자의 미리설정된 임계 거리에 있도록, 제1 사용자(7002) 및 제2 사용자(7102) 중 어느 하나 또는 둘 모두가 그들의 각자의 물리적 환경들에서 이동한 시점을 예시한다. 일부 실시예들에서, 이때, 도 7e의 부분 (A)에 예시된 바와 같이, 3차원 환경(7304) 내의 위치들과 제2 물리적 환경 내의 위치들 사이의 제1 유형의 대응에 따라 계산된 바와 같은 업데이트된 제1 뷰(7304-a')의 시점의 위치 및 제2 사용자(7102)의 표현(7102'-a)의 각자의 위치는 3차원 환경(7304)에서 서로의 제1 임계 거리에 있다. 일부 실시예들에서, 선택적으로, 도 7e의 부분 (B)에 예시된 바와 같이, 3차원 환경(7304) 내의 위치들과 제1 물리적 환경 내의 위치들 사이의 제1 유형의 대응에 따라 계산된 바와 같은 업데이트된 제2 뷰(7304-b')의 시점의 위치 및 제1 사용자(7002)의 표현(7002'-b)의 각자의 위치는 3차원 환경에서 서로의 제2 미리설정된 임계 거리에(예컨대, 제1 미리설정된 임계 거리와 동일함, 상이한 미리설정된 임계 거리에 등) 있다. 일부 실시예들에서, 제1 임계 거리는, 제1 사용자 및 제2 사용자의 각자의 개인 설정들 및 다른 특성들(예컨대, 크기, 형상, 자세, 활동 등)에 따라, 제2 임계 거리와는 상이하다.
도 7e의 부분 (A)에서, 제1 사용자(7002) 및 제2 사용자(7102)의 그/그녀의 물리적 환경에서의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 물리적 환경에서의 제1 사용자(7002)의 이동에 따라 이동되는 시점으로 3차원 환경의 업데이트된 제1 뷰(7304-a')를 디스플레이한다. 일부 실시예들에서, 업데이트된 제1 뷰(7304-a')의 시점은, 제1 사용자(7002) 및/또는 제1 디스플레이 생성 컴포넌트(7100)가 제1 물리적 환경에서 이동하지 않았다면, 3차원 환경에서 정지 상태에 있다. 일부 실시예들에서, 제1 유형의 대응에 따라 제2 물리적 환경 내의 제2 사용자의 현재 위치에 기초하여 계산되는 3차원 환경 내의 제2 사용자(7102)의 표현(7102'-a)의 각자의 위치가 3차원 환경의 업데이트된 제1 뷰(7304-a')와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 제1 미리설정된 임계 거리 초과 또는 이상이라는 결정에 따라, 컴퓨터 시스템은 3차원 환경의 업데이트된 제1 뷰(7304-a') 내의 제1 디스플레이 위치에 표현(7102'-a)을 디스플레이하며, 여기에서 제1 디스플레이 위치는 3차원 환경 내의 표현(7102'-a)의 각자의 위치이다.
일부 실시예들에서, 제1 미리설정된 임계 거리는 팔의 길이, 3차원 환경에서 제1 사용자(7002)의 가상 위치를 둘러싸는 미리설정된 경계 표면(예컨대, 제1 사용자(7002)의 표현의 가상 표면, 또는 제1 사용자(7002)의 가상 위치를 둘러싸는 경계 박스)에 의해 한정되는, 3차원 환경(7304)에서의 제1 사용자(7002)에 대한 개인 공간의 미리설정된 반경이다.
일부 실시예들에서, 선택적으로, 도 7e의 부분 (B)에 도시된 바와 같이, 제2 사용자(7102)의 그/그녀의 물리적 환경에서의 이동을 검출하는 것에 응답하여, 제2 사용자(7102)의 컴퓨터 시스템은 제2 물리적 환경에서의 제2 사용자(7102)의 이동에 따라 이동되는 시점으로 3차원 환경(7304)의 업데이트된 제2 뷰(7304-b')를 디스플레이한다. 일부 실시예들에서, 업데이트된 제2 뷰(7304-b')의 시점은, 제2 사용자(7102) 및/또는 제2 디스플레이 생성 컴포넌트(7200)가 제2 물리적 환경에서 이동하지 않았다면, 3차원 환경에서 정지 상태에 있다. 일부 실시예들에서, 제1 유형의 대응에 따라 제1 물리적 환경 내의 제1 사용자(7002)의 현재 위치에 기초하여 계산되는 3차원 환경 내의 제1 사용자(7002)의 표현(7002'-b)의 각자의 위치가 3차원 환경의 업데이트된 제2 뷰(7304-b')와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 제2 미리설정된 임계 거리 초과 또는 이상이라는 결정에 따라, 제2 사용자(7102)의 컴퓨터 시스템은 3차원 환경의 업데이트된 제2 뷰(7304-b') 내의 제2 디스플레이 위치에 표현(7002'-b)을 디스플레이하며, 여기에서 제2 디스플레이 위치는 3차원 환경 내의 표현(7002'-b)의 각자의 위치이다.
일부 실시예들에서, 제2 미리설정된 임계 거리는 팔의 길이, 3차원 환경에서 제2 사용자(7102)의 가상 위치를 둘러싸는 미리설정된 경계 표면(예컨대, 제2 사용자(7102)의 표현의 가상 표면, 제2 사용자(7102)의 가상 위치를 둘러싸는 경계 박스 등)에 의해 한정되는, 3차원 환경에서의 제2 사용자(7102)에 대한 개인 공간의 미리설정된 반경 등이다.
도 7f에서, 도 7e에 도시된 것 후의 다음 순간에, 제1 사용자(7002) 및 제2 사용자(7102) 중 어느 하나 또는 둘 모두의 이동이 그들의 각자의 물리적 환경들에서 계속됨에 따라, 제1 유형의 대응(예컨대, 3차원 환경(7304) 내의 위치들과 제1 물리적 환경 내의 위치들 사이의 제1 유형의 대응, 3차원 환경(7304) 내의 위치들과 제2 물리적 환경 내의 위치들 사이의 제1 유형의 대응 등)에 따라 계산된 바와 같은 3차원 환경 내의 제1 사용자 및 제2 사용자의 각자의 위치들이 3차원 환경에서 서로의 각자의 미리설정된 임계 거리 내에 있다. 일부 실시예들에서, 이때, 3차원 환경(7304) 내의 위치들과 제2 물리적 환경 내의 위치들 사이의 제1 유형의 대응에 따라 계산된 바와 같은 추가로 업데이트된 제1 뷰(7304-a")의 시점의 위치 및 제2 사용자(7102)의 표현의 각자의 위치는 3차원 환경에서 서로의 제1 미리설정된 임계 거리 미만이다.
도 7f의 부분 (A)에서, 제1 사용자(7002) 및/또는 제2 사용자(7102)의 그들의 각자의 물리적 환경들에서의 추가 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 물리적 환경에서의 제1 사용자(7002)의 추가 이동에 따라 이동되는 시점으로 3차원 환경의 추가로 업데이트된 제1 뷰(7304-a")를 디스플레이한다. 일부 실시예들에서, 추가로 업데이트된 제1 뷰(7304-a")의 시점은, 제1 사용자(7002) 및/또는 제1 디스플레이 생성 컴포넌트(7100)가 제1 물리적 환경에서 이동하지 않았다면, 3차원 환경에서 정지 상태에 있다. 일부 실시예들에서, 제1 유형의 대응에 따라 제2 물리적 환경 내의 제2 사용자(7102)의 현재 위치에 기초하여 계산되는 3차원 환경 내의 제2 사용자(7102)의 표현(7102'-a)의 각자의 위치가 3차원 환경의 추가로 업데이트된 제1 뷰(7304-a")와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 제1 미리설정된 임계 거리 미만이라는 결정에 따라, 컴퓨터 시스템은 3차원 환경의 추가로 업데이트된 제1 뷰(7304-a") 내의 조정된 디스플레이 위치에 표현(7102'-a)을 디스플레이하며, 여기에서, 조정된 디스플레이 위치는 이 순간에 3차원 환경 내의 표현(7102'-a)의 각자의 위치로부터 오프셋된다. 예를 들어, 도 7f의 부분 (A)에서, 추가로 업데이트된 제1 뷰(7304-a")에서 일직선으로 표현(7002'-a) 앞에 있거나 표현(7002'-a)과 중첩되는 위치에 표현(7102'-a)을 디스플레이하는 대신에, 표현(7002'-a)의 조정된 디스플레이 위치는 제1 사용자(7002)의 표현(7002'-a)의 옆(예컨대, 우측, 또는 다른 쪽 또는 방향 등)으로 오프셋된다. 일반적으로, 현재 디스플레이된 제1 뷰(7304-a")의 시점의 제1 미리설정된 임계 거리 내에 있는 위치에 표현(7102'-a)을 디스플레이하는 대신에, 컴퓨터 시스템은 제1 유형의 대응에 따라 계산된 조정되지 않은 위치로부터 오프셋되는 조정된 디스플레이 위치에 표현(7102'-a)을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은, 표현(7102'-a)의 위치와 현재 디스플레이된 제1 뷰(7304-a")의 시점의 위치 사이의 거리가 더 이상 서로의 제1 미리설정된 임계 거리 내에 있지 않을 때까지, 제1 사용자(7002) 및/또는 제2 사용자(7102)의 이동 동안 표현(7102'-a)의 디스플레이 위치에 대한 조정을 계속 적용한다.
일부 실시예들에서, 선택적으로, 도 7f의 부분 (B)에 예시된 바와 같이, 3차원 환경(7304) 내의 위치들과 제1 물리적 환경 내의 위치들 사이의 제1 유형의 대응에 따라 계산된 바와 같은 추가로 업데이트된 제2 뷰(7304-b")의 시점의 위치 및 제1 사용자(7002)의 표현(7002'-b)의 각자의 위치는 3차원 환경에서 서로의 제2 미리설정된 임계 거리 미만이다(예컨대, 제1 미리설정된 임계 거리와 동일함, 상이한 미리설정된 임계 거리에 있음 등).
도 7f의 부분 (B)에서, 제1 사용자(7002) 및/또는 제2 사용자(7102)의 그들의 각자의 물리적 환경들에서의 추가 이동을 검출하는 것에 응답하여, 제2 사용자(7102)의 컴퓨터 시스템은 제2 물리적 환경에서의 제2 사용자(7102)의 추가 이동에 따라 이동되는 시점으로 3차원 환경의 추가로 업데이트된 제2 뷰(7304-b")를 디스플레이한다. 일부 실시예들에서, 추가로 업데이트된 제2 뷰(7304-a")의 시점은, 제2 사용자(7102) 및/또는 제2 디스플레이 생성 컴포넌트(7200)가 제2 물리적 환경에서 이동하지 않았다면, 3차원 환경에서 정지 상태에 있다. 일부 실시예들에서, 제1 유형의 대응에 따라 제1 물리적 환경 내의 제1 사용자(7002)의 현재 위치에 기초하여 계산되는 3차원 환경 내의 제1 사용자(7002)의 표현(7002'-b)의 각자의 위치가 3차원 환경의 추가로 업데이트된 제2 뷰(7304-b")와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 제2 미리설정된 임계 거리 미만이라는 결정에 따라, 제2 사용자(7102)의 컴퓨터 시스템은 3차원 환경의 추가로 업데이트된 제2 뷰(7304-b") 내의 조정된 디스플레이 위치에 표현(7002'-b)을 디스플레이하며, 여기에서, 조정된 디스플레이 위치는 이 순간에 3차원 환경 내의 표현(7002'-b)의 각자의 위치로부터 오프셋된다. 예를 들어, 도 7f의 부분 (B)에서, 추가로 업데이트된 제2 뷰(7304-b")에서 일직선으로 표현(7102'-b) 앞에 있거나 표현(7102'-b)과 중첩되는 위치에 표현(7002'-b)을 디스플레이하는 대신에, 표현(7002'-b)의 조정된 디스플레이 위치는 제2 사용자(7102)의 표현(7102'-b)의 옆으로(예컨대, 우측으로, 다른 쪽 또는 방향으로 등) 오프셋된다. 일반적으로, 현재 디스플레이된 제2 뷰(7304-b")의 시점의 제2 미리설정된 임계 거리 내에 있는 위치에 표현(7002'-b)을 디스플레이하는 대신에, 제2 사용자(7102)의 컴퓨터 시스템은 제1 유형의 대응에 따라 계산된 조정되지 않은 위치로부터 오프셋되는 조정된 디스플레이 위치에 표현(7002'-b)을 디스플레이한다. 일부 실시예들에서, 제2 사용자(7102)의 컴퓨터 시스템은, 표현(7002'-b)의 위치와 현재 디스플레이된 제2 뷰(7304-b")의 시점의 위치 사이의 거리가 더 이상 서로의 미리설정된 제2 임계 거리 내에 있지 않을 때까지, 제1 사용자 및/또는 제2 사용자의 이동 동안 조정을 계속 적용한다.
일부 실시예들에서, 위의 예에서, 제1 사용자(7002)는 이동하고 있고, 제2 사용자(7102)는 정지 상태에 있다. 그 결과, 위에서 설명된 방식으로 조정되지 않는 한, 현재 디스플레이된 뷰(7304-a, 7304-a', 7304-a")의 시점은 3차원 환경에서 상이한 위치들을 갖고; 제1 사용자(7002)의 표현들(7002'-b)은 (예컨대, 도 7d 내지 도 7f의 현재 디스플레이된 제1 뷰(7304-a, 7304-a', 7304-a") 및 현재 디스플레이된 제2 뷰(7304-b, 7304-b', 7304-b")에서) 3차원 환경에서 상이한 위치들을 갖는다. 위에서 설명된 방식으로 조정되지 않는 한, 현재 디스플레이된 뷰(7304-b, 7304-b', 7304-b")의 시점은 3차원 환경에서 동일한 위치를 갖고; 제2 사용자(7102)의 표현들(7102'-a)은 (예컨대, 도 7d 내지 도 7f의 현재 디스플레이된 제1 뷰(7304-a, 7304-a', 7304-a") 및 현재 디스플레이된 제2 뷰(7304-b, 7304-b', 7304-b")에서) 3차원 환경에서 동일한 위치를 갖는다.
일부 실시예들에서, 위의 예에서, 제1 사용자(7002)는 정지 상태에 있고,
제2 사용자(7102)는 제2 물리적 환경에서 이동하고 있다. 그 결과, 위에서 설명된 방식으로 조정되지 않는 한, 현재 디스플레이된 뷰(7304-b, 7304-b', 7304-b")의 시점은 3차원 환경에서 상이한 위치들을 갖고; 제2 사용자(7102)의 표현들(7102'-a)은 (예컨대, 도 7d 내지 도 7f의 현재 디스플레이된 제1 뷰(7304-a, 7304-a', 7304-a") 및 현재 디스플레이된 제2 뷰(7304-b, 7304-b', 7304-b")에서) 3차원 환경에서 상이한 위치들을 갖는다. 위에서 설명된 방식으로 조정되지 않는 한, 현재 디스플레이된 뷰(7304-a, 7304-a', 7304-a")의 시점은 3차원 환경에서 동일한 위치를 갖고; 제1 사용자(7002)의 표현들(7002'-b)은 (예컨대, 도 7d 내지 도 7f의 현재 디스플레이된 제1 뷰(7304-a, 7304-a', 7304-a") 및 현재 디스플레이된 제2 뷰(7304-b, 7304-b', 7304-b")에서) 3차원 환경에서 동일한 위치를 갖는다.
일부 실시예들에서, 위의 예에서, 제1 사용자(7002) 및 제2 사용자(7102)는 둘 모두 그들의 각자의 물리적 환경들에서 이동하고 있다. 그 결과, 현재 디스플레이된 제1 뷰(7304-b, 7304-b', 7304-b")의 시점들, 및 현재 디스플레이된 제2 뷰(7304-a, 7304-a', 7304-a")의 시점들은 모두 3차원 환경에서 상이한 위치들을 갖고; 제2 사용자(7102)의 표현들(7102'-a)은 도 7d 내지 도 7f의 현재 디스플레이된 제1 뷰(7304-a, 7304-a', 7304-a") 및 현재 디스플레이된 제2 뷰(7304-b, 7304-b', 7304-b")에서 3차원 환경에서 상이한 위치들을 갖고; 제1 사용자(7002)의 표현들(7002'-b)은 도 7d 내지 도 7f의 현재 디스플레이된 제1 뷰(7304-a, 7304-a', 7304-a") 및 현재 디스플레이된 제2 뷰(7304-b, 7304-b', 7304-b")에서 3차원 환경에서 상이한 위치들을 갖는다.
일부 실시예들에서, 제1 사용자(7002)의 표현(7002'-b) 및/또는 제2 사용자(7102)의 표현(7102'-a)은 제1 뷰 및 제2 뷰에서 공간에서 부유하고 있다. 예를 들어, 일부 실시예들에서, 제1 사용자(7002)의 표현(7002'-b)은 3차원 환경의 제2 뷰(7034-b, 7034-b', 7034-b" 등)에서 부유하는 제1 사용자(7002)의 부유 아바타이고, 제1 사용자의 이동 및/또는 제2 사용자의 이동으로 인해, 제2 뷰(7034-b")의 시점이 표현(7002'-b)의 제2 미리설정된 임계 거리 내에 도달함에 따라 자동적으로 비키어 이동한다. 유사하게, 일부 실시예들에서, 제2 사용자(7102)의 표현(7102'-a)은 3차원 환경의 제1 뷰(7034-a, 7034-a', 7034-a" 등)에서 부유하는 제2 사용자(7102)의 부유 아바타이고, 제1 사용자의 이동 및/또는 제2 사용자의 이동으로 인해, 제1 뷰(7034-a")의 시점이 표현(7102'-a)의 제1 미리설정된 임계 거리 내에 도달함에 따라 자동적으로 비키어 이동한다. 일부 실시예들에서, 3차원 환경 내의 사용자들의 아바타들은 3차원 환경의 리얼리즘(realism) 레벨(예컨대, 사진 리얼리즘 레벨, 만화 리얼리즘 레벨 등)에 기초하여 선택되는 리얼리즘 레벨을 갖는다. 일부 실시예들에서, 3차원 환경(7304)이 제1 리얼리즘 레벨로 디스플레이된다는 결정에 따라, 사용자들의 표현들은 제1 리얼리즘 레벨에 대응하는 제1 세트의 디스플레이 속성들(예컨대, 제1 해상도, 제1 수의 치수들, 제1 선명도 레벨, 제1 색상 팔레트, 조명 효과 없음 등)로 디스플레이되고, 3차원 환경이 제1 리얼리즘 레벨과는 상이한(예컨대, 그보다 큰, 그보다 작은 등) 제2 리얼리즘 레벨로 디스플레이된다는 결정에 따라, 사용자들의 표현들은 제2 리얼리즘 레벨에 대응하는 제2 세트의 디스플레이 속성들(예컨대, 제2 해상도, 제2 수의 치수들, 제2 선명도 레벨, 제2 색상 팔레트, 조명 효과 있음 등)로 디스플레이되며, 제2 세트의 디스플레이 속성들은 제1 세트의 디스플레이 속성들과는 상이하다(예컨대, 그보다 큼, 그보다 작음, 그에 더함, 그로부터 뺌 등).
일부 실시예들에서, 각자의 사용자의 표현의 디스플레이 위치가 조정될 때, 각자의 사용자의 표현은 통상적인 방식으로(예컨대, 제1 유형의 대응에 따라, 조정 없이 등) 물리적 환경에서의 각자의 사용자의 이동에 대응하지 않는 이동 컴포넌트를 갖고서 이동한다. 일부 실시예들에서, 각자의 사용자의 각자의 표현의 조정된 위치에 적용되는 오프셋의 양은 3차원 환경 내의 시점의 가상 위치와 각자의 표현 사이의 공간적 관계에 기초하여 가변적이다. 일부 실시예들에서, 표현(7102'-a)의 디스플레이 위치에 대한 조정은, 선택적으로, 제1 사용자(7002)에게 디스플레이되는 제1 뷰(7304-a")에 적용되고, 제2 사용자(7102)에게 디스플레이되는 제2 뷰(7304-b")에는 적용되지 않는다. 일부 실시예들에서, 표현(7002'-b)의 디스플레이 위치에 대한 조정은, 선택적으로, 제2 사용자(7102)에게 디스플레이되는 제2 뷰(7304-b")에 적용되고, 제1 사용자(7002)에게 디스플레이되는 제1 뷰(7304-a")에는 적용되지 않는다.
일부 실시예들에서, 3차원 환경(7304)은 가상 3차원 환경 또는 증강 현실 환경을 포함하고, 제1 사용자 및 제2 사용자는 가상 3차원 환경에서 공유 경험을 갖는다. 일부 실시예들에서, 제1 사용자 및 제2 사용자의 그들의 각자의 물리적 환경들(예컨대, 동일한 물리적 환경, 상이한 물리적 환경들 등)에서의 위치들 및 이동들은 동일한 3차원 환경에서의 위치들 및 이동들에 (예컨대, 동일한 매핑 관계, 또는 상이한 매핑 관계 등을 사용하여) 매핑되지만, 3차원 환경들의 외관은 각자의 사용자에게 표시된 3차원 환경의 뷰에서 각자의 사용자에게 맞게 (예컨대, 상이한 벽지들, 색상 배색들, 상이한 가상 가구 등으로) 조정될 수 있다.
도 7g 내지 도 7j는 일부 실시예들에 따른, 컴퓨터 시스템에 의해 수신되는 사용자의 변화하는 생체측정 데이터에 따라 컴퓨터 생성 경험의 환경이 디스플레이되는 몰입 레벨을 변경하는 것을 예시하는 블록도들이다.
일부 실시예들에서, 컴퓨터 시스템은 컴퓨터 생성 경험(예컨대, 시각적 경험, 오디오-시각적 경험, 가상 현실 경험, 증강 현실 경험 등)이 사용자(예컨대, 사용자(7002))에 대응하는 생체측정 데이터(예컨대, 바(7312)에 의해 표현되는 생체측정 데이터, 다른 생체측정 데이터 등)에 따라 사용자에게 제시되는 몰입 레벨을 변경한다. 예를 들어, 예컨대 사전행동적으로 그리고/또는 컴퓨터 생성 콘텐츠의 영향 하에서, 컴퓨터 생성 경험이 시작된 후 사용자가 그/그녀의 신체 상태 및 감정 상태를 조정하고 있을 때, 컴퓨터 시스템은 사용자에 대응하는 생체측정 데이터(예컨대, 심박수, 혈압, 호흡률 등)의 변화들을 검출할 수 있다. 상이한 몰입 레벨들과 연관된 미리설정된 기준들(예컨대, 표시자(7326)에 의해 표현되는 임계치, 또는 다른 유형들의 임계치들 또는 기준들 등)의 각자의 세트들에 대한 생체측정 데이터의 변화들에 따라, 컴퓨터 시스템은 (예컨대, 물리적 환경의 표현의 시각적 두드러짐에 대한 가상 콘텐츠의 시각적 두드러짐(예컨대, 공간적 범위, 시각적 깊이, 색상 포화도, 시각적 콘트라스트 등을 포함함)을 변경함으로써(예컨대, 가상 콘텐츠의 복잡도, 공간적 범위 및/또는 시각적 특성들을 향상시키고/시키거나, 물리적 환경의 표현의 시각적 선명도, 블러 반경, 불투명도, 색상 포화도 등을 감소시킴으로써 등) 컴퓨터 생성 경험이 사용자에게 제공되는 몰입 레벨을 증가 또는 감소시킨다.
도 7g 내지 도 7j에 도시된 예에서, 컴퓨터 시스템은, 초기에, 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7100), 또는 HMD와 같은 다른 유형의 디스플레이 생성 컴포넌트 등)를 통해 3차원 환경의 뷰(7316)를 디스플레이한다. 일부 실시예들에서, 3차원 환경의 뷰(7316)는 사용자(7002)의 물리적 환경의 패스 스루 뷰이고, 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 부분들에 가상 콘텐츠를 포함하지 않거나 최소량의 가상 콘텐츠(예컨대, 시스템 제어부들, 표시자들 등)를 포함한다. 뷰(7316)는, 예컨대 사용자의 물리적 환경의 표현에 대해 디스플레이되는 최소량의 가상 콘텐츠로 인해, 컴퓨터 생성 경험이 사용자에게 제공되는 낮은 몰입 레벨에 대응한다. 이러한 예에서, 3차원 환경의 뷰(7316)는 물리적 표면들의 표현들(예컨대, 사용자(7002)의 물리적 환경(105) 내의 2개의 인접한 벽들(7004, 7006)의 표현들(7004', 7006'), 바닥(7008)의 표현(7008') 등), 및 물리적 객체들의 표현들(예컨대, 사용자(7002)의 물리적 환경(105) 내의 물리적 객체(7010)의 표현(7010'), 및 다른 물리적 객체들의 표현들 등)을 포함한다.
도 7g는, 또한, 컴퓨터 시스템이, 3차원 환경의 뷰(7316)를 낮은 몰입 레벨로 디스플레이하는(예컨대, 물리적 환경의 패스 스루 뷰를 디스플레이하는, 또는 최소량의 가상 콘텐츠와 함께 물리적 환경의 표현을 디스플레이하는 등) 동안, 컴퓨터 시스템이 사용자(7002)에 대응하는 생체측정 데이터를 수신하는 것을 예시한다. 사용자(7002)의 생체측정 데이터가 다음의 더 높은 몰입 레벨에 대응하는 미리설정된 기준들을 충족시키지 않는다는 결정에 따라, 컴퓨터 시스템은, 3차원 환경의 현재 디스플레이된 뷰에서 물리적 환경의 표현의 시각적 두드러짐을 감소시키지 않고서, 3차원 환경의 제1 뷰(7316)의 디스플레이를 유지한다. 예를 들어, 도 7g에 예시된 바와 같이, 생체측정 데이터는 생체측정 데이터에 대한 값(들)의 전체 범위에 대해 바(7312)의 길이에 의해 표시되는 값 또는 값들의 세트를 갖고, 상이한, 더 높은 몰입 레벨로 전이하기 위한 미리설정된 기준들에 대응하는 임계 값들은 생체측정 데이터에 대한 값들의 전체 범위에 대해 표시자(7326)의 위치에 의해 표시된다.
일부 실시예들에서, 사용자(7002)에 대응하는 생체측정 데이터는 사용자(7002)의 심박수, 호흡률, 체온, 소정 화학물질들, 약물 및/또는 호르몬들 등의 혈청 농도, 혈압, 뇌파들, 포커스 레벨, 동공 크기, 대사율, 혈당 레벨 등 중 하나 이상을 포함한다. 일부 실시예들에서, 사용자(7002)에 대응하는 생체측정 데이터는 컴퓨터 생성 경험과의 사용자의 관여 동안 시간 경과에 따라 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터(예컨대, 호흡률, 혈압, 포커스 레벨, 혈당 레벨 등)를 포함한다. 일부 실시예들에서, 사용자에 대응하는 생체측정 데이터는 사용자의 신체적 액션들(예컨대, 컴퓨터 생성 경험과의 사용자의 관여 동안 컴퓨터 시스템에 의해 제공되는 사용자 인터페이스 요소들 또는 제어부들과의 직접적인 상호작용과는 대조적으로, 명상, 호흡 패턴 변화, 운동 등)을 통해 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터를 포함한다. 일부 실시예들에서, 사용자에 대응하는 생체측정 데이터는 사용자의 기분, 행복 및/또는 스트레스 레벨 등에 대응하는 다수의 유형들의 생체측정 데이터의 하나 이상의 유형들의 복합 메트릭들을 포함한다. 일부 실시예들에서, 생체측정 데이터는 디스플레이 생성 컴포넌트를 통한 3차원 환경의 현재 뷰의 디스플레이 전의 시간에 또는 미리설정된 시간 내에 사용자의 생리학적 상태에 대응하는 실시간 데이터를 포함한다. 일부 실시예들에서, 생체측정 데이터는, 사용자에게 연결되거나 그로 지향되는 하나 이상의 생체측정 센서들(예컨대, 다양한 적합한 의료 디바이스들, 진동 센서들, 카메라들, 열 센서들, 화학 센서들 등)을 통해 연속적으로 그리고/또는 주기적으로 수집되고, 컴퓨터 시스템으로 연속적으로 그리고/또는 주기적으로 송신된다. 일부 실시예들에서, 생체측정 데이터는, 평균 사용자가 컴퓨터 생성 경험에 관여하는 기간에 걸쳐 전형적으로 변화하지 않는 인간들의 비-과도 특성들(예컨대, 지문, 홍채 패턴 및 색상, 얼굴 특징부들, 성문 등)을 포함하지 않는다.
일부 실시예들에서, 컴퓨터 시스템은, 심박수가 제1 임계 심박수보다 많다는 결정, 혈압이 제1 임계 혈압보다 높다는 결정, 사용자의 이동이 임계 시간 동안 제1 임계량의 이동을 초과한다는 결정, 사용자의 체온이 제1 임계 체온보다 높다는 결정, 스트레스 레벨의 메트릭이 제1 임계 스트레스 레벨보다 높다는 결정, 사용자의 기분에 대응하는 메트릭이 사용자가 동요하고 있고 불행하다는 것을 나타낸다는 결정 등에 따라, 생체측정 데이터가 컴퓨터 생성 경험을 미리설정된 더 높은 몰입 레벨로 디스플레이하는 것으로 전이하기 위한 미리설정된 기준들을 충족시키지 않는다고 결정한다. 일부 실시예들에서, 컴퓨터 시스템은, 미리설정된 기준들이 충족되기 전에 생체 데이터의 변화들에 기초하여 점진적인 전이들을 거치지 않고서, 미리설정된 기준들이 충족될 때 (예컨대, 도 7j에 도시된 바와 같이) 3차원 환경을 미리설정된 더 높은 몰입 레벨로 디스플레이하는 것으로 직접 스위칭한다. 일부 실시예들에서, 선택적으로, 컴퓨터 생성 경험은 사용자가 사용자로부터 수신된 대응하는 생체측정 데이터가 미리설정된 기준들을 충족시킬 상태에 진입하는 것을 돕는 시각적 및/또는 오디오 안내(예컨대, 음악, 풍경, 영감을 주는 메시지들, 안내된 약물 기록, 호흡에 대한 시각적, 오디오 또는 구두 지시사항들 등)를 포함한다.
도 7h 및 도 7i는, 일부 실시예들에서, 컴퓨터 시스템이, 사용자에 대응하는 생체측정 데이터의 변화들의 추세 및/또는 크기에 따라, 컴퓨터 생성 경험이 사용자에게 제공되는 몰입 레벨을 점진적으로 조정하는 것을 예시한다. 예를 들어, 일부 실시예들에서, 생체측정 데이터가 미리설정된 더 높은 몰입 레벨(예컨대, 증강 현실 뷰, 증강 가상 뷰, 가상 현실 뷰 등)로 스위칭하기 위한 미리설정된 기준들의 만족에 접근하는 변화를 나타내는 경우, 컴퓨터 시스템은 컴퓨터 생성 경험에 대응하는 가상 콘텐츠의 시각적 두드러짐 및/또는 양을 증가시키고, 3차원 환경의 현재 디스플레이된 뷰에서 물리적 환경의 표현의 시각적 두드러짐 및/또는 양을 감소시킨다. 일부 실시예들에서, 컴퓨터 시스템은 컴퓨터 생성 경험에 대응하는 가상 콘텐츠와 물리적 환경의 표현 사이의 시각적 균형을 사용자에 대응하는 생체측정 데이터의 변화의 양 및/또는 특성에 대응하는 양만큼 변경한다. 유사하게, 일부 실시예들에서, 생체측정 데이터가 미리설정된 더 높은 몰입 레벨로 스위칭하기 위한 미리설정된 기준들의 만족으로부터 멀어지는 변화를 나타내는 경우, 컴퓨터 시스템은 컴퓨터 생성 경험에 대응하는 가상 콘텐츠의 시각적 두드러짐 및/또는 양을 감소시키고, 3차원 환경의 현재 디스플레이된 뷰에서 물리적 환경의 표현의 시각적 두드러짐 및/또는 양을 증가시킨다.
일부 실시예들에서, 컴퓨터 시스템은 가상 콘텐츠와 물리적 환경의 표현 사이의 시각적 균형을 사용자에 대응하는 생체측정 데이터의 변화의 양 및/또는 특성에 대응하는 양만큼 변경한다. 도 7h에 도시된 바와 같이, 생체측정 데이터의 값들이 (예컨대, 표시자(7326)의 위치에 접근하는 바(7312)의 증가된 길이에 의해 표시된 바와 같이) 미리설정된 기준들을 충족시키는 것을 향해 변경될 때, 3차원 환경의 뷰(예컨대, 도 7h의 뷰(7318)) 내에 디스플레이되는 가상 콘텐츠의 양은 이전 상태(예컨대, 도 7g의 뷰(7316))에 비해 증가되고, 물리적 환경의 표현의 시각적 두드러짐은 감소된다. 더 구체적으로, 도 7h에서, 벽들(7004, 7006)의 표현들(7004', 7006')은 가상 콘텐츠(7320, 7322)(예컨대, 시각적 효과들이 적용되는 물리적 환경의 표현의 일부분을 시각적으로 가리는 시각적 효과들, 가상 표면들, 가상 객체들, 가상 풍경 등)의 디스플레이에 의해 대체되거나 가려지고, 표현(7010')의 표면의 적어도 일부분도 가상 콘텐츠(7324)(예컨대, 시각적 효과들이 적용되는 물리적 환경의 표현의 일부분을 시각적으로 가리는 시각적 효과들, 가상 표면들, 가상 객체들, 가상 풍경 등)의 디스플레이에 의해 대체되거나 가려진다. 도 7h 다음의 도 7i에 도시된 바와 같이, 생체측정 데이터의 값들이 (예컨대, 표시자(7326)의 위치로부터 후퇴하는 바(7312)의 감소된 길이에 의해 표시된 바와 같이) 미리설정된 기준들을 충족시키는 것으로부터 멀어지게 변경될 때, 3차원 환경의 뷰(예컨대, 도 7i의 뷰(7328)) 내에 디스플레이되는 가상 콘텐츠의 양은 이전 상태(예컨대, 도 7h의 뷰(7318))에 비해 감소되고, 물리적 환경의 표현의 시각적 두드러짐은 다시 증가된다(예컨대, 선택적으로, 도 7g에 도시된 상태보다 여전히 더 낮음). 더 구체적으로, 도 7i에서, 벽(7006)의 표현(7006')은 가상 콘텐츠(7332)가 제거된 후에 재디스플레이되고, 벽(7004)의 표현(7004')은 가상 콘텐츠(7320)가 시각적 두드러짐이 감소될 때(예컨대, 시각적 효과들이 적용되는 물리적 환경의 표현의 일부분을 시각적으로 가리는 시각적 효과들이 크기가 감소될 때, 가상 표면들 및 가상 객체들이 축소되거나, 제거되거나, 수가 감소되거나, 또는 더 반투명하게 될 때 등) 부분적으로 재디스플레이된다. 가상 콘텐츠(7324)의 디스플레이에 의해 대체되거나 가려진 표현(7010')의 표면의 일부분의 시각적 두드러짐도 가상 콘텐츠(7324)에 대해 이루어진 변경들에 의해 증가된다(예컨대, 더 반투명하게, 덜 불투명하게 됨, 표현(7010')에 대한 더 적은 양의 왜곡을 포함함 등). 일부 실시예들에서, 미리설정된 더 높은 몰입 레벨로 전이하기 위한 미리설정된 기준들이 충족되기 전에(예컨대, 표시자(7326)에 의해 표시된 임계치가 사용자에 대응하는 생체측정 데이터에 의해 충족되기 전에, 또는 다른 기준들이 생체측정 데이터에 의해 충족되기 전에 등), 컴퓨터 시스템은, 생체측정 데이터가 사용자의 현재 상태에 기초하여 업데이트됨에 따라, 생체측정 데이터에 따라, 3차원 환경의 현재 디스플레이된 뷰에서 가상 콘텐츠와 물리적 환경의 표현 사이의 시각적 균형을 연속적으로 또는 주기적으로 조정한다(예컨대, 물리적 환경의 표현에 대한 가상 콘텐츠의 시각적 두드러짐을 증가시킴, 물리적 환경의 표현에 대한 가상 콘텐츠의 시각적 두드러짐을 감소시킴 등).
도 7j에서, 컴퓨터 시스템은, 사용자에 대응하는 업데이트된 생체측정 데이터가, 미리설정된 기준들이 생체측정 데이터에 의해 충족되기 전에 디스플레이된 것들(예컨대, 도 7g 내지 도 7i의 뷰들(7316, 7318, 7328) 등)과 비교하여 더 높은 몰입레벨을 갖는 미리설정된 더 높은 몰입 레벨(예컨대, 증강 현실 환경, 증강 가상 환경, 가상 현실 환경 등)로 전이하기 위한 미리설정된 기준들을 충족시킨다는 것을 검출하고, 컴퓨터 시스템은 3차원 환경을 미리설정된 더 높은 몰입 레벨로 디스플레이하는 것(예컨대, 도 7j의 뷰(7334), 또는 3차원 환경의 다른 뷰를 미리설정된 더 높은 몰입 레벨로 디스플레이하는 것 등)으로 전이한다. 이러한 예에서, 도 7j에 도시된 바와 같이, 컴퓨터 시스템은 가상 콘텐츠의 시각적 두드러짐을 증가시켰고, 물리적 환경의 표현의 시각적 두드러짐을 추가로 감소시켰으며, 따라서 물리적 환경의 힌트들(예컨대, 벽들과 바닥 사이의 구조적 관계들, 물리적 객체의 존재 등)만이 가상 콘텐츠(예컨대, 도 7j의 뷰(7334)에서 벽들(7006, 7004), 바닥(7008) 및 물리적 객체(7010)의 표현들(7006', 7004', 7008', 7010')을 시각적으로 가리는 가상 콘텐츠(7322, 7320, 7330, 7324))의 시각적 특성들을 통해 3차원 환경에서 여전히 보이게 한다. 일부 실시예들에서, 컴퓨터 시스템은 3차원 환경에서 상이한 위치들에 가상 객체들을 추가로 디스플레이한다. 예를 들어, 가상 객체(7332)가 물리적 환경 내의 물리적 객체(7010)의 위치에 대응하는 위치에 디스플레이되고, 가상 객체(7326)가 바닥(7008) 상의 위치에 대응하는 위치에 디스플레이되며, 다른 가상 객체가 물리적 환경 내의 자유 공간에 대응하는 위치들에 또는 물리적 환경의 상태와 독립적으로 디스플레이될 수 있으며, 기타 등등이다. 일부 실시예들에서, 미리설정된 더 높은 몰입 레벨로 전이하기 위한 미리설정된 기준들이 충족된 후, 컴퓨터 시스템은 3차원 환경의 현재 디스플레이된 뷰에서 가상 콘텐츠의 양을 급격히 증가시키거나, 또는 컴퓨터 생성 경험에 대응하는 완전히 새로운 환경(예컨대, 새로운 가상 세계, 새로운 장면 등)을 디스플레이한다. 일부 실시예들에서, 미리설정된 기준들이 충족되고, 컴퓨터 시스템이 3차원 환경을 미리설정된 더 높은 몰입 레벨로 디스플레이한 후, 미리설정된 기준들이 더 이상 업데이트된 생체측정 데이터에 의해 충족되지 않는다는 결정에 따라, 컴퓨터 시스템은, 도 7h 및 도 7i에 도시된 바와 같이, 생체측정 데이터의 변화들에 기초하여, 3차원 환경이 디스플레이되는 몰입 레벨을 점진적으로 조정한다. 일부 실시예들에서, 미리설정된 기준들이 충족되고, 컴퓨터 시스템이 3차원 환경을 미리설정된 더 높은 몰입 레벨로 디스플레이한 후, 미리설정된 기준들이 더 이상 업데이트된 생체측정 데이터에 의해 충족되지 않는다는 결정에 따라, 컴퓨터 시스템은 (예컨대, 도 7g에 도시된 바와 같이) 3차원 환경을 더 낮은 몰입 레벨로 디스플레이하는 것으로 다시 갑자기 스위칭한다.
일부 실시예들에서, 미리설정된 기준들은, 심박수가 제1 임계 심박수보다 적다는 결정, 호흡률이 제1 임계 호흡률보다 낮다는 결정, 혈압이 제1 임계 혈압보다 낮다는 결정, 사용자의 이동이 임계 시간 동안 제1 임계량의 이동 미만이라는 결정, 사용자의 체온이 제1 임계 체온보다 낮다는 결정, 스트레스 레벨의 메트릭이 제1 임계 스트레스 레벨보다 낮다는 결정, 사용자의 기분에 대응하는 메트릭이 사용자가 편안하고 행복하다는 것을 나타낸다는 결정 등에 따라 충족된다.
일부 실시예들에서, (예컨대, 도 7g, 또는 3차원 환경의 다른 뷰 등에 도시된 바와 같이) 낮은 몰입 레벨로 표시되는 3차원 환경의 뷰는, 컴퓨터 시스템의 디스플레이 생성 컴포넌트가 먼저 턴 온되거나 사용자의 머리에 또는 사용자의 눈들 앞에 놓일 때 디스플레이되고, 3차원 환경에서 어떠한 가상 요소들도 디스플레이되지 않거나 또는 최소량의 가상 요소들이 디스플레이된다. 이는, 디스플레이 생성 컴포넌트가 사용자의 눈들을 차단하지 않으면서, 사용자가 실세계의 직접적인 뷰와 매우 유사한 3차원 환경의 뷰로부터 시작할 수 있게 한다. 일부 실시예들에서, 낮은 몰입 레벨에 대응하는 3차원 환경의 뷰는, 물리적 환경의 표현에 대한 위치에 디스플레이되는 뷰포트(viewport)에 국한되거나 2차원 윈도우 내에 디스플레이되는 애플리케이션 또는 컴퓨터 생성 경험의 사용자 인터페이스 또는 환경(예컨대, 2차원 환경, 3차원 환경 등)의 뷰이다. 일부 실시예들에서, (예컨대, 도 7g, 또는 3차원 환경의 다른 뷰 등에 도시된 바와 같이) 낮은 몰입 레벨로 표시되는 3차원 환경의 뷰는, 애플리케이션 또는 컴퓨터 생성 경험이 사용자에 의해 먼저 개시되거나 시작될 때 디스플레이되고, 애플리케이션 또는 경험의 전체 공간적 범위는 3차원 환경 내에 아직 디스플레이되지 않는다. 이는, 사용자가, 매우 몰입적이지 않고 실제 세계의 뷰의 콘텍스트에서 보이는 3차원 환경의 뷰로부터 시작하도록 허용한다.
일부 실시예들에서, 컴퓨터 시스템에 의해 디스플레이되는 가상 콘텐츠(예컨대, 가상 벽지, 가상 객체들, 가상 표면들, 가상 풍경, 가상 3차원 환경 등)는 물리적 환경의 뷰를 적어도 부분적으로 차단하거나 가린다. 일부 실시예들에서, 3차원 환경의 뷰를 미리설정된 더 높은 몰입 레벨로 디스플레이할 때, 컴퓨터 시스템은 제1 클래스의 물리적 객체들 또는 표면들(예컨대, 전방 벽, 전방 벽 및 천장 등)의 뷰를 새로 디스플레이된 가상 요소 또는 기존의 가상 요소의 새로 디스플레이된 부분으로 대체하거나 차단한다. 일부 실시예들에서, 가상 요소들이 점진적으로 확장되거나, 제1 클래스의 물리적 객체들 또는 표면들의 뷰를 커버하거나 차단하도록 더 불투명하고 포화되게 되는 것을 표시하기 위해 애니메이션화된 전이가 디스플레이된다. 일부 실시예들에서, 3차원 환경의 뷰를 미리설정된 더 높은 몰입 레벨로 디스플레이할 때, 컴퓨터 시스템은, 어떠한 전체 클래스의 물리적 요소들을 대체하지 않고서, 3차원 환경에 가상 요소들을 추가한다. 일부 실시예들에서, 추가되는 가상 요소들은, 선택적으로, 사용자 입력들에 의해 조작될 수 있거나 또는 3차원 환경에서 정보 또는 피드백을 제공하는 메뉴(예를 들어, 애플리케이션의 메뉴, 문서들 등), 제어부(예를 들어, 디스플레이 밝기 제어부, 디스플레이 포커스 제어부 등) 또는 다른 객체들(예를 들어, 가상 어시스턴트, 문서, 미디어 항목 등)과 같은 사용자 인터페이스 객체를 포함한다. 일부 실시예들에서, 추가되는 가상 요소들은, 선택적으로, 사용자 입력들에 의해 조작될 수 없는 비대화형 객체들 또는 표면들을 포함하고, 물리적 환경의 룩 앤드 필(look and feel)을 대체하는 3차원 환경의 룩 앤드 필을 제공하는 역할을 한다. 일부 실시예들에서, 컴퓨터 시스템에 의해 디스플레이되는 가상 콘텐츠는, 물리적 환경의 뷰를 적어도 부분적으로 차단하거나 가리는(예컨대, 물리적 환경의 표현 등을 페이드 아웃함, 흐릿하게 함, 디밍함 등) 시각적 효과를 포함한다.
일부 실시예들에서, 생체측정 데이터가 업데이트되고, 업데이트된 생체측정 데이터가 3차원 환경을 훨씬 더 높은 몰입 레벨로 디스플레이하는 것으로 전이하기 위한 미리설정된 기준들을 충족시킨다는 결정에 따라, 컴퓨터 시스템은 컴퓨터 생성 경험에 대응하는 가상 콘텐츠의 시각적 두드러짐을 증가시키고, 물리적 환경으로부터의 시각적 자극들을 훨씬 더 높은 몰입 레벨에 대응하는 다른 레벨로 감소시킨다. 예를 들어, 일부 실시예들에서, 컴퓨터 시스템은 추가적인 클래스의 물리적 객체들 또는 표면들이 새로 디스플레이된 가상 요소 또는 기존의 가상 요소의 새로 디스플레이된 부분에 의해 대체되고/되거나 가려지고/가려지거나 차단되게 한다. 일부 실시예들에서, 가상 요소들이 점진적으로 확장되거나, 추가적인 클래스의 물리적 객체들 및 표면들의 뷰를 커버하거나 차단하도록 더 불투명하고 포화되게 되는 것을 표시하기 위해 애니메이션화된 전이가 디스플레이된다.
일부 실시예들에서, 3차원 환경은 컴퓨터 생성 중재 경험의 환경이고, 생체측정 데이터가 사용자가 명상 경험의 더 깊은 상태에 진입하는 데 요구되는 집중, 이완, 포커스 등의 레벨을 달성하였다는 것을 나타냄에 따라, 컴퓨터 시스템은, 예컨대 명상 경험에 대응하는 가상 콘텐츠의 확장된 공간적 범위(예컨대, 폭, 깊이, 각도 등) 및 시각적 두드러짐과 물리적 환경의 표현의 감소된 공간적 범위 및 시각적 두드러짐으로, 환경의 현재 디스플레이된 뷰를 더 몰입적인 환경으로 변환한다.
일부 실시예들에서, 컴퓨터 생성 경험의 시각적 콘텐츠가 디스플레이되는 몰입 레벨이 증가함에 따라, 컴퓨터 시스템은, 또한, 컴퓨터 시스템의 오디오 출력 디바이스들의 액션들을 통해 사용자가 인지가능한 물리적 환경의 사운드들의 억제 레벨을 증가시키고/시키거나, 오디오 출력 디바이스들에 의해 출력되는 컴퓨터 생성 경험의 오디오 콘텐츠의 몰입 레벨을 증가시킨다(예컨대, 음량을 증가시킴, 스테레오 오디오 출력 모드 또는 서라운드 사운드 출력 모드로부터 공간 오디오 출력 모드로, 또는 스테레오 오디오 출력 모드로부터 서라운드 사운드 출력 모드로 변경함 등).
일부 실시예들에서, 컴퓨팅 시스템은 CGR 콘텐츠의 시각적 컴포넌트를 디스플레이 생성 컴포넌트를 통해 2개 이상의 몰입 레벨들로 디스플레이하도록 구성된다. 일부 실시예들에서, 컴퓨터 시스템은 CGR 콘텐츠의 시각적 컴포넌트를 적어도 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨로 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 CGR 콘텐츠의 시각적 컴포넌트를 서로에 대해 덜 몰입적인 시각적 경험 및 더 몰입적인 시각적 경험을 제공하는 적어도 2개의 몰입 레벨들로 각각 디스플레이한다. 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 시각적 콘텐츠가, 사용자에 대응하는 생체측정 데이터가 기준들의 상이한 세트들을 충족시키는 것에 응답하여 상이한 몰입 레벨들 사이에서 전이하게 한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 CGR 환경에 존재하는, CGR 경험에 대응하는 가상 콘텐츠의 양을 증가시키는 것 및/또는 CGR 환경에 존재하는 주변 물리적 환경의 표현들의 양을 감소시키는 것에 대응한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 컴퓨터 생성 콘텐츠의 시각적 컴포넌트에 대한 증가하는 이미지 충실도(예컨대, 증가하는 픽셀 해상도, 증가하는 색상 해상도, 증가하는 색상 포화도, 증가하는 휘도, 증가하는 불투명도, 증가하는 이미지 상세사항들 등) 및/또는 공간 범위(예컨대, 각도 범위, 공간 깊이 등), 및/또는 주변 물리적 환경의 표현에 대한 감소하는 이미지 충실도 및/또는 공간 범위를 갖는 상이한 콘텐츠 디스플레이 모드들에 대응한다. 일부 실시예들에서, 제1 몰입 레벨은 물리적 환경이 디스플레이 생성 컴포넌트를 통해(예컨대, 물리적 환경의 카메라 뷰로서 또는 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해) 사용자에게 완전히 보이는 패스 스루 모드이다. 일부 실시예들에서, 패스 스루 모드에서 제시되는 시각적 CGR 콘텐츠는, 물리적 환경의 뷰로서 동시에 보이는 최소량의 가상 요소들을 갖거나 물리적 환경에 대한 사용자의 뷰에 대해 주변에 있는 가상 요소들(예컨대, 디스플레이의 주변 영역에 디스플레이되는 표시자들 및 제어부들)만을 갖는 물리적 환경의 패스 스루 뷰를 포함한다. 예를 들어, 물리적 환경의 뷰가 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 중심 및 대부분의 영역을 차지하고, 단지 몇 개의 제어부들(예컨대, 영화의 제목, 진행 바, 재생 제어부(예컨대, 재생 버튼) 등)만이 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 영역에 디스플레이된다. 일부 실시예들에서, 제1 몰입 레벨은, 물리적 환경이 디스플레이 생성 컴포넌트를 통해(예컨대, 물리적 환경의 카메라 뷰로서 또는 디스플레이 생성 컴포넌트의 투명 부분을 통해) 제1 사용자에게 완전히 보이고, 시각적 CGR 콘텐츠가, 물리적 환경의 표현의 일부분을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하거나 기타 등등을 하는 가상 윈도우 또는 프레임 내에 디스플레이되는 패스 스루 모드이다. 일부 실시예들에서, 제2 몰입 레벨은, 물리적 환경의 패스 스루 뷰가 컴퓨터 시스템에 의해 생성된 가상 요소들로 증강되는 혼합 현실 모드이며, 여기에서 가상 요소들은 사용자의 시야의 중심 및/또는 대부분의 영역을 차지한다(예컨대, 가상 콘텐츠는 컴퓨터 생성 환경의 뷰에서 물리적 환경과 통합됨). 일부 실시예들에서, 제2 몰입 레벨은, 물리적 환경의 패스 스루 뷰가, 물리적 환경의 표현의 일부분을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하거나 기타 등등을 하고, 디스플레이 생성 컴포넌트가 물리적 환경에 대해 이동될 때 드러나는 추가 깊이 또는 공간적 범위를 갖는 가상 윈도우, 뷰포트, 또는 프레임으로 증강되는 혼합 현실 모드이다. 일부 실시예들에서, 제3 몰입 레벨은, 가상 콘텐츠가 물리적 환경의 표현과 함께 3차원 환경 내에 디스플레이되고, 가상 객체들이 물리적 환경의 상이한 위치들에 대응하는 위치들에서 3차원 환경 전체에 걸쳐 분포되는 증강 현실 모드이다. 일부 실시예들에서, 제3 몰입 레벨은 가상 콘텐츠가 물리적 환경의 표현 없이 3차원 환경 내에 디스플레이되는 가상 현실 모드이다. 일부 실시예들에서, 위에서 설명된 상이한 몰입 레벨들은 서로에 대해 증가하는 몰입 레벨들을 나타낸다.
일부 실시예들에서, 컴퓨터 시스템은, 컴퓨터 생성 경험의 시각적 콘텐츠가 디스플레이 생성 컴포넌트에 의해 디스플레이되고 있는 몰입 레벨에 따라, 컴퓨터 생성 경험(예컨대, 애플리케이션, 통신 세션, 영화, 비디오, 게임 등)의 오디오 콘텐츠를 출력하기 위한 오디오 출력 모드를 선택한다. 일부 실시예들에서, 시각적 콘텐츠가 디스플레이되는 몰입 레벨이 (예컨대, 제1 몰입 레벨로부터 제2 몰입 레벨로, 제1 몰입 레벨로부터 제3 몰입 레벨로, 또는 제2 몰입 레벨로부터 제3 몰입 레벨로 등) 증가할 때, 컴퓨터 시스템은 오디오 출력 모드를 덜 몰입적인 출력 모드로부터 더 몰입적인 출력 모드로(예컨대, 제1 오디오 출력 모드로부터 제2 오디오 출력 모드로, 또는 제1 오디오 출력 모드로부터 제3 오디오 출력 모드로, 또는 제2 오디오 출력 모드로부터 제3 오디오 출력 모드로 등, 여기에서 제1 오디오 출력 모드, 제2 오디오 출력 모드 및 제3 오디오 출력 모드는 증가하는 몰입 레벨들로 출력되는 오디오에 대응함) 스위칭한다. 본 명세서에서 설명되는 바와 같이, 공간 오디오 출력 모드는, 스테레오 오디오 출력 모드 및 모노 오디오 출력 모드보다 더 높은 몰입 레벨에 대응한다. 공간 오디오 출력 모드는 서라운드 사운드 출력 모드보다 더 높은 몰입 레벨에 대응한다. 서라운드 사운드 출력 모드는, 스테레오 오디오 출력 모드 및 모노 오디오 출력 모드보다 더 높은 몰입 레벨에 대응한다. 스테레오 오디오 출력 모드는 모노 오디오 출력 모드보다 더 높은 몰입 레벨에 대응한다. 일부 실시예들에서, 컴퓨터 시스템은, 컴퓨터 생성 경험의 시각적 콘텐츠가 디스플레이 생성 컴포넌트를 통해 제공되고 있는 몰입 레벨에 기초하여, 다수의 이용가능한 오디오 출력 모드들, 예컨대, 모노 오디오 출력 모드, 스테레오 오디오 출력 모드, 서라운드 사운드 출력 모드, 공간 오디오 출력 모드 등으로부터 오디오 출력 모드를 선택한다.
도 7k 내지 도 7m은 일부 실시예들에 따른, 물리적 환경의 표현을 포함하는 환경의 뷰를 디스플레이할 때 컴퓨터 시스템에 의해 제공되는 다수의 유형들의 감각 조정의 효과들을 모으는 것을 예시하는 블록도들이다.
일부 실시예들에서, 컴퓨터 시스템은 특수 장비 또는 컴퓨터 시스템의 도움 없이는 용이하게 인지가능하지 않을 수 있는 물리적 환경의 상이한 태양들을 인지하는 사용자의 능력을 향상시키는 다수의 유형들의 감각 조정 기능들을 제공한다. 사용자가 물리적 환경의 일부분을 볼 때 한 번에 단일 유형의 감각 조정 기능만 사용하도록 허용하는 대신에, 컴퓨터 시스템은 물리적 환경의 일부분의 표현 상에 2개 이상의 유형들의 감각 향상 기능들의 효과들을 모아서, 컴퓨터 시스템에 의해 제공되는 물리적 환경의 뷰에서 이전에 숨겨져 있던, 물리적 환경의 일부분에 존재하는 특징부들 및 특성들이 드러날 수 있게 한다.
일부 실시예들에서, 컴퓨터 시스템이, 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7100), 또는 HMD와 같은 다른 유형의 디스플레이 생성 컴포넌트 등)를 통해, 물리적 환경의 표현을 포함하는 3차원 환경을 디스플레이할 때, 컴퓨터 시스템은, 선택적으로, 물리적 환경의 현재 디스플레이된 부분에 대응하는 센서 입력 또는 정보를 사용하여 물리적 환경의 표현을 증강시키고 조정하여서, 사용자가 디스플레이 생성 컴포넌트의 도움 없이 물리적 환경의 일부분을 볼 때 사용자에게 이용가능하지 않은 감각 정보로 사용자가 물리적 환경의 일부분을 인지할 수 있게 한다.
도 7k에서, 컴퓨터 시스템은 물리적 환경의 제1 부분의 제1 표현을 포함하는 3차원 환경의 뷰(7340)를 디스플레이한다. 뷰(7340)에서, 물리적 환경의 제1 부분의 제1 표현은 컴퓨터 시스템에 의해 이루어지는 감각 조정들이 없는 물리적 환경의 제1 부분의 외관에 대응한다. 일부 실시예들에서, 물리적 환경의 제1 부분의 제1 표현은 정상적인 인간 감각 인지의 범위 내에서의 평균 색상 및 세기 검출에 대응하는 제1 이미징 감도 레벨을 갖는 컬러 카메라에 의해 캡처되는 물리적 환경의 제1 부분의 뷰에 대응한다. 일부 실시예들에서, 물리적 환경의 제1 부분의 제1 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통한 물리적 환경의 제1 부분의 뷰에 대응하고, 컴퓨터 시스템에 의해 향상 및 조정되지 않는다.
일부 실시예들에서, 컴퓨터 시스템은 컴퓨터 시스템에 의해 제공되는 복수의 감각 조정 기능들 중 각자의 것들을 활성화하기 위한 복수의 어포던스들(예컨대, 하드웨어 제어부들(7354, 7356, 7358), 3차원 환경 내에 디스플레이되는 사용자 인터페이스 요소들 등)을 제공한다. 일부 실시예들에서, 컴퓨터 시스템은, 복수의 감각 조정 기능들 중 각자의 것들에 대응하는 어포던스들에 대한 사용자의 활성화 입력들(예컨대, 버튼 누르기 입력들, 탭 입력들, 제스처 입력들, 터치 입력들, 시선 입력들, 선택 입력, 이들의 조합 등)에 따라, 복수의 감각 조정 기능들 중 각자의 것들을 순차적으로 또는 조합하여 활성화시킨다. 일부 실시예들에서, 복수의 감각 조정 기능들 중 각자의 하나는, 선택적으로, 컴퓨터 시스템과 연관된 대응하는 하드웨어 어포던스 또는 3차원 환경 내의 대응하는 사용자 인터페이스 제어부의 존재를 요구하지 않고서, 미리설정된 입력(예컨대, 제스처 입력, 터치 입력, 음성 커맨드 등)에 의해 활성화된다.
이러한 예에서, 도 7k에 도시된 바와 같이, 물리적 환경의 제1 부분의 제1 표현은 방 안으로부터 방의 벽 상의 창문을 향한 뷰를 포함한다. 이러한 예는 비제한적이고, 물리적 환경의 제1 부분은, 다양한 실시예들에 따르면, 임의의 실내 또는 실외 환경일 수 있다. 이러한 예에서, 물리적 환경의 제1 부분의 제1 표현은 벽의 표현(7344'), 창문의 표현(7346'), 창문으로부터 제1 거리에 있는, 창문 밖의 언덕의 표현(7348'), 및 창문으로부터 제2 거리만큼 떨어져 있는, 언덕 꼭대기 근처의 나무의 표현(7350')을 포함한다. 언덕의 표현(7348') 및 나무의 표현(7350')은 디스플레이 생성 컴포넌트(7100)에 의해 제공되는 시야의 작은 부분을 점유하는데, 그 이유는 언덕 및 나무가 디스플레이 생성 컴포넌트로부터 큰 거리만큼 떨어져 있고, 언덕의 표현(7348') 및 나무의 표현(7350')이 3차원 환경의 현재 디스플레이된 뷰에 대응하는 시점으로부터 멀리 떨어져 있기(예컨대, 시점과 표현들(7348', 7350') 사이의 각자의 거리들은 사용자의 눈들(또는 디스플레이 생성 컴포넌트)로부터 언덕 및 나무까지의 각자의 거리들에 대응함) 때문이다.
도 7l에서, 컴퓨터 시스템은 컴퓨터 시스템에 의해 제공되는 복수의 감각 조절 기능들 중 제1 감각 조절 기능을 활성화하는 사용자 입력을 검출한다. 예를 들어, 컴퓨터 시스템은 하드웨어 어포던스(7354)가 사용자의 입력에 의해 활성화된다는 것, 제1 감각 조정 기능에 대응하는 사용자 인터페이스 객체가 사용자의 입력에 의해 활성화되거나 선택된다는 것, 제1 감각 조정 기능을 활성화하기 위한 기준들을 충족시키는 제스처 입력, 음성 커맨드 및/또는 터치 입력 등이 사용자에 의해 제공된다는 것 등을 검출한다. 이에 응답하여, 컴퓨터 시스템은 물리적 환경의 제2 부분의 제2 표현을 포함하는 3차원 환경의 제2 뷰(7361)를 디스플레이하며, 여기에서 물리적 환경의 제2 부분은 물리적 환경의 제1 부분 내에 포함된다(예컨대, 도 7k에 도시된 물리적 환경의 제1 부분의 전부 또는 하위 부분, 또는 제1 감각 조정 기능을 활성화한 입력의 검출 이전에 표시되었던 물리적 환경의 일부분 등임). 3차원 환경의 제2 뷰(7361)에서, 도 7l의 예에 도시된 바와 같이, 나무의 표현(7350")의 디스플레이 속성은, 제1 감각 조정 기능의 동작에 따라, 3차원 환경의 제1 뷰(7340) 내에 표시된 나무의 표현(7350')에 대해 조정된다. 예를 들어, 제1 감각 조정 기능이 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 시뮬레이션된 텔레스코프 비전(telescope vision)인 경우, 도 7l에 도시된 바와 같이, 나무의 표현(7350")은 도 7k에 도시된 바와 같은 제2 거리보다 시점에 훨씬 더 가깝게 위치되는 것으로 보인다(예컨대, 조정된 거리는 제2 거리의 1/5임, 조정된 거리는 제2 거리의 1/10임, 조정된 거리는 시뮬레이션된 텔레스코프 비전의 최대 전력의 미리설정된 분율 및/또는 제2 거리에 기초하여 선택되는 거리임 등). 유사하게, 언덕의 표현(7348")도 도 7k에 도시된 바와 같은 제1 거리보다 사용자에게 훨씬 더 가깝게 위치되는 것으로 보인다(예컨대, 조정된 거리는 제1 거리의 1/5임, 조정된 거리는 제1 거리의 1/10임, 조정된 거리는 시뮬레이션된 텔레스코프 기능의 최대 전력의 미리설정된 분율 및/또는 제1 거리에 기초하여 선택되는 거리임 등). 이러한 예에서, 일부 실시예들에 따르면, 뷰(7361)에서의 사용자의 시점 또는 가상 위치는 뷰(7340)에서 창문의 위치로 이동된다. 이러한 예에서, 일부 실시예들에 따르면, 뷰(7361)에서의 사용자의 시점 또는 가상 위치는 여전히 물리적 환경 내의 사용자 및/또는 디스플레이 생성 컴포넌트의 실제 위치에 기초한다.
일부 실시예들에서, 컴퓨터는, 제1 감각 조정 기능을 적용할 때, 3차원 환경의 현재 뷰로 지향되는 사용자의 시선의 위치에 기초하여 물리적 환경의 타깃 부분을 선택한다. 예를 들어, 도 7k에 도시된 바와 같이, 컴퓨터 시스템은 사용자의 시선(7352)이 3차원 환경의 제1 뷰(7340)에서 나무의 표현(7350')으로 지향된다는 것을 검출하고, 제1 감각 조정 기능이 적용되는 물리적 환경의 제2 부분으로서, 물리적 환경의 제1 부분으로부터의 나무를 포함하는 물리적 환경의 일부분을 선택한다.
일부 실시예들에서, 시뮬레이션된 텔레스코프 비전은 컴퓨터 시스템에 의해 제공되는 제1 유형의 감각 조정 기능의 예시적인 예이고, 컴퓨터 시스템에 의해 제공되고 사용자의 입력에 의해 선택되는 다른 유형의 감각 조정 기능에 의해 대체될 수 있다.
도 7m에서, 컴퓨터 시스템이 사용자의 입력에 의해 활성화된 제1 감각 조정 기능의 동작에 따라 조정된 물리적 환경의 제2 표현을 포함하는 3차원 환경의 제2 뷰(7361)를 디스플레이하고 있는 동안, 컴퓨터 시스템은 제1 감각 조정 기능과는 상이한, 복수의 감각 조정 기능들 중 제2 감각 조정 기능을 활성화하는 제2 사용자 입력을 검출한다. 예를 들어, 컴퓨터 시스템은 하드웨어 어포던스(7356)가 사용자의 입력에 의해 활성화된다는 것, 제2 감각 조정 기능에 대응하는 사용자 인터페이스 객체가 사용자의 입력에 의해 활성화되거나 선택된다는 것, 제2 감각 조정 기능을 활성화하기 위한 기준들을 충족시키는 제스처 입력, 음성 커맨드 및/또는 터치 입력 등이 사용자에 의해 제공된다는 것 등을 검출한다. 이에 응답하여, 컴퓨터 시스템은 물리적 환경의 제3 부분의 제3 표현을 포함하는 3차원 환경의 제3 뷰(7364)를 디스플레이하며, 여기에서 물리적 환경의 제3 부분은 물리적 환경의 제2 부분 내에 포함된다(예컨대, 도 7l에 도시된 물리적 환경의 제2 부분의 전부 또는 하위 부분, 또는 제2 감각 조정 기능을 활성화한 입력의 검출 이전에 표시되었던 물리적 환경의 일부분 등임). 3차원 환경의 제3 뷰(7364)에서, 도 7m의 예에 도시된 바와 같이, 나무의 표현(7350"')의 디스플레이 속성은, 제2 감각 조정 기능의 동작에 따라, 3차원 환경의 제2 뷰(7361) 내에 표시된 나무의 표현(7350")에 대해 추가로 조정된다. 예를 들어, 제2 감각 조정 기능이 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 시뮬레이션된 히트 비전(heat vision)인 경우, 도 7m에 도시된 바와 같이, 나무의 표현(7350"')은 제3 뷰(7364)에서 배경 환경에 비해 상이한 색상 및/또는 세기를 갖는 것으로 보이고, 표현(7350"')의 일부분들(7366"', 7368"')의 디스플레이 속성은 (예컨대, 컴퓨터 시스템과 통신하는 열 이미징 센서들 또는 다른 센서들에 의해 검출된 바와 같은, 다른 컴퓨터 시스템으로부터 컴퓨터 시스템으로 송신되거나 그에 의해 검색되는 열 데이터에 의해 표시된 바와 같은 등) 물리적 환경에서의 나무의 다른 부분들에 대한 나무의 그들 부분들의 온도에 기초하여 추가로 조정된다. 예를 들어, 일부분들(7366"', 7368"')에 의해 표현되는 그들 부분들의 더 높은 온도는, 나무 자체보다 더 많은 열을 방사하거나 더 높은 온도들을 갖는 작은 동물들 또는 객체들을 나타낼 가능성이 있다. 표현(7350"') 내의 일부분들(7366"', 7368"')은, 도 7k에 도시된 바와 같이, 나무의 원래의 제1 표현(7350')에 대한 제1 감각 조정 기능 및 제2 감각 조정 기능 둘 모두의 동작들에 기초하여 생성되는 디스플레이 속성들을 갖는다.
일부 실시예들에서, 컴퓨터 시스템은, 제2 감각 조정 기능을 적용할 때, 3차원 환경의 현재 디스플레이된 뷰로 지향되는 사용자의 시선의 위치에 기초하여 물리적 환경의 타깃 부분을 선택한다. 예를 들어, 도 7l에 도시된 바와 같이, 컴퓨터 시스템은 사용자의 시선(7360)이 3차원 환경의 제2 뷰(7361)에서 나무의 표현(7350")으로 지향된다는 것을 검출하고, 제1 감각 조정 기능 및 제2 감각 조정 기능이 둘 모두 적용되는 물리적 환경의 제3 부분으로서, 물리적 환경의 제2 부분으로부터의 나무를 포함하는 물리적 환경의 일부분을 선택한다.
일부 실시예들에서, 시뮬레이션된 히트 비전은 컴퓨터 시스템에 의해 제공되는 제2 유형의 감각 조정 기능의 예시적인 예이고, 컴퓨터 시스템에 의해 제공되고 사용자의 입력에 의해 선택되는 다른 유형의 감각 조정 기능에 의해 대체될 수 있다.
일부 실시예들에서, 제1 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등)이 물리적 환경의 각자의 부분의 제1 조정된 표현(예컨대, 도 7m의 일부분들(7366"', 7368"')에 대응하는 도 7l의 나무의 표현(7350")의 일부분들, 또는 물리적 환경의 다른 부분의 조정된 표현 등)을 획득하기 위해 제1 유형의 컴퓨터 생성 감각 조정(예컨대, 양안 비전, 텔레스코프 비전, 마이크로스코프 비전(microscope vision), 나이트 비전(night vision), 히트 비전 등)에 따라 물리적 환경의 각자의 부분(예컨대, 도 7m의 일부분들(7366"', 7368"')에 대응하는 도 7k의 나무의 표현(7350')의 일부분들, 물리적 환경의 다른 부분 등)의 베이스라인 표현에 대해 조정되고, 제2 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등)이 제2 유형의 컴퓨터 생성 감각 조정에 따라 물리적 환경의 각자의 부분의 제3 표현(예컨대, 도 7m의 나무의 표현(7350"')의 일부분들(7366"', 7368"'), 또는 물리적 환경의 다른 부분의 추가로 조정된 표현 등)을 획득하기 위해 물리적 환경의 제2 표현에 대해 조정된다. 일부 실시예들에서, 제2 디스플레이 속성은 제1 유형 및 제2 유형의 감각 조정 기능들의 일부 조합들에서 제1 표현 및 제2 표현에서 동일한 값들을 갖고; 제2 디스플레이 속성은 제1 유형 및 제2 유형의 감각 조정 기능들의 일부 조합들에서 제1 표현 및 제2 표현에서 상이한 값들을 갖는다.
일부 실시예들에서, 컴퓨터 시스템은 물리적 환경의 표현이 제3 감각 조정 기능(예컨대, 제3 감각 조정 기능에 대응하는 어포던스(7358), 사용자 인터페이스 객체, 제스처 입력, 음성 커맨드 등과의 상호작용에 의해 활성화될 수 있는 감각 조정 기능 등)에 기초하여 추가로 조정되도록 허용한다. 일부 실시예들에서, 물리적 환경의 제3 표현을 포함하는 3차원 환경의 제3 뷰(7364)를 디스플레이하는 동안, 컴퓨터 시스템은 제1 유형 및 제2 유형의 감각 조정 기능들과는 상이한 제3 유형의 컴퓨터 생성 감각 조정(예컨대, 양안 비전, 마이크로스코프 비전, 나이트 비전, 히트 비전, 컬러 필터 등)을 활성화하라는 요청에 대응하는 제3 사용자 입력을 검출한다. 이에 응답하여, 컴퓨터 시스템은 물리적 환경의 제4 부분(예컨대, 물리적 환경의 제3 부분의 전부 또는 일부분)의 제4 표현을 포함하는 3차원 환경의 제4 뷰를 디스플레이하며, 여기에서 물리적 환경의 제4 표현은, 제1 유형의 감각 조정 기능에 따라 물리적 환경의 제4 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등), 제2 유형의 감각 조정 기능에 따라 물리적 환경의 제4 부분의 제2 표현에 대해 조정되는 제2 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등), 및 제3 유형의 감각 조정 기능에 따라 물리적 환경의 제4 부분의 물리적 환경의 제3 표현에 대해 조정되는 제3 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등)을 갖는다.
일부 실시예들에서, 제1 감각 조정 기능은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 양안 비전, 단안 비전, 텔레스코프 비전 등)(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 감각 조정 기능은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 감각 조정 기능은 저조도 조건(low light condition)들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 감각 조정 기능은 필터(예컨대, 컬러 필터, 광 주파수 필터, 세기 필터, 모션 필터 등)로 물리적 객체들의 뷰를 수정하는 것을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 감각 조정 기능은 물리적 환경 내의 물리적 객체들의 서브세트(예컨대, 모든 사운드 생성 물리적 객체들, 현재 시야의 중심에 있는 물리적 객체들 등의 선택된 서브세트)에 대응하는 사운드들에 대한 선택적 오디오 향상(예컨대, 음량을 향상시키는 것, 소정 사운드 주파수들을 선택적으로 향상/억제시키는 것 등)을 포함한다.
일부 실시예들에서, 물리적 환경의 제3 표현을 디스플레이하는 것과 동시에, 컴퓨터 시스템은 물리적 환경의 제3 표현에서 보이는 물리적 환경의 일부분에 대응하는 사운드들을 출력하며, 여기에서 사운드들은 물리적 환경의 일부분 외측의 소스들로부터의 사운드들에 비해 선택적으로 향상된다(예컨대, 일부 선택된 주파수들의 진폭들에 대한 수정들을 갖고서, 음량이 증가됨 등).
일부 실시예들에서, 물리적 환경의 제3 표현을 디스플레이하는 것과 동시에, 컴퓨터 시스템은 물리적 환경의 제2 표현 및 제3 표현 둘 모두에서 보이는 물리적 환경의 일부분으로부터 나오는 스피치에 대응하는 텍스트 출력을 디스플레이하며, 여기에서 스피치는 물리적 환경의 일부분 외측의 소스들로부터의 사운드들에 비해 선택적으로 향상된다.
일부 실시예들에서, 제1 감각 조정 기능은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함하고, 제2 감각 조정 기능은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함하고, 제2 감각 조정 기능은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함하고, 제2 감각 조정 기능은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함하고, 제2 감각 조정 기능은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함하고, 제2 감각 조정 기능은 물리적 환경 내의 물리적 객체들의 서브세트(예컨대, 모든 사운드 생성 물리적 객체들, 현재 시야의 중심에 있는 물리적 객체들 등의 선택된 서브세트)에 대응하는 사운드들에 대한 선택적 오디오 향상(예컨대, 음량을 향상시키는 것, 소정 사운드 주파수들을 선택적으로 향상/억제시키는 것 등)을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함하고, 제2 감각 조정 기능은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함하고, 제2 감각 조정 기능은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함한다.
일부 실시예들에서, 제1 감각 조정 동작은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함하고, 제2 감각 조정 동작은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함한다.
일부 실시예들에서, 제1 감각 조정 기능은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함하고, 제2 감각 조정 동작은 물리적 환경 내의 물리적 객체들의 서브세트(예컨대, 모든 사운드 생성 물리적 객체들, 현재 시야의 중심에 있는 물리적 객체들 등의 선택된 서브세트)에 대응하는 사운드들에 대한 선택적 오디오 향상(예컨대, 음량을 향상시키는 것, 소정 사운드 주파수들을 선택적으로 향상/억제시키는 것 등)을 포함한다.
일부 실시예들에서, 사용자에 의해 선택된 복수의 선택된 감각 조정 기능들이 물리적 환경의 일부분의 베이스라인 표현에 적용되는 순서는 하나 이상의 미리설정된 제약들에 기초하여 컴퓨터 시스템에 의해 조정되고, 선택적으로, 이들 감각 조정 기능들이 사용자에 의해 활성화되는 순서와는 상이하다. 예를 들어, 일부 실시예들에서, 시뮬레이션된 텔레스코프 비전에 대응하는 조정들이 다른 유형들의 감각 조정들에 대응하는 조정들 전에 수행되는데, 그 이유는, 그것이 사용자에게 최종 결과를 제시하기 위해 다른 유형들의 감각 조정이 수행될 필요가 있는 물리적 환경의 일부분을 감소시킬 것이기 때문이다. 일부 실시예들에서, 컴퓨터 시스템은 상이한 유형들의 감각 조정 기능들이 사용자에 의해 활성화되는 순서를 관찰하고, 사용자에 의해 활성화되는 각각의 추가 감각 조정에 응답하여 획득된 중간 결과를 제시한다.
도 7n 내지 도 7p는 일부 실시예들에 따른, 3차원 환경의 뷰 내의 물리적 환경의 일부분이 각자의 유형의 운동에 대응한다는 결정에 따라 3차원 환경의 뷰 내에 각자의 유형의 운동에 대응하는 가상 콘텐츠를 선택적으로 디스플레이하는 것을 예시하는 블록도들이다.
일부 실시예들에서, 컴퓨터 시스템은, 3차원 환경의 뷰(예컨대, 뷰(7408), 뷰(7410) 등) 내에 표현된 물리적 위치(예컨대, 물리적 객체(7404)의 위치, 물리적 객체(7402)의 위치 등)가 각자의 유형의 운동(예컨대, 로잉(rowing), 하이킹 등)과 연관된다는 결정에 따라, 각자의 유형의 운동(예컨대, 로잉, 하이킹 등)에 대응하는 가상 콘텐츠(예컨대, 가상 오픈 워터(open water)(7406), 가상 하이킹 트레일(hiking trail)(7412) 등)(예컨대, 가상 풍경, 운동 장비의 시각적 및 기능적 향상들, 사용자 인터페이스들, 건강 및 스코어 보드들 등)를 디스플레이한다. 예를 들어, 사용자와 디스플레이 생성 컴포넌트(예컨대, 사용자(7002)와 디스플레이 생성 컴포넌트(7100), 또는 HMD와 같은 다른 유형의 디스플레이 생성 컴포넌트를 갖는 다른 사용자 등)가 실제 세계에서(예컨대, 장면(105)에서, 또는 다른 물리적 환경에서 등) 한 위치로부터 다른 위치로 이동함에 따라, 3차원 환경의 뷰 내에 표시되는 가상 콘텐츠는 사용자 및 디스플레이 생성 컴포넌트의 현재 위치와 연관되는 운동의 유형에 대응하도록 조정된다. 일부 실시예들에서, 위치가 다수의 운동 유형들과 연관될 때, 컴퓨터 시스템은 다른 콘텍스트 정보(예컨대, 사용자의 이동, 그 위치에서의 객체들과 사용자의 관여 등)에 기초하여 그 위치와 연관되는 다수의 운동 유형들로부터 운동 유형을 선택하고, 선택된 운동 유형에 대응하는 시각적 콘텐츠를 디스플레이한다.
도 7n은, 부분 (A)에서, 사용자(7002)가 물리적 환경(예컨대, 장면(105), 또는 다른 물리적 환경 등) 내에 위치되는 것을 도시한다. 사용자(7002)는 실외 환경 또는 실내 환경인 상이한 물리적 환경 내에 위치될 수 있거나, 실내와 실외 환경 사이에서 이동하거나, 기타 등등 한다. 사용자(7002)는 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7100), HMD와 같은 다른 유형의 디스플레이 생성 컴포넌트 등)를 통해 제공되는 시야를 통해 물리적 환경을 본다. 물리적 환경은 물리적 표면들(예컨대, 벽들(7004, 7006), 바닥(7008), 다른 물리적 표면들 등) 및 하나 이상의 물리적 객체들(예컨대, 운동 장비(7402, 7404), 다른 물리적 객체들 등)을 포함한다. 일부 실시예들에서, 물리적 환경은 사용자가 동시에 볼 수 없는, 서로 분리된 다수의 방들 또는 섹션들을 포함하는 건물이다. 일부 실시예들에서, 물리적 환경은, 별개의 건물들 내의 방들, 상이한 공원들, 상이한 지리적 지역들 등과 같은, 서로 분리된 다수의 영역들을 포함한다. 일부 실시예들에서, 물리적 환경은, 도로들, 나무들, 하늘, 오픈 워터, 바위들, 산들, 차량들, 동물들, 사람들 등과 같은 실외 물리적 객체들 및 표면들을 포함하는 실외 환경이다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 물리적 환경 내에(예컨대, 디스플레이 생성 컴포넌트를 통한 사용자의 시야 내에, 사용자의 임계 부근 내에(예컨대, 5 미터 내에, 몇 걸음 내에 등) 등) 있는 각자의 위치와 연관되는 하나 이상의 유형들의 운동들(예컨대, 실내 운동, 실내 스포츠, 실외 운동들, 실외 스포츠, 건강 및 신체 능력들, 신체 재활 및 치료를 촉진하는 신체 활동들 등)을 결정하기 위해 정보를 저장하고/하거나 규칙들 및 인공 지능을 구현한다. 일부 실시예들에서, 컴퓨터 시스템은, 각자의 위치에 존재하는 물리적 객체들의 유형들에 기초하여, 각자의 위치와 연관되는 운동의 유형을 결정한다. 일부 실시예들에서, 컴퓨터 시스템은, 각자의 위치에 존재하는 환경 또는 설정의 유형들에 기초하여, 각자의 위치와 연관되는 운동의 유형을 결정한다. 일부 실시예들에서, 컴퓨터 시스템은, 각자의 위치에 존재하는 다른 유형들의 마커들 및 신호들, 또는 정보의 조합들에 기초하여, 각자의 위치와 연관되는 운동의 유형을 결정한다.
도 7n의 부분 (B)에서, 컴퓨터 시스템은 사용자(7002)의 물리적 환경의 표현을 포함하는 3차원 환경의 제1 뷰(7405)를 디스플레이한다. 일부 실시예들에서, 3차원 환경의 제1 뷰(7405)는, 도 7n(B)에 도시된 바와 같이, 가상 요소들이 없거나 최소의 가상 요소들을 갖는 현실 뷰이다. 이러한 예에서, 제1 뷰(7405)는, 가상 콘텐츠 없이, 물리적 표면들의 표현들(예컨대, 벽들(7004, 7006)의 표현들(7004', 7006'), 바닥(7008)의 표현(7008) 등) 및 물리적 객체들의 표현들(예컨대, 물리적 객체(7402)의 표현(7402'), 물리적 객체(7404)의 표현(7404') 등)을 포함한다. 일부 실시예들에서, 3차원 환경의 제1 뷰는 컴퓨터 시스템의 기본 기능들을 제어하기 위한 사용자 인터페이스 객체들(예컨대, 상이한 컴퓨터 생성 경험들을 개시하기 위한 애플리케이션 아이콘들, 디스플레이 설정들, 오디오 제어부들 등)을 갖는 현실 뷰(예컨대, 도 7n(B)에 도시된 뷰(7405))이다. 일부 실시예들에서, 3차원 환경의 제1 뷰는 낮은 몰입 레벨로 디스플레이되는 증강 현실 뷰(예컨대, 특정 애플리케이션 경험(예컨대, 건강 애플리케이션, 명상 애플리케이션, 운동 애플리케이션, 게임 애플리케이션 등)의 일부가 아니고, 전체적으로 사용자의 시야의 작은 백분율(예컨대, 10% 미만, 20% 미만 등)만을 점유하거나 국한된 부유 윈도우들 내에 디스플레이되는 사용자 인터페이스 객체들(예컨대, 애플리케이션 개시 패드, 웰컴 사용자 인터페이스, 설정 사용자 인터페이스) 등을 디스플레이함)이다. 일부 실시예들에서, 3차원 환경의 제1 뷰(7405)에 포함되는 물리적 환경의 표현은 물리적 환경의 일부분의 카메라 뷰이다. 일부 실시예들에서, 3차원 환경의 제1 뷰(7405) 내에 표시되는 물리적 환경의 일부분은 사용자가 물리적 환경에서 이리저리 이동함에 따라(예컨대, 사용자가 디스플레이 생성 컴포넌트를 그/그녀의 머리 상에 착용하거나, 디스플레이 생성 컴포넌트를 그/그녀의 손으로 유지할 때 등) 변화한다. 일부 실시예들에서, 3차원 환경의 제1 뷰(7405) 내에 표시되는 물리적 환경의 일부분은 디스플레이 생성 컴포넌트가 물리적 환경에서 이리저리 이동됨에 따라 변화한다. 일부 실시예들에서, 3차원 환경의 제1 뷰(7405)에 포함되는 물리적 환경의 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통한 물리적 환경의 뷰이다. 이러한 예에서, 물리적 객체(7402)는 3차원 환경의 제1 뷰(7405) 내에 표시된 물리적 환경의 제1 부분 내의 제1 위치에 위치되고, 물리적 객체(7404)는 3차원 환경의 제1 뷰(7405) 내에 표시된 물리적 환경의 제1 부분 내의 제2 위치에 위치된다. 일부 실시예들에서, 제1 위치 및 제2 위치는 반드시 3차원 환경의 동일한 뷰 내에 있지는 않으며, 동일한 물리적 환경 내의 2개의 별개의 위치들 또는 서로 완전히 분리된 상이한 물리적 환경들에 위치될 수 있다. 이러한 예에서, 물리적 객체(7402)는 제1 유형의 운동(예컨대, 달리기, 걷기 등)에 대응하는 장비 또는 설정에 대응하고, 물리적 객체(7402)는 제2 유형의 운동(예컨대, 로잉, 보트 타기, 수상 스키 등)에 대응하는 장비 또는 설정에 대응한다.
도 7o 및 도 7p에서, 컴퓨터 시스템은, 3차원 환경의 제1 뷰(7450)를 디스플레이하는 동안, 물리적 환경에서의 사용자(7002)의 이동을 검출한다. 일부 실시예들에서, 3차원 환경의 제1 뷰 내에서 보이는 물리적 환경의 일부분은 사용자가 물리적 환경에서 이리저리 이동함에 따라 변화한다. 도 7o는 사용자(7002)가 제1 유형의 운동에 대응하는 물리적 객체(7404) 또는 설정을 포함하는 제1 위치로 이동한 제1 시나리오를 예시한다. 도 7o는 사용자(7002)가 제2 유형의 운동에 대응하는 물리적 객체(7402) 또는 설정을 포함하는 제2 위치로 이동한 제2 시나리오를 예시한다.
일부 실시예들에서, 사용자의 이동은 (예컨대, 사용자가 디스플레이 생성 컴포넌트를 유지 또는 착용하고 있는 동안, 사용자가 디스플레이 생성 컴포넌트를 통해 물리적 환경을 계속 볼 수 있도록 디스플레이 생성 컴포넌트와 사용자 사이의 공간적 관계가 유지되는 동안 등) 각자의 위치(예컨대, 제1 물리적 객체(7404)를 포함하는 제1 위치, 제2 물리적 객체(7402)를 포함하는 제2 위치 등)로의 사용자 전체의 이동을 포함한다. 일부 실시예들에서, 사용자의 이동은 (예컨대, 사용자가 디스플레이 생성 컴포넌트를 유지 또는 착용하고 있는 동안, 사용자가 디스플레이 생성 컴포넌트를 통해 물리적 환경을 계속 볼 수 있도록 디스플레이 생성 컴포넌트와 사용자 사이의 공간적 관계가 유지되는 동안 등) 각자의 위치(예컨대, 제1 물리적 객체(7404)를 포함하는 제1 위치, 제2 물리적 객체(7402)를 포함하는 제2 위치 등)의 뷰를 캡처하기 위해 디스플레이 생성 컴포넌트 또는 디스플레이 생성 컴포넌트와 연관된 카메라를 배향시키는 사용자의 이동을 포함한다. 일부 실시예들에서, 사용자의 이동은 각자의 위치에서의 물리적 객체(들)의 조작(예컨대, 각자의 위치에서 하나의 운동 장비를 켜는 것, 각자의 위치에서 하나의 운동 장비를 픽업하는 것, 각자의 위치에서 운동 장비를 사용하기 시작하는 것 등)에 대응하는 이동을 추가로 포함한다.
도 7o에 예시된 바와 같이, 사용자는 제1 유형의 운동에 대응하는 물리적 객체(7404)를 포함하는 물리적 환경 내의 제1 위치로 이동하였다. 이러한 예에서, 사용자는, 또한, 사용자가 제1 유형의 운동에 대한 물리적 객체(7404)를 사용하기 시작할 수 있게 하는, 물리적 객체(7404)에 대한 위치로 이동하였다(예컨대, 장비 상에 앉음, 장비 상에 섬, 장비의 하나 이상의 부분들을 유지함 등). 일부 실시예들에서, 컴퓨터 시스템은, 선택적으로, 사용자가 제1 유형의 운동에 대응하는 이동(예컨대, 광석들을 로잉하는 것, 기어 시프트를 당기는 것, 시작 자세를 취하는 것 등)의 1회 이상의 반복들을 시작하였다는 것을 검출한다. 제1 유형의 운동에 대응하는 물리적 객체(7404)를 포함하는 제1 위치로의 제1 사용자의 이동을 검출하는 것에 응답하여, 그리고 제1 위치가 제1 유형의 운동에 대응한다는 그리고 선택적으로, 사용자의 이동이 제1 세트의 기준들(예컨대, 제1 위치에 대응하는 기준들, 제1 유형의 운동에 대응하는 기준들 등)을 충족시킨다는 결정에 따라, 컴퓨터 시스템은 3차원 환경의 제2 뷰(7408)를 디스플레이하며, 여기에서 제2 뷰(7408)는 제1 유형의 운동에 대응하는 제1 가상 콘텐츠를 포함하고, 제1 가상 콘텐츠의 뷰가 제1 위치(예컨대, 물리적 객체(7404)를 포함하고 물리적 객체(7402)를 포함하지 않는 위치, 제2 유형의 운동에 대응하지 않는 위치 등)를 포함하는 물리적 환경의 뷰의 적어도 일부분을 대체한다. 일부 실시예들에서, 제1 가상 콘텐츠는 3차원 환경의 제2 뷰(7408)에서 물리적 환경의 뷰를 완전히 대체한다. 일부 실시예들에서, 가상 콘텐츠는 3차원 환경의 제2 뷰(7408)에서 물리적 환경의 표현의 디스플레이를 오버레이, 차단 또는 대체하여 디스플레이된다.
일부 실시예들에서, 컴퓨터 시스템은, 제1 위치가 제1 유형의 운동에 대응하는 제1 유형의 운동 장비(예컨대, 로잉 머신들, 보트 등)를 갖는다는 결정에 따라, 제1 위치가 제1 유형의 운동에 대응한다고 결정한다. 일부 실시예들에서, 컴퓨터 시스템은, 제1 위치가 제1 유형의 운동(예컨대, 로잉, 명상 등)에 대해 설계된(예컨대, 그에 대한 적절한 바닥 표면, 구조물들 등을 가짐) 위치라는 결정에 따라, 제1 위치가 제1 유형의 운동에 대응한다고 결정한다.
도 7o의 부분 (B)에 도시된 바와 같이, 컴퓨터 시스템은, 사용자(7002)가 제1 유형의 운동에 대응하는 제1 위치로 이동하였을 때, 3차원 환경의 제2 뷰(7408)를 디스플레이한다. 일부 실시예들에서, 제2 뷰(7408)는 제1 위치 및 제1 유형의 운동에 대응하는 제1 컴퓨터 생성 경험에 대응하는 더 많은 가상 요소들을 갖는 증강 현실 뷰이다. 일부 실시예들에서, 제2 뷰(7408)는 제1 위치 및 제1 유형의 운동에 대응하는 제1 컴퓨터 생성 경험의 미리보기 또는 시작을 보여주는 증강 현실 뷰이다. 일부 실시예들에서, 제2 뷰(7408)는 더 높은 몰입 레벨로 디스플레이되는 증강 현실 뷰(예컨대, 제1 유형의 운동에 대응하는 제1 특정 애플리케이션 경험(예컨대, 가상 하이킹 트레일들, 가상 풍경, 스코어 보드들, 운동 통계들, 운동 파라미터들을 변경하는 제어부들 등)의 일부이고, 전체적으로 사용자의 시야의 상당한 백분율(예컨대, 60% 초과, 90% 초과 등)을 점유하거나 3차원 가상 또는 증강 현실 환경 내에 디스플레이되는 사용자 인터페이스 객체들을 디스플레이함)이다. 이러한 예에서, 3차원 환경의 제2 뷰 내에 디스플레이되는 가상 콘텐츠는 제1 위치에서 디스플레이 생성 컴포넌트에 의해 제공되는 시야 내에 잠재적으로 있는 물리적 환경의 다양한 부분들의 표현들(7004', 7006', 및/또는 7008')의 뷰를 대체한 가상 오픈 워터(7406)를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트에 의해 제공되는 잠재적인 시야 내의 물리적 환경의 모든 부분들은 가상 콘텐츠의 디스플레이에 의해 대체되거나 차단된다. 일부 실시예들에서, 사용자의 신체의 일부분, 운동 장비의 적어도 일부분 등과 같은 물리적 환경의 일부분은 3차원 환경의 제2 뷰(7408)에서 보이는 상태로 유지된다.
도 7p에 예시된 바와 같이, 사용자는 제2 유형의 운동에 대응하는 물리적 객체(7402)를 포함하는 물리적 환경 내의 제2 위치로 이동하였다. 이러한 예에서, 사용자는, 또한, 사용자가 제2 유형의 운동에 대한 물리적 객체(7402)를 사용하기 시작할 수 있게 하는, 물리적 객체(7402)에 대한 위치로 이동하였다(예컨대, 장비 상에 앉음, 장비 상에 섬, 장비의 하나 이상의 부분들을 유지함 등). 일부 실시예들에서, 컴퓨터 시스템은, 선택적으로, 사용자가 제2 유형의 운동에 대응하는 이동(예컨대, 계단을 밟는 것, 페달을 밟기 시작하는 것, 걷기 시작하는 것 등)의 1회 이상의 반복들을 시작하였다는 것을 검출한다. 제2 유형의 운동에 대응하는 물리적 객체(7402)를 포함하는 제2 위치로의 사용자의 이동을 검출하는 것에 응답하여, 그리고 제2 위치가 제2 유형의 운동에 대응한다는 그리고 선택적으로, 사용자의 이동이 제2 세트의 기준들(예컨대, 제2 위치에 대응하는 기준들, 제2 유형의 운동에 대응하는 기준들 등)을 충족시킨다는 결정에 따라, 컴퓨터 시스템은 3차원 환경의 제3 뷰(7412)를 디스플레이하며, 여기에서 제3 뷰(7412)는 제2 유형의 운동에 대응하는 제2 가상 콘텐츠를 포함하고, 제2 가상 콘텐츠의 뷰가 제2 위치(예컨대, 제2 유형의 운동에 대응하지만 제1 유형의 운동에는 대응하지 않는 위치, 물리적 객체(7404)를 포함하지 않는 위치 등)를 포함하는 물리적 환경의 뷰의 적어도 일부분을 대체한다. 일부 실시예들에서, 제1 가상 콘텐츠는 3차원 환경의 제3 뷰(7410)에서 물리적 환경의 뷰를 완전히 대체한다. 일부 실시예들에서, 가상 콘텐츠는 물리적 환경의 표현의 적어도 일부분의 디스플레이를 오버레이, 차단 또는 대체하여 디스플레이된다.
일부 실시예들에서, 컴퓨터 시스템은, 제2 위치가 제2 유형의 운동에 대응하는 제2 유형의 운동 장비(예컨대, 계단, 스테퍼들, 트레드밀(treadmill) 등)를 갖는다는 결정에 따라, 제2 위치가 제2 유형의 운동에 대응한다고 결정한다. 일부 실시예들에서, 컴퓨터 시스템은, 제2 위치가 제2 유형의 운동(예컨대, 하이킹, 달리기 등)에 대해 설계된(예컨대, 그에 대한 적절한 바닥 표면, 구조물들 등을 가짐) 위치라는 결정에 따라, 제2 위치가 제2 유형의 운동에 대응한다고 결정한다.
도 7p의 부분 (B)에 도시된 바와 같이, 컴퓨터 시스템은, 사용자(7002)가 제2 유형의 운동에 대응하는 제2 위치로 이동하였을 때, 3차원 환경의 제3 뷰(7410)를 디스플레이한다. 일부 실시예들에서, 제3 뷰(7410)는 제2 위치 및 제2 유형의 운동에 대응하는 제2 컴퓨터 생성 경험에 대응하는 더 많은 가상 요소들을 갖는 증강 현실 뷰이다. 일부 실시예들에서, 제3 뷰(7410)는 제2 위치 및 제2 유형의 운동에 대응하는 제2 컴퓨터 생성 경험의 미리보기 또는 시작을 보여주는 증강 현실 뷰이다. 일부 실시예들에서, 제3 뷰(7410)는 더 높은 몰입 레벨로 디스플레이되는 증강 현실 뷰(예컨대, 제2 유형의 운동에 대응하는 제2 특정 애플리케이션 경험(예컨대, 가상 하이킹 트레일들, 가상 풍경, 스코어 보드들, 운동 통계들, 운동 파라미터들을 변경하는 제어부들 등)의 일부이고, 전체적으로 사용자의 시야의 상당한 백분율(예컨대, 60% 초과, 90% 초과 등)을 점유하거나 3차원 가상 또는 증강 현실 환경 내에 디스플레이되는 사용자 인터페이스 객체들을 디스플레이함)이다. 이러한 예에서, 3차원 환경의 제3 뷰(7410) 내에 디스플레이되는 가상 콘텐츠는 제2 위치에서 디스플레이 생성 컴포넌트에 의해 제공되는 시야 내에 잠재적으로 있는 물리적 환경의 다양한 부분들의 표현들(7004', 7006', 및/또는 7008')의 뷰를 대체한 가상 하이킹 트레일(7412)을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트에 의해 제공되는 잠재적인 시야 내의 물리적 환경의 모든 부분들은 가상 콘텐츠의 디스플레이에 의해 대체되거나 차단된다. 일부 실시예들에서, 사용자의 신체의 일부분, 운동 장비의 적어도 일부분 등과 같은 물리적 환경의 일부분은 3차원 환경의 제3 뷰(7410)에서 보이는 상태로 유지된다.
일부 실시예들에서, 컴퓨터 시스템은, 현재 위치에서의 각자의 유형의 운동에 대응하는 각자의 유형의 운동 장비의 검출에 따라, 현재 위치가 각자의 유형의 운동에 대응한다고 결정한다. 일부 실시예들에서, 각자의 유형의 운동 장비의 검출은 각자의 유형의 운동 장비에 대응하는 RFID 신호의 검출, 현재 위치를 캡처하는 카메라 피드에서의 각자의 유형의 운동 장비의 이미지의 검출, 현재 위치가 각자의 유형의 운동 장비에 대한 등록된 위치와 매칭된다는 것의 검출 등에 기초한다.
일부 실시예들에서, 사용자의 현재 위치가 각자의 유형의 운동과 연관된 위치에 대응한다는 결정에 따라, 컴퓨터 시스템은, 3차원 환경의 뷰에서 현재 위치와 연관된 각자의 유형의 운동에 대응하는 가상 콘텐츠의 시각적 두드러짐을 증가시키면서, 3차원 환경의 현재 디스플레이된 뷰에서 물리적 환경의 표현의 시각적 두드러짐을 점진적으로 감소시키는 것을 포함하여, 각자의 유형의 운동에 대응하는 3차원 환경의 뷰를 디스플레이한다. 일부 실시예들에서, 물리적 환경의 표현의 시각적 두드러짐을 감소시키는 것은 물리적 환경의 표현의 점점 더 많은 부분들의 디스플레이를 중지하는 것, 물리적 환경의 표현을 페이드 아웃하는 것 등을 포함한다. 일부 실시예들에서, 각자의 유형의 운동에 대응하는 가상 콘텐츠의 시각적 두드러짐을 점진적으로 증가시키는 것은, 물리적 환경의 표현이 점진적으로 감소된 3차원 환경의 뷰의 영역들에서, 가상 콘텐츠를 디스플레이하기 시작하는 것, 가상 콘텐츠의 가시성을 증가시키는 것, 가상 콘텐츠에 의해 점유되는 사용자의 시야의 비율을 증가시키는 것, 가상 콘텐츠의 불투명도 또는 밝기를 증가시키는 것 등을 포함한다.
일부 실시예들에서, 각자의 위치는 다수의 유형들의 운동들에 대응할 수 있고, 컴퓨터 시스템은, 사용자가 어느 유형의 운동을 수행하기를 원하는지 명확하게 하기 위해 사용자가 다수의 유형들의 운동들 중 각자의 하나에 대응하는 일부 이동을 행하고, 각자의 위치에서 3차원 환경의 뷰 내에 디스플레이하기 위한 대응하는 가상 콘텐츠를 선택할 것을 요구한다. 예를 들어, 일부 실시예들에서, 컴퓨터 시스템은 각자의 위치와 연관된 다수의 유형들의 운동들 중 각자의 하나에 대응하는 이동(예컨대, 특성 모션을 시작하는 것(예컨대, 트레드밀 상에서 걷기 시작하는 것, 계단 스테퍼를 밟는 것, 일립티컬(elliptical) 상에서 다리들을 앞뒤로 이동시키는 것, 또는 로잉 머신 상에서 로잉을 시작하는 것 등), 각자의 유형의 운동에 대응하는 하나의 운동 장비 상에 올라서는 것/그 상에 앉는 것(예컨대, 로잉 머신, 또는 웨이트 트레이닝 머신 등 상에 앉는 것), 각자의 유형의 운동에 대응하는 준비 자세에 들어가는 것(예컨대, 가상 테니스 공을 치기 위한 준비 자세로 서는 것, 명상 또는 요가를 시작하기 위해 바닥 상에 앉는 것 등) 등)을 검출하고, 컴퓨터 시스템은 각자의 유형의 운동에 대응하는 가상 콘텐츠를 포함하는 3차원 환경의 뷰를 디스플레이한다.
일부 실시예들에서, 컴퓨터 시스템은, 각자의 위치에서 사용자에 의해 수행되는 각자의 유형의 운동들의 진행에 따라, 3차원 환경의 뷰 내에 디스플레이되는 가상 콘텐츠를 점진적으로 변경한다. 예를 들어, 일부 실시예들에서, 실제 세계의 뷰는 점진적으로 사라지고/사라지거나 디스플레이되는 것이 중지되고, 각자의 유형의 운동에 대응하는 가상 콘텐츠에 의해 점진적으로 대체된다. 일부 실시예들에서, 컴퓨터 시스템은, 각자의 유형의 운동에 대응하는 각자의 가상 환경이 제1 디스플레이 생성 컴포넌트를 통해 완전히 디스플레이될 때까지, 제1 사용자의 시야 내에 디스플레이되는 가상 콘텐츠의 양을 점진적으로 증가시킨다(예컨대, 3차원 환경의 제2 뷰는 제1 유형의 운동에 대응하는 가상 환경을 포함함, 3차원 환경의 제3 뷰는 제2 유형의 운동에 대응하는 가상 환경을 포함함 등). 예를 들어, 일부 실시예들에서, 오픈 짐(open gym)이 요가 및 댄스 둘 모두와 연관되는 위치일 때, 제1 사용자가 오픈 짐에 도착한 후, 제1 사용자가 나마스테(Namaste) 포즈로 앉는 경우, 컴퓨터 시스템은 사용자가 가상 해변 상에서 요가를 연습하도록 바다 소리들과 함께 가상 바다 뷰를 디스플레이하고; 제1 사용자가 댄서의 포즈로 서 있는 경우, 컴퓨터 시스템은 사용자가 댄스를 연습하도록 댄스 음악과 함께 가상 무대를 디스플레이한다.
일부 실시예들에서, 컴퓨터 시스템이 사용자가 각자의 위치로부터 멀리 이동하였다는 것을 검출할 때, 컴퓨터 시스템은 각자의 위치와 연관된 운동의 유형에 대응하는 가상 콘텐츠를 디스플레이하는 것을 중지한다. 예를 들어, 도 7o에서, 컴퓨터 시스템이, 사용자(7002)가 물리적 객체(7404)를 포함하는 제1 위치를 떠났다는 것을 검출하는 경우; 뷰(7408)가 디스플레이된 후, 컴퓨터 시스템은 제1 유형의 운동에 대응하는 뷰(7408)를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 유형의 운동 또는 제2 유형의 운동 중 어느 하나에 대응하는 가상 콘텐츠를 포함하지 않는 뷰(7405)를 재디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템이 사용자가 제1 위치로부터 제2 위치로 이동하였다는 것을 검출할 때, 컴퓨터 시스템은 제2 유형의 운동에 대응하는 가상 콘텐츠(7410)를 디스플레이한다.
일부 실시예들에서, 컴퓨터 시스템은, 각자의 유형의 운동에 대응하는 가상 콘텐츠를 포함하는 3차원 환경의 뷰를 디스플레이할 때, 각자의 유형의 운동에 대응하는 상태 정보(예컨대, 현재 세션 동안의 진행, 지속기간, 속도, 힘, 높이, 페이스, 보폭, 수행 레벨, 스코어들, 완료된 반복 횟수 등, 과거 통계, 제1 사용자에 대한 그리고/또는 다수의 사용자들에 걸친 평균 통계, 또한 동일한 유형의 운동을 수행하는 다른 사람들의 상태 등)를 디스플레이한다.
일부 실시예들에서, 컴퓨터 시스템은, 각자의 유형의 운동에 대응하는 가상 콘텐츠를 포함하는 3차원 환경의 뷰를 디스플레이할 때, 사용자에 대응하는 건강 정보(예컨대, 실시간 생체측정 데이터(예컨대, 심박수, 혈압, 호흡률, 체온, 혈당 레벨 등), 체중, BMI 등)를 디스플레이한다.
일부 실시예들에서, 컴퓨터 시스템은, 각자의 유형의 운동에 대응하는 가상 콘텐츠를 포함하는 3차원 환경의 뷰를 디스플레이할 때, 사용자에 의해 수행되는 각자의 유형의 운동의 진행 정보(예컨대, 실시간 스코어들, 완료된 랩(lap)들, 남은 랩들, 지속기간, 걸음들의 수, 이동된 거리, 완료된 포즈들 등)를 시각적으로 제시한다.
일부 실시예들에서, 각자의 유형의 운동에 대응하는 가상 콘텐츠를 포함하는 3차원 환경은 몰입형 환경이고, 3차원 환경의 현재 디스플레이된 뷰에 포함되는 것보다 큰 공간적 범위를 포함한다. 예를 들어, 사용자가 그/그녀의 머리를 돌리거나 또는 3차원 환경의 현재 디스플레이된 뷰에 대응하는 시점을 달리 변경함에 따라, 가상 콘텐츠의 상이한 부분들이 3차원 환경의 현재 디스플레이된 뷰 내에 디스플레이된다.
일부 실시예들에서, 3차원 환경의 제2 및/또는 제3 뷰는 사용자와 경쟁하여 (예컨대, 제1 사용자의 이전 최고 기록들에 기초하여, 제1 유형의 운동에 대한 제1 사용자의 미리설정된 구성에 기초하여 등) 각자의 유형의 운동을 수행하는 것으로 표시되는 사용자의 가상 표현을 포함한다.
일부 실시예들에서, 3차원 환경의 제2 및/또는 제3 뷰는 사용자와 경쟁하여 각자의 유형의 운동을 수행하는 것으로 표시되는, 사용자와는 상이한 적어도 다른 사용자의 가상 표현을 포함한다.
본 명세서에 개시된 바와 같이, 일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경은 물리적 환경의 표현 없이 3차원 환경 내의 상이한 가상 위치들에 가상 객체들 및 콘텐츠를 포함하는 가상 3차원 환경이다. 일부 실시예들에서, 3차원 환경은 물리적 환경의 하나 이상의 물리적 태양들(예컨대, 벽들, 바닥들, 표면들의 위치들 및 배향들, 중력의 방향, 하루 중 시간 등)에 의해 제한되는 3차원 환경 내의 상이한 가상 위치들에 가상 객체들을 디스플레이하는 혼합 현실 환경이다. 일부 실시예들에서, 3차원 환경은 물리적 환경의 표현을 포함하는 증강 현실 환경이다. 물리적 환경의 표현은 3차원 환경 내의 상이한 위치들에 물리적 객체들 및 표면들의 각자의 표현들을 포함하여서, 물리적 환경 내의 상이한 물리적 객체들 및 표면들 사이의 공간적 관계들이 3차원 환경 내의 물리적 객체들 및 표면들의 표현들 사이의 공간적 관계들에 의해 반영되게 한다. 가상 객체들이 3차원 환경에서 물리적 객체들 및 표면들의 표현들의 위치들에 대해 배치될 때, 그들은 물리적 환경 내의 물리적 객체들 및 표면들과 대응하는 공간적 관계들을 갖는 것으로 보인다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 물리적 환경의 표현이 디스플레이되는 패스 스루 부분을 포함한다. 일부 실시예들에서, 패스 스루 부분은, 사용자를 둘러싸고 그의 시야 내에 있는 물리적 환경의 적어도 일부분을 드러내는 디스플레이 생성 컴포넌트의 투명 또는 반투명(예컨대, 시스루(see-through)) 부분이다. 예를 들어, 패스 스루 부분은 반투명(예컨대, 50%, 40%, 30%, 20%, 15%, 10% 또는 5% 미만의 불투명도) 또는 투명하게 만들어진 머리 장착형 디스플레이 또는 헤드업 디스플레이의 일부분이어서, 사용자가, 머리 장착형 디스플레이를 제거하거나 헤드업 디스플레이로부터 멀리 이동하지 않고서, 사용자를 둘러싸는 실제 세계를 보도록 그를 통해 볼 수 있게 한다. 일부 실시예들에서, 패스 스루 부분은 가상 또는 혼합 현실 환경을 디스플레이할 때 반투명 또는 투명으로부터 완전 불투명으로 점진적으로 전이한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트의 패스 스루 부분은 하나 이상의 카메라들(예컨대, 모바일 디바이스의 또는 머리 장착형 디스플레이와 연관된 후방 대면 카메라(들), 또는 이미지 데이터를 전자 디바이스에 공급하는 다른 카메라들)에 의해 캡처된 물리적 환경의 적어도 일부분의 이미지들 또는 비디오의 라이브 피드를 디스플레이한다. 일부 실시예들에서, 하나 이상의 카메라들은 사용자의 눈들 바로 앞에 있는(예컨대, 디스플레이 생성 컴포넌트 뒤에 있는) 물리적 환경의 일부분을 향한다. 일부 실시예들에서, 하나 이상의 카메라들은 사용자의 눈들 바로 앞에 있지 않은(예컨대, 상이한 물리적 환경에 있는, 또는 사용자 옆이나 뒤에 있는) 물리적 환경의 일부분을 향한다. 일부 실시예들에서, 물리적 환경 내의 하나 이상의 물리적 객체들의 위치들에 대응하는 위치들에 가상 객체들 또는 콘텐츠를 디스플레이할 때, 가상 객체들 중 적어도 일부는 카메라들의 라이브 뷰의 일부분(예컨대, 라이브 뷰 내에 캡처된 물리적 환경의 일부분) 대신에 디스플레이된다(예컨대, 그의 디스플레이를 대체함). 일부 실시예들에서, 가상 객체 및 콘텐츠의 적어도 일부는 물리적 환경 내의 물리적 표면들 또는 빈 공간 상에 투영되고, 디스플레이 생성 컴포넌트의 패스 스루 부분을 통해 보인다(예컨대, 물리적 환경의 카메라 뷰의 일부로서, 또는 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분 등을 통해 볼 수 있음). 일부 실시예들에서, 가상 객체들 및 콘텐츠 중 적어도 일부는 디스플레이의 일부분을 오버레이하도록 디스플레이되고, 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 전부는 아니지만 그의 적어도 일부분의 뷰를 차단한다. 일부 실시예들에서, 가상 객체들 중 적어도 일부는 (예컨대, 물리적 환경의 카메라 뷰를 통해, 또는 디스플레이 생성 컴포넌트의 투명 부분 등을 통해 보여지는 바와 같이) 물리적 환경의 표현의 이미지에 대한 위치들에서 사용자의 망막 상에 직접 투영된다.
일부 실시예들에서, (예컨대, 도 7a 내지 도 7p및 도 8 내지 도 12와 관련하여) 본 명세서에 설명된 다양한 예들 및 실시예들에서 사용되는 입력 제스처들은 선택적으로, 일부 실시예들에 따라 가상 또는 혼합 현실 환경과 상호작용하기 위해 제스처 직전에 또는 제스처 동안 동작들을 수행하도록 사용자의 전체 손 또는 팔을 이들의 자연스러운 위치(들) 및 자세(들)로부터 멀리 이동시키는 주요 이동을 요구함이 없이 다른 손가락(들) 또는 사용자의 손의 일부(들)에 대한 사용자의 손가락(들)의 이동에 의해 수행되는 이산적인 작은 모션 제스처를 포함한다.
일부 실시예들에서, 입력 제스처들은 센서 시스템(예를 들어, 도 1의 센서들(190); 도 3의 이미지 센서들(314))에 의해 캡처된 데이터 또는 신호들을 분석함으로써 검출된다. 일부 실시예들에서, 센서 시스템은 하나 이상의 이미징 센서들(예를 들어, 모션 RGB 카메라들, 적외선 카메라들, 심도 카메라들 등과 같은 하나 이상의 카메라들)을 포함한다. 예를 들어, 하나 이상의 이미징 센서들은 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 터치-감응형 표면으로서의 역할을 하는 터치-스크린 디스플레이, 입체 디스플레이, 패스-스루 부분을 갖는 디스플레이 등))를 포함하는 컴퓨터 시스템(예를 들어, 도 1의 컴퓨터 시스템(101)(예를 들어, 휴대용 전자 디바이스(7100) 또는 HMD))의 컴포넌트들이거나 그에 데이터를 제공한다. 일부 실시예들에서, 하나 이상의 이미징 센서들은 디바이스의 디스플레이 반대편의 디바이스의 면 상에 하나 이상의 후방 카메라들을 포함한다. 일부 실시예들에서, 입력 제스처들은 머리 장착형 시스템의 센서 시스템(예를 들어, 사용자의 좌측 눈에 대한 좌측 이미지 및 사용자의 우측 눈에 대한 우측 이미지를 제공하는 입체 디스플레이를 포함하는 VR 헤드셋)에 의해 검출된다. 예를 들어, 머리 장착형 시스템의 컴포넌트들인 하나 이상의 카메라들이 머리 장착형 시스템의 전방 및/또는 밑면에 장착된다. 일부 실시예들에서, 하나 이상의 이미징 센서들은, 이미징 센서들이 머리 장착형 시스템의 이미지들 및/또는 머리 장착형 시스템의 사용자를 캡처하도록, 머리 장착형 시스템이 사용되는 공간에 위치된다(예를 들어, 룸 내의 다양한 위치들에서 머리 장착형 시스템 주위에 배열됨). 일부 실시예들에서, 입력 제스처들은 헤드 업 디바이스의 센서 시스템(예를 들어, 헤드 업 디스플레이, 그래픽들을 디스플레이하는 능력을 갖는 자동차 앞유리, 그래픽들을 디스플레이하는 능력을 갖는 윈도우, 그래픽들을 디스플레이하는 능력을 갖는 렌즈)에 의해 검출된다. 예를 들어, 하나 이상의 이미징 센서들이 자동차의 내부 표면들에 부착된다. 일부 실시예들에서, 센서 시스템은 하나 이상의 심도 센서들(예를 들어, 센서들의 어레이)을 포함한다. 예를 들어, 하나 이상의 심도 센서들은 하나 이상의 광-기반(예를 들어, 적외선) 센서들 및/또는 하나 이상의 음향-기반(예를 들어, 초음파) 센서들을 포함한다. 일부 실시예들에서, 센서 시스템은 광 방출기(예를 들어, 적외선 방출기) 및/또는 음향 방출기(예를 들어, 초음파 방출기)와 같은 하나 이상의 신호 방출기들을 포함한다. 예를 들어, 광(예를 들어, 미리 결정된 패턴을 갖는 적외선 광 방출기들의 어레이로부터의 광)이 손(예를 들어, 손(7200)) 상에 투영되는 동안, 광의 조명 하의 손의 이미지는 하나 이상의 카메라들에 의해 캡처되고, 캡처된 이미지는 손의 위치 및/또는 구성을 결정하기 위해 분석된다. 터치-감응형 표면들의 신호들 또는 다른 직접 접촉 메커니즘 또는 근접-기반 메커니즘들을 사용하는 것과 대조적으로, 입력 제스처들을 결정하기 위해 손으로 지향된 이미지 센서들로부터의 신호들을 사용하는 것은, 특정 입력 디바이스 또는 입력 영역에 의해 부과된 제약들을 경험하지 않고서, 사용자가 자신의 손으로 입력 제스처들을 제공할 때 큰 모션들을 실행할지 또는 비교적 정지된 것이 남아 있을지 여부를 자유롭게 선택할 수 있게 한다.
일부 실시예들에서, 탭 입력은, 선택적으로, 사용자의 손의 검지 손가락 위에서(예를 들어, 엄지 손가락에 인접한 검지 손가락의 면 위에서) 엄지 손가락의 탭 입력이다. 일부 실시예들에서, 검지 손가락의 면으로부터 엄지 손가락의 리프트 오프를 요구하지 않고 탭 입력이 검출된다. 일부 실시예들에서, 엄지 손가락의 하향 이동 후에 엄지 손가락의 상향 이동이 뒤따르고 엄지 손가락은 임계 시간 미만 동안 검지 손가락의 면과 접촉한다는 결정에 따라 탭 입력이 검출된다. 일부 실시예들에서, 엄지 손가락이 상승된 위치로부터 터치-다운 위치로 이동하고 적어도 제1 임계 시간(예를 들어, 탭 시간 임계치 또는 탭 시간 임계치보다 긴 다른 시간 임계치) 동안 터치-다운 위치에 유지된다는 결정에 따라 탭-홀드 입력이 검출된다. 일부 실시예들에서, 컴퓨터 시스템은 검지 손가락 상의 엄지 손가락에 의한 탭-홀드 입력을 검출하기 위해, 손 전체가 적어도 제1 임계 시간 동안의 위치에서 실질적으로 정지 상태로 유지될 것을 요구한다. 일부 실시예들에서, 터치-홀드 입력은, 손 전체가 실질적으로 정지된 상태로 유지될 것을 요구하지 않으면서 검출된다(예를 들어, 엄지 손가락이 검지 손가락의 면 상에 놓인 동안 손 전체가 이동할 수 있음). 일부 실시예들에서, 탭-홀드-드래그 입력은, 엄지 손가락이 검지 손가락의 면 상에서 터치 다운하고 엄지 손가락이 검지 손가락의 면 상에 놓여 있는 동안에 손 전체가 움직일 때 검출된다.
일부 실시예들에서, 플릭(flick) 제스처는, 선택적으로, 검지 손가락에 걸친(예를 들어, 손바닥 면으로부터 검지 손가락의 뒷면으로의) 엄지 손가락의 이동에 의한 푸시 또는 플릭 입력이다. 일부 실시예들에서, 엄지 손가락의 확장 이동은, 예를 들어, 엄지 손가락에 의한 상향 플릭 입력에서와 같이, 검지 손가락의 면으로부터 멀어지는 상향 이동을 수반한다. 일부 실시예들에서, 검지 손가락은 엄지 손가락의 전방 및 상향 이동 동안 엄지 손가락의 방향과 반대 방향으로 이동한다. 일부 실시예들에서, 엄지 손가락이 확장된 위치로부터 후퇴 위치로 이동함으로써, 역방향 플릭 입력이 수행된다. 일부 실시예들에서, 검지 손가락은 엄지 손가락의 후방 및 하향 이동 동안 엄지 손가락의 방향과 반대 방향으로 이동한다.
일부 실시예들에서, 스와이프 제스처는, 선택적으로, 검지 손가락을 따라(예를 들어, 엄지 손가락에 인접한 검지 손가락의 면을 따라 또는 손바닥의 면 상에서) 엄지 손가락의 이동에 의한 스와이프 입력이다. 일부 실시예들에서, 검지 손가락은 선택적으로 확장된 상태(예를 들어, 실질적으로 일직선) 또는 말려진 상태에 있다. 일부 실시예들에서, 검지 손가락은 스와이프 입력 제스처에서 엄지 손가락의 이동 동안 확장된 상태와 말려진 상태 사이에서 이동한다.
일부 실시예들에서, 다양한 손가락들의 상이한 지골(phalange)들은 상이한 입력들에 대응한다. 다양한 손가락들(예를 들어, 검지 손가락, 중지 손가락, 약지 손가락, 및 선택적으로, 새끼 손가락)의 다양한 지골들에 걸친 엄지 손가락의 탭 입력은 선택적으로 상이한 동작들에 맵핑된다. 유사하게, 일부 실시예들에서, 상이한 푸시 또는 클릭 입력들은 각자의 사용자 인터페이스 접촉에서 상이한 동작들을 트리거하기 위해 상이한 손가락들 및/또는 손가락의 상이한 부분들에 걸쳐 엄지 손가락에 의해 수행될 수 있다. 유사하게, 일부 실시예들에서, 상이한 손가락들을 따라 그리고/또는 상이한 방향들로 (예를 들어, 손가락의 원위 또는 근위 단부를 향해) 엄지 손가락에 의해 수행되는 상이한 스와이프 입력들은 각자의 사용자 인터페이스 상황에서 상이한 동작들을 트리거한다.
일부 실시예들에서, 컴퓨터 시스템은 탭 입력들, 플릭 입력들 및 스와이프 입력들이 엄지 손가락의 이동 유형들에 기초하여 상이한 유형들의 입력들로서 취급되는 것으로 취급한다. 일부 실시예들에서, 컴퓨터 시스템은 엄지 손가락에 의해 탭핑되거나, 터치되거나, 스와이프되는 상이한 손가락 위치들을 갖는 입력들을 주어진 입력 유형(예를 들어, 탭 입력 유형, 플릭 입력 유형, 스와이프 입력 유형 등)의 상이한 서브-입력-유형들(예를 들어, 근위, 중간, 원위 하위 유형들, 또는 검지, 중지, 약지, 또는 새끼 하위 유형들)로 취급한다. 일부 실시예들에서, 움직이는 손가락(예를 들어, 엄지 손가락)에 의해 수행되는 이동의 양, 및/또는 손가락의 이동과 연관된 다른 이동 메트릭들(예를 들어, 속도, 초기 속도, 종료 속도, 지속기간, 방향, 이동 패턴 등)은 손가락 입력에 의해 트리거되는 동작에 정량적으로 영향을 미치는 데 사용된다.
일부 실시예들에서, 컴퓨터 시스템은 엄지 손가락에 의한 이동들의 시퀀스, 예를 들어, 탭-스와이프 입력(예를 들어, 손가락 상의 엄지 손가락의 터치 다운에 이은 손가락의 면을 따른 스와이프), 탭-플릭 입력(예를 들어, 손가락 위에서 엄지 손가락의 터치 다운에 이은 손가락의 손바닥 측으로부터 후방 측으로 손가락에 걸친 플릭), 더블 탭 입력(예를 들어, 대략 동일한 위치에서 손가락의 면 상의 2개의 연속적인 탭들) 등을 조합하는 조합 입력 유형들을 인식한다.
일부 실시예들에서, 제스처 입력들은 엄지 손가락 대신에 검지 손가락에 의해 수행된다(예를 들어, 검지 손가락이 엄지 손가락 상에서 탭 또는 스와이프를 수행하거나, 또는 엄지 손가락과 검지 손가락이 핀치 제스처를 수행하도록 서로를 향해 이동하는 것 등). 일부 실시예들에서, 손목 이동(예를 들어, 수평 방향 또는 수직 방향으로의 손목의 플릭)은 손가락 이동 입력들에 대해 바로 앞서, (예를 들어, 임계 시간 내에서) 바로 후속하여, 또는 동시에 수행되어, 손목 이동에 의한 수정자 입력이 없는 손가락 이동 입력들과 비교하여, 현재 사용자 인터페이스 상황에서 추가적인 동작들, 상이한 동작들 또는 수정된 동작들을 트리거한다. 일부 실시예들에서, 사용자의 손바닥이 사용자의 얼굴을 향하도록 수행된 손가락 입력 제스처들은 사용자의 손바닥이 사용자의 얼굴로부터 멀리 향하게 하여 수행되는 손가락 입력 제스처들과 상이한 유형의 제스처들로서 취급된다. 예를 들어, 사용자의 손바닥이 사용자를 향하여 수행되는 탭 제스처는, 사용자의 손바닥이 사용자의 얼굴로부터 멀리 향하도록 수행된 탭 제스처에 응답하여 수행되는 동작(예를 들어, 동일한 동작)과 비교하여 추가된(또는 감소된) 프라이버시 보호를 갖는 동작을 수행한다.
본 개시내용에 제공된 예들에서 일 유형의 동작을 트리거하기 위해 하나의 유형의 손가락 입력이 사용될 수 있지만, 다른 실시예들에서 동일한 유형의 동작을 트리거하기 위해 다른 유형들의 손가락 입력이 선택적으로 사용된다.
도 7a 내지 도 7p에 관한 추가적인 설명들은 아래의 도 8 내지 도 12와 관련하여 설명된 방법들(8000, 9000, 10000, 11000, 12000)을 참조하여 아래에서 제공된다.
도 8은 일부 실시예들에 따른, 2명 이상의 사용자들 사이에서 공유되는 컴퓨터 생성 3차원 환경 내의 사용자 인터페이스 객체와의 상호작용을 지원하는 방법의 흐름도이다.
일부 실시예들에서, 본 방법(8000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 제1 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(8000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(8000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(8000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들 등)과 통신하는 컴퓨터 시스템(예컨대, 도 1의 제1 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및/또는 하나 이상의 입력 디바이스들과 별개인 메모리 및 하나 이상의 프로세서들을 포함하는 컴퓨팅 컴포넌트를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
본 방법(8000)에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(예컨대, 도 7b의 사용자 인터페이스 객체(7016), 다른 사용자 인터페이스 객체 등)(예컨대, 애플리케이션의 표현, 복수의 사용자 인터페이스 객체들(예컨대, 선택가능한 아바타들, 선택가능한 메뉴 항목들, 선택가능한 디바이스 제어부들, 선택가능한 콘텐츠 항목들, 슬라이더 제어부들, 버튼들 등)을 포함하는 사용자 인터페이스, 가상 3차원 객체, 제어부, 상이한 기능들 또는 동작들에 대응하는 다수의 제어부들을 포함하는 제어 패널, 정보 항목, 미디어 항목 등)를 3차원 환경의 제1 뷰(예컨대, 도 7b의 제1 뷰(7015-1), 다른 제1 뷰 등) 내에 디스플레이하며, 여기에서 3차원 환경은 (예컨대, 3차원 환경의 적어도 일부분(예컨대, 3차원 환경의 제1 뷰 내에 표시된 일부분, 3차원 환경의 다른 부분 등)이 동시에 제1 사용자 및 제2 사용자 둘 모두가 보기 위해 디스플레이될 때, 그리고/또는 3차원 환경 내의 가상 객체들(예컨대, 제1 사용자 인터페이스 객체, 다른 사용자 인터페이스 객체 등을 포함함) 중 일부 또는 전부가 제1 사용자 및 제2 사용자 둘 모두에게 표시된 3차원 환경 내에 동시에 디스플레이될 때 등) 제1 사용자(예컨대, 도 7a 내지 도 7c의 사용자(7102))와 제2 사용자(예컨대, 도 7a 내지 도 7c의 사용자(7002)) 사이에서 적어도 부분적으로 공유되고(예컨대, 환경의 적어도 일정 공간 부분이 공유됨, 환경이 적어도 일정 기간 동안 공유됨, 환경 내의 객체들이 완전히 또는 부분적으로 공유됨(예컨대, 동시에 볼 수 있고 액세스가능함, 동시에 볼 수는 있지만 동시에 액세스가능하지는 않음, 다른 사람들이 제어할 때(예컨대, 상기 다른 사람들은 객체를 보고 있을 수 있거나 보고 있지 않을 수 있음) 볼 수는 있지만 액세스가능하지는 않음 등)), 제1 사용자 인터페이스 객체는 3차원 환경의 제1 뷰(예컨대, 도 7b의 제1 뷰(7015-1)) 내의 제1 위치에 (예컨대, 도 7b에 도시된 바와 같이) 제1 세트의 외관 속성들(예컨대, 제2 디스플레이 생성 컴포넌트에 의해 제2 사용자에게 디스플레이된 바와 같은 제1 사용자 인터페이스 객체의 정상 외관(예컨대, 제1 형상, 제1 크기, 제1 색상, 제1 불투명도, 제1 포화도 레벨, 제1 휘도 레벨 등))로 디스플레이된다(8002). 제1 사용자 인터페이스 객체를 3차원 환경의 제1 뷰 내의 제1 위치에 제1 세트의 외관 속성들로 디스플레이하는 동안, 컴퓨터 시스템은 제1 사용자에 의해 제공되는 제1 사용자 입력을 검출하며, 여기에서 제1 사용자 입력은 제1 사용자 인터페이스 객체에 대한 것이다(예컨대, 사용자 입력을 검출하는 것은 물리적 환경 내의 제1 위치로의 제1 사용자의 일부분의 이동을 검출하는 것을 포함하며, 여기에서 물리적 환경 내의 제1 위치는 3차원 환경의 제1 뷰 내의 제1 사용자 인터페이스 객체의 각자의 위치에 대응함; 사용자 입력을 검출하는 것은 제1 사용자 인터페이스 객체로 지향되는 시선 입력, 및 시선 입력과 함께 검출되는 제어 입력(예컨대, 손가락 이동 제스처, 인 에어 제스처, 제어기에 의해 제공되는 입력 등)을 검출하는 것을 포함함 등)(8004). 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력을 검출하는 것에 응답하여(8006), 그리고 제2 사용자(예컨대, 도 7a 내지 도 7c의 사용자(7002))가 제1 사용자 인터페이스 객체(예컨대, 도 7a 내지 도 7c의 사용자 인터페이스 객체(7016))와 현재 상호작용하고 있지 않다는(예컨대, 제1 사용자 인터페이스 객체가 3차원 환경의 제1 뷰 내의 제2 사용자의 가상 위치와 미리설정된 공간적 관계를 갖지 않는다는(예컨대, 제1 사용자 인터페이스 객체가 제2 사용자의 손바닥 또는 손의 표현 내측에 있지 않다는, 제1 사용자 인터페이스 객체가 3차원 환경의 제1 뷰 내에서 보이는 제2 사용자의 사적 공간의 외측에 있다는 등), 제2 사용자가 적어도 부분적으로 공유된 3차원 환경 내에 3차원 환경의 제2 뷰를 디스플레이하는 제2 컴퓨터 시스템을 통해 제1 사용자 인터페이스 객체를 제어하고 있지 않고/않거나 선택하고 있지 않고/않거나 이동시키고 있지 않고/않거나 수정하고 있지 않고/않거나 달리 그와 상호작용하고 있지 않다는 등) 결정에 따라, 컴퓨터 시스템은 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행한다(예컨대, 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체가 제1 사용자에 의해 파지 또는 이동되는 것(예컨대, 사용자를 향해 이동되는 것, 제1 사용자 입력의 이동에 따라 이동되는 것 등)을 표시함, 제1 사용자 인터페이스 객체의 고스트 이미지가 파지되고/되거나 제1 사용자의 손들의 표현 내로 이동하는 것을 표시함 등)(8008). 일부 실시예들에서, 제1 사용자 인터페이스 객체는, 제1 사용자 입력이 검출되었을 때 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있지 않았다는 결정에 따라, (예컨대, 그의 원래 위치에 또는 제1 사용자의 손의 표현 내에 등) 제1 세트의 외관 속성들로 계속 디스플레이된다. 제1 사용자 인터페이스 객체(예컨대, 도 7a 내지 도 7c의 사용자 인터페이스 객체(7016))에 대한 제1 사용자 입력을 검출하는 것에 응답하여(8006), 그리고 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있다는(예컨대, 제1 사용자 인터페이스 객체가 3차원 환경의 제1 뷰 내의 제2 사용자의 가상 위치와 미리설정된 공간적 관계를 갖는다는(예컨대, 제1 사용자 인터페이스 객체가 제2 사용자의 손바닥 또는 손의 표현 내에 있다는, 제1 사용자 인터페이스 객체가 3차원 환경의 제1 뷰 내에서 보이는 제2 사용자의 사적 공간 내에 있다는 등), 제2 사용자가 공유 3차원 환경 내에 3차원 환경의 제2 뷰를 디스플레이하는 제2 컴퓨터 시스템을 통해 제1 사용자 인터페이스 객체를 제어하고 있고/있거나 선택하고 있고/있거나 이동시키고 있고/있거나 수정하고 있고/있거나 달리 그와 상호작용하고 있다는 등) 결정에 따라, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하며, 여기에서 시각적 표시를 디스플레이하는 것은 3차원 환경의 제1 뷰에서 제1 사용자 인터페이스 객체의 외관 또는 제1 사용자 인터페이스 객체의 위치 중 적어도 하나를 변경하는 것을 포함한다(예컨대, 도 7c에서, 사용자 인터페이스 객체(7016)의 외관이 제1 사용자(7102)에게 표시된 제1 뷰(7015-1)에서 변경됨)(8010). 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체를 제1 세트의 외관 속성들과는 상이한 제2 세트의 외관 속성들(예컨대, 제2 형상, 제2 크기, 제2 색상, 제2 불투명도, 제2 포화도 레벨, 제2 휘도 레벨 등)로 디스플레이하고/하거나(예컨대, 제2 세트의 외관 속성들은, 제1 사용자 인터페이스 객체가 이 순간에 제2 사용자의 제어 하에 있고, 제1 사용자와 상호작용하기 위해 이용가능하지 않다는 시각적 표시를 제공함), 제1 사용자가 제1 사용자 인터페이스 객체를 파지하려고 할 때 그를 비키어 이동시킨다. 일부 실시예들에서, 시각적 표시가 제1 사용자에게만 디스플레이될 필요가 있기 때문에, 제1 사용자 인터페이스 객체는 제2 사용자에게 디스플레이되는 적어도 부분적으로 공유된 3차원 환경의 뷰에서 그의 외관 및/또는 위치를 유지한다. 일부 실시예에서, 시각적 표시는 제2 사용자가 적어도 부분적으로 공유된 3차원 환경에서 제1 사용자 인터페이스 객체와 상호작용하는 동안 디스플레이된다. 컴퓨터 시스템은 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행하는 것을 보류한다(8014). 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제1 사용자의 표현에 의해 파지되는 것을 표시하지 않거나, 제1 사용자 인터페이스 객체가 제1 사용자 입력의 이동에 따라 이동하는 것을 표시하지 않는다(예컨대, 객체는 제1 사용자의 손에 의해 파지되는 것을 회피하기 위해 이동하고 있지 않음, 객체는 제1 사용자의 표현에 의해 파지되는 것을 회피하기 위해 형상을 축소시키나 변경하고 있지 않음 등). 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 고스트 이미지가 제1 사용자의 손의 표현 내로 이동하는 것을 표시하지 않는다.
이들 특징부들은, 예를 들어, 도 7a 내지 도 7c에 예시되어 있으며, 여기에서 제1 사용자(7102) 및 제2 사용자(7002)는 디스플레이 생성 컴포넌트들(7200, 7100)을 통해 각각 표시되는 3차원 환경을 공유한다. 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)를 제어할 때(예컨대, 제1 사용자 인터페이스 객체(7016)와 상호작용하고 있을 때, 제2 뷰(7015-2) 내의 손(7028)의 표현(7028")(또한, 제1 사용자(7102)에게 표시되는 제1 뷰(7015-1) 내의 표현(7028'))을 통해 제1 사용자 인터페이스 객체(7016) 또는 그의 표현을 유지할 때 등), 제1 사용자(7102)가 제1 사용자의 손(7102)의 이동을 통해 제1 사용자 인터페이스 객체(7016)와 상호작용하려고 시도하는 경우, 제1 사용자(7102)의 컴퓨터 시스템은 제1 디스플레이 생성 컴포넌트(7200)를 통해 표시되는 제1 뷰(7015-1)에서 제1 사용자 인터페이스 객체(7016)의 외관을 변경하고, 제1 사용자 인터페이스 객체(7016)에 대응하는 동작을 수행하지 않는다. 대조적으로, 제2 사용자(7002)가 제1 사용자 인터페이스 객체(7016)와 상호작용하고 있지 않은 경우, 컴퓨터 시스템은 제1 사용자의 손(7202)의 이동에 따라 제1 동작을 수행한다. 이는 도 7b에서 제2 사용자(7002)와 제1 사용자 인터페이스 객체(7016) 사이의 상호작용에 의해 간접적으로 예시되며, 여기에서 제1 사용자(7102)는 제1 사용자 인터페이스 객체(7016)를 제어하지 않거나 그와 상호작용하고 있지 않다(예컨대, 그 시나리오에서 제1 사용자 및 제2 사용자의 역할들의 반전을 고려함).
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시로서 제1 사용자 인터페이스 객체의 외관을 변경하고, 제1 사용자 인터페이스 객체의 외관을 변경하는 것은 제1 사용자 인터페이스 객체의 시각적 두드러짐을 감소시키기 위해 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 변경하는 것(예컨대, 선택적으로, 제1 사용자 인터페이스 객체의 주변 환경의 외관을 유지하면서(예컨대, 주변 환경의 시각적 두드러짐을 변경하지 않음), 제1 사용자 인터페이스 객체의 투명도 레벨을 증가시키는 것, 색상 포화도를 감소시키는 것, 불투명도를 감소시키는 것, 흐릿하게 하는 것, 어둡게 하는 것, 해상도를 감소시키는 것, 크기가 축소되는 것 등)을 포함한다(예컨대, 도 7c에서, 사용자 인터페이스 객체(7016)의 외관이 제1 사용자(7102)에게 표시된 제1 뷰(7015-1)에서 변경됨). 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 입력과 독립적으로 결정되는 3차원 환경의 제1 뷰 내의 제1 사용자 인터페이스 객체의 위치(예컨대, 제1 위치, 제1 사용자 인터페이스 객체와 제2 사용자 사이의 상호작용에 응답하여 결정되는 다른 위치, 제1 사용자 인터페이스 객체의 미리프로그래밍된 자율 이동에 따라 결정되는 다른 위치(예컨대, 제1 사용자 인터페이스 객체는 미리설정된 이동 패턴 또는 미리설정된 애니메이션화된 효과를 가짐 등), 컴퓨터 시스템에서 다른 이벤트들에 따라 결정되는 다른 위치 등)를 유지하면서 제1 사용자 인터페이스 객체의 외관을 변경한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 시각적 두드러짐을 감소시키기 위해 제1 사용자 인터페이스 객체의 외관을 변경하지 않고, 컴퓨터 시스템은 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행한다(예컨대, 제1 사용자 인터페이스 객체의 외관 및 시각적 두드러짐이 유지됨, 또는 외관이 제1 동작을 수행하는 결과로서 그러나 제1 사용자 인터페이스 객체의 시각적 두드러짐을 감소시키기 위한 목적을 갖지 않고서 변경될 수 있음 등).
제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시로서, 제1 사용자 인터페이스 객체에 대한 시각적 두드러짐을 감소시키기 위해 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 변경하는 것을 포함하여, 제1 사용자 인터페이스 객체의 외관을 변경하는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력의 종료를 검출한다(예컨대, 3차원 환경의 제1 뷰 내의 제1 사용자 인터페이스 객체의 각자의 위치에 대응하는 물리적 환경 내의 제1 위치로부터 멀어지는 제1 사용자의 일부분의 이동을 검출함, 제1 사용자 인터페이스 객체로 지향되었던 시선 입력이 제1 사용자 인터페이스 객체로부터 멀리 이동하는 것을 검출함, 제1 사용자 입력을 제공한 제1 사용자의 손이 제1 사용자 입력을 유지하는 데 요구되는 자세로부터 벗어나 이동하는 것을 검출함 등). 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력의 종료를 검출하는 것에 응답하여, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체의 시각적 두드러짐을 복원하기 위해, 제1 사용자 입력에 응답하여 변경되었던 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 (예컨대, 제1 사용자 입력을 검출하기 직전에, 또는 제1 사용자 입력을 검출하는 것에 응답하여 변경들이 이루어지기 전에 존재한 레벨로 등) 복원한다. 일부 실시예들에서, 컴퓨터 시스템은, 선택적으로, 제1 사용자 인터페이스 객체의 주변 환경의 외관을 유지하면서(예컨대, 주변 환경의 시각적 두드러짐을 변경하지 않음), 제1 사용자 인터페이스 객체의 증가된 투명도 레벨을 복원하고, 감소된 색상 포화도를 복원하고, 감소된 불투명도를 복원하고, 흐릿하게 하는 것 및/또는 어둡게 하는 것을 중지하고, 감소된 해상도를 복원하고, 감소된 크기를 복원하고, 기타 등등 한다. 예를 들어, 일부 실시예들에서, 제1 사용자가 그/그녀의 손을 제2 사용자가 현재 상호작용하고 있는 가상 객체에 대응하는 위치를 향해 뻗을 때, 가상 객체는, 제1 사용자의 손이 3차원 환경 내의 가상 객체의 위치에 대응하는 물리적 환경 내의 위치에 있을 때 페이드 아웃되거나 디밍되어지는 것으로 보인다. 이어서, 제1 사용자가 그/그녀의 손을 그 위치로부터 멀리 후속적으로 이동시킬 때, 가상 객체의 외관이 복원된다(예컨대, 더 이상 페이드 아웃되거나 디밍되는 것으로 보이지 않음). 이는 (도 7c 다음의) 도 7b에 예시되어 있으며, 여기에서 제1 사용자(7102)가 제1 사용자 인터페이스 객체(7016)와 상호작용하려고 시도하는 것을 중지하는 경우, 제1 사용자 인터페이스 객체(7016)의 외관은 제1 사용자(7102)에게 표시된 제1 뷰(7015-1)에서 더 이상 변경되지 않는다.
제1 사용자 인터페이스 객체에 대한 제1 사용자 입력의 종료를 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 시각적 두드러짐을 복원하기 위해, 제1 사용자 입력에 응답하여 변경되었던 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 복원하는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체가 상호작용을 위해 이용가능하다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 입력을 계속 검출하는(예컨대, 제1 사용자 입력이 초기에 검출되었던 시간에 제1 사용자의 일부분이 3차원 환경의 제1 뷰 내의 제1 사용자 인터페이스 객체의 각자의 위치에 대응하는 물리적 환경 내의 제1 위치에 유지되는 것을 검출함, 제1 사용자 인터페이스 객체로 지향되었던 시선 입력이 3차원 환경 내의 동일한 위치에 유지되는 것을 검출함, 제1 사용자 입력을 제공한 제1 사용자의 손이 제1 사용자 입력을 유지하기 위해 요구되는 자세로 유지되는 것을 검출함 등) 동안, 컴퓨터 시스템은, 제1 사용자 입력의 검출과 독립적으로(예컨대, 제2 사용자에 의해 제공되는 사용자 입력에 따라, 제1 사용자 인터페이스 객체의 본질적인 이동 패턴에 따라, 제1 사용자 입력과 독립적인 컴퓨터 시스템에서의 다른 이벤트들에 응답하여 등), 3차원 환경의 제1 뷰에서 제1 위치로부터 멀어지는 제1 사용자 인터페이스 객체의 이동을 검출한다. 제1 사용자 입력의 검출과 독립적으로, 3차원 환경의 제1 뷰에서 제1 위치로부터 멀어지는 제1 사용자 인터페이스 객체의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체의 시각적 두드러짐을 복원하기 위해, 제1 사용자 입력에 응답하여 변경되었던 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 (예컨대, 제1 사용자 입력을 검출하기 직전에, 또는 제1 사용자 입력을 검출하는 것에 응답하여 변경들이 이루어지기 전에 존재한 레벨로 등) 복원한다. 일부 실시예들에서, 컴퓨터 시스템은, 선택적으로, 제1 사용자 인터페이스 객체의 주변 환경의 외관을 유지하면서(예컨대, 주변 환경의 시각적 두드러짐을 변경하지 않음), 제1 사용자 인터페이스 객체의 증가된 투명도 레벨을 복원하고, 감소된 색상 포화도를 복원하고, 감소된 불투명도를 복원하고, 흐릿하게 하는 것 및/또는 어둡게 하는 것을 중지하고, 감소된 해상도를 복원하고, 감소된 크기를 복원하고, 기타 등등 한다. 예를 들어, 일부 실시예들에서, 제1 사용자가 그/그녀의 손을 제2 사용자가 현재 상호작용하고 있는 가상 객체에 대응하는 위치를 향해 뻗을 때, 가상 객체는, 제1 사용자의 손이 3차원 환경 내의 가상 객체의 위치에 대응하는 물리적 환경 내의 위치에 있을 때 페이드 아웃되거나 디밍되어지는 것으로 보인다. 이어서, 제1 사용자 인터페이스 객체가 그의 현재 위치로부터 멀리 그리고 제1 사용자의 손의 현재 위치에 대응하는 위치로부터 멀리 후속적으로 이동될(예컨대, 제2 사용자에 의해, 그 자체의 이동 패턴에 따라, 제1 사용자 입력과 관련되지 않은 다른 시스템 생성 이벤트들 등에 따라 이동될) 때, 가상 객체의 외관이 복원된다(예컨대, 더 이상 페이드 아웃되거나 디밍되는 것으로 보이지 않음).
제1 사용자 입력의 검출과 독립적으로, 3차원 환경의 제1 뷰에서 제1 위치로부터 멀어지는 제1 사용자 인터페이스 객체의 이동을 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 시각적 두드러짐을 복원하기 위해, 제1 사용자 입력에 응답하여 변경되었던 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 복원하는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체가 제1 위치로부터 멀리 이동되었다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하는 것은, 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하는 것을 중지할 때까지, 제1 사용자 입력에 응답하여 이루어진 제1 사용자 인터페이스 객체의 외관에 대한 변경들을 유지하는 것을 포함한다. 예를 들어, 사용자 인터페이스 객체(7016)의 변경된 외관은, 제2 사용자(7002)가 제1 사용자(7102)를 제외하고 제1 사용자 인터페이스 객체(7016)를 더 이상 제어하지 않을 때까지, 제1 사용자(7102)가 제1 사용자 인터페이스 객체(7016)와 상호작용하려는 그의 시도를 중지한 후에도 유지될 것이다. 예를 들어, 일부 실시예들에서, 일단 제1 사용자 입력을 검출하는 것에 응답하여 시각적 표시가 디스플레이되면, 그리고 제1 사용자 입력이 초기에 검출되는 시간에 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있었다는 결정에 따라, 컴퓨터 시스템은, 제2 사용자가 여전히 제1 사용자 인터페이스 객체와 상호작용하고 있다는(예컨대, 제2 사용자가 제2 사용자의 손바닥 또는 손의 위치에 대응하는 위치에 가상 객체를 계속 유지하고/하거나, 제2 사용자의 컴퓨터 시스템의 동작을 통해 가상 객체를 계속 선택하거나 수정하거나 또는 달리 그와 상호작용한다는 등) 결정에 따라, 시각적 표시(예컨대, 제1 사용자 인터페이스 객체의 변경된 외관, 변경된 위치 등)를 계속 디스플레이한다.
일부 실시예들에서, 시각적 표시는, 컴퓨터 시스템이 제1 사용자 입력이 종료되었다는 것 및 제1 사용자가 제1 사용자 인터페이스 객체와 상호작용하려고 시도하기 위한 어떠한 입력도 현재 제공하고 있지 않다는 것을 검출할 때에도 계속 디스플레이된다. 일부 실시예들에서, 시각적 표시는, 제1 사용자 입력이 유지되는지 여부 또는 제1 사용자가 제1 사용자 인터페이스 객체와 상호작용하려고 계속 시도하는지에 관계없이, 일정 기간 동안 유지되지만, 반드시 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하는 것을 정지할 때까지 유지되지는 않는다. 일부 실시예들에서, 제1 사용자의 컴퓨터 시스템은 제2 사용자가 더 이상 제1 사용자 인터페이스 객체와 상호작용하고 있지 않다고 결정하고, 제2 사용자가 더 이상 제1 사용자 인터페이스 객체와 상호작용하고 있지 않다는 것을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하는 것을 중지한다(예컨대, 컴퓨터 시스템은 제1 사용자 인터페이스 객체를 희미해진 또는 디밍된 상태로 디스플레이하는 것을 중지하고, 제1 사용자 입력의 검출에 응답하여 변경되었던 제1 사용자 인터페이스 객체의 원래 외관 속성들을 복원함). 일부 실시예들에서, 제1 사용자 인터페이스 객체가 여전히 제2 사용자의 제어 내에 있고/있거나 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 지속적인 시각적 표시는, 제1 사용자가, 디바이스가 제1 사용자 인터페이스 객체와 상호작용하려는 다른 시도에 응답할 준비가 되었을 때를 알고, 제1 사용자 인터페이스 객체와 상호작용하려고 하는 데 있어서 반복되는 실패들을 회피하는 것을 돕는다.
제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하는 것을 중지할 때까지, 제1 사용자 입력에 응답하여 이루어진 제1 사용자 인터페이스 객체의 외관에 대한 변경들을 유지하는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있다는 개선된 시각적 피드백, 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7016))에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 그리고 제2 사용자(예컨대, 도 7b 및 도 7c의 사용자(7002))가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는(예컨대, 제1 사용자 인터페이스 객체가 3차원 환경의 제1 뷰 내의 제2 사용자의 가상 위치와 미리설정된 공간적 관계를 갖지 않는다는(예컨대, 제1 사용자 인터페이스 객체가 제2 사용자의 손바닥 또는 손의 표현 내측에 있지 않다는, 제1 사용자 인터페이스 객체가 3차원 환경의 제1 뷰 내에서 보이는 제2 사용자의 사적 공간의 외측에 있다는 등), 제2 사용자가 적어도 부분적으로 공유된 3차원 환경 내에 3차원 환경의 제2 뷰를 디스플레이하는 제2 컴퓨터 시스템을 통해 제1 사용자 인터페이스 객체를 제어하고 있지 않고/않거나 선택하고 있지 않고/않거나 이동시키고 있지 않고/않거나 수정하고 있지 않고/않거나 달리 그와 상호작용하고 있지 않다는 등) 결정에 따라, 컴퓨터 시스템은 제1 사용자 인터페이스 객체를 3차원 환경의 제1 뷰 내의 제2 위치에 디스플레이하며, 여기에서 제2 위치는 제1 사용자(예컨대, 도 7b 및 도 7c의 사용자(7102), 또는 다른 사용자 등)의 손의 현재 위치에 따라 선택된다. 일부 실시예들에서, 제2 위치는 제1 사용자 입력을 제공하는 제1 사용자의 손(예컨대, 도 7b 및 도 7c의 손(7202), 또는 다른 손 등)의 현재 위치에 대응하도록 선택되거나(예컨대, 제1 사용자의 손의 표현을 오버레이함, 그의 디스플레이를 대체함, 그의 외관을 수정함 등), 또는 제2 위치는, 제1 사용자 입력으로 지향되거나 그에 의해 표시되는 물리적 환경 내의 위치 또는 3차원 환경 내의 위치에 대응하도록 선택된다.
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 3차원 환경의 제1 뷰에서 제1 사용자의 손의 표현에 의해 파지되는 것을 표시하고, 제1 사용자 인터페이스 객체가 제1 사용자의 손에 의해 제공되는 제1 사용자 입력의 이동 방향에 대응하는 방향으로 이동하는 것을 표시하고(예컨대, 사용자의 손의 상향 이동은 가상 객체가 테이블 상판의 표현으로부터 위로 들어올려지게 함, 사용자의 손의 상향 이동은 가상 객체가 테이블 상판의 표현으로부터 위로 점프하게 그리고 사용자의 손의 표현에 랜딩(landing)하게 함 등), 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)가 제1 사용자의 손에 의해 표시되는 위치로 이동하는 것을 표시하고(예컨대, 제1 사용자의 손에 의한 플릭 및 포인트 제스처는 가상 객체가 그의 원래 위치로부터 위로 이동하게 그리고 제1 사용자의 손의 가리키는 손가락에 의해 표시되는 위치로 이동하게 함 등), 기타 등등 한다. 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 그리고 제1 사용자 인터페이스 객체를 제1 사용자의 손의 현재 위치에 따라 선택되는 제2 위치에 디스플레이하는 동안(예컨대, 제1 사용자 인터페이스 객체가 제1 사용자의 손의 표현에 대응하는 위치에 디스플레이되는(예컨대, 제1 사용자의 손에 의해 유지되는 것으로 보이는) 동안, 제1 사용자 인터페이스 객체가 제1 사용자 입력에 의해 선택되는 위치에 호버링(hovering)하여 디스플레이되는 동안 등), 컴퓨터 시스템은 제1 사용자의 손의 던지기 제스처에 대응하는 제1 사용자(예컨대, 사용자(7102), 또는 다른 사용자 등)의 손의 이동을 검출한다. 일부 실시예들에서, 컴퓨터 시스템은, 제1 사용자의 손이 제1 사용자에게 가까운 위치로부터 제1 사용자로부터 더 멀리 떨어진 다른 위치로, 그리고 선택적으로, 제2 사용자의 표현의 위치에 대응하는 위치를 향해 이동하는 것을 검출한다. 일부 실시예들에서, 컴퓨터 시스템은, 제1 사용자가 검지 손가락을 제1 사용자로부터 멀리, 선택적으로 제2 사용자의 표현의 위치에 대응하는 위치를 향해 플리킹하는 것을 검출하고/하거나, 제1 사용자가 그/그녀의 손을 사용하여 토싱 모션 또는 던지기 모션을 수행하는 것을 검출한다. 일부 실시예들에서, 던지기 제스처를 검출하는 것은 손의 빠른 가속에 이은 빠른 감속을 검출하는 것을 포함한다. 일부 실시예들에서, 던지기 제스처를 검출하는 것은 주먹 쥔 손을 펴는 것을 검출하는 것(및 선택적으로, 빠른 감속을 검출하는 것과 함께)을 포함한다. 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 그리고 제1 사용자의 손의 던지기 제스처에 대응하는 제1 사용자의 손의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자의 손의 이동의 방향에 대응하는 제1 방향으로 3차원 환경의 제1 뷰에서 제1 사용자 인터페이스 객체를 이동시키고, 제1 사용자 인터페이스 객체의 이동 동안 제1 사용자 인터페이스 객체를 회전시킨다. 일부 실시예들에서, 제1 사용자 인터페이스 객체가 던지기 제스처의 방향에 대응하는 방향으로 이동함에 따라, (예컨대, 제1 사용자 인터페이스 객체의 선형 모션 동안 각운동량의 보존을 시뮬레이션하기 위해, 제1 사용자 인터페이스 객체에 대한 던지기 제스처의 물리적 효과를 시뮬레이션하기 위해, 던지기 제스처의 목적지 단부에서 제2 사용자를 향한 제1 사용자 인터페이스 객체의 미리정의된 사용자 대면 측부를 표시하기 위해, 미리정의된 직립 배향으로 가상 표면 상에 또는 물리적 표면의 표현 상에 랜딩하기 위해 등) 제1 사용자 인터페이스 객체도 제1 사용자 인터페이스 객체의 가상 무게 중심(예컨대, 기하학적 중심, 제1 사용자 인터페이스 객체에 의해 시뮬레이션되는 객체에 따라 제1 사용자 인터페이스 객체 내부 또는 그 외부의 다른 지점 등)을 중심으로 회전한다.
일부 실시예들에서, 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있었고, 후속적으로, 3차원 환경에서 제1 사용자 인터페이스 객체를 던지기 위해 던지기 제스처를 수행할 때, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제2 사용자의 손의 이동의 방향에 대응하는 제2 방향으로 3차원 환경의 제1 뷰에서 이동하는 것을 표시하고, 제1 사용자 인터페이스 객체의 이동 동안 제1 사용자 인터페이스 객체를 회전시킨다(예컨대, 제1 사용자 인터페이스 객체가 던지기 제스처의 방향으로 이동함에 따라, (예컨대, 제1 사용자 인터페이스 객체의 선형 모션 동안 각운동량의 보존을 시뮬레이션하기 위해, 제1 사용자 인터페이스 객체에 대한 던지기 제스처의 물리적 효과를 시뮬레이션하기 위해, 던지기 제스처의 목적지 단부에서 제1 사용자를 향한 제1 사용자 인터페이스 객체의 미리정의된 사용자 대면 측부를 표시하기 위해, 미리정의된 직립 배향으로 가상 표면 상에 또는 물리적 표면의 표현 상에 랜딩하기 위해 등) 제1 사용자 인터페이스 객체도 제1 사용자 인터페이스 객체의 가상 무게 중심을 중심으로 회전함).
제1 사용자의 손의 던지기 제스처에 대응하는 제1 사용자의 손의 이동을 검출하는 것에 응답하여, 제1 사용자의 손의 이동의 방향에 대응하는 제1 방향으로 3차원 환경의 제1 뷰에서 제1 사용자 인터페이스 객체를 이동시키고, 제1 사용자 인터페이스 객체의 이동 동안 제1 사용자 인터페이스 객체를 회전시키는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 제1 사용자의 손의 던지기 제스처를 검출하였다는 개선된 시각적 피드백, 제1 사용자 인터페이스 객체가 이동되고 있다는 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체의 이동 동안 제1 사용자 인터페이스 객체(예컨대, 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)를 회전시키는 것은, 제1 사용자의 손의 이동의 방향이 3차원 환경의 제1 뷰에서 제2 사용자의 표현을 향한다는 결정에 따라, 제1 사용자 인터페이스 객체를 제1 사용자 인터페이스 객체가 물리적 환경에서의 제1 사용자의 손의 이동에 따라 선택되는 3차원 환경 내의 목적지 위치(예컨대, 제2 사용자의 손의 표현, 제2 사용자와 연관된 표면의 표현 등의 위치)에 도달할 때 3차원 환경에서 제1 미리설정된 배향을 갖도록 하는 제1 방식으로 회전시키는 것(예컨대, 제1 사용자 인터페이스 객체를 제1 회전 방향으로 제1 양만큼, 제2 회전 방향으로 제2 양만큼, 그리고/또는 제3 회전 방향으로 제3 양만큼 등으로 회전시킴)을 포함한다. 일부 실시예들에서, 제1 미리설정된 배향은, 제1 사용자 인터페이스 객체가 제1 사용자의 던지기 제스처에 응답하여 이동을 시작하였을 때 제1 사용자 인터페이스 객체가 가졌던 배향과는 상이하다. 일부 실시예들에서, 제1 미리설정된 배향은 제1 사용자 인터페이스 객체의 미리설정된 전방 대면 측부가 제2 사용자의 표현을 향하는 배향이다. 일부 실시예들에서, 제1 미리설정된 배향은 제1 사용자 인터페이스 객체가 제2 사용자의 손의 표현 등에 의해 잡힐 때 및/또는 그 상에 놓일 때 직립인 배향이다. 일부 실시예들에서, 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있었고, 후속적으로, 제1 사용자의 표현의 방향에 대응하는 방향으로 던지기 제스처를 수행할 때, 컴퓨터 시스템은, 제2 사용자의 손의 이동의 방향이 3차원 환경의 제1 뷰의 시점을 향한다는 결정에 따라, 제1 사용자 인터페이스 객체를 제1 사용자 인터페이스 객체가 물리적 환경에서의 제2 사용자의 손의 이동에 따라 선택되는 3차원 환경 내의 목적지 위치에 도달할 때 3차원 환경에 대해 제1 미리설정된 배향(예컨대, 제1 미리설정된 배향은, 제1 사용자 인터페이스 객체가 제2 사용자의 던지기 제스처에 응답하여 이동을 시작하였을 때 제1 사용자 인터페이스 객체가 가졌던 배향과는 상이함, 제1 미리설정된 배향은 제1 사용자 인터페이스 객체의 미리설정된 전방 대면 측부가 제1 사용자의 표현을 향하는 배향임, 또는 제1 미리설정된 배향은 제1 사용자 인터페이스 객체가 제1 사용자의 손의 표현에 의해 잡힐 때 및/또는 그 상에 놓일 때 직립인 배향임 등)을 갖도록 하는 각자의 방식으로 (예컨대, 제1 회전 방향으로 제1 양만큼, 제2 회전 방향으로 제2 양만큼, 그리고/또는 제3 회전 방향으로 제3 양만큼 등) 회전시킨다.
제1 사용자 인터페이스 객체를 제1 사용자 인터페이스가 물리적 환경에서의 제1 사용자의 손의 이동에 따라 선택되는 3차원 환경 내의 목적지 위치에 도달할 때 3차원 환경에서 제1 미리설정된 배향을 갖도록 하는 제1 방식으로 회전시키는 것은, 제1 사용자 인터페이스 객체를 목적지 위치에 원하는 배향으로 디스플레이하기 위한 입력들의 수를 감소시킨다(예컨대, 사용자들은 제1 사용자 인터페이스 객체가 제1 사용자 인터페이스 객체의 이동 동안 회전된 후 제1 사용자 인터페이스 객체를 (예컨대, 보기 위해) 원하는 배향으로 회전시키기 위한 추가 제스처들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체의 이동 동안 제1 사용자 인터페이스 객체를 회전시키는 것은, 제1 사용자(예컨대, 도 7a 내지 도 7c의 제1 사용자(7102), 다른 사용자 등)의 손의 이동의 방향이 3차원 환경의 제1 뷰(예컨대, 도 7b 및 도 7c의 제1 뷰(7015-1), 다른 뷰 등)에서 제1 표면(예컨대, 물리적 표면(예컨대, 벽, 테이블 상판, 카우치의 좌석 등), 가상 표면(예컨대, 가상 선반, 가상 벽, 가상 카우치 등) 등)의 표현을 향한다는 결정에 따라, 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 제1 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)를 제1 사용자 인터페이스 객체가 물리적 환경에서의 제1 사용자의 손의 이동에 따라 선택되는 제1 표면의 표현 상의 목적지 위치에 도달할 때 3차원 환경에서 제1 표면의 표현에 대해 제2 미리설정된 배향을 갖도록 하는 제2 방식으로 회전시키는 것(예컨대, 제1 사용자 인터페이스 객체를 제1 회전 방향으로 제1 양만큼, 제2 회전 방향으로 제2 양만큼, 그리고/또는 제3 회전 방향으로 제3 양만큼 등으로 회전시킴)을 포함한다. 일부 실시예들에서, 제2 미리설정된 배향은, 제1 사용자 인터페이스 객체가 제1 사용자의 던지기 제스처에 응답하여 이동을 시작하였을 때 제1 사용자 인터페이스 객체가 가졌던 배향과는 상이하다. 일부 실시예들에서, 제2 미리설정된 배향은 제1 사용자 인터페이스 객체의 미리설정된 전방 대면 측부가 제1 사용자의 표현을 향하는 배향이다. 일부 실시예들에서, 제2 미리설정된 배향은 제1 사용자 인터페이스 객체가 제1 사용자의 표현 등 상에 랜딩할 때 직립인 배향이다.
일부 실시예들에서, 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있었고, 후속적으로, 제1 사용자의 표현의 방향에 대응하는 방향으로 던지기 제스처를 수행할 때, 컴퓨터 시스템은, 제2 사용자의 손의 이동의 방향이 3차원 환경에서 제1 표면의 표현을 향한다는 결정에 따라, 제1 사용자 인터페이스 객체를 제1 사용자 인터페이스 객체가 물리적 환경에서의 제2 사용자의 손의 이동에 따라 선택되는 제1 표면의 표현 상의 목적지 위치에 도달할 때 3차원 환경에서 제1 표면의 표현에 대해 제2 미리설정된 배향을 갖도록 하는 각자의 방식으로 (예컨대, 제1 회전 방향으로 제1 양만큼, 제2 회전 방향으로 제2 양만큼, 그리고/또는 제3 회전 방향으로 제3 양만큼 등) 회전시킨다. 일부 실시예들에서, 어떤 사용자가 제1 표면의 표현의 방향으로 던지기 제스처를 취하였는지에 관계없이, 제1 사용자 인터페이스 객체는, 제1 사용자 인터페이스 객체가 제1 표면의 표현에 대해 미리설정된 공간적 관계(예컨대, 배향, 위치 등)로 제1 표면의 표현 상에 랜딩하도록 하는 각자의 방식으로 제1 표면의 표현을 향한 그의 이동 동안 회전된다. 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 객체가 가상 액자일 때, 가상 액자는 테이블의 표현을 향해 던져지는 동안 회전하고, 던지기 제스처를 수행한 사용자를 향하는 직립 배향으로 테이블 상에 랜딩한다. 일부 실시예들에서, 가상 액자가 벽의 표현을 향해 던져질 때, 가상 액자는 벽의 표현을 향한 이동 동안 회전하고, 그의 후면이 벽의 표현에 평행한 상태로 벽의 표현 상에 랜딩한다. 일부 실시예들에서, 가상 액자가 제1 사용자에 의해 제2 사용자를 향해 던져질 때, 가상 액자는 가상 액자가 제2 사용자의 손바닥의 표현 상에 랜딩할 때 그의 전방 측부가 제2 사용자의 표현을 향하도록 회전한다.
제1 사용자 인터페이스 객체를 제1 사용자 인터페이스 객체가 물리적 환경에서의 제1 사용자의 손의 이동에 따라 선택되는 제1 표면의 표현 상의 목적지 위치에 도달할 때 3차원 환경에서 제1 표면의 표현에 대해 제2 미리설정된 배향을 갖도록 하는 제2 방식으로 회전시키는 것은, 제1 사용자 인터페이스 객체를 제1 표면 상에 원하는 배향으로 디스플레이하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자들은 제1 사용자 인터페이스 객체가 제1 사용자 인터페이스 객체의 이동 동안 회전된 후 제1 사용자 인터페이스 객체를 (예컨대, 보기 위해) 원하는 배향으로 회전시키기 위한 추가 제스처들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시로서 3차원 환경의 제1 뷰(예컨대, 도 7c의 7015-1, 또는 다른 뷰 등)에서 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)의 위치를 변경하고, 3차원 환경의 제1 뷰에서 제1 사용자 인터페이스 객체의 위치를 변경하는 것은 제1 사용자 입력을 제공한 제1 사용자의 손의 표현과 제1 사용자 인터페이스 객체 사이의 적어도 미리설정된 거리를 유지하기 위해 제1 사용자 인터페이스 객체를 제1 위치로부터 이동시키는 것을 포함한다(예컨대, 제1 사용자 인터페이스 객체는 제1 사용자 인터페이스 객체를 파지하려고 하는 제1 사용자의 손의 표현을 피하기 위해 하나 이상의 방향들로 이동하는 것으로 보임). 일부 실시예들에서, 제1 사용자 인터페이스 객체의 이동은 제1 사용자 인터페이스 객체의 외관에 대해 이루어지는 변경들을 수반한다(예컨대, 제1 사용자 인터페이스 객체는 제1 사용자의 손의 표현이 그 자체에 너무 가까워지는 것을 피하기 위해 이동하는 동안 희미해지거나 흐릿해지는 것으로 보임). 일부 실시예들에서, 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 컴퓨터 시스템은 제1 사용자의 손의 표현이 제1 위치에 도달할 때까지 제1 사용자 인터페이스 객체를 제1 위치로부터 이동시키지 않고, 이어서, 컴퓨터 시스템은 제1 위치로부터의 손의 후속 이동에 따라 제1 사용자 인터페이스 객체를 제1 위치로부터 멀리 이동시키거나 제1 사용자 인터페이스 객체를 조작한다(예컨대, 제1 사용자 인터페이스 객체의 후속 이동은 손을 피하기 위한 것이 아니라, 손과 함께 이동하거나 손을 따르기 위한 것임). 일부 실시예들에서, 제1 사용자 인터페이스 객체에 대한 제1 사용자 입력을 검출하는 것에 응답하여, 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 컴퓨터 시스템은 제1 사용자 인터페이스 객체 및 손의 표현의 위치들이 중첩될 때까지 제1 사용자 인터페이스 객체를 제1 위치로부터 제1 사용자의 손의 표현을 향해 이동시키고, 이어서, 컴퓨터 시스템은 손의 후속 이동에 따라 제1 사용자 인터페이스 객체를 이동시키거나 제1 사용자 인터페이스 객체를 조작한다(예컨대, 제1 사용자 인터페이스 객체는 손의 표현과 함께 이동하거나 손의 표현을 따름).
제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시로서, 제1 사용자 입력을 제공한 제1 사용자의 손의 표현과 제1 사용자 인터페이스 객체 사이의 적어도 미리설정된 거리를 유지하기 위해 제1 사용자 인터페이스 객체를 제1 위치로부터 이동시키는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)에 대해 제1 동작을 수행하는 것은 제1 사용자 인터페이스 객체를 제1 사용자의 손(예컨대, 도 7b 및 도 7c의 손(7202), 또는 다른 손 등)(예컨대, 제1 사용자 입력을 제공하고 있는 손, 제1 사용자 입력을 제공한 손과는 상이한 제1 사용자의 손, 제1 사용자의 양손 등)의 표현을 향해 이동시키는 것을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 사용자 인터페이스 객체가 제1 사용자의 손에 의해 파지될 수 있다는 것을 나타내기 위해 손이 제1 사용자 인터페이스 객체를 향해 이동함에 따라 제1 사용자 인터페이스 객체가 손의 표현을 향해 이동하는 것을 표시한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 이동은 제1 사용자 인터페이스 객체의 위치가 손의 표현의 위치와 중첩될 때 정지되고, 이어서, 컴퓨터 시스템은, 존재하는 경우, 손의 후속 이동에 따라 제1 사용자 인터페이스 객체를 이동시키거나 제1 사용자 인터페이스 객체를 조작한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 이동은 제1 위치로부터 떨어진 제한된 거리에 걸쳐서만 이루어지고(예컨대, 제1 사용자 인터페이스 객체는 제1 사용자의 손의 표현이 제1 위치의 임계 거리 내로 제1 사용자 인터페이스 객체에 접근할 때 제1 사용자의 손의 표현을 향해 조금 이동함), 이러한 이동은 (예컨대, 제1 사용자가 정확한 선택 제스처를 제공할 때, 제1 사용자의 손의 표현이 제1 사용자 인터페이스 객체에 더 가깝게 이동하고 그를 파지하는 것에 응답하여 등) 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하다는 시각적 피드백을 제1 사용자에게 제공한다.
제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 제1 사용자 인터페이스 객체를 제1 사용자의 손의 표현을 향해 이동시키는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하다는 개선된 시각적 피드백, 컴퓨터 시스템이 제1 사용자 인터페이스 객체에 대해 동작을 수행하고 있다는 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체(예컨대, 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)에 대해 제1 동작을 수행하는 것은, 제1 사용자 입력이 미리정의된 선택 제스처를 포함한다는(예컨대, 그라는, 그를 포함한다는, 그로 시작된다는, 그로 종료된다는 등) 결정에 따라, 제1 사용자(예컨대, 도 7a 내지 도 7c의 사용자(7102), 또는 다른 사용자 등)로부터 수신되는 후속 입력(예컨대, 핀치 제스처가 유지되는 동안의 드래그 제스처, 핀치 제스처가 유지되는 동안의 플릭 제스처, 미리정의된 선택 제스처가 종료된 후의 드래그 제스처 등)에 대한 타깃으로서 제1 사용자 인터페이스 객체를 선택하는 것을 포함한다. 일부 실시예들에서, 선택 제스처는 동일한 손의 엄지 손가락 상에서의 검지 손가락의 터치 다운을 포함하는 핀치 제스처(선택적으로, 그 후에, 엄지 손가락으로부터의 검지 손가락의 리프팅 오프, 또는 손에 연결된 손목의 플릭, 또는 전체 손의 병진 등이 뒤따름), 동일한 손의 검지 손가락 및 엄지 손가락이 터칭 자세로부터 서로 떨어지는 것을 포함하는 제스처, 핀치 제스처, 핀치 및 드래그 제스처, 핀치 및 플릭 제스처 등이다. 일부 실시예들에서, 제1 사용자의 손이 제1 사용자 인터페이스 객체 근처의 위치에 대응하는 위치에 접근하고 미리정의된 선택 제스처를 수행하는 경우, 컴퓨터 시스템은 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있다는 결정에 따라 제1 사용자 인터페이스 객체가 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 것을 나타내기 위한 시각적 피드백을 생성하고, 컴퓨터 시스템은 제1 사용자와의 후속 상호작용을 위해 제1 사용자 인터페이스 객체를 선택하지 않는다. 컴퓨터 시스템이 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다고 결정하는 경우, 컴퓨터 시스템은 시각적 피드백을 디스플레이하지 않고, 제1 사용자와의 후속 상호작용을 위해 제1 사용자 인터페이스 객체를 선택한다.
제1 사용자 입력이 미리정의된 선택 제스처를 포함한다는 결정에 따라, 제1 사용자로부터 수신되는 후속 입력에 대한 타깃으로서 제1 사용자 인터페이스 객체를 선택하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 사용자 인터페이스 객체를 선택하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, (예컨대, 제1 사용자 입력의 적어도 일부분을 검출하는 것에 응답하여, 제2 사용자가 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않은 동안 제1 사용자에 의해 제공되는 미리정의된 선택 제스처를 검출하는 것에 응답하여 등) 제1 사용자로부터 수신되는 후속 입력에 대한 타깃으로서 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)를 선택하는 것과 함께, 컴퓨터 시스템은, 3차원 환경의 제1 뷰 내의 제1 위치에 제1 사용자 인터페이스 객체를 유지하면서, 제1 사용자의 손(예컨대, 미리정의된 선택 제스처를 수행한 손 또는 제1 미리정의된 선택 제스처를 수행한 손과는 상이한 제1 사용자의 손, 제1 사용자의 양손 등)의 위치에 대응하는 위치에 제1 사용자 인터페이스 객체의 표현을 디스플레이한다(예컨대, 제1 사용자 인터페이스 객체의 표현 또는 고스트 이미지는 제1 사용자의 손의 표현의 위치에 또는 그 근처에, 제1 사용자의 손의 표현의 손바닥 부분 상에, 기타 등등에 디스플레이됨)(예컨대, 제1 사용자 인터페이스 객체는 그의 원래 위치에 유지되지만, 제1 사용자 인터페이스 객체의 표현과 제1 사용자 사이의 상호작용에 따라 제1 사용자에 의해 "원격으로" 제어될 수 있음). 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자 인터페이스 객체의 복제물, 제1 사용자 인터페이스 객체보다 더 반투명한 제1 사용자 인터페이스 객체의 이미지, (예컨대, 축소된 사용자 인터페이스 요소들, 텍스트 콘텐츠의 제거 등을 갖는) 제1 사용자 인터페이스 객체의 기능들 및/또는 특성들(예컨대, 단순화된 내부 구조, 윤곽 등)의 서브세트를 갖는 제1 사용자 인터페이스 객체의 축소된 버전 등이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체가 제1 사용자에 의해 수행되는 선택 제스처에 응답하여 선택될 때, 제1 사용자 인터페이스 객체의 고스트 이미지가 제1 사용자의 손의 위치에 대응하는 위치에 디스플레이된다(예컨대, 제1 사용자의 손의 표현 위에서, 사용자의 손바닥의 표현 상에서, 기타 등등에서 부유함).
3차원 환경의 제1 뷰 내의 제1 위치에 제1 사용자 인터페이스 객체를 유지하면서, 제1 사용자의 손의 위치에 대응하는 위치에 제1 사용자 인터페이스 객체의 표현을 디스플레이하는 것과 함께, 제1 사용자로부터 수신되는 후속 입력에 대한 타깃으로서 제1 사용자 인터페이스 객체를 선택하는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체가, 이제, 제1 사용자로부터 수신되는 후속 입력에 대한 타깃이라는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 동작이 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 수행된(예컨대, 제1 사용자 인터페이스 객체가 제1 사용자와 상호작용할 준비가 되었다는 것 등을 나타내기 위해, 제1 사용자 인터페이스 객체의 표현이 제1 사용자 인터페이스 객체와 함께 제1 위치 근처에 디스플레이됨, 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)의 표현이 제1 사용자의 손의 표현(예컨대, 도 7b 및 도 7c의 제1 뷰(7015-1) 내의 표현(7202'), 또는 손(7202)의 다른 표현 등)의 위치 근처로 이동함, 제1 사용자 인터페이스 객체가 제1 사용자의 위치를 향해 이동함 등) 후, 컴퓨터 시스템은 제1 사용자 인터페이스 객체에 대한 제2 사용자 입력을 검출한다(예컨대, 제1 사용자 인터페이스 객체의 표현의 위치에 대한 미리정의된 핀치 제스처를 검출함, 제1 사용자 인터페이스 객체의 위치에 대한 미리정의된 핀치 제스처를 검출함, 미리정의된 선택 입력을 검출하는 것과 함께 제1 사용자 인터페이스 객체의 표현의 위치로 지향되는 시선 입력을 검출함, 미리정의된 선택 입력을 검출하는 것과 함께 제1 사용자 인터페이스 객체의 위치로 지향되는 시선 입력을 검출함 등). 제2 사용자 입력을 검출하는 것에 응답하여, 제2 사용자 입력이 미리정의된 선택 제스처를 포함한다는(예컨대, 그라는, 그를 포함한다는, 그로 시작된다는, 그로 종료된다는 등) 결정에 따라, 컴퓨터 시스템은 제1 사용자로부터 수신되는 후속 입력(예컨대, 핀치 제스처가 유지되는 동안의 드래그 제스처, 핀치 제스처가 유지되는 동안의 플릭 제스처, 미리정의된 선택 제스처가 종료된 후의 드래그 제스처 등)에 대한 타깃으로서 제1 사용자 인터페이스 객체를 선택한다.
일부 실시예들에서, 선택 제스처는 동일한 손의 엄지 손가락 상에서의 검지 손가락의 터치 다운을 포함하는 핀치 제스처(선택적으로, 그 후에, 엄지 손가락으로부터의 검지 손가락의 리프팅 오프, 또는 손에 연결된 손목의 플릭, 또는 전체 손의 병진 등이 뒤따름), 동일한 손의 검지 손가락 및 엄지 손가락이 터칭 자세로부터 서로 떨어지는 것을 포함하는 제스처, 핀치 제스처, 핀치 및 드래그 제스처, 핀치 및 플릭 제스처 등이다. 일부 실시예들에서, 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7106), 또는 다른 사용자 인터페이스 객체 등)에 대해 제1 동작을 수행하는 것은, 3차원 환경의 제1 뷰 내의 제1 위치에 제1 사용자 인터페이스 객체를 유지하면서 제1 사용자 인터페이스 객체의 표현을 (예컨대, 제1 사용자 인터페이스 객체가 디스플레이되는 제1 위치와는 상이하고/하거나 제1 사용자 입력을 제공한 제1 사용자의 손의 표현의 위치와는 상이한 제2 위치 등에) 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자 인터페이스 객체의 복제물, 제1 사용자 인터페이스 객체보다 더 반투명한 제1 사용자 인터페이스 객체의 이미지, (예컨대, 축소된 사용자 인터페이스 요소들, 텍스트 콘텐츠의 제거 등을 갖는) 제1 사용자 인터페이스 객체의 기능들 및/또는 특성들(예컨대, 단순화된 내부 구조, 윤곽 등)의 서브세트를 갖는 제1 사용자 인터페이스 객체의 축소된 버전 등이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자 인터페이스 객체로부터 약간 오프셋되어 디스플레이된다(예컨대, 제1 사용자의 손의 위치에 대응하는 위치에서가 아니라, 3차원 환경의 제1 뷰에서 제1 사용자 인터페이스 객체 위, 그 앞 등에서 부유함). 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자의 손의 표현을 향해 이동하지만, 제1 사용자의 손의 표현 외측에 유지된다.
제1 동작이 수행된 후 그리고 제2 사용자 입력이 미리정의된 제스처를 포함한다는 결정에 따라, 제1 사용자로부터 수신되는 후속 입력에 대한 타깃으로서 제1 사용자 인터페이스 객체를 선택하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 사용자 인터페이스 객체를 선택하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7106), 또는 다른 사용자 인터페이스 객체)에 대해 제1 동작을 수행하는 것은, 3차원 환경의 제1 뷰 내의 제1 위치에 제1 사용자 인터페이스 객체를 유지하면서 제1 사용자 인터페이스 객체의 표현(예컨대, 제1 사용자 인터페이스 객체의 복제물, 제1 사용자 인터페이스 객체보다 더 반투명한 제1 사용자 인터페이스 객체의 이미지, (예컨대, 축소된 사용자 인터페이스 요소들, 또는 축소된 텍스트 콘텐츠를 갖는) 제1 사용자 인터페이스 객체의 기능들 및/또는 특성들(예컨대, 단순화된 내부 구조, 또는 윤곽)의 서브세트를 갖는 제1 사용자 인터페이스 객체의 축소된 버전)을 (예컨대, 제1 사용자 인터페이스 객체가 디스플레이되는 제1 위치와는 상이하고/하거나 제1 사용자 입력을 제공한 제1 사용자의 손의 표현의 위치와는 상이한 제2 위치에) 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자 인터페이스 객체로부터 약간 오프셋되어 디스플레이된다(예컨대, 제1 사용자의 손의 위치에 대응하는 위치에서가 아니라, 3차원 환경의 제1 뷰에서 제1 사용자 인터페이스 객체 위, 그 앞 등에서 부유함). 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자의 손의 표현을 향해 이동하지만, 제1 사용자의 손의 표현 외측에 유지된다. 3차원 환경의 제1 뷰 내의 제1 위치에 제1 사용자 인터페이스 객체를 유지하면서 제1 사용자 인터페이스 객체의 표현을 디스플레이하는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 제1 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행하고 있다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7106), 또는 다른 사용자 인터페이스 객체 등)의 표현은 제1 사용자의 손(예컨대, 도 7b 및 도 7c의 손(7202), 또는 다른 손 등)(예컨대, 제1 사용자 입력을 제공한 손, 제1 사용자의 다른 손 등)의 표현으로부터 떨어진 위치에 초기에 디스플레이되고, 컴퓨터 시스템은, 제1 사용자 인터페이스 객체가 제1 사용자에 의해 제공되는 후속 사용자 입력에 의해 선택된다는 결정에 따라, 제1 사용자 인터페이스 객체의 표현을 제1 사용자의 손(예컨대, 제1 사용자 입력을 제공한 손, 제1 사용자의 다른 손 등)의 표현으로부터 떨어진 위치로부터 제1 사용자의 손의 표현의 위치로 이동시킨다(예컨대, 제1 사용자 인터페이스 객체의 표현이 그의 초기 디스플레이 위치로부터 제1 사용자의 손의 표현의 위치로, 사용자의 손바닥의 표현 상으로, 기타 등등으로 날아가는 것을 표시함). 일부 실시예들에서, 컴퓨터 시스템은, 선택 기준들을 충족시키거나 선택 제스처를 포함하는, 제1 사용자 인터페이스 객체에 대한 제2 사용자 입력을 검출하는 것(예컨대, 제1 사용자 인터페이스 객체의 표현에 대한 미리정의된 핀치 제스처를 검출하는 것, 제1 사용자 인터페이스 객체에 대한 미리정의된 핀치 제스처를 검출하는 것, 미리정의된 선택 입력을 검출하는 것과 함께 제1 사용자 인터페이스 객체의 표현으로 지향되는 시선 입력을 검출하는 것, 또는 미리정의된 선택 입력을 검출하는 것과 함께 제1 사용자 인터페이스 객체로 지향되는 시선 입력을 검출하는 것)에 응답하여 제1 사용자 인터페이스 객체의 표현을 이동시킨다. 제1 사용자 인터페이스 객체가 제1 사용자에 의해 제공되는 후속 사용자 입력에 의해 선택된다는 결정에 따라, 제1 사용자 인터페이스 객체의 표현을 제1 사용자의 손의 표현으로부터 떨어진 위치로부터 제1 사용자의 손의 표현의 위치로 이동시키는 것은, 제1 사용자에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체가 제1 사용자에 의해 제공되는 후속 사용자 입력에 의해 선택된다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현을 디스플레이하는 동안(예컨대, 제1 사용자 인터페이스 객체의 표현은 제1 사용자 입력을 검출하는 것(예컨대, 제1 사용자의 손이 3차원 환경 내의 제1 사용자 인터페이스 객체의 위치에 대응하는 위치 근처로 이동하는 것을 검출하는 것)에 응답하여 디스플레이되었음), 컴퓨터 시스템은 제1 사용자의 손(예컨대, 손(7202), 또는 사용자(7102)의 다른 손 등)(예컨대, 제1 사용자 입력을 제공한 손, 제1 사용자 입력을 제공한 손과는 상이한 제1 사용자의 손 등)의 이동을 검출한다. 제1 사용자의 손(예컨대, 제1 사용자 입력을 제공한 손, 제1 사용자 입력을 제공한 손과는 상이한 제1 사용자의 손 등)의 이동을 검출하는 것에 응답하여, 그리고 제1 사용자의 손의 이동이 미리설정된 선택 제스처의 초기 부분을 식별하기 위한 미리설정된 기준들을 충족시킨다는 결정에 따라, 컴퓨터 시스템은 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7016), 또는 다른 사용자 인터페이스 객체 등)의 표현의 외관을 변경한다(예컨대, 선택적으로, 제1 사용자 인터페이스 객체의 표현을 제1 사용자 인터페이스 객체의 외관과 더 유사하게 만들기 위해, 형상, 크기, 색상, 불투명도, 상세사항들의 레벨 등을 변경함 등). 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현의 외관은 제1 사용자의 손의 이동이 선택 제스처의 요구되는 진행에 계속 순응할 때 계속 변경된다. 일부 실시예들에서, 제1 사용자의 손의 이동이 미리설정된 선택 제스처의 초기 부분을 식별하기 위한 미리설정된 기준들을 충족시키지 않는다는 것을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 표현의 외관을 변경하지 않거나, 또는 미리설정된 선택 제스처가 검출되고 있지 않다는 것을 제1 사용자에게 나타내기 위해 상이한 방식으로 외관을 변경하지 않는다. 일부 실시예들에서, 제1 사용자의 손의 이동이 미리설정된 선택 제스처의 요구되는 진행에 더 이상 순응하고 있지 않다는 것을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 표현의 외관을 변경하는 것을 중지하고, 제1 사용자 인터페이스 객체의 외관을 복원하거나, 제1 사용자 인터페이스 객체의 표현을 디스플레이하는 것을 중지한다.
제1 사용자의 손의 이동이 미리설정된 선택 제스처의 초기 부분을 식별하기 위한 미리설정된 기준들을 충족시킨다는 결정에 따라, 제1 사용자 인터페이스 객체의 표현의 외관을 변경하는 것은, 제1 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 미리설정된 기준들을 충족시키는 제1 사용자의 손의 이동을 검출하였다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자의 손(예컨대, 도 7b 및 도 7c의 손(7202), 또는 다른 손 등)의 표현의 위치에 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7106), 또는 다른 사용자 인터페이스 객체 등)의 표현을 디스플레이하는 동안(예컨대, 제1 사용자 인터페이스 객체의 표현이 그의 초기 디스플레이 위치로부터 제1 사용자의 손의 표현의 위치로, 사용자의 손바닥의 표현 상으로, 기타 등등으로 날아가는 것을 표시한 후), 그리고 제1 사용자 인터페이스 객체가 제1 사용자에 의해 선택된다는 결정에 따라, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 표현과 상호작용하는 제3 사용자 입력(예컨대, 제3 입력은, 제1 사용자 입력을 제공한 손, 제1 사용자 인터페이스 객체의 표현을 선택한 손, 제1 사용자 입력을 제공한 손과는 상이한 제1 사용자의 손, 또는 제1 사용자 인터페이스 객체의 표현을 선택한 손과는 상이한 제1 사용자의 손 등에 의해 제공되는 입력임)을 검출한다. 제3 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 제1 사용자 인터페이스 객체의 표현의 이동 및 제1 사용자 인터페이스 객체의 표현의 변화하는 외관 중 적어도 하나를 통해 제3 사용자 입력에 대한 시각적 피드백을 디스플레이하고, 컴퓨터 시스템은 제3 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제2 동작을 수행한다. 일부 실시예들에서, 시각적 피드백은 제1 사용자 인터페이스 객체에 대해 수행될 제2 동작에 대응한다. 일부 실시예들에서, 시각적 피드백은 제1 사용자 인터페이스 객체의 표현의 위치에 대응하는 위치에 있는 제1 사용자의 손의 이동에 따른 제1 사용자 인터페이스 객체의 표현의 직접 조작에 대응한다. 일부 실시예들에서, 제2 동작을 수행하는 것은 제1 사용자 인터페이스 객체 상의 제어부를 활성화하는 것, 제1 사용자 인터페이스 객체를 3차원 공간에서 이동시키는 것, 제1 사용자 인터페이스 객체에 의해 표현되는 미디어 항목의 재생, 제1 사용자 인터페이스 객체에 의해 표현되는 애플리케이션을 개시하는 것, 제1 사용자 인터페이스 객체에 의해 표현되는 다른 사용자와의 통신 세션을 시작하는 것 등을 포함한다.
제1 사용자 인터페이스 객체의 표현과 상호작용하는 제3 사용자 입력을 검출하는 것에 응답하여, 제1 사용자 인터페이스 객체의 표현의 이동 및 제1 사용자 인터페이스 객체의 표현의 변화하는 외관 중 적어도 하나를 통해 제3 사용자 입력에 대한 시각적 피드백을 디스플레이하고, 제3 사용자 입력에 따라 제1 사용자 인터페이스 객체에 대해 제2 동작을 수행하는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 제3 사용자 입력을 검출하였다는 개선된 시각적 피드백, 및/또는 컴퓨터 시스템이 제1 사용자 인터페이스 객체에 대해 제2 동작을 수행하고 있다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 사용자의 손의 이동에 따라 제1 사용자 인터페이스 객체(예컨대, 도 7b 및 도 7c의 사용자 인터페이스 객체(7106), 또는 다른 사용자 인터페이스 객체 등)의 표현의 위치를 업데이트하여서, (예컨대, 제1 사용자 인터페이스가 3차원 환경의 제1 뷰 내의 제1 위치에 유지되는 동안) 제1 사용자 인터페이스 객체의 표현이 제1 사용자의 손(예컨대, 도 7b 및 도 7c의 손(7202), 또는 다른 손 등)의 표현의 업데이트된 위치와 기존의 공간적 관계를 유지하게 한다(예컨대, 그에 고정되어 유지되게 함, 그를 따르게 함 등). 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은, 제1 사용자가 제1 사용자 인터페이스 객체의 표현과 실제로 상호작용하는지 여부에 관계없이, 제1 사용자의 손의 표현에 있는 또는 그 근처에 있는 위치에 디스플레이된 상태로 유지된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자의 손의 손바닥의 위치에 대응하는 위치에 디스플레이되고, 손의 표현이 3차원 환경의 현재 디스플레이된 뷰 내에 있지 않을 때, 또는 제1 사용자의 손이 주먹 쥐어질 때, 디스플레이되는 것이 중지된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 표현은 제1 사용자의 손의 표현, 또는 손의 손바닥의 표현이 3차원 환경의 현재 디스플레이된 뷰에서 다시 보일 때 재디스플레이된다. 제1 사용자는 (예컨대, 제2 사용자를 향해, 또는 3차원 환경의 공유 부분(예컨대, 벽 또는 테이블 상판의 표현 등)을 향해 던지기 제스처를 제공함으로써 등) 제1 사용자가 제1 사용자 인터페이스 객체의 제어를 구체적으로 포기하지 않는 한 제1 사용자 인터페이스 객체의 표현과 상호작용할 수 있다. 일부 실시예들에서, 제1 사용자는 제1 사용자가 그/그녀의 손을 주먹 쥘 때 제1 사용자 인터페이스 객체의 제어를 포기하여서, 제1 사용자 인터페이스 객체의 표현이 3차원 환경의 현재 디스플레이된 뷰 내에 더 이상 디스플레이되지 않게 한다(예컨대, 제1 사용자는 제2 사용자가 제1 사용자 인터페이스 객체와 상호작용하고 있지 않은 동안 다른 선택 입력으로 다시 시작함으로써 제어를 회복하여야 함).
제1 사용자의 손의 이동에 따라 제1 사용자 인터페이스 객체의 표현의 위치를 업데이트하여서, 제1 사용자 인터페이스 객체의 표현이 제1 사용자의 손의 표현의 업데이트된 위치와 기존의 공간적 관계를 유지하게 하는 것은, 사용자들에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체가 제1 사용자에 의해 제공되는 후속 사용자 입력에 의해 선택된다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 8에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(9000, 10000, 11000, 12000))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 8과 관련하여 전술된 방법(8000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(8000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(9000, 10000, 11000, 12000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 9a 및 도 9b는 일부 실시예들에 따른, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대한 물리적 객체의 표현을 상이한 방식들로 디스플레이하는 방법의 흐름도이며, 여기에서 시점은 제1 물리적 환경에서의 사용자의 이동에 따라 이동하고, 물리적 객체의 표현은 제1 물리적 환경과는 상이한 제2 물리적 환경에서의 물리적 객체의 이동에 따라 이동하며, 표현을 디스플레이하는 방식의 변화는 미리설정된 기준들을 충족시키는 시점과 물리적 객체의 표현 사이의 공간적 관계에 응답하여 트리거된다.
일부 실시예들에서, 본 방법(9000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(9000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(9000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(9000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들 등)과 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및/또는 하나 이상의 입력 디바이스들과 별개인 메모리 및 하나 이상의 프로세서들을 포함하는 컴퓨팅 컴포넌트를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
본 방법(9000)에서, 제1 사용자(예컨대, 도 7d 내지 도 7f의 사용자(7002), 또는 다른 사용자)가 제1 물리적 환경(예컨대, 도 7d 내지 도 7f의 장면(105-a), 또는 다른 물리적 환경 등) 내의 제1 위치에 있는 동안, 컴퓨터 시스템은 제1 물리적 환경 내의 제1 위치와 연관되는 제1 시점(예컨대, 제1 시점은 제1 사용자가 물리적 환경 내의 제1 위치에 있을 때 사용자의 눈들 또는 얼굴의 위치에 대응하는 가상 위치임, 제1 시점은 3차원 환경을 향한 제1 관찰 관점에 대응함 등)에 대응하는 3차원 환경의 제1 뷰(예컨대, 도 7d의 뷰(7304-a))(예컨대, 가상 3차원 환경, 증강 현실 환경, 3차원 혼합 현실 환경 등)를 디스플레이하며, 여기에서 3차원 환경의 제1 뷰는 제1 물리적 환경과는 상이한 제2 물리적 환경(예컨대, 도 7d 내지 도 7f의 장면(105-b), 또는 다른 물리적 환경 등) 내의 제1 객체(예컨대, 제2 사용자, 이동하는 물리적 객체(예컨대, 동물, 비행 드론, 게임에서의 상대 등) 등)를 표현하는 제1 사용자 인터페이스 객체(예컨대, 도 7d 내지 도 7f의 제2 사용자(7102)의 표현(7102'-a), 또는 다른 물리적 객체의 다른 표현 등)(예컨대, 제1 사용자와는 상이한 제2 사용자에 대한 아바타, 이동하는 물리적 객체(예컨대, 동물, 차량, 비행 드론, 멀티플레이어 게임에서의 상대 등)의 가상 표현)를 포함하고(예컨대, 제1 물리적 환경 및 제2 물리적 환경은 2개의 상이한 방들, 2개의 상이한 지리적 위치들 등에 있으며, 여기에서 제1 사용자 및 제2 사용자는 제1 물리적 환경 및 제2 물리적 환경 내에 각각 위치될 때 서로의 신체적 도달범위 밖에 있음(예컨대, 물리적 충돌의 위험이 없음)), 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치는 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응한다(예컨대, 제2 물리적 환경에서의 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등)의 이동 거리 및 이동 방향은 제1 미리설정된 객체 매핑 관계(예컨대, 선형 매핑 관계, 및/또는 동일한 기본 방향(cardinal direction)들을 갖는 동일한 유형의 좌표계에서 등)에 따라 3차원 환경에서의 제1 사용자 인터페이스 객체의 이동 거리 및 이동 방향에 각각 매핑됨, 3차원 환경의 현재 디스플레이된 뷰의 시점(예컨대, 제1 사용자의 시점, 3차원 환경 내의 제1 사용자의 가상 위치 등)에 대응하는 각자의 위치의 이동 거리 및 이동 방향은 제1 미리설정된 사용자 매핑 관계(예컨대, 선형 매핑 관계, 및/또는 동일한 기본 방향들을 갖는 동일한 유형의 좌표계에서 등)에 따라 제1 물리적 환경에서의 제1 사용자의 이동 거리 및 이동 방향에 각각 매핑됨 등)(9002). 일부 실시예들에서, 제1 방식으로의 대응은 실제 세계에서의 모션 및 위치와 3차원 환경에서의 모션 및 위치들 사이의 디폴트 대응(예컨대, 현실 모방 대응, 제1 사용자 전방에서의 제1 사용자의 다른 부분으로의 제1 사용자의 한 부분의 이동에 또한 적용되는 대응 등)이다. 일부 실시예들에서, 3차원 환경은 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유되는 가상 환경 또는 증강 현실 환경이며, 여기에서 제1 사용자 및 제2 사용자는 3차원 환경에 대한 2개의 상이한 시점들로부터 3차원 환경의 동일한 부분을 볼 수 있다.
일부 실시예들에서, 3차원 환경은 공유 환경이 아니다. 일부 실시예들에서, 3차원 환경은 가상 3차원 환경이다. 일부 실시예들에서, 3차원 환경은, 제1 물리적 환경의 표현(예컨대, 제1 물리적 환경의 카메라 뷰 또는 투명 패스 스루 뷰 등) 및 선택적으로 (예컨대, 제2 물리적 환경의 표현을 포함하지 않고서) 제2 물리적 환경 내의 물리적 객체(예컨대, 제2 사용자, 동물, 비행 드론 등)의 표현을 포함하는 증강 현실 환경이다. 일부 실시예들에서, 3차원 환경은 (예컨대, 제1 사용자 인터페이스 객체의 위치가 제1 디스플레이 생성 컴포넌트를 통해 표시된 증강 현실 환경에서 제2 물리적 환경의 표현에 대해 계산적으로 또는 디지털 방식으로 수정될 수 있도록) 제1 객체의 카메라 뷰 또는 기록된 이미지가 제거되고 제1 사용자 인터페이스 객체에 의해 대체된 제2 물리적 환경의 표현(예컨대, 제2 물리적 환경의 카메라 뷰 또는 투명 패스 스루 뷰, 제2 물리적 환경에서 캡처된 비디오 기록 등)을 포함하는 증강 현실 뷰이다. 일부 실시예들에서, 제1 물리적 환경에서의 제1 사용자 전체의 이동(예컨대, 제1 물리적 환경에서 전체 사람을 이동시키지 않고서 단순히 제1 사용자의 머리 또는 팔들을 이동시키는 것 대신에, 제1 물리적 환경에서의 걷기, 달리기, 자전거 타기, 위로 점프하기, 엘리베이터 타기 등)은 3차원 환경의 현재 디스플레이된 뷰의 시점의 대응하는 변화(예컨대, 대응하는 방향 및/또는 대응하는 거리 등으로의 3차원 환경에 대한 시점의 병진)를 야기하고; 제2 물리적 환경에서의 제1 객체(예컨대, 제2 사용자 전체, 동물, 비행 드론 등)의 이동(예컨대, 걷기, 달리기, 자전거 타기, 위로 점프하기, 엘리베이터 타기, 날기 등)은 3차원 환경에서의 대응하는 방향 및/또는 대응하는 거리 등으로의 제1 사용자 인터페이스 객체의 이동을 야기한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체의 이동 및/또는 위치가 제1 방식으로(예컨대, 제1 물리적 환경에서의 제1 사용자의 현재 위치 및/또는 이동 이력에 관계없이) 제2 물리적 환경에서의 제1 객체의 이동 및/또는 위치에 기초하여 결정될 때, 제1 사용자 인터페이스 객체는 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰의 시점(예컨대, 제1 물리적 환경에서의 제1 사용자의 현재 위치 및 이동 이력에 따라 결정된 시점)의 임계 거리 내에 있을 3차원 환경 내의 위치에 도달할 수 있다. 일부 실시예들에서, 제1 사용자 인터페이스 객체가 3차원 환경의 현재 디스플레이된 뷰의 시점의 가상 위치의 임계 거리 내에 디스플레이되게 하는 것은 제1 사용자 인터페이스 객체가 매우 크게, 부자연스럽게, 그리고/또는 3차원 환경의 뷰어(예컨대, 제1 사용자)의 개인 공간에 침입하는 것으로 보이는 결과를 초래할 것이다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰는 제1 사용자의 신체의 가상 표현을 가시적으로 포함하지 않는다(예컨대, 3차원 환경에 대한 제1 사용자의 가상 위치는 현재 디스플레이된 뷰 자체 및 대응하는 시점에 의해 반영됨). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 표시된 3차원 환경의 현재 디스플레이된 뷰는 제1 사용자의 신체의 일부분의 가상 표현을 가시적으로 포함한다(예컨대, 뷰는 제1 사용자의 윤곽, 제1 사용자의 손들 또는 제1 사용자의 눈들 앞의 발들의 표현을 뷰의 하단에 포함함, 뷰는 3차원 환경 내의 위치가 제1 방식으로 제1 물리적 환경에서의 제1 사용자의 이동 및/또는 현재 위치에 기초하여 결정되고 디스플레이에 대해 정지 상태로 유지되는(예컨대, 3차원 환경의 현재 디스플레이된 뷰의 시점과 고정된 공간적 관계를 가짐) 제1 사용자의 아바타를 포함함 등).
본 방법(9000)에서, 컴퓨터 시스템은 제1 물리적 환경에서의 제1 사용자(예컨대, 도 7d 내지 도 7f의 제1 사용자(7002))의 이동(예컨대, 제1 물리적 환경에서의, 제1 방향(예컨대, 전방, 후방, 좌향, 우향, 상향, 하향, 2시 방향, 10시 방향 등)으로의, 제1 거리만큼의, 그리고/또는 제1 속도로의, 기타 등등으로의, 제1 위치로부터 제2 위치로의 이동) 및 제2 물리적 환경에서의 제1 객체(예컨대, 도 7d 내지 도 7f의 제2 사용자(7102), 또는 다른 물리적 객체 등)의 이동(예컨대, 제2 방향(예컨대, 전방, 배경, 좌향, 우향, 상향, 하향, 3시 방향, 8시 방향 등)으로의, 제2 거리만큼의, 그리고/또는 제2 속도로의, 기타 등등으로의, 제3 위치로부터 제4 위치로의 이동) 중 적어도 하나를(예컨대, 그들 중 하나만을, 제1 사용자의 것만을, 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등)의 것만을, 또는 그들 둘 모두를 등) 검출한다(9004). 일부 실시예들에서, 제1 사용자의 이동을 검출하는 것은 제1 사용자 및 제1 디스플레이 생성 컴포넌트와 함께 병치된 센서들을 사용하여 직접 수행되고, 선택적으로, 제2 물리적 환경에서의 제1 객체의 이동을 검출하는 것은 간접적으로(예컨대, 제2 물리적 환경에서 제1 객체와 함께 병치된 센서들을 통해, 제2 물리적 환경에서 사용되는(예컨대, 제2 사용자, 또는 제1 사용자 및 제2 사용자와는 상이한 다른 사용자 등에 의해 사용되는) 컴퓨터 시스템으로부터 송신된 제1 사용자 인터페이스 객체의 업데이트된 위치의 수신을 통해, 여기에서 컴퓨터 시스템은 제1 방식에 따라(예컨대, 미리설정된 제1 현실 모방 매핑 관계에 따라) 제1 사용자 인터페이스 객체의 위치를 업데이트하였음 등) 수행된다.
본 방법(9000)에서, 제1 물리적 환경에서의 제1 사용자의 이동 및 제2 물리적 환경에서의 제1 객체의 이동 중 적어도 하나를 검출하는 것에 응답하여(예컨대, 제1 사용자의 이동만을 검출하는 것에 응답하여, 제1 객체의 이동만을 검출하는 것에 응답하여, 사용자 또는 객체의 이동 중 어느 하나를 검출하는 것에 응답하여, 사용자의 이동 및 객체의 이동 둘 모두를 검출하는 것에 응답하여 등)(9006), 컴퓨터 시스템은 제2 시점에 대응하는 3차원 환경의 제2 뷰(예컨대, 도 7e의 뷰(7304-a'), 도 7f의 뷰(7304-a") 등)를 디스플레이하고(예컨대, 제2 시점은 제1 사용자가 제1 물리적 환경에서 이동하지 않은 경우 제1 시점과 동일함, 제2 시점은 제1 사용자가 제1 물리적 환경에서 이동한 경우 제1 시점과는 상이함(예컨대, 물리적 환경에서의 제1 사용자의 이동은 3차원 환경 내에서의 제1 사용자의 이동에 매핑되며, 이는 제1 사용자에게 디스플레이되는 3차원 환경 제1 사용자의 뷰의 시점의 시프트를 야기함) 등)(9008); 컴퓨터 시스템은 제1 사용자 인터페이스 객체(예컨대, 도 7e 및 도 7f의 표현(7102'-a))를 3차원 환경의 제2 뷰(예컨대, 도 7e의 뷰(7304-a'), 도 7f의 뷰(7304-a") 등) 내에 디스플레이한다(9010). 제1 사용자 인터페이스 객체를 디스플레이하는 것은, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치(예컨대, 현실 모방 방식에 따라, 미리설정된 제1 매핑 관계 등으로 결정됨)(예컨대, 제1 사용자 인터페이스 객체가 3차원 환경에서 실질적으로 정지된 상태로 있었다면 3차원 환경 내의 제1 사용자 인터페이스 객체의 동일한 이전 위치; 제1 사용자 인터페이스 객체가 3차원 환경에서 이동하고 있었다면 3차원 환경 내의 상이한 위치 등)가 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치(예컨대, 각자의 위치는 3차원 환경 내의 제1 사용자의 가상 위치(예컨대, 보이는 위치, 또는 3차원 환경의 현재 디스플레이된 뷰 내의 보이지 않는 위치)임, 각자의 위치는 3차원 환경 내의 제1 사용자 또는 그/그녀의 가상 표현의 머리의 가상 위치임, 각자의 위치는 3차원 환경 내의 제1 사용자 또는 그/그녀의 가상 표현의 가상 위치를 둘러싸는 경계 표면 상의 하나 이상의 위치들 중 하나임 등)로부터 임계 거리 초과라는(예컨대, 팔의 길이 초과라는, 3차원 환경에서의 제1 사용자에 대한 개인 공간의 미리설정된 반경 초과라는, 3차원 환경에서 제1 사용자의 가상 위치를 둘러싸는 미리설정된 경계 표면(예컨대, 제1 사용자의 표현의 가상 표면, 제1 사용자의 가상 위치를 둘러싸는 경계 박스) 밖에 있다는 등) 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치인, 3차원 환경의 제2 뷰 내의 제1 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것(9012)을 포함한다. 이는, 예를 들어, 제2 사용자의 표현(7102'-a)의 디스플레이 위치가 제1 방식에 따라 계산된 표현(7102'-a)의 각자의 위치와 동일한, 도 7e에 예시된 시나리오이다. 예를 들어, 일부 실시예들에서, 제1 디스플레이 위치는 제1 방식으로(예컨대, 제1 물리적 환경에서의 제1 사용자의 현재 위치 및/또는 이동 이력과 독립적으로, 제1 미리설정된 매핑 관계에 따라 등) 제2 물리적 환경에서의 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등)의 현재 위치 및/또는 이동 이력에 기초하여 결정되고; 제1 디스플레이 위치는 제1 사용자 인터페이스 객체가 너무 크게, 부자연스럽게, 그리고/또는 제1 사용자의 개인 공간에 침입하는 것 등으로 보이도록 3차원 환경의 현재 디스플레이된 뷰의 시점에 너무 가까워지지 않았을 때(또는 제1 사용자의 가상 위치에 너무 가까워지지 않았을 때 및/또는 3차원 환경 내의 제1 사용자의 가상 표현의 위치에 너무 가까워지지 않았을 때 등)의 제1 사용자 인터페이스 객체의 위치이다.
제1 사용자 인터페이스 객체를 디스플레이하는 것은, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 미만이라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는(예컨대, 옆으로 시프트됨, 각자의 방향으로(예컨대, 옆으로, 상향으로, 하향으로 등) 임계 거리를 초과하여 시프트됨, 3차원 환경의 현재 디스플레이된 뷰에 대해 측방향(예컨대, 좌측, 우측 등)으로 임계 거리를 초과하여 시프트됨, 3차원 환경의 현재 디스플레이된 뷰에 대해 상향 방향으로 임계 거리를 초과하여 시프트됨 등), 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치(예컨대, 제2 디스플레이 위치는 제2 물리적 환경에서의 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등)의 현재 위치 및/또는 이동 이력뿐만 아니라 제1 물리적 환경에서의 제1 사용자의 현재 위치 및/또는 이동 이력에 기초하여 결정됨; 제2 디스플레이 위치는 제1 방식과는 상이한 제2 방식에 따라 결정됨; 제2 디스플레이 위치는 제1 사용자 인터페이스 객체가 3차원 환경의 현재 디스플레이된 뷰의 시점에 너무 가까워졌을 때 제1 사용자 인터페이스 객체의 디폴트 위치로부터 시프트되어서, 제1 사용자 인터페이스 객체가 너무 크게, 부자연스럽게, 그리고/또는 제1 사용자의 개인 공간에 침입하는 것으로 보이지 않게 함 등)에 제1 사용자 인터페이스 객체를 디스플레이하는 것(9014)을 추가로 포함한다. 이는, 예를 들어, 제2 사용자의 표현(7102'-a)의 디스플레이 위치가 제1 방식에 따라 계산된 표현(7102'-a)의 각자의 위치로부터 오프셋되고 제2 방식에 따라 계산되는, 도 7f에 예시된 시나리오이다.
일부 실시예들에서, 제1 방식과는 상이한 제2 방식에 따라 제1 사용자 인터페이스 객체의 위치를 결정하기 위해, 제2 물리적 환경에서의 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등)의 이동 거리 및 이동 방향은 제2 미리설정된 객체 매핑 관계(예컨대, 비선형 매핑 관계, 3차원 환경의 현재 디스플레이된 뷰의 시점(예컨대, 제1 사용자의 시점, 3차원 환경 내의 제1 사용자의 가상 위치 등)에 대응하는 각자의 위치의 현재 위치, 이동 거리 및/또는 이동 방향 및/또는 3차원 환경에서의 제1 사용자 인터페이스 객체의 현재 위치, 이동 거리 및/또는 이동 방향에 기초하는 추가 선형 또는 비선형 오프셋 양을 갖는 선형 매핑 관계)에 따라 3차원 환경에서의 제1 사용자 인터페이스 객체의 이동 거리 및 이동 방향에 각각 매핑된다. 일부 실시예들에서, 제2 방식으로의 대응은, 제1 사용자 인터페이스 객체가 3차원 환경의 제1 사용자의 뷰에서 너무 가깝게 보이게 하는 것을 회피하기 위한 목적으로, 실제 세계에서의 모션 및 위치와 3차원 환경에서의 모션 및 위치들 사이의 디폴트 대응(예컨대, 현실 모방 대응)에 대한 수정을 포함한다(예컨대, 시각적 충돌 회피 대응). 일부 실시예들에서, 제1 사용자 인터페이스 객체의 제2 디스플레이 위치가 디폴트 디스플레이 위치(예컨대, 현실 모방 대응, 제1 미리설정된 매핑 관계 등에 따라 결정된 위치)로부터 시프트되거나 오프셋되는 방향 및 양은 제1 객체의 크기 및/또는 형상 및/또는 제1 사용자의 크기 및/또는 형상, 제1 사용자와 연관된 경계 박스의 크기 및/또는 형상, 제1 객체의 경계 박스와 연관된 크기 및/또는 형상, 및/또는 3차원 환경에서의 제1 사용자의 가상 표현의 크기 및/또는 형상 등에 따라 결정된다. 제1 예에서, 일부 실시예들에서, 제1 객체는 제2 사용자이고, (제1, 현실 모방 매핑 관계에 따라 계산된 바와 같은) 3차원 환경의 현재 디스플레이된 뷰 내의 제2 사용자의 가상 표현의 각자의 위치가 현재 디스플레이된 뷰에 대응하는 시점의 임계 거리를 넘도록 제1 사용자 및/또는 제2 사용자가 그들의 각자의 물리적 환경들 내에서 걸을 때, 제2 사용자의 가상 표현은 (예컨대, 제1 물리적 환경에서의 제1 사용자의 현재 위치 및 이동 이력의 고려 없이 제2 물리적 환경에서의 제2 사용자의 현재 위치 및 이동 이력에 기초하여) 3차원 환경의 현재 디스플레이된 뷰에서 제1, 현실 모방 매핑 관계에 따라 계산된 각자의 위치에 디스플레이된다. 그러나, 제1, 현실 모방 매핑 관계에 따라 계산된 바와 같은 3차원 환경의 현재 디스플레이된 뷰 내의 제2 사용자의 가상 표현의 각자의 위치가 현재 디스플레이된 뷰에 대응하는 시점의 임계 거리 내에 속하도록 제1 사용자 및/또는 제2 사용자가 그들의 각자의 물리적 환경 내에서 걸을 때, 제2 사용자의 가상 표현의 디스플레이된 위치는, 제2 사용자의 가상 표현이 제1 사용자와 부딪치고/부딪치거나 제1 사용자의 관찰 관점으로부터 제1 사용자의 뷰를 압도하는 것으로 보이지 않도록 그리고/또는 3차원 환경에서 제1 사용자의 가상 표현(예컨대, 보이는 가상 표현, 또는 3차원 환경의 현재 디스플레이된 뷰에서 보이지 않는 가상 표현 등)과 중첩되지 않도록 각자의 위치(예컨대, 제1 물리적 환경에서의 제1 사용자의 현재 위치 및 이동 이력의 고려 없이 제2 물리적 환경에서의 제2 사용자의 현재 위치 및 이동 이력에 기초하여 계산되는 위치)로부터 시프트된다. 일부 실시예들에서, 제2 사용자의 표현의 디스플레이된 위치가 3차원 환경의 뷰에서 시프트되더라도, 3차원 환경 내의 제2 사용자의 표현의 각자의 위치는 시프트되지 않는다(그는, 단지, 제1 사용자에게 표시된 3차원 환경의 디스플레이된 뷰에서 시각적으로 반영되지 않음). 위의 특징부들은, 일부 실시예들에 따르면, 예를 들어 도 7d 내지 도 7f에 예시되어 있다. 도 7e에서, 예를 들어, 제1 사용자(7002)에게 표시된 뷰(7304-a')에서, 제2 사용자(7102)의 표현(7102'-a)의 디스플레이 위치는 제2 사용자(7102)의 제2 물리적 환경 내의 위치들과 3차원 환경 내의 위치들 사이의 제1 유형의 대응에 따라 계산된 표현(7102'-a)의 각자의 위치와 동일하다. 이는, 제2 사용자(7102)의 표현(7102'-a)이 제1 사용자(7002)에게 표시된 제1 뷰(7304-a)(도 7e의 좌측 뷰)의 시점의 임계 거리 내에 있지 않은 통상적인 시나리오이다. 도 7f에서, 예를 들어, 제1 사용자(7002)에게 표시된 뷰(7034-a")에서, 표현(7102'-a)의 디스플레이 위치는 제1 유형의 대응에 따라 계산된 표현(7102'-a)의 각자의 위치로부터 오프셋되는데, 그 이유는 각자의 위치가 제2 사용자의 표현(7102'-a)을 제1 사용자(7002)에게 표시된 제1 뷰(7304-a")의 시점에 너무 가깝게 배치할 것이기 때문이다. 따라서, 도 7f에 도시된 시나리오에서, 제2 사용자의 표현(7102'-a)의 각자의 위치가 실제로는 제1 뷰(7304-a")에서 일직선으로 표현(7002'-a) 앞에 있더라도, 표현(7102'-a)은 제1 사용자(7002)의 표현(7002'-a)의 우측에 있는 것으로 표시된다.
일부 실시예들에서, 제1 물리적 환경(예컨대, 도 7d 내지 도 7f의 장면(105-a), 또는 다른 장면 등)에서의 제1 사용자(예컨대, 도 7d 내지 도 7f의 사용자(7002), 또는 다른 사용자 등)의 이동 및 제2 물리적 환경(예컨대, 도 7d 내지 도 7f의 장면(105-b), 또는 다른 장면 등)에서의 제1 객체(예컨대, 도 7d 내지 도 7f의 사용자(7102), 또는 다른 사람 또는 객체 등)의 이동 중 적어도 하나를 검출하는 것은 제1 객체(예컨대, 도 7d 내지 도 7f의 사용자(7102), 또는 다른 사람 또는 객체 등)가 제2 물리적 환경에서 정지 상태로 유지되는 동안 제1 물리적 환경에서의 제1 사용자(예컨대, 도 7d 내지 도 7f의 사용자(7002), 또는 다른 사용자 등)의 제1 이동을 검출하는 것을 포함한다. 제1 물리적 환경에서의 제1 사용자의 제1 이동 동안(예컨대, 3차원 환경에서의 가상 객체 또는 고정된 제2 사용자의 표현을 향한 시점의 이동을 야기하는 제1 사용자 전체의 이동 동안), 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치(예컨대, 제1 사용자의 제1 이동 동안 제2 물리적 환경 내의 제1 객체의 고정된 위치에 대응하는 3차원 환경 내의 고정된 위치)가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는(예컨대, 제2 사용자 또는 가상 객체의 표현이 3차원 환경에서 제1 사용자의 시점 또는 가상 위치의 임계 범위 밖에 있다는) 결정에 따라, 제1 사용자 인터페이스 객체는 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치에 디스플레이된다(예컨대, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 3차원 위치가 변경되지 않는 동안, 제1 사용자 인터페이스 객체의 외관 및 위치는 변화하는 시점으로 인해 제1 사용자에게 시각적으로 달라질 수 있음(예컨대, 상이한 크기들로 또는 제1 사용자의 시야의 상이한 부분들에 나타남)). 제1 물리적 환경에서의 제1 사용자의 제1 이동 동안(예컨대, 3차원 환경에서의 가상 객체 또는 고정된 제2 사용자의 표현을 향한 시점의 이동을 야기하는 제1 사용자 전체의 이동 동안), 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치(예컨대, 제1 사용자의 제1 이동 동안 제2 물리적 환경 내의 제1 객체의 고정된 위치에 대응하는 3차원 환경 내의 고정된 위치)가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 이하라는(예컨대, 그와 동일하다는, 그 미만이라는 등)(예컨대, 제2 사용자 또는 가상 객체의 표현이, 달리 멀리 시프트되지 않는 경우, 3차원 환경에서 제1 사용자의 시점 또는 가상 위치의 임계 범위 내에 있을 것이라는) 결정에 따라, 제1 사용자 인터페이스 객체는 제1 객체가 제2 물리적 환경에서 정지 상태로 유지되는 동안 3차원 환경 내의 조정된 위치(예컨대, 현실 모방 매핑 관계에 기초하여 결정되는 각자의 위치로부터 오프셋되는 위치, 3차원 환경의 현재 디스플레이된 뷰의 시점 또는 제1 사용자의 가상 표현으로부터 임계 거리 밖에 있는 위치 등)에 디스플레이되며, 여기에서 3차원 환경 내의 조정된 위치는 제1 방식과는 상이한 제2 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응한다. 예를 들어, 일부 실시예들에서, 제1 객체가 제2 물리적 환경에서 정지 상태로 유지되더라도, 제1 사용자 인터페이스 객체는 제1 사용자의 이동(예컨대, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치를 향한 제1 사용자의 시점 또는 가상 표현의 이동에 대응하는 제1 물리적 환경에서의 이동)에 응답하여 3차원 환경의 현재 디스플레이된 뷰에서 자율 이동을 하는 것으로 보인다. 더 구체적인 예에서, 제1 사용자가 3차원 환경에서의 제2 사용자 또는 가상 객체의 표현을 향한 제1 사용자의 가상 표현의 이동에 대응하는 제1 물리적 환경에서의 이동을 할 때, 제1 사용자의 가상 표현이 제2 사용자 또는 가상 객체의 표현의 임계 거리 내에 도달하는 경우, 제2 사용자 또는 가상 객체가 제2 물리적 환경에서 정지 상태로 유지되더라도, 제2 사용자 또는 가상 객체의 표현은 제1 사용자의 가상 표현과 부딪치는 것을 회피하기 위해 제1 사용자의 가상 표현으로부터 자동적으로 비키어 이동한다. 제2 사용자 및 가상 객체의 표현은, 충돌 회피 오프셋을 트리거하기 위한 조건이 더 이상 충족되지 않은 후, 디폴트 현실 모방 매핑 관계를 사용하여 계산된 그들의 디폴트 위치로 복원된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제1 사용자와 가상 전화 회의 중인 제2 사용자를 표현하는 아바타이고; 제1 사용자가 제2 사용자의 아바타를 향한 3차원 환경에서의 이동에 대응하는 방향으로 걸어갈 때, 제2 사용자의 아바타는 아바타가 제1 사용자의 가상 위치에 너무 가까워짐에 따라 비키어 이동한다. 이는 제2 사용자가 그/그녀 자신의 환경에서 이동하지 않은 경우에도 수행된다.
제1 객체가 제2 물리적 환경에서 정지 상태로 유지되는 동안 제1 물리적 환경에서의 제1 사용자의 제1 이동을 검출하고, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치에 제1 사용자 인터페이스 객체를 디스플레이하며, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 이하라는 결정에 따라, 제1 객체가 제2 물리적 환경에서 정지 상태로 유지되는 동안, 제1 방식과는 상이한 제2 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 조정된 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것은, 추가 사용자 입력(예컨대, 제1 사용자 인터페이스 객체의 위치를 조정하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 위치에 제1 사용자 인터페이스 객체를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 환경(예컨대, 도 7d 내지 도 7f의 장면(105-a), 또는 다른 장면 등)에서의 제1 사용자(예컨대, 도 7d 내지 도 7f의 사용자(7002), 또는 다른 사용자 등)의 이동 및 제2 물리적 환경(예컨대, 장면(105-b), 또는 다른 장면 등)에서의 제1 객체(예컨대, 도 7d 내지 도 7f의 사용자(7102), 또는 다른 사람 또는 객체 등)의 이동 중 적어도 하나를 검출하는 것은 제1 사용자가 제1 물리적 환경에서 정지 상태로 유지되는 동안 제2 물리적 환경에서의 제1 객체의 제2 이동을 검출하는 것을 포함한다. 제2 물리적 환경에서의 제1 객체의 제2 이동 동안(예컨대, 3차원 환경에서의 제1 사용자 인터페이스 객체의 이동을 야기하는 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등) 전체의 이동 동안), 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치(예컨대, 제1 객체의 제2 이동 동안 제2 물리적 환경 내의 제1 객체의 새로운 위치에 대응하는 3차원 환경 내의 새로운 위치)가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는(예컨대, 제2 사용자 또는 가상 객체의 표현이 3차원 환경에서 제1 사용자의 시점 또는 가상 위치의 임계 범위 밖에 있다는) 결정에 따라, 제1 사용자 인터페이스 객체는 (예컨대, 3차원 환경의 현재 디스플레이된 뷰의 시점이 정지 상태로 유지되는 동안) 3차원 환경 내의 업데이트된 위치(예컨대, 현실 모방 매핑 관계에 기초하여 결정되는 각자의 위치인 위치, 3차원 환경의 현재 디스플레이된 뷰의 시점 또는 제1 사용자의 가상 표현으로부터 임계 거리 밖에 있는 위치 등)에 디스플레이되며(예컨대, 제1 사용자 인터페이스 객체는 그로 이동하는 것으로 표시됨), 여기에서 3차원 환경 내의 업데이트된 위치는 제1 방식으로 제2 이동의 결과로서 제2 물리적 환경 내의 제1 객체의 업데이트된 위치에 대응한다(예컨대, 현재 디스플레이된 뷰의 시점이 유지되는 동안, 제1 사용자 인터페이스 객체의 외관 및 디스플레이된 위치는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 3차원 위치의 변화로 인해 변경됨). 제2 물리적 환경에서의 제1 객체의 제2 이동 동안(예컨대, 3차원 환경에서의 제1 사용자 인터페이스 객체의 이동을 야기하는 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등) 전체의 이동 동안), 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치(예컨대, 제1 객체의 제2 이동 동안 제2 물리적 환경 내의 제1 객체의 새로운 위치에 대응하는 3차원 환경 내의 새로운 위치)가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 이하라는(예컨대, 그와 동일하다는, 그 미만이라는 등)(예컨대, 제2 사용자 또는 가상 객체의 표현이, 달리 멀리 시프트되지 않는 경우, 3차원 환경에서 제1 사용자의 시점 또는 가상 위치의 임계 범위 내에 있을 것이라는) 결정에 따라, 제1 사용자 인터페이스 객체는 제1 객체가 제2 물리적 환경에서 정지 상태로 유지되는 동안 3차원 환경 내의 조정된 업데이트된 위치(예컨대, 현실 모방 매핑 관계에 기초하여 결정되는 각자의 위치로부터 오프셋되는 위치, 3차원 환경의 현재 디스플레이된 뷰의 시점 또는 제1 사용자의 가상 표현으로부터 임계 거리 밖에 있는 위치 등)에 디스플레이되며(예컨대, 제1 사용자 인터페이스 객체는 그로 이동하는 것으로 표시됨), 여기에서 3차원 환경 내의 조정된 업데이트된 위치는 제1 방식과는 상이한 제2 방식으로 제2 물리적 환경 내의 제1 객체의 업데이트된 위치에 대응한다. 예를 들어, 일부 실시예들에서, 제2 사용자 또는 가상 객체가 3차원 환경에서의 제1 사용자의 가상 위치 또는 현재 디스플레이된 뷰의 시점을 향한 이동에 대응하는 제2 물리적 환경에서의 방향으로 이동할 때, 제1 사용자 인터페이스 객체는, 제2 사용자 또는 가상 객체의 표현이 3차원 환경에서 제1 사용자의 가상 위치 또는 시점의 임계 거리를 넘으려고 할 때 제1 사용자 인터페이스 객체가 제1 사용자의 가상 위치 또는 시점에 너무 가까워지는 것을 방지하고/하거나 그로부터 제1 사용자 인터페이스 객체를 멀리 밀어내는 자기 또는 정전기 반발력과 같은 시뮬레이션된 물리적 힘의 영향 하에 있는 것으로 보인다. 제2 사용자 및 가상 객체의 표현은, 시각적 충돌 회피 오프셋을 트리거하기 위한 조건이 더 이상 충족되지 않은 후, 디폴트 현실 모방 매핑 관계를 사용하여 계산된 그들의 원래 이동 경로로 복원된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제1 사용자와 가상 전화 회의 중인 제2 사용자를 표현하는 부유하는 말하는 아바타이고; 제2 사용자가 제1 사용자의 가상 위치를 향한 3차원 환경에서의 이동에 대응하는 방향으로 걸어갈 때, 제2 사용자의 부유하는 말하는 아바타는 제1 사용자의 가상 위치의 가상 위치 주위로 이동하고, 결코 제1 사용자의 가상 위치에 너무 가까워지지 않는다. 이는 제2 물리적 환경에서의 제2 사용자의 이동과 3차원 환경에서의 제2 사용자의 아바타의 이동 사이의 디폴트 매핑 관계에 기초하여 계산된 통상적인 이동에 더하여 수행되는 수정이다.
제1 사용자가 제1 물리적 환경에서 정지 상태로 유지되는 동안 제2 물리적 환경에서의 제1 객체의 제2 이동을 검출하고, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치에 제1 사용자 인터페이스 객체를 디스플레이하며, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 이하라는 결정에 따라, 제1 사용자가 제2 물리적 환경에서 정지 상태로 유지되는 동안, 제1 방식과는 상이한 제2 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 조정된 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것은, 추가 사용자 입력(예컨대, 제1 사용자 인터페이스 객체의 위치를 조정하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 위치에 제1 사용자 인터페이스 객체를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 물리적 환경(예컨대, 도 7d 내지 도 7f의 장면(105), 또는 다른 장면 등)에서의 제1 사용자(예컨대, 도 7d 내지 도 7f의 사용자(7002), 또는 다른 사용자 등)의 이동 및 제2 물리적 환경(예컨대, 장면(105-b), 또는 다른 장면 등)에서의 제1 객체(예컨대, 도 7d 내지 도 7f의 사용자(7102), 또는 다른 사람 또는 객체 등)의 이동 중 적어도 하나를 검출하는 것은 제1 물리적 환경에서의 제1 사용자의 제3 이동(예컨대, 도 7d 내지 도 7f의 경로(7300)를 따른 제1 사용자(7002)의 이동, 또는 다른 경로를 따른 이동 등) 및 제2 물리적 환경에서의 제1 객체의 제4 이동(예컨대, 도 7d 내지 도 7f의 경로(7302)를 따른 제2 사용자(7102) 또는 7102에 의해 표현된 객체의 이동, 또는 다른 경로를 따른 이동 등)을 동시에 검출하는 것을 포함한다. 일부 실시예들에서, 제1 물리적 환경에서의 제1 사용자의 제3 이동을 검출하는 것은 제1 사용자와 함께 병치된 센서들을 사용하여 수행되고, 제1 객체의 제4 이동을 검출하는 것은, 선택적으로, 제1 객체와 함께 병치된 센서들을 사용하여 그리고/또는 다른 컴퓨터 시스템으로부터 수신된 제1 사용자 인터페이스 객체의 조정되지 않은 업데이트된 위치들에 따라 수행된다. 제1 물리적 환경에서의 제1 사용자의 제3 이동 및 제2 물리적 환경에서의 제1 객체의 제4 이동 중 적어도 하나 동안(예컨대, 3차원 환경에서의 제1 사용자 인터페이스 객체의 이동을 야기하는 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등) 전체의 이동, 및 3차원 환경의 현재 디스플레이된 뷰의 시점의 이동 및/또는 3차원 환경에서의 제1 사용자의 가상 위치의 이동을 야기하는 제1 사용자 전체의 이동 동안), 제1 방식으로 제2 물리적 환경 내의 제1 객체의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치(예컨대, 제1 객체의 제4 이동 동안 제2 물리적 환경 내의 제1 객체의 새로운 위치에 대응하는 3차원 환경 내의 새로운 위치)가 3차원 환경의 (예컨대, 현실 모방 매핑 관계에 따라 제1 물리적 환경에서의 제1 사용자의 제3 이동에 따라 업데이트된) 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는(예컨대, 제2 사용자 또는 가상 객체의 표현이 제1 사용자의 제3 이동으로 인해 업데이트된 3차원 환경 내의 제1 사용자의 시점 또는 가상 위치의 임계 범위 밖에 있다는) 결정에 따라, 제1 사용자 인터페이스 객체는 (예컨대, 3차원 환경의 현재 디스플레이된 뷰의 시점이 제1 사용자의 제3 이동에 따라 업데이트되고 있는 동안) 3차원 환경 내의 업데이트된 위치(예컨대, 현실 모방 매핑 관계에 기초하여 결정되는 각자의 위치인 위치, 3차원 환경의 현재 디스플레이된 뷰의 시점 또는 제1 사용자의 가상 표현으로부터 임계 거리 밖에 있는 위치 등)에 디스플레이되며(예컨대, 그로 이동하는 것으로 표시됨), 여기에서 3차원 환경 내의 업데이트된 위치는 제1 방식으로 제4 이동의 결과로서 제2 물리적 환경 내의 제1 객체의 업데이트된 위치에 대응한다(예컨대, 현재 디스플레이된 뷰의 시점이 제1 사용자의 제3 이동에 따라 업데이트되는 동안, 제1 사용자 인터페이스 객체의 외관 및 위치는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 3차원 위치의 변화로 인해 제1 사용자에게 시각적으로 달라짐). 제1 물리적 환경에서의 제1 사용자의 제3 이동 및 제2 물리적 환경에서의 제1 객체의 제4 이동 중 적어도 하나 동안(예컨대, 3차원 환경에서의 제1 사용자 인터페이스 객체의 이동을 야기하는 제1 객체(예컨대, 제2 사용자, 동물, 비행 드론 등) 전체의 이동, 및 3차원 환경의 현재 디스플레이된 뷰의 시점의 이동 및/또는 3차원 환경에서의 제1 사용자의 가상 위치의 이동을 야기하는 제1 사용자 전체의 이동 동안), 제1 방식으로 제2 물리적 환경 내의 제1 객체의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치(예컨대, 제1 객체의 제2 이동 동안 제2 물리적 환경 내의 제1 객체의 새로운 위치에 대응하는 3차원 환경 내의 새로운 위치)가 3차원 환경의 (예컨대, 현실 모방 매핑 관계에 따라 제1 물리적 환경에서의 제1 사용자의 제3 이동에 따라 업데이트된) 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리를 초과하지 않는다는(예컨대, 그와 동일하다는, 그 미만이라는 등)(예컨대, 제2 사용자 또는 가상 객체의 표현이, 달리 멀리 시프트되지 않는 경우, 3차원 환경에서 제1 사용자의 시점 또는 가상 위치의 임계 범위 내에 있을 것이라는) 결정에 따라, 제1 사용자 인터페이스 객체는 3차원 환경 내의 조정된 업데이트된 위치(예컨대, 현실 모방 매핑 관계에 기초하여 결정되는 각자의 위치로부터 오프셋되는 위치, 3차원 환경의 현재 디스플레이된 뷰의 시점 또는 제1 사용자의 가상 표현으로부터 임계 거리 밖에 있는 위치 등)에 디스플레이되며(예컨대, 그로 이동하는 것으로 표시됨), 여기에서 3차원 환경 내의 조정된 업데이트된 위치는 제1 방식과는 상이한(그리고 선택적으로, 제2 방식과는 상이한) 제3 방식(예컨대, 제1 객체의 제4 이동 및 제1 사용자의 제3 이동 둘 모두를 고려함)으로 제2 물리적 환경 내의 제1 객체의 위치에 대응한다. 예를 들어, 일부 실시예들에서, 제2 사용자 또는 가상 객체가 3차원 환경에서의 제1 사용자의 가상 위치 또는 현재 디스플레이된 뷰의 시점을 향한 이동에 대응하는 제2 물리적 환경에서의 방향으로 이동하고/하거나, 제1 사용자가 3차원 환경에서의 제2 사용자 또는 가상 객체의 표현을 향한 이동에 대응하는 방향으로 제1 물리적 환경에서 이동할 때, 제1 사용자 인터페이스 객체는, 제2 사용자 또는 가상 객체의 표현이 3차원 환경에서 제1 사용자의 가상 위치 또는 변화하는 시점의 임계 거리를 넘으려고 할 때 제1 사용자 인터페이스 객체가 제1 사용자의 가상 위치 또는 시점에 너무 가까워지는 것을 방지하고/하거나 그로부터 제1 사용자 인터페이스 객체를 멀리 밀어내는 다른 힘의 영향 하에 있는 것으로 보인다. 제2 사용자 및 가상 객체의 표현은, 충돌 회피 오프셋을 트리거하기 위한 조건이 더 이상 충족되지 않은 후, 디폴트 현실 모방 매핑 관계를 사용하여 계산된 그들의 원래 이동 경로로 복원된다. 일부 실시예들에서, 제1 사용자의 가상 위치 또는 3차원 환경의 현재 디스플레이된 뷰의 시점은, 제2 물리적 환경에서의 제2 사용자 또는 가상 객체의 이동 및 현재 위치에 관계없이, 제1 방식(예컨대, 현실 모방 방식, 미리설정된 제1 매핑 관계 등)으로 제1 물리적 환경 내의 제1 사용자의 위치에 대응한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제1 사용자와 가상 전화 회의 중인 제2 사용자를 표현하는 부유하는 말하는 아바타이고; 제1 사용자 및 제2 사용자가 각각 그들의 물리적 환경 내에서 걸을 때, 3차원 환경 내의 제1 사용자 및 제2 사용자의 가상 위치들은 제1 사용자 및 제2 사용자에게 각각 적용되는 일부 미리설정된 디폴트 매핑 관계들에 따라 제1 사용자 및 제2 사용자의 이동에 기초하여 결정된다. 예를 들어, 제1 사용자 또는 제2 사용자가 그들의 각자의 물리적 환경들에서 상당한 이동 거리들을 실행하였을 수 있더라도, 제1 사용자 및 제2 사용자의 가상 위치들은 동일한 공통 가상 공간에 국한된다. 디폴트 매핑이 3차원 환경에서 제1 사용자 및 제2 사용자의 가상 위치들의 시각적 충돌을 초래할 경우, (제1 사용자가 제1 디스플레이 생성 컴포넌트를 통해 볼 때) 제2 사용자의 부유하는 말하는 아바타는 부유하는 말하는 아바타가 제1 사용자의 가상 위치에 너무 가까워짐에 따라 비키어 이동한다. 동시에, (제2 사용자가 제2 디스플레이 생성 컴포넌트를 통해 볼 때) 제1 사용자의 부유하는 말하는 아바타는 부유하는 말하는 아바타가 제2 사용자의 가상 위치에 너무 가까워짐에 따라 비키어 이동한다.
제1 물리적 환경에서의 제1 사용자의 제3 이동 및 제2 물리적 환경에서의 제1 객체의 제4 이동을 동시에 검출하고, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치에 제1 사용자 인터페이스 객체를 디스플레이하며, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리를 초과하지 않는다는 결정에 따라, 제1 방식과는 상이한 제3 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 조정된 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것은, 추가 사용자 입력(예컨대, 제1 사용자 인터페이스 객체의 위치를 조정하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 위치에 제1 사용자 인터페이스 객체를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 객체는 제2 물리적 환경(예컨대, 도 7d 내지 도 7f의 장면(105-b)) 내에 위치되는 제2 사용자(예컨대, 도 7d 내지 도 7f의 제2 사용자(7102), 또는 다른 사용자 등)이고, 제1 사용자(예컨대, 제1 사용자(7002)) 및 제2 사용자(예컨대, 제2 사용자(7102))는 3차원 환경(예컨대, 도 7d 내지 도 7f에서 디스플레이 생성 컴포넌트들(7100, 7200)을 통해 보이는 환경)을 적어도 부분적으로 공유한다(예컨대, 둘 모두의 사용자들은 그의 적어도 일부분을 동시에 보고/보거나 그에 액세스하고/하거나 그와 상호작용할 수 있음). 예를 들어, 제2 사용자에게는 제2 컴퓨터 시스템과 통신하는 제2 디스플레이 생성 컴포넌트를 통해 3차원 환경의 뷰가 제공된다. 제2 물리적 환경 내의 제2 사용자의 위치는 제2 컴퓨터 시스템과 통신하는 하나 이상의 센서들에 의해 검출된다. 일부 실시예들에서, 제2 컴퓨터 시스템은 제2 물리적 환경을 나타내는 데이터를 전송하고, 제1 컴퓨터 시스템은 그를 수신하며, 제1 컴퓨터 시스템 및 제2 컴퓨터 시스템 둘 모두는 제2 물리적 환경의 표현(예컨대, 제2 물리적 환경의 카메라 뷰 또는 패스 스루 뷰)을 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 제1 물리적 환경을 나타내는 데이터를 전송하고, 제2 컴퓨터 시스템은 그를 수신하며, 제1 컴퓨터 시스템 및 제2 컴퓨터 시스템 둘 모두는 제1 물리적 환경의 표현(예컨대, 제1 물리적 환경의 카메라 뷰 또는 패스 스루 뷰)을 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템 및 제2 컴퓨터 시스템 둘 모두는 가상 환경(예컨대, 가상 회의실, 게임 세계 등)의 표현, 또는 제1 물리적 환경 및 제2 물리적 환경과는 상이한 제3 물리적 환경(예컨대, 제1 사용자 및 제2 사용자와는 상이하고 또한 제1 사용자 및 제2 사용자와 3차원 환경을 공유하고 있는 제3 사용자의 물리적 환경 등)의 표현을 디스플레이한다. 일부 실시예들에서, 제2 사용자의 디스플레이 위치가 제1 디스플레이 생성 컴포넌트를 통해 제1 사용자에 제공되는 3차원 환경의 뷰에서 시각적 충돌 회피 시프트들/오프셋으로(예컨대, 제2 방식, 제2, 충돌 회피 매핑 관계 등으로) 수정될 때, 제2 디스플레이 생성 컴포넌트를 통해 제2 사용자에 제공되는 3차원 환경의 뷰는, 대신에, 제2 사용자의 위치에 기초하는 3차원 환경의 시점이 그러한 시프트 또는 오프셋을 갖지 않는 동안 제1 사용자의 디스플레이된 위치가 시각적 충돌 회피 시프트/오프셋으로 수정되는 것을 표시한다.
제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치에 제1 사용자 인터페이스 객체를 디스플레이하고, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 이하라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것 - 제1 객체는 제2 물리적 환경 내에 위치되는 제2 사용자이고, 제1 사용자 및 제2 사용자는 3차원 환경을 적어도 부분적으로 공유함 - 은, 추가 사용자 입력(예컨대, 제1 사용자 인터페이스 객체의 위치를 조정하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 위치에 제1 사용자 인터페이스 객체를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 사용자(예컨대, 사용자(7102), 또는 다른 사용자 등)에게 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이 생성 컴포넌트(7200), 또는 다른 디스플레이 생성 컴포넌트 등)를 통해 디스플레이되는 3차원 환경의 제3 뷰(예컨대, 도 7f(B)에 도시된 뷰(7304-b))에서, 제1 방식으로 제1 물리적 환경(예컨대, 도 7d 내지 도 7f의 장면(105-a)) 내의 제1 사용자(예컨대, 도 7d 내지 도 7f의 사용자(7002), 다른 사용자 등)의 각자의 위치에 대응하는 3차원 환경 내의 제2 사용자 인터페이스 객체(예컨대, 도 7f의 표현(7002'-b), 다른 표현 등)(예컨대, 제1 사용자의 아바타, 제1 사용자를 나타내는 토킹 헤드(talking-head) 등)의 각자의 위치(예컨대, 현실 모방 방식에 따라, 미리설정된 제1 매핑 관계 등으로 결정됨)가 3차원 환경의 제3 뷰와 연관된 제3 시점에 대응하는 3차원 환경 내의 각자의 위치(예컨대, 3차원 환경 내의 제2 사용자의 가상 위치)로부터 임계 거리를 초과하지 않는다는 결정에 따라, 컴퓨터 시스템은 제2 사용자 인터페이스 객체(예컨대, 제1 사용자(7002)의 표현(7002'-b))를 3차원 환경의 제3 뷰 내의 수정된 위치에 디스플레이하며, 여기에서 수정된 위치는 제1 방식으로 제1 물리적 환경 내의 제1 사용자의 각자의 위치에 대응하는 3차원 환경 내의 제2 사용자 인터페이스 객체의 각자의 위치(예컨대, 현실 모방 방식에 따라, 미리설정된 제1 매핑 관계 등으로 결정됨)로부터 오프셋된다(예컨대, 도 7f(B)에 도시된 바와 같이, 제1 사용자(7002)의 표현(7002'-b)은, 제1 사용자(7002)의 표현(7102'-b)의 위치가 뷰(7304-b")에서 일직선으로 표현(7102'-b) 앞에 있어야 하더라도, 제2 사용자(7102)에게 표시된 뷰(7304-b")에서 표현(7102'-b)의 우측에 디스플레이됨).
제1 방식으로 제1 물리적 환경 내의 제1 사용자의 각자의 위치에 대응하는 3차원 환경 내의 제2 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 제3 뷰와 연관된 제3 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리를 초과하지 않는다는 결정에 따라, 제1 방식으로 제1 물리적 환경 내의 제1 사용자의 각자의 위치에 대응하는 3차원 환경 내의 제2 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는 3차원 환경의 제3 뷰 내의 수정된 위치에 제2 사용자 인터페이스 객체를 디스플레이하는 것은, 추가 사용자 입력(예컨대, 제1 사용자 인터페이스 객체의 위치를 조정하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 위치에 제1 사용자 인터페이스 객체를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 객체는 제2 물리적 환경 내에 위치되는 물리적 객체이다(예컨대, 도 7d 내지 도 7f의 사용자(7102)는, 일부 실시예들에서, 디스플레이 생성 컴포넌트(7200)를 사용하는 다른 사용자가 아닌 물리적 객체를 나타낼 수 있음). 일부 실시예들에서, 3차원 환경은 3차원 환경의 뷰어의 것과는 상이한 물리적 환경 내의 다른 물리적 객체들의 표현들을 포함한다. 예를 들어, 일부 실시예들에서, 3차원 환경은, 선택적으로, 제1 사용자에 대한 하이킹 트레일 상에서의 시뮬레이션된 자연 산책의 일부이고, 제1 사용자의 물리적 환경으로부터의 상이한 물리적 위치에서 하이킹 트레일에 대한 물리적 환경의 실시간 카메라 피드 또는 기록된 비디오를 포함한다. 제1 사용자가 제1 물리적 환경에서 걷고 있고 하이킹 트레일로부터의 물리적 환경의 뷰와 함께 시뮬레이션된 자연 산책을 경험하고 있음에 따라, 야생 조류, 비행 드론, 또는 다른 하이커와 같은 물리적 객체가, 또한, 시각적 충돌 회피 조정 없이, 물리적 객체의 각자의 위치가 제1 사용자의 가상 위치(예컨대, 제1 사용자에게 현재 표시된 하이킹 트레일의 뷰의 시점에 대응하는 위치, 또는 뷰 내의 제1 사용자의 가상 표현의 위치 등)와 중첩되거나 그의 임계 거리 내에 있도록, 하이킹 트레일을 둘러싸는 물리적 환경에서 이동하고 있는 경우, 제1 사용자의 경험은 시각적 충돌에 의해 방해될 것이다(예컨대, 제1 사용자는 물리적 객체가 그/그녀의 머리 또는 신체를 통과하는 것처럼 느낄 것이고/것이거나, 그러한 감각 또는 경험이 발생할 것을 두려워할 것임 등). 시각적 충돌이 회피되도록, 그러한 시나리오에서 물리적 객체의 표현의 디스플레이된 위치를 자동적으로 조정함으로써, 제1 사용자는 시뮬레이션된 자연 산책을 더 편안하고 원활하게 경험할 수 있을 것이다. 다른 예에서, 제1 객체는, 하이킹 트레일 상의 큰 바위 또는 하이킹 트레일의 중간에 앉아 있는 사람과 같은 고정된 객체이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제1 사용자의 가상 위치가 하이킹 트레일의 뷰에서 큰 바위 또는 앉아 있는 사람의 위치에 접근할 때 (예컨대, 디지털 이미지 편집 수단을 통해) 자동적으로 비키어 이동된다. 일부 실시예들에서, 제1 객체가 (예컨대, 경험 전반에 걸쳐) 고정된 물리적 객체라는 결정에 따라, 제1 컴퓨터 시스템은, 선택적으로, 제1 사용자 인터페이스 객체가 3차원 환경의 현재 디스플레이된 뷰에서 제1 사용자의 가상 위치에 너무 가까울 때 잠시 그를 디스플레이하는 것을 중지한다.
제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치에 제1 사용자 인터페이스 객체를 디스플레이하고, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 이하라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것 - 제1 객체는 제2 물리적 환경 내에 위치되는 물리적 객체임 - 은, 추가 사용자 입력(예컨대, 제1 사용자 인터페이스 객체의 위치를 조정하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 위치에 제1 사용자 인터페이스 객체를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체(예컨대, 도 7d 내지 도 7f의 제2 사용자(7102)의 표현(7102'-a))는 3차원 환경에서 부유하고 있는(예컨대, 다른 객체 또는 표면에 부착되어 있지 않고/않거나 그를 터치하고 있는) 객체(예컨대, 제2 사용자의 부유 토킹 헤드 아바타, 날아다니는 새의 표현, 비행 드론의 표현 등)이다. 일부 실시예들에서, 3차원 환경의 현재 디스플레이된 뷰 내의 무생물들의 표현들도 유사한 방식으로 대응하는 시각적 충돌 회피 이동을 갖는다. 제1 사용자가 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 가상 위치로 하여금 디지털 어시스턴트의 가상 표현 또는 부유 가상 랜턴에 접근하게 하도록 이동할 때, 디지털 어시스턴트의 가상 표현 또는 부유 가상 랜턴은 3차원 환경의 현재 디스플레이된 뷰에서 옆으로 자동적으로 비키어 이동한다. 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치에 제1 사용자 인터페이스 객체를 디스플레이하고, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 이하라는 결정에 따라, 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것 - 제1 사용자 인터페이스 객체는 3차원 환경에서 부유하고 있는 객체임 - 은, 추가 사용자 입력(예컨대, 제1 사용자 인터페이스 객체의 위치를 조정하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 위치에 제1 사용자 인터페이스 객체를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 3차원 환경이 제1 리얼리즘 레벨로 디스플레이된다는 결정에 따라, 제1 사용자 인터페이스 객체(예컨대, 도 7d 내지 도 7f의 제2 사용자(7102)의 표현(7102'-a))는 제1 리얼리즘 레벨에 대응하는 제1 세트의 디스플레이 속성들(예컨대, 제1 해상도, 제1 수의 치수들, 제1 선명도 레벨, 제1 색상 팔레트, 조명 효과 없음 등)로 디스플레이되고; 3차원 환경이 제1 리얼리즘 레벨과는 상이한(예컨대, 그보다 큰, 그보다 작은 등) 제2 리얼리즘 레벨로 디스플레이된다는 결정에 따라, 제1 사용자 인터페이스 객체는 제2 리얼리즘 레벨에 대응하는 제2 세트의 디스플레이 속성들(예컨대, 제2 해상도, 제2 수의 치수들, 제2 선명도 레벨, 제2 색상 팔레트, 조명 효과 있음 등)로 디스플레이되며, 제2 세트의 디스플레이 속성들은 제1 세트의 디스플레이 속성들과는 상이하다(예컨대, 그보다 큼, 그보다 작음, 그에 더함, 그로부터 뺌 등). 예를 들어, 일부 실시예들에서, 3차원 환경이 가상 3차원 환경일 때, 제1 사용자 인터페이스 객체는 고정된 토킹 애니메이션을 갖는 제2 사용자의 3차원 가상 모델이고; 3차원 환경이 증강 현실 환경일 때, 제1 사용자 인터페이스 객체는 제2 사용자의 실시간 비디오 이미지에 따라 생성되는 토킹 애니메이션들 및 얼굴 표정들을 갖는 제2 사용자의 더 사실적인 3차원 모델이다. 일부 실시예들에서, 컴퓨터 시스템은, 공유 경험의 가상 모드로부터 증강 현실 모드로 스위칭하라는 사용자의 요청(예컨대, 제1 사용자, 제2 사용자 등)에 응답하여, 3차원 환경을 제1 리얼리즘 레벨로 디스플레이하는 것으로부터 제2 리얼리즘 레벨로 스위칭한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 3차원 환경이 단순한, 평평한 그리고 불투명한 표면들을 가질 때 3차원 환경에서 부유하는 제2 사용자의 2차원 이미지이고; 제1 사용자 인터페이스 객체는 3차원 환경이 물리적 환경의 더 사실적인 가상 렌더링으로 스위칭될 때 더 정교한 얼굴 특징부들 및 조명 효과들을 갖는 제2 사용자의 3차원 모델이 된다. 일부 실시예들에서, 제1 사용자 인터페이스 객체의 리얼리즘 레벨 및/또는 제1 사용자 인터페이스 객체가 3차원 환경에서 렌더링되는 방법을 3차원 환경의 리얼리즘 레벨 및/또는 3차원 환경이 렌더링되는 방법에 자동적으로 매칭시키는 것은, 제1 사용자 인터페이스 객체가 3차원 환경의 자연스럽고 눈에 띄지 않는 부분으로 보이게 하여, 그에 의해 제1 사용자의 관찰 경험을 개선한다.
3차원 환경이 제1 리얼리즘 레벨로 디스플레이된다는 결정에 따라, 제1 사용자 인터페이스 객체를 제1 리얼리즘 레벨에 대응하는 제1 세트의 디스플레이 속성들로 디스플레이하고, 3차원 환경이 제1 리얼리즘 레벨과는 상이한 제2 리얼리즘 레벨로 디스플레이된다는 결정에 따라, 제1 사용자 인터페이스 객체를 제2 리얼리즘 레벨에 대응하는, 제1 세트의 디스플레이 속성들과는 상이한 제2 세트의 디스플레이 속성들로 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 3차원 환경이 어느 리얼리즘 레벨로 디스플레이되는지에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치(예컨대, 제1 사용자(7002)에게 표시된 뷰(7304-a") 내의 제2 사용자(7102)의 표현(7102'-a)의 디스플레이 위치)는 제1 방식으로 제2 물리적 환경(예컨대, 장면(105-b), 또는 다른 장면 등) 내의 제1 객체(예컨대, 도 7f의 제2 사용자(7102), 또는 다른 객체 등)의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체(예컨대, 제2 사용자(7102)의 표현(7102'-a))의 각자의 위치로부터 제1 변위량만큼 변위되며, 여기에서 제1 변위량(예컨대, 제1 방향, 및/또는 제1 크기 등을 가짐)은 제1 방식으로 제2 물리적 환경에서의 제1 객체의 이동(예컨대, 도 7d 내지 도 7f의 경로(7302)를 따른 이동, 또는 다른 경로를 따른 이동)에 대응하지 않는다. 일부 실시예들에서, 제1 변위량은 제2 물리적 환경에서의 제1 객체의 이동에 전혀 대응하지 않거나, 또는 제1 변위량은 제1 방식과는 상이한 각자의 방식으로 제2 물리적 환경에서의 제1 객체의 이동에 대응하거나, 기타 등등 한다.
제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 미만이라는 결정에 따라, 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것 - 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치는 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터, 제1 방식으로 제2 물리적 환경에서의 제1 객체의 이동에 대응하지 않는 제1 변위량만큼 변위됨 - 은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 미만이라는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 변위량은 제1 방식으로 제2 물리적 환경(예컨대, 장면(105-b), 또는 다른 장면 등) 내의 제1 객체(예컨대, 도 7d 내지 도 7f의 제2 사용자(7102), 또는 다른 사용자 또는 객체 등)의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체(예컨대, 도 7f의 제2 사용자(7102)의 표현(7102'-a), 또는 다른 표현 등)의 각자의 위치와 3차원 환경의 현재 디스플레이된 뷰의 시점(예컨대, 도 7f의 뷰(7304-a")의 시점) 사이의 공간적 관계(예컨대, 거리, 및 상대 위치들 등)에 따라 결정되는 방향을 갖는다.
3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것 - 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치는 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치와 3차원 환경의 현재 디스플레이된 뷰의 시점 사이의 공간적 관계에 따라 결정되는 방향을 갖는 제1 변위량만큼 변위됨 - 은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 사용자 인터페이스 객체의 각자의 위치와 현재 디스플레이된 뷰의 시점 사이의 공간적 관계에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 3차원 환경의 제2 뷰(예컨대, 도 7f(A)의 뷰(7304-a"), 또는 다른 뷰 등) 내의 제2 디스플레이 위치는 제1 방식으로 제2 물리적 환경(예컨대, 장면(105-b), 다른 장면 등) 내의 제1 객체(예컨대, 제2 사용자(7102), 다른 사용자 또는 객체 등)의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체(예컨대, 제2 사용자의 표현(7102'-a), 다른 표현 등)의 각자의 위치로부터 제2 변위량(예컨대, 제1 변위량과 동일함, 제1 변위량과는 상이함 등)만큼 변위되며, 여기에서 제2 변위량은 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치를 향한 정방향과는 상이한(예컨대, 그에 수직이거나 직교함, 그의 좌측으로임, 그의 우측으로임, 그로부터 상향으로 향함 등) 방향을 갖는다(예컨대, 도 7f(A)에 도시된 바와 같이, 표현(7102'-a)은, 그의 위치가 제1 사용자(7002)에게 표시된 뷰(7304-a")에서 시점 바로 앞에 있어야 하더라도, 시점 옆으로 시프트됨). 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 객체가 3차원 환경의 현재 디스플레이된 뷰(예컨대, 제2 뷰, 또는 추후에 디스플레이되는 다른 뷰 등)와 연관된 시점에 대응하는 각자의 위치에 어느 방향으로부터 접근 및 도달하고 있는지에 관계없이, 제1 사용자 인터페이스 객체는 현재 디스플레이된 뷰와 연관된 시점에 대응하는 각자의 위치 옆 또는 위로 방향전환되어서, 디폴트 비조정 방식(예컨대, 제1 방식, 현실 모방 방식, 제1 미리설정된 매핑 관계에 따라 등)에 따라 제1 사용자 및/또는 제1 객체의 그들의 각자의 물리적 환경들에서의 이동에 기초하여 계산된 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 각자의 시점에 훨씬 더 가까워지거나 그를 통과하더라도, 제1 사용자 인터페이스 객체의 디스플레이된 위치가 시점에 대응하는 각자의 위치를 둘러싸는 제한된 공간에 진입하지 않게 한다. 일부 실시예들에서, 그는 마치 제1 방식으로 제1 사용자 및 제1 객체의 현재 위치 및 이동 이력에 기초하여 계산된 제1 사용자 인터페이스 객체의 각자의 위치가 더 이상 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 각자의 위치의 임계 거리 내에 있지 않을 때까지, 제1 사용자 인터페이스 객체가 보이지 않는 유리 벽을 따라 옆으로 또는 상향으로 활주하게 하는 보이지 않는 유리 벽이 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 각자의 위치 전방의 임계 거리에 존재하는 것과 같다. 이러한 구현예는 제1 사용자 인터페이스 객체가 제1 사용자의 시점 또는 제1 사용자 페이스 온(face on)의 가상 표현과 교차하는 것을 회피하는 데 도움이 된다.
3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것 - 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치는 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터 제2 변위량만큼 변위되고, 제2 변위량은 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치를 향한 정방향과는 상이한 방향을 가짐 - 은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 미만이라는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 3차원 환경의 제2 뷰(예컨대, 도 7f의 뷰(7304-a")) 내의 제2 디스플레이 위치는 제1 방식으로 제2 물리적 환경(예컨대, 장면(105-b), 또는 다른 장면 등) 내의 제1 객체(예컨대, 도 7f의 사용자(7102), 다른 사용자 또는 객체 등)의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체(예컨대, 제2 사용자의 표현(7102'-a), 다른 표현 등)의 각자의 위치로부터 제3 변위량(예컨대, 제1 변위량과 동일함, 제1 변위량과는 상이함 등)만큼 변위되며, 여기에서 제3 변위량은 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치와 제1 사용자 인터페이스 객체 사이의(예컨대, 그의 공통 중심을 향하는) 접근의 방향과는 상이한(예컨대, 그에 수직이거나 직교함, 그의 좌측으로임, 그의 우측으로임, 그로부터 상향으로 향함 등) 방향을 갖는다(예컨대, 도 7f(A)에 도시된 바와 같이, 표현(7102'-a)은, 그가 제1 사용자(7002)에게 표시된 뷰(7304-a")에서 시점을 통해 일직선으로 이동하여야 하더라도, 시점 옆으로 시프트됨). 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 객체가 3차원 환경의 현재 디스플레이된 뷰(예컨대, 제2 뷰, 또는 추후에 디스플레이되는 다른 뷰 등)와 연관된 시점에 대응하는 각자의 위치에 어느 방향으로부터 접근 및 도달하고 있는지에 따라, 제3 변위량은 제1 사용자 인터페이스 객체가 그의 접근 방향으로부터 현재 디스플레이된 뷰와 연관된 시점에 대응하는 각자의 위치 옆 또는 위로 방향전환되게 하여서, 제1 사용자 및/또는 제1 객체의 그들의 각자의 물리적 환경들에서의 이동에 기초하여 계산된 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 현재 디스플레이된 뷰와 연관된 각자의 시점에 훨씬 더 가까워지거나 그를 통과하더라도, 제1 사용자 인터페이스 객체의 디스플레이된 위치가 시점에 대응하는 각자의 위치를 둘러싸는 제한된 공간에 진입하지 않게 한다. 일부 실시예들에서, 그는 마치 제1 사용자 및 제1 객체의 현재 위치 및 이동 이력에 기초하여 계산된 제1 사용자 인터페이스 객체의 각자의 위치가 더 이상 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 각자의 위치의 임계 거리 내에 있지 않을 때까지, 제1 사용자 인터페이스 객체가 보이지 않는 유리 돔을 따라 옆으로 또는 상향으로 활주하게 하는, 3차원 환경의 현재 디스플레이된 뷰의 시점에 대응하는 각자의 위치를 둘러싸는 보이지 않는 유리 돔이 존재하는 것과 같다. 이러한 구현예는 제1 사용자 인터페이스 객체가 임의의 방향들로부터(예컨대, 페이스 온, 옆으로부터 등) 제1 사용자의 시점 또는 제1 사용자의 가상 표현과 교차하는 것을 회피하는 데 도움이 된다.
3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것 - 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치는 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치로부터, 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치와 제1 사용자 인터페이스 객체 사이의 접근의 방향과는 상이한 방향을 갖는 제3 변위량만큼 변위됨 - 은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치가 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치로부터 임계 거리 미만이라는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 방식으로 제2 물리적 환경 내의 제1 객체(예컨대, 도 7f의 사용자(7102), 또는 다른 사용자 또는 객체 등)의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체(예컨대, 도 7f의 표현(7102'-a), 또는 다른 표현)의 각자의 위치와 3차원 환경의 제2 뷰(예컨대, 도 7f의 뷰(7304-a"), 또는 다른 뷰 등) 내의 제2 디스플레이 위치 사이의 변위의 크기 및 방향 중 적어도 하나는, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치와 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치 사이의 공간적 관계(예컨대, 상대 방향 및/또는 거리 등)에 기초한다(예컨대, 변위는 그의 크기 및/또는 방향의 변화의 크기 및/또는 방향, 또는 그의 크기 및/또는 방향의 절대값들 등에 따라 방향 및/또는 크기가 동적으로 조정됨).
3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 제1 사용자 인터페이스 객체를 디스플레이하는 것 - 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치와 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치 사이의 변위의 크기 및 방향 중 적어도 하나는, 제1 방식으로 제2 물리적 환경 내의 제1 객체의 각자의 위치에 대응하는 3차원 환경 내의 제1 사용자 인터페이스 객체의 각자의 위치와 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치 사이의 공간적 관계에 기초함 - 은, 사용자에게 개선된 시각적 피드백(예컨대, 3차원 환경의 제2 뷰와 연관된 제2 시점에 대응하는 3차원 환경 내의 각자의 위치와 제1 사용자 인터페이스 객체의 각자의 위치 사이의 공간적 관계에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 9a 및 도 9b에서의 동작들이 설명된 특정 순서는 단지 일 예일 뿐이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서라는 것을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 10000, 11000, 12000))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 9a 및 도 9b와 관련하여 전술된 방법(9000)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(9000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 10000, 11000, 12000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 10은 일부 실시예들에 따른, 컴퓨터 시스템에 의해 수신되는 사용자의 변화하는 생체측정 데이터에 따라 컴퓨터 생성 경험의 환경이 디스플레이되는 몰입 레벨을 변경하는 방법의 흐름도이다.
일부 실시예들에서, 본 방법(10000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(10000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(10000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(10000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들 등)과 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및/또는 하나 이상의 입력 디바이스들과 별개인 메모리 및 하나 이상의 프로세서들을 포함하는 컴퓨팅 컴포넌트를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
본 방법(10000)에서, 컴퓨터 시스템은 (예컨대, 컴퓨터 생성 경험의 최소량의 가상 콘텐츠가 디스플레이되고, 물리적 환경의 표현이 뷰(7316)를 지배하는 도 7g에 예시된 바와 같이) 제1 컴퓨터 생성 경험(예컨대, 애플리케이션 사용자 인터페이스, 가상 경험, 증강 현실 경험, 혼합 현실 경험 등)을 제1 몰입 레벨로 디스플레이한다(예컨대, 2차원 애플리케이션 사용자 인터페이스를 디스플레이함, 3차원 환경의 2차원 뷰를 디스플레이함, 사용자의 시야의 작은 제1 부분을 점유하는 3차원 환경 내에 윈도우 또는 시점을 디스플레이함, 컴퓨터 생성 경험을 비공간 오디오로 디스플레이함 등)(10002). 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 동안, 컴퓨터 시스템은 제1 사용자(예컨대, 도 7g 내지 도 7j의 사용자(7002))에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터를 (예컨대, 실시간으로, 제1 사용자에게 연결되거나 그로 지향되는 하나 이상의 생체측정 센서들(예컨대, 다양한 적합한 의료 디바이스들, 진동 센서들, 카메라들, 열 센서들, 화학 센서들 등)을 통해 등) 수신한다(10004). 일부 실시예들에서, 생체측정 데이터는, 평균 사용자가 컴퓨터 생성 경험에 관여하는 기간에 걸쳐 전형적으로 변화하지 않는 인간들의 비-과도 특성들(예컨대, 지문, 홍채 패턴 및 색상, 얼굴 특징부들, 성문 등)을 포함하지 않는다. 일부 실시예들에서, 생체측정 데이터는 심박수, 호흡률, 체온, 소정 화학물질, 약물, 호르몬들 등의 혈청 농도, 혈압, 뇌파들, 포커스 레벨, 동공 크기, 대사율, 혈당 레벨, 컴퓨터 생성 경험과의 사용자의 관여 동안 시간 경과에 따라 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 컴퓨터 생성 경험과의 사용자의 관여 동안 사용자 자신의 액션들(예컨대, 컴퓨터 시스템에 의해 제공되는 사용자 인터페이스 요소들 또는 제어부들과의 직접적인 상호작용과는 대조적으로, 명상, 호흡 패턴 변화, 운동 등)을 통해 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 사용자의 기분, 행복 및/또는 스트레스 레벨에 대응하는 다수의 유형들의 생체측정 데이터의 하나 이상의 유형들의 복합 메트릭들 등을 포함한다. 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 주기적으로 수신된 데이터, 또는 지속적으로 수신된 데이터 등)를 수신하는 것에 응답하여(10006), 그리고 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 가장 최근에 수신된 생체측정 데이터, 미리설정된 지속기간의 가장 최근 기간에 걸쳐 수신된 생체측정 데이터 등)가 제1 기준들을 충족시킨다는 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하며(예컨대, 제2 몰입 레벨은 제1 몰입 레벨보다 더 몰입적인 경험을 제공함, 제2 몰입 레벨은 제1 몰입 레벨보다 덜 몰입적인 경험을 제공함 등), 여기에서 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 제1 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험보다 제1 사용자의 시야의 더 큰 부분(예컨대, 측방향으로의 더 넓은 각도 범위, 수직 방향으로의 더 넓은 각도 범위, 더 큰 뷰포트 크기 등)을 점유한다(예컨대, 제1 사용자의 시야의 더 큰 부분을 점유하는 제1 컴퓨터 생성 경험은, 선택적으로, 제1 컴퓨터 생성 경험이 제1 사용자의 시야의 더 작은 부분을 점유할 때보다 제1 사용자에게 더 몰입적인 경험을 제공함)(10008). 일부 실시예들에서, 제1 기준들은, 제1 사용자가 정신적으로 그리고 감정적으로 더 몰입적인 경험에 들어갈 준비가 되었다는 것을 나타내기 위한 미리설정된 기준들, 제1 사용자가 덜 몰입적인 경험으로 빠져나갈 준비를 하고 있다는 것을 나타내기 위한 미리설정된 기준들 등을 포함한다. 이는, 예를 들어, 뷰(7334)가 도 7g에 도시된 뷰(7316)보다 더 큰 공간적 범위를 점유하는 컴퓨터 생성 경험의 가상 콘텐츠를 포함하는 도 7j에 예시되어 있다. 일부 실시예들에서, 컴퓨터 시스템은, 심박수가 제1 임계 심박수보다 적다는 결정, 호흡률이 제1 임계 호흡률보다 낮다는 결정, 혈압이 제1 임계 혈압보다 낮다는 결정, 사용자의 이동이 임계 시간 동안 제1 임계량의 이동 미만이라는 결정, 사용자의 체온이 제1 임계 체온보다 낮다는 결정, 스트레스 레벨의 메트릭이 제1 임계 스트레스 레벨보다 낮다는 결정, 사용자의 기분에 대응하는 메트릭이 사용자가 편안하고 행복하다는 것을 나타낸다는 결정 등에 따라, 생체측정 데이터가 미리설정된 기준들을 충족시킨다고 결정한다. 일부 실시예들에서, 제1 몰입 레벨 및 제2 몰입 레벨은, 선택적으로, 컴퓨터 생성 경험의 사용자의 뷰에 존재하는 가상 요소들의 양, 컴퓨터에서 보이는 상태로 유지되는 물리적 표면들의 수, 컴퓨터 생성 경험의 사운드 효과를 재생하기 위해 사용되는 오디오 출력 모드들, 컴퓨터 생성 경험에 의해 묘사되는 리얼리즘 레벨, 컴퓨터 생성 경험에 의해 묘사되는 차원의 수, 및/또는 컴퓨터 생성 경험에서 이용가능한 기능들 및 상호작용들의 수 등이 상이하다. 본 방법(10000)에서, 제1 사용자에 대응하는 생체측정 데이터를 수신하는 것에 응답하여, 그리고 제1 사용자에 대응하는 생체측정 데이터가 제1 기준들을 충족시키지 않는다는(예컨대, 심박수가 제1 임계 심박수보다 많다는, 혈압이 제1 임계 혈압보다 높다는, 사용자의 이동이 임계 시간 동안 제1 임계량의 이동을 초과한다는, 사용자의 체온이 제1 임계 체온보다 높다는, 스트레스 레벨의 메트릭이 제1 임계 스트레스 레벨보다 높다는, 사용자의 기분에 대응하는 메트릭이 사용자가 동요하고 있고 불행하다는 것을 나타낸다는 등) 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 계속 디스플레이한다(10010). 이는, 생체측정 데이터가 임계 표시자(7326) 아래로 변동할 수 있고, 뷰(7316)가 유지되는 도 7g에 예시되어 있다. 일부 실시예들에서, 선택적으로, 제1 컴퓨터 생성 경험은 제1 사용자가 제1 사용자로부터 수신된 대응하는 생체측정 데이터가 제1 기준들을 충족시킬 상태에 진입하는 것을 돕는 시각적 및 오디오 안내(예컨대, 음악, 풍경, 영감을 주는 메시지들, 안내된 약물 기록, 호흡에 대한 시각적, 오디오 또는 구두 지시사항들 등)를 포함한다. 이들 특징부들은, 예를 들어, 가상 콘텐츠와 물리적 환경의 표현 사이의 시각적 균형이 사용자(7002)에 대응하는 생체측정 데이터의 변화들에 따라 점진적으로 그리고/또는 급격하게 변화되는 도 7g 내지 도 7j에 예시되어 있다. 가상 콘텐츠와 물리적 환경의 표현 사이의 시각적 균형 및 상대적인 시각적 두드러짐은 컴퓨터 생성 경험이 사용자에게 제공되는 몰입 레벨을 나타낸다.
일부 실시예들에서, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 동안, 컴퓨터 시스템은 제1 사용자에 대응하는(예컨대, 컴퓨터 시스템이 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것으로 전이한 후, 제1 시점 또는 기간보다 늦은 제2 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 제1 업데이트된 생체측정 데이터를 (예컨대, 실시간으로, 제1 사용자에게 연결되거나 그로 지향되는 하나 이상의 생체측정 센서들(예컨대, 다양한 적합한 의료 디바이스들, 진동 센서들, 카메라들, 열 센서들, 화학 센서들 등)을 통해 등) 수신한다. 일부 실시예들에서, 제1 업데이트된 생체측정 데이터는 일정 기간 후에 수신되는, 심박수, 호흡률, 체온, 소정 화학물질, 약물, 호르몬들 등의 혈청 농도, 혈압, 뇌파들, 포커스 레벨, 동공 크기, 대사율, 혈당 레벨, 컴퓨터 생성 경험과의 사용자의 관여 동안 시간 경과에 따라 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 컴퓨터 생성 경험과의 사용자의 관여 동안 사용자 자신의 액션들(예컨대, 컴퓨터 시스템에 의해 제공되는 사용자 인터페이스 요소들 또는 제어부들과의 직접적인 상호작용과는 대조적으로, 명상, 호흡 패턴 변화, 운동 등)을 통해 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 사용자의 기분, 행복 및/또는 스트레스 레벨에 대응하는 다수의 유형들의 생체측정 데이터의 하나 이상의 유형들의 복합 메트릭들 등에 대한 제1 업데이트된 값들을 포함한다. 본 방법(10000)에서, 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간보다 늦은 제2 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 제1 업데이트된 생체측정 데이터를 수신하는 것에 응답하여, 그리고 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간보다 늦은 제2 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 제1 업데이트된 생체측정 데이터가 제1 기준들과는 상이한(예컨대, 그보다 더 제한적인, 충족시키기 더 어려운 등) 제2 기준들을 충족시킨다는 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 제3 몰입 레벨로 디스플레이하며(예컨대, 제3 몰입 레벨은 제2 몰입 레벨보다 더 몰입적인 경험을 제공함, 제3 몰입 레벨은 제2 몰입 레벨보다 덜 몰입적인 경험을 제공함 등), 여기에서 제3 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험보다 제1 사용자의 시야의 더 큰 부분을 점유한다(예컨대, 제1 사용자의 시야의 더 큰 부분을 점유하는 제1 컴퓨터 생성 경험은, 선택적으로, 제1 컴퓨터 생성 경험이 제1 사용자의 시야의 덜 큰 부분을 점유할 때보다 제1 사용자에게 더 몰입적인 경험을 제공함). 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은, 선택적으로, 컴퓨터 생성 경험의 사용자의 뷰에 존재하는 가상 요소들의 양, 컴퓨터에서 보이는 상태로 유지되는 물리적 표면들의 수, 컴퓨터 생성 경험의 사운드 효과를 재생하기 위해 사용되는 오디오 출력 모드들, 컴퓨터 생성 경험에 의해 묘사되는 리얼리즘 레벨, 컴퓨터 생성 경험에 의해 묘사되는 차원의 수, 및/또는 컴퓨터 생성 경험에서 이용가능한 기능들 및 상호작용들의 수 등이 상이하다. 본 방법(10000)에서, 제1 사용자에 대응하는 제1 업데이트된 생체측정 데이터를 수신하는 것에 응답하여, 그리고 제1 사용자에 대응하는 제1 업데이트된 생체측정 데이터가 제1 기준들을 충족시키고 제2 기준들을 충족시키지 않는다는(예컨대, 심박수가 제1 임계 심박수보다는 적지만 제2 임계 심박수보다는 많다는, 혈압이 제1 임계 혈압보다는 작지만 제2 임계 혈압보다는 크다는, 사용자의 이동이 임계 시간 동안 제1 임계량의 이동 미만이지만 제2 임계량의 이동을 초과한다는, 사용자의 체온이 제1 임계 체온보다는 작지만 제2 임계 체온보다는 크다는, 스트레스 레벨의 메트릭이 임계 스트레스 레벨보다는 낮지만 제2 임계 스트레스 레벨보다는 높다는, 사용자의 기분에 대응하는 메트릭이 사용자가 편안하고 행복하지만 아직 집중하고 평화롭지 않다는 것을 나타낸다는 등) 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 계속 디스플레이한다. 일부 실시예들에서, 선택적으로, 제1 컴퓨터 생성 경험은 제1 사용자가 제1 사용자로부터 수신된 대응하는 생체측정 데이터가 제2 기준들을 충족시킬 상태에 진입하는 것을 돕는 시각적 및 오디오 안내(예컨대, 음악, 풍경, 영감을 주는 메시지들, 안내된 약물 기록, 호흡에 대한 시각적, 오디오 또는 구두 지시사항들 등)를 포함한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 컴퓨터 생성 환경에 존재하는 가상 콘텐츠의 양을 증가시키는 것 및/또는 컴퓨터 생성 환경에 존재하는 주변 물리적 환경의 표현들의 양을 감소시키는 것에 대응한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 컴퓨터 생성 콘텐츠에 대한 증가하는 이미지 충실도 및/또는 공간 범위(예컨대, 각도 범위, 공간 깊이 등), 및/또는 주변 물리적 환경의 표현들에 대한 감소하는 이미지 충실도 및/또는 공간 범위를 갖는 상이한 콘텐츠 디스플레이 모드들에 대응한다. 일부 실시예들에서, 제1 몰입 레벨은, 물리적 환경이 제1 디스플레이 생성 컴포넌트를 통해(예컨대, 물리적 환경의 카메라 뷰로서 또는 제1 디스플레이 생성 컴포넌트의 투명 부분을 통해) 사용자에게 완전히 보이는 패스 스루 모드이고, 컴퓨터 생성 환경은, 물리적 환경의 뷰로서 동시에 보이는 최소량의 가상 요소들을 갖거나 물리적 환경에 대한 사용자의 뷰에 대해 주변에 있는 가상 요소들(예컨대, 디스플레이의 주변 영역에 디스플레이되는 표시자들 및 제어부들)을 포함하는 물리적 환경의 패스 스루 뷰를 포함한다. 일부 실시예들에서, 제2 몰입 레벨은, 물리적 환경의 패스 스루 뷰가 컴퓨팅 시스템에 의해 생성된 가상 요소들로 증강되는 혼합 현실 모드이며, 가상 요소들은 물리적 환경에 대한 사용자의 뷰의 중심 부분에 대응하는 컴퓨터 생성 환경 내의 위치들을 갖고/갖거나, 물리적 환경 내의 위치들 및 객체들에 대응하는 컴퓨터 생성 환경 내의 위치들을 갖는다(예컨대, 가상 콘텐츠는 컴퓨터 생성 환경의 뷰에서 물리적 환경과 통합됨). 일부 실시예들에서, 제3 몰입 레벨은, 물리적 환경에 대한 사용자의 뷰가 제1 디스플레이 생성 컴포넌트에 의해 제공되는 가상 콘텐츠의 뷰에 의해 완전히 대체되거나 차단되는 가상 현실 모드이다. 일부 실시예들에서, 4가지 상이한 몰입 레벨들이 있으며, 여기에서 제1 몰입 레벨은 제1 디스플레이 생성 컴포넌트의 패스 스루 모드에 대응하고, 제2 몰입 레벨은 제1 디스플레이 생성 컴포넌트의 2가지 별개의 하위 모드들에 대응하는 2가지 하위 레벨들 A 및 B(예컨대, 물리적 환경의 패스 스루 뷰가 사용자 인터페이스 또는 사용자 인터페이스 객체들의 배경에 디스플레이되는 동안 사용자 인터페이스 또는 사용자 인터페이스 객체들이 사용자의 시야의 주요 부분에 디스플레이되고 있는 제2 레벨 A; 및 가상 요소들이 물리적 환경의 증강 현실 뷰에서 물리적 환경 내의 물리적 객체들의 표현들과 통합되는 제2 레벨 B)를 포함하며, 제3 몰입 레벨은 제1 디스플레이 생성 컴포넌트의 가상 현실 모드에 대응한다.
제1 사용자에 대응하는 제1 업데이트된 생체측정 데이터가 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험보다 제1 사용자의 시야의 더 큰 부분을 점유하는 제3 몰입 레벨로 디스플레이하고, 제1 사용자에 대응하는 제1 업데이트된 생체측정 데이터가 제1 기준들을 충족시키고 제2 기준들을 충족시키지 않는다는 결정에 따라, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 계속 디스플레이하는 것은, 추가 사용자 입력(예컨대, 몰입 레벨을 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제1 컴퓨터 생성 경험을 제3 몰입 레벨로 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 생성 경험을 각자의 몰입 레벨(예컨대, 제2 몰입 레벨, 제3 몰입 레벨 등)로 디스플레이하는 동안, 컴퓨터 시스템은 제1 사용자에 대응하는(예컨대, 컴퓨터 시스템이 제1 컴퓨터 생성 경험을 다른, 덜 몰입적인 몰입 레벨로부터 각자의 몰입 레벨로 디스플레이하는 것으로 전이한 후, 제1 시점 또는 기간 및/또는 제2 시점 또는 기간보다 늦은 제3 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 제2 업데이트된 생체측정 데이터를 수신하며, 여기에서 각자의 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 제1 몰입 레벨보다 제1 사용자의 시야의 더 큰 부분을 점유한다(예컨대, 각자의 몰입 레벨은 제2 몰입 레벨, 또는 제3 몰입 레벨임). 일부 실시예들에서, 제2 업데이트된 생체측정 데이터는 일정 기간 후에 수신되는, 심박수, 호흡률, 체온, 소정 화학물질, 약물, 호르몬들 등의 혈청 농도, 혈압, 뇌파들, 포커스 레벨, 동공 크기, 대사율, 혈당 레벨, 컴퓨터 생성 경험과의 사용자의 관여 동안 시간 경과에 따라 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 컴퓨터 생성 경험과의 사용자의 관여 동안 사용자 자신의 액션들(예컨대, 컴퓨터 시스템에 의해 제공되는 사용자 인터페이스 요소들 또는 제어부들과의 직접적인 상호작용과는 대조적으로, 명상, 호흡 패턴 변화, 운동 등)을 통해 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 사용자의 기분, 행복 및/또는 스트레스 레벨에 대응하는 다수의 유형들의 생체측정 데이터의 하나 이상의 유형들의 복합 메트릭들 등에 대한 제2 업데이트된 값들을 포함한다. 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간 및/또는 제2 시점 또는 기간보다 늦은 제3 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 제2 업데이트된 생체측정 데이터를 수신하는 것에 응답하여, 그리고 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간보다 늦은 제2 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 제2 업데이트된 생체측정 데이터가 제1 컴퓨터 생성 경험을 각자의 몰입 레벨(예컨대, 제2 몰입 레벨, 제3 몰입 레벨 등)로 디스플레이하는 것으로 전이하기 위해 충족되었던 각자의 기준들(예컨대, 제1 기준들, 제2 기준들 등)을 충족시키지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 각자의 몰입 레벨(예컨대, 제2 몰입 레벨, 제3 몰입 레벨 등)로 디스플레이하기 전에 사용되는 더 낮은 몰입 레벨(예컨대, 제1 몰입 레벨, 제2 몰입 레벨 등)로 제1 컴퓨터 생성 경험을 디스플레이한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터생성 환경의 몰입 레벨을 변경하는 것은, 현재 수신된 생체측정 데이터가 더 이상 제2 기준들을 충족시키지 않지만 여전히 제1 기준들을 충족시킨다는 결정에 따라, 컴퓨터 생성 환경을 제3 몰입 레벨(예컨대, 가상 현실 모드)로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제2 몰입 레벨(예컨대, 혼합 현실 모드, 또는 선택적으로 가상 현실 콘텐츠의 동시 디스플레이와 함께 임시 패스 스루 모드)로 디스플레이하는 것으로 스위칭하는 것을 포함한다. 일부 실시예들에서, 컴퓨터 생성 환경이 제2 몰입 레벨로 현재 디스플레이되어 있고, 컴퓨터 시스템이, 현재 생체측정 데이터가 더 이상 제1 기준들을 충족시키지 않고 제2 기준들을 충족시키지 않는다는 것을 검출할 때, 컴퓨팅 시스템은 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제1 몰입 레벨로 디스플레이하는 것으로 스위칭한다(예컨대, 혼합 현실 모드(예컨대, 혼합 현실 모드의 하위 모드 A)로부터 완전 패스 스루 모드로 스위칭함, 또는 그래픽 사용자 인터페이스(예컨대, 홈 스크린, 애플리케이션 개시 사용자 인터페이스) 또는 사용자 인터페이스 객체들(예컨대, 애플리케이션 개시 아이콘들, 콘텐츠 항목들 및 경험들의 표현들 등)의 디스플레이가 사용자의 시야의 주요 부분에 디스플레이되게 함). 예를 들어, 도 7j에서, 일부 실시예들에 따르면, 생체측정 데이터(7312)가 표시자(7326)에 의해 표시된 미리설정된 임계치를 충족시키는 것에 응답하여 컴퓨터 생성 경험이 높은 몰입 레벨로 디스플레이된 후, 생체측정 데이터가 더 이상 미리설정된 임계치를 충족시키지 않을 때, 컴퓨터 시스템은, 선택적으로, 도 7g 내지 도 7i에 도시된 상태들 중 임의의 것으로 복귀한다.
제1 사용자에 대응하는 제2 업데이트된 생체측정 데이터가 제1 컴퓨터 생성 경험을 각자의 몰입 레벨로 디스플레이하는 것으로 전이하기 위해 충족되었던 각자의 기준들을 충족시키지 않는다는 결정에 따라, 제1 컴퓨터 생성 경험을 각자의 몰입 레벨로 디스플레이하기 전에 사용되는 더 낮은 몰입 레벨로 제1 컴퓨터 생성 경험을 디스플레이하는 것은, 추가 사용자 입력(예컨대, 몰입 레벨을 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제1 컴퓨터 생성 경험을 적절한 몰입 레벨로 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 생체측정 데이터(예컨대, 도 7g 내지 도 7j의 생체측정 데이터(7312))는 제1 사용자의 호흡률을 포함하고, 제1 기준들은, 제1 기준들이 충족되기 위해, 제1 사용자의 호흡률이 제1 임계 호흡률 미만일 때 충족되는 기준을 포함한다. 일부 실시예들에서, 호흡률과 같은 생체측정 데이터는, 제1 사용자가 컴퓨터 시스템에 의해 제공되는 더 깊은 몰입 경험에 들어가고 제1 사용자를 둘러싸는 물리적 환경으로부터 더 적은 자극들을 받을 준비가 되었는지 여부의 표시로서 사용된다. 일부 실시예들에서, 더 낮은 호흡률은, 선택적으로, 다른 유형들의 생체측정 데이터와 조합하여, 사용자가 컴퓨터 생성 경험에 의해 제공되는 안내 명상의 다음 단계로 이동할 준비를 하고 있다는 것을 나타내는 데 사용된다. 일부 실시예들에서, 생체측정 데이터는 다른 유형들의 생리학적 데이터를 포함하고, 제1 기준들은 다른 유형들의 생리학적 데이터 중 각자의 것들에 대한 각자의 임계 값들을 포함한다. 일부 실시예들에서, 제1 기준들이 충족되기 위해서는 적어도 임계 수의 생체측정 데이터 유형들에 대한 각자의 임계 값들이 충족되어야 한다. 일부 실시예들에서, 제2 기준들은, 제2 기준들이 충족되기 위해, 제1 사용자의 호흡률이 제1 호흡률보다 낮은 제2 임계 호흡률 미만일 때 충족되는 기준을 포함한다. 일부 실시예들에서, 상이한 유형들의 생체측정 데이터에 대한, 반드시 더 낮지는 않은, 상이한 값들이 제2 기준들에서 임계치들에 대해 사용된다.
제1 사용자에 대응하는, 제1 사용자의 호흡률을 포함한 생체측정 데이터가, 제1 사용자의 호흡률이 제1 임계 호흡률 미만일 것을 요구하는 제1 기준들을 충족시킨다는 결정에 따라, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하고, 제1 사용자에 대응하는, 제1 사용자의 호흡률을 포함한 생체측정 데이터가, 제1 사용자의 호흡률이 제1 임계 호흡률 미만일 것을 요구하는 제1 기준들을 충족시키지 않는다는 결정에 따라, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 계속 디스플레이하는 것은, 추가 사용자 입력(예컨대, 몰입 레벨을 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제1 컴퓨터 생성 경험을 적절한 몰입 레벨로 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 기준들은, 제1 기준들이 충족되기 위해, 생체측정 데이터(예컨대, 도 7g 내지 도 7j의 생체측정 데이터(7312), 다른 생체측정 데이터 등)가 적어도 임계 시간 동안 하나 이상의 미리설정된 임계 값들(예컨대, 표시자(7326)에 의해 표시된 임계치, 다른 임계치들 등)을 만족시킨다는 요건을 포함한다. 예를 들어, 일부 실시예들에서, 생체측정 데이터는 제1 사용자의 호흡률 및/또는 제1 사용자의 심박수를 포함하고, 제1 기준들은, 제1 사용자의 평균 호흡률이 적어도 3분 동안 분당 15회의 호흡들 미만으로 유지되었고/되었거나 제1 사용자의 평균 심박수가 적어도 5분 동안 분당 65회의 박동들 미만으로 유지되었을 때 충족된다. 다른 예에서, 생체측정 데이터는 제1 사용자의 혈압 및/또는 제1 사용자의 산소공급 레벨을 포함하고, 제1 기준들은, 제1 사용자의 평균 혈압이 적어도 10분 동안 120/80의 제1 범위(예컨대, +/- 10)로 유지되었고/되었거나 제1 사용자의 산소공급 레벨이 적어도 3분 동안 99.9% 초과로 유지되었을 때 충족된다.
제1 사용자에 대응하는 생체측정 데이터가, 생체측정 데이터가 적어도 임계 시간 동안 하나 이상의 미리설정된 임계 값들을 만족시킬 것을 요구하는 제1 기준들을 충족시킨다는 결정에 따라, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하고, 제1 사용자에 대응하는, 제1 사용자의 호흡률을 포함한 생체측정 데이터가, 생체측정 데이터가 적어도 임계 시간 동안 하나 이상의 미리설정된 임계 값들을 만족시킬 것을 요구하는 제1 기준들을 충족시키지 않는다는 결정에 따라, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 계속 디스플레이하는 것은, 추가 사용자 입력(예컨대, 몰입 레벨을 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제1 컴퓨터 생성 경험을 적절한 몰입 레벨로 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 것은, 물리적 환경의 (제1 부분들과는 상이한) 하나 이상의 제2 부분들의 표현의 (예컨대, 각자의 제2 위치들에서의) 디스플레이를 유지하면서(예컨대, 물리적 환경의 일부분들은 디스플레이 생성 컴포넌트를 통해 사용자에게 (예컨대, 가상 콘텐츠에 인접하여, 가상 콘텐츠에 대한 주변 배경으로서 등) 보이는 상태로 유지됨), 물리적 환경의 하나 이상의 제1 부분들의 위치들에 대응하는 각자의 제1 위치들에 가상 콘텐츠(예컨대, 선택적으로 시간 경과에 따라 변화하고 있는 제1 컴퓨터 생성 경험의 가상 콘텐츠)(예컨대, 가상 콘텐츠는 가상 콘텐츠가 디스플레이되지 않았다면 사용자의 시야 내에 있었을 물리적 환경의 제1 부분들(예컨대, 단일 연속 부분, 또는 다수의 별개의 분리된 부분들 등)의 표현을 오버레이하거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하거나 기타 등등 함)를 디스플레이하는 것(예컨대, 물리적 환경의 증강 현실 뷰를 디스플레이하는 것, 또는 몇 개의 사용자 인터페이스 객체들과 함께 물리적 환경의 완전 패스 스루 뷰를 디스플레이하는 것 등)을 포함한다. 일부 실시예들에서, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 것은, 물리적 환경의 표현(예컨대, 카메라 뷰, 투명 디스플레이를 통한 패스 스루 뷰 등) 상에 오버레이되거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하거나 기타 등등 하는 가상 윈도우 또는 스크린 내에 가상 콘텐츠를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 것은 물리적 환경 내의 제1 물리적 표면(예컨대, 실제 창문, 벽, 테이블 상판 등) 또는 제1 수의(예컨대, 전부 미만의) 물리적 표면들(예컨대, 천장 및 바닥이 아닌 모든 벽들; 가구가 아닌 모든 벽들, 천장 및 바닥; 벽들이 아닌 테이블 상판 등)의 위치에 대응하는 위치들에 가상 콘텐츠를 디스플레이하는 것을 포함한다. 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것은, 물리적 환경의 하나 이상의 제1 부분들(예컨대, 사용자의 시야의 중심 근처의 일부분들)의 위치들에 대응하는 각자의 제1 위치들 및 물리적 환경의 하나 이상의 제2 부분들(예컨대, 사용자의 시야의 중심으로부터 더 멀리 떨어진 일부분들) 중 적어도 일부에 대응하는 각자의 제2 위치들에 가상 콘텐츠(예컨대, 선택적으로 시간 경과에 따라 변화하고 있는 제1 컴퓨터 생성 경험의 가상 콘텐츠)를 디스플레이하는 것을 포함한다(예컨대, 물리적 환경의 더 적은 부분들이 제2 몰입 레벨로 디스플레이 생성 컴포넌트를 통해 사용자에게 보이는 상태로 유지됨). 일부 실시예들에서, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것은, 물리적 환경의 표현(예컨대, 카메라 뷰, 투명 디스플레이를 통한 패스 스루 뷰 등)의 더 많거나 더 넓은 부분들 상에 오버레이되거나 그의 디스플레이를 대체하거나 또는 그의 뷰를 차단하거나 기타 등등 하는 가상 객체들과 함께 3차원 환경 내에 가상 콘텐츠를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것은 물리적 환경 내의 더 많은 물리적 표면들 및/또는 더 많은 유형들의 물리적 표면들(예컨대, 실제 창문, 벽, 테이블 상판, 가구 등)의 위치들에 대응하는 위치들에 가상 콘텐츠를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 컴퓨터 생성 경험을 제3 몰입 레벨로 디스플레이하는 것은 물리적 환경의 어떠한 부분의 표현도 디스플레이하지 않고서 가상 환경을 디스플레이하는 것(예컨대, 가상 현실 환경을 디스플레이하는 것)을 포함한다. 일부 실시예들에서, 가상 환경은 여전히 물리적 환경에 대응하고, 예컨대, 가상 환경에서의 가상 객체들 및 표면들의 위치들 및 공간적 관계들은 여전히 물리적 환경에서의 적어도 일부 물리적 객체들 및 표면들의 위치들 및 공간적 관계들에 대응한다. 일부 실시예들에서, 가상 환경은, 최소 범위(예컨대, 중력의 방향 및 바닥의 배향 등)를 제외하고는, 물리적 환경에 대응하지 않는다. 일부 실시예들에서, 제1 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 증강 현실 경험이고, 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 가상 경험이다.
물리적 환경의 하나 이상의 제2 부분들의 표현의 디스플레이를 유지하면서, 물리적 환경의 하나 이상의 제1 부분들의 위치들에 대응하는 각자의 제1 위치들에 가상 콘텐츠를 디스플레이하는 것을 포함하여, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하고, 물리적 환경의 하나 이상의 제1 부분들의 위치들에 대응하는 각자의 제1 위치들 및 물리적 환경의 하나 이상의 제2 부분들 중 적어도 일부에 대응하는 각자의 제2 위치들에 가상 콘텐츠를 디스플레이하는 것을 포함하여, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 현재 몰입 레벨에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 도 7g 내지 도 7j의 생체측정 데이터(7312), 또는 다른 생체측정 데이터)(예컨대, 주기적으로 수신된 데이터, 또는 지속적으로 수신된 데이터 등)를 수신하는 것에 응답하여, 그리고 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 가장 최근에 수신된 생체측정 데이터, 미리설정된 지속기간의 가장 최근 기간에 걸쳐 수신된 생체측정 데이터 등)의 변화가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는(예컨대, 심박수가 저하되어 제1 임계 심박수에 접근하고 있다는, 호흡률이 저하되어 제1 임계 호흡률에 접근하고 있다는, 체온이 감소하여 제1 임계 체온에 접근하고 있다는, 소정 화학물질, 약물, 호르몬들 등의 혈청 농도, 혈압, 뇌파들, 포커스 레벨, 동공 크기, 대사율, 혈당 레벨, 컴퓨터 생성 경험과의 사용자의 관여 동안 시간 경과에 따라 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 컴퓨터 생성 경험과의 사용자의 관여 동안 사용자 자신의 액션들(예컨대, 컴퓨터 시스템에 의해 제공되는 사용자 인터페이스 요소들 또는 제어부들과의 직접적인 상호작용과는 대조적으로, 명상, 호흡 패턴 변화, 운동 등)을 통해 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 사용자의 기분, 행복 및/또는 스트레스 레벨에 대응하는 다수의 유형들의 생체측정 데이터의 하나 이상의 유형들의 복합 메트릭들 등이, 지속되는 경우, 제1 기준들이 충족되게 할 추세로 변화하고 있다는) 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이되었던 동안 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분의 시각적 강조를 점진적으로 감소시키며(예컨대, 그를 흐릿하게 함, 그를 어둡게 함, 그를 차단함, 그를 대체함, 그를 오버레이함 등), 여기에서 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것은, 물리적 환경의 표현의 일부분에 대응하는 위치에 제1 컴퓨터 생성 경험의 가상 콘텐츠를 디스플레이하여서, 물리적 환경의 표현의 일부분이 제1 디스플레이 생성 컴포넌트를 통해 보이는 것이 중지되게 하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이될 때, 제1 사용자를 향하는 물리적 벽의 표현(예컨대, 벽의 패스 스루 뷰 또는 카메라 뷰)은 (예컨대, 가상 벽지를 갖는) 가상 벽, (예컨대, 가상 뷰를 갖는) 가상 창문, 가상 풍경(예컨대, 탁 트인 바다 전망, 탁 트인 풍경 등), 가상 데스크톱, 가상 영화 스크린 등에 의해 차단, 대체 또는 오버레이되는 한편, 방 안의 다른 물리적 벽들, 천장, 바닥, 가구는 여전히 디스플레이 생성 컴포넌트를 통해 사용자에게 보인다. 제1 사용자로부터 수신된 생체측정 데이터가 제1 기준들을 충족시킬 때, 컴퓨터 시스템은, 여전히 보이는 물리적 환경의 표현의 일부분들을 점진적으로 흐릿하게 하고/하거나 어둡게 하고, 그들을 가상 콘텐츠로 대체한다(예컨대, 기존 가상 콘텐츠의 확장, 새로운 가상 콘텐츠를 추가함 등). 일부 실시예들에서, 컴퓨터 시스템은, 물리적 환경의 표현의 흐릿해진 및/또는 어두워진 부분들을 점진적으로 대체하는(예컨대, 물리적 환경의 표현의 일부분들 뒤로부터 페이드 인함, 또는 물리적 환경의 표현의 일부분들의 주변 영역들로부터 서서히 들어옴 등), 가상 벽지, 가상 실내 장식, 가상 풍경, 가상 영화 스크린, 가상 데스크톱 등과 같은 가상 콘텐츠를 디스플레이한다. 전이가 완료될 때, 제1 컴퓨터 생성 경험의 사용자의 시야가 확장되었고, 물리적 환경이 디스플레이 생성 컴포넌트를 통해 덜 보인다.
제1 사용자에 대응하는 생체측정 데이터의 변화가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 결정에 따라, 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이되었던 동안 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분의 시각적 강조를 점진적으로 감소시키고, 물리적 환경의 표현의 일부분에 대응하는 위치에 제1 컴퓨터 생성 경험의 가상 콘텐츠를 디스플레이하여서, 물리적 환경의 표현의 일부분이 제1 디스플레이 생성 컴포넌트를 통해 보이는 것이 중지되게 하는 것을 포함하여, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 사용자에 대응하는 생체측정 데이터가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 개선된 시각적 피드백, 제1 기준들을 충족시키는 것을 향한 제1 사용자에 대응하는 생체측정 데이터의 상대적인 진행에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 도 7g 내지 도 7j의 생체측정 데이터(7312), 또는 다른 생체측정 데이터 등)(예컨대, 주기적으로 수신된 데이터, 또는 지속적으로 수신된 데이터 등)를 수신하는 것에 응답하여, 그리고 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 가장 최근에 수신된 생체측정 데이터, 미리설정된 지속기간의 가장 최근 기간에 걸쳐 수신된 생체측정 데이터 등)의 변화가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는(예컨대, 심박수가 저하되어 제1 임계 심박수에 접근하고 있다는, 호흡률이 저하되어 제1 임계 호흡률에 접근하고 있다는, 체온이 감소하여 제1 임계 체온에 접근하고 있다는, 소정 화학물질, 약물, 호르몬들 등의 혈청 농도, 혈압, 뇌파들, 포커스 레벨, 동공 크기, 대사율, 혈당 레벨, 컴퓨터 생성 경험과의 사용자의 관여 동안 시간 경과에 따라 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 컴퓨터 생성 경험과의 사용자의 관여 동안 사용자 자신의 액션들(예컨대, 컴퓨터 시스템에 의해 제공되는 사용자 인터페이스 요소들 또는 제어부들과의 직접적인 상호작용과는 대조적으로, 명상, 호흡 패턴 변화, 운동 등)을 통해 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 사용자의 기분, 행복 및/또는 스트레스 레벨에 대응하는 다수의 유형들의 생체측정 데이터의 하나 이상의 유형들의 복합 메트릭들 등이, 지속되는 경우, 제1 기준들이 충족되게 할 추세로 변화하고 있다는) 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이되었던 동안 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분의 시각적 속성을 제1 사용자에 대응하는 생체측정 데이터의 변화에 대응하는 양만큼 변경한다(예컨대, 그를 흐릿하게 함, 그를 어둡게 함, 그를 차단함, 그를 대체함, 그를 오버레이함 등). 예를 들어, 일부 실시예들에서, 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이될 때, 제1 사용자를 향하는 물리적 벽의 표현(예컨대, 벽의 패스 스루 뷰 또는 카메라 뷰)은 (예컨대, 가상 벽지를 갖는) 가상 벽, (예컨대, 가상 뷰를 갖는) 가상 창문, 가상 풍경(예컨대, 탁 트인 바다 전망, 탁 트인 풍경 등), 가상 데스크톱, 가상 영화 스크린 등에 의해 차단, 대체 또는 오버레이되는 한편, 방 안의 다른 물리적 벽들, 천장, 바닥, 가구는 여전히 디스플레이 생성 컴포넌트를 통해 사용자에게 보인다. 제1 사용자로부터 수신된 생체측정 데이터가 제1 기준들을 충족시키는 것을 향한 추세로 변화할 때, 컴퓨터 시스템은 가상 콘텐츠에 의해 아직 커버되지 않은 사용자의 시야의 영역에 적용되는 흐릿하게 함 및/또는 어둡게 함의 양을 점진적으로 강화한다. 선택적으로, 생체측정 데이터가 반대 추세로 변화하는 경우, 흐릿하게 함 및/또는 어둡게 함의 양이 점진적으로 감소되고, 그들 영역들에서의 물리적 환경의 뷰의 선명도가 다시 개선된다.
제1 사용자에 대응하는 생체측정 데이터의 변화가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 결정에 따라, 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이되었던 동안 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분의 시각적 속성을 제1 사용자에 대응하는 생체측정 데이터의 변화에 대응하는 양만큼 변경하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 사용자에 대응하는 생체측정 데이터가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 개선된 시각적 피드백, 제1 기준들을 충족시키는 것을 향한 제1 사용자에 대응하는 생체측정 데이터의 상대적인 진행에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 도 7g 내지 도 7j의 생체측정 데이터(7312), 또는 다른 생체측정 데이터 등)(예컨대, 주기적으로 수신된 데이터, 또는 지속적으로 수신된 데이터 등)를 수신하는 것에 응답하여, 그리고 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 가장 최근에 수신된 생체측정 데이터, 미리설정된 지속기간의 가장 최근 기간에 걸쳐 수신된 생체측정 데이터 등)의 변화가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는(예컨대, 심박수가 저하되어 제1 임계 심박수에 접근하고 있다는, 호흡률이 저하되어 제1 임계 호흡률에 접근하고 있다는, 체온이 감소하여 제1 임계 체온에 접근하고 있다는, 소정 화학물질, 약물, 호르몬들 등의 혈청 농도, 혈압, 뇌파들, 포커스 레벨, 동공 크기, 대사율, 혈당 레벨, 컴퓨터 생성 경험과의 사용자의 관여 동안 시간 경과에 따라 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 컴퓨터 생성 경험과의 사용자의 관여 동안 사용자 자신의 액션들(예컨대, 컴퓨터 시스템에 의해 제공되는 사용자 인터페이스 요소들 또는 제어부들과의 직접적인 상호작용과는 대조적으로, 명상, 호흡 패턴 변화, 운동 등)을 통해 달라질 수 있는 하나 이상의 유형들의 생체측정 데이터, 사용자의 기분, 행복 및/또는 스트레스 레벨에 대응하는 다수의 유형들의 생체측정 데이터의 하나 이상의 유형들의 복합 메트릭들 등이, 지속되는 경우, 제1 기준들이 충족되게 할 추세로 변화하고 있다는) 결정에 따라, 컴퓨터 시스템은, 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이되었던 동안 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분 상으로 가상 콘텐츠의 디스플레이를 제1 사용자에 대응하는 생체측정 데이터의 변화에 대응하는 양만큼 확장시킨다(예컨대, 그를 차단함, 그를 대체함, 그를 오버레이함 등). 예를 들어, 일부 실시예들에서, 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이될 때, 제1 사용자를 향하는 물리적 벽의 표현(예컨대, 벽의 패스 스루 뷰 또는 카메라 뷰)은 (예컨대, 가상 벽지를 갖는) 가상 벽, (예컨대, 가상 뷰를 갖는) 가상 창문, 가상 풍경(예컨대, 탁 트인 바다 전망, 탁 트인 풍경 등), 가상 데스크톱, 가상 영화 스크린 등에 의해 차단, 대체 또는 오버레이되는 한편, 방 안의 다른 물리적 벽들, 천장, 바닥, 가구의 표현들은 여전히 디스플레이 생성 컴포넌트를 통해 사용자에게 디스플레이된다. 제1 사용자로부터 수신된 생체측정 데이터가 제1 기준들을 충족시키는 것을 향한 추세로 변화할 때, 컴퓨터 시스템은 가상 콘텐츠에 의해 커버되는 사용자의 시야의 영역을 점진적으로 확장시켜 주변 물리적 환경의 뷰를 더 많이 차단한다. 선택적으로, 생체측정 데이터가 반대 추세로 변화하는 경우, 이전에 차단된/커버된 영역이 점진적으로 복원되고, 그들 영역들에서의 물리적 환경의 뷰를 다시 드러낸다.
제1 사용자에 대응하는 생체측정 데이터의 변화가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 결정에 따라, 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이되었던 동안 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분 상으로 가상 콘텐츠의 디스플레이를 제1 사용자에 대응하는 생체측정 데이터의 변화에 대응하는 양만큼 확장시키는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 사용자에 대응하는 생체측정 데이터가 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 개선된 시각적 피드백, 제1 기준들을 충족시키는 것을 향한 제1 사용자에 대응하는 생체측정 데이터의 상대적인 진행에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 기준들은, 제1 기준들이 충족되기 위해, 생체측정 데이터(예컨대, 도 7g 내지 도 7j의 생체측정 데이터(7312), 또는 다른 생체측정 데이터 등)가 수신되고 있을 때 제1 사용자(예컨대, 도 7g 내지 도 7j의 사용자(7002), 또는 다른 사용자 등)가 임계량 미만의 제1 유형의 이동(예컨대, 임계 시간 동안의 미리설정된 임계량 미만의 제1 유형의 이동, 임계 누적량 미만의 제1 유형의 이동, 절대량 미만의 제1 유형의 이동 등)(예컨대, 제1 유형의 이동은 머리의 이동, 신체의 중심의 이동, 사지의 이동, 및/또는 눈들의 이동 등을 포함함)을 행하는 기준을 포함한다. 예를 들어, 일부 실시예들에서, 수신되는 생체측정 데이터가 유효하다는 것을 보장하고/하거나 제1 사용자가 컴퓨터 생성 경험의 더 몰입적인 레벨에 진입하기 위해 진정되도록 의도한다는 것을 보장하기 위해, 제1 사용자는 생체측정 데이터가 수신되고 평가될 때 실질적으로 정지해 있는 상태로 유지되도록 요구된다. 일부 실시예들에서, 임계 시간 동안 제1 사용자의 임계량 초과의 이동이 검출되면, 컴퓨터 시스템은, 생체측정 데이터가 제1 기준에서 생체측정 데이터에 대해 특정된 요건들(예컨대, 호흡률, 심박수 등에 대한 임계 값들)을 충족시키는 경우에도, 제1 컴퓨터 생성 경험을 제2 몰입 레벨(또는 다른 다음 몰입 레벨)로 디스플레이하지 않는다(예컨대, 디스플레이하는 것을 보류함, 디스플레이하는 것을 중지함, 그의 디스플레이를 반전시킴 등).
제1 사용자에 대응하는 생체측정 데이터가, 생체측정 데이터가 수신되고 있을 때 제1 사용자가 임계량 미만의 제1 유형의 이동을 행할 것을 요구하는 제1 기준들을 충족시킨다는 결정에 따라, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하고, 제1 사용자에 대응하는, 제1 사용자의 호흡률을 포함한 생체측정 데이터가, 생체측정 데이터가 수신되고 있을 때 제1 사용자가 임계량 미만의 제1 유형의 이동을 행할 것을 요구하는 제1 기준들을 충족시키지 않는다는 결정에 따라, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 계속 디스플레이하는 것은, 추가 사용자 입력(예컨대, 몰입 레벨을 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제1 컴퓨터 생성 경험을 적절한 몰입 레벨로 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 동안, 컴퓨터 시스템은 제1 유형의 이동(예컨대, 머리의 이동, 신체의 중심의 이동, 사지의 이동, 눈들의 이동 등)이 제1 사용자(예컨대, 도 7g 내지 도 7j의 사용자(7002), 다른 사용자 등)에 의해 수행되는 것을 검출한다. 제1 유형의 이동이 제1 사용자에 의해 수행되는 것을 검출하는 것에 응답하여, 그리고 제1 유형의 이동이 미리설정된 임계량의 이동을 초과한다는(예컨대, 임계 시간 동안의 미리설정된 임계량 초과의 이동, 누적량 초과의 이동, 절대량 초과의 이동 등) 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 재디스플레이한다. 예를 들어, 일부 실시예들에서, 제1 사용자로부터 수신된 생체측정 데이터가 제1 기준들을 충족시킨 후, 그리고 제1 컴퓨터 생성 경험이 제2 몰입 레벨로 디스플레이되는 동안, 제1 사용자가 하나 이상의 미리설정된 방식들로 임계량을 초과하여 이동하는(예컨대, 제1 사용자가 일어선, 그/그녀의 머리를 이동시키는, 그의 팔들을 뻗는, 그의 시선을 이동시킨 등) 경우, 컴퓨터 시스템은 제1 사용자의 이동을 더 몰입적인 경험을 종료하려는 의도로 해석하고, 컴퓨터 생성 경험의 이전에 디스플레이된, 덜 몰입적인 레벨로 복귀한다. 이러한 특징부는 제1 사용자가 명상 또는 수면을 위해 컴퓨터 생성 경험을 사용하고 있을 때 유용하며, 제1 사용자의 이동은 사용자가 정상 상태로 복귀하도록 허용한다. 일부 실시예들에서, 수신되는 생체측정 데이터가 유효하다는 것을 보장하고/하거나 제1 사용자가 컴퓨터 생성 경험의 더 몰입적인 레벨에 진입하기 위해 진정되도록 의도한다는 것을 보장하기 위해, 제1 사용자는 생체측정 데이터가 수신되고 평가될 때 실질적으로 정지해 있는 상태로 유지되도록 요구된다. 일부 실시예들에서, 임계 시간 동안 제1 사용자의 임계량 초과의 이동이 검출되면, 컴퓨터 시스템은, 생체측정 데이터가 제1 기준에서 생체측정 데이터에 대해 특정된 요건들(예컨대, 호흡률, 심박수 등에 대한 임계 값들)을 여전히 충족시키는지 여부에 관계없이, 제2 몰입 레벨로의(또는 다음 몰입 레벨이 무엇이든 간에) 제1 컴퓨터 생성 경험의 디스플레이를 중지하거나 반전시킨다.
제1 유형의 이동이 제1 사용자에 의해 수행되는 것을 검출하는 것에 응답하여, 그리고 제1 유형의 이동이 미리설정된 임계량의 이동을 초과한다는 결정에 따라, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 재디스플레이하는 것은, 추가 사용자 입력(예컨대, 제1 몰입 레벨을 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 재디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, (예컨대, 도 7j에 도시된 바와 같이) 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 동안, 컴퓨터 시스템은 제1 유형의 이동(예컨대, 머리의 이동, 신체의 중심의 이동, 사지의 이동, 눈들의 이동 등)이 제1 사용자(예컨대, 도 7j의 사용자(7002))에 의해 수행되는 것을 검출한다. 제1 유형의 이동이 제1 사용자에 의해 수행되는 것을 검출하는 것에 응답하여, 그리고 제1 유형의 이동이 미리설정된 임계량의 이동을 초과한다는(예컨대, 임계 시간 동안의 미리설정된 임계량 초과의 이동, 누적량 초과의 이동, 절대량 초과의 이동 등) 결정에 따라, 컴퓨터 시스템은 제1 컴퓨터 생성 경험을 제1 시점으로 제2 몰입 레벨로 디스플레이하는 것으로부터 제1 컴퓨터 생성 경험을 제1 시점과는 상이한 제2 시점으로 제2 몰입 레벨로 디스플레이하는 것으로 스위칭한다(예컨대, 제2 몰입 레벨을 갖는 제1 컴퓨터 생성 경험의 시점의 변화는 제1 사용자에 의해 수행되는 제1 유형의 이동에 대응함). 예를 들어, 일단 생체측정 데이터의 변화에 의해 더 몰입적인 경험이 트리거되었으면, 제1 사용자는, 가상 환경의 뷰가 디스플레이되는 시점을 변경하기 위해, 물리적 환경에서 이리저리 이동하거나 그/그녀의 머리를 돌리거나 또는 상이한 방향들을 응시할 수 있다.
제1 유형의 이동이 제1 사용자에 의해 수행되는 것을 검출하는 것에 응답하여, 그리고 제1 유형의 이동이 미리설정된 임계량의 이동을 초과한다는 결정에 따라, 제1 컴퓨터 생성 경험을 제1 시점으로 제2 몰입 레벨로 디스플레이하는 것으로부터 제1 컴퓨터 생성 경험을 제1 시점과는 상이한 제2 시점으로 제2 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것은, 추가 사용자 입력(예컨대, 제1 시점으로부터 제2 시점으로 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 디스플레이된 시점을 스위칭한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 생성 경험(예컨대, 도 7g 내지 도 7j에서 제1 디스플레이 생성 컴포넌트(7100)를 통해 표시된 컴퓨터 생성 경험, 다른 컴퓨터 생성 경험 등)을 제1 몰입 레벨로 디스플레이하는 것으로부터 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것으로의 전이는, 제1 기준들이 충족되는 시간에 대응하는 시점에 이루어지는 이산 전이(예컨대, 점진적으로 흐릿하게 하거나 페이드 인하지 않고서, 물리적 표면들에 대응하는 위치들을 가로지르는 하나 이상의 방향들을 따른 증분 변경들 없이, 가상 콘텐츠로 물리적 환경의 표현의 큰 부분들을 동시에 대체하고/하거나 그의 뷰를 차단하고/하거나 그 상에 오버레이되는 급격한 변화들 등)이다. 예를 들어, 일부 실시예들에서, 제1 컴퓨터 생성 경험은 제1 기준들이 충족되기 전에 장기간 동안 제1 몰입 레벨로 디스플레이되고, 제1 기준들이 생체측정 데이터에 의해 충족될 시에, 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험이 제1 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험을 대체할 때 표시되는 명확하고 급격한 시각적 변화가 있다.
제1 기준들이 충족되는 시간에 대응하는 시점에 이루어지는 이산 전이로, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 것으로부터 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것으로 전이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 제1 몰입 레벨로부터 제2 몰입 레벨로 전이하였다는 개선된 시각적 피드백, 제1 기준들이 충족되었다는 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 제1 가상 환경을 묘사하고, 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 제1 가상 환경보다 더 큰 가상 깊이를 갖는 제2 가상 환경을 묘사한다(예컨대, 제1 가상 환경은 평평한 2차원 표면 상에 가상 콘텐츠를 갖고; 제2 가상 환경은 제1 사용자의 시점으로부터 상이한 깊이들에 가상 콘텐츠를 가짐). 제1 가상 환경을 묘사하는 제1 몰입 레벨로 제1 컴퓨터 생성 경험을 디스플레이하고, 제1 가상 환경보다 더 큰 가상 깊이를 갖는 제2 가상 환경을 묘사하는 제2 몰입 레벨로 제1 컴퓨터 생성 경험을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 제1 몰입 레벨을 디스플레이하고 있는지 또는 제2 몰입 레벨을 디스플레이하고 있는지에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 것은, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 동안 수신된 생체측정 데이터의 변화에 따라 변화하는 적어도 제1 시각적 특성(예컨대, 제1 가상 객체의 이동, 조명의 변화들 등)으로 제1 컴퓨터 생성 경험을 디스플레이하는 것을 포함하고, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것은, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 동안 수신된 생체측정 데이터의 변화에 따라 변화하는 적어도 제2 시각적 특성(예컨대, 제1 가상 객체의 이동, 조명의 변화들 등)으로 제1 컴퓨터 생성 경험을 디스플레이하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 제1 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 가상 숲 야경 내로의 뷰포트를 표시하고, 가상 나무들은 어두운 가상 하늘의 달과 별들에 의해 희미하게 조명된다. 호흡률의 감소 및/또는 산소공급 레벨의 증가와 같은, 제1 사용자로부터 수신된 생체측정 데이터의 변화에 따라, 가상 숲에 표시되는 조명 레벨은 그에 따라 증가하고, 가상의 어두운 하늘은 점차 밝아지고 붉어져 새벽의 도래를 시뮬레이션한다. 제1 기준들이 생체측정 데이터에 의해 충족될 때, 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 사용자의 시야 내의 확장된 영역이 가상 숲에 의해 점유되는 것을 표시하고(예컨대, 가상 숲이 사용자 주위로 확장되고, 3차원 환경의 현재 디스플레이된 뷰에 대응하는 시점을 둘러쌈), 태양의 가장자리가 가상 지평선 상에서 보이는 상태로 가상 장면에서 날이 밝는다. 호흡률의 (예컨대, 임계 레벨까지의) 지속적인 감소 및/또는 산소공급 레벨의 (예컨대, 임계 레벨까지의) 지속적인 증가와 같은, 제1 사용자로부터 수신된 생체측정 데이터의 추가 변화들에 따라, 가상 숲에 표시되는 조명 레벨은 그에 따라 계속 증가하고, 가상 하늘은 점차 밝아져 낮의 도래를 시뮬레이션한다. 다른 예에서, 제1 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 제1 사용자 전방의 제1 물리적 벽 표면의 위치에 대응하는 증강 현실 환경 내의 위치에서 파도가 부서지는 가상 바다 전망을 표시한다. 호흡률의 감소 및/또는 심박수의 감소와 같은, 제1 사용자로부터 수신한 생체측정 데이터의 변화에 따라, 바다 파도의 빈도 및/또는 크기가 그에 따라 감소한다. 제1 기준들이 생체측정 데이터에 의해 충족될 때, 제2 몰입 레벨로 디스플레이되는 제1 컴퓨터 생성 경험은 사용자의 시야 내의 확장된 영역이 바다 장면에 의해 점유되는 것을 표시한다(예컨대, 가상 바다 전망은 또한 2개의 측벽들의 위치들에 대응하는 위치들까지 연장됨). 호흡률의 (예컨대, 임계 레벨까지의) 지속적인 감소 및/또는 심박수의 (예컨대, 임계 레벨까지의) 지속적인 감소와 같은, 제1 사용자로부터 수신된 생체측정 데이터의 추가 변화들에 따라, 가상 바다 파도의 빈도 및/또는 크기가 그에 따라 계속 감소한다.
제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 동안 수신된 생체측정 데이터의 변화에 따라 변화하는 적어도 제1 시각적 특성으로 제1 컴퓨터 생성 경험을 디스플레이하는 것을 포함하여, 제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하고, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 동안 수신된 생체측정 데이터의 변화에 따라 변화하는 적어도 제2 시각적 특성으로 제1 컴퓨터 생성 경험을 디스플레이하는 것을 포함하여, 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 제1 몰입 레벨을 디스플레이하고 있는지 또는 제2 몰입 레벨을 디스플레이하고 있는지에 관한 개선된 시각적 피드백, 제1 사용자에 대응하는 생체측정 데이터의 변화들에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자(예컨대, 도 7g 내지 도 7j의 사용자(7002), 다른 사용자 등)의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 도 7g 내지 도 7j의 생체측정 데이터(7312), 다른 생체측정 데이터 등)(예컨대, 주기적으로 수신된 데이터, 또는 지속적으로 수신된 데이터 등)를 수신하는 것에 응답하여, 그리고 제1 사용자에 대응하는(예컨대, 제1 시점 또는 기간에서의 제1 사용자의 생리학적 상태에 대응하는) 생체측정 데이터(예컨대, 가장 최근에 수신된 생체측정 데이터, 미리설정된 지속기간의 가장 최근 기간에 걸쳐 수신된 생체측정 데이터 등)가 제1 기준들을 충족시킨다는(예컨대, 도 7j에 도시된 바와 같이, 생체측정 데이터가 표시자(7326)에 의해 표시된 임계치를 충족시킨다는) 결정에 따라, 컴퓨터 시스템은 오디오 출력 모드를 제1 오디오 출력 모드로부터 제2 오디오 출력 모드로(예컨대, 스테레오 사운드로부터 서라운드 사운드로, 헤드 로킹된 오디오로부터 공간 오디오로 등) 변경하며, 여기에서 제1 오디오 출력 모드는 제2 오디오 출력 모드보다 더 적은 계산 제어 변수들(예컨대, 각각의 음원의 음량, 각각의 음원의 위상, 음원들의 수, 이용가능한 음원들의 활성화 시퀀스 등)을 갖는다.
제1 사용자에 대응하는 생체측정 데이터가 제1 기준들을 충족시킨다는 결정에 따라, 오디오 출력 모드를 제1 오디오 출력 모드로부터 제1 오디오 출력 모드보다 더 많은 계산 제어 변수들을 갖는 제2 오디오 출력 모드로 변경하는 것은, 사용자에게 개선된 오디오 피드백(예컨대, 컴퓨터 시스템이 제1 몰입 레벨로부터 제2 몰입 레벨로 전이하였다는 개선된 오디오 피드백, 제1 사용자에 대응하는 생체측정 데이터가 제1 기준들이 충족시켰다는 개선된 오디오 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 10에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 9000, 11000, 12000))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 10과 관련하여 전술된 방법(10000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(10000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 11000, 12000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 11은 일부 실시예들에 따른, 물리적 환경의 표현을 포함하는 환경의 뷰를 디스플레이할 때 컴퓨터 시스템에 의해 제공되는 다수의 유형들의 감각 조정의 효과들을 모으는 방법의 흐름도이다.
일부 실시예들에서, 본 방법(11000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(11000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(11000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(11000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들 등)과 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및/또는 하나 이상의 입력 디바이스들과 별개인 메모리 및 하나 이상의 프로세서들을 포함하는 컴퓨팅 컴포넌트를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
컴퓨터 시스템은 물리적 환경의 제1 뷰(예컨대, 도 7k의 뷰(7340), 또는 다른 뷰 등)를 디스플레이하며, 여기에서 물리적 환경의 제1 뷰는 물리적 환경의 제1 부분의 제1 표현(예컨대, 도 7k의 표현들(7350', 7348' 등))을 포함한다(예컨대, 제1 표현은 물리적 환경의 제1 부분의 정규 색상 또는 B/W 카메라 뷰, 디스플레이 생성 컴포넌트의 패스 스루 부분을 통한 물리적 환경의 뷰 등임)(예컨대, 제1 표현은 하나 이상의 유형들의 컴퓨터 생성 감각 향상 없이 디스플레이되는 베이스라인 표현임)(11002). 물리적 환경의 제1 뷰를 디스플레이하는 동안, 컴퓨터 시스템은 2개 이상의 유형들의 컴퓨터 생성 감각 조정들(예컨대, 양안 비전, 히트 비전, 마이크로스코프 비전, 나이트 비전, 슈퍼 청력(super hearing) 등) 중 제1 유형의 컴퓨터 생성 감각 조정(예컨대, 양안, 히트 비전, 마이크로스코프 등)을 활성화하라는 요청에 대응하는 제1 사용자 입력(예컨대, 제1 사용자 인터페이스 제어부의 선택, 제1 방식으로의 제1 하드웨어 버튼의 활성화, 제1 미리정의된 제스처 입력의 수행, 제1 미리설정된 음성 커맨드의 발화 등)을 검출한다(11004). 제1 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 물리적 환경의 제2 뷰(예컨대, 도 7l에 도시된 제2 뷰(7361), 또는 다른 뷰 등)를 디스플레이하며, 여기에서 물리적 환경의 제2 뷰는 물리적 환경의 제1 부분의 제2 표현(예컨대, 도 7l의 표현들(7350", 7348" 등))을 포함하고, 물리적 환경의 제1 부분의 제2 표현은 제1 유형의 컴퓨터 생성 감각 조정(예컨대, 양안 비전, 마이크로스코프 비전, 히트 비전, 나이트 비전 등)에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등)을 갖는다(11006). 일부 실시예들에서, 물리적 환경의 제1 부분의 표현은, 표현에서 캡처된 대상의 크기, 해상도, 포커스 거리, 배율뿐만 아니라, 적용된 감각 조정에 의한 광 및/또는 색상 스펙트럼의 상이한 부분들의 향상 및/또는 억제로 인한 색상들 및 광 세기들의 분포들의 관점에서 베이스라인 표현에 대해 변경된다. 도 7k 및 도 7l에 도시된 예에서, 표현들(7350", 7348")은, 뷰(7340) 내의 표현들(7350', 7348')과 비교하여, 뷰(7361)의 시점에 더 가깝게 확대 및/또는 이동된다. 물리적 환경의 제2 뷰(예컨대, 도 7l의 뷰(7361), 또는 다른 뷰 등)를 디스플레이하는 동안, 컴퓨터 시스템은 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제2 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제2 사용자 입력(예컨대, 제2 사용자 인터페이스 제어부의 선택, 제2 방식으로의 제1 하드웨어 버튼의 활성화, 제1 방식으로의 제2 하드웨어 버튼의 활성화, 제2 미리정의된 제스처 입력의 수행, 제1 미리설정된 음성 커맨드의 발화 등)을 검출하며, 여기에서 제2 유형의 컴퓨터 생성 감각 조정은 제1 유형의 컴퓨터 생성 감각 조정과는 상이하다(11008). 제2 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 물리적 환경의 제3 뷰(예컨대, 뷰(7364), 또는 다른 뷰 등)를 디스플레이하며, 여기에서 물리적 환경의 제3 뷰는 물리적 환경의 제1 부분의 제3 표현(예컨대, 표현들(7350"', 7348"' 등))을 포함하고, 물리적 환경의 제1 부분의 제3 표현은 제1 유형의 컴퓨터 생성 감각 조정(예컨대, 양안 비전, 마이크로스코프 비전, 나이트 비전, 히트 비전 등)에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등), 및 제2 유형의 컴퓨터 생성 감각 조정(예컨대, 양안 비전, 마이크로스코프 비전, 나이트 비전, 히트 비전, 컬러 필터 등)에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등)(예컨대, 제2 디스플레이 속성은 제1 유형 및 제2 유형의 감각 향상들의 일부 조합들에서 제1 표현 및 제2 표현에서 동일한 값들을 가짐; 제2 디스플레이 속성은 제1 유형 및 제2 유형의 감각 향상들의 일부 조합들에서 제1 표현 및 제2 표현에서 상이한 값들을 가짐)을 갖는다(11010). 도 7k 내지 도 7m에 도시된 예에서, 표현들(7350", 7348")은, 뷰(7340) 내의 표현들(7350', 7348')과 비교하여, 뷰(7361)의 시점에 더 가깝게 확대 및/또는 이동되고; 표현들(7350"', 7348"')은, 표현들(7350", 7348")과 비교하여, 색상 및 세기가 변경된다.
일부 실시예들에서, 물리적 환경의 제3 뷰(예컨대, 도 7m의 뷰(7364), 또는 다른 뷰 등)를 디스플레이하는 동안, 컴퓨터 시스템은 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제3 유형의 컴퓨터 생성 감각 조정(예컨대, 도 7m의 어포던스(7358)에 대응하는 조정 기능, 아직 활성화되지 않은 다른 조정 기능 등)(예컨대, 양안 비전, 마이크로스코프 비전, 나이트 비전, 히트 비전, 컬러 필터 등)을 활성화하라는 요청에 대응하는 제3 사용자 입력을 검출하고 - 제3 유형의 컴퓨터 생성 감각 조정은 제1 유형의 컴퓨터 생성 감각 조정 및 제2 유형의 컴퓨터 생성 감각 조정과는 상이함 -, 제3 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 물리적 환경의 제4 뷰를 디스플레이하며, 여기에서 물리적 환경의 제4 뷰는 물리적 환경의 제1 부분의 제4 표현을 포함하고, 물리적 환경의 제1 부분의 제4 표현은 제1 유형의 컴퓨터 생성 감각 조정(예컨대, 양안 비전, 마이크로스코프 비전, 나이트 비전, 히트 비전, 컬러 필터 등)에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등), 제2 유형의 컴퓨터 생성 감각 조정(예컨대, 양안 비전, 마이크로스코프 비전, 나이트 비전, 히트 비전, 컬러 필터 등)에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등), 및 제3 유형의 컴퓨터 생성 감각 조정(예컨대, 양안 비전, 마이크로스코프 비전, 나이트 비전, 히트 비전, 컬러 필터 등)에 따라 물리적 환경의 제3 표현에 대해 조정되는 제3 디스플레이 속성(예컨대, 해상도, 줌 레벨, 배율, 색상 분포, 세기 분포, 포커스 거리 등)을 갖는다.
2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제3 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제3 사용자 입력을 검출하는 것에 응답하여, 제1 유형의 컴퓨터 생성 감각 조정에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성으로 물리적 환경의 제1 부분의 제4 표현을 포함하는 물리적 환경의 제4 뷰를 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1, 제2, 또는 제3 유형의 컴퓨터 생성 감각 조정을 선택 및/또는 활성화하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 도 7k 및 도 7l에 예시됨)(예컨대, 양안 비전, 단안 비전, 텔레스코프 비전 등)(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함한다. 일부 실시예들에서, 물리적 환경의 제1 표현을 디스플레이하는 것은 물리적 환경 내의 원거리 물리적 객체의 위치에 대응하는 제1 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 그 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제1 표현은, 또한, 원거리 물리적 객체가 물리적 환경에 나타남에 따라, 물리적 환경의 제1 표현에 멀리 나타난다. 물리적 환경의 제2 표현을 디스플레이하는 것은 제1 가상 위치보다 사용자의 시점 또는 가상 위치에 더 가까운 제2 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 제2 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제2 표현은 물리적 환경의 제2 표현에 덜 멀리 나타나고, 물리적 환경의 제2 표현의 사용자의 시야의 더 큰 부분을 점유한다. 물리적 환경의 제3 표현을 디스플레이하는 것은, 선택적으로 제2 가상 위치보다 사용자의 시점 또는 가상 위치에 훨씬 더 가까운 제3 가상 위치에 그리고 원거리 물리적 객체의 제2 표현의 크기에 비해 양의 배율(예컨대, 100배, 20배 등)로 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다(예컨대, 원거리 물리적 객체는 제2 또는 제3 가상 위치에서 확대된 것으로 보임). 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 제1 거리(예컨대, 30 미터, 50 미터 등)만큼 떨어진 나무의 카메라 뷰를 디스플레이하고; 이어서, 텔레스코프 뷰가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 물리적 환경의 현재 디스플레이된 표현에 대응하는 시점으로부터 제2 거리(예컨대, 5 미터, 10 미터 등)만큼 떨어져 있는 가상 위치에 나무의 텔레스코프 뷰를 디스플레이하며; 텔레스코프 뷰 및 마이크로스코프 뷰 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 현재 가상 위치(예컨대, 5 미터, 10 미터 등만큼 떨어져 있음)에 나무의 적어도 일부분의 확대된 뷰(예컨대, 30x 배율, 100x 배율 등)를 디스플레이한다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 텔레스코프 뷰, 및 마이크로스코프 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 제2 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 원거리 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전과 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 도 7k 및 도 7l에 예시됨)(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함한다. 일부 실시예들에서, 물리적 환경의 제1 표현을 디스플레이하는 것은 저조도 조건들 하에서 물리적 환경 내의 원거리 물리적 객체의 위치에 대응하는 제1 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 그 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제1 표현은, 또한, 원거리 물리적 객체가 물리적 환경에 나타남에 따라, 물리적 환경의 제1 표현에 멀리 나타나고, 물리적 환경의 저조도 조건으로 인해, 물리적 환경의 제1 표현은 어둡게 보이고, 객체들은 명확하게 식별가능하지 않다. 물리적 환경의 제2 표현을 디스플레이하는 것은 제1 가상 위치보다 사용자의 시점 또는 가상 위치에 더 가까운 제2 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 제2 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 그러나 여전히 저조도 조건들 하에서 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제2 표현은 물리적 환경의 제2 표현에 덜 멀리 나타나고, 물리적 환경의 제2 표현의 사용자의 시야의 더 큰 부분을 점유하지만, 물리적 환경의 저조도 조건으로 인해, 물리적 환경의 제2 표현은 여전히 어둡게 보이고, 객체들은 명확하게 식별가능하지 않다. 물리적 환경의 제3 표현을 디스플레이하는 것은 향상된 밝기 및/또는 콘트라스트(예컨대, 저조도 카메라들로부터의 이미지들로 향상됨, 또는 다수의 사진들을 조합하고/하거나 기계 학습을 사용함으로써 디지털 방식으로 향상됨 등)로 제2 가상 위치에 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 야간 동안 제1 거리(예컨대, 30 미터, 50 미터 등)만큼 떨어진 나무의 카메라 뷰를 디스플레이하고; 이어서, 텔레스코프 뷰가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 물리적 환경의 현재 디스플레이된 표현에 대응하는 시점으로부터 제2 거리(예컨대, 5 미터, 10 미터 등)만큼 떨어져 있는 가상 위치에 나무의 텔레스코프 뷰를 디스플레이하지만, 전체 장면은 밤의 저조도 조건으로 인해 여전히 어두우며; 텔레스코프 뷰 및 나이트 비전 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 현재 가상 위치(예컨대, 5 미터, 10 미터 등만큼 떨어져 있음)에 나무의 밝아지고 높은 콘트라스트의 이미지를 디스플레이한다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 텔레스코프 뷰, 및 나이트 비전 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 원거리 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전과 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 도 7k 및 도 7l에 예시됨)(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 도 7l 및 도 7m에 예시됨)(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함한다. 일부 실시예들에서, 물리적 환경의 제1 표현을 디스플레이하는 것은 물리적 환경 내의 원거리 물리적 객체의 위치에 대응하는 제1 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 그 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제1 표현은, 또한, 원거리 물리적 객체가 물리적 환경에 나타남에 따라, 물리적 환경의 제1 표현에 멀리 나타난다. 물리적 환경의 제2 표현을 디스플레이하는 것은 제1 가상 위치보다 사용자의 시점 또는 가상 위치에 더 가까운 제2 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 제2 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제2 표현은 물리적 환경의 제2 표현에 덜 멀리 나타나고, 물리적 환경의 제2 표현의 사용자의 시야의 더 큰 부분을 점유한다. 물리적 환경의 제3 표현을 디스플레이하는 것은 원거리 물리적 객체의 표현을 그의 열 방사 프로파일 또는 온도 맵과 함께 제2 가상 위치에 디스플레이하는 것을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 제1 거리(예컨대, 30 미터, 50 미터 등)만큼 떨어진 나무의 카메라 뷰를 디스플레이하고; 이어서, 텔레스코프 뷰가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 물리적 환경의 현재 디스플레이된 표현에 대응하는 시점으로부터 제2 거리(예컨대, 5 미터, 10 미터 등)만큼 떨어져 있는 가상 위치에 나무의 텔레스코프 뷰를 디스플레이하며; 텔레스코프 뷰 및 히트 비전 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 나뭇잎들 사이에 숨어 있는 다람쥐의 밝은 프로파일을 표시하는 나무의 히트 맵을 현재 가상 위치(예컨대, 5 미터, 10 미터 등만큼 떨어져 있음)에 디스플레이한다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 텔레스코프 뷰, 및 히트 비전 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 원거리 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전과 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 도 7k 및 도 7l에 예시됨)(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 필터(예컨대, 컬러 필터, 광 주파수 필터, 세기 필터, 모션 필터 등)로 물리적 객체들의 뷰를 수정하는 것을 포함한다. 일부 실시예들에서, 물리적 환경의 제1 표현을 디스플레이하는 것은 물리적 환경 내의 원거리 물리적 객체의 위치에 대응하는 제1 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 그 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제1 표현은, 또한, 원거리 물리적 객체가 물리적 환경에 나타남에 따라, 물리적 환경의 제1 표현에 멀리 나타난다. 물리적 환경의 제2 표현을 디스플레이하는 것은 제1 가상 위치보다 사용자의 시점 또는 가상 위치에 더 가까운 제2 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 제2 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제2 표현은 물리적 환경의 제2 표현에 덜 멀리 나타나고, 물리적 환경의 제2 표현의 사용자의 시야의 더 큰 부분을 점유한다. 물리적 환경의 제3 표현을 디스플레이하는 것은 원거리 물리적 객체의 표현을 색상들 및/또는 세기들 등 중 일부가 필터링된 상태로 제2 가상 위치에 디스플레이하는 것을 포함한다. 일부 실시예들에서, 모션 필터가 적용될 때, 모션이 없는 물리적 환경의 제2 표현의 일부들은 필터링되어, 모션(예컨대, 잎들, 동물들, 사람들 등의 이동)이 있는 일부들을 강조한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 제1 거리(예컨대, 30 미터, 50 미터 등)에 있는 나무의 카메라 뷰를 디스플레이하고; 이어서, 텔레스코프 뷰가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 물리적 환경의 현재 디스플레이된 표현에 대응하는 시점으로부터 제2 거리(예컨대, 5 미터, 10 미터 등)만큼 떨어져 있는 가상 위치에 나무의 텔레스코프 뷰를 디스플레이하며; 텔레스코프 뷰 및 컬러/세기/모션 필터들 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 나무의 희미한, 포화도를 저하시킨 이미지(컬러 필터 적용) 상의 밝은 주황색 모자 및 안전 조끼를 표시하는 나무의 필터링된 이미지를 현재 가상 위치(예컨대, 5 미터, 10 미터 등만큼 떨어져 있음)에, 또는 나무의 희미한, 포화도를 저하시킨 이미지 상에서 이동하는 위장한 곤충의 시각적 강조를 표시하는 나무의 필터링된 이미지를 현재 가상 위치(예컨대, 5 미터, 10 미터 등만큼 떨어져 있음)에 디스플레이한다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰 및 텔레스코프 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 물리적 객체들의 뷰를 수정하는 필터에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 원거리 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전과 물리적 객체들의 뷰를 수정하는 필터 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 도 7k 및 도 7l에 예시됨)(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 물리적 환경 내의 물리적 객체들의 서브세트(예컨대, 모든 사운드 생성 물리적 객체들, 현재 시야의 중심에 있는 물리적 객체들 등의 선택된 서브세트)에 대응하는 사운드들에 대한 선택적 오디오 향상(예컨대, 음량을 향상시키는 것, 소정 사운드 주파수들을 선택적으로 향상/억제시키는 것 등)을 포함한다. 일부 실시예들에서, 물리적 환경의 제1 표현을 디스플레이하는 것은 물리적 환경 내의 원거리 물리적 객체의 위치에 대응하는 제1 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 그 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제1 표현은, 또한, 원거리 물리적 객체가 물리적 환경에 나타남에 따라, 물리적 환경의 제1 표현에 멀리 나타난다. 물리적 환경의 제2 표현을 디스플레이하는 것은 제1 가상 위치보다 사용자의 시점 또는 가상 위치에 더 가까운 제2 가상 위치에 (예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 제2 가상 위치에 대한 대응하는 크기 및 디스플레이 해상도로) 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 예를 들어, 원거리 물리적 객체의 제2 표현은 물리적 환경의 제2 표현에 덜 멀리 나타나고, 물리적 환경의 제2 표현의 사용자의 시야의 더 큰 부분을 점유한다. 물리적 환경의 제3 표현을 디스플레이하는 것은 원거리 물리적 객체의 표현 상에서의 또는 그 부근에서의 물리적 환경 내의 국소화된 음원의 시각적 식별과 함께 제2 가상 위치에 원거리 물리적 객체의 표현을 디스플레이하는 것을 포함하며, 여기에서, 국소화된 음원으로부터의 사운드에 대응하는 향상된 오디오 출력은 물리적 환경의 제3 표현의 디스플레이와 함께 출력된다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 야간 동안 제1 거리(예컨대, 30 미터, 50 미터 등)만큼 떨어진 나무의 카메라 뷰를 디스플레이하고; 이어서, 텔레스코프 뷰가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 물리적 환경의 현재 디스플레이된 표현에 대응하는 시점으로부터 제2 거리(예컨대, 5 미터, 10 미터 등)만큼 떨어져 있는 가상 위치에 나무의 텔레스코프 뷰를 디스플레이하며; 텔레스코프 뷰 및 향상된 청력 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 나무에서 노래하는 새의 위치를 나타내는 현재 가상 위치(예컨대, 5 미터만큼 떨어져 있음, 3 미터만큼 떨어져 있음 등)에 나무의 이미지 상에 오버레이되는 원을 디스플레이한다. 새로부터의 국소화된 지저귀는 소리는, 선택적으로, 공간 오디오 출력 모드로, 시점으로부터 제2 거리(예컨대, 5 미터, 10 미터 등)만큼 떨어진 나무의 뷰와 함께 재생된다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 텔레스코프 뷰, 및 국소화된 사운드들은, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 원거리 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전과 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 환경의 제3 표현(예컨대, 도 7m에 도시된 표현, 또는 다른 표현 등)을 디스플레이하는 것과 동시에, 컴퓨터 시스템은 물리적 환경의 제3 표현에서 보이는 물리적 환경의 제1 부분(예컨대, 도 7m의 일부분들(7366", 7368"), 또는 다른 부분 등)에 대응하는 사운드들을 출력하며, 여기에서 사운드들은 물리적 환경의 제1 부분 외측의 소스들로부터의 사운드들에 비해 선택적으로 향상된다(예컨대, 일부 선택된 주파수들의 진폭들에 대한 수정들을 갖고서, 음량이 증가됨 등). 예시적인 시나리오에서, 2개의 나무들이 전체 물리적 환경으로부터 캡처된 사운드들의 오디오 출력과 함께 물리적 환경의 제1 표현에서 보이고; 텔레스코프 뷰 및 향상된 청력이 활성화된 상태에서 제1 나무를 볼 때, 제1 나무에서 지저귀는 새의 소리가 제2 나무에서 바스락거리는 다람쥐들의 소리에 비해 향상되고(예컨대, 더 크게 됨), 제1 나무의 가상 위치에 대응하는 가상 위치를 갖도록 공간 오디오로 재생된다. 물리적 환경의 제3 표현을 디스플레이하는 것과 동시에, 물리적 환경의 제2 표현에서 보이는 물리적 환경의 제1 부분에 대응하는 사운드들을 출력하는 것 - 사운드들은 물리적 환경의 제1 부분 외측의 소스들로부터의 사운드들에 비해 선택적으로 향상됨 - 은, 사용자에게 개선된 오디오 피드백(예컨대, 물리적 환경의 제1 부분에 관한 개선된 오디오 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 환경의 제3 표현을 디스플레이하는 것과 동시에, 컴퓨터 시스템은 물리적 환경의 제2 표현 및 제3 표현 둘 모두에서 보이는 물리적 환경의 제1 부분(예컨대, 도 7m의 일부분들(7366", 7368"), 또는 다른 부분 등)으로부터 나오는 스피치에 대응하는 텍스트 출력을 디스플레이하며, 여기에서 스피치는 물리적 환경의 제1 부분 외측의 소스들로부터의 사운드들에 비해 선택적으로 향상된다. 예시적인 시나리오에서, 나무 및 집이 전체 물리적 환경으로부터 캡처된 사운드들의 오디오 출력과 함께 물리적 환경의 제1 표현에서 보이고; 텔레스코프 뷰 및 향상된 청력이 활성화된 상태에서 집을 볼 때, 집으로부터의 스피치의 사운드가 나무에서 지저귀는 새의 소리에 비해 향상되고(예컨대, 더 크고 더 명확하게 됨 등), 자막들, 전사들, 번역들과 같은 텍스트 출력이 디스플레이된다. 일부 실시예들에서, 스피치 사운드들은 대응하는 오디오 번역들로 대체된다. 물리적 환경의 제3 표현을 디스플레이하는 것과 동시에, 물리적 환경의 제2 표현 및 제3 표현 둘 모두에서 보이는 물리적 환경의 제1 부분으로부터 나오는 스피치에 대응하는 텍스트 출력을 디스플레이하는 것 - 스피치는 물리적 환경의 제1 부분 외측의 소스들로부터의 사운드들에 비해 선택적으로 향상됨 - 은, 사용자에게 개선된 시각적 피드백(예컨대, 물리적 환경의 제1 부분으로부터 나오는 스피치에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 도 7l 및 도 7m에 예시됨)(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 모바일 폰 내의 마이크로칩의 카메라 뷰를 디스플레이하고; 이어서, 마이크로스코프 뷰가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 마이크로칩의 확대된 뷰를 디스플레이하며; 마이크로스코프 뷰 및 히트 비전 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 마이크로칩 상의 저온 영역들에 비해 고온 영역들을 표시하는 마이크로칩의 히트 맵을 현재 확대 레벨로 디스플레이한다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 마이크로스코프 뷰, 및 히트 비전 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다. 제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전과 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 도 7k 및 도 7l에 예시됨)(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 밤에 제1 거리(예컨대, 30 미터, 60 미터 등)만큼 떨어진 나무의 카메라 뷰를 디스플레이하고, 나무의 상세사항들은 저조도 조건들로 인해 거의 보이지 않으며; 이어서, 나이트 비전이 활성화된 상태에서, 디스플레이 생성 컴포넌트는 제1 거리(예컨대, 30 미터, 60 미터 등)만큼 떨어진 곳에 나무를 표시하는 카메라 뷰의 밝아지고 높은 콘트라스트의 이미지를 디스플레이하며; 나이트 비전 및 텔레스코프 뷰 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 5 미터만큼 떨어진 가상 위치에 나무의 밝아지고 높은 콘트라스트의 이미지를 디스플레이한다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전과 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 어두운 방에서 테이블 상판의 카메라 뷰를 디스플레이한다. 방의 상세사항들은 저조도 조건들로 인해 거의 보이지 않으며; 이어서, 나이트 비전이 활성화된 상태에서, 디스플레이 생성 컴포넌트는 테이블 위의 일부 동전들을 표시하는 방의 밝아지고 높은 콘트라스트의 이미지를 디스플레이하며; 나이트 비전 및 마이크로스코프 뷰 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 동전들의 상세사항들을 표시하는 확대된 동전들의 밝아지고 높은 콘트라스트의 이미지를 디스플레이한다. 일부 실시예들에서, 동전들의 마이크로스코프 이미지들은, 선택적으로, 나이트 비전 이미지들의 것 및/또는 테이블 상판의 카메라 뷰와는 상이한 시간에 캡처된다. 카메라들인 상이한 유형들의 센서들로부터의 정보는 조합되어 물리적 환경의 제3 표현을 생성한다. 일부 실시예들에서, 물리적 환경의 제1 표현 및/또는 제2 표현으로부터 추출된 정보(예컨대, 동전들의 크기, 동전들 상의 이미지들의 특성들 등)는 물리적 환경의 제3 표현(예컨대, 제1 표현 및 제2 표현에 의해 캡처되지 않은 동전들의 더 많은 상세사항들을 표시함)을 생성하기 위해 물리적 환경의 상세사항들에 관한 추가 정보(예컨대, 동전들의 유형들, 동전들의 연도, 동전들의 재료들 등)를 (예컨대, 온라인 소스들, 이미지 데이터베이스들 등으로부터) 획득하기 위한 기초로서 사용된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전과 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 도 7l 및 도 7m에 예시됨)(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 밤에 나무의 카메라 뷰를 디스플레이한다. 나무의 상세사항들은 저조도 조건들로 인해 거의 보이지 않고; 이어서, 나이트 비전이 활성화된 상태에서, 디스플레이 생성 컴포넌트는 2개의 둥지들을 표시하는 나무의 밝아지고 높은 콘트라스트의 이미지를 디스플레이하며; 나이트 비전 및 히트 비전 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 둥지들의 밝아지고 높은 콘트라스트의 이미지를 디스플레이하며, 이때 하나의 둥지는 다른 하나의 둥지와는 상이한 색상 및/또는 광 세기를 가져, 하나의 둥지는 최근에 동물이 서식하고 있고 다른 하나의 둥지는 그렇지 않다는 것을 나타낸다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 나이트 비전 뷰, 및 히트 비전 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전과 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 물리적 환경 내의 물리적 객체들의 서브세트(예컨대, 모든 사운드 생성 물리적 객체들, 현재 시야의 중심에 있는 물리적 객체들 등의 선택된 서브세트)에 대응하는 사운드들에 대한 선택적 오디오 향상(예컨대, 음량을 향상시키는 것, 소정 사운드 주파수들을 선택적으로 향상/억제시키는 것 등)을 포함한다. 일부 실시예들에서, 물리적 환경의 제1 표현을 디스플레이하는 것은 저조도 조건에서 물리적 객체의 표현을 디스플레이하는 것을 포함한다. 물리적 환경의 제2 표현을 디스플레이하는 것은 전체 방으로부터 캡처된 사운드의 정상 오디오 출력과 함께 어두운 방의 밝아지고 높은 콘트라스트의 이미지를 디스플레이하는 것을 포함한다. 물리적 환경의 제3 표현을 디스플레이하는 것은, 이미지에서 식별되고 시각적으로 강조된 국소화된 음원, 및 국소화된 음원으로부터의 사운드에 대응하는 향상된 오디오 출력과 함께, 어두운 방의 동일한, 밝아지고 높은 콘트라스트의 이미지를 디스플레이하는 것을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 식별가능한 사운드가 없는 어두운 방의 카메라 뷰를 디스플레이하고; 이어서, 나이트 비전이 활성화된 상태에서, 디스플레이 생성 컴포넌트는 방 안의 가구 및 가전제품들을 표시하는 어두운 방의 향상된 밝기 및 높은 콘트라스트의 뷰를 디스플레이하며; 나이트 비전 및 향상된 청력 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 저주파 진동 사운드들을 들을 수 있는 냉장고의 위치를 나타내는, 어두운 방의 밝아지고 높은 콘트라스트의 이미지 상에 오버레이되는 원을 디스플레이한다. 냉장고로부터의 국소화된 사운드는, 선택적으로, 공간 오디오 출력 모드로 그리고 냉장고의 진동들에서의 주파수들의 향상으로, 방의 나이트 비전 뷰와 함께 향상되고 재생된다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 텔레스코프 뷰, 및 국소화된 사운드들은, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다. 일부 실시예들에서, 향상된 오디오가 요청되는 음원을 선택하는 사용자 입력(예컨대, 나이트 비전 뷰에서의 냉장고 상에서의 탭, 다른 음원을 선택하는 다른 입력 등)이 검출된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전과 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 도 7l 및 도 7m에 예시됨)(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(예컨대, 도 7k 및 도 7l에 예시됨)(예컨대, 객체들이 사용자에게 더 가깝게 보이도록 그들의 포커스 거리를 감소시키는 것)을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 숲의 카메라 뷰를 디스플레이하고; 이어서, 히트 비전이 활성화된 상태에서, 히트 비전 뷰 내의 숲의 하나의 영역은 히트 비전 뷰 내의 숲의 다른 영역들보다 더 높은 온도를 갖는 것으로 보이고, 더 높은 온도를 갖는 숲의 영역은 히트 비전 뷰에서 제1 거리(예컨대, 50 미터, 100 미터 등)만큼 떨어져 있다. 히트 비전 뷰 및 양안 뷰 둘 모두가 활성화될 때, 디스플레이 생성 컴포넌트는 물리적 환경의 현재 디스플레이된 표현에 대응하는 시점으로부터 제2 거리(예컨대, 5 미터, 10 미터 등)만큼 떨어져 있는 가상 위치에 더 높은 온도를 갖는 영역의 텔레스코프 뷰를 디스플레이한다. 제2 거리(예컨대, 5 미터, 10 미터 등)만큼 떨어진 가상 위치에 디스플레이되는 더 높은 온도를 갖는 영역의 히트 맵은 연기가 나는 죽은 나무 줄기의 표현을 표시한다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 텔레스코프 뷰, 및 히트 비전 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전과 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 도 7l 및 도 7m에 예시됨)(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 모바일 디바이스의 내부 구조물의 카메라 뷰를 디스플레이하고; 이어서, 히트 비전이 활성화된 상태에서, 모바일 디바이스의 내부 구조물의 하나의 영역은 히트 비전 뷰 내의 구조물의 다른 영역들보다 더 높은 온도를 갖는 것으로 보이고, 더 높은 온도를 갖는 구조물의 영역은 수정된 색상으로 표시된다. 히트 비전 뷰 및 마이크로스코프 뷰 둘 모두가 활성화될 때, 디스플레이 생성 컴포넌트는 더 높은 온도를 갖는 영역의 확대된 뷰를 디스플레이한다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 텔레스코프 뷰, 및 히트 비전 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전과 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 도 7l 및 도 7m에 예시됨)(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(예컨대, 저조도 조건들에서의 높은 감도, 객체들의 밝기가 시각적으로 향상됨, 밝기의 작은 변화들이 확대됨 등)을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 밤에 집의 카메라 뷰를 디스플레이한다. 집의 상세사항들은 저조도 조건들로 인해 거의 보이지 않고; 이어서, 히트 비전이 활성화된 상태에서, 디스플레이 생성 컴포넌트는, 히트 비전 뷰의 하나의 영역이 히트 비전 뷰의 다른 부분들보다 더 높은 온도를 갖는 것으로 보이는 것을 디스플레이하지만, 집의 어떤 구조적 부분이 고온 영역을 수용하는지 불명확하며; 나이트 비전 및 히트 비전 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 집의 밝아지고 높은 콘트라스트의 이미지를 디스플레이하여, 집의 전면을 따라 내려가는 홈통 내측의 고온 영역을 표시한다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 나이트 비전 뷰, 및 히트 비전 뷰는, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전과 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(예컨대, 도 7l 및 도 7m에 예시됨)(예컨대, 온도 변화들에 대한 높은 감도, 온도 및/또는 열 방사 변화들에 따른 색상 및/또는 세기 변화들을 제시하는 것 등)을 포함하고, 제2 유형의 컴퓨터 생성 감각 조정은 물리적 환경 내의 물리적 객체들의 서브세트(예컨대, 모든 사운드 생성 물리적 객체들, 현재 시야의 중심에 있는 물리적 객체들 등의 선택된 서브세트)에 대응하는 사운드들에 대한 선택적 오디오 향상(예컨대, 음량을 향상시키는 것, 소정 사운드 주파수들을 선택적으로 향상/억제시키는 것 등)을 포함한다. 예시적인 사용 시나리오에서, 디스플레이 생성 컴포넌트는 먼저 밤에 집의 카메라 뷰를 디스플레이한다. 집의 상세사항들은 저조도 조건들로 인해 거의 보이지 않고; 이어서, 히트 비전이 활성화된 상태에서, 디스플레이 생성 컴포넌트는, 히트 비전 뷰의 하나의 영역이 히트 비전 뷰의 다른 부분들보다 더 높은 온도를 갖는 것으로 보이는 것을 디스플레이하지만, 집의 어떤 구조적 부분이 고온 영역을 수용하는지 불명확하며; 나이트 비전 및 히트 비전 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 집의 밝아지고 높은 콘트라스트의 이미지를 디스플레이하여, 집의 전면을 따라 내려가는 홈통 내측의 고온 영역을 표시하고; 나이트 비전 및 향상된 청력 둘 모두가 활성화된 상태에서, 디스플레이 생성 컴포넌트는 음원(예컨대, 코 고는 설치류들의 둥지)의 위치를 나타내는, 고온 영역 상에 오버레이되는 원을 디스플레이한다. 강조된 음원으로부터의 국소화된 사운드는, 선택적으로, 공간 오디오 출력 모드로 그리고 음원으로부터의 사운드의 향상으로, 집의 히트 비전 뷰와 함께 향상되고 재생된다. 일부 실시예들에서, 물리적 객체의 동일한 부분의 카메라 뷰, 히트 비전 뷰, 및 국소화된 사운드들은, 선택적으로, 상이한 카메라들 및/또는 센서들에 의해 캡처되거나, 또는 선택적으로, 계산 기법들로 향상된다. 일부 실시예들에서, 향상된 오디오가 요청되는 음원을 선택하는 사용자 입력(예컨대, 나이트 비전 뷰에서의 핫 스폿(hot spot) 상에서의 탭)이 검출된다.
제1 사용자 입력을 검출하는 것에 응답하여, 물리적 환경의 제1 부분의 제2 표현을 포함하는 물리적 환경의 제2 뷰를 디스플레이하고 - 물리적 환경의 제1 부분의 제2 표현은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -, 물리적 환경의 제1 부분의 제3 표현을 포함하는 물리적 환경의 제3 뷰를 디스플레이하는 것 - 물리적 환경의 제1 부분의 제3 표현은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전에 따라 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성, 및 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정에 따라 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 은, 추가의 디스플레이된 제어부들(예컨대, 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전과 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정 사이에서 선택 또는 스위칭하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 11에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 12000))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 11과 관련하여 전술된 방법(11000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(11000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 12000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 12는 일부 실시예들에 따른, 3차원 환경의 뷰 내의 물리적 환경의 일부분이 각자의 유형의 운동에 대응한다는 결정에 따라 3차원 환경의 뷰 내에 각자의 유형의 운동에 대응하는 가상 콘텐츠를 선택적으로 디스플레이하는 방법의 흐름도이다.
일부 실시예들에서, 본 방법(12000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(12000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(12000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 본 방법(12000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 디스플레이 생성 컴포넌트(7100) 등)(예컨대, 헤드업 디스플레이, HMD, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들 등)과 통신하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트 및/또는 하나 이상의 입력 디바이스들과 별개인 메모리 및 하나 이상의 프로세서들을 포함하는 컴퓨팅 컴포넌트를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.
컴퓨터 시스템은 3차원 환경(예컨대, 도 7n(A)의 장면(105), 다른 물리적 환경 등)의 제1 뷰(예컨대, 도 7n(B)의 뷰(7405), 다른 뷰 등)(예컨대, 가상 요소들이 없거나 최소의 가상 요소들을 갖는 현실 뷰, 컴퓨터 시스템의 기본 기능들을 제어하기 위한 사용자 인터페이스 객체들(예컨대, 상이한 컴퓨터 생성 경험들을 개시하기 위한 애플리케이션 아이콘들, 디스플레이 설정들, 오디오 제어부들 등)을 갖는 현실 뷰, 낮은 몰입 레벨로 디스플레이되는 증강 현실 뷰(예컨대, 특정 애플리케이션 경험(예컨대, 건강 앱, 명상 앱, 운동 앱, 게임 앱 등)의 일부가 아니고, 전체적으로 사용자의 시야의 작은 백분율(예컨대, 10% 미만, 20% 미만 등)만을 점유하거나 국한된 부유 윈도우들 내에 디스플레이되는 사용자 인터페이스 객체들(예컨대, 애플리케이션 개시 패드, 웰컴 사용자 인터페이스, 설정 사용자 인터페이스) 등을 디스플레이함) 등)를 디스플레이하며, 여기에서 3차원 환경의 제1 뷰는 물리적 환경의 제1 부분의 제1 표현을 포함한다(예컨대, 제1 표현은 제1 디스플레이 생성 컴포넌트를 통해 3차원 환경을 보기 위해 제1 디스플레이 생성 컴포넌트와 물리적 공간적 관계에 있는 사용자를 둘러싸는 물리적 환경의 제1 부분의 정규 카메라 뷰, 제1 디스플레이 생성 컴포넌트의 패스 스루 부분을 통한 물리적 환경의 뷰 등임)(12002). 물리적 환경의 제1 부분의 제1 표현을 포함하는 3차원 환경의 제1 뷰를 디스플레이하는 동안, 컴퓨터 시스템은 물리적 환경의 제1 위치(예컨대, 도 7n(A)의 사용자(7002)의 위치, 다른 위치 등)로부터 제2 위치(예컨대, 도 7o(A)의 사용자(7002)의 위치, 도 7p(A)의 사용자(7002)의 위치, 다른 위치 등)로의 제1 사용자(예컨대, 도 7n 내지 도 7p의 사용자(7002), 다른 사용자 등)의 이동(예컨대, 제1 디스플레이 생성 컴포넌트로서의 역할을 하는 HMD를 착용한 상태에서의 제1 사용자 전체의 이동(예컨대, 걷기, 클라이밍(climbing) 등), 제1 디스플레이 생성 컴포넌트로서의 역할을 하는 디스플레이 또는 프로젝터를 갖는 모바일 디바이스를 휴대한 제1 사용자의, 물리적 환경에서의 제1 위치로부터 제2 위치로의 이동(예컨대, 모바일 디바이스 및 디스플레이의 이동을 야기하는 사용자의 팔의 이동, 디스플레이를 갖는 모바일 디바이스를 휴대한 사용자 전체의 이동) 등)을 검출한다(12004). 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 것에 응답하여(12006), 그리고 제2 위치로의 이동이 제1 기준들을 충족시킨다는 결정에 따라 - 제1 기준들은, 제1 기준들이 충족되기 위해, 제2 위치가 제1 유형의 운동과 연관된 위치에 대응한다는(예컨대, 위치가 제1 유형의 운동 장비(예컨대, 로잉 머신들, 계단, 트레드밀, 클라이밍 월(climbing wall), 고정식 자전거들, 웨이트 트레이닝 머신들, 펀칭 백들 등)를 갖는다는, 위치가 제1 유형의 운동(예컨대, 수영, 로잉, 명상, 요가, 리프팅, 키킹(kicking), 걷기, 달리기, 댄싱(dancing), 클라이밍, 테니스 치기, 농구하기, 체조하기 등)에 대해 설계된(예컨대, 적절한 바닥 표면, 매트, 수영장, 벽들, 구조물들 등을 가짐) 위치라는 등) 제1 요건을 포함함 -, 컴퓨터 시스템은 3차원 환경의 제2 뷰(예컨대, 도 7o(B)의 뷰(7408), 또는 다른 뷰 등)(예컨대, 현재 위치에 대응하는 제1 특정 컴퓨터 생성 경험에 대응하는 더 많은 가상 요소들을 갖는 증강 현실 뷰, 현재 위치에 대응하는 제1 컴퓨터 생성 경험의 미리보기 또는 시작을 보여주는 증강 현실 뷰, 더 높은 몰입 레벨로 디스플레이되는 증강 현실 뷰(예컨대, 제1 특정 애플리케이션 경험(예컨대, 가상 하이킹 트레일들, 가상 풍경, 스코어 보드들, 운동 통계들, 운동 파라미터들을 변경하는 제어부들 등)의 일부이고, 전체적으로 사용자의 시야의 상당한 백분율(예컨대, 60% 초과, 90% 초과 등)을 점유하거나 3차원 가상 또는 증강 현실 환경 내에 디스플레이되는 사용자 인터페이스 객체들 등을 디스플레이함) 등)를 디스플레이하며, 여기에서 3차원 환경의 제2 뷰는 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠(예컨대, 도 7o(B)의 가상 오픈 워터(7406), 다른 가상 콘텐츠 등)(예컨대, 트레드밀 운동 프로그램을 위한 하이킹 트레일 풍경, 로잉 머신 운동을 위한 호수 장면, 킥복싱을 위한 경기장, 클라이밍 월 운동을 위한 가상 절벽 면, 가상 테니스 게임을 위한 가상 테니스 코트, 및/또는 제1 유형의 운동에 대한 사용자 인터페이스 제어부들, 스코어들, 통계들 등, 기타 등등)를 포함하고, 제1 세트의 가상 콘텐츠는 제2 위치를 포함하는 물리적 환경의 일부분의 표현(예컨대, 제1 유형의 운동을 위한 실제 장비 또는 제1 유형의 운동에 대해 설계된 방 등의 뷰)(예컨대, 제1 유형의 운동에 대응하는 가상 콘텐츠는 그를 오버레이하여, 그의 뷰를 차단하여, 그의 디스플레이를 대체하여, 기타 등등하여 디스플레이됨)의 물리적 환경의 제2 부분(예컨대, 도 7o(A)의 사용자(7002)의 위치, 다른 위치 등)의 제2 표현의 적어도 일부분을 대체한다(12008). 일부 실시예들에서, 위의 요건은 제1 기준들이 충족되기 위한 유일한 요건이다. 일부 실시예들에서, 위의 요건은 제1 기준들이 충족되기 위해 모두 충족될 필요가 없는 제1 기준들에서의 하나 이상의 다른 요건들에 대한 대안적인 요건이다. 일부 실시예들에서, 위의 요건은 제1 기준들이 충족되기 위해 모두 충족되어야 하는 제1 기준들에서의 하나 이상의 다른 요건들에 추가되는 요건이다. 일부 실시예들에서, 제1 기준들이 충족되기 위해, 대안적인 조건(또는 추가 조건)으로서, 사용자는 운동과 연관된 액션, 예를 들어, 특성 모션을 시작하는 것(예컨대, 트레드밀 상에서 걷기 시작하는 것, 계단 스테퍼를 밟는 것, 일립티컬 상에서 다리들을 앞뒤로 이동시키는 것, 또는 로잉 머신 상에서 로잉을 시작하는 것), 또는 하나의 운동 장비 상에 올라서는 것/그 상에 앉는 것을 수행하여야 한다. 본 방법(12000)에서, 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 것에 응답하여, 제2 위치로의 이동이 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라 - 제2 기준들은, 제2 기준들이 충족되기 위해, 제2 위치가 제2 유형의 운동과 연관된 위치에 대응한다는(예컨대, 위치가 제2 유형의 운동 장비(예컨대, 로잉 머신들, 계단, 트레드밀, 클라이밍 월, 웨이트 트레이닝 머신들, 펀칭 백들 등)를 갖는다는, 위치가 제2 유형의 운동(예컨대, 수영, 로잉, 명상, 요가, 리프팅, 키킹, 걷기, 달리기, 댄싱, 클라이밍, 테니스 치기, 농구하기, 체조하기 등)에 대해 설계된(예컨대, 적절한 바닥 표면, 매트, 수영장, 벽들, 구조물들 등을 가짐) 위치라는 등) 제2 요건을 포함하고, 제2 유형의 운동은 제1 유형의 운동과는 상이함 -, 컴퓨터 시스템은 3차원 환경의 제3 뷰(예컨대, 도 7p(B)의 뷰(7410), 또는 다른 뷰 등)(예컨대, 현재 위치에 대응하는 제2 특정 컴퓨터 생성 경험에 대응하는 더 많은 가상 요소들을 갖는 증강 현실 뷰, 현재 위치에 대응하는 제2 컴퓨터 생성 경험의 미리보기 또는 시작을 보여주는 증강 현실 뷰, 더 높은 몰입 레벨로 디스플레이되는 증강 현실 뷰(예컨대, 제2 특정 애플리케이션 경험(예컨대, 가상 하이킹 트레일들, 가상 풍경, 스코어 보드들, 운동 통계들, 운동 파라미터들을 변경하는 제어부들 등)의 일부이고, 전체적으로 사용자의 시야의 상당한 백분율(예컨대, 60% 초과, 90% 초과 등)을 점유하거나 3차원 가상 또는 증강 현실 환경 내에 디스플레이되는 사용자 인터페이스 객체들 등을 디스플레이함) 등)를 디스플레이하며, 여기에서 3차원 환경의 제3 뷰는 제2 유형의 운동에 대응하는 제2 세트의 가상 콘텐츠(예컨대, 트레드밀 운동 프로그램을 위한 하이킹 트레일 풍경, 로잉 머신 운동을 위한 호수 장면, 킥복싱을 위한 경기장, 클라이밍 월 운동을 위한 가상 절벽 면, 가상 테니스 게임을 위한 가상 테니스 코트, 및/또는 제2 유형의 운동에 대한 사용자 인터페이스 제어부들, 스코어들, 통계들 등, 기타 등등)를 포함하고, 제2 세트의 가상 콘텐츠는 제1 세트의 가상 콘텐츠와는 상이하며(예컨대, 가상 하이킹 트레일 대 가상 호수 장면; 가상 테니스 코트 대 가상 복싱 링; 약물을 위한 가상 초원 대 춤을 위한 가상 무대 등), 제2 세트의 가상 콘텐츠(예컨대, 도 7p(B)의 가상 하이킹 트레일(7412), 다른 가상 콘텐츠 등)는 제2 위치(예컨대, 도 7p(A)의 사용자(7002)의 위치, 다른 위치 등)를 포함하는 물리적 환경의 제3 부분의 제3 표현의 적어도 일부분을 대체한다(예컨대, 제2 유형의 운동에 대응하는 가상 콘텐츠는 물리적 환경의 일부분의 표현(예컨대, 제1 유형의 운동을 위한 실제 장비 또는 제1 유형의 운동에 대해 설계된 방 등의 뷰)을 오버레이하여, 그의 뷰를 차단하여, 그의 디스플레이를 대체하여, 기타 등등하여 디스플레이됨)(12010). 일부 실시예들에서, 위의 요건은 제1 기준들이 충족되기 위한 유일한 요건이다. 일부 실시예들에서, 위의 요건은 제1 기준들이 충족되기 위해 모두 충족될 필요가 없는 제1 기준들에서의 하나 이상의 다른 요건들에 대한 대안적인 요건이다. 일부 실시예들에서, 위의 요건은 제1 기준들이 충족되기 위해 모두 충족되어야 하는 제1 기준들에서의 하나 이상의 다른 요건들에 추가되는 요건이다. 일부 실시예들에서, 제1 기준들이 충족되기 위해, 대안적인 조건(또는 추가 조건)으로서, 사용자는 운동과 연관된 액션, 예를 들어, 특성 모션을 시작하는 것(예컨대, 트레드밀 상에서 걷기 시작하는 것, 계단 스테퍼를 밟는 것, 일립티컬 상에서 다리들을 앞뒤로 이동시키는 것, 또는 로잉 머신 상에서 로잉을 시작하는 것), 또는 하나의 운동 장비 상에 올라서는 것/그 상에 앉는 것을 수행하여야 한다. 이들 특징부들은 도 7n 내지 도 7p에 예시되어 있으며, 여기에서 사용자(7002)가 한 위치로부터 다른 위치로 이동할 때, 사용자(7002)의 현재 위치에 따라, 컴퓨터 시스템은 어떤 유형의 운동이 사용자(7002)의 현재 위치와 연관되는지를 결정한다. 현재 위치가 제1 유형의 운동과 연관되는 경우(예컨대, 객체(7404)를 포함하는 위치), 컴퓨터 시스템은 제1 유형의 운동(예컨대, 로잉, 보트 타기 등)에 대응하는 가상 콘텐츠(7408)(도 7o)를 디스플레이한다. 현재 위치가 제2 유형의 운동과 연관되는 경우(예컨대, 객체(7402)를 포함하는 위치), 컴퓨터 시스템은 제2 유형의 운동(예컨대, 하이킹, 걷기 등)에 대응하는 가상 콘텐츠(7410)(도 7p)를 디스플레이한다.
일부 실시예들에서, 컴퓨터 시스템은 제2 위치에서의 제1 유형의 운동 장비(예컨대, 도 7o의 객체(7404), 다른 장비 등)의 검출(예컨대, 제2 위치에서 제1 유형의 운동 장비에 대응하는 RFID 신호를 검출하는 것, 제2 위치를 캡처하는 카메라 피드에서 제2 위치에서 제1 유형의 운동 장비의 이미지를 검출하는 것, 제2 위치가 제1 유형의 운동 장비에 대한 등록된 위치와 매칭된다는 것을 검출하는 것 등)(예컨대, 제1 유형의 운동 장비는 제2 유형의 운동 장비와는 상이하고, 제2 유형의 운동에 대응하지 않음)에 따라 제2 위치가 제1 유형의 운동과 연관된 위치에 대응한다고 결정한다. 컴퓨터 시스템은 제2 위치에서의 제2 유형의 운동 장비(예컨대, 도 7p의 객체(7402), 다른 장비 등)의 검출(예컨대, 제2 위치에서 제2 유형의 운동 장비에 대응하는 RFID 신호를 검출하는 것, 제2 위치를 캡처하는 카메라 피드에서 제2 위치에서 제2 유형의 운동 장비의 이미지를 검출하는 것, 제2 위치가 제2 유형의 운동 장비에 대한 등록된 위치라는 것을 검출하는 것 등)에 따라 제2 위치가 제2 유형의 운동과 연관된 위치에 대응한다고 결정하며, 여기에서 제2 유형의 운동 장비는 제1 유형의 운동 장비와는 상이하고 제1 유형의 운동에 대응하지 않는다. 예를 들어, 제1 사용자가 트레드밀 앞의 위치로 걸어갈 때, HMD는 제1 디스플레이 생성 컴포넌트를 통해 제공되는 사용자의 시야 내에서 트레드밀의 표현을 차단하거나 그의 디스플레이를 대체하거나 또는 그를 오버레이하는 가상 하이킹 트레일을 디스플레이하고; 제1 사용자가 로잉 머신 앞의 위치로 걸어갈 때, HMD는 제1 디스플레이 생성 컴포넌트를 통해 제공되는 사용자의 시야 내에서 로잉 머신의 표현을 차단하거나 그의 디스플레이를 대체하거나 또는 그를 오버레이하는 가상 호수 장면을 디스플레이한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 가상 콘텐츠는, 제1 사용자가 한 위치로부터 다른 위치로(예컨대, 체육관 입구로부터 트레드밀 앞으로, 트레드밀 앞으로부터 로잉 머신 앞으로 등) 이동할 때, 현실 뷰, 상이한 가상 장면들을 갖는 상이한 증강 현실 뷰들, 및/또는 상이한 가상 환경들 등 사이에서 자동적으로(예컨대, 사용자 인터페이스 요소 또는 음성 커맨드를 사용하여 가상 콘텐츠 또는 프로그램을 구체적으로 선택하는 사용자 입력들 없이) 변경된다.
제2 위치로의 이동이 제2 위치가 제1 유형의 운동과 연관된 위치에 대응할 것을 요구하는 제1 기준들을 충족시킨다는 결정에 따라 - 컴퓨터 시스템은 제2 위치에서의 제1 유형의 운동 장비의 검출에 따라 제2 위치가 제1 유형의 운동과 연관된 위치에 대응한다고 결정함 -, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 포함하는 3차원 환경의 제2 뷰를 디스플레이하고, 제2 위치로의 이동이 제2 위치가 제2 유형의 운동과 연관된 위치에 대응할 것을 요구하는, 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라 - 컴퓨터 시스템은 제2 위치에서의 제2 유형의 운동 장비의 검출에 따라 제2 위치가 제2 유형의 운동과 연관된 위치에 대응한다고 결정함 -, 제2 유형의 운동에 대응하는, 제1 세트의 가상 콘텐츠와는 상이한 제2 세트의 가상 콘텐츠를 포함하는 3차원 환경의 제3 뷰를 디스플레이하는 것은, 추가 사용자 입력(예컨대, 제1 또는 제2 유형의 운동에 대응하는 가상 콘텐츠 세트를 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 가상 콘텐츠 세트를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 환경에서의 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 것에 응답하여 3차원 환경의 제2 뷰(예컨대, 도 7o의 뷰(7408), 또는 도 7p의 뷰(7410), 다른 뷰 등)를 디스플레이하는 것은, 물리적 환경의 제2 부분(예컨대, 도 7o의 객체(7404)를 포함하는 장면(105)의 일부분, 및 도 7p의 객체(7402)를 포함하는 장면(105)의 일부분 등)의 제2 표현을 점진적으로 감소시키는 것(예컨대, 물리적 환경의 제2 부분의 표현의 점점 더 많은 부분들의 디스플레이를 중지하는 것, 물리적 환경의 제2 부분의 표현을 페이드 아웃하는 것 등), 및 물리적 환경의 제2 부분의 제2 표현이 점진적으로 감소된 3차원 환경의 제2 뷰의 영역들에서 제1 유형의 운동에 대응하는 가상 콘텐츠의 두드러짐을 점진적으로 증가시키는 것(예컨대, 가상 콘텐츠를 디스플레이하기 시작하는 것, 가상 콘텐츠의 가시성을 증가시키는 것, 가상 콘텐츠에 의해 점유되는 사용자의 시야의 비율을 증가시키는 것, 가상 콘텐츠의 불투명도 또는 밝기를 증가시키는 것 등)을 포함한다. 일부 실시예들에서, 물리적 환경에서의 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 것에 응답하여 3차원 환경의 제3 뷰를 디스플레이하는 것은, 물리적 환경의 제3 부분의 표현을 점진적으로 감소시키는 것(예컨대, 물리적 환경의 제3 부분의 표현의 점점 더 많은 부분들의 디스플레이를 중지하는 것, 물리적 환경의 제3 부분의 표현을 페이드 아웃하는 것 등), 및 물리적 환경의 제3 부분의 표현이 점진적으로 감소된 3차원 환경의 제3 뷰의 영역들에서 제2 유형의 운동에 대응하는 가상 콘텐츠를 점진적으로 증가시키는 것(예컨대, 가상 콘텐츠를 디스플레이하는 것, 그의 가시성을 증가시키는 것 등)을 포함한다. 예를 들어, 일부 실시예들에서, 제1 사용자가 트레드밀 앞에 서 있고/있거나 트레드밀 상에 올라설 때, 물리적 환경(예컨대, 트레드밀의 하드웨어 제어 패널, 사용자 앞의 벽, 동일한 방 안의 다른 운동 기계들 등)의 사용자의 시야가 점진적으로 변경되며, 이때 물리적 환경의 표현의 점점 더 많은 부분들이 사라지고/사라지거나 트레드밀 운동에 대응하는 가상 콘텐츠(예컨대, 하이킹 트레일 풍경, 가상 호수 주위의 가상 포장 길 등)로 대체된다. 궁극적으로, 사용자가 트레드밀 상에서 걷기 시작할 때, 사용자의 전체 시야는 산길 또는 호숫가 길의 가상 풍경으로 채워진다. 일부 실시예들에서, 가상 콘텐츠는 가상 3차원 환경이고, 사용자는 트레드밀 상에서 걷는 동안 그/그녀의 머리를 이리저리, 또는 위아래로 돌림으로써 가상 3차원 환경의 상이한 부분들을 볼 수 있다.
물리적 환경의 제2 부분의 제2 표현을 점진적으로 감소시키고, 물리적 환경의 제2 부분의 제2 표현이 점진적으로 감소된 3차원 환경의 제2 뷰의 영역들에서 제1 유형의 운동에 대응하는 가상 콘텐츠의 두드러짐을 점진적으로 증가시키는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 시스템이 물리적 환경에서의 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하였다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 기준들은, 제1 기준들이 충족되기 위해, 제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제1 유형의 운동에 대응하는 제1 미리정의된 이동(예컨대, 도 7o의 객체(7404) 상에 앉는 것, 도 7p의 객체(7402)를 밟는 것)(예컨대, 특성 모션을 시작하는 것(예컨대, 트레드밀 상에서 걷기 시작하는 것, 계단 스테퍼를 밟는 것, 일립티컬 상에서 다리들을 앞뒤로 이동시키는 것, 또는 로잉 머신 상에서 로잉을 시작하는 것 등), 제1 유형의 운동에 대응하는 하나의 운동 장비 상에 올라서는 것/그 상에 앉는 것(예컨대, 로잉 머신, 또는 웨이트 트레이닝 머신 등 상에 앉는 것), 제1 유형의 운동에 대응하는 준비 자세에 들어가는 것(예컨대, 가상 테니스 공을 치기 위한 준비 자세로 서는 것, 명상 또는 요가를 시작하기 위해 바닥 상에 앉는 것 등) 등)이 뒤따른다는 제3 요건을 포함한다. 일부 실시예들에서, 제2 기준들은, 제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제2 유형의 운동에 대응하는 제2 미리정의된 이동이 뒤따른다는 제4 요건을 포함하며, 여기에서 제2 미리정의된 이동은 제1 유형의 이동과는 상이하다. 일부 실시예들에서, 제2 미리정의된 이동은 제1 미리정의된 이동과 동일하다. 예를 들어, 킥복싱을 위한 가상 환경을 시작하기 위한 미리정의된 이동은, 선택적으로, 복싱을 위한 가상 환경을 시작하기 위한 미리정의된 이동 요건과 동일하다. 예를 들어, 발레를 위한 가상 환경을 시작하기 위한 미리정의된 이동은, 선택적으로, 현대 무용을 위한 가상 환경을 시작하기 위한 미리정의된 이동 요건과는 상이하다. 일부 실시예들에서, 컴퓨터 시스템은, 제1 사용자가 제2 위치에 있고 제2 위치가 제1 유형의 운동에 대응하는 위치인 경우에도, 제1 유형의 운동에 대응하는 제1 미리정의된 이동이 검출될 때까지, 제1 유형의 운동에 대응하는 가상 콘텐츠를 디스플레이하기 시작하지 않는다. 일부 실시예들에서, 컴퓨터 시스템은, 제1 사용자가 제2 위치에서 검출되고 제2 위치가 제1 운동 유형과 연관된 위치일 때, 제1 유형의 운동과 연관된 가상 콘텐츠의 디스플레이를 트리거하기 위해 제1 사용자가 제1 미리정의된 이동을 제공하기 위한 시각적 프롬프트를 디스플레이한다.
제2 위치로의 이동이 제1 기준들을 충족시킨다는 결정에 따라 - 제1 기준들은, 제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제1 유형의 운동에 대응하는 제1 미리정의된 이동이 뒤따른다는 제3 요건을 포함함 -, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 포함하는 3차원 환경의 제2 뷰를 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 디스플레이하기 위한 추가의 디스플레이된 제어부들, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠의 디스플레이를 보류하기 위한 추가의 디스플레이된 제어부들 등)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 것에 응답하여, 그리고 제2 위치로의 이동이, 제1 기준들 및 제2 기준들과는 상이한 제3 기준들을 충족시킨다는 결정에 따라 - 제3 기준들은 제2 위치가 제1 유형의 운동 및 제2 유형의 운동과는 상이한 제3 유형의 운동과 연관된 위치에 대응한다는(예컨대, 제2 위치는, 선택적으로, 제1 유형의 운동 및 제3 유형의 운동 둘 모두와 연관됨) 그리고 제3 기준들이 충족되기 위해, 제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제3 유형의 운동에 대응하는 제3 미리정의된 이동(예컨대, 특성 모션을 시작하는 것(예컨대, 트레드밀 상에서 걷기 시작하는 것, 계단 스테퍼를 밟는 것, 일립티컬 상에서 다리들을 앞뒤로 이동시키는 것, 또는 로잉 머신 상에서 로잉을 시작하는 것 등), 각자의 유형의 운동에 대응하는 하나의 운동 장비 상에 올라서는 것/그 상에 앉는 것(예컨대, 로잉 머신, 또는 웨이트 트레이닝 머신 등 상에 앉는 것), 각자의 유형의 운동에 대응하는 준비 자세에 들어가는 것(예컨대, 가상 테니스 공을 치기 위한 준비 자세로 서는 것, 명상 또는 요가를 시작하기 위해 바닥 상에 앉는 것 등) 등)이 뒤따른다는 요건을 포함하고, 제3 미리정의된 이동은 제1 미리정의된 이동과는 상이함 -, 컴퓨터 시스템은 3차원 환경의 제4 뷰(예컨대, 현재 위치에 대응하는 제3 특정 컴퓨터 생성 경험에 대응하는 더 많은 가상 요소들을 갖는 증강 현실 뷰, 현재 위치에 대응하는 제3 컴퓨터 생성 경험의 미리보기 또는 시작을 보여주는 증강 현실 뷰, 더 높은 몰입 레벨로 디스플레이되는 증강 현실 뷰(예컨대, 제3 특정 애플리케이션 경험(예컨대, 가상 하이킹 트레일들, 가상 풍경, 스코어 보드들, 운동 통계들, 운동 파라미터들을 변경하는 제어부들 등)의 일부이고, 전체적으로 사용자의 시야의 상당한 백분율(예컨대, 60% 초과, 90% 초과 등)을 점유하거나 3차원 가상 또는 증강 현실 환경 내에 디스플레이되는 사용자 인터페이스 객체들 등을 디스플레이함) 등)를 디스플레이한다. 3차원 환경의 제4 뷰는 제3 유형의 운동에 대응하는 제3 세트의 가상 콘텐츠(예컨대, 트레드밀 운동 프로그램을 위한 하이킹 트레일 풍경, 로잉 머신 운동을 위한 호수 장면, 킥복싱을 위한 경기장, 클라이밍 월 운동을 위한 가상 절벽 면, 가상 테니스 게임을 위한 가상 테니스 코트, 및/또는 제3 유형의 운동에 대한 사용자 인터페이스 제어부들, 스코어들, 통계들 등, 기타 등등)를 포함한다. 제3 세트의 가상 콘텐츠는 제1 세트의 가상 콘텐츠 및 제2 세트의 가상 콘텐츠와는 상이하고, 제3 세트의 가상 콘텐츠는 물리적 환경의 제2 부분의 제2 표현의 적어도 일부분을 대체한다(예컨대, 제2 위치는 제1 유형의 운동 및 제3 유형의 운동 둘 모두에 대응하고, 제1 세트의 가상 콘텐츠가 디스플레이되는지 또는 제3 세트의 가상 콘텐츠가 디스플레이되는지는, 제1 사용자가 제2 위치에 있는 동안 제1 미리정의된 이동이 검출되는지 또는 제3 미리정의된 이동이 검출되는지에 의존함).
제2 위치로의 이동이, 제2 위치가 제1 유형의 운동 및 제2 유형의 운동과는 상이한 제3 유형의 운동과 연관된 위치에 대응할 것을 그리고 제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제3 유형의 운동에 대응하는, 제1 미리정의된 이동과는 상이한 제3 미리정의된 이동이 뒤따를 것을 요구하는, 제1 기준들 및 제2 기준들과는 상이한 제3 기준들을 충족시킨다는 결정에 따라, 제3 유형의 운동에 대응하는, 제1 세트의 가상 콘텐츠 및 제2 세트의 가상 콘텐츠와는 상이한 제3 세트의 가상 콘텐츠를 포함하는 3차원 환경의 제4 뷰를 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 디스플레이하기 위한 추가의 디스플레이된 제어부들, 제3 유형의 운동에 대응하는 제3 세트의 가상 콘텐츠를 디스플레이하기 위한 추가의 디스플레이된 제어부들 등)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은, 제2 위치와 연관된 각자의 유형의 운동(예컨대, 제1 유형의 운동, 제2 유형의 운동, 제3 유형의 운동 등)에 대응하는 미리정의된 이동의 진행 또는 지속기간 중 적어도 하나에 따라, 제1 사용자의 시야에(예컨대, 도 7o(B) 및 도 7p(B)에 도시된 뷰 내에 등) 디스플레이되는 가상 콘텐츠의 양을 점진적으로 증가시킨다. 예를 들어, 일부 실시예들에서, 실제 세계의 뷰는 점진적으로 사라지고/사라지거나 디스플레이되는 것이 중지되고, 각자의 유형의 운동에 대응하는 가상 콘텐츠에 의해 점진적으로 대체된다. 일부 실시예들에서, 컴퓨터 시스템은, 각자의 유형의 운동에 대응하는 각자의 가상 환경이 제1 디스플레이 생성 컴포넌트를 통해 완전히 디스플레이될 때까지, 제1 사용자의 시야 내에 디스플레이되는 가상 콘텐츠의 양을 점진적으로 증가시킨다(예컨대, 3차원 환경의 제2 뷰는 제1 유형의 운동에 대응하는 가상 환경을 포함함, 3차원 환경의 제3 뷰는 제2 유형의 운동에 대응하는 가상 환경을 포함함 등). 예를 들어, 일부 실시예들에서, 오픈 짐이 요가 및 댄스 둘 모두와 연관되는 위치일 때, 제1 사용자가 오픈 짐에 도착한 후, 제1 사용자가 나마스테 포즈로 앉는 경우, 컴퓨터 시스템은 사용자가 가상 해변 상에서 요가를 연습하도록 바다 소리들과 함께 가상 바다 뷰를 디스플레이하고; 제1 사용자가 댄서 포즈로 서 있는 경우, 컴퓨터 시스템은 제1 사용자가 댄스를 연습하도록 댄스 음악과 함께 가상 무대를 디스플레이한다.
제2 위치와 연관된 각자의 유형의 운동에 대응하는 미리정의된 이동의 진행 또는 지속기간 중 적어도 하나에 따라, 제1 사용자의 시야에 디스플레이되는 가상 콘텐츠의 양을 점진적으로 증가시키는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제2 위치와 연관된 각자의 유형의 운동에 대응하는 미리정의된 이동의 진행 또는 지속기간에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 위치와 연관된 각자의 유형의 운동(예컨대, 제1 유형의 운동, 제2 유형의 운동, 제3 유형의 운동 등)에 대응하는 3차원 환경의 각자의 뷰(예컨대, 증강 현실 뷰, 가상 현실 뷰 등)를 디스플레이하는 동안, 컴퓨터 시스템은 제2 위치와 연관된 각자의 유형의 운동을 종료하라는 요청에 대응하는 제1 사용자의 이동을 검출한다(예컨대, 제1 사용자가 각자의 유형의 운동을 정지시키는 것, 일어서는 것, 장비에서 내리는 것, HMD를 벗는 것, 및/또는 제2 위치로부터 멀리 걷는 것 등을 검출함). 제2 위치와 연관된 각자의 유형의 운동을 종료하라는 요청에 대응하는 제1 사용자의 이동을 검출하는 것에 응답하여, 컴퓨터 시스템은 물리적 환경의 적어도 제4 부분의 표현을 포함하는 3차원 환경의 제5 뷰를 디스플레이하며, 여기에서 물리적 환경의 적어도 제4 부분의 표현은 제1 사용자가 제2 위치에 있었던 동안 각자의 유형의 운동에 대응하는 각자의 세트의 가상 콘텐츠가 디스플레이되었던 제1 사용자의 시야의 일부분을 점유한다. 예를 들어, 현재 운동을 종료하라는 요청에 대응하는 제1 사용자의 이동이 검출될 때, 현재 운동에 해당하는 가상 장면은 디스플레이되는 것이 중지되어(예컨대, 사라짐, 또는 디스플레이되는 것이 즉시 중지됨 등), 물리적 환경의 표현을 다시 드러낸다. 일부 실시예들에서, 사용자(7002)가 객체(7404)로부터 멀리 이동하고 장면(105)에서 객체(7402)에 도달하지 않았을 때, 도 7o 및 도 7p의 뷰(7408) 및 뷰(7410) 중 어느 것도 디스플레이되지 않고, 도 7n에 도시된 것과 같은 물리적 환경의 표현이 디스플레이된다.
제2 위치와 연관된 각자의 유형의 운동을 종료하라는 요청에 대응하는 제1 사용자의 이동을 검출하는 것에 응답하여, 물리적 환경의 적어도 제4 부분의 표현을 포함하는 3차원 환경의 제5 뷰를 디스플레이하는 것 - 물리적 환경의 적어도 제4 부분의 표현은 제1 사용자가 제2 위치에 있었던 동안 각자의 유형의 운동에 대응하는 각자의 세트의 가상 콘텐츠가 디스플레이되었던 제1 사용자의 시야의 일부분을 점유함 - 은, 추가 사용자 입력(예컨대, 3차원 환경의 제5 뷰를 디스플레이하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 3차원 환경의 제5 뷰를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은, 3차원 환경의 제2 뷰(예컨대, 도 7o의 뷰(7408), 도 7p의 뷰(7410), 다른 뷰 등)가 디스플레이될 때, 제1 유형의 운동에 대응하는 상태 정보(예컨대, 현재 세션 동안의 진행, 지속기간, 속도, 힘, 높이, 페이스, 보폭, 수행 레벨, 스코어들, 완료된 반복 횟수 등, 과거 통계, 제1 사용자에 대한 그리고/또는 다수의 사용자들에 걸친 평균 통계, 또한 동일한 유형의 운동을 수행하는 다른 사람들의 상태 등)를 디스플레이한다. 일부 실시예들에서, 제1 유형의 운동에 대응하는 상태 정보는 제1 유형의 운동에 대응하는 가상 장면의 일부분 상에 오버레이된다. 일부 실시예들에서, 상태 정보는 제1 유형의 운동에 대응하는 가상 장면이 상태 정보 없이 디스플레이되는 동안 검출되는 제1 사용자의 요청에 응답하여 디스플레이된다. 일부 실시예들에서, 3차원 환경의 제2 뷰는 제1 사용자에 의한 제1 유형의 운동의 수행 전반에 걸쳐 전개된다. 일부 실시예들에서, 상태 정보는 제1 사용자에 의한 제1 유형의 운동의 수행 전반에 걸쳐 연속적으로 업데이트된다(예컨대, 3차원 환경의 변화하는 제2 뷰를 오버레이함). 일부 실시예들에서, 상태 정보는 하나 이상의 수행 파라미터들의 값들이 미리설정된 임계 값들을 충족시켰다는 것(예컨대, 목표 속도 또는 거리가 달성된다는 것, 임계 스코어에 도달한다는 것 등)을 검출하는 것에 응답하여 디스플레이된다.
3차원 환경의 제2 뷰가 디스플레이될 때, 제1 유형의 운동에 대응하는 상태 정보를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 유형의 운동에 관한 개선된 시각적 피드백, 제2 위치로의 사용자의 이동이 제1 기준들을 만족시킨다는 개선된 시각적 피드백, 컴퓨터 시스템이 3차원 환경의 제2 뷰를 디스플레이하고 있다는 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다. 일부 실시예들에서, 컴퓨터 시스템은, 3차원 환경의 제2 뷰(예컨대, 도 7o의 뷰(7408), 도 7p의 뷰(7410), 다른 뷰 등)가 디스플레이될 때, 제1 사용자에 대응하는 건강 정보(예컨대, 실시간 생체측정 데이터(예컨대, 심박수, 혈압, 호흡률, 체온, 혈당 레벨 등), 체중, BMI 등)를 디스플레이한다. 일부 실시예들에서, 제1 사용자에 대응하는 건강 정보는 제1 유형의 운동에 대응하는 가상 장면의 일부분 상에 오버레이된다. 일부 실시예들에서, 건강 정보는 제1 유형의 운동에 대응하는 가상 장면이 건강 정보 없이 디스플레이되는 동안 검출되는 제1 사용자의 요청에 응답하여 디스플레이된다. 일부 실시예들에서, 3차원 환경의 제2 뷰는 제1 사용자에 의한 제1 유형의 운동의 수행 전반에 걸쳐 전개된다. 일부 실시예들에서, 건강 정보는 제1 사용자에 의한 제1 유형의 운동의 수행 전반에 걸쳐 연속적으로 업데이트된다(예컨대, 3차원 환경의 변화하는 제2 뷰를 오버레이함). 일부 실시예들에서, 건강 정보는 하나 이상의 건강 파라미터들의 값들이 미리설정된 임계 값들을 충족시켰다는 것(예컨대, 목표 심박수가 달성된다는 것, 임계 혈압에 도달한다는 것 등)을 검출하는 것에 응답하여 디스플레이된다.
3차원 환경의 제2 뷰가 디스플레이될 때, 제1 사용자에 대응하는 건강 정보를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 유형의 운동과 관련된 개선된 시각적 피드백, 제2 위치로의 사용자의 이동이 제1 기준들을 만족시킨다는 개선된 시각적 피드백, 컴퓨터 시스템이 3차원 환경의 제2 뷰를 디스플레이하고 있다는 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은, 3차원 환경의 제2 뷰(예컨대, 도 7o의 뷰(7408), 도 7p의 뷰(7410), 다른 뷰 등)가 디스플레이될 때, 제1 사용자에 의해 수행되는 제1 유형의 운동의 진행 정보(예컨대, 실시간 스코어들, 완료된 랩들, 남은 랩들, 지속기간, 걸음들의 수, 이동된 거리, 완료된 포즈들 등)를 시각적으로 제시한다. 일부 실시예들에서, 진행 정보는 제1 사용자에게 제시되는 가상 장면에서 발생하는 시각적 변화들에 의해 시각적으로 표현된다(예컨대, 가상 하이킹 트레일 상의 가상 마일스톤(milestone)들, 다운 위치에 표시되는 가상 사격 표적들의 수, 가상 게임 경기장의 일부로서의 스코어 보드들, 가상 호수 상의 물의 고요함이 달성되는 깊은 중재의 레벨을 나타냄 등). 일부 실시예들에서, 제1 사용자에 의한 제1 유형의 운동의 수행에 대응하는 진행 정보는 제1 유형의 운동에 대응하는 가상 장면의 일부분 상에 오버레이된다. 일부 실시예들에서, 진행 정보는 제1 유형의 운동에 대응하는 가상 장면이 진행 정보 없이 디스플레이되는 동안 검출되는 제1 사용자의 요청에 응답하여 디스플레이된다. 일부 실시예들에서, 3차원 환경의 제2 뷰는 제1 사용자에 의한 제1 유형의 운동의 수행 전반에 걸쳐 전개된다. 일부 실시예들에서, 진행 정보는 제1 사용자에 의한 제1 유형의 운동의 수행 전반에 걸쳐 연속적으로 업데이트된다(예컨대, 3차원 환경의 변화하는 제2 뷰를 오버레이함). 일부 실시예들에서, 진행 정보는 하나 이상의 진행 파라미터들의 값들이 미리설정된 임계 값들을 충족시켰다는 것(예컨대, 목표 거리가 달성된다는 것, 임계 스코어에 도달한다는 것, 운동 루틴이 완료된다는 것 등)을 검출하는 것에 응답하여 디스플레이된다.
3차원 환경의 제2 뷰가 디스플레이될 때, 제1 사용자에 의해 수행되는 제1 유형의 운동의 진행 정보를 시각적으로 제시하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 유형의 운동의 진행 정보와 관련된 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 사용자가 물리적 환경에서 제1 방향을 향하고 있다는 결정에 따라, 컴퓨터 시스템은, 제1 세트의 가상 콘텐츠 중 제2 서브세트를 디스플레이하지 않고서, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠 중 제1 서브세트를 디스플레이하고, 제1 사용자가 물리적 환경에서 제1 방향과는 상이한(예컨대, 제1 방향과 반대인, 제1 방향으로부터 0이 아닌 각도에 있는 등) 제2 방향을 향하고 있다는 결정에 따라, 컴퓨터 시스템은, 제1 세트의 가상 중 제2 서브세트를 디스플레이하지 않고서, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠 중 제2 서브세트(예컨대, 도 7o의 뷰(7408) 내에 표시되지 않은 가상 오픈 워터(7406), 도 7p의 뷰(7410) 내에 표시되지 않은 가상 산길(7412) 등)를 디스플레이한다. 예를 들어, 일부 실시예들에서, 3차원 환경의 제2 뷰는 제1 사용자 주위의 모든 방향들로(예컨대, 사용자가 그/그녀의 머리를 이리저리 돌릴 때, 그/그녀가 가상 환경의 상이한 부분들을 보도록, 사용자의 시야보다 더 넓은 각도에 걸쳐 있는) 가상 객체들을 갖는 몰입형 뷰이다. 일부 실시예들에서, 컴퓨터 시스템은, 가상 환경에서 사운드 생성 가상 객체들(예컨대, 환호하는 군중들, 바다 파도, 가상 코치 등)에 대응하는 위치들에서 국소화된 사운드를 제공하는 공간 오디오 모드 또는 서라운드 사운드 모드와 같은 몰입형 오디오 출력 모드를 사용하여 사운드 효과들을 출력한다.
제1 사용자가 물리적 환경에서 제1 방향을 향하고 있다는 결정에 따라, 제1 세트의 가상 콘텐츠 중 제2 서브세트를 디스플레이하지 않고서, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠 중 제1 서브세트를 디스플레이하고, 제1 사용자가 물리적 환경에서 제1 방향과는 상이한 제2 방향이라는 결정에 따라, 제1 세트의 가상 중 제2 서브세트를 디스플레이하지 않고서, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠 중 제2 서브세트를 디스플레이하는 것은, 추가 사용자 입력(예컨대, 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 통해 내비게이팅하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠 중 적절한 서브세트를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 유형의 운동은 로잉 운동이고, 제2 위치는 하나의 로잉 운동 장비(예컨대, 객체(7404), 다른 로잉 장비 등)가 존재하는 위치이며, 3차원 환경의 제2 뷰(예컨대, 도 7o의 뷰(7408))는 오픈 워터를 갖는 가상 장면(예컨대, 도 7o의 가상 오픈 워터(7406))을 포함한다. 일부 실시예들에서, 제1 기준들은, 제1 기준들이 충족되기 위해, (예컨대, 도 7o(A)에 도시된 바와 같이) 제1 사용자가 로잉 운동 장비에 앉고 그/그녀의 손들을 로잉 운동 장비의 광석들 상에 놓는다는 요건을 추가로 포함한다. 일부 실시예들에서, 제2 유형의 운동은 걷기 운동이고, 제2 위치는 트레드밀(예컨대, 객체(7402), 또는 다른 걷기 장비 등)을 갖는 위치이며, 3차원 환경의 제3 뷰(예컨대, 도 7p의 뷰(7410))는 야외 산책로(예컨대, 도 7p의 가상 트레일(7412))(예컨대, 하이킹 트레일, 호숫가 길, 도시 거리 등)를 보여주는 가상 장면을 포함한다. 일부 실시예들에서, 제2 기준들은, 제1 사용자가 트레드밀 상에 올라서고 적어도 한 걸음 내딛다는 요건을 추가로 포함한다. 오픈 워터를 갖는 가상 장면을 포함하는 3차원 환경의 제2 뷰를 디스플레이하는 것 - 제1 유형의 운동은 로잉 운동이고, 제2 위치는 로잉 운동 장비가 존재하는 위치임 - 은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 유형의 운동이 로잉 운동이라는 개선된 시각적 피드백, 로잉 운동 장비가 제2 위치에 존재한다는 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 위치로부터 제2 위치로의 제1 사용자(예컨대, 도 7o 및 도 7p의 7002)의 이동을 검출하는 것에 응답하여, 제2 위치가 제5 유형의 운동 및 제6 유형의 운동과 연관된 위치에 대응한다는 결정에 따라, 제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제2 위치에서 제1 사용자가 제5 유형의 운동과 연관된 각자의 유형의 장비에 관여하는 것이 뒤따른다는 결정에 따라, 컴퓨터 시스템은 3차원 환경의 제6 뷰를 디스플레이하며, 여기에서 3차원 환경의 제6 뷰는 제5 유형의 운동(예컨대, 배구, 테니스, 일립티컬 머신 등)에 대응하는 제5 세트의 가상 콘텐츠를 포함하고, 제5 세트의 가상 콘텐츠는 제1 세트의 가상 콘텐츠 및 제2 세트의 가상 콘텐츠와는 상이하며, 제5 세트의 가상 콘텐츠는 물리적 환경의 제5 부분의 제5 표현의 적어도 일부분을 대체한다. 일부 실시예들에서, 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 것에 응답하여, 제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제2 위치에서 제1 사용자가 제6 유형의 운동과 연관된 각자의 유형의 장비에 관여하는 것이 뒤따른다는 결정에 따라, 컴퓨터 시스템은 3차원 환경의 제7 뷰를 디스플레이하며, 여기에서 3차원 환경의 제7 뷰는 제6 유형의 운동(예컨대, 농구, 펜싱, 운동용 자전거 등)에 대응하는 제6 세트의 가상 콘텐츠를 포함하고, 제6 세트의 가상 콘텐츠는 제1 세트의 가상 콘텐츠, 제2 세트의 가상 콘텐츠, 및 제5 세트의 가상 콘텐츠와는 상이하며, 제6 세트의 가상 콘텐츠는 물리적 환경의 제5 부분의 제5 표현의 적어도 일부분을 대체한다(예컨대, 물리적 환경의 제5 부분은 제5 유형의 운동 및 제6 유형의 운동 둘 모두와 연관됨). 이는 도 7o 및 도 7p에 예시되어 있으며, 여기에서, 일부 실시예들에 따르면, 사용자(7002)가 제1 유형의 운동(예컨대, 로잉, 보트 타기 등)에 대응하는 객체(7404)를 포함하는 하나의 위치로부터 제2 유형의 운동(예컨대, 하이킹, 걷기 등)에 대응하는 객체(7402)를 포함하는 다른 위치로 이동할 때, 뷰(7408) 내의 가상 콘텐츠(예컨대, 가상 오픈 워터(7406), 또는 다른 가상 콘텐츠 등)는 뷰(7410) 내의 가상 콘텐츠(예컨대, 하이킹 트레일(7412), 또는 다른 가상 콘텐츠 등)로 대체된다.
제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제2 위치에서 제1 사용자가 제5 유형의 운동과 연관된 각자의 유형의 장비에 관여하는 것이 뒤따른다는 결정에 따라, 3차원 환경의 제6 뷰를 디스플레이하고 - 3차원 환경의 제6 뷰는 제5 유형의 운동에 대응하는 제5 세트의 가상 콘텐츠를 포함함 -, 제1 위치로부터 제2 위치로의 제1 사용자의 이동 후에, 제2 위치에서 제1 사용자가 제6 유형의 운동과 연관된 각자의 유형의 장비에 관여하는 것이 뒤따른다는 결정에 따라, 3차원 환경의 제7 뷰를 디스플레이하는 것 - 3차원 환경의 제7 뷰는 제6 유형의 운동에 대응하는 제6 세트의 가상 콘텐츠를 포함함 - 은, 추가 사용자 입력(예컨대, 각자의 유형들의 운동들에 대응하는 가상 콘텐츠 세트들 및/또는 3차원 환경의 뷰들 사이에서 선택 또는 내비게이팅하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 각자의 유형의 운동에 대응하는 각자의 세트의 가상 콘텐츠를 갖는 3차원 환경의 적절한 뷰를 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 3차원 환경의 제2 뷰(예컨대, 도 7o 및 도 7p의 뷰(7408), 뷰(7410) 등)는 제1 사용자와 경쟁하여 (예컨대, 제1 사용자의 이전 최고 기록들에 기초하여, 제1 유형의 운동에 대한 제1 사용자의 미리설정된 구성에 기초하여 등) 제1 유형의 운동을 수행하는 것으로 표시되는 제1 사용자(예컨대, 도 7n 내지 도 7p의 사용자(7002), 또는 다른 사용자 등)의 가상 표현을 포함한다. 일부 실시예들에서, 3차원 환경의 제3 뷰는 제1 사용자와 경쟁하여 (예컨대, 제1 사용자의 이전 최고 기록들에 기초하여, 제2 유형의 운동에 대한 제1 사용자의 미리설정된 구성에 기초하여 등) 제2 유형의 운동을 수행하는 것으로 표시되는 제1 사용자의 가상 표현을 포함한다. 제1 사용자와 경쟁하여 제1 유형의 운동을 수행하는 것으로 표시되는 제1 사용자의 가상 표현을 포함하여, 3차원 환경의 제2 뷰를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 유형의 운동에 관한 개선된 시각적 피드백, 제1 유형의 운동의 제1 사용자의 수행의 특성들에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 3차원 환경의 제2 뷰(예컨대, 뷰(7408), 도 7o 및 도 7p의 뷰(7410) 등)는 제1 사용자와 경쟁하여 제1 유형의 운동을 수행하는 것으로 표시되는, 제1 사용자(예컨대, 도 7n 내지 도 7p의 사용자(7002), 또는 다른 사용자 등)와는 상이한 적어도 제2 사용자의 가상 표현을 포함한다. 일부 실시예들에서, 3차원 환경의 제3 뷰는 제1 사용자와 경쟁하여 제2 유형의 운동을 수행하는 것으로 표시되는, 제1 사용자와는 상이한 적어도 제2 사용자의 가상 표현을 포함한다. 제1 사용자와 경쟁하여 제1 유형의 운동을 수행하는 것으로 표시되는, 제1 사용자와는 상이한 적어도 제2 사용자의 가상 표현을 포함하여, 3차원 환경의 제2 뷰를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 적어도 제2 사용자가 또한 제1 유형의 운동을 수행하고 있다는 개선된 시각적 피드백, 제1 유형의 운동의 제2 사용자의 수행에 대한 제1 유형의 운동의 사용자의 수행에 관한 개선된 시각적 피드백 등)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 12에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 11000))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 12와 관련하여 전술된 방법(12000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(12000)을 참조하여 위에서 설명된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들은, 선택적으로, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 11000))을 참조하여 본 명세서에서 설명되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들, 제어부들, 이동들, 기준들, 3차원 환경, 디스플레이 생성 컴포넌트, 표면, 물리적 객체의 표현, 가상 객체들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
도 8, 도 9a 및 도 9b, 도 10, 도 11 및 도 12를 참조하여 전술된 동작들은, 선택적으로, 도 1 내지 도 6에 도시된 컴포넌트들에 의해 구현된다. 일부 실시예들에서, 방법들(8000, 9000, 10000, 11000, 12000)의 태양들/동작들은 이들 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.
Claims (116)
- 방법으로서,
제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들을 포함하는 컴퓨터 시스템에서,
제1 사용자 인터페이스 객체를 3차원 환경의 제1 뷰 내에 디스플레이하는 단계 - 상기 3차원 환경은 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유되고, 상기 제1 사용자 인터페이스 객체는 상기 3차원 환경의 제1 뷰 내의 제1 위치에 제1 세트의 외관 속성들로 디스플레이됨 -;
상기 제1 사용자 인터페이스 객체를 상기 3차원 환경의 제1 뷰 내의 상기 제1 위치에 상기 제1 세트의 외관 속성들로 디스플레이하는 동안, 상기 제1 사용자에 의해 제공되는 제1 사용자 입력을 검출하는 단계 - 상기 제1 사용자 입력은 상기 제1 사용자 인터페이스 객체에 대한 것임 -; 및
상기 제1 사용자 인터페이스 객체에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자가 상기 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행하고;
상기 제2 사용자가 상기 제1 사용자 인터페이스 객체와 현재 상호작용하고 있다는 결정에 따라,
상기 제1 사용자 인터페이스 객체가 상기 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하고 - 상기 시각적 표시를 디스플레이하는 것은 상기 3차원 환경의 제1 뷰에서 상기 제1 사용자 인터페이스 객체의 외관 또는 상기 제1 사용자 인터페이스 객체의 위치 중 적어도 하나를 변경하는 것을 포함함 -;
상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 상기 제1 동작을 수행하는 것을 보류하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 컴퓨터 시스템은 상기 제1 사용자 인터페이스 객체가 상기 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 상기 시각적 표시로서 상기 제1 사용자 인터페이스 객체의 외관을 변경하고, 상기 제1 사용자 인터페이스 객체의 외관을 변경하는 것은 상기 제1 사용자 인터페이스 객체의 시각적 두드러짐을 감소시키기 위해 상기 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 변경하는 것을 포함하는, 방법.
- 제2항에 있어서,
상기 제1 사용자 인터페이스 객체에 대한 상기 제1 사용자 입력의 종료를 검출하는 단계; 및
상기 제1 사용자 인터페이스 객체에 대한 상기 제1 사용자 입력의 종료를 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 시각적 두드러짐을 복원하기 위해, 상기 제1 사용자 입력에 응답하여 변경되었던 상기 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 복원하는 단계를 포함하는, 방법. - 제2항 또는 제3항에 있어서,
상기 제1 사용자 입력을 계속 검출하는 동안, 상기 제1 사용자 입력의 검출과 독립적으로, 상기 3차원 환경의 제1 뷰에서 상기 제1 위치로부터 멀어지는 상기 제1 사용자 인터페이스 객체의 이동을 검출하는 단계; 및
상기 제1 사용자 입력의 검출과 독립적으로, 상기 3차원 환경의 제1 뷰에서 상기 제1 위치로부터 멀어지는 상기 제1 사용자 인터페이스 객체의 이동을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 객체의 시각적 두드러짐을 복원하기 위해, 상기 제1 사용자 입력에 응답하여 변경되었던 상기 제1 사용자 인터페이스 객체의 제1 세트의 외관 속성들 중 적어도 하나를 복원하는 단계를 포함하는, 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 사용자 인터페이스 객체가 상기 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 상기 시각적 표시를 디스플레이하는 것은, 상기 제2 사용자가 상기 제1 사용자 인터페이스 객체와 상호작용하는 것을 중지할 때까지, 상기 제1 사용자 입력에 응답하여 이루어진 상기 제1 사용자 인터페이스 객체의 외관에 대한 변경들을 유지하는 것을 포함하는, 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 제1 사용자 인터페이스 객체에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자가 상기 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 상기 제1 사용자 인터페이스 객체를 상기 3차원 환경의 제1 뷰 내의 제2 위치에 디스플레이하는 단계 - 상기 제2 위치는 상기 제1 사용자의 손의 현재 위치에 따라 선택됨 -;
상기 제1 사용자 인터페이스 객체를 상기 제1 사용자의 손의 현재 위치에 따라 선택되는 상기 제2 위치에 디스플레이하는 동안, 상기 제1 사용자의 손의 던지기 제스처에 대응하는 상기 제1 사용자의 손의 이동을 검출하는 단계; 및
상기 제1 사용자의 손의 던지기 제스처에 대응하는 상기 제1 사용자의 손의 이동을 검출하는 것에 응답하여, 상기 제1 사용자의 손의 이동의 방향에 대응하는 제1 방향으로 상기 3차원 환경의 제1 뷰에서 상기 제1 사용자 인터페이스 객체를 이동시키고, 상기 제1 사용자 인터페이스 객체의 이동 동안 상기 제1 사용자 인터페이스 객체를 회전시키는 단계를 포함하는, 방법. - 제6항에 있어서, 상기 제1 사용자 인터페이스 객체의 이동 동안 상기 제1 사용자 인터페이스 객체를 회전시키는 단계는,
상기 제1 사용자의 손의 이동의 방향이 상기 3차원 환경의 제1 뷰에서 상기 제2 사용자의 표현을 향한다는 결정에 따라, 상기 제1 사용자 인터페이스 객체를 상기 제1 사용자 인터페이스 객체가 제1 물리적 환경에서의 상기 제1 사용자의 손의 이동에 따라 선택되는 상기 3차원 환경 내의 목적지 위치에 도달할 때 상기 3차원 환경에서 제1 미리설정된 배향을 갖도록 하는 제1 방식으로 회전시키는 단계를 포함하는, 방법. - 제6항 또는 제7항에 있어서, 상기 제1 사용자 인터페이스 객체의 이동 동안 상기 제1 사용자 인터페이스 객체를 회전시키는 단계는,
상기 제1 사용자의 손의 이동의 방향이 상기 3차원 환경의 제1 뷰에서 제1 표면의 표현을 향한다는 결정에 따라, 상기 제1 사용자 인터페이스 객체를 상기 제1 사용자 인터페이스 객체가 제1 물리적 환경에서의 상기 제1 사용자의 손의 이동에 따라 선택되는 상기 제1 표면의 표현 상의 목적지 위치에 도달할 때 상기 3차원 환경에서 상기 제1 표면의 표현에 대해 제2 미리설정된 배향을 갖도록 하는 제2 방식으로 회전시키는 단계를 포함하는, 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 컴퓨터 시스템은 상기 제1 사용자 인터페이스 객체가 상기 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 상기 시각적 표시로서 상기 3차원 환경의 제1 뷰에서 상기 제1 사용자 인터페이스 객체의 위치를 변경하고, 상기 3차원 환경의 제1 뷰에서 상기 제1 사용자 인터페이스 객체의 위치를 변경하는 것은 상기 제1 사용자 입력을 제공한 상기 제1 사용자의 손의 표현과 상기 제1 사용자 인터페이스 객체 사이의 적어도 미리설정된 거리를 유지하기 위해 상기 제1 사용자 인터페이스 객체를 상기 제1 위치로부터 이동시키는 것을 포함하는, 방법.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 상기 제1 동작을 수행하는 것은 상기 제1 사용자 인터페이스 객체를 상기 제1 사용자의 손의 표현을 향해 이동시키는 것을 포함하는, 방법.
- 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 상기 제1 동작을 수행하는 것은,
상기 제1 사용자 입력이 미리정의된 선택 제스처를 포함한다는 결정에 따라, 상기 제1 사용자로부터 수신되는 후속 입력에 대한 타깃으로서 상기 제1 사용자 인터페이스 객체를 선택하는 것을 포함하는, 방법. - 제11항에 있어서,
상기 제1 사용자로부터 수신되는 후속 입력에 대한 타깃으로서 상기 제1 사용자 인터페이스 객체를 선택하는 것과 함께, 상기 3차원 환경의 제1 뷰 내의 상기 제1 위치에 상기 제1 사용자 인터페이스 객체를 유지하면서, 상기 제1 사용자의 손의 위치에 대응하는 위치에 상기 제1 사용자 인터페이스 객체의 표현을 디스플레이하는 단계를 포함하는, 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 제1 동작이 상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 수행된 후, 상기 제1 사용자 인터페이스 객체에 대한 제2 사용자 입력을 검출하는 단계; 및
상기 제2 사용자 입력을 검출하는 것에 응답하여, 상기 제2 사용자 입력이 미리정의된 선택 제스처를 포함한다는 결정에 따라, 상기 제1 사용자로부터 수신되는 후속 입력에 대한 타깃으로서 상기 제1 사용자 인터페이스 객체를 선택하는 단계를 포함하는, 방법. - 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 상기 제1 동작을 수행하는 것은,
상기 3차원 환경의 제1 뷰 내의 상기 제1 위치에 상기 제1 사용자 인터페이스 객체를 유지하면서 상기 제1 사용자 인터페이스 객체의 표현을 디스플레이하는 것을 포함하는, 방법. - 제14항에 있어서, 상기 제1 사용자 인터페이스 객체의 표현은 상기 제1 사용자의 손의 표현으로부터 떨어진 위치에 초기에 디스플레이되고, 상기 방법은,
상기 제1 사용자 인터페이스 객체가 상기 제1 사용자에 의해 제공되는 후속 사용자 입력에 의해 선택된다는 결정에 따라, 상기 제1 사용자 인터페이스 객체의 표현을 상기 제1 사용자의 손의 표현으로부터 떨어진 상기 위치로부터 상기 제1 사용자의 손의 표현의 위치로 이동시키는 단계를 포함하는, 방법. - 제14항 또는 제15항에 있어서,
상기 제1 사용자 인터페이스 객체의 표현을 디스플레이하는 동안, 상기 제1 사용자의 손의 이동을 검출하는 단계; 및
상기 제1 사용자의 손의 이동을 검출하는 것에 응답하여,
상기 제1 사용자의 손의 이동이 미리설정된 선택 제스처의 초기 부분을 식별하기 위한 미리설정된 기준들을 충족시킨다는 결정에 따라, 상기 제1 사용자 인터페이스 객체의 표현의 외관을 변경하는 단계를 포함하는, 방법. - 제15항 또는 제16항에 있어서,
상기 제1 사용자 인터페이스 객체가 상기 제1 사용자에 의해 선택된다는 결정에 따라 상기 제1 사용자의 손의 표현의 위치에 상기 제1 사용자 인터페이스 객체의 표현을 디스플레이하는 동안, 상기 제1 사용자 인터페이스 객체의 표현과 상호작용하는 제3 사용자 입력을 검출하는 단계; 및
상기 제3 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 인터페이스 객체의 표현의 이동 및 상기 제1 사용자 인터페이스 객체의 표현의 변화하는 외관 중 적어도 하나를 통해 상기 제3 사용자 입력에 대한 시각적 피드백을 디스플레이하고;
상기 제3 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 제2 동작을 수행하는 단계를 포함하는, 방법. - 제15항 내지 제17항 중 어느 한 항에 있어서,
상기 제1 사용자의 손의 이동에 따라 상기 제1 사용자 인터페이스 객체의 표현의 위치를 업데이트하여서, 상기 제1 사용자 인터페이스 객체의 표현이 상기 제1 사용자의 손의 표현의 업데이트된 위치와 기존의 공간적 관계를 유지하게 하는 단계를 포함하는, 방법. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
제1 사용자 인터페이스 객체를 3차원 환경의 제1 뷰 내에 디스플레이하기 위한 - 상기 3차원 환경은 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유되고, 상기 제1 사용자 인터페이스 객체는 상기 3차원 환경의 제1 뷰 내의 제1 위치에 제1 세트의 외관 속성들로 디스플레이됨 -;
상기 제1 사용자 인터페이스 객체를 상기 3차원 환경의 제1 뷰 내의 상기 제1 위치에 상기 제1 세트의 외관 속성들로 디스플레이하는 동안, 상기 제1 사용자에 의해 제공되는 제1 사용자 입력을 검출하기 위한 - 상기 제1 사용자 입력은 상기 제1 사용자 인터페이스 객체에 대한 것임 -; 그리고
상기 제1 사용자 인터페이스 객체에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자가 상기 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행하고;
상기 제2 사용자가 상기 제1 사용자 인터페이스 객체와 현재 상호작용하고 있다는 결정에 따라,
상기 제1 사용자 인터페이스 객체가 상기 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하고 - 상기 시각적 표시를 디스플레이하는 것은 상기 3차원 환경의 제1 뷰에서 상기 제1 사용자 인터페이스 객체의 외관 또는 상기 제1 사용자 인터페이스 객체의 위치 중 적어도 하나를 변경하는 것을 포함함 -;
상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 상기 제1 동작을 수행하는 것을 보류하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
제1 사용자 인터페이스 객체를 3차원 환경의 제1 뷰 내에 디스플레이하는 것 - 상기 3차원 환경은 제1 사용자와 제2 사용자 사이에서 적어도 부분적으로 공유되고, 상기 제1 사용자 인터페이스 객체는 상기 3차원 환경의 제1 뷰 내의 제1 위치에 제1 세트의 외관 속성들로 디스플레이됨 -;
상기 제1 사용자 인터페이스 객체를 상기 3차원 환경의 제1 뷰 내의 상기 제1 위치에 상기 제1 세트의 외관 속성들로 디스플레이하는 동안, 상기 제1 사용자에 의해 제공되는 제1 사용자 입력을 검출하는 것 - 상기 제1 사용자 입력은 상기 제1 사용자 인터페이스 객체에 대한 것임 -; 및
상기 제1 사용자 인터페이스 객체에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자가 상기 제1 사용자 인터페이스 객체와 현재 상호작용하고 있지 않다는 결정에 따라, 상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 제1 동작을 수행하고;
상기 제2 사용자가 상기 제1 사용자 인터페이스 객체와 현재 상호작용하고 있다는 결정에 따라,
상기 제1 사용자 인터페이스 객체가 상기 제1 사용자와의 상호작용을 위해 이용가능하지 않다는 시각적 표시를 디스플레이하고 - 상기 시각적 표시를 디스플레이하는 것은 상기 3차원 환경의 제1 뷰에서 상기 제1 사용자 인터페이스 객체의 외관 또는 상기 제1 사용자 인터페이스 객체의 위치 중 적어도 하나를 변경하는 것을 포함함 -;
상기 제1 사용자 입력에 따라 상기 제1 사용자 인터페이스 객체에 대해 상기 제1 동작을 수행하는 것을 보류하는 것을 포함한 동작들을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 방법으로서,
제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
제1 사용자가 제1 물리적 환경 내의 제1 위치에 있는 동안, 상기 제1 물리적 환경 내의 상기 제1 위치와 연관되는 제1 시점에 대응하는 3차원 환경의 제1 뷰를 디스플레이하는 단계 - 상기 3차원 환경의 제1 뷰는 상기 제1 물리적 환경과는 상이한 제2 물리적 환경 내의 제1 객체를 표현하는 제1 사용자 인터페이스 객체를 포함하고, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치는 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응함 -;
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 적어도 하나를 검출하는 단계; 및
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 적어도 하나를 검출하는 것에 응답하여,
제2 시점에 대응하는 상기 3차원 환경의 제2 뷰를 디스플레이하고;
상기 제1 사용자 인터페이스 객체를 상기 3차원 환경의 제2 뷰 내에 디스플레이하는 단계 - 이는,
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치인, 상기 3차원 환경의 제2 뷰 내의 제1 디스플레이 위치에 상기 제1 사용자 인터페이스 객체를 디스플레이하는 것; 및
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 각자의 위치로부터 상기 임계 거리 미만이라는 결정에 따라, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는, 상기 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 상기 제1 사용자 인터페이스 객체를 디스플레이하는 것을 포함함 - 를 포함하는, 방법. - 제21항에 있어서,
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 상기 적어도 하나를 검출하는 단계는 상기 제1 객체가 상기 제2 물리적 환경에서 정지 상태로 유지되는 동안 상기 제1 물리적 환경에서의 상기 제1 사용자의 제1 이동을 검출하는 단계를 포함하고;
상기 제1 물리적 환경에서의 상기 제1 사용자의 제1 이동 동안,
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치로부터 상기 임계 거리 초과라는 상기 결정에 따라, 상기 제1 사용자 인터페이스 객체는 상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치에 디스플레이되고;
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 현재 디스플레이된 뷰와 연관된 상기 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치로부터 상기 임계 거리 이하라는 상기 결정에 따라, 상기 제1 사용자 인터페이스 객체는 상기 제1 객체가 상기 제2 물리적 환경에서 정지 상태로 유지되는 동안 상기 3차원 환경 내의 조정된 위치에 디스플레이되며, 상기 3차원 환경 내의 상기 조정된 위치는 상기 제1 방식과는 상이한 제2 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는, 방법. - 제21항 또는 제22항에 있어서,
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 상기 적어도 하나를 검출하는 단계는 상기 제1 사용자가 상기 제1 물리적 환경에서 정지 상태로 유지되는 동안 상기 제2 물리적 환경에서의 상기 제1 객체의 제2 이동을 검출하는 단계를 포함하고;
상기 제2 물리적 환경에서의 상기 제1 객체의 제2 이동 동안,
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치로부터 상기 임계 거리 초과라는 상기 결정에 따라, 상기 제1 사용자 인터페이스 객체는 상기 3차원 환경 내의 업데이트된 위치에 디스플레이되고, 상기 3차원 환경 내의 상기 업데이트된 위치는 상기 제1 방식으로 상기 제2 이동의 결과로서 상기 제2 물리적 환경 내의 상기 제1 객체의 업데이트된 위치에 대응하며;
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 현재 디스플레이된 뷰와 연관된 상기 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치로부터 상기 임계 거리 이하라는 상기 결정에 따라, 상기 제1 사용자 인터페이스 객체는 상기 제1 객체가 상기 제2 물리적 환경에서 정지 상태로 유지되는 동안 상기 3차원 환경 내의 조정된 업데이트된 위치에 디스플레이되고, 상기 3차원 환경 내의 상기 조정된 업데이트된 위치는 상기 제1 방식과는 상이한 제2 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 업데이트된 위치에 대응하는, 방법. - 제21항 내지 제23항 중 어느 한 항에 있어서,
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 상기 적어도 하나를 검출하는 단계는 상기 제1 물리적 환경에서의 상기 제1 사용자의 제3 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 제4 이동을 동시에 검출하는 단계를 포함하고;
상기 제1 물리적 환경에서의 상기 제1 사용자의 제3 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 제4 이동 동안,
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 현재 디스플레이된 뷰와 연관된 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치로부터 상기 임계 거리 초과라는 상기 결정에 따라, 상기 제1 사용자 인터페이스 객체는 상기 3차원 환경 내의 업데이트된 위치에 디스플레이되고, 상기 3차원 환경 내의 상기 업데이트된 위치는 상기 제1 방식으로 상기 제4 이동의 결과로서 상기 제2 물리적 환경 내의 상기 제1 객체의 업데이트된 위치에 대응하며;
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 현재 디스플레이된 뷰와 연관된 상기 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치로부터 상기 임계 거리를 초과하지 않는다는 상기 결정에 따라, 상기 제1 사용자 인터페이스 객체는 상기 3차원 환경 내의 조정된 업데이트된 위치에 디스플레이되고, 상기 3차원 환경 내의 상기 조정된 업데이트된 위치는 상기 제1 방식과는 상이한 제3 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 위치에 대응하는, 방법. - 제21항 내지 제24항 중 어느 한 항에 있어서, 상기 제1 객체는 상기 제2 물리적 환경 내에 위치되는 제2 사용자이고, 상기 제1 사용자 및 상기 제2 사용자는 상기 3차원 환경을 적어도 부분적으로 공유하는, 방법.
- 제25항에 있어서, 상기 제2 사용자에게 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 3차원 환경의 제3 뷰에서, 상기 제1 방식으로 상기 제1 물리적 환경 내의 상기 제1 사용자의 각자의 위치에 대응하는 상기 3차원 환경 내의 제2 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 제3 뷰와 연관된 제3 시점에 대응하는 상기 3차원 환경 내의 각자의 위치로부터 상기 임계 거리를 초과하지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스 객체를 상기 3차원 환경의 제3 뷰 내의 수정된 위치에 디스플레이하는 단계 - 상기 수정된 위치는 상기 제1 방식으로 상기 제1 물리적 환경 내의 상기 제1 사용자의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제2 사용자 인터페이스 객체의 각자의 위치로부터 오프셋됨 -, 방법.
- 제21항 내지 제26항 중 어느 한 항에 있어서, 상기 제1 객체는 상기 제2 물리적 환경 내에 위치되는 물리적 객체인, 방법.
- 제21항 내지 제27항 중 어느 한 항에 있어서, 상기 제1 사용자 인터페이스 객체는 상기 3차원 환경에서 부유하고 있는 객체인, 방법.
- 제21항 내지 제28항 중 어느 한 항에 있어서,
상기 3차원 환경이 제1 리얼리즘(realism) 레벨로 디스플레이된다는 결정에 따라, 상기 제1 사용자 인터페이스 객체는 상기 제1 리얼리즘 레벨에 대응하는 제1 세트의 디스플레이 속성들로 디스플레이되고;
상기 3차원 환경이 상기 제1 리얼리즘 레벨과는 상이한 제2 리얼리즘 레벨로 디스플레이된다는 결정에 따라, 상기 제1 사용자 인터페이스 객체는 상기 제2 리얼리즘 레벨에 대응하는 제2 세트의 디스플레이 속성들로 디스플레이되며, 상기 제2 세트의 디스플레이 속성들은 상기 제1 세트의 디스플레이 속성들과는 상이한, 방법. - 제21항 내지 제29항 중 어느 한 항에 있어서, 상기 3차원 환경의 제2 뷰 내의 상기 제2 디스플레이 위치는 상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치로부터 제1 변위량만큼 변위되고, 상기 제1 변위량은 상기 제1 방식으로 상기 제2 물리적 환경에서의 상기 제1 객체의 이동에 대응하지 않는, 방법.
- 제30항에 있어서, 상기 제1 변위량은 상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치와 상기 3차원 환경의 현재 디스플레이된 뷰의 시점 사이의 공간적 관계에 따라 결정되는 방향을 갖는, 방법.
- 제21항 내지 제31항 중 어느 한 항에 있어서, 상기 3차원 환경의 제2 뷰 내의 상기 제2 디스플레이 위치는 상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치로부터 제2 변위량만큼 변위되고, 상기 제2 변위량은 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치를 향한 정방향과는 상이한 방향을 갖는, 방법.
- 제21항 내지 제31항 중 어느 한 항에 있어서, 상기 3차원 환경의 제2 뷰 내의 상기 제2 디스플레이 위치는 상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치로부터 제3 변위량만큼 변위되고, 상기 제3 변위량은 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치와 상기 제1 사용자 인터페이스 객체 사이의 접근의 방향과는 상이한 방향을 갖는, 방법.
- 제21항 내지 제33항 중 어느 한 항에 있어서, 상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치와 상기 3차원 환경의 제2 뷰 내의 상기 제2 디스플레이 위치 사이의 변위의 크기 및 방향 중 적어도 하나는, 상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치와 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 상기 각자의 위치 사이의 공간적 관계에 기초하는, 방법.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
제1 사용자가 제1 물리적 환경 내의 제1 위치에 있는 동안, 상기 제1 물리적 환경 내의 상기 제1 위치와 연관되는 제1 시점에 대응하는 3차원 환경의 제1 뷰를 디스플레이하기 위한 - 상기 3차원 환경의 제1 뷰는 상기 제1 물리적 환경과는 상이한 제2 물리적 환경 내의 제1 객체를 표현하는 제1 사용자 인터페이스 객체를 포함하고, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치는 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응함 -;
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 적어도 하나를 검출하기 위한; 그리고
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 적어도 하나를 검출하는 것에 응답하여,
제2 시점에 대응하는 상기 3차원 환경의 제2 뷰를 디스플레이하고;
상기 제1 사용자 인터페이스 객체를 상기 3차원 환경의 제2 뷰 내에 디스플레이하기 위한 - 이는,
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치인, 상기 3차원 환경의 제2 뷰 내의 제1 디스플레이 위치에 상기 제1 사용자 인터페이스 객체를 디스플레이하는 것; 및
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 각자의 위치로부터 상기 임계 거리 미만이라는 결정에 따라, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는, 상기 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 상기 제1 사용자 인터페이스 객체를 디스플레이하는 것을 포함함 - 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
제1 사용자가 제1 물리적 환경 내의 제1 위치에 있는 동안, 상기 제1 물리적 환경 내의 상기 제1 위치와 연관되는 제1 시점에 대응하는 3차원 환경의 제1 뷰를 디스플레이하는 것 - 상기 3차원 환경의 제1 뷰는 상기 제1 물리적 환경과는 상이한 제2 물리적 환경 내의 제1 객체를 표현하는 제1 사용자 인터페이스 객체를 포함하고, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치는 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응함 -;
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 적어도 하나를 검출하는 것; 및
상기 제1 물리적 환경에서의 상기 제1 사용자의 이동 및 상기 제2 물리적 환경에서의 상기 제1 객체의 이동 중 적어도 하나를 검출하는 것에 응답하여,
제2 시점에 대응하는 상기 3차원 환경의 제2 뷰를 디스플레이하고;
상기 제1 사용자 인터페이스 객체를 상기 3차원 환경의 제2 뷰 내에 디스플레이하는 것 - 이는,
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 각자의 위치로부터 임계 거리 초과라는 결정에 따라, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치인, 상기 3차원 환경의 제2 뷰 내의 제1 디스플레이 위치에 상기 제1 사용자 인터페이스 객체를 디스플레이하는 것; 및
상기 제1 방식으로 상기 제2 물리적 환경 내의 상기 제1 객체의 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치가 상기 3차원 환경의 제2 뷰와 연관된 상기 제2 시점에 대응하는 상기 3차원 환경 내의 각자의 위치로부터 상기 임계 거리 미만이라는 결정에 따라, 상기 3차원 환경 내의 상기 제1 사용자 인터페이스 객체의 각자의 위치로부터 오프셋되는, 상기 3차원 환경의 제2 뷰 내의 제2 디스플레이 위치에 상기 제1 사용자 인터페이스 객체를 디스플레이하는 것을 포함함 - 을 포함한 동작들을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 방법으로서,
제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 단계;
상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 디스플레이하는 동안, 제1 사용자에 대응하는 생체측정 데이터를 수신하는 단계; 및
상기 제1 사용자에 대응하는 상기 생체측정 데이터를 수신하는 것에 응답하여,
상기 제1 사용자에 대응하는 상기 생체측정 데이터가 제1 기준들을 충족시킨다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하고 - 상기 제2 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험은 상기 제1 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험보다 상기 제1 사용자의 시야의 더 큰 부분을 점유함 -;
상기 제1 사용자에 대응하는 상기 생체측정 데이터가 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 계속 디스플레이하는 단계를 포함하는, 방법. - 제37항에 있어서,
상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 디스플레이하는 동안, 상기 제1 사용자에 대응하는 제1 업데이트된 생체측정 데이터를 수신하는 단계; 및
상기 제1 사용자에 대응하는 상기 제1 업데이트된 생체측정 데이터를 수신하는 것에 응답하여,
상기 제1 사용자에 대응하는 상기 제1 업데이트된 생체측정 데이터가 상기 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 제3 몰입 레벨로 디스플레이하고 - 상기 제3 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험은 상기 제2 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험보다 상기 제1 사용자의 시야의 더 큰 부분을 점유함 -;
상기 제1 사용자에 대응하는 상기 제1 업데이트된 생체측정 데이터가 상기 제1 기준들을 충족시키고 상기 제2 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 계속 디스플레이하는 단계를 포함하는, 방법. - 제37항 또는 제38항에 있어서,
상기 제1 컴퓨터 생성 경험을 각자의 몰입 레벨로 디스플레이하는 동안, 상기 제1 사용자에 대응하는 제2 업데이트된 생체측정 데이터를 수신하는 단계 - 각자의 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험은 상기 제1 몰입 레벨보다 상기 제1 사용자의 시야의 더 큰 부분을 점유함 -; 및
상기 제1 사용자에 대응하는 상기 제2 업데이트된 생체측정 데이터를 수신하는 것에 응답하여,
상기 제1 사용자에 대응하는 상기 제2 업데이트된 생체측정 데이터가 상기 제1 컴퓨터 생성 경험을 상기 각자의 몰입 레벨로 디스플레이하는 것으로 전이하기 위해 충족되었던 각자의 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 상기 각자의 몰입 레벨로 디스플레이하기 전에 사용되는 더 낮은 몰입 레벨로 상기 제1 컴퓨터 생성 경험을 디스플레이하는 단계를 포함하는, 방법. - 제37항 내지 제39항 중 어느 한 항에 있어서, 상기 생체측정 데이터는 상기 제1 사용자의 호흡률을 포함하고, 상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해, 상기 제1 사용자의 호흡률이 제1 임계 호흡률 미만일 때 충족되는 기준을 포함하는, 방법.
- 제37항 내지 제40항 중 어느 한 항에 있어서, 상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해, 상기 생체측정 데이터가 적어도 임계 시간 동안 하나 이상의 미리설정된 임계 값들을 만족시킨다는 요건을 포함하는, 방법.
- 제37항 내지 제41항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 디스플레이하는 것은, 물리적 환경의 하나 이상의 제2 부분들의 표현의 디스플레이를 유지하면서, 상기 물리적 환경의 하나 이상의 제1 부분들의 위치들에 대응하는 각자의 제1 위치들에 가상 콘텐츠를 디스플레이하는 것을 포함하고;
상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 디스플레이하는 것은, 상기 물리적 환경의 하나 이상의 제1 부분들의 위치들에 대응하는 상기 각자의 제1 위치들 및 상기 물리적 환경의 하나 이상의 제2 부분들 중 적어도 일부에 대응하는 각자의 제2 위치들에 가상 콘텐츠를 디스플레이하는 것을 포함하는, 방법. - 제37항 내지 제42항 중 어느 한 항에 있어서,
상기 제1 사용자에 대응하는 상기 생체측정 데이터를 수신하는 것에 응답하여, 그리고 상기 제1 사용자에 대응하는 상기 생체측정 데이터의 변화가 상기 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 결정에 따라,
상기 제1 컴퓨터 생성 경험이 상기 제1 몰입 레벨로 디스플레이되었던 동안 상기 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분의 시각적 강조를 점진적으로 감소시키는 단계를 포함하고, 상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 디스플레이하는 것은, 상기 물리적 환경의 표현의 일부분에 대응하는 위치에 상기 제1 컴퓨터 생성 경험의 가상 콘텐츠를 디스플레이하여서, 상기 물리적 환경의 표현의 일부분이 상기 제1 디스플레이 생성 컴포넌트를 통해 보이는 것이 중지되게 하는 것을 포함하는, 방법. - 제37항 내지 제43항 중 어느 한 항에 있어서,
상기 제1 사용자에 대응하는 상기 생체측정 데이터를 수신하는 것에 응답하여, 그리고 상기 제1 사용자에 대응하는 상기 생체측정 데이터의 변화가 상기 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 결정에 따라,
상기 제1 컴퓨터 생성 경험이 상기 제1 몰입 레벨로 디스플레이되었던 동안 상기 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분의 시각적 속성을 상기 제1 사용자에 대응하는 상기 생체측정 데이터의 상기 변화에 대응하는 양만큼 변경하는 단계를 포함하는, 방법. - 제37항 내지 제44항 중 어느 한 항에 있어서,
상기 제1 사용자에 대응하는 상기 생체측정 데이터를 수신하는 것에 응답하여, 그리고 상기 제1 사용자에 대응하는 상기 생체측정 데이터의 변화가 상기 제1 기준들을 충족시키는 것을 향해 진행되고 있다는 결정에 따라,
상기 제1 컴퓨터 생성 경험이 상기 제1 몰입 레벨로 디스플레이되었던 동안 상기 제1 디스플레이 생성 컴포넌트를 통해 보였던 물리적 환경의 표현의 적어도 일부분 상으로 가상 콘텐츠의 디스플레이를 상기 제1 사용자에 대응하는 상기 생체측정 데이터의 상기 변화에 대응하는 양만큼 확장시키는 단계를 포함하는, 방법. - 제37항 내지 제45항 중 어느 한 항에 있어서, 상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해, 상기 생체측정 데이터가 수신되고 있을 때 상기 제1 사용자가 임계량 미만의 제1 유형의 이동을 행하는 기준을 포함하는, 방법.
- 제37항 내지 제46항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 디스플레이하는 동안, 제1 유형의 이동이 상기 제1 사용자에 의해 수행되는 것을 검출하는 단계; 및
상기 제1 유형의 이동이 상기 제1 사용자에 의해 수행되는 것을 검출하는 것에 응답하여,
상기 제1 유형의 이동이 미리설정된 임계량의 이동을 초과한다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 재디스플레이하는 단계를 포함하는, 방법. - 제37항 내지 제46항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 디스플레이하는 동안, 제1 유형의 이동이 상기 제1 사용자에 의해 수행되는 것을 검출하는 단계; 및
상기 제1 유형의 이동이 상기 제1 사용자에 의해 수행되는 것을 검출하는 것에 응답하여,
상기 제1 유형의 이동이 미리설정된 임계량의 이동을 초과한다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 제1 시점으로 상기 제2 몰입 레벨로 디스플레이하는 것으로부터 상기 제1 컴퓨터 생성 경험을 상기 제1 시점과는 상이한 제2 시점으로 상기 제2 몰입 레벨로 디스플레이하는 것으로 스위칭하는 단계를 포함하는, 방법. - 제37항 내지 제48항 중 어느 한 항에 있어서, 상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 디스플레이하는 것으로부터 상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 디스플레이하는 것으로의 전이는, 상기 제1 기준들이 충족되는 시간에 대응하는 시점에 이루어지는 이산 전이인, 방법.
- 제37항 내지 제48항 중 어느 한 항에 있어서, 상기 제1 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험은 제1 가상 환경을 묘사하고, 상기 제2 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험은 상기 제1 가상 환경보다 더 큰 가상 깊이를 갖는 제2 가상 환경을 묘사하는, 방법.
- 제37항 내지 제50항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 디스플레이하는 것은, 상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 디스플레이하는 동안 수신된 상기 생체측정 데이터의 변화에 따라 변화하는 적어도 제1 시각적 특성으로 상기 제1 컴퓨터 생성 경험을 디스플레이하는 것을 포함하고;
상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 디스플레이하는 것은, 상기 제1 컴퓨터 생성 경험을 상기 제2 몰입 레벨로 디스플레이하는 동안 수신된 상기 생체측정 데이터의 변화에 따라 변화하는 적어도 제2 시각적 특성으로 상기 제1 컴퓨터 생성 경험을 디스플레이하는 것을 포함하는, 방법. - 제37항 내지 제51항 중 어느 한 항에 있어서,
상기 제1 사용자에 대응하는 상기 생체측정 데이터를 수신하는 것에 응답하여,
상기 제1 사용자에 대응하는 상기 생체측정 데이터가 상기 제1 기준들을 충족시킨다는 결정에 따라, 오디오 출력 모드를 제1 오디오 출력 모드로부터 제2 오디오 출력 모드로 변경하는 단계를 포함하고, 상기 제1 오디오 출력 모드는 상기 제2 오디오 출력 모드보다 더 적은 계산 제어 변수들을 갖는, 방법. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하기 위한;
상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 디스플레이하는 동안, 제1 사용자에 대응하는 생체측정 데이터를 수신하기 위한; 그리고
상기 제1 사용자에 대응하는 상기 생체측정 데이터를 수신하는 것에 응답하여,
상기 제1 사용자에 대응하는 상기 생체측정 데이터가 제1 기준들을 충족시킨다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하고 - 상기 제2 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험은 상기 제1 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험보다 상기 제1 사용자의 시야의 더 큰 부분을 점유함 -;
상기 제1 사용자에 대응하는 상기 생체측정 데이터가 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 계속 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
제1 컴퓨터 생성 경험을 제1 몰입 레벨로 디스플레이하는 것;
상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 디스플레이하는 동안, 제1 사용자에 대응하는 생체측정 데이터를 수신하는 것; 및
상기 제1 사용자에 대응하는 상기 생체측정 데이터를 수신하는 것에 응답하여,
상기 제1 사용자에 대응하는 상기 생체측정 데이터가 제1 기준들을 충족시킨다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 제2 몰입 레벨로 디스플레이하고 - 상기 제2 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험은 상기 제1 몰입 레벨로 디스플레이되는 상기 제1 컴퓨터 생성 경험보다 상기 제1 사용자의 시야의 더 큰 부분을 점유함 -;
상기 제1 사용자에 대응하는 상기 생체측정 데이터가 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 제1 컴퓨터 생성 경험을 상기 제1 몰입 레벨로 계속 디스플레이하는 것을 포함한 동작들을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 방법으로서,
제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
물리적 환경의 제1 뷰를 디스플레이하는 단계 - 상기 물리적 환경의 제1 뷰는 상기 물리적 환경의 제1 부분의 제1 표현을 포함함 -;
상기 물리적 환경의 제1 뷰를 디스플레이하는 동안, 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제1 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제1 사용자 입력을 검출하는 단계;
상기 제1 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 환경의 제2 뷰를 디스플레이하는 단계 - 상기 물리적 환경의 제2 뷰는 상기 물리적 환경의 제1 부분의 제2 표현을 포함하고, 상기 물리적 환경의 제1 부분의 제2 표현은 상기 제1 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -;
상기 물리적 환경의 제2 뷰를 디스플레이하는 동안, 상기 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제2 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제2 사용자 입력을 검출하는 단계 ― 상기 제2 유형의 컴퓨터 생성 감각 조정은 상기 제1 유형의 컴퓨터 생성 감각 조정과는 상이함 -; 및
상기 제2 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 환경의 제3 뷰를 디스플레이하는 단계 - 상기 물리적 환경의 제3 뷰는 상기 물리적 환경의 제1 부분의 제3 표현을 포함하고, 상기 물리적 환경의 제1 부분의 제3 표현은 상기 제1 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 상기 제1 디스플레이 속성, 및 상기 제2 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 를 포함하는, 방법. - 제55항에 있어서,
상기 물리적 환경의 제3 뷰를 디스플레이하는 동안, 상기 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제3 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제3 사용자 입력을 검출하는 단계 ― 상기 제3 유형의 컴퓨터 생성 감각 조정은 상기 제1 유형의 컴퓨터 생성 감각 조정 및 상기 제2 유형의 컴퓨터 생성 감각 조정과는 상이함 -; 및
상기 제3 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 환경의 제4 뷰를 디스플레이하는 단계 - 상기 물리적 환경의 제4 뷰는 상기 물리적 환경의 제1 부분의 제4 표현을 포함하고, 상기 물리적 환경의 제1 부분의 제4 표현은 상기 제1 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 상기 제1 디스플레이 속성, 상기 제2 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제2 표현에 대해 조정되는 상기 제2 디스플레이 속성, 및 상기 제3 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제3 표현에 대해 조정되는 제3 디스플레이 속성을 가짐 - 를 포함하는, 방법. - 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전(telescope vision)을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전(microscope vision)을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 저조도 조건(low light condition)들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전(night vision)을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전(heat vision)을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 필터로 물리적 객체들의 뷰를 수정하는 것을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정을 포함하는, 방법.
- 제61항에 있어서,
상기 물리적 환경의 제3 표현을 디스플레이하는 것과 동시에, 상기 물리적 환경의 제2 표현에서 보이는 상기 물리적 환경의 제1 부분에 대응하는 사운드들을 출력하는 단계를 포함하고, 상기 사운드들은 상기 물리적 환경의 제1 부분 외측의 소스들로부터의 사운드들에 비해 선택적으로 향상되는, 방법. - 제55항 내지 제62항 중 어느 한 항에 있어서,
상기 물리적 환경의 제3 표현을 디스플레이하는 것과 동시에, 상기 물리적 환경의 제2 표현 및 제3 표현 둘 모두에서 보이는 상기 물리적 환경의 제1 부분으로부터 나오는 스피치에 대응하는 텍스트 출력을 디스플레이하는 단계를 포함하고, 상기 스피치는 상기 물리적 환경의 제1 부분 외측의 소스들로부터의 사운드들에 비해 선택적으로 향상되는, 방법. - 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 원거리 물리적 객체들을 보기 위한 시뮬레이션된 텔레스코프 비전을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 근거리 물리적 객체들을 확대하기 위한 시뮬레이션된 마이크로스코프 비전을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 저조도 조건들 하에서 물리적 객체들을 보기 위한 시뮬레이션된 나이트 비전을 포함하는, 방법.
- 제55항 또는 제56항에 있어서, 상기 제1 유형의 컴퓨터 생성 감각 조정은 상이한 열 방사 프로파일들을 갖는 물리적 객체들을 보기 위한 시뮬레이션된 히트 비전을 포함하고, 상기 제2 유형의 컴퓨터 생성 감각 조정은 물리적 환경 내의 물리적 객체들의 서브세트에 대응하는 사운드들에 대한 선택적 오디오 조정을 포함하는, 방법.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
물리적 환경의 제1 뷰를 디스플레이하기 위한 - 상기 물리적 환경의 제1 뷰는 상기 물리적 환경의 제1 부분의 제1 표현을 포함함 -;
상기 물리적 환경의 제1 뷰를 디스플레이하는 동안, 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제1 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제1 사용자 입력을 검출하기 위한;
상기 제1 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 환경의 제2 뷰를 디스플레이하기 위한 - 상기 물리적 환경의 제2 뷰는 상기 물리적 환경의 제1 부분의 제2 표현을 포함하고, 상기 물리적 환경의 제1 부분의 제2 표현은 상기 제1 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -;
상기 물리적 환경의 제2 뷰를 디스플레이하는 동안, 상기 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제2 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제2 사용자 입력을 검출하기 위한 ― 상기 제2 유형의 컴퓨터 생성 감각 조정은 상기 제1 유형의 컴퓨터 생성 감각 조정과는 상이함 -; 그리고
상기 제2 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 환경의 제3 뷰를 디스플레이하기 위한 - 상기 물리적 환경의 제3 뷰는 상기 물리적 환경의 제1 부분의 제3 표현을 포함하고, 상기 물리적 환경의 제1 부분의 제3 표현은 상기 제1 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 상기 제1 디스플레이 속성, 및 상기 제2 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
물리적 환경의 제1 뷰를 디스플레이하는 것 - 상기 물리적 환경의 제1 뷰는 상기 물리적 환경의 제1 부분의 제1 표현을 포함함 -;
상기 물리적 환경의 제1 뷰를 디스플레이하는 동안, 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제1 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제1 사용자 입력을 검출하는 것;
상기 제1 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 환경의 제2 뷰를 디스플레이하는 것 - 상기 물리적 환경의 제2 뷰는 상기 물리적 환경의 제1 부분의 제2 표현을 포함하고, 상기 물리적 환경의 제1 부분의 제2 표현은 상기 제1 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 제1 디스플레이 속성을 가짐 -;
상기 물리적 환경의 제2 뷰를 디스플레이하는 동안, 상기 2개 이상의 유형들의 컴퓨터 생성 감각 조정들 중 제2 유형의 컴퓨터 생성 감각 조정을 활성화하라는 요청에 대응하는 제2 사용자 입력을 검출하는 것 ― 상기 제2 유형의 컴퓨터 생성 감각 조정은 상기 제1 유형의 컴퓨터 생성 감각 조정과는 상이함 -; 및
상기 제2 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 환경의 제3 뷰를 디스플레이하는 것 - 상기 물리적 환경의 제3 뷰는 상기 물리적 환경의 제1 부분의 제3 표현을 포함하고, 상기 물리적 환경의 제1 부분의 제3 표현은 상기 제1 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제1 부분의 제1 표현에 대해 조정되는 상기 제1 디스플레이 속성, 및 상기 제2 유형의 컴퓨터 생성 감각 조정에 따라 상기 물리적 환경의 제2 표현에 대해 조정되는 제2 디스플레이 속성을 가짐 - 을 포함한 동작들을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 방법으로서,
제1 디스플레이 생성 컴포넌트 및 하나 이상의 제1 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
3차원 환경의 제1 뷰를 디스플레이하는 단계 - 상기 3차원 환경의 제1 뷰는 물리적 환경의 제1 부분의 제1 표현을 포함함 -;
상기 물리적 환경의 제1 부분의 제1 표현을 포함하는 상기 3차원 환경의 제1 뷰를 디스플레이하는 동안, 상기 물리적 환경의 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 단계; 및
상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동을 검출하는 것에 응답하여,
상기 제2 위치로의 상기 이동이 제1 기준들을 충족시킨다는 결정에 따라 - 상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해, 상기 제2 위치가 제1 유형의 운동과 연관된 위치에 대응한다는 제1 요건을 포함함 -, 상기 3차원 환경의 제2 뷰를 디스플레이하고 - 상기 3차원 환경의 제2 뷰는 상기 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 포함하고, 상기 제1 세트의 가상 콘텐츠는 상기 제2 위치를 포함하는 상기 물리적 환경의 제2 부분의 제2 표현의 적어도 일부분을 대체함 -;
상기 제2 위치로의 상기 이동이 상기 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라 - 상기 제2 기준들은, 상기 제2 기준들이 충족되기 위해, 상기 제2 위치가 제2 유형의 운동과 연관된 위치에 대응한다는 제2 요건을 포함하고, 상기 제2 유형의 운동은 상기 제1 유형의 운동과는 상이함 -, 상기 3차원 환경의 제3 뷰를 디스플레이하는 단계 - 상기 3차원 환경의 제3 뷰는 상기 제2 유형의 운동에 대응하는 제2 세트의 가상 콘텐츠를 포함하고, 상기 제2 세트의 가상 콘텐츠는 상기 제1 세트의 가상 콘텐츠와는 상이하며, 상기 제2 세트의 가상 콘텐츠는 상기 제2 위치를 포함하는 상기 물리적 환경의 제3 부분의 제3 표현의 적어도 일부분을 대체함 - 를 포함하는, 방법. - 제75항에 있어서,
상기 컴퓨터 시스템은 상기 제2 위치에서의 제1 유형의 운동 장비의 검출에 따라 상기 제2 위치가 상기 제1 유형의 운동과 연관된 위치에 대응한다고 결정하고;
상기 컴퓨터 시스템은 상기 제2 위치에서의 제2 유형의 운동 장비의 검출에 따라 상기 제2 위치가 상기 제2 유형의 운동과 연관된 위치에 대응한다고 결정하고, 상기 제2 유형의 운동 장비는 상기 제1 유형의 운동 장비와는 상이하고 상기 제1 유형의 운동에 대응하지 않는, 방법. - 제75항 또는 제76항에 있어서, 상기 물리적 환경에서의 상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동을 검출하는 것에 응답하여 상기 3차원 환경의 제2 뷰를 디스플레이하는 것은,
상기 물리적 환경의 제2 부분의 제2 표현을 점진적으로 감소시키는 것, 및
상기 물리적 환경의 제2 부분의 제2 표현이 점진적으로 감소된 상기 3차원 환경의 제2 뷰의 영역들에서 상기 제1 유형의 운동에 대응하는 가상 콘텐츠의 두드러짐을 점진적으로 증가시키는 것을 포함하는, 방법. - 제75항 내지 제77항 중 어느 한 항에 있어서, 상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해, 상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동 후에, 상기 제1 유형의 운동에 대응하는 제1 미리정의된 이동이 뒤따른다는 제3 요건을 포함하는, 방법.
- 제78항에 있어서,
상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동을 검출하는 것에 응답하여,
상기 제2 위치로의 상기 이동이, 상기 제1 기준들 및 상기 제2 기준들과는 상이한 제3 기준들을 충족시킨다는 결정에 따라 - 상기 제3 기준들은 상기 제2 위치가 상기 제1 유형의 운동 및 상기 제2 유형의 운동과는 상이한 제3 유형의 운동과 연관된 위치에 대응한다는 그리고 상기 제3 기준들이 충족되기 위해, 상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동 후에, 상기 제3 유형의 운동에 대응하는 제3 미리정의된 이동이 뒤따른다는 요건을 포함하고, 상기 제3 미리정의된 이동은 상기 제1 미리정의된 이동과는 상이함 -, 상기 3차원 환경의 제4 뷰를 디스플레이하는 단계를 포함하고, 상기 3차원 환경의 제4 뷰는 상기 제3 유형의 운동에 대응하는 제3 세트의 가상 콘텐츠를 포함하고, 상기 제3 세트의 가상 콘텐츠는 상기 제1 세트의 가상 콘텐츠 및 상기 제2 세트의 가상 콘텐츠와는 상이하며, 상기 제3 세트의 가상 콘텐츠는 상기 물리적 환경의 제2 부분의 제2 표현의 적어도 일부분을 대체하는, 방법. - 제78항 또는 제79항에 있어서,
상기 제2 위치와 연관된 각자의 유형의 운동에 대응하는 미리정의된 이동의 진행 또는 지속기간 중 적어도 하나에 따라, 상기 제1 사용자의 시야에 디스플레이되는 가상 콘텐츠의 양을 점진적으로 증가시키는 단계를 포함하는, 방법. - 제75항 내지 제72항 중 어느 한 항에 있어서,
상기 제2 위치와 연관된 각자의 유형의 운동에 대응하는 상기 3차원 환경의 각자의 뷰를 디스플레이하는 동안, 상기 제2 위치와 연관된 상기 각자의 유형의 운동을 종료하라는 요청에 대응하는 상기 제1 사용자의 이동을 검출하는 단계; 및
상기 제2 위치와 연관된 상기 각자의 유형의 운동을 종료하라는 요청에 대응하는 상기 제1 사용자의 이동을 검출하는 것에 응답하여,
상기 물리적 환경의 적어도 제4 부분의 표현을 포함하는 상기 3차원 환경의 제5 뷰를 디스플레이하는 단계를 포함하고, 상기 물리적 환경의 적어도 제4 부분의 표현은 상기 제1 사용자가 상기 제2 위치에 있었던 동안 상기 각자의 유형의 운동에 대응하는 각자의 세트의 가상 콘텐츠가 디스플레이되었던 상기 제1 사용자의 시야의 일부분을 점유하는, 방법. - 제75항 내지 제81항 중 어느 한 항에 있어서,
상기 3차원 환경의 제2 뷰가 디스플레이될 때, 상기 제1 유형의 운동에 대응하는 상태 정보를 디스플레이하는 단계를 포함하는, 방법. - 제75항 내지 제82항 중 어느 한 항에 있어서,
상기 3차원 환경의 제2 뷰가 디스플레이될 때, 상기 제1 사용자에 대응하는 건강 정보를 디스플레이하는 단계를 포함하는, 방법. - 제75항 내지 제83항 중 어느 한 항에 있어서,
상기 3차원 환경의 제2 뷰가 디스플레이될 때, 상기 제1 사용자에 의해 수행되는 상기 제1 유형의 운동의 진행 정보를 시각적으로 제시하는 단계를 포함하는, 방법. - 제75항 내지 제84항 중 어느 한 항에 있어서, 상기 3차원 환경의 제2 뷰를 디스플레이하는 것은,
상기 제1 사용자가 상기 물리적 환경에서 제1 방향을 향하고 있다는 결정에 따라, 상기 제1 세트의 가상 콘텐츠 중 제2 서브세트를 디스플레이하지 않고서, 상기 제1 유형의 운동에 대응하는 상기 제1 세트의 가상 콘텐츠 중 제1 서브세트를 디스플레이하는 것; 및
상기 제1 사용자가 상기 물리적 환경에서 상기 제1 방향과는 상이한 제2 방향이라는 결정에 따라, 상기 제1 세트의 가상 중 상기 제2 서브세트를 디스플레이하지 않고서, 상기 제1 유형의 운동에 대응하는 상기 제1 세트의 가상 콘텐츠 중 상기 제2 서브세트를 디스플레이하는 것을 포함하는, 방법. - 제75항 내지 제85항 중 어느 한 항에 있어서, 상기 제1 유형의 운동은 로잉(rowing) 운동이고, 상기 제2 위치는 로잉 운동 장비가 존재하는 위치이며, 상기 3차원 환경의 제2 뷰는 오픈 워터(open water)를 갖는 가상 장면을 포함하는, 방법.
- 제75항 내지 제86항 중 어느 한 항에 있어서,
상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동을 검출하는 것에 응답하여,
상기 제2 위치가 제5 유형의 운동 및 제6 유형의 운동과 연관된 위치에 대응한다는 결정에 따라,
상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동 후에, 상기 제2 위치에서 상기 제1 사용자가 상기 제5 유형의 운동과 연관된 각자의 유형의 장비에 관여하는 것이 뒤따른다는 결정에 따라, 상기 3차원 환경의 제6 뷰를 디스플레이하고 - 상기 3차원 환경의 제6 뷰는 상기 제5 유형의 운동에 대응하는 제5 세트의 가상 콘텐츠를 포함하고, 상기 제5 세트의 가상 콘텐츠는 상기 제1 세트의 가상 콘텐츠 및 상기 제2 세트의 가상 콘텐츠와는 상이하며, 상기 제5 세트의 가상 콘텐츠는 상기 물리적 환경의 제5 부분의 제5 표현의 적어도 일부분을 대체함 -;
상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동 후에, 상기 제2 위치에서 상기 제1 사용자가 상기 제6 유형의 운동과 연관된 각자의 유형의 장비에 관여하는 것이 뒤따른다는 결정에 따라, 상기 3차원 환경의 제7 뷰를 디스플레이하는 단계 - 상기 3차원 환경의 제7 뷰는 상기 제6 유형의 운동에 대응하는 제6 세트의 가상 콘텐츠를 포함하고, 상기 제6 세트의 가상 콘텐츠는 상기 제1 세트의 가상 콘텐츠, 상기 제2 세트의 가상 콘텐츠, 및 상기 제5 세트의 가상 콘텐츠와는 상이하며, 상기 제6 세트의 가상 콘텐츠는 상기 물리적 환경의 제5 부분의 제5 표현의 적어도 일부분을 대체함 - 를 포함하는, 방법. - 제75항 내지 제87항 중 어느 한 항에 있어서, 상기 3차원 환경의 제2 뷰는 상기 제1 사용자와 경쟁하여 상기 제1 유형의 운동을 수행하는 것으로 표시되는 상기 제1 사용자의 가상 표현을 포함하는, 방법.
- 제75항 내지 제88항 중 어느 한 항에 있어서, 상기 3차원 환경의 제2 뷰는 상기 제1 사용자와 경쟁하여 상기 제1 유형의 운동을 수행하는 것으로 표시되는, 상기 제1 사용자와는 상이한 적어도 제2 사용자의 가상 표현을 포함하는, 방법.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
3차원 환경의 제1 뷰를 디스플레이하기 위한 - 상기 3차원 환경의 제1 뷰는 물리적 환경의 제1 부분의 제1 표현을 포함함 -;
상기 물리적 환경의 제1 부분의 제1 표현을 포함하는 상기 3차원 환경의 제1 뷰를 디스플레이하는 동안, 상기 물리적 환경의 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하기 위한; 그리고
상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동을 검출하는 것에 응답하여,
상기 제2 위치로의 상기 이동이 제1 기준들을 충족시킨다는 결정에 따라 - 상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해, 상기 제2 위치가 제1 유형의 운동과 연관된 위치에 대응한다는 제1 요건을 포함함 -, 상기 3차원 환경의 제2 뷰를 디스플레이하고 - 상기 3차원 환경의 제2 뷰는 상기 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 포함하고, 상기 제1 세트의 가상 콘텐츠는 상기 제2 위치를 포함하는 상기 물리적 환경의 제2 부분의 제2 표현의 적어도 일부분을 대체함 -;
상기 제2 위치로의 상기 이동이 상기 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라 - 상기 제2 기준들은, 상기 제2 기준들이 충족되기 위해, 상기 제2 위치가 제2 유형의 운동과 연관된 위치에 대응한다는 제2 요건을 포함하고, 상기 제2 유형의 운동은 상기 제1 유형의 운동과는 상이함 -, 상기 3차원 환경의 제3 뷰를 디스플레이하기 위한 - 상기 3차원 환경의 제3 뷰는 상기 제2 유형의 운동에 대응하는 제2 세트의 가상 콘텐츠를 포함하고, 상기 제2 세트의 가상 콘텐츠는 상기 제1 세트의 가상 콘텐츠와는 상이하며, 상기 제2 세트의 가상 콘텐츠는 상기 제2 위치를 포함하는 상기 물리적 환경의 제3 부분의 제3 표현의 적어도 일부분을 대체함 - 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
3차원 환경의 제1 뷰를 디스플레이하는 것 - 상기 3차원 환경의 제1 뷰는 물리적 환경의 제1 부분의 제1 표현을 포함함 -;
상기 물리적 환경의 제1 부분의 제1 표현을 포함하는 상기 3차원 환경의 제1 뷰를 디스플레이하는 동안, 상기 물리적 환경의 제1 위치로부터 제2 위치로의 제1 사용자의 이동을 검출하는 것; 및
상기 제1 위치로부터 상기 제2 위치로의 상기 제1 사용자의 이동을 검출하는 것에 응답하여,
상기 제2 위치로의 상기 이동이 제1 기준들을 충족시킨다는 결정에 따라 - 상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해, 상기 제2 위치가 제1 유형의 운동과 연관된 위치에 대응한다는 제1 요건을 포함함 -, 상기 3차원 환경의 제2 뷰를 디스플레이하고 - 상기 3차원 환경의 제2 뷰는 상기 제1 유형의 운동에 대응하는 제1 세트의 가상 콘텐츠를 포함하고, 상기 제1 세트의 가상 콘텐츠는 상기 제2 위치를 포함하는 상기 물리적 환경의 제2 부분의 제2 표현의 적어도 일부분을 대체함 -;
상기 제2 위치로의 상기 이동이 상기 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라 - 상기 제2 기준들은, 상기 제2 기준들이 충족되기 위해, 상기 제2 위치가 제2 유형의 운동과 연관된 위치에 대응한다는 제2 요건을 포함하고, 상기 제2 유형의 운동은 상기 제1 유형의 운동과는 상이함 -, 상기 3차원 환경의 제3 뷰를 디스플레이하는 것 - 상기 3차원 환경의 제3 뷰는 상기 제2 유형의 운동에 대응하는 제2 세트의 가상 콘텐츠를 포함하고, 상기 제2 세트의 가상 콘텐츠는 상기 제1 세트의 가상 콘텐츠와는 상이하며, 상기 제2 세트의 가상 콘텐츠는 상기 제2 위치를 포함하는 상기 물리적 환경의 제3 부분의 제3 표현의 적어도 일부분을 대체함 - 을 포함한 동작들을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체. - 컴퓨터 시스템으로서,
디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제1항 내지 제18항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제1항 내지 제18항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들; 및
제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제21항 내지 제34항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제21항 내지 제34항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 제1 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제21항 내지 제34항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들; 및
제21항 내지 제34항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제21항 내지 제34항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제37항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제37항 내지 제52항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 제1 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제37항 내지 제52항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들; 및
제37항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제37항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제55항 내지 제72항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제55항 내지 제72항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 제1 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제55항 내지 제72항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들; 및
제55항 내지 제72항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제55항 내지 제72항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제75항 내지 제89항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템. - 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제75항 내지 제89항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
- 제1 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제75항 내지 제89항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
- 컴퓨터 시스템으로서,
제1 디스플레이 생성 컴포넌트;
하나 이상의 입력 디바이스들; 및
제75항 내지 제89항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템. - 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨터 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
제75항 내지 제89항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063083816P | 2020-09-25 | 2020-09-25 | |
| US63/083,816 | 2020-09-25 | ||
| US17/483,730 | 2021-09-23 | ||
| US17/483,730 US11562528B2 (en) | 2020-09-25 | 2021-09-23 | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| PCT/US2021/052027 WO2022067083A2 (en) | 2020-09-25 | 2021-09-24 | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230047184A true KR20230047184A (ko) | 2023-04-06 |
Family
ID=80821438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237008484A KR20230047184A (ko) | 2020-09-25 | 2021-09-24 | 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 |
Country Status (6)
| Country | Link |
|---|---|
| US (4) | US11562528B2 (ko) |
| EP (1) | EP4196866A2 (ko) |
| JP (1) | JP2023542846A (ko) |
| KR (1) | KR20230047184A (ko) |
| CN (2) | CN116209505A (ko) |
| WO (1) | WO2022067083A2 (ko) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11801434B2 (en) * | 2020-05-20 | 2023-10-31 | Mark Greenberg | Racquet sport scoring system |
| JPWO2022018836A1 (ko) * | 2020-07-21 | 2022-01-27 | ||
| US11277658B1 (en) | 2020-08-21 | 2022-03-15 | Beam, Inc. | Integrating overlaid digital content into displayed data via graphics processing circuitry |
| US11562528B2 (en) | 2020-09-25 | 2023-01-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| JP7168238B2 (ja) * | 2020-11-20 | 2022-11-09 | 株式会社インタラクティブソリューションズ | ミーティング支援システム |
| JP2022087700A (ja) * | 2020-12-01 | 2022-06-13 | 京セラドキュメントソリューションズ株式会社 | 電子機器および画像形成装置 |
| US11954242B2 (en) | 2021-01-04 | 2024-04-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11757997B2 (en) * | 2021-01-19 | 2023-09-12 | Seek Xr, Inc. | Systems and methods for facilitating shared extended reality experiences |
| WO2022165323A1 (en) * | 2021-02-01 | 2022-08-04 | Ifit Inc. | Exercise storage system |
| US11481933B1 (en) | 2021-04-08 | 2022-10-25 | Mobeus Industries, Inc. | Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry |
| US11475610B1 (en) | 2021-04-30 | 2022-10-18 | Mobeus Industries, Inc. | Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer |
| US11477020B1 (en) | 2021-04-30 | 2022-10-18 | Mobeus Industries, Inc. | Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry |
| US20230154126A1 (en) * | 2021-11-15 | 2023-05-18 | International Business Machines Corporation | Creating a virtual object response to a user input |
| US20230195208A1 (en) * | 2021-12-16 | 2023-06-22 | Joshua Steven Noyes | Centralized Virtual Reality and Augmented Reality Activity System |
| WO2023141535A1 (en) * | 2022-01-19 | 2023-07-27 | Apple Inc. | Methods for displaying and repositioning objects in an environment |
| US11630517B1 (en) * | 2022-01-25 | 2023-04-18 | Synchron Australia Pty Limited | Systems and methods for increasing control using a neural signal |
| US11948244B2 (en) * | 2022-02-11 | 2024-04-02 | Shopify Inc. | Augmented reality enabled dynamic product presentation |
| US20230410979A1 (en) * | 2022-06-21 | 2023-12-21 | TRIPP, Inc. | Location-based multi-user augmented reality for wellness |
| US20230414132A1 (en) * | 2022-06-24 | 2023-12-28 | Shanghai United Imaging Intelligence Co., Ltd. | System and method for providing rehabilitation in a virtual environment |
| US20240087229A1 (en) * | 2022-09-12 | 2024-03-14 | Mikhail Vasilkovskii | Three-dimensional asset reconstruction |
| WO2024064950A1 (en) * | 2022-09-24 | 2024-03-28 | Apple Inc. | Methods for time of day adjustments for environments and environment presentation during communication sessions |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002073246A (ja) | 2000-08-25 | 2002-03-12 | Minolta Co Ltd | 映像表示システム |
| WO2010146684A1 (ja) | 2009-06-18 | 2010-12-23 | パイオニア株式会社 | 情報表示装置 |
| JP2012155655A (ja) | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
| US20120257035A1 (en) | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| JP5817973B2 (ja) | 2011-07-15 | 2015-11-18 | コニカミノルタ株式会社 | 表示制御装置、及び情報処理装置、画像処理装置 |
| US9854014B2 (en) * | 2013-03-14 | 2017-12-26 | Google Inc. | Motion data sharing |
| US9244527B2 (en) | 2013-03-26 | 2016-01-26 | Volkswagen Ag | System, components and methodologies for gaze dependent gesture input control |
| KR20140126492A (ko) | 2013-04-23 | 2014-10-31 | 엘지전자 주식회사 | 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법 |
| WO2016098519A1 (ja) | 2014-12-17 | 2016-06-23 | コニカミノルタ株式会社 | 電子機器、電子機器の制御方法及びその制御プログラム |
| KR102641655B1 (ko) | 2015-10-20 | 2024-02-27 | 매직 립, 인코포레이티드 | 3차원 공간에서 가상 객체들 선택 |
| US10250720B2 (en) | 2016-05-05 | 2019-04-02 | Google Llc | Sharing in an augmented and/or virtual reality environment |
| US9864431B2 (en) | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
| DK201670574A1 (en) | 2016-06-12 | 2018-01-02 | Apple Inc | Accelerated scrolling |
| KR102581359B1 (ko) * | 2016-09-02 | 2023-09-20 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
| EP3361352B1 (en) | 2017-02-08 | 2019-06-05 | Alpine Electronics, Inc. | Graphical user interface system and method, particularly for use in a vehicle |
| US10481755B1 (en) | 2017-04-28 | 2019-11-19 | Meta View, Inc. | Systems and methods to present virtual content in an interactive space |
| CN111279292B (zh) | 2017-09-29 | 2022-06-14 | 苹果公司 | 检测物理边界 |
| US10706630B2 (en) | 2018-08-13 | 2020-07-07 | Inspirium Laboratories LLC | Augmented reality user interface including dual representation of physical location |
| US11592896B2 (en) | 2018-11-07 | 2023-02-28 | Wild Technology, Inc. | Technological infrastructure for enabling multi-user collaboration in a virtual reality environment |
| US10890983B2 (en) | 2019-06-07 | 2021-01-12 | Facebook Technologies, Llc | Artificial reality system having a sliding menu |
| US11096006B1 (en) | 2019-11-04 | 2021-08-17 | Facebook Technologies, Llc | Dynamic speech directivity reproduction |
| US11443650B2 (en) * | 2019-11-25 | 2022-09-13 | Kwangwoon University Industry-Academic Collaboration Foundation | Method and apparatus for VR training |
| US11562528B2 (en) | 2020-09-25 | 2023-01-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11954242B2 (en) | 2021-01-04 | 2024-04-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
-
2021
- 2021-09-23 US US17/483,730 patent/US11562528B2/en active Active
- 2021-09-24 EP EP21795103.7A patent/EP4196866A2/en active Pending
- 2021-09-24 CN CN202180065826.4A patent/CN116209505A/zh active Pending
- 2021-09-24 WO PCT/US2021/052027 patent/WO2022067083A2/en unknown
- 2021-09-24 JP JP2023515647A patent/JP2023542846A/ja active Pending
- 2021-09-24 KR KR1020237008484A patent/KR20230047184A/ko active Search and Examination
- 2021-09-24 CN CN202310886588.4A patent/CN116880694A/zh active Pending
-
2022
- 2022-12-29 US US18/091,154 patent/US11810244B2/en active Active
- 2022-12-29 US US18/091,119 patent/US11900527B2/en active Active
-
2024
- 2024-02-05 US US18/433,309 patent/US20240177403A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116880694A (zh) | 2023-10-13 |
| US11810244B2 (en) | 2023-11-07 |
| US20230147148A1 (en) | 2023-05-11 |
| WO2022067083A3 (en) | 2022-05-05 |
| US11900527B2 (en) | 2024-02-13 |
| US20230143827A1 (en) | 2023-05-11 |
| CN116209505A (zh) | 2023-06-02 |
| US11562528B2 (en) | 2023-01-24 |
| JP2023542846A (ja) | 2023-10-12 |
| EP4196866A2 (en) | 2023-06-21 |
| WO2022067083A2 (en) | 2022-03-31 |
| US20220101593A1 (en) | 2022-03-31 |
| US20240177403A1 (en) | 2024-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11810244B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11340756B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11615596B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| KR20230048152A (ko) | 환경에서 객체들을 조작하기 위한 방법들 | |
| CN116719415A (zh) | 用于提供计算机生成的体验的设备、方法和图形用户界面 | |
| CN118159935A (zh) | 用于内容应用程序的设备、方法和图形用户界面 | |
| US11934569B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| JP7332562B2 (ja) | プログラム、方法、および情報端末装置 | |
| JP7377790B2 (ja) | ゲームプログラム、ゲーム方法、および情報端末装置 | |
| US20230306695A1 (en) | Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment | |
| CN117957581A (zh) | 用于与三维环境交互的设备、方法和图形用户界面 | |
| CN117999534A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| WO2023183340A1 (en) | Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment | |
| CN118215903A (zh) | 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |