KR20230169331A - 환경에 몰입형 경험을 제공하기 위한 방법 - Google Patents
환경에 몰입형 경험을 제공하기 위한 방법 Download PDFInfo
- Publication number
- KR20230169331A KR20230169331A KR1020237039065A KR20237039065A KR20230169331A KR 20230169331 A KR20230169331 A KR 20230169331A KR 1020237039065 A KR1020237039065 A KR 1020237039065A KR 20237039065 A KR20237039065 A KR 20237039065A KR 20230169331 A KR20230169331 A KR 20230169331A
- Authority
- KR
- South Korea
- Prior art keywords
- environment
- displaying
- user
- display
- input
- Prior art date
Links
- 230000000694 effects Effects 0.000 claims abstract description 685
- 238000007654 immersion Methods 0.000 claims abstract description 588
- 230000033001 locomotion Effects 0.000 claims abstract description 428
- 230000004044 response Effects 0.000 claims abstract description 283
- 238000000034 method Methods 0.000 claims description 383
- 230000007704 transition Effects 0.000 claims description 181
- 230000000007 visual effect Effects 0.000 claims description 162
- 230000001965 increasing effect Effects 0.000 claims description 126
- 230000008859 change Effects 0.000 claims description 109
- 238000003860 storage Methods 0.000 claims description 37
- 230000001133 acceleration Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 12
- 239000002245 particle Substances 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims 18
- 229910052709 silver Inorganic materials 0.000 claims 2
- 239000004332 silver Substances 0.000 claims 2
- 230000003993 interaction Effects 0.000 description 64
- 210000004247 hand Anatomy 0.000 description 61
- 201000003152 motion sickness Diseases 0.000 description 52
- 210000003811 finger Anatomy 0.000 description 45
- 210000003128 head Anatomy 0.000 description 44
- 208000002173 dizziness Diseases 0.000 description 43
- 208000024891 symptom Diseases 0.000 description 42
- 230000007423 decrease Effects 0.000 description 38
- 230000008569 process Effects 0.000 description 34
- 230000003247 decreasing effect Effects 0.000 description 26
- 230000002829 reductive effect Effects 0.000 description 24
- 230000003190 augmentative effect Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000005266 casting Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 210000003813 thumb Anatomy 0.000 description 8
- 230000004313 glare Effects 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005562 fading Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 241001422033 Thestylus Species 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003278 mimic effect Effects 0.000 description 3
- 230000005433 particle physics related processes and functions Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001085205 Prenanthella exigua Species 0.000 description 2
- 206010040030 Sensory loss Diseases 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000269350 Anura Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001310793 Podium Species 0.000 description 1
- 208000012886 Vertigo Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
일부 실시예들에서, 전자 디바이스는 디바이스 주위의 물리적 환경의 기하학적 구조에 기초하여 3차원 환경에서 가상 환경 및/또는 공간 효과의 몰입 레벨을 변경한다. 일부 실시예들에서, 전자 디바이스는 디바이스의 이동을 검출하는 것에 응답하여 가상 환경 및/또는 공간 효과를 수정한다. 일부 실시예들에서, 전자 디바이스는 애플리케이션의 사용자 인터페이스를 가상 환경 내부로 그리고/또는 외부로 이동시킨다. 일부 실시예들에서, 전자 디바이스는 사용자의 시점과 연관된 객체의 이동에 기초하여 3차원 환경에서 시뮬레이션된 환경 및/또는 대기 효과(atmospheric effect)의 디스플레이를 선택적으로 변경한다. 일부 실시예들에서, 전자 디바이스는 사용자가 가상 객체를 시뮬레이션된 환경으로 그리고/또는 그 내로 이동시키는 것에 응답하여 사용자에게 피드백을 제공한다.
Description
관련 출원의 상호 참조
본 출원은 2021년 4월 13일자로 출원된 미국 가출원 제63/174,272호, 2021년 9월 23일자로 출원된 미국 가출원 제63/261,554호, 2021년 12월 2일자로 출원된 미국 가출원 제63/264,831호, 및 2022년 4월 11일자로 출원된 미국 가출원 제63/362,799호의 이익을 주장하며, 이들의 내용은 모든 목적들을 위해 그들 전체가 본 명세서에 참고로 포함된다.
기술분야
본 출원은 대체적으로 디스플레이 생성 컴포넌트 및 그래픽 사용자 인터페이스를 제시하는 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 관한 것으로, 3차원 환경들에서 몰입형 경험들을 제공하는 전자 디바이스들을 포함하지만 이에 제한되지 않는다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치-감응형 표면들, 및 터치-스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
그러나, 적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 그러한 방법들 및 인터페이스들은 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 접속을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
개시된 시스템들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 일부 실시예들에서, 컴퓨터 시스템은 연관된 디스플레이를 갖는 데스크톱 컴퓨터이다. 일부 실시예들에서, 컴퓨터 시스템은 휴대용 디바이스(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 개인용 전자 디바이스(예를 들어, 시계 또는 머리 장착형 디바이스와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 터치패드를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 눈 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 손 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 디스플레이 생성 컴포넌트에 추가하여 하나 이상의 출력 디바이스들을 갖고, 출력 디바이스들은 하나 이상의 촉각적 출력 생성기들 및 하나 이상의 오디오 출력 디바이스들을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 터치-감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들, 카메라들 및 다른 이동 센서들에 의해 캡처된 GUI 또는 사용자의 신체에 대한 공간에서의 사용자의 눈들 및 손의 이동, 및 하나 이상의 오디오 입력 디바이스들에 의해 캡처된 음성 입력들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 상호작용들을 통해 수행되는 기능들은, 선택적으로, 이미지 편집, 드로잉, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
3차원 환경 내의 객체들과 상호작용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들이 필요하다. 이러한 방법들 및 인터페이스들은 3차원 환경에서 객체들과 상호작용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 이러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 정도, 및/또는 종류를 줄이고 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에서, 전자 디바이스는 디바이스 주위의 물리적 환경의 기하학적 구조에 기초하여 3차원 환경에서 가상 환경 및/또는 공간 효과의 몰입 레벨을 변경한다. 일부 실시예들에서, 전자 디바이스는 디바이스의 이동을 검출하는 것에 응답하여 가상 환경 및/또는 공간 효과를 수정한다. 일부 실시예들에서, 전자 디바이스는 애플리케이션의 사용자 인터페이스를 가상 환경 내부로 그리고 외부로 이동시킨다. 일부 실시예들에서, 전자 디바이스는 사용자의 시점과 연관된 객체의 이동에 기초하여 3차원 환경에서 시뮬레이션된 환경 및/또는 대기 효과(atmospheric effect)의 디스플레이를 선택적으로 변경한다. 일부 실시예들에서, 전자 디바이스는 일부 실시예들에 따라 사용자가 가상 객체를 시뮬레이션된 환경으로 그리고/또는 그 내로 이동시키는 것에 응답하여 사용자에게 피드백을 제공한다.
전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음에 주목한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6a는 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 6b는 일부 실시예들에 따른 CGR 경험들을 제공하는 전자 디바이스의 예시적인 환경을 예시한다.
도 7a 내지 도 7h는 일부 실시예들에 따른 가상 환경을 디스플레이하는 예들을 예시한다.
도 8a 내지 도 8h는 일부 실시예들에 따른, 가상 환경을 디스플레이하는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9h는 일부 실시예들에 따른, 3차원 환경에 대한 몰입 레벨을 변경하는 예들을 예시한다.
도 10a 내지 도 10p는 일부 실시예들에 따른, 3차원 환경에 대한 몰입 레벨을 변경하는 방법을 예시하는 흐름도이다.
도 11a 내지 도 11d는 일부 실시예들에 따른, 객체를 가상 환경 내부로 또는 외부로 이동시키는 예들을 예시한다.
도 12a 내지 도 12g는 일부 실시예들에 따른, 객체를 가상 환경 내부로 또는 외부로 이동시키는 방법을 예시하는 흐름도이다.
도 13a 내지 도 13h는 일부 실시예들에 따른, 사용자의 시점과 연관된 객체의 이동에 기초하여 3차원 환경에서 시뮬레이션된 환경 및/또는 대기 효과의 디스플레이를 선택적으로 변경하는 예들을 예시한다.
도 14a 내지 도 14l은 일부 실시예들에 따른, 사용자의 시점과 연관된 객체의 이동에 기초하여 3차원 환경에서 시뮬레이션된 환경 및/또는 대기 효과의 디스플레이를 선택적으로 변경하는 방법을 예시하는 흐름도이다.
도 15a 내지 도 15g는 일부 실시예들에 따른, 사용자가 가상 객체를 시뮬레이션된 환경으로 그리고/또는 그 내로 이동시키는 것에 응답하여 사용자에게 피드백을 제공하는 예들을 예시한다.
도 16a 내지 도 16h는 일부 실시예들에 따른, 사용자가 가상 객체를 시뮬레이션된 환경으로 그리고/또는 그 내로 이동시키는 것에 응답하여 사용자에게 피드백을 제공하는 방법을 예시하는 흐름도이다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6a는 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 6b는 일부 실시예들에 따른 CGR 경험들을 제공하는 전자 디바이스의 예시적인 환경을 예시한다.
도 7a 내지 도 7h는 일부 실시예들에 따른 가상 환경을 디스플레이하는 예들을 예시한다.
도 8a 내지 도 8h는 일부 실시예들에 따른, 가상 환경을 디스플레이하는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9h는 일부 실시예들에 따른, 3차원 환경에 대한 몰입 레벨을 변경하는 예들을 예시한다.
도 10a 내지 도 10p는 일부 실시예들에 따른, 3차원 환경에 대한 몰입 레벨을 변경하는 방법을 예시하는 흐름도이다.
도 11a 내지 도 11d는 일부 실시예들에 따른, 객체를 가상 환경 내부로 또는 외부로 이동시키는 예들을 예시한다.
도 12a 내지 도 12g는 일부 실시예들에 따른, 객체를 가상 환경 내부로 또는 외부로 이동시키는 방법을 예시하는 흐름도이다.
도 13a 내지 도 13h는 일부 실시예들에 따른, 사용자의 시점과 연관된 객체의 이동에 기초하여 3차원 환경에서 시뮬레이션된 환경 및/또는 대기 효과의 디스플레이를 선택적으로 변경하는 예들을 예시한다.
도 14a 내지 도 14l은 일부 실시예들에 따른, 사용자의 시점과 연관된 객체의 이동에 기초하여 3차원 환경에서 시뮬레이션된 환경 및/또는 대기 효과의 디스플레이를 선택적으로 변경하는 방법을 예시하는 흐름도이다.
도 15a 내지 도 15g는 일부 실시예들에 따른, 사용자가 가상 객체를 시뮬레이션된 환경으로 그리고/또는 그 내로 이동시키는 것에 응답하여 사용자에게 피드백을 제공하는 예들을 예시한다.
도 16a 내지 도 16h는 일부 실시예들에 따른, 사용자가 가상 객체를 시뮬레이션된 환경으로 그리고/또는 그 내로 이동시키는 것에 응답하여 사용자에게 피드백을 제공하는 방법을 예시하는 흐름도이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에서 설명되는 시스템들, 방법들 및 GUI들은 전자 디바이스가 3차원 환경에서 객체들과 상호작용하고 그를 조작하는 개선된 방식들을 제공한다.
일부 실시예들에서, 컴퓨터 시스템은 3차원 환경 내에 가상 환경을 디스플레이한다. 일부 실시예들에서, 가상 환경은 (예컨대, 선택적으로, 디바이스 주위의 실제 세계 환경을 모방하는) 3차원 환경의 기하학적 구조(예컨대, 크기 및/또는 형상)에 기초하여 원거리 프로세스 또는 근거리 프로세스를 통해 디스플레이된다. 일부 실시예들에서, 원거리 프로세스는 (예컨대, 환경 내의 객체들의 위치, 포지션, 거리 등에 관한 정보를 사용하여) 사용자의 시점에서 가장 먼 위치로부터 가상 환경을 도입하는 것 및 사용자의 시점을 향해 가상 환경을 점진적으로 확장하는 것을 포함한다. 일부 실시예들에서, 근거리 프로세스는, 환경 내의 객체들의 거리 및/또는 위치를 고려하지 않고(예컨대, 디스플레이 생성 컴포넌트에 대한 가상 환경의 크기를 확장시키지 않고), 가상 환경을 사용자의 시점에서 가장 먼 위치로부터 도입하는 것 및 초기 위치로부터 외향으로 확장하는 것을 포함한다.
일부 실시예들에서, 컴퓨터 시스템은 3차원 환경에 가상 환경 및/또는 대기 효과를 디스플레이한다. 일부 실시예들에서, 대기 효과를 디스플레이하는 것은 3차원 환경에서 하나 이상의 조명 및/또는 입자 효과들을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 디바이스의 이동을 검출하는 것에 응답하여, 가상 환경의 부분들이 강조약화(de-emphasize)되지만, 선택적으로 대기 효과들은 감소되지 않는다. 일부 실시예들에서, (예컨대, 디바이스의 회전과 동시에) 사용자의 신체의 회전을 검출하는 것에 응답하여, 가상 환경은 3차원 환경 내의 새로운 위치로 이동되고, 선택적으로 사용자의 신체와 정렬된다.
일부 실시예들에서, 컴퓨터 시스템은 애플리케이션의 사용자 인터페이스와 동시에 가상 환경을 디스플레이한다. 일부 실시예들에서, 애플리케이션의 사용자 인터페이스는 가상 환경 내로 이동될 수 있고 가상 환경에 존재하는 가상 객체로서 처리될 수 있다. 일부 실시예들에서, 사용자 인터페이스는 가상 환경 내로 이동될 때 사용자 인터페이스의 거리에 기초하여 가상 환경 내로 이동될 때 자동적으로 크기조정된다. 일부 실시예들에서, 가상 환경 및 사용자 인터페이스 둘 모두를 디스플레이하는 동안, 사용자는 사용자 인터페이스가 몰입형 환경으로서 디스플레이되도록 요청할 수 있다. 일부 실시예들에서, 사용자 인터페이스를 몰입형 환경으로서 디스플레이하라는 요청에 응답하여, 이전에 디스플레이된 가상 환경은 사용자 인터페이스의 몰입형 환경으로 대체된다.
일부 실시예들에서, 컴퓨터 시스템은 3차원 환경에 시뮬레이션된 환경 및/또는 대기 효과를 디스플레이한다. 일부 실시예들에서, 사용자, 사용자의 일부(예컨대, 머리, 눈, 얼굴, 및/또는 신체), 컴퓨터 시스템 및/또는 컴퓨터 시스템의 다른 컴포넌트의 이동을 검출하는 것에 응답하여, 시뮬레이션된 환경은 3차원 환경에서 후퇴되어 물리적 환경의 부분들을 드러낸다. 일부 실시예들에서, 대기 효과는 감소되지 않는다. 일부 실시예들에서, 사용자, 사용자의 일부(예컨대, 머리, 눈, 얼굴, 및/또는 신체), 컴퓨터 시스템 및/또는 컴퓨터 시스템의 다른 컴포넌트의 추가 이동은 시뮬레이션된 환경이 더 이상 디스플레이되지 않는 결과로 이어진다.
일부 실시예들에서, 전자 디바이스는 3차원 환경 내에 가상 객체를 디스플레이하며, 여기서 3차원 환경은 제1 시각적 외관을 갖는 시뮬레이션된 환경을 포함하고, 가상 객체는 3차원 환경에서 시뮬레이션된 환경의 외부에 위치된다. 일부 실시예들에서, 가상 객체를 시뮬레이션된 환경 내로 또는 그로 이동시키는 입력을 수신하는 것에 응답하여, 전자 디바이스는 제1 시각적 외관과는 상이한 제2 시각적 외관으로 시뮬레이션된 환경을 디스플레이한다. 일부 실시예들에서, 시뮬레이션된 환경의 시각적 외관을 변경하는 것은 시뮬레이션된 환경의 위치를 변경하는 것, 시뮬레이션된 환경과 연관된 몰입 레벨을 변경하는 것, 시뮬레이션된 환경의 불투명도를 변경하는 것, 및/또는 시뮬레이션된 환경의 색상을 변경하는 것을 포함한다.
아래에서 설명되는 프로세스들은, 사용자에게 개선된 시각적 피드백을 제공하는 것, 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것, 추가의 디스플레이된 제어부들로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하는 것, 프라이버시 및/또는 보안을 개선시키는 것, 및/또는 추가 기법들을 포함한 다양한 기법들을 통해 (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스들을 더 효율적으로 만든다. 이러한 기법들은 또한, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 1 내지 도 6은 (방법들(800, 1000, 1200, 1400, 1600)과 관련하여 아래에서 설명되는 것과 같은) 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 그리고 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 홈 어플라이언스들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리-장착 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 현실(또는 확장 현실(XR)): 대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
시점-록킹(viewpoint-locked) 가상 객체: 사용자의 시점이 시프트(예를 들어, 변경)되더라도, 컴퓨터 시스템이 사용자의 시점의 동일한 위치 및/또는 포지션에서 가상 객체를 디스플레이할 때 가상 객체가 시점-록킹된다. 컴퓨터 시스템이 머리 장착형 디바이스인 실시예들에서, 사용자의 시점은 사용자의 머리의 전방 대면 방향에 록킹되고(예를 들어, 사용자의 시점은 사용자가 정면을 보고 있을 때 사용자의 시야의 적어도 일부임); 따라서, 사용자의 시선이 시프트되더라도, 사용자의 머리를 이동시키지 않으면서, 사용자의 시점이 고정된 상태로 유지된다. 컴퓨터 시스템이 사용자의 머리에 대해 재위치될 수 있는 디스플레이 생성 컴포넌트(예를 들어, 디스플레이 스크린)를 갖는 실시예들에서, 사용자의 시점은 컴퓨터 시스템의 디스플레이 생성 컴포넌트 상에서 사용자에게 제시되고 있는 증강 현실 뷰이다. 예를 들어, 사용자의 시점의 상부 좌측 코너에서 디스플레이되는 시점-록킹 가상 객체는, 사용자의 시점이 제1 배향(예를 들어, 사용자의 머리가 북쪽을 향함)에 있을 때, 사용자의 시점이 제2 배향(예를 들어, 사용자의 머리가 서쪽을 향함)으로 변경되더라도, 사용자의 시점의 상부 좌측 코너에서 계속 디스플레이된다. 다시 말하면, 시점-록킹된 가상 객체가 사용자의 시점에서 디스플레이되는 위치 및/또는 포지션은 물리적 환경 내의 사용자의 포지션 및/또는 배향과 독립적이다. 컴퓨터 시스템이 머리 장착형 디바이스인 실시예들에서, 사용자의 시점은 사용자의 머리의 배향에 록킹되므로, 가상 객체는 또한 "머리-록킹 가상 객체"로 지칭된다.
환경-록킹 가상 객체: 컴퓨터 시스템이 3차원 환경(예를 들어, 물리적 환경 또는 가상 환경) 내의 위치 및/또는 객체에 기초하는(예를 들어, 이를 참조하여 선택되고 그리고/또는 이에 고정된) 사용자의 시점 내의 위치 및/또는 포지션에서 가상 객체를 디스플레이할 때, 가상 객체는 환경-록킹(대안적으로는, "세계-록킹")된다. 사용자의 시점이 시프트됨에 따라, 사용자의 시점에 대한 환경 내의 위치 및/또는 객체가 변경되며, 이는 환경-록킹된 가상 객체가 사용자의 시점 내의 상이한 위치 및/또는 포지션에서 디스플레이되는 것을 초래한다. 예를 들어, 사용자의 바로 전방에 있는 나무에 록킹되는 환경-록킹된 가상 객체는 사용자의 시점의 중심에서 디스플레이된다. 사용자의 시점이 우측으로 시프트되어(예를 들어, 사용자의 머리가 우측으로 회전되어), 나무가 이제 사용자의 시점에서 중심 좌측에 있을 때(예를 들어, 사용자의 시점 내의 나무의 포지션이 시프트될 때), 나무에 록킹되는 환경-록킹된 가상 객체는 사용자의 시점에서 중심 좌측에 디스플레이된다. 다시 말하면, 환경-록킹된 가상 객체가 사용자의 시점에서 디스플레이되는 위치 및/또는 포지션은 가상 객체가 록킹되는 환경 내의 위치 및/또는 객체의 포지션 및/또는 배향에 의존한다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 시점에서 환경-록킹된 가상 객체를 디스플레이할 포지션을 결정하기 위해 고정 기준 프레임(예를 들어, 물리적 환경 내의 고정 위치 및/또는 객체에 고정되는 좌표계)을 사용한다. 환경-록킹된 가상 객체는 환경의 고정 부분(예를 들어, 바닥, 벽, 테이블, 또는 다른 고정 객체)에 록킹될 수 있거나, 또는 환경의 이동가능 부분(예를 들어, 차량, 동물, 사람, 또는 심지어 사용자의 시점과 독립적으로 이동되는 사용자 신체의 일부, 예컨대 사용자의 손, 손목, 팔, 또는 다리의 표현)에 록킹될 수 있어서, 가상 객체는 가상 객체와 환경의 일부 사이의 고정된 관계를 유지하기 위해 시점 또는 환경의 일부가 이동됨에 따라 이동된다.
일부 실시예들에서, 환경-록킹되거나 시점-록킹된 가상 객체는 가상 객체가 따르는 기준 포인트의 이동에 대한 환경-록킹되거나 시점-록킹된 가상 객체의 모션을 감소시키거나 지연시키는 느린(lazy) 후속 거동을 나타낸다. 일부 실시예들에서, 느린 후속 거동을 나타낼 때, 컴퓨터 시스템은, 가상 객체가 따르고 있는 기준 포인트(예를 들어, 환경의 일부, 시점, 또는 시점에 대해 고정된 포인트, 예컨대 시점으로부터 5 내지 300 cm인 포인트)의 이동을 검출할 때 가상 객체의 이동을 의도적으로 지연시킨다. 예를 들어, 기준 포인트(예를 들어, 환경의 일부 또는 시점)가 제1 속도로 이동할 때, 가상 객체는 (예를 들어, 기준 포인트가 이동하는 것을 중지하거나 기준 포인트가 느려질 때까지(그 포인트에서, 가상 객체는 기준 포인트를 따라잡기 시작함)) 기준 포인트에 록킹된 상태로 유지되기 위해 디바이스에 의해 이동되지만, 제1 속도보다 느린 제2 속도로 이동한다. 일부 실시예들에서, 가상 객체가 느린 후속 거동을 나타낼 때, 디바이스는 기준 포인트의 작은 양들의 이동을 무시한다(예를 들어, 0 내지 5도만큼의 이동 또는 0 내지 50 cm만큼의 이동과 같은 임계량의 이동 미만인 기준 포인트의 이동을 무시함). 예를 들어, 기준 포인트(예를 들어, 가상 객체가 록킹되는 환경의 일부 또는 시점)가 제1 양만큼 이동할 때, (예를 들어, 가상 객체가 록킹되는 기준 포인트와 상이한 시점 또는 환경의 일부에 대해 고정된 또는 실질적으로 고정된 포지션을 유지하기 위해 가상 객체가 디스플레이되고 있기 때문에) 기준 포인트와 가상 객체 사이의 거리가 증가되고, 기준 포인트(예를 들어, 가상 객체가 록킹되는 환경의 일부 또는 시점)가 제1 양보다 큰 제2 양만큼 이동할 때, (예를 들어, 가상 객체가 록킹되는 기준 포인트와 상이한 시점 또는 환경의 일부에 대해 고정된 또는 실질적으로 고정된 포지션을 유지하기 위해 가상 객체가 디스플레이되고 있기 때문에) 기준 포인트와 가상 객체 사이의 거리는 초기에 증가되며, 이어서, 기준 포인트에 대해 고정된 또는 실질적으로 고정된 포지션을 유지하기 위해 가상 객체가 컴퓨터 시스템에 의해 이동되기 때문에, 기준 포인트의 이동의 양이 임계치(예를 들어, "느린 후속" 임계치) 초과로 증가됨에 따라 감소된다. 일부 실시예들에서, 가상 객체가 기준 포인트에 대해 실질적으로 고정된 포지션을 유지하는 것은 가상 객체가 하나 이상의 차원들(예를 들어, 기준 포인트의 포지션에 대해 위/아래, 좌측/우측, 및/또는 전방/후방)로 기준 포인트의 임계 거리(예를 들어, 1, 2, 3, 5, 15, 20, 또는 50 cm) 내에서 디스플레이되는 것을 포함한다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 머리 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 머리 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 머리 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 머리 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 머리 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(120)에 의해 제공되고/되거나 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부(예를 들어, 그의 머리에, 그의 손에 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예를 들어, 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CRG 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 CGR 경험, 또는 하나 이상의 사용자들의 각자의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(242)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(244)은 장면(105)을 맵핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(244)은 손 추적 유닛(243), 및 눈 추적 유닛(245)을 포함한다. 일부 실시예들에서, 손 추적 유닛(243)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(243)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(245)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(245)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(242), 추적 유닛(244(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부 및/또는 외부 대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결하고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 깊이 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 눈-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 손-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 HMD(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하거나 또는 장면(105)의 물리적 환경들을 캡처하는 이미지 센서들의 역할을 하기 위해 다른 이미지 센서들과 함께 사용된다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를, 맵 데이터로부터 고레벨 정보를 추출하는 제어기(110)에 출력한다. 이러한 고레벨 정보는 통상적으로, 애플리케이션 프로그램 인터페이스(API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동시킨다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 특정 거리에서 미리결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 성분들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 제스처는 에어 제스처를 포함한다. 에어 제스처는 디바이스(예를 들어, 컴퓨터 시스템(101), 하나 이상의 입력 디바이스(125) 및/또는 손 추적 디바이스(140))의 일부인 입력 요소를 사용자가 터치하지 않으면서(또는 이와 독립적으로) 검출되는 제스처이며, 사용자 신체의 다른 부분에 대한 절대적 기준(예를 들어, 지면에 대한 사용자의 팔의 각도 또는 지면에 대한 사용자의 손의 거리)에 대한 사용자의 신체의 모션(예를 들어, 사용자의 어깨에 대한 사용자의 손의 움직임, 사용자의 다른 손에 대한 사용자의 하나의 손의 움직임, 및/또는 사용자의 다른 손가락 또는 손의 일부에 대한 사용자의 손가락의 움직임), 및/또는 사용자의 신체의 일부의 절대적 모션(예를 들어, 미리결정된 양 및/또는 속도만큼 미리결정된 포즈에서 손의 움직임을 포함하는 탭 제스처, 또는 사용자의 신체의 일부의 미리결정된 회전 속도 또는 양을 포함하는 셰이크 제스처)을 포함하는 공중을 통한 사용자의 신체의 일부(예를 들어, 머리, 하나 이상의 팔들, 하나 이상의 손들, 하나 이상의 손가락들 및/또는 하나 이상의 다리들)의 검출된 모션에 기초한다.
일부 실시예들에서, 본 명세서에서 설명된 다양한 예들 및 실시예들에서 사용된 입력 제스처들은, 일부 실시예들에 따른, CGR 또는 XR 환경(예를 들어, 가상 또는 혼합 현실 환경)과 상호작용하기 위해 다른 손가락(들) 또는 사용자의 손의 일부(들)에 대한 사용자의 손가락(들)의 움직임에 의해 수행되는 에어 제스처들을 포함한다. 일부 실시예들에서, 에어 제스처는, 사용자가 디바이스의 일부인 입력 요소를 터치하지 않으면서(또는 디바이스의 일부인 입력 요소와 독립적으로) 검출되고, 절대적 기준에 대한 사용자의 신체의 모션(예를 들어, 지면에 대한 사용자의 팔의 각도 또는 지면에 대한 사용자의 손의 거리), 사용자의 신체의, 사용자의 신체의 다른 부분에 대한 모션(예를 들어, 사용자의 손의 사용자의 어깨에 대한 이동, 사용자의 하나의 손의 사용자의 다른 손에 대한 이동, 및/또는 사용자의 손가락의 사용자의 손의 다른 손가락 또는 부분에 대한 이동), 및/또는 사용자의 신체의 일부분의 절대적 모션(예를 들어, 미리결정된 양 및/또는 속력만큼의 미리결정된 포즈의 손의 이동을 포함하는 탭 제스처, 또는 사용자의 신체의 일부분의 미리결정된 속력 또는 양의 회전을 포함하는 쉐이크 제스처)을 포함하는 에어를 통한 사용자의 신체의 일부분의 검출된 모션에 기초하는 제스처이다.
입력 제스처가 에어 제스처인 일부 실시예들에서(예를 들어, 터치스크린 상에 디스플레이된 사용자 인터페이스 요소와의 접촉 또는 사용자 인터페이스 요소에 대해 커서를 이동시키는 마우스 또는 트랙패드와의 접촉과 같이, 사용자 인터페이스 요소가 사용자 입력의 타깃인 것에 대한 정보를 컴퓨터 시스템에 제공하는 입력 디바이스와의 물리적 접촉의 부재 시에), 제스처는 (예를 들어, 아래에서 설명되는 바와 같은 직접 입력들에 대한) 사용자 입력의 타깃을 결정하기 위해 사용자의 주의(예를 들어, 시선)를 고려한다. 따라서, 에어 제스처들을 수반하는 구현들에서, 입력 제스처는, 예를 들어, 아래에서 더 상세히 설명되는 바와 같이, 핀치 및/또는 탭 입력을 수행하기 위해 사용자의 손가락(들) 및/또는 손들의 움직임과 조합하여(예를 들어, 동시에) 사용자 인터페이스 요소를 향한 검출된 주의(예를 들어, 시선)이다.
일부 실시예들에서, 사용자 인터페이스 객체로 지향되는 입력 제스처들은 사용자 인터페이스 객체를 참조하여 간접적으로 또는 직접적으로 수행된다. 예를 들어, (예를 들어, 사용자의 현재 시점에 기초하여 결정되는 바와 같이) 3차원 환경에서 사용자 인터페이스 객체의 포지션에 대응하는 포지션에서 사용자의 손으로 입력 제스처를 수행하는 것에 따라 사용자 인터페이스 객체 상에서 직접 사용자 입력이 수행된다. 일부 실시예들에서, 사용자 인터페이스 객체 상에서 사용자의 주의(예를 들어, 시선)를 검출하면서 사용자의 손의 포지션이 3차원 환경에서 사용자 인터페이스 객체의 포지션에 대응하는 포지션에 있지 않은 동안 사용자가 입력 제스처를 수행하는 것에 따라 사용자 인터페이스 객체 상에서 간접적으로 입력 제스처가 수행된다. 예를 들어, 직접적인 입력 제스처의 경우, 사용자는, 사용자 인터페이스 객체의 디스플레이된 포지션에 대응하는 포지션에서 또는 그 근처에서(예를 들어, 옵션의 외측 에지 또는 옵션의 중심 부분으로부터 측정되는 바와 같이 0.5 cm, 1 cm, 5 cm, 또는 0 내지 5 cm의 거리 내에서) 제스처를 개시함으로써 사용자 인터페이스 객체로 사용자의 입력을 지향시키는 것이 가능하게 된다. 간접적인 입력 제스처의 경우, 사용자는 사용자 인터페이스 객체에 주의를 기울임으로써(예를 들어, 사용자 인터페이스 객체를 응시함으로써) 사용자의 입력을 사용자 인터페이스 객체로 지향시키는 것이 가능하게 되고, 옵션에 주의를 기울이는 동안, 사용자는 (예를 들어, 컴퓨터 시스템에 의해 검출가능한 임의의 포지션에서)(예를 들어, 사용자 인터페이스 객체의 디스플레이된 포지션에 대응하지 않는 포지션에서) 입력 제스처를 개시한다.
일부 실시예들에서, 본 명세서에서 설명된 다양한 예들 및 실시예들에서 사용된 입력 제스처들(예를 들어, 에어 제스처들)은 일부 실시예들에 따른, 가상 또는 혼합 현실 환경과 상호작용하기 위한 핀치 입력들 및 탭 입력들을 포함한다. 예를 들어, 아래에서 설명되는 핀치 입력들 및 탭 입력들은 에어 제스처들로서 수행된다.
일부 실시예들에서, 핀치 입력은 핀치 제스처, 롱 핀치 제스처, 핀치 및 드래그 제스처 또는 더블 핀치 제스처 중 하나 이상을 포함하는 에어 제스처의 일부이다. 예를 들어, 에어 제스처인 핀치 제스처는 서로 접촉하기 위한 손의 2개 이상의 손가락들의 움직임을 포함하고, 이는, 선택적으로, 즉각적인(예를 들어, 0 내지 1 초 이내에) 서로로부터의 접촉 해제가 후속된다. 에어 제스처인 롱 핀치 제스처는, 서로로부터의 접촉 해제를 검출하기 전에 적어도 임계 시간(예를 들어, 적어도 1 초) 동안 서로 접촉하기 위한 손의 2개 이상의 손가락들의 움직임을 포함한다. 예를 들어, 롱 핀치 제스처는 사용자가 핀치 제스처를 유지하는 것(예를 들어, 2개 이상의 손가락들이 접촉함)을 포함하고, 롱 핀치 제스처는 2개 이상의 손가락들 사이의 접촉 해제가 검출될 때까지 계속된다. 일부 실시예들에서, 에어 제스처인 더블 핀치 제스처는 서로 즉각적인(예를 들어, 미리정의된 기간 내인) 연속으로 검출되는 2개(예를 들어, 또는 그 이상)의 핀치 입력들(예를 들어, 동일한 손에 의해 수행됨)을 포함한다. 예컨대, 사용자는 제1 핀치 입력(예를 들어, 핀치 입력 또는 롱 핀치 입력)을 수행하고, 제1 핀치 입력을 해제하고(예를 들어, 2개 이상의 손가락들 사이의 접촉을 해제함), 제1 핀치 입력을 해제한 이후 미리정의된 시간 내에(예를 들어, 1초 이내 또는 2초 내에) 제2 핀치 입력을 수행한다.
일부 실시예들에서, 에어 제스처인 핀치 및 드래그 제스처는, 핀치 제스처(예를 들어, 핀치 제스처 또는 롱 핀치 제스처)를 포함하고, 이는 사용자의 손의 포지션을 제1 포지션(예를 들어, 드래그의 시작 포지션)으로부터 제2 포지션(예를 들어, 드래그의 종료 포지션)으로 변경하는 드래그 입력과 함께 수행된다(예를 들어, 그에 후속함). 일부 실시예들에서, 사용자는 드래그 입력을 수행하는 동안 핀치 제스처를 유지하고, (예를 들어, 제2 포지션에서) 드래그 제스처를 종료하기 위해 핀치 제스처를 해제한다(예를 들어, 자신의 2개 이상의 손가락들을 개방함). 일부 실시예들에서, 핀치 입력 및 드래그 입력은 동일한 손에 의해 수행된다(예를 들어, 사용자는 2개 이상의 손가락들을 핀칭하여 서로 접촉하게 하고, 드래그 제스처를 이용하여 동일한 손을 공중에서 제2 포지션으로 이동시킨다). 일부 실시예들에서, 핀치 입력은 사용자의 제1 손에 의해 수행되고 드래그 입력은 사용자의 제2 손에 의해 수행된다(예를 들어, 사용자의 제2 손이 공중에서 제1 포지션으로부터 제2 포지션으로 이동하는 동안 사용자는 사용자의 제1 손으로 핀치 입력을 계속한다). 일부 실시예들에서, 에어 제스처인 입력 제스처는 사용자의 두 손들 둘 모두를 사용하여 수행되는 입력들(예를 들어, 핀치 및/또는 탭핑 입력들)을 포함한다. 예컨대, 입력 제스처는 서로 함께(예를 들어, 동시에 또는 미리정의된 기간 내에) 수행되는 2개(예를 들어, 그 이상)의 핀치 입력들을 포함한다. 예를 들어, 제1 핀치 제스처는 사용자의 제1 손을 사용하여 수행되고(예를 들어, 핀치 입력, 롱 핀치 입력 또는 핀치 및 드래그 입력), 제1 손을 사용하여 핀치 입력을 수행하는 것과 관련하여, 다른 손(예를 들어, 사용자의 두 손들 중 두 번째 손)을 사용하는 제2 핀치 입력을 수행한다. 일부 실시예들에서, 사용자의 두 손들 사이의 움직임은 (예를 들어, 사용자의 두 손들 사이의 거리 또는 상대적인 배향을 증가 및/또는 감소시키기 위한 것이다).
일부 실시예들에서, 에어 제스처로서 수행되는 (예를 들어, 사용자 인터페이스 요소로 지향되는) 탭 입력은 사용자 인터페이스 요소를 향한 사용자의 손가락(들)의 움직임, 선택적으로 사용자 인터페이스 요소를 향해 연장된 사용자의 손가락(들)과 함께 사용자 인터페이스 요소를 향한 사용자의 손의 움직임, 사용자의 손가락의 하향 모션(예를 들어, 터치스크린 상의 마우스 클릭 모션 또는 탭을 모방함), 또는 사용자의 손의 다른 미리정의된 움직임을 포함한다. 일부 실시예들에서, 에어 제스처로서 수행되는 탭 입력은 사용자의 시점으로부터 멀어지게 그리고/또는 탭 입력의 타깃인 객체를 향해 손가락 또는 손의 탭 제스처 움직임을 수행하는 손가락 또는 손과 후속되는 움직임의 종료의 움직임 특성들에 기초하여 검출된다. 일부 실시예들에서, 움직임의 종료는 탭 제스처를 수행하는 손가락 또는 손의 움직임 특징들의 변화(예를 들어, 사용자의 시점으로부터 멀어지는 그리고/또는 탭 입력의 타깃인 객체를 향한 움직임의 종료, 손가락 또는 손의 움직임의 방향의 반전, 및/또는 손가락 또는 손의 움직임의 가속의 방향의 반전)에 기초하여 검출된다.
일부 실시예들에서, 사용자의 주의는 (선택적으로는 다른 조건들을 요구하지 않으면서) 3차원 환경의 일부로 지향되는 시선의 검출에 기초하여 3차원 환경의 일부로 지향되는 것으로 결정된다. 일부 실시예들에서, 사용자의 주의는, 시선이 적어도 임계 지속기간(예컨대, 체류(dwell) 지속기간) 동안 3차원 환경의 일부로 지향되는 것을 요구하는 것 및/또는 사용자의 주의가 3차원 환경의 일부로 지향된다고 디바이스가 결정하기 위해 사용자의 시점이 3차원 환경의 일부로부터 거리 임계치 내에 있는 동안 시선이 3차원 환경의 일부로 지향되는 것을 요구하는 것과 같은 하나 이상의 부가적인 조건들과 함께, 3차원 환경의 일부로 지향되는 시선의 검출에 기초하여 3차원 환경의 일부로 지향되는 것으로 결정되며, 여기서 부가적인 조건들 중 하나가 충족되지 않으면, 디바이스는 (예를 들어, 하나 이상의 부가적인 조건들이 충족될 때까지) 시선이 지향되는 3차원 환경의 일부로 주의가 지향되지 않는다고 결정한다.
일부 실시예들에서, 사용자 또는 사용자의 일부의 준비 상태 구성의 검출은 컴퓨터 시스템에 의해 검출된다. 손의 준비 상태 구성의 검출은 사용자가 손에 의해 수행된 하나 이상의 에어 제스처 입력들(예를 들어, 핀치, 탭, 핀치 및 드래그, 더블 핀치, 롱 핀치, 또는 본 명세서에 설명된 다른 에어 제스처)을 사용하여 컴퓨터 시스템과 상호작용하도록 준비할 가능성이 있다는 표시로서 컴퓨터 시스템에 의해 사용된다. 예를 들어, 손이 미리결정된 손 형상(예를 들어, 엄지 및 하나 이상의 손가락들이 핀치 또는 파지(grab) 제스처를 만들 준비가 되게 펼쳐지고 간격을 두고 있는 사전-핀치 형상 또는 하나 이상의 손가락들이 펼쳐지고 손바닥이 사용자로부터 멀어지는 쪽을 향하는 사전-탭)을 갖는지 여부에 기초하여, 손이 사용자의 시점에 대해 미리결정된 포지션(예를 들어, 사용자의 머리 아래 그리고 사용자의 허리 위, 및 적어도 15, 20, 25, 30, 또는 50 cm만큼 신체로부터 펼쳐짐)에 있는지 여부에 기초하여, 그리고/또는 손이 특정 방식으로 이동되는지(예를 들어, 사용자의 허리 위 그리고 사용자의 머리 아래로 사용자의 정면의 구역을 향해 이동되는지 또는 사용자의 신체 또는 다리로부터 멀어지게 이동되는지) 여부에 기초하여, 손의 준비 상태가 결정된다. 일부 실시예들에서, 준비 상태는 사용자 인터페이스의 상호작용 요소들이 주의(예를 들어, 시선) 입력들에 응답하는지 여부를 결정하는 데 사용된다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 관련된 전용 회로에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 각자의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 컴포넌트(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 너클들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 CGR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 일부이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 그러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명원들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60-120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명원들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명원들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명원(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선의 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경들을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 자동 초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 초점을 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 8개의 광원들(530)(예를 들어, LED들)이 예로서 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 노이즈를 도입시키지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실, 가상 현실, 증강 현실 및/또는 증강 가상 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실, 가상 현실 및/또는 혼합 현실 애플리케이션들에서 사용될 수 있다.
도 6a는 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트를 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6a에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예이면, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오이면, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되면, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(410)로부터 진행하면, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하면, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서의 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 리턴한다. 650에서, 결과들이 신뢰되면, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아니라면) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6a는 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
도 6b는 일부 실시예들에 따른 CGR 경험들을 제공하는 전자 디바이스(101)의 예시적인 환경을 예시한다. 도 6b에서, 실제 세계 환경(602)은 전자 디바이스(101), 사용자(608), 및 실제 세계 객체(예를 들어, 테이블(604))를 포함한다. 도 6b에 도시된 바와 같이, 전자 디바이스(101)는 선택적으로, 사용자(608)의 하나 이상의 손들이 자유롭게 되도록(예를 들어, 사용자(608)가 선택적으로 하나 이상의 손들로 디바이스(101)를 유지하고 있지 않도록) 삼각대 상에 장착되거나 실제 세계 환경(602)에 달리 고정된다. 위에서 설명된 바와 같이, 디바이스(101)는 선택적으로, 디바이스(101)의 상이한 면들 상에 위치설정된 센서들의 하나 이상의 그룹들을 갖는다. 예를 들어, 디바이스(101)는 선택적으로, 디바이스(101)의 "후방" 및 "전방" 면들 상에 각각 위치된 센서 그룹(612-1) 및 센서 그룹(612-2)(예를 들어, 이들은 디바이스(101)의 각자의 면들로부터 정보를 캡처할 수 있음)을 포함한다. 본 명세서에서 사용되는 바와 같이, 디바이스(101)의 전방 면은 사용자(608)를 향하는 면이고, 디바이스(101)의 후방 면은 사용자(608)로부터 멀어지는 쪽을 향하는 면이다.
일부 실시예들에서, 센서 그룹(612-2)은 사용자의 눈들 및/또는 시선을 추적하기 위한 하나 이상의 센서들을 포함하는 눈 추적 유닛(예를 들어, 도 2를 참조하여 위에서 설명된 눈 추적 유닛(245))을 포함하여, 눈 추적 유닛은 이전에 설명된 방식들로 사용자(608)를 "보고" 사용자(608)의 눈(들)을 추적할 수 있다. 일부 실시예들에서, 디바이스(101)의 눈 추적 유닛은 사용자(608)의 눈들의 이동들, 배향, 및/또는 시선을 캡처하고, 이동들, 배향, 및/또는 시선을 입력들로서 처리할 수 있다.
일부 실시예들에서, 센서 그룹(612-1)은 도 6b에 도시된 바와 같이, 디바이스(101)의 "후방" 면 상에 유지되는 사용자(608)의 하나 이상의 손들을 추적할 수 있는 손 추적 유닛(예를 들어, 도 2를 참조하여 위에서 설명된 손 추적 유닛(243))을 포함한다. 일부 실시예들에서, 손 추적 유닛은 선택적으로 센서 그룹(612-2)에 포함되어, 디바이스(101)가 하나 이상의 손들의 포지션을 추적하는 동안, 사용자(608)는 디바이스(101)의 "전방" 면 상에 하나 이상의 손들을 부가적으로 또는 대안적으로 유지할 수 있다. 위에서 설명된 바와 같이, 디바이스(101)의 손 추적 유닛은 사용자(608)의 하나 이상의 손들의 이동들, 포지션들, 및/또는 제스처들을 캡처하고, 이동들, 포지션들, 및/또는 제스처들을 입력들로서 처리할 수 있다.
일부 실시예들에서, 센서 그룹(612-1)은 선택적으로, 테이블(604)을 포함하는 실제 세계 환경(602)의 이미지들을 캡처하도록 구성된 하나 이상의 센서들(예를 들어, 예컨대 도 4를 참조하여 위에서 설명된 이미지 센서들(404))을 포함한다. 위에서 설명된 바와 같이, 디바이스(101)는 실제 세계 환경(602)의 부분들(예를 들어, 일부 또는 전부)의 이미지들을 캡처하고, 디바이스(101)의 하나 이상의 디스플레이 생성 컴포넌트들(예를 들어, 실제 세계 환경(602)의 캡처된 부분들을 향하는 디바이스(101)의 면의 반대편에, 사용자를 향하는 디바이스(101)의 면 상에 선택적으로 위치된 디바이스(101)의 디스플레이)을 통해 실제 세계 환경(602)의 캡처된 부분들을 사용자에게 제시할 수 있다.
일부 실시예들에서, 실제 세계 환경(602)의 캡처된 부분들은 CGR 경험, 예를 들어 하나 이상의 가상 객체들이 실제 세계 환경(602)의 표현들 위에 중첩되는 혼합 현실 환경을 사용자에게 제공하는 데 사용된다.
따라서, 본 명세서의 설명은, 실제 세계 객체들의 표현들 및 가상 객체들의 표현들을 포함하는 3차원 환경들(예컨대, CGR 환경들)의 일부 실시예들을 설명한다. 예를 들어, 3차원 환경은, 선택적으로, (예컨대, 전자 디바이스의 카메라들 및 디스플레이들을 통해 능동적으로, 또는 전자 디바이스의 투명 또는 반투명 디스플레이를 통해 수동적으로) 3차원 환경 내에 캡처되고 디스플레이되는, 물리적 환경에 존재하는 테이블의 표현을 포함한다. 이전에 설명된 바와 같이, 3차원 환경은, 선택적으로, 3차원 환경이, 디바이스의 하나 이상의 센서들에 의해 캡처되고 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경에 기초하는 혼합 현실 시스템이다. 혼합 현실 시스템으로서, 디바이스는, 선택적으로, 물리적 환경의 각자의 부분들 및/또는 객체들이 마치 그들이 전자 디바이스에 의해 디스플레이되는 3차원 환경에 존재하는 것처럼 보이도록 물리적 환경의 일부분들 및/또는 객체들을 선택적으로 디스플레이할 수 있다. 유사하게, 디바이스는, 선택적으로, 실제 세계에서 대응하는 위치들을 갖는 3차원 환경 내의 각자의 위치들에 가상 객체들을 배치함으로써 마치 가상 객체들이 실제 세계(예컨대, 물리적 환경)에 존재하는 것처럼 보이도록 가상 객체들을 3차원 환경 내에 디스플레이할 수 있다. 예를 들어, 디바이스는, 선택적으로, 꽃병이 마치 실제 꽃병이 물리적 환경에서 테이블 위에 놓여 있는 것처럼 보이도록 꽃병을 디스플레이한다. 일부 실시예들에서, 3차원 환경 내의 각각의 위치는 물리적 환경에서 대응하는 위치를 갖는다. 따라서, 디바이스가 물리적 객체에 대한 각자의 위치(예컨대, 예를 들어, 사용자의 손 또는 그 근처, 또는 물리적 테이블 또는 그 근처의 위치)에 가상 객체를 디스플레이하는 것으로 설명될 때, 디바이스는 가상 객체가 마치 그가 물리적 세계에서 물리적 객체에 또는 그 근처에 있는 것처럼 보이도록 3차원 환경 내의 특정 위치에 가상 객체를 디스플레이한다(예컨대, 가상 객체는 그가 그 특정 위치에서 실제 객체인 경우 가상 객체가 디스플레이될 물리적 환경 내의 위치에 대응하는 3차원 환경 내의 위치에 디스플레이됨).
일부 실시예들에서, 3차원 환경 내에 디스플레이되는, 물리적 환경에 존재하는 실제 세계 객체들은 3차원 환경에만 존재하는 가상 객체들과 상호작용할 수 있다. 예를 들어, 3차원 환경은 테이블 및 테이블 위에 놓인 꽃병을 포함할 수 있으며, 이때 테이블은 물리적 환경 내의 물리적 테이블의 뷰(또는 그의 표현)이고, 꽃병은 가상 객체이다.
유사하게, 사용자는, 선택적으로, 마치 가상 객체들이 물리적 환경 내의 실제 객체들인 것처럼 하나 이상의 손들을 사용하여 3차원 환경 내의 가상 객체들과 상호작용할 수 있다. 예를 들어, 위에서 설명된 바와 같이, 디바이스의 하나 이상의 센서들은, 선택적으로, 사용자의 손들 중 하나 이상을 캡처하고 (예컨대, 위에서 설명된 3차원 환경 내에 실제 세계 객체를 디스플레이하는 것과 유사한 방식으로) 3차원 환경 내에 사용자의 손들의 표현들을 디스플레이하거나, 또는 일부 실시예들에서, 사용자의 손들은, 사용자 인터페이스를 디스플레이하고 있는 디스플레이 생성 컴포넌트의 일부분의 투명성/반투명성 또는 투명/반투명 표면 상으로의 사용자 인터페이스의 투영 또는 사용자의 눈들 상으로의 또는 사용자의 눈의 시야 내로의 사용자 인터페이스의 투영으로 인해 사용자 인터페이스를 통해 물리적 환경을 보는 능력을 통해 디스플레이 생성 컴포넌트를 통해 보인다. 따라서, 일부 실시예들에서, 사용자의 손들은 3차원 환경 내의 각자의 위치에 디스플레이되고, 그들이, 3차원 환경 내의 가상 객체들과 마치 그들이 물리적 환경 내의 실제 물리적 객체들인 것처럼 상호작용할 수 있는 3차원 환경 내의 객체들인 것처럼 취급된다. 일부 실시예들에서, 사용자는 그 또는 그녀의 손들을 이동시켜, 3차원 환경 내의 손들의 표현들이 사용자의 손의 이동과 함께 이동하게 할 수 있다.
아래에서 설명되는 실시예들 중 일부에서, 디바이스는, 선택적으로, 예를 들어, 물리적 객체가 가상 객체와 상호작용하고 있는지 여부(예컨대, 손이 가상 객체를 터치, 파지, 유지 등을 하고 있는지 또는 가상 객체로부터 임계 거리 내에 있는지 여부)를 결정하기 위해, 물리적 세계 내의 물리적 객체들과 3차원 환경 내의 가상 객체들 사이의 "유효" 거리를 결정할 수 있다. 예를 들어, 디바이스는, 사용자가 가상 객체들과 상호작용하고 있는지 여부 및/또는 사용자가 가상 객체들과 상호작용하는 방법을 결정할 때 사용자의 손들과 가상 객체들 사이의 거리를 결정한다. 일부 실시예들에서, 디바이스는 3차원 환경 내의 손들의 위치와 3차원 환경 내의 관심 가상 객체의 위치 사이의 거리를 결정함으로써 사용자의 손들과 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들은 물리적 세계 내의 특정 위치에 위치되며, 이는 디바이스가, 선택적으로, 3차원 환경 내의 특정 대응 위치(예컨대, 손들이 물리적 손들보다는 가상 손들인 경우 손들이 디스플레이될 3차원 환경 내의 위치)에 캡처하고 디스플레이한다. 3차원 환경 내의 손들의 위치는, 선택적으로, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정하기 위해 3차원 환경 내의 관심 가상 객체의 위치와 비교된다. 일부 실시예들에서, 디바이스는, 선택적으로, (예컨대, 3차원 환경 내의 위치들을 비교하는 것과는 대조적으로) 물리적 세계 내의 위치들을 비교함으로써 물리적 객체와 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정할 때, 디바이스는, 선택적으로, 가상 객체의 물리적 세계 내의 대응하는 위치(예컨대, 가상 객체가 그가 가상 객체보다는 물리적 객체인 경우 물리적 세계 내에 위치될 위치)를 결정하고, 이어서, 대응하는 물리적 위치와 사용자의 하나 이상의 손들 사이의 거리를 결정한다. 일부 실시예들에서, 동일한 기법들이 선택적으로 사용되어 임의의 물리적 객체와 임의의 가상 객체 사이의 거리를 결정한다. 따라서, 본 명세서에서 설명되는 바와 같이, 물리적 객체가 가상 객체와 접촉하고 있는지 여부 또는 물리적 객체가 가상 객체의 임계 거리 내에 있는지 여부를 결정할 때, 디바이스는, 선택적으로, 위에서 설명된 기법들 중 임의의 것을 수행하여, 물리적 객체의 위치를 3차원 환경에 매핑하고/하거나 가상 객체의 위치를 물리적 세계에 매핑한다.
일부 실시예들에서, 동일하거나 유사한 기법이 사용되어, 사용자의 시선이 지향되는 곳 및 대상, 및/또는 사용자에 의해 유지되는 물리적 스타일러스가 지향되는 곳 및 대상을 결정한다. 예를 들어, 사용자의 시선이 물리적 환경 내의 특정 위치로 지향되는 경우, 디바이스는, 선택적으로, 3차원 환경 내의 대응하는 위치를 결정하고, 가상 객체가 그 대응하는 가상 위치에 위치되는 경우, 디바이스는, 선택적으로, 사용자의 시선이 그 가상 객체로 지향된다고 결정한다. 유사하게, 디바이스는, 선택적으로, 물리적 스타일러스의 배향에 기초하여, 물리적 세계에서 스타일러스가 가리키고 있는 곳을 결정할 수 있다. 일부 실시예들에서, 이러한 결정에 기초하여, 디바이스는 스타일러스가 가리키고 있는 물리적 세계 내의 위치에 대응하는 3차원 환경 내의 대응하는 가상 위치를 결정하고, 선택적으로, 스타일러스가 3차원 환경 내의 대응하는 가상 위치를 가리키고 있다고 결정한다.
유사하게, 본 명세서에서 설명되는 실시예들은 3차원 환경 내의
사용자(예컨대, 디바이스의 사용자)의 위치 및/또는 디바이스의 위치를 지칭할 수 있다. 일부 실시예들에서, 디바이스의 사용자는 전자 디바이스를 유지하고 있거나 그를 착용하고 있거나 또는 달리 그에 또는 그 근처에 위치된다. 따라서, 일부 실시예들에서, 디바이스의 위치는 사용자의 위치에 대한 대용물(proxy)로서 사용된다. 일부 실시예들에서, 물리적 환경 내의 디바이스 및/또는 사용자의 위치는 3차원 환경 내의 각자의 위치에 대응한다. 일부 실시예들에서, 각자의 위치는 3차원 환경의 "카메라" 또는 "뷰"가 그로부터 연장되는 위치이다. 예를 들어, 디바이스의 위치는, 사용자가 디스플레이 생성 컴포넌트에 의해 디스플레이되는 물리적 환경의 각자의 부분을 향하는 그 위치에 서 있는 경우, 사용자가 물리적 환경에서 객체들을 (예컨대, 절대적으로 그리고/또는 서로에 대해) 그들이 디바이스의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 위치, 배향 및/또는 크기로 볼 물리적 환경 내의 위치(및 3차원 환경 내의 그의 대응하는 위치)일 것이다. 유사하게, 3차원 환경 내에 디스플레이되는 가상 객체들이 물리적 환경 내의 물리적 객체들(예컨대, 그들이 3차원 환경 내에 있는 것과 동일한 물리적 환경 내의 위치에 배치되고, 물리적 환경에서 3차원 환경에서와 동일한 크기 및 배향을 가짐)인 경우, 디바이스 및/또는 사용자의 위치는 사용자가 물리적 환경에서 가상 객체들을 (예컨대, 절대적으로 그리고/또는 서로와 실제 세계 객체들에 대해) 그들이 디바이스의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 위치, 배향 및/또는 크기로 볼 위치이다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
게다가, 하나 이상의 단계들이 하나 이상의 조건들이 충족되었음을 조건으로 하는 본 명세서에서 설명되는 방법들에서, 설명된 방법은 다수의 반복들로 반복될 수 있어서, 반복들 동안, 방법의 단계들이 조건으로 하는 조건들 모두가 방법의 상이한 반복들로 충족되게 할 수 있다는 것이 이해되어야 한다. 예를 들어, 방법이, 조건이 만족되면 제1 단계를 그리고 조건이 만족되지 않으면 제2 단계를 수행할 것을 요구하는 경우, 당업자는, 조건이 만족되고 만족되지 않을 때까지, 청구된 단계들이 특정 순서 없이 반복된다는 것을 인식할 것이다. 따라서, 하나 이상의 조건들이 충족되었음을 조건으로 하는 하나 이상의 단계들로 설명되는 방법은, 방법에서 설명되는 조건들 각각이 충족될 때까지 반복되는 방법으로서 재작성될 수 있다. 그러나, 이는, 시스템 또는 컴퓨터 판독가능 매체가 대응하는 하나 이상의 조건들의 만족에 기초하여 조건부(contingent) 동작들을 수행하기 위한 명령어들을 포함하고, 그에 따라, 방법의 단계들이 조건으로 하는 조건들 모두가 충족될 때까지 방법의 단계들을 명시적으로 반복하지 않고서 우연성(contingency)이 만족되었는지 또는 만족되지 않았는지를 결정할 수 있는 시스템 또는 컴퓨터 판독가능 매체 청구항들에서는 요구되지 않는다. 당업자는, 또한, 조건부 단계들을 갖는 방법과 유사하게, 시스템 또는 컴퓨터 판독가능 저장 매체가 조건부 단계들 모두가 수행되었음을 보장하는 데 필요한 횟수만큼 방법의 단계들을 반복할 수 있다는 것을 이해할 것이다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 내지 도 7h는 일부 실시예들에 따른 가상 환경을 디스플레이하는 예들을 예시한다.
도 7a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, 사용자 인터페이스 상에 3차원 환경(704)을 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다. 본 명세서의 도면들은 실제 세계 환경 내의 객체들의 상대 위치 및 3차원 환경 내의 가상 객체들의 위치를 예시하기 위해 디바이스(101)에 의해 사용자에게 제시되는 (그리고, 예컨대, 디바이스(101)의 디스플레이 생성 컴포넌트에 의해 디스플레이되는) 3차원 환경 및 (예컨대, 도 7a의 오버헤드 뷰(overhead view)(718)와 같은) 디바이스(101)와 연관된 물리적 및/또는 3차원 환경의 오버헤드 뷰를 예시한다.
도 7a에 도시된 바와 같이, 디바이스(101)는 디바이스(101) 주위의 실제 세계 환경(702) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 실제 세계 환경(702)(예컨대, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 일부 실시예들에서, 디바이스(101)는 3차원 환경(704)에서 실제 세계 환경의 표현들을 디스플레이한다. 예를 들어, 3차원 환경(704)은 룸의 후방 코너, 코너 테이블(708a)의 표현, 데스크(710a)의 표현, 룸의 후방 벽 상의 액자(706)의 표현, 커피 테이블(714a)의 표현, 및 사이드 테이블(712a)의 표현을 포함한다. 따라서, 3차원 환경(704)은 선택적으로, (예컨대, 선택적으로, 실제 세계 환경(702) 내의 사용자의 현재 위치의 관점으로부터 그리고 사용자가 현재 향하고 있는 방향을 향하여) 사용자가 실제 세계 환경(702)에 물리적으로 위치된 것처럼 3차원 환경(704)이 사용자에게 보이도록 실제 세계 환경(702)의 일부분들을 재생성한다.
도 7a의 실제 세계 환경(702)의 오버헤드 뷰(718)에 도시된 바와 같이, 코너 테이블(708a), 데스크(710b), 사이드 테이블(712b) 및 커피 테이블(714b)은 디바이스(101)의 하나 이상의 센서들에 의해 캡처되었던 실제 세계 환경(702) 내의 실제 객체들이고, 이들의 표현은 3차원 환경(704)에 포함된다(예컨대, 실사(photorealistic) 표현, 단순화된 표현, 카툰(cartoon), 캐리커처(caricature) 등). 일부 실시예들에서, 실제 세계 환경(702)은 또한 (예컨대, 표현(706)에 의해 3차원 환경(704)으로 표현되는) 액자 및 카우치(couch)(719)를 포함한다.
도 7a에 도시된 바와 같이, 디바이스(101)의 사용자(720)가 카우치(719)에 앉아서 디바이스(101)가 룸의 다른 끝부분을 향하고 있는 방식으로 디바이스를 잡고 (예컨대, 또는 디바이스(101)가, 예를 들어, 머리 장착형 디바이스인 경우에 디바이스(101)를 착용하고) 있어서, 코너 테이블(708a), 데스크(710b), 사이드 테이블(712b) 및 커피 테이블(714b)을 캡처하고, 3차원 환경(704) 내의 객체들의 표현들을 디스플레이한다. 일부 실시예들에서, 디바이스(101)는 실제 세계 환경(702)의 적어도 일부분(예컨대, 디바이스(101)가 향하고 있는 실제 세계 환경(702)의 일부분, 실제 세계 환경(702)의 모든 부분들 등)의 기하학적 구조를 결정할 수 있다. 일부 실시예들에서, 디바이스(101)는 하나 이상의 센서들, 예컨대, 가시광 센서들(예컨대, 카메라들), 깊이 센서들(예컨대, 비행 시간 센서), 또는 센서들(예컨대, 다수의 동일한 유형의 센서, 상이한 유형들의 센서들 등)의 조합을 사용하여 실제 세계 환경(702)의 기하학적 구조를 결정한다. 도 7a에서, 디바이스(101)는, 사용자(720)가 카우치(719)에 앉아 있기 때문에, 디바이스(101)의 전방에 임계량의 물리적 공간이 존재한다고 결정한다. 예를 들어, 사용자(720)로부터 데스크(710b)가 배치된 원거리 벽까지의 거리(예컨대, 및 그에 따른 디바이스(101)로부터 원거리 벽까지의 거리)는 임계 거리를 초과한다(예컨대, 3 피트, 6 피트, 10 피트, 30 피트 등을 초과한다). 따라서, 3차원 환경(704)이 위에서 논의된 바와 같이 실제 세계 환경(702)의 적어도 부분적인 재생성물이기 때문에, 3차원 환경(704)은 사용자(720)와 실제 세계 환경(702)의 원거리 벽 사이의 이용가능 공간을 선택적으로 반영하고(예컨대, 3차원 환경(704)의 시점(예컨대, 사용자가 3차원 환경(704)을 보는 "카메라" 위치)으로부터 3차원 환경(704) 내의 원거리 벽까지의 거리는 사용자(720)로부터 실제 세계 환경(702)의 원거리 벽까지의 거리와 동일하거나 유사함), 3차원 환경(704)은 적어도 임계량의 공간을 갖는다(예컨대, 이는 실제 세계 환경(702)이 사용자(720)의 전방에 적어도 임계량의 공간을 갖기 때문이다). 일부 실시예들에서, 사용자의 관점의 전방에서 3차원 환경(704)에 적어도 임계량의 깊이가 존재하기 때문에, 도 7c 내지 도 7h와 관련하여 아래에서 더 상세히 설명되는 바와 같이, 3차원 환경(704)은 원거리 가상 환경 전이 애니메이션에 대해 적격이다.
도 7a에서, 디바이스(101)는 몰입 레벨 표시자(716)를 디스플레이하고 있다. 일부 실시예들에서, 몰입 레벨 표시자(716)는 디바이스(101)가 3차원 환경(704)을 디스플레이하는 (예컨대, 최대 수의 몰입 레벨들 중) 현재 몰입 레벨을 나타낸다. 일부 실시예들에서, 몰입 레벨은 물리적 환경의 뷰(예컨대, 실제 세계 환경(702) 내의 객체들의 뷰)가 가상 환경(예컨대, 사용자 주위의 실제 세계 환경(702)과 선택적으로 상이한 시뮬레이션된 환경)에 의해 가려지는 양 또는 물리적 환경의 객체들이 소정 공간 효과를 획득하기 위해 수정되는 양을 포함한다(예컨대, 이는 방법(1000)에 대해 아래에서 더 상세히 설명되는 바와 같다). 예를 들어, 최대 몰입 레벨(예컨대, 완전 몰입)은 선택적으로, 물리적 환경의 어느 것도 디스플레이 생성 컴포넌트(120)를 통해 3차원 환경(704)에서 볼 수 없고, 3차원 환경(704)의 전체가 가상 환경에 의해 포괄되는 상태를 지칭한다. 일부 실시예들에서, 중간 몰입 레벨(예컨대, 최대치 미만이고 몰입 없음 초과인 몰입 레벨)은 실제 세계 환경(702)의 일부가 디스플레이 생성 컴포넌트(120)를 통해 3차원 환경(704)에서 볼 수 있고, (예컨대, 몰입이 아니라면) 달리 볼 수 있었을 실제 세계 환경(702)의 부분들이 가상 환경으로 대체된 상태를 지칭한다. 일부 실시예들에서, 몰입 레벨 표시자(716)는 선택적으로 복수의 몰입 레벨들과 연관된 복수의 요소들을 포함한다. 일부 실시예들에서, 복수의 몰입 레벨들은 부(minor) 몰입 레벨들과 주(major) 몰입 레벨들로 분류되고, 몰입 레벨 표시자(716)는 선택적으로 (예컨대, 정사각형들로 표시된) 부 틱 마크들 및 (예컨대, 삼각형들과 함께 디스플레이된 정사각형들로 표시된) 주 틱 마크들을 포함한다. 일부 실시예들에서, 몰입 레벨이 증가함에 따라, 디바이스(101)는 가상 환경의 더 많은 요소들을 제시한다. 일부 실시예들에서, 부 틱 마크들은 부 요소들이 도입되거나 (예컨대, 소리의 볼륨을 증가시키는, 가상 환경의 크기를 증가시키는 등의) 이전에 도입된 요소들이 크기가 증가되는 몰입형 상태들을 지칭하고, 주 틱 마크들은, 선택적으로 이전에 도입된 요소들의 크기를 증가시키는 것에 더하여, 주 요소들(예컨대, 새로운 시각적 요소들, 새로운 오디오 요소들 등)이 도입되는 몰입형 상태들을 지칭한다.
도 7a에서, 몰입 레벨 표시자(716)는 현재 몰입 레벨이 몰입 없음(정사각형들 및/또는 삼각형들 중 어느 것도 채워지지 않은 것으로 표시됨)이고 그에 따라서 어떠한 가상 환경도 3차원 환경(704)에 디스플레이되지 않는다는 것을 나타낸다. 일부 실시예들에서, 몰입 레벨 표시자(716)는 현재 몰입 레벨이 몰입 없음 레벨을 초과하는 경우에 그리고/또는 몰입 레벨이 변경된 후 일정 임계 시간 동안(예컨대, 5초, 10초, 30초, 1분 등 동안) 그리고/또는 몰입 레벨이 제로로 감소된 후 일정 임계 시간 동안(예컨대, 5초, 10초, 30초, 1분 등 동안) 디스플레이된다.
도 7b는, 실제 세계 환경(702)의 오버헤드 뷰(718)에 도시된 바와 같이, 사용자(720)가 데스크(710b)에 앉아 있는 것을 제외하고는 도 7a와 유사한 실시예를 예시한다. 일부 실시예들에서, 디바이스(101)가 데스크(710b)에 위치되고 데스크(710b)로부터 후방 벽으로 실제 세계 환경(702)의 뷰를 캡처하고 있기 때문에, 3차원 환경(704)은, 사용자에게 가까운 원거리 벽의 표현, 후방 벽 상의 액자의 표현(706), 및 데스크(710b)의 표현(710a)의 일부분을 포함하는, 사용자(720)로부터 후방 벽으로의 제한된 공간의 뷰이다. 도 7b에서, 디바이스(101)는, 사용자(720)가 룸의 후방 벽에 가깝게 앉아 있기 때문에, 룸 내의 디바이스(101)의 전방에 임계량의 물리적 공간이 존재하지 않는다고 결정한다. 일부 실시예들에서, 디바이스(101)에 의한 이러한 결정은 디바이스(101)로부터 룸의 후방 벽까지의 거리, 디바이스(101)와 룸의 후방 벽 사이의 면적, 또는 디바이스(101)와 룸의 후방 벽 사이의 부피 중 하나 이상에 기초한다. 일부 실시예들에서, 디바이스(101)에 의한 이러한 결정은 추가적으로 또는 대안적으로, 3차원 환경(704) 내의 사용자의 시점에 대한 미리정의된 영역 내의 거리/면적/부피의 평균, 또는 가장 가까운 포인트의 거리/면적/부피, 또는 가장 먼 포인트의 거리/면적/부피에 기초한다.
예를 들어, 사용자(720)로부터 후방 벽까지의 거리(예컨대, 및 그에 따른 디바이스(101)로부터 후방 벽까지의 거리)는 전술된 임계 거리보다 작다. 따라서, 3차원 환경(704)이 위에서 논의된 바와 같이 실제 세계 환경(702)의 적어도 부분적인 재생성물이기 때문에, 3차원 환경(704)은 사용자(720)와 실제 세계 환경(702)의 원거리 벽 사이의 이용가능 공간을 선택적으로 반영하고(예컨대, 3차원 환경(704)의 시점으로부터 3차원 환경(704) 내의 원거리 벽까지의 거리는 사용자(720)로부터 실제 세계 환경(702)의 원거리 벽까지의 거리와 동일하거나 유사함), 3차원 환경(704)은 적어도 임계량의 공간을 갖지 않는다(예컨대, 이는 실제 세계 환경(702)이 사용자(720)의 전방에 적어도 임계량의 공간을 갖지 않기 때문이다). 일부 실시예들에서, 사용자의 관점의 전방에서 3차원 환경(704)에 적어도 임계량의 깊이가 존재하지 않기 때문에, 도 7c 내지 도 7h와 관련하여 아래에서 더 상세히 설명되는 바와 같이, 3차원 환경(704)은 원거리 가상 환경 전이 애니메이션에 대해 적격이지 않고, 대신, 근거리 가상 환경 전이 애니메이션을 수행할 것이다.
일부 실시예들에서, 실제 세계 환경(702)이 적어도 임계량의 공간을 갖는 경우에 원거리 전이 애니메이션을 수행하지만, 실제 세계 환경(702)이 적어도 임계량의 공간을 갖지 않는 경우에 근거리 전이 애니메이션을 수행하는 것은 멀미 또는 현기증의 위험을 감소시키는 최적화된 경험을 제공한다. 예를 들어, 사용자가 사용자의 전방에 많은 공간을 갖는 위치에 앉아 있는 경우에, 그 공간을 잠재적으로 무한 수평선을 갖는 가상 환경으로 변환하는 것은 시각적 불협화 및 멀미의 위험이 낮지만, 사용자가 사용자의 전방에 매우 적은 공간을 갖는 위치에 앉아 있는 경우에, 그러한 공간을 잠재적으로 무한 수평선을 갖는 가상 환경으로 변환하는 것은 시각적 불협화 및 멀미의 위험이 더 높다. 따라서, 멀미의 위험이 낮은 경우에 원거리 애니메이션을 수행함으로써 사용자에게 즐거운 경험을 제공하지만, 멀미의 위험이 높은 경우에 근거리 애니메이션을 수행하는 것은 사용자가 가상 환경을 볼 수 있게 하지만, 환경을 사용자에게 천천히 도입시켜 멀미의 가능성을 감소시킨다.
도 7c 및 도 7d는, 각각, 3차원 환경(704)에 가상 환경을 디스플레이하기 위한 원거리 전이 애니메이션 및 근거리 전이 애니메이션의 스냅샷을 예시한다. 일부 실시예들에서, 가상 환경은, 선택적으로 물리적 환경의 표현들 대신에(예컨대, 완전 몰입) 또는 선택적으로 물리적 환경의 표현과 동시에(예컨대, 부분 몰입), 3차원 환경(704)에 디스플레이될 수 있는 시뮬레이션된 3차원 환경이다. 가상 환경의 일부 예들은 호수 환경, 산 환경, 일몰 장면, 일출 장면, 야간 환경, 초원 환경, 콘서트 장면 등을 포함한다. 일부 실시예들에서, 가상 환경은 실제 물리적 위치, 예컨대 박물관, 수족관 등에 기초한다. 일부 실시예들에서, 가상 환경은 아티스트 설계 위치이다. 따라서, 3차원 환경(704)에 가상 환경을 디스플레이하는 것은 사용자가 가상 환경에 물리적으로 위치하는 것처럼 가상 경험을 사용자에게 제공한다.
일부 실시예들에서, 가상 환경은 각자의 가상 환경과 연관된 어포던스를 선택하는 사용자 입력에 응답하여 3차원 환경(704)에 디스플레이된다. 예를 들어, 3차원 환경(704)은 하나 이상의 가상 환경들의 하나 이상의 어포던스들을 포함하며, 이들로부터 사용자는 3차원 환경(704)에 디스플레이할 각자의 환경을 선택할 수 있다. 일부 실시예들에서, 방법(1000)에 대해 아래에서 더 상세히 설명되는 바와 같이, 각자의 환경에 대한 어포던스를 선택하는 것에 응답하여, 각자의 환경은 부분 몰입 레벨 또는 완전 몰입 레벨과 같은 미리결정된 몰입 레벨로 디바이스(101)에 의해 디스플레이된다. 일부 실시예들에서, 가상 환경은 사용자 입력이 3차원 환경(704)의 몰입 레벨을 증가시키는 것에 응답하여 3차원 환경(704)에 디스플레이된다. 예를 들어, 디바이스(101)는 선택적으로, 몰입 레벨을 증가시키기 위해 각자의 방향으로, 그리고 몰입 레벨을 감소시키기 위해 다른 방향으로 회전될 수 있는 기계식 다이얼을 포함한다. 본 명세서의 실시예들은 가상 환경을 가상 환경이 디스플레이되지 않는 상태로부터 중간 몰입 레벨 또는 완전 몰입 레벨로 디스플레이하기 위한 프로세스 및/또는 가상 환경의 몰입 레벨을 몰입 없음 레벨 또는 부분 몰입 레벨(예컨대, 완전 몰입보다 낮은 레벨)로부터 더 높은 부분 몰입 레벨로 또는 완전 몰입 레벨로 변경하기 위한 프로세스를 설명한다.
도 7c 및 도 7d는 (예컨대, 많은 양의 3차원 환경(704)이 도 7g 내지 도 7h에서와 같은 가상 환경(722)으로 대체되는) 높은 부분 몰입 레벨로 가상 환경(722)을 디스플레이하기 위한 프로세스의 제1 스냅샷을 예시하지만, 도 7c 및 도 7d가 선택적으로는 (예컨대, 작은 양의 3차원 환경(704)이 가상 환경(722)으로 대체된) 낮은 부분 몰입 레벨 및/또는 (예컨대, 모든 3차원 환경(704)이 가상 환경(722)으로 대체된) 완전 몰입 레벨로 가상 환경(722)을 디스플레이하기 위한 프로세스의 스냅샷을 예시하는 것으로 이해된다. 일부 실시예들에서, 전술된 바와 같이, 가상 환경(722)을 디스플레이하기 위한 프로세스는 가상 환경(722)이 디스플레이되게 하는 사용자 입력에 응답하여(예컨대, 사용자 입력이 수신되었을 때 가상 환경(722)이 디스플레이되지 않았음) 또는 가상 환경(722)의 몰입 레벨을 변경하는 사용자 입력에 응답하여(예컨대, 사용자 입력이 수신되었을 때 가상 환경(722)이 디스플레이되었음) 트리거된다(예컨대, 개시된다).
도 7c는 최좌측 정사각형이 채워지고 다른 정사각형들(및 삼각형들)은 채워지지 않은 몰입 레벨 표시자(716)에 의해 나타난 바와 같이, 몰입 레벨이 하나의 레벨(예컨대, 몰입 없음 바로 위의 레벨)에 있을 때 가상 환경(722)을 디스플레이하기 위한 원거리 프로세스의 제1 스냅샷을 예시한다. 위에서 논의된 바와 같이, 도 7c에서, 가상 환경(722)을 디스플레이하기 위한 프로세스는 원거리 전이를 포함하며, 이는 물리적 및/또는 3차원 환경(704)의 일부분들을, 사용자의 시점으로부터의 물리적 및/또는 3차원 환경(704)의 일부분들의 거리에 기초하여, 가상 환경의 일부분들로 대체하는 것을 포함한다. 예를 들어, 3차원 환경(704)의 가장 먼 위치(예컨대, 3차원 환경(704)에서 가시적인 실제 세계 환경(702)의 가장 먼 위치)는 가상 환경으로 대체되고, 그러한 가장 먼 위치로부터 사용자의 시점을 향해 확장된다(예컨대, 도 7e 및 도 7g에 예시되는 바와 같음). 도 7c에서, 3차원 환경(704)의 좌측 코너 및 우측 코너는 사용자(720)의 시점으로부터 가장 먼 위치에 대응하고, 따라서, 3차원 환경(704)의 좌측 코너는 가상 환경(722-1a)으로 대체되고, 3차원 환경(704)의 우측 코너는 가상 환경(722-2a)으로 대체된다(예컨대, 오버헤드 뷰(718)에서 가상 환경(722-1b) 및 가상 환경(722-2b)에 의해 또한 예시되는 바와 같음). 일부 실시예들에서, 가상 환경(722-1a) 및 가상 환경(722-2a)은 동일한 가상 환경의 일부이지만, 가상 환경(722)의 각자의 좌측 및 우측 면들(예컨대, 가상 환경(722)의 상이한 부분들)에 대응한다. 예를 들어, 가상 환경(722)은 3차원 환경(704) 상에 적어도 부분적으로 중첩되지만(예컨대, 선택적으로 가상 환경(722)은 모든 3차원 환경(704)을 커버할 수 있음), 몰입 레벨이 제로(예컨대, 몰입 없음)일 때, 가상 환경(722)의 전체가 뷰로부터 숨겨지지만, 몰입 레벨이 증가됨에 따라, 가상 환경(722)의 일부분들이 드러난다(예컨대, 그리고 물리적 환경의 각자의 부분들의 뷰를 대체하고/하거나 가린다). 따라서, 도 7c에서, 가상 환경(722)의 극좌측 부분은 후방 좌측 코너가 이전에 디스플레이되었던 극좌측 부분을 사용자가 볼 수 있도록 드러나고, 가상 환경(722)의 극우측 부분은 후방 우측 코너 이전에 디스플레이되었던 가상 환경(722)의 극우측 부분을 사용자가 볼 수 있도록 드러난다.
일부 실시예들에서, 가상 환경(722)은 실제 세계 환경(702)의 치수보다 큰 치수를 선택적으로 가지며(예컨대, 잠재적으로, 예를 들어 가상 환경(722)이 수평선으로 연장되는 풍경(landscape)인 경우에 무한 깊이), 따라서, 3차원 환경(704)의 일부분들을 가상 환경(722)으로 대체하는 것은 대체된 일부분들이, 그들이 가상 환경(722) 내로의 시각적 포털들이 되는 것처럼, 디스플레이되게 한다. 예를 들어, 오버헤드 뷰(718)는 실제 세계 환경(702)의 후방 좌측 코너 및 후방 우측 코너가 (예컨대, 점선들로 표시된 바와 같이) 3차원 환경(704)에 더 이상 존재하지 않는 (예컨대, 더 이상 디스플레이되지 않는) 것을 나타내고, 그들의 자리에서, 가상 환경(722)의 크기, 치수, 및/또는 깊이에 따라 선택적으로 멀리 연장되는 가상 환경(722) 내로의 뷰이다(예컨대, 사용자(720)의 시점으로부터의 표준 각도로 후방 좌측 및 후방 우측 코너들로부터 외향으로 연장됨). 따라서, 도 7c에서, 3차원 환경(704)은, 사용자가 실제 세계 환경(702)의 후방 좌측 및 후방 우측 코너들을 통해 가상 환경(722) 내로 걸어갈 수 있도록 사용자의 실제 세계 환경(702)의 일부들이 가상 환경(722)으로 변환되었던 것처럼, 사용자에게 부분적으로 실제 세계 환경(702)이고 부분적으로 가상 환경(722)인 환경으로 보인다.
도 7d는 최좌측 정사각형이 채워지고 다른 정사각형들(및 삼각형들)은 채워지지 않은 몰입 레벨 표시자(716)에 의해 나타난 바와 같이, 몰입 레벨이 하나의 레벨(예컨대, 몰입 없음 바로 위의 레벨)에 있을 때 가상 환경(722)을 디스플레이하기 위한 근거리 프로세스의 제1 스냅샷을 예시한다. 위에서 논의된 바와 같이, 도 7d에서, 가상 환경(722)을 디스플레이하기 위한 프로세스는 근거리 전이를 포함하며, 이는 (예컨대, 3차원 환경(704) 내로의 사용자의 시점의 배향 방향으로) 사용자로부터 가장 먼 3차원 환경(704) 내의 표면에 선택적으로 대응하는 중심 (또는 다른 고정된) 위치를 선택하는 것 및 중심 위치로부터 반경방향 외향으로 확장되는 (예컨대, 선택적으로는 사용자(720)에 대한 3차원 환경(704) 내의 객체들의 위치 및/또는 거리와 상관없이, 가상 환경 내로의 포털의 반경을 증가시키는) 것을 포함한다(도 7f 및 도 7h와 관련하여 아래에서 더 상세히 설명되는 바와 같음). 도 7d가 원형 형상을 갖는 가상 환경(722a)을 예시하지만, 다른 형상들(예컨대, 타원형, 원통형, 정사각형, 직사각형 등)이 가능하다는 것이 이해된다. 도 7d에서, 실제 세계 환경(702)의 후방 벽은 3차원 환경(704) 내로의 사용자의 시점의 배향 방향에 있는 3차원 환경(704) 내의 가장 먼 표면이고, 따라서, 후방 벽의 중간의 위치로부터 시작하여, 디바이스(101)는 (예컨대, 오버헤드 뷰(718)에서 가상 환경(722b)에 의해 또한 예시된 바와 같이) 후방 벽의 중간의 원형 영역을 가상 환경(722a)으로 대체한다. 일부 실시예들에서, 가상 환경(722a)(예컨대, 가상 환경(722a)과 3차원 환경(704)의 실제 세계 환경 부분 사이의 경계)의 z-위치(예컨대, 깊이)는 반드시 후방 벽이 아니고, 선택적으로, 후방 벽보다 사용자(720)에게 더 가까운 위치이다. 예를 들어, 도 7d에서, 오버헤드 뷰(718)는 가상 환경(722b)이 테이블(710b)의 중심 내의 깊이 위치에서 시작하는 (예컨대, 실제 세계 환경(702)과 가상 환경(722b) 사이의 경계가 그러한 깊이 위치에 있는) 것을 예시한다. 도 7d에서, 가상 환경(722)의 높이가 후방 벽의 표면의 중간과 일치하기 (예컨대, 가상 환경(722)의 경계가 후방 벽의 바로 전방에 있기) 때문에, 가상 환경(722)은 그것이 후방 벽의 표면에서 시작하는 것처럼 보일 수 있다. 도 7d에서, 오버헤드 뷰(718)는 실제 세계 환경(702)의 벽의 중심이 (예컨대, 점선들로 표시된 바와 같이) 3차원 환경(704)에 더 이상 존재하지 않는 (예컨대, 더 이상 디스플레이되지 않는) 것을 나타내고, 그의 자리에서, 가상 환경(722)의 크기, 치수, 및/또는 깊이에 따라 선택적으로 멀리 연장되는 가상 환경(722) 내로의 뷰이다(예컨대, 사용자(720)의 시점으로부터의 표준 각도로 후방 벽으로부터 외향으로 연장됨).
도 7c와 관련하여 위에서 논의된 바와 같이, 가상 환경(722)은 선택적으로 3차원 환경(704) 위에 중첩되지만, 몰입 레벨이 가상 환경(722)의 일부분들로 하여금 사용자에게 드러나게 할 때까지 숨겨진다(예컨대, 그리고 그에 따라서, 3차원 환경(704)의 각자의 부분들을 대체하고/하거나 가린다). 따라서, 도 7d에서, 디바이스(101)는 (예컨대, 가상 환경(722)의 치수들에 기초하여 테이블(710b)의 중심 내의 깊이 위치로부터 그리고 외향으로) 후방 벽의 중심 위에 중첩되는 가상 환경(722)의 부분을 드러내었다. 따라서, 도 7d에서, 3차원 환경(704)은, 사용자의 실제 세계 환경(702)의 일부들이 가상 환경(722)으로 변환되었던 것처럼, 사용자에게 부분적으로 실제 세계 환경(702)이고 부분적으로 가상 환경(722)인 환경으로 보인다. 따라서, 근거리 전이의 제1 스냅샷 동안 도 7d에서 가시적인 가상 환경(722)의 부분은 원거리 전이의 제1 스냅샷 동안 도 7c에서 가시적인 가상 환경(722)의 부분과 상이하지만, 도 7c 및 도 7d 둘 모두가 동일한 가상 환경(예컨대, 가상 환경(722))을 디스플레이하기 위한 전이에서 동일한 몰입 레벨을 예시한다.
도 7e 및 도 7f는 (예컨대, 각각 도 7c 및 도 7d에서 설명된 프로세스의 계속이고, 각각 도 7g 및 도 7h에서 설명된 것과 같은 몰입 레벨에서 종료되는) 높은 몰입 레벨로 가상 환경(722)을 디스플레이하기 위한 프로세스의 제2 스냅샷을 예시한다. 몰입 레벨 표시자(716)에 의해 예시되는 바와 같이, 제2 스냅샷은 3의 몰입 레벨에 대응하고, 따라서 가상 환경(722a)에 의해 대체된 3차원 환경(704)의 양을 추가로 증가시키고, 따라서 가상 환경(722a)의 크기를 증가시킨다(예컨대, 가상 환경(722a) 내로의 시각적 "포털"의 크기를 증가시킨다).
예를 들어, (예컨대, 원거리 전이 애니메이션의 스냅샷인) 도 7e에서, 가상 환경(722a)은 (예컨대, 사용자의 시점으로부터의 물리적 및/또는 3차원 환경(704)의 그러한 부분들의 거리에 기초하여) 몰입 레벨의 증가에 응답하여 사용자를 향하여 확장되었다(예컨대, 3차원 환경(704)의 더 많은 실제 세계 환경 부분을 대체하였다). 일부 실시예들에서, 가상 환경(722a)을 확장하는 것은 (예컨대, 오버헤드 뷰(718)에 또한 도시된 바와 같이) 가상 환경(722a)과 3차원 환경(704)의 실제 세계 환경 부분 사이의 경계를 확장시키는 것 및/또는 이동시키는 것을 포함한다. 일부 실시예들에서, 가상 환경(722a)의 경계는 사용자(720)로부터 등거리로 유지되고, 따라서 원형 및/또는 (예컨대, 3차원으로 고려될 때) 구형 방식으로 사용자를 향해 이동하는 것으로 보인다. 일부 실시예들에서, 가상 환경(722a)의 경계의 확장을 위한 다른 형상들이 가능하다. 예를 들어, 가상 환경(722a)은 사용자를 향하여 평면으로서 확장된다(예컨대, 사용자에 평행한 평면 경계는 가상 환경(722a)이 확장됨에 따라 사용자를 향해 이동한다). 일부 실시예들에서, 가상 환경(722a)이 확장됨에 따라, 3차원 환경(704)의 실제 세계 환경 부분의 일부분들은 더 이상 디스플레이되지 않고, 이전에 디스플레이되지 않았던 가상 환경(722a)의 부분들로 대체된다. 예를 들어, 도 7e에서, 원거리 벽, 코너 테이블(708a), 및 데스크(710a)의 일부분(예컨대, 더 먼 부분)은 사용자(720)로부터 가상 환경(722a)의 경계보다 더 멀리 있기 때문에 더 이상 가시적이지 않다. 일부 실시예들에서, 가상 환경(722a)의 경계보다 멀리 있는 (예컨대, 사용자의 시점으로부터 더 멀리 있는) 3차원 환경의 실제 세계 환경 부분 내의 객체들은 더 이상 디스플레이되지 않고, 가상 환경(722a)의 경계보다 가까이 있는 (예컨대, 사용자의 시점에 더 가까이 있는) 3차원 환경의 실제 세계 환경 부분 내의 객체들은 계속 디스플레이된다. 일부 실시예들에서, 객체가 가상 환경(722a)의 경계보다 더 가깝지만 그것이 (예컨대, 도 7e의 데스크(710a)와 같은) 가상 환경(722a)의 일부분들을 그렇지 않으면 가리도록 하는 높이를 갖는 경우, 객체는 3차원 환경(704)으로부터 선택적으로 제거된다. 예를 들어, 사이드 테이블(712a)의 후방 우측 코너는 도 7e의 가상 환경(722a)의 일부분을 가리고 선택적으로는 3차원 환경(704)으로부터 제거된다(예컨대, 더 이상 디스플레이되지 않는다). 일부 실시예들에서, 가상 환경(722a)의 경계보다 가까이 있지만 가상 환경(722a)의 일부분들을 그렇지 않으면 가리는 객체는 (예컨대, 도 7e의 사이드 테이블(712a)과 같이) 계속 디스플레이된다. 일부 실시예들에서, 객체가 가상 환경(722a)의 경계에 걸쳐 있는 (예컨대, 도 7e의 데스크(710a)와 같이 객체의 일부분들이 경계보다 가까이 있고 일부분들이 경계보다 멀리 있는) 경우, 객체는 선택적으로 디스플레이로부터 제거된다(예컨대, 그것이 더 이상 가시적이지 않도록 3차원 환경(704)으로부터 제거된다). 일부 실시예들에서, (예컨대, 도 7e의 데스크(710a)와 같이) 객체가 경계에 걸쳐 있는 경우, 경계보다 가까이 있는 객체의 부분은 계속 디스플레이되는 반면, 경계로부터 더 멀리 있는 객체의 부분은 더 이상 디스플레이되지 않는다. 일부 실시예들에서, 객체가 경계에 걸쳐 있는 경우, 객체의 전체는 (예컨대, 객체의 일부가, 그레이 아웃(grey out)되는, 어두워지는, 부분적으로 투명해지는, 외형선으로서 디스플레이되는 등과 같이 선택적으로 시각적으로 강조약화되는 시뮬레이션된 환경의 일부인 것처럼) 객체의 일부분이 3차원 환경(704)의 실제 세계 부분에 존재하고 객체의 일부분이 3차원 환경(704)의 시뮬레이션된 환경 부분에 존재하도록 계속 디스플레이된다. 따라서, 일부 실시예들에서, 데스크(710a)의 전체는 데스크(710a)의 적어도 일부분이 가상 환경(722a)의 경계보다 멀리 있기 때문에 더 이상 디스플레이되지 않는다(예컨대, 디스플레이로부터 제거된다). 대안적으로, 일부 실시예들에서, 데스크(710a)의 전체는 (예컨대, 데스크(710a)가 가상 환경(722a)에 부분적으로 있고 3차원 환경(704)의 실제 세계 환경 부분에 부분적으로 있는 것으로 보이도록) 데스크(710a)의 일부분이 가상 환경(722a)의 경계보다 멀리 있더라도 계속 디스플레이된다.
일부 실시예들에서, 가상 환경(722a)을 확장시키는 것은 더 많은 가상 환경(722a)을 가시적이게 하는 것을 포함한다. 예를 들어, 가상 환경(722a)의 경계가 사용자로부터 10 피트 떨어져 있는 경우에 사용자는 10 피트 떨어져 전방에 있는 가상 환경(722a)의 부분을 볼 수 있지만, 가상 환경(722a)의 경계가 확장되어 사용자로부터 5 피트 떨어져 있는 경우에 사용자는 5 피트 떨어져 전방에 있는 가상 환경(722a)의 부분을 볼 수 있는데, 이는 10 피트 떨어져 전방에 있는 가상 환경(722a)의 부분(예컨대, 경계가 10 피트 떨어져 있었을 때 보였던 부분) 및 이전에 보이지 않았던 추가의 5 피트의 공간을 포함한다. 따라서, 가상 환경(722a)이 확장됨에 따라, 더욱 더 많은 가상 환경이 사용자에게 가시적이게 된다. 예를 들어, 도 7e에서, 룸의 2개의 코너들 사이의 영역(예컨대, 물리적 환경의 표현들을 이전에 포함하였던 도 7c의 722-1a와 722-2a 사이의 영역)이 이제 가상 환경(722a)에 의해 점유된다. 일부 실시예들에서, 가상 환경(722a)을 확장시키는 것은 가상 환경(722a)을 사용자에게 더 가깝게 이동시키는 것을 포함하지 않는다. 예를 들어, 사용자로부터 이전에 20 피트 떨어져 있던 가상 환경(722a) 내의 객체는 선택적으로, 가상 환경(722a)의 경계가 사용자를 향하여 이동함에 따라 사용자에게 더 가깝게 이동되지 않고, 오히려 20 피트 떨어진 채로 남아 있다. 그 대신, 예를 들어, 10 피트 떨어져 있고 (예컨대, 경계가 10 피트 떨어진 것보다 멀리 있는 것으로 인해) 사용자에게 이전에 드러나지 않았던 가상 환경(722a) 내의 객체는 (예컨대, 경계가 10 피트 떨어진 것보다 가깝게 이동하는 것으로 인해) 이제 선택적으로 사용자에게 드러난다. 따라서, 가상 환경(722a)을 확장시키는 것은, 가상 환경(722a)의 (예컨대, 가상 환경 내의 객체들의) 특징부들이 사용자에게 더 가깝게 이동하지 않고, 가상 환경(722a) 내로의 시각적 포털이 사용자에게 더 가깝게 확장 및/또는 이동하는 것처럼 보인다.
(예컨대, 근거리 전이 애니메이션의 스냅샷인) 도 7f에서, 가상 환경(722a)은, 선택적으로 사용자(720)에 대한 3차원 환경(704) 내의 객체들의 위치 및/또는 거리와 상관없이, 중심 위치(예컨대, 도 7d의 위에 예시된 위치)로부터 반경방향 외향으로 확장되었다(예컨대, 3차원 환경(704)의 더 많은 실제 세계 환경 부분을 대체하였다). 일부 실시예들에서, 가상 환경(722a)을 반경방향 외향으로 확장시키는 것은, 선택적으로 가상 환경(722a)의 경계를 사용자에게 더 가깝게 이동시키지 않고서, 가상 환경(722a)의 크기/포털을 넓히는 것을 포함한다. 예를 들어, 도 7f에서, 가상 환경(722b)은 30도의 반경방향 크기를 갖는데(예컨대, 가상 환경(722b)의 좌측 및 우측 경계들에 의해 형성된 각도가 30도이고 선택적으로 가상 환경(722b)의 하단 및 상단 경계들에 의해 형성된 각도가 30도임), 이는 도 7d와 비교하여 반경방향 크기의 증가이다. 일부 실시예들에서, 가상 환경(722a)의 경계는, 오버헤드 뷰(718)에서 가상 환경(722b)에 의해 예시된 바와 같이, 원형 방식(또는, 3차원으로 고려될 때, 구형 방식)으로 확장되고 사용자(720) 주위에서 만곡된다. 일부 실시예들에서, 가상 환경(722a)의 경계는 외향으로 확장되고 선택적으로 (예컨대, 가상 환경(722a)의 경계가 그의 중심점에 사용자(720)가 있는 상태로 원/구의 표면을 따라 확장되는 것처럼) 확장된 경계를 따라서 사용자(720)로부터 등거리로 유지된다. 따라서, 도 7f에 도시된 바와 같이, 가상 환경(722a)은 반경이 증가할(예컨대, 후방 벽의 평면에 평행하게, 좌우 및 상하 방향들로 확장됨) 뿐만 아니라, 또한 사용자 주위에서 만곡되는(예컨대, 후방 벽의 평면으로부터 떨어짐에 따라 깊이가 변경됨) 원형의 시각적 포털이다. 위에서 논의된 바와 같이, 가상 환경(722a)을 확장시키는 것은 더 많은 가상 환경(722a)이 가시적이게 하고 실제 세계 환경의 일부분들을 대체한다. 도 7f에서, 후방 벽의 더 큰 영역은 더 이상 가시적이지 않고, 데스크(710a)의 일부분은 더 이상 가시적이지 않아서, (예컨대, 도 7d와 비교하여) 이전에 디스플레이되지 않았던 가상 환경(722a)의 부분들로 대체되었다. 일부 실시예들에서, 근거리 전이 애니메이션(예컨대, 도 7d, 도 7f, 및 도 7h)에 대한 (예컨대, z 방향으로의) 사용자 주위의 가상 환경(722a)의 곡률은 원거리 전이 애니메이션(예컨대, 도 7c, 도 7e, 및 도 7g)에 대한 (예컨대, z 방향으로의) 가상 환경(722a)의 곡률과 동일하거나 유사하다(예컨대, 동일한 반경, 동일한 형상 등).
도 7g 및 도 7h는 높은 몰입 레벨로 가상 환경(722)(722)을 디스플레이하기 위한 프로세스의 제3 스냅샷(예컨대, 선택적으로 최종 상태, 정상 상태, 각각 도 7c와 도 7d, 및 각각 도 7e와 도 7f에 관하여 전술된 제1 및 제2 스냅샷을 포함하는 가상 환경(722)을 디스플레이하기 위한 프로세스의 마지막에 이르는 3차원 환경(704)의 상태)을 예시한다. 몰입 레벨 표시자(716)에 의해 예시되는 바와 같이, 제3 스냅샷은 6의 몰입 레벨에 대응하고, 따라서 가상 환경(722a)에 의해 대체된 3차원 환경(704)의 양을 추가로 증가시키고, 따라서 가상 환경(722a)의 크기를 증가시킨다(예컨대, 가상 환경(722a) 내로의 시각적 "포털"의 크기를 증가시킨다).
원거리 전이 애니메이션을 예시하는 도 7g에 도시된 바와 같이, 가상 환경(722a)은 (예컨대, 가상 환경(722a)의 경계를 따라 사용자(720)에 대해 등거리로 선택적으로 유지되는 동안) 가상 환경(722a)의 경계가 사용자(720)에게 더 가깝게 이동되도록 추가로 확장되었다. 예를 들어, 커피 테이블(714b)의 표현(714a)과 가상 환경(722a)에 의해 이전에 점유되지 않았던 데스크의 표현(710a) 사이의 3차원 환경의 부분은 이제 가상 환경(722a)에 의해 점유된다. 위에서 논의된 바와 같이, 가상 환경(722a)의 경계를 사용자를 향해 확장시키는 것은 가상 환경(722a) 내의 객체들을 이동시키는 것을 수반하지 않고, 오히려 사용자의 시점에 더 가깝게 위치되지만 이전에 숨겨졌던 가상 환경(722a)의 부분들을 드러내는 것을 수반한다(예컨대, 가상 환경(722a)의 일부분들을 마스킹하지 않음). 일부 실시예들에서, 가상 환경(722a)이 더 많은 3차원 환경(704)을 포괄하기 때문에, 물리적 객체들의 더 많은 표현들이 가상 환경(722a)의 경계를 넘어서 있고 디스플레이되는 것이 중지된다. 예를 들어, 도 7g에서, 데스크(710b)의 표현(710a) 및 사이드 테이블(712b)의 표현(712a)이 더 이상 디스플레이되지 않는 한편, 커피 테이블(714b)의 표현(714a)은 그것이 가상 환경(722a)의 경계보다 멀리 위치되지 않기 때문에 여전히 디스플레이된다. 따라서, 물리적 환경은 (예컨대, 가상 환경(722a)만이 존재하는) 가상 환경(722a)의 경계를 넘어서 더 이상 가시적이지 않지만, 가상 환경(722a)의 경계보다 사용자에게 더 가까운 물리적 환경은 가시적으로 유지된다.
근거리 전이 애니메이션을 예시하는 도 7h에서, 가상 환경(722a)은 도 7f의 가상 환경(722a)과 비교하여 반경방향 외향으로 추가로 확장된다. 예를 들어, 도 7h에서, 가상 환경(722b)은 180도의 반경방향 크기를 갖는데(예컨대, 가상 환경(722a)의 좌측 및 우측 경계들은 사용자(720)의 좌측으로 직접 그리고 우측으로 직접 연장되고, 선택적으로는, 가상 환경(722a)의 상단 및 하단 경계들은 사용자(720)의 바로 위 및 아래로 연장됨), 이는 도 7f와 비교하여 반경방향 크기의 증가이고, 따라서 가상 환경(722a)에 의해 이전에 점유되지 않았던 데스크(710a)의 더 많은 부분이 가상 환경(722a)에 의해 이제 점유되게 한다. 위에서 논의된 바와 같이, 가상 환경(722a)은 선택적으로, 사용자(720)를 둘러싸는 구의 표면을 따르는 것처럼 반경방향으로 확장된다. 따라서, 가상 환경(722a)이 확장됨에 따라, 가상 환경(722a)은, 오버헤드 뷰(718)에 예시된 바와 같이, (예컨대, x-y 방향들로의) 확장 원으로서 보이지만, 또한 사용자 주위를 (예컨대, z 방향으로) 둘러싼다. 일부 실시예들에서, 가상 환경(722a)은 사용자(720)에게 더 가깝게 확장되지 않고, 따라서, 데스크(710b)의 일부분은 3차원 환경(704)의 하단에서 여전히 볼 수 있다. 위에서 논의된 바와 같이, 가상 환경(722a)의 경계의 형상은 도 7h(예컨대, 근거리 전이 애니메이션)에서 도 7g(예컨대, 원거리 전이 애니메이션)와 선택적으로 동일하다.
일부 실시예들에서, 도 7g 및 도 7h는 상대적으로 높은 몰입 레벨(예컨대, 최대 몰입, 또는 중간 몰입보다 큰 몰입 레벨)의 가상 환경(722a)을 디스플레이하기 위한 애니메이션 및/또는 가상 환경(722a)의 디스플레이의 최종 상태를 예시하고, 가상 환경(722a)에 의해 소비되는 3차원 환경(704)의 양은, 애니메이션이 원거리 전이 애니메이션이었는지 또는 근거리 전이 애니메이션이었는지 상관없이, 동일하다. 도 7g(예컨대, 원거리 전이 애니메이션)에서의 가상 환경(722a)의 크기 및 형상은 도 7h(예컨대, 근거리 전이 애니메이션)에서의 가상 환경(722a)의 크기 및 형상과 선택적으로 동일하다. 예를 들어, 가상 환경(722a)의 경계는 도 7g와 도 7h 사이에서 형상이 동일하고, 선택적으로, 도 7g와 도 7h 사이의 사용자의 시점으로부터 거리가 동일하다. 일부 실시예들에서, 도 7g 및 도 7h의 가상 환경(722a)의 사용자의 뷰는 동일하다(예컨대, 가상 환경(722a) 내의 각자의 객체는 도 7g 및 도 7h의 사용자에 대해 동일한 거리에 그리고 동일한 위치에 있다).
따라서, 일부 실시예들에서, 일부 몰입 레벨(들)(예컨대, 최대 몰입, 높은 몰입 레벨 등)에서, 가상 환경은, 사용자의 물리적 환경 내에서의 사용자의 전방의 공간의 양과 상관없이, 사용자에게 동일하게 보인다(예컨대, 동일한 크기, 동일한 형상, 가상 환경에 의해 점유되는 동일한 양의 3차원 환경, 가상 환경의 동일한 부분들 등). 일부 실시예들에서, 소정 몰입 레벨들(예컨대, 중간 몰입 레벨들, 낮은 몰입 레벨들 등)에서, 가상 환경은 원거리 전이 애니메이션을 이용하기 위해 사용자의 전방에 충분한 공간이 존재하는지 또는 사용자의 전방에 충분한 공간이 존재하지 않는지에 기초하여 상이하게 보일 것이다. 예를 들어, 도 7g 및 도 7h에 예시된 실시예에서, 6보다 높은 몰입 레벨에서, 가상 환경(722a) 내로의 포털의 크기 및/또는 형상은 원거리 전이와 근거리 전이 사이에서 동일하거나 유사하지만, (예컨대, 도 7c 내지 도 7f를 참조하여 설명된 바와 같이) 6보다 낮은 몰입 레벨에서, 가상 환경(722a) 내로의 포털의 크기 및/또는 형상은 원거리 전이와 근거리 전이 사이에서 상이하다.
도 8a 내지 도 8h는 일부 실시예들에 따른, 가상 환경을 디스플레이하는 방법(800)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(800)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 깊이 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(800)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(800)에서의 일부 동작들이 선택적으로 조합되거나, 및/또는 일부 동작들의 순서가 선택적으로 변경된다.
방법(800)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스(예컨대, 도 1의 컴퓨터 시스템(101))는, 디스플레이 생성 컴포넌트를 통해, 각자의 환경(예컨대, 물리적 환경의 표현, 시뮬레이션된 환경, 컴퓨터-생성 현실, 확장 현실 등)을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 도 7a 또는 도 7b에서와 같은 3차원 환경(704)을 디스플레이하는 동안의 시뮬레이션된 환경의 어포던스 또는 표현의 선택과 같은, 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 입력을 수신한다(802)(예컨대, 손 추적 디바이스, 눈 추적 디바이스, 또는 임의의 다른 입력 디바이스를 통해, 사용자의 하나 이상의 손들의 이동, 사용자의 하나 이상의 눈들의 이동, 및/또는 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 임의의 다른 입력을 검출함).
일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은, 사용자 입력을 수신하고(예컨대, 사용자 입력을 캡처함, 사용자 입력을 검출함 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터의 분리형), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 및/또는 모션 센서(예컨대, 손 추적 센서, 손 모션 센서) 등을 포함한다.
일부 실시예들에서, 각자의 환경은, 가상 객체들을 선택적으로 포함하고/하거나 선택적으로 전자 디바이스 주위의 물리적 세계에서 실제 세계 객체들의 표현들을 포함하는 증강 현실 환경 또는 혼합 현실 환경이다. 일부 실시예들에서, 각자의 환경은 전자 디바이스 주위의 물리적 환경에 적어도 기초한다. 예를 들어, 전자 디바이스는 사용자 주위의 환경에 관한 시각적 정보(예컨대, 환경 내의 객체들, 환경의 크기 및 형상 등)를 캡처할 수 있고 사용자에게 사용자 주위의 물리적 환경의 적어도 일부를 디스플레이할 수 있어서, 선택적으로, 이것이 사용자가 여전히 물리적 환경 내에 위치되는 것처럼 보이게 할 수 있다. 일부 실시예들에서, 각자의 환경(예컨대, 전자 디바이스 주위의 물리적 환경, 전자 디바이스 주위의 물리적 환경의 일부분 등)은 디스플레이 생성 컴포넌트를 통해 사용자에게 능동적으로 디스플레이된다. 일부 실시예들에서, 각자의 환경(예컨대, 전자 디바이스 주위의 물리적 환경, 전자 디바이스 주위의 물리적 환경의 일부분 등)은 사용자가 물리적 환경의 적어도 일부를 볼 수 있게 하는 부분적으로 투명하거나 반투명한 디스플레이를 통해 사용자에게 수동적으로 제시된다.
일부 실시예들에서, 제1 시뮬레이션된 환경을 디스플레이하라는 요청은 전자 디바이스의 또는 그와 통신하는, 기계식 다이얼 또는 가상 다이얼과 같은 회전 요소의 조작을 포함한다. 일부 실시예들에서, 요청은 디바이스 및/또는 각자의 환경의 몰입 레벨을 증가시키기 위한 디스플레이된 어포던스의 선택 및/또는 디스플레이된 제어 요소의 조작을 포함한다. 일부 실시예들에서, 요청은 디바이스 및/또는 각자의 환경의 몰입 레벨을 증가시키라는 요청으로서 인식되는 미리결정된 제스처를 포함한다. 일부 실시예들에서, 요청은 디바이스 및/또는 각자의 환경의 몰입 레벨의 증가를 요청하고/하거나 제1 시뮬레이션된 환경의 디스플레이를 요청하는 음성 입력을 포함한다. 일부 실시예들에서, 제1 시뮬레이션된 환경은 사용자가 장면 내에 위치된 (예컨대, 그리고 선택적으로 제1 시뮬레이션된 환경 내에 더 이상 위치되지 않는) 것처럼 보이도록 각자의 환경의 적어도 일부를 적어도 부분적으로 가리는 장면을 포함한다. 일부 실시예들에서, 제1 시뮬레이션된 환경은 각자의 환경이 상이한 시간, 장소, 및/또는 상태(예컨대, 오후 조명 대신에 아침 조명, 흐림 대신 맑음 등)로 위치되는 것처럼 보이도록 각자의 환경의 하나 이상의 시각적 특성들을 수정하는 대기 변환(atmospheric transformation)이다. 일부 실시예들에서, 몰입 레벨은 전자 디바이스에 의해 디스플레이된 콘텐츠(예컨대, 가상 환경)가 가상 환경 주위의/뒤의 배경 콘텐츠(예컨대, 가상 환경 이외의 콘텐츠)를 가리는 연관된 정도를 포함하며, 이는 선택적으로, 디스플레이된 배경 콘텐츠의 아이템들의 수 및 배경 콘텐츠가 디스플레이되는 시각적 특성들(예컨대, 색상, 대비, 불투명도), 및/또는 디스플레이 생성 컴포넌트를 통해 디스플레이된 콘텐츠의 각도 범위(예컨대, 낮은 몰입에서 콘텐츠의 60도가 디스플레이되고, 중간 몰입에서 콘텐츠의 120도가 디스플레이되고, 높은 몰입에서 콘텐츠의 180도가 디스플레이됨), 및/또는 가상 환경에 의해 소비된 디스플레이 생성을 통해 디스플레이되는 시야의 비율(예컨대, 낮은 몰입에서 가상 환경에 의해 시야의 33%가 소비되고, 중간 몰입에서 가상 환경에 의해 시야의 66%가 소비되고, 높은 몰입에서 가상 환경에 의해 시야의 100%가 소비됨)을 포함한다. 일부 실시예들에서, 배경 콘텐츠는 가상 환경이 위에 디스플레이되는 배경에 포함된다. 일부 실시예들에서, 배경 콘텐츠는 사용자 인터페이스들(예컨대, 애플리케이션들에 대응하는 디바이스에 의해 생성된 사용자 인터페이스들, 시스템 사용자 인터페이스들), 가상 환경과 연관되거나 그에 포함되지 않는 가상 객체들(예컨대, 디바이스에 의해 생성된 파일들, 다른 사용자들의 표현들 등), 및/또는 실제 객체들(예컨대, 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 이들의 가시성을 모호하게 하거나/막지 않기 때문에 디스플레이 생성 컴포넌트에 의해 가시적이도록 그리고/또는 투명 또는 반투명 디스플레이 생성 컴포넌트를 통해 가시적이도록 디바이스에 의해 디스플레이되는 사용자의 시점 주위의 물리적 환경 내의 실제 객체들을 표현하는 패스-스루 객체들)을 포함한다. 일부 실시예들에서, 제1(예를 들어, 낮은) 몰입 레벨에서, 배경, 가상 및/또는 실제 객체들은 모호해지지 않은 방식으로 디스플레이된다. 예를 들어, 낮은 몰입 레벨을 갖는 가상 환경은 선택적으로, 최대 밝기, 색상 및/또는 반투명도로 선택적으로 디스플레이되는 배경 콘텐츠와 동시에 디스플레이된다. 일부 실시예들에서, 제2(예를 들어, 더 높은) 몰입 레벨에서, 배경, 가상 및/또는 실제 객체들은 모호해진 방식으로(예를 들어, 디밍된, 블러링된, 디스플레이로부터 제거된 등) 디스플레이된다. 예를 들어, 높은 몰입 레벨을 갖는 각자의 가상 환경은 (예컨대, 풀 스크린 또는 완전 몰입 모드에서) 배경 콘텐츠를 동시에 디스플레이하지 않으면서 디스플레이된다. 다른 예로서, 중간 몰입 레벨로 디스플레이되는 가상 환경은 어두워진, 블러링된, 또는 다른 방식으로 강조약화된 배경 콘텐츠와 동시에 디스플레이된다. 일부 실시예들에서, 배경 객체들의 시각적 특성들은 배경 객체들 사이에서 변한다. 예를 들어, 특정 몰입 레벨에서, 하나 이상의 제1 배경 객체들은 하나 이상의 제2 배경 객체들보다 시각적으로 강조약화되고(예를 들어, 디밍되거나, 블러링되거나, 증가된 투명도로 디스플레이됨), 하나 이상의 제3 배경 객체들은 디스플레이되는 것이 중단된다.
일부 실시예들에서, 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 입력을 수신하는 것에 응답하여, 전자 디바이스는, 도 7a 및 도 7b의 가상 환경 없는 3차원 환경(704)을 디스플레이하는 것으로부터 도 7g 및 도 7h의 가상 환경(722)을 디스플레이하는 것으로 전이하는 것과 같이, 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이한다(804)(예컨대, 디스플레이 영역의 일부분(예컨대, 디스플레이 영역의 서브세트, 디스플레이 영역 전부 등)에 제1 시뮬레이션된 환경의 디스플레이를 야기함). 일부 실시예들에서, 각자의 환경의 일부분은 사용자에게 더 이상 디스플레이되지 않고/않거나 더 이상 볼 수 없고 제1 시뮬레이션된 환경의 일부분이 그의 제자리에서 디스플레이되고/되거나 볼 수 있다. 일부 실시예들에서, 각자의 환경의 일부분은 제1 시뮬레이션된 환경에 의해 오버레이(overlay)된다. 일부 실시예들에서, 각자의 환경의 일부분은 제1 시뮬레이션된 환경으로 대체된다.
일부 실시예들에서, 전이하는 것은, 사용자의 시점 주위의 물리적 환경이 하나 이상의 제1 기준들을 만족한다는 결정에 따라, 도 7c, 도 7e, 및 도 7g에 예시된 원거리 전이와 같은, 제1 유형의 전이를 사용하여 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것(806)(예컨대, 물리적 환경이 (예컨대, 전자 디바이스 전방에서의) 임계 크기, 면적, 깊이 초과를 갖는 경우, 물리적 환경의 형상이 소정 패턴에 맞고, 그리고/또는 디바이스에 대한 물리적 환경의 일부분이 (예컨대, 디바이스 전방의 공간, 디바이스 좌측의 공간, 디바이스 우측의 공간 등에서의) 임계 크기, 면적, 깊이 초과를 갖는 경우, 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로의 전이는 제1 유형의 전이임) 및 사용자의 시점 주위의 물리적 환경이 하나 이상의 제1 기준들과는 상이한 하나 이상의 제2 기준들을 만족한다는 결정에 따라, 도 7d, 도 7f, 및 도 7h에 예시된 근거리 전이와 같은, 제1 유형의 전이와는 상이한 제2 유형의 전이를 사용하여 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것(808)(예컨대, 사용자의 시점 주위의 물리적 환경이 (예컨대, 전자 디바이스 전방에서의) 임계 크기, 면적, 깊이 미만을 갖는 경우, 물리적 환경의 형상은 상이한 패턴에 맞고, 그리고/또는 디바이스에 대한 물리적 환경의 일부분이 (예컨대, 디바이스 전방의 공간, 디바이스 좌측의 공간, 디바이스 우측의 공간 등에서의) 임계 크기, 면적, 깊이 미만을 갖는 경우, 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로의 전이는 제2 유형의 전이임)을 포함한다.
따라서, 하나 이상의 제1 기준들은 물리적 환경이 임계 크기(예컨대, 20 제곱 피트, 50 제곱 피트, 100 제곱 피트, 300 제곱 피트 등), 면적, 및/또는 깊이 초과를 갖는 경우에 (예컨대, 사용자 및/또는 디바이스 전방에서의 물리적 환경의 깊이가 2 피트, 5 피트, 8 피트, 10 피트 등 초과인 깊이를 갖는 경우에) 만족되는 기준을 포함한다. 일부 실시예들에서, 물리적 환경의 깊이는 사용자 및/또는 디바이스로부터 가장 가까운 물리적 객체(예컨대, 선택적으로, 커피 테이블 또는 데스크와 같은, 바닥 이외의, 사용자 및/또는 디바이스의 전방에 있는, 또는 사용자 및/또는 디바이스의 좌측, 우측, 후방에 있는 가장 가까운 물리적 객체)까지의 거리에 기초하여 결정된다. 일부 실시예들에서, 물리적 환경의 깊이는 벽과 같은 수직 평면형 표면(예컨대, 선택적으로 가장 가까운 수직 평면형 표면 또는 선택적으로 사용자 또는 디바이스의 전방에 있는 가장 가까운 수직 평면형 표면)으로부터의 거리에 기초하여 결정된다. 일부 실시예들에서, 물리적 환경의 깊이는 물리적 환경의 가장 가까운 경계(또는 사용자 또는 디바이스의 바로 전방에 있는 물리적 환경의 경계)로부터의 거리에 기초하여 결정된다. 전술된 바와 같이, 각자의 환경은 물리적 환경에 적어도 부분적으로 기초할 수 있다. 따라서, 일부 실시예들에서, 물리적 환경의 특성들은, 예를 들어 전이의 충격, 멀미 및/또는 인지적 불협화를 감소시키기 위해, 각자의 환경과 제1 시뮬레이션된 환경 사이에서 전이를 알려준다. 예를 들어, 사용자/전자 디바이스 주위의 그리고/또는 사용자/전자 디바이스 전방의 물리적 환경이 4 피트 초과의 최대 깊이를 갖는 경우(예컨대, 사용자가 사용자 맞은편의 벽으로부터 적어도 4 피트 떨어져 앉아 있는 경우), 제1 시뮬레이션된 환경으로의 전이는 전자 디바이스 및/또는 사용자로부터의 거리에 기초하여 각자의 환경의 일부분들을 점진적으로 전이시키는 것을 포함한다. 예를 들어, 사용자로부터 가장 멀리 있는 각자의 환경의 영역이 먼저 전이되고, 이어서 다음으로 가장 가까운 영역이 두 번째로 전이되는 등, 선택적으로, 사용자 및/또는 전자 디바이스에 또는 사용자 및/또는 전자 디바이스 전방의 미리결정된 거리(예컨대, 사용자 전방 6 인치, 사용자 전방 1 피트, 사용자 전방 3 피트 등)에 도달할 때까지 전이된다. 일부 실시예들에서, 각자의 환경의 상이한 부분들이 상이한 횟수로 전이된다(예컨대, 더 가까운 부분들이 더 먼 부분들 후에 전이된다). 일부 실시예들에서, 각자의 환경의 비인접 영역들이 동시에 전이된다(예컨대, 각자의 환경의 상이한 부분들이 인접하지 않고, 사용자 및/또는 전자 디바이스로부터 멀리 동일한 거리에 있다). 일부 실시예들에서, 제1 유형의 전이는 가장 먼 위치로부터 시작하여 사용자를 향해 확장되는 것으로 (예컨대, 예를 들어 시뮬레이션된 환경의 경계가 선택적으로 전이 전체에 걸쳐 사용자 및/또는 디바이스로부터 등거리에 있도록 사용자를 향해 또는 사용자를 향해 원형으로 이동하는 평면으로) 보인다. 따라서, 일부 실시예들에서, 제1 유형의 전이는 각자의 환경 내의 객체들의 깊이의 차이들에 의존한다(예컨대, 첫 번째, 두 번째, 세 번째, 마지막 등으로 전이하는 것의 순서는 깊이 정보에 기초한다). 일부 실시예들에서, 전이하는 것은 각자의 환경의 각자의 부분을 제1 시뮬레이션된 환경의 각자의 부분으로 디졸브(dissolve)하는 것을 포함한다. 일부 실시예들에서, 다른 전이 애니메이션들이 가능하다. 일부 실시예들에서, 제1 시뮬레이션된 환경의 부분들로 전이하는 각자의 환경의 부분들은 제1 시뮬레이션된 환경의 이전에 전이된 부분들에 부가된다. 예를 들어, 각자의 환경의 제1 부분은 제1 시뮬레이션된 환경의 제1 부분으로 전이되고, 이어서 각자의 환경의 제2 부분은 제1 시뮬레이션된 환경의 제2 부분으로 전이되고 제1 시뮬레이션된 환경의 제1 및 제2 부분들은 함께 인접한 시뮬레이션된 환경을 형성한다.
일부 실시예들에서, 사용자의 시점은 3차원 환경의 관점과 동일한 (또는 유사한) 물리적 환경의 관점(예컨대, 뷰)을 갖는 물리적 환경 내의 위치(예컨대, 그리고/또는 그의 사용의 상황에 따라, 3차원 환경 내의 그의 대응하는 위치)이다. 예를 들어, 3차원 환경은 그것이 사용자가 실제 세계 환경 내의 각자의 위치에 물리적으로 위치된 것처럼 사용자에게 보이도록 (예컨대, 3차원 환경에서 실제 세계 객체들의 표현들이 사용자가 실제로 실제 세계 환경 내의 실제 세계 객체들을 보고 있었던 것, 사용자로부터의 동일한 상대 위치에 있었던 것 등처럼 동일한 거리에 있는 것으로 보이도록) 구성된다. 따라서, 하나 이상의 제2 기준들은 물리적 환경이 임계 크기(예컨대, 20 제곱 피트, 50 제곱 피트, 100 제곱 피트, 300 제곱 피트 등), 면적, 및/또는 깊이 미만을 갖는 경우에 (예컨대, 사용자 및/또는 디바이스 전방의 공간이 2 피트, 5 피트, 8 피트, 10 피트 등 미만인 깊이를 갖는 경우에) 만족되는 기준을 포함한다. 일부 실시예들에서, 제2 유형의 전이는 각자의 환경 내의 각자의 위치로부터 전이를 시작하여 각자의 위치로부터 외향으로 확장되는 것을 포함한다. 예를 들어, 사용자 주위의 그리고/또는 사용자 전방의 물리적 환경이 4 피트 미만의 최대 깊이를 갖는 경우, 사용자로부터 가장 먼 각자의 환경의 부분(예컨대, 물리적 환경 내의 가장 먼 지점)으로부터 시작하여, 각자의 환경은 제1 시뮬레이션된 환경으로 전이되고, 전이는 시작 위치 외향으로 (예컨대, 반경방향으로) 확장된다(예컨대, 더 많은 각자의 환경이, 시작 위치를 전이의 중심으로 하여, 제1 시뮬레이션된 환경으로 전이된다). 일부 실시예들에서, 제2 유형의 전이는 각자의 환경 내의 특정 위치로부터 시작하여 그 위치로부터 (예컨대, 좌우로, 상하로) 확장되고, 선택적으로 사용자 주위에서 확장되는 것으로 (예컨대, 사용자를 향해 확장되는 평면과는 대조적으로, 성장하는 원으로) 보인다. 일부 실시예들에서, 제2 유형의 전이는 각자의 환경에서의 깊이의 차이들과 상관없이 수행된다. 예를 들어, 전이는, 각자의 환경의 일부분들이 더 가깝게 있든 더 멀리 떨어져 있든 상관없이, 시작 위치로부터 외향으로, 선택적으로 모든 방향들로 동일하게, 확장된다(예컨대, 객체들이 시뮬레이션된 환경에 의해 "완전히 뒤덮이는" 경우의 순서는 환경 내의 객체들의 깊이에 좌우되지 않는다). 일부 실시예들에서, 제2 유형의 전이는 표면(예컨대, 테이블의 표면, 벽의 표면 등) 상의 위치로부터 전이를 시작하여 표면을 따라 (예컨대, 사용자를 향해) 이동하는 것을 포함한다. 일부 실시예들에서, 제2 유형의 전이는 (예컨대, 시야의 중심과 같은) 각자의 위치로부터 전이를 시작하여 사용자의 시야를 따라 반경방향 외향으로 확장되는 (예컨대, 동일한 방식으로 각자의 위치로부터 모든 방향들로 확장되는) 것을 포함한다. 일부 실시예들에서, 중심 기준 위치로부터 외향으로 전이하는 것은 제1 시뮬레이션된 환경에 대한 초기 기준점을 제공하며, 이는 짧은 깊이를 갖는 환경(예컨대, 사용자의 물리적 환경)으로부터 원거리 깊이를 갖는 환경(예컨대, 제1 시뮬레이션된 환경)으로의 잠재적 전이로 인해 멀미 및/또는 인지적 불협화를 감소시킨다. 일부 실시예들에서, 전이의 제1 및 제2 방식들은 상이한 전이 속도들, 상이한 크로스페이드(crossfade) 애니메이션들을 갖고/갖거나, 환경의 일부분들을 전이하는 순서는 상이하다. 일부 실시예들에서, 전이의 제1 및 제2 방식들의 결과는 동일하다. 예를 들어, 초기 상태 및 최종 상태는 동일하지만, 초기 상태로부터 최종 상태로의 전이는 상이하다.
(예컨대, 디바이스 주위의 물리적 환경의 특성들에 기초한 제1 환경으로부터 제2 환경으로의 전이에 의해) 하나의 환경으로부터 다른 환경으로 전이하는 전술된 방식은 물리적 환경 및/또는 시작 환경의 특성들을 고려하는 방식으로 상이한 환경으로 전이하는 신속하고 효율적인 방법을 제공하는데, 이는 선택적으로 전이의 급격함을 감소시키고, 이는 (예컨대, 사용자가 새로운 환경과 더 신속하게 상호작용하는 것을 가능하게 하고, 변경에 적응하는 데 필요한 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 개선하며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실(disorientation)을 감소시킬 수 있고, 이는 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 추가적으로 전력 사용을 감소시키고 전자 디바이스의 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 하나 이상의 제1 기준들은 전자 디바이스의 기준 배향에 대한 각자의 방향으로의 사용자의 시점 주위의, 도 7a에서의 사용자(720)로부터 원거리 벽까지 임계 거리 초과를 갖는 물리적 환경(702)과 같은, 물리적 환경의 일부분이 전자 디바이스의 사용자의 시점으로부터 임계 거리 초과에 있는 경우에 만족되는 기준을 포함하여(810), 그에 따라 3차원 환경(704)은 원거리 전이에 적격이다(예컨대, 전자 디바이스 전방의 (예컨대, "전방" 방향으로 그리고/또는 디바이스에 의해 디스플레이되는 3차원 환경의 시점의 시야의 중심의 방향의) 전자 디바이스의 물리적 환경의 일부분이 공간의 임계량 초과(예컨대, 1 피트, 5 피트, 10 피트, 50 피트, 100 피트 등 초과)를 갖는 경우, 제1 기준들은 만족된다).
예를 들어, 디바이스가 룸의 중심에 위치되고 디바이스 전방의 벽(예컨대, 디바이스 전방의 물리적 환경의 경계)이 10 피트 초과하여 떨어져 있는 경우, 하나 이상의 제1 기준들이 만족된다(예컨대, 그리고 디바이스 전방의 벽이 10 피트 미만으로 떨어져 있는 경우, 하나 이상의 제1 기준들은 선택적으로 만족되지 않는다). 일부 실시예들에서, 물리적 환경의 경계들은 물리적 환경의 벽들(예컨대, 5 피트, 8 피트, 12 피트 등과 같은 임계 높이를 초과하는 수직 배리어, 또는 바닥으로부터 천장까지의 수직 거리에 걸쳐 있는 수직 배리어 등)에 의해 한정된다. 일부 실시예들에서, 수직 벽들로서 인식되지 않거나 임계 높이 미만인 물리적 환경 내의 객체들은 물리적 환경이 전자 디바이스로부터의 임계 거리 초과에 있는지 여부를 결정할 때 고려되지 않는다. 예를 들어, 전자 디바이스의 전방에 있는 카우치들, 테이블들, 데스크들, 카운터들 등은 선택적으로, 물리적 환경이 전자 디바이스로부터 임계 거리 초과에 있는지 여부를 결정할 때 고려되지 않는다. 일부 실시예들에서, 카우치들, 테이블들, 데스크들, 카운터들 등이 고려된다. 일부 실시예들에서, (예컨대, 물리적 환경 내의 객체들의 크기, 형상, 및/또는 위치를 포함하는) 물리적 환경의 크기 및/또는 형상은 가시광 센서들(예컨대, 카메라들), 깊이 센서들(예컨대, 비행 시간 센서들) 등과 같은, 전자 디바이스의 하나 이상의 센서들을 통해 (예컨대, 개별적으로 또는 조합하여) 결정된다.
(예컨대, 디바이스 주위의 물리적 환경이 소정 기준들을 만족하는지 여부에 기초하여) 제1 유형의 전이 또는 제2 유형의 전이를 통해 환경을 디스플레이하는 전술된 방식은 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키는 매끄러운 전이를 보장하기 위해 사용자의 환경을 고려하는데, 이는 (예컨대, 사용자가 상이한 유형들의 전이들 사이에서 선택하기 위한 추가 입력들을 수행할 필요 없이, 자동적으로) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 하나 이상의 제2 기준들은 전자 디바이스의 기준 배향에 대한 각자의 방향으로의 사용자의 시점 주위의, 도 7b에서의 사용자(720)로부터 원거리 벽까지 임계 거리 미만을 갖는 물리적 환경(702)과 같은, 물리적 환경의 일부분이 전자 디바이스로부터 임계 거리 미만에 있는 경우에 만족되는 기준을 포함하여(812), 그에 따라 3차원 환경(704)은 근거리 전이에 적격이고 선택적으로 원거리 전이에는 적격이 아니다(예컨대, 전자 디바이스 전방의 (예컨대, "전방" 방향으로 그리고/또는 디바이스에 의해 디스플레이되는 3차원 환경의 시점의 시야의 중심의 방향의) 전자 디바이스의 물리적 환경의 일부분이 공간의 임계량 미만(예컨대, 1 피트, 5 피트, 10 피트, 50 피트, 100 피트 등 미만)을 갖는 경우, 제2 기준들은 만족된다).
예를 들어, 전자 디바이스 전방의 벽이 전자 디바이스로부터 임계 거리 미만에 있는 경우, 전자 디바이스는 각자의 환경을 디스플레이할 때 제2 유형의 전이를 수행한다. 일부 실시예들에서, 제2 유형의 전이는, 전이가 사용자에게 거슬림을 주는 위험을 감소시키고/시키거나 멀미 증상들을 야기하는 위험을 감소시키기 위한, 임계량 초과의 공간이 있는 경우와는 상이한 유형의 전이이다. 예를 들어, 사용자에게 작은 양의 깊이를 갖는 환경(예컨대, 사용자의 물리적 환경)이 제시되고 많은 공간을 갖는 환경(예컨대, 시뮬레이션된 환경)으로 불쾌하게 전이되는 경우, 효과는 시각적 불협화를 야기할 수 있다. 일부 실시예들에서, 하나 이상의 제2 기준들은 전자 디바이스가 전자 디바이스 주위의 물리적 환경의 깊이 정보를 (예컨대, 선택적으로 임계 정확도 레벨까지) 결정할 수 없는 경우에 만족되는 기준을 포함한다. 예를 들어, 디바이스의 센서들이 사용자의 룸의 크기 및 형상을 결정하는 것을 환경 상태들(예컨대, 대기 간섭, 전자기 간섭 등)이 방해하는 경우, 하나 이상의 제2 기준들이 만족된다.
(예컨대, 디바이스 주위의 물리적 환경이 소정 기준들을 만족하는지 여부에 기초하여) 제1 유형의 전이 또는 제2 유형의 전이를 통해 환경을 디스플레이하는 전술된 방식은 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키는 매끄러운 전이를 보장하기 위해 사용자의 환경을 고려하는데, 이는 (예컨대, 사용자가 상이한 유형들의 전이들 사이에서 선택하기 위한 추가 입력들을 수행할 필요 없이, 자동적으로) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 각자의 환경은 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 포함하고(예컨대, 사용자에게 디스플레이되고/되거나 제시되는 환경의 적어도 일부는, 예컨대, 디스플레이 생성 컴포넌트(예컨대, 투명 또는 반투명 디스플레이 생성 컴포넌트)를 통한 실제 패스스루 또는 디스플레이 생성 컴포넌트를 통한 디지털 패스스루를 통해, 디바이스 및/또는 사용자 주위의 물리적 환경에 기초함(예컨대, 그의 실사 표현임)), 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것은 물리적 환경의 일부분의 표현의 디스플레이를 제1 시뮬레이션된 환경의 일부분의 표현의 디스플레이로 대체하는 것, 예컨대, 도 7c에서 3차원 환경(704)의 물리적 환경(702)의 코너의 표현들을 가상 환경(722)의 각자의 부분들(예컨대, 각각 722-1a 및 722-1b)로 대체하는 것(예컨대, 사용자에게 제시되는 환경이 부분적으로 실제 세계 물리적 환경이고 부분적으로 가상 시뮬레이션된 환경이도록, 물리적 환경의 표현의 일부분들을 시뮬레이션된 환경으로 대체하는 것)을 포함한다(814).
일부 실시예들에서, 디스플레이되는 시뮬레이션된 환경의 양(예컨대, 디스플레이되지 않는 물리적 환경의 양)은 디바이스의 그리고/또는 시뮬레이션된 환경의 몰입 레벨에 기초한다. 예를 들어, 몰입 레벨을 증가시키는 것은 더 많은 시뮬레이션된 환경이 디스플레이되게 하여, 물리적 환경의 더 많은 표현을 대체하고/하거나 가리고, 몰입 레벨을 감소시키는 것은 더 적은 시뮬레이션된 환경이 디스플레이되게 하여, 이전에 디스플레이되지 않고/않거나 가려진 물리적 환경의 부분들을 드러낸다.
(예컨대, 물리적 환경의 표현들의 부분들을 시뮬레이션된 환경의 부분들로 대체함으로써) 시뮬레이션된 환경을 디스플레이하는 전술된 방식은 물리적 환경만을 디스플레이하는 것으로부터 시뮬레이션된 환경을 또한 디스플레이하는 것으로 전이하는 신속하고 효율적인 방법을 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 입력은, 도 7c 내지 도 7h 중 임의의 도면과 같이, 가상 환경을 현재 디스플레이하는 동안 시뮬레이션된 환경의 어포던스 또는 표현의 선택과 같은 사용자 입력을 포함한다(816)(예컨대, 사용자에 의한 다이얼 또는 버튼과 같은 전자 디바이스와 통신하는 기계식 입력 요소의 조작 또는 각자의 환경에 디스플레이된 가상 버튼 또는 가상 다이얼과 같은 제어 요소의 조작을 검출하고/하거나 수신함). 일부 실시예들에서, 사용자 입력은 사용자의 하나 이상의 손들에 의해 수행되고, 카메라, 모션 센서, 손 추적 센서 등과 같은 디바이스의 하나 이상의 센서들에 의해 검출된다.
일부 실시예들에서, 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것은 하기를 포함한다(818): 사용자 입력이 제1 시뮬레이션된 환경으로 제1 양만큼 전이하라는 요청에 대응한다는 (예컨대, 사용자 입력이 현재 몰입 레벨 초과 또는 미만인 각자의 몰입 레벨을 선택하는 것이라는) 결정에 따라, 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경의 제1 부분을 디스플레이하는 것으로 전이하는 것, 예컨대, 제1 몰입 레벨을 갖는 시뮬레이션된 환경으로부터 제2 몰입 레벨을 갖는 시뮬레이션된 환경으로 전이하는 것(820)(예를 들어, 예컨대 도 7c 내지 도 7h 중 임의의 하나로부터 도 7c 내지 도 7h 중 임의의 다른 하나로 전이하는 것)(예컨대, 사용자 입력에 기초하여 제1 시뮬레이션된 환경의 각자의 양을 디스플레이하는 것), 및 사용자 입력이 제1 시뮬레이션된 환경으로 제1 양보다 큰 제2 양만큼 전이하라는 요청에 대응한다는 결정에 따라, 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경의 제1 부분보다 큰 제2 부분을 디스플레이하는 것으로 전이하는 것(824), 예컨대, (도 7c 내지 도 7h 중 임의의 것으로부터 도 7c 내지 도 7h 중 임의의 다른 것으로 전이하는 것과 같은) 제1 몰입 레벨을 갖는 시뮬레이션된 환경으로부터 제2 몰입 레벨을 갖는 시뮬레이션된 환경으로 전이하는 것(예컨대, 사용자 입력이 몰입 레벨을 2 단계만큼 증가(또는 감소)시키라는 요청인 경우, 디스플레이되는 제1 시뮬레이션된 환경의 양은 2 단계의 증가(또는 감소)된 몰입에 대응하는 양만큼 증가(또는 감소)된다).
일부 실시예들에서, 사용자 입력은 몰입 레벨을 소정 양만큼 증가 또는 감소시키는 상대적 입력(예컨대, 몰입 레벨을 1 단계, 2 단계 등만큼 증가시키라는 요청)이다. 일부 실시예들에서, 사용자 입력은 특정 몰입 레벨의 선택(예컨대, 몰입 레벨을 50%, 75% 등으로 증가시키라는 요청)이다. 예를 들어, 사용자 입력이 몰입 레벨을 1 단계만큼 증가시키라는 요청인 경우, 디스플레이되는 제1 시뮬레이션된 환경의 양은 1 단계의 증가된 몰입에 대응하는 양만큼 증가된다. 일부 실시예들에서, 사용자 입력이 몰입 레벨을 2 단계만큼 증가시키라는 요청인 경우, 디스플레이되는 제1 시뮬레이션된 환경의 양은 2 단계의 증가된 몰입에 대응하는 양만큼 증가된다. 일부 실시예들에서, 몰입의 양을 증가시키거나 감소시키는 것은 (예컨대, 더 많은 또는 더 적은 제1 시뮬레이션된 환경을 급격하게 디스플레이하는 것과 대조적으로) 제1 시뮬레이션된 환경이 디스플레이되는 양을 각각 점진적으로 증가시키거나 감소시키는 것을 포함한다.
(예컨대, 사용자 입력에 의해 요청된 양에 기초하여, 점진적으로 증가시키거나 감소시킴으로써) 디스플레이되는 시뮬레이션된 환경의 양을 증가시키거나 감소시키는 전술된 방식은 더 많은 또는 더 적은 시뮬레이션된 환경을 디스플레이하는 신속하고 효율적인 방법을 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 사용자 입력은 전자 디바이스와 통신하는 회전가능 입력 요소(예컨대, 전자 디바이스 상의 또는 전자 디바이스와 통신하는 다른 디바이스 상의 기계식 다이얼(예컨대, 원격 제어 디바이스, 다른 전자 디바이스 등))의 회전을 포함하고, 제1 시뮬레이션된 환경으로 제1 양만큼 전이하라는 요청에 대응하는 사용자 입력은 제1 각자의 양만큼의 회전가능 입력 요소의 회전(예컨대, 1 증분(및/또는 제1 양의 회전), 2 증분(및/또는 더 큰 제2 양의 회전) 등(예컨대, 1 멈춤쇠(detent), 2 멈춤쇠 등)만큼의 기계식 다이얼의 회전)을 포함하고, 제1 시뮬레이션된 환경으로 제2 양만큼 전이하라는 요청에 대응하는 사용자 입력은 제1 각자의 양보다 큰 제2 각자의 양만큼의 회전가능 입력 요소의 회전, 예컨대, 전자 디바이스(101)에 부착된 또는 그와 통신하는 기계식 다이얼의 회전(예컨대, 기계식 다이얼의 더 큰 양만큼의 회전)을 포함한다(826). 일부 실시예들에서, 제1 방향으로 회전하는 것은 몰입 레벨을 증가시키라는 요청에 대응하고, 제2 반대 방향으로 회전하는 것은 몰입 레벨을 감소시키라는 요청에 대응한다.
(예컨대, 회전가능 요소를 소정 양만큼 회전시킴으로써) 디스플레이되는 시뮬레이션된 환경의 양을 증가시키거나 감소시키는 전술된 방식은 (예컨대, 사용자가 몰입의 특정 양을 선택할 필요 없이 현재 몰입 레벨을 증가 또는 감소시키는 프로세스를 사용자에게 제공함으로써) 더 많은 또는 더 적은 시뮬레이션된 환경을 디스플레이하는 신속하고 효율적인 방법을 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 유형의 전이를 사용하여 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이한 후의 제1 시뮬레이션된 환경의, 디스플레이 생성 컴포넌트를 통한, 디스플레이는 제2 유형의 전이를 사용하여 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이한 후의 제1 시뮬레이션된 환경의, 디스플레이 생성 컴포넌트를 통한, 디스플레이와 동일한데(828), 예컨대, 도 7h의 가상 환경(722a)은 각자의 전이들을 완료한 후의 도 7h에서와 동일하거나 유사한 것으로 보인다(예컨대, 제1 및 제2 유형들의 전이들의 시작 상태와 종료 상태는 유사하거나 동일하다).
예를 들어, 제1 몰입 레벨로부터 제2 몰입 레벨로 전이하는 경우, 시스템은 제1 유형의 전이를 수행할지 또는 제2 유형의 전이를 수행할지를 결정한다. 일부 실시예들에서, 제1 및 제2 유형들의 전이들은 상이한 시간들에 상이한 유형들의 애니메이션들 및 디스플레이 및/또는 환경 전이의 상이한 부분들을 포함하지만, 전이가 완료된 후의 최종 결과는, 어떠한 유형의 전이가 사용되는지와 상관없이, 동일하다. 일부 실시예들에서, 제1 몰입 레벨로부터 제2 몰입 레벨로 전이하는 것은 제1 몰입 레벨과 제2 몰입 레벨 사이에서 각각의 중간 몰입 레벨을 통해 전이하는 것을 포함한다. 일부 실시예들에서, 가장 높은 몰입 레벨(예컨대, 최대 몰입 레벨)은, 물리적 환경이 제1 기준들을 만족하는지 또는 제2 기준들을 만족하는지 상관없이(예컨대, 제1 유형의 전이가 사용되는지 또는 제2 유형의 전이가 사용되는지 상관없이) 동일하거나 유사하게 보인다. 일부 실시예들에서, 중간 몰입 레벨들(예컨대, 최대 몰입 레벨 미만이고 몰입 없음 초과인 몰입 레벨들)은, 물리적 환경이 제1 기준들을 만족하는지 또는 제2 기준들을 만족하는지에 기초하여, 상이하다. 예를 들어, 3차원 환경 내의 제1 시뮬레이션된 환경의 크기 및/또는 형상은 선택적으로, 물리적 환경이 제1 기준들을 충족하는지 또는 제2 기준들을 충족하는지에 따라 상이하지만, 최대 몰입 레벨에 있을 때 제1 시뮬레이션된 환경의 크기 및 형상은 물리적 환경이 제1 기준들을 충족하는지 또는 제2 기준들을 충족하는지와 상관없이 동일하다.
(예컨대, 상황에 기초하여 상이한 유형들의 전이들을 수행하지만, 전이가 완료된 후에 동일한 최종 상태에 도달함으로써) 시뮬레이션된 환경을 디스플레이하는 전술된 방식은 (예컨대, 시뮬레이션된 환경을 디스플레이하는 데 사용되는 전이의 유형이 무엇이든 상관없이, 일관된 경험을 제공함으로써) 시뮬레이션된 환경을 디스플레이하는 신속하고 효율적인 방법을 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 유형의 전이는 1) 전자 디바이스와 사용자의 시점 주위의 물리적 환경의 제1 부분 사이의 거리와, 2) 전자 디바이스와 사용자의 시점 주위의 물리적 환경의 제2 부분 사이의 거리의 차이에 기초하는 방식으로 진행하는데(830), 예컨대, 원거리 전이는 도 7c, 도 7e, 및 도 7g에서의 물리적 환경(702) 내의 객체들의 위치 및 거리 정보를 사용하여 가상 환경(722)이 사용자(720)에게 거리 상 더 가깝게 이동하는 것을 수반한다(예컨대, 제1 유형의 전이는 각자의 환경의 어느 부분들이 첫 번째, 두 번째 등으로 전이하는지를 (예컨대, 전이의 순서를) 결정할 때 사용자의 물리적 환경 내의 객체들의 위치를 고려한다).
예를 들어, 제1 유형의 전이는 선택적으로 먼저 사용자(또는 디바이스)로부터 가장 멀리 있는 물리적 환경의 표현의 부분을 시뮬레이션된 환경의 일부분으로 대체하고, 이어서 사용자(또는 디바이스)로부터 다음으로 가장 멀리 있는 물리적 환경의 표현의 부분을 대체하는 등등이다.
일부 실시예들에서, 제2 유형의 전이는 1) 전자 디바이스와 사용자의 시점 주위의 물리적 환경의 제1 부분 사이의 거리와, 2) 전자 디바이스와 사용자의 시점 주위의 물리적 환경의 제2 부분 사이의 거리의 차이와 독립적인 방식으로 (예컨대, 그에 기초하지 않고) 진행하는데(832), 예컨대, 가상 환경(722)은, 도 7d, 도 7f, 및 도 7h에서의 물리적 환경 내의 객체들의 거리 및/또는 위치와 상관없이, 중심 위치로부터 반지름 방향으로 확장된다(예컨대, 제2 유형의 전이는 룸 내의 객체들의 위치 또는 룸 내의 객체들의 거리를 고려하지 않는다).
일부 실시예들에서, 제2 유형의 전이는 전이를 시작하는 각자의 위치를 선택하여 시작 위치에서의 물리적 환경의 표현을 시뮬레이션된 환경의 일부분으로 대체하고 이어서, 객체들이 다른 객체들의 전방에 있는지 또는 후방에 있는지와 상관없이, 대체 프로세스를 시작점으로부터 외향으로 확장한다(예컨대, 확장은 선택적으로, 디스플레이되고 있는 것보다는, 디스플레이 영역에 기초한다). 일부 실시예들에서, 시작 위치는 사용자의 시점으로부터 가장 먼 지점인 물리적 환경의 표현 내의 위치이다. 예를 들어, 디바이스가 평면형 벽을 향하고 있는 경우, 제2 유형의 전이는 선택적으로 평면형 벽의 중심으로부터 시작된다. 일부 실시예들에서, 제2 유형의 전이가 진행됨에 따라, 시뮬레이션된 환경은 시작 위치로부터 확장된다. 일부 실시예들에서, 시뮬레이션된 환경은 원형 방식으로 외향으로 확장된다. 일부 실시예들에서, 시뮬레이션된 환경의 확장은 사용자를 둘러싸는 구(또는 반구)의 표면과 유사한 형상을 갖는다(예컨대, 디바이스 및/또는 사용자는, 시뮬레이션된 환경이 구(예컨대, 디스플레이되어 있지 않은 가상 구)의 표면을 따라서 확장되고 있는 것처럼 확장되도록, 구(또는 반구)의 중심점에 있다). 일부 실시예들에서, 시뮬레이션된 환경이 확장됨에 따라, 시뮬레이션된 환경의 경계는 외향으로 (예컨대, x-y 방향들로), 또한 전방으로 (예컨대, z 방향으로) 확장되지만, 선택적으로 (예컨대, 구의 반경이 구 전체에 걸쳐 일정한 것으로 인해) 사용자로부터 동일한 거리로 유지된다.
시뮬레이션된 환경 (예컨대, 디바이스 주위의 환경의 위치 및 깊이 정보를 고려하는 방식으로 또는 디바이스 주위의 환경의 위치 및 깊이 정보를 고려하지 않는 방식으로 전이함으로써) 시뮬레이션된 환경을 디스플레이하는 전술된 방식은 디바이스가 위치되는 환경의 유형에 기초한 맞춤된 전이 스타일을 제공하며, 이는 (예컨대, 사용자가 이상적인 유형의 전이를 결정하고 각자의 유형의 전이를 선택하기 위해 추가 입력들을 수행할 필요 없이) 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 7d에서와 같이, 제2 유형의 전이는 각자의 환경과 제1 시뮬레이션된 환경 사이를 교차-디졸브하는 것을 포함하고, 교차-디졸브하는 것은 전자 디바이스로부터 가장 멀리 떨어져 있는 물리적 환경의 일부분에서 시작된다(834)(예컨대, 제2 유형의 전이는 물리적 환경 내의 가장 먼 위치에 대응하는 위치에서 시작한다).
일부 실시예들에서, 시작 위치로부터, 제2 유형의 전이는 시뮬레이션된 환경을 디스플레이 영역(예컨대, 디스플레이 스크린)에 대해 외향으로 확장시킨다. 예를 들어, 시작 위치로부터, 시뮬레이션된 환경은 초당 1 cm의 디스플레이 영역만큼 반경방향으로 확장된다. 일부 실시예들에서, 각자의 환경과 제1 시뮬레이션된 환경 사이의 교차-디졸브는 각자의 환경이 사라지게 하면서(fading away) 동시에 제1 시뮬레이션된 환경이 뚜렷해지게 하는(fading in) 것을 포함한다. 일부 실시예들에서, 각자의 환경 및 제1 시뮬레이션된 환경은 전이의 일부분들 동안 (예컨대, 각자의 환경이 희미해짐에 따라 그리고 제1 시뮬레이션된 환경이 뚜렷해짐에 따라) 동시에 디스플레이된다. 일부 실시예들에서, 각자의 환경과 제1 시뮬레이션된 환경 사이의 교차-디졸브는 각자의 환경의 각자의 부분들 모두가 제1 시뮬레이션된 환경으로 완전히 대체될 때까지 각자의 환경의 각자의 부분들을 제1 시뮬레이션된 환경의 각자의 부분들로 연속적으로 대체하는 것을 포함한다.
(예컨대, 시작 위치로부터 외향으로의 각자의 환경으로부터 제1 시뮬레이션된 환경으로 교차 페이딩(cross-fading)함으로써) 시뮬레이션된 환경을 디스플레이하는 전술된 방식은 매끄럽고 효율적인 전이를 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 유형의 전이를 사용하여 각자의 환경을 디스플레이하는 것으로부터 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것은 하기를 포함한다(836): 전이의 제1 부분 동안(838), 사용자의 시점 주위의 물리적 환경의 각자의 부분이 사용자의 시점으로부터 제1 거리 초과에 있다는 결정에 따라, 물리적 환경의 각자의 부분의 표현의, 디스플레이 생성 컴포넌트를 통한, 디스플레이를 제1 시뮬레이션된 환경의 적어도 제1 부분의 디스플레이로 대체하는 것, 예컨대, 3차원 환경(704)의 일부분이 도 7e에서의 3의 몰입 레벨과 연관되는 각자의 거리보다 멀리 있는 물리적 환경(702)의 일부분에 대응한다고 결정하고, 그에 따라, 결정된 부분을 가상 환경(722a)으로 대체하는 것(840)(예컨대, 물리적 환경의 표현의 제1 부분이 제2 부분보다 사용자(또는 디바이스)로부터 더 멀리 있는 위치에 대응하는 경우, 물리적 환경의 표현의 제1 부분은 제2 부분이 대체되기 (예컨대, 전이되기) 전에 제1 시뮬레이션된 환경의 일부분으로 대체된다(예컨대, 전이된다)), 및 사용자의 시점 주위의 물리적 환경의 각자의 부분이 사용자의 시점으로부터 제1 거리 미만에 있다는 결정에 따라, 물리적 환경의 각자의 부분의 표현의, 디스플레이 생성 컴포넌트를 통한, 디스플레이를 제1 시뮬레이션된 환경의 적어도 제1 부분의 디스플레이로 대체하는 것을 보류하는 것(842), 예컨대, 3차원 환경(704)의 일부분이 도 7e에서의 3의 몰입 레벨과 연관되는 각자의 거리보다 가까이 있는 물리적 환경(702)의 일부분에 대응한다고 결정하고, 그에 따라, 이러한 부분들을 물리적 환경의 표현들로서 유지하는 것(예컨대, 물리적 환경의 표현의 제1 부분이 제2 부분으로부터 더 멀리 있지 않은 경우, 전이의 제1 부분 동안(예컨대, 제2 부분이 전이된 후까지) 제1 부분을 제1 시뮬레이션된 환경의 일부분으로 대체(예컨대, 전이)하지 않는다).
일부 실시예들에서, 전이의 제2 부분 동안(예컨대, 전이의 제1 부분 후)(844), 사용자의 시점 주위의 물리적 환경의 각자의 부분이 사용자의 시점으로부터 제1 거리와는 상이한 제2 거리 초과에 있다는 결정에 따라, 물리적 환경의 각자의 부분의 표현의, 디스플레이 생성 컴포넌트를 통한, 디스플레이를 제1 시뮬레이션된 환경의 적어도 제2 부분의 디스플레이로 대체하는 것, 예컨대, 3차원 환경(704)의 일부분이 도 7g에서의 6의 몰입 레벨과 연관되는 각자의 거리보다 멀리 있는 물리적 환경(702)의 일부분에 대응한다고 결정하고, 그에 따라, 결정된 부분을 가상 환경(722a)으로 대체하는 것(846)(예컨대, 전이의 제2 부분 동안, 제1 부분보다 가까운 물리적 환경의 표현의 제2 부분(예컨대, 제1 부분 이후 다음으로 가장 먼 부분)은 제2 부분이 대체되기 (예컨대, 전이되기) 전의 제1 시뮬레이션된 환경의 일부분으로 대체된다(예컨대, 전이된다)), 및 사용자의 시점 주위의 물리적 환경의 각자의 부분이 사용자의 시점으로부터 제2 거리 미만에 있다는 결정에 따라, 물리적 환경의 각자의 부분의 표현의, 디스플레이 생성 컴포넌트를 통한, 디스플레이를 제1 시뮬레이션된 환경의 적어도 제2 부분의 디스플레이로 대체하는 것을 보류하는 것(848), 예컨대, 3차원 환경(704)의 일부분이 도 7h에서의 6의 몰입 레벨과 연관되는 각자의 거리보다 가까이 있는 물리적 환경(702)의 일부분에 대응한다고 결정하고, 그에 따라, 이러한 부분들을 물리적 환경의 표현들로서 유지하는 것(예컨대, 물리적 환경의 표현의 제2 부분이 제1 부분 이후의 다음으로 가장 먼 부분이 아닌 경우, (예컨대, 제2 부분이 아직 전이되지 않은 다음으로 가장 먼 부분일 때까지) 표현의 제2 부분을 대체하지 않는다).
일부 실시예들에서, 물리적 환경과 제1 시뮬레이션된 환경 사이의 경계는 사용자의 시점 주위의 구의 표면에 의해 한정되는 형상을 갖는다(예컨대, 디바이스 및/또는 사용자가 중심점으로서 있음). 일부 실시예들에서, 전이가 진행됨에 따라, 구는 전자 디바이스 및/또는 사용자에 더 가깝게 이동하고/하거나 구는 크기가 감소한다. 일부 실시예에서, 물리적 환경과 교차하는 구의 표면의 부분들은 물리적 환경과 시뮬레이션된 환경 사이의 경계를 한정한다(예컨대, 교차부 너머가 시뮬레이션된 환경이고 교차부 앞이 물리적 환경이다). 일부 실시예들에서, 구가 전자 디바이스 및/또는 사용자에 더 가깝게 이동하고/하거나 구의 크기가 감소함에 따라, 구의 더 많은 표면이 물리적 환경과 교차하고, 따라서, 시뮬레이션된 환경이 더 많은 3차원 환경을 포괄하게 하고 (예컨대, 물리적 환경 내의 가장 먼 위치로부터 시작하여) 사용자의 시점에 더 가깝게 이동하는 것으로 보이게 한다.
(예컨대, 더 가까운 각자의 환경의 부분들을 전이하기 전에 더 멀리 떨어져 있는 각자의 환경의 일부분을 전이시킴으로써) 각자의 환경을 디스플레이하는 것으로부터 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 전술된 방식은 매끄럽고 효율적인 전이를 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 유형의 전이는 하기를 포함한다(850): 전이의 제1 부분 동안(852), 사용자의 시점 주위의 물리적 환경의 각자의 부분이 사용자의 시점으로부터 제1 거리 초과에 있다는 결정에 따라(854), 사용자의 시점 주위의 물리적 환경의 제2 각자의 부분이 사용자의 시점으로부터 제1 거리 미만에 있다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 제1 시뮬레이션된 환경의 제1 부분과 사용자의 시점 사이의 물리적 환경의 제2 각자의 부분의 표현을 디스플레이하는 것, 예컨대, 3차원 환경(704)의 일부분이 도 7e에서의 3의 몰입 레벨과 연관되는 각자의 거리보다 가까이 있는 물리적 환경(702)의 일부분에 대응한다고 결정하고 이러한 부분들을 물리적 환경의 표현들로서 유지하는 것(856)(예컨대, 전이의 제1 부분 동안, (표현이 각자의 환경 내에 존재하는) 디바이스의 물리적 환경 내의 객체가 시뮬레이션된 환경보다 가까운 거리에 있는 경우, 객체(예컨대, 아키텍처 객체들, 가구 등)의 표현은 시뮬레이션된 환경의 전방에 디스플레이된다), 및 사용자의 시점 주위의 물리적 환경의 제2 각자의 부분이 사용자의 시점으로부터 제1 거리 초과에 있다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 제2 각자의 부분의 표현을 디스플레이하는 것을 보류하는 것(858), 예컨대, 3차원 환경(704)의 일부분이 도 7e에서의 3의 몰입 레벨과 연관되는 각자의 거리보다 멀리 있는 물리적 환경(702)의 일부분이라고 결정하고 이러한 부분들을 가상 환경(722)의 각자의 부분들로 대체하는 것(예컨대, 시뮬레이션된 환경보다 멀리 있는 객체들은 더 이상 디스플레이되지 않는다). 예를 들어, 객체들은 시뮬레이션된 환경에 의해 오버레이되고/되거나, 가려지고/지거나, 대체된다.
일부 실시예들에서, 객체의 표현이 시뮬레이션된 환경의 일부분의 시선을 따라 위치되는 경우, 객체의 표현은 시뮬레이션된 환경의 일부분을 오버레이하여 디스플레이된다. 따라서, 물리적 환경의 객체들은 선택적으로 시뮬레이션된 환경의 일부분들 위에 오버레이되어 (및/또는 그들을 차단하여) 디스플레이되고/되거나, 각자의 객체들이 시뮬레이션된 환경보다 사용자/디바이스에 더 가까운 경우에 시뮬레이션된 환경의 일부분들을 가린다.
(예컨대, 객체들의 표현들을 디스플레이하고, 각자의 객체가 사용자/디바이스와 시뮬레이션된 환경 사이에 위치되는 경우, 각자의 환경의 부분들을 선택적으로 가림으로써) 물리적 환경의 표현과 동시에 각자의 환경을 디스플레이하는 전술된 방식은 매끄럽고 효율적인 전이를 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 환경은 사용자의 시점 주위의 물리적 환경의 표현을 포함하고, 제1 시뮬레이션된 환경은 제1 시뮬레이션된 광원을 포함한다(860)(예컨대, 각자의 환경은 물리적 환경의 표현들 및 시뮬레이션된 환경을 동시에 포함하고, 시뮬레이션된 환경은 적어도 하나의 광원을 포함한다). 예를 들어, 시뮬레이션된 환경은 광원으로서 태양을 갖는 실외 환경이거나, 시뮬레이션된 환경은 시뮬레이션된 광을 방출하는 애플리케이션 사용자 인터페이스(예컨대, 영화 스크린) 또는 광원으로서 램프를 갖는 룸이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해, 사용자의 시점 주위의 물리적 환경의 표현의 적어도 일부분 및 (예컨대, 제1 시뮬레이션된 광원을 포함하는) 제1 시뮬레이션된 환경의 적어도 일부분을 동시에 디스플레이하는 동안, 가상 환경(722a)이 도 7e에서의 3차원 환경(704)의 실제 세계 환경 부분들 상에 조명 효과를 드리우는 경우와 같이, 전자 디바이스는 제1 시뮬레이션된 광원에 기초한 조명 효과로 물리적 환경의 표현의 일부분을 디스플레이한다(862)(예컨대, 시뮬레이션된 환경 내의 광원이 물리적 환경의 표현 상에 조명 효과를 드리운다). 예를 들어, 시뮬레이션된 환경 내의 태양으로부터의 광은 선택적으로, 그것이 시뮬레이션된 환경을 빠져나가서, 물리적 환경에 진입하여, 물리적 환경의 표현의 일부분을 조명하는 것처럼 디스플레이된다. 일부 실시예들에서, 시뮬레이션된 광원은 선택적으로 시뮬레이션된 그림자들이 물리적 환경의 표현 내에 디스플레이되게 한다.
(예컨대, 시뮬레이션된 환경 내의 광원들로 인한 조명 효과들을 물리적 환경의 일부분들 상에 디스플레이함으로써) 물리적 환경의 표현 내에 시뮬레이션된 환경으로부터의 조명 효과들을 디스플레이하는 전술된 방식은 (예컨대, 물리적 환경과 시뮬레이션된 환경의 양태들을 블렌딩함으로써) 시뮬레이션된 환경의 몰입 효과를 증가시키며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 조명 효과는, 도 7e에서의 물리적 환경(702) 내의 룸 및 객체들의 형상 및 위치와 같은, 사용자의 시점 주위의 물리적 환경의 기하학적 구조에 기초한다(864)(예컨대, 시뮬레이션된 환경 내의 시뮬레이션된 조명원으로부터의 조명 효과는 시뮬레이션된 환경이 물리학에 따라 물리적 환경 내의 객체들과 상호작용하는 것처럼 디스플레이된다). 예를 들어, 조명원의 시선 내에 있는 객체들은 조명 효과를 경험하지만, (예컨대, 가상 또는 물리적 객체들에 의해) 가려진 객체들은 선택적으로 조명 효과를 경험하지 않는다(예컨대, 그리고 선택적으로는 조명원의 시선 내에 있는 객체들에 의해 그에 드리워진 그림자를 갖는다). 일부 실시예들에서, 일부 객체들은 산란, 반사, 또는 굴절된 조명 효과들을 수신한다.
(예컨대, 조명원들로부터의 광의 물리학에 기초하여 조명 효과들을 물리적 환경의 일부분들 상에 디스플레이함으로써) 물리적 환경의 표현 내에 시뮬레이션된 환경으로부터의 조명 효과들을 디스플레이하는 전술된 방식은 (예컨대, 조명원들로부터의 광을 물리적 환경 상으로 실현적으로 드리움으로써) 시뮬레이션된 환경의 몰입 효과를 증가시키고 디바이스가 물리적 환경에 대해 알고 있는 것의 정보 및/또는 표시를 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 조명 효과는, 도 7e에서의 물리적 환경(702) 내의 룸 및 객체들의 형상 및 위치와 같은, 사용자의 시점 주위의 물리적 환경의 아키텍처에 기초한다(866)(예컨대, 시뮬레이션된 환경 내의 시뮬레이션된 조명원으로부터의 조명 효과는 시뮬레이션된 환경이 물리학에 따라 물리적 환경의 경계들과 상호작용하는 것처럼 디스플레이된다). 예를 들어, 조명원은 선택적으로 벽들 상에 그리고 윈도우 등을 통해 광을 드리운다.
(예컨대, 조명원들로부터의 광의 물리학에 기초하여 조명 효과들을 물리적 환경의 일부분들 상에 디스플레이함으로써) 물리적 환경의 표현 내에 시뮬레이션된 환경으로부터의 조명 효과들을 디스플레이하는 전술된 방식은 (예컨대, 조명원들로부터의 광을 물리적 환경 상으로 실현적으로 드리움으로써) 시뮬레이션된 환경의 몰입 효과를 증가시키고 디바이스가 물리적 환경에 대해 알고 있는 것의 정보 및/또는 표시를 제공하며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 환경은 사용자의 시점 주위의 물리적 환경의 표현을 포함하고, 제1 시뮬레이션된 환경은, 도 9b에서의 공간 효과(예컨대, 객체들에 의해 점유되지 않은 환경 내의 공간의 시각적 특성들을 변경하는 효과)와 같은, 제1 부피 효과를 포함한다(868). 예를 들어, 환경 내의 공기의 룩 앤드 필(look and feel)을 변경하는 효과들. 일부 실시예들에서, 부피 효과는 조명 효과, 안개 효과, 연기(smoky) 효과 등을 포함한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해, 사용자의 시점 주위의 물리적 환경의 표현의 적어도 일부분 및 (예컨대, 제1 부피 효과를 포함하는) 제1 시뮬레이션된 환경의 적어도 일부분을 동시에 디스플레이하는 동안, 전자 디바이스는, 물리적 환경의 표현의 일부분의 부피 내에서, 제1 부피 효과에 기초한 제2 부피 효과를 디스플레이하는데(870), 예컨대, 도 7e에서의 가상 환경(722)을 기초로 하는 3차원 환경(704)의 실제 세계 부분 상에 공간 효과를 디스플레이한다(예컨대, 시뮬레이션된 환경 내의 부피 효과에 기초하는 물리적 환경의 표현에 부피 효과를 디스플레이함). 예를 들어, 시뮬레이션된 환경이 안개 효과를 포함하는 경우, 안개 효과는, 시뮬레이션된 환경으로부터의 안개가 물리적 환경으로 밀려드는 것으로 보이도록 물리적 환경의 표현에 선택적으로 디스플레이된다.
(예컨대, 시뮬레이션된 환경에 드러난 부피 효과들에 기초하여 물리적 환경의 일부분들 상에 부피 효과들을 디스플레이함으로써) 물리적 환경의 표현 내에 시뮬레이션된 환경으로부터의 부피 효과들을 디스플레이하는 전술된 방식은 (예컨대, 시뮬레이션된 환경으로부터의 효과들이 물리적 환경 내로 현실적으로 흘러 들어가게 함으로써) 시뮬레이션된 환경의 몰입 효과를 증가시키며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 부피 효과 및 제2 부피 효과는 조명 효과를 포함한다(874)(예컨대, 부피 효과는 조명을 변경하는 것 및/또는 조명 효과를 도입하는 것을 포함한다). 예를 들어, 안개 부피 효과는 안개의 산란/회절 효과를 시뮬레이션하기 위해 물리적 환경 내에 디스플레이된 가상 입자들의 조명을 변경하는 것을 포함한다.
(예컨대, 시뮬레이션된 환경 내의 조명 효과들에 기초하여 물리적 환경의 일부분들 상에 조명 효과들을 디스플레이함으로써) 물리적 환경의 표현 내에 시뮬레이션된 환경으로부터의 조명 효과들을 디스플레이하는 전술된 방식은 (예컨대, 조명원들로부터의 광을 물리적 환경 상으로 현실적으로 드리움으로써) 시뮬레이션된 환경의 몰입 효과를 증가시키며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 부피 효과 및 제2 부피 효과는 입자 효과를 포함한다(874)(예컨대, 물리적 환경에, 화재, 연기, 먼지 등과 같은 시각적 효과(예컨대, 추상적 시각적 효과)를 디스플레이함). 일부 실시예들에서, 입자 효과는 하나 이상의 시각적 효과들을 방출하는 시뮬레이션된 하나 이상의 입자들을 물리적 환경의 대기 내에 포함한다.
(예컨대, 시뮬레이션된 환경 내의 입자 효과들에 기초하여 물리적 환경의 일부분들 상에 입자 효과들을 디스플레이함으로써) 물리적 환경의 표현 내에 시뮬레이션된 환경으로부터의 입자 효과들을 디스플레이하는 전술된 방식은 (예컨대, 시뮬레이션된 환경에 디스플레이된 입자 효과들의 선택적으로 연장부들인 입자 효과들을 물리적 환경에 현실적으로 디스플레이함으로써) 시뮬레이션된 환경의 몰입 효과를 증가시키며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해, 각자의 환경의 적어도 일부분 및 제1 시뮬레이션된 환경의 적어도 일부분을 동시에 디스플레이하는 동안(876), 각자의 환경의 일부분과 제1 시뮬레이션된 환경의 일부분 사이의 경계가 각자의 환경 내에 있는 각자의 객체의 표현과 상호작용한다는 결정에 따라, 테이블의 표현(710a)이 도 7e에서 디스플레이로부터 제거되는 경우와 같이, 전자 디바이스는 디스플레이 생성 컴포넌트를 통한 디스플레이로부터 각자의 객체의 표현을 제거한다(878)(예컨대, (예컨대, 시뮬레이션된 환경의 완전히 전방에 또는 시뮬레이션된 환경의 완전히 후방에 있는 객체와 대조적으로) 시뮬레이션된 환경의 경계가 물리적 환경의 표현 내의 물리적 객체의 표현을 교차하는 경우, 객체의 디스플레이를 전적으로 제거한다). 일부 실시예들에서, 객체의 디스플레이를 제거하는 대신, 시뮬레이션된 환경의 경계의 후방에 있지 않은 객체의 일부분을 디스플레이한다(예컨대, 객체의 일부만을 디스플레이하고, 시뮬레이션된 환경의 후방에 있는 객체의 일부만을 숨긴다).
(예컨대, 부분적으로 물리적 환경에 그리고 부분적으로 시뮬레이션된 환경에 있을 물리적 환경 내의 객체들을 제거함으로써) 시뮬레이션된 환경 및 물리적 환경의 표현을 동시에 디스플레이하는 전술된 방식은 (예컨대, 시뮬레이션된 환경과 물리적 환경 사이를 블렌딩하는 것이 자연스럽지 않을 시나리오를 피함으로써) 시뮬레이션된 환경의 몰입 효과를 증가시키며, 이는 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
도 9a 내지 도 9h는 일부 실시예들에 따른, 3차원 환경에 대한 몰입 레벨을 변경하는 (또는 변경하지 않은) 예들을 예시한다.
도 9a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, 사용자 인터페이스 상에 3차원 환경(904)을 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 9a에 도시된 바와 같이, 디바이스(101)는 디바이스(101) 주위의 실제 세계 환경(902) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 실제 세계 환경(902)(예컨대, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 일부 실시예들에서, 디바이스(101)는 3차원 환경(904)에서 실제 세계 환경의 표현들을 디스플레이한다. 예를 들어, 3차원 환경(904)은 데스크(910a)의 표현의 일부분, 커피 테이블(914a)의 표현, 및 사이드 테이블(912a)의 표현을 포함한다. 도 9a의 실제 세계 환경(902)의 오버헤드 뷰(918)에 도시된 바와 같이, 코너 테이블(908b), 데스크(910b), 사이드 테이블(912b) 및 커피 테이블(914b)은 디바이스(101)의 하나 이상의 센서들에 의해 캡처되었던 실제 세계 환경(902) 내의 실제 객체들이다. 도 9a에서, 3차원 환경(904)은 현재 (예컨대, 몰입 레벨 표시자(916)에 의해 표시된 바와 같이) 3의 몰입 레벨에 있고, 결과적으로, 가상 환경(922a)은 3차원 환경(904)의 일부분을 포괄하고 (예컨대, 도 7e에서와 같이, 도 7a 내지 도 7h를 참조하여 전술된 3차원 환경(704)과 유사한 방식으로) 코너 테이블(908b) 및 데스크(910b)의 후방 부분의 뷰를 가린다.
일부 실시예들에서, 3차원 환경(904)이 각자의 몰입 레벨에 (예컨대, 몰입 없음 초과의 레벨에) 있는 경우, 디바이스(101)는 (예컨대, 스피커(924)로 표시된 바와 같이) 가상 환경(922a)과 연관된 하나 이상의 오디오 효과들을 생성한다. 일부 실시예들에서, 오디오 효과들은 가상 환경(922a)에서 들릴 주변 소리 효과들을 포함한다. 예를 들어, 평화로운 초원의 가상 환경은, 선택적으로 물리적 환경(902)에는 존재하지 않지만(예컨대, 주변 물리적 환경이 이러한 소리들을 포함하지 않음) 사용자가 물리적 환경(902)에 있는 동안 그가 듣는 것처럼 디바이스(101)에 의해 생성되는 개구리 울음 소리, 새 노래 소리, 물 흐르는 소리 등을 포함할 수 있다. 일부 실시예들에서, 오디오 효과들을 제공하는 것은 가상 환경(922a)의 몰입 효과를 증가시키고, 따라서 사용자에게 가상 환경(922a)에 있는 경험을 부여한다.
일부 실시예들에서, 3차원 환경(904)은, (예컨대, 가상 환경(922a)과 같은) 가상 환경의 디스플레이를 요청하는 사용자 입력에 응답하여, 도 9a에서와 같이, 중간 몰입 레벨로 디스플레이된다. 예를 들어, 디바이스(101)는, 사용자가 선택된 가상 환경에 물리적으로 위치되어 있던 것처럼 몰입형 경험에서 선택된 가상 환경을 디스플레이하도록 선택가능한, 가상 환경들(예컨대, 다양한 가상 환경들)의 하나 이상의 선택가능 표현들을 디스플레이한다. 일부 실시예들에서, 각자의 가상 환경을 선택하는 사용자 입력에 응답하여, 디바이스(101)는 최대 몰입 레벨(예컨대, 시스템 설정 또는 사용자 정의 설정에 의해 선택적으로 제한되는 가장 높은 허용가능 몰입 레벨) 미만이고 최소 몰입 레벨(예컨대, 몰입 없음 바로 위의 몰입 레벨) 초과인 디폴트 몰입 레벨을 갖는 선택된 가상 환경을 디스플레이한다. 일부 실시예들에서, 디폴트 중간 몰입 레벨로 선택된 가상 환경을 디스플레이하는 것은 사용자를 몰입형 가상 환경으로 조심스럽게 도입시키고, 사용자가 원하는 대로 몰입 레벨을 증가 또는 감소시키게 한다. 일부 실시예들에서, 사용자는 기계식 다이얼을 일 방향 또는 다른 방향으로 회전시키거나 몰입 레벨을 증가 또는 감소시키기 위한 어포던스를 선택함으로써 몰입 레벨을 증가 또는 감소시킬 수 있다. 일부 실시예들에서, 사용자는 몰입 레벨 표시자(916)와 상호작용함으로써 각자의 몰입 레벨을 선택할 수 있다. 예를 들어, 사용자가 가장 높은 몰입 레벨을 위한 몰입 레벨 표시자(916)의 요소(예컨대, 최우측 정사각형) 상에서의 선택 입력을 수행하는 것에 응답하여, 3차원 환경(904)은 가장 높은 몰입 레벨로 가상 환경(922a)을 디스플레이하지만, 몰입 레벨 표시자(916)의 가장 낮은 몰입 레벨 요소(예컨대, 최좌측 정사각형)에 대한 선택 입력에 응답하여, 가상 환경(922a)은 가장 낮은 몰입 레벨로 디스플레이된다. 일부 실시예들에서, 하나의 몰입 레벨로부터 다른 몰입 레벨로 전이하는 것은 방법(800)을 참조하여 전술되어 있다.
도 9b는 (예컨대, 몰입형 가상 환경과는 대조적으로) 몰입형 공간 효과가 3의 몰입 레벨로 디스플레이되는 실시예를 예시한다. 일부 실시예들에서, 공간 효과는, 선택적으로 3차원 환경(904)에서 하나 이상의 객체들을 대체 또는 제거하지 않고서, 3차원 환경(904) 내의 하나 이상의 객체들 또는 물리적 대기의 시각적 특성들의 인공 (예컨대, 가상) 수정을 지칭한다. 예를 들어, 공간 효과는 3차원 환경(904)을 그것이 저녁놀에 의해 조명되었던 것처럼 디스플레이하는 것, 3차원 환경(904)을 그것에 안개가 끼었던 것처럼 디스플레이하는 것, 3차원 환경(904)을 그것이 어둑하게 조명되었던 것처럼 디스플레이하는 것 등을 포함할 수 있다. 오버헤드 뷰(918)에 도시된 바와 같이, (예컨대, 몰입형 공간 효과 및 몰입형 가상 환경 둘 모두를 동시에, 동일한 몰입 레벨 또는 상이한 몰입 레벨들로 디스플레이하는 것이 가능한 것으로 이해되지만) 공간 효과를 디스플레이하는 것은 선택적으로, 3차원 환경의 실제 세계 환경 부분의 일부분들 대신에 가상 환경을 디스플레이하는 것을 포함하지 않는다. 도 9b에서, 공간 효과는 윈도우(915)로부터 물리적 환경 내로 입사하는 가상 광을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 윈도우(915)로부터 입사하는 가상 광은 실제 세계 환경(902)에서 윈도우(915)로부터 입사하는 실제 세계 광의 양과 상이한 조명 효과이다(예컨대, 가상 광은 가상적이고 3차원 환경(904)에만 존재한다). 일부 실시예들에서, 가상 광은 조명 효과들이 입자 물리학에 따라 3차원 환경(904)에 디스플레이되게 한다. 예를 들어, 가상 조명은 선택적으로, 도 9b에 도시된 바와 같이, 룸의 후방 벽 상의 액자(906) 상에서 눈부심을 야기하고, 테이블 데스크(910a)가 그림자(926)를 드리우게 하고, 커피 테이블(914a)이 그림자를 드리우게 한다(예컨대, 이들 중 하나 이상은 선택적으로 물리적 환경(902) 내에 존재하지 않거나, 물리적 환경(902) 내에 상이한 특성들, 예컨대, 낮거나 높은 밝기, 작거나 큰 크기 등으로 존재한다). 일부 실시예들에서, 가상 광은 선택적으로, 물리적 환경(902) 내에 존재하는 광의 실제 양과 비교하여 3차원 환경(904) 내에서 주변 광을 증가 또는 감소시킨다.
도 9c는 (예컨대, 도 9a에서와 같이) 3으로부터 (예컨대, 몰입 레벨 표시자(916)에 의해 나타난 바와 같이) 6의 몰입 레벨로 가상 환경(922)의 몰입 레벨을 증가시키는 입력에 응답하는 3차원 환경(904)을 예시한다. 일부 실시예들에서, 몰입 레벨을 증가시키는 것은 가상 환경(922a)이 확장되게 하고 더 많은 3차원 환경(904)을 포괄하여, 따라서, (예컨대, 방법(800)에 대해 전술된 바와 유사한 방식으로) 도 9c에 도시된 바와 같이, 실제 세계 환경(902)의 표현들을 대체한다. 일부 실시예들에서, 몰입 레벨을 증가시키는 것은 선택적으로 (예컨대, 도 9a에서보다 큰 볼륨을 제공하는 스피커(924)에 의해 나타난 바와 같이) 디바이스(101)에 의해 생성된 하나 이상의 오디오 효과들을 증가시키는 것을 포함한다. 일부 실시예들에서, 하나 이상의 오디오 효과들을 증가시키는 것은 더 낮은 몰입 레벨에서 제공되는 오디오 효과들의 볼륨을 증가시키는 것, 하나 이상의 새로운 오디오 효과들을 제공하는 것, 및/또는 오디오 효과들의 복잡도 및/또는 깊이를 증가시키는 것 등을 포함한다. 예를 들어, 더 낮은 몰입 레벨에서, 디바이스(101)는 (예컨대, 가상 환경(922a)과 연관된) 흐르는 시냇물 소리 효과를 제공하고, 더 높은 몰입 레벨에서, 디바이스(101)는 (예컨대, 가상 환경(922a)과 연관된) 새 노래 소리 효과를 흐르는 시냇물 소리 효과에 추가하고, 심지어 더 높은 몰입 레벨에서, 디바이스(101)는 (예컨대, 가상 환경(922a)과 연관된) 개구리 울음 소리 효과를 흐르는 시냇물 소리 효과 및 새 노래 소리 효과에 추가하는 등이다. 일부 실시예들에서, 디바이스(101)는, 그가 생성하는 오디오에 전술된 소리 효과를 추가함에 따라, 그의 생성된 소리 효과들의 볼륨을 증가시키거나 증가시키지 않는다(예를 들어, 유지하거나 감소시킨다).
도 9d는 (예컨대, 도 9b에서와 같이) 3으로부터 (예컨대, 몰입 레벨 표시자(916)에 의해 나타난 바와 같이) 6의 몰입 레벨로 몰입형 공간 효과의 몰입 레벨을 증가시키는 입력에 응답하는 3차원 환경(904)을 예시한다. 일부 실시예들에서, 몰입 레벨을 증가시키는 것은 공간 효과의 크기가 증가하게 한다. 일부 실시예들에서, 공간 효과의 크기를 증가시키는 것은 실제 세계 환경(902) 및/또는 3차원 환경(904)에 대해 수행된 수정 및/또는 변환의 양을 증가시키는 것을 포함한다. 예를 들어, 도 9d에서, (예컨대, 전술된 바와 같이, 실제 세계 환경(902)의 가상 수정인) 윈도우(915)로부터 입사하는 가상 광은 크기가 증가된다(예컨대, 휘도를 증가시킴). 일부 실시예들에서, 윈도우(915)로부터 입사하는 가상 광을 증가시키는 것은 3차원 환경(904)에 더 많은 주변 광을 야기하고 증가된 조명 효과들을 야기한다. 예를 들어, 도 9d에서, 액자(906) 상에서의 눈부심은 윈도우(915)로부터의 가상 광을 증가시킨 결과로서 증가되고, 그림자(926)는 (예컨대, 3차원 환경(904)의 주변 조명과 데스크(910a)에 의해 드리워진 그림자 사이의 증가된 대비로 인해) 더 어두운 그림자가 되었다. 일부 실시예들에서, 몰입형 공간 효과의 몰입 레벨을 증가시키는 것은, 가상 환경(922a)과 관련하여 도 9c에 설명된 오디오 효과들을 증가시키는 것과 유사한 하나 이상의 방식들로, 공간 효과와 연관된 하나 이상의 오디오 효과들을 증가시키는 것을 포함한다.
도 9e 및 도 9f는, 예를 들어, 디바이스(101)가 사용자(920)의 신체(예컨대, 몸통)의 배향의 변화 없이 상이한 방향으로 지향된 결과로서, 디바이스(101)의 시점 및/또는 관점이 변경된 실시예들을 예시한다. 예를 들어, 도 9e 및 도 9f에서, 사용자는 그의 또는 그녀의 손을 이동시켜 디바이스(101)가 (예컨대, 도 9a 내지 도 9d에서와 같이 전방을 향하는 대신) 좌측을 향하게 하지만, 그 또는 그녀의 어깨 및/또는 몸통을 좌측을 향하게 회전시키지 않았다. 다른 예로서, 머리 장착형 디바이스(101)의 경우에, 사용자는 그의 머리의 회전과 함께 그의 어깨 및/또는 몸통 좌측으로 회전시키지 않고서 그의 머리를 좌측으로 회전시켰다. 위에서 논의된 바와 같이, 디바이스(101)를 회전시키는 것은 디바이스(101)가 상이한 방향을 향하게 하고 디바이스(101)의 하나 이상의 센서들로 실제 세계 환경(902)의 상이한 부분들을 캡처하게 한다. 일부 실시예들에서, 디바이스(101)가 실제 세계 환경(902)의 상이한 부분을 향하도록 회전시킨 것을 검출하는 것에 응답하여, 디바이스(101)는 디바이스(101)의 회전에 따라 회전하도록 3차원 환경을 업데이트한다. 예를 들어, 도 9e 및 도 9f에서, 디바이스(101)는 이제 좌측을 향하고 있기 때문에, 3차원 환경(904)은 사용자(920)의 좌측에 있는 실제 세계 환경(902)의 표현을 디스플레이하고, 사용자가 그의 또는 그녀의 머리를 좌측으로 회전시켜 사용자의 좌측에 있는 실제 세계 환경(902)의 부분을 보는 것처럼 사용자(920)의 앞에 있는 실제 세계 환경(902)의 부분들을 선택적으로 디스플레이하지 않는다(예컨대, 더 이상 디스플레이되지 않는 양은 3차원 환경(904)의 시야 및 디바이스(101)가 경험한 회전의 양에 선택적으로 기초한다).
도 9e 및 도 9f에서, 몰입 레벨은 최대 몰입 레벨로 증가되었다. 도 9e에서, 몰입 레벨을 최대로 증가시키는 것은 선택적으로, 가상 환경(922a)에 의해 점유되는 3차원 환경(904)의 양이 최대량으로 증가하게 하며, 이는 선택적으로, 도 9e의 오버헤드 뷰(918)에 반영된 바와 같은, 사용자(920) 주위의 미리결정된 반경(예컨대, 예를 들어 안전을 목적으로, 6 인치, 1 피트, 2 피트, 5 피트 등의 반경)을 선택적으로 제외하고는 3차원 환경(904) 모두를 가상 환경(922a)으로 대체하는 것, 및 도 9c를 참조하여 설명된 방식들 중 하나 이상의 방식으로 하나 이상의 오디오 효과들을 최대량으로 선택적으로 증가시키는 것을 포함한다.
도 9e에서, 디바이스(101)는 상이한 방향을 향하도록 배향되었기 때문에, 디바이스(101)에 의해 디스플레이된 3차원 환경(904)의 뷰는 새로운 방향의 결과로서 3차원 환경(904)의 새로운 관점을 디스플레이하도록 회전된다. 예를 들어, 디바이스(101)는 이제 좌측을 향하고 있기 때문에, 디바이스(101)에 의해 디스플레이된 3차원 환경(904)의 뷰는, 사이드 테이블(923a)의 표현을 포함하는, 실제 세계 환경(902)의 좌측의 뷰를 포함한다. 일부 실시예들에서, 사용자(920)의 신체(예컨대, 몸통)는 좌측을 향하도록 회전하지 않았기 때문에, 가상 환경(922a)은 디바이스(101)의 배향의 변화에 응답하여 회전하지 않고, 사용자(920)의 신체가 오버헤드 뷰(918)에 의해 예시된 바와 같이 향하고 있는 방향(예컨대, 전방)으로 배향된 (예컨대, 중심설정된) 상태로 유지된다(예컨대, 가상 환경(922a)은 그것이 디바이스(101)의 배향의 변화 이전에 디스플레이되었던 3차원 환경(904) 내의 동일한 위치에 유지된다). 일부 실시예들에서, 좌측을 향하도록 디바이스(101)를 회전시키는 것은 선택적으로, 도 9e에 도시된 바와 같이, 디바이스(101) 상에 가상 환경(922a)과 실제 세계 환경(902) 사이의 경계를 드러낸다. 일부 실시예들에서, 디바이스(101)가 임계량만큼 회전한 (예컨대, 30도, 45도, 60도, 90도, 120도 등만큼 회전한) 것을 검출하는 것에 응답하여, 하나 이상의 오디오 효과들이, 도 9e의 스피커 표시자(924)에 의해 나타낸 바와 같이, 감소된다(또는 제거된다). 일부 실시예들에서, 하나 이상의 오디오 효과들은, 그것이 실제 세계 환경(902)에서 회전함에 따라 디바이스(101)의 배향의 변화의 크기에 비례하여 감소되고, 일단 디바이스(101)가 임계량만큼 회전하였으면 완전히 제거된다. 일부 실시예들에서, 하나 이상의 오디오 효과들을 감소시키는 것은 (예컨대, 도 9c를 참조하여 설명된 것들과 반대되는 하나 이상의 방식들로) 하나 이상의 오디오 효과들의 볼륨을 감소시키는 것, 하나 이상의 오디오 효과들의 복잡도를 감소시키는 것, 하나 이상의 오디오 트랙들을 중지하는 것, 또는 가상 환경(922a)과 연관된 모든 오디오 효과들을 전적으로 중지하는 것을 포함한다. 일부 실시예들에서, 디바이스(101)에 의해 디스플레이되는 3차원 환경(904)의 뷰로 배향되도록 (예컨대, 중심설정되도록) 3차원 환경(904) 내의 가상 환경(922a)을 회전 또는 이동시키지 않고/않거나, 하나 이상의 오디오 효과들을 감소시키는 것은 사용자가 경험하는 몰입의 양을 감소시키고, 따라서, 사용자가 그의 또는 그녀의 물리적 환경과 상호작용하게 한다. 예를 들어, 사용자는 그의 또는 그녀의 환경에서 객체들 또는 사람들과 상호작용하기 위해 그의 또는 그녀의 머리를 회전시킬 수 있고(예컨대, 그에 따라서, 머리 장착형 디바이스인 경우의 디바이스(101)가 새로운 방향을 향하도록 회전하게 함), 3차원 환경(904)의 뷰가 디바이스(101)에 의해 디스플레이된 상태로 배향되도록 가상 환경(922a)을 회전시킴으로써 그리고/또는 하나 이상의 오디오 효과들을 감소시킴으로써, 사용자는 가상 환경(922a)의 몰입 레벨을 감소시키기 위한 명시적 입력을 수행하지 않고서 그의 또는 그녀의 환경에서 객체들 또는 사람들과 상호작용할 수 있다. 일부 실시예들에서, 후속적으로 디바이스(101)를 회전의 임계량 미만인 회전의 양으로 회전시키는 것은 선택적으로, 하나 이상의 오디오 효과들이 그들의 이전 레벨(예컨대, 최대 몰입 레벨과 연관된 레벨)로 (예컨대, 디바이스(101)의 현재 배향과 3차원 환경(904) 내의 가상 환경(922a)의 위치 사이의 차이의 함수로서, 점진적으로) 복귀되게 한다.
도 9f에서, 디바이스(101)는 도 9e를 참조하여 바로 설명된 바와 같이 재배향되었다. 도 9f에서, 디바이스(101)는 상이한 방향을 향하도록 배향되었기 때문에, 디바이스(101)에 의해 디스플레이된 3차원 환경(904)의 뷰는 새로운 방향의 결과로서 새로운 관점을 디스플레이하도록 회전된다. (예컨대, 도 9b 및 도 9d를 참조하여 설명된 바와 같이) 도 9f에서, 디바이스(101)는 몰입형 공간 효과를 디스플레이하고 있고, 디바이스(101)가 몰입형 공간 효과를 디스플레이하고 있기 때문에 사용자는 가상 환경과 실제 세계 환경의 표현 사이의 경계를 볼 수 없다. 도 9f에 도시된 바와 같이, 사이드 테이블(923a)은 (예컨대, 도 9b 및 도 9d에서 전술된 바와 같이) 윈도우(915)로부터 입사하는 가상 광의 결과로서 가상 그림자(928)를 드리운다. 추가적으로 또는 대안적으로, 디바이스(101)는 선택적으로 하나 이상의 오디오 효과들을 감소시키지 않는다. 일부 실시예들에서, 몰입형 공간 효과가 사용자의 물리적 환경 전체에 걸쳐 적용되고, 따라서, 실제 세계 환경의 상이한 부분들을 향해 배향되도록 디바이스(101)를 회전시키는 것은 디바이스(101)에 의해 제공되는 공간 효과의 양 및/또는 크기를 감소시키지 않고; 따라서, 디바이스(101)를 회전시키는 것은 사용자가 그의 또는 그녀의 물리적 환경의 상이한 영역들 상에서 공간 효과의 영향들을 보게 한다. 일부 실시예들에서, 몰입형 공간 효과를 제공하는 것은 (예컨대, 가상 환경들의 디스플레이의 경우와 같이) 실제 세계 환경이 가시적이지 않게 하기 때문에, 공간 효과를 유지하는 것은 사용자가 그의 또는 그녀의 환경 내의 객체들 또는 사람들과 상호작용할 수 없게 하지 않는다. 예를 들어, 그의 또는 그녀의 환경 내의 객체들 또는 사람들은 몰입형 공간 효과를 디스플레이한 결과로서 디스플레이로부터 제거되지 않는다.
도 9g 및 도 9h는, 예를 들어 사용자(920)의 신체가 회전한 결과로서(예컨대, 디바이스(101) 및 사용자(920)의 어깨 및/또는 몸통 둘 모두가 실제 세계 환경(902)에서 회전하였음), 도 9c 및 도 9d와 비교하여 디바이스(101)의 시점 및/또는 관점이 변경된 실시예들을 예시한다. 예를 들어, 도 9g 및 도 9h에서, 사용자(920)는 디바이스(101)를 외향으로 계속 유지하면서 그의 또는 그녀의 신체를 회전시켜 좌측을 향하게 하여, 이에 따라서, 디바이스(101)가 또한 좌측을 향하게 하는데, 이는 오버헤드 뷰(918)에 예시된 바와 같다. 일부 실시예들에서, 디바이스(101)는 사용자를 향하고 있는 가시광 센서(예컨대, 카메라) 및/또는 깊이 센서와 같은 하나 이상의 센서들을 통해 사용자(920)의 신체(예컨대, 몸통 및/또는 어깨)의 배향을 결정할 수 있다.
도 9g에서, 디바이스(101) 및 사용자(920)의 신체가 좌측을 향하도록 회전한 것을 검출하는 것에 응답하여, 디바이스(101)는 3차원 환경(904) 내의 가상 환경(922a)을 이동시켜 (예컨대, 회전시켜) 디바이스(101) 및/또는 사용자(920) 신체의 배향으로 배향된다(예컨대, 중심설정된다). 일부 실시예들에서, 디바이스(101)가 사용자 신체와 동일한 방향을 향하도록 배향되었기 때문에, 가상 환경(922a)은, 3차원 환경(904)의 뷰의 전체가 (예컨대, 전술된 바와 같이, 사용자(920) 주위의 "절결" 영역을 제외하고) 가상 환경(922a)에 의해 점유된 상태로 남아 있도록, 디바이스(101)에 의해 디스플레이된 3차원 환경(904)의 뷰에서 중심설정된다. 일부 실시예들에서, 디바이스(101)는 추가적으로 또는 대안적으로 가상 환경(922a)과 연관된 하나 이상의 오디오 효과들을 유지한다. 따라서, 전술된 바와 같이, 가상 환경이 각자의 몰입 레벨로 디스플레이되는 동안 사용자 신체가 회전하지 않고 디바이스(101)가 회전되는 경우, 가상 환경은 3차원 환경(904) 내의 그의 절대 위치에 유지되고, 비록 디바이스(101)가 가상 환경을 향하여 배향된 (예컨대, 그에 중심설정된) 방향을 더 이상 향하지 않더라도(예컨대, 3차원 환경(904)의 상이한 부분의 디스플레이로 인해, 비록 사용자가 더 이상 가상 환경을 볼 수 없고/없거나 디바이스(101)가 더 이상 가상 환경을 디스플레이하고 있지 않더라도), 그러나 (예컨대, 동일한 또는 유사한 양만큼, 동일한 또는 유사한 방향으로, 등등으로) 디바이스(101)가 동일한 또는 유사한 방식으로 회전하는 사용자 신체와 함께 회전되는 경우, 가상 환경은 3차원 환경(904) 내의 새로운 위치에 디스플레이되고, 가상 환경이 디바이스(101) 및/또는 사용자 신체와 함께 배향되고 (예컨대, 중심설정되고) 사용자를 향하고 있도록 하는 방식으로 회전한다(예컨대, 가상 환경은 사용자 신체의 배향에 대해 동일한 위치를 유지하고, 선택적으로, 부자연스럽게 움직이는 애니메이션들을 피하기 위한 가속/감속 메커니즘들로 회전하는 상태를 유지한다). 디바이스(101)가 회전하지 않고 사용자 신체가 회전하는 경우, 비록 3차원 환경(904)의 뷰의 배향이 (예컨대, 새로운 방향을 향하지 않는 디바이스(101)로 인해) 변경되지 않더라도, 가상 환경은 선택적으로 사용자 신체의 회전에 따라 3차원 환경(904) 내에서 이동되고, 이는 선택적으로, 가상 환경이 (예컨대, 사용자 신체가 회전되는 양 및 3차원 환경(904)의 시야에 기초하여) 뷰의 외부로 회전하게 할 수 있다는 것이 이해된다. 일부 실시예들에서, 디바이스(101)가 회전하지 않고 사용자 신체가 회전하는 경우, 가상 환경은 사용자 신체의 회전에 따라 회전하지 않는다(예컨대, 가상 환경은 사용자 및 디바이스 둘 모두가 회전하였으면 선택적으로 단지 회전하지만, 그들이 동시에 회전할 필요는 없다는 것이 이해된다).
도 9h에서, 디바이스(101) 및 사용자(920) 신체가 (예컨대, 도 9g와 유사한 방식으로) 좌측을 향하도록 회전한 것을 검출하는 것에 응답하여, 디바이스(101)에 의해 디스플레이된 3차원 환경(904)의 뷰는 디바이스(101)의 새로운 방향의 결과로서 새로운 관점을 디스플레이하도록 회전되고, 디바이스(101)는 도 9f와 유사한 방식으로 몰입형 공간 효과를 계속 디스플레이한다. 도 9h에 도시된 바와 같이, 사이드 테이블(923a)은 (예컨대, 도 9b, 도 9d, 및 도 9f에서 전술된 바와 같이) 윈도우(915)로부터 입사하는 가상 광의 결과로서 가상 그림자(928)를 드리운다. 추가적으로 또는 대안적으로, 디바이스(101)는 선택적으로 하나 이상의 오디오 효과들을 감소시키지 않는다. 따라서, 도 9f 및 도 9h를 참조하여 전술된 바와 같이, 디바이스(101)가 각자의 몰입 레벨의 몰입형 공간 효과를 제공하고 있는 경우, 새로운 방향을 향하기 위한 디바이스(101)의 회전에 응답하여, 사용자 신체가 디바이스(101)와 함께 회전하는지 여부와 상관없이, 몰입형 공간 효과는 몰입의 양을 증가 또는 감소시키지 않고서 (예컨대, 오디오 효과들을 증가 또는 감소시키지 않고서, 시각적 효과들을 증가 또는 감소시키지 않고서, 등등) 계속 제공된다. 예를 들어, 도 9h에서의 3차원 환경(904)은 도 9f에서의 3차원 환경(904)과 동일하고/하거나 유사하고, 그리고/또는 도 9h에 제공된 오디오 효과들은 도 9f에 제공된 오디오 효과들과 동일하고/하거나 유사하다.
따라서, 위에서 논의된 바와 같이, 디바이스(101)는 (예컨대, 도 9a, 도 9c, 도 9e, 및 도 9g와 관련하여 논의된 바와 같이) 몰입형 환경을 그리고/또는 (예컨대, 도 9b, 도 9d, 도 9f, 및 도 9h와 관련하여 위에서 논의된 바와 같이) 몰입형 대기 효과들을 제공할 수 있다. 일부 실시예들에서, 디바이스(101)는 몰입형 환경 및 몰입형 대기 효과들 둘 모두를 동시에 제공할 수 있다(예컨대, 이들은 선택적으로 3차원 환경(904)의 단지 실제 세계 환경 부분의 시각적 특성들에 영향을 미치거나, 선택적으로 3차원 환경(904)의 시뮬레이션된 환경 부분 및 실제 세계 환경 부분 둘 모두의 시각적 특성들에 영향을 미친다). 그러한 실시예들에서, 몰입형 환경은 도 9a, 도 9c, 도 9e, 및 도 9g와 관련하여 전술된 거동들을 나타내고, 대기 효과들은 도 9b, 도 9d, 도 9f, 및 도 9h와 관련하여 전술된 거동들을 나타낸다.
도 10a 내지 도 10p는 일부 실시예들에 따른, 3차원 환경에 대한 몰입 레벨을 변경하는 방법(1000)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 깊이 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
방법(1000)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스(예컨대, 도 1의 컴퓨터 시스템(101))는, 디스플레이 생성 컴포넌트를 통해, 각자의 공간 효과(예컨대, 물리적 환경의 표현, 시뮬레이션된 환경, 컴퓨터-생성 현실, 확장 현실 등) 없이 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 각자의 공간 효과를 개시하라는 요청에 대응하는 제1 입력, 예컨대, 도 7a 또는 도 7b에서와 같은, 3차원 환경(904)이 공간 효과를 디스플레이하고 있지 않는 동안의 각자의 공간 효과의 표현의 어포던스의 선택을 검출한다(1002)(예컨대, 손 추적 디바이스, 눈 추적 디바이스, 또는 임의의 다른 입력 디바이스를 통해, 사용자의 하나 이상의 손들의 이동, 사용자의 하나 이상의 눈들의 이동 및/또는 그들의 시선의 변화, 및/또는 공간 효과를 개시하라는 요청에 대응하는 임의의 다른 입력을 검출함).
일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은, 사용자 입력을 수신하고(예컨대, 사용자 입력을 캡처함, 사용자 입력을 검출함 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터의 분리형), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 및/또는 모션 센서(예컨대, 손 추적 센서, 손 모션 센서) 등을 포함한다.
일부 실시예들에서, 3차원 환경은, 가상 객체들을 선택적으로 포함하고/하거나 선택적으로 전자 디바이스 주위의 물리적 세계에서 실제 세계 객체들의 표현들을 포함하는 증강 현실 환경 또는 혼합 현실 환경이다. 일부 실시예들에서, 각자의 환경은 전자 디바이스 주위의 물리적 환경에 적어도 기초한다. 예를 들어, 전자 디바이스는 사용자 주위의 환경에 관한 시각적 정보(예컨대, 환경 내의 객체들, 환경의 크기 및 형상 등)를 캡처할 수 있고 사용자에게 사용자 주위의 물리적 환경의 적어도 일부를 디스플레이할 수 있어서, 선택적으로, 이것이 사용자가 여전히 물리적 환경 내에 위치되는 것처럼 보이게 할 수 있다. 일부 실시예들에서, 3차원 환경은 디스플레이 생성 컴포넌트를 통해 사용자에게 능동적으로 디스플레이된다. 일부 실시예들에서, 3차원 환경은 사용자가 물리적 환경의 적어도 일부를 볼 수 있게 하는 부분적으로 투명하거나 반투명한 디스플레이를 통해 사용자에게 수동적으로 제시된다. 일부 실시예들에서, 공간 효과는 3차원 환경이 상이한 시간, 장소, 및/또는 상태(예컨대, 오후 조명 대신에 아침 조명, 흐림 대신 맑음, 안개 등)로 위치되는 것처럼 보이도록 3차원 환경의 하나 이상의 시각적 특성들을 수정하는 대기 변환이다. 예를 들어, 공간 효과는 환경의 따뜻함(예컨대, 조명원들의 따뜻함)의 변화, 환경의 조명(예컨대, 위치, 유형, 및/또는 밝기)의 변화, 환경 내의 그림자들의 변화(예컨대, 조명원들의 추가, 조명원들의 제거, 또는 조명원들의 위치의 변화를 시뮬레이션함) 등을 포함한다. 일부 실시예들에서, 공간 효과는 선택적으로, 객체들을 3차원 환경에 또는 그로부터 추가 또는 제거하지 않는다. 일부 실시예들에서, 전자 디바이스는 윈도우들을 상황에 따라 인식할 수 있고 공간 효과에 따라 윈도우들을 통해 볼 수 있는 것을 수정할 수 있다. 예를 들어, 공간 효과가 3차원 환경을 그것이 우림(rain forest) 내에 있는 것처럼 디스플레이하는 것을 포함하는 경우, 3차원 환경의 대기는 어둑하게 조명된 것, 습한 것 등으로 보이도록 수정되고, 윈도우들은 우림 장면이 윈도우들을 통해 볼 수 있도록 수정된다. 일부 실시예들에서, 공간 효과는 (예컨대, 방법(800)에 대해 전술된 바와 유사한 방식으로) 시뮬레이션된 환경을 3차원 환경 내에 또는 그와 동시에 디스플레이하는 것을 포함한다.
일부 실시예들에서, 요청은 디바이스 및/또는 각자의 환경의 몰입 레벨을 증가시키기 위한 어포던스의 선택 및/또는 (예컨대, 기계식) 제어 요소(예컨대, 방법(800)을 참조하여 설명된 바와 유사함)의 조작, 및/또는 (예컨대, 복수의 이용가능한 공간 효과들로부터의) 각자의 공간 효과와 연관된 옵션의 선택을 포함한다. 일부 실시예들에서, 요청은 공간 효과를 개시하라는 요청으로서 인식되는 미리결정된 제스처를 포함한다. 일부 실시예들에서, 요청은 각자의 공간 효과의 디스플레이를 요청하는 음성 입력을 포함한다.
일부 실시예들에서, 제1 입력을 검출하는 것에 응답하여, 전자 디바이스는, 도 9b에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이한다(1004)(예컨대, 초기 몰입 레벨로 3차원 환경 내의 공간 효과를 디스플레이함).
일부 실시예들에서, 공간 효과를 디스플레이하는 것은 3차원 환경 내의 하나 이상의 요소들의 하나 이상의 시각적 특성들을 수정하는 것을 포함한다. 전술된 바와 같이, 하나 이상의 시각적 특성들을 수정하는 것은, 선택적으로 3차원 환경 및/또는 3차원 환경 내의 객체들이 특정 대기 효과를 갖고/갖거나 특정 시간 및/또는 위치에 위치되게 하는 등의 하나 이상의 조명원들의 조명 온도, 방향 등을 변경하는 것을 포함할 수 있다. 일부 실시예들에서, 공간 효과가 초기에 디스플레이될 때, 이는 초기 몰입 레벨로 디스플레이된다. 일부 실시예들에서, 초기 몰입 레벨은 중간 몰입 레벨(예컨대, 최대 몰입 레벨이 아니고 최소 몰입 레벨이 아님)이며, 이는 증가 및/또는 감소될 수 있다. 일부 실시예들에서, 초기 몰입 레벨은 가장 낮은 몰입 레벨이다. 일부 실시예들에서, 초기 몰입 레벨은 가장 높은 몰입 레벨이다. 일부 실시예들에서, 더 높은 몰입 레벨은 증가된 공간 효과에 대응하고, 더 낮은 몰입 레벨은 감소된 공간 효과에 대응한다. 예를 들어, 일몰 공간 효과에 대한 높은 몰입 레벨은 선택적으로, 강한 주황색 불빛(예컨대, 일몰 조명)을 갖도록 3차원 환경을 수정하는 것을 포함하고, 낮은 몰입 레벨은 선택적으로, 순한 주황색 불빛을 갖도록 3차원 환경을 수정하는 것을 포함한다. 일부 실시예들에서, 공간 효과를 디스플레이하는 것은 3차원 환경에 시뮬레이션된 환경을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 시뮬레이션된 환경을 디스플레이하는 것은 방법(800)과 관련하여 전술된 바와 유사한 방식으로 3차원 환경의 일부분을 시뮬레이션된 환경으로 전이하는 것을 포함한다. 일부 실시예들에서, 시뮬레이션된 환경을 제1 몰입 레벨로 디스플레이하는 것은 시뮬레이션된 환경의 서브세트를 디스플레이하는 것을 포함한다(예컨대, 시뮬레이션된 환경의 제1 부분을 디스플레이하지만, 사용자에게 선택적으로 더 가까운 시뮬레이션된 환경의 제2 부분은 디스플레이하지 않음).
일부 실시예들에서, 제1 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안, 전자 디바이스는 하나 이상의 입력 디바이스들을 통해, 각자의 입력을 검출한다(1006)(예컨대, 손 추적 디바이스, 눈 추적 디바이스, 또는 임의의 다른 입력 디바이스를 통해, 사용자의 하나 이상의 손들의 이동, 사용자의 하나 이상의 눈들의 이동 및/또는 그들의 시선의 변화, 및/또는 각자의 공간 효과의 몰입 레벨을 변경하라는 요청에 대응하는 임의의 다른 입력을 검출함).
일부 실시예들에서, 사용자 입력은 몰입 레벨을 증가 또는 감소시키기 위한 기계식 다이얼 또는 가상 다이얼과 같은 회전 요소의 조작을 포함한다(예컨대, 증가를 위한 시계방향 회전, 감소를 위한 반시계방향 회전, 또는 그 반대). 일부 실시예들에서, 사용자 입력은 몰입 레벨을 증가 또는 감소시키기 위한 디스플레이된 제어 요소(예컨대, 슬라이더, 몰입 표시자 등)의 조작을 포함한다. 일부 실시예들에서, 사용자 입력은 몰입 레벨의 증가 또는 감소를 요청하는 음성 입력을 포함한다.
일부 실시예들에서, 각자의 입력을 검출하는 것에 응답하여(1008), 각자의 입력이 제1 입력이라는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9d에서와 같이, 제1 몰입 레벨보다 높은 제2 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하고(1010)(예컨대, 각자의 입력에 따라 몰입 레벨을 초기 몰입 레벨로부터 더 높은 제2 몰입 레벨로 증가시킴), 각자의 입력이 제1 입력과는 상이한 제2 입력이라는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9d에서의 3차원 환경(904)의 몰입 레벨이 2 또는 1이였던 경우와 같이, 제1 몰입 레벨보다 낮은 제3 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이한다(1012)(예컨대, 각자의 입력에 따라 몰입 레벨을 초기 몰입 레벨로부터 더 낮은 제3 몰입 레벨로 감소시킴).
예를 들어, 각자의 입력이 몰입 레벨을 증가시키는 것과 연관된 방향으로의 회전 요소의 회전인 경우, 공간 효과에 대한 몰입 레벨은 그의 초기 위치로부터 더 높은 레벨로 증가된다. 일부 실시예들에서, 몰입 레벨을 증가시키는 것은 3차원 환경에 대한 공간 효과의 효과들을 증폭 또는 증가시키는 것을 포함한다. 예를 들어, (예컨대, 각자의 공간 효과와 연관된 하나 이상의 공간 효과들의) 3차원 환경에 대한 공간 효과들 중 하나가 3차원 환경의 밝기를 증가시키는 것을 포함하는 경우, 초기 몰입 레벨로부터 더 높은 몰입 레벨로 증가하는 것은 3차원 환경의 밝기를 추가로 증가시키는 것을 포함한다. 일부 실시예들에서, 몰입 레벨을 더 높은 레벨로 증가시키는 것은 하나 이상의 시각적 효과들의 밝기 또는 세기를 증가시키는 것, 하나 이상의 시각적 효과들의 밝기 또는 세기를 감소시키는 것, 이전에 디스플레이되지 않았던 시각적 효과들을 디스플레이하는 것, 더 적은 시각적 효과들을 디스플레이하는 것, 시각적 효과들을 변경하는 것, 하나 이상의 오디오 효과들을 증가 또는 감소시키는 것, 이전에 재생되지 않았던 더 많은 오디오 효과들을 재생하는 것, 더 적은 오디오 효과들을 재생하는 것, 오디오 효과들을 변경하는 것 등 중 어느 하나를 포함한다. 일부 실시예들에서, 시뮬레이션된 환경을 제2 몰입 레벨로 디스플레이하는 것은 시뮬레이션된 환경의 크기를 증가시키는 것 및/또는 더 많은 시뮬레이션된 환경을 디스플레이하는 것을 포함한다(예컨대, 시뮬레이션된 환경의 제1 부분 및 사용자에게 선택적으로 더 가까운 시뮬레이션된 환경의 제2 부분을 디스플레이함).
예를 들어, 각자의 입력이 몰입 레벨을 감소시키는 것과 연관된 방향으로의 회전 요소의 회전인 경우, 공간 효과에 대한 몰입 레벨은 그의 초기 위치로부터 더 낮은 레벨로 감소된다. 일부 실시예들에서, 몰입 레벨을 감소시키는 것은 3차원 환경에 대한 공간 효과의 효과들을 감소시키는 것을 포함한다. 예를 들어, (예컨대, 각자의 공간 효과와 연관된 하나 이상의 공간 효과들의) 3차원 환경에 대한 공간 효과들 중 하나가 3차원 환경의 밝기를 증가시키는 것을 포함하는 경우, 초기 몰입 레벨로부터 더 낮은 몰입 레벨로 감소하는 것은 3차원 환경의 밝기를 (예컨대, 선택적으로 각자의 공간 효과 없이 3차원 환경의 주변 밝기보다 낮은 레벨로, 선택적으로 각자의 공간 효과 없이 3차원 환경의 주변 밝기와 동일하거나 그보다 높은 레벨로) 추가로 감소시키는 것을 포함한다. 일부 실시예들에서, 몰입 레벨을 더 높은 레벨로 감소시키는 것은 하나 이상의 시각적 효과들의 밝기 또는 세기를 증가시키는 것, 하나 이상의 시각적 효과들의 밝기 또는 세기를 감소시키는 것, 이전에 디스플레이되지 않았던 시각적 효과들을 디스플레이하는 것, 더 적은 시각적 효과들을 디스플레이하는 것, 시각적 효과들을 변경하는 것, 하나 이상의 오디오 효과들을 증가 또는 감소시키는 것, 이전에 재생되지 않았던 더 많은 오디오 효과들을 재생하는 것, 더 적은 오디오 효과들을 재생하는 것, 오디오 효과들을 변경하는 것 등 중 어느 하나를 포함한다. 일부 실시예들에서, 시뮬레이션된 환경을 제3 몰입 레벨로 디스플레이하는 것은 시뮬레이션된 환경의 크기를 감소시키는 것, 및/또는 더 적은 시뮬레이션된 환경을 디스플레이하는 것(예컨대, 시뮬레이션된 환경의 제1 부분 미만을 디스플레이하는 것)을 포함한다.
(예컨대, 증가 또는 감소될 수 있는 중간 몰입 레벨로 각자의 공간 효과를 3차원 환경에 적용함으로써) 각자의 공간 효과를 개시하는 전술된 방식은 (예컨대, 3차원 환경의 적어도 일부분의 디스플레이를 유지하고 공간 효과를 디스플레이하는 잠재적인 거슬림 결과를 감소시키는) 완전 몰입 레벨보다 낮은 레벨로 공간 효과를 도입하며, 이는 (예컨대, 초기 몰입 레벨로 공간 효과를 디스플레이하고 사용자가 공간 효과의 크기를 원하는 대로 증가 또는 감소시키는 것을 가능하게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 개선하며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 추가적으로 전력 사용을 감소시키고 전자 디바이스의 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 9a에서와 같이, 각자의 공간 효과는 가상 환경의 적어도 일부분의 디스플레이를 포함하고, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 것은 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은 물리적 환경의 일부분의 표현의 적어도 일부분의 디스플레이를 가상 환경의 일부분의 디스플레이로 대체하는 것을 포함한다(1014)(예컨대, 공간 효과는 방법(800)과 관련하여 전술된 것들과 같은 시뮬레이션된 환경을 디스플레이하는 것을 포함한다).
일부 실시예들에서, 시뮬레이션된 환경은 3차원 환경의 제1 부분에 디스플레이된다(예컨대, 그를 포괄한다). 일부 실시예들에서, 3차원 환경의 제2 부분은 물리적 환경(예컨대, 사용자 및/또는 디바이스 주위의 실제 세계 환경)의 일부분의 표현을 포함한다.
(예컨대, 증가 또는 감소될 수 있는 중간 몰입 레벨로 시뮬레이션된 환경을 초기에 디스플레이함으로써) 시뮬레이션된 환경의 디스플레이를 개시하는 전술된 방식은 (예컨대, 3차원 환경의 적어도 일부분의 디스플레이를 유지하고 공간 효과를 디스플레이하는 잠재적인 거슬림 결과를 감소시키는) 완전 몰입 레벨보다 낮은 레벨로 시뮬레이션된 환경을 도입하며, 이는 (예컨대, 초기 몰입 레벨로 시뮬레이션된 환경을 디스플레이하고 사용자가 시뮬레이션된 환경의 양을 원하는 대로 증가 또는 감소시키는 것을 가능하게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 개선하며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 추가적으로 전력 사용을 감소시키고 전자 디바이스의 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 도 9a에서와 같이, 스피커(924)에 의해 나타난 바와 같이, 가상 환경에 대응하는 오디오를 제시하는 것을 포함한다(1016)(예컨대, 각자의 공간 효과는 디스플레이된 가상 환경 및/또는 공간 효과와 연관된 가청 효과들을 (예컨대, 스피커, 이어버드, 헤드폰 등을 통해) 재생하는 것을 포함한다). 일부 실시예들에서, 가청 효과는 가상 환경의 시각적 콘텐츠에 대응하는 물 흐르는 소리, 바람에 날리는 소리, 새 노래 소리 등과 같은 환경 노이즈들 또는 소리들을 포함한다.
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하고 가상 환경에 대응하는 오디오를 제시하는 동안, 전자 디바이스는, 도 9e 내지 도 9h에서와 같이, 하나 이상의 입력 디바이스들을 통해, 3차원 환경 내로의 전자 디바이스의 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 전자 디바이스의 이동을 검출한다(1018)(예컨대, 선택적으로 사용자 및/또는 디바이스의 배향의 변화에 따라 물리적 환경의 표현이 배향을 변경하게 하는 사용자 및/또는 디바이스가 그의 물리적 환경 내에서 배향들을 변경한 것을 검출함).
예를 들어, 사용자가 디바이스를 좌측으로 45도 회전시키는 경우, 디바이스는 3차원 환경의 디스플레이를 좌측으로 45도 시프트시켜 이전에 디스플레이되었던 것의 좌측에 3차원 환경의 일부분들을 드러내고, 이전에 디스플레이되었던 것의 우측의 3차원 환경의 일부분의 디스플레이를 중지한다. 이러한 방식으로, 환경은 사용자가 그의 또는 그녀의 물리적 환경을 둘러보는 것과 동일한 방식으로 사용자가 3차원 환경을 둘러보고 있는 것처럼 보이도록 하는 방식으로 조정된다. 일부 실시예들에서, 사용자 및/또는 디바이스가 배향들을 변경함에 따라, 사용자는 물리적 환경과 가상 환경 사이의 경계를 볼 수 있다. 일부 실시예들에서, 가상 환경은 디바이스의 회전 방향으로 확장된다(예컨대, 선택적으로는 일정 지연을 갖고서, 사용자의 회전을 따른다). 일부 실시예들에서, 가상 환경은 디바이스의 회전 방향으로 확장되지 않는다.
일부 실시예들에서, 전자 디바이스의 이동을 검출하는 것에 응답하여(1020), 3차원 환경 내로의 사용자의 시점의 배향이 제1 배향으로부터 임계량 초과만큼 변경되는 경우에 만족되는 기준을 포함하는 하나 이상의 기준들을 전자 디바이스의 이동이 만족한다는 결정에 따라, 전자 디바이스는, 도 9e에서와 같이, 가상 환경에 대응하는 오디오의 적어도 일정 컴포넌트를 강조약화시킨다(1022)(예컨대, 사용자 및/또는 디바이스가 배향을 임계량 초과(예컨대, 30도, 45도, 90도 등 초과)만큼 또는 미리결정된 양(예컨대, 45도 초과이지만 90도 미만, 60도 초과이지만 120도 미만 등)만큼 변경한 경우, 사용자에게 제공되는 가청 효과들을 감소시킨다).
일부 실시예들에서, 가청 효과들을 감소시키는 것은 공간 효과와 연관된 모든 가청 효과들을 디스에이블하는 것을 포함한다. 일부 실시예들에서, 가청 효과들을 감소시키는 것은 공간 효과와 연관된 가청 효과들의 볼륨을 감소시키는 것을 포함한다. 일부 실시예들에서, 가청 효과들을 감소시키는 것은 가청 효과들로부터 별개의 컴포넌트들 및/또는 트랙들을 제거하는 것(예컨대, 새 노래 소리 컴포넌트를 제거하지만, 물 흐르는 소리 컴포넌트를, 선택적으로는 이전과 동일한 볼륨으로, 유지함)을 포함한다.
(예컨대, 시점이 임계량만큼 변경된 것을 검출하고 오디오를 강조약화시킴으로써) 오디오 컴포넌트의 효과를 감소시키는 전술된 방식은 (예컨대, 사용자가 오디오 효과들을 강조약화시키기 위한 추가 입력들을 수행할 필요 없이, 사용자가 그의 또는 그녀의 머리를, 예를 들어, 음원의 방향으로 그리고/또는 가상 환경으로부터 멀리 회전시킬 때 오디오 효과들을 자동적으로 감소시켜, 그에 따라, 사용자가 그의 또는 그녀의 물리적 환경으로부터의 소리들을 듣게 함으로써) 사용자가 그의 또는 그녀의 물리적 환경과 재결합하게 하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 가상 환경에 대응하는 오디오의 적어도 일정 컴포넌트를 강조약화시키는 것은, 도 9e에서와 같이, 오디오가 3차원 환경 내에서 상이한 방향들로부터 생성되는 것으로 제시되는 정도를 감소시키는 것(예컨대, 공간 효과와 연관된 오디오의 적어도 하나의 컴포넌트의 볼륨을 감소시키는 것)을 포함한다(1024). 일부 실시예들에서, 정도를 감소시키는 것은 공간 효과와 연관된 오디오의 모든 컴포넌트들의 볼륨을 감소시키는 것을 포함한다. 일부 실시예들에서, 정도를 감소시키는 것은 오디오의 다른 컴포넌트들의 볼륨을 유지하면서 오디오의 컴포넌트들의 서브세트의 볼륨을 감소시키는 것을 포함한다. 일부 실시예들에서, 오디오의 적어도 일정 컴포넌트를 강조약화시키는 것은 오디오 채널들의 수를, 예를 들어, 5개의 오디오 채널들(예컨대, 입체 음향)로부터 스테레오(예컨대, 2개의 오디오 채널들)로 그리고/또는 스테레오로부터 모노(예컨대, 하나의 오디오 채널)로, 감소시키는 것을 포함한다.
(예컨대, 시점이 임계량만큼 변경된 것을 검출하고 오디오를 강조약화시킴으로써) 오디오 컴포넌트의 효과를 감소시키는 전술된 방식은 (예컨대, 사용자가 오디오 효과들을 강조약화시키기 위한 추가 입력들을 수행할 필요 없이, 사용자가 그의 또는 그녀의 머리를, 예를 들어, 음원의 방향으로 그리고/또는 가상 환경으로부터 멀리 회전시킬 때 오디오 효과들을 자동적으로 감소시켜, 그에 따라, 사용자가 그의 또는 그녀의 물리적 환경으로부터의 소리들을 듣게 함으로써) 사용자가 그의 또는 그녀의 물리적 환경과 재결합하게 하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 가상 환경에 대응하는 오디오의 적어도 일정 컴포넌트를 강조약화시키는 것은 가상 환경에 대응하는 오디오가 제시되는 노이즈 제거의 양을 감소시키는 것(예컨대, 오디오가 제시되고 있는 전자 디바이스 및/또는 헤드폰들/스피커들/이어버드들의 노이즈 제거 효과를 감소시키는 것)을 포함한다(1026).
일부 실시예들에서, 전자 디바이스는 하나 이상의 스피커들(또는 임의의 다른 노이즈 또는 오디오 생성 컴포넌트)과 통신한다. 일부 실시예들에서, 하나 이상의 스피커들은 사용자의 물리적 환경으로부터의 소리들(예컨대, 주변 소리들)을 적어도 부분적으로 감소시키는 (예컨대, 제거하는) 하나 이상의 노이즈 제거 특징부들을 갖는다. 일부 실시예들에서, 노이즈 제거 효과를 감소시키는 것은 노이즈 제거의 크기를 감소시키는 것(예컨대, 10% 미만의 주변 노이즈를 제거하는 것, 20% 미만의 주변 노이즈를 제거하는 것, 50% 미만의 주변 노이즈를 제거하는 것 등)을 포함한다. 일부 실시예들에서, 노이즈 제거 효과를 감소시키는 것은 수동적으로 주변 노이즈가 사용자에 도달하게 하는 것(예컨대, 노이즈 제거를 디스에이블하는 것)을 포함한다. 일부 실시예들에서, 노이즈 제거 효과를 감소시키는 것은 액티브 트랜스패런시(active transparency) 청취 모드를 인에이블하는 것(예컨대, 사용자에게 주변 소리들을 능동적으로 제공하여, 예를 들어, 헤드폰들 및/또는 이어버드들의 수동형 소리 감쇠 효과들을 극복하는 것)을 포함한다.
(예컨대, 디바이스의 노이즈 제거 특징부들을 감소시킴으로써) 가상 환경의 몰입 효과를 감소시키는 전술된 방식은 (예컨대, 사용자가 오디오 효과들을 강조약화시키기 위한 추가 입력들을 수행할 필요 없이, 사용자가 그의 또는 그녀의 머리를, 예를 들어, 음원의 방향으로 그리고/또는 가상 환경으로부터 멀리 회전시킬 때 오디오 효과들을 자동적으로 감소시키고 주변 노이즈가 통과하게 하여, 그에 따라, 사용자가 그의 또는 그녀의 물리적 환경으로부터의 소리들을 듣게 함으로써) 사용자가 그의 또는 그녀의 물리적 환경과 재결합하게 하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 가상 환경에 대응하는 오디오의 적어도 일정 컴포넌트를 강조약화시키는 것은, 도 9e에서와 같이, 가상 환경에 대응하는 오디오가 제시되는 오디오 컴포넌트들의 수를 감소시키는 것(예컨대, 가상 환경과 연관된 오디오의 오디오 컴포넌트들 중 적어도 일부를 감소시키거나 중지하는 것)을 포함한다(1028). 예를 들어, 오디오의 하나 이상의 트랙들의 볼륨을 (예컨대, 0으로) 감소시키지만 오디오의 다른 트랙들의 볼륨을 유지하는 것.
(예컨대, 제공되는 오디오 컴포넌트들의 수를 감소시킴으로써) 가상 환경의 몰입 효과를 감소시키는 전술된 방식은 (예컨대, 사용자가 오디오 효과들을 강조약화시키기 위한 추가 입력들을 수행할 필요 없이, 사용자가 그의 또는 그녀의 머리를, 예를 들어, 음원의 방향으로 그리고/또는 가상 환경으로부터 멀리 회전시킬 때 오디오 효과들의 양을 자동적으로 감소시키고 주변 노이즈가 통과하게 함으로써) 사용자가 그의 또는 그녀의 물리적 환경과 재결합하게 하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 예컨대 도 9e 및 도 9f에서와 같이, 몰입 레벨을 9로 증가시키는 입력을 검출하는 것과 같이, 하나 이상의 입력 디바이스들을 통해, 최대 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하라는 요청에 대응하는 사용자 입력을 검출한다(1030)(예컨대, 디스플레이된 몰입 어포던스와 상호작용하거나 기계식 다이얼과 상호작용하는 사용자 입력을 수신함). 일부 실시예들에서, 사용자 입력은 몰입 레벨을 최대 몰입 레벨로 증가시키라는 요청을 포함한다. 예를 들어, 가장 높은 몰입 레벨과 연관된 어포던스를 선택하는 것 및/또는 가장 높은 몰입 레벨을 요청하는 것과 연관된 기계식 다이얼 상에서의 회전 입력을 수행하는 것.
일부 실시예들에서, 사용자 입력을 검출하는 것에 응답하여(1032), 사용자 입력과 독립적인 사용자 정의 설정이 제1 값을 갖는다는 결정에 따라(예컨대, 최대 몰입 레벨을 설정하는 시스템 설정은 사용자에 의해 조정될 수 있다), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제1 각자의 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하고(1034)(예컨대, 최대 몰입 레벨에 대한 사용자 정의 설정이 제1 값(예컨대, 180도)인 경우, 사용자 정의 설정에 기초하여 몰입 레벨을 제1 값으로 증가시킴), 사용자 정의 설정이 제1 값과는 상이한 제2 값을 갖는다는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 최대 몰입 레벨이 도 9e 및 도 9f에서 사용자 정의 설정에 의해 상한이 되는 경우와 같이, 제1 각자의 몰입 레벨보다 높은 제2 각자의 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이한다(1036)(예컨대, 최대 몰입 레벨에 대한 사용자 정의 설정이 제2 값(예컨대, 360도)인 경우, 사용자 정의 설정에 기초하여 몰입 레벨을 제2 값으로 증가시킨다).
예를 들어, 최대 몰입 레벨은 45도의 몰입(예컨대, 사용자에 대한 3차원 환경의 45도는 가상 객체들/환경들에 의해 점유될 것이고, 나머지는 물리적 환경에 의해 점유될 것임), 90도의 몰입, 180도의 몰입, 360도의 몰입 등일 수 있다.
일부 실시예들에서, 최대 몰입 레벨은 시야와 동일하도록 설정될 수 있다(예컨대, 최대 몰입 각도는, 180도 또는 대략 180도와 같은, 3차원 환경의 시야의 각도와 동일하다).
(예컨대, 몰입 레벨이 최대로 증가될 때마다 몰입 레벨을 감소시키거나 증가시키기 위한 추가 사용자 입력들을 사용자가 수행할 필요 없이, 몰입을 사용자 정의 최대 몰입 레벨로 제한함으로써) 최대 몰입 레벨에 대한 사용자 정의 설정을 제공하는 전술된 방식은 사용자가 최대 몰입 레벨을 제한하게 하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 3차원 환경은 도 11d에서와 같은 애플리케이션과 연관된다(1038)(예컨대, 3차원 환경은 애플리케이션의 사용자 인터페이스이다. 일부 실시예들에서, 애플리케이션은 가상 환경의 디스플레이를 야기할 수 있다). 예를 들어, 애플리케이션에 대한 전체 스크린 모드 또는 제시(presentation) 모드는 선택적으로, 방법(1200)을 참조하여 설명된 바와 같은, 가상 환경의 디스플레이를 야기한다.
일부 실시예들에서, 제1 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 최대 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하라는 요청에 대응하는 사용자 입력을 검출한다(1040)(예컨대, 디스플레이된 몰입 어포던스와 상호작용하거나 기계식 다이얼과 상호작용하는 사용자 입력을 수신함). 일부 실시예들에서, 사용자 입력은 몰입 레벨을 최대 몰입 레벨로 증가시키라는 요청을 포함한다. 예를 들어, 가장 높은 몰입 레벨과 연관된 어포던스를 선택하는 것 및/또는 가장 높은 몰입 레벨을 요청하는 것과 연관된 기계식 다이얼 상에서의 회전 입력을 수행하는 것.
일부 실시예들에서, 사용자 입력을 검출하는 것에 응답하여(1042), 도 11d에서와 같이, 애플리케이션이 하나 이상의 제1 기준들을 만족한다는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제1 각자의 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하고(1044)(예컨대, 애플리케이션이 제1 각자의 레벨로 설정된 최대 몰입 레벨을 갖는 경우, 제1 각자의 몰입 레벨의 각자의 공간 효과를 디스플레이함), 애플리케이션이 제1 기준들과는 상이한 하나 이상의 제2 기준들을 만족한다는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제1 각자의 몰입 레벨보다 높은 제2 각자의 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이한다(1046)(예컨대, 애플리케이션에 의해 설정된 최대 몰입 레벨이 제2 각자의 레벨인 경우, 제2 각자의 몰입 레벨의 각자의 공간 효과를 디스플레이한다).
일부 실시예들에서, 애플리케이션에 의해 정의되는 최대 몰입 레벨은 (예컨대, 전술된 바와 같이, 사용자에 의해 정의되는) 시스템 설정 최대 몰입 레벨에 우선한다. 예를 들어, 애플리케이션에 대한 최대 몰입 레벨이 시스템 최대 몰입 레벨보다 큰 경우, 애플리케이션에 대한 최대 몰입 레벨은 제어한다. 일부 실시예들에서, 애플리케이션의 최대 몰입 레벨이 더 크더라도, 최대 몰입 레벨은 시스템 몰입 레벨에 의해 제한된다. 일부 실시예들에서, 애플리케이션에 대해 정의된 최대 몰입 레벨이 시스템 몰입 레벨보다 낮은 경우, 최대 몰입 레벨의 공간 효과를 디스플레이하라는 요청에 응답하여, 공간 효과는 애플리케이션에 의해 정의된 최대 레벨로 디스플레이된다. 따라서, 일부 실시예들에서, 몰입 레벨은 애플리케이션에 의해 설정된 최대 레벨 또는 시스템 레벨 설정에 의해 설정된 최대 레벨 중 더 낮은 레벨이다.
(예컨대, 활성 애플리케이션에 의해 설정된 레벨에 기초하여 최대 몰입 레벨을 정의함으로써) 애플리케이션에 의해 설정된 레벨에 기초하여 최대 몰입 레벨을 결정하는 전술된 방식으로, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 9e에서와 같이, 각자의 공간 효과는 대기 효과(예컨대, (예컨대, 3차원 환경 내의 객체와 연관되지 않은) 3차원 환경의 적어도 일부분의 시각적 수정)를 포함하고, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 것은 대기 효과 없이 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은 대기 효과로 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함한다(1048)(예컨대, 대기 효과는 공간 효과를 포함하는 3차원 환경의 일부분들에 디스플레이되지만, 공간 효과를 포함하지 않는 3차원 환경의 일부분들 내에는 디스플레이되지 않는다).
예를 들어, 주변 조명 효과(예컨대, 일출, 일몰 등), 안개 효과, 박무 효과, 연기/입자 효과 등을 디스플레이하는 것. 일부 실시예들에서, 대기 효과는 3차원 환경의 공기 또는 빈 공간이 물리적 효과로 채워진 것으로 보이는 것이다.
예를 들어, 몰입 레벨이 "룸"의 30%가 공간 효과를 나타내는 한편 "룸"의 70%가 공간 효과를 나타내지 않도록 (예컨대, 선택적으로 어떠한 공간 효과들에 의해서도 변경되지 않는 룸의 표현이도록) 하는 것인 경우, 공간 효과를 갖는 룸의 30%가 안개 대기로 디스플레이되는 반면, 공간 효과가 없는 룸의 70%는 안개 대기를 포함하지 않는다. 일부 실시예들에서, 공간 효과를 나타내는 것은 공간 효과를 갖도록 물리적 환경의 일부분들을 수정하는 것(예컨대, 물리적 환경 내의 객체들의 조명을 수정하는 것, 물리적 환경 내의 객체들의 시각적 특성들을 수정하는 것 등)을 포함한다.
(예컨대, 공간 효과가 디스플레이되는 환경의 일부분들 상에 대기 효과를 디스플레이하지만, 공간 효과를 포함하지 않는 환경의 일부분들 상에는 대기 효과를 디스플레이하지 않음으로써) 공간 효과를 디스플레이하는 전술된 방식은 환경의 서브세트 내에 공간 효과를 디스플레이하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 도 9b에서와 같이, 대기 효과에 대응하는 오디오를 제시하는 것을 포함한다(1050)(예컨대, 각자의 공간 효과는 디스플레이된 가상 환경 및/또는 공간 효과와 연관된 가청 효과들을 재생하는 것을 포함한다). 일부 실시예들에서, 가청 효과는 흐르는 물 소리, 바람에 날리는 소리, 새 노래 소리, 나무 타는 소리 등과 같은 대기 효과와 연관된 노이즈들 또는 소리들을 포함한다.
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하고 대기 효과에 대응하는 오디오를 제시하는 동안, 전자 디바이스는, 도 9e 내지 도 9h에서와 같이, 하나 이상의 입력 디바이스들을 통해, 3차원 환경 내로의 전자 디바이스의 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 전자 디바이스의 이동을 검출한다(1052)(예컨대, 선택적으로 사용자 및/또는 디바이스의 배향의 변화에 따라 물리적 환경의 표현이 배향을 변경하게 하는 사용자 및/또는 디바이스가 그의 물리적 환경 내에서 배향들을 변경한 것을 검출함).
예를 들어, 사용자가 디바이스를 좌측으로 45도 회전시키는 경우, 디바이스는 3차원 환경의 디스플레이를 좌측으로 45도 시프트시켜 이전에 디스플레이되었던 것의 좌측에 3차원 환경의 일부분들을 드러내고, 이전에 디스플레이되었던 것의 우측의 3차원 환경의 일부분의 디스플레이를 중지한다. 이러한 방식으로, 환경은 사용자가 그의 또는 그녀의 물리적 환경을 둘러보는 것과 동일한 방식으로 사용자가 3차원 환경을 둘러보고 있는 것처럼 보이도록 하는 방식으로 조정된다. 일부 실시예들에서, 사용자 및/또는 디바이스가 배향들을 변경함에 따라, 사용자는 물리적 환경과 가상 환경 사이의 경계를 볼 수 있다. 일부 실시예들에서, 가상 환경은 디바이스의 회전 방향으로 확장된다(예컨대, 선택적으로는 일정 지연을 갖고서, 사용자의 회전을 따른다). 일부 실시예들에서, 가상 환경은 디바이스의 회전 방향으로 확장되지 않는다.
일부 실시예들에서, 전자 디바이스의 이동을 검출하는 것에 응답하여, 전자 디바이스는, 도 9f에서와 같이, 3차원 환경 내로의 사용자의 시점의 배향이 제1 배향으로부터 변경되는 양과 독립적인 대기 효과에 대응하는 오디오의 제시를 유지한다(1054)(예컨대, 시점의 배향이 변경되더라도, 대기 효과의 오디오 컴포넌트를 계속 제공한다). 일부 실시예들에서, 대기 효과가 사용자 주위의 3차원 환경 전체에 걸쳐 적용되고, 시점의 배향을 변경하는 것은 사용자가 3차원 환경의 상이한 관점을 보게 하며, 이때 대기 효과는 여전히 새로운 관점에 적용된다. 따라서, 일부 실시예들에서, 배향을 변경하는 것은 시각적 효과들 및/또는 오디오 효과들이 계속 디스플레이되게/제시되게 한다. 일부 실시예들에서, 오디오 효과들은 감소 또는 제거된다.
(예컨대, 사용자가 디바이스의 배향을 변경하는 경우에 대기 효과들의 디스플레이를 유지함으로써) 공간 효과를 디스플레이하는 전술된 방식은 (예컨대, 대기 효과들이 디스에이블되었을 경우에 발생할 급격한 전이를 피하는 대기 효과들의 디스플레이를 유지함으로써) 연속성을 유지하면서 3차원 환경의 몰입을 감소시키는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 각자의 공간 효과의 현재 몰입 레벨을 변경하라는 요청에 대응하는 사용자 입력(예컨대, 몰입에 대한 현재 레벨을 변경하기 위한 입력, 예컨대, 몰입 레벨을 각자의 양(몰입 레벨의 증량 또는 감량)만큼 증가 또는 감소시키라는 또는 몰입 레벨을 각자의 레벨로 설정하라는 요청에 대응하는 어포던스의 선택 또는 기계식 다이얼의 회전을 수신하는 것)을 검출한다(1058).
일부 실시예들에서, 각자의 공간 효과의 몰입 레벨을 변경하라는 요청에 대응하는 사용자 입력을 검출하는 것에 응답하여(1060), 각자의 공간 효과가 제1 공간 효과라는 결정에 따라, 전자 디바이스는, 현재 몰입 레벨을 제1 세트의 몰입 레벨들로부터의 일정 몰입 레벨로 변경하고(1062)(예컨대, 3차원 환경 내에 디스플레이되고 있는 각자의 공간 효과가 제1 공간 효과 및/또는 제1 유형의 공간 효과인 경우, 제1 공간 효과 및/또는 제1 유형의 공간 효과에 대한 제1 세트의 이용가능 몰입 레벨들 중으로부터의 몰입 레벨들을 변경함), 각자의 공간 효과가 제2 공간 효과라는 결정에 따라, 전자 디바이스는, 도 9b에서와 같은 대기 효과들에 대해 존재하는 것보다 도 9a에서와 같은 가상 환경(922)에 대한 더 많은 이용가능 몰입 레벨들이 존재하는 경우와 같이, 현재 몰입 레벨을 제1 세트와는 상이한 제2 세트의 몰입 레벨들로부터의 일정 몰입 레벨로 변경한다(1064)(예컨대, 대기 효과에 대한 몰입 레벨들의 수는 시뮬레이션된 환경에 대한 몰입 레벨들의 수와 상이하다(예컨대, 그보다 작다, 그보다 크다)).
일부 실시예들에서, 가상 환경 및/또는 시뮬레이션된 환경이 소정 수의 몰입 레벨들(예컨대, 5개의 몰입 레벨들, 10개의 몰입 레벨들, 30개의 몰입 레벨들 등)과 양립가능한 한편 대기 효과(예컨대, 조명 수정, 무드(mood), 분위기 등)는 상이한 (예컨대, 선택적으로 더 적은) 수의 몰입 레벨들(예컨대, 1개의 몰입 레벨, 3개의 몰입 레벨들, 5개의 몰입 레벨들, 10개의 몰입 레벨들 등)과 양립가능하다. 예를 들어, 3차원 환경이 가상 환경을 디스플레이하는 경우, 몰입 레벨들을 변경하기 위한 입력에 응답하여, 시스템은 10개의 이용가능 몰입 레벨들 내에서 몰입 레벨들을 증가 또는 감소시킬 수 있다.
예를 들어, 대기 효과가 선택적으로 3차원 환경 내의 객체들의 디스플레이를 선택적으로 유지하면서 3차원 환경 내의 객체들에 대한 시각적 수정들을 포함하기 때문에(예컨대, 일출 효과, 일몰 효과, 안개 효과, 별이 빛나는 밤 효과 등으로 "룸"을 디스플레이함), 제한된 수의 증가하는 몰입 레벨만이 존재한다. 예를 들어, 몰입을 증가시키는 것은 새로운 시각적 효과 및/또는 새로운 오디오 효과를 도입하는 것을 포함하고, 따라서 몰입 레벨들의 수는 도입될 수 있는 새로운 시각적 효과들 및/또는 오디오 효과들의 수에 기초한다. 일부 실시예들에서, 대기 효과는 단지 하나의 몰입 레벨만을 갖는다(예컨대, 대기 효과는 모든 시각적 및/또는 오디오 효과들이 디스플레이/제시되는 "온" 또는 어떠한 시각적 및/또는 오디오 효과들도 디스플레이/제시되지 않는 "오프"이다).
(예컨대, 소정 수의 몰입 레벨들로 시뮬레이션된 환경들을 그리고 더 적은 수의 몰입 레벨들로 대기 효과들을 디스플레이함으로써) 공간 효과를 디스플레이하는 전술된 방식은 몰입형 경험들을 제공하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 사용자의 시점 주위의 물리적 환경은 전자 디바이스의 사용자가 액세스가능한 제1 영역(예컨대, 물리적 환경은 사용자 주위의 바로 이웃하는 영역을 포함하고, 사용자는 이 영역을 향하여 걸어갈 수 있고/있거나 이 영역과 상호작용할 수 있다) 및 전자 디바이스의 사용자가 액세스가능하지 않은, 도 9b 내의 윈도우(915) 외측의 영역과 같은, 제2 영역을 포함한다(1066)(예컨대, 물리적 환경은 사용자가 (예컨대, 물리적 환경을 떠나서 다른 물리적 환경으로 진입하지 않고서) 바로 액세스하지 않는 영역들을 사용자가 보게 하는 하나 이상의 요소들을 포함한다).
예를 들어, 물리적 환경은 사용자의 물리적 환경의 외부 영역에 대한 윈도우, 사용자의 물리적 환경 내의 (사용자가 현재 위치하는 룸 이외의) 다른 룸에 대한 개방 도어 등을 포함하고, 이들은 사용자의 바로 이웃하는 환경의 외측에 (예컨대, 사용자의 룸의 외측에) 있는 영역들의 뷰를 제공한다.
일부 실시예들에서, 도 7b에서와 같이, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 것은, 디스플레이 생성 컴포넌트를 통해, 사용자의 시점 주위의 물리적 환경의 제2 영역의 표현을 디스플레이하는 것(예컨대, 경우에 따라, 윈도우 또는 개방 도어의 외측에 있는 물리적 환경의 표현(예컨대, 선택적으로는, 윈도우 또는 개방 도어를 통해 볼 수 있는 것의 실사 표현)을 디스플레이하는 것)을 포함한다(1068).
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은 사용자의 시점 주위의 물리적 환경의 제2 영역의 표현의 디스플레이를 각자의 가상 환경으로 대체하는 것, 예컨대, 도 9b에서의 윈도우(915)를 통한 물리적 환경의 뷰를 수정된 물리적 환경 또는 가상 환경의 뷰로 대체하는 것을 포함한다(1070)(예컨대, 윈도우 및/또는 개방 도어의 표현이 더 이상 디스플레이되지 않도록 윈도우 및/또는 개방 도어의 표현은 가상 환경으로 대체된다).
일부 실시예들에서, 윈도우 및/또는 개방 도어의 표현은 사용자가 룸 외측의 사용자의 실제 물리적 환경보다 윈도우 및/또는 개방 도어를 통해 상이한 환경을 보도록 수정된다. 예를 들어, 각자의 공간 효과가 일몰 효과인 경우, (예컨대, 디바이스에 의해 디스플레이되는 물리적 환경에 일몰 조명 및/또는 오디오 효과들을 추가하는 것에 추가적으로 또는 대안적으로) 윈도우의 표현은 일몰 동안의 해변의 뷰가 윈도우를 통해 볼 수 있도록 수정될 수 있다. 일부 실시예들에서, 각자의 공간 효과를 디스플레이하는 것은 물리적 환경의 천장 및/또는 벽들의 디스플레이를 제거하는 것을 포함한다. 예를 들어, 야간 공간 효과를 디스플레이하는 것은 선택적으로, 천장의 디스플레이를 제거하는 것 및 그것을 밤 하늘의 표현으로 대체하는 것을 포함한다.
(예컨대, 사용자가 액세스하지 않는 3차원 환경의 일부분들을 시뮬레이션된 환경의 일부분들로 대체함으로써) 공간 효과를 디스플레이하는 전술된 방식은 몰입형 경험들을 제공하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 9b에서와 같이, 대기 효과 없이 3차원 환경을 디스플레이하는 것은 제1 조명 레벨을 갖는 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 대기 효과로 3차원 환경을 디스플레이하는 것은 제1 조명 레벨보다 높은 제2 조명 레벨을 갖는 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함한다(1072)(예컨대, 사용자의 물리적 환경 내의 주변 광의 양과 비교하여 증가된 광의 양을 시뮬레이션하기 위해 룸 내의 객체들 및/또는 바닥, 벽들, 천장 등의 시각적 특성들을 수정함). 예를 들어, 사용자가 어떠한 조명도 없이 룸에 앉아 있는 경우, 대기 효과를 디스플레이하는 것은 선택적으로, 3차원 환경을 조명하여 하나 이상의 광원들(예컨대, 조명등 전구, 태양 등)을 시뮬레이션하는 것을 포함한다.
(예컨대, 사용자의 물리적 환경의 주변 광과 비교하여 3차원 환경 내의 광의 양을 증가시킴으로써) 시뮬레이션된 환경을 디스플레이하는 전술된 방식은 (예컨대, 시뮬레이션된 환경에 따라 3차원 환경 내의 조명을 수정함으로써) 몰입형 경험을 제공하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 9b에서와 같이, 대기 효과 없이 3차원 환경을 디스플레이하는 것은 제1 조명 레벨을 갖는 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 대기 효과로 3차원 환경을 디스플레이하는 것은 제1 조명 레벨보다 낮은 제2 조명 레벨을 갖는 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함한다(1074)(예컨대, 사용자의 물리적 환경 내의 주변 광의 양과 비교하여 감소된 광의 양을 시뮬레이션하기 위해 룸 내의 객체들 및/또는 바닥, 벽들, 천장 등의 시각적 특성들을 수정함). 예를 들어, 사용자가 밝은 조명으로 룸에 앉아 있는 경우, 대기 효과를 디스플레이하는 것은 선택적으로, 3차원 환경 내의 조명을 감소시켜 더 적은 또는 전혀 없는 조명원들을 시뮬레이션하는 것을 포함한다(예컨대, 야간 시뮬레이션된 환경을 디스플레이할 때 모든 조명을 제거함).
(예컨대, 사용자의 물리적 환경의 주변 광과 비교하여 3차원 환경 내의 광의 양을 감소시킴으로써) 시뮬레이션된 환경을 디스플레이하는 전술된 방식은 (예컨대, 시뮬레이션된 환경에 따라 3차원 환경 내의 조명을 수정함으로써) 몰입형 경험을 제공하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 디스플레이 생성 컴포넌트를 통해, 각자의 공간 효과가 디스플레이되고 있는 현재 몰입 레벨을 나타내는 몰입 스케일 시각적 표시자, 예컨대, 도 9a의 몰입 레벨 표시자(916)를 디스플레이하는 것(예컨대, 각자의 공간 효과와 연관된 현재 몰입 레벨의 표시자를 디스플레이하는 것)을 포함한다(1076).
일부 실시예들에서, 표시자는 몰입 레벨들의 수와 연관된 미리결정된 수의 하위 표시자들을 포함한다. 일부 실시예들에서, 하위 표시자들은 현재 몰입 레벨을 나타내기 위해 시각적으로 강조된다. 예를 들어, 표시자는 10개의 몰입 레벨들을 나타내는 10개의 틱 마크들을 선택적으로 포함하고, 현재 몰입 레벨이 5에 있는 경우, 5개의 틱 마크들(예컨대, "하단"의 5개의 틱 마크들)은 하이라이트된다(예컨대, 상이한 색상으로 디스플레이된다, 상이한 크기로 디스플레이된다 등). 일부 실시예들에서, 몰입 스케일 시각적 표시자는 몰입의 양을 선택된 몰입 레벨로 변경하도록 선택가능하다. 예를 들어, 최대 몰입의 양과 연관된 하위 표시자(예컨대, 최상단 틱 마크)를 선택하는 것에 응답하여, 공간 효과는 최대 몰입 레벨로 증가된다.
(예컨대, 현재 몰입 레벨을 나타내는 시각적 표시자를 디스플레이함으로써) 현재 몰입 레벨의 표시자를 디스플레이하는 전술된 방식은 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 몰입 스케일 시각적 표시자는 주 몰입 레벨들에 대응하는 제1 세트의 하나 이상의 표시자들, 및 주 몰입 레벨들 사이의 부 몰입 레벨들에 대응하는 제2 세트의 하나 이상의 표시자들을 포함한다(1078)(예컨대, 몰입 스케일 시각적 표시자는 주 및 부 틱 마크들을 포함한다. 일부 실시예들에서, 주 틱 마크들이 몰입의 주 증가/감소와 연관되는 한편, 부 틱 마크들은 몰입의 부 증가/감소와 연관된다).
예를 들어, 주 틱 마크는 새로운 컴포넌트가 제공되는 (또는 제거되는) 레벨들과 연관되고, 부 틱 마크들은 새로운 컴포넌트들이 제공되지 않고 기존의 컴포넌트들이 크기가 증가되는 (또는 감소되는) 레벨들과 연관된다(예컨대, 새로운 오디오 효과를 제공하는 것과는 대조적으로, 오디오 효과의 볼륨을 증가시키는 것, 시뮬레이션된 환경의 시각적 효과들을 강화하는 것과는 대조적으로, 디스플레이되는 시뮬레이션된 환경의 양을 증가시키는 것 등).
(예컨대, 주 및 부 몰입 레벨들에 대응하는 주 및 부 표시자들과 함께 시각적 표시자를 디스플레이함으로써) 주 및 부 몰입 레벨들의 표시를 디스플레이하는 방식은 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제2 주 몰입 레벨보다 낮은 제1 주 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 각자의 공간 효과에 대응하는 시각적 효과를 디스플레이하지 않고서 각자의 공간 효과에 대응하는 오디오를 제시하는 것을 포함하는데(1080), 예컨대, 도 9a에서, 몰입 레벨 표시자(916)는 삼각형 형상들을 갖는 주 몰입 레벨들 및 삼각형 형상들이 없는 부 몰입 레벨들을 나타낸다(예컨대, 제1 주 몰입 레벨은 공간 효과의 오디오 컴포넌트와 연관된다(예컨대, 그리고 공간 효과의 시각적 컴포넌트와 연관되지 않는다)). 예를 들어, 제1 주 몰입 레벨에 있는 동안, 디바이스는 공간 효과와 연관된 적어도 하나의 오디오 컴포넌트를 제공하고, 선택적으로, 공간 효과와 연관된 어떠한 시각적 수정들 또는 컴포넌트들도 디스플레이하지 않는다.
(예컨대, 제1 주 몰입 레벨에 있는 동안, 공간 효과와 연관된 오디오를 제공하지만, 공간 효과와 연관된 시각적 효과들을 제공하지 않음으로써) 공간 효과를 제공하는 전술된 방식은 (예컨대, 시각적 효과를 도입하기 전에 오디오 효과를 먼저 도입함으로써) 몰입형 경험을 제공하는 신속하고 효율적인 방법을 제공하고, 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 9a 및 도 9b에서와 같이, 제2 주 몰입 레벨보다 높은 제1 주 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 각자의 공간 효과에 대응하는 오디오를 제시하는 것 및 각자의 공간 효과에 대응하는 시각적 효과의 제1 부분을, 각자의 공간 효과에 대응하는 시각적 효과의 제2 부분을 디스플레이하지 않고서, 디스플레이하는 것을 포함한다(1082)(예컨대, 제2 주 몰입 레벨에서, 공간 효과와 연관된 오디오 및 시각적 효과들 둘 모두를 제공한다).
일부 실시예들에서, 제공되는 오디오 효과는 제1 주 몰입 레벨로 제공되는 동일한 오디오이고, 제2 몰입 레벨은 시각적 효과를 도입한다. 일부 실시예들에서, 제공되는 오디오 효과는 하나 이상의 추가 오디오 컴포넌트들을 포함하는 제1 주 몰입 레벨로 제공되는 오디오 효과이다. 일부 실시예들에서, 시각적 효과를 제공하는 것은 시뮬레이션된 환경의 일부분을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 시각적 효과를 제공하는 것은 하나 이상의 대기 효과들을 제공하는 것을 포함한다.
(예컨대, 제2 주 몰입 레벨에 있는 동안, 오디오 효과에 더하여 공간 효과와 연관된 시각적 효과를 제공함으로써) 공간 효과를 제공하는 전술된 방식은 (예컨대, 오디오 효과를 먼저 도입한 후에 시각적 효과를 도입함으로써) 몰입형 경험을 제공하는 신속하고 효율적인 방법을 제공하고, 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 주 몰입 레벨보다 높은 제3 주 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 각자의 공간 효과에 대응하는 오디오를 제시하는 것 및 각자의 공간 효과에 대응하는 시각적 효과의 제1 부분 및 제2 부분을 디스플레이하는 것을 포함한다(1084)(예컨대, 제3 주 몰입 레벨에서, 제2 주 레벨로 디스플레이되었던 시각적 효과들을 증가시킴).
일부 실시예들에서, 제공되는 오디오 효과는 제1 주 레벨 및/또는 제2 주 레벨로 제공되는 동일한 오디오이다. 일부 실시예들에서, 시각적 효과는 제2 주 레벨로 제공되는 동일한 시각적 효과이지만, 증가된 세기를 갖는다(예컨대, 조명 요소들은 더 밝거나 더 어두울 수 있는 등이다). 일부 실시예들에서, 시각적 효과는 하나 이상의 추가 시각적 컴포넌트들과 함께 제2 주 레벨로 제공되는 시각적 효과이다. 일부 실시예들에서, 증가된 시각적 효과를 제공하는 것은 시뮬레이션된 환경의 더 큰 부분을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 증가된 시각적 효과를 제공하는 것은 하나 이상의 대기 효과들의 세기를 증가시키는 것을 포함한다.
(예컨대, 제3 주 몰입 레벨에 있는 동안, 증가된 시각적 효과를 제공함으로써) 공간 효과를 제공하는 전술된 방식은 (예컨대, 시각적 효과를 먼저 도입한 후에, 제공된 시각적 효과를 증가시킴으로써) 몰입형 경험을 제공하는 신속하고 효율적인 방법을 제공하고, 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 9a에서와 같이, 각자의 공간 효과는 가상 환경의 적어도 일부분의 디스플레이를 포함하고, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 것은 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은 물리적 환경의 일부분의 표현의 적어도 일부분의 디스플레이를 가상 환경의 일부분의 디스플레이로 대체하는 것을 포함한다(1086).
일부 실시예들에서, 도 9e에서와 같이, 가상 환경의 일부분을 디스플레이하는 것을 포함하여 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안(예컨대, 3차원 환경의 일부 또는 전부가 가상 환경의 표현을 포함하는 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안), 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 사용자의 시점 주위의 물리적 환경 내의 제1 위치로부터 멀어지는 전자 디바이스의 이동을 검출한다(1088)(예컨대, 전자 디바이스가 물리적 환경 내의 그의 이전 위치로부터 물리적 환경 내의 새로운 위치로 위치를 변경하였다는 것을 검출함).
예를 들어, 사용자가 전자 디바이스를 보유하고 있는 동안, 물리적 환경 내의 새로운 위치로 이동하는 경우. 일부 실시예들에서, 전자 디바이스는 가속도계, 자이로스코프, GPS 로케이터, 사용자 주위의 객체들을 검출하는 하나 이상의 카메라들 또는 깊이 센서들 등과 같은 하나 이상의 센서들을 사용하여 전자 디바이스가 새로운 위치로 이동하였다는 것을 검출한다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 하나 이상의 카메라들이 물리적 환경의 변경된 관점을 캡처하는 것에 응답하여 전자 디바이스가 새로운 위치로 이동하였다는 것을 검출한다(예컨대, 카메라가 물리적 환경의 상이한 위치를 보고 있다는 것을 검출함 및/또는 카메라가 상이한 각도로부터 동일한 위치를 보고 있다는 것을 검출함). 일부 실시예들에서, 제1 위치로부터 멀어지는 이동은 수평 이동 및/또는 수직 이동을 포함한다. 예를 들어, 사용자가 룸 내의 새로운 위치로 걸어가는 경우, 전자 디바이스는 그의 원래 위치로부터 멀어지는 전자 디바이스의 이동을 검출한다. 일부 실시예들에서, 사용자가 앉은 위치로부터 일어나는 경우, 전자 디바이스는 그의 원래 위치로부터 멀어지는 이동으로서 이동을 검출한다(예컨대, 수직 위치의 변화).
일부 실시예들에서, 제1 위치로부터 멀어지는 전자 디바이스의 이동을 검출하는 것에 응답하여(1090), 제1 위치로부터 멀어지는 전자 디바이스의 이동이 임계 거리를 초과한다는 (예컨대, 전자 디바이스가 그의 원래 위치로부터 6 인치, 1 피트, 3 피트, 6 피트 등 초과만큼 멀어지게 이동한다는) 결정에 따라, 디바이스(101)가 도 9e의 가상 환경(922)의 디스플레이를 중지하는 경우와 같이, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통한, 가상 환경의 일부분의 디스플레이를 중지한다(1092)(예컨대, 가상 환경의 일부분의 디스플레이를 3차원 환경으로부터 제거함).
일부 실시예들에서, 가상 환경의 일부분의 디스플레이를 제거하는 것은 가상 환경의 디스플레이가 제거되었던 위치들에서 물리적 환경의 표현의 디스플레이를 복원하는 것을 포함한다(예컨대, 가상 환경의 일부분의 디스플레이를 제거하는 것은 물리적 환경의 각자의 표현으로 일부분들을 대체하는 것을 포함한다). 일부 실시예들에서, 디스플레이로부터 제거되는 가상 환경의 부분들은 전자 디바이스 및/또는 사용자에 더 가까운 가상 환경의 부분들이고, 선택적으로 디스플레이로부터 제거되지 않은 가상 환경의 부분들은 전자 디바이스 및/또는 사용자로부터 더 멀리 있다. 예를 들어, 디바이스가 6 인치 초과만큼 이동된 것을 검출하는 것에 응답하여, 전자 디바이스는 (예컨대, 사용자가 그의 또는 그녀의 주위의 영역을 볼 수 있게 하여 그의 또는 그녀의 물리적 환경 주위에서 안전하게 이동할 수 있도록) 전자 디바이스 주위의 물리적 환경의 2 걸음 반경을 드러낸다. 일부 실시예들에서, 가상 환경이 전자 디바이스 및/또는 사용자 주위의 각자의 반경(예컨대, 사용자가 안전하게 이리저리 걷게 하도록 드러나는 반경) 내로 연장되는 경우, 가상 환경의 일부분들은 디스플레이로부터 단지 제거되어 있다. 예를 들어, 가상 환경이 전자 디바이스 및/또는 사용자로부터 멀리 3차원 환경에 디스플레이되도록 하는 몰입 레벨의 경우, 임계 거리 초과만큼의 디바이스의 이동을 검출하는 것에 응답하여, 가상 환경의 디스플레이는 유지된다(예컨대, 이는 사용자 및/또는 전자 디바이스 주위의 각자의 반경이 물리적 환경을 이미 디스플레이하고 있기 때문이다). 일부 실시예들에서, 드러난 물리적 환경의 양은 전자 디바이스의 이동의 양에 기초한다. 예를 들어, 전자 디바이스가 6 인치만큼 이동하는 경우, 물리적 환경의 2 걸음 반경이 드러나지만, 전자 디바이스가 2 피트만큼 이동하는 경우, 그에 응답하여, 물리적 환경의 5 걸음 반경이 드러난다(예컨대, 그리고 선택적으로, 전자 디바이스가 2 피트, 3 피트, 10 피트 등과 같은 임계치 초과만큼 이동하는 경우, 모든 가상 환경은 디스플레이로부터 제거되고 물리적 환경은 선택적으로 3차원 환경 전체를 포괄한다). 일부 실시예들에서, 전자 디바이스의 이동의 속도는 디바이스 주위의 얼마나 많은 물리적 환경이 드러나는지를 결정한다(예컨대, 더 빠른 이동은 더 큰 반경이 드러나게 하고 더 느린 이동은 더 작은 반경이 드러나게 한다). 일부 실시예들에서, 전자 디바이스가 물리적 환경 주위에서 이동함에 따라, 물리적 환경을 드러내는 전자 디바이스 주위의 원(예컨대, 가상 환경 내의 절결부)은 전자 디바이스가 이동함에 따라 전자 디바이스를 따른다. 일부 실시예들에서, (예컨대, 물리적 환경이 제1 기준들을 만족하는 경우에 방법(800)과 관련하여 위에서 논의된 바와 같이) 가상 환경은 디바이스가 물리적 환경 주위에서 이동함에 따라 가상 환경의 몰입의 양을 감소시킨다. 일부 실시예들에서, 가상 환경의 일부분의 디스플레이를 제거하는 것은 가상 환경과 연관된 하나 이상의 오디오 효과들을 감소시키거나 중지하는 것을 포함한다. 예를 들어, 오디오 효과들의 하나 이상의 오디오 트랙들을 제거하는 것, 오디오 효과들의 볼륨을 감소시키는 것 등.
(예컨대, 전자 디바이스가 임계량만큼 이동하였다는 결정에 응답하여) 가상 환경의 일부분의 디스플레이를 중지하는 전술된 방식은 (예컨대, 사용자가 그의 또는 그녀의 물리적 환경 주위에서 이동하는 경우, 사용자가 몰입의 양을 감소시키기 위한 추가 입력을 수행할 필요 없이, 자동적으로) 사용자가 사용자 주위의 물리적인 영역을 안전하게 보게 하는 신속하고 효율적인 방법을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 사용자가 그의 또는 그녀의 환경과 안전하게 상호작용할 수 있는 메커니즘을 제공하고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제1 위치로부터 멀어지는 전자 디바이스의 이동을 검출하는 것에 응답하여(1094), 제1 위치로부터 멀어지는 전자 디바이스의 이동이 임계 거리보다 작은 제1 거리라는 결정에 따라, 전자 디바이스는, 도 9e에서 가상 환경(722)의 일부분들을 희미해지게 하는 것과 같이, 가상 환경의 일부분의 디스플레이를 제1 양만큼 강조약화시킨다(1096)(예컨대, 전자 디바이스가 제1 거리(예컨대, 6 인치, 1 피트, 2 피트, 4 피트, 10 피트 등)만큼 이동함에 따라, (예컨대, 전자 디바이스가 임계 거리에 도달하는 경우) 디스플레이되는 것이 중지되는 가상 환경의 부분은 강조약화를 시작한다).
예를 들어, 전자 디바이스가 임계량만큼 이동할 때 결국은 더 이상 디스플레이되지 않는 가상 환경의 부분은 전자 디바이스가 이동하기 시작함에 따라, 그러나 전자 디바이스가 임계량만큼 이동하기 전에, 희미해지기 시작한다. 일부 실시예들에서, 가상 환경의 일부분이 희미해지는 양은 전자 디바이스가 이동하는 양에 기초한다. 예를 들어, 전자 디바이스가 더 많이 이동함에 따라, 희미해지는 양은 전자 디바이스가 임계량만큼 이동할 때까지 증가되고, 이 시점에서 희미해짐은 100%이다(예컨대, 가상 환경의 일부분은 완전히 희미해지고 더 이상 디스플레이되지 않는다). 일부 실시예들에서, 희미해진 가상 환경의 양은 전자 디바이스가 이동하는 양에 기초한다. 예를 들어, 가상 환경은 전자 디바이스가 이동하기 시작함에 따라 사용자 가까이에서 희미해지기 시작하고, 희미해짐은 (예컨대, 전자 디바이스가 더 많이 이동함에 따라) 디스플레이되는 것이 중지되는 부분의 전체를 포괄할 때까지 외향으로 이동한다.
일부 실시예들에서, 제1 위치로부터 멀어지는 전자 디바이스의 이동이, 제1 거리보다 크고 임계 거리보다 작은 제2 거리라는 결정에 따라, 전자 디바이스는, 도 9e에서 가상 환경(722)의 일부분들을 추가로 희미해지게 하는 것과 같이, 가상 환경의 일부분의 디스플레이를 제1 양보다 큰 제2 양만큼 강조약화시킨다(1098)(예컨대, 전자 디바이스가 제1 거리만큼 이동한 후, 전자 디바이스가 제2 거리(예컨대, 더 먼 거리)만큼 이동하였다는 결정에 응답하여, (예컨대, 전자 디바이스가 임계 거리에 도달할 때) 디스플레이되는 것이 중지되는 가상 환경의 일부분은 더 추가로 강조약화된다). 일부 실시예들에서, 제2 양만큼 강조약화시키는 것은 가상 환경의 일부분을 추가로 희미하게 하는 것(예컨대, 투명도를 증가시키는 것)을 포함한다. 일부 실시예들에서, 제2 양만큼 강조약화시키는 것은 더 많은 가상 환경을 희미하게 하는 것(예컨대, 희미하게 되는 양을 확장시키는 것)을 포함한다.
(예컨대, 전자 디바이스가 이동하여 가상 환경의 일부분이 디스플레이되는 것이 중지되는 임계량에 접근함에 따라) 가상 환경의 일부분들을 강조약화시키는 전술된 방식은 (예컨대, 점진적으로 가상 환경을 사라지게 하고 물리적 환경을 뚜렷해지게 함으로써) 물리적 환경을 드러내는 신속하고 효율적인 방법을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 9e에서와 같이, 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 사용자의 시점 주위의 물리적 환경 내의 제1 위치로부터 멀어지는 전자 디바이스의 이동을 검출한다(1099)(예컨대, 전자 디바이스가 물리적 환경 내의 그의 이전 위치로부터 물리적 환경 내의 새로운 위치로 위치를 변경하였다는 것을 검출함).
예를 들어, 사용자가 전자 디바이스를 보유하고 있는 동안, 물리적 환경 내의 새로운 위치로 이동하는 경우. 일부 실시예들에서, 전자 디바이스는 가속도계, 자이로스코프, GPS 로케이터 등과 같은 하나 이상의 센서들을 사용하여 전자 디바이스가 새로운 위치로 이동하였다는 것을 검출한다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 하나 이상의 카메라들이 물리적 환경의 변경된 관점을 캡처하는 것에 응답하여 전자 디바이스가 새로운 위치로 이동하였다는 것을 검출한다(예컨대, 카메라가 물리적 환경의 상이한 위치를 보고 있다는 것을 검출함 및/또는 카메라가 상이한 각도로부터 동일한 위치를 보고 있다는 것을 검출함). 일부 실시예들에서, 제1 위치로부터 멀어지는 이동은 수평 이동 및/또는 수직 이동을 포함한다. 예를 들어, 사용자가 룸 내의 새로운 위치로 걸어가는 경우, 전자 디바이스는 그의 원래 위치로부터 멀어지는 전자 디바이스의 이동을 검출한다. 일부 실시예들에서, 사용자가 앉은 위치로부터 일어나는 경우, 전자 디바이스는 그의 원래 위치로부터 멀어지는 이동으로서 이동을 검출한다(예컨대, 수직 위치의 변화).
일부 실시예들에서, 제1 위치로부터 멀어지는 전자 디바이스의 이동을 검출하는 것에 응답하여(1097), 제1 위치로부터 멀어지는 전자 디바이스의 이동이 임계 거리를 초과한다는 (예컨대, 전자 디바이스가 그의 원래 위치로부터, 가상 환경의 디스플레이가 중지되는 이전에 설명된 임계 거리와 같은, 6 인치, 1 피트, 3 피트, 6 피트 등 초과만큼 멀리 이동하였다는) 결정에 따라(1095), 각자의 공간 효과로 3차원 환경을 디스플레이하는 것이, 디스플레이 생성 컴포넌트를 통해, 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함한다는 결정에 따라, 전자 디바이스는, 도 9e에서 몰입 레벨을 감소시키거나 물리적 환경의 일부분들을 복원하는 것과 같이, 가상 환경의 일부분의 디스플레이를 중지한다(1093)(예컨대, 가상 환경이 디스플레이되는 물리적 환경의 부분들(예컨대, 물리적 환경의 가상 환경으로 대체된 부분들)이 디스플레이되도록 3차원 환경 내에 디스플레이되는 각자의 공간 효과가 가상 환경(예컨대, 시뮬레이션된 환경)을 디스플레이하는 것을 포함하는 경우, 전자 디바이스의 이동이 임계 거리 초과인 것을 검출하는 것에 응답하여, 가상 환경의 일부분은 더 이상 디스플레이되지 않는다(예컨대, 그리고 선택적으로, 그의 제자리에, 물리적 환경의 일부분이 복원된다)). 일부 실시예들에서, 가상 환경의 일부분의 디스플레이를 중지하는 것은 가상 환경과 연관된 하나 이상의 오디오 효과들을 감소시키거나 또는 중지하는 것을 포함한다. 예를 들어, 오디오 효과들의 하나 이상의 오디오 트랙들을 제거하는 것, 오디오 효과들의 볼륨을 감소시키는 것 등.
각자의 공간 효과로 3차원 환경을 디스플레이하는 것이, 디스플레이 생성 컴포넌트를 통해, 대기 효과로 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함한다는 결정에 따라, 전자 디바이스는, 도 9f에서와 같이, 대기 효과로 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 유지한다(1092)(예컨대, 3차원 환경 내에 디스플레이되는 각자의 공간 효과가 물리적 환경의 표현을 수정하여 하나 이상의 대기 효과들(예컨대, 상이한 조명 효과들, 어두워짐, 밝아짐, 안개, 박무 등)을 갖도록 하는 것을 포함하는 (예컨대, 그리고 선택적으로, 가상 환경을 디스플레이하는 것을 포함하지 않는) 경우, 전자 디바이스의 이동이 임계 거리를 초과한다고 결정하는 것에 응답하여, 각자의 공간 효과들은 디스플레이되는 것이 중지되지 않는다).
일부 실시예들에서, 물리적 환경이 (예컨대, 대기 효과들에서도) 사용자에게 여전히 보일 수 있기 때문에, 대기 효과들을 유지하는 것은 사용자가 전자 디바이스 및/또는 사용자 주위의 물리적 환경을 보는 것을 방해하고/하거나 안전 문제를 야기한다. 일부 실시예들에서, 대기 효과의 디스플레이를 유지하는 것은 대기 효과 중 하나 이상의 크기를 감소시키는 것(예컨대, 효과가 환경을 흐려지게 하는 양을 감소시키는 것 등)을 포함한다. 일부 실시예들에서, 대기 효과의 디스플레이를 유지하는 것은 대기 효과들 중 하나 이상의 크기를 변경하지 않는 것을 포함한다. 일부 실시예들에서, 가상 환경의 일부분의 디스플레이를 유지하는 것은 가상 환경과 연관된 하나 이상의 오디오 효과들을 유지하는 것을 포함한다.
가상 환경들의 디스플레이를 중지하지만 대기 효과들의 디스플레이를 유지하는 전술된 방식은 (예컨대, 물리적 환경의 일부분들이 볼 수 있는 것을 달리 방해하는 가상 환경의 일부분들의 디스플레이를 중지하지만, 대기 효과들이 활성인 경우에도, 선택적으로 물리적 환경의 일부분들이 보일 수 있는 상태를 유지하게 하는 대기 효과들의 디스플레이를 유지함으로써) 사용자가 그의 또는 그녀의 물리적 환경을 보는 것을 허용하도록 물리적 환경을 드러내는 신속하고 효율적인 방법을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 사용자가 그의 또는 그녀의 환경과 안전하게 상호작용할 수 있는 메커니즘을 제공하고(예컨대, 그러나 사용자가 그의 또는 그녀의 환경과 안전하게 상호작용할 수 있는 상황들에서는 공간 효과의 몰입을 그와 달리 유지함), 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 도 9a에서와 같이, 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함한다(1089).
일부 실시예들에서, 가상 환경의 일부분을 디스플레이하는 것을 포함하여 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안 그리고 사용자의 시점 주위의 물리적 환경의 표현이 디스플레이 생성 컴포넌트를 통해 디스플레이되지 않는 동안, 전자 디바이스는, 도 9e에서와 같이, 하나 이상의 입력 디바이스들을 통해, 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 전자 디바이스의 이동을 검출한다(1087)(예컨대, 전자 디바이스가 그의 이전 배향으로부터 배향을 변경하여 전자 디바이스가 상이한 방향을 "향하고" 있고 물리적 환경의 이전과 상이한 영역을 캡처하고 있다는 것을 검출함).
일부 실시예들에서, 배향의 변화를 검출하는 것에 응답하여, 전자 디바이스는 전자 디바이스의 배향의 변화에 따라 3차원 환경의 시점의 배향을 변경한다. 예를 들어, 전자 디바이스가 좌측으로 90도 회전되는 경우, 3차원 환경의 뷰는 또한 전자 디바이스의 좌측 회전을 모방하기 위해 좌측으로 90도 회전된다. 그러한 방식으로, 사용자는 사용자가 3차원 환경 내에 물리적으로 위치되었던 것처럼 3차원 환경을 둘러볼 수 있다. 일부 실시예들에서, 전자 디바이스는 가속도계, 자이로스코프 등과 같은 하나 이상의 센서들을 사용하여 배향의 변화를 검출한다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 하나 이상의 카메라들이 물리적 환경의 시점의 변화를 캡처하는 것에 응답하여 배향의 변화를 검출한다(예컨대, 카메라가 회전하였고 물리적 환경의 상이한 영역을 보고 있다는 것을 검출함).
일부 실시예들에서, 전자 디바이스의 이동을 검출하는 것에 응답하여(1085), 도 9e(예컨대, 10도, 45도, 90도, 135도 등과 같은 임계량만큼 수평으로 좌측 또는 우측으로 회전하는 전자 디바이스 또는 회전의 수평 컴포넌트가 임계량 초과이도록 회전하는 전자 디바이스)에서와 같이, 3차원 환경 내로의 사용자의 시점의 배향이 제1 배향으로부터 임계량 초과만큼 수평으로 변경되는 경우에 만족되는 기준을 포함하는 하나 이상의 기준들을 전자 디바이스의 이동이 만족한다는 결정에 따라, 전자 디바이스는, 가상 환경(922a)의 일부분들이 도 9e에서 희미해졌거나 제거되었던 경우와 같이, 가상 환경의 일부분의 디스플레이를 강조약화시키고, 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 표현의 적어도 일부분을 디스플레이한다(1083)(예컨대, 가상 환경의 일부분을 희미하게 하고 (예컨대, 가상 환경의 희미해진 부분들 아래의) 물리적 환경의 표현의 각자의 부분들을 드러냄).
일부 실시예들에서, 가상 환경의 일부분은 부분적으로 희미하게 된다(예컨대, 10% 투명도, 50% 투명도, 75% 투명도 등). 일부 실시예들에서, 희미해진 가상 환경의 일부분은, 선택적으로 사용자가 향하고 있는 방향으로, 가상 환경의 에지(예컨대, 경계)이다. 예를 들어, 사용자가 좌측으로 보는 경우, 가상 환경의 좌측 에지가 희미해지지만, 사용자가 우측으로 보는 경우는, 가상 환경의 우측 에지가 희미해진다.
(예컨대, 사용자의 시점이 수평으로 이동하였던 것을 검출하는 것에 응답하여) 가상 환경들의 디스플레이를 강조약화시키는 전술된 방식은 물리적 환경의 일부분들을 드러내는 신속하고 효율적인 방법을 제공하는데, 이는 (예컨대, 사용자가 강조약화를 위한 추가 입력들을 수행할 필요 없이 또는 가상 환경의 디스플레이를 디스에이블시킬 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며 사용자가 그의 또는 그녀의 환경과 안전하게 상호작용할 수 있는 메커니즘을 제공하고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 도 9a에서와 같이, 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함한다(1081). 일부 실시예들에서, 가상 환경의 일부분을 디스플레이하는 것을 포함하여 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안 그리고 물리적 환경의 표현이 디스플레이 생성 컴포넌트를 통해 디스플레이되지 않는 동안, 전자 디바이스는, 도 9e에서와 같이, 하나 이상의 입력 디바이스들을 통해, 3차원 환경 내로의 전자 디바이스의 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 전자 디바이스의 이동을 검출한다(1079)(예컨대, 전자 디바이스가 그의 이전 배향으로부터 배향을 변경하여 전자 디바이스가 상이한 방향을 "향하고" 있고 물리적 환경의 이전과 상이한 영역을 캡처하고 있다는 것을 검출함).
일부 실시예들에서, 배향의 변화를 검출하는 것에 응답하여, 전자 디바이스는 전자 디바이스의 배향의 변화에 따라 3차원 환경의 시점의 배향을 변경한다. 예를 들어, 전자 디바이스가 좌측으로 90도 회전되는 경우, 3차원 환경의 뷰는 또한 전자 디바이스의 좌측 회전을 모방하기 위해 좌측으로 90도 회전된다. 그러한 방식으로, 사용자는 사용자가 3차원 환경 내에 물리적으로 위치되었던 것처럼 3차원 환경을 둘러볼 수 있다. 일부 실시예들에서, 전자 디바이스는 가속도계, 자이로스코프 등과 같은 하나 이상의 센서들을 사용하여 배향의 변화를 검출한다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 하나 이상의 카메라들이 물리적 환경의 시점의 변화를 캡처하는 것에 응답하여 배향의 변화를 검출한다(예컨대, 카메라가 회전하였고 물리적 환경의 상이한 영역을 보고 있다는 것을 검출함).
일부 실시예들에서, 전자 디바이스의 이동을 검출하는 것에 응답하여(1077), 사용자가 도 9e에서 디바이스(101)를 하향하도록 이동시켰던 경우와 같이, 3차원 환경 내로의 사용자의 시점의 배향이 제1 배향으로부터 물리적 환경의 그룹을 향하여 지향된 제2 배향으로 수직으로 변경되는 경우에 만족되는 기준을 포함하는 하나 이상의 기준들을 전자 디바이스의 이동이 만족한다는 (예컨대, (예컨대, 물리적 환경의 표현이 달리 디스플레이되었을 경우) 사용자가 근처에 위치되는 지면, 바닥, 또는 다른 표면의 일부분이 3차원 환경 내에서 가시적이도록 전자 디바이스가 수직 하향으로 회전하였다는) 결정에 따라, 전자 디바이스는 가상 환경의 일부분의 디스플레이를 강조약화시키고, 디스플레이 생성 컴포넌트를 통해, 도 9e에서 사용자의 발들 주위의 물리적 환경을 드러내는 것과 같이, 물리적 환경의 그룹의 표현의 적어도 일부분을 디스플레이한다(1075)(예컨대, 가상 환경의 표현의 일부분을 희미하게 하여 사용자 주위의 물리적 환경의 일부분을 드러냄).
일부 실시예들에서, 드러나는 물리적 환경의 일부분은 1 피트, 2 피트, 3 피트, 5 피트, 10 피트 등과 같은, 사용자 주위의 물리적 환경의 지면의 미리결정된 반경이다. 일부 실시예들에서, 사용자 주위의 미리결정된 반경 내에 있는 가상 환경의 부분은 희미해지고(예컨대, 선택적으로 점진적인 희미해짐 - 사용자 및/또는 전자 디바이스에 더 가까운 일부분은 사용자 및/또는 전자 디바이스로부터 더 멀리 있는 부분보다 더 희미해짐), 미리결정된 반경 내에 있지 않은 가상 환경의 부분은 희미해지지 않는다. 일부 실시예들에서, 드러난 사용자 주위의 반경 내에 가상 환경이 디스플레이되지 않도록 하는 몰입 레벨인 경우, 가상 환경은 희미해지지 않는다.
(예컨대, 지면을 향하여 하향하는 디바이스의 배향의 변화를 검출하는 것에 응답하여) 가상 환경의 일부분을 강조약화시키고 전자 디바이스 주위의 지면의 표현을 디스플레이하는 전술된 방식은 (예컨대, 전자 디바이스가 지면을 향하여 하향하고 있는 것을 검출하는 것에 응답하여 지면의 표현을 자동적으로 디스플레이함으로써), 사용자 주위의 영역의 뷰를 제공하는 신속하고 효율적인 방식을 제공하는데, 이는 (예컨대, 사용자가 가상 환경의 일부분들을 디스플레이하는 것을 중지하기 위한 추가 입력들을 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 사용자가 그의 또는 그녀의 환경과 안전하게 상호작용할 수 있는 메커니즘을 제공하고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 도 9a에서와 같이, 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함한다(1073). 일부 실시예들에서, 도 9a에서와 같이, 제1 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은 3차원 환경 내로의 사용자의 시점으로부터 제1 거리에 가상 환경의 일부분을 디스플레이하는 것을 포함한다(1071)(예컨대, 각자의 공간 효과가 제1 몰입 레벨로 있는 경우, 가상 환경은 3차원 환경의 시점(예컨대, 카메라 위치)으로부터 떨어진 제1 거리에 디스플레이된다).
일부 실시예들에서, 물리적 환경의 표현과 가상 환경 사이의 경계는 제1 거리에 떨어져 있고, 가상 환경은 제1 거리로부터 외향으로 연장된다(예컨대, 가상 환경의 단부까지 외향으로 연장되거나 가상 환경에서 수평을 향하여 외향으로 연장됨). 예를 들어, (예컨대, 물리적 환경이 제1 기준들을 만족하는 경우에 방법(800)과 관련하여 전술된 바와 유사한 방식으로) 제1 거리로부터 내향으로, 물리적 환경이 디스플레이되고, 제1 거리로부터 외향으로, 가상 환경이 디스플레이된다.
일부 실시예들에서, 도 9c에서와 같이, 제1 몰입 레벨보다 높은 제2 몰입 레벨의 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은 3차원 환경 내로의 사용자의 시점으로부터 제1 거리 미만인 제2 거리에 가상 환경의 일부분을 디스플레이하는 것을 포함한다(1069)(예컨대, 각자의 공간 효과가 제2 더 큰 몰입 레벨에 있는 경우, 가상 환경은 3차원 환경의 시점으로부터 떨어져 제2 더 큰 거리에 디스플레이된다).
일부 실시예들에서, 물리적 환경의 표현과 가상 환경 사이의 경계는 제2 거리에 떨어져 있다(예컨대, 물리적 환경은 제2 거리보다 더 가까운 공간이고 가상 환경은 제2 거리보다 더 먼 공간이다). 따라서, 몰입 레벨이 증가됨에 따라, 물리적 환경과 가상 환경 사이의 경계는 선택적으로 사용자에 더 가깝게 이동하고(예컨대, 더 많은 3차원 환경이 가상 환경에 의해 포괄됨), 몰입 레벨이 감소됨에 따라, 경계는 사용자로부터 더 멀리 이동한다. 일부 실시예들에서, 경계를 사용자로부터 더 멀리 또는 그에게 더 가깝게 이동시키는 것은 더 많은 또는 더 적은 가상 환경을 드러내는 것을 포함한다. 예를 들어, 몰입을 증가시키는 것은 이전에 디스플레이되지 않았던 가상 환경의 더 많은 부분들을 디스플레이하는 것을 포함하고, 몰입을 감소시키는 것은 디스플레이되었던 가상 환경의 부분들을 숨기는 것을 포함한다. 일부 실시예들에서, 몰입 레벨을 변경하는 것은 더 많은 또는 더 적은 가상 환경을 디스플레이하지 않고서 가상 환경을 사용자에게 더 가깝게 또는 그로부터 더 멀리 이동시키는 것을 포함하지 않는다(예컨대, 볼 수 있는 가상 환경의 양을 유지하고 가상 환경을 사용자에게 더 가깝게 또는 그로부터 더 멀리 단지 이동시킴).
(예컨대, 몰입이 증가됨에 따라 사용자에게 더 가까운 가상 환경의 부분들을 드러내고 몰입이 감소됨에 따라 가상 환경의 부분들을 숨김으로써) 공간 효과의 몰입 레벨을 증가 또는 감소시키는 전술된 방식은 더 많은 또는 더 적은 가상 환경을 디스플레이하는 신속하고 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 공간 효과로 3차원 환경을 디스플레이하는 것은, 도 9a에서와 같이, 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함한다(1067). 일부 실시예들에서, 가상 환경의 일부분을 디스플레이하는 것을 포함하여 각자의 공간 효과로 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 도 9e에서와 같이, 하나 이상의 입력 디바이스들을 통해, 3차원 환경 내로의 전자 디바이스의 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 전자 디바이스의 이동을 검출한다(1065)(예컨대, 전자 디바이스가 그의 이전 배향으로부터 배향을 변경하여 전자 디바이스가 상이한 방향을 "향하고" 있고 물리적 환경의 이전과 상이한 영역을 캡처하고 있다는 것을 검출함).
일부 실시예들에서, 배향의 변화를 검출하는 것에 응답하여, 전자 디바이스는 전자 디바이스의 배향의 변화에 따라 3차원 환경의 시점의 배향을 변경한다. 예를 들어, 전자 디바이스가 좌측으로 90도 회전되는 경우, 3차원 환경의 뷰는 또한 전자 디바이스의 좌측 회전을 모방하기 위해 좌측으로 90도 회전된다. 그러한 방식으로, 사용자는 사용자가 3차원 환경 내에 물리적으로 위치되었던 것처럼 3차원 환경을 둘러볼 수 있다. 일부 실시예들에서, 전자 디바이스는, 예를 들어, 전자 디바이스가 머리 장착형 디바이스인 경우, 사용자의 머리의 회전에 응답하여 회전한다.
일부 실시예들에서, 전자 디바이스의 이동을 검출하는 것에 응답하여(1063), 사용자의 미리결정된 부분의 이동에 기초하여 만족되는 기준을 포함하는 하나 이상의 기준들을 전자 디바이스의 이동이 만족한다는 결정에 따라, 전자 디바이스는, 도 9g에서와 같이, 가상 환경이 전자 디바이스의 이동에 따라 디스플레이되는 3차원 환경 내의 위치를 변경한다(1061)(예컨대, 기준은 디바이스의 사용자 신체(예컨대, 선택적으로 사용자의 머리가 아닌 사용자의 몸통)가 새로운 방향을 향하도록 회전한 경우에 만족된다(예컨대, 선택적으로 전자 디바이스가 배향을 변경하게 한 사용자 신체의 회전)).
일부 실시예들에서, 사용자의 신체가 새로운 방향을 향하도록 회전한 것으로 결정하는 것에 응답하여, 가상 환경은 사용자 신체의 회전에 따라 사용자 주위에서 회전한다. 일부 실시예들에서, 가상 환경을 회전시키는 것은 가상 환경을 3차원 환경 내의 새로운 위치로 이동시키는 것을 포함한다. 일부 실시예들에서, 가상 환경은 사용자의 신체가 향하고 있는 새로운 위치로 이동되어, 가상 환경이 사용자의 신체와 중심설정되게 한다(예컨대, 가상 환경의 중심은 시야의 중심에 있다). 일부 실시예들에서, 가상 환경을 새로운 위치로 이동시키는 것은 가상 환경이 새로운 "전방" 사용자 시점과 정렬되도록 가상 환경을 회전시키는 것을 포함한다. 예를 들어, 사용자가 그의 또는 그녀의 머리 및 신체를 좌측으로 30도 이동시키는 경우, 가상 환경은 그의 원래 위치의 좌측으로 30도에 있는 3차원 환경 내의 새로운 위치로 이동되고, 이어서, 가상 환경이, 사용자가 그의 또는 그녀의 신체를 회전하기 전과 동일한 정렬을 이동 후 사용자에 대해 갖도록 30도로 회전된다. 일부 실시예들에서, 가상 환경은, 전자 디바이스의 배향을 변경하는 전자 디바이스의 이동을 검출하지 않고서도, 사용자의 신체가 새로운 배향으로 회전하였다는 것을 검출하는 것에 응답하여 새로운 위치로 이동되고 회전된다.
일부 실시예들에서, 전자 디바이스의 이동이 하나 이상의 기준들을 만족하지 않는다는 결정에 따라, 전자 디바이스는, 도 9e에서와 같이, 가상 환경이 디스플레이되는 3차원 환경 내의 위치를 유지한다(1059)(예컨대, 사용자의 신체가 회전하지 않은 경우, 예컨대, 사용자의 신체가 회전하지 않고서 사용자의 머리가 회전한 경우, 가상 환경은 사용자의 신체의 회전에 따라 새로운 위치로 이동하지 않고/않거나 회전하지 않는다).
일부 실시예들에서, 사용자의 시점이 변경되었더라도, 가상 환경은 그의 원래 위치에 유지된다. 일부 실시예들에서, 시점의 변화에 응답하여, 사용자는 시점의 변화에 따라 3차원 환경의 상이한 뷰로 제시된다(예컨대, 사용자가 30도만큼 좌측을 보는 경우, 3차원 환경의 디스플레이는 이전에 디스플레이되었던 것의 좌측으로 30도에 있는 3차원 환경(예컨대, 물리적 환경)의 일부분을 사용자가 보도록 업데이트된다). 일부 실시예들에서, 사용자는 가상 환경의 에지(예컨대, 가상 환경이 끝나고 물리적 환경이 시작되는 경계)를 (예컨대, 너머) 볼 수 있다.
(예컨대, 사용자의 미리정의된 부분이 새로운 방향을 향하도록 회전한 것을 검출하는 것에 응답하여, 그러나 미리정의된 부분이 회전하지 않고 사용자의 시점이 회전한 경우) 가상 환경을 이동시키는 전술된 방식은 (예컨대, 더 일시적인 배향의 변화를 나타내는, 그의 또는 그녀의 머리를 회전하는 것과 대조적으로, 더 오래 지속되는 배향의 변화를 나타내는, 사용자가 그의 또는 그녀의 머리를 회전하는 경우) 몰입을 유지하는 신속하고 효율적인 방식을 제공하는데, 이는 (예컨대, 사용자가 3차원 환경을 이동시키기 위한 추가 입력들을 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
도 11a 내지 도 11d는 일부 실시예들에 따른, 객체를 가상 환경 내부로 또는 외부로 이동시키는 예들을 예시한다.
도 11a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, 사용자 인터페이스 상에 3차원 환경(1104)을 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 11a에 도시된 바와 같이, 디바이스(101)는 디바이스(101) 주위의 실제 세계 환경(1102) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 실제 세계 환경(1102)(예컨대, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 일부 실시예들에서, 디바이스(101)는 3차원 환경(1104)에서 실제 세계 환경의 표현들을 디스플레이한다. 예를 들어, 3차원 환경(1104)은 데스크(1106a)의 표현의 일부분 및 커피 테이블(1108a)의 표현을 포함한다. 도 11a의 실제 세계 환경(1102)의 오버헤드 뷰(1116)에 도시된 바와 같이, 데스크(1105b) 및 커피 테이블(1106b)은 디바이스(101)의 하나 이상의 센서들에 의해 캡처되었던 실제 세계 환경(1102) 내의 실제 객체들이다. 도 11a에서, 3차원 환경(1104)은 현재 (예컨대, 몰입 레벨 표시자(1110)에 의해 표시된 바와 같이) 3의 몰입 레벨에 있고, 결과적으로, 가상 환경(1112a)은 3차원 환경(1104)의 일부분을 포괄하고 (예컨대, 도 7e에서 전술된 3차원 환경(704)과 유사한 방식으로) 데스크(1106b)의 후방 부분의 뷰를 가린다.
일부 실시예들에서, 3차원 환경(1104)은, 선택적으로는 몰입형 가상 환경과 동시에, 디바이스(101) 상에서 실행되는 하나 이상의 애플리케이션들의 하나 이상의 사용자 인터페이스들을 포함한다. 예를 들어, 도 11a에서, 3차원 환경(1104)은 (예컨대, 도 7e와 관련하여 전술된 가상 환경(722a)과 유사하게) 3의 몰입 레벨에 있는 가상 환경(1112a)을 포함하고, 디바이스(101) 상에서 실행되는 애플리케이션의 사용자 인터페이스(1114a)를 또한 포함한다. 디바이스(101) 상에서 실행되는 애플리케이션들의 예들은 미디어 플레이어 애플리케이션, 음악 애플리케이션, 사진 앨범 애플리케이션, 브라우저 애플리케이션, 워드 프로세서 애플리케이션 등을 포함한다. 도 11a에 도시된 바와 같이, 사용자 인터페이스(1114a)는 3차원 환경(1104)의 실제 세계 환경 부분(예컨대, 오버헤드 뷰(1116) 내의 사용자 인터페이스(1114b)의 위치가 커피 테이블(1106b) 옆에 있고 가상 환경(1112b)의 경계보다 사용자(1120)에게 더 가까이 있는 것으로 예시된 바와 같은, 실제 세계 환경(1102)의 표현들을 포함하고 가상 환경(1112a)에 의해 대체되지 않은 3차원 환경(1104)의 부분)에 위치된다. 일부 실시예들에서, 3차원 환경(1104)이 사용자 인터페이스를 포함하는 경우, 사용자 인터페이스는 3차원 환경(1104) 내의 객체들 상에 조명 효과들을 드리운다. 예를 들어, 도 11a에서, 사용자 인터페이스(1114a)는 조명 공급원과 같이 작용하고, 3차원 환경(1104)의 바닥 상으로 반사(1122)(예컨대, 눈부심)를 드리운다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 객체들이 실제 물리적 주변의 광의 양보다 더 밝게 조명되게 하고/하거나 객체들이 사용자 인터페이스(1114a) 상의 요소들로부터의 색상들로 착색되게 한다(예컨대, 사용자 인터페이스(1114a) 상의 적색 요소는 3차원 환경(1104) 내의 객체들 상에서 적색 색조 또는 적색 반사를 선택적으로 야기한다). 일부 실시예들에서, 사용자 인터페이스(1114a)는 3차원 환경(1104)의 일부분들 상에 그림자들을 드리운다. 예를 들어, 3차원 환경(1104) 내의 광원(예컨대, 실제 세계 환경(1102) 내의 광원, 가상 환경으로부터의 광원, 예컨대, 가상 환경(1112a), 및/또는 도 9b에서와 같은 가상 조명 효과로부터의 가상 광)이 사용자 인터페이스(1114a) 상을 비추는 경우, 사용자 인터페이스(1114a)는 조명원으로서 사용자 인터페이스(1114a)의 반대측 상에 있는 3차원 환경(1104)의 부분들 상으로 그림자를 드리운다. 일부 실시예들에서, 3차원 환경(1104) 내의 실제 세계 객체의 가상 객체 및/또는 표현은 전술된 사용자 인터페이스(1114a)와 유사한 거동들을 나타낸다(예컨대, 3차원 환경(1104)의 다른 부분들 상에 조명 효과들을 드리우고/드리우거나 그림자들을 드리운다).
도 11a에서, 사용자 입력이 사용자 인터페이스(1114a)를 선택하는 사용자의 손(1124)에 의해 검출된다. 일부 실시예들에서, 사용자 인터페이스(1114a)를 선택하는 사용자 입력은 사용자 인터페이스(1114a)와 연관된 위치 상에서의 탭 또는 사용자 인터페이스(1114a)의 위치에 대응하는 실제 세계 환경(1102) 내의 위치에서의 핀치 제스처를 포함한다(예컨대, 직접 조작 입력들). 일부 실시예들에서, 사용자는, 사용자의 시선이 사용자 인터페이스(1114a)에 지향되는 동안, (예컨대, 선택적으로 손이, 사용자 인터페이스(1114a)에 있는 그리고/또는 그와 연관된 위치 상에서 탭핑하거나 그 위치를 핀칭할 필요 없이) 탭 또는 핀치와 같은 선택 제스처를 수행함으로써 간접 조작 입력들을 수행할 수 있다.
도 11b에서, 선택 입력을 유지하는 동안, 디바이스(101)는 사용자 인터페이스(1114a)를 3차원 환경(1104) 내에서 내향으로 (예컨대, 오버헤드 뷰(1116) 내에서 사용자(1120)로부터 멀어지게 그리고 가상 환경(1112b)의 경계에 더 가깝게 이동하는 사용자 인터페이스(1114b)에 의해 도시된 바와 같이, 사용자(1120)의 시점으로부터 멀리 3차원 환경(1104) 내로) 이동시키는 손(1124)의 이동을 검출한다. 일부 실시예들에서, 이동은 사용자의 신체로부터 멀어지는 손(1124)의 연장, 및 그에 응답한, 손(1124)의 이동에 따른 사용자 인터페이스(1114a) 이동을 포함한다(예컨대, 동일한 방향으로 그리고 선택적으로 손(1124)의 이동과 동일한 양만큼 또는 손(1124)의 이동의 비율조정된 양만큼) 이동한다. 일부 실시예들에서, 3차원 환경(1104) 내의 새로운 위치로 사용자 인터페이스(1114a)를 이동시키는 것은, 예를 들어, 조명원의 위치를 변경한 결과로서, 사용자 인터페이스(1114a)가 3차원 환경(1104) 내의 상이한 객체들/부분들 상에 조명 효과들을 드리우게 하거나, 상이한 방식으로 동일한 객체들 상에 광을 드리우게 한다. 예를 들어, 도 11b에서, 3차원 환경(1104)의 바닥 상에서의 반사(1122)(예컨대, 눈부심)는 사용자 인터페이스(1114a) 이동으로 인해 이동하였다. 일부 실시예들에서, 사용자 인터페이스(1114a)를 3차원 환경(1104) 내의 더 먼 위치로 (예컨대, 사용자(1120)로부터 더 멀리) 이동시키는 것은 사용자 인터페이스(1114a)가 (예컨대, 관점 효과로 인해) 사용자의 시점으로부터 더 멀리 있는 결과로서 더 작게 보이게 한다. 예를 들어, 사용자 인터페이스(1114a)는 3차원 환경(1114a) 주위로 이동될 때 동일한 크기를 유지하지만, 그것이 이제는 사용자의 시점으로부터 더 멀리 있기 때문에, 그것은 사용자에게 더 작게 보인다. 일부 실시예들에서, 3차원 환경(1104)에서의 사용자의 시점으로부터 상이한 거리들로 사용자 인터페이스(1114a)를 밀거나 당기는 것은 입체 깊이 효과, 그림자들(예컨대, 광원의 적어도 일부분을 차단하는 사용자 인터페이스(1114a)에 의해 생성된 것처럼 됨) 및/또는 가상 환경과의 다른 시뮬레이션된 상호작용들(예컨대, 사용자 인터페이스(1114a)가 사용자로부터 더 멀리 떨어진 가상 환경의 일부분 상에 그림자 또는 광을 드리우게 됨)을 사용하여 디바이스(101)에 의해 표시된다.
도 11c에서, 선택 입력을 유지하는 동안, 디바이스(101)는 사용자 인터페이스(1114a)를 3차원 환경(1104) 내에서 내향으로 (예컨대, 사용자(1120)의 시점으로부터 멀어지게) 그리고 가상 환경(1112a) 내로 (예컨대, 가상 환경(1112a)의 경계를 넘어서 있는 그리고/또는 가상 환경(1112a)에 의해 포괄된 3차원 환경(1104) 내의 위치로) 이동시키는 손(1124)의 이동을 검출한다. 방법(800)과 관련하여 위에서 논의된 바와 같이, 가상 환경(1112a)은 선택적으로 시뮬레이션된 환경 내로의 시각적 포털과 유사하게 작용하고, 사용자 인터페이스(1114a)를 가상 환경(1112a) 내로 이동시키는 것은 사용자 인터페이스(1114a)가 가상 환경(1112a) 내로 이동되게 하고, 그것이 3차원 환경(1104)의 실제 세계 환경 부분에 존재하는 객체보다는 오히려 가상 환경(1112a)에 존재하는 객체인 것처럼 처리되게 한다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 사용자 인터페이스(1114a)가 3차원 환경(1104)의 실제 세계 환경 부분과 가상 환경(1112a) 사이의 경계를 교차하는 것에 응답하여 가상 환경(1112a) 내로 이동된다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 사용자 인터페이스(1114a)가 3차원 환경(1104)의 실제 세계 환경 부분과 가상 환경(1112a) 사이의 경계로부터 임계 거리 이내(예컨대, 1 인치, 6 인치, 1 피트, 3 피트, 6 피트 등 이내)로 이동되는 것에 응답하여 가상 환경(1112a) 내로 이동된다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 사용자 인터페이스(1114a)를 가상 환경(1112a) 내로 이동시키기 위한 버튼 또는 어포던스의 선택과 같은 사용자 입력에 응답하여 가상 환경(1112a) 내로 이동된다. 가상 환경(1112a) 내부로 또는 외부로 가상 객체들을 이동시키기 위한 도 11a 내지 도 11d 및/또는 방법(1200)을 참조하여 제공된 설명이 선택적으로, 가상 환경(1112a) 내부로의 그리고 외부로의 하나 이상의 3차원 가상 객체들(예컨대, 가상 자동차들, 텐트들, 건물들 등의 3차원 모델들)의 이동 및 가상 환경(1112a) 내부로의 그리고 외부로의 (아래에서 더 상세히 설명되는 바와 같은) 애플리케이션 윈도우 또는 애플리케이션 포털 가상 객체들의 이동을 포함한, 가상 환경(1112a) 내부로의 그리고 외부로의 임의의 또는 모든 유형들의 가상 객체들의 이동에 부분적으로 또는 동일하게 적용된다는 것이 이해된다.
일부 실시예들에서, 사용자 인터페이스(1114a)가 가상 환경(1112a) 내에 위치되는 동안, 사용자 인터페이스(1114a)는 가상 환경(1112a) 내의 객체들 상에 하나 이상의 조명 효과들을 드리우고, 선택적으로, 3차원 환경(1104)의 실제 세계 환경 부분 내의 객체들 상에 조명 효과들을 드리우지 않는다(그러나, 일부 실시예들에서, 사용자 인터페이스(1114a)는 가상 환경(1112a) 내로의 포털을 통해 3차원 환경(1104)의 실제 세계 환경 부분 내의 객체들 상에 조명 효과들을 드리운다).
일부 실시예들에서, 사용자 인터페이스(1114a)를 가상 환경(1112a) 내로 이동시키는 것은 자동적으로, 예를 들어, 사용자 인터페이스(1114a)가 가상 환경(1112a) 내에 위치된 극장 스크린인 것과 같이, 사용자 인터페이스(1114a)가 더 큰 (예컨대, 사용자 인터페이스(1114a)의 크기를 변경하기 위한 명시적 사용자 입력을 요구하지 않고서 2배 더 큰, 3배 더 큰, 10배 더 큰, 50배 더 큰 등의) 크기로 증가하게 한다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 사용자 인터페이스(1114a)가 가상 환경(1112a) 내로 이동되기 전과 동일한 크기였던 것처럼 사용자에게 보이도록 하는 크기로 증가된다(예컨대, 디바이스(101)가 그러한 디스플레이 크기로 사용자 인터페이스(1114a)를 디스플레이한다). 예를 들어, 사용자 인터페이스(1114a)가 10배 더 멀리 떨어진 위치로 이동되는 경우, 사용자 인터페이스(1114a)는 10배 더 크게 된다. 일부 실시예들에서, 사용자 인터페이스(1114a)가 가상 환경(1112a) 내에서 더 멀리 이동되면 될수록, 사용자 인터페이스(1114a)는 (예컨대, 사용자의 관점으로부터 동일한 상대 크기를 유지하기 위해) 더 커지게 된다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 가상 환경(1112a) 내의 사용자 인터페이스(1114a)의 위치와 상관없이, 가상 환경(1112a) 내에 위치될 때 미리결정된 고정 크기를 갖는다. 일부 실시예들에서, 사용자 인터페이스(1114a)가 가상 환경(1112a) 내로 이동될 때, 사용자 인터페이스(1114a)는 미리결정된 위치(예컨대, 가상 환경(1112a)의 설계자에 의해 선택된 최적의 위치)로 스냅되고/되거나 록킹되고, 선택적으로 사용자 인터페이스(1114a)는 (예컨대, 선택적으로, 가상 환경(1112a)으로부터 제거되고 3차원 환경(1104)의 실제 세계 환경 부분으로 다시 이동되는 것을 제외하고는) 가상 환경(1112a) 내의 다른 위치로 이동될 수 없다.
도 11c에서, 오버헤드 뷰(1116)는 가상 환경(1112b)이 잠재적으로 무한 깊이(예컨대, 실제 세계 환경(1102) 내의 룸의 깊이를 넘어서 있는 깊이)를 가져서, 그에 따라, 실제 세계 환경(1102)의 깊이와 동일한 깊이를 갖는 것으로부터 가상 환경(1112a)의 깊이로 3차원 환경(1104)의 깊이를 연장하는 것을 예시한다. 따라서, 사용자는 사용자 인터페이스(1114a)를 실제 세계 환경(1102)의 경계를 넘어서 있는 위치로 이동시킬 수 있다. 도 11c에서, 예를 들어, 사용자는 가상 환경(1112a) 내에서 사용자 인터페이스(1114)를 실제 세계 환경(1102)의 경계를 넘어서 있는 위치로 이동시켰다. 사용자 인터페이스(1114)를 가상 환경(1112a) 내로 이동시키는 것에 응답하여, 사용자 인터페이스(1114)는 도 11a 및 도 11b의 사용자 인터페이스의 크기보다 훨씬 더 큰 크기로 증가된다. 도 11c에 도시된 바와 같이, 3차원 환경(1104) 내에 나타날 때의 사용자 인터페이스(1114a)의 크기는 선택적으로, (예컨대, 사용자 인터페이스(1114a)가 가상 환경(1112a) 내로 이동되기 전에) 도 11b에서 3차원 환경(1104) 내에 나타날 때의 사용자 인터페이스(1114a)와 동일한 크기이다. 일부 실시예들에서, 전술된 바와 같이, 사용자 인터페이스(1114a)는 사용자 인터페이스(1114a)가 가상 환경(1112a) 내에서 프로젝터 스크린이었던 것처럼 크기설정되어, 그에 따라, 사용자에게 몰입형의 영화를 보는 경험을 제공한다.
일부 실시예들에서, 사용자 인터페이스(1114a)는 애플리케이션의 사용자 인터페이스이고, 그 자체는 그러한 애플리케이션과 연관되고/되거나 그에 의해 제공된 콘텐츠 내로의 포털(예컨대, 시뮬레이션된 및/또는 가상 환경들 내로의 본 명세서에 설명된 포털들과 유사함)이다. 예를 들어, 사용자 인터페이스(1114a)는 선택적으로 애플리케이션의"윈도우 가상 객체", 또는 애플리케이션의"포털 가상 객체"이다. 일부 실시예들에서, 그러한 가상 객체들은 평탄하거나 평탄한 영역을 포함하고/하거나 3차원 환경(1104) 내에서 2차원 또는 3차원이다. 사용자 인터페이스(1114a)가 평탄하거나 평탄한 영역을 포함하거나 2차원 또는 3차원이거나 상관없이, 사용자 인터페이스(1114a)가 콘텐츠(예컨대, 영화, 비디오 및/또는 이미지) 재생 애플리케이션의 사용자 인터페이스인 경우, 사용자 인터페이스(1114a)는 선택적으로 포털로서, 이를 통해, (예컨대, 가상 환경(1112a)과는 상이한) 콘텐츠 재생 애플리케이션에 의해 재생되는 콘텐츠가 사용자의 시점으로부터 가시적인, 포털이다. 다른 예로서, 사용자 인터페이스(1114a)가 비디오 게임 애플리케이션의 사용자 인터페이스인 경우, 사용자 인터페이스(1114a)는 선택적으로 포털로서, 이를 통해 (예컨대, 가상 환경(1112a)과는 상이한) 비디오 게임의 시뮬레이션된 환경이 사용자의 시점으로부터 가시적인, 포털이다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 가상 환경(1112a)의 외측에 위치되는 동안에 그리고 가상 환경(1112a)의 내측에 위치되는 동안에 그러한 포털이다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 가상 환경(1112a)의 내측에 위치되는 동안에 그러한 포털이지만 가상 환경(1112a)의 외측에 위치되는 동안에는 그렇지 않다(예컨대, 사용자 인터페이스(1114a)는 가상 환경(1112a) 내로 밀리는 것에 응답하여 그러한 포털로 된다). 일부 실시예들에서, 사용자 인터페이스(1114a)는 가상 환경(1112a)의 외측에 위치되는 동안에 그러한 포털이지만 가상 환경(1112a)의 내측에 위치되는 동안에는 그렇지 않다(예컨대, 사용자 인터페이스(1114a)는 가상 환경(1112a) 외부로 당겨지는 것에 응답하여 그러한 포털로 된다).
사용자 인터페이스(1114a)가 선택적으로 애플리케이션의 콘텐츠 내로의 포털(예컨대, 콘텐츠 내로의 "윈도우")이기 때문에, 사용자 인터페이스(1114a) 내에서 제시되고/되거나 가시적인 콘텐츠의 일부분들은 선택적으로 3차원 환경(1104)의 사용자 시점 및/또는 사용자 인터페이스(1114a)를 보고 있는 각도에 기초한다. 예를 들어, 사용자의 시점이 사용자 인터페이스(1114a)에 대해 우측으로 이동하고/하거나 전자 디바이스를 통해 사용자 인터페이스(1114a)를 보고 있는 각도가 사용자 인터페이스(1114a)의 법선으로부터 더 우측으로 변경되는 경우, (예컨대, 시점의 변화 전에) 이전에 디스플레이되지 않았던 애플리케이션의 이전에 디스플레이된 콘텐츠의 좌측에 있는 콘텐츠의 부분들은 사용자 인터페이스(1114a)를 통해 전자 디바이스에 의해 선택적으로 드러나고, (예컨대, 시점의 변화 전에) 이전에 디스플레이되었던 애플리케이션의 이전에 디스플레이된 콘텐츠의 우측에 있는 콘텐츠의 부분들은 사용자 인터페이스(1114a)를 통해 선택적으로 숨겨진다(예컨대, 더 이상 가시적이지 않다). 유사하게, 사용자의 시점이 사용자 인터페이스(1114a)에 대해 좌측으로 이동하고/하거나 전자 디바이스를 통해 사용자 인터페이스(1114a)를 보고 있는 각도가 사용자 인터페이스(1114a)의 법선으로부터 더 좌측으로 변경되는 경우, (예컨대, 시점의 변화 전에) 이전에 디스플레이되지 않았던 애플리케이션의 이전에 디스플레이된 콘텐츠의 우측에 있는 콘텐츠의 부분들은 사용자 인터페이스(1114a)를 통해 전자 디바이스에 의해 선택적으로 드러나고, (예컨대, 시점의 변화 전에) 이전에 디스플레이되었던 애플리케이션의 이전에 디스플레이된 콘텐츠의 좌측에 있는 콘텐츠의 부분들은 사용자 인터페이스(1114a)를 통해 선택적으로 숨겨진다(예컨대, 더 이상 가시적이지 않다).
예를 들어, 애플리케이션의 콘텐츠의 제1 부분이 사용자 인터페이스(1114a)를 통해 가시적인 동안, 전자 디바이스(101)는 사용자 인터페이스(1114a)에 대한 사용자의 시점의 이동을 선택적으로 검출한다. 시점의 그러한 이동에 응답하여, 사용자의 시점의 이동이 사용자 인터페이스(1114a)에 대해 우측을 향한다는 결정에 따라, 전자 디바이스(101)는 선택적으로, 사용자 인터페이스(1114a) 내에서, 이전에 가시적이지 않았고 콘텐츠 내에서 콘텐츠의 제1 부분의 좌측에 있는 콘텐츠의 제2 부분을 드러내고, 콘텐츠의 제1 부분의 우측 (예컨대, 최우측) 부분의, 사용자 인터페이스(1114a) 내에서의, 디스플레이를 중지한다. 대조적으로, 시점의 그러한 이동에 응답하여, 사용자의 시점의 이동이 사용자 인터페이스(1114a)에 대해 좌측을 향한다는 결정에 따라, 전자 디바이스(101)는 선택적으로, 사용자 인터페이스(1114a) 내에서, 이전에 가시적이지 않았고 콘텐츠 내에서 콘텐츠의 제1 부분의 좌측에 있는 콘텐츠의 제3 부분을 드러내고, 콘텐츠의 제1 부분의 좌측 (예컨대, 최좌측) 부분의, 사용자 인터페이스(1114a) 내에서의, 디스플레이를 중지한다.
도 11d는 3차원 환경(1104)이 (예컨대, 몰입 레벨 표시자(1110)에 의해 예시된 바와 같이) 최대 몰입 레벨에서 (오버헤드 뷰(1116) 내의 3차원 환경(1104, 1114b)에서 1114a로 지칭되는) 사용자 인터페이스(1114a)를 디스플레이하는 것을 예시한다. 도 11d에서, 사용자 인터페이스(1114a)는 가상 환경(1112a)과 유사한 (예컨대, 그리고 선택적으로, 방법들(800, 1000)과 관련하여 전술된 가상 환경들과 동일하거나 유사한 거동을 갖는) 가상 환경으로 변경되었다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 사용자 입력이 몰입 모드로의 사용자 인터페이스(1114a)의 디스플레이를 요청하는 것에 응답하여 (예컨대, 선택적으로 최대 몰입 레벨의) 가상 환경으로서 디스플레이된다. 예를 들어, (예컨대, 도 11a 내지 도 11c 중 임의의 것과 같은) 사용자 인터페이스(1114a)를 디스플레이하는 동안, 제시 애플리케이션(그의 사용자 인터페이스(1114a)가 사용자 인터페이스임)의 제시 모드를 선택하는 사용자 입력을 수신하는 것은 사용자 인터페이스(1114a)가 강당 공간의 가상 환경으로 변경되게 하고, 미디어 플레이어 애플리케이션의 전체 스크린 모드를 선택하는 사용자 입력은 사용자 인터페이스(1114a)가 영화관 환경으로 변경되게 한다. 일부 실시예들에서, 사용자 인터페이스(1114a)가 가상 환경으로서 디스플레이될 때, 디바이스(101)는 3차원 환경을 업데이트하고 (예컨대, 도 11c의 가상 환경(1112)과 같은) 임의의 기존의 가상 환경을 사용자 인터페이스(1114a)와 연관된 가상 환경으로 대체한다. 일부 실시예들에서, 한 번에 단지 하나의 가상 환경만이 디스플레이되고, 따라서, 가상 환경으로서 사용자 인터페이스(1114a)를 디스플레이하는 것은 가상 환경(1112)이 더 이상 디스플레이되지 않게 한다. 일부 실시예들에서, 3차원 환경(1104)의 몰입 레벨은, 사용자 인터페이스(1114a)가, 도 11d에 도시된 바와 같이, (예컨대, 몰입 레벨을 명시적으로 변경하는 것을 요구하지 않으면서) 가상 환경으로서 디스플레이될 때 자동적으로 최대로 증가되어, 선택적으로 이전의 활성 몰입 레벨에 우선한다. 일부 실시예들에서, 몰입 레벨을 자동적으로 최대로 증가시키는 것은 (예컨대, 예를 들어, 몰입 레벨이 이전에 최대 레벨에 있지 않은 경우) 실제 세계 환경의 일부분의 표현들이 가상 환경의 일부로 대체되게 한다. 일부 실시예들에서, 몰입 레벨은 (예컨대, 선택적으로 최대 가능한 몰입 레벨이 아닌) 시스템에 의해 그리고/또는 사용자 설정에 의해 설정되는 최대 레벨로 증가된다. 일부 실시예들에서, 사용자 인터페이스(1114a)는 (예컨대, 선택적으로 사용자 인터페이스(1114a)가 몰입형 환경으로서 디스플레이되기 전의 몰입 레벨이었던 3의 몰입 레벨을 유지하는 것 같이) 사용자 인터페이스(1114)가 디스플레이되었을 때 활성이었던 동일한 몰입 레벨을 유지한다. 따라서, 사용자는, 3차원 환경(1104)이 가상 환경을 이미 디스플레이하고 있는지 여부와 상관없이, 애플리케이션과 연관된 가상 환경을 디스플레이할 수 있다.
일부 실시예들에서, 애플리케이션과 연관된 가상 환경을 해제하는 (예컨대, 전체 스크린 모드를 종료하는, 제시 모드를 종료하는 등의) 사용자 입력에 응답하여, 사용자 인터페이스(1114a)는, 예를 들어, 도 11c에서와 같이, 그의 원래의 비-몰입형 상태로 복귀하고, 디바이스(101)는 사용자 인터페이스(1114a)가 3차원 환경(1104)을, 몰입형 가상 환경이 되기 전에 그것이 가졌던 상태로 복원한다. 일부 실시예들에서, 3차원 환경(1104)을 복원하는 것은 몰입형 가상 환경으로서 사용자 인터페이스(1114a)의 디스플레이를 중지하는 것 및 도 11a에 설명된 바와 유사한 방식으로 사용자 인터페이스(1114a)를 재디스플레이하는 것, 및 (예컨대, 도 11c에서와 같이) 가상 환경(1112b)을 사용자 인터페이스(1114a)가 몰입형 가상 환경으로서 디스플레이되기 전에 그것이 가졌던 몰입 레벨로 재디스플레이하는 것, 및 선택적으로 (예컨대, 도 11c에서와 같이, 사용자 인터페이스(1114a)가 몰입형 가상 환경으로서 디스플레이되기 전에 물리적 환경이 디스플레이되었던 경우) 3차원 환경의 물리적 환경 부분의 디스플레이를 복원하는 것을 포함한다.
도 12a 내지 도 12g는 일부 실시예들에 따른, 객체를 가상 환경 내부로 또는 외부로 이동시키는 방법(1200)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1200)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 깊이 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1200)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1200)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
방법(1200)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 도 1의 컴퓨터 시스템(101))(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)는, 도 11a에서와 같이, 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 일부분의 표현(예컨대, 물리적 환경의 표현, 시뮬레이션된 환경, 컴퓨터-생성 현실, 확장 현실 등)을 포함하는 3차원 환경을 디스플레이한다(1202).
일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은, 사용자 입력을 수신하고(예컨대, 사용자 입력을 캡처함, 사용자 입력을 검출함 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터의 분리형), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 및/또는 모션 센서(예컨대, 손 추적 센서, 손 모션 센서) 등을 포함한다.
일부 실시예들에서, 3차원 환경은, 가상 객체들을 선택적으로 포함하고 선택적으로 전자 디바이스 주위의 물리적 세계에서 실제 세계 객체들의 표현들을 포함하는 증강 현실 환경 또는 혼합 현실 환경이다. 일부 실시예들에서, 각자의 환경은 전자 디바이스 주위의 물리적 환경에 적어도 기초한다. 예를 들어, 전자 디바이스는 사용자 주위의 환경에 관한 시각적 정보(예컨대, 환경 내의 객체들, 환경의 크기 및 형상 등)를 캡처할 수 있고 사용자에게 사용자 주위의 물리적 환경의 적어도 일부를 디스플레이할 수 있어서, 선택적으로, 이것이 (예컨대, 선택적으로 물리적 환경 내의 상이한 위치들에 있는 가상 요소들과 함께) 사용자가 여전히 물리적 환경 내에 위치되는 것처럼 보이게 할 수 있다. 일부 실시예들에서, 3차원 환경은 디스플레이 생성 컴포넌트를 통해 사용자에게 능동적으로 디스플레이된다(예컨대, 디바이스의 센서들에 의해 캡처되고 사용자에게 디스플레이됨). 일부 실시예들에서, 3차원 환경은 (예컨대, 물리적 환경의 일부분의 뷰를 가림으로써) 사용자가 물리적 환경의 적어도 일부를 볼 수 있게 하는 부분적으로 투명하거나 반투명한 디스플레이를 통해 사용자에게 수동적으로 제시된다. 일부 실시예들에서, 3차원 환경의 일부분은 디바이스 주위의 물리적 환경에 대응한다. 예를 들어, 환경의 일부분은 사용자 주위의 물리적 환경(예컨대, 실사 환경)의 표현이다. 일부 실시예들에서, 3차원 환경의 제2 부분은 물리적 환경과는 상이한 가상 환경에 대응한다. 일부 실시예들에서, 가상 환경은 방법(800)과 관련하여 전술된 시뮬레이션된 환경과 유사하다. 일부 실시예들에서, 전자 디바이스는, 시뮬레이션된 환경이 3차원 환경을 전체보다 적게 포괄하고 물리적 환경이 3차원 환경의 나머지를 포괄하는 중간 몰입 레벨에 있다. 따라서, 3차원 환경은 시뮬레이션된 환경 및 물리적 환경을 포함하는 하이브리드 환경이다. 일부 실시예들에서, 시뮬레이션된 환경과 물리적 환경의 표현 사이의 경계는 거리에 기초한다. 예를 들어, 시뮬레이션된 환경을 포함하는 3차원 환경의 부분들은 물리적 환경의 표현들을 포함하는 3차원 환경의 부분들보다 전자 디바이스에 의해 디스플레이되는 3차원 환경의 시점으로부터 더 멀리 떨어져 있다. 일부 실시예들에서, 몰입 레벨은 시뮬레이션된 환경이 더 많은 디스플레이 영역을 포괄하도록(예컨대, 시뮬레이션된 환경을, 선택적으로 사용자를 향해, 확장함) 증가될 수 있고, 그에 따라서, 물리적 환경의 일부분들을 더 많은 시뮬레이션된 환경으로 대체할 수 있다. 일부 실시예들에서, 몰입 레벨은 시뮬레이션된 환경이 더 적은 디스플레이 영역을 포괄하도록(예컨대, 시뮬레이션된 환경을, 선택적으로 사용자로부터 멀어지게, 감소시킴) 감소될 수 있고, 그에 따라서, 시뮬레이션된 환경에 의해 이전에 가려졌던 물리적 환경의 부분들을 드러낼 수 있다. 일부 실시예들에서, 시뮬레이션된 환경은 애플리케이션의 개시 또는 애플리케이션의 사용자 인터페이스의 디스플레이에 응답하여 (예컨대, 사용자가 애플리케이션을 선택하고/하거나 애플리케이션 내의 완전 몰입 모드를 인에이블하는 것에 응답하여) 디스플레이된다.
일부 실시예들에서, 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제1 입력, 예컨대, 도 11a에서의 사용자 인터페이스(1114a)를 개시하기 위한 어포던스의 선택을 검출한다(1204)(예컨대, 각자의 애플리케이션을 개시하거나 그렇지 않으면 각자의 애플리케이션의 사용자 인터페이스를 디스플레이하기 위한 디스플레이된 어포던스 또는 제어 요소의 선택을 검출함). 일부 실시예들에서, 선택은 사용자의 하나 이상의 손들에 의해 수행되고, 전자 디바이스의 하나 이상의 손 추적 센서들 및/또는 카메라들을 통해 검출된다. 일부 실시예들에서, 사용자 입력은 각자의 애플리케이션의 디스플레이를 요청하는 음성 커맨드이다.
일부 실시예들에서, 제1 입력을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 3차원 환경 내의 물리적 환경의 일부분 내에 각자의 애플리케이션의 각자의 사용자 인터페이스, 예컨대, 도 11a의 사용자 인터페이스(1114a)를 디스플레이한다(1206)(예컨대, 각자의 애플리케이션의 사용자 인터페이스는 디바이스 주위의 물리적 환경에 기초하는 3차원 환경 내의 위치에서 3차원 환경 내에 디스플레이된다(예컨대, 3차원 환경 내에 제시된다).
예를 들어, 각자의 애플리케이션의 사용자 인터페이스는 시뮬레이션된 환경과 연관된 그리고/또는 그 내의 위치들에 디스플레이되지 않는다. 일부 실시예들에서, 각자의 사용자 인터페이스는, 예를 들어, 사용자 인터페이스가 시뮬레이션된 환경의 부분들보다 더 가까운 z-깊이로 디스플레이되기 때문에, 시뮬레이션된 환경의 부분들을 오버레이한다. 예를 들어, 각자의 사용자 인터페이스가, 선택적으로 시뮬레이션된 환경을 포함하는 위치보다 가까운 z-깊이에 있는, 물리적 환경의 표현들을 포함하는 3차원 환경 내의 위치에 디스플레이되기 때문에, 각자의 사용자 인터페이스는 각자의 사용자 인터페이스의 크기 및/또는 형상에 따라 시뮬레이션된 환경의 부분들을 가릴 수 있다.
일부 실시예들에서, 3차원 환경 내의 물리적 환경의 일부분 내에 각자의 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 제2 입력, 예컨대, 도 11b에서 사용자 입력(1114a)을 이동시키기 위한 입력을 검출한다(1208)(예컨대, 각자의 사용자 인터페이스의 조작에 대응하는 사용자 입력을 검출함). 일부 실시예들에서, 사용자 입력은 사용자의 하나 이상의 손들에 의해 수행되고 각자의 사용자 인터페이스의 선택 및 이동을 포함한다. 일부 실시예들에서, 사용자 입력은 디스플레이된 어포던스 또는 제어 요소의 선택을 포함한다. 일부 실시예들에서, 사용자 입력은 음성 커맨드를 포함한다. 일부 실시예들에서, 사용자 입력은 손의 2개 이상의 손가락들에 의해 수행되는 핀치 제스처를 포함한다. 일부 실시예들에서, 사용자 입력은 손의 하나 이상의 손가락들에 의해 수행되는 포인팅 제스처를 포함한다. 일부 실시예들에서, 사용자 입력은 핀치 또는 포인팅 제스처를 유지하는 동안의 이동(예컨대, 드래그-앤드-드롭(drag-and-drop) 제스처)을 포함한다. 일부 실시예들에서, 제2 입력은 사용자의 한 손 또는 양 손들에 의한 다른 적합한 제스처들을 포함한다.
일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여(1210), 제2 입력이 3차원 환경 내의 물리적 환경의 일부분과 함께 디스플레이되는 가상 환경의 일부분 내로 각자의 사용자 인터페이스를 이동시키라는 요청에 대응한다는 결정에 따라, 전자 디바이스는, 도 11c에서와 같이, 3차원 환경 내의 가상 환경의 일부분 내에 각자의 사용자 인터페이스를 디스플레이한다(1212)(예컨대, 사용자 입력이 시뮬레이션된 환경을 포함하는 3차원 환경 내의 위치로 각자의 사용자 인터페이스를 이동시키라는 요청에 대응하는 경우, 각자의 사용자 인터페이스는 시뮬레이션된 환경 내로 이동된다).
일부 실시예들에서, 시뮬레이션된 환경의 양태들은 각자의 사용자 인터페이스의 존재에 적응한다. 예를 들어, 각자의 사용자 인터페이스는 선택적으로 시뮬레이션된 환경의 일부분들 상으로 그림자를 드리우고, 선택적으로 시뮬레이션된 환경 내의 물은 각자의 사용자 인터페이스의 반사들 및/또는 굴절들을 디스플레이하는 등이다. 따라서, 일부 실시예들에서, 각자의 사용자 인터페이스는, 선택적으로 물리적 환경의 표현에 존재하는 가상 객체 대신, 그것이 시뮬레이션된 환경에 존재하는 객체인 것처럼 처리된다. 예를 들어, 각자의 사용자 인터페이스는 사용자의 "룸" 외부로 그리고 가상 시뮬레이션된 환경 내로 이동하였다. 일부 실시예들에서, 각자의 사용자 인터페이스를 시뮬레이션된 환경 내로 이동시키는 것은 각자의 사용자 인터페이스를 시뮬레이션된 환경과 연관된 z-깊이로 이동시키는 입력을 포함한다. 따라서, 각자의 사용자 인터페이스가 물리적 환경과 시뮬레이션된 환경 사이의 경계를 넘어 이동될 때, 각자의 사용자 인터페이스는 물리적 환경 외부로 그리고 시뮬레이션된 환경 내부로 이동된다. 일부 실시예들에서, 각자의 사용자 인터페이스는 각자의 사용자 인터페이스를 물리적 환경으로부터 시뮬레이션된 환경으로 이동시키는 것과 유사한 방식으로 시뮬레이션된 환경으로부터 물리적 환경으로 다시 이동될 수 있다.
(예컨대, 사용자 인터페이스를 시뮬레이션된 환경과 연관된 3차원 환경 내의 위치로 이동시키는 입력에 응답하여) 디바이스 주위의 물리적 환경의 표현으로부터 시뮬레이션된 환경 내로 사용자 인터페이스를 이동시키는 전술된 방식은 3차원 환경 내의 다양한 위치들에 사용자 인터페이스를 배치할 수 있는 기능을, 시뮬레이션된 환경이 그러한 배치 옵션들을 감소시키지 않고서, 유지하는데, 이는 (예컨대, 사용자가 시뮬레이션된 환경 내에서 사용자 인터페이스를 다시 제시하기 위한 추가 입력들을 수행할 필요 없이, 사용자가 시뮬레이션된 환경을 포함한 3차원 환경 내의 어느 곳으로든 사용자 인터페이스를 이동시키는 것을 가능하게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 개선하며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시킬 수 있고, 이는 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 추가적으로 전력 사용을 감소시키고 전자 디바이스의 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 11c에서와 같이, 가상 환경의 일부분은 제1 입력이 검출되는 경우에 3차원 환경 내에 디스플레이되고, 제1 입력을 검출하는 것에 응답하여, 각자의 애플리케이션의 각자의 사용자 인터페이스는 3차원 환경 내의 가상 환경의 일부분과 동시에 디스플레이된다(1214)(예컨대, 사용자 입력이 수신되어 각자의 사용자 인터페이스의 디스플레이를 야기한 경우, 3차원 환경은 가상 환경의 적어도 일부분을 포함하였다).
예를 들어, 3차원 환경이 (예컨대, 방법(800, 1000)과 관련하여 전술된 것과 같은) 물리적 환경의 표현의 일부분 및 가상 환경의 일부분을 포함한 동안, 사용자 입력이 수신되어 각자의 애플리케이션의 사용자 인터페이스의 디스플레이를 야기한다. 일부 실시예들에서, 사용자 입력에 응답하여, 각자의 애플리케이션의 사용자 인터페이스는 물리적 환경의 표현에 대응하는 3차원 환경의 영역에 디스플레이되고 가상 환경에 대응하는 3차원 환경의 영역에는 디스플레이되지 않는다. 일부 실시예들에서, 각자의 애플리케이션의 사용자 인터페이스는 가상 환경과 동시에 디스플레이된다. 일부 실시예들에서, 각자의 애플리케이션의 사용자 인터페이스는 (예컨대, 가상 환경의 "전방"에 있음으로 인해) 가상 환경의 일부분을 가린다.
(예컨대, 애플리케이션의 사용자 인터페이스가 디스플레이되었을 때 3차원 환경이 가상 환경을 포함한 경우에 가상 환경과 동시에) 애플리케이션의 사용자 인터페이스를 디스플레이하는 전술된 방식은 3차원 환경 내의 다양한 위치들에 사용자 인터페이스를 배치할 수 있는 기능을, 시뮬레이션된 환경이 그러한 배치 옵션들을 감소시키지 않고서, 유지하는데, 이는 (예컨대, 사용자 인터페이스가 디스플레이되었을 때 사용자가 시뮬레이션된 환경을 다시 제시하기 위한 추가 입력들을 수행할 필요 없이, 사용자가 시뮬레이션된 환경을 포함한 3차원 환경 내에 사용자 인터페이스를 디스플레이하는 것을 가능하게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 개선하며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시킬 수 있고, 이는 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 추가적으로 전력 사용을 감소시키고 전자 디바이스의 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 가상 환경의 일부분은 제1 입력이 검출되는 경우에 3차원 환경 내에 디스플레이되지 않고, 가상 환경의 일부분은 제2 입력이 검출되는 경우에 3차원 환경 내에 디스플레이된다(1216)(예컨대, 입력이 수신되어 각자의 애플리케이션의 각자의 사용자 인터페이스의 디스플레이를 야기하는 경우, 3차원 환경은 가상 환경을 포함하지 않았다).
일부 실시예들에서, 가상 환경은 (예컨대, 방법들(800, 1000)과 관련하여 전술된 바와 같은, 가상 환경의 디스플레이를 야기하는 사용자 입력에 응답하여) 각자의 사용자 인터페이스가 3차원 환경에 디스플레이된 후 그리고 선택적으로는 디스플레이되고 있는 동안 3차원 환경 내에 디스플레이된다. 일부 실시예들에서, 3차원 환경이 각자의 사용자 인터페이스를 포함하는 동안, 시뮬레이션된 환경이 각자의 사용자 인터페이스의 위치에 디스플레이되게 하는 (예컨대, 시뮬레이션된 환경의 일부분이 그 위치에 위치되는) 경우, 각자의 사용자 인터페이스는 그 위치로부터 물리적 환경의 표현을 포함하고 시뮬레이션된 환경을 포함하지 않는 위치로 멀리 이동된다(예컨대, 각자의 사용자 인터페이스는 시뮬레이션된 환경에 의해 변위된다).
(예컨대, 시뮬레이션된 환경이 디스플레이될 때 애플리케이션의 사용자 인터페이스가 3차원 환경 내에 디스플레이되는 경우에 애플리케이션의 사용자 인터페이스와 동시에) 시뮬레이션된 환경을 디스플레이하는 전술된 방식은 시뮬레이션된 환경이 3차원 환경 내에 디스플레이되는 경우에도 사용자 인터페이스를 3차원 환경 내에 디스플레이할 수 있는 기능을 유지하는데, 이는 (예컨대, 사용자 인터페이스들 또는 시뮬레이션된 환경들이 디스플레이되는 순서와 상관없이 사용자가 3차원 환경 및 시뮬레이션된 환경들 내에 사용자 인터페이스들을 디스플레이하는 것을 가능하게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 개선하며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시킬 수 있고, 이는 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 추가적으로 전력 사용을 감소시키고 전자 디바이스의 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 3차원 환경 내의 물리적 환경의 일부분 내에 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 각자의 애플리케이션의 각자의 사용자 인터페이스에 기초한 조명 효과, 예컨대, 도 11a에서의 반사(1122)로 물리적 환경의 일부분의 적어도 각자의 부분을 디스플레이한다(1218)(예컨대, 각자의 애플리케이션은 3차원 환경 내의 다른 객체들에 대해 하나 이상의 환경 조명 효과들을 야기하는 조명원의 유형이다).
예를 들어, 각자의 애플리케이션의 사용자 인터페이스는 하나 이상의 조명 또는 입자 물리학에 기초하여 물리적 환경의 표현 내의 객체들 및/또는 시뮬레이션된 환경 내의 객체들 상으로 (예컨대, 각자의 사용자 인터페이스 내의 현재 디스플레이된 콘텐츠에 기초하여) 광을 드리운다. 일부 실시예들에서, 사용자 인터페이스는 방향성을 갖고, 따라서 (예컨대, 사용자 인터페이스가 향하고 있는 방향으로) 광을 "전방"으로 드리운다. 예를 들어, 사용자 인터페이스는 모니터 또는 텔레비전과 유사하게 작용하고 (예컨대, 사용자 인터페이스 상의 밝은 요소들로부터) 광을 드리운다. 일부 실시예들에서, 사용자 인터페이스가 3차원 환경의 물리적 환경 부분 내에 있는 경우, 사용자 인터페이스는 물리적 환경의 다른 영역들 (예컨대, 사용자 인터페이스의 전방에 있는 부분들) 상으로 광을 드리운다. 일부 실시예들에서, 사용자 인터페이스가 3차원 환경의 시뮬레이션된 환경 부분 내에 있는 경우, 사용자 인터페이스는 시뮬레이션된 환경의 영역들 상으로 광을 드리우고, 선택적으로 또한 (예컨대, 시뮬레이션된 환경의 전방에 있는) 물리적 환경의 영역들 상으로 광을 드리운다. 일부 실시예들에서, 각자의 조명 효과들은 사용자 인터페이스가 3차원 환경 내에 디스플레이되지 않는 경우에 물리적 환경의 표현의 일부분들 상에 디스플레이되지 않는다.
(예컨대, 사용자 인터페이스로부터 3차원 환경 내의 다른 객체들 상으로 광을 드리움으로써) 사용자 인터페이스로부터의 조명 효과들을 디스플레이하는 전술된 방식은 (예컨대, 3차원 환경 내의 다른 객체들과 상호작용하는 조명원으로서 사용자 인터페이스를 처리함으로써) 더 몰입형인 경험을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 3차원 환경 내의 가상 환경의 일부분 내에 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 각자의 애플리케이션의 각자의 사용자 인터페이스에 기초한 조명 효과, 예컨대, 도 11c에서의 반사(1122)로 가상 환경의 일부분의 적어도 각자의 부분을 디스플레이한다(1220)(예컨대, 사용자 인터페이스가 3차원 환경의 시뮬레이션 환경 부분 내에 있는 경우, 예컨대, 각자의 사용자 인터페이스에 의해 현재 디스플레이되는 콘텐츠에 기초하여, 사용자 인터페이스는 시뮬레이션 환경의 영역들(예컨대, 사용자 인터페이스의 전방에 있는 영역들) 상으로 광을 드리우고, 선택적으로, 물리적 환경의 영역들(예컨대, 시뮬레이션 환경이 전방에 있는 물리적 환경의 표현의 영역들) 상으로 광을 또한 드리운다).
예를 들어, 각자의 사용자 인터페이스가 주로 적색인 경우, 각자의 사용자 인터페이스는 3차원 환경 내의 객체들 상으로 적색 광을 드리운다. 일부 실시예들에서, 각자의 사용자 인터페이스의 콘텐츠들이 변경됨에 따라(예컨대, 예를 들어, 사용자가 각자의 사용자 인터페이스를 스크롤하여 상이한 사용자 인터페이스로 내비게이팅하는 경우, 각자의 사용자 인터페이스가 미디어를 재생하고 있는 미디어 플레이어 애플리케이션인 경우 등) 각자의 사용자 인터페이스에 의해 드리워지는 광(예컨대, 패턴, 색상, 텍스처, 조명의 크기 등)은 그에 따라서 변경된다. 일부 실시예들에서, 각자의 조명 효과들은 사용자 인터페이스가 3차원 환경 내에 디스플레이되지 않는 경우에 시뮬레이션된 환경의 일부분들 상에 디스플레이되지 않는다. 가상 환경 상으로 드리워진 조명 효과들은 선택적으로 물리적 환경 상으로 드리워지는 것을 참조하여 설명된 조명 효과들의 특성들 중 하나 이상을 갖는다.
(예컨대, 사용자 인터페이스로부터 3차원 환경 내의 다른 객체들 상으로 광을 드리움으로써) 사용자 인터페이스로부터의 조명 효과들을 디스플레이하는 전술된 방식은 (예컨대, 3차원 환경 내의 다른 객체들과 상호작용하는 조명원으로서 사용자 인터페이스를 처리함으로써) 더 몰입형인 경험을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 3차원 환경 내의 물리적 환경의 일부분 내에 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 예컨대, 사용자 인터페이스(1114a)가 도 11a에서 물리적 환경(1102)으로부터의 조명으로 인해 조명 효과를 수용하는 경우, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 일부분에 기초한 조명 효과로 각자의 애플리케이션의 각자의 사용자 인터페이스의 적어도 각자의 부분을 검출한다(1222)(예컨대, 사용자 인터페이스는 물리적 환경으로부터의 하나 이상의 조명 효과들(예컨대, 사용자 인터페이스 외부의 광원으로부터의 조명 효과)로 인해 각자의 조명 효과로 디스플레이된다).
예를 들어, 물리적 환경이 밝은 윈도우, 조명 전구, 램프 등과 같은 하나 이상의 조명원들을 포함하는 경우, 조명원들은 선택적으로 사용자 인터페이스 상으로 광을 드리운다. 예를 들어, 사용자 인터페이스는 선택적으로 하나 이상의 조명원들로부터의 광을 반사 및/또는 굴절시키고, 눈부심 또는 반사를 디스플레이한다. 일부 실시예들에서, 디스플레이된 조명 효과는 (예컨대, 광의 물리학에 따라) 조명원의 위치 및 사용자 인터페이스의 위치에 의존한다. 일부 실시예들에서, 사용자 인터페이스가 3차원 환경 내에 디스플레이되지 않는 경우, 각자의 조명 효과는 디스플레이되지 않는다. 일부 실시예들에서, 사용자 인터페이스가 (예컨대, 물리적 환경의 표현과 대조적으로) 시뮬레이션된 환경 내에 디스플레이되는 경우, 물리적 환경으로부터의 조명원들은 사용자 인터페이스 상으로 조명 효과들을 드리우지 않는다. 일부 실시예들에서, 물리적 환경으로부터의 조명원들은, 사용자 인터페이스가 시뮬레이션된 환경 내에 디스플레이되는지 또는 물리적 환경의 표현 내에 디스플레이되는지와 상관없이, 사용자 인터페이스 상으로 조명 효과들을 드리운다.
(예컨대, 물리적 환경 내의 조명원들로부터의 광을 3차원 환경 내에 위치된 사용자 인터페이스 상으로 드리움으로써) 물리적 환경으로부터의 조명 효과들을 사용자 인터페이스 상으로 디스플레이하는 전술된 방식은 (예컨대, 광원들로부터의 광이 드리워질 수 있는 객체로서 사용자 인터페이스를 처리함으로써) 더 몰입형인 경험을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 3차원 환경 내의 가상 환경의 일부분 내에 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 예컨대, 사용자 인터페이스(1114a)가 도 11a에서 가상 환경(1112a) 내의 가상 조명원으로 인해 조명 효과를 수용한 경우, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 가상 환경의 일부분에 기초한 조명 효과로 각자의 애플리케이션의 각자의 사용자 인터페이스의 적어도 각자의 부분을 디스플레이한다(1224)(예컨대, 사용자 인터페이스는 시뮬레이션된 환경으로부터의 하나 이상의 조명 효과들(예컨대, 사용자 인터페이스 외부의 광원으로부터의 조명 효과)로 인해 각자의 조명 효과로 디스플레이된다).
예를 들어, 시뮬레이션된 환경이 밝은 윈도우, 조명 전구, 램프 등과 같은 하나 이상의 조명원들을 포함하는 경우, 조명원들은 선택적으로 사용자 인터페이스 상으로 광을 드리운다. 예를 들어, 사용자 인터페이스는 선택적으로 하나 이상의 조명원들로부터의 광을 반사 및/또는 굴절시키고, 눈부심 또는 반사를 디스플레이한다. 일부 실시예들에서, 디스플레이된 조명 효과는 (예컨대, 광의 물리학에 따라) 조명원의 위치 및 사용자 인터페이스의 위치에 의존한다. 일부 실시예들에서, 사용자 인터페이스가 3차원 환경 내에 디스플레이되지 않는 경우, 각자의 조명 효과는 디스플레이되지 않는다. 일부 실시예들에서, 사용자 인터페이스가 (예컨대, 시뮬레이션된 환경과 대조적으로) 물리적 환경의 표현 내에 디스플레이되는 경우, 가상 환경으로부터의 조명원들은 사용자 인터페이스 상으로 조명 효과들을 드리우지 않는다. 일부 실시예들에서, 가상 환경으로부터의 조명원들은, 사용자 인터페이스가 물리적 환경의 표현 내에 디스플레이되는지 또는 시뮬레이션된 환경 내에 디스플레이되는지와 상관없이 사용자 인터페이스 상으로 조명 효과들을 드리운다.
(예컨대, 시뮬레이션된 환경 내의 조명원들로부터의 광을 3차원 환경 내에 위치된 사용자 인터페이스 상으로 드리움으로써) 시뮬레이션된 환경으로부터의 조명 효과들을 사용자 인터페이스 상으로 디스플레이하는 전술된 방식은 (예컨대, 광원들로부터의 광이 드리워질 수 있는 객체로서 사용자 인터페이스를 처리함으로써) 더 몰입형인 경험을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 전자 디바이스는, 가상 환경의 일부분 내로의 각자의 사용자 인터페이스의 이동에 따라 3차원 환경 내의 각자의 애플리케이션의 각자의 사용자 인터페이스의 크기를 증가시키는데(1226), 예컨대, 선택적으로 사용자 인터페이스(1114a)가 얼마나 멀리 이동하였는지에 기초하여, 사용자 인터페이스(1114a)는 도 11c에서 크기가 증가한다(예컨대, 사용자 인터페이스를 물리적 환경으로부터 가상 환경으로 (예컨대, 그리고 따라서, 시점으로부터 디스플레이 생성 컴포넌트를 통해 디스플레이되고 있는 3차원 환경 내로 더 멀리) 이동시키는 것에 응답하여, 사용자 인터페이스는 3차원 환경 내의 객체들에 대해 크기가 증가한다).
예를 들어, 사용자 인터페이스가 2 피트 x 1 피트의 가상 크기(예컨대, 3차원 환경 내의 사용자 인터페이스의 크기는 사용자 인터페이스로부터 사용자의 시점까지의 거리로 인해 사용자 인터페이스가 사용자에게 보임에 따라 사용자 인터페이스의 크기와는 선택적으로 상이한 2 피트 x 1 피트임)를 갖는 경우, 사용자 인터페이스를 시뮬레이션된 환경 내로 이동시키는 것에 응답하여, 사용자 인터페이스의 크기는 100 피트 x 50 피트로 증가된다. 일부 실시예들에서, 종횡비는 유지된다. 일부 실시예들에서, 사용자 인터페이스의 크기는 사용자의 관점으로부터의 (예컨대, 사용자의 시점으로부터의) 사용자 인터페이스의 크기가 동일하게 유지되도록 증가된다. 예를 들어, 사용자 인터페이스가 (예컨대, 물리적 환경의 표현 내의) 사용자로부터 5 피트 멀리 있는 것으로부터 50 피트 멀리 있는 것으로 (예컨대, 사용자로부터 50 피트 멀리 있는 시뮬레이션된 환경 내의 위치로) 이동되는 경우, 사용자 인터페이스는 선택적으로 디스플레이 생성 컴포넌트(예컨대, 동일한 디스플레이 영역)에 대해 동일한 크기를 유지하기 위해 10배만큼 증가된다.
(예컨대, 사용자 인터페이스가 시뮬레이션된 환경 내로 이동되는 경우에 사용자 인터페이스의 크기를 증가시킴으로써) 물리적 환경과 연관된 3차원 환경의 일부분으로부터 시뮬레이션된 환경과 연관된 3차원 환경의 일부분으로 사용자 인터페이스를 이동시키는 전술된 방식은 (예컨대, 사용자 인터페이스가 시뮬레이션된 환경 내로 이동되는 경우에 사용자 인터페이스의 크기를 증가시키지만, 사용자 인터페이스를 잠재적으로 먼 거리로 이동시켜, 사용자 인터페이스가 사용자에게 여전히 가시적이게 함으로써) 더 일관된 몰입형 경험을 제공하는데, 이는 (예컨대, 시뮬레이션된 환경 내로 이동될 때 사용자가 사용자 인터페이스의 크기를 증가시키기 위한 추가 입력들을 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 개선하며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시킬 수 있고, 이는 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 추가적으로 전력 사용을 감소시키고 전자 디바이스의 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 도 11a 내지 도 11b에서와 같이, 제2 입력을 검출하기 전에 그리고 제2 입력이 검출될 때, 3차원 환경의 적어도 일부분은 하루 중 제1 시간에 대응하는 제1 조명 효과로 디스플레이된다(1228)(예컨대, 3차원 환경은 하루 중 특정 시간에 있었던 것처럼 소정 양의 조명으로 디스플레이된다). 일부 실시예들에서, 하루 중 시간은 하루 중 현재 시간이다. 일부 실시예들에서, 조명 효과는 현재 날씨 상태 및 사용자의 위치에서의 하루 중 현재 시간에 기초한다(예컨대, 구름, 안개, 흐림, 부분적으로 맑음, 완전히 맑음, 일출, 일몰 등). 일부 실시예들에서, 3차원 환경의 조명은 사용자 주위의 물리적 환경의 현재 조명 상태들의 실사 묘사이다(예컨대, 선택적으로, 디바이스는 어떠한 가상 조명 효과들도 제공하지 않고/않거나 물리적 환경의 표현의 조명을 수정하지 않는다). 일부 실시예들에서, 시뮬레이션된 환경의 조명은 물리적 환경의 조명에 기초한다(예컨대, 동일한 조명 상태들과 매칭함, 하루 중 동일 시간과 매칭함 등).
일부 실시예들에서, 예컨대, 조명이 도 11c에서 어두운 극장 조명으로 변경되었을 경우, 제2 입력을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 하루 중 제1 시간과는 상이한 하루 중 제2 시간에 대응하는, 제1 조명 효과와는 상이한 제2 조명 효과로 3차원 환경의 일부분을 디스플레이한다(1230)(예컨대, 사용자 인터페이스를 시뮬레이션된 환경 내로 이동시키는 것에 응답하여, 3차원 환경이 하루 중 상이한 시간에 있는 것으로 보이도록 조명을 변경함. 예를 들어, 밤(예컨대, 밤 9시)을 시뮬레이션하기 위해 물리적 환경의 표현 및/또는 시뮬레이션된 환경의 조명을 변경함. 일부 실시예들에서, 사용자 인터페이스를 시뮬레이션된 환경 내로 이동시키는 것은 3차원 환경이, 사용자가 밤에 영화를 보고 있는 것처럼 보이도록 조명이 어두워진 극장 모드로 진입하게 한다. 일부 실시예들에서, 광 효과를 변경하는 것은 주변 광의 크기를 변경하는 것(예컨대, 조명원들을 어둡게 하는 것), 광원들을 제거 또는 추가하는 것(예컨대, 광원으로서 태양을 제거하고 광원들로서 달 및/또는 별들을 도입하는 것), 광원들의 각도 및/또는 원점을 변경하는 것(예컨대, 시뮬레이션된 태양을 일몰 위치 등으로 이동시키는 것) 등을 포함한다).
(예컨대, 사용자 인터페이스를 시뮬레이션된 환경 내로 이동시키는 것에 응답하여) 하루 중 상이한 시간을 시뮬레이션하기 위해 조명 효과를 변경하는 전술된 방식은 (예컨대, 콘텍스트에 적절한 조명을 시뮬레이션하기 위해 3차원 환경의 조명을 수정함으로써) 몰입형 경험을 제공하는데, 이는 (예컨대, 사용자가 콘텍스트에 적절한 것으로 조명을 변경하기 위한 추가 입력들을 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해, 하루 중 제1 시간에 대응하는 제1 조명 효과로 3차원 환경의 일부분을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 전자 디바이스에서의 하루 중 각자의 시간에 대응하는 각자의 조명 효과로 3차원 환경의 일부분을 디스플레이하라는 요청에 대응하는 제3 입력을 검출한다(1232)(예컨대, 3차원 환경 내에 디스플레이되는 조명이 전자 디바이스에서의 하루 중 현재 시간과 매칭되게 하라는 요청에 대응하는 입력을 수신함). 예를 들어, 3차원 환경은 하루 중 상이한 시간들과 연관된 하나 이상의 선택가능 어포던스들을 포함하며, 이들은 3차원 환경이 하루 중 각자의 시간에서의 조명을 시뮬레이션하게 하도록 선택가능하다. 일부 실시예들에서, 선택가능 어포던스들 중 하나는 3차원 환경이 하루 중 현재 시간(예컨대, 사용자가 전자 디바이스와 상호작용하고 있는 현재 시간)의 조명을 시뮬레이션하게 하도록 선택가능하다.
일부 실시예들에서, 제3 입력을 검출하는 것에 응답하여(1234), 3차원 환경(1104)이 도 11a에서 현재 하루 중 상이한 시간인 것처럼 보이도록 업데이트하는 경우와 같이, 전자 디바이스에서의 하루 중 각자의 시간이 하루 중 제2 시간이라는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 제2 조명 효과로 3차원 환경의 일부분을 디스플레이한다(1236)(예컨대, 하루 중 현재 시간이 하루 중 제2 시간인 경우, 3차원 환경이 하루 중 제2 시간에 있는 것처럼 제2 조명 효과를 갖도록 3차원 환경의 조명을 수정함). 예를 들어, 하루 중 현재 시간이 6 A.M.인 (예컨대, 일출 시간인) 경우, 3차원 환경은 일출 조명 효과(예컨대, 수평 광원으로부터의 입사 광, 주황색 등)로 디스플레이된다. 일부 실시예들에서, 제2 조명 효과로 3차원 환경을 디스플레이하는 것은 선택적으로 3차원 환경이 주간 조명(예컨대, 완전한 태양광의 주변 조명, 부분 태양광의 주변 조명 등)으로부터 야간 조명(예컨대, 조명 없음, 낮은 주변 조명, 달빛 분위기 등)으로 스위칭되게 하거나, 또는 야간 조명으로부터 주간 조명으로 스위칭되게 한다.
일부 실시예들에서, 전자 디바이스에서의 하루 중 각자의 시간이 하루 중 제2 시간과는 상이한 하루 중 제3 시간이라는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 조명 효과와는 상이한 제3 조명 효과로 3차원 환경의 일부분을 디스플레이한다(1238)(예컨대, 하루 중 현재 시간이 하루 중 제3 시간인 경우, 3차원 환경이 하루 중 제3 시간에 있는 것처럼 제3 조명 효과를 갖도록 3차원 환경의 조명을 수정함). 예를 들어, 하루 중 현재 시간이 12 P.M.인 (예컨대, 정오인) 경우, 3차원 환경은 밝은 한낮의 광(예컨대, 수직 광원으로부터의 입사 광, 밝은 백색 등)으로 디스플레이된다.
(예컨대, 3차원 환경이 하루 중 현재 시간과 매칭되도록 요청하는 사용자 입력에 응답하여) 하루 중 현재 시간을 시뮬레이션하기 위하여 조명 효과를 변경하는 전술된 방식은 (예컨대, 3차원 환경의 조명을 하루 중 현재 시간과 매칭하도록 수정하여, 그에 의해 사용자의 물리적 환경과 유사한 환경을 생성함으로써) 더 몰입형인 경험을 제공하는데, 이는 (예컨대, 사용자가 조명을 현재 주변 조명과 매칭하도록 수동으로 조정하기 위한 추가 입력들을 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해, 하루 중 제1 시간에 대응하는 제1 조명 효과로 3차원 환경의 일부분을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 하루 중 각자의 시간에 대응하는 각자의 조명 효과로 3차원 환경의 일부분을 디스플레이하라는 요청에 대응하는 제3 입력을 검출한다(1240)(예컨대, 3차원 환경 내에 디스플레이되는 조명이 하루 중 특정 시간과 매칭되게 하라는 요청에 대응하는 입력을 수신함). 예를 들어, 3차원 환경은 하루 중 상이한 시간들과 연관된 하나 이상의 선택가능 어포던스들을 포함하며, 이들은 3차원 환경이 하루 중 각자의 시간에서의 조명을 시뮬레이션하게 하도록 선택가능하다.
일부 실시예들에서, 제3 입력을 검출하는 것에 응답하여(1242), 제3 입력이 하루 중 제2 시간을 나타낸다는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 조명 효과로 3차원 환경의 일부분을 디스플레이한다(1244)(예컨대, 입력이 하루 중 제2 시간에 대한 어포던스를 선택한 경우, 3차원 환경이 하루 중 제2 시간에 있는 것처럼 제2 조명 효과를 갖도록 3차원 환경의 조명을 수정함). 예를 들어, 사용자가 6 A.M. 어포던스를 선택한 경우, 3차원 환경은 일출 조명 효과(예컨대, 수평 광원으로부터의 입사 광, 주황색 등)로 디스플레이된다.
일부 실시예들에서, 제3 입력이 하루 중 제2 시간과는 상이한 하루 중 제3 시간을 나타낸다는 결정에 따라, 3차원 환경(1104)이 사용자 입력에 의해 선택된 하루 중 시간에 기초하여 하루 중 상이한 시간에 있는 것처럼 보이도록 도 11a에서 업데이트되었던 경우와 같이, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 조명 효과와는 상이한 제3 조명 효과로 3차원 환경의 일부분을 디스플레이한다(1246)(예컨대, 입력이 하루 중 제3 시간에 대한 어포던스를 선택한 경우, 3차원 환경이 하루 중 제3 시간에 있는 것처럼 제3 조명 효과를 갖도록 3차원 환경의 조명을 수정함). 예를 들어, 사용자가 12 P.M. (예컨대, 정오) 어포던스를 선택한 경우, 3차원 환경은 밝은 한낮의 광(예컨대, 수직 광원으로부터의 입사 광, 밝은 백색 등)으로 디스플레이된다.
(예컨대, 3차원 환경이 하루 중 특정 시간에 디스플레이되도록 요청하는 사용자 입력에 응답하여) 하루 중 특정 시간을 시뮬레이션하도록 조명 효과를 변경하는 전술된 방식은 (예컨대, 3차원 환경의 조명을 하루 중 특정 시간으로 설정함으로써) 몰입형의 시뮬레이션된 경험을 제공하는데, 이는 (예컨대, 사용자가 광을 하루 중 특정 시간과 매칭하도록 수동으로 조정하기 위한 추가 입력들을 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 3차원 환경 내의 물리적 환경의 일부분과 함께 가상 환경의 일부분을 디스플레이하는 동안, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 가상 환경(1112a)이 도 11a에서 3차원 환경(1104)의 실제 세계 환경 부분 상으로 조명 효과들을 드리우는 경우와 같이, 가상 환경의 일부분에 기초한 조명 효과로 물리적 환경의 일부분의 적어도 각자의 부분을 디스플레이한다(1248)(예컨대, 가상 환경의 조명은 선택적으로 물리적 환경의 표현의 조명에 영향을 준다).
예를 들어, 가상 환경이 아침 조명 장면을 시뮬레이션하고 있는 경우, 물리적 환경의 표현은 아침 조명 장면을 또한 시뮬레이션하도록 수정된다. 따라서, 일부 실시예들에서, 물리적 환경의 표현의 주변 조명 효과들은 선택적으로 가상 환경의 주변 조명 효과들과 매칭된다. 일부 실시예들에서, 가상 환경은 물리적 환경의 표현 상으로 하나 이상의 조명 효과들을 드리운다. 예를 들어, 가상 환경은 선택적으로 하나 이상의 조명원들(예컨대, 태양, 달, 주변 광 등)을 포함하고 하나 이상의 조명원들은 (예컨대, 조명 물리학에 따라) 물리적 환경 내의 객체들 상에 조명 효과를 생성한다. 따라서, 일부 실시예들에서, 3차원 환경이 물리적 환경의 표현을 갖는 일부분 및 시뮬레이션된 환경을 갖는 일부분을 포함하는 경우, 환경은, 부분적으로 전자 디바이스 주위의 물리적 환경이고 부분적으로 시뮬레이션된 환경인 실제 세계 환경인 것처럼 시뮬레이션된 환경과 물리적 환경이 병합되는 것처럼 처리된다.
(예컨대, 물리적 환경의 주변 조명을 가상 환경의 주변 조명에 매칭시키는) 시뮬레이션된 환경에 기초하여 조명 효과들로 물리적 환경의 표현을 디스플레이하는 전술된 방식은 (예컨대, 물리적 환경의 표현과 동일한 환경에 있는 것처럼 가상 환경을 처리함으로써) 몰입형 경험을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 가상 환경의 일부분에 기초한 조명 효과는, 도 11a에서 3차원 환경(1104)의 실제 세계 환경 부분의 일부분들 상으로 광을 비추고 그들을 밝게 하는 것과 같이, 물리적 환경의 적어도 각자의 부분을 밝게 한다(1250)(예컨대, 가상 환경은 물리적 환경의 표현 상으로 하나 이상의 조명 효과들을 드리운다). 예를 들어, 가상 환경은 선택적으로 하나 이상의 조명원들(예컨대, 태양, 달, 주변 광 등)을 포함하고 하나 이상의 조명원들은 (예컨대, 조명 물리학에 따라) 물리적 환경 내의 객체들 상에 조명 효과를 생성한다. 따라서, 일부 실시예들에서, 3차원 환경이 물리적 환경의 표현을 갖는 일부분 및 시뮬레이션된 환경을 갖는 일부분을 포함하는 경우, 환경은, 부분적으로 전자 디바이스 주위의 물리적 환경이고 부분적으로 시뮬레이션된 환경인 실제 세계 환경인 것처럼 시뮬레이션된 환경과 물리적 환경이 병합되는 것처럼 처리된다. 일부 실시예들에서, 조명 효과는 물리적 환경의 표현이 밝아지게 (예컨대, 주변 광이 더 많아지게) 한다.
(예컨대, 가상 환경 내의 광원들에 기초하여) 물리적 환경의 표현 내의 조명 효과를 디스플레이하는 전술된 방식은 (예컨대, 가상 환경의 요소들이 물리적 환경에 영향을 줄 수 있도록 물리적 환경의 표현과 동일한 환경에 있는 것처럼 가상 환경을 처리함으로써) 몰입형 경험을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 가상 환경의 일부분에 기초한 조명 효과는 물리적 환경의 적어도 각자의 부분을 어둡게 하는데(1252), 예컨대, 가상 환경(1112)이 더 어두운 주변 조명을 갖는 경우, 가상 환경(1112)은 선택적으로 도 11a의 3차원 환경(1104)의 실제 세계 환경 부분이 어두워지게 하여 가상 환경(1112)과 매칭된다(예컨대, 가상 환경으로부터의 조명 효과는 물리적 환경의 표현의 주변 조명이 감소되게 한다). 예를 들어, 가상 환경은 물리적 환경의 표현보다 어두운 주변 조명을 갖고, 따라서, 가상 환경은 물리적 환경의 표현이 어두워지게 하여 가상 환경과 매칭 및/또는 블렌딩된다. 일부 실시예들에서, 물리적 환경의 표현의 전체는 어두워져 가상 환경의 주변 조명과 매칭된다. 일부 실시예들에서, 물리적 환경의 표현의 일부분이 어두워져 가상 환경의 주변 조명과 매칭되는 한편, 물리적 환경의 다른 부분은 (예컨대, 물리적 환경을 가상 환경과 블렌딩하고 주변 조명에 대한 급격한 변경들을 피하기 위해) 어두워지지 않는다.
(예컨대, 가상 환경의 조명에 기초하여) 물리적 환경의 표현의 주변 조명을 어둡게 하는 전술된 방식은 (예컨대, 물리적 환경의 표현의 조명을 가상 환경의 조명과 블렌딩함으로써) 몰입형 경험을 제공하는데, 이는 (예컨대, 물리적 환경의 표현과 가상 환경 사이의 경계에서 조명의 급격한 변경을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 3차원 환경 내의 가상 환경의 일부분 내에 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안(예컨대, 각자의 애플리케이션의 사용자 인터페이스가 가상 환경 내에 디스플레이되는 동안), 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 제3 입력을 검출한다(1254).
일부 실시예들에서, 제3 입력을 검출하는 것에 응답하여(1256), 제3 입력이 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하라는 요청, 예컨대, 도 11c에서의 사용자 인터페이스(1114a)에 대한 제시 모드를 요청하는 사용자 입력(예컨대, 전체 스크린 모드, 완전 몰입 모드, 제시 모드, 몰입형 경험 모드 등으로 각자의 사용자 인터페이스를 디스플레이하라는 요청)에 대응한다는 결정에 따라, 도 11d에서와 같이, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 가상 환경의 일부분을 디스플레이하지 않고서 각자의 애플리케이션의 각자의 가상 환경을 디스플레이한다(1258)(예컨대, 전체 스크린, 완전 몰입, 제시, 또는 몰입형 경험 모드로 각자의 사용자 인터페이스를 디스플레이함).
일부 실시예들에서, 전체 스크린, 완전 몰입, 제시, 또는 몰입형 경험 모드로 각자의 사용자 인터페이스를 디스플레이하는 것은 (예컨대, 이전에 디스플레이되었던 가상 환경 및/또는 물리적 환경보다는 오히려) 각자의 애플리케이션과 연관된 가상 환경을 디스플레이하는 것을 포함한다. 예를 들어, 제시 애플리케이션을 위한 각자의 가상 환경은 사용자가 제시를 제공하는 것처럼 단상(podium)에 위치된 강당 환경이다. 일부 실시예들에서, 각자의 가상 환경을 디스플레이하는 것은 가상 환경을 각자의 가상 환경으로 대체하는 것을 포함한다. 일부 실시예들에서, 각자의 가상 환경을 디스플레이하는 것은 가상 환경 및 물리적 환경의 표현 둘 모두를 각자의 가상 환경으로 대체하는 것(예컨대, 3차원 환경의 전체를 각자의 가상 환경으로 대체하는 것)을 포함한다. 일부 실시예들에서, 몰입의 양은 유지된다(예컨대, 제3 입력이 검출되었을 때, 가상 환경이 3차원 환경의 반부를 포괄하는 경우, 각자의 가상 환경은 가상 환경이 디스플레이되었던 반부를 대체한다). 일부 실시예들에서, 몰입은 최대 몰입 레벨로 증가된다(예컨대, 선택적으로는 사용자 선택 최대 레벨에서 상한이 된다).
(예컨대, 이전에 디스플레이된 가상 환경을 각자의 애플리케이션의 가상 환경으로 대체함으로써) 각자의 애플리케이션의 가상 환경을 디스플레이하는 전술된 방식은 (예컨대, 한 번에 단지 하나의 몰입형 가상 환경만을 디스플레이함으로써) 각자의 애플리케이션과 연관된 몰입형 경험을 제공하는데, 이는 (예컨대, 각자의 애플리케이션이 몰입형 모드로 스위칭하는 경우에 사용자가 가상 환경의 디스플레이를 제거하기 위한 추가 입력들을 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하기 전에, 3차원 환경 내의 가상 환경의 일부분은 하나 이상의 시각적 특성들을 갖는데, 예컨대, 가상 환경(1112a)은 도 11c에서 소정 조명 효과들, 몰입 효과들 등을 갖는다(1260)(예컨대, 가상 환경은 하루 중 각자의 시간에 각자의 조명 효과들로, (예컨대, 존재하는 경우) 가상 환경 외부의 3차원 환경의 일부분들로부터의 하나 이상의 조명 효과들로 디스플레이된다).
일부 실시예들에서, 각자의 애플리케이션의 각자의 가상 환경을 디스플레이한 후에, 각자의 가상 환경은 하나 이상의 시각적 특성들을 갖는데, 예컨대, 도 11d의 사용자 인터페이스(1114a)는 도 11c의 가상 환경(1112a)과 동일한 또는 유사한 조명 효과들, 몰입 효과들 등을 갖는다(1262)(예컨대, 각자의 애플리케이션의 각자의 가상 환경은 그것이 대체된 가상 환경과 동일한 또는 유사한 시각적 특성들로 디스플레이된다).
예를 들어, 가상 환경이 (예컨대, 하루 중 이른 아침 시간이었던 것처럼) 일출 조명 효과로 디스플레이되는 경우, 각자의 애플리케이션의 각자의 가상 환경은 또한 (예컨대, 하루 중 동일한 이른 아침 시간이었던 것처럼) 동일하거나 유사한 일출 조명 효과로 디스플레이된다. 일부 실시예들에서, 가상 환경이 물리적 환경과 블렌딩된 조명 효과들을 포함한 경우, 각자의 애플리케이션의 각자의 가상 환경은 물리적 환경과 동일하거나 유사한 블렌딩을 갖는다. 따라서, 일부 실시예들에서, 각자의 애플리케이션의 각자의 가상 환경은 동일한 거동들 및 특성들을 나타내고/나타내거나, 그것이 대체되는 가상 환경의 디스플레이와 동일한 규칙들을 따른다. 일부 실시예들에서, 몰입의 양은 유지된다(예컨대, 제3 입력이 검출되었을 때, 가상 환경이 3차원 환경의 반부를 포괄하는 경우, 각자의 가상 환경은 가상 환경이 디스플레이되었던 반부를 대체한다).
(예컨대, 대체된 가상 환경과 동일하거나 유사한 시각적 특성들을 갖는 애플리케이션의 가상 환경을 디스플레이함으로써) 각자의 애플리케이션의 가상 환경을 디스플레이하는 전술된 방식은 (예컨대, 각자의 가상 환경이 대체하였던 가상 환경의 시각적 특성들의 적어도 일부를 유지함으로써) 연속적인 몰입형 경험을 제공하는데, 이는 (예컨대, 사용자가 동일한 무드 및/또는 콘텍스트를 매칭하기 위한 추가 입력들 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고, (예컨대, 가상 환경을 각자의 애플리케이션의 각자의 가상 환경을 대체하는 경우의 급격한 변경을 피함으로써) 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제3 입력이 검출되는 경우, 각자의 애플리케이션의 각자의 사용자 인터페이스는, 디스플레이 생성 컴포넌트를 통해, 도 11c의 사용자 인터페이스(1114a)와 같이, 3차원 환경 내의 물리적 환경의 일부분과 함께 가상 환경의 일부분 내에 디스플레이된다(1264)(예컨대, 3차원 환경은 물리적 환경의 표현의 일부분 및 가상 환경을 동시에 포함한다). 일부 실시예들에서, 가상 환경은, 방법(1000)을 참조하여 설명된 바와 같이, 시스템 및/또는 사용자 설정에 의해 결정되는 바와 같이 최대 몰입 레벨로 디스플레이된다. 예를 들어, 시스템 또는 사용자 설정이 50%의 최대 몰입 레벨을 상한으로 하는 경우, 가상 환경은 50% 몰입 레벨로 디스플레이된다(예컨대, 물리적 환경의 표현의 더 멀리 있는 반부가 가상 환경으로 대체된다).
일부 실시예들에서, 제3 입력을 검출하는 것에 응답하여 그리고 제3 입력이 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하라는 요청(예컨대, 전체 스크린 모드, 완전 몰입 모드, 제시 모드, 몰입형 경험 모드 등으로 각자의 사용자 인터페이스를 디스플레이하라는 요청)에 대응한다는 결정에 따라, 각자의 애플리케이션의 각자의 가상 환경은, 디스플레이 생성 컴포넌트를 통해, 가상 환경의 일부분의 디스플레이 없이 디스플레이되는데(1266), 예컨대, 사용자 인터페이스(1114a)는 가상 환경(1112a)이 3차원 환경(1104) 내에 더 이상 디스플레이되지 않도록 도 11d에서 가상 환경(1112a)을 대체한다(예컨대, 각자의 가상 환경은 그것이 대체한 가상 환경과 동일한 몰입 레벨로 디스플레이되고/되거나 각자의 가상 환경은 시스템 및/또는 사용자 설정에 의해 정의된 바와 같이 최대 몰입 레벨로 디스플레이된다).
일부 실시예들에서, 제3 입력은 몰입 레벨을 증가시키는 사용자 입력을 포함한다. 일부 실시예들에서, 제3 입력은, 몰입형 제시 모드의 선택과 같은, 몰입 레벨을 증가시키는 입력 이외의 사용자 입력을 포함한다. 예를 들어, 가상 환경이 최대 몰입 레벨에 있었다면, 각자의 가상 환경은 또한 가상 환경의 대체 시 동일한 최대 몰입 레벨로 디스플레이된다. 일부 실시예들에서, 가상 환경이 최대 몰입 레벨에 있지 않은 경우, 각자의 가상 환경이 가상 환경을 대체하였을 때, 몰입 레벨은 최대 몰입 레벨로 증가된다. 일부 실시예들에서, 가상 환경이 최대 몰입 레벨에 있지 않은 경우, 각자의 가상 환경이 가상 환경을 대체하였을 때, 동일한 몰입 레벨은 유지된다(예컨대, 가상 환경이 3차원 환경의 후방 반부를 포괄한 경우, 각자의 가상 환경은 또한 3차원 환경의 후방 반부를 포괄한다). 일부 실시예들에서, 각자의 가상 레벨의 몰입 레벨은 (예컨대, 각자의 애플리케이션이 더 높은 몰입 레벨들을 지원하더라도) 시스템의 최대 몰입 레벨을 초과하지 않는다. 일부 실시예들에서, 제3 입력이 몰입 레벨을 증가 또는 감소시키는 입력, 예컨대, 몰입을 증가 또는 감소시키기 위한 기계식 다이얼의 회전 또는 어포던스의 선택인 경우, 제3 입력은 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하라는 요청이 아니며, 이에 응답하여, 가상 환경은 몰입이 증가 또는 감소하고, 각자의 애플리케이션은 선택적으로 몰입이 증가 또는 감소하지 않는다. 예를 들어, 몰입을 증가 또는 감소시키는 입력은 가상 환경의 몰입 레벨들을 변경시킨다.
(예컨대, 가상 환경에 대한 몰입 레벨을 시스템의 최대 몰입 레벨로 제한함으로써) 각자의 애플리케이션의 가상 환경을 디스플레이하는 전술된 방식은 (예컨대, 각자의 가상 환경이 디스플레이되기 전의 몰입의 양보다 더 많은 몰입을 제공함으로써) 일관된 몰입형 경험을 제공하는데, 이는 (예컨대, 사용자가 몰입 레벨을 변경하기 위한 추가 입력들 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고, (예컨대, 가상 환경을 각자의 애플리케이션의 각자의 가상 환경으로 대체하는 경우의 몰입 레벨의 급격한 변경들을 피함으로써) 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
일부 실시예들에서, 제3 입력이 검출되는 경우, 가상 환경의 일부분은, 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨로 디스플레이되는데(1268), 예컨대, 가상 환경(1112a)은 도 11c에서 3의 몰입 레벨로 디스플레이된다(예컨대, 가상 환경은 제1 몰입 레벨로 디스플레이된다). 일부 실시예들에서, 제1 레벨은 몰입 없음, 또는 중간 몰입 레벨 등이다. 일부 실시예들에서, 방법(800, 1000)과 관련하여 전술된 바와 같이, 몰입 레벨은 선택적으로, 가상 환경에 의해 포괄되는 3차원 환경의 양을 나타낸다.
일부 실시예들에서, 제3 입력을 검출하는 것에 응답하여 그리고 제3 입력이 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하라는 요청(예컨대, 전체 스크린 모드, 완전 몰입 모드, 제시 모드, 몰입형 경험 모드 등의 선택과 같은, 몰입 레벨을 증가시키는 입력 이외의 사용자 입력)에 대응한다는 결정에 따라, 각자의 애플리케이션의 각자의 가상 환경은, 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨보다 높은 제2 몰입 레벨로 디스플레이되는데(1270), 예컨대, 사용자 인터페이스(1114a)는 도 11d에서 9의 몰입 레벨로 디스플레이된다(예컨대, 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하고 가상 환경을 대체하는 것에 응답하여, 몰입 레벨은 대체되었던 가상 환경이 디스플레이되었던 레벨로부터 증가된다). 예를 들어, 가상 환경의 몰입 레벨이 중간 레벨에 있었다면, 각자의 가상 환경이 디스플레이될 때, 몰입 레벨은 최대 몰입 레벨로 증가된다. 일부 실시예들에서, 가상 환경의 몰입 레벨이 최대 레벨에 있는 경우, 몰입 레벨은 최대 레벨로 유지된다.
(예컨대, 각자의 애플리케이션의 가상 환경이 디스플레이될 때 몰입 레벨을 증가시킴으로써) 각자의 애플리케이션의 가상 환경을 디스플레이하는 전술된 방식은 (예컨대, 사용자가 각자의 애플리케이션으로부터 몰입형 경험을 요청할 때 몰입을 증가시킴으로써) 몰입형 경험을 제공하는데, 이는 (예컨대, 사용자가 몰입 레벨을 증가시키기 위한 추가 입력들을 수행할 필요 없이) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만들고 현기증 또는 멀미 증상들로 잠재적으로 이어질 수 있는 잠재적인 방향 감각 상실을 감소시키며, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하는 한편, 사용 시 오류들을 감소시킨다.
도 13a 내지 도 13h는 일부 실시예들에 따른, 사용자의 시점과 연관된 객체의 이동에 기초하여 3차원 환경에서 시뮬레이션된 환경 및/또는 대기 효과의 디스플레이를 선택적으로 변경하는 예들을 예시한다.
도 13a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, (예컨대, 실제 세계 환경(1302)의 후방 벽을 향하는) 오버헤드 뷰(1318)에 예시된 사용자(1320)의 시점으로부터의 3차원 환경(1304)을 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부(예컨대, 사용자의 하나 이상의 손들)의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에서 예시되고 설명되는 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 13a에 도시된 바와 같이, 디바이스(101)는 디바이스(101) 주위의 실제 세계 환경(1302) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 실제 세계 환경(1302)(예컨대, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 일부 실시예들에서, 디바이스(101)는 3차원 환경(1304)에서 실제 세계 환경의 표현들을 디스플레이하고, 또한 시뮬레이션된 환경(1322a)을 디스플레이한다. 예를 들어, 3차원 환경(1304)은, 선택적으로 실제 세계 환경(1302) 내의 물리적 커피 테이블의 표현인 커피 테이블(1314a)의 표현을 포함하고, 3차원 환경(1304)은, 선택적으로 방법들(800, 1000, 1200 및/또는 1400)을 참조하여 설명된 시뮬레이션된 환경들의 특성들 중 하나 이상을 갖는 시뮬레이션된 환경(1322a)을 포함한다. 3차원 환경(1304)은 선택적으로, 도 9a 내지 도 9h 및/또는 방법(1000)을 참조하여 설명된 3차원 환경(904)의 특성들 중 하나 이상을 갖는다. (예컨대, 실제 세계 환경(1302) 및 시뮬레이션된 환경(1322b)의 일부분들을 포함하는) 3차원 환경(1304)의 가공 뷰(1318)에 도시된 바와 같이, 실제 세계 환경(1302)이 커피 테이블(1314b), 코너 테이블(1308b), 데스크(1310b), 카우치(1319) 및 대각선 테이블(1312b)을 포함하지만; 도 13a에서, (커피 테이블(1314b)에 대응하는) 표현(1314a)만이 디바이스(101)에 의해 3차원 환경(1304) 내에 현재 디스플레이되는데, 이는 시뮬레이션된 환경(1322a)이 다른 물리적 객체들 및/또는 실제 세계 환경(1302)의 다른 부분들의 디스플레이를 가리기 때문이다(예컨대, 방법들(800, 1000, 1200 및/또는 1400)을 참조하여 설명된 바와 같이, 오버헤드 뷰(1318) 내의 시뮬레이션된 환경(1322b)에 대응하는 시뮬레이션된 환경(1322a)이 이러한 물리적 객체들 및/또는 다른 부분들을 포함하는 3차원 환경(1304)의 부분을 포함하기 때문이다).
도 13a에서, 디바이스(101)는 또한, 3차원 환경(1304) 내의 시뮬레이션된 환경(1322a)을 디스플레이하고, 이때 시뮬레이션된 환경(1322a)과 실제 세계 환경(1302)에 대응하는 3차원 환경(1304)의 부분 사이에 경계(1321)를 갖는다. 일부 실시예들에서, 경계(1321)는 시뮬레이션된 환경(1322a)과 실제 세계 환경(1302)에 대응하는 3차원 환경(1304)의 부분 사이의 페더형(feathered) 경계여서, 경계(1321) 내에, 시뮬레이션된 환경(1322a)의 (예컨대, 희미해진 또는 블러링된) 부분 및 실제 세계 환경(1302)의 (예컨대, 희미해진 또는 블러링된) 부분 둘 모두가 디스플레이되게 한다. 도 13a에서, 경계(1321)는 테이블(1314b)보다 멀리 있지만 테이블들(1308b, 1312b) 및 데스크(1310b)보다 가까이 있는 사용자(1320)의 시점으로부터의 특정 거리이다.
디스플레이 생성 컴포넌트(120)를 통해 그리고 도 13a의 오버헤드 뷰(1318) 내에 도시된 바와 같이, 시뮬레이션된 환경(1322a)은 가상 객체(1334a)(오버헤드 뷰(1318) 내에서 1334b에 대응함) 및 가상 객체(1332a)(오버헤드 뷰(1318) 내에서 1332b에 대응함)를 포함한다. 가상 객체(1332a)는 (예컨대, 룸의 후방 벽 뒤의 위치에 대응하는 그리고/또는 사용자(1320)가 위치되는 룸의 후방 벽보다 사용자의 시점으로부터 더 먼 위치에서) 실제 세계 환경(1302)의 경계를 넘어서 있다. 3차원 환경(1304)이 또한 가상 객체(1330a)(오버헤드 뷰(1318) 내에서 1330b에 대응함)를 포함하지만, 가상 객체(1330a)는, 시뮬레이션된 환경(1322a)에 대응하는 3차원 환경(1304)의 일부분보다는 오히려, 실제 세계 환경(1302)에 대응하는 3차원 환경(1304)의 일부분 내에 포함된다. 가상 객체들(1330a, 1332a 및/또는 1334a)은 선택적으로, 애플리케이션들의 사용자 인터페이스들(예컨대, 메시징 사용자 인터페이스들, 콘텐츠 브라우징 사용자 인터페이스들 등), 3차원 객체들(예컨대, 가상 시계들, 가상 볼들, 가상 자동차들 등), 또는 실제 세계 환경(1302) 내에 포함되지 않는 디바이스(101)에 의해 디스플레이되는 임의의 다른 요소 중 하나 이상이다.
일부 실시예들에서, 가상 객체들 및/또는 시뮬레이션된 환경을 디스플레이하는 것에 추가적으로 또는 대안적으로, 디바이스(101)는, 도 13b에 예시된 바와 같이, 하나 이상의 대기 효과들을 디스플레이한다. 예를 들어, 도 13b에서, 디바이스(101)는 도 13a에서와 동일한 사용자(1320)의 시점으로부터의 3차원 환경(1304)을 디스플레이하고 있고; 구체적으로, 도 13b에서, 디바이스(101)의 실제 세계 환경(1302)은 선택적으로 도 13a에 도시되고 설명된 바와 동일하다. 그러나, 도 13b에서, 시뮬레이션된 환경을 디스플레이하기보다 오히려, 디바이스(101)는, 선택적으로 3차원 환경(1304) 내의 하나 이상의 객체들을 대체 또는 제거하지 않고서, 3차원 환경(1304) 내의 하나 이상의 객체들 또는 물리적 환경의 시각적 특성들의 인공 (예컨대, 가상) 수정과 같은, 하나 이상의 대기 효과들로 실제 세계 환경(1302)의 표현들을 디스플레이하고 있다. 예를 들어, 대기 효과는 선택적으로, 3차원 환경(1304)을 그것이 저녁놀에 의해 조명되었던 것처럼 디스플레이하는 것, 3차원 환경(1304)을 그것에 안개가 끼었던 것처럼 디스플레이하는 것, 3차원 환경(1304)을 그것이 어둑하게 조명되었던 것처럼 디스플레이하는 것 등을 포함한다. 오버헤드 뷰(1318)에 도시된 바와 같이, (예컨대, 동일한 시간에 대기 효과 및 가상 환경 둘 모두를 디스플레이하는 것이 가능한 것으로 이해되지만) 대기 효과를 디스플레이하는 것은 선택적으로, 3차원 환경(1304)의 실제 세계 환경 부분의 일부분들 대신에 가상 환경을 디스플레이하는 것을 포함하지 않는다. 도 13b에 예시된 대기 효과는 선택적으로, 방법들(800, 1000 및/또는 1200)을 참조하여 설명된 대기 효과들의 특성들 중 하나 이상을 갖는다.
도 13b에서, 대기 효과는 윈도우(1315)로부터 물리적 환경에 입사하는 가상 광을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 윈도우(1315)로부터 입사하는 가상 광은 실제 세계 환경(1302)에서 윈도우(1315)로부터 입사하는 실제 세계 광의 양과 상이한 조명 효과이다(예컨대, 가상 광은 가상적이고 3차원 환경(1304)에만 존재한다). 일부 실시예들에서, 가상 광은 조명 효과들이 입자 물리학에 따라 3차원 환경(1304)에 디스플레이되게 한다. 예를 들어, 가상 조명은 선택적으로, 도 9b에 도시된 바와 같이, 룸의 후방 벽 상의 액자(1307) 상에서 눈부심을 야기하고, 데스크(1310a)가 그림자를 드리우게 하고, 커피 테이블(1314a)이 그림자를 드리우게 하고, 그리고/또는 대각선 테이블(1312a)이 그림자를 드리우게 한다(예컨대, 이들 중 하나 이상은 선택적으로 물리적 환경(1302) 내에 존재하지 않거나, 또는 물리적 환경(1302) 내에 상이한 특성들, 예컨대, 낮거나 높은 밝기, 작거나 큰 크기 등으로 존재한다). 일부 실시예들에서, 가상 광은 선택적으로, 물리적 환경(1302) 내에 존재하는 광의 실제 양과 비교하여 3차원 환경(1304) 내에서 주변 광을 증가 또는 감소시킨다. 일부 실시예들에서, 3차원 환경(1304)이 대기 효과로 디스플레이될 때, 디바이스(101)는 (예컨대, 스피커(1325)에 의해 표시된 바와 같이) 대기 효과와 연관된 하나 이상의 오디오 효과들을 생성한다. 일부 실시예들에서, 오디오 효과들은 대기 효과와 연관된 주변 소리 효과들을 포함한다. 예를 들어, 대기 효과는, 선택적으로 물리적 환경(1302)에는 존재하지 않지만(예컨대, 주변 물리적 환경이 이러한 소리들을 포함하지 않음) 사용자가 물리적 환경(1302)에 있는 동안 그가 듣는 것처럼 디바이스(101)에 의해 생성되는 개구리 울음 소리, 새 노래 소리, 물 흐르는 소리 등을 포함할 수 있다. 일부 실시예들에서, 오디오 효과들을 제공하는 것은 3차원 환경(1304)의 몰입 효과를 증가시킨다.
일부 실시예들에서, 사용자(1320)의 시점에 대응하는 객체(예컨대, 디스플레이 생성 컴포넌트, 전자 디바이스, 사용자의 머리, 얼굴, 눈, 또는 신체)의 이동은 디바이스(101)가 시뮬레이션된 환경(1322a)의 디스플레이를 후퇴시키게 하여(예컨대, 시뮬레이션된 환경(1322a)과 실제 세계 환경(1302) 사이의 경계(1321)를 사용자(1320)의 시점으로부터 멀리 이동시키게 하여) 사용자 안전을 위해 3차원 환경(1304) 내의 더 많은 실제 세계 환경(1302)을 드러내지만, 사용자(1320)의 시점에 대응하는 객체의 유사한 이동은 선택적으로 디바이스(101)가 3차원 환경 내에서의 대기 효과의 디스플레이를 감소시키게 하지 않는다. 일부 실시예들에서, 물리적 환경(1302) 내의 객체의 위치는 3차원 환경(1304) 내의 사용자의 시점에 대응하고, 물리적 환경(1302) 내의 객체의 이동은 선택적으로, 방법(1400)을 참조하여 아래에서 더 상세히 설명되는 바와 같이, 3차원 환경(1304) 내의 사용자의 시점의 대응하는 이동을 야기한다. 추가로, 일부 실시예들에서, 디바이스(101)가 시뮬레이션된 환경(1322a)의 디스플레이를 후퇴시키는지 여부 및/또는 그것이 시뮬레이션된 환경(1322a)의 디스플레이를 얼마나 많이 후퇴시키는지는 시점에 대응하는 객체의 이동의 하나 이상의 특성들(예컨대, 이동의 양, 이동의 속도, 이동의 가속도 등)에 의존한다.
예를 들어, 도 13c 및 도 13d에서, 디바이스(101)는 사용자(1320)의 시점에 대응하는 (예컨대, 실제 세계 환경(1302) 내의 룸의 상부 우측 코너를 향한 사용자(1320) 및/또는 디바이스(101)의 회전에 대응하는) 객체의 배향의 변화를 검출한다. 도 13c에서, 사용자(1320)의 시점에 대응하는 객체의 이동이 경계(1321)를 향한 충분한 이동을 포함하지 않았기 때문에, 디바이스(101)는 사용자(1320)의 업데이트된 시점에 대응하도록 3차원 환경(1304)의 디스플레이를 업데이트하였지만, 디바이스(101)는 사용자(1320)의 시점으로부터 멀리 경계(1321)를 이동시키지 않았다(예컨대, 경계(1321)는 도 13a에서와 동일하거나 실질적으로 동일한 사용자(1320)의 시점으로부터의 거리에 유지된다 - 그리고 그에 따라서, 시뮬레이션된 환경(1322a)은 도 13a에서와 동일하거나 실질적으로 동일한 3차원 환경(1304)의 부분을 점유한다). 전술된 바와 같이, 디바이스(101)는 선택적으로 업데이트된 시점으로부터 3차원 환경(1304)을 디스플레이하고, 따라서 객체(1334b)는 디바이스(101)에 의해 더 이상 디스플레이되지 않고 - 선택적으로, 테이블(1314a)의 표현 및 객체(1330a)의 부분들만이 디스플레이됨 - 객체(1332a)는 도 13a에서와는 상이한 각도로부터 디스플레이된다. 그러나, 도 13c에 도시된 바와 같이, 시뮬레이션된 환경(1322a)과 실제 세계 환경(1302)에 대응하는 3차원 환경(1304)의 부분 사이의 경계(1321)는 선택적으로, 그것이 도 13a에서와 같이 사용자(1320)의 시점으로부터 동일한 거리로 유지된다.
유사하게, 도 13d에서, 디바이스(101)에 의해 생성된 대기 효과들은 도 13b로부터 도 13d로의 디바이스(101)의 이동(선택적으로 도 13a로부터 도 13c로의 디바이스(101)의 동일한 이동)에 응답하여 감소되지 않는다. 예를 들어, 디바이스(101)에 의해 생성된 오디오 효과들은 선택적으로 감소되지 않고(예컨대, 스피커(1325)에 의해 표시됨), 그리고/또는 디바이스(101)에 의해 생성된 다른 대기 효과들(예컨대, 대각선 테이블(1312a) 상의 그림자)은 감소되지 않는다.
대조적으로, 도 13e 및 도 13f에서, 디바이스(101)는 사용자(1320)의 시점에 대응하는 (예컨대, 실제 세계 환경(1302) 내의 룸의 상부 우측 코너 및/또는 대각선 테이블(1312a)을 향한 디바이스(101)의 이동에 대응하는) 객체의 이동을 검출한다. 도 13e에서, 디바이스(101)는 사용자(1320)의 업데이트된 시점에 대응하도록 3차원 환경(1304)의 디스플레이를 업데이트하였고, 사용자(1320)의 시점에 대응하는 객체의 이동이 적어도 경계(1321)를 향한 이동의 제1 임계치(예컨대, 임계 거리, 임계 속도, 및/또는 임계 가속도 등)를 포함하였기 때문에, 디바이스(101)는 또한 사용자(1320)의 시점으로부터 멀리 경계(1321)를 이동시켰다(예컨대, 경계(1321)는 선택적으로, 도 13a 및/또는 도 13c에서보다 도 13e에서 사용자(1320)의 시점으로부터 더 멀다 - 그리고 따라서, 시뮬레이션된 환경(1322a)은 선택적으로, 도 13a 및/또는 도 13c에서보다 더 적은 3차원 환경(1304)을 점유하고, 더 많은 실제 세계 환경(1302)이 3차원 환경(1304)에 드러났었다). 전술된 바와 같이, 디바이스(101)는 선택적으로 업데이트된 시점으로부터 3차원 환경(1304)을 디스플레이하고, 따라서 객체(1330a) 및 테이블(1314a)은 디바이스(101)에 의해 더 이상 디스플레이되지 않고, 객체(1332a)는 (예컨대, 사용자(1320)의 시점이 이제 객체(1332a)에 더 가깝기 때문에) 도 13c에서보다 큰 크기로 디스플레이된다. 추가로, 디바이스(101)는 사용자(1320)의 시점에 대응하는 객체의 이동으로 인해 3차원 환경(1304) 내에서 시뮬레이션된 환경(1322a)의 디스플레이를 후퇴시키기 시작하였고, 이는 선택적으로, 시뮬레이션된 환경(1322a)의 측방향 경계가 3차원 환경(1304) 내에서 가시적이게 하고/하거나 경계(1321)가 사용자(1320)의 시점으로부터 멀리 벗어나게 하고 도 13c에서보다 3차원 환경(1304) 내에 실제 세계 환경(1302)의 더 큰 부분을 드러내게 한다. 이러한 방식으로, 디바이스(101)는 (예컨대, 사용자 이동의 결과로서 실제 세계 환경(1302) 내의 잠재적으로 불안전한 특징부들과 사용자(1320)의 충돌들을 피하기 위해) 더 많은 실제 세계 환경(1302)이 3차원 환경(1304)에서 가시적이어서 사용자 안전을 증가시키는 것을 보장한다.
일부 실시예들에서, 디바이스(101)가 시뮬레이션된 환경(1322a)의 디스플레이를 후퇴시키고/시키거나 디바이스(101)가 경계(1321)를 사용자의 시점으로부터 멀리 이동시키는 양은 시점에 대응하는 객체의 이동의 하나 이상의 특성들에 기초한다. 예를 들어, 일부 실시예들에서, 시점에 대응하는 객체가 경계(1321)를 향하여 더 많이 이동할수록, 디바이스(101)는 경계(1321)를 시점으로부터 더 많이 후퇴시킨다. 일부 실시예들에서, 시점에 대응하는 객체가 경계(1321)를 향하여 더 빠르게 이동할수록, 디바이스(101)는 경계(1321)를 시점으로부터 더 많이 후퇴시킨다. 일부 실시예들에서, 시점에 대응하는 객체의 경계(1321)를 향하는 가속도가 더 클수록, 디바이스(101)는 경계(1321)를 시점으로부터 더 많이 후퇴시킨다. 일부 실시예들에서, 디바이스(101)는 상기 특성들 중 둘 이상의 조합을 이용하여 시뮬레이션된 환경(1322a)의 디스플레이를 얼마나 많이 후퇴시키고/시키거나 사용자의 시점으로부터 경계(1321)를 얼마나 멀리 이동시키는지를 결정한다. 추가로, 사용자의 시점으로부터 더 멀리 있는 실제 세계 환경(1302)의 부분들(예컨대, 및 그에 따른, 그러한 더 먼 위치들에 디스플레이된 시뮬레이션된 환경(1322a)의 일부분들)보다는, 시뮬레이션된 환경(1322a)의 디스플레이는, 사용자의 시점에 더 가까운 실제 세계 환경(1302)의 일부분들이 일찍 드러난다(예컨대, 그리고 따라서, 그러한 위치들에 디스플레이된 시뮬레이션된 환경(1322a)의 일부분들이 디스플레이되는 것으로 더 일찍 중지된다). 일부 실시예들에서, 시뮬레이션된 환경을 디스플레이하는 것으로부터 시뮬레이션된 환경을 더 적게 디스플레이하거나 전혀 디스플레이하지 않는 것으로의 이러한 깊이 기반 전이는 방법들(800, 1000 및/또는 1200)을 참조하여 설명된 시뮬레이션된 환경들의 디스플레이의 깊이 기반 전이들의 특성들 중 하나 이상을 갖는다.
대조적으로, 도 13f에서, 디바이스(101)에 의해 생성된 대기 효과들은 도 13d로부터 도 13f로의 디바이스(101)의 이동(선택적으로 도 13c로부터 도 13e로의 디바이스(101)의 동일한 이동)에 응답하여 감소되지 않는다. 예를 들어, 디바이스(101)에 의해 생성된 오디오 효과들은 선택적으로 감소되지 않고(예컨대, 스피커(1325)에 의해 표시됨), 그리고/또는 디바이스(101)에 의해 생성된 다른 대기 효과들(예컨대, 대각선 테이블(1312a) 상의 그림자)은 감소되지 않는다.
일부 실시예들에서, (예컨대, 경계(1321)를 향한) 사용자(1320)의 시점에 대응하는 객체의 충분한 이동을 (예컨대, 그의 크기를, 그의 속도를, 그리고/또는 그의 가속도를) 검출하는 것에 응답하여, 디바이스(101)는 시뮬레이션된 환경의 디스플레이를 중지한다. 예를 들어, 도 13g에서, 디바이스(101)는 사용자(1320)의 시점에 대응하는 (예컨대, 실제 세계 환경(1302) 내의 룸의 상부 우측 코너 및/또는 대각선 테이블(1312a)을 향한 디바이스(101)의 이동에 대응하는) 객체의 이동을 검출한다. 도 13g에서, 디바이스(101)는 사용자(1320)의 업데이트된 시점에 대응하도록 3차원 환경(1304)의 디스플레이를 업데이트하였고, 사용자(1320)의 시점에 대응하는 객체의 이동이 적어도 경계(1321)를 향한 이동의 제2 임계치(예컨대, 방법(1400)을 참조하여 더 상세히 설명되는, 임계 거리, 임계 속도, 및/또는 임계 가속도)를 포함하였기 때문에, 디바이스(101)는 또한 시뮬레이션된 환경(1322a)의 디스플레이를 중지하였다 - 따라서, 도 13g에 도시된 바와 같이, 실제 세계 환경(1302)은 선택적으로 3차원 환경(1304)의 전체를 점유한다. 시뮬레이션된 환경(1322a)이 더 이상 디바이스(101)에 의해 디스플레이되지 않기 때문에, 도 13g에서, 디바이스(101)는 (예컨대, 대각선 테이블(1312a)이 시뮬레이션된 환경(1322a)에 의해 더 이상 가려지지 않기 때문에) 3차원 환경(1304) 내의 대각선 테이블(1312a)의 표현을 그리고 룸의 후방 벽의 전체를 디스플레이한다.
일부 실시예들에서, 디바이스(101)는, 시뮬레이션된 환경의 디스플레이가 중지되었을 때 (그리고/또는 경계(1321)가 가상 객체들의 위치를 횡단할 때) 그러한 가상 객체들이 위치되었던 곳에 따라, 시뮬레이션된 환경의 디스플레이를 중지할 때, 디스플레이를 중지하거나 가상 객체들의 디스플레이를 상이하게 수정한다. 예를 들어, 도 13e의 객체(1334b)는 선택적으로, 디바이스(101)가 도 13g에서 시뮬레이션된 환경(1322b)의 디스플레이를 중지하였을 때, 시뮬레이션된 환경(1322b) 내에 위치되었다. 일부 실시예들에서, 그러한 상황에서, 디바이스(101)는 도 13g의 오버헤드 뷰(1328)에 도시된 바와 같이, 객체(1334b)의 디스플레이를 중지한다. 대안으로서, 일부 실시예들에서, 디바이스(101)는 그러한 상황에서 가상 객체의 디스플레이를 유지하고, 그 객체를 시뮬레이션된 환경의 외부로 그리고 3차원 환경(1304)의 실제 세계 환경 부분 내부로 이동시킨다. 예를 들어, 도 13e의 객체(1332b)는 선택적으로, 디바이스(101)가 도 13g에서 시뮬레이션된 환경(1322b)의 디스플레이를 중지하였을 때, 시뮬레이션된 환경(1322b) 내에 위치되었다. 도 13g에 도시된 바와 같이, 시뮬레이션된 환경(1322b)의 디스플레이를 중지하는 것에 응답하여, 디바이스(101)는 (예컨대, 도 13e의 그의 위치와 비교하여) 사용자(1320)의 시점을 향해 객체(1332b)를 이동시켰고; 추가로, 객체(1332b)는 실제 세계 환경(1302) 내의 룸의 후방 벽을 넘어서 있는 위치에 이전에 디스플레이되었지만, 도 13g에서, 디바이스(101)는 사용자(1320)의 시점을 향하여 실제 세계 환경(1302) 내의 룸의 후방 벽 내의 위치로 객체(1332b)를 이동시켰다. 일부 실시예들에서, 사용자(1320)의 시점에 더 가까운 객체(1332b)를 디스플레이하는 것과 함께, 디바이스(101)는 3차원 환경(1304) 내의 객체(1332b)를 비율조정하여 (예컨대, 객체(1332b)의 크기를 감소시켜) 객체(1332b)를 사용자(1320)의 시점과 더 가까운 위치에 디스플레이하는 것이 객체(1332b)가 도 13e에서보다 더 많은 사용자의 시야를 (또는 2%, 3%, 5%, 10%, 20%, 40%, 50%, 또는 75%와 같은, 사용자의 시야의 임계량 초과를) 소비하게 하지 않는다.
일부 실시예들에서, 실제 세계 환경(1302)에 대응하는 3차원 환경(1304)의 일부분에 위치되었던 객체는 시뮬레이션된 환경의 디스플레이를 중지하는 것에 응답하여 디바이스(101)에 의해 위치 및/또는 크기가 변경되지 않는다. 예를 들어, 도 13e에서 실제 세계 환경(1302)에 대응하는 3차원 환경(1304)의 일부분에 선택적으로 위치되었던 객체(1330b)는 선택적으로 동일한 위치에 유지되고/되거나 도 13e에서 가졌던 것과 동일한 크기를 도 13g에서 갖는다(예컨대, 테이블(1314b) 위에 위치됨).
도 13g와 대조적으로, 도 13h에서, 디바이스(101)에 의해 생성된 대기 효과들은 도 13f로부터 도 13h로의 디바이스(101)의 이동(선택적으로 도 13e로부터 도 13g로의 디바이스(101)의 동일한 이동)에 응답하여 감소되지 않는다. 예를 들어, 디바이스(101)에 의해 생성된 오디오 효과들은 선택적으로 감소되지 않고(예컨대, 스피커(1325)에 의해 표시됨), 그리고/또는 디바이스(101)에 의해 생성된 다른 대기 효과들(예컨대, 대각선 테이블(1312a) 상의 그림자)은 감소되지 않는다.
도 14a 내지 도 14l은 일부 실시예들에 따른, 사용자의 시점과 연관된 객체의 이동에 기초하여 3차원 환경에서 시뮬레이션된 환경 및/또는 대기 효과의 디스플레이를 선택적으로 변경하는 방법(1400)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1400)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 깊이 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1400)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1400)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 방법(1400)은 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 디바이스(101)), 예컨대, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은, 사용자 입력을 수신하고(예컨대, 사용자 입력을 캡처함, 사용자 입력을 검출함 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터의 분리형), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 및/또는 모션 센서(예컨대, 손 추적 센서, 손 모션 센서) 등을 포함한다.
일부 실시예들에서, 전자 디바이스의 사용자의 시점에 대응하는 객체(예컨대, 사용자의 머리, 얼굴, 눈들, 또는 신체)가, 도 13a의 사용자의 위치와 같은, 전자 디바이스의 물리적 환경의 영역 내의 제1 위치에 있는 (예컨대, 사용자의 머리, 얼굴, 눈들 또는 신체 및/또는 전자 디바이스 및/또는 디스플레이 생성 컴포넌트가 물리적 환경 내의 현재 물리적 위치에 있는) 동안, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 사용자의 시점으로부터 3차원 환경을 디스플레이하고, 3차원 환경은 시뮬레이션된 환경 및 시뮬레이션된 환경을 포함하는 3차원 환경의 제1 부분과 3차원 환경의 제2 부분 사이의 경계(예컨대, 라인 또는 영역)를 포함하는데(1402a), 예컨대, 도 13a의 3차원 환경(1304)은 시뮬레이션된 환경(1322a) 및 경계(1321)(예컨대, 시뮬레이션된 환경을 포함하지 않는 3차원 환경의 부분과 같은, 전자 디바이스의 물리적 환경의 표현들을 포함하는 3차원 환경의 부분)를 포함한다. 일부 실시예들에서, 전자 디바이스 및/또는 디스플레이 생성 컴포넌트 주위의 영역(예컨대, 미리결정된 크기 및/또는 반경, 예컨대, 3 인치, 6 인치, 1 피트, 2 피트, 또는 3 피트를 갖는 영역)은 몰입형의 시뮬레이션된 환경이 덜 몰입형으로 되게 하지 않으면서 전자 디바이스 및/또는 디스플레이 생성 컴포넌트가 이동할 수 있는 영역으로서 정의된다. 예를 들어, 전자 디바이스 및/또는 디스플레이 생성 컴포넌트가 웨어러블 디바이스(예컨대, 머리 장착형 디스플레이)인 경우, 사용자가 전자 디바이스에 의해 제공되는 몰입형 경험을 방해하지 않으면서 위치들을 옮기는 것, 편히 앉는 것, 기대는 것 등을 할 수 있도록 2 피트의 이동 마진이 제공된다. 일부 실시예들에서, 전자 디바이스 주위의 영역은 몰입형의 시뮬레이션된 환경의 경계에 기초한다. 예를 들어, 영역은 시뮬레이션된 환경에 의해 점유되지 않은 3차원 환경의 모든 영역들이다. 일부 실시예들에서, 영역은, 시뮬레이션된 환경이 사용자 및/또는 전자 디바이스 주위의 공간을 점유하는 경우, 영역이 시뮬레이션된 환경에 의해 점유되는 3차원 환경 내의 위치에 대응하더라도 미리결정된 최소 크기를 갖도록 최소 크기를 갖는다. 일부 실시예들에서, 전자 디바이스 및/또는 디스플레이 생성 컴포넌트의 물리적 위치는 물리적 위치의 이동(예컨대, 회전 이동 및/또는 병진 이동)이 3차원 환경 내의 사용자의 시점을 대응하게 변경하도록 3차원 환경 내의 사용자의 시점에 대응한다. 일부 실시예들에서, 사용자의 시점은 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 3차원 환경을 디스플레이하고 있는 위치 및/또는 배향이다.
일부 실시예들에서, 경계는, 도 13a의 경계(1321)와 관련하여 도시된 바와 같이(예컨대, 전자 디바이스는 디스플레이 생성 컴포넌트를 통해 3차원 환경을 디스플레이하고/하거나 제시함), 3차원 환경 내의 전자 디바이스의 사용자의 시점으로부터의 (예컨대, 평균적인 또는 사용자에 대한 경계 영역의 근처 에지 또는 먼 에지로부터의) 제1 거리이다. 일부 실시예들에서, 3차원 환경은 사용자가 물리적 환경 내에 물리적으로 위치된 것처럼 사용자에게 보이도록 물리적 환경의 표현들을 포함한다. 예를 들어, 디스플레이 생성 컴포넌트를 통한 물리적 환경의 사용자의 뷰는 전자 디바이스가 없는 물리적 환경의 사용자의 뷰와 동일하거나 유사하다(예컨대, 전자 디바이스에 의해 제공되는 물리적 환경의 표현은 사용자의 현재 위치와 동일한 관점 및/또는 위치로부터의 물리적 환경의 실사 묘사이다). 일부 실시예들에서, 3차원 환경은 사용자/디바이스 주위의 물리적 환경 내의 객체들을 반드시 표현하는 것은 아닌 하나 이상의 가상 요소들을 포함한다. 일부 실시예들에서, 3차원 환경은 사용자가 시뮬레이션된 환경 내에 물리적으로 위치되는 것처럼 (예컨대, 또는 사용자가 입력할 수 있는 시뮬레이션된 환경 사용자가 보거나 살피는 것처럼) 사용자에게 몰입형 경험을 제공하는 시뮬레이션된 환경을 (예컨대, 선택적으로, 물리적 환경의 일부분들의 표현들과 동시에) 포함한다, 일부 실시예들에서, 3차원 환경의 몰입 레벨은 얼마나 많은 3차원 환경이 (예컨대, 물리적 환경과 대조적으로) 시뮬레이션된 환경에 의해 점유되는지를 결정하고, 따라서 시뮬레이션된 환경과 물리적 환경의 표현들을 포함하는 3차원 환경의 부분 사이의 경계를 한정한다(예컨대, 방법들(800, 1000 및/또는 1200)을 참조하여 설명된 바와 같음). 예를 들어, 낮은 몰입 레벨에서, 3차원 환경의 큰 비율이 물리적 환경의 뷰이고 3차원 환경의 작은 비율이 시뮬레이션된 환경의 뷰이지만, 높은 몰입 레벨에서, 3차원 환경의 큰 비율은 시뮬레이션된 환경의 뷰이고 3차원 환경의 작은 비율(예컨대, 또는 0의 비율)은 물리적 환경의 뷰이다. 일부 실시예들에서, 각자의 몰입 레벨에서, 사용자의 시점(예컨대, 3차원 환경 내로의 "카메라")과 시뮬레이션된 환경 사이의 거리(예컨대, 시뮬레이션된 환경의 경계까지의 거리)는 현재 몰입 레벨에 기초하여 선택적으로 고정된다. 전술된 바와 같이, 일부 실시예들에서, 3차원 환경은 가상 현실(VR) 환경, 혼합 현실(MR) 환경 또는 증강 현실(AR) 환경 등과 같은 컴퓨터 생성 현실(CGR) 환경이다.
일부 실시예들에서, 시뮬레이션된 환경 및 사용자의 시점으로부터 제1 거리에 있는 경계를 포함하는 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 물리적 환경 내에서의 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동, 예컨대, 도 13a의 그들의 위치로부터 도 13c 또는 도 13e의 그들의 위치로의 디바이스(101) 및/또는 사용자(1320)의 이동을 검출한다(1402b). 예를 들어, 디스플레이 생성 컴포넌트 및/또는 전자 디바이스가 물리적 환경 내의 새로운 위치로 이동한 것을 검출하는 것, 또는 더 대체적으로, 사용자가 물리적 환경 내에서 이동한 것을 (예컨대, 사용자의 머리 위치 및/또는 배향이 변경된 것을) 검출하는 것, 전자 디바이스가 3차원 환경을 디스플레이하고 있는 시점을 변경하라는 요청에 대응하는 그러한 이동. 예를 들어, 전자 디바이스를 보유하고/하거나 전자 디바이스를 착용하는 사용자는 앉은 위치로부터 일어나고 그리고/또는 물리적 환경 주위를 걷는다. 일부 실시예들에서, 전자 디바이스의 이동을 검출하는 것은 가시광 센서(예컨대, 카메라), 깊이 센서(예컨대, 비행 시간 센서), 자이로스코프, 가속도계 등과 같은 전자 디바이스의 하나 이상의 센서들을 통해 (예컨대, 개별적으로 또는 조합하여) 수행된다.
일부 실시예들에서, 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출하는 것에 응답하여(1402c), 도 13e에 예시된 디바이스(101) 및/또는 사용자(1320)의 이동과 같은, 물리적 환경 내에서의 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동이 하나 이상의 기준들을 만족한다는 결정에 따라(예컨대, 하나 이상의 기준들은 전자 디바이스가 주위에서 이동하여 시뮬레이션된 환경이 덜 몰입형으로 되게 할 수 있는 영역의 에지의 임계 거리 내에 (예컨대, 에지의 1 인치, 3 인치, 6 인치, 1 피트, 3 피트, 또는 6 피트 내에), 또는 시뮬레이션된 환경의 경계로부터 임계 거리 내에 제2 위치가 있는 경우에 만족된다), 전자 디바이스는 (예컨대, 도 13e에 도시된 바와 같이) 시뮬레이션된 환경의 경계가 제1 거리보다 먼 사용자의 시점으로부터의 제2 거리에 있도록 시뮬레이션된 환경에 의해 점유되는 3차원 환경의 양을 변경하도록 3차원 환경을 업데이트하고, 시뮬레이션된 환경(1322a)에 의해 점유되는 사용자(1320)의 시야의 일부분이 감소되고 실제 세계 환경(1302)에 의해 점유되는 사용자(1320)의 시야의 일부분이 증가되는 도 13e에 도시된 바와 같이, 3차원 환경을 업데이트하는 것은 시뮬레이션된 환경의 일부분의 디스플레이를 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이로 대체하는 것을 포함한다(1402d)(예컨대, 이전에 디스플레이되지 않았고/않았거나 시뮬레이션된 환경에 의해 이전에 (예컨대, 선택적으로 일시적으로) 점유되지 않았던 물리적 환경의 부분들을 드러내기 위하여 몰입 레벨을 감소시키고/시키거나 시뮬레이션된 환경의 크기를 감소시킴). 예를 들어, 시뮬레이션된 환경의 경계는 제2 위치 주위의 물리적 환경이 볼 수 있고 시뮬레이션된 환경(예컨대, 미리결정된 크기 및/또는 반경, 예컨대, 3 인치, 6 인치, 1 피트, 2 피트, 또는 3 피트를 갖는 영역)에 의해 방해받지 않도록 제1 및/또는 제2 위치(예컨대, 전자 디바이스의 새로운 위치)로부터 멀리 이동된다(예컨대, 그로부터 후퇴된다). 일부 실시예들에서, 전자 디바이스의 이동이 하나 이상의 기준들을 만족하지 않는 경우, 3차원 환경 내의 시뮬레이션된 환경의 경계는 변경되지 않는다. 일부 실시예들에서, 전자 디바이스가 제2 위치로부터 멀어져 제3 위치로 (예컨대, 다시 제1 위치로) 이동하고 그러한 이동이 하나 이상의 기준들을 만족하지 않는 경우, 시뮬레이션된 환경은 그의 원래 크기로 복귀되고, 시뮬레이션된 환경의 경계는 그의 이전 위치로 후퇴되고, 그리고/또는 드러난 물리적 환경의 표현은 더 이상 가시적이지 않다(예컨대, 선택적으로 시뮬레이션된 환경에 의해 재점유됨). 일부 실시예들에서, 전자 디바이스들이 제3 위치로 멀리 이동하고 그러한 이동이 하나 이상의 기준들을 만족하는 경우, 시뮬레이션된 환경의 경계는 (예컨대, 제2 위치 대신) 제3 위치에 기초하여 다시 시프트된다. 예를 들어, 제3 위치 주위의 물리적 환경이 가시적인 한편, 제2 위치 주위의 물리적 환경은 더 이상 가시적이지 않다. 따라서, 전자 디바이스 주위의 "절결부"는 선택적으로, 전자 디바이스가 물리적 환경 주위에서 이동함에 따라 전자 디바이스를 뒤따르지만, "절결부"의 크기는 선택적으로, 전자 디바이스의 이동이 하나 이상의 기준들을 만족하는지 여부에 기초하여 변경된다. 일부 실시예들에서, 시뮬레이션된 환경의 크기를 감소시키고/시키거나 전자 디바이스의 새로운 위치 주위의 물리적 환경을 드러내는 것은 사용자가 그의 또는 그녀의 물리적 환경 주위에서 이동할 때 그의 또는 그녀의 물리적 환경을 (예컨대, 더 많이) 볼 수 있는 안전 메커니즘을 제공한다. (예컨대, 전자 디바이스가 시뮬레이션된 환경의 경계에 선택적으로 가까운 새로운 위치로 이동하였다는 것을 검출하는 것에 응답하여) 물리적 환경의 일부분들을 드러내는 것은, 사용자가 시뮬레이션된 환경의 몰입 레벨을 감소시키기 위한 추가 입력들을 수행할 필요 없이, 사용자가 안전하게 그의 또는 그녀의 환경과 상호작용하고 그 주위에서 이동하는 것을 가능하게 하여, 그에 의해 사용자-디바이스 상호작용을 더 안전하고 더 효율적으로 만든다.
일부 실시예들에서, 경계(1321)를 참조하여 설명된 바와 같이, 3차원 환경의 제1 부분과 3차원 환경의 제2 부분 사이의 경계는 시뮬레이션된 환경과 3차원 환경의 제2 부분 사이의 영역(예컨대, 0이 아닌 면적 및/또는 부피를 갖는 영역 및/또는 용적부)을 포함하고(1404a), 영역 내의 특정 위치에서, 시뮬레이션된 환경의 적어도 각자의 부분 및 3차원 환경의 제2 부분의 적어도 각자의 부분은 동시에 디스플레이된다(1404b). 따라서, 일부 실시예들에서, 시뮬레이션된 환경과 3차원 환경의 나머지 사이의 경계는 3차원 환경의 나머지가 또한 디스플레이되도록 시뮬레이션된 환경이 부분 투명도로 디스플레이되는 영역이다. 예를 들어, 시뮬레이션된 환경과 3차원 환경의 나머지 사이의 전이는, 전이 영역의 일 측에서, 시뮬레이션된 환경이 더 낮은 투명도로 디스플레이되고(예컨대, 그리고 그에 따라서, 3차원 환경의 나머지가 덜 가시적이고), 전이 영역의 다른 측에서, 시뮬레이션된 환경은 더 높은 투명도로 디스플레이되는(예컨대, 그리고 그에 따라서, 3차원 환경의 나머지가 더 가시적인) 페더형 전이이다. 시뮬레이션된 환경과 3차원 환경의 나머지 사이에 전이 영역을 디스플레이하는 것은 3차원 환경의 나머지에 대한 시뮬레이션된 환경의 근접도 및/또는 방향을 나타내며, 그에 의해 사용자-디바이스 상호작용을 더 안전하고 더 효율적으로 만든다.
일부 실시예들에서, 제1 위치로부터 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출하는 것에 응답하여 그리고 물리적 환경 내에서의 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동이 하나 이상의 기준들을 만족한다는 결정에 따라, 전자 디바이스는, 도 13e를 참조하여 설명된 바와 같이, 시뮬레이션된 환경이 디스플레이되는 몰입 레벨을 감소시킨다(1406). 예를 들어, 여기서 설명된 몰입은 선택적으로 방법(1000)을 참조하여 설명된 몰입의 특성들의 하나 이상을 갖는다. 일부 실시예들에서, 시뮬레이션된 환경이 디스플레이되는 몰입이 높을수록, 사용자의 시야의 더 큰 부분이 시뮬레이션된 환경에 의해 포괄되고/되거나 시야의 더 작은 부분이 디스플레이 생성 컴포넌트 및/또는 전자 디바이스의 물리적 환경의 표현들에 의해 소비된다. 추가로, 일부 실시예들에서, 시뮬레이션된 환경이 디스플레이되는 몰입이 클수록, 전자 디바이스에 의해 생성되는 오디오의 더 큰 부분이 전자 디바이스에 의해 소비된다. 따라서, 제1 위치로부터 멀어지는 사용자의 시점에 대응하는 객체의 이동을 검출하는 것에 응답하여 몰입이 감소되는 경우, 그에 따라서, 상기 양들 중 하나 이상은 선택적으로 감소된다. 시뮬레이션된 환경이 사용자의 시점에 대응하는 객체의 이동에 응답하여 디스플레이되는 몰입을 감소시키는 것은 물리적 환경에 대해 사용자에게 전달된 (예컨대, 시각적 및/또는 오디오) 정보가 이동 동안/이동에 응답하여 증가되는 것을 보장하고, 그에 의해 사용자-디바이스 상호작용을 더 안전하고 더 효율적으로 만든다.
일부 실시예들에서, 시뮬레이션된 환경의 경계가 사용자의 시점으로부터 제2 거리에 있도록 시뮬레이션된 환경에 의해 점유되는 3차원 환경의 양을 변경하도록 3차원 환경을 업데이트하는 것은 전자 디바이스의 물리적 환경에 장애물이 존재하는지 여부와 독립적이다(1408). 예를 들어, 도 13e 및/또는 도 13g에서 디바이스(101)가 시뮬레이션된 환경(1322a)을 후퇴시키는 양은 선택적으로, 장애물이 전자 디바이스의 물리적 환경에서 사용자(1320)의 전방에 존재하는지 여부와 독립적이다. 예를 들어, 전자 디바이스는 사용자의 시점에 대응하는 객체의 이동에 기초하여 시뮬레이션된 환경의 경계를 후퇴시키는데, 이는 지면 내의 구멍, 절벽, 소파, 테이블 등과 같은 장애물이 시뮬레이션된 환경의 경계의 그러한 후퇴의 경로에 존재하든 존재하지 않든 관계없다. 따라서, 그러한 후퇴의 경로 내의 물리적 환경의 부분들은, 그러한 부분들이 물리적 환경 내에서의 사용자에 의한 이동에 대한 임의의 물리적 장애물들을 포함하든 포함하지 않든, 전자 디바이스에 의해 디스플레이된다/드러난다. 물리적 환경의 그러한 부분들이 장애물들을 포함하든 포함하지 않든 물리적 환경의 부분들을 드러내는 것은 물리적 환경에 관하여 사용자에게 전달되는 (예컨대, 시각적) 정보가 물리적 환경의 특징부들과 독립적인 이동 동안/이동에 응답하여 증가되는 것을 보장하고, 그에 의해 사용자-디바이스 상호작용을 더 안전하고 더 효율적으로 만든다.
일부 실시예들에서, 제1 위치로부터 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출한 후에 그리고 시뮬레이션된 환경 및 사용자의 시점으로부터 제2 거리에 있는 경계를 포함하는 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 도 13a 또는 도 13c의 디바이스(101) 및/또는 사용자(1320)의 위치를 다시 향하는 디바이스(101) 및/또는 사용자(1320)의 이동을 검출하는 도 13e에서와 같이, 하나 이상의 입력 디바이스들을 통해, 물리적 환경 내에서의 제2 위치로부터 멀어지는 사용자의 시점에 대응하는 객체의 제2 이동을 검출한다(1410a)(예컨대, 디스플레이 생성 컴포넌트 및/또는 전자 디바이스가 물리적 환경 내의 새로운 위치로 이동하였다는 것을 감지하는 것, 또는 더 일반적으로, 사용자가 물리적 환경 내에서 이동하였다는 (예컨대, 사용자의 머리 위치 및/또는 방향이 변경되었다는) 것을 감지하는 것 - 그러한 이동은 전자 장치가 3차원 환경을 디스플레이하는 시점을 변경하라는 요청에 대응함).
일부 실시예들에서, 물리적 환경 내에서의 제2 위치로부터 멀어지는 사용자의 시점에 대응하는 객체의 제2 이동을 검출하는 것에 응답하여(1410b), 사용자의 시점에 대응하는 객체의 제2 이동(예컨대, 다시 제1 위치를 향하는 시점에 대응하는 객체의 이동)이 경계로부터 멀어진다는 결정에 따라, 전자 디바이스는, 디바이스(101)가 도 13e의 시뮬레이션된 환경(1322a)의 후퇴를 도 13a에서와 같이 시뮬레이션된 환경(1322a)을 디스플레이하는 방식으로 적어도 부분적으로 원상태로 돌리는 것과 같이, 물리적 환경의 일부분의 표현을 시뮬레이션된 환경의 일부분으로 대체하는 것을 포함하여, 시뮬레이션된 환경에 의해 점유되는 3차원 환경의 양을 변경하도록 3차원 환경을 업데이트한다(1410c). 예를 들어, 제1 위치로부터 멀어지는 객체의 이동에 응답하여 드러났던 물리적 환경의 부분을 드러내는 것을 적어도 부분적으로 (예컨대, 다시 제1 위치를 향한 객체의 이동의 양에 기초하여) 되돌리는 것. 일부 실시예들에서, 제1 위치로부터 멀어지는 객체의 이동에 응답하여 드러났던 물리적 환경의 부분은 제1 위치로부터 멀어지는 객체의 이동에 응답하여 디스플레이되는 것이 중지된 시뮬레이션된 환경의 부분으로 대체된다. 일부 실시예들에서, 시뮬레이션된 환경에 의해 소비되는 사용자의 시야 및/또는 3차원 환경의 양(및/또는 비율)이 증가된다. 일부 실시예들에서, 경계로부터 멀어지는 시점에 대응하는 객체의 이동이 클수록, 이전에 드러났던 물리적 환경의 더 많은 부분이 시뮬레이션된 환경에 의해 다시 대체되고, 경계로부터 멀어지는 시점에 대응하는 객체의 이동이 적을수록, 이전에 드러났던 물리적 환경의 더 적은 부분이 시뮬레이션된 환경에 의해 다시 대체된다. 경계로부터 멀어지는 이동에 응답하여 물리적 환경을 드러내는 것을 적어도 부분적으로 되돌리는 것은 사용자가 그렇게 하기 위한 별개의 입력 없이 시뮬레이션된 환경의 이전 디스플레이로 복귀하는 것을 가능하게 하고, 그에 의해 사용자-디바이스 상호작용을 더 효율적으로 만든다.
일부 실시예들에서, (예컨대, 제1 위치로부터 멀리 이동하는 사용자의 시점에 대응하는 객체에 응답하여) 시뮬레이션된 환경에 의해 점유되는 3차원 환경의 양을 변경하도록 3차원 환경을 업데이트하는 것은 하기를 포함한다(1412a): 제2 위치가 경계로부터 제1 각자의 거리에 있다는 결정에 따라, 시뮬레이션된 환경의 제1 양의 디스플레이를, 도 13e에서 대체된 시뮬레이션된 환경(1322a)의 양과 같은, 전자 디바이스의 물리적 환경의 제1 양의 디스플레이로 대체하는 것(1412b), 및 제2 위치가 경계로부터, 제1 각자의 거리와는 상이한 제2 각자의 거리에 있다는 결정에 따라, 시뮬레이션된 환경의 제1 양과는 상이한 제2 양의 디스플레이를, 도 13g에서 대체된 시뮬레이션된 환경(1322a)의 양과 같은, 전자 디바이스의 물리적 환경의 제2 양의 디스플레이로 대체하는 것(1412c). 일부 실시예들에서, 사용자의 시점에 대응하는 객체의 이동에 응답하여 드러나는 물리적 환경의 양은 경계로부터의 사용자의 시점의 거리에 기초한다. 예를 들어, 사용자의 시점이 경계로부터 비교적 멀리 있는 경우, 경계를 향한 시점에 대응하는 객체의 주어진 양의 이동은 선택적으로, 비교적 적은 양의 물리적 환경이 드러나는 (예컨대, 그리고 대응하는 비교적 작은 양의 시뮬레이션된 환경이 디스플레이되는 것을 중지하는) 결과로 이어지고, 사용자의 시점이 경계에 비교적 가까이 있는 경우, 경계를 향한 시점에 대응하는 객체의 주어진 양의 이동은 선택적으로, 비교적 큰 양의 물리적 환경이 드러나는 (예컨대, 그리고 대응하는 비교적 큰 양의 시뮬레이션된 환경이 디스플레이되는 것을 중지하는) 결과로 이어진다. 경계로부터의 시점의 거리에 따라 더 많은 또는 더 적은 물리적 환경을 드러내는 것은 드러난 물리적 환경의 양이 필요한 것보다 많지 않다는 것을 보장하고, 따라서 사용자 입력이 그러한 드러나는 것을 교정하기 위한 필요성을 감소시키며, 그에 의해 사용자-디바이스 상호작용을 더 효율적으로 만든다.
일부 실시예들에서, (예컨대, 제1 위치로부터 멀리 이동하는 사용자의 시점에 대응하는 객체에 응답하여) 시뮬레이션된 환경에 의해 점유되는 3차원 환경의 양을 변경하도록 3차원 환경을 업데이트하는 것은 하기를 포함한다(1414a): 사용자의 시점에 대응하는 객체의 이동의 속도가 제1 속도라는 결정에 따라, 시뮬레이션된 환경의 제1 양의 디스플레이를, 도 13e에서 대체된 시뮬레이션된 환경(1322a)의 양과 같은, 전자 디바이스의 물리적 환경의 제1 양의 디스플레이로 대체하는 것(1414b), 및 사용자의 시점에 대응하는 객체의 이동의 속도가 제1 속도와는 상이한 제2 속도라는 결정에 따라, 시뮬레이션된 환경의 제1 양과는 상이한 제2 양의 디스플레이를, 도 13g에서 대체된 시뮬레이션된 환경(1322a)의 양과 같은, 전자 디바이스의 물리적 환경의 제2 양의 디스플레이로 대체하는 것(1414c). 일부 실시예들에서, 사용자의 시점에 대응하는 객체의 이동에 응답하여 드러나는 물리적 환경의 양은 사용자의 시점에 대응하는 객체의 (예컨대, 경계를 향하는) 이동의 속도에 기초한다. 예를 들어, 사용자의 시점에 대응하는 객체가 비교적 느리게 이동하는 경우, 경계를 향한 시점에 대응하는 객체의 주어진 양의 이동은 선택적으로, 비교적 적은 양의 물리적 환경이 드러나는 (예컨대, 그리고 대응하는 비교적 작은 양의 시뮬레이션된 환경이 디스플레이되는 것을 중지하는) 결과로 이어지고, 사용자의 시점에 대응하는 객체가 비교적 빠르게 이동하는 경우, 경계를 향한 시점에 대응하는 객체의 주어진 양의 이동은 선택적으로, 비교적 큰 양의 물리적 환경이 드러나는 (예컨대, 그리고 대응하는 비교적 큰 양의 시뮬레이션된 환경이 디스플레이되는 것을 중지하는) 결과로 이어진다. 사용자의 시점에 대응하는 객체의 이동의 속도에 따라 더 많은 또는 더 적은 물리적 환경을 드러내는 것은, 드러나는 물리적 환경의 양이 사용자의 시점에 대응하는 객체가 이동하고 있는 속도에 대해 물리적 환경에 관한 정보를 전달하기에 충분히 크다는 것을 보장하고, 그에 의해 사용자-디바이스 상호작용을 더 안전하게 만든다.
일부 실시예들에서, (예컨대, 제1 위치로부터 멀리 이동하는 사용자의 시점에 대응하는 객체에 응답하여) 시뮬레이션된 환경에 의해 점유되는 3차원 환경의 양을 변경하도록 3차원 환경을 업데이트하는 것은 하기를 포함한다(1416a): 사용자의 시점에 대응하는 객체의 이동의 가속도가 제1 가속도라는 결정에 따라, 시뮬레이션된 환경의 제1 양의 디스플레이를, 도 13e에서 대체된 시뮬레이션된 환경(1322a)의 양과 같은, 전자 디바이스의 물리적 환경의 제1 양의 디스플레이로 대체하는 것(1416b), 및 사용자의 시점에 대응하는 객체의 이동의 가속도가 제1 가속도와는 상이한 제2 가속도라는 결정에 따라, 시뮬레이션된 환경의 제1 양과는 상이한 제2 양의 디스플레이를, 도 13g에서 대체된 시뮬레이션된 환경(1322a)의 양과 같은, 전자 디바이스의 물리적 환경의 제2 양의 디스플레이로 대체하는 것(1416c). 일부 실시예들에서, 사용자의 시점에 대응하는 객체의 이동에 응답하여 드러나는 물리적 환경의 양은 사용자의 시점에 대응하는 객체의 (예컨대, 경계를 향하는) 이동의 가속도에 기초한다. 예를 들어, 사용자의 시점에 대응하는 객체가 비교적 낮은 가속도로 이동하는 경우, 경계를 향한 시점에 대응하는 객체의 주어진 양의 이동은 선택적으로, 비교적 적은 양의 물리적 환경이 드러나는 (예컨대, 그리고 대응하는 비교적 작은 양의 시뮬레이션된 환경이 디스플레이되는 것을 중지하는) 결과로 이어지고, 사용자의 시점에 대응하는 객체가 비교적 높은 가속도로 이동하는 경우, 경계를 향한 시점에 대응하는 객체의 주어진 양의 이동은 선택적으로, 비교적 큰 양의 물리적 환경이 드러나는 (예컨대, 그리고 대응하는 비교적 큰 양의 시뮬레이션된 환경이 디스플레이되는 것을 중지하는) 결과로 이어진다. 사용자의 시점에 대응하는 객체의 이동의 가속도에 따라 더 많은 또는 더 적은 물리적 환경을 드러내는 것은, 드러나는 물리적 환경의 양이 사용자의 시점에 대응하는 객체가 이동하고 있는 가속도에 대해 물리적 환경에 관한 정보를 전달하기에 충분히 크다는 것을 보장하고, 그에 의해 사용자-디바이스 상호작용을 더 안전하게 만든다.
일부 실시예들에서, 제1 위치로부터 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출한 후에 그리고 시뮬레이션된 환경 및 사용자의 시점으로부터 제2 거리에 있는 경계를 포함하는 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 13e로부터 도 13g로의 디바이스(101) 및/또는 사용자(1320)의 이동과 같은, 물리적 환경 내에서의 제2 위치로부터 멀어지는 사용자의 시점에 대응하는 객체의 제2 이동을 검출한다(1418a)(예컨대, 디스플레이 생성 컴포넌트 및/또는 전자 디바이스가 물리적 환경 내의 새로운 위치로 이동하였다는 것을 감지하는 것, 또는 더 일반적으로, 사용자가 물리적 환경 내에서 이동하였다는 (예컨대, 사용자의 머리 위치 및/또는 방향이 변경되었다는) 것을 감지하는 것 - 그러한 이동은 전자 장치가 3차원 환경을 디스플레이하는 시점을 변경하라는 요청에 대응함). 일부 실시예들에서, 물리적 환경 내에서의 제2 위치로부터 멀어지는 사용자의 시점에 대응하는 객체의 제2 이동을 검출하는 것에 응답하여(1418b), 도 13e로부터 도 13g로의 디바이스(101) 및/또는 사용자(1320)의 이동과 같은, 사용자의 시점에 대응하는 객체의 제2 이동이 경계를 향한다는 결정에 따라(예컨대, 시뮬레이션된 환경과 3차원 환경의 나머지 사이의 경계를 향한 객체의 추가 이동을 수신함), 전자 디바이스는, 도 13g에서와 같이, 3차원 환경 내의 시뮬레이션된 환경의 디스플레이를 중지하도록 3차원 환경을 업데이트한다(1418c). 예를 들어, 전자 디바이스가 시뮬레이션된 환경의 디스플레이를 부분적으로 후퇴시킨 후에, 사용자가 경계를 향하여 추가로 이동하기 위한 입력을 제공하는 경우, 전자 디바이스는 시뮬레이션된 환경의 디스플레이를 완전히 중지하고, 그에 대응하여, 시뮬레이션된 환경에 의해 이전에 대체되었던 물리적 환경 및/또는 3차원 환경의 부분들을 디스플레이한다(예컨대, 물리적 환경 및/또는 3차원 환경을 완전히 드러낸다). 일부 실시예들에서, 경계를 향한 사용자의 시점에 대응하는 객체의 추가 이동은 전자 디바이스가 시뮬레이션된 환경의 디스플레이를 완전히 중지하기 위해 임계량 초과(예컨대, 제2 이동이 초기에 검출될 때 사용자의 시점 사이의 거리의 5, 10, 20, 30, 40, 50, 75, 80, 또는 90 퍼센트 초과)이어야 하고; 그렇지 않으면, 전자 디바이스는 선택적으로, 시뮬레이션된 환경의 디스플레이를 완전히 중지하지 않고서 시점에 대응하는 객체가 경계를 향하여 이동함에 따라, 점점 더 적은 시뮬레이션된 환경을 점진적으로 디스플레이하고, 경계를 사용자의 시점으로부터 점점 더 멀리 점진적으로 이동시킨다. 사용자의 시점에 대응하는 객체의 이동에 응답하여 시뮬레이션된 환경의 디스플레이를 중지하는 것은, 그렇게 하기 위한 별개의 입력에 대한 필요 없이 물리적 환경의 전체가 사용자에게 드러나는 것을 보장하여, 그에 의해 사용자-디바이스 상호작용을 더 안전하게 만든다.
일부 실시예들에서, 시뮬레이션된 환경 및 사용자의 시점으로부터 제1 거리에 있는 경계를 포함하는 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 물리적 환경 내의 제1 위치로부터 멀어지는 사용자의 시점에 대응하는 객체의 이동을 검출하지 않고서, 도 13c에서의 디바이스(101) 및/또는 사용자(1320)의 배향의 변화와 같은, 사용자의 시점에 대응하는 객체의 배향의 변화를 검출한다(1420a). 예를 들어, 사용자는 그의 앉아 있는 위치에서 일어서지 않고 그리고/또는 시뮬레이션된 환경의 경계를 향해 걷지 않고서 그의 또는 그녀의 머리를 회전시킨다. 일부 실시예들에서, 사용자의 시점에 대응하는 객체의 배향의 변화를 검출하는 것에 응답하여, 전자 디바이스는, 도 13c에 도시된 바와 같이, 사용자의 시점으로부터 제1 거리에 경계를 유지하면서 사용자의 시점에 대응하는 객체의 배향의 변화에 따라 그리고 시뮬레이션된 환경의 일부분의 디스플레이를 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이로 대체하지 않고서, 3차원 환경의 디스플레이를 업데이트한다(1420b)(예컨대, 시점의 업데이트된 배향으로부터 3차원 환경을 디스플레이함). 사용자의 시점에 대응하는 객체의 변화가 단지 사용자의 시점에 대응하는 객체의 배향의 변화인 경우, 전자 디바이스는 선택적으로, 사용자의 시점으로부터 시뮬레이션된 환경을 후퇴시키지 않거나 뒤로 당기지 않고, 따라서 시뮬레이션된 환경에 의해 방해받는 물리적 환경의 부분들을 드러내지 않는다. 사용자가 시점에 대응하는 객체의 배향을 단지 변경하고 있는 경우에 물리적 환경의 부분들을 드러내지 않는 것은 사용자가 시뮬레이션된 환경의 디스플레이를 감소시키지 않고서 3차원 환경과 상호작용하고/하거나 그를 탐색하는 것을 가능하게 하여, 그에 의해 사용자-디바이스 상호작용을 더 효율적으로 만든다.
일부 실시예들에서, 하나 이상의 기준들은, 제2 위치가 경계에 대응하는 위치의 임계 거리(예컨대, 0.3, 0.5, 1, 2, 3, 5, 10, 20, 또는 40 피트) 내에 있는 경우에 만족되고 제2 위치가 경계에 대응하는 위치로부터 임계 거리보다 멀리 있는 경우에 만족되지 않는 기준을 포함한다(1422). 일부 실시예들에서, 사용자의 시점에 대응하는 객체가 시뮬레이션된 환경과 3차원 환경의 나머지 사이의 경계의 임계 거리 내에 있지 않는 한, 전자 디바이스는 시뮬레이션된 환경을 후퇴시키거나 뒤로 당기지 않고, 따라서, 시뮬레이션된 환경에 의해 방해받는 물리적 환경의 대응하는 부분들을 드러내지 않는다. 시점에 대응하는 객체가 시뮬레이션된 환경의 경계에 충분히 가깝게 이동하지 않는 한 물리적 환경의 부분들을 드러내지 않는 것은 사용자가 시뮬레이션된 환경의 디스플레이를 감소시키지 않고서 3차원 환경과 상호작용하고/하거나 그를 탐색하는 것을 가능하게 하여, 그에 의해 사용자-디바이스 상호작용을 더 효율적으로 만든다.
일부 실시예들에서, 시뮬레이션된 환경에 의해 점유되는 3차원 환경의 양을 변경하도록 3차원 환경을 업데이트하는 것은, 도 13e를 참조하여 설명된 시뮬레이션된 환경(1322a)의 깊이 기반 후퇴와 같은, 사용자의 시점에 대응하는 객체로부터 전자 디바이스의 물리적 환경 내의 하나 이상의 물리적 특징부들의 거리들에 기초하여 시뮬레이션된 환경에 의해 점유되는 3차원의 부분들을 변경하는 것을 포함한다(1424). 예를 들어, 전자 디바이스는 선택적으로, 사용자의 시점에 더 가까운 시뮬레이션된 환경의 부분들(예컨대, 그에 대응하여 사용자에게 더 가까이 있는 물리적 환경의 부분들을 더 일찍 드러냄)이 사용자의 시점으로부터 더 멀리 있는 시뮬레이션된 환경의 부분들(예컨대, 그에 대응하여 사용자로부터 더 멀리 있는 물리적 환경의 부분들을 드러냄)보다 일찍 디스플레이되는 것이 중지되는 깊이 기반 방식으로 시뮬레이션된 환경을 사용자의 시점으로부터 후퇴시키거나 뒤로 당긴다. 그러한 깊이 기반 전이의 특성들 중 하나 이상은 방법들(800 및/또는 1000)을 참조하여 설명된 깊이 기반 전이들의 특성들과 동일하다. 깊이에 기초하여 물리적 환경의 일부분들을 드러내는 것은 사용자에게 가장 가까운 물리적 영역들이 드러나는 것을 보장하며, 그에 의해 사용자-디바이스 상호작용을 더 안전하게 만든다.
일부 실시예들에서, 도 13b에서와 같은, 대기 효과(예컨대, 방법(1000)을 참조하여 설명된 대기 효과들과 같은, 조명 및/또는 입자 효과들과 같은, 대기 효과)로 물리적 환경의 제3 부분의 표현을 디스플레이하는 것을 포함하여, 3차원 환경을 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 디바이스(101) 및/또는 사용자(1320)의 도 13b의 그의 위치들로부터 도 13f의 그의 위치들로의 이동과 같은, 물리적 환경 내에서의 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 제2 이동을 검출한다(1426a)(예컨대, 사용자의 시점에 대응하는 객체의 이동은 사용자의 시점에 대응하는 객체의 제1 이동의 특성들의 하나 이상을 가짐). 일부 실시예들에서, 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 제2 이동을 검출하는 것에 응답하여, 전자 디바이스는, 도 13f에 도시된 바와 같이, 물리적 환경의 제3 부분의 표현이 디스플레이되는 대기 효과를 변경하지 않고서 사용자의 시점에 대응하는 객체의 제2 이동에 따라 3차원 환경의 디스플레이를 업데이트한다(1426b)(예컨대, 사용자의 시점의 업데이트된 위치로부터 오도록 3차원 환경의 디스플레이를 업데이트함). 일부 실시예들에서, 시뮬레이션된 환경이 본 명세서에 설명된 바와 같이 전자 디바이스에 의해 후퇴되거나 뒤로 당겨지게 할 사용자의 시점에 대응하는 객체의 이동들은, 선택적으로, 전자 디바이스가 3차원 환경에 적용되는 대기 효과들의 양 또는 정도를 감소시키게 하지 않는다. 따라서, 일부 실시예들에서, 대기 효과들은 시점 이동에 기초하여 변경되지 않지만, 오히려, 변경되기 위해 상이한 유형의 입력(예컨대, 손 제스처 입력, 전자 디바이스 상의 물리적 입력 요소의 선택 등)을 필요로 한다. 대기 효과들이 (예컨대, 일반적으로) 3차원 환경 내의 물리적 환경의 디스플레이를 방해하지 않지만, 오히려 물리적 환경이 3차원 환경 내에 디스플레이되는 특성들(예컨대, 조명)을 변경하기 때문에, 전자 디바이스는 안전상의 이유들로 대기 효과들의 디스플레이를 변경할 필요가 없다. 시점 이동에 기초하여 대기 효과들을 변경하는 것은 3차원 환경의 디스플레이의 변화의 크기를 감소시키거나 그를 제거하고, 따라서 3차원 환경의 디스플레이의 잠재적인 방향 감각 상실을 일으키는 변화를 감소시키며, 그에 의해 사용자-디바이스 상호작용을 더 안전하고 더 효율적으로 만든다.
일부 실시예들에서, 제1 위치로부터 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출하기 전에, 3차원 환경은, 사용자 인터페이스 객체(1334a/b)와 같은, 시뮬레이션된 환경 내에 위치된 애플리케이션의 사용자 인터페이스(예컨대, 또는 임의의 가상 객체)를 포함한다(1428a)(예컨대, 애플리케이션의 사용자 인터페이스는 시뮬레이션된 환경에 대응하는 3차원 환경의 일부분 내에 있고, 물리적 환경에 대응하는 3차원 환경의 일부분 내에 있지 않다. 일부 실시예들에서, 애플리케이션의 사용자 인터페이스의 위치는 전자 디바이스 및/또는 디스플레이 생성 컴포넌트의 물리적 환경의 경계들을 넘어서 있다(예컨대, 사용자가 위치하는 룸의 벽들의 외측에 있다)). 일부 실시예들에서, 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출하는 것에 응답하여, 도 13g에서의 디바이스(101) 및/또는 사용자(1320)의 이동과 같은, 물리적 환경 내에서의 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동이 하나 이상의 제2 기준들을 만족한다는 결정에 따라(1428b)(예컨대, 시점에 대응하는 객체의 이동은 이전에 설명된 바와 같이 전자 디바이스가 3차원 환경 내에서 시뮬레이션된 환경을 디스플레이하는 것을 완전히 중지하게 할 정도로 충분히 크고, 빠르고 등이고/이거나, 시점에 대응하는 객체의 이동은 애플리케이션의 사용자 인터페이스를 포함하는 시뮬레이션된 환경의 부분을 전자 디바이스가 디스플레이하는 것을 중지하게 할 정도로 충분히 크고, 빠르고 등이다), 전자 디바이스는, 도 13g에 도시된 바와 같이, 시뮬레이션된 환경을 더 이상 포함하지 않도록 3차원 환경을 업데이트한다(1428c). 일부 실시예들에서, 전자 디바이스는 3차원 환경 내에서, 도 13g의 3차원 환경(1304) 내에 더 이상 포함되지 않는 사용자 인터페이스 객체(1334a/b)와 같은, 애플리케이션의 사용자 인터페이스의 디스플레이를 중지한다(1428d). 일부 실시예들에서, 시뮬레이션된 환경이 완전히 디스플레이되는 것이 중지되는 경우, 또는 애플리케이션의 사용자 인터페이스를 포함한 시뮬레이션된 환경의 부분이 디스플레이되는 것이 중지되는 경우, 전자 디바이스는 또한 3차원 환경에서 애플리케이션의 사용자 인터페이스를 디스플레이하는 것을 중지한다. 시뮬레이션된 환경이 디스플레이되는 것이 중지되는 경우 시뮬레이션된 환경에 있었던 객체의 디스플레이를 중지하는 것은 시뮬레이션된 환경에 디스플레이된 다른 항목들과 일관되게 객체를 처리하고, 그에 의해 사용자-디바이스 상호작용을 더 일관되게 만든다.
일부 실시예들에서, 제1 위치로부터 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출하기 전에, 3차원 환경은, 도 13a의 사용자 인터페이스 객체(1330a/b)와 같은, 3차원 환경 내의 시뮬레이션된 환경의 외측에 위치된 애플리케이션의 사용자 인터페이스(예컨대, 또는 임의의 가상 객체)를 포함한다(1430a)(예컨대, 애플리케이션의 사용자 인터페이스는 (예컨대, 물리적 환경에 대응하는 3차원 환경의 일부분 내에 있는 것과 같이) 시뮬레이션된 환경의 외측에 있는 3차원 환경의 일부분 내에 있고, 시뮬레이션된 환경에 대응하는 3차원 환경의 일부분 내에 있지 않다. 일부 실시예들에서, 애플리케이션의 사용자 인터페이스의 위치는 전자 디바이스 및/또는 디스플레이 생성 컴포넌트의 물리적 환경의 경계들 내에 있고(예컨대, 사용자가 위치하는 룸의 벽들 내에 있고), 그러한 경계들의 외측에 위치될 수 없다). 일부 실시예들에서, 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출하는 것에 응답하여, 도 13g에서의 디바이스(101) 및/또는 사용자(1320)의 이동과 같은, 물리적 환경 내에서의 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동이 하나 이상의 제2 기준들을 만족한다는 결정에 따라(1430b)(예컨대, 시점에 대응하는 객체의 이동은 이전에 설명된 바와 같이 전자 디바이스가 3차원 환경 내에서 시뮬레이션된 환경을 디스플레이하는 것을 완전히 중지하게 할 정도로 충분히 크고, 빠르고 등이다), 전자 디바이스는, 도 13g에 도시된 바와 같이, 시뮬레이션된 환경을 더 이상 포함하지 않도록 3차원 환경을 업데이트한다(1430c). 일부 실시예들에서, 전자 디바이스는 3차원 환경 내에서, 도 13g의 사용자 인터페이스 객체(1330b)와 같은, 애플리케이션의 사용자 인터페이스의 디스플레이를 유지한다(1430d). 일부 실시예들에서, 시뮬레이션된 환경이 완전히 디스플레이되는 것이 중지되는 경우, 전자 디바이스는 3차원 환경에서 시뮬레이션된 환경의 외측에 디스플레이되었던 가상 객체들의 디스플레이를 유지한다. 시뮬레이션된 환경이 디스플레이되는 것이 중지되는 경우 시뮬레이션된 환경의 외측에 있었던 객체의 디스플레이를 유지하는 것은 (예컨대, 물리적 환경의 일부분들과 같은) 시뮬레이션된 환경 외측의 3차원 환경 내에 디스플레이된 다른 항목들과 일관되게 객체를 처리하고, 그에 의해 사용자-디바이스 상호작용을 더 일관되게 만든다.
일부 실시예들에서, 제1 위치로부터 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출하기 전에, 3차원 환경은, 도 13a의 사용자 인터페이스 객체(1332a/b)와 같은, 시뮬레이션된 환경 내에 위치된 애플리케이션의 사용자 인터페이스(예컨대, 또는 임의의 가상 객체)를 포함한다(1432a)(예컨대, 애플리케이션의 사용자 인터페이스는 시뮬레이션된 환경에 대응하는 3차원 환경의 일부분 내에 있고, 물리적 환경에 대응하는 3차원 환경의 일부분 내에 있지 않다. 일부 실시예들에서, 애플리케이션의 사용자 인터페이스의 위치는 전자 디바이스 및/또는 디스플레이 생성 컴포넌트의 물리적 환경의 경계들을 넘어서 있다(예컨대, 사용자가 위치하는 룸의 벽들의 외측에 있다)). 일부 실시예들에서, 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동을 검출하는 것에 응답하여, 도 13g에서의 디바이스(101) 및/또는 사용자(1320)의 이동과 같은, 물리적 환경 내에서의 제1 위치로부터 멀어져 제2 위치로의 사용자의 시점에 대응하는 객체의 이동이 하나 이상의 제2 기준들을 만족한다는 결정에 따라(1432b)(예컨대, 시점에 대응하는 객체의 이동은 이전에 설명된 바와 같이 전자 디바이스가 3차원 환경 내에서 시뮬레이션된 환경을 디스플레이하는 것을 완전히 중지하게 할 정도로 충분히 크고, 빠르고 등이고/이거나, 시점에 대응하는 객체의 이동은 애플리케이션의 사용자 인터페이스를 포함하는 시뮬레이션된 환경의 부분을 전자 디바이스가 디스플레이하는 것을 중지하게 할 정도로 충분히 크고, 빠르고 등이다), 전자 디바이스는, 도 13g에서와 같이, 시뮬레이션된 환경을 더 이상 포함하지 않도록 3차원 환경의 제1 부분을 업데이트한다(1432c). 일부 실시예들에서, 전자 디바이스는, 도 13g의 객체(1332a/b)와 관련하여 도시된 바와 같이, 3차원 환경의 제2 부분 내에 애플리케이션의 사용자 인터페이스를 디스플레이한다(1432d). 일부 실시예들에서, 시뮬레이션된 환경이 완전히 디스플레이되는 것이 중지되는 경우, 또는 애플리케이션의 사용자 인터페이스를 포함한 시뮬레이션된 환경의 부분이 디스플레이되는 것이 중지되는 경우, 전자 디바이스는 시뮬레이션된 환경이 디스플레이되는 것이 중지된 후에 남아 있는 3차원 환경의 일부분 외부로 사용자 인터페이스를 이동시킨다. 일부 실시예들에서, 사용자 인터페이스의 이러한 이동은 사용자 인터페이스를 이전에 있었던 것보다 사용자의 시점에 더 가깝게 이동시키는 것을 포함한다. 일부 실시예들에서, 사용자 인터페이스는 사용자의 시점으로부터 이전과 동일한 거리를 유지한다(예컨대, 사용자 인터페이스가 물리적 환경의 일부분의 디스플레이에 의해 대체된 시뮬레이션된 환경의 일부분 내에 디스플레이된 경우, 사용자 인터페이스는 물리적 환경의 그러한 일부분 내에 디스플레이된다). 시뮬레이션된 환경이 디스플레이되는 것이 중지되는 경우 시뮬레이션된 환경 내에 디스플레이되었던 객체를 계속 디스플레이하는 것은 객체와의 계속된 상호작용을 허용하고, 그에 의해 사용자-디바이스 상호작용을 더 일관되고 효율적으로 만든다.
일부 실시예들에서, 도 13g와 비교하여 도 13e의 객체(1332a/b)와 관련하여 도시된 바와 같이, 애플리케이션의 사용자 인터페이스가 3차원 환경의 제1 부분 내에 위치되는 동안, 애플리케이션의 사용자 인터페이스는 3차원 환경 내에서 제1 크기를 갖고(1434a), 애플리케이션의 사용자 인터페이스가 3차원 환경의 제2 부분 내에 위치되는 동안, 애플리케이션의 사용자 인터페이스는 3차원 환경의 제1 부분 내에서 제1 크기보다 작은 제2 크기를 갖는다(1434b). 일부 실시예들에서, 전자 디바이스는 또한 사용자 인터페이스(또는 객체)가 사용자 인터페이스를 시뮬레이션된 환경으로부터 3차원 환경의 제2 부분으로 이동시킴에 따라 사용자 인터페이스(또는 객체)의 크기를 감소시킨다. 일부 실시예들에서, 사용자 인터페이스의 그러한 이동은 사용자 인터페이스가 사용자의 시점에 더 가깝게 하고, 이는 사용자 인터페이스가 사용자의 시야의 더 큰 부분을 소비하게 할 수 있다. 따라서, 전자 디바이스는 선택적으로, 사용자 인터페이스에 의해 소비된 사용자의 시야의 일부분이 크지 않도록 사용자 인터페이스의 크기를 감소시키거나, 임계량 미만으로 증가시키거나(예컨대, 1, 5, 10, 20, 30, 40, 또는 50% 미만으로 증가시키거나), 동일하게 유지하거나, 감소시킨다. 시뮬레이션된 환경이 디스플레이되는 것이 중지되는 경우 시뮬레이션된 환경 내에 디스플레이되었던 객체의 크기를 감소시키는 것은 객체의 디바이스 제어식 이동이 사용자에 대한 3차원 환경의 디스플레이에 대한 파괴적인 변화를 야기하지 않는 것을 보장하고, 그에 의해 사용자-디바이스 상호작용을 더 일관되고 효율적으로 만든다.
도 15a 내지 도 15g는 일부 실시예들에 따른, 사용자가 가상 객체를 시뮬레이션된 환경으로 그리고/또는 그 내로 이동시키는 것에 응답하여 사용자에게 피드백을 제공하는 예들을 예시한다.
도 15a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, (예컨대, 컴퓨터 시스템(101)의 물리적 환경의 후방 벽을 향하는) 오버헤드 뷰에 예시된 사용자(1520)의 시점으로부터의 3차원 환경(1502)을 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부(예컨대, 사용자의 하나 이상의 손들)의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에서 예시되고 설명되는 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 15a에 도시된 바와 같이, 디바이스(101)는 디바이스(101) 주위의 물리적 환경 내의 하나 이상의 객체들을 포함하는, 물리적 환경(예를 들어, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 일부 실시예들에서, 디바이스(101)는 3차원 환경(1502) 내의 물리적 환경의 표현들을 디스플레이하고/하거나 물리적 환경의 표현들은 디스플레이 생성 컴포넌트(120)를 통해 가시적이고, 디바이스(101)는 선택적으로 또한, 시뮬레이션된 환경(1512)을 디스플레이한다. 예를 들어, 3차원 환경(1502)은, 선택적으로 물리적 환경 내의 물리적 커피 테이블의 표현인 커피 테이블(1508)의 표현을 포함하고; 3차원 환경(1502)은 또한, 방법들(800, 1000, 1200, 1400 및/또는 1600)을 참조하여 설명된 시뮬레이션된 환경들의 특성들 중 하나 이상을 선택적으로 갖는 시뮬레이션된 환경(1512)을 포함한다. 3차원 환경(1502)은 선택적으로, 도 9a 내지 도 9h 및/또는 방법(1000)을 참조하여 설명된 3차원 환경(904)의 특성들 중 하나 이상을 갖는다. (예컨대, 물리적 환경 및 시뮬레이션된 환경(1512)의 부분들을 포함하는) 3차원 환경(1502)의 오버헤드 뷰에 도시된 바와 같이, 물리적 환경은 커피 테이블(1508) 및 카우치(1518)를 포함한다. 일부 실시예들에서, 시뮬레이션된 환경(1512)은 방법들(800, 1000, 1200, 1400 및/또는 1600)을 참조하여 설명된 바와 같이 3차원 환경(1502)의 하나 이상의 부분들을 점유한다.
전술된 바와 같이, 도 15a에서, 디바이스(101)는 3차원 환경(1502) 내의 시뮬레이션된 환경(1512)을 디스플레이하고, 이때 시뮬레이션된 환경(1512)과 물리적 환경에 대응하는 3차원 환경(1502)의 부분 사이에 경계를 갖는다. 일부 실시예들에서, 경계는 시뮬레이션된 환경(1512)과 물리적 환경에 대응하는 3차원 환경(1502)의 부분 사이의 페더형 경계여서, 경계 내에, 시뮬레이션된 환경(1512)의 (예컨대, 희미해진 또는 블러링된) 부분 및 물리적 환경의 (예컨대, 희미해진 또는 블러링된) 부분 둘 모두가 디스플레이되게 한다. 도 15a에서, 시뮬레이션된 환경(1512)은 (예컨대, 몰입 표시자(1510)에 의해 나타난 바와 같이) 중간 몰입 레벨로 디스플레이되며, 이는 선택적으로, 시뮬레이션된 환경(1512)에 의해 소비되는 사용자(1520)의 시점으로부터의 시야의 양 및/또는 사용자(1520)의 시점에 대한 시뮬레이션된 환경(1512)의 경계의 근접도에 대응한다. 시뮬레이션된 환경이 디스플레이되는 몰입에 관한 추가적인 또는 대안적인 상세사항들은 방법들(800, 1000 및/또는 1600)을 참조하여 제공된다.
디스플레이 생성 컴포넌트(120)를 통해 그리고 도 15a의 오버헤드 뷰에 도시된 바와 같이, 3차원 환경(1502)은 가상 객체(1514)를 포함한다. 가상 객체(1514)는, 시뮬레이션된 환경(1512)에 대응하는 3차원 환경(1502)의 일부분에서보다는 오히려, 물리적 환경에 대응하는 3차원 환경(1502)의 일부분에 포함된다. 가상 객체(1514)는 선택적으로, 애플리케이션들의 사용자 인터페이스들(예컨대, 메시징 사용자 인터페이스들, 및/또는 콘텐츠 브라우징 사용자 인터페이스들), 3차원 객체들(예컨대, 가상 시계들, 가상 볼들, 및/또는 가상 자동차들), 또는 물리적 환경 내에 포함되지 않는 디바이스(101)에 의해 디스플레이되는 임의의 다른 요소 중 하나 이상이다.
일부 실시예들에서, 가상 객체(1514)의 시뮬레이션된 환경(1512)으로의 이동은, 후술되는 바와 같이, 가상 객체(1514)가 시뮬레이션된 환경(1512) 내로 배치되게 한다. 추가로, 일부 실시예들에서, 디바이스(101)는 가상 객체(1514)가 사용자로부터의 입력의 결과로서 시뮬레이션된 환경(1512)을 갖고/갖거나 그 내로 배치될 것이라는 것을 나타내기 위해 시뮬레이션된 환경(1512)의 시각적 외관을 변경한다. 그러나, 가상 객체(1514)가 시뮬레이션된 환경(1512) 외측의 3차원 환경(1502)의 부분들 내에서 대신 이동되는 경우, 디바이스(101)는 선택적으로, 시뮬레이션된 환경(1512)의 시각적 외관을 변경하지 않는다.
예를 들어, 도 15a 및 도 15b로부터, 디바이스(101)는 가상 객체(1514)로 지향되는 손(1524)으로부터의 이동 입력을 검출한다. 일부 실시예들에서, 손(1524)으로부터의 입력은 사용자의 주의가 가상 객체(1514)로 지향되는 동안 손(1524)이 에어 핀치 제스처를 수행하는 것, 및 핀치 손 형상으로 남아 있는 동안 손(1524)의 이동을 포함한다. 추가적인 또는 대안적인 이동 입력들이 방법(1600)을 참조하여 설명된다.
도 15b에서, 손(1524)은 가상 객체(1514)를 3차원 환경(1502) 내의 새로운 위치로 좌측으로 이동시켰다. 디바이스(101)는 그에 따라서 3차원 환경(1502) 내에서 가상 객체(1514)의 디스플레이 위치를 업데이트하였지만, 시뮬레이션된 환경(1512)의 시각적 외관을 변경하지 않았다. 추가로, 시뮬레이션된 환경(1512)은 도 15a에 디스플레이되었던 것과 동일한 몰입 레벨로 계속 디스플레이된다.
도 15c에서, 대조적으로, 손(1524)은 가상 객체(1514)를 시뮬레이션된 환경(1512)의 좌측을 향해, 그리고 시뮬레이션된 환경(1512)의 임계 거리(예컨대, 0.1, 0.3, 0.5, 1, 3, 5, 10, 20, 50, 100, 500 또는 1000cm) 내로 그리고/또는 시뮬레이션된 환경(1512) 내의 위치로 이동시켰다. 도 15c에서, 손(1524)으로부터의 이동 입력은 아직 종료되지 않았다(예컨대, 손(1524)은 핀치 손 형상으로 유지되고, 아직 핀치 손 형상을 해제하도록 언핀칭(unpinching) 또는 디핀칭(depinching)되지 않았다). 도 15c의 손(1524)으로부터의 이동 입력에 응답하여, 디바이스(101)는 그에 따라, 사용자(1520)의 시점을 향하여 지향되도록 가상 객체(1514)의 배향을 업데이트하는 것을 포함하여, 3차원 환경(1502) 내에서 가상 객체(1514)의 디스플레이 위치를 업데이트하였다. 추가적으로, 디바이스(101)는 시뮬레이션된 환경(1512)의 시각적 외관을 변경하였다. 예를 들어, 디바이스(101)는 (예컨대, 시뮬레이션된 환경(1512)을 통해 이전에 가시적이지 않았던 물리적 환경의 부분들이 이제는 시뮬레이션된 환경(1512)을 통해 적어도 부분적으로 가시적이도록) 시뮬레이션된 환경(1512)의 반투명도를 증가시켰다. 추가로, 디바이스(101)는 손(1524)이 가상 객체(1514)를 이동시킨 위치에 기초한 위치로 시뮬레이션된 환경(1512)(예컨대, 이동된 시뮬레이션된 환경(1512))을 중심설정하였다. 일부 실시예들에서, 디바이스(101)는 가상 객체(1514)가 시뮬레이션된 환경(1512)의 임계 거리 내로 오게 될 때 가상 객체(1514)의 위치 상에 시뮬레이션된 환경(1512)을 중심설정하고; 일부 실시예들에서, 디바이스(101)는 가상 객체(1514)가 시뮬레이션된 환경(1512)의 임계 거리 내로 오게 될 때 사용자(1520)의 시점 상에 시뮬레이션된 환경(1512)을 중심설정한다. 추가로, 디바이스(101)는, 도 15c의 몰입 표시자(1510)에 의해 나타난 바와 같이, 가상 객체(1514)가 시뮬레이션된 환경(1512)의 임계 거리 내로 그리고/또는 시뮬레이션된 환경(1512) 내의 위치로 오게 되는 것에 응답하여 시뮬레이션된 환경(1512)이 디스플레이되고 있는 몰입 레벨을 증가시켰다. 예를 들어, 시뮬레이션된 환경(1512)과 3차원 환경(1502)의 나머지 사이의 경계는, 도 15c에 도시된 바와 같이, 사용자(1520)의 시점에 더 가깝게 이동하였고/하였거나, 사용자(1520)의 시점 주위를 더 많이 감쌌다. 시뮬레이션된 환경이 디스플레이되는 몰입 레벨을 증가시키는 것에 관한 추가적인 또는 대안적인 상세사항들은 방법들(800, 1000, 1200 및/또는 1400)을 참조하여 제공된다.
도 15d는 손(1524)이 가상 객체(1514)를, 도 15c에 도시된 바와 같이 시뮬레이션된 환경(1512)의 좌측으로보다는 오히려, 도 15b로부터의 시뮬레이션된 환경(1512)의 우측으로 이동시켰을 경우의 디바이스(101)의 대안적인 응답을 예시한다. 예를 들어, 도 15d의 디바이스(101)는 도 15c에서와는 상이한 위치로 시뮬레이션된 환경(1512)을 중심설정하였다(예컨대, 이동시켰다) - 특히, 디바이스(101)는 도 15d에 도시된 가상 객체(1514)의 위치 상으로 시뮬레이션된 환경(1512)을 중심설정하였다. 디바이스(101)가 도 15d에서 시뮬레이션된 환경(1512)의 시각적 외관을 변경하는 방식들의 다른 상세사항들은 그들이 도 15c를 참조하여 설명되었기 때문에 선택적이다.
도 15c로 돌아가면, 일부 실시예들에서, 손(1524)으로부터의 이동 입력의 종료를 검출하는 것에 응답하여(예컨대, 핀치 손 형상을 해제하기 위해 손(1524)이 디핀칭 또는 언핀칭하는 것을 검출하는 것에 응답하여), 가상 객체(1514)가 시뮬레이션된 환경(1512) 내에 있고/있거나 시뮬레이션된 환경(1512)의 임계 거리 내에 있는 동안, 디바이스(101)는 선택적으로, 하기에 설명되는 바와 같이, 가상 객체(1514)를 시뮬레이션된 환경(1512) 내의 미리결정된 위치(1516)로 이동시킨다. 도 15c 및 도 15d에 도시된 바와 같이, 미리결정된 위치(1516)는 선택적으로, 3차원 환경(1502) 내의 시뮬레이션된 환경(1512)의 위치에 따라 3차원 환경(1502) 내의 상이한 위치들에 있지만, 미리결정된 위치(1516)는 선택적으로 시뮬레이션된 환경(1512) 내의 동일한 상대 위치에 유지된다. 추가로, 일부 실시예들에서, 시뮬레이션된 환경(1512) 내의 미리결정된 위치(1516)의 위치는 상이한 시뮬레이션된 환경들이 선택적으로 그들 내의 상이하게 배치된 미리결정된 위치들 및/또는 상이한 수의 미리결정된 위치들을 포함하도록 시뮬레이션된 환경(1512)에 의해 한정된다.
도 15c로부터 도 15e로, 디바이스(101)는 손(1524)으로부터의 이동 입력의 종료를 검출한다. 이에 응답하여, 도 15e에 도시된 바와 같이, 디바이스(101)는 (예컨대, 가상 객체(1514)를 미리결정된 위치(1516)로 이동시키기 위한 손(1524)으로부터의 이동 입력 없이) 가상 객체(1514)를 시뮬레이션된 환경(1512) 내의 미리결정된 위치(1516)로 자동적으로 이동시킨다. 디바이스(101)는 또한, 도 15c 및 도 15d에서 이루어진 시뮬레이션된 환경(1512)의 시각적 외관에 대한 변화들 중 적어도 하나를 적어도 부분적으로 되돌렸다. 예를 들어, 디바이스(101)는 도 15e의 시뮬레이션된 환경(1512)의 반투명도의 증가를 적어도 부분적으로 되돌렸다(예컨대, 디바이스(101)는 시뮬레이션된 환경(1512)의 반투명도를 감소시켰다). 추가로, 디바이스(101)는 3차원 환경(1502) 내에서 가상 객체(1514)의 크기를 자동적으로 변경하였다. 특히, 도 15e에서, 디바이스(101)는, 다른 결과들이 가능하지만, (예컨대, 오버헤드 뷰에 도시된 바와 같이) 가상 객체(1514)의 크기를 증가시켰다. 선택적으로 가상 객체(1514)가 도 15c에 디스플레이되었던 거리보다 사용자(1520)의 시점으로부터 더 멀리 있는 미리결정된 위치(1516)로 가상 객체(1514)가 스냅될 때 가상 객체(1514)의 크기를 자동적으로 증가시키는 것은, 가상 객체(1514)가 사용자(1520)의 시점으로부터의 그의 새로운 거리에 적절하게 크기설정된 상태로 유지되어 사용자에게 적절하게 가시적인 것을 보장하도록 돕는다. 일부 실시예들에서, 가상 객체(1514)가 시뮬레이션된 환경(1512)에서 증가되거나 감소되는 크기 2는 시뮬레이션된 환경(1512)에 의해 선택적으로 한정되고/되거나 사용자(1520)의 시점으로부터 미리결정된 위치(1516)의 거리에 기초하여서, 상이한 시뮬레이션된 환경들이 선택적으로 가상 객체(1514)에 대한 상이한 스케일링 결과들을 야기하게 한다.
일부 실시예들에서, 시뮬레이션된 환경(1512)으로부터 가상 객체(1514)를 제거하는 것은 소정 기준들(예컨대, 방법(1600)을 참조하여 더 상세히 설명되는 바와 같은, 크기 기준들, 방향 기준들, 속도 기준들 및/또는 가속 기준들)을 만족하는 손(1524)으로부터의 이동 입력으로부터의 이동 특성들을 필요로 하고; 그렇지 않으면, 가상 객체(1514)는 선택적으로 미리결정된 위치(1516)로부터 멀어지게 이동되지만, 손(1524)으로부터의 이동 입력의 종료를 검출하는 것에 응답하여 시뮬레이션된 환경(1512)의 외부로 이동하기보다는 오히려, 미리결정된 위치(1516)로 자동적으로 다시 이동된다(예컨대, 방법(1600)을 참조하여 더 상세히 설명되는 것과 같이, 미리결정된 위치로 다시 탄성적으로 되돌아간다). 예를 들어, 도 15e로부터 도 15f로, 손(1524)은 미리결정된 위치(1516)로부터 멀어지고 시뮬레이션된 환경(1512) 외측의 3차원 환경(1502)의 일부분을 향하는 (예컨대, 사용자(1520)의 시점을 향하는) 가상 객체(1514)로 지향된 이동 입력을 제공하였다. 손(1524)으로부터의 이동 입력은 선택적으로 가상 객체(1514)를 시뮬레이션된 환경(1512)의 외부로 당기기 위한 전술된 기준들을 만족하지 않는다. 손(1524)으로부터의 이동 입력을 검출하는 것에 응답하여, 디바이스(101)는, 도 15f에 도시된 바와 같이, 가상 객체(1514)를 미리결정된 위치(1516)로부터 그리고 사용자(1520)의 시점을 향하여 이동시켰다. 도 15f에서, 가상 객체(1514)는 시뮬레이션된 환경(1512) 내에 유지된다. 가상 객체(1514)를 미리결정된 위치(1516)로부터 멀어지게 이동시키는 것에 응답하여, 디바이스(101)는 또한 가상 객체(1514)가 미리결정된 위치(1516)에 디스플레이되는 것에 응답하여 발생한 가상 객체(1514)의 스케일링을 적어도 부분적으로 역전시켰다(예컨대, 디바이스(101)는 3차원 환경(1502) 내의 가상 객체(1514)의 크기를 도 15a 내지 도 15c에서 가졌던 크기로 자동적으로 감소시켰다). 도 15f로부터, 손(1524)으로부터의 이동 입력이 가상 객체(1514)를 시뮬레이션된 환경(1512)의 외부로 당기기 위한 전술된 기준들을 만족하기에는 불충분하였기 때문에, 디바이스(101)는 (예컨대, 방법(1600)을 참조하여 더 상세히 설명되는 바와 같이) 가상 객체(1514)를 미리결정된 위치(1516)로 다시 탄성적으로 되돌리고, 가상 객체(1514)의 크기를 다시 증가시키는 것을 포함하여, 도 15e에 도시된 바와 같이 가상 객체(1514)를 미리결정된 위치(1516)에 다시 디스플레이한다.
대조적으로, 손(1524)으로부터의 이동 입력이 가상 객체(1514)를 시뮬레이션된 환경(1512)의 외부로 당기기 위한 전술된 기준들을 만족하기에 충분한 경우, 디바이스(101)는 도 15g에 도시된 바와 같이 가상 객체(1514)를 시뮬레이션된 환경(1512)의 외부로 이동시킨다. 도 15g에서, 가상 객체(1514)는 손(1524)에 의해 제공되는 이동 입력에 따라 물리적 환경에 대응하는 3차원 환경(1502)의 일부분 내에 디스플레이된다. 추가로, 가상 객체는 도 15a 내지 도 15c에서 그것이 3차원 환경(1502) 내에 있었던 동일한 크기로 디스플레이된다.
도 16a 내지 도 16h는 일부 실시예들에 따른, 사용자가 가상 객체를 시뮬레이션된 환경으로 그리고/또는 그 내로 이동시키는 것에 응답하여 사용자에게 피드백을 제공하는 방법(1600)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1600)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120), 헤드업 디스플레이, 디스플레이, 터치스크린, 및/또는 프로젝터) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및/또는 다른 깊이 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1600)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1600)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
일부 실시예들에서, 방법(1600)이 디스플레이 생성 컴포넌트(예컨대, 120) 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예컨대, 101)에서 수행된다. 일부 실시예들에서, 전자 디바이스는 방법들(800, 1000, 1200 및/또는 1400)의 전자 디바이스의 하나 이상의 특성들을 갖는다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 방법들(800, 1000, 1200 및/또는 1400)의 디스플레이 생성 컴포넌트의 하나 이상의 특성들을 갖는다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 방법들(800, 1000, 1200 및/또는 1400)의 하나 이상의 입력 디바이스들의 특성들 중 하나 이상을 갖는다.
일부 실시예들에서, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, (예컨대, 방법들(800, 1000, 1200 및/또는 1400)을 참조하여 설명된 3차원 환경들과 같은) 디스플레이 생성 컴포넌트를 통해 가시적인 3차원 환경 내에, 도 15a의 가상 객체(1514)와 같은, 가상 객체(예컨대, 애플리케이션의 사용자 인터페이스 또는 표현, 콘텐츠 항목의 표현, 또는 전자 디바이스, 디스플레이 생성 컴포넌트 및/또는 사용자의 물리적 환경 내에 포함되지 않은 3차원 환경 내에서 전자 디바이스에 의해 디스플레이되는 임의의 다른 객체)를 디스플레이한다(1601a).
일부 실시예들에서, 3차원 환경은, 도 15a의 시뮬레이션된 환경(1512)의 시각적 외관과 같은, 제1 시각적 외관을 갖는 시뮬레이션된 환경을 포함한다(1601b)(예컨대, (예를 들어, 방법들(800, 1000, 1200 및/또는 1400)을 참조하여 설명된 바와 같은) 3차원 환경 내의 제1 크기, 제1 밝기, 제1 불투명도, 제1 레벨의 선명도(또는 불명료도) 및/또는 제1 몰입 레벨. 일부 실시예들에서, 시뮬레이션된 환경은 방법들(800, 1000, 1200 및/또는 1400)을 참조하여 설명된 시뮬레이션된 또는 가상 환경들의 특성들 중 하나 이상을 갖는다). 일부 실시예들에서, 가상 객체는, 도 15a의 가상 객체(1514)의 위치와 같은, 3차원 환경 내의 시뮬레이션된 환경의 외측에 위치된다(1601c). 예를 들어, 가상 객체는 시뮬레이션된 환경에 의해 포괄 또는 소비되지 않는 3차원 환경 내의 위치에 디스플레이된다.
일부 실시예들에서, 3차원 환경 내에 가상 객체를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 가상 객체를 3차원 환경 내에서 이동시키라는 요청에 대응하는, 도 15a의 가상 객체(1514)로 지향되는 손(1524)으로부터의 입력과 같은, 제1 입력을 수신한다(1601d). 일부 실시예들에서, 제1 입력은 손의 엄지 및 검지가 서로를 향해 이동하여 터치하고, 이어서 핀치 손 형상의 손이 (예컨대, 검지와 엄지가 서로 접촉한 상태를 유지하면서) 이동하는 핀칭 제스처와 같은, 전자 디바이스의 사용자의 손에 의해 제공되는 에어 제스처 입력이다. 일부 실시예들에서, 제1 입력은 핀칭 제스처가 검출될 때 가상 객체로 지향되는 사용자의 시선을 포함한다. 일부 실시예들에서, 전자 디바이스는 사용자의 손이 핀치 손 형상으로 유지되는 동안 사용자의 손의 이동에 따라 3차원 환경 내에서 가상 객체를 이동시킨다. 일부 실시예들에서, 손의 엄지 및 검지가 서로 멀어지게 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 가상 객체를 3차원 환경 내의 그의 현재 위치에서 이동시키는 것을 중지한다. 3차원 환경이 터치 스크린을 통해 디스플레이되는 경우에, 제1 입력은 선택적으로, 가상 객체가 디스플레이되고 있는 위치에서 터치 스크린과 사용자의 손가락의 접촉에 이어, 터치 스크린과 접촉을 유지하는 동안의 손가락의 이동을 포함한다. 일부 실시예들에서, 전자 디바이스는, 손가락이 터치 스크린과 접촉을 유지하는 동안 사용자의 손가락의 이동에 따라 3차원 환경 내에서 가상 객체를 이동시킨다. 일부 실시예들에서, 손가락이 터치 스크린으로부터 멀리 이동하고 그와의 접촉을 상실하는 것을 검출하는 것에 응답하여, 전자 디바이스는 가상 객체를 3차원 환경 내의 그의 현재 위치에서 이동시키는 것을 중지한다. 일부 실시예들에서, 제1 입력은 그 외에 시뮬레이션된 환경의 외관을 변경하는 것에 대한 입력이 아니다(예컨대, 시뮬레이션된 환경을 크기조정하기 위한 입력이 아님, 그리고/또는 시뮬레이션된 환경의 몰입을 증가시키기 위한 입력이 아님). 오히려, 제1 입력은 3차원 환경 내에서 가상 객체를 이동시키기 위한 입력이다.
일부 실시예들에서, 제1 입력을 수신하는 것에 응답하여(1601e), 전자 디바이스는, 도 15b, 도 15c 또는 도 15d에서 가상 객체(1514)를 이동시키는 것과 같이, 제1 입력에 따라 가상 객체를 3차원 환경 내에서 이동시킨다(1601f)(예컨대, 시뮬레이션된 환경 외측의 3차원 환경 내에서 가상 객체를 이동시킴, 또는 시뮬레이션된 환경 내로 가상 객체를 이동시킴). 일부 실시예들에서, 도 15c 또는 도 15d에 도시된 바와 같이, 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라(예컨대, 제1 입력이 가상 객체를 지향시키는 각자의 위치는 3차원 환경에서 시뮬레이션된 환경 내에 있고/있거나 시뮬레이션된 환경 내에 있는 임계 거리(예컨대, 0.1, 0.3, 1, 3, 5, 10, 30, 50, 100, 500, 1000 또는 5000cm) 내에 있다. 일부 실시예들에서, 제1 입력은 가상 객체를 각자의 위치로 드래그하기 위한 입력이다(예컨대, 제1 입력이 종료되는 위치는, 전술된 바와 같이, 각자의 위치이다). 일부 실시예들에서, 제1 입력은, 아래에서 더 상세히 설명되는 바와 같이, 가상 객체를 각자의 위치로 토스(toss)하거나 보내기(throw) 위한 입력이다. 일부 실시예들에서, 제1 입력은, 아래에서 더 상세히 설명되는 바와 같이, 가상 객체를 각자의 위치로 이동시키기 위한 선택가능 옵션을 선택하는 입력이다), 전자 디바이스는, 도 15c 또는 도 15d의 시뮬레이션된 환경(1512)의 변경된 시각적 외관과 같은, 제1 시각적 외관과는 상이한 제2 시각적 외관으로 시뮬레이션된 환경을 디스플레이한다(1601g). 예를 들어, 제1 입력에 따라 시뮬레이션된 환경 내에 가상 객체를 디스플레이하는 것에 더하여, 전자 디바이스는, 예컨대, 시뮬레이션된 환경을 (예컨대, 방법들(800, 1000, 1200 및/또는 1400)을 참조하여 설명된 바와 같이) 3차원 환경 내의 제2 크기, 제2 밝기, 제2 불투명도, 제2 레벨의 선명도(또는 불명료도) 및/또는 제2 몰입 레벨로 디스플레이함으로써, (예컨대, 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 대응하는/대응하였던 것을 나타내기 위해) 시뮬레이션된 환경의 시각적 외관을 수정하는데, 이의 일부가 아래에서 더 상세히 설명될 것이다.
일부 실시예들에서, 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키지 않고, 도 15b의 가상 객체(1514)를 이동시키는 것과 같이, 가상 객체를 3차원 환경 내에서 이동시키라는 요청에 대응한다는 결정에 따라(예컨대, 제1 입력이 가상 객체를 지향시키는 각자의 위치는 3차원 환경에서 시뮬레이션된 환경의 외측에 있고/있거나 시뮬레이션된 환경 내에 있는 임계 거리(예컨대, 0.1, 0.3, 1, 3, 5, 10, 30, 50, 100, 500, 1000 또는 5000cm) 밖에 있다. 일부 실시예들에서, 제1 입력은 가상 객체를 각자의 위치로 드래그하기 위한 입력이다(예컨대, 제1 입력이 종료되는 위치는, 전술된 바와 같이, 각자의 위치이다). 일부 실시예들에서, 제1 입력은, 아래에서 더 상세히 설명되는 바와 같이, 가상 객체를 각자의 위치로 토스하거나 보내기 위한 입력이다), 전자 디바이스는, 도 15b의 시뮬레이션된 환경(1512)의 시각적 외관으로 도시된 바와 같이, 제1 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것을 유지한다(1601h)(예컨대, 시뮬레이션된 환경은 (예컨대, 방법들(800, 1000, 1200 및/또는 1400)을 참조하여 설명된 바와 같이) 3차원 환경 내의 제1 크기, 제1 밝기, 제1 불투명도, 제1 레벨의 선명도(또는 불명료도) 및/또는 제1 몰입 레벨로 디스플레이된 상태로 유지된다). 시뮬레이션된 환경의 디스플레이를 선택적으로 수정하는 것은 가상 객체를 이동시키기 위해 제공되는 입력에 관한 피드백을 제공한다.
일부 실시예들에서, 제1 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은, 도 15a의 시뮬레이션된 환경(1512)에 의해 점유된 3차원 환경(1502)의 일부분과 같은, 3차원 환경의 제1 부분을 점유하는 시뮬레이션된 환경을 디스플레이하는 것을 포함하고(1603a), 제2 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은, 도 15c의 시뮬레이션된 환경(1512)에 의해 점유된 3차원 환경(1502)의 일부분과 같은, 3차원 환경의 제2 부분을 점유하는 시뮬레이션된 환경을 디스플레이하는 것을 포함하고, 3차원 환경의 제2 부분은 3차원 환경의 제1 부분과는 상이한 (예컨대, 그보다 큰 또는 작은) 크기를 갖는다(1603b). 따라서, 일부 실시예들에서, 전자 디바이스는 (예컨대, 시뮬레이션된 환경을 크기조정하기 위한 전용 크기조정 입력을 검출하지 않고) 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여 시뮬레이션된 환경의 크기를 변경한다. 일부 실시예들에서, 제2 부분은 제1 부분을 완전히 또는 적어도 부분적으로 포함한다. 일부 실시예들에서, 전자 디바이스는 시뮬레이션된 환경의 크기를 증가시킨다(예컨대, 시뮬레이션된 환경에 의해 소비된 3차원 환경의 부피의 양을 증가시킨다). 일부 실시예들에서, 전자 디바이스는 시뮬레이션된 환경의 크기를 감소시킨다(예컨대, 시뮬레이션된 환경에 의해 소비된 3차원 환경의 부피의 양을 감소시킨다). 일부 실시예들에서, 가상 객체가 3차원 환경에서 임계 크기 미만인 (예컨대, 시뮬레이션된 환경의 크기의 100%, 90%, 75%, 50%, 25%, 10%, 5% 또는 1% 미만인) 크기를 갖는 경우, 전자 디바이스는 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여 시뮬레이션된 환경의 크기를 변경하지 않는다(예컨대, 시뮬레이션된 환경의 크기를 유지한다). 가상 객체가 시뮬레이션된 환경 내에 배치되는 것에 응답하여(예컨대, 핀치 손 형상의 해제와 같은 제1 입력에 대한 종료를 검출하는 것에 응답하여), 전자 디바이스는 선택적으로 (예컨대, 3차원 환경의 제2 부분을 점유하는) 시뮬레이션된 환경의 변경된 크기를 유지한다. 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여 시뮬레이션된 환경의 크기를 수정하는 것은 가상 객체를 포함하기 위해 시뮬레이션된 환경을 적절하게 크기설정하는 데 필요한 입력들의 수를 감소시킨다.
일부 실시예들에서, 제1 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은 3차원 환경 내에 시뮬레이션된 환경을, 도 15a의 시뮬레이션된 환경(1512)의 불투명도와 같은, 제1 불투명도 레벨로 디스플레이하는 것을 포함하고(1605a), 제2 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은 3차원 환경 내에 시뮬레이션된 환경을 제1 불투명도 레벨과는 상이한(예컨대, 제1 레벨보다 높은 또는 낮은), 도 15c의 시뮬레이션된 환경(1512)의 불투명도와 같은, 제2 불투명도 레벨로 디스플레이하는 것을 포함한다(1605b). 예를 들어, 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력을 검출하기 전에, 전자 디바이스는 선택적으로, 시뮬레이션된 환경(및 선택적으로 3차원 환경의 다른 부분들)을 100%, 90% 또는 75% 불투명도로 디스플레이한다. 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력을 검출하는 것에 응답하여, 전자 디바이스는, 시뮬레이션된 환경의 불투명도를 변경하기 위해 전용 입력을 검출하지 않고서, 시뮬레이션된 환경의 불투명도를 80%, 60%, 50% 또는 25%로 선택적으로 감소시킨다(예컨대, 그에 의해, 시뮬레이션된 환경을 통해, 시뮬레이션된 환경의 일부가 아닌 3차원 환경의 하나 이상의 부분들을 드러낸다). 일부 실시예들에서, 전자 디바이스는, 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여, 3차원 환경의 다른 부분들이 디스플레이 생성 컴포넌트를 통해 디스플레이되고/되거나 가시적인 불투명도를 변경하지 않는다. 일부 실시예들에서, 전자 디바이스는, 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여, 가상 객체의 불투명도를 변경하지 않는다. 가상 객체가 시뮬레이션된 환경 내에 배치되는 것에 응답하여(예컨대, 핀치 손 형상의 해제와 같은 제1 입력에 대한 종료를 검출하는 것에 응답하여), 전자 디바이스는 선택적으로, 시뮬레이션된 환경의 변경된 불투명도를 제1 레벨의 불투명도로 되돌린다. 일부 실시예들에서, 시뮬레이션된 환경의 불투명도를 변경하는 것에 추가적으로 또는 대안적으로, 전자 디바이스는, 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여, 하이라이팅, 불빛 및/또는 증가된 밝기로 시뮬레이션된 환경을 디스플레이하고, 가상 객체가 시뮬레이션된 환경 내에 배치되는 것에 응답하여(예컨대, 핀치 손 형상의 해제와 같은, 제1 입력에 대한 종료를 검출하는 것에 응답하여), 선택적으로 그러한 변경들을 되돌린다. 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여 시뮬레이션된 환경의 불투명도를 수정하는 것은 입력이 가상 객체로 하여금 시뮬레이션된 환경에 배치되게 할 것임을 명백히 나타낸다.
일부 실시예들에서, 제1 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은, 도 15a의 시뮬레이션된 환경(1512)의 위치와 같은, 3차원 환경 내의 제1 위치에 시뮬레이션된 환경을 디스플레이하는 것을 포함하고(1607a)(예컨대, 시뮬레이션된 환경의 용적부의 중심점과 같은 시뮬레이션된 환경의 미리결정된 부분이 3차원 환경 내의 제1 위치에 있다), 제2 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은 3차원 환경 내의 제1 위치와는 상이한, 도 15c에서의 시뮬레이션된 환경(1512)의 위치와 같은, 제2 위치에 시뮬레이션된 환경을 디스플레이하는 것을 포함한다(1607b)(예컨대, 시뮬레이션된 환경의 미리결정된 부분이 3차원 환경 내의 제2 위치에 있다). 일부 실시예들에서, 전자 디바이스는, 시뮬레이션된 환경의 위치를 변경하기 위한 전용 입력을 검출하지 않고, 나중에 더 상세히 설명되는 바와 같이, 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력의 일부로서 가상 객체가 이동되는 위치에 기초하여 시뮬레이션된 환경의 위치를 시프트시킨다. 가상 객체가 시뮬레이션된 환경 내에 배치되는 것에 응답하여(예컨대, 핀치 손 형상의 해제와 같은 제1 입력에 대한 종료를 검출하는 것에 응답하여), 전자 디바이스는 선택적으로 3차원 환경 내의 제2 위치에 시뮬레이션된 환경의 디스플레이를 유지한다. 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여 시뮬레이션된 환경의 배치를 수정하는 것은 가상 객체를 수용하기 위해 시뮬레이션된 환경을 적절하게 배치하는 데 필요한 입력들의 수를 감소시킨다.
일부 실시예들에서, 제1 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은 3차원 환경 내에 시뮬레이션된 환경을, 도 15a의 시뮬레이션된 환경(1512)의 몰입과 같은, 제1 몰입 레벨로 디스플레이하는 (예컨대, 둘 모두가 방법(1000)을 참조하여 더 상세히 설명된, 디스플레이 생성 컴포넌트의 시야의 제1 부분을 점유하는 것 및/또는 시뮬레이션된 환경과 연관된 오디오를 생성하는 것으로서 시뮬레이션된 환경을 제1 몰입 레벨로 디스플레이하는) 것을 포함하고(1609a), 제2 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은 3차원 환경 내에 시뮬레이션된 환경을 제1 몰입 레벨과는 상이한(예컨대, 제1 몰입 레벨보다 높은 또는 낮은), 도 15c의 시뮬레이션된 환경(1512)의 몰입과 같은, 제2 몰입 레벨로 디스플레이하는 (예컨대, 시뮬레이션된 환경의 몰입을 변경하기 위한 전용 입력을 검출하지 않고, 둘 모두가 방법(1000)을 참조하여 더 상세히 설명된, 디스플레이 생성 컴포넌트의 시야의 제2 부분을 점유하는 것 및/또는 시뮬레이션된 환경과 연관된 오디오를 생성하는 것으로서 시뮬레이션된 환경을 제2 몰입 레벨로 디스플레이하는) 것을 포함한다(1609b). 일부 실시예들에서, 전자 디바이스가 시뮬레이션된 환경을 디스플레이하는 몰입 레벨을 증가 또는 감소시키는 것은 방법(1000)에 설명된 바와 같이 증가 또는 감소하는 몰입의 특성들 중 하나 이상을 갖는다. 가상 객체가 시뮬레이션된 환경 내에 배치되는 것에 응답하여(예컨대, 핀치 손 형상의 해제와 같은 제1 입력에 대한 종료를 검출하는 것에 응답하여), 전자 디바이스는 선택적으로 제2 몰입 레벨의 시뮬레이션된 환경의 디스플레이를 유지한다. 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 입력에 응답하여 시뮬레이션된 환경의 몰입을 수정하는 것은 가상 객체를 포함하기 위한 적절한 몰입 레벨로 시뮬레이션된 환경을 디스플레이하는 데 필요한 입력들의 수를 감소시킨다.
일부 실시예들에서, 도 15a로부터 도 15c로의 손(1524)으로부터의 입력이 가상 객체(1514)를 시뮬레이션된 환경 내로 보내기 위한 입력이었던 경우와 같이, 제1 입력은, 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 보내라는 요청에 대응한다는 결정에 따라, 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다(1611). 일부 실시예들에서, 제1 입력은 가상 객체를 시뮬레이션된 환경 내로, 보내는 것이 아닌, 이동시키기 위한 요청에 대응하고(예컨대, 핀치 손 형상으로 있는 동안의 손의 이동에 따라, 가상 객체가 시뮬레이션된 환경 내로 그리고/또는 시뮬레이션된 환경 내의 그의 최종 위치로 일단 이동하면 그리고/또는 그 후에는 핀치 손 형상의 해제가 발생한다), 전자 디바이스는 이에 따라 가상 객체를 시뮬레이션된 환경 내로 이동시킨다. 일부 실시예들에서, 전자 디바이스는 추가적으로 또는 대안적으로, 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 보내라는 요청에 대응할 때 제1 입력에 응답하여 가상 객체를 시뮬레이션된 환경 내로 이동시킨다. 예를 들어, 제1 입력은 선택적으로, 손이 가상 객체의 임계 거리(예컨대, 0.1, 0.5, 1, 2, 3, 5, 10, 20, 50, 또는 100 cm) 내에 있을 때 사용자의 손의 엄지와 검지가 (예컨대, 터치하기 위해) 모이는 에어 핀치 손 제스처에 이어지는, 손이 핀치 손 형상을 유지하는 동안의 손의 이동, 및 손이 여전히 이동하고 있는 동안의 (그리고 선택적으로, 가상 객체가 시뮬레이션된 환경 내로 그리고/또는 시뮬레이션된 환경 내의 그의 최종 위치로 이동하기 전의) 핀치 손 형상의 해제(예컨대, 엄지와 검지가 떨어져 이동하는 것)이다. 일부 실시예들에서, 제1 입력은 손이 가상 객체로부터의 임계 거리보다 멀리 있는 동안 그리고 사용자의 주의가 가상 객체로 지향되는 동안 사용자의 손의 엄지와 검지가 모이는 핀치 손 제스처에 이어지는, 손이 핀치 손 형상을 유지하는 동안의 손의 이동, 및 손이 여전히 이동하고 있는 동안의 핀치 손 형상의 해제(예컨대, 엄지와 검지가 떨어져 이동하는 것)이다. 일부 실시예들에서, 제1 입력은 (예컨대, 제1 입력 동안 그리고/또는 핀치 손 형상의 해제 시 손의 이동 방향에 대응하는) 가상 객체를 보내는 3차원 환경 내에서의 방향 및/또는 (예컨대, 제1 입력 동안 그리고/또는 핀치 손 형상의 해제 시 손의 이동의 속도에 대응하는) 가상 객체를 보내는 속도를 정의한다. 일부 실시예들에서, 그러한 보내는 입력에 응답하여, 전자 디바이스는 핀치가 해제되었을 때 사용자의 손의 속도 및/또는 방향에 기초하여 3차원 환경 내에서 가상 객체를 이동시키고, 그러한 이동의 궤적이 시뮬레이션된 환경 내로 연장되는 경우에 전자 디바이스는 그러한 궤적을 따라 가상 객체를 시뮬레이션된 환경 내로 이동시킨다. 일부 실시예들에서, 그러한 이동의 궤적이 시뮬레이션된 환경 내로 연장되지 않는 경우, 전자 디바이스는 시뮬레이션된 환경 외측의 그러한 궤적을 따라 3차원 환경 내에서 가상 객체를 이동시킨다. 보내기 입력에 기초하여 가상 객체를 시뮬레이션된 환경 내로 이동시키는 것은 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 사용자로부터 필요한 입력의 길이를 감소시킨다.
일부 실시예들에서, 제1 입력은, 선택가능 옵션이 도 15a에 디스플레이되고, 손(1524)이 가상 객체(1514)를 시뮬레이션된 환경(1512) 내로 이동시키기 위한 그러한 선택가능 옵션을 선택한 경우와 같이, 제1 입력이 3차원 환경 내에 디스플레이되는 선택가능 옵션의 선택에 대응한다는 결정에 따라 - 선택가능 옵션은 가상 객체를 시뮬레이션된 환경 내로 이동시키도록 선택가능함 -, 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다(1613). 일부 실시예들에서, 선택가능 옵션은 3차원 환경 내의 가상 객체와 연관하여 - 선택적으로 가상 객체의 경계 외측에 - 디스플레이된 버튼이다. 예를 들어, 전자 디바이스는 선택적으로, 3차원 환경 내의 가상 객체 아래에 그로부터 분리된 그래버 바(grabber bar) 요소를 디스플레이한다. 그래버 바 요소로 지향되는 입력(예컨대, 에어 핀치 제스처에 이어지는, 손이 핀치 손 형상으로 있는 동안의 사용자의 손의 이동은 선택적으로, 전자 디바이스가 사용자의 손의 이동에 따라 3차원 환경 내에서 가상 객체를 이동시키게 한다. 일부 실시예들에서, 전자 디바이스는 그러한 그래버 바 요소 내에 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 버튼을 디스플레이한다. 일부 실시예들에서, 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 선택가능 옵션의 선택은, 에어 핀치 제스처를 수행하는 사용자의 손 이외의 (손이 핀치 손 형상으로 있는 동안) 사용자의 손의 이동을 필요로 하지 않는다. 일부 실시예들에서, 선택가능 옵션은 가상 객체와 연관하여 (예컨대, 가상 객체 아래에) 디스플레이되는 플래터(platter) 요소 내에 디스플레이되는데, 플래터 요소는 가상 객체와 연관된 하나 이상의 대응하는 동작들을 수행하기 위한 하나 이상의 다른 선택가능 옵션들을 포함한다(예컨대, 가상 객체가 콘텐츠인 경우에 재생 동작, 또는 가상 객체가 애플리케이션의 사용자 인터페이스인 경우에 닫기 동작). 일부 실시예들에서, 선택가능 옵션의 선택에 응답하여, 전자 디바이스는 가상 객체가 시뮬레이션된 환경 내로 이동하는 애니메이션을 디스플레이한다. 선택가능 옵션의 선택에 기초하여 가상 객체를 시뮬레이션된 환경 내로 이동시키는 것은 가상 객체를 시뮬레이션된 환경 내로 이동시키기 위한 사용자로부터 필요한 상호작용의 길이를 감소시킨다.
일부 실시예들에서, 제1 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은, 도 15a의 시뮬레이션된 환경(1512)의 위치와 같은, 3차원 환경 내의 제1 위치에 시뮬레이션된 환경을 디스플레이하는 것을 포함한다(1615a)(예컨대, 3차원 환경 내의 제1 위치에서 시뮬레이션된 환경의 중심점을 갖고/갖거나 3차원 환경의 제1 용적부를 점유하는 시뮬레이션된 환경의 용적부를 가짐). 일부 실시예들에서, 제1 입력을 수신하는 것에 응답하여, 그리고 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라(1615b), 제1 입력이 가상 객체를 3차원 환경 내의 제2 위치로 이동시키라는 요청(예컨대, 가상 객체를 제2 위치로 이동시키기 위한 드래그 또는 보내기 제스처)에 대응한다는 결정에 따라, 도 15c의 시뮬레이션된 환경(1512)의 위치와 같은, 3차원 환경 내의 제3 위치에 시뮬레이션된 환경을 디스플레이한다(1615c)(선택적으로, 시뮬레이션된 환경이 제3 위치에 디스플레이되는 경우, 시뮬레이션된 환경은 제2 위치를 포함한다). 예를 들어, 3차원 환경 내의 제3 위치에서 시뮬레이션된 환경의 중심점을 갖고/갖거나 3차원 환경의 제1 용적부와는 상이한 제2 용적부를 점유하는 시뮬레이션된 환경의 용적부를 갖는 것으로서 시뮬레이션된 환경을 디스플레이함. 일부 실시예들에서, 제1 및 제2 용적부들의 크기들은 동일하다. 일부 실시예들에서, 제1 및 제2 용적부들의 크기들은 상이하다.
일부 실시예들에서, 제1 입력이 가상 객체를 3차원 환경 내의 제2 위치와는 상이한 제4 위치로 이동시키라는 요청(예컨대, 가상 객체를 제4 위치로 이동시키기 위한 드래그 또는 보내기 제스처)에 대응한다는 결정에 따라, 전자 디바이스는, 도 15d의 시뮬레이션된 환경(1512)의 위치와 같은, 3차원 환경 내의 제3 위치와는 상이한 제5 위치에 시뮬레이션된 환경을 디스플레이한다(1615d)(선택적으로, 시뮬레이션된 환경이 제5 위치에 디스플레이되는 경우, 시뮬레이션된 환경은 제4 위치를 포함한다). 예를 들어, 3차원 환경 내의 제5 위치에서 시뮬레이션된 환경의 중심점을 갖고/갖거나 3차원 환경의 제1 및 제2 용적부들과는 상이한 제3 용적부를 점유하는 시뮬레이션된 환경의 용적부를 갖는 것으로서 시뮬레이션된 환경을 디스플레이함. 일부 실시예들에서, 제1, 제2 및 제3 용적부들의 크기들은 동일하다. 일부 실시예들에서, 제1, 제2 및 제3 용적부들의 크기들은 상이하다. 따라서, 일부 실시예들에서, 시뮬레이션된 환경이 제1 위치에 디스플레이되어 있는 동안 제1 입력이 가상 객체의 시뮬레이션된 환경의 좌측으로의 이동에 대응하는 경우, 제1 입력에 응답하여, 전자 디바이스는 시뮬레이션된 환경을 3차원 환경에서 좌측으로 이동시킨다. 일부 실시예들에서, 시뮬레이션된 환경이 제1 위치에 디스플레이되어 있는 동안 제1 입력이 가상 객체의 시뮬레이션된 환경의 우측으로의 이동에 대응하는 경우, 제1 입력에 응답하여, 전자 디바이스는 시뮬레이션된 환경을 3차원 환경에서 우측으로 이동시킨다. 시뮬레이션된 환경의 예시적인 이동에 대한 추가 상세사항들이 아래에 제공된다. 제1 입력에 기초하여 3차원 환경 내의 상이한 위치들에 시뮬레이션된 환경을 디스플레이하는 것은 가상 객체의 위치에 대응하는 3차원 환경 내의 적절한 위치에 시뮬레이션된 환경을 배치한다.
일부 실시예들에서, 도 15c의 가상 객체(1514)의 위치 상에 중심설정되는 것으로서 시뮬레이션된 환경(1512)이 어떻게 도 15c에 예시되어 있는지와 같이, 제3 위치에 시뮬레이션된 환경을 디스플레이하는 것은 제2 위치에 시뮬레이션된 환경의 (예컨대, 중심의) 미리결정된 부분을 디스플레이하는 것을 포함한다(1617). 시뮬레이션된 환경의 미리결정된 부분은 선택적으로 포인트, 라인(예컨대, 시뮬레이션된 환경의 좌측 부분과 우측 부분을 양분하는 수직 라인), 시뮬레이션된 환경의 영역 또는 용적부이다. 예를 들어, 가상 객체가 제1 입력에 기초하여 제2 위치로 이동되는 경우, 전자 디바이스는 선택적으로 제2 위치 상에 시뮬레이션된 환경을 - 선택적으로 시뮬레이션된 환경의 크기를 변경하거나 변경하지 않고서 - 재중심설정(recenter)하여, 선택적으로 시뮬레이션된 환경이 사용자의 시점으로부터 동일한 양만큼 제2 위치로부터 외향으로 (예컨대, 좌측으로, 우측으로, 상향으로 그리고/또는 하향으로) 연장되게 한다. 제1 입력에 기초하여 3차원 환경 내의 상이한 위치들에 시뮬레이션된 환경을 디스플레이하는 것은 가상 객체의 위치에 대한 3차원 환경 내의 적절한 위치에 시뮬레이션된 환경을 배치한다.
일부 실시예들에서, 도 15d의 가상 객체(1514)의 위치 상에 중심설정되는 것으로서 시뮬레이션된 환경(1512)이 어떻게 도 15d에 예시되어 있는지와 같이, 제5 위치에 시뮬레이션된 환경을 디스플레이하는 것은 제4 위치에 (전술된 바와 같은) 시뮬레이션된 환경의 미리결정된 부분을 디스플레이하는 것을 포함한다(1619). 예를 들어, 가상 객체가 제1 입력에 기초하여 제4 위치로 이동되는 경우, 전자 디바이스는 선택적으로 제4 위치 상에 시뮬레이션된 환경을 - 선택적으로 시뮬레이션된 환경의 크기를 변경하거나 변경하지 않고서 - 재중심설정하여, 선택적으로 시뮬레이션된 환경이 사용자의 시점으로부터 동일한 양만큼 제4 위치로부터 외향으로 (예컨대, 좌측으로, 우측으로, 상향으로 그리고/또는 하향으로) 연장되게 한다. 제1 입력에 기초하여 3차원 환경 내의 상이한 위치들에 시뮬레이션된 환경을 디스플레이하는 것은 가상 객체의 위치에 대한 3차원 환경 내의 적절한 위치에 시뮬레이션된 환경을 배치한다.
일부 실시예들에서, 제1 시각적 외관으로 시뮬레이션된 환경을 디스플레이하는 것은, 도 15d의 시뮬레이션된 환경(1512)의 위치와 같은, 3차원 환경 내의 제1 위치에 시뮬레이션된 환경을 디스플레이하는 것을 포함한다(1621a)(예컨대, 3차원 환경 내의 제1 위치에서 시뮬레이션된 환경의 중심점을 갖고/있거나 3차원 환경의 제1 용적부를 점유하는 시뮬레이션된 환경의 용적부를 가짐). 일부 실시예들에서, 제1 입력을 수신하는 것에 응답하여, 그리고 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라(1621b), (예컨대, 선택적으로 제1 입력이 수신될 때 또는 제1 입력의 종료가 검출될 때) 전자 디바이스의 사용자의 현재 시점이 제1 시점(예컨대, 제1 입력이 3차원 환경 내의 제1 위치에서 수신되고/되거나 3차원 환경 내에서 제1 배향을 갖는 경우의 사용자의 현재 시점)이라는 결정에 따라, 전자 디바이스는 3차원 환경 내의 제2 위치에 시뮬레이션된 환경을 디스플레이한다(1621c)(예컨대, 3차원 환경 내의 제2 위치에 시뮬레이션된 환경의 중심점을 갖는 것 및/또는 3차원 환경의 제1 용적부와 상이한 제2 용적부를 점유하는 시뮬레이션된 환경의 용적부를 갖는 것으로서 시뮬레이션된 환경을 디스플레이하는 것. 일부 실시예들에서, 제1 및 제2 용적부들의 크기들은 동일하다. 일부 실시예들에서, 제1 및 제2 용적부들의 크기들은 상이하다), 도 15c 또는 도 15d의 시뮬레이션된 환경(1512)이 사용자(1520)의 시점에 대한 각자의 공간 배열로 디스플레이되었던 경우와 같이, 3차원 환경 내의 제2 위치에서의 시뮬레이션된 환경은 제1 시점에 대한 각자의 공간 배열을 갖는다. 예를 들어, 각자의 공간 배열은 시뮬레이션된 환경의 중심점을 통과하는 사용자의 제1 시점의 법선에 대응하여, 시뮬레이션된 환경이 3차원 환경에서 사용자의 제1 시점 상에서 (예컨대, 수직 및/또는 수평으로) 중심설정되게 한다. 일부 실시예들에서, 시뮬레이션된 환경이 3차원 환경 내의 제1 위치에 디스플레이된 동안, 시뮬레이션된 환경은 사용자의 제1 시점에 대해 각자의 공간 배열을 갖지 않았다.
일부 실시예들에서, (예컨대, 선택적으로 제1 입력이 수신될 때 또는 제1 입력의 종료가 검출될 때) 사용자의 현재 시점이 제1 시점과는 상이한 제2 시점(예컨대, 제1 입력이 3차원 환경 내의 제2 위치에서 수신되고/되거나 3차원 환경 내에서 제2 배향을 갖는 경우의 사용자의 현재 시점)이라는 결정에 따라, 전자 디바이스는 3차원 환경 내의 제2 위치와는 상이한 제3 위치에 시뮬레이션된 환경을 디스플레이한다(1621d)(예컨대, 3차원 환경 내의 제3 위치에 시뮬레이션된 환경의 중심점을 갖는 것 및/또는 3차원 환경의 제1 및 제2 용적부들과 상이한 제3 용적부를 점유하는 시뮬레이션된 환경의 용적부를 갖는 것으로서 시뮬레이션된 환경을 디스플레이하는 것. 일부 실시예들에서, 제1, 제2 및 제3 용적부들의 크기들은 동일하다. 일부 실시예들에서, 제1, 제2 및 제3 용적부들의 크기들은 상이하다), 도 15c 또는 도 15d의 시뮬레이션된 환경(1512)이 사용자(1520)의 시점에 대한 각자의 공간 배열로 디스플레이되었던 경우와 같이, 3차원 환경 내의 제3 위치에서의 시뮬레이션된 환경은 제2 시점에 대한 각자의 공간 배열을 갖는다(예컨대, 시뮬레이션된 환경이 3차원 환경에서 사용자의 제2 시점 상에서 (예컨대, 수직 및/또는 수평으로) 중심설정된다). 일부 실시예들에서, 시뮬레이션된 환경이 3차원 환경 내의 제1 위치에 디스플레이된 동안, 시뮬레이션된 환경은 사용자의 제2 시점에 대해 각자의 공간 배열을 갖지 않았다. 따라서, 일부 실시예들에서, 제1 입력에 응답하여, 전자 디바이스는 사용자의 현재 시점 상에 시뮬레이션된 환경을 재중심설정한다. 제1 입력이 수신될 때 사용자의 현재 시점에 기초하여 3차원 환경 내의 상이한 위치들에 시뮬레이션된 환경을 디스플레이하는 것은 시뮬레이션된 환경과의 후속 상호작용을 위해 사용자의 시점에 대한 3차원 환경 내의 적절한 위치에 시뮬레이션된 환경을 배치한다.
일부 실시예들에서, 제1 입력이 수신될 때, 가상 객체는 도 15a의 가상 객체(1514)의 크기와 같은 3차원 환경(1625a) 내의 제1 크기를 갖는다(예컨대, 3차원 환경으로 제1 영역 및/또는 용적부를 점유한다). 일부 실시예들에서, 제1 입력을 수신하는 것에 응답하여 그리고 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라, 전자 디바이스는 시뮬레이션된 환경 내에 가상 객체를 디스플레이하는데, 시뮬레이션된 환경 내의 가상 객체는 3차원 환경 내에서 제1 크기보다 큰, 도 15e의 가상 객체(1514)의 증가된 크기와 같은, 제2 크기를 갖는다(1625b)(예컨대, 3차원 환경으로 제1 영역 및/또는 용적부보다 큰 제2 영역 및/또는 용적부를 점유한다). 일부 실시예들에서, 가상 객체가 (예컨대, 제1 입력이 수신되기 전에) 시뮬레이션된 환경의 외측에 디스플레이되는 동안, 전자 디바이스는 가상 객체에 기초하여 3차원 환경에 조명 효과들을 디스플레이한다. 예를 들어, 전자 디바이스는 선택적으로, 가상 객체에서 광을 생성하는 콘텐츠로부터의 광 흘림(light spill)을 디스플레이하는데, 광 흘림은 3차원 환경 내의 가상 객체의 배치에 기초하여 3차원 환경의 하나 이상의 부분들과 일치한다. 일부 실시예들에서, 광 흘림은 콘텐츠 내의 하나 이상의 가상 요소들로부터 방출된 시뮬레이션된 조명에 대응하는 시뮬레이션된 조명이고/이거나 그에 대응한다. 일부 실시예들에서, 가상 객체가 제1 크기를 갖는 경우 그러한 조명 효과들의 양, 세기 및/또는 면적은 제1 양, 세기 및/또는 면적이고, 가상 객체가 제2 크기를 갖는 경우 그러한 조명 효과들의 양, 세기 및/또는 면적은 제1 양, 세기 및/또는 면적보다 큰 제2 양, 세기 및/또는 면적이다. 일부 실시예들에서, 가상 객체가 시뮬레이션된 환경 내에 있는 동안, 그러한 조명 효과들은 시뮬레이션된 환경 내의 가상 객체의 현재 위치에 기초하여 시뮬레이션된 환경 내에 그리고/또는 시뮬레이션된 환경의 외측에 전자 디바이스에 의해 디스플레이된다. 일부 실시예들에서, 제1 입력에 응답하여, 전자 디바이스는 (아래에서 더 상세히 설명되는 바와 같이) 시뮬레이션된 환경 내의 미리결정된 위치에 가상 객체를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는. 가상 객체가 시뮬레이션된 환경 내의 미리결정된 위치에 도달할 때까지, 가상 객체가 시뮬레이션된 환경 내에 있는 동안에도, 제1 크기를 갖는 가상 객체를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 가상 객체가 시뮬레이션된 환경 내의 미리결정된 위치에 도달하기 전에, 가상 객체가 시뮬레이션된 환경에 진입하는 것에 응답하여 제2 크기를 갖는 가상 객체를 디스플레이한다. 시뮬레이션된 환경 내의 가상 객체의 크기를 증가시키는 것은 시뮬레이션된 환경 내의 적절한 크기로 가상 객체를 디스플레이하는 데 필요한 입력들을 감소시킨다.
일부 실시예들에서, 제1 입력을 수신하는 것에 응답하여 그리고 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라, 전자 디바이스는 시뮬레이션된 환경 내의 제1 위치에 가상 객체를 디스플레이하는데, 제1 위치는, 도 15e의 미리결정된 위치(1516)와 같은, 제1 입력에 기초하지 않은 미리결정된 위치이다(1627). 따라서, 일부 실시예들에서, 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응하는 한, 제1 입력의 크기 및/또는 방향 및/또는 최종 위치는 시뮬레이션된 환경 내의 가상 객체의 궁극적인 배치에 무관하다 - 전자 디바이스는 선택적으로 미리결정된 위치에 가상 객체를 궁극적으로 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 제1 입력이 계속 진행 중인 동안(예컨대, 계속 진행 중인 한)(예컨대, 사용자의 손이 핀치 손 형상으로 유지되는 동안) 제1 입력의 크기 및/또는 방향 및/또는 현재 위치에 기초하는 시뮬레이션된 환경 내의 위치에 가상 객체를 디스플레이하지만 - 그러한 위치는 선택적으로 미리결정된 위치와 상이함 -, 제1 입력의 종료를 검출하는 것(예컨대, 사용자의 손이 핀치 손 형상을 해제하는 것을 검출하는 것)에 응답하여, 전자 디바이스는 가상 객체가 시뮬레이션된 환경 내의 미리결정된 위치로 이동하는 애니메이션을 디스플레이한다. 일부 실시예들에서, 가상 객체의 드래그 또는 보내기 입력이 미리결정된 위치를 (예컨대, 사용자의 시점으로부터 더 멀리) 지나는 또는 그로부터 멀어지는 가상 객체의 이동에 대응하는 이동의 크기, 속도, 가속도 및/또는 방향을 갖는 경우, 전자 디바이스는 가상 객체가 미리결정된 위치로 다시 이동하는 (예컨대, 예를 들어 가상 객체가 빠르게 이동하고 이어서 변위 등에 기초한 시뮬레이션된 관성, 마찰, 및/또는 탄성력에 의해 느려지는 시뮬레이션된 물리적 현상에 의해, 미리결정된 위치로 다시 탄성적으로 되돌아가는) 애니메이션을 디스플레이하고; 일부 실시예들에서, 미리결정된 위치로 다시 가는 그러한 이동은 제1 입력이 진행 중인 동안 그리고/또는 제1 입력이 종료된 후에 발생한다. 시뮬레이션된 환경 내의 미리결정된 위치에 가상 객체를 디스플레이하는 것은 시뮬레이션된 환경 내의 적절한 위치(예컨대, 가상 객체가 용이하게 가시적이고/이거나 상호작용가능한 위치)에 가상 객체를 디스플레이하는 데 필요한 입력들의 수를 감소시킨다.
일부 실시예들에서, 제1 입력을 수신하는 것에 응답하여 그리고 제1 입력이 가상 객체를 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라, 전자 디바이스는, 도 15e의 미리결정된 위치(1516)와 같은, 시뮬레이션된 환경 내의 제1 위치(예컨대, 전술된 바와 같은 시뮬레이션된 환경 내의 미리결정된 위치)에 가상 객체를 디스플레이한다(1629a). 일부 실시예들에서, 시뮬레이션된 환경 내의 제1 위치에 가상 객체를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 가상 객체로 지향되는 제2 입력을 수신하는데, 제2 입력은, 도 15e에서의 가상 객체(1514)로 지향되는 손(1524)으로부터의 입력과 같은, 시뮬레이션된 환경 내의 제1 위치로부터 멀어지는 이동에 대응하는 이동을 포함한다(1629b)(예컨대, 그리고 제1 위치를 향하는 그리고/또는 그로의 이동에 대응하는 후속 이동을 포함하지 않는다). 일부 실시예들에서, 제2 입력은 제1 입력의 하나 이상의 특성들을 갖는다(예컨대, 사용자의 손이 에어 핀치 제스처를 수행하는 것에 이어지는, 제1 위치로부터 멀어지는 이동에 대응하는 핀치 손 형상으로 있는 동안의 손의 이동을 포함한다). 일부 실시예들에서, 제2 입력은 제1 위치로부터 멀어지는 가상 객체의 드래그 이동에 대응한다. 일부 실시예들에서, 제2 입력은 제1 위치로부터 멀어지는 가상 객체의 보내기에 대응한다.
일부 실시예들에서, 제2 입력을 수신하는 동안, 전자 디바이스는, 도 15f에서의 미리결정된 위치(1516)로부터 멀어지는 가상 객체(1514)의 이동과 같이, 제2 입력에 따라 시뮬레이션된 환경 내의 제1 위치로부터 멀어지게 가상 객체를 이동시킨다(1629c)(예컨대, 가상 객체의 드래그 또는 보내기 입력에 따라 제1 위치로부터 멀리 가상 객체를 이동시킴). 일부 실시예들에서, 제2 입력을 수신한 후(1629d)(선택적으로, 제2 입력을 수신하는 것 및/또는 제2 입력의 종료를 수신하는 것에 응답하여), 제2 입력이 하나 이상의 기준들(예컨대, 나중에 더 상세히 설명되는 바와 같은, 이동 기준들의 속도, 방향 및/또는 크기)을 충족한다는 결정에 따라, 전자 디바이스는, 도 15g에 도시된 바와 같이, 디스플레이 생성 컴포넌트를 통해, 제2 입력에 따라 3차원 환경 내의 제2 위치에 가상 객체를 디스플레이하는데, 제2 위치는 시뮬레이션된 환경의 외측에 있다(1629e). 예를 들어, 제2 입력이 (예컨대, 나중에 더 상세히 설명되는 바와 같이) 시뮬레이션된 환경 외측으로 가상 객체를 이동시키기에 충분한 경우, 전자 디바이스는 선택적으로, 시뮬레이션된 환경의 외측에 가상 객체를 디스플레이한다. 제2 입력에 응답하여 가상 객체가 시뮬레이션된 환경의 외측에 디스플레이되는 위치는 선택적으로, 제2 입력의 이동의 속도, 방향 및/또는 크기에 따라 상이하다.
일부 실시예들에서, 제2 입력이 하나 이상의 기준들을 충족하지 않는다는 결정에 따라, 전자 디바이스는 (예컨대, 도 15e에 도시된 바와 같이), 도 15f 후에 가상 객체(1514)를 미리결정된 위치(1516)로 다시 이동시키는 것과 같이, 가상 객체를 다시 시뮬레이션된 환경 내의 제1 위치로 이동시킨다(1629f)(예컨대, 가상 객체가 시뮬레이션된 환경 내의 제1 위치로부터 멀어지게 이동하는 것을 디스플레이한 후, 가상 객체가 시뮬레이션된 환경 내의 제1 위치로 다시 이동하는 애니메이션을 디스플레이함). 따라서, 일부 실시예들에서, 제2 입력이 (예컨대, 나중에 더 상세히 설명되는 바와 같이) 시뮬레이션된 환경의 외측으로 가상 객체를 이동시키기에 불충분한 경우, 전자 디바이스는 선택적으로, 가상 객체가 제1 위치로 다시 이동하는 것을 (예컨대, 위에서 더 상세히 설명되는 바와 같이, 제1 위치로 다시 탄성적으로 되돌아가는 것처럼) 디스플레이한다. 가상 객체가 디스플레이되는 위치(예컨대, 제1 위치)는 선택적으로, 제2 입력의 이동의 속도, 방향 및/또는 크기에 상관없이 동일하다. 제2 입력의 특성들에 따라 가상 객체를 시뮬레이션된 환경의 외측으로 또는 다시 시뮬레이션된 환경 내의 제1 위치로 선택적으로 이동시키는 것은 시뮬레이션된 환경으로부터 가상 객체의 잘못된 또는 의도하지 않은 제거를 피한다.
일부 실시예들에서, 도 15f 및 도 15g를 참조하여 설명된 바와 같이, 하나 이상의 기준들은, 제2 입력에서의 이동의 크기(예컨대, 양, 속도 및/또는 가속도)가 제1 크기인 경우에 만족되고 제2 입력에서의 이동의 크기가 제1 크기와는 상이한 제2 크기인 경우에 만족되지 않는 기준을 포함한다(1631). 예를 들어, 시뮬레이션된 환경 내의 제1 위치로부터 멀어지는 가상 객체의 이동에 대응하는 제2 입력에서 (예컨대, 핀치 손 형상으로 있는 동안의) 사용자의 손 이동의 양, 속도 및/또는 가속도는 선택적으로, 전자 디바이스가 제2 입력에 따라 가상 객체를 시뮬레이션된 환경의 외부로 이동시키기 위해, 임계 양(예컨대, 0.5, 1, 3, 5, 10, 20, 50, 100, 300 또는 500 cm), 속도(예컨대, 0.1, 0.5, 1, 3, 5, 10, 20, 50, 100, 300, 500 또는 1000 cm/s) 및/또는 가속도(예컨대, 0.1, 0.5, 1, 3, 5, 10, 20, 50, 100, 300 또는 500 cm/s2)를 초과하여야 한다. 그렇지 않으면, 전자 디바이스는 선택적으로, 전술된 바와 같이, 가상 객체를 제1 위치로 다시 이동시킨다. 일부 실시예들에서, 제1 크기는 그러한 임계량보다 크고, 제2 크기는 임계량보다 작다. 가상 객체를 시뮬레이션된 환경의 외부로 이동시키기 위해 특정 크기의 이동을 요구하는 것은 시뮬레이션된 환경으로부터 가상 객체의 잘못된 또는 의도하지 않은 제거를 피한다.
일부 실시예들에서, 하나 이상의 기준들은, 도 15f 및 도 15g를 참조하여 설명된 바와 같이, 제2 입력에서의 이동의 방향이 제1 방향인 경우에 만족되고 제2 입력에서의 이동의 방향이 제1 방향과는 상이한 제2 방향인 경우에 만족되지 않는 기준을 포함한다(1633). 예를 들어, 시뮬레이션된 환경 내의 제1 위치로부터 멀어지는 가상 객체의 이동에 대응하는 제2 입력에서 (예컨대, 핀치 손 형상으로 있는 동안의) 사용자의 손 이동의 방향은 선택적으로, 전자 디바이스가 제2 입력에 따라 가상 객체를 시뮬레이션된 환경의 외부로 이동시키기 위해, 방향들 또는 배향들의 임계 범위 내에 (예컨대, 사용자의 시점을 향하는 것의 3, 5, 10, 15, 30, 45, 90, 120 또는 180도 내에 그리고/또는 시뮬레이션된 환경과 3차원 환경의 나머지 사이의 경계를 향하는 것의 3, 5, 10, 15, 30, 45, 90, 120 또는 180도 내에) 있어야 한다. 그렇지 않으면, 전자 디바이스는 선택적으로, 전술된 바와 같이, 가상 객체를 제1 위치로 다시 이동시킨다. 일부 실시예들에서, 제1 방향은 방향들 또는 배향들의 그러한 임계 범위 내에 있고, 제2 방향은 방향들 또는 배향들의 임계 범위 밖에 있다. 가상 객체를 시뮬레이션된 환경의 외부로 이동시키기 위해 특정 방향의 이동을 요구하는 것은 시뮬레이션된 환경으로부터 가상 객체의 잘못된 또는 의도하지 않은 제거를 피한다.
일부 실시예들에서, 방법들(800, 1000, 1200, 1400, 1600)의 태양들/동작들은 이들 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 예를 들어, 방법들(800, 1000, 1200, 1400, 1600)의 3차원 환경들, 방법들(800, 1000, 1200, 1400, 1600)의 시뮬레이션된 또는 가상 환경들, 방법들(800, 1000, 1200, 1400, 1600)의 대기 또는 공간 효과들, 방법들(800, 1000, 1200, 1400, 1600)의 그러한 시뮬레이션된 또는 가상 환경들 혹은 대기 또는 공간 효과들의 몰입 레벨들, 방법들(800, 1000, 1200, 1400, 1600)의 그러한 시뮬레이션된 또는 가상 환경들 혹은 대기 또는 공간 효과들을 디스플레이하는 것으로의 전이들, 및/또는 방법들(800, 1000, 1200, 1400, 1600)의 사용자의 시점에 대한 객체들의 이동들은 이러한 방법들 사이에서 선택적으로 상호교체, 대체, 및/또는 추가된다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.
위에서 설명된 바와 같이, 본 기술의 일 태양은 사용자들의 XR 경험들을 개선시키기 위해 다양한 소스들로부터 이용가능한 데이터의 수집 및 사용이다. 본 개시내용은, 일부 경우들에 있어서, 이러한 수집된 데이터가 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 확인하는 데 이용될 수 있는 개인 정보 데이터를 포함할 수 있음을 고려한다. 그러한 개인 정보 데이터는 인구통계 데이터, 위치 기반 데이터, 전화번호들, 이메일 주소들, 트위터 ID들, 집 주소들, 사용자의 건강 또는 피트니스 레벨에 관한 데이터 또는 기록들(예를 들어, 바이탈 사인(vital sign) 측정치들, 약물 정보, 운동 정보), 생년월일, 또는 임의의 다른 식별 또는 개인 정보를 포함할 수 있다.
본 개시내용은 본 기술에서의 그러한 개인 정보 데이터의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 사용자의 XR 경험을 개선시키는 데 사용될 수 있다. 게다가, 사용자에게 이득을 주는 개인 정보 데이터에 대한 다른 이용들이 또한 본 개시내용에 의해 고려된다. 예를 들어, 건강 및 피트니스 데이터는 사용자의 일반적인 웰니스(wellness)에 대한 통찰력을 제공하는 데 사용될 수 있거나, 또는 웰니스 목표를 추구하기 위한 기술을 이용하여 개인들에게 긍정적인 피드백으로서 사용될 수 있다.
본 개시내용은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전달, 저장, 또는 다른 사용을 담당하는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것임을 고려한다. 특히, 이러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 사용해야 한다. 그러한 정책들은 사용자들에 의해 쉽게 액세스가능해야 하고, 데이터의 수집 및/또는 사용이 변화됨에 따라 업데이트되어야 한다. 사용자들로부터의 개인 정보는 엔티티의 적법하며 합리적인 용도들을 위해 수집되어야 하고, 이들 적법한 용도들을 벗어나서 공유되거나 판매되어서는 안 된다. 추가로, 그러한 수집/공유는 사용자들의 통지된 동의를 수신한 후에 발생해야 한다. 부가적으로, 이러한 엔티티들은, 이러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 조처들을 취하는 것을 고려해야 한다. 게다가, 이러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다. 부가적으로, 정책들 및 관례들은 수집된 그리고/또는 액세스된 특정 유형들의 개인 정보 데이터에 대해 조정되고, 관할구역 특정 고려사항들을 포함하여 적용가능한 법률들 및 표준들로 조정되어야 한다. 예를 들어, 미국에서, 소정 건강 데이터의 수집 또는 그에 대한 액세스는 연방법 및/또는 주의 법, 예를 들어 미국 건강 보험 양도 및 책임 법령(Health Insurance Portability and Accountability Act, HIPAA)에 의해 통제될 수 있는 반면; 다른 국가들에서의 건강 데이터는 다른 규정들 및 정책들의 적용을 받을 수 있고 그에 따라 취급되어야 한다. 따라서, 상이한 프라이버시 관례들은 각각의 국가의 상이한 개인 데이터 유형들에 대해 유지되어야 한다.
전술한 것에도 불구하고, 본 개시내용은 또한 사용자들이 개인 정보 데이터의 사용, 또는 그에 대한 액세스를 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 개시내용은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있다는 것을 고려한다. 예를 들어, XR 경험들의 경우, 본 기술은 사용자들이 서비스를 위한 등록 중 또는 이후 임의의 시간에 개인 정보 데이터의 수집 시의 참여의 "동의함" 또는 "동의하지 않음"을 선택하는 것을 허용하도록 구성될 수 있다. 다른 예에서, 사용자들은 서비스들의 맞춤화를 위한 데이터를 제공하지 않도록 선택할 수 있다. 또 다른 예에서, 사용자들은 데이터가 유지되는 시간의 길이를 제한하거나 또는 맞춤형 서비스의 개발을 전적으로 금지하도록 선택할 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 부가하여, 본 개시내용은 개인 정보의 액세스 또는 사용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는 그들의 개인 정보 데이터가 액세스될 앱을 다운로드할 시에 통지받고, 이어서 개인 정보 데이터가 앱에 의해 액세스되기 직전에 다시 상기하게 될 수 있다.
또한, 의도하지 않은 또는 인가되지 않은 액세스 또는 이용의 위험을 최소화하는 방식으로 개인 정보 데이터가 관리되고 취급되어야 한다는 것이 본 개시내용의 의도이다. 데이터의 수집을 제한하고 데이터가 더 이상 필요하지 않게 되면 데이터를 삭제함으로써 위험이 최소화될 수 있다. 추가로, 그리고 소정의 건강 관련 애플리케이션들을 비롯하여, 적용가능할 때, 사용자의 프라이버시를 보호하기 위해 데이터 비식별화가 사용될 수 있다. 적절한 경우, 특정 식별자들(예컨대, 생년월일 등)을 제거함으로써, 저장된 데이터의 양 또는 특이성을 제어함으로써(예컨대, 주소 수준이라기보다는 오히려 도시 수준에서 위치 데이터를 수집함으로써), 데이터가 저장되는 방식을 제어함으로써(예컨대, 사용자들에 걸쳐 데이터를 집계함으로써), 그리고/또는 다른 방법들에 의해, 비식별화가 용이하게 될 수 있다.
따라서, 본 개시내용이 하나 이상의 다양한 개시된 실시예들을 구현하기 위해 개인 정보 데이터의 사용을 광범위하게 커버하지만, 본 개시내용은 다양한 실시예들이 또한 그러한 개인 정보 데이터에 액세스할 필요 없이 구현될 수 있다는 것을 또한 고려한다. 즉, 본 기술의 다양한 실시예들은 이러한 개인 정보 데이터의 전부 또는 일부분의 결여로 인해 동작 불가능하게 되지 않는다. 예를 들어, XR 경험은, 사용자와 연관된 디바이스에 의해 요청되는 콘텐츠, 서비스들에 이용가능한 다른 비-개인 정보, 또는 공개적으로 입수가능한 정보와 같은 비-개인 정보 데이터 또는 드러난 최소량의 개인 정보에 기초하여 선호도들을 추론함으로써 생성될 수 있다.
Claims (135)
- 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 각자의 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 입력을 수신하는 단계; 및
상기 제1 시뮬레이션된 환경을 디스플레이하라는 상기 요청에 대응하는 상기 입력을 수신하는 것에 응답하여, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계를 포함하고, 상기 전이하는 단계는,
사용자의 시점 주위의 물리적 환경이 하나 이상의 제1 기준들을 만족한다는 결정에 따라, 제1 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계; 및
상기 사용자의 시점 주위의 상기 물리적 환경이 상기 하나 이상의 제1 기준들과는 상이한 하나 이상의 제2 기준들을 만족한다는 결정에 따라, 상기 제1 유형의 전이와는 상이한 제2 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 하나 이상의 제1 기준들은 상기 전자 디바이스의 기준 배향에 대한 각자의 방향으로의 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분이 상기 전자 디바이스의 사용자의 시점으로부터 임계 거리 초과에 있는 경우에 만족되는 기준을 포함하는, 방법.
- 제1항 또는 제2항에 있어서, 상기 하나 이상의 제2 기준들은 상기 전자 디바이스의 기준 배향에 대한 각자의 방향으로의 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분이 상기 전자 디바이스로부터 임계 거리 미만에 있는 경우에 만족되는 기준을 포함하는, 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 각자의 환경은 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분의 표현을 포함하고, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계는 상기 물리적 환경의 일부분의 표현의 디스플레이를 상기 제1 시뮬레이션된 환경의 일부분의 표현의 디스플레이로 대체하는 단계를 포함하는, 방법.
- 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 시뮬레이션된 환경을 디스플레이하라는 상기 요청에 대응하는 상기 입력은 사용자 입력을 포함하고, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계는,
상기 사용자 입력이 상기 제1 시뮬레이션된 환경으로 제1 양만큼 전이하라는 요청에 대응한다는 결정에 따라, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경의 제1 부분을 디스플레이하는 것으로 전이하는 단계, 및
상기 사용자 입력이 상기 제1 시뮬레이션된 환경으로 제1 양보다 큰 제2 양만큼 전이하라는 요청에 대응한다는 결정에 따라, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경의 상기 제1 부분보다 큰 제2 부분을 디스플레이하는 것으로 전이하는 단계를 포함하는, 방법. - 제5항에 있어서, 상기 사용자 입력은 상기 전자 디바이스와 통신하는 회전가능 입력 요소의 회전을 포함하고, 상기 제1 시뮬레이션된 환경으로 상기 제1 양만큼 전이하라는 상기 요청에 대응하는 상기 사용자 입력은 제1 각자의 양만큼의 상기 회전가능 입력 요소의 회전을 포함하고, 상기 제1 시뮬레이션된 환경으로 상기 제2 양만큼 전이하라는 상기 요청에 대응하는 상기 사용자 입력은 상기 제1 각자의 양보다 큰 제2 각자의 양만큼의 상기 회전가능 입력 요소의 회전을 포함하는, 방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이한 후의 상기 제1 시뮬레이션된 환경의, 상기 디스플레이 생성 컴포넌트를 통한, 디스플레이는 상기 제2 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이한 후의 상기 제1 시뮬레이션된 환경의, 상기 디스플레이 생성 컴포넌트를 통한, 디스플레이와 동일한, 방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 유형의 전이는 1) 상기 전자 디바이스와 상기 사용자의 시점 주위의 상기 물리적 환경의 제1 부분 사이의 거리와, 2) 상기 전자 디바이스와 상기 사용자의 시점 주위의 상기 물리적 환경의 제2 부분 사이의 거리의 차이에 기초하는 방식으로 진행하고,
상기 제2 유형의 전이는 1) 상기 전자 디바이스와 상기 사용자의 시점 주위의 상기 물리적 환경의 제1 부분 사이의 거리와, 2) 상기 전자 디바이스와 상기 사용자의 시점 주위의 상기 물리적 환경의 제2 부분 사이의 거리의 차이와 독립적인 방식으로 진행하는, 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제2 유형의 전이는 상기 각자의 환경과 상기 제1 시뮬레이션된 환경 사이를 교차-디졸브(cross-dissolve)하는 것을 포함하고, 상기 교차-디졸브하는 것은 상기 전자 디바이스로부터 가장 멀리 떨어져 있는 상기 물리적 환경의 일부분에서 시작되는, 방법.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 제1 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계는,
상기 전이의 제1 부분 동안:
상기 사용자의 시점 주위의 상기 물리적 환경의 각자의 부분이 상기 사용자의 시점으로부터 제1 거리 초과에 있다는 결정에 따라, 상기 물리적 환경의 각자의 부분의 표현의, 상기 디스플레이 생성 컴포넌트를 통한, 디스플레이를 상기 제1 시뮬레이션된 환경의 적어도 제1 부분의 디스플레이로 대체하고,
상기 사용자의 시점 주위의 상기 물리적 환경의 각자의 부분이 상기 사용자의 시점으로부터 상기 제1 거리 미만에 있다는 결정에 따라, 상기 물리적 환경의 각자의 부분의 표현의, 상기 디스플레이 생성 컴포넌트를 통한, 디스플레이를 상기 제1 시뮬레이션된 환경의 적어도 제1 부분의 디스플레이로 대체하는 것을 보류하는 단계; 및
상기 전이의 제2 부분 동안:
상기 사용자의 시점 주위의 상기 물리적 환경의 각자의 부분이 상기 사용자의 시점으로부터 상기 제1 거리와는 상이한 제2 거리 초과에 있다는 결정에 따라, 상기 물리적 환경의 각자의 부분의 표현의, 상기 디스플레이 생성 컴포넌트를 통한, 디스플레이를 상기 제1 시뮬레이션된 환경의 적어도 제2 부분의 디스플레이로 대체하고,
상기 사용자의 시점 주위의 상기 물리적 환경의 각자의 부분이 상기 사용자의 시점으로부터 상기 제2 거리 미만에 있다는 결정에 따라, 상기 물리적 환경의 각자의 부분의 표현의, 상기 디스플레이 생성 컴포넌트를 통한, 디스플레이를 상기 제1 시뮬레이션된 환경의 적어도 제2 부분의 디스플레이로 대체하는 것을 보류하는 단계를 포함하는, 방법. - 제10항에 있어서, 상기 제1 유형의 전이는,
상기 전이의 제1 부분 동안:
상기 사용자의 시점 주위의 상기 물리적 환경의 각자의 부분이 상기 사용자의 시점으로부터 상기 제1 거리 초과에 있다는 상기 결정에 따라:
상기 사용자의 시점 주위의 상기 물리적 환경의 제2 각자의 부분이 상기 사용자의 시점으로부터 상기 제1 거리 미만에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 시뮬레이션된 환경의 제1 부분과 사용자의 시점 사이의 상기 물리적 환경의 제2 각자의 부분의 표현을 디스플레이하고,
상기 사용자의 시점 주위의 상기 물리적 환경의 제2 각자의 부분이 상기 사용자의 시점으로부터 상기 제1 거리 초과에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 물리적 환경의 제2 각자의 부분의 표현을 디스플레이하는 것을 보류하는 단계를 포함하는, 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 각자의 환경은 상기 사용자의 시점 주위의 상기 물리적 환경의 표현을 포함하고, 상기 제1 시뮬레이션된 환경은 제1 시뮬레이션된 광원을 포함하고, 상기 방법은,
상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시점 주위의 상기 물리적 환경의 표현의 적어도 일부분 및 상기 제1 시뮬레이션된 환경의 적어도 일부분을 동시에 디스플레이하는 동안, 상기 제1 시뮬레이션된 광원에 기초한 조명 효과로 상기 물리적 환경의 표현의 일부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제12항에 있어서, 상기 조명 효과는 상기 사용자의 시점 주위의 상기 물리적 환경의 기하학적 구조에 기초하는, 방법.
- 제12항 또는 제13항에 있어서, 상기 조명 효과는 상기 사용자의 시점 주위의 상기 물리적 환경의 아키텍처(architecture)에 기초하는, 방법.
- 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 각자의 환경은 상기 사용자의 시점 주위의 상기 물리적 환경의 표현을 포함하고, 상기 제1 시뮬레이션된 환경은 제1 부피 효과(volumetric effect)를 포함하고, 상기 방법은,
상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시점 주위의 상기 물리적 환경의 표현의 적어도 일부분 및 상기 제1 시뮬레이션된 환경의 적어도 일부분을 동시에 디스플레이하는 동안, 상기 물리적 환경의 표현의 일부분의 부피 내에서, 상기 제1 부피 효과에 기초한 제2 부피 효과를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제15항에 있어서, 상기 제1 부피 효과 및 상기 제2 부피 효과는 조명 효과를 포함하는, 방법.
- 제15항 또는 제16항에 있어서, 상기 제1 부피 효과 및 상기 제2 부피 효과는 입자 효과를 포함하는, 방법.
- 제1항 내지 제17항 중 어느 한 항에 있어서,
상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 환경의 적어도 일부분 및 상기 제1 시뮬레이션된 환경의 적어도 일부분을 동시에 디스플레이하는 동안:
상기 각자의 환경의 일부분과 상기 제1 시뮬레이션된 환경의 일부분 사이의 경계가 상기 각자의 환경 내에 있는 각자의 객체의 표현과 상호작용한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통한 디스플레이로부터 상기 각자의 객체의 표현을 제거하는 단계를 추가로 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해, 각자의 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 입력을 수신하기 위한; 그리고
상기 제1 시뮬레이션된 환경을 디스플레이하라는 상기 요청에 대응하는 상기 입력을 수신하는 것에 응답하여, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하기 위한 명령어들을 포함하고, 상기 전이하는 것은,
사용자의 시점 주위의 물리적 환경이 하나 이상의 제1 기준들을 만족한다는 결정에 따라, 제1 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것; 및
상기 사용자의 시점 주위의 상기 물리적 환경이 상기 하나 이상의 제1 기준들과는 상이한 하나 이상의 제2 기준들을 만족한다는 결정에 따라, 상기 제1 유형의 전이와는 상이한 제2 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
디스플레이 생성 컴포넌트를 통해, 각자의 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 입력을 수신하는 단계; 및
상기 제1 시뮬레이션된 환경을 디스플레이하라는 상기 요청에 대응하는 상기 입력을 수신하는 것에 응답하여, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계를 포함하고, 상기 전이하는 단계는,
사용자의 시점 주위의 물리적 환경이 하나 이상의 제1 기준들을 만족한다는 결정에 따라, 제1 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계; 및
상기 사용자의 시점 주위의 상기 물리적 환경이 상기 하나 이상의 제1 기준들과는 상이한 하나 이상의 제2 기준들을 만족한다는 결정에 따라, 상기 제1 유형의 전이와는 상이한 제2 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해, 각자의 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 입력을 수신하기 위한 수단; 및
상기 제1 시뮬레이션된 환경을 디스플레이하라는 상기 요청에 대응하는 상기 입력을 수신하는 것에 응답하여, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하기 위한 수단을 포함하고, 상기 전이하는 것은,
사용자의 시점 주위의 물리적 환경이 하나 이상의 제1 기준들을 만족한다는 결정에 따라, 제1 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것; 및
상기 사용자의 시점 주위의 상기 물리적 환경이 상기 하나 이상의 제1 기준들과는 상이한 하나 이상의 제2 기준들을 만족한다는 결정에 따라, 상기 제1 유형의 전이와는 상이한 제2 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해, 각자의 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제1 시뮬레이션된 환경을 디스플레이하라는 요청에 대응하는 입력을 수신하기 위한 수단; 및
상기 제1 시뮬레이션된 환경을 디스플레이하라는 상기 요청에 대응하는 상기 입력을 수신하는 것에 응답하여, 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하기 위한 수단을 포함하고, 상기 전이하는 것은,
사용자의 시점 주위의 물리적 환경이 하나 이상의 제1 기준들을 만족한다는 결정에 따라, 제1 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것; 및
상기 사용자의 시점 주위의 상기 물리적 환경이 상기 하나 이상의 제1 기준들과는 상이한 하나 이상의 제2 기준들을 만족한다는 결정에 따라, 상기 제1 유형의 전이와는 상이한 제2 유형의 전이를 사용하여 상기 각자의 환경을 디스플레이하는 것으로부터 상기 제1 시뮬레이션된 환경을 디스플레이하는 것으로 전이하는 것을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제1항 내지 제18항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 공간 효과를 개시하라는 요청에 대응하는 제1 입력을 검출하는 단계;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 단계;
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 각자의 입력을 검출하는 단계; 및
상기 각자의 입력을 검출하는 것에 응답하여:
상기 각자의 입력이 제1 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 높은 제2 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고;
상기 각자의 입력이 상기 제1 입력과는 상이한 제2 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 낮은 제3 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 단계를 포함하는, 방법. - 제27항에 있어서, 상기 각자의 공간 효과는 가상 환경의 적어도 일부분의 디스플레이를 포함하고, 상기 각자의 공간 효과 없이 상기 3차원 환경을 디스플레이하는 것은 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 물리적 환경의 일부분의 표현의 적어도 일부분의 디스플레이를 상기 가상 환경의 일부분의 디스플레이로 대체하는 것을 포함하는, 방법.
- 제28항에 있어서, 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 가상 환경에 대응하는 오디오를 제시하는 것을 포함하고, 상기 방법은,
상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고 상기 가상 환경에 대응하는 상기 오디오를 제시하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 3차원 환경 내로의 상기 전자 디바이스의 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 전자 디바이스의 이동을 검출하는 것에 응답하여:
상기 3차원 환경 내로의 상기 사용자의 시점의 배향이 상기 제1 배향으로부터 임계량 초과만큼 변경되는 경우에 만족되는 기준을 포함하는 하나 이상의 기준들을 상기 전자 디바이스의 이동이 만족한다는 결정에 따라, 상기 가상 환경에 대응하는 상기 오디오의 적어도 일정 컴포넌트를 강조약화(deemphasizing)시키는 단계를 추가로 포함하는, 방법. - 제29항에 있어서, 상기 가상 환경에 대응하는 상기 오디오의 적어도 상기 일정 컴포넌트를 강조약화시키는 단계는 상기 오디오가 상기 3차원 환경 내에서 상이한 방향들로부터 생성되는 것으로 제시되는 정도를 감소시키는 단계를 포함하는, 방법.
- 제29항 또는 제30항에 있어서, 상기 가상 환경에 대응하는 상기 오디오의 적어도 상기 일정 컴포넌트를 강조약화시키는 단계는 상기 가상 환경에 대응하는 상기 오디오가 제시되는 노이즈 제거의 양을 감소시키는 단계를 포함하는, 방법.
- 제29항 내지 제31항 중 어느 한 항에 있어서, 상기 가상 환경에 대응하는 상기 오디오의 적어도 상기 일정 컴포넌트를 강조약화시키는 단계는 상기 가상 환경에 대응하는 상기 오디오가 제시되는 오디오 컴포넌트들의 수를 감소시키는 단계를 포함하는, 방법.
- 제28항 내지 제32항 중 어느 한 항에 있어서,
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 최대 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 사용자 입력을 감지한 것에 응답하여:
상기 사용자 입력과 독립적인 사용자 정의 설정이 제1 값을 갖는다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 제1 각자의 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고,
상기 사용자 정의 설정이 상기 제1 값과는 상이한 제2 값을 갖는다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 각자의 몰입 레벨보다 높은 제2 각자의 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제28항 내지 제33항 중 어느 한 항에 있어서, 상기 3차원 환경은 애플리케이션과 연관되고, 상기 방법은,
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 최대 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 사용자 입력을 감지한 것에 응답하여:
상기 애플리케이션이 하나 이상의 제1 기준들을 만족한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 제1 각자의 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고,
상기 애플리케이션이 상기 제1 기준들과는 상이한 하나 이상의 제2 기준들을 만족한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 각자의 몰입 레벨보다 높은 제2 각자의 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제27항 내지 제34항 중 어느 한 항에 있어서, 상기 각자의 공간 효과는 대기 효과(atmospheric effect)를 포함하고, 상기 각자의 공간 효과 없이 상기 3차원 환경을 디스플레이하는 것은 상기 대기 효과 없이 상기 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 대기 효과로 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하는, 방법.
- 제35항에 있어서, 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 대기 효과에 대응하는 오디오를 제시하는 것을 포함하고, 상기 방법은,
상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고 상기 대기 효과에 대응하는 상기 오디오를 제시하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 3차원 환경 내로의 상기 전자 디바이스의 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 전자 디바이스의 이동을 검출하는 것에 응답하여, 상기 3차원 환경 내로의 상기 사용자의 시점의 배향이 상기 제1 배향으로부터 변경되는 양과 독립적인 상기 대기 효과에 대응하는 상기 오디오의 제시를 유지하는 단계를 추가로 포함하는, 방법. - 제28항 내지 제34항 중 어느 한 항에 있어서,
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 공간 효과의 현재 몰입 레벨을 변경하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 각자의 공간 효과의 몰입 레벨을 변경하라는 상기 요청에 대응하는 상기 사용자 입력을 검출하는 것에 응답하여:
상기 각자의 공간 효과가 제1 공간 효과라는 결정에 따라, 상기 현재 몰입 레벨을 제1 세트의 몰입 레벨들로부터의 일정 몰입 레벨로 변경하고;
상기 각자의 공간 효과가 제2 공간 효과라는 결정에 따라, 상기 현재 몰입 레벨을 상기 제1 세트와는 상이한 제2 세트의 몰입 레벨들로부터의 일정 몰입 레벨로 변경하는 단계를 추가로 포함하는, 방법. - 제35항 내지 제37항 중 어느 한 항에 있어서,
상기 사용자의 시점 주위의 상기 물리적 환경은 상기 전자 디바이스의 사용자가 액세스가능한 제1 영역 및 상기 전자 디바이스의 사용자가 액세스가능하지 않은 제2 영역을 포함하고,
상기 각자의 공간 효과 없이 상기 3차원 환경을 디스플레이하는 것은, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시점 주위의 상기 물리적 환경의 제2 영역의 표현을 디스플레이하는 것을 포함하고,
상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 사용자의 시점 주위의 상기 물리적 환경의 제2 영역의 표현의 디스플레이를 각자의 가상 환경으로 대체하는 것을 포함하는, 방법. - 제35항 내지 제38항 중 어느 한 항에 있어서, 상기 대기 효과 없이 상기 3차원 환경을 디스플레이하는 것은 제1 조명 레벨을 갖는 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 상기 대기 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 제1 조명 레벨보다 높은 제2 조명 레벨을 갖는 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하는, 방법.
- 제35항 내지 제39항 중 어느 한 항에 있어서, 상기 대기 효과 없이 상기 3차원 환경을 디스플레이하는 것은 제1 조명 레벨을 갖는 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 상기 대기 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 제1 조명 레벨보다 낮은 제2 조명 레벨을 갖는 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하는, 방법.
- 제27항 내지 제40항 중 어느 한 항에 있어서, 각자의 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 공간 효과가 디스플레이되고 있는 현재 몰입 레벨을 나타내는 몰입 스케일 시각적 표시자를 디스플레이하는 것을 포함하는, 방법.
- 제41항에 있어서, 상기 몰입 스케일 시각적 표시자는 주(major) 몰입 레벨들에 대응하는 제1 세트의 하나 이상의 표시자들, 및 상기 주 몰입 레벨들 사이의 부(minor) 몰입 레벨들에 대응하는 제2 세트의 하나 이상의 표시자들을 포함하는, 방법.
- 제41항 또는 제42항에 있어서,
제2 주 몰입 레벨보다 낮은 제1 주 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은, 상기 각자의 공간 효과에 대응하는 시각적 효과를 디스플레이하지 않고서 상기 각자의 공간 효과에 대응하는 오디오를 제시하는 것을 포함하는, 방법. - 제41항 내지 제43항 중 어느 한 항에 있어서,
제2 주 몰입 레벨보다 높은 제1 주 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은, 상기 각자의 공간 효과에 대응하는 오디오를 제시하는 것 및 상기 각자의 공간 효과에 대응하는 시각적 효과의 제1 부분을, 상기 각자의 공간 효과에 대응하는 상기 시각적 효과의 제2 부분을 디스플레이하지 않고서, 디스플레이하는 것을 포함하는, 방법. - 제44항에 있어서,
상기 제1 주 몰입 레벨보다 높은 제3 주 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은, 상기 각자의 공간 효과에 대응하는 상기 오디오를 제시하는 것 및 상기 각자의 공간 효과에 대응하는 상기 시각적 효과의 제1 부분 및 제2 부분을 디스플레이하는 것을 포함하는, 방법. - 제27항 내지 제45항 중 어느 한 항에 있어서, 상기 각자의 공간 효과는 가상 환경의 적어도 일부분의 디스플레이를 포함하고, 상기 각자의 공간 효과 없이 상기 3차원 환경을 디스플레이하는 것은 상기 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함하고, 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 물리적 환경의 일부분의 표현의 적어도 일부분의 디스플레이를 상기 가상 환경의 일부분의 디스플레이로 대체하는 것을 포함하고, 상기 방법은,
상기 가상 환경의 일부분을 디스플레이하는 것을 포함하여 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 시점 주위의 상기 물리적 환경 내의 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동을 검출하는 것에 응답하여:
상기 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동이 임계 거리를 초과한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통한, 상기 가상 환경의 일부분의 디스플레이를 중지하는 단계를 추가로 포함하는, 방법. - 제46항에 있어서,
상기 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동을 검출하는 것에 응답하여:
상기 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동이 상기 임계 거리보다 작은 제1 거리라는 결정에 따라, 상기 가상 환경의 일부분의 디스플레이를 제1 양만큼 강조약화시키는 단계; 및
상기 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동이, 상기 제1 거리보다 크고 상기 임계 거리보다 작은 제2 거리라는 결정에 따라, 상기 가상 환경의 일부분의 디스플레이를 상기 제1 양보다 큰 제2 양만큼 강조약화시키는 단계를 포함하는, 방법. - 제27항 내지 제47항 중 어느 한 항에 있어서,
상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 시점 주위의 상기 물리적 환경 내의 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동을 검출하는 것에 응답하여:
상기 제1 위치로부터 멀어지는 상기 전자 디바이스의 이동이 임계 거리를 초과한다는 결정에 따라:
상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것이, 상기 디스플레이 생성 컴포넌트를 통해, 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함한다는 결정에 따라, 상기 가상 환경의 일부분의 디스플레이를 중지하고;
상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것이, 상기 디스플레이 생성 컴포넌트를 통해, 대기 효과로 상기 사용자의 시점 주위의 물리적 환경의 일부분의 표현을 디스플레이하는 것을 포함한다는 결정에 따라, 상기 대기 효과로 상기 사용자의 시점 주위의 상기 물리적 환경의 일부분의 표현을 디스플레이하는 것을 유지하는 단계를 포함하는, 방법. - 제27항 내지 제48항 중 어느 한 항에 있어서, 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함하고, 상기 방법은,
상기 가상 환경의 일부분을 디스플레이하는 것을 포함하여 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안 그리고 상기 사용자의 시점 주위의 물리적 환경의 표현이 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되지 않는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 전자 디바이스의 이동을 검출하는 것에 응답하여:
상기 3차원 환경 내로의 상기 사용자의 시점의 배향이 상기 제1 배향으로부터 임계량 초과만큼 수평으로 변경되는 경우에 만족되는 기준을 포함하는 하나 이상의 기준들을 상기 전자 디바이스의 이동이 만족한다는 결정에 따라, 상기 가상 환경의 일부분의 디스플레이를 강조약화시키고, 상기 디스플레이 생성 컴포넌트를 통해, 상기 물리적 환경의 표현의 적어도 일부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제27항 내지 제49항 중 어느 한 항에 있어서, 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함하고, 상기 방법은,
상기 가상 환경의 일부분을 디스플레이하는 것을 포함하여 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안 그리고 물리적 환경의 표현이 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되지 않는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 3차원 환경 내로의 상기 전자 디바이스의 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 전자 디바이스의 이동을 검출하는 것에 응답하여:
상기 3차원 환경 내로의 상기 사용자의 시점의 배향이 상기 제1 배향으로부터 상기 물리적 환경의 그룹을 향하여 지향된 제2 배향으로 수직으로 변경되는 경우에 만족되는 기준을 포함하는 하나 이상의 기준들을 상기 전자 디바이스의 이동이 만족한다는 결정에 따라, 상기 가상 환경의 일부분의 디스플레이를 강조약화시키고, 상기 디스플레이 생성 컴포넌트를 통해, 상기 물리적 환경의 그룹의 표현의 적어도 일부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제27항 내지 제50항 중 어느 한 항에 있어서,
상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함하고,
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 3차원 환경 내로의 사용자의 시점으로부터 제1 거리에 상기 가상 환경의 일부분을 디스플레이하는 것을 포함하고,
상기 제1 몰입 레벨보다 높은 상기 제2 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 상기 3차원 환경 내로의 상기 사용자의 시점으로부터 상기 제1 거리 미만인 제2 거리에 상기 가상 환경의 일부분을 디스플레이하는 것을 포함하는, 방법. - 제27항 내지 제51항 중 어느 한 항에 있어서, 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 것은 가상 환경의 적어도 일부분을 디스플레이하는 것을 포함하고, 상기 방법은,
상기 가상 환경의 일부분을 디스플레이하는 것을 포함하여 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 3차원 환경 내로의 상기 전자 디바이스의 사용자의 시점의 배향을, 제1 배향으로부터, 변경하는 것에 대응하는 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 전자 디바이스의 이동을 검출하는 것에 응답하여:
상기 사용자의 미리결정된 부분의 이동에 기초하여 만족되는 기준을 포함하는 하나 이상의 기준들을 상기 전자 디바이스의 이동이 만족한다는 결정에 따라, 상기 가상 환경이 상기 전자 디바이스의 이동에 따라 디스플레이되는 상기 3차원 환경 내의 위치를 변경하고;
상기 전자 디바이스의 이동이 상기 하나 이상의 기준들을 만족하지 않는다는 결정에 따라, 상기 가상 환경이 디스플레이되는 상기 3차원 환경 내의 상기 위치를 유지하는 단계를 추가로 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 각자의 공간 효과를 개시하라는 요청에 대응하는 제1 입력을 검출하기 위한;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하기 위한;
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 각자의 입력을 검출하기 위한; 그리고
상기 각자의 입력을 검출하는 것에 응답하여:
상기 각자의 입력이 제1 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 높은 제2 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고;
상기 각자의 입력이 상기 제1 입력과는 상이한 제2 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 낮은 제3 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
디스플레이 생성 컴포넌트를 통해, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 각자의 공간 효과를 개시하라는 요청에 대응하는 제1 입력을 검출하는 단계;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 단계;
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 각자의 입력을 검출하는 단계; 및
상기 각자의 입력을 검출하는 것에 응답하여:
상기 각자의 입력이 제1 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 높은 제2 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고;
상기 각자의 입력이 상기 제1 입력과는 상이한 제2 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 낮은 제3 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 각자의 공간 효과를 개시하라는 요청에 대응하는 제1 입력을 검출하기 위한 수단;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하기 위한 수단;
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 각자의 입력을 검출하기 위한 수단; 및
상기 각자의 입력을 검출하는 것에 응답하여:
상기 각자의 입력이 제1 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 높은 제2 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고;
상기 각자의 입력이 상기 제1 입력과는 상이한 제2 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 낮은 제3 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해, 각자의 공간 효과 없이 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 각자의 공간 효과를 개시하라는 요청에 대응하는 제1 입력을 검출하기 위한 수단;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하기 위한 수단;
상기 제1 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 각자의 입력을 검출하기 위한 수단; 및
상기 각자의 입력을 검출하는 것에 응답하여:
상기 각자의 입력이 제1 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 높은 제2 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하고;
상기 각자의 입력이 상기 제1 입력과는 상이한 제2 입력이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 낮은 제3 몰입 레벨의 상기 각자의 공간 효과로 상기 3차원 환경을 디스플레이하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제27항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제27항 내지 제52항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제27항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제27항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 일부분의 표현을 포함하는 3차원 환경을 디스플레이하는 단계;
상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제1 입력을 검출하는 단계;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 단계;
상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하는 단계; 및
상기 제2 입력을 검출하는 것에 응답하여:
상기 제2 입력이 상기 3차원 환경 내의 상기 물리적 환경의 일부분과 함께 디스플레이되는 가상 환경의 일부분 내로 상기 각자의 사용자 인터페이스를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 3차원 환경 내의 상기 가상 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하는 단계를 포함하는, 방법. - 제61항에 있어서, 상기 가상 환경의 일부분은 상기 제1 입력이 검출되는 경우에 상기 3차원 환경 내에 디스플레이되고, 상기 제1 입력을 검출하는 것에 응답하여, 상기 각자의 애플리케이션의 각자의 사용자 인터페이스는 상기 3차원 환경 내의 상기 가상 환경의 일부분과 동시에 디스플레이되는, 방법.
- 제61항에 있어서, 상기 가상 환경의 일부분은 상기 제1 입력이 검출되는 경우에 상기 3차원 환경 내에 디스플레이되지 않고, 상기 가상 환경의 일부분은 상기 제2 입력이 검출되는 경우에 상기 3차원 환경 내에 디스플레이되는, 방법.
- 제61항 내지 제63항 중 어느 한 항에 있어서,
상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 애플리케이션의 각자의 사용자 인터페이스에 기초한 조명 효과로 상기 물리적 환경의 일부분의 적어도 각자의 부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제61항 내지 제64항 중 어느 한 항에 있어서,
상기 3차원 환경 내의 상기 가상 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 애플리케이션의 각자의 사용자 인터페이스에 기초한 조명 효과로 상기 가상 환경의 일부분의 적어도 각자의 부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제61항 내지 제65항 중 어느 한 항에 있어서,
상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 물리적 환경의 일부분에 기초한 조명 효과로 상기 각자의 애플리케이션의 각자의 사용자 인터페이스의 적어도 각자의 부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제61항 내지 제66항 중 어느 한 항에 있어서,
상기 3차원 환경 내의 상기 가상 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 가상 환경의 일부분에 기초한 조명 효과로 상기 각자의 애플리케이션의 각자의 사용자 인터페이스의 적어도 각자의 부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제61항 내지 제67항 중 어느 한 항에 있어서,
상기 제2 입력을 검출하는 것에 응답하여, 상기 가상 환경의 일부분 내로의 그리고 상기 사용자의 시점으로부터 멀어지는 상기 각자의 사용자 인터페이스의 이동에 따라 상기 3차원 환경 내의 상기 각자의 애플리케이션의 각자의 사용자 인터페이스의 크기를 증가시키는 단계를 추가로 포함하는, 방법. - 제61항 내지 제68항 중 어느 한 항에 있어서, 상기 제2 입력을 검출하기 전에 그리고 상기 제2 입력이 검출될 때, 상기 3차원 환경의 적어도 일부분은 하루 중 제1 시간에 대응하는 제1 조명 효과로 디스플레이되고, 상기 방법은,
상기 제2 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 하루 중 제1 시간과는 상이한 하루 중 제2 시간에 대응하는, 상기 제1 조명 효과와는 상이한 제2 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제61항 내지 제69항 중 어느 한 항에 있어서,
상기 디스플레이 생성 컴포넌트를 통해, 하루 중 제1 시간에 대응하는 제1 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스에서의 하루 중 각자의 시간에 대응하는 각자의 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하라는 요청에 대응하는 제3 입력을 검출하는 단계; 및
상기 제3 입력을 검출하는 것에 응답하여:
상기 전자 디바이스에서의 상기 하루 중 각자의 시간이 하루 중 제2 시간이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 제2 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하고;
상기 전자 디바이스에서의 상기 하루 중 각자의 시간이 상기 하루 중 제2 시간과는 상이한 하루 중 제3 시간이라는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 조명 효과와는 상이한 제3 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제61항 내지 제70항 중 어느 한 항에 있어서,
상기 디스플레이 생성 컴포넌트를 통해, 하루 중 제1 시간에 대응하는 제1 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 하루 중 각자의 시간에 대응하는 각자의 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하라는 요청에 대응하는 제3 입력을 검출하는 단계; 및
상기 제3 입력을 검출하는 것에 응답하여:
상기 제3 입력이 하루 중 제2 시간을 나타낸다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 제2 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하고;
상기 제3 입력이 상기 하루 중 제2 시간과는 상이한 하루 중 제3 시간을 나타낸다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 조명 효과와는 상이한 제3 조명 효과로 상기 3차원 환경의 일부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제61항 내지 제71항 중 어느 한 항에 있어서,
상기 3차원 환경 내의 상기 물리적 환경의 일부분과 함께 상기 가상 환경의 일부분을 디스플레이하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 가상 환경의 일부분에 기초한 조명 효과로 상기 물리적 환경의 일부분의 적어도 각자의 부분을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제72항에 있어서, 상기 가상 환경의 일부분에 기초한 상기 조명 효과는 상기 물리적 환경의 적어도 각자의 부분을 밝게 하는, 방법.
- 제72항에 있어서, 상기 가상 환경의 일부분에 기초한 상기 조명 효과는 상기 물리적 환경의 적어도 각자의 부분을 어둡게 하는, 방법.
- 제61항 내지 제74항 중 어느 한 항에 있어서,
상기 3차원 환경 내의 상기 가상 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제3 입력을 검출하는 단계; 및
상기 제3 입력을 검출하는 것에 응답하여:
상기 제3 입력이 상기 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하라는 요청에 대응한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 가상 환경의 일부분을 디스플레이하지 않고서 상기 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제75항에 있어서,
상기 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하기 전에, 상기 3차원 환경 내의 상기 가상 환경의 일부분은 하나 이상의 시각적 특성들을 갖고;
상기 각자의 애플리케이션의 각자의 가상 환경을 디스플레이한 후에, 상기 각자의 가상 환경은 상기 하나 이상의 시각적 특성들을 갖는, 방법. - 제75항 또는 제76항에 있어서,
상기 제3 입력이 검출되는 경우, 상기 각자의 애플리케이션의 각자의 사용자 인터페이스는, 상기 디스플레이 생성 컴포넌트를 통해, 상기 3차원 환경 내의 상기 물리적 환경의 일부분과 함께 상기 가상 환경의 일부분 내에 디스플레이되고,
상기 제3 입력을 검출하는 것에 응답하여 그리고 상기 제3 입력이 상기 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하라는 상기 요청에 대응한다는 상기 결정에 따라, 상기 각자의 애플리케이션의 각자의 가상 환경은, 상기 디스플레이 생성 컴포넌트를 통해, 상기 가상 환경의 일부분의 디스플레이 없이 디스플레이되는, 방법. - 제75항 내지 제77항 중 어느 한 항에 있어서,
상기 제3 입력이 검출되는 경우, 상기 가상 환경의 일부분은, 상기 디스플레이 생성 컴포넌트를 통해, 제1 몰입 레벨로 디스플레이되고,
상기 제3 입력을 검출하는 것에 응답하여 그리고 상기 제3 입력이 상기 각자의 애플리케이션의 각자의 가상 환경을 디스플레이하라는 상기 요청에 대응한다는 상기 결정에 따라, 상기 각자의 애플리케이션의 각자의 가상 환경은, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨보다 높은 제2 몰입 레벨로 디스플레이되는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해, 물리적 환경의 일부분의 표현을 포함하는 3차원 환경을 디스플레이하기 위한;
상기 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제1 입력을 검출하기 위한;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하기 위한;
상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하기 위한; 그리고
상기 제2 입력을 검출하는 것에 응답하여:
상기 제2 입력이 상기 3차원 환경 내의 상기 물리적 환경의 일부분과 함께 디스플레이되는 가상 환경의 일부분 내로 상기 각자의 사용자 인터페이스를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 3차원 환경 내의 상기 가상 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
디스플레이 생성 컴포넌트를 통해, 물리적 환경의 일부분의 표현을 포함하는 3차원 환경을 디스플레이하는 단계;
상기 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제1 입력을 검출하는 단계;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하는 단계;
상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하는 단계; 및
상기 제2 입력을 검출하는 것에 응답하여:
상기 제2 입력이 상기 3차원 환경 내의 상기 물리적 환경의 일부분과 함께 디스플레이되는 가상 환경의 일부분 내로 상기 각자의 사용자 인터페이스를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 3차원 환경 내의 상기 가상 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해, 물리적 환경의 일부분의 표현을 포함하는 3차원 환경을 디스플레이하기 위한 수단;
상기 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제1 입력을 검출하기 위한 수단;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하기 위한 수단;
상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하기 위한 수단; 및
상기 제2 입력을 검출하는 것에 응답하여:
상기 제2 입력이 상기 3차원 환경 내의 상기 물리적 환경의 일부분과 함께 디스플레이되는 가상 환경의 일부분 내로 상기 각자의 사용자 인터페이스를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 3차원 환경 내의 상기 가상 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해, 물리적 환경의 일부분의 표현을 포함하는 3차원 환경을 디스플레이하기 위한 수단;
상기 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제1 입력을 검출하기 위한 수단;
상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 애플리케이션의 각자의 사용자 인터페이스를 디스플레이하기 위한 수단;
상기 3차원 환경 내의 상기 물리적 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하기 위한 수단; 및
상기 제2 입력을 검출하는 것에 응답하여:
상기 제2 입력이 상기 3차원 환경 내의 상기 물리적 환경의 일부분과 함께 디스플레이되는 가상 환경의 일부분 내로 상기 각자의 사용자 인터페이스를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 3차원 환경 내의 상기 가상 환경의 일부분 내에 상기 각자의 사용자 인터페이스를 디스플레이하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제61항 내지 제78항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제61항 내지 제78항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제61항 내지 제78항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제61항 내지 제78항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 전자 디바이스의 사용자의 시점에 대응하는 객체가 상기 전자 디바이스의 물리적 환경의 영역 내의 제1 위치에 있는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 사용자의 시점으로부터 3차원 환경을 디스플레이하는 단계 - 상기 3차원 환경은 시뮬레이션된 환경 및 상기 시뮬레이션된 환경을 포함하는 상기 3차원 환경의 제1 부분과 상기 3차원 환경의 제2 부분 사이의 경계를 포함하고, 상기 경계는 상기 3차원 환경 내의 상기 전자 디바이스의 사용자의 시점으로부터 제1 거리에 있음 -;
상기 시뮬레이션된 환경 및 상기 사용자의 시점으로부터 상기 제1 거리에 있는 상기 경계를 포함하는 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 단계; 및
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여:
상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 하나 이상의 기준들을 만족한다는 결정에 따라, 상기 시뮬레이션된 환경의 경계가 상기 제1 거리보다 먼 상기 사용자의 시점으로부터 제2 거리에 있도록 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하는 단계 - 상기 3차원 환경을 업데이트하는 단계는 상기 시뮬레이션된 환경의 일부분의 디스플레이를 상기 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이로 대체하는 단계를 포함함 - 를 포함하는, 방법. - 제87항에 있어서,
상기 3차원 환경의 제1 부분과 상기 3차원 환경의 제2 부분 사이의 상기 경계는 상기 시뮬레이션된 환경과 상기 3차원 환경의 제2 부분 사이의 영역을 포함하고;
상기 영역 내의 특정 위치에서, 상기 시뮬레이션된 환경의 적어도 각자의 부분 및 상기 3차원 환경의 제2 부분의 적어도 각자의 부분은 동시에 디스플레이되는, 방법. - 제87항 또는 제88항에 있어서,
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여 그리고 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 상기 하나 이상의 기준들을 만족한다는 상기 결정에 따라, 상기 시뮬레이션된 환경이 디스플레이되는 몰입 레벨을 감소시키는 단계를 추가로 포함하는, 방법. - 제87항 내지 제89항 중 어느 한 항에 있어서, 상기 시뮬레이션된 환경의 경계가 상기 사용자의 시점으로부터 상기 제2 거리에 있도록 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하는 단계는 상기 전자 디바이스의 물리적 환경에 장애물이 존재하는지 여부와 독립적인, 방법.
- 제87항 내지 제90항 중 어느 한 항에 있어서,
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출한 후에 그리고 상기 시뮬레이션된 환경 및 상기 사용자의 시점으로부터 상기 제2 거리에 있는 상기 경계를 포함하는 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내에서의 상기 제2 위치로부터 멀어지는 상기 사용자의 시점에 대응하는 상기 객체의 제2 이동을 검출하는 단계; 및
상기 물리적 환경 내에서의 상기 제2 위치로부터 멀어지는 상기 사용자의 시점에 대응하는 상기 객체의 제2 이동을 검출하는 것에 응답하여:
상기 사용자의 시점에 대응하는 상기 객체의 제2 이동이 상기 경계로부터 멀어진다는 결정에 따라, 상기 물리적 환경의 일부분의 표현을 상기 시뮬레이션된 환경의 일부분으로 대체하는 단계를 포함하여, 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하는 단계를 추가로 포함하는, 방법. - 제87항 내지 제91항 중 어느 한 항에 있어서, 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하는 단계는,
상기 제2 위치가 상기 경계로부터 제1 각자의 거리에 있다는 결정에 따라, 상기 시뮬레이션된 환경의 제1 양의 디스플레이를 상기 전자 디바이스의 물리적 환경의 상기 제1 양의 디스플레이로 대체하는 단계; 및
상기 제2 위치가 상기 경계로부터, 상기 제1 각자의 거리와는 상이한 제2 각자의 거리에 있다는 결정에 따라, 상기 시뮬레이션된 환경의 상기 제1 양과는 상이한 제2 양의 디스플레이를 상기 전자 디바이스의 물리적 환경의 상기 제2 양의 디스플레이로 대체하는 단계를 포함하는, 방법. - 제87항 내지 제92항 중 어느 한 항에 있어서, 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하는 단계는,
상기 사용자의 시점에 대응하는 상기 객체의 이동의 속도가 제1 속도라는 결정에 따라, 상기 시뮬레이션된 환경의 제1 양의 디스플레이를 상기 전자 디바이스의 물리적 환경의 상기 제1 양의 디스플레이로 대체하는 단계; 및
상기 사용자의 시점에 대응하는 상기 객체의 이동의 속도가 상기 제1 속도와는 상이한 제2 속도라는 결정에 따라, 상기 시뮬레이션된 환경의 상기 제1 양과는 상이한 제2 양의 디스플레이를 상기 전자 디바이스의 물리적 환경의 상기 제2 양의 디스플레이로 대체하는 단계를 포함하는, 방법. - 제87항 내지 제93항 중 어느 한 항에 있어서, 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하는 단계는,
상기 사용자의 시점에 대응하는 상기 객체의 이동의 가속도가 제1 가속도라는 결정에 따라, 상기 시뮬레이션된 환경의 제1 양의 디스플레이를 상기 전자 디바이스의 물리적 환경의 상기 제1 양의 디스플레이로 대체하는 단계; 및
상기 사용자의 시점에 대응하는 상기 객체의 이동의 가속도가 상기 제1 가속도와는 상이한 제2 가속도라는 결정에 따라, 상기 시뮬레이션된 환경의 상기 제1 양과는 상이한 제2 양의 디스플레이를 상기 전자 디바이스의 물리적 환경의 상기 제2 양의 디스플레이로 대체하는 단계를 포함하는, 방법. - 제87항 내지 제94항 중 어느 한 항에 있어서,
상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출한 후에 그리고 상기 시뮬레이션된 환경 및 상기 사용자의 시점으로부터 상기 제2 거리에 있는 상기 경계를 포함하는 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내에서의 상기 제2 위치로부터 멀어지는 상기 사용자의 시점에 대응하는 상기 객체의 제2 이동을 검출하는 단계; 및
상기 물리적 환경 내에서의 상기 제2 위치로부터 멀어지는 상기 사용자의 시점에 대응하는 상기 객체의 제2 이동을 검출하는 것에 응답하여:
상기 사용자의 시점에 대응하는 상기 객체의 제2 이동이 상기 경계를 향한다는 결정에 따라, 상기 3차원 환경 내의 상기 시뮬레이션된 환경의 디스플레이를 중지하도록 상기 3차원 환경을 업데이트하는 단계를 추가로 포함하는, 방법. - 제87항 내지 제95항 중 어느 한 항에 있어서,
상기 시뮬레이션된 환경 및 상기 사용자의 시점으로부터 상기 제1 거리에 있는 상기 경계를 포함하는 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내의 상기 제1 위치로부터 멀어지는 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하지 않고서 상기 사용자의 시점에 대응하는 상기 객체의 배향의 변화를 검출하는 단계; 및
상기 사용자의 시점에 대응하는 상기 객체의 배향의 상기 변화를 검출하는 것에 응답하여, 상기 사용자의 시점으로부터 상기 제1 거리에 상기 경계를 유지하면서 상기 사용자의 시점에 대응하는 상기 객체의 배향의 상기 변화에 따라 그리고 상기 시뮬레이션된 환경의 일부분의 디스플레이를 상기 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이로 대체하지 않고서, 상기 3차원 환경의 디스플레이를 업데이트하는 단계를 추가로 포함하는, 방법. - 제87항 내지 제96항 중 어느 한 항에 있어서, 상기 하나 이상의 기준들은, 상기 제2 위치가 상기 경계에 대응하는 위치의 임계 거리 내에 있는 경우에 만족되고 상기 제2 위치가 상기 경계에 대응하는 상기 위치로부터 상기 임계 거리보다 멀리 있는 경우에 만족되지 않는 기준을 포함하는, 방법.
- 제87항 내지 제97항 중 어느 한 항에 있어서, 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하는 단계는 상기 사용자의 시점에 대응하는 상기 객체로부터 상기 전자 디바이스의 물리적 환경 내의 하나 이상의 물리적 특징부들의 거리들에 기초하여 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원의 부분들을 변경하는 단계를 포함하는, 방법.
- 제87항 내지 제98항 중 어느 한 항에 있어서,
대기 효과로 상기 물리적 환경의 제3 부분의 표현을 디스플레이하는 것을 포함하여, 상기 3차원 환경을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 제2 이동을 검출하는 단계; 및
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 제2 이동을 검출하는 것에 응답하여, 상기 물리적 환경의 제3 부분의 표현이 디스플레이되는 상기 대기 효과를 변경하지 않고서 상기 사용자의 시점에 대응하는 상기 객체의 제2 이동에 따라 상기 3차원 환경의 디스플레이를 업데이트하는 단계를 추가로 포함하는, 방법. - 제87항 내지 제99항 중 어느 한 항에 있어서, 상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하기 전에, 상기 3차원 환경은 상기 시뮬레이션된 환경 내에 위치된 애플리케이션의 사용자 인터페이스를 포함하고, 상기 방법은,
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 하나 이상의 제2 기준들을 만족한다는 결정에 따라:
상기 시뮬레이션된 환경을 더 이상 포함하지 않도록 상기 3차원 환경을 업데이트하는 단계; 및
상기 3차원 환경 내에서 상기 애플리케이션의 사용자 인터페이스의 디스플레이를 중지하는 단계를 추가로 포함하는, 방법. - 제87항 내지 제100항 중 어느 한 항에 있어서, 상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하기 전에, 상기 3차원 환경은 상기 3차원 환경 내의 상기 시뮬레이션된 환경의 외측에 위치된 애플리케이션의 사용자 인터페이스를 포함하고, 상기 방법은,
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 하나 이상의 제2 기준들을 만족한다는 결정에 따라:
상기 시뮬레이션된 환경을 더 이상 포함하지 않도록 상기 3차원 환경을 업데이트하는 단계; 및
상기 3차원 환경 내에서 상기 애플리케이션의 사용자 인터페이스의 디스플레이를 유지하는 단계를 추가로 포함하는, 방법. - 제87항 내지 제99항 및 제101항 중 어느 한 항에 있어서, 상기 제1 위치로부터 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하기 전에, 상기 3차원 환경은 상기 시뮬레이션된 환경 내에 위치된 애플리케이션의 사용자 인터페이스를 포함하고, 상기 방법은,
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 하나 이상의 제2 기준들을 만족한다는 결정에 따라:
상기 시뮬레이션된 환경을 더 이상 포함하지 않도록 상기 3차원 환경의 제1 부분을 업데이트하는 단계; 및
상기 3차원 환경의 제2 부분 내에 상기 애플리케이션의 사용자 인터페이스를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제102항에 있어서,
상기 애플리케이션의 사용자 인터페이스가 상기 3차원 환경의 제1 부분 내에 위치되는 동안, 상기 애플리케이션의 사용자 인터페이스는 상기 3차원 환경 내에서 제1 크기를 갖고,
상기 애플리케이션의 사용자 인터페이스가 상기 3차원 환경의 제2 부분 내에 위치되는 동안, 상기 애플리케이션의 사용자 인터페이스는 상기 3차원 환경의 제1 부분 내에서 상기 제1 크기보다 작은 제2 크기를 갖는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
상기 전자 디바이스의 사용자의 시점에 대응하는 객체가 상기 전자 디바이스의 물리적 환경의 영역 내의 제1 위치에 있는 동안, 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시점으로부터 3차원 환경을 디스플레이하기 위한 - 상기 3차원 환경은 시뮬레이션된 환경 및 상기 시뮬레이션된 환경을 포함하는 상기 3차원 환경의 제1 부분과 상기 3차원 환경의 제2 부분 사이의 경계를 포함하고, 상기 경계는 상기 3차원 환경 내의 상기 전자 디바이스의 사용자의 시점으로부터 제1 거리에 있음 -;
상기 시뮬레이션된 환경 및 상기 사용자의 시점으로부터 상기 제1 거리에 있는 상기 경계를 포함하는 상기 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하기 위한; 그리고
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여:
상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 하나 이상의 기준들을 만족한다는 결정에 따라, 상기 시뮬레이션된 환경의 경계가 상기 제1 거리보다 먼 상기 사용자의 시점으로부터 제2 거리에 있도록 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하기 위한 - 상기 3차원 환경을 업데이트하는 것은 상기 시뮬레이션된 환경의 일부분의 디스플레이를 상기 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이로 대체하는 것을 포함함 - 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
상기 전자 디바이스의 사용자의 시점에 대응하는 객체가 상기 전자 디바이스의 물리적 환경의 영역 내의 제1 위치에 있는 동안, 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시점으로부터 3차원 환경을 디스플레이하는 단계 - 상기 3차원 환경은 시뮬레이션된 환경 및 상기 시뮬레이션된 환경을 포함하는 상기 3차원 환경의 제1 부분과 상기 3차원 환경의 제2 부분 사이의 경계를 포함하고, 상기 경계는 상기 3차원 환경 내의 상기 전자 디바이스의 사용자의 시점으로부터 제1 거리에 있음 -;
상기 시뮬레이션된 환경 및 상기 사용자의 시점으로부터 상기 제1 거리에 있는 상기 경계를 포함하는 상기 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 단계; 및
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여:
상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 하나 이상의 기준들을 만족한다는 결정에 따라, 상기 시뮬레이션된 환경의 경계가 상기 제1 거리보다 먼 상기 사용자의 시점으로부터 제2 거리에 있도록 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하는 단계 - 상기 3차원 환경을 업데이트하는 단계는 상기 시뮬레이션된 환경의 일부분의 디스플레이를 상기 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이로 대체하는 단계를 포함함 - 를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
상기 전자 디바이스의 사용자의 시점에 대응하는 객체가 상기 전자 디바이스의 물리적 환경의 영역 내의 제1 위치에 있는 동안, 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시점으로부터 3차원 환경을 디스플레이하기 위한 수단 - 상기 3차원 환경은 시뮬레이션된 환경 및 상기 시뮬레이션된 환경을 포함하는 상기 3차원 환경의 제1 부분과 상기 3차원 환경의 제2 부분 사이의 경계를 포함하고, 상기 경계는 상기 3차원 환경 내의 상기 전자 디바이스의 사용자의 시점으로부터 제1 거리에 있음 -;
상기 시뮬레이션된 환경 및 상기 사용자의 시점으로부터 상기 제1 거리에 있는 상기 경계를 포함하는 상기 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하기 위한 수단; 및
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여:
상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 하나 이상의 기준들을 만족한다는 결정에 따라, 상기 시뮬레이션된 환경의 경계가 상기 제1 거리보다 먼 상기 사용자의 시점으로부터 제2 거리에 있도록 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하기 위한 수단 - 상기 3차원 환경을 업데이트하는 것은 상기 시뮬레이션된 환경의 일부분의 디스플레이를 상기 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이로 대체하는 것을 포함함 - 을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
상기 전자 디바이스의 사용자의 시점에 대응하는 객체가 상기 전자 디바이스의 물리적 환경의 영역 내의 제1 위치에 있는 동안, 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시점으로부터 3차원 환경을 디스플레이하기 위한 수단 - 상기 3차원 환경은 시뮬레이션된 환경 및 상기 시뮬레이션된 환경을 포함하는 상기 3차원 환경의 제1 부분과 상기 3차원 환경의 제2 부분 사이의 경계를 포함하고, 상기 경계는 상기 3차원 환경 내의 상기 전자 디바이스의 사용자의 시점으로부터 제1 거리에 있음 -;
상기 시뮬레이션된 환경 및 상기 사용자의 시점으로부터 상기 제1 거리에 있는 상기 경계를 포함하는 상기 3차원 환경을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하기 위한 수단; 및
상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동을 검출하는 것에 응답하여:
상기 물리적 환경 내에서의 상기 제1 위치로부터 멀어져 상기 제2 위치로의 상기 사용자의 시점에 대응하는 상기 객체의 이동이 하나 이상의 기준들을 만족한다는 결정에 따라, 상기 시뮬레이션된 환경의 경계가 상기 제1 거리보다 먼 상기 사용자의 시점으로부터 제2 거리에 있도록 상기 시뮬레이션된 환경에 의해 점유되는 상기 3차원 환경의 양을 변경하도록 상기 3차원 환경을 업데이트하기 위한 수단 - 상기 3차원 환경을 업데이트하는 것은 상기 시뮬레이션된 환경의 일부분의 디스플레이를 상기 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이로 대체하는 것을 포함함 - 을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제87항 내지 제103항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제87항 내지 제103항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제87항 내지 제103항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제87항 내지 제103항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 상기 디스플레이 생성 컴포넌트를 통해 가시적인 3차원 환경 내에 가상 객체를 디스플레이하는 단계 -
상기 3차원 환경은 제1 시각적 외관을 갖는 시뮬레이션된 환경을 포함하고,
상기 가상 객체는 상기 3차원 환경 내의 상기 시뮬레이션된 환경의 외측에 위치됨 -;
상기 3차원 환경 내에 상기 가상 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응하는 제1 입력을 수신하는 단계; 및
상기 제1 입력을 수신하는 것에 응답하여:
상기 제1 입력에 따라 상기 가상 객체를 상기 3차원 환경 내에서 이동시키고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관과는 상이한 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키지 않고 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것을 유지하는 단계를 포함하는, 방법. - 제112항에 있어서,
상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경의 제1 부분을 점유하는 상기 시뮬레이션된 환경을 디스플레이하는 것을 포함하고,
상기 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경의 제2 부분을 점유하는 상기 시뮬레이션된 환경을 디스플레이하는 것을 포함하고, 상기 3차원 환경의 제2 부분은 상기 3차원 환경의 제1 부분과는 상이한 크기를 갖는, 방법. - 제112항 또는 제113항에 있어서,
상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경 내에 상기 시뮬레이션된 환경을 제1 불투명도 레벨로 디스플레이하는 것을 포함하고,
상기 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경 내에 상기 시뮬레이션된 환경을 상기 제1 불투명도 레벨과는 상이한 제2 불투명도 레벨로 디스플레이하는 것을 포함하는, 방법. - 제112항 내지 제114항 중 어느 한 항에 있어서,
상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경 내의 제1 위치에 상기 시뮬레이션된 환경을 디스플레이하는 것을 포함하고,
상기 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경 내의 상기 제1 위치와는 상이한 제2 위치에 상기 시뮬레이션된 환경을 디스플레이하는 것을 포함하는, 방법. - 제112항 내지 제115항 중 어느 한 항에 있어서,
상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경 내에 상기 시뮬레이션된 환경을 제1 몰입 레벨로 디스플레이하는 것을 포함하고,
상기 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경 내에 상기 시뮬레이션된 환경을 상기 제1 몰입 레벨과는 상이한 제2 몰입 레벨로 디스플레이하는 것을 포함하는, 방법. - 제112항 내지 제116항 중 어느 한 항에 있어서, 상기 제1 입력은, 상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 보내라는 요청에 대응한다는 결정에 따라, 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 상기 요청에 대응하는, 방법.
- 제112항 내지 제117항 중 어느 한 항에 있어서, 상기 제1 입력은, 상기 제1 입력이 상기 3차원 환경 내에 디스플레이되는 선택가능 옵션의 선택에 대응한다는 결정에 따라 - 상기 선택가능 옵션은 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키도록 선택가능함 -, 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 상기 요청에 대응하는, 방법.
- 제112항 내지 제118항 중 어느 한 항에 있어서, 상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경 내의 제1 위치에 상기 시뮬레이션된 환경을 디스플레이하는 것을 포함하고, 상기 방법은,
상기 제1 입력을 수신하는 것에 응답하여, 그리고 상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 상기 요청에 대응한다는 상기 결정에 따라:
상기 제1 입력이 상기 가상 객체를 상기 3차원 환경 내의 제2 위치로 이동시키라는 요청에 대응한다는 결정에 따라, 상기 3차원 환경 내의 제3 위치에 상기 시뮬레이션된 환경을 디스플레이하는 단계; 및
상기 제1 입력이 상기 가상 객체를 상기 3차원 환경 내의 상기 제2 위치와는 상이한 제4 위치로 이동시키라는 요청에 대응한다는 결정에 따라, 상기 3차원 환경 내의 상기 제3 위치와는 상이한 제5 위치에 상기 시뮬레이션된 환경을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제119항에 있어서, 상기 제3 위치에 상기 시뮬레이션된 환경을 디스플레이하는 단계는 상기 제2 위치에 상기 시뮬레이션된 환경의 미리결정된 부분을 디스플레이하는 단계를 포함하는, 방법.
- 제119항 또는 제120항에 있어서, 상기 제5 위치에 상기 시뮬레이션된 환경을 디스플레이하는 단계는 상기 제4 위치에 상기 시뮬레이션된 환경의 미리결정된 부분을 디스플레이하는 단계를 포함하는, 방법.
- 제112항 내지 제118항 중 어느 한 항에 있어서, 상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것은 상기 3차원 환경 내의 제1 위치에 상기 시뮬레이션된 환경을 디스플레이하는 것을 포함하고, 상기 방법은,
상기 제1 입력을 수신하는 것에 응답하여, 그리고 상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 상기 요청에 대응한다는 상기 결정에 따라:
상기 전자 디바이스의 사용자의 현재 시점이 제1 시점이라는 결정에 따라, 상기 3차원 환경 내의 제2 위치에 상기 시뮬레이션된 환경을 디스플레이하는 단계 - 상기 3차원 환경 내의 상기 제2 위치에서의 상기 시뮬레이션된 환경은 상기 제1 시점에 대한 각자의 공간 배열을 가짐 -; 및
상기 사용자의 현재 시점이 상기 제1 시점과는 상이한 제2 시점이라는 결정에 따라, 상기 3차원 환경 내의 상기 제2 위치와는 상이한 제3 위치에 상기 시뮬레이션된 환경을 디스플레이하는 단계 - 상기 3차원 환경 내의 상기 제3 위치에서의 상기 시뮬레이션된 환경은 상기 제2 시점에 대한 상기 각자의 공간 배열을 가짐 - 를 추가로 포함하는, 방법. - 제112항 내지 제122항 중 어느 한 항에 있어서, 상기 제1 입력이 수신되는 경우, 상기 가상 객체는 상기 3차원 환경 내에서 제1 크기를 갖고, 상기 방법은,
상기 제1 입력을 수신하는 것에 응답하여 그리고 상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 상기 요청에 대응한다는 상기 결정에 따라, 상기 시뮬레이션된 환경 내에 상기 가상 객체를 디스플레이하는 단계를 추가로 포함하고, 상기 시뮬레이션된 환경 내의 상기 가상 객체는 상기 3차원 환경 내에서 상기 제1 크기보다 큰 제2 크기를 갖는, 방법. - 제112항 내지 제123항 중 어느 한 항에 있어서,
상기 제1 입력을 수신하는 것에 응답하여 그리고 상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 상기 요청에 대응한다는 상기 결정에 따라, 상기 시뮬레이션된 환경 내의 제1 위치에 상기 가상 객체를 디스플레이하는 단계를 포함하고, 상기 제1 위치는 상기 제1 입력에 기초하지 않은 미리결정된 위치인, 방법. - 제112항 내지 제124항 중 어느 한 항에 있어서,
상기 제1 입력을 수신하는 것에 응답하여 그리고 상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 상기 요청에 대응한다는 상기 결정에 따라, 상기 시뮬레이션된 환경 내의 제1 위치에 상기 가상 객체를 디스플레이하는 단계;
상기 시뮬레이션된 환경 내의 상기 제1 위치에 상기 가상 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 가상 객체로 지향되는 제2 입력을 수신하는 단계 - 상기 제2 입력은 상기 시뮬레이션된 환경 내의 상기 제1 위치로부터 멀어지는 이동에 대응하는 이동을 포함함 -;
상기 제2 입력을 수신하는 동안, 상기 제2 입력에 따라 상기 시뮬레이션된 환경 내의 상기 제1 위치로부터 멀어지게 상기 가상 객체를 이동시키는 단계; 및
상기 제2 입력을 수신한 후:
상기 제2 입력이 하나 이상의 기준들을 충족한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 입력에 따라 상기 3차원 환경 내의 제2 위치에 상기 가상 객체를 디스플레이하고 - 상기 제2 위치는 상기 시뮬레이션된 환경의 외측에 있음 -;
상기 제2 입력이 상기 하나 이상의 기준들을 충족하지 않는다는 결정에 따라, 상기 가상 객체를 다시 상기 시뮬레이션된 환경 내의 상기 제1 위치로 이동시키는 단계를 추가로 포함하는, 방법. - 제125항에 있어서, 상기 하나 이상의 기준들은, 상기 제2 입력에서의 상기 이동의 크기가 제1 크기인 경우에 만족되고 상기 제2 입력에서의 상기 이동의 크기가 상기 제1 크기와는 상이한 제2 크기인 경우에 만족되지 않는 기준을 포함하는, 방법.
- 제125항 또는 제126항에 있어서, 상기 하나 이상의 기준들은, 상기 제2 입력에서의 상기 이동의 방향이 제1 방향인 경우에 만족되고 상기 제2 입력에서의 상기 이동의 방향이 상기 제1 방향과는 상이한 제2 방향인 경우에 만족되지 않는 기준을 포함하는, 방법.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해, 상기 디스플레이 생성 컴포넌트를 통해 가시적인 3차원 환경 내에 가상 객체를 디스플레이하기 위한 -
상기 3차원 환경은 제1 시각적 외관을 갖는 시뮬레이션된 환경을 포함하고,
상기 가상 객체는 상기 3차원 환경 내의 상기 시뮬레이션된 환경의 외측에 위치됨 -;
상기 3차원 환경 내에 상기 가상 객체를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응하는 제1 입력을 수신하기 위한; 그리고
상기 제1 입력을 수신하는 것에 응답하여:
상기 제1 입력에 따라 상기 가상 객체를 상기 3차원 환경 내에서 이동시키고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관과는 상이한 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키지 않고 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것을 유지하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
디스플레이 생성 컴포넌트를 통해, 상기 디스플레이 생성 컴포넌트를 통해 가시적인 3차원 환경 내에 가상 객체를 디스플레이하는 단계 -
상기 3차원 환경은 제1 시각적 외관을 갖는 시뮬레이션된 환경을 포함하고,
상기 가상 객체는 상기 3차원 환경 내의 상기 시뮬레이션된 환경의 외측에 위치됨 -;
상기 3차원 환경 내에 상기 가상 객체를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응하는 제1 입력을 수신하는 단계; 및
상기 제1 입력을 수신하는 것에 응답하여:
상기 제1 입력에 따라 상기 가상 객체를 상기 3차원 환경 내에서 이동시키고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관과는 상이한 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키지 않고 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것을 유지하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해, 상기 디스플레이 생성 컴포넌트를 통해 가시적인 3차원 환경 내에 가상 객체를 디스플레이하기 위한 수단 -
상기 3차원 환경은 제1 시각적 외관을 갖는 시뮬레이션된 환경을 포함하고,
상기 가상 객체는 상기 3차원 환경 내의 상기 시뮬레이션된 환경의 외측에 위치됨 -;
상기 3차원 환경 내에 상기 가상 객체를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응하는 제1 입력을 수신하기 위한 수단; 및
상기 제1 입력을 수신하는 것에 응답하여:
상기 제1 입력에 따라 상기 가상 객체를 상기 3차원 환경 내에서 이동시키고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관과는 상이한 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키지 않고 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것을 유지하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해, 상기 디스플레이 생성 컴포넌트를 통해 가시적인 3차원 환경 내에 가상 객체를 디스플레이하기 위한 수단 -
상기 3차원 환경은 제1 시각적 외관을 갖는 시뮬레이션된 환경을 포함하고,
상기 가상 객체는 상기 3차원 환경 내의 상기 시뮬레이션된 환경의 외측에 위치됨 -;
상기 3차원 환경 내에 상기 가상 객체를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응하는 제1 입력을 수신하기 위한 수단; 및
상기 제1 입력을 수신하는 것에 응답하여:
상기 제1 입력에 따라 상기 가상 객체를 상기 3차원 환경 내에서 이동시키고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관과는 상이한 제2 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하고;
상기 제1 입력이 상기 가상 객체를 상기 시뮬레이션된 환경 내로 이동시키지 않고 상기 가상 객체를 상기 3차원 환경 내에서 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 시각적 외관으로 상기 시뮬레이션된 환경을 디스플레이하는 것을 유지하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제112항 내지 제127항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제112항 내지 제127항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제112항 내지 제127항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제112항 내지 제127항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163174272P | 2021-04-13 | 2021-04-13 | |
| US63/174,272 | 2021-04-13 | ||
| US202163261554P | 2021-09-23 | 2021-09-23 | |
| US63/261,554 | 2021-09-23 | ||
| US202163264831P | 2021-12-02 | 2021-12-02 | |
| US63/264,831 | 2021-12-02 | ||
| US202263362799P | 2022-04-11 | 2022-04-11 | |
| US63/362,799 | 2022-04-11 | ||
| PCT/US2022/071704 WO2022221851A1 (en) | 2021-04-13 | 2022-04-13 | Methods for providing an immersive experience in an environment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230169331A true KR20230169331A (ko) | 2023-12-15 |
Family
ID=81653578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237039065A KR20230169331A (ko) | 2021-04-13 | 2022-04-13 | 환경에 몰입형 경험을 제공하기 위한 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220326837A1 (ko) |
| EP (1) | EP4323852A1 (ko) |
| JP (1) | JP2024514614A (ko) |
| KR (1) | KR20230169331A (ko) |
| AU (1) | AU2022258962A1 (ko) |
| WO (1) | WO2022221851A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116507997A (zh) * | 2020-09-11 | 2023-07-28 | 苹果公司 | 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质 |
| KR102562285B1 (ko) | 2020-09-25 | 2023-08-02 | 애플 인크. | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법 |
| US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
Family Cites Families (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5610828A (en) * | 1986-04-14 | 1997-03-11 | National Instruments Corporation | Graphical system for modelling a process and associated method |
| CA2092632C (en) * | 1992-05-26 | 2001-10-16 | Richard E. Berry | Display system with imbedded icons in a menu bar |
| US5524195A (en) * | 1993-05-24 | 1996-06-04 | Sun Microsystems, Inc. | Graphical user interface for interactive television with an animated agent |
| US5619709A (en) * | 1993-09-20 | 1997-04-08 | Hnc, Inc. | System and method of context vector generation and retrieval |
| US5515488A (en) * | 1994-08-30 | 1996-05-07 | Xerox Corporation | Method and apparatus for concurrent graphical visualization of a database search and its search history |
| US5740440A (en) * | 1995-01-06 | 1998-04-14 | Objective Software Technology | Dynamic object visualization and browsing system |
| US5758122A (en) * | 1995-03-16 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | Immersive visual programming system |
| US5737553A (en) * | 1995-07-14 | 1998-04-07 | Novell, Inc. | Colormap system for mapping pixel position and color index to executable functions |
| JP3400193B2 (ja) * | 1995-07-31 | 2003-04-28 | 富士通株式会社 | ウィンドウ関係の識別アイコン付木構造一覧表示方法及び装置 |
| US5751287A (en) * | 1995-11-06 | 1998-05-12 | Documagix, Inc. | System for organizing document icons with suggestions, folders, drawers, and cabinets |
| US6112015A (en) * | 1996-12-06 | 2000-08-29 | Northern Telecom Limited | Network management graphical user interface |
| US6177931B1 (en) * | 1996-12-19 | 2001-01-23 | Index Systems, Inc. | Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information |
| US5877766A (en) * | 1997-08-15 | 1999-03-02 | International Business Machines Corporation | Multi-node user interface component and method thereof for use in accessing a plurality of linked records |
| US6108004A (en) * | 1997-10-21 | 2000-08-22 | International Business Machines Corporation | GUI guide for data mining |
| US5990886A (en) * | 1997-12-01 | 1999-11-23 | Microsoft Corporation | Graphically creating e-mail distribution lists with geographic area selector on map |
| US6456296B1 (en) * | 1999-05-28 | 2002-09-24 | Sony Corporation | Color scheme for zooming graphical user interface |
| US20010047250A1 (en) * | 2000-02-10 | 2001-11-29 | Schuller Joan A. | Interactive decorating system |
| US6584465B1 (en) * | 2000-02-25 | 2003-06-24 | Eastman Kodak Company | Method and system for search and retrieval of similar patterns |
| US7035903B1 (en) * | 2000-11-22 | 2006-04-25 | Xerox Corporation | Systems and methods for the discovery and presentation of electronic messages that are related to an electronic message |
| US20030151611A1 (en) * | 2002-02-12 | 2003-08-14 | Turpin Kenneth A. | Color selection and visualization system and methods of making and using same |
| US7137074B1 (en) * | 2002-05-31 | 2006-11-14 | Unisys Corporation | System and method for displaying alarm status |
| US7334020B2 (en) * | 2002-09-20 | 2008-02-19 | Goodcontacts Research Ltd. | Automatic highlighting of new electronic message address |
| US7373602B2 (en) * | 2003-05-28 | 2008-05-13 | Microsoft Corporation | Method for reading electronic mail in plain text |
| US7330585B2 (en) * | 2003-11-06 | 2008-02-12 | Behr Process Corporation | Color selection and coordination kiosk and system |
| US7230629B2 (en) * | 2003-11-06 | 2007-06-12 | Behr Process Corporation | Data-driven color coordinator |
| US7409641B2 (en) * | 2003-12-29 | 2008-08-05 | International Business Machines Corporation | Method for replying to related messages |
| US8171426B2 (en) * | 2003-12-29 | 2012-05-01 | International Business Machines Corporation | Method for secondary selection highlighting |
| US8151214B2 (en) * | 2003-12-29 | 2012-04-03 | International Business Machines Corporation | System and method for color coding list items |
| US20090234716A1 (en) * | 2008-03-17 | 2009-09-17 | Photometria, Inc. | Method of monetizing online personal beauty product selections |
| US9563342B2 (en) * | 2009-07-22 | 2017-02-07 | Behr Process Corporation | Automated color selection method and apparatus with compact functionality |
| US8319788B2 (en) * | 2009-07-22 | 2012-11-27 | Behr Process Corporation | Automated color selection method and apparatus |
| US9639983B2 (en) * | 2009-07-22 | 2017-05-02 | Behr Process Corporation | Color selection, coordination and purchase system |
| SG191807A1 (en) * | 2011-01-04 | 2013-08-30 | Ppg Ind Ohio Inc | Web-based color selection system |
| US9229621B2 (en) * | 2012-05-22 | 2016-01-05 | Paletteapp, Inc. | Electronic palette system |
| US9645394B2 (en) * | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
| US20170132822A1 (en) * | 2013-11-27 | 2017-05-11 | Larson-Juhl, Inc. | Artificial intelligence in virtualized framing using image metadata |
| US10521089B2 (en) * | 2014-02-27 | 2019-12-31 | Hunter Douglas Inc. | Apparatus and method for providing a virtual decorating interface |
| US9798743B2 (en) * | 2014-12-11 | 2017-10-24 | Art.Com | Mapping décor accessories to a color palette |
| US9857888B2 (en) * | 2015-03-17 | 2018-01-02 | Behr Process Corporation | Paint your place application for optimizing digital painting of an image |
| WO2017024118A1 (en) * | 2015-08-04 | 2017-02-09 | Google Inc. | Hover behavior for gaze interactions in virtual reality |
| US20170038829A1 (en) * | 2015-08-07 | 2017-02-09 | Microsoft Technology Licensing, Llc | Social interaction for remote communication |
| US9298283B1 (en) * | 2015-09-10 | 2016-03-29 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| CA3003693A1 (en) * | 2015-10-30 | 2017-05-04 | Homer Tlc, Inc. | Methods, apparatuses, and systems for material coating selection operations |
| US10706457B2 (en) * | 2015-11-06 | 2020-07-07 | Fujifilm North America Corporation | Method, system, and medium for virtual wall art |
| IL264690B (en) * | 2016-08-11 | 2022-06-01 | Magic Leap Inc | Automatic positioning of a virtual object in 3D space |
| US10325407B2 (en) * | 2016-09-15 | 2019-06-18 | Microsoft Technology Licensing, Llc | Attribute detection tools for mixed reality |
| US10754417B2 (en) * | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for operating an input device in an augmented/virtual reality environment |
| CN117762256A (zh) * | 2017-05-31 | 2024-03-26 | 奇跃公司 | 眼睛跟踪校准技术 |
| US10699488B1 (en) * | 2018-09-07 | 2020-06-30 | Facebook Technologies, Llc | System and method for generating realistic augmented reality content |
| AU2020346889A1 (en) * | 2019-09-11 | 2022-03-31 | Savant Systems, Inc. | Three dimensional virtual room-based user interface for a home automation system |
-
2022
- 2022-04-13 KR KR1020237039065A patent/KR20230169331A/ko active Search and Examination
- 2022-04-13 WO PCT/US2022/071704 patent/WO2022221851A1/en active Application Filing
- 2022-04-13 JP JP2023562859A patent/JP2024514614A/ja active Pending
- 2022-04-13 US US17/659,147 patent/US20220326837A1/en active Pending
- 2022-04-13 EP EP22723527.2A patent/EP4323852A1/en active Pending
- 2022-04-13 AU AU2022258962A patent/AU2022258962A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024514614A (ja) | 2024-04-02 |
| EP4323852A1 (en) | 2024-02-21 |
| AU2022258962A1 (en) | 2023-10-19 |
| WO2022221851A1 (en) | 2022-10-20 |
| US20220326837A1 (en) | 2022-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2020356572B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11768579B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| KR20230152826A (ko) | 환경에서 객체들을 조작하기 위한 방법들 | |
| US11995230B2 (en) | Methods for presenting and sharing content in an environment | |
| US20220326837A1 (en) | Methods for providing an immersive experience in an environment | |
| KR20240065152A (ko) | 콘텐츠 애플리케이션들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| US20230384907A1 (en) | Methods for relative manipulation of a three-dimensional environment | |
| KR20240067948A (ko) | 3차원 환경에서 객체들을 이동시키기 위한 방법들 | |
| KR20240091221A (ko) | 미디어를 캡처 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| KR20240049345A (ko) | 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 | |
| KR20230158505A (ko) | 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| US20240221291A1 (en) | Methods for time of day adjustments for environments and environment presentation during communication sessions | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| US20230106627A1 (en) | Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| WO2023133600A1 (en) | Methods for displaying user interface elements relative to media content | |
| CN117873325A (zh) | 用于在环境中提供沉浸式体验的方法 | |
| US20240094862A1 (en) | Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments | |
| WO2024064932A1 (en) | Methods for controlling and interacting with a three-dimensional environment | |
| KR20240047458A (ko) | 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 | |
| WO2024063786A1 (en) | Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments | |
| CN118043766A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| WO2024039666A1 (en) | Devices, methods, and graphical user interfaces for improving accessibility of interactions with three-dimensional environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |