KR20230158505A - 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 - Google Patents
맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 Download PDFInfo
- Publication number
- KR20230158505A KR20230158505A KR1020237032394A KR20237032394A KR20230158505A KR 20230158505 A KR20230158505 A KR 20230158505A KR 1020237032394 A KR1020237032394 A KR 1020237032394A KR 20237032394 A KR20237032394 A KR 20237032394A KR 20230158505 A KR20230158505 A KR 20230158505A
- Authority
- KR
- South Korea
- Prior art keywords
- user interface
- location
- content
- displaying
- electronic device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 150
- 230000000007 visual effect Effects 0.000 claims abstract description 189
- 230000004044 response Effects 0.000 claims abstract description 111
- 230000002829 reductive effect Effects 0.000 claims abstract description 56
- 230000033001 locomotion Effects 0.000 claims description 146
- 238000003860 storage Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 16
- 238000012876 topography Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims 8
- 229910052709 silver Inorganic materials 0.000 claims 1
- 239000004332 silver Substances 0.000 claims 1
- 210000003811 finger Anatomy 0.000 description 47
- 210000004247 hand Anatomy 0.000 description 44
- 210000003128 head Anatomy 0.000 description 32
- 230000003190 augmentative effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 230000003993 interaction Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 210000003813 thumb Anatomy 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 210000000707 wrist Anatomy 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 238000013459 approach Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005562 fading Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000004091 panning Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 241001422033 Thestylus Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 241000233948 Typha Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
일부 실시예들에서, 전자 디바이스는 지정된 개개의 물리적 위치를 갖는 내비게이션 사용자 인터페이스 요소 및 개개의 물리적 위치에 대응하는 콘텐츠를 포함하는 콘텐츠 요소를 동시에 제시한다. 일부 실시예들에서, 전자 디바이스는 제2 물리적 위치에 대응하는 콘텐츠를 제시하라는 요청에 대응하는 입력에 응답하여 콘텐츠 요소에서, 감소된 시각적 두드러짐으로 제1 물리적 위치로부터 제2 물리적 위치로의 내비게이션을 제시한다.
Description
관련 출원에 대한 상호 참조
본 출원은 2021년 3월 22자로 출원된 미국 가출원 제63/164,296호의 이익을 주장하며, 그 출원의 내용은 모든 목적들을 위해 그 전체가 참고로 본 명세서에 포함된다.
기술분야
본 발명은 일반적으로, 맵들을 포함하는 그래픽 사용자 인터페이스들을 디스플레이 생성 컴포넌트를 통해 제시하는 전자 디바이스들을 포함하지만 이에 제한되지 않는, 그래픽 사용자 인터페이스들을 제시하는 하나 이상의 입력 디바이스들 및 디스플레이 생성 컴포넌트를 갖는 컴퓨터 시스템들에 관한 것이다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예컨대 카메라들, 제어기들, 조이스틱들, 터치-감응형 표면들, 및 터치-스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 일부 방법들 및 인터페이스들은 번거롭고, 비효율적이며, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 부가적으로, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 그러한 방법들 및 인터페이스들은 선택적으로, 확장 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 연결을 이해하는 데 도움을 줌으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시키며, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다.
컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결함들 및 다른 문제들은 개시된 시스템들에 의해 감소되거나 또는 제거된다. 일부 실시예들에서, 컴퓨터 시스템은 연관된 디스플레이를 갖는 데스크톱 컴퓨터이다. 일부 실시예들에서, 컴퓨터 시스템은 휴대용 디바이스(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 개인용 전자 디바이스(예를 들어, 시계 또는 머리 장착형 디바이스와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 터치패드를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로 또한 알려져 있음)를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 눈 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 손 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 디스플레이 생성 컴포넌트에 부가하여 하나 이상의 출력 디바이스들을 갖고, 출력 디바이스들은 하나 이상의 촉각적 출력 생성기들 및 하나 이상의 오디오 출력 디바이스들을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 터치-감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들, 카메라들 및 다른 이동 센서들에 의해 캡처된 사용자의 신체 또는 GUI(및/또는 컴퓨터 시스템)에 대한 공간에서의 사용자의 눈들 및 손의 이동, 및/또는 하나 이상의 오디오 입력 디바이스들에 의해 캡처된 음성 입력들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 상호작용들을 통해 수행되는 기능들은, 선택적으로, 이미지 편집, 드로잉, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 일시적 및/또는 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
사용자 인터페이스들을 내비게이팅하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들이 필요하다. 이러한 방법들 및 인터페이스들은 그래픽 사용자 인터페이스와 상호작용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 이러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시키고 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 내의 제1 위치에서 제1 물리적 위치에 대응하는 콘텐츠 및 제1 물리적 위치의 표시를 갖는 내비게이션 사용자 인터페이스 요소를 동시에 제시한다. 일부 실시예들에서, 제2 물리적 위치에 대응하는 콘텐츠를 디스플레이하라는 요청에 대응하는 입력에 응답하여, 전자 디바이스는 감소된 정도의 시각적 두드러짐(visual prominence)으로 제1 물리적 위치로부터 제2 물리적 위치로의 내비게이션을 디스플레이한다.
위에서 설명된 다양한 실시예들이 본 명세서에 설명된 임의의 다른 실시예들과 조합될 수 있다는 것을 유의한다. 본 명세서에 설명된 특징들 및 장점들은 모두를 포함하는 것은 아니며, 특히, 많은 부가적인 특징들 및 장점들이 도면들, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 게다가, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명의 목적들을 위해 선택되었고, 본 발명의 요지를 서술하거나 제한하기 위해 선택되지 않았을 수 있다는 것을 유의해야 한다.
다양하게 설명된 실시예들의 보다 양호한 이해를 위해, 유사한 도면 부호들이 도면들 전체에 걸쳐 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 XR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 XR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 XR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6a는 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 6b는 일부 실시예들에 따른 XR 경험들을 제공하는 전자 디바이스의 예시적인 환경을 예시한다.
도 7a 내지 도 7i는 일부 실시예들에 따른, 전자 디바이스가 지정된 개개의 물리적 위치를 갖는 내비게이션 사용자 인터페이스 요소 및 개개의 물리적 위치에 대응하는 콘텐츠를 포함하는 콘텐츠 요소를 어떻게 동시에 제시하는지의 예들을 예시한다.
도 8a 내지 도 8j는 일부 실시예들에 따른, 지정된 개개의 물리적 위치를 갖는 내비게이션 사용자 인터페이스 요소 및 개개의 물리적 위치에 대응하는 콘텐츠를 포함하는 콘텐츠 요소를 동시에 제시하는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9h는 일부 실시예들에 따른, 제2 물리적 위치에 대응하는 콘텐츠를 제시하라는 요청에 대응하는 입력에 응답하여 콘텐츠 요소에서, 감소된 시각적 두드러짐으로 제1 물리적 위치로부터 제2 물리적 위치로의 내비게이션을 제시하는 방법을 예시한 흐름도이다.
도 1은 일부 실시예들에 따른 XR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 XR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 XR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6a는 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 6b는 일부 실시예들에 따른 XR 경험들을 제공하는 전자 디바이스의 예시적인 환경을 예시한다.
도 7a 내지 도 7i는 일부 실시예들에 따른, 전자 디바이스가 지정된 개개의 물리적 위치를 갖는 내비게이션 사용자 인터페이스 요소 및 개개의 물리적 위치에 대응하는 콘텐츠를 포함하는 콘텐츠 요소를 어떻게 동시에 제시하는지의 예들을 예시한다.
도 8a 내지 도 8j는 일부 실시예들에 따른, 지정된 개개의 물리적 위치를 갖는 내비게이션 사용자 인터페이스 요소 및 개개의 물리적 위치에 대응하는 콘텐츠를 포함하는 콘텐츠 요소를 동시에 제시하는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9h는 일부 실시예들에 따른, 제2 물리적 위치에 대응하는 콘텐츠를 제시하라는 요청에 대응하는 입력에 응답하여 콘텐츠 요소에서, 감소된 시각적 두드러짐으로 제1 물리적 위치로부터 제2 물리적 위치로의 내비게이션을 제시하는 방법을 예시한 흐름도이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(XR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에 설명된 시스템들, 방법들, 및 GUI들은 전자 디바이스가 내비게이션 사용자 인터페이스 요소에서 표시된 물리적 위치들에 대응하는 콘텐츠를 제시하기 위한 개선된 방식들을 제공한다.
일부 실시예들에서, 컴퓨터 시스템은 3차원 환경에서, 지정된 제1 물리적 위치를 갖는 내비게이션 사용자 인터페이스 요소 및 제1 물리적 위치에 대응하는 제1 콘텐츠를 동시에 디스플레이한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 3차원 환경에서 제1 콘텐츠와 사용자의 시점 사이에 디스플레이된다. 일부 실시예들에서, 제2 물리적 위치에 대응하는 콘텐츠를 제시하라는 요청에 대응하는 입력에 응답하여, 전자 디바이스는 제1 콘텐츠의 디스플레이를 중단하고, 제1 콘텐츠가 디스플레이되었던 3차원 환경 내의 위치에서 제2 콘텐츠를 디스플레이한다. 제1 콘텐츠가 디스플레이되었던 3차원 환경 내의 동일한 위치에서 제2 콘텐츠를 제시하는 것은 물리적 위치들에 대응하는 콘텐츠를 브라우징하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 사용자가 3차원 환경의 상이한 구역으로 그들의 주의를 지향시키거나 또는 동일한 위치에서 콘텐츠를 계속 디스플레이하기 위한 입력을 제공할 필요 없이) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 내비게이션 사용자 인터페이스 요소, 및 내비게이션 사용자 인터페이스 요소에 의해 표현된 제1 물리적 위치에 대응하는 콘텐츠를 포함하는 콘텐츠 요소를 동시에 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 제1 정도의 시각적 두드러짐으로 제1 콘텐츠를 디스플레이한다. 일부 실시예들에서, 제2 물리적 위치에 대응하는 콘텐츠를 디스플레이하라는 요청에 대응하는 사용자 입력을 검출하는 동안, 전자 디바이스는 콘텐츠 요소에서, 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 제1 물리적 위치로부터 제2 물리적 위치로의 내비게이션을 디스플레이한다. 제1 물리적 위치로부터 제2 물리적 위치로의 내비게이션을 디스플레이한 이후, 전자 디바이스는 선택적으로, 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 제2 콘텐츠를 디스플레이한다. 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 동안 콘텐츠 요소의 시각적 두드러짐을 감소시키는 것은 제2 위치를 지정하는 것이 콘텐츠 요소를 업데이트할 것이라는 것을 사용자에게 표시하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시키고, 추가적인 사용자 입력들로 정정되어야 할 사용의 에러들을 감소시키고, (예를 들어, 콘텐츠에 대응하는 위치의 시각적 표시가 이동되고 있는 동안) 전자 디바이스가 제1 위치 및/또는 제1 및 제2 위치 사이의 중간 위치들에 대응하는 콘텐츠를 완전히 렌더링할 필요성을 감소시킨다.
도 1 내지 도 6은 사용자들에게 XR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 도 7a 내지 도 7i는 일부 실시예들에 따른, 사용자의 시선의 검출에 따라 전자 디바이스가 사용자 인터페이스의 내비게이션을 어떻게 제공하는지의 예들을 예시한다. 도 8 및 도 9는 다양한 실시예들에 따른, 사용자의 시선의 검출에 따라 내비게이션을 제공하는 방법들의 흐름도들이다. 도 7a 내지 도 7i의 사용자 인터페이스들은 각각 도 8 및 도 9의 프로세스들을 예시하기 위해 사용된다.
아래에서 설명되는 프로세스들은, 개선된 시각적 피드백을 사용자에게 제공하는 것, 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것, 부가적인 디스플레이된 제어부들을 이용하여 사용자 인터페이스를 혼란스럽게 하지 않으면서 부가적인 제어 옵션들을 제공하는 것, 조건들의 세트가 추가적인 사용자 입력을 요구하지 않으면서 충족되었을 때 동작을 수행하는 것, 프라이버시 및/또는 보안을 개선시키는 것, 및/또는 부가적인 기법들에 의한 것을 포함하는 다양한 기법들을 통해 (예를 들어, 디바이스를 동작시키거나/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스들의 작동성을 향상시키고 사용자-디바이스 인터페이스들을 더 효율적으로 만든다. 이러한 기법들은 또한, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
부가적으로, 하나 이상의 단계들이 하나 이상의 조건들이 충족되었음을 조건으로 하는 본 명세서에서 설명되는 방법들에서, 설명된 방법은 다수의 반복들로 반복될 수 있어서, 반복들 동안, 방법의 단계들이 조건으로 하는 조건들 모두가 방법의 상이한 반복들로 충족되게 할 수 있다는 것이 이해되어야 한다. 예를 들어, 방법이, 조건이 만족되면 제1 단계를 그리고 조건이 만족되지 않으면 제2 단계를 수행할 것을 요구하는 경우, 당업자는, 조건이 만족되고 만족되지 않을 때까지, 청구된 단계들이 특정 순서 없이 반복된다는 것을 인식할 것이다. 따라서, 하나 이상의 조건들이 충족되었음을 조건으로 하는 하나 이상의 단계들로 설명되는 방법은, 방법에서 설명되는 조건들 각각이 충족될 때까지 반복되는 방법으로서 재작성될 수 있다. 그러나, 이는, 시스템 또는 컴퓨터 판독가능 매체가 대응하는 하나 이상의 조건들의 만족에 기초하여 조건부 동작들을 수행하기 위한 명령어들을 포함하고, 그에 따라, 방법의 단계들이 조건으로 하는 조건들 모두가 충족될 때까지 방법의 단계들을 명시적으로 반복하지 않고서 우연성(contingency)이 만족되었는지 또는 만족되지 않았는지를 결정할 수 있는 시스템 또는 컴퓨터 판독가능 매체 청구항들에서는 요구되지 않는다. 당업자는, 또한, 조건부 단계들을 갖는 방법과 유사하게, 시스템 또는 컴퓨터 판독가능 저장 매체가 조건부 단계들 모두가 수행되었음을 보장하는 데 필요한 횟수만큼 방법의 단계들을 반복할 수 있다는 것을 이해할 것이다.
일부 실시예들에서, 도 1에 도시된 바와 같이, XR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(head-mounted device; HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 및 선택적으로는, 하나 이상의 주변 디바이스들(195)(예를 들어, 가정용 전자기기들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리 장착형 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
XR 경험을 설명할 때, (예를 들어, XR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, XR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고 그리고/또는 사용자가 상호작용할 수 있는 몇몇 관련되지만 별개의 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고 그리고/또는 그와 상호작용할 수 있다.
확장 현실: 대조적으로, 확장 현실(XR) 환경은 사람들이 전자 시스템을 통해 감지하고 그리고/또는 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. XR에서, 사람의 물리적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, XR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, XR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), XR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 XR 객체를 감지하고 그리고/또는 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서 오디오 소스들의 지각 지점을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고 그리고/또는 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투과성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터-생성 오디오와 함께 또는 그것 없이 포함한다. 일부 XR 환경들에서, 사람은 오디오 객체들만을 감지하고 그리고/또는 오직 그와 상호작용할 수 있다.
XR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고 그리고/또는 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터-생성 환경 내의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터-생성 환경 내의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고 그리고/또는 그것과 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 움직임들을 고려할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 가상 객체들을 투명 또는 반투명 디스플레이 상에 제시하도록 구성되어, 사람은, 시스템을 사용하여, 물리적 환경 위에 중첩된 가상 객체들을 인지하게 할 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은, 시스템을 사용하여, 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 도시되는 물리적 환경의 비디오는 "패스-스루 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있어서, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하게 한다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터-생성 감각 정보에 의해 변환되는 모사된 환경을 지칭한다. 예를 들어, 패스-스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과는 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 대표적인 버전일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 찍은 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 컬러를 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 포지션에 부합하는 그림자들을 채용할 수 있다.
시점-록킹(viewpoint-locked) 가상 객체: 사용자의 시점이 시프트(예를 들어, 변경)되더라도, 컴퓨터 시스템이 사용자의 시점의 동일한 위치 및/또는 포지션에서 가상 객체를 디스플레이할 때 가상 객체가 시점-록킹된다. 컴퓨터 시스템이 머리 장착형 디바이스인 실시예들에서, 사용자의 시점은 사용자의 머리의 전방 대면 방향에 록킹되고(예를 들어, 사용자의 시점은 사용자가 정면을 보고 있을 때 사용자의 시야의 적어도 일부임); 따라서, 사용자의 시선이 시프트되더라도, 사용자의 머리를 이동시키지 않으면서, 사용자의 시점이 고정된 상태로 유지된다. 컴퓨터 시스템이 사용자의 머리에 대해 리포지셔닝될 수 있는 디스플레이 생성 컴포넌트(예를 들어, 디스플레이 스크린)를 갖는 실시예들에서, 사용자의 시점은 컴퓨터 시스템의 디스플레이 생성 컴포넌트 상에서 사용자에게 제시되고 있는 증강 현실 뷰이다. 예를 들어, 사용자의 시점의 상부 좌측 코너에서 디스플레이되는 시점-록킹 가상 객체는, 사용자의 시점이 제1 배향(예를 들어, 사용자의 머리가 북쪽을 향함)에 있을 때, 사용자의 시점이 제2 배향(예를 들어, 사용자의 머리가 서쪽을 향함)으로 변경되더라도, 사용자의 시점의 상부 좌측 코너에서 계속 디스플레이된다. 다시 말하면, 시점-록킹된 가상 객체가 사용자의 시점에서 디스플레이되는 위치 및/또는 포지션은 물리적 환경 내의 사용자의 포지션 및/또는 배향과 독립적이다. 컴퓨터 시스템이 머리 장착형 디바이스인 실시예들에서, 사용자의 시점은 사용자의 머리의 배향에 록킹되므로, 가상 객체는 또한 "머리-록킹 가상 객체"로 지칭된다.
환경-록킹 가상 객체: 컴퓨터 시스템이 3차원 환경(예를 들어, 물리적 환경 또는 가상 환경) 내의 위치 및/또는 객체에 기초하는(예를 들어, 이를 참조하여 선택되고 그리고/또는 이에 앵커링된) 사용자의 시점 내의 위치 및/또는 포지션에서 가상 객체를 디스플레이할 때, 가상 객체는 환경-록킹(대안적으로는, "세계-록킹")된다. 사용자의 시점이 시프트됨에 따라, 사용자의 시점에 대한 환경 내의 위치 및/또는 객체가 변경되며, 이는 환경-록킹된 가상 객체가 사용자의 시점 내의 상이한 위치 및/또는 포지션에서 디스플레이되는 것을 초래한다. 예를 들어, 사용자의 바로 전방에 있는 나무에 록킹되는 환경-록킹된 가상 객체는 사용자의 시점의 중심에서 디스플레이된다. 사용자의 시점이 우측으로 시프트되어(예를 들어, 사용자의 머리가 우측으로 회전되어), 나무가 이제 사용자의 시점에서 중심 좌측에 있을 때(예를 들어, 사용자의 시점 내의 나무의 포지션이 시프트될 때), 나무에 록킹되는 환경-록킹된 가상 객체는 사용자의 시점에서 중심 좌측에 디스플레이된다. 다시 말하면, 환경-록킹된 가상 객체가 사용자의 시점에서 디스플레이되는 위치 및/또는 포지션은 가상 객체가 록킹되는 환경 내의 위치 및/또는 객체의 포지션 및/또는 배향에 의존한다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 시점에서 환경-록킹된 가상 객체를 디스플레이할 포지션을 결정하기 위해 고정 기준 프레임(예를 들어, 물리적 환경 내의 고정 위치 및/또는 객체에 앵커링되는 좌표계)을 사용한다. 환경-록킹된 가상 객체는 환경의 고정 부분(예를 들어, 바닥, 벽, 테이블, 또는 다른 고정 객체)에 록킹될 수 있거나, 또는 환경의 이동가능 부분(예를 들어, 차량, 동물, 사람, 또는 심지어 사용자의 시점과 독립적으로 이동되는 사용자 신체의 일부, 예컨대 사용자의 손, 손목, 팔, 또는 다리의 표현)에 록킹될 수 있어서, 가상 객체는 가상 객체와 환경의 일부 사이의 고정된 관계를 유지하기 위해 시점 또는 환경의 일부가 이동됨에 따라 이동된다.
일부 실시예들에서, 환경-록킹되거나 시점-록킹된 가상 객체는 가상 객체가 따르는 기준 포인트의 이동에 대한 환경-록킹되거나 시점-록킹된 가상 객체의 모션을 감소시키거나 지연시키는 느린(lazy) 후속 거동을 나타낸다. 일부 실시예들에서, 느린 후속 거동을 나타낼 때, 컴퓨터 시스템은, 가상 객체가 따르고 있는 기준 포인트(예를 들어, 환경의 일부, 시점, 또는 시점에 대해 고정된 포인트, 예컨대 시점으로부터 5 내지 300 cm인 포인트)의 이동을 검출할 때 가상 객체의 이동을 의도적으로 지연시킨다. 예를 들어, 기준 포인트(예를 들어, 환경의 일부 또는 시점)가 제1 속도로 이동할 때, 가상 객체는 (예를 들어, 기준 포인트가 이동하는 것을 중지하거나 기준 포인트가 느려질 때까지(그 포인트에서, 가상 객체는 기준 포인트를 따라잡기 시작함)) 기준 포인트에 록킹된 상태로 유지되기 위해 디바이스에 의해 이동되지만, 제1 속도보다 느린 제2 속도로 이동한다. 일부 실시예들에서, 가상 객체가 느린 후속 거동을 나타낼 때, 디바이스는 기준 포인트의 작은 양들의 이동을 무시한다(예를 들어, 0 내지 5도만큼의 이동 또는 0 내지 50 cm만큼의 이동과 같은 임계량의 이동 미만인 기준 포인트의 이동을 무시함). 예를 들어, 기준 포인트(예를 들어, 가상 객체가 록킹되는 환경의 일부 또는 시점)가 제1 양만큼 이동할 때, (예를 들어, 가상 객체가 록킹되는 기준 포인트와 상이한 시점 또는 환경의 일부에 대해 고정된 또는 실질적으로 고정된 포지션을 유지하기 위해 가상 객체가 디스플레이되고 있기 때문에) 기준 포인트와 가상 객체 사이의 거리가 증가되고, 기준 포인트(예를 들어, 가상 객체가 록킹되는 환경의 일부 또는 시점)가 제1 양보다 큰 제2 양만큼 이동할 때, (예를 들어, 가상 객체가 록킹되는 기준 포인트와 상이한 시점 또는 환경의 일부에 대해 고정된 또는 실질적으로 고정된 포지션을 유지하기 위해 가상 객체가 디스플레이되고 있기 때문에) 기준 포인트와 가상 객체 사이의 거리는 초기에 증가되며, 이어서, 기준 포인트에 대해 고정된 또는 실질적으로 고정된 포지션을 유지하기 위해 가상 객체가 컴퓨터 시스템에 의해 이동되기 때문에, 기준 포인트의 이동의 양이 임계치(예를 들어, "느린 후속" 임계치) 초과로 증가됨에 따라 감소된다. 일부 실시예들에서, 가상 객체가 기준 포인트에 대해 실질적으로 고정된 포지션을 유지하는 것은 가상 객체가 하나 이상의 차원들(예를 들어, 기준 포인트의 포지션에 대해 위/아래, 좌측/우측, 및/또는 전방/후방)로 기준 포인트의 임계 거리(예를 들어, 1, 2, 3, 5, 15, 20, 50 cm) 내에서 디스플레이되는 것을 포함한다.
하드웨어: 사람이 다양한 XR 환경들을 감지하고 그리고/또는 그들과 상호작용할 수 있게 하는 많은 상이한 유형들의 전자 시스템들이 존재한다. 예들은 머리 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 머리 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 머리 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 머리 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 머리 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투영 기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투영하는 망막 투영 기술을 이용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 XR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 커플링된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(enclosure)(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 위의 것들 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 XR 경험(예를 들어, 적어도 XR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)의 기능들은 디스플레이 생성 컴포넌트(120)에 의해 제공되거나 그리고/또는 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 XR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부에(예를 들어, 그의 머리 상에, 그의 손 상에 등) 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 XR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 XR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 XR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예컨대, 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는, XR 콘텐츠를 제공하도록 구성된 XR 챔버, 인클로저 또는 룸이다. XR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 XR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 XR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 XR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CRG 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(application-specific integrated-circuit; ASIC)들, 필드-프로그래밍가능 게이트 어레이(field-programmable gate array; FPGA)들, 그래픽 프로세싱 유닛(graphics processing unit; GPU)들, 중앙 프로세싱 유닛(central processing unit; CPU)들, 프로세싱 코어들 등), 하나 이상의 입력/출력(input/output; I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(universal serial bus; USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(global system for mobile communication; GSM), 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 글로벌 포지셔닝 시스템(global positioning system; GPS), 적외선(infrared; IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 XR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, XR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 XR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 XR 경험, 또는 하나 이상의 사용자들의 개개의 그룹들에 대한 다수의 XR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, XR 경험 모듈(240)은 데이터 획득 유닛(241), 추적 유닛(242), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(241)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(241)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(242)은 장면(105)을 맵핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로는 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(242)은 손 추적 유닛(244), 및/또는 눈 추적 유닛(243)을 포함한다. 일부 실시예들에서, 손 추적 유닛(244)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 그리고/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(244)은 도 4에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(243)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 XR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 포지션 및 이동을 추적하도록 구성된다. 눈 추적 유닛(243)은 도 5에 관해 아래에서 더 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 XR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(241), 추적 유닛(242)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(241), 추적 유닛(242)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것이 이해되어야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 항목들은 조합될 수 있고 일부 항목들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)(예를 들어, HMD)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입력/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 XR 디스플레이들(312), 하나 이상의 선택적인 내부 및/또는 외부 대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결하기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 깊이 센서들(예를 들어, 구조화된 광, 비행 시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 XR 디스플레이들(312)은 XR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 XR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 XR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, 디스플레이 생성 컴포넌트(120)(예를 들어, HMD)는 단일 XR 디스플레이를 포함한다. 다른 예에서, 디스플레이 생성 컴포넌트(120)는 사용자의 각각의 눈에 대한 XR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 XR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 XR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 이들은 눈-추적 카메라로 지칭될 수 있다). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 이들은 손-추적 카메라로 지칭될 수 있다). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은, 디스플레이 생성 컴포넌트(120)(예를 들어, HMD)가 존재하지 않았다면 사용자가 봤을 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 이들은 장면 카메라로 지칭될 수 있다). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(complimentary metal-oxide-semiconductor; CMOS) 이미지 센서 또는 전하 결합 디바이스(charge-coupled device; CCD)이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 XR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, XR 제시 모듈(340)은 하나 이상의 XR 디스플레이들(312)을 통해 XR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, XR 제시 모듈(340)은 데이터 획득 유닛(342), XR 제시 유닛(344), XR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, XR 제시 유닛(344)은 하나 이상의 XR 디스플레이들(312)을 통해 XR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, XR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, XR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 XR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, XR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), XR 제시 유닛(344), XR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), XR 제시 유닛(344), XR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 항목들은 조합될 수 있고 일부 항목들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 도식적인 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 그리고/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 개개의 포지션들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하기 위해 다른 이미지 센서들과 함께 사용되거나, 장면(105)의 물리적 환경을 캡처하는 이미지 센서들의 역할을 한다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 처리되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를, 맵 데이터로부터 고레벨 정보를 추출하는 제어기(110)에 출력한다. 이러한 고레벨 정보는 통상적으로, 애플리케이션 프로그램 인터페이스(API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동시킨다. 예를 들어, 사용자는 자신의 손(406)을 이동시키고 자신의 손 포즈를 변화시킴으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스팟들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 특정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 컴포넌트들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 이미지 센서들(404)(예를 들어, 손 추적 디바이스)은 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 이상)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이러한 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 제스처는 에어 제스처를 포함한다. 에어 제스처는 디바이스(예를 들어, 컴퓨터 시스템(101), 하나 이상의 입력 디바이스(125) 및/또는 손 추적 디바이스(140))의 일부인 입력 요소를 사용자가 터치하지 않으면서(또는 이와 독립적으로) 검출되는 제스처이며, 사용자 신체의 다른 부분에 대한 절대적 기준(예를 들어, 지면에 대한 사용자의 팔의 각도 또는 지면에 대한 사용자의 손의 거리)에 대한 사용자의 신체의 모션(예를 들어, 사용자의 어깨에 대한 사용자의 손의 움직임, 사용자의 다른 손에 대한 사용자의 하나의 손의 움직임, 및/또는 사용자의 다른 손가락 또는 손의 일부에 대한 사용자의 손가락의 움직임), 및/또는 사용자의 신체의 일부의 절대적 모션(예를 들어, 미리 결정된 양 및/또는 속도만큼 미리 결정된 포즈에서 손의 움직임을 포함하는 탭 제스처, 또는 사용자의 신체의 일부의 미리 결정된 회전 속도 또는 양을 포함하는 셰이크 제스처)을 포함하는 공중을 통한 사용자의 신체의 일부(예를 들어, 머리, 하나 이상의 팔들, 하나 이상의 손들, 하나 이상의 손가락들 및/또는 하나 이상의 다리들)의 검출된 모션에 기초한다.
일부 실시예들에서, 본 명세서에서 설명된 다양한 예들 및 실시예들에서 사용된 입력 제스처들은, 일부 실시예들에 따른, XR 환경(예를 들어, 가상 또는 혼합 현실 환경)과 상호작용하기 위해 다른 손가락(들) 또는 사용자의 손의 일부(들)에 대한 사용자의 손가락(들)의 움직임에 의해 수행되는 에어 제스처들을 포함한다. 일부 실시예들에서, 에어 제스처는, 사용자가 디바이스의 일부인 입력 요소를 터치하지 않으면서(또는 디바이스의 일부인 입력 요소와 독립적으로) 검출되고, 절대적 기준에 대한 사용자의 신체의 모션(예를 들어, 지면에 대한 사용자의 팔의 각도 또는 지면에 대한 사용자의 손의 거리), 사용자의 신체의 다른 부분에 대한 사용자의 신체의 모션(예를 들어, 사용자의 어깨에 대한 사용자의 손의 이동, 사용자의 하나의 손의 사용자의 다른 손에 대한 이동, 및/또는 사용자의 손가락의 사용자의 손의 다른 손가락 또는 부분에 대한 이동), 및/또는 사용자의 신체의 부분의 절대적 모션(예를 들어, 미리 결정된 양 및/또는 속도만큼의 미리 결정된 포즈에서의 손의 이동을 포함하는 탭 제스처, 또는 사용자의 신체의 부분의 미리 결정된 회전 속도 또는 회전량을 포함하는 쉐이크 제스처)을 포함하는 에어를 통한 사용자의 신체의 부분의 검출된 모션에 기초하는 제스처이다.
입력 제스처가 에어 제스처인 일부 실시예들에서(예를 들어, 터치스크린 상에 디스플레이된 사용자 인터페이스 요소와의 접촉 또는 사용자 인터페이스 요소에 대해 커서를 이동시키는 마우스 또는 트랙패드와의 접촉과 같이, 사용자 인터페이스 요소가 사용자 입력의 타겟인 것에 대한 정보를 컴퓨터 시스템에 제공하는 입력 디바이스와의 물리적 접촉의 부재 시에), 제스처는 (예를 들어, 아래에서 설명되는 바와 같은 직접 입력들에 대한) 사용자 입력의 타겟을 결정하기 위해 사용자의 주의(예를 들어, 시선)를 고려한다. 따라서, 에어 제스처들을 수반하는 구현들에서, 입력 제스처는, 예를 들어, 아래에서 더 상세히 설명되는 바와 같이, 핀치 및/또는 탭 입력을 수행하기 위해 사용자의 손가락(들) 및/또는 손들의 움직임과 조합하여(예를 들어, 동시에) 사용자 인터페이스 요소를 향한 검출된 주의(예를 들어, 시선)이다.
일부 실시예들에서, 사용자 인터페이스 객체로 지향되는 입력 제스처들은 사용자 인터페이스 객체를 참조하여 간접적으로 또는 직접적으로 수행된다. 예를 들어, (예를 들어, 사용자의 현재 시점에 기초하여 결정되는 바와 같이) 3차원 환경에서 사용자 인터페이스 객체의 포지션에 대응하는 포지션에서 사용자의 손으로 입력 제스처를 수행하는 것에 따라 사용자 인터페이스 객체 상에서 직접 사용자 입력이 수행된다. 일부 실시예들에서, 사용자 인터페이스 객체 상에서 사용자의 주의(예를 들어, 시선)를 검출하면서 사용자의 손의 포지션이 3차원 환경에서 사용자 인터페이스 객체의 포지션에 대응하는 포지션에 있지 않은 동안 사용자가 입력 제스처를 수행하는 것에 따라 사용자 인터페이스 객체 상에서 간접적으로 입력 제스처가 수행된다. 예를 들어, 직접적인 입력 제스처의 경우, 사용자는, 사용자 인터페이스 객체의 디스플레이된 포지션에 대응하는 포지션에서 또는 그 근처에서(예를 들어, 옵션의 외측 에지 또는 옵션의 중심 부분으로부터 측정되는 바와 같이 0.5 cm, 1 cm, 5 cm, 또는 0 내지 5 cm의 거리 내에서) 제스처를 개시함으로써 사용자 인터페이스 객체로 사용자의 입력을 지향시키는 것이 가능하게 된다. 간접적인 입력 제스처의 경우, 사용자는 사용자 인터페이스 객체에 주의를 기울임으로써(예를 들어, 사용자 인터페이스 객체를 응시함으로써) 사용자의 입력을 사용자 인터페이스 객체로 지향시키는 것이 가능하게 되고, 옵션에 주의를 기울이는 동안, 사용자는 (예를 들어, 컴퓨터 시스템에 의해 검출가능한 임의의 포지션에서)(예를 들어, 사용자 인터페이스 객체의 디스플레이된 포지션에 대응하지 않는 포지션에서) 입력 제스처를 개시한다.
일부 실시예들에서, 본 명세서에서 설명된 다양한 예들 및 실시예들에서 사용된 입력 제스처들(예를 들어, 에어 제스처들)은 일부 실시예들에 따른, 가상 또는 혼합 현실 환경과 상호작용하기 위한 핀치 입력들 및 탭 입력들을 포함한다. 예를 들어, 아래에서 설명되는 핀치 입력들 및 탭 입력들은 에어 제스처들로서 수행된다.
일부 실시예들에서, 핀치 입력은 핀치 제스처, 롱 핀치 제스처, 핀치 및 드래그 제스처 또는 더블 핀치 제스처 중 하나 이상을 포함하는 에어 제스처의 일부이다. 예를 들어, 에어 제스처인 핀치 제스처는 서로 접촉하기 위한 손의 2개 이상의 손가락들의 움직임을 포함하고, 이는, 선택적으로, 즉각적인(예를 들어, 0 내지 1 초 이내에) 서로로부터의 접촉 해제가 후속된다. 에어 제스처인 롱 핀치 제스처는, 서로로부터의 접촉 해제를 검출하기 전에 적어도 임계 시간량(예를 들어, 적어도 1 초) 동안 서로 접촉하기 위한 손의 2개 이상의 손가락들의 움직임을 포함한다. 예를 들어, 롱 핀치 제스처는 사용자가 핀치 제스처를 유지하는 것(예를 들어, 2개 이상의 손가락들이 접촉함)을 포함하고, 롱 핀치 제스처는 2개 이상의 손가락들 사이의 접촉 해제가 검출될 때까지 계속된다. 일부 실시예들에서, 에어 제스처인 더블 핀치 제스처는 서로 즉각적인(예를 들어, 미리 정의된 시간 기간 내인) 연속으로 검출되는 2개(예를 들어, 또는 그 이상)의 핀치 입력들(예를 들어, 동일한 손에 의해 수행됨)을 포함한다. 예컨대, 사용자는 제1 핀치 입력(예를 들어, 핀치 입력 또는 롱 핀치 입력)을 수행하고, 제1 핀치 입력을 해제하고(예를 들어, 2개 이상의 손가락들 사이의 접촉을 해제함), 제1 핀치 입력을 해제한 이후 미리 정의된 시간 내에(예를 들어, 1초 이내 또는 2초 내에) 제2 핀치 입력을 수행한다.
일부 실시예들에서, 에어 제스처인 핀치 및 드래그 제스처는, 핀치 제스처(예를 들어, 핀치 제스처 또는 롱 핀치 제스처)를 포함하고, 이는 사용자의 손의 포지션을 제1 포지션(예를 들어, 드래그의 시작 포지션)으로부터 제2 포지션(예를 들어, 드래그의 종료 포지션)으로 변경하는 드래그 입력과 함께 수행된다(예를 들어, 그에 후속함). 일부 실시예들에서, 사용자는 드래그 입력을 수행하는 동안 핀치 제스처를 유지하고, (예를 들어, 제2 포지션에서) 드래그 제스처를 종료하기 위해 핀치 제스처를 해제한다(예를 들어, 자신의 2개 이상의 손가락들을 개방함). 일부 실시예들에서, 핀치 입력 및 드래그 입력은 동일한 손에 의해 수행된다(예를 들어, 사용자는 2개 이상의 손가락들을 핀칭하여 서로 접촉하게 하고, 드래그 제스처를 이용하여 동일한 손을 공중에서 제2 포지션으로 이동시킨다). 일부 실시예들에서, 핀치 입력은 사용자의 제1 손에 의해 수행되고 드래그 입력은 사용자의 제2 손에 의해 수행된다(예를 들어, 사용자의 제2 손이 공중에서 제1 포지션으로부터 제2 포지션으로 이동하는 동안 사용자는 사용자의 제1 손으로 핀치 입력을 계속한다). 일부 실시예들에서, 에어 제스처인 입력 제스처는 사용자의 두 손들 둘 모두를 사용하여 수행되는 입력들(예를 들어, 핀치 및/또는 탭핑 입력들)을 포함한다. 예컨대, 입력 제스처는 서로 함께(예를 들어, 동시에 또는 미리 정의된 시간 기간 내에) 수행되는 2개(예를 들어, 그 이상)의 핀치 입력들을 포함한다. 예를 들어, 제1 핀치 제스처는 사용자의 제1 손을 사용하여 수행되고(예를 들어, 핀치 입력, 롱 핀치 입력 또는 핀치 및 드래그 입력), 제1 손을 사용하여 핀치 입력을 수행하는 것과 관련하여, 다른 손(예를 들어, 사용자의 두 손들 중 두 번째 손)을 사용하는 제2 핀치 입력을 수행한다. 일부 실시예들에서, 사용자의 두 손들 사이의 움직임은 (예를 들어, 사용자의 두 손들 사이의 거리 또는 상대적인 배향을 증가 및/또는 감소시키기 위한 것이다).
일부 실시예들에서, 에어 제스처로서 수행되는 (예를 들어, 사용자 인터페이스 요소로 지향되는) 탭 입력은 사용자 인터페이스 요소를 향한 사용자의 손가락(들)의 움직임, 선택적으로 사용자 인터페이스 요소를 향해 연장된 사용자의 손가락(들)과 함께 사용자 인터페이스 요소를 향한 사용자의 손의 움직임, 사용자의 손가락의 하향 모션(예를 들어, 터치스크린 상의 마우스 클릭 모션 또는 탭을 모방함), 또는 사용자의 손의 다른 미리 정의된 움직임을 포함한다. 일부 실시예들에서, 에어 제스처로서 수행되는 탭 입력은 사용자의 시점로부터 멀어지게 그리고/또는 탭 입력의 타겟인 객체를 향해 손가락 또는 손의 탭 제스처 움직임을 수행하는 손가락 또는 손과 후속되는 움직임의 종료의 움직임 특성들에 기초하여 검출된다. 일부 실시예들에서, 움직임의 종료는 탭 제스처를 수행하는 손가락 또는 손의 움직임 특징들의 변화(예를 들어, 사용자의 시점로부터 멀어지는 그리고/또는 탭 입력의 타겟인 객체를 향한 움직임의 종료, 손가락 또는 손의 움직임의 방향의 반전, 및/또는 손가락 또는 손의 움직임의 가속의 방향의 반전)에 기초하여 검출된다.
일부 실시예들에서, 사용자의 주의는 (선택적으로는 다른 조건들을 요구하지 않으면서) 3차원 환경의 일부로 지향되는 시선의 검출에 기초하여 3차원 환경의 일부로 지향되는 것으로 결정된다. 일부 실시예들에서, 사용자의 주의는, 시선이 적어도 임계 지속기간(예컨대, 체류(dwell) 지속기간) 동안 3차원 환경의 일부로 지향되는 것을 요구하는 것 및/또는 사용자의 주의가 3차원 환경의 일부로 지향된다고 디바이스가 결정하기 위해 사용자의 시점이 3차원 환경의 일부로부터 거리 임계치 내에 있는 동안 시선이 3차원 환경의 일부로 지향되는 것을 요구하는 것과 같은 하나 이상의 부가적인 조건들과 함께, 3차원 환경의 일부로 지향되는 시선의 검출에 기초하여 3차원 환경의 일부로 지향되는 것으로 결정되며, 여기서 부가적인 조건들 중 하나가 충족되지 않으면, 디바이스는 (예를 들어, 하나 이상의 부가적인 조건들이 충족될 때까지) 시선이 지향되는 3차원 환경의 일부로 주의가 지향되지 않는다고 결정한다.
일부 실시예들에서, 사용자 또는 사용자의 일부의 준비 상태 구성의 검출은 컴퓨터 시스템에 의해 검출된다. 손의 준비 상태 구성의 검출은 사용자가 손에 의해 수행된 하나 이상의 에어 제스처 입력들(예를 들어, 핀치, 탭, 핀치 및 드래그, 더블 핀치, 롱 핀치, 또는 본 명세서에 설명된 다른 에어 제스처)을 사용하여 컴퓨터 시스템과 상호작용하도록 준비할 가능성이 있다는 표시로서 컴퓨터 시스템에 의해 사용된다. 예를 들어, 손이 미리 결정된 손 형상(예를 들어, 엄지 및 하나 이상의 손가락들이 핀치 또는 파지(grab) 제스처를 만들 준비가 되게 펼쳐지고 간격을 두고 있는 사전-핀치 형상 또는 하나 이상의 손가락들이 펼쳐지고 손바닥이 사용자로부터 멀어지는 쪽을 향하는 사전-탭)을 갖는지 여부에 기초하여, 손이 사용자의 시점에 대해 미리 결정된 포지션(예를 들어, 사용자의 머리 아래 그리고 사용자의 허리 위, 및 적어도 15, 20, 25, 30, or 50 cm만큼 신체로부터 펼쳐짐)에 있는지 여부에 기초하여, 그리고/또는 손이 특정 방식으로 이동되는지(예를 들어, 사용자의 허리 위 그리고 사용자의 머리 아래로 사용자의 정면의 구역을 향해 이동되는지 또는 사용자의 신체 또는 다리로부터 멀어지게 이동되는지) 여부에 기초하여, 손의 준비 상태가 결정된다. 일부 실시예들에서, 준비 상태는 사용자 인터페이스의 인터랙티브(interactive) 요소들이 주의(예를 들어, 시선) 입력들에 응답하는지 여부를 결정하는 데 사용된다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 부가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적 회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예로서 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 연관된 전용 회로부에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 개개의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이러한 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 컴포넌트(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 손 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 너클들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 XR 콘텐츠에 대한 사용자의 시선의 포지션 및 이동을 추적하기 위해 눈 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예컨대, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 XR 콘텐츠를 생성하는 컴포넌트 및 XR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 XR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 XR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 일부이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 또는 그에 커플링될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 그러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60-120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 개개의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 개개의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선의 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 구역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 XR 경험의 물리적 환경들을 캡처하기 위한 외부 카메라들에게 지시할 수 있다. 이어서, 외부 카메라들의 자동 초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 포커스를 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 8개의 광원들(530)(예를 들어, LED들)이 예로서 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입시키지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실, 가상 현실, 증강 현실 및/또는 증강 가상 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실, 가상 현실 및/또는 혼합 현실 애플리케이션들에서 사용될 수 있다.
도 6a는 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트를 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적이면, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6a에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예이면, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오이면, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되면, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(610)로부터 진행하면, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하면, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서의 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없으면, 요소(660)에서 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다. 650에서, 결과들이 신뢰되면, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아니라면) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6a는 특정 구현예에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 XR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
일부 실시예들에서, 실제 세계 환경(602)의 캡처된 부분들은 XR 경험, 예를 들어 하나 이상의 가상 객체들이 실제 세계 환경(602)의 표현들 위에 중첩되는 혼합 현실 환경을 사용자에게 제공하는 데 사용된다.
도 6b는 일부 실시예들에 따른 XR 경험들을 제공하는 전자 디바이스(101)의 예시적인 환경을 예시한다. 도 6b에서, 실제 세계 환경(602)은 전자 디바이스(101), 사용자(608), 및 실제 세계 객체(예를 들어, 테이블(604))을 포함한다. 도 6b에 도시된 바와 같이, 전자 디바이스(101)는 선택적으로, 사용자(608)의 하나 이상의 손들이 자유롭게 되도록(예를 들어, 사용자(608)가 선택적으로 하나 이상의 손들로 디바이스(101)를 유지하고 있지 않도록) 삼각대 상에 장착되거나 실제 세계 환경(602)에 달리 고정된다. 위에서 설명된 바와 같이, 디바이스(101)는 선택적으로, 디바이스(101)의 상이한 측들 상에 위치설정된 센서들의 하나 이상의 그룹들을 갖는다. 예를 들어, 디바이스(101)는 선택적으로, 디바이스(101)의 "후방" 및 "전방" 측들 상에 각각 위치된 센서 그룹(612-1) 및 센서 그룹(612-2)(예를 들어, 이들은 디바이스(101)의 개개의 측들로부터 정보를 캡처할 수 있음)을 포함한다. 본 명세서에서 사용되는 바와 같이, 디바이스(101)의 전방 측은 사용자(608)를 향하는 측이고, 디바이스(101)의 후방 측은 사용자(608)로부터 멀어지는 쪽을 향하는 측이다.
일부 실시예들에서, 센서 그룹(612-2)은 사용자의 눈들 및/또는 시선을 추적하기 위한 하나 이상의 센서들을 포함하는 눈 추적 유닛(예를 들어, 도 2를 참조하여 위에서 설명된 눈 추적 유닛(245))을 포함하여, 눈 추적 유닛은 이전에 설명된 방식들로 사용자(608)를 "보고" 사용자(608)의 눈(들)을 추적할 수 있다. 일부 실시예들에서, 디바이스(101)의 눈 추적 유닛은 사용자(608)의 눈들의 이동들, 배향, 및/또는 시선을 캡처하고, 이동들, 배향, 및/또는 시선을 입력들로서 처리할 수 있다.
일부 실시예들에서, 센서 그룹(612-1)은 도 6b에 도시된 바와 같이, 디바이스(101)의 "후방" 측 상에 유지되는 사용자(608)의 하나 이상의 손들을 추적할 수 있는 손 추적 유닛(예를 들어, 도 2를 참조하여 위에서 설명된 손 추적 유닛(243))을 포함한다. 일부 실시예들에서, 손 추적 유닛은 선택적으로 센서 그룹(612-2)에 포함되어, 디바이스(101)가 하나 이상의 손들의 포지션을 추적하는 동안, 사용자(608)는 디바이스(101)의 "전방" 측 상에 하나 이상의 손들을 부가적으로 또는 대안적으로 유지할 수 있다. 위에서 설명된 바와 같이, 디바이스(101)의 손 추적 유닛은 사용자(608)의 하나 이상의 손들의 이동들, 포지션들, 및/또는 제스처들을 캡처하고, 이동들, 포지션들, 및/또는 제스처들을 입력들로서 처리할 수 있다.
일부 실시예들에서, 센서 그룹(612-1)은 선택적으로, 테이블(604)을 포함하는 실제 세계 환경(602)의 이미지들을 캡처하도록 구성된 하나 이상의 센서들(예를 들어, 예컨대 도 4를 참조하여 위에서 설명된 이미지 센서들(404))을 포함한다. 위에서 설명된 바와 같이, 디바이스(101)는 실제 세계 환경(602)의 부분들(예를 들어, 일부 또는 전부)의 이미지들을 캡처하고, 디바이스(101)의 하나 이상의 디스플레이 생성 컴포넌트들(예를 들어, 실제 세계 환경(602)의 캡처된 부분들을 향하는 디바이스(101)의 측의 반대편에, 사용자를 향하는 디바이스(101)의 측 상에 선택적으로 위치된 디바이스(101)의 디스플레이)을 통해 실제 세계 환경(602)의 캡처된 부분들을 사용자에게 제시할 수 있다.
일부 실시예들에서, 실제 세계 환경(602)의 캡처된 부분들은 XR 경험, 예를 들어 하나 이상의 가상 객체들이 실제 세계 환경(602)의 표현들 위에 중첩되는 혼합 현실 환경을 사용자에게 제공하는 데 사용된다.
따라서, 본 명세서의 설명은 현실 세계 객체들의 표현들 및 가상 객체들의 표현들을 포함하는 3차원 환경들(예를 들어, XR 환경들)의 일부 실시예들을 설명한다. 예를 들어, 3차원 환경은 선택적으로, (예를 들어, 컴퓨터 시스템의 카메라들 및 디스플레이들을 통해 능동적으로, 또는 컴퓨터 시스템의 투명 또는 반투명 디스플레이를 통해 수동적으로) 3차원 환경에서 캡처되고 디스플레이되는 물리적 환경에 존재하는 테이블의 표현을 포함한다. 이전에 설명된 바와 같이, 3차원 환경은 선택적으로, 3차원 환경이 컴퓨터 시스템의 하나 이상의 센서들에 의해 캡처되고 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경에 기초하는 혼합 현실 시스템이다. 혼합 현실 시스템으로서, 컴퓨터 시스템은 선택적으로, 물리적 환경의 개개의 부분들 및/또는 객체들이 컴퓨터 시스템에 의해 디스플레이되는 3차원 환경에 존재하는 것처럼 그들이 보이도록 물리적 환경의 부분들 및/또는 객체들을 선택적으로 디스플레이할 수 있다. 유사하게, 컴퓨터 시스템은 선택적으로, 현실 세계에서 대응하는 위치들을 갖는 3차원 환경 내의 개개의 위치들에 가상 객체들을 배치함으로써 가상 객체들이 현실 세계(예를 들어, 물리적 환경)에 존재하는 것처럼 보이도록 3차원 환경에서 가상 객체들을 디스플레이할 수 있다. 예를 들어, 컴퓨터 시스템은 선택적으로, 실제 꽃병(vase)이 물리적 환경 내의 테이블의 상단 상에 배치되는 것처럼 꽃병이 보이도록 꽃병을 디스플레이한다. 일부 실시예들에서, 3차원 환경 내의 개개의 위치는 물리적 환경 내의 대응하는 위치를 갖는다. 따라서, 컴퓨터 시스템이 (예를 들어, 사용자의 손의 또는 그 근처의, 또는 물리적 테이블에 또는 그 근처의 위치과 같은) 물리적 객체에 대한 개개의 위치에 가상 객체를 디스플레이하는 것으로 설명될 때, 컴퓨터 시스템은, 가상 객체가 물리적 세계 내의 물리적 객체에 또는 그 근처에 있는 것처럼 가상 객체가 보이도록 3차원 환경 내의 특정 위치에 가상 객체를 디스플레이한다(예를 들어, 가상 객체는 가상 객체가 그 특정 위치에서 실제 객체였다면 가상 객체가 디스플레이될 물리적 환경 내의 위치에 대응하는 3차원 환경 내의 위치에서 디스플레이됨).
일부 실시예들에서, 3차원 환경에서 디스플레이되는(예를 들어, 그리고/또는 디스플레이 생성 컴포넌트를 통해 보이는) 물리적 환경에 존재하는 현실 세계 객체들은 3차원 환경에서만 존재하는 가상 객체들과 상호작용할 수 있다. 예를 들어, 3차원 환경은 테이블 및 테이블의 상단 상에 배치된 꽃병을 포함할 수 있으며, 이때 테이블은 물리적 환경 내의 물리적 테이블의 뷰(또는 그의 표현)이고, 꽃병은 가상 객체이다.
유사하게, 사용자는 선택적으로 가상 객체들이 물리적 환경 내의 실제 객체들인 것처럼 하나 이상의 손들을 사용하여 3차원 환경 내의 가상 객체들과 상호작용할 수 있다. 예를 들어, 위에서 설명된 바와 같이, 컴퓨터 시스템의 하나 이상의 센서들은 선택적으로, 사용자의 손들 중 하나 이상을 캡처하고, (예를 들어, 위에서 설명된 3차원 환경에서 현실 세계 객체를 디스플레이하는 것과 유사한 방식으로) 3차원 환경에서 사용자의 손들의 표현들을 디스플레이하거나, 또는 일부 실시예들에서, 사용자 인터페이스를 디스플레이하고 있는 디스플레이 생성 컴포넌트의 일부의 투명/반투명으로 인해 또는 투명/반투명 표면 상으로의 사용자 인터페이스의 투영 또는 사용자의 눈 상으로의 또는 사용자의 눈의 시야 내로의 사용자 인터페이스의 투영으로 인해, 사용자의 손들은 사용자 인터페이스를 통해 물리적 환경을 보기 위한 능력을 통하여 디스플레이 생성 컴포넌트를 통해 보인다. 따라서, 일부 실시예들에서, 사용자의 손들은 3차원 환경 내의 개개의 위치에서 디스플레이되며, 이들이 물리적 환경 내의 물리적 객체들인 것처럼 이들이 3차원 환경 내의 가상 객체들과 상호작용할 수 있는 3차원 환경 내의 객체들인 것처럼 처리된다. 일부 실시예들에서, 컴퓨터 시스템은 물리적 환경에서의 사용자의 손들의 이동과 함께 3차원 환경에서의 사용자의 손들의 표현들의 디스플레이를 업데이트할 수 있다.
아래에서 설명되는 실시예들 중 일부에서, 컴퓨터 시스템은 선택적으로, 예를 들어 물리적 객체가 가상 객체와 직접 상호작용하고 있는지 여부(예를 들어, 손이 가상 객체를 또는 가상 객체의 임계 거리 내에 터치하고 있는지, 붙잡고 있는지, 유지하고 있는지 등)를 결정하려는 목적을 위해 물리적 세계 내의 물리적 객체들과 3차원 환경 내의 가상 객체들 사이의 "유효" 거리를 결정할 수 있다. 예를 들어, 가상 객체와 직접 상호작용하는 손은 선택적으로, 가상 버튼을 누르는 손의 손가락, 가상 꽃병을 파지하는 사용자의 손, 함께 모아지고, 애플리케이션의 사용자 인터페이스를 핀칭/유지하는 사용자의 손의 2개의 손가락들, 및 여기에 설명된 다른 유형들의 상호작용들 중 임의의 상호작용을 포함한다. 예를 들어, 컴퓨터 시스템은 선택적으로, 사용자가 가상 객체들과 상호작용하고 있는지 여부 및/또는 사용자가 가상 객체들과 어떻게 상호작용하고 있는지를 결정할 때 사용자의 손들과 가상 객체들 사이의 거리를 결정한다. 일부 실시예들에서, 컴퓨터 시스템은 3차원 환경 내의 손들의 위치와 3차원 환경 내의 관심있는 가상 객체의 위치 사이의 거리를 결정함으로써 사용자의 손들과 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들은 물리적 세계 내의 특정 포지션에 위치되며, 컴퓨터 시스템은 선택적으로, 3차원 환경 내의 특정 대응하는 포지션(예를 들어, 손들이 물리적보다는 가상 손들이었다면 손들이 디스플레이될 3차원 환경 내의 포지션)에서 이를 캡처하고 디스플레이한다. 3차원 환경 내의 손들의 포지션은 선택적으로, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정하기 위해 3차원 환경 내의 관심있는 가상 객체의 포지션과 비교된다. 일부 실시예들에서, 컴퓨터 시스템은 선택적으로, (예를 들어, 3차원 환경 내의 포지션들을 비교하는 것과는 반대로) 물리적 세계 내의 포지션들을 비교함으로써 물리적 객체와 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정할 때, 컴퓨터 시스템은 선택적으로, 가상 객체의 물리적 세계 내의 대응하는 위치(예를 들어, 그것이 가상 객체보다는 물리적 객체였다면, 가상 객체가 물리적 세계에 위치될 포지션)를 결정하고, 이어서, 대응하는 물리적 포지션과 사용자의 하나 이상의 손들 사이의 거리를 결정한다. 일부 실시예들에서, 임의의 물리적 객체와 임의의 가상 객체 사이의 거리를 결정하기 위해 동일한 기법들이 선택적으로 사용된다. 따라서, 본 명세서에 설명된 바와 같이, 물리적 객체가 가상 객체와 접촉하는지 여부 또는 물리적 객체가 가상 객체의 임계 거리 내에 있는지 여부를 결정할 때, 컴퓨터 시스템은 선택적으로, 물리적 객체의 위치를 3차원 환경에 맵핑하고 그리고/또는 가상 객체의 위치를 물리적 환경에 맵핑하기 위해 위에서 설명된 기법들 중 임의의 기법을 수행한다.
일부 실시예들에서, 사용자의 시선이 어디에 그리고 무엇에 지향되는지 및/또는 사용자에 의해 유지되는 물리적 스타일러스가 어디에 그리고 무엇에 포인팅되는지를 결정하기 위해 동일하거나 유사한 기법이 사용된다. 예를 들어, 사용자의 시선이 물리적 환경 내의 특정 포지션으로 지향되면, 컴퓨터 시스템은 선택적으로, 3차원 환경 내의 대응하는 포지션(예를 들어, 시선의 가상 포지션)을 결정하고, 가상 객체가 그 대응하는 가상 포지션에 위치되면, 컴퓨터 시스템은 선택적으로, 사용자의 시선이 그 가상 객체로 지향된다고 결정한다. 유사하게, 컴퓨터 시스템은 선택적으로, 물리적 스타일러스의 배향에 기초하여, 물리적 환경에서 스타일러스가 어디를 포인팅하고 있는지를 결정할 수 있다. 일부 실시예들에서, 이러한 결정에 기초하여, 컴퓨터 시스템은 스타일러스가 포인팅하고 있는 물리적 환경 내의 위치에 대응하는 3차원 환경 내의 대응하는 가상 포지션을 결정하고, 선택적으로, 스타일러스가 3차원 환경 내의 대응하는 가상 포지션을 포인팅하고 있다고 결정한다.
유사하게, 본 명세서에 설명된 실시예들은 사용자(예를 들어, 컴퓨터 시스템의 사용자)의 위치 및/또는 3차원 환경 내의 컴퓨터 시스템의 위치를 지칭할 수 있다. 일부 실시예들에서, 컴퓨터 시스템의 사용자는 컴퓨터 시스템을 유지, 착용, 또는 컴퓨터 시스템에 또는 그 부근에 달리 위치된다. 따라서, 일부 실시예들에서, 컴퓨터 시스템의 위치는 사용자의 위치에 대한 프록시로서 사용된다. 일부 실시예들에서, 물리적 환경 내의 컴퓨터 시스템 및/또는 사용자의 위치는 3차원 환경 내의 개개의 위치에 대응한다. 예를 들어, 컴퓨터 시스템의 위치는 물리적 환경 내의 위치(및 3차원 환경 내의 그의 대응하는 위치)일 것이며, 그 위치로부터, 사용자가 디스플레이 생성 컴포넌트를 통해 보는 물리적 환경의 개개의 부분을 향하는 그 위치에 서 있었다면, 사용자는 물리적 환경 환경 내의 객체들이 (예를 들어, 절대적 관점들에서 그리고/또는 서로에 대해) 3차원 환경에서 컴퓨터 시스템의 디스플레이 생성 컴포넌트에 의해 디스플레이되거나 이를 통해 보는 것과 동일한 포지션들, 배향들, 및/또는 크기들로 물리적 환경에서 그 객체들을 볼 것이다. 유사하게, 3차원 환경에서 디스플레이된 가상 객체들이 물리적 환경 내의 물리적 객체들(예를 들어, 그들이 3차원 환경에 있는 것과 동일한, 물리적 환경 내의 위치들에 배치되고, 3차원 환경에서와 동일한 크기들 및 배향들을 3차원 환경에서 가짐)이었다면, 컴퓨터 시스템 및/또는 사용자의 위치는, 물리적 환경 환경 내의 가상 객체들이 (예를 들어, 절대적 관점들에서 그리고/또는 서로 및 현실 세계 객체들에 대해) 3차원 환경에서 컴퓨터 시스템의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 포지션들, 배향들, 및/또는 크기들로 사용자가 물리적 환경에서 그 가상 객체들을 볼 포지션이다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들에 관해 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공될 때, 각각의 예는 다른 예에 관해 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 이용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들에 관해 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공될 때, 각각의 예는 다른 예에 관해 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 이용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들에 관해 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공될 때, 각각의 예는 다른 예에 관해 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 이용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 내지 도 7i는 일부 실시예들에 따른, 전자 디바이스가 지정된 개개의 물리적 위치를 갖는 내비게이션 사용자 인터페이스 요소 및 개개의 물리적 위치에 대응하는 콘텐츠를 포함하는 콘텐츠 요소를 어떻게 동시에 제시하는지의 예들을 예시한다.
도 7a는 디스플레이 생성 컴포넌트(120)를 통해 3차원 환경을 디스플레이하는 전자 디바이스(101)를 예시한다. 일부 실시예들에서, 전자 디바이스(101)는 본 개시내용의 범주를 벗어나지 않으면서 2차원 환경 또는 사용자 인터페이스에서 도 7a 내지 도 7i를 참조하여 설명되는 하나 이상의 기법들을 이용한다는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는 선택적으로, 디스플레이 생성 컴포넌트(120)(예를 들어, 터치 스크린) 및 복수의 이미지 센서들(314)을 포함한다. 이미지 센서들은 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 설명된 사용자 인터페이스들은 또한, 사용자 인터페이스를 사용자에게 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 물리적 환경 및/또는 이동들(예를 들어, 사용자로부터 바깥쪽으로 향하는 외부 센서들), 및/또는 사용자의 시선(예를 들어, 사용자의 얼굴을 향해 안쪽으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에서 구현될 수 있다.
도 7a에서, 전자 디바이스(101)는 내비게이션 사용자 인터페이스 요소(704a) 및 콘텐츠 사용자 인터페이스 요소(706)를 포함하는 3차원 환경을 제시한다. 3차원 환경은 전자 디바이스(101)의 물리적 환경 내의 실제 객체들의 표현들, 예컨대 실제 테이블의 표현(702), 바닥(722)의 표현(722'), 및 벽(724) 표현(724')을 더 포함한다. 전자 디바이스(101)의 물리적 환경은 출입구(726)를 더 포함한다.
위에서 언급된 바와 같이, 전자 디바이스(101)에 의해 제시되는 3차원 환경은 콘텐츠 사용자 인터페이스 요소(706)와 3차원 환경 내의 사용자의 시점 사이에 디스플레이되는 내비게이션 사용자 인터페이스 요소(704a)를 포함한다. 일부 실시예들에서, 사용자의 시점은 3차원 환경이 전자 디바이스(101)에 의해 제시되는 3차원 환경 내의 위치에 대응한다. 내비게이션 사용자 인터페이스 요소(704a)는 물리적 객체들(예를 들어, 건물들)의 표현들(710a 내지 710c) 및 내비게이션 사용자 인터페이스 요소(704a)에 의해 표현되는 물리적 구역에 위치된 도로의 표현(714)을 포함한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704a)는 인프라구조, 랜드마크들, 지형들, 초목들 등과 같은 다른 물리적 객체들의 표현들을 더 포함한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704a)는 맵에 의해 표현되는 물리적 구역의 (적어도 부분적으로) 3차원 맵이다.
내비게이션 사용자 인터페이스 요소(704a)는 날씨의 표시(712)(예를 들어, 구름)를 더 포함한다. 날씨의 표시(712)는 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(712)의 위치에 대응하는 물리적 위치에서 현재 경험되고 있는 날씨 조건을 예시한다. 예를 들어, 표시(712)에 의해 표현되는 물리적 구름이 이동되면, 전자 디바이스(101)는 물리적 구름의 이동에 따라 표시(712)의 포지션을 업데이트한다. 다른 예로서, 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(712)의 위치에 대응하는 물리적 위치에서의 날씨가 비가 오는 것으로 되면, 전자 디바이스(101)는 비의 표현들을 포함하도록 표시(712)(또는 더 일반적으로는 내비게이션 사용자 인터페이스 요소(704a))를 업데이트한다. 도 7a에 도시된 바와 같이, 내비게이션 사용자 인터페이스 요소(704a)는 (예를 들어, 내비게이션 사용자 인터페이스 요소(704a)의 에지들에서 그리고/또는 내부 구역에서 그러한 토포그래피(예를 들어, 고도 변화들 등)의 단면을 디스플레이함으로써) 내비게이션 사용자 인터페이스 요소(704a)에 의해 표현되는 물리적 구역의 토포그래피를 예시한다.
내비게이션 사용자 인터페이스 요소(704a)는 콘텐츠 사용자 인터페이스 요소(706)에서 제시된 콘텐츠(708a)에 대응하는 개개의 위치의 표시(716), 및 콘텐츠(708a)에 대응하는 시야를 표시하는 시야 표시자(718a)를 더 포함한다. 예를 들어, 콘텐츠(708a)는 시야 표시자(718a)에 대응하는 경계들을 갖는 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(716)의 위치에 대응하는 물리적 위치로부터 캡처된 이미지(또는 비디오)이다. 도 7a에 도시된 바와 같이, 전자 디바이스(101)는 내비게이션 사용자 인터페이스 요소가 전자 디바이스(101)의 물리적 환경에서 실제 테이블의 표현(702)의 표면 상에 놓여 있는 것으로 보이도록 내비게이션 사용자 인터페이스 요소(704a)를 제시한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704a)가 전자 디바이스(101)의 물리적 환경 내의 표면의 표현 상에 놓여 있는 것으로 보이도록 내비게이션 사용자 인터페이스 요소(704a)를 디스플레이하기보다는, 전자 디바이스(101)는, 3차원 환경 내의 실제(예를 들어, 수평) 표면들의 표현들 중 임의의 표현으로부터 멀리 떨어진(예를 들어, 3차원 환경 내의 표면에 연결되지 않고, 3차원 환경 내의 공간에 떠 있는) 콘텐츠 사용자 인터페이스 요소(706)와 사용자의 시점 사이의 3차원 환경 내의 위치에서 내비게이션 사용자 인터페이스 요소(704a)를 디스플레이한다.
도 7a에 도시된 바와 같이, 전자 디바이스(101)는, 선택될 때, 전자 디바이스(101)로 하여금, 위치(그로부터(또는 그의) 콘텐츠가 취해졌음)를 병진이동시키고 그리고/또는 회전시킴으로써 콘텐츠 사용자 인터페이스 요소(706) 내의 콘텐츠의 시야를 조정하게 하는 선택가능 옵션들(720a, 720b)을 제시한다. 일부 실시예들에서, 옵션(720a 또는 720b)으로 지향되는 입력에 응답하여, 전자 디바이스(101)는 도 7c 및 도 7d를 참조하여 아래에서 더 상세히 설명되는 바와 같이, 콘텐츠 사용자 인터페이스 요소(706) 내의 콘텐츠를 업데이트하고, 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(716) 및 시야 표시자(718a)의 포지션 및/또는 배향을 업데이트한다.
일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704a)는 전자 디바이스(101)와 통신하는 하나 이상의 다른 전자 디바이스들의 물리적 위치(들)의 하나 이상의 표시들을 더 포함한다. 예를 들어, 내비게이션 사용자 인터페이스 요소(704a)는 전자 디바이스(101)의 사용자 이외의 사용자(예를 들어, 전자 디바이스의 사용자의 주소록 내의 연락처)와 연관된 제2 전자 디바이스의 표시를 포함한다. 일부 실시예들에서, 제2 전자 디바이스의 표시의 선택을 검출하는 것에 응답하여, 전자 디바이스(101)는 콘텐츠 사용자 인터페이스 요소(706)에서, 제2 전자 디바이스에 의해 캡처된 이미지를 제시한다. 예를 들어, 이미지는 제2 전자 디바이스와 통신하는 카메라로부터의 라이브 비디오 피드이다.
일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704a)는 도 7a에 예시된 내비게이션 사용자 인터페이스 요소(704a)와 유사한 3차원 부분에 부가하여 2차원 부분을 포함한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704a)의 2차원 부분은 사용자의 시점의 관점으로부터 내비게이션 사용자 인터페이스 요소의 3차원 부분 뒤에 디스플레이된다. 예를 들어, 내비게이션 사용자 인터페이스 요소(704a)는 내비게이션 사용자 인터페이스 요소(704a)의 후방(예를 들어, 콘텐츠 사용자 인터페이스 요소(706)에 더 가까운 내비게이션 사용자 인터페이스 요소(704a)의 부분)에서 접히고 그리고/또는 상향으로 만곡되어, 내비게이션 사용자 인터페이스 요소(704a)의 2차원 부분은 콘텐츠 사용자 인터페이스 요소(706)가 도 7a에서 디스플레이되는 3차원 환경 내의 위치에서 디스플레이되게 한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704a)의 3차원 부분에 의해 표현된 물리적 위치들 및 내비게이션 사용자 인터페이스 요소(704a)의 2차원 부분에 의해 표현된 물리적 위치들은 실제 세계에서 서로 인접한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704a)를 패닝(pan)하기 위한 사용자 입력에 응답하여, 전자 디바이스는 적절한 바와 같이, 사용자 입력에 따라 내비게이션 사용자 인터페이스 요소(704a)를 패닝하며, 이는 내비게이션 사용자 인터페이스 요소(704a)의 3차원 부분으로부터 내비게이션 사용자 인터페이스 요소(704a)의 2차원 부분으로 그리고 그 반대로 하나 이상의 표현들을 이동시키는 것을 포함한다.
이전에 설명된 바와 같이, 콘텐츠 사용자 인터페이스 요소(706)는 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(716)에 의해 표현된 물리적 위치에 대응하는 콘텐츠(708a)를 포함한다. 일부 실시예들에서, 콘텐츠(708a)는 표시(716)에 의해 표현된 위치에서 캡처되었던 이미지이거나, 또는 부가적으로/대안적으로, 표시(716)에 의해 표시된 위치의 이미지이다. 일부 실시예들에서, 콘텐츠 사용자 인터페이스 요소(706)의 에지들은 3차원 환경의 나머지에 대해 페더링(feather)된다. 일부 실시예들에서, 콘텐츠 사용자 인터페이스 요소의 경계는 콘텐츠 사용자 인터페이스 요소(706)를 둘러싸는 3차원 환경의 나머지와 블러링되거나 블렌딩된다.
도 7b에서, 전자 디바이스(101)는 도 7a에서 지정된 물리적 위치와 상이한 물리적 위치에 대응하는 콘텐츠를 제시하기 위해 콘텐츠 사용자 인터페이스 요소(706)를 업데이트하라는 요청에 대응하는 사용자 입력을 검출한다. 입력을 검출하는 것은 선택적으로, 동시에, 내비게이션 사용자 인터페이스 요소(704b)로 지향되는 사용자의 시선(701d)(예를 들어, 내비게이션 사용자 인터페이스 요소(704b) 내의 표시(716))을 검출하는 것 및 사용자의 손(728a)에 의해 수행되는 미리 결정된 제스처를 검출하는 것을 포함한다. 일부 실시예들에서, 미리 결정된 제스처는 사용자가 손(728a)의 엄지를 손의 다른 손가락으로 이동시키는 핀치 제스처이다. 일부 실시예들에서, 핀치 제스처를 검출하는 것은 전자 디바이스(101)로 하여금, 표시(716)를 "픽업(pick up)"하게 하여, 사용자가 그들의 엄지를 손(728a)의 다른 손가락에 계속 터치하는 동안 사용자가 손(728a)의 이동에 따라 표시(716)를 이동시킬 수 있게 한다. 일부 실시예들에서, 사용자가 손(728a)의 다른 손가락으로부터 그들의 엄지를 멀리 이동시키는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는, 사용자가 손가락으로부터 그들의 엄지를 멀리 이동시키는 것을 전자 디바이스(101)가 검출했을 때 표시(716)가 디스플레이되었던 위치에서 표시(716)를 "드롭"한다.
도 7b에 예시된 입력을 검출하는 동안, 전자 디바이스(101)는 (예를 들어, 도 7a에서) 입력을 검출하기 전에 콘텐츠 사용자 인터페이스 요소(706)가 디스플레이되었던 시각적 강조의 양에 비해 콘텐츠 사용자 인터페이스 요소(706)(예를 들어, 콘텐츠 사용자 인터페이스 요소(706) 내의 콘텐츠(708b)를 포함함)를 시각적으로 강조해제(de-emphasize)한다. 일부 실시예들에서, 콘텐츠 사용자 인터페이스 요소(706)를 시각적으로 강조해제하는 것은, 콘텐츠 사용자 인터페이스 요소(706)의 반투명도를 블러링하거나, 페이딩하거나, 어둡게 만들거나, 그리고/또는 증가시키는 것을 포함한다. 일부 실시예들에서, 전체 콘텐츠 사용자 인터페이스 요소(706)가 강조해제된다. 일부 실시예들에서, 콘텐츠 사용자 인터페이스 요소(706)의 에지들만이 강조해제되고, 콘텐츠 사용자 인터페이스 요소(706)의 중심의 콘텐츠 사용자 인터페이스 요소(706)의 일부는 시각적으로 강조해제되지 않는다. 일부 실시예들에서, 입력이 검출되고 있는 동안, 전자 디바이스(101)는 콘텐츠 사용자 인터페이스 요소(706)에서의 시각적 강조해제로 표시(716)의 중간 위치들에 대응하는 하나 이상의 이미지들을 디스플레이한다.
일부 실시예들에서, 도 7b에서의 입력이 검출되고 있는 동안, 전자 디바이스(101)는 내비게이션 사용자 인터페이스 요소(704b) 내의 물리적 객체들(예를 들어, 내비게이션 사용자 인터페이스 요소(704b)에 의해 표현된 구역 내의 건물들, 인프라구조, 초목들, 다른 물리적 객체들)의 표현들(예를 들어, 예컨대 표현(710c))의 외관을 수정한다. 내비게이션 사용자 인터페이스 요소(704b) 내의 물리적 객체들의 표현들의 외관을 수정하는 것은 선택적으로, 3차원 표현들을 페이딩시키는 것 및/또는 표현들의 높이를 감소시키거나 표현들을 평탄화하는 것 중 하나 이상을 포함한다. 일부 실시예들에서, 전자 디바이스(101)는 사용자의 손(728a)의 위치에서(사용자의 손(728a)의 임계 거리, 예컨대 1, 2, 5, 10, 20 인치 내에서) 하나 이상의 표현들의 디스플레이를 블러링하거나, 페이딩하거나, 평탄화하거나, 또는 중단한다. 예를 들어, 도 7b에서, 전자 디바이스(101)는 도 7a에 예시된 표현들(710a, 710b)의 디스플레이를 중단하는데, 그 이유는, 도 7b에서 손(728a)이 위치된 도 7a의 위치에서 이들 표현들(710a, 710b)이 디스플레이되었기 때문이다. 일부 실시예들에서, 전자 디바이스(101)는 사용자가 입력을 제공함에 따라 내비게이션 사용자 인터페이스 요소(704b)를 패닝하고, 내비게이션 사용자 인터페이스 요소(704b)의 경계에 의해 교차된 물리적 객체들의 하나 이상의 표현들(예를 들어, 내비게이션 사용자 인터페이스 요소(704b)의 경계 내에 "끼워맞춰"지지 않은 표현들)의 디스플레이를 중단한다.
도 7b에 예시된 입력에 응답하여, 전자 디바이스(101)는 도 7c에 도시된 바와 같이, 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(716)의 업데이트된 위치에 대응하는 콘텐츠 사용자 인터페이스 요소(706) 내의 콘텐츠를 포함하도록 3차원 환경을 업데이트한다. 도 7c에서, 표시(716) 및 시야 표시자(713c)의 위치는 도 7b에 예시된 입력에 따라 내비게이션 사용자 인터페이스 요소(704a)에서 업데이트되고, 콘텐츠 사용자 인터페이스 요소(706)는 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(716) 및 시야 표시자(718c)의 위치에 대응하는 콘텐츠(708c)를 포함하도록 업데이트된다. 3차원 환경 내의 콘텐츠 사용자 인터페이스 요소(706) 및 내비게이션 사용자 인터페이스 요소(704b)의 위치들은 도 7c에 도시된 바와 같이, 도 7b에서 입력을 검출하기 전에 그리고 도 7b에서 입력을 검출한 이후 도 7a에 도시된 바와 동일하게 유지된다.
도 7c에 도시된 바와 같이, 콘텐츠 사용자 인터페이스 요소(706)의 시각적 강조해제의 양은 입력이 검출되고 있었던 동안 도 7c의 콘텐츠 사용자 인터페이스 요소(706)의 강조해제의 양에 비해 감소된다. 일부 실시예들에서, 도 7b에서 입력을 수신한 이후의 강조해제(또는 그의 결여)의 양은 도 7c에 도시된 바와 같이, 도 7b에서 입력을 검출하기 전의 도 7a에서의 콘텐츠 사용자 인터페이스(706)의 강조해제의 양과 동일하다(예를 들어, 시각적 강조해제 없음). 일부 실시예들에서, 도 7b에서 입력을 수신하기 전 및 그 이후의 강조해제의 양들은 상이하다.
전자 디바이스(101)는 또한, 입력이 검출되고 있었던 동안 내비게이션 사용자 인터페이스 요소(704a) 내의 표현들이 도 7b에서 디스플레이되었던 강조해제의 양보다 도 7c에서의 덜 강조해제로 내비게이션 사용자 인터페이스 요소(704a) 내의 표현들을 디스플레이한다. 예를 들어, (예를 들어, 건물들 또는 다른 물리적 구조물들 또는 특징부들의) 표현들이 도 7b에서 평탄화되었거나, 블러링되었거나, 어둡게 만들어졌거나, 그리고/또는 페이딩되었다면, 도 7b에서의 입력이 더 이상 검출되고 있지 않은 이후, 표현들은 도 7c에서 더 높거나, 더 선명하거나, 그리고/또는 더 밝게 디스플레이된다. 일부 실시예들에서, 전자 디바이스(101)는 도 7b에서 입력을 수신한 이후 도 7c에서와 같이 도 7b에서 입력을 수신하기 전에 도 7a에서 동일한 정도의 시각적 선명도/두드러짐으로 내비게이션 사용자 인터페이스 요소(704a)를 디스플레이한다. 일부 실시예들에서, 도 7a 및 도 7c에서의 내비게이션 사용자 인터페이스 요소(704a)의 시각적 선명도/두드러짐의 정도들은 상이하다.
도 7c에서, 전자 디바이스(101)는 콘텐츠 사용자 인터페이스 요소(706) 내의 콘텐츠에 대응하는 위치를 업데이트하기 위해 선택가능 옵션(720b)으로 지향되는 입력을 검출한다. 입력을 검출하는 것은 선택적으로, 동시에, 선택가능 옵션(720b)으로 지향된 사용자의 시선(701a)을 검출하는 것 및 사용자가 그들의 손(728b)으로 핀치 제스처를 행하는 것(예를 들어, 엄지를 이동시켜, 손 상의 다른 손가락을 터치하고, 이어서 손가락으로부터 멀리 엄지를 이동시키는 것)을 검출하는 것을 포함한다. 도 7c에 예시된 입력에 응답하여, 전자 디바이스(101)는 도 7d에 도시된 바와 같이, 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(716) 및 시야 표시자(718c)의 위치를 업데이트하고, 표시(716) 및 시야 표시자(718c)의 업데이트된 포지션/배향에 대응하는 콘텐츠를 포함하도록 콘텐츠 사용자 인터페이스 요소(706)를 업데이트한다.
도 7d는 도 7c에서 검출된 입력에 응답한 업데이트된 3차원 환경을 예시한다. 전자 디바이스(101)는 도 7c에서 검출된 입력에 따라 내비게이션 사용자 인터페이스 요소(704a) 내의 업데이트된 포지션들에서 표시(716) 및 시야 표시자(718d)를 디스플레이한다. 콘텐츠 사용자 인터페이스 요소(706) 내의 콘텐츠를 우측으로 패닝하기 위한 옵션(720b)에 대한 도 7c의 입력이 검출되었기 때문에, 전자 디바이스(101)는 내비게이션 사용자 인터페이스 요소(704a) 내의 표시(716) 및 시야(718d)를 우측으로 이동시킨다. 전자 디바이스(101)는 또한, 표시(716) 및 시야 표시자(718d)의 업데이트된 포지션들에 대응하는 콘텐츠(708d)를 포함하도록 콘텐츠 사용자 인터페이스 요소(706)를 업데이트한다.
일부 실시예들에서, 전자 디바이스(101)는 도 7d에 도시된 바와 같이, 적어도 미리 결정된 시간 임계치(예를 들어, 0.5, 1, 2, 3, 5, 10 초 등) 동안 콘텐츠 사용자 인터페이스 요소(706)로 지향된 사용자의 시선(701b)을 검출하는 것에 응답하여 도 7e에 도시된 바와 같이 콘텐츠 사용자 인터페이스 요소(706)의 크기를 증가시킨다. 부가적으로 또는 대안적으로, 일부 실시예들에서, 전자 디바이스(101)는 도 7d에 도시된 바와 같이, 사용자(728c)에 의한 전자 디바이스(101)의 물리적 버튼(703a)의 조작에 응답하여 도 7e에 도시된 바와 같이 콘텐츠 사용자 인터페이스 요소(706)의 크기를 증가시킨다. 일부 실시예들에서, 전자 디바이스(101)의 물리적 버튼들(703a, 703b)은 3차원 환경의 가상 콘텐츠의 침지 레벨을 제어한다. 예를 들어, 비교적 높은 레벨들의 침지로 3차원 환경을 디스플레이하는 동안, 전자 디바이스는 3차원 환경 내의 가상 객체들(예를 들어, 콘텐츠 사용자 인터페이스 요소(706), 내비게이션 사용자 인터페이스 요소(704a), 다른 가상 객체들, 예컨대 콘텐츠, 애플리케이션 사용자 인터페이스 요소들 등)의 시각적 두드러짐(예를 들어, 크기, 밝기, 선명도, 불투명도 등)을 증가시키고, 3차원 환경 내의 실제 객체들(예를 들어, 벽(724)의 표현(724'), 바닥(722)의 표현(722'), 및 테이블의 표현(702))의 표현들의 시각적 두드러짐을 감소시킨다. 다른 예로서, 비교적 낮은 레벨들의 침지로 3차원 환경을 디스플레이하는 동안, 전자 디바이스는 3차원 환경 내의 가상 객체들(예를 들어, 콘텐츠 사용자 인터페이스 요소(706), 내비게이션 사용자 인터페이스 요소(704a), 다른 가상 객체들, 예컨대 콘텐츠, 애플리케이션 사용자 인터페이스 요소들 등)의 시각적 두드러짐(예를 들어, 크기, 밝기, 선명도, 불투명도 등)을 감소시키고, 3차원 환경 내의 실제 객체들(예를 들어, 벽(724)의 표현(724'), 바닥(722)의 표현(722'), 및 테이블의 표현(702))의 표현들의 시각적 두드러짐을 증가시킨다.
도 7e는 도 7d에 예시된 입력들 중 하나 이상에 응답하여 업데이트된 3차원 환경을 예시한다. 도 7e에 도시된 바와 같이, 도 7e의 콘텐츠 사용자 인터페이스 요소(706)의 크기는, 콘텐츠 사용자 인터페이스 요소(706)를 확장시키기 위한 입력(들)을 수신하기 전에 콘텐츠 사용자 인터페이스 요소(706)가 도 7d에서 디스플레이되었던 크기보다 크다. 도 7e에서 콘텐츠 사용자 인터페이스 요소(706)를 업데이트하는 것은 콘텐츠 사용자 인터페이스 요소(706)에서 디스플레이되는 표시자(716)의 위치에 대응하는 콘텐츠(708d)의 양을 증가시키는 것을 포함한다. 전자 디바이스(101)는 또한, 콘텐츠(708d)에 도시된 물리적 영역의 업데이트된 폭을 반영하도록 내비게이션 사용자 인터페이스 요소(704a) 내의 시야 표시자(718e)를 업데이트한다. 일부 실시예들에서, 디스플레이된 콘텐츠의 양을 증가시키기(예를 들어, 그리고 시야(718e)를 업데이트하기)보다는, 전자 디바이스(101)는 대신에, 도 7d의 입력(들)에 응답하여, 도 7d에 도시된 콘텐츠(708d)를 스케일링 업하고, 도 7d에서 동일한 시야(718d)를 유지한다.
일부 실시예들에서, 전자 디바이스(101)는 전자 디바이스(101) 및/또는 사용자의 머리의 이동에 따라 콘텐츠 사용자 인터페이스 요소(706)를 업데이트한다. 예를 들어, 전자 디바이스(101) 및/또는 사용자의 머리의 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는 콘텐츠 사용자 인터페이스 요소(706) 내의 콘텐츠(708d)가 디스플레이되는 관점을 시프트시킨다. 일부 실시예들에서, 전자 디바이스는 시차 효과로 콘텐츠(708d)를 시프트시킨다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스(101)의 이동에 따라 콘텐츠 사용자 인터페이스 요소(706)를 이동 및/또는 확장시킨다. 도 7e는 사용자(728d)가 전자 디바이스(101)를 좌측으로 이동시키는 것을 예시한다. 도 7f는 도 7e에 예시된 전자 디바이스(101)의 이동에 응답하여 전자 디바이스(101)가 콘텐츠 사용자 인터페이스 요소(706)를 업데이트하는 예시적인 방식을 예시한다.
도 7f에서, 전자 디바이스(101)는 도 7e에서의 전자 디바이스(101)의 이동에 따라 업데이트된 사용자의 시점으로부터의 3차원 환경을 디스플레이한다. 사용자(728d)가 도 7e에서 전자 디바이스(101)를 좌측으로 이동시켰기 때문에, 전자 디바이스(101)는 콘텐츠 사용자 인터페이스 요소(706) 내의 콘텐츠(708d)를 좌측으로 확장시키고, 콘텐츠(708d)의 (예를 들어, 더 큰) 시야에 따라 시야 표시자(718e)를 업데이트한다(예를 들어, 확장시킨다). 콘텐츠(708d)를 확장시키는 것은 도 7e의 콘텐츠 사용자 인터페이스 요소(706)에 도시된 실제 세계 객체들의 좌측에 실제 세계 객체들을 포함하는 콘텐츠를 제시하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스(101)는, 각각, 우측, 상향, 및/또는 하향으로의 전자 디바이스(101)(및/또는 사용자의 머리)의 이동을 검출하는 것에 응답하여 콘텐츠 사용자 인터페이스 요소(706)를 우측, 상향, 및/또는 하향으로 유사하게 확장시킨다. 일부 실시예들에서, 전자 디바이스(101)는 전자 디바이스(101)의 이동에 따라 콘텐츠 사용자 인터페이스 요소(706)의 폭을 확장시킨다. 예를 들어, 좌측으로의 전자 디바이스(101)의 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는 3차원 환경에서 콘텐츠 사용자 인터페이스 요소(706) - 및 그에 따라, 콘텐츠 사용자 인터페이스 요소(706) 내에 디스플레이된 콘텐츠(708d) - 를 좌측으로 확장시킨다.
도 7f에 도시된 바와 같이, 전자 디바이스(101)는 전자 디바이스(101)의 디스플레이 생성 컴포넌트(120)의 시야 내에 더 이상 있지 않는 테이블의 표현(702)의 일부 상에 제시되었던 내비게이션 사용자 인터페이스 요소(704a)의 일부의 디스플레이를 중단한다. 일부 실시예들에서, 전자 디바이스(101)는 전자 디바이스(101) 및/또는 사용자의 머리의 이동에 응답하여 콘텐츠 사용자 인터페이스 요소(706)를 확장시키는 것에 응답하여 내비게이션 사용자 인터페이스 요소(704a)의 포지션을 업데이트하지 않는다. 일부 실시예들에서, 전자 디바이스(101) 및/또는 사용자의 머리의 이동이 검출되는 동안/그 이후 전체 내비게이션 사용자 인터페이스 요소(704a)가 여전히 디스플레이 생성 컴포넌트(120)의 시야 내에 있으면, 전자 디바이스(101)는 전체 내비게이션 사용자 인터페이스 요소(704a)의 디스플레이를 계속한다. 예를 들어, 테이블의 전체 표현(702)이 도 7f의 전자 디바이스(101)의 디스플레이 생성 컴포넌트(120)의 시야에 여전히 있었다면, 전자 디바이스(101)는 전자 디바이스(101) 및/또는 사용자의 머리의 이동을 검출하기 전에 내비게이션 사용자 인터페이스 요소(704a)가 디스플레이되었던 3차원 환경 내의 동일한 위치에서 전체 내비게이션 사용자 인터페이스 요소(704a)를 계속 제시할 것이다. 일부 실시예들에서, 전자 디바이스(101) 및/또는 사용자의 머리를 이동시키는 것은 3차원 환경에서 사용자의 시점의 포지션을 업데이트하므로, 3차원 환경 내의 일정한 위치에서 내비게이션 사용자 인터페이스 요소(704a)를 디스플레이하는 것은 일부 상황들에서 맵 내비게이션 사용자 인터페이스 요소(704a)를 제시하는 디스플레이 생성 컴포넌트(120)의 일부를 변경하는 것을 포함한다.
일부 실시예들에서, 사용자가 (예를 들어, 디바이스(101)의 이동 동안) 3차원 환경 내의 실제 객체의 표현을 보고 있다는 결정에 따라, 전자 디바이스(101)는 콘텐츠 사용자 인터페이스 요소(706)를 확장시키는 것을 중지하여, 그것이 사용자가 보고 있는 실제 객체의 표현을 가리는 것을 방지한다. 도 7f에서, 전자 디바이스(101)는 전자 디바이스(101)의 물리적 환경에서 출입구의 표현(726')으로 지향되는 사용자의 시선(701c)을 검출하고, 이에 응답하여, 콘텐츠 사용자 인터페이스 요소(706)를 출입구의 경계까지로만 확장시키고, 출입구의 표현(726')을 가리도록 콘텐츠 사용자 인터페이스 요소(706)를 확장시키지 않는다. 일부 실시예들에서, 전자 디바이스(101)가 (예를 들어, 디바이스(101)의 이동 동안) 출입구의 표현(726')으로 지향되는 사용자의 시선(701c)을 검출하지 않으면, 전자 디바이스(101)는 출입구의 표현(726')(그의 적어도 일부)을 가리기 위해 콘텐츠 사용자 인터페이스 요소(706)를 확장했을 것이다.
일부 실시예들에서, 전자 디바이스(101)는 사용자에 의해 제공되는 검색 질의에 대응하는 물리적 위치에 대한 검색을 용이하게 한다. 예를 들어, 사용자는 특정 위치들(예를 들어, 주소들, 건물들의 명칭들, 사업체들, 랜드마크들, 및 다른 위치들) 또는 위치들의 유형들(예를 들어, 사업들의 유형들(예를 들어, 커피숍, 주유소, 식료품 상점), 랜드마크들, 및 다른 위치들)을 검색할 수 있다. 도 7g는 전자 디바이스(101)가 3차원 환경에서 검색 결과들을 제시하는 것을 예시한다.
도 7g에서, 전자 디바이스(101)는 사용자가 검색 질의 "시청"을 입력한 텍스트 입력 필드(730)(또는 더 일반적으로는 검색 필드)를 제시한다. 전자 디바이스(101)는 또한, 검색 결과의 이름 및 전자 디바이스의 현재 위치로부터의 검색 결과의 위치의 거리의 표시(732a) 및 검색 결과의 이미지(732b)를 제시한다. 부가적으로, 전자 디바이스(101)는 검색 결과에 대응하는 물리적 객체의 (예를 들어, 3차원) 렌더링(708e)(예를 들어, 검색되었던 시청 건물의 3차원 표현)을 제시한다. 일부 실시예들에서, 검색 결과에 대응하는 물리적 객체의 렌더링(708e)은 검색 결과에 대응하는 물리적 객체의 이미지(732b)의 전방에 그리고/또는 이미지(732b)가 사용자의 시점에 대해 이루어진 것보다 사용자의 시점에 더 가까운 3차원 환경 내의 포지션에서 제시된다. 도 7g에 도시된 바와 같이, 전자 디바이스(101)는 사용자의 시점과 렌더링(732b) 사이에 내비게이션 사용자 인터페이스 요소(704b)를 제시한다. 전자 디바이스(101)는 사용자의 시점과 검색 결과에 대응하는 물리적 객체의 이미지(732b) 사이에 내비게이션 사용자 인터페이스 요소를 제시한다.
도 7g에서, 검색 질의(예를 들어, "시청")를 검출하는 것에 응답하여, 전자 디바이스(101)는 검색 결과(들)를 표시하도록 내비게이션 사용자 인터페이스 요소(704b)를 업데이트한다. 도 7g에서, 전자 디바이스(101)는, 검색 질의와 매칭되는 객체(예를 들어, 건물)의 표현(710d)의 시각적 두드러짐을 유지하고 그리고/또는 다른 객체들의 표현들(예를 들어, 표현(710e)을 포함함)의 컬러와 상이한 컬러로 표현(710d)을 디스플레이하면서, 감소된 시각적 두드러짐(예를 들어, 내비게이션 사용자 인터페이스 요소(704b)에서 물리적 객체들의 3차원 표현들을 적어도 부분적으로 평탄화함)으로, 검색 질의와 매칭되지 않는 물리적 위치들/객체들/특징부들의 표현들(예를 들어, 표현(710e))을 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는 검색 질의와 매칭되는 객체의 표현(710d)의 컬러를 업데이트하거나, 또는 검색 질의와 매칭되지 않는 표현들(예를 들어, 표현(710e)을 포함하는)의 시각적 두드러짐을 감소시키지만, 둘 모두를 행하지는 않는다. 일부 실시예들에서, 하나 초과의 위치가 검색 질의와 매칭되면, 전자 디바이스(101)는, 검색 질의와 매칭되지 않는 위치들의 표현들의 시각적 구별과 상이한 시각적 구별(예를 들어, 컬러, 시각적 두드러짐)로, 검색 질의와 매칭되는 위치들의 복수의 표현들을 디스플레이한다. 일부 실시예들에서, 검색 질의에 대응하는 물리적 객체의 표현(710d)은 물리적 객체의 3차원 표현이다. 예를 들어, 표현(710d)은 렌더링(708e)의 시야각과 상이한 시야각으로부터 제시된 물리적 객체의 3차원 렌더링이다. 일부 실시예들에서, 전자 디바이스(101)는 동일한 시야각으로부터 내비게이션 사용자 인터페이스 요소(704b) 내의 물리적 객체의 표현(710d) 및 렌더링(708e)을 제시한다.
일부 실시예들에서, 전자 디바이스(101)는 3차원 환경에서, 하나의 물리적 위치로부터 다른 물리적 위치로의 내비게이션 방향들을 제시한다. 일부 실시예들에서, 내비게이션 방향들을 제시하라는 요청에 응답하여, 전자 디바이스(101)는, 선택될 때, 전자 디바이스(101)로 하여금 내비게이션 방향들을 내비게이팅하는 애니메이션을 제시하게 하는 선택가능 옵션을 제시한다. 도 7h는 전자 디바이스(101)가 (예를 들어, 선택가능 옵션의 선택에 응답하여) 내비게이션 방향들을 내비게이팅하는 애니메이션을 제시하는 것을 예시한다.
도 7h에서, 전자 디바이스(101)는, 시작 포인트 및 종료 포인트, 루트 거리, 및/또는 경로 지속기간을 포함하는 내비게이션 방향들의 표시(734), 내비게이션 사용자 인터페이스 요소(704c), 및 내비게이션 루트에 대응하는 하나 이상의 이미지들(708f)(예를 들어, 하나 이상의 정지 이미지들, 비디오, 애니메이션)을 제시한다. 내비게이션 사용자 인터페이스 요소(704c)는 내비게이션 루트의 표시(740), 루트의 종료포인트(738)의 표시, 및 콘텐츠 사용자 인터페이스 요소(706)에서 현재 제시되고 있는 이미지(708f)에 대응하는 위치의 표시(736)를 포함한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704c)는 3차원이다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704c)는 2차원이다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(704c)는 새의 눈(예를 들어, 상향) 뷰이다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 사시도로부터 제시된다. 내비게이션 사용자 인터페이스 요소(704c)는 사용자의 시점과 내비게이션 루트에 대응하는 이미지(708f) 사이에 제시된다. 내비게이션 사용자 인터페이스 요소(704c)는 사용자의 시점과 내비게이션 방향들의 표시(734) 사이에 제시된다. 일부 실시예들에서, 전자 디바이스(101)는 표시(736)가 내비게이션 루트(740)를 따라 내비게이팅하는 애니메이션을 제시하고, 표시(736)가 루트(740)를 따라 이동됨에 따라, 전자 디바이스(101)는 표시(736)에 의해 표현되는 현재 위치에 대응하는 이미지(708f), 또는 비디오 또는 애니메이션의 일부를 제시한다. 예를 들어, 이미지(708f)는, 표시(736)가 내비게이션 루트(740)를 횡단하는 애니메이션으로 전자 디바이스(101)가 현재 제시하는 내비게이션 루트를 내비게이팅하는 1인칭 비디오/뷰이다.
일부 실시예들에서, 전자 디바이스(101)는 전자 디바이스(101)의 물리적 환경의 (예를 들어, 그의 하나 이상의 특징들의) 크기에 기초하여 내비게이션 사용자 인터페이스 요소의 크기를 선택한다. 예를 들어, 도 7a 내지 도 7e에서, 전자 디바이스(101)는 (예를 들어, 디바이스(101)가 테이블의 상단 표면 상에서 내비게이션 사용자 인터페이스 요소(704a)를 디스플레이하기 때문에) 전자 디바이스(101)의 물리적 환경에 테이블의 상단 표면의 표현(702)의 영역을 끼워맞추기 위해 내비게이션 사용자 인터페이스 요소(704a)를 디스플레이한다. 일부 실시예들에서, 테이블의 상단 표면이 더 작으면, 내비게이션 사용자 인터페이스 요소(704a)는, 더 작은 물리적 영역의 표현들을 포함하여 또는 동일한 크기의 물리적 영역의 표현들을 스케일링 다운함으로써 더 작은 크기로 디스플레이될 것이다. 일부 실시예들에서, 테이블의 상단 표면이 더 크면, 내비게이션 사용자 인터페이스 요소(704a)는, 더 큰 물리적 영역의 표현들을 포함하여 또는 동일한 크기의 물리적 영역의 표현들을 스케일링 업함으로써 더 큰 크기로 디스플레이될 것이다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소가 3차원 환경에서 상이한 표면/특징부 상에 또는 임의의 표면들/특징부들로부터 멀리 제시되었다면, 전자 디바이스(101)는 표면/특징부 및/또는 영역(그 상에/그 내에 내비게이션 사용자 인터페이스 요소가 디스플레이되었음)에 기초하여 내비게이션 사용자 인터페이스 요소를 크기설정(예를 들어, 그리고 형상화)할 것이다.
도 7i에서, 전자 디바이스(101)의 물리적 환경은 도 7a 내지 도 7e의 물리적 환경보다 작다. 특히, 도 7i는 전자 디바이스(101)가 큐비클(cubicle)(726) 내부에서 사용되는 것을 예시한다. 도 7i에서, 큐비클(726)이 가상 테이블(702)에 대응하는 테이블보다 작기 때문에, 내비게이션 사용자 인터페이스 요소(704d)는, 내비게이션 사용자 인터페이스 요소(704a)가 도 7a 내지 도 7e에서 디스플레이되었던 크기보다 큐비클(726)의 표현(726') 내에서 더 작은 크기로 디스플레이된다. 도 7i에 도시된 바와 같이, 전자 디바이스(101)는 3차원 환경에서 사용자의 시점과 콘텐츠 사용자 인터페이스 요소(706) 사이에 내비게이션 사용자 인터페이스 요소(704d)를 디스플레이한다.
도 7a 내지 도 7i에 예시된 실시예들에 관한 부가적인 또는 대안적인 세부사항들은 아래의 도 8 및 도 9를 참조하여 설명된 방법들(800 내지 900)의 아래의 설명들에서 제공된다.
도 8a 내지 도 8j는 일부 실시예들에 따른, 지정된 개개의 물리적 위치를 갖는 내비게이션 사용자 인터페이스 요소 및 개개의 물리적 위치에 대응하는 콘텐츠를 포함하는 콘텐츠 요소를 동시에 제시하는 방법을 예시하는 흐름도이다. 일부 실시예들에서, 방법(800)은, 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3, 및 도 4의 디스플레이 생성 컴포넌트(120))(예를 들어, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예를 들어, 사용자의 손을 하향으로 포인팅하는 카메라(예를 들어, 컬러 센서들, 적외선 센서들, 및 다른 깊이 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예를 들어, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(800)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 관리된다. 방법(800) 내의 일부 동작들은 선택적으로 조합되고 그리고/또는 일부 동작들의 순서는 선택적으로 변경된다.
일부 실시예들에서, 방법(800)은 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로 터치 스크린 디스플레이), 사용자 인터페이스를 투영하거나 사용자 인터페이스로 하여금 하나 이상의 사용자들에게 보이게 하기 위한 외부 디스플레이, 예컨대 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로 통합형 또는 외부) 등이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예를 들어, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예를 들어, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예를 들어, 외장형), 다른 모바일 디바이스(예를 들어, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예를 들어, 외장형), 제어기(예를 들어, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예를 들어, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예를 들어, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예를 들어, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
일부 실시예들에서, 도 7a에서와 같이, 전자 디바이스(예를 들어, 101)는 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 포함하는 3차원 환경을 디스플레이하며(802a), 사용자 인터페이스는 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠(예를 들어, 708a)를 포함하고, 여기서 제1 개개의 콘텐츠(예를 들어, 708a)는 3차원 환경 내의 제1 개개의 위치에서 디스플레이된다(802b). 일부 실시예들에서, 제1 개개의 콘텐츠는 제1 물리적 위치로부터 취해진 그리고/또는 제1 물리적 위치의 이미지(예를 들어, 제1 물리적 위치로부터의 거리 레벨 뷰 이미지)이다. 일부 실시예들에서, 제1 개개의 콘텐츠는 제1 물리적 위치에서 기록된 (예를 들어, 라이브) 비디오이다.
일부 실시예들에서, 도 7a에서와 같이, 전자 디바이스(예를 들어, 101)는 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 포함하는 3차원 환경을 디스플레이하며(802a), 사용자 인터페이스는 지정된 제1 물리적 위치에 대응하는 제1 위치(예를 들어, 716)를 갖는 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)를 포함하고, 여기서 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)는 제1 개개의 콘텐츠(예를 들어, 708a)가 디스플레이되는 제1 개개의 위치와 3차원 환경 내의 사용자(예를 들어, 전자 디바이스의 사용자)의 시점 사이의 3차원 환경에서 디스플레이된다(802c). 일부 실시예들에서, 3차원 환경은 사용자 인터페이스를 포함하는 가상 객체들의 표현들, 및 전자 디바이스의 물리적 환경 내의 실제 객체들의 표현들을 포함한다. 3차원 환경은 선택적으로, (예를 들어, 전자 디바이스의 위치에 대응하는) 3차원 환경 내의 개개의 위치에서 전자 디바이스와 연관된 사용자의 시점으로부터 1인칭 관점으로부터 제시된다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 제1 물리적 위치에 대응하는 제1 위치에서 시각적 표시(예를 들어, 핀)를 갖는 물리적 위치의 3차원 토포그래픽 맵을 포함한다. 예를 들어, 내비게이션 사용자 인터페이스 요소는, 도시 내의 주소, 랜드마크, 또는 좌표들에 대응하는 제1 위치에서 디스플레이된 플래그(flag), 핀, 또는 다른 시각적 표시를 갖는 건물들, 거리들, 및 다른 랜드마크들의 3차원 표현들을 포함하는 도시의 3차원 토포그래픽 맵을 포함한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 3차원 환경에서 수평 표면을 따라 배향되거나 또는 수평 평면을 따라 떠 있고, 제1 개개의 콘텐츠는 수직으로 배향된다. 일부 실시예들에서, 맵 내비게이션 요소는 3차원 환경에서 사용자의 시점과 제1 개개의 콘텐츠 사이에 있다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소 및/또는 제1 개개의 콘텐츠는 디바이스에 의해 보여질 수 있도록 생성되거나, 디스플레이되거나, 또는 달리 야기되는 3차원 환경(예를 들어, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터 생성 현실(XR) 환경)에서 디스플레이된다.
일부 실시예들에서, 도 7b에서와 같이, 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 및 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)를 디스플레이하는 동안, 전자 디바이스는 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출한다(802d). 일부 실시예들에서, 지정된 위치의 표시를 3차원 토포그래픽 맵 상의 제1 위치로부터 제2 위치로 이동시키기 위한 입력과 같은 입력이 내비게이션 사용자 인터페이스 요소를 향해 지향된다. 일부 실시예들에서, 콘텐츠의 관점을 제1 물리적 위치로부터 제2 물리적 위치로 변경하거나 또는 제1 개개의 콘텐츠의 시야를 회전시키기 위한 입력과 같은 입력이 제1 개개의 콘텐츠를 향해 지향된다.
일부 실시예들에서, 도 7c에서와 같이, 사용자 입력을 검출하는 것에 응답하여, 전자 디바이스는 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠(예를 들어, 708c)를 포함하도록 사용자 인터페이스를 업데이트하며, 여기서 제2 개개의 콘텐츠(예를 들어, 708c)는 3차원 환경 내의 제1 개개의 위치에서 디스플레이된다(802e). 일부 실시예들에서, 사용자 입력을 검출하는 것에 응답하여, 전자 디바이스는, 제2 위치에서 시각적 표시(예를 들어, 핀)를 디스플레이하고 제1 위치에서 시각적 표시(예를 들어, 핀)를 디스플레이하는 것을 중단하도록 내비게이션 사용자 인터페이스 요소를 추가로 업데이트한다. 일부 실시예들에서, 제2 개개의 콘텐츠는 제2 물리적 위치로부터 취해진 이미지이다. 일부 실시예들에서, 제2 개개의 콘텐츠는 제2 물리적 위치에서 기록된 (예를 들어, 라이브) 비디오이다. 일부 실시예들에서, 전자 디바이스는, 사용자 입력에 응답하여 콘텐츠 및 내비게이션 사용자 인터페이스 요소가 디스플레이되는 3차원 환경 내의 위치들을 유지한다.
제1 개개의 콘텐츠가 디스플레이되었던 3차원 환경 내의 동일한 위치에서 제2 개개의 콘텐츠를 디스플레이하는 위에서 설명된 방식은 물리적 위치들에 대응하는 콘텐츠를 브라우징하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 사용자가 3차원 환경의 상이한 구역으로 그들의 주의를 지향시키거나 또는 3차원 환경 내의 제2 개개의 위치에서 콘텐츠를 계속 디스플레이하기 위한 입력을 제공할 필요 없이) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 내비게이션 사용자 인터페이스 요소의 뷰 또는 스타일은 내비게이션 사용자 인터페이스 요소에 적용된 줌의 레벨에 의존하여 변경된다. 예를 들어, 줌의 레벨이 제1 임계치보다 낮을 때, 내비게이션 사용자 인터페이스 요소는 글로브(globe)이다. 다른 예로서, 줌의 레벨이 제1 임계치와 제1 임계치보다 큰 제2 임계치 사이에 있을 때, 내비게이션 사용자 인터페이스 요소는 선택적으로, 선택적으로는 인공 특징부들(예를 들어, 건물들, 인프라구조 등)을 보여주지 않으면서, 자연 특징부들(예를 들어, 지형들, 초목들 등)을 보여주는 구역의 토포그래픽 맵이다. 다른 예로서, 줌의 레벨이 제2 임계치보다 클 때, 내비게이션 사용자 인터페이스 요소는 자연 및 인공 특징부들을 포함하는 토포그래픽 맵을 포함하고, 전자 디바이스는 내비게이션 사용자 인터페이스 요소에 의해 도시된 물리적 위치로부터의 1인칭 콘텐츠를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 줌 레벨이 제2 임계치 미만인 동안 3차원 환경 내의 제1 개개의 위치에서 1인칭 콘텐츠를 디스플레이하는 것을 보류한다.
일부 실시예들에서, 도 7a에서와 같이, 3차원 환경은 전자 디바이스의 물리적 환경 내의 (예를 들어, 수평) 표면의 표현(예를 들어, 702)을 포함한다(804a). 일부 실시예들에서, 표면의 표현은 디스플레이 생성 컴포넌트에 의해 제시된 표면의 표현(예를 들어, 가상 또는 비디오 패스스루(passthrough))이다. 일부 실시예들에서, 표면의 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통한 표면의 뷰(예를 들어, 진짜 또는 실제 패스스루)이다. 예를 들어, 표면은 전자 디바이스의 환경 내의 테이블, 선반, 카운터, 또는 바닥이다. 일부 실시예들에서, 도 7a에서와 같이, 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)는 (예를 들어, 수평) 표면의 표현(예를 들어, 702)에 대응하는 3차원 환경 내의 위치(및 배향)에서 디스플레이된다(804b). 일부 실시예들에서, 전자 디바이스는 내비게이션 사용자 인터페이스 요소가 표면 상에 배치된 것처럼(예를 들어, 안착되어 있는 것처럼) 내비게이션 사용자 인터페이스 요소를 디스플레이한다. 예를 들어, 전자 디바이스는 내비게이션 사용자 인터페이스 요소가 3차원 환경 내의 제1 개개의 위치와 사용자의 시점 사이의 전자 디바이스의 물리적 환경에서 테이블, 선반, 카운터, 또는 바닥 상에 배치되었던 것처럼 보이도록 내비게이션 사용자 인터페이스 요소를 디스플레이한다.
표면의 표현에 대응하는 위치에서 내비게이션 사용자 인터페이스 요소를 디스플레이하는 위에서 설명된 방식은, 혼합 현실 환경에서 필요한 것보다 더 많은 공간을 소비하지 않으면서 혼합 현실 환경에서 실제 객체들의 표현들과 가상 객체들을 통합하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 환경에서 가상 및 실제 객체들을 통합하는 데 필요한 입력들의 수를 감소시킴으로써) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는, 예를 들어 테이블의 표현(702)으로부터 멀리 도 7a의 내비게이션 사용자 인터페이스 요소(704a)를 디스플레이하는 것과 같이, 전자 디바이스의 물리적 환경 내의 표면에 대응하지 않는 3차원 환경 내의 위치(및/또는 배향)에서 디스플레이된다(806a). 일부 실시예들에서, 표면은 전자 디바이스의 물리적 환경 내의 실제 객체, 예컨대 테이블, 선반, 카운터, 또는 바닥에 대응한다. 일부 실시예들에서, 표면의 표현을 포함하는 3차원 환경을 디스플레이하는 동안, 전자 디바이스는 표면의 표현으로부터 원격인 위치에서 내비게이션 사용자 인터페이스 요소를 (예를 들어, 공간에서 떠 있게, 물리적 또는 가상 객체 또는 표면에 부착되지 않게) 디스플레이한다. 일부 실시예들에서, 3차원 환경은 (예를 들어, 전자 디바이스의 물리적 환경에 그러한 표면이 존재하지 않기 때문에, 표면이 전자 디바이스의 시야에 있지 않기 때문에, 3차원 환경이 전자 디바이스의 물리적 환경 내의 하나 이상의 실제 객체들의 표현들을 포함하지 않는 가상 환경이기 때문에) 전자 디바이스의 물리적 환경에 표면의 표현을 포함하지 않는다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는, 선택될 때, 전자 디바이스로 하여금 (예를 들어, 내비게이션 사용자 인터페이스 요소에서 그리고/또는 3차원 환경 내의 제1 개개의 위치에서) 선택된 표시와 연관된 콘텐츠를 제시하게 하는 물리적 장소들, 가상 투어(tour)들, 및 랜드마크들의 표시들을 포함한다.
전자 디바이스의 물리적 환경 내의 표면에 대응하지 않는 3차원 환경 내의 위치에서 내비게이션 사용자 인터페이스 요소를 디스플레이하는 위에서 설명된 방식은 내비게이션 사용자 인터페이스 요소의 배치에서 유연성을 제공하며, 이는 부가적으로, (예를 들어, 내비게이션 사용자 인터페이스 요소를 디스플레이하는 데 필요한 입력들의 수를 감소시킴으로써) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7a에서와 같이, 제1 개개의 콘텐츠(예를 들어, 708a)는 전자 디바이스(예를 들어, 101)의 물리적 환경의 표현(예를 들어, 724')에 의해 둘러싸이고(예를 들어, 그 표현 상에 오버레이되고), 제1 개개의 콘텐츠(예를 들어, 708a)와 전자 디바이스(예를 들어, 101)의 물리적 환경의 표현(예를 들어, 724') 사이의 경계는 제1 개개의 콘텐츠(예를 들어, 708a)와 전자 디바이스의 물리적 환경의 표현(예를 들어, 724') 사이의 점진적인 시각적 전환(예를 들어, 페더링, 점진적인 페이딩, 블렌딩)을 포함한다(808a). 일부 실시예들에서, 물리적 환경의 표현은 디스플레이 생성 컴포넌트에 의해 제시된 물리적 환경의 표현(예를 들어, 가상 또는 비디오 패스스루)이다. 일부 실시예들에서, 물리적 환경의 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통한 물리적 환경의 뷰(예를 들어, 진짜 또는 실제 패스스루)이다. 일부 실시예들에서, 제1 개개의 콘텐츠는 가상 환경의 표현에 의해 둘러싸이고(예를 들어, 그 표현 상에 오버레이되고), 제1 개개의 콘텐츠와 가상 환경의 표현 사이의 경계는 제1 개개의 콘텐츠와 가상 환경의 표현 사이의 점진적인 시각적 전환을 포함한다. 일부 실시예들에서, 점진적인 시각적 전환은 제1 개개의 콘텐츠와 물리적(예를 들어, 또는 가상) 환경의 표현 사이의 페더링된 경계, 블렌딩된 경계, 및/또는 블러링된 경계이다. 일부 실시예들에서, 전자 디바이스는 제1 개개의 콘텐츠를 둘러싸는 물리적 환경의 표현의 부분들을 포함하여, 3차원 환경 내의 사용자의 시점과 물리적 환경의 표현 사이에서 제1 개개의 콘텐츠를 디스플레이한다.
제1 개개의 콘텐츠와 물리적 환경의 표현 사이의 점진적인 시각적 전환으로 제1 개개의 콘텐츠를 디스플레이하는 위에서 설명된 방식은 사용자에 대한 컨텍스트를 유지하며, 이는 잘못된 입력들, 또는 사용자가 상이한 사용자 인터페이스들 사이에서 앞뒤로 토글링할 필요가 있는 것을 회피하고, 이는 부가적으로, (예를 들어, 물리적 환경의 표현 및 제1 개개의 콘텐츠를 보는 데 필요한 입력들의 수를 감소시킴으로써) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7d에서와 같이, 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠(예를 들어, 708c)는 전자 디바이스(예를 들어, 101)의 물리적 환경의 표현(예를 들어, 724')과 동시에 디스플레이되고, 디스플레이 생성 컴포넌트(예를 들어, 120)의 디스플레이 영역의 제1 부분을 점유한다(810a)(예를 들어, 디스플레이 생성 컴포넌트는 제1 크기로 제1 개개의 콘텐츠를 디스플레이한다). 일부 실시예들에서, 물리적 환경의 표현은 디스플레이 생성 컴포넌트에 의해 제시된 물리적 환경의 표현(예를 들어, 가상 또는 비디오 패스스루)이다. 일부 실시예들에서, 물리적 환경의 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통한 물리적 환경의 뷰(예를 들어, 진짜 또는 실제 패스스루)이다. 일부 실시예들에서, 제1 개개의 콘텐츠는 물리적 환경의 (예를 들어, 표현의) 일부를 가리거나, 차단하거나, 그리고/또는 그의 전방에서 디스플레이되고, 제1 개개의 콘텐츠를 둘러싸는 것으로 보이는 물리적 환경의 (예를 들어, 표현의) 부분을 가리거나 그리고/또는 차단하지 않는다. 일부 실시예들에서, 도 7d에서와 같이, 디스플레이 생성 컴포넌트(예를 들어, 120)를 통해, 물리적 환경의 표현(예를 들어, 724')과 동시에, 디스플레이 영역의 제1 부분을 점유하는 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠(예를 들어, 708c)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들(예를 들어, 물리적 버튼(예를 들어, 이를 누르는 것) 또는 전자 디바이스의 다이얼(예를 들어, 그의 회전), 또는 전자 디바이스와 통신하는 상이한 입력 디바이스; 디스플레이 생성 컴포넌트를 통해 디스플레이된 하나 이상의 사용자 인터페이스 요소들의 선택)을 통해, 물리적 환경의 표현(예를 들어, 724')의 디스플레이를 가리라는 요청에 대응하는 개개의 입력을 검출한다(810b). 일부 실시예들에서, 물리적 환경의 표현의 디스플레이를 가리라는 요청은 전자 디바이스에 의해 제시되는 전자 디바이스의 물리적 환경 내의 실제 객체들의 표현들의 수를 감소시키라는 요청에 대응한다. 일부 실시예들에서, 물리적 환경의 표현의 디스플레이를 가리라는 요청은 물리적 환경의 표현의 디스플레이를 중단하라는 요청에 대응한다(예를 들어, 그리고 그 대신에, 가상 환경에서 사용자 인터페이스, 제1 개개의 콘텐츠, 및 내비게이션 사용자 인터페이스 요소를 디스플레이한다). 일부 실시예들에서, 물리적 환경의 표현의 디스플레이를 가리라는 요청은 가상 객체들 및/또는 콘텐츠(예를 들어, 제1 개개의 콘텐츠)에 의해 점유된 디스플레이 생성 컴포넌트의 디스플레이 영역의 일부를 증가시키라는 요청에 대응한다. 일부 실시예들에서, 물리적 환경의 표현들의 디스플레이를 가리라는 요청은 물리적 환경(예를 들어, 그의 표현)을 어둡게 하라는 요청에 대응한다. 일부 실시예들에서, 도 7e에서와 같이, 개개의 입력을 검출하는 것에 응답하여, 전자 디바이스(예를 들어, 101)는 물리적 환경의 표현(예를 들어, 724')의 디스플레이를 가리며(810c), 이는 제1 물리적 위치의 제1 뷰보다 큰 제2 뷰에 대응(810d)하도록 제1 개개의 콘텐츠(예를 들어, 708d)를 업데이트하는 것(예를 들어, 디스플레이 생성 컴포넌트에 의해 디스플레이된 제1 개개의 콘텐츠의 양을 증가시키는 것)을 포함한다. 일부 실시예들에서, 도 7e에서와 같이, 개개의 입력을 검출하는 것에 응답하여, 전자 디바이스(예를 들어, 101)는 물리적 환경의 표현(예를 들어, 724')의 디스플레이를 가리며(810c), 이는 디스플레이 생성 컴포넌트(예를 들어, 120)의 디스플레이 영역의 제1 부분보다 큰 제2 부분을 점유(810e)하도록 제1 개개의 콘텐츠를 업데이트하는 것(예를 들어, 제1 개개의 콘텐츠가 디스플레이 생성 컴포넌트에 의해 디스플레이되는 크기를 증가시키는 것)을 포함한다. 일부 실시예들에서, 물리적 환경의 표현에 의해 점유되는 디스플레이 생성 컴포넌트의 디스플레이 영역 및 물리적 환경의 뷰는 개개의 입력을 검출하는 것에 응답하여 감소된다.
개개의 입력에 응답하여 물리적 환경의 표현의 디스플레이를 가리는 위에서 설명된 방식은 제1 물리적 위치의 더 큰 뷰를 제시하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 제1 물리적 위치를 보는 데 필요한 입력들의 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7e에서와 같이, 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠(예를 들어, 708d)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들(예를 들어, 가속도계(들), 자이로스코프(들))을 통해, 3차원 환경 내의 전자 디바이스(예를 들어, 101)의 사용자의 시점의 (예를 들어, 미리 결정된 임계치보다 작은 양만큼의(예를 들어, 전자 디바이스는 1, 2, 3, 5, 10, 30, 50 센티미터 등 미만으로 이동하고 그리고/또는 0.1, 0.5, 1, 2, 3, 4, 5도 미만으로 회전함)) 이동(예를 들어, 전자 디바이스의 이동)을 검출한다(812a). 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 이동을 검출한다. 예를 들어, 전자 디바이스는 웨어러블 디바이스(예를 들어, 머리 장착형 디바이스, 스마트 워치)이고, 사용자의 미리 정의된 부분(예를 들어, 사용자의 머리, 사용자의 손목)의 이동은 전자 디바이스의 이동을 야기한다. 일부 실시예들에서, 도 7f에서와 같이, 3차원 환경 내의 전자 디바이스(예를 들어, 101)의 사용자의 시점의 이동을 검출하는 것에 응답하여, 사용자의 시점의 이동이 검출되었을 때 사용자의 시선(예를 들어, 701c)이 제1 개개의 콘텐츠(예를 들어, 708d)로 지향되었다는 결정에 따라, 전자 디바이스는 사용자의 시점의 이동에 따라, 시뮬레이션된 시차 효과로 제1 개개의 콘텐츠에 대응하는 제1 물리적 위치의 제1 뷰의 디스플레이를 업데이트한다(812b). 일부 실시예들에서, 시차 효과로 제1 물리적 위치의 제1 뷰의 디스플레이를 업데이트하는 것은 제1 물리적 위치의 제1 뷰의 배경 내의 객체(들)가 시프트되게 하는 거리(들)보다 큰 거리(들)만큼 제1 물리적 위치의 제1 뷰의 전경 내의 객체(들)의 위치를 시프트시키는 것을 포함한다. 일부 실시예들에서, 시차 효과로 제1 물리적 위치의 제1 뷰의 디스플레이를 업데이트하는 것은 (예를 들어, 그들이 제1 개개의 콘텐츠의 다른 부분들에 의해 차단되었기 때문에) 이전에 가시적이지 않았던 제1 개개의 콘텐츠의 하나 이상의 부분들이 보이게 한다.
시차 효과로 제1 물리적 위치의 제1 뷰를 업데이트하는 위에서 설명된 방식은, 시점의 이동에 대응하고 이동 전에 디스플레이되지 않은 부가적인 콘텐츠의 디스플레이를 허용하는 사용자의 시점의 이동에 따라 제1 콘텐츠를 업데이트하는 직관적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 사용자의 시점이 이동될 때 제1 개개의 콘텐츠를 업데이트하는 데 필요한 입력들의 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7e에서와 같이, 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠(예를 들어, 708d)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들을 통해, (예를 들어, 미리 결정된 임계치(예를 들어, 1, 2, 3, 5, 10, 30, 50 센티미터, 등 및/또는 적어도 0.1, 0.5, 1, 2, 3, 4, 5의 회전)를 초과하는 양만큼의) 전자 디바이스(예를 들어, 101)의 이동을 검출한다(814a). 일부 실시예들에서, 전자 디바이스는 웨어러블 디바이스(예를 들어, 머리 장착형 디바이스, 스마트 워치)이고, 사용자의 미리 정의된 부분(예를 들어, 사용자의 머리, 사용자의 손목)의 이동은 전자 디바이스의 이동을 야기한다. 따라서, 일부 실시예들에서, 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠를 디스플레이하는 동안, 전자 디바이스는 (예를 들어, 임계치(예를 들어, 1, 2, 3, 5, 10, 30, 50 센티미터 등)를 초과하는 이동의 속도 또는 거리와 같은 하나 이상의 기준들을 만족하는) 사용자의 미리 정의된 부분(예를 들어, 머리, 손, 팔, 손목)의 이동을 검출한다. 일부 실시예들에서, 도 7f에서와 같이, 전자 디바이스(예를 들어, 101)의 이동을 검출하는 것에 응답하여(예를 들어, 또는 사용자의 미리 정의된 부분의 이동을 검출하는 것에 응답하여), 전자 디바이스(예를 들어, 101)의 이동(예를 들어, 또는 사용자의 미리 정의된 부분의 이동)이 하나 이상의 기준들을 만족시킨다는(예를 들어, 속도 임계치를 초과한다는, 거리 임계치(예를 들어, 1, 2, 3, 5, 10, 30, 50 센티미터 등)를 초과한다는, 회전 임계치(예를 들어, 0.1, 0.5, 1, 2, 3, 4, 5도 등)를 초과한다는) 결정에 따라, 전자 디바이스(예를 들어, 101)는 디스플레이 생성 컴포넌트(예를 들어, 120)를 통해, 제1 물리적 위치에 대응하는 부가적인 콘텐츠(예를 들어, 708d)(예를 들어, 제1 개개의 콘텐츠의 연장, 제1 물리적 위치에 관한 부가적인 정보 등)를 디스플레이한다(814b). 일부 실시예들에서, 부가적인 정보는 전자 디바이스의 이동(예를 들어, 또는 사용자의 미리 정의된 부분의 이동)에 대응하는 위치에서 디스플레이된다. 예를 들어, 좌측으로의 이동을 검출하는 것에 응답하여, 전자 디바이스는 제1 개개의 콘텐츠의 좌측에 부가적인 정보를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는, 전자 디바이스가 이동하는 방향으로 제1 개개의 콘텐츠의 뷰를 확장시키고, 제1 개개의 콘텐츠의 시야를 증가시키며, 그에 따라 시야의 표시를 업데이트한다.
전자 디바이스의 이동을 검출하는 것에 응답하여 부가적인 정보를 디스플레이하는 위에서 설명된 방식은 직관적인 입력에 응답하여 부가적인 정보를 사용자에게 제시하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7c에서와 같이, 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠(예를 들어, 708c)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들을 통해, 사용자 인터페이스에서 디스플레이된 선택가능 사용자 인터페이스 요소(예를 들어, 720b)로 지향되는 입력을 검출한다(816a). 일부 실시예들에서, 사용자 인터페이스 요소는 개개의 콘텐츠의 시점에 대응하는 물리적 위치를 시프트시키기 위한 사용자 인터페이스 요소이다. 일부 실시예들에서, 사용자 인터페이스 요소는 제1 개개의 콘텐츠에 근접하게 또는 그에 중첩되게 디스플레이된다. 일부 실시예들에서, 사용자 인터페이스 요소는 복수의 화살표들 중 하나이다. 일부 실시예들에서, 화살표들은 (예를 들어, 제1 개개의 콘텐츠의 관점을 측방향으로 이동시키기 위한) 이동 화살표들 또는 (예를 들어, 제1 개개의 콘텐츠의 관점을 회전적으로 이동시키기 위한) 회전 화살표들이다. 일부 실시예들에서, 전자 디바이스는, 손 추적 디바이스를 통해, 사용자의 손의 미리 정의된 포즈(예를 들어, 손의 엄지가 손의 다른 손가락의 임계 거리(예를 들어, 0.1, 0.2, 0.3, 0.5, 1, 2 센티미터 등) 내에 있는 핀치 포즈)를 검출하는 동안, 눈 추적 디바이스를 통해, 사용자의 시선이 사용자 인터페이스 요소로 지향된다는 것을 검출함으로써 사용자 인터페이스 요소의 선택을 검출한다. 일부 실시예들에서, 도 7c의 선택가능 사용자 인터페이스 요소(예를 들어, 720b)로 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 도 7d에서와 같이 개개의 물리적 위치의 개개의 뷰에 대응하는 제3 개개의 콘텐츠(예를 들어, 708d)를 디스플레이하며, 여기서 제3 개개의 콘텐츠(예를 들어, 708d)는 3차원 환경 내의 제1 개개의 위치에서 디스플레이된다(816b). 예를 들어, 개개의 콘텐츠의 시점을 좌측으로 시프트시키기 위한 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 물리적 위치에 대응하는 제3 개개의 콘텐츠를 제1 물리적 위치의 좌측에 디스플레이한다. 다른 예로서, 개개의 콘텐츠의 시점을 좌측으로 회전시키기 위한 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 제1 물리적 위치에 대응하는 제4 개개의 콘텐츠를 디스플레이하며, 이때 뷰는 제1 개개의 콘텐츠의 뷰로부터 좌측으로 회전된다. 일부 실시예들에서, 전자 디바이스는 선택가능 사용자 인터페이스 요소로 지향되는 입력에 응답하여 제1 개개의 콘텐츠의 시야의 크기(예를 들어, 폭)를 유지하지만, 시야의 위치가 업데이트된다.
제1 개개의 콘텐츠가 디스플레이되었던 3차원 환경 내의 동일한 위치에서 제3 개개의 콘텐츠를 디스플레이하는 위에서 설명된 방식은 물리적 위치들에 대응하는 콘텐츠를 브라우징하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 사용자가 3차원 환경의 상이한 구역으로 그들의 주의를 지향시키거나 또는 3차원 환경 내의 제3 개개의 위치에서 콘텐츠를 계속 디스플레이하기 위한 입력을 제공할 필요 없이) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7e에서와 같이, 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠(예를 들어, 708d)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 3차원 환경에 대한 전자 디바이스(예를 들어, 101)의 이동을 검출한다(818a). 일부 실시예들에서, 전자 디바이스는 웨어러블 디바이스(예를 들어, 머리 장착형 디바이스, 스마트 워치)이고, 사용자의 미리 정의된 부분(예를 들어, 사용자의 머리, 사용자의 손목)의 이동은 전자 디바이스의 이동을 야기한다. 일부 실시예들에서, 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠를 디스플레이하는 동안, 전자 디바이스는 사용자의 미리 정의된 부분(예를 들어, 머리, 손, 팔, 손목)의 이동을 검출한다. 일부 실시예들에서, 도 7f에서와 같이, 3차원 환경에 대한 전자 디바이스(예를 들어, 101)의 이동이 하나 이상의 기준들을 만족시킨다는 결정에 따라, 전자 디바이스(예를 들어, 101)는 디스플레이 생성 컴포넌트를 통해, 제1 물리적 위치에 대응하는 부가적인 콘텐츠(예를 들어, 제1 개개의 콘텐츠의 연장, 제1 물리적 위치에 관한 부가적인 정보 등)를 디스플레이한다(818b). 일부 실시예들에서, 사용자가 그들의 주의를 지향시키기를 원할 수 있는 전자 디바이스의 물리적 환경 내의 개개의 실제 객체(예를 들어, 윈도우, 출입구, 디스플레이 스크린, 사람, 동물, 전자 디바이스, 어플라이언스, 차량, 건물 등)를 향해 그리고/또는 사용자가 그들의 주의를 지향시키기를 원할 수 있는 3차원 환경 내의 개개의 가상 객체(예를 들어, 콘텐츠, 사용자 인터페이스 등)를 향해 전자 디바이스가 배향되지 않도록 전자 디바이스(예를 들어, 또는 사용자의 미리 정의된 부분)의 이동이 전자 디바이스를 위치설정시킬 때 하나 이상의 기준들이 만족된다. 일부 실시예들에서, 3차원 환경에 대한 전자 디바이스의 이동이 하나 이상의 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스는, 예를 들어 도 7f에서 콘텐츠 사용자 인터페이스 요소(706)를 업데이트하는 것을 보류하는 것과 같이, (예를 들어, 제1 개개의 콘텐츠의 디스플레이를 유지하면서) 제1 물리적 위치에 대응하는 부가적인 콘텐츠의 디스플레이를 보류한다(818c). 예를 들어, 전자 디바이스를 빈 벽을 향해 배향시키는 전자 디바이스의 이동에 응답하여, 전자 디바이스는 빈 벽의 일부 상에 오버레이되게 부가적인 콘텐츠를 디스플레이한다. 다른 예로서, 사용자가 그들의 주의를 지향시키기를 원할 수 있는 개개의 실제 객체(예를 들어, 윈도우, 출입구, 디스플레이 스크린, 사람, 동물, 전자 디바이스, 어플라이언스, 차량, 건물 등)를 향해 전자 디바이스를 배향시키는 전자 디바이스의 이동에 응답하여, 전자 디바이스는 개개의 객체 상에 오버레이되게 부가적인 콘텐츠를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 전자 디바이스는, 사용자가 그들의 주의를 지향시키기를 원할 수 있는 개개의 실제 객체 이외의 3차원 환경의 부분들을 가리도록 제1 콘텐츠의 뷰를 확장시키며, 이는 제1 개개의 콘텐츠가 개개의 실제 객체에 도달할 때(예를 들어, 개개의 실제 객체의 임계(예를 들어, 1, 5, 10, 20, 30, 40, 50, 100 센티미터 등) 거리 내에 있을 때) 중지된다. 다른 예로서, 사용자가 그들의 주의를 지향시키기를 원할 수 있는 가상 객체(예를 들어, 콘텐츠, 사용자 인터페이스)를 향해 전자 디바이스를 배향시키는 전자 디바이스의 이동에 응답하여, 전자 디바이스는 가상 객체 상에 오버레이되게 부가적인 콘텐츠를 디스플레이하는 것을 보류한다. 따라서, 일부 실시예들에서, 사용자는 개개의 실제 객체 또는 개개의 가상 객체가 부가적인 콘텐츠에 의해 차단되지 않으면서 개개의 실제 객체 또는 개개의 가상 객체를 볼 수 있다. 일부 실시예들에서, 전자 디바이스가 제1 개개의 콘텐츠의 뷰를 확장시킬 때, 전자 디바이스는 제1 개개의 콘텐츠의 시야를 증가시키고, 그에 따라 시야의 표시를 업데이트한다.
3차원 환경에 대한 전자 디바이스의 이동에 의존하여 부가적인 콘텐츠를 선택적으로 디스플레이하는 위에서 설명된 방식은 콘텐츠가 3차원 환경의 부분들을 차단하는 것을 방지하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 부가적인 콘텐츠 이외의 3차원 환경 내의 객체를 보는 데 필요한 입력들, 예컨대 다른 객체를 보기 위해 부가적인 콘텐츠의 디스플레이를 중단하기 위한 입력의 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7f에서와 같이, 하나 이상의 기준들은 (예를 들어, 3차원 환경 내의 하나 이상의 개개의 객체들에 대한) 전자 디바이스(예를 들어, 101)의 배향의 변화에 기초하여 만족되는 기준 및/또는 사용자의 시선(예를 들어, 701c)이 3차원 환경 내의 하나 이상의 개개의 객체들로 지향되는지 여부에 기초하여 만족되는 기준을 포함한다(820a). 일부 실시예들에서, 사용자가 그들의 주의를 지향시키기를 원할 수 있는 전자 디바이스의 물리적 환경 내의 개개의 실제 객체(예를 들어, 윈도우, 출입구, 디스플레이 스크린, 사람, 동물, 전자 디바이스, 어플라이언스, 차량, 건물 등)를 향해 그리고/또는 사용자가 그들의 주의를 지향시키기를 원할 수 있는 3차원 환경 내의 개개의 가상 객체(예를 들어, 콘텐츠, 사용자 인터페이스 등)를 향해 전자 디바이스가 배향된다는 결정에 따라, 전자 디바이스는 부가적인 콘텐츠의 디스플레이를 보류한다. 일부 실시예들에서, (예를 들어, 전자 디바이스와 통신하는 눈 추적 디바이스에 의해 결정된 바와 같이) 사용자가 그들의 주의를 지향시키기를 원할 수 있는 전자 디바이스의 물리적 환경 내의 개개의 실제 객체(예를 들어, 윈도우, 출입구, 디스플레이 스크린, 사람, 동물, 전자 디바이스, 어플라이언스, 차량, 건물 등)를 그리고/또는 사용자가 그들의 주의를 지향시키기를 원할 수 있는 3차원 환경의 개개의 가상 객체화(예를 들어, 콘텐츠, 사용자 인터페이스 등)를 사용자가 보고 있다는 결정에 따라, 전자 디바이스는 부가적인 콘텐츠의 디스플레이를 보류한다. 일부 실시예들에서, 사용자가 그들의 주의를 지향시키기를 원할 수 있는 전자 디바이스의 물리적 환경 내의 개개의 실제 객체(예를 들어, 윈도우, 출입구, 디스플레이 스크린, 사람, 동물, 전자 디바이스, 어플라이언스, 차량, 건물 등)를 향해 그리고/또는 사용자가 그들의 주의를 지향시키기를 원할 수 있는 3차원 환경의 개개의 가상 객체화(예를 들어, 콘텐츠, 사용자 인터페이스 등)를 향해 전자 디바이스가 배향되지 않는다는 결정에 따라, 전자 디바이스는 전자 디바이스의 이동에 따라 부가적인 콘텐츠를 디스플레이한다. 일부 실시예들에서, 사용자가 그들의 주의를 지향시키기를 원할 수 있는 전자 디바이스의 물리적 환경 내의 개개의 실제 객체(예를 들어, 윈도우, 출입구, 디스플레이 스크린, 사람, 동물, 전자 디바이스, 어플라이언스, 차량, 건물 등)를 향해 그리고/또는 사용자가 그들의 주의를 지향시키기를 원할 수 있는 3차원 환경의 개개의 가상 객체화(예를 들어, 콘텐츠, 사용자 인터페이스 등)를 향해 사용자의 시선이 지향되지 않는다는 결정에 따라, 전자 디바이스는 전자 디바이스의 이동에 따라 부가적인 콘텐츠를 디스플레이한다. 따라서, 일부 실시예들에서, 전자 디바이스는 개개의 실제 또는 개개의 가상 객체를 부가적인 콘텐츠로 가린다. 일부 실시예들에서, 전자 디바이스의 이동이 검출되는 동안 사용자의 시선이 개개의 실제 또는 가상 객체로 지향되지 않으면, 전자 디바이스는 개개의 실제 또는 개개의 가상 객체를 부가적인 콘텐츠로 가린다. 일부 실시예들에서, 전자 디바이스의 이동이 검출되는 동안 사용자의 시선이 개개의 실제 또는 가상 객체로 지향되면, 전자 디바이스는 개개의 실제 또는 가상 객체를 가리는 3차원 환경 내의 위치에서 부가적인 콘텐츠를 디스플레이하지 않는다.
3차원 환경에 대한 전자 디바이스의 배향 및/또는 사용자의 시선의 변화에 의존하여 부가적인 콘텐츠를 선택적으로 디스플레이하는 위에서 설명된 방식은 사용자가 3차원 환경에서 부가적인 콘텐츠 이외의 콘텐츠의 가시성을 유지할 수 있게 하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 부가적인 콘텐츠 이외의 3차원 환경 내의 객체를 보는 데 필요한 입력들, 예컨대 다른 객체를 보기 위해 부가적인 콘텐츠의 디스플레이를 중단하기 위한 입력의 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7d에서와 같이, 디스플레이 생성 컴포넌트(예를 들어, 120)의 디스플레이 영역의 제1 부분(예를 들어, 제1 물리적 위치의 뷰의 제1 개개의 부분)을 점유하는 제1 개개의 콘텐츠(예를 들어, 708d)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 눈 추적 디바이스를 통해, 사용자의 시선(예를 들어, 701b)이 미리 결정된 시간 임계치(예를 들어, 0.05, 0.1, 0.2, 0.3, 0.5, 1, 2, 5, 10초 등)를 초과하는 시간의 양 동안 제1 개개의 콘텐츠(예를 들어, 708d)로 지향되었다는 것을 검출한다(822a). 일부 실시예들에서, 도 7e에서와 같이, 사용자의 시선(예를 들어, 701b)이 미리 결정된 시간 임계치(예를 들어, 0.05, 0.1, 0.2, 0.3, 0.5, 1, 2, 5, 10초 등)를 초과하는 시간의 양 동안 제1 개개의 콘텐츠(예를 들어, 708d)로 지향되었다는 것을 검출하는 것에 응답하여, 전자 디바이스는 디스플레이 생성 컴포넌트(예를 들어, 120)의 디스플레이 영역의 제1 부분보다 큰 제2 부분(예를 들어, 제1 물리적 위치의 뷰의 제1 개개의 부분보다 큰 제1 물리적 위치의 뷰의 제2 개개의 부분(예를 들어, 제1 개개의 부분보다 더 많은 콘텐츠, 객체들 등을 포함함))을 점유하도록 제1 개개의 콘텐츠(예를 들어, 708d)를 업데이트한다(822b). 일부 실시예들에서, 미리 결정된 시간 임계치(예를 들어, 0.05, 0.1, 0.2, 0.3, 0.5, 1, 2초 등)를 초과하는 시간 동안 제1 개개의 콘텐츠로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 제1 개개의 콘텐츠의 크기를 확장시킨다. 일부 실시예들에서, 제1 개개의 콘텐츠의 크기를 확장시키는 것에 응답하여, 전자 디바이스는 (예를 들어, 시야의 배향을 업데이트하지 않으면서) 제1 개개의 콘텐츠의 시야를 증가시키고, 그에 따라 시야의 표시(예를 들어, 내비게이션 사용자 인터페이스 요소에서 디스플레이됨)를 업데이트한다. 일부 실시예들에서, 제1 개개의 콘텐츠의 디스플레이 영역을 증가시키는 것은 제1 개개의 콘텐츠의 시야를 확장시키지 않으며; 오히려, 일부 실시예들에서, 제1 개개의 콘텐츠는 스케일링 업되는 반면, 시야(예를 들어, 그의 크기 및 배향)는 동일하게 유지된다.
미리 결정된 임계치를 초과하는 시간 동안 제1 개개의 콘텐츠로 지향되는 사용자의 시선을 검출하는 것에 응답하여 제1 개개의 콘텐츠의 크기를 확장시키는 위에서 설명된 방식은 제1 물리적 위치의 뷰를 증가시키는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 제1 물리적 위치를 보기 위해, 예를 들어 제1 물리적 위치의 뷰를 패닝하기 위한 입력들을 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 개개의 콘텐츠를 디스플레이하는 동안, 전자 디바이스는 내비게이션 사용자 인터페이스 요소에서, 제1 개개의 콘텐츠에 대응하는 제1 물리적 위치의 시야의 표시를 디스플레이한다(824a). 일부 실시예들에서, 시야의 표시는 내비게이션 사용자 인터페이스 요소에 포함된 제1 위치의 시각적 표시에 근접하게 또는 그와 연관하여(예를 들어, 그에 근접하게 또는 그와 통합되어) 디스플레이된다. 일부 실시예들에서, 시야의 표시는 제1 개개의 콘텐츠 내에 디스플레이되는 제1 물리적 위치의 경계들을 표시한다. 일부 실시예들에서, 제1 개개의 콘텐츠가 디스플레이 생성 컴포넌트의 디스플레이 영역의 제1 부분을 점유하는 동안, 시야의 표시는 제1 시야(예를 들어, 제1 개개의 콘텐츠가 디스플레이 영역의 제1 부분을 점유하는 동안 제1 개개의 콘텐츠에 포함된 제1 물리적 위치의 경계들)를 표시한다(824b). 일부 실시예들에서, 제1 개개의 콘텐츠가 디스플레이 생성 컴포넌트의 디스플레이 영역의 제2 부분을 점유하는 동안, 시야의 표시는 제1 시야보다 큰 제2 시야(예를 들어, 제1 개개의 콘텐츠가 디스플레이 영역의 제2 부분을 점유하는 동안 제1 개개의 콘텐츠에 포함된 제1 물리적 위치의 경계들)를 표시한다(824c). 일부 실시예들에서, 디스플레이 영역의 제2 부분은 디스플레이 영역의 제1 부분보다 크고 그리고/또는 제2 시야는 제1 시야보다 크다.
제1 개개의 콘텐츠에 의해 점유된 디스플레이 영역에 따라 시야의 표시를 디스플레이하는 위에서 설명된 방식은 제1 개개의 콘텐츠에 의해 표현되는 제1 물리적 위치의 부분을 표시하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7e에서와 같이, 제1 개개의 콘텐츠(예를 들어, 708d)는 (예를 들어, 제1 물리적 위치에 대한) 제1 배향을 갖는 제1 시야(예를 들어, 718e)에 대응한다(826a). 일부 실시예들에서, 도 7e에서와 같이, 제1 개개의 콘텐츠(예를 들어, 708d)를 디스플레이하고, 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)에서 제1 시야(예를 들어, 718e)의 표시를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들을 통해, 제2 배향을 갖는 제2 시야에 대응하는 제3 개개의 콘텐츠를 디스플레이하라는 요청에 대응하는 입력을 검출한다(826b). 일부 실시예들에서, 제3 개개의 콘텐츠 및 제1 개개의 콘텐츠는 동일한 물리적 위치로부터 캡처된 이미지들이지만, 상이한 배향들(예를 들어, 동일한 위치에 있는 동안 상이한 방향들을 향함)을 갖는다. 일부 실시예들에서, 제3 개개의 콘텐츠 및 제1 개개의 콘텐츠는 상이한 물리적 위치들(예를 들어, 그리고 상이한 배향들)로부터 캡처된 이미지들이다. 일부 실시예들에서, 제1 및 제2 시야들의 폭들은 동일하다. 일부 실시예들에서, 제1 및 제2 시야들의 폭들은 상이하다. 일부 실시예들에서, 제3 개개의 콘텐츠를 디스플레이하라는 요청에 대응하는 입력은 제1 개개의 콘텐츠의 시점으로부터 제3 개개의 콘텐츠의 시점으로 시점을 회전시키라는 요청이다. 일부 실시예들에서, 입력은 하나 이상의 (예를 들어, 측방향) 방향들로 제1 개개의 콘텐츠를 확장시키라는 요청에 대응한다. 일부 실시예들에서, 입력은 제3 물리적 위치에 대응하는 제3 개개의 콘텐츠(예를 들어, 제1 위치에 대한 측방향 이동)를 디스플레이하라는 요청에 대응한다. 일부 실시예들에서, 도 7f에서와 같이, 제2 배향을 갖는 제2 시야(예를 들어, 718e)에 대응하는(예를 들어, 제1 물리적 위치에 대응하거나 제3 물리적 위치에 대응하는) 제3 개개의 콘텐츠(예를 들어, 708d)를 디스플레이하라는 요청에 대응하는 입력을 검출하는 것에 응답하여(826c), 전자 디바이스(예를 들어, 101)는 (예를 들어, 3차원 환경 내의 제1 개개의 위치에서) 디스플레이 생성 컴포넌트(예를 들어, 120)를 통해 제3 개개의 콘텐츠(예를 들어, 708d)를 디스플레이한다(826d). 일부 실시예들에서, 도 7f에서와 같이, 제2 배향을 갖는 제2 시야(예를 들어, 718)에 대응하는 제3 개개의 콘텐츠(예를 들어, 708d)를 디스플레이하라는 요청에 대응하는 입력을 검출하는 것에 응답하여(826c), 전자 디바이스(예를 들어, 101)는 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)에서, 제2 시야(예를 들어, 718e)의 표시가 되도록 제1 시야의 표시를 업데이트한다(826e). 일부 실시예들에서, 시야의 표시는 내비게이션 사용자 인터페이스 요소에 포함된 제3 개개의 콘텐츠에 대응하는 물리적 위치의 시각적 표시에 근접하게 또는 그와 연관하여(예를 들어, 그에 근접하게 또는 그와 통합되어) 디스플레이된다. 일부 실시예들에서, 제2 시야의 표시는 제3 개개의 콘텐츠 내에 디스플레이되는 물리적 위치의 경계들을 표시한다.
제3 개개의 콘텐츠에 따라 시야의 표시를 디스플레이하는 위에서 설명된 방식은 제3 개개의 콘텐츠에 의해 표현되는 개개의 물리적 위치의 부분을 표시하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7a에서와 같이, 전자 디바이스(예를 들어, 101)의 물리적 환경이 전자 디바이스(예를 들어, 101)의 물리적 환경에서의 전자 디바이스(예를 들어, 101) 주위의 차단되지 않은 공간의 양(예를 들어, 하나 이상의 방향들에서 0.5, 1, 2, 3, 4, 5 미터 등)에 기초하여 만족되는 기준을 포함하는 하나 이상의 기준들을 만족시킨다는 결정에 따라, 전자 디바이스(예를 들어, 101)는 3차원 환경에서 제1 크기로 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)를 디스플레이한다(828a). 일부 실시예들에서, 전자 디바이스는 3차원 환경 내의 물리적 객체들의 위치들과 중첩되지 않거나 교차하지 않는 3차원 환경 내의 위치들에서 내비게이션 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소가 디스플레이되는 크기는 전자 디바이스의 물리적 환경에서의 전자 디바이스 주위의 차단되지 않은 공간의 양에 의존한다. 일부 실시예들에서, 도 7i에서와 같이, 전자 디바이스(예를 들어, 101)의 물리적 환경이 하나 이상의 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스(예를 들어, 101)는 3차원 환경에서 제1 크기와 상이한(예를 들어, 그보다 작은) 제2 크기로 내비게이션 사용자 인터페이스 요소(예를 들어, 704d)를 디스플레이한다(828b). 예를 들어, 전자 디바이스는, 전자 디바이스가 사무실 큐비클에서 내비게이션 사용자 인터페이스 요소를 디스플레이하는 크기(예를 들어, 전자 디바이스 주위의 다수의 방향들에서 대략 0.5 내지 1 미터의 차단되지 않은 공간)보다, 식당 테이블 위에 빈 공간을 갖는 룸에서 내비게이션 사용자 인터페이스 요소를 디스플레이할 때 더 큰 크기(예를 들어, 전자 디바이스 주위의 다수의 방향들에서 대략 2 미터의 차단되지 않은 공간)로 내비게이션 사용자 인터페이스 요소를 디스플레이한다.
전자 디바이스의 물리적 환경 내의 전자 디바이스 주위의 차단되지 않은 공간의 양에 대응하는 크기로 내비게이션 사용자 인터페이스 요소를 디스플레이하는 위에서 설명된 방식은 사용자의 물리적 환경 내의 객체들의 표현들을 내비게이션 사용자 인터페이스 요소와 동시에 제시하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 내비게이션 사용자 인터페이스 요소 및 전자 디바이스의 물리적 환경 내의 객체들의 표현들을 보는 것 사이에서 토글링하는 데 필요한 입력들의 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 내비게이션 요소(예를 들어, 도 7a의 704a)는 3차원 환경에서 3차원들로 디스플레이된 제1 개개의 부분(예를 들어, 내비게이션 사용자 인터페이스 요소에 의해 도시된 물리적 위치에 물리적 객체들(예를 들어, 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들)의 3차원 표현들을 포함함), 및 3차원 환경에서 2차원들로 디스플레이된 제2 개개의 부분(예를 들어, 내비게이션 사용자 인터페이스 요소에 의해 도시된 물리적 위치에 물리적 객체들(예를 들어, 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들)의 2차원 표현들을 포함함)을 포함하며, 여기서 제1 개개의 부분은 제2 개개의 부분보다 사용자의 시점에 (예를 들어, 임계 거리(예를 들어, 0.5, 1, 2, 3, 4, 5 미터 등) 내에서) 더 가깝다(830a). 일부 실시예들에서, (예를 들어, 내비게이션 사용자 인터페이스 요소의 제1 및 제2 개개의 부분들 사이의 경계를 정의했던 사용자의 임계 거리 내에서) 내비게이션 사용자 인터페이스 요소의 제2 개개의 부분(예를 들어, 제2 개개의 부분에 포함된 물리적 객체들의 표현들)을 사용자에게 더 가깝게 이동시키라는 요청에 대응하는 입력에 응답하여, 전자 디바이스는 3차원들로 내비게이션 사용자 인터페이스 요소의 제2 개개의 부분에서 물리적 객체들의 표현들을 디스플레이한다. 일부 실시예들에서, (예를 들어, 내비게이션 사용자 인터페이스 요소의 제1 및 제2 개개의 부분들 사이의 경계를 정의하는 사용자의 임계 거리 외부에서) 내비게이션 사용자 인터페이스 요소의 제1 개개의 부분(예를 들어, 제1 개개의 부분에 포함된 물리적 객체들의 표현들)을 사용자로부터 멀어지게 이동시키라는 요청에 대응하는 입력에 응답하여, 전자 디바이스는 2차원들로 내비게이션 사용자 인터페이스 요소의 제1 개개의 부분에서 물리적 객체들의 표현들을 디스플레이한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소의 제1 개개의 부분은 3차원 환경에서 수평 평면(예를 들어, 실제 또는 가상 표면, 가상 평면)을 따라 배향되고, 내비게이션 사용자 인터페이스 요소의 제2 개개의 부분은 내비게이션 사용자 인터페이스 요소의 제1 개개의 부분 뒤에 수직으로(예를 들어, 수평 평면으로부터 위로 만곡되게) 디스플레이된다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소의 제1 개개의 부분 및 제2 개개의 부분은 내비게이션 사용자 인터페이스 요소의 만곡된 부분에 의해 결합된다.
3차원들로 내비게이션 사용자 인터페이스 요소의 제1 개개의 부분을 디스플레이하고, 2차원들로 내비게이션 사용자 인터페이스 요소의 제2 개개의 부분을 디스플레이하는 위에서 설명된 방식은 사용자에게 동시에 가시적인 내비게이션 사용자 인터페이스 요소의 영역들을 증가시키는 효율적인 방법을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7a에서와 같이, 제1 개개의 콘텐츠(예를 들어, 708a)를 디스플레이하는 동안(832a), 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)는 제1 물리적 위치를 포함하는 제1 물리적 구역에 대응한다(832b). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들 등의 표현들을 포함하는, 제1 물리적 구역 내의 다른 물리적 위치들의 표현들을 포함한다. 일부 실시예들에서, 도 7a에서와 같이, 제1 개개의 콘텐츠(예를 들어, 708a)를 디스플레이하는 동안(832a), 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)는 제1 물리적 구역의 토포그래피의 표시를 포함한다(832c). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 3차원들로 디스플레이되고, 제1 물리적 구역의 (예를 들어, 바닥의) 토포그래피의 3차원 렌더링을 포함한다. 예를 들어, 제1 물리적 구역이 언덕을 포함하면, 내비게이션 사용자 인터페이스 요소는 언덕의 3차원 렌더링을 포함한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소의 에지들은 내비게이션 사용자 인터페이스 요소의 에지들에 대응하는 물리적 위치들의 토포그래피의 단면들을 보여준다.
내비게이션 사용자 인터페이스 요소 내의 제1 물리적 구역의 토포그래피의 표시를 디스플레이하는 위에서 설명된 방식은 제1 물리적 위치에서의 객체들뿐만 아니라 제1 물리적 위치의 토포그래피를 표현하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7a에서와 같이, 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)는 3차원들로 디스플레이된 개개의 콘텐츠(예를 들어, 710a, 710b)(예를 들어, 내비게이션 사용자 인터페이스 요소에 대응하는 물리적 구역 내의 물리적 객체들(예를 들어, 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들)의 3차원 표현들)를 포함한다(834a). 일부 실시예들에서, 도 7b에서와 같이, 3차원들로 디스플레이된 개개의 콘텐츠를 포함하는 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들(예를 들어, 하나 이상의 카메라들, 범위 센서, 손 추적 디바이스들, 눈 추적 디바이스들)을 통해, 사용자의 미리 정의된 부분(예를 들어, 728a)(예를 들어, 손, 팔, 머리 등)의 이동을 검출한다(834b). 일부 실시예들에서, 도 7b에서와 같이, 사용자의 미리 정의된 부분(예를 들어, 728a)의 이동을 검출하는 것에 응답하여(834c), 사용자의 미리 정의된 부분(예를 들어, 728a)이 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 3차원들로 디스플레이된 개개의 콘텐츠에 대응하는 위치에 있다는 결정에 따라(예를 들어, 3차원 환경 내의 사용자의 미리 정의된 부분의 위치는 3차원 환경 내의 개개의 콘텐츠의 위치와 교차하거나 또는 임계 거리(예를 들어, 0.1, 0.2, 0.3, 0.5, 1, 2, 3, 4, 5, 10 센티미터 등) 내에 있음), 전자 디바이스(예를 들어, 101)는 도 7b에서와 같이, 3차원들로 디스플레이된 개개의 콘텐츠를 시각적으로 강조해제하도록(예를 들어, 이를 더 이상 포함하지 않도록) 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)를 업데이트한다(834d)(예를 들어, 개개의 콘텐츠의 디스플레이를 중단하거나 또는 그의 디스플레이를 강조해제(예를 들어, 더 투명하게, 덜 불투명하게 만듬)하거나 또는 2차원들로 개개의 콘텐츠를 디스플레이함). 일부 실시예들에서, 전자 디바이스는 사용자의 미리 정의된 부분에 대응하는 위치에 있는 콘텐츠의 3차원 디스플레이를 중단하고, 사용자의 미리 정의된 부분의 위치에 대응하지 않는 위치들에서의 3차원들로의 내비게이션 사용자 인터페이스 요소의 다른 콘텐츠의 디스플레이를 유지한다. 일부 실시예들에서, 전자 디바이스는 사용자의 미리 정의된 부분의 표현을 제시한다. 일부 실시예들에서, 사용자의 미리 정의된 부분의 표현은 디스플레이 생성 컴포넌트에 의해 제시된 사용자의 미리 정의된 부분의 표현(예를 들어, 가상 또는 비디오 패스스루)이다. 일부 실시예들에서, 사용자의 미리 정의된 부분의 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통한 사용자의 미리 정의된 부분의 뷰(예를 들어, 진짜 또는 실제 패스스루)이다.
개개의 콘텐츠에 대응하는 위치로의 사용자의 미리 정의된 부분의 이동을 검출하는 것에 응답하여 3차원들로의 개개의 콘텐츠의 디스플레이를 중단하는 위에서 설명된 방식은 사용자의 미리 정의된 부분의 표현의 가시성을 유지하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전자 디바이스는 도 7a의 내비게이션 사용자 인터페이스 요소(704a)에서 제2 전자 디바이스의 표시를 디스플레이하는 것과 같이, 내비게이션 사용자 인터페이스 요소 내에서, 제2 전자 디바이스의 개개의 물리적 위치에 대응하는 내비게이션 사용자 인터페이스 요소 내의 개개의 위치에서 디스플레이된 제2 전자 디바이스(예를 들어, 전자 디바이스의 사용자와 상이한 사용자와 연관됨)의 표시를 디스플레이한다(836a). 일부 실시예들에서, 전자 디바이스는 제2 전자 디바이스의 위치의 표시를 (예를 들어, 제2 전자 디바이스로부터, 서버로부터) 수신한다. 예를 들어, 전자 디바이스의 사용자 및 제2 전자 디바이스의 제2 사용자는 제2 전자 디바이스의 위치들을 전자 디바이스에 그리고 전자 디바이스의 위치를 제2 전자 디바이스에 제시하는 서비스를 통해 연결된다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소에서 제2 전자 디바이스의 표시를 디스플레이하는 동안, 전자 디바이스는 도 7c의 옵션(720b)의 선택을 검출하는 것과 유사한 방식으로 하나 이상의 입력 디바이스들을 통해 제2 전자 디바이스의 표시의 선택을 검출한다(836b). 일부 실시예들에서, 표시의 선택을 검출하는 것은, 눈 추적 디바이스를 통해, 사용자의 시선이 제2 전자 디바이스의 표시로 지향된다는 것을 검출하는 것, 및 손 추적 디바이스를 통해, 사용자가 미리 결정된 제스처(예를 들어, 사용자가 손의 다른 손가락의 임계 거리(예를 들어, 0.05, 0.1, 0.5, 1, 2 센티미터 등) 내에서 그들의 엄지를 이동시키는 핀치 제스처)를 수행한다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 표시의 선택을 검출하는 것은, 사용자의 미리 결정된 부분(예를 들어, 손)이 제2 전자 디바이스의 표시에 대응하는 위치의 임계 거리(예를 들어, 1, 2, 3, 5, 10, 20 센티미터 등) 내에 있는 동안, 손 추적 디바이스를 통해, 사용자가 미리 결정된 제스처(예를 들어, 사용자가 손의 다른 손가락의 임계 거리(예를 들어, 0.05, 0.1, 0.5, 1, 2 센티미터 등) 내에서 그들의 엄지를 이동시키는 핀치 제스처)를 수행한다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제2 전자 디바이스의 표시의 선택을 검출하는 것에 응답하여, 전자 디바이스는 전자 디바이스가 도 7a의 표시(716)에 대응하는 콘텐츠(708a)를 제시하는 방식과 유사한 방식으로, 디스플레이 생성 컴포넌트를 통해, 제2 전자 디바이스의 개개의 물리적 위치의 제2 전자 디바이스에 의해 캡처된 콘텐츠를 (예를 들어, 3차원 환경 내의 제1 개개의 위치에서) 디스플레이한다(836c). 예를 들어, 콘텐츠는 제2 전자 디바이스(예를 들어, 그와 통신하는 하나 이상의 카메라들 및/또는 마이크로폰들)에 의해 캡처된 라이브 비디오이다. 일부 실시예들에서, 콘텐츠는 제2 전자 디바이스의 물리적 위치와 연관된(예를 들어, 제2 전자 디바이스에 의해 캡처되거나 또는 그에 의해 캡처되지 않은) 하나 이상의 이미지들 및/또는 비디오 콘텐츠이다.
제2 전자 디바이스의 위치에 대응하는 내비게이션 사용자 인터페이스 요소 내의 위치에서 디스플레이된 제2 전자 디바이스의 표시의 선택을 검출하는 것에 응답하여 제2 전자 디바이스에 의해 캡처된 콘텐츠를 제시하는 위에서 설명된 방식은 제2 전자 디바이스의 위치에 대응하는 콘텐츠를 보는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7g에서와 같이, 제1 개개의 콘텐츠는 제1 물리적 위치에 위치된(또는 그로부터 보이는) 객체(예를 들어, 건물들, 랜드마크, 도로, 인프라구조, 지리적 특징부, 지형, 수역, 초목, 자연 특징부)의 2차원 표현(예를 들어, 732b)을 포함한다(838a). 일부 실시예들에서, 도 7g에서와 같이, 전자 디바이스(예를 들어, 101)는 객체의 2차원 표현(예를 들어, 732b)을 포함하는 제1 개개의 콘텐츠 및 (예를 들어, 제1 개개의 콘텐츠의 정면에서 디스플레이된) 객체(예를 들어, 708e)의 3차원 표현을 동시에 디스플레이한다(838b). 일부 실시예들에서, 객체의 2차원 및 3차원 표현들을 디스플레이하는 동안, 전자 디바이스는 내비게이션 사용자 인터페이스 요소의 디스플레이를 유지한다. 일부 실시예들에서, 객체의 3차원 표현은 (예를 들어, 제1 개개의 콘텐츠 내에서, 그에 근접하게, 그 상에 오버레이되게 등) 3차원 환경의 제1 개개의 위치에서 디스플레이된 사용자 인터페이스 요소의 선택을 검출하는 것에 응답하여 디스플레이된다. 일부 실시예들에서, 객체의 3차원 표현은 객체의 2차원 표현의 선택을 검출하는 것에 응답하여 디스플레이된다. 일부 실시예들에서, 객체의 3차원 표현은 사용자의 시점과 객체의 2차원 표현 사이에서 디스플레이된다.
객체의 2차원 표현 및 3차원 표현을 동시에 디스플레이하는 위에서 설명된 방식은 객체(예를 들어, 그의 상이한 뷰들)에 관한 더 많은 정보를 보는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 9a 내지 도 9h는 일부 실시예들에 따른, 제2 물리적 위치에 대응하는 콘텐츠를 제시하라는 요청에 대응하는 입력에 응답하여 콘텐츠 요소에서, 감소된 시각적 두드러짐으로 제1 물리적 위치로부터 제2 물리적 위치로의 내비게이션을 제시하는 방법을 예시한 흐름도이다. 일부 실시예들에서, 방법(900)은, 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3, 및 도 4의 디스플레이 생성 컴포넌트(120))(예를 들어, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예를 들어, 사용자의 손을 하향으로 포인팅하는 카메라(예를 들어, 컬러 센서들, 적외선 센서들, 및 다른 깊이 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예를 들어, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(900)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 관리된다. 방법(900) 내의 일부 동작들은 선택적으로 조합되고 그리고/또는 일부 동작들의 순서는 선택적으로 변경된다.
일부 실시예들에서, 방법(900)은 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 101)(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로 터치 스크린 디스플레이), 사용자 인터페이스를 투영하거나 사용자 인터페이스로 하여금 하나 이상의 사용자들에게 보이게 하기 위한 외부 디스플레이, 예컨대 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로 통합형 또는 외부) 등이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예를 들어, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예를 들어, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예를 들어, 외장형), 다른 모바일 디바이스(예를 들어, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예를 들어, 외장형), 제어기(예를 들어, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예를 들어, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예를 들어, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예를 들어, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
일부 실시예들에서, 도 7a에서와 같이, 전자 디바이스(예를 들어, 101)는 디스플레이 생성 컴포넌트(예를 들어, 120)를 통해, 사용자 인터페이스를 디스플레이하며(902a), 사용자 인터페이스는 제1 물리적 위치에 대응하는 제1 위치(예를 들어, 716)를 갖는 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)를 포함한다(902b). 일부 실시예들에서, 사용자 인터페이스는 사용자 인터페이스를 포함하는 가상 객체들의 표현들, 및 전자 디바이스의 물리적 환경 내의 실제 객체들의 표현들을 포함하는 3차원 환경을 포함한다. 3차원 환경은 선택적으로, (예를 들어, 전자 디바이스의 위치에 대응하는) 3차원 환경 내의 개개의 위치에서 전자 디바이스와 연관된 사용자의 시점으로부터 1인칭 관점으로부터 제시된다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 방법(800)을 참조하여 설명된 것과 같이, 제1 물리적 위치에 대응하는 제1 위치에서 시각적 표시(예를 들어, 핀)를 갖는 물리적 위치의 3차원 토포그래픽 맵을 포함한다. 예를 들어, 내비게이션 사용자 인터페이스 요소는, 도시 내의 주소, 랜드마크, 또는 좌표들에 대응하는 제1 위치에서 디스플레이된 플래그, 핀, 또는 다른 시각적 표시를 갖는 건물들, 거리들, 및 다른 랜드마크들의 3차원 표현들을 포함하는 도시의 3차원 토포그래픽 맵을 포함한다. 일부 실시예들에서, 전자 디바이스는 지정된 제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소를 디스플레이한다.
일부 실시예들에서, 도 7a에서와 같이, 전자 디바이스(예를 들어, 101)는 디스플레이 생성 컴포넌트(예를 들어, 120)를 통해 사용자 인터페이스를 디스플레이하며(902a), 사용자 인터페이스는 제1 물리적 위치(예를 들어, 716)의 제1 뷰에 대응하는 제1 개개의 콘텐츠(예를 들어, 708a)를 포함하는 콘텐츠 요소(예를 들어, 706)를 포함하고, 여기서 콘텐츠 요소(예를 들어, 706)는 제1 정도의 시각적 두드러짐으로 디스플레이된다(902c). 일부 실시예들에서, 제1 개개의 콘텐츠는 제1 물리적 위치로부터 취해진 그리고/또는 제1 물리적 위치의 이미지(예를 들어, 제1 물리적 위치로부터의 거리 레벨 뷰 이미지)이다. 일부 실시예들에서, 제1 개개의 콘텐츠는 제1 물리적 위치에서 기록된 (예를 들어, 라이브) 비디오이다. 일부 실시예들에서, 제1 개개의 콘텐츠는 방법(800)을 참조하여 설명된 제1 개개의 콘텐츠의 하나 이상의 특성들을 갖는다. 일부 실시예들에서, 시각적 두드러짐의 정도는 콘텐츠 요소 및/또는 콘텐츠 요소에 포함된 제1 개개의 콘텐츠에 적용된 블러의 양이고, 제1 정도의 시각적 두드러짐으로 콘텐츠 요소를 디스플레이하는 것은 콘텐츠 요소 및/또는 콘텐츠 요소에 포함된 제1 개개의 콘텐츠를 블러 없이(또는 비교적 낮은 블러로) 디스플레이하는 것이다. 일부 실시예들에서, 시각적 두드러짐의 정도는 반투명도의 양(예를 들어, 비교적 낮은 반투명도), 콘트라스트(예를 들어, 비교적 높은 콘트라스트), 컬러(예를 들어, 비교적 높은 또는 밝은 컬러), 크기(예를 들어, 비교적 큰 크기), 및/또는 사용자 인터페이스 내의 포지션(예를 들어, 비교적 두드러진/중심 포지션)이다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소 및/또는 콘텐츠 요소 및/또는 제1 개개의 콘텐츠는 디바이스에 의해 보여질 수 있도록 생성되거나, 디스플레이되거나, 또는 달리 야기되는 3차원 환경(예를 들어, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터 생성 현실(XR) 환경)에서 디스플레이된다.
일부 실시예들에서, 도 7b에서와 같이, 디스플레이 생성 컴포넌트(예를 들어, 120)를 통해 제1 정도의 시각적 두드러짐으로 콘텐츠 요소(예를 들어, 706)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력(또는 복수의 사용자 입력들의 시퀀스)을 검출한다(902d). 일부 실시예들에서, 지정된 위치의 표시를 토포그래픽 맵 상의 제1 위치로부터 제2 위치로 이동시키기 위한 입력과 같은 입력이 내비게이션 사용자 인터페이스 요소를 향해 지향된다. 일부 실시예들에서, 콘텐츠의 관점을 제1 물리적 위치로부터 제2 물리적 위치로 변경하거나 또는 제1 개개의 콘텐츠의 시야를 회전시키기 위한 입력과 같은 입력이 제1 개개의 콘텐츠를 향해 지향된다. 일부 실시예들에서, 사용자 입력은 방법(800)을 참조하여 설명된 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력의 하나 이상의 특성들을 갖는다.
일부 실시예들에서, 도 7b에서와 같이, 사용자 입력을 검출하는 것에 응답하여(예를 들어, 그 동안), 전자 디바이스(예를 들어, 101)는 콘텐츠 요소(예를 들어, 706)에서 제1 위치로부터 제2 위치로의 내비게이션을 디스플레이하며, 디스플레이하는 것은, 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 제1 위치와 제2 위치 사이의 하나 이상의 위치들의 표현을 디스플레이하는 것을 포함한다(902e). 일부 실시예들에서, 시각적 두드러짐의 정도는 반투명도(예를 들어, 비교적 높은 반투명도), 콘트라스트(예를 들어, 비교적 낮은 콘트라스트), 컬러(예를 들어, 비교적 낮은 또는 어두운 컬러), 크기(예를 들어, 비교적 작은 크기), 및/또는 사용자 인터페이스 내의 포지션(예를 들어, 비교적 미묘한/주변 포지션) 중 하나 이상의 것의 정도이다. 일부 실시예들에서, 사용자 입력이 제공되고 있는 동안, 전자 디바이스는 블러링된(예를 들어, 비교적 높은 블러의) 외관으로 콘텐츠 요소 및/또는 콘텐츠 요소에 포함된 콘텐츠를 디스플레이한다. 일부 실시예들에서, 입력은, 사용자가 내비게이션 사용자 인터페이스 요소 내의 하나의 위치로부터 내비게이션 사용자 인터페이스 요소 내의 상이한 위치로 개개의 물리적 위치에 대응하는 개개의 위치의 시각적 표시(예를 들어, 핀)를 이동시키는 것이다. 예를 들어, 사용자는 제1 위치로부터 시각적 표시를 픽업하고, 그것을 내비게이션 사용자 인터페이스 요소 내의 제2 위치에 배치하며, 사용자가 시각적 표시를 이동시키고 있는 동안, 전자 디바이스는 콘텐츠 요소를 블러링한다. 일부 실시예들에서, 사용자 입력(또는 복수의 사용자 입력들의 시퀀스)을 검출하는 동안, 콘텐츠 요소는 감소된 정도의 시각적 두드러짐(예를 들어, 비교적 높은 양의 블러)을 갖는 제1 개개의 콘텐츠를 포함한다. 일부 실시예들에서, 사용자 입력(또는 복수의 사용자 입력들의 시퀀스)을 검출하는 동안, 콘텐츠 요소는 감소된 정도의 시각적 두드러짐(예를 들어, 비교적 높은 양의 블러)으로 디스플레이된 맵 내비게이션 요소 내의 개개의 위치의 시각적 표시의 현재 포지션에 대응하는 개개의 콘텐츠를 포함하도록 업데이트된다.
일부 실시예들에서, 도 7c에서와 같이, 제1 위치로부터 제2 위치로의 내비게이션을 디스플레이한 이후(그리고 사용자 입력을 검출하는 것에 응답하여), 전자 디바이스(예를 들어, 101)는 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 (예를 들어, 방법(800)을 참조하여 설명된 것과 같이) 콘텐츠 요소(예를 들어, 706) 내의 제2 물리적 위치(예를 들어, 716)의 제2 뷰에 대응하는 제2 개개의 콘텐츠(예를 들어, 708c)를 디스플레이한다(902f). 일부 실시예들에서, 사용자가 제2 위치를 지정하기 위한 입력 또는 입력들을 제공하는 것을 마무리한 이후, 전자 디바이스는 제2 개개의 콘텐츠를 포함하도록 콘텐츠 요소를 업데이트하고, 제2 물리적 위치의 지정의 시각적 표시(예를 들어, 핀)를 포함하도록 내비게이션 사용자 인터페이스를 업데이트한다. 일부 실시예들에서, 제2 개개의 콘텐츠는 제2 물리적 위치로부터 취해진 이미지이다. 일부 실시예들에서, 제1 개개의 콘텐츠는 제2 물리적 위치에서 기록된 (예를 들어, 라이브) 비디오이다. 일부 실시예들에서, 전자 디바이스는, 사용자 입력에 응답하여 콘텐츠 및 내비게이션 사용자 인터페이스 요소가 디스플레이되는 3차원 환경 내의 위치들을 유지한다. 일부 실시예들에서, 입력을 검출하는 것에 응답하여 그리고/또는 입력이 검출된 이후, 전자 디바이스는 블러 없이(그리고/또는 이전에 설명된 바와 같이, 제1 정도의 시각적 두드러짐에 대응하는 시각적 두드러짐의 다른 특성들로) 제2 개개의 콘텐츠를 디스플레이한다. 일부 실시예들에서, 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐은 입력을 검출하기 전에 사용자 인터페이스가 디스플레이되는 제1 정도의 시각적 두드러짐과 동일하다. 일부 실시예들에서, 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐은 입력을 검출하기 전에 사용자 인터페이스가 디스플레이되는 제1 정도의 시각적 두드러짐보다 더 시각적으로 두드러진다. 일부 실시예들에서, 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐은 입력을 검출하기 전에 사용자 인터페이스가 디스플레이되는 제1 정도의 시각적 두드러짐보다 덜 시각적으로 두드러진다.
제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 동안 콘텐츠 요소의 시각적 특성을 업데이트하는 위에서 설명된 방식은 제2 위치를 지정하는 것이 콘텐츠 요소를 업데이트할 것이라는 것을 사용자에게 표시하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시키고, 추가적인 사용자 입력들로 정정되어야 할 사용의 에러들을 감소시키고, (예를 들어, 콘텐츠에 대응하는 위치의 시각적 표시가 이동되고 있는 동안) 전자 디바이스가 제1 위치 및/또는 제1 및 제2 위치 사이의 중간 위치들에 대응하는 콘텐츠를 완전히 렌더링할 필요성을 감소시킨다.
일부 실시예들에서, 도 7b에서와 같이, 감소된 정도의 시각적 두드러짐으로 콘텐츠 요소(예를 들어, 706)를 디스플레이하는 것은 감소된 시각적 두드러짐으로 콘텐츠 요소(예를 들어, 706)의 전체를 디스플레이하는 것을 포함한다(예를 들어, 콘텐츠 요소의 전체 영역을 블러링하거나, 페이딩하거나, 어둡게 만드는 등을 함)(904a). 일부 실시예들에서, 감소된 정도의 시각적 두드러짐으로 전체 콘텐츠 요소를 디스플레이하는 것은 감소된 정도의 시각적 두드러짐으로 콘텐츠 요소에 포함된 개개의 콘텐츠 전체를 디스플레이하는 것을 포함한다.
감소된 정도의 시각적 두드러짐으로 콘텐츠 요소의 전체를 디스플레이하는 위에서 설명된 방식은 제2 위치를 지정하는 것이 콘텐츠 요소를 업데이트할 것이라는 것을 사용자에게 표시하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시키고, 추가적인 사용자 입력들로 정정되어야 할 사용의 에러들을 감소시키고, (예를 들어, 콘텐츠에 대응하는 위치의 시각적 표시가 이동되고 있는 동안) 전자 디바이스가 제1 위치 및/또는 제1 및 제2 위치 사이의 중간 위치들에 대응하는 콘텐츠를 완전히 렌더링할 필요성을 감소시킨다.
일부 실시예들에서, 감소된 정도의 시각적 두드러짐으로 콘텐츠 요소를 디스플레이하는 것은 감소된 정도의 시각적 두드러짐으로, 콘텐츠 요소의 제2 구역(예를 들어, 콘텐츠 요소의 에지들)을 (예를 들어, 적어도 부분적으로) 둘러싸는 콘텐츠 요소의 제1 구역을 디스플레이하는 것(예를 들어, 블러링하거나, 페이딩하거나, 어둡게 만드는 등을 함), 및 제1 정도의 시각적 두드러짐으로 콘텐츠 요소의 제2 구역을 디스플레이하는 것, 예컨대 감소된 정도의 시각적 두드러짐 없이(예를 들어, 블러링되거나, 페이딩되거나, 어둡게 만들어지는 등 없이) 도 7b의 콘텐츠 사용자 인터페이스 요소(704b)의 중심 부분을 디스플레이하는 것을 포함한다(906a). 일부 실시예들에서, 감소된 정도의 시각적 두드러짐으로 콘텐츠 요소의 제1 구역을 디스플레이하는 것은 감소된 정도의 시각적 두드러짐으로 콘텐츠 요소의 제1 구역에 포함된 개개의 콘텐츠의 부분들을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스 콘텐츠 요소는 블러링되거나, 페이딩되거나, 그리고/또는 어둡게 만들어진 에지들을 갖는다.
감소된 정도의 시각적 두드러짐으로 콘텐츠 요소의 제1 구역을 디스플레이하는 위에서 설명된 방식은 제2 위치를 지정하는 것이 콘텐츠 요소를 업데이트할 것이라는 것을 사용자에게 표시하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시키고, 추가적인 사용자 입력들로 보정되어야 할 사용의 에러들을 감소시키고, (예를 들어, 콘텐츠에 대응하는 위치의 시각적 표시가 이동되고 있는 동안) 전자 디바이스가 제1 위치 및/또는 제1 및 제2 위치 사이의 중간 위치들에 대응하는 콘텐츠를 완전히 렌더링할 필요성을 감소시킨다.
일부 실시예들에서, 도 7a에서와 같이, 제1 정도의 시각적 두드러짐으로 콘텐츠 요소(예를 들어, 706)를 디스플레이하는 동안 그리고 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하기 전에, 전자 디바이스(예를 들어, 101)는 제2 정도의 시각적 두드러짐으로(예를 들어, 3차원들로, 풀 컬러로) 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)의 적어도 일부를 디스플레이한다(908a). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 제1 위치를 포함하는 구역의 3차원 맵이다. 예를 들어, 내비게이션 사용자 인터페이스 요소는 구역 내의 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들 등의 3차원 표현들을 포함한다. 일부 실시예들에서, 제2 정도의 시각적 두드러짐으로 내비게이션 사용자 인터페이스 요소(그의 적어도 일부)를 디스플레이하는 동안, 전자 디바이스는 3차원들로 그리고 풀 컬러, 반투명도 등으로 내비게이션 사용자 인터페이스 요소에서 표현들 전부(또는 그의 적어도 일부)를 디스플레이한다. 일부 실시예들에서, 도 7b에서와 같이, 사용자 입력을 검출하는 동안 그리고 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 콘텐츠 요소(예를 들어, 706)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 제2 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로(예를 들어, 2차원들로, 페이딩된/어둡게 만들어진 컬러로, 증가된 반투명도로) 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)의 적어도 일부를 디스플레이한다(908b). 일부 실시예들에서, 전자 디바이스는 사용자 입력을 검출하는 동안 내비게이션 사용자 인터페이스 요소에 의해 표현되는 구역 내의 객체들 중 하나 이상의 객체들의 2차원 및/또는 어둡게 만들어진, 페이딩된, 그리고/또는 반투명 표현들을 포함하도록 내비게이션 사용자 인터페이스 요소를 업데이트한다. 일부 실시예들에서, 전자 디바이스는 사용자 입력을 검출하는 동안 감소된 정도의 시각적 두드러짐으로 내비게이션 사용자 인터페이스 요소 전체를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 사용자 입력을 검출하는 동안 감소된 정도의 시각적 두드러짐으로 내비게이션 사용자 인터페이스 요소의 적어도 일부(예를 들어, 에지들, 사용자의 미리 정의된 부분(예를 들어, 손, 팔, 머리, 손가락들)에 대응하는 위치의 부분)를 디스플레이한다.
사용자 입력을 검출하는 동안, 감소된 정도의 시각적 두드러짐으로 내비게이션 사용자 인터페이스 요소의 적어도 일부를 디스플레이하는 위에서 설명된 방식은, 입력이 검출되는 동안 전자 디바이스가 내비게이션 사용자 인터페이스 요소를 완전히 렌더링할 필요성을 감소시키며, 이는 전자 디바이스에 의해 수행되는 동작들의 수 및/또는 복잡성을 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7c에서와 같이, 제1 위치로부터 제2 위치로의 내비게이션을 디스플레이한 이후 그리고 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 콘텐츠 요소(예를 들어, 706)를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 제2 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로(예를 들어, 제2 정도의 시각적 두드러짐으로, 제2 정도의 시각적 두드러짐과 상이한 정도의 시각적 두드러짐으로) 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)를 디스플레이한다(910a). 일부 실시예들에서, 제1 위치로부터 제2 위치로의 내비게이션을 디스플레이한 이후, 전자 디바이스는, 제2 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 3차원들로 그리고/또는 표현들의 컬러들에 비해 더 많이 포화되고, 덜 반투명하고, 덜 블러링된 컬러들로 물리적 객체들(예를 들어, 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들)의 하나 이상의 표현들을 갖는 내비게이션 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 제1 위치로부터 제2 위치로의 내비게이션을 디스플레이하는 동안, 전자 디바이스는 감소된 시각적 두드러짐으로 내비게이션 사용자 인터페이스 요소를 디스플레이하고, 제1 위치로부터 제2 위치로의 내비게이션을 디스플레이한 이후, 전자 디바이스는 내비게이션 사용자 인터페이스 요소의 시각적 두드러짐을 증가시킨다.
제1 위치로부터 제2 위치로의 내비게이션을 디스플레이한 이후 내비게이션 사용자 인터페이스 요소가 디스플레이되는 시각적 두드러짐을 증가시키는 위에서 설명된 방식은 내비게이션 사용자 인터페이스 요소의 가시성을 자동으로 개선시키는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 제1 위치로부터 제2 위치로의 내비게이션을 디스플레이한 이후 내비게이션 사용자 인터페이스 요소를 보는 데 필요한 입력들의 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7b에서와 같이, 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 것(912a)은, 눈 추적 디바이스를 통해, 전자 디바이스(예를 들어, 101)의 사용자의 시선(예를 들어, 701d)이 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)로 지향된다는 것을 검출하는 것을 포함한다(912b). 일부 실시예들에서, 전자 디바이스는, 사용자의 시선이 (예를 들어, 내비게이션 사용자 인터페이스 요소 내의 제1 위치에서 디스플레이된) 제1 물리적 위치의 지정의 시각적 표시로 지향된다는 것을 검출한다. 일부 실시예들에서, 전자 디바이스는 사용자의 시선이 제2 물리적 위치에 대응하는 내비게이션 사용자 인터페이스 요소의 제2 위치로 지향된다는 것을 검출한다. 일부 실시예들에서, 도 7b에서와 같이, 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 것(912a)은, 하나 이상의 입력 디바이스들(예를 들어, 손 추적 디바이스)을 통해, 전자 디바이스(예를 들어, 101)의 사용자의 미리 정의된 부분(예를 들어, 728a)(예를 들어, 손가락(들), 손, 팔, 머리 등)의 제스처가 하나 이상의 기준들을 만족시킨다는 것을 검출하는 것을 포함한다(912c). 일부 실시예들에서, 미리 정의된 제스처는 사용자가 그들의 손의 엄지를 이동시켜 손 상의 다른 손가락을 터치하는 핀치 제스처에 대응한다. 일부 실시예들에서, 전자 디바이스는 (예를 들어, 사용자의 미리 정의된 부분의 이동에 따라) 지정을 이동시키기 위해 프로세스를 개시하도록 지정을 "픽업"하기 위해 하나 이상의 기준들을 만족시키는 제스처를 행하는 동안 사용자가 제1 위치의 지정의 시각적 표시를 보고 있다는 것을 검출한다. 일부 실시예들에서, 전자 디바이스는 지정을 제2 위치로 이동시키기 위해 하나 이상의 기준들을 만족시키는 제스처를 행하는 동안 사용자가 제2 위치를 보고 있다는 것을 검출한다.
사용자의 시선 및 사용자에 의해 수행되는 제스처를 검출하는 것에 응답하여 제1 위치로부터 제2 위치로 내비게이팅하는 위에서 설명된 방식은 (예를 들어, 촉각적 입력 디바이스를 조작하지 않으면서) 사용자 인터페이스를 내비게이팅하는 직관적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7b에서와 같이, 콘텐츠 요소(예를 들어, 706)에서 제1 위치로부터 제2 위치로의 내비게이션을 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 제1 위치로부터 제2 위치로의 내비게이션의 대응하는 애니메이션을 디스플레이한다(914a). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소 내의 제1 위치로부터 제2 위치로의 내비게이션의 대응하는 애니메이션은 내비게이션 사용자 인터페이스 요소를 패닝 및/또는 줌하는 것을 포함한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소 내의 제1 위치로부터 제2 위치로의 내비게이션의 대응하는 애니메이션은 지정된 위치의 시각적 표시(예를 들어, 플래그, 핀 등)를 내비게이션 사용자 인터페이스 요소 내의 제1 위치로부터 제2 위치로 이동시키는 애니메이션을 디스플레이하는 것을 포함한다.
내비게이션 사용자 인터페이스 요소에서 제1 위치로부터 제2 위치로의 내비게이션의 애니메이션을 디스플레이하는 위에서 설명된 방식은 제2 위치를 지정하는 것이 사용자 인터페이스를 업데이트할 것이라는 것을 사용자에게 표시하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시키고, 추가적인 사용자 입력들로 보정되어야 할 사용의 에러들을 감소시킨다.
일부 실시예들에서, 전자 디바이스는 사용자 인터페이스에서, 제1 개개의 물리적 위치로부터 제2 개개의 물리적 위치로의 내비게이션 루트의 미리보기(예를 들어, 예컨대 도 7h의 내비게이션 루트의 미리보기)를 디스플레이하도록 선택가능한 선택가능 옵션을 디스플레이한다(916a). 일부 실시예들에서, 선택가능 옵션은 제1 개개의 물리적 위치로부터 제2 개개의 물리적 위치로의 내비게이션 루트를 제시하라는 요청에 응답하여 디스플레이된다. 일부 실시예들에서, 선택가능 옵션은 제1 개개의 물리적 위치로부터 제2 개개의 물리적 위치로의 내비게이션 루트의 표시와 동시에 디스플레이된다. 일부 실시예들에서, 도 7h에서와 같이, 선택가능 옵션의 선택을 검출하는 것에 응답하여(916b), 전자 디바이스(예를 들어, 101)는 콘텐츠 요소(예를 들어, 706)에서, 내비게이션 루트를 내비게이팅하는 것에 대응하는 뷰의 애니메이션(예를 들어, 708f)을 디스플레이한다(916c). 일부 실시예들에서, 내비게이션 루트를 내비게이팅하는 것에 대응하는 뷰의 애니메이션은 내비게이션 루트를 내비게이팅하는 임의의 사람의 관점으로부터의 비디오 콘텐츠 및/또는 일련의 이미지들이다. 일부 실시예들에서, 도 7h에서와 같이, 선택가능 옵션의 선택을 검출하는 것에 응답하여(916b), 전자 디바이스(예를 들어, 101)는 내비게이션 사용자 인터페이스 요소(예를 들어, 704c)에서, 내비게이션 루트(예를 들어, 740)를 내비게이팅하는 대응하는 표시(예를 들어, 736)를 디스플레이한다(916d). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소에서 디스플레이된 대응하는 표시는 내비게이션 루트의 시각적 표시(예를 들어, 내비게이션 사용자 인터페이스 요소 상에 오버레이된 내비게이션 경로) 및 콘텐츠 요소에서 디스플레이된 애니메이션의 부분에 대응하는 개개의 물리적 위치의 표시를 포함한다. 일부 실시예들에서, 콘텐츠 요소에서의 애니메이션이 진행됨에 따라, 콘텐츠 요소에서 디스플레이된 애니메이션의 부분에 대응하는 개개의 물리적 위치의 표시는, 내비게이션 사용자 인터페이스 요소 내의 표시가 콘텐츠 요소에서 디스플레이된 애니메이션과 동기화되는 방식으로 이동되도록 이동된다. 일부 실시예들에서, 내비게이션 루트의 시각적 표시는 내비게이션 루트를 따르지 않는 내비게이션 사용자 인터페이스 요소에 포함된 다른 도로들의 시각적 특성과 상이한 시각적 특성(예를 들어, 컬러, 두께 등)으로 디스플레이되는 내비게이션 루트의 표현이다.
콘텐츠 요소에서 애니메이션을 그리고 내비게이션 사용자 인터페이스 요소에서 대응하는 표시를 디스플레이하는 위에서 설명된 방식은 애니메이션의 현재 디스플레이된 부분에 대응하는 개개의 물리적 위치의 표시와 애니메이션을 동시에 제시하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 애니메이션의 부분들에 대응하는 물리적 위치를 결정하는 데 필요한 입력들의 수를 감소시킴으로써) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 예컨대 도 7b에 예시된 입력을 검출하는 동안, 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)는 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에 대응하는 개개의 물리적 위치들에 위치된 개개의 객체들(예를 들어, 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들)의 하나 이상의(예를 들어, 3차원, 2차원) 표현들(예를 들어, 710c)을 포함한다(918a). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 내비게이션 사용자 인터페이스 요소에서 디스플레이된 구역에 대응하는 개개의 물리적 구역에 위치된 물리적 객체들의 3차원 표현들을 포함한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(예를 들어, 도 7b의 704b)를 디스플레이하는 동안(918b), 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)의 경계가 개개의 객체들의 하나 이상의 표현들(예를 들어, 710c)의 개개의 표현과 일치한다는 결정에 따라, 전자 디바이스(예를 들어, 101)는 내비게이션 사용자 인터페이스 요소에서 개개의 객체들의 하나 이상의 표현들의 개개의 표현의 디스플레이를 보류한다(918c). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 개개의 객체들의 하나 이상의 표현들의 개개의 표현이 내비게이션 사용자 인터페이스 요소의 경계 내에 있다는 결정에 따라, 전자 디바이스는 내비게이션 사용자 인터페이스 요소에서 개개의 객체들의 하나 이상의 표현들의 개개의 표현의 디스플레이를 유지한다. 일부 실시예들에서, 전자 디바이스는 내비게이션 사용자 인터페이스 요소의 경계들 내에 완전히 있는 객체들의 표현들을 디스플레이한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소를 패닝하는 것에 응답하여, 전자 디바이스는, 내비게이션 사용자 인터페이스 요소의 패닝으로 인해, 내비게이션 사용자 인터페이스 요소의 경계(예를 들어, 내비게이션 사용자 인터페이스 요소를 둘러싸는 것으로 디스플레이된 디바이스의 물리적 환경의 표현과 내비게이션 사용자 인터페이스 요소 사이의 경계)에 대응하는 위치들에서 이제 디스플레이되는 객체들의 표현들의 디스플레이를 중단하도록 내비게이션 사용자 인터페이스 요소를 업데이트한다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소를 패닝하는 것에 응답하여, 전자 디바이스는, 내비게이션 사용자 인터페이스 요소의 패닝으로 인해, 내비게이션 사용자 인터페이스 요소의 경계 내의 위치들에서 이제 완전히 디스플레이되는 객체들의 표현들의 디스플레이를 개시하도록 내비게이션 사용자 인터페이스 요소를 업데이트한다. 일부 실시예들에서, 전자 디바이스는, 내비게이션 사용자 인터페이스 요소의 경계에 대응하는 위치들에 위치된 제1 유형들의 객체들(예를 들어, 건물들, 초목들)의 표현들의 디스플레이를 보류하고, 내비게이션 사용자 인터페이스 요소의 경계에 대응하는 위치들에 위치된 제2 유형들의 객체들(예를 들어, 도로들, 지리적 특징부들, 수역들)의 표현들의 부분들을 디스플레이한다.
내비게이션 사용자 인터페이스 요소의 경계와 일치하는 객체들의 표현들의 디스플레이를 보류하는 위에서 설명된 방식은 디스플레이 생성 컴포넌트를 통해 전자 디바이스에 의해 디스플레이되는 콘텐츠의 양을 감소시키며, 이는 (예를 들어, 더 적은 표현들을 렌더링함으로써) 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7a에서와 같이, 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)를 디스플레이하는 동안 - 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)는 제1 물리적 위치에 위치된 제1 (예를 들어, 물리적) 객체의 제1 표현(예를 들어, 701a) 및 제2 물리적 위치에 위치된 제2 (예를 들어, 물리적) 객체의 제2 표현(예를 들어, 710b)을 포함하고, 제1 객체의 제1 표현(예를 들어, 710a) 및 제2 객체의 제2 표현(예를 들어, 710b)은 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)에서 3차원들로 디스플레이됨 -, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들을 통해, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)에 의해 표현된 정보에 대응하는 검색을 수행하라는 요청에 대응하는 입력을 검출한다(920a). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 개개의 물리적 구역에 위치된 물리적 객체들(예를 들어, 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들)의 3차원 표현들을 포함한다. 일부 실시예들에서, 개개의 검색 질의는 개개의 물리적 위치, 개개의 랜드마크, 개개의 주소 등에 대응한다. 일부 실시예들에서, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소를 검색하라는 요청에 대응하는 입력을 검출하는 것에 응답하여(920b), 개개의 검색 질의가 제2 객체가 아니라 제1 객체에 대응한다는(예를 들어, 제1 객체가 질의와 매칭되고, 제2 객체가 질의와 매칭되지 않는다는) 결정에 따라, 전자 디바이스(예를 들어, 101)는 도 7g에서와 같이, 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서, 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 3차원들로 제1 객체의 제1 표현(예를 들어, 710d)을 디스플레이하고(920c), 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 3차원들로 제2 객체의 제2 표현의 적어도 일부(예를 들어, 또는 그 전부)를 디스플레이하는 것을 보류한다(920c). 일부 실시예들에서, 제2 객체의 제2 표현(및 개개의 검색 질의에 대응하지 않는 다른 객체들의 표현들)은 2차원들로 디스플레이된다. 일부 실시예들에서, 전자 디바이스는 제2 객체의 제2 표현(및 개개의 검색 질의에 대응하지 않는 다른 객체들의 표현들)의 디스플레이를 중단한다. 일부 실시예들에서, 전자 디바이스는 제2 객체의 제2 표현(및 개개의 검색 질의에 대응하지 않는 다른 객체들의 표현들)의 높이를 감소시키고 그리고/또는 제2 객체의 제2 표현(및 개개의 검색 질의에 대응하지 않는 다른 객체들의 표현들)이 3차원들로 디스플레이되는 정도를 감소시킨다. 일부 실시예들에서, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)를 검색하라는 요청에 대응하는 입력을 검출하는 것에 응답하여(920b), 개개의 검색 질의가 제1 객체가 아니라 제2 객체에 대응한다는(예를 들어, 제2 객체가 질의와 매칭되고, 제1 객체가 질의와 매칭되지 않는다는) 결정에 따라, 전자 디바이스(예를 들어, 101)는 도 7g에서와 같이, 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서, 내비게이션 사용자 인터페이스 요소에서 3차원들로 제2 객체의 제2 표현(예를 들어, 710d)을 디스플레이하고(920d), 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 3차원들로 제1 객체의 제1 표현의 적어도 일부(또는 그 전부)를 디스플레이하는 것을 보류한다(920d). 일부 실시예들에서, 제1 객체의 제1 표현(및 개개의 검색 질의에 대응하지 않는 다른 객체들의 표현들)은 2차원들로 디스플레이된다. 일부 실시예들에서, 전자 디바이스는 제1 객체의 제1 표현(및 개개의 검색 질의에 대응하지 않는 다른 객체들의 표현들)의 디스플레이를 중단한다. 일부 실시예들에서, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소를 검색하라는 요청에 대응하는 입력을 검출하기 전에, 내비게이션 사용자 인터페이스 요소 내의 객체들의 표현들은 2차원들로 디스플레이되고, 검색 질의에 응답하여, 전자 디바이스는 검색 질의와 매칭되는 객체들의 표현들을 3차원들로 디스플레이하도록 내비게이션 사용자 인터페이스 요소를 업데이트한다(예를 들어, 그리고 검색 질의와 매칭되지 않는 객체들의 표현들의 디스플레이를 2차원들로 유지한다). 일부 실시예들에서, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소를 검색하라는 요청에 대응하는 입력을 검출하기 전에, 내비게이션 사용자 인터페이스 요소 내의 객체들의 표현들은 3차원들로 디스플레이되고, 검색 질의에 응답하여, 전자 디바이스는 검색 질의와 매칭되는 객체들의 표현들의 디스플레이를 3차원들로 유지한다(예를 들어, 그리고 검색 질의와 매칭되지 않는 객체들의 표현들을 2차원들로 디스플레이하도록 내비게이션 사용자 인터페이스 요소를 업데이트한다).
검색 질의에 대응하는 객체들을 3차원들로 디스플레이하고, 내비게이션 사용자 인터페이스 요소에서 검색 질의에 대응하지 않는 객체들의 3차원 표현들의 디스플레이를 중단하는 위에서 설명된 방식은 개개의 검색 질의와 매칭되는 객체들의 표현들을 강조하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 어느 객체들이 검색 질의에 대응하는지 및 어느 객체들이 검색 질의에 대응하지 않는지를 결정하는 데 필요한 입력들의 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7a에서와 같이, 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)를 디스플레이하는 동안 - 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)는 제1 물리적 위치에 위치된 제1 (예를 들어, 물리적) 객체의 제1 표현(예를 들어, 710a) 및 제2 물리적 위치에 위치된 제2 (예를 들어, 물리적) 객체의 제2 표현(예를 들어, 710b)을 포함하고, 제1 객체의 제1 표현(예를 들어, 710a) 및 제2 객체의 제2 표현(예를 들어, 710b)은 제1 값을 갖는 시각적 특성(예를 들어, 컬러, 컬러 방식, 반투명도, 밝기, 컬러 포화도)으로 디스플레이됨 -, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들을 통해, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소에 의해 표현된 정보에 대응하는 검색을 수행하라는 요청에 대응하는 입력을 검출한다(922a). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 제1 컬러(들)로 디스플레이된 개개의 물리적 구역에 위치된 물리적 객체들(예를 들어, 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들)의 표현들을 포함한다. 예를 들어, 표현들은 표현에 대응하는 객체의 유형에 대응하는 컬러들로 디스플레이된다(예를 들어, 제1 컬러의 건물들, 제2 컬러의 도로들, 제3 컬러의 초목들). 다른 예로서, 표현들은 표현들에 대응하는 객체들의 컬러들에 대응하는 풀 컬러로 디스플레이된다. 일부 실시예들에서, 개개의 검색 질의는 개개의 물리적 위치, 개개의 랜드마크, 개개의 주소 등에 대응한다. 일부 실시예들에서, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소를 검색하라는 요청에 대응하는 입력을 검출하는 것에 응답하여(922b), 개개의 검색 질의가 제2 객체가 아니라 제1 객체에 대응한다는(예를 들어, 제1 객체가 질의와 매칭되고, 제2 객체가 질의와 매칭되지 않는다는) 결정에 따라, 전자 디바이스(예를 들어, 101)는 도 7g에서와 같이, 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서, 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 제2 값(예를 들어, 제1 값과 동일하거나 상이함)을 갖는 시각적 특성으로 제1 객체의 제1 표현(예를 들어, 710d)의 적어도 일부(또는 그 전부)를 디스플레이하고(922c), 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 제2 값과 상이한 제3 값(예를 들어, 제1 값과 동일하거나 상이함)을 갖는 시각적 특성으로 제2 객체의 제2 표현(예를 들어, 710e)의 적어도 일부(또는 그 전부)를 디스플레이한다(922c). 일부 실시예들에서, 제2 객체의 제2 표현(및 개개의 검색 질의에 대응하지 않는 다른 객체들의 표현들)은 개개의 검색 질의에 대응하는 제1 객체의 제1 표현과 상이한 컬러 방식 또는 설정 등으로 디스플레이된다. 일부 실시예들에서, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소를 검색하라는 요청에 대응하는 입력을 검출하는 것에 응답하여(922b), 개개의 검색 질의가 제1 객체가 아니라 제2 객체에 대응한다는(예를 들어, 제2 객체가 질의와 매칭되고, 제1 객체가 질의와 매칭되지 않는다는) 결정에 따라, 전자 디바이스(예를 들어, 101)는, 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서, 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 제2 값(예를 들어, 제1 값과 동일하거나 상이함)을 갖는 시각적 특성으로 제2 객체의 제2 표현(예를 들어, 710d)의 적어도 일부(또는 그 전부)를 디스플레이하고(922d), 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)에서 제3 값(예를 들어, 제1 값과 동일하거나 상이함)을 갖는 시각적 특성으로 제1 객체의 제1 표현(예를 들어, 710e)의 적어도 일부(또는 그 전부)를 디스플레이한다(922d). 일부 실시예들에서, 제1 객체의 제1 표현(및 개개의 검색 질의에 대응하지 않는 다른 객체들의 표현들)은 개개의 검색 질의에 대응하는 제2 객체의 제2 표현과 상이한 컬러 방식 또는 설정 등으로 디스플레이된다. 일부 실시예들에서, 전자 디바이스는 검색 질의에 대응하는 객체들의 표현들의 컬러, 컬러 방식 또는 설정 등을 유지하고, 검색 질의에 대응하지 않는 객체들의 표현들의 컬러, 컬러 방식 또는 설정 등을 수정한다. 예를 들어, 전자 디바이스는 검색 질의에 대응하지 않는 표현들의 컬러 포화도 또는 콘트라스트를 감소시키거나, 또는 검색 질의에 대응하지 않는 표현들을 미리 결정된 컬러로 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 검색 질의에 대응하지 않는 객체들의 표현들의 컬러, 컬러 방식 또는 설정 등을 유지하고, 검색 질의에 대응하는 객체들의 표현들의 컬러, 컬러 방식 또는 설정 등을 수정한다. 예를 들어, 전자 디바이스는 검색 질의에 대응하는 객체들의 표현들을 강조하거나, 밝아지게 하거나, 또는 그들에 대해 미리 결정된 컬러를 사용한다. 일부 실시예들에서, 전자 디바이스는, 제1 색상으로 또는 제1 색상 방식, 또는 검색하라는 요청을 검출하기 전에 객체들의 표현들이 디스플레이되었던 방식과 상이한 설정을 이용하여 검색 질의에 대응하는 객체들의 표현들을 디스플레이하고, 제2 색상으로 또는 제2 색상 방식, 또는 검색하라는 요청을 검출하기 전에 객체들의 표현들이 디스플레이되었던 방식과 상이한 설정을 이용하여 검색 질의에 대응하지 않는 객체들의 표현들을 디스플레이한다.
상이한 값들을 갖는 시각적 특성들로 내비게이션 사용자 인터페이스 요소에서 검색 질의에 대응하는 객체들 및 검색 질의에 대응하지 않는 객체들을 디스플레이하는 위에서 설명된 방식은, 개개의 검색 질의와 매칭되는 객체들의 표현들을 구별하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 어느 객체들이 검색 질의에 대응하는지 및 어느 객체들이 검색 질의에 대응하지 않는지를 결정하는 데 필요한 입력들의 수를 감소시켜) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 내비게이션 사용자 인터페이스 요소(예를 들어, 도 7a의 내비게이션 사용자 인터페이스 요소(704a))를 디스플레이하는 동안, 전자 디바이스(예를 들어, 101)는 하나 이상의 입력 디바이스들을 통해, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)에 의해 표현된 정보에 대응하는 검색을 수행하라는 요청에 대응하는 입력을 검출한다(924a). 일부 실시예들에서, 개개의 검색 질의는 개개의 물리적 위치, 개개의 랜드마크, 개개의 주소 등에 대응한다. 일부 실시예들에서, 도 7g에서와 같이, 개개의 검색 질의에 기초하여 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)를 검색하라는 요청에 대응하는 입력을 검출하는 것에 응답하여(예를 들어, 924b), 전자 디바이스(예를 들어, 101)는 디스플레이 생성 컴포넌트(예를 들어, 120)를 통해, (예를 들어, 콘텐츠 요소 내에서) 검색 질의에 대응하는 물리적 객체(예를 들어, 및/또는 위치)의 3차원 표현(예를 들어, 708e)을 디스플레이한다(924c). 일부 실시예들에서, 3차원 표현은 표현이 대응하는 물리적 객체에 대한 실제 스케일로 이루어진다. 일부 실시예들에서, 전자 디바이스는 물리적 객체의 3차원 표현과 동시에 내비게이션 사용자 인터페이스 요소 내의 물리적 객체의 위치의 표시를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 물리적 객체의 3차원 표현과 동시에 물리적 객체에 관한 정보를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 콘텐츠 요소 내의 또는 내비게이션 사용자 인터페이스 요소 내의 객체의 표현의 선택을 검출하는 것에 응답하여 물리적 객체의 3차원 표현을 디스플레이한다. 일부 실시예들에서, 3차원 표현은 방법(800)의 하나 이상의 단계들에 따라 디스플레이된다.
검색 질의에 대응하는 물리적 객체의 3차원 표현을 디스플레이하는 위에서 설명된 방식은 검색 질의에 대응하는 객체를 식별하는 효율적인 방식을 제공하며, 이는 부가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7a에서와 같이, 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)는 개개의 콘텐츠(예를 들어, 710a, 710b)(예를 들어, 3차원들로 디스플레이됨)를 포함한다(926a). 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소는 물리적 구역 내의 물리적 객체들(예를 들어, 건물들, 랜드마크들, 도로들, 인프라구조, 지리적 특징부들, 지형들, 수역들, 초목들, 자연 특징부들)의 표현들을 포함한다. 일부 실시예들에서, 도 7b에서와 같이, 디스플레이된 개개의 콘텐츠를 포함하는 내비게이션 사용자 인터페이스 요소(예를 들어, 704b)를 디스플레이하는 동안, 전자 디바이스는 하나 이상의 입력 디바이스들을 통해, 사용자의 미리 정의된 부분(예를 들어, 728a)(예를 들어, 손가락들, 손, 팔, 머리 등)의 이동을 검출한다(926b). 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스를 포함하는 3차원 환경에서 사용자의 미리 정의된 부분의 표현을 제시한다. 일부 실시예들에서, 표현은 전자 디바이스의 디스플레이 생성 컴포넌트를 통해 디스플레이된 사용자의 미리 정의된 부분의 실사 표현(예를 들어, 비디오 또는 가상 패스스루)이다. 일부에서, 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통해 보이는 사용자의 미리 정의된 부분의 뷰(예를 들어, 실제 또는 진짜 패스스루)이다. 일부 실시예들에서, 도 7b에서와 같이, 사용자의 미리 정의된 부분(예를 들어, 728a)의 이동을 검출하는 것에 응답하여(926c), 사용자의 미리 정의된 부분(예를 들어, 728a)이 내비게이션 사용자 인터페이스 요소(예를 들어, 704b) 내의 개개의 콘텐츠에 대응하는 위치에 있다는 결정에 따라(예를 들어, 3차원 환경 내의 사용자의 미리 정의된 부분의 위치는 3차원 환경 내의 개개의 콘텐츠의 위치와 교차하거나 또는 임계 거리(예를 들어, 0.1, 0.2, 0.3, 0.5, 1, 2, 3, 4, 5, 10 센티미터 등) 내에 있음), 전자 디바이스(예를 들어, 101)는 내비게이션 사용자 인터페이스 요소(예를 들어, 704b) 내의 개개의 콘텐츠를 시각적으로 강조해제한다(926d)(예를 들어, 그의 디스플레이를 중단, 평탄화, 블러링, 그의 반투명도를 증가시킴). 예를 들어, 전자 디바이스는, 내비게이션 사용자 인터페이스 요소 내의 다른 콘텐츠의 디스플레이를 3차원들로 유지하면서, 사용자의 미리 정의된 부분이 콘텐츠 내비게이션 사용자 인터페이스 요소 내의 개개의 콘텐츠에 대응하는 위치에 있다는 결정에 따라 2차원들로 개개의 콘텐츠를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 방법(800)의 하나 이상의 단계들에 따라 개개의 콘텐츠에 대응하는 위치에서 사용자의 미리 정의된 부분을 검출하는 것에 응답하여 개개의 콘텐츠를 시각적으로 강조해제한다.
사용자의 미리 정의된 부분이 내비게이션 사용자 인터페이스 요소 내의 개개의 콘텐츠에 대응하는 위치에 있다는 결정에 따라 개개의 콘텐츠를 시각적으로 강조해제하는 위에서 설명된 방식은 사용자의 미리 정의된 부분의 표현의 가시성을 유지하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 사용자의 미리 정의된 부분을 사용하여 입력들을 전자 디바이스에 제공하는 동안, 사용자의 미리 정의된 부분의 시각적 피드백을 사용자에 제공함으로써) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 도 7a에서와 같이, 내비게이션 요소(예를 들어, 704a)는 내비게이션 사용자 인터페이스 요소(예를 들어, 704a)에 의해 표현된 개개의 물리적 위치(예를 들어, 여기서 날씨 조건이 발생하고 있거나, 발생했거나, 또는 발생할 것으로 예측됨)에서의 날씨 조건(예를 들어, 강수, 구름들, 맑은 날씨, 바람, 안개, 연무)의 표시(예를 들어, 712)를 포함하며, 표시는 개개의 물리적 위치에서의 날씨 조건의 3차원 위치의 표시(예를 들어, 712)를 포함한다(928a). 일부 실시예들에서, 표시는 내비게이션 사용자 인터페이스 요소 내의 위치에서 디스플레이된 날씨 조건의 그림 표현이다. 예를 들어, 개개의 물리적 위치가 비를 경험하고 있다면, 전자 디바이스는 비를 경험하는 개개의 3차원 물리적 위치에 대응하는 내비게이션 사용자 인터페이스 요소 내의 3차원 위치에서 비구름 및 비의 표현을 디스플레이한다. 다른 예로서, 전자 디바이스는 구름들의 3차원 물리적 위치들에 대응하는 3차원 위치들에서 구름들의 3차원 표현들을 디스플레이한다. 예를 들어, 높은 고도의 구름의 표현은 내비게이션 사용자 인터페이스 요소에 대응하는 물리적 위치 위의 비교적 높은 고도에 대응하는 포지션에서 디스플레이된 구름의 이미지이고, 낮은 고도의 구름의 표현은 내비게이션 사용자 인터페이스 요소에 대응하는 물리적 위치 위의 비교적 낮은 고도에 대응하는 포지션에서 디스플레이된 구름의 이미지이다. 일부 실시예들에서, 내비게이션 사용자 인터페이스 요소 내의 개개의 3차원 위치에서의 개개의 날씨 조건의 표시는 물리적 위치에서의 날씨 조건의 표시 및 날씨 조건의 3차원 위치의 표시이다. 예를 들어, 내비게이션 사용자 인터페이스 요소 내의 제1 위치에서의 구름의 표시는 흐린 날씨의 표시 및 흐린 날씨를 경험하는 물리적 위치의 표시이고, 내비게이션 사용자 인터페이스 요소 내의 제2 위치에서의 스모그의 표시는 스모그의 표시 및 스모그를 경험하는 물리적 위치의 표시이다. 내비게이션 사용자 인터페이스 요소에서 날씨 조건의 표시를 디스플레이하는 위에서 설명된 방식은 내비게이션 사용자 인터페이스 요소에 의해 표현되는 하나 이상의 물리적 위치들에서 날씨 조건들을 제시하는 효율적인 방식을 제공하며, 이는 부가적으로, (예를 들어, 다수의 위치들에서 날씨 조건들을 동시에 보는 데 필요한 입력들의 수를 감소시킴으로써) 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 방법들(800, 900)의 태양들/동작들은 이러한 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 간결함을 위해, 이러한 세부사항들은 여기서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 설명되었다. 그러나, 위의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 위의 교시 내용들에 비추어 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.
위에서 설명된 바와 같이, 본 기술의 일 태양은 사용자들의 XR 경험들을 개선시키기 위해 다양한 소스들로부터 이용가능한 데이터의 수집 및 사용이다. 본 개시내용은, 일부 예시들에서, 이러한 수집된 데이터가 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 찾는 데 사용될 수 있는 개인 정보 데이터를 포함할 수 있음을 고려한다. 그러한 개인 정보 데이터는 인구통계 데이터, 위치 기반 데이터, 전화번호들, 이메일 주소들, 트위터 ID들, 집 주소들, 사용자의 건강 또는 피트니스 레벨에 관한 데이터 또는 기록들(예를 들어, 바이탈 사인(vital sign) 측정치들, 약물 정보, 운동 정보), 생년월일, 또는 임의의 다른 식별 또는 개인 정보를 포함할 수 있다.
본 개시내용은 본 기술에서의 그러한 개인 정보 데이터의 사용이 사용자들에게 이득을 주기 위해 사용될 수 있다는 것을 인식한다. 예를 들어, 개인 정보 데이터는 사용자의 XR 경험을 개선시키는 데 사용될 수 있다. 추가로, 사용자에게 이득을 주는 개인 정보 데이터에 대한 다른 사용들이 또한 본 개시내용에 의해 고려된다. 예를 들어, 건강 및 피트니스 데이터는 사용자의 일반적인 웰니스(wellness)에 대한 통찰력을 제공하는 데 사용될 수 있거나, 또는 웰니스 목표들을 추구하기 위한 기술을 사용하여 개인들에게 긍정적인 피드백으로서 사용될 수 있다.
본 개시내용은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전달, 저장, 또는 다른 사용을 담당하는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것임을 고려한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 사용해야 한다. 그러한 정책들은 사용자들에 의해 쉽게 액세스가능해야 하고, 데이터의 수집 및/또는 사용이 변화됨에 따라 업데이트되어야 한다. 사용자들로부터의 개인 정보는 엔티티의 적법하며 합리적인 용도들을 위해 수집되어야 하고, 이들 적법한 용도들을 벗어나서 공유되거나 판매되어서는 안 된다. 추가로, 그러한 수집/공유는 사용자들의 통지된 동의를 수신한 이후 발생해야 한다. 부가적으로, 이러한 엔티티들은, 이러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 조처들을 취하는 것을 고려해야 한다. 추가로, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다. 부가적으로, 정책들 및 관례들은 수집된 그리고/또는 액세스된 특정 유형들의 개인 정보 데이터에 대해 조정되고, 관할구역 특정 고려사항들을 포함하여 적용가능한 법률들 및 표준들로 조정되어야 한다. 예를 들어, 미국에서, 소정 건강 데이터의 수집 또는 그에 대한 액세스는 연방법 및/또는 주의 법, 예를 들어 미국 건강 보험 양도 및 책임 법령(Health Insurance Portability and Accountability Act, HIPAA)에 의해 통제될 수 있는 반면; 다른 국가들에서의 건강 데이터는 다른 규정들 및 정책들의 적용을 받을 수 있고 그에 따라 취급되어야 한다. 따라서, 상이한 프라이버시 관례들은 각각의 국가의 상이한 개인 데이터 유형들에 대해 유지되어야 한다.
전술한 것에도 불구하고, 본 개시내용은 또한 사용자들이 개인 정보 데이터의 사용, 또는 그에 대한 액세스를 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 개시내용은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있다는 것을 고려한다. 예를 들어, XR 경험들의 경우, 본 기술은 사용자들이 서비스를 위한 등록 중 또는 이후 임의의 시간에 개인 정보 데이터의 수집 시의 참여의 "동의함" 또는 "동의하지 않음"을 선택하는 것을 허용하도록 구성될 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 부가하여, 본 개시내용은 개인 정보의 액세스 또는 사용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는 그들의 개인 정보 데이터가 액세스될 앱을 다운로드할 시에 통지받고, 이어서 개인 정보 데이터가 앱에 의해 액세스되기 직전에 다시 상기하게 될 수 있다.
게다가, 의도하지 않은 또는 인가되지 않은 액세스 또는 사용의 위험들을 최소화하기 위한 방식으로 개인 정보 데이터가 관리되고 처리되어야 한다는 것이 본 개시내용의 의도이다. 데이터의 수집을 제한하고 데이터가 더 이상 필요하지 않게 되면 데이터를 삭제함으로써 위험이 최소화될 수 있다. 부가적으로, 그리고 소정의 건강 관련 애플리케이션들에 적용가능한 것을 포함하여 적용가능할 때, 사용자의 프라이버시를 보호하기 위해 데이터 식별해제가 사용될 수 있다. 적절한 경우, 특정 식별자들(예를 들어, 생년월일 등)을 제거함으로써, 저장된 데이터의 양 또는 특이성을 제어함으로써(예를 들어, 주소 레벨보다는 도시 레벨로 위치 데이터를 수집함으로써), 데이터가 저장되는 방식을 제어함으로써(예를 들어, 사용자들에 걸쳐 데이터를 집계함으로써), 그리고/또는 다른 방법들에 의해, 식별해제가 용이하게 될 수 있다.
따라서, 본 개시내용이 하나 이상의 다양한 개시된 실시예들을 구현하기 위해 개인 정보 데이터의 사용을 광범위하게 커버하지만, 본 개시내용은 다양한 실시예들이 또한 그러한 개인 정보 데이터에 액세스할 필요 없이 구현될 수 있다는 것을 또한 고려한다. 즉, 본 기술의 다양한 실시예들은 그러한 개인 정보 데이터의 전부 또는 일부의 결여로 인해 동작불가능하게 되지 않는다. 예를 들어, XR 경험은, 사용자와 연관된 디바이스에 의해 요청되는 콘텐츠, 서비스들에 이용가능한 다른 비-개인 정보, 또는 공개적으로 입수가능한 정보와 같은 비-개인 정보 데이터 또는 드러난 최소량의 개인 정보에 기초하여 선호도들을 추론함으로써 생성될 수 있다.
Claims (49)
- 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 포함하는 3차원 환경을 디스플레이하는 단계 - 상기 사용자 인터페이스는,
제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠 - 상기 제1 개개의 콘텐츠는 상기 3차원 환경 내의 제1 개개의 위치에서 디스플레이됨 -; 및
지정된 상기 제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소를 포함하고, 상기 내비게이션 사용자 인터페이스 요소는 상기 제1 개개의 콘텐츠가 디스플레이되는 상기 제1 개개의 위치와 상기 3차원 환경 내의 사용자의 시점 사이의 상기 3차원 환경에서 디스플레이됨 -; 및
상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 및 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 단계를 포함하고, 상기 제2 개개의 콘텐츠는 상기 3차원 환경 내의 상기 제1 개개의 위치에서 디스플레이되는, 방법. - 제1항에 있어서,
상기 3차원 환경은 상기 전자 디바이스의 물리적 환경 내의 표면의 표현을 포함하고,
상기 내비게이션 사용자 인터페이스 요소는 상기 표면의 상기 표현에 대응하는 상기 3차원 환경 내의 위치에서 디스플레이되는, 방법. - 제1항 또는 제2항에 있어서,
상기 내비게이션 사용자 인터페이스 요소는 상기 전자 디바이스의 물리적 환경 내의 표면에 대응하지 않는 상기 3차원 환경 내의 위치에서 디스플레이되는, 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 개개의 콘텐츠는 상기 전자 디바이스의 물리적 환경의 표현에 의해 둘러싸이고, 상기 제1 개개의 콘텐츠와 상기 전자 디바이스의 상기 물리적 환경의 상기 표현 사이의 경계는 상기 제1 개개의 콘텐츠와 상기 전자 디바이스의 상기 물리적 환경의 상기 표현 사이의 점진적인 시각적 전환을 포함하는, 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 물리적 위치의 상기 제1 뷰에 대응하는 상기 제1 개개의 콘텐츠는 상기 전자 디바이스의 물리적 환경의 표현과 동시에 디스플레이되고, 상기 디스플레이 생성 컴포넌트의 디스플레이 영역의 제1 부분을 점유하며, 상기 방법은,
상기 디스플레이 생성 컴포넌트를 통해, 상기 물리적 환경의 상기 표현과 동시에, 상기 디스플레이 영역의 상기 제1 부분을 점유하는 상기 제1 물리적 위치의 상기 제1 뷰에 대응하는 상기 제1 개개의 콘텐츠를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 물리적 환경의 상기 표현의 디스플레이를 가리라는 요청에 대응하는 개개의 입력을 검출하는 단계; 및
상기 개개의 입력을 검출하는 것에 응답하여, 상기 물리적 환경의 상기 표현의 디스플레이를 가리는 단계를 더 포함하고, 상기 가리는 단계는,
상기 제1 물리적 위치의 상기 제1 뷰보다 큰 제2 뷰에 대응하고;
상기 디스플레이 생성 컴포넌트의 상기 디스플레이 영역의 상기 제1 부분보다 큰 제2 부분을 점유하도록
상기 제1 개개의 콘텐츠를 업데이트하는 단계를 포함하는, 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 제1 물리적 위치의 상기 제1 뷰에 대응하는 상기 제1 개개의 콘텐츠를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 3차원 환경 내의 상기 전자 디바이스의 상기 사용자의 상기 시점의 이동을 검출하는 단계; 및
상기 3차원 환경 내의 상기 전자 디바이스의 상기 사용자의 상기 시점의 상기 이동을 검출하는 것에 응답하여, 상기 사용자의 상기 시점의 상기 이동이 검출되었을 때 상기 사용자의 시선이 상기 제1 개개의 콘텐츠로 지향되었다는 결정에 따라, 상기 사용자의 상기 시점의 상기 이동에 따라, 시뮬레이션된 시차 효과로 상기 제1 개개의 콘텐츠에 대응하는 상기 제1 물리적 위치의 상기 제1 뷰의 디스플레이를 업데이트하는 단계를 더 포함하는, 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 물리적 위치의 상기 제1 뷰에 대응하는 상기 제1 개개의 콘텐츠를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 전자 디바이스의 상기 이동을 검출하는 것에 응답하여, 상기 전자 디바이스의 상기 이동이 하나 이상의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 물리적 위치에 대응하는 부가적인 콘텐츠를 디스플레이하는 단계를 더 포함하는, 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 물리적 위치의 상기 제1 뷰에 대응하는 상기 제1 개개의 콘텐츠를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자 인터페이스에서 디스플레이된 선택가능 사용자 인터페이스 요소로 지향되는 입력을 검출하는 단계; 및
상기 선택가능 사용자 인터페이스 요소로 지향되는 상기 입력을 검출하는 것에 응답하여, 개개의 물리적 위치의 개개의 뷰에 대응하는 제3 개개의 콘텐츠를 디스플레이하는 단계를 더 포함하며, 상기 제3 개개의 콘텐츠는 상기 3차원 환경 내의 상기 제1 개개의 위치에서 디스플레이되는, 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 제1 물리적 위치의 상기 제1 뷰에 대응하는 상기 제1 개개의 콘텐츠를 디스플레이하는 동안, 상기 3차원 환경에 대한 상기 전자 디바이스의 이동을 검출하는 단계; 및
상기 3차원 환경에 대한 상기 전자 디바이스의 상기 이동이 하나 이상의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 물리적 위치에 대응하는 부가적인 콘텐츠를 디스플레이하는 단계; 및
상기 3차원 환경에 대한 상기 전자 디바이스의 상기 이동이 상기 하나 이상의 기준들을 만족시키지 않는다는 결정에 따라, 상기 제1 물리적 위치에 대응하는 상기 부가적인 콘텐츠의 디스플레이를 보류하는 단계를 더 포함하는, 방법. - 제9항에 있어서,
상기 하나 이상의 기준들은 상기 전자 디바이스의 배향의 변화에 기초하여 만족되는 기준 및/또는 상기 사용자의 시선이 상기 3차원 환경 내의 하나 이상의 개개의 객체들로 지향되는지 여부에 기초하여 만족되는 기준을 포함하는, 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 디스플레이 생성 컴포넌트의 디스플레이 영역의 제1 부분을 점유하는 상기 제1 개개의 콘텐츠를 디스플레이하는 동안, 눈 추적 디바이스를 통해, 상기 사용자의 시선이 미리 결정된 시간 임계치를 초과하는 시간의 양 동안 상기 제1 개개의 콘텐츠로 지향되었다는 것을 검출하는 단계; 및
상기 사용자의 상기 시선이 미리 결정된 시간 임계치를 초과하는 시간의 양 동안 상기 제1 개개의 콘텐츠로 지향되었다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트의 상기 디스플레이 영역의 상기 제1 부분보다 큰 제2 부분을 점유하도록 상기 제1 개개의 콘텐츠를 업데이트하는 단계를 더 포함하는, 방법. - 제11항에 있어서,
상기 제1 개개의 콘텐츠를 디스플레이하는 동안, 상기 내비게이션 사용자 인터페이스 요소에서, 상기 제1 개개의 콘텐츠에 대응하는 상기 제1 물리적 위치의 시야의 표시를 디스플레이하는 단계를 더 포함하며,
상기 제1 개개의 콘텐츠가 상기 디스플레이 생성 컴포넌트의 상기 디스플레이 영역의 상기 제1 부분을 점유하는 동안, 상기 시야의 상기 표시는 제1 시야를 표시하고,
상기 제1 개개의 콘텐츠가 상기 디스플레이 생성 컴포넌트의 상기 디스플레이 영역의 상기 제2 부분을 점유하는 동안, 상기 시야의 상기 표시는 상기 제1 시야보다 큰 제2 시야를 표시하는, 방법. - 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 제1 개개의 콘텐츠는 제1 배향을 갖는 제1 시야에 대응하며, 상기 방법은,
상기 제1 개개의 콘텐츠를 디스플레이하고, 상기 내비게이션 사용자 인터페이스 요소에서 상기 제1 시야의 표시를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 배향을 갖는 제2 시야에 대응하는 제3 개개의 콘텐츠를 디스플레이하라는 요청에 대응하는 입력을 검출하는 단계; 및
상기 제2 배향을 갖는 상기 제2 시야에 대응하는 상기 제3 개개의 콘텐츠를 디스플레이하라는 상기 요청에 대응하는 상기 입력을 검출하는 것에 응답하여,
상기 디스플레이 생성 컴포넌트를 통해 상기 제3 개개의 콘텐츠를 디스플레이하는 단계; 및
상기 내비게이션 사용자 인터페이스 요소에서, 상기 제2 시야의 표시가 되도록 상기 제1 시야의 상기 표시를 업데이트하는 단계를 더 포함하는, 방법. - 제1항 내지 제13항 중 어느 한 항에 있어서,
상기 전자 디바이스의 물리적 환경이 상기 전자 디바이스의 상기 물리적 환경에서의 상기 전자 디바이스 주위의 차단되지 않은 공간의 양에 기초하여 만족되는 기준을 포함하는 하나 이상의 기준들을 만족시킨다는 결정에 따라, 상기 3차원 환경에서 제1 크기로 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 단계; 및
상기 전자 디바이스의 상기 물리적 환경이 상기 하나 이상의 기준들을 만족시키지 않는다는 결정에 따라, 상기 3차원 환경에서 상기 제1 크기와 상이한 제2 크기로 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 단계를 더 포함하는, 방법. - 제1항 내지 제14항 중 어느 한 항에 있어서,
상기 내비게이션 요소는 상기 3차원 환경에서 3차원들로 디스플레이된 제1 개개의 부분, 및 상기 3차원 환경에서 2차원들로 디스플레이된 제2 개개의 부분을 포함하고, 상기 제1 개개의 부분은 상기 제2 개개의 부분보다 상기 사용자의 상기 시점에 더 가까운, 방법. - 제1항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 개개의 콘텐츠를 디스플레이하는 동안,
상기 내비게이션 사용자 인터페이스 요소는 상기 제1 물리적 위치를 포함하는 제1 물리적 구역에 대응하고,
상기 내비게이션 사용자 인터페이스 요소는 상기 제1 물리적 구역의 토포그래피의 표시를 포함하는, 방법. - 제1항 내지 제16항 중 어느 한 항에 있어서,
상기 내비게이션 사용자 인터페이스 요소는 3차원들로 디스플레이된 개개의 콘텐츠를 포함하며, 상기 방법은,
3차원들로 디스플레이된 상기 개개의 콘텐츠를 포함하는 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 미리 정의된 부분의 이동을 검출하는 단계; 및
상기 사용자의 상기 미리 정의된 부분의 상기 이동을 검출하는 것에 응답하여,
상기 사용자의 상기 미리 정의된 부분이 상기 내비게이션 사용자 인터페이스 요소에서 3차원들로 디스플레이된 상기 개개의 콘텐츠에 대응하는 위치에 있다는 결정에 따라, 3차원들로 디스플레이된 상기 개개의 콘텐츠를 시각적으로 강조해제(de-emphasize)하도록 상기 내비게이션 사용자 인터페이스 요소를 업데이트하는 단계를 더 포함하는, 방법. - 제1항 내지 제17항 중 어느 한 항에 있어서,
상기 내비게이션 사용자 인터페이스 요소 내에서, 제2 전자 디바이스의 개개의 물리적 위치에 대응하는 상기 내비게이션 사용자 인터페이스 요소 내의 개개의 위치에서 디스플레이된 상기 제2 전자 디바이스의 표시를 디스플레이하는 단계;
상기 내비게이션 사용자 인터페이스 요소에서 상기 제2 전자 디바이스의 상기 표시를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해 상기 제2 전자 디바이스의 상기 표시의 선택을 검출하는 단계; 및
상기 제2 전자 디바이스의 상기 표시의 상기 선택을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 전자 디바이스의 상기 개개의 물리적 위치의 상기 제2 전자 디바이스에 의해 캡처된 콘텐츠를 디스플레이하는 단계를 더 포함하는, 방법. - 제1항 내지 제18항 중 어느 한 항에 있어서,
상기 제1 개개의 콘텐츠는 상기 제1 물리적 위치에 위치된 객체의 2차원 표현을 포함하며, 상기 방법은,
상기 객체의 상기 2차원 표현을 포함하는 상기 제1 개개의 콘텐츠 및 상기 객체의 3차원 표현을 동시에 디스플레이하는 단계를 더 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 포함하는 3차원 환경을 디스플레이하고 - 상기 사용자 인터페이스는,
제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠 - 상기 제1 개개의 콘텐츠는 상기 3차원 환경 내의 제1 개개의 위치에서 디스플레이됨 -; 및
지정된 상기 제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소를 포함하고, 상기 내비게이션 사용자 인터페이스 요소는 상기 제1 개개의 콘텐츠가 디스플레이되는 상기 제1 개개의 위치와 상기 3차원 환경 내의 사용자의 시점 사이의 상기 3차원 환경에서 디스플레이됨 -;
상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 및 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하고;
상기 사용자 입력을 검출하는 것에 응답하여, 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하기 위한
명령어들을 포함하고, 상기 제2 개개의 콘텐츠는 상기 3차원 환경 내의 상기 제1 개개의 위치에서 디스플레이되는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며,
상기 방법은,
디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 포함하는 3차원 환경을 디스플레이하는 단계 - 상기 사용자 인터페이스는,
제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠 - 상기 제1 개개의 콘텐츠는 상기 3차원 환경 내의 제1 개개의 위치에서 디스플레이됨 -; 및
지정된 상기 제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소를 포함하고, 상기 내비게이션 사용자 인터페이스 요소는 상기 제1 개개의 콘텐츠가 디스플레이되는 상기 제1 개개의 위치와 상기 3차원 환경 내의 사용자의 시점 사이의 상기 3차원 환경에서 디스플레이됨 -; 및
상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 및 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 단계를 포함하고, 상기 제2 개개의 콘텐츠는 상기 3차원 환경 내의 상기 제1 개개의 위치에서 디스플레이되는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 포함하는 3차원 환경을 디스플레이하기 위한 수단 - 상기 사용자 인터페이스는,
제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠 - 상기 제1 개개의 콘텐츠는 상기 3차원 환경 내의 제1 개개의 위치에서 디스플레이됨 -; 및
지정된 상기 제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소를 포함하고, 상기 내비게이션 사용자 인터페이스 요소는 상기 제1 개개의 콘텐츠가 디스플레이되는 상기 제1 개개의 위치와 상기 3차원 환경 내의 사용자의 시점 사이의 상기 3차원 환경에서 디스플레이됨 -; 및
상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 및 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하기 위한 수단; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하기 위한 수단을 포함하고, 상기 제2 개개의 콘텐츠는 상기 3차원 환경 내의 상기 제1 개개의 위치에서 디스플레이되는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 포함하는 3차원 환경을 디스플레이하기 위한 수단 - 상기 사용자 인터페이스는,
제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠 - 상기 제1 개개의 콘텐츠는 상기 3차원 환경 내의 제1 개개의 위치에서 디스플레이됨 -; 및
지정된 상기 제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소를 포함하고, 상기 내비게이션 사용자 인터페이스 요소는 상기 제1 개개의 콘텐츠가 디스플레이되는 상기 제1 개개의 위치와 상기 3차원 환경 내의 사용자의 시점 사이의 상기 3차원 환경에서 디스플레이됨 -; 및
상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 및 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하기 위한 수단; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하기 위한 수단을 포함하고, 상기 제2 개개의 콘텐츠는 상기 3차원 환경 내의 상기 제1 개개의 위치에서 디스플레이되는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며,
상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제1항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제1항 내지 제19항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제1항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제1항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해 사용자 인터페이스를 디스플레이하는 단계 - 상기 사용자 인터페이스는,
제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소, 및
상기 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠를 포함하는 콘텐츠 요소를 포함하고, 상기 콘텐츠 요소는 제1 정도의 시각적 두드러짐(visual prominence)으로 디스플레이됨 -;
상기 디스플레이 생성 컴포넌트를 통해 상기 제1 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 콘텐츠 요소에서 상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이하는 단계 - 상기 디스플레이하는 단계는, 상기 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 상기 제1 위치와 상기 제2 위치 사이의 하나 이상의 위치들의 표현을 디스플레이하는 단계를 포함함 -; 및
상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이한 이후, 상기 제1 정도의 시각적 두드러짐에 비해 상기 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 상기 콘텐츠 요소 내의 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 디스플레이하는 단계를 포함하는, 방법. - 제28항에 있어서,
상기 감소된 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 것은 상기 감소된 정도의 시각적 두드러짐으로 상기 콘텐츠 요소의 전체를 디스플레이하는 것을 포함하는, 방법. - 제28항에 있어서,
상기 감소된 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 것은 상기 감소된 정도의 시각적 두드러짐으로, 상기 콘텐츠 요소의 제2 구역을 둘러싸는 상기 콘텐츠 요소의 제1 구역을 디스플레이하는 것, 및 상기 제1 정도의 시각적 두드러짐으로 상기 콘텐츠 요소의 상기 제2 구역을 디스플레이하는 것을 포함하는, 방법. - 제28항 내지 제30항 중 어느 한 항에 있어서,
상기 제1 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 동안 그리고 상기 제2 물리적 위치에 대응하는 상기 제2 위치를 지정하라는 상기 요청에 대응하는 상기 사용자 입력을 검출하기 전에, 제2 정도의 시각적 두드러짐으로 상기 내비게이션 사용자 인터페이스 요소의 적어도 일부를 디스플레이하는 단계; 및
상기 사용자 입력을 검출하는 동안 그리고 상기 제1 정도의 시각적 두드러짐에 비해 상기 감소된 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 동안, 상기 제2 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 상기 내비게이션 사용자 인터페이스 요소의 상기 적어도 일부를 디스플레이하는 단계를 더 포함하는, 방법. - 제31항에 있어서,
상기 제1 위치로부터 상기 제2 위치로의 상기 내비게이션을 디스플레이한 이후 그리고 상기 제1 정도의 시각적 두드러짐에 비해 상기 감소된 정도의 시각적 두드러짐보다 큰 상기 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 동안, 상기 제2 정도의 시각적 두드러짐에 비해 상기 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 단계를 더 포함하는, 방법. - 제28항 내지 제32항 중 어느 한 항에 있어서,
상기 제2 위치를 지정하라는 상기 요청에 대응하는 상기 사용자 입력을 검출하는 단계는,
눈 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 상기 내비게이션 사용자 인터페이스 요소로 지향된다는 것을 검출하는 단계, 및
상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 상기 사용자의 미리 정의된 부분의 제스처가 하나 이상의 기준들을 만족시킨다는 것을 검출하는 단계를 포함하는, 방법. - 제28항 내지 제33항 중 어느 한 항에 있어서,
상기 콘텐츠 요소에서 상기 제1 위치로부터 상기 제2 위치로의 상기 내비게이션을 디스플레이하는 동안, 상기 내비게이션 사용자 인터페이스 요소에서 상기 제1 위치로부터 상기 제2 위치로의 내비게이션의 대응하는 애니메이션을 디스플레이하는 단계를 더 포함하는, 방법. - 제28항 내지 제34항 중 어느 한 항에 있어서,
상기 사용자 인터페이스에서, 제1 개개의 물리적 위치로부터 제2 개개의 물리적 위치로의 내비게이션 루트의 미리보기를 디스플레이하도록 선택가능한 선택가능 옵션을 디스플레이하는 단계; 및
상기 선택가능 옵션의 선택을 검출하는 것에 응답하여,
상기 콘텐츠 요소에서, 상기 내비게이션 루트를 내비게이팅하는 것에 대응하는 뷰의 애니메이션을 디스플레이하는 단계; 및
상기 내비게이션 사용자 인터페이스 요소에서, 상기 내비게이션 루트를 내비게이팅하는 대응하는 표시를 디스플레이하는 단계를 더 포함하는, 방법. - 제28항 내지 제35항 중 어느 한 항에 있어서,
상기 내비게이션 사용자 인터페이스 요소는 상기 내비게이션 사용자 인터페이스 요소에 대응하는 개개의 물리적 위치들에 위치된 개개의 객체들의 하나 이상의 표현들을 포함하며, 상기 방법은,
상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안,
상기 내비게이션 사용자 인터페이스 요소의 경계가 상기 개개의 객체들의 상기 하나 이상의 표현들의 개개의 표현과 일치한다는 결정에 따라, 상기 내비게이션 사용자 인터페이스 요소에서 상기 개개의 객체들의 상기 하나 이상의 표현들의 상기 개개의 표현의 디스플레이를 보류하는 단계를 더 포함하는, 방법. - 제28항 내지 제36항 중 어느 한 항에 있어서,
상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안 - 상기 내비게이션 사용자 인터페이스 요소는 제1 물리적 위치에 위치된 제1 객체의 제1 표현 및 제2 물리적 위치에 위치된 제2 객체의 제2 표현을 포함하고, 상기 제1 객체의 상기 제1 표현 및 상기 제2 객체의 상기 제2 표현은 상기 내비게이션 사용자 인터페이스 요소에서 3차원들로 디스플레이됨 -, 상기 하나 이상의 입력 디바이스들을 통해, 개개의 검색 질의에 기초하여 상기 내비게이션 사용자 인터페이스 요소에 의해 표현된 정보에 대응하는 검색을 수행하라는 요청에 대응하는 입력을 검출하는 단계; 및
개개의 검색 질의에 기초하여 상기 내비게이션 사용자 인터페이스 요소를 검색하라는 상기 요청에 대응하는 상기 입력을 검출하는 것에 응답하여,
상기 개개의 검색 질의가 상기 제2 객체가 아니라 상기 제1 객체에 대응한다는 결정에 따라, 상기 내비게이션 사용자 인터페이스 요소에서, 상기 내비게이션 사용자 인터페이스 요소에서 3차원들로 상기 제1 객체의 상기 제1 표현을 디스플레이하고, 상기 내비게이션 사용자 인터페이스 요소에서 3차원들로 상기 제2 객체의 상기 제2 표현의 적어도 일부를 디스플레이하는 것을 보류하는 단계; 및
상기 개개의 검색 질의가 상기 제1 객체가 아니라 상기 제2 객체에 대응한다는 결정에 따라, 상기 내비게이션 사용자 인터페이스 요소에서, 상기 내비게이션 사용자 인터페이스 요소에서 3차원들로 상기 제2 객체의 상기 제2 표현을 디스플레이하고, 상기 내비게이션 사용자 인터페이스 요소에서 3차원들로 상기 제1 객체의 상기 제1 표현의 적어도 일부를 디스플레이하는 것을 보류하는 단계를 더 포함하는, 방법. - 제28항 내지 제37항 중 어느 한 항에 있어서,
상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안 - 상기 내비게이션 사용자 인터페이스 요소는 제1 물리적 위치에 위치된 제1 객체의 제1 표현 및 제2 물리적 위치에 위치된 제2 객체의 제2 표현을 포함하고, 상기 제1 객체의 상기 제1 표현 및 상기 제2 객체의 상기 제2 표현은 제1 값을 갖는 시각적 특성으로 디스플레이됨 -, 상기 하나 이상의 입력 디바이스들을 통해, 개개의 검색 질의에 기초하여 상기 내비게이션 사용자 인터페이스 요소에 의해 표현된 정보에 대응하는 검색을 수행하라는 요청에 대응하는 입력을 검출하는 단계; 및
개개의 검색 질의에 기초하여 상기 내비게이션 사용자 인터페이스 요소를 검색하라는 상기 요청에 대응하는 상기 입력을 검출하는 것에 응답하여,
상기 개개의 검색 질의가 상기 제2 객체가 아니라 상기 제1 객체에 대응한다는 결정에 따라, 상기 내비게이션 사용자 인터페이스 요소에서, 상기 내비게이션 사용자 인터페이스 요소에서 제2 값을 갖는 상기 시각적 특성으로 상기 제1 객체의 상기 제1 표현의 적어도 일부를 디스플레이하고, 상기 내비게이션 사용자 인터페이스 요소에서 상기 제2 값과 상이한 제3 값을 갖는 상기 시각적 특성으로 상기 제2 객체의 상기 제2 표현의 적어도 일부를 디스플레이하는 단계; 및
상기 개개의 검색 질의가 상기 제1 객체가 아니라 상기 제2 객체에 대응한다는 결정에 따라, 상기 내비게이션 사용자 인터페이스 요소에서, 상기 내비게이션 사용자 인터페이스 요소에서 상기 제2 값을 갖는 상기 시각적 특성으로 상기 제2 객체의 상기 제2 표현의 적어도 일부를 디스플레이하고, 상기 내비게이션 사용자 인터페이스 요소에서 상기 제3 값을 갖는 상기 시각적 특성으로 상기 제1 객체의 상기 제1 표현의 적어도 일부를 디스플레이하는 단계를 더 포함하는, 방법. - 제28항 내지 제38항 중 어느 한 항에 있어서,
상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 개개의 검색 질의에 기초하여 상기 내비게이션 사용자 인터페이스 요소에 의해 표현된 정보에 대응하는 검색을 수행하라는 요청에 대응하는 입력을 검출하는 단계; 및
상기 개개의 검색 질의에 기초하여 상기 내비게이션 사용자 인터페이스 요소를 검색하라는 상기 요청에 대응하는 상기 입력을 검출하는 것에 응답하여,
상기 디스플레이 생성 컴포넌트를 통해, 상기 검색 질의에 대응하는 물리적 객체의 3차원 표현을 디스플레이하는 단계를 더 포함하는, 방법. - 제28항 내지 제39항 중 어느 한 항에 있어서,
상기 내비게이션 사용자 인터페이스 요소는 개개의 콘텐츠를 포함하며, 상기 방법은,
디스플레이된 상기 개개의 콘텐츠를 포함하는 상기 내비게이션 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 미리 정의된 부분의 이동을 검출하는 단계; 및
상기 사용자의 상기 미리 정의된 부분의 상기 이동을 검출하는 것에 응답하여,
상기 사용자의 상기 미리 정의된 부분이 상기 내비게이션 사용자 인터페이스 요소 내의 상기 개개의 콘텐츠에 대응하는 위치에 있다는 결정에 따라, 상기 내비게이션 사용자 인터페이스 요소 내의 상기 개개의 콘텐츠를 시각적으로 강조해제하는 단계를 더 포함하는, 방법. - 제28항 내지 제40항 중 어느 한 항에 있어서,
상기 내비게이션 요소는 상기 내비게이션 사용자 인터페이스 요소에 의해 표현된 개개의 물리적 위치에서의 날씨 조건의 표시를 포함하며, 상기 표시는 상기 개개의 물리적 위치에서의 상기 날씨 조건의 3차원 위치의 표시를 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해 사용자 인터페이스를 디스플레이하고 - 상기 사용자 인터페이스는,
제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소, 및
상기 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠를 포함하는 콘텐츠 요소를 포함하고, 상기 콘텐츠 요소는 제1 정도의 시각적 두드러짐으로 디스플레이됨 -;
상기 디스플레이 생성 컴포넌트를 통해 상기 제1 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하고;
상기 사용자 입력을 검출하는 것에 응답하여, 상기 콘텐츠 요소에서 상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이하고 - 상기 디스플레이하는 것은, 상기 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 상기 제1 위치와 상기 제2 위치 사이의 하나 이상의 위치들의 표현을 디스플레이하는 것을 포함함 -;
상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이한 이후, 상기 제1 정도의 시각적 두드러짐에 비해 상기 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 상기 콘텐츠 요소 내의 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 디스플레이하기 위한
명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며,
상기 방법은,
디스플레이 생성 컴포넌트를 통해 사용자 인터페이스를 디스플레이하는 단계 - 상기 사용자 인터페이스는,
제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소, 및
상기 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠를 포함하는 콘텐츠 요소를 포함하고, 상기 콘텐츠 요소는 제1 정도의 시각적 두드러짐으로 디스플레이됨 -;
상기 디스플레이 생성 컴포넌트를 통해 상기 제1 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 콘텐츠 요소에서 상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이하는 단계 - 상기 디스플레이하는 단계는, 상기 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 상기 제1 위치와 상기 제2 위치 사이의 하나 이상의 위치들의 표현을 디스플레이하는 단계를 포함함 -; 및
상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이한 이후, 상기 제1 정도의 시각적 두드러짐에 비해 상기 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 상기 콘텐츠 요소 내의 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 디스플레이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해 사용자 인터페이스를 디스플레이하기 위한 수단 - 상기 사용자 인터페이스는,
제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소, 및
상기 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠를 포함하는 콘텐츠 요소를 포함하고, 상기 콘텐츠 요소는 제1 정도의 시각적 두드러짐으로 디스플레이됨 -;
상기 디스플레이 생성 컴포넌트를 통해 상기 제1 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하기 위한 수단; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 콘텐츠 요소에서 상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이하기 위한 수단 - 상기 디스플레이하는 것은, 상기 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 상기 제1 위치와 상기 제2 위치 사이의 하나 이상의 위치들의 표현을 디스플레이하는 것을 포함함 -; 및
상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이한 이후, 상기 제1 정도의 시각적 두드러짐에 비해 상기 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 상기 콘텐츠 요소 내의 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 디스플레이하는 것을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해 사용자 인터페이스를 디스플레이하기 위한 수단 - 상기 사용자 인터페이스는,
제1 물리적 위치에 대응하는 제1 위치를 갖는 내비게이션 사용자 인터페이스 요소, 및
상기 제1 물리적 위치의 제1 뷰에 대응하는 제1 개개의 콘텐츠를 포함하는 콘텐츠 요소를 포함하고, 상기 콘텐츠 요소는 제1 정도의 시각적 두드러짐으로 디스플레이됨 -;
상기 디스플레이 생성 컴포넌트를 통해 상기 제1 정도의 시각적 두드러짐으로 상기 콘텐츠 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 제2 물리적 위치에 대응하는 제2 위치를 지정하라는 요청에 대응하는 사용자 입력을 검출하는 것; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 콘텐츠 요소에서 상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이하는 것 - 상기 디스플레이하는 것은, 상기 제1 정도의 시각적 두드러짐에 비해 감소된 정도의 시각적 두드러짐으로 상기 제1 위치와 상기 제2 위치 사이의 하나 이상의 위치들의 표현을 디스플레이하는 것을 포함함 -; 및
상기 제1 위치로부터 상기 제2 위치로의 내비게이션을 디스플레이한 이후, 상기 제1 정도의 시각적 두드러짐에 비해 상기 감소된 정도의 시각적 두드러짐보다 큰 정도의 시각적 두드러짐으로 상기 콘텐츠 요소 내의 상기 제2 물리적 위치의 제2 뷰에 대응하는 제2 개개의 콘텐츠를 디스플레이하는 것을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며,
상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제28항 내지 제41항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제28항 내지 제41항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제28항 내지 제41항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제28항 내지 제41항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163164296P | 2021-03-22 | 2021-03-22 | |
| US63/164,296 | 2021-03-22 | ||
| PCT/US2022/071228 WO2022204664A1 (en) | 2021-03-22 | 2022-03-18 | Devices, methods, and graphical user interfaces for maps |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230158505A true KR20230158505A (ko) | 2023-11-20 |
Family
ID=81308040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237032394A KR20230158505A (ko) | 2021-03-22 | 2022-03-18 | 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220301264A1 (ko) |
| EP (1) | EP4295219A1 (ko) |
| JP (1) | JP2024512040A (ko) |
| KR (1) | KR20230158505A (ko) |
| CN (2) | CN117043722A (ko) |
| WO (1) | WO2022204664A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220301264A1 (en) * | 2021-03-22 | 2022-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for maps |
| US20220345591A1 (en) * | 2021-04-22 | 2022-10-27 | David Shau | Underwater Camera Operations |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2100273A2 (en) * | 2006-11-13 | 2009-09-16 | Everyscape, Inc | Method for scripting inter-scene transitions |
| WO2008153599A1 (en) * | 2006-12-07 | 2008-12-18 | Adapx, Inc. | Systems and methods for data annotation, recordation, and communication |
| US9164975B2 (en) * | 2008-06-24 | 2015-10-20 | Monmouth University | System and method for viewing and marking maps |
| US8400548B2 (en) * | 2010-01-05 | 2013-03-19 | Apple Inc. | Synchronized, interactive augmented reality displays for multifunction devices |
| US8436872B2 (en) * | 2010-02-03 | 2013-05-07 | Oculus Info Inc. | System and method for creating and displaying map projections related to real-time images |
| US20130263016A1 (en) * | 2012-03-27 | 2013-10-03 | Nokia Corporation | Method and apparatus for location tagged user interface for media sharing |
| US9135751B2 (en) * | 2012-06-05 | 2015-09-15 | Apple Inc. | Displaying location preview |
| US9886795B2 (en) * | 2012-09-05 | 2018-02-06 | Here Global B.V. | Method and apparatus for transitioning from a partial map view to an augmented reality view |
| US9437047B2 (en) * | 2014-01-15 | 2016-09-06 | Htc Corporation | Method, electronic apparatus, and computer-readable medium for retrieving map |
| US10061486B2 (en) * | 2014-11-05 | 2018-08-28 | Northrop Grumman Systems Corporation | Area monitoring system implementing a virtual environment |
| CA2994511C (en) * | 2015-08-06 | 2020-01-21 | Accenture Global Services Limited | Condition detection using image processing |
| KR20170059760A (ko) * | 2015-11-23 | 2017-05-31 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US10768421B1 (en) * | 2016-07-18 | 2020-09-08 | Knowledge Initiatives LLC | Virtual monocle interface for information visualization |
| US10572101B2 (en) * | 2016-11-14 | 2020-02-25 | Taqtile, Inc. | Cross-platform multi-modal virtual collaboration and holographic maps |
| US10777007B2 (en) * | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
| US11861136B1 (en) * | 2017-09-29 | 2024-01-02 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with virtual reality environments |
| US20190325654A1 (en) * | 2018-04-24 | 2019-10-24 | Bae Systems Information And Electronic Systems Integration Inc. | Augmented reality common operating picture |
| EP3803702A1 (en) * | 2018-06-01 | 2021-04-14 | Apple Inc. | Method and devices for switching between viewing vectors in a synthesized reality setting |
| US11181862B2 (en) * | 2018-10-31 | 2021-11-23 | Doubleme, Inc. | Real-world object holographic transport and communication room system |
| US11527047B2 (en) * | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
| US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
| US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
| US20220295032A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system for remote presentation for viewing an event |
| US11657578B2 (en) * | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
| US20230260240A1 (en) * | 2021-03-11 | 2023-08-17 | Quintar, Inc. | Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation |
| US11645819B2 (en) * | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
| US20220301264A1 (en) * | 2021-03-22 | 2022-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for maps |
-
2022
- 2022-03-18 US US17/655,521 patent/US20220301264A1/en active Pending
- 2022-03-18 EP EP22716801.0A patent/EP4295219A1/en active Pending
- 2022-03-18 KR KR1020237032394A patent/KR20230158505A/ko unknown
- 2022-03-18 CN CN202280023598.9A patent/CN117043722A/zh active Pending
- 2022-03-18 WO PCT/US2022/071228 patent/WO2022204664A1/en active Application Filing
- 2022-03-18 CN CN202410498835.8A patent/CN118519521A/zh active Pending
- 2022-03-18 JP JP2023558415A patent/JP2024512040A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022204664A1 (en) | 2022-09-29 |
| CN117043722A (zh) | 2023-11-10 |
| US20220301264A1 (en) | 2022-09-22 |
| CN118519521A (zh) | 2024-08-20 |
| JP2024512040A (ja) | 2024-03-18 |
| EP4295219A1 (en) | 2023-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11995230B2 (en) | Methods for presenting and sharing content in an environment | |
| US12112009B2 (en) | Methods for providing an immersive experience in an environment | |
| US20230384907A1 (en) | Methods for relative manipulation of a three-dimensional environment | |
| US20240103684A1 (en) | Methods for displaying objects relative to virtual surfaces | |
| US20230350539A1 (en) | Representations of messages in a three-dimensional environment | |
| KR20240064014A (ko) | 가상 환경들에서 가상 객체들을 제시하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| US20230336865A1 (en) | Device, methods, and graphical user interfaces for capturing and displaying media | |
| KR20230158505A (ko) | 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| US20240028177A1 (en) | Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments | |
| US20230106627A1 (en) | Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| US20230221833A1 (en) | Methods for displaying user interface elements relative to media content | |
| US20230334808A1 (en) | Methods for displaying, selecting and moving objects and containers in an environment | |
| US20240104849A1 (en) | User interfaces that include representations of the environment | |
| US20240103614A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
| US20240281108A1 (en) | Methods for displaying a user interface object in a three-dimensional environment | |
| US20230206572A1 (en) | Methods for sharing content and interacting with physical devices in a three-dimensional environment | |
| KR20240047458A (ko) | 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 | |
| WO2024064180A1 (en) | User interfaces that include representations of the environment | |
| WO2024064932A1 (en) | Methods for controlling and interacting with a three-dimensional environment | |
| CN117480472A (zh) | 用于在环境中提供沉浸式体验的方法 | |
| WO2024020061A1 (en) | Devices, methods, and graphical user interfaces for providing inputs in three-dimensional environments | |
| WO2024064388A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
| CN118844058A (zh) | 用于显示与媒体内容相关的用户界面元素的方法 |