KR20230054733A - 가상 제어부들과 상호작용하기 위한 방법들 및/또는 가상 환경들에서 가상 객체들을 이동시키기 위한 어포던스 - Google Patents
가상 제어부들과 상호작용하기 위한 방법들 및/또는 가상 환경들에서 가상 객체들을 이동시키기 위한 어포던스 Download PDFInfo
- Publication number
- KR20230054733A KR20230054733A KR1020237010528A KR20237010528A KR20230054733A KR 20230054733 A KR20230054733 A KR 20230054733A KR 1020237010528 A KR1020237010528 A KR 1020237010528A KR 20237010528 A KR20237010528 A KR 20237010528A KR 20230054733 A KR20230054733 A KR 20230054733A
- Authority
- KR
- South Korea
- Prior art keywords
- user interface
- interface element
- user
- input
- detecting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 230
- 230000009471 action Effects 0.000 claims abstract description 87
- 230000003993 interaction Effects 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims description 477
- 230000033001 locomotion Effects 0.000 claims description 275
- 230000000875 corresponding effect Effects 0.000 claims description 242
- 238000000926 separation method Methods 0.000 claims description 217
- 230000000007 visual effect Effects 0.000 claims description 184
- 238000004891 communication Methods 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 9
- 230000002829 reductive effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims 12
- 229910052709 silver Inorganic materials 0.000 claims 1
- 239000004332 silver Substances 0.000 claims 1
- 210000003811 finger Anatomy 0.000 description 236
- 210000003813 thumb Anatomy 0.000 description 108
- 210000004247 hand Anatomy 0.000 description 48
- 210000004932 little finger Anatomy 0.000 description 34
- 230000003190 augmentative effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 241000699666 Mus <mouse, genus> Species 0.000 description 17
- 230000001965 increasing effect Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 210000003128 head Anatomy 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 10
- 241001422033 Thestylus Species 0.000 description 9
- 230000002708 enhancing effect Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 230000001149 cognitive effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 230000000977 initiatory effect Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
Abstract
일부 실시예들에서, 전자 디바이스는 3차원 환경에서 가상 객체들과의 상호작용들을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 한다.
Description
관련 출원의 상호 참조
본 출원은 2020년 9월 25일자로 출원된 미국 가출원 제63/083,802호 및 2021년 9월 23일자로 출원된 미국 가출원 제63/261,555호의 이익을 주장하며, 이 출원의 내용은 모든 목적들을 위해 그 전체가 본 명세서에 참고로 포함된다.
기술분야
본 발명은, 대체적으로, 가상 객체들을 포함하는 3차원 환경들을 디스플레이 생성 컴포넌트를 통해 제시하는 전자 디바이스들을 포함하지만 이에 제한되지 않는, 그래픽 사용자 인터페이스들을 제시하는 하나 이상의 입력 디바이스들 및 디스플레이 생성 컴포넌트를 갖는 컴퓨터 시스템들에 관한 것이다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치-감응형 표면들, 및 터치-스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
그러나, 적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 그러한 방법들 및 인터페이스들은 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 접속을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
개시된 시스템들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 일부 실시예들에서, 컴퓨터 시스템은 연관된 디스플레이를 갖는 데스크톱 컴퓨터이다. 일부 실시예들에서, 컴퓨터 시스템은 휴대용 디바이스(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 개인용 전자 디바이스(예를 들어, 시계 또는 머리 장착형 디바이스와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 터치패드를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 눈 추적 구성요소들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 손 추적 구성요소들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 디스플레이 생성 컴포넌트에 추가하여 하나 이상의 출력 디바이스들을 갖고, 출력 디바이스들은 하나 이상의 촉각적 출력 생성기들 및 하나 이상의 오디오 출력 디바이스들을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 터치-감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들, 카메라들 및 다른 이동 센서들에 의해 캡처된 GUI 또는 사용자의 신체에 대한 공간에서의 사용자의 눈들 및 손의 이동, 및 하나 이상의 오디오 입력 디바이스들에 의해 캡처된 음성 입력들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 상호작용들을 통해 수행되는 기능들은, 선택적으로, 이미지 편집, 드로잉, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
사용자 인터페이스들을 내비게이팅하고 그와 상호작용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들이 필요하다. 이러한 방법들 및 인터페이스들은 3차원 환경에서 객체들과 상호작용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 이러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 정도, 및/또는 종류를 줄이고 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에서, 전자 디바이스는 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 한다.
전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음에 주목한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 내지 도 7d는 일부 실시예들에 따른, 전자 디바이스가 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 8a 내지 도 8m은 일부 실시예들에 따른, 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9e는 일부 실시예들에 따른, 전자 디바이스가 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 10a 내지 도 10j는 일부 실시예들에 따른, 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법을 예시하는 흐름도이다.
도 11a 내지 도 11d는 일부 실시예들에 따른, 전자 디바이스가 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 하는 방법의 예들을 예시한다.
도 12a 내지 도 12o는 일부 실시예들에 따른, 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 하는 방법을 예시하는 흐름도이다.
도 13a 내지 도 13f는 일부 실시예들에 따른, 전자 디바이스가 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 14a 내지 도 14l은 일부 실시예들에 따른, 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법을 예시하는 흐름도이다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 내지 도 7d는 일부 실시예들에 따른, 전자 디바이스가 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 8a 내지 도 8m은 일부 실시예들에 따른, 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9e는 일부 실시예들에 따른, 전자 디바이스가 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 10a 내지 도 10j는 일부 실시예들에 따른, 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법을 예시하는 흐름도이다.
도 11a 내지 도 11d는 일부 실시예들에 따른, 전자 디바이스가 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 하는 방법의 예들을 예시한다.
도 12a 내지 도 12o는 일부 실시예들에 따른, 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 하는 방법을 예시하는 흐름도이다.
도 13a 내지 도 13f는 일부 실시예들에 따른, 전자 디바이스가 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 14a 내지 도 14l은 일부 실시예들에 따른, 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법을 예시하는 흐름도이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에서 설명되는 시스템들, 방법들 및 GUI들은 전자 디바이스가 3차원 환경에서 객체들과 상호작용하고 그를 조작하는 개선된 방식들을 제공한다. 3차원 환경은, 선택적으로, 하나 이상의 가상 객체들, 전자 디바이스의 물리적 환경 내에 있는 실제 객체들의 하나 이상의 표현들(예컨대, 실제 객체들의 실사(예컨대, "패스 스루(pass-through)") 표현들로서 디스플레이되거나 디스플레이 생성 컴포넌트의 투명 부분을 통해 사용자에게 보임), 및/또는 3차원 환경 내의 사용자들의 표현들을 포함한다.
일부 실시예들에서, 전자 디바이스는 선택가능 사용자 인터페이스 요소들과의 상호작용들을 용이하게 한다. 일부 실시예들에서, 전자 디바이스는 3차원 환경에서 하나 이상의 선택가능 사용자 인터페이스 요소들을 제시한다. 일부 실시예들에서, 각자의 선택가능 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는, 예를 들어 사용자 인터페이스의 다른 부분으로부터의 선택가능 사용자 인터페이스 요소의 z 분리를 증가시키는 것과 같이, 선택가능 사용자 인터페이스 요소의 외관을 업데이트한다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 요소를 선택하고, 사용자의 시선을 검출하는 것, 및 사용자가 그들의 손으로 미리결정된 제스처를 수행하는 것을 검출하는 것 중 하나 이상을 포함하는 사용자 입력에 응답하여 연관된 액션을 수행한다. 이러한 방식으로 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 것은 전자 디바이스로 선택들을 행하고 액션들을 수행하는 효율적이고 직관적인 방식들을 제공한다.
일부 실시예들에서, 전자 디바이스는 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시킨다. 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소는 슬라이더 사용자 인터페이스의 현재 입력 상태의 표시를 포함한다. 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소 상에서 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 슬라이더 사용자 인터페이스 요소의 복수의 이용가능한 입력 상태들의 표시들을 포함하도록 슬라이더 사용자 인터페이스 요소를 업데이트한다. 전자 디바이스는, 선택적으로, 사용자의 시선을 검출하는 것, 및/또는 사용자가 미리결정된 손 제스처를 수행하는 것을 검출하는 것을 포함하는 입력들에 응답하여 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 변경한다. 슬라이더 사용자 인터페이스 요소와의 상호작용들을 향상시키는 것은, 슬라이더 사용자 인터페이스 요소의 입력 상태를 조정하고 슬라이더와 연관된 전자 디바이스에 대한 액션들을 수행하는 효율적인 방식을 제공한다.
일부 실시예들에서, 전자 디바이스는 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 한다. 일부 실시예들에서, 전자 디바이스는 가상 환경 내에 가상 객체와 연관된 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스 요소를 향해 지향되는 제1 입력을 검출하는 것에 응답하여, 전자 디바이스는 가상 환경에서 연관된 가상 객체를 이동시키기 위한 프로세스를 개시한다. 일부 실시예들에서, 사용자 인터페이스 요소를 향해 지향되는 제2 입력을 검출하는 것에 응답하여, 전자 디바이스는, 선택될 때, 전자 디바이스로 하여금 가상 객체에 대한 각자의 액션을 수행하게 하는 복수의 선택가능 옵션들을 포함하도록 사용자 인터페이스 요소를 업데이트한다. 가상 객체들을 이동시키고, 사용자 인터페이스 요소들로 가상 객체들에 대한 추가 액션들을 향상시키는 것은, 가상 객체들과 상호작용하는 효율적인 방식을 제공한다.
일부 실시예들에서, 전자 디바이스는 선택가능 사용자 인터페이스 요소들과의 상호작용들을 용이하게 하고, 선택가능 사용자 인터페이스 요소들에 대한 선택 입력의 적어도 일부분을 검출하는 것에 응답하여 향상된 시각적 피드백을 제공한다. 일부 실시예들에서, 전자 디바이스는 제2 컨테이너 사용자 인터페이스 요소 내에 있는 제1 컨테이너 사용자 인터페이스 요소 내에 선택가능 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 선택가능 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는, 예를 들어 제1 컨테이너 사용자 인터페이스 요소로부터의 선택가능 사용자 인터페이스 요소의 z 분리를 증가시키는 것 및 제2 컨테이너 사용자 인터페이스 요소로부터의 제1 컨테이너 사용자 인터페이스 요소의 z 분리를 증가시키는 것과 같이, 선택가능 사용자 인터페이스 요소 및 제1 컨테이너 사용자 인터페이스 요소의 외관을 업데이트한다. 일부 실시예들에서, 선택 입력의 시작에 응답하여, 전자 디바이스는 선택가능 사용자 인터페이스 요소와 제1 컨테이너 사용자 인터페이스 요소 사이의 시각적 분리를 감소시킨다. 일부 실시예들에서, 선택가능 사용자 인터페이스 요소의 z 높이를 선택가능 사용자 인터페이스 요소와 제1 컨테이너 사용자 인터페이스 요소 사이의 시각적 분리를 초과하는 양만큼 감소시키는 것에 대응하는 선택 입력의 계속에 응답하여, 전자 디바이스는, 입력의 계속에 따라 제1 컨테이너 사용자 인터페이스 요소와 제2 컨테이너 사용자 인터페이스 요소 사이의 시각적 분리를 감소시키고 선택가능 사용자 인터페이스 요소 및 제1 컨테이너 사용자 인터페이스 요소의 z 높이를 감소시킴으로써 시각적 피드백을 계속한다. 일부 실시예들에서, 선택가능 사용자 인터페이스 요소 및 제1 컨테이너 사용자 인터페이스 요소의 z 높이를 제1 컨테이너 사용자 인터페이스 요소와 제2 컨테이너 사용자 인터페이스 요소 사이의 z 분리의 양을 초과하여 감소시키는 것에 대응하는 선택 입력의 계속에 응답하여, 전자 디바이스는 입력의 계속에 따라 선택가능 사용자 인터페이스 요소, 제1 컨테이너 사용자 인터페이스 요소 및 제2 컨테이너 사용자 인터페이스 요소의 z 높이를 감소시킨다. 이러한 방식으로 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 것은 전자 디바이스로 선택들을 행하고 액션들을 수행하는 효율적이고 직관적인 방식들을 제공한다.
도 1 내지 도 6은 (방법들(800, 1000, 1200, 1400)과 관련하여 아래에서 설명되는 것과 같은) 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 그리고 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 홈 어플라이언스들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리-장착 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 현실: 대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 헤드 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 헤드 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 헤드 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(120)에 의해 제공되고/되거나 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부(예를 들어, 그의 머리에, 그의 손에 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예를 들어, 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 CGR 경험, 또는 하나 이상의 사용자들의 개개의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(242)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(244)은 장면(105)을 맵핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(244)은 손 추적 유닛(243), 및 눈 추적 유닛(245)을 포함한다. 일부 실시예들에서, 손 추적 유닛(243)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(243)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(245)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(245)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(242), 추적 유닛(244(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부 및/또는 외부 대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 구성요소들 사이의 통신을 상호연결하고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 눈-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 손-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 HMD(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하거나 또는 장면(105)의 물리적 환경들을 캡처하는 이미지 센서들의 역할을 하기 위해 다른 이미지 센서들과 함께 사용된다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를, 맵 데이터로부터 고레벨 정보를 추출하는 제어기(110)에 출력한다. 이러한 고레벨 정보는 통상적으로, 애플리케이션 프로그램 인터페이스(API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동시킨다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 특정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 성분들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 관련된 전용 회로에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 각자의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 구성요소(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 너클들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 CGR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 일부이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 그러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60-120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선의 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경들을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 자동 초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 초점을 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 8개의 광원들(530)(예를 들어, LED들)이 예로서 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입시키지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실, 가상 현실, 증강 현실 및/또는 증강 가상 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실, 가상 현실 및/또는 혼합 현실 애플리케이션들에서 사용될 수 있다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트를 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예이면, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오이면, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되면, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(410)로부터 진행하면, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하면, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서의 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 리턴한다. 650에서, 결과들이 신뢰되면, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아니라면) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6은 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
따라서, 본 명세서의 설명은, 실제 세계 객체들의 표현들 및 가상 객체들의 표현들을 포함하는 3차원 환경들(예컨대, CGR 환경들)의 일부 실시예들을 설명한다. 예를 들어, 3차원 환경은, 선택적으로, (예컨대, 전자 디바이스의 카메라들 및 디스플레이들을 통해 능동적으로, 또는 전자 디바이스의 투명 또는 반투명 디스플레이를 통해 수동적으로) 3차원 환경 내에 캡처되고 디스플레이되는, 물리적 환경에 존재하는 테이블의 표현을 포함한다. 이전에 설명된 바와 같이, 3차원 환경은, 선택적으로, 3차원 환경이, 디바이스의 하나 이상의 센서들에 의해 캡처되고 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경에 기초하는 혼합 현실 시스템이다. 혼합 현실 시스템으로서, 디바이스는, 선택적으로, 물리적 환경의 각자의 부분들 및/또는 객체들이 마치 그들이 전자 디바이스에 의해 디스플레이되는 3차원 환경에 존재하는 것처럼 보이도록 물리적 환경의 일부분들 및/또는 객체들을 선택적으로 디스플레이할 수 있다. 유사하게, 디바이스는, 선택적으로, 실제 세계에서 대응하는 위치들을 갖는 3차원 환경 내의 각자의 위치들에 가상 객체들을 배치함으로써 마치 가상 객체들이 실제 세계(예컨대, 물리적 환경)에 존재하는 것처럼 보이도록 가상 객체들을 3차원 환경 내에 디스플레이할 수 있다. 예를 들어, 디바이스는, 선택적으로, 꽃병이 마치 실제 꽃병이 물리적 환경에서 테이블 위에 놓여 있는 것처럼 보이도록 꽃병을 디스플레이한다. 일부 실시예들에서, 3차원 환경 내의 각각의 위치는 물리적 환경에서 대응하는 위치를 갖는다. 따라서, 디바이스가 물리적 객체에 대한 각자의 위치(예컨대, 예를 들어, 사용자의 손 또는 그 근처, 또는 물리적 테이블 또는 그 근처의 위치)에 가상 객체를 디스플레이하는 것으로 설명될 때, 디바이스는 가상 객체가 마치 그가 물리적 세계에서 물리적 객체에 또는 그 근처에 있는 것처럼 보이도록 3차원 환경 내의 특정 위치에 가상 객체를 디스플레이한다(예컨대, 가상 객체는 그가 그 특정 위치에서 실제 객체인 경우 가상 객체가 디스플레이될 물리적 환경 내의 위치에 대응하는 3차원 환경 내의 위치에 디스플레이됨).
일부 실시예들에서, 3차원 환경 내에 디스플레이되는, 물리적 환경에 존재하는 실제 세계 객체들은 3차원 환경에만 존재하는 가상 객체들과 상호작용할 수 있다. 예를 들어, 3차원 환경은 테이블 및 테이블 위에 놓인 꽃병을 포함할 수 있으며, 이때 테이블은 물리적 환경 내의 물리적 테이블의 뷰(또는 그의 표현)이고, 꽃병은 가상 객체이다.
유사하게, 사용자는, 선택적으로, 마치 가상 객체들이 물리적 환경 내의 실제 객체들인 것처럼 하나 이상의 손들을 사용하여 3차원 환경 내의 가상 객체들과 상호작용할 수 있다. 예를 들어, 위에서 설명된 바와 같이, 디바이스의 하나 이상의 센서들은, 선택적으로, 사용자의 손들 중 하나 이상을 캡처하고 (예컨대, 위에서 설명된 3차원 환경 내에 실제 세계 객체를 디스플레이하는 것과 유사한 방식으로) 3차원 환경 내에 사용자의 손들의 표현들을 디스플레이하거나, 또는 일부 실시예들에서, 사용자의 손들은, 사용자 인터페이스를 디스플레이하고 있는 디스플레이 생성 컴포넌트의 일부분의 투명성/반투명성 또는 투명/반투명 표면 상으로의 사용자 인터페이스의 투영 또는 사용자의 눈들 상으로의 또는 사용자의 눈의 시야 내로의 사용자 인터페이스의 투영으로 인해 사용자 인터페이스를 통해 물리적 환경을 보는 능력을 통해 디스플레이 생성 컴포넌트를 통해 보인다. 따라서, 일부 실시예들에서, 사용자의 손들은 3차원 환경 내의 각자의 위치에 디스플레이되고, 그들이, 3차원 환경 내의 가상 객체들과 마치 그들이 물리적 환경 내의 실제 물리적 객체들인 것처럼 상호작용할 수 있는 3차원 환경 내의 객체들인 것처럼 취급된다. 일부 실시예들에서, 사용자는 그 또는 그녀의 손들을 이동시켜, 3차원 환경 내의 손들의 표현들이 사용자의 손의 이동과 함께 이동하게 할 수 있다.
아래에서 설명되는 실시예들 중 일부에서, 디바이스는, 선택적으로, 예를 들어, 물리적 객체가 가상 객체와 상호작용하고 있는지 여부(예컨대, 손이 가상 객체를 터치, 파지, 유지 등을 하고 있는지 또는 가상 객체로부터 임계 거리 내에 있는지 여부)를 결정하기 위해, 물리적 세계 내의 물리적 객체들과 3차원 환경 내의 가상 객체들 사이의 "유효" 거리를 결정할 수 있다. 예를 들어, 디바이스는, 사용자가 가상 객체들과 상호작용하고 있는지 여부 및/또는 사용자가 가상 객체들과 상호작용하는 방법을 결정할 때 사용자의 손들과 가상 객체들 사이의 거리를 결정한다. 일부 실시예들에서, 디바이스는 3차원 환경 내의 손들의 위치와 3차원 환경 내의 관심 가상 객체의 위치 사이의 거리를 결정함으로써 사용자의 손들과 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들은 물리적 세계 내의 특정 위치에 위치되며, 이는 디바이스가, 선택적으로, 3차원 환경 내의 특정 대응 위치(예컨대, 손들이 물리적 손들보다는 가상 손들인 경우 손들이 디스플레이될 3차원 환경 내의 위치)에 캡처하고 디스플레이한다. 3차원 환경 내의 손들의 위치는, 선택적으로, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정하기 위해 3차원 환경 내의 관심 가상 객체의 위치와 비교된다. 일부 실시예들에서, 디바이스는, 선택적으로, (예컨대, 3차원 환경 내의 위치들을 비교하는 것과는 대조적으로) 물리적 세계 내의 위치들을 비교함으로써 물리적 객체와 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정할 때, 디바이스는, 선택적으로, 가상 객체의 물리적 세계 내의 대응하는 위치(예컨대, 가상 객체가 그가 가상 객체보다는 물리적 객체인 경우 물리적 세계 내에 위치될 위치)를 결정하고, 이어서, 대응하는 물리적 위치와 사용자의 하나 이상의 손들 사이의 거리를 결정한다. 일부 실시예들에서, 동일한 기법들이 선택적으로 사용되어 임의의 물리적 객체와 임의의 가상 객체 사이의 거리를 결정한다. 따라서, 본 명세서에서 설명되는 바와 같이, 물리적 객체가 가상 객체와 접촉하고 있는지 여부 또는 물리적 객체가 가상 객체의 임계 거리 내에 있는지 여부를 결정할 때, 디바이스는, 선택적으로, 위에서 설명된 기법들 중 임의의 것을 수행하여, 물리적 객체의 위치를 3차원 환경에 매핑하고/하거나 가상 객체의 위치를 물리적 세계에 매핑한다.
일부 실시예들에서, 동일하거나 유사한 기법이 사용되어, 사용자의 시선이 지향되는 곳 및 대상, 및/또는 사용자에 의해 유지되는 물리적 스타일러스가 지향되는 곳 및 대상을 결정한다. 예를 들어, 사용자의 시선이 물리적 환경 내의 특정 위치로 지향되는 경우, 디바이스는, 선택적으로, 3차원 환경 내의 대응하는 위치를 결정하고, 가상 객체가 그 대응하는 가상 위치에 위치되는 경우, 디바이스는, 선택적으로, 사용자의 시선이 그 가상 객체로 지향된다고 결정한다. 유사하게, 디바이스는, 선택적으로, 물리적 스타일러스의 배향에 기초하여, 물리적 세계에서 스타일러스가 가리키고 있는 곳을 결정할 수 있다. 일부 실시예들에서, 이러한 결정에 기초하여, 디바이스는 스타일러스가 가리키고 있는 물리적 세계 내의 위치에 대응하는 3차원 환경 내의 대응하는 가상 위치를 결정하고, 선택적으로, 스타일러스가 3차원 환경 내의 대응하는 가상 위치를 가리키고 있다고 결정한다.
유사하게, 본 명세서에서 설명되는 실시예들은 3차원 환경 내의 사용자(예컨대, 디바이스의 사용자)의 위치 및/또는 디바이스의 위치를 지칭할 수 있다. 일부 실시예들에서, 디바이스의 사용자는 전자 디바이스를 유지하고 있거나 그를 착용하고 있거나 또는 달리 그에 또는 그 근처에 위치된다. 따라서, 일부 실시예들에서, 디바이스의 위치는 사용자의 위치에 대한 대용물(proxy)로서 사용된다. 일부 실시예들에서, 물리적 환경 내의 디바이스 및/또는 사용자의 위치는 3차원 환경 내의 각자의 위치에 대응한다. 일부 실시예들에서, 각자의 위치는 3차원 환경의 "카메라" 또는 "뷰"가 그로부터 연장되는 위치이다. 예를 들어, 디바이스의 위치는, 사용자가 디스플레이 생성 컴포넌트에 의해 디스플레이되는 물리적 환경의 각자의 부분을 향하는 그 위치에 서 있는 경우, 사용자가 물리적 환경에서 객체들을 (예컨대, 절대적으로 그리고/또는 서로에 대해) 그들이 디바이스의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 위치, 배향 및/또는 크기로 볼 물리적 환경 내의 위치(및 3차원 환경 내의 그의 대응하는 위치)일 것이다. 유사하게, 3차원 환경 내에 디스플레이되는 가상 객체들이 물리적 환경 내의 물리적 객체들(예컨대, 그들이 3차원 환경 내에 있는 것과 동일한 물리적 환경 내의 위치에 배치되고, 물리적 환경에서 3차원 환경에서와 동일한 크기 및 배향을 가짐)인 경우, 디바이스 및/또는 사용자의 위치는 사용자가 물리적 환경에서 가상 객체들을 (예컨대, 절대적으로 그리고/또는 서로와 실제 세계 객체들에 대해) 그들이 디바이스의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 위치, 배향 및/또는 크기로 볼 위치이다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
아래에서 설명되는 프로세스들은, 사용자에게 개선된 시각적 피드백을 제공하는 것, 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것, 추가의 디스플레이된 제어부들로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하는 것, 및/또는 추가 기법들을 포함한 다양한 기법들을 통해 (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스들을 더 효율적으로 만든다. 이러한 기법들은 또한, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
게다가, 하나 이상의 단계들이 하나 이상의 조건들이 충족되었음을 조건으로 하는 본 명세서에서 설명되는 방법들에서, 설명된 방법은 다수의 반복들로 반복될 수 있어서, 반복들 동안, 방법의 단계들이 조건으로 하는 조건들 모두가 방법의 상이한 반복들로 충족되게 할 수 있다는 것이 이해되어야 한다. 예를 들어, 방법이, 조건이 만족되면 제1 단계를 그리고 조건이 만족되지 않으면 제2 단계를 수행할 것을 요구하는 경우, 당업자는, 조건이 만족되고 만족되지 않을 때까지, 청구된 단계들이 특정 순서 없이 반복된다는 것을 인식할 것이다. 따라서, 하나 이상의 조건들이 충족되었음을 조건으로 하는 하나 이상의 단계들로 설명되는 방법은, 방법에서 설명되는 조건들 각각이 충족될 때까지 반복되는 방법으로서 재작성될 수 있다. 그러나, 이는, 시스템 또는 컴퓨터 판독가능 매체가 대응하는 하나 이상의 조건들의 만족에 기초하여 조건부(contingent) 동작들을 수행하기 위한 명령어들을 포함하고, 그에 따라, 방법의 단계들이 조건으로 하는 조건들 모두가 충족될 때까지 방법의 단계들을 명시적으로 반복하지 않고서 우연성(contingency)이 만족되었는지 또는 만족되지 않았는지를 결정할 수 있는 시스템 또는 컴퓨터 판독가능 매체 청구항들에서는 요구되지 않는다. 당업자는, 또한, 조건부 단계들을 갖는 방법과 유사하게, 시스템 또는 컴퓨터 판독가능 저장 매체가 조건부 단계들 모두가 수행되었음을 보장하는 데 필요한 횟수만큼 방법의 단계들을 반복할 수 있다는 것을 이해할 것이다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 내지 도 7d는 일부 실시예들에 따른, 전자 디바이스가 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 7a는 전자 디바이스(101)가 디스플레이 생성 컴포넌트(120)를 통해 사용자 인터페이스 상에 3차원 환경(702)을 디스플레이하는 것을 예시한다. 일부 실시예들에서, 전자 디바이스(101)는 본 개시내용의 범주를 벗어나지 않고서 2차원 환경에서 도 7a 내지 도 7d를 참조하여 설명되는 하나 이상의 기법들을 이용한다는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(120)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 7a에 도시된 바와 같이, 3차원 환경(702)은, 텍스트(710) 및 복수의 선택가능 옵션들(708a 내지 708d)을 포함하는 대화 상자(706)를 포함한다. 일부 실시예들에서, 전자 디바이스(101)는 3차원 환경(702)에서의 전자 디바이스(101)의 사용자의 시점으로부터 3차원 환경(702)을 제시한다. 따라서, 일부 실시예들에서, 전자 디바이스(101)는 3차원 환경(702)에서의 사용자의 시점으로부터의 다양한 거리들(예컨대, 다양한 z 높이들)로 3차원 환경(702) 내에 하나 이상의 객체들을 디스플레이한다. 예를 들어, 대화 상자(706)는 3차원 환경(706)(예컨대, 디바이스(101)의 물리적 환경) 내에 기준 프레임에 대한 대화 상자의 z 높이를 나타내는 그림자와 함께 디스플레이된다. 다른 예로서, 도 7a에서, 옵션들(708a 내지 708d)은 그림자들 없이 디스플레이되어, 옵션들(708a 내지 708d)이 3차원 환경(702) 내에 대화 상자(706)의 나머지와 동일한 z 높이로 디스플레이된다는 것을 나타낸다.
일부 실시예들에서, 복수의 선택가능 옵션들(708a 내지 708d) 중 하나의 선택가능 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스(101)는 선택된 옵션과 연관된 액션을 수행한다. 일부 실시예들에서, 선택가능 옵션들(708a 내지 708d)은 대화 상자(706)에 포함된 텍스트(710)와 관련된다. 예를 들어, 텍스트(710)는 복수의 이용가능한 구성들을 갖는 특징부 또는 설정을 설명하고, 선택가능 옵션들(708a 내지 708d)은 텍스트(710)에 의해 설명되는 특징부 또는 설정의 각자의 구성에 따라 전자 디바이스(101)를 구성하도록 선택가능하다.
일부 실시예들에서, 도 7b 내지 도 7d를 참조하여 아래에서 설명될 바와 같이, 전자 디바이스(101)는, 사용자의 시선의 검출 및 사용자의 손(704)의 위치 및/또는 그로 수행되는 제스처의 검출을 포함하는 사용자 입력들에 응답하여, 옵션들(708a 내지 708d)의 선택을 검출한다. 예를 들어, 전자 디바이스(101)는, 추가 입력을 검출하지 않고서, 미리결정된 기간(예컨대, 0.2초, 0.5초, 1초, 2초 등) 동안 각자의 옵션으로 지향되는 사용자의 시선을 검출하는 것에 응답하여; 사용자가 그들의 손을 하나 이상의 손가락들이, 옵션을 터치하고 그를 사용자로부터 멀리 미리결정된 양만큼 푸시(push)하는 것에 대응하는, 3차원 환경(702)에 대응하는 위치로 펴진 상태에서(예컨대, 포인팅 제스처(pointing gesture)로) 이동시킴으로써 각자의 옵션을 "푸시"하는 것을 검출하는 것에 응답하여; 그리고/또는 사용자가 각자의 옵션을 보면서 그들의 손(704)으로 미리결정된 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것(예컨대, 핀치 제스처(pinch gesture)))를 수행하는 것을 검출하는 것에 응답하여, 옵션(708a 내지 708d)을 선택한다. 일부 실시예들에서, 전자 디바이스(101)는 선택이 검출되고 있는 동안 각자의 옵션의 외관을 수정한다. 선택이 검출되고 있는 동안 각자의 옵션의 외관을 수정하는 것은 선택이 검출되고 있다는 피드백을 사용자에게 제공하고, 사용자가 선택이 이루어지기 전에 선택 오류를 정정하도록 허용한다.
도 7a는 전자 디바이스(101)가 선택가능 옵션들(708a 내지 708d) 중 임의의 것을 향해 지향되는 입력을 검출하지 않는 동안의 대화 상자(706)를 예시한다. 위에서 설명된 바와 같이, 선택가능 옵션들(708a 내지 708d)을 향해 지향되는 입력들은, 선택적으로, 선택가능 옵션들(708a 내지 708d) 중 하나로 지향되는 사용자의 시선을 검출하는 것 및/또는 각자의 제스처 및/또는 위치가 옵션들(708a 내지 708d) 중 하나를 향해 지향되는 사용자의 손(704)을 검출하는 것을 포함한다. 도 7a에서, 사용자의 시선(도시되지 않음)은 선택가능 옵션들(708a 내지 708d) 중 하나로 지향되지 않는다. 도 7a의 사용자의 손(704)은, 선택적으로, 미리결정된 제스처들(예컨대, 포인팅 제스처 또는 핀치 제스처) 중 하나를 수행하고 있지 않고/않거나, 3차원 환경(702) 내의 선택가능 옵션들(708a 내지 708d) 중 하나의 선택가능 옵션의 위치에 대응하는 위치에 있지 않다.
도 7b에서, 전자 디바이스(101)는 옵션 A(708a)를 향해 지향되는 입력의 시작을 검출한다. 예를 들어, 전자 디바이스(101)는, 추가 입력(예컨대, 사용자의 손(704)을 검출하는 것을 포함하는 입력)을 검출하지 않고서, 미리결정된 시간 임계치(예컨대, 0.1초, 0.2초, 0.5초, 1초 등) 동안 옵션 A(708a)를 향해 지향되는 사용자의 시선(712)을 검출한다. 다른 예로서, 전자 디바이스(101)는 하나 이상의(또는 모든) 손가락들이 펴진 상태로 3차원 환경(702) 내의 옵션 A(708a)의 위치를 향해 펴진 사용자의 손(704)을 검출한다. 일부 실시예들에서, 사용자의 손(704)은 포인팅 제스처를 취한다(예컨대, 하나 이상의 손가락들이 펴지지만, 모든 손가락들이 펴지지는 않음). 일부 실시예들에서, 사용자의 손(704)은 포인팅 제스처를 취하지 않는다(예컨대, 손(704)의 모든 손가락들이 펴짐). 일부 실시예들에서, 손의 위치는 3차원 환경(702) 내의 옵션(708a)에 대응하는 위치로부터 임계 거리(예컨대, 1 센티미터, 2 센티미터, 10 센티미터, 20 센티미터, 30 센티미터 등) 내에 있다. 일부 실시예들에서, 손은, 엄지 손가락과 다른 손가락이 서로의 임계 거리(예컨대, 0.5 센티미터, 1 센티미터, 2 센티미터 등) 내에 있는 것과 같은, 핀치 제스처의 시작을 행한다. 전자 디바이스(101)는, 선택적으로, 옵션 A(708a) 상의 사용자의 시선(712) 및 위에서 설명된 손(704)의 제스처 및/또는 위치를 동시에 검출한다.
시선(712) 및/또는 손(704)의 제스처 및/또는 위치를 검출하는 것에 응답하여, 전자 디바이스(101)는 시선 및/또는 손 제스처 및/또는 위치가 검출되는 동안 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 z 분리를 점진적으로 증가시킨다. 일부 실시예들에서, 전자 디바이스(101)는 3차원 환경(702)에서 사용자를 향해 옵션(708a)을 이동시키고/시키거나, 3차원 환경(702)에서 사용자로부터 멀리 대화 상자(706)의 나머지를 이동시킨다. 일부 실시예들에서, 3차원 환경(702)은 3차원 환경(702)에서의 사용자의 시점으로부터의 복수의 가능한 z 높이들에 대한 계층적 레벨들을 포함한다. 예를 들어, 도 7b에서, 옵션 A(708a)는 제1 계층적 레벨로 제시되고, 대화 상자(706)의 나머지는 제2(예컨대, 더 낮은) 계층적 레벨로 제시된다. 일부 실시예들에서, 3차원 환경(702)은 3차원 환경(702)에서 사용자로부터의 추가 z 높이들에서 추가 계층적 레벨들로 추가 객체들을 포함한다.
도 7c는 전자 디바이스(101)가 옵션 A(708a)의 선택을 검출하는 것을 예시한다. 일부 실시예들에서, 도 7b에 예시된 3차원 환경(702)을 디스플레이하는 동안 옵션 A(708a)의 선택을 검출하는 것에 응답하여, 전자 디바이스(101)는 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 z 분리를 감소시킨다. 일부 실시예들에서, 일단 옵션 A(708a)의 z 높이가 대화 상자(706)의 나머지의 z 높이에 도달하면, 전자 디바이스(101)는 옵션 A(708a)를 선택하고, 옵션 A(708a)의 색상을 업데이트한다.
일부 실시예들에서, 옵션 A(708a)의 선택은, (예컨대, 사용자의 손(704)을 통한) 추가 입력들을 검출하지 않고서 도 7b의 사용자의 시선(712)의 지속기간보다 긴 제2 임계 시간(예컨대, 0.2초, 0.5초, 1초, 2초 등) 동안 옵션 A(708a) 상의 사용자의 시선(712)을 검출함으로써 검출된다. 일부 실시예들에서, 도 7b에 대응하는 시간보다 더 오랫동안 옵션 A(708a) 상의 시선(712)을 검출하는 동안, 전자 디바이스(101)는 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 z 분리를 점진적으로 감소시킨다. 일부 실시예들에서, 일단 시선(712)이 제2 임계 시간 동안 옵션 A(708a) 상에서 검출되었고, 전자 디바이스(101)가 대화 상자(706)와 동일한 z 높이로 옵션 A(708a)를 디스플레이하면, 전자 디바이스(101)는 옵션 A(708a)의 색상을 업데이트하고, 옵션 A(708a)에 따라 동작을 수행한다.
일부 실시예들에서, 옵션 A(708a)의 선택은, 사용자의 시선(712)이 옵션 A(708a)를 향해 지향되는 동안 사용자가 그들의 손(704)으로 핀치 제스처를 수행하는 것을 검출하는 것에 응답하여 검출된다. 일부 실시예들에서, 사용자가 옵션 A(708a) 상의 시선(712)을 검출하는 동안 그들의 손(704)으로 핀치 제스처를 수행하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는 전자 디바이스(101)가 시선만의 입력에 응답하여 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 z 분리를 감소시키는 속도보다 빠른 속도로 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 z 분리를 점진적으로 감소시킨다. 일부 실시예들에서, (예컨대, 핀치 제스처가 임계(예컨대, 0.1초, 0.2초, 0.5초 등) 시간 동안 유지되는 것에 응답하여) 일단 옵션 A(708a)가 대화 상자(706)의 나머지와 동일한 z 높이에 도달하면, 전자 디바이스(101)는 옵션 A(708a)의 색상(708a)을 업데이트한다. 일부 실시예들에서, 전자 디바이스(101)는 도 7c에 도시된 바와 같이 3차원 환경(702)을 디스플레이하는 동안 핀치 제스처의 종료(예컨대, 사용자가 그들의 엄지 손가락을 다른 손가락으로부터 멀리 이동시키는 것)를 검출하는 것에 응답하여 옵션 A(708a)와 연관된 액션을 수행한다.
일부 실시예들에서, 옵션 A(708a)의 선택은, 사용자가 그들의 손(704)으로 포인팅 제스처를 취하고 그들의 손(704)을 도 7b에 예시된 3차원 환경(702) 내의 옵션 A(708a)의 위치에 대응하는 위치로부터 대화 상자(706)의 나머지를 향하는 것에 대응하는 방향으로 이동시킴으로써 옵션 A(708a)를 "푸시"하는 것을 검출하는 것에 응답하여 검출된다. 일부 실시예들에서, 전자 디바이스(101)는, 핀치 제스처(또는 포인팅 제스처)가 검출되지 않고서 사용자의 시선(712)이 옵션 A(708a)를 향해 지향되는 동안 미리결정된 속도로 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 z 분리를 점진적으로 감소시킨다. 일부 실시예들에서, 일단 사용자가 방금 설명된 바와 같이 대화 상자(706)의 나머지를 향해 옵션 A(708a)를 "푸시"하기 시작하면, 전자 디바이스(101)는 대화 상자(706)의 나머지를 향한 사용자의 손(704)의 이동에 따라 옵션 A(708a)의 z 높이를 업데이트한다. 예를 들어, 전자 디바이스(101)가 옵션 A(708a)의 z 위치를 업데이트하는 속도 및 거리는 대화 상자(706)의 나머지를 향한 사용자의 손(704)의 이동의 속도 및 거리에 대응한다. 일부 실시예들에서, 전자 디바이스(101)가 옵션 A(708a)를 대화 상자(706)의 나머지와 동일한 z 높이로 디스플레이하는 것에 대응하는 포인팅 제스처를 유지하는 동안의 사용자의 손(704)의 이동에 응답하여, 전자 디바이스는 옵션 A(708a)의 색상(708a)을 업데이트한다. 일부 실시예들에서, 전자 디바이스(101)는 옵션 A(708a)를 대화 상자(706)의 나머지와 동일한 z 높이로 "푸시"한 후 사용자가 옵션 A(708a)를 "푸시"하는 것의 종료를 검출하는 것에 응답하여 옵션 A(708a)와 연관된 액션을 수행한다(예컨대, 사용자는 포인팅 제스처를 수행하는 것을 중지함, 사용자는 손(704)을 옵션 A(708a)에 대응하는 위치로부터 멀리 이동시킴).
일부 실시예들에서, 전자 디바이스(101)는 도 7b에 예시된 옵션 A(708a)의 z 분리를 감소시키기 시작하지만, 선택 기준들을 만족시키기 시작하지만 궁극적으로 선택 기준들을 충족시키지 않는 입력에 응답하여 전술된 바와 같이 옵션 A(708a)를 선택하지 않는다. 예를 들어, 전자 디바이스(101)는, 도 7b에 도시된 바와 같은 3차원 환경(702)의 디스플레이에 대응하는 지속기간보다 크고 도 7c에 도시된 바와 같은 3차원 환경(702)의 디스플레이에 대응하는 지속기간보다 작은 지속기간 동안 사용자의 시선(712)을 검출한다. 다른 예로서, 전자 디바이스(101)는 사용자의 시선(712)이 미리결정된 임계치(예컨대, 0.1초, 0.2초, 0.5초, 1초 등) 미만인 시간 동안 옵션(708a)을 향해 지향되는 동안 사용자가 그들의 손(101)으로 핀치 제스처를 수행하는 것을 검출한다. 다른 예로서, 사용자는 옵션 A(708a)를 도 7b에 예시된 z 높이로부터 도 7b의 옵션 A(708a) 사이의 z 분리보다 작은 거리만큼 "푸시"한다. 일부 실시예들에서, 옵션 A(708a)의 선택을 행하지 않고서 옵션 A(708a)를 선택하기 시작하는 것에 대응하는 입력을 검출하는 것에 응답하여, 전자 디바이스(101)는 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 분리가 관성으로 도 7b에 예시된 분리로 증가하는 것을 애니메이션화한다. 예를 들어, 전자 디바이스(101)는 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 z 분리의 감속에 뒤이어, 옵션 A(708a)와 대화 상자(706)의 나머지 사이의 z 분리를 증가시키는 것을 예시한다.
일부 실시예들에서, 도 7c에 도시된 바와 같이 3차원 환경(702)을 디스플레이하는 동안 선택 기준들을 만족시킨 후에 계속되는 선택 입력을 검출하는 것에 응답하여, 전자 디바이스(101)는, 도 7d에 도시된 바와 같이, 옵션 A(708a)의 업데이트된 색상을 유지하면서, 텍스트(710) 및 옵션들(708a 내지 708d)을 포함한 대화 상자(706)를 3차원 환경(702)에서 사용자로부터 멀리 점진적으로 이동시킨다. 예를 들어, 전자 디바이스(101)는 사용자의 시선(712)이 옵션 A(708a)의 선택에 대응하는 임계 시간(예컨대, 0.1초, 0.2초, 0.5초, 1초 등)보다 더 오랫동안 옵션 A(708a)로 지향되는 동안 사용자가 핀칭 제스처를 유지하는 것을 검출한다. 일부 실시예들에서, 사용자가 옵션(708a)의 선택을 지나서 핀치 제스처를 유지하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는 대화 상자(706)를 미리결정된 속도로(예컨대, 시간이 계속 경과함에 따라) 사용자로부터 멀리 점진적으로 이동시킨다.
다른 예로서, 전자 디바이스(101)는 사용자가 손(704)을 도 7c의 대화 상자(706) 뒤의 z 높이에 대응하는 위치로 이동시킴으로써 옵션 A(708a)를 도 7c에 예시된 대화 상자(706)의 z 높이를 지나서 "푸시"하는 것을 검출한다. 일부 실시예들에서, 사용자가 옵션 A(708a)를 도 7c의 대화 상자(706)의 z 높이를 지나서 "푸시"하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는, 도 7d에 도시된 바와 같이, 3차원 환경(702)에서 사용자의 손(704)의 이동의 속도 및 거리에 따라 대화 상자(706)를 계속 이동시킨다.
일부 실시예들에서, 3차원 환경(702)에서 사용자로부터 멀리 대화 상자(706)를 푸시하는 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(101)는 옵션 A(708a)에 대응하는 액션을 수행하고, 대화 상자(706)를 도 7a에 예시된 3차원 환경(702) 내의 위치(예컨대, 3차원 환경(702) 내의 대화 상자(706)의 원래 위치)로 다시 이동시킨다. 일부 실시예들에서, 대화 상자(706)는 옵션 A(708a)가 도 7b를 참조하여 위에서 설명된 관성으로 이동하는 방식과 유사한 방식으로 관성으로 도 7d의 위치로부터 도 7a의 위치로 이동한다.
일부 실시예들에서, 전자 디바이스(101)는 대화 상자(706) 뒤의 z 높이로 추가 사용자 인터페이스 요소를 디스플레이한다. 예를 들어, 대화 상자(706)는 3차원 환경(702)에서 대화 상자(706) 뒤에 디스플레이되는 사용자 인터페이스 내에 디스플레이된다. 대화 상자(706)를 그 뒤의 사용자 인터페이스 객체를 지나서 푸시하는 입력(예컨대, 핀치 제스처 또는 푸시 제스처)에 응답하여, 전자 디바이스(101)는, 선택적으로, 추가 입력에 따라 대화 상자(706) 뒤의 객체, 대화 상자(706), 및 옵션(708a)(및 옵션들(708b 내지 708d)) 각각을 뒤로 푸시한다. 일부 실시예들에서, 대화 상자(706) 뒤의 사용자 인터페이스는 3차원 환경(702) 자체이고, 디바이스(101)는 마치 사용자가 3차원 환경(702)에서 푸싱의 방향과 반대인 방향으로 이동하고 있는 것처럼 3차원 환경(702)을 사용자의 시점으로부터 멀리 이동시킨다.
일부 실시예들에서, 3차원 환경(702)에서 사용자로부터 멀리 대화 상자(706) 뒤의 객체를 푸시하는 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(101)는 옵션 A(708a)에 대응하는 액션을 수행하고, 옵션 A(708a)의 선택의 시작이 검출되기 전에, 텍스트(710) 및 옵션들(708a 내지 708d)을 포함한 객체 대화 상자(706)를 3차원 환경(702) 내의 위치(예컨대, 도 7a에 예시된 3차원 환경(702)의 상태)로 다시 이동시킨다. 일부 실시예들에서, 대화 상자(706) 뒤의 객체는, 옵션 A(708a)가 도 7b를 참조하여 위에서 설명된 관성으로 이동하는 방식과 유사한 방식으로, 사용자로부터 멀리 푸시된 위치로부터 그의 초기 위치로 관성으로 이동한다.
도 8a 내지 도 8m은 일부 실시예들에 따른, 사용자의 시점에 기초하여 3차원 환경에서 가상 객체의 배향을 자동적으로 업데이트하는 방법을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(800)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(800)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(800)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
도 7a에서와 같은 일부 실시예들에서, 방법(800)은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은, 사용자 입력을 수신하고(예컨대, 사용자 입력을 캡처함, 사용자 입력을 검출함 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
도 7a에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 제1 외관을 갖는 각자의 사용자 인터페이스 요소(예컨대, 708a)를 포함하는 사용자 인터페이스를 디스플레이한다(802a). 일부 실시예들에서, 각자의 사용자 인터페이스 요소는, 디바이스에 의해 볼 수 있도록 생성되거나 디스플레이되거나 또는 달리 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터 생성 현실(CGR) 환경) 내에 디스플레이된다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소를 제1 외관으로 디스플레이하는 것은 각자의 사용자 인터페이스 요소를 제1 크기, 색상 및/또는 반투명도로 디스플레이하는 것 및/또는 각자의 사용자 인터페이스 요소를 사용자 인터페이스의 제1 각자의 가상 층 내에 디스플레이하는 것을 포함한다. 일부 실시예들에서, 3차원 사용자 인터페이스는 다양한 사용자 인터페이스 요소들과 사용자 사이의 다양한 가상 거리들의 외관을 생성하는 복수의 가상 층들을 포함한다. 예를 들어, 각자의 사용자 인터페이스 요소를 제1 외관으로 디스플레이하는 것은 제1 크기 및 제1 색상으로 각자의 사용자 인터페이스 요소 뒤의 배경과 동일한 가상 층 내에 상호작용가능 요소(예컨대, 버튼과 같은 선택가능 옵션, 선택적으로 사용자에 의해 설정되는 복수의 가능한 슬라이더 위치들 중 하나를 나타내는 슬라이더)를 디스플레이하는 것을 포함한다.
도 7b에서와 같은 일부 실시예들에서, 제1 외관을 갖는 각자의 사용자 인터페이스 요소(예컨대, 708a)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 신체적 특징부(예컨대, 눈 또는 손)의 포즈(예컨대, 위치, 배향, 및/또는 그립)에 기초하여, 디바이스의 사용자의 주의가 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출한다(802b). 일부 실시예들에서, 전자 디바이스는, 눈 추적 디바이스를 통해, 사용자가 미리결정된 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 동안 각자의 사용자 인터페이스 요소를 보고 있었다는 것을 검출하거나, 사용자가 각자의 사용자 인터페이스 요소를 보고 있었던 시간의 길이의 고려 없이 사용자가 각자의 사용자 인터페이스 요소를 보고 있다는 것을 검출한다. 일부 실시예들에서, 전자 디바이스는, 손 추적 디바이스를 통해, 사용자의 손이 미리결정된 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 동안 미리결정된 위치 내에 있다는 것을 검출한다. 예를 들어, 미리결정된 위치는, 사용자의 손이 VR 환경, MR 환경 또는 AR 환경에서 각자의 사용자 인터페이스 요소와 중첩되거나 그와 중첩되는 임계 거리(예컨대, 1, 3, 10 인치) 내에 있는 것으로 보이는 위치와 같은, 각자의 사용자 인터페이스 요소의 가상 위치에 대응하는 위치, 및/또는 각자의 사용자 인터페이스 요소가 그에 또는 그 위에(예컨대, 손이 터치 감응형 디스플레이 위에서 호버링(hovering)하고 있는 경우) 디스플레이되는 터치 감응형 디스플레이 상의 위치와 같은, 각자의 사용자 인터페이스 요소가 디스플레이 생성 컴포넌트에 의해 디스플레이되는 물리적 위치에 대응하는 위치 중 하나이다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 내에 디스플레이되는 커서 및/또는 전자 디바이스의 입력 포커스를 사용자 인터페이스 내의 각자의 사용자 인터페이스 요소의 위치로 이동시키기 위한 입력 디바이스의 이동을 검출한다.
도 7b에서와 같은 일부 실시예들에서, 디바이스의 사용자의 주의가 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향된다는 것을 검출하는 것에 응답하여, 하나 이상의 제1 기준들이 만족된다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 각자의 사용자 인터페이스 요소를 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대해 미리결정된 공간적 관계를 갖는(예컨대, 그에 의해 포함되는, 그 근처에 있는, 그에 인접한, 그에 측방향으로 인접한, 그에 수평으로 인접한, 그에 수직으로 인접한) 사용자 인터페이스의 일부분(예컨대, 706)으로부터 시각적으로 분리하여 제1 외관과는 상이한 제2 외관을 갖도록 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트한다(802c). 일부 실시예들에서, 각자의 사용자 인터페이스 요소를 사용자 인터페이스의 일부분으로부터 시각적으로 분리하는 것은, 예를 들어 각자의 사용자 인터페이스 요소를 3차원 환경 내에 사용자의 위치에 더 가깝게 보이도록 디스플레이하고/하거나 사용자 인터페이스의 일부분을 3차원 환경 내에 사용자의 위치로부터 더 멀리 보이도록 디스플레이함으로써, 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 z 분리를 증가시키는 것을 포함한다. 일부 실시예들에서, 제1 외관과는 상이한 제2 외관을 갖도록 각자의 사용자 인터페이스 요소를 업데이트하는 것은 각자의 사용자 인터페이스 요소가 디스플레이되는 크기, 색상, 위치 및/또는 반투명도를 업데이트하는 것 및/또는 각자의 사용자 인터페이스 요소가 디스플레이되는 사용자 인터페이스의 가상 층을 업데이트하는 것을 포함한다. 예를 들어, 제1 사용자 입력에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 사용자 인터페이스 뒤의 배경과 동일한 사용자 인터페이스의 층 내에 제1 색상으로 디스플레이되는 것으로부터 각자의 사용자 인터페이스 요소를 사용자 인터페이스 뒤의 배경이 디스플레이되는 사용자 인터페이스의 가상 층 위(예컨대, 그 앞)에 있는 사용자 인터페이스의 가상 층 내에 제2 색상으로 디스플레이하는 것으로 업데이트한다. 이러한 예에서, 제1 입력에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소의 색상을 변경하고 각자의 사용자 인터페이스 요소와 사용자 사이의 가상 거리를 감소시켜서, 각자의 사용자 인터페이스 요소(예컨대, 버튼)가 각자의 사용자 인터페이스 요소가 디스플레이되는 백플레인(backplane) 밖으로 앞으로 튀어나오게 한다.
도 7b에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 708a)가 제2 외관을 갖는 동안, 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 신체적 특징부(예컨대, 눈 또는 손)의 포즈(예컨대, 위치, 배향, 및/또는 그립)에 기초하여, 각자의 사용자 인터페이스 요소(예컨대, 708a)의 활성화에 대응하는 제2 사용자 입력을 검출한다(802d). 일부 실시예들에서, 전자 디바이스는 눈 추적 디바이스, 손 추적 디바이스, 터치 감응형 표면(예컨대, 터치 스크린 또는 트랙패드), 키보드, 또는 마우스를 통해 포즈를 검출한다. 예를 들어, 눈 추적 디바이스를 통해, 사용자가 각자의 사용자 인터페이스 요소를 보고 있다는 것을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 요소의 위치를 업데이트하여 제1 층으로부터 사용자에 더 가깝게 보이는 제2 층으로 이동시킨다. 이러한 예에서, 손 추적 디바이스를 통해, 사용자가 그들의 엄지 손가락 및 동일한 손 상의 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 또는 새끼 손가락)을 함께 탭핑한다는 것을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제2 층 내에 디스플레이되는 것으로부터 제2 층보다 사용자로부터 더 멀리 보이는 층(예컨대, 제1 층, 제1 층과 제2 층 사이의 층, 제1 층 뒤의 층 등)에 디스플레이되는 것으로 업데이트한다.
일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대한 제2 사용자 입력을 검출하는 것에 응답하여(802e), 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시킨다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 연관된 선택 동작을 수행하고, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시킴으로써 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트한다(802f). 일부 실시예들에서, 하나 이상의 제2 기준들은, 전자 디바이스가, 눈 추적 디바이스를 사용하여, 사용자가, 선택적으로 제1 사용자 입력과 연관된 시간 임계치들보다 긴 임계 시간(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.6, 0.7, 0.8, 0.9, 1, 1.5, 2, 2.5초 등) 동안 각자의 사용자 인터페이스 요소를 보았다는 것을 검출할 때 만족되는 기준들을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준들은, 전자 디바이스가, 눈 추적 디바이스를 통해, 제스처가 수행되는 동안 사용자가 각자의 사용자 인터페이스 요소를 보고 있다는 것을 동시에 검출하면서, 손 추적 디바이스를 통해, 사용자가 (예컨대, 그들의 손(들)으로) 미리결정된 제스처를 수행하였다는 것을 검출할 때 만족되는 기준들을 포함한다. 일부 실시예들에서, 미리결정된 제스처는 사용자가 그들의 엄지 손가락과 그들의 손가락들 중 하나의 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)을 함께 탭핑하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준들은, 전자 디바이스가, 손 추적 디바이스를 통해, 사용자의 손 또는 사용자의 손의 손가락의 위치가 사용자 인터페이스 내의 미리결정된 가상 위치에 대응하는 위치와 같은 미리결정된 위치에 대응한다는 것을 검출할 때 만족된다. 예를 들어, 하나 이상의 제2 기준들은, 전자 디바이스가, 손 추적 디바이스를 사용하여, 사용자가 그들의 손을 각자의 사용자 인터페이스 요소가 사용자 인터페이스의 제1 가상 층 내에 디스플레이되는 사용자 인터페이스 내의 가상 위치로부터 사용자 인터페이스의 제2 가상 층 내의 사용자 인터페이스 내의 가상 위치(예컨대, 각자의 사용자 인터페이스 요소가 제1 가상 층 내에 디스플레이되었던 사용자 인터페이스 내의 가상 위치 뒤의 가상 위치에 대응하는 제2 가상 층 내의 가상 위치)로 이동시킨다는 것을 검출할 때 만족된다. 일부 실시예들에서, 하나 이상의 제2 기준들은, 입력 디바이스(예컨대, 키보드, 마우스, 트랙패드, 리모트(remote) 등)의 하드웨어 키 또는 버튼의 해제 또는 (예컨대, 터치 감응형 디스플레이, 트랙패드 등의) 터치 감응형 표면 상의 접촉의 리프트오프와 같은, 선택 입력의 리프트오프를 검출하는 것에 응답하여 만족된다. 일부 실시예들에서, 전자 디바이스가 각자의 사용자 인터페이스 요소와 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시키는 동안, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제3 크기, 제3 색상 및/또는 제3 반투명도로 디스플레이하고/하거나, 각자의 사용자 인터페이스 요소를 사용자 인터페이스의 제3 가상 층 내에 또는 제3 가상 위치에 디스플레이한다. 일부 실시예들에서, 제3 크기, 색상, 반투명도, 가상 위치, 및/또는 제3 가상 층은 각자의 사용자 인터페이스 요소의 제2 외관에 대응하는 제2 크기, 색상, 반투명도, 가상 위치, 및/또는 제2 가상 층과는 상이하다. 일부 실시예들에서, 제3 크기, 색상, 반투명도, 가상 위치, 및/또는 제3 가상 층은 각자의 사용자 인터페이스 요소의 제2 외관에 대응하는 제2 크기, 색상, 반투명도, 가상 위치, 및/또는 제2 가상 층과 동일하다. 일부 실시예들에서, 제3 크기, 색상, 반투명도, 가상 위치, 및/또는 제3 가상 층은 각자의 사용자 인터페이스 요소의 제1 외관에 대응하는 제1 크기, 색상, 반투명도, 가상 위치, 및/또는 제1 가상 층과는 상이하다. 일부 실시예들에서, 제3 크기, 색상, 반투명도, 가상 위치, 및/또는 제3 가상 층은 각자의 사용자 인터페이스 요소의 제1 외관에 대응하는 제1 크기, 색상, 반투명도, 가상 위치, 및/또는 제1 가상 층과 동일하다. 예를 들어, 각자의 사용자 인터페이스 요소를 각자의 사용자 인터페이스 요소와 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분 사이의 분리가 감소된 상태로 디스플레이하는 동안, 전자 디바이스는 각자의 사용자 인터페이스 요소가 제1 외관으로 디스플레이되었던 사용자 인터페이스의 제1 층 내에 제1 색상 및 제2 색상과는 상이한 제3 색상으로 각자의 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소를 제1 외관으로부터 제2 외관으로 업데이트하는 것은 각자의 사용자 인터페이스 요소를 사용자 인터페이스의 제1 가상 층 내에 디스플레이하는 것으로부터 제1 층보다 사용자에게 더 가깝게 보이는 사용자 인터페이스 내의 제2 가상 층으로 전이하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준들을 만족시키는 제2 사용자 입력은 각자의 사용자 인터페이스 요소를 제2 가상 층으로부터 제1 가상 층으로 이동시키는 것에 대응하는 입력의 크기에 대응하고, 전자 디바이스는 제2 입력이 수신되고 있는 동안 사용자 인터페이스 요소를 제2 가상 층으로부터 제1 가상 층으로 이동시키는 애니메이션을 디스플레이한다. 일부 실시예들에서, 제1 입력 및 제2 입력은 상이한 입력 디바이스들로 검출된다. 예를 들어, 제1 사용자 입력을 검출하는 것은, 손 추적 디바이스를 통해, 사용자에 의해 수행되는 각자의 손 제스처를 검출하는 동안, 눈 추적 디바이스를 통해, 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것을 포함하고, 제2 사용자 입력을 검출하는 것은 손 추적 디바이스로 입력을 검출하지 않고서 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.6, 0.7, 0.8, 0.9, 1, 1.5, 2, 2.5초 등)를 초과하는 기간 동안 사용자의 시선을 검출하는 것을 포함한다.
일부 실시예들에서, 예를 들어 도 7b에서와 같이, 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대한 제2 사용자 입력을 검출하는 것에 응답하여(802e), 사용자의 주의가 여전히 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향되는 것으로 결정되는 동안 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시키지 않고서, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 연관된 선택 동작을 수행하는 것을 보류한다(802h). 일부 실시예들에서, 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제2 외관으로 계속 디스플레이하고, 각자의 사용자 인터페이스 요소와 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분을 계속 시각적으로 분리한다. 일부 실시예들에서, 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제1 외관으로 디스플레이한다. 제1 사용자 입력에 응답하여 제2 외관을 갖도록 각자의 사용자 인터페이스 요소를 업데이트하고, 하나 이상의 제2 기준들을 만족시키는 제2 사용자 입력에 응답하여 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분으로부터의 분리가 증가된 상태로 디스플레이되도록 각자의 사용자 인터페이스 요소를 업데이트하는 전술된 방식은, 제1 사용자 입력 및 제2 사용자 입력이 수신된다는 피드백을 사용자에게 제공하는 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7b에서와 같이, 각자의 사용자 인터페이스 요소(예컨대, 708a)가 제2 외관을 갖는 동안, 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 신체적 특징부(예컨대, 눈 또는 손)의 포즈(예컨대, 위치, 배향, 및/또는 그립)에 기초하여, 디바이스의 사용자의 주의가 각자의 사용자 인터페이스 요소(예컨대, 708b)로 지향되지 않는다는 것을 검출한다(804a). 일부 실시예들에서, 전자 디바이스는, 눈 추적 디바이스를 통해, 각자의 사용자 인터페이스 요소 이외의 사용자 인터페이스 내의 위치를 향해 지향되는 사용자의 시선을 검출하고/하거나, 손 추적 디바이스를 통해, 전자 디바이스가 사용자가 그들의 손을 각자의 사용자 인터페이스 요소와 연관된 미리결정된 위치로부터 멀리 이동시키는 것을 검출하는 것을 검출한다. 일부 실시예들에서, 디바이스(예컨대, 101)의 사용자의 주의가 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향되지 않는다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 각자의 사용자 인터페이스 요소(예컨대, 708a)와 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시킴으로써 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트한다(804b). 일부 실시예들에서, 전자 디바이스는 각자의 사용자 인터페이스 요소와 연관된 선택 동작을 수행하는 것을 보류한다. 일부 실시예들에서, 전자 디바이스는 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분과 동일한 가상 층 내에 각자의 사용자 인터페이스 요소를 디스플레이한다.
전자 디바이스의 사용자의 주의가 각자의 사용자 인터페이스 요소로 지향되지 않는다는 것을 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소와 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시키는 전술된 방식은, 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분의 외관을 복귀시키는 효율적인 방식을 그렇게 하기 위한 추가 사용자 입력을 요구하지 않고서 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 제2 사용자 입력은 하나 이상의 제2 기준들을 만족시킨다(806a). 일부 실시예들에서, 예를 들어 도 7b에서와 같이, 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대한 제2 사용자 입력을 검출하는 동안, 그리고 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시키기 전에, 전자 디바이스(예컨대, 101)는, 하나 이상의 제2 기준들을 만족시키는 것을 향한 제2 사용자 입력의 진행에 따라, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시킴으로써 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트한다(806b). 일부 실시예들에서, 전자 디바이스는 제2 사용자 입력이 검출되고 있는 동안 각자의 사용자 인터페이스 요소가 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분과 동일한 가상 층으로 복귀하는 애니메이션을 디스플레이한다. 예를 들어, 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 시선이 각자의 사용자 인터페이스 요소 상에 유지되는 동안 각자의 사용자 인터페이스 요소를 각자의 사용자 인터페이스에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분으로 점진적으로 이동시키는 것을 애니메이션화하고, 사용자가 그들의 시선을 각자의 사용자 인터페이스 요소 상에 유지한 동안 미리결정된 기간(예컨대, 0.1초, 0.2초, 0.3초, 0.4초, 0.5초, 1초, 2초 등)이 경과하였다는 결정에 따라 애니메이션을 완료하고 선택 동작을 수행한다.
제2 사용자 입력을 검출하는 동안, 그리고 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시키기 전에, 각자의 사용자 인터페이스 요소와 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시키는 전술된 방식은, 사용자에게 각자의 사용자 인터페이스 요소를 선택하는 진행을 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 사용자의 신체적 특징부의 포즈에 기초하여, 디바이스의 사용자의 주의가 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향된다는 것을 검출하는 것은, 전자 디바이스(예컨대, 101)와 통신하는 눈 추적 디바이스를 통해, 사용자의 시선(예컨대, 712)이 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향된다는 것을 검출하는 것을 포함한다(808a). 일부 실시예들에서, 전자 디바이스는, 사용자의 시선이 미리결정된 기간(예컨대, 0.1초, 0.2초, 0.3초, 0.4초, 0.5초, 1초 등) 동안 각자의 사용자 인터페이스 요소 상에 유지된다는 결정에 따라, 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스의 일부분과 각자의 사용자 인터페이스 요소 사이의 분리를 증가시킨다. 일부 실시예들에서, 전자 디바이스는, 임의의 기간 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것에 응답하여(예컨대, 시선을 검출하는 즉시), 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스의 일부분으로부터 각자의 사용자 인터페이스 요소를 분리하는 것을 개시한다. 일부 실시예들에서, 전자 디바이스는 (예컨대, 눈 추적 디바이스 이외의 입력 디바이스를 통해 추가 입력을 수신하지 않고서) 시선 입력에만 응답하여 사용자 인터페이스의 일부분으로부터 각자의 사용자 인터페이스 요소를 분리하는 것을 개시한다.
시선에 기초하여 사용자의 주의를 검출하는 전술된 방식은, 사용자의 시선 이외의 입력 없이 각자의 사용자 인터페이스 요소의 선택을 개시하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 사용자의 신체적 특징부의 포즈에 기초하여, 디바이스의 사용자의 주의가 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향된다는 것을 검출하는 것은, 전자 디바이스와 통신하는 눈 추적 디바이스 및 손 추적 디바이스를 통해, 사용자의 시선(예컨대, 712)이 각자의 사용자 인터페이스 요소로 지향되고 사용자의 손(예컨대, 704)이 미리결정된 포즈(예컨대, 제스처, 위치, 모션)에 있다는 것을 검출하는 것을 포함한다(810a). 일부 실시예들에서, 전자 디바이스는, 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 동안 비시선(non-gaze) 입력을 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스의 일부분과 각자의 사용자 인터페이스 요소 사이의 분리를 증가시킨다. 일부 실시예들에서, 비시선 입력은 손 추적 디바이스를 통해 검출되는 손 제스처 또는 위치이다. 예를 들어, 손 제스처는 손의 손가락이 각자의 사용자 인터페이스 요소에 대응하는 3차원 환경 내의 위치를 향해 펴진 것이다. 다른 예로서, 손 제스처는 사용자의 엄지 손가락이 엄지 손가락과 동일한 손 상의 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)을 향해 이동하는 것이다. 다른 예로서, 전자 디바이스는 손이 각자의 사용자 인터페이스 요소에 대응하는 3차원 환경의 위치에 있는 것을 검출한다. 예를 들어, 사용자가 그들의 손가락을 3차원 환경 내의 각자의 사용자 인터페이스 요소를 향해 펴고 있는 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스의 일부분으로부터 각자의 사용자 인터페이스 요소를 분리하기 시작한다.
사용자의 시선 및 사용자의 손의 포즈에 기초하여 사용자의 주의를 검출하는 전술된 방식은, 사용자에게 직관적인 방식으로 각자의 사용자 인터페이스 요소의 선택을 개시하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 사용자의 신체적 특징부의 포즈에 기초하여, 각자의 사용자 인터페이스 요소(예컨대, 708a)의 활성화에 대응하는 제2 사용자 입력을 검출하는 것은, 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대응하는 위치에서 전자 디바이스의 사용자의 손(예컨대, 704)의 일부분을 검출하는 것을 포함한다(812a). 일부 실시예들에서, 제2 사용자 입력을 검출하는 것은 손으로 수행되는 미리결정된 제스처(예컨대, 엄지 손가락을 손가락에 터치하는 것, 포인팅 제스처로 하나 이상의 손가락들을 펴는 것)를 검출하는 것을 추가로 포함한다. 일부 실시예들에서, 제2 사용자 입력을 검출하는 것은 손의 하나 이상의 손가락들이 펴져 있는(예컨대, 하나 이상의 손가락들로 가리키고 있는) 동안 3차원 환경 내의 각자의 사용자 인터페이스 요소의 위치의 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 50 센티미터) 내에 있는 위치에서 사용자의 손을 검출하는 것을 포함한다. 예를 들어, 제2 입력을 검출하는 것은 사용자가 각자의 사용자 인터페이스 요소에 대응하는 3차원 환경 내의 위치에서 하나 이상의 손가락들로 각자의 사용자 인터페이스 요소들을 "푸시"하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제2 사용자 입력을 검출하는 것은, 손 추적 디바이스를 통해, 3차원 환경 내의 각자의 사용자 인터페이스 요소의 위치의 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 50 센티미터) 내에서 사용자의 하나 이상의 손가락들의 팁을 검출하는 것에 뒤이어, 각자의 사용자 인터페이스 요소에 대응하는 위치에 유지되는 동안 각자의 사용자 인터페이스 요소를 향한 손가락들/손/팔의 이동을 검출하는 것을 포함한다.
사용자의 손의 일부분의 위치에 기초하여 제2 사용자 입력을 검출하는 전술된 방식은, 사용자에게 직관적이고 사용자가 물리적 입력 디바이스를 조작할 것을 요구하지 않는 입력을 수락하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 사용자의 신체적 특징부의 포즈에 기초하여, 각자의 사용자 인터페이스 요소(예컨대, 708a)의 활성화에 대응하는 제2 사용자 입력을 검출하는 것은, 전자 디바이스(예컨대, 101)와 통신하는 눈 추적 디바이스 및 손 추적 디바이스를 통해, 전자 디바이스의 사용자의 시선(예컨대, 712)이 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향되는 동안 전자 디바이스(예컨대, 101)의 사용자의 손(예컨대, 704)에 의해 수행되는 각자의 제스처(예컨대, 엄지 손가락을 손가락에 터치하는 것, 포인팅 제스처로 하나 이상의 손가락들을 펴는 것)를 검출하는 것을 포함한다(814a). 일부 실시예들에서, 제2 사용자 입력을 검출하는 것은, 눈 추적 디바이스를 통해, 사용자의 시선이 각자의 사용자 인터페이스 요소를 향해 지향되는 동안, 손이 미리결정된 위치(예컨대, 3차원 환경 내의 각자의 사용자 인터페이스 요소로부터 임계 거리(예컨대, 5 센티미터, 10 센티미터, 20 센티미터, 30 센티미터, 45 센티미터 등) 내의 위치)에 있는 동안 손으로 수행되는 미리결정된 제스처(예컨대, 엄지 손가락을 손가락에 터치하는 것, 포인팅 제스처로 하나 이상의 손가락들을 펴는 것)를 검출하는 것을 추가로 포함한다. 예를 들어, 제2 입력을 검출하는 것은 사용자가 각자의 사용자 인터페이스 요소를 보고 있는 동안 사용자가 그들의 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 탭핑하는 것을 검출하는 것을 포함한다.
사용자의 손의 일부분의 위치에 기초하여 제2 사용자 입력을 검출하는 전술된 방식은, 사용자에게 직관적이고 사용자가 물리적 입력 디바이스를 조작할 것을 요구하지 않는 입력을 수락하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7a에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대한 제2 사용자 입력을 검출하기 전에, 각자의 사용자 인터페이스 요소(예컨대, 708a)는, 각자의 사용자 인터페이스 요소(예컨대, 708a)가 사용자 인터페이스의 일부분(예컨대, 706)으로부터 시각적으로 분리되는 동안, 제1 값을 갖는 (예컨대, 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스의 일부분과 각자의 사용자 인터페이스 요소 사이의 거리 이외의) 각자의 시각적 특성으로 디스플레이된다(816a). 일부 실시예들에서, 각자의 시각적 특성은 각자의 사용자 인터페이스 요소의 크기, 색상, 반투명도 등이다. 도 7c에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 연관된 선택 동작을 수행하는 것은, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양이 감소되는 동안(예컨대, 각자의 사용자 인터페이스 요소가 사용자 인터페이스의 일부분으로부터 분리되지 않는 동안), 각자의 사용자 인터페이스 요소를 제1 값과는 상이한 제2 값을 갖는 각자의 시각적 특성으로 디스플레이하는 것을 포함한다(816b). 예를 들어, 제2 입력을 검출하기 전에, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제1 색상으로 디스플레이하고, 제2 사용자 입력(예컨대, 선택)에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제1 색상과는 상이한 제2 색상으로 디스플레이하면서 선택 액션을 수행한다.
선택 동작의 일부로서 시각적 특성을 업데이트하는 전술된 방식은, 각자의 사용자 인터페이스 요소의 선택을 확인하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 제2 사용자 입력은, 제2 사용자 입력이 시간 임계치(예컨대, 0.02초, 0.05초, 0.1초, 0.2초, 0.25초, 0.3초, 0.5초, 1초, 2초 등)보다 더 오랫동안 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향되는 전자 디바이스(예컨대, 101)의 사용자의 시선(예컨대, 712)을 포함할 때, 하나 이상의 제2 기준들을 만족시킨다(818a). 일부 실시예들에서, 하나 이상의 제2 기준들은 추가 비시선 입력 없이 시간 임계치보다 더 오랫동안 각자의 사용자 인터페이스 요소로 지향되는 시선에 응답하여 만족된다. 일부 실시예들에서, 전자 디바이스는 사용자의 시선이 시간 임계치에 걸쳐 각자의 사용자 인터페이스 요소 상에 유지되는 동안 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리의 양을 점진적으로 감소시킨다. 일부 실시예들에서, 하나 이상의 제2 기준들은 시선 추적 디바이스 이외의 입력 디바이스를 통한 추가 입력을 검출하지 않고서 사용자의 시선에만 기초하여 만족된다.
시간 임계치 동안 각자의 사용자 인터페이스 요소를 향해 지향되는 사용자의 시선에 응답하여 각자의 사용자 인터페이스 요소를 선택하는 전술된 방식은, 사용자가 물리적 입력 디바이스를 조작할 것을 요구하지 않고서 각자의 사용자 인터페이스 요소를 선택하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 708a)가 제2 외관을 갖는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7b에서와 같이, 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 전자 디바이스의 사용자의 손(예컨대, 704)이 각자의 사용자 인터페이스 요소(예컨대, 708a)와 상호작용하기 위한 위치에 대응하는 각자의 위치에 있다는 것을 검출한다(820a). 일부 실시예들에서, 손은 미리결정된 포즈(예컨대, 하나 이상의 손가락들이 포인팅 제스처로 펴짐, 엄지 손가락이 거의 핀치 제스처로 다른 손가락으로부터 임계치(예컨대, 0.5 센티미터, 1 센티미터, 2 센티미터 등) 내에 있음)에 있는 동안 3차원 환경 내의 각자의 사용자 인터페이스 요소의 임계 거리(예컨대, 5 센티미터, 10 센티미터, 15 센티미터, 20 센티미터, 25 센티미터, 30 센티미터, 40 센티미터 등) 내에 있다. 도 7c에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101)의 사용자의 손(예컨대, 704)이 각자의 위치에 있다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 각자의 사용자 인터페이스 요소(예컨대, 708a)를 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분(예컨대, 706)으로부터 추가로 시각적으로 분리하도록 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트한다(820b). 일부 실시예들에서, 전자 디바이스는 사용자의 시선이 각자의 사용자 인터페이스 요소 상에 있고/있거나 사용자의 손이 미리결정된 포즈(예컨대, 하나 이상의 손가락들이 각자의 사용자 인터페이스 요소를 "가리킴")에 있는 동안 손이 각자의 위치에 있는 것에 응답하여 각자의 사용자 인터페이스를 업데이트한다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소와 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분을 추가로 시각적으로 분리하는 것은 각자의 사용자 인터페이스 요소를 3차원 환경에서 사용자의 시점을 향해 이동시키는 것 및/또는 사용자 인터페이스를 3차원 환경에서 사용자의 시점으로부터 멀리 이동시키는 것 중 하나 이상을 포함한다.
각자의 사용자 인터페이스 요소와 상호작용하기 위한 위치에 대응하는 각자의 위치에서 사용자의 손을 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소를 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분으로부터 추가로 시각적으로 분리하도록 각자의 사용자 인터페이스를 업데이트하는 전술된 방식은, 사용자 인터페이스 요소를 사용자가 손 이동 또는 제스처로 선택하기 더 용이하게 하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 제2 외관을 갖는 각자의 사용자 인터페이스 요소(예컨대, 708a)는 사용자 인터페이스에서 제1 계층적 레벨과 연관되고, 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분(예컨대, 706)은 제1 계층적 레벨과는 상이한 제2 계층적 레벨과 연관된다(822a). 일부 실시예들에서, 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분은 제1 계층적 레벨보다 높은 제2 계층적 레벨보다 높은 제3 계층적 레벨을 갖는 가상 컨테이너(예컨대, 사용자 인터페이스, 백플레인 등) 내에 디스플레이된다. 일부 실시예들에서, 계층적 레벨들은 3차원 환경에서의 사용자의 시점으로부터의 각자의 사용자 인터페이스 요소들의 거리(예컨대, z 깊이)를 정의한다. 예를 들어, 각자의 사용자 인터페이스 요소는 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 일부분과 사용자의 시점 사이에 디스플레이된다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소의 동적 범위는 제2 사용자 입력에 응답하여 제1 계층적 레벨로부터 제2 계층적 레벨까지 연장된다. 일부 실시예들에서, 계층적 레벨들은 내비게이션 레벨들이다. 예를 들어, 현재 디스플레이된 사용자 인터페이스는 제1 계층적 레벨에 있고, 전자 디바이스가 그로부터 현재 사용자 인터페이스로 내비게이팅한 사용자 인터페이스는 제2 계층적 레벨에 있다.
제2 외관을 갖는 각자의 사용자 인터페이스 요소를 제1 계층적 레벨과 연관시키고, 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 사용자 인터페이스의 각자의 부분을 제2 계층적 레벨과 연관시키는 전술된 방식은, 상호작용을 위해 각자의 사용자 인터페이스 요소로 사용자의 주의를 지향시키는 효율적인 방식을 제공하고 사용자의 인지적 부담을 감소시키는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 제2 사용자 입력을 검출하는 것은, 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 다시 사용자 인터페이스의 일부분(예컨대, 706)을 향한 각자의 사용자 인터페이스 요소(예컨대, 708a)의 이동에 대응하는, 전자 디바이스의 사용자로부터의 손 입력을 검출하는 것을 포함한다(824a). 일부 실시예들에서, 각자의 사용자 인터페이스 요소는 3차원 환경에서의 사용자의 시점과 사용자 인터페이스의 일부분 사이에 디스플레이된다. 일부 실시예들에서, 전자 디바이스는 손 입력에 따라 각자의 사용자 인터페이스 요소를 이동시킨다. 일부 실시예들에서, 전자 디바이스는 각자의 사용자 인터페이스 요소를 사용자 인터페이스의 일부분을 향해 푸시하는 것에 대응하는 손 입력(예컨대, 하나 이상의 손가락들이 손으로부터 펴짐, 각자의 사용자 인터페이스 요소에 대응하는 위치를 터치하거나 그를 터치하는 임계 거리(예컨대, 0.5 센티미터, 1 센티미터, 2 센티미터, 3 센티미터, 5 센티미터, 10 센티미터, 20 센티미터, 30 센티미터 등) 내에 있고 각자의 사용자 인터페이스 요소를 사용자로부터 멀리 사용자 인터페이스의 일부분을 향해 푸시함)에 응답하여 각자의 사용자 인터페이스 요소를 사용자 인터페이스의 일부분을 향해 이동시킨다. 도 7c에서와 같은 일부 실시예들에서, 제2 사용자 입력(예컨대, 손 입력을 포함함)을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 각자의 사용자 인터페이스 요소(예컨대, 708a)와 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시키도록 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트한다(824b). 일부 실시예들에서, 전자 디바이스는 손 입력의 특성(예컨대, 이동의 거리 또는 속도, 지속기간)에 따라 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킨다. 예를 들어, 손이 사용자 인터페이스의 일부분을 향해 제1 양만큼 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리를 제2 양만큼 감소시킨다. 이러한 예에서, 손이 사용자 인터페이스의 일부분을 향해 제1 양보다 많은 제3 양만큼 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리를 제2 양보다 많은 제4 양만큼 감소시킨다. 도 7c에서와 같은 일부 실시예들에서, 제2 사용자 입력은, 손 입력이 사용자 인터페이스의 일부분(예컨대, 706)으로부터 임계 거리(예컨대, 0 센티미터, 0.5 센티미터, 1 센티미터, 2 센티미터, 3 센티미터, 5 센티미터, 10 센티미터 등) 내로의 각자의 사용자 인터페이스 요소(예컨대, 708a)의 이동에 대응할 때, 하나 이상의 제2 기준들을 만족시킨다(824c). 일부 실시예들에서, 하나 이상의 제2 기준들은, 각자의 사용자 인터페이스 요소가 손 입력에 따라 사용자 인터페이스의 일부분에 도달할 때 만족되는 기준을 포함한다. 일부 실시예들에서, 제2 입력을 검출하기 전에, 각자의 사용자 인터페이스 요소는 제1 계층적 레벨로 디스플레이되고, 사용자 인터페이스의 일부분은 제2 계층적 레벨로 디스플레이되며, 제1 계층적 레벨과 제2 계층적 레벨 사이에는 계층적 레벨들이 없다(예컨대, 다른 사용자 인터페이스 요소들이 디스플레이되지 않음).
각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리의 양을 업데이트하고, 손 입력이 사용자 인터페이스의 일부분으로부터 임계 거리 내로의 각자의 사용자 인터페이스 요소의 이동에 대응할 때 하나 이상의 제2 기준들을 만족시키는 전술된 방식은, 사용자가 제2 입력을 제공하는 동안 사용자에게 피드백을 제공하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7d에서와 같은 일부 실시예들에서, 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시킨 후, 그리고 각자의 사용자 인터페이스 요소(예컨대, 708a)가 사용자 인터페이스의 일부분(예컨대, 706)으로부터 임계 거리(예컨대, 0 센티미터, 0.5 센티미터, 1 센티미터, 2 센티미터, 3 센티미터, 5 센티미터, 10 센티미터 등) 내에 있는 동안, 전자 디바이스(예컨대, 101)는, 손 추적 디바이스를 통해, 다시 사용자 인터페이스의 일부분(예컨대, 706)을 향한 각자의 사용자 인터페이스 요소(예컨대, 708a)의 이동에 대응하는, 전자 디바이스(예컨대, 101)의 사용자로부터의 추가 손 입력을 검출한다(826a). 일부 실시예들에서, 손의 이동은 하나 이상의 제2 기준들이 만족되는 양을 지나서 계속된다. 도 7d에서와 같은 일부 실시예들에서, 추가 손 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 (예컨대, 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리의 양을 변경하지 않고서) 추가 손 입력에 따라 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)을 이동시킨다(826b). 일부 실시예들에서, 제1 계층적 레벨에서의 객체들(예컨대, 각자의 사용자 인터페이스 요소)이 제2 계층적 레벨에서의 객체들(예컨대, 사용자 인터페이스의 일부분) 내로 푸시될 때, 둘 모두의 레벨들에서의 객체들은 (예컨대, 마치 그들이 둘 모두 제2 계층적 레벨에 포함되는 것처럼) 추가 사용자 입력에 응답하여 함께 이동한다. 일부 실시예들에서, 추가 손 입력은 전자 디바이스로 하여금 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 제2 계층적 레벨 뒤의 제3 계층적 레벨 내로 추가로 푸시하게 한다(예컨대, 제2 계층적 레벨은 제1 계층적 레벨과 제2 계층적 레벨 사이에 있음). 일부 실시예들에서, 전자 디바이스는 제3 계층적 레벨로 사용자 인터페이스의 일부분의 백플레인을 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 제1 계층적 레벨, 제2 계층적 레벨 및 제3 계층적 레벨을 추가로 푸시하는 추가 손 입력에 응답하여 제3 계층적 레벨을 제4 계층적 레벨로 뒤로 이동시키며, 기타 등등이다. 일부 실시예들에서, 추가 손 입력에 따른 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분의 이동은 손 입력의 이동의 속도, 방향 및/또는 거리에 기초한다. 일부 실시예들에서, 사용자의 몸통을 향한 손의 이동을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분이 관성으로 3차원 환경에서 사용자를 향해 이동하는 것을 디스플레이한다.
각자의 사용자 인터페이스 요소가 사용자 인터페이스의 일부분의 임계치 내에 있는 동안 수신되는 추가 손 입력에 응답하여, 추가 손 입력에 따라 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 이동시키는 전술된 방식은, 추가 손 입력의 수신을 확인하는 효율적인 방식을 제공하고 사용자의 인지적 부담을 감소시키는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 제2 사용자 입력을 검출하는 것에 응답하여(828a), 손 입력이 임계량의 이동(예컨대, 0.5, 1, 2, 3, 4, 5, 7, 10, 20 센티미터 등, 또는 그렇지 않으면 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 거리) 미만인, 다시 사용자 인터페이스의 일부분(예컨대, 706)을 향한 각자의 사용자 인터페이스 요소(예컨대, 708a)의 이동에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시키기 위해, 사용자 인터페이스의 일부분(예컨대, 706)을 이동시키지 않고서 손 입력에 따라(예컨대, 그의 메트릭(예컨대, 지속기간, 속도, 거리)에 비례하는 양만큼) 사용자 인터페이스의 일부분(예컨대, 706)을 향해 다시 각자의 사용자 인터페이스 요소(예컨대, 708a)를 이동시킨다(828b). 일부 실시예들에서, 임계량 미만의 이동에 대응하는 손 입력에 응답하여, 전자 디바이스는 손 입력에 따라 사용자 인터페이스의 일부분을 이동시키지 않고서 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리를 감소시킨다. 일부 실시예들에서, 전자 디바이스는 각자의 사용자 인터페이스 요소를 손 입력의 메트릭(예컨대, 지속기간, 속도, 거리)에 비례하는 양만큼 이동시킨다. 예를 들어, 제1 양만큼의 손의 이동을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 사용자 인터페이스의 일부분을 향해 제2 양만큼 이동시킨다. 다른 예로서, 제1 양보다 많은 제3 양만큼의 손의 이동을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 사용자 인터페이스의 일부분을 향해 제2 양보다 많은 제4 양만큼 이동시킨다. 일부 실시예들에서, 제1 임계치는 각자의 사용자 인터페이스 요소가 사용자 인터페이스의 일부분의 계층적 레벨에 도달하는 이동의 양에 대응한다. 일부 실시예들에서, 손 입력은 임계량의 이동에 대응하는 손 입력에 응답하여 하나 이상의 제2 기준들을 만족시킨다. 도 7d에서와 같은 일부 실시예들에서, 제2 사용자 입력을 검출하는 것에 응답하여(828a), 손 입력이 임계량의 이동 초과인(예컨대, 그러나 사용자 인터페이스의 일부분의 계층적 레벨 뒤의 계층적 레벨에 대응하는 제2 임계치(예컨대, 1, 2, 3, 4, 5, 7, 10, 20, 30, 40 센티미터 등) 미만인), 다시 사용자 인터페이스의 일부분(예컨대, 706)을 향한 각자의 사용자 인터페이스 요소(예컨대, 708a)의 이동에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101)는 (예컨대, 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리의 양을 변경하지 않고서) 손 이동에 따라 각자의 사용자 인터페이스 요소(예컨대, 706a)를 이동시키고 사용자 인터페이스의 일부분(예컨대, 706)을 이동시킨다(828c). 일부 실시예들에서, 제1 계층적 레벨에서의 객체들(예컨대, 각자의 사용자 인터페이스 요소)이 제2 계층적 레벨에서의 객체들(예컨대, 사용자 인터페이스의 일부분) 내로 푸시하기 위해 적어도 임계량만큼 푸시될 때, 둘 모두의 레벨들에서의 객체들은 (예컨대, 마치 그들이 둘 모두 제2 계층적 레벨에 포함되는 것처럼) 추가 사용자 입력에 응답하여 함께 이동한다. 일부 실시예들에서, (예컨대, 제2 임계치를 넘는) 추가 손 입력은 전자 디바이스로 하여금 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 제2 계층적 레벨 뒤의 제3 계층적 레벨 내로 추가로 푸시하게 한다(예컨대, 제2 계층적 레벨은 제1 계층적 레벨과 제2 계층적 레벨 사이에 있음). 일부 실시예들에서, 전자 디바이스는 제3 계층적 레벨로 사용자 인터페이스의 일부분의 백플레인을 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 제1 계층적 레벨, 제2 계층적 레벨 및 제3 계층적 레벨을 추가로 푸시하는 추가 손 입력에 응답하여 제3 계층적 레벨을 제4 계층적 레벨로 뒤로 이동시키며, 기타 등등이다.
임계치를 초과하는 손 입력에 응답하여 손 입력에 따라 사용자 인터페이스의 일부분을 이동시키는 전술된 방식은, 손 입력이 임계치를 초과할 때 사용자에게 피드백을 제공하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시킴으로써 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트하는 것은 제2 사용자 입력의 이동 컴포넌트에 따라 관성(예컨대, 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분의 이동 속도에 기초한 시뮬레이션된 물리적 속성)으로 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)을 이동시키는 것을 포함한다(830a). 일부 실시예들에서, 사용자가 제2 사용자 입력의 이동 컴포넌트를 중지하는 것을 검출하는 것 또는 제2 사용자 입력의 이동 컴포넌트가 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 향해 이동하는 것으로부터 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분으로부터 멀리 이동하는 것으로 변화하는 것을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분의 분리를 감소시키는 것의 지속적인 진행, 그러나 그의 감속을 애니메이션화한다. 예를 들어, 제2 사용자 입력은 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 향한 사용자의 손의 모션을 포함한다. 이러한 예에서, 제2 입력에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스를 사용자의 시점으로부터 멀리 그리고 사용자 인터페이스의 일부분을 향해 이동시키고, 사용자가 그들의 손을 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 향해 이동시키는 것을 중지한다는 것을 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소는, 전자 디바이스가 사용자 인터페이스의 일부분을 향한 각자의 사용자 인터페이스 요소의 모션을 감속하더라도, 일정 기간(예컨대, 0.1, 0.3, 0.5초) 동안 관성으로 사용자 인터페이스의 일부분을 향해 계속 이동한다. 일부 실시예들에서, 제2 입력이 사용자 인터페이스의 일부분으로 하여금 사용자로부터 멀리 이동하게 하는 경우, 사용자 인터페이스의 일부분도 관성으로 이동한다(예컨대, 제2 입력이 각자의 사용자 인터페이스 요소로부터 사용자 인터페이스의 일부분으로의 방향으로 이동하는 것을 정지한 후 일정 기간 동안 계속 이동하고 감속함). 일부 실시예들에서, 제2 입력이 사용자 인터페이스의 일부분으로 하여금 이동하게 하지 않는 경우, 사용자 인터페이스의 일부분은 제2 입력이 각자의 사용자 인터페이스 요소로부터 사용자 인터페이스의 일부분으로의 방향으로 이동하는 것을 정지한 후 계속 이동하지 않는다. 일부 실시예들에서, 전자 디바이스(예컨대, 101)는 도 7c에서 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대한 제2 사용자 입력의 종료를 검출한다(830b). 일부 실시예들에서, 사용자는 각자의 사용자 인터페이스 요소를 보는 것을 중지하고, 사용자는 그들의 손을 각자의 사용자 인터페이스 요소를 향해 이동시키는 것을 중지하고, 사용자는 미리결정된 제스처를 수행하는 것을 중지하고(예컨대, 핀치 제스처를 해제함), 그들의 손을 각자의 사용자 인터페이스 요소의 위치와 연관된 미리결정된 위치로부터 멀리 이동시키고, 기타 등등이다. 일부 실시예들에서, 제2 사용자 입력의 종료는 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시키지 않고서 검출된다. 일부 실시예들에서, 도 7c에서 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대한 제2 사용자 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)을 제2 사용자 입력에 응답하여 이루어진 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)의 이동과 반대인 방향으로 이동시킨다(830c). 일부 실시예들에서, 제2 사용자 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리를 증가시킨다. 일부 실시예들에서, 하나 이상의 각각의 기준들은, 제2 입력이 하나 이상의 제2 기준들을 만족시키지 않을 때, 사용자가 각자의 사용자 인터페이스 요소를 계속 볼 때, 그리고/또는 상이한 사용자 인터페이스 요소에 대한 추가 입력이 수신될 때까지 만족되는 기준들을 포함한다. 일부 실시예들에서, 제2 입력이 사용자 인터페이스의 일부분으로 하여금 사용자로부터 멀리 이동하게 하는 경우, 사용자 인터페이스의 일부분은 제2 입력의 종료에 응답하여 각자의 사용자 인터페이스 요소를 향한 방향으로 이동한다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소는 제2 입력의 종료를 검출하는 것에 응답하여 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 거리가 증가하도록 사용자 인터페이스의 일부분보다 더 빠른 속도로 그리고/또는 더 긴 지속기간 동안 이동한다. 일부 실시예들에서, 제2 입력이 사용자 인터페이스의 일부분으로 하여금 이동하게 하지 않는 경우, 사용자 인터페이스의 일부분은 전자 디바이스가 제2 사용자 입력의 종료를 검출한 후 계속 이동하지 않는다.
관성으로 각자의 사용자 인터페이스 요소를 이동시키고, 제2 사용자 입력의 종료를 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 제2 사용자 입력에 응답한 방향과 반대인 방향으로 이동시키는 전술된 방식은, 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시키지 않았다는 것을 사용자에게 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 제2 사용자 입력을 검출하는 것은 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대응하는 위치에서 전자 디바이스(예컨대, 101)의 사용자의 손(예컨대, 704)의 일부분을 검출하는 것(예컨대, 사용자가 손의 하나 이상의 손가락들로 각자의 사용자 인터페이스 요소를 "푸시"하는 것을 검출하는 것)을 포함한다(832a). 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 708a)가 제2 외관을 갖는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7b에서와 같이, 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 사용자의 손이 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대응하지 않는 위치에 있는 동안 사용자의 손(예컨대, 704)에 의해 수행되는 각자의 제스처(예컨대, 사용자가 엄지 손가락을 엄지 손가락의 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 핀치 제스처)를 포함하는 각자의 입력을 검출한다(832b). 일부 실시예들에서, 제스처는 손이 각자의 사용자 인터페이스 요소에 대응하는 3차원 환경 내의 위치(예컨대, 손이 각자의 사용자 인터페이스 요소를 선택하기 위해 그를 "푸시"할 수 없는 위치, 그러나 오히려 각자의 사용자 인터페이스 요소의 위치로부터 원격인 위치)에 있지 않은 동안 수행된다. 일부 실시예들에서, 제스처는 손이 각자의 사용자 인터페이스 요소에 대응하는 위치에 있는 동안 수행되고, 전자 디바이스의 응답은 마치 사용자가 각자의 사용자 인터페이스 요소에 대응하지 않는 위치에서 손으로 제스처를 수행한 것처럼 동일하다. 일부 실시예들에서, 각자의 입력을 검출하는 것에 응답하여(832c), 각자의 입력이 하나 이상의 제3 기준들을 만족시킨다는, 사용자의 손(예컨대, 704)이 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대응하지 않는 위치에 있는 동안 사용자의 손(예컨대, 704)에 의해 수행되는 각자의 제스처에 기초한 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7d에서와 같이, 관성으로 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)을 이동시키는 것을 포함하여, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시킴으로써 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트한다(832d). 일부 실시예들에서, 관성으로 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 이동시키는 것은, 각자의 입력이 수신됨에 따라 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분의 이동 속도를 점진적으로 증가시키는 것, 및 각자의 입력의 종료에 응답하여 각자의 사용자 인터페이스 요소의 이동 속도를 점진적으로 감소시키는 것을 포함한다. 일부 실시예들에서, 각자의 입력(예컨대, 사용자가 각자의 사용자 인터페이스 요소를 보면서 핀치 제스처를 수행하는 것)을 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소 및/또는 사용자 인터페이스의 일부분은 서로를 향해 이동하여 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리를 감소시킨다. 일부 실시예들에서, 전자 디바이스(예컨대, 101)는 각자의 입력의 종료를 검출한다(832e). 일부 실시예들에서, 사용자는, 예를 들어 엄지 손가락을 다른 손가락으로부터 멀리 이동시키는 것과 같이, 제스처를 수행하는 것을 중지하거나, 또는 사용자가 손을 손 추적 디바이스의 검출 영역으로부터 멀리 이동시켰기 때문에 손 추적 디바이스는 사용자의 손을 검출하는 것을 중지한다. 일부 실시예들에서, 각자의 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)을 각자의 입력에 응답하여 이루어진 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)의 이동과 반대인 방향으로 이동시킨다(832f). 일부 실시예들에서, 각자의 사용자 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리를 증가시킨다. 일부 실시예들에서, 각자의 입력의 종료가 검출되기 전에 각자의 입력이 하나 이상의 제2 기준들을 만족시킨다는 결정에 따라, 전자 디바이스는 각자의 사용자 인터페이스 요소와 연관된 선택 동작을 수행하고, 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 각자의 사용자 인터페이스 요소를 업데이트한다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스가 제2 입력에 응답하는 것과 동일한 방식으로 각각의 입력에 응답한다.
관성으로 각자의 사용자 인터페이스 요소를 이동시키고, 각자의 사용자 입력의 종료를 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 각자의 사용자 입력에 응답한 방향과 반대인 방향으로 이동시키는 전술된 방식은, 각자의 사용자 입력이 하나 이상의 제2 기준들을 만족시키지 않았다는 것을 사용자에게 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 제2 사용자 입력을 검출하는 것은 각자의 사용자 인터페이스 요소(예컨대, 708a)에 대응하는 위치에서 전자 디바이스(예컨대, 101)의 사용자의 손(예컨대, 704)의 일부분을 검출하는 것(예컨대, 사용자가 손의 하나 이상의 손가락들로 각자의 사용자 인터페이스 요소를 "푸시"하는 것을 검출하는 것)을 포함한다(834a). 도 7b에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 708a)가 제2 외관을 갖는 동안, 전자 디바이스(예컨대, 101)는, 전자 디바이스와 통신하는 눈 추적 디바이스를 통해, (예컨대, 사용자의 손이 각자의 사용자 인터페이스 요소에 대응하지 않는 위치에 있는 동안) 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향되는 사용자의 시선(예컨대, 712)을 포함하는 각자의 입력을 검출한다(834b). 일부 실시예들에서, 전자 디바이스는 각자의 사용자 인터페이스 요소에 대응하는 위치에서 사용자의 손을 검출하는 동안 각자의 사용자 인터페이스 요소를 향해 지향되는 사용자의 시선을 검출하고, 전자 디바이스의 응답은 마치 사용자의 시선이 각자의 사용자 인터페이스 요소에 대응하지 않는 위치에서 손으로 각자의 사용자 인터페이스 요소 상에서 검출된 것처럼 동일하다. 도 7b에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 것에 응답하여(834c), 각자의 입력이 하나 이상의 제3 기준들을 만족시킨다는(예컨대, 사용자의 시선이 미리결정된 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5초 등) 동안 각자의 사용자 인터페이스 요소 상에 유지된다는), 각자의 사용자 인터페이스 요소(예컨대, 708a)로 지향되는 사용자의 시선(예컨대, 712)에 기초한(예컨대, 시선의 방향, 지속기간 등과 같은 하나 이상의 파라미터들에 기초한) 결정에 따라, 전자 디바이스(예컨대, 101)는, 관성으로 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)을 이동시키는 것을 포함하여, 예를 들어 도 7c에서와 같이, 각자의 사용자 인터페이스 요소(예컨대, 708a)와 사용자 인터페이스의 일부분(예컨대, 706) 사이의 분리의 양을 감소시킴으로써 각자의 사용자 인터페이스 요소(예컨대, 708a)를 업데이트한다(834d). 일부 실시예들에서, 관성으로 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 이동시키는 것은, 각자의 입력이 수신됨에 따라 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분의 이동 속도를 점진적으로 증가시키는 것, 및 각자의 입력의 종료에 응답하여 각자의 사용자 인터페이스 요소의 이동 속도를 점진적으로 감소시키는 것을 포함한다. 일부 실시예들에서, 각자의 입력을 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소 및/또는 사용자 인터페이스의 일부분은 서로를 향해 이동하여 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리를 감소시킨다. 일부 실시예들에서, 전자 디바이스(예컨대, 101)는 각자의 입력의 종료를 검출한다(예컨대, 사용자의 시선이 각자의 사용자 인터페이스 요소로부터 멀리 지향되는 것을 검출함 및/또는 사용자가 미리결정된 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.7, 1초 등) 동안 그들의 눈들을 감는 것을 검출함)(834e). 일부 실시예들에서, 각자의 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)을 각자의 입력에 응답하여 이루어진 각자의 사용자 인터페이스 요소(예컨대, 708a) 및 사용자 인터페이스의 일부분(예컨대, 706)의 이동과 반대인 방향으로 이동시킨다(834f). 일부 실시예들에서, 각자의 사용자 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리를 증가시킨다. 일부 실시예들에서, 각자의 입력의 종료가 검출되기 전에 각자의 입력이 하나 이상의 제2 기준들을 만족시킨다는 결정에 따라, 전자 디바이스는 각자의 사용자 인터페이스 요소와 연관된 선택 동작을 수행하고, 각자의 사용자 인터페이스 요소와 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 각자의 사용자 인터페이스 요소를 업데이트한다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스가 제2 입력에 응답하는 것과 동일한 방식으로 각각의 입력에 응답한다.
관성으로 각자의 사용자 인터페이스 요소를 이동시키고, 각자의 사용자 입력의 종료를 검출하는 것에 응답하여, 각자의 사용자 인터페이스 요소 및 사용자 인터페이스의 일부분을 각자의 사용자 입력에 응답한 방향과 반대인 방향으로 이동시키는 전술된 방식은, 각자의 사용자 입력이 하나 이상의 제2 기준들을 만족시키지 않았다는 것을 사용자에게 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a 내지 도 9e는 일부 실시예들에 따른, 전자 디바이스가 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 9a는 전자 디바이스(101)가 디스플레이 생성 컴포넌트(120)를 통해 사용자 인터페이스 상에 3차원 환경(902)을 디스플레이하는 것을 예시한다. 일부 실시예들에서, 전자 디바이스(101)는 본 개시내용의 범주를 벗어나지 않고서 2차원 환경에서 도 9a 내지 도 9e를 참조하여 본 명세서에서 설명되는 하나 이상의 기법들을 구현한다는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(120)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 9a는 전자 디바이스(101)가 3차원 환경(902) 내에 대화 상자(906) 또는 제어 요소를 디스플레이하는 것을 예시한다. 대화 상자(906)는 슬라이더 사용자 인터페이스 요소(908)를 포함하며, 이는 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태의 표시자(910)를 갖는다. 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태의 표시자(910)는, 선택될 때, 전자 디바이스(101)로 하여금 슬라이더의 현재 입력 상태를 변경하는 방식들 중 하나를 개시하게 하는 선택가능 요소(912)를 포함한다. 도 9a에 도시된 바와 같이, 슬라이더 사용자 인터페이스 요소(908)는 전자 디바이스(101)의 현재 음량 레벨을 제어한다. 일부 실시예들에서, 전자 디바이스(101)는 전자 디바이스(101)의 다른 설정들 및/또는 동작들을 제어하는 슬라이더(908)와 유사한 슬라이더 사용자 인터페이스 요소들을 제시한다.
도 9a에 도시된 바와 같이, 슬라이더 사용자 인터페이스 요소(908)는 현재 입력 상태 표시자(910) 이외의 슬라이더 사용자 인터페이스 요소(908)의 다른 이용가능한 입력 상태들의 표시들 또는 커서 없이 디스플레이된다. 일부 실시예들에서, 전자 디바이스(101)는 슬라이더 사용자 인터페이스 요소(908) 및/또는 대화 상자(906)로부터 멀어지는 사용자의 시선(예컨대, 사용자의 시선이 사용자 인터페이스의 다른 부분으로 지향됨)을 검출하는 것 및/또는 사용자의 손(904)이 3차원 환경(902) 내의 슬라이더 사용자 인터페이스 요소(908)의 위치에 대응하지 않는 위치에 있다는 것을 검출하는 것에 응답하여 도 9a에 도시된 바와 같이 슬라이더 사용자 인터페이스 요소(908)를 제시한다. 아래에서 더 상세히 설명될 바와 같이, 일부 실시예들에서, 전자 디바이스(101)는 사용자가 그들의 손(904)으로 미리결정된 제스처를 수행하는 것을 검출하는 것을 포함하는 입력들에 응답하여 슬라이더 사용자 인터페이스 요소(908)를 업데이트한다. 도 9a에서, 사용자는 그들의 손(904)으로 미리결정된 제스처를 수행하지 않는다.
도 9b는 전자 디바이스(101)가, 예를 들어 대화 상자(906) 또는 슬라이더 사용자 인터페이스 요소(908) 상의 사용자의 시선을 검출하는 것에 응답하여 슬라이더 사용자 인터페이스 요소(908)의 이용가능한 입력 상태들의 표시들(914a 내지 914g) 및/또는 커서(916)를 디스플레이함으로써, 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태를 변경하기 위한 프로세스를 개시하는 것을 예시한다. 일부 실시예들에서, 전자 디바이스(101)는 커서(916)를 디스플레이하지 않고서 이용가능한 입력 상태들의 표시들(914a 내지 914g)을 디스플레이한다는 것이 이해되어야 한다. 일부 실시예들에서, 전자 디바이스(101)는 표시들(914a 내지 914g)을 디스플레이하지 않고서 커서(916)를 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는 대화 상자(906) 내의 어디에서든 사용자의 시선(918a)을 검출하는 것에 응답하여 커서(916) 및/또는 표시들(914a 내지 914g)을 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는 사용자의 시선(918b)이 슬라이더 사용자 인터페이스 요소(908)로 지향되지 않는 한 커서(916) 및/또는 표시들(914a 내지 914g)을 디스플레이하지 않는다. 일부 실시예들에서, 전자 디바이스(101)는 도 9a 내지 도 9e에 예시된 슬라이더 사용자 인터페이스 요소(908)와의 상호작용들을 용이하게 하면서 사용자의 시선의 위치의 표시를 제시한다. 예를 들어, 시선의 표시를 디스플레이하는 것은 사용자의 시선이 검출되는 3차원 환경(902)의 영역의 밝기 또는 명도(lightness)를 증가시키는 것을 포함한다.
일부 실시예들에서, 전자 디바이스(101)는 사용자의 시선(918b) 및/또는 사용자의 손(904)의 위치 중 하나 이상에 기초하여 슬라이더(908)를 따라 일정 위치에 커서(916)를 디스플레이한다. 예를 들어, 전자 디바이스(101)는, 초기에, 사용자의 시선(918b)이 지향되는 슬라이더 사용자 인터페이스 요소(908)를 따른 위치에 커서(916)를 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는 사용자의 손(904)의 이동을 검출하는 것에 응답하여 커서(916)의 위치를 업데이트한다. 예를 들어, 좌측으로의 손의 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는 커서(916)를 슬라이더(908)를 따라 좌측으로 이동시키고, 우측으로의 손(904)의 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는 커서(916)를 슬라이더(908)를 따라 우측으로 이동시킨다. 도 9e를 참조하여 아래에서 설명될 바와 같이, 사용자가 그들의 손(904)으로 미리결정된 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것(예컨대, 핀치 제스처))를 수행하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는 손이 핀치 제스처를 유지하는 동안의 손(904)의 추가 이동에 따라 커서(916) 및 슬라이더의 현재 입력 표시자(12)를 이동시킨다. 일부 실시예들에서, 핀치 제스처가 검출되지 않는 동안, 전자 디바이스(101)는 슬라이더의 현재 입력 상태를 업데이트하지 않고서 손의 이동에 따라 커서(916)를 이동시킨다. 일부 실시예들에서, 커서(916)는 슬라이더 사용자 인터페이스 요소(908)가 배향되는 차원으로만(예컨대, 도 9b에서 수평으로, 수직 슬라이더 사용자 인터페이스 요소에 대해 수직으로) 이동한다. 따라서, 일부 실시예들에서, 전자 디바이스(101)는 사용자의 손(904)의 이동의 수직 컴포넌트에 관계없이 사용자의 손(904)의 이동의 수평 컴포넌트에 따라 커서(916)를 이동시킨다. 커서(916)에 관한 추가 상세사항들은 도 9e를 참조하여 아래에서 설명된다.
일부 실시예들에서, 전자 디바이스(101)는 표시들(914a 내지 914g)이 디스플레이되는 동안 슬라이더(908)의 현재 입력 상태의 표시(910)에 대한 입력에 응답하여 슬라이더(908)의 현재 입력 상태를 업데이트한다. 도 9b에 도시된 바와 같이, 전자 디바이스(101)는 슬라이더(908)의 현재 입력 상태의 표시(910)의 단부(912) 상의 사용자의 시선(918z)을 검출한다. 일부 실시예들에서, 사용자의 시선(918z)이 슬라이더 사용자 인터페이스 요소(908)의 단부(912) 상에서 검출되는 동안 사용자가 그들의 손(904)으로 미리결정된 제스처를 수행하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는 제스처가 유지되고 있는 동안의 손(904)의 이동에 따라 슬라이더의 현재 입력 상태 표시자(910)를 이동시키기 위한 프로세스를 개시한다. 예를 들어, 미리결정된 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것(예컨대, 핀치 제스처)이다. 일부 실시예들에서, 핀치 제스처를 검출하는 것에 응답하여, 전자 디바이스(101)는 표시들(914a 내지 914g)의 디스플레이를 중지한다. 일부 실시예들에서, 전자 디바이스(101)는 핀치 제스처를 검출하는 것에 응답하여 그리고 사용자가 핀치 제스처를 유지하는 동안의 손(904)의 이동에 따라 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태 표시자(910)를 이동시키는 동안 표시들(914a 내지 914g)을 계속 디스플레이한다. 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태 표시자(910)는 표시들(914a 내지 914g) 중 하나에 스냅핑(snapping)된다. 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태 표시자(910)를 표시들(914a 내지 914g) 사이의 위치로 이동시키는 것이 가능한다. 일부 실시예들에서, 사용자가 그들의 손(904)으로 핀치 제스처를 수행하는 것을 중지하는 것을 검출하는 것(예컨대, 엄지 손가락과 손가락이 서로 떨어진 것을 검출하는 것)에 응답하여, 전자 디바이스(101)는 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태를 업데이트하고, 슬라이더 사용자 인터페이스 요소(908)의, 업데이트된 상태에 대응하는 현재 입력 상태의 표시자(910)의 디스플레이를 유지한다.
일부 실시예들에서, 전자 디바이스(101)는, 도 9c 및 도 9d에 도시된 바와 같이, 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태를 업데이트하고, 슬라이더의 다른 입력 상태들의 표시들(914a 내지 914g) 중 하나의 표시의 선택을 검출하는 것에 응답하여 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태의 표시(910)를 이동시킨다. 도 9c는 전자 디바이스(101)가 슬라이더 사용자 인터페이스 요소(908)의 입력 상태의 표시들 중 하나의 표시(914e)의 선택을 검출하는 것을 예시한다. 예를 들어, 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소(908)를 디스플레이하는 동안, 전자 디바이스(101)는 슬라이더 사용자 인터페이스 요소(908)의 입력 상태의 표시들 중 하나의 표시(914e)로 지향되는 사용자의 시선(918c)을 검출한다. 표시(914e)로 지향되는 사용자의 시선(908c)을 검출하는 것에 응답하여, 전자 디바이스(101)는 표시(914e)의 크기를 점진적으로 증가시킨다.
일단 시선(918c)이 미리결정된 임계 시간(예컨대, 0.1초, 0.2초, 0.5초, 1초, 5초, 10초, 30초 등) 동안 검출되었다면, 전자 디바이스(101)는, 도 9d에 도시된 바와 같이, 현재 입력 상태, 및 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태의 표시(910)를 표시(914e)에 대응하는 위치로 업데이트한다. 일부 실시예들에서, 사용자의 시선(918c)이 임계 기간 미만 동안 표시(914e)로 지향되고 있는 동안, 전자 디바이스(101)는 사용자가 그들의 손(904)으로 핀치 제스처를 수행하는 것을 검출한다. 일부 실시예들에서, 사용자의 시선(918c)이 표시(914e)로 지향되는 동안 사용자의 손(904)에 의해 수행되는 핀치 제스처를 검출하는 것에 응답하여, 전자 디바이스(101)는, 시선(918c)이 표시(914e) 상에서 얼마나 오랫동안 검출되었는지에 관계없이, 도 9d에 도시된 바와 같이 표시(914e)에 대응하도록 슬라이더의 현재 입력 상태를 업데이트한다.
일부 실시예들에서, 임계 시간 미만 동안 도 9c의 표시(914e)로 지향되는 사용자의 시선(918c)을 검출하는 것에 응답하여 표시(914e)를 다른 표시들(914a 내지 914d, 914f 및 914g)보다 더 큰 크기로 디스플레이하는 동안, 전자 디바이스(101)는 표시들(914a 내지 914d 또는 914f 및 914g) 중 상이한 하나의 표시 상의 사용자의 시선을 검출한다. 예를 들어, 전자 디바이스(101)는 표시(914f)를 향해 지향되는 사용자의 시선을 검출한다. 이러한 예에서, 표시(914f)를 향해 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스(101)는 표시(914e)를 사용자가 보고 있지 않은 표시들(914a 내지 914d, 914g)과 동일한 크기로 업데이트하고, 표시(914f)의 크기를 점진적으로 증가시킨다. 일부 실시예들에서, 전자 디바이스(101)는, 시선이 (예컨대, 이전에 설명된 시간 임계치 동안) 표시(914f)로 계속 지향되는 것에 응답하여, 또는 위에서 설명된 바와 같이, 시선이 시간 임계치 동안 유지되었는지 여부에 관계없이 시선이 표시(914f) 상에 유지되는 동안 핀치 제스처를 검출하는 것에 응답하여, 표시(914f)에 대응하도록 슬라이더의 현재 입력 상태를 업데이트한다. 전자 디바이스(101)는 임의의 다른 표시들(914a 내지 914d, 914g) 상의 사용자의 시선을 검출하는 것에 응답하여 유사하게 거동한다는 것이 이해되어야 한다.
도 9e는 전자 디바이스(101)가 커서(916)를 디스플레이하는 동안 사용자가 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태를 업데이트하는 것을 예시한다. 도 9b를 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 도 9b에 도시된 바와 같이, 사용자의 시선이 슬라이더 사용자 인터페이스 요소(908)의 단부(912)로 지향되었던 동안 핀치 제스처를 검출하는 것에 응답하여 핀치 제스처를 유지하는 동안의 사용자의 손(904)의 이동에 따라 슬라이더 사용자 인터페이스 요소(908)를 따른 커서(916)의 위치를 업데이트한다. 도 9e에서, 전자 디바이스(101)는 핀치 제스처를 유지하는 동안의 사용자의 손(904)의 이동에 따라 커서(916)와 함께 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태의 표시자(910)를 이동시킨다. 일부 실시예들에서, 전자 디바이스(101)는 핀치 제스처를 검출하는 것에 응답하여 도 9b 내지 도 9d에 예시된 표시(914a 내지 914g)의 디스플레이를 중지한다. 일부 실시예들에서, 표시들(914a 내지 914g)은 사용자가 핀치 제스처를 유지하는 동안의 손(904)의 이동으로 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태 표시자(910)를 조작하는 동안 계속 디스플레이된다.
일부 실시예들에서, 사용자가 그들의 손(904)으로 핀치 제스처를 수행하는 것을 중지하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태를 핀치 제스처가 중지되었을 때의 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태의 표시자(910)의 위치에 대응하는 값으로 업데이트한다. 예를 들어, 도 9e에 도시된 바와 같이 슬라이더 사용자 인터페이스 요소(908)를 디스플레이하는 동안 사용자가 핀치 제스처를 수행하는 것을 중지하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는 슬라이더 사용자 인터페이스 요소(908)의 현재 입력 상태를 도 9e에 예시된 표시자(910)의 위치로 업데이트할 것이고, 도 9e에 도시된 바와 같이 표시자(910)의 디스플레이를 유지할 것이다.
도 10a 내지 도 10j는 일부 실시예들에 따른, 슬라이더 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
도 9a에서와 같은 일부 실시예들에서, 방법(1000)은, 디스플레이 생성 컴포넌트 및 눈 추적 디바이스(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)와 통신하는 전자 디바이스에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 눈 추적 디바이스는 사용자의 시선의 방향 및/또는 위치를 결정할 수 있는 카메라 및/또는 모션 센서이다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
도 9a에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트(120)를 통해, 슬라이더 사용자 인터페이스 요소(예컨대, 908)를 디스플레이한다(1002a). 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소는 슬라이더 사용자 인터페이스 요소의 현재 입력 상태에 대응하는 입력 포인트의 현재 표현, 및 슬라이더의 현재 입력 상태와는 상이한 슬라이더의 각자의 입력 상태에 대응하는 입력 포인트의 각자의 표현(또는 각자의 입력 상태에 각각 대응하는 입력 포인트들의 복수의 각자의 표현들)을 포함한다. 일부 실시예들에서, 전자 디바이스는, 초기에, 입력 포인트의 각자의 표현을 디스플레이하지 않고서, 현재 입력 상태에 대응하는 위치에 슬라이더 바를 갖는 슬라이더 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 하나 이상의 제1 기준들이 충족된다는 결정에 따라 입력 포인트의 각자의 표현을 디스플레이한다. 하나 이상의 제1 기준들은, 선택적으로, 눈 추적 디바이스를 통해, 사용자가 슬라이더 사용자 인터페이스 요소를 본다는 것을 검출하는 것에 응답하여; 일부 실시예들에서, 사용자가 미리결정된 기간(예컨대, 0.1, 0.2, 0.3, 0.4초 등)보다 더 오랫동안 슬라이더 사용자 인터페이스 요소를 본다는 것을 검출하는 것에 응답하여 만족되는 기준을 포함한다. 일부 실시예들에서, 입력 포인트의 현재 표현 및 입력 포인트의 각자의 표현을 갖는 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 전자 디바이스는 슬라이더 사용자 인터페이스 요소의 길이를 따라 다양한 위치들에(예컨대, 슬라이더를 따라 다양한 미리결정된 입력 위치들, 예를 들어 슬라이더를 따라 10%, 20%, 30% 등의 위치들에) 입력 포인트들의 복수의 각자의 표현들을 갖는 슬라이더 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 입력 포인트의 각자의 표현은 슬라이더 사용자 인터페이스 요소 상에 오버레이되어 디스플레이되는 마킹이다. 예를 들어, 슬라이더 사용자 인터페이스 요소는 슬라이더의 일 단부로부터 슬라이더 사용자 인터페이스 요소의 현재 입력 상태에 대응하는 각자의 위치까지 연장되는 슬라이더 바를 포함하고, 입력 포인트의 각자의 표현은, 슬라이더 바 상에 오버레이되어 또는 슬라이더 바 이외의 슬라이더 사용자 인터페이스 요소의 일부분 상에 오버레이되어 디스플레이된다. 일부 실시예들에서, 사용자의 시선이 입력 포인트의 각자의 표현과 일치하지 않는 동안, 입력 포인트의 각자의 표현은 제1 크기, 제1 색상 및/또는 제1 투명도로 디스플레이된다.
일부 실시예들에서, 슬라이더 사용자 인터페이스 요소(예컨대, 908)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9b에서와 같이, 눈 추적 디바이스를 통해, 사용자의 시선(예컨대, 918b)이 슬라이더 사용자 인터페이스 요소(예컨대, 908)로 지향된다는 것을 검출한다(1002b). 일부 실시예들에서, 사용자의 시선은, 눈 추적 디바이스에 의해, 슬라이더 사용자 인터페이스 요소로 지향되는 것으로 검출된다. 일부 실시예들에서, 전자 디바이스는, 눈 추적 디바이스를 통해, 사용자의 시선이 제1 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5초 등)와 제1 시간 임계치보다 (예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5초 등만큼) 큰 제2 시간 임계치 사이의 기간 동안 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출한다.
도 9b에서와 같은 일부 실시예들에서, 사용자의 시선(예컨대, 918b)이 슬라이더 사용자 인터페이스 요소(예컨대, 908)로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 사용자의 시선의 방향에 기초하여 결정되는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 위치에 제1 외관으로 입력 포인트의 표현(예컨대, 914e)을 디스플레이한다(예컨대, 초기에 입력 포인트의 표현을 제1 외관으로 디스플레이함 또는 입력 포인트의 표현의 외관을 이전 외관으로부터 제1 외관과는 상이한 제1 외관으로 변경함)(1002c). 일부 실시예들에서, 입력 포인트의 표현은 슬라이더의 각자의 입력 상태에 대응하는, 슬라이더를 따른 복수의 각자의 위치들 중 하나이다. 일부 실시예들에서, 전자 디바이스는 슬라이더의 각자의 입력 상태들에 대응하는, 슬라이더를 따른 각자의 위치들의 시각적 표시들을 디스플레이한다. 일부 실시예들에서, 시각적 표시들은 슬라이더 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것에 응답하여 디스플레이된다. 일부 실시예들에서, 입력 포인트의 표현은 슬라이더의 현재 입력 상태의 표시이다. 일부 실시예들에서, 전자 디바이스는 슬라이더 사용자 인터페이스 요소 상의 그리고/또는 슬라이더의 현재 입력 상태의 표시 상의 사용자의 시선을 검출하는 것에 응답하여 슬라이더의 현재 입력 상태의 표시를 업데이트한다(예컨대, 그의 크기, 색상, 불투명도 등을 업데이트하거나 그에 추가 시각적 표시를 추가함). 일부 실시예들에서, 입력 포인트의 각자의 표현을 업데이트하는 것은, 크기, 색상, 반투명도 및/또는 불투명도를 업데이트하는 것 또는 입력 포인트의 각자의 표현이 디스플레이되는 사용자 인터페이스의 가상 층을 업데이트하는 것(예컨대, 입력 포인트의 각자의 표현을 슬라이더 요소의 나머지 및/또는 입력 포인트들의 다른 각자의 표현들 앞에서 밖으로 튀어나오게 하는 것) 중 하나 이상을 포함한다.
일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트의 표현(예컨대, 914e)을 제1 외관으로 디스플레이한 후(1002d), 예를 들어 도 9c에서와 같이, 사용자의 시선(예컨대, 918c)이, 사용자의 시선(예컨대, 918c)이 시간 임계치보다 더 오랫동안(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.6, 1초 등과 같은 제2 시간 임계치) 입력 포인트의 표현(예컨대, 914e)으로 지향될 때 만족되는 기준을 포함한 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9d에서와 같이, 슬라이더 사용자 인터페이스 요소(예컨대, 908)의 현재 입력 상태를 입력 포인트의 표현(예컨대, 914e)에 대응하는 각자의 입력 상태로 설정한다(1002e). 일부 실시예들에서, 전자 디바이스는 슬라이더를 업데이트하라는 요청에 대응하는 추가 입력 없이(예컨대, 손 추적 디바이스를 통해 검출되는 입력 없이) 사용자의 시선이 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 입력 포인트의 각자의 표현에 대응하는 각자의 입력 상태로 설정한다. 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 입력 포인트의 각자의 표현에 대응하는 각자의 입력 상태로 설정하는 것은 (이전 입력 상태보다는) 각자의 입력 상태에 대응하는 위치로 슬라이더 바를 디스플레이하도록 슬라이더 사용자 인터페이스 요소를 업데이트하는 것을 포함한다. 일부 실시예들에서, 사용자의 시선이 하나 이상의 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스는 슬라이더의 현재 입력 상태를 업데이트하는 것을 보류한다.
사용자의 시선이 입력 포인트의 각자의 표현으로 지향된다는 것을 검출하는 것에 응답하여 제2 외관을 갖도록 입력 포인트의 각자의 표현을 업데이트하고, 사용자의 시선이 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 각자의 입력 상태로 설정하는 전술된 방식은, 사용자에게 그들의 시선이 슬라이더의 입력 상태의 변화를 야기할 그리고/또는 실제로 야기할 것이라는 피드백을 제공하는 효율적인 방식을 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9b에서와 같은 일부 실시예들에서, 사용자의 시선(예컨대, 918)이 슬라이더 사용자 인터페이스 요소(예컨대, 908)로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 입력 포인트의 표현(예컨대, 914e)을 포함한 입력 포인트들의 복수의 표현들(예컨대, 914a 내지 914g)을 슬라이더 사용자 인터페이스 요소 상의 상이한 위치들에 디스플레이한다(1004a). 일부 실시예들에서, 입력 포인트들의 표현들은 슬라이더의 각자의 입력 상태에 각각 대응한다. 일부 실시예들에서, 슬라이더는 시각적 표시자들 사이에 추가 입력 상태들을 포함한다. 일부 실시예들에서, 슬라이더는 시각적 표시자들 사이에 추가 입력 상태들을 포함하지 않는다(예컨대, 모든 가능한 입력 상태들이 표시자로 마킹됨). 일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트들의 복수의 표현들(예컨대, 914a 내지 914g)을 포함하는 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안(예컨대, 그리고 사용자의 시선이 슬라이더 사용자 인터페이스 요소로 지향되는 동안), 전자 디바이스(예컨대, 101)는, 예를 들어 도 9b에서와 같이, 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 사용자의 손(예컨대, 704)에 의해 수행되는 각자의 제스처를 포함하는 사용자 입력을 검출한다(1004b). 일부 실시예들에서, 제스처 후에, 각자의 제스처를 유지하는 동안의 사용자의 손의 이동이 뒤따르며, 여기에서 손의 이동의 크기는 입력 포인트들의 복수의 표현들 중 하나에 대응하지 않는 슬라이더 사용자 인터페이스 요소 상의 각자의 위치에 대응한다. 일부 실시예들에서, 손에 의해 수행되는 각자의 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것이다. 일부 실시예들에서, 전자 디바이스는, 사용자가 표시자들이 배향되는 방향으로 그들의 손 및/또는 팔을 이동시키는 동안 그들의 엄지 손가락을 그들의 손가락에 유지하는 것을 검출한다. 예를 들어, 전자 디바이스는 수평 슬라이더의 입력 상태를 변경하기 위한 손의 수평 이동을 검출한다. 일부 실시예들에서, 전자 디바이스는 이동의 크기 및/또는 속도 및/또는 지속기간에 따라 슬라이더의 현재 입력 상태를 업데이트한다. 예를 들어, 사용자가 그들의 손을 제1 양만큼 이동시키는 것을 검출하는 것에 응답하여, 전자 디바이스는 슬라이더의 현재 입력 상태의 표시를 제2 양만큼 이동시키고, 사용자가 그들의 손을 제3 양만큼 이동시키는 경우, 전자 디바이스는 슬라이더의 현재 입력 상태의 표시를 제4 양만큼 이동시킨다. 도 9d에서와 같은 일부 실시예들에서, 사용자 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 슬라이더 사용자 인터페이스 요소(예컨대, 908)의 현재 입력 상태를 입력 포인트들의 복수의 표현들 중 하나에 대응하는 제2 각자의 입력 상태로 설정한다(1004c). 일부 실시예들에서, 제2 각자의 입력 상태에 대응하는 입력 포인트의 표현은 손의 이동의 크기에 대응하는 각자의 위치에 가장 가까운 입력 포인트의 표현이다. 일부 실시예들에서, 슬라이더는 슬라이더의 현재 입력 상태에 대응하는, 슬라이더를 따른 위치에 위치되는 시각적 표시자를 포함한다. 일부 실시예들에서, 사용자의 손의 이동에 대응하는 슬라이더 상의 위치가 입력 포인트들의 표현들 중 하나에 대응하지 않는다는 것을 검출하는 것에 응답하여, 전자 디바이스는 슬라이더의 현재 입력 상태를 손의 이동에 대응하는 위치에 가장 가까운 입력 포인트의 표현으로 이동시킨다.
입력 포인트의 표현을 포함하지 않는 위치에 대응하는 사용자의 이동에 응답하여, 슬라이더의 현재 입력 상태를 입력 포인트의 표현에 대응하는 입력 상태로 설정하는 전술된 방식은, 입력 포인트의 표현에 대응하는 입력 상태를 선택하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 시선(예컨대, 918)이 슬라이더 사용자 인터페이스 요소(예컨대, 908)로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9b에서와 같이, 디스플레이 생성 컴포넌트를 통해, 입력 포인트의 표현(예컨대, 914e)을 포함한 입력 포인트들의 복수의 표현들(예컨대, 914a 내지 914g)을 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 상이한 위치들에 디스플레이한다(1005a). 일부 실시예들에서, 입력 포인트들의 표현들은 슬라이더의 각자의 입력 상태에 각각 대응한다. 일부 실시예들에서, 슬라이더는 시각적 표시자들 사이에 추가 입력 상태들을 포함한다. 일부 실시예들에서, 슬라이더는 시각적 표시자들 사이에 추가 입력 상태들을 포함하지 않는다(예컨대, 모든 가능한 입력 상태들이 표시자로 마킹됨). 일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트들의 복수의 표현들(예컨대, 914a 내지 914g)을 포함하는 슬라이더 사용자 인터페이스 요소(예컨대, 908)를 디스플레이하는 동안(예컨대, 그리고 사용자의 시선이 슬라이더 사용자 인터페이스 요소로 지향되는 동안), 전자 디바이스(예컨대, 101)는, 예를 들어 도 9b에서와 같이, 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 사용자의 손(예컨대, 904)에 의해 수행되는 각자의 제스처에 뒤이은, 각자의 제스처를 유지하는 동안의 사용자의 손(예컨대, 904)의 이동을 포함하는 사용자 입력을 검출하며, 여기에서 손(예컨대, 904)의 이동의 크기는 입력 포인트들의 복수의 표현들(예컨대, 914a 내지 914g) 중 하나에 대응하지 않는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 각자의 위치에 대응한다(1005b). 일부 실시예들에서, 손에 의해 수행되는 각자의 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것이다. 일부 실시예들에서, 전자 디바이스는, 사용자가 표시자들이 배향되는 방향으로 그들의 손 및/또는 팔을 이동시키는 동안 그들의 엄지 손가락을 그들의 손가락에 유지하는 것을 검출한다. 예를 들어, 전자 디바이스는 수평 슬라이더의 입력 상태를 변경하기 위한 손의 수평 이동을 검출한다. 일부 실시예들에서, 전자 디바이스는 이동의 크기 및/또는 속도 및/또는 지속기간에 따라 슬라이더의 현재 입력 상태를 업데이트한다. 예를 들어, 사용자가 그들의 손을 제1 양만큼 이동시키는 것을 검출하는 것에 응답하여, 전자 디바이스는 슬라이더의 현재 입력 상태의 표시를 제2 양만큼 이동시키고, 사용자가 그들의 손을 제3 양만큼 이동시키는 경우, 전자 디바이스는 슬라이더의 현재 입력 상태의 표시를 제4 양만큼 이동시킨다. 일부 실시예들에서, 손의 제스처 및 이동을 검출하는 동안, 전자 디바이스는 입력 포인트들의 복수의 표현들의 디스플레이를 중지한다. 도 9e에서와 같은 일부 실시예들에서, 사용자 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 슬라이더 사용자 인터페이스 요소(예컨대, 908)의 현재 입력 상태를 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 각자의 위치에 대응하는 제2 각자의 입력 상태로 설정한다(1005c). 일부 실시예들에서, 제2 각자의 입력 상태는 입력 포인트들의 복수의 표현들 중 하나에 대응하지 않는다. 따라서, 일부 실시예들에서, 사용자는 위에서 설명된 바와 같이 손 제스처를 사용할 때 슬라이더의 현재 입력 상태를 슬라이더 내의 임의의 상태로 설정할 수 있다. 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소의 제2 각자의 입력 상태는 미리결정된 손 제스처가 검출되었을 때의 사용자의 시선의 위치, 및 미리결정된 제스처를 유지하는 동안의 사용자의 손의 이동의 방향, 거리, 속도에 기초한다.
현재 입력 상태를 입력 포인트들의 복수의 표현들 중 하나에 대응하지 않는 사용자의 손 이동에 대응하는 위치로 설정하는 전술된 방식은, 사용자에게 슬라이더의 입력 상태를 입력 포인트들의 복수의 표현들 사이의 또는 달리 그에 대응하지 않는 입력 상태로 미세 조정하는 능력을 효율적으로 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9b에서와 같은 일부 실시예들에서, 사용자의 시선(예컨대, 918b)이 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 사용자의 손(예컨대, 904)의 미리정의된 부분(예컨대, 사용자의 손가락들 및/또는 사용자의 엄지 손가락 중 하나 이상)의 현재 위치에 대응하는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 위치를 나타내는 제어 요소(예컨대, 916)(예컨대, 커서)를 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상에 디스플레이한다(1006a). 일부 실시예들에서, 전자 디바이스는, 초기에, 사용자의 손의 위치에 대응하는 위치에 커서를 배치한다. 예를 들어, 사용자의 손이 슬라이더가 디스플레이되는 3차원 환경의 미리결정된 영역의 좌측에 있는 경우, 전자 디바이스는 슬라이더의 현재 입력 상태의 좌측에 커서를 디스플레이한다. 다른 예로서, 사용자의 손이 미리결정된 영역의 우측에 있는 경우, 전자 디바이스는 슬라이더의 현재 입력 상태의 우측에 커서를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는, 손 추적 디바이스를 통해, 사용자가 미리결정된 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행하는 것을 검출하는 것에 응답하여 커서를 디스플레이한다. 도 9e에서와 같은 일부 실시예들에서, 각자의 제스처를 유지하는 동안의 사용자의 손(예컨대, 904)의 이동을 검출하는 동안, 전자 디바이스(예컨대, 101)는 사용자의 손(예컨대, 904)의 이동에 따라 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상에서 제어 요소(예컨대, 916)를 이동시킨다(1006b). 일부 실시예들에서, 전자 디바이스는 슬라이더가 배향되는 차원에서의 손의 이동에 따라 커서를 이동시킨다. 예를 들어, 상향으로의 그리고 우측으로의 손의 이동을 검출하는 것에 응답하여, 전자 디바이스는 수평 슬라이더를 우측으로 이동시킴으로써 그의 현재 입력 상태를 업데이트할 것이거나, 수직 슬라이더를 위로 이동시킴으로써 그의 현재 입력 상태를 업데이트할 것이다. 일부 실시예들에서, 전자 디바이스는 손이 미리결정된 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행하고 있다는 것을 검출하지 않고서 손의 이동을 검출하는 것에 응답하여 현재 입력 상태를 업데이트하지 않고서 커서를 이동시킨다.
슬라이더의 제어 요소를 디스플레이하고 업데이트하는 전술된 방식은, 슬라이더의 입력 상태가 손 검출 기반 입력에 응답하여 업데이트될 방법을 사용자에게 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9b에서와 같은 일부 실시예들에서, 입력 포인트의 표현(예컨대, 914e)을 제1 외관으로 디스플레이한 후, 그리고 예를 들어 도 9c에서와 같이, 사용자의 시선(예컨대, 918c)이 입력 포인트의 표현(예컨대, 914e)으로 지향되는 동안, 그러나 사용자의 시선(예컨대, 918c)이 시간 임계치(0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.6, 1초 등)보다 더 오랫동안 입력 포인트의 표현(예컨대, 914e)으로 지향되기 전에, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9c에서와 같이, 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 사용자의 손(예컨대, 904)에 의해 수행되는 각자의 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것, 하나 이상의 손가락들을 슬라이더 사용자 인터페이스 요소를 향해 펴는 것)를 검출한다(1008a). 도 9d에서와 같은 일부 실시예들에서, 각자의 제스처를 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 (예컨대, 사용자의 시선이 임계 시간(0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.6, 1초 등) 동안 입력 포인트의 표현으로 지향되기 전에) 슬라이더 사용자 인터페이스 요소(예컨대, 908)의 현재 입력 상태를 입력 포인트의 표현(예컨대, 914e)에 대응하는 각자의 입력 상태로 설정한다(1008b). 일부 실시예들에서, 전자 디바이스는 사용자의 시선이 입력 포인트의 각자의 표현으로 지향되는 동안 제스처를 검출하는 것에 응답하여 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 입력 포인트의 각자의 표현에 대응하는 각자의 입력 상태로 설정한다. 일부 실시예들에서, 전자 디바이스는, 손 추적 디바이스를 통해, 사용자의 손이 미리결정된 위치에 있고/있거나 미리결정된 제스처를 수행한다는 것을 검출하는 것에 응답하여 슬라이더의 입력 상태를 업데이트한다. 예를 들어, 미리결정된 위치는 슬라이더 사용자 인터페이스 요소 및/또는 입력 포인트의 각자의 표현이 사용자 인터페이스 내에 디스플레이되는 가상 위치에 대응한다. 다른 예로서, 미리결정된 제스처는 사용자가 그들의 엄지 손가락과 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)을 함께 탭핑하는 것이다. 일부 실시예들에서, 하나 이상의 제1 기준들이 만족되지 않고/않거나 전자 디바이스가 제스처를 검출하지 않는다는 결정에 따라, 전자 디바이스는 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 업데이트하는 것을 보류한다.
제스처에 응답하여 임계 시간에 도달하기 전에 슬라이더의 입력 상태를 업데이트하는 전술된 방식은, 임계 시간보다 더 짧은 시간에 슬라이더와 상호작용하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a에서와 같은 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소(예컨대, 908)는 슬라이더 사용자 인터페이스 요소(예컨대, 908)의 현재 입력 상태를 나타내는 현재 상태 표시자(예컨대, 910)를 포함한다(1010a). 일부 실시예들에서, 슬라이더는, 일 단부가 슬라이더의 단부와 정렬되고 다른 단부(예컨대, 현재 상태 표시자)가 슬라이더의 현재 입력 상태와 정렬되는 바를 포함한다. 일부 실시예들에서, 표시자는 슬라이더의 현재 입력 상태에 대응하는 위치에 디스플레이되는 시각적 표시이다. 일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트의 표현(예컨대, 914e)을 제1 외관으로 디스플레이한 후(1010b), 예를 들어 도 9c에서와 같이, 사용자의 시선(예컨대, 918c)이 하나 이상의 제1 기준들을 만족시킨다는(예컨대, 시선이 임계 시간(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.6, 1초 등) 동안 입력 포인트의 표현 상에 유지된다는) 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9d에서와 같이, 현재 상태 표시자(예컨대, 910)를 입력 포인트의 표현(예컨대, 914e)에 대응하는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 위치로 이동시킨다(1010c). 일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트의 표현(예컨대, 914e)을 제1 외관으로 디스플레이한 후(1010b), 예를 들어 도 9c에서와 같이, 사용자의 시선(예컨대, 918c)이 하나 이상의 제1 기준들을 만족시키지 않고, 사용자의 시선(예컨대, 918c)이 입력 포인트의 표현(예컨대, 914e)으로 지향되는 동안 사용자의 손(예컨대, 904)의 각자의 제스처가 (예컨대, 손 추적 디바이스를 통해) 검출된다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9d에서와 같이, 현재 상태 표시자(예컨대, 910)를 입력 포인트의 표현(예컨대, 914e)에 대응하는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 위치로 이동시킨다(1010d). 일부 실시예들에서, 전자 디바이스는 시선이 임계 시간(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.6, 1초 등) 미만 동안 유지된 동안 손의 제스처를 검출하는 것에 응답하여 현재 상태 표시자를 입력 포인트의 표현에 대응하는 슬라이더 요소 상의 위치로 이동시킨다. 일부 실시예들에서, 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것을 포함한다. 일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트의 표현(예컨대, 914e)을 제1 외관으로 디스플레이한 후(1010b), 사용자의 손(예컨대, 904)의 각자의 제스처에 뒤이은, 각자의 제스처를 유지하는 동안의 사용자의 손의 이동이 (예컨대, 손 추적 디바이스를 통해) 검출된다는 결정에 따라 - 사용자의 손(예컨대, 904)의 이동의 크기(예컨대, 거리, 속도, 지속기간)는 입력 포인트의 표현(예컨대, 914e)에 대응하는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 위치에 대응함 -, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9d에서와 같이, 사용자의 손(예컨대, 904)의 이동에 따라 현재 상태 표시자(예컨대, 910)를 입력 포인트의 표현(예컨대, 914e)에 대응하는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 위치로 이동시킨다(1010e). 일부 실시예들에서, 사용자의 손의 이동의 크기가 입력 포인트의 제2 표현에 대응하는 슬라이더 상의 제2 위치에 대응한다는 결정에 따라, 전자 디바이스는 손의 이동에 따라 현재 상태 표시자를 입력 포인트의 제2 표현에 대응하는 슬라이더 요소 상의 제2 위치로 이동시킨다. 따라서, 일부 실시예들에서, 전자 디바이스는 (1) 사용자의 시선이 임계 시간 동안 입력 포인트의 표현 상에 있는 것; (2) 손 제스처가 검출되는 동안 사용자의 시선이 입력 포인트의 표현 상에 있는 것; 또는 (3) 사용자가 그들의 손으로 제스처를 수행하고, 그들의 손을 슬라이더가 배향되는 방향으로 (예컨대, 제스처를 유지하면서) 이동시키는 것 중 임의의 것을 검출하는 것에 응답하여 슬라이더의 현재 입력 상태를 업데이트한다.
시선 및 비시선 입력에 응답하여 슬라이더를 업데이트하는 전술된 방식은, 슬라이더의 입력 상태를 업데이트하는 상이한, 신속하고 효율적인 방식들을 제공하여, 사용자가 그들에게 편리하고 액세스가능한 입력을 제공하도록 허용하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트의 표현(예컨대, 914e)을 제1 외관으로 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 눈 추적 디바이스를 통해, 사용자의 시선이 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 제2 위치에서 제2 입력 포인트의 제2 표현(예컨대, 914b)으로 지향된다는 것을 검출한다(1012a). 일부 실시예들에서, 사용자의 시선이 입력 포인트의 표현으로 지향되는 동안, 제2 입력 포인트의 제2 표현은 제1 외관과는 상이한 외관(예컨대, 크기, 색상, 불투명도, 반투명도, 가상 층, 사용자의 시점으로부터의 거리)으로 디스플레이된다. 일부 실시예들에서, 슬라이더는 입력 포인트들의 복수의 표현들을 포함하고, 사용자가 현재 보고 있는 입력 포인트의 표현 이외의 입력 포인트들의 표현들 중 하나 이상 또는 전부는 입력 포인트의 표현이 제1 외관으로 디스플레이되는 동안 제1 외관 이외의 외관으로 디스플레이된다. 예를 들어, 사용자의 시선이 입력 포인트의 표현으로 지향되는 동안, 입력 포인트들의 다른 표현들은 사용자가 보고 있는 입력 포인트의 표현보다 더 작은 크기로 디스플레이된다. 일부 실시예들에서, 사용자의 시선이 입력 포인트의 제2 표현(예컨대, 914b)으로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 제2 입력 포인트의 제2 표현(예컨대, 914b)을 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 제2 위치에 제1 외관으로 디스플레이한다(예컨대, 그리고 제1 외관 이외의 외관으로 디스플레이되도록 입력 포인트의 표현을 업데이트함)(1012b). 예를 들어, 사용자가 입력 포인트의 제2 표현을 보는 것을 검출하는 것에 응답하여, 전자 디바이스는 입력 포인트의 표현(예컨대, 그리고 슬라이더의 입력 포인트들의 다른 표현들 중 하나 이상 또는 전부)을 입력 포인트의 제2 표현보다 더 작은 크기로 디스플레이한다. 따라서, 일부 실시예들에서, 사용자가 초기에 입력 포인트의 제1 표현을 보고 그들의 시선을 입력 포인트의 제2 표현으로 이동시키는 경우, 전자 디바이스는 입력 포인트의 제2 표현 상의 사용자의 시선에 응답하여 입력 포인트의 제2 표현의 외관을 (예컨대, 그리고 또한, 입력 포인트의 제1 표현의 외관을 변경하도록) 업데이트한다.
사용자의 시선이 제2 입력 포인트의 제2 표현으로 지향되는 것에 응답하여 제2 입력 포인트의 제2 표현의 외관을 업데이트하는 전술된 방식은, 선택될 입력 포인트의 표현을 변경하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9b에서와 같은 일부 실시예들에서, 사용자의 시선(예컨대, 918b)이 슬라이더 사용자 인터페이스 요소(예컨대, 908)로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 사용자의 손(예컨대, 904)의 미리정의된 부분(예컨대, 하나 이상의 손가락들)의 현재 위치에 대응하는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 위치를 나타내는 제어 요소(예컨대, 916)(예컨대, 커서, 사용자의 손의 표현)를 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상에 디스플레이한다(1014a). 예를 들어, 사용자의 손이 공간 내의 미리결정된 영역의 좌측에 위치된다는 결정에 따라, 전자 디바이스는 슬라이더의 좌측에 제어 요소를 디스플레이한다. 도 9e에서와 같은 일부 실시예들에서, 사용자의 손(예컨대, 904)의 미리정의된 부분의 이동을 검출하는 동안, 전자 디바이스(예컨대, 101)는 사용자의 손(예컨대, 904)의 미리정의된 부분의 이동에 따라 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상에서 제어 요소(예컨대, 916)를 이동시킨다(1014b). 예를 들어, 손이 우측으로 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 제어 요소를 우측으로 이동시킨다. 일부 실시예들에서, 제어 요소는 손의 이동의 속도에 비례하는 속도로 그리고/또는 손이 이동한 거리에 비례하는 거리만큼 이동한다. 따라서, 일부 실시예들에서, 전자 디바이스는 사용자가 손 입력으로 슬라이더의 입력 상태를 제어하는 동안 사용자에게 시각적 피드백을 제공한다.
사용자가 그들의 손의 이동으로 슬라이더를 제어하는 동안 슬라이더 사용자 인터페이스 상에서 제어 요소를 디스플레이하고 이동시키는 전술된 방식은, 손 입력이 제공되고 있는 동안 슬라이더가 손 입력에 응답하여 어떻게 변화할 것인지를 사용자에게 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a에서와 같은 일부 실시예들에서, 사용자의 시선이 슬라이더 사용자 인터페이스 요소(예컨대, 908)로 지향된다는 것을 검출하기 전에, 도 9b의 입력 포인트의 표현(예컨대, 914e)은 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상에 디스플레이되지 않았다(1016a). 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소 상의 사용자의 시선을 검출하기 전에, 전자 디바이스는, 슬라이더의 다른 각자의 입력 상태들의 표시들을 디스플레이하지 않고서(예컨대, 슬라이더 상에 입력 포인트들의 표현들을 디스플레이하지 않고서), 슬라이더의 현재 입력 상태의 표시와 함께 슬라이더 사용자 인터페이스 요소를 디스플레이한다.
슬라이더 상의 사용자의 시선을 검출하는 것에 응답하여 슬라이더의 입력 포인트의 표현을 디스플레이하는 전술된 방식은, 사용자가 슬라이더를 보는 동안 슬라이더의 입력 상태가 변경가능하다는 것을 사용자에게 나타내는 효율적인 방식을 제공하고, 사용자의 시선이 슬라이더로 지향되지 않는 동안 사용자에 대한 시각적 클러터 및 인지적 부담을 감소시키는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트의 표현(예컨대, 914e)(예컨대, 그리고 슬라이더의 복수의 각자의 입력 상태들에 대응하는 입력 포인트들의 복수의 표현들)을 포함하는 슬라이더 사용자 인터페이스 요소(예컨대, 908)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9e에서와 같이, 전자 디바이스(예컨대, 101)와 통신하는 손 추적 디바이스를 통해, 사용자의 손(예컨대, 904)에 의해 수행되는 각자의 제스처에 뒤이은, 각자의 제스처를 유지하는 동안의 사용자의 손(예컨대, 904)의 이동을 포함하는 사용자 입력을 검출한다(1018a). 일부 실시예들에서, 각자의 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것이고, 전자 디바이스는 엄지 손가락이 손가락을 터치하고 있는 동안 손 및/또는 손의 팔의 이동을 검출한다. 일부 실시예들에서, 전자 디바이스는 제스처가 유지되는 동안의 손의 이동에 따라 슬라이더의 현재 입력 상태의 표시의 위치를 업데이트하고, 사용자가 제스처를 해제하는 것(예컨대, 엄지 손가락과 손가락을 서로 멀리 이동시키는 것)을 검출하는 것에 응답하여 슬라이더의 입력 상태를 마무리한다. 도 9e에서와 같은 일부 실시예들에서, 사용자 입력을 검출하는 동안, 전자 디바이스(예컨대, 101)는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상에서의 도 9b의 입력 포인트의 표현(예컨대, 914e)의 디스플레이를 중지한다(예컨대, 그리고 슬라이더 상에서의 입력 포인트들의 복수의 표현들의 디스플레이를 중지함)(1018b). 일부 실시예들에서, 입력 포인트의 표현의 디스플레이를 중지한 후, 전자 디바이스는 슬라이더의 현재 입력 상태의 표시를 계속 디스플레이한다. 도 9e에서와 같은 일부 실시예들에서, 사용자 입력을 검출하는 것에 응답하여(예컨대, 사용자가 엄지 손가락과 손가락을 서로 멀어지게 이동시키는 것과 같은, 제스처를 중지하는 것을 검출하는 것에 응답하여), 전자 디바이스(예컨대, 101)는 사용자의 손(예컨대, 904)의 이동에 따라 슬라이더 사용자 인터페이스 요소(예컨대, 908)의 현재 입력 상태를 제2 각자의 입력 상태로 설정한다(1018c). 일부 실시예들에서, 슬라이더의 현재 입력 상태는 사용자의 손 및/또는 팔의 이동의 거리, 속도 및/또는 지속기간에 따라 이동한다. 예를 들어, 현재 입력 상태는, 상대적으로 거리 및/또는 지속기간이 짧고/짧거나 속도가 느린 손 이동에 응답하여 현재 입력 상태가 이동할 양보다, 상대적으로 거리 및/또는 지속기간이 길고/길거나 속도가 빠른 손 이동에 응답하여 더 많은 양만큼 이동할 것이다. 일부 실시예들에서, 슬라이더의 현재 입력 상태를 업데이트하기 위한 입력이 종료된 후, 전자 디바이스는 입력 포인트들의 표현들과 함께 슬라이더 사용자 인터페이스 요소를 디스플레이한다. 따라서, 일부 실시예들에서, 전자 디바이스는 사용자의 팔의 이동을 포함하는 슬라이더의 현재 입력 상태를 변경하기 위한 입력을 검출하는 동안 슬라이더의 입력 포인트(예컨대, 그리고 입력 포인트들의 복수의 표현들)의 표현의 디스플레이를 중지한다.
손 이동을 포함하는 입력이 검출되고 있는 동안 입력 포인트의 표현의 디스플레이를 중지하는 전술된 방식은, 슬라이더와 상호작용하는 동안 사용자에 대한 시각적 클러터 및 인지적 부담을 감소시키는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9e에서와 같이, 손 추적 디바이스를 통해, 사용자의 손(예컨대, 904)의 이동을 검출한다(1020a). 일부 실시예들에서, 사용자의 시선이 슬라이더 사용자 인터페이스 요소(예컨대, 908)를 향해 지향될 때 만족되는 기준을 포함한 하나 이상의 기준들이 만족되는 동안 사용자의 손(예컨대, 904)의 이동이 검출된다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9e에서와 같이, 사용자의 손(예컨대, 904)의 이동에 따라 슬라이더 사용자 인터페이스 요소(예컨대, 908)의 현재 입력 상태를 업데이트한다(1020b). 일부 실시예들에서, 하나 이상의 기준들은 사용자의 손으로 수행되는 미리결정된 제스처(예컨대, 핀치 제스처)를 검출하는 것을 추가로 포함한다. 일부 실시예들에서, (예컨대, 핀치 제스처를 유지하는 동안의) 사용자의 손의 이동에 따라 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 업데이트하는 것은 슬라이더 사용자 인터페이스 요소의 방향에 있는 손의 이동의 컴포넌트에 따라 슬라이더의 현재 입력 상태를 업데이트하는 것을 포함한다. 예를 들어, 위로의 그리고 우측으로의 손의 이동은 수평 슬라이더로 하여금 우측으로 이동하게 하거나 수직 슬라이더로 하여금 위로 이동하게 한다. 일부 실시예들에서, 사용자의 시선이 슬라이더 사용자 인터페이스 요소(예컨대, 908)를 향해 지향될 때 만족되는 기준을 포함한 하나 이상의 기준들이 만족되지 않는 동안 사용자의 손(예컨대, 904)의 이동이 검출된다는 결정에 따라, 전자 디바이스(예컨대, 101)는 사용자의 손(예컨대, 904)의 이동에 따라 슬라이더 사용자 인터페이스 요소(예컨대, 908)의 현재 입력 상태를 업데이트하는 것을 보류한다(1020c). 일부 실시예들에서, 기준은, 시선이 슬라이더 자체로 지향되지 않는 한, 슬라이더를 포함하는 제어 요소를 향해 지향되는 사용자의 시선을 검출하는 것에 응답하여 만족되지 않는다.
시선이 슬라이더로 지향되지 않는 경우, 슬라이더의 현재 입력 상태를 업데이트하는 것을 보류하는 전술된 방식은, 사용자가 슬라이더의 입력 상태를 우발적으로 업데이트하는 것을 방지하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 슬라이더 사용자 인터페이스 요소는 사용자 인터페이스의 제어 영역(예컨대, 조작될 때, 전자 디바이스로 하여금 설정을 변경 및/또는 활성화하게 하고/하거나 다른 액션을 수행하게 하는 복수의 사용자 인터페이스 요소들을 포함하는 사용자 인터페이스의 영역)에 포함된다. 일부 실시예들에서, 사용자 인터페이스의 제어 영역은 사용자 인터페이스의 나머지와 시각적으로 구별된다(예컨대, 제어 영역은 사용자 인터페이스 내의 시각적 컨테이너임). 일부 실시예들에서, 입력 포인트의 표현 없이 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 전자 디바이스는, 눈 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))를 통해, 사용자의 시선이 슬라이더 사용자 인터페이스 요소로 지향되지 않고서 사용자 인터페이스의 제어 영역으로 지향된다는 것을 검출한다. 일부 실시예들에서, 사용자의 시선이 슬라이더 사용자 인터페이스 요소로 지향되지 않고서 사용자 인터페이스의 제어 영역으로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스는 입력 포인트의 표현이 없는 슬라이더 사용자 인터페이스 요소의 디스플레이를 유지한다. 일부 실시예들에서, 사용자의 시선은 사용자 인터페이스 요소를 포함하지 않는 제어 영역의 일부분(예컨대, 제어 영역의 배경의 일부분)으로 지향된다. 일부 실시예들에서, 사용자의 시선은 제어 영역 내의 다른 사용자 인터페이스 요소를 향해 지향된다. 일부 실시예들에서, 전자 디바이스는, 사용자의 시선이 슬라이더로(예컨대, 또는 슬라이더의 임계 거리(예컨대, 0.5, 1, 2, 3 센티미터 등) 내로) 지향되지 않는 한 그리고 지향될 때까지, 입력 포인트의 표현(예컨대, 또는 슬라이더의 입력 포인트들의 복수의 표현들 중 임의의 다른 것)을 디스플레이하지 않는다. 일부 실시예들에서, 손 추적 디바이스를 통해, 사용자가 미리결정된 손 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행하고, 슬라이더 사용자 인터페이스 요소 상의 사용자의 시선을 검출하지 않고서 슬라이더 사용자 인터페이스 요소의 방향을 따라 손을 이동시키는 것을 검출하는 것에 응답하여, 전자 디바이스는 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 업데이트하는 것을 보류한다.
도 9a에서와 같은 일부 실시예들에서, 슬라이더 사용자 인터페이스 요소(예컨대, 908)는 사용자 인터페이스의 제어 영역(예컨대, 906)(예컨대, 조작될 때, 전자 디바이스로 하여금 설정을 변경 및/또는 활성화하게 하고/하거나 다른 액션을 수행하게 하는 복수의 사용자 인터페이스 요소들을 포함하는 사용자 인터페이스의 영역)에 포함된다(1022a). 일부 실시예들에서, 사용자 인터페이스의 제어 영역은 사용자 인터페이스의 나머지와 시각적으로 구별된다(예컨대, 제어 영역은 사용자 인터페이스 내의 시각적 컨테이너임). 일부 실시예들에서, 예를 들어 도 9a에서와 같이, 도 9b의 입력 포인트의 표현(예컨대, 914e) 없이 슬라이더 사용자 인터페이스 요소(예컨대, 908)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9b에서와 같이, 눈 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))를 통해, (예컨대, 사용자의 시선이 슬라이더 사용자 인터페이스 요소로 지향되는지 여부에 관계없이) 사용자의 시선(예컨대, 918a)이 사용자 인터페이스의 제어 영역(예컨대, 906)으로 지향된다는 것을 검출한다(1022b). 일부 실시예들에서, 사용자의 시선은 사용자 인터페이스 요소를 포함하지 않는 제어 영역의 일부분(예컨대, 제어 영역의 배경의 일부분)으로 지향된다. 일부 실시예들에서, 사용자의 시선은 제어 영역 내의 다른 사용자 인터페이스 요소를 향해 지향된다. 일부 실시예들에서, 사용자의 시선(예컨대, 918a)이 사용자 인터페이스의 제어 영역(예컨대, 906)으로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9b에서와 같이, 입력 포인트의 표현(예컨대, 914e)을 포함하는 슬라이더 사용자 인터페이스 요소(예컨대, 908)를 디스플레이한다(1022c). 일부 실시예들에서, 사용자의 시선이 제어 영역으로 지향되지 않는다는(예컨대, 사용자가 사용자 인터페이스의 상이한 부분을 보고 있다는, 그들의 눈들을 감고 있다는, 디스플레이 생성 컴포넌트로부터 시선을 돌리고 있다는) 결정에 따라, 전자 디바이스는 입력 포인트의 표현 없이 슬라이더 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 손 추적 디바이스를 통해, 사용자가 미리결정된 손 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행하고, 제어 영역 상의 사용자의 시선을 검출하는 동안 슬라이더 사용자 인터페이스 요소의 방향을 따라 손을 이동시키는 것을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 손의 이동에 따라 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 업데이트한다. 일부 실시예들에서, 제어 영역 상의 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 제어 영역 내의 하나 이상의 다른 사용자 인터페이스 요소들을 업데이트한다(예컨대, 입력 포인트들의 표현들을 포함하도록 제2 슬라이더를 업데이트함, 색상, 크기, 하나 이상의 다른 사용자 인터페이스 요소들의 사용자로부터의 가상 거리를 업데이트함).
슬라이더 이외의 제어 영역의 일부 상의 사용자의 시선을 검출하는 것에 응답하여 입력 포인트의 표현을 디스플레이하는 전술된 방식은, 사용자가 슬라이더를 보기를 기다리지 않고서 슬라이더의 입력 상태들을 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 시선이 슬라이더 사용자 인터페이스 요소(예컨대, 908)로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상에서, 사용자의 시선의 위치에 있는 사용자 인터페이스 요소의 일부분 및/또는 사용자의 시선의 방향에 기초하는 슬라이더 사용자 인터페이스 요소(예컨대, 908) 상의 위치에 시선의 시각적 표시를 디스플레이한다(1024a). 일부 실시예들에서, 슬라이더의 제1 각자의 부분으로부터 슬라이더의 제2 각자의 부분으로의 사용자의 시선의 이동을 검출하는 것에 응답하여, 전자 디바이스는 슬라이더의 제2 각자의 부분에 대응하도록 시각적 표시의 위치를 업데이트한다. 일부 실시예들에서, 시각적 표시는 아이콘 및/또는 사용자가 보고 있는 위치에서 슬라이더의 외관(예컨대, 색상, 반투명도, 불투명도 등)을 수정하는 것 중 하나이다.
사용자의 시선의 시각적 표시를 디스플레이하는 전술된 방식은, 사용자의 시선이 검출되고 있고/있거나 전자 디바이스가 시선 기반 입력에 따라 슬라이더를 업데이트할 수 있다는 것을 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 9b에서와 같이, 입력 포인트의 표현(예컨대, 914e)을 제1 외관으로 디스플레이한 후, 그리고 예를 들어 도 9c에서와 같이, 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 0.6, 1초 등) 미만 동안 제1 외관을 갖는 입력 포인트의 표현(예컨대, 914e)으로 지향되는 사용자의 시선(예컨대, 918c)을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 9c에서와 같이, 입력 포인트의 표현(예컨대, 914e)을 제1 외관과는 상이한 제2 외관(예컨대, 크기, 색상, 불투명도, 반투명도, 슬라이더가 디스플레이되는 3차원 환경에서의 사용자의 시점으로부터의 거리)으로 디스플레이한다(1024b). 일부 실시예들에서, 전자 디바이스는, 임계 시간에 도달할 때까지, 사용자의 시선이 입력 포인트의 표현 상에 유지됨에 따라, 입력 포인트의 표현의 외관을 점진적으로 업데이트한다. 예를 들어, 입력 포인트의 표현 상의 사용자의 시선을 검출하기 전에, 전자 디바이스는 입력 포인트의 표현을 제1 크기로 디스플레이하고, 입력 포인트의 표현 상의 사용자의 시선을 검출하는 것에 응답하여 그리고 입력 포인트의 표현 상의 사용자의 시선을 계속 검출하는 동안, 전자 디바이스는 임계 시간에 도달할 때까지 입력 포인트의 표현의 크기를 점진적으로 증가시키고, 전자 디바이스는 입력 포인트의 각자의 표현에 대응하도록 슬라이더의 입력 상태를 업데이트한다. 다른 예로서, 전자 디바이스는 사용자의 시선이 입력 포인트의 표현 상에 있는 동안 입력 포인트의 표현의 색상을 점진적으로 변경한다.
사용자의 시선이 임계 시간 미만 동안 입력 포인트의 표현 상에 있는 동안 입력 포인트의 표현의 외관을 업데이트하는 전술된 방식은, 사용자가 입력 포인트의 표현을 계속 보는 경우, 슬라이더의 입력 상태가 입력 포인트의 표현에 대응하도록 업데이트될 것이라는 것을 사용자에게 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a 내지 도 11d는 일부 실시예들에 따른, 전자 디바이스가 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 하는 방법의 예들을 예시한다.
도 11a는 전자 디바이스(100)가 디스플레이 생성 컴포넌트(120)를 통해 사용자 인터페이스 상에 3차원 환경(1102)을 디스플레이하는 것을 예시한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(120)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314)을 포함한다. 이미지 센서들(314)은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 11a에서, 전자 디바이스(101)는 3차원 환경(1102) 내에 애플리케이션의 표현(1106a), 2차원 객체(1106b), 및 3차원 객체(1106c)를 디스플레이한다. 일부 실시예들에서, 애플리케이션의 표현(1106a)은, 선택가능 옵션들, 콘텐츠 등을 포함한, 애플리케이션의 사용자 인터페이스를 포함한다. 일부 실시예들에서, 2차원 객체(1106b)는, 문서, 이미지, 또는 비디오 콘텐츠와 같은, 콘텐츠의 파일 또는 항목이다. 일부 실시예들에서, 2차원 객체(1106b)는, 표현(1106a)과 연관된 애플리케이션과 연관되거나 상이한 애플리케이션과 연관된 객체이다. 예를 들어, 표현(1106a)은 이메일 애플리케이션의 표현이고, 2차원 객체(1106b)는 전자 디바이스(101)가 2차원 객체(1106b)를 개별적으로 디스플레이하기 위한 입력에 응답하여 표현(1106a) 외측에 디스플레이하고 있는 이메일의 첨부파일(attachment)이다. 일부 실시예들에서, 3차원 객체(1106c)는 가상 객체 또는 3차원 콘텐츠이다. 일부 실시예들에서, 3차원 객체(1106c)는 표현(1106a)과 연관되는 동일한 애플리케이션 또는 상이한 애플리케이션과 연관된다.
일부 실시예들에서, 각자의 가상 객체(예컨대, 표현(1106a), 2차원 객체(1106b), 3차원 객체(1106c)) 상의 사용자의 시선을 일부 실시예들에서 미리결정된 임계 시간(예컨대, 0.1초, 0.2초, 0.5초, 1초 등) 동안 검출하는 것에 응답하여, 전자 디바이스(101)는 각자의 가상 객체에 근접하여 사용자 인터페이스 요소(1180a 내지 1180c)를 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는, 시선의 지속기간에 관계없이(예컨대, 시선이 임계 시간 미만 동안 검출되는 경우에도), 사용자의 시선이 각자의 가상 객체(예컨대, 표현(1106a), 2차원 객체(1106b), 3차원 객체(1106c)) 상에 있는 동안 사용자가 그들의 손(1104b)으로 제스처를 수행하는 것을 검출하는 것에 응답하여 사용자 인터페이스 요소(1180a 내지 1180c)를 디스플레이한다. 일부 실시예들에서, 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것을 포함하는 핀치 제스처이다. 예를 들어, 임계 시간 동안 3차원 객체(1106c) 상의 사용자의 시선(1110c)을 검출하는 것에 응답하여 그리고/또는 핀치 제스처를 검출하는 것과 동시에, 전자 디바이스(101)는 사용자 인터페이스 요소(1180c)를 디스플레이한다. 다른 예로서, 임계 시간 동안 2차원 객체(1106b) 상의 사용자의 시선(1110b)을 검출하는 것에 응답하여 그리고/또는 핀치 제스처를 검출하는 것과 동시에, 전자 디바이스(101)는 사용자 인터페이스 요소(1180b)를 디스플레이한다. 다른 예로서, 임계 시간 동안 애플리케이션의 표현(1106a) 상의 사용자의 시선을 검출하는 것에 응답하여 그리고/또는 핀치 제스처를 검출하는 것과 동시에, 전자 디바이스(101)는 사용자 인터페이스 요소(1180a)를 디스플레이한다. 애플리케이션의 표현(1106a)과 연관된 사용자 인터페이스 요소(1180a)는, 선택적으로, 3차원 환경(1102) 내의 객체들과 연관된 사용자 인터페이스 요소들(1180b, 1180c)보다 크다. 일부 실시예들에서, 사용자 인터페이스 요소(1180a)와 유사한 사용자 인터페이스 요소들은 3차원 환경 내에 다른 객체들과 독립적으로 디스플레이되는 가상 객체들 및/또는 애플리케이션들의 표현들과 연관하여 디스플레이될 때 제1 크기로 디스플레이된다. 일부 실시예들에서, 사용자 인터페이스 요소(1180b)와 유사한 사용자 인터페이스 요소들은 다른 객체 또는 애플리케이션 사용자 인터페이스 내에 초기에 디스플레이되었던 객체들의 표현들과 연관하여 디스플레이될 때 제2, 더 작은 크기로 디스플레이된다. 예를 들어, 표현(1106a)은 독립적으로 디스플레이되는 이메일 애플리케이션의 표현이고, 객체(1106b)는 표현(1106a) 내에 초기에 디스플레이되었던 이메일의 첨부파일이다. 일부 실시예들에서, 3차원 환경(1102) 내의 가상 객체들과 연관된 각자의 사용자 인터페이스 요소들(1180)은 상이한 애플리케이션들과 연관된 가상 객체들에 대해서도 동일하다. 예를 들어, 2차원 객체(1106b) 및 3차원 객체(1106c)는 상이한 애플리케이션들과 연관되지만, 사용자 인터페이스 요소(1180b) 및 사용자 인터페이스 요소(1180c)는 동일하다. 일부 실시예들에서, 전자 디바이스(101)는 사용자의 시선이 지향되는 가상 객체에 대응하는 시간에 하나의 사용자 인터페이스 요소(1180)를 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는 (예컨대, 3차원 환경(1102) 내의 가상 객체들 중 하나의 가상 객체 상의 사용자의 시선을 검출하는 것에 응답하여) 모든 사용자 인터페이스 요소들(1180)을 동시에 디스플레이한다.
전자 디바이스(101)는 시선(1110b)이 2차원 객체(1106b) 상에서 검출되는 동안 사용자의 손(1104a)이 2차원 객체(1106b)의 우측에 있는 것을 검출하는 것에 응답하여 2차원 객체(1106b)의 우측에 사용자 인터페이스 요소(1180b)를 디스플레이한다. 일부 실시예들에서, 손(1104a)이 2차원 객체(1106b)의 우측에 있는 것을 검출하는 대신에, 전자 디바이스(101)가 손(1104a)이 2차원 객체(1106b)의 좌측에 있는 것을 검출하는 경우, 전자 디바이스(101)는 2차원 객체(1106b)의 좌측에 사용자 인터페이스 요소(1180b)를 디스플레이할 것이다. 일부 실시예들에서, 전자 디바이스(101)는 사용자의 시선(1110c)이 3차원 객체(1106c)로 지향되는 동안 사용자의 손(1104a)이 검출되는 3차원 객체(1106c)의 측부 상에 사용자 인터페이스 요소(1180c)를 유사하게 디스플레이하고, 사용자의 시선이 표현(1106a)으로 지향되는 동안 사용자의 손(1104a)이 검출되는 표현(1106a)의 측부 상에 사용자 인터페이스 요소(1180a)를 유사하게 디스플레이한다. 일부 실시예들에서, 사용자의 시선(1110b)이 2차원 객체(1106b)로 지향되는 동안 손(1104a)의 위치가 변경되는 경우, 전자 디바이스(101)는 사용자 인터페이스 요소(1180b)가 손의 업데이트된 위치에 대응하는 위치로 이동하는 애니메이션을 제시한다.
일부 실시예들에서, 전자 디바이스(101)는, 손이 미리결정된 자세에 있고 엄지 손가락이 다른 손가락으로부터 임계 거리(예컨대, 0.1 센티미터, 0.5 센티미터, 1 센티미터, 2 센티미터, 5 센티미터, 10 센티미터, 30 센티미터 등) 미만인 핀치 제스처의 시작과 같은, 3차원 환경(1102) 내의 2차원 객체(1106b)의 임계 거리(예컨대, 1 센티미터, 5 센티미터, 10 센티미터, 30 센티미터, 50 센티미터, 100 센티미터 등) 내에 있는 경우 손(1104a)의 위치에 응답하여 2차원 객체(1106b)의 우측에 사용자 인터페이스 요소(1180b)만을 디스플레이한다. 일부 실시예들에서, 사용자의 손(1104a)이 3차원 환경(1102) 내의 객체(1106b)의 임계 거리(예컨대, 1 센티미터, 5 센티미터, 10 센티미터, 30 센티미터, 50 센티미터, 100 센티미터 등) 내에 있는 동안 핀치 제스처를 검출하는 것에 응답하여, 전자 디바이스(101)는 사용자 인터페이스 요소(1180b)를 핀치에 대응하는 위치로 이동시킨다. 예를 들어, 전자 디바이스(101)가 2차원 객체(1106b)의 하부 우측 코너를 향한 핀치 제스처의 손(1104a)을 검출하는 경우, 전자 디바이스(101)는 2차원 객체(1106b)의 하부 우측 코너에(또는 일부 실시예들에서, 2차원 객체(1106b)의 우측의 중간에) 사용자 인터페이스 요소(1180b)를 디스플레이한다. 핀치 제스처의 시작 시의 손(1104a)을 검출하는 대신에, 전자 디바이스(101)가 손(1104a)이 3차원 환경(1102) 내의 2차원 객체(1106b)의 임계 거리(예컨대, 1 센티미터, 5 센티미터, 10 센티미터, 20 센티미터, 50 센티미터, 100 센티미터 등) 내에 있는 동안 (전부는 아니지만) 하나 이상의 손가락들이 펴진 상태의 포인팅 제스처와 같은 상이한 제스처의 손을 검출하는 경우, 전자 디바이스(101)는, 도 11b를 참조하여 설명될 바와 같이, 사용자 인터페이스 요소(1180a)가 애플리케이션의 표현(1106a)과 관련된 선택가능 옵션들(1112a 내지 1112e)을 포함하는 방식과 유사하게 2차원 객체(1106b)와 관련된 하나 이상의 선택가능 옵션들을 포함하도록 사용자 인터페이스 요소(1180b)를 업데이트한다.
전자 디바이스(101)가 2차원 객체(1106b) 상의 사용자의 시선(1110b)을 검출하는 동안 2차원 객체(1106b)의 일 측부 상에서 사용자의 손(1104a)을 검출하지 않는 경우, 전자 디바이스(101)는, 선택적으로, 전자 디바이스(101)가 도 11a의 애플리케이션의 표현(1106a)의 하단 에지를 따라 사용자 인터페이스 요소(1180a)를 디스플레이하는 방법과 유사한 방식으로 2차원 객체(1106b)의 하단 에지를 따라 사용자 인터페이스 요소(1180b)를 디스플레이할 것이다. 3차원 객체(1106c)는 3차원이기 때문에, 전자 디바이스(101)는, 선택적으로, (예컨대, 3차원 객체(1106c)의 후방(예컨대, 추가) 하단 에지와는 대조적으로) 3차원 객체(1106c)의 전방 하단 에지를 따라 사용자 인터페이스 요소(1180c)를 디스플레이한다.
일부 실시예들에서, 사용자 인터페이스 요소들(1180) 중 하나를 향해 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스(101)는, 선택될 때, 전자 디바이스(101)로 하여금 사용자 인터페이스 요소(1180)와 연관된 가상 객체에 대한 액션을 수행하게 하는 하나 이상의 선택가능 옵션들을 포함하도록 사용자 인터페이스 요소(1180)를 업데이트한다. 일부 실시예들에서, 사용자 인터페이스 요소(1180)에 대한 입력은 시선 입력을 포함한다. 도 11a에 도시된 바와 같이, 전자 디바이스(101)는 애플리케이션(1106a)의 표현(1106a)과 연관된 사용자 인터페이스 요소(1180a)로 지향되는 사용자의 시선(1110a)을 검출한다. 일부 실시예들에서, 사용자 인터페이스 요소(1180a) 상의 사용자의 시선(1106a)은 임계 기간(예컨대, 0.1초, 0.2초, 0.5초, 1초, 5초, 10초, 30초, 50초 등) 동안 검출된다. 일부 실시예들에서, 전자 디바이스(101)는 임계 시간 미만인 기간 동안 사용자 인터페이스 요소(1180a) 상의 사용자의 시선(1106a)을 검출하면서 사용자가 그들의 손(1104b)으로 핀치 제스처를 수행하는 것을 검출한다. 손(1104b)에 의해 수행되는 핀치 제스처를 동시에 검출하면서 임계 시간 동안, 또는 임의의 기간 동안 사용자 인터페이스 요소(1180a) 상의 사용자의 시선(1110a)을 검출하는 것에 응답하여, 전자 디바이스(101)는, 도 11b에 도시된 바와 같이, 애플리케이션의 표현(1106a)과 관련된 복수의 선택가능 옵션들(1112a 내지 1112e)을 포함하도록 사용자 인터페이스 요소(1180a)를 업데이트한다.
도 11b는 전자 디바이스(101)가, 도 11a를 참조하여 설명된 사용자 인터페이스 요소(1180a)에 대한 입력들 중 하나를 검출하는 것에 응답하여, 확장된 사용자 인터페이스 요소(1180a) 내에 선택가능 옵션들(1112a 내지 1112e)을 디스플레이하는 것을 예시한다. 일부 실시예들에서, 옵션(1112a)의 선택을 검출하는 것에 응답하여, 전자 디바이스(101)는 표현(1106a)의 디스플레이를 중지한다. 일부 실시예들에서, 옵션(1112b)의 선택을 검출하는 것에 응답하여, 전자 디바이스(101)는 3차원 환경(1102)에서 다른 사용자와 표현(1106a)을 공유하기 위한 프로세스를 개시한다. 일부 실시예들에서, 옵션(1112c)의 선택을 검출하는 것에 응답하여, 전자 디바이스(101)는 3차원 환경(1102)에서 표현(1106a)의 위치를 업데이트하기 위한 프로세스를 개시한다. 일부 실시예들에서, 옵션(1112d)의 선택을 검출하는 것에 응답하여, 전자 디바이스(101)는, 예를 들어, 3차원 환경(1102) 내에 다른 객체들(1106b, 1106c)(예컨대, 가상 및/또는 실제 객체들)의 디스플레이를 중지하는 것을 포함하는 전체 스크린/완전 몰입 모드로 표현(1106a)을 디스플레이한다. 일부 실시예들에서, 옵션(1112e)의 선택을 검출하는 것에 응답하여, 전자 디바이스(101)는 3차원 환경(1102) 내에 서로의 임계 거리(예컨대, 1 센티미터, 5 센티미터, 10 센티미터, 30 센티미터, 50 센티미터 등) 내에 표현(1106a)과 연관된 동일한 애플리케이션과 연관된 모든 객체들 및 표현들을 디스플레이한다. 일부 실시예들에서, 옵션(1112a 내지 1112e)의 선택은 사용자가 그들의 손(1104c)으로 핀치 제스처를 수행하는 동안 각자의 옵션으로 지향되는 사용자의 시선을 검출하는 것에 응답하여 검출된다.
일부 실시예들에서, 사용자 인터페이스 객체(1180a)에 포함된 옵션들(1112a 내지 1112e)은 표현(1106a)에 대응하는 애플리케이션에 맞춤화된다. 따라서, 일부 실시예들에서, 상이한 애플리케이션에 대해 디스플레이되는 옵션들은 표현(1106a)과 연관된 애플리케이션에 대해 디스플레이되는 옵션들(1112a 내지 1112e)과는 상이할 수 있다. 예를 들어, 콘텐츠 편집 애플리케이션은, 선택적으로, 마크업(markup) 옵션을 포함하는 반면, 인터넷 브라우저는, 선택적으로, 마크업 옵션을 포함하지 않는다. 게다가, 일부 실시예들에서, 전자 디바이스(101)는 옵션들이 애플리케이션의 표현 또는 가상 객체(예컨대, 2차원 객체(1106b), 3차원 객체(1106c))와 연관되는지에 따라 상이한 옵션들을 디스플레이한다. 예를 들어, 3차원 객체(1106c)와 연관된 표현(1180c) 내에 디스플레이되는 옵션들 또는 2차원 객체(1106b)와 연관된 표현(1180b) 내에 디스플레이되는 옵션들은, 선택적으로, 옵션들(1112a 내지 1112e)과는 상이하다. 예를 들어, 2차원 객체(1106b)와 연관된 옵션들은 2차원 객체(1106b)의 디스플레이를 중지하기 위한 옵션, 3차원 환경(1102)에 액세스할 수 있는 다른 사용자와 2차원 객체를 공유하기 위한 옵션, 객체(1106b)를 이동시키기 위한 옵션, 객체(1106b)를 전체 스크린 또는 몰입 모드로 디스플레이하기 위한 옵션, 및 (예컨대, 마크업 또는 텍스트 편집 애플리케이션을 통해) 2차원 객체(1106b)를 편집하기 위한 옵션을 포함한다.
도 11b에 도시된 바와 같이, 전자 디바이스(101)는 옵션(1112c)으로 지향되는 사용자의 시선(1110d)을 검출하여 3차원 환경(1102)에서 표현(1106a)을 이동시킨다. 옵션(1112c) 상의 사용자의 시선(1110d)을 검출하는 동안, 전자 디바이스(101)는, 또한, 사용자가 손(1104c)으로 핀치 제스처를 수행하는 것을 검출한다. 일부 실시예들에서, 사용자가 그들의 손(1104c)으로 핀치 제스처를 유지하는 동안, 전자 디바이스(101)는 손의 이동에 따라 3차원 환경(101)에서 애플리케이션의 표현(1106a)을 이동시킨다. 예를 들어, 사용자를 향한 손(1104d)의 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는, 도 11d에 도시된 바와 같이, 3차원 환경(1102)에서 사용자를 향해 표현(1106a)을 이동시킨다.
도 11d를 참조하면, 전자 디바이스(101)가 핀치 제스처를 유지하는 동안의 손(1104f)의 이동에 따라 애플리케이션의 표현(1106a)을 이동시키는 동안, 전자 디바이스(101)는 선택가능 옵션들(1112a 내지 1112e) 없이 사용자 인터페이스 요소(1180a)를 디스플레이한다(예컨대, 디바이스(101)는 요소(1180a)를 도 11a에 도시된 그의 상태로 다시 접음). 일부 실시예들에서, 핀치 제스처의 종료를 검출하는 것에 응답하여, 전자 디바이스(101)는 3차원 환경(1102) 내의 업데이트된 위치에서 애플리케이션의 표현(1106a)의 디스플레이를 유지하고, 선택가능 옵션들(1112a 내지 1112e)의 디스플레이를 재개한다(예컨대, 디바이스(101)는 요소(1180a)를 도 11b에 도시된 그의 상태로 자동적으로 재확장시킴). 일부 실시예들에서, 전자 디바이스(101)는 핀치 제스처를 취한 손(1104f)의 이동에 따라 애플리케이션의 표현(1106a)을 이동시키면서 선택가능 옵션들(1112a 내지 1112e)을 계속 디스플레이한다(예컨대, 디바이스(101)는 요소(1180a)를 도 11b에 도시된 그의 확장된 상태로 유지함). 일부 실시예들에서, 사용자는 표현(1106a)을 이동시키면서 선택가능 옵션들(1112a 내지 1112e)을 선택할 수 있다. 예를 들어, 전자 디바이스(101)는 (전부는 아니지만) 하나 이상의 손가락들이 펴진 상태로 손이 포인팅 제스처에 있는 동안 3차원 환경(1102) 내의 선택된 옵션의 임계 거리(예컨대, 1 센티미터, 5 센티미터, 10 센티미터, 30 센티미터 등) 내에 있는 3차원 환경(1102) 내의 위치로 손을 이동시킴으로써 사용자가 그들의 다른 손으로 옵션들(1112a 내지 1112e) 중 하나를 "누르는" 것을 검출함으로써 옵션(1112a 내지 1112e)의 선택을 검출한다. 사용자의 다른 손의 가리키는 손가락은, 선택적으로, (예컨대, 예를 들어 방법(800)을 참조하여 설명된 것과 같이) 옵션들(1112a 내지 1112e) 중 하나를 선택한다.
따라서, 전자 디바이스(101)는 사용자 인터페이스 요소(1180)에 대한 사용자 입력에 응답하여 3차원 환경(1102)에서 객체들을 이동시킨다. 이제, 사용자 인터페이스 요소(1180c)에 대한 입력을 검출하는 것에 응답한 3차원 객체(1106c)의 이동이 설명될 것이다. 도 11b를 다시 참조하면, 전자 디바이스(101)는 3차원 객체(1106c)와 연관된 사용자 인터페이스 요소(1180c) 상의 사용자의 시선(1110e)을 검출하면서 사용자가 손(1104d)으로 핀치 제스처를 수행하는 것을 검출한다. 사용자 인터페이스 요소(1180c) 상의 사용자의 시선(1110e) 및 핀치 제스처를 검출하는 것에 응답하여, 전자 디바이스(101)는 핀치 제스처가 유지되는 동안의 손(1104d)의 이동에 따라 3차원 환경(1102)에서 3차원 객체(1106c)를 이동시키기 위한 프로세스를 개시한다. 3차원 객체(1106c)를 이동시키기 위한 입력에 응답하여, 전자 디바이스(101)는 (예컨대, 도 11a로부터 도 11b로의 전이에 도시된 바와 같이) 3차원 환경(1102)에서 3차원 객체(1106c)의 위치를 위로 시프트시키고, 객체를 이동시키기 위한 입력의 종료에 응답하여 3차원 객체가 디스플레이(예컨대, 배치)될 위치에 대응하는 3차원 객체(1106c)의 풋프린트(footprint)의 표시(1114)를 디스플레이한다. 일부 실시예들에서, 표시(1114)는 3차원 객체(1106c)의 하단 표면과 동일한 형상을 갖는다. 일부 실시예들에서, 표시(1114)는 마치 그가 3차원 환경 내의 표면(예컨대, 가상 표면 또는 전자 디바이스(101)의 물리적 환경 내의 실제 표면의 표현) 상에 있는 것처럼 보이도록 디스플레이된다.
도 11c는 전자 디바이스(101)가 핀치 제스처를 유지하고 있는 손(1104e)의 이동에 따라 3차원 객체(1106c)를 계속 이동시키는 것을 예시한다. 도 11c에 도시된 바와 같이, 전자 디바이스(101)는 이동 입력의 종료를 검출하는 것에 응답하여 3차원 객체(1106c)가 3차원 환경(1102) 내에 디스플레이(예컨대, 배치)될 위치의 표시(1114)를 계속 디스플레이한다.
일부 실시예들에서, 전자 디바이스(101)는, 3차원 객체(1106c)가 3차원 환경(101) 내의 표면에 "스냅핑"되는 경우에만, 3차원 객체(1106c)를 위로 시프트시키고 표시(1114)를 디스플레이한다. 예를 들어, 도 11a에서, 객체(1106c)는 전자 디바이스(101)의 물리적 환경 내의 바닥에 대응하는 3차원 환경(101) 내의 바닥에 "스냅핑"되고, 전자 디바이스(101)는 3차원 객체(1106c)를 마치 그가 3차원 환경(1102) 내의 바닥 상에 놓여 있는 것처럼 보이도록 디스플레이한다. 일부 실시예들에서, 가상 객체는 객체가 이동되고 있는 동안 3차원 환경(1102)에서 사용자의 손의 표현에 "스냅핑"된다. 일부 실시예들에서, 사용자의 손의 표현은 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 손의 실사 표현 또는 디스플레이 생성 컴포넌트(120)의 투명 부분을 통한 손의 뷰이다. 일부 실시예들에서, 3차원 객체(1106c)는 3차원 객체(1106c)가 객체의 미리결정된 임계치(예컨대, 1 센티미터, 10 센티미터, 50 센티미터, 100 센티미터 등) 내에 있을 때 사용자의 손(들) 및/또는 표면(예컨대, 평평한 또는 수직 표면들)과 같은 3차원 환경(1102) 내의 소정 객체들에만 스냅핑된다.
일부 실시예들에서, 3차원 객체(1106c)를 이동시키는 동안, 전자 디바이스(101)는, 예를 들어 사용자 인터페이스 요소(1180c)의 크기 또는 색상을 변경함으로써, 사용자 인터페이스 요소(1180c)의 외관을 업데이트한다. 일부 실시예들에서, 3차원 객체(1106c)를 이동시키는 동안, 전자 디바이스(101)는 (예컨대, 사용자의 팔에 대한) 손(1104e)의 회전을 검출하는 것에 응답하여 3차원 객체(1106c)를 기울인다. 일부 실시예들에서, 이동 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(101)는, 3차원 객체(1106c)가 손(1104e)의 회전에 응답하여 기울어진 동안 사용자가 이동 입력을 종료하는 경우에도, 도 11c에 예시된 각도로(예컨대, 직립으로) 3차원 객체(1106c)를 디스플레이한다. 일부 실시예들에서, 이동 입력의 종료는 사용자가 (예컨대, 엄지 손가락과 손가락을 서로 멀어지게 이동시킴으로써) 그들의 손(1104e)으로 핀치 제스처를 수행하는 것을 중지하는 것을 검출하는 것에 응답하여 검출된다.
일부 실시예들에서, 전자 디바이스(101)는 도 11c에 도시된 바와 같이 3차원 객체(1106c)를 디스플레이하는 동안 이동 입력의 종료를 검출한다. 이에 응답하여, 전자 디바이스(101)는 도 11d에 도시된 바와 같이 3차원 객체(1106c)를 디스플레이한다. 도 11d에서, 전자 디바이스(101)는 도 11c의 표시(1114)의 위치에 대응하는 3차원 환경(1102) 내의 위치에 3차원 객체(1106c)를 디스플레이한다. 따라서, 도 11c에서 이동 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(101)는 3차원 환경(1102) 내의 표현(1106c)을 풋프린트(1114)의 영역 상으로, 선택적으로 전자 디바이스(101)가 이동 입력의 시작에 응답하여 도 11b에서 표현(1106c)을 들어올린 동일한 양만큼 낮춘다.
달리 언급되지 않는 한, 위에서 설명된 요소들(1180a 내지 1180c) 중 임의의 하나의 요소의 특성들 중 임의의 것은, 선택적으로, 요소들(1180a 내지 1180c) 중 임의의 것에 유사하게 적용가능하다는 것이 이해된다.
도 12a 내지 도 12o는 일부 실시예들에 따른, 3차원 환경에서 가상 객체들을 이동시키고, 가상 객체들과 연관된 액션들에 액세스하는 것을 용이하게 하는 방법을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1200)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1200)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1200)에서의 일부 동작들이 선택적으로 조합되거나, 및/또는 일부 동작들의 순서가 선택적으로 변경된다.
도 11a에서와 같은 일부 실시예들에서, 방법(1200)은, 디스플레이 생성 컴포넌트(120) 및 하나 이상의 입력 디바이스들(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스(101)에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은, 사용자 입력을 수신하고(예컨대, 사용자 입력을 캡처함, 사용자 입력을 검출함 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
도 11a에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 제1 가상 객체(예컨대, 1106a)(예컨대, 애플리케이션, 애플리케이션의 윈도우, 가상 시계와 같은 가상 객체 등), 및 제1 가상 객체(예컨대, 1106a)와 연관하여 디스플레이되는, 제1 가상 객체(예컨대, 1106a)와 별개인 대응하는 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 포함하는 사용자 인터페이스(예컨대, 3차원 환경, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터 생성 현실(CGR) 환경)를 디스플레이한다(1202a). 일부 실시예들에서, 대응하는 각자의 사용자 인터페이스 요소는, 예를 들어 제1 가상 객체의 수평 중심 아래에, 제1 가상 객체 상에 오버레이되어 등과 같이, 제1 가상 객체에 대한 미리결정된 위치에 디스플레이되는 수평 바이다. 사용자 인터페이스는, 선택적으로, 복수의 가상 객체들(예컨대, 앱들, 윈도우들 등)을 포함하고, 각각의 가상 객체는, 선택적으로, 그 자체의 각자의 사용자 인터페이스 요소와 연관하여 디스플레이된다.
도 11a에서와 같은 일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들을 통해, 각자의 사용자 인터페이스 요소(예컨대, 1180a)에 대한 제1 사용자 입력을 검출한다(1202b). 일부 실시예들에서, 전자 디바이스는 눈 추적 디바이스, 손 추적 디바이스, 터치 감응형 표면(예컨대, 터치 스크린 또는 트랙패드), 마우스, 또는 키보드를 통해 제1 입력을 검출한다. 예를 들어, 전자 디바이스는, 눈 추적 디바이스를 통해, 사용자의 시선이 각자의 사용자 인터페이스 요소를 향해 지향된다는 것을 검출한다. 다른 예로서, 전자 디바이스는, 눈 추적 디바이스를 통해, 사용자가 각자의 사용자 인터페이스 요소를 본다는 것을 검출하는 동안, 손 추적 디바이스를 통해, 사용자가 미리결정된 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행한다는 것을 검출한다. 도 11b에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 1180a)에 대한 제1 사용자 입력을 검출하는 것에 응답하여(1202c), 제1 사용자 입력이 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106a)를 이동시키라는 요청에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 11d에서와 같이, 제1 사용자 입력에 따라 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106a) 및 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 이동시킨다(1202d). 일부 실시예들에서, 제1 사용자 입력은, 사용자 입력이 각자의 사용자 인터페이스 요소의 선택에 뒤이은 지향성 입력을 포함하는 경우, 사용자 인터페이스에서 제1 가상 객체를 이동시키라는 요청에 대응한다. 일부 실시예들에서, 지향성 입력은 각자의 사용자 인터페이스 요소의 선택을 검출하는 임계 시간(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 내에 검출된다. 예를 들어, 전자 디바이스는, 눈 추적 디바이스를 통해, 사용자가 각자의 사용자 인터페이스 요소를 본다는 것을 검출하고, 손 추적 디바이스를 통해, 사용자가 각자의 사용자 인터페이스 요소를 보는 동안 핀칭 제스처를 취하고 그들의 손을 이동시킨다는 것을 검출한다. 이러한 예에서, 사용자 입력에 응답하여, 전자 디바이스는 사용자의 손의 이동에 따라 제1 가상 객체 및 각자의 사용자 인터페이스 요소를 이동시킨다. 일부 실시예들에서, 전자 디바이스는 제1 가상 객체 및 각자의 사용자 인터페이스 요소를 이동시키는 동안 제1 가상 객체에 대한 각자의 사용자 인터페이스 요소의 위치를 유지한다. 일부 실시예들에서, 예를 들어 도 11a에서와 같이, 각자의 사용자 인터페이스 요소(예컨대, 1180a)에 대한 제1 사용자 입력을 검출하는 것에 응답하여(1202c), 제1 사용자 입력이, 제1 사용자 입력이 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106a)를 이동시키기 위한 입력 이외의 입력일 때 만족되는 기준을 포함한 하나 이상의 기준들을 만족시킨다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 11b에서와 같이, 제1 가상 객체(예컨대, 1106a)와 연관된 하나 이상의 대응하는 동작들을 수행하도록 선택가능한 하나 이상의 선택가능 옵션들(예컨대, 1110a 내지 1110e)을 포함하도록 각자의 사용자 인터페이스 요소(예컨대, 1180a)의 디스플레이를 업데이트한다(1202e). 일부 실시예들에서, 제1 사용자 입력은 제1 사용자 입력이 지향성 입력을 포함하지 않는 경우 하나 이상의 기준들을 만족시킨다. 일부 실시예들에서, 제1 사용자 입력을 검출하는 것은, 눈 추적 디바이스를 통해, 사용자가 각자의 사용자 인터페이스 요소를 본다는 것; 일부 실시예들에서, 지향성 입력을 검출하지 않고서(예컨대, 손 추적 디바이스를 통해, 사용자 인터페이스 요소를 이동시키라는 요청에 대응하는 손 제스처를 검출하지 않음) 미리결정된 시간(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초)보다 더 오랫동안 각자의 사용자 인터페이스 요소를 보고 있다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 입력을 검출하는 것은, 손 추적 디바이스를 통해, 미리결정된 제스처를 검출하는 동안, 눈 추적 디바이스를 통해, 사용자가 각자의 사용자 인터페이스 요소를 본다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 미리결정된 제스처는 각자의 사용자 인터페이스 요소를 선택하라는 요청에 대응한다. 일부 실시예들에서, 미리결정된 제스처를 검출하는 것은, 손 추적 디바이스를 통해, 사용자가 그들의 엄지 손가락과 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)을 함께 탭핑하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 선택가능 옵션들을 포함하도록 각자의 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것은 각자의 사용자 인터페이스 요소의 외관을 업데이트하는 것(예컨대, 각자의 사용자 인터페이스 요소의 크기를 증가시키는 것, 그의 색상, 반투명도 등을 변경하는 것), 및 각자의 사용자 인터페이스 요소 내에 하나 이상의 선택가능 옵션들을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 선택가능 옵션들은, 선택될 때, 전자 디바이스로 하여금 제1 가상 객체를 닫게(예컨대, 제1 가상 객체를 디스플레이하는 것을 중지하게) 하는 옵션을 포함한다. 일부 실시예들에서, 하나 이상의 선택가능 옵션들은, 선택될 때, 전자 디바이스로 하여금 제1 가상 객체를 이동시키기 위한 프로세스를 개시하게 하는 선택가능 옵션을 포함한다. 일부 실시예들에서, 하나 이상의 선택가능 옵션들은, 선택될 때, 전자 디바이스로 하여금 전자 디바이스가 액세스가능한 애플리케이션 또는 공유 프로토콜을 사용하여 제1 가상 객체를 공유하기(예컨대, 3차원 환경에서 다른 사용자와 공유함/그에게 보이게 함) 위한 프로세스를 개시하게 하는 선택가능 옵션을 포함한다.
제1 사용자 입력이 사용자 인터페이스에서 제1 가상 객체를 이동시키라는 요청에 대응한다는 결정에 따라, 제1 가상 객체 및 각자의 사용자 인터페이스 요소를 이동시키고, 제1 사용자 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라, 하나 이상의 선택가능 옵션들을 포함하도록 각자의 사용자 인터페이스 요소의 디스플레이를 업데이트하는 전술된 방식은, 객체를 이동시키거나 또는 객체와 관련된 옵션들에 액세스하는 효율적인 방식을 제공하는데, 이는 (예컨대, 제1 가상 객체를 이동시키거나 또는 객체와 관련된 옵션들에 액세스하는 데 필요한 입력들의 수 및 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 하나 이상의 기준들은, 제1 사용자 입력이 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등)보다 더 오랫동안 각자의 사용자 인터페이스 요소(예컨대, 1180a)로 지향되는 전자 디바이스의 사용자의 시선(예컨대, 1110a)을 포함할 때 만족되는 기준을 포함한다(1204a). 일부 실시예들에서, 제1 사용자 입력은, 전자 디바이스가, 다른 입력 디바이스를 통한 비시선 입력을 검출하지 않고서, 눈 추적 디바이스를 통해, 시간 임계치보다 더 오랫동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출할 때, 하나 이상의 기준들을 만족시킨다. 일부 실시예들에서, 하나 이상의 선택가능 옵션들을 디스플레이하는 동안, 사용자의 시선이 더 이상 각자의 사용자 인터페이스 요소로 지향되지 않는다는 결정에 따라, 전자 디바이스는 하나 이상의 선택가능 옵션들을 디스플레이하는 것을 중지한다. 따라서, 일부 실시예들에서, 시간 임계치보다 더 오랫동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 하나 이상의 선택가능 옵션들을 디스플레이한다.
각자의 사용자 인터페이스 요소 상의 사용자의 시선에 응답하여 하나 이상의 선택가능 옵션들을 디스플레이하는 전술된 방식은, 사용자가 각자의 사용자 인터페이스를 볼 때까지 각자의 사용자 인터페이스 요소를 감소된 시각적 클러터로 디스플레이하고, 사용자가 사용자의 시선에 기초하여 선택가능 옵션들과 상호작용하기를 원할 가능성이 있을 때 선택가능 옵션들을 신속하게 디스플레이하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 하나 이상의 기준들은, 제1 사용자 입력이 전자 디바이스의 사용자의 시선(예컨대, 1110a)이 각자의 사용자 인터페이스 요소(예컨대, 1180a)로 지향되는 동안 사용자의 손(704)에 의해 수행되는 각자의 제스처를 포함할 때 만족되는 기준을 포함한다(1205a). 일부 실시예들에서, 제스처는 손 추적 디바이스를 사용하여 검출된다. 일부 실시예들에서, 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것이다. 일부 실시예들에서, 하나 이상의 기준들은, 전자 디바이스가 적어도 미리결정된 시간 임계치(예컨대, 0.1, 0.2, 0.3, 0.4, 0.5, 1초 등) 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 동안 제스처를 검출할 때 만족된다. 일부 실시예들에서, 하나 이상의 기준들은, 전자 디바이스가 임의의 시간(예컨대, 시간 임계치 미만) 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 동안 제스처를 검출할 때 만족된다. 일부 실시예들에서, 전자 디바이스는, 미리결정된 임계 시간 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선(예컨대, 하나 이상의 제1 기준들을 만족시키는 입력)을 검출하는 것에 응답하여, 또는 제스처를 검출하는 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선(예컨대, 하나 이상의 제2 기준들을 만족시키는 입력)을 검출하는 것에 응답하여, 하나 이상의 선택가능 옵션들을 디스플레이한다. 일부 실시예들에서, 전자 디바이스는, 미리결정된 임계 시간 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것 및 제스처를 검출하는 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것 둘 모두가 아니라 그들 중 하나에 응답하여, 옵션들을 디스플레이한다. 따라서, 일부 실시예들에서, 전자 디바이스는, 사용자가 미리결정된 제스처를 수행하는 것을 검출하는 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것에 응답하여, 하나 이상의 선택가능 옵션들을 디스플레이한다.
사용자가 제스처를 수행하는 동안 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것에 응답하여 하나 이상의 선택가능 옵션들을 디스플레이하는 전술된 방식은, 임계 시간을 기다리지 않고서 하나 이상의 선택가능 옵션들을 디스플레이하는(예컨대, 사용자의 시선이 미리결정된 임계 시간 동안 각자의 사용자 인터페이스 요소 상에 유지된 후에만 옵션들을 디스플레이하는) 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11b에서와 같은 일부 실시예들에서, 하나 이상의 선택가능 옵션들(예컨대, 1112a 내지 1112e)을 포함하는 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들(예컨대, 손 추적 디바이스)을 통해, 전자 디바이스의 사용자의 시선(예컨대, 1110d)이 하나 이상의 선택가능 옵션들 중 각자의 선택가능 옵션(예컨대, 1112c)으로 지향되는 동안 사용자의 손(예컨대, 1104c)에 의해 수행되는 각자의 제스처를 포함하는 제2 사용자 입력을 검출한다(예컨대, 일부 실시예들에서, 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것임)(1206a). 일부 실시예들에서, 예를 들어 도 11b에서와 같이, 제2 사용자 입력을 검출하는 것에 응답하여(1206b), 제2 사용자 입력이 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 전자 디바이스(예컨대, 101)는 각자의 선택가능 옵션(예컨대, 1112c)에 대응하는 각자의 동작을 수행한다(1206c). 일부 실시예들에서, 하나 이상의 제1 기준들은, 사용자의 시선이 각자의 선택가능 옵션 상에 유지되는 기간에 관계없이, 사용자가 각자의 선택가능 옵션을 보면서 제스처를 수행한다는 결정에 따라 만족된다. 일부 실시예들에서, 각자의 선택가능 옵션 상의 사용자의 시선을 검출하는 것에 응답하여, 그리고 제스처를 검출하기 전에, 전자 디바이스는 각자의 선택가능 옵션의 시각적 특성(예컨대, 크기, 색상 등)을 업데이트한다. 예를 들어, 제1 선택가능 옵션 상의 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 제1 선택가능 옵션을 강조하고, 제2 선택가능 옵션 상의 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 제2 선택가능 옵션을 강조한다. 따라서, 일부 실시예들에서, 전자 디바이스는, 사용자가 그들의 손으로 미리결정된 제스처를 수행하는 것을 검출하는 동안 각자의 선택가능 옵션 상의 사용자의 시선을 검출하는 것에 응답하여, 각자의 선택가능 옵션에 대응하는 동작을 수행한다. 일부 실시예들에서, 제2 사용자 입력이 하나 이상의 제1 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스는 각자의 선택가능 옵션에 대응하는 각자의 동작을 수행하는 것을 보류한다.
시선 및 비시선 입력에 응답하여 각자의 선택가능 옵션과 연관된 동작을 수행하는 전술된 방식은, 전자 디바이스로 하여금 동작들을 수행하게 하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 11b에서와 같이, 제1 사용자 입력은, 제1 사용자 입력이 전자 디바이스의 사용자의 시선(예컨대, 1110e)이 각자의 사용자 인터페이스 요소(예컨대, 1180c)로 지향되는 동안 사용자의 손(예컨대, 1104d)에 의해 수행되는 각자의 제스처에 뒤이은, 사용자의 손(예컨대, 1104d)에 의해 수행되는 각자의 제스처를 검출하는 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 내에서의 전자 디바이스의 사용자의 손(예컨대, 1104d)의 이동을 포함한다는 결정에 따라 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106c)를 이동시키라는 요청에 대응한다(1208a). 일부 실시예들에서, 사용자가 미리결정된 손 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행하지 않고서 시간 임계치 동안 각자의 사용자 인터페이스 요소를 보고 있었다는 결정에 따라, 전자 디바이스는 하나 이상의 선택가능 옵션들을 디스플레이한다. 일부 실시예들에서, 사용자가 손을 이동시키지 않고서 미리결정된 손 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행하면서 시간 임계치 동안 각자의 사용자 인터페이스 요소를 보고 있었다는 결정에 따라, 전자 디바이스는 하나 이상의 선택가능 옵션들을 디스플레이한다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소 상의 시선을 검출하는 임계 시간 내에 제스처를 수행하는 동안의 손의 이동을 검출하는 것에 응답하여, 전자 디바이스는 하나 이상의 선택가능 옵션들을 디스플레이하지 않고서 사용자의 손의 이동에 따라 제1 가상 객체 및 각자의 사용자 인터페이스 요소를 이동시킨다. 일부 실시예들에서, 제1 사용자 입력은, 제1 사용자 입력이 전자 디바이스의 사용자의 손에 의해 수행되는 각자의 제스처를 검출하는 시간 임계치(예컨대, 0.1, 0.2, 0.3, 0.4, 0.5, 1초 등) 내에 사용자의 시선이 각자의 사용자 인터페이스 요소로 지향되는 동안 사용자의 손에 의해 수행되는 각자의 제스처를 포함한다는 결정에 따라 사용자 인터페이스에서 제1 가상 객체를 이동시키라는 요청에 대응한다. 일부 실시예들에서, 제1 사용자 입력은, 제1 사용자 입력이 전자 디바이스의 사용자의 시선이 각자의 사용자 인터페이스 요소로 지향되는 동안 사용자의 손에 의해 수행되는 각자의 제스처에 뒤이은, 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 내에서의 전자 디바이스의 사용자의 손의 이동을 포함한다는 결정에 따라 사용자 인터페이스에서 제1 가상 객체를 이동시키라는 요청에 대응한다.
각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 임계 기간 내에 손의 이동을 검출하는 것에 응답하여, 제1 가상 객체를 이동시키라는 요청을 검출하는 전술된 방식은, 제1 가상 객체의 이동을 개시하기 위한 중간 단계들 없이 손의 이동에 따라 제1 가상 객체를 이동시키는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 11b에서와 같이, 하나 이상의 선택가능 옵션들(예컨대, 1112a 내지 1112e)을 포함하는 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 11b에서와 같이, 하나 이상의 입력 디바이스들을 통해, 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106a)를 이동시키라는 요청에 대응하는 제2 사용자 입력을 검출한다(1210a). 일부 실시예들에서, 하나 이상의 선택가능 옵션들은 사용자 인터페이스에서 제1 가상 객체를 이동시키기 위한 프로세스를 개시하기 위한 옵션을 포함한다. 일부 실시예들에서, 제1 가상 객체를 이동시키라는 요청은 제1 가상 객체를 이동시키기 위한 프로세스를 개시하기 위한 옵션의 선택이다. 일부 실시예들에서, 사용자가 손 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행하는 것을 검출하는 동안 제1 가상 객체를 이동시키기 위한 옵션 상의 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 제1 가상 객체를 이동시키기 위한 옵션을 선택한다. 일부 실시예들에서, 사용자 인터페이스에서 제1 가상 객체를 이동시키라는 요청은 객체를 이동시키기 위한 옵션의 선택이 아니다. 예를 들어, 제1 가상 객체를 이동시키라는 요청은, 사용자가 미리결정된 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 동안 디스플레이되는 선택가능 옵션이 없는 각자의 사용자 인터페이스 요소의 영역을 보는 것 및/또는 사용자가 손 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행하는 동안 디스플레이되는 선택가능 옵션이 없는 각자의 사용자 인터페이스 요소의 영역을 보는 것을 검출하는 것이다. 일부 실시예들에서, 제1 가상 객체를 이동시키기 위한 프로세스를 개시하는 것은 손 추적 디바이스에 의해 검출되는 사용자의 손의 이동에 따라 제1 가상 객체를 이동시키는 것을 포함한다. 일부 실시예들에서, 제2 사용자 입력을 검출하는 것에 응답하여(1210b), 전자 디바이스(예컨대, 101)는, 예를 들어 도 11d에서와 같이, 각자의 사용자 인터페이스 요소(예컨대, 1180a)의 디스플레이를 유지하면서 도 11b의 하나 이상의 선택가능 옵션들(예컨대, 1112a 내지 1112e)의 디스플레이를 중지한다(1210c). 일부 실시예들에서, 제2 사용자 입력을 검출하는 것에 응답하여(1210b), 전자 디바이스(예컨대, 101)는, 예를 들어 도 11d에서와 같이, 제2 사용자 입력에 따라 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106a) 및 각자의 사용자 인터페이스 요소(예컨대, 1106a)를 이동시킨다(1210d). 일부 실시예들에서, 제2 사용자 입력은 이동 컴포넌트(예컨대, 손 또는 팔의 이동, 사용자의 눈들의 이동, 방향 키(예컨대, 화살표 키)의 선택과 같은 지향성 입력)를 포함하고, 전자 디바이스는 제2 입력의 이동의 크기(예컨대, 거리, 지속기간, 속도)에 따라 각자의 사용자 인터페이스 요소 및 제1 가상 객체를 이동시킨다. 도 11d에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들을 통해, 제2 사용자 입력의 종료를 검출한다(1210e). 일부 실시예들에서, 제2 사용자 입력의 종료는 사용자가 입력을 제공하는 것을 중지하는 것이다. 일부 실시예들에서, 제2 사용자 입력의 종료는 사용자가 그들의 손으로 미리결정된 제스처를 수행하는 것을 중지하는 것이다. 예를 들어, 미리결정된 제스처는 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것(예컨대, 핀칭)을 포함하고, 제스처의 종료를 검출하는 것은 사용자가 그들의 엄지 손가락을 다른 손가락으로부터 멀리 이동시키는 것(예컨대, 핀칭해제)을 검출하는 것을 포함한다. 일부 실시예들에서, 제2 사용자 입력의 종료는 사용자가 각자의 사용자 인터페이스 요소 및/또는 제1 가상 객체 및/또는 사용자 인터페이스로부터 시선을 돌리는 것이다. 일부 실시예들에서, 제2 사용자 입력의 종료를 검출하는 것에 응답하여, (예컨대, 자동적으로, 하나 이상의 선택가능 옵션들을 디스플레이하기 위한 입력 없이) 전자 디바이스(예컨대, 101)는, 예를 들어 도 11b에서와 같이, 제1 가상 객체(예컨대, 1106a)와 연관된 하나 이상의 대응하는 동작들을 수행하도록 선택가능한 하나 이상의 선택가능 옵션들(예컨대, 1112a 내지 1112e)을 포함하도록 각자의 사용자 인터페이스 요소(예컨대, 1180a)의 디스플레이를 업데이트한다(1210f). 예를 들어, 전자 디바이스는 제1 가상 객체를 이동시키기 위한 옵션의 선택(예컨대, 사용자가 옵션을 보고 그들의 엄지 손가락을 손가락에 터치하는 것)을 검출하고, 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 하나 이상의 선택가능 옵션들을 디스플레이하는 것을 중지하고, 제1 가상 객체를 이동시키기 위한 프로세스를 개시한다. 이러한 예에서, 전자 디바이스는 제스처가 유지되는(예컨대, 엄지 손가락과 손가락을 함께 유지함) 동안의 사용자의 손의 이동에 따라 제1 가상 객체를 이동시키고, 사용자가 제스처를 수행하는 것을 중지하는 것(예컨대, 사용자가 그들의 손가락과 엄지 손가락을 분리함)을 검출하는 것에 응답하여, 제1 가상 객체를 이동시키는 것을 정지하고, 각자의 사용자 인터페이스 요소 내에(그의 새로운 위치에) 하나 이상의 선택가능 옵션들을 재디스플레이한다. 따라서, 일부 실시예들에서, 전자 디바이스는 사용자가 제1 가상 객체를 이동시키는 동안 하나 이상의 선택가능 옵션들을 숨기고, 이동 입력의 종료에 응답하여 하나 이상의 선택가능 옵션들을 디스플레이한다.
제1 가상 객체를 이동시키는 동안 하나 이상의 선택가능 옵션들을 숨기는 전술된 방식은, 제1 객체를 이동시키는 동안 사용자에 대한 시각적 클러터 및 인지적 부담을 감소시키는 효율적인 방식을 제공하고, 사용자가 제1 가상 객체를 이동시키는 동안 3차원 환경을 더 잘 볼 수 있게 하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 제1 사용자 입력을 검출하기 전에, 각자의 사용자 인터페이스 요소(예컨대, 1180a)는 제1 외관(예컨대, 크기, 위치, 색상, 불투명도, 반투명도)으로 디스플레이된다(1212a). 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 1180a)에 대한 제1 사용자 입력을 검출하는 것에 응답하여(1212b), 제1 사용자 입력이 각자의 사용자 인터페이스 요소(예컨대, 1180a)로 지향되는 전자 디바이스의 사용자의 시선을 포함한다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 제1 외관과는 상이한 제2 외관(예컨대, 크기, 위치, 색상, 불투명도, 반투명도)으로 디스플레이한다(1212c). 예를 들어, 전자 디바이스는 각자의 사용자 인터페이스 요소 상의 사용자의 시선을 검출하는 것에 응답하여 각자의 사용자 인터페이스 요소의 크기를 증가시킨다. 일부 실시예들에서, 전자 디바이스는, 제1 사용자 입력이 객체를 이동시키라는 요청이 아니고 하나 이상의 기준들을 만족시키지 않을 때, 제1 사용자 입력에 응답하여 각자의 사용자 인터페이스 요소의 외관을 업데이트한다. 예를 들어, 하나 이상의 기준들은 사용자의 시선이 미리결정된 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 동안 각자의 사용자 인터페이스 요소 상에 유지될 때 만족되는 기준을 포함하고, 전자 디바이스는 사용자의 시선이 미리결정된 임계 시간 미만 동안 유지되는 것에 응답하여(또는 사용자의 시선이 각자의 사용자 인터페이스 요소 상에 유지되는 지속기간에 관계없이) 각자의 사용자 인터페이스 요소의 외관을 업데이트한다.
제1 사용자 입력을 검출하는 것에 응답하여 제1 각자의 사용자 인터페이스 요소의 외관을 업데이트하는 전술된 방식은, 각자의 사용자 인터페이스 요소가 상호작용가능하다는 것을 사용자에게 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 제1 사용자 입력을 검출하기 전에, 각자의 사용자 인터페이스 요소(예컨대, 1180a)는 제1 외관(예컨대, 크기, 색상, 반투명도, 불투명도, 3차원 환경에서의 사용자의 시점으로부터의 거리)으로 디스플레이된다(1214a). 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 1180a)에 대한 제1 사용자 입력을 검출하는 것에 응답하여(1214b), 제1 사용자 입력이 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106a)를 이동시키라는 요청에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 제1 외관과는 상이한 제2 외관으로 디스플레이한다(1214c). 예를 들어, 제1 사용자 입력을 검출하기 전에, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제1 색상(예컨대, 백색)으로 디스플레이하고, 제1 사용자 입력에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제2 색상(예컨대, 청색)으로 디스플레이한다. 일부 실시예들에서, 사용자가 제1 가상 객체를 이동시키기 위한 추가 입력을 제공하는 동안, 전자 디바이스는 각자의 사용자 인터페이스 요소의 제2 외관을 유지한다. 일부 실시예들에서, 사용자가 제1 가상 객체를 이동시키기 위한 추가 입력을 제공하는 동안, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제1 외관 또는 제1 외관 및 제2 외관과는 상이한 제3 외관으로 디스플레이한다.
제1 가상 객체를 이동시키라는 요청에 응답하여 각자의 사용자 인터페이스 요소의 외관을 업데이트하는 전술된 방식은, 제1 객체가, 전자 디바이스가 제1 객체의 위치를 업데이트할 수 있는 모드에 있다는 것을 사용자에게 나타내는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11b에서와 같은 일부 실시예들에서, 하나 이상의 선택가능 옵션들은 제1 가상 객체(예컨대, 1106a)의 디스플레이를 중지하도록 선택가능한 각자의 옵션(예컨대, 1112a)을 포함한다(1216a). 일부 실시예들에서, 각자의 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 제1 가상 객체 및 각자의 사용자 인터페이스 요소의 디스플레이를 중지한다. 일부 실시예들에서, 전자 디바이스는 제1 가상 객체와 연관된 애플리케이션을 종료하지 않고서(예컨대, 제1 애플리케이션과 연관된 애플리케이션과 연관된 하나 이상의 추가 가상 객체들을 계속 디스플레이함) 제1 가상 객체 및 각자의 사용자 인터페이스 요소의 디스플레이를 중지한다. 일부 실시예들에서, 전자 디바이스는 제1 가상 객체 및 각자의 사용자 인터페이스 요소의 디스플레이를 중지하고, 제1 가상 객체와 연관된 애플리케이션을 종료한다(예컨대, 제1 가상 객체와 연관된 애플리케이션과 연관된 하나 이상의 다른 가상 객체들의 디스플레이를 중지함). 일부 실시예들에서, 전자 디바이스는, 제1 가상 객체가 애플리케이션과 연관된 유일한 가상 객체인 경우, 제1 가상 객체와 연관된 애플리케이션을 종료하고, 제1 가상 객체가 애플리케이션과 연관된 유일한 가상 객체가 아닌 경우, 애플리케이션을 종료하지 않고, 애플리케이션과 연관된 하나 이상의 추가 가상 객체들의 디스플레이를 계속한다.
각자의 사용자 인터페이스 요소에 제1 가상 객체의 디스플레이를 중지하도록 선택가능한 옵션을 포함하는 전술된 방식은, 제1 가상 객체의 디스플레이를 중지하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11b에서와 같은 일부 실시예들에서, 하나 이상의 선택가능 옵션들은 다른 사용자가 제1 가상 객체(예컨대, 1106a)에 액세스가능하게 하도록 선택가능한 각자의 옵션(예컨대, 1112b)을 포함한다(1218a). 일부 실시예들에서, 각자의 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 다른 사용자가 제1 가상 객체에 액세스가능하게 한다. 일부 실시예들에서, 다른 사용자가 제1 가상 객체에 액세스가능하게 하는 것은 제1 가상 객체를 다른 사용자의 전자 디바이스로 디스플레이하는 것, 제1 가상 객체와 연관된 오디오를 다른 사용자의 전자 디바이스로 제시하는 것, 및/또는 다른 사용자가 제1 가상 객체에 대한 하나 이상의 입력들을 제공할 수 있게 하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는 제1 가상 객체를 3차원 환경에 존재하는 다른 사용자에게 보이게 하고/하거나, 3차원 환경 내의 다른 사용자가 제1 가상 객체에 대한 입력들을 제공할 수 있게 한다. 일부 실시예들에서, 전자 디바이스는 가상 객체를 다른 전자 디바이스 또는 사용자 계정에 송신하여, 그에 따라, 다른 사용자가 3차원 환경에 존재하지 않고서, 다른 사용자가 비동기식으로 또는 동기식으로 제1 가상 객체(또는 제1 가상 객체의 복사물)를 볼 수 있게 한다.
각자의 사용자 인터페이스 요소에 다른 사용자가 제1 가상 객체를 이용가능하게 하기 위한 옵션을 포함하는 전술된 방식은, 제1 가상 객체를 공유하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 하나 이상의 선택가능 옵션들은 제1 가상 객체(예컨대, 1106a)가 디스플레이 생성 컴포넌트를 통해 디스플레이되는 디스플레이 영역을 증가시키도록 선택가능한 각자의 옵션(예컨대, 1112d)을 포함한다(1220a). 일부 실시예들에서, 각자의 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 제1 가상 객체를 전체 스크린 또는 완전 몰입 모드로 제시한다. 예를 들어, 제1 가상 객체는 각자의 옵션의 선택을 검출하기 전에 하나 이상의 다른 가상 객체들(및/또는 전자 디바이스의 물리적 환경 내의 물리적 객체들의 표현들)과 동시에 디스플레이되는 애플리케이션의 사용자 인터페이스이다. 이러한 예에서, 각자의 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 디스플레이 생성 컴포넌트를 통해 디스플레이되는 사용자 인터페이스의 전부 또는 실질적으로 전부(예컨대, 상태 영역, 내비게이션 영역 등과 같은 하나 이상의 작은 시스템 사용자 인터페이스 요소들 이외의 80%, 90% 또는 전체 사용자 인터페이스)를 점유하도록 애플리케이션의 사용자 인터페이스의 디스플레이 영역을 증가시키고, 하나 이상의 다른 가상 객체들(및/또는 전자 디바이스의 물리적 환경 내의 물리적 객체들의 표현들)의 디스플레이를 중지한다. 일부 실시예들에서, 각자의 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 하나 이상의 선택가능 옵션들이 연관되는 사용자 인터페이스의 몰입 레벨을 증가시킨다.
각자의 사용자 인터페이스 요소에 제1 가상 객체의 디스플레이 영역을 증가시키기 위한 옵션을 포함하는 전술된 방식은, 제1 가상 객체의 디스플레이 영역을 증가시키는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11b에서와 같은 일부 실시예들에서, 하나 이상의 선택가능 옵션들은 제1 가상 객체(예컨대, 1106a)를 포함한 복수의 가상 객체들(예컨대, 제1 가상 객체가 연관되는 동일한 애플리케이션과 연관된 복수의 가상 객체들)을 그룹화하도록 선택가능한 각자의 옵션(예컨대, 1112e)을 포함한다(1222a). 일부 실시예들에서, 각자의 옵션의 선택을 검출하기 전에, 복수의 가상 객체들 중 하나 이상은 임계 거리(예컨대, 0.01, 0.05, 0.1, 0.2, 0.3, 0.5, 0.7, 1 미터 등)를 초과하여 서로 이격되고, 각자의 선택가능 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 복수의 객체들의 모든 객체들이 서로의 임계 거리 내에 있도록 복수의 가상 객체들 중 하나 이상의 가상 객체들의 위치들을 업데이트한다. 일부 실시예들에서, 각자의 옵션의 선택을 검출하기 전에, 복수의 가상 객체들 중 하나 이상은 (예컨대, 3차원 환경에서의 사용자의 시점으로부터) 서로 중첩되지 않고, 각자의 선택가능 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 복수의 객체들의 모든(또는 하나를 제외한 모든) 객체들이 복수의 객체들 중 적어도 하나의 다른 객체와 중첩되도록 복수의 가상 객체들 중 하나 이상의 가상 객체들의 위치들을 업데이트한다. 일부 실시예들에서, 각자의 옵션은 전자 디바이스가 제1 가상 객체가 연관되는 애플리케이션과 연관된 다수의 객체들을 디스플레이하고 있는 경우에만 디스플레이된다.
각자의 사용자 인터페이스 요소에 복수의 객체들을 그룹화하기 위한 옵션을 포함하는 전술된 방식은, 복수의 객체들 내의 모든 객체들을 동시에 보는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 11b의 하나 이상의 선택가능 옵션들(예컨대, 1112a 내지 1112e)은 제1 가상 객체(예컨대, 1106a)를 편집하기 위한 프로세스를 개시하도록 선택가능한 각자의 옵션을 포함한다(1224a). 일부 실시예들에서, 각자의 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 하나 이상의 편집 도구들(예컨대, 복사, 붙여넣기, 잘라내기, 마크업(예컨대, 객체에 손으로 쓴 그림들을 추가함), 텍스트 추가, 자르기, 회전, 색상 설정들(예컨대, 밝기, 콘트라스트, 포화도))을 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 제1 가상 객체가 편집가능 객체인 경우에만 각자의 옵션을 디스플레이한다. 예를 들어, 전자 디바이스는 제1 가상 객체가 이미지인 경우 각자의 옵션을 디스플레이하고, 제1 가상 객체가 편집을 지원하지 않는 애플리케이션(예컨대, 웹 브라우저, 이메일 애플리케이션, 비디오 스트리밍 애플리케이션, 음악 재생 애플리케이션, 전자책 등)의 사용자 인터페이스인 경우 각자의 옵션을 디스플레이하지 않는다.
각자의 사용자 인터페이스 요소 내에 가상 객체를 편집하기 위한 옵션을 디스플레이하는 전술된 방식은, 디바이스로 하여금 편집 도구들을 디스플레이하게 하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11b에서와 같은 일부 실시예들에서, 사용자 인터페이스는 3차원 환경(1102)(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터 생성 현실(CGR) 환경)을 포함하고, 제1 사용자 입력에 따라 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106c) 및 각자의 사용자 인터페이스 요소(예컨대, 1180c)를 이동시키는 것은, 예를 들어 도 11b에서와 같이, 제1 가상 객체(예컨대, 1106c)를 이동시키는 동안, 디스플레이 생성 컴포넌트를 통해, 제1 가상 객체(예컨대, 1106c)의 이동이 완료될 때 제1 가상 객체(예컨대, 1106c)에 의해 점유될 3차원 환경(1102)의 일부분의, 제1 가상 객체(예컨대, 1106c)와 별개인(그리고 각자의 사용자 인터페이스 요소와 별개인) 시각적 표시(1114)를 디스플레이하는 것(1226b)을 포함한다(1226a). 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 물리적 환경 내의 표면들(예컨대, 바닥들, 테이블들, 벽들) 또는 3차원 환경 내의 가상 표면들을 식별하고, 표면의 임계 거리(예컨대, 5, 10, 15, 20, 25, 30 센티미터 등) 내에서 객체를 이동시키라는 요청에 대응하는 입력에 응답하여, 마치 가상 객체가 (예컨대, 수평 표면의 경우) 표면 상에 놓여 있거나 (예컨대, 수직 표면의 경우) 표면에 매달려 있는 것처럼 가상 객체를 디스플레이한다. 일부 실시예들에서, 전자 디바이스가 제1 객체를 이동시키기 위한 입력을 검출하고 있는 동안, 제1 객체가 이동되고 있는 동안의 그의 현재 위치가 표면의 임계 거리 내에 있다는 결정에 따라, 전자 디바이스는 객체를 이동시키기 위한 입력의 종료에 응답하여 표면과 정렬될(예컨대, 마치 그가 터치하고 있는 것처럼 디스플레이될) 객체의 표면의 윤곽의 표시를 디스플레이한다. 예를 들어, 가상 객체를 이동시키는 동안, 전자 디바이스는, 전자 디바이스가 객체가 시각적 표시의 위치에 현재 디스플레이되지 않는 동안 객체를 이동시키기 위한 입력의 종료를 검출하는 경우 가상 객체가 디스플레이될 위치에서 3차원 환경의 바닥(예컨대, 선택적으로, 전자 디바이스의 물리적 환경의 바닥의 표현) 상에 객체의 하단 표면의 윤곽을 디스플레이한다. 따라서, 일부 실시예들에서, 사용자가 가상 객체를 이동시키는 동안, 전자 디바이스는 이동 입력에 대응하는 객체의 배치의 표시를 디스플레이한다.
사용자가 객체를 이동시키고 있는 동안, 이동 입력에 대응하는 객체의 배치의 표시를 디스플레이하는 전술된 방식은, 객체가 이동되고 있는 동안 그의 업데이트된 위치의 미리보기를 효율적으로 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 제1 가상 객체(예컨대, 1106a)가 2차원 객체라는 결정에 따라, 각자의 사용자 인터페이스 요소(예컨대, 1180a)는 제1 가상 객체(예컨대, 1106a)의 에지에 디스플레이된다(1228a). 일부 실시예들에서, 각자의 사용자 인터페이스 요소가 디스플레이되는 에지는 제1 가상 객체의 미리결정된 에지(예컨대, 하단 에지)에 있다. 일부 실시예들에서, 전자 디바이스는, 복수의 가상 객체들을, 연관된 각자의 사용자 인터페이스 요소가 복수의 가상 객체들의 동일한 에지를 따라 디스플레이되는 상태로 각각 디스플레이한다. 예를 들어, 전자 디바이스는 하단 에지를 따라 각자의 사용자 인터페이스 요소를 갖는 제1 가상 객체를 디스플레이하고, 하단 에지를 따라 제2 각자의 사용자 인터페이스 요소를 갖는 제2 가상 객체를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는, 객체에 대한 사용자의 위치에 관계없이, 제1 가상 객체의 동일한 에지에 각자의 사용자 인터페이스 요소를 디스플레이한다. 도 11a에서와 같은 일부 실시예들에서, 제1 가상 객체(예컨대, 1106c)가 3차원 객체라는 결정에 따라, 각자의 사용자 인터페이스 요소(예컨대, 1180c)는 전자 디바이스의 사용자에 대응하는 위치에 가장 가까운 제1 가상 객체(예컨대, 1106c)의 에지에 디스플레이된다(1228b). 예를 들어, 전자 디바이스는 제1 가상 객체가 디스플레이되는 3차원 환경에서의 사용자의 시점에 가장 가까운 하단 에지를 따라 각자의 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 제1 가상 객체에 대한 사용자의 위치가 변경되는 경우, 전자 디바이스는 각자의 사용자 인터페이스 요소가 디스플레이되는 제1 가상 객체의 에지를 업데이트한다. 예를 들어, 3차원 환경 내의 사용자의 위치가 객체의 제1 에지에 가장 가까운 동안, 전자 디바이스는 객체의 제1 에지를 따라 각자의 사용자 인터페이스 요소를 디스플레이하고, 3차원 환경 내의 사용자의 위치가 객체의 제2 에지에 가장 가까운 동안, 전자 디바이스는 객체의 제2 에지를 따라 각자의 사용자 인터페이스 요소를 디스플레이한다.
2차원 객체의 미리결정된 에지에 그리고 사용자에게 가장 가까운 3차원 객체의 에지에 각자의 사용자 인터페이스 요소를 디스플레이하는 전술된 방식은, 3차원 환경의 각자의 사용자 인터페이스 요소가 사용자에게 보이는 것을 보장하고, 사용자에게 예측가능하고 친숙한 위치에 2차원 객체의 각자의 사용자 인터페이스 요소를 디스플레이하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 사용자 인터페이스 내에, 제1 가상 객체(예컨대, 1106a), 및 제1 가상 객체(예컨대, 1106a)와 연관하여(예컨대, 그에 근접하여, 그의 에지를 따라 등) 디스플레이되는, 제1 가상 객체(예컨대, 1106a)와 별개인 대응하는 각자의 사용자 인터페이스 요소(예컨대, 1180a)(1230b); 및 제2 가상 객체(예컨대, 1106b), 및 제2 가상 객체(예컨대, 1106b)와 연관하여(예컨대, 그에 근접하여, 그의 에지를 따라 등) 디스플레이되는, 제2 가상 객체(예컨대, 1106b)와 별개인 대응하는 각자의 사용자 인터페이스 요소(예컨대, 1180b)(1230c)를 동시에 디스플레이한다(1230a). 일부 실시예들에서, 제1 가상 객체의 대응하는 각자의 사용자 인터페이스 요소 및 대응하는 각자의 사용자 인터페이스 요소는 동일한 외관을 갖는다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소들은 각자의 사용자 인터페이스 요소가 연관되는 각자의 가상 객체의 크기 및/또는 그의 사용자의 시점으로부터의 거리에 기초하여 상이한 크기들을 갖는다. 일부 실시예들에서, 제2 가상 객체에 대응하는 각자의 사용자 인터페이스 요소는 제1 가상 객체에 대응하는 각자의 사용자 인터페이스 요소와 동일한 기능을 갖는다. 일부 실시예들에서, 시선 추적 디바이스를 통해, 사용자의 시선이 제1 가상 객체로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 가상 객체에 대응하는 각자의 사용자 인터페이스 요소와 함께 제1 가상 객체를 디스플레이하고, 제2 가상 객체에 대응하는 각자의 사용자 인터페이스 요소 없이 제2 가상 객체를 디스플레이한다. 일부 실시예들에서, 시선 추적 디바이스를 통해, 사용자의 시선이 제2 가상 객체로 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스는 제2 가상 객체에 대응하는 각자의 사용자 인터페이스 요소와 함께 제2 가상 객체를 디스플레이하고, 제1 가상 객체에 대응하는 각자의 사용자 인터페이스 요소 없이 제1 가상 객체를 디스플레이한다.
제1 가상 객체 및 제2 가상 객체 각각에 대응하는 각자의 사용자 인터페이스 요소들을 디스플레이하는 전술된 방식은, 가상 객체들과 상호작용하는 일관된 방식을 효율적으로 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11b에서와 같은 일부 실시예들에서, 제1 사용자 입력에 따라 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106c) 및 각자의 사용자 인터페이스 요소(예컨대, 1180c)를 이동시키는 것은, 하나 이상의 각자의 기준들이 만족된다는 결정에 따라(1232b), 제1 가상 객체(예컨대, 1106c)의 이동의 시작 시 제1 가상 객체(예컨대, 1106c)가 초기 위치로부터 들어올려지는 애니메이션을 디스플레이하는 것(1232c)(예컨대, 하나 이상의 각자의 기준들은 제1 가상 객체가 3차원 환경의 표면(예컨대, 벽, 바닥, 테이블 등)(예컨대, 가상 표면 또는 전자 디바이스의 물리적 환경 내의 표면의 표현)을 따라 배향될 때 만족됨(예컨대, 표면의 실사 표현을 디스플레이함 또는 사용자가 디스플레이 생성 컴포넌트의 투명 부분을 통해 표면을 볼 수 있게 함))을 포함한다(1232a). 일부 실시예들에서, 하나 이상의 각자의 기준들은 제1 가상 객체가 3차원 객체인 경우 만족되는 기준을 포함한다. 예를 들어, 일부 실시예들에서, 전자 디바이스는 (예컨대, 제1 가상 객체를 들어올리는 것에 대응하지 않는 방향으로의 이동을 포함하는 입력에 응답하여) 마치 가상 객체가 3차원 환경에서(예컨대, VR 환경에서) 또는 전자 디바이스의 물리적 환경에서(예컨대, AR 또는 MR 환경에서) 바닥 또는 테이블 상에 배치되거나 벽에 걸려 있는 것처럼 가상 객체를 디스플레이한다. 예를 들어, 전자 디바이스는 수평 또는 하향 이동 입력에 응답하여 제1 가상 객체를 테이블로부터 위로 이동시키는 애니메이션을 디스플레이하고, 객체를 위로 이동시킨 후 또는 이동시키는 동안, 객체를 이동 입력의 방향에 따른 방향으로 이동시킨다. 다른 예로서, 전자 디바이스는 수직 이동 입력에 응답하여 제1 객체를 벽으로부터 멀리 수평으로 이동시키는 애니메이션을 디스플레이하고, 객체를 벽으로부터 멀리 수평으로 이동시킨 후 또는 이동시키는 동안, 객체를 이동 입력의 방향에 따른 방향으로 이동시킨다. 일부 실시예들에서, 전자 디바이스는, 제1 가상 객체를 들어올리는 것에 대응하는 방향으로의 모션 및 객체를 들어올리는 것을 포함하는 입력에 응답한 객체의 모션을 포함하는 이동 입력을 검출한다. 도 11d에서와 같은 일부 실시예들에서, 하나 이상의 각자의 기준들이 만족된다는 결정에 따라(1232b), (예컨대, 객체가 하강하게 하는 것에 대응하지 않는 이동에 응답하여) 제1 가상 객체(예컨대, 1106c)의 이동의 종료 시 제1 가상 객체(예컨대, 1106c)가 최종 위치로 하강하는 애니메이션을 디스플레이한다(1232d). 예를 들어, 전자 디바이스는 이동 입력의 방향에 따른 방향으로 이동한 후 또는 이동하는 동안 수평 또는 상향 이동 입력의 종료에 응답하여 제1 가상 객체를 테이블의 표면을 향해 아래로 이동시키는 애니메이션을 디스플레이한다. 다른 예로서, 전자 디바이스는 이동 입력의 방향에 따른 방향으로 객체를 이동시킨 후 또는 이동시키는 동안 수직 이동 입력에 응답하여 제1 객체를 벽을 향해 수평으로 이동시키는 애니메이션을 디스플레이한다. 일부 실시예들에서, 전자 디바이스는, 제1 가상 객체가 하강하게 하는 것에 대응하는 방향으로의 모션 및 객체가 하강하게 하는 것을 포함하는 입력에 응답한 객체의 모션을 포함하는 이동 입력을 검출한다. 따라서, 일부 실시예들에서, 이동 입력에 따라 객체를 이동시키기 전에, 전자 디바이스는 객체를 표면으로부터 멀리 이동시키고, 이동 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스는 객체를 표면을 따라 일정 위치로 이동시킨다.
이동 입력에 따라 객체를 이동시키기 전에 객체를 표면으로부터 멀리 이동시키고, 이동 입력의 종료 시 객체를 표면을 향해 이동시키는 전술된 방식은, 사용자가 (예컨대, 객체를 표면의 일부를 가리는 위치로부터 멀리 이동시킴으로써) 객체를 이리저리 이동시키면서 표면을 보도록 허용하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 하나 이상의 각자의 기준들은, 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106c)를 이동시키기 위한 제1 사용자 입력이 검출되기 전에 제1 가상 객체(예컨대, 1106c)가 초기 위치에서 표면에 스냅핑되었을 때 만족되는 기준을 포함한다(1234a). 일부 실시예들에서, 객체가 표면에 스냅핑되는 동안, 전자 디바이스는 마치 객체가 표면 상에 놓여 있는(예컨대, 바닥 또는 테이블 상에 배치되는, 벽에 걸려 있는) 것처럼 객체를 디스플레이한다. 일부 실시예들에서, 표면은 3차원 환경 내의 가상 표면이다. 일부 실시예들에서, 표면은 전자 디바이스의 물리적 환경 내의 실제 표면이고, 전자 디바이스는 표면의 실사 표현을 디스플레이하거나, 사용자가 디스플레이 생성 컴포넌트의 투명 부분을 통해 표면을 볼 수 있게 한다. 일부 실시예들에서, 전자 디바이스는 객체가 표면의 임계 거리(예컨대, 1, 2, 3, 4, 5, 7, 10, 20, 30 센티미터 등) 내에서 이동되는 것을 검출하는 것에 응답하여 객체를 표면에 스냅핑한다. 일부 실시예들에서, 하나 이상의 기준들은 객체가 표면에 스냅핑되지 않는 경우 만족되지 않는다. 일부 실시예들에서, 하나 이상의 기준들은 객체가 표면에 스냅핑되는지 여부에 관계없이 만족된다. 따라서, 일부 실시예들에서, 객체가 표면에 스냅핑된다는 결정에 따라, 이동 입력에 따라 객체를 이동시키기 전에, 전자 디바이스는 객체를 표면으로부터 멀리 이동시키고, 이동 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스는 객체를 표면을 따라 일정 위치로 이동시킨다.
객체가 표면에 스냅핑되는 경우, 이동 입력에 따라 객체를 이동시키기 전에 객체를 표면으로부터 멀리 이동시키고, 이동 입력의 종료 시 객체를 표면을 향해 이동시키는 전술된 방식은, 사용자가 (예컨대, 객체를 표면의 일부를 가리는 위치로부터 멀리 이동시킴으로써) 객체를 이리저리 이동시키면서 표면을 보도록 허용하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 제1 가상 객체(예컨대, 1106b)에 대한(예컨대, 제1 가상 객체의 좌측, 우측, 상단, 또는 하단 표면을 향한) 각자의 위치에서 전자 디바이스의 사용자의 손(예컨대, 1104a)(예컨대, 그의 미리정의된 부분)을 검출한다(1236a). 도 11a에서와 같은 일부 실시예들에서, 제1 가상 객체(예컨대, 1106b)에 대한 각자의 위치에서 사용자의 손(예컨대, 1104a)을 검출하는 것에 응답하여, 그리고 하나 이상의 각자의 기준들이 만족된다는 결정에 따라(예컨대, 눈 추적 디바이스를 통해, 사용자의 시선이 제1 가상 객체 및/또는 각자의 사용자 인터페이스 요소를 향해 지향된다는 것을 검출함 및/또는 손 추적 디바이스를 통해, 사용자가 미리결정된 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 수행한다는 것을 검출함)(1236b), 각자의 위치가 제1 가상 객체(예컨대, 1106b)의 제1 측부에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 각자의 사용자 인터페이스 요소(예컨대, 1180b)를 제1 가상 객체(예컨대, 1106b)의 제1 측부에 디스플레이한다(1236c). 일부 실시예들에서, 전자 디바이스는 각자의 사용자 인터페이스 요소의 위치를 제1 가상 객체의 미리결정된 에지에 디스플레이되는 것으로부터 제1 가상 객체의 제1 측부에 디스플레이되는 것으로 업데이트한다. 예를 들어, 제1 가상 객체의 우측을 향한 사용자의 손을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제1 가상 객체의 하단을 따라 디스플레이되는 것으로부터 제1 가상 객체의 우측을 따라 디스플레이되는 것으로 이동시킨다. 도 11a에서와 같은 일부 실시예들에서, 제1 가상 객체(예컨대, 1106b)에 대한 각자의 위치에서 사용자의 손(예컨대, 1104a)을 검출하는 것에 응답하여, 그리고 하나 이상의 각자의 기준들이 만족된다는 결정에 따라(1236b), 각자의 위치가 제1 가상 객체(예컨대, 1106b)의, 제1 측부와는 상이한 제2 측부에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 각자의 사용자 인터페이스 요소(예컨대, 1180b)를 제1 가상 객체(예컨대, 1106b)의 제2 측부에 디스플레이한다(1236d). 예를 들어, 제1 가상 객체의 좌측을 향한 사용자의 손을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제1 가상 객체의 하단을 따라 디스플레이되는 것으로부터 제1 가상 객체의 좌측을 따라 디스플레이되는 것으로 이동시킨다. 다른 예로서, 제1 가상 객체의 좌측을 향한 사용자의 손을 검출하는 것에 응답하여, 전자 디바이스는 초기에 각자의 사용자 인터페이스 요소를 상이한 위치에 디스플레이하지 않고서 각자의 사용자 인터페이스 요소를 제1 가상 객체의 좌측에 디스플레이한다. 일부 실시예들에서, 제1 가상 객체에 대한 사용자 손의 위치에 따른 위치에 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 제1 가상 객체에 대응하는 위치에서(예컨대, 객체의 다른 측부 상에서) 사용자의 다른 손을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 다른 손에 대응하는 위치에 제2 각자의 사용자 인터페이스 요소를 디스플레이한다.
제1 가상 객체에 대한 사용자의 손의 위치에 대응하는 위치에 각자의 사용자 인터페이스 요소를 디스플레이하는 전술된 방식은, 사용자가 (예컨대, 각자의 사용자 인터페이스 요소를 사용자의 손을 향해 이동시킴으로써) 그들의 손으로 각자의 사용자 인터페이스 요소와 상호작용할 수 있게 하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 하나 이상의 각자의 기준들은, 사용자의 손(예컨대, 1104b)이 제1 가상 객체 (예컨대, 1106a)에 대한 각자의 위치에 있는 동안 제1 포즈를 가질 때 만족되는 기준을 포함한다(1238a). 일부 실시예들에서, 포즈는 사용자의 엄지 손가락이 엄지 손가락과 동일한 손 상의 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)의 임계 거리(예컨대, 0.5, 1, 2 센티미터 등) 내에 있는 것이다. 일부 실시예들에서, 사용자가 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것을 검출하는 것은 선택 입력에 대응하고, 포즈는 선택 입력의 시작에 대응한다.
손의 미리결정된 포즈를 검출하는 것에 응답하여, 제1 가상 객체에 대한 사용자의 손의 위치에 대응하는 위치에 각자의 사용자 인터페이스 요소를 디스플레이하는 전술된 방식은, 사용자가 (예컨대, 각자의 사용자 인터페이스 요소를 사용자의 손을 향해 이동시킴으로써) 그들의 손으로 각자의 사용자 인터페이스 요소와 상호작용할 수 있게 하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 하나 이상의 기준들은, 전자 디바이스의 사용자의 손(예컨대, 1104b)이 제1 가상 객체(예컨대, 1106c)에 대한 각자의 위치에(예컨대, 제1 가상 객체의 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등) 내에) 있고 사용자의 손(예컨대, 1105b)이 제1 포즈(예컨대, 하나 이상의 손가락들이 "포인팅" 제스처로 펴짐)를 가질 때 만족되는 기준을 포함한다(1240a). 일부 실시예들에서, 제1 포즈는, 제1 가상 객체의 각자의 측부를 향해 검출되는 경우, 전자 디바이스로 하여금 제1 가상 객체의 각자의 측부 상에 각자의 사용자 인터페이스 요소를 디스플레이하게 하는 제2 포즈(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)와는 상이하다. 일부 실시예들에서, 제1 포즈는, (예컨대, 제1 가상 객체 상의 사용자의 시선을 검출하는 시간 임계치(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 내에) 사용자가 그들의 손을 이동시키는 동안 검출되고 유지되는 경우, 전자 디바이스로 하여금 사용자의 손의 이동에 따라 제1 가상 객체를 이동시키게 하는 제2 포즈(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)와는 상이하다. 일부 실시예들에서, 손 추적 디바이스를 통해, 사용자의 손이 제1 포즈(예컨대, 하나 이상의 손가락들이 "포인팅" 제스처로 펴짐)에 있는 동안 선택가능 옵션들 중 각자의 하나의 선택가능 옵션의 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등) 내에 있다는 것을 검출하는 동안, 시선 추적 디바이스를 통해, 사용자의 시선이 선택가능 옵션들 중 각자의 하나의 선택가능 옵션으로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스는 선택가능 옵션들 중 각자의 하나의 선택가능 옵션의 선택과 연관된 동작을 수행한다.
제1 포즈를 갖는 사용자의 손을 검출하는 것에 응답하여 하나 이상의 선택가능 옵션들을 디스플레이하는 전술된 방식은, (예컨대, 선택가능 옵션들을 디스플레이하는 데 걸리는 시간을 감소시킴으로써) 선택가능 옵션들 중 하나와 연관된 액션을 수행하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 사용자의 손(예컨대, 1104a)의 미리정의된 부분(예컨대, 엄지 손가락들, 손가락들 등)이 제1 가상 객체(예컨대, 1106b)에 대한 각자의 위치에 있는 동안 - 각자의 위치는 각자의 사용자 인터페이스 요소(예컨대, 1180b)의 위치로부터 원격임(예컨대, 각자의 사용자 인터페이스 요소로부터 적어도 임계 거리(예컨대, 5, 10, 20, 30, 50 센티미터 등)만큼 떨어져 있음) -, 전자 디바이스(예컨대, 101)는, 손 추적 디바이스를 통해, 사용자의 손(예컨대, 1104a)의 미리정의된 부분에 의해 수행되는 각자의 제스처(예컨대, 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것)를 검출한다(1242a). 일부 실시예들에서, 전자 디바이스는, 또한, 눈 추적 디바이스를 통해, 사용자의 시선이 제1 가상 객체 및/또는 각자의 사용자 인터페이스 요소를 향해 지향된다는 것을 검출한다. 도 11a에서와 같은 일부 실시예들에서, 사용자의 손(예컨대, 1104a)의 미리정의된 부분에 의해 수행되는 각자의 제스처를 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 각자의 사용자 인터페이스 요소(예컨대, 1180b)를 사용자의 손(예컨대, 1104a)의 미리정의된 부분의 각자의 위치로 이동시킨다(1242b). 일부 실시예들에서, 전자 디바이스는 손의 위치에 그리고/또는 사용자의 엄지 손가락이 다른 손가락을 터치하는 위치에 또는 사용자의 엄지 손가락과 손가락 사이에 각자의 사용자 인터페이스 요소의 중심을 디스플레이하고, 각자의 사용자 인터페이스 요소에 대한 미리결정된 위치에 제1 가상 객체를 디스플레이한다. 예를 들어, 전자 디바이스는 각자의 사용자 인터페이스 요소와 정렬되는 중심에 그리고 그 위에 제1 객체를 디스플레이한다. 따라서, 일부 실시예들에서, 제스처를 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소(및 제1 가상 객체)를 제스처가 수행되었던 위치로 이동시킨다.
각자의 사용자 인터페이스 요소를 제스처가 수행되었던 위치로 이동시키는 전술된 방식은, (예컨대, 사용자 인터페이스 요소를 업데이트된 위치로 드래그하지 않고서) 각자의 사용자 인터페이스 요소를 이동시키는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 1180b)를 제1 가상 객체(예컨대, 1106b)의 제1 측부에 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 손 추적 디바이스를 통해, 제1 가상 객체(예컨대, 1106b)의 제2 측부(예컨대, 제2 측부는 제1 측부와는 상이함)에 대응하는 위치로의 사용자의 손(예컨대, 1104a)의 이동을 검출한다(1244a). 일부 실시예들에서, 제1 가상 객체(예컨대, 1106b)의 제2 측부에 대응하는 위치로의 사용자의 손(예컨대, 1104a)의 이동을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트를 통해, 각자의 사용자 인터페이스 요소(예컨대, 1180b)가 제1 가상 객체(예컨대, 1106b)의 제1 측부로부터 제1 가상 객체(예컨대, 1106b)의 제2 측부로 이동하는 애니메이션을 디스플레이한다(1244b). 일부 실시예들에서, 전자 디바이스는, 예를 들어 각자의 사용자 인터페이스 요소가 가상 객체의 제1 측부로부터 제2 측부로 이동하는 것을 디스플레이함으로써, 각자의 사용자 인터페이스 요소의 위치를 제1 가상 객체의 제1 에지(예컨대, 미리결정된 에지, 또는 임의의 에지)에 디스플레이되는 것으로부터 제1 가상 객체의 제2 에지에 디스플레이되는 것으로 업데이트하는 것을 애니메이션화한다. 예를 들어, 제1 가상 객체의 우측을 향한 사용자의 손을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소를 제1 가상 객체의 하단을 따라 디스플레이되는 것으로부터 제1 가상 객체의 우측을 따라 디스플레이되는 것으로 이동시키는 애니메이션을 디스플레이한다.
각자의 사용자 인터페이스 요소를 제1 가상 객체에 대한 사용자의 손의 위치에 대응하는 위치로 이동시키는 애니메이션을 디스플레이하는 전술된 방식은, 사용자가 (예컨대, 각자의 사용자 인터페이스 요소를 사용자의 손을 향해 이동시킴으로써) 그들의 손으로 각자의 사용자 인터페이스 요소와 상호작용할 수 있게 하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11b에서와 같은 일부 실시예들에서, 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106c)를 이동시키기 위한 제1 사용자 입력은 전자 디바이스의 사용자의 손(예컨대, 1104d)(예컨대, 그리고/또는 팔)의 이동을 포함한다(1246a). 도 11b에서와 같은 일부 실시예들에서, 제1 가상 객체(예컨대, 1106c)를 이동시키기 전에, 제1 가상 객체(예컨대, 1106c)는 사용자 인터페이스의 미리정의된 기준 프레임에 대한 각자의 배향을 갖는다(예컨대, 제1 가상 객체는 미리정의된 기준 프레임에서 "상향" 방향에 대해 각자의 배향으로 배향되는 축을 가짐)(1246b). 일부 실시예들에서, 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106c) 및 각자의 사용자 인터페이스 요소(예컨대, 1180c)를 이동시키는 동안, 전자 디바이스(예컨대, 101)는 사용자의 손(예컨대, 1104d)의 배향의 변화를 검출한다(1246c). 일부 실시예들에서, 사용자의 손(예컨대, 1104d)의 배향의 변화를 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 제1 가상 객체(예컨대, 1106c)가 더 이상 미리정의된 기준 프레임에 대한 각자의 배향을 갖지 않도록(예컨대, 축이 더 이상 미리정의된 기준 프레임에서 "상향" 방향에 대해 각자의 배향으로 배향되지 않도록) 제1 가상 객체의 배향을 변경한다(1246d). 일부 실시예들에서, 제1 가상 객체를 이동시키는 동안, 제1 가상 객체의 축은 (예컨대, 축이 사용자의 손의 "상향" 방향에 대해 각자의 배향으로 배향되도록) 사용자의 손에 대해 각자의 배향으로 고정된다. 도 11d에서와 같은 일부 실시예들에서, 제1 사용자 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 가상 객체(예컨대, 1106c)를 사용자 인터페이스의 미리정의된 기준 프레임에 대한 각자의 배향으로 디스플레이한다(예컨대, 가상 객체는 제1 사용자 입력의 종료가 검출되었을 때 가상 객체가 제1 배향에 있었는지 또는 제1 배향과는 상이한 제2 배향에 있었는지 또는 제1 배향 및 제2 배향과는 상이한 제3 배향에 있었는지에 관계없이 사용자 인터페이스의 미리정의된 기준 프레임에 대한 각자의 배향을 가짐)(1248e). 일부 실시예들에서, 제1 사용자 입력의 종료에 응답하여, 전자 디바이스는 제1 입력을 검출하기 전에 제1 가상 객체가 디스플레이되었던 동일한 배향으로 제1 가상 객체를 디스플레이한다. 따라서, 일부 실시예들에서, 전자 디바이스는 사용자의 손의 회전에 따라 제1 가상 객체를 이동시키는 동안 사용자의 손의 회전에 따라 제1 가상 객체를 회전시키고, 이동 입력의 종료에 응답하여 미리정의된 기준 프레임에 대한 각자의 배향으로 제1 가상 객체를 디스플레이한다(예컨대, 제1 가상 객체는 그의 원래 배향 및/또는 미리정의된 기준 프레임과 정렬되는 배향으로 다시 스냅핑됨).
사용자의 손의 이동에 따라 제1 가상 객체를 이동시키는 동안 사용자의 손의 회전에 따라 제1 가상 객체를 회전시키고, 이동 입력의 종료에 응답하여 원래 배향으로 제1 가상 객체를 디스플레이하는 전술된 방식은, 전자 디바이스가 제1 입력의 종료 후 객체의 회전을 유지하지 않고서 손 이동에 따라 제1 가상 객체를 이동시키는 동안 제1 객체를 사용자의 손의 미리결정된 부분에 근접하게 디스플레이하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, (예컨대, 제1 사용자 입력에 따라) 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106a) 및 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 이동시키는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 11b에서와 같이, 손 추적 디바이스를 통해, 전자 디바이스의 사용자의 손이 각자의 사용자 인터페이스 요소(예컨대, 1180a)에서 하나 이상의 선택가능 옵션들(예컨대, 1112a 내지 1112e) 중 각자의 선택가능 옵션을 선택하는 것을 검출한다(1250a). 일부 실시예들에서, 전자 디바이스는 사용자의 제1 손/팔의 이동에 따라 제1 가상 객체 및 각자의 사용자 인터페이스 요소를 이동시키고, 전자 디바이스는 사용자의 다른 손으로 이루어지는 선택 입력을 검출한다. 일부 실시예들에서, 각자의 선택가능 옵션을 선택하는 입력은, 사용자가 (예컨대, 옵션을 "누르기" 위해) 그들의 다른 손의 하나 이상의 손가락들을 각자의 선택가능 옵션을 향해 펴는 것 및/또는 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 것과 같은, 다른 손의 미리결정된 포즈 또는 제스처를 검출하는 것을 포함한다. 일부 실시예들에서, 선택 입력을 검출하는 것은, 다른 손의 미리결정된 포즈 또는 제스처를 검출하는 동안, 눈 추적 디바이스를 통해, 사용자의 시선이 각자의 선택가능 옵션을 향해 지향된다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 사용자의 손이 각자의 선택가능 옵션을 선택하는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 각자의 선택가능 옵션에 대응하는 각자의 동작을 수행한다(1250b). 일부 실시예들에서, 전자 디바이스는 제1 가상 객체 및 각자의 사용자 인터페이스 요소를 계속 이동시키면서 각자의 선택가능 옵션을 수행한다. 일부 실시예들에서, 전자 디바이스는 제1 가상 객체 및 각자의 사용자 인터페이스 요소를 이동시키는 것을 중지하고, 제1 가상 객체 및 각자의 사용자 인터페이스 요소를 각자의 선택가능 옵션의 선택이 검출되었을 때 그들이 디스플레이되었던 위치에 디스플레이하는 동안 각자의 액션을 수행한다. 일부 실시예들에서, 각자의 선택가능 옵션은 제1 가상 객체의 디스플레이를 중지하기 위한 옵션이고, 각자의 선택가능 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스는 제1 가상 객체 및 각자의 사용자 인터페이스 요소의 디스플레이를 중지한다.
제1 가상 객체 및 각자의 사용자 인터페이스 요소를 이동시키는 동안 각자의 선택가능 옵션의 선택을 수락하는 전술된 방식은, 제1 가상 객체의 이동의 종료를 요구하지 않고서 선택가능 옵션들과 연관된 액션들을 수행하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11c에서와 같은 일부 실시예들에서, 사용자 인터페이스에서 제1 가상 객체(예컨대, 1106c) 및 각자의 사용자 인터페이스 요소(예컨대, 1180c)를 이동시키는 동안(1252a), 사용자 인터페이스 내의 제1 가상 객체(예컨대, 1106c)의 현재 위치가 전자 디바이스의 환경 내의 물리적 객체의 위치에 대응할(예컨대, 그의 임계 거리(예컨대, 1, 2, 5, 10, 20, 30 센티미터 등) 내에 있을) 때 만족되는 기준을 포함한 하나 이상의 각자의 기준들이 만족된다는 결정에 따라(예컨대, 전자 디바이스는 3차원 환경 내에 물리적 객체의 실사 표현을 디스플레이하거나, 사용자가 디스플레이 생성 컴포넌트의 투명 부분을 통해 물리적 객체를 볼 수 있게 함), 전자 디바이스(예컨대, 101)는 제1 가상 객체(예컨대, 1106c)를 물리적 객체의 위치에 대응하는 사용자 인터페이스 내의 위치에 스냅핑한다(1252b). 일부 실시예들에서, 제1 가상 객체를 물리적 객체에 대응하는 위치에 스냅핑하는 것은 마치 제1 가상 객체가 실제 객체에 부착되거나 그 상에 놓여 있는 것처럼 제1 가상 객체를 디스플레이하는 것을 포함한다. 예를 들어, 전자 디바이스는 마치 제1 가상 객체가 테이블 또는 바닥 상에 놓여 있거나 벽에 걸려 있는 것처럼 제1 가상 객체를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 제1 가상 객체를 사용자의 손(예컨대, 가상 객체를 이동시키지 않고 있는 사용자의 손)에 스냅핑하고, 사용자의 손의 이동에 응답하여 가상 객체의 위치를 업데이트한다(예컨대, 마치 제1 가상 객체가 사용자의 손 안에 놓여 있거나 그에 붙어 있는 것처럼 제1 가상 객체를 디스플레이함). 일부 실시예들에서, 하나 이상의 각자의 기준들이 만족되지 않는다는 결정에 따라, 전자 디바이스는 제1 가상 객체를 물리적 객체의 위치에 대응하는 위치에 스냅핑하는 것을 보류한다(예컨대, 3차원 환경 내의 가상 객체의 각자의 위치에 가상 객체를 계속 디스플레이함).
제1 가상 객체를 물리적 객체에 스냅핑하는 전술된 방식은, 사용자의 인지적 부담을 감소시키는 방식으로 제1 가상 객체를 자동적으로 위치시키는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a에서와 같은 일부 실시예들에서, 제1 가상 객체(예컨대, 1106a)(예컨대, 애플리케이션, 애플리케이션의 윈도우, 가상 시계와 같은 가상 객체 등) 및 대응하는 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 디스플레이하는 것은, 제1 가상 객체(예컨대, 1106a)가 애플리케이션의 표현(예컨대, 사용자 인터페이스)이라는 결정에 따라, 각자의 사용자 인터페이스 요소(예컨대, 1180a)가 제1 외관(예컨대, 크기, 색상, 불투명도, 형상 등)으로 디스플레이되는 것(1250b)을 포함한다(1250a). 도 11a에서와 같은 일부 실시예들에서, 제1 가상 객체(예컨대, 1106c)(예컨대, 애플리케이션, 애플리케이션의 윈도우, 가상 시계와 같은 가상 객체 등) 및 대응하는 각자의 사용자 인터페이스 요소(예컨대, 1180c)를 디스플레이하는 것은, 제1 가상 객체(예컨대, 1106c)가 애플리케이션 이외의 콘텐츠(예컨대, 비디오 콘텐츠, 이미지, 오디오 플레이어, 문서)의 표현이라는 결정에 따라, 각자의 사용자 인터페이스 요소(예컨대, 1180c)가 제1 외관과는 상이한 제2 외관(예컨대, 크기, 색상, 불투명도, 형상 등)으로 디스플레이되는 것(1250c)을 포함한다(1250a). 예를 들어, 전자 디바이스는 제1 가상 객체가 애플리케이션의 표현인 경우보다 제1 가상 객체가 콘텐츠의 표현인 경우 각자의 사용자 인터페이스 요소를 더 작은 크기로 디스플레이한다. 일부 실시예들에서, 콘텐츠의 표현은 애플리케이션의 표현에 대한 입력에 응답하여 디스플레이된다. 예를 들어, 전자 디바이스는, 사용자가 콘텐츠를 (예컨대, 손 제스처(예컨대, 핀칭, 포인팅 등)로) 선택하고 그를 애플리케이션의 표현 밖으로 드래그하는 것에 응답하여, 애플리케이션의 표현과 별개의 콘텐츠의 항목을 디스플레이한다. 일부 실시예들에서, 전자 디바이스는, 제1 가상 객체가 콘텐츠의 표현인지 또는 애플리케이션의 표현인지에 관계없이, 각자의 사용자 인터페이스 요소를 동일한 외관으로 디스플레이한다.
제1 가상 객체가 콘텐츠의 표현인지 또는 애플리케이션의 표현인지에 따라 각자의 사용자 인터페이스 요소를 상이한 외관으로 디스플레이하는 전술된 방식은, 필요할 때 각자의 사용자 인터페이스 요소의 기능을 확장시키고, 증가된 기능이 필요하지 않을 때 각자의 사용자 인터페이스 요소에 의해 점유되는 디스플레이 영역을 감소시키는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11b에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 1180a)에 대한 제1 사용자 입력을 검출하는 것에 응답하여(1252a), 제1 사용자 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라(1252b), 제1 가상 객체(예컨대, 1106a)가 애플리케이션의 표현(예컨대, 사용자 인터페이스)이라는 결정에 따라, 각자의 사용자 인터페이스 요소(예컨대, 1180a)는 제1 가상 객체(예컨대, 1106a)와 연관된 제1 세트의 대응하는 동작들을 수행하도록 선택가능한 제1 세트의 하나 이상의 선택가능 옵션들(예컨대, 1112a 내지 1112e)을 포함하고, 제1 가상 객체(예컨대, 1106a)와 연관된 제2 세트의 대응하는 동작들을 수행하도록 선택가능한 제2 세트의 하나 이상의 선택가능 옵션들을 포함하지 않는다(1252c). 예를 들어, 하나 이상의 옵션들은 제1 가상 객체와 동일한 애플리케이션과 연관된 모든 객체들을 병합/수집하기 위한 옵션을 포함하고, 제1 가상 객체에 마크업을 추가하기 위한 옵션을 포함하지 않는다. 일부 실시예들에서, 각자의 사용자 인터페이스 요소(예컨대, 1180a)에 대한 제1 사용자 입력을 검출하는 것에 응답하여(1252a), 제1 사용자 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라(1252b), 제1 가상 객체(예컨대, 1106c)가 애플리케이션 이외의 콘텐츠(예컨대, 비디오 콘텐츠, 이미지, 오디오 플레이어, 문서)의 표현이라는 결정에 따라, 각자의 사용자 인터페이스 요소(예컨대, 1180c)는 제1 세트의 하나 이상의 선택가능 옵션들과는 상이한 제2 세트의 하나 이상의 선택가능 옵션들을 포함한다(1252d). 예를 들어, 하나 이상의 옵션들은 제1 가상 객체에 마크업을 추가하기 위한 옵션을 포함하고, 동일한 애플리케이션과 연관된 모든 객체들을 병합/수집하기 위한 옵션을 포함하지 않는다. 일부 실시예들에서, 제1 가상 객체는 객체가 애플리케이션의 표현인지 또는 콘텐츠의 표현인지에 관계없이 하나 이상의 옵션들을 포함한다. 일부 실시예들에서, 상이한 애플리케이션들의 표현들은 상이한 옵션들을 포함하고, 상이한 콘텐츠의 표현들은 상이한 옵션들을 포함한다. 예를 들어, 메시징 애플리케이션과 연관된 각자의 사용자 인터페이스 요소는 메시징 애플리케이션의 표현을 공유하기 위한 옵션을 포함하지 않지만, 워드 프로세싱 애플리케이션과 연관된 각자의 사용자 인터페이스 요소는 워드 프로세싱 애플리케이션을 공유하기 위한 옵션을 포함한다. 다른 예로서, 비디오 콘텐츠의 항목의 각자의 표현은 비디오 콘텐츠를 전체 스크린 모드로 보기 위한 옵션을 포함하지만, 오디오 플레이어의 표현과 연관된 각자의 사용자 인터페이스 요소는 오디오 플레이어를 전체 스크린 모드로 디스플레이하기 위한 옵션을 포함하지 않는다. 제1 가상 객체가 콘텐츠의 표현인지 또는 애플리케이션의 표현인지에 따라 각자의 사용자 인터페이스 요소 내에 상이한 옵션들을 제시하는 전술된 방식은, 제1 가상 객체와 관련 없는 옵션들을 디스플레이하는 것을 보류함으로써 디스플레이 영역을 보존하는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11d에서와 같은 일부 실시예들에서, 각자의 사용자 인터페이스 요소를 디스플레이하지 않고서 제1 가상 객체(예컨대, 1106a)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 전자 디바이스와 통신하는 눈 추적 디바이스를 통해, 제1 가상 객체(예컨대, 1106a)로 지향되는 전자 디바이스의 사용자의 시선을 검출한다(1254a). 일부 실시예들에서, (예컨대, 제1 가상 객체 상의 사용자의 시선의 지속기간에 관계없이, 임계 기간(예컨대, 0.02, 0.05, 0.1, 0.2, 0.25, 0.3, 0.5, 1초 등) 동안 또는 즉시) 제1 가상 객체(예컨대, 1106a)로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 11a에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 가상 객체(예컨대, 1106a)와 연관하여(예컨대, 임계 거리(예컨대, 0.5, 1, 2, 5, 10 센티미터 등) 내에 그리고/또는 그의 에지를 따라) 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 디스플레이한다(1254b). 일부 실시예들에서, 예를 들어 도 11a에서와 같이, 제1 가상 객체(예컨대, 1106a) 및 제1 가상 객체와 연관하여 각자의 사용자 인터페이스 요소(예컨대, 1180a)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 눈 추적 디바이스를 통해, 사용자의 시선이 제1 가상 객체(예컨대, 1180a)로 지향되지 않는다는 것을 검출한다(예컨대, 디스플레이 생성 컴포넌트에 의해 디스플레이되는 상이한 객체로 지향되는 사용자의 시선을 검출함, 사용자가 미리결정된 시간(예컨대, 0.2, 0.3, 0.4, 0.5, 1초 등) 동안 그들의 눈들을 감는 것을 검출함)(1254c). 일부 실시예들에서, 사용자의 시선이 제1 가상 객체(예컨대, 1106a)로 지향되지 않는다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 11d에서와 같이, 제1 가상 객체(예컨대, 1106a)의 디스플레이를 유지하면서 각자의 사용자 인터페이스 요소의 디스플레이를 중지한다(1254d). 일부 실시예들에서, 전자 디바이스는, 전자 디바이스가 제1 가상 객체로 지향되는 사용자의 시선을 검출하지 않는 한 그리고 검출할 때까지, 각자의 사용자 인터페이스 요소를 디스플레이하는 것을 보류한다.
전자 디바이스가 제1 가상 객체로 지향되는 사용자의 시선을 검출하지 않는 한 그리고 검출할 때까지, 각자의 사용자 인터페이스 요소를 디스플레이하는 것을 보류하는 전술된 방식은, 사용자에 대한 시각적 클러터 및 인지적 부담을 감소시키는 효율적인 방식을 제공하는데, 이는, 추가적으로, 사용 오류들을 감소시키면서 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 13a 내지 도 13f는 일부 실시예들에 따른, 전자 디바이스가 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법의 예들을 예시한다.
도 13a는 전자 디바이스(101a)가 디스플레이 생성 컴포넌트(120)를 통해 3차원 환경 및/또는 사용자 인터페이스를 디스플레이하는 것을 예시한다. 일부 실시예들에서, 전자 디바이스(101a)는 본 개시내용의 범주를 벗어나지 않고서 2차원 환경에서 도 13a 내지 도 13f를 참조하여 설명되는 하나 이상의 기법들을 이용한다는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101a)는, 선택적으로, 디스플레이 생성 컴포넌트(120a)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314a)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101a)와 상호작용하는 동안 전자 디바이스(101a)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 도시되고 설명되는 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 13a에 도시된 3차원 환경은, 예를 들어, 각각이 다수의 컨테이너들(1302, 1304, 1312, 1314, 1322, 1324) 내에 있는 복수의 선택가능 옵션들(1306, 1308, 1316, 1318, 1326, 1328)을 포함한다. 예를 들어, 옵션들(1306, 1308)은 컨테이너(1302) 내에 디스플레이되는 컨테이너(1304) 내에 디스플레이되고; 옵션들(1316, 1318)은 컨테이너(1312) 내에 디스플레이되는 컨테이너(1314) 내에 디스플레이되며; 옵션들(1326, 1328)은 컨테이너(1322) 내에 디스플레이되는 컨테이너(1324) 내에 디스플레이된다. 일부 실시예들에서, 전자 디바이스(101a)는 이들 요소들 모두를 동시에 디스플레이하지 않고, 아래에서 설명되는 상호작용들 중 하나 이상은, 선택적으로, 개별적으로 그리고/또는 상이한 시간들에 수행된다. 일부 실시예들에서, 선택가능 옵션들(1306, 1308, 1316, 1318, 1326, 1328)은 전자 디바이스(101a)로 하여금, 애플리케이션 또는 파일을 제시하는 것, 전자 디바이스(101a)의 설정을 변경하는 것, 다른 전자 디바이스와의 통신을 개시하는 것, 또는 사용자 인터페이스를 내비게이팅하는 것과 같은 연관된 액션을 수행하게 하도록 선택가능하다. 일부 실시예들에서, 컨테이너들(1302, 1304, 1312, 1314, 1322, 1324)은, 윈도우들, 플래터(platter)들, 백플레인들, 또는 3차원 환경의 다른 시각적으로 정의된 영역들과 같은 사용자 인터페이스 요소들이다.
도 13a에 도시된 바와 같이, 전자 디바이스(101a)가 전자 디바이스(101a)의 사용자의 하나 이상의 손들의 준비 상태를 검출하지 않는 동안, 전자 디바이스(101a)는 선택가능 옵션들(1306, 1308, 1316, 1318, 1326, 1328) 및 컨테이너들(1302, 1304, 1312, 1314, 1322, 1324)을 시각적으로 분리되지 않고서 디스플레이한다. 즉, 옵션들(1306, 1308) 및 컨테이너들(1302, 1304)은 3차원 환경에서의 사용자의 시점으로부터 동일한 제1 거리이고, 옵션들(1316, 1318) 및 컨테이너들(1312, 1314)은 3차원 환경에서의 사용자의 시점으로부터 동일한 제2 거리이며, 옵션들(1326, 1328) 및 컨테이너들(1322, 1324)은 3차원 환경에서의 사용자의 시점으로부터 동일한 제3 거리이다. 일부 실시예들에서, 전자 디바이스(101a)의 사용자의 하나 이상의 손들의 준비 상태를 검출하는 것은, 도 13b를 참조하여 아래에서 더 상세히 설명될 바와 같이, 사용자가 손(들)에 의해 제공되는 형상, 포즈, 또는 제스처에 기초하여 추가 입력을 막 제공하려고 한다는 것을 나타내는 미리결정된 손 형상 및/또는 손 포즈를 검출하는 것을 포함한다.
도 13b는 전자 디바이스(101a)가 사용자의 준비 상태를 검출하는 것에 응답하여 선택가능 옵션들(1316, 1318)과 컨테이너(1312) 사이의, 컨테이너(1312)와 컨테이너(1314) 사이의, 그리고 컨테이너(1312)와 3차원 환경(예컨대, 그의 배경) 사이의 시각적 분리를 포함하도록 선택가능 옵션들(1316, 1318) 및 컨테이너들(1312, 1314)의 디스플레이를 업데이트하는 것을 예시한다. 손들(1303a 및/또는 1303b)로부터의 선택 입력들이 선택가능 옵션들(1306 또는 1308)로 지향되지 않기 때문에, 전자 디바이스(101a)는 선택가능 옵션(1306, 1308)을 컨테이너(1304)로부터 시각적으로 분리하여 디스플레이하지 않고, 컨테이너(1304)를 컨테이너(1302)로부터 시각적으로 분리하여 디스플레이하지 않는다. 손들(1303 및/또는 1303b)로부터의 선택 입력들이 선택가능 옵션(1326 또는 1328)으로 지향되지 않기 때문에, 전자 디바이스(101a)는 선택가능 옵션들(1326, 1328)을 컨테이너(1324)로부터 시각적으로 분리하여 디스플레이하지 않고, 컨테이너(1324)를 컨테이너(1322, 1302)로부터 시각적으로 분리하여 디스플레이하지 않는다. 도 13b에서, 손(1303a) 및 시선(1301a)은 제1 준비 상태를 제공하고, 손(1303b) 및 시선(1301b)은 제2 준비 상태를 제공한다. 도 13b는, 예를 들어, 전자 디바이스(101a)가 상이한 유형들의 입력들에 응답하는 방법의 차이들을 예시하는 방식으로서 손들(1303a, 1303b) 및 시선들(1301a, 1301b)에 의한 다수의 동시 준비 상태들을 도시한다는 것이 이해되어야 한다. 예를 들어, 일부 실시예들에서, 손(1303a) 및 시선(1301a)에 의해 제공되는 준비 상태, 및 손(1303b) 및 시선(1301b)에 의해 제공되는 준비 상태는 동시에 검출되지 않고, 대신에 상이한 시간들에 검출된다.
일부 실시예들에서, 전자 디바이스(101a)는 직접 입력이 지향되는 사용자 인터페이스 요소에 대응하는 위치에서 사용자의 손이 입력 제스처를 수행하는 것을 포함하는 직접 입력들을 검출한다. 일부 실시예들에서, 손(1303a) 및 시선(1301a)은 사용자의 직접 입력 준비 상태를 예시한다. 예를 들어, 직접 준비 상태를 지향시키는 것은 선택가능 옵션(1316)의 직접 준비 상태 임계 거리(예컨대, 5, 10, 15, 20, 30 또는 50 센티미터, 또는 1, 2, 3, 또는 5 미터) 내에 있는 동안 미리정의된 손 형상의 손(1303a)을 검출하는 것을 포함한다. 예를 들어, 손 형상은, 손(1303a)의 하나 이상의 손가락들이 펴지고 하나 이상의 손가락들이 손(1303a)의 손바닥을 향해 구부러진 포인팅 손 형상이다. 일부 실시예들에서, 직접 준비 상태를 검출하는 것은 선택가능 옵션(1316)으로 지향되는 사용자의 시선(1301a)을 검출하는 것을 포함한다. 일부 실시예들에서, 선택가능 옵션(1316)으로 지향되는 사용자의 시선(1301a)을 검출하는 것은 직접 준비 상태를 검출하는 데 필요하지 않다.
일부 실시예들에서, 전자 디바이스(101a)는 사용자의 시선이 입력이 지향되는 사용자 인터페이스 요소로 지향되는 동안 입력이 지향되는 사용자 인터페이스 요소의 위치와 독립적인 위치에서 사용자의 손이 입력 제스처를 수행하는 것을 포함하는 간접 입력들을 검출한다. 일부 실시예들에서, 손(1303b) 및 시선(1301b)은 사용자의 간접 준비 상태를 예시한다. 도 13b는 간접 준비 상태를 제공하는 동안 사용자 인터페이스 요소(1318)에 대응하는 위치에 있는 손(1303b)을 예시하지만, 일부 실시예들에서, 간접 준비 상태는 손(1303b)이 선택가능 옵션(1318)으로부터의 직접 준비 상태 임계 거리(예컨대, 5, 10, 15, 20, 30 또는 50 센티미터, 또는 1, 2, 3, 또는 5 미터)와 독립적인 또는 그 초과의 위치에 있는 동안 검출된다는 것이 이해되어야 한다. 일부 실시예들에서, 간접 준비 상태를 검출하는 것은 시선(1301b)이 선택가능 옵션(1318)으로 지향되는 동안 미리정의된 손 형상의 손(1303b)을 검출하는 것을 포함한다. 예를 들어, 손 형상은, 사용자의 시선(1301b)이 선택가능 옵션(1318)으로 지향되는 동안 손(1303b)의 엄지 손가락이 손(1303b)의 다른 손가락(예컨대, 검지 손가락)의 임계 거리(예컨대, 0.5, 1, 2, 3 또는 5 센티미터) 내에 있지만 그를 터치하지 않는 핀칭전 손 형상이다.
일부 실시예들에서, 간접 준비 상태가 지향되는 선택가능 옵션을 결정하는 것은 사용자의 시선을 검출하는 것에 기초한다. 일부 실시예들에서, 사용자의 시선(1301b)이 3차원 환경에서 선택가능 옵션(1318)으로부터 상이한 선택가능 옵션으로 이동하는 경우, 전자 디바이스(101a)는 선택가능 옵션(1318)과 컨테이너(1314) 사이의 시각적 분리를 감소시키고, 사용자의 시선이 지향되는 선택가능 옵션과 선택가능 옵션에 인접하고/하거나 그를 포함하는 컨테이너 사이의 시각적 분리를 증가시킨다. 예를 들어, 시선(1301b)이 옵션(1318)으로부터 옵션(1306)으로 이동하는 경우, 전자 디바이스(101a)는 옵션(1318)과 컨테이너(1314) 사이의 시각적 분리의 양을 감소시키고 옵션(1306)과 컨테이너(1304) 사이의 시각적 분리의 양을 증가시킬 것이다.
일부 실시예들에서, 전자 디바이스(101a)는, 도 13c를 참조하여 아래에서 더 상세히 설명될 바와 같이, 사용자의 시선이 입력이 지향되는 사용자 인터페이스 요소로 지향되는 동안 입력이 지향되는 사용자 인터페이스 요소와는 상이한 에어(air) 제스처 사용자 인터페이스 요소에 대응하는 위치에서 사용자의 손이 입력 제스처를 수행하는 에어 제스처 입력들을 검출할 수 있다. 일부 실시예들에서, 에어 제스처 준비 상태를 검출하는 것은 손이 3차원 환경 내의 상호작용형 사용자 인터페이스 요소들로부터 직접 준비 상태 임계 거리(예컨대, 5, 10, 15, 20, 30 또는 50 센티미터, 1, 2, 3, 또는 5 미터) 초과인 동안 그리고 사용자의 시선이 3차원 환경 내의 상호작용형 사용자 인터페이스 요소들로 지향되는 동안 위에서 설명된 포인팅 손 형상과 같은 사용자의 손의 미리정의된 포즈를 검출하는 것을 포함한다.
일부 실시예들에서, 에어 제스처 준비 상태가 지향되는 선택가능 옵션을 결정하는 것은 사용자의 시선을 검출하는 것에 기초한다. 일부 실시예들에서, 전자 디바이스(101a)가 간접 입력 준비 상태보다는 에어 제스처 준비 상태를 검출하는 동안 사용자의 시선(1301b)이 3차원 환경에서 선택가능 옵션(1318)으로부터 상이한 선택가능 옵션으로 이동하는 경우, 전자 디바이스(101a)는 선택가능 옵션(1318)과 컨테이너(1314) 사이의 시각적 분리를 감소시키고, 사용자의 시선이 지향되는 선택가능 옵션과 선택가능 옵션에 인접하고/하거나 그를 포함하는 컨테이너 사이의 시각적 분리를 증가시킨다. 예를 들어, 시선(1301b)이 옵션(1318)으로부터 옵션(1306)으로 이동하는 경우, 전자 디바이스(101a)는 옵션(1318)과 컨테이너(1314) 사이의 시각적 분리의 양을 감소시키고 옵션(1306)과 컨테이너(1304) 사이의 시각적 분리의 양을 증가시킬 것이다.
일부 실시예들에서, 전자 디바이스(101a)는, 스타일러스들, 트랙패드들, 마우스들, 및 키보드들과 같은 촉각적 입력 디바이스들을 통해 입력들을 검출할 수 있다. 일부 실시예들에서, 촉각적 입력 디바이스 준비 상태를 검출하는 것은 입력 디바이스를 터치하지 않고서 입력 디바이스의 임계 거리(예컨대, 1, 2, 3, 5, 또는 10 센티미터) 내에서 사용자의 신체(예컨대, 손)를 검출하는 것을 포함한다. 일부 실시예들에서, 촉각적 입력 디바이스 준비 상태를 검출하는 것은 3차원 환경 내의 각자의 상호작용형 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는 3차원 환경 내의 각자의 상호작용형 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하지 않고서 촉각적 입력 디바이스 준비 상태를 검출한다.
도 13b에서, 손(1303a)(및 시선(1301a))에 의해 제공되는 직접 준비 상태에 응답하여, 전자 디바이스(101a)는 컨테이너들(1312, 1314) 및 선택가능 옵션(1316)을 도 13a에서의 준비 상태를 검출하기 전의 이들 요소들의 분리의 양에 비해 시각적 분리가 증가된 상태로 디스플레이한다. 손(1303b) 및 시선(1301b)에 의해 제공되는 간접 준비 상태에 응답하여, 전자 디바이스(101a)는 컨테이너들(1312, 1314) 및 선택가능 옵션(1318)을 도 13a에서의 준비 상태를 검출하기 전의 이들 요소들의 분리의 양에 비해 시각적 분리가 증가된 상태로 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 하나 이상의 요소들과 연관된 크기, 입체 깊이, 또는 가상 그림자들을 조정함으로써 요소들의 시각적 분리를 조정한다. 예를 들어, 도 13b의 선택가능 옵션들(1316, 1318)의 크기들은 도 13a의 선택가능 옵션들(1316, 1318)의 크기들보다 크다. 일부 실시예들에서, 도 13b의 선택가능 옵션들(1316, 1318)의 각도 크기들은 도 13a의 선택가능 옵션들(1316, 1318)의 각도 크기들보다 크지 않지만, 선택가능 옵션들(1316, 1318)은 그들이 3차원 환경에서의 사용자의 시점에 더 가깝기 때문에 더 크게 보인다.
일부 실시예들에서, 3차원 환경에서의 선택가능 옵션과 컨테이너 사이의 시각적 분리의 양은 선택가능 옵션에 대한 준비 상태의 유형에 의존한다. 예를 들어, 전자 디바이스(101a)는, 선택가능 옵션(1316)이 선택가능 옵션(1318)보다 큰 것에 의해 표현되는 바와 같이, 손(1303a)(및 시선(1301a))이 선택가능 옵션(1316)에 대한 직접 준비 상태를 제공하고, 손(1303b) 및 시선(1301b)이 선택가능 옵션(1318)에 대한 간접 준비 상태를 제공하기 때문에, 선택가능 옵션(1318)과 컨테이너(1314) 사이의 시각적 분리의 증가를 초과하여 컨테이너(1314)로부터의 선택가능 옵션(1316)의 시각적 분리의 양을 증가시킨다. 일부 실시예들에서, 전자 디바이스(101a)는, 준비 상태가 촉각적 입력 디바이스를 사용하여 제공되는 경우보다, 선택가능 옵션에 대한 준비 상태가 직접, 간접 또는 에어 탭 준비 상태(예컨대, 촉각적 입력 디바이스의 사용 없이 사용자의 손의 형상, 포즈 또는 제스처를 검출함으로써 제공되는 준비 상태)인 경우 더 많은 양만큼, 선택가능 옵션과 컨테이너 사이의 시각적 분리를 증가시킨다. 일부 실시예들에서, 손(1303a)(및 시선(1301a))에 의해 제공되는 직접 준비 상태와 같은 직접 준비 상태를 검출하는 것에 응답하여, 전자 디바이스(101a)는 사용자의 손(1303a)이 선택가능 옵션(1316)의 현재 또는 원래 위치에 더 가까울수록 선택가능 옵션(1316)을 사용자의 시점에 더 가깝게 이동시킨다. 예를 들어, 사용자가 손(1303a)을 옵션(1316)에 더 가깝게 이동시키는 경우, 전자 디바이스(101a)는 옵션(1316)을 사용자의 시점에 더 가깝게 이동시킬 것이고, 사용자가 손(1303a)을 옵션(1316)으로부터 더 멀리 이동시키는 경우, 전자 디바이스(101a)는 선택가능 옵션(1316)을 사용자의 시점으로부터 더 멀리 이동시킬 것이다.
일부 실시예들에서, 각자의 선택가능 옵션에 대한 선택 입력의 시작을 검출하는 것에 응답하여, 전자 디바이스(101a)는 각자의 선택가능 옵션과 각자의 선택가능 옵션에 인접하고/하거나 그를 포함하는 컨테이너 사이의 시각적 분리를 감소시킨다. 도 13c는 전자 디바이스(101a)가 손들(1303c, 1303d, 1303e) 및 시선들(1301a, 1301b)에 의해 제공되는 선택 입력들의 시작에 응답하여 선택가능 옵션들(1316, 1326)을 디스플레이하는 것을 예시한다. 예를 들어, 손(1303c)(및 시선(1301a))은 선택가능 옵션(1316)을 선택하는 직접 입력을 제공한다. 다른 예로서, 손(1303d), 에어 제스처 요소(1310), 및/또는 시선(1301b)은 옵션(1326)을 선택하는 에어 제스처 입력을 제공한다. 다른 예로서, 손(1303e) 및 시선(1301b)은 옵션(1326)을 선택하는 간접 입력을 제공한다. 일부 실시예들에서, 전자 디바이스(101a)는, 스타일러스들, 마우스들, 키보드들, 트랙패드들 등과 같은 촉각적 입력 디바이스들을 통해 선택 입력들을 검출하는 것이 가능하다. 손들(1303a 및/또는 1303b)로부터의 선택 입력들이 선택가능 옵션(1306 또는 1308)으로 지향되지 않기 때문에, 전자 디바이스(101a)는 선택가능 옵션(1306, 1308)을 컨테이너(1304)로부터 시각적으로 분리하여 디스플레이하지 않고, 컨테이너(1304)를 컨테이너(1302)로부터 시각적으로 분리하여 디스플레이하지 않는다.
일부 실시예들에서, 손(1303c)(및 시선(1301a))에 의해 제공되는 직접 선택 입력의 시작을 검출하는 것은 손(1303c)(예컨대, 그의 검지 손가락의 팁)이 선택가능 옵션(1316)을 그가 입력의 시작 전에 디스플레이되었던 위치(예컨대, 도 13b에 예시된 위치)로부터 컨테이너(1314)를 향해 "푸시"하는 것을 검출하는 것을 포함한다. 도 13d를 참조하여 아래에서 더 상세히 설명될 바와 같이, 일부 실시예들에서, 선택가능 옵션(1316)의 선택은 "푸시" 제스처가 선택가능 옵션(1316)을 도 13c에 예시된 컨테이너(1314)의 위치로 "푸시"하는 것에 대응할 때 발생한다. 도 13c에 도시된 바와 같이, 손(1303c)(및 시선(1301a))에 의해 제공되는 직접 선택 입력의 시작을 검출하는 것에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1316)과 컨테이너(1314) 사이의 시각적 분리의 양을 감소시킨다. 일부 실시예들에서, 전자 디바이스(101a)가 3차원 환경에서 선택가능 옵션(1316)의 위치를 업데이트함에 따라(예컨대, 선택가능 옵션(1316)과 컨테이너(1314) 사이의 시각적 분리를 감소시킬 때), 입력 영역은 선택가능 옵션(1316)과 함께 이동하여, 그에 의해, 사용자가 선택 입력을 진행하기 위해 그들의 손(1303c)을 선택가능 옵션(1316)의 위치로 계속 이동시키도록 요구한다. 일부 실시예들에서, 전자 디바이스(101a)가 3차원 환경에서 선택가능 옵션(1316)의 위치를 업데이트함에 따라(예컨대, 선택가능 옵션(1316)과 컨테이너(1314) 사이의 시각적 분리를 감소시킬 때), 입력 영역은 선택 입력의 시작을 수신하기 전에 선택가능 옵션(1316)이 디스플레이되었던 위치(예컨대, 도 13b의 선택가능 옵션(1316)의 위치)에 유지된다.
일부 실시예들에서, 손(1303e) 및 시선(1301b)에 의해 제공되는 간접 선택 입력의 시작을 검출하는 것은 시선(1301b)이 선택가능 옵션(1301b)으로 지향되는 동안 손(1303e)의 엄지 손가락이 손의 다른 손가락(예컨대, 검지 손가락)을 터치하는 핀치 손 형상의 손(1303e)을 검출하는 것을 포함한다. 일부 실시예들에서, 간접 선택을 제공하는 동안, 손(1303e)은 선택가능 옵션(1326)에 대응하지 않는 위치에 있다. 도 13d를 참조하여 아래에서 더 상세히 설명될 바와 같이, 일부 실시예들에서, 선택가능 옵션(1326)의 선택은 전자 디바이스(101a)가 핀치 손 형상이 미리결정된 시간 임계치(예컨대, 0.1초, 0.2초, 0.3초, 0.5초, 1초, 2초 등) 동안 유지되었다는 것을 검출할 때 발생한다. 도 13c에 도시된 바와 같이, 손(1303e) 및 시선(1301b)에 의해 제공되는 직접 선택 입력의 시작을 검출하는 것(예컨대, 사용자가 선택가능 옵션(1326)을 보고 있는 동안 시간 임계치 미만 동안 핀치 손 형상을 검출하는 것)에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1326)과 컨테이너(1324) 사이의 시각적 분리의 양을 감소시킨다. 도 13d를 참조하여 아래에서 더 상세히 설명될 바와 같이, 전자 디바이스(101a)는, 핀치 제스처 및 시선(1301b)이 선택가능 옵션(1326)이 컨테이너(1324)에 도달하기에 충분히 오랫동안 유지될 때까지, 손(1303e)이 핀치 제스처를 유지하고 시선(1301b)이 선택가능 옵션(1326) 상에 유지됨에 따라, 선택가능 옵션(1326)을 컨테이너(1324)를 향해 계속 이동시킨다. 일부 실시예들에서, 사용자가 선택가능 옵션(1326)으로부터 시선을 돌리고 시선(1301b)을 3차원 환경 내의 상이한 선택가능 옵션(1306, 1308, 1316, 1318, 또는 1328)으로 이동시키는 경우, 전자 디바이스(101a)는 옵션(1326)을 향해 지향되는 입력의 시작을 취소하고 입력의 시작을 사용자가 보고 있는 선택가능 옵션을 향해 지향시킬 것이다. 일부 실시예들에서, 사용자가 시선(1310b)을 방향전환시키는 것에 응답하여, 전자 디바이스(101a)는, 선택적으로, 선택가능 옵션(1326)을 컨테이너(1326)로부터의 시각적 분리가 감소된(예컨대, 0인) 상태로 디스플레이하고, 선택적으로, 사용자가 보고 있는 선택가능 옵션과 사용자가 보고 있는 선택가능 옵션에 인접하고/하거나 그를 포함하는 컨테이너 사이의 시각적 분리를 증가시킨다.
일부 실시예들에서, 손(1303d) 및 시선(1301b)에 의해 제공되는 에어 제스처 선택 입력의 시작을 검출하는 것은 시선(1301b)이 선택가능 옵션(1326)으로 지향되는 동안 손(1303d)(예컨대, 그의 검지 손가락의 팁)이 에어 제스처 요소(1310)를 "푸시"하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 에어 제스처 선택 입력을 제공하는 동안, 손(1303d)은 선택가능 옵션(1326)에 대응하지 않는 위치에 있다. 도 13d를 참조하여 아래에서 더 상세히 설명될 바와 같이, 일부 실시예들에서, 선택가능 옵션(1326)의 선택은 전자 디바이스(101a)가 요소(1310)로 지향되는 푸시 모션(예컨대, 그의 지속기간, 거리, 속도 등)이 옵션(1326)을 컨테이너(1324)의 위치로 이동시키는 것에 대응한다는 것을 검출할 때 발생한다. 도 13c에 도시된 바와 같이, 손(1303d) 및 시선(1301b)에 의해 제공되는 에어 제스처 입력의 시작을 검출하는 것(예컨대, 사용자가 선택가능 옵션(1326)을 보고 있는 동안, 0보다 크지만 옵션(1326)의 선택에 요구되는 양보다 적은 양만큼의 푸시 제스처를 검출하는 것)에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1326)과 컨테이너(1324) 사이의 시각적 분리의 양을 감소시킨다. 예를 들어, 전자 디바이스(101a)는 손(1303d)이 사용자 인터페이스 요소(1310)를 사용자의 시점으로부터 멀리 푸시하는 양에 대응하는 양만큼 사용자의 시점으로부터 멀리 선택가능 옵션(1326)을 이동시킨다. 도 13d를 참조하여 아래에서 더 상세히 설명될 바와 같이, 전자 디바이스(101a)는 시선(1301b)이 선택가능 옵션(1326) 상에 유지되는 동안 손(1303d)(예컨대, 그의 검지 손가락의 팁)이 에어 제스처 요소(1310)를 계속 푸시함에 따라 선택가능 옵션(1326)을 컨테이너(1324)를 향해 계속 이동시킨다. 일부 실시예들에서, 사용자가 선택가능 옵션(1326)으로부터 시선을 돌리고 시선(1301b)을 3차원 환경 내의 상이한 선택가능 옵션(1306, 1308, 1316, 1318, 또는 1328)으로 이동시키는 경우, 전자 디바이스(101a)는 옵션(1326)을 향해 지향되는 입력의 시작을 취소하고 입력의 시작을 사용자가 보고 있는 선택가능 옵션을 향해 지향시킬 것이다. 일부 실시예들에서, 사용자가 시선(1301b)을 방향전환시키는 것에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1326)을 컨테이너(1326)로부터의 시각적 분리가 감소된(예컨대, 0인) 상태로 디스플레이하고, 사용자가 보고 있는 선택가능 옵션과 사용자가 보고 있는 선택가능 옵션에 인접하고/하거나 그를 포함하는 컨테이너 사이의 시각적 분리를 증가시킨다. 일부 실시예들에서, 전자 디바이스(101a)가 푸시 제스처에 따라 3차원 환경에서 선택가능 옵션(1326)(예컨대, 선택가능 옵션(1326)과 컨테이너(1324) 사이의 시각적 분리를 감소시킬 때) 및 에어 제스처 요소(1310)의 위치를 업데이트함에 따라, 입력 영역은 에어 제스처 요소(1310)와 함께 이동하여, 그에 의해, 사용자가 선택 입력을 진행하기 위해 그들의 손(1303d)을 에어 제스처 요소(1310)의 위치로 계속 이동시키도록 요구한다. 일부 실시예들에서, 전자 디바이스(101a)가 3차원 환경에서 선택가능 옵션(1326)(예컨대, 선택가능 옵션(1326)과 컨테이너(1324) 사이의 시각적 분리를 감소시킬 때) 및 에어 제스처 요소(1310)의 위치를 업데이트함에 따라, 입력 영역은 선택 입력의 시작을 수신하기 전에 에어 제스처 요소(1310)가 디스플레이되었던 위치에 유지된다.
일부 실시예들에서, 사용자가 완전한 선택 입력을 제공하기 전에 손(1303c, 1303d, 또는 1303e) 및 시선(1301a 또는 1301b)을 통해 선택 입력을 제공하는 것을 중지하는 경우, 전자 디바이스(101a)는 선택 입력의 시작이 지향되는 선택가능 옵션의 선택을 보류하고, 선택가능 옵션과 연관된 동작의 수행을 보류한다. 일부 실시예들에서, 도 13d를 참조하여 아래에서 더 상세히 설명될 바와 같이, 선택가능 옵션으로 하여금 그에 인접하고/하거나 그를 포함하는 컨테이너에 도달하게 하는 완전한 선택 입력에 응답하여, 전자 디바이스(101a)는 선택가능 옵션과 연관된 액션을 수행한다.
도 13d는 도 13c를 참조하여 위에서 설명된 선택 입력들의 계속을 예시한다. 손(1303c)(및 시선(1301a))은 선택가능 옵션(1316)에 대한 선택 입력을 제공한다. 손(1303d) 및 시선(1301b)은 선택가능 옵션(1326)에 대한 선택 입력을 제공한다. 손(1303e) 및 시선(1301b)은 선택가능 옵션(1326)에 대한 선택 입력을 제공한다. 이들 선택 입력들은 간결함을 위해 하나의 도면에 도시되어 있으며, 일부 실시예들에서 동시에 검출되지 않는다는 것이 이해되어야 한다. 손들(1303c, 1303d, 및/또는 1303e)에 의해 제공되는 선택 입력들이 선택가능 옵션(1306 또는 1308)으로 지향되지 않기 때문에, 전자 디바이스(101a)는 선택가능 옵션(1306, 1308)을 컨테이너(1304)로부터 시각적으로 분리하여 디스플레이하지 않고, 컨테이너(1304)를 컨테이너(1302)로부터 시각적으로 분리하여 디스플레이하지 않는다.
일부 실시예들에서, 손(1303c)(및 시선(1301a))에 의해 제공되는 직접 선택 입력을 검출하는 것은 손(1303c)이 선택가능 옵션(1316)을 그가 입력의 시작 전에 디스플레이되었던 위치(예컨대, 도 13b에 예시된 위치)로부터 컨테이너(1314)의 위치를 지나서 "푸시"하는 것을 검출하는 것을 포함한다. 입력은, 포인팅 손 형상에 있는 동안의 손(1303c)의 이동의 양이 적어도 선택가능 옵션(1316)과 컨테이너(1314) 사이의 거리에 대응하기 때문에, 선택가능 옵션(1316)의 선택에 대응한다. 도 13d에 도시된 바와 같이, 손(1303c)(및 시선(1301a))에 의해 제공되는 직접 선택 입력을 검출하는 것에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1316)의 색상을 업데이트하고/하거나 컨테이너(1314)와 컨테이너(1312) 사이의 시각적 분리를 감소시킨다. 일부 실시예들에서, 전자 디바이스(101a)는, 또한, 선택가능 옵션(1316)이 컨테이너(1314)에 도달할 때 또는 선택 입력이 완료된(예컨대, 전자 디바이스가 포인팅 손 형상의 손(1303c)을 검출하는 것을 중지하거나 또는 손이 선택가능 옵션(1316)으로부터 멀리 이동한) 후 선택가능 옵션(1316)과 연관된 액션을 수행한다. 일부 실시예들에서, 전자 디바이스(101a)는, 만약 있다면, 손(1303c)의 이동이 선택을 위한 요건을 초과하는 양에 관계없이, 동일한 동작을 수행한다. 일부 실시예들에서, 전자 디바이스(101a)가 컨테이너(1314)를 컨테이너(1312)를 향해 이동시키는 거리는 선택 입력 이전의 컨테이너(1314)의 위치(예컨대, 도 13c의 컨테이너(1314)의 위치)를 지나는 손(1303c)의 이동의 양에 대응한다.
일부 실시예들에서, 전자 디바이스(101a)가 3차원 환경에서 선택가능 옵션(1316)의 위치를 업데이트함에 따라(예컨대, 선택가능 옵션(1316)과 컨테이너(1314) 사이의 시각적 분리를 감소시킬 때), 입력 영역은 선택가능 옵션(1316)과 함께 이동하여, 그에 의해, 사용자가 선택 입력을 진행하기 위해 그들의 손(1303c)을 선택가능 옵션(1316)의 위치로 계속 이동시키도록 요구한다. 일부 실시예들에서, 전자 디바이스(101a)가 3차원 환경에서 선택가능 옵션(1316)의 위치를 업데이트함에 따라(예컨대, 선택가능 옵션(1316)과 컨테이너(1314) 사이의 시각적 분리를 감소시킬 때), 입력 영역은 선택 입력의 시작을 수신하기 전에 선택가능 옵션(1316)이 디스플레이되었던 위치(예컨대, 도 13b의 선택가능 옵션(1316)의 위치)에 유지된다.
일부 실시예들에서, 손(1303e) 및 시선(1301b)에 의해 제공되는 간접 선택 입력을 검출하는 것은 시선(1301b)이 선택가능 옵션(1326)으로 지향되는 동안 손(1303e)의 엄지 손가락이 손의 다른 손가락(예컨대, 검지 손가락)을 터치하는 핀치 손 형상의 손(1303e)을 검출하는 것을 포함한다. 일부 실시예들에서, 간접 선택을 제공하는 동안, 손(1303e)은 선택가능 옵션(1326)에 대응하지 않는 위치에 있다. 도 13c를 참조하여 위에서 설명된 바와 같이, 일부 실시예들에서, 전자 디바이스(101a)는, 손(1303e)이 핀치 제스처를 유지하고 시선(1301b)이 옵션(1326)으로 지향되는 동안, 선택가능 옵션(1326)과 컨테이너(1324) 사이의 시각적 분리의 양을 감소시킨다. 일부 실시예들에서, 선택가능 옵션(1326)의 선택은 전자 디바이스(101a)가 핀치 손 형상이 선택가능 옵션(1326)을 컨테이너(1324)의 위치로 이동시키는 것에 대응하는 미리결정된 시간 임계치(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 또는 2초) 동안 유지되었다는 것을 검출할 때 발생한다. 도 13d에 도시된 바와 같이, (예컨대, 완전한) 선택 입력을 검출하는 것에 응답하여, 전자 디바이스(101a)는, 입력의 지속기간이 미리결정된 시간 임계치를 초과하기 때문에, 선택가능 옵션(1326)의 색상을 업데이트하고/하거나 3차원 환경에서 컨테이너(1324)를 컨테이너(1322)에 더 가깝게 이동시킨다. 일부 실시예들에서, 전자 디바이스(101a)가 컨테이너(1324)를 컨테이너(1322)에 더 가깝게 이동시키는 거리는 미리결정된 임계치를 초과하는, 입력이 유지되는 시간에 대응한다. 일부 실시예들에서, 선택 입력에 응답하여, 전자 디바이스(101a)는 옵션(1326)과 연관된 동작을 수행한다. 일부 실시예들에서, 전자 디바이스(101a)는, 만약 있다면, 손(1303e)의 제스처의 시간이 선택을 위한 요건을 초과하는 양에 관계없이, 동일한 동작을 수행한다.
일부 실시예들에서, 손(1303d) 및 시선(1301b)에 의해 제공되는 에어 제스처 선택 입력을 검출하는 것은 시선(1301b)이 선택가능 옵션(1326)으로 지향되는 동안 손(1303d)이 에어 제스처 요소(1310)를 적어도 선택가능 옵션(1326)과 컨테이너(1324) 사이의 거리에 대응하는 양만큼 "푸시"하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 에어 제스처 선택 입력을 제공하는 동안, 손(1303d)은 선택가능 옵션(1326)에 대응하지 않는 위치에 있다. 일부 실시예들에서, 선택가능 옵션(1326)의 선택은 전자 디바이스(101a)가 요소(1310)로 지향되는 푸시 모션(예컨대, 그의 지속기간, 거리, 속도 등)이 옵션(1326)을 컨테이너(1324)의 위치로 이동시키는 것에 대응한다는 것을 검출할 때 발생한다. 도 13d에 도시된 바와 같이, 옵션(1326)의 선택을 검출하는 것에 응답하여, 전자 디바이스(101a)는, 에어 제스처를 제공하는 손(1303d)의 이동 및/또는 지속기간이 미리결정된 임계치를 초과하기 때문에, 선택가능 옵션(1326)의 색상을 업데이트하고/하거나 컨테이너(1324)를 컨테이너(1322)에 더 가깝게 이동시킨다. 일부 실시예들에서, 전자 디바이스(101a)가 컨테이너(1324)를 컨테이너(1322)를 향해 이동시키는 거리는 손(1303d)의 제스처가 선택을 위한 요건을 초과하는 지속기간 및/또는 이동에 대응한다. 일부 실시예들에서, 선택 입력에 응답하여, 전자 디바이스(101a)는 옵션(1326)과 연관된 동작을 수행한다. 일부 실시예들에서, 전자 디바이스(101a)는, 만약 있다면, 손(1303d)의 제스처의 시간 및/또는 이동이 선택을 위한 요건을 초과하는 양에 관계없이, 동일한 동작을 수행한다.
일부 실시예들에서, 사용자는 각자의 옵션이 발생한 후에 그리고 선택가능 옵션에 인접한 컨테이너가 다른 컨테이너에 도달한 후에 선택 입력을 계속 제공한다. 일부 실시예들에서, 선택가능 옵션의 컨테이너를 지나는 선택 입력의 계속에 응답하여, 전자 디바이스(101a)는 3차원 환경에서 둘 모두의 컨테이너들을 사용자의 시점으로부터 멀리 이동시키기 위해 컨테이너들의 위치를 업데이트한다.
예를 들어, 도 13e는 선택가능 옵션 뒤의 다수의 컨테이너들의 위치를 업데이트하는 것에 대응하는 선택 입력들의 계속을 예시한다. 일부 실시예들에서, 선택가능 옵션 뒤의 다수의 컨테이너들의 위치를 업데이트하는 것에 대응하는 선택 입력에 응답하여, 전자 디바이스(101a)는 다수의 컨테이너들을 사용자의 시점으로부터 멀리 이동시키지 않고서 입력이 선택에 대응하였다면 수행되었을 선택가능 옵션과 연관된 동일한 액션을 수행한다.
도 13e에서, 손(1303c) 및 선택적으로 시선(1301a)은, 요소(1316)의 선택 및 사용자의 시점으로부터 멀어지는 컨테이너들(1314, 1312)의 이동에 대응하는 직접 입력을 제공한다. 일부 실시예들에서, 컨테이너(1312)가 사용자의 시점으로부터 멀리 이동하는 거리는 손(1303c)의 이동이 컨테이너(1314)가 컨테이너(1312)에 도달하는 것에 대응하는 거리를 초과하는 거리에 대응한다. 일부 실시예들에서, 전자 디바이스(101a)는, 컨테이너의 가상 그림자의 크기를 감소시키고/시키거나 컨테이너(1312)가 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 입체 깊이를 업데이트함으로써 컨테이너(1312)의 이동을 나타낸다. 일부 실시예들에서, 손(1303c)에 의해 제공되는 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1316)과 연관된 액션을 수행한다. 예를 들어, 직접 선택 입력의 종료는, 사용자가 직접 선택 입력 임계 거리(예컨대, 1, 5, 10, 15, 30 또는 50 센티미터, 또는 1, 2 또는 3 미터)를 초과하여 손(예컨대, 손(1303c 또는 1303e))을 이동시키고/시키거나 포인팅 손 형상을 취하는 것을 중지하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스(101a)는 입력이 옵션(1316)으로 지향되기 때문에 입력에 응답하여 다른 선택가능 옵션들(1306, 1308, 1326, 1328) 및 컨테이너들(1302, 1304, 1322, 1324)의 위치들을 업데이트하는 것을 보류한다.
도 13e에서, 손(1303d) 및 시선(1301b)은, 요소(1326)의 선택 및 사용자의 시점으로부터 멀어지는 컨테이너들(1324, 1322)의 이동에 대응하는 에어 제스처 입력을 제공한다. 일부 실시예들에서, 컨테이너(1322)가 사용자의 시점으로부터 멀리 이동하는 거리는 손(1303d)의 이동이 컨테이너(1324)가 컨테이너(1322)에 도달하는 것에 대응하는 거리를 초과하는 거리에 대응한다. 일부 실시예들에서, 전자 디바이스(101a)는, 컨테이너의 가상 그림자의 크기를 감소시키고/시키거나 컨테이너(1322)가 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 입체 깊이를 업데이트함으로써 컨테이너(1322)의 이동을 나타낸다. 일부 실시예들에서, 손(1303d) 및 시선(1301b)에 의해 제공되는 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1326)과 연관된 액션을 수행한다. 예를 들어, 에어 제스처 선택 입력의 종료는 손(1303d)이 에어 제스처 요소(1310)로부터 멀리 임계 거리(예컨대, 1, 5, 10, 15, 30 또는 50 센티미터, 또는 1, 2 또는 3 미터)를 초과하여 이동하는 것을 검출하는 것 및/또는 포인팅 손 형상을 취하는 것을 중지하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스(101a)는 입력이 옵션(1326)으로 지향되기 때문에 입력에 응답하여 다른 선택가능 옵션들(1306, 1308, 1316, 1318, 1328) 및 컨테이너들(1302, 1304, 1312, 1314)의 위치들을 업데이트하는 것을 보류한다.
도 13e에서, 손(1303e) 및 시선(1301b)은, 요소(1326)의 선택 및 사용자의 시점으로부터 멀어지는 컨테이너들(1324, 1322)의 이동에 대응하는 간접 입력을 제공한다. 일부 실시예들에서, 컨테이너(1322)가 이동하는 거리는 컨테이너(1324)가 컨테이너(1322)에 도달하는 것에 대응하는 지속기간 임계치를 초과하는, 손(1303e)이 핀치 제스처를 유지하는 지속기간에 대응한다. 일부 실시예들에서, 전자 디바이스(101a)는, 컨테이너의 가상 그림자의 크기를 감소시키고/시키거나 컨테이너(1322)가 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 입체 깊이를 업데이트함으로써 컨테이너(1322)의 이동을 나타낸다. 일부 실시예들에서, 손(1303e) 및 시선(1301b)에 의해 제공되는 입력의 종료를 검출하는 것에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1326)과 연관된 액션을 수행한다. 예를 들어, 간접 선택 입력의 종료는, 사용자가 엄지 손가락을 그가 핀치 제스처의 일부로서 핀치 손 형상을 취하기 위해 터치한 손가락으로부터 멀리 이동시킴으로써 그들의 손(예컨대, 손(1303c 또는 1303e))으로 핀치 제스처를 완료하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스(101a)는 입력이 옵션(1326)으로 지향되기 때문에 입력에 응답하여 다른 선택가능 옵션들(1306, 1308, 1316, 1318, 1328) 및 컨테이너들(1302, 1304, 1312, 1314)의 위치들을 업데이트하는 것을 보류한다.
도 13f에서, 전자 디바이스(101a)는 도 13a 내지 도 13e를 참조하여 위에서 설명된 입력들을 계속 검출하고, 이에 응답하여, 전자 디바이스(101a)는 컨테이너들(1312, 1322)의 위치들을 업데이트하여 사용자의 시점으로부터 멀리 계속 이동시킨다. 도 13f에서, 컨테이너(1312)는 그의 가상 그림자의 디스플레이에 대응하는 지점을 지나서 뒤로 이동한다. 도 13f에서, 전자 디바이스(101a)는, 도 13f에 도시된 바와 같이, 컨테이너(1312), 컨테이너(1314) 및 선택가능 옵션들(1316, 1318)을 더 작게 만들고, 일부 실시예들에서, 이들 요소들의 지속적인 이동을 나타내기 위해 이들 요소들을 사용자의 시점으로부터의 입체 깊이가 증가된 상태로 디스플레이한다. 일부 실시예들에서, 컨테이너(1312), 컨테이너(1314) 및 선택가능 옵션들(1316, 1318)은 이전 도면들에서와 동일한 각도 크기를 갖고, 도 13f에서 실제로 더 작지 않지만, 그들이 사용자의 시점으로부터 더 멀리 있기 때문에 더 작게 보인다. 일부 실시예들에서, 컨테이너들(1312, 1314) 및 선택가능 옵션들(1316, 1318)의 이동은 손(1303c) 및 선택적으로 시선(1301a)에 의해 제공되는 직접 입력의 이동을 계속 검출하는 것에 응답하여 이루어진다. 도 13f에서, 컨테이너(1322)는 그의 가상 그림자의 디스플레이에 대응하는 지점을 지나서 뒤로 이동한다. 도 13f에서, 전자 디바이스(101a)는, 도 13f에 도시된 바와 같이, 컨테이너(1322), 컨테이너(1324) 및 선택가능 옵션들(1326, 1328)을 더 작게 만들고, 일부 실시예들에서, 이들 요소들의 지속적인 이동을 나타내기 위해 이들 요소들을 사용자의 시점으로부터의 입체 깊이가 증가된 상태로 디스플레이한다. 일부 실시예들에서, 컨테이너들(1322, 1324) 및 선택가능 옵션들(1326, 1328)의 이동은 손(1303d) 및 시선(1301b)에 의해 제공되는 에어 제스처 입력의 이동을 계속 검출하는 것에 응답하여 이루어진다. 일부 실시예들에서, 컨테이너(1322), 컨테이너(1324) 및 선택가능 옵션들(1326, 1328)은 이전 도면들에서와 동일한 각도 크기를 갖고, 도 13f에서 실제로 더 작지 않지만, 그들이 사용자의 시점으로부터 더 멀리 있기 때문에 더 작게 보인다. 일부 실시예들에서, 컨테이너들(1322, 1324) 및 선택가능 옵션들(1326, 1328)의 이동은 손(1303e) 및 시선(1301b)에 의해 제공되는 간접 입력의 지속적인 지속기간을 계속 검출하는 것에 응답하여 이루어진다.
일부 실시예들에서, 컨테이너(1312 및/또는 1322)의 이동이 이들 요소들 중 하나로 하여금 전자 디바이스에 의해 디스플레이되는 다른 요소로 이동하게 하고/하거나 그와 충돌하게 하는 경우, 전자 디바이스(101a)는, 또한, 그 요소를 사용자의 시점으로부터 멀리 이동시키기 시작하거나 그 요소를 측방향으로 이동시킨다. 일부 실시예들에서, 도 13c 내지 도 13f에 예시된 상태들 중 임의의 상태에서 직접 입력, 간접 입력, 또는 에어 제스처의 종료를 검출하는 것에 응답하여, 전자 디바이스(101a)는 입력이 지향되었던 요소들을 도 13b의 옵션들(1316, 1318) 및 컨테이너들(1314, 1312)의 시각적 분리와 같은 시각적 분리로 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 사용자의 시선 및/또는 준비 상태가 요소들로 지향되는 것을 검출하는 것에 응답하여 입력이 종료된 후에 요소들을 시각적으로 분리하여 디스플레이한다.
일부 실시예들에서, 도 13a 내지 도 13f를 참조하여 위에서 설명된 예들 중 하나 이상은, 위에서 설명된 방법들(800, 1000, 1200)에 따른 사용자 인터페이스들을 포함하여, 선택가능 사용자 인터페이스 요소들 뒤에 상이한 수의 컨테이너들(예컨대, 하나의 컨테이너, 2개 초과의 컨테이너들)을 포함하는 사용자 인터페이스들에 적용된다. 일부 실시예들에서, 전자 디바이스가 컨테이너들의 위치들을 업데이트하는 방식은 선택가능 사용자 인터페이스 요소 뒤의 컨테이너들의 수 및/또는 컨테이너들의 유형에 따라 상이하다. 예를 들어, 전자 디바이스(101a)는 가상 키보드의 백플레인으로부터 시각적으로 분리되는 가상 키들을 포함하는 소프트 키보드를 디스플레이한다. 일부 실시예들에서, 가상 키들의 입력 위치는 고정되고, 키들의 선택에 응답하여 키들이 변위됨에 따라 업데이트되지 않지만, 다른 선택가능 옵션들의 입력 위치는 선택 입력의 적어도 일부에 응답하여 선택가능 옵션들의 위치가 업데이트됨에 따라 업데이트된다. 일부 실시예들에서, 가상 키보드의 하나 이상의 키들의 선택을 검출하는 것에 응답하여, 전자 디바이스(101a)는 키보드의 백플레인과 선택된 키 사이의 시각적 분리의 양을 감소시키고, 선택된 키를 키의 선택이 검출되기 전의, 키보드의 백플레인과 키 사이의 시각적 분리의 거리보다 더 멀리 이동시키는 것에 대응하는 입력에 응답하여 전체 키보드의 위치를 업데이트한다.
도 14a 내지 도 14l은 일부 실시예들에 따른, 선택가능 사용자 인터페이스 요소들과의 상호작용들을 향상시키는 방법을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1400)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1400)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1400)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
도 13a에서와 같은 일부 실시예들에서, 방법(1400)은, 디스플레이 생성 컴포넌트(예컨대, 120) 및 하나 이상의 입력 디바이스들(예컨대, 314)(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스(예컨대, 101)에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은, 사용자 입력을 수신하고(예컨대, 사용자 입력을 캡처함, 사용자 입력을 검출함 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
도 13a에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101a)는, 디스플레이 생성 컴포넌트(예컨대, 120a)를 통해, 제1 사용자 인터페이스 요소(예컨대, 1316), 제2 사용자 인터페이스 요소(예컨대, 1314), 및 제3 사용자 인터페이스 요소(예컨대, 1312)를 포함하는 사용자 인터페이스를 3차원 환경(예컨대, 디바이스에 의해 볼 수 있도록 생성되거나 디스플레이되거나 또는 달리 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터 생성 현실(CGR) 환경)) 내에 디스플레이한다(1402a). 일부 실시예들에서, 제1 사용자 인터페이스 요소는 선택가능 옵션과 같은 상호작용형 사용자 인터페이스 요소이다. 일부 실시예들에서, 제1 사용자 인터페이스 요소의 선택을 검출하는 것에 응답하여, 전자 디바이스는, 애플리케이션을 개시하는 것, 콘텐츠의 항목을 제시하는 것, 전자 디바이스에 의해 제시된 콘텐츠의 항목의 재생을 수정하는 것, 사용자 인터페이스로 내비게이팅하는 것, 제2 전자 디바이스와의 통신을 개시하는 것, 또는 사용자 인터페이스로 내비게이팅하는 것과 같은 액션을 수행한다. 일부 실시예들에서, 다른 액션들이 가능하다.
도 13b에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 1316)는 제2 사용자 인터페이스 요소(예컨대, 1314)의 경계 내에 디스플레이되고 전자 디바이스의 사용자의 시점을 향한 방향으로 제2 사용자 인터페이스 요소로부터 시각적으로 분리된다(1402b). 일부 실시예들에서, 제2 사용자 인터페이스 요소는, 제1 사용자 인터페이스 요소를 포함한 하나 이상의 사용자 인터페이스 요소들(예컨대, 다른 컨테이너들, 선택가능 옵션들, 콘텐츠 등)을 포함하는 백플레인, 메뉴 또는 애플리케이션 윈도우와 같은 컨테이너이다. 예를 들어, 제2 사용자 인터페이스 요소는 제1 사용자 인터페이스 요소를 포함하는 복수의 선택가능 옵션들을 포함하는 메뉴이다. 일부 실시예들에서, 제1, 제2, 및 제3 사용자 인터페이스 요소들은, 디바이스에 의해 볼 수 있도록 생성되거나 디스플레이되거나 또는 달리 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터 생성 현실(CGR) 환경) 내에 디스플레이된다. 일부 실시예들에서, 전자 디바이스는 3차원 환경 내의 각자의 위치와 연관되는 사용자의 시점으로부터 3차원 환경을 디스플레이한다. 일부 실시예들에서, 전자 디바이스의 물리적 환경에서의 전자 디바이스의 이동은 3차원 환경 내에서의 사용자의 시점의 대응하는 이동을 야기한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소는 제2 사용자 인터페이스 요소와 사용자의 시점 사이에 있는 3차원 환경 내의 위치에 디스플레이되고, 제2 사용자 인터페이스 요소로부터 각자의 0이 아닌 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 또는 50 센티미터)만큼 분리된다. 일부 실시예들에서, 제1 사용자 인터페이스 요소의 위치는 제2 사용자 인터페이스 요소의 경계들 내의 위치로부터 분리된다. 일부 실시예들에서, 제1 사용자 인터페이스 요소는 마치 그가 제2 사용자 인터페이스 요소 앞에서 호버링하고 있는 것처럼 사용자에게 보인다. 일부 실시예들에서, 전자 디바이스는 초기에 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소로부터 분리되지 않고서 디스플레이하고(예컨대, 제1 및 제2 사용자 인터페이스 요소들은 사용자의 시점으로부터 동일한 거리임), 제1, 제2, 또는 제3 사용자 인터페이스 요소로 지향되는 사용자의 시선 중 하나 이상을 검출하는 것 및 미리결정된 형상(예컨대, 하나 이상의 손가락들이 펴지고 하나 이상의 손가락들이 손바닥을 향해 구부러진 포인팅 손 형상, 또는 엄지 손가락이 엄지 손가락의 손 상의 다른 손가락을 터치하는 핀치 손 형상)에 있는 동안 제1, 제2, 또는 제3 사용자 인터페이스 요소로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 또는 30 센티미터) 내에서 사용자의 손을 검출하는 것에 응답하여, 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소로부터 분리한다.
도 13b에서와 같은 일부 실시예들에서, 제2 사용자 인터페이스 요소(예컨대, 1314)는 제3 사용자 인터페이스 요소(예컨대, 1312)의 경계 내에 디스플레이되고 전자 디바이스의 사용자의 시점을 향한 방향으로 제3 사용자 인터페이스 요소(예컨대, 1312)로부터 시각적으로 분리된다(1402c). 일부 실시예들에서, 제3 사용자 인터페이스 요소는, 제2 사용자 인터페이스 요소를 포함한 하나 이상의 사용자 인터페이스 요소들(예컨대, 다른 컨테이너들, 선택가능 옵션들, 콘텐츠 등)을 포함하는 백플레인, 메뉴 또는 애플리케이션 윈도우와 같은 컨테이너이다. 예를 들어, 제3 사용자 인터페이스 요소는, 제2 사용자 인터페이스 요소 및/또는 하나 이상의 선택가능 옵션들 및/또는 다른 사용자 인터페이스 요소들을 포함하는 하나 이상의 컨테이너들을 포함하는 애플리케이션 윈도우이다. 일부 실시예들에서, 제2 사용자 인터페이스 요소는 제3 사용자 인터페이스 요소와 사용자의 시점 사이에 있는 3차원 환경 내의 위치에 디스플레이되고, 제3 사용자 인터페이스 요소로부터 각자의 0이 아닌 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 또는 50 센티미터)만큼 분리된다. 일부 실시예들에서, 제2 사용자 인터페이스 요소의 위치는 제3 사용자 인터페이스 요소의 경계들 내의 위치로부터 분리된다. 일부 실시예들에서, 제2 사용자 인터페이스 요소는 마치 그가 제3 사용자 인터페이스 요소 앞에서 호버링하고 있는 것처럼 사용자에게 보인다. 일부 실시예들에서, 전자 디바이스는 초기에 제2 사용자 인터페이스 요소를 제3 사용자 인터페이스 요소로부터 분리되지 않고서 디스플레이하고(예컨대, 제2 및 제3 사용자 인터페이스 요소들은 사용자의 시점으로부터 동일한 거리임), 제1, 제2, 또는 제3 사용자 인터페이스 요소로 지향되는 사용자의 시선 중 하나 이상을 검출하는 것 및 미리결정된 형상(예컨대, 하나 이상의 손가락들이 펴지고 하나 이상의 손가락들이 손바닥을 향해 구부러진 포인팅 손 형상, 또는 엄지 손가락이 엄지 손가락의 손 상의 다른 손가락을 터치하는 핀치 손 형상)에 있는 동안 제1, 제2, 또는 제3 사용자 인터페이스 요소로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 또는 30 센티미터) 내에서 사용자의 손을 검출하는 것에 응답하여, 제2 사용자 인터페이스 요소를 제3 사용자 인터페이스 요소로부터 분리한다.
도 13c에서와 같은 일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들을 통해, 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 제1 입력을 검출한다(1402d). 일부 실시예들에서, 제1 입력은 제1 사용자 인터페이스 요소를 선택하기 위한 입력이다. 일부 실시예들에서, 제1 입력을 검출하는 것은, 손 추적 디바이스를 통해, 사용자가 그들의 손으로, 사용자가 그들의 엄지 손가락을 동일한 손 상의 다른 손가락에 터치하는 핀치 제스처를 취하는 것을 검출하는 동안, 눈 추적 디바이스를 통해, 제1 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 입력을 검출하는 것은, 손 추적 디바이스를 통해, 손이 손의 하나 이상의 손가락들이 제1 사용자 인터페이스를 향해 펴지고 손의 하나 이상의 손가락들이 손의 손바닥을 향해 구부러진 포인팅 손 형상에 있는 동안 사용자가 그들의 손의 펴진 손가락을 사용하여 제1 사용자 인터페이스 요소를 제2 및 제3 사용자 인터페이스 요소들을 향해 "푸시"하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 입력을 검출하는 것은, 손 추적 디바이스를 통해, 손이 엄지 손가락이 동일한 손 상의 다른 손가락을 터치하는 핀치 손 형상에 있는 동안 사용자가 제1 사용자 인터페이스 요소를 제2 및 제3 사용자 인터페이스 요소들을 향해 "푸시"하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 입력을 검출하는 것은, 손 추적 디바이스를 통해, 손이 제1 사용자 인터페이스 요소의 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 10, 또는 30 센티미터) 내에 있는 동안 사용자가 핀치 손 형상을 취하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제2(예컨대, 그리고 제3) 사용자 인터페이스 요소를 향한 제1 사용자 인터페이스 요소의 이동을 야기하는 다른 입력들이 가능하다.
도 13c에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 제1 입력을 검출하는 것에 응답하여, 그리고 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라(1402e), 제1 입력이 제1 크기(예컨대, 제1 입력을 검출하기 전의 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 (예컨대, 0이 아닌) 거리 이하인 크기)의 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는, 3차원 환경에서 제2 사용자 인터페이스 요소(예컨대, 1314) 또는 제3 사용자 인터페이스(예컨대, 1312)를 이동시키지 않고서, 제1 입력에 따라 제1 사용자 인터페이스 요소(예컨대, 1316)를 사용자의 시점으로부터 멀리 제2 사용자 인터페이스 요소(예컨대, 1314)를 향해 이동시킨다(1402f). 일부 실시예들에서, 제1 입력이 제2 사용자 인터페이스 요소를 넘어 연장되지 않고서 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소를 향해 이동시키는 경우, 전자 디바이스는 제2 또는 제3 사용자 인터페이스 요소들을 이동시키지 않는다. 일부 실시예들에서, 하나 이상의 기준들은 제1 입력이 제2 및 제3 사용자 인터페이스 요소들을 향한 제1 사용자 인터페이스 요소의 이동을 야기할 때 만족되는 기준을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소에 대한 선택 입력을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소를 제2 및 제3 사용자 인터페이스 요소들을 향해 이동시킨다. 예를 들어, 위에서 설명된 바와 같이 사용자가 핀치 제스처를 취하는 동안 제1 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 손가락과 엄지 손가락이 서로 접촉하고 있는 동안 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소를 향해 미리결정된 속도(예컨대, 일정한 속도 또는 시간 경과에 따라 변화하는 속도)로 이동시키고, 제1 사용자 인터페이스 요소가 제2 사용자 인터페이스 요소에 도달할 때 제1 사용자 인터페이스 요소를 선택한다. 다른 예로서, 위에서 설명된 바와 같이 손이 제1 사용자 인터페이스 요소의 임계 거리 내에 있는 동안 사용자가 핀치 제스처를 취하는 것을 검출하는 것에 응답하여, 전자 디바이스는 손가락과 엄지 손가락이 서로 접촉하고 있는 동안 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소를 향해 미리결정된 속도(예컨대, 일정한 속도 또는 시간 경과에 따라 변화하는 속도)로 이동시키고, 제1 사용자 인터페이스 요소가 제2 사용자 인터페이스 요소에 도달할 때 제1 사용자 인터페이스 요소를 선택한다. 다른 예로서, (예컨대, 손이 포인팅 손 형상 또는 핀치 손 형상에 있는 동안) 사용자가 제1 사용자 인터페이스 요소를 제2 및 제3 사용자 인터페이스 요소들을 향해 "푸시"하는 것을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 손/손가락이 제1 사용자 인터페이스 요소를 "푸시"하는 이동의 거리에 대응하는 거리만큼 제1 사용자 인터페이스 요소를 제2 및 제3 사용자 인터페이스 요소들을 향해 이동시키고, 제1 사용자 인터페이스 요소가 제2 사용자 인터페이스 요소에 도달할 때 제1 사용자 인터페이스 요소를 선택한다.
도 13d에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 제1 입력을 검출하는 것에 응답하여, 그리고 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라(1402e), 제1 입력이 제1 크기보다 큰 제2 크기(예컨대, 제1 입력을 검출하기 전의 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 (예컨대, 0이 아닌) 거리 초과이지만. 제1 입력을 검출하기 전의 제1 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 거리 이하인 크기)의 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는, 3차원 환경에서 제3 사용자 인터페이스(예컨대, 1312)를 이동시키지 않고서, 제1 입력에 따라 사용자의 시점으로부터 멀리, 제1 사용자 인터페이스 요소(예컨대, 1316)를 제2 사용자 인터페이스 요소(예컨대, 1314)를 향해, 그리고 제2 사용자 인터페이스 요소(예컨대, 1314)를 제3 사용자 인터페이스 요소(예컨대, 1312)를 향해 이동시킨다(1402g). 일부 실시예들에서, 제1 입력이 제3 사용자 인터페이스 요소를 넘어 연장되지 않고서 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소의 위치를 지나서(또는 그를 통해) 이동시키는 경우, 제1 입력은, 제1 입력에 따라, 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소로 이동시키고, 이어서, 또한 제2 사용자 인터페이스 요소를 이동시키면서 제1 사용자 인터페이스 요소를 계속 이동시킨다.
도 13f에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 제1 입력을 검출하는 것에 응답하여, 그리고 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라(1402e), 제1 입력이 제2 크기보다 큰 제3 크기(예컨대, 제1 입력을 검출하기 전의 제1 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 거리 초과인 크기)의 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는, 제1 입력에 따라, 제1 사용자 인터페이스 요소(예컨대, 1316)를 제2 사용자 인터페이스 요소(예컨대, 1314)를 향해, 제2 사용자 인터페이스 요소(예컨대, 1314)를 제3 사용자 인터페이스 요소(예컨대, 1312)를 향해, 그리고 제3 사용자 인터페이스 요소(예컨대, 1312)를 사용자의 시점으로부터 멀리 이동시킨다(1402h). 일부 실시예들에서, 제1 입력이 제1 사용자 인터페이스 요소를 제2 및 제3 사용자 인터페이스 요소들의 위치들을 지나서(또는 그를 통해) 이동시키는 경우, 제1 입력은, 제1 입력에 따라, 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소에 도달하도록 이동시키고, 이어서, 제1 사용자 인터페이스 요소를 제3 사용자 인터페이스 요소에 도달하도록 계속 이동시키면서 제2 사용자 인터페이스 요소를 이동시키며, 이어서, 제1 및 제2 사용자 인터페이스 요소들을 계속 이동시키면서 제3 사용자 인터페이스 요소를 이동시킨다.
제1 입력의 크기에 따라 제1 입력에 응답하여 제1 사용자 인터페이스 요소, 제2 사용자 인터페이스 요소 및/또는 제3 사용자 인터페이스 요소를 이동시키는 것은, 제1 사용자 인터페이스 요소에 대한 입력을 제공하면서 사용자에게 향상된 시각적 피드백을 제공하는데, 이는 사용자 오류들 및 사용자 오류들을 정정하는 데 필요한 시간 및 입력들을 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 제1 입력의 종료가 검출될 때 만족되는 기준을 포함한 하나 이상의 제2 기준들이 만족된다는 것을 검출하는 것에 응답하여(1404a), 전자 디바이스(예컨대, 101a)는, 디스플레이 생성 컴포넌트를 통해, 전자 디바이스의 사용자의 시점을 향한 방향으로 제2 사용자 인터페이스 요소(예컨대, 1314)로부터 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1316)를 디스플레이한다(1404b). 일부 실시예들에서, 하나 이상의 제2 기준들은 사용자의 시선이 제1 사용자 인터페이스 요소로 지향될 때 만족되는 기준을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준들은, 전자 디바이스가, 미리결정된 형상(예컨대, 하나 이상의 손가락들이 펴지고 하나 이상의 손가락들이 손바닥을 향해 구부러진 포인팅 손 형상, 또는 엄지 손가락이 엄지 손가락의 손 상의 다른 손가락을 터치하는 핀치 손 형상)에 있는 동안 제1, 제2, 또는 제3 사용자 인터페이스 요소로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 또는 30 센티미터) 내에서 사용자의 미리정의된 부분(예컨대, 손)을 검출하는 것을 포함하는 사용자의 미리정의된 부분(예컨대, 사용자의 손)의 준비 상태를 검출할 때 만족되는 기준을 포함한다. 일부 실시예들에서, 제1 입력의 종료를 검출하는 것은 입력을 검출하기 위한 하나 이상의 기준들을 만족시키지 않는 손 형상의 사용자의 미리정의된 부분(예컨대, 사용자의 손)을 검출하는 것을 포함한다. 예를 들어, 제1 입력을 검출하는 것은 핀치 손 형상의 사용자의 손을 검출하는 것을 포함하고, 입력의 종료를 검출하는 것은 더 이상 핀치 손 형상에 있지 않은 사용자의 손을 검출하는 것을 포함한다. 다른 예로서, 입력의 종료를 검출하는 것은 (예컨대, 사용자가 사용자의 미리정의된 부분을 입력 디바이스의 범위 밖으로 이동시켰기 때문에) 제1 입력을 검출한 입력 디바이스(예컨대, 손 추적 디바이스)를 통해 사용자의 미리정의된 부분(예컨대, 손)을 더 이상 검출하지 않는 것을 포함한다. 일부 실시예들에서, 입력의 종료를 검출하는 것은 사용자의 미리정의된 부분(예컨대, 손)의 미리정의된 이동을 검출하는 것을 포함한다. 예를 들어, 제1 입력을 검출하는 것은 사용자가 3차원 환경에서 사용자의 시점으로부터 멀리 제1 사용자 인터페이스 요소를 "푸시"하는 것을 검출하는 것을 포함하고, 제1 입력의 종료를 검출하는 것은 3차원 환경에서의 사용자의 시점을 향한 사용자의 손의 모션을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준들이 만족된다는 것을 검출하는 것에 응답한 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 양은 제1 입력을 검출하기 전의 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 양과 동일하다. 일부 실시예들에서, 하나 이상의 제2 기준들이 만족된다는 것을 검출하는 것에 응답한 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 양과 제1 입력을 검출하기 전의 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 양은 상이하다.
도 13b에서와 같은 일부 실시예들에서, 제1 입력의 종료가 검출될 때 만족되는 기준을 포함한 하나 이상의 제2 기준들이 만족된다는 것을 검출하는 것에 응답하여(1404a), 전자 디바이스(예컨대, 101a)는, 디스플레이 생성 컴포넌트(예컨대, 120a)를 통해, 전자 디바이스(예컨대, 101)의 사용자의 시점을 향한 방향으로 제3 사용자 인터페이스 요소(예컨대, 1312)로부터 시각적으로 분리되는 제2 사용자 인터페이스 요소(예컨대, 1314)를 디스플레이한다(1404c). 일부 실시예들에서, 하나 이상의 제2 기준들이 만족된다는 것을 검출하는 것에 응답한 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 분리의 양은 제1 입력을 검출하기 전의 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 분리의 양과 동일하다. 일부 실시예들에서, 하나 이상의 제2 기준들이 만족된다는 것을 검출하는 것에 응답한 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 분리의 양과 제1 입력을 검출하기 전의 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 분리의 양은 상이하다. 하나 이상의 제2 기준들이 만족되는 것을 검출하는 것에 응답하여 제1, 제2 및 제3 사용자 인터페이스 요소들을 시각적으로 분리하여 디스플레이하는 것은, 사용자에게 제1 입력이 검출되었다는 개선된 시각적 피드백을 제공하여, 그에 의해, 사용자에게 제공되는 시각적 피드백을 개선한다.
도 13d에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 제1 입력을 검출하는 것에 응답하여, 그리고 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라(1406a), 제1 입력이 각자의 크기보다 큰 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는 제1 사용자 인터페이스 요소(예컨대, 1316)와 연관된 동작을 수행한다(1406b). 일부 실시예들에서, 입력의 크기는, 제1 사용자 인터페이스 요소가 입력의 이동 컴포넌트의 지속기간, 거리, 및/또는 속도에 기초하여 입력의 이동 컴포넌트에 응답하여 3차원 환경에서 이동하는 거리이다. 예를 들어, 입력이 지향성 옵션(예컨대, 키보드 또는 가상 키보드 상의 화살표 키)의 선택을 포함하는 경우, 입력의 크기는 지향성 옵션이 선택, 클릭, 또는 유지되는 지속기간에 기초한다. 다른 예로서, 입력이 사용자의 미리정의된 부분(예컨대, 사용자의 손)의 이동을 포함하는 경우, 입력의 크기는 사용자의 미리정의된 부분의 이동의 거리, 속도, 또는 지속기간에 기초한다. 일부 실시예들에서, 각자의 크기는 제1 크기 이상이고 제2 크기보다 작다. 일부 실시예들에서, 각자의 크기는 제1 크기이다. 일부 실시예들에서, 각자의 크기는 제2 크기이다. 일부 실시예들에서, 각자의 크기는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 거리에 대응한다. 예를 들어, 제1 입력의 크기가 제2 사용자 인터페이스 요소를 만나도록 제1 사용자 인터페이스 요소를 "푸시"하기에 충분한 경우, 전자 디바이스는 제1 사용자 인터페이스 요소와 연관된 동작을 수행한다.
도 13c에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 제1 입력을 검출하는 것에 응답하여, 그리고 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라(1406a), 제1 입력이 각자의 크기보다 작은 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101)는 제1 사용자 인터페이스 요소(예컨대, 1316)와 연관된 동작을 수행하는 것을 보류한다(1406c). 일부 실시예들에서, 각자의 크기는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 거리에 대응한다. 예를 들어, 제1 입력의 크기가 제2 사용자 인터페이스 요소를 만나도록 제1 사용자 인터페이스 요소를 "푸시"하기에 충분한 경우, 전자 디바이스는 제1 사용자 인터페이스 요소와 연관된 동작을 수행하는 것을 보류한다. 제1 입력의 크기에 기초하여, 제1 사용자 인터페이스 요소와 연관된 동작을 수행하거나 수행하지 않는 것은, 제1 입력의 크기가 각자의 크기에 도달하기 전에 입력을 중지함으로써, 제1 사용자 인터페이스 요소에 대응하는 동작을 수행하기 위한 입력을 취소하는 능력을 사용자에게 제공하여, 그에 의해, 사용자 오류를 감소시키고, 사용자 오류를 정정하는 데 필요한 입력들의 수를 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 각자의 크기는 제1 입력을 검출하기 전에 전자 디바이스(예컨대, 101)의 사용자의 시점을 향한 방향으로의 제1 사용자 인터페이스 요소(예컨대, 1316)와 제2 사용자 인터페이스 요소(예컨대, 1314) 사이의 시각적 분리의 크기에 대응한다(1408a). 일부 실시예들에서, 각자의 크기는, 입력에 응답하여, 전자 디바이스가 3차원 환경에서 제1 사용자 인터페이스 요소를 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양과 동일한 거리만큼 이동시킬 때, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 크기에 대응한다. 일부 실시예들에서, 전자 디바이스로 하여금 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소의 위치로 이동시키게(예컨대, 제1 사용자 인터페이스 요소를 제2 사용자 인터페이스 요소와 접촉시킴) 하는 (예컨대, 이동의) 크기를 갖는 입력에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소와 연관된 동작을 수행한다. 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 크기에 대응하는 제1 입력의 각자의 크기에 따라, 제1 사용자 인터페이스 요소와 연관된 동작을 수행하는 것은, 제1 사용자 인터페이스 요소와 연관된 동작을 수행하기 위해 제1 입력에 포함될 크기의 정도의 향상된 시각적 피드백을 사용자에게 제공하여, 그에 의해 사용자에게 효율적이고 개선된 시각적 피드백을 제공한다.
도 13e에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 제1 입력을 검출하는 것에 응답하여, 그리고 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라(1410a), 제1 입력이 각자의 크기보다 큰 크기를 갖는 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는, 제1 입력에 대응하는 크기가 각자의 크기를 초과하는 양에 관계없이, 제1 사용자 인터페이스 요소(예컨대, 1316)와 연관된 동작을 수행한다(1410b). 일부 실시예들에서, 제1 입력의 크기가 각자의 크기 이상인 한, 전자 디바이스는 제1 사용자 인터페이스 요소와 연관된 동작을 수행한다. 일부 실시예들에서, 각자의 크기는 제2 크기보다 크다. 일부 실시예들에서, 각자의 크기는 제3 크기보다 크다. 일부 실시예들에서, 각자의 크기를 초과하는 입력에 응답하여, 제1 및/또는 제2 및/또는 제3 사용자 인터페이스 요소들이 3차원 환경에서 사용자의 시점으로부터 멀리 이동하는 거리는 각자의 크기의 입력에 응답하여 제1 및/또는 제2 및/또는 제3 사용자 인터페이스 요소들이 3차원 환경에서 사용자의 시점으로부터 멀리 이동하는 거리보다 크다. 일부 실시예들에서, 각자의 크기에 대응하는 입력을 검출하는 것에 응답하여 전자 디바이스에 의해 수행되는 동작은 각자의 크기보다 큰 크기에 대응하는 입력을 검출하는 것에 응답하여 전자 디바이스에 의해 수행되는 동작과 동일하다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 제1 각자의 사용자 인터페이스 요소를 제2 각자의 사용자 인터페이스 요소로 "푸시"하라는 요청에 대응하는 입력에 응답하여, 전자 디바이스는 각자의 액션을 수행한다. 일부 실시예들에서, 제1 각자의 사용자 인터페이스 요소를 제1 각자의 사용자 인터페이스 요소와 제2 각자의 사용자 인터페이스 요소 사이의 시각적 분리보다 큰 거리만큼 "푸시"하라는 요청에 대응하는 입력에 응답하여, 전자 디바이스는 동일한 각자의 액션을 수행한다. 제1 입력에 대응하는 크기가 각자의 크기를 초과하는 양에 관계없이, 제1 사용자 인터페이스 요소와 연관된 동작을 수행하는 것은, 사용자에게 단순화된 사용자 입력 기준들을 제공하여, 그에 의해, 사용자 오류들을 감소시키고, 사용자 오류들을 정정하는 데 필요한 사용자 입력들을 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101)의 사용자의 시점을 향한 방향으로 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1316) 및 제2 사용자 인터페이스 요소(예컨대, 1314)를 디스플레이하는 것은 제1 사용자 인터페이스 요소(예컨대, 1316) 또는 제2 사용자 인터페이스 요소(예컨대, 1314)를 제1 사용자 인터페이스 요소(예컨대, 1316)와 제2 사용자 인터페이스 요소(예컨대, 1316) 사이의 시각적 분리에 기초하여 결정되는 크기들로 디스플레이하는 것을 포함한다(1412a). 일부 실시예들에서, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리에 대응하는 크기들로 디스플레이된다. 예를 들어, 비교적 많은 양의 시각적 분리에 대해, 제1 사용자 인터페이스 요소는 (예컨대, 제2 사용자 인터페이스 요소로부터의 시각적 분리가 더 적은 상태로 디스플레이되는 동안의 제1 사용자 인터페이스 요소의 크기와 비교하여) 상대적으로 큰 크기로 디스플레이되고/되거나, 제2 사용자 인터페이스 요소는 (예컨대, 제1 사용자 인터페이스 요소로부터의 시각적 분리가 더 적은 상태로 디스플레이되는 동안의 제2 사용자 인터페이스 요소의 크기와 비교하여) 상대적으로 작은 크기로 디스플레이된다. 다른 예로서, 비교적 적은 양의 시각적 분리에 대해, 제1 사용자 인터페이스 요소는 (예컨대, 제2 사용자 인터페이스 요소로부터의 시각적 분리가 더 많은 상태로 디스플레이되는 동안의 제1 사용자 인터페이스 요소의 크기와 비교하여) 상대적으로 작은 크기로 디스플레이되고/되거나, 제2 사용자 인터페이스 요소는 (예컨대, 제1 사용자 인터페이스 요소로부터의 시각적 분리가 더 많은 상태로 디스플레이되는 동안의 제2 사용자 인터페이스 요소의 크기와 비교하여) 상대적으로 큰 크기로 디스플레이된다. 일부 실시예들에서, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양이 (예컨대, 사용자 입력에 응답하여) 변화함에 따라, 전자 디바이스는 제1 및/또는 제2 사용자 인터페이스 요소들의 크기(들)를 변경한다.
도 13b에서와 같은 일부 실시예들에서, 전자 디바이스의 사용자의 시점을 향한 방향으로 시각적으로 분리되는 제2 사용자 인터페이스 요소(예컨대, 1314) 및 제3 사용자 인터페이스 요소(예컨대, 1312)를 디스플레이하는 것은 제2 사용자 인터페이스 요소(예컨대, 1314) 또는 제3 사용자 인터페이스 요소(예컨대, 1312)를 제2 사용자 인터페이스 요소(예컨대, 1314)와 제3 사용자 인터페이스 요소(예컨대, 1312) 사이의 시각적 분리에 기초하여 결정되는 크기들로 디스플레이하는 것을 포함한다(1412b). 일부 실시예들에서, 제2 사용자 인터페이스 요소 및 제3 사용자 인터페이스 요소는 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리에 대응하는 크기들로 디스플레이된다. 예를 들어, 비교적 많은 양의 시각적 분리에 대해, 제2 사용자 인터페이스 요소는 (예컨대, 제3 사용자 인터페이스 요소로부터의 시각적 분리가 더 적은 상태로 디스플레이되는 동안의 제2 사용자 인터페이스 요소의 크기와 비교하여) 상대적으로 큰 크기로 디스플레이되고/되거나, 제3 사용자 인터페이스 요소는 (예컨대, 제2 사용자 인터페이스 요소로부터의 시각적 분리가 더 적은 상태로 디스플레이되는 동안의 제3 사용자 인터페이스 요소의 크기와 비교하여) 상대적으로 작은 크기로 디스플레이된다. 다른 예로서, 비교적 적은 양의 시각적 분리에 대해, 제2 사용자 인터페이스 요소는 (예컨대, 제3 사용자 인터페이스 요소로부터의 시각적 분리가 더 많은 상태로 디스플레이되는 동안의 제2 사용자 인터페이스 요소의 크기와 비교하여) 상대적으로 작은 크기로 디스플레이되고/되거나, 제3 사용자 인터페이스 요소는 (예컨대, 제2 사용자 인터페이스 요소로부터의 시각적 분리가 더 많은 상태로 디스플레이되는 동안의 제3 사용자 인터페이스 요소의 크기와 비교하여) 상대적으로 큰 크기로 디스플레이된다. 일부 실시예들에서, 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리의 양이 (예컨대, 사용자 입력에 응답하여) 변화함에 따라, 전자 디바이스는 제2 및/또는 제3 사용자 인터페이스 요소들의 크기(들)를 변경한다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 제1 각자의 사용자 인터페이스 요소 및 제2 각자의 사용자 인터페이스 요소를 제1 각자의 사용자 인터페이스 요소 및/또는 제2 사용자 인터페이스 요소의 크기(들)에 의해 표현되는 시각적 분리로 디스플레이한다. 사용자 인터페이스 요소들의 크기들을 사용하여, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리 및 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리와 같은, 사용자 인터페이스 요소들 사이의 시각적 분리를 표현하는 것은, 다양한 사용자 인터페이스 요소들 사이의 분리의 개선된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용자가 시스템에 사용자 입력들을 제공할 때 시각적 피드백을 향상시키며, 이는 사용자 오류를 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 전자 디바이스의 사용자의 시점을 향한 방향으로 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1316) 및 제2 사용자 인터페이스 요소(예컨대, 1314)를 디스플레이하는 것은 제1 사용자 인터페이스 요소(예컨대, 1316) 또는 제2 사용자 인터페이스 요소(예컨대, 1314)를 제1 사용자 인터페이스 요소(예컨대, 1316)와 제2 사용자 인터페이스 요소(예컨대, 1314) 사이의 시각적 분리에 기초하여 결정되는 상이한 입체 깊이들로 디스플레이하는 것을 포함한다(1414a). 일부 실시예들에서, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리에 대응하는 입체 깊이들로 디스플레이된다. 예를 들어, 비교적 많은 양의 시각적 분리에 대해, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 입체 깊이는 비교적 적은 양의 시각적 분리에 대한 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 입체 깊이의 차이보다 크다. 일부 실시예들에서, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양이 (예컨대, 사용자 입력에 응답하여) 변화함에 따라, 전자 디바이스는 제1 및/또는 제2 사용자 인터페이스 요소들 사이의 입체 깊이 및/또는 그의 입체 깊이들을 변경한다.
도 13b에서와 같은 일부 실시예들에서, 전자 디바이스의 사용자의 시점을 향한 방향으로 시각적으로 분리되는 제2 사용자 인터페이스 요소(예컨대, 1314) 및 제3 사용자 인터페이스 요소(예컨대, 1312)를 디스플레이하는 것은 제2 사용자 인터페이스 요소(예컨대, 1314) 또는 제3 사용자 인터페이스 요소(예컨대, 1312)를 제2 사용자 인터페이스 요소(예컨대, 1314)와 제3 사용자 인터페이스 요소(예컨대, 1312) 사이의 시각적 분리에 기초하여 결정되는 상이한 입체 깊이들로 디스플레이하는 것을 포함한다(1414b). 일부 실시예들에서, 제2 사용자 인터페이스 요소 및 제3 사용자 인터페이스 요소는 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리에 대응하는 입체 깊이들로 디스플레이된다. 예를 들어, 비교적 많은 양의 시각적 분리에 대해, 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 입체 깊이들은 비교적 적은 양의 시각적 분리에 대한 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 입체 깊이들의 차이보다 크다. 일부 실시예들에서, 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리의 양이 (예컨대, 사용자 입력에 응답하여) 변화함에 따라, 전자 디바이스는 제2 및/또는 제3 사용자 인터페이스 요소들 사이의 입체 깊이 및/또는 그의 입체 깊이들을 변경한다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 제1 각자의 사용자 인터페이스 요소 및 제2 각자의 사용자 인터페이스 요소를 전자 디바이스가 제1 각자의 사용자 인터페이스 요소 및/또는 제2 사용자 인터페이스 요소를 디스플레이하는 입체 깊이(들)에 의해 표현되는 시각적 분리로 디스플레이한다. 사용자 인터페이스 요소들 사이의 입체 깊이들을 사용하여, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리 및 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리와 같은, 사용자 인터페이스 요소들 사이의 시각적 분리를 표현하는 것은, 다양한 사용자 인터페이스 요소들 사이의 분리의 개선된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용자가 시스템에 사용자 입력들을 제공할 때 시각적 피드백을 향상시키며, 이는 사용자 오류를 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 전자 디바이스의 사용자의 시점을 향한 방향으로 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1316) 및 제2 사용자 인터페이스 요소(예컨대, 1314)를 디스플레이하는 것은 제1 사용자 인터페이스 요소(예컨대, 1316) 또는 제2 사용자 인터페이스 요소(예컨대, 1314)를 제1 사용자 인터페이스 요소(예컨대, 1316)와 제2 사용자 인터페이스 요소(예컨대, 1314) 사이의 시각적 분리에 기초하여 결정되는 하나 이상의 가상 그림자들과 함께 디스플레이하는 것을 포함한다(1416a). 일부 실시예들에서, 제1 사용자 인터페이스 요소 및/또는 제2 사용자 인터페이스 요소는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리에 대응하는 가상 그림자들과 함께 디스플레이된다. 예를 들어, 전자 디바이스는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양에 기초한 크기 및/또는 위치로 제2 사용자 인터페이스 요소(예컨대, 그의 일부분) 상에 오버레이되는 제1 사용자 인터페이스 요소의 가상 그림자를 디스플레이한다. 예를 들어, 비교적 많은 양의 시각적 분리에 대해, 제1 사용자 인터페이스 요소는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 비교적 적은 양의 시각적 분리에 대한 제1 사용자 인터페이스 요소로부터의 가상 그림자의 거리에 비해 제1 사용자 인터페이스 요소로부터 상대적으로 큰 거리인 가상 그림자와 함께 제2 사용자 인터페이스 요소 상에 디스플레이된다. 일부 실시예들에서, 가상 그림자는 측방향 컴포넌트를 포함하는 방향으로(예컨대, 3차원 환경에서 좌측 또는 우측을 향해) 제1 사용자 인터페이스 요소로부터 멀리 디스플레이된다. 일부 실시예들에서, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양이 (예컨대, 사용자 입력에 응답하여) 변화함에 따라, 전자 디바이스는 제1 및/또는 제2 사용자 인터페이스 요소들에 의해 드리워지는 가상 그림자들의 크기(들) 및/또는 위치(들)를 변경한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양에 대응하는 서로로부터의 거리들에서 3차원 환경의 (예컨대, 가상, 실제) 표면들(예컨대, 바닥들, 벽들) 상에 제1 및 제2 사용자 인터페이스 요소들의 가상 드롭 섀도우(drop shadow)들을 디스플레이한다.
도 13b에서와 같은 일부 실시예들에서, 전자 디바이스의 사용자의 시점을 향한 방향으로 시각적으로 분리되는 제2 사용자 인터페이스 요소(예컨대, 1314) 및 제3 사용자 인터페이스 요소(예컨대, 1312)를 디스플레이하는 것은 제2 사용자 인터페이스 요소(예컨대, 1314) 또는 제3 사용자 인터페이스 요소(예컨대, 1312)를 제2 사용자 인터페이스 요소(예컨대, 1314)와 제3 사용자 인터페이스 요소(예컨대, 1312) 사이의 시각적 분리에 기초하여 결정되는 하나 이상의 가상 그림자들과 함께 디스플레이하는 것을 포함한다(1416b). 일부 실시예들에서, 제2 사용자 인터페이스 요소 및/또는 제3 사용자 인터페이스 요소는 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리에 대응하는 가상 그림자들과 함께 디스플레이된다. 예를 들어, 전자 디바이스는 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리의 양에 기초한 크기 및/또는 위치로 제3 사용자 인터페이스 요소(예컨대, 그의 일부분) 상에 오버레이되는 제2 사용자 인터페이스 요소의 가상 그림자를 디스플레이한다. 예를 들어, 비교적 많은 양의 시각적 분리에 대해, 제2 사용자 인터페이스 요소는 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 비교적 적은 양의 시각적 분리에 대한 제2 사용자 인터페이스 요소로부터의 가상 그림자의 거리에 비해 제2 사용자 인터페이스 요소로부터 상대적으로 큰 거리인 가상 그림자와 함께 제3 사용자 인터페이스 요소 상에 디스플레이된다. 일부 실시예들에서, 제2 사용자 인터페이스 요소의 가상 그림자는 측방향 컴포넌트를 포함하는 방향으로(예컨대, 3차원 환경에서 좌측 또는 우측을 향해) 제2 사용자 인터페이스 요소로부터 멀리 디스플레이된다. 일부 실시예들에서, 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리의 양이 (예컨대, 사용자 입력에 응답하여) 변화함에 따라, 전자 디바이스는 제2 및/또는 제3 사용자 인터페이스 요소들에 의해 드리워지는 가상 그림자들의 크기(들) 및/또는 위치(들)를 변경한다. 일부 실시예들에서, 전자 디바이스는 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리의 양에 대응하는 서로로부터의 거리들에서 3차원 환경의 (예컨대, 가상, 실제) 표면들(예컨대, 바닥들, 벽들) 상에 제2 및 제3 사용자 인터페이스 요소들의 가상 드롭 섀도우들을 디스플레이한다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 제1 각자의 사용자 인터페이스 요소 및 제2 각자의 사용자 인터페이스 요소를 제1 각자의 사용자 인터페이스 요소 및/또는 제2 사용자 인터페이스 요소의 가상 그림자(들)에 의해 표현되는 시각적 분리로 디스플레이한다. 가상 그림자들을 사용하여, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리 및 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리와 같은, 사용자 인터페이스 요소들 사이의 시각적 분리를 표현하는 것은, 다양한 사용자 인터페이스 요소들 사이의 분리의 개선된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용자가 시스템에 사용자 입력들을 제공할 때 시각적 피드백을 향상시키며, 이는 사용자 오류를 감소시킨다.
도 13c에서와 같은 일부 실시예들에서, 하나 이상의 기준들은, 전자 디바이스(예컨대, 101)가, 눈 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 1301a)이 제1 사용자 인터페이스 요소(예컨대, 1316)로 지향된다는 것을 검출할 때 만족되는 기준을 포함하고, 3차원 환경 내의 사용자 인터페이스는 제4 사용자 인터페이스 요소(예컨대, 1326), 제5 사용자 인터페이스 요소(예컨대, 1324), 및 제6 사용자 인터페이스 요소(예컨대, 1322)를 추가로 포함한다(1418a). 일부 실시예들에서, 제1 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것은 전자 디바이스로 하여금 제1 사용자 입력을 제1 사용자 인터페이스 요소로 지향시키게 한다. 일부 실시예들에서, 사용자 입력을 수신하는 동안 상이한 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 사용자 입력을 다른 사용자 인터페이스 요소로 지향시킨다.
도 13c에서와 같은 일부 실시예들에서, 제4 사용자 인터페이스 요소(예컨대, 1326)는 제5 사용자 인터페이스 요소(예컨대, 1324)의 경계 내에 디스플레이되고 전자 디바이스(예컨대, 101)의 사용자의 시점을 향한 방향으로 제5 사용자 인터페이스 요소(예컨대, 1324)로부터 시각적으로 분리된다(1418b). 일부 실시예들에서, 제5 사용자 인터페이스 요소는, 제4 사용자 인터페이스 요소를 포함한 하나 이상의 사용자 인터페이스 요소들(예컨대, 다른 컨테이너들, 선택가능 옵션들, 콘텐츠 등)을 포함하는 백플레인, 메뉴 또는 애플리케이션 윈도우와 같은 컨테이너이다. 예를 들어, 제4 사용자 인터페이스 요소는 제4 사용자 인터페이스 요소를 포함하는 복수의 선택가능 옵션들을 포함하는 메뉴이다. 일부 실시예들에서, 제4 사용자 인터페이스 요소는 제5 사용자 인터페이스 요소와 사용자의 시점 사이에 있는 3차원 환경 내의 위치에 디스플레이되고, 제5 사용자 인터페이스 요소로부터 각자의 0이 아닌 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 또는 50 센티미터)만큼 분리된다. 일부 실시예들에서, 제4 사용자 인터페이스 요소의 위치는 제5 사용자 인터페이스 요소의 경계들 내의 위치로부터 분리된다. 일부 실시예들에서, 제4 사용자 인터페이스 요소는 마치 그가 제5 사용자 인터페이스 요소 앞에서 호버링하고 있는 것처럼 사용자에게 보인다.
도 13c에서와 같은 일부 실시예들에서, 제5 사용자 인터페이스 요소(예컨대, 1324)는 제6 사용자 인터페이스 요소(예컨대, 1322)의 경계 내에 디스플레이되고 전자 디바이스의 사용자의 시점을 향한 방향으로 제6 사용자 인터페이스 요소(예컨대, 1322)로부터 시각적으로 분리된다(1418c). 일부 실시예들에서, 제6 사용자 인터페이스 요소는, 제5 사용자 인터페이스 요소를 포함한 하나 이상의 사용자 인터페이스 요소들(예컨대, 다른 컨테이너들, 선택가능 옵션들, 콘텐츠 등)을 포함하는 백플레인, 메뉴 또는 애플리케이션 윈도우와 같은 컨테이너이다. 예를 들어, 제6 사용자 인터페이스 요소는, 제5 사용자 인터페이스 요소 및/또는 하나 이상의 선택가능 옵션들 및/또는 다른 사용자 인터페이스 요소들을 포함하는 하나 이상의 컨테이너들을 포함하는 애플리케이션 윈도우이다. 일부 실시예들에서, 제5 사용자 인터페이스 요소는 제6 사용자 인터페이스 요소와 사용자의 시점 사이에 있는 3차원 환경 내의 위치에 디스플레이되고, 제6 사용자 인터페이스 요소로부터 각자의 0이 아닌 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 또는 50 센티미터)만큼 분리된다. 일부 실시예들에서, 제5 사용자 인터페이스 요소의 위치는 제6 사용자 인터페이스 요소의 경계들 내의 위치로부터 분리된다. 일부 실시예들에서, 제5 사용자 인터페이스 요소는 마치 그가 제6 사용자 인터페이스 요소 앞에서 호버링하고 있는 것처럼 사용자에게 보인다.
도 13c에서와 같은 일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들을 통해, 제4 사용자 인터페이스 요소(예컨대, 1326)에 대한 제2 입력을 검출한다(1418d). 일부 실시예들에서, 제2 입력은 제4 사용자 인터페이스 요소를 선택하기 위한 입력이다. 일부 실시예들에서, 제2 입력을 검출하는 것은, 손 추적 디바이스를 통해, 사용자가 그들의 손으로, 사용자가 그들의 엄지 손가락을 동일한 손 상의 다른 손가락에 터치하는 핀치 제스처를 취하는 것을 검출하는 동안, 눈 추적 디바이스를 통해, 제4 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것을 포함한다. 일부 실시예들에서, 제2 입력을 검출하는 것은, 손 추적 디바이스를 통해, 손이 손의 하나 이상의 손가락들이 제4 사용자 인터페이스를 향해 펴지고 손의 하나 이상의 손가락들이 손의 손바닥을 향해 구부러진 포인팅 손 형상에 있는 동안 사용자가 그들의 손의 펴진 손가락을 사용하여 제4 사용자 인터페이스 요소를 제5 및 제6 사용자 인터페이스 요소들을 향해 "푸시"하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제2 입력을 검출하는 것은, 손 추적 디바이스를 통해, 손이 엄지 손가락이 동일한 손 상의 다른 손가락을 터치하는 핀치 손 형상에 있는 동안 사용자가 제4 사용자 인터페이스 요소를 제5 및 제6 사용자 인터페이스 요소들을 향해 "푸시"하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제2 입력을 검출하는 것은, 손 추적 디바이스를 통해, 손이 제4 사용자 인터페이스 요소의 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 10, 또는 30 센티미터) 내에 있는 동안 사용자가 핀치 손 형상을 취하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제5(예컨대, 그리고 제6) 사용자 인터페이스 요소를 향한 제4 사용자 인터페이스 요소의 이동을 야기하는 다른 입력들이 가능하다.
도 13c에서와 같은 일부 실시예들에서, 제4 사용자 인터페이스 요소(예컨대, 1326)에 대한 제2 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)가, 눈 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선이 제4 사용자 인터페이스 요소(예컨대, 1326)로 지향된다는 것을 검출할 때 만족되는 기준을 포함하는 하나 이상의 제2 기준들을 제2 입력이 만족시킨다는 결정에 따라(1418e), 제2 입력이 제4 크기(예컨대, 제2 입력을 검출하기 전의 제4 사용자 인터페이스 요소와 제5 사용자 인터페이스 요소 사이의 (예컨대, 0이 아닌) 거리 이하인 크기)의 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는, 3차원 환경에서 제5 사용자 인터페이스 요소(예컨대, 1324) 또는 제6 사용자 인터페이스 요소(예컨대, 1326)를 이동시키지 않고서, 제2 입력에 따라 제4 사용자 인터페이스 요소(예컨대, 1326)를 사용자의 시점으로부터 멀리 제5 사용자 인터페이스 요소(예컨대, 1324)를 향해 이동시킨다(1418f). 일부 실시예들에서, 제2 입력이 제5 사용자 인터페이스 요소를 넘어 연장되지 않고서 제4 사용자 인터페이스 요소를 제5 사용자 인터페이스 요소를 향해 이동시키는 경우, 전자 디바이스는 제5 또는 제6 사용자 인터페이스 요소들을 이동시키지 않는다. 일부 실시예들에서, 하나 이상의 기준들은 제2 입력이 제5 및 제6 사용자 인터페이스 요소들을 향한 제4 사용자 인터페이스 요소의 이동을 야기할 때 만족되는 기준을 포함한다. 일부 실시예들에서, 제4 사용자 인터페이스 요소에 대한 선택 입력을 검출하는 것에 응답하여, 전자 디바이스는 제4 사용자 인터페이스 요소를 제5 및 제6 사용자 인터페이스 요소들을 향해 이동시킨다. 예를 들어, 위에서 설명된 바와 같이 사용자가 핀치 제스처를 취하는 동안 제4 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 손가락과 엄지 손가락이 서로 접촉하고 있는 동안 제4 사용자 인터페이스 요소를 제5 사용자 인터페이스 요소를 향해 미리결정된 속도(예컨대, 일정한 속도 또는 시간 경과에 따라 변화하는 속도)로 이동시키고, 제4 사용자 인터페이스 요소가 제5 사용자 인터페이스 요소에 도달할 때 제4 사용자 인터페이스 요소를 선택한다. 다른 예로서, 위에서 설명된 바와 같이 손이 제4 사용자 인터페이스 요소의 임계 거리 내에 있는 동안 사용자가 핀치 제스처를 취하는 것을 검출하는 것에 응답하여, 전자 디바이스는 손가락과 엄지 손가락이 서로 접촉하고 있는 동안 제4 사용자 인터페이스 요소를 제5 사용자 인터페이스 요소를 향해 미리결정된 속도(예컨대, 일정한 속도 또는 시간 경과에 따라 변화하는 속도)로 이동시키고, 제4 사용자 인터페이스 요소가 제5 사용자 인터페이스 요소에 도달할 때 제4 사용자 인터페이스 요소를 선택한다. 다른 예로서, (예컨대, 손이 포인팅 손 형상 또는 핀치 손 형상에 있는 동안) 사용자가 제4 사용자 인터페이스 요소를 제5 및 제6 사용자 인터페이스 요소들을 향해 "푸시"하는 것을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 손/손가락이 제4 사용자 인터페이스 요소를 "푸시"하는 이동의 거리에 대응하는 거리만큼 제4 사용자 인터페이스 요소를 제5 및 제6 사용자 인터페이스 요소들을 향해 이동시키고, 제4 사용자 인터페이스 요소가 제5 사용자 인터페이스 요소에 도달할 때 제4 사용자 인터페이스 요소를 선택한다.
도 13d에서와 같은 일부 실시예들에서, 제4 사용자 인터페이스 요소(예컨대, 1326)에 대한 제2 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)가, 눈 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 1301b)이 제4 사용자 인터페이스 요소(예컨대, 1326)로 지향된다는 것을 검출할 때 만족되는 기준을 포함하는 하나 이상의 제2 기준들을 제2 입력이 만족시킨다는 결정에 따라(1418e), 제2 입력이 제4 크기보다 큰 제5 크기(예컨대, 제2 입력을 검출하기 전의 제4 사용자 인터페이스 요소와 제5 사용자 인터페이스 요소 사이의 (예컨대, 0이 아닌) 거리 초과이지만. 제1 입력을 검출하기 전의 제4 사용자 인터페이스 요소와 제6 사용자 인터페이스 요소 사이의 거리 이하인 크기)의 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는, 3차원 환경에서 제6 사용자 인터페이스 요소(예컨대, 1322)를 이동시키지 않고서, 제2 입력에 따라 사용자의 시점으로부터 멀리, 제4 사용자 인터페이스 요소(예컨대, 1326)를 제5 사용자 인터페이스 요소(예컨대, 1324)를 향해, 그리고 제5 사용자 인터페이스 요소(예컨대, 1324)를 제6 사용자 인터페이스 요소(예컨대, 1322)를 향해 이동시킨다(1418g). 일부 실시예들에서, 제2 입력이 제6 사용자 인터페이스 요소를 넘어 연장되지 않고서 제4 사용자 인터페이스 요소를 제5 사용자 인터페이스 요소의 위치를 지나서(또는 그를 통해) 이동시키는 경우, 제2 입력은, 제1 입력에 따라, 제4 사용자 인터페이스 요소를 제5 사용자 인터페이스 요소로 이동시키고, 이어서, 또한 제5 사용자 인터페이스 요소를 이동시키면서 제4 사용자 인터페이스 요소를 계속 이동시킨다.
도 13e에서와 같은 일부 실시예들에서, 제4 사용자 인터페이스 요소(예컨대, 1326)에 대한 제2 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)가, 눈 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 1301b)이 제4 사용자 인터페이스 요소로 지향된다는 것을 검출할 때 만족되는 기준을 포함하는 하나 이상의 제2 기준들을 제2 입력이 만족시킨다는 결정에 따라(1418e), 제2 입력이 제5 크기(예컨대, 제2 입력을 검출하기 전의 제4 사용자 인터페이스 요소와 제6 사용자 인터페이스 요소 사이의 거리 초과인 크기)보다 큰 제6 크기의 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는, 제2 입력에 따라, 제4 사용자 인터페이스 요소(예컨대, 1326)를 제5 사용자 인터페이스 요소(예컨대, 1324)를 향해, 제5 사용자 인터페이스 요소(예컨대, 1324)를 제6 사용자 인터페이스 요소(예컨대, 1322)를 향해, 그리고 제6 사용자 인터페이스 요소(예컨대, 1322)를 사용자의 시점으로부터 멀리 이동시킨다(1418h). 일부 실시예들에서, 제2 입력이 제4 사용자 인터페이스 요소를 제5 및 제6 사용자 인터페이스 요소들의 위치들을 지나서(또는 그를 통해) 이동시키는 경우, 제2 입력은, 제2 입력에 따라, 제4 사용자 인터페이스 요소를 제5 사용자 인터페이스 요소에 도달하도록 이동시키고, 이어서, 제4 사용자 인터페이스 요소를 제6 사용자 인터페이스 요소에 도달하도록 계속 이동시키면서 제5 사용자 인터페이스 요소를 이동시키며, 이어서, 제4 및 제5 사용자 인터페이스 요소들을 계속 이동시키면서 제6 사용자 인터페이스 요소를 이동시킨다. 일부 실시예들에서, 전자 디바이스는 제1 또는 제4 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것 및/또는 제1 또는 제4 사용자 인터페이스 요소의 미리결정된 임계 거리(예컨대, 1, 2, 3, 4, 5, 또는 10 센티미터) 내에서 사용자의 미리정의된 부분(예컨대, 손)을 검출하는 것에 기초하여 제1 사용자 인터페이스 요소 또는 제4 사용자 인터페이스 요소를 이동시키고/시키거나 선택한다. 제4 사용자 인터페이스 요소에 대한 제2 사용자 입력의 크기에 따라 3차원 환경에서 제4, 제5, 및/또는 제6 사용자 인터페이스 요소들을 사용자의 시점으로부터 멀리 이동시키는 것은, 제2 사용자 입력을 제공하는 동안 향상된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용 오류들을 감소시키고, 사용자 오류들을 정정하는 데 필요한 시간 및 입력들을 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 제2 사용자 인터페이스 요소(예컨대, 1314)로부터 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1316)를 디스플레이하는 것은, 하나 이상의 입력 디바이스들(예컨대, 314)을 통해, 각자의 입력 상태(예컨대, 제1 입력과 같은, 제1 사용자 인터페이스 요소에 대한 입력에 선행하는 준비 상태)를 검출하는 것에 응답하여 이루어진다(1420a). 일부 실시예들에서, 제3 사용자 인터페이스 요소로부터 시각적으로 분리되는 제2 사용자 인터페이스 요소를 디스플레이하는 것은 각자의 입력 상태를 검출하는 것에 응답하여 이루어진다. 일부 실시예들에서, 각자의 입력 상태를 검출하기 전에, 전자 디바이스는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리를 디스플레이하지 않고서 제2 사용자 인터페이스 요소의 경계 내에 제1 사용자 인터페이스 요소를 디스플레이한다(예컨대, 제1 및 제2 사용자 인터페이스 요소들은, 둘 사이의 시각적 분리 없이, 동일한 평면 상에 디스플레이되고/되거나 서로 터치하고 있음). 일부 실시예들에서, 각자의 입력 상태를 검출하기 전에, 전자 디바이스는 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리를 디스플레이하지 않고서 제3 사용자 인터페이스 요소의 경계 내에 제2 사용자 인터페이스 요소를 디스플레이한다(예컨대, 제2 및 제3 사용자 인터페이스 요소들은, 둘 사이의 시각적 분리 없이, 동일한 평면 상에 디스플레이되고/되거나 서로 터치하고 있음). 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 각자의 입력 상태를 검출하는 것에 응답하여 제2 각자의 사용자 인터페이스 요소로부터 시각적으로 분리되는 제1 각자의 사용자 인터페이스 요소를 디스플레이한다.
도 13b에서와 같은 일부 실시예들에서, 각자의 입력 상태가 제1 입력 상태(예컨대, 간접 입력 준비 상태)라는 결정에 따라, 제1 사용자 인터페이스 요소(예컨대, 1318)와 제2 사용자 인터페이스 요소(예컨대, 1314) 사이의 분리의 크기는 제1 값을 갖는다(1420b). 일부 실시예들에서, 제1 입력 상태를 검출하는 것은, 손 추적 디바이스를 통해, 사용자의 손이 미리정의된 손 형상(예컨대, 손의 엄지 손가락이 손의 손가락의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 또는 5 센티미터) 내에 있는 핀치전 손 형상)에 있다는 것을 검출하는 것과 같은, 미리결정된 형상의 사용자의 미리정의된 부분을 검출하는 동안, 눈 추적 디바이스를 통해, 사용자의 시선이 제1 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 입력 상태는 간접 입력을 검출하기 전에 검출되는 간접 준비 상태이다. 일부 실시예들에서, 간접 입력들을 검출하는 것은, 간접 입력 준비 상태를 검출하는 것에 뒤이어, 손이 각자의 사용자 인터페이스 요소로부터 임계 거리(예컨대, 1, 2, 3, 4, 5, 10, 15, 20, 또는 30 센티미터) 초과인 동안 사용자의 손의 엄지 손가락이 손의 손가락을 터치하는 핀치 제스처와 같은 미리결정된 제스처의 수행을 검출하는 동안 사용자의 시선이 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 제1 입력 상태를 검출하는 것에 응답하여 제1 값으로 제2 각자의 사용자 인터페이스 요소로부터 시각적으로 분리되는 제1 각자의 사용자 인터페이스 요소를 디스플레이한다.
도 13b에서와 같은 일부 실시예들에서, 각자의 입력 상태가 제1 입력 상태와는 상이한 제2 입력 상태(예컨대, 직접 입력 준비 상태)라는 결정에 따라, 제1 사용자 인터페이스 요소(예컨대, 1316)와 제2 사용자 인터페이스 요소(예컨대, 1314) 사이의 분리의 크기는 제1 값과는 상이한(예컨대, 그보다 크거나 그보다 작은) 제2 값을 갖는다(1420c). 일부 실시예들에서, 제2 입력 상태를 검출하는 것은, 예를 들어, 손 추적 디바이스를 통해, 사용자의 손이 미리정의된 손 형상(예컨대, 손의 엄지 손가락이 손의 손가락의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 또는 5 센티미터) 내에 있는 핀치전 손 형상, 또는 하나 이상의 손가락들이 펴지고 하나 이상의 손가락들이 손의 손바닥을 향해 구부러진 포인팅 손 형상)에 있다는 것을 검출하는 것과 같이, 눈 추적 디바이스를 통해, 3차원 환경 내의 각자의 사용자 인터페이스 요소의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 또는 30 센티미터) 내에서 미리결정된 형상의 사용자의 미리정의된 부분을 검출하는 것을 포함한다. 일부 실시예들에서, 제2 입력 상태는 직접 입력을 검출하기 전에 검출되는 직접 입력 준비 상태이다. 일부 실시예들에서, 직접 입력들을 검출하는 것은, 직접 입력 준비 상태를 검출하는 것에 뒤이어, 손이 각자의 사용자 인터페이스 요소로부터 임계 거리(예컨대, 1, 2, 3, 4, 5, 10, 15, 20, 또는 30 센티미터) 내에 있는 동안 사용자의 손의 엄지 손가락이 손의 손가락을 터치하는 핀치 제스처 또는 손이 포인팅 또는 핀칭된 손 형상에 있는 동안 사용자가 사용자 인터페이스 요소를 검지 손가락의 팁으로 사용자의 시점으로부터 멀리 "푸시"하는 푸시 제스처와 같은 미리결정된 제스처의 수행을 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 제2 입력 상태를 검출하는 것에 응답하여 제2 값으로 제2 각자의 사용자 인터페이스 요소로부터 시각적으로 분리되는 제1 각자의 사용자 인터페이스 요소를 디스플레이한다. 어떤 각자의 입력 상태가 검출되는지의 결정에 따라 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양을 수정하는 것은, 전자 디바이스에 제공되는 사용자 입력들의 향상된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용 오류들을 감소시키고, 사용자 오류들을 정정하는 데 필요한 시간 및 입력들의 수를 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 제1 입력 상태(예컨대, 간접 준비 상태)를 검출하는 것은, 눈 추적 디바이스(예컨대, 314)를 통해, 3차원 환경에서 제1 사용자 인터페이스 요소(예컨대, 1318)에 대응하는 위치로부터 미리결정된 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 또는 50 센티미터)보다 더 멀리 사용자의 미리정의된 부분(예컨대, 1303b)(예컨대, 손)을 검출하면서, 사용자의 시선(예컨대, 1301b)이 제1 사용자 인터페이스 요소(예컨대, 1318)로 지향된다는 것을 검출하는 것을 포함한다(1422a). 일부 실시예들에서, 제1 입력 상태를 검출하는 것은, 제1 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에서 사용자의 미리정의된 부분을 검출하는 동안, 손 추적 디바이스를 통해, 사용자의 손이 미리정의된 손 형상(예컨대, 손의 엄지 손가락이 손의 손가락의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 또는 5 센티미터) 내에 있지만 그를 터치하고 있지 않은 핀치전 손 형상)에 있다는 것을 검출하는 것과 같은, 미리결정된 형상의 사용자의 미리정의된 부분을 검출하는 것을 포함한다.
도 13b에서와 같은 일부 실시예들에서, 제2 입력 상태(예컨대, 직접 준비 상태)를 검출하는 것은 (예컨대, 눈 추적 디바이스를 통해, 사용자의 시선이 제1 사용자 인터페이스 요소로 지향된다는 것을 검출하는 동안) 3차원 환경에서 제1 사용자 인터페이스 요소(예컨대, 1316)에 대응하는 위치의 미리결정된 임계 거리 내에서 사용자의 미리정의된 부분(예컨대, 1303a)(예컨대, 손)을 검출하는 것을 포함한다(1422b). 일부 실시예들에서, 제2 입력 상태를 검출하는 것은 사용자의 미리정의된 부분이 제1 사용자 인터페이스 요소에 대응하는 위치의 미리결정된 임계 거리 내에 있는 동안 핀치전 또는 포인팅 손 형상과 같은 미리정의된 형상의 사용자의 미리정의된 부분을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 크기는, 제1 입력 상태를 검출하는 것에 응답한 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 크기보다, 제2 입력 상태를 검출하는 것에 응답하여 더 크다. 검출된 입력 상태와 연관된 제1 사용자 인터페이스 요소에 대응하는 위치와 사용자의 미리정의된 부분 사이의 거리에 따라 제1 및 제2 사용자 인터페이스 요소들을 상이한 양들의 시각적 분리로 디스플레이하는 것은, 입력들을 제공하는 동안 개선된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용자 오류들 및 사용자 오류들을 정정하는 데 필요한 시간 및 입력들을 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 제1 입력 상태(예컨대, 직접 또는 간접 준비 상태 또는 다른 에어 제스처(예컨대, 가상 입력 디바이스 상호작용) 준비 상태)를 검출하는 것은, 하나 이상의 입력 디바이스들(예컨대, 눈 추적 디바이스, 손 추적 디바이스, 다른 이미지 또는 거리 센서, 머리 추적 디바이스, 다른 가속도계들 및/또는 자이로스코프들, 또는 마이크로폰) 중 제1 각자의 입력 디바이스(예컨대, 314)를 통해, 사용자의 미리정의된 부분(예컨대, 1303a)이 제1 각자의 입력 디바이스(예컨대, 314)를 터치하는 것이 없는(그리고/또는 사용자의 미리정의된 부분이 제1 각자의 입력 디바이스로부터 0.3, 0.5, 1, 2, 3, 5, 또는 10 센티미터와 같은 임계 거리보다 더 멀리 유지되는 동안), 제1 각자의 입력 디바이스(예컨대, 314)와 사용자의 미리정의된 부분(예컨대, 1303a)의 상호작용을 검출하는 것을 포함한다(1424a). 일부 실시예들에서, 제1 각자의 입력 디바이스는 사용자 입력들을 검출하기 위해 사용자의 손의 이동, 위치 및 형상을 추적하는 손 추적 디바이스이다. 일부 실시예들에서, 전자 디바이스는 제1 입력 상태를 검출하는 동안 전자 디바이스의 하우징과 통합되지 않은 트랙패드, 마우스, 키보드, 스타일러스, 원격 제어기, 또는 다른 촉각적 입력 디바이스와 같은 제2 각자의 입력 디바이스와 통신하지 않고서 눈 추적 디바이스, 머리 추적 디바이스, 손 추적 디바이스, 및 마이크로폰과 같은 제1 각자의 입력 디바이스와 통신한다. 일부 실시예들에서, 제1 입력 상태를 검출하는 것은, 손 추적 디바이스를 통해, 사용자가 그들의 손으로 핀치전 손 형상 또는 포인팅 손 형상과 같은 미리정의된 손 형상을 취하는 것을 검출하는 것을 포함한다.
일부 실시예들에서, 제2 입력 상태(예컨대, 촉각적 입력 디바이스 준비 상태)를 검출하는 것은, 제1 각자의 입력 디바이스와는 상이한 제2 각자의 입력 디바이스(예컨대, 트랙패드, 마우스, 키보드, 스타일러스, 터치 스크린 등)를 통해, 사용자의 미리정의된 부분이 제2 각자의 입력 디바이스(및/또는 제2 각자의 입력 디바이스의 터치 감응형 표면)를 터치하는 것(및/또는 그의 0.3, 0.5, 1, 2, 3, 5, 또는 10 센티미터와 같은 임계 거리 내에 있는 것)을 포함하는, 제2 각자의 입력 디바이스와 사용자의 미리정의된 부분(예컨대, 도 13b에 예시된 사용자의 손들 중 하나의 손(1303a 또는 1303b))의 상호작용을 검출하는 것을 포함한다(1424b). 일부 실시예들에서, 제2 각자의 입력 디바이스는, 사용자가, 물리적 버튼들을 누르는 것, 터치 감응형 표면을 터치하는 것, 또는 스타일러스 또는 마우스와 같은 입력 디바이스를 픽업하고 이동시키는 것과 같은, 입력 디바이스를 터치하는 것에 기초하여 입력들을 검출하는 촉각적 입력 디바이스이다. 일부 실시예들에서, 촉각적 입력 디바이스 준비 상태는, 사용자가, 예를 들어, 전자 디바이스로 하여금 액션을 수행하게 하기 위한 입력을 제공하기 위해 버튼들 또는 키들을 누르거나 임계량의 압력을 인가하거나 (예컨대, 터치 감응형 표면을 가로지르는 접촉의 모션과 같은) 모션 입력을 제공하지 않고서 키보드, 마우스 또는 트랙패드를 터치하는 것과 같이, 디바이스로 하여금 액션을 수행하게 하기 위한 입력을 제공하지 않고서 입력 디바이스를 터치하는 것을 검출하는 것을 포함한다. 다른 예로서, 스타일러스의 준비 상태는, 사용자가, 스타일러스가 전자 디바이스로 하여금 동작을 수행하게 하기 위한 입력에 대응하는 상태로 제스처를 수행하지 않고서 스타일러스를 유지하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양은, 촉각적 입력 디바이스 준비 상태를 검출하는 것에 응답한 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양보다, 직접 또는 간접 준비 상태 또는 다른 에어 제스처 준비 상태를 검출하는 것에 응답하여 더 크다. 입력 상태가 사용자의 미리정의된 부분이 각자의 입력 디바이스를 터치한 상태로 검출되었는지 또는 터치하지 않은 상태로 검출되었는지에 따라 제1 및 제2 사용자 인터페이스 요소들을 상이한 양들의 시각적 분리로 디스플레이하는 것은, 사용자 입력을 제공하는 동안 향상된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용자 오류들을 감소시키고, 사용자 오류들을 정정하는 데 필요한 입력들 및 시간을 감소시킨다.
일부 실시예들에서, 각자의 입력 상태가, 제1 입력 상태(예컨대, 간접 입력 준비 상태) 및 제2 입력 상태(예컨대, 직접 입력 준비 상태)와는 상이한 제3 입력 상태(예컨대, 촉각적 입력 디바이스 준비 상태)라는 결정에 따라, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 분리의 크기는, 제1 값 및 제2 값과는 상이한 제3 값을 갖는다(1426a). 예를 들어, 도 13b는 옵션(1316)에 대한 직접 준비 상태 및 옵션(1310b)에 대한 간접 준비 상태를 예시하고, 제3 입력 상태가 검출되는 경우, 시각적 분리의 양은 요소(1314)로부터의 옵션들(1316, 1318)의 시각적 분리의 양들과는 상이할 것이다. 일부 실시예들에서, 제3 값은 제1 값 및 제2 값보다 작다. 일부 실시예들에서, 제1 값은 제2 값보다 작다. 일부 실시예들에서, 제1 입력 상태 또는 제2 입력 상태를 검출하는 것은 사용자가 제1 각자의 입력 디바이스(또는 제2 각자의 입력 디바이스)를 터치하지 않고서 제1 각자의 입력 디바이스(예컨대, 눈 추적 디바이스, 손 추적 디바이스)와의 상호작용을 검출하는 것 - 제2 각자의 입력 디바이스와의 상호작용은 검출하지 않음 -을 포함하고, 제3 입력 상태를 검출하는 것은 사용자가 제2 각자의 입력 디바이스를 터치하는 동안 제2 각자의 입력 디바이스(예컨대, 트랙패드, 키보드, 마우스, 스타일러스 등)와의 상호작용을 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 제3 입력 상태를 검출하는 것에 응답하여 제3 값으로 제2 각자의 사용자 인터페이스 요소로부터 시각적으로 분리되는 제1 각자의 사용자 인터페이스 요소를 디스플레이한다.
도 13b에서와 같은 일부 실시예들에서, 제1 입력 상태(예컨대, 간접 입력 준비 상태)를 검출하는 것은, 하나 이상의 입력 디바이스들(예컨대, 손 추적 디바이스, 다른 이미지 또는 거리 센서, 머리 추적 디바이스, 다른 가속도계들 및/또는 자이로스코프들, 또는 마이크로폰) 중 제1 각자의 입력 디바이스(예컨대, 314)를 통해, 사용자의 미리정의된 부분(예컨대, 1303b)이 3차원 환경에서 제1 사용자 인터페이스 요소(예컨대, 1318)에 대응하는 위치로부터 미리결정된 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 10, 15, 20, 30, 또는 50 센티미터)보다 더 멀리 있다는 것을 검출하면서, 눈 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 1301b)이 제1 사용자 인터페이스 요소(예컨대, 1318)로 지향된다는 것을 검출하는 것, 및 제1 각자의 입력 디바이스(예컨대, 314)를 통해, 사용자의 미리정의된 부분(예컨대, 1303b)이 제1 각자의 입력 디바이스(예컨대, 314)를 터치하는 것이 없는(그리고/또는 사용자의 미리정의된 부분이 제1 각자의 입력 디바이스로부터 0.3, 0.5, 1, 2, 3, 5, 또는 10 센티미터와 같은 임계 거리보다 더 멀리 유지되는 동안), 제1 각자의 입력 디바이스(예컨대, 314)와 사용자의 미리정의된 부분(예컨대, 1303b)의 상호작용을 검출하는 것을 포함한다(1426b). 일부 실시예들에서, 제1 입력 상태를 검출하는 것은, 제1 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에서 사용자의 미리정의된 부분을 검출하는 동안, 손 추적 디바이스를 통해, 사용자의 손이 미리정의된 손 형상(예컨대, 손의 엄지 손가락이 손의 손가락의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 또는 5 센티미터) 내에 있는 (그러나 그를 터치하고 있지 않은) 핀치전 손 형상)에 있다는 것을 검출하는 것과 같은, 미리결정된 형상의 사용자의 미리정의된 부분을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 각자의 입력 디바이스는 사용자 입력들을 검출하기 위해 사용자의 손의 이동, 위치 및 형상을 추적하는 손 추적 디바이스이다. 일부 실시예들에서, 전자 디바이스는 제1 입력 상태를 검출하는 동안 전자 디바이스의 하우징과 통합되지 않은 트랙패드, 마우스, 키보드, 스타일러스, 원격 제어기, 또는 다른 촉각적 입력 디바이스와 같은 제2 각자의 입력 디바이스와 통신하지 않고서 눈 추적 디바이스, 머리 추적 디바이스, 손 추적 디바이스, 및 마이크로폰과 같은 제1 각자의 입력 디바이스와 통신한다.
도 13b에서와 같은 일부 실시예들에서, 제2 입력 상태(예컨대, 직접 입력 준비 상태)를 검출하는 것은, 하나 이상의 입력 디바이스들(예컨대, 손 추적 디바이스, 다른 이미지 또는 거리 센서, 머리 추적 디바이스, 다른 가속도계들 및/또는 자이로스코프들, 또는 마이크로폰) 중 제1 각자의 입력 디바이스(예컨대, 314)를 통해, 사용자의 미리정의된 부분(예컨대, 1303a)이 3차원 환경에서 제1 사용자 인터페이스 요소(예컨대, 1316)에 대응하는 위치로부터 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 10, 15, 20, 30, 또는 50 센티미터) 미만이라는 것을 검출하는 것, 및 제1 각자의 입력 디바이스(예컨대, 314)를 통해, 사용자의 미리정의된 부분(예컨대, 1303a)이 제1 각자의 입력 디바이스(예컨대, 314)를 터치하는 것이 없는(그리고/또는 사용자의 미리정의된 부분이 제1 각자의 입력 디바이스로부터 0.3, 0.5, 1, 2, 3, 5, 또는 10 센티미터와 같은 임계 거리보다 더 멀리 유지되는 동안), 제1 각자의 입력 디바이스(예컨대, 314)와 사용자의 미리정의된 부분(예컨대, 1303a)의 상호작용을 검출하는 것을 포함한다(1426c). 일부 실시예들에서, 제2 입력 상태를 검출하는 것은 사용자의 미리정의된 부분이 제1 사용자 인터페이스 요소에 대응하는 위치의 미리결정된 임계 거리 내에 있는 동안 핀치전 또는 포인팅 손 형상과 같은 미리정의된 형상의 사용자의 미리정의된 부분을 검출하는 것을 포함한다.
일부 실시예들에서, 제3 입력 상태(예컨대, 촉각적 입력 준비 상태)를 검출하는 것은, 제1 각자의 입력 디바이스와는 상이한 제2 각자의 입력 디바이스(예컨대, 트랙패드, 마우스, 키보드, 스타일러스, 터치 스크린 등)를 통해, 사용자의 미리정의된 부분이 제2 각자의 입력 디바이스(및/또는 제2 각자의 입력 디바이스의 터치 감응형 표면)를 터치하는 것(및/또는 그의 0.3, 0.5, 1, 2, 3, 5, 또는 10 센티미터와 같은 임계 거리 내에 있는 것)을 포함하는, 제2 각자의 입력 디바이스와 사용자의 미리정의된 부분(예컨대, 예를 들어, 도 13b의 손들(1303a, 1303b) 중 하나)의 상호작용을 검출하는 것을 포함한다(1426d). 일부 실시예들에서, 제2 각자의 입력 디바이스는, 사용자가, 물리적 버튼들을 누르는 것, 터치 감응형 표면을 터치하는 것, 또는 스타일러스 또는 마우스와 같은 입력 디바이스를 픽업하고 이동시키는 것과 같은, 입력 디바이스를 터치하는 것에 기초하여 입력들을 검출하는 촉각적 입력 디바이스이다. 일부 실시예들에서, 촉각적 입력 디바이스 준비 상태는, 사용자가, 예를 들어, 전자 디바이스로 하여금 액션을 수행하게 하기 위한 입력을 제공하기 위해 버튼들 또는 키들을 누르거나 임계량의 압력을 인가하거나 (예컨대, 터치 감응형 표면을 가로지르는 접촉의 모션과 같은) 모션 입력을 제공하지 않고서 키보드, 마우스 또는 트랙패드를 터치하는 것과 같이, 디바이스로 하여금 액션을 수행하게 하기 위한 입력을 제공하지 않고서 입력 디바이스를 터치하는 것을 검출하는 것을 포함한다. 다른 예로서, 스타일러스의 준비 상태는, 사용자가, 스타일러스가 전자 디바이스로 하여금 동작을 수행하게 하기 위한 입력에 대응하는 상태로 제스처를 수행하지 않고서 스타일러스를 유지하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양은 제1 입력 상태(예컨대, 간접 입력 준비 상태)를 검출하는 것에 응답하여 가장 많고, 제3 입력 상태(예컨대, 촉각적 입력 준비 상태)를 검출하는 것에 응답하여 가장 적다.
검출된 입력 상태에 따라 제1 및 제2 사용자 인터페이스 요소들을 상이한 양들의 시각적 분리로 디스플레이하는 것은, 사용자 입력들을 제공하는 동안 현재 입력 상태의 향상된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용자 오류를 감소시키고, 사용자 오류를 정정하는 데 필요한 시간 및 입력들을 감소시킨다.
도 13b에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들(예컨대, 314)을 통해, 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 각자의 입력 상태를 검출하며, 여기에서 제2 사용자 인터페이스 요소(예컨대, 1314)로부터 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1316)를 디스플레이는 것 및 제3 사용자 인터페이스 요소(예컨대, 1312)로부터 시각적으로 분리되는 제2 사용자 인터페이스 요소(예컨대, 1314)를 디스플레이하는 것은 제1 사용자 인터페이스 요소(예컨대, 1316)에 대한 각자의 입력 상태를 검출하는 것에 응답하여 이루어지며, 제1 사용자 인터페이스 요소(예컨대, 1316)는 제2 사용자 인터페이스 요소(예컨대, 1314)로부터 제1 양만큼 시각적으로 분리되고, 제2 사용자 인터페이스 요소(예컨대, 1314)는 제3 사용자 인터페이스 요소(예컨대, 1312)로부터 제2 양만큼 시각적으로 분리된다(1428a). 일부 실시예들에서, 각자의 입력 상태는 직접 입력 준비 상태, 간접 입력 준비 상태, 또는 촉각적 입력 준비 상태 중 하나이다. 일부 실시예들에서, 직접 입력 준비 상태를 검출하는 것은 사용자의 미리정의된 부분(예컨대, 손)이 제1 사용자 인터페이스 요소에 대응하는 위치의 미리정의된 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 20, 30, 또는 50 센티미터) 내에 있다는 것을 (예컨대, 손 추적 디바이스를 통해) 검출하는 것을 포함한다. 일부 실시예들에서, 간접 입력 준비 상태를 검출하는 것은, 사용자의 미리정의된 부분(예컨대, 손)이 제1 사용자 인터페이스 요소에 대응하는 위치의 미리정의된 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 20, 30, 또는 50 센티미터) 초과라는 것을 (예컨대, 손 추적 디바이스를 통해) 검출하는 동안, 눈 추적 디바이스를 통해, 사용자의 시선이 제1 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 촉각적 입력 준비 상태를 검출하는 것은, 사용자가, 입력 포커스가 제1 사용자 인터페이스 요소로 지향되는 동안 전자 디바이스로 하여금 동작을 수행하게 하기 위한 입력을 제공하지 않고서 입력 디바이스(예컨대, 키보드, 트랙패드, 마우스, 스타일러스, 터치 스크린 등)를 터치하고 있다는 것을 검출하는 것을 포함한다. 직접, 간접 및/또는 촉각적 준비 상태들의 추가적인 또는 대안적인 상세사항들은, 선택적으로, 이전에 설명된 바와 같다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 제1 각자의 입력 상태에 대한 각자의 입력 상태를 검출하는 것에 응답하여 제2 각자의 사용자 인터페이스 요소로부터 시각적으로 분리되는 제1 각자의 사용자 인터페이스 요소를 디스플레이한다.
도 13a에서와 같은 일부 실시예들에서, 각자의 입력 상태를 검출하기 전에, 전자 디바이스(예컨대, 101a)는, 디스플레이 생성 컴포넌트(예컨대, 120)를 통해, 제2 사용자 인터페이스 요소(예컨대, 1314)로부터 제1 양보다 적은 제3 양만큼 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1316)를 디스플레이하고, 디스플레이 생성 컴포넌트(예컨대, 120)를 통해, 제3 사용자 인터페이스 요소(예컨대, 1312)로부터 제2 양보다 적은 제4 양만큼 시각적으로 분리되는 제2 사용자 인터페이스 요소(예컨대, 1314)를 디스플레이한다(1428b). 일부 실시예들에서, 제3 양은 0이다. 일부 실시예들에서, 제3 양은 0보다 많고 제1 양보다 적다. 일부 실시예들에서, 제4 양은 0이다. 일부 실시예들에서, 제4 양은 0보다 많고 제2 양보다 적다. 일부 실시예들에서, 제1 사용자 인터페이스 요소에 대한 각자의 입력 상태를 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양을 증가시키고/시키거나, 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리의 양을 증가시킨다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는, 전자 디바이스가 제1 각자의 입력 상태에 대한 각자의 입력 상태를 검출하는 것에 응답하여 각자의 사용자 인터페이스 요소들을 디스플레이하는 시각적 분리의 양보다, 각자의 입력 상태를 검출하지 않는 동안 더 적은 양만큼 제2 각자의 사용자 인터페이스 요소로부터 시각적으로 분리되는 제1 각자의 사용자 인터페이스 요소를 디스플레이한다. 각자의 입력 상태를 검출하는 것에 응답하여, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양을 증가시키고/시키거나, 제2 사용자 인터페이스 요소와 제3 사용자 인터페이스 요소 사이의 시각적 분리의 양을 증가시키는 것은, 사용자 입력들을 제공하는 동안 현재 입력 상태의 향상된 시각적 피드백을 사용자에게 제공하여, 그에 의해 시각적 피드백을 개선한다.
도 13b에서와 같은 일부 실시예들에서, 제2 사용자 인터페이스 요소(예컨대, 1312)로부터 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1318)를 디스플레이하는 것은, 눈 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 1301b)이 제1 사용자 인터페이스 요소(예컨대, 1318)로 지향된다는 것을 검출하는 것, 및 각자의 입력 디바이스(예컨대, 314)(예컨대, 손 추적 디바이스)를 통해, 사용자의 미리정의된 부분(예컨대, 1303b)이 3차원 환경에서 제1 사용자 인터페이스 요소(예컨대, 1318)에 대응하는 위치의 미리결정된 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 20, 30, 또는 50 센티미터) 내에 있다는 것을 검출하는 것(예컨대, 간접 또는 직접 준비 상태를 검출하는 것)에 응답하여 이루어지며, 여기에서 제1 사용자 인터페이스 요소(예컨대, 1318)는 제2 사용자 인터페이스 요소(예컨대, 1314)로부터 제1 양만큼 시각적으로 분리된다(1430a). 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소의 미리결정된 임계 거리 내에서 사용자의 미리정의된 부분을 검출하는 것(예컨대, 직접 준비 상태)에 응답하여 제2 사용자 인터페이스 요소로부터 시각적으로 분리되는 제1 사용자 인터페이스 요소를 디스플레이한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101a)는, 각자의 입력 디바이스를 통해, 사용자의 미리정의된 부분(예컨대, 도 13b의 손(1303b))이 3차원 환경에서 제1 사용자 인터페이스 요소(예컨대, 도 13b의 1318)에 대응하는 위치에 더 가깝게 이동한다는 것을 검출한다(1430b).
도 13b에서와 같은 일부 실시예들에서, 3차원 환경에서 제1 사용자 인터페이스 요소(예컨대, 1316)에 대응하는 위치에 더 가까운(예컨대, 그러나 아직 제1 사용자 인터페이스 요소에 대응하는 위치에 도달하지 않음) 사용자의 미리정의된 부분(예컨대, 1303a)을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101a)는 제2 사용자 인터페이스 요소(예컨대, 1314)로부터 제1 양과는 상이한(예컨대, 그보다 많은) 제2 양만큼 시각적으로 분리되는 제1 사용자 인터페이스 요소(예컨대, 1316)를 디스플레이한다(1430c). 일부 실시예들에서, 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양은 사용자의 미리정의된 부분이 3차원 환경에서 제1 사용자 인터페이스 요소에 대응하는 위치에 더 가깝게 이동하는 것을 검출하는 것에 응답하여 증가한다. 일부 실시예들에서, 사용자의 미리정의된 부분이 3차원 환경에서 제1 사용자 인터페이스 요소에 대응하는 위치에 더 가깝게 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소를 사용자의 미리정의된 부분에 더 가깝게 이동시킨다. 일부 실시예들에서, 사용자의 미리정의된 부분이 3차원 환경에서 제1 사용자 인터페이스 요소에 대응하는 위치로부터 더 멀리 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양을 감소시킨다. 일부 실시예들에서, 사용자의 미리정의된 부분이 3차원 환경에서 제1 사용자 인터페이스 요소에 대응하는 위치로부터 더 멀리 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소를 사용자의 미리정의된 부분으로부터 더 멀리 이동시킨다. 일부 실시예들에서, 전자 디바이스는, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, (예컨대, 제2 각자의 사용자 인터페이스 요소가 추가 사용자 인터페이스 요소의 경계 내에 디스플레이되지 않고서) 제2 각자의 사용자 인터페이스 요소의 경계 내에 디스플레이되는 제1 각자의 사용자 인터페이스 요소를 제시한다. 일부 실시예들에서, 전자 디바이스는 제1 각자의 사용자 인터페이스 요소에 대응하는 위치에 더 가까운 사용자의 미리정의된 부분을 검출하는 것에 응답하여 상이한 양만큼 제2 각자의 사용자 인터페이스 요소로부터 시각적으로 분리되는 제1 각자의 사용자 인터페이스 요소를 디스플레이한다. 제1 사용자 인터페이스 요소에 대응하는 위치와 사용자의 미리정의된 부분 사이의 거리에 따라 제1 사용자 인터페이스 요소와 제2 사용자 인터페이스 요소 사이의 시각적 분리의 양을 수정하는 것은, 입력들을 제공하는 동안 현재 입력 상태의 향상된 시각적 피드백을 사용자에게 제공하여, 그에 의해, 사용자 오류를 감소시키고, 사용자 오류를 정정하는 데 필요한 시간 및 입력들을 감소시킨다.
일부 실시예들에서, 방법들(800, 1000, 1200, 1400)의 태양들/동작들은 이들 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.
Claims (107)
- 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 제1 외관을 갖는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하는 단계;
상기 제1 외관을 갖는 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 사용자의 신체적 특징부의 포즈에 기초하여, 상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 단계;
상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 하나 이상의 제1 기준들이 만족된다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소를 상기 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분으로부터 시각적으로 분리하여 상기 제1 외관과는 상이한 제2 외관을 갖도록 상기 각자의 사용자 인터페이스 요소를 업데이트하는 단계;
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 각자의 사용자 인터페이스 요소의 활성화에 대응하는 제2 사용자 입력을 검출하는 단계; 및
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시킨다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 연관된 선택 동작을 수행하고, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하며;
상기 사용자의 주의가 여전히 상기 각자의 사용자 인터페이스 요소로 지향되는 것으로 결정되는 동안 상기 제2 사용자 입력이 상기 하나 이상의 제2 기준들을 만족시키지 않는다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시키지 않고서, 상기 각자의 사용자 인터페이스 요소와 연관된 상기 선택 동작을 수행하는 것을 보류하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향되지 않는다는 것을 검출하는 단계; 및
상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향되지 않는다는 것을 검출하는 것에 응답하여, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하는 단계를 추가로 포함하는, 방법. - 제1항 또는 제2항에 있어서, 상기 제2 사용자 입력은 상기 하나 이상의 제2 기준들을 만족시키고, 상기 방법은,
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력을 검출하는 동안, 그리고 상기 제2 사용자 입력이 상기 하나 이상의 제2 기준들을 만족시키기 전에, 상기 하나 이상의 제2 기준들을 만족시키는 것을 향한 상기 제2 사용자 입력의 진행에 따라, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하는 단계를 추가로 포함하는, 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 단계는, 상기 전자 디바이스와 통신하는 눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 단계를 포함하는, 방법.
- 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 단계는, 상기 전자 디바이스와 통신하는 눈 추적 디바이스 및 손 추적 디바이스를 통해, 상기 사용자의 시선이 상기 각자의 사용자 인터페이스 요소로 지향되고 상기 사용자의 손이 미리결정된 포즈에 있다는 것을 검출하는 단계를 포함하는, 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 각자의 사용자 인터페이스 요소의 활성화에 대응하는 상기 제2 사용자 입력을 검출하는 단계는, 상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 상기 각자의 사용자 인터페이스 요소에 대응하는 위치에서 상기 전자 디바이스의 사용자의 손의 일부분을 검출하는 단계를 포함하는, 방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 각자의 사용자 인터페이스 요소의 활성화에 대응하는 상기 제2 사용자 입력을 검출하는 단계는, 상기 전자 디바이스와 통신하는 눈 추적 디바이스 및 손 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 상기 각자의 사용자 인터페이스 요소로 지향되는 동안 상기 전자 디바이스의 사용자의 손에 의해 수행되는 각자의 제스처를 검출하는 단계를 포함하는, 방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력을 검출하기 전에, 상기 각자의 사용자 인터페이스 요소는, 상기 각자의 사용자 인터페이스 요소가 상기 사용자 인터페이스의 일부분으로부터 시각적으로 분리되는 동안, 제1 값을 갖는 각자의 시각적 특성으로 디스플레이되고,
상기 각자의 사용자 인터페이스 요소와 연관된 상기 선택 동작을 수행하는 것은, 상기 각자의 사용자 인터페이스 요소와 상기 사용자 인터페이스의 일부분 사이의 상기 분리의 양이 감소되는 동안, 상기 각자의 사용자 인터페이스 요소를 상기 제1 값과는 상이한 제2 값을 갖는 상기 각자의 시각적 특성으로 디스플레이하는 것을 포함하는, 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제2 사용자 입력은, 상기 제2 사용자 입력이 시간 임계치보다 더 오랫동안 상기 각자의 사용자 인터페이스 요소로 지향되는 상기 전자 디바이스의 사용자의 시선을 포함할 때, 상기 하나 이상의 제2 기준들을 만족시키는, 방법.
- 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 손이 상기 각자의 사용자 인터페이스 요소와 상호작용하기 위한 위치에 대응하는 각자의 위치에 있다는 것을 검출하는 단계; 및
상기 전자 디바이스의 사용자의 손이 상기 각자의 위치에 있다는 것을 검출하는 것에 응답하여, 상기 각자의 사용자 인터페이스 요소를 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분으로부터 추가로 시각적으로 분리하도록 상기 각자의 사용자 인터페이스 요소를 업데이트하는 단계를 추가로 포함하는, 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 제2 외관을 갖는 상기 각자의 사용자 인터페이스 요소는 상기 사용자 인터페이스에서 제1 계층적 레벨과 연관되고, 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분은 상기 제1 계층적 레벨과는 상이한 제2 계층적 레벨과 연관되는, 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 제2 사용자 입력을 검출하는 단계는, 상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 다시 상기 사용자 인터페이스의 일부분을 향한 상기 각자의 사용자 인터페이스 요소의 이동에 대응하는, 상기 전자 디바이스의 사용자로부터의 손 입력을 검출하는 단계를 포함하고, 상기 방법은,
상기 제2 사용자 입력을 검출하는 것에 응답하여, 상기 각자의 사용자 인터페이스 요소와 상기 사용자 인터페이스의 일부분 사이의 상기 분리의 양을 감소시키도록 상기 각자의 사용자 인터페이스 요소를 업데이트하는 단계를 추가로 포함하며,
상기 제2 사용자 입력은, 상기 손 입력이 상기 사용자 인터페이스의 일부분으로부터 임계 거리 내로의 상기 각자의 사용자 인터페이스 요소의 이동에 대응할 때, 상기 하나 이상의 제2 기준들을 만족시키는, 방법. - 제12항에 있어서,
상기 제2 사용자 입력이 상기 하나 이상의 제2 기준들을 만족시킨 후, 그리고 상기 각자의 사용자 인터페이스 요소가 상기 사용자 인터페이스의 일부분으로부터 상기 임계 거리 내에 있는 동안, 상기 손 추적 디바이스를 통해, 다시 상기 사용자 인터페이스의 일부분을 향한 상기 각자의 사용자 인터페이스 요소의 이동에 대응하는, 상기 전자 디바이스의 사용자로부터의 추가 손 입력을 검출하는 단계; 및
상기 추가 손 입력을 검출하는 것에 응답하여, 상기 추가 손 입력에 따라 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분을 이동시키는 단계를 추가로 포함하는, 방법. - 제12항 또는 제13항에 있어서,
상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 손 입력이 임계량의 이동 미만인, 다시 상기 사용자 인터페이스의 일부분을 향한 상기 각자의 사용자 인터페이스 요소의 이동에 대응한다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 상기 사용자 인터페이스의 일부분 사이의 상기 분리의 양을 감소시키기 위해, 상기 사용자 인터페이스의 일부분을 이동시키지 않고서 상기 손 입력에 따라 상기 사용자 인터페이스의 일부분을 향해 다시 상기 각자의 사용자 인터페이스 요소를 이동시키고;
상기 손 입력이 상기 임계량의 이동 초과인, 다시 상기 사용자 인터페이스의 일부분을 향한 상기 각자의 사용자 인터페이스 요소의 이동에 대응한다는 결정에 따라, 상기 손 이동에 따라 상기 각자의 사용자 인터페이스 요소를 이동시키고 상기 사용자 인터페이스의 일부분을 이동시키는 단계를 추가로 포함하는, 방법. - 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 각자의 사용자 인터페이스 요소와 상기 사용자 인터페이스의 일부분 사이의 상기 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하는 것은 상기 제2 사용자 입력의 이동 컴포넌트에 따라 관성으로 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분을 이동시키는 것을 포함하고, 상기 방법은,
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력의 종료를 검출하는 단계; 및
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력의 종료를 검출하는 것에 응답하여, 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분을 상기 제2 사용자 입력에 응답하여 이루어진 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분의 이동과 반대인 방향으로 이동시키는 단계를 추가로 포함하는, 방법. - 제15항에 있어서, 상기 제2 사용자 입력을 검출하는 단계는 상기 각자의 사용자 인터페이스 요소에 대응하는 위치에서 상기 전자 디바이스의 사용자의 손의 일부분을 검출하는 단계를 포함하고, 상기 방법은,
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 상기 사용자의 손이 상기 각자의 사용자 인터페이스 요소에 대응하지 않는 위치에 있는 동안 상기 사용자의 손에 의해 수행되는 각자의 제스처를 포함하는 각자의 입력을 검출하는 단계;
상기 각자의 입력을 검출하는 것에 응답하여,
상기 각자의 입력이 하나 이상의 제3 기준들을 만족시킨다는, 상기 사용자의 손이 상기 각자의 사용자 인터페이스 요소에 대응하지 않는 위치에 있는 동안 상기 사용자의 손에 의해 수행되는 상기 각자의 제스처에 기초한 결정에 따라, 관성으로 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분을 이동시키는 것을 포함하여, 상기 각자의 사용자 인터페이스 요소와 상기 사용자 인터페이스의 일부분 사이의 상기 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하는 단계;
상기 각자의 입력의 종료를 검출하는 단계; 및
상기 각자의 입력의 종료를 검출하는 것에 응답하여, 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분을 상기 각자의 입력에 응답하여 이루어진 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분의 이동과 반대인 방향으로 이동시키는 단계를 추가로 포함하는, 방법. - 제15항 또는 제16항에 있어서, 상기 제2 사용자 입력을 검출하는 단계는 상기 각자의 사용자 인터페이스 요소에 대응하는 위치에서 상기 전자 디바이스의 사용자의 손의 일부분을 검출하는 단계를 포함하고, 상기 방법은,
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 전자 디바이스와 통신하는 눈 추적 디바이스를 통해, 상기 각자의 사용자 인터페이스 요소로 지향되는 상기 사용자의 시선을 포함하는 각자의 입력을 검출하는 단계;
상기 각자의 입력을 검출하는 것에 응답하여,
상기 각자의 입력이 하나 이상의 제3 기준들을 만족시킨다는, 상기 각자의 사용자 인터페이스 요소로 지향되는 상기 사용자의 시선에 기초한 결정에 따라, 관성으로 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분을 이동시키는 것을 포함하여, 상기 각자의 사용자 인터페이스 요소와 상기 사용자 인터페이스의 일부분 사이의 상기 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하는 단계;
상기 각자의 입력의 종료를 검출하는 단계; 및
상기 각자의 입력의 종료를 검출하는 것에 응답하여, 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분을 상기 각자의 입력에 응답하여 이루어진 상기 각자의 사용자 인터페이스 요소 및 상기 사용자 인터페이스의 일부분의 이동과 반대인 방향으로 이동시키는 단계를 추가로 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 제1 외관을 갖는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하기 위한;
상기 제1 외관을 갖는 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 사용자의 신체적 특징부의 포즈에 기초하여, 상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하기 위한;
상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 하나 이상의 제1 기준들이 만족된다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소를 상기 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분으로부터 시각적으로 분리하여 상기 제1 외관과는 상이한 제2 외관을 갖도록 상기 각자의 사용자 인터페이스 요소를 업데이트하기 위한;
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 각자의 사용자 인터페이스 요소의 활성화에 대응하는 제2 사용자 입력을 검출하기 위한; 그리고
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시킨다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 연관된 선택 동작을 수행하고, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하며;
상기 사용자의 주의가 여전히 상기 각자의 사용자 인터페이스 요소로 지향되는 것으로 결정되는 동안 상기 제2 사용자 입력이 상기 하나 이상의 제2 기준들을 만족시키지 않는다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시키지 않고서, 상기 각자의 사용자 인터페이스 요소와 연관된 상기 선택 동작을 수행하는 것을 보류하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금,
상기 디스플레이 생성 컴포넌트를 통해, 제1 외관을 갖는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하게 하는;
상기 제1 외관을 갖는 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 사용자의 신체적 특징부의 포즈에 기초하여, 상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하게 하는;
상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 하나 이상의 제1 기준들이 만족된다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소를 상기 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분으로부터 시각적으로 분리하여 상기 제1 외관과는 상이한 제2 외관을 갖도록 상기 각자의 사용자 인터페이스 요소를 업데이트하게 하는;
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 각자의 사용자 인터페이스 요소의 활성화에 대응하는 제2 사용자 입력을 검출하게 하는; 그리고
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시킨다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 연관된 선택 동작을 수행하게 하고, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하게 하며;
상기 사용자의 주의가 여전히 상기 각자의 사용자 인터페이스 요소로 지향되는 것으로 결정되는 동안 상기 제2 사용자 입력이 상기 하나 이상의 제2 기준들을 만족시키지 않는다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시키지 않고서, 상기 각자의 사용자 인터페이스 요소와 연관된 상기 선택 동작을 수행하는 것을 보류하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
상기 디스플레이 생성 컴포넌트를 통해, 제1 외관을 갖는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
상기 제1 외관을 갖는 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 사용자의 신체적 특징부의 포즈에 기초하여, 상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하기 위한 수단;
상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 하나 이상의 제1 기준들이 만족된다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소를 상기 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분으로부터 시각적으로 분리하여 상기 제1 외관과는 상이한 제2 외관을 갖도록 상기 각자의 사용자 인터페이스 요소를 업데이트하기 위한 수단;
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 각자의 사용자 인터페이스 요소의 활성화에 대응하는 제2 사용자 입력을 검출하기 위한 수단; 및
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시킨다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 연관된 선택 동작을 수행하고, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하며;
상기 사용자의 주의가 여전히 상기 각자의 사용자 인터페이스 요소로 지향되는 것으로 결정되는 동안 상기 제2 사용자 입력이 상기 하나 이상의 제2 기준들을 만족시키지 않는다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시키지 않고서, 상기 각자의 사용자 인터페이스 요소와 연관된 상기 선택 동작을 수행하는 것을 보류하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
상기 디스플레이 생성 컴포넌트를 통해, 제1 외관을 갖는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
상기 제1 외관을 갖는 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 사용자의 신체적 특징부의 포즈에 기초하여, 상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하기 위한 수단;
상기 디바이스의 사용자의 주의가 상기 각자의 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 하나 이상의 제1 기준들이 만족된다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소를 상기 각자의 사용자 인터페이스 요소에 대해 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분으로부터 시각적으로 분리하여 상기 제1 외관과는 상이한 제2 외관을 갖도록 상기 각자의 사용자 인터페이스 요소를 업데이트하기 위한 수단;
상기 각자의 사용자 인터페이스 요소가 상기 제2 외관을 갖는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 신체적 특징부의 포즈에 기초하여, 상기 각자의 사용자 인터페이스 요소의 활성화에 대응하는 제2 사용자 입력을 검출하기 위한 수단; 및
상기 각자의 사용자 인터페이스 요소에 대한 상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자 입력이 하나 이상의 제2 기준들을 만족시킨다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 연관된 선택 동작을 수행하고, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시킴으로써 상기 각자의 사용자 인터페이스 요소를 업데이트하며;
상기 사용자의 주의가 여전히 상기 각자의 사용자 인터페이스 요소로 지향되는 것으로 결정되는 동안 상기 제2 사용자 입력이 상기 하나 이상의 제2 기준들을 만족시키지 않는다는 결정에 따라, 상기 각자의 사용자 인터페이스 요소와 상기 각자의 사용자 인터페이스 요소에 대해 상기 미리결정된 공간적 관계를 갖는 상기 사용자 인터페이스의 일부분 사이의 분리의 양을 감소시키지 않고서, 상기 각자의 사용자 인터페이스 요소와 연관된 상기 선택 동작을 수행하는 것을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제1항 내지 제17항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제1항 내지 제17항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제1항 내지 제17항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제1항 내지 제17항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트 및 눈 추적 디바이스와 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 슬라이더 사용자 인터페이스 요소를 디스플레이하는 단계;
상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 눈 추적 디바이스를 통해, 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 단계;
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시선의 방향에 기초하여 결정되는 상기 슬라이더 사용자 인터페이스 요소 상의 위치에 제1 외관으로 입력 포인트의 표현을 디스플레이하는 단계; 및
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이한 후,
상기 사용자의 시선이, 상기 사용자의 시선이 시간 임계치보다 더 오랫동안 상기 입력 포인트의 표현으로 지향될 때 만족되는 기준을 포함한 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 상기 입력 포인트의 표현에 대응하는 각자의 입력 상태로 설정하는 단계를 포함하는, 방법. - 제26항에 있어서,
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 입력 포인트의 표현을 포함한 입력 포인트들의 복수의 표현들을 상기 슬라이더 사용자 인터페이스 요소 상의 상이한 위치들에 디스플레이하는 단계;
상기 입력 포인트들의 복수의 표현들을 포함하는 상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 상기 사용자의 손에 의해 수행되는 각자의 제스처를 포함하는 사용자 입력을 검출하는 단계; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 상기 입력 포인트들의 복수의 표현들 중 하나에 대응하는 제2 각자의 입력 상태로 설정하는 단계를 추가로 포함하는, 방법. - 제26항 또는 제27항에 있어서,
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 입력 포인트의 표현을 포함한 입력 포인트들의 복수의 표현들을 상기 슬라이더 사용자 인터페이스 요소 상의 상이한 위치들에 디스플레이하는 단계;
상기 입력 포인트들의 복수의 표현들을 포함하는 상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 상기 사용자의 손에 의해 수행되는 각자의 제스처에 뒤이은, 상기 각자의 제스처를 유지하는 동안의 상기 사용자의 손의 이동을 포함하는 사용자 입력을 검출하는 단계 - 상기 손의 이동의 크기는 상기 입력 포인트들의 복수의 표현들 중 하나에 대응하지 않는 상기 슬라이더 사용자 인터페이스 요소 상의 각자의 위치에 대응함 -; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 상기 슬라이더 사용자 인터페이스 요소 상의 상기 각자의 위치에 대응하는 제2 각자의 입력 상태로 설정하는 단계를 추가로 포함하는, 방법. - 제28항에 있어서,
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 손의 미리정의된 부분의 현재 위치에 대응하는 상기 슬라이더 사용자 인터페이스 요소 상의 위치를 나타내는 제어 요소를 상기 슬라이더 사용자 인터페이스 요소 상에 디스플레이하는 단계; 및
상기 각자의 제스처를 유지하는 동안의 상기 사용자의 손의 이동을 검출하는 동안, 상기 사용자의 손의 이동에 따라 상기 슬라이더 사용자 인터페이스 요소 상에서 상기 제어 요소를 이동시키는 단계를 추가로 포함하는, 방법. - 제26항 내지 제29항 중 어느 한 항에 있어서,
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이한 후, 그리고 상기 사용자의 시선이 상기 입력 포인트의 표현으로 지향되는 동안, 그러나 상기 사용자의 시선이 상기 시간 임계치보다 더 오랫동안 상기 입력 포인트의 표현으로 지향되기 전에, 상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 상기 사용자의 손에 의해 수행되는 각자의 제스처를 검출하는 단계; 및
상기 각자의 제스처를 검출하는 것에 응답하여, 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 상기 입력 포인트의 표현에 대응하는 상기 각자의 입력 상태로 설정하는 단계를 추가로 포함하는, 방법. - 제26항 내지 제30항 중 어느 한 항에 있어서, 상기 슬라이더 사용자 인터페이스 요소는 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 나타내는 현재 상태 표시자를 포함하고, 상기 방법은,
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이한 후,
상기 사용자의 시선이 상기 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 상기 현재 상태 표시자를 상기 입력 포인트의 표현에 대응하는 상기 슬라이더 요소 상의 상기 위치로 이동시키는 단계;
상기 사용자의 시선이 상기 하나 이상의 제1 기준들을 만족시키지 않고, 상기 사용자의 시선이 상기 입력 포인트의 표현으로 지향되는 동안 상기 사용자의 손의 각자의 제스처가 검출된다는 결정에 따라, 상기 현재 상태 표시자를 상기 입력 포인트의 표현에 대응하는 상기 슬라이더 요소 상의 상기 위치로 이동시키는 단계; 및
상기 사용자의 손의 각자의 제스처에 뒤이은, 상기 각자의 제스처를 유지하는 동안의 상기 사용자의 손의 이동이 검출된다는 결정에 따라 - 상기 사용자의 손의 이동의 크기는 상기 입력 포인트의 표현에 대응하는 상기 슬라이더 요소 상의 상기 위치에 대응함 -, 상기 사용자의 손의 이동에 따라 상기 현재 상태 표시자를 상기 입력 포인트의 표현에 대응하는 상기 슬라이더 요소 상의 상기 위치로 이동시키는 단계를 추가로 포함하는, 방법. - 제26항 내지 제31항 중 어느 한 항에 있어서,
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이하는 동안, 상기 눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소 상의 제2 위치에서 제2 입력 포인트의 제2 표현으로 지향된다는 것을 검출하는 단계; 및
상기 사용자의 시선이 상기 입력 포인트의 제2 표현으로 지향된다는 것을 검출하는 것에 응답하여, 상기 제2 입력 포인트의 제2 표현을 상기 슬라이더 사용자 인터페이스 요소 상의 상기 제2 위치에 상기 제1 외관으로 디스플레이하는 단계를 추가로 포함하는, 방법. - 제26항 내지 제32항 중 어느 한 항에 있어서,
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 손의 미리정의된 부분의 현재 위치에 대응하는 상기 슬라이더 사용자 인터페이스 요소 상의 위치를 나타내는 제어 요소를 상기 슬라이더 사용자 인터페이스 요소 상에 디스플레이하는 단계; 및
상기 사용자의 손의 미리정의된 부분의 이동을 검출하는 동안, 상기 사용자의 손의 미리정의된 부분의 이동에 따라 상기 슬라이더 사용자 인터페이스 요소 상에서 상기 제어 요소를 이동시키는 단계를 추가로 포함하는, 방법. - 제26항 내지 제33항 중 어느 한 항에 있어서, 상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하기 전에, 상기 입력 포인트의 표현은 상기 슬라이더 사용자 인터페이스 요소 상에 디스플레이되지 않았던, 방법.
- 제26항 내지 제34항 중 어느 한 항에 있어서,
상기 입력 포인트의 표현을 포함하는 상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 상기 사용자의 손에 의해 수행되는 각자의 제스처에 뒤이은, 상기 각자의 제스처를 유지하는 동안의 상기 사용자의 손의 이동을 포함하는 사용자 입력을 검출하는 단계;
상기 사용자 입력을 검출하는 동안, 상기 슬라이더 사용자 인터페이스 요소 상에서의 상기 입력 포인트의 표현의 디스플레이를 중지하는 단계; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 사용자의 손의 이동에 따라 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 제2 각자의 입력 상태로 설정하는 단계를 추가로 포함하는, 방법. - 제26항 내지 제35항 중 어느 한 항에 있어서,
상기 손 추적 디바이스를 통해, 상기 사용자의 손의 이동을 검출하는 단계;
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소를 향해 지향될 때 만족되는 기준을 포함한 하나 이상의 기준들이 만족되는 동안 상기 사용자의 손의 이동이 검출된다는 결정에 따라, 상기 사용자의 손의 이동에 따라 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 업데이트하는 단계; 및
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소를 향해 지향될 때 만족되는 기준을 포함한 상기 하나 이상의 기준들이 만족되지 않는 동안 상기 사용자의 손의 이동이 검출된다는 결정에 따라, 상기 사용자의 손의 이동에 따라 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 업데이트하는 것을 보류하는 단계를 추가로 포함하는, 방법. - 제26항 내지 제36항 중 어느 한 항에 있어서, 상기 슬라이더 사용자 인터페이스 요소는 사용자 인터페이스의 제어 영역에 포함되고, 상기 방법은,
상기 입력 포인트의 표현 없이 상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 사용자 인터페이스의 제어 영역으로 지향된다는 것을 검출하는 단계; 및
상기 사용자의 시선이 상기 사용자 인터페이스의 제어 영역으로 지향된다는 것을 검출하는 것에 응답하여, 상기 입력 포인트의 표현을 포함하는 상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제26항 내지 제37항 중 어느 한 항에 있어서,
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 슬라이더 사용자 인터페이스 요소 상에서, 상기 사용자의 시선의 위치에 있는 상기 사용자 인터페이스 요소의 일부분 및/또는 상기 사용자의 시선의 방향에 기초하는 상기 슬라이더 사용자 인터페이스 요소 상의 위치에 시선의 시각적 표시를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제26항 내지 제38항 중 어느 한 항에 있어서,
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이한 후, 그리고 상기 시간 임계치 미만 동안 상기 제1 외관을 갖는 상기 입력 포인트의 표현으로 지향되는 상기 사용자의 시선을 검출하는 것에 응답하여, 상기 입력 포인트의 표현을 상기 제1 외관과는 상이한 제2 외관으로 디스플레이하는 단계를 추가로 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해, 슬라이더 사용자 인터페이스 요소를 디스플레이하기 위한;
상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 눈 추적 디바이스를 통해, 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하기 위한;
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시선의 방향에 기초하여 결정되는 상기 슬라이더 사용자 인터페이스 요소 상의 위치에 제1 외관으로 입력 포인트의 표현을 디스플레이하기 위한; 그리고
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이한 후,
상기 사용자의 시선이, 상기 사용자의 시선이 시간 임계치보다 더 오랫동안 상기 입력 포인트의 표현으로 지향될 때 만족되는 기준을 포함한 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 상기 입력 포인트의 표현에 대응하는 각자의 입력 상태로 설정하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금,
디스플레이 생성 컴포넌트를 통해, 슬라이더 사용자 인터페이스 요소를 디스플레이하게 하는;
상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 눈 추적 디바이스를 통해, 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하게 하는;
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시선의 방향에 기초하여 결정되는 상기 슬라이더 사용자 인터페이스 요소 상의 위치에 제1 외관으로 입력 포인트의 표현을 디스플레이하게 하는; 그리고
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이한 후,
상기 사용자의 시선이, 상기 사용자의 시선이 시간 임계치보다 더 오랫동안 상기 입력 포인트의 표현으로 지향될 때 만족되는 기준을 포함한 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 상기 입력 포인트의 표현에 대응하는 각자의 입력 상태로 설정하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해, 슬라이더 사용자 인터페이스 요소를 디스플레이하기 위한 수단;
상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 눈 추적 디바이스를 통해, 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하기 위한 수단;
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시선의 방향에 기초하여 결정되는 상기 슬라이더 사용자 인터페이스 요소 상의 위치에 제1 외관으로 입력 포인트의 표현을 디스플레이하기 위한 수단; 및
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이한 후,
상기 사용자의 시선이, 상기 사용자의 시선이 시간 임계치보다 더 오랫동안 상기 입력 포인트의 표현으로 지향될 때 만족되는 기준을 포함한 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 상기 입력 포인트의 표현에 대응하는 각자의 입력 상태로 설정하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해, 슬라이더 사용자 인터페이스 요소를 디스플레이하기 위한 수단;
상기 슬라이더 사용자 인터페이스 요소를 디스플레이하는 동안, 눈 추적 디바이스를 통해, 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하기 위한 수단;
상기 사용자의 시선이 상기 슬라이더 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 시선의 방향에 기초하여 결정되는 상기 슬라이더 사용자 인터페이스 요소 상의 위치에 제1 외관으로 입력 포인트의 표현을 디스플레이하기 위한 수단; 및
상기 입력 포인트의 표현을 상기 제1 외관으로 디스플레이한 후,
상기 사용자의 시선이, 상기 사용자의 시선이 시간 임계치보다 더 오랫동안 상기 입력 포인트의 표현으로 지향될 때 만족되는 기준을 포함한 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 상기 슬라이더 사용자 인터페이스 요소의 현재 입력 상태를 상기 입력 포인트의 표현에 대응하는 각자의 입력 상태로 설정하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제26항 내지 제39항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제26항 내지 제39항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제26항 내지 제39항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제26항 내지 제39항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 제1 가상 객체, 및 상기 제1 가상 객체와 연관하여 디스플레이되는, 상기 제1 가상 객체와 별개인 대응하는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하는 단계;
상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 사용자 인터페이스 요소에 대한 제1 사용자 입력을 검출하는 단계; 및
상기 각자의 사용자 인터페이스 요소에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 사용자 입력에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키고;
상기 제1 사용자 입력이, 상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키기 위한 입력 이외의 입력일 때 만족되는 기준을 포함한 하나 이상의 기준들을 만족시킨다는 결정에 따라, 상기 제1 가상 객체와 연관된 하나 이상의 대응하는 동작들을 수행하도록 선택가능한 하나 이상의 선택가능 옵션들을 포함하도록 상기 각자의 사용자 인터페이스 요소의 디스플레이를 업데이트하는 단계를 포함하는, 방법. - 제48항에 있어서, 상기 하나 이상의 기준들은, 상기 제1 사용자 입력이 시간 임계치보다 더 오랫동안 상기 각자의 사용자 인터페이스 요소로 지향되는 상기 전자 디바이스의 사용자의 시선을 포함할 때 만족되는 기준을 포함하는, 방법.
- 제48항 또는 제49항에 있어서, 상기 하나 이상의 기준들은, 상기 제1 사용자 입력이 상기 전자 디바이스의 사용자의 시선이 상기 각자의 사용자 인터페이스 요소로 지향되는 동안 상기 사용자의 손에 의해 수행되는 각자의 제스처를 포함할 때 만족되는 기준을 포함하는, 방법.
- 제48항 내지 제50항 중 어느 한 항에 있어서,
상기 하나 이상의 선택가능 옵션들을 포함하는 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 시선이 상기 하나 이상의 선택가능 옵션들 중 각자의 선택가능 옵션으로 지향되는 동안 상기 사용자의 손에 의해 수행되는 각자의 제스처를 포함하는 제2 사용자 입력을 검출하는 단계; 및
상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 제2 사용자 입력이 하나 이상의 제1 기준들을 만족시킨다는 결정에 따라, 상기 각자의 선택가능 옵션에 대응하는 각자의 동작을 수행하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제51항 중 어느 한 항에 있어서, 상기 제1 사용자 입력은, 상기 제1 사용자 입력이 상기 전자 디바이스의 사용자의 시선이 상기 각자의 사용자 인터페이스 요소로 지향되는 동안 상기 사용자의 손에 의해 수행되는 각자의 제스처에 뒤이은, 상기 사용자의 손에 의해 수행되는 상기 각자의 제스처를 검출하는 시간 임계치 내에서의 상기 전자 디바이스의 사용자의 손의 이동을 포함한다는 결정에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키라는 상기 요청에 대응하는, 방법.
- 제48항 내지 제52항 중 어느 한 항에 있어서,
상기 하나 이상의 선택가능 옵션들을 포함하는 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키라는 요청에 대응하는 제2 사용자 입력을 검출하는 단계;
상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 각자의 사용자 인터페이스 요소의 디스플레이를 유지하면서 상기 하나 이상의 선택가능 옵션들의 디스플레이를 중지하고;
상기 제2 사용자 입력에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키는 단계;
상기 하나 이상의 입력 디바이스들을 통해, 상기 제2 사용자 입력의 종료를 검출하는 단계; 및
상기 제2 사용자 입력의 종료를 검출하는 것에 응답하여, 상기 제1 가상 객체와 연관된 상기 하나 이상의 대응하는 동작들을 수행하도록 선택가능한 상기 하나 이상의 선택가능 옵션들을 포함하도록 상기 각자의 사용자 인터페이스 요소의 디스플레이를 업데이트하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제53항 중 어느 한 항에 있어서, 상기 제1 사용자 입력을 검출하기 전에, 상기 각자의 사용자 인터페이스 요소는 제1 외관으로 디스플레이되고, 상기 방법은,
상기 각자의 사용자 인터페이스 요소에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 각자의 사용자 인터페이스 요소로 지향되는 상기 전자 디바이스의 사용자의 시선을 포함한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 사용자 인터페이스 요소를 상기 제1 외관과는 상이한 제2 외관으로 디스플레이하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제54항 중 어느 한 항에 있어서, 상기 제1 사용자 입력을 검출하기 전에, 상기 각자의 사용자 인터페이스 요소는 제1 외관으로 디스플레이되고, 상기 방법은,
상기 각자의 사용자 인터페이스 요소에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키라는 상기 요청에 대응한다는 상기 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 사용자 인터페이스 요소를 상기 제1 외관과는 상이한 제2 외관으로 디스플레이하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제55항 중 어느 한 항에 있어서, 상기 하나 이상의 선택가능 옵션들은 상기 제1 가상 객체의 디스플레이를 중지하도록 선택가능한 각자의 옵션을 포함하는, 방법.
- 제48항 내지 제56항 중 어느 한 항에 있어서, 상기 하나 이상의 선택가능 옵션들은 다른 사용자가 상기 제1 가상 객체에 액세스가능하게 하도록 선택가능한 각자의 옵션을 포함하는, 방법.
- 제48항 내지 제57항 중 어느 한 항에 있어서, 상기 하나 이상의 선택가능 옵션들은 상기 제1 가상 객체가 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 디스플레이 영역을 증가시키도록 선택가능한 각자의 옵션을 포함하는, 방법.
- 제48항 내지 제58항 중 어느 한 항에 있어서, 상기 하나 이상의 선택가능 옵션들은 상기 제1 가상 객체를 포함한 복수의 가상 객체들을 그룹화하도록 선택가능한 각자의 옵션을 포함하는, 방법.
- 제48항 내지 제59항 중 어느 한 항에 있어서, 상기 하나 이상의 선택가능 옵션들은 상기 제1 가상 객체를 편집하기 위한 프로세스를 개시하도록 선택가능한 각자의 옵션을 포함하는, 방법.
- 제48항 내지 제60항 중 어느 한 항에 있어서, 상기 사용자 인터페이스는 3차원 환경을 포함하고, 상기 제1 사용자 입력에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키는 것은,
상기 제1 가상 객체를 이동시키는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 가상 객체의 이동이 완료될 때 상기 제1 가상 객체에 의해 점유될 상기 3차원 환경의 일부분의, 상기 제1 가상 객체와 별개인 시각적 표시를 디스플레이하는 것을 포함하는, 방법. - 제48항 내지 제61항 중 어느 한 항에 있어서,
상기 제1 가상 객체가 2차원 객체라는 결정에 따라, 상기 각자의 사용자 인터페이스 요소는 상기 제1 가상 객체의 에지에 디스플레이되고,
상기 제1 가상 객체가 3차원 객체라는 결정에 따라, 상기 각자의 사용자 인터페이스 요소는 상기 전자 디바이스의 사용자에 대응하는 위치에 가장 가까운 상기 제1 가상 객체의 에지에 디스플레이되는, 방법. - 제48항 내지 제62항 중 어느 한 항에 있어서,
상기 사용자 인터페이스 내에,
상기 제1 가상 객체, 및 상기 제1 가상 객체와 연관하여 디스플레이되는, 상기 제1 가상 객체와 별개인 상기 대응하는 각자의 사용자 인터페이스 요소; 및
제2 가상 객체, 및 상기 제2 가상 객체와 연관하여 디스플레이되는, 상기 제2 가상 객체와 별개인 대응하는 각자의 사용자 인터페이스 요소를 동시에 디스플레이하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제63항 중 어느 한 항에 있어서, 상기 제1 사용자 입력에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키는 것은,
하나 이상의 각자의 기준들이 만족된다는 결정에 따라,
상기 제1 가상 객체의 이동의 시작 시 상기 제1 가상 객체가 초기 위치로부터 들어올려지는 애니메이션을 디스플레이하는 것; 및
상기 제1 가상 객체의 이동의 종료 시 상기 제1 가상 객체가 최종 위치로 하강하는 애니메이션을 디스플레이하는 것을 포함하는, 방법. - 제64항에 있어서, 상기 하나 이상의 각자의 기준들은, 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키기 위한 상기 제1 사용자 입력이 검출되기 전에 상기 제1 가상 객체가 상기 초기 위치에서 표면에 스냅핑(snapping)되었을 때 만족되는 기준을 포함하는, 방법.
- 제48항 내지 제65항 중 어느 한 항에 있어서,
상기 전자 디바이스와 통신하는 손 추적 디바이스를 통해, 상기 제1 가상 객체에 대한 각자의 위치에서 상기 전자 디바이스의 사용자의 손을 검출하는 단계; 및
상기 제1 가상 객체에 대한 상기 각자의 위치에서 상기 사용자의 손을 검출하는 것에 응답하여, 그리고 하나 이상의 각자의 기준들이 만족된다는 결정에 따라,
상기 각자의 위치가 상기 제1 가상 객체의 제1 측부에 대응한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 사용자 인터페이스 요소를 상기 제1 가상 객체의 제1 측부에 디스플레이하고;
상기 각자의 위치가 상기 제1 가상 객체의, 상기 제1 측부와는 상이한 제2 측부에 대응한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 사용자 인터페이스 요소를 상기 제1 가상 객체의 제2 측부에 디스플레이하는 단계를 추가로 포함하는, 방법. - 제66항에 있어서, 상기 하나 이상의 각자의 기준들은, 상기 사용자의 손이 상기 제1 가상 객체에 대한 상기 각자의 위치에 있는 동안 제1 포즈를 가질 때 만족되는 기준을 포함하는, 방법.
- 제48항 내지 제67항 중 어느 한 항에 있어서, 상기 하나 이상의 기준들은, 상기 전자 디바이스의 사용자의 손이 상기 제1 가상 객체에 대한 각자의 위치에 있고 상기 사용자의 손이 제1 포즈를 가질 때 만족되는 기준을 포함하는, 방법.
- 제48항 내지 제68항 중 어느 한 항에 있어서,
상기 사용자의 손의 미리정의된 부분이 상기 제1 가상 객체에 대한 각자의 위치에 있는 동안 - 상기 각자의 위치는 상기 각자의 사용자 인터페이스 요소의 위치로부터 원격임 -, 상기 손 추적 디바이스를 통해, 상기 사용자의 손의 미리정의된 부분에 의해 수행되는 각자의 제스처를 검출하는 단계; 및
상기 사용자의 손의 미리정의된 부분에 의해 수행되는 상기 각자의 제스처를 검출하는 것에 응답하여, 상기 각자의 사용자 인터페이스 요소를 상기 사용자의 손의 미리정의된 부분의 각자의 위치로 이동시키는 단계를 추가로 포함하는, 방법. - 제66항 내지 제69항 중 어느 한 항에 있어서,
상기 각자의 사용자 인터페이스 요소를 상기 제1 가상 객체의 제1 측부에 디스플레이하는 동안, 상기 손 추적 디바이스를 통해, 상기 제1 가상 객체의 제2 측부에 대응하는 위치로의 상기 사용자의 손의 이동을 검출하는 단계; 및
상기 제1 가상 객체의 제2 측부에 대응하는 상기 위치로의 상기 사용자의 손의 이동을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 사용자 인터페이스 요소가 상기 제1 가상 객체의 제1 측부로부터 상기 제1 가상 객체의 제2 측부로 이동하는 애니메이션을 디스플레이하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제70항 중 어느 한 항에 있어서, 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키기 위한 상기 제1 사용자 입력은 상기 전자 디바이스의 사용자의 손의 이동을 포함하고, 상기 방법은,
상기 제1 가상 객체를 이동시키기 전에, 상기 제1 가상 객체가 상기 사용자 인터페이스의 미리정의된 기준 프레임에 대한 각자의 배향을 갖는 단계;
상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키는 동안, 상기 사용자의 손의 배향의 변화를 검출하는 단계;
상기 사용자의 손의 배향의 상기 변화를 검출하는 것에 응답하여, 상기 제1 가상 객체가 더 이상 상기 미리정의된 기준 프레임에 대한 상기 각자의 배향을 갖지 않도록 상기 제1 가상 객체의 배향을 변경하는 단계; 및
상기 제1 사용자 입력의 종료를 검출하는 것에 응답하여, 상기 가상 객체를 상기 사용자 인터페이스의 미리정의된 기준 프레임에 대한 상기 각자의 배향으로 디스플레이하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제71항 중 어느 한 항에 있어서,
상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키는 동안, 손 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 손이 상기 각자의 사용자 인터페이스 요소에서 상기 하나 이상의 선택가능 옵션들 중 각자의 선택가능 옵션을 선택하는 것을 검출하는 단계; 및
상기 사용자의 손이 상기 각자의 선택가능 옵션을 선택하는 것을 검출하는 것에 응답하여, 상기 각자의 선택가능 옵션에 대응하는 각자의 동작을 수행하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제72항 중 어느 한 항에 있어서,
상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키는 동안,
상기 사용자 인터페이스 내의 상기 제1 가상 객체의 현재 위치가 상기 전자 디바이스의 환경 내의 물리적 객체의 위치에 대응할 때 만족되는 기준을 포함한 하나 이상의 각자의 기준들이 만족된다는 결정에 따라, 상기 제1 가상 객체를 상기 물리적 객체의 위치에 대응하는 상기 사용자 인터페이스 내의 상기 위치에 스냅핑하는 단계를 추가로 포함하는, 방법. - 제48항 내지 제73항 중 어느 한 항에 있어서, 상기 제1 가상 객체(예컨대, 애플리케이션, 애플리케이션의 윈도우, 가상 시계와 같은 가상 객체 등) 및 상기 대응하는 각자의 사용자 인터페이스 요소를 디스플레이하는 것은,
상기 제1 가상 객체가 애플리케이션의 표현이라는 결정에 따라, 상기 각자의 사용자 인터페이스 요소가 제1 외관으로 디스플레이되는 것; 및
상기 제1 가상 객체가 애플리케이션 이외의 콘텐츠의 표현이라는 결정에 따라, 상기 각자의 사용자 인터페이스 요소가 상기 제1 외관과는 상이한 제2 외관으로 디스플레이되는 것을 포함하는, 방법. - 제48항 내지 제74항 중 어느 한 항에 있어서,
상기 각자의 사용자 인터페이스 요소에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 하나 이상의 기준들을 만족시킨다는 상기 결정에 따라,
상기 제1 가상 객체가 애플리케이션의 표현이라는 결정에 따라, 상기 각자의 사용자 인터페이스 요소는 상기 제1 가상 객체와 연관된 제1 세트의 대응하는 동작들을 수행하도록 선택가능한 제1 세트의 하나 이상의 선택가능 옵션들을 포함하고, 상기 제1 가상 객체와 연관된 제2 세트의 대응하는 동작들을 수행하도록 선택가능한 제2 세트의 하나 이상의 선택가능 옵션들을 포함하지 않으며,
상기 제1 가상 객체가 애플리케이션 이외의 콘텐츠의 표현이라는 결정에 따라, 상기 각자의 사용자 인터페이스 요소는 상기 제1 세트의 하나 이상의 선택가능 옵션들과는 상이한 상기 제2 세트의 하나 이상의 선택가능 옵션들을 포함하는, 방법. - 제48항 내지 제75항 중 어느 한 항에 있어서,
상기 각자의 사용자 인터페이스 요소를 디스플레이하지 않고서 상기 제1 가상 객체를 디스플레이하는 동안, 상기 전자 디바이스와 통신하는 눈 추적 디바이스를 통해, 상기 제1 가상 객체로 지향되는 상기 전자 디바이스의 사용자의 시선을 검출하는 단계;
상기 제1 가상 객체로 지향되는 상기 사용자의 시선을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 가상 객체와 연관하여 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 단계;
상기 제1 가상 객체 및 상기 제1 가상 객체와 연관하여 상기 각자의 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제1 가상 객체로 지향되지 않는다는 것을 검출하는 단계; 및
상기 사용자의 시선이 상기 제1 가상 객체로 지향되지 않는다는 것을 검출하는 것에 응답하여, 상기 제1 가상 객체의 디스플레이를 유지하면서 상기 각자의 사용자 인터페이스 요소의 디스플레이를 중지하는 단계를 추가로 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해, 제1 가상 객체, 및 상기 제1 가상 객체와 연관하여 디스플레이되는, 상기 제1 가상 객체와 별개인 대응하는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하기 위한;
상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 사용자 인터페이스 요소에 대한 제1 사용자 입력을 검출하기 위한; 그리고
상기 각자의 사용자 인터페이스 요소에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 사용자 입력에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키고;
상기 제1 사용자 입력이, 상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키기 위한 입력 이외의 입력일 때 만족되는 기준을 포함한 하나 이상의 기준들을 만족시킨다는 결정에 따라, 상기 제1 가상 객체와 연관된 하나 이상의 대응하는 동작들을 수행하도록 선택가능한 하나 이상의 선택가능 옵션들을 포함하도록 상기 각자의 사용자 인터페이스 요소의 디스플레이를 업데이트하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금,
디스플레이 생성 컴포넌트를 통해, 제1 가상 객체, 및 상기 제1 가상 객체와 연관하여 디스플레이되는, 상기 제1 가상 객체와 별개인 대응하는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하게 하는;
상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 사용자 인터페이스 요소에 대한 제1 사용자 입력을 검출하게 하는; 그리고
상기 각자의 사용자 인터페이스 요소에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 사용자 입력에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키게 하고;
상기 제1 사용자 입력이, 상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키기 위한 입력 이외의 입력일 때 만족되는 기준을 포함한 하나 이상의 기준들을 만족시킨다는 결정에 따라, 상기 제1 가상 객체와 연관된 하나 이상의 대응하는 동작들을 수행하도록 선택가능한 하나 이상의 선택가능 옵션들을 포함하도록 상기 각자의 사용자 인터페이스 요소의 디스플레이를 업데이트하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해, 제1 가상 객체, 및 상기 제1 가상 객체와 연관하여 디스플레이되는, 상기 제1 가상 객체와 별개인 대응하는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 사용자 인터페이스 요소에 대한 제1 사용자 입력을 검출하기 위한 수단; 및
상기 각자의 사용자 인터페이스 요소에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 사용자 입력에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키고;
상기 제1 사용자 입력이, 상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키기 위한 입력 이외의 입력일 때 만족되는 기준을 포함한 하나 이상의 기준들을 만족시킨다는 결정에 따라, 상기 제1 가상 객체와 연관된 하나 이상의 대응하는 동작들을 수행하도록 선택가능한 하나 이상의 선택가능 옵션들을 포함하도록 상기 각자의 사용자 인터페이스 요소의 디스플레이를 업데이트하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해, 제1 가상 객체, 및 상기 제1 가상 객체와 연관하여 디스플레이되는, 상기 제1 가상 객체와 별개인 대응하는 각자의 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 사용자 인터페이스 요소에 대한 제1 사용자 입력을 검출하기 위한 수단; 및
상기 각자의 사용자 인터페이스 요소에 대한 상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키라는 요청에 대응한다는 결정에 따라, 상기 제1 사용자 입력에 따라 상기 사용자 인터페이스에서 상기 제1 가상 객체 및 상기 각자의 사용자 인터페이스 요소를 이동시키고;
상기 제1 사용자 입력이, 상기 제1 사용자 입력이 상기 사용자 인터페이스에서 상기 제1 가상 객체를 이동시키기 위한 입력 이외의 입력일 때 만족되는 기준을 포함한 하나 이상의 기준들을 만족시킨다는 결정에 따라, 상기 제1 가상 객체와 연관된 하나 이상의 대응하는 동작들을 수행하도록 선택가능한 하나 이상의 선택가능 옵션들을 포함하도록 상기 각자의 사용자 인터페이스 요소의 디스플레이를 업데이트하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제48항 내지 제76항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제48항 내지 제76항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제48항 내지 제76항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제48항 내지 제76항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치. - 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소, 제2 사용자 인터페이스 요소, 및 제3 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 3차원 환경 내에 디스플레이하는 단계 -
상기 제1 사용자 인터페이스 요소는 상기 제2 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 방향으로 상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되며,
상기 제2 사용자 인터페이스 요소는 상기 제3 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제3 사용자 인터페이스 요소로부터 시각적으로 분리됨 -;
상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소에 대한 제1 입력을 검출하는 단계; 및
상기 제1 사용자 인터페이스 요소에 대한 상기 제1 입력을 검출하는 것에 응답하여, 그리고 상기 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라,
상기 제1 입력이 제1 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제2 사용자 인터페이스 요소 또는 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 제1 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 상기 제2 사용자 인터페이스 요소를 향해 이동시키고; 상기 제1 입력이 상기 제1 크기보다 큰 제2 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 사용자의 시점으로부터 멀리, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 그리고 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해 이동시키며;
상기 제1 입력이 상기 제2 크기보다 큰 제3 크기의 입력에 대응한다는 결정에 따라, 상기 제1 입력에 따라, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해, 그리고 상기 제3 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 이동시키는 단계를 포함하는, 방법. - 제85항에 있어서,
상기 제1 입력의 종료가 검출될 때 만족되는 기준을 포함한 하나 이상의 제2 기준들이 만족된다는 것을 검출하는 것에 응답하여,
상기 디스플레이 생성 컴포넌트를 통해, 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계; 및
상기 디스플레이 생성 컴포넌트를 통해, 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제3 사용자 인터페이스 요소로부터 시각적으로 분리되는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제85항 또는 제86항에 있어서,
상기 제1 사용자 인터페이스 요소에 대한 상기 제1 입력을 검출하는 것에 응답하여, 그리고 상기 제1 입력이 상기 하나 이상의 기준들을 만족시킨다는 상기 결정에 따라,
상기 제1 입력이 각자의 크기보다 큰 입력에 대응한다는 결정에 따라, 상기 제1 사용자 인터페이스 요소와 연관된 동작을 수행하는 단계; 및
상기 제1 입력이 상기 각자의 크기보다 작은 입력에 대응한다는 결정에 따라, 상기 제1 사용자 인터페이스 요소와 연관된 상기 동작을 수행하는 것을 보류하는 단계를 추가로 포함하는, 방법. - 제87항에 있어서, 상기 각자의 크기는 상기 제1 입력을 검출하기 전에 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로의 상기 제1 사용자 인터페이스 요소와 상기 제2 사용자 인터페이스 요소 사이의 시각적 분리의 크기에 대응하는, 방법.
- 제87항 또는 제88항에 있어서,
상기 제1 사용자 인터페이스 요소에 대한 상기 제1 입력을 검출하는 것에 응답하여, 그리고 상기 제1 입력이 상기 하나 이상의 기준들을 만족시킨다는 상기 결정에 따라,
상기 제1 입력이 상기 각자의 크기보다 큰 크기를 갖는 입력에 대응한다는 상기 결정에 따라, 상기 제1 입력에 대응하는 크기가 상기 각자의 크기를 초과하는 양에 관계없이, 상기 제1 사용자 인터페이스 요소와 연관된 상기 동작을 수행하는 단계를 추가로 포함하는, 방법. - 제85항 내지 제89항 중 어느 한 항에 있어서,
상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소 및 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 제1 사용자 인터페이스 요소 또는 상기 제2 사용자 인터페이스 요소를 상기 제1 사용자 인터페이스 요소와 상기 제2 사용자 인터페이스 요소 사이의 상기 시각적 분리에 기초하여 결정되는 크기들로 디스플레이하는 단계를 포함하고,
상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 시각적으로 분리되는 상기 제2 사용자 인터페이스 요소 및 상기 제3 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 제2 사용자 인터페이스 요소 또는 상기 제3 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소와 상기 제3 사용자 인터페이스 요소 사이의 상기 시각적 분리에 기초하여 결정되는 크기들로 디스플레이하는 단계를 포함하는, 방법. - 제85항 내지 제90항 중 어느 한 항에 있어서,
상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소 및 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 제1 사용자 인터페이스 요소 또는 상기 제2 사용자 인터페이스 요소를 상기 제1 사용자 인터페이스 요소와 상기 제2 사용자 인터페이스 요소 사이의 상기 시각적 분리에 기초하여 결정되는 상이한 입체 깊이들로 디스플레이하는 단계를 포함하고,
상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 시각적으로 분리되는 상기 제2 사용자 인터페이스 요소 및 상기 제3 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 제2 사용자 인터페이스 요소 또는 상기 제3 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소와 상기 제3 사용자 인터페이스 요소 사이의 상기 시각적 분리에 기초하여 결정되는 상이한 입체 깊이들로 디스플레이하는 단계를 포함하는, 방법. - 제85항 내지 제91항 중 어느 한 항에 있어서,
상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소 및 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 제1 사용자 인터페이스 요소 또는 상기 제2 사용자 인터페이스 요소를 상기 제1 사용자 인터페이스 요소와 상기 제2 사용자 인터페이스 요소 사이의 상기 시각적 분리에 기초하여 결정되는 하나 이상의 가상 그림자들과 함께 디스플레이하는 단계를 포함하고,
상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 시각적으로 분리되는 상기 제2 사용자 인터페이스 요소 및 상기 제3 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 제2 사용자 인터페이스 요소 또는 상기 제3 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소와 상기 제3 사용자 인터페이스 요소 사이의 상기 시각적 분리에 기초하여 결정되는 하나 이상의 가상 그림자들과 함께 디스플레이하는 단계를 포함하는, 방법. - 제85항 내지 제92항 중 어느 한 항에 있어서, 상기 하나 이상의 기준들은, 상기 전자 디바이스가, 눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제1 사용자 인터페이스 요소로 지향된다는 것을 검출할 때 만족되는 기준을 포함하고, 상기 3차원 환경 내의 상기 사용자 인터페이스는 제4 사용자 인터페이스 요소, 제5 사용자 인터페이스 요소, 및 제6 사용자 인터페이스 요소를 추가로 포함하며,
상기 제4 사용자 인터페이스 요소는 상기 제5 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제5 사용자 인터페이스 요소로부터 시각적으로 분리되며,
상기 제5 사용자 인터페이스 요소는 상기 제6 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제6 사용자 인터페이스 요소로부터 시각적으로 분리되며, 상기 방법은,
상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제4 사용자 인터페이스 요소에 대한 제2 입력을 검출하는 단계; 및
상기 제4 사용자 인터페이스 요소에 대한 상기 제2 입력을 검출하는 것에 응답하여, 상기 전자 디바이스가, 상기 눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제4 사용자 인터페이스 요소로 지향된다는 것을 검출할 때 만족되는 기준을 포함하는 하나 이상의 제2 기준들을 상기 제2 입력이 만족시킨다는 결정에 따라,
상기 제2 입력이 제4 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제5 사용자 인터페이스 요소 또는 상기 제6 사용자 인터페이스 요소를 이동시키지 않고서, 상기 제2 입력에 따라 상기 제4 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 상기 제5 사용자 인터페이스 요소를 향해 이동시키고;
상기 제2 입력이 상기 제4 크기보다 큰 제5 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제6 사용자 인터페이스 요소를 이동시키지 않고서, 상기 제2 입력에 따라 상기 사용자의 시점으로부터 멀리, 상기 제4 사용자 인터페이스 요소를 상기 제5 사용자 인터페이스 요소를 향해, 그리고 상기 제5 사용자 인터페이스 요소를 상기 제6 사용자 인터페이스 요소를 향해 이동시키며;
상기 제2 입력이 상기 제5 크기보다 큰 제6 크기의 입력에 대응한다는 결정에 따라, 상기 제2 입력에 따라, 상기 제4 사용자 인터페이스 요소를 상기 제5 사용자 인터페이스 요소를 향해, 상기 제5 사용자 인터페이스 요소를 상기 제6 사용자 인터페이스 요소를 향해, 그리고 상기 제6 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 이동시키는 단계를 추가로 포함하는, 방법. - 제85항 내지 제93항 중 어느 한 항에 있어서,
상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계는, 상기 하나 이상의 입력 디바이스들을 통해, 각자의 입력 상태를 검출하는 것에 응답하여 이루어지고,
상기 각자의 입력 상태가 제1 입력 상태라는 결정에 따라, 상기 제1 사용자 인터페이스 요소와 상기 제2 사용자 인터페이스 요소 사이의 분리의 크기는 제1 값을 가지며,
상기 각자의 입력 상태가 상기 제1 입력 상태와는 상이한 제2 입력 상태라는 결정에 따라, 상기 제1 사용자 인터페이스 요소와 상기 제2 사용자 인터페이스 요소 사이의 상기 분리의 크기는 상기 제1 값과는 상이한 제2 값을 갖는, 방법. - 제94항에 있어서,
상기 제1 입력 상태를 검출하는 것은, 눈 추적 디바이스를 통해, 상기 3차원 환경에서 상기 제1 사용자 인터페이스 요소에 대응하는 위치로부터 미리결정된 임계 거리보다 더 멀리 상기 사용자의 미리정의된 부분을 검출하면서, 상기 사용자의 시선이 상기 제1 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것을 포함하고,
상기 제2 입력 상태를 검출하는 것은 상기 3차원 환경에서 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치의 미리결정된 임계 거리 내에서 상기 사용자의 미리정의된 부분을 검출하는 것을 포함하는, 방법. - 제94항에 있어서,
상기 제1 입력 상태를 검출하는 것은, 상기 하나 이상의 입력 디바이스들 중 제1 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 상기 제1 각자의 입력 디바이스를 터치하는 것이 없는, 상기 제1 각자의 입력 디바이스와 상기 사용자의 미리정의된 부분의 상호작용을 검출하는 것을 포함하고,
상기 제2 입력 상태를 검출하는 것은, 상기 제1 각자의 입력 디바이스와는 상이한 제2 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 제2 각자의 입력 디바이스를 터치하는 것을 포함하는, 상기 제2 각자의 입력 디바이스와 상기 사용자의 미리정의된 부분의 상호작용을 검출하는 것을 포함하는, 방법. - 제94항에 있어서,
상기 각자의 입력 상태가, 상기 제1 입력 상태 및 상기 제2 입력 상태와는 상이한 제3 입력 상태라는 결정에 따라, 상기 제1 사용자 인터페이스 요소와 상기 제2 사용자 인터페이스 요소 사이의 상기 분리의 크기는, 상기 제1 값 및 상기 제2 값과는 상이한 제3 값을 갖고,
상기 제1 입력 상태를 검출하는 것은, 상기 하나 이상의 입력 디바이스들 중 제1 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 상기 3차원 환경에서 상기 제1 사용자 인터페이스 요소에 대응하는 위치로부터 미리결정된 임계 거리보다 더 멀리 있다는 것을 검출하면서, 눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제1 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것, 및 상기 제1 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 상기 제1 각자의 입력 디바이스를 터치하는 것이 없는, 상기 제1 각자의 입력 디바이스와 상기 사용자의 미리정의된 부분의 상호작용을 검출하는 것을 포함하고,
상기 제2 입력 상태를 검출하는 것은, 상기 하나 이상의 입력 디바이스들 중 상기 제1 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 상기 3차원 환경에서 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치로부터 상기 임계 거리 미만이라는 것을 검출하는 것, 및 상기 제1 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 상기 제1 각자의 입력 디바이스를 터치하는 것이 없는, 상기 제1 각자의 입력 디바이스와 상기 사용자의 미리정의된 부분의 상호작용을 검출하는 것을 포함하며,
상기 제3 입력 상태를 검출하는 것은, 상기 제1 각자의 입력 디바이스와는 상이한 제2 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 제2 각자의 입력 디바이스를 터치하는 것을 포함하는, 상기 제2 각자의 입력 디바이스와 상기 사용자의 미리정의된 부분의 상호작용을 검출하는 것을 포함하는, 방법. - 제85항 내지 제97항 중 어느 한 항에 있어서,
상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소에 대한 각자의 입력 상태를 검출하는 단계 - 상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계 및 상기 제3 사용자 인터페이스 요소로부터 시각적으로 분리되는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 제1 사용자 인터페이스 요소에 대한 상기 각자의 입력 상태를 검출하는 단계에 응답하여 이루어지며, 상기 제1 사용자 인터페이스 요소는 상기 제2 사용자 인터페이스 요소로부터 제1 양만큼 시각적으로 분리되고, 상기 제2 사용자 인터페이스 요소는 상기 제3 사용자 인터페이스 요소로부터 제2 양만큼 시각적으로 분리됨 -; 및
상기 각자의 입력 상태를 검출하기 전에, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 사용자 인터페이스 요소로부터 상기 제1 양보다 적은 제3 양만큼 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소를 디스플레이하고, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제3 사용자 인터페이스 요소로부터 상기 제2 양보다 적은 제4 양만큼 시각적으로 분리되는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제85항 내지 제98항 중 어느 한 항에 있어서,
상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계는, 눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제1 사용자 인터페이스 요소로 지향된다는 것을 검출하는 것, 및 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 상기 3차원 환경에서 상기 제1 사용자 인터페이스 요소에 대응하는 위치의 미리결정된 임계 거리 내에 있다는 것을 검출하는 것에 응답하여 이루어지고, 상기 제1 사용자 인터페이스 요소는 상기 제2 사용자 인터페이스 요소로부터 제1 양만큼 시각적으로 분리되며, 상기 방법은,
상기 각자의 입력 디바이스를 통해, 상기 사용자의 미리정의된 부분이 상기 3차원 환경에서 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치에 더 가깝게 이동한다는 것을 검출하는 단계; 및
상기 3차원 환경에서 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치에 더 가까운 상기 사용자의 미리정의된 부분을 검출하는 것에 응답하여, 상기 제2 사용자 인터페이스 요소로부터 상기 제1 양과는 상이한 제2 양만큼 시각적으로 분리되는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계를 추가로 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,
디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소, 제2 사용자 인터페이스 요소, 및 제3 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 3차원 환경 내에 디스플레이하기 위한 -
상기 제1 사용자 인터페이스 요소는 상기 제2 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 방향으로 상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되며,
상기 제2 사용자 인터페이스 요소는 상기 제3 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제3 사용자 인터페이스 요소로부터 시각적으로 분리됨 -;
상기 사용자 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소에 대한 제1 입력을 검출하기 위한; 그리고
상기 제1 사용자 인터페이스 요소에 대한 상기 제1 입력을 검출하는 것에 응답하여, 그리고 상기 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라,
상기 제1 입력이 제1 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제2 사용자 인터페이스 요소 또는 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 제1 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 상기 제2 사용자 인터페이스 요소를 향해 이동시키고;
상기 제1 입력이 상기 제1 크기보다 큰 제2 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 사용자의 시점으로부터 멀리, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 그리고 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해 이동시키며;
상기 제1 입력이 상기 제2 크기보다 큰 제3 크기의 입력에 대응한다는 결정에 따라, 상기 제1 입력에 따라, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해, 그리고 상기 제3 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 이동시키기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소, 제2 사용자 인터페이스 요소, 및 제3 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 3차원 환경 내에 디스플레이하는 단계 -
상기 제1 사용자 인터페이스 요소는 상기 제2 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 방향으로 상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되며,
상기 제2 사용자 인터페이스 요소는 상기 제3 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제3 사용자 인터페이스 요소로부터 시각적으로 분리됨 -;
상기 사용자 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소에 대한 제1 입력을 검출하는 단계; 및
상기 제1 사용자 인터페이스 요소에 대한 상기 제1 입력을 검출하는 것에 응답하여, 그리고 상기 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라,
상기 제1 입력이 제1 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제2 사용자 인터페이스 요소 또는 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 제1 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 상기 제2 사용자 인터페이스 요소를 향해 이동시키고;
상기 제1 입력이 상기 제1 크기보다 큰 제2 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 사용자의 시점으로부터 멀리, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 그리고 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해 이동시키며;
상기 제1 입력이 상기 제2 크기보다 큰 제3 크기의 입력에 대응한다는 결정에 따라, 상기 제1 입력에 따라, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해, 그리고 상기 제3 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 이동시키는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리;
디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소, 제2 사용자 인터페이스 요소, 및 제3 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 3차원 환경 내에 디스플레이하기 위한 수단 -
상기 제1 사용자 인터페이스 요소는 상기 제2 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 방향으로 상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되며,
상기 제2 사용자 인터페이스 요소는 상기 제3 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제3 사용자 인터페이스 요소로부터 시각적으로 분리됨 -;
상기 사용자 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소에 대한 제1 입력을 검출하기 위한 수단; 및
상기 제1 사용자 인터페이스 요소에 대한 상기 제1 입력을 검출하는 것에 응답하여, 그리고 상기 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라,
상기 제1 입력이 제1 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제2 사용자 인터페이스 요소 또는 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 제1 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 상기 제2 사용자 인터페이스 요소를 향해 이동시키고;
상기 제1 입력이 상기 제1 크기보다 큰 제2 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 사용자의 시점으로부터 멀리, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 그리고 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해 이동시키며;
상기 제1 입력이 상기 제2 크기보다 큰 제3 크기의 입력에 대응한다는 결정에 따라, 상기 제1 입력에 따라, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해, 그리고 상기 제3 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 이동시키기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소, 제2 사용자 인터페이스 요소, 및 제3 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 3차원 환경 내에 디스플레이하기 위한 수단 -
상기 제1 사용자 인터페이스 요소는 상기 제2 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 방향으로 상기 제2 사용자 인터페이스 요소로부터 시각적으로 분리되며,
상기 제2 사용자 인터페이스 요소는 상기 제3 사용자 인터페이스 요소의 경계 내에 디스플레이되고 상기 전자 디바이스의 사용자의 시점을 향한 상기 방향으로 상기 제3 사용자 인터페이스 요소로부터 시각적으로 분리됨 -;
상기 사용자 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소에 대한 제1 입력을 검출하기 위한 수단; 및
상기 제1 사용자 인터페이스 요소에 대한 상기 제1 입력을 검출하는 것에 응답하여, 그리고 상기 제1 입력이 하나 이상의 기준들을 만족시킨다는 결정에 따라,
상기 제1 입력이 제1 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제2 사용자 인터페이스 요소 또는 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 제1 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 상기 제2 사용자 인터페이스 요소를 향해 이동시키고;
상기 제1 입력이 상기 제1 크기보다 큰 제2 크기의 입력에 대응한다는 결정에 따라, 상기 3차원 환경에서 상기 제3 사용자 인터페이스를 이동시키지 않고서, 상기 제1 입력에 따라 상기 사용자의 시점으로부터 멀리, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 그리고 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해 이동시키며;
상기 제1 입력이 상기 제2 크기보다 큰 제3 크기의 입력에 대응한다는 결정에 따라, 상기 제1 입력에 따라, 상기 제1 사용자 인터페이스 요소를 상기 제2 사용자 인터페이스 요소를 향해, 상기 제2 사용자 인터페이스 요소를 상기 제3 사용자 인터페이스 요소를 향해, 그리고 상기 제3 사용자 인터페이스 요소를 상기 사용자의 시점으로부터 멀리 이동시키기 위한 수단을 포함하는, 정보 프로세싱 장치. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제85항 내지 제99항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제85항 내지 제99항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
제85항 내지 제99항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스. - 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
제85항 내지 제99항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063083802P | 2020-09-25 | 2020-09-25 | |
| US63/083,802 | 2020-09-25 | ||
| US202163261555P | 2021-09-23 | 2021-09-23 | |
| US63/261,555 | 2021-09-23 | ||
| PCT/US2021/071595 WO2022067342A2 (en) | 2020-09-25 | 2021-09-25 | Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230054733A true KR20230054733A (ko) | 2023-04-25 |
Family
ID=78303069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237010528A KR20230054733A (ko) | 2020-09-25 | 2021-09-25 | 가상 제어부들과 상호작용하기 위한 방법들 및/또는 가상 환경들에서 가상 객체들을 이동시키기 위한 어포던스 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220121344A1 (ko) |
| EP (1) | EP4217835A2 (ko) |
| JP (1) | JP2023543798A (ko) |
| KR (1) | KR20230054733A (ko) |
| CN (2) | CN116324703A (ko) |
| AU (2) | AU2021349381B2 (ko) |
| WO (1) | WO2022067342A2 (ko) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11520409B2 (en) * | 2019-04-11 | 2022-12-06 | Samsung Electronics Co., Ltd. | Head mounted display device and operating method thereof |
| US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
| US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
| EP3985486B1 (en) * | 2020-10-13 | 2024-04-17 | Hiroyuki Ikeda | Glasses-type terminal |
| US11113893B1 (en) * | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
| USD982031S1 (en) * | 2020-12-21 | 2023-03-28 | 3Shape A/S | Display screen or portion thereof with a transitional graphical user interface |
| US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
| EP4281843A1 (en) * | 2021-01-20 | 2023-11-29 | Apple Inc. | Methods for interacting with objects in an environment |
| EP4288856A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | Extended reality for productivity |
| EP4288950A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | User interactions in extended reality |
| JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
| US20220345591A1 (en) * | 2021-04-22 | 2022-10-27 | David Shau | Underwater Camera Operations |
| US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
| US12008717B2 (en) | 2021-07-07 | 2024-06-11 | Meta Platforms Technologies, Llc | Artificial reality environment control through an artificial reality environment schema |
| WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
| US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
| US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
| US11592899B1 (en) * | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
| US11836828B2 (en) * | 2021-10-29 | 2023-12-05 | Meta Platforms Technologies, Llc | Controlling interactions with virtual objects |
| US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
| US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
| WO2023192413A1 (en) * | 2022-03-31 | 2023-10-05 | New York University | Text entry with finger tapping and gaze-directed word selection |
| US20230350495A1 (en) * | 2022-04-27 | 2023-11-02 | Austin Vaday | Fingerspelling text entry |
| US20230359422A1 (en) * | 2022-05-03 | 2023-11-09 | Meta Platforms Technologies, Llc | Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques |
| US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
| US11766614B1 (en) * | 2022-05-20 | 2023-09-26 | Pj Hammer Corporation | Utilizing mobile device capabilities to keep a user engaged with a mobile application |
| WO2024064016A1 (en) * | 2022-09-21 | 2024-03-28 | Apple Inc. | Devices, methods, and user interfaces for gesture-based interactions |
| US11947862B1 (en) | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8982160B2 (en) * | 2010-04-16 | 2015-03-17 | Qualcomm, Incorporated | Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size |
| US9448636B2 (en) * | 2012-04-18 | 2016-09-20 | Arb Labs Inc. | Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices |
| KR20140073730A (ko) * | 2012-12-06 | 2014-06-17 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기 제어방법 |
| US9811245B2 (en) * | 2013-12-24 | 2017-11-07 | Dropbox, Inc. | Systems and methods for displaying an image capturing mode and a content viewing mode |
| WO2016137139A1 (en) * | 2015-02-26 | 2016-09-01 | Samsung Electronics Co., Ltd. | Method and device for managing item |
| US10803716B2 (en) * | 2017-09-08 | 2020-10-13 | Hellofactory Co., Ltd. | System and method of communicating devices using virtual buttons |
| US20190088149A1 (en) * | 2017-09-19 | 2019-03-21 | Money Media Inc. | Verifying viewing of content by user |
| WO2019236344A1 (en) * | 2018-06-07 | 2019-12-12 | Magic Leap, Inc. | Augmented reality scrollbar |
-
2021
- 2021-09-25 AU AU2021349381A patent/AU2021349381B2/en active Active
- 2021-09-25 JP JP2023519045A patent/JP2023543798A/ja active Pending
- 2021-09-25 EP EP21795228.2A patent/EP4217835A2/en active Pending
- 2021-09-25 CN CN202180065816.0A patent/CN116324703A/zh active Pending
- 2021-09-25 KR KR1020237010528A patent/KR20230054733A/ko active Search and Examination
- 2021-09-25 US US17/448,875 patent/US20220121344A1/en active Pending
- 2021-09-25 WO PCT/US2021/071595 patent/WO2022067342A2/en unknown
- 2021-09-25 CN CN202310683358.8A patent/CN116719452A/zh active Pending
-
2024
- 2024-05-22 AU AU2024203393A patent/AU2024203393A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| AU2021349381B2 (en) | 2024-02-22 |
| US20220121344A1 (en) | 2022-04-21 |
| AU2024203393A1 (en) | 2024-06-06 |
| CN116324703A (zh) | 2023-06-23 |
| EP4217835A2 (en) | 2023-08-02 |
| AU2021349381A1 (en) | 2023-05-11 |
| WO2022067342A3 (en) | 2022-07-21 |
| CN116719452A (zh) | 2023-09-08 |
| JP2023543798A (ja) | 2023-10-18 |
| WO2022067342A2 (en) | 2022-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021349381B2 (en) | Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments | |
| KR20220040493A (ko) | 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| CN114830066A (zh) | 用于在三维环境中显示应用程序的设备、方法和图形用户界面 | |
| CN114721470A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| KR20230128562A (ko) | 환경 내의 객체들과 상호작용하기 위한 방법 | |
| EP4182779A1 (en) | Devices, methods, and graphical user interfaces for providing computer-generated experiences | |
| US20220317776A1 (en) | Methods for manipulating objects in an environment | |
| US11720171B2 (en) | Methods for navigating user interfaces | |
| US20230114043A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20230093979A1 (en) | Devices, methods, and graphical user interfaces for content applications | |
| US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20230106627A1 (en) | Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| WO2023141535A1 (en) | Methods for displaying and repositioning objects in an environment | |
| KR20240064017A (ko) | 전자 디바이스와 상호작용하기 위한 방법들 | |
| US20240152256A1 (en) | Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments | |
| KR20240064014A (ko) | 가상 환경들에서 가상 객체들을 제시하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| KR20240048522A (ko) | 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| WO2023137402A1 (en) | Methods for displaying, selecting and moving objects and containers in an environment | |
| CN118302737A (en) | Method for interacting with an electronic device | |
| CN118056173A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| CN117957581A (zh) | 用于与三维环境交互的设备、方法和图形用户界面 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |