KR20230128562A - 환경 내의 객체들과 상호작용하기 위한 방법 - Google Patents

환경 내의 객체들과 상호작용하기 위한 방법 Download PDF

Info

Publication number
KR20230128562A
KR20230128562A KR1020237027676A KR20237027676A KR20230128562A KR 20230128562 A KR20230128562 A KR 20230128562A KR 1020237027676 A KR1020237027676 A KR 1020237027676A KR 20237027676 A KR20237027676 A KR 20237027676A KR 20230128562 A KR20230128562 A KR 20230128562A
Authority
KR
South Korea
Prior art keywords
user interface
user
input
interface element
detecting
Prior art date
Application number
KR1020237027676A
Other languages
English (en)
Inventor
크리스토퍼 디. 맥켄지
폴 플라 아이 코네사
마르코스 알론소 루이즈
스티븐 오. 르메이
윌리엄 에이. 3세 소렌티노
시-상 치우
조나단 라바즈
벤자민 헌터 보셀
크리스티 이. 바월리
피터 디. 안톤
에브게니 크리보루치코
나단 기터
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20230128562A publication Critical patent/KR20230128562A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Absorbent Articles And Supports Therefor (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)

Abstract

일부 실시예들에서, 전자 디바이스는 준비 상태를 검출함으로써 입력들이 선행되는지 여부에 따라 사용자 입력들에 응답하여 동작들을 선택적으로 수행한다. 일부 실시예들에서, 전자 디바이스는 사용자와 연관된 주목 구역에 기초하여 사용자 입력들을 프로세싱한다. 일부 실시예들에서, 전자 디바이스는 사용자의 시선에 대해 상이한 거리 및/또는 각도에 있는 사용자 인터페이스 요소들과의 상호작용을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 직간접 혼합 상호작용 모드에서 사용자 인터페이스 요소들과의 상호작용을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 사용자의 두 손으로부터의 입력들을 관리 및/또는 사용자 입력들의 시각적 표시들을 제시한다. 일부 실시예들에서, 전자 디바이스는 이러한 상호작용들의 시각적 표시들을 이용하여 3차원 환경에서 사용자 인터페이스 요소들과의 상호작용들을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 하나의 사용자 인터페이스 요소에서 다른 사용자 인터페이스 요소로 선택 입력을 재지향시킨다.

Description

환경 내의 객체들과 상호작용하기 위한 방법
관련 출원의 상호 참조
본 출원은 2021년 1월 20일자로 출원된 미국 가출원 제63/139,566호, 및 2021년 9월 23일자로 출원된 미국 가출원 제63/261,559호의 이익을 주장하며, 이들의 내용은 본 명세서에서 모든 목적들을 위해 전체적으로 참조로서 포함된다.
기술분야
본 출원은 일반적으로 디스플레이 생성 컴포넌트 및 그래픽 사용자 인터페이스를 나타내는 하나 이상의 입력 디바이스들을 구비한 컴퓨터 시스템들에 관한 것으로, 디스플레이 생성 컴포넌트를 통해 상호작용형 사용자 인터페이스 요소들을 제시하는 전자 디바이스들을 포함하지만, 이에 제한되지 않는다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치-감응형 표면들, 및 터치-스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
그러나, 적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 그러한 방법들 및 인터페이스들은 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 접속을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
개시된 시스템들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 일부 실시예들에서, 컴퓨터 시스템은 연관된 디스플레이를 갖는 데스크톱 컴퓨터이다. 일부 실시예들에서, 컴퓨터 시스템은 휴대용 디바이스(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 개인용 전자 디바이스(예를 들어, 시계 또는 머리 장착형 디바이스와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 터치패드를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 눈 추적 구성요소들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 손 추적 구성요소들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 디스플레이 생성 컴포넌트에 추가하여 하나 이상의 출력 디바이스들을 갖고, 출력 디바이스들은 하나 이상의 촉각적 출력 생성기들 및 하나 이상의 오디오 출력 디바이스들을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 터치-감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들, 카메라들 및 다른 이동 센서들에 의해 캡처된 GUI 또는 사용자의 신체에 대한 공간에서의 사용자의 눈들 및 손의 이동, 및 하나 이상의 오디오 입력 디바이스들에 의해 캡처된 음성 입력들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 상호작용들을 통해 수행되는 기능들은, 선택적으로, 이미지 편집, 드로잉, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
3차원 환경 내의 객체들과 상호작용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들이 필요하다. 이러한 방법들 및 인터페이스들은 3차원 환경에서 객체들과 상호작용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 이러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 정도, 및/또는 종류를 줄이고 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에서, 전자 디바이스는 사용자의 준비 상태를 검출함으로써 사용자 입력이 선행되는지 여부에 따라 사용자 입력에 응답하여 동작을 수행하거나 또는 수행하지 않는다. 일부 실시예들에서, 전자 디바이스는 사용자와 연관된 주목 구역에 기초하여 사용자 입력들을 프로세싱한다. 일부 실시예들에서, 전자 디바이스는 3차원 환경에서 사용자의 시선에 대해 상이한 거리 및/또는 각도에 있는 사용자 인터페이스 요소들과의 상호작용을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 직간접 혼합 상호작용 모드에서 사용자 인터페이스 요소들과의 상호작용을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 사용자의 손들 중 2개로부터의 입력들을 관리한다. 일부 실시예들에서, 전자 디바이스는 사용자 입력들의 시각적 표시들을 제시한다. 일부 실시예들에서, 전자 디바이스는 이러한 상호작용들의 시각적 표시들을 이용하여 3차원 환경에서 사용자 인터페이스 요소들과의 상호작용들을 향상시킨다. 일부 실시예들에서, 전자 디바이스는 입력을, 입력에 포함된 이동에 따라 하나의 사용자 인터페이스 요소로부터 다른 사용자 인터페이스 요소로 재지향시킨다.
전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음에 주목한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6a는 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 도시하는 흐름도이다.
도 6b는 일부 실시예들에 따른 CGR 경험을 제공하는 전자 디바이스의 예시적인 환경을 도시한다.
도 7a 내지 도 7c는 일부 실시예들에 따른 사용자의 준비 상태를 검출함으로써 사용자 입력이 선행되는지 여부에 따라 전자 디바이스들이 사용자 입력에 응답하여 동작을 수행하거나 또는 수행하지 않는 예시적인 방식들을 도시한다.
도 8a 내지 도 8k는 일부 실시예들에 따른 사용자의 준비 상태를 검출함으로써 사용자 입력이 선행되는지 여부에 따라 사용자 입력에 응답하여 동작을 수행하거나 또는 수행하지 않는 방법을 도시하는 흐름도이다.
도 9a 내지 도 9c는 일부 실시예들에 따른 전자 디바이스가 사용자와 연관된 주목 구역에 기초하여 사용자 입력들을 프로세싱하는 예시적인 방식들을 도시한다.
도 10a 내지 도 10h는 일부 실시예들에 따른 사용자와 연관된 주목 구역에 기초하여 사용자 입력들을 프로세싱하는 방법을 도시하는 흐름도이다.
도 11a 내지 도 11c는 일부 실시예들에 따른 3차원 환경에서 전자 디바이스가 사용자의 시선에 대해 상이한 거리 및/또는 각도에 있는 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법의 예들을 도시한다.
도 12a 내지 도 12f는 일부 실시예들에 따른 3차원 환경에서 사용자의 시선에 대해 상이한 거리 및/또는 각도에 있는 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법을 도시하는 흐름도이다.
도 13a 내지 도 13c는 일부 실시예들에 따른 직간접 혼합 상호작용 모드에서 전자 디바이스가 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법의 예들을 도시한다.
도 14a 내지 도 14h는 일부 실시예들에 따른 직간접 혼합 상호작용 모드에서 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법을 도시하는 흐름도이다.
도 15a 내지 도 15e는 일부 실시예들에 따라 전자 디바이스가 사용자의 두 손으로부터의 입력들을 관리하는 예시적인 방식들을 도시한다.
도 16a 내지 도 16i는 일부 실시예들에 따른 사용자의 두 손으로부터의 입력들을 관리하는 방법을 도시하는 흐름도이다.
도 17a 내지 도 17e는 일부 실시예들에 따라 전자 디바이스가 사용자 입력들의 시각적 표시들을 제시하는 다양한 방식들을 도시한다.
도 18a 내지 도 18o는 일부 실시예들에 따른 사용자 입력들의 시각적 표시들을 제시하는 방법을 도시하는 흐름도이다.
도 19a 내지 도 19d는 일부 실시예들에 따라 전자 디바이스가 이러한 상호작용들의 시각적 표시들을 이용하여 3차원 환경에서 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법의 예들을 도시한다.
도 20a 내지 도 20f는 일부 실시예들에 따라 이러한 상호작용들의 시각적 표시들을 이용하여 3차원 환경에서 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법을 도시하는 흐름도이다.
도 21a 내지 도 21e는 일부 실시예들에 따라 입력에 포함된 이동을 검출하는 것에 응답하여 전자 디바이스가 하나의 사용자 인터페이스 요소에서 다른 사용자 인터페이스 요소로 입력을 재지향시키는 방법의 예들을 도시한다.
도 22a 내지 도 22k는 일부 실시예들에 따라 입력에 포함된 이동을 검출하는 것에 응답하여 하나의 사용자 인터페이스 요소에서 다른 사용자 인터페이스 요소로 입력을 재지향시키는 방법을 도시하는 흐름도이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에서 설명되는 시스템들, 방법들 및 GUI들은 전자 디바이스가 3차원 환경에서 객체들과 상호작용하고 그를 조작하는 개선된 방식들을 제공한다. 3차원 환경은, 선택적으로, 하나 이상의 가상 객체들, 전자 디바이스의 물리적 환경 내에 있는 실제 객체들의 하나 이상의 표현들(예컨대, 실제 객체들의 실사(예컨대, "패스 스루(pass-through)") 표현들로서 디스플레이되거나 디스플레이 생성 컴포넌트의 투명 부분을 통해 사용자에게 보임), 및/또는 3차원 환경 내의 사용자들의 표현들을 포함한다.
일부 실시예들에서, 전자 디바이스는 3차원 환경에서의 사용자의 시점에 기초하여 3차원 환경에서 가상 객체의 배향을 자동으로 업데이트한다. 일부 실시예들에서, 전자 디바이스는 사용자 입력에 따라 가상 객체를 이동시키고, 사용자 입력의 종료에 응답하여, 업데이트된 위치에 객체를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 업데이트된 위치에서(그리고/또는 예를 들어, 가상 객체가 업데이트된 위치로 이동할 때) 가상 객체의 배향을 자동으로 업데이트하여, 가상 객체는 (예를 들어, 자신의 이동 전반에 걸쳐 그리고/또는 그 이동의 끝에서) 3차원 환경에서 사용자의 시점을 향해 배향된다. 3차원 환경에서 가상 객체의 배향을 자동으로 업데이트하는 것은, 사용자가 객체의 배향을 수동으로 조정할 것을 요구하지 않으면서, 사용자가 가상 객체를 보다 자연스럽고 효율적으로 볼 수 있고 상호작용할 수 있게 한다.
일부 실시예들에서, 전자 디바이스는 3차원 환경에서의 복수의 사용자들의 시점들에 기초하여 3차원 환경에서 가상 객체의 배향을 자동으로 업데이트한다. 일부 실시예들에서, 전자 디바이스는 사용자 입력에 따라 가상 객체를 이동시키고, 사용자 입력의 종료에 응답하여, 업데이트된 위치에 객체를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 업데이트된 위치에서(그리고/또는 예를 들어, 가상 객체가 업데이트된 위치로 이동할 때) 가상 객체의 배향을 자동으로 업데이트하여, 가상 객체는 (예를 들어, 자신의 이동 전반에 걸쳐 그리고/또는 그 이동의 끝에서) 3차원 환경에서 복수의 사용자들의 시점들을 향해 배향된다. 3차원 환경에서 가상 객체의 배향을 자동으로 업데이트하는 것은, 사용자들이 객체의 배향을 수동으로 조정할 것을 요구하지 않으면서, 사용자들이 가상 객체를 보다 자연스럽고 효율적으로 볼 수 있고 상호작용할 수 있게 한다.
일부 실시예들에서, 전자 디바이스는 3차원 환경에서 사용자의 시점과 가상 객체 사이에 있는 실제 객체의 외관을 수정한다. 전자 디바이스는 선택적으로 3차원 환경에서 사용자의 시점과 가상 객체 사이에 있는 실제 객체(예를 들어, 실제 객체들의 포토리얼리스틱(예를 들어, "패스-스루") 표현으로서 디스플레이되거나 디스플레이 생성 컴포넌트의 투명 부분을 통해 사용자에게 가시적임)의 일부를 블러링하거나, 어둡게 하거나, 또는 다른 방식으로 수정한다. 일부 실시예들에서, 전자 디바이스는 가상 객체의 경계의 임계 거리(예를 들어, 5, 10, 30, 50, 100 센티미터 등)보다 큰 실제 객체의 일부를 수정하지 않으면서 가상 객체의 경계의 임계 거리 내에 있는 실제 객체의 일부를 수정한다. 실제 객체의 외관을 수정하는 것은 사용자가 가상 객체를 보다 자연스럽고 효율적으로 볼 수 있고 상호작용할 수 있게 한다. 또한, 실제 객체의 외관을 수정하는 것은 사용자에 대한 인지 부담을 감소시킨다.
일부 실시예들에서, 전자 디바이스는 하나 이상의 가상 객체들 및/또는 다른 사용자들을 포함하는 3차원 환경에서 사용자에 대한 위치를 자동으로 선택한다. 일부 실시예들에서, 사용자는 하나 이상의 다른 사용자들 및 하나 이상의 가상 객체들을 이미 포함하는 3차원 환경에 대한 액세스를 얻는다. 일부 실시예들에서, 전자 디바이스는 3차원 환경 내의 가상 객체들 및 다른 사용자들의 위치들 및 배향들에 기초하여 사용자를 연관시킬 위치(예를 들어, 사용자의 시점을 배치할 위치)를 자동으로 선택한다. 일부 실시예들에서, 전자 디바이스는 사용자들 및 가상 객체들의 다른 사용자들의 뷰들을 차단하지 않으면서 사용자가 3차원 환경에서 다른 사용자들 및 가상 객체들을 볼 수 있게 하기 위해 사용자에 대한 위치를 선택한다. 3차원 환경 내의 가상 객체들 및 다른 사용자들의 위치들 및 배향들에 기초하여 사용자를 3차원 환경에 자동으로 배치하는 것은, 연관될 3차원 환경 내의 위치를 수동으로 선택하도록 사용자에게 요구하지 않으면서, 사용자가 3차원 환경에서 가상 객체들 및 다른 사용자들을 효율적으로 보고 상호작용할 수 있게 한다.
일부 실시예들에서, 전자 디바이스는 입력을, 입력에 포함된 이동에 따라 하나의 사용자 인터페이스 요소로부터 다른 사용자 인터페이스 요소로 재지향시킨다. 일부 실시예들에서, 전자 디바이스는 복수의 상호작용형 사용자 인터페이스 요소들을 제시하고, 하나 이상의 입력 디바이스들을 통해, 복수의 사용자 인터페이스 요소들 중 제1 사용자 인터페이스 요소로 지향되는 입력을 수신한다. 일부 실시예들에서, 입력의 일부분을 검출한 후에(예컨대, 전체 입력을 검출하지 않고), 전자 디바이스는 입력을 제2 사용자 인터페이스 요소로 재지향시키라는 요청에 대응하는 입력의 이동 부분을 검출한다. 이에 응답하여, 일부 실시예들에서, 전자 디바이스는 입력을 제2 사용자 인터페이스 요소로 지향시킨다. 일부 실시예들에서, (예컨대, 속도, 지속기간, 거리 등에 기초하여) 하나 이상의 기준을 충족하는 이동에 응답하여, 전자 디바이스는 입력을 재지향시키는 대신에 입력을 취소한다. 사용자가 입력의 일부분을 제공한 후에 입력을 재지향 또는 취소할 수 있게 함으로써 사용자가 더 적은 입력으로 전자 디바이스와 효율적으로 상호작용할 수 있게 한다 (예컨대, 의도되지 않은 행동들을 되돌리고/되돌리거나 입력을 상이한 사용자 인터페이스 요소로 지향함).
도 1 내지 도 6은 (방법들(800, 1000, 1200, 1400, 1600, 1800, 2000, 및 2200)에 대해 아래에서 설명된 바와 같은) 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 그리고 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 홈 어플라이언스들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리-장착 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
아래에서 설명되는 프로세스들은, 사용자에게 개선된 시각적 피드백을 제공하는 것, 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것, 추가의 디스플레이된 제어부들로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하는 것, 및/또는 추가 기법들을 포함한 다양한 기법들을 통해 (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스들을 더 효율적으로 만든다. 이러한 기법들은 또한, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 현실: 대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 머리 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 머리 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 머리 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 머리 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 머리 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(120)에 의해 제공되고/되거나 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부(예를 들어, 그의 머리에, 그의 손에 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예를 들어, 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CRG 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손))에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스)), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 CGR 경험, 또는 하나 이상의 사용자들의 개개의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(242)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(244)은 장면(105)을 맵핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(244)은 손 추적 유닛(243), 및 눈 추적 유닛(245)을 포함한다. 일부 실시예들에서, 손 추적 유닛(243)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(243)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(245)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(245)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부 및/또는 외부 대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들을 상호연결시키고 그 사이의 통신을 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 눈-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 손-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 HMD(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 고속 랜덤-액세스 메모리, 예컨대 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들을 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하기 위해 다른 이미지 센서들과 함께 사용되거나, 장면(105)의 물리적 환경을 캡처하는 이미지 센서들의 역할을 한다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를, 맵 데이터로부터 고레벨 정보를 추출하는 제어기(110)에 출력한다. 이러한 고레벨 정보는 통상적으로, 애플리케이션 프로그램 인터페이스(API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동시킨다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 특정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 성분들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 관련된 전용 회로에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 각자의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 구성요소(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 너클들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 CGR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 일부이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 그러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60-120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선의 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경들을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 자동 초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 초점을 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 8개의 광원들(530)(예를 들어, LED들)이 예로서 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입시키지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실, 가상 현실, 증강 현실 및/또는 증강 가상 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실, 가상 현실 및/또는 혼합 현실 애플리케이션들에서 사용될 수 있다.
도 6a는 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 도시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트를 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6a에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예이면, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오이면, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되면, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(410)로부터 진행하면, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하면, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서의 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 리턴한다. 650에서, 결과들이 신뢰되면, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아니라면) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6a는 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
도 6b는 일부 실시예들에 따른 CGR 경험을 제공하는 전자 디바이스들(101a, 101b)의 예시적인 환경을 도시한다. 도 6b에서, 실제 세계 환경(602)은 전자 디바이스들(101a, 101b), 사용자들(608a, 608b), 및 실제 세계 객체(예컨대, 테이블(604))를 포함한다. 도 6b에 도시된 바와 같이, 전자 디바이스들(101a, 101b)은 선택적으로 삼각대 상에 장착되거나 또는 다른 방식으로 실제 세계 환경(602)에 고정되어 사용자들(608a, 608b)의 하나 이상의 손들이 자유롭도록 한다(예컨대, 사용자들(608a, 608b)은 선택적으로 디바이스들(101a, 101b)을 하나 이상의 손들로 잡지 않고 있다). 전술된 바와 같이, 디바이스들(101a, 101b)은 선택적으로 디바이스들(101a, 101b)의 상이한 면들 상에 각각 위치설정된 센서들의 하나 이상의 그룹들을 갖는다. 예를 들어, 디바이스들(101a, 101b)은 선택적으로 디바이스들(101a, 101b)의 "후면" 및 "전면" 상에 각각 위치된 센서 그룹(612-1a, 612-1b) 및 센서 그룹들(612-2a, 612-2b)을 포함한다(예컨대, 이들은 디바이스들(101a, 101b)의 각 면으로부터 정보를 획득할 수 있음). 본 명세서에 사용된 바와 같이, 디바이스들(101a)의 전면은 사용자들(608a, 608b)을 향하는 면이고, 디바이스들(101a, 101b)의 후면은 사용자들(608a, 608b)로부터 멀리 향하는 면이다.
일부 실시예들에서, 센서 그룹들(612-2a, 612-2b)은 사용자의 눈들 및/또는 시선을 추적하기 위한 하나 이상의 센서들을 포함하는 눈 추적 유닛들(예컨대, 도 2를 참조하여 전술된 눈 추적 유닛(245))을 포함하여 눈 추적 유닛들은 사용자들(608a, 608b)을 "보고" 이전에 설명된 방식으로 사용자들(608a, 608b)의 눈(들)을 추적할 수 있도록 한다. 일부 실시예들에서, 디바이스들(101a, 101b)의 눈 추적 유닛은 사용자들(608a, 608b)의 눈들의 이동, 배향, 및/또는 시선을 캡처하고 이동, 배향, 및/또는 시선을 입력들로서 처리할 수 있다.
일부 실시예들에서, 센서 그룹들(612-1a, 612-1b)은 도 6b에 도시된 바와 같이 디바이스들(101a, 101b)의 "후면" 상에 유지되는 사용자들(608a, 608b)의 하나 이상의 손들을 추적할 수 있는 손 추적 유닛들(예컨대, 도 2를 참조하여 전술된 손 추적 유닛(243))을 포함한다. 일부 실시예들에서, 손 추적 유닛들은 선택적으로 센서 그룹들(612-2a, 612-2b)에 포함되어 디바이스들(101a, 101b)이 하나 이상의 손들의 위치를 추적하는 동안 사용자들(608a, 608b)이 추가적으로 또는 대안적으로 디바이스들(101a, 101b)의 "전면" 상에서 하나 이상의 손들을 유지할 수 있도록 한다. 전술된 바와 같이, 디바이스들(101a, 101b)의 손 추적 유닛은 사용자들(608a, 608b)의 하나 이상의 손들의 이동, 위치, 및/또는 제스처를 캡처하고 이동, 위치, 및/또는 제스처를 입력들로서 처리할 수 있다.
일부 실시예들에서, 센서 그룹들(612-1a, 612-1b)은 선택적으로 테이블(604)을 포함하는, 실제 세계 환경(602)의 이미지들을 캡처하도록 구성된 (예컨대, 도 4를 참조하여 전술된 이미지 센서들(404)과 같은) 하나 이상의 센서들을 포함한다. 전술된 바와 같이, 디바이스들(101a, 101b)은 실제 세계 환경(602)의 부분들(예컨대, 일부 또는 전부)의 이미지들을 캡처하고 디바이스들(101a, 101b)의 하나 이상의 디스플레이 생성 컴포넌트들(예컨대, 디바이스들(101a, 101b)의 디스플레이들, 이는 선택적으로 디바이스들(101a, 101b)의 실제 세계 환경(602)의 캡처되는 부분들을 향하는 면에 반대편인, 디바이스들(101a, 101b)의 사용자를 향하는 면 상에 위치됨)을 통해 실제 세계 환경(602)의 캡처된 부분들을 사용자에 제시할 수 있다.
일부 실시예들에서, 실제 세계 환경(602)의 캡처된 부분들을 이용하여 CGR 경험, 예를 들어, 하나 이상의 가상 객체들이 실제 세계 환경(602)의 표현들 위에 중첩되는 혼합 현실 환경을 사용자에게 제공한다.
따라서, 본 명세서의 설명은, 실제 세계 객체들의 표현들 및 가상 객체들의 표현들을 포함하는 3차원 환경들(예컨대, CGR 환경들)의 일부 실시예들을 설명한다. 예를 들어, 3차원 환경은, 선택적으로, (예컨대, 전자 디바이스의 카메라들 및 디스플레이들을 통해 능동적으로, 또는 전자 디바이스의 투명 또는 반투명 디스플레이를 통해 수동적으로) 3차원 환경 내에 캡처되고 디스플레이되는, 물리적 환경에 존재하는 테이블의 표현을 포함한다. 이전에 설명된 바와 같이, 3차원 환경은, 선택적으로, 3차원 환경이, 디바이스의 하나 이상의 센서들에 의해 캡처되고 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경에 기초하는 혼합 현실 시스템이다. 혼합 현실 시스템으로서, 디바이스는, 선택적으로, 물리적 환경의 각자의 부분들 및/또는 객체들이 마치 그들이 전자 디바이스에 의해 디스플레이되는 3차원 환경에 존재하는 것처럼 보이도록 물리적 환경의 일부분들 및/또는 객체들을 선택적으로 디스플레이할 수 있다. 유사하게, 디바이스는, 선택적으로, 실제 세계에서 대응하는 위치들을 갖는 3차원 환경 내의 각자의 위치들에 가상 객체들을 배치함으로써 마치 가상 객체들이 실제 세계(예컨대, 물리적 환경)에 존재하는 것처럼 보이도록 가상 객체들을 3차원 환경 내에 디스플레이할 수 있다. 예를 들어, 디바이스는, 선택적으로, 꽃병이 마치 실제 꽃병이 물리적 환경에서 테이블 위에 놓여 있는 것처럼 보이도록 꽃병을 디스플레이한다. 일부 실시예들에서, 3차원 환경 내의 각각의 위치는 물리적 환경에서 대응하는 위치를 갖는다. 따라서, 디바이스가 물리적 객체에 대한 각자의 위치(예컨대, 예를 들어, 사용자의 손 또는 그 근처, 또는 물리적 테이블 또는 그 근처의 위치)에 가상 객체를 디스플레이하는 것으로 설명될 때, 디바이스는 가상 객체가 마치 그가 물리적 세계에서 물리적 객체에 또는 그 근처에 있는 것처럼 보이도록 3차원 환경 내의 특정 위치에 가상 객체를 디스플레이한다(예컨대, 가상 객체는 그가 그 특정 위치에서 실제 객체인 경우 가상 객체가 디스플레이될 물리적 환경 내의 위치에 대응하는 3차원 환경 내의 위치에 디스플레이됨).
일부 실시예들에서, 3차원 환경 내에 디스플레이되는, 물리적 환경에 존재하는 실제 세계 객체들은 3차원 환경에만 존재하는 가상 객체들과 상호작용할 수 있다. 예를 들어, 3차원 환경은 테이블 및 테이블 위에 놓인 꽃병을 포함할 수 있으며, 이때 테이블은 물리적 환경 내의 물리적 테이블의 뷰(또는 그의 표현)이고, 꽃병은 가상 객체이다.
유사하게, 사용자는, 선택적으로, 마치 가상 객체들이 물리적 환경 내의 실제 객체들인 것처럼 하나 이상의 손들을 사용하여 3차원 환경 내의 가상 객체들과 상호작용할 수 있다. 예를 들어, 위에서 설명된 바와 같이, 디바이스의 하나 이상의 센서들은, 선택적으로, 사용자의 손들 중 하나 이상을 캡처하고 (예컨대, 위에서 설명된 3차원 환경 내에 실제 세계 객체를 디스플레이하는 것과 유사한 방식으로) 3차원 환경 내에 사용자의 손들의 표현들을 디스플레이하거나, 또는 일부 실시예들에서, 사용자의 손들은, 사용자 인터페이스를 디스플레이하고 있는 디스플레이 생성 컴포넌트의 일부분의 투명성/반투명성 또는 투명/반투명 표면 상으로의 사용자 인터페이스의 투영 또는 사용자의 눈들 상으로의 또는 사용자의 눈의 시야 내로의 사용자 인터페이스의 투영으로 인해 사용자 인터페이스를 통해 물리적 환경을 보는 능력을 통해 디스플레이 생성 컴포넌트를 통해 보인다. 따라서, 일부 실시예들에서, 사용자의 손들은 3차원 환경 내의 각자의 위치에 디스플레이되고, 그들이, 3차원 환경 내의 가상 객체들과 마치 그들이 물리적 환경 내의 실제 물리적 객체들인 것처럼 상호작용할 수 있는 3차원 환경 내의 객체들인 것처럼 취급된다. 일부 실시예들에서, 사용자는 그 또는 그녀의 손들을 이동시켜, 3차원 환경 내의 손들의 표현들이 사용자의 손의 이동과 함께 이동하게 할 수 있다.
아래에서 설명되는 실시예들 중 일부에서, 디바이스는, 선택적으로, 예를 들어, 물리적 객체가 가상 객체와 상호작용하고 있는지 여부(예컨대, 손이 가상 객체를 터치, 파지, 유지 등을 하고 있는지 또는 가상 객체로부터 임계 거리 내에 있는지 여부)를 결정하기 위해, 물리적 세계 내의 물리적 객체들과 3차원 환경 내의 가상 객체들 사이의 "유효" 거리를 결정할 수 있다. 예를 들어, 디바이스는, 사용자가 가상 객체들과 상호작용하고 있는지 여부 및/또는 사용자가 가상 객체들과 상호작용하는 방법을 결정할 때 사용자의 손들과 가상 객체들 사이의 거리를 결정한다. 일부 실시예들에서, 디바이스는 3차원 환경 내의 손들의 위치와 3차원 환경 내의 관심 가상 객체의 위치 사이의 거리를 결정함으로써 사용자의 손들과 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들은 물리적 세계 내의 특정 위치에 위치되며, 이는 디바이스가, 선택적으로, 3차원 환경 내의 특정 대응 위치(예컨대, 손들이 물리적 손들보다는 가상 손들인 경우 손들이 디스플레이될 3차원 환경 내의 위치)에 캡처하고 디스플레이한다. 3차원 환경 내의 손들의 위치는, 선택적으로, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정하기 위해 3차원 환경 내의 관심 가상 객체의 위치와 비교된다. 일부 실시예들에서, 디바이스는, 선택적으로, (예컨대, 3차원 환경 내의 위치들을 비교하는 것과는 대조적으로) 물리적 세계 내의 위치들을 비교함으로써 물리적 객체와 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정할 때, 디바이스는, 선택적으로, 가상 객체의 물리적 세계 내의 대응하는 위치(예컨대, 가상 객체가 그가 가상 객체보다는 물리적 객체인 경우 물리적 세계 내에 위치될 위치)를 결정하고, 이어서, 대응하는 물리적 위치와 사용자의 하나 이상의 손들 사이의 거리를 결정한다. 일부 실시예들에서, 동일한 기법들이 선택적으로 사용되어 임의의 물리적 객체와 임의의 가상 객체 사이의 거리를 결정한다. 따라서, 본 명세서에서 설명되는 바와 같이, 물리적 객체가 가상 객체와 접촉하고 있는지 여부 또는 물리적 객체가 가상 객체의 임계 거리 내에 있는지 여부를 결정할 때, 디바이스는, 선택적으로, 위에서 설명된 기법들 중 임의의 것을 수행하여, 물리적 객체의 위치를 3차원 환경에 매핑하고/하거나 가상 객체의 위치를 물리적 세계에 매핑한다.
일부 실시예들에서, 동일하거나 유사한 기법이 사용되어, 사용자의 시선이 지향되는 곳 및 대상, 및/또는 사용자에 의해 유지되는 물리적 스타일러스가 지향되는 곳 및 대상을 결정한다. 예를 들어, 사용자의 시선이 물리적 환경 내의 특정 위치로 지향되는 경우, 디바이스는, 선택적으로, 3차원 환경 내의 대응하는 위치를 결정하고, 가상 객체가 그 대응하는 가상 위치에 위치되는 경우, 디바이스는, 선택적으로, 사용자의 시선이 그 가상 객체로 지향된다고 결정한다. 유사하게, 디바이스는, 선택적으로, 물리적 스타일러스의 배향에 기초하여, 물리적 세계에서 스타일러스가 가리키고 있는 곳을 결정할 수 있다. 일부 실시예들에서, 이러한 결정에 기초하여, 디바이스는 스타일러스가 가리키고 있는 물리적 세계 내의 위치에 대응하는 3차원 환경 내의 대응하는 가상 위치를 결정하고, 선택적으로, 스타일러스가 3차원 환경 내의 대응하는 가상 위치를 가리키고 있다고 결정한다.
유사하게, 본 명세서에서 설명되는 실시예들은 3차원 환경 내의 사용자(예컨대, 디바이스의 사용자)의 위치 및/또는 디바이스의 위치를 지칭할 수 있다. 일부 실시예들에서, 디바이스의 사용자는 전자 디바이스를 유지하고 있거나 그를 착용하고 있거나 또는 달리 그에 또는 그 근처에 위치된다. 따라서, 일부 실시예들에서, 디바이스의 위치는 사용자의 위치에 대한 대용물(proxy)로서 사용된다. 일부 실시예들에서, 물리적 환경 내의 디바이스 및/또는 사용자의 위치는 3차원 환경 내의 각자의 위치에 대응한다. 일부 실시예들에서, 각자의 위치는 3차원 환경의 "카메라" 또는 "뷰"가 그로부터 연장되는 위치이다. 예를 들어, 디바이스의 위치는, 사용자가 디스플레이 생성 컴포넌트에 의해 디스플레이되는 물리적 환경의 각자의 부분을 향하는 그 위치에 서 있는 경우, 사용자가 물리적 환경에서 객체들을 (예컨대, 절대적으로 그리고/또는 서로에 대해) 그들이 디바이스의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 위치, 배향 및/또는 크기로 볼 물리적 환경 내의 위치(및 3차원 환경 내의 그의 대응하는 위치)일 것이다. 유사하게, 3차원 환경 내에 디스플레이되는 가상 객체들이 물리적 환경 내의 물리적 객체들(예컨대, 그들이 3차원 환경 내에 있는 것과 동일한 물리적 환경 내의 위치에 배치되고, 물리적 환경에서 3차원 환경에서와 동일한 크기 및 배향을 가짐)인 경우, 디바이스 및/또는 사용자의 위치는 사용자가 물리적 환경에서 가상 객체들을 (예컨대, 절대적으로 그리고/또는 서로와 실제 세계 객체들에 대해) 그들이 디바이스의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 위치, 배향 및/또는 크기로 볼 위치이다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
게다가, 하나 이상의 단계들이 하나 이상의 조건들이 충족되었음을 조건으로 하는 본 명세서에서 설명되는 방법들에서, 설명된 방법은 다수의 반복들로 반복될 수 있어서, 반복들 동안, 방법의 단계들이 조건으로 하는 조건들 모두가 방법의 상이한 반복들로 충족되게 할 수 있다는 것이 이해되어야 한다. 예를 들어, 방법이, 조건이 만족되면 제1 단계를 그리고 조건이 만족되지 않으면 제2 단계를 수행할 것을 요구하는 경우, 당업자는, 조건이 만족되고 만족되지 않을 때까지, 청구된 단계들이 특정 순서 없이 반복된다는 것을 인식할 것이다. 따라서, 하나 이상의 조건들이 충족되었음을 조건으로 하는 하나 이상의 단계들로 설명되는 방법은, 방법에서 설명되는 조건들 각각이 충족될 때까지 반복되는 방법으로서 재작성될 수 있다. 그러나, 이는, 시스템 또는 컴퓨터 판독가능 매체가 대응하는 하나 이상의 조건들의 만족에 기초하여 조건부(contingent) 동작들을 수행하기 위한 명령어들을 포함하고, 그에 따라, 방법의 단계들이 조건으로 하는 조건들 모두가 충족될 때까지 방법의 단계들을 명시적으로 반복하지 않고서 우연성(contingency)이 만족되었는지 또는 만족되지 않았는지를 결정할 수 있는 시스템 또는 컴퓨터 판독가능 매체 청구항들에서는 요구되지 않는다. 당업자는, 또한, 조건부 단계들을 갖는 방법과 유사하게, 시스템 또는 컴퓨터 판독가능 저장 매체가 조건부 단계들 모두가 수행되었음을 보장하는 데 필요한 횟수만큼 방법의 단계들을 반복할 수 있다는 것을 이해할 것이다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 내지 도 7c는 일부 실시예들에 따른 사용자의 준비 상태를 검출함으로써 사용자 입력이 선행되는지 여부에 따라 전자 디바이스들(101a 또는 101b)이 사용자 입력에 응답하여 동작을 수행하거나 또는 수행하지 않는 예시적인 방식들을 도시한다.
도 7a는 디스플레이 생성 컴포넌트들(120a, 120b)을 통해 3차원 환경을 디스플레이하는 전자 디바이스들(101a, 101b)을 도시한다. 일부 실시예들에서, 전자 디바이스들(101a 및/또는 101b)은 본 발명의 범주를 벗어나지 않으면서 2차원 환경 또는 사용자 인터페이스에서 도 7a 내지 도 7c를 참조하여 설명된 하나 이상의 기술들을 활용하는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스들(101a, 1010b)은 선택적으로 디스플레이 생성 컴포넌트들(120a, 120b)(예컨대, 터치 스크린들) 및 복수의 이미지 센서들(314a, 314b)을 포함한다. 이미지 센서들은 선택적으로 가시광 카메라, 적외선 카메라, 심도 센서, 또는 사용자가 전자 디바이스들(101a 및/또는 101b)과 상호작용하는 동안 전자 디바이스(101a 및/또는 101b)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트들(120a, 120b)은 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린들이다. 일부 실시예들에서, 아래에 설명된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 7a는 (예컨대, 도 6b의 테이블(604)과 같은) 전자 디바이스들(101a, 101b)의 물리적 환경에서의 테이블의 표현(704), 선택가능 옵션(707), 및 스크롤가능 사용자 인터페이스 요소(705)를 포함하는 3차원 환경을 디스플레이하는 2개의 전자 디바이스들(101a, 101b)을 도시한다. 전자 디바이스들(101a, 101b)은 3차원 환경 내의 상이한 시점들로부터 3차원 환경을 제시하는데, 그것들은 3차원 환경 내의 상이한 사용자 시점들과 연관되기 때문이다. 일부 실시예들에서, 테이블의 표현(704)은 디스플레이 생성 컴포넌트들(120a 및/또는 120b)에 의해 디스플레이되는 실사 표현이다(예컨대, 디지털 패스 스루). 일부 실시예들에서, 테이블의 표현(704)은 디스플레이 생성 컴포넌트들(120a 및/또는 120b)의 투명 부분을 통한 테이블의 뷰이다(예컨대, 물리적 패스 스루). 도 7a에서, 제1 전자 디바이스(101a)의 사용자의 시선(701a)은 스크롤가능 사용자 인터페이스 요소(705)로 지향되고, 스크롤가능 사용자 인터페이스 요소(705)는 제1 전자 디바이스(101a)의 사용자의 주목 구역(703) 내에 있다. 일부 실시예들에서, 주목 구역(703)은 도 9a 내지 도 10h를 참조하여 아래 더 상세하게 설명되는 주목 구역들과 유사하다.
일부 실시예들에서, 제1 전자 디바이스(101a)는 흐려지고/지거나 어두워진 외관(예컨대, 덜 강조된 외관)을 갖는, 주목 구역(703) 내에 있지 않은 3차원 환경 내의 객체들(예컨대, 테이블(704) 및/또는 옵션(707)의 표현)을 디스플레이한다. 일부 실시예들에서, 제2 전자 디바이스(101b)는 제2 전자 디바이스(101b)의 사용자의 주목 구역에 기초하여 3차원 환경의 부분들을 흐리게 및/또는 어둡게 하는데(예컨대, 덜 강조함), 이는 선택적으로 제1 전자 디바이스(101a)의 사용자의 주목 구역과는 상이하다. 따라서, 일부 실시예들에서, 주목 구역들 및 주목 구역 밖의 흐려진 객체들은 전자 디바이스들(101a, 101b) 사이에서 동기화되지 않는다. 오히려, 일부 실시예들에서, 전자 디바이스들(101a, 101b)과 연관된 주목 구역들은 서로 독립적이다.
도 7a에서, 제1 전자 디바이스(101a)의 사용자의 손(709)은 비활성 손 상태(예컨대, 손 상태 A)에 있다. 예를 들어, 손(709)은 아래 더 상세하게 기재되는 바와 같이 준비 상태 또는 입력에 대응하지 않는 손 형상이다. 손(709)은 비활성 손 상태에 있기 때문에, 제1 전자 디바이스(101a)는 입력이 스크롤가능 사용자 인터페이스 요소(705)로 지향될 것이라거나 또는 지향되고 있음을 나타내지 않고 스크롤가능 사용자 인터페이스 요소(705)를 디스플레이한다. 마찬가지로, 전자 디바이스(101b)는 또한 입력이 스크롤가능 사용자 인터페이스 요소(705)로 지향될 것이라거나 또는 지향되고 있음을 나타내지 않고 스크롤가능 사용자 인터페이스 요소(705)를 디스플레이한다.
일부 실시예들에서, 전자 디바이스(101a)는 사용자의 손(709)이 비활성 상태에 있는 동안 사용자의 시선(701a)이 사용자 인터페이스 요소(705) 상에 있다는 표시를 디스플레이한다. 예를 들어, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(705)의 색상, 크기, 및/또는 위치를, 전자 디바이스(101a)가 사용자의 준비 상태를 검출하는 것에 응답하여 스크롤가능 사용자 인터페이스 요소(705)를 업데이트하는 방법과는 상이한 방식으로 선택적으로 변경하는데, 이는 아래 설명될 것이다. 일부 실시예들에서, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(705)의 외관을 업데이트하는 것과는 분리하여 시각적 표시를 디스플레이함으로써 사용자 인터페이스 요소(705) 상에 사용자의 시선(701a)을 표시한다. 일부 실시예들에서, 제2 전자 디바이스(101b)는 제1 전자 디바이스(101a)의 사용자의 시선의 표시를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 제2 전자 디바이스(101b)는 제2 전자 디바이스(101b)의 사용자의 시선의 위치를 나타내는 표시를 디스플레이한다.
도 7b에서, 사용자의 시선(701b)이 스크롤가능 사용자 인터페이스 요소(705)로 지향되는 동안 제1 전자 디바이스(101a)는 사용자의 준비 상태를 검출한다. 일부 실시예들에서, 사용자의 준비 상태는, 직접 준비 상태 손 상태(예컨대, 손 상태 D)에 있는 사용자의 손(709)을 검출하는 것에 응답하여 검출된다. 일부 실시예들에서, 사용자의 준비 상태는 간접 준비 상태 손 상태(예컨대, 손 상태 B)에 있는 사용자의 손(711)을 검출하는 것에 응답하여 검출된다.
일부 실시예들에서, 제1 전자 디바이스(101a)의 사용자의 손(709)은, 손(709)이 스크롤가능 사용자 인터페이스 요소(705)의 사전결정된 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 20, 30 센티미터 등) 내에 있고, 스크롤가능 사용자 인터페이스 요소(705)가 사용자의 주목 구역(703) 내에 있고/있거나 손(709)이 가리키는 손 형상(예컨대, 하나 이상의 손가락들은 손바닥을 향해 구부러지고 하나 이상의 손가락들은 스크롤가능 사용자 인터페이스 요소(705)를 향해 펴진 손 형상)일 때, 직접 준비 상태에 있다. 일부 실시예들에서, 직접 입력을 위한 준비 상태 기준이 충족되기 위해 스크롤가능 사용자 인터페이스 요소(705)가 주목 구역(703)에 있을 필요는 없다. 일부 실시예들에서, 직접 입력을 위한 준비 상태 기준이 충족되기 위해 사용자의 시선(701b)이 스크롤가능 사용자 인터페이스 요소(705)로 지향될 필요는 없다.
일부 실시예들에서, 전자 디바이스(101a)의 사용자의 손(711)은, 손(711)이 스크롤가능 사용자 인터페이스 요소(705)로부터 사전결정된 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 20, 30 센티미터 등)보다 멀리 있고, 사용자의 시선(701b)이 스크롤가능 사용자 인터페이스 요소(705)로 지향되고, 손(711)이 예비-핀치 손 형상(예컨대, 엄지 손가락이 손 상의 다른 손가락을 터치하지 않고 손 상의 다른 손가락의 임계 거리(예컨대, 0.1, 0.5, 1, 2, 3 센티미터 등) 내에 있는 손 형상)일 때, 간접 준비 상태에 있다. 일부 실시예들에서, 간접 입력들에 대한 준비 상태 기준은 시선(701b)이 사용자 인터페이스 요소(705)로 지향되지 않더라도 스크롤가능 사용자 인터페이스 요소(705)가 사용자의 주목 구역(703) 내에 있으면 충족된다. 일부 실시예들에서, 전자 디바이스(101a)는 도 11a 내지 도 12f를 참조하여 아래 설명된 바와 같이 사용자의 시선(701b)의 위치를 결정할 때 애매함을 해결한다.
일부 실시예들에서, (예컨대, 손(709)을 이용한) 직접 준비 상태에 대한 기준을 충족하는 손 형상들은 (예컨대, 손(711)을 이용한) 간접 준비 상태에 대한 기준을 충족하는 손 형상들과 동일하다. 예를 들어, 가리키는 손 형상 및 예비-핀치 손 형상 둘 모두는 직접 및 간접 준비 상태들에 대한 기준을 충족한다. 일부 실시예들에서, (예컨대, 손(709)을 이용한) 직접 준비 상태에 대한 기준을 충족하는 손 형상들은 (예컨대, 손(711)을 이용한) 간접 준비 상태에 대한 기준을 충족하는 손 형상들과 상이하다. 예를 들어, 직접 준비 상태에는 가리키는 손 형상이 요구되지만, 간접 준비 상태에는 예비-핀치 손 형상이 요구된다.
일부 실시예들에서, 전자 디바이스(101a)(및/또는 101b)는 스타일러스 또는 트랙패드와 같은, 하나 이상의 입력 디바이스들과 통신한다. 일부 실시예들에서, 입력 디바이스로 준비 상태를 입력하기 위한 기준은 이러한 입력 디바이스들 중 하나도 없이 준비 상태를 입력하기 위한 기준과 상이하다. 예를 들어, 이러한 입력 디바이스들에 대한 준비 상태 기준은 스타일러스 또는 트랙패드가 없으면 직접 및 간접 준비 상태들에 대해 전술된 손 형상들을 검출할 필요가 없다. 예를 들어, 사용자가 스타일러스를 이용하여 디바이스(101a 및/또는 101b)에 입력을 제공하고 있을 때 준비 상태 기준은 사용자가 스타일러스를 쥐고 있는 것을 요구하고, 사용자가 트랙패드를 이용하여 디바이스(101a 및/또는 101b)에 입력을 제공하고 있을 때 준비 상태 기준은 사용자의 손이 트랙패드 상에 안착되어 있는 것을 요구한다.
일부 실시예들에서, 사용자의 각각의 손(예컨대, 왼손 및 오른손)은 독립적으로 연관된 준비 상태를 갖는다(예컨대, 각각의 손은 디바이스들(101a 및/또는 101b)이 각각 각자의 손에 의해 제공되는 입력에 응답하기 전에 자신의 준비 상태 기준을 독립적으로 충족해야 한다). 일부 실시예들에서, 각각의 손의 준비 상태에 대한 기준은 서로 상이하다(예컨대, 상이한 손 형상들이 각각의 손에 요구되어, 단지 한 손 또는 두 손에 대해 간접 또는 직접 준비 상태들을 허용한다). 일부 실시예들에서, 각각의 손에 대한 준비 상태의 시각적 표시는 상이하다. 예를 들어, 디바이스(101a 및/또는 101b)에 의해 준비 상태가 검출되고 있음을 나타내기 위해 스크롤가능 사용자 인터페이스 요소(705)의 색상이 변경되는 경우, 스크롤가능 사용자 인터페이스 요소(705)의 색상은 오른손의 준비 상태에 대해 제1 색상(예컨대, 청색)일 수 있고 왼손의 준비 상태에 대해 제2 색상(예컨대, 녹색)일 수 있다.
일부 실시예들에서, 사용자의 준비 상태를 검출하는 것에 응답하여, 전자 디바이스(101a)는 사용자에 의해(예컨대, 사용자의 손(들)에 의해) 제공되는 입력을 검출할 준비가 되고 추가적인 입력이 스크롤가능 사용자 인터페이스 요소(705)로 지향될 것임을 나타내기 위해 스크롤가능 사용자 인터페이스 요소(705)의 디스플레이를 업데이트한다. 예를 들어, 도 7b에 도시된 바와 같이, 스크롤가능 사용자 인터페이스 요소(705)는 스크롤가능 사용자 인터페이스 요소(705)의 경계의 주위의 라인의 두께를 증가시킴으로써 전자 디바이스(101a)에서 업데이트된다. 일부 실시예들에서, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(705)의 외관을 상이한 또는 추가적인 방식으로, 예컨대 스크롤가능 사용자 인터페이스 요소(705)의 배경의 색상을 변경하고, 스크롤가능 사용자 인터페이스 요소(705) 주위에 강조표시를 디스플레이하고, 스크롤가능 사용자 인터페이스 요소(705)의 크기를 업데이트하고, 스크롤가능 사용자 인터페이스 요소(705)의 3차원 환경 내의 위치를 업데이트(예컨대, 스크롤가능 사용자 인터페이스 요소(705)를 3차원 환경 내의 사용자의 시점에 더 가까이 디스플레이)함으로써 업데이트한다. 일부 실시예들에서, 제2 전자 디바이스(101b)는 제1 전자 디바이스(101a)의 사용자의 준비 상태를 나타내기 위해 스크롤가능 사용자 인터페이스 요소(705)의 외관을 업데이트하지 않는다.
일부 실시예들에서, 전자 디바이스(101a)가 준비 상태를 검출하는 것에 응답하여 스크롤가능 사용자 인터페이스 요소(705)를 업데이트하는 방식은 준비 상태가 (예컨대, 손(709)을 이용한) 직접 준비 상태인지 아니면 (예컨대, 손(711)을 이용한) 간접 준비 상태인지 여부에 상관없이 동일하다. 일부 실시예들에서, 전자 디바이스(101a)가 준비 상태를 검출하는 것에 응답하여 스크롤가능 사용자 인터페이스 요소(705)를 업데이트하는 방식은 준비 상태가 (예컨대, 손(709)을 이용한) 직접 준비 상태인지 아니면 (예컨대, 손(711)을 이용한) 간접 준비 상태인지 여부에 따라 상이하다. 예를 들어, 전자 디바이스(101a)가 준비 상태를 검출하는 것에 응답하여 스크롤가능 사용자 인터페이스 요소(705)의 색상을 업데이트하는 경우, 전자 디바이스(101a)는 (예컨대, 손(709)을 이용한) 직접 준비 상태에 응답하여 제1 색상(예컨대, 청색)을 사용하고, (예컨대, 손(711)을 이용한) 간접 준비 상태에 응답하여 제2 색상(예컨대, 녹색)을 사용한다.
일부 실시예들에서, 스크롤가능 사용자 인터페이스 요소(705)에 대한 준비 상태를 검출한 후에, 전자 디바이스(101a)는 사용자의 초점의 표시에 기초하여 준비 상태의 타겟을 업데이트한다. 예를 들어, 전자 디바이스(101a)는 시선(701b)의 위치가 스크롤가능 사용자 인터페이스 요소(705)에서 선택가능 옵션(707)으로 이동하는 것을 검출하는 것에 응답하여 (예컨대, 손(711)을 이용한) 간접 준비 상태를 선택가능 옵션(707)으로 지향시킨다(예컨대, 그리고 스크롤가능 사용자 인터페이스 요소(705)로부터 준비 상태를 제거함). 다른 예로서, 전자 디바이스(101a)는 손(709)이 스크롤가능 사용자 인터페이스 요소(705)의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 30 센티미터 등) 내에 있는 것으로부터 선택가능 옵션(707)의 임계 거리 내에 있는 것으로 이동하는 것을 이동하는 것을 검출하는 것에 응답하여 (예컨대, 손(709)을 이용한) 직접 준비 상태를 선택가능 옵션(707)으로 지향시킨다(예컨대, 그리고 스크롤가능 사용자 인터페이스 요소(705)로부터 준비 상태를 제거함).
도 7b에서, 디바이스(101b)는 사용자의 손(715)이 비활성 상태(예컨대, 손 상태 A)에 있는 동안 제2 전자 디바이스(101b)의 사용자가 자신의 시선(701c)을 선택가능 옵션(707)으로 지향시키는 것을 검출한다. 전자 디바이스(101b)는 사용자의 준비 상태를 검출하지 않기 때문에, 전자 디바이스(101b)는 사용자의 준비 상태를 나타내기 위해 선택가능 옵션(707)을 업데이트하는 것을 보류한다. 일부 실시예들에서, 전술된 바와 같이, 전자 디바이스(101b)는, 전자 디바이스(101b)가 준비 상태를 나타내기 위해 사용자 인터페이스 요소들을 업데이트하는 방식과는 상이한 방식으로 사용자의 시선(701c)이 선택가능 옵션(707)으로 지향되는 것을 나타내기 위해 선택가능 옵션(707)의 외관을 업데이트한다.
일부 실시예들에서, 전자 디바이스들(101a, 101b)은 입력을 검출하기 이전에 준비 상태가 검출되었을 경우에만 입력들에 응답하여 동작들을 수행한다. 도 7c는 전자 디바이스들(101a, 101b)의 사용자들이 전자 디바이스들(101a, 101b)에 각각 입력들을 제공하는 것을 도시한다. 도 7b에서, 제1 전자 디바이스(101a)는 사용자의 준비 상태를 검출한 반면, 제2 전자 디바이스(101b)에서는 이전에 설명된 바와 같이 준비 상태를 검출하지 않았다. 따라서, 도 7c에서, 제1 전자 디바이스(101a)는 사용자 입력을 검출하는 것에 응답하여 동작을 수행하는 반면, 제2 전자 디바이스(101b)는 사용자 입력을 검출하는 것에 응답하여 동작을 수행하는 것을 보류한다.
특히, 도 7c에서, 제1 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(705)로 지향되는 스크롤링 입력을 검출한다. 도 7c는 손(709)에 의해 제공되는 직접 스크롤링 입력 및/또는 손(711)에 의해 제공되는 간접 스크롤링 입력을 도시한다. 직접 스크롤링 입력은 손(709)이 스크롤가능 사용자 인터페이스 요소(705)가 스크롤가능한 방향으로 이동(예컨대, 수직 모션 또는 수평 모션)하는 동안 손(709)이 직접 입력 임계치(예컨대, 0.05, 0.1, 0.2, 0.3, 0.5, 1 센티미터 등) 내에 있거나 또는 손(709)이 가리키는 손 형상(예컨대, 손 상태 E)인 동안 스크롤가능 사용자 인터페이스 요소(705)를 터치하는 것을 검출하는 것을 포함한다. 간접 스크롤링 입력은, 스크롤가능 사용자 인터페이스 요소(705) 상의 사용자의 시선(701b)을 검출하는 동안, 스크롤가능 사용자 인터페이스 요소(705)로부터 직접 입력 준비 상태 임계치(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 30 센티미터 등)보다 멀고/멀거나 직접 입력 임계치(예컨대, 0.05, 0.1, 0.2, 0.3, 0.5, 1 센티미터 등)보다 멀리 있는 손(711)을 검출하고, 핀치 손 형상(예컨대, 엄지 손가락이 손(711) 상의 다른 손가락을 터치하는 손 형상, 손 상태 C)의 손(711) 및 스크롤가능 사용자 인터페이스 요소(705)가 스크롤가능한 방향으로의 손(711)의 이동(예컨대, 수직 모션 또는 수평 모션)을 검출하는 것을 포함한다.
일부 실시예들에서, 전자 디바이스(101a)는 스크롤링 입력이 검출되기 위해 스크롤가능 사용자 인터페이스 요소(705)가 사용자의 주목 구역(703) 내에 있도록 요구한다. 일부 실시예들에서, 전자 디바이스(101a)는 스크롤링 입력이 검출되기 위해 스크롤가능 사용자 인터페이스 요소(705)가 사용자의 주목 구역(703) 내에 있도록 요구하지 않는다. 일부 실시예들에서, 전자 디바이스(101a)는 스크롤링 입력이 검출되기 위해 사용자의 시선(701b)이 스크롤가능 사용자 인터페이스 요소(705)로 지향되도록 요구한다. 일부 실시예들에서, 전자 디바이스(101a)는 스크롤링 입력이 검출되기 위해 사용자의 시선(701b)이 스크롤가능 사용자 인터페이스 요소(705)로 지향되도록 요구하지 않는다. 일부 실시예들에서, 전자 디바이스(101a)는 간접 스크롤링 입력의 경우에 사용자의 시선(701b)이 스크롤가능 사용자 인터페이스 요소(705)로 지향되도록 요구하지만 직접 스크롤링 입력의 경우에는 요구하지 않는다.
스크롤링 입력을 검출하는 것에 응답하여, 제1 전자 디바이스(101a)는 도 7c에 도시된 바와 같이, 손(709) 또는 손(711)의 이동에 따라 스크롤가능 사용자 인터페이스 요소(705) 내의 콘텐츠를 스크롤한다. 일부 실시예들에서, 제1 전자 디바이스(101a)는 스크롤링의 표시를 (예컨대, 서버를 통해) 제2 전자 디바이스(101b)에 전송하고, 이에 응답하여, 제2 전자 디바이스(101b)는 제1 전자 디바이스(101a)가 스크롤가능 사용자 인터페이스 요소(705)를 스크롤하는 방식과 동일하게 스크롤가능 사용자 인터페이스 요소(705)를 스크롤한다. 예를 들어, 3차원 환경 내의 스크롤가능 사용자 인터페이스 요소(705)는 이제 스크롤되었고, 따라서 스크롤가능 사용자 인터페이스 요소(705)를 포함하는 3차원 환경의 시점들을 디스플레이하는 전자 디바이스들(예컨대, 스크롤가능 사용자 인터페이스 요소(705)를 스크롤하기 위한 입력을 검출한 것들 이외의 전자 디바이스들을 포함함)은 사용자 인터페이스 요소의 스크롤된 상태를 반영한다. 일부 실시예들에서, 도 7b에 도시된 사용자의 준비 상태가 도 7c에 도시된 입력을 검출하기 이전에 검출되지 않은 경우, 전자 디바이스들(101a, 101b)은 도 7c에 도시된 입력들에 응답하여 스크롤가능 사용자 인터페이스 요소(705)를 스크롤하는 것을 보류할 것이다.
따라서, 일부 실시예들에서, 사용자 입력들의 결과들은 제1 전자 디바이스(101a)와 제2 전자 디바이스(101b) 사이에서 동기화된다. 예를 들어, 제2 전자 디바이스(101b)가 선택가능 옵션(707)의 선택을 검출하는 경우, 제1 및 제2 전자 디바이스들(101a, 101b) 둘 모두는 선택 입력이 검출되고 있는 동안 선택가능 옵션(707)의 외관(예컨대, 색상, 스타일, 크기, 위치 등)을 업데이트하고 선택에 따른 동작을 수행할 것이다.
따라서, 전자 디바이스(101a)가 도 7c의 입력을 검출하기 전에 도 7b의 사용자의 준비 상태를 검출했기 때문에, 전자 디바이스(101a)는 입력에 응답하여 스크롤가능 사용자 인터페이스(705)를 스크롤한다. 일부 실시예들에서, 전자 디바이스들(101a, 101b)은 먼저 준비 상태를 검출하지 않고 검출된 입력들에 응답하여 작동들을 수행하는 것을 보류한다.
예를 들어, 도 7c에서, 제2 전자 디바이스(101b)의 사용자는 선택가능 옵션(707)으로 지향되는 손(715)으로 간접 선택 입력을 제공한다. 일부 실시예들에서, 선택 입력을 검출하는 것은 사용자의 시선(701c)이 선택가능 옵션(707)으로 지향되는 동안 사용자의 손(715)이 핀치 제스처(예컨대, 손 상태 C)를 만드는 것을 검출하는 것을 포함한다. 제2 전자 디바이스(101b)는 도 7c의 입력을 검출하기 전에 준비 상태(예컨대, 도 7b)를 검출하지 않았기 때문에, 제2 전자 디바이스(101b)는 옵션(707)을 선택하는 것을 보류하고, 옵션(707)의 선택에 따른 행동을 수행하는 것을 보류한다. 일부 실시예들에서, 제2 전자 디바이스(101b)는 도 7c의 제1 전자 디바이스(101a)와 동일한 입력(예컨대, 간접 입력)을 검출하지만, 제2 전자 디바이스(101b)는 입력에 응답하여 동작을 수행하지 않는데, 그 이유는 입력이 검출되기 전에 준비 상태가 검출되지 않았기 때문이다. 일부 실시예들에서, 제2 전자 디바이스(101b)가 준비 상태를 먼저 검출하지 않고 직접 입력을 검출한 경우, 제2 전자 디바이스(101b)는 또한 직접 입력에 응답하여 행동을 수행하는 것을 보류할 것인데, 그 이유는 입력이 검출되기 전에 준비 상태가 검출되지 않았기 때문이다.
도 8a 내지 도 8k는 일부 실시예들에 따른 사용자의 준비 상태를 검출함으로써 사용자 입력이 선행되는지 여부에 따라 사용자 입력에 응답하여 동작을 수행하거나 또는 수행하지 않는 방법(800)을 도시하는 흐름도이다. 일부 실시예들에서, 본 방법(800)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(800)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(800)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
일부 실시예들에서, 방법(800)은 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스(101a 또는 101b)에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예컨대, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 전송할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
도 7a에서와 같은 일부 실시예들에서, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 요소(예컨대, 705)를 포함하는 사용자 인터페이스를 디스플레이한다(802a). 일부 실시예들에서, 사용자 인터페이스 요소는 상호작용형 사용자 인터페이스 요소이고, 사용자 인터페이스 요소를 향해 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 요소와 연관된 작동을 수행한다. 예를 들어, 사용자 인터페이스 요소는, 선택되면, 전자 디바이스로 하여금 각자의 사용자 인터페이스를 디스플레이하거나, 전자 디바이스의 설정을 변경하거나, 또는 콘텐츠의 재생을 개시하는 것과 같은, 작동을 수행하게 하는 선택가능 옵션이다. 다른 예로서, 사용자 인터페이스 요소는 사용자 인터페이스/콘텐츠가 디스플레이되는 컨테이너(예컨대, 윈도우)이고, 사용자 인터페이스 요소의 선택에 이동 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 이동 입력에 따라 사용자 인터페이스 요소의 위치를 업데이트한다. 일부 실시예들에서, 사용자 인터페이스 및/또는 사용자 인터페이스 요소는 디바이스에 의해 볼 수 있도록 생성되거나, 디스플레이되거나, 또는 다른 방식으로 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경) 내에서 디스플레이된다(예컨대, 사용자 인터페이스가 3차원 환경이고/이거나 3차원 환경 내에서 디스플레이됨).
도 7c에서와 같은 일부 실시예들에서, 사용자 인터페이스 요소(예컨대, 705)를 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 전자 디바이스(101a)의 사용자의 사전정의된 부분(예컨대, 709)(예컨대, 손, 팔, 머리, 눈 등)으로부터 입력을 검출한다(802b). 일부 실시예들에서, 입력을 검출하는 것은, 손 추적 디바이스를 통해, 사용자의 시선이 사용자 인터페이스 요소를 향해 지향되는 동안 사용자가 그들의 손으로 사전결정된 제스처를 선택적으로 수행하는 것을 검출하는 것을 포함한다. 예를 들어, 사전결정된 제스처는 사용자 인터페이스 요소를 보는 동안 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치시키는 것을 포함하는 핀치 제스처이다. 일부 실시예들에서, 입력은 방법들(1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같은, 사용자 인터페이스 요소와의 직접 또는 간접 상호작용이다.
일부 실시예들에서, 전자 디바이스의 사용자의 사전정의된 부분으로부터의 입력을 검출하는 것에 응답하여(802c), 입력을 검출하기 이전의 사용자의 사전정의된 부분(예컨대, 709)의 포즈(예컨대, 위치, 배향, 손 형상)가 하나 이상의 기준을 충족한다는 결정에 따라, 전자 디바이스는 도 7c에서와 같이, 전자 디바이스(101a)의 사용자의 사전정의된 부분(예컨대, 709)으로부터의 입력에 따라 각자의 동작을 수행한다(802d). 일부 실시예들에서, 사용자의 신체적 특징부의 포즈는 사용자의 손의 배향 및/또는 형상이다. 예를 들어, 전자 디바이스가 사용자의 엄지 손가락이 엄지 손가락의 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)의 임계 거리(예컨대, 0.5, 1, 2 센티미터 등) 내에 있는 예비-핀치 손 형상이면서, 사용자의 손바닥이 사용자의 몸통으로부터 멀리 향하도록 사용자의 손이 배향되는 것을 검출하는 경우, 포즈는 하나 이상의 기준을 충족한다. 다른 예로서, 하나 이상의 기준은 손이 하나 이상의 손가락들이 연장되고 하나 이상의 다른 손가락들은 사용자의 손바닥을 향해 말아쥐는 가리키는 손 형상에 있을 때 충족된다. 포즈의 검출에 후속하는 사용자의 손에 의한 입력은 선택적으로 사용자 인터페이스 요소로 지향되는 것으로 인식되고, 디바이스는 선택적으로 손에 의한 후속 입력에 따라 각자의 동작을 수행한다. 일부 실시예들에서, 각자의 동작은 사용자 인터페이스를 스크롤하거나, 옵션을 선택하거나, 설정을 활성화하거나, 또는 새로운 사용자 인터페이스로 이동하는 것을 포함한다. 일부 실시예들에서, 사전결정된 포즈를 검출한 후에 선택에 사용자의 일부분의 이동이 후속되는 것을 포함하는 입력을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스를 스크롤한다. 예를 들어, 전자 디바이스는 가리키는 손 형상에, 사용자의 몸통으로부터 멀리 그리고 사용자 인터페이스가 스크롤가능한 방향으로의 사용자의 손의 이동이 후속되는 것을 먼저 검출하는 동안 사용자 인터페이스로 지향되는 사용자의 시선을 검출하고, 입력들의 시퀀스에 응답하여, 사용자 인터페이스를 스크롤한다. 다른 예로서, 예비-핀치 손 형상에 핀치 손 형상이 후속되는 것을 검출하는 동안 전자 디바이스의 설정을 활성화하기 위한 옵션 상에서 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 전자 디바이스 상의 설정을 활성화한다.
도 7c에서와 같은 일부 실시예들에서, 전자 디바이스(101b)의 사용자의 사전정의된 부분(예컨대, 715)으로부터 입력을 검출하는 것에 응답하여(802c), 입력을 검출하기 이전의 사용자의 사전정의된 부분(예컨대, 715)의 포즈가 도 7b에서와 같은 하나 이상의 기준을 충족하지 않는다는 결정에 따라, 전자 디바이스(101b)는 도 7c에서와 같은, 전자 디바이스(101b)의 사용자의 사전정의된 부분(예컨대, 715)으로부터의 입력에 따라 각자의 동작을 수행하는 것을 보류한다(802e). 일부 실시예들에서, 포즈가 하나 이상의 기준을 충족하더라도, 전자 디바이스는, 포즈 및 입력이 검출되는 동안, 사용자의 시선이 사용자 인터페이스 요소를 향해 지향되지 않았다는 것을 검출하는 것에 응답하여 각자의 동작을 수행하는 것을 보류한다. 일부 실시예들에서, 포즈 및 입력이 검출되는 동안 사용자의 시선이 사용자 인터페이스 요소를 향해 지향된다는 결정에 따라, 전자 디바이스는 입력에 따라 각자의 동작을 수행한다.
입력을 검출하기 이전의 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준을 충족하는지 여부에 따라 제1 동작을 수행 또는 수행하지 않는 전술한 방식은 우발적인 사용자 입력들을 감소시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시키고, 전자 디바이스가 의도되지 않은 동작을 수행하여 순차적으로 번복될 가능성을 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7a에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 (예컨대, 사용자의 사전정의된 부분으로부터 입력을 검출하기 이전에) 하나 이상의 기준을 충족하지 않는 동안, 전자 디바이스(101a)는 제1 값을 갖는 시각적 특성(예컨대, 크기, 색상, 위치, 반투명성)을 갖는 사용자 인터페이스 요소(예컨대, 705)를 디스플레이하고, 제2 값을 갖는 시각적 특성(예컨대, 크기, 색상, 위치, 반투명성)을 갖는 사용자 인터페이스에 포함된 제2 사용자 인터페이스 요소(예컨대, 707)를 디스플레이한다(804a). 일부 실시예들에서, 제1 값을 갖는 시각적 특성을 갖는 사용자 인터페이스 요소를 디스플레이는 것 및 제2 값을 갖는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것은 입력 초점이 사용자 인터페이스 요소로 지향되지도 않고 제2 사용자 인터페이스 요소로 지향되지도 않음을 나타내고/나타내거나 전자 디바이스가 입력을 사용자의 사전정의된 부분으로부터 사용자 인터페이스 요소 또는 제2 사용자 인터페이스 요소로 지향시키지 않을 것임을 나타낸다.
도 7b에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 하나 이상의 기준을 충족하는 동안, 전자 디바이스(101a)는 입력 초점이 지향되는 사용자 인터페이스 요소(예컨대, 705)의 시각적 특성을 업데이트하며(804b), 이는 (예컨대, 사용자의 사전정의된 부분으로부터 입력을 검출하기 이전에), 입력 초점이 사용자 인터페이스 요소(예컨대, 705)로 지향된다는 결정에 따라, 전자 디바이스(101a)가 (예컨대, 제2 값을 갖는 시각적 특성을 갖는 제2 사용자 인터페이스 요소의 디스플레이를 유지하는 동안, 제1 값과는 상이한) 제3 값을 갖는 시각적 특성(예컨대, 크기, 색상, 반투명성)으로 디스플레이되도록 사용자 인터페이스 요소(예컨대, 705)를 업데이트하는 것(804c)을 포함한다. 일부 실시예들에서, 입력 초점은, 선택적으로 방법(1200)에 따른 명확화 기술들을 포함하는, 사용자의 시선이 사용자 인터페이스 요소를 향해 지향된다는 결정에 따라 사용자 인터페이스 요소로 지향된다. 일부 실시예들에서, 입력 초점은, 사용자의 사전정의된 부분이 사용자 인터페이스 요소의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 30, 50 센티미터 등)(예컨대, 직접 입력에 대한 임계 거리) 내에 있다는 결정에 따라 사용자 인터페이스 요소로 지향된다. 예를 들어, 사용자의 사전정의된 부분이 하나 이상의 기준을 충족하기 전에, 전자 디바이스는 사용자 인터페이스 요소를 제1 색상으로 디스플레이하고, 사용자의 사전정의된 부분이 하나 이상의 기준을 충족하고 입력 초점이 사용자 인터페이스 요소로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 요소를 제1 색상과는 상이한 제2 색상으로 디스플레이하여 사용자의 사전정의된 부분으로부터의 입력이 사용자 인터페이스 요소로 지향될 것임을 나타낸다.
일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 705)의 포즈가 하나 이상의 기준을 총족하는 동안, 도 7b에서와 같이, 전자 디바이스(101a)는 입력 초점이 지향되는 사용자 인터페이스 요소의 시각적 특성을 (예컨대, 전자 디바이스(101a)가 도 7b의 사용자 인터페이스 요소(705)를 업데이트하는 방식으로) 업데이트하며(804b), 이는 (예컨대, 사용자의 사전정의된 부분으로부터 입력을 검출하기 이전에), 입력 초점이 제2 사용자 인터페이스 요소로 지향된다는 결정에 따라, 전자 디바이스(101a)가 (예컨대, 제1 값을 갖는 시각적 특성을 갖는 사용자 인터페이스 요소의 디스플레이를 유지하는 동안, 제2 값과는 상이한) 제4 값을 갖는 시각적 특성으로 디스플레이되도록 제2 사용자 인터페이스 요소를 업데이트하는 것(예컨대, 사용자 인터페이스 요소(707)가 도 7b의 경우와 같은 입력 초점을 갖는 사용자 인터페이스 요소(705) 대신에 입력 초점을 갖는 경우, 도 7b의 사용자 인터페이스 요소(707)의 외관을 업데이트함)(804d)을 포함한다. 일부 실시예들에서, 입력 초점은, 선택적으로 방법(1200)에 따른 명확화 기술들을 포함하는, 사용자의 시선이 제2 사용자 인터페이스 요소를 향해 지향된다는 결정에 따라 제2 사용자 인터페이스 요소로 지향된다. 일부 실시예들에서, 입력 초점은, 사용자의 사전정의된 부분이 제2 사용자 인터페이스 요소의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 50 센티미터 등)(예컨대, 직접 입력에 대한 임계 거리) 내에 있다는 결정에 따라 제2 사용자 인터페이스 요소로 지향된다. 예를 들어, 사용자의 사전정의된 부분이 하나 이상의 기준을 충족하기 전에, 전자 디바이스는 제2 사용자 인터페이스 요소를 제1 색상으로 디스플레이하고, 사용자의 사전정의된 부분이 하나 이상의 기준을 충족하고 입력 초점이 제2 사용자 인터페이스 요소로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스 요소를 제1 색상과는 상이한 제2 색상으로 디스플레이하여 입력이 사용자 인터페이스 요소로 지향될 것임을 나타낸다.
사용자의 사전정의된 부분이 하나 이상의 기준을 충족하는 것을 검출하는 것에 응답하여 입력 초점이 지향되는 사용자 인터페이스 요소의 시각적 특성을 업데이트하는 전술한 방식은 입력이 어느 사용자 인터페이스 요소로 지향될지 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 입력 초점은 사용자의 사전정의된 부분(예컨대, 709)이 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 50 센티미터 등) 내에 있다(예컨대, 그리고 제2 사용자 인터페이스 요소의 임계 거리 내에 있지 않다)는 결정에 따라 사용자 인터페이스 요소(예컨대, 705)로 지향된다(806a). 일부 실시예들에서, 임계 거리는, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이, 직접 입력과 연관된다. 예를 들어, 입력 초점은 사용자 인터페이스 요소의 임계 거리 내에서 가리키는 손 형상의 사용자의 손의 손가락을 검출하는 것에 응답하여 사용자 인터페이스 요소로 지향된다.
일부 실시예들에서, 입력 초점은 사용자의 사전정의된 부분(예컨대, 709)이 제2 사용자 인터페이스 요소의 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 50 센티미터 등) 내에 있다(예컨대, 그리고 사용자 인터페이스 요소의 임계 거리 내에 있지 않다; 예를 들어, 도 7b에서 사용자의 손(709)이 사용자 인터페이스 요소(705) 대신에 사용자 인터페이스 요소(707)의 임계 거리 내에 있는 경우와 같음)는 결정에 따라 도 7b의 제2 사용자 인터페이스 요소(예컨대, 707)로 지향된다(806b). 일부 실시예들에서, 임계 거리는, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이, 직접 입력과 연관된다. 예를 들어, 입력 초점은 제2 사용자 인터페이스 요소의 임계 거리 내에서 가리키는 손 형상의 사용자의 손의 손가락을 검출하는 것에 응답하여 제2 사용자 인터페이스 요소로 지향된다.
사용자의 사전정의된 부분은 어느 사용자 인터페이스 요소의 임계 거리 내에 있는지에 기초하여 입력 초점을 지향시키는 전술한 방식은 사용자의 사전정의된 부분을 이용하여 입력들을 제공할 때 사용자 입력을 지향시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서에서와 같은 일부 실시예들에서, 입력 초점은 사용자의 시선(예컨대, 701b)이 사용자 인터페이스 요소(예컨대, 705)로 지향된다(예컨대, 그리고 사용자의 사전정의된 부분이 사용자 인터페이스 요소 및/또는 임의의 상호작용형 사용자 인터페이스 요소의 임계 거리 내에 있지 않다)는 결정에 따라 사용자 인터페이스 요소(예컨대, 705)로 지향된다(808a). 일부 실시예들에서, 사용자의 시선이 사용자 인터페이스 요소로 지향된다고 결정하는 것은 방법(1200)에 따른 하나 이상의 명확화 기술들을 포함한다. 예를 들어, 전자 디바이스는 사용자 인터페이스 요소로 지향된 사용자의 시선을 검출하는 것에 응답하여 입력 초점을 간접 입력에 대한 사용자 인터페이스 요소로 지향시킨다.
일부 실시예들에서, 입력 초점은 사용자의 시선이 제2 사용자 인터페이스 요소(예컨대, 707)로 지향된다(예컨대, 그리고 사용자의 사전정의된 부분이 제2 사용자 인터페이스 요소 및/또는 임의의 상호작용가능한 사용자 인터페이스 요소의 임계 거리 내에 있지 않다)는 결정에 따라 도 7b의 제2 사용자 인터페이스 요소(예컨대, 707)로 지향된다(808b). 예를 들어, 사용자의 시선이 사용자 인터페이스 요소(705) 대신에 도 7b의 사용자 인터페이스 요소(707)로 지향된다면, 입력 초점은 사용자 인터페이스 요소(707)로 지향될 것이다. 일부 실시예들에서, 사용자의 시선이 제2 사용자 인터페이스 요소로 지향된다고 결정하는 것은 방법(1200)에 따른 하나 이상의 명확화 기술들을 포함한다. 예를 들어, 전자 디바이스는 제2 사용자 인터페이스 요소로 지향된 사용자의 시선을 검출하는 것에 응답하여 입력 초점을 간접 입력에 대한 제2 사용자 인터페이스 요소로 지향시킨다.
사용자가 보고 있는 사용자 인터페이스로 입력 초점을 지향시키는 전술한 방식은 (예컨대, 눈 추적 디바이스 및 손 추적 디바이스 이외의) 추가적인 입력 디바이스들의 사용자 없이 사용자 입력들을 지향시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 입력 초점이 지향되는 사용자 인터페이스 요소(예컨대, 705)의 시각적 특성을 업데이트하는 것은(810a), 사용자의 사전정의된 부분(예컨대, 709)이 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 3, 4, 5, 10, 15, 30 센티미터 등) 미만이라는 결정에 따라, 입력 초점이 지향되는 사용자 인터페이스 요소(예컨대, 705)의 시각적 특성은 (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이 직접 입력들과 연관된) 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 도 7b에서와 같이 하나 이상의 기준의 제1 세트를 충족한다는 결정에 따라 업데이트되는 것(810b)을 포함한다(그리고, 선택적으로, 입력 초점이 지향되는 사용자 인터페이스 요소의 시각적 특성은 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준의 제1 세트를 충족한다는 결정에 따라 업데이트되지 않음). 예를 들어, 사용자의 손이 사용자 인터페이스 요소의 직접 입력 임계 거리 내에 있는 동안, 하나 이상의 기준의 제1 세트는 가리키는 손 형상(예컨대, 한 손가락이 달리 닫힌 손으로부터 펴져 있는 형상)을 검출하는 것을 포함한다.
도 7b에서와 같은 일부 실시예들에서, 입력 초점이 지향되는 사용자 인터페이스 요소(예컨대, 705)의 시각적 특성을 업데이트하는 것은(810a), 사용자의 사전정의된 부분(예컨대, 711)이 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 3, 4, 5, 10, 15, 30 센티미터 등)를 초과한다는 결정에 따라, 입력 초점이 지향되는 사용자 인터페이스 요소(예컨대, 705)의 시각적 특성은 사용자의 사전정의된 부분(예컨대, 711)의 포즈가 도 7b에서와 같은 하나 이상의 기준의 제1 세트와는 상이한 (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같은 간접 입력들과 연관된) 하나 이상의 기준의 제2 세트를 충족한다는 결정에 따라 업데이트되는 것(810c)을 포함한다(그리고, 선택적으로, 입력 초점이 지향되는 사용자 인터페이스 요소의 시각적 특성은 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준의 제2 세트를 충족하지 않는다는 결정에 따라 업데이트되지 않음). 예를 들어, 사용자의 손이 사용자 인터페이스 요소로부터 직접 입력 임계치를 초과하는 동안, 하나 이상의 기준의 제2 세트는 가리키는 손 형상을 검출하는 대신에 예비-핀치 손 형상을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 제1 기준을 충족하는 손 형상들은 하나 이상의 제2 기준을 충족하는 손 형상들과는 상이하다. 일부 실시예들에서, 하나 이상의 기준은, 사용자의 사전정의된 부분이 사용자 인터페이스 요소에 대응하는 위치로부터의 임계 거리를 초과하고 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준의 제2 세트를 충족하지 않으면서 하나 이상의 기준의 제1 세트를 충족하는 경우, 충족되지 않는다. 일부 실시예들에서, 하나 이상의 기준은, 사용자의 사전정의된 부분이 사용자 인터페이스 요소에 대응하는 위치로부터의 임계 거리 미만이고 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준의 제1 세트를 충족하지 않으면서 하나 이상의 기준의 제2 세트를 충족하는 경우, 충족되지 않는다.
사용자의 사전정의된 부분이 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있는지 여부에 따라 사용자의 사전정의된 부분을 평가하기 위해 상이한 기준을 사용하는 전술한 방식은 입력이 직접 입력인지 아니면 간접 입력에 맞춰진 사용자 인터페이스 요소와 상호작용하는 효율적이고 직관적인 방식을 제공하고, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 하나 이상의 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 709)의 포즈는(812a), 사용자의 사전정의된 부분(예컨대, 709)이 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 3, 4, 5, 10, 15, 30 센티미터 등) 미만이라는 결정에 따라, (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같은 직접 입력들과 연관된) 하나 이상의 기준의 제1 세트를 충족하는 사용자의 사전정의된 부분(예컨대, 709)의 포즈(812b)를 포함한다. 예를 들어, 사용자의 손이 사용자 인터페이스 요소의 직접 입력 임계 거리 내에 있는 동안, 하나 이상의 기준의 제1 세트는 가리키는 손 형상(예컨대, 한 손가락이 달리 닫힌 손으로부터 펴져 있는 형상)을 검출하는 것을 포함한다.
도 7b에서와 같은 일부 실시예들에서, 하나 이상의 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 711)의 포즈는(812a), 사용자의 사전정의된 부분(예컨대, 711)이 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 3, 4, 5, 10, 15, 30 센티미터 등)를 초과한다는 결정에 따라, 하나 이상의 기준의 제1 세트와는 상이한 (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같은 간접 입력들과 연관된) 하나 이상의 기준의 제2 세트를 충족하는 사용자의 사전정의된 부분(예컨대, 711)의 포즈(812c)를 포함한다. 예를 들어, 사용자의 손이 사용자 인터페이스 요소로부터 직접 입력 임계치를 초과하는 동안, 하나 이상의 기준의 제2 세트는 예비-핀치 손 형상을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 제1 기준을 충족하는 손 형상들은 하나 이상의 제2 기준을 충족하는 손 형상들과는 상이하다. 일부 실시예들에서, 하나 이상의 기준은, 사용자의 사전정의된 부분이 사용자 인터페이스 요소에 대응하는 위치로부터의 임계 거리를 초과하고 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준의 제2 세트를 충족하지 않으면서 하나 이상의 기준의 제1 세트를 충족하는 경우, 충족되지 않는다. 일부 실시예들에서, 하나 이상의 기준은, 사용자의 사전정의된 부분이 사용자 인터페이스 요소에 대응하는 위치로부터의 임계 거리 미만이고 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준의 제1 세트를 충족하지 않으면서 하나 이상의 기준의 제2 세트를 충족하는 경우, 충족되지 않는다.
사용자의 사전정의된 부분이 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있는지 여부에 따라 사용자의 사전정의된 부분을 평가하기 위해 상이한 기준을 사용하는 전술한 방식은 입력이 직접 입력인지 아니면 간접 입력에 맞춰진 사용자 인터페이스 요소와 상호작용하는 효율적이고 직관적인 방식을 제공하고, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7b에서와 같은 하나 이상의 기준을 충족하는 사용자의 사전정의된 부분의 포즈는(814a), 사용자의 사전정의된 부분이 하나 이상의 입력 디바이스들 중 입력 디바이스(예컨대, 스타일러스, 원격 제어, 트랙패드)를 잡고(예컨대, 또는 상호작용하거나, 또는 터치하고) 있다는 결정에 따라, (예컨대, 도 7b의 사용자의 손(709)이 입력 디바이스를 잡고 있는 경우) 하나 이상의 기준의 제1 세트를 충족하는 사용자의 사전정의된 부분의 포즈(814b)를 포함한다. 일부 실시예들에서, 사용자의 사전정의된 부분은 사용자의 손이다. 일부 실시예들에서, 하나 이상의 기준의 제1 세트는 사용자가 3차원 환경의 사전정의된 영역 내에서 및/또는 사용자 인터페이스 요소에 대해 및/또는 사용자의 몸통에 대해 사전정의된 배향을 갖도록 자신의 손 안에 스타일러스 또는 제어기를 잡고 있을 때 충족된다. 일부 실시예들에서, 하나 이상의 기준의 제1 세트는 사용자가 3차원 환경의 사전정의된 영역 내에서 사용자 인터페이스 요소 및/또는 사용자의 몸통에 대한 사전정의된 배향으로 원격 제어를 잡고 있을 때, 및/또는 사용자의 엄지 손가락의 손가락이 원격 제어의 각자의 컴포넌트(예컨대, 버튼, 트랙패드, 터치패드 등) 상에 안착되어 있는 동안 충족된다. 일부 실시예들에서, 하나 이상의 기준의 제1 세트는 사용자가 트랙패드를 잡고 있거나 또는 이와 상호작용하고 사용자의 사전정의된 부분이 (예컨대, 선택하기 위해 하는 것처럼, 트랙패드를 누르지 않고) 트랙패드의 터치 감응형 표면과 접촉하고 있을 때 충족된다.
도 7b에서와 같은 일부 실시예들에서, 하나 이상의 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 709)의 포즈는(814a), 사용자의 사전정의된 부분(예컨대, 709)이 입력 디바이스를 잡고 있지 않다는 결정에 따라, (예컨대, 하나 이상의 기준의 제1 세트와는 상이한) 하나 이상의 기준의 제2 세트를 충족하는 사용자의 사전정의된 부분(예컨대, 709)의 포즈(814c)를 포함한다. 일부 실시예들에서, 전자 디바이스의 사용자가 입력 디바이스를 잡거나, 터치하거나, 또는 상호작용하고 있지 않은 동안, 하나 이상의 기준의 제2 세트는, 자신의 손 안에 스타일러스 또는 제어기를 잡고 있는 대신 이전에 설명된 바와 같이, 사용자의 포즈가 사전정의된 포즈(예컨대, 예비 핀치 또는 가리키는 손 형상을 포함하는 포즈)일 때 충족된다. 일부 실시예들에서, 사용자의 사전정의된 부분이 입력 디바이스를 잡고 있고, 하나 이상의 기준의 제2 세트는 충족되고 하나 이상의 기준의 제1 세트는 충족되지 않을 때 사용자의 사전정의된 부분의 포즈는 하나 이상의 기준을 충족하지 않는다. 일부 실시예들에서, 사용자의 사전정의된 부분이 입력 디바이스를 잡고 있지 않고 하나 이상의 기준의 제1 세트는 충족되고 하나 이상의 기준의 제2 세트는 충족되지 않을 때 사용자의 사전정의된 부분의 포즈는 하나 이상의 기준을 충족하지 않는다.
사용자가 입력 디바이스를 잡고 있는지 여부에 따른 상이한 기준에 따라 사용자의 사전정의된 부분을 평가하는 전술한 방식은 입력 디바이스를 사용하여 입력을 수용하는 것과 입력 디바이스(예컨대, 눈 추적 및/또는 손 추적 디바이스들 이외의 입력 디바이스)를 사용하지 않는 입력 사이를 스위칭하는 효율적인 방식을 제공하며,
이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 하나 이상의 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 709)의 포즈는(816a), 사용자의 사전정의된 부분(예컨대, 709)이 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치로부터 임계 거리(예컨대, 직접 입력들에 대응하는 0.5, 1, 2, 3, 4, 5, 10, 15, 30, 50 센티미터 등) 미만이라는 결정에 따라, 하나 이상의 기준의 제1 세트를 충족하는 사용자의 사전정의된 부분(예컨대, 709)의 포즈를 포함한다(816b). 예를 들어, 사용자의 손이 사용자 인터페이스 요소의 직접 입력 임계 거리 내에 있는 동안, 하나 이상의 기준의 제1 세트는 가리키는 손 형상 및/또는 예비-핀치 손 형상을 검출하는 것을 포함한다.
도 7b에서와 같은 일부 실시예들에서, 하나 이상의 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 711)의 포즈는(816a), 사용자의 사전정의된 부분(예컨대, 711)이 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치로부터 임계 거리(예컨대, 간접 입력들에 대응하는 0.5, 1, 2, 3, 4, 5, 10, 15, 30, 50 센티미터 등)를 초과한다는 결정에 따라, 하나 이상의 기준의 제1 세트를 충족하는 사용자의 사전정의된 부분(예컨대, 711)의 포즈를 포함한다(816c). 예를 들어, 사용자의 손이 사용자 인터페이스 요소로부터 직접 입력 임계치를 초과하는 동안, 하나 이상의 기준의 제2 세트는 하나 이상의 기준을 충족하는 데 사용되는 손 형상들과 동일한 예비-핀치 손 형상 및/또는 가리키는 손 형상을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 제1 기준을 충족하는 손 형상들은 손의 사전정의된 부분이 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리를 초과하는지 아니면 임계 거리 미만인지 여부에 상관없이 동일하다.
사용자의 사전정의된 부분과 사용자 인터페이스 요소에 대응하는 위치 사이의 거리에 상관없이 하나 이상의 기준의 제1 세트에 대해 사용자의 사전정의된 부분의 포즈를 평가하는 전술한 방식은 사용자의 사전정의된 부분을 이용하여 제공된 사용자 입력들을 검출하는 효율적이고 일관적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 711)이, 각자의 입력 동안, 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치로부터 멀리 임계 거리(예컨대, 간접 입력에 대응하는 0.5, 1, 2, 3, 4, 5, 10, 15, 30, 50 센티미터 등)를 초과한다는(예컨대, 입력은 간접 입력임) 결정에 따라, 하나 이상의 기준은 사용자의 주목이 사용자 인터페이스 요소(예컨대, 705)를 향해 지향될 때 충족되는 기준을 포함한다(818a)(예컨대, 그리고 기준은 사용자의 주목이 사용자 인터페이스 요소를 향해 지향되지 않을 때 충족되지 않음)(예컨대, 사용자의 시선은 사용자 인터페이스 요소의 임계 거리 내에 있고, 사용자 인터페이스 요소는 사용자의 주목 구역 내에 있는 등, 방법(1000)을 참조하여 설명된 바와 같음). 일부 실시예들에서, 전자 디바이스는 사용자의 주목에 기초하여 간접 입력이 어느 사용자 인터페이스 요소로 지향되는지 결정하므로, 사용자 주목을 각자의 사용자 인터페이스 요소로 지향시키지 않고 각자의 사용자 인터페이스 요소에 간접 입력을 제공하는 것이 가능하지 않지 않다.
도 7c에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 709)이, 각자의 입력 동안, 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치로부터 멀리 임계 거리(예컨대, 직접 입력에 대응하는 0.5, 1, 2, 3, 4, 5, 10, 15, 30, 50 센티미터 등) 미만이라는 (예컨대, 입력은 직접 입력임) 결정에 따라, 하나 이상의 기준은 하나 이상의 기준이 충족되도록 사용자의 주목이 사용자 인터페이스 요소(예컨대, 709)를 향해 지향되는 요건을 포함하지 않는다(818b)(예컨대, 사용자의 주목이 사용자 인터페이스 요소로 지향되지 않고 하나 이상의 기준이 충족되는 것이 가능함). 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 내의 사용자 인터페이스 요소들에 대한 사용자의 사전정의된 부분의 위치에 기초하여 직접 입력의 타겟을 결정하고, 사용자의 주목이 그 사용자 인터페이스 요소로 지향되는지 여부에 상관없이 사용자의 사전정의된 부분에 가장 가까운 사용자 인터페이스 요소로 입력을 지향시킨다.
사용자의 사전정의된 부분이 사용자 인터페이스 요소로부터 임계 거리를 초과하는 동안 사용자의 주목이 하나 이상의 기준을 충족하도록 요구하고 사용자의 사전정의된 부분이 사용자 인터페이스 요소로부터 임계 거리 미만인 동안 사용자의 주목이 하나 이상의 기준을 충족하도록 요구하지 않는 전술한 방식은 직접 입력들을 제공하는 동안 사용자가 사용자 인터페이스 요소의 다른 부분들을 볼 수 있도록 하여, 전자 디바이스를 사용하는 동안 사용자 시간을 아끼는 효율적인 방식을 제공하고, 간접 입력들을 제공하는 동안 사용자 오류들을 감소시키며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7a에서와 같이, 사용자의 시선(예컨대, 701a)이 사용자 인터페이스의 제1 영역(예컨대, 703)으로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 시각적으로, 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스의 제1 영역(예컨대, 705)에 비해 사용자 인터페이스의 제2 영역을 덜 강조한다(예컨대, 흐리게, 어둡게, 깜깜하게, 및/또는 채도감소되게 함)(820a). 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스의 제2 영역의 디스플레이를 수정 및/또는 사용자 인터페이스의 제1 영역의 디스플레이를 수정하여 사용자 인터페이스의 제2 영역을 사용자 인터페이스의 제1 영역에 비해 시각적으로 덜 강조하는 것을 달성한다.
도 7b에서와 같은 일부 실시예들에서, 사용자의 시선(701c)이 사용자 인터페이스의 제2 영역(예컨대, 702)으로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스(101b)는, 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스의 제2 영역(예컨대, 702)에 비해 사용자 인터페이스의 제1 영역을 시각적으로 덜 강조한다(820b)(예컨대, 흐리게, 어둡게, 깜깜하게, 및/또는 채도를 낮게 함). 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스의 제1 영역의 디스플레이를 수정 및/또는 사용자 인터페이스의 제2 영역의 디스플레이를 수정하여 사용자 인터페이스의 제1 영역을 사용자 인터페이스의 제2 영역에 비해 시각적으로 덜 강조하는 것을 달성한다. 일부 실시예들에서, 사용자 인터페이스의 제1 및/또는 제2 영역들은 사용자 인터페이스의 영역이 덜 강조될 때 덜 강조되는 하나 이상의 가상 객체들(예컨대, 애플리케이션 사용자 인터페이스들, 콘텐츠의 아이템들, 다른 사용자들의 표현들, 파일들, 제어 요소들 등) 및/또는 하나 이상의 물리적 객체들(예컨대, 실제 객체들의 실사 표현들을 포함하는 패스 스루 비디오, 실제 객체의 뷰가 디스플레이 생성 컴포넌트의 투명 부분을 통해 보이는 트루 패스 스루)을 포함한다.
사용자의 시선이 지향되는 영역 이외의 영역을 시각적으로 덜 강조하는 전술한 방식은 사용자가 사용자 인터페이스의 각자의 영역을 보는 동안 시각적 혼란을 감소시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7a에서와 같은 일부 실시예들에서, 사용자 인터페이스는 전자 디바이스(101a) 및 제2 전자 디바이스(101b)에 의해 액세스가능하다(예컨대, 전자 디바이스 및 제2 전자 디바이스는 (예컨대, 유선 또는 무선 네트워크 연결을 통해) 통신한다)(822a). 일부 실시예들에서, 전자 디바이스 및 제2 전자 디바이스는 서로 원격으로 위치된다. 일부 실시예들에서, 전자 디바이스 및 제2 전자 디바이스는 (예컨대, 동일한 방, 건물 등에) 병치된다. 일부 실시예들에서, 전자 디바이스 및 제2 전자 디바이스는 두 디바이스의 사용자들의 표현들이 3차원 환경 내의 고유 위치들과 연관되는 공존 세션에서 3차원 환경을 나타내고 각각의 전자 디바이스는 각자의 사용자의 표현의 관점에서 3차원 환경을 디스플레이한다.
도 7b에서와 같은 일부 실시예들에서, 제2 전자 디바이스(101b)의 제2 사용자의 시선(701c)이 사용자 인터페이스의 제1 영역(702)으로 지향된다는 표시에 따라, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스의 제1 영역에 비해 사용자 인터페이스의 제2 영역을 시각적으로 덜 강조하는 것(예컨대, 흐리게, 어둡게, 깜깜하게, 및/또는 채도를 낮게 함)을 보류한다(822b). 일부 실시예들에서, 제2 전자 디바이스는 제2 사용자의 시선이 사용자 인터페이스의 제1 영역으로 지향된다는 결정에 따라 사용자 인터페이스의 제2 영역을 시각적으로 덜 강조한다. 일부 실시예들에서, 전자 디바이스의 사용자의 시선이 사용자 인터페이스의 제1 영역으로 지향된다는 결정에 따라, 제2 전자 디바이스는 사용자 인터페이스의 제1 영역에 비해 사용자 인터페이스의 제2 영역을 시각적으로 덜 강조하는 것을 보류한다.
도 7b에서와 같은 일부 실시예들에서, 제2 전자 디바이스(101a)의 제2 사용자의 시선이 사용자 인터페이스의 제2 영역(예컨대, 703)으로 지향된다는 표시에 따라, 전자 디바이스(101b)는, 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스의 제2 영역에 비해 사용자 인터페이스의 제1 영역을 시각적으로 덜 강조하는 것(예컨대, 흐리게, 어둡게, 깜깜하게, 및/또는 채도를 낮게 함)을 보류한다(822c). 일부 실시예들에서, 제2 전자 디바이스는 제2 사용자의 시선이 사용자 인터페이스의 제2 영역으로 지향된다는 결정에 따라 사용자 인터페이스의 제1 영역을 시각적으로 덜 강조한다. 일부 실시예들에서, 전자 디바이스의 사용자의 시선이 사용자 인터페이스의 제2 영역으로 지향된다는 결정에 따라, 제2 전자 디바이스는 사용자 인터페이스의 제2 영역에 비해 사용자 인터페이스의 제1 영역을 시각적으로 덜 강조하는 것을 보류한다.
제2 전자 디바이스의 사용자의 시선에 기초하여 사용자 인터페이스의 영역들을 시각적으로 덜 강조하는 것을 보류하는 전술한 방식은 사용자들이 사용자 인터페이스의 상이한 영역들을 동시에 보게하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 전자 디바이스(101a)의 사용자의 사전정의된 부분(예컨대, 705)으로부터 입력을 검출하는 것은, 손 추적 디바이스를 통해, 사용자의 사전정의된 부분(예컨대, 709)에 의해 수행되는 핀치(예컨대, 핀치, 핀치하고 유지하기, 핀치하고 드래그하기, 더블 핀치, 뽑기(pluck), 속도감 없이 놓기, 속도감 있게 토스) 제스처를 검출하는 것을 포함한다(824a). 일부 실시예들에서, 핀치 제스처를 검출하는 것은 사용자가 자신의 엄지 손가락을 엄지 손가락의 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)을 향해 및/또는 그것들의 사전정의된 거리 내에 이동하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 기준을 충족하는 포즈를 검출하는 것은 사용자가 준비 상태, 예컨대, 엄지 손가락이 다른 손가락의 임계 거리(예컨대, 1, 2, 3, 4, 5 센티미터 등) 내에 있는 예비-핀치 손 형상인 것을 검출하는 것을 포함한다.
핀치 제스처를 포함하는 입력을 검출하는 전술한 방식은 사용자가 자신의 손들로 입력 디바이스를 물리적으로 터치 및/또는 조작하는 것을 필요로 하지 않고 손 제스처들에 기초하여 사용자 입력들을 수용하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 전자 디바이스(101a)의 사용자의 사전정의된 부분(예컨대, 709)으로부터 입력을 검출하는 것은, 손 추적 디바이스를 통해, 사용자의 사전정의된 부분(예컨대, 709)에 의해 수행되는 누르기(예컨대, 탭, 누르고 유지하기, 누르고 드래그하기, 플릭) 제스처를 검출하는 것을 포함한다(826a). 일부 실시예들에서, 누르기 제스처를 검출하는 것은 (예컨대, 방법들(1400, 1600 및/또는 2000)을 참조하여 설명된 바와 같이) 사용자 인터페이스에 디스플레이되는, 방법(1800)에 따른 사용자 인터페이스 요소 또는 가상 트랙패드 또는 기타 시각적 표시와 같은 사용자 인터페이스 요소에 대응하는 위치를 누르는 사용자의 사전정의된 부분을 검출하는 것을 포함한다. 일부 실시예들에서, 누르기 제스처를 포함하는 입력을 검출하기 이전에, 전자 디바이스는 사용자의 손이 하나 이상의 손가락들은 펼쳐지고 하나 이상의 손가락들은 손바닥을 향해 구부러진 가리키는 손 형상인 것과 같은, 준비 상태의 사용자를 검출하는 것을 포함하는 하나 이상의 기준을 충족하는 사용자의 사전정의된 부분의 포즈를 검출한다. 일부 실시예들에서, 누르기 제스처는 손이 가리키는 손 형상인 동안 사용자의 손가락, 손, 또는 팔을 이동하는 것을 포함한다.
누르기 제스처를 포함하는 입력을 검출하는 전술한 방식은 사용자가 자신의 손들로 입력 디바이스를 물리적으로 터치 및/또는 조작하는 것을 필요로 하지 않고 손 제스처들에 기초하여 사용자 입력들을 수용하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 전자 디바이스(101a)의 사용자의 사전정의된 부분(예컨대, 709)으로부터 입력을 검출하는 것은 (예컨대, 방법(1800)을 참조하여 설명된 바와 같이) 사용자 인터페이스 요소(예컨대, 705)에 대응하는 위치에 대한 사용자의 사전정의된 부분(예컨대, 709)의 측방향 이동을 검출하는 것을 포함한다(828a). 일부 실시예들에서, 측방향 이동은 사용자의 사전정의된 부분과 사용자 인터페이스 요소에 대응하는 위치 사이의 직선 경로에 수직한 성분을 포함하는 이동을 포함한다. 예를 들어, 사용자 인터페이스 요소가 사용자의 사전정의된 부분의 앞에 있고 사용자가 사용자의 사전정의된 부분을 좌, 우, 위, 또는 아래로 이동시키는 경우, 이동은 측방향 이동이다. 예를 들어, 입력은 누르고 드래그하기, 핀칭하고 드래그하기, 또는 토스(속도 있음) 입력 중 하나이다.
사용자 인터페이스 요소에 대한 사용자의 사전정의된 부분의 측방향 이동을 포함하는 입력을 검출하는 전술한 방식은 사용자의 사전정의된 부분을 이용하여 전자 디바이스에 방향성 입력을 제공하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7a에서와 같은 일부 실시예들에서, 입력을 검출하기 이전의 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 하나 이상의 기준을 충족한다고 결정하기 이전에(830a), 전자 디바이스(101a)는, 눈 추적 디바이스를 통해, 사용자의 시선(예컨대, 701a)이 사용자 인터페이스 요소(예컨대, 705)로 지향되는 것을 (예컨대, 방법(1200)의 하나 이상의 명확화 기술들에 따라) 검출한다(830b).
일부 실시예들에서, 입력을 검출하기 이전의 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 하나 이상의 기준을 충족한다고 결정하기 이전에(830a), 도 7a에서와 같이, 사용자의 시선(예컨대, 701a)이 사용자 인터페이스 요소(예컨대, 705)로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 사용자의 시선(예컨대, 701a)이 사용자 인터페이스 요소(예컨대, 705)로 지향됨을 나타내는 제1 표시를 디스플레이한다(830c). 일부 실시예들에서, 제1 표시는 사용자 인터페이스 요소 상에 중첩되거나 또는 그 주위에 디스플레이되는 강조표시이다. 일부 실시예들에서, 제1 표시는 사용자 인터페이스 요소의 색상의 변경 또는 (예컨대, 사용자를 향한) 위치의 변경이다. 일부 실시예들에서, 제1 표시는 사용자 인터페이스 요소 위에 중첩되거나 또는 이에 근접하게 디스플레이되는 심볼 또는 아이콘이다.
사용자의 시선이 사용자 인터페이스 요소로 지향되는 제1 표시를 디스플레이하는 전술한 방식은 입력 초점이 사용자가 보고 있는 위치에 기초함을 사용자에게 전달하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7b에서와 같은 일부 실시예들에서, 전자 디바이스(101a)의 사용자의 사전정의된 부분(예컨대, 709)으로부터 입력을 검출하기 이전에, 입력을 검출하기 이전의 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 하나 이상의 기준을 충족하는 동안(832a)(예컨대, 그리고 사용자의 시선이 사용자 인터페이스 요소로 지향되는 동안), (예컨대, 방법(1200)의 하나 이상의 명확화 기술들에 따라) 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 도 7b에서와 같이 입력을 검출하기 이전의 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 하나 이상의 기준을 충족함을 나타내는 제2 표시를 디스플레이하고, 제1 표시는 제2 표시와는 상이하다(832b). 일부 실시예들에서, 제2 표시를 디스플레이하는 것은 사용자가 보고 있는 사용자 인터페이스 요소의 시각적 특성(예컨대, 색상, 크기, 위치, 반투명성)을 수정하는 것을 포함한다. 예를 들어, 제2 표시는 전자 디바이스가 3차원 환경에서 사용자를 향해 사용자 인터페이스 요소를 이동시키는 것이다. 일부 실시예들에서, 제2 표시는 사용자가 보고 있는 사용자 인터페이스 요소 위에 중첩되거나 또는 이에 근접하게 디스플레이된다. 일부 실시예들에서, 제2 표시는 사용자의 시선이 지향되는 위치에 독립적인 사용자 인터페이스 내의 위치에서 디스플레이되는 아이콘 또는 이미지이다.
사용자의 포즈가 사용자의 시선의 위치의 표시와는 상이한 하나 이상의 기준을 충족한다는 표시를 디스플레이하는 전술한 방식은 전자 디바이스가 사용자의 사전정의된 부분으로부터 추가적인 입력을 수용할 준비됨을 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 사용자 인터페이스 요소(예컨대, 705)를 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 전자 디바이스(101a)의 사용자의 제2 사전정의된 부분(예컨대, 717)(예컨대, 제2 손)으로부터 제2 입력을 검출한다(834a).
일부 실시예들에서, 전자 디바이스의 사용자의 제2 사전정의된 부분(예컨대, 717)으로부터 제2 입력을 검출하는 것에 응답하여(834b), 제2 입력을 검출하기 이전의 사용자의 제2 사전정의된 부분(예컨대, 711)의 포즈(예컨대, 위치, 배향, 손 형상)가 도 7b에서와 같은 하나 이상의 제2 기준을 충족한다는 결정에 따라, 전자 디바이스(101a)는 전자 디바이스(101a)의 사용자의 제2 사전정의된 부분(예컨대, 711)으로부터의 제2 입력에 따라 제2 각자의 동작을 수행한다(834c). 일부 실시예들에서, 하나 이상의 제2 기준은 사용자의 상이한 사전정의된 부분이 포즈를 수행한다는 점에서 하나 이상의 기준과 상이하지만, 그렇지 않으면 하나 이상의 기준과 하나 이상의 제2 기준은 동일하다. 예를 들어, 하나 이상의 기준은 사용자의 오른손이 예비 핀치 또는 가리키는 손 형상과 같은 준비 상태인 것을 요구하고, 하나 이상의 제2 기준은 사용자의 왼손이 예비 핀치 또는 가리키는 손 형상과 같은 준비 상태인 것을 요구한다. 일부 실시예들에서, 하나 이상의 기준은 하나 이상의 제2 기준과는 상이하다. 예를 들어, 포즈들의 제1 서브세트는 사용자의 오른손에 대한 하나 이상의 기준을 충족하고, 포즈들의 상이한 제2 서브세트는 사용자의 왼손에 대한 하나 이상의 기준을 충족한다.
도 7c에서와 같은 일부 실시예들에서, 전자 디바이스(101b)의 사용자의 제2 사전정의된 부분(예컨대, 715)으로부터 제2 입력을 검출하는 것에 응답하여(834b), 제2 입력을 검출하기 전에 사용자의 제2 사전정의된 부분(예컨대, 721)의 포즈가 도 7b에서와 같은 하나 이상의 제2 기준을 충족하지 않는다는 결정에 따라, 전자 디바이스는 도 7c에서와 같은, 전자 디바이스(101b)의 사용자의 제2 사전정의된 부분(예컨대, 715)으로부터의 제2 입력에 따라 제2 각자의 동작을 수행하는 것을 보류한다(834d). 일부 실시예들에서, 전자 디바이스는 사용자의 사전정의된 부분 및/또는 사용자의 제2 사전정의된 부분으로부터 입력들을 서로 독립적으로 검출할 수 있다. 일부 실시예들에서, 사용자의 왼손에 의해 제공되는 입력에 따라 작동을 수행하기 위해, 사용자의 왼손은 입력을 제공하기 이전에 하나 이상의 기준을 충족하는 포즈를 가져야 하고, 사용자의 오른손에 의해 제공되는 입력에 따라 작동을 수행하기 위해, 사용자의 오른손은 제2 하나 이상의 기준을 충족하는 포즈를 가져야 한다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 먼저 제2 하나 이상의 기준을 충족하지 않고 하나 이상의 기준을 충족하는 사용자의 사전정의된 부분의 포즈에 사용자의 제2 사전정의된 부분에 의해 제공되는 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 제2 사전정의된 부분의 입력에 따라 작동을 수행하는 것을 보류한다. 일부 실시예들에서, 사용자의 사전정의된 부분이 하나 이상의 기준을 먼저 충족하지 않고 제2 하나 이상의 기준을 충족하는 사용자의 제2 사전정의된 부분의 포즈에 사용자의 사전정의된 부분에 의해 제공되는 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 사전정의된 부분의 입력에 따라 작동을 수행하는 것을 보류한다.
사용자의 사전정의된 부분에 독립적으로 사용자의 제2 사전정의된 부분으로부터 입력들을 수용하는 전술한 방식은 사용자가 전자 디바이스에 입력들을 제공할 수 있는 속도를 증가시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7a 내지 도 7c에서와 같은 일부 실시예들에서, 사용자 인터페이스는 전자 디바이스(101a) 및 제2 전자 디바이스(101b)에 의해 액세스가능하다(예컨대, 전자 디바이스 및 제2 전자 디바이스는 (예컨대, 유선 또는 무선 네트워크 연결을 통해) 통신한다)(836a). 일부 실시예들에서, 전자 디바이스 및 제2 전자 디바이스는 서로 원격으로 위치된다. 일부 실시예들에서, 전자 디바이스 및 제2 전자 디바이스는 (예컨대, 동일한 방, 건물 등에) 병치된다. 일부 실시예들에서, 전자 디바이스 및 제2 전자 디바이스는 두 디바이스의 사용자들의 표현들이 3차원 환경 내의 고유 위치들과 연관되는 공존 세션에서 3차원 환경을 나타내고 각각의 전자 디바이스는 각자의 사용자의 표현의 관점에서 3차원 환경을 디스플레이한다.
도 7a에서와 같은 일부 실시예들에서, 입력을 검출하기 이전의 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 하나 이상의 기준을 충족한다는 것을 검출하기 전에, 전자 디바이스(101a)는 시각적 특성(예컨대, 크기, 색상, 반투명성, 위치)이 제1 값을 갖는 사용자 인터페이스 요소(예컨대, 705)를 디스플레이한다(836b).
도 7b에서와 같은 일부 실시예들에서, 입력을 검출하기 이전의 사용자의 사전정의된 부분(예컨대, 709)의 포즈가 하나 이상의 기준을 충족하는 동안, 전자 디바이스(101a)는 시각적 특성(예컨대, 크기, 색상, 반투명성, 위치)이 제1 값과는 상이한 제2 값을 갖는 사용자 인터페이스 요소(예컨대, 705)를 디스플레이한다(836c). 일부 실시예들에서, 전자 디바이스는 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준을 충족한다는 것을 검출하는 것에 응답하여 사용자 인터페이스 요소의 시각적 외관을 업데이트한다. 일부 실시예들에서, 전자 디바이스는 단지 (예컨대, 방법(1000)에 따른 사용자의 시선 또는 사용자의 주목 구역에 따라) 사용자의 주목이 지향되는 사용자 인터페이스 요소의 외관을 업데이트한다. 일부 실시예들에서, 제2 전자 디바이스는 사용자의 사전정의된 부분이 하나 이상의 기준을 충족하는 것에 응답하여 시각적 특성이 제1 값을 갖는 사용자 인터페이스 요소의 디스플레이를 유지한다.
일부 실시예들에서, 제1 값을 갖는 시각적 특성을 갖는 사용자 인터페이스 요소를 디스플레이하는 동안 제2 전자 디바이스(101b)의 제2 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준을 충족하는(선택적으로, 충족한다는 표시에 응답하여) 동안, 전자 디바이스(101a)는 시각적 특성이 제1 값을 갖는 사용자 인터페이스 요소의 디스플레이를 유지하며(836d), 이는 제1 전자 디바이스(101a)의 사용자의 일부분(예컨대, 709)이 도 7b의 하나 이상의 기준을 충족하는 동안 전자 디바이스(101b)가 사용자 인터페이스 요소(예컨대, 705)의 디스플레이를 유지하는 방법과 유사하다. 일부 실시예들에서, 제2 전자 디바이스의 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준을 충족시키는 것을 검출하는 것에 응답하여, 제2 전자 디바이스는 제2 값을 갖는 시각적 특성으로 디스플레이되도록 사용자 인터페이스 요소를 업데이트하고, 이는 도 7c에서 두 전자 디바이스들(101a, 101b)이 (예컨대, 손(709 또는 711)을 통한) 전자 디바이스(101a)에 의해 검출되는 입력에 응답하여 사용자 인터페이스 요소(예컨대, 705)를 스크롤하는 방법과 유사하다. 일부 실시예들에서, 시각적 특성이 제1 값을 갖는 사용자 인터페이스 요소를 디스플레이하는 동안 전자 디바이스의 사용자의 포즈가 하나 이상의 기준을 충족한다는 표시에 응답하여, 제2 전자 디바이스는 시각적 특성이 제1 값을 갖는 사용자 인터페이스 요소의 디스플레이를 유지한다. 일부 실시예들에서, 전자 디바이스의 사용자의 포즈가 하나 이상의 기준을 충족한다는 결정 및 제2 전자 디바이스의 사용자의 포즈가 하나 이상의 기준을 충족한다는 표시에 따라, 전자 디바이스는 시각적 특성이 제3 값인 사용자 인터페이스 요소를 디스플레이한다.
전자 디바이스들에 걸쳐 사용자 인터페이스 요소의 시각적 특성을 업데이트하는 것을 동기화하지 않는 전술한 방식은 또한 다른 사용자들이 상호작용하고 있는 사용자 인터페이스의 부분들을 나타냄으로써 혼란을 야기하지 않고 사용자가 상호작용하고 있는 사용자 인터페이스의 부분들을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스의 사용자의 사전정의된 부분(예컨대, 709 또는 711)으로부터 입력을 검출하는 것에 응답하여, 전자 디바이스(101a)는 도 7c에서와 같은 시각적 특성이 제3 값을 갖는 사용자 인터페이스 요소(예컨대, 705)를 디스플레이한다(예컨대, 제3 값은 제1 값 및 제2 값과 상이함)(836a). 일부 실시예들에서, 입력에 응답하여, 전자 디바이스 및 제2 전자 디바이스는 입력에 따라 각자의 동작을 수행한다.
일부 실시예들에서, 제2 전자 디바이스의 제2 사용자의 사전정의된 부분으로부터의 입력의 표시에 응답하여(예컨대, 제2 전자 디바이스가 제2 전자 디바이스의 사용자의 사전정의된 부분이 하나 이상의 기준을 충족하는 것을 검출한 후에), 예컨대, 전자 디바이스(101a)가 전자 디바이스(101a)의 사용자의 손(예컨대, 709 또는 711)으로부터 사용자 입력을 검출하는 것에 응답하여 전자 디바이스(101a)가 사용자 인터페이스 요소(예컨대, 705)를 디스플레이하는 것과 동일한 방식으로 전자 디바이스(101b)가 사용자 인터페이스 요소(예컨대, 705)를 디스플레이하더라도, 전자 디바이스(101a)는 제3 값을 갖는 시각적 특성을 갖는 사용자 인터페이스 요소를 디스플레이한다(836b). 일부 실시예들에서, 제2 전자 디바이스로부터의 입력에 응답하여, 전자 디바이스 및 제2 전자 디바이스는 입력에 따라 각자의 동작을 수행한다. 일부 실시예들에서, 전자 디바이스는 제2 전자 디바이스의 사용자가 사용자 인터페이스 요소로 지향되는 입력을 제공했음을 나타내는 표시를 디스플레이하지만, 사용자 인터페이스 요소의 호버링 상태의 표시를 나타내지 않는다.
입력이 검출된 디바이스에 상관없이 입력에 응답하여 사용자 인터페이스 요소를 업데이트하는 전술한 방식은 두 디바이스에 의해 디스플레이되는 사용자 인터페이스 요소의 현재 상호작용 상태를 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 다른 사용자들이 사용자 인터페이스의 어떤 부분들과 상호작용하는지 분명하게 나타냄으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하고, 순차적으로 보정을 필요로 할 사용자 인터페이스 요소의 상호작용 상태에 대한 변화에 의해 야기되는 오류들을 회피한다.
도 9a 내지 도 9c는 전자 디바이스(101a)는 일부 실시예들에 따라 사용자와 연관된 주목 구역에 기초하여 사용자 입력들을 프로세싱하는 예시적인 방식들을 도시한다.
도 9a는, 디스플레이 생성 컴포넌트(120a)를 통해, 3차원 환경, 전자 디바이스(101a)를 도시한다. 일부 실시예들에서, 전자 디바이스(101a)는 본 발명의 범주를 벗어나지 않으면서 2차원 환경 또는 사용자 인터페이스에서 도 9a 내지 도 9c를 참조하여 설명된 하나 이상의 기술들을 활용하는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트(120a)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314a)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101a)와 상호작용하는 동안 전자 디바이스(101a)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120a)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 설명된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 9a는 전자 디바이스(101a)가 디스플레이 생성 컴포넌트(120a)를 통해 제1 선택가능 옵션(903), 제2 선택가능 옵션(905), 및 전자 디바이스(101a)의 물리적 환경 내의 테이블의 표현(904)(예컨대, 도 6b의 테이블(604)과 같음)을 나타내는 것을 도시한다. 일부 실시예들에서, 테이블의 표현(904)은 디스플레이 생성 컴포넌트(120a)에 의해 생성되는 테이블의 실사 이미지이다(예컨대, 패스스루 비디오 또는 디지털 패스스루). 일부 실시예들에서, 테이블의 표현(904)은 디스플레이 생성 컴포넌트(120a)의 투명 부분을 통한 테이블의 뷰이다(예컨대, 트루 또는 액추얼 패스스루). 일부 실시예들에서, 전자 디바이스(101a)는 3차원 환경내의 전자 디바이스의 사용자와 연관된 시점으로부터 3차원 환경을 디스플레이한다.
일부 실시예들에서, 전자 디바이스(101a)는 사용자의 주목 구역(907)을 사용자의 시선(901a)에 기초한 3차원 환경 내의 원뿔-형상 체적으로서 정의한다. 예를 들어, 주목 구역(907)은 선택적으로 사용자의 시선(901a)에 의해 한정되는 선으로부터 사전결정된 각도(예컨대, 1, 2, 3, 5, 10, 15도 등) 내에 있는 3차원 환경의 체적을 포함하는, 사용자의 시선(901a)에 의해 한정되는 선(예컨대, 3차원 환경 내의 사용자의 시선의 위치 및 전자 디바이스(101a)와 연관된 시점을 통과하는 선)을 중심으로 하는 원뿔이다. 따라서, 일부 실시예들에서, 주목 구역(907)의 2차원 영역은 전자 디바이스(101a)와 연관된 시점으로부터의 거리의 함수로서 증가한다. 일부 실시예들에서, 전자 디바이스(101a)는 입력이 지향되는 사용자 인터페이스 요소 및/또는 사용자의 주목 구역에 기초하여 입력에 응답하는지 여부를 결정한다.
도 9a에 도시된 바와 같이, 제1 선택가능 옵션(903)은 사용자의 주목 구역(907) 내에 있고, 제2 선택가능 옵션(905)은 사용자의 주목 구역 밖에 있다. 도 9a에 도시된 바와 같이, 사용자의 시선(901a)이 선택가능 옵션(903)으로 지향되지 않는 경우에도 선택가능 옵션(903)이 주목 구역(907) 내에 있는 것이 가능하다. 일부 실시예들에서, 사용자의 시선이 선택가능 옵션(903)으로 지향되는 동안 선택가능 옵션(903)이 주목 구역(907)에 있는 것이 가능하다. 도 9a는 또한 직접 입력 준비 상태(예컨대, 손 상태 D)의 사용자의 손(909)을 도시한다. 일부 실시예들에서, 직접 입력 준비 상태는 도 7a 내지 도 8k를 참조하여 전술된 직접 입력 준비 상태(들)와 동일 또는 유사하다. 또한, 일부 실시예들에서, 본 명세서에 설명된 직접 입력들은 방법들(800, 1200, 1400, 1600, 1800, 및/또는 2000)을 참조하여 설명된 직접 입력들의 하나 이상의 특성들을 공유한다. 예를 들어, 사용자의 손(909)은 가리키는 손 형상이고, 제1 선택가능 옵션(903)의 직접 준비 상태 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 10, 15, 30 센티미터 등) 내에 있다. 도 9a는 또한 직접 입력 준비 상태의 사용자의 손(911)을 도시한다. 일부 실시예들에서, 손(911)은 손(909)에 대안이다. 일부 실시예들에서, 전자 디바이스(101a)는 (예컨대, 방법(1600)의 하나 이상의 단계들에 따라) 한번에 사용자의 두손을 검출할 수 있다. 예를 들어, 사용자의 손(911)은 가리키는 손 형상이고, 제2 선택가능 옵션(905)의 준비 상태 임계 거리 내에 있다.
일부 실시예들에서, 전자 디바이스(101a)는 입력들을 수용하기 위해 사용자 인터페이스 요소들이 주목 구역(907) 내에 있도록 요구한다. 예를 들어, 제1 선택가능 옵션(903)은 사용자의 주목 구역(907) 내에 있기 때문에, 전자 디바이스(101a)는 (예컨대, 손(909)으로부터의) 추가적인 입력이 제1 선택가능 옵션(903)으로 지향될 것이라고 나타내기 위해 제1 선택가능 옵션(903)을 업데이트한다. 다른 예로서, 제2 선택가능 옵션(905)은 사용자의 주목 구역(907) 밖에 있기 때문에, 전자 디바이스(101a)는 (예컨대, 손(911)으로부터의) 추가적인 입력이 제2 선택가능 옵션(905)으로 지향될 것이라고 나타내기 위해 제2 선택가능 옵션(905)을 업데이트하는 것을 보류한다. 사용자의 시선(901a)이 제1 선택가능 옵션(903)으로 지향되지 않더라도, 전자 디바이스(101a)는 여전히 입력들을 제1 선택가능 옵션(903)으로 지향하도록 구성되는데 그 이유는 제1 선택가능 옵션(903)이 주목 구역(907) 내에 있기 때문이고, 이는 선택적으로 사용자의 시선보다 넓다는 것이 이해되어야 한다.
도 9b에서, 전자 디바이스(101a)는 사용자의 손(909)이 제1 선택가능 옵션(903)을 직접 선택하는 것을 검출한다. 일부 실시예들에서, 직접 선택은 손이 가리키는 손 형상인 동안 제1 선택가능 옵션(903)을 터치하거나 또는 그것의 직접 선택 임계치(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2 센티미터 등) 내의 위치로 손(909)을 이동하는 것을 포함한다. 도 9b에 도시된 바와 같이, 입력이 검출될 때 제1 선택가능 옵션(903)은 더 이상 사용자의 주목 구역(907) 내에 있지 않다. 일부 실시예들에서, 주목 구역(907)이 이동하는데, 그 이유는 사용자의 시선(901b)이 이동하기 때문이다. 일부 실시예들에서, 주목 구역(907)은 전자 디바이스(101a)가 도 9a에 도시된 손(909)의 준비 상태를 검출한 후에 도 9b에 도시된 위치로 이동한다. 일부 실시예들에서, 도 9b에 도시된 입력은 준비 상태(907)가 도 9b에 도시된 위치로 이동하기 전에 검출된다. 일부 실시예들에서, 도 9b에 도시된 입력은 준비 상태(907)가 도 9b에 도시된 위치로 이동한 후에 검출된다. 제1 선택가능 옵션(903)이 더 이상 사용자의 주목 구역(907)에 있지 않더라도, 일부 실시예들에서, 전자 디바이스(101a)는 여전히 입력에 응답하여 제1 선택가능 옵션(903)의 색상을 업데이트하는데, 그 이유는 도 9a에 도시된 바와 같이 제1 선택가능 옵션(903)이 준비 상태 동안 주목 구역(907)에 있었기 때문이다. 일부 실시예들에서, 제1 선택가능 옵션(903)의 외관을 업데이트하는 것에 더하여, 전자 디바이스(101a)는 제1 선택가능 옵션(903)의 선택에 따라 작동을 수행한다. 예를 들어, 전자 디바이스(101a)는 옵션(903)과 연관된 설정을 활성화/비활성화, 옵션(903)과 연관된 콘텐츠의 재생을 개시, 옵션(903)과 연관된 사용자 인터페이스를 디스플레이와 같은 동작, 또는 옵션(903)과 연관된 상이한 동작을 수행한다.
일부 실시예들에서, 선택 입력은 단지 사용자의 손(909)이 도 9b에서 보이는 제1 선택가능 옵션(903)의 측면에서 제1 선택가능 옵션(903)을 터치하거나 또는 그것의 직접 선택 임계치 내의 위치로 이동하는 것을 검출하는 것에 응답하여 검출된다. 예를 들어, 사용자가 대신에 제1 선택가능 옵션(903) 주위에 도달하여 도 9b에서 보이지 않는 제1 선택가능 옵션(903)의 후면으로부터 제1 선택가능 옵션(903)을 터치한다면, 전자 디바이스(101a)는 선택적으로 제1 선택가능 옵션(903)의 외관을 업데이트하는 것을 보류 및/또는 선택에 따라 작동을 수행하는 것을 보류할 것이다.
일부 실시예들에서, 제1 선택가능 옵션(903)이 주목 구역(907) 내에 있는 동안 시작되고 제1 선택가능 옵션(903)이 주목 구역(907) 내에 있지 않은 동안 계속되는 누르기 입력(예컨대, 선택 입력)을 계속해서 수용하는 것에 더하여, 입력이 계속될 때 사용자 인터페이스 요소가 더 이상 주목 구역 내에 있지 않은 경우에도 전자 디바이스(101a)는 입력이 지향되었던 사용자 인터페이스 요소가 주목 구역 내에 있었던 동안 시작된 다른 유형들의 입력들을 수용한다. 예를 들어, 전자 디바이스(101a)는 전자 디바이스(101a)가 사용자 인터페이스 요소가 주목 구역을 벗어난 후에(예컨대, 그리고 사용자 인터페이스 요소가 주목 구역 안에 있었을 때 개시되었음) 드래그 입력이 계속되는 경우에도 사용자 입력에 응답하여 사용자 인터페이스 요소의 위치를 업데이트하는 드래그 입력들을 계속할 수 있다. 다른 예로서, 전자 디바이스(101a)는 사용자 인터페이스 요소가 주목 구역(907)을 벗어한 후에(예컨대, 사용자 인터페이스 요소가 주목 구역 안에 있었을 때 개시되었음) 스크롤링 입력이 계속되는 경우에도 사용자 입력에 응답하여 스크롤링 입력들을 계속할 수 있다. 도 9a에 도시된 바와 같이, 일부 실시예들에서, 준비 상태가 검출되었을 때 사용자 인터페이스 요소가 주목 구역 내에 있었다면 입력이 지향되는 사용자 인터페이스 요소가 입력의 일부분 동안 주목 구역 밖에 있더라도 입력들은 수용된다.
또한, 일부 실시예들에서, 사용자의 시선의 이동을 검출한 후에 임계 시간(예컨대, 0.5, 1, 2, 3, 5초 등) 동안 주목 구역(907)의 위치가 3차원 환경에서 각자의 위치를 유지한다. 예를 들어, 사용자의 시선(901a) 및 주목 구역(907)이 도 9a에 도시된 위치들에 있는 동안, 전자 디바이스(101a)는 사용자의 시선(901b)이 도 9b에 도시된 위치로 이동한 것을 검출한다. 이 예에서, 사용자의 시선(901b)이 도 9b에 도시된 위치로 이동하는 것에 응답하여 주목 구역(907)을 도 9b의 위치로 이동시키기 전에 임계 시간 동안 주목 구역(907)은 도 9a에 도시된 위치를 유지한다. 따라서, 일부 실시예들에서, 원래 주목 구역(예컨대, 도 9a 내의 주목 구역(907)) 내에 있는 사용자 인터페이스 요소들로 지향되는, 사용자의 시선이 이동한 후에 개시되는 입력들은 선택적으로 이러한 입력들이 사용자의 시선이 도 9b의 위치로 이동하는 것의 임계 시간(예컨대, 0.5, 1, 2, 3, 5초 등) 내에 개시되는 한 전자 디바이스(101a)에 의해 응답된다 ―일부 실시예들에서, 전자 디바이스(101a)는 사용자의 시선이 도 9b의 위치로 이동하는 임계 시간 후에 개시되는 이러한 입력들에 응답하지 않는다.
일부 실시예들에서, 전자 디바이스(101a)는 준비 상태가 검출된 후에 사용자가 자신의 손을 입력이 지향되는 사용자 인터페이스 요소로부터 멀리 이동하거나 또는 임계 시간(예컨대, 1, 2, 3, 5, 10초 등) 동안 추가적인 입력을 제공하지 않는 경우 사용자 입력을 취소한다. 예를 들어, 전자 디바이스(101a)가 도 9a에 도시된 바와 같이 준비 상태를 검출한 후에 사용자가 도 9c에 도시된 위치로 자신의 손(909)을 이동한다면, 전자 디바이스(101a)는 입력이 제1 선택가능 옵션(903)으로 지향되고 있음을 더 이상 나타내지 않도록, 그리고 옵션(903)으로 지향되는 손(909)으로부터 직접 입력들을 더 이상 수용하지 않도록 (예컨대, 준비 상태가 다시 검출되지 않는 한, 또는 준비 상태가 다시 검출될 때까지) 제1 선택가능 옵션(903)의 외관을 되돌릴 것이다.
도 9c에 도시된 바와 같이, 제1 선택가능 옵션(903)은 사용자의 주목 구역(907) 내에 있다. 사용자의 손(909)은 선택적으로 직접 준비 상태(예컨대, 가리키는 손 형상, 손 상태 D)에 대응하는 손 형상이다. 사용자의 손(909)이 제1 선택가능 옵션(903)으로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 50 센티미터 등)만큼 이동하고/하거나 제1 선택가능 옵션(903)으로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30, 50 센티미터 등)까지 이동했기 때문에, 전자 디바이스(101a)는 더 이상 입력들을 손(909)으로부터 제1 선택가능 옵션(903)으로 지향하도록 구성되지 않는다. 일부 실시예들에서, 사용자가 도 9a에 도시된 손(909)의 위치를 유지하더라도, 손이 도 9a에서와 같이 위치되고 형상을 갖는 임계 기간(예컨대, 1, 2, 3, 5, 10초 등) 내에 입력이 검출되지 않는 경우 전자 디바이스(101a)는 손으로부터의 추가적인 입력을 제1 사용자 인터페이스 요소(903)로 지향하는 것을 중단할 것이다. 마찬가지로, 일부 실시예들에서, 사용자가 (예컨대, 준비 상태 기준―예를 들어, 누르기 입력을 요소(903)에 제공하기 시작하지만, 아직 누르기/선택 입력을 완성하는데 요구되는 누르기 거리 임계치에 도달하지 않음―을 충족하는 것에 더해) 추가 입력을 제공하기 시작하고 이어서 손을 제1 선택가능 옵션(903)으로부터 임계 거리만큼 멀리 이동하고/하거나 손을 제1 선택가능 옵션(903)으로부터 임계 거리만큼 이동한다면, 전자 디바이스(101a)는 입력을 취소할 것이다. 도 9b를 참조하여 전술된 바와 같이, 전자 디바이스(101a)는 선택적으로 제1 선택가능 옵션(903)이 사용자의 주목 구역(907) 내에 있는 동안 입력이 시작된 경우 사용자의 시선(901b) 또는 사용자의 주목 구역(907)이 제1 선택가능 옵션(903)으로부터 멀리 이동하는 것을 검출하는 것에 응답하여 입력을 취소하지 않는 것이 이해되어야 한다.
도 9a 내지 도 9c는 사용자의 주목 구역(907)에 기초하여 사용자 인터페이스 요소들로 지향되는 직접 입력들을 수용할 지 여부를 결정하는 예들을 도시하지만, 전자 디바이스(101a)는 유사하게 사용자의 주목 구역(907)에 기초하여 사용자 인터페이스 요소들로 지향되는 간접 입력들을 수용할 지 여부를 결정할 수 있다는 것이 이해되어야 한다. 예를 들어, 도 9a 내지 도 9c를 참조하여 도시되고 설명된 다양한 결과들은 선택적으로 간접 입력들에도 (예컨대, 방법들(800, 1200, 1400, 1800 등)을 참조하여 설명된 바와 같이) 적용될 것이다. 일부 실시예들에서, 주목 구역은 직접 입력들을 수용하기 위해 필요하지 않지만, 간접 입력들의 경우에 필요하다.
도 10a 내지 도 10h는 일부 실시예들에 따른 사용자와 연관된 주목 구역에 기초하여 사용자 입력들을 프로세싱하는 방법(1000)을 도시하는 흐름도이다. 일부 실시예들에서, 본 방법(1000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1000)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
일부 실시예들에서, 방법(1000)은 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스(101a)에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예컨대, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 전송할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
도 9a에서와 같은 일부 실시예들에서, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트(120a)를 통해, 제1 사용자 인터페이스 요소(예컨대, 903, 905)를 디스플레이한다(1002a). 일부 실시예들에서, 제1 사용자 인터페이스 요소는 상호작용형 사용자 인터페이스 요소이고, 제1 사용자 인터페이스 요소를 향해 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소와 연관된 작동을 수행한다. 예를 들어, 제1 사용자 인터페이스 요소는, 선택되면, 전자 디바이스로 하여금 각자의 사용자 인터페이스를 디스플레이하거나, 전자 디바이스의 설정을 변경하거나, 또는 콘텐츠의 재생을 개시하는 것과 같은, 작동을 수행하게 하는 선택가능 옵션이다. 다른 예로서, 제1 사용자 인터페이스 요소는 사용자 인터페이스/콘텐츠가 디스플레이되는 컨테이너(예컨대, 윈도우)이고, 제1 사용자 인터페이스 요소의 선택에 이동 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 이동 입력에 따라 제1 사용자 인터페이스 요소의 위치를 업데이트한다. 일부 실시예들에서, 사용자 인터페이스 및/또는 사용자 인터페이스 요소는 디바이스에 의해 볼 수 있도록 생성되거나, 디스플레이되거나, 또는 다른 방식으로 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경) 내에서 디스플레이된다(예컨대, 사용자 인터페이스가 3차원 환경이고/이거나 3차원 환경 내에서 디스플레이됨).
도 9b에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 909)를 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 제1 사용자 인터페이스 요소(예컨대, 909)로 지향된 제1 입력을 검출한다(1002b). 일부 실시예들에서, 제1 사용자 입력을 검출하는 것은, 손 추적 디바이스를 통해, 사용자가 사전결정된 제스처(예컨대, 사용자가 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)에 터치하는 핀치 제스처)를 수행하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 입력을 검출하는 것은 사용자가 하나 이상의 손가락들이 펼쳐지고 하나 이상의 손가락들이 사용자의 손바닥을 향해 구부러지는 가리키는 제스처를 수행하고 누르거나 또는 미는 모션에서 자신의 손을 사용자의 몸통으로부터 멀리 사전결정된 거리(예컨대, 2, 5, 10 센티미터 등)만큼 이동하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 3차원 환경에서 사용자의 손이 제1 사용자 인터페이스 요소의 임계 거리(예컨대, 1, 2, 3, 5, 10 센티미터 등) 내에 있는 동안 가리키는 제스처 및 미는 모션이 검출된다. 일부 실시예들에서, 3차원 환경은 가상 객체들 및 사용자의 표현을 포함한다. 일부 실시예들에서, 3차원 환경은 사용자의 손들의 표현을 포함하는데, 이는 손들의 실사 표현, 사용자의 손들의 패스 스루 비디오, 또는 디스플레이 생성 컴포넌트의 투명 부분을 통한 사용자의 손들의 뷰일 수 있다. 일부 실시예들에서, 입력은 방법들(800, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같은, 사용자 인터페이스 요소와의 직접 또는 간접 상호작용이다.
일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되는 제1 입력을 검출하는 것에 응답하여(1002c), 도 9a에서와 같이, (예컨대, 제1 입력이 검출되었을 때) 제1 사용자 인터페이스 요소(예컨대, 903)가 전자 디바이스(101a)의 사용자와 연관된 주목 구역(예컨대, 907) 내에 있다는 결정에 따라, 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 제1 동작을 수행한다(1002d). 일부 실시예들에서, 주목 구역은 사용자의 시선이 지향되는 3차원 환경에서의 위치의 사전결정된 임계 거리(예컨대, 5, 10, 30, 50, 100센티미터 등) 및/또는 임계 각도(예컨대, 5, 10, 15, 20, 30, 45도 등) 내의 3차원 환경의 영역을 포함한다. 일부 실시예들에서, 주목 구역은 사용자의 시선이 지향되는 3차원 환경에서의 위치와 사용자의 하나 이상의 신체적 특징부들(예컨대, 사용자의 손, 팔, 어깨, 몸통 등) 사이의 3차원 환경의 영역을 포함한다. 일부 실시예들에서, 주목 구역은 3차원 환경의 3차원 영역이다. 예를 들어, 주목 구역은 원뿔-형상이며, 원뿔의 끝은 사용자의 눈/시점에 대응하고 원뿔의 밑면은 사용자의 시선이 지향되는 3차원 환경의 영역에 대응한다. 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소를 향해 지향되는 동안 및/또는 제1 사용자 인터페이스 요소가 주목 구역의 원뿔형 볼륨 내에 포함될 때 제1 사용자 인터페이스 요소는 사용자와 연관된 주목 구역 내에 있다. 일부 실시예들에서, 제1 동작은 선택을 실행, 전자 디바이스의 설정을 활성화, 3차원 환경 내의 가상 객체를 이동하기 위한 프로세스를 개시, 현재 디스플레이되지 않는 새로운 사용자 인터페이스를 디스플레이, 콘텐츠의 아이템을 재생, 파일을 저장, 다른 사용자와의 통신을 개시(예컨대, 전화 통화, 이-메일, 메시지), 및/또는 사용자 인터페이스를 스크롤하는 것 중 하나이다. 일부 실시예들에서, 제1 입력은 사용자의 사전정의된 부분의 포즈 및/또는 이동을 검출함으로써 검출된다. 예를 들어, 전자 디바이스는 사용자가, 자신의 손/손가락을 손의 검지 손가락은 가리키고 다른 손가락들은 손 안으로 구부러지는 것에 대응하는 포즈를 한 채로, 3차원 환경 내의 제1 사용자 인터페이스 요소의 임계 거리(예컨대, 0.1, 0.3, 0.5, 1, 3, 5 센티미터 등) 내의 위치로 자신의 손가락을 이동하는 것을 검출한다.
도 9a에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 905)로 지향되는 제1 입력을 검출하는 것에 응답하여(1002c), (예컨대, 제1 입력이 검출되었을 때) 제1 사용자 인터페이스 요소(예컨대, 905)가 사용자와 연관된 주목 구역 내에 있지 않다는 결정에 따라, 전자 디바이스(101a)는 제1 동작을 수행하는 것을 보류한다(1002e). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소 이외의 사용자 인터페이스 요소로 지향되는 경우 및/또는 제1 사용자 인터페이스 요소가 주목 구역의 원뿔형 볼륨 내에 들지 않는 경우 제1 사용자 인터페이스 요소는 사용자와 연관된 주목 구역 내에 있지 않다.
제1 사용자 인터페이스 요소가 사용자와 연관된 주목 구역 내에 있는지 여부에 따라 제1 동작을 수행 또는 수행하지 않는 전술한 방식은 우발적인 사용자 입력들을 감소시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되는 제1 입력은 제1 사용자 인터페이스 요소(예컨대, 도 9c의 903)로 지향되는 간접 입력이다(1004a). 일부 실시예들에서, 간접 입력은 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소로부터 임계 거리(예컨대, 0.2, 1, 2, 3, 5, 10, 30, 50 센티미터 등)를 초과하는 동안 사용자의 사전정의된 부분(예컨대, 사용자의 손, 손가락, 팔 등)에 의해 제공되는 입력이다. 일부 실시예들에서, 간접 입력은 방법들(800, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 논의된 간접 입력들과 유사하다.
도 9b에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 905)를 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하는데(1004b), 제2 입력은 각자의 사용자 인터페이스 요소(예컨대, 903)를 향해 지향되는 직접 입력에 대응한다. 일부 실시예들에서, 직접 입력은 방법들(800, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 논의된 직접 입력들과 유사하다. 일부 실시예들에서, 직접 입력은 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소로부터 임계 거리(예컨대, 0.2, 1, 2, 3, 5, 10, 30, 50 센티미터 등) 미만인 동안 사용자의 사전정의된 부분(예컨대, 손, 손가락, 팔)에 의해 제공된다. 일부 실시예들에서, 직접 입력을 검출하는 것은 손의 준비 상태(예컨대, 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손바닥을 향해 구부러지는 가리키는 손 형상)를 검출한 후에 사용자가 자신의 손으로 사전정의된 제스처(예컨대, 다른 손가락들이 손의 손바닥을 향해 구부러져 있는 동안 사용자가 펴진 손가락을 각자의 사용자 인터페이스 요소의 위치로 이동하는 누르기 제스처)를 수행하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 준비 상태는 방법(800)의 하나 이상의 단계들에 따라 검출된다.
도 9b에서와 같은 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 전자 디바이스(101a)는 각자의 사용자 인터페이스 요소가 사용자와 연관된 주목 구역(예컨대, 907) 내에 있는지 여부에 상관없이(예컨대, 그것은 직접 입력이기 때문임) 각자의 사용자 인터페이스 요소(예컨대, 903)와 연관된 동작을 수행한다(1004c). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소를 향해 지향되는 동안 간접 입력이 검출되는 경우, 전자 디바이스는 단지 간접 입력에 응답하여 제1 사용자 인터페이스 요소와 연관된 동작을 수행한다. 일부 실시예들에서, 전자 디바이스는 직접 입력이 검출될 때 사용자의 시선이 사용자 인터페이스 요소로 지향되는지 여부에 상관없이 직접 입력에 응답하여 사용자의 주목 구역 내에서 사용자 인터페이스 요소와 연관된 동작을 수행한다.
사용자의 시선이 제1 사용자 인터페이스 요소로 지향되지 않는 동안 간접 입력을 검출하는 것에 응답하여 제2 동작을 수행하는 것을 보류하는 전술한 방식은 사용자가 원하지 않은 동작들의 수행을 감소 또는 방지하는 방식을 제공하고, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9b에서와 같은 일부 실시예들에서, 사용자와 연관된 주목 구역(예컨대, 907)은 전자 디바이스의 사용자의 시선(예컨대, 901b)의 방향(및/또는 위치)에 기초한다(1006a). 일부 실시예들에서, 주목 구역은 사용자의 시선의 사전결정된 임계 각도(예컨대, 5, 10, 15, 20, 30, 45도 등) 내의, 사용자가 보고 있는 3차원 환경 내의 지점 및 사용자가 보고 있는 지점과 사용자 사이의 3차원 환경 내의 위치들을 포함하는 원뿔-형상 체적(예컨대, 사용자의 시점의 지점으로부터 나와서 3차원 환경으로 연장됨)으로서 정의된다. 일부 실시예들에서, 사용자의 시선에 기초하는 것에 더하여 또는 대안적으로, 주목 구역은 사용자의 머리의 배향에 기초한다. 예를 들어, 주목 구역은 사용자의 얼굴에 수직한 선의 사전결정된 임계 각도(예컨대, 5, 10, 15, 20, 30, 45도 등) 내의 3차원 환경에서의 위치들을 포함하는 원뿔-형상 체적으로 정의된다. 다른 예로서, 주목 구역은 사용자의 시선으로부터 연장되는 선 및 사용자의 얼굴에 수직한 선의 평균을 중심으로 하는 원뿔 또는 사용자의 시선을 중심으로 하는 원뿔 및 사용자의 얼굴에 수직한 선을 중심으로 하는 원뿔의 합집합이다.
주목 구역을 사용자의 시선의 배향에 기초하는 전술한 방식은 (예컨대, 커서를 이동하는 것과 같은 입력 초점을 이동하기 위해) 추가 입력들 없이 시선에 기초하여 사용자 입력들을 지향시키는 효율적인 방식을 제공하며 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 903)가 사용자와 연관된 주목 구역(예컨대, 907) 내에 있는 동안, 도 9a에서와 같은, 전자 디바이스(101a)는 주목 구역(예컨대, 903)을 제1 사용자 인터페이스 요소(예컨대, 903)가 주목 구역 내에 있지 않는 위치로 이동하기 위한 하나 이상의 기준이 충족되는 것을 검출한다(1008a). 일부 실시예들에서, 주목 구역은 사용자의 시선에 기초하고, 하나 이상의 기준은 사용자의 시선이 새로운 위치로 이동하여 제1 사용자 인터페이스 요소가 더 이상 주목 구역에 있지 않을 때 충족된다. 예를 들어, 주목 구역은 사용자의 시선을 따르는 선의 10도 내에 사용자 인터페이스의 영역들을 포함하고, 사용자의 시선은 제1 사용자 인터페이스 요소가 사용자의 시선의 선으로부터 10도를 초과하게 하는 위치로 이동한다.
도 9b에서와 같은 일부 실시예들에서, 하나 이상의 기준이 충족되는 것을 검출한 후에(1008b), 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되는 제2 입력을 검출한다(1008c). 일부 실시예들에서, 제2 입력은 사용자의 손이 제1 사용자 인터페이스 요소의 임계 거리(예컨대, 0.2, 1, 2, 3, 5, 10, 30, 50 센티미터 등) 내에 있는 직접 입력이다.
일부 실시예들에서, 하나 이상의 기준이 충족되는 것을 검출한 후에(1008b), 도 9b에서와 같이, 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되는 제2 입력을 검출하는 것에 응답하여(1008d), 충족되는 하나 이상의 기준의 각자의 시간 임계치(예컨대, 0.01, 0.02, 0.05, 0.1, 0.2, 0.3, 0.5, 1 초 등) 내에 제2 입력이 검출되었다는 결정에 따라, 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 제2 동작을 수행한다(1008e). 일부 실시예들에서, 사용자의 주목 구역은 하나 이상의 기준이 충족된 후 시간 임계치(예컨대, 0.01, 0.02, 0.05, 0.1, 0.2, 0.3, 0.5, 1 초 등)가 경과할 때까지 이동하지 않는다.
일부 실시예들에서, 하나 이상의 기준이 충족되는 것을 검출한 후에(1008b), 도 9b에서와 같이, 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되는 제2 입력을 검출하는 것에 응답하여(1008d), 충족되는 하나 이상의 기준의 각자의 시간 임계치(예컨대, 0.01, 0.02, 0.05, 0.1, 0.2, 0.3, 0.5, 1 초 등) 후에 제2 입력이 검출되었다는 결정에 따라, 전자 디바이스(101a)는 제2 동작을 수행하는 것을 보류한다(1008f). 일부 실시예들에서, 주목 구역을 이동하기 위한 하나 이상의 기준이 충족된 이후로 시간 임계치(예컨대, 0.01, 0.02, 0.05, 0.1, 0.2, 0.3, 0.5, 1 초 등)가 경과하면, 전자 디바이스는 사용자와 연관된 주목 구역의 위치를 (예컨대, 사용자의 새로운 시선 위치에 기초하여) 업데이트한다. 일부 실시예들에서, 전자 디바이스는 시간 임계치에 걸쳐 점진적으로 주목 구역을 이동하고, 사용자의 시선 이동을 검출한 후에 시간 지연을 갖거나 또는 시간 지연 없이 이동을 개시한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소가 사용자의 주목 구역 내에 있지 않은 동안 검출되는 입력에 응답하여 제2 동작을 수행하는 것을 보류한다.
주목 구역을 이동하기 위한 충족되는 하나 이상의 기준의 시간 임계치 내에 수신되는 제2 입력에 응답하여 제2 입력에 응답하여 제2 동작을 수행하는 전술한 방식은 사용자가 입력의 지속기간 동안 자신의 시선을 유지하도록 요구하지 않는 사용자 입력들을 수용하고 사전결정된 시간 임계치가 경과하면 주목 구역이 이동한 후에 사용자 인터페이스 요소의 활성화를 방지함으로써 우발적인 입력들을 회피하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a 및 도 9b에서와 같은 일부 실시예들에서, 제1 입력은 제1 부분에 제2 부분이 후속되는 것을 포함한다(1010a). 일부 실시예들에서, 입력의 제1 부분을 검출하는 것은 방법(800)을 참조하여 설명된 바와 같이 사용자의 사전정의된 부분의 준비 상태를 검출하는 것을 포함한다. 일부 실시예들에서, 입력의 제1 부분에 응답하여, 전자 디바이스는 입력 초점을 각자의 사용자 인터페이스 요소로 이동한다. 예를 들어, 전자 디바이스는 입력 초점이 각자의 사용자 인터페이스 요소로 지향되는 것을 나타내기 위해 각자의 사용자 인터페이스 요소의 외관을 업데이트한다. 일부 실시예들에서, 입력의 제2 부분은 선택 입력이다. 예를 들어, 입력의 제1 부분은 사전정의된 손 형상(예컨대, 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손바닥을 향해 구부러지는 가리키는 손 형상)을 만드는 동안 각자의 사용자 인터페이스 요소의 제1 임계 거리(예컨대, 3, 5, 10, 15 센티미터 등) 내에서 사용자의 손을 검출하는 것을 포함하고, 가리키는 손 형상을 유지하는 동안 입력의 제2 부분은 각자의 사용자 인터페이스 요소의 제2, 더 낮은 임계 거리(예컨대, 접촉, 0.1, 0.3, 0.5, 1, 2 센티미터 등) 내에서 사용자의 손을 검출하는 것을 포함한다.
도 9a에서와 같은 일부 실시예들에서, 제1 입력을 검출하는 동안(1010b), 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 903)가 주목 구역(예컨대, 907) 내에 있는 동안 제1 입력의 제1 부분을 검출한다(1010c).
도 9a에서와 같은 일부 실시예들에서, 제1 입력을 검출하는 동안(1010b), 제1 입력의 제1 부분을 검출하는 것에 응답하여, 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 제1 동작의 제1 부분을 수행한다(1010d). 일부 실시예들에서, 제1 동작의 제1 부분은 전자 디바이스의 입력 초점을 갖는 것으로 제1 사용자 인터페이스 요소를 식별하는 것 및/또는 입력 초점이 제1 사용자 인터페이스 요소로 지향되는 것을 나타내기 위해 제1 사용자 인터페이스 요소의 외관을 업데이트하는 것을 포함한다. 예를 들어, 사용자가 제1 사용자 인터페이스 요소의 임계 거리(예컨대, 1, 2, 3, 5, 10 센티미터 등) 내에서 예비-핀치 손 형상을 만드는 것을 검출하는 것에 응답하여, 전자 디바이스는 입력 초점이 제1 사용자 인터페이스 요소로 지향됨을 나타내도록 제1 사용자 인터페이스 요소의 색상을 변경한다(예컨대, 사용자 인터페이스 요소 위의 커서 "호버링"과 유사함). 일부 실시예들에서, 입력의 제1 부분은 사용자 인터페이스 내의 스크롤가능 콘텐츠의 선택 및 사용자의 사전정의된 부분의 이동의 제1 부분을 포함한다. 일부 실시예들에서, 사용자의 사전정의된 부분의 이동의 제1 부분에 응답하여, 전자 디바이스는 스크롤가능 콘텐츠를 제1 양만큼 스크롤한다.
도 9b에서와 같은 일부 실시예들에서, 제1 입력을 검출하는 동안(1010b), 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 903)가 주목 구역 밖에 있는 동안 제1 입력의 제2 부분을 검출한다(1010e). 일부 실시예들에서, 제1 입력의 제1 부분을 검출한 후에 그리고 제2 입력의 제2 부분을 검출하기 전에, 전자 디바이스는 주목 구역이 더 이상 제1 사용자 인터페이스 요소를 포함하지 않는 것을 검출한다. 예를 들어, 전자 디바이스는 제1 사용자 인터페이스 요소가 사용자의 주목 구역의 거리 또는 각도 임계치 밖에 있도록 사용자 인터페이스의 일부분으로 지향되는 사용자의 시선을 검출한다. 예를 들어, 전자 디바이스는 주목 구역이 제1 사용자 인터페이스 요소를 포함하지 않는 동안 사용자가 제1 사용자 인터페이스 요소의 임계 거리(예컨대, 1, 2, 3, 5, 10 센티미터 등) 내에서 핀치 손 형상을 만드는 것을 검출한다. 일부 실시예들에서, 제1 입력의 제2 부분은 사용자의 사전정의된 부분의 이동의 연속을 포함한다. 일부 실시예들에서, 사용자의 사전정의된 부분의 이동의 연속에 응답하여, 전자 디바이스는 스크롤가능 콘텐츠를 계속해서 스크롤한다. 일부 실시예들에서, 제1 입력의 제2 부분은 입력의 제1 부분을 검출한 이후로 임계 시간(예컨대, 전술된 바와 같이 작동을 야기하기 위한 입력에 대해 준비 상태가 검출된 후에 입력이 검출되어야 하는 임계 시간)이 경과한 후에 검출된다.
도 9b에서와 같은 일부 실시예들에서, 제1 입력을 검출하는 동안(1010b), 제1 입력의 제2 부분을 검출하는 것에 응답하여, 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 제1 동작의 제2 부분을 수행한다(1010f). 일부 실시예들에서, 제1 동작의 제2 부분은 제1 사용자 인터페이스 요소의 선택을 검출하는 것에 응답하여 수행되는 동작이다. 예를 들어, 제1 사용자 인터페이스 요소가 콘텐츠의 아이템의 재생을 개시하기 위한 옵션인 경우, 전자 디바이스는 제1 동작의 제2 부분을 검출하는 것에 응답하여 콘텐츠의 아이템의 재생을 개시한다. 일부 실시예들에서, 전자 디바이스는 입력의 제1 부분을 검출한 이후로 임계 시간임계 시간(예컨대, 전술된 바와 같이 작동을 야기하기 위한 입력에 대해 준비 상태가 검출된 후에 입력이 검출되어야 하는 임계 시간) 후에 제1 입력의 제2 부분을 검출하는 것에 응답하여 동작을 수행한다.
제1 사용자 인터페이스 요소가 주목 구역 밖에 있는 동안 입력의 제2 부분을 검출하는 것에 응답하여 제1 사용자 인터페이스 요소에 대응하는 제1 동작의 제2 부분을 수행하는 전술한 방식은 입력이 완료되기 전에 주목 구역이 제1 사용자 인터페이스 요소로부터 멀리 이동하는 경우에도 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 시작된 입력들에 응답하여 동작들을 수행하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a 및 도 9b에서와 같은 일부 실시예들에서, 제1 입력은 누르기 입력에 대응하고, 제1 입력의 제1 부분은 누르기 입력의 개시에 대응하고, 제1 입력의 제2 부분은 누르기 입력의 연속에 대응한다(1012a). 일부 실시예들에서, 누르기 입력을 검출하는 것은 사용자가 자신의 손으로 사전결정된 형상(예컨대, 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손바닥을 향해 구부러지는 가리키는 형상)을 만드는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 누르기 입력의 개시를 검출하는 것은 손 또는 손의 일부분(예컨대, 펴진 손가락들 중 하나의 끝)이 제1 사용자 인터페이스 요소의 제1 임계 거리(예컨대, 3, 5, 10, 15, 30 센티미터 등) 내에 있는 동안 사용자가 자신의 손으로 사전결정된 형상을 만드는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 누르기 입력의 연속을 검출하는 것은 손 또는 손의 일부분(예컨대, 펴진 손가락들 중 하나의 끝)이 제1 사용자 인터페이스 요소의 제2 임계 거리(예컨대, 0.1, 0.5, 1, 2 센티미터 등) 내에 있는 동안 사용자가 자신의 손으로 사전결정된 형상을 만드는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안의 누르기 입력의 개시에 누르기 입력의 연속이 후속되는 것을 검출하는 것에 응답하여 (제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 또는 있지 않은 동안) 제1 사용자 인터페이스 요소에 대응하는 제2 동작을 수행한다. 일부 실시예들에서, 누르기 입력의 제1 부분에 응답하여, 전자 디바이스는 누르기 입력에 따라 작동을 야기하는 데 필요한 최대량 미만으로 사용자로부터 멀리 사용자 인터페이스 요소를 민다. 일부 실시예들에서, 누르기 입력의 제2 부분에 응답하여, 전자 디바이스는 작동을 야기하는 데 필요한 최대량까지 사용자 인터페이스 요소를 계속해서 밀고, 이에 응답하여, 누르기 입력에 따라 작동을 수행한다.
제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안의 누르기 입력의 모방에 누르기 입력의 연속이 후속되는 것을 검출하는 것에 응답하여 제2 동작을 수행하는 전술한 방식은 추가적인 입력 디바이스들 없이 손 추적 디바이스(및 선택적으로 눈 추적 디바이스)로 사용자 입력들을 검출하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 입력은 드래그 입력에 대응하고, 제1 입력의 제1 부분은 드래그 입력의 개시에 대응하고, 제1 입력의 제2 부분은 드래그 입력의 연속에 대응한다(1014a). 예를 들어, 도 9b에서 사용자 인터페이스 요소(903)를 선택하는 동안 사용자가 손(909)을 이동한다면, 입력은 드래그 입력일 것이다. 일부 실시예들에서, 드래그 입력은 사용자 인터페이스 요소의 선택, 이동 입력, 및 드래그 입력의 종료 (예컨대, 선택 입력의 해제, 마우스를 클릭해제하거나 또는 터치 센서 패널(예컨대, 트랙패드, 터치 스크린)에서 손가락을 떼는 것과 유사함)를 포함한다. 일부 실시예들에서, 드래그 입력의 개시는 드래그 입력이 지향될 사용자 인터페이스 요소의 선택을 포함한다. 예를 들어, 전자 디바이스는 손이 사용자 인터페이스 요소의 임계 거리(예컨대, 1, 2, 5, 10, 15, 30 센티미터 등) 내에 있는 동안 사용자가 핀치 손 형상을 만드는 것을 검출하는 것에 응답하여 사용자 인터페이스 요소를 선택한다. 일부 실시예들에서, 드래그 입력의 연속은 선택이 유지되는 동안의 이동 입력을 포함한다. 예를 들어, 전자 디바이스는 사용자가 손을 이동하는 동안 핀치 손 형상을 유지하는 것을 검출하고 사용자 인터페이스 요소를 손의 이동에 따라 이동한다. 일부 실시예들에서, 드래그 입력의 연속은 드래그 입력의 종료를 포함한다. 예를 들어, 전자 디바이스는 사용자가, 예컨대, 엄지 손가락을 손가락으로부터 멀리 이동함으로써, 핀치 손 형상을 만드는 것을 중단하는 것을 검출한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 제1 사용자 인터페이스 요소의 선택을 검출하는 것 및 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 또는 있지 않은 동안 이동 입력 및/또는 드래그 입력의 종료를 검출하는 것에 응답하여 드래그 입력(예컨대, 제1 사용자 인터페이스 요소를 이동, 제1 사용자 인터페이스 요소를 스크롤 등)에 응답하여 동작을 수행한다. 일부 실시예들에서, 입력의 제1 부분은 사용자 인터페이스 요소의 선택 및 사용자의 사전정의된 부분의 이동의 일부분을 포함한다. 일부 실시예들에서, 입력의 제1 부분에 응답하여, 전자 디바이스는 입력의 제1 부분에서 전자 디바이스의 사전정의된 부분의 이동량에 따르는 제1 양만큼 사용자 인터페이스 요소를 이동한다. 일부 실시예들에서, 입력의 제2 부분은 사용자의 사전정의된 부분의 연속된 이동을 포함한다. 일부 실시예들에서, 입력의 제2 부분에 응답하여, 전자 디바이스는 사용자 입력의 제2 부분에서 사용자의 사전정의된 부분의 이동에 따르는 양만큼 사용자 인터페이스 요소를 계속해서 이동한다.
제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 드래그 입력의 개시를 검출하는 것 및 제1 사용자 인터페이스 요소가 주목 구역 내에 있지 않은 동안 드래그 입력의 연속을 검출하는 것에 응답하여 동작을 수행하는 전술한 방식은 드래그 입력이 완료되기 전에 주목 구역이 제1 사용자 인터페이스 요소로부터 멀리 이동하는 경우에도 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 시작한 드래그 입력들에 응답하여 동작들을 수행하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a 및 도 9b에서와 같은 일부 실시예들에서, 제1 입력은 선택 입력에 대응하고, 제1 입력의 제1 부분은 선택 입력의 개시에 대응하고, 제1 입력의 제2 부분은 선택 입력의 연속에 대응한다(1016a). 일부 실시예들에서, 선택 입력은 입력 초점이 제1 사용자 인터페이스 요소로 지향되고 있는 것을 검출하는 것, 제1 사용자 인터페이스 요소를 선택하기 위한 요청의 개시를 검출하는 것, 및 제1 사용자 인터페이스 요소를 선택하기 위한 요청의 종료를 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소로 지향되는 방법(800)에 따른 준비 상태의 사용자의 손을 검출하는 것에 응답하여 입력 초점을 제1 사용자 인터페이스 요소로 지향시킨다. 일부 실시예들에서, 입력 초점을 제1 사용자 인터페이스 요소로 지향시키기 위한 요청은 커서 호버링과 유사하다. 예를 들어, 전자 디바이스는 손이 제1 사용자 인터페이스 요소의 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30 센티미터 등) 내에 있는 동안 사용자가 가리키는 손 형상을 만드는 것을 검출한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소를 선택하기 위한 요청의 개시는 마우스의 클릭 또는 터치 센서 패널 상의 터치다운과 유사한 선택 입력을 검출하는 것을 포함한다. 예를 들어, 전자 디바이스는 손이 제1 사용자 인터페이스 요소의 제2 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1 센티미터 등) 내에 있는 동안 사용자가 가리키는 손 형상을 유지하는 것을 검출한다. 일부 실시예들에서, 사용자 인터페이스 요소를 선택하기 위한 요청의 종료는 마우스를 클릭해제하거나 또는 터치 센서 패널로부터 떼는 것과 유사하다. 예를 들어, 전자 디바이스는 사용자가 자신의 손을 제1 사용자 인터페이스 요소로부터 멀리 적어도 제2 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1 센티미터 등)만큼 이동하는 것을 검출한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 입력 초점이 제1 사용자 인터페이스 요소로 지향되는 것을 검출하는 것 및 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 또는 있지 않은 동안 제1 사용자 인터페이스 요소를 선택하기 위한 요청의 개시 및 종료를 검출하는 것에 응답하여 선택 동작을 수행한다.
제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 선택 입력의 연속이 검출되는지 여부에 상관없이 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 선택 입력의 모방을 검출하는 것에 응답하여 동작을 수행하는 전술한 방식은 선택 입력이 완료되기 전에 주목 구역이 제1 사용자 인터페이스 요소로부터 멀리 이동하는 경우에도 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 시작된 선택 입력들에 응답하여 동작들을 수행하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a에서와 같은 일부 실시예들에서, 제1 입력의 제1 부분을 검출하는 것은, 사용자의 사전정의된 부분(예컨대, 909)의 이동을 검출하지 않고, 각자의 포즈(예컨대, 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손바닥을 향해 구부러지는 가리키는 손 형상을 포함하는 손 형상, 예컨대, 방법(800)을 참조하여 설명된 준비 상태)를 갖고 그리고 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치의 각자의 거리(예컨대, 1, 2, 3, 5, 10, 15, 30 센티미터 등) 내에 있는 사용자의 사전정의된 부분(예컨대, 909)을 검출하는 것을 포함하고, 제1 입력의 제2 부분을 검출하는 것은 도 9b에서와 같은 사용자의 사전정의된 부분(예컨대, 909)의 이동을 검출하는 것을 포함한다(1018a). 일부 실시예들에서, 각자의 포즈를 갖고 제1 사용자 인터페이스 요소의 각자의 거리 내에 있는 사용자의 사전정의된 부분을 검출하는 것은 방법(800)의 하나 이상의 단계들에 따른 준비 상태를 검출하는 것을 포함한다. 일부 실시예들에서, 사용자의 사전정의된 부분의 이동은 각자의 포즈에서 사용자 인터페이스 요소의 선택과 연관된 제2 포즈로의 이동 및/또는 각자의 거리에서 사용자 인터페이스 요소의 선택과 연관된 제2 거리로의 이동을 포함한다. 예를 들어, 제1 사용자 인터페이스 요소의 각자의 거리 내에서 가리키는 손 형상을 만드는 것은 제1 입력의 제1 부분이고, 제1 사용자 인터페이스 요소로부터 (예컨대, 0.1, 0.2, 0.3, 0.5, 1 센티미터 등 내의) 제2 거리로 손을 이동하는 동안 가리키는 손 형상을 유지하는 것은 제1 입력의 제2 부분이다. 다른 예로서, 손의 엄지 손가락이 손 상의 다른 손가락의 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3 센티미터 등) 내에 있는 예비-핀치 손 형상을 만드는 것은 제1 입력의 제1 부분이고, 예비 핀치 형상에서 엄지 손가락이 다른 손가락을 터치하는 핀치 형상으로의 손의 이동을 검출하는 것은 제1 입력의 제2 부분이다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소를 드래그 또는 스크롤하기 위한 요청에 대응하는 손의 이동과 같은, 입력의 제2 부분에 후속하는 손의 추가적인 이동을 검출한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소가 사용자와 연관된 주목 구역 내에 있는 동안 제1 사용자 인터페이스 요소의 각자의 거리 내에 있는 동안 각자의 포즈를 갖는 사용자의 사전정의된 부분을 검출하는 것에 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 또는 있지 않은 동안 사용자의 사전정의된 부분의 이동을 검출하는 것이 후속되는 것에 응답하여 동작을 수행한다.
제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 제1 사용자 인터페이스 요소의 각자의 거리 내에서 사용자의 사전정의된 부분의 각자의 포즈를 검출하는 것에 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 또는 있지 않은 동안 사용자의 사전정의된 부분의 이동을 검출하는 것이 후속되는 것에 응답하여 동작을 수행하는 전술한 방식은 입력이 완료되기 전에 주목 구역이 제1 사용자 인터페이스 요소로부터 멀리 이동하는 경우에도 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안 시작된 입력들에 응답하여 동작들을 수행하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9b에서와 같은 일부 실시예들에서, 제1 입력은 사용자의 사전정의된 부분(예컨대, 909)(예컨대, 사용자의 손가락, 손, 팔, 또는 머리)에 의해 제공되고, 제1 입력을 검출하는 것은 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치의 거리 임계치(예컨대, 1, 2, 3, 5, 10, 15, 30 센티미터 등) 내에서 사용자의 사전정의된 부분(예컨대, 909)을 검출하는 것을 포함한다(1020a).
도 9c에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되는 제1 입력을 검출하는 동안 그리고 제1 동작을 수행하기 전에, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치로부터 거리 임계치를 초과하는 거리까지 사용자의 사전정의된 부분(예컨대, 909)의 이동을 검출한다(1020b).
도 9c에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치로부터 거리 임계치를 초과하는 거리까지 사전정의된 부분(예컨대, 909)의 이동을 검출하는 것에 응답하여, 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 제1 동작을 수행하는 것을 보류한다(1020c). 일부 실시예들에서, 사용자가 제1 사용자 인터페이스 요소로 지향되는 입력을 제공하기 시작하고 이어서 입력을 완료하기 전에 사용자 인터페이스 요소에 대응하는 위치로부터 멀리 임계 거리를 초과하여 사용자의 사전정의된 부분을 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소로 지향되는 입력에 대응하는 제1 동작을 수행하는 것을 보류한다. 일부 실시예들에서, 전자 디바이스는 사용자가 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소에 대응하는 위치의 거리 임계치 내에 있었던 동안 제1 입력 전체를 수행하지 않고 제1 입력의 하나 이상의 부분들을 수행한 경우에도 사용자가 제1 사용자 인터페이스 요소에 대응하는 위치로부터 멀리 적어도 거리 임계치만큼 사용자의 사전정의된 부분을 이동하는 것에 응답하여 제1 동작을 수행하는 것을 보류한다. 예를 들어, 선택 입력은 사용자가 예비-핀치 손 형상(예컨대, 엄지 손가락이 임계치(예컨대, 0.1, 0.2, 0.5, 1, 2, 3 센티미터 등) 내에 있는 손 형상)을 한 다음, 핀치 손 형상(예컨대, 엄지 손가락이 손가락을 터치함)을 한 다음, 핀치 손 형상의 종료(예컨대, 엄지 손가락이 더 이상 손가락을 터치하지 않고, 엄지 손가락은 손가락으로부터 적어도 0.1, 0.2, 0.5, 1, 2, 3 센티미터 등에 있음) 하는 것을 검출하는 것을 포함한다. 이 예에서, 전자 디바이스는 예비-핀치 손 형상 및/또는 핀치 손 형상이 검출되었을 때 손이 임계 거리 내에 있던 경우에도 손이 제1 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30 센티미터 등)를 초과하는 동안 핀치 제스처의 종료가 검출되는 경우 제1 동작을 수행하는 것을 보류한다.
거리 임계치를 초과하는 거리까지 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여 제1 동작을 수행하는 것을 보류하는 전술한 방식은 제1 입력의 일부가 제공된 후에 제1 동작을 취소하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a에서와 같은 일부 실시예들에서, 제1 입력은 사용자의 사전정의된 부분(예컨대, 909)(예컨대, 사용자의 손가락, 손, 팔, 또는 머리)에 의해 제공되고, 제1 입력을 검출하는 것은 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치에 대한 각자의 공간적 관계에서 사용자의 사전정의된 부분(예컨대, 909)을 검출하는 것을 포함한다(1022a)(예컨대, 사용자 인터페이스 요소에 대한 사전결정된 배향 또는 포즈를 이용하여, 제1 사용자 인터페이스 요소의 사전결정된 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30 센티미터 등) 내의 사용자의 사전정의된 부분을 검출함). 일부 실시예들에서, 제1 사용자 인터페이스에 대응하는 위치에 대한 각자의 공간적 관계는 방법(800)의 하나 이상의 단계들에 따라 사용자가 준비 상태인 것의 일부분이다.
일부 실시예들에서, 제1 입력 동안 그리고 제1 동작을 수행하기 전에, 도 9a에서와 같이, 사용자의 사전정의된 부분(예컨대, 909)이 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치에 대한 각자의 공간적 관계에 있는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 사전정의된 부분(예컨대, 909)이 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치에 대한 각자의 공간적 관계를 갖는 각자의 시간 임계치(예컨대, 1, 2, 3, 5초 등) 내에 제1 사용자 인터페이스 요소(예컨대, 903)와 결속(예컨대, 제1 사용자 인터페이스 요소를 향해 지향되는 추가 입력이 제공)되지 않았음을 검출한다(1022b). 일부 실시예들에서, 전자 디바이스는 시간 임계치 내에 추가적인 입력을 검출하지 않고 방법(800)의 하나 이상의 단계들에 따라 사용자의 사전정의된 부분의 준비 상태를 검출한다. 예를 들어, 전자 디바이스는 사전결정된 기간 내에 핀치 손 형상(예컨대, 엄지 손가락 및 손가락이 터치함)을 검출하지 않고 손이 제1 사용자 인터페이스 요소의 사전결정된 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30 센티미터 등) 내에 있는 동안 예비-핀치 손 형상(예컨대, 엄지 손가락이 엄지 손가락의 손 상의 다른 손가락의 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3 등) 내에 있음)의 사용자의 손을 검출한다.
일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 909)이 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치에 대한 각자의 공간적 관계를 갖게 되는 각자의 시간 임계치 내에 제1 사용자 인터페이스 요소(예컨대, 903)와 결속하지 않았음을 검출하는 것에 응답하여, 전자 디바이스(101a)는 도 9c에서와 같이, 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 제1 동작을 수행하는 것을 보류한다(1022c). 일부 실시예들에서, 각자의 시간 임계치가 경과한 후에 제1 사용자 인터페이스 요소와 결속된 사용자의 사전정의된 부분을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소에 대응하는 제1 동작을 수행하는 것을 보류한다. 예를 들어, 핀치 손 형상(예컨대, 엄지 손가락 및 손가락이 터치함)을 검출하기 전에 손이 제1 사용자 인터페이스 요소의 사전결정된 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30 센티미터 등) 내에 있는 동안 예비-핀치 손 형상(예컨대, 엄지 손가락이 엄지 손가락의 손 상의 다른 손가락의 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3 등) 내에 있음)의 사용자의 손을 검출하는 사이에 사전결정된 시간 임계치가 경과하는 것을 검출하는 것에 응답하여, 전자 디바이스는 사전결정된 임계 시간이 경과한 후에 핀치 손 형상이 검출되는 경우에도 제1 동작을 수행하는 것을 보류한다. 일부 실시예들에서, 사용자 인터페이스 요소에 대응하는 위치에 대한 각자의 공간적 관계에서 사용자의 사전정의된 부분을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 요소의 외관을 업데이트한다(예컨대, 사용자 인터페이스 요소의 색상, 크기, 반투명성, 위치 등을 업데이트함). 일부 실시예들에서, 사용자의 사전정의된 부분으로부터 추가적인 입력을 검출하지 않고 각자의 시간 임계치 후에, 전자 디바이스는 사용자 인터페이스 요소의 업데이트된 외관을 되돌린다.
사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소와 결속되지 않은 채로 임계 시간이 경과한 것을 검출하는 것에 응답하여 제1 동작을 보류하는 전술한 방식은 제1 동작을 수행하기 위한 요청을 취소하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되는 동안(예컨대, 도 9a의 시선(901a)이 사용자 인터페이스 요소(903)로 지향되었던 것과 같음) 제1 입력의 제1 부분이 검출되고, 사용자의 시선(예컨대, 901b)이 도 9b에서와 같이 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되지 않는 동안 제1 입력의 제1 부분에 후속하는 제1 입력의 제2 부분이 검출된다(1024a). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되는 동안의 제1 입력의 제1 부분에 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되지 않는 동안의 제1 입력의 제2 부분이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소와 연관된 작동을 수행한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소가 주목 구역 내에 있는 동안의 제1 입력의 제1 부분에 제1 사용자 인터페이스 요소가 주목 구역 내에 있지 않은 동안의 제1 입력의 제2 부분이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소와 연관된 작동을 수행한다.
사용자의 시선이 제1 사용자 인터페이스 요소를 향해 지향되는 동안 제1 입력의 제1 부분을 검출하는 것에 사용자의 시선이 제1 사용자 인터페이스 요소를 향해 지향되지 않는 동안 제1 입력의 제2 부분을 검출하는 것이 후속되는 것에 응답하여 동작을 수행하는 전술한 방식은 사용자가 제1 입력을 취소하지 않고 제1 사용자 인터페이스 요소로부터 멀리 볼 수 있게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9b에서와 같은 일부 실시예들에서, 제1 입력은 사용자의 사전정의된 부분(예컨대, 909)(예컨대, 손가락, 손, 팔 등)이 제1 사용자 인터페이스 요소(예컨대, 903)에 대한 각도들의 사전정의된 범위 내로부터 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치로 이동하는 것에 의해 제공된다(1026a)(예컨대, 제1 사용자 인터페이스 객체는 여러 각도들로부터 액세스가능한 3차원 가상 객체이다). 예를 들어, 제1 사용자 인터페이스 객체는 콘텐츠가 제시되는 면을 포함하는 가상 비디오 플레이어이고, 제1 사용자 인터페이스 객체의 임의의 다른 면을 터치하기 전에 콘텐츠가 제시되는 제1 사용자 인터페이스 객체의 면을 터치함으로써 사용자의 손을 제1 사용자 인터페이스 객체로 이동함으로써 제1 입력이 제공된다.
일부 실시예들에서, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되는 제2 입력을 검출하고(1026b), 제2 입력은 도 9b의 손(예컨대, 909)이 도 9b에서 볼 수 있는 사용자 인터페이스 요소(예컨대, 903)의 면의 반대편에 있는 사용자 인터페이스 요소(예컨대, 903)의 면으로부터 사용자 인터페이스 요소(예컨대, 903)로 접근하는 경우와 같이, 사용자의 사전정의된 부분(예컨대, 909)이 제1 사용자 인터페이스 요소(예컨대, 903)에 대한 각도들의 사전정의된 범위의 밖으로부터 제1 사용자 인터페이스 요소(예컨대, 903)에 대응하는 위치로 이동하는 것을 포함한다. 예를 들어, 전자 디바이스는 사용자의 손이 콘텐츠가 제시되는 면 이외의 가상 비디오 플레이어의 면을 터치하는 것을 검출한다(예컨대, 가상 비디오 플레이어의 "후면"을 터치함).
일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 전자 디바이스(101a)는 제2 입력에 따라 제1 사용자 인터페이스 요소(예컨대, 903)와 상호작용하는 것을 보류한다(1026c). 예를 들어, 도 9b의 손(예컨대, 909)이 도 9b에서 볼 수 있는 사용자 인터페이스 요소(예컨대, 903)의 면의 반대편에 있는 사용자 인터페이스 요소(예컨대, 903)의 면으로부터 사용자 인터페이스 요소(예컨대, 903)에 접근하는 경우, 전자 디바이스(101a)는 도 9b에 도시된 사용자 인터페이스 요소의 선택(예컨대, 903)을 수행하는 것을 보류할 것이다. 일부 실시예들에서, 사용자의 사전정의된 부분이 각도들의 사전정의된 범위 내로부터 제1 사용자 인터페이스 요소에 대응하는 위치로 이동한 경우, 전자 디바이스는 제1 사용자 인터페이스 요소와 상호작용할 것이다. 예를 들어, 사용자의 손이 콘텐츠가 제시되는 면 이외의 가상 비디오 플레이어의 면을 통해 손을 이동함으로써 콘텐츠가 제시되는 가상 비디오 플레이어의 면을 터치하는 것을 검출하는 것에 응답하여, 전자 디바이스는 콘텐츠가 제시되는 가상 비디오 플레이어의 면 상에서 사용자에 의해 터치되는 비디오 플레이어의 영역에 대응하는 작동을 수행하는 것을 보류한다.
각도들의 사전정의된 범위 밖에서 제공되는 입력에 응답하여 제1 사용자 인터페이스 요소와 상호작용하는 것을 보류하는 전술한 방식은 사용자가 실수로 각도들의 사전정의된 범위를 벗어난 각도로부터 제1 사용자 인터페이스 요소를 터치하는 것에 의해 야기되는 우발적인 입력들을 방지하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a에서와 같은 일부 실시예들에서, 제1 동작은 사용자의 시선(예컨대, 901a)이 제1 사용자 인터페이스 요소(예컨대, 903)로 지향되는 것을 검출하지 않고 제1 입력을 검출하는 것에 응답하여 수행된다(1028a). 일부 실시예들에서, 주목 구역은 사용자의 시선이 지향되는 3차원 환경의 영역 및 사용자의 시선의 사전정의된 거리 또는 각도 내의 3차원 환경의 추가 영역들을 포함한다. 일부 실시예들에서, 전자 디바이스는 사용자의 시선이 제1 사용자 인터페이스 요소를 향해 지향되지 않는 경우에도 그리고 사용자 입력 동안 사용자의 시선이 결코 제1 사용자 인터페이스 요소를 향해 지향되었던 적이 없는 경우에도 제1 사용자 인터페이스 요소가 (사용자의 시선보다 넓은) 주목 구역 내에 있는 동안 제1 사용자 인터페이스 요소로 지향되는 입력에 응답하여 작동을 수행한다. 일부 실시예들에서, 간접 입력들은 사용자의 시선이 입력이 지향되는 사용자 인터페이스 요소로 지향되어야 하지만, 직접 입력들은 사용자의 시선이 입력이 지향되는 사용자 인터페이스 요소로 지향될 필요는 없다.
사용자의 시선이 제1 사용자 인터페이스 요소로 지향되지 않는 동안 제1 사용자 인터페이스 요소로 지향되는 입력에 응답하여 작동을 수행하는 전술한 방식은 제1 사용자 인터페이스 요소로 지향되는 입력을 제공하는 동안 사용자가 제1 사용자 인터페이스 요소 이외의 사용자 인터페이스의 영역들을 보게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11a 내지 도 11c는 일부 실시예들에 따른 3차원 환경에서 전자 디바이스가 사용자의 시선에 대해 상이한 거리 및/또는 각도에 있는 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법의 예들을 도시한다.
도 11a는 전자 디바이스(101)가, 디스플레이 생성 컴포넌트(120)를 통해, 사용자 인터페이스 상에서 3차원 환경(1101)을 디스플레이하는 것을 도시한다. 일부 실시예들에서, 전자 디바이스(101)는 본 발명의 범주를 벗어나지 않으면서 2차원 환경 또는 사용자 인터페이스에서 도 11a 내지 도 11c를 참조하여 설명된 하나 이상의 기술들을 활용하는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(120)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 11a에 도시된 바와 같이, 3차원 환경(1101)은 전자 디바이스(101)의 사용자와 연관된 3차원 환경(1101)의 시점으로부터 제1 거리인 3차원 환경(1101)의 영역 내에 위치된 2개의 사용자 인터페이스 객체들(1103a, 1103b), 전자 디바이스(101)의 사용자와 연관된 3차원 환경(1101)의 시점으로부터 제1 거리보다 큰 제2 거리인 3차원 환경(1101)의 영역 내에 위치된 2개의 사용자 인터페이스 객체들(1105a, 1105b), 전자 디바이스(101)의 사용자와 연관된 3차원 환경(1101)의 시점으로부터 제2 거리보다 큰 제3 거리인 3차원 환경(1101)의 영역 내에 위치된 2개의 사용자 인터페이스 객체들(1107a, 1107b), 및 사용자 인터페이스 객체(1109)를 포함한다. 일부 실시예들에서, 3차원 환경은 전자 디바이스(101)의 물리적 환경에서의 테이블의 표현(604)을 포함한다(예컨대, 도 6b를 참조하여 설명된 바와 같음). 일부 실시예들에서, 테이블의 표현(604)은 디스플레이 생성 컴포넌트(120)(예컨대, 비디오 또는 디지털 패스스루)에 의해 디스플레이되는 테이블의 실사 비디오 이미지이다. 일부 실시예들에서, 테이블의 표현(604)은 디스플레이 생성 컴포넌트(120)의 투명 부분을 통한 테이블의 뷰이다(예컨대, 트루 또는 피지컬 패스스루).
도 11a 내지 도 11c는 3차원 환경 내의 사용자의 시선의 동시 또는 교번 위치들에 기초하여 사용자의 손에 의해 제공되는 동시 또는 교번 입력들을 도시한다. 특히, 일부 실시예들에서, 전자 디바이스(101)는 사용자와 연관된 3차원 환경의 시점으로부터 사용자 인터페이스 객체들의 거리에 기초하여 간접 입력들(예컨대, 방법(800)을 참조하여 설명된 바와 같음)을 전자 디바이스(101)의 사용자의 손들로부터 상이한 사용자 인터페이스 객체들로 지향시킨다. 예를 들어, 일부 실시예들에서, 사용자의 손으로부터의 간접 입력들이 3차원 환경(1101) 내의 사용자의 시점에 상대적으로 가까운 사용자 인터페이스 객체들로 지향되면, 전자 디바이스(101)는 선택적으로 검출된 간접 입력들을 사용자의 시선이 지향되는 사용자 인터페이스 객체로 지향시키는데, 그 이유는 상대적으로 가까운 거리들에서, 디바이스(101)는 선택적으로 두(또는 그 초과) 사용자 인터페이스 객체들 중 어느 것으로 사용자의 시선이 지향되는지 상대적으로 정확하게 결정할 수 있고, 이는 선택적으로 간접 입력이 지향되어야 하는 사용자 인터페이스 객체를 결정하는 데 사용된다.
도 11a에서, 사용자 인터페이스 객체들(1103a, 1103b)은 3차원 환경(1101) 내의 사용자의 시점에 상대적으로 가깝다(예컨대, 1, 2, 5, 10, 20, 50 피트와 같은, 제1 임계 거리 미만)(예컨대, 객체들(1103a, 1103b)은 사용자의 시점에 상대적으로 가까운 3차원 환경(1101)의 영역 내에 위치됨). 따라서, 디바이스(101)에 의해 검출되는 손(1113a)에 의해 제공되는 간접 입력은 도면에서 체크 마크에 의해 표시되는 바와 같이 사용자 인터페이스 객체(1103a)로 지향되는데(예컨대, 사용자 인터페이스 객체(1103b) 아님), 그 이유는 손(1113a)에 의해 제공되는 간접 입력이 검출될 때 사용자의 시선(1111a)이 사용자 인터페이스 객체(1103a)로 지향되기 때문이다. 대조적으로, 도 11b에서, 손(1113a)에 의해 제공되는 간접 입력이 검출될 때 사용자의 시선(1111d)은 사용자 인터페이스 객체(1103b)로 지향된다. 따라서, 디바이스(101)는 도면에서 체크 마크에 의해 표시되는 바와 같이 손(1113a)으로부터 사용자 인터페이스 객체(1103b)로 간접 입력을 지향시킨다 (예컨대, 사용자 인터페이스 객체(1103a) 아님).
일부 실시예들에서, 하나 이상의 사용자 인터페이스 객체들이 3차원 환경(1101) 내의 사용자의 시점으로부터 상대적으로 멀리 있으면, 디바이스(101)는 선택적으로 간접 입력들이 이러한 하나 이상의 사용자 인터페이스 객체들로 지향되는 것을 방지 및/또는 이러한 하나 이상의 사용자 인터페이스 객체들을 시각적으로 덜 강조하는데, 그 이유는 상대적으로 먼 거리들에서, 디바이스(101)는 선택적으로 사용자의 시선이 하나 이상의 사용자 인터페이스 객체들로 지향되는지 여부를 상대적으로 정확하게 결정할 수 없기 때문이다. 예를 들어, 도 11a에서, 사용자 인터페이스 객체들(1107a, 1107b)은 3차원 환경(1101) 내의 사용자의 시점으로부터 상대적으로 멀리 (예컨대, 10, 20, 30, 50, 100, 200 피트와 같은, 제2 임계 거리를 초과, 제1 임계 거리를 초과) 있다(예컨대, 객체들(1107a, 1107b)은 사용자의 시점으로부터 상대적으로 멀리 있는 3차원 환경(1101)의 영역 내에 있음). 따라서, 사용자의 시선(1111c)이 (예컨대, 표면적으로) 사용자 인터페이스 객체(1107b)(또는 1107a)로 지향되는 동안 디바이스(101)에 의해 검출되는 손(1113c)에 의해 제공되는 간접 입력은 디바이스(101)에 의해 무시되고, 도면에 도시된 체크 마크 없는 것으로 반영된 바와 같이, 사용자 인터페이스 객체(1107b)(또는 1107a)로 지향되지 않는다. 일부 실시예들에서, 디바이스(101)는 추가적으로 또는 대안적으로 사용자 인터페이스 객체들(1107a, 1107b)이 간접 상호작용에 이용가능하지 않음을 나타내기 위해 사용자 인터페이스 객체들(1107a, 1107b)을 시각적으로 덜 강조한다(예컨대, 탈색).
일부 실시예들에서, 하나 이상의 사용자 인터페이스 객체들이 전자 디바이스(101)의 사용자의 시선으로부터의 임계 각도보다 크면, 디바이스(101)는 예를 들어, 이러한 각도를 벗어난(off-angle) 하나 이상의 사용자 인터페이스 객체들과의 우발적인 상호작용을 방지하기 위해 선택적으로 간접 입력들이 이러한 하나 이상의 사용자 인터페이스 객체들로 지향되는 것을 방지하고/하거나, 이러한 하나 이상의 사용자 인터페이스 객체들을 시각적으로 덜 강조한다. 예를 들어, 도 11a에서, 사용자 인터페이스 객체(1109)는 선택적으로 사용자의 시선들(1111a, 1111b 및/또는 1111c)로부터 임계 각도(예컨대, 10, 20, 30, 45, 90, 120 도 등)보다 크다. 따라서, 디바이스(101)는 선택적으로 사용자 인터페이스 객체(1109)가 간접 상호작용에 이용가능하지 않음을 나타내기 위해 사용자 인터페이스 객체(1109)를 시각적으로 덜 강조한다(예컨대, 탈색).
그러나, 일부 실시예들에서, 사용자의 손으로부터의 간접 입력들이 3차원 환경(1101) 내의 사용자의 시점으로부터 적당히 거리를 둔 사용자 인터페이스 객체들로 지향될 때, 전자 디바이스(101)는 사용자의 시선 이외의 기준에 기초하여 선택적으로 검출된 간접 입력들을 사용자 인터페이스 객체로 지향시키는데, 그 이유는 적당한 거리에서, 디바이스(101)는 사용자의 시선이 둘 이상의 사용자 인터페이스 객체들의 집합으로 지향된다고 상대적으로 정확하게 선택적으로 결정할 수 있지만, 시선이 둘 이상의 사용자 인터페이스 객체들의 집합 중 어느 것으로 지향되는지 상대적으로 정확하게 선택적으로 결정할 수 없다. 일부 실시예들에서, 사용자의 시선이 다른 사용자 인터페이스 객체들과 함께 위치되지 않는 적당히 거리를 둔 (예컨대, 임의의 다른 상호작용가능한 사용자 인터페이스 객체들로부터 임계 거리, 예컨대 1, 2, 5, 10, 20 피트를 초과하는) 사용자 인터페이스 객체로 지향되는 경우, 디바이스(101)는 본 명세서에서 그리고 방법(1200)을 참조하여 설명된 다양한 명확화 기술들을 수행하지 않고 간접 입력들을 그 사용자 인터페이스 객체로 선택적으로 지향시킨다. 또한, 일부 실시예들에서, 전자 디바이스(101)는 사용자의 시선에 의해 한정되는 3차원 환경 내의 영역(예컨대, 체적 및/또는 표면 또는 평면)(예컨대, 사용자의 시선은 그 체적 및/또는 표면 또는 평면을 한정함) 내에 위치된 사용자 인터페이스 객체들에 대해 본 명세서에 그리고 방법(1200)을 참조하여 설명되는 다양한 명확화 기술들을 수행하지만, 영역 내에 위치되지 않은 사용자 인터페이스 객체들에 대해 (예컨대, 사용자의 시점으로부터 그것들의 거리에 상관없이) 수행하지 않는다. 일부 실시예들에서, 영역의 크기는 3차원 환경 내의(예컨대, 3차원 환경의 적당히 거리를 둔 영역 내의) 사용자의 시점으로부터 그것이 포함하는 영역 및/또는 사용자 인터페이스 객체들의 거리에 기초하여 달라진다. 예를 들어, 일부 실시예들에서, 영역의 크기는 영역이 시점으로부터 더 멀어짐에 따라 감소되고(영역이 시점에 더 가까워짐에 따라 증가함), 일부 실시예들에서, 영역의 크기는 영역이 시점으로부터 더 멀어짐에 따라 증가한다(영역이 시점에 더 가까워짐에 따라 감소함).
도 11a에서, 사용자 인터페이스 객체들(1105a, 1105b)은 3차원 환경(1101) 내의 사용자의 시점으로부터 적당히 거리를 둔다(예컨대, 제1 임계 거리 초과, 제2 임계 거리 미만)(예컨대, 객체들(1105a, 1105b)은 사용자의 시점으로부터 적당히 거리를 둔 3차원 환경(1101)의 영역 내에 위치됨). 도 11a에서, 디바이스(101)가 손(1113b)으로부터 간접 입력을 검출할 때 시선(1111b)이 사용자 인터페이스 객체(1105a)로 지향된다(는 것을, 예컨대, 디바이스(101)는 검출한다). 사용자 인터페이스 객체들(1105a, 1105b)은 사용자의 시점으로부터 적당히 거리를 두기 때문에, 디바이스(101)는 사용자의 시선(1111b) 이외의 특성에 기초하여 사용자 인터페이스 객체(1105a, 1105b) 중 어느 것이 입력을 수신할 지 결정한다. 예를 들어, 도 11a에서, 3차원 환경(1101)에서 사용자 인터페이스 객체(1105b)는 사용자의 시점에 더 가깝기 때문에, 디바이스(101)는 도면에서 체크 마크에 의해 표시되는 바와 같이 입력을 손(1113b)으로부터 사용자 인터페이스 객체(1105b)로 지향시킨다(예컨대, 그리고 사용자의 시선(1111b)이 지향되는 사용자 인터페이스 객체(1105a)로 지향시키지 않음). 도 11b에서, 손(1113b)으로부터의 입력이 검출될 때 사용자의 시선(1111e)은 (도 11a의 사용자 인터페이스 객체(1105a)보다는) 사용자 인터페이스 객체(1105b)로 지향되고, 디바이스(101)는 여전히 도면에서 체크 마크에 의해 표시된 바와 같이 손(1113b)으로부터 사용자 인터페이스 객체(1105b)로 간접 입력을 지향시키는데, 그 이유는 선택적으로 사용자의 시선(1111e)이 사용자 인터페이스 객체(1105b)로 지향되기 때문이 아니라, 사용자 인터페이스 객체(1105b)가 사용자 인터페이스 객체(1105a)보다 3차원 환경 내의 사용자의 시점에 가깝기 때문이다.
일부 실시예들에서, 거리에 추가적인 또는 대안적인 기준은 (예컨대, 이러한 사용자 인터페이스 객체들이 사용자의 시점으로부터 적당히 거리를 둘 때) 간접 입력들을 어느 사용자 인터페이스 객체로 지향시킬지 결정하는 데 사용된다. 예를 들어, 일부 실시예들에서, 디바이스(101)는 사용자 인터페이스 객체들 중 어느 것이 애플리케이션 사용자 인터페이스 객체 또는 시스템 사용자 인터페이스 객체인지에 기초하여 사용자 인터페이스 객체들 중 하나로 간접 입력을 지향시킨다. 예를 들어, 일부 실시예들에서, 디바이스(101)는 시스템 사용자 인터페이스 객체들을 선호하여, 체크 마크에 의해 표시된 바와 같이 도 11c의 손(1113b)으로부터 사용자 인터페이스 객체(1105c)로 간접 입력을 지향시키는데, 그 이유는 그것이 시스템 사용자 인터페이스 객체이고 (사용자의 시선(1111f)이 지향되는) 사용자 인터페이스 객체(1105d)는 애플리케이션 사용자 인터페이스 객체이기 때문이다. 일부 실시예들에서, 디바이스(101)는 애플리케이션 사용자 인터페이스 객체들을 선호하여, 도 11c의 손(1113b)으로부터 사용자 인터페이스 객체(1105d)로 간접 입력을 지향시키는데, 그 이유는 그것이 애플리케이션 사용자 인터페이스 객체이고 사용자 인터페이스 객체(1105c)는 시스템 사용자 인터페이스 객체이기 때문이다(예컨대, 사용자의 시선(1111f)이 사용자 인터페이스 객체(1105d)로 지향되기 때문이 아니다). 추가적으로 또는 대안적으로, 일부 실시예들에서, 사용자 인터페이스 객체들과 연관된 소프트웨어, 애플리케이션(들) 및/또는 운영 체제는 선택 우선순위가 하나의 사용자 인터페이스 객체에 다른 사용자 인터페이스 객체보다 높은 우선순위를 부여하는 경우, 디바이스(101)는 그 하나의 사용자 인터페이스 객체(예컨대, 사용자 인터페이스 객체(1105c))로 입력을 지향시키고, 선택 우선순위가 다른 사용자 인터페이스 객체에 그 하나의 사용자 인터페이스 객체보다 높은 우선순위를 부여하는 경우, 디바이스(101)는 다른 사용자 인터페이스 객체(예컨대, 사용자 인터페이스 객체(1105d))로 입력을 지향시키도록 사용자 인터페이스 객체들에 대한 선택 우선순위를 정의한다.
도 12a 내지 도 12f는 일부 실시예들에 따른 3차원 환경에서 사용자의 시선에 대해 상이한 거리 및/또는 각도에 있는 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법(1200)을 도시하는 흐름도이다. 일부 실시예들에서, 본 방법(1200)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1200)은 비일시적 컴퓨터-판독가능 저장 매체에 저장되고, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예컨대, 도 1a의 제어 유닛(110))과 같은, 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되는 명령어들에 의해 통제된다. 방법(1200)에서의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서는, 선택적으로, 변경된다.
일부 실시예들에서, 방법(1200)은 디스플레이 생성 컴포넌트 및, 눈 추적 디바이스를 포함하는 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에 의해 수행된다. 예를 들어, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예컨대, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 전송할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
일부 실시예들에서, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체, 예컨대, 도 11a의 객체들(1105a, 1105b)을 포함하는 제1 영역을 포함하는 사용자 인터페이스를 디스플레이한다(1202a). 일부 실시예들에서, 제1 및/또는 제2 사용자 인터페이스 객체들은 상호작용형 사용자 인터페이스 객체들이고, 주어진 객체를 향해 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 객체와 연관된 작동을 수행한다. 예를 들어, 사용자 인터페이스 객체는, 선택되면, 전자 디바이스로 하여금 각자의 사용자 인터페이스를 디스플레이하거나, 전자 디바이스의 설정을 변경하거나, 또는 콘텐츠의 재생을 개시하는 것과 같은, 작동을 수행하게 하는 선택가능 옵션이다. 다른 예로서, 사용자 인터페이스 객체는 사용자 인터페이스/콘텐츠가 디스플레이되는 컨테이너(예컨대, 윈도우)이고, 사용자 인터페이스 객체의 선택에 이동 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 이동 입력에 따라 사용자 인터페이스 객체의 위치를 업데이트한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체는 디바이스에 의해 볼 수 있도록 생성되거나, 디스플레이되거나, 또는 다른 방식으로 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경) 내에서 디스플레이된다(예컨대, 사용자 인터페이스가 3차원 환경이고/이거나 3차원 환경 내에서 디스플레이됨). 일부 실시예들에서, 제1 영역, 및 그에 따른 제1 및 제2 사용자 인터페이스 객체들은 3차원 환경 내의 사용자/전자 디바이스의 위치에 대응하는 위치로부터, 및/또는 3차원 환경 내의 사용자의 시점으로부터 멀리 (예컨대, 2, 5, 10, 15, 20 피트의 임계 거리를 초과하여 멀리) 떨어져 있다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안 그리고, 눈 추적 디바이스를 통해, 사용자 인터페이스의 제1 영역으로 지향되는 도 11a의 시선(1111b)과 같은 사용자의 시선을 검출하는 동안(예컨대, 사용자의 시선이 제1 영역과 교차하고, 제1 사용자 인터페이스 객체 및/또는 제2 사용자 인터페이스 객체, 또는 사용자의 시선은 제1 영역, 제1 사용자 인터페이스 객체 및/또는 제2 사용자 인터페이스 객체와 교차하는 1, 2, 5, 10 피트와 같은 임계 거리 내에 있다. 일부 실시예들에서, 제1 영역, 제1 사용자 인터페이스 객체 및/또는 제2 사용자 인터페이스 객체는 전자 디바이스가 제1 또는 제2 사용자 인터페이스 객체들 중 어느 것으로 사용자의 시선이 지향되는지 결정할 수 없고/없거나 단지 사용자의 시선이 사용자 인터페이스의 제1 영역으로 지향된다고 결정할 수 있을 정도로 사용자/전자 디바이스의 위치로부터 충분히 멀리 있다), 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 사용자의 사전정의된 부분에 의해 제공되는 각자의 입력, 예컨대, 도 11a의 손(1113b)으로부터의 입력(예컨대, 사용자의 손의 검지 손가락 또는 집게손가락이 가리키고/가리키거나, 선택적으로 임계 이동을 초과하는 이동(예컨대, 0.5, 1, 3, 5, 10 cm) 및/또는 임계 속도를 초과하는 속도(예컨대, 0.5, 1, 3, 5, 10 cm/s)로 제1 영역을 향해 이동하거나, 또는 손의 엄지 손가락이 손의 다른 손가락과 함께 핀칭되는 것과 같은, 손가락에 의해 수행되는 제스처)을 검출한다(1202b). 일부 실시예들에서, 각자의 입력 동안, 사용자의 사전정의된 부분의 위치는 사용자 인터페이스의 제1 영역에 대응하는 위치로부터 멀리 있다(예컨대, 사용자의 사전정의된 부분은 각자의 입력에 걸쳐 제1 영역, 제1 사용자 인터페이스 객체 및/또는 제2 사용자 인터페이스 객체로부터 2, 5, 10, 15, 20 피트의 임계 거리를 초과하여 멀리 유지된다. 각자의 입력은 선택적으로 방법들(800, 1000, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이 사용자의 사전정의된 부분에 의해 제공되는 입력 및/또는 사용자 인터페이스 객체와의 상호작용이다).
일부 실시예들에서, 각자의 입력을 검출하는 것에 응답하여(1202c), 하나 이상의 제1 기준이 충족된다는 결정에 따라(예컨대, 제1 사용자 인터페이스 객체가 제2 사용자 인터페이스 객체보다 3차원 환경 내의 사용자의 시점에 가깝고, 제1 사용자 인터페이스 객체는 시스템 사용자 인터페이스 객체(예컨대, 전자 디바이스 상의 애플리케이션의 사용자 인터페이스 객체보다는, 전자 디바이스의 운영 체제의 사용자 인터페이스 객체)이고, 제2 사용자 인터페이스 객체는 애플리케이션 사용자 인터페이스 객체(예컨대, 전자 디바이스의 운영 체제의 사용자 인터페이스 객체보다는, 전자 디바이스 상의 애플리케이션의 사용자 인터페이스 객체) 등이다. 일부 실시예들에서, 하나 이상의 제1 기준은 사용자의 시선(예컨대, 하나 이상의 제1 기준이 사용자의 시선이 사용자 인터페이스의 제1 영역 내의 무엇으로 지향되는지에 독립적으로 충족되는지 여부)에 기초하여 충족되지 않음), 전자 디바이스는 각자의 입력에 기초하는 제1 사용자 인터페이스 객체에 대해, 예컨대, 도 11a의 사용자 인터페이스 객체(1105b)에 대해 동작을 수행한다(1202d)(예컨대, 제2 사용자 인터페이스 객체에 대해 각자의 입력에 기초하여 동작을 수행하지 않음). 예를 들어, 추가적인 상호작용을 위해 제1 사용자 인터페이스 객체를 선택하는 것(예컨대, 추가적인 상호작용을 위해 제2 사용자 인터페이스 객체를 선택하지 않음), 추가적인 입력이 제1 사용자 인터페이스 객체와 상호작용하도록 제1 사용자 인터페이스 객체를 선택된 상태로 전환하는 것(예컨대, 제2 사용자 인터페이스 객체를 선택된 상태로 전환하지 않음)), 버튼으로서, 제1 사용자 인터페이스 객체를 선택하는 것(예컨대, 버튼으로서, 제2 사용자 인터페이스 객체를 선택하지 않음) 등.
일부 실시예들에서, 제1 기준과는 상이한 하나 이상의 제2 기준이 충족된다는 결정에 따라(예컨대, 제2 사용자 인터페이스 객체가 제1 사용자 인터페이스 객체보다 3차원 환경 내의 사용자의 시점에 가깝고, 제2 사용자 인터페이스 객체는 시스템 사용자 인터페이스 객체(예컨대, 전자 디바이스 상의 애플리케이션의 사용자 인터페이스 객체보다는, 전자 디바이스의 운영 체제의 사용자 인터페이스 객체)이고 제1 사용자 인터페이스 객체는 애플리케이션 사용자 인터페이스 객체(예컨대, 전자 디바이스의 운영 체제의 사용자 인터페이스 객체보다는, 전자 디바이스 상의 애플리케이션의 사용자 인터페이스 객체) 등이다. 일부 실시예들에서, 하나 이상의 제2 기준은 사용자의 시선(예컨대, 하나 이상의 제2 기준이 사용자의 시선이 사용자 인터페이스의 제1 영역 내의 무엇으로 지향되는지에 독립적으로 충족되는지 여부)에 기초하여 충족되지 않음), 전자 디바이스는 각자의 입력에 기초하는 제2 사용자 인터페이스 객체에 대해, 예컨대, 도 11c의 사용자 인터페이스 객체(1105c)에 대해 동작을 수행한다(1202e)(예컨대, 제1 사용자 인터페이스 객체에 대해 각자의 입력에 기초하여 동작을 수행하지 않음). 예를 들어, 추가적인 상호작용을 위해 제2 사용자 인터페이스 객체를 선택하는 것(예컨대, 추가적인 상호작용을 위해 제1 사용자 인터페이스 객체를 선택하지 않음), 추가적인 입력이 제2 사용자 인터페이스 객체와 상호작용하도록 제2 사용자 인터페이스 객체를 선택된 상태로 전환하는 것(예컨대, 제1 사용자 인터페이스 객체를 선택된 상태로 전환하지 않음)), 버튼으로서, 제2 사용자 인터페이스 객체를 선택하는 것(예컨대, 버튼으로서, 제1 사용자 인터페이스 객체를 선택하지 않음) 등. 특정 입력이 어느 사용자 인터페이스 객체로 지향되는지 명확하게 하는 전술한 방식은 주어진 입력이 어느 사용자 인터페이스 객체로 지향되는지에 대해 불확실성이 존재할 수 있을 때, 주어진 사용자 인터페이스 객체를 주어진 입력의 타겟으로 지정하기 위해 추가적인 사용자 입력을 필요로 하지 않으면서, 사용자 인터페이스 객체들과의 상호작용을 용이하게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 추가적인 지정을 위해 추가적인 사용자 입력을 요구하지 않음으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스는 3차원 환경, 예컨대, 환경(1101)을 포함하고(1204a)(예컨대, 제1 영역은 전자 디바이스와 연관된 3차원 환경의 시점이 위치하는 3차원 환경 내의 일부 x, y, z 좌표에 위치된 각자의 체적 및/또는 표면이다. 일부 실시예들에서, 제1 및 제2 사용자 인터페이스 객체들은 각자의 체적 및/또는 표면 내에 위치된다), 제1 영역은 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 각자의 거리이다(1204b)(예컨대, 제1 영역은 3차원 환경 내의 시점의 위치에 대한 일부 거리, 각도, 위치 등인 3차원 환경 내의 위치에 있다). 일부 실시예들에서, 각자의 거리가 제1 거리(예컨대, 1 피트, 2 피트, 5 피트, 10 피트, 50 피트)라는 결정에 따라, 제1 영역은 3차원 환경 내에서 제1 크기를 갖고(1204c), 각자의 거리가 제1 거리와는 상이한 제2 거리(예컨대, 10 피트, 20 피트, 50 피트, 100 피트, 500 피트)라는 결정에 따라, 제1 영역은 3차원 환경 내에서 제1 크기와는 상이한 제2 크기를 갖는다(1204d). 예를 들어, 전자 디바이스가 하나 이상의 제1 또는 제2 기준에 기초하여 (예컨대, 사용자의 시선이 제1 또는 제2 사용자 인터페이스 객체들로 지향되는 것에는 기초하지 않음) 영역 내의 제1 및 제2 사용자 인터페이스 객체들에 대해 동작들을 개시하는 영역의 크기는 전자 디바이스와 연관된 시점으로부터 영역의 거리에 기초하여 변경된다. 일부 실시예들에서, 관심 영역이 시점으로부터 멀어짐에 따라 영역의 크기는 감소하고, 일부 실시예들에서, 관심 영역이 시점으로부터 멀어짐에 따라 영역의 크기는 증가한다. 예를 들어, 도 11a에서, 객체들(1105a, 1105)이 사용자의 시점으로부터 도 11a에서 도시된 것보다 멀리 있는 경우, 객체들(1105a, 1105b)을 포함하고 본 명세서에 설명된 기준-기반 명확화가 수행되는 영역은 상이할 것이고(예컨대, 더 큼), 객체들(1105a, 1105)이 사용자의 시점에 도 11a에서 도시된 것보다 가까운 경우, 객체들(1105a, 1105b)을 포함하고 본 명세서에 설명된 기준-기반 명확화가 수행되는 영역은 상이할 것이다(예컨대, 더 작음). 전자 디바이스와 연관된 시점으로부터 영역의 거리에 따라 상이한 크기의 영역들에 대해 동작하는 전술한 방식은 입력의 잠재적 불확실성에 대한 디바이스의 동작이 입력의 잠재적 불확실성에 정확하게 대응하여, 관심 영역의 크기를 수동으로 변경하기 위해 추가적인 사용자 입력이 필요 없도록 보장하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하고, 디바이스의 오류적 동작을 감소시킨다.
일부 실시예들에서, 도 11a 내지 도 11c를 참조하여 설명된 바와 같이, 3차원 환경 내의 제1 영역의 크기는 각자의 거리가 증가함에 따라 증가한다(1206a). 예를 들어, 관심 영역이 전자 디바이스와 연관된 시점으로부터 더 멀어짐에 따라, 전자 디바이스가 하나 이상의 제1 또는 제2 기준에 기초한 (예컨대, 사용자의 시선이 제1 또는 제2 사용자 인터페이스 객체들로 지향되는 것에는 기초하지 않음) 영역 내의 제1 및 제2 사용자 인터페이스 객체들에 대해 동작들을 개시하는 영역의 크기는 증가하며, 이는 잠재적으로 관련된 사용자 인터페이스 객체들이 전자 디바이스와 연관된 시점으로부터 더 멀어짐에 따라 선택적으로 사용자의 시선이 무엇으로 지향되는지 결정하는 것의 불확실성과 부합한다(예컨대, 2개의 사용자 인터페이스 객체들이 시점으로부터 더 멀어질수록, 사용자의 시선이 2개의 사용자 인터페이스 객체 중 제1 사용자 인터페이스 객체로 지향되는지 아니면 제2 사용자 인터페이스 객체로 지향되는지 여부를 결정하는 것이 더 어려워질 수 있다―따라서, 전자 디바이스는 선택적으로 이러한 2개의 사용자 인터페이스 객체들에 대해 하나 이상의 제1 또는 제2 기준에 기초하여 동작한다). 그 영역이 전자 디바이스와 연관된 시점으로부터 더 멀어짐에 따라 크기를 증가시키는 영역에 대해 동작하는 전술한 방식은 이러한 객체들이 전자 디바이스와 연관된 시점으로부터 더 멀어짐에 따라 객체들로 지향되는 시선-기반 입력들에 대한 디바이스의 오류적 응답을 회피하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하고, 디바이스의 오류적 동작을 감소시킨다.
일부 실시예들에서, 하나 이상의 제1 기준은 도 11a의 사용자 인터페이스 객체(1105b)와 같이, 제1 객체가 제2 객체보다 3차원 환경 내의 사용자의 시점에 더 가까울 때 충족되고, 하나 이상의 제2 기준은 도 11a의 사용자 인터페이스 객체(1105a)가 사용자 인터페이스 객체(1105b)보다 가까운 경우와 같이, 제2 객체가 제1 객체보다 3차원 환경 내의 사용자의 시점(1208a)에 가까울 때 충족된다. 예를 들어, 제1 사용자 인터페이스 객체가 제2 사용자 인터페이스 객체보다 3차원 환경에서의 전자 디바이스와 연관된 시점에 더 가깝다는 결정에 따라, 하나 이상의 제1 기준은 충족되고 하나 이상의 제2 기준은 충족되지 않고, 제2 사용자 인터페이스 객체가 제1 사용자 인터페이스 객체보다 3차원 환경에서의 시점에 더 가깝다는 결정에 따라, 하나 이상의 제2 기준은 충족되고 하나 이상의 제1 기준은 충족되지 않는다. 따라서, 일부 실시예들에서, 제1 영역 내에서 시점에 가장 가까운 사용자 인터페이스 객체가 (예컨대, 사용자의 시선이 제1 영역 내의 다른 사용자 인터페이스 객체로 지향되는지 여부에 독립적으로) 디바이스가 입력을 지향시키는 사용자 인터페이스 객체이다. 전자 디바이스와 연관된 시점으로부터 그것들의 거리들에 기초하여 사용자 인터페이스 객체들로 입력을 지향시키는 전술한 방식은 입력을 위해 사용자 인터페이스 객체들을 선택하는 효율적이고 예측가능한 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하고, 디바이스의 오류적 동작을 감소시킨다.
일부 실시예들에서, 제1 사용자 인터페이스 객체의 유형(예컨대, 전자 디바이스의 운영 체제보다는 전자 디바이스의 운영 체제의 사용자 인터페이스 객체, 또는 애플리케이션의 사용자 인터페이스 객체) 및 제2 사용자 인터페이스 객체의 유형(예컨대, 전자 디바이스의 운영 체제보다는 전자 디바이스의 운영 체제의 사용자 인터페이스 객체, 또는 애플리케이션의 사용자 인터페이스 객체)에 기초하여 하나 이상의 제1 기준이 충족되거나 또는 하나 이상의 제2 기준이 충족된다(1210a). 예를 들어, 제1 사용자 인터페이스 객체는 시스템 사용자 인터페이스 객체이고 제2 사용자 인터페이스 객체는 시스템 사용자 인터페이스 객체가 아니라는 결정(예컨대, 애플리케이션 사용자 인터페이스 객체임)에 따라, 하나 이상의 제1 기준은 충족되고 하나 이상의 제2 기준은 충족되지 않고, 제2 사용자 인터페이스 객체는 시스템 사용자 인터페이스 객체이고 제1 사용자 인터페이스 객체는 시스템 사용자 인터페이스 객체가 아니라는 결정(예컨대, 애플리케이션 사용자 인터페이스 객체임)에 따라, 하나 이상의 제2 기준은 충족되고 하나 이상의 제1 기준은 충족되지 않는다. 따라서, 일부 실시예들에서, 제1 영역 내에서 시스템 사용자 인터페이스 객체인 사용자 인터페이스 객체가 (예컨대, 사용자의 시선이 제1 영역 내의 다른 사용자 인터페이스 객체로 지향되는지 여부에 독립적으로) 디바이스가 입력을 지향시키는 사용자 인터페이스 객체이다. 예를 들어, 도 11a에서, 사용자 인터페이스 객체(1105b)가 시스템 사용자 인터페이스 객체이고, 사용자 인터페이스 객체(1105a)가 애플리케이션 사용자 인터페이스 객체라면, (예컨대, 객체(1105b)가 객체(1105a)보다 사용자의 시점으로부터 멀리 있더라도) 디바이스(101)는 도 11a의 입력을 객체(1105a) 대신에 객체(1105b)로 지향시킬 수 있다. 그것들의 유형에 기초하여 사용자 인터페이스 객체들로 입력을 지향시키는 전술한 방식은 입력을 위해 사용자 인터페이스 객체들을 선택하는 효율적이고 예측가능한 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하고, 디바이스의 오류적 동작을 감소시킨다.
일부 실시예들에서, 전자 디바이스에 의해 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체에 대해 정의되는 각자의 우선순위들에 기초하여 (예컨대, 전자 디바이스의 애플리케이션 또는 운영 체제와 같은 전자 디바이스의 소프트웨어에 의해) 하나 이상의 제1 기준이 충족되거나 또는 하나 이상의 제2 기준이 충족된다(1212a). 예를 들어, 일부 실시예들에서, 제1 및 제2 사용자 인터페이스 객체들과 연관된 애플리케이션(들) 및/또는 운영 체제는, 선택 우선순위가 제1 사용자 인터페이스 객체에 제2 사용자 인터페이스 객체보다 높은 우선순위를 부여하는 경우, 디바이스는 (예컨대, 사용자의 시선이 제1 영역 내의 다른 사용자 인터페이스 객체로 지향되는지 여부에 독립적으로) 입력을 제1 사용자 인터페이스 객체로 지향시키고, 선택 우선순위가 제2 사용자 인터페이스 객체에 제1 사용자 인터페이스 객체보다 높은 우선순위를 부여하는 경우, 디바이스는 (예컨대, 사용자의 시선이 제1 영역 내의 다른 사용자 인터페이스 객체로 지향되는지 여부에 독립적으로) 입력을 제2 사용자 인터페이스 객체로 지향시키도록, 제1 및 제2 사용자 인터페이스 객체들에 대해 선택 우선순위를 정의한다. 예를 들어, 도 11a에서, 사용자 인터페이스 객체(1105b)에 (예컨대, 디바이스(101)의 소프트웨어에 의해) 더 높은 선택 우선순위가 할당되고, 사용자 인터페이스 객체(1105a)에 더 낮은 선택 우선순위가 할당되는 경우, (예컨대, 객체(1105b)가 사용자의 시점으로부터 객체(1105a)보다 멀리 있는 경우에도) 디바이스(101)는 도 11a의 입력을 객체(1105a) 대신에 객체(1105b)로 지향시킬 수 있다. 일부 실시예들에서, 제1 및 제2 사용자 인터페이스 객체들의 상대적 선택 우선순위들은 각자의 사용자 인터페이스 객체들이 현재 디스플레이하고 있는 것에 기초하여 시간 경과에 따라 변경된다(예컨대, 현재 비디오를 재생/콘텐츠를 재생하고 있는 사용자 인터페이스 객체가 정지된 비디오 콘텐츠 또는 비디오/재생중인 콘텐츠 이외의 기타 콘텐츠를 디스플레이하고 있는 동일한 사용자 인터페이스 객체보다 더 높은 선택 우선순위를 갖는다). 운영 체제 및/또는 애플리케이션 우선순위들에 기초하여 사용자 인터페이스 객체들에 입력을 지향시키는 전술한 방식은 입력을 위해 사용자 인터페이스 객체를 선택하는 유연한 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 각자의 입력을 검출하는 것에 응답하여(1214a), 제1 영역이 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 임계 거리(예컨대, 5, 10, 15, 20, 30, 40, 50, 100, 150 피트)를 초과할 때 충족되는 기준을 포함하는 하나 이상의 제3 기준이 충족된다는 결정에 따라, 전자 디바이스는, 도 11a의 사용자 인터페이스 객체들(1107a, 1107b)을 참조하여 설명된 바와 같이, 제1 사용자 인터페이스 객체에 대한 동작을 수행하는 것을 보류하고 제2 사용자 인터페이스 객체에 대한 동작을 수행하는 것을 보류한다(1214b). 예를 들어, 전자 디바이스는 전자 디바이스와 연관된 시점으로부터 임계 거리를 초과하는 영역 내에 있는 사용자 인터페이스 객체들과의 상호작용을 선택적으로 디스에이블한다. 일부 실시예들에서, 하나 이상의 제1 기준 및 하나 이상의 제2 기준 둘 모두는 제1 영역이 전자 디바이스와 연관된 시점으로부터 임계 거리 미만일 때 충족되는 기준을 포함한다. 일부 실시예들에서, 제1 영역이 전자 디바이스와 연관된 시점으로부터 임계 거리 초과일 때, 디바이스가 사용자의 시선이 사용자 인터페이스 내의 (예컨대, 상이한 영역보다는) 제1 영역으로 지향된다고 결정하는 확실성은 상대적으로 낮다―따라서, 전자 디바이스는 이러한 객체들과의 오류적 상호작용을 회피하기 위해 제1 영역 내의 객체들과의 시선-기반 상호작용을 디스에이블한다. 동떨어진 영역 내의 객체들과의 상호작용을 디스에이블하는 전술한 방식은 이러한 객체들과의 오류적 시선-기반 상호작용을 회피하고, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 회피한다.
일부 실시예들에서, 제1 영역이 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 임계 거리를 초과한다는 결정에 따라, 전자 디바이스는 도 11a의 사용자 인터페이스 객체들(1107a, 1107b)를 참조하여 설명되는 바와 같이 제1 영역 밖의 사용자 인터페이스의 영역에 비해 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 시각적으로 덜 강조(예컨대, 흐리하게 하기, 어둡게 하기, 적은 색상(예컨대, 더 그레이스케일)으로 디스플레이하기, 디스플레이 중단하기 등)한다(1216a)(예컨대, 전자 디바이스와 연관된 시점으로부터 임계 거리 미만인 제1 영역 밖의 영역 및 또는 객체들은 더 적은 흐리게 하기 또는 흐리게 하는 것 없이, 더 적은 어둡게 하기 또는 어둡게 하는 것 없이, 더 많은 색상 또는 완전한 색상 등으로 디스플레이됨). 일부 실시예들에서, 제1 영역이 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 임계 거리 미만이라는 결정에 따라, 전자 디바이스는 제1 영역 밖의 사용자 인터페이스의 영역에 비해 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를, 예컨대, 도 11a의 사용자 인터페이스 객체들(1103a, 1103b, 1105a, 1105b)에 대해, 시각적으로 덜 강조하는 것을 보류한다(1216b). 예를 들어, 일부 실시예들에서, 전자 디바이스는 시각적으로 제1 영역이 전자 디바이스와 연관된 시점으로부터 임계 거리를 초과할 때 제1 영역 및/또는 제1 영역 내의 객체들을 시각적으로 덜 강조한다. 시점으로부터의 그것들의 거리로 인해 상호작용할 수 없는 사용자 인터페이스의 영역(들)을 시각적으로 덜 강조하는 전술한 방식은 이러한 영역들이 시점으로부터의 그것들의 거리로 인해 상호작용할 수 없음을 전달하는 빠르고 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용자 인터페이스의 비-상호작용형 영역과의 상호작용을 위한 불필요한 입력들을 제공하는 것을 회피한다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 사용자의 사전정의된 부분에 의해 제공되는 제2 각자의 입력을 검출한다(1218a)(예컨대, 손가락에 의해 수행되는 제스처, 예컨대, 사용자의 손의 검지 손가락 또는 집게손가락이 제1 영역을 가리키고/가리키거나, 선택적으로 이동이 임계 이동(예컨대, 0.5, 1, 3, 5, 10 cm)을 초과하고/하거나 속도가 임계 속도(예컨대, 0.5, 1, 3, 5, 10 cm/s)를 초과하여 제1 영역을 향해 이동, 또는 손의 엄지 손가락이 그 손의 다른 손가락들과 함께 핀칭됨). 일부 실시예들에서, 제2 각자의 입력을 검출하는 것에 응답하여(1220b), 도 11a의 사용자 인터페이스 객체(1109)를 참조하여 설명된 바와 같이, 제1 영역이 3차원 환경 내의 사용자의 시선으로부터 임계 각도를 초과할 때 충족되는 기준을 포함하는 하나 이상의 제3 기준이 충족된다는 결정에 따라(예컨대, 사용자의 시선은 기준축을 정의하고, 제1 영역은 10, 20, 30, 45, 90, 120 도 등을 초과하여 기준축으로부터 분리된다. 일부 실시예들에서, 제2 각자의 입력이 검출될 때 사용자의 시선은 제1 영역으로 지향되지 않는다), 전자 디바이스는 도 11a의 사용자 인터페이스 객체(1109)를 참조하여 설명되는 바와 같이 제1 사용자 인터페이스 객체에 대해 각자의 동작을 수행하는 것을 보류하고 제2 사용자 인터페이스 객체에 대해 각자의 동작을 수행하는 것을 보류한다(1220c). 예를 들어, 전자 디바이스는 선택적으로 사용자의 시선으로부터 임계 각도를 초과하는 사용자 인터페이스 객체들과의 상호작용을 디스에이블한다. 일부 실시예들에서, 디바이스는 제2 각자의 입력을 제1 영역 밖의 사용자 인터페이스 객체로 지향시키고, 제2 각자의 입력에 기초하여 사용자 인터페이스 객체에 대한 각자의 동작을 수행한다. 사용자의 시선으로부터 충분히 각도를 벗어난 객체들과의 상호작용을 디스에이블하는 전술한 방식은 이러한 객체들과의 오류적 시선-기반 상호작용을 회피하고, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 회피한다.
일부 실시예들에서, 제1 영역이 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 임계 각도를 초과한다는 결정에 따라, 전자 디바이스는 도 11a의 사용자 인터페이스 객체(1109)를 참조하여 설명되는 바와 같이 제1 영역 밖의 사용자 인터페이스의 영역에 비해 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 시각적으로 덜 강조(예컨대, 흐리하게 하기, 어둡게 하기, 적은 색상(예컨대, 더 그레이스케일)으로 디스플레이하기, 디스플레이 중단하기 등)한다(1222a)(예컨대, 사용자의 시선으로부터 임계 각도 미만인 제1 영역 밖의 영역 및 또는 객체들은 더 적은 흐리게 하기 또는 흐리게 하는 것 없이, 더 적은 어둡게 하기 또는 어둡게 하는 것 없이, 더 많은 색상 또는 완전한 색상 등으로 디스플레이됨). 일부 실시예들에서, 사용자의 시선의 방향이 변경되는 경우, 사용자의 시선이 제1 및/또는 제2 사용자 인터페이스 객체들로부터 멀리 더 큰 각도로 이동하는 경우 제1 및/또는 제2 사용자 인터페이스 객체들은 사용자 인터페이스의 영역에 비해 많이 덜 강조될 것이고, 사용자의 시선이 제1 및/또는 제2 사용자 인터페이스 객체들로부터 멀리 더 작은 각도로 이동하는 경우, 사용자 인터페이스의 영역에 비해 적게 덜 강조될 것이다(예컨대, 강조됨). 일부 실시예들에서, 제1 영역이 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 임계 각도 미만이라는 결정에 따라, 전자 디바이스는 제1 영역 밖의 사용자 인터페이스의 영역에 비해 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를, 예컨대, 도 11a의 사용자 인터페이스 객체들(1103a, 1103b, 1105a,1105b)에 관해, 시각적으로 덜 강조하는 것을 보류한다(1222b). 예를 들어, 일부 실시예들에서, 전자 디바이스는 제1 영역이 사용자의 시선으로부터 임계 각도를 초과할 때 제1 영역 및/또는 제1 영역 내의 객체들을 시각적으로 덜 강조한다. 사용자의 시선으로부터의 각자의 각도로 인해 상호작용형이 아닌 사용자 인터페이스의 영역(들)을 시각적으로 덜 강조하는 전술한 방식은 이러한 영역들이 시점으로부터의 각자의 거리로 인해 상호작용형이 아님을 전달하는 빠르고 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용자 인터페이스의 비-상호작용형 영역과의 상호작용을 위한 불필요한 입력들을 제공하는 것을 회피한다.
일부 실시예들에서, 하나 이상의 제1 기준 및 하나 이상의 제2 기준은 제1 영역이 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 임계 거리(예컨대, 3, 5, 10, 20, 30, 50 피트)를 초과할 때 충족되고, 제1 영역이 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 임계 거리 미만일 때 충족되지 않는 각자의 기준을 포함한다(1224a)(예컨대, 제1 영역이 전자 디바이스와 연관된 시점으로부터 임계 거리를 초과하는 경우 전자 디바이스는 제1 및 제2 사용자 인터페이스 객체들에 대해 하나 이상의 제1 또는 제2 기준에 따라 각자의 입력을 지향시킨다). 예를 들어, 도 11a에서, 객체들(1105a,1105b)은 선택적으로 사용자의 시점으로부터 임계 거리보다 멀다. 일부 실시예들에서, 각자의 입력을 검출하는 것에 응답하여 그리고 제1 영역이 3차원 환경 내의 전자 디바이스와 연관된 시점으로부터 임계 거리 미만이라는 결정에 따라(1224b), 사용자의 시선이 제1 사용자 인터페이스 객체로 지향된다는 결정에 따라(예컨대, 하나 이상의 제1 기준이 충족되는지 아니면 각자의 기준 이외의 하나 이상의 제2 기준이 충족되는지 여부에 독립적으로), 전자 디바이스는, 도 11a 및 도 11b의 사용자 인터페이스 객체들(1103a, 1103b)을 참조하여 설명되는 바와 같이, 각자의 입력에 기초하여 제1 사용자 인터페이스 객체에 대한 동작을 수행한다(1224b). 일부 실시예들에서, 사용자의 시선이 제2 사용자 인터페이스 객체로 지향된다는 결정에 따라(예컨대, 하나 이상의 제1 기준이 충족되는지 아니면 각자의 기준 이외의 하나 이상의 제2 기준이 충족되는지 여부에 독립적으로), 전자 디바이스는, 도 11a 및 도 11b의 사용자 인터페이스 객체들(1103a, 1103b)을 참조하여 설명되는 바와 같이, 각자의 입력에 기초하여 제2 사용자 인터페이스 객체에 대한 동작을 수행한다(1224d). 예를 들어, 제1 영역이 전자 디바이스와 연관된 시점의 임계 거리 내에 있을 때, 디바이스는 하나 이상의 제1 또는 제2 기준에 기초하기보다는, 제1 또는 제2, 각각의, 사용자 인터페이스 객체들로 지향되는 사용자의 시선에 기초하여 각자의 입력을 제1 또는 제2 사용자 인터페이스 객체들로 지향시킨다. 제1 영역이 사용자의 시점의 임계 거리 내에 있을 때 제1 영역으로 시선-기반 방향의 입력들을 수행하는 전술한 방식은, 사용자 인터페이스 객체들이 시선 위치/방향이 상대적으로 높은 확실성을 갖고 디바이스에 의해 결정될 수 있는 거리들에 있을 때, 사용자가 입력이 어느 사용자 인터페이스 객체로 지향되어야 하는지 나타내도록 할 수 있는 빠르고 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 13a 내지 도 13c는 일부 실시예들에 따른 직간접 혼합 상호작용 모드에서 전자 디바이스가 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법의 예들을 도시한다.
도 13a는 전자 디바이스(101)가, 디스플레이 생성 컴포넌트(120)를 통해, 사용자 인터페이스 상에서 3차원 환경(1301)을 디스플레이하는 것을 도시한다. 일부 실시예들에서, 전자 디바이스(101)는 본 발명의 범주를 벗어나지 않으면서 2차원 환경 또는 사용자 인터페이스에서 도 13a 내지 도 13c를 참조하여 설명된 하나 이상의 기술들을 활용하는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(120)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 13a에 도시된 바와 같이, 3차원 환경(1301)은 (예컨대, 디바이스(101)의 사용자의 손(1313a)에 의해 제공되는 사용자 입력들을 통해) 상호작용가능한 3개의 사용자 인터페이스 객체들(1303a, 1303b, 1303c)을 포함한다. 예를 들어, 디바이스(101)는 선택적으로 손(1313a)에 의해 제공되는 직접 또는 간접 입력들을 (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이) 이러한 입력들의 다양한 특성들에 기초하여 사용자 인터페이스 객체들(1303a, 1303b 및/또는 1303c)로 지향시킨다. 도 13a에서, 3차원 환경(1301)은 또한 전자 디바이스(101)의 물리적 환경에서의 테이블의 표현(604)을 포함한다(예컨대, 도 6b를 참조하여 설명된 바와 같음). 일부 실시예들에서, 테이블의 표현(604)은 디스플레이 생성 컴포넌트(120)(예컨대, 비디오 또는 디지털 패스스루)에 의해 디스플레이되는 테이블의 실사 비디오 이미지이다. 일부 실시예들에서, 테이블의 표현(604)은 디스플레이 생성 컴포넌트(120)의 투명 부분을 통한 테이블의 뷰이다(예컨대, 트루 또는 피지컬 패스스루).
일부 실시예들에서, 방법(800)을 참조한 예를 들어 논의된 바와 같이, 디바이스(101)가 하나 이상의 사용자 인터페이스 객체들로부터 간접 상호작용 거리에서 간접 준비 상태의 사용자의 손을 검출할 때, 디바이스(101)는 사용자의 손이 이러한 입력들을 제공하는 경우 사용자의 손으로부터 어느 사용자 인터페이스 객체가 간접 입력들을 수신할지 나타내기 위해 사용자의 시선에 기초하여 간접 호버링 상태를 사용자 인터페이스 객체에 할당한다(예컨대, 간접 호버링 상태 외관을 갖는, 사용자의 시선이 지향되는 사용자 인터페이스 객체를 디스플레이함). 유사하게, 일부 실시예들에서, 방법(800)을 참조하여 예를 들어 논의된 바와 같이, 디바이스(101)가 사용자 인터페이스 객체로부터 직접 상호작용 거리에서 직접 준비 상태의 사용자의 손을 검출할 때, 사용자의 손이 이러한 입력들을 제공하는 경우 사용자 인터페이스 객체가 사용자의 손으로부터 직접 입력들을 수신할 것임을 나타내기 위해 디바이스는 직접 호버링 상태를 사용자 인터페이스 객체에 할당한다.
일부 실시예들에서, 디바이스(101)는 사용자의 손에 의해 제공되는 입력들이 간접 입력들인 것으로부터 직접 입력들인 것 및/또는 그 반대로 전환되는 것을 검출한다. 도 13a 내지 도 13c는 이러한 전이에 대한 디바이스(101)의 예시적인 응답들을 도시한다. 예를 들어, 도 13a에서, 디바이스(101)는 모든 사용자 인터페이스 객체들(1303a, 1303b, 1303c)로부터 3 인치, 6 인치, 1 피트, 2 피트, 5 피트, 10 피트와 같은 임계 거리보다 더 멀리서 (예컨대, 간접 상호작용 거리에서) 손(1313a)을 검출한다(예컨대, 손(1313a)에 의해 상호작용가능한 3차원 환경(1301) 내의 임의의 사용자 인터페이스 객체들의 임계 거리 내에 손(1313a)이 있지 않음). 손(1313a)은 선택적으로 간접 준비 상태 손 형상이다(예컨대, 방법(800)을 참조하여 설명된 바와 같음). 도 13a에서, 전자 디바이스(101)의 사용자의 시선(1311a)은 사용자 인터페이스 객체(1303a)로 지향된다. 따라서, 디바이스(101)는 간접 호버링 상태 외관(예컨대, 사용자 인터페이스 객체(1303a)의 쉐이딩에 의해 표시됨)을 갖는 사용자 인터페이스 객체(1303a)를 디스플레이하고, 디바이스(101)는 간접 호버링 상태 외관이 없이 사용자 인터페이스 객체들(1303b, 1303c)을 디스플레이한다(예컨대, 사용자 인터페이스 객체들(1303b, 1303c)의 쉐이딩의 결여에 의해 표시된 바와 같이, 비-호버링 상태의 사용자 인터페이스 객체들을 디스플레이함). 손(1313a)이 사용자 인터페이스 객체(1303a)의 임계 거리 내에서 이동하는 경우, 및 선택적으로 손(1313a)이 직접 준비 상태 손 형상인 경우(예컨대, 방법(800)을 참조하여 설명된 바와 같음), 디바이스(101)는 선택적으로 사용자 인터페이스 객체(1303a)를 호버링 상태로 유지할 것이다(예컨대, 직접 호버링 상태 외관을 갖는 사용자 인터페이스 객체(1303a)를 디스플레이함). 일부 실시예들에서, 도 13a에서 손(1313a)이 간접 준비 상태 손 형상인 경우, 디바이스(101)는 선택적으로 간접 호버링 상태 외관 없이 사용자 인터페이스 객체(1303a)를 디스플레이할 것이다(예컨대, 그리고 선택적으로 디바이스(101)가 간접 준비 상태 손 형상의 사용자의 손을 적어도 하나라도 검출하지 않은 경우, 모든 사용자 인터페이스 객체들(1303a, 1303b, 1303c)을 간접 호버링 상태 없이 디스플레이할 것이다). 일부 실시예들에서, 간접 호버링 상태 외관은 간접 호버링 상태가 어느 손에 대응하는지에 따라 상이하다. 예를 들어, 도 13a에서, 손(1313a)은 선택적으로 전자 디바이스(101)의 사용자의 오른손이고, 도 13a를 참조하여 도시되고 설명된 바와 같이 사용자 인터페이스 객체(1303a)에 대해 간접 호버링 상태 외관을 초래한다. 그러나, 손(1313a)이 대신에 사용자의 왼손인 경우, 디바이스(101)는 선택적으로 상이한(예컨대, 상이한 색상, 상이한 쉐이딩, 상이한 크기 등) 간접 호버링 상태 외관을 갖는 사용자 인터페이스 객체(1303a)를 디스플레이할 것이다. 상이한 간접 호버링 상태 외관들을 갖는 사용자 인터페이스 객체들을 디스플레이하는 것은 선택적으로 사용자 디바이스(101)의 어느 손으로부터 사용자 인터페이스 객체들로 입력들을 지향시킬지 사용자에게 나타낸다.
도 13b에서, 디바이스(101)는 사용자의 시선(1311b)이 사용자 인터페이스 객체(1303a)로부터 멀리 이동되고 사용자 인터페이스 객체(1303b)로 이동된 것을 검출한다. 도 13b에서, 손(1313a)은 선택적으로 간접 준비 상태 손 형상을 유지하고, 선택적으로 모든 사용자 인터페이스 객체들(1303a, 1303b, 1303c)로부터 임계 거리보다 멀리 유지된다(예컨대, 손(1313a)에 의해 상호작용가능한 3차원 환경(1301) 내의 임의의 사용자 인터페이스 객체들의 임계 거리 내에 손(1313a)이 있지 않음). 이에 응답하여, 디바이스(101)는 사용자 인터페이스 객체(1303a)로부터 간접 호버링 상태를 사용자 인터페이스 객체(1303b)로 이동하였고, 간접 호버링 상태 외관을 갖는 사용자 인터페이스 객체(1303b)를 디스플레이하고, 간접 호버링 상태 외관 없이 사용자 인터페이스 객체들(1303a, 1303c)을 디스플레이한다(예컨대, 비-호버링 상태의 사용자 인터페이스 객체들(1303a, 1303c)을 디스플레이함).
도 13c에서, 디바이스(101)는 손(1313a)이 (예컨대, 도 13a 및/또는 도 13b의 그것의 위치로부터) 사용자 인터페이스 객체(1303c)의 임계 거리 내로 (예컨대, 직접 상호작용 거리에서) 이동했다는 것을 검출한다. 디바이스(101)는 선택적으로 또한 손(1313a)이 직접 준비 상태 손 형상임을 검출한다(예컨대, 방법(800)을 참조하여 설명된 바와 같음). 따라서, 사용자의 시선이 사용자 인터페이스 객체(1303a)로 지향되는지(예컨대, 시선(1311a)) 아니면 사용자 인터페이스 객체(1303b)로 지향되는지(예컨대, 시선(1311b)), 디바이스(101)는 직접 호버링 상태를 사용자 인터페이스 객체(1303c)로 이동하고(예컨대, 호버링 상태를 사용자 인터페이스 객체들(1303a 및/또는 1303b)로부터 멀리 이동함), 직접 호버링 상태 외관(예컨대, 사용자 인터페이스 객체(1303c)의 쉐이딩에 의해 표시됨)을 갖는 사용자 인터페이스 객체(1303c)를 디스플레이하고, (예컨대, 직접 또는 간접) 호버링 상태 외관이 없이 (예컨대, 비-호버링 상태의) 사용자 인터페이스 객체들(1303a, 1303b)을 디스플레이한다. 일부 실시예들에서, 손(1313a)이 사용자 인터페이스 객체(1303c)의 임계 거리 내에 있는 동안(예컨대, 그리고 선택적으로 직접 준비 상태 손 형상인 동안) (예컨대, 상이한 사용자 인터페이스 객체들로 지향될) 사용자의 시선의 변경은 직접 호버링 상태를 사용자 인터페이스 객체(1303c)로부터 멀리 이동하지 않는다. 일부 실시예들에서, 디바이스(101)는 도 13c의 손 이동 및/또는 형상에 응답하여 사용자 인터페이스 객체(1303c)가 호버링 상태를 수신하기 위해 사용자 인터페이스 객체(1303c)가 사용자의 주목 구역 내에 있는 것을 요구한다(예컨대, 방법(1000)을 참조하여 설명된 바와 같음). 예를 들어, 디바이스(101)가 도 13c의 손(1313a) 위치 및/또는 형상을 검출하지만, 사용자의 주목 구역이 사용자 인터페이스 객체(1303c)를 포함하지 않았음을 검출하는 경우, 디바이스(101)는 선택적으로 호버링 상태를 사용자 인터페이스 객체(1303c)로 이동하지 않고, 대신 이전에 호버링 상태를 가진 사용자 인터페이스 객체로 호버링 상태를 유지할 것이다. 이어서 디바이스(101)가 사용자의 주목 구역이 사용자 인터페이스 객체(1303c)를 포함하도록 이동하는 것을 검출하는 경우, 손(1313a)이 사용자 인터페이스 객체(1303c)의 임계 거리 내에 있고, 선택적으로 직접 준비 상태 손 형상인 한, 디바이스(101)는 선택적으로 호버링 상태를 사용자 인터페이스 객체(1303c)로 이동할 것이다. 디바이스(101)가 순차적으로 사용자의 주목 구역이 다시 사용자 인터페이스 객체(1303c)를 포함하지 않도록 이동하는 것을 검출하는 경우, 손(1313a)이 여전히 사용자 인터페이스 객체(1303c)와 결속되어 있는 한(예컨대, 사용자 인터페이스 객체(1303c)의 임계 거리 내에 있고/있거나 직접 준비 상태 손 형상이고/이거나 사용자 인터페이스 객체(1303c)와 직접 상호작용 등을 하는 한) 디바이스(101)는 선택적으로 사용자 인터페이스 객체(1303c)로 호버링 상태를 유지할 것이다. 손(1313a)이 더 이상 사용자 인터페이스 객체(1303c)와 결속되지 않는 경우, 디바이스(101)는 전자 디바이스의 사용자의 시선에 기초하여 선택적으로 호버링 상태를 사용자 인터페이스 객체들로 이동할 것이다.
일부 실시예들에서, 직접 호버링 상태 외관은 직접 호버링 상태가 어느 손에 대응하는지에 따라 상이하다. 예를 들어, 도 13c에서, 손(1313a)은 선택적으로 전자 디바이스(101)의 사용자의 오른손이고, 도 13c를 참조하여 도시되고 설명된 바와 같이 사용자 인터페이스 객체(1303c)에 대해 직접 호버링 상태 외관을 초래한다. 그러나, 손(1313a)이 대신에 사용자의 왼손인 경우, 디바이스(101)는 선택적으로 상이한(예컨대, 상이한 색상, 상이한 쉐이딩, 상이한 크기 등) 직접 호버링 상태 외관을 갖는 사용자 인터페이스 객체(1303c)를 디스플레이할 것이다. 상이한 직접 호버링 상태 외관들을 갖는 사용자 인터페이스 객체들을 디스플레이하는 것은 선택적으로 사용자 디바이스(101)의 어느 손으로부터 사용자 인터페이스 객체들로 입력들을 지향시킬지 사용자에게 나타낸다.
일부 실시예들에서, (예컨대, 도 13c의 사용자 인터페이스 객체(1303c) 상에 도시된) 직접 호버링 상태의 외관은 (예컨대, 도 13a 및 도 13b의 사용자 인터페이스 객체들(1303a, 1303b) 상에 각각 도시된) 간접 호버링 상태의 외관과는 상이하다. 따라서, 일부 실시예들에서, 주어진 사용자 인터페이스 객체는 사용자 인터페이스 객체가 직접 호버링 상태을 갖는지 아니면 간접 호버링 상태를 갖는지 여부에 따라 디바이스(101)에 의해 상이하게(예컨대, 상이한 색상, 상이한 쉐이딩, 상이한 크기 등) 디스플레이된다.
도 13c에서, 디바이스(101)가 손(1313a)이 두 상호작용가능 사용자 인터페이스 객체들(예컨대, 1303b, 1303c)의 (예컨대, 직접 상호작용 거리 내의) 임계 거리 내에서 이동한 것을 감지한 경우, 선택적으로 손(1313a)이 직접 준비 상태 형상인 경우, 디바이스(101)는 선택적으로 호버링 상태를 손(1313a)에 더 가까운 사용자 인터페이스 객체로 이동할 것이다―예를 들어, 손(1313a)이 사용자 인터페이스 객체(1303b)에 더 가까운 경우 사용자 인터페이스 객체(1303b)로, 손(1313a)이 사용자 인터페이스 객체(1303c)에 더 가까운 경우 사용자 인터페이스 객체(1303c)로 이동할 것이다.
도 14a 내지 도 14h는 일부 실시예들에 따른 직간접 혼합 상호작용 모드에서 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법(1400)을 도시하는 흐름도이다. 일부 실시예들에서, 본 방법(1400)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1400)은 비일시적 컴퓨터-판독가능 저장 매체에 저장되고, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예컨대, 도 1a의 제어 유닛(110))과 같은, 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되는 명령어들에 의해 통제된다. 방법(1400)에서의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서는, 선택적으로, 변경된다.
일부 실시예들에서, 방법(1400)은 디스플레이 생성 컴포넌트 및, 눈 추적 디바이스를 포함하는 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서 수행된다. 예를 들어, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예컨대, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 전송할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
일부 실시예들에서, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 디스플레이하고, 사용자 인터페이스는 제1 상태(예컨대, 유휴 또는 비-선택된 상태와 같은 비-호버링 상태)의 제1 사용자 인터페이스 객체 및 제1 상태(예컨대, 유휴 또는 비-선택된 상태와 같은 비-호버링 상태)의 제2 사용자 인터페이스 객체를 포함하는, 도 13a의 사용자 인터페이스 객체들(1303a, 1303b, 1303c)(예컨대, 탭 또는 핀치 제스처와 같은 하나 이상의 손 제스처들을 통해 선택가능한 사용자 인터페이스 객체들)과 같은, 각자의 유형의 복수의 사용자 인터페이스 객체들을 포함한다(1402a). 일부 실시예들에서, 제1 및/또는 제2 사용자 인터페이스 객체들은 상호작용형 사용자 인터페이스 객체들이고, 주어진 객체를 향해 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 객체와 연관된 작동을 수행한다. 예를 들어, 사용자 인터페이스 객체는, 선택되면, 전자 디바이스로 하여금 각자의 사용자 인터페이스를 디스플레이하거나, 전자 디바이스의 설정을 변경하거나, 또는 콘텐츠의 재생을 개시하는 것과 같은, 작동을 수행하게 하는 선택가능 옵션이다. 다른 예로서, 사용자 인터페이스 객체는 사용자 인터페이스/콘텐츠가 디스플레이되는 컨테이너(예컨대, 윈도우)이고, 사용자 인터페이스 객체의 선택에 이동 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 이동 입력에 따라 사용자 인터페이스 객체의 위치를 업데이트한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체는 디바이스에 의해 볼 수 있도록 생성되거나, 디스플레이되거나, 또는 다른 방식으로 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경) 내에서 디스플레이된다(예컨대, 사용자 인터페이스가 3차원 환경이고/이거나 3차원 환경 내에서 디스플레이됨).
일부 실시예들에서, 도 13a의 시선(1311a)과 같은, 전자 디바이스의 사용자의 시선이 제1 사용자 인터페이스 객체로 지향되는 동안(예컨대, 사용자의 시선이 제1 사용자 인터페이스 객체와 교차되거나, 또는 사용자의 시선이 제1 사용자 인터페이스 객체와 교차하는 1, 2, 5, 10 피트와 같은 임계 거리 내에 있음), 도 13a의 손(1313a)과 같은, 전자 디바이스의 사용자의 제1 사전정의된 부분이 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치로부터 임계 거리보다 멀리 있을 때 충족되는 기준(예컨대, 사용자의 손 또는 집게손가락과 같은 손가락의 위치가 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치의 3 인치, 6 인치, 1 피트, 2 피트, 5 피트, 10 피트 내에 있지 않아서, 사용자의 제1 사전정의된 부분에 의해 사용자 인터페이스 객체에 제공되는 입력은 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된 바와 같은 간접 상호작용 방식일 것임)을 포함하는 하나 이상의 기준이 충족된다는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제1 상태(예컨대, 유휴 또는 비-선택된 상태와 같은 비-호버링 상태)의 제2 사용자 인터페이스 객체의 디스플레이를 유지하는 동안 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체를 디스플레이하고, 도 13a의 사용자 인터페이스 객체들(1303a, 1303b)과 같이, 제2 상태는 제1 상태와는 상이하다(예컨대, 사용자 인터페이스 객체가 호버링 상태인 경우, 사용자의 사전정의된 부분이 그 객체에 대응하는 위치로부터 임계 거리보다 멀리 있을 때 사용자의 사전정의된 부분으로부터의 추가적인 입력(예컨대, 사용자 인터페이스 객체를 향한 손의 집게손가락의 이동)은 선택적으로 디바이스에 의해 그 사용자 인터페이스 객체로 지향되는 입력으로서 인식된다(예컨대, 호버링 상태에 있는 사용자 인터페이스 객체를 선택함))(1402b). 이러한 입력의 예들이 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된다. 일부 실시예들에서, 사용자의 사전정의된 부분으로부터의 이러한 추가적인 입력은 선택적으로 비-호버링 상태에 있는 사용자 인터페이스 객체로 지향되지 않는 것으로 인식된다. 일부 실시예들에서, 제2 상태의 제1 사용자 인터페이스 객체를 디스플레이하는 것은 제1 사용자 인터페이스 객체가 호버링 상태에 있음(예컨대, 추가적인 상호작용을 준비함)을 나타내기 위해 그것의 색상을 변경, 그것을 강조, 그것을 사용자의 시점을 향해 들어올림/이동 등을 하도록 제1 사용자 인터페이스 객체의 외관을 업데이트하는 것을 포함하고, 제1 상태의 제2 사용자 인터페이스 객체를 디스플레이하는 것은 그것의 색상을 변경, 그것을 강조, 그것을 사용자의 시점을 향해 들어올림/이동 등 없이 제2 사용자 인터페이스 객체를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 기준은 사용자의 사전정의된 부분이 방법(800)을 참조하여 설명된 바와 같은 특정 포즈일 때 충족되는 기준을 포함한다. 일부 실시예들에서, 하나 이상의 기준이 충족될 때 사용자의 시선이 (제1 사용자 인터페이스 객체보다는) 제2 사용자 인터페이스 객체로 지향되었다면, 제2 사용자 인터페이스 객체는 제2 상태로 디스플레이되었을 것이고, 제1 사용자 인터페이스 객체는 제1 상태로 디스플레이되었을 것이다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 객체로 지향되는 동안(1402c)(예컨대, 사용자의 시선이 하기의 사용자의 사전정의된 부분의 이동 동안/후에 제1 사용자 인터페이스 객체로 지향되도록 유지됨), 제1 사용자 인터페이스 객체를 제2 상태(예컨대, 호버링 상태)로 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 사용자의 제1 사전정의된 부분의 이동(예컨대, 제1 위치로부터 제2 위치로의 사용자의 손 및/또는 손가락의 이동)을 검출한다(1402d). 일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동을 검출하는 것에 응답하여(1402e), 도 13c의 손(1313a)과 같은 사용자의 제1 사전정의된 부분이 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내로 이동한다는 결정에 따라(예컨대, 사용자의 제1 사전정의된 부분의 이동을 검출하기 전에, 사용자의 제1 사전정의된 부분은 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치들의 임계 거리 내에 있지 않지만, 사용자의 제1 사전정의된 부분의 이동을 검출한 후에, 사용자의 제1 사전정의된 부분은 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있다. 사용자의 제1 사전정의된 부분은 선택적으로 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 다른 것에 대응하는 위치들의 임계 거리 내에 있지 않다), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 13c의 호버링 상태의 사용자 인터페이스 객체(1303c)를 디스플레이하는 것과 같이, 제2 상태(예컨대, 호버링 상태)의 제2 사용자 인터페이스 객체를 디스플레이한다(1402f). 예를 들어, 호버링 상태를 제1 사용자 인터페이스 객체로부터 제2 사용자 인터페이스 객체로 이동하는 것은, 사용자의 시선이 계속해서 제1 사용자 인터페이스 객체로 지향되고, 제2 사용자 인터페이스 객체로 지향되지 않더라도, 사용자의 손 및/또는 손가락이 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있기 때문이다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분의 포즈는, 사용자의 제1 사전정의된 부분이 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있을 때 호버링 상태를 제2 사용자 인터페이스 객체로 이동하기 위해, 방법(800)을 참조하여 설명되는 바와 같은 특정 포즈가 될 필요가 있다. 사용자의 제1 사전정의된 부분이 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있을 때, 사용자의 제1 사전정의된 부분에 의해 제2 사용자 인터페이스 객체에 제공되는 입력은 선택적으로 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된 바와 같이 직접 상호작용 방식일 것이다. 제2 상태를 제2 사용자 인터페이스 객체로 이동하는 전술한 방식은, 주어진 사용자 인터페이스 객체를 추가적인 상호작용의 타겟으로서 지정하기 위한 추가적인 사용자 입력을 필요로 하지 않고, 하나 이상의 손 및 시선 위치설정에 기초하여 가장 상호작용할 가능성이 높은 사용자 인터페이스 객체들과의 상호작용을 가능하게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동을 검출하는 것에 응답하여(1404a), 사용자의 제1 사전정의된 부분이 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내로 이동한다는 결정에 따라(예컨대, 사용자의 제1 사전정의된 부분의 이동을 검출하기 전에, 사용자의 제1 사전정의된 부분은 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치들의 임계 거리 내에 있지 않지만, 사용자의 제1 사전정의된 부분의 이동을 검출한 후에, 사용자의 제1 사전정의된 부분은 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있다. 사용자의 제1 사전정의된 부분은 선택적으로 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 다른 것에 대응하는 위치들의 임계 거리 내에 있지 않다), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 13c의 비-호버링 상태의 사용자 인터페이스 객체들(1303a 및/또는 1303b)을 디스플레이하는 것과 같이, 제1 상태(예컨대, 유휴 또는 비-선택된 상태와 같은 비-호버링 상태)의 제1 사용자 인터페이스 객체를 디스플레이한다(1404b). 예를 들어, 사용자의 제1 사전정의된 부분은 이제 제2 사용자 인터페이스 객체의 임계 거리 내로 이동했기 때문에, 사용자의 제1 사전정의된 부분은 이제 전자 디바이스에 의해 제2 사용자 인터페이스 객체와 상호작용하는 것으로 결정되고, 더 이상 제1 사용자 인터페이스 객체와의 상호작용에 이용가능하지 않다. 이와 같이, 전자 디바이스는 선택적으로 (예컨대, 제2 상태의 제1 사용자 인터페이스 객체의 디스플레이를 유지하기보다는) 제1 상태의 제1 사용자 인터페이스 객체를 디스플레이한다. 제1 상태의 제1 사용자 인터페이스 객체를 디스플레이하는 전술한 방식은 사용자의 제1 사전정의된 부분이 더 이상 제1 사용자 인터페이스 객체와 상호작용하는 것으로 결정되지 않음을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써(예컨대, 사용자의 제1 사전정의된 부분에 의해 부정확한 사용자 인터페이스 객체들로 제공되는 오류적 입력들을 회피함으로써) 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동을 검출하는 것에 응답하여(1406a), 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내로 이동한다는 결정에 따라(예컨대, 사용자의 제1 사전정의된 부분의 이동을 검출하기 전에, 사용자의 제1 사전정의된 부분은 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치들의 임계 거리 내에 있지 않지만, 사용자의 제1 사전정의된 부분의 이동을 검출한 후에, 사용자의 제1 사전정의된 부분은 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있다. 사용자의 제1 사전정의된 부분은 선택적으로 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 다른 것에 대응하는 위치들의 임계 거리 내에 있지 않다), 전자 디바이스는 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체의 디스플레이를 유지한다(1406b)(예컨대, 그리고 제1 상태의 제2 사용자 인터페이스 객체의 디스플레이를 유지함). 예를 들어, 도 13a에서, 손(1313a)이 객체(1303a)의 임계 거리 내로 이동하는 경우, 디바이스(101)는 객체(1303a)의 디스플레이를 제2 상태로 유지할 것이다. 예를 들어, 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내로 이동하기 전에 전자 디바이스가 이미 제2 상태의 제1 사용자 인터페이스 객체를 디스플레이하고 있었기 때문에, 그리고 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내로 이동한 후에 디바이스가 사용자의 제1 사전정의된 부분이 여전히 제1 사용자 인터페이스 객체와 상호작용하고 있다고 결정하기 때문에, 전자 디바이스는 제2 상태의 제1 사용자 인터페이스 객체를 디스플레이하는 것을 유지한다. 일부 실시예들에서, 사용자의 시선은 계속해서 제1 사용자 인터페이스 객체로 지향되고, 일부 실시예들에서, 사용자의 시선은 더 이상 제1 사용자 인터페이스 객체로 지향되지 않는다. 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있을 때, 사용자의 제1 사전정의된 부분에 의해 제1 사용자 인터페이스 객체에 제공되는 입력은 선택적으로 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된 바와 같이 직접 상호작용 방식일 것이다. 제2 상태의 제1 사용자 인터페이스 객체의 디스플레이를 유지하는 전술한 방식은 사용자의 제1 사전정의된 부분이 여전히 제1 사용자 인터페이스 객체와 상호작용하는 것으로 결정됨을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써(예컨대, 사용자의 제1 사전정의된 부분에 의해 부정확한 사용자 인터페이스 객체들로 제공되는 오류적 입력들을 회피함으로써) 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동을 검출하는 것에 응답하여(1408a), 사용자의 제1 사전정의된 부분이 복수의 사용자 인터페이스 객체들 중 제3 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에서 이동한다는 결정에 따라(예컨대, 제1 및 제2 사용자 인터페이스 객체들과는 상이하다. 예를 들어, 사용자의 제1 사전정의된 부분의 이동을 검출하기 전에, 사용자의 제1 사전정의된 부분은 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치들의 임계 거리 내에 있지 않지만, 사용자의 제1 사전정의된 부분의 이동을 검출한 후에, 사용자의 제1 사전정의된 부분은 제3 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있다. 사용자의 제1 사전정의된 부분은 선택적으로 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 다른 것에 대응하는 위치들의 임계 거리 내에 있지 않다), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 상태(예컨대, 호버링 상태)의 제3 사용자 인터페이스 객체를 디스플레이한다(1408b)(예컨대, 그리고 제1 상태의 제1 및 제2 사용자 인터페이스 객체들을 디스플레이함). 예를 들어, 호버링 상태를 제1 사용자 인터페이스 객체로부터 제3 사용자 인터페이스 객체로 이동하는 것은, 사용자의 시선이 계속해서 제1 사용자 인터페이스 객체로 지향되고, 제3 사용자 인터페이스 객체로 지향되지 않더라도, 사용자의 손 및/또는 손가락이 제3 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있기 때문이다(예컨대, 도 13c에서, 손(1313a)이 객체(1303c)의 임계 거리 내로 이동하는 대신에, 손(1313a)은 객체(1303b)의 임계 거리 내로 이동하고, 디바이스(101)는 제2 상태의 객체(1303c)를 디스플레이하는 대신에 제2 상태의 객체(1303b)를 디스플레이할 것이다). 일부 실시예들에서, 사용자의 제1 사전정의된 부분의 포즈는, 사용자의 제1 사전정의된 부분이 제3 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있을 때 호버링 상태를 제3 사용자 인터페이스 객체로 이동하기 위해, 방법(800)을 참조하여 설명되는 바와 같은 특정 포즈가 될 필요가 있다. 사용자의 제1 사전정의된 부분이 제3 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있을 때, 사용자의 제1 사전정의된 부분에 의해 제3 사용자 인터페이스 객체에 제공되는 입력은 선택적으로 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된 바와 같이 직접 상호작용 방식일 것이다. 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있을 때 제2 상태를 사용자 인터페이스 객체로 이동하는 전술한 방식은 사용자의 제1 사전정의된 부분이 여전히 사용자 인터페이스 객체와 상호작용하는 것으로 결정됨을 나타내는 효율적인 방식을 제공하며, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써(예컨대, 사용자의 제1 사전정의된 부분에 의해 부정확한 사용자 인터페이스 객체들로 제공되는 오류적 입력들을 회피함으로써) 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동을 검출하는 것에 응답하여(1410a), 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치 및 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내로 이동한다는 결정에 따라(1410b)(예컨대, 사용자의 제1 사전정의된 부분은, 도 13c에서, 손(1313a)이 객체들(1303b, 1303c)의 임계 거리 내로 이동한 것과 같이, 이제 복수의 사용자 인터페이스 객체들 중 둘 이상의 사용자 인터페이스 객체들에 대응하는 위치들의 임계 거리 내에 있다), 제1 사전정의된 부분이 제2 사용자 인터페이스 객체에 대응하는 위치보다 제1 사용자 인터페이스 객체에 대응하는 위치에 가깝다는 결정에 따라(예컨대, 객체(1303c)보다 객체(1303b)에 더 가까움), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체(예컨대, 1303b)를 디스플레이한다(1410c)(예컨대, 그리고 제1 상태의 제2 사용자 인터페이스 객체를 디스플레이함). 일부 실시예들에서, 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치보다 제2 사용자 인터페이스 객체에 대응하는 위치에 가깝다는(예컨대, 객체(1303b)보다 객체(1303c)에 가까움) 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 상태(예컨대, 호버링 상태)의 제2 사용자 인터페이스 객체(예컨대, 1303c)를 디스플레이한다(1410d)(예컨대, 그리고 제1 상태의 제1 사용자 인터페이스 객체를 디스플레이함). 예를 들어, 사용자의 제1 사전정의된 부분이 복수의 사용자 인터페이스 객체들 중 다수의 사용자 인터페이스 객체들의 임계 거리 내에 있을 때, 전자 디바이스는 선택적으로 제2 상태를 사용자 인터페이스 객체로 이동하며, 그것의 대응하는 위치에 사용자의 제1 사전정의된 부분이 더 가깝다. 일부 실시예들에서, 전자 디바이스는 사용자의 시선이 제1 사용자 인터페이스 객체로 지향되는지 아니면 제2(또는 다른) 사용자 인터페이스 객체들로 지향되는지 상관없이 전술된 바와 같이 제2 상태를 이동하는데, 그 이유는 사용자의 제1 사전정의된 부분이 복수의 사용자 인터페이스 객체들 중 적어도 하나의 사용자 인터페이스 객체들에 대응하는 위치의 임계 거리 내에 있기 때문이다. 사용자의 제1 사전정의된 부분이 다수의 사용자 인터페이스 객체들에 대응하는 위치들의 임계 거리 내에 있을 때 제2 상태를 사용자의 제1 사전정의된 부분에 가장 가까운 사용자 인터페이스 객체로 이동하는 전술한 방식은 (예컨대, 추가적인 사용자 입력 없이) 상호작용을 위한 사용자 인터페이스 객체를 선택하고, 동일한 것을 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써(예컨대, 사용자의 제1 사전정의된 부분에 의해 부정확한 사용자 인터페이스 객체들로 제공되는 오류적 입력들을 회피함으로써) 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 하나 이상의 기준은 사용자의 제1 사전정의된 부분이, 도 13a의 손(1313a)을 참조하여 설명되는 바와 같은, 사전결정된 포즈일 때 충족되는 기준을 포함한다(1412a). 예를 들어, 손이 손의 엄지 손가락과 집게손가락이 함께하는 제스처의 시작에 대응하는 형상이거나, 또는 손의 집게손가락이 탭핑 제스처 방식으로 (예컨대, 마치 집게손가락이 집게손가락의 0.5, 1, 2, 3 cm 앞에 있는 상상의 표면을 탭핑하듯이) 공간에서 전방으로 이동하는 제스처의 시작에 대응하는 형상이다. 사용자의 제1 사전정의된 부분의 사전결정된 포즈는 선택적으로 방법(800)을 참조하여 설명된 바와 같다. 사용자 인터페이스 객체가 제2 상태를 갖기 전에(예컨대, 사용자의 제1 사전정의된 부분으로부터의 입력을 수용할 준비가 됨) 사용자의 제1 사전정의된 부분이 특정 포즈일 것을 요구하는 전술한 방식은 사용자의 제1 사전정의된 부분에 의한 사용자 인터페이스 요소들과의 우발적인 입력/상호작용을 방지하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동을 검출하는 것에 응답하여(1414a), 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내로 이동한다는 결정에 따라(예컨대, 사용자의 제1 사전정의된 부분의 이동을 검출하기 전에, 사용자의 제1 사전정의된 부분은 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치들의 임계 거리 내에 있지 않지만, 사용자의 제1 사전정의된 부분의 이동을 검출한 후에, 사용자의 제1 사전정의된 부분은 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있다. 사용자의 제1 사전정의된 부분은 선택적으로 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 다른 것에 대응하는 위치들의 임계 거리 내에 있지 않다), 전자 디바이스는 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체의 디스플레이를 유지한다(1414b)(예컨대, 그리고 제1 상태의 제2 사용자 인터페이스 객체의 디스플레이를 유지함). 예를 들어, 도 13a에 도시된 상태 후에 손(1313a)이 객체(1303a)의 임계 거리 안으로 이동했다면, 디바이스(101)는 선택적으로 객체(1303a)의 디스플레이를 제2 상태로 유지할 것이다. 일부 실시예들에서, 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체는 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리를 초과할 때 제1 시각적 외관을 갖고(1414c), 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체는 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있을 때 제1 시각적 외관과는 상이한 제2 시각적 외관을 가지며(1414d), 이는 도 13c의 사용자 인터페이스 객체(1303c)를 참조하여 설명되는 바와 같다. 예를 들어, 사용자의 제1 사전정의된 부분과의 직접 상호작용을 위한 호버링 상태의 시각적 외관(예컨대, 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있을 때, 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된 바와 같음)은 선택적으로 사용자의 제1 사전정의된 부분과의 간접 상호작용을 위한 호버링 상태의 시각적 외관(예컨대, 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치로부터 임계 거리보다 멀리 있을 때, 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된 바와 같음)과는 상이하다. 일부 실시예들에서, 상이한 시각적 외관은 제1 사용자 인터페이스 객체가 디스플레이되는 백플레인으로부터 제1 사용자 인터페이스 객체의 상이한 분리량(예컨대, 호버링 상태에 있지 않을 때 분리가 없거나 또는 더 적은 분리로 디스플레이됨), 호버링 상태에 있을 때 제1 사용자 인터페이스 객체가 디스플레이되는 상이한 색상 및/또는 강조 (예컨대, 호버링 상태에 있지 않을 때 색상 및/또는 강조 없이 디스플레이됨) 등 중 하나 이상이다. 직접 및 간접 상호작용에 대해 상이하게 제2 상태를 디스플레이하는 전술한 방식은 디바이스가 어느 상호작용의 방식에 따라 응답 및/또는 동작하는지 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 (예컨대, 사용자 인터페이스 객체와의 현재-활성화된 상호작용 방식과 양립할 수 없는 오류적 입력들을 회피함으로써) 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 객체로 지향되는 동안(예컨대, 사용자의 시선이 제1 사용자 인터페이스 객체와 교차하거나, 또는 사용자의 시선이 제1 사용자 인터페이스 객체와 교차하는 1, 2, 5, 10 피트의 임계 거리 내에 있음), 사용자의 제1 사전정의된 부분과는 상이한 제2 사전정의된 부분이 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치로부터 임계 거리보다 멀리 있을 때 충족되는 기준을 포함하는 하나 이상의 제2 기준이 충족된다는 결정에 따라(예컨대, 사용자의 손 또는 집게손가락과 같은 손가락의 위치는 사용자 인터페이스 내의 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치의 3 인치, 6 인치, 1 피트, 2 피트, 5 피트, 10 피트 내에 있지 않아서, 사용자의 제2 사전정의된 부분에 의해 사용자 인터페이스 객체에 제공되는 입력은 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된 바와 같은 간접 상호작용 방식일 것이다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분(예컨대, 왼손/손가락)이 제1 사용자 인터페이스 객체와 결속되는 동안 사용자의 제1 사전정의된 부분(예컨대, 오른손/손가락)은 복수의 사용자 인터페이스 객체들 중 다른 사용자 인터페이스 객체와 결속되거나 또는 결속되지 않는다(예컨대, 방법(1600)을 참조하여 설명된 바와 같음). 일부 실시예들에서, 하나 이상의 제2 기준은 사용자의 제2 사전정의된 부분이 방법(800)을 참조하여 설명된 바와 같은 특정 포즈일 때 충족되는 기준을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준이 충족될 때 사용자의 시선이 (제1 사용자 인터페이스 객체보다는) 제2 사용자 인터페이스 객체로 지향된 경우, 제2 사용자 인터페이스 객체는 제2 상태로 디스플레이됐을 것이고, 제1 사용자 인터페이스 객체는 제1 상태로 디스플레이됐을 것이다.), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 호버링 상태의 도 13a 및 도 13b의 사용자 인터페이스 객체들(1303a 및/또는 1303b)을 디스플레이하는 것과 같이, 제2 상태의 제1 사용자 인터페이스 객체를 디스플레이한다(1416a)(예컨대, 사용자의 제2 사전정의된 부분에 기초하여 호버링 상태의 제1 사용자 인터페이스 객체를 디스플레이함). 일부 실시예들에서, 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체는 하나 이상의 기준이 충족된다는 결정에 따라 제1 시각적 외관을 갖고(1416b), 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체는 하나 이상의 제2 기준이 충족된다는 결정에 따라 제1 시각적 외관과는 상이한 제2 시각적 외관을 갖는다(1416c). 예를 들어, 사용자 인터페이스 객체들에 대한 호버링 상태들은 선택적으로 호버링 상태가 사용자 인터페이스 객체와 결속한 제1 사전정의된 부분에 기초하는지 아니면 사용자 인터페이스 객체와 결속한 제2 사전정의된 부분에 기초하는지에 따라 상이한 시각적 외관들(예컨대, 색상, 쉐이딩, 강조, 백플레인으로부터 분리 등)을 갖는다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분에 기초한 직접 상호작용 호버링 상태는 사용자의 제2 사전정의된 부분에 기초한 직접 상호작용 호버링 상태와는 상이한 시각적 외관을 갖고, 사용자의 제1 사전정의된 부분에 기초한 간접 상호작용 호버링 상태는 사용자의 제2 사전정의된 부분에 기초한 간접 상호작용 호버링 상태와는 상이한 시각적 외관을 갖는다. 일부 실시예들에서, 사용자의 2개의 사전정의된 부분들은 전술된 바와 같이 상이한 호버링 상태 외관들을 갖는 2개의 상이한 사용자 인터페이스 객체들과 동시에 결속된다. 일부 실시예들에서, 사용자의 2개의 사전정의된 부분들은 전술된 바와 같이 상이한 호버링 상태 외관들을 갖는 상이한 또는 동일한 사용자 인터페이스 객체들과 동시에 결속되지 않는다(예컨대, 순차적으로). 사용자의 상이한 사전정의된 부분들에 대해 상이하게 제2 상태를 디스플레이하는 전술한 방식은 주어진 사용자 인터페이스 객체에 대해 디바이스가 사용자의 어느 사전정의된 부분에 응답하고 있는지 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써(예컨대, 사용자의 잘못 사전정의된 부분에 의한 오류적 입력들을 회피함으로써) 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 13c의 시선(1311a 또는 1311b)과 같이, 사용자의 시선이 제1 사용자 인터페이스 객체로 지향되게 유지되는 동안, 제2 사용자 인터페이스 객체를 제2 상태(예컨대, 호버링 상태)로 디스플레이하는 것이 발생한다(1418a). 예를 들어, 사용자의 시선이 제1 사용자 인터페이스 객체로 지향되게 유지되더라도, 사용자의 제1 사전정의된 부분이 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 안으로 이동하면, 전자 디바이스는 제2 사용자 인터페이스 객체를 제2 상태로 디스플레이하고/하거나 제1 사용자 인터페이스 객체를 제1 상태로 디스플레이한다. 일부 실시예들에서, 사용자의 시선은 제2 사용자 인터페이스 객체로 지향된다. 시선에 독립적으로 제2 상태를 이동하는 전술한 방식은 추가적인 시선 입력이 요구될 필요 없이 직접 상호작용을 위해 사용자 인터페이스 객체를 선택하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제2 상태(예컨대, 호버링 상태)의 제2 사용자 인터페이스 객체를 디스플레이하는 것은 도 13c의 객체(1303c)가 전자 디바이스의 사용자와 연관된 주목 구역 내에 있는 것과 같이 제2 사용자 인터페이스 객체가 전자 디바이스의 사용자와 연관된 주목 구역 내에 있다는 결정에 따라 추가적이다(1420a)(예컨대, 제2 사용자 인터페이스 객체가 사용자와 연관된 주목 구역 내에 있지 않은 경우, 제2 사용자 인터페이스 객체는 제2 상태로 디스플레이되지 않을 것이다(예컨대, 계속해서 제1 상태로 디스플레이될 것임). 일부 실시예들에서, 제1 사용자 인터페이스 객체는 계속해서 제2 상태로 디스플레이될 것이고, 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제1 상태로 디스플레이될 것이다). 예를 들어, 주목 구역은 선택적으로 사용자의 시선 방향/위치에 기초하여 지정되는 사용자 인터페이스 및/또는 3차원 환경의 영역 및/또는 체적이고, 사용자 인터페이스 객체들이 방법(1000)을 참조하여 설명되는 바와 같이, 다양한 조건들 하에서 사용자에 의해 상호작용가능한지 여부를 결정하는 인자이다. 제2 사용자 인터페이스 객체가 사용자의 주목 구역 내에 있을 경우에만 제2 상태를 이동하는 전술한 방식은 사용자가 인식하지 못 할 수 있는 사용자 인터페이스 객체들과의 의도하지 않은 상호작용이 잠재적으로 상호작용되는 것을 방지하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 하나 이상의 기준은 사용자의 제1 사전정의된 부분을 포함하는, 사용자의 적어도 하나의 사전정의된 부분이 도 13a의 손(1313a)을 참조하여 설명된 바와 같은, 사전결정된 포즈(예컨대, 방법(800)을 참조하여 설명된 것들과 같은, 준비 상태 포즈)일 때 충족되는 기준을 포함한다(1422a). 예를 들어, 제2 상태의 사용자 인터페이스 객체들의 시선-기반 디스플레이는 (예컨대, 제2 상태로 디스플레이되는 사용자 인터페이스 객체와 상호작용할 수 있도록) 선택적으로 시선이 지향되는 사용자 인터페이스 객체가 제2 상태로 디스플레이되기 전에 사용자의 적어도 하나의 사전정의된 부분이 사전결정된 포즈인 것을 요구한다. 제2 상태의 사용자 인터페이스 객체를 디스플레이하기 전에 사용자의 사전정의된 부분이 특정 포즈인 것을 요구하는 전술한 방식은 사용자가 사용자의 사전정의된 부분을 이용한 대응하는 입력 없이 시선 입력만을 제공하고 있을 때 사용자 인터페이스 객체들과의 의도하지 않은 상호작용을 방지하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 사용자 인터페이스 객체를 제2 상태(예컨대, 호버링 상태)로 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 사용자와 연관된 주목 구역의 제1 이동을 검출한다(1424a)(예컨대, 사용자의 제1 사전정의된 부분의 이동을 검출하지 않는다. 일부 실시예들에서, 주목 구역은 사용자의 시선 방향/위치에 기초하여 지정되는 사용자 인터페이스 및/또는 3차원 환경의 영역 및/또는 체적이고, 사용자 인터페이스 객체들이 방법(1000)을 참조하여 설명되는 바와 같이, 다양한 조건들 하에서 사용자에 의해 상호작용가능한지 여부를 결정하는 인자이다. 일부 실시예들에서, 제1 사용자 인터페이스 객체가 제2 상태로 디스플레이되는 동안(예컨대, 주목 구역의 이동 전에), 그것은 사용자와 연관된 주목 구역 내에 있었다.). 일부 실시예들에서, 사용자와 연관된 주목 구역의 제1 이동을 검출하는 것에 응답하여(1424b), 주목 구역이 각자의 유형의 제3 사용자 인터페이스 객체를 포함하고(예컨대, 일부 실시예들에서, 제1 사용자 인터페이스 객체는 더 이상 사용자와 연관된 주목 구역 내에 있지 않다. 일부 실시예들에서, 사용자의 시선은 제3 사용자 인터페이스 객체로 지향된다. 일부 실시예들에서, 사용자의 시선은 제3 사용자 인터페이스 객체로 지향되지 않는다), 사용자의 제1 사전정의된 부분은 제3 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있다는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 상태(예컨대, 호버링 상태)의 제3 사용자 인터페이스 객체를 디스플레이한다(1424c)(예컨대, 그리고 제1 상태의 제1 사용자 인터페이스 객체를 디스플레이함). 따라서, 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 이동하지 않지만, 주목 구역이 사용자의 제1 사전정의된 부분의 임계 거리 내에 있는 위치에 대응하는 사용자 인터페이스 객체를 포함하는 새로운 위치로 이동하도록 사용자의 시선이 이동하는 경우에도, 전자 디바이스는 제2 상태를 제1 사용자 인터페이스 객체로부터 멀리 제3 사용자 인터페이스 객체로 이동한다. 예를 들어, 도 13c에서, 주목 구역이 초기에 객체(1303c)를 포함하지 않지만, 나중에 그것을 포함한다면, 주목 구역이 이동하여 객체(1303c)를 포함할 때 디바이스(101)는 선택적으로 객체(1303)를 도 13c에 도시된 바와 같은 제2 상태로 디스플레이한다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치로부터 임계 거리보다 멀리 있는 동안 제1 사용자 인터페이스 객체가 제2 상태를 갖는 경우 제2 상태만이 제3 사용자 인터페이스 객체로 이동하고, 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있는(그리고 계속해서 내에 있음) 동안 및/또는 내에 있기 때문에 제1 사용자 인터페이스 객체가 제2 상태를 갖는 경우 그러하지 아니하다. 주목 구역의 변경에 기초하여 제2 상태를 이동하는 전술한 방식은 제2 상태를 갖는 사용자 인터페이스 객체(들)(및 그럼으로써 상호작용하거나 또는 잠재적으로 상호작용하는 것들)가 사용자가 주목을 지향시키는 것들이고, 사용자가 주목을 지향시키지 않는 것들이 아니도록 보장하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써(예컨대, 더 이상 사용자의 주목 내에 있지 않은 사용자 인터페이스 객체들로 지향되는 오류적 입력들을 회피함으로써) 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 주목 구역의 제1 이동을 검출한 후에 그리고 제3 사용자 인터페이스 객체를 제2 상태(예컨대, 호버링 상태)로 디스플레이하는 동안 (예컨대, 사용자의 제1 사전정의된 부분은 제3 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있기 때문에), 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 주목 구역의 제2 이동을 검출하고(1426a), 주목 구역의 제2 이동의 결과로서 제3 사용자 인터페이스 객체는 더 이상 주목 구역 내에 있지 않다(예컨대, 사용자의 시선은 제3 사용자 인터페이스 객체를 포함하는 영역으로부터 멀리 이동하여 주목 구역이 더 이상 제3 사용자 인터페이스 객체를 포함하지 않도록 한다). 일부 실시예들에서, 주목 구역의 제2 이동을 검출하는 것에 응답하여(1426b), 사용자의 제1 사전정의된 부분이 제3 사용자 인터페이스 객체의 임계 거리 내에 있다는 결정에 따라 (예컨대, 일부 실시예들에서, 또한 사용자의 제1 사전정의된 부분이 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명되는 바와 같이 직접적 또는 간접적으로 제3 사용자 인터페이스 객체와 결속되어 있음/유지 및/또는 사용자의 제1 사전정의된 부분이 방법(800)을 참조하여 설명되는 바와 같이 사전결정된 포즈라는 결정에 따라), 전자 디바이스는 제2 상태(예컨대, 호버링 상태)의 제3 사용자 인터페이스 객체의 디스플레이를 유지한다(1426c). 예를 들어, 도 13c에서, 주목 구역이 객체(1303c)를 포함하도록 이동하고 디바이스(101)가 제2 상태의 객체(1303c)를 디스플레이한 후에, 디바이스(101)가 주목 구역이 다시 객체(1303c)를 포함하지 않도록 이동한 것을 검출하는 경우, 디바이스(101)는 선택적으로 제2 상태의 객체(1303c)의 디스플레이를 유지할 것이다. 예를 들어, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 남아 있는 경우, 제2 상태는 선택적으로 주목 구역이 사용자 인터페이스 객체로부터 멀리 이동한 결과로서 사용자 인터페이스 객체로부터 멀리 이동하지 않는다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 제3 사용자 인터페이스 객체에 대응하는 위치로부터 임계 거리보다 멀리 있었다면, 제2 상태는 제3 사용자 인터페이스 객체로부터 멀리 이동했을 것이다(예컨대, 그리고 제3 사용자 인터페이스 객체는 제1 상태로 디스플레이됐을 것이다). 사용자의 제1 사전정의된 부분이 그 사용자 인터페이스 객체의 임계 거리 내에 있을 때 사용자 인터페이스 객체의 제2 상태를 유지하는 전술한 방식은 사용자가 사용자 인터페이스의 다른 부분들을 보면서 및/또는 이들과 상호작용하는 동안 계속해서 사용자 인터페이스 객체와 상호작용하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 주목 구역의 제2 이동을 검출하는 것에 응답하여 그리고 사용자의 제1 사전정의된 부분이 제3 사용자 인터페이스 객체와 결속되지 않는다는 결정에 따라(1428a)(예컨대, 사용자의 제1 사전정의된 부분은, 방법들(800, 1000, 1200, 1600, 1800, 2000)을 참조하여 설명된 바와 같이, 주목 구역이 이동할 때 또는 이동한 후에, 제3 사용자 인터페이스 객체와 직접적 또는 간접적으로 결속되는 것을 중단한다), 제1 사용자 인터페이스 객체가 주목 구역 내에 있고, 하나 이상의 기준이 충족되고, 사용자의 시선이 제1 사용자 인터페이스 객체로 지향된다는 결정에 따라, 전자 디바이스는, 도 13a를 참조하여 도시되고 설명된 것과 유사하게, 제2 상태(예컨대, 호버링 상태)의 제1 사용자 인터페이스 객체를 디스플레이한다(1428b). 일부 실시예들에서, 제2 사용자 인터페이스 객체가 주목 구역 내에 있고, 하나 이상의 기준이 충족되고, 사용자의 시선이 제2 사용자 인터페이스 객체로 지향된다는 결정에 따라, 전자 디바이스는 제2 사용자 인터페이스 객체를 제2 상태(예컨대, 호버링 상태)로 디스플레이한다(1428c). 예를 들어, 주목 구역이 제3 사용자 인터페이스 객체로부터 멀리 이동할 때 또는 그 후에, 사용자의 제1 사전정의된 부분이 더 이상 제3 사용자 인터페이스 객체와 맞물리지 않는 경우 전자 디바이스는 선택적으로 더 이상 제3 사용자 인터페이스 객체를 제2 상태로 유지하지 않는다. 일부 실시예들에서, 전자 디바이스는 사용자의 시선에 기초하여 복수의 사용자 인터페이스 객체들 중 사용자 인터페이스 객체들 사이에서 제2 상태를 이동한다. 사용자의 제1 사전정의된 부분이 더 이상 제3 사용자 인터페이스 객체와 결속되지 않는 경우 제2 상태를 이동하는 전술한 방식은 사용자의 제1 사전정의된 부분이 제3 사용자 인터페이스 객체와의 결속을 중단할 때 사용자가 다른 사용자 인터페이스 객체들과 상호작용/결속할 수 있고, 제3 사용자 인터페이스 객체와의 상호작용에 고정되지 않게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 하나 이상의 기준이 충족되는 동안(1430a), 사용자의 제1 사전정의된 부분의 이동을 검출하기 전에 그리고 제1 사용자 인터페이스 객체를 제2 상태(예컨대, 호버링 상태)로 디스플레이하는 동안, 전자 디바이스는, 눈 추적 디바이스를 통해, 도 13b의 시선(1311b)과 같은, 제2 사용자 인터페이스 객체로의 사용자의 시선의 이동을 검출한다(1430b)(예컨대, 사용자의 시선이 제2 사용자 인터페이스 객체와 교차하지만 제1 사용자 인터페이스 객체와 교차하지 않거나, 또는 사용자의 시선이 제2 사용자 인터페이스 객체와 교차하는 1, 2, 5, 10 피트와 같은 임계 거리 내에 있지만 제1 사용자 인터페이스 객체와 교차하는 임계거리 내에 있지 않다). 일부 실시예들에서, 제2 사용자 인터페이스 객체로의 사용자의 시선의 이동을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 13b에서 사용자 인터페이스 객체(1303b)로 도시된 바와 같이, 제2 상태(예컨대, 호버링 상태)의 제2 사용자 인터페이스 객체를 디스플레이한다(1430c)(예컨대, 그리고 제1 상태의 제1 사용자 인터페이스 객체를 디스플레이함). 따라서, 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 복수의 사용자 인터페이스 객체들 중 임의의 사용자 인터페이스 객체들에 대응하는 위치들로부터 임계 거리보다 멀리 있는 동안, 전자 디바이스는 제2 상태를 사용자 인터페이스 객체로부터 사용자의 시선에 기초한 사용자 인터페이스 객체로 이동한다. 사용자 시선에 기초하여 제2 상태를 이동하는 전술한 방식은 사용자가 추가적인 상호작용을 위해 사용자 인터페이스 객체들을 지정할 수 있는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동을 검출한 후에 그리고 제2 상태(예컨대, 호버링 상태)의 제2 사용자 인터페이스 객체를 디스플레이하는 동안 사용자의 제1 사전정의된 부분이 제2 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있다는 결정에 따라, 전자 디바이스는, 눈 추적 디바이스를 통해, 도 13c의 시선(1311a 또는 1311b)과 같은, 제1 사용자 인터페이스 객체로의 사용자의 시선의 이동(예컨대, 제2 사용자 인터페이스 객체로 지향되지 않음)을 검출한다(1432a). 일부 실시예들에서, 제1 사용자 인터페이스 객체로의 사용자의 시선의 이동을 검출하는 것에 응답하여, 전자 디바이스는 도 13c에서 사용자 인터페이스 객체(1303c)로 도시된 바와 같이, 제2 상태(예컨대, 호버링 상태)의 제2 사용자 인터페이스 객체의 디스플레이를 유지한다(1432b)(그리고 제1 상태의 제1 사용자 인터페이스 객체의 디스플레이를 유지함). 따라서, 일부 실시예들에서, 전자 디바이스는 제2 상태가 사용자의 제1 사전정의된 부분이 관련 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있는 것에 기초할 때 사용자 시선에 기초하여 제2 상태를 이동하지 않는다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 관련 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있지 않았다면, 전자 디바이스는 시선이 제1 사용자 인터페이스 객체로 지향되는 것에 따라 선택적으로 제2 상태를 제1 사용자 인터페이스 객체로 이동했을 것이다. 사용자의 제1 사전정의된 부분이 그 사용자 인터페이스 객체의 임계 거리 내에 있을 때 사용자 인터페이스 객체의 제2 상태를 유지하는 전술한 방식은 사용자가 사용자 인터페이스의 다른 부분들을 보면서 및/또는 이들과 상호작용하는 동안 계속해서 사용자 인터페이스 객체와 상호작용하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 15a 내지 도 15e는 일부 실시예들에 따라 전자 디바이스(101a)가 사용자의 두 손으로부터의 입력들을 관리하는 예시적인 방식들을 도시한다.
도 15a는, 디스플레이 생성 컴포넌트(120a)를 통해, 3차원 환경, 전자 디바이스(101a)를 도시한다. 일부 실시예들에서, 전자 디바이스(101a)는 본 발명의 범주를 벗어나지 않으면서 2차원 환경 또는 사용자 인터페이스에서 도 15a 내지 도 15e를 참조하여 설명된 하나 이상의 기술들을 활용하는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트(120a)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314a)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101a)와 상호작용하는 동안 전자 디바이스(101a)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120a)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 설명된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 15a는 전자 디바이스(101a)가 3차원 환경을 디스플레이하는 것을 도시한다. 3차원 환경은 전자 디바이스(101a)의 물리적 환경 내의 테이블의 표현(1504)(예컨대, 도 6b의 테이블(604)과 같음), 제1 선택가능 옵션(1503), 제2 선택가능 옵션(1505), 및 제3 선택가능 옵션(1507)을 포함한다. 일부 실시예들에서, 테이블의 표현(1504)은 디스플레이 생성 컴포넌트(120a)(예컨대, 비디오 또는 디지털 패스스루)에 의해 디스플레이되는 테이블의 실사 이미지이다. 일부 실시예들에서, 테이블의 표현(1504)은 디스플레이 생성 컴포넌트(120a)의 투명 부분을 통한 테이블의 뷰이다(예컨대, 트루 또는 피지컬 패스스루). 일부 실시예들에서, 선택가능 옵션들(1503, 1505, 1507) 중 각자의 옵션의 선택을 검출하는 것에 응답하여, 전자 디바이스(101a)는 각자의 선택된 옵션과 연관된 작동을 수행한다. 예를 들어, 전자 디바이스(101a)는 설정을 활성화하거나, 콘텐츠의 아이템의 재생을 개시하거나, 사용자 인터페이스로 이동하거나, 다른 전자 디바이스와의 통신을 개시하거나, 또는 각자의 선택된 옵션과 연관된 다른 동작을 수행한다.
도 15a에서, 사용자는 자신의 손(1509)으로 제1 선택가능 옵션(1503)으로 지향되는 입력을 제공하고 있다. 전자 디바이스(101a)는 제1 선택가능 옵션(1503)으로 지향되는 사용자의 시선(1501a) 및 간접 입력을 제공하는 것에 대응하는 손 상태의 사용자의 손(1509)을 검출하는 것에 응답하여 입력을 검출한다. 예를 들어, 전자 디바이스(101a)는, 손(1509)의 엄지 손가락이 손(1509)의 다른 손가락과 접촉하는 핀치 손 형상과 같은, 간접 입력에 대응하는 손 형상의 손(1509)을 검출한다. 사용자 입력에 응답하여, 전자 디바이스(101a)는 제1 선택가능 옵션(1503)의 디스플레이를 업데이트하는데, 이는 도 15a에서 제1 선택가능 옵션(1503)이 다른 선택가능 옵션들(1505, 1507)과는 상이한 색상인 이유이다. 일부 실시예들에서, 전자 디바이스(101a)는, 손(1509)이 핀치 손 형상을 만드는 것을 중단하는 것을 검출하는 것과 같이, 선택 입력의 종료를 검출하지 않는 한, 그리고 검출할 때까지 선택 입력과 연관된 작동을 수행하지 않는다.
도 15b에서, 사용자는 손(1509)을 이용한 사용자 입력을 유지한다. 예를 들어, 사용자는 계속해서 손(1509)으로 핀치 손 형상을 만든다. 도 15b에 도시된 바와 같이, 사용자의 시선(1501b)은 제1 선택가능 옵션(1503)으로 계속해서 지향되는 대신에 제2 선택가능 옵션(1505)으로 지향된다. 사용자의 시선(1501b)이 더 이상 제1 선택가능 옵션(1503)으로 지향되지 않지만, 전자 디바이스(101a)는 선택적으로 계속해서 손(1509)으로부터 입력을 검출하고, 선택적으로 입력의 종료(예컨대, 사용자가 더 이상 손(1509)으로 핀치 손 형상을 수행하지 않음)를 검출하는 것에 응답하여 입력에 따라 선택가능 옵션(1503)과 연관된 작동을 수행할 것이다.
도 15b에 도시된 바와 같이, 사용자의 시선(1501b)이 제2 선택가능 옵션(1505)으로 지향되지만, 전자 디바이스(101a)는 제2 옵션(1505)의 외관을 업데이트하는 것을 보류하고 (예컨대, 손(1509)으로부터) 제2 선택가능 옵션(1505)에 직접 입력한다. 일부 실시예들에서, 전자 디바이스(101a)는 제2 선택가능 옵션(1505)으로 입력을 지향시키는데, 그 이유는 그것이 준비 상태 기준을 충족하는 손 상태의 사용자의 손(예컨대, 손(1509) 또는 사용자의 다른 손)을 검출하지 않기 때문이다. 예를 들어, 도 15b에서, 준비 상태 기준을 충족하는 손이 없는데, 그 이유는 손(1509)은 이미 간접적으로 제1 사용자 인터페이스 요소(1503)와 결속되어 있어서(예컨대, 간접 입력을 제공함), 선택가능 옵션(1505)에 대한 입력에 이용가능하지 않고, 사용자의 다른 손은 전자 디바이스(101a)에 보이지 않기 때문이다(예컨대, 디바이스(101a)의 다양한 센서들에 의해 검출되지 않음). 준비 상태 기준은 도 7a 내지 도 8k를 참조하여 위에 더 상세하게 설명되어 있다.
도 15c에서, 전자 디바이스(101a)는 사용자의 시선(1501b)이 제2 선택가능 옵션(1505)으로 지향되고 손(1509)이 계속해서 간접적으로 옵션(1503)과 결속되는 동안 사용자의 손(1511)이 준비 상태 기준을 충족하는 것을 검출한다. 예를 들어, 손(1511)은 손(1511)의 엄지 손가락이 손(1511)의 다른 손가락의 임계 거리(예컨대, 0.1, 0.5, 1, 2, 3, 5, 10 센티미터 등) 내에 있으면서 손가락을 터치하지 않는 예비-핀치 손 형상과 같은 간접 준비 상태(예컨대, 손 상태 B)에 대응하는 손 형상이다. 손(1511)이 준비 상태 기준을 충족하는 동안 사용자의 시선(1501b)이 제2 선택가능 옵션(1505)으로 지향되기 때문에, 전자 디바이스(101a)는 손(1511)에 의해 제공되는 추가적인 입력이 제2 선택가능 옵션(1505)으로 지향될 것이라고 나타내기 위해 제2 선택가능 옵션(1505)을 업데이트한다. 일부 실시예들에서, 전자 디바이스(101a)는 계속해서 옵션(1503)으로 지향되는 손(1509)으로부터의 입력들을 검출하는 동안 손(1511)의 준비 상태를 검출하고, 손(1511)의 간접 입력들을 옵션(1505)으로 지향시키도록 준비한다.
일부 실시예들에서, 전자 디바이스(500)는 도 15a에 도시된 바와 같이 사용자의 시선(1501a)이 옵션(1503)으로 지향되는 동안 간접 준비 상태(예컨대, 손 상태 B)의 손(1511)을 검출하고, 순차적으로 도 15c에 도시된 바와 같이 옵션(1505) 상에서 사용자의 시선(1501b)을 검출한다. 이러한 상황에서, 일부 실시예들에서, 전자 디바이스(101a)는 손(1511)이 간접 준비 상태(예컨대, 손 상태 B)에 있는 동안 사용자의 시선(1501b)이 옵션(1505)으로 지향될 때까지 옵션(1505)의 외관을 업데이트하지 않고, 옵션(1505)을 향해 지향되는 손(1511)으로부터의 간접 입력들을 수신할 준비를 한다. 일부 실시예들에서, 전자 디바이스(500)는 도 15b에 도시된 바와 같이 간접 준비 상태(예컨대, 손 상태 B)의 손(1511)을 검출하기 전에 옵션(1505)으로 지향되는 사용자의 시선(1501b)을 검출하고, 이어서 도 15c에 도시된 바와 같이 간접 준비 상태의 손(1511)을 검출한다. 이러한 상황에서 일부 실시예들에서, 전자 디바이스는 시선(1501b)이 옵션(1505)을 향해 지향되는 동안 준비 상태의 손(1511)이 검출될 때까지 옵션(1505)의 외관을 업데이트하지 않고, 옵션(1505)을 향해 지향되는 손(1511)으로부터의 간접 입력들을 수신할 준비를 한다.
일부 실시예들에서, 사용자의 시선(1501b)이 제3 선택가능 옵션(1507)으로 이동하는 경우, 전자 디바이스(101b)는 제2 선택가능 옵션(1505)을 도 15b에 도시된 외관으로 되돌리고, 손(1511)에 의해(예컨대, 손(1509) 아님, 손(1509)은 이미 결속되어 있고/있거나 선택가능 옵션(1503)에 입력을 제공하고 있음) 제공되는 추가적인 입력이 제3 선택가능 옵션(1507)으로 지향될 것임을 나타내기 위해 제3 선택가능 옵션(1507)을 업데이트할 것이다. 유사하게, 일부 실시예들에서, 손(1509)이 제1 선택가능 옵션(1503)과 결속되지 않고 대신 간접 준비 상태 기준을 충족하는 손 형상(예컨대, 예비-핀치 손 형상을 만듬)이라면, 전자 디바이스(101a)는 (예컨대, 손(1511)의 상태에 상관없이) 사용자가 보고 있는 선택가능 옵션(1503, 1505, 또는 1507)으로 손(1509)의 준비 상태를 지향시킬 것이다. 일부 실시예들에서, 한 손만이 간접 준비 상태 기준(예컨대, 예비-핀치 손 형상임)를 충족하고 다른 손은 사용자 인터페이스 요소와 결속되지 않고 준비 상태 기준을 충족하지 않는 경우, 전자 디바이스(101a)는 준비 상태에 있는 손의 준비 상태를 사용자가 보고 있는 선택가능 옵션(1503, 1505, 또는 1507)으로 지향시킬 것이다.
일부 실시예들에서, 도 7a 내지 도 8k를 참조하여 전술된 바와 같이, 간접 준비 상태들을 검출하는 것에 더하여, 전자 디바이스(101a)는 또한 사용자의 손들 중 하나가, 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손의 손바닥을 향해 구부러지는 가리키는 손 형상과 같은, 직접 조작에 대응하는 손 형상인 동안, 사용자 인터페이스 요소의 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30 등) 내에 있는 직접 준비 상태들을 검출한다. 일부 실시예들에서, 전자 디바이스(101a)는 사용자의 손의 각각과 연관된 직접 준비 상태를 추적할 수 있다. 예를 들어, 손(1511)이 가리키는 손 형상인 동안 제1 선택가능 옵션(1503)의 임계 거리 내에 있고 손(1509)이 가리키는 손 형상인 동안 제2 선택가능 옵션(1505)의 임계 거리 내에 있는 경우, 전자 디바이스(101a)는 손(1511)의 직접 준비 상태 및 임의의 후속 직접 입력(들)을 제1 선택가능 옵션(1503)으로 지향시키고 손(1509)의 직접 준비 상태 및 임의의 후속 직접 입력(들)을 제2 선택가능 옵션(1505)으로 지향시킨다. 일부 실시예들에서, 직접 준비 상태는 손이 임계 거리 내에 있는 사용자 인터페이스 요소로 지향되고, 손의 이동에 따라 이동한다. 예를 들어, 손(1509)이 제2 선택가능 옵션(1505)의 임계 거리 내에 있는 것으로부터 제3 선택가능 옵션(1507)의 임계 거리 내에 있는 것으로 이동하는 경우, 전자 디바이스(101a)는 직접 준비 상태를 제2 선택가능 옵션(1505)으로부터 제3 선택가능 옵션(1507)으로 이동하고 손(1509)의 추가적인 직접 입력을 제3 선택가능 옵션(1509)으로 지향시킬 것이다.
일부 실시예들에서, 전자 디바이스(101a)는 한 손으로부터의 직접 준비 상태(또는 직접 입력) 및 다른 손이 간접 준비 상태 기준을 충족할 때 사용자가 보고 있는 사용자 인터페이스 요소로 지향되는 다른 손으로부터의 간접 준비 상태를 검출할 수 있다. 예를 들어, 손(1511)이 직접 준비 상태에 있거나 또는 직접 입력을 제3 선택가능 옵션(1503)에 제공하고 손(1509)이 간접 준비 상태 기준을 충족하는 손 형상(예컨대, 예비-핀치 손 형상)인 경우, 전자 디바이스(101a)는 사용자의 시선이 계속해서 동일한 사용자 인터페이스 요소로 지향되는 동안 검출되는 손(1509)의 간접 준비 상태 및 손(1509)의 임의의 후속 간접 입력(들)을 사용자가 보고 있는 사용자 인터페이스 요소로 지향시킬 것이다. 마찬가지로, 예를 들어, 손(1509)이 직접 준비 상태에 있거나 또는 직접 입력을 제3 선택가능 옵션(1503)에 제공하고 손(1511)이 간접 준비 상태 기준을 충족하는 손 형상(예컨대, 예비-핀치 손 형상)인 경우, 전자 디바이스(101a)는 사용자의 시선이 계속해서 동일한 사용자 인터페이스 요소로 지향되는 동안 검출되는 손(1511)의 간접 준비 상태 및 손(1511)의 임의의 후속 간접 입력(들)을 사용자가 보고 있는 사용자 인터페이스 요소로 지향시킬 것이다.
일부 실시예들에서, 전자 디바이스(101a)는 직접 입력을 검출하는 것에 응답하여 사용자가 보고 있는 사용자 인터페이스 요소로 간접 준비 상태를 지향시키는 것을 중단한다. 예를 들어, 도 15c에서, 손(1511)이 (예컨대, 선택가능 옵션(1505)과의 간접 상호작용 상태가 된 후에) 제3 선택가능 옵션(1507)과의 직접 상호작용을 개시하는 경우, 전자 디바이스(101a)는 손(1511)의 간접 준비 상태가 제2 선택가능 옵션(1505)으로 지향됨을 나타내는 외관을 갖는 제2 선택가능 옵션(1505)을 디스플레이하는 것을 중단할 것이고, 제공되는 직접 입력에 따라 제3 선택가능 옵션(1507)을 업데이트할 것이다. 예를 들어, 손(1511)이 제3 선택가능 옵션(1507)의 직접 준비 상태 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30 센티미터 등) 내에 있다면, 전자 디바이스(101a)는 손(1511)의 추가적인 직접 입력이 제3 선택가능 옵션(1507)으로 지향될 것이라고 나타내기 위해 제3 선택가능 옵션(1507)을 업데이트할 것이다. 다른 예로서, 손(1511)이 제3 선택가능 옵션(1507)의 직접 입력 임계 거리(예컨대, 0.05, 0.1, 0.3, 0.5, 1, 2 센티미터 등) 내에 있고 제3 선택가능 옵션(1507)과 직접 결속되는 경우(예컨대, 직접 입력을 제공함), 전자 디바이스(101a)는 직접 입력이 제3 선택가능 옵션(1507)으로 제공되고 있음을 나타내기 위해 제3 선택가능 옵션(1507)의 외관을 업데이트할 것이다.
일부 실시예들에서, 손(1511)이 더 이상 준비 상태 기준을 충족하지 않는 경우, 전자 디바이스(101a)는 사용자가 보고 있는 사용자 인터페이스 요소로 준비 상태를 지향시키는 것을 중단할 것이다. 예를 들어, 손(1511)이 선택가능 옵션들(1503, 1505, 1507) 중 하나와 결속되지도 않고 간접 준비 상태 기준을 충족하는 손 형상도 아닌 경우, 전자 디바이스(101a)는 손(1511)과 연관된 준비 상태를 사용자가 보고 있는 선택가능 옵션(1503, 1505, 또는 1507)으로 지향시키는 것을 중단하지만, 계속해서 옵션(1503)과 손(1509)의 간접 상호작용을 유지할 것이다. 예를 들어, 손(1511)이 더 이상 도 15b에서와 같이 전자 디바이스(101b)에 보이지 않는 경우, 전자 디바이스(101a)는 도 15b에 도시된 바와 같이 제2 선택가능 옵션(1505)의 외관을 되돌릴 것이다. 다른 예로서, 손(1509)이 제1 선택가능 옵션(1503)과 결속되어 있는 동안 손(1511)이 사용자 인터페이스 요소들 중 하나와 간접적으로 결속되는 경우, 전자 디바이스(101a)는 사용자의 시선에 기초하여 준비 상태를 다른 사용자 인터페이스 요소로 지향시키지 않을 것이며, 이는 도 15d를 참조하여 아래 설명될 바와 같다.
예를 들어, 도 15d에서, 전자 디바이스(101a)는 제1 선택가능 옵션으로 지향되는 간접 입력(1503)(예컨대, 손(1509)에 의해 제공됨), 및 제2 선택가능 옵션(1505)으로 지향되는 간접 입력(예컨대, 손(1511)에 의해 제공됨)으로 지향되는 간접 입력들을 검출한다. 도 15d에 도시된 바와 같이, 전자 디바이스(101a)는 손(1513)에 의해 간접 입력이 제2 선택가능 옵션(1505)에 제공되고 있음을 나타내기 위해 도 15c의 제2 선택가능 옵션(1505)의 외관으로부터 제2 선택가능 옵션(1505)의 외관을 업데이트한다. 일부 실시예들에서, 전자 디바이스(101a)는 간접 입력에 대응하는 손 형상(예컨대, 핀치 손 형상)의 사용자의 손(1513)을 검출하는 동안 제2 선택가능 옵션(1505)으로 지향되는 사용자의 시선(1501b)을 검출하는 것에 응답하여 제2 선택가능 옵션(1505)으로 입력을 지향시킨다. 일부 실시예들에서, 전자 디바이스(101a)는 입력이 완료될 때 제2 선택가능 옵션(1505)으로 지향되는 입력에 따라 작동을 수행한다. 예를 들어, 손(1513)이 핀치 제스처를 만드는 것을 중단한 후에 간접 선택 입력이 완료된다.
일부 실시예들에서, 두 손(1513, 1509)이 사용자 인터페이스 요소들(예컨대, 각각 제2 선택가능 옵션(1505) 및 제1 선택가능 옵션(1503))과 결속되어 있을 때, 전자 디바이스(101a)는 (예컨대, 디바이스(101a)가 선택가능 옵션(1507)과의 상호작용에 이용가능한 어떠한 손도 검출하지 않았기 때문에) 사용자의 시선에 따라 준비 상태를 다른 사용자 인터페이스 요소로 지향시키지 않는다. 예를 들어, 도 15d에서, 손들(1509, 1513)이 다른 선택가능 옵션들과 간접적으로 결속되어 있는 동안 사용자는 그들의 시선(1501c)을 제3 선택가능 옵션(1507)으로 지향시키고, 전자 디바이스(101a)는 추가적인 입력이 제3 선택가능 옵션(1507)으로 지향될 것임을 나타내기 위해 제3 선택가능 옵션(1507)을 업데이트하는 것을 보류한다.
도 16a 내지 도 16i는 일부 실시예들에 따른 사용자의 두 손으로부터의 입력들을 관리하는 방법(1600)을 도시하는 흐름도이다. 일부 실시예들에서, 본 방법(1600)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1600)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1600)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
일부 실시예들에서, 방법(1600)은 디스플레이 생성 컴포넌트 및 눈 추적 디바이스를 포함하는 하나 이상의 입력 디바이스들(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예컨대, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 전송할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
일부 실시예들에서, 전자 디바이스(101a)의 사용자의 시선(예컨대, 1501a)이 도 15a에서와 같이, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소(예컨대, 1503)로 지향되는 동안(예컨대, 그리고 사용자의 제1 사전정의된 부분(예컨대, 사용자의 오른손과 같은, 사용자의 제1 손, 손가락, 또는 팔)이 (예컨대, 방법들(800, 1000, 1200, 1400, 1800, 및/또는 2000)을 참조하여 설명된 바와 같이) 제1 사용자 인터페이스 요소와 결속되어 있는 동안), 전자 디바이스(101a)는, 눈 추적 디바이스를 통해, 제1 사용자 인터페이스 요소(예컨대, 1503)로부터 멀리 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제2 사용자 인터페이스 요소(예컨대, 1505)로의 사용자의 시선(예컨대, 1501b)의 이동을 검출한다(1602a). 일부 실시예들에서, 사용자의 사전정의된 부분은 사용자의 사전정의된 부분의 포즈(예컨대, 위치, 배향, 손 형상)가 하나 이상의 기준을 충족한다는 결정에 따라 제1 사용자 인터페이스 요소와 간접적으로 결속된다. 예를 들어, 사용자의 손은 손바닥이 사용자의 몸통으로부터 멀리 향하도록 사용자의 손이 배향되고, 제1 사용자 인터페이스 요소로부터 적어도 임계 거리(예컨대, 3, 5, 10, 20, 30 센티미터 등)에 위치되는 것을 검출하는 것에 응답하여 제1 사용자 인터페이스 요소와 간접적으로 결속되고, 사전결정된 손 형상 또는 사전결정된 포즈를 만든다. 일부 실시예들에서, 사전결정된 손 형상은 손의 엄지 손가락이 동일한 손의 다른 손가락(예컨대, 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락)의 임계 거리(예컨대, 0.5, 1, 2 센티미터 등) 내에 있으면서 손가락을 터치하지 않는 예비-핀치 손 형상이다. 일부 실시예들에서, 사전결정된 손 형상은 손의 하나 이상의 손가락들이 펴지고 손의 하나 이상의 손가락들이 손바닥을 향해 구부러진 가리키는 손 형상이다. 일부 실시예들에서, 가리키는 손 형상을 검출하는 것은 사용자가 제2 사용자 인터페이스 요소를 가리키는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 가리키는 손 형상은 사용자가 가리키는 장소에 상관없이 검출된다(예컨대, 입력은 사용자가 가리키는 방향에 기초하기 보다는 사용자의 시선에 기초하여 지향됨). 일부 실시예들에서, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소는 상호작용형 사용자 인터페이스 요소들이고, 제1 사용자 인터페이스 요소 또는 제2 사용자 인터페이스 요소를 향해 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스 요소의 제1 사용자 인터페이스 요소와 연관된 작동을 각각 수행한다. 예를 들어, 제1 사용자 인터페이스 요소는, 선택되면, 전자 디바이스로 하여금 각자의 사용자 인터페이스를 디스플레이하거나, 전자 디바이스의 설정을 변경하거나, 또는 콘텐츠의 재생을 개시하는 것과 같은, 작동을 수행하게 하는 선택가능 옵션이다. 다른 예로서, 제2 사용자 인터페이스 요소는 사용자 인터페이스가 디스플레이되는 컨테이너(예컨대, 윈도우)이고, 제2 사용자 인터페이스 요소의 선택에 이동 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 이동 입력에 따라 제2 사용자 인터페이스 요소의 위치를 업데이트한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소는 동일한 유형들의 사용자 인터페이스 요소들(예컨대, 선택가능 옵션들, 콘텐츠의 아이템들, 윈도우들 등)이다. 일부 실시예들에서, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소는 상이한 유형들의 사용자 인터페이스 요소들이다. 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되는 동안 제1 사용자 인터페이스 요소와의 사용자의 사전결정된 부분의 간접 결속을 검출하는 것에 응답하여, 전자 디바이스는 추가 입력(예컨대, 선택 입력)이 방법들(800, 1200, 1800, 및/또는 2000)을 참조하여 설명된 바와 같이 제1 사용자 인터페이스 요소를 향해 지향될 것임을 나타내기 위해 사용자 인터페이스 요소의 외관(예컨대, 색상, 크기, 위치)을 업데이트한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소는 디바이스에 의해 볼 수 있도록 생성되거나, 디스플레이되거나, 또는 다른 방식으로 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경) 내에서 디스플레이된다(예컨대, 요소들을 포함하는 사용자 인터페이스가 3차원 환경이고/이거나 3차원 환경 내에서 디스플레이됨).
도 15c에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 1503)로부터 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제2 사용자 인터페이스 요소(예컨대, 1505)로의 사용자의 시선(예컨대, 1501b)의 이동을 검출하는 것에 응답하여(1602b), 제1 사전정의된 부분(예컨대, 1509)과는 상이한, 사용자의 제2 사전정의된 부분(예컨대, 1511)(예컨대, 사용자의 왼손과 같은, 사용자의 제2 손가락, 손, 또는 팔)이 (예컨대, 방법(800)을 참조하여 설명되는 바와 같이) 제2 사용자 인터페이스 요소(예컨대, 1505)와의 결속에 이용가능하다는 결정에 따라,
전자 디바이스(101a)는 제2 사용자 인터페이스 요소(예컨대, 1505)의 시각적 외관(예컨대, 색상, 크기, 위치)을 변경한다(1602c). 일부 실시예들에서, 사용자의 제1 사전정의된 부분은 사용자의 제1 손이고, 사용자의 제2 사전정의된 부분은 사용자의 제2 손이다. 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소를 향해 지향되는 동안 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 요소와 간접적으로 결속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소의 시각적 외관을 변경한다. 일부 실시예들에서, 제2 사전정의된 부분이 이미 다른(예컨대, 제3) 사용자 인터페이스 요소와 결속되어 있지 않은 동안 하나 이상의 기준을 충족하는 제2 사전정의된 부분의 포즈 를 검출하는 것에 응답하여 사용자의 제2 사전정의된 부분은 제2 사용자 인터페이스 요소와의 결속에 이용가능하다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분의 포즈 및 위치는 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로의 사용자의 시선의 이동을 검출하기 전후에 동일하다. 일부 실시예들에서, 제2 사용자 인터페이스 요소의 시각적 외관을 변경하는 동안 및 그 후에 사용자의 제1 사전정의된 부분은 제1 사용자 인터페이스 요소와 결속된 상태를 유지한다(예컨대, 사용자의 제1 사전정의된 부분에 의해 제공되는 입력은 여전히 제1 사용자 인터페이스 요소와 상호작용함). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로 이동하는 것을 검출하는 것에 응답하여, 사용자의 제1 사전정의된 부분은 더 이상 제1 사용자 인터페이스 요소와 결속되지 않는다(예컨대, 사용자의 제1 사전정의된 부분에 의해 제공되는 입력이 제1 사용자 인터페이스 요소와 상호작용하지 않음). 예를 들어, 사용자의 제1 사전정의된 부분이 더 이상 제1 사용자 인터페이스 요소와 결속되지 않는 동안, 전자 디바이스는 사용자의 제1 사전정의된 부분에 의해 제공되는 입력에 응답하여 동작들을 수행하는 것을 보류하거나 또는 사용자의 제1 사전정의된 부분에 의해 제공되는 입력에 응답하여 제2 사용자 인터페이스 요소를 이용하여 동작들을 수행한다. 일부 실시예들에서, 제2 사용자 인터페이스 요소 상의 사용자의 시선 및 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와의 결속에 이용가능하다는 것을 검출하는 것에 응답하여, 사용자의 제2 사전정의된 부분은 제2 사용자 인터페이스 요소와 결속된다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와 결속되는 동안, 사용자의 제2 사전정의된 부분에 의해 제공되는 입력들은 제2 사용자 인터페이스 요소와의 상호작용들을 야기한다.
도 15b에서와 같은 일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소(예컨대, 1503)로부터 제2 사용자 인터페이스 요소(예컨대, 1505)로의 사용자의 시선(예컨대, 1501b)의 이동을 검출하는 것에 응답하여(1602b), 사용자의 제2 사전정의된 부분이 (예컨대, 방법(800)을 참조하여 설명되는 바와 같이) 제2 사용자 인터페이스 요소(예컨대, 1501b)와의 결속에 이용가능하지 않다는 결정에 따라, 전자 디바이스(101a)는 제2 사용자 인터페이스 요소(예컨대,1501b)의 시각적 외관을 변경하는 것을 보류한다(1602d). 일부 실시예들에서, 전자 디바이스는 제2 사용자 인터페이스 요소의 시각적 외관을 변경하지 않고 제2 사용자 인터페이스 요소의 디스플레이를 유지한다. 일부 실시예들에서, 전자 디바이스가 사용자의 제2 사전정의된 부분을 검출할 수 없는 경우, 사용자의 제2 사전정의된 부분의 포즈가 하나 이상의 기준을 충족하는 것을 실패하는 경우, 또는 사용자의 제2 사전정의된 부분이 이미 다른(예컨대, 제3) 사용자 인터페이스 요소와 결속된 경우, 사용자의 제2 사전정의된 부분은 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분의 포즈 및 위치는 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로의 사용자의 시선의 이동을 검출하기 전후에 동일하다. 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로 이동하는 것을 검출하는 동안 및 그 후에, 사용자의 제1 사전정의된 부분은 제1 사용자 인터페이스 요소와 결속된 상태를 유지한다(예컨대, 사용자의 제1 사전정의된 부분에 의해 제공되는 입력은 여전히 제1 사용자 인터페이스 요소와 상호작용함). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로 이동하는 것을 검출하는 것에 응답하여, 사용자의 제1 사전정의된 부분은 더 이상 제1 사용자 인터페이스 요소와 결속되지 않는다(예컨대, 사용자의 제1 사전정의된 부분에 의해 제공되는 입력이 제1 사용자 인터페이스 요소와 상호작용하지 않음). 예를 들어, 사용자의 제1 사전정의된 부분이 더 이상 제1 사용자 인터페이스 요소와 결속되지 않는 동안, 전자 디바이스는 사용자의 제1 사전정의된 부분에 의해 제공되는 입력에 응답하여 동작들을 수행하는 것을 보류하거나 또는 사용자의 제1 사전정의된 부분에 의해 제공되는 입력에 응답하여 제2 사용자 인터페이스 요소를 이용하여 동작들을 수행한다. 일부 실시예들에서, 제2 사용자 인터페이스 요소 상의 사용자의 시선 및 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 것을 검출하는 것에 응답하여, 사용자의 제2 사전정의된 부분은 제2 사용자 인터페이스 요소와 결속되지 않는다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와 결속되지 않는 동안, 사용자의 제2 사전정의된 부분에 의해 제공되는 입력들은 제2 사용자 인터페이스 요소와의 상호작용들을 야기하지 않는다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와 결속되지 않는 동안 사용자의 제2 사전정의된 부분에 의해 제공되는 입력들을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 제2 사전정의된 부분이 전자 디바이스에 의해 제시되는 어떠한 사용자 인터페이스 요소들과도 결속되지 않는 경우, 입력에 응답하여 동작을 수행하는 것을 보류한다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 제3 사용자 인터페이스 요소와 결속되기 때문에 제2 사용자 인터페이스 요소와 결속되지 않은 경우, 사용자의 제2 사전정의된 부분에 의해 제공되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 제3 사용자 인터페이스 요소를 이용한 입력에 따라 작동을 수행한다.
사용자의 제2 사전정의된 부분이 결속에 이용가능한 동안 사용자의 시선이 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로 이동하는 것을 검출하는 것에 응답하여 제2 사용자 인터페이스 요소의 시각적 외관을 변경하는 전술한 방식은 사용자의 다수의 부분들을 이용하여 다수의 사용자 인터페이스 요소들과 결속하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분(예컨대, 1509) 및 사용자의 제2 사전정의된 부분(예컨대, 1511)이 어떠한 사용자 인터페이스 요소와도 결속되지 않을 때 충족되는 기준을 포함하는 하나 이상의 기준이 충족되는 동안(1604a)(예컨대, 전자 디바이스는 현재 사용자의 제1 또는 제2 사전정의된 부분들에 의해 제공되는 직접 또는 간접 입력들을 검출하지 않음), 사용자의 시선(예컨대, 1501b)이 제1 사용자 인터페이스 요소(예컨대, 1505)로 지향된다는 결정에 따라, 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 1505)와의 결속(예컨대, 직접 또는 간접 결속)이 가능함을 나타내는 시각적 특성을 갖는 제1 사용자 인터페이스 요소(예컨대, 1505)를 디스플레이하고, 제2 사용자 인터페이스 요소(예컨대, 1507)는 도 15c에서와 같이 시각적 특성 없이 디스플레이된다(1604b). 일부 실시예들에서, 제1 사용자 인터페이스 요소의 관여가 가능함을 나타내는 시각적 특성을 갖는 제1 사용자 인터페이스 요소를 디스플레이하는 것은 하나 이상의 기준이 충족되는 동안 제1 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하기 이전의 제1 사용자 인터페이스 요소의 외관과 비교하여 제1 사용자 인터페이스 요소의 크기, 색상, 위치, 또는 기타 시각적 특성을 업데이트하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 기준이 충족되고 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스는 하나 이상의 기준이 충족되는 동안 제1 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하기 이전에 제2 사용자 인터페이스 요소가 디스플레이된 시각적 특성들을 구비한 제2 사용자 인터페이스 요소의 디스플레이를 유지한다. 일부 실시예들에서, 하나 이상의 기준이 충족되는 동안 사용자의 시선이 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스 요소와의 결속이 가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하고 시각적 특성이 없는 제1 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 하나 이상의 기준은 방법(800)의 하나 이상의 단계들에 따라 전자 디바이스가 준비 상태에 있는 사용자의 제1 또는 제2 사전정의된 부분들을 검출할 때 충족되는 기준을 추가로 포함한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분(예컨대, 1509) 및 사용자의 제2 사전정의된 부분(예컨대, 1511)이 어떠한 사용자 인터페이스 요소와도 결속되지 않을 때 충족되는 기준을 포함하는 하나 이상의 기준이 충족되는 동안(1604a), 사용자의 시선(예컨대, 1501b)이 제2 사용자 인터페이스 요소(예컨대, 1505)로 지향된다는 결정에 따라, 전자 디바이스(101a)는 제2 사용자 인터페이스 요소와의 결속(예컨대, 직접 또는 간접 결속)이 가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소(예컨대, 1505)를 디스플레이하고, 제1 사용자 인터페이스 요소(예컨대, 1507)는 도 15c에서와 같이 시각적 특성 없이 디스플레이된다(1604c). 일부 실시예들에서, 제2 사용자 인터페이스 요소의 관여가 가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것은 하나 이상의 기준이 충족되는 동안 제2 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하기 이전의 제2 사용자 인터페이스 요소의 외관과 비교하여 제2 사용자 인터페이스 요소의 크기, 색상, 위치, 또는 기타 시각적 특성을 업데이트하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 기준이 충족되고 사용자의 시선이 제2 사용자 인터페이스 요소로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스는 하나 이상의 기준이 충족되는 동안 제2 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하기 이전에 제1 사용자 인터페이스 요소가 디스플레이된 시각적 특성들을 구비한 제1 사용자 인터페이스 요소의 디스플레이를 유지한다. 일부 실시예들에서, 하나 이상의 기준이 충족되는 동안 사용자의 시선이 제2 사용자 인터페이스 요소로부터 제1 사용자 인터페이스 요소로 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소와의 결속이 가능함을 나타내는 시각적 특성을 구비한 제1 사용자 인터페이스 요소를 디스플레이하고 시각적 특성이 없는 제2 사용자 인터페이스 요소를 디스플레이한다.
도 15c에서와 같은 일부 실시예들에서, 하나 이상의 기준이 충족되는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 제1 사전정의된 부분(예컨대, 1509) 또는 사용자의 제2 사전정의된 부분(예컨대,1511)으로부터 입력(예컨대, 직접 또는 간접 입력)을 검출한다(1604d). 일부 실시예들에서, 사용자의 제1 또는 제2 사전정의된 부분들로부터의 입력을 검출하기 이전에, 방법(800)에 따라 전자 디바이스는 사용자의 동일한 사전정의된 부분이 준비 상태임을 검출한다. 예를 들어, 전자 디바이스는 사용자가 오른손이 사용자 인터페이스 요소들로부터 임계 거리(예컨대, 1, 3, 5, 10, 15, 30 센티미터 등)보다 멀리 있는 동안 자신의 오른손으로 예비-핀치 손 형상을 만드는 것을 검출하고, 이어서 사용자가 오른손이 사용자 인터페이스 요소들로부터 임계 거리보다 멀리 있는 동안 자신의 오른손으로 핀치 손 형상을 만드는 것을 검출한다. 다른 예로서, 전자 디바이스는 사용자가 왼손이 각자의 사용자 인터페이스 요소의 제1 임계 거리(예컨대, 1, 3, 5, 10, 15, 30 센티미터 등) 내에 있는 동안 자신의 왼손으로 가리키는 손 형상을 만드는 것을 검출하고, 이어서 사용자가 가리키는 손 형상을 유지하는 동안 각자의 사용자 인터페이스 요소의 제2 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3 센티미터 등) 내에서 자신의 왼손을 이동하는 것을 검출한다.
도 15a에서와 같은 일부 실시예들에서, 입력을 검출하는 것에 응답하여(1604e), 입력이 수신될 때 사용자의 시선(예컨대, 1501a)이 제1 사용자 인터페이스 요소(예컨대, 1503)로 지향된다는 결정에 따라, 전자 디바이스(101a)는 제1 사용자 인터페이스 요소(예컨대, 1503)에 대응하는 동작을 수행한다(1604f)(예컨대, 제1 사용자 인터페이스 요소를 선택, 제1 사용자 인터페이스 요소와 연관된 사용자 인터페이스로 이동, 콘텐츠의 아이템의 재생의 개시, 설정을 활성화 또는 비활성화, 다른 전자 디바이스와의 통신을 개시 또는 종료, 제1 사용자 인터페이스 요소의 콘텐츠를 스크롤 등).
도 15a에서와 같은 일부 실시예들에서, 입력을 검출하는 것에 응답하여(1604e), 입력이 수신될 때 사용자의 시선(예컨대, 1501a)이 제2 사용자 인터페이스 요소(예컨대, 1503)로 지향된다는 결정에 따라, 전자 디바이스(101a)는 제2 사용자 인터페이스 요소(예컨대, 1503)에 대응하는 동작을 수행한다(1604g)(예컨대, 제1 사용자 인터페이스 요소를 선택, 제1 사용자 인터페이스 요소와 연관된 사용자 인터페이스로 이동, 콘텐츠의 아이템의 재생의 개시, 설정을 활성화 또는 비활성화, 다른 전자 디바이스와의 통신을 개시 또는 종료, 제2 사용자 인터페이스 요소의 콘텐츠를 스크롤 등). 일부 실시예들에서, 전자 디바이스는 입력이 수신될 때 사용자가 보고 있는 사용자 인터페이스 요소로 입력을 지향시킨다.
사용자가 보고 있는 사용자 인터페이스 요소의 시각적 특성을 업데이트하고 사용자가 보고 있는 사용자 인터페이스 요소를 향해 입력을 지향시키는 전술한 방식은 사용자가 양손을 사용하여 사용자 인터페이스와 상호작용하도록 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 15c에서와 같은 일부 실시예들에서, 하나 이상의 기준은 사용자의 제1 사전정의된 부분(예컨대, 1511) 또는 제2 사전정의된 부분(예컨대, 1509) 중 적어도 하나가 사용자 인터페이스 요소(예컨대, 1606a)와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능할 때 충족되는 기준을 포함한다. 일부 실시예들에서, 방법(800)에 따라 사용자의 제1 및/또는 제2 사전정의된 부분들이 준비 상태에 있을 때 기준이 충족된다. 일부 실시예들에서, 하나 이상의 기준은 사용자의 제1 및 제2 사전정의된 부분들 중 하나 또는 둘 모두가 결속에 이용가능한지 여부에 상관없이 충족된다. 일부 실시예들에서, 사용자의 제1 및 제2 사전정의된 부분들은 사용자의 손들이다.
사용자의 제1 또는 제2 사전정의된 부분이 사용자 인터페이스 요소와의 결속에 이용가능할 때 충족되는 기준을 포함하는 하나 이상의 기준에 응답하여 사용자 인터페이스 요소들 중 하나가 결속에 이용가능함을 나타내는 전술한 방식은 사용자의 사전정의된 부분이 입력을 제공하도록 이용가능할 때 입력이 어느 사용자 인터페이스 요소로 지향될지 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 15b에서와 같은 일부 실시예들에서, 사용자의 시선(예컨대, 1501b)이 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소(예컨대, 1503)를 떠나 제2 사용자 인터페이스 요소(예컨대, 1505)로 이동하는 것을 검출하는 것에 응답하여(1608a), 사용자의 제1 사전정의된 부분(예컨대, 1509) 및 제2 사전정의된 부분(예컨대, 도 15c의 1511)이 사용자 인터페이스 요소와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능하지 않다는 결정에 따라, 전자 디바이스(101a)는 도 15b에서와 같이, 제2 사용자 인터페이스 요소의 시각적 외관(예컨대,1501b)을 변경하는 것을 보류한다(1608b). 일부 실시예들에서, 사용자의 사전정의된 부분은, 전자 디바이스와 통신하는 입력 디바이스들(예컨대, 손 추적 디바이스, 하나 이상의 카메라들 등)이 사용자의 사전정의된 부분을 검출하지 않을 때, 사용자의 사전정의된 부분(들)이 다른 사용자 인터페이스 요소(들)와 결속될 때(예컨대, 지향되는 입력을 제공), 또는 방법(800)에 따라 준비 상태에 있지 않을 때, 결속에 이용가능하지 않다. 예를 들어, 사용자의 오른손은 선택 입력을 각자의 사용자 인터페이스 요소에 현재 제공하고 있고 사용자의 왼손은 전자 디바이스와 통신하는 입력 디바이스들에 의해 검출되지 않는 경우, 전자 디바이스는 사용자의 시선이 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로 이동하는 것을 검출하는 것에 응답하여 제2 사용자 인터페이스 요소의 시각적 외관을 업데이트하는 것을 보류한다.
사용자의 사전정의된 부분이 모두 결속에 이용가능하지 않을 때 제2 사용자 인터페이스 요소의 시각적 외관을 업데이트하는 것을 보류하는 전술한 방식은 단지 사용자의 사전정의된 부분이 입력을 제공하도록 이용가능한 경우 입력이 제2 사용자 인터페이스 요소로 지향될 것임을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제2 사전정의된 부분(예컨대, 1511)이 도 15c에서와 같이 제2 사용자 인터페이스 요소와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능한 동안, 그리고 제2 사용자 인터페이스 요소의 시각적 외관(예컨대, 1505)을 제2 사용자 인터페이스 요소의 변경된 외관(예컨대, 1505)을 변경한 후에, 전자 디바이스(101a)는, 눈 추적 디바이스를 통해, 사용자의 제2 사전정의된 부분(예컨대, 1511)이 (예컨대, 사용자의 시선이 제2 사용자 인터페이스 요소 상에 유지되는 동안) 더 이상 도 15b에서와 같이 제2 사용자 인터페이스 요소(예컨대, 1505)와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능하지 않다는 것을 검출한다(1610a). 일부 실시예들에서, 사용자의 제2 사전정의된 부분은 더 이상 결속에 이용가능하지 않은데, 그 이유는 전자 디바이스와 통신하는 입력 디바이스들이 더 이상 사용자의 제2 사전정의된 부분을 검출하지 않기 때문이고(예컨대, 사용자의 제2 사전정의된 부분은 사용자의 제2 사전정의된 부분을 검출하는 하나 이상의 입력 디바이스들의 "시야" 밖에 있음), 사용자의 제2 사전정의된 부분은 상이한 사용자 인터페이스 요소와 결속되거나, 또는 사용자의 제2 사전정의된 부분은 방법(800)에 따라 준비 상태가 되는 것을 중단한다. 예를 들어, 사용자의 손이 준비 상태와 연관된 손 형상을 만드는 것으로부터 준비 상태와 연관되지 않은 손 형상을 만드는 것으로 전이하는 것을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 손이 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다고 결정한다.
도 15b에서와 같은 일부 실시예들에서, 사용자의 제2 사전정의된 부분(예컨대, 도 15c의 1511)이 더 이상 제2 사용자 인터페이스 요소(예컨대, 1505)와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능하지 않다는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 제2 사용자 인터페이스 요소의 변경된 외관(예컨대, 1505)을 디스플레이하는 것을 중단한다(1610b)(예컨대, 변경된 외관 없이 제2 사용자 인터페이스 요소를 디스플레이 및/또는 그것이 변경된 외관으로 디스플레이되기 전에 가졌던 외관을 갖는 제2 사용자 인터페이스 요소를 디스플레이함). 일부 실시예들에서, 전자 디바이스는 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와의 결속에 이용가능한 동안 제2 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하기 이전에 제2 사용자 인터페이스 요소가 디스플레이되었던 동일한 시각적 외관으로 제2 사용자 인터페이스 요소를 디스플레이한다.
사용자의 제2 사전정의된 부분이 더 이상 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않음을 검출하는 것에 응답하여 제2 사용자 인터페이스 요소의 시각적 외관에 대한 변경을 되돌리는 전술한 방식은 전자 디바이스의 제2 사전정의된 부분에 의해 제공되는 입력에 응답하여 전자 디바이스가 제2 사용자 인터페이스 요소에 대해 작동을 수행하지 않을 것임을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제2 사전정의된 부분(예컨대, 도 15c의 1511)이 제2 사용자 인터페이스 요소(예컨대, 1505)와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능하지 않다는 결정 이후에 그리고 (예컨대, 제2 사용자 인터페이스 요소와의 결속에 이용가능한 사용자의 사전정의된 부분이 없음을 나타내는 유휴 상태 외관과 같은 외관으로) 사용자의 시선(예컨대, 1501b)이, 도 15b에서와 같이, 제2 사용자 인터페이스 요소(예컨대, 1505)로 지향되는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 제2 사전정의된 부분(예컨대, 1511)이 이제, 도 15c에서와 같이, 제2 사용자 인터페이스 요소(예컨대, 1505)와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능하다는 것을 검출한다(1612a). 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 결속에 이용가능하다는 것을 검출하는 것은 방법(800)에 따라 사용자의 제2 사전정의된 부분이 준비 상태에 있음을 검출하는 것을 포함한다. 예를 들어, 전자 디바이스는 제2 사용자 인터페이스 요소의 사전정의된 거리(예컨대, 1, 2, 3, 5, 10, 15, 30 센티미터 등) 내에서 가리키는 손 형상의 사용자의 손을 검출한다.
도 15c에서와 같은 일부 실시예들에서, (예컨대, 제2 사용자 인터페이스 요소를 향해 지향되는 사용자의 시선을 검출하는 동안) 사용자의 제2 사전정의된 부분(예컨대, 1511)이 이제 제2 사용자 인터페이스 요소(예컨대, 1505)와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능하다는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 제2 사용자 인터페이스 요소(예컨대,1505)의 시각적 외관(예컨대, 크기, 색상, 위치, 텍스트 또는 라인 스타일 등)을 변경한다(1612b). 일부 실시예들에서, 사용자가 상이한 사용자 인터페이스 요소를 보는 동안 사용자의 제2 사전정의된 부분이 이제 상이한 사용자 인터페이스 요소와의 결속에 이용가능하다는 것을 검출하는 것에 응답하여, 전자 디바이스는 상이한 사용자 인터페이스 요소의 시각적 외관을 업데이트하고 제2 사용자 인터페이스 요소의 시각적 외관을 유지한다.
사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와의 결속에 준비되어 있는 것을 검출하는 것에 응답하여 제2 사용자 인터페이스 요소의 시각적 외관을 변경하는 전술한 방식은 사용자에게 사용자의 제2 사전정의된 부분에 의해 제공되는 입력이 제2 사용자 인터페이스 요소로 지향되는 작동을 야기할 것임을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 15d에서와 같은 일부 실시예들에서, 사용자의 시선(예컨대, 1501c)이 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소(예컨대, 1503)를 떠나 제2 사용자 인터페이스 요소(예컨대, 1507)로 이동하는 것을 검출하는 것에 응답하여(1614a), 사용자의 제1 사전정의된 부분(예컨대, 1509) 및 제2 사전정의된 부분(예컨대, 1511)이 이미 제2 사용자 인터페이스 요소(예컨대,1507) 이외의 각자의 사용자 인터페이스 요소들과 결속되어 있다(예컨대, 지향되는 직접 또는 간접 입력들을 제공)는 결정에 따라, 전자 디바이스(101a)는 제2 사용자 인터페이스 요소의 시각적 외관(예컨대,1507)을 변경하는 것을 보류한다(1614b). 일부 실시예들에서, 사용자의 사전정의된 부분(들)이 각자의 사용자 인터페이스 요소로 (예컨대, 직접 또는 간접) 지향되는 입력(예컨대, 선택 입력 또는 드래그 또는 스크롤 입력과 같은 다른 입력의 선택 부분)을 제공하는 경우 또는 사용자의 사전정의된 부분(들)이 방법(800)에 따라 각자의 사용자 인터페이스 요소를 향해 지향되는 직접 준비 상태인 경우, 사용자의 제1 및/또는 제2 사전정의된 부분들은 이미 각자의 사용자 인터페이스 요소와 결속되어 있다. 예를 들어, 사용자의 오른손은 제1 각자의 사용자 인터페이스로 지향되는 선택 입력의 개시에 대응하는 핀치 손 형상이고, 사용자의 왼손은 제2 각자의 사용자 인터페이스 요소를 향해 지향되는 직접 준비 상태인 왼손에 대응하는 제2 각자의 사용자 인터페이스 요소의 거리 임계치(예컨대, 1, 3, 5, 10, 15, 30 센티미터 등) 내에 있는 가리키는 손 형상이다. 일부 실시예들에서, 사용자의 제1 및 제2 사전정의된 부분들이 이미 다른 사용자 인터페이스 요소들과 결속되는 동안 제2 사용자 인터페이스 요소 이외의 각자의 사용자 인터페이스 요소 상에서 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 각자의 사용자 인터페이스 요소의 시각적 외관을 변경하는 것을 보류한다.
사용자의 제1 및 제2 사전정의된 부분들이 이미 각자의 사용자 인터페이스 요소들과 결속되어 있는 동안 사용자의 시선이 제2 사용자 인터페이스 요소를 향해 지향되는 것에 응답하여 제2 사용자 인터페이스 요소의 시각적 외관을 변경하는 것을 보류하는 전술한 방식은 사용자의 제1 및 제2 사전정의된 부분들에 의해 제공되는 입력들이 제2 사용자 인터페이스 요소를 향해 지향되지 않을 것임을 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 15d에서와 같은 일부 실시예들에서, 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제2 사용자 인터페이스 요소(예컨대, 1507)와의 결속에 이용가능하지 않다는 결정은 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제2 사용자 인터페이스 요소(예컨대, 1507)과는 상이한 제3 사용자 인터페이스 요소(예컨대, 1505)와 결속되어 있다(예컨대, 직접 또는 간접 입력을 제공함)는 결정에 기초한다(1616a). 일부 실시예들에서, 사용자의 제2 사전정의된 부분은 방법(800)에 따라 사용자의 제2 사전정의된 부분이 제3 사용자 인터페이스 요소에 입력(예컨대, 직접 또는 간접)을 제공하고 있을 때 또는 사용자의 제2 사전정의된 부분이 제3 사용자 인터페이스 요소와 연관된 직접 준비 상태에 있을 때 제3 사용자 인터페이스 요소와 결속된다. 예를 들어, 사용자의 손이 선택 입력을 제3 사용자 인터페이스 요소에 직접적 또는 간접적으로 제공하는 핀치 손 형상 또는 예비-핀치 손 형상인 경우, 사용자의 손은 제3 사용자 인터페이스 요소와 결속되고 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다. 다른 예로서, 사용자의 손이 제3 사용자 인터페이스 요소의 준비 상태 임계치(예컨대, 1, 2, 3, 5, 10, 15, 30 센티미터 등) 또는 선택 임계치(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3 센티미터 등) 내에서 가리키는 손 형상인 경우, 사용자의 손은 제3 사용자 인터페이스 요소와 결속되고 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다.
사용자의 제2 사전정의된 부분이 제3 사용자 인터페이스 요소와 결속되어 있다는 결정에 기초하여 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다고 결정하는 전술한 방식은 사용자가 제2 사용자 인터페이스 요소를 보고 있을 때에도 제3 사용자 인터페이스 요소와의 결속을 유지하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 15d에서와 같은 일부 실시예들에서, 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제2 사용자 인터페이스 요소(예컨대, 1507)와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능하지 않다는 결정은 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제2 사용자 인터페이스 요소(예컨대, 1507)와의 결속에 필요한 사전결정된 포즈(예컨대, 위치, 배향, 손 형상)가 아니라는 결정에 기초한다(1618a). 일부 실시예들에서, 사전결정된 포즈는 방법(800)의 준비 상태와 연관된 포즈이다. 일부 실시예들에서, 사용자의 사전정의된 부분은 사용자의 손이고, 사전결정된 포즈는 손이 각자의 사용자 인터페이스 요소의 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30) 내에 있는 동안 손바닥이 각자의 사용자 인터페이스 요소를 향하도록 가리키는 제스처의 손이다. 일부 실시예들에서, 사용자의 사전정의된 부분은 사용자의 손이고, 사전결정된 포즈는 엄지 손가락 및 다른 손가락이 서로의 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3 센티미터 등) 내에 있으면서 터치하지 않는 예비-핀치 손 형상의 손이, 손바닥이 사용자 인터페이스를 향하는 것이다. 일부 실시예들에서, 제2 사전정의된 부분의 포즈가 제2 사용자 인터페이스 요소와의 결속에 필요한 하나 이상의 사전결정된 포즈들과 매칭되지 않는 경우, 전자 디바이스는 제2 사용자 인터페이스 요소 상에서 사용자의 시선을 검출하는 것에 응답하여 제2 사용자 인터페이스 요소의 시각적 외관을 변경하는 것을 보류한다.
사전정의된 부분의 포즈가 사전결정된 포즈가 아닐 때 사용자의 사전정의된 부분이 결속에 이용가능하지 않다고 결정하는 전술한 방식은 사용자가 입력을 개시하기 위해 사전결정된 포즈를 만들고 입력이 바람직하지 않을 때 포즈를 만드는 것을 보류하게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제2 사전정의된 부분(예컨대, 도 15c의 1511)이 제2 사용자 인터페이스 요소(예컨대, 1505)와의 결속(예컨대, 직접 또는 간접 결속)에 이용가능하지 않다는 결정은 사용자의 제2 사전정의된 부분(예컨대, 1511)이, 도 15b에서와 같은, 전자 디바이스(1620a)와 통신하는 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 범위 센서들, 손 추적 디바이스들 등)에 의해 검출되지 않는다는 결정에 기초한다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자의 제2 사전정의된 부분이 하나 이상의 입력 디바이스들에 대해 사전결정된 영역(예컨대, "시야") 내에 있는 하나 이상의 입력 디바이스들에 대한 위치를 갖는 동안 사용자의 제2 사전정의된 부분을 검출할 수 있고, 사용자의 제2 사전정의된 부분이 사전결정된 영역 밖에 있는 하나 이상의 입력 디바이스들에 대해 위치를 갖는 동안 사용자의 제2 사전정의된 부분을 검출할 수 없다. 예를 들어, 카메라, 범위 센서, 또는 기타 이미지 센서를 포함하는 손 추적 디바이스는 카메라, 범위 센서, 또는 기타 이미지 센서에 의해 캡처되는 영역들을 포함하는 시야를 갖는다. 이 예에서, 사용자의 손들이 손 추적 디바이스의 시야에 있지 않은 동안, 사용자의 손들은 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않은데, 그 이유는 전자 디바이스는 사용자의 손들이 손 추적 디바이스의 시야 밖에 있는 동안 사용자의 손들로부터의 입력들을 검출할 수 없기 때문이다.
사용자의 사전정의된 부분이 전자 디바이스와 통신하는 하나 이상의 입력 디바이스들에 의해 검출되지 않는다는 결정에 기초하여 사용자의 사전정의된 부분이 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다고 결정하는 전술한 방식은 전자 디바이스일 때에만 시선에 응답하여 제2 사용자 인터페이스 요소의 시각적 특성을 변경하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 15e에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소(예컨대, 1505) 및 제2 사용자 인터페이스 요소(예컨대, 1507)를 디스플레이하는 동안(1622a), 사용자의 제1 사전정의된 부분(예컨대, 1511)이 제1 사용자 인터페이스 요소(예컨대, 1505)에 대응하는 위치의 임계 거리(예컨대, 사용자 인터페이스 요소(들)와의 직접 상호작용에 대응하는 0.5, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같음) 내에 있고 사용자의 제2 사전정의된 부분(예컨대, 1509)이 제2 사용자 인터페이스 요소(예컨대, 1507)에 대응하는 위치의 임계 거리 내에 있다는 결정에 따라(1622b), 전자 디바이스(101a)는 사용자의 제1 사전정의된 부분(예컨대, 1511)이 제1 사용자 인터페이스 요소(예컨대, 1505)와의 직접 결속에 이용가능함을 나타내는 시각적 특성(예컨대, 색상, 위치, 크기, 라인 또는 텍스트 스타일)을 갖는 제1 사용자 인터페이스 요소(예컨대, 1505)를 디스플레이한다(1622c). 일부 실시예들에서, 사용자의 제1 사전정의된 부분에 의해 제1 사용자 인터페이스 요소에 제공되는 입력을 수신하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소와 연관된 대응하는 작동을 수행한다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 사전정의된 포즈에 대응하는 포즈를 갖지 않는 경우, 전자 디바이스는 제1 사용자 인터페이스 요소가 사용자의 제1 사전정의된 부분과의 직접 결속에 이용가능하다고 나타내는 시각적 특성을 갖는 제1 사용자 인터페이스 요소를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 사용자의 제1 및 제2 사전정의된 부분들은 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같은, 사전결정된 포즈에 대응하는 포즈들을 갖는다.
일부 실시예들에서, 도 15e에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소(예컨대, 1505) 및 제2 사용자 인터페이스 요소(예컨대, 1507)를 디스플레이하는 동안(1622a), 사용자의 제1 사전정의된 부분(예컨대, 1511)이 제1 사용자 인터페이스 요소(예컨대, 1505)에 대응하는 위치의 임계 거리(예컨대, 사용자 인터페이스 요소(들)와의 직접 상호작용에 대응하는 0.5, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같음) 내에 있고 사용자의 제2 사전정의된 부분(예컨대, 1509)이 제2 사용자 인터페이스 요소(예컨대, 1507)에 대응하는 위치의 임계 거리 내에 있다는 결정에 따라(1622b), 전자 디바이스(101a)는 제2 사용자 인터페이스 요소(예컨대, 1507)가 사용자의 제2 사전정의된 부분(예컨대, 1509)과의 직접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소(예컨대, 1507)를 디스플레이한다(1622d). 일부 실시예들에서, 사용자의 제2 사전정의된 부분에 의해 제2 사용자 인터페이스 요소에 제공되는 입력을 수신하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스 요소와 연관된 대응하는 작동을 수행한다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 (예컨대, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같이) 사전정의된 포즈에 대응하는 포즈를 갖지 않는 경우, 전자 디바이스는 제2 사용자 인터페이스 요소가 사용자의 제2 사전정의된 부분과의 직접 결속에 이용가능하다고 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것을 보류한다.
제1 사용자 인터페이스 요소가 직접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제1 사용자 인터페이스 요소를 디스플레이하고 제2 사용자 인터페이스 요소가 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 전술한 방식은 사용자가 입력들을 제1 및 제2 사용자 인터페이스 요소들로 각각 사용자의 제1 및 제2 사전정의된 부분들과 동시에 지향하게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 15e에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소(예컨대, 1505) 및 제2 사용자 인터페이스 요소(예컨대, 1507)를 디스플레이하는 동안(1624a), 사용자의 제1 사전정의된 부분(예컨대, 1515)이 제1 사용자 인터페이스 요소(예컨대, 1505)에 대응하는 위치의 임계 거리(예컨대, 사용자 인터페이스 요소(들)와의 직접 상호작용에 대응하는 0.5, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같음) 내에 있고, 사용자의 제2 사전정의된 부분(예컨대, 1509)이 제2 사용자 인터페이스 요소(예컨대, 1507)에 대응하는 위치의 임계 거리보다 멀리 있지만, 도 15e에서와 같이, 제2 사용자 인터페이스 요소(예컨대, 1507)와의 결속(예컨대, 간접 결속)에 이용가능하다는 결정에 따라(1624b), 전자 디바이스(101a)는 사용자의 제1 사전정의된 부분(예컨대, 1515)이 제1 사용자 인터페이스 요소(예컨대, 1505)와의 직접 결속에 이용가능함을 나타내는 시각적 특성(예컨대, 색상, 크기, 위치, 투명성, 형상, 라인 및/또는 텍스트 스타일)을 갖는 제1 사용자 인터페이스 요소(예컨대, 1505)를 디스플레이한다(1624c). 일부 실시예들에서, 사용자의 제1 사전정의된 부분의 포즈는 방법(800)에 따른 준비 상태와 연관된 사전정의된 포즈에 대응한다. 일부 실시예들에서, 제1 사전정의된 부분의 위치가 제1 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있는 것으로부터 제3 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있는 것으로 변경된다는 결정에 따라, 전자 디바이스는 시각적 특성을 갖는 제1 사용자 인터페이스 요소를 디스플레이하는 것을 중단하고 시각적 특성을 갖는 제3 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분은 방법(800)을 참조하여 설명된 준비 상태와 연관된 사전결정된 포즈이다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분은, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같이, 제2 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소와의 간접 상호작용에 대응하는 거리에 있다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분은 방법들(800, 1000, 1200, 1400, 1800, 및/또는 2000)을 참조하여 설명된 바와 같이, 사전결정된 포즈에 대응하는 포즈를 갖는다.
일부 실시예들에서, 도 15e에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소(예컨대, 1505) 및 제2 사용자 인터페이스 요소(예컨대, 1507)를 디스플레이하는 동안(1624a), 사용자의 제1 사전정의된 부분(예컨대, 1515)이 제1 사용자 인터페이스 요소(예컨대, 1505)에 대응하는 위치의 임계 거리(예컨대, 사용자 인터페이스 요소(들)와의 직접 상호작용에 대응하는 0.5, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같음) 내에 있고, 사용자의 제2 사전정의된 부분(예컨대, 1509)이 제2 사용자 인터페이스 요소(예컨대, 1507)에 대응하는 위치의 임계 거리보다 멀리 있지만, 도 15e에서와 같이, 제2 사용자 인터페이스 요소(예컨대, 1507)와의 결속(예컨대, 간접 결속)에 이용가능하다는 결정에 따라(1624b), 사용자의 시선(예컨대, 1501a)이 제2 사용자 인터페이스 요소(예컨대, 1507)로 지향된다는 결정에 따라, 전자 디바이스(101a)는 사용자의 제2 사전정의된 부분(예컨대, 1509)이 제2 사용자 인터페이스 요소(예컨대,1507)와의 간접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소(예컨대, 1507)를 디스플레이한다(1624d). 일부 실시예들에서, 사용자의 시선이 제2 사용자 인터페이스 요소로 지향되는 것으로부터 제3 사용자 인터페이스 요소로 지향되는 것으로 이동하는 경우, 전자 디바이스는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것을 중단하고 시각적 특성을 갖는 제3 사용자 인터페이스 요소를 디스플레이한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소를 디스플레이하는 동안(1624a), 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 요소에 대응하는 위치의 임계 거리(예컨대, 사용자 인터페이스 요소(들)와의 직접 상호작용에 대응하는 0.5, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같음) 내에 있고, 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소에 대응하는 위치의 임계 거리보다 멀리 있지만 제2 사용자 인터페이스 요소와의 결속(예컨대, 간접 결속)에 이용가능하다는 결정에 따라(1624b), 사용자의 시선이 제2 사용자 인터페이스 요소로 지향되지 않는다는 결정에 따라, 전자 디바이스(101a)는 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와의 간접 결속에 이용가능함을 나타내는 시각적 특성없이 제2 사용자 인터페이스 요소를 디스플레이한다(1624e). 예를 들어, 도 15e에서, 사용자의 시선(1501a)이 사용자 인터페이스 요소(1507)로 지향되지 않는다면, 손(1509)이 사용자 인터페이스 요소(1507)와의 간접 결속에 이용가능함을 나타내는 시각적 특성(예컨대, 도 15e의 쉐이딩)을 갖는 사용자 인터페이스 요소(1507)가 디스플레이되지 않을 것이다. 일부 실시예들에서, 전자 디바이스는 제2 사용자 인터페이스 요소가 간접 결속에 이용가능하기 위해 사용자의 시선이 제2 사용자 인터페이스 요소로 지향되도록 요구한다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 제1 사용자 인터페이스 요소와 직접 결속되고 사용자의 제2 사전정의된 부분이 다른 사용자 인터페이스 요소와의 간접 결속에 이용가능한 동안, 전자 디바이스는 제1 사용자 인터페이스 요소가 사용자의 제1 사전정의된 부분과의 직접 결속에 이용가능함을 나타내고 사용자의 시선이 지향되는 사용자 인터페이스 요소가 사용자의 제2 사전정의된 부분과의 간접 결속에 이용가능함을 나타낸다. 일부 실시예들에서, 방법(1400)의 하나 이상의 단계들에 따라 직접 결속의 표시는 간접 결속의 표시와는 상이하다.
제1 사용자 인터페이스 요소가 직접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제1 사용자 인터페이스 요소를 디스플레이하고 제2 사용자 인터페이스 요소가 간접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 전술한 방식은 사용자가 입력들을 제1 및 제2 사용자 인터페이스 요소들로 각각 사용자의 제1 및 제2 사전정의된 부분들과 동시에 지향하게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 15e에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소(예컨대, 1507) 및 제2 사용자 인터페이스 요소(예컨대, 1505)를 디스플레이하는 동안(1626a), 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제2 사용자 인터페이스 요소(예컨대, 1505)에 대응하는 위치의 임계 거리(예컨대, 사용자 인터페이스 요소(들)와의 직접 상호작용에 대응하는 0.5, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같음) 내에 있고 사용자의 제1 사전정의된 부분(예컨대, 1509)이 제1 사용자 인터페이스 요소(예컨대, 1507)에 대응하는 위치의 임계 거리보다 멀리 있지만 제1 사용자 인터페이스 요소(예컨대, 1507)와의 결속(예컨대, 간접 결속)에 이용가능하다는 결정에 따라(1626b), 전자 디바이스(101a)는 도 15e에서와 같이, 제2 사용자 인터페이스 요소(예컨대, 1505)가 사용자의 제2 사전정의된 부분(예컨대, 1511)과의 직접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소(예컨대, 1505)를 디스플레이한다(1626c). 일부 실시예들에서, 사용자의 제2 사전정의된 부분의 포즈는 방법(800)에 따른 준비 상태와 연관된 사전정의된 포즈에 대응한다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분의 위치가 제2 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있는 것으로부터 제3 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있는 것으로 변경된다는 결정에 따라, 전자 디바이스는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것을 중단하고 시각적 특성을 갖는 제3 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분은 방법(800)을 참조하여 설명된 준비 상태와 연관된 사전결정된 포즈이다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분은, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같이, 제1 사용자 인터페이스 요소로부터 제1 사용자 인터페이스 요소와의 간접 상호작용에 대응하는 거리에 있다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분은 방법들(800, 1000, 1200, 1400, 1800, 및/또는 2000)을 참조하여 설명된 바와 같이, 사전결정된 포즈에 대응하는 포즈를 갖는다.
일부 실시예들에서, 도 15e에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소를 디스플레이하는 동안(1626a), 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제2 사용자 인터페이스 요소(예컨대, 1505)에 대응하는 위치의 임계 거리(예컨대, 사용자 인터페이스 요소(들)와의 직접 상호작용에 대응하는 0.5, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같음) 내에 있고, 사용자의 제1 사전정의된 부분(예컨대, 1509)이 제1 사용자 인터페이스 요소(예컨대, 1507)에 대응하는 위치의 임계 거리보다 멀리 있지만 제1 사용자 인터페이스 요소(예컨대, 1507)와의 결속(예컨대, 간접 결속)에 이용가능하다는 결정에 따라(1626b), 사용자의 시선(예컨대, 1501a)이 제1 사용자 인터페이스 요소(예컨대,1507)로 지향된다는 결정에 따라, 전자 디바이스(101a)는 도 15e에서와 같이, 사용자의 제1 사전정의된 부분(예컨대, 1509)이 제1 사용자 인터페이스 요소(예컨대,1507)와의 간접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제1 사용자 인터페이스 요소(예컨대, 1507)를 디스플레이한다(1626d). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되는 것으로부터 제3 사용자 인터페이스 요소로 지향되는 것으로 이동하는 경우, 전자 디바이스는 시각적 특성을 갖는 제1 사용자 인터페이스 요소를 디스플레이하는 것을 중단하고 시각적 특성을 갖는 제3 사용자 인터페이스 요소를 디스플레이한다.
일부 실시예들에서, 도 15e에서와 같이, 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소(예컨대, 1503) 및 제2 사용자 인터페이스 요소(예컨대, 1505)를 디스플레이하는 동안(1626a), 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제2 사용자 인터페이스 요소(예컨대, 1505)에 대응하는 위치의 임계 거리(예컨대, 사용자 인터페이스 요소(들)와의 직접 상호작용에 대응하는 0.5, 1, 2, 3, 5, 10, 15, 30, 50 센티미터 등, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같음) 내에 있고, 사용자의 제1 사전정의된 부분(예컨대, 1509)이 제1 사용자 인터페이스 요소에 대응하는 위치의 임계 거리(예컨대, 1503)보다 멀리 있지만 제1 사용자 인터페이스 요소(예컨대, 1503)와의 결속(예컨대, 간접 결속)에 이용가능하다는 결정에 따라(1626b), 사용자의 시선(예컨대, 1501a)이 제1 사용자 인터페이스 요소(예컨대, 1503)로 지향되지 않는다는 결정에 따라, 전자 디바이스(101a)는 도 15e에서와 같이, 사용자의 제1 사전정의된 부분(예컨대, 1509)이 제1 사용자 인터페이스 요소(예컨대, 1503)와의 간접 결속에 이용가능함을 나타내는 시각적 특성없이 제1 사용자 인터페이스 요소(예컨대, 1503)를 디스플레이한다(1626e). 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소가 간접 결속에 이용가능하기 위해 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되도록 요구한다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와 직접 결속되고 사용자의 제1 사전정의된 부분이 다른 사용자 인터페이스 요소와의 간접 결속에 이용가능한 동안, 전자 디바이스는 제2 사용자 인터페이스 요소가 사용자의 제2 사전정의된 부분과의 직접 결속에 이용가능함을 나타내고 사용자의 시선이 지향되는 사용자 인터페이스 요소가 사용자의 제1 사전정의된 부분과의 간접 결속에 이용가능함을 나타낸다. 일부 실시예들에서, 방법(1400)의 하나 이상의 단계들에 따라 직접 결속의 표시는 간접 결속의 표시와는 상이하다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 간접 결속에 이용가능한 동안 제3 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 제1 사전정의된 부분이 제3 사용자 인터페이스 요소와의 간접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제3 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 간접 결속에 이용가능한 동안 제2 사용자 인터페이스 객체로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스 요소의 시각적 특성을 업데이트하는 것을 보류하는데, 그 이유는 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와 직접 결속되기 때문이다.
제1 사용자 인터페이스 요소가 간접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제1 사용자 인터페이스 요소를 디스플레이하고 제2 사용자 인터페이스 요소가 직접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 전술한 방식은 사용자가 입력들을 제1 및 제2 사용자 인터페이스 요소들로 각각 사용자의 제1 및 제2 사전정의된 부분들과 동시에 지향하게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 15c에서와 같이, 제1 사용자 인터페이스 요소(예컨대, 1503)로부터 멀리 제2 사용자 인터페이스 요소(예컨대, 1505)로의 사용자의 시선(예컨대, 1501b)의 이동을 검출한 후에 그리고 변경된 시각적 외관을 갖는 제2 사용자 인터페이스 요소(예컨대, 1505)를 디스플레이하는 동안(예컨대, 사용자의 제2 사전정의된 부분은 제2 사용자 인터페이스 요소로부터 직접 입력들과 연관된 거리 임계치(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 20, 30, 50 센티미터 등)를 초과하고 제2 사용자 인터페이스 요소와의 간접 결속에 이용가능함), 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 도 15e에서와 같이 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제1 사용자 인터페이스 요소(예컨대, 1505)와 직접 결속하는 것을 검출한다(1628a). 일부 실시예들에서, 사용자의 제2 사전정의된 부분은, 방법들(800, 1000, 1200, 1400, 1800 및/또는 2000)을 참조하여 설명된 바와 같이, 제1 사용자 인터페이스 요소와 직접 결속하기 위한 사전정의된 포즈로 있는 동안, 제1 사용자 인터페이스 요소의 임계 거리(예컨대, 0.5, 1, 3, 5, 10, 15, 30, 50 센티미터 등) 내에 있다. 일부 실시예들에서, 직접 결속은 방법(800)에 따른 준비 상태 또는 작동(예컨대, 선택 입력, 드래그 입력, 스크롤 입력 등)을 수행하기 위한 입력이다.
일부 실시예들에서, 도 15e에서와 같이, 사용자의 제2 사전정의된 부분(예컨대, 1511)이 제1 사용자 인터페이스 요소(예컨대,1505)와 직접 결속되는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 변경된 시각적 외관을 갖는 제2 사용자 인터페이스 요소(예컨대, 1503)를 디스플레이하는 것을 보류한다(1628b). 일부 실시예들에서, 사용자의 제1 사전정의된 부분은 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소가 사용자의 제2 사전정의된 부분과 직접 결속되어 있음을 나타내도록 제1 사용자 인터페이스 요소의 시각적 외관을 변경한다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 제2 사용자 인터페이스 요소와의 간접 결속에 이용가능하고/하거나 사용자의 시선이 제2 사용자 인터페이스 요소를 향해 지향되더라도, 사용자의 제2 사전정의된 부분이 제1 사용자 인터페이스 요소와 직접 결속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 변경된 시각적 외관을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와의 간접 결속에 이용가능함을 나타내는 동안, 전자 디바이스는 사용자의 제2 사전정의된 부분이 다른 사용자 인터페이스 요소와 직접 결속하는 것을 검출하고, 사용자의 제2 사전정의된 부분이 제2 사용자 인터페이스 요소와의 간접 결속에 이용가능함을 나타내는 표시를 디스플레이하는 것을 중단한다.
사용자의 제2 사전정의된 부분이 제1 사용자 인터페이스 요소와 직접 결속하는 것을 검출하는 것에 응답하여 변경된 외관을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것을 중단하는 전술한 방식은 제2 사용자 인터페이스 요소로 지향되는 우발적인 입력들을 회피하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17a 내지 도 17e는 일부 실시예들에 따라 전자 디바이스(101a)가 사용자 입력들의 시각적 표시들을 제시하는 다양한 방식들을 도시한다.
도 17a는, 디스플레이 생성 컴포넌트(120a)를 통해, 3차원 환경, 전자 디바이스(101a)를 도시한다. 일부 실시예들에서, 전자 디바이스(101a)는 본 발명의 범주를 벗어나지 않으면서 2차원 환경 또는 사용자 인터페이스에서 도 17a 내지 도 17e를 참조하여 설명된 하나 이상의 기술들을 활용하는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 전술된 바와 같이, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트(120a)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314a)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101a)와 상호작용하는 동안 전자 디바이스(101a)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120a)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 설명된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 17a에서, 전자 디바이스(101a)는 전자 디바이스(101a)의 물리적 환경 내의 테이블의 표현(1704)(예컨대, 도 6b의 테이블(604)과 같음), 스크롤가능 사용자 인터페이스 요소(1703), 및 선택가능 옵션(1705)을 포함하는 3차원 환경을 디스플레이한다. 일부 실시예들에서, 테이블의 표현(1704)은 디스플레이 생성 컴포넌트(120a)(예컨대, 비디오 또는 디지털 패스스루)에 의해 디스플레이되는 테이블의 실사 비디오 이미지이다. 일부 실시예들에서, 테이블의 표현(1704)은 디스플레이 생성 컴포넌트(120a)의 투명 부분을 통한 테이블의 뷰이다(예컨대, 트루 또는 피지컬 패스스루). 도 17a에 도시된 바와 같이, 선택가능 옵션(1705)은 백플레인(1706) 내에 그리그 그 앞에 디스플레이된다. 일부 실시예들에서, 백플레인(1706)은 선택가능 옵션(1705)에 대응하는 콘텐츠를 포함하는 사용자 인터페이스이다.
본 명세서에 더 상세하게 설명될 바와 같이, 일부 실시예들에서, 전자 디바이스(101a)는 디바이스(101a)의 사용자의 손(들) 및/또는 시선에 기초하여 입력들을 검출할 수 있다. 도 17a에서, 사용자의 손(1713)은 준비 상태 또는 입력에 대응하지 않는 비활성 상태(예컨대, 손 형상)이다. 일부 실시예들에서, 준비 상태는 도 7a 내지 도 8k를 참조하여 전술된 준비 상태와 동일하거나 또는 유사하다. 일부 실시예들에서, 사용자의 손(1713)은 디바이스(101a)에 의해 디스플레이되는 3차원 환경에서 보인다. 일부 실시예들에서, 전자 디바이스(101a)는 사용자의 손가락(들) 및/또는 손(1713)의 실사 표현을 디스플레이 생성 컴포넌트(120a)로 디스플레이한다(예컨대, 비디오 패스스루). 일부 실시예들에서, 사용자의 손가락(들) 및/또는 손(1713)은 디스플레이 생성 컴포넌트의 투명 부분(120a)을 통해 보인다(예컨대, 트루 패스스루).
도 17a에 도시된 바와 같이, 스크롤가능 사용자 인터페이스 요소(1703) 및 선택가능 옵션(1705)은 모의된 그림자와 함께 디스플레이된다. 일부 실시예들에서, 그림자들은 도 19a 내지 도 20f를 참조하여 아래 설명된 방법들 중 하나 이상과 유사한 방법으로 제시된다. 일부 실시예들에서, 스크롤가능 사용자 인터페이스 요소(1703)의 그림자는 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 사용자의 시선(1701a)을 검출하는 것에 응답하여 디스플레이되고, 선택가능 옵션(1705)의 그림자는 선택가능 옵션(1705)으로 지향되는 사용자의 시선(1701b)을 검출하는 것에 응답하여 디스플레이된다. 일부 실시예들에서, 시선(1701a, 1701b)은 대체가능한 것으로 도시되며, 동시에 검출되는 것으로서 의미되지 않음이 이해되어야 한다. 일부 실시예들에서, 추가적으로 또는 대안적으로, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703) 상의 사용자의 시선(1701a)을 검출하는 것에 응답하여 스크롤가능 사용자 인터페이스 요소(1703)의 색상을 업데이트하고, 선택가능 옵션(1705)으로 지향되는 사용자의 시선(1701b)을 검출하는 것에 응답하여 선택가능 옵션(1705)의 색상을 업데이트한다.
일부 실시예들에서, 전자 디바이스(101a)는 사용자가 자신의 손으로 입력을 제공하기 시작하는 것을 검출하는 것에 응답하여 사용자의 손에 근접하게 시각적 표시들을 디스플레이한다. 도 17b는 사용자의 손에 근접하게 디스플레이되는 예시적인 사용자 입력들의 시각적 표시들을 도시한다. 도 17b의 손들(1713, 1714, 1715, 1716)은 대체가능한 것으로 도시되며, 일부 실시예들에서 동시에 모두 검출될 필요는 없음이 이해되어야 한다.
일부 실시예들에서, 사용자가 자신의 손(예컨대, 손(1713 또는 1714))으로 입력을 제공하기 시작하는 것을 검출하는 동안 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 사용자의 시선(1701a)을 검출하는 것에 응답하여, 전자 디바이스(101a)는 사용자의 손에 근접하게 가상 트랙패드(예컨대, 1709a 또는 1709b)를 디스플레이한다. 일부 실시예들에서, 사용자가 자신의 손으로 입력을 제공하기 시작하는 것을 검출하는 것은 손이 도 7a 내지 도 8k를 참조하여 전술된 간접 준비 상태 기준을 충족한다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 사용자가 자신의 손으로 입력을 제공하기 시작하는 것을 검출하는 것은 사용자가 자신의 손으로 하나 이상의 기준을 충족하는 이동을 수행하는 것을 검출하는 것, 예컨대, 사용자가 하나 이상의 다른 손가락들이 손바닥을 향해 구부러져 있는 동안 펴진 손가락으로 "탭" 모션을 시작(예컨대, 손가락이 0.1, 0.2, 0.3, 0.5, 1, 2 센티미터 등과 같은 임계 거리를 이동함)하는 것을 검출하는 것을 포함한다.
예를 들어, 사용자의 시선(1701a)이 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 동안 손(1713)이 입력을 제공하기 시작하는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 손(1713)에 근접하게 가상 트랙패드(1709a)를 디스플레이하고, 가상 트랙패드(1709a)는 스크롤가능 사용자 인터페이스 요소(1703)로부터 원격에 디스플레이된다. 전자 디바이스(101a)는 선택적으로 또한 가상 트랙패드(1709a) 상의 사용자의 손(1713)의 가상 그림자(1710a) 및 가상 트랙패드의 가상 그림자를 디스플레이한다. 일부 실시예들에서, 가상 그림자들은 도 19a 내지 도 20f를 참조하여 아래 기술되는 가상 그림자들 중 하나 이상과 유사한 방식으로 디스플레이된다. 일부 실시예들에서, 그림자들의 크기 및/또는 배치는 가상 트랙패드(1709a)와 상호작용하고, 그럼으로써 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력을 개시하기 위해 사용자가 계속해서 얼마나 멀리 자신의 손가락을 이동해야 하는지 예컨대 손(1713)과 가상 트랙패드(1709a) 사이의 거리를 나타냄으로써, 사용자에게 나타낸다. 일부 실시예들에서, 사용자가 자신의 손(1713)의 손가락을 가상 트랙패드(1709a)에 더 가까이 이동함에 따라, 전자 디바이스(101a)는 가상 트랙패드(1709a)의 색상을 업데이트한다. 일부 실시예들에서, 사용자가 자신의 손(1713)을 가상 트랙패드(1709a)로부터 멀리 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30 센티미터 등)만큼 이동하거나 또는 입력의 개시에 대응하는 손 형상을 만드는 것을 중단하는 경우, 전자 디바이스(101a)는 가상 트랙패드(1709a)를 디스플레이하는 것을 중단한다.
유사하게, 사용자의 시선(1701a)이 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 동안 손(1714)이 입력을 제공하기 시작하는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 손(1714)에 근접하게 가상 트랙패드(1709b)를 디스플레이하고, 가상 트랙패드(1709b)는 스크롤가능 사용자 인터페이스 요소(1703)로부터 원격에 디스플레이된다. 전자 디바이스(101a)는 선택적으로 또한 가상 트랙패드(1709b) 상의 사용자의 손(1714)의 가상 그림자(1710b) 및 가상 트랙패드의 가상 그림자를 디스플레이한다. 일부 실시예들에서, 가상 그림자들은 도 19a 내지 도 20f를 참조하여 아래 기술되는 가상 그림자들 중 하나 이상과 유사한 방식으로 디스플레이된다. 일부 실시예들에서, 그림자들의 크기 및/또는 배치는 가상 트랙패드(1709a)와 상호작용하고, 그럼으로써 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력을 개시하기 위해 사용자가 계속해서 얼마나 멀리 자신의 손가락을 이동해야 하는지 예컨대 손(1714)과 가상 트랙패드(1709b) 사이의 거리를 나타냄으로써, 사용자에게 나타낸다. 일부 실시예들에서, 사용자가 자신의 손(1714)의 손가락을 가상 트랙패드(1709b)에 더 가까이 이동함에 따라, 전자 디바이스(101a)는 가상 트랙패드(1709b)의 색상을 업데이트한다. 일부 실시예들에서, 사용자가 자신의 손(1714)을 가상 트랙패드(1709b)로부터 멀리 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 30 센티미터 등)만큼 이동하거나 또는 입력의 개시에 대응하는 손 형상을 만드는 것을 중단하는 경우, 전자 디바이스(101a)는 가상 트랙패드(1709b)를 디스플레이하는 것을 중단한다.
따라서, 일부 실시예들에서, 전자 디바이스(101a)는 사용자의 손의 위치에 근접한 위치에 가상 트랙패드를 디스플레이한다. 일부 실시예들에서, 사용자는 가상 트랙패드(1709a 또는 1709b)를 이용하여 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력들을 제공할 수 있다. 예를 들어, 사용자가 손(1713 또는 1714)의 손가락을 이동하여 가상 트랙패드(1709a 또는 1709b)를 터치하고 이어서 손가락을 가상 트랙패드로부터 멀리 이동하는 것(예컨대, 가상 탭)에 응답하여, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703)에서 선택을 수행한다. 다른 예로서, 사용자가 손(1713 또는 1714)의 손가락을 이동하여 가상 트랙패드(1709a 또는 1709b)를 터치하고, 가상 트랙패드를 따라 손가락을 이동하고, 이어서 손가락을 가상 트랙패드로부터 멀리 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 도 17c 및 도 17d를 참조하여 아래 설명되는 바와 같이 스크롤가능 사용자 인터페이스 요소(1703)를 스크롤한다.
일부 실시예들에서, 전자 디바이스(101a)는 사용자가 선택가능 옵션(1705)으로 지향되는 입력을 제공하기 시작하는 것을 검출하는 것에 응답하여 (예컨대, 사용자가 입력을 제공하기 시작하는 동안 사용자의 시선(1701b)이 옵션(1705)으로 지향된다고 결정하는 것에 기초하여) 사용자의 손에 의해 제공되는 사용자 입력의 시각적 표시를 디스플레이한다. 일부 실시예들에서, 사용자가 자신의 손으로 입력을 제공하기 시작하는 것을 검출하는 것은 손이 도 7a 내지 도 8k를 참조하여 전술된 간접 준비 상태 기준을 충족한다는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 사용자가 자신의 손으로 입력을 제공하기 시작하는 것을 검출하는 것은 사용자가 자신의 손으로 하나 이상의 기준을 충족하는 이동을 수행하는 것을 검출하는 것, 예컨대, 사용자가 하나 이상의 다른 손가락들이 손바닥을 향해 구부러져 있는 동안 펴진 손가락으로 "탭" 모션을 시작(예컨대, 손가락이 0.1, 0.2, 0.3, 0.5, 1, 2 센티미터 등과 같은 임계 거리를 이동함)하는 것을 검출하는 것을 포함한다.
예를 들어, 사용자의 시선(1701b)이 선택가능 옵션(1705)으로 지향되는 동안 손(1715)이 입력을 제공하기 시작하는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 손(1715)에 근접하게 시각적 표시(1711a)를 디스플레이하고, 시각적 표시(1711a)는 선택가능 옵션(1705)으로부터 원격에 디스플레이된다. 전자 디바이스(101a)는 또한 선택적으로 시각적 표시(1711a) 상에 사용자의 손(1715)의 가상 그림자(1710c)를 디스플레이한다. 일부 실시예들에서, 가상 그림자는 도 19a 내지 도 20f를 참조하여 아래 기술되는 가상 그림자들 중 하나 이상과 유사한 방식으로 디스플레이된다. 일부 실시예들에서, 그림자의 크기 및/또는 배치는 선택가능 사용자 인터페이스 요소(1705)로 지향되는 입력을 나타내기 위해 사용자가 계속해서 얼마나 멀리 자신의 손가락을 (예컨대, 시각적 표시(1711a)의 위치로) 이동해야 하는지, 예컨대, 손(1715)과 시각적 표시(1711a) 사이의 거리를 나타냄으로써, 사용자에게 나타낸다.
유사하게 그리고, 일부 실시예들에서, 손(1715)을 검출하는 것에 대한 대안으로서, 사용자의 시선(1701b)이 선택가능 옵션(1705)으로 지향되는 동안 손(1716)이 입력을 제공하기 시작하는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 손(1716)에 근접하게 시각적 표시(1711b)를 디스플레이하고, 시각적 표시(1711b)는 선택가능 옵션(1705)으로부터 원격에 디스플레이된다. 전자 디바이스(101a)는 선택적으로 또한 시각적 표시(1711b) 상에 사용자의 손(1716)의 가상 그림자(1710d)를 디스플레이한다. 일부 실시예들에서, 가상 그림자는 도 19a 내지 도 20f를 참조하여 아래 기술되는 가상 그림자들 중 하나 이상과 유사한 방식으로 디스플레이된다. 일부 실시예들에서, 그림자의 크기 및/또는 배치는 선택가능 사용자 인터페이스 요소(1705)로 지향되는 입력을 개시하기 위해 사용자가 계속해서 얼마나 멀리 자신의 손가락을 (예컨대, 시각적 표시(1711b)의 위치로) 이동해야 하는지, 예컨대, 손(1716)과 시각적 표시(1711b) 사이의 거리를 나타냄으로써, 사용자에게 나타낸다. 따라서, 일부 실시예들에서, 전자 디바이스(101a)는 입력을 제공하기 시작하는 사용자의 손(1715 또는 1716)에 근접한 3차원 환경 내의 위치에 시각적 표시(1711a 또는 1711b)를 디스플레이한다.
일부 실시예들에서, 전자 디바이스에 의해 제시되는 시각적 보조들의 유형들은 본 명세서에 도시되는 예들에 따라 달라짐이 이해되어야 한다. 예를 들어, 전자 디바이스(101a)는 사용자가 스크롤가능 사용자 인터페이스 요소(1703)와 상호작용하는 동안 시각적 표시들(1711a 또는 1711b)과 유사한 시각적 표시를 디스플레이할 수 있다. 이 예에서, 전자 디바이스(101a)는, 사용자가 스크롤링 입력을 제공하기 위해 손(1713)의 손가락을 이동함에 따라, 사용자의 시선(1701a)이 스크롤가능 사용자 인터페이스 요소(1703)로 지향되고 계속해서 시각적 표시를 디스플레이하는 동안 사용자의 손(예컨대, 손(1713))의 이동이 탭을 개시하는 것을 검출하는 것에 응답하여 표시들(1711a, 1711b)에 유사한 시각적 표시를 디스플레이하고, 손가락의 이동을 따라 시각적 표시의 위치를 업데이트한다. 다른 예로서, 전자 디바이스(101a)는 사용자가 선택가능 옵션(1705)과 상호작용하는 동안 가상 트랙패드들(1709a, 1709b)에 유사한 가상 트랙패드를 디스플레이할 수 있다. 이 예에서, 전자 디바이스(101a)는 사용자의 시선(1701b)이 선택가능 옵션(1705)으로 지향되는 동안 탭을 개시하는 사용자의 손(예컨대, 손(1713))의 이동을 검출하는 것에 응답하여 가상 트랙패드들(1709a, 1709b)과 유사한 가상 트랙패드를 디스플레이한다.
도 17c에서, 전자 디바이스(101a)는 손(1713)에 의해 제공되는 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력 및 손(1715)에 의해 제공되는 선택가능 옵션(1705)으로 지향되는 입력을 검출한다. 손들(1713, 1715) 및 시선들(1701a, 1701b)에 의해 제공되는 입력들은 대체가능한 것으로 도시되며, 일부 실시예들에서, 동시에 검출되지 않음이 이해되어야 한다. 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력을 검출하는 것은 선택적으로 손(1713)의 손가락이 가상 트랙패드(1709)를 터치하는 것에 후속하여 스크롤가능 사용자 인터페이스 요소(1703)가 스크롤하는 방향으로 손가락 및/또는 손을 이동(예컨대, 수직 스크롤링을 위한 수직 이동)하는 것을 검출하는 것을 포함한다. 선택가능 옵션(1705)으로 지향되는 입력을 검출하는 것은 선택적으로 시각적 표시(1711)를 터치하기 위한 손(1715)의 손가락의 이동을 검출하는 것을 포함한다. 일부 실시예들에서, 옵션(1705)으로 지향되는 입력을 검출하는 것은 옵션(1705)으로 지향되는 사용자의 시선(1701b)을 검출하는 것을 필요로 한다. 일부 실시예들에서, 전자 디바이스(101a)는 선택가능 옵션(1705)으로 지향되는 사용자의 시선(1701b)을 검출하는 것을 필요로 하지 않고 선택가능 옵션(1705)으로 지향되는 입력을 검출한다.
일부 실시예들에서, 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703) 및 가상 트랙패드(1709)의 디스플레이를 업데이트한다. 일부 실시예들에서, 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력이 수신됨에 따라, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703)를 (예컨대, 가상 트랙패드(1709)의 초기 깊이 위치를 지나고/지나거나 통과하는 손(1713)의 이동에 따라) 3차원 환경 내의 사용자와 연관된 시점으로부터 멀리 이동한다. 일부 실시예들에서, 손(1713)이 가상 트랙패드(1709)에 더 가까이 이동함에 따라, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703)의 색상을 업데이트한다. 도 17c에 도시된 바와 같이, 입력이 수신되면, 스크롤가능 사용자 인터페이스 요소(1703)는 도 17b에 도시된 위치로부터 뒤로 밀려나고 스크롤가능 사용자 인터페이스 요소(1703)의 그림자의 디스플레이가 중단된다. 유사하게, 입력이 수신되면, 가상 트랙패드(1709)는 뒤로 밀려나고 도 17b에 도시된 가상 그림자는 더 이상 디스플레이되지 않는다. 일부 실시예들에서, 스크롤가능 사용자 인터페이스 요소(1703)가 뒤로 이동하는 거리는 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력을 제공하는 동안 손(1713)의 손가락의 이동량에 대응한다. 또한, 도 17c에 도시된 바와 같이, 전자 디바이스(101a)는 방법(2000)의 하나 이상의 단계들에 따라 가상 트랙패드(1709) 상에 손(1713)의 가상 그림자를 디스플레이하는 것을 중단한다. 일부 실시예들에서, 손(1713)이 가상 트랙패드(1709)와 접촉하고 있는 동안, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703)가 스크롤가능한 방향으로 트랙패드(1709)와 접촉하고 있는 손(1713) 및/또는 손가락의 측방향 이동을 검출하고, 손(1713)의 측방향 이동에 따라 스크롤가능 사용자 인터페이스 요소(1703)의 콘텐츠를 스크롤한다.
일부 실시예들에서, 선택가능 옵션(1705)으로 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스(101a)는 선택가능 옵션(1705) 및 입력의 시각적 표시(1711)의 디스플레이를 업데이트한다. 일부 실시예들에서, 선택가능 옵션(1705)으로 지향되는 입력이 수신됨에 따라, 전자 디바이스(101a)는 선택가능 옵션(1705)을 (예컨대, 시각적 표시(1711)의 초기 깊이 위치를 지나고/지나거나 통과하는 손(1715)의 이동에 따라) 3차원 환경 내의 사용자와 연관된 시점을 벗어나 백플레인(1706)을 향해 이동시키고 선택가능 옵션(1705)의 색상을 업데이트한다. 도 17c에 도시된 바와 같이, 입력이 수신되면, 선택가능 옵션(1705)은 도 17b에 도시된 위치로부터 뒤로 밀려나고, 선택가능 옵션(1705)의 그림자의 디스플레이가 중단된다. 일부 실시예들에서, 선택가능 옵션(1705)이 뒤로 이동하는 거리는 선택가능 옵션(1705)으로 지향되는 입력을 제공하는 동안 손(1715)의 손가락의 이동량에 대응한다. 유사하게, 전자 디바이스(101a)는 선택적으로 방법(2000)의 하나 이상의 단계들에 따라 시각적 표시(1711) 상에 손(1715)의 가상 그림자를 디스플레이하는 것을 중단한다(예컨대, 손(1715)의 손가락이 이제 시각적 표시(1711)와 접촉하기 때문이다). 일부 실시예들에서, 손(1715)의 손가락이 시각적 표시(1711)를 터치한 후에, 사용자는 손가락을 시각적 표시(1711)로부터 멀리 이동하여 선택가능 옵션(1705)으로 지향되는 탭 입력을 제공한다.
일부 실시예들에서, 손(1713) 및 시선(1701a)을 이용한 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력을 검출하는 것에 응답하거나 또는 손(1715) 및 시선(1701b)을 이용한 선택가능 옵션(1705)으로 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스(101a)는 입력이 수신되었다는 오디오 표시를 제시한다. 일부 실시예들에서, 사용자의 시선이 상호작용형 사용자 인터페이스 요소로 지향되지 않는 동안 입력을 제공하기 위한 기준을 충족하는 손 이동을 검출하는 것에 응답하여, 가상 트랙패드(1709) 또는 시각적 표시(1711)를 터치 및/또는 이들과 상호작용하는 것이 입력으로 하여금 상호작용형 사용자 인터페이스 요소로 지향되게 하지 않더라도, 전자 디바이스(101a)는 여전히 입력의 오디오 표시를 제시하고 사용자의 손에 근접하게 가상 트랙패드(1709) 또는 시각적 표시(1711)를 디스플레이한다. 일부 실시예들에서, 스크롤가능 사용자 인터페이스 요소(1703) 또는 선택가능 옵션(1705)으로 지향되는 직접 입력에 응답하여, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703) 또는 선택가능 옵션(1705)의 디스플레이를 본 명세서에서 설명된 방식과 유사한 방식으로 각각 업데이트하고, 선택적으로, 동일한 오디오 피드백도 제시한다. 일부 실시예들에서, 직접 입력은 사용자의 손이 스크롤가능 사용자 인터페이스 요소(1703) 또는 선택가능 옵션(1705)의 임계 거리(예컨대, 0.05, 0.1, 0.2, 0.3, 0.5, 1 센티미터 등) 내에 있을 때 사용자의 손에 의해 제공되는 입력이다(예컨대, 방법들(800, 1000, 및/또는 1600)에 관련된 하나 이상의 직접 입력들과 유사함).
도 17d는 전자 디바이스(101a)가 스크롤가능 사용자 인터페이스 요소(1703) 및 선택가능 옵션(1705)에 제공되는 입력들의 종료를 검출하는 것을 도시한다. 일부 실시예들에서, 손들(1713, 1715) 및 시선들(1701a, 1701b)은 서로 대체가능한 것이며 동시에 모두 검출될 필요는 없음이 이해되어야 한다(예컨대, 전자 디바이스는 처음에 손(1713) 및 시선(1701a)을 검출하고, 두번째에 손(1715) 및 시선(1701b)을 검출함). 일부 실시예들에서, 사용자의 손(1713)이 가상 트랙패드(1709)로부터 임계 거리(예컨대, 0.05, 0.1, 0.2, 0.3, 0.5, 1 센티미터 등)를 이동하면 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력의 종료를 검출한다. 일부 실시예들에서, 사용자의 손(1715)이 입력의 시각적 표시(1711)로부터 임계 거리(예컨대, 0.05, 0.1, 0.2, 0.3, 0.5, 1 센티미터 등)를 이동하면 전자 디바이스(101a)는 선택가능 옵션(1705)으로 지향되는 입력의 종료를 검출한다.
일부 실시예들에서, 스크롤가능 사용자 인터페이스 요소(1703) 및 선택가능 옵션(1705)으로 지향되는 입력들의 종료를 검출하는 것에 응답하여, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703) 및 선택가능 옵션(1705)의 외관을 입력을 검출하기 이전의 이러한 요소들의 외관들로 되돌린다. 예를 들어, 스크롤가능 사용자 인터페이스 요소(1703)는 3차원 환경 내의 사용자와 연관된 시점을 향해 입력을 검출하기 이전에 그것이 디스플레이되었던 위치로 이동하고, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703)의 가상 그림자를 디스플레이하는 것을 재개한다. 다른 예로서, 선택가능 옵션(1705)은 3차원 환경 내의 사용자와 연관된 시점을 향해 입력을 검출하기 이전에 그것이 디스플레이되었던 위치로 이동하고, 전자 디바이스(101a)는 선택가능 옵션(1705)의 가상 그림자의 디스플레이를 재개한다.
또한, 일부 실시예들에서, 전자 디바이스(101a)는 사용자 입력의 종료를 검출하는 것에 응답하여 가상 트랙패드(1709) 또는 입력의 시각적 표시(1711)의 외관을 되돌린다. 일부 실시예들에서, 가상 트랙패드(1709)는 3차원 환경 내의 사용자와 연관된 시점을 향해 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력을 검출하기 이전에 그것이 디스플레이되었던 위치로 이동하고, 디바이스(101a)는 트랙패드 상의 사용자의 손(1713)의 가상 그림자(1710e) 및 가상 트랙패드(1709)의 가상 그림자의 디스플레이를 재개한다. 일부 실시예들에서, 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력을 검출한 후에, 전자 디바이스(101a)는 가상 트랙패드(1709)의 디스플레이를 중단한다. 일부 실시예들에서, 전자 디바이스(101a)는 스크롤가능 사용자 인터페이스 요소(1703)로 지향되는 입력이 제공된 후에 계속해서 가상 트랙패드(1709)를 디스플레이하고, 전자 디바이스(101a)가 사용자의 손(1713)이 가상 트랙패드(1709)로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15 센티미터 등)만큼 또는 임계 속도로 이동하는 것을 검출할 때까지 가상 트랙패드(1709)를 디스플레이한다. 유사하게, 일부 실시예들에서, 입력의 시각적 표시(1711)는 3차원 환경 내의 사용자와 연관된 시점을 향해 선택가능 옵션(1705)으로 지향되는 입력을 검출하기 이전에 그것이 디스플레이되었던 위치로 이동하고, 디바이스(101a)는 시각적 표시(1711) 상의 사용자의 손(1715)의 가상 그림자(1710f)의 디스플레이를 재개한다. 일부 실시예들에서, 선택가능 옵션(1705)으로 지향되는 입력을 검출한 후에, 전자 디바이스(101a)는 입력의 시각적 표시(1711)의 디스플레이를 중단한다. 일부 실시예들에서, 시각적 표시(1711)를 디스플레이하는 것을 중단하기 전에, 전자 디바이스(101a)는 표시(1711)의 애니메이션이 디스플레이되는 것을 중단하기 전에 확장되면서 점점 사라지는 것을 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101a)는 사용자가 선택가능 옵션(1705)에 후속 입력을 제공(예컨대, 탭 제스처의 시작 시 손가락을 이동)하기 시작하는 것을 검출하는 것에 응답하여 시각적 표시(1711a)의 디스플레이를 재개한다.
일부 실시예들에서, 전자 디바이스(101a)는 조율된 방식으로 사용자의 손들 둘 모두로부터 입력을 (예컨대, 동시에) 수용한다. 예를 들어, 도 17e에서, 전자 디바이스(101a)는 사용자의 시선 및 사용자의 손들(1721, 1723)의 이동 및/또는 그로부터의 입력들에 기초하여 입력이 제공될 수 있는 가상 키보드(1717)를 디스플레이한다. 예를 들어, 가상 키보드(1717)의 다양한 부분들로 지향되는 사용자의 시선(1701c 또는 1701d)을 검출하는 동안 사용자의 손들(1721, 1723)의 탭핑 제스처들을 검출하는 것에 응답하여, 전자 디바이스(101a)는 가상 키보드(1717)의 응시되는 키들에 따라 텍스트 입력을 제공한다. 예를 들어, 사용자의 시선(1701c)이 "A" 키로 지향되는 동안 손(1721)의 탭 모션을 검출하는 것에 응답하여, 전자 디바이스(101a)는 "A" 문자를 텍스트 입력 필드에 입력하고, 사용자의 시선(1701d)이 "H" 키로 지향되는 동안 손(1723)의 탭 모션을 검출하는 것에 응답하여, 전자 디바이스(101a)는 "H" 문자를 입력한다. 사용자가 손들(1721, 1723)로 입력을 제공하는 동안, 전자 디바이스(101a)는 손들(1721, 1723)에 의해 제공되는 입력들의 표시들(1719a, 1719b)을 디스플레이한다. 일부 실시예들에서, 손들(1721, 1723)의 각각에 대한 표시들(1719a 및/또는 1719b)은 유사한 방식으로 디스플레이되고/되거나 도 17a 내지 도 17d를 참조하여 설명되는 표시들의 특성들 중 하나 이상을 갖는다. 시각적 표시들(1719a, 1719b)은 선택적으로 사용자의 손들(1721, 1723)의 가상 그림자들(1710f, 1710g)을 포함한다. 일부 실시예들에서, 그림자들(1710f, 1719b)은 사용자의 손들(1721, 1723)과 시각적 표시들(1710f, 1710g) 사이의 거리들을 각각 나타내고, 손들(1721, 1723)의 손가락들이 표시들(1710f, 1710g)을 각각 터치하면 디스플레이되는 것을 중단한다. 일부 실시예들에서, 각각의 탭 입력 후에, 전자 디바이스(101a)는 탭을 제공한 손(1721 또는 1723)에 대응하는 시각적 표시(1710f 또는 1710g)를 디스플레이하는 것을 중단한다. 일부 실시예들에서, 전자 디바이스(101a)는 대응하는 손(1721 또는 1723)에 의한 후속 탭 입력의 시작을 검출하는 것에 응답하여 표시들(1710f 및/또는 1710g)을 디스플레이한다.
도 18a 내지 도 18o는 일부 실시예들에 따른 사용자 입력들의 시각적 표시들을 제시하는 방법(1800)을 도시하는 흐름도이다. 일부 실시예들에서, 본 방법(1800)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1800)은 비일시적 컴퓨터-판독가능 저장 매체에 저장되고, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예컨대, 도 1a의 제어 유닛(110))과 같은, 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되는 명령어들에 의해 통제된다. 방법(1800)에서의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서는, 선택적으로, 변경된다.
일부 실시예들에서, 방법(1800)은 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어 또는 웨어러블 디바이스), 또는 컴퓨터)과 통신하는 전자 디바이스에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예컨대, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 전송할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
일부 실시예들에서, 전자 디바이스(101a)는, 도 17a에서와 같이, 디스플레이 생성 컴포넌트를 통해, 3차원 환경에서 사용자 인터페이스 객체(예컨대, 1705)를 디스플레이한다(1802a). 일부 실시예들에서, 사용자 인터페이스 객체는 상호작용형 사용자 인터페이스 객체이고, 사용자 인터페이스 객체를 향해 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 객체와 연관된 작동을 수행한다. 예를 들어, 사용자 인터페이스 객체는, 선택되면, 전자 디바이스로 하여금 각자의 사용자 인터페이스를 디스플레이하거나, 전자 디바이스의 설정을 변경하거나, 또는 콘텐츠의 재생을 개시하는 것과 같은, 작동을 수행하게 하는 선택가능 옵션이다. 다른 예로서, 사용자 인터페이스 객체는 사용자 인터페이스/콘텐츠가 디스플레이되는 컨테이너(예컨대, 윈도우)이고, 사용자 인터페이스 객체의 선택에 이동 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 이동 입력에 따라 사용자 인터페이스 객체의 위치를 업데이트한다. 일부 실시예들에서, 사용자 인터페이스 객체는 디바이스에 의해 볼 수 있도록 생성되거나, 디스플레이되거나, 또는 다른 방식으로 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경) 내에서 디스플레이된다(예컨대, 사용자 인터페이스 객체를 포함하는 사용자 인터페이스가 3차원 환경이고/이거나 3차원 환경 내에서 디스플레이됨).
도 17b에서와 같은 일부 실시예들에서, 사용자 인터페이스 객체(예컨대, 1705)를 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들(예컨대, 손 추적 디바이스, 머리 추적 디바이스, 눈 추적 디바이스 등)을 통해, 전자 디바이스의 사용자의 사전정의된 부분(예컨대, 1715)(예컨대, 손가락, 손, 팔, 머리 등)의 이동을 포함하는 각자의 입력을 검출하고, 각자의 입력 동안, 사용자의 사전정의된 부분(예컨대, 1715)의 위치는 사용자 인터페이스 객체(예컨대, 1705)에 대응하는 위치로부터 멀리 있다(1802b)(예컨대, 적어도 임계 거리(예컨대, 1, 5, 10, 20, 30, 50, 100센티미터 등)). 일부 실시예들에서, 전자 디바이스는 가상 객체들(예컨대, 사용자 인터페이스 객체들, 애플리케이션들의 표현들, 콘텐츠의 아이템들) 및 사용자의 일부분의 표현을 포함하는 3차원 환경에서 사용자 인터페이스 객체를 디스플레이한다. 일부 실시예들에서, 사용자는 3차원 환경 내의 전자 디바이스의 위치에 대응하는 3차원 환경 내의 위치와 연관된다. 일부 실시예들에서, 사용자의 일부분의 표현은 디스플레이 생성 컴포넌트에 의해 디스플레이되는 사용자의 일부분의 실사 표현 또는 디스플레이 생성 컴포넌트의 투명 부분을 통해 보이는 사용자의 일부분의 뷰이다. 일부 실시예들에서, 사용자의 사전정의된 부분의 각자의 입력은 방법들(800, 1000, 1200, 1600, 및/또는 2000)을 참조하여 설명된 바와 같이, 간접 입력이다.
도 17b에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안(1802c), 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제1 부분이 하나 이상의 기준을 충족하고, 사용자의 사전정의된 부분(예컨대, 1715)이 (예컨대, 3차원 환경 내의) 제1 위치에 있다는 결정에 따라, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분(예컨대, 1715)의 제1 위치에 대응하는 3차원 환경 내의 제1 위치에서 시각적 표시(예컨대, 1711a)를 디스플레이한다(1802d). 일부 실시예들에서, 하나 이상의 기준은 이동의 제1 부분이 사전결정된 방향, 크기, 또는 속도를 가질 때 충족된다. 일부 실시예들에서, 하나 이상의 기준은 이동의 제1 부분이 검출되는 동안 및/또는(예컨대, 바로) 전에 사용자의 사전결정된 부분의 포즈에 기초하여 충족된다. 예를 들어, 사용자가 손의 하나 이상의 손가락들을 사용자의 몸통으로부터 멀리 사전결정된 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3 센티미터 등) 만큼 이동하는 동안 손이 사전결정된 손 형상(예컨대, 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손바닥을 향해 구부러지는 가리키는 손 형상)인 동안 사용자의 손의 손바닥이 사용자의 몸통으로부터 멀리 향하는 경우 사용자의 손의 이동은 하나 이상의 기준을 충족한다. 예를 들어, 전자 디바이스는 사용자가 하나 이상의 손가락들 및/또는 하나 이상의 손가락들이 펴진 손을 이동함으로써 탭핑 모션을 수행하기 시작하는 것을 검출한다. 일부 실시예들에서, 하나 이상의 기준을 충족하는 사용자의 손가락의 이동을 검출하는 것에 응답하여, 전자 디바이스는 손가락, 손 또는 손의 상이한 사전결정된 부분에 근접하게 시각적 표시를 디스플레이한다. 예를 들어, 사용자가 자신의 손바닥이 사용자의 몸통으로부터 멀리 향하는 동안 자신의 검지 손가락을 탭하기 시작하는 것을 검출하는 것에 응답하여, 전자 디바이스는 검지 손가락의 끝에 근접하게 시각적 표시를 디스플레이한다. 일부 실시예들에서, 시각적 표시는 입력이 지향되는 사용자 인터페이스 요소(예컨대, 사용자의 시선이 지향되는 사용자 인터페이스 요소)의 선택을 야기하기 위해 사용자가 손가락을 더 이동해야하는 거리에 매칭되거나 또는 대응하는 검지 손가락의 끝으로부터의 거리에 위치된다. 일부 실시예들에서, 시각적 표시는 이동의 제1 부분이 검출되는 동안 디스플레이되지 않는다(예컨대, 하나 이상의 기준을 충족하는 이동의 제1 부분의 완료에 응답하여 디스플레이된다). 일부 실시예들에서, 하나 이상의 기준은 사용자의 일부분이 사용자의 몸통으로부터 멀리 및/또는 사용자 인터페이스 객체를 향해 사전결정된 거리(예컨대, 0.1, 0.2, 0.5, 1, 2, 3 센티미터 등)만큼 이동할 때 충족되는 기준을 포함하고, 하나 이상의 기준을 충족하는 이동의 제1 부분을 검출한 후에 사용자의 몸통을 향한 및/또는 사용자 인터페이스 객체로부터 멀어지는 사용자의 일부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 시각적 표시를 디스플레이하는 것을 중단한다. 일부 실시예들에서, 하나 이상의 기준은 방법(1000)을 참조하여 설명된 바와 같이, 사용자의 사전결정된 부분이 사전결정된 위치, 예컨대, 사용자의 시선의 임계 거리(예컨대, 2, 3, 5, 10, 15, 30 센티미터 등) 내의 관심 영역 내에 있을 때 충족되는 기준을 포함한다. 일부 실시예들에서, 하나 이상의 기준은 관심 영역에 대한 사용자의 부분의 위치에 상관없이 충족된다.
도 17b에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안(1802c), 사용자의 사전정의된 부분(예컨대, 1716)의 이동의 제1 부분이 하나 이상의 기준을 충족하고, 사용자의 사전정의된 부분(예컨대, 1716)이 제2 위치에 있다는 결정에 따라, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분(예컨대, 1716)의 제2 위치에 대응하는 3차원 환경 내의 제2 위치에서 시각적 표시(예컨대, 1711b)를 디스플레이하고, 제2 위치는 제1 위치와는 상이하다(1802e). 일부 실시예들에서, 시각적 표시가 디스플레이되는 3차원 환경 내의 위치는 사용자의 사전정의된 부분의 위치에 따라 달라진다. 일부 실시예들에서, 전자 디바이스는 사용자의 사전정의된 부분에 대해 사전정의된 공간적 관계를 갖는 시각적 표시를 디스플레이한다. 일부 실시예들에서, 사용자의 사전정의된 부분이 제1 위치에 있는 동안 사용자의 사전정의된 부분의 이동의 제1 부분을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 사전정의된 부분에 대해 사전정의된 공간적 관계를 갖는 3차원 환경 내의 제1 위치에 시각적 표시를 디스플레이하고, 사용자의 사전정의된 부분이 제2 위치에 있는 동안 사용자의 사전정의된 부분의 이동의 제1 부분을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 사전정의된 부분에 대해 사전정의된 공간적 관계를 갖는 3차원 환경 내의 제3 위치에서 시각적 표시를 디스플레이한다.
입력이 검출되었고 사용자의 사전정의된 부분이 사용자 인터페이스 객체와 결속되어 있음을 나타내는 사용자의 사전결정된 부분에 대응하는 시각적 표시를 디스플레이하는 전술한 방식은 사용자의 사전정의된 부분으로부터의 입력이 사용자 인터페이스 객체와의 상호작용을 야기할 것임을 나타내는 효율적인 방식을 제공하며, 이는 (예컨대, 사용자로부터의 의도하지 않은 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안(1804a), 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제1 부분이 하나 이상의 기준을 충족하고, 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제1 부분에 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제2 부분이 후속할 때 충족되는 기준을 포함하는, 하나 이상의 제2 기준이 충족된다는 (예컨대, 그리고 사용자의 사전정의된 부분의 이동의 제2 부분이 거리, 속도, 지속기간, 또는 기타 임계치와 같은 하나 이상의 기준을 충족하거나 또는 이동의 제2 부분이 이동의 사전결정된 부분과 매칭되고, 사용자의 시선이 사용자 인터페이스 객체로 지향됨) 결정에 따라, 전자 디바이스(101a)는 각자의 입력에 따라 사용자 인터페이스 객체(예컨대, 1705)에 대한 선택 동작을 수행한다(1804b). 일부 실시예들에서, 선택 동작을 수행하는 것은 사용자 인터페이스 객체를 선택하고, 사용자 인터페이스 객체와 연관된 설정을 활성화 또는 비활성화하고, 사용자 인터페이스 객체와 연관된 콘텐츠의 아이템의 재생을 개시, 중지, 또는 수정하고, 사용자 인터페이스 객체와 연관된 사용자 인터페이스의 디스플레이를 개시하고/하거나 다른 전자 디바이스와의 통신을 개시하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 기준은 이동의 제2 부분이 거리 임계치를 충족하는 거리(예컨대, 3차원 환경 내에서 사용자의 사전정의된 부분과 시각적 표시 사이의 거리)를 가질 때 충족되는 기준을 포함한다. 일부 실시예들에서, 이동의 제2 부분의 거리가 거리 임계치를 초과한다고 결정하는 것에 응답하여, 거리가 (예컨대, 사용자의 사전정의된 부분에 대응하는 위치에서 시각적 표시를 디스플레이하기 위한) 임계치를 초과함에 따라 전자 디바이스는 시각적 표시를 (예컨대, 후방으로) 이동한다. 예를 들어, 시각적 표시는 초기에 사용자의 손가락 끝으로부터 2 센티미터이고, 사용자가 자신의 손가락을 사용자 인터페이스 객체를 향해 3 센티미터만큼 이동하는 것을 검출하는 것에 응답하여, 전자 디바이스는 시각적 표시를 지나거나 또는 통과하는 손가락의 이동에 따라 시각적 표시를 사용자 인터페이스 객체를 향해 1 센티미터만큼 이동하고 사용자 인터페이스 객체를 선택하고 사용자의 손가락 끝이 2 센티미터만큼 이동하면 선택이 발생한다. 일부 실시예들에서, 하나 이상의 기준은 사용자의 시선이 사용자 인터페이스 객체를 향해 지향된다는 결정 및/또는 사용자 인터페이스 객체가 방법(1000)을 참조하여 설명된 사용자의 주목 구역 내에 있다는 결정에 따라 충족되는 기준을 포함한다.
일부 실시예들에서, 각자의 입력을 검출하는 동안(1804a), 사용자의 사전정의된 부분(예컨대, 도 17c의 1715)의 이동의 제1 부분이 하나 이상의 기준을 충족하지 않고 하나 이상의 제2 기준은 충족된다는 결정에 따라, 전자 디바이스(101a)는 사용자 인터페이스 객체(예컨대, 도 17c의 1705)에 대한 선택 동작을 수행하는 것을 보류한다(1804c). 일부 실시예들에서, 이동의 제2 부분에 대응하는 이동을 검출함으로써 충족되는 기준을 포함하는 하나 이상의 제2 기준이 충족되더라도, 전자 디바이스는 이동의 제1 부분이 하나 이상의 기준을 충족하지 않는 경우 선택 동작을 수행하는 것을 보류한다. 예를 들어, 전자 디바이스는 시각적 표시를 디스플레이하는 동안 이동의 제2 부분을 검출하는 것에 응답하여 선택 동작을 수행한다. 이 예에서, 전자 디바이스가 시각적 표시를 디스플레이하지 않는 동안 이동의 제2 부분을 검출하는 것에 응답하여, 전자 디바이스는 선택 동작을 수행하는 것을 보류한다.
이동의 제1 부분이 검출된 후에 그리고 시각적 표시가 디스플레이되는 동안 하나 이상의 제2 기준이 충족되는 것에 응답하여 선택 동작을 수행하는 전술한 방식은 이동의 제1 부분을 먼저 검출하지 않으면서 사용자의 사전정의된 부분의 이동이 제2 하나 이상의 기준을 충족할 때 사용자의 사전정의된 부분의 이동에 기초하여 사용자 입력들을 수용하고 의도하지 않은 입력들을 거절하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분(예컨대, 1715)의 이동에 따라 이동하는 사용자의 사전정의된 부분(예컨대, 1715)의 표현을 디스플레이한다(1806a). 일부 실시예들에서, 사용자의 사전정의된 부분의 표현은 전자 디바이스의 물리적 환경 내의 사용자의 사전정의된 부분의 위치에 대응하는 3차원 환경 내의 위치에서 디스플레이되는 사용자의 부분의 실사 표현(예컨대, 패스 스루 비디오)이다. 일부 실시예들에서, 사용자의 사전정의된 부분의 표현의 포즈는 사용자의 사전정의된 부분의 포즈와 매칭된다. 예를 들어, 사용자는 물리적 환경 내의 제1 위치에서 가리키는 손 형상을 만드는 것을 검출하는 것에 응답하여, 전자 디바이스는 3차원 환경 내의 대응하는 제1 위치에서 가리키는 손 형상을 만드는 손의 표현을 디스플레이한다. 일부 실시예들에서, 사용의 일부분의 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통한 사용자의 일부분의 뷰이다.
사용자의 사전정의된 부분의 이동에 따라 이동하는 사용자의 사전정의된 부분의 표현을 디스플레이하는 전술한 방식은 사용자가 전자 디바이스에 입력들을 제공하기 위해 사용자의 사전정의된 부분을 이동함에 따라 사용자에게 피드백을 제시하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1715)이 3차원 환경 내의 디스플레이 생성 컴포넌트를 통해 보인다(1808a). 일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 사전정의된 부분이 보이는 투명 부분을 포함한다(예컨대, 트루 패스스루). 일부 실시예들에서, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분의 실사 표현(예컨대, 가상 패스스루 비디오)을 제시한다.
디스플레이 생성 컴포넌트를 통해 보이는 사용자의 사전정의된 부분을 만드는 전술한 방식은 사용자 입력의 효율적인 시각적 피드백을 사용자에게 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안 사용자의 사전정의된 부분의 이동의 제1 부분(예컨대, 1715)이 하나 이상의 기준을 충족한다는 결정에 따라, 전자 디바이스(101a)는 각자의 입력에 따라 사용자 인터페이스 객체(예컨대, 1705)의 디스플레이를 수정한다(1810a). 일부 실시예들에서, 사용자 인터페이스 객체의 디스플레이를 수정하는 것은 색상, 크기, 또는 사용자 인터페이스 객체의 3차원 환경 내의 위치를 업데이트하는 것 중 하나 이상을 포함한다.
이동의 제1 부분에 응답하여 사용자 인터페이스 객체의 디스플레이를 수정하는 전술한 방식은 사용자 인터페이스 객체를 향해 추가적인 입력이 지향될 것임을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 사용자 인터페이스 객체(예컨대, 1705)의 디스플레이를 수정하는 것은(1812a) 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제1 부분이 하나 이상의 기준을 충족한 후에 사용자의 사전정의된 부분(예컨대, 1715)이 사용자 인터페이스 객체(예컨대, 1705)에 대응하는 위치를 향해 이동한다는 결정에 따라, 사용자 인터페이스 객체(예컨대, 1705)에 대응하는 위치를 향한 사용자의 사전정의된 부분(예컨대, 1715)의 이동에 따라 사용자 인터페이스 객체(예컨대, 1705)를 3차원 환경 내에서 후방으로(예컨대, 사용자로부터 멀리, 사용자의 사전정의된 부분의 이동의 방향으로) 이동하는 것을 포함한다(1812b). 일부 실시예들에서, 전자 디바이스는 하나 이상의 기준을 충족하는 이동의 제1 부분에 후속하는 사용자의 사전정의된 부분의 이동량에 비례하는 양만큼 뒤로 사용자 인터페이스 객체를 이동한다. 예를 들어, 제1 양만큼의 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 제2 양만큼 뒤로 사용자 인터페이스 객체를 이동한다. 다른 예로서, 제1 양보다 큰 제3 양만큼의 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 제2 양보다 큰 제4 양만큼 뒤로 사용자 인터페이스 객체를 이동한다. 일부 실시예들에서, 사용자의 사전정의된 부분이 사용자 인터페이스 객체의 선택을 야기할 정도로 충분히 이동한 후에 사용자의 사전정의된 부분의 이동이 이동의 제1 부분에 후속하는 것이 검출되는 동안 전자 디바이스는 사용자 인터페이스 객체를 후방으로 이동한다.
이동의 제1 부분 후에 사용자의 사전정의된 부분의 이동에 따라 사용자 인터페이스 객체를 후방으로 이동하는 전술한 방식은 입력이 어느 사용자 인터페이스 요소로 지향되는지 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 사용자 인터페이스 객체(예컨대, 1705)는, 디스플레이 생성 컴포넌트를 통해, 각자의 사용자 인터페이스(예컨대, 1706)에서(예컨대, 각각의 애플리케이션 등의 사용자 인터페이스에서, 백플레인 상에 중첩된 윈도우 또는 기타 컨테이너에서) 디스플레이된다(1814a).
도 17c에서와 같은 일부 실시예들에서, 각자의 입력이 스크롤 입력이라는 결정에 따라, 전자 디바이스(101a)는 사용자 인터페이스 객체(예컨대, 1703)에 대응하는 위치를 향한 사용자의 사전정의된 부분(예컨대, 1713)의 이동에 따라 각자의 사용자 인터페이스 및 사용자 인터페이스 객체(예컨대, 1703)를 후방으로 이동한다(1814b)(예컨대, 사용자 인터페이스 요소는 각자의 사용자 인터페이스 요소에 대해 사용자로부터 멀리 이동하지 않고, 오히려, 각자의 사용자 인터페이스 요소와 함께 사용자 인터페이스 요소를 이동함).
도 17c에서와 같은 일부 실시예들에서, 각자의 입력이 스크롤 입력 이외의 입력(예컨대, 선택 입력, 3차원 환경 내의 사용자 인터페이스 요소를 이동하는 입력)이라는 결정에 따라, 전자 디바이스는 각자의 사용자 인터페이스(예컨대, 1706)를 이동하지 않고 각자의 사용자 인터페이스(예컨대, 1706)에 대해 사용자 인터페이스 객체(예컨대, 1705)를 (예컨대, 후방으로) 이동한다(1814c). 일부 실시예들에서, 사용자 인터페이스 객체는 각자의 사용자 인터페이스에 독립적으로 이동한다. 일부 실시예들에서, 각자의 사용자 인터페이스는 이동하지 않는다. 일부 실시예들에서, 스크롤 입력에 응답하여, 전자 디바이스는 사용자 인터페이스 객체를 사용자 인터페이스 객체의 컨테이너와 함께 후방으로 이동하고, 스크롤 입력 이외의 입력에 응답하여, 전자 디바이스는 사용자 인터페이스 객체의 컨테이너를 후방으로 이동하지 않고 사용자 인터페이스 객체를 후방으로 이동한다.
각자의 입력의 입력 유형에 따라 선택적으로 각자의 사용자 인터페이스 객체를 후방으로 이동하는 전술한 방식은 입력이 어느 사용자 인터페이스 요소로 지향되는지 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안(1816a), 사용자 인터페이스 객체(예컨대, 1705)를 향한 사용자의 사전정의된 부분(예컨대, 1715)의 이동을 검출한 후에 그리고 사용자 인터페이스 객체를 3차원 환경 내에서 후방으로 이동한 후에, 전자 디바이스(101a)는 사용자 인터페이스 객체에 대응하는 위치로부터 멀어지는 (예컨대, 사용자의 몸통을 향한) 사용자의 사전정의된 부분(예컨대, 1715)의 이동을 검출한다(1816b). 일부 실시예들에서, 사용자 인터페이스 객체에 대응하는 위치로부터 멀어지는 사용자의 사전정의된 부분의 이동은 하나 이상의 각자의 기준을 충족하는 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여 선택 동작을 수행한 후에 검출된다. 일부 실시예들에서, 사용자 인터페이스 객체에 대응하는 위치로부터 멀어지는 사용자의 사전정의된 부분의 이동은 하나 이상의 각자의 기준을 충족하지 않는 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여 선택 동작을 수행하는 것을 보류한 후에 검출된다.
도 17d에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안(1816a), 사용자 인터페이스 객체(예컨대, 1705)에 대응하는 위치로부터 멀어지는 사용자의 사전정의된 부분(예컨대, 1715)의 이동을 검출하는 것에 응답하여, 사용자 인터페이스 객체(예컨대, 1705)에 대응하는 위치로부터 멀어지는 사용자의 사전정의된 부분(예컨대, 1715)의 이동에 따라 전자 디바이스(101a)는 사용자 인터페이스 객체(예컨대, 1705)를 3차원 환경 내에서 전방으로(예컨대, 사용자를 향해) 이동한다(1816c). 일부 실시예들에서, 사전결정된 임계치 미만인 거리만큼 사용자 인터페이스 객체로부터 멀어지는 사용자의 사전정의된 부분의 이동에 응답하여, 전자 디바이스는 사용자의 사전정의된 부분의 이동을 검출하는 동안 각자의 사용자 인터페이스 요소를 사용자의 사전정의된 부분의 이동의 거리에 비례하는 양만큼 전방으로 이동한다. 일부 실시예들에서, 사용자의 사전정의된 부분의 이동의 거리가 사전결정된 임계치에 도달하면, 전자 디바이스는 사용자 인터페이스 요소가 각자의 입력을 검출하기 전에 디스플레이된 사용자로부터의 거리에서 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 임계 거리를 초과하여 사용자 인터페이스 객체로부터 멀어지는 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 객체를 전방으로 이동하는 것을 중단하고 사용자 인터페이스 객체가 각자의 입력의 검출 이전에 디스플레이된 사용자로부터의 거리에 사용자 인터페이스 요소의 디스플레이를 유지한다.
사용자 인터페이스 객체로부터 멀어지는 사용자의 사전정의된 부분의 이동에 응답하여 사용자 인터페이스 객체를 전방으로 이동하는 전술한 방식은 사용자 인터페이스 요소로부터 멀어지는 이동이 검출되었다는 피드백을 사용자에게 제공하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17b에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1715)의 제1 위치에 대응하는 3차원 환경 내의 제1 위치에서의 시각적 표시(예컨대, 1711a)는 3차원 환경 내의 제1 각자의 위치에서 3차원 환경에서 보이는 사용자의 사전정의된 부분(예컨대, 1715)의 표현에 근접하게 디스플레이된다(1818a). 일부 실시예들에서, 사용자의 사전정의된 부분의 표현은 디스플레이 생성 컴포넌트에 의해 디스플레이되는 사용자의 사전정의된 부분의 실사 표현(예컨대, 가상 패스 스루)이다. 일부 실시예들에서, 사용자의 사전정의된 부분의 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통해 보이는 사용자의 사전정의된 부분이다(예컨대, 트루 패스스루). 일부 실시예들에서, 사용자의 사전정의된 부분은 사용자의 손이고, 시각적 표시는 사용자의 손가락의 끝에 근접하게 디스플레이된다.
도 17b에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1715b)의 제2 위치에 대응하는 3차원 환경 내의 제2 위치에서의 시각적 표시(예컨대, 1711b)는 3차원 환경 내의 제2 각자의 위치에서 3차원 환경에서 보이는 사용자의 사전정의된 부분(예컨대, 1715b)의 표현에 근접하게 디스플레이된다(1818b). 일부 실시예들에서, 사용자가 사용자의 사전정의된 부분을 이동하면, 전자 디바이스는 사용자의 사전정의된 부분에 근접하게 계속해서 디스플레이되도록 시각적 표시의 위치를 업데이트한다. 일부 실시예들에서, 하나 이상의 기준을 충족하는 이동을 검출한 후에 그리고 사용자의 몸통을 향한 및/또는 사용자 인터페이스 객체로부터 멀어지는 사용자의 부분의 이동을 검출하기 전에, 전자 디바이스는 (예컨대, 이동의 제1 부분을 수행한 손가락의 끝에서 및/또는 이에 인접하게) 시각적 표시를 계속해서 디스플레이하고, 사용자의 부분의 추가 이동에 따라 시각적 표시의 위치를 업데이트한다. 예를 들어, 사용자의 몸통으로부터 멀어지는 및/또는 사용자 인터페이스 객체를 향하는 손가락의 이동을 포함하는, 하나 이상의 기준을 충족하는 사용자의 손가락의 이동을 검출하는 것에 응답하여, 전자 디바이스는 시각적 표시를 디스플레이하고, 사용자의 손이 사용자의 몸통을 향해 이동하지 않고 측방향으로 또는 수직으로 이동하는 경우, 손의 일부분의 위치에서(예컨대, 펴진 손가락과 같은, 손가락 주위에서) 시각적 표시를 계속해서 디스플레이한다. 일부 실시예들에서, 이동의 제1 부분이 하나 이상의 기준을 충족하지 않는다는 결정에 따라, 전자 디바이스는 시각적 표시를 디스플레이하는 것을 보류한다.
사용자의 사전정의된 부분에 근접하게 시각적 표시를 디스플레이하는 전술한 방식은 사용자의 사전정의된 부분의 이동이 입력들로 하여금 전자 디바이스에서 검출되게 함을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 7c에서와 같은 일부 실시예들에서, 사용자 인터페이스 객체를 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 사전정의된 부분(예컨대, 709)의 이동을 포함하는 제2 각자의 입력을 검출하고, 제2 각자의 입력 동안, 사용자의 사전정의된 부분(예컨대, 709)의 위치는 사용자 인터페이스 객체(예컨대, 705)에 대응하는 위치에 있다(1820a)(예컨대, 사용자의 사전정의된 부분이 사용자 인터페이스 객체와 직접 상호작용하도록 사용자의 사전정의된 부분은 사용자 인터페이스 객체의 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 10, 15 센티미터 등) 내에 있으며, 이는 방법들(800, 1000, 1200, 1400, 1600 및/또는 2000)을 참조하여 설명된 바와 같음).
도 7c에서와 같은 일부 실시예들에서, 제2 각자의 입력을 검출하는 동안(1820b), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분(예컨대, 709)에 대응하는 위치에서 시각적 표시를 디스플레이하지 않고, 제2 각자의 입력에 따라 사용자 인터페이스 객체(예컨대, 705)의 디스플레이(예컨대, 색상, 크기, 위치 등)를 수정한다(1820c). 예를 들어, 사용자의 사전정의된 부분의 사전정의된 포즈를 검출하는 것에 응답하여 사용자의 사전정의된 부분이 사용자 인터페이스 객체의 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 10, 15 센티미터 등) 내에 있는 동안, 전자 디바이스는 사용자 인터페이스 객체의 색상을 업데이트한다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 객체를 향한 사용자의 사전정의된 부분의 이동을 검출하고, 사용자의 사전정의된 부분의 이동에 응답하여 그리고 사용자의 사전정의된 부분이 사용자 인터페이스 객체와 접촉하게 되면, 전자 디바이스는 사용자의 사전정의된 부분의 이동에 따라 (예컨대, 사용자의 사전정의된 부분의 이동의 방향, 속도, 및/또는 거리에 대응하는 방향, 속도, 거리로) 사용자 인터페이스 객체를 이동한다.
제2 각자의 입력에 따라 사용자 인터페이스 객체의 디스플레이를 수정하는 전술한 방식은 제2 입력이 어느 사용자 인터페이스 요소로 지향되는지 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101a)는 각자의 입력에 응답하여 각자의 동작을 수행한다(예컨대, 1821a).
일부 실시예들에서, 사용자 인터페이스 객체(예컨대, 도 17c의 1703, 1705)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들(예컨대, 314a)을 통해, 각자의 입력 내의 사용자의 사전정의된 부분의 이동과 동일한 유형의 이동을 포함하는 사용자의 사전정의된 부분(예컨대, 도 17c의 1713, 1715)의 이동을 포함하는 제3 각자의 입력을 검출하고(예컨대, 제3 각자의 입력은 각자의 입력의 반복 또는 실질적 반복임), 제3 각자의 입력 동안, 사용자의 사전정의된 부분의 위치는 사용자 인터페이스 객체에 대응하는 위치에 있다(예컨대, 1821b). 예를 들어, 손(1713 및/또는 1715)은 도 17c에서 입력을 제공할 때 옵션(1705)의 위치에 위치된다.
도 17c에서와 같은 일부 실시예들에서, 제3 각자의 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 (예컨대, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분에 대응하는 위치에서 시각적 표시를 디스플레이하지 않고) 각자의 동작을 수행한다(예컨대, 1821c). 일부 실시예들에서, 전자 디바이스는 제공되는 입력의 유형(예컨대, 직접 입력, 간접 입력, 공중 제스처 입력 등)에 상관없이 각자의 사용자 인터페이스 요소로 지향되는 입력에 응답하여 동일한 동작을 수행한다.
수신되는 입력의 유형에 상관없이 각자의 사용자 인터페이스 요소로 지향되는 입력에 응답하여 동일한 동작을 수행하는 것은 전자 디바이스와의 일관되고 편리한 사용자 상호작용들을 제공하고, 그럼으로써 사용자가 전자 디바이스를 빠르고 효율적으로 사용하게 한다.
도 17b에서와 같은 일부 실시예들에서, 각자의 입력을 검출하기 전에(1822a), 사용자의 시선(예컨대, 1701b)이 사용자 인터페이스 객체(예컨대,1705)로 지향된다는 결정에 따라, 전자 디바이스는 제1 값을 갖는 각자의 시각적 특성(예컨대, 크기, 위치, 색상)을 갖는 사용자 인터페이스 객체(예컨대, 1705)를 디스플레이한다(1822b). 일부 실시예들에서, 사용자의 시선이 사용자 인터페이스 객체로 지향되는 동안, 전자 디바이스는 제1 색상의 사용자 인터페이스 객체를 디스플레이한다.
일부 실시예들에서, 도 17b에서의 입력과 같은 각자의 입력을 검출하기 전에(1822a), 사용자의 시선이 사용자 인터페이스 객체(예컨대, 1705)로 지향되지 않는다는 결정에 따라, 전자 디바이스는 제1 값과는 상이한 제2 값을 갖는 각자의 시각적 특성을 갖는 사용자 인터페이스 객체(예컨대, 1705)를 디스플레이한다(1822c). 일부 실시예들에서, 사용자의 시선이 사용자 인터페이스 객체로 지향되지 않는 동안, 전자 디바이스는 제2 색상의 사용자 인터페이스 객체를 디스플레이한다.
사용자의 시선이 사용자 인터페이스 객체로 지향되는지 여부에 따라 사용자 인터페이스 객체의 각자의 시각적 특성을 업데이트하는 전술한 방식은 입력이 어느 사용자 인터페이스 요소로 지향될지 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안(1824a), 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제1 부분이 하나 이상의 기준을 충족한 후에(1824b), 하나 이상의 제2 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제2 부분에, 하나 이상의 제3 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제3 부분이 후속되는 것이 검출된다는 결정에 따라 - 하나 이상의 제2 기준은 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제2 부분이 사용자 인터페이스 객체에 대응하는 위치를 향한 이동 임계치를 (예컨대, 선택을 위해 충분히) 초과하는 이동을 포함할 때 충족되는 기준을 포함하고, 하나 이상의 제3 기준은 이동의 제3 부분이 사용자 인터페이스 객체(예컨대, 1705)에 대응하는 위치로부터 멀리 있고 이동의 제2 부분의 시간 임계치(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2초 등) 내에 검출될 때 충족되는 기준을 포함함 -, 전자 디바이스(101a)는 사용자 인터페이스 객체(예컨대, 1705)에 대해 탭 동작을 수행한다(1824c). 일부 실시예들에서, 사용자의 사전정의된 부분의 이동의 제1 부분은 사용자 인터페이스 객체를 향한 사용자의 사전정의된 부분의 제1 양만큼의 이동이고, 사용자의 사전정의된 부분의 이동의 제2 부분은 사용자 인터페이스 객체를 향한 사용자의 사전정의된 부분의 제2 양(예컨대, 사용자 인터페이스 객체의 간접 선택에 충분함)만큼의 추가적인 이동이고, 사용자의 사전정의된 부분의 이동의 제3 부분은 사용자 인터페이스 요소로부터 멀어지는 사용자의 사전정의된 부분의 이동이다. 일부 실시예들에서, 탭 동작은 (예컨대, 터치 스크린 상에 디스플레이되는 사용자 인터페이스 요소를 탭핑하는 것과 유사한) 사용자 인터페이스 요소의 선택에 대응한다.
이동의 제1, 제2, 및 제3 부분들을 검출하는 것에 응답하여 탭 동작을 수행하는 전술한 방식은 사용자의 사전정의된 부분이 사용자 인터페이스 객체로부터 먼 위치에 있는 동안 탭 입력들을 수신하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안(1826a), 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제1 부분이 하나 이상의 기준을 충족한 후에(1826b), 하나 이상의 제2 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제2 부분에 하나 이상의 제3 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제3 부분이 후속되는 것이 검출된다는 결정에 따라, 하나 이상의 제2 기준은 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제2 부분이 사용자 인터페이스 객체(예컨대, 1703)에 대응하는 위치를 향한 이동 임계치를 (예컨대, 선택을 위해 충분히) 초과하는 이동을 포함할 때 충족되는 기준을 포함하고, 하나 이상의 제3 기준은 이동의 제3 부분이 사용자 인터페이스 객체(예컨대, 1703)에 대응하는 위치에 대한 측방향 이동(예컨대, 3차원 환경 내의 사용자의 사전정의된 부분과 사용자 인터페이스 객체에 대응하는 위치 사이의 거리를 변경하는 이동의 방향에 직교하는 방향의 이동)일 때 충족되는 기준을 포함함 -, 전자 디바이스는 이동의 제3 부분에 따라 사용자 인터페이스 객체(예컨대, 1703)에 대해 스크롤 동작을 수행한다(1826c). 일부 실시예들에서, 스크롤 동작은 사용자의 사전정의된 부분의 이동에 따라 사용자 인터페이스 객체의 콘텐츠(예컨대, 텍스트 콘텐츠, 이미지들 등)를 스크롤하는 것을 포함한다. 일부 실시예들에서, 사용자 인터페이스 객체의 콘텐츠는 이동의 제3 부분에서의 사용자의 사전정의된 부분의 이동의 이동의 방향, 속도, 및/또는 양에 대응하는 방향으로, 대응하는 속도에서, 및/또는 대응하는 양만큼 스크롤된다. 예를 들어, 측방향 이동이 수평 이동인 경우, 전자 디바이스는 콘텐츠를 수평으로 스크롤한다. 다른 예로서, 측방향 이동이 수직 이동인 경우, 전자 디바이스는 콘텐츠를 수직으로 스크롤한다.
이동의 제1 및 제2 부분들에 사용자의 사전정의된 부분의 측방향 이동을 포함하는 이동의 제3 부분이 후속되는 것을 검출하는 것에 응답하여 스크롤 동작을 수행하는 전술한 방식은 사용자의 사전정의된 부분이 사용자 인터페이스 요소로부터 멀리 위치되어 있는 동안 사용자 인터페이스 요소를 조작하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 각자의 입력을 검출하는 동안(1828a), 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제1 부분이 하나 이상의 기준을 충족한 후에, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 사용자 인터페이스 객체(예컨대, 1705)에 대응하는 위치로부터 멀어지는 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제2 부분을 검출한다(1828b)(예컨대, 사용자는 자신의 손가락을 사용자의 몸통을 향해, 그리고 3차원 환경 내의 사용자 인터페이스 객체의 위치에 대응하는 위치로부터 멀리 이동한다).
일부 실시예들에서, 도 17c에서의 입력과 같은 각자의 입력을 검출하는 동안(1828a), 이동의 제2 부분을 검출하는 것에 응답하여, 전자 디바이스는 이동의 제2 부분에 따라 시각적 표시(예컨대, 1711)의 외관을 업데이트한다(1828c). 일부 실시예들에서, 시각적 표시의 외관을 업데이트하는 것은 시각적 표시의 반투명성, 크기, 색상, 또는 위치를 변경하는 것을 포함한다. 일부 실시예들에서, 시각적 표시의 외관을 업데이트한 후에, 전자 디바이스는 시각적 표시를 디스플레이하는 것을 중단한다. 예를 들어, 사용자의 사전정의된 부분의 이동의 제2 부분을 검출하는 것에 응답하여, 전자 디바이스는 시각적 표시를 확장하고 색상 및/또는 시각적 표시의 디스플레이를 점점 사라지게 하고 이어서 시각적 표시를 디스플레이하는 것을 중단한다.
이동의 제2 부분에 따라 시각적 표시의 외관을 업데이트하는 전술한 방식은 이동의 제2 부분이 검출됐을 때 이동의 제1 부분이 하나 이상의 기준을 충족했음을 사용자에게 확인시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 17c에서의 시각적 표시(예컨대, 1711)와 같은 시각적 표시의 외관을 업데이트하는 것은 시각적 표시의 디스플레이를 중단하는 것을 포함한다(1830a). 도 17a에서와 같은 일부 실시예들에서, 시각적 표시의 디스플레이를 중단한 후에, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 사전정의된 부분(예컨대, 1713)의 제2 이동을 포함하는 제2 각자의 입력을 검출하고(1830b), 제2 각자의 입력 동안, 사용자의 사전정의된 부분(예컨대, 1713)의 위치는 사용자 인터페이스 객체(예컨대, 1705)에 대응하는 위치로부터 멀리 있다(예컨대, 전자 디바이스의 물리적 환경 내의 사용자의 사전정의된 부분의 위치에 대응하는 3차원 환경 내의 위치는 3차원 환경 내의 사용자 인터페이스 객체의 위치로부터 멀어지는 임계 거리(예컨대, 3, 5, 10, 15, 30 센티미터 등)보다 더 멀다). 일부 실시예들에서, 임계 거리는 직접 입력에 대한 임계 거리이다(예컨대, 거리가 임계치 미만인 경우, 전자 디바이스는 선택적으로 직접 입력들을 검출한다).
도 17b에서와 같은 일부 실시예들에서, 제2 각자의 입력(1830c)을 검출하는 동안, 제2 이동의 제1 부분이 하나 이상의 기준을 충족한다는 결정에 따라, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 제2 각자의 입력 동안 사용자의 사전정의된 부분(예컨대, 1715)에 대응하는 3차원 환경 내의 위치에서 제2 시각적 표시(예컨대, 1711a)를 디스플레이한다(1830d). 일부 실시예들에서, 전자 디바이스는 하나 이상의 기준을 충족하는 각자의 이동의 제1 부분을 검출할 때(예컨대, 할 때마다), 전자 디바이스는 사용자의 사전정의된 부분에 대응하는 3차원 환경 내의 위치에서 시각적 표시를 디스플레이한다.
제1 시각적 표시의 외관을 업데이트하고 제1 시각적 표시를 디스플레이하는 것을 중단한 후에 하나 이상의 기준을 충족하는 제2 이동의 제1 부분을 검출하는 것에 응답하여 제2 시각적 표시를 디스플레이하는 전술한 방식은 전자 디바이스가 하나 이상의 기준을 충족하는 이동의 일부분을 검출할 때마다 사용자에게 시각적 피드백을 제공하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 각자의 입력은 사용자 인터페이스 객체로 지향되는 스크롤링 입력에 대응한다(1832a)(예컨대, 하나 이상의 기준을 충족하는 이동의 제1 부분을 검출한 후에, 전자 디바이스는 사용자 인터페이스가 스크롤가능한 방향에 대응하는 방향의 사용자의 사전정의된 부분의 이동을 추가로 검출함). 예를 들어, 이동의 제1 부분을 검출한 후에 사용자의 사전정의된 부분의 상향 이동을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 요소를 수직으로 스크롤한다.
도 17c에서와 같은 일부 실시예들에서, 전자 디바이스(101a)는 시각적 표시(예컨대, 1709)의 디스플레이를 유지하는 동안, 각자의 입력에 따라 사용자 인터페이스 객체(예컨대, 1703)를 스크롤한다(1832b). 일부 실시예들에서, 시각적 표시는 가상 트랙패드이고, 전자 디바이스는 사용자의 사전정의된 부분이 3차원 환경 내의 가상 트랙패드의 위치에 대응하는 물리적 위치에 있는 동안 사용자의 사전정의된 부분의 이동에 따라 사용자 인터페이스 객체를 스크롤한다. 일부 실시예들에서, 스크롤의 방향을 제어하는 사용자의 사전정의된 부분의 측방향 이동에 응답하여, 전자 디바이스는 사용자의 사전정의된 부분에 근접하게 계속해서 디스플레이되도록 시각적 표시의 위치를 업데이트한다. 일부 실시예들에서, 스크롤의 방향을 제어하는 사용자의 사전정의된 부분의 측방향 이동에 응답하여, 전자 디바이스는 3차원 환경 내에서 시각적 표시의 위치를 유지한다.
스크롤링 입력을 검출하는 동안 시각적 표시의 디스플레이를 유지하는 전술한 방식은 스크롤링 입력을 제공하기 위해 사용자의 사전정의된 부분을 위치시킬 곳에 대해 사용자에게 피드백을 제공하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 17c에 도시된 입력들과 같은 각자의 입력을 검출하는 동안(1834a), 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제1 부분이 하나 이상의 기준을 충족한 후에, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 이동의 제2 부분이 시각적 표시(예컨대, 1711)에 대응하는 위치와 사용자의 (예컨대, 1715) 사전정의된 부분 사이의 거리에 대응할 때 충족되는 기준을 포함하는, 하나 이상의 제2 기준을 충족하는 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제2 부분을 검출한다(1834b). 일부 실시예들에서, 기준은 이동의 제2 부분이 적어도 사용자의 사전정의된 부분과 시각적 표시에 대응하는 위치 사이의 거리인 양만큼의 이동을 포함할 때 충족된다. 예를 들어, 시각적 표시가 사용자의 사전정의된 부분으로부터 1 센티미터에 대응하는 위치에 디스플레이되는 경우, 기준은 이동의 제2 부분이 시각적 표시에 대응하는 위치를 향해 적어도 1 센티미터만큼의 이동을 포함할 때 충족된다.
일부 실시예들에서, 도 17c에서의 입력들 중 하나와 같은 각자의 입력을 검출하는 동안(1834a), 사용자의 사전정의된 부분(예컨대, 1715)의 이동의 제2 부분을 검출하는 것에 응답하여, 전자 디바이스(101a)는 하나 이상의 제2 기준이 충족됨을 나타내는 청각(및/또는 촉각) 피드백을 생성한다(1834c). 일부 실시예들에서, 하나 이상의 제2 기준을 충족하는 사용자의 사전정의된 부분의 이동의 제2 부분을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 객체(예컨대, 입력이 지향되는 사용자 인터페이스 객체)의 선택에 따라 작동을 수행한다.
이동의 제2 부분이 하나 이상의 제2 기준을 충족함을 나타내는 피드백을 생성하는 전술한 방식은 입력이 검출되었음을 사용자에게 확인시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17b에서와 같은 일부 실시예들에서, 사용자 인터페이스 객체(예컨대, 1703)를 디스플레이하는 동안, 전자 디바이스(101a)는, 사용자의 사전정의된 부분(예컨대, 1713)의 위치가 사용자 인터페이스 객체(예컨대, 1703)에 대응하는 위치로부터 멀리 있는 동안 사용자의 사전정의된 부분(예컨대, 1713)이 각자의 포즈(예컨대, 위치, 배향, 형상(예컨대, 손 형상))를 가질 때 충족되는 기준을 포함하는 하나 이상의 제2 기준이 충족되는 것을 검출한다(1836a). 일부 실시예들에서, 각자의 포즈는 사용자의 손이 (예컨대, 사용자에 대해) 3차원 환경의 사전결정된 영역에 대응하는 위치에 있는 것, 손의 손바닥이 사용자 인터페이스 객체에 대응하는 위치를 향하는 것, 및 손이 가리키는 손 형상인 것을 포함한다. 각자의 포즈는 선택적으로 방법들(800, 1000, 1200, 1400, 1600 및/또는 2000)을 참조하여 설명된 바와 같은 간접 상호작용에 대한 준비 상태 포즈의 하나 이상의 특성들을 갖는다.
도 17b에서와 같은 일부 실시예들에서, 하나 이상의 제2 기준이 충족되는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분(예컨대, 1713)에 대응하는 (예컨대, 3차원 환경 내의) 위치에 (예컨대, 임계 거리(예컨대, 1, 3, 5, 10 센티미터 등) 이내로) 근접하고, 사용자 인터페이스 객체(예컨대, 1703)로부터 멀리 있는 가상 표면(예컨대, 1709a)(예컨대, 트랙패드처럼 보이는 시각적 표시)을 디스플레이한다(1836b). 일부 실시예들에서, 시각적 표시는 선택적으로 트랙패드처럼 보이기 위해 직각 또는 둥근 코너를 갖는 정사각 또는 직사각 형상이다. 일부 실시예들에서, 가상 표면의 위치에 대응하는 위치에서 사용자의 사전정의된 부분을 검출하는 것에 응답하여, 전자 디바이스는 입력에 따라 원격 사용자 인터페이스 객체에 대한 작동을 수행한다. 예를 들어, 사용자가 가상 표면에 대응하는 위치를 탭한 경우, 전자 디바이스는 원격 사용자 인터페이스 객체로 지향되는 선택 입력을 검출한다. 다른 예로서, 사용자가 자신의 손을 가상 표면을 따라 측방향으로 이동하는 경우, 전자 디바이스는 원격 사용자 인터페이스 객체로 지향되는 스크롤링 입력을 검출한다.
제2 기준에 응답하여 가상 표면을 디스플레이하는 전술한 방식은 전자 디바이스에 입력들을 제공하기 위해 사용자의 사전정의된 부분을 위치시킬 곳을 가리키도록 사용자에게 시각적 가이드를 제시하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 17c에서의 가상 표면(예컨대, 1709)과 같은 가상 표면을 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 가상 표면(예컨대,1709)에 대응하는 위치를 향하는 사용자의 사전정의된 부분(예컨대, 1713)의 각자의 이동을 검출한다(1838a). 일부 실시예들에서, 각자의 이동을 검출하는 것에 응답하여, 전자 디바이스는 각자의 이동에 따라 도 17c에서의 가상 표면(예컨대, 1709)과 같은 가상 표면의 시각적 외관을 변경한다(1838b). 일부 실시예들에서, 가상 표면의 시각적 외관을 변경하는 것은 가상 표면의 색상을 변경하는 것을 포함한다. 일부 실시예들에서, 가상 표면의 시각적 외관을 변경하는 것은 방법(2000)에 따라 가상 표면 상에 사용자의 손의 모의된 그림자를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 사용자의 사전정의된 부분이 가상 표면에 더 가까워짐에 따라 가상 표면의 색상 변경이 증가하고, 사용자의 사전정의된 부분이 가상 표면으로부터 멀리 이동함에 따라 거꾸로 된다.
가상 표면에 대응하는 위치를 향한 사용자의 사전정의된 부분의 이동에 응답하여 가상 표면의 시각적 외관을 변경하는 전술한 방식은 가상 표면이 사용자의 사전정의된 부분에 의해 제공되는 사용자 입력에 응답함을 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17c에서와 같은 일부 실시예들에서, 가상 표면(예컨대, 1709)을 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 가상 표면(예컨대, 1703)에 대응하는 위치를 향한 사용자의 사전정의된 부분(예컨대, 1713)의 각자의 이동을 검출한다(1840a). 도 17c에서와 같은 일부 실시예들에서, 각자의 이동을 검출하는 것에 응답하여, 전자 디바이스(101a)는 각자의 이동에 따라 사용자 인터페이스 객체(예컨대, 1703)의 시각적 외관을 변경한다(1840b). 일부 실시예들에서, 가상 표면에 대응하는 위치를 향한 사용자의 사전정의된 부분의 이동은 적어도 사용자의 사전정의된 부분과 가상 표면에 대응하는 위치 사이의 거리인 거리만큼 사용자의 사전정의된 부분을 이동하는 것을 포함한다. 일부 실시예들에서, 사용자의 사전정의된 부분의 이동에 응답하여, 전자 디바이스는 사용자 인터페이스 객체의 선택을 개시한다. 일부 실시예들에서, 사용자 인터페이스 객체의 시각적 외관을 업데이트하는 것은 사용자 인터페이스 객체의 색상을 변경하는 것을 포함한다. 일부 실시예들에서, 사용자 인터페이스 객체의 색상은 사용자의 사전정의된 부분이 가상 표면에 더 가까이 이동함에 따라 점진적으로 변경되고, 사용자의 사전정의된 부분이 가상 표면으로부터 멀리 이동함에 따라 점진적으로 되돌아온다. 일부 실시예들에서, 시각적 외관의 변경의 속도 또는 정도는 이동 속도, 이동 거리, 또는 사용자의 사전정의된 부분의 가상 트랙패드로부터의 거리에 기초한다. 일부 실시예들에서, 사용자 인터페이스 객체의 시각적 외관을 변경하는 것은 3차원 환경에서 사용자 인터페이스 객체를 사용자의 사전정의된 부분으로부터 멀리 이동하는 것을 포함한다.
가상 표면에 대응하는 위치를 향한 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여 사용자 인터페이스 객체의 시각적 외관을 업데이트하는 전술한 방식은 가상 표면을 통해 제공되는 입력이 사용자 인터페이스 객체를 향해 지향될 것임을 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17b에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1713)에 대응하는 위치에 근접하게 가상 표면(예컨대, 1709a)을 디스플레이하는 것은 사용자의 사전정의된 부분(예컨대, 1713)에 대응하는 위치로부터 각자의 거리에서 가상 표면(예컨대, 1709a)을 디스플레이하는 것을 포함하고, 각자의 거리는 사용자 인터페이스 객체(예컨대, 1703)에 대해 동작을 수행하는데 요구되는 가상 표면(예컨대, 1709a)에 대응하는 위치를 향한 사용자의 사전정의된 부분(예컨대, 1713)의 이동량에 대응한다(1842a). 예를 들어, 사용자 인터페이스 객체에 대한 동작을 수행하기 위해 1 센티미터의 이동이 필요한 경우, 전자 디바이스는 사용자의 사전정의된 부분에 대응하는 위치로부터 1 센티미터 떨어진 위치에서 가상 표면을 디스플레이한다. 다른 예로서, 사용자 인터페이스 객체에 대한 동작을 수행하기 위해 2 센티미터의 이동이 필요한 경우, 전자 디바이스는 사용자의 사전정의된 부분에 대응하는 위치로부터 2 센티미터 떨어진 위치에서 가상 표면을 디스플레이한다.
사용자 인터페이스 객체에 대해 동작을 수행하는 데 필요한 사용자의 사전정의된 부분의 이동량을 나타내기 위한 위치에서 가상 표면을 디스플레이하는 전술한 방식은 사용자의 사전정의된 부분을 이용하여 사용자 인터페이스 객체와 상호작용하는 방법을 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17b에서와 같은 일부 실시예들에서, 가상 표면(예컨대, 1709a)을 디스플레이하는 동안, 전자 디바이스(101a)는, 가상 표면(예컨대, 1709a) 상에, 사용자의 사전정의된 부분(예컨대, 1713)과 가상 표면에 대응하는 위치(예컨대,1709a) 사이의 거리의 시각적 표시(예컨대, 1710a)를 디스플레이한다(1844a). 일부 실시예들에서, 시각적 표시는 방법(2000)에서와 같이, 가상 표면 상의 사용자의 사전정의된 부분의 모의된 그림자이다. 일부 실시예들에서, 가상 표면에 대응하는 위치로의 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 객체에 대한 동작을 수행한다.
사용자의 사전정의된 부분과 가상 표면에 대응하는 위치 사이의 거리의 시각적 표시를 디스플레이하는 전술한 방식은 사용자의 사전정의된 부분과 가상 표면에 대응하는 위치 사이의 거리를 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체에 대해 동작을 수행하기 위해 얼마나 많은 사용자의 사전정의된 부분의 이동이 필요한지 사용자에게 보여줌으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 17b에서의 가상 표면(예컨대, 1713)과 같은 가상 표면을 디스플레이하는 동안, 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 가상 표면(예컨대, 1709a)에 대응하는 위치로부터 (예컨대, 임의의 방향으로) 임계 거리(예컨대, 3, 5, 10, 15 센티미터 등)를 초과하는 각자의 위치로의 사용자의 사전정의된 부분(예컨대, 1713)의 이동을 검출한다(1846a).
일부 실시예들에서, 각자의 위치로의 사용자의 사전정의된 부분(예컨대, 1713)의 이동을 검출하는 것에 응답하여, 전자 디바이스는 3차원 환경 내의 도 17b에서의 가상 표면(예컨대, 1709a)과 같은 가상 표면의 디스플레이를 중단한다(1846b). 일부 실시예들에서, 전자 디바이스는 또한 사용자의 사전정의된 부분의 포즈가 하나 이상의 기준을 충족하지 않는다는 결정에 따라 가상 표면의 디스플레이를 중단한다. 예를 들어, 사용자의 손이 가리키는 손 형상이고/이거나 손바닥이 사용자의 몸통으로부터 멀리 향하도록(또는 가상 표면에 대응하는 위치를 향해) 위치되는 동안 전자 디바이스는 가상 표면을 디스플레이하고, 사용자의 손의 포즈가 더 이상 기준을 충족하지 않는다는 것을 검출하는 것에 응답하여, 전자 디바이스는 가상 표면의 디스플레이를 중단한다.
가상 표면에 대응하는 위치로부터 멀리 임계 거리만큼의 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여 가상 표면의 디스플레이를 중단하는 전술한 방식은 사용자가 그것과 상호작용할 가능성이 없는 동안 가상 표면을 디스플레이하는 시각적 혼란을 감소시키는 효율적인 방식을 제공하며(사용자의 사전정의된 부분은 가상 표면에 대응하는 위치로부터 임계 거리를 초과하기 때문임), 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17b에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1713)에 근접하게 가상 표면을 디스플레이하는 것은(1848a), 사용자의 사전정의된 부분(예컨대, 1713)이 하나 이상의 제2 기준이 충족될 때 제1 각자의 위치에 있다는 결정에 따라(예컨대, 사용자의 사전정의된 부분의 포즈(예컨대, 손 형상, 위치, 배향)는 하나 이상의 기준을 충족하고, 사용자의 시선은 사용자 인터페이스 객체로 지향됨), 사용자의 사전정의된 부분(예컨대, 1713)의 제1 각자의 위치에 대응하는 3차원 환경 내의 제3 위치에서 가상 표면(예컨대, 1709a)을 디스플레이하는 것(1848b)을 포함한다(예컨대, 가상 표면은 사용자의 사전정의된 부분에 대해 사전정의된 위치에 디스플레이됨). 예를 들어, 전자 디바이스는 사용자의 사전정의된 부분에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 3, 5, 10 센티미터 등)에 가상 표면을 디스플레이한다.
도 17b에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1714)에 근접하게 가상 표면(예컨대, 1709b)을 디스플레이하는 것은(1848a), 하나 이상의 제2 기준이 충족될 때 사용자의 사전정의된 부분(예컨대, 1714)이 제1 각자의 위치와는 상이한 제2 각자의 위치에 있다는 결정에 따라, 사용자의 사전정의된 부분의 제2 각자의 위치(예컨대, 1714)에 대응하는 3차원 환경 내의 제3 위치와는 상이한 제4 위치에서 가상 표면(예컨대, 1709b)을 디스플레이하는 것(1848c)을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준이 충족될 때 사용자의 사전정의된 부분의 위치에 상관없이 사용자의 사전정의된 부분에 대해 사전정의된 위치를 갖는 가상 표면이 디스플레이되도록, 하나 이상의 제2 기준이 충족될 때 가상 표면이 디스플레이되는 위치는 사용자의 사전정의된 부분의 위치에 따라 달라진다.
사용자의 사전정의된 부분의 위치에 따라 상이한 위치들에서 가상 표면을 디스플레이하는 전술한 방식은 사용자의 사전정의된 부분을 이용하여 사용자가 상호작용하기 용이한 위치에서 가상 표면을 디스플레이하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17e에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1721)에 대응하는 시각적 표시(예컨대, 1719a)를 디스플레이하는 동안(1850a), 전자 디바이스(101a)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 제2 사전정의된 부분(예컨대, 1723)(예컨대, 사용자의 제2 손)의 이동을 포함하는 제2 각자의 입력을 검출하고, 제2 각자의 입력 동안, 사용자의 제2 사전정의된 부분(예컨대, 1723)의 위치는 사용자 인터페이스 객체(예컨대, 1717)에 대응하는 위치로부터 멀리(예컨대, 적어도 임계 거리(예컨대, 3, 5, 10, 15, 30 센티미터 등)) 떨어져 있다(1850b).
도 17e에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1721)에 대응하는 시각적 표시(예컨대, 1719a)를 디스플레이하는 동안(1850a), 제2 각자의 입력을 검출하는 동안(1850c), 사용자의 제2 사전정의된 부분(예컨대, 1723)의 이동의 제1 부분이 하나 이상의 기준을 충족한다는 결정에 따라, 동시에, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분(예컨대, 1721)에 대응하는 시각적 표시(예컨대, 1719a)(1850e)(예컨대, 사용자의 사전정의된 부분에 근접하게 디스플레이됨) 및 3차원 환경 내의 사용자의 제2 사전정의된 부분(예컨대, 1723)에 대응하는 위치에서의 시각적 표시(예컨대, 1719b)(1850f)(예컨대, 사용자의 제2 사전정의된 부분에 근접하게 디스플레이됨)를 디스플레이한다(1850d). 일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동을 검출하지 않고 사용자의 제2 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 사전정의된 부분에 대응하는 시각적 표시의 위치를 업데이트하지 않고 사용자의 제2 사전정의된 부분에 대응하는 위치에서 시각적 표시의 위치를 업데이트한다. 일부 실시예들에서, 사용자의 제2 사전정의된 부분의 이동을 검출하지 않고 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 제2 사전정의된 부분에 대응하는 위치에서 시각적 표시의 위치를 업데이트하지 않고 사용자의 사전정의된 부분에 대응하는 시각적 표시의 위치를 업데이트한다.
사용자의 제2 사전정의된 부분에 대응하는 위치에서 시각적 표시를 디스플레이하는 전술한 방식은 사용자의 두 사전정의된 부분들에 대해 독립적으로 시각적 표시들을 디스플레이하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 17b에서의 입력들과 같은, 각자의 입력을 검출하는 동안(예컨대, 그리고 사용자의 사전정의된 부분의 이동의 제1 부분이 하나 이상의 기준을 충족한다는 결정에 따라), 전자 디바이스(101a)는, 사용자 인터페이스 객체(예컨대, 1703, 1705) 상에서, 사용자의 사전정의된 부분(예컨대, 1713, 1714, 1715, 1716)이 사용자 인터페이스 객체(예컨대, 1703, 1705)와 결속하기 위해 사용자 인터페이스 객체(예컨대, 1703, 1705)에 대응하는 위치를 향해 이동해야 하는 각자의 거리를 나타내는 각자의 시각적 표시(예컨대, 방법(2000)에 따른 사용자의 손의 그림자, 커서, 방법(2000)에 따른 커서 및 커서의 그림자 등)를 디스플레이한다(1852a). 일부 실시예들에서, 사용자 인터페이스 객체와 결속될 필요가 있는 사용자의 사전정의된 부분의 이동의 추가 거리가 업데이트됨에 따라, 시각적 표시의 크기 및/또는 위치(예컨대, 사용자의 손의 그림자 또는 커서의 그림자)가 업데이트된다. 예를 들어, 사용자가 사용자의 사전정의된 부분을 사용자 인터페이스 객체와 결속하는데 필요한 양만큼 이동하면, 전자 디바이스는 각자의 시각적 표시를 디스플레이하는 것을 중단한다.
사용자 인터페이스 객체와 결속될 필요가 있는 사용자의 사전정의된 부분의 이동량을 나타내는 각자의 시각적 표시를 제시하는 전술한 방식은 사용자가 사용자의 사전정의된 부분을 이용하여 입력을 제공함에 따라 사용자에게 피드백을 제공하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 17a의 사용자 인터페이스 객체들(예컨대, 1703, 1705)과 같은 사용자 인터페이스 객체를 디스플레이하는 동안, 전자 디바이스(101a)는 사용자의 시선(예컨대, 1701a, 1701b)이 사용자 인터페이스 객체(예컨대, 1703, 1705)로 지향되는 것을 검출한다(1854a). 일부 실시예들에서, (예컨대, 선택적으로 방법(1200)에 따른 하나 이상의 명확화 기술들에 기초하여) 사용자의 시선(예컨대, 1701a, 1701b)이 도 17a의 사용자 인터페이스 객체들(예컨대, 1703, 1705)과 같은 사용자 인터페이스 객체로 지향되는 것을 검출하는 것에 응답하여, 전자 디바이스(101a)는 제1 값을 갖는 각자의 시각적 특성(예컨대, 크기, 색상, 위치)을 갖는 사용자 인터페이스 객체(예컨대, 1703, 1705)를 디스플레이한다(1854b). 일부 실시예들에서, (예컨대, 선택적으로 방법(1200)에 따른 하나 이상의 명확화 기술들에 기초하여) 사용자의 시선이 사용자 인터페이스 객체로 지향되지 않는다는 결정에 따라, 전자 디바이스는 제1 값과는 상이한 제2 값을 갖는 각자의 시각적 특성을 갖는 사용자 인터페이스 객체를 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스 객체 상에서 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는, 방법들(800, 1000, 1200, 1400, 1600 및/또는 2000)에서 사용자 인터페이스 객체들과의 간접 상호작용들을 참조하여 설명된 바와 같은, 사용자의 사전결정된 부분에 의해 제공되는 입력들을 사용자 인터페이스 객체로 지향시킨다. 일부 실시예들에서, 제2 사용자 인터페이스 객체로 지향되는 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스는 제1 값을 갖는 각자의 시각적 특성을 갖는 제2 사용자 인터페이스 객체를 디스플레이한다.
사용자의 시선에 따라 사용자 인터페이스 객체의 각자의 시각적 특성의 값을 업데이트하는 전술한 방식은 시스템이 사용자의 시선에 기초하여 입력들을 지향시킬 수 있음을 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 17a에서와 같은 일부 실시예들에서, 3차원 환경은 전자 디바이스의 물리적 환경 내에 있는 각자의 객체의 표현(예컨대, 1704)을 포함한다(1856a). 일부 실시예들에서, 표현은 디스플레이 생성 컴포넌트에 의해 디스플레이되는 각자의 객체의 실사 표현이다(예컨대, 패스 스루 비디오). 일부 실시예들에서, 표현은 디스플레이 생성 컴포넌트의 투명 부분을 통한 각자의 객체의 뷰이다.
일부 실시예들에서, 전자 디바이스(101a)는 사용자의 시선이 각자의 객체의 표현(예컨대, 1704)으로 지향될 때 충족되는 기준, 및 사용자의 사전정의된 부분(예컨대, 1713)이 각자의 포즈(예컨대, 위치, 배향, 자세, 손 형상)에 있을 때 충족되는 기준을 포함하는 하나 이상의 제2 기준이 충족되는 것을 검출한다(1856b). 예를 들어, 전자 디바이스(101a)는 도 17b에서 전자 디바이스(101a)가 테이블의 표현(1704)을 디스플레이하는 방식과 유사한 방식으로 스피커의 표현을 디스플레이하고 사용자의 시선이 스피커의 표현으로 지향되는 동안 각자의 포즈의 손(예컨대, 도 17b의 1713, 1714, 1715, 또는 1716)을 검출한다. 예를 들어, 각자의 포즈는, 사용자의 손이 각자의 형상(예컨대, 가리키거나 또는 핀칭 또는 예비 핀칭 손 형상)인 동안 손의 손바닥이 사용자로부터 멀리 향하고/향하거나 각자의 객체를 향한 채로, 사용자의 손이 3차원 환경의 사전정의된 영역 내에 있는 것을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준은 추가로 각자의 객체가 상호작용형일 때 충족되는 기준을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준은 추가로 객체가 가상 객체일 때 충족되는 기준을 포함한다. 일부 실시예들에서, 하나 이상의 제2 기준은 추가로 객체가 전자 디바이스의 물리적 환경 내의 실제 객체일 때 충족되는 기준을 포함한다.
일부 실시예들에서, 하나 이상의 제2 기준이 충족되는 것을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 각자의 객체의 표현(예컨대, 1704)에 근접하게 하나 이상의 선택가능 옵션들을 디스플레이하고, 하나 이상의 선택가능 옵션들은 각자의 객체와 연관된 각자의 동작들을 수행하도록(예컨대, 각자의 객체의 동작을 제어하도록) 선택가능하다(1856c). 예를 들어, 전자 디바이스(101a)가 도 17b에서 테이블의 표현(1704)을 디스플레이하는 방식과 유사한 방식으로 전자 디바이스(101a)가 디스플레이하는 스피커의 표현으로 사용자의 시선이 지향되는 동안, 각자의 포즈의 손(예컨대, 도 17b의 1713, 1714, 1715, 또는 1716)을 검출하는 것에 응답하여, 전자 디바이스는 스피커와 연관된 각자의 동작들을 수행하도록 선택가능한 하나 이상의 선택가능 옵션들(예컨대, 재생, 일시정지, 앞으로 감기, 뒤로 감기, 또는 스피커에서 재생중인 콘텐츠의 재생 볼륨 변경)을 디스플레이한다. 예를 들어, 각자의 객체는 스피커 또는 스피커 시스템이고, 옵션들은 스피커 또는 스피커 시스템 상에서 재생을 진행 또는 정지하기 위한 옵션들, 콘텐츠 또는 콘텐츠 목록에서 앞으로 건너뛰기 또는 뒤로 건너뛰기 위한 옵션들을 포함한다. 이 예에서, 전자 디바이스는 (예컨대, 유선 또는 무선 네트워크 연결을 통해) 각자의 객체와 통신하고, 각자의 객체로 하여금 하나 이상의 선택가능 옵션들과의 사용자 상호작용들에 따라 동작들을 수행하게 하는 표시들을 그것들에 전송할 수 있다.
각자의 객체 상에서 사용자의 시선을 검출하는 것에 응답하여 각자의 객체와 연관된 각자의 동작들을 수행하도록 선택가능한 선택가능 옵션들을 제시하는 전술한 방식은 전자 디바이스를 이용하여 각자의 객체와 상호작용하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제1 부분이 하나 이상의 기준을 충족한 후에 그리고 사용자의 사전정의된 부분에 대응하는 시각적 표시(예컨대, 1709a)를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 17b에서와 같은 하나 이상의 제2 기준(예컨대, 이동 속도, 거리, 지속기간 등의 기준)을 충족하는 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제2 부분을 검출한다(1858a).
도 17b에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제2 부분을 검출하는 것에 응답하여(1858b), 사용자의 시선(예컨대, 1701a)이 사용자 인터페이스 객체(예컨대, 1703)로 지향되고 사용자 인터페이스 객체가 상호작용형이라는 결정에 따라(1858c)(예컨대, 전자 디바이스는 사용자 인터페이스 객체로 지향되는 사용자 입력에 응답하여 사용자 인터페이스 객체에 따른 동작을 수행함), 전자 디바이스(101a)는, 디스플레이 생성 컴포넌트를 통해, 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제2 부분이 하나 이상의 제2 기준을 충족함을 나타내는 시각적 표시(예컨대, 1709a)를 디스플레이한다(1858d). 일부 실시예들에서, 이동의 제2 부분이 제2 기준을 충족함을 나타내는 시각적 표시는 사용자의 사전정의된 부분에 대응하는 위치에서 시각적 표시의 위치 또는 그에 근접하게 디스플레이된다. 일부 실시예들에서, 사용자의 사전정의된 부분의 이동의 제2 부분이 하나 이상의 제2 기준을 충족함을 나타내는 시각적 표시는 사용자의 사전정의된 부분에 대응하는 위치에서의 시각적 표시의 업데이트된 버전(예컨대, 상이한 크기, 색상, 반투명성 등)이다. 예를 들어, 사용자 인터페이스 객체의 선택을 야기하는 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 시각적 표시를 확대한다.
도 17c에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제2 부분을 검출하는 것에 응답하여(1858b), 사용자의 시선(예컨대, 1701a)이 사용자 인터페이스 객체(예컨대, 1703)로 지향되고 사용자 인터페이스 객체(예컨대, 1703)가 상호작용형이라는 결정에 따라(1858c)(예컨대, 전자 디바이스는 사용자 인터페이스 객체로 지향되는 사용자 입력에 응답하여 사용자 인터페이스 객체에 따른 동작을 수행함), 전자 디바이스(101a)는 각자의 입력에 따른 사용자 인터페이스 객체(예컨대, 1703)에 대응하는 동작을 수행한다(1858e)(예컨대, 사용자 인터페이스 객체를 선택, 사용자 인터페이스 객체를 스크롤, 사용자 인터페이스 객체를 이동, 사용자 인터페이스 객체와 연관된 사용자 인터페이스로 이동, 사용자 인터페이스 객체와 연관된 콘텐츠의 재생을 개시, 또는 사용자 인터페이스 객체에 따른 다른 동작을 수행).
일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 1713)의 이동의 제2 부분을 검출하는 것에 응답하여(1858b), 사용자의 시선이 상호작용형인 사용자 인터페이스 객체(예컨대, 1703)로 지향되지 않는다는 결정에 따라(1858f), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 각자의 입력에 따라 동작을 수행하지 않고 사용자의 사전정의된 부분의 이동의 제2 부분이 하나 이상의 제2 기준을 충족함을 나타내는 시각적 표시(예컨대, 1709)를 디스플레이한다(1858g). 예를 들어, 사용자의 시선(1701a 또는 1701b)이 도 17b의 사용자 인터페이스 요소(1703 또는 1705)로 지향되지 않는 동안 이동의 제2 부분을 수행하는 손(1713, 1714, 1715, 및/또는 1716)을 검출하는 것에 응답하여, 전자 디바이스는 손(1713, 1714, 1715, 및/또는 1716)의 이동에 따라 가상 표면(1709a 또는 1709b) 또는 표시(1710c 또는 1710d)를 각각 디스플레이한다. 일부 실시예들에서, 이동의 제2 부분이 제2 기준을 충족함을 나타내는 시각적 표시는 사용자의 사전정의된 부분에 대응하는 위치에서 시각적 표시의 위치 또는 그에 근접하게 디스플레이된다. 일부 실시예들에서, 사용자의 사전정의된 부분의 이동의 제2 부분이 하나 이상의 제2 기준을 충족함을 나타내는 시각적 표시는 사용자의 사전정의된 부분에 대응하는 위치에서의 시각적 표시의 업데이트된 버전(예컨대, 상이한 크기, 색상, 반투명성 등)이다. 일부 실시예들에서, 사용자의 시선이 상호작용형인 사용자 인터페이스 객체로 지향되는지 여부에 상관없이, 전자 디바이스는 사용자의 사전정의된 부분의 이동의 제2 부분이 하나 이상의 제2 기준을 충족함을 나타내는 동일한 표시를 제시한다. 예를 들어, 사용자 인터페이스 객체가 상호작용형이 아니라면 사용자 인터페이스 객체의 선택을 야기할 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 시각적 표시를 확대한다.
사용자의 시선이 상호작용형 사용자 인터페이스 요소로 지향되는지 여부에 상관없이 표시를 제시하는 전술한 방식은 사용자의 사전정의된 부분을 이용하여 제공되는 입력이 검출되었음을 사용자에게 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 19a 내지 도 19d는 일부 실시예들에 따라 전자 디바이스가 이러한 상호작용들의 시각적 표시들을 이용하여 3차원 환경에서 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법의 예들을 도시한다.
도 19a는 전자 디바이스(101)가, 디스플레이 생성 컴포넌트(120)를 통해, 사용자 인터페이스 상에서 3차원 환경(1901)을 디스플레이하는 것을 도시한다. 일부 실시예들에서, 전자 디바이스(101)는 본 발명의 범주를 벗어나지 않으면서 2차원 환경 또는 사용자 인터페이스에서 도 19a 내지 도 19d를 참조하여 설명된 하나 이상의 기술들을 활용하는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(120)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 아래에 표시된 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 19a에 도시된 바와 같이, 3차원 환경(1901)은 (예컨대, 디바이스(101)의 사용자의 손들(1913a, 1913b 및/또는 1913c)에 의해 제공되는 사용자 입력들을 통해) 상호작용가능한 3개의 사용자 인터페이스 객체들(1903a, 1903b, 1903c)을 포함한다. 손들(1913a, 1913b 및/또는 1913c)은 선택적으로 디바이스(101)에 의해 동시에 검출되거나 또는 디바이스(101)에 의해 대안적으로 검출되는 사용자의 손들이어서, 본 명세서에 설명된 손들로부터의 입력들에 대한 디바이스(101)에 의한 응답들이 선택적으로 동시에 또는 대안적으로 및/또는 순차적으로 발생하도록 한다. 디바이스(101)는 선택적으로 손들(1913a, 1913b 및/또는 1913c)에 의해 제공되는 직접 또는 간접 입력들을 (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이) 이러한 입력들의 다양한 특성들에 기초하여 사용자 인터페이스 객체들(1903a, 1903b 및/또는 1903c)로 지향시킨다. 도 19a에서, 3차원 환경(1901)은 또한 전자 디바이스(101)의 물리적 환경에서의 테이블의 표현(604)을 포함한다(예컨대, 도 6b를 참조하여 설명된 바와 같음). 일부 실시예들에서, 테이블의 표현(604)은 디스플레이 생성 컴포넌트(120)(예컨대, 비디오 또는 디지털 패스스루)에 의해 디스플레이되는 테이블의 실사 비디오 이미지이다. 일부 실시예들에서, 테이블의 표현(604)은 디스플레이 생성 컴포넌트(120)의 투명 부분을 통한 테이블의 뷰이다(예컨대, 트루 또는 피지컬 패스스루).
도 19a 내지 도 19d에서, 손들(1913a, 1913b)은 (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이) 사용자 인터페이스 객체(1903a)와 간접적으로 상호작용하고 있고, 손(1913c)은 (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이) 사용자 인터페이스 객체(1903b)와 직접적으로 상호작용하고 있다. 일부 실시예들에서, 사용자 인터페이스 객체(1903b)는, 자체적으로, 입력들에 응답하는 사용자 인터페이스 객체이다. 일부 실시예들에서, 사용자 인터페이스 객체(1903b)는 가상 트랙패드-유형 사용자 인터페이스 객체이고, 이것으로 지향된 입력들은 디바이스(101)로 하여금 대응하는 입력들을, 사용자 인터페이스 객체(1903b)로부터 떨어져 있는 사용자 인터페이스 객체(1903c)로 지향시킨다(예컨대, 방법(1800)을 참조하여 설명된 바와 같음).
일부 실시예들에서, 간접 준비 상태 손 형상이면서 사용자 인터페이스 객체로부터 간접 상호작용 거리에 있는 사용자의 손을 검출하는 것에 응답하여, 디바이스(101)는 사용자의 시선이 지향되는 사용자 인터페이스 객체로부터 사전결정된 거리만큼 멀리 사용자의 손으로부터 떨어진 커서를 디스플레이한다. 예를 들어, 도 19a에서, 디바이스(101)는 사용자 인터페이스 객체(1903a)로부터 간접 상호작용 거리(예컨대, 방법(800)을 참조하여 설명된 바와 같음)에서 간접 준비 상태 손 형상(예컨대, 방법(800)을 참조하여 설명된 바와 같음)의 손(1913a)을 검출하고, 선택적으로 사용자의 시선이 사용자 인터페이스 객체(1903a)로 지향되는 것을 검출한다. 이에 응답하여, 디바이스(101)는 사용자 인터페이스 객체(1903a)로부터 사전결정된 거리에 (예컨대, 0.1, 0.5, 1, 2, 5, 10 cm 앞에) 있고, 손(1913a) 및/또는 손(1913a) 상의 손가락(예컨대, 가리키는 손가락)으로부터 떨어진, 커서(1940a)를 디스플레이한다. 커서(1940a)의 위치는 선택적으로 손(1913a)의 위치에 의해 제어되어, 손(1913a) 및/또는 손(1913a) 상의 손가락(예컨대, 가리키는 손가락)이 측방향으로 이동하는 경우, 디바이스(101)는 커서(1940a)를 측방향으로 이동하고, 손(1913a) 및/또는 손가락(예컨대, 가리키는 손가락)이 사용자 인터페이스 객체(1903a)를 향해 또는 그로부터 멀리 이동하는 경우, 디바이스(101)는 커서(1940a)를 사용자 인터페이스 객체(1903a)를 향해 또는 그로부터 멀리 이동한다. 커서(1940a)는 선택적으로 손(1913a) 및/또는 손(1913a) 상의 대응하는 손가락의 위치에 대응하는 시각적 표시이다. 디바이스(101)가 손(1913a) 및/또는 손(1913a) 상의 대응하는 손가락이 사용자 인터페이스 객체(1903a)를 향해 충분히 이동하여 커서(1940a)가 이러한 이동에 따라 사용자 인터페이스 객체(1903a) 상에 터치다운되는 것을 검출할 때, 손(1913a)은 선택적으로 사용자 인터페이스 객체(1903a)와 상호작용(예컨대, 선택, 스크롤 등)한다.
도 19a에 도시된 바와 같이, 디바이스(101)는 또한 사용자 인터페이스 객체(1903a) 상에 커서(1940a)에 의해 드러워진 것처럼, 커서(1940a)에 대응하고 커서(1940a)의 형상에 기초한 형상을 갖는 모의된 그림자(1942a)를 사용자 인터페이스 객체(1903a) 상에 디스플레이한다. 모의된 그림자(1942a)의 크기, 형상, 색상, 및/또는 위치는 선택적으로 커서(1940a)가 ―손(1913a)의 이동에 대응하여―사용자 인터페이스 객체(1903a)에 대해 이동함에 따라 적절하게 업데이트된다. 따라서 모의된 그림자(1942a)는 손(1913a)이 사용자 인터페이스 객체(1903a)와 상호작용(예컨대, 선택, 스크롤 등) 하는데 요구되는 사용자 인터페이스 객체(1903a)를 향한 손(1913a)에 의한 이동량의 시각적 표시를 제공하며, 이는 커서(1940a)가 사용자 인터페이스 객체(1903a) 상에 터치다운될 때 선택적으로 발생한다. 모의된 그림자(1942a)는 추가적으로 또는 대안적으로 손(1913a)과 사용자 인터페이스 객체(1903a) 사이의 상호작용의 유형(예컨대, 간접)의 시각적 표시를 제공하는데, 그 이유는 모의된 그림자(1942a)의 크기, 색상 및/또는 형상이 선택적으로 커서(1940a)의 크기 및/또는 형상에 기초하기 때문이고, 이는 선택적으로 디바이스(101)에 의해 간접 상호작용들에 대해 디스플레이되지만, 직접 상호작용들에 대해 디스플레이되지 않으며, 이는 나중에 설명될 것이다.
일부 실시예들에서, 사용자 인터페이스 객체(1903a)는 두 손(예컨대, 손들(1913a, 1913b))을 통해 동시에 상호작용가능한 사용자 인터페이스 객체이다. 예를 들어, 사용자 인터페이스 객체(1903a)는 선택적으로 키들이 손(1913a) 및/또는 손(1913b)에 의해 선택가능한 가상 키보드이다. 손(1913b)은 선택적으로 (예컨대, 손(1913a)에 관해 설명된 것과 유사하게) 사용자 인터페이스 객체(1903a)와 간접적으로 상호작용한다. 따라서, 디바이스(101)는 손(1913b)에 대응하는 커서(1940b), 및 커서(1940b)에 대응하는 모의된 그림자(1942b)를 디스플레이한다. 커서(1940b) 및 모의된 그림자(1942b)는 선택적으로 손(1913b)의 맥락에서 유사하게 적용되는 커서(1940a) 및 모의된 그림자(1942a)의 특성들 중 하나 이상을 갖는다. 디바이스(101)가 사용자 인터페이스 객체(1903a)와 간접적으로 상호작용하는 손들(1913a, 1913b)을 동시에 검출하고 있는 실시예들에서, 디바이스(101)는 선택적으로 커서들(1940a, 1940b)(손들(1913a, 1913b)에 의해 각각 제어됨), 및 모의된 그림자들(1942a, 1942b)(커서들(1940a, 1940b)에 각각 대응함)을 동시에 디스플레이한다. 도 19a에서, 커서(1940a)는 선택적으로 사용자 인터페이스 객체(1903a)로부터 커서(1940b)보다 멀리 있고; 이와 같이, 디바이스(101)는 커서(1940a)를 커서(1940b)보다 크게 디스플레이하고 있고, 그에 따라 모의된 그림자(1942a)를 커서(1940b)에 대한 모의된 그림자(1942b)보다 더 크고 커서(1940a)로부터 측방향으로 더 많이 오프셋되게 디스플레이하고 있다. 일부 실시예들에서, 3차원 환경(1901) 내에서 커서들(1940a, 1940b)의 크기는 동일하다. 커서(1940a)는 선택적으로 사용자 인터페이스 객체(1903a)로부터 커서(1940b)보다 멀리 있는데, 그 이유는 (커서(1940a)에 대응하는) 손(1913a)이 선택적으로 커서들(1940a, 1940b)이, 각각, 디바이스(101)에 의해 디스플레이된 후에 (커서(1940b)에 대응하는) 손(1913b)이 사용자 인터페이스 객체(1903a)를 향해 이동한 양보다 적은 양만큼 사용자 인터페이스 객체(1903a)를 향해 이동했기 때문이다.
도 19b에서, 디바이스(101)는 손들(1913a, 1913b)(및/또는 손들(1913a, 1913b) 상의 대응하는 손가락들)이 사용자 인터페이스 객체(1903a)를 향해 이동하는 것을 검출하였다. 손(1913a)은 선택적으로 손(1913a)이 사용자 인터페이스 객체(1903a)와 간접적으로 상호작용하는데 필요한 양보다 적은(예컨대, 커서(1940a)가 사용자 인터페이스 객체(1903a) 상에 터치다운되는데 필요한 양보다 적은) 양만큼 사용자 인터페이스 객체(1903a)를 향해 이동했다. 손(1913a)의 이동에 응답하여, 디바이스(101)는 선택적으로 3차원 환경(1901) 내에서 사용자 인터페이스 객체(1903a)를 향해 커서를 이동하고, 그럼으로써 커서(1940a)를 전보다 작은 크기로 디스플레이하고, 그림자(1942a)를 전보다 작은 크기로 디스플레이하고, 그림자(1942a)와 커서(1940a) 사이의 측방향 오프셋을 감소시키고/감소시키거나 전과는 상이한 값을 갖는 시각적 특성을 갖는(예컨대, 더 깜깜하게) 그림자(1942a)를 디스플레이한다. 따라서, 디바이스(101)는 사용자 인터페이스 객체(1903a)와 손(1913a)의 상호작용을 반영하여 그림자(1942a)가 계속해서 손(1913a)과 사용자 인터페이스 객체(1903a) 사이의 상호작용의 하나 이상의 특성들을 나타내도록, 그림자(1942a)의 디스플레이를 업데이트하였다(예컨대, 사용자 인터페이스 객체와 상호작용(예컨대, 선택 등)하기 위해 사용자의 손에 의해 요구되는 사용자 인터페이스 객체를 향한 나머지 이동을 포함하는, 이전에 설명된 바와 같은 특성들).
도 19b에서, 손(1913b)은 선택적으로 손(1913b)이 사용자 인터페이스 객체(1903a)와 상호작용하기 위해 필요한 양 이상의 (예컨대, 커서(1940b)가 사용자 인터페이스 객체(1903a) 상에 터치다운되는데 필요한 양 이상의) 양만큼 사용자 인터페이스 객체(1903a)를 향해 이동하였다. 손(1913b)의 이동에 응답하여, 디바이스(101)는 선택적으로 커서를 3차원 환경(1901) 내의 사용자 인터페이스 객체(1903a)를 향해 이동하고, 사용자 인터페이스 객체(1903a) 상에 터치다운됨에 따라 커서(1940b)를 디스플레이하고, 그럼으로써 커서(1940b)를 전보다 더 작은 크기로 디스플레이하고/하거나 그림자(1942b)의 디스플레이를 중단한다. 손(1913b)의 이동 및/또는 사용자 인터페이스 객체(1903a) 상의 커서(1940b)의 터치다운에 응답하여, 디바이스(101)는 선택적으로 대응하는 입력(예컨대, 선택 입력, 스크롤링 입력, 탭 입력, 누르고 유지하고 들어올리기 입력 등, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명되는 바와 같음)을 검출하고 손(1913b)으로부터 사용자 인터페이스 객체(1903a)로 지향시키며, 이는 도 19b에서 커서(1940b) 옆에 있는 체크 마크에 의해 표시되는 바와 같다.
도 19c에서, 디바이스(101)는 (예컨대, 손(1913b)이 커서(1940b)가 사용자 인터페이스 객체(1903a) 상에 터치다운된 상태를 유지하는 위치/상태에서 유지되는 동안) 손(1913a)이 도 19b의 손(1913a)의 위치에 대해 측방향으로 이동하는 것을 검출한다. 이에 응답하여, 도 19c에 도시된 바와 같이, 디바이스(101)는 커서(1940a) 및 그림자(1942a)를 사용자 인터페이스 객체(1903a)에 대해 측방향으로 이동한다. 일부 실시예들에서, 손(1913a)의 이동이 사용자 인터페이스 객체(1903a)를 향해 또는 이로부터 멀리 이동하는 것을 포함하지 않지만, 사용자 인터페이스 객체(1903a)에 대해 측방향인 이동만을 포함하는 경우, 커서(1940a) 및 그림자(1942a)의―측방향 위치들 이외의―디스플레이는 도 19b 내지 도 19c에서 변경되지 않은 상태를 유지한다. 일부 실시예들에서, 디바이스(101)는 손(1913a)의 이동이 사용자 인터페이스 객체(1903a)를 향하거나 또는 이로부터 멀어지는 이동을 포함하지 않지만, 사용자 인터페이스 객체(1903a)에 대해 측방향인 이동만을 포함하는 경우, 커서(1940a)의―측방향 위치 이외의―디스플레이를 유지하지만, 그림자(1942a)의 새로운 위치에서 사용자 인터페이스 객체(1903a)의 콘텐츠 또는 기타 특성들에 기초하여 그림자(1942a)의 디스플레이를 변경한다.
도 19d에서, 디바이스(101)는 손(1913a)이 사용자 인터페이스 객체(1903a)와 상호작용하는데 필요한 양 이상의 (예컨대, 커서(1940a)가 사용자 인터페이스 객체(1903a) 상에 터치다운되는데 필요한 양 이상의) 양만큼 손(1913a)이 사용자 인터페이스 객체(1903a)를 향해 이동하는 것을 검출한다. 일부 실시예들에서, 손(1913b)이 커서(1940b)가 사용자 인터페이스 객체(1903a) 상에 터치다운된 상태를 유지하는 위치/상태에 남아 있는 동안 손(1913a)의 이동이 검출된다. 손(1913a)의 이동에 응답하여, 디바이스(101)는 선택적으로 커서를 3차원 환경(1901) 내의 사용자 인터페이스 객체(1903a)를 향해 이동하고, 사용자 인터페이스 객체(1903a) 상의 터치다운에 따라 커서(1940a)를 디스플레이하고, 그럼으로써 커서(1940a)를 전보다 더 작은 크기로 디스플레이하고/하거나 그림자(1942a)의 디스플레이를 중단한다. 손(1913a)의 이동 및/또는 사용자 인터페이스 객체(1903a) 상의 커서(1940a)의 터치다운에 응답하여, 디바이스(101)는 선택적으로 사용자 인터페이스 객체(1903a)에 대한 손(1913a)으로부터의 대응하는 입력(예컨대, 선택 입력, 스크롤링 입력, 탭 입력, 누르고 유지하고 들어올리기 입력 등, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명되는 바와 같음)을 인식하고, 이는 도 19b에서 커서(1940a) 옆에 있는 체크 마크에 의해 표시되는 바와 같다. 일부 실시예들에서, 디바이스(101)는, 커서들(1940a, 1940b) 각각 옆에 있는 동시 체크 마크들에 의해 표시되는 바와 같이, 동시에 또는 순차적으로 사용자 인터페이스 객체(1903a)로 지향되는 손들(1913a, 1913b)로부터 입력들을 검출한다.
일부 실시예들에서, 커서들(1940a 및/또는 1940b)이 사용자 인터페이스 객체(1903a) 상에 터치다운되는 동안 손들(1913a 및/또는 1913b)의 측방향 이동에 응답하여, 손들(1913a 및/또는 1913b)의 측방향 이동에 따라 (예컨대, 그림자들(1942a 및/또는 1942b)을 다시 디스플레이하지 않고) 커서들(1940a 및/또는 1940b)이 사용자 인터페이스 객체(1903a) 상에 터치다운된 상태를 유지한 채, 커서들(1940a 및/또는 1940b)을 측방향으로 이동하는 동안, 디바이스(101)는 이동-기반 입력들(예컨대, 스크롤링 입력들)을 사용자 인터페이스 객체(1903a)로 지향시킨다. 일부 실시예들에서, 커서들(1940a 및/또는 1940b)이 사용자 인터페이스 객체(1903a) 상에 터치다운될 때 사용자 인터페이스 객체(1903a)로부터 손들(1913a 및/또는 1913b)의 이동에 응답하여, 디바이스(101)는 사용자 인터페이스 객체(1903a)로 지향되었던 대응하는 입력들(예컨대, 탭 입력들, 길게 누르기 입력들, 스크롤링 입력들 등 중 하나 이상의 동시 또는 순차적 인식)의 종료를 인식하고/하거나 손들(1913a 및/또는 1913b)의 이동에 따라 사용자 인터페이스 객체(1903a)로부터 멀리 커서들(1940a 및/또는 1940b)을 이동한다. 디바이스(101)가 손들(1913a 및/또는 1913b)의 이동에 따라 커서들(1940a 및/또는 1940b)을 사용자 인터페이스 객체(1903a)로부터 멀리 이동할 때, 디바이스는 선택적으로 이전에 설명된 특성들 중 하나 이상을 갖는 그림자들(1942a 및/또는 1942b)을 그에 따라 다시 디스플레이한다.
도 19a를 참고하면, 일부 실시예들에서, 디바이스(101)는 디바이스(101)의 사용자의 손과 사용자 인터페이스 객체 사이의 직접 상호작용을 동시에 및/또는 교번하여 검출한다. 예를 들어, 도 19a에서, 디바이스(101)는 사용자 인터페이스 객체(1903b)와 직접 상호작용하는 손(1913c)을 검출한다. 손(1913c)은 선택적으로 (예컨대, 방법(800)을 참조하여 설명된 바와 같이) 사용자 인터페이스 객체(1903b)의 직접 상호작용 거리 내에 있고/있거나 (예컨대, 방법(800)을 참조하여 설명된 바와 같이) 직접 준비 상태 손 형상이다. 일부 실시예들에서, 디바이스(101)가 사용자 인터페이스 객체와 직접 상호작용하는 손을 검출하면, 디바이스(101)는 그 손에 대응하는 사용자 인터페이스 객체 상에 모의된 그림자를 디스플레이한다. 일부 실시예들에서, 디바이스(101)는 손이 디바이스(101)에 의해 디스플레이되는 3차원 환경의 시점의 시야 내에 있는 경우 3차원 환경 내의 손의 표현을 디스플레이한다. 일부 실시예들에서, 디바이스(101)는 손이 디바이스(101)에 의해 디스플레이되는 3차원 환경의 시점의 시야 내에 있는 경우, 3차원에서 사용자 인터페이스 객체와 간접적으로 상호작용하는 손의 표현을 유사하게 디스플레이한다는 것이 이해된다.
예를 들어, 도 19a에서, 디바이스(101)는 손(1913c)에 대응하는 모의된 그림자(1944)를 디스플레이한다. 모의된 그림자(1944)는 선택적으로 사용자 인터페이스 객체(1903b) 상에 손(1913c) 및/또는 손가락에 의해 드리워진 것처럼 손(1913c) 및/또는 손(1913c) 상의 손가락(예컨대, 가리키는 손가락)의 형상 및/또는 크기에 기초하여 형상 및/또는 크기를 갖는다. 모의된 그림자(1944)의 크기, 형상, 색상, 및/또는 위치는 선택적으로 손(1913c)이 사용자 인터페이스 객체(1903b)에 대해 이동함에 따라 적절하게 업데이트된다. 따라서 모의된 그림자(1944)는 손(1913c)이 사용자 인터페이스 객체(1903b)와 상호작용(예컨대, 선택, 스크롤 등)하기 위해 요구되는 사용자 인터페이스 객체(1903b)를 향한 손(1913c) 및/또는 손(1913c) 상의 손가락(예컨대, 가리키는 손가락)에 의한 이동량의 시각적 표시를 제공하며, 이는 선택적으로 손(1913c) 및/또는 손(1913c) 상의 손가락이 사용자 인터페이스 객체(1903b) 상에 터치다운될 때 (예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명된 바와 같이) 발생한다. 모의된 그림자(1944)는 추가적으로 또는 대안적으로 손(1913c)과 사용자 인터페이스 객체(1903b) 사이의 상호작용의 유형(예컨대, 직접)의 시각적 표시를 제공하는데, 이는 모의된 그림자(1944)의 크기, 색상 및/또는 형상이 선택적으로 (예컨대, 사용자 인터페이스 객체들과의 직접 상호작용들에 대해 선택적으로 디스플레이되지 않는, 커서의 크기 및/또는 형상에 기초하기보다는) 손(1913c)의 크기 및/또는 형상에 기초하기 때문이다. 일부 실시예들에서, 디바이스(101)에 의해 디스플레이되는 손(1913c)의 표현은 디바이스(101)의 물리적 환경 내의 손(1913c)의 위치에 대응하는 3차원 환경(1901) 내의 위치에서 디스플레이 생성 컴포넌트(120)에 의해 디스플레이되는 손(1913c)의 실사 비디오 이미지이다(예컨대, 비디오 또는 디지털 패스스루)(예컨대, 표현의 디스플레이 위치는 손(1913c)이 이동함에 따라 업데이트됨). 따라서, 일부 실시예들에서, 모의된 그림자(1944)는 마치 디바이스(101)에 의해 디스플레이되는 손(1913c)의 표현에 의해 드리워진 것과 같은 그림자이다. 일부 실시예들에서, 디바이스(101)에 의해 디스플레이되는 손(1913c)의 표현은 디스플레이 생성 컴포넌트의 투명 부분(120)을 통한 손(1913c)의 뷰이고(예컨대, 트루 또는 피지컬 패스스루), 따라서 손(1913c)이 이동함에 따라 3차원 환경(1901) 내의 손(1913c)의 표현의 위치가 변경된다. 따라서, 일부 실시예들에서, 모의된 그림자(1944)는 마치 손(1913c) 자체의 의해 드리워진 것과 같은 그림자이다.
도 19b에서, 디바이스(101)는 손(1913c) 및/또는 손(1913c) 상의 손가락이 사용자 인터페이스 객체(1903b)를 향해 이동하는 것을 검출하였다. 손(1913c)은 선택적으로 손(1913c)이 사용자 인터페이스 객체(1903b)와 직접 상호작용하는데 필요한 양 미만의 양만큼 사용자 인터페이스 객체(1903b)를 향해 이동하였다. 손(1913c)의 이동에 응답하여, 도 19b에서, 디바이스(101)는 그림자(1944)를 전보다 더 작은 크기로 디스플레이하고, 그림자(1944)와 손(1913c) 사이의 측방향 오프셋을 감소시키고/시키거나 전과는 상이한 값을 가는 시각적 특성(예컨대, 더 어두움)을 갖는 그림자(1944)를 디스플레이한다. 따라서, 디바이스(101)는 사용자 인터페이스 객체(1903b)와 손(1913c)의 상호작용을 반영하여 그림자(1944)가 계속해서 손(1913c)과 사용자 인터페이스 객체(1903b) 사이의 상호작용의 하나 이상의 특성들을 나타내도록, 그림자(1944)의 디스플레이를 업데이트하였다(예컨대, 사용자 인터페이스 객체와 상호작용(예컨대, 선택 등)하기 위해 사용자의 손에 의해 요구되는 사용자 인터페이스 객체를 향한 나머지 이동을 포함하는, 이전에 설명된 바와 같은 특성들).
도 19c에서, 디바이스(101)는 손(1913c)이 도 19b의 손(1913c)의 위치에 대해 측방향으로 이동하는 것을 검출한다. 이에 응답하여, 디바이스(101)는, 도 19c에 도시된 바와 같이, 그림자(1944)를 사용자 인터페이스 객체(1903b)에 대해 측방향으로 이동한다. 일부 실시예들에서, 손(1913c)의 이동이 사용자 인터페이스 객체(1903b)를 향하거나 또는 이로부터 멀어지는 이동을 포함하지 않지만, 사용자 인터페이스 객체(1903b)에 대해 측방향인 이동만을 포함하는 경우, 그림자(1944)의―측방향 위치 이외의―디스플레이는 도 19b 내지 도 19c에서 변경되지 않은 상태를 유지한다. 일부 실시예들에서, 디바이스(101)는 그림자(1944)의 새로운 위치에서 사용자 인터페이스 객체(1903b)의 콘텐츠 또는 기타 특성들에 기초하여 그림자(1944)의 디스플레이를 변경한다.
도 19d에서, 디바이스(101)는 손(1913c)이 사용자 인터페이스 객체(1903b)와 상호작용하기 위해(예컨대, 손(1913c) 또는 손(1913c) 상의 손가락이 사용자 인터페이스 객체(1903b) 상에 터치다운하기 위해) 필요한 양 이상의 양만큼 손(1913c)이 사용자 인터페이스 객체(1903b)를 향해 이동하는 것을 검출한다. 손(1913c)의 이동에 응답하여, 디바이스(101)는 선택적으로 그림자(1944)의 디스플레이를 중단 또는 조정한다. 손(1913c)의 이동 및 사용자 인터페이스 객체(1903b) 상의 손(1913c)의 터치다운에 응답하여, 디바이스(101)는 선택적으로 사용자 인터페이스 객체(1903b)에 대한 손(1913c)으로부터의 대응하는 입력(예컨대, 선택 입력, 스크롤링 입력, 탭 입력, 누르고 유지하고 들어올리기 입력 등, 방법들(800, 1000, 1200, 1400, 1600, 1800 및/또는 2000)을 참조하여 설명되는 바와 같음)을 인식하고, 이는 도 19d의 사용자 인터페이스 객체(1903b) 내의 체크 마크에 의해 표시되는 바와 같다. 사용자 인터페이스 객체(1903b)가 가상 트랙패드-유형 사용자 인터페이스 객체(예컨대, 방법(1800)을 참조하여 설명된 바와 같음)인 경우, 디바이스(101)는 선택적으로 사용자 인터페이스 객체(1903b)와 손(1913c)의 상호작용에 대응하는 입력을 원격 사용자 인터페이스 객체(1903c)로 지향시키고, 이는 도 19d의 사용자 인터페이스 객체(1903c) 내의 체크 마크에 의해 표시되는 바와 같다.
일부 실시예들에서, 손(1913c) 및/또는 손(1913c) 상의 손가락이 사용자 인터페이스 객체(1903b) 상에 터치다운된 상태를 유지하는 동안 손(1913c)의 측방향 이동에 응답하여, 디바이스(101)는 손(1913c)의 측방향 이동에 따라 (예컨대, 그림자(1944)를 다시 디스플레이하거나 조정하지 않고) 사용자 인터페이스 객체들(1903b 및/또는 1903c)로 이동-기반 입력들(예컨대, 스크롤링 입력들)을 지향시킨다. 일부 실시예들에서, 사용자 인터페이스 객체(1903b)로부터 손(1913c) 및/또는 손(1913c) 상의 손가락의 이동에 응답하여, 디바이스(101)는 사용자 인터페이스 객체들(1903b 및/또는 1903c)로 지향되었던 대응하는 입력(예컨대, 탭 입력들, 길게 누르기 입력들, 스크롤링 입력들 등)의 종료를 인식하고, 그에 따라 이전에 설명된 특성들 중 하나 이상을 갖는 그림자(1944)를 다시 디스플레이하거나 또는 조정한다.
도 20a 내지 도 20f는 일부 실시예들에 따라 이러한 상호작용들의 시각적 표시들을 이용하여 3차원 환경에서 사용자 인터페이스 요소들과의 상호작용을 향상시키는 방법을 도시하는 흐름도이다. 일부 실시예들에서, 본 방법(2000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(2000)은 비일시적 컴퓨터-판독가능 저장 매체에 저장되고, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예컨대, 도 1a의 제어 유닛(110))과 같은, 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되는 명령어들에 의해 통제된다. 방법(2000)에서의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서는, 선택적으로, 변경된다.
일부 실시예들에서, 방법(2000)이 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예컨대, 101a)에서 수행된다. 예를 들어, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예컨대, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 전송할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
일부 실시예들에서, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 19a 내지 도 19d의 사용자 인터페이스 객체들(1903a 및/또는 1903b)과 같은, 사용자 인터페이스 객체를 디스플레이한다(2002a). 일부 실시예들에서, 사용자 인터페이스 객체는 상호작용형 사용자 인터페이스 객체이고, 주어진 객체를 향해 지향되는 입력을 검출하는 것에 응답하여, 전자 디바이스는 사용자 인터페이스 객체와 연관된 작동을 수행한다. 예를 들어, 사용자 인터페이스 객체는, 선택되면, 전자 디바이스로 하여금 각자의 사용자 인터페이스를 디스플레이하거나, 전자 디바이스의 설정을 변경하거나, 또는 콘텐츠의 재생을 개시하는 것과 같은, 작동을 수행하게 하는 선택가능 옵션이다. 다른 예로서, 사용자 인터페이스 객체는 사용자 인터페이스/콘텐츠가 디스플레이되는 컨테이너(예컨대, 윈도우)이고, 사용자 인터페이스 객체의 선택에 이동 입력이 후속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 이동 입력에 따라 사용자 인터페이스 객체의 위치를 업데이트한다. 일부 실시예들에서, 사용자 인터페이스 객체는 디바이스에 의해 볼 수 있도록 생성되거나, 디스플레이되거나, 또는 다른 방식으로 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경) 내에서 디스플레이된다(예컨대, 사용자 인터페이스 객체를 포함하는 사용자 인터페이스가 3차원 환경이고/이거나 3차원 환경 내에서 디스플레이됨).
일부 실시예들에서, 사용자 인터페이스 객체를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 19a 내지 도 19d의 손들(1913a, 1913b, 1913c)과 같은 전자 디바이스의 사용자의 제1 사전정의된 부분에 의해 사용자 인터페이스 객체로 지향되는 입력을 검출한다(2002b)(예컨대, 방법들(800, 1000, 1200, 1400, 1600 및/또는 1800)을 참조하여 설명된 바와 같은, 전자 디바이스의 사용자의 손, 손가락 등에 의한 사용자 인터페이스 객체와의 직접 또는 간접 상호작용).
일부 실시예들에서, 사용자 인터페이스 객체로 지향되는 입력을 검출하는 동안, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 객체 상에 디스플레이되는 모의된 그림자, 예컨대, 그림자들(1942a, 1942b) 및/또는 그림자(1944)를 디스플레이하고(2002c), 모의된 그림자는 사용자 인터페이스 객체에 대한 사용자 인터페이스 객체와의 상호작용을 나타내는 요소의 위치에 기초하여 외관을 갖는다(예컨대, 선택적으로 모의된 광원 및/또는 요소의 형상(예컨대, 커서 또는 사용자의 일부분의 형상)에 기초하여 (예컨대, 방법(1800)을 참조하여 설명되는 시각적 표시와 같은) 사용자의 제1 사전정의된 부분으로부터 멀리 있고/있거나 이에 대응하는 커서에 의해 드리워진 것처럼 보이거나, 또는 사용자의 제1 사전정의된 부분의 표현(예컨대, 피지컬 또는 디지털 패스 스루를 통해 디스플레이되는 바와 같은 손/손가락 및/또는 실제 손/손가락의 가상 표현) 등에 의해 드리워진 것처럼 보이는 모의된 그림자). 예를 들어, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체와 직접 상호작용하는 경우, 전자 디바이스는 사용자 인터페이스 객체 상에 사용자의 제1 사전정의된 부분에 의해 드리워진 것으로 보이는 모의된 그림자를 생성하고(예컨대, 그리고 사용자 인터페이스 객체 상에 커서/시각적 표시에 의해 드리워진 것으로 보이는 그림자를 생성하지 않음), 이는 선택적으로 사용자 인터페이스 객체와의 상호작용이 (예컨대, 간접 상호작용 보다는) 직접 상호작용임을 나타낸다. 일부 실시예들에서, 이러한 모의된 그림자는 사용자의 제1 사전정의된 부분과 사용자 인터페이스 객체 사이의 분리를 나타낸다(예컨대, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체와 상호작용하기 위해 요구되는, 사용자 인터페이스 객체를 향한 이동 거리를 나타냄). 아래 더 상세하게 설명될 바와 같이, 일부 실시예들에서 전자 디바이스는 사용자 인터페이스 객체와의 간접 상호작용들에 대해 상이한 유형의 모의된 그림자를 생성하고, 이는 상호작용이 (예컨대, 직접적보다는) 간접적임을 나타낸다. 사용자 인터페이스 객체와의 상호작용을 나타내는 그림자들을 생성 및 디스플레이하는 전술한 방식은 사용자 인터페이스 객체와 발생하는 상호작용의 존재 및/또는 유형을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고(예컨대, 사용자 인터페이스 객체와의 상호작용의 오류들을 감소시킴으로써), 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 요소는 사용자의 제1 사전정의된 부분으로부터 멀리 있는 위치에 대응하는 위치에서 디스플레이되고, 사용자의 제1 사전정의된 부분의 이동(2004a)에 의해 제어되는 커서, 예컨대, 커서(1940a) 및/또는 커서(1940b)를 포함한다. 예를 들어, 일부 실시예들에서, 사용자의 제1 사전정의된 부분(예컨대, 사용자의 손)이 특정 포즈이고, 방법(800)을 참조하여 설명되는 바와 같이, 사용자 인터페이스 객체와의 간접 상호작용에 대응하는 사용자 인터페이스 객체에 대응하는 위치로부터 일정 거리에 있을 때, 전자 디바이스는 사용자의 제1 사전정의된 부분에 의해 위치/이동이 제어되는 사용자 인터페이스 객체 근처에 커서를 디스플레이한다(예컨대, 사용자의 손 및/또는 사용자의 손 상의 손가락의 위치/이동). 일부 실시예들에서, 사용자 인터페이스 객체에 대응하는 위치를 향한 사용자의 제1 사전정의된 부분의 이동에 응답하여, 전자 디바이스는 커서와 사용자 인터페이스 객체 사이의 분리를 감소시키고, 사용자의 제1 사전정의된 부분의 이동이 사용자 인터페이스 객체의 선택에 충분한 이동인 경우, 전자 디바이스는 커서와 사용자 인터페이스 객체 사이의 분리를 제거한다(예컨대, 커서가 사용자 인터페이스 객체를 터치하도록 한다). 일부 실시예들에서, 모의된 그림자는 사용자 인터페이스 객체 상의 커서의 모의된 그림자이고, 모의된 그림자는, 커서의 위치가 사용자 인터페이스 객체 상에서 변경됨에 따라 및/또는 사용자 인터페이스 객체로부터 커서의 거리가 사용자의 제1 사전정의된 부분의 이동/위치에 기초하여 변경됨에 따라, 업데이트/변경된다. 커서 및 사용자 인터페이스 객체와의 상호작용을 나타내는 커서의 모의된 그림자를 디스플레이하는 전술한 방식은 사용자의 제1 사전정의된 부분으로부터 사용자 인터페이스 객체와 상호작용하는데 필요한 입력의 유형 및/또는 양을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용의 오류들을 감소시킴으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 디스플레이하는 동안, 그리고 사용자의 제1 사전정의된 부분에 의한 사용자 인터페이스 객체로 지향되는 입력을 검출하기 전에(2006a), 사용자의 시선이 사용자 인터페이스 객체로 지향될 때 충족되는 기준을 포함하는 하나 이상의 제1 기준(예컨대, 사용자 인터페이스 객체로부터 사용자의 제1 사전정의된 부분의 거리, 사용자의 제1 사전정의된 부분의 포즈 등에 기초하는 하나 이상의 기준을 포함하는 사용자 인터페이스 객체와의 간접 상호작용에 대응하는 기준, 방법(800)을 참조하여 설명되는 바와 같음)이 충족된다는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 19a의 커서들(1940a, 1940b)을 참조하여 설명된 바와 같이, 사용자 인터페이스 객체로부터 사전결정된 거리에서 커서를 디스플레이한다(2006b)(예컨대, 하나 이상의 제1 기준이 충족되기 전에 사용자 인터페이스 객체와 연관된 커서는 선택적으로 디스플레이되지 않음). 일부 실시예들에서, 커서는 초기에 하나 이상의 제1 기준이 충족되면 사전결정된 양(예컨대, 0.1, 0.5, 1, 5, 10 cm)만큼 사용자 인터페이스 객체로부터 분리된 것처럼 디스플레이된다. 커서가 디스플레이된 후에, 사용자 인터페이스 객체로부터 커서의 초기 분리에 대응하는 (예컨대, 사용자 인터페이스 객체를 향한) 사용자의 제1 사전정의된 부분의 이동이 선택적으로 커서에 의해 사용자 인터페이스 객체의 상호작용/선택에 요구된다.
일부 실시예들에서, 사용자의 시선이 제2 사용자 인터페이스 객체로 지향될 때 충족되는 기준을 포함하는 하나 이상의 제2 기준(예컨대, 제2 사용자 인터페이스 객체로부터 사용자의 제1 사전정의된 부분의 거리, 사용자의 제1 사전정의된 부분의 포즈 등에 기초하는 하나 이상의 기준을 포함하는 제2 사용자 인터페이스 객체와의 간접 상호작용에 대응하는 기준, 방법(800)을 참조하여 설명되는 바와 같음)이 충족된다는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 사용자 인터페이스 객체로부터 사전결정된 거리에 커서를 디스플레이하고(2006b), 예컨대, 본 명세서에 설명된 커서-디스플레이 기준이 도 19a의 객체(1903c)에 대해(예컨대, 추가적으로 또는 대안적으로 객체(1903a)에 대해) 충족되는 경우, 이는 선택적으로 디바이스(101)로 하여금 객체(1903c)와의 상호작용을 위해―커서들(1940a 및/또는 1940b)에 유사한―커서를 디스플레이하게 할 것이다. 예를 들어, 커서는 선택적으로 하나 이상의 제2 기준이 충족되기 전에 제2 사용자 인터페이스 객체와 연관되어 디스플레이되지 않는다. 일부 실시예들에서, 커서는 초기에 하나 이상의 제2 기준이 충족되면 사전결정된 양(예컨대, 0.1, 0.5, 1, 5, 10 cm)만큼 제2 사용자 인터페이스 객체로부터 분리된 것처럼 디스플레이된다. 커서가 디스플레이된 후에, 제2 사용자 인터페이스 객체로부터 커서의 초기 분리에 대응하는 (예컨대, 제2 사용자 인터페이스 객체를 향한) 사용자의 제1 사전정의된 부분의 이동이 선택적으로 커서에 의해 제2 사용자 인터페이스 객체의 상호작용/선택에 요구된다. 따라서, 일부 실시예들에서, 전자 디바이스는 사용자의 시선에 기초하여 각자의 사용자 인터페이스 객체들과 상호작용하기 위한 커서를 디스플레이한다. 시선에 기초한 각자의 사용자 인터페이스 객체들과의 상호작용에 대한 커서를 디스플레이하는 전술한 방식이 사용자 인터페이스 객체와의 상호작용을 준비하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자가 사용자 인터페이스 객체를 보고 있을 때 그 객체와의 상호작용을 수용하도록 준비됨으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 모의된 그림자는, 손(1913c)에 대응하는 모의된 그림자(1944)를 참조하여 설명된 바와 같이, 사용자의 제1 사전정의된 부분(2008a)의 가상 표현의 모의된 그림자를 포함한다. 예를 들어, 전자 디바이스는 선택적으로, 하나 이상의 센서들을 이용하여, 전자 디바이스의 물리적 환경 내의 사용자의 하나 이상의 손들에 관한 이미지들/정보 등을 캡처하고, 디스플레이 생성 컴포넌트를 통해 전자 디바이스에 의해 디스플레이되는 (예컨대, 사용자 인터페이스 객체를 포함하는) 3차원 환경 내의 그것들의 각각의 대응하는 위치들에서 이러한 손들의 표현들을 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 본 명세서에 설명된 바와 같이 사용자의 손(들)과 사용자 인터페이스 객체 사이의 상호작용의 하나 이상의 특성들을 나타내기 위해 전자 디바이스에 의해 디스플레이되는 3차원 환경 내의 사용자의 손(들)의 이러한 표현(들) 또는 사용자의 손들의 부분들의 모의된 그림자(들)를 (예컨대, 사용자 인터페이스 객체 상에 디스플레이되는 그림자(들)와 같이) 디스플레이한다(선택적으로 사용자의 다른 부분들의 그림자를 디스플레이하지 않거나 또는 사용자들의 손들의 다른 부분들의 그림자를 디스플레이하지 않음). 일부 실시예들에서, 사용자의 손에 대응하는 모의된 그림자는 사용자의 손과 사용자 인터페이스 객체 사이의 방향 상호작용 동안 (예컨대, 방법(800)을 참조하여 설명된 바와 같음) 사용자 인터페이스 객체 상의 모의된 그림자이다. 일부 실시예들에서, 이 모의된 그림자는 (예컨대, 사용자 인터페이스 객체의 선택을 위한) 사용자의 제1 사전정의된 부분과 사용자 인터페이스 객체 사이의 거리, 사용자의 제1 사전정의된 부분이 상호작용할/상호작용하고 있는 사용자 인터페이스 객체 상의 위치 등 중 하나 이상의 시각적 표시를 제공한다. 사용자의 제1 사전정의된 부분의 표현에 대응하는 모의된 그림자를 디스플레이하는 전술한 방식은 사용자 인터페이스 객체와의 직접 상호작용의 특성들을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서 모의된 그림자는 손(1913c)에 대응하는 모의된 그림자(1944)를 참조하여 설명된 바와 같은, 사용자의 물리적 제1 사전정의된 부분의 모의된 그림자를 포함한다(2010a). 예를 들어, 전자 디바이스는 선택적으로 (예컨대, 투명 또는 반투명 디스플레이 생성 컴포넌트를 통해) 전자 디바이스의 물리적 환경에서 사용자의 하나 이상의 손들의 뷰를 통과시키고, 디스플레이 생성 컴포넌트를 통해 (예컨대, 사용자 인터페이스 객체를 포함하는) 3차원 환경을 디스플레이하고, 이는 하나 이상의 손들의 뷰(들)가 전자 디바이스에 의해 디스플레이되는 3차원 환경 내에서 보이게 한다. 일부 실시예들에서, 전자 디바이스는 본 명세서에 설명된 바와 같이 사용자의 손(들)과 사용자 인터페이스 객체 사이의 상호작용의 하나 이상의 특성들을 나타내기 위해 전자 디바이스에 의해 디스플레이되는 3차원 환경 내의 사용자의 손(들) 또는 사용자의 손들의 부분들의 모의된 그림자(들)를 (예컨대, 사용자 인터페이스 객체 상에 디스플레이되는 그림자(들)와 같이) 디스플레이한다(선택적으로 사용자의 다른 부분들의 그림자를 디스플레이하지 않거나 또는 사용자들의 손들의 다른 부분들의 그림자를 디스플레이하지 않음). 일부 실시예들에서, 사용자의 손에 대응하는 모의된 그림자는 사용자의 손과 사용자 인터페이스 객체 사이의 방향 상호작용 동안 (예컨대, 방법(800)을 참조하여 설명된 바와 같음) 사용자 인터페이스 객체 상의 모의된 그림자이다. 일부 실시예들에서, 이 모의된 그림자는 (예컨대, 사용자 인터페이스 객체의 선택을 위한) 사용자의 제1 사전정의된 부분과 사용자 인터페이스 객체 사이의 거리, 사용자의 제1 사전정의된 부분이 상호작용할/상호작용하고 있는 사용자 인터페이스 객체 상의 위치 등 중 하나 이상의 시각적 표시를 제공한다. 사용자의 제1 사전정의된 부분의 뷰에 대응하는 모의된 그림자를 디스플레이하는 전술한 방식은 사용자 인터페이스 객체와의 직접 상호작용의 특성들을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스 객체로 지향되는 입력을 검출하는 동안 그리고 사용자 인터페이스 객체 상에 디스플레이되는 모의된 그림자를 디스플레이하는 동안(2012a)(예컨대, 사용자 인터페이스 객체 상에 커서의 그림자를 디스플레이하는 동안 또는 사용자 인터페이스 객체 상에 사용자의 제1 사전정의된 부분의 그림자를 디스플레이하는 동안), 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 19b의 손(1913a)을 참조하여 설명된 바와 같은, 사용자의 제1 사전정의된 부분에 의한 사용자 인터페이스 객체로 지향되는 입력의 진행(예컨대, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체를 향해 이동함)을 검출한다(2012b). 일부 실시예들에서, 사용자 인터페이스 객체로 지향되는 입력의 진행을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 제1 사전정의된 부분에 의해 사용자 인터페이스 객체로 지향되는 (예컨대, 이동된 거리에 기초하는, 이동 속도에 기초하는, 이동 방향에 기초하는) 입력의 진행에 따라 사용자 인터페이스 객체 상에 디스플레이되는, 도 19b의 그림자(1942a)를 참조하여 설명되는 바와 같은, 모의된 그림자의 시각적 외관(예컨대, 크기, 어두움, 반투명성 등)을 변경한다(2012c). 예를 들어, 일부 실시예들에서, 모의된 그림자의 시각적 외관은 선택적으로 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체에 대해 이동함에 따라 변경된다. 예를 들어, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체를 향해(예컨대, 사용자 인터페이스 객체를 선택/상호작용하는 것을 향해) 이동함에 따라, 전자 디바이스는 선택적으로 모의된 그림자의 시각적 외관을 제1 방식으로 변경하고, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체로부터 멀리(예컨대, 사용자 인터페이스 객체를 선택/상호작용하는 것으로부터 멀리) 이동함에 따라, 전자 디바이스는 선택적으로 제1 방식과는 상이한 제2 방식으로 (예컨대, 제1 방식과는 반대로) 모의된 그림자의 시각적 외관을 변경한다. 사용자 인터페이스 객체로 지향되는 입력의 진행에 기초하여 모의된 그림자의 시각적 외관을 변경하는 전술한 방식은 사용자 인터페이스 객체의 선택을 향한 진행, 또는 사용자 인터페이스 객체의 선택으로부터의 회귀를 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 모의된 그림자의 시각적 외관을 변경하는 것은 그림자(1942a) 및/또는 그림자(1944)를 참조하여 설명되는 바와 같은, 모의된 그림자가 디스플레이되는 밝기를 변경하는 것을 포함한다(2014a). 예를 들어, 일부 실시예들에서, 사용자의 제1 사전정의된 부분(예컨대, 그에 따라, 적용되는 경우, 커서)이 사용자 인터페이스 객체를 향해 (예컨대, 사용자 인터페이스 객체의 선택/ 상호작용을 향해) 이동함에 따라, 전자 디바이스는 선택적으로 (예컨대, 손 및/또는 커서의) 모의된 그림자를 더 어둡게 디스플레이하고, 사용자의 제1 사전정의된 부분(예컨대, 그에 따라, 적용되는 경우, 커서)이 사용자 인터페이스 객체로부터 멀리 (예컨대, 사용자 인터페이스 객체의 선택/상호작용으로부터 멀리) 이동함에 따라, 전자 디바이스는 선택적으로 (예컨대, 손 및/또는 커서의) 모의된 그림자를 덜 어둡게 디스플레이한다. 사용자 인터페이스 객체로 지향되는 입력의 진행에 기초하여 모의된 그림자의 어두움을 변경하는 전술한 방식은 사용자 인터페이스 객체의 선택을 향한 진행, 또는 사용자 인터페이스 객체의 선택으로부터의 회귀를 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 모의된 그림자의 시각적 외관을 변경하는 것은 그림자(1942a) 및/또는 그림자(1944)를 참조하여 설명되는 바와 같은, 모의된 그림자가 디스플레이되는 흐릿함의 레벨(및/또는 확산)을 변경하는 것을 포함한다(2016a). 예를 들어, 일부 실시예들에서, 사용자의 제1 사전정의된 부분(예컨대, 그에 따라, 적용되는 경우, 커서)이 사용자 인터페이스 객체를 향해 (예컨대, 사용자 인터페이스 객체의 선택/ 상호작용을 향해) 이동함에 따라, 전자 디바이스는 선택적으로 (예컨대, 손 및/또는 커서의) 모의된 그림자를 덜 흐릿하게 및/또는 확산되게 디스플레이하고, 사용자의 제1 사전정의된 부분(예컨대, 그에 따라, 적용되는 경우, 커서)이 사용자 인터페이스 객체로부터 멀리 (예컨대, 사용자 인터페이스 객체의 선택/상호작용으로부터 멀리) 이동함에 따라, 전자 디바이스는 선택적으로 (예컨대, 손 및/또는 커서의) 모의된 그림자를 더 흐릿하게 및/또는 확산되게 디스플레이한다. 사용자 인터페이스 객체로 지향되는 입력의 진행에 기초하여 모의된 그림자의 흐릿함을 변경하는 전술한 방식은 사용자 인터페이스 객체의 선택을 향한 진행, 또는 사용자 인터페이스 객체의 선택으로부터의 회귀를 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 모의된 그림자의 시각적 외관을 변경하는 것은 그림자(1942a) 및/또는 그림자(1944)를 참조하여 설명되는 바와 같은, 모의된 그림자의 크기를 변경하는 것을 포함한다(2018a). 예를 들어, 일부 실시예들에서, 사용자의 제1 사전정의된 부분(예컨대, 그에 따라, 적용되는 경우, 커서)이 사용자 인터페이스 객체를 향해 (예컨대, 사용자 인터페이스 객체의 선택/ 상호작용을 향해) 이동함에 따라, 전자 디바이스는 선택적으로 (예컨대, 손 및/또는 커서의) 모의된 그림자를 더 작게 디스플레이하고, 사용자의 제1 사전정의된 부분(예컨대, 그에 따라, 적용되는 경우, 커서)이 사용자 인터페이스 객체로부터 멀리 (예컨대, 사용자 인터페이스 객체의 선택/상호작용으로부터 멀리) 이동함에 따라, 전자 디바이스는 선택적으로 (예컨대, 손 및/또는 커서의) 모의된 그림자를 더 크게 디스플레이한다. 사용자 인터페이스 객체로 지향되는 입력의 진행에 기초하여 모의된 그림자의 크기를 변경하는 전술한 방식은 사용자 인터페이스 객체의 선택을 향한 진행, 또는 사용자 인터페이스 객체의 선택으로부터의 회귀를 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스 객체로 지향되는 입력을 검출하는 동안 그리고 사용자 인터페이스 객체 상에 디스플레이되는 모의된 그림자를 디스플레이하는 동안(2020a)(예컨대, 사용자 인터페이스 객체 상에 커서의 그림자를 디스플레이하는 동안 또는 사용자 인터페이스 객체 상에 사용자의 제1 사전정의된 부분의 그림자를 디스플레이하는 동안), 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 19c의 손(1913a) 또는 도 19c의 손(1913c)을 참조하여 설명되는 바와 같이, 사용자 인터페이스 객체에 대해 측방향으로 요소를 이동하는 것에 대응하는 입력의 제1 부분을 검출한다(2020b)(예컨대, 사용자 인터페이스 객체에 대응하는 위치에 대한 사용자의 제1 사전정의된 부분의 측방향 이동을 검출함). 일부 실시예들에서, 입력의 제1 부분을 검출하는 것에 응답하여, 전자 디바이스는, 도 19c의 손(1913a) 또는 도 19c의 손(1913c)을 참조하여 설명되는 바와 같이, 제1 시각적 외관을 갖는 사용자 인터페이스 객체 상의 제1 위치에서 모의된 그림자를 디스플레이한다(2020c)(예컨대, 크기, 형상, 색상, 어두움, 흐릿함, 확산 중 제1 하나 이상, 등). 일부 실시예들에서, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 사용자 인터페이스 객체에 대해 측방향으로 요소를 이동하는 것에 대응하는 입력의 제2 부분을 검출한다(2020d)(예컨대, 사용자 인터페이스 객체에 대응하는 위치에 대한 사용자의 제1 사전정의된 부분의 다른 측방향 이동을 검출함). 일부 실시예들에서, 입력의 제2 부분을 검출하는 것에 응답하여, 전자 디바이스는, 도 19c의 손(1913a) 또는 도 19c의 손(1913c)을 참조하여 설명된 바와 같이, 제1 시각적 외관과는 상이한 제2 시각적 외관을 갖는 사용자 인터페이스 객체 상의 제1 위치와는 상이한 제2 위치에서 모의된 그림자를 디스플레이한다(2020e)(예컨대, 크기, 형상, 색상, 어두움, 흐릿함, 확산 중 상이한 하나 이상 등). 일부 실시예들에서, 전자 디바이스는 모의된 그림자가 (예컨대, 사용자의 제1 사전정의된 부분의 측방향 모션에 대응하는) 측방향으로 사용자 인터페이스 객체 위에서 이동함에 따라 모의된 그림자의 시각적 외관을 변경한다. 일부 실시예들에서, 시각적 외관의 차이는 모의된 그림자가 디스플레이되는 사용자 인터페이스 객체의 콘텐츠의 차이들, 사용자의 제1 사전정의된 부분과 사용자 인터페이스 객체 상의 모의된 그림자의 상이한 위치들에서의 사용자 인터페이스 객체 사이의 거리의 차이들 등 중 하나 이상에 기초한다. 사용자의 그림자 및/또는 제1 사전정의된 부분의 측방향 이동에 기초하여 모의된 그림자의 시각적 외관을 변경하는 전술한 방식은 사용자 인터페이스 객체의 상이한 위치들에 관련된 사용자 인터페이스 객체와의 상호작용의 하나 이상의 특성들을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체 상의 상이한 위치들과의 상호작용에서 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스 객체는 가상 표면(예컨대, 가상 트랙패드)이고, 가상 표면에 근접한 위치에서 검출되는 입력은, 사용자 인터페이스 객체들(1903b, 1903c)에 관해 설명된 바와 같이, 가상 표면으로부터 떨어져있는 제2 사용자 인터페이스 객체에 입력들을 제공한다(2022a). 예를 들어, 일부 실시예들에서, 사용자의 제1 사전정의된 부분(예컨대, 사용자의 손)이 특정 포즈이고 특정 사용자 인터페이스 객체와의 간접 상호작용에 대응하는 거리에 있을 때, 방법(800)을 참조하여 설명되는 바와 같이, 전자 디바이스는 사용자의 제1 사전정의된 부분에 (예컨대, 사전결정된 거리, 예컨대 0.1, 0.5, 1, 5, 10 cm) 가까이 가상 트랙패드를 디스플레이하고, 가상 트랙패드 상에 사용자의 제1 사전정의된 부분에 대응하는 모의된 그림자를 디스플레이한다. 일부 실시예들에서, 가상 트랙패드를 향한 사용자의 제1 사전정의된 부분의 이동에 응답하여, 전자 디바이스는 가상 트랙패드로부터 사용자의 제1 사전정의된 부분의 상대 위치 및/또는 거리에 기초하여 모의된 그림자를 업데이트한다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분의 이동이 사용자의 제1 사전정의된 부분을 이용한 가상 트랙패드의 선택에 충분한 이동일 때, 전자 디바이스는 사용자의 제1 사전정의된 부분과 가상 트랙패드 사이의 상호작용들에 기초하여 특정, 원격 사용자 인터페이스 객체에 입력(예컨대, 선택 입력들, 탭 입력들, 스크롤링 입력들 등)을 제공한다. 가상 표면은, 방법(1800)을 참조하여 설명되는 바와 같이, 사용자의 사전정의된 부분의 각자의 위치에 대응하는 3차원 환경 내의 다양한 위치들에 디스플레이되는 시각적 표시의 하나 이상의 특성들을 갖는다. 가상 트랙패드 및 가상 트랙패드 상의 모의된 그림자를 디스플레이하는 전술한 방식은 가상 트랙패드(예컨대, 그리고, 그에 따라, 원격 사용자 인터페이스 객체)와의 상호작용의 하나 이상의 특성들을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 가상 트랙패드를 통한 원격 사용자 인터페이스 객체와의 상호작용에서 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분은 사용자 인터페이스 객체와 직접 상호작용하고(예컨대, 방법(1400)을 참조하여 설명된 바와 같음), 모의된 그림자는 도 19a 내지 도 19d의 사용자 인터페이스 객체(1903b)를 참조하여 설명된 바와 같이, 사용자 인터페이스 객체(2024a) 상에 디스플레이된다. 예를 들어, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체와 직접 상호작용하는 경우, 전자 디바이스는 사용자 인터페이스 객체 상에 사용자의 제1 사전정의된 부분에 의해 드리워진 것으로 보이는 모의된 그림자를 생성하고(예컨대, 그리고 사용자 인터페이스 객체 상에 커서/시각적 표시에 의해 드리워진 것으로 보이는 그림자를 생성하지 않음), 이는 선택적으로 사용자 인터페이스 객체와의 상호작용이 (예컨대, 간접 상호작용 보다는) 직접 상호작용임을 나타낸다. 일부 실시예들에서, 이러한 모의된 그림자는 사용자의 제1 사전정의된 부분과 사용자 인터페이스 객체에 대응하는 위치 사이의 분리를 나타낸다(예컨대, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체와 상호작용하기 위해 요구되는, 사용자 인터페이스 객체를 향한 이동 거리를 나타냄). 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체와 직접 상호작용할 때 사용자 인터페이스 객체 상에 모의된 그림자를 디스플레이하는 전술한 방식은 사용자 인터페이스 객체와의 상호작용의 하나 이상의 특성들을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체에 대응하는 위치의 임계 거리(예컨대, 1, 2, 5, 10, 20, 50, 100, 500 cm) 내에 있고, 그림자(1944)와 같은 모의된 그림자가 사용자의 제1 사전정의된 부분에 대응한다는 결정에 따라(2026a)(예컨대, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체와 직접 상호작용하는 경우, 방법들(800, 1000, 1200, 1400, 1600 및/또는 1800)을 참조하여 설명된 바와 같이, 전자 디바이스는 사용자 인터페이스 객체 상에 모의된 그림자를 디스플레이하고, 모의된 그림자는 사용자의 제1 사전정의된 부분에 대응한다(예컨대, 제1 사전정의된 부분에 기초하는 형상을 가짐). 일부 실시예들에서, 전자 디바이스는 사용자의 제1 사전정의된 부분과 사용자 인터페이스 객체 사이의 상호작용에 대해 사용자의 제1 사전정의된 부분에 대응하는 커서를 디스플레이하지 않는다). 일부 실시예들에서, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 5, 10, 20, 50, 100, 500 cm)보다 멀리 있다는 결정에 따라, 그림자들(1942a 및/또는 1942b)과 같은 모의된 그림자는 사용자의 제1 사전정의된 부분에 의해 제어되는 커서에 대응한다(2026b). 예를 들어, 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체와 간접적으로 상호작용하는 경우, 방법들(800, 1000, 1200, 1400, 1600 및/또는 1800)을 참조하여 설명된 바와 같이, 전자 디바이스는 사용자 인터페이스 객체 상에 커서 및 모의된 그림자를 디스플레이하고, 모의된 그림자는 커서에 대응한다(예컨대, 커서에 기초한 형상을 가짐). 커서 및/또는 커서에 대응하는 그림자의 예시적인 상세사항들은 이전에 본 명세서에 설명되었다. 커서 및 그것의 대응하는 그림자를 선택적으로 디스플레이하는 전술한 방식은 사용자 인터페이스 객체와의 적절한 상호작용(예컨대, 직접 또는 간접)을 용이하게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 제1 사전정의된 부분에 의해 사용자 인터페이스 객체로 지향되는 입력을 검출하는 동안, 전자 디바이스는, 사용자 인터페이스 객체(1903a)와 상호작용하는 손들(1913a, 1913b)을 검출하는 것과 같이, 사용자의 제2 사전정의된 부분에 의해 사용자 인터페이스 객체로 지향되는 제2 입력을 검출한다(2028a)(예컨대, 사용자의 두 손이, 방법(800)을 참조하여 설명되는 바와 같이, 동일한 사용자 인터페이스 객체와의 간접 상호작용 기준을 충족한다. 일부 실시예들에서, 사용자 인터페이스 객체는 디스플레이 생성 컴포넌트에 의해 디스플레이되는 가상 키보드이고, 전자 디바이스는 전자 디바이스에 대한 입력을 위한 키보드의 각자의 키들을 선택하기 위해 사용자의 두 손으로부터 입력을 수용할 수 있다). 일부 실시예들에서, 사용자 인터페이스 객체로 지향되는 입력 및 제2 입력을 동시에 검출하는 동안, 전자 디바이스는 동시에, 사용자 인터페이스 객체 상에, 그림자들(1942a, 1942b)과 같은, 사용자 인터페이스 객체에 대한 사용자 인터페이스 객체와 사용자의 제1 사전정의된 부분의 상호작용을 나타내는 모의된 그림자(2028c), 및 사용자 인터페이스 객체에 대한 사용자 인터페이스 객체와 사용자의 제2 사전정의된 부분의 상호작용을 나타내는 제2 모의된 그림자(2028d)를 디스플레이한다(2028b). 예를 들어, 전자 디바이스는 사용자의 제1 사전정의된 부분에 대응하는 키보드 상의 모의된 그림자(예컨대, 사용자의 제1 사전정의된 부분이 키보드와 간접적으로 상호작용하는 경우 커서의 그림자, 또는 사용자의 제1 사전정의된 부분이 키보드와 직접 상호작용하는 경우 사용자의 제1 사전정의된 부분의 그림자) 및 사용자의 제2 사전정의된 부분에 대응하는 키보드 상의 모의된 그림자(예컨대, 사용자의 제2 사전정의된 부분이 키보드와 간접적으로 상호작용하는 경우 커서의 그림자, 또는 사용자의 제2 사전정의된 부분이 키보드와 직접 상호작용하는 경우 사용자의 제2 사전정의된 부분의 그림자)를 디스플레이한다. 일부 실시예들에서, 사용자의 제1 사전정의된 부분에 대응하는 모의된 그림자는 사용자 인터페이스 객체와 사용자의 제1 사전정의된 부분의 상호작용을 나타내는 하나 이상의 특성들(예컨대, 본 명세서에 설명된 바와 같음)을 갖고, 사용자의 제2 사전정의된 부분에 대응하는 모의된 그림자는 사용자 인터페이스 객체와 사용자의 제2 사전정의된 부분의 상호작용을 나타내는 하나 이상의 특성들(예컨대, 본 명세서에 설명된 바와 같음)을 갖는다. 사용자의 다수의 사전정의된 부분들에 대해 모의된 그림자들을 디스플레이하는 전술한 방식은 사용자의 다수의 사전정의된 부분들과 사용자 인터페이스 객체 사이의 상호작용의 특성들을 독립적으로 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 모의된 그림자는, 그림자들(1942a, 1942b 및/또는 1944)을 참조하여 설명되는 바와 같이, 사용자 인터페이스 객체와 결속하기 위해 얼마나 많은 사용자의 제1 사전정의된 부분의 이동이 필요한지 나타낸다(2030a). 예를 들어, 모의된 그림자의 시각적 외관은 사용자 인터페이스 객체와 상호작용하기 위해 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체를 향해 이동해야 하는 거리에 기초한다. 따라서, 모의된 그림자의 시각적 외관은 선택적으로 사용자 인터페이스 객체와 상호작용 및/또는 이를 선택하기 위해 사용자의 제1 사전정의된 부분이 얼마나 많이 이동해야 하는지 나타낸다. 예를 들어, 모의된 그림자가 상대적으로 크고/크거나 확산되는 경우, 모의된 그림자는 선택적으로 사용자 인터페이스 객체와 상호작용 및/또는 이를 선택하기 위해 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체를 향해 상대적으로 많은 거리를 이동해야 함을 나타내고, 모의된 그림자가 상대적으로 작고/작거나 선명하게 나타나는 경우, 모의된 그림자는 선택적으로 사용자 인터페이스 객체와 상호작용 및/또는 이를 선택하기 위해 사용자의 제1 사전정의된 부분이 사용자 인터페이스 객체를 향해 상대적으로 작은 거리를 이동해야 함을 나타낸다. 사용자 인터페이스 객체와 상호작용하기 위해 사용자의 제1 사전정의된 부분이 얼마나 많이 이동해야 하는지 나타내는 모의된 그림자의 전술한 방식은 사용자의 제1 사전정의된 부분과 사용자 인터페이스 객체 사이의 정확한 상호작용을 용이하게 하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 (예컨대, 사용자 인터페이스 객체와의 상호작용에서의 오류들을 회피함으로써) 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 21a 내지 도 21e는 일부 실시예들에 따라 입력에 포함된 이동을 검출하는 것에 응답하여 전자 디바이스가 하나의 사용자 인터페이스 요소에서 다른 사용자 인터페이스 요소로 입력을 재지향시키는 방법의 예들을 도시한다.
도 21a는, 디스플레이 생성 컴포넌트(120)를 통해, 3차원 환경 및/또는 사용자 인터페이스를 디스플레이하는 전자 디바이스(101a)를 도시한다. 일부 실시예들에서, 전자 디바이스(101a)는 본 개시내용의 범주를 벗어나지 않으면서 2차원 환경에서 도 21a 내지 도 21e를 참조하여 설명되는 하나 이상의 기법들을 이용한다는 것이 이해되어야 한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101a)는, 선택적으로, 디스플레이 생성 컴포넌트(120a)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314a)을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101a)와 상호작용하는 동안 전자 디바이스(101a)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120a)는 사용자의 손의 제스처들 및 이동들을 검출할 수 있는 터치 스크린이다. 일부 실시예들에서, 도시되고 설명되는 사용자 인터페이스들은, 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 사용자의 손들의 이동들 및/또는 물리적 환경(예컨대, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예컨대, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에 구현될 수 있다.
도 21a는, 3차원 환경에서, 컨테이너(2102) 내의 제1 선택가능 옵션(2104) 및 제2 선택가능 옵션(2106) 및 컨테이너(2109) 내의 슬라이더 사용자 인터페이스 요소(2108)를 디스플레이하는 전자 디바이스(101a)의 예를 도시한다. 일부 실시예들에서, 컨테이너들(2102, 2109)은 윈도우, 백플레인, 배경, 플래터, 또는 다른 유형들의 컨테이너 사용자 인터페이스 요소들이다. 일부 실시예들에서, 컨테이너(2102)의 콘텐츠 및 컨테이너(2109)의 콘텐츠는 동일한 애플리케이션(예컨대, 또는 전자 디바이스(101a)의 운영 체제)과 연관된다. 일부 실시예들에서, 컨테이너(2102)의 콘텐츠 및 컨테이너(2109)의 콘텐츠는 상이한 애플리케이션들과 연관되거나 또는 컨테이너들(2102 또는 2109) 중 하나의 콘텐츠는 운영 체제와 연관된다. 일부 실시예들에서, 선택가능 옵션들(2104 또는 2106) 중 하나의 선택을검출하는 것에 응답하여, 전자 디바이스(101a)는 선택된 선택가능 옵션과 연관된 작동을 수행한다. 일부 실시예들에서, 슬라이더(2108)는 슬라이더(2108)의 현재 값의 표시(2112)를 포함한다. 예를 들어, 슬라이더(2108)는 전자 디바이스(101a) 또는 애플리케이션의 설정의 양, 크기, 값 등을 나타낸다. 일부 실시예들에서, (예컨대, 슬라이더(2108) 내의 표시기(2112)를 조작함으로써) 슬라이더의 현재 값을 변경하기 위한 입력에 응답하여, 전자 디바이스(101a)는 슬라이더(2108)와 연관된 설정을 그에 따라 업데이트한다.
도 21a에 도시된 바와 같이, 일부 실시예들에서, 전자 디바이스(101a)는 컨테이너(2102)로 지향되는 사용자의 시선(2101a)을 검출한다. 일부 실시예들에서, 컨테이너(2102)로 지향되는 사용자의 시선(2101a)을 검출하는 것에 응답하여, 전자 디바이스(101a)는 컨테이너(2102)로 지향되는 시선(2101a)을 검출하기 전에 컨테이너(2102)가 디스플레이되었던 위치보다 사용자의 시점에 가까운 3차원 환경 내의 위치에서 컨테이너(2102)를 디스플레이하기 위해 컨테이너(2102)의 위치를 업데이트한다. 예를 들어, 컨테이너(2102)로 지향되는 사용자의 시선(2101a)을 검출하기 이전에, 전자 디바이스(101a)는 3차원 환경 내의 사용자의 시점으로부터 동일한 거리에서 컨테이너들(2102, 2109)을 디스플레이하였다. 이 예에서, 도 21a에 도시된 바와 같이 컨테이너(2102)로 지향되는 사용자의 시선(2101a)을 검출하는 것에 응답하여, 전자 디바이스(101a)는 컨테이너(2109)보다 사용자의 시점에 가까운 컨테이너(2102)를 디스플레이한다. 예를 들어, 전자 디바이스(101a)는 사용자의 시점에 더 가까운 위치에 대응하는 더 큰 크기 및/또는 가상 그림자 및/또는 입체 심도 정보를 이용하여 컨테이너(2102)를 디스플레이한다.
도 21a는 선택가능 옵션(2104) 및 슬라이더(2108)로 지향되는 선택 입력들을 검출하는 전자 디바이스(101a)의 예를 도시한다. 도 21a는 복수의 선택 입력들을 도시하지만, 일부 실시예들에서, 도 22a에 도시된 선택 입력들은 상이한 시간에 검출되고, 동시에 검출되지 않는다는 것이 이해되어야 한다.
일부 실시예들에서, 전자 디바이스(101a)는 사용자 인터페이스 요소들 중 하나, 예컨대, 선택가능 옵션들(2104 또는 2106) 또는 슬라이더(2108)의 표시기(2112) 중 하나의 선택을 간접 선택 입력, 직접 선택 입력, 공중 제스처 선택 입력, 또는 입력 디바이스 선택 입력을 검출함으로써 검출한다. 일부 실시예들에서, 사용자 인터페이스 요소의 선택을 검출하는 것은 사용자의 손이 각자의 제스처를 수행하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 간접 선택 입력을 검출하는 것은, 입력 디바이스들(314a)을 통해, 방법들(800, 1000, 1200, 및/또는 1600)의 하나 이상의 단계들에 따라, 사용자의 손이 선택 제스처, 예컨대, 사용자가 자신의 엄지 손가락을 손의 다른 손가락에 터치시키는 핀치 손 제스처를 만들어서, 선택가능 옵션으로 하여금 선택가능 옵션이 컨테이너에 도달할 때 선택이 발생하는 선택가능 옵션이 디스플레이되는 컨테이너를 향해 이동하게 하는 것을 검출하는 동안 각자의 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것을 포함한다. 일부 실시예들에서, 직접 선택 입력을 검출하는 것은 입력 디바이스들(314a)을 통해, 사용자의 손이 선택 제스처, 예컨대, 각자의 사용자 인터페이스 요소의 위치의 사전정의된 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 또는 30 센티미터) 내의 핀치 제스처 또는 방법들(800, 1400 및/또는 1600)의 하나 이상의 단계들에 따라 가리키는 손 형상인 동안 사용자의 손이 각자의 사용자 인터페이스 요소의 위치를 "누르는" 누르기 제스처를 만드는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 공중 제스처 입력을 검출하는 것은 방법들(1800 및/또는 2000)의 하나 이상의 단계들에 따라 디스플레이 생성 컴포넌트(120a)를 통해 3차원 환경에서 디스플레이되는 공중 제스처 사용자 인터페이스 요소의 위치에서 누르기 제스처를 검출하는 동안 각자의 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것을 포함한다. 일부 실시예들에서, 입력 디바이스 선택을 검출하는 것은 입력 디바이스에 의해 제어되는 커서가 각자의 사용자 인터페이스 요소의 위치와 연관되는 동안 및/또는 사용자의 시선이 각자의 사용자 인터페이스 요소로 지향되는 동안 사용자 인터페이스 요소의 선택에 대응하는 사전정의된 방식으로 기계적 입력 디바이스(예컨대, 스타일러스, 마우스, 키보드, 트랙패드 등)의 조작을 검출하는 것을 포함한다.
예를 들어, 도 21b에서, 전자 디바이스(101a)는 손(2103a)을 이용한 옵션(2104)으로 지향되는 직접 선택 입력의 일부분을 검출한다. 일부 실시예들에서, 손(2103a)은 직접 선택 제스처에 포함되는 손 형상(예컨대, "손 상태 D"), 예컨대 손이 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손바닥을 향해 구부러지는 가리키는 손 형상이다. 일부 실시예들에서, 직접 선택 입력의 일부분은 누르기 제스처(예컨대, 손이 옵션(2104)에서 컨테이너(2102)로의 방향으로 임계 거리, 예컨대, 옵션(2104)과 컨테이너(2102) 사이의 시각적 분리에 대응하는 거리만큼 이동함)의 완료를 포함하지 않는다. 일부 실시예들에서, 손(2103a)은 선택가능 옵션(2104)의 직접 선택 임계 거리 내에 있다.
일부 실시예들에서, 전자 디바이스(101a)는 손(2103d)을 이용한 슬라이더(2108)의 표시기(2112)로 지향되는 입력의 일부분을 검출한다. 일부 실시예들에서, 손(2103d)은 직접 선택 제스처에 포함되는 손 형상(예컨대, "손 상태 D"), 예컨대 손이 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손바닥을 향해 구부러지는 가리키는 손 형상이다. 일부 실시예들에서, 입력의 일부분은 입력의 종료, 예컨대, 사용자가 가리키는 손 형상을 만드는 것을 중단하는 것을 포함하지 않는다. 일부 실시예들에서, 손(2103d)은 슬라이더(2108)의 표시기(2112)의 직접 선택 임계 거리 내에 있다.
일부 실시예들에서, 전자 디바이스(101a)는 시선(2101a)이 옵션(2104)으로 지향되는 동안 손(2103b)을 이용한 선택가능 옵션(2104)으로 지향되는 간접 선택 입력의 일부분을 검출한다. 일부 실시예들에서, 손(2103b)은 간접 선택 제스처에 포함되는 손 형상(예컨대, "손 상태 B"), 예컨대, 손이 엄지 손가락이 손(2103b)의 다른 손가락을 터치하고 있는 핀치 손 형상이다. 일부 실시예들에서, 간접 선택 입력의 일부분은 핀치 제스처의 완료(예컨대, 엄지 손가락이 손가락으로부터 멀리 이동함)를 포함하지 않는다. 일부 실시예들에서, 손(2103b)은 간접 선택 입력의 일부분을 제공하는 동안 선택가능 옵션(2104)으로부터 직접 선택 임계 거리보다 멀리 있다.
일부 실시예들에서, 전자 디바이스(101a)는 시선(2101b)이 슬라이더(2108)로 지향되는 동안 손(2103b)을 이용하여 슬라이더(208)의 표시기(2112)로 지향되는 간접 입력의 일부분을 검출한다. 일부 실시예들에서, 손(2103b)은 간접 선택 제스처에 포함되는 손 형상(예컨대, "손 상태 B"), 예컨대, 손이 엄지 손가락이 손(2103b)의 다른 손가락을 터치하고 있는 핀치 손 형상이다. 일부 실시예들에서, 간접 입력의 일부분은 핀치 제스처의 완료(예컨대, 엄지 손가락이 손가락으로부터 멀리 이동함)를 포함하지 않는다. 일부 실시예들에서, 손(2103b)은 간접 입력의 일부분을 제공하는 동안 슬라이더(2112)로부터 직접 선택 임계 거리보다 멀리 있다.
일부 실시예들에서, 전자 디바이스(101a)는 시선(2101a)이 옵션(2104)으로 지향되는 동안 손(2103c)을 이용한 선택가능 옵션(2104)으로 지향되는 공중 제스처 선택 입력의 일부분을 검출한다. 일부 실시예들에서, 손(2103c)은 공중 제스처 선택 제스처에 포함되는 손 형상(예컨대, "손 상태 B"), 예컨대, 손이 디바이스(101)에 의해 디스플레이되는 공중 제스처 요소(2114)의 임계 거리(예컨대, 0.1, 0.3, 0.5, 1, 2, 또는 3 센티미터) 내에서 가리키는 손 형상이다. 일부 실시예들에서, 공중 제스처 선택 입력의 일부분은 선택 입력의 완료(예컨대, 모션이 컨테이너(2102)의 위치에 대한 밀기 옵션(2104)에 대응하도록 손(2103c)이 공중 제스처 요소(114)의 임계 거리(예컨대, 0.1, 0.3, 0.5, 1, 2, 또는 3 센티미터) 내에 있는 동안 선택가능 옵션(2104)과 컨테이너(2102) 사이의 시각적 분리에 대응하는 양만큼 사용자의 시점으로부터 멀어지는 손(2103c)의 모션)를 포함하지 않는다. 일부 실시예들에서, 손(2103c)은 공중 제스처 선택 입력의 일부분을 제공하는 동안 선택가능 옵션(2104)으로부터 직접 선택 임계 거리보다 멀리 있다.
일부 실시예들에서, 전자 디바이스(101a)는 시선(2101b)이 슬라이더(2108)로 지향되는 동안 손(2103c)을 이용한 슬라이더(2108)로 지향되는 공중 제스처 입력의 일부분을 검출한다. 일부 실시예들에서, 손(2103c)은 공중 제스처 선택 제스처에 포함되는 손 형상(예컨대, "손 상태 B"), 예컨대, 손이 공중 제스처 요소(2114)의 임계 거리(예컨대, 0.1, 0.3, 0.5, 1, 2, 또는 3 센티미터 등) 내에서 가리키는 손 형상이다. 일부 실시예들에서, 공중 제스처 입력의 일부분은 공중 제스처 입력의 완료(예컨대, 손(2103c)이 공중 제스처 손 형상을 만드는 것을 중단하고, 공중 제스처 요소(2114)로부터 멀어지는 손(2103c)의 이동)를 포함하지 않는다. 일부 실시예들에서, 손(2103c)은 공중 제스처 입력의 일부분을 제공하는 동안 슬라이더(2108)로부터 직접 선택 임계 거리보다 멀리 있다.
일부 실시예들에서, 옵션(2104)으로 지향되는 선택 입력들의 일부분(예컨대, 그 중 하나)을 검출하는 것에 응답하여, 전자 디바이스(101a)는 선택 입력이 옵션(2104)으로 지향된다는 시각적 피드백을 사용자에게 제공한다. 예를 들어, 도 21b에 도시된 바와 같이, 전자 디바이스(101a)는 옵션(2104)의 색상을 업데이트하고, 옵션(2104)으로 지향되는 선택 입력의 일부분을 검출하는 것에 응답하여 컨테이너(2102)로부터 옵션(2104)의 시각적 분리를 증가시킨다. 일부 실시예들에서, 전자 디바이스(101a)는, 사용자의 시선(2101a)이 컨테이너(2102)에 포함된 사용자 인터페이스 요소로 지향되지 않는 경우 전자 디바이스(101a)가 컨테이너(2102)를 디스플레이할 위치로부터 시각적으로 분리되는, 도 21b에 도시된 위치에 컨테이너(2102)를 계속해서 디스플레이한다. 일부 실시예들에서, 선택 입력이 옵션(2106)으로 지향되지 않기 때문에, 전자 디바이스(101a)는 옵션(2104)으로 지향되는 입력의 일부분을 검출하기 이전에 옵션(2106)이 도 21a에서 디스플레이되었던 색상과 동일한 색상으로 옵션(2106)의 디스플레이를 유지한다. 또한, 일부 실시예들에서, 전자 디바이스(101a)는 컨테이너(2102)로부터 시각적 분리 없이 옵션(2106)을 디스플레이하는데, 그 이유는 선택 입력의 시작이 옵션(2106)으로 지향되지 않기 때문이다.
일부 실시예들에서, 옵션(2104)으로 지향되는 선택 입력의 시작은 컨테이너(2102)를 향한, 그러나 터치하지 않는, 옵션(2104)의 이동에 대응한다. 예를 들어, 손(2103a)에 의해 제공되는 직접 입력의 시작은 손이 가리키는 손 형상인 동안 아래로 또는 옵션(2104)으로부터 컨테이너(2102)를 향한 방향으로의 손(2103a)의 모션을 포함한다. 다른 예로서, 손(2103c) 및 시선(2101a)에 의해 제공되는 공중 제스처 입력의 시작은, 손(2103c)이 공중 제스처 요소(2114)로부터 임계 거리(예컨대, 0.1, 0.3, 0.5, 1, 2, 또는 3 센티미터) 내에 있는 동안 손이 가리키는 손 형상인 동안, 아래로 또는 옵션(2104)으로부터 컨테이너(2102)를 향하는 방향으로의 손(2103c)의 모션을 포함한다. 다른 예로서, 손(2103b) 및 시선(2101a)에 의해 제공되는 간접 선택 입력의 시작은 손(2103b)이 옵션(2104)이 컨테이너(2102)에 도달하는 것에 대응하는 양만큼 컨테이너(2102)를 향한 옵션(2104)의 모션에 대응하는 사전결정된 시간 임계치(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3, 5초 등) 미만의 시간 동안 핀치 손 형상을 유지하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 선택 입력이 옵션(2104)이 컨테이너(2102)에 도달하는 경우의 양만큼 컨테이너(2102)를 향한 옵션(2104)의 모션에 대응할 때 옵션(2104)의 선택이 발생한다. 도 21b에서, 입력들은 옵션(2104)과 컨테이너(2102) 사이의 시각적 분리의 양보다 작은 양만큼의 컨테이너(2102)를 향한 옵션(2104)의 부분 이동에 대응한다.
일부 실시예들에서, 슬라이더(2108)로 지향되는 입력들의 일부분(예컨대, 그 중 하나)을 검출하는 것에 응답하여, 전자 디바이스(101a)는 입력이 슬라이더(2108)로 지향된다는 시각적 피드백을 사용자에게 제공한다. 예를 들어, 전자 디바이스(101a)는 컨테이너(2109)로부터 시각적으로 분리된 슬라이더(2108)를 디스플레이한다. 또한, 컨테이너(2109) 내의 요소로 지향되는 사용자의 시선(2101b)을 검출하는 것에 응답하여, 전자 디바이스(101a)는 슬라이더(2108)로 지향되는 입력의 시작을 검출하기 이전에 컨테이너(2109)가 도 21a에서 디스플레이되었던 위치보다 사용자의 시점에 가깝게 컨테이너(2109)를 디스플레이하기 위해 컨테이너(2109)의 위치를 업데이트한다. 일부 실시예들에서, 도 21b에서 도시되는 슬라이더(2108)로 지향되는 입력의 일부분은 조정을 위해 슬라이더(2108)의 표시기(2112)를 선택하는 것에 대응하지만, 슬라이더(2108)에 의해 표시기(2112)를 조정하기 위한―그리고, 그에 따라, 그것에 의해 제어되는 값을 조정하기 위한 입력의 일부분을 아직 포함하지 않는다.
도 21c는 전자 디바이스(101a)가 입력에 포함된 이동을 검출하는 것에 응답하여 선택 입력을 재지향 및/또는 슬라이더(2108)의 표시기(2112)를 조정하는 예를 도시한다. 예를 들어, 도 21b를 참조하여 전술된 선택 입력의 일부분을 제공한 후에 임계치(예컨대, 옵션(2104)으로부터 컨테이너(2102)의 경계까지의 거리에 대응하는 임계치) 미만의 (예컨대, 속도, 거리, 시간) 양만큼의 사용자의 손의 이동을 검출하는 것에 응답하여, 전자 디바이스(101a)는 옵션(2104)에서 옵션(2106)으로 선택 입력을 재지향하며, 이는 아래 더 상세하게 설명될 바와 같다. 일부 실시예들에서, 슬라이더(2108)로 지향되는 입력을 제공하는 동안 사용자의 손의 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는 검출된 이동에 따라 슬라이더(2108)의 표시기(2112)를 업데이트하고, 이는 아래 더 상세하게 설명될 바와 같다.
일부 실시예들에서, 도 21b를 참조하여 전술된 바와 같이 옵션(2104)으로 지향되는 선택 입력의 일부분을 (예컨대, 손(2103a) 또는 손(2103b) 및 시선(2101c) 또는 손(2103c) 및 시선(2101c)을 통해) 검출한 후에, 전자 디바이스(101a)는 옵션(2104)에서 옵션(2106)을 향한 방향으로의 손(예컨대, 2103a, 2103b, 또는 2103c)의 이동을 검출한다. 일부 실시예들에서, 이동의 양(예컨대, 속도, 거리, 지속기간)은 옵션(2104)과 컨테이너(2102)의 경계 사이의 거리 미만에 대응한다. 일부 실시예들에서, 전자 디바이스(101a)는 컨테이너(2102)의 크기를 옵션(2104)으로부터 컨테이너(2102)의 경계까지의 거리에 대응하는 (예컨대, 입력을 제공하는 손(2103a, 2103b, 또는 2103c)의) 이동의 사전결정된 양에 맵핑한다. 일부 실시예들에서, 도 21b를 참조하여 전술된 옵션(2104)으로 지향되는 선택 입력의 일부분을 검출한 후에, 전자 디바이스(101a)는 옵션(2106)으로 지향되는 사용자의 시선(2101c)을 검출한다. 일부 실시예들에서, 손(2103a)에 의해 제공되는 직접 입력의 경우, 손(2103a)의 모션을 검출하는 것에 응답하여, 전자 디바이스(101a)는 옵션(2104)에서 옵션(2106)으로 선택 입력을 재지향한다. 일부 실시예들에서, 손(2103b)에 의해 제공되는 간접 입력의 경우, 옵션(2106)으로 지향되는 사용자의 시선(2101c)을 검출 및/또는 손(2103b)의 이동을 검출하는 것에 응답하여, 전자 디바이스(101a)는 옵션(2104)에서 옵션(2106)으로 선택 입력을 재지향한다. 일부 실시예들에서, 손(2103c)에 의해 제공되는 공중 제스처 입력의 경우, 옵션(2106)으로 지향되는 사용자의 시선(2101c)을 검출 및/또는 손(2103c)의 이동을 검출하는 것에 응답하여 전자 디바이스(101a)는 옵션(2104)에서 옵션(2106)으로 선택 입력을 재지향한다.
도 21c는 사용자 인터페이스의 각자의 컨테이너(2102) 내의 상이한 요소들 사이에서 선택 입력을 재지향하는 예를 도시한다. 일부 실시예들에서, 전자 디바이스(101a)는 다른 컨테이너로 지향되는 사용자의 시선을 검출하는 것에 응답하여 하나의 컨테이너에서 다른 것으로 선택 입력을 재지향한다. 예를 들어, 옵션(2106)이 옵션(2104)의 컨테이너와는 상이한 컨테이너 내에 있는 경우, 전술된 사용자의 손의 이동 및 사용자의 시선이 옵션(2104)의 컨테이너로 지향되는 것(예컨대, 시선이 옵션(2104)으로 지향됨)에 응답하여 선택 입력은 옵션(2104)에서 옵션(2106)으로 지향될 것이다.
일부 실시예들에서, 선택 입력의 일부분을 검출하는 동안, 전자 디바이스(101a)가 컨테이너(2102) 밖으로 지향되는 사용자의 시선을 검출하는 경우, 컨테이너(2102) 내의 옵션들(2104 또는 2106) 중 하나로 선택 입력을 재지향하는 것이 여전히 가능하다. 예를 들어, (컨테이너(2102)로부터 멀리 지향된 후에) 옵션(2106)으로 지향되는 사용자의 시선(2101c)을 검출하는 것에 응답하여, 전자 디바이스(101a)는 도 21c에 도시된 바와 같이 옵션(2104)에서 옵션(2106)으로 간접 또는 공중 제스처 입력을 재지향한다. 다른 예로서, 직접 선택 입력을 검출하는 동안 전술된 손(2103a)의 이동을 검출하는 것에 응답하여, 전자 디바이스(101a)는 사용자가 보고 있는 곳에 상관없이 옵션(2104)에서 옵션(2106)으로 입력을 재지향한다.
일부 실시예들에서, 옵션(2104)에서 옵션(2106)으로 선택 입력을 재지향하는 것에 응답하여, 전자 디바이스(101a)는 선택 입력이 옵션(2104)으로 지향되지 않음을 나타내기 위해 옵션(2104)을 업데이트하고, 선택 입력이 옵션(2106)으로 지향됨을 나타내기 위해 옵션(2106)을 업데이트한다. 일부 실시예들에서, 옵션(2104)을 업데이트하는 것은 선택(예컨대, 선택 입력의 시작을 검출하기 이전의 옵션(2104)이 도 21a에서 디스플레이되었던 동일한 색상)에 대응하지 않는 색상으로 옵션(2104)을 디스플레이하는 것 및/또는 컨테이너(2102)로부터의 시각적 분리 없이 옵션(2104)을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 옵션(2106)을 업데이트하는 것은 선택이 옵션(2106)으로 지향됨을 나타내는 색상으로 옵션(2106)을 디스플레이하는 것(예컨대, 입력이 옵션(2104)으로 지향되었던 동안 옵션(2106)이 도 21b에서 디스플레이되었던 색상과는 상이함) 및/또는 컨테이너(2102)로부터 시각적으로 분리된 옵션(2106)을 디스플레이하는 것을 포함한다.
일부 실시예들에서, 옵션(2106)과 컨테이너(2102) 사이의 시각적 분리의 양은, 직접 선택을 제공하기 위한 손(2103a)의 추가적인 모션, 공중 제스처 선택을 제공하기 위한 손(2103c)의 추가적인 모션, 또는 간접 선택을 제공하기 위한 손(2103b)을 이용한 핀치 제스처의 연속과 같은, 옵션(2106)의 선택을 야기하는데 필요한 추가적인 입력의 양에 대응한다. 일부 실시예들에서, 선택 입력이 옵션(2104)으로부터 멀리 재지향되기 전에 손들(2103a, 2103b 및/또는 2103c)에 의해 옵션(2104)에 제공되는 선택 입력의 일부분의 진행은 선택 입력이 옵션(2104)에서 옵션(2106)으로 재지향될 때 옵션(2106)의 선택을 향해 적용되고, 이는 방법(2200)을 참조하여 아래 더 상세하게 설명되는 바와 같다.
일부 실시예들에서, 전자 디바이스(101)는 옵션(2106)으로 지향되는 선택 입력의 다른 개시를 검출하지 않고 옵션(2104)에서 옵션(2106)으로 선택 입력을 재지향한다. 예를 들어, 선택 입력은 전자 디바이스(101a)가 구체적으로 옵션(2106)으로 지향되는 손들(2103a, 2103b, 또는 2103c) 중 하나를 이용한 선택 제스처의 시작을 검출하지 않고 재지향된다.
일부 실시예들에서, 슬라이더(2108)로 지향되는 입력을 검출하는 동안 손(2103d, 2103b, 또는 2103c)의 모션을 검출하는 것에 응답하여, 전자 디바이스(101a)는 입력을 재지향하지 않는다. 일부 실시예들에서, 전자 디바이스(101a)는 도 21c에 도시된 바와 같이, 슬라이더(2108)로 지향되는 입력을 제공하는 손의 모션(예컨대, 손의 모션의 속도, 거리, 지속기간)에 따라 슬라이더(2108)의 표시기(2112)의 위치를 업데이트한다.
도 21d는 전자 디바이스(101a)가 옵션(2106)으로 지향되는 선택 입력을 제공하는 손(2103a, 2103b, 또는 2103c)의 추가적인 이동 및/또는 컨테이너(2102) 및/또는 옵션(2106)으로부터 멀리 지향되는 사용자의 시선(2101e)에 응답하여 옵션(2106)의 선택을 취소하는 예를 도시한다. 예를 들어, 전자 디바이스(101a)는, 옵션(2106)과 컨테이너(2102)의 경계 사이의 거리 초과에 대응하는 양만큼 위로 또는 측방향으로의 손(2103a)의 모션을 검출하는 것에 응답하여, 손(2103a)에 의해 제공되는 직접 선택 입력을 취소한다. 다른 예로서, 전자 디바이스(101a)는, 옵션(2106)과 컨테이너(2102)의 경계 사이의 거리 초과에 대응하는 양만큼 위로 또는 측방향으로의 손(2103c)의 모션을 검출하는 것에 응답하고/하거나 컨테이너(2102) 밖으로 지향되는 사용자의 시선(2101e) 또는 옵션(2106)으로부터 멀어지지만 컨테이너(2102) 내에 있는 사용자의 시선(2101d)을 검출하는 것에 응답하여, 손(2103c)에 의해 제공되는 공중 제스처 입력을 취소한다. 일부 실시예들에서, 전자 디바이스(101a)는 손(2103a 또는 2103c)의 하방 모션에 각각 응답하여 직접 선택 입력 또는 공중 제스처 선택 입력을 취소하지 않는데, 그 이유는 하방 모션이 선택을 취소하려는 사용자 의도보다는 옵션(2106)을 선택하려는 사용자 의도에 대응할 수 있기 때문이다. 다른 예로서, 전자 디바이스(101a)는, 옵션(2106)과 컨테이너(2102)의 경계 사이의 거리 초과에 대응하는 양만큼 위, 아래 또는 측방향으로의 손(2103b)의 이동을 검출하는 것에 응답하고/하거나 컨테이너(2102) 밖으로 지향되는 사용자의 시선(2101e) 또는 옵션(2106)으로부터 멀어지지만 컨테이너(2102) 내에 있는 사용자의 시선(2101d)을 검출하는 것에 응답하여, 간접 선택 입력을 취소한다. 전술된 바와 같이, 일부 실시예들에서, 입력을 취소하는데 필요한 이동량은 옵션(2106) 및 컨테이너(2102)의 크기에 상관없이 손(2103a)의 각자의 이동량에 맵핑된다.
일부 실시예들에서, 옵션(2106)으로 지향되는 선택 입력을 취소하는 것에 응답하여, 전자 디바이스(101a)는 전자 디바이스(101a)가 옵션(2106)으로 지향되는 선택 입력을 수신하지 않음을 나타내기 위해 옵션(2106)의 디스플레이를 업데이트한다. 예를 들어, 전자 디바이스(101a)는 선택 입력에 대응하지 않는 색상(예컨대, 선택 입력을 검출하기 이전의 도 21a의 옵션(2106)의 색상과 동일한 색상)으로 옵션(2106)을 디스플레이하고/하거나 컨테이너(2102)로부터 시각적으로 분리없이 옵션(2106)을 디스플레이한다. 일부 실시예들에서, 사용자의 시선(2101d)이 여전히 컨테이너(2102)로 지향되는 경우, 전자 디바이스(101a)는 도 21d에 도시된 바와 같이 사용자의 시점을 향한 위치에서 컨테이너(2102)를 디스플레이한다. 일부 실시예들에서, 사용자의 시선(2101e)이 컨테이너(2102)로부터 멀리 지향되는 경우, 전자 디바이스(101a)는 (예컨대, 가상 그림자 없이, 작은 크기로, 입체 심도 정보가 사용자의 시점으로부터 더 멀리 있는 위치에 대응하도록) 사용자의 시점으로부터 멀리 있는 위치에 컨테이너(2102)를 디스플레이한다.
일부 실시예들에서, 슬라이더(2108)로 지향되는 입력의 일부로서 전술된 손(2103d, 2103b, 또는 2103c)의 모션의 동일한 양 및/또는 방향에 응답하여, 전자 디바이스(101a)는 슬라이더(2108)로 지향되는 입력을 취소하지 않고 계속해서 슬라이더(2108)의 표시기(2112)의 위치를 계속해서 조정한다. 일부 실시예들에서, 전자 디바이스(101a)는 이동의 방향 및 양(예컨대, 속도, 거리, 지속기간 등)에 따라 슬라이더(2108)의 표시기(2108)의 위치를 업데이트한다.
일부 실시예들에서, 도 21d에 도시된 바와 같이 선택 입력을 취소하기 위한 사용자 요청을 검출하는 대신에, 전자 디바이스(101a)가 옵션(2106)으로 지향되는 선택 입력의 연속을 검출하는 경우, 전자 디바이스(101a)는 옵션(2106)을 선택한다. 예를 들어, 도 21e는 전자 디바이스(101a)가 도 21c에 도시된 선택 입력의 연속을 검출하는 것을 도시한다. 일부 실시예들에서, 전자 디바이스(101a)는 옵션(2106)이 컨테이너(2102)에 도달하도록 옵션(2106)으로부터 컨테이너(2102)를 향하는 방향으로의 적어도 옵션(2106)과 컨테이너(2102) 사이의 시각적 분리의 양에 대응하는 양만큼의 손(2103a)의 추가적인 모션을 검출하는 것을 포함하는 직접 선택 입력의 연속을 검출한다. 일부 실시예들에서, 전자 디바이스(101a)는 사용자의 시선(2101c)이 옵션(2106)으로 지향되는 동안 손(2103c)이 공중 제스처 요소(2114)로부터 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 또는 3 센티미터) 내에 있는 동안 옵션(2106)이 컨테이너(2102)에 도달하도록 옵션(2106)으로부터 컨테이너(2102)를 향한 방향으로의 적어도 옵션(2106)과 컨테이너(2102) 사이의 시각적 분리의 양에 대응하는 양만큼의 손(2103c)의 추가적인 모션을 포함하는 공중 제스처 선택 입력의 연속을 검출한다. 일부 실시예들에서, 전자 디바이스(101a)는 사용자의 시선(2101c)이 옵션(2106)으로 지향되는 동안 옵션(2106)이 컨테이너(2102)에 도달하는 것에 대응하는 시간 동안 손(2103b)이 핀치 손 형상을 유지하는 것을 포함하는 간접 입력의 연속을 검출한다. 따라서, 일부 실시예들에서, 전자 디바이스(101a)는 선택 입력의 추가 개시를 검출하지 않고 옵션(2104)에서 옵션(2106)으로 선택 입력을 재지향한 후에 선택 입력의 연속에 응답하여 옵션(2106)을 선택한다.
도 22a 내지 도 22k는 일부 실시예들에 따라 입력에 포함된 이동을 검출하는 것에 응답하여 하나의 사용자 인터페이스 요소에서 다른 사용자 인터페이스 요소로 입력을 재지향시키는 방법(2200)을 도시하는 흐름도이다. 일부 실시예들에서, 본 방법(2200)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(2200)은 비일시적 컴퓨터-판독가능 저장 매체에 저장되고, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예컨대, 도 1a의 제어 유닛(110))과 같은, 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되는 명령어들에 의해 통제된다. 방법(2200)에서의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서는, 선택적으로, 변경된다.
일부 실시예들에서, 방법(2200)은 디스플레이 생성 컴포넌트(예컨대, 120a) 및 하나 이상의 입력 디바이스들(예컨대, 314a)과 통신하는 전자 디바이스(예컨대, 101a)(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)에서 수행된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스(선택적으로, 터치 스크린 디스플레이), 모니터, 프로젝터, 텔레비전, 또는 하드웨어 컴포넌트(선택적으로, 통합형 또는 외장형)와 같은, 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 가시적이 되게 하기 위한 외장형 디스플레이 등과 통합된 디스플레이이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 사용자 입력을 수신(예컨대, 사용자 입력을 캡처, 사용자 입력을 검출 등)하고 사용자 입력과 연관된 정보를 전자 디바이스에 전송할 수 있는 전자 디바이스 또는 컴포넌트를 포함한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예컨대, 외장형), 트랙패드(선택적으로, 통합형 또는 외장형), 터치패드(선택적으로, 통합형 또는 외장형), 원격 제어 디바이스(예컨대, 외장형), 다른 모바일 디바이스(예컨대, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예컨대, 외장형), 제어기(예컨대, 외장형), 카메라, 깊이 센서, 눈 추적 디바이스, 및/또는 모션 센서(예컨대, 손 추적 디바이스, 손 모션 센서) 등을 포함한다. 일부 실시예들에서, 전자 디바이스는 손 추적 디바이스(예컨대, 하나 이상의 카메라들, 깊이 센서들, 근접 센서들, 터치 센서들(예컨대, 터치 스크린, 트랙패드))와 통신한다. 일부 실시예들에서, 손 추적 디바이스는 스마트 장갑과 같은 웨어러블 디바이스이다. 일부 실시예들에서, 손 추적 디바이스는, 원격 제어부 또는 스타일러스와 같은 핸드헬드 입력 디바이스이다.
도 21a에서와 같은 일부 실시예들에서, 전자 디바이스(예컨대, 101a)는, 디스플레이 생성 컴포넌트(예컨대, 120a)를 통해, 제1 사용자 인터페이스 요소(예컨대, 2104) 및 제2 사용자 인터페이스 요소(예컨대, 2106)를 포함하는 각자의 영역(예컨대, 2102)을 포함하는 사용자 인터페이스를 디스플레이한다(2202a). 일부 실시예들에서, 각자의 영역은 컨테이너, 백플레인, 또는 (예컨대, 애플리케이션) 윈도우와 같은 사용자 인터페이스 요소이다. 일부 실시예들에서, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소는, 선택되면, 전자 디바이스로 하여금 선택된 사용자 인터페이스 요소와 연관된 작동을 수행하게 하는 선택가능 사용자 인터페이스 요소들이다. 예를 들어, 제1 및/또는 제2 사용자 인터페이스 요소의 선택은 전자 디바이스로 하여금 애플리케이션을 기동하고, 파일을 열고, 전자 디바이스를 이용한 콘텐츠의 재생을 개시 및/또는 중단하고, 각자의 사용자 인터페이스로 이동하고, 전자 디바이스의 설정을 변경하고, 제2 전자 디바이스와의 통신을 개시하거나 또는 선택에 응답하여 다른 작동을 수행하게 한다.
도 21b에서와 같은 일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들(예컨대, 314a)을 통해, 각자의 영역(예컨대, 2102) 내에서 제1 사용자 인터페이스 요소(예컨대, 2104)로 지향되는 제1 입력을 검출한다(2202b). 일부 실시예들에서, 제1 입력은 제1 사용자 인터페이스 요소의 선택을 야기하기 위한 입력들의 시퀀스의 서브세트인 하나 이상의 입력들이다(예컨대, 제1 사용자 인터페이스 요소의 선택을 야기하기 위한 입력들의 전체 시퀀스가 아니어도 됨). 예를 들어, 제1 사용자 인터페이스 요소를 선택하기 위한 입력에 대응하는 간접 입력을 검출하는 것은, 손 추적 디바이스를 통해, 사용자가 사용자의 엄지 손가락이 엄지 손가락의 동일한 손 상의 손가락을 터치한 뒤, 엄지 손가락과 그 손가락이 서로 멀어지는 핀치 제스처를 수행하는 것을 검출하는 동안, 전자 디바이스와 통신하는 눈 추적 디바이스를 통해, 제1 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것을 포함하고(예컨대, 방법들(800, 1200, 1400 및/또는 1800)을 참조하여 설명된 바와 같음), 전자 디바이스는 제1 사용자 인터페이스 요소를 선택한다. 이 예에서, 제1 입력을 (예컨대, 간접 입력으로서) 검출하는 것은 엄지 손가락이 엄지 손가락의 손 상의 손가락을 터치하는 것을 검출하는 동안 (예컨대, 엄지 손가락과 그 손가락이 서로 멀어지는 것을 검출하지 않고) 제1 사용자 인터페이스 요소로 지향되는 사용자의 시선을 검출하는 것에 대응한다. 다른 예로서, 제1 사용자 인터페이스 요소를 선택하기 위한 입력에 대응하는 직접 입력을 검출하는 것은 손이 가리키는 손 형상(예컨대, 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손바닥을 향해 구부러지는 손 형상)인 동안 사용자가 자신의 손으로 및/또는 펼친 손가락으로 사전결정된 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 또는 10 센티미터)만큼 제1 사용자 인터페이스 요소를 "누르는" 것을 검출하는 것을 포함하고, 이는 방법들(800, 1200, 1400 및/또는 1800)을 참조하여 설명된 바와 같다. 이 예에서, 제1 입력을 (예컨대, 직접 입력으로서) 검출하는 것은 사용자의 손이 가리키는 손 형상인 동안 사용자가 제1 사용자 인터페이스 요소를 사전결정된 거리 미만의 거리만큼 "누르는 것"을 검출하는 것에 대응한다(예컨대, 제1 사용자 인터페이스 요소가 사전결정된 거리 임계치만큼 눌려서, 선택된 지점까지 "누르기" 입력의 연속을 검출하지 않음). 일부 실시예들에서, 전술한 핀치에 후속하여, 디바이스가 제1 사용자 인터페이스 요소를 뒤로 전술한 사전결정된 거리만큼 밀기에 충분한 (예컨대, 제1 사용자 인터페이스 요소를 "미는" 이동에 대응하는) 제1 사용자 인터페이스 요소를 향한 핀치의 이동을 검출하는 경우, 제1 사용자 인터페이스 요소가 대안적으로 간접 입력으로 선택될 수 있다. 이러한 실시예들에서, 제1 입력은 선택적으로 핀치 손 형상을 유지하는 동안 손의 이동이지만, 불충분한 이동이다.
도 21b에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 2104)로 지향되는 제1 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101a)는 제1 사용자 인터페이스 요소(예컨대, 2104)로 지향되는 추가적인 입력이 제1 사용자 인터페이스 요소(예컨대, 2104)의 선택을 야기할 것임을 나타내기 위해 제1 사용자 인터페이스 요소(예컨대, 2104)의 외관을 수정한다(2202c). 일부 실시예들에서, 제1 사용자 인터페이스 요소의 외관을 수정하는 것은 제1 입력을 검출하기 이전에 제1 사용자 인터페이스 요소가 디스플레이되었던 색상, 패턴, 텍스트 스타일, 반투명성, 및/또는 라인 스타일과는 상이한 색상, 패턴, 텍스트 스타일, 반투명성, 및/또는 라인 스타일을 갖는 제1 사용자 인터페이스 요소를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소의 상이한 시각적 특성을 수정하는 것이 가능하다. 일부 실시예들에서, 사용자 인터페이스 및/또는 사용자 인터페이스 요소는 디바이스에 의해 볼 수 있도록 생성되거나, 디스플레이되거나, 또는 다른 방식으로 야기되는 3차원 환경(예컨대, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경) 내에서 디스플레이된다(예컨대, 사용자 인터페이스가 3차원 환경이고/이거나 3차원 환경 내에서 디스플레이됨). 일부 실시예들에서, 제1 사용자 인터페이스 요소의 외관을 수정하는 것은 사용자 인터페이스 내의 제1 사용자 인터페이스 요소의 위치를 업데이트하는 것, 예컨대, 제1 사용자 인터페이스 요소를 3차원 환경 내의 사용자의 시점으로부터 멀리 이동하는 것(예컨대, 3차원 환경이 전자 디바이스와 통신하는 디스플레이 생성 컴포넌트를 통해 제시되는 3차원 환경 내의 좋은 지점) 및/또는 제1 사용자 인터페이스 요소와 제1 사용자 인터페이스 요소가 "밀릴 때" 이동하는 백플레인 사이의 분리를 감소시키는 것을 포함한다.
도 21b에서와 같은 일부 실시예들에서, 수정된 외관을 갖는(그리고 아직 선택되지 않은) 제1 사용자 인터페이스 요소(예컨대, 2104)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들(예컨대, 314)을 통해, 제2 입력을 (예컨대, 도 21c의 손(2103a, 2103b, 또는 2103c) 및/또는 시선(2102c)을 통해) 검출한다(2202d). 일부 실시예들에서, 제2 입력은 사용자의 사전정의된 부분(예컨대, 사용자의 손)의 제1 사용자 인터페이스 요소로부터 멀리 사전결정된 방향으로의 이동을 포함한다(예컨대, 좌향, 우향, 상향, 제1 사용자 인터페이스 요소로부터 멀리 사용자의 몸통을 향함). 예를 들어, 제1 입력이 사용자가 자신의 엄지 손가락을 엄지 손가락의 손 상의 손가락에 터치하는 동안(예컨대, 엄지 손가락을 손가락으로부터 멀리 이동하지 않고) 제1 사용자 인터페이스 요소를 보는 것인 경우(예컨대, 제1 입력은 간접 입력임), 제2 입력은 엄지 손가락이 계속해서 손가락을 터치하는 동안 사용자의 손의 이동이다(예컨대, 좌향, 우향, 상향, 제1 사용자 인터페이스 요소로부터 사용자의 몸통을 향함). 다른 예로서, 제1 입력이 손이 가리키는 손 형상인 동안(예컨대, 제1 입력은 직접 입력임) 사용자가 자신의 손으로 및/또는 펴진 손가락으로 제1 사용자 인터페이스 요소를 "누르는" 것인 경우, 제2 입력은 가리키는 손 형상을 유지하는 동안 또는 상이한 손 형상인 동안 손의 이동이다(예컨대, 좌향, 우향, 상향, 제1 사용자 인터페이스 요소로부터 멀리 사용자의 몸통을 향함).
도 21c에서와 같은 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 제2 입력이 제1 사용자 인터페이스 요소(예컨대, 2104)로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라(2202e), 이동이 사용자 인터페이스의 각자의 영역(예컨대, 2102) 내의 이동에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는 제1 사용자 인터페이스 요소(예컨대, 2104)의 선택을 보류하고, 제2 사용자 인터페이스 요소(예컨대, 2106)로 지향되는 추가적인 입력이 제2 사용자 인터페이스 요소(예컨대, 2106)의 선택을 야기할 것임을 나타내기 위해 제2 사용자 인터페이스 요소(예컨대, 2106)의 외관을 수정한다(2202f). 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 더 이상 나타내지 않기 위해 제1 사용자 인터페이스 요소의 외관을 수정한다. 예를 들어, 전자 디바이스는 제1 사용자 인터페이스 요소의 외관(예컨대, 하나 이상의 특성들)을 제1 입력을 검출하기 이전의 제1 사용자 인터페이스 요소의 외관으로 되돌린다. 일부 실시예들에서, 제1 입력이 간접 입력인 경우, 거리, 속도, 지속기간 등이 하나 이상의 기준을 충족하는 경우 이동은 사용자 인터페이스의 각자의 영역 내의 이동에 대응한다(예컨대, 사전결정된 임계치 값 미만). 일부 실시예들에서, 제1 입력이 직접 입력인 경우, 사용자의 손이 이동 동안 사용자 인터페이스의 각자의 영역(예컨대, 또는 사용자 인터페이스의 각자의 영역의 경계와 3차원 환경 내의 사용자의 시점 사이의 3차원 환경의 영역) 내에 남아 있는 경우, 이동은 사용자 인터페이스의 각자의 영역 내의 이동에 대응한다. 일부 실시예들에서, 제2 사용자 인터페이스 요소의 외관을 수정하는 것은 제2 입력을 검출하기 이전에 제2 사용자 인터페이스 요소가 디스플레이되었던 색상, 패턴, 텍스트 스타일, 반투명성, 및/또는 라인 스타일과는 상이한 색상, 패턴, 텍스트 스타일, 반투명성, 및/또는 라인 스타일을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제2 사용자 인터페이스 요소의 상이한 시각적 특성을 수정하는 것이 가능하다. 일부 실시예들에서, 제2 사용자 인터페이스 요소의 외관을 수정하는 것은, 제2 사용자 인터페이스 요소를 3차원 환경 내의 사용자의 시점으로부터 멀리 이동하는 것과 같이, 사용자 인터페이스 내의 제2 사용자 인터페이스 요소의 위치를 업데이트하는 것을 포함한다. 일부 실시예들에서, 제2 입력 후에 제3 입력(예컨대, 사용자 인터페이스 요소를 선택하기 위한 입력에 대응하는 입력들의 시퀀스의 연속, 예컨대, 제1 사용자 인터페이스 요소의 선택을 위해 이전에 필요했던 이동의 나머지)을 검출하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스 요소를 선택하고 제2 사용자 인터페이스 요소와 연관된 작동을 수행한다. 일부 실시예들에서, 전자 디바이스는 제2 입력을 검출한 후에 제2 선택 입력의 개시를 검출하지 않고 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제2 사용자 인터페이스 요소의 외관을 업데이트한다. 예를 들어, 제1 입력이 간접 입력인 경우, 전자 디바이스는 다른 핀치 제스처의 개시를 검출하지 않고 제2 사용자 인터페이스 요소의 외관을 업데이트한다(예컨대, 사용자는 엄지 손가락을 멀리 이동하고 다시 핀칭하기보다는 계속해서 자신의 엄지 손가락을 다른 손가락에 터치함). 다른 예로서, 제1 입력이 직접 입력인 경우, 전자 디바이스는 사용자가 자신의 손을 제1 및 제2 사용자 인터페이스 요소들로부터 멀리 (예컨대, 사용자의 시점을 향해) 이동 및 자신의 손을 다시 제2 사용자 인터페이스 요소를 향해 누르는 것을 검출하지 않고 제2 사용자 인터페이스 요소의 외관을 업데이트한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소를 선택하는 것을 향한 진행은 전자 디바이스가 제2 사용자 인터페이스 요소의 외관을 업데이트할 때 제2 사용자 인터페이스 요소를 선택하는 것을 향한 진행으로 전환된다. 예를 들어, 제1 입력이 간접 입력이고, 전자 디바이스가 각자의 사용자 인터페이스 요소를 선택하는 경우, 엄지 손가락과 손가락이 터치하고 있는 핀치 손 형상이 사전결정된 시간 임계치(예컨대, 0.1, 0.5, 1, 2, 3, 또는 5초) 동안 검출되는 경우, 전자 디바이스는 전자 디바이스가 제2 사용자 인터페이스 요소의 외관을 업데이트할 때 핀치 손 형상이 유지되었던 시간을 카운팅하는 것을 재시작하지 않는다. 다른 예로서, 제1 입력이 직접 입력이고, 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 또는 10 센티미터)만큼 "밀리는" 경우 전자 디바이스가 각자의 사용자 인터페이스 요소를 선택하는 경우, 제1 및 제2 입력들 동안 제2 사용자 인터페이스 요소와 사용자의 시점 사이의 방향을 따르는 사용자의 손의 이동은 임계 거리를 충족하는 것에 포함된다. 일부 실시예들에서, 전자 디바이스는 제2 사용자 인터페이스 요소의 외관을 업데이트한 후에 제2 사용자 인터페이스 요소를 선택하기 위한 기준을 재설정한다. 예를 들어, 제1 입력이 간접 입력인 경우, 시간 전자 디바이스가 제2 사용자 인터페이스 요소의 외관을 업데이트하는 시간부터 전체 임계 시간 동안 핀치 손 형상이 유지되지는 않는 한 그리고 유지될 때까지 전자 디바이스는 제2 사용자 인터페이스 요소를 선택하지 않는다. 다른 예로서, 제1 입력이 직접 입력인 경우, 전자 디바이스가 제2 사용자 인터페이스 요소의 외관을 업데이트한 후에 사용자가 제2 사용자 인터페이스 요소를 임계 거리만큼 "미는" 것을 전자 디바이스가 검출하지 않는 한 그리고 검출할 때까지 전자 디바이스는 제2 사용자 인터페이스 요소를 선택하지 않는다.
도 21d에서와 같은 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 제2 입력이 제1 사용자 인터페이스 요소(예컨대, 2104)로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라(2202e), 이동이 사용자 인터페이스의 각자의 영역(예컨대, 2102) 밖의 제1 방향의 이동에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 120a)는 제2 사용자 인터페이스 요소(예컨대, 2106)의 외관을 수정하지 않고 제1 사용자 인터페이스 요소(예컨대, 2104)의 선택을 보류한다(2202g). 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 더 이상 나타내지 않기 위해 제1 사용자 인터페이스 요소의 외관을 수정한다. 예를 들어, 전자 디바이스는 제1 사용자 인터페이스 요소의 외관(예컨대, 하나 이상의 특성들)을 제1 입력을 검출하기 이전의 제1 사용자 인터페이스 요소의 외관으로 되돌린다. 일부 실시예들에서, 제1 입력이 간접 입력인 경우, 거리, 속도, 지속기간 등이 하나 이상의 기준을 충족하는 경우 이동은 사용자 인터페이스의 각자의 영역 밖의 이동에 대응한다(예컨대, 사전결정된 임계치 값 초과). 일부 실시예들에서, 제1 입력이 직접 입력인 경우, 사용자의 손이 이동 동안 사용자 인터페이스의 각자의 영역(예컨대, 또는 사용자 인터페이스의 각자의 영역의 경계와 3차원 환경 내의 사용자의 시점 사이의 3차원 환경의 영역)을 벗어나는 경우, 이동은 사용자 인터페이스의 각자의 영역 밖의 이동에 대응한다.
제2 입력을 검출하는 것에 응답하여 제1 사용자 인터페이스 요소의 선택을 보류하는 전술한 방식은 입력의 타겟 요소를 수정하는 것을 허용하면서, 우발적인 사용자 입력들을 감소시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 하면서 사용 시 오류를 감소시키고, 전자 디바이스가 의도되지 않은 동작을 수행하여 순차적으로 번복될 가능성을 감소시킴으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 21d에서와 같은 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 그리고 이동이 사용자 인터페이스의 각자의 영역(예컨대, 2102) 밖의 제2 방향의 이동(예컨대, 제1 방향과는 상이함, 예컨대 하방)에 대응한다는 결정에 따라(2204a), 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소(예컨대, 2104)에 대응하는 위치로부터 임계 거리(예컨대, 5, 10, 15, 20, 30, 또는 50 센티미터)보다 멀리 있는(예컨대, 유지하는) 동안(예컨대, 입력은 간접 입력이고 사용자의 사전정의된 부분은 방법(1800)에 따른 가상 트랙패드 또는 입력 표시로부터 임계 거리보다 멀리 있음(또는 전자 디바이스가 방법(1800)에 따른 가상 트랙패드 또는 입력 표시를 디스플레이하지 않는 동안)) 제1 입력이 사용자의 사전정의된 부분(예컨대, 2103b)(예컨대, 하나 이상의 손가락들, 손, 팔, 머리)에 의해 제공되는 입력을 포함한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는 제1 사용자 인터페이스 요소(예컨대, 2104)의 선택을 보류한다(2204b). 일부 실시예들에서, 제2 방향의 이동은 사용자의 사전정의된 부분의 이동이다. 일부 실시예들에서, 사용자의 사전정의된 부분의 하방 이동을 검출하는 것에 응답하여, 제2 입력이 간접 입력인 경우, 전자 디바이스는 제1 사용자 인터페이스 요소의 선택을 보류한다. 일부 실시예들에서, 전자 디바이스는 또한 제2 사용자 인터페이스 요소의 선택을 보류하고 제2 사용자 인터페이스 요소의 외관을 수정하는 것을 보류한다. 일부 실시예들에서, 전자 디바이스는 추가적인 입력이 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내지 않도록 제1 사용자 인터페이스 요소의 외관을 수정한다. 일부 실시예들에서, 전자 디바이스는 추가적인 입력이 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내도록 제1 사용자 인터페이스 요소의 외관을 유지한다. 일부 실시예들에서, 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리보다 멀리 있고(예컨대, 유지하고) 사용자의 사전정의된 부분이 방법(1800)에 따른 가상 트랙패드 또는 입력 표시의 임계 거리 내에 있는 동안 제1 입력이 사용자의 사전정의된 부분에 의해 제공되는 입력을 포함한다는 결정에 따라, 전자 디바이스는 제2 입력에 따라 제1 사용자 인터페이스 요소를 선택한다. 일부 실시예들에서, 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리보다 멀리 있고(예컨대, 유지하고) 사용자의 사전정의된 부분이 방법(1800)에 따른 가상 트랙패드 또는 입력 표시의 임계 거리 내에 있는 동안 제1 입력이 사용자의 사전정의된 부분에 의해 제공되는 입력을 포함한다는 결정에 따라, 전자 디바이스는 제1 사용자 인터페이스 요소의 선택을 보류한다.
도 21e에서와 같은 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 그리고 이동이 사용자 인터페이스의 각자의 영역(예컨대, 2102) 밖의 제2 방향의 이동(예컨대, 제1 방향과는 상이함, 예컨대 하방)에 대응한다는 결정에 따라(2204a), 사용자의 사전정의된 부분(예컨대, 2103a)이 제1 사용자 인터페이스 요소(예컨대, 2106)에 대응하는 위치로부터 임계 거리보다 가까운 동안 제1 입력이 사용자의 사전정의된 부분(예컨대, 2103a)에 의해 제공되는 입력을 포함한다는 결정에 따라(예컨대, 입력은 직접 입력임), 전자 디바이스(예컨대, 101a)는 제2 입력에 따라 제1 사용자 인터페이스 요소(예컨대, 2106)를 선택한다(2204c). 일부 실시예들에서, 제2 입력이 하나 이상의 기준을 충족하지 않는 한, 그리고 충족할 때까지 전자 디바이스는 제1 사용자 인터페이스 요소를 선택하지 않는다. 예를 들어, 하나 이상의 기준은 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소를 사용자의 시점으로부터 멀리(및/또는 제1 사용자 인터페이스 요소의 백플레인을 향해) 사전정의된 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 또는 10 센티미터)만큼 "밀" 때 충족되는 기준을 포함한다.
사용자의 사전정의된 부분이 제2 방향의 이동에 응답하여 제1 사용자 인터페이스 요소로부터 임계 거리보다 멀리 있는 동안 입력이 검출되는 경우 제1 사용자 인터페이스 요소의 선택을 보류하고, 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리보다 가까운 동안 제1 입력이 검출되는 경우 제2 입력에 따라 제1 사용자 인터페이스 요소를 선택하는 전술한 방식은 입력이 수신될 때 이동 방향 및 사용자의 사전정의된 부분과 제1 사용자 인터페이스 요소 사이의 거리에 따라 사용자 입력을 취소 또는 취소하지 않는 직관적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21d에서와 같은 일부 실시예들에서, 제1 입력은 사용자의 사전정의된 부분(예컨대, 2103a, 2103b)(예컨대, 하나 이상의 손가락들, 손, 팔, 머리)에 의해 제공되는 입력을 포함하고, 제1 입력 동안 사용자의 사전정의된 부분(예컨대, 2103a, 2103b)이 제1 사용자 인터페이스 요소(예컨대, 2104, 2106)에 대응하는 위치로부터 임계 거리(예컨대, 0.5, 1, 2, 3, 5, 10, 또는 50 센티미터)보다 멀리 있는지(예컨대, 간접 입력의 경우 또는 방법(1800)에 따른 가상 트랙패드 또는 입력 표시와 상호작용할 때) 아니면 가까이 있는지(예컨대, 직접 입력의 경우) 여부에 상관없이 제2 입력의 이동이 사용자 인터페이스의 각자의 영역(예컨대, 2102) 밖의 제1 방향의 이동 (예컨대, 위, 좌측, 또는 우측)에 대응한다는 결정에 따라 제1 사용자 인터페이스 요소(예컨대, 2104, 2106)의 선택이 보류된다(2206). 일부 실시예들에서, 제1 입력이 직접 입력인지 아니면 간접 입력인지 여부에 상관없이, 상향, 좌측으로, 또는 우측으로의 제2 입력의 이동을 검출하는 것은 전자 디바이스로 하여금 제1 사용자 인터페이스 요소의 선택을 보류하게 한다. 일부 실시예들에서, 제2 입력의 하방 이동을 검출하는 것에 응답하여, 전자 디바이스는 제1 입력이 간접 입력인 경우 제1 사용자 인터페이스 요소의 선택을 보류하지만, 제1 입력이 직접 입력인 경우 제1 사용자 인터페이스 요소의 선택을 보류하지 않는다.
제1 입력 동안 사용자의 사전정의된 부분이 제1 사용자 인터페이스 요소의 임계 거리 내에 있는지 여부에 상관없이 제1 방향의 이동에 응답하여 제1 사용자 인터페이스 요소의 선택을 보류하는 전술한 방식은 제1 사용자 인터페이스 요소의 선택을 취소하는 효율적이고 일관적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21d에서와 같은 일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들을 통해, 각자의 영역 내에서 제3 사용자 인터페이스 요소(예컨대, 2108)로 지향되는 제3 입력을 검출하고, 제3 사용자 인터페이스 요소(예컨대, 2108)는 슬라이더 요소이고, 제3 입력은 슬라이더 요소(예컨대, 2108)를 제어하기 위한 이동 부분을 포함한다(2208a). 일부 실시예들에서, 슬라이더 요소는 슬라이더에 의해 제어되는 각자의 특성에 대한 값들의 복수의 표시들 및 사용자가 슬라이더 요소로 지향되는 입력, 예컨대, 제3 입력을 제공함으로써 이동할 수 있는 슬라이더 요소의 현재 값의 표시를 포함한다. 예를 들어, 슬라이더 요소는 재생 볼륨, 밝기, 또는 입력이 수신되지 않는 경우 슬립 모드에 진입하기 위한 시간 임계치와 같은, 전자 디바이스의 설정과 같은 특성에 대한 값을 제어한다. 일부 실시예들에서, 제3 입력은 제3 입력의 이동 부분에 따라 전자 디바이스로 하여금 슬라이더 요소의 현재 값의 표시를 업데이트하게 하는 슬라이더 요소의 (예컨대, 현재 값의 표시의) 선택을 포함한다. 일부 실시예들에서, 제3 입력은 손이 슬라이더 요소의 사전결정된 임계 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 10, 15, 또는 30 센티미터) 내에 있는 동안 사용자의 손이 핀치 제스처를 만드는 것에 후속하여 손이 핀치 손 형상(예컨대, 엄지 손가락이 여전히 손의 다른 손가락을 터치하고 있는 손 형상)인 동안 손을 이동하는 것을 검출하는 것을 포함하는 직접 입력이다. 일부 실시예들에서, 제3 입력은 사용자의 시선이 슬라이더 요소로 지향되는 동안 사용자의 손이 핀치 제스처를 만드는 것에 후속하는 손이 핀치 손 형상인 동안 손을 이동하는 것을 검출하는 것을 포함하는 간접 입력이다. 일부 실시예들에서, 제3 입력은 사용자의 시선이 슬라이더 요소로 지향되는 동안 방법(1800)에 따른 가상 트랙패드와의 상호작용 또는 입력 표시를 포함한다.
도 21d에서와 같은 일부 실시예들에서, 제3 사용자 인터페이스 요소(예컨대, 2108)로 지향되는 제3 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101a)는 제3 사용자 인터페이스 요소(예컨대, 2108)로 지향되는 추가적인 입력이 제3 사용자 인터페이스 요소(예컨대, 2108)의 추가 제어를 야기할 것임을 나타내기 위해 제3 사용자 인터페이스 요소(예컨대, 2108)의 외관을 수정하고, 제3 입력의 이동 부분에 따라 제3 사용자 인터페이스 요소(예컨대, 2108)를 업데이트한다(2208b). 일부 실시예들에서, 제3 사용자 인터페이스 요소의 외관을 수정하는 것은 슬라이더 요소의 (예컨대, 현재 값의 표시의) 크기, 색상, 또는 형상을 수정하는 것 및/또는 슬라이더 요소(예컨대, 현재 값의 표시)를 3차원 환경 내의 사용자의 시점에 더 가깝게 이동하기 위해 슬라이더 요소의 (예컨대, 현재 값의 표시의) 위치를 업데이트하는 것을 포함한다. 일부 실시예들에서, 제3 입력의 이동 부분에 따라 제3 사용자 인터페이스 요소를 업데이트하는 것은 제3 입력의 이동 부분의 크기 및/또는 방향에 따라 슬라이더 요소의 현재 값의 표시를 업데이트하는 것을 포함한다. 예를 들어, 상방, 하방, 우향, 또는 좌향 이동에 응답하여, 전자 디바이스는 슬라이더 요소의 현재 값의 표시를 위, 아래, 우측, 또는 좌측으로, 각각 이동한다. 다른 예로서, 상대적으로 높은 속도, 지속기간, 및/또는 거리를 갖는 이동에 응답하여, 전자 디바이스는 슬라이더 요소의 현재 값의 표시를 상대적으로 큰 양만큼 이동하고, 상대적으로 낮은 속도, 지속기간, 및/또는 거리를 갖는 이동에 응답하여, 전자 디바이스는 슬라이더 요소의 현재 값의 표시를 상대적으로 작은 양만큼 이동한다. 일부 실시예들에서, 슬라이더의 이동은 하나의 이동축(예컨대, 좌우, 위아래)으로 제한되고 전자 디바이스는 단지 슬라이더가 조정가능한 축을 따르는 이동에 응답하여 슬라이더의 현재 값을 업데이트한다. 예를 들어, 좌우로 조정가능한 슬라이더로 지향되는 우향 이동에 응답하여, 전자 디바이스는 슬라이더의 현재 값을 우측으로 조정하지만, 슬라이더로 지향되는 상향 이동에 응답하여, 전자 디바이스는 슬라이더의 현재 값을 업데이트하는 것을 보류한다(또는 오직 이동의 좌향 또는 우향 성분에 따라 슬라이더의 현재 값을 업데이트함).
도 21d에서와 같은 일부 실시예들에서, 수정된 외관을 갖는 제3 사용자 인터페이스 요소(예컨대, 2108)를 디스플레이하는 동안 그리고 제3 사용자 인터페이스 요소(예컨대, 2108)가 제3 입력의 이동 부분에 따라 업데이트되는 동안(예컨대, 그리고 제3 입력의 종료 또는 손 핀치 형상의 해제와 같은, 제3 사용자 인터페이스 요소의 업데이트를 종료시키는 각자의 입력을 검출하기 이전에), 전자 디바이스(예컨대, 101a)는 제4 입력을 검출한다(2208c). 일부 실시예들에서, 제4 입력은 이동 부분을 포함한다.
도 21d에서와 같은 일부 실시예들에서, 제4 입력을 검출하는 것에 응답하여, 제4 입력이 제3 사용자 인터페이스 요소로부터 (예컨대, 제1 방향으로, 제2 방향으로, 임의의 방향으로) 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라(2208d), 전자 디바이스(예컨대, 101a)는 제3 사용자 인터페이스 요소(예컨대, 2108)로 지향되는 추가적인 입력이 제3 사용자 인터페이스 요소의 추가 제어를 야기할 것임을 나타내기 위해 제3 사용자 인터페이스 요소(예컨대, 2108)의 수정된 외관을 유지한다(2208e).
일부 실시예들에서, 제3 입력이 간접 입력 또는 방법(1800)에 따른 가상 트랙패드 또는 입력 표시와 연관된 입력인 경우, 이동은 이동의 속도, 지속기간, 및/또는 거리에 기초하여 사용자 인터페이스의 각자의 영역 밖의 이동에 대응한다. 일부 실시예들에서, 제3 입력이 직접 입력인 경우, 이동이 사용자의 손을 사용자 인터페이스의 각자의 영역(예컨대, 또는 3차원 환경 내의 사용자의 시점을 향해 사용자 인터페이스의 각자의 영역으로부터 돌출된 3차원 체적) 밖으로 이동하는 것을 포함하는 경우, 이동은 사용자 인터페이스의 각자의 영역 밖의 이동에 대응한다.
도 21d에서와 같은 일부 실시예들에서, 제4 입력을 검출하는 것에 응답하여, 제4 입력이 제3 사용자 인터페이스 요소(예컨대, 2108)로부터 (예컨대, 제1 방향으로, 제2 방향으로, 임의의 방향으로) 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라(2208d), 전자 디바이스(예컨대, 101a)는 제4 입력의 이동이 사용자 인터페이스의 각자의 영역(예컨대, 2109) 밖의 이동에 대응하는지 여부에 상관없이 제4 입력의 이동에 따라 제3 사용자 인터페이스 요소(예컨대, 2108)를 업데이트한다(2208f). 일부 실시예들에서, 전자 디바이스는 제3 입력의 종료가 검출되지 않는 한 그리고 검출될 때까지 사전정의된 부분의 이동에 따라 슬라이더 요소(예컨대, 슬라이더 요소의 현재 값의 표시)를 업데이트한다. 예를 들어, 제3 입력의 종료는 사용자가 자신의 엄지 손가락을 자신의 손가락으로부터 멀리 이동하여 핀치 손 형상을 만드는 것을 중단 및/또는 방법(1800)에 따른 가상 트랙패드 또는 입력 표시로부터 멀리 이동하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스의 각자의 영역 밖의 이동에 대응하는 입력의 이동 부분에 응답하여 슬라이더 요소를 향해 입력을 지향시키는 것을 중단하지 않는다.
사용자 인터페이스의 각자의 영역 밖의 제3 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동에 응답하여 슬라이더 요소를 업데이트하는 전술한 방식은 다수의 이동 입력들로 슬라이더 요소의 값을 정제하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 추가적인 사용자 입력을 요구하지 않고 조건들의 세트가 충족될 때 추가 동작을 수행함으로써 사용자-디바이스 인터페이스를 더 효율적으로 만든다.
도 21c에서와 같은 일부 실시예들에서, 제3 입력의 이동 부분은 각자의 크기를 갖는 사용자의 사전정의된 부분(예컨대, 2103d, 2103b, 2103c)(예컨대, 하나 이상의 손가락들, 손, 팔, 머리)에 의해 제공되는 입력을 포함한다(2210a).
도 21c에서와 같은 일부 실시예들에서, 제3 입력의 이동 부분에 따라 제3 사용자 인터페이스 요소(예컨대, 2108)를 업데이트하는 것은(2210b), 사용자의 사전정의된 부분(예컨대, 2103d, 2103b, 2103c)이 제3 입력의 이동 부분 동안 제1 속도로 이동했다는 결정에 따라, 사용자의 사전정의된 부분(예컨대, 2103d, 2103b, 2103c)의 제1 속도 및 제3 입력의 이동 부분의 각자의 크기에 기초하여 결정된 제1 양만큼 제3 사용자 인터페이스 요소(예컨대, 2108)를 업데이트하는 것을 포함한다(2210c).
도 21d에서와 같은 일부 실시예들에서, 제3 입력의 이동 부분에 따라 제3 사용자 인터페이스 요소(예컨대, 2108)를 업데이트하는 것은(2210b), 사용자의 사전정의된 부분(예컨대, 2103d, 2103b, 2103c)이 제3 입력의 이동 부분 동안 제1 속도보다 높은 제2 속도로 이동했다는 결정에 따라, 사용자의 사전정의된 부분(예컨대, 2103b, 2103c, 2103d)의 제2 속도 및 제3 입력의 이동 부분의 각자의 크기에 기초하여 결정되는, 제1 양보다 많은 제2 양만큼 제3 사용자 인터페이스 요소(예컨대, 2108)를 업데이트하는 것을 포함하고, 제3 입력의 이동 부분의 각자의 크기의 경우, 제3 사용자 인터페이스 요소(예컨대, 2108)의 이동의 제2 양은 제3 사용자 인터페이스 요소(예컨대, 2108)의 이동의 제1 양보다 많다(2210d). 일부 실시예들에서, 상대적으로 높은 속도의 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 사전정의된 부분의 이동의 주어진 거리에 대해 상대적으로 높은 양만큼 슬라이더 요소의 현재 값의 표시를 이동한다. 일부 실시예들에서, 상대적으로 낮은 속도의 사용자의 사전정의된 부분의 이동을 검출하는 것에 응답하여, 전자 디바이스는 사용자의 사전정의된 부분의 이동의 주어진 거리에 대해 상대적으로 낮은 양만큼 슬라이더 요소의 현재 값의 표시를 이동한다. 일부 실시예들에서, 이동이 검출됨에 따라 이동의 속도가 시간 경과에 따라 변하는 경우, 전자 디바이스는 유사하게 이동 입력이 수신됨에 따라 슬라이더 요소의 현재 값의 표시의 이동의 크기를 변경한다.
사용자의 사전정의된 부분의 이동의 속도에 대응하는 양만큼 슬라이더 요소를 업데이트하는 전술한 방식은 상대적으로 큰 양으로 슬라이더 요소를 빠르게 업데이트하고 상대적으로 작은 양으로 슬라이더 요소를 정확하게 업데이트하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 추가적인 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가 기능을 사용자에게 제공함으로써 사용자-디바이스 인터페이스를 더 효율적으로 만든다.
도 21d에서와 같은 일부 실시예들에서, 제2 입력의 이동은 사용자의 사전정의된 부분(예컨대, 2103a, 2103b, 2103c)(예컨대, 하나 이상의 손가락들, 손, 팔, 머리)의 각자의 이동에 의해 제공된다(2212a).
도 21d에서와 같은 일부 실시예들에서, 사용자 인터페이스의 각자의 영역(예컨대, 2102)이 제1 크기를 갖는다는 결정에 따라, 제2 입력의 이동은 사용자의 사전정의된 부분의 각자의 이동이 제1 크기를 갖는다는 결정에 따라 사용자 인터페이스의 각자의 영역(예컨대, 2102) 밖의 이동에 대응한다(2212b). 일부 실시예들에서, 제2 입력의 이동의 크기는 제2 입력의 이동 부분의 속도, 거리, 및 지속기간에 따라 달라진다. 예를 들어, 상대적으로 높은 속도, 거리, 및/또는 지속기간은 제2 입력의 이동 부분에 대해 이동의 상대적으로 높은 크기에 기여하고, 상대적으로 낮은 속도, 거리, 및/또는 지속기간은 제2 입력의 이동 부분에 대해 이동의 상대적으로 낮은 크기에 기여한다.
일부 실시예들에서, 사용자 인터페이스의 각자의 영역이 제1 크기와는 상이한 제2 크기를 갖는다는 결정에 따라(예컨대, 도 21d의 컨테이너(2102)가 도 21d에 도시된 크기와는 상이한 크기를 갖는 경우), 제2 입력의 이동은 사용자의 사전정의된 부분(예컨대, 2103a, 2103b, 2103c)의 각자의 이동이 제1 크기를 갖는다는 결정에 따라 사용자 인터페이스의 각자의 영역(예컨대, 2102) 밖의 이동에 대응한다(2212c). 일부 실시예들에서, 제2 입력의 이동 부분의 크기는 사용자 인터페이스의 각자의 영역의 크기에 상관없이 사용자 인터페이스의 각자의 영역 밖의 이동에 대응하거나 또는 대응하지 않는다. 일부 실시예들에서, 전자 디바이스는 사용자의 사전정의된 부분에 의한 각자의 크기의 이동을 사용자 인터페이스의 각자의 영역의 크기에 상관없이 사용자 인터페이스의 각자의 영역 밖의 이동에 대응하는 이동으로 맵핑한다.
각자의 영역의 크기에 상관없이 각자의 영역 밖의 이동에 대응하거나 또는 대응하지 않는 제2 입력의 이동 부분의 크기의 전술한 방식은 사용자 인터페이스의 각자의 영역 내의 요소들로 지향되는 입력들을 취소하거나 또는 취소하지 않는 일관적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21b에서와 같은 일부 실시예들에서, 제1 입력을 검출하는 것은 (예컨대, 전자 디바이스와 통신하는 하나 이상의 입력 디바이스들 중 눈 추적 디바이스를 통해) 전자 디바이스(예컨대, 101a)의 사용자의 시선(예컨대, 2101a)이 제1 사용자 인터페이스 요소(예컨대, 2104)로 지향되는 것을 검출하는 것을 포함한다(2214a). 일부 실시예들에서, 제1 입력이 간접 입력 또는 방법(1800)에 따른 가상 트랙패드 또는 입력 표시기를 수반하는 입력인 경우, 제1 입력은 제1 사용자 인터페이스 요소로 지향되는 전자 디바이스의 사용자의 시선을 포함한다. 일부 실시예들에서, 제1 입력이 직접 입력인 경우, 제1 입력은 제1 입력이 검출될 때 제1 사용자 인터페이스 요소로 지향되는 사용자의 시선을 포함하지 않는다(예컨대, 그러나 제1 사용자 인터페이스 요소는 방법(1000)에 따라 주목 구역 내에 있음).
도 21c에서와 같은 일부 실시예들에서, 제2 입력을 검출하는 것은 제1 사용자 인터페이스 요소(예컨대, 2104)로부터 멀어지는 이동에 대응하는 이동 및 사용자의 시선(예컨대, 2101c)이 더 이상 제1 사용자 인터페이스 요소(예컨대, 2104)로 지향되지 않는 것을 검출하는 것을 포함한다(2214b). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되는 동안 제2 입력이 검출된다. 일부 실시예들에서, 사용자의 시선이 제2 사용자 인터페이스 요소로 지향되는 동안 제2 입력이 검출된다. 일부 실시예들에서, 제2 입력은 사용자의 시선이 (예컨대, 제1 사용자 인터페이스 요소 이외의) 사용자 인터페이스의 각자의 영역으로 지향되는 동안 검출된다. 일부 실시예들에서, 제2 입력은 사용자의 시선이 사용자 인터페이스의 각자의 영역 이외의 사용자 인터페이스 내의 위치로 지향되는 동안 검출된다.
도 21c에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 2104)의 선택을 보류하고 제2 사용자 인터페이스 요소(예컨대, 2106)로 지향되는 추가적인 입력이 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제2 사용자 인터페이스 요소(예컨대, 2106)의 외관을 수정하는 것은 사용자의 시선(예컨대, 2101c)이 제1 사용자 인터페이스 요소(예컨대, 2106)로 지향되지 않는 동안 수행된다(2214c). 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소의 선택을 보류하고 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되는 동안 제2 사용자 인터페이스 요소의 외관을 수정한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소의 선택을 보류하고 사용자의 시선이 제2 사용자 인터페이스 요소로 지향되는 동안 제2 사용자 인터페이스 요소의 외관을 수정한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소의 선택을 보류하고 사용자의 시선이 (예컨대, 제1 사용자 인터페이스 요소 이외의) 사용자 인터페이스의 각자의 영역으로 지향되는 동안 제2 사용자 인터페이스 요소의 외관을 수정한다. 일부 실시예들에서, 전자 디바이스는 제1 사용자 인터페이스 요소의 선택을 보류하고 사용자의 시선이 사용자 인터페이스의 각자의 영역 이외의 사용자 인터페이스 내의 위치로 지향되는 동안 제2 사용자 인터페이스 요소의 외관을 수정한다. 일부 실시예들에서, 제1 입력이 초기에 검출될 때 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되지 않는다는 결정에 따라, 전자 디바이스는 추가적인 입력이 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제1 사용자 인터페이스 요소를 업데이트하는 것을 보류한다(예컨대, 제1 사용자 인터페이스 요소는 이전에 입력 초점을 가졌지만, 사용자의 시선이 제1 사용자 인터페이스 요소로부터 멀리 이동할 때 입력 초점을 상실함). 일부 실시예들에서, 전자 디바이스는, 제2 입력이 수신되는 동안 사용자의 시선이 제1 사용자 인터페이스 요소로 지향되지 않더라도, 사용자 인터페이스의 각자의 영역 내의 제2 입력의 이동에 응답하여, 추가적인 입력을 제2 사용자 인터페이스 요소로 지향시킨다.
제1 사용자 인터페이스 요소의 선택을 보류하고 사용자의 시선이 제1 사용자 인터페이스 요소로부터 멀리 있는 동안 제2 사용자 인터페이스 요소의 외관을 수정하는 전술한 방식은 보고 있는 동안(예컨대, 각자의 입력을 지향시킬 상이한 사용자 인터페이스 요소를 보고 있는 동안) 제1 입력을 제1 사용자 인터페이스 요소로부터 멀리 재지향시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21b에서와 같은 일부 실시예들에서, 제1 입력을 검출하는 것은 (예컨대, 전자 디바이스와 통신하는 하나 이상의 입력 디바이스들 중 하나의 눈 추적 디바이스를 통해) 전자 디바이스(예컨대, 101a)의 사용자의 시선(예컨대, 2101a)이 사용자 인터페이스의 각자의 영역(예컨대, 2102)으로 지향된다는 것을 검출하는 것을 포함한다(2216a). 일부 실시예들에서, 제1 입력이 간접 입력 또는 방법(1800)에 따른 가상 트랙패드 또는 입력 표시기를 수반하는 입력인 경우, 제1 입력은 사용자 인터페이스의 각자의 영역으로 지향되는 전자 디바이스의 사용자의 시선을 포함한다. 일부 실시예들에서, 제1 입력이 직접 입력인 경우, 제1 입력은 제1 입력이 검출될 때 사용자 인터페이스의 각자의 영역으로 지향되는 사용자의 시선을 포함하지 않는다(예컨대, 그러나 사용자 인터페이스의 각자의 영역은 방법(1000)에 따라 주목 구역 내에 있음).
도 21b에서와 같은 일부 실시예들에서, 수정된 외관을 갖는 제1 사용자 인터페이스 요소(예컨대, 2104)를 디스플레이하는 동안 그리고 제2 입력을 검출하기 전에, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들을 통해, 사용자의 시선(예컨대, 2101b)이 사용자 인터페이스의 각자의 영역(예컨대, 2102)과는 상이한 제2 영역(예컨대, 2109)으로 (예컨대, 제2 영역 내의 제3 사용자 인터페이스 요소로) 지향되는 것을 검출한다(2216b). 일부 실시예들에서, 사용자 인터페이스의 제2 영역은 하나 이상의 제3 사용자 인터페이스 요소들을 포함한다. 일부 실시예들에서, 사용자 인터페이스의 제2 영역은 컨테이너, 백플레인, 또는 (예컨대, 애플리케이션) 윈도우이다.
도 21b에서와 같은 일부 실시예들에서, 사용자의 시선(예컨대, 2101b)이 제2 영역(예컨대, 2109)(예컨대, 제2 영역 내의 제3 사용자 인터페이스 요소)으로 지향되는 것을 검출하는 것에 응답하여, 제2 영역(예컨대, 2109)이 제3(예컨대, 선탁가능, 상호작용형 등) 사용자 인터페이스 요소(예컨대, 2108)를 포함한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는 제3 사용자 인터페이스 요소(예컨대, 2108)로 지향되는 추가적인 입력이 제3 사용자 인터페이스 요소(예컨대, 2108)와의 상호작용(예컨대, 입력 초점을 제2 영역 및/또는 제3 사용자 인터페이스 요소로 지향시킴)을 야기할 것임을 나타내기 위해 제3 사용자 인터페이스(예컨대, 2108) 요소의 외관을 수정한다(2216c). 일부 실시예들에서, 제3 사용자 인터페이스 요소의 외관을 수정하는 것은 제2 영역으로 지향되는 사용자의 시선을 검출하기 이전에 제3 사용자 인터페이스 요소가 디스플레이되었던 색상, 패턴, 텍스트 스타일, 반투명성, 및/또는 라인 스타일과는 상이한 색상, 패턴, 텍스트 스타일, 반투명성, 및/또는 라인 스타일을 갖는 제3 사용자 인터페이스 요소를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제3 사용자 인터페이스 요소의 상이한 시각적 특성을 수정하는 것이 가능하다. 일부 실시예들에서, 제3 사용자 인터페이스 요소의 외관을 수정하는 것은, 제3 사용자 인터페이스 요소를 3차원 환경 내의 사용자의 시점을 향해 또는 그로부터 멀리 이동하는 것과 같이, 사용자 인터페이스 내의 제3 사용자 인터페이스 요소의 위치를 업데이트하는 것을 포함한다. 일부 실시예들에서, 전자 디바이스는 추가적인 입력이 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 더 이상 나타내지 않도록 제1 사용자 인터페이스 요소의 외관을 추가로 업데이트하고 제1 사용자 인터페이스 요소의 선택을 보류한다. 일부 실시예들에서, 제2 영역이 어떠한 선택가능 및/또는 상호작용형 사용자 인터페이스 요소들도 포함하지 않는 경우, 전자 디바이스는 추가적인 입력이 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제1 사용자 인터페이스 요소의 업데이트된 외관을 유지한다.
제2 영역으로 지향되는 사용자의 시선을 검출하는 것에 응답하여 추가적인 입력이 제3 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제3 사용자 인터페이스 요소의 외관을 수정하는 전술한 방식은 요소들이 사용자 인터페이스의 상이한 영역들 내에 있을 때에도 하나의 요소에서 다른 요소로 선택 입력을 재지향시키는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21b에서와 같은 일부 실시예들에서, 제1 입력은, 사용자의 사전정의된 부분(예컨대, 2103a, 2103b, 2103c)이 물리적 입력 디바이스(예컨대, 트랙패드, 터치 스크린 등)와 접촉하지 않는, 전자 디바이스(예컨대, 101a)의 환경 내의 공간에서의 전자 디바이스(예컨대, 101a)의 사용자의 사전정의된 부분(예컨대, 2103a, 2103b, 2103c)(예컨대, 하나 이상의 손가락들, 손, 팔, 눈, 머리)의 이동을 포함한다(2218). 일부 실시예들에서, 전자 디바이스는 사용자와 물리적 접촉없이 사용자의 시선을 추적하는 눈 추적 디바이스, 사용자와 물리적 접촉없이 사용자의 손(들)을 추적하는 손 추적 디바이스, 및/또는 사용자와 물리적 접촉없이 사용자의 머리를 추적하는 머리 추적 디바이스 중 하나 이상을 이용하여 제1 입력을 검출한다. 일부 실시예들에서, 제1 입력을 검출하는 데 사용되는 입력 디바이스는 하나 이상의 카메라들, 범위 센서들 등을 포함한다. 일부 실시예들에서, 입력 디바이스는 제1 사용자 입력이 수신되는 동안 전자 디바이스의 사용자와 접촉하는 디바이스 하우징에 통합되지만, 하우징과 접촉하는 사용자의 일부분에 대한 하우징의 배향은 제1 입력의 검출에 영향을 미치지 않는다. 예를 들어, 눈 추적 디바이스, 손 추적 디바이스, 및/또는 머리 추적 디바이스는 머리 장착형 전자 디바이스에 통합된다.
사용자의 사전정의된 부분이 물리적 입력 디바이스와 접촉하지 않고 제1 입력을 검출하는 전술한 방식은 사용자가 물리적 입력 디바이스를 조작할 필요없이 입력들을 검출하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21b에서와 같은 일부 실시예들에서, 제1 입력은 전자 디바이스(예컨대, 101a)의 사용자의 손(예컨대, 2103a, 2103b)에 의해 수행되는 핀치 제스처를 포함한다(2220). 일부 실시예들에서, 전자 디바이스는 전자 디바이스와 통신하는 손 추적 디바이스를 이용하여 핀치 제스처를 검출한다. 일부 실시예들에서, 핀치 제스처를 검출하는 것은 사용자가 자신의 엄지 손가락을 엄지 손가락과 동일한 손 상의 다른 손가락에 터치하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 입력의 핀치 제스처를 검출하는 것은 사용자가 엄지 손가락을 손가락으로부터 멀리 이동하는 것을 검출하는 것을 추가로 포함한다. 일부 실시예들에서, 제1은 사용자가 엄지 손가락을 손가락으로부터 멀리 이동하는 것을 검출하는 것을 포함하지 않는다(예컨대, 핀치 손 형상이 제1 입력의 종료 시에 유지됨).
제1 입력이 사용자의 손에 의해 수행되는 핀치 제스처를 포함하는 전술한 방식은 사용자가 물리적 입력 디바이스를 조작할 필요 없이 입력들을 검출하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21b에서와 같은 일부 실시예들에서, 제1 입력은, 전자 디바이스(예컨대, 101a)의 환경 내의 공간에 걸쳐, 전자 디바이스(예컨대, 101a)의 사용자의 손(예컨대, 2103a, 2103b, 2103c)의 손가락의 이동을 포함한다(2222). 일부 실시예들에서, 전자 디바이스는 전자 디바이스와 통신하는 손 추적 디바이스를 통해 사용자의 손의 손가락을 검출한다. 일부 실시예들에서, 제1 입력은 손이 손가락은 사용자의 몸통 및/또는 손의 손바닥으로부터 멀리 펴지고, 하나 이상의 다른 손가락들은 사용자의 손의 손바닥을 향해 구부러진 가리키는 손 형상인 동안, 손가락이 전자 디바이스의 환경 내의 공간에 걸쳐 이동하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 손가락의 이동은 사용자의 시점으로부터 제1 사용자 인터페이스 요소를 향한 방향이다. 일부 실시예들에서, 손가락의 이동은 손가락을 포함하는 사용자의 손의 이동에 의해 야기되는 이동이다. 일부 실시예들에서, 손가락의 이동은 손의 나머지 부분의 이동에 독립적이다. 예를 들어, 손가락의 이동은 손의 지골관절(knuckle joint)에서 힌지 동작하는 이동이다. 일부 실시예들에서, 사용자의 손바닥은 손가락이 이동하는 동안 실질적으로 고정적이다.
제1 입력이 사용자의 손의 손가락의 이동을 포함하는 전술한 방식은 사용자가 물리적 입력 디바이스를 조작할 필요 없이 입력들을 검출하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21c에서와 같은 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 제2 입력이 제1 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라(예컨대, 2104), 이동이 사용자 인터페이스의 각자의 영역(예컨대, 2102) 내의 이동에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는 추가적인 입력이 더 이상 제1 사용자 인터페이스 요소로 지향되지 않을 것임을(예컨대, 2104)(예컨대, 제1 사용자 인터페이스 요소가 더 이상 입력 초점을 갖지 않음) 나타내기 위해 제1 사용자 인터페이스 요소(예컨대, 2104)의 외관을 수정한다(2224). 일부 실시예들에서, 전자 디바이스는 추가적인 입력이 제2 사용자 인터페이스 요소로 지향될 것이기 때문에, 추가적인 입력이 더 이상 제1 사용자 인터페이스 요소로 지향되지 않을 것임을 나타내기 위해 제1 사용자 인터페이스 요소의 외관을 수정한다. 일부 실시예들에서, 전자 디바이스는 제1 입력을 검출하기 이전에 제1 사용자 인터페이스 요소의 외관의 하나 이상의 특성들과 동일하도록 제1 사용자 인터페이스 요소의 외관의 하나 이상의 특성들을 수정한다. 예를 들어, 제1 입력을 검출하기 이전에, 전자 디바이스는 제1 사용자 인터페이스 요소를 제1 색상으로 및/또는 사용자 인터페이스의 각자의 영역으로부터 각자의 거리(예컨대, 1, 2, 3, 5, 10, 15, 20, 또는 30 센티미터)만큼 분리되게 디스플레이한다. 이 예에서, 제1 입력을 검출하는 동안, 전자 디바이스는 제1 사용자 인터페이스 요소를 제2 색상으로, 사용자 인터페이스의 각자의 영역으로부터 각자의 거리 미만의 거리만큼 분리되게 디스플레이한다. 이 예에서, 제2 입력을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소를 제1 색상으로, 사용자 인터페이스의 각자의 영역으로부터 각자의 거리만큼 분리되게 디스플레이한다. 일부 실시예들에서, 제2 입력에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소를 제1 색상으로 사용자 인터페이스의 각자의 영역으로부터 분리 없이 디스플레이한다.
추가적인 입력이 더 이상 제1 사용자 인터페이스 요소로 지향되지 않을 것임을 나타내기 위해 제1 사용자 인터페이스 요소의 외관을 수정하는 전술한 방식은 사용자에게 어느 사용자 인터페이스 요소가 전자 디바이스의 입력 초점을 가질 것인지 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 향상된 시각적 피드백을 사용자에게 제공한다.
도 21c 및 도 21d에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분이 각자의 영역(예컨대, 2102)에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30, 또는 50 센티미터)보다 멀리 있는 동안(예컨대, 제2 입력은 간접 입력 및/또는 방법(1800)에 따른 가상 트랙패드 또는 입력 표시를 수반하는 입력임), 제2 입력이 전자 디바이스의 사용자의 사전정의된 부분(예컨대, 2103b, 2103c)(예컨대, 하나 이상의 손가락들, 손, 팔, 머리)에 의해 제공된다는 결정에 따라(2226a), 제2 입력이 도 21c에서와 같이 하나 이상의 제1 기준을 충족할 때 제2 입력의 이동은 사용자 인터페이스의 각자의 영역(예컨대, 2102) 내의 이동에 대응하고, 제2 입력이 도 21d에서와 같이 하나 이상의 제1 기준을 충족하지 않을 때 제2 입력의 이동은 사용자 인터페이스의 각자의 영역(예컨대, 2102) 밖의 이동에 대응한다(2226b). 일부 실시예들에서, 하나 이상의 제1 기준은 제2 입력의 이동의 속도, 지속기간, 및/또는 거리에 기초한다. 일부 실시예들에서, 전자 디바이스는 제2 입력의 이동의 속도, 지속기간, 및/또는 거리에 기초하여 이동을 대응하는 이동 크기로 전환한다. 예를 들어, 상대적으로 높은 이동 속도, 지속기간, 및/또는 거리는 상대적으로 큰 이동 크기에 대응하는 반면, 상대적으로 낮은 이동 속도, 지속기간, 및/또는 거리는 상대적으로 작은 이동 크기에 대응한다. 일부 실시예들에서, 전자 디바이스는 이동 크기를 사전결정된 임계 거리(예컨대, 사용자 인터페이스의 각자의 영역의 크기에 독립적인 사전결정된 거리, 사용자 인터페이스의 각자의 영역의 치수(예컨대, 폭, 높이)와 동일한 거리)에 비교한다. 일부 실시예들에서, 하나 이상의 제1 기준은 이동 크기가 사전결정된 임계 거리를 초과할 때 충족된다.
도 21c 및 도 21d에서와 같은 일부 실시예들에서, 사용자의 사전정의된 부분(예컨대, 2103a)이 각자의 영역(예컨대, 2102)에 대응하는 위치로부터 임계 거리(예컨대, 1, 2, 3, 5, 10, 15, 30, 또는 50 센티미터)보다 멀리 있는 동안(예컨대, 제2 입력은 간접 입력 및/또는 방법(1800)을 따른 가상 트랙패드 또는 입력 표시를 수반하는 입력임), 제2 입력이 전자 디바이스(예컨대, 101a)의 사용자(예컨대, 2103a)의 사전정의된 부분(예컨대, 하나 이상의 손가락들, 손, 팔, 머리)에 의해 제공된다는 결정에 따라(2226a), 그리고 사용자의 사전정의된 부분(예컨대, 2103a)이 각자의 영역에 대응하는 위치(예컨대, 2102)로부터 임계 거리보다 멀리 있는 동안(예컨대, 제2 입력은 직접 입력임), 제2 입력이 전자 디바이스(예컨대, 101a)의 사용자의 사전정의된 부분(예컨대, 2103a)에 의해 제공된다는 결정에 따라, 도 21c에서와 같이 제2 입력이 제1 기준과는 상이한 하나 이상의 제2 기준을 충족할 때, 제2 입력의 이동은 사용자 인터페이스의 각자의 영역(예컨대, 2102) 내의 이동에 대응하고, 도 21d에서와 같이, 제2 입력이 하나 이상의 제2 기준을 충족하지 않을 때, 제2 입력의 이동은 사용자 인터페이스의 각자의 영역(예컨대, 2102) 밖의 이동에 대응한다(2226c). 일부 실시예들에서, 하나 이상의 제2 기준은, 사용자의 사전정의된 부분이 사용자 인터페이스의 각자의 영역(예컨대, 영역 내로부터 돌출된 3차원 체적) 내의 위치로부터 사용자 인터페이스의 각자의 영역(예컨대, 영역 내로부터 돌출된 3차원 체적) 밖의 위치로 이동할 때, 충족된다. 일부 실시예들에서, 하나 이상의 제2 기준은 제2 입력의 이동의 속도 또는 지속기간에 기초하지 않으면서, 제2 입력의 이동의 거리에 기초한다. 일부 실시예들에서, 전자 디바이스는 제2 입력이 간접 입력인 경우 속도, 지속기간, 및/또는 거리에 기초하거나 또는 제2 입력이 직접 입력인 경우 제2 입력 동안 3차원 환경 내의 사용자의 사전정의된 부분의 위치에 기초하여 제2 입력의 이동이 각자의 영역 내의 이동에 대응하는지 여부를 결정한다.
사용자의 사전정의된 부분과 사용자 인터페이스의 각자의 영역에 대응하는 위치 사이의 거리에 따라 제2 입력의 이동이 사용자 인터페이스의 각자의 영역 밖의 이동에 대응하는지 여부를 결정하기 위해 상이한 기준을 적용하는 전술한 방식은 다양한 입력 유형들에 대해 제1 사용자 인터페이스 요소로 지향되는 입력을 취소 또는 취소하지 않는 직관적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21b에서와 같은 일부 실시예들에서, 제1 사용자 인터페이스 요소(예컨대, 2104)로 지향되는 추가적인 입력이 제1 사용자 인터페이스 요소(예컨대, 2104)의 선택을 야기할 것임을 나타내기 위해 제1 사용자 인터페이스 요소(예컨대, 2104)의 외관을 수정하는 것은 3차원 환경 내의 사용자의 시점으로부터 멀리 제1 사용자 인터페이스 요소를 이동하는 것을 포함한다(2228a). 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스의 각자의 영역으로 지향되는 사용자의 시선 및/또는 사용자의 손의 각자의 손 형상(예컨대, 사용자의 엄지 손가락이 사용자의 손의 다른 손가락의 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3, 4, 또는 5 센티미터) 내에 있는 예비-핀치 손 형상, 또는 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손의 손바닥을 향해 구부러지는 가리키는 손 형상)을 검출하지 않는 한 그리고 검출할 때까지 사용자 인터페이스의 각자의 영역으로부터 분리되지 않게 제1 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스의 각자의 영역로 지향되는 사용자의 시선 및/또는 사용자의 손의 각자의 손 형상을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소(예컨대, 그리고 제2 사용자 인터페이스 요소)를 사용자의 시점을 향해 이동하는 것 및/또는 사용자 인터페이스의 각자의 영역을 사용자로부터 멀리 이동하는 것 중 하나 이상에 의해 사용자 인터페이스의 각자의 영역으로부터 분리된 제1 사용자 인터페이스 요소(예컨대, 그리고 제2 사용자 인터페이스 요소)를 디스플레이한다. 일부 실시예들에서, 제1 사용자 인터페이스 요소로 지향되는 선택 입력(예컨대, 제1 입력)을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스 요소를 사용자의 시점으로부터 멀리 (예컨대, 그리고 사용자 인터페이스의 각자의 영역을 향해) 이동한다.
도 21c에서와 같은 일부 실시예들에서, 제2 사용자 인터페이스 요소(예컨대, 2106)로 지향되는 추가적인 입력이 제2 사용자 인터페이스 요소(예컨대, 2106)의 선택을 야기할 것임을 나타내기 위해 제2 사용자 인터페이스 요소(예컨대, 2106)의 외관을 수정하는 것은 3차원 환경 내의 사용자의 시점으로부터 멀리 제2 사용자 인터페이스 요소(예컨대, 2106)를 이동하는 것을 포함한다(2228b). 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스의 각자의 영역으로 지향되는 사용자의 시선 및/또는 사용자의 손의 각자의 손 형상(예컨대, 사용자의 엄지 손가락이 사용자의 손의 다른 손가락의 임계 거리(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3, 4, 또는 5 센티미터) 내에 있는 예비-핀치 손 형상, 또는 하나 이상의 손가락들은 펴지고 하나 이상의 손가락들은 손의 손바닥을 향해 구부러지는 가리키는 손 형상)을 검출하지 않는 한 그리고 검출할 때까지 사용자 인터페이스의 각자의 영역으로부터 분리되지 않게 제2 사용자 인터페이스 요소를 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스의 각자의 영역으로 지향되는 사용자의 시선 및/또는 사용자의 손의 각자의 손 형상을 검출하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스 요소(예컨대, 그리고 제1 사용자 인터페이스 요소)를 사용자의 시점을 향해 이동하는 것 및/또는 사용자 인터페이스의 각자의 영역을 사용자로부터 멀리 이동하는 것 중 하나 이상에 의해 사용자 인터페이스의 각자의 영역으로부터 분리된 제2 사용자 인터페이스 요소(예컨대, 그리고 제1 사용자 인터페이스 요소)를 디스플레이한다. 일부 실시예들에서, 제2 사용자 인터페이스 요소로 지향되는 선택 입력(예컨대, 제2 입력)을 검출하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스 요소를 사용자의 시점으로부터 멀리(예컨대, 그리고 사용자 인터페이스의 각자의 영역을 향해) 이동한다.
제1 또는 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 제1 또는 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제1 또는 제2 사용자 인터페이스 요소를 사용자의 시점으로부터 멀리 이동하는 전술한 방식은 제1 또는 제2 사용자 인터페이스 요소를 선택하는 것을 향한 진행을 나타내는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 향상된 시각적 피드백을 사용자에게 제공한다.
일부 실시예들에서, 도 21c에서와 같이, (예컨대, 제2 입력에 응답하여) 제2 사용자 인터페이스 요소(예컨대, 2106)로 지향되는 추가적인 입력이 제2 사용자 인터페이스 요소(예컨대, 2106)의 선택을 야기할 것임을 나타내기 위해 수정된 외관을 갖는 제2 사용자 인터페이스 요소(예컨대, 2106)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101a)는, 도 21e에서와 같이, 하나 이상의 입력 디바이스들을 통해, 제3 입력을 검출한다(2230a). 일부 실시예들에서, 제3 입력은 선택 입력, 예컨대, 직접 선택 입력, 간접 선택 입력, 또는 방법(1800)에 따른 가상 트랙패드와의 상호작용 또는 입력 표시를 수반하는 입력이다.
도 21e에서와 같은 일부 실시예들에서, 제3 입력을 검출하는 것에 응답하여, 제3 입력이 제2 사용자 인터페이스 요소(예컨대, 2106)로 지향되는 추가적인(예컨대, 선택) 입력에 대응한다는 결정에 따라, 전자 디바이스(예컨대, 101a)는 제3 입력에 따라 제2 사용자 인터페이스 요소(예컨대, 2106)를 선택한다(2230b). 일부 실시예들에서, 제3 입력은 제1 입력의 연속이다. 예를 들어, 제1 입력이 사용자의 손이 제1 옵션을 사용자 인터페이스의 각자의 영역을 향해 "미는" 것을 검출하는 것을 포함하는 직접 선택 입력의 일부분인 경우, 제3 입력은 제2 사용자 인터페이스 요소를 향해 지향되는 사용자 인터페이스의 각자의 영역을 향한 (예컨대, 제2 사용자 인터페이스 요소를 각자의 사용자 인터페이스 요소를 향해 "미는") 사용자의 손의 추가적인 이동이다. 다른 예로서, 제1 입력이 사용자의 손이 핀치 제스처를 만들고 핀치 손 형상을 유지하는 것을 검출하는 것을 포함하는 간접 선택 입력의 일부분인 경우, 제3 입력은 핀치 손 형상을 유지하는 것의 연속이다. 다른 예로서, 제1 입력이 사용자의 손이 핀치 손 형상인 동안 제1 사용자 인터페이스 요소를 향해 이동하는 것을 검출하는 것을 포함하는 간접 선택 입력의 일부분인 경우, 손이 핀치 손 형상을 유지하는 동안 제3 입력은 (예컨대, 제2 사용자 인터페이스 요소를 향한) 이동의 연속이다. 일부 실시예들에서, 제2 사용자 인터페이스 요소를 선택하는 것은 제2 사용자 인터페이스 요소와 연관된 작동을 수행하는 것, 예컨대, 애플리케이션을 개시하거나, 파일을 열거나, 전자 디바이스를 이용한 콘텐츠의 재생을 개시 및/또는 중단하거나, 각자의 사용자 인터페이스로 이동하거나, 전자 디바이스의 설정을 변경하거나, 또는 제2 전자 디바이스와의 통신을 개시하는 것을 포함한다.
제2 입력 후에 검출되는 제3 입력에 응답하여 제2 사용자 인터페이스 요소를 선택하는 전술한 방식은 입력 초점을 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로 이동한 후에 제2 사용자 인터페이스 요소를 선택하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21a에서와 같은 일부 실시예들에서, 제1 입력을 검출하기 전에, 제1 사용자 인터페이스 요소(예컨대, 2104)의 선택은 (예컨대, 시간, 거리, 세기 등의) 제1 크기와 연관된 입력을 필요로 한다(2232a). 일부 실시예들에서, 직접 선택 입력에 응답한 제1 사용자 인터페이스 요소의 선택은 (예컨대, 사용자의 손이 가리키는 손 형상인 동안) 제1 사용자 인터페이스 요소와 사용자 인터페이스의 각자의 영역 사이의 거리와 같은, 사전결정된 거리(예컨대, 0.5, 1, 2, 3, 4, 5, 또는 10 센티미터) 크기만큼의 사용자의 손가락 및/또는 손의 이동을 검출하는 것을 필요로 한다. 일부 실시예들에서, 간접 선택 입력에 응답하여 제1 사용자 인터페이스 요소의 선택은 사용자가 핀치 제스처를 수행한 후에 사전결정된 시간(예컨대, 0.1, 0.2, 0.3, 0.5, 1, 2, 3, 4, 5, 또는 10초) 크기 동안 핀치 손 형상을 유지하는 것을 검출하는 것을 필요로 한다. 일부 실시예들에서, 간접 선택 입력에 응답한 제1 사용자 인터페이스 요소의 선택은 사용자가 핀치 손 형상인 동안 자신의 손을 제1 사용자 인터페이스 요소를 향해 사전결정된 거리(예컨대, 0.5, 1, 2, 3, 5, 또는 10 센티미터)를 이동하는 것을 검출하는 것을 필요로 한다.
도 2104에서와 같은 일부 실시예들에서, 제1 입력은 제1 크기보다 작은 제2 크기의 입력을 포함한다(2232b). 일부 실시예들에서, 제1 입력이 직접 입력인 경우, 손의 이동은 사전결정된 거리 크기 미만이다. 일부 실시예들에서, 제1 입력이 간접 입력인 경우, 손은 사전결정된 시간 크기 미만 동안 핀치 손 형상을 유지한다. 일부 실시예들에서, 제1 입력이 간접 입력인 경우, 손은 핀치 손 형상인 동안 제1 사용자 인터페이스 요소를 향해 사전결정된 거리 크기 미만으로 이동한다.
도 21a에서와 같은 일부 실시예들에서, 제2 입력을 검출하기 전에, 제2 사용자 인터페이스 요소(예컨대, 2106)의 선택은 (예컨대, 시간, 거리, 세기 등의) 제3 크기와 연관된 입력을 필요로 한다(2232c). 일부 실시예들에서, 제3 크기는 각자의 선택 입력으로 제2 사용자 인터페이스 요소를 선택하는데 필요할 이동의 크기이다. 일부 실시예들에서, 제3 크기는 제1 크기와 동일하다. 일부 실시예들에서, 제1 크기와 제3 크기는 상이하다.
도 21c에서와 같은 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 제2 사용자 인터페이스 요소(예컨대, 2106)의 선택은 제1 입력의 제2 크기보다 작은 제3 크기와 연관된 추가적인 입력을 필요로 한다(2232d). 예를 들어, 간접 입력에 의한 제2 사용자 인터페이스 요소의 선택이 핀치 손 형상을 1초 동안 유지하는 것을 필요로 하고, 제1 입력이 핀치 손 형상을 0.3 초 동안 유지하는 것을 포함하는 경우, 전자 디바이스는 (예컨대, 제1 및/또는 제2 입력들을 검출한 후에) 핀치 손 형상이 추가적인 0.7초 동안 유지되는 것을 검출하는 것에 응답하여 제2 사용자 인터페이스 요소를 선택한다. 일부 실시예들에서, 제2 입력은 각자의 크기와 연관되고, 제2 사용자 인터페이스 요소의 선택은 제1 입력의 제2 크기와 제2 입력의 각자의 크기의 합 미만의 제3 크기와 연관된 추가적인 입력을 필요로 한다. 예를 들어, 직접 입력에 의한 제2 사용자 인터페이스 요소의 선택이 사용자의 시점으로부터 멀리 (예컨대, 제2 사용자 인터페이스 요소를 향해) 2 센티미터만큼의 사용자의 손의 이동을 필요로 하고, 제1 입력이 사용자의 시점으로부터 멀리 (예컨대, 제1 사용자 인터페이스 요소를 향해) 0.5 센티미터만큼의 이동을 포함하고, 제2 입력이 사용자의 시점으로부터 멀리 (예컨대, 제2 사용자 인터페이스 요소를 향해) 0.3 센티미터만큼의 이동을 포함하는 경우, 추가적인 입력은 사용자의 시점으로부터 멀리 (예컨대, 제2 사용자 인터페이스 요소를 향해) 1.2 센티미터의 이동을 필요로 한다.
추가적인 입력이 제2 크기보다 작은 제3 크기의 크기를 갖도록 요구하는 전술한 방식은 제2 입력을 검출한 후에 제2 사용자 인터페이스 요소를 빠르게 선택하기 위한 효율적인 방식을 제공하며, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
도 21b에서와 같은 일부 실시예들에서, 제1 입력은 선택 개시 부분에 제2 부분이 후속되는 것을 포함하고, 제1 사용자 인터페이스 요소(예컨대, 2104)의 외관은 선택 개시 부분을 포함하는 제1 입력에 따라 제1 사용자 인터페이스 요소(예컨대, 2104)로 지향되는 추가적인 입력이 제1 사용자 인터페이스 요소(예컨대, 2104)의 선택을 야기할 것임을 나타내기 위해 수정된다(2234a). 일부 실시예들에서, 제1 입력이 간접 선택 입력인 경우, 제1 입력의 개시 부분을 검출하는 것은 사용자의 손에 의해 수행되는 핀치 제스처를 검출하는 것을 포함하고, 제1 입력의 제2 부분을 검출하는 것은 사용자가 핀치 손 형상을 유지하는 것 및/또는 핀치 손 형상을 유지하는 동안 손을 이동하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 입력이 직접 선택 입력인 경우, 제1 입력의 개시 부분을 검출하는 것은 사용자가 자신의 손을 (예컨대, 가리키는 손 형상을 만드는 동안) 제1 사용자 인터페이스 요소와 사용자의 시점 사이의 위치로부터 (예컨대, 가리키는 손 형상을 만드는 동안) 3차원 환경 내의 제1 사용자 인터페이스 요소에 대응하는 위치로 이동하는 것을 검출하는 것을 포함한다. 일부 실시예들에서, 제1 입력이 방법(1800)에 따른 가상 트랙패드 또는 입력 표시를 수반하는 입력인 경우, 개시 부분을 검출하는 것은 사용자가 손가락을 가상 트랙패드 및/또는 입력 표시의 위치로 이동하는 것을 검출하는 것을 포함하고, 제2 부분을 검출하는 것은 사용자가 계속해서 자신의 손가락을 가상 트랙패드 또는 입력 표시에 걸쳐 (예컨대, 제1 사용자 인터페이스 요소를 향해 및/또는 사용자의 시점으로부터 멀리) 이동하는 것을 검출하는 것을 포함한다.
도 21c에서와 같은 일부 실시예들에서, 제2 사용자 인터페이스 요소(예컨대, 2106)의 외관은, 전자 디바이스(예컨대, 101a)가 제1 입력에 포함된 선택 개시 부분 후에 다른 선택 개시 부분을 검출하지 않고 제2 사용자 인터페이스 요소(예컨대, 2106)로 지향되는 추가적인 입력이 제2 사용자 인터페이스 요소(예컨대, 2106)의 선택을 야기할 것임을 나타내기 위해 수정된다(2234b). 일부 실시예들에서, 제2 사용자 인터페이스 요소의 외관은, 선택 입력의 후속 개시 부분을 검출하지 않고, (예컨대, 제1 입력의 개시 부분을 포함하는, 제1 입력을 검출한 후에) 제2 입력을 검출하는 것에 응답하여 수정된다.
도 21b에서와 같은 일부 실시예들에서, (예컨대, 제1 및 제2 입력들을 검출하기 이전에, 또는 제1 및 제2 입력들을 검출한 후에 수정된 외관을 갖는 제2 사용자 인터페이스 요소를 디스플레이하는 것을 중단한 후에) 수정된 외관없이 제2 사용자 인터페이스 요소(예컨대, 2106)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101a)는, 하나 이상의 입력 디바이스들을 통해, 제2 사용자 인터페이스 요소(예컨대, 2106)로 지향되는 제3 입력을 검출한다(2234c).
도 21c에서와 같은 일부 실시예들에서, 제3 입력을 검출하는 것에 응답하여(2234d), 제3 입력이 선택 개시 부분을 포함한다는 결정에 따라(예컨대, 제3 입력은 선택 입력임), 전자 디바이스(예컨대, 101a)는 제2 사용자 인터페이스 요소(예컨대, 2106)로 지향되는 추가적인 입력이 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제2 사용자 인터페이스 요소(예컨대, 2106)의 외관을 수정한다(2234e). 일부 실시예들에서, 전자 디바이스는 선택 입력의 개시 부분을 검출하는 것에 응답하여 추가적인 입력이 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제2 사용자 인터페이스 요소의 외관을 수정한다.
도 21a에서와 같은 일부 실시예들에서, 제3 입력을 검출하는 것에 응답하여(2234d), 제3 입력이 선택 개시 부분을 포함하지 않는다는 결정에 따라(예컨대, 제3 입력은 선택 입력이 아니거나 또는 선택 입력의 제2 부분을 포함하지만, 선택 입력의 개시 부분을 포함하지 않음), 전자 디바이스(예컨대, 101a)는 제2 사용자 인터페이스 요소(예컨대, 2106)의 외관을 수정하는 것을 보류한다(2234f). 일부 실시예들에서, 전자 디바이스가 선택 입력의 개시 부분을 검출하지 않는 한(예컨대, 선택 입력의 제2 부분을 수신하기 전에 또는 입력(예컨대, 제1 입력)의 제2 부분에 후속하여 (예컨대, 제2 입력의) 사용자 인터페이스의 각자의 영역 내의 이동을 수신하기 전에), 전자 디바이스는 추가적인 입력이 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제2 사용자 인터페이스 요소의 외관을 수정하지 않는다.
제1 입력의 개시 부분을 검출한 후에 추가 개시 부분을 검출하지 않고 추가적인 입력이 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 제2 사용자 인터페이스 요소의 외관을 수정하는 전술한 방식은 선택 입력을 시작부터 다시 시작하지 않고 (예컨대, 제1 사용자 인터페이스 요소로부터 제2 사용자 인터페이스 요소로) 선택 입력을 재지향하는 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로 디스플레이되는 제어들로 사용자 인터페이스를 혼란스럽게 하지 않고 추가적인 제어 옵션들을 사용자에게 제공한다.
일부 실시예들에서, 방법들(800, 1000, 1200, 1400, 1600, 1800, 2000 및/또는 2200)의 양태들/동작들은 이들 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 예를 들어, 방법들(800, 1000, 1200, 1400, 1600, 1800, 2000, 및/또는 2200)의 3차원 환경들, 방법들(800, 1000, 1400, 1600, 2000 및/또는 2200)에서의 직접 입력들, 방법들(800, 1000, 1200, 1400, 1600, 2000 및/또는 2200)에서의 간접 입력들, 및/또는 방법들(1800, 2000 및/또는 2200)에서의 공중 제스처 입력들은 선택적으로 이러한 방법들 사이에서 교환, 대체, 및/또는 추가된다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.

Claims (200)

  1. 방법으로서,
    디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하는 단계;
    상기 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분으로부터의 입력을 검출하는 단계; 및
    상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 것에 응답하여:
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 포즈가 하나 이상의 기준을 충족한다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 각자의 동작을 수행하는 단계; 및
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하지 않는다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 상기 각자의 동작을 수행하는 것을 보류하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하지 않는 동안, 제1 값을 갖는 시각적 특성을 갖는 상기 사용자 인터페이스 요소를 디스플레이하고, 제2 값을 갖는 상기 시각적 특성을 갖는, 상기 사용자 인터페이스에 포함되는 제2 사용자 인터페이스 요소를 디스플레이하는 단계; 및
    상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하는 동안, 입력 초점이 지향되는 사용자 인터페이스 요소의 상기 시각적 특성을 업데이트하는 단계를 추가로 포함하고, 상기 업데이트하는 단계는:
    입력 초점이 상기 사용자 인터페이스 요소로 지향된다는 결정에 따라, 제3 값을 갖는 상기 시각적 특성으로 디스플레이되도록 상기 사용자 인터페이스 요소를 업데이트하는 단계; 및
    상기 입력 초점이 상기 제2 사용자 인터페이스 요소로 지향된다는 결정에 따라, 제4 값을 갖는 상기 시각적 특성으로 디스플레이되도록 상기 제2 사용자 인터페이스 요소를 업데이트하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있다는 결정에 따라 상기 입력 초점은 상기 사용자 인터페이스 요소로 지향되고,
    상기 사용자의 상기 사전정의된 부분이 상기 제2 사용자 인터페이스 요소의 상기 임계 거리 내에 있다는 결정에 따라 상기 입력 초점은 상기 제2 사용자 인터페이스 요소로 지향되는, 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 사용자의 시선이 상기 사용자 인터페이스 요소로 지향된다는 결정에 따라 상기 입력 초점은 상기 사용자 인터페이스 요소로 지향되고,
    상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 요소로 지향된다는 결정에 따라 상기 입력 초점은 상기 제2 사용자 인터페이스 요소로 지향되는, 방법.
  5. 제2항 또는 제3항에 있어서, 입력 초점이 지향되는 사용자 인터페이스 요소의 상기 시각적 특성을 업데이트하는 단계는:
    상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리 미만이라는 결정에 따라, 상기 입력 초점이 지향되는 상기 사용자 인터페이스 요소의 상기 시각적 특성은 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 하나 이상의 기준의 제1 세트를 충족한다는 결정에 따라 업데이트되고;
    상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 요소에 대응하는 상기 위치로부터 상기 임계 거리를 초과한다는 결정에 따라, 상기 입력 초점이 지향되는 상기 사용자 인터페이스 요소의 상기 시각적 특성은 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 하나 이상의 기준의 상기 제1 세트와는 상이한 하나 이상의 기준의 제2 세트를 충족한다는 결정에 따라 업데이트되는 것을 포함하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 하나 이상의 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈는:
    상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리 미만이라는 결정에 따라, 하나 이상의 기준의 제1 세트를 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈; 및
    상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 요소에 대응하는 상기 위치로부터 상기 임계 거리를 초과한다는 결정에 따라, 하나 이상의 기준의 상기 제1 세트와는 상이한 하나 이상의 기준의 제2 세트를 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈를 포함하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 하나 이상의 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈는:
    상기 사용자의 상기 사전정의된 부분이 상기 하나 이상의 입력 디바이스들 중 입력 디바이스를 잡고 있다는 결정에 따라, 하나 이상의 기준의 제1 세트를 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈, 및
    상기 사용자의 상기 사전정의된 부분이 상기 입력 디바이스를 잡고 있지 않다는 결정에 따라, 하나 이상의 기준의 제2 세트를 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈를 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 하나 이상의 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈는:
    상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리 미만이라는 결정에 따라, 하나 이상의 기준의 제1 세트를 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈; 및
    상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 요소에 대응하는 상기 위치로부터 상기 임계 거리를 초과한다는 결정에 따라, 하나 이상의 기준의 상기 제1 세트를 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 포즈를 포함하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 사용자의 상기 사전정의된 부분이, 상기 각자의 입력 동안, 상기 사용자 인터페이스 요소에 대응하는 위치로부터 멀리 임계 거리를 초과한다는 결정에 따라, 상기 하나 이상의 기준은 상기 사용자의 주목이 상기 사용자 인터페이스 요소를 향해 지향될 때 충족되는 기준을 포함하고,
    상기 사용자의 상기 사전정의된 부분이, 상기 각자의 입력 동안, 상기 사용자 인터페이스 요소에 대응하는 상기 위치로부터 멀리 상기 임계 거리 미만이라는 결정에 따라, 상기 하나 이상의 기준은 상기 하나 이상의 기준이 충족되기 위해 상기 사용자의 상기 주목이 상기 사용자 인터페이스 요소를 향해 지향되는 요건을 포함하지 않는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 사용자의 시선이 상기 사용자 인터페이스의 제1 영역으로 지향되는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스의 상기 제1 영역에 비해 상기 사용자 인터페이스의 제2 영역을 시각적으로 덜 강조하는 단계; 및
    상기 사용자의 상기 시선이 상기 사용자 인터페이스의 상기 제2 영역으로 지향되는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스의 상기 제2 영역에 비해 상기 사용자 인터페이스의 상기 제1 영역을 시각적으로 덜 강조하는 단계를 추가로 포함하는, 방법.
  11. 제10항에 있어서, 상기 사용자 인터페이스는 상기 전자 디바이스 및 제2 전자 디바이스에 의해 액세스가능하고, 상기 방법은:
    상기 제2 전자 디바이스의 제2 사용자의 시선이 상기 사용자 인터페이스의 상기 제1 영역으로 지향된다는 표시에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스의 상기 제1 영역에 비해 상기 사용자 인터페이스의 상기 제2 영역을 시각적으로 덜 강조하는 것을 보류하는 단계; 및
    상기 제2 전자 디바이스의 상기 제2 사용자의 상기 시선이 상기 사용자 인터페이스의 상기 제2 영역으로 지향된다는 표시에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스의 상기 제2 영역에 비해 상기 사용자 인터페이스의 상기 제1 영역을 시각적으로 덜 강조하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 단계는, 손 추적 디바이스를 통해, 상기 사용자의 상기 사전정의된 부분에 의해 수행되는 핀치 제스처를 검출하는 단계를 포함하는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 단계는, 손 추적 디바이스를 통해, 상기 사용자의 상기 사전정의된 부분에 의해 수행되는 누르기 제스처를 검출하는 단계를 포함하는, 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 단계는 상기 사용자 인터페이스 요소에 대응하는 위치에 대한 상기 사용자의 상기 사전정의된 부분의 측방향 이동을 검출하는 단계를 포함하는, 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족한다고 결정하기 이전에:
    눈 추적 디바이스를 통해, 상기 사용자의 시선이 상기 사용자 인터페이스 요소로 지향되는 것을 검출하는 단계; 및
    상기 사용자의 상기 시선이 상기 사용자 인터페이스 요소로 지향되는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 시선이 상기 사용자 인터페이스 요소로 지향된다는 제1 표시를 디스플레이하는 단계를 추가로 포함하는, 방법.
  16. 제15항에 있어서,
    상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하기 이전에, 상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하는 동안:
    상기 디스플레이 생성 컴포넌트를 통해, 상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족한다는 제2 표시를 디스플레이하는 단계를 추가로 포함하고, 상기 제1 표시는 상기 제2 표시와는 상이한, 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 상기 사용자의 제2 사전정의된 부분으로부터의 제2 입력을 검출하는 단계; 및
    상기 전자 디바이스의 상기 사용자의 상기 제2 사전정의된 부분으로부터의 상기 제2 입력을 검출하는 것에 응답하여:
    상기 제2 입력을 검출하기 이전의 상기 사용자의 상기 제2 사전정의된 부분의 포즈가 하나 이상의 제2 기준을 충족한다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 제2 사전정의된 부분으로부터의 상기 제2 입력에 따라 제2 각자의 동작을 수행하는 단계; 및
    상기 제2 입력을 검출하기 이전의 상기 사용자의 상기 제2 사전정의된 부분의 상기 포즈가 상기 하나 이상의 제2 기준을 충족하지 않는다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 제2 사전정의된 부분으로부터의 상기 제2 입력에 따라 상기 제2 각자의 동작을 수행하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 사용자 인터페이스는 상기 전자 디바이스 및 제2 전자 디바이스에 의해 액세스가능하고, 상기 방법은:
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하는 것을 검출하기 이전에, 제1 값을 갖는 시각적 특성을 갖는 상기 사용자 인터페이스 요소를 디스플레이하는 단계;
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하는 동안, 상기 제1 값과는 상이한 제2 값을 갖는 상기 시각적 특성을 갖는 상기 사용자 인터페이스 요소를 디스플레이하는 단계; 및
    상기 제1 값을 갖는 상기 시각적 특성을 갖는 상기 사용자 인터페이스 요소를 디스플레이하는 동안 상기 제2 전자 디바이스의 제2 사용자의 사전정의된 부분의 포즈가 상기 하나 이상의 기준을 충족하는 동안, 상기 제1 값을 갖는 상기 시각적 특성을 갖는 상기 사용자 인터페이스 요소의 디스플레이를 유지하는 단계를 추가로 포함하는, 방법.
  19. 제18항에 있어서,
    상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 것에 응답하여, 제3 값을 갖는 상기 시각적 특성을 갖는 상기 사용자 인터페이스 요소를 디스플레이하는 단계; 및
    상기 제2 전자 디바이스의 상기 제2 사용자의 상기 사전정의된 부분으로부터의 입력의 표시에 응답하여, 상기 제3 값을 갖는 상기 시각적 특성을 갖는 상기 사용자 인터페이스 요소를 디스플레이하는 단계를 추가로 포함하는, 방법.
  20. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하고;
    상기 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분으로부터의 입력을 검출하고;
    상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 것에 응답하여:
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 포즈가 하나 이상의 기준을 충족한다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 각자의 동작을 수행하고;
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하지 않는다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 상기 각자의 동작을 수행하는 것을 보류하기 위한 명령어들을 포함하는, 전자 디바이스.
  21. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
    디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하는 단계;
    상기 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분으로부터의 입력을 검출하는 단계; 및
    상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 것에 응답하여:
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 포즈가 하나 이상의 기준을 충족한다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 각자의 동작을 수행하는 단계; 및
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하지 않는다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 상기 각자의 동작을 수행하는 것을 보류하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  22. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분으로부터의 입력을 검출하기 위한 수단; 및
    상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 것에 응답하여:
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 포즈가 하나 이상의 기준을 충족한다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 각자의 동작을 수행하는 수단; 및
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하지 않는다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 상기 각자의 동작을 수행하는 것을 보류하기 위한 수단을 포함하는, 전자 디바이스.
  23. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분으로부터의 입력을 검출하기 위한 수단; 및
    상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력을 검출하는 것에 응답하여:
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 포즈가 하나 이상의 기준을 충족한다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 각자의 동작을 수행하기 위한 수단; 및
    상기 입력을 검출하기 이전의 상기 사용자의 상기 사전정의된 부분의 상기 포즈가 상기 하나 이상의 기준을 충족하지 않는다는 결정에 따라, 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분으로부터의 상기 입력에 따라 상기 각자의 동작을 수행하는 것을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  24. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제1항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  25. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제1항 내지 제19항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  26. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제1항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  27. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    제1항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  28. 방법으로서,
    디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소를 디스플레이하는 단계;
    상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하는 단계; 및
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여:
    상기 제1 사용자 인터페이스 요소가 상기 전자 디바이스의 사용자와 연관된 주목 구역 내에 있다는 결정에 따라, 상기 제1 사용자 인터페이스 요소에 대응하는 제1 동작을 수행하는 단계; 및
    상기 제1 사용자 인터페이스 요소가 상기 사용자와 연관된 상기 주목 구역 내에 있지 않다는 결정에 따라, 상기 제1 동작을 수행하는 것을 보류하는 단계를 포함하는, 방법.
  29. 제28항에 있어서, 상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력은 상기 제1 사용자 인터페이스 요소로 지향되는 간접 입력이고, 상기 방법은:
    상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하는 단계 - 상기 제2 입력은 각자의 사용자 인터페이스 요소로 지향되는 직접 입력에 대응함 -; 및
    상기 제2 입력을 검출하는 것에 응답하여, 상기 각자의 사용자 인터페이스 요소가 상기 사용자와 연관된 상기 주목 구역 내에 있는지 여부에 상관없이 상기 각자의 사용자 인터페이스 요소와 연관된 동작을 수행하는 단계를 추가로 포함하는, 방법.
  30. 제28항 또는 제29항에 있어서, 상기 사용자와 연관된 상기 주목 구역은 상기 전자 디바이스의 상기 사용자의 시선 방향에 기초하는, 방법.
  31. 제28항 내지 제30항 중 어느 한 항에 있어서,
    상기 제1 사용자 인터페이스 요소가 상기 사용자와 연관된 상기 주목 구역 내에 있는 동안, 상기 제1 사용자 인터페이스 요소가 상기 주목 구역 내에 있지 않은 위치로 상기 주목 구역을 이동하기 위한 하나 이상의 기준이 충족되는 것을 검출하는 단계; 및
    상기 하나 이상의 기준이 충족되는 것을 검출한 이후에:
    상기 제1 사용자 인터페이스 요소로 지향되는 제2 입력을 검출하는 단계; 및
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제2 입력을 검출하는 것에 응답하여:
    상기 제2 입력이 상기 충족되는 하나 이상의 기준의 각자의 시간 임계치 내에 검출되었다는 결정에 따라, 상기 제1 사용자 인터페이스 요소에 대응하는 제2 동작을 수행하는 단계; 및
    상기 제2 입력이 상기 충족되는 하나 이상의 기준의 상기 각자의 시간 임계치 후에 검출되었다는 결정에 따라, 상기 제2 동작을 수행하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  32. 제28항 내지 제31항 중 어느 한 항에 있어서, 상기 제1 입력은 제1 부분에 제2 부분이 후속되는 것을 포함하고, 상기 방법은:
    상기 제1 입력을 검출하는 동안:
    상기 제1 사용자 인터페이스 요소가 상기 주목 구역 내에 있는 동안 상기 제1 입력의 상기 제1 부분을 검출하는 단계;
    상기 제1 입력의 상기 제1 부분을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소에 대응하는 상기 제1 동작의 제1 부분을 수행하는 단계;
    상기 제1 사용자 인터페이스 요소가 상기 주목 구역 밖에 있는 동안 상기 제1 입력의 상기 제2 부분을 검출하는 단계; 및
    상기 제1 입력의 상기 제2 부분을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소에 대응하는 상기 제1 동작의 제2 부분을 수행하는 단계를 추가로 포함하는, 방법.
  33. 제32항에 있어서, 상기 제1 입력은 누르기 입력에 대응하고, 상기 제1 입력의 상기 제1 부분은 상기 누르기 입력의 개시에 대응하고, 상기 제1 입력의 상기 제2 부분은 상기 누르기 입력의 연속에 대응하는, 방법.
  34. 제32항에 있어서, 상기 제1 입력은 드래그 입력에 대응하고, 상기 제1 입력의 상기 제1 부분은 상기 드래그 입력의 개시에 대응하고, 상기 제1 입력의 상기 제2 부분은 상기 드래그 입력의 연속에 대응하는, 방법.
  35. 제32항에 있어서, 상기 제1 입력은 선택 입력에 대응하고, 상기 제1 입력의 상기 제1 부분은 상기 선택 입력의 개시에 대응하고, 상기 제1 입력의 상기 제2 부분은 상기 선택 입력의 연속에 대응하는, 방법.
  36. 제32항 내지 제35항 중 어느 한 항에 있어서, 상기 제1 입력의 상기 제1 부분을 검출하는 단계는 상기 사용자의 사전정의된 부분의 이동을 검출하지 않으면서, 각자의 포즈를 갖고 상기 제1 사용자 인터페이스 요소에 대응하는 위치의 각자의 거리 내에 있는 상기 사용자의 상기 사전정의된 부분을 검출하는 단계를 포함하고, 상기 제1 입력의 상기 제2 부분을 검출하는 단계는 상기 사용자의 상기 사전정의된 부분의 상기 이동을 검출하는 단계를 포함하는, 방법.
  37. 제28항 내지 제36항 중 어느 한 항에 있어서, 상기 제1 입력은 상기 사용자의 사전정의된 부분에 의해 제공되고, 상기 제1 입력을 검출하는 단계는 상기 제1 사용자 인터페이스 요소에 대응하는 위치의 거리 임계치 내의 상기 사용자의 상기 사전정의된 부분을 검출하는 단계를 포함하고, 상기 방법은:
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 동안 그리고 상기 제1 동작을 수행하기 전에, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치로부터 상기 거리 임계치를 초과하는 거리까지 상기 사용자의 상기 사전정의된 부분의 이동을 검출하는 단계; 및
    상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치로부터 상기 거리 임계치를 초과하는 상기 거리까지 상기 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소에 대응하는 상기 제1 동작을 수행하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  38. 제28항 내지 제37항 중 어느 한 항에 있어서, 상기 제1 입력은 상기 사용자의 사전정의된 부분에 의해 제공되고, 상기 제1 입력을 검출하는 단계는 상기 제1 사용자 인터페이스 요소에 대응하는 위치에 대한 각자의 공간적 관계에서 상기 사용자의 상기 사전정의된 부분을 검출하는 단계를 포함하고, 상기 방법은:
    상기 사용자의 상기 사전정의된 부분이 상기 제1 입력 동안 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치에 대한 상기 각자의 공간적 관계에 있는 동안 그리고 상기 제1 동작을 수행하기 전에, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치에 대한 상기 각자의 공간적 관계를 갖게 되는 각자의 시간 임계치 내에 상기 제1 사용자 인터페이스 요소와 결속하지 않았음을 검출하는 단계; 및
    상기 사용자의 상기 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치에 대한 상기 각자의 공간적 관계를 갖게 되는 상기 각자의 시간 임계치 내에 상기 제1 사용자 인터페이스 요소와 결속하지 않았음을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소에 대응하는 상기 제1 동작을 수행하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  39. 제28항 내지 제38항 중 어느 한 항에 있어서, 상기 제1 입력의 제1 부분은 상기 사용자의 시선이 상기 제1 사용자 인터페이스 요소로 지향되는 동안 검출되고, 상기 제1 입력의 상기 제1 부분에 후속하는 상기 제1 입력의 제2 부분은 상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 요소로 지향되지 않는 동안 검출되는, 방법.
  40. 제28항 내지 제39항 중 어느 한 항에 있어서, 상기 제1 입력은 상기 사용자의 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대한 각도들의 사전정의된 범위 내로부터 상기 제1 사용자 인터페이스 요소에 대응하는 위치로 이동하는 것에 의해 제공되고, 상기 방법은:
    상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소로 지향되는 제2 입력을 검출하는 단계 - 상기 제2 입력은 상기 사용자의 상기 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대한 상기 각도들의 사전정의된 범위 밖으로부터 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치로 이동하는 것을 포함함 -; 및
    상기 제2 입력을 검출하는 것에 응답하여, 상기 제2 입력에 따라 상기 제1 사용자 인터페이스 요소와 상호작용하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  41. 제28항 내지 제40항 중 어느 한 항에 있어서, 상기 제1 동작은, 상기 사용자의 시선이 상기 제1 사용자 인터페이스 요소로 지향되는 것을 검출하지 않고, 상기 제1 입력을 검출하는 것에 응답하여 수행되는, 방법.
  42. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소를 디스플레이하고;
    상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하고;
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여:
    상기 제1 사용자 인터페이스 요소가 상기 전자 디바이스의 사용자와 연관된 주목 구역 내에 있다는 결정에 따라, 상기 제1 사용자 인터페이스 요소에 대응하는 제1 동작을 수행하고;
    상기 제1 사용자 인터페이스 요소가 상기 사용자와 연관된 상기 주목 구역 내에 있지 않다는 결정에 따라, 상기 제1 동작을 수행하는 것을 보류하기 위한 명령어들을 포함하는, 전자 디바이스.
  43. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소를 디스플레이하는 단계;
    상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하는 단계; 및
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여:
    상기 제1 사용자 인터페이스 요소가 상기 전자 디바이스의 사용자와 연관된 주목 구역 내에 있다는 결정에 따라, 상기 제1 사용자 인터페이스 요소에 대응하는 제1 동작을 수행하는 단계; 및
    상기 제1 사용자 인터페이스 요소가 상기 사용자와 연관된 상기 주목 구역 내에 있지 않다는 결정에 따라, 상기 제1 동작을 수행하는 것을 보류하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  44. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소를 디스플레이하기 위한 수단;
    상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하기 위한 수단; 및
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여:
    상기 제1 사용자 인터페이스 요소가 상기 전자 디바이스의 사용자와 연관된 주목 구역 내에 있다는 결정에 따라, 상기 제1 사용자 인터페이스 요소에 대응하는 제1 동작을 수행하기 위한 수단; 및
    상기 제1 사용자 인터페이스 요소가 상기 사용자와 연관된 상기 주목 구역 내에 있지 않다는 결정에 따라, 상기 제1 동작을 수행하는 것을 보류하기 위한 수단을 포함하는, 전자 디바이스.
  45. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    상기 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소를 디스플레이하기 위한 수단;
    상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하기 위한 수단; 및
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여:
    상기 제1 사용자 인터페이스 요소가 상기 전자 디바이스의 사용자와 연관된 주목 구역 내에 있다는 결정에 따라, 상기 제1 사용자 인터페이스 요소에 대응하는 제1 동작을 수행하기 위한 수단; 및
    상기 제1 사용자 인터페이스 요소가 상기 사용자와 연관된 상기 주목 구역 내에 있지 않다는 결정에 따라, 상기 제1 동작을 수행하는 것을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  46. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제28항 내지 제41항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  47. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제28항 내지 제41항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  48. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제28항 내지 제41항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  49. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    제28항 내지 제41항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  50. 방법으로서,
    디스플레이 생성 컴포넌트 및 눈 추적 디바이스를 포함하는 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서:
    상기 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 포함하는 제1 영역을 포함하는 사용자 인터페이스를 디스플레이하는 단계;
    상기 사용자 인터페이스를 디스플레이하는 동안 그리고 상기 눈 추적 디바이스를 통해, 상기 사용자 인터페이스의 상기 제1 영역으로 지향되는 상기 사용자의 시선을 검출하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 사전정의된 부분에 의해 제공되는 각자의 입력을 검출하는 단계 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스의 상기 제1 영역에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 것에 응답하여,
    하나 이상의 제1 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제1 사용자 인터페이스 객체에 대한 동작을 수행하는 단계; 및
    상기 제1 기준과는 상이한 하나 이상의 제2 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제2 사용자 인터페이스 객체에 대한 동작을 수행하는 단계를 포함하는, 방법.
  51. 제50항에 있어서,
    상기 사용자 인터페이스는 3차원 환경을 포함하고,
    상기 제1 영역은 상기 3차원 환경 내의 상기 전자 디바이스와 연관된 시점으로부터의 각자의 거리이고,
    상기 각자의 거리가 제1 거리라는 결정에 따라, 상기 제1 영역은 상기 3차원 환경 내의 제1 크기를 갖고,
    상기 각자의 거리가 상기 제1 거리와는 상이한 제2 거리라는 결정에 따라, 상기 제1 영역은 상기 3차원 환경 내의 상기 제1 크기와는 상이한 제2 크기를 갖는, 방법.
  52. 제51항에 있어서, 상기 3차원 환경 내의 상기 제1 영역의 크기는 상기 각자의 거리가 증가함에 따라 증가하는, 방법.
  53. 제50항 내지 제52항 중 어느 한 항에 있어서,
    상기 하나 이상의 제1 기준은 상기 제1 객체가 상기 제2 객체보다 상기 3차원 환경 내의 상기 사용자의 시점에 가까울 때 충족되고, 상기 하나 이상의 제2 기준은 상기 제2 객체가 상기 제1 객체보다 상기 3차원 환경 내의 상기 사용자의 상기 시점에 가까울 때 충족되는, 방법.
  54. 제50항 내지 제53항 중 어느 한 항에 있어서,
    상기 제1 사용자 인터페이스 객체의 유형 및 상기 제2 사용자 인터페이스 객체의 유형에 기초하여 상기 하나 이상의 제1 기준이 충족되거나 또는 상기 하나 이상의 제2 기준이 충족되는, 방법.
  55. 제50항 내지 제54항 중 어느 한 항에 있어서,
    상기 전자 디바이스에 의해 상기 제1 사용자 인터페이스 객체 및 상기 제2 사용자 인터페이스 객체에 대해 정의된 각자의 우선순위들에 기초하여 상기 하나 이상의 제1 기준이 충족되거나 또는 상기 하나 이상의 제2 기준이 충족되는, 방법.
  56. 제50항 내지 제55항 중 어느 한 항에 있어서,
    상기 각자의 입력을 검출하는 것에 응답하여,
    상기 제1 영역이 3차원 환경 내의 상기 전자 디바이스와 연관된 시점으로부터 임계 거리를 초과할 때 충족되는 기준을 포함하는 하나 이상의 제3 기준이 충족된다는 결정에 따라, 상기 제1 사용자 인터페이스 객체에 대해 상기 동작을 수행하는 것을 보류하고 상기 제2 사용자 인터페이스 객체에 대해 상기 동작을 수행하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  57. 제56항에 있어서,
    상기 제1 영역이 상기 3차원 환경 내의 상기 전자 디바이스와 연관된 상기 시점으로부터 상기 임계 거리를 초과한다는 결정에 따라, 상기 제1 영역 밖의 상기 사용자 인터페이스의 영역에 비해 상기 제1 사용자 인터페이스 객체 및 상기 제2 사용자 인터페이스 객체를 시각적으로 덜 강조하는 단계, 및
    상기 제1 영역이 상기 3차원 환경 내의 상기 전자 디바이스와 연관된 상기 시점으로부터 상기 임계 거리 미만이라는 결정에 따라, 상기 제1 영역 밖의 상기 사용자 인터페이스의 상기 영역에 비해 상기 제1 사용자 인터페이스 객체 및 상기 제2 사용자 인터페이스 객체를 시각적으로 덜 강조하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  58. 제50항 내지 제57항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 사전정의된 부분에 의해 제공되는 제2 각자의 입력을 검출하는 단계; 및
    상기 제2 각자의 입력을 검출하는 것에 응답하여:
    상기 제1 영역이 3차원 환경 내의 상기 사용자의 상기 시선으로부터 임계 각도를 초과할 때 충족되는 기준을 포함하는 하나 이상의 제3 기준이 충족된다는 결정에 따라, 상기 제1 사용자 인터페이스 객체에 대해 각자의 동작을 수행하는 것을 보류하고 상기 제2 사용자 인터페이스 객체에 대해 각자의 동작을 수행하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  59. 제58항에 있어서,
    상기 제1 영역이 상기 3차원 환경 내의 상기 전자 디바이스와 연관된 상기 시점으로부터 상기 임계 각도를 초과한다는 결정에 따라, 상기 제1 영역 밖의 상기 사용자 인터페이스의 영역에 비해 상기 제1 사용자 인터페이스 객체 및 상기 제2 사용자 인터페이스 객체를 시각적으로 덜 강조하는 단계, 및
    상기 제1 영역이 상기 3차원 환경 내의 상기 전자 디바이스와 연관된 상기 시점으로부터 상기 임계 각도 미만이라는 결정에 따라, 상기 제1 영역 밖의 상기 사용자 인터페이스의 상기 영역에 비해 상기 제1 사용자 인터페이스 객체 및 상기 제2 사용자 인터페이스 객체를 시각적으로 덜 강조하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  60. 제50항 내지 제59항 중 어느 한 항에 있어서, 상기 하나 이상의 제1 기준 및 상기 하나 이상의 제2 기준은 상기 제1 영역이 3차원 환경 내의 상기 전자 디바이스와 연관된 시점으로부터 임계 거리를 초과할 때 충족되고, 상기 제1 영역이 상기 3차원 환경 내의 상기 전자 디바이스와 연관된 상기 시점으로부터 상기 임계 거리 미만일 때 충족되지 않는 각자의 기준을 포함하고, 상기 방법은:
    상기 각자의 입력을 검출하는 것에 응답하여 그리고 상기 제1 영역이 상기 3차원 환경 내의 상기 전자 디바이스와 연관된 상기 시점으로부터 상기 임계 거리 미만이라는 결정에 따라:
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제1 사용자 인터페이스 객체에 대한 상기 동작을 수행하는 단계; 및
    상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 객체로 지향된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제2 사용자 인터페이스 객체에 대한 상기 동작을 수행하는 단계를 추가로 포함하는, 방법.
  61. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 포함하는 제1 영역을 포함하는 사용자 인터페이스를 디스플레이하고;
    상기 사용자 인터페이스를 디스플레이하는 동안 그리고 눈 추적 디바이스를 통해, 상기 사용자 인터페이스의 상기 제1 영역으로 지향되는 상기 사용자의 시선을 검출하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 사전정의된 부분에 의해 제공되는 각자의 입력을 검출하고 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스의 상기 제1 영역에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 것에 응답하여,
    하나 이상의 제1 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제1 사용자 인터페이스 객체에 대한 동작을 수행하고;
    상기 제1 기준과는 상이한 하나 이상의 제2 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제2 사용자 인터페이스 객체에 대한 동작을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  62. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 포함하는 제1 영역을 포함하는 사용자 인터페이스를 디스플레이하는 단계;
    상기 사용자 인터페이스를 디스플레이하는 동안 그리고 눈 추적 디바이스를 통해, 상기 사용자 인터페이스의 상기 제1 영역으로 지향되는 상기 사용자의 시선을 검출하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 사전정의된 부분에 의해 제공되는 각자의 입력을 검출하는 단계 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스의 상기 제1 영역에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 것에 응답하여,
    하나 이상의 제1 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제1 사용자 인터페이스 객체에 대한 동작을 수행하는 단계; 및
    상기 제1 기준과는 상이한 하나 이상의 제2 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제2 사용자 인터페이스 객체에 대한 동작을 수행하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  63. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 포함하는 제1 영역을 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스를 디스플레이하는 동안 그리고 눈 추적 디바이스를 통해, 상기 사용자 인터페이스의 상기 제1 영역으로 지향되는 상기 사용자의 시선을 검출하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 사전정의된 부분에 의해 제공되는 각자의 입력을 검출하기 위한 수단 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스의 상기 제1 영역에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 것에 응답하여:
    하나 이상의 제1 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제1 사용자 인터페이스 객체에 대한 동작을 수행하기 위한 수단; 및
    상기 제1 기준과는 상이한 하나 이상의 제2 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제2 사용자 인터페이스 객체에 대한 동작을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  64. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 포함하는 제1 영역을 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스를 디스플레이하는 동안 그리고 눈 추적 디바이스를 통해, 상기 사용자 인터페이스의 상기 제1 영역으로 지향되는 상기 사용자의 시선을 검출하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 사전정의된 부분에 의해 제공되는 각자의 입력을 검출하기 위한 수단 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스의 상기 제1 영역에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 것에 응답하여:
    하나 이상의 제1 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제1 사용자 인터페이스 객체에 대한 동작을 수행하기 위한 수단; 및
    상기 제1 기준과는 상이한 하나 이상의 제2 기준이 충족된다는 결정에 따라, 상기 각자의 입력에 기초하여 상기 제2 사용자 인터페이스 객체에 대한 동작을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  65. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제50항 내지 제60항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  66. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제50항 내지 제60항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  67. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제50항 내지 제60항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  68. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    제50항 내지 제60항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  69. 방법으로서,
    디스플레이 생성 컴포넌트 및 눈 추적 디바이스를 포함하는 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서:
    상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 디스플레이하는 단계 - 상기 사용자 인터페이스는 제1 상태의 제1 사용자 인터페이스 객체 및 상기 제1 상태의 제2 사용자 인터페이스 객체를 포함하는, 각자의 유형의 복수의 사용자 인터페이스 객체들을 포함함 -;
    상기 전자 디바이스의 사용자의 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안, 상기 전자 디바이스의 상기 사용자의 제1 사전정의된 부분이 상기 사용자 인터페이스 내의 상기 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치로부터 임계 거리보다 멀어질 때 충족되는 기준을 포함하는 하나 이상의 기준이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 상태의 상기 제2 사용자 인터페이스 객체의 디스플레이를 유지하는 동안 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 단계 - 상기 제2 상태는 상기 제1 상태와는 상이함 -; 및
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안:
    상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 제1 사전정의된 부분의 이동을 검출하는 단계; 및
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제2 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하는 단계를 포함하는, 방법.
  70. 제69항에 있어서,
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제2 사용자 인터페이스 객체에 대응하는 상기 위치의 상기 임계 거리 내에서 이동한다는 상기 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  71. 제69항 또는 제70항에 있어서,
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라, 상기 제2 상태의 상기 제1 사용자 인터페이스 객체의 디스플레이를 유지하는 단계를 추가로 포함하는, 방법.
  72. 제69항 내지 제71항 중 어느 한 항에 있어서,
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 복수의 사용자 인터페이스 객체들 중 제3 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제3 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  73. 제69항 내지 제72항 중 어느 한 항에 있어서,
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 객체에 대응하는 위치 및 상기 제2 사용자 인터페이스 객체에 대응하는 상기 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라:
    상기 제1 사전정의된 부분이 상기 제2 사용자 인터페이스 객체에 대응하는 상기 위치보다 상기 제1 사용자 인터페이스 객체에 대응하는 상기 위치에 더 가깝다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 단계; 및
    상기 제1 사전정의된 부분이 제1 사용자 인터페이스 객체에 대응하는 상기 위치보다 상기 제2 사용자 인터페이스 객체에 대응하는 상기 위치에 더 가깝다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  74. 제69항 내지 제73항 중 어느 한 항에 있어서, 상기 하나 이상의 기준은 상기 사용자의 상기 제1 사전정의된 부분이 사전결정된 포즈일 때 충족되는 기준을 포함하는, 방법.
  75. 제69항 내지 제74항 중 어느 한 항에 있어서, 상기 방법은:
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라, 상기 제2 상태의 상기 제1 사용자 인터페이스 객체의 디스플레이를 유지하는 단계를 추가로 포함하고,
    이때,
    상기 제2 상태의 상기 제1 사용자 인터페이스 객체는 상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 객체에 대응하는 상기 위치의 상기 임계 거리를 초과할 때 제1 시각적 외관을 갖고,
    상기 제2 상태의 상기 제1 사용자 인터페이스 객체는 상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 객체에 대응하는 상기 위치의 상기 임계 거리 내에 있을 때 상기 제1 시각적 외관과는 상이한 제2 시각적 외관을 갖는, 방법.
  76. 제69항 내지 제75항 중 어느 한 항에 있어서, 상기 방법은:
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안, 상기 사용자의 상기 제1 사전정의된 부분과는 상이한 제2 사전정의된 부분이 상기 사용자 인터페이스 내의 상기 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 상기 위치로부터 상기 임계 거리보다 멀어질 때 충족되는 기준을 포함하는 하나 이상의 제2 기준이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하고,
    이때,
    상기 하나 이상의 기준이 충족된다는 상기 결정에 따라 상기 제2 상태의 상기 제1 사용자 인터페이스 객체는 제1 시각적 외관을 갖고,
    상기 하나 이상의 제2 기준이 충족된다는 상기 결정에 따라 상기 제2 상태의 상기 제1 사용자 인터페이스 객체는 상기 제1 시각적 외관과는 상이한 제2 시각적 외관을 갖는, 방법.
  77. 제69항 내지 제76항 중 어느 한 항에 있어서, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하는 단계는 상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향되게 유지되는 동안 발생하는, 방법.
  78. 제69항 내지 제77항 중 어느 한 항에 있어서, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하는 단계는 상기 제2 사용자 인터페이스 객체가 상기 전자 디바이스의 상기 사용자와 연관된 주목 구역 내에 있다는 결정에 따라 멀어지는, 방법.
  79. 제69항 내지 제78항 중 어느 한 항에 있어서, 상기 하나 이상의 기준은 상기 사용자의 상기 제1 사전정의된 부분을 포함하는, 상기 사용자의 적어도 하나의 사전정의된 부분이 사전결정된 포즈일 때 충족되는 기준을 포함하는, 방법.
  80. 제69항 내지 제79항 중 어느 한 항에 있어서,
    상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자와 연관된 주목 구역의 제1 이동을 검출하는 단계; 및
    상기 사용자와 연관된 상기 주목 구역의 상기 제1 이동을 검출하는 것에 응답하여:
    상기 주목 구역이 상기 각자의 유형의 제3 사용자 인터페이스 객체를 포함하고, 상기 사용자의 상기 제1 사전정의된 부분이 상기 제3 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제3 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  81. 제80항에 있어서,
    상기 주목 구역의 상기 제1 이동을 검출한 후에 그리고 상기 제2 상태의 상기 제3 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 주목 구역의 제2 이동을 검출하는 단계 - 상기 제3 사용자 인터페이스 객체는 상기 주목 구역의 상기 제2 이동의 결과로서 더 이상 상기 주목 구역 내에 있지 않음 -; 및
    상기 주목 구역의 상기 제2 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제3 사용자 인터페이스 객체의 상기 임계 거리 내에 있다는 결정에 따라, 상기 제2 상태의 상기 제3 사용자 인터페이스 객체의 디스플레이를 유지하는 단계를 추가로 포함하는, 방법.
  82. 제81항에 있어서,
    상기 주목 구역의 상기 제2 이동을 검출하는 것에 응답하여 그리고 상기 사용자의 상기 제1 사전정의된 부분이 상기 제3 사용자 인터페이스 객체와 결속되어 있지 않다는 결정에 따라:
    상기 제1 사용자 인터페이스 객체가 상기 주목 구역 내에 있고, 상기 하나 이상의 기준이 충족되고, 상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향된다는 결정에 따라, 상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 단계; 및
    상기 제2 사용자 인터페이스 객체가 상기 주목 구역 내에 있고, 상기 하나 이상의 기준이 충족되고, 상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 객체로 지향된다는 결정에 따라, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  83. 제69항 내지 제82항 중 어느 한 항에 있어서,
    상기 하나 이상의 기준이 충족되는 동안:
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하기 전에 그리고 상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 눈 추적 디바이스를 통해, 상기 제2 사용자 인터페이스 객체로의 상기 사용자의 상기 시선의 이동을 검출하는 단계; 및
    상기 제2 사용자 인터페이스 객체로의 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  84. 제83항에 있어서,
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출한 후에 그리고 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하는 동안 상기 사용자의 상기 제1 사전정의된 부분이 상기 제2 사용자 인터페이스 객체에 대응하는 상기 위치의 상기 임계 거리 내에 있다는 상기 결정에 따라, 상기 눈 추적 디바이스를 통해, 상기 제1 사용자 인터페이스 객체로의 상기 사용자의 상기 시선의 이동을 검출하는 단계; 및
    상기 제1 사용자 인터페이스 객체로의 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체의 디스플레이를 유지하는 단계를 추가로 포함하는, 방법.
  85. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 디스플레이하고 - 상기 사용자 인터페이스는 제1 상태의 제1 사용자 인터페이스 객체 및 상기 제1 상태의 제2 사용자 인터페이스 객체를 포함하는, 각자의 유형의 복수의 사용자 인터페이스 객체들을 포함함 -;
    상기 전자 디바이스의 사용자의 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안, 상기 전자 디바이스의 상기 사용자의 제1 사전정의된 부분이 상기 사용자 인터페이스 내의 상기 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치로부터 임계 거리보다 멀어질 때 충족되는 기준을 포함하는 하나 이상의 기준이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 상태의 상기 제2 사용자 인터페이스 객체의 디스플레이를 유지하는 동안 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하고 - 상기 제2 상태는 상기 제1 상태와는 상이함 -; 및
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안:
    상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 제1 사전정의된 부분의 이동을 검출하고;
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제2 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하기 위한 명령어들을 포함하는, 전자 디바이스.
  86. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
    디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 디스플레이하는 단계 - 상기 사용자 인터페이스는 제1 상태의 제1 사용자 인터페이스 객체 및 상기 제1 상태의 제2 사용자 인터페이스 객체를 포함하는, 각자의 유형의 복수의 사용자 인터페이스 객체들을 포함함 -;
    상기 전자 디바이스의 사용자의 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안, 상기 전자 디바이스의 상기 사용자의 제1 사전정의된 부분이 상기 사용자 인터페이스 내의 상기 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치로부터 임계 거리보다 멀어질 때 충족되는 기준을 포함하는 하나 이상의 기준이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 상태의 상기 제2 사용자 인터페이스 객체의 디스플레이를 유지하는 동안 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 단계 - 상기 제2 상태는 상기 제1 상태와는 상이함 -; 및
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안:
    상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 제1 사전정의된 부분의 이동을 검출하는 단계; 및
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제2 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  87. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 디스플레이하기 위한 수단 - 상기 사용자 인터페이스는 제1 상태의 제1 사용자 인터페이스 객체 및 상기 제1 상태의 제2 사용자 인터페이스 객체를 포함하는, 각자의 유형의 복수의 사용자 인터페이스 객체들을 포함함 -;
    상기 전자 디바이스의 사용자의 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안, 상기 전자 디바이스의 상기 사용자의 제1 사전정의된 부분이 상기 사용자 인터페이스 내의 상기 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치로부터 임계 거리보다 멀어질 때 충족되는 기준을 포함하는 하나 이상의 기준이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 상태의 상기 제2 사용자 인터페이스 객체의 디스플레이를 유지하는 동안 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하기 위한 수단 - 상기 제2 상태는 상기 제1 상태와는 상이함 -; 및
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안:
    상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 제1 사전정의된 부분의 이동을 검출하기 위한 수단; 및
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제2 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하기 위한 수단을 포함하는, 전자 디바이스.
  88. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스를 디스플레이하기 위한 수단 - 상기 사용자 인터페이스는 제1 상태의 제1 사용자 인터페이스 객체 및 상기 제1 상태의 제2 사용자 인터페이스 객체를 포함하는, 각자의 유형의 복수의 사용자 인터페이스 객체들을 포함함 -;
    상기 전자 디바이스의 사용자의 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안, 상기 전자 디바이스의 상기 사용자의 제1 사전정의된 부분이 상기 사용자 인터페이스 내의 상기 복수의 사용자 인터페이스 객체들 중 임의의 것에 대응하는 위치로부터 임계 거리보다 멀어질 때 충족되는 기준을 포함하는 하나 이상의 기준이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 상태의 상기 제2 사용자 인터페이스 객체의 디스플레이를 유지하는 동안 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하기 위한 수단 - 상기 제2 상태는 상기 제1 상태와는 상이함 -; 및
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 객체로 지향되는 동안:
    상기 제2 상태의 상기 제1 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 제1 사전정의된 부분의 이동을 검출하기 위한 수단; 및
    상기 사용자의 상기 제1 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제2 사용자 인터페이스 객체에 대응하는 위치의 상기 임계 거리 내에서 이동한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 상태의 상기 제2 사용자 인터페이스 객체를 디스플레이하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  89. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제69항 내지 제84항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  90. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제69항 내지 제84항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  91. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제69항 내지 제84항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  92. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    제69항 내지 제84항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  93. 방법으로서,
    디스플레이 생성 컴포넌트 및 눈 추적 디바이스를 포함하는 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서:
    상기 전자 디바이스의 사용자의 시선이 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소로 지향되는 동안, 상기 눈 추적 디바이스를 통해, 상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 이동을 검출하는 단계; 및
    상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 제1 사전정의된 부분과는 상이한 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 시각적 외관을 변경하는 단계; 및
    상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 변경하는 것을 보류하는 단계를 포함하는, 방법.
  94. 제93항에 있어서,
    상기 사용자의 상기 제1 사전정의된 부분 및 상기 사용자의 상기 제2 사전정의된 부분이 어떠한 사용자 인터페이스 요소와도 결속되지 않을 때 충족되는 기준을 포함하는 하나 이상의 기준이 충족되는 동안:
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 요소로 지향된다는 결정에 따라, 상기 제1 사용자 인터페이스 요소와의 결속이 가능함을 나타내는 시각적 특성을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계 - 상기 제2 사용자 인터페이스 요소는 상기 시각적 특성 없이 디스플레이됨 -; 및
    상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 요소로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스 요소와의 결속이 가능함을 나타내는 상기 시각적 특성을 갖는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계 - 상기 제1 사용자 인터페이스 요소는 상기 시각적 특성 없이 디스플레이됨 -;
    상기 하나 이상의 기준이 충족되는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 제1 사전정의된 부분 또는 상기 제2 사전정의된 부분으로부터의 입력을 검출하는 단계; 및
    상기 입력을 검출하는 것에 응답하여,
    상기 입력이 수신될 때 상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 요소로 지향된다는 상기 결정에 따라, 상기 제1 사용자 인터페이스 요소에 대응하는 동작을 수행하는 단계; 및
    상기 입력이 수신될 때 상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 요소로 지향된다는 상기 결정에 따라, 상기 제2 사용자 인터페이스 요소에 대응하는 동작을 수행하는 단계를 추가로 포함하는, 방법.
  95. 제94항에 있어서, 상기 하나 이상의 기준은 상기 사용자의 상기 제1 사전정의된 부분 또는 상기 제2 사전정의된 부분 중 적어도 하나가 사용자 인터페이스 요소와의 결속에 이용가능할 때 충족되는 기준을 포함하는, 방법.
  96. 제93항 내지 제95항 중 어느 한 항에 있어서,
    상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여:
    상기 제1 사전정의된 부분 및 상기 사용자의 상기 제2 사전정의된 부분이 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 변경하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  97. 제93항 내지 제96항 중 어느 한 항에 있어서,
    상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능한 동안 그리고 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 상기 제2 사용자 인터페이스 요소의 변경된 외관으로 변경한 후에, 상기 눈 추적 디바이스를 통해, 상기 사용자의 상기 제2 사전정의된 부분이 더 이상 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 것을 검출하는 단계; 및
    상기 사용자의 상기 제2 사전정의된 부분이 더 이상 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 것을 검출하는 것에 응답하여, 상기 제2 사용자 인터페이스 요소의 상기 변경된 외관을 디스플레이하는 것을 중단하는 단계를 추가로 포함하는, 방법.
  98. 제93항 내지 제97항 중 어느 한 항에 있어서,
    상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 상기 결정 후에 그리고 상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 요소로 지향되는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 제2 사전정의된 부분이 이제 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능함을 검출하는 단계; 및
    상기 사용자의 상기 제2 사전정의된 부분이 이제 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능함을 검출하는 것에 응답하여, 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 변경하는 단계를 추가로 포함하는, 방법.
  99. 제93항 내지 제98항 중 어느 한 항에 있어서,
    상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여:
    상기 제1 사전정의된 부분 및 상기 사용자의 상기 제2 사전정의된 부분이 이미 상기 제2 사용자 인터페이스 요소 이외의 각자의 사용자 인터페이스 요소들과 결속되어 있다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 변경하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  100. 제93항 내지 제99항 중 어느 한 항에 있어서, 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 상기 결정은 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와는 상이한 제3 사용자 인터페이스 요소와 결속되어 있다는 결정에 기초하는, 방법.
  101. 제93항 내지 제100항 중 어느 한 항에 있어서, 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 상기 결정은 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 필요한 사전결정된 포즈가 아니라는 결정에 기초하는, 방법.
  102. 제93항 내지 제101항 중 어느 한 항에 있어서, 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 상기 결정은 상기 사용자의 상기 제2 사전정의된 부분이 상기 전자 디바이스와 통신하는 상기 하나 이상의 입력 디바이스들에 의해 검출되지 않는다는 결정에 기초하는, 방법.
  103. 제93항 내지 제102항 중 어느 한 항에 있어서,
    상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 사용자 인터페이스 요소 및 상기 제2 사용자 인터페이스 요소를 디스플레이하는 동안:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있고, 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소에 대응하는 위치의 상기 임계 거리 내에 있다는 결정에 따라:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 요소와의 직접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계; 및
    상기 제2 사용자 인터페이스 요소가 상기 사용자의 상기 제2 사전정의된 부분과의 직접 결속에 이용가능함을 나타내는 상기 시각적 특성을 갖는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계를 추가로 포함하는, 방법.
  104. 제93항 내지 제103항 중 어느 한 항에 있어서,
    상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 사용자 인터페이스 요소 및 상기 제2 사용자 인터페이스 요소를 디스플레이하는 동안:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있고, 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소에 대응하는 위치의 상기 임계 거리보다 멀리 있지만 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하다는 결정에 따라:
    상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 요소와의 직접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계;
    상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 요소로 지향된다는 결정에 따라, 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 간접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계; 및
    상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 요소로 지향되지 않는다는 결정에 따라, 상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 간접 결속에 이용가능함을 나타내는 상기 시각적 특성 없이 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계를 추가로 포함하는, 방법.
  105. 제93항 내지 제104항 중 어느 한 항에 있어서,
    상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 사용자 인터페이스 요소 및 상기 제2 사용자 인터페이스 요소를 디스플레이하는 동안:
    상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소에 대응하는 위치의 임계 거리 내에 있고, 상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대응하는 위치의 상기 임계 거리보다 멀리 있지만 상기 제1 사용자 인터페이스 요소와의 결속에 이용가능하다는 결정에 따라:
    상기 제2 사용자 인터페이스 요소가 상기 사용자의 상기 제2 사전정의된 부분과의 직접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 단계;
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 요소로 지향된다는 결정에 따라, 상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 요소와의 간접 결속에 이용가능함을 나타내는 시각적 특성을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계; 및
    상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 요소로 지향되지 않는다는 결정에 따라, 상기 사용자의 상기 제1 사전정의된 부분이 상기 제1 사용자 인터페이스 요소와의 간접 결속에 이용가능함을 나타내는 상기 시각적 특성 없이 상기 제1 사용자 인터페이스 요소를 디스플레이하는 단계를 추가로 포함하는, 방법.
  106. 제93항 내지 제105항 중 어느 한 항에 있어서,
    상기 제1 사용자 인터페이스 요소로부터 멀리 상기 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 상기 이동을 검출한 후에 그리고 상기 변경된 시각적 외관을 갖는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 사용자 인터페이스 요소와 직접 결속된 상기 사용자의 상기 제2 사전정의된 부분을 검출하는 단계; 및
    상기 제1 사용자 인터페이스 요소와 직접 결속된 상기 사용자의 상기 제2 사전정의된 부분을 검출하는 것에 응답하여, 상기 변경된 시각적 외관을 갖는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  107. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    상기 전자 디바이스의 사용자의 시선이 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소로 지향되는 동안, 눈 추적 디바이스를 통해, 상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 이동을 검출하고;
    상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 제1 사전정의된 부분과는 상이한 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 시각적 외관을 변경하고;
    상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 변경하는 것을 보류하기 위한 명령어들을 포함하는, 전자 디바이스.
  108. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
    상기 전자 디바이스의 사용자의 시선이 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소로 지향되는 동안, 상기 눈 추적 디바이스를 통해, 상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 이동을 검출하는 단계; 및
    상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 제1 사전정의된 부분과는 상이한 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 시각적 외관을 변경하는 단계; 및
    상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 변경하는 것을 보류하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  109. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    상기 전자 디바이스의 사용자의 시선이 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소로 지향되는 동안, 눈 추적 디바이스를 통해, 상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 이동을 검출하기 위한 수단;
    상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 제1 사전정의된 부분과는 상이한 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 시각적 외관을 변경하기 위한 수단; 및
    상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 변경하는 것을 보류하기 위한 수단을 포함하는, 전자 디바이스.
  110. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    상기 전자 디바이스의 사용자의 시선이 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제1 사용자 인터페이스 요소로 지향되는 동안, 눈 추적 디바이스를 통해, 상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 이동을 검출하기 위한 수단;
    상기 제1 사용자 인터페이스 요소로부터 멀리 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 제2 사용자 인터페이스 요소로 상기 사용자의 상기 시선의 상기 이동을 검출하는 것에 응답하여:
    상기 사용자의 제1 사전정의된 부분과는 상이한 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 시각적 외관을 변경하기 위한 수단; 및
    상기 사용자의 상기 제2 사전정의된 부분이 상기 제2 사용자 인터페이스 요소와의 결속에 이용가능하지 않다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 시각적 외관을 변경하는 것을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  111. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제93항 내지 제106항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  112. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제93항 내지 제106항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  113. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제93항 내지 제106항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  114. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    제93항 내지 제106항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  115. 방법으로서,
    디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 3차원 환경 내의 사용자 인터페이스 객체를 디스플레이하는 단계;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분의 이동을 포함하는 각자의 입력을 검출하는 단계 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스 객체에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 제1 부분이 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제1 위치 내에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제1 위치에 대응하는 상기 3차원 환경 내의 제1 위치에서 시각적 표시를 디스플레이하는 단계; 및
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제2 위치에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제2 위치에 대응하는 상기 3차원 환경 내의 제2 위치에서 시각적 표시를 디스플레이하는 단계 - 상기 제2 위치는 상기 제1 위치와는 상이함 -를 포함하는, 방법.
  116. 제115항에 있어서,
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분에 상기 사용자의 상기 사전정의된 부분의 상기 이동의 제2 부분이 후속될 때 충족되는 기준을 포함하는 하나 이상의 제2 기준이 충족된다는 상기 결정에 따라, 상기 각자의 입력에 따라 상기 사용자 인터페이스 객체에 대해 선택 동작을 수행하는 단계; 및
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족하지 않고 상기 하나 이상의 제2 기준이 충족된다는 상기 결정에 따라, 상기 사용자 인터페이스 객체에 대한 상기 선택 동작을 수행하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  117. 제115항 또는 제116항에 있어서,
    상기 각자의 입력을 검출하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 이동에 따라 이동하는 상기 사용자의 상기 사전정의된 부분의 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
  118. 제115항 내지 제117항 중 어느 한 항에 있어서, 상기 사용자의 상기 사전정의된 부분은 상기 디스플레이 생성 컴포넌트를 통해 상기 3차원 환경 내에서 보이는, 방법.
  119. 제115항 내지 제118항 중 어느 한 항에 있어서,
    상기 각자의 입력을 검출하는 동안 그리고 상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족한다는 상기 결정에 따라, 상기 각자의 입력에 따라 상기 사용자 인터페이스 객체의 디스플레이를 수정하는 단계를 추가로 포함하는, 방법.
  120. 제119항에 있어서, 상기 사용자 인터페이스 객체의 상기 디스플레이를 수정하는 단계는:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족한 후에 상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 객체에 대응하는 위치를 향해 이동한다는 결정에 따라, 상기 사용자 인터페이스 객체에 대응하는 상기 위치를 향한 상기 사용자의 상기 사전정의된 부분의 상기 이동에 따라 상기 3차원 환경 내에서 상기 사용자 인터페이스 객체를 뒤로 이동하는 단계를 포함하는, 방법.
  121. 제120항에 있어서,
    상기 사용자 인터페이스 객체는, 상기 디스플레이 생성 컴포넌트를 통해, 각자의 사용자 인터페이스에서 디스플레이되고,
    상기 각자의 입력이 스크롤 입력이라는 결정에 따라, 상기 전자 디바이스는 상기 사용자 인터페이스 객체에 대응하는 상기 위치를 향한 상기 사용자의 상기 사전정의된 부분의 상기 이동에 따라 상기 각자의 사용자 인터페이스 및 상기 사용자 인터페이스 객체를 뒤로 이동하고,
    상기 각자의 입력이 스크롤 입력 이외의 입력이라는 결정에 따라, 상기 전자 디바이스는 상기 각자의 사용자 인터페이스를 이동하지 않고 상기 각자의 사용자 인터페이스에 대해 상기 사용자 인터페이스 객체를 이동하는, 방법.
  122. 제120항 또는 제121항에 있어서,
    상기 각자의 입력을 검출하는 동안:
    상기 사용자 인터페이스 객체를 향한 상기 사용자의 상기 사전정의된 부분의 상기 이동을 검출한 후에 그리고 상기 3차원 환경 내에서 상기 사용자 인터페이스 객체를 뒤로 이동한 후에, 상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 멀어지는 상기 사용자의 상기 사전정의된 부분의 이동을 검출하는 단계; 및
    상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 멀어지는 상기 사용자의 상기 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여, 상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 멀어지는 상기 사용자의 상기 사전정의된 부분의 상기 이동에 따라 상기 사용자 인터페이스 객체를 상기 3차원 환경 내에서 전방으로 이동하는 단계를 추가로 포함하는, 방법.
  123. 제115항 내지 제122항 중 어느 한 항에 있어서,
    상기 사용자의 상기 사전정의된 부분의 상기 제1 위치에 대응하는 상기 3차원 환경 내의 상기 제1 위치에서의 상기 시각적 표시는 상기 3차원 환경 내의 제1 각자의 위치에서 상기 3차원 환경에서 보이는 상기 사용자의 상기 사전정의된 부분의 표현에 근접하게 디스플레이되고,
    상기 사용자의 상기 사전정의된 부분의 상기 제2 위치에 대응하는 상기 3차원 환경 내의 상기 제2 위치에서의 상기 시각적 표시는 상기 3차원 환경 내의 제2 각자의 위치에서 상기 3차원 환경에서 보이는 상기 사용자의 상기 사전정의된 부분의 상기 표현에 근접하게 디스플레이되는, 방법.
  124. 제119항 내지 제123항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 사전정의된 부분의 이동을 포함하는 제2 각자의 입력을 검출하는 단계 - 상기 제2 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 상기 위치는 상기 사용자 인터페이스 객체에 대응하는 상기 위치에 있음 -; 및
    상기 제2 각자의 입력을 검출하는 동안:
    상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분에 대응하는 상기 위치에서 상기 시각적 표시를 디스플레이하지 않고, 상기 제2 각자의 입력에 따라 상기 사용자 인터페이스 객체의 디스플레이를 수정하는 단계를 추가로 포함하는, 방법.
  125. 제119항 내지 제124항 중 어느 한 항에 있어서, 상기 전자 디바이스는 상기 각자의 입력에 응답하여 각자의 동작을 수행하고, 상기 방법은:
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 입력 내의 상기 사용자의 상기 사전정의된 부분의 상기 이동과 동일한 유형의 이동을 포함하는 상기 사용자의 상기 사전정의된 부분의 이동을 포함하는 제3 각자의 입력을 검출하는 단계 - 상기 제3 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 상기 위치는 상기 사용자 인터페이스 객체에 대응하는 상기 위치에 있음 -; 및
    상기 제3 각자의 입력을 검출하는 것에 응답하여, 상기 각자의 동작을 수행하는 단계를 추가로 포함하는, 방법.
  126. 제115항 내지 제125항 중 어느 한 항에 있어서,
    상기 각자의 입력을 검출하기 전에:
    상기 사용자의 시선이 상기 사용자 인터페이스 객체로 지향된다는 결정에 따라, 제1 값을 갖는 각자의 시각적 특성을 갖는 상기 사용자 인터페이스 객체를 디스플레이하는 단계; 및
    상기 사용자의 상기 시선이 상기 사용자 인터페이스 객체로 지향되지 않는다는 결정에 따라, 상기 제1 값과는 상이한 제2 값을 갖는 상기 각자의 시각적 특성을 갖는 상기 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  127. 제115항 내지 제126항 중 어느 한 항에 있어서,
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족한 후에:
    하나 이상의 제2 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 이동의 제2 부분에, 하나 이상의 제3 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 이동의 제3 부분이 후속되는 것이 검출된다는 결정에 따라 - 상기 하나 이상의 제2 기준은 상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제2 부분이 상기 사용자 인터페이스 객체에 대응하는 상기 위치를 향한 이동 임계치를 초과하는 이동을 포함할 때 충족되는 기준을 포함하고, 상기 하나 이상의 제3 기준은 상기 이동의 상기 제3 부분이 상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 멀리 있고 상기 이동의 상기 제2 부분의 시간 임계치 내에 검출될 때 충족되는 기준을 포함함 -, 상기 사용자 인터페이스 객체에 대해 탭 동작을 수행하는 단계를 추가로 포함하는, 방법.
  128. 제115항 내지 제127항 중 어느 한 항에 있어서,
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족한 후에:
    하나 이상의 제2 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 이동의 제2 부분에, 하나 이상의 제3 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 이동의 제3 부분이 후속되는 것이 검출된다는 결정에 따라 - 상기 하나 이상의 제2 기준은 상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제2 부분이 상기 사용자 인터페이스 객체에 대응하는 상기 위치를 향한 이동 임계치를 초과하는 이동을 포함할 때 충족되는 기준을 포함하고, 상기 하나 이상의 제3 기준은 상기 이동의 상기 제3 부분이 상기 사용자 인터페이스 객체에 대응하는 상기 위치에 대한 측방향 이동일 때 충족되는 기준을 포함함 -, 상기 이동의 상기 제3 부분에 따라 상기 사용자 인터페이스 객체에 대해 스크롤 동작을 수행하는 단계를 추가로 포함하는, 방법.
  129. 제115항 내지 제128항 중 어느 한 항에 있어서,
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족한 후에, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 멀어지는 상기 사용자의 상기 사전정의된 부분의 상기 이동의 제2 부분을 검출하는 단계; 및
    상기 이동의 상기 제2 부분을 검출하는 것에 응답하여, 상기 이동의 상기 제2 부분에 따라 상기 시각적 표시의 외관을 업데이트하는 단계를 추가로 포함하는, 방법.
  130. 제129항에 있어서, 상기 시각적 표시의 상기 외관을 업데이트하는 단계는 상기 시각적 표시의 디스플레이를 중단하는 단계를 포함하고, 상기 방법은:
    상기 시각적 표시의 디스플레이를 중단한 후에, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 사전정의된 부분의 제2 이동을 포함하는 제2 각자의 입력을 검출하는 단계 - 상기 제2 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 상기 위치는 상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 멀리 있음 -; 및
    상기 제2 각자의 입력을 검출하는 동안:
    상기 제2 이동의 제1 부분이 상기 하나 이상의 기준을 충족한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 각자의 입력 동안 상기 사용자의 상기 사전정의된 부분에 대응하는 상기 3차원 환경 내의 위치에서 제2 시각적 표시를 디스플레이하는 단계를 추가로 포함하는, 방법.
  131. 제115항 내지 제130항 중 어느 한 항에 있어서, 상기 각자의 입력은 상기 사용자 인터페이스 객체로 지향되는 스크롤링 입력에 대응하고, 상기 방법은:
    상기 시각적 표시의 디스플레이를 유지하는 동안 상기 각자의 입력에 따라 상기 사용자 인터페이스 객체를 스크롤하는 단계를 추가로 포함하는, 방법.
  132. 제115항 내지 제131항 중 어느 한 항에 있어서,
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족한 후에, 상기 하나 이상의 입력 디바이스들을 통해, 상기 이동의 상기 제2 부분이 상기 시각적 표시에 대응하는 위치와 상기 사용자의 상기 사전정의된 부분 사이의 거리에 대응할 때 충족되는 기준을 포함하는 하나 이상의 제2 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 이동의 제2 부분을 검출하는 단계; 및
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제2 부분을 검출하는 것에 응답하여, 상기 하나 이상의 제2 기준이 충족됨을 나타내는 오디오 피드백을 생성하는 단계를 추가로 포함하는, 방법.
  133. 제115항 내지 제132항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 사용자의 상기 사전정의된 부분의 상기 위치가 상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 멀리 있는 동안 상기 사용자의 상기 사전정의된 부분이 각자의 포즈를 가질 때 충족되는 기준을 포함하는, 하나 이상의 제2 기준이 충족되는 것을 검출하는 단계; 및
    상기 하나 이상의 제2 기준이 충족되는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분에 대응하는 위치에 근접하게 그리고 상기 사용자 인터페이스 객체로부터 멀리 가상 표면을 디스플레이하는 단계를 추가로 포함하는, 방법.
  134. 제133항에 있어서,
    상기 가상 표면을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 가상 표면에 대응하는 위치를 향한 상기 사용자의 상기 사전정의된 부분의 각자의 이동을 검출하는 단계; 및
    상기 각자의 이동을 검출하는 것에 응답하여, 상기 각자의 이동에 따라 상기 가상 표면의 시각적 외관을 변경하는 단계를 추가로 포함하는, 방법.
  135. 제132항 또는 제133항에 있어서,
    상기 가상 표면을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 가상 표면에 대응하는 위치를 향한 상기 사용자의 상기 사전정의된 부분의 각자의 이동을 검출하는 단계; 및
    상기 각자의 이동을 검출하는 것에 응답하여, 상기 각자의 이동에 따라 상기 사용자 인터페이스 객체의 시각적 외관을 변경하는 단계를 추가로 포함하는, 방법.
  136. 제133항 내지 제135항 중 어느 한 항에 있어서, 상기 사용자의 상기 사전정의된 부분에 대응하는 위치에 근접하게 상기 가상 표면을 디스플레이하는 단계는 상기 사용자의 상기 사전정의된 부분에 대응하는 상기 위치로부터 각자의 거리에서 상기 가상 표면을 디스플레이하는 단계를 포함하고, 상기 각자의 거리는 상기 사용자 인터페이스 객체에 대해 동작을 수행하는 데 필요한 상기 가상 표면에 대응하는 위치를 향한 상기 사용자의 상기 사전정의된 부분의 이동량에 대응하는, 방법.
  137. 제133항 내지 제136항 중 어느 한 항에 있어서,
    상기 가상 표면을 디스플레이하는 동안, 상기 가상 표면 상에, 상기 사용자의 상기 사전정의된 부분과 상기 가상 표면에 대응하는 위치 사이의 거리의 시각적 표시를 디스플레이하는 단계를 추가로 포함하는, 방법.
  138. 제133항 내지 제137항 중 어느 한 항에 있어서,
    상기 가상 표면을 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 가상 표면에 대응하는 위치로부터 임계 거리를 초과하는 각자의 위치로의 상기 사용자의 상기 사전정의된 부분의 이동을 검출하는 단계; 및
    상기 각자의 위치로의 상기 사용자의 상기 사전정의된 부분의 상기 이동을 검출하는 것에 응답하여, 상기 3차원 환경 내의 상기 가상 표면의 디스플레이를 중단하는 단계를 추가로 포함하는, 방법.
  139. 제133항 내지 제138항 중 어느 한 항에 있어서, 상기 사용자의 상기 사전정의된 부분에 근접하게 상기 가상 표면을 디스플레이하는 단계는:
    상기 하나 이상의 제2 기준이 충족될 때 상기 사용자의 상기 사전정의된 부분이 제1 각자의 위치에 있다는 결정에 따라, 상기 사용자의 상기 사전정의된 부분의 상기 제1 각자의 위치에 대응하는 상기 3차원 환경 내의 제3 위치에서 상기 가상 표면을 디스플레이하는 단계; 및
    상기 하나 이상의 제2 기준이 충족될 때 상기 사용자의 상기 사전정의된 부분이 상기 제1 각자의 위치와는 상이한 제2 각자의 위치에 있다는 결정에 따라, 상기 사용자의 상기 사전정의된 부분의 상기 제2 각자의 위치에 대응하는 상기 3차원 환경 내의 상기 제3 위치와는 상이한 제4 위치에서 상기 가상 표면을 디스플레이하는 단계를 포함하는, 방법.
  140. 제115항 내지 제139항 중 어느 한 항에 있어서,
    상기 사용자의 상기 사전정의된 부분에 대응하는 상기 시각적 표시를 디스플레이하는 동안:
    상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 제2 사전정의된 부분의 이동을 포함하는 제2 각자의 입력을 검출하는 단계 - 상기 제2 각자의 입력 동안, 상기 사용자의 상기 제2 사전정의된 부분의 위치는 상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 멀리 있음 -; 및
    상기 제2 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 제2 사전정의된 부분의 상기 이동의 제1 부분이 상기 하나 이상의 기준을 충족한다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해:
    상기 사용자의 상기 사전정의된 부분에 대응하는 상기 시각적 표시; 및
    상기 3차원 환경 내의 상기 사용자의 상기 제2 사전정의된 부분에 대응하는 위치에서의 시각적 표시를 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
  141. 제115항 내지 제140항 중 어느 한 항에 있어서,
    상기 각자의 입력을 검출하는 동안, 상기 사용자 인터페이스 객체 상에, 상기 사용자의 상기 사전정의된 부분이 상기 사용자 인터페이스 객체와 결속되기 위해 상기 사용자 인터페이스 객체에 대응하는 상기 위치를 향해 이동할 필요가 있는 각자의 거리를 나타내는 각자의 시각적 표시를 디스플레이하는 단계를 추가로 포함하는, 방법.
  142. 제115항 내지 제141항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 사용자의 시선이 상기 사용자 인터페이스 객체로 지향되는 것을 검출하는 단계; 및
    상기 사용자의 상기 시선이 상기 사용자 인터페이스 객체로 지향되는 것을 검출하는 것에 응답하여, 제1 값을 갖는 각자의 시각적 특성을 갖는 상기 사용자 인터페이스 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  143. 제115항 내지 제142항 중 어느 한 항에 있어서, 상기 3차원 환경은 상기 전자 디바이스의 물리적 환경 내에 있는 각자의 객체의 표현을 포함하고, 상기 방법은:
    상기 사용자의 시선이 상기 각자의 객체의 상기 표현으로 지향될 때 충족되는 기준, 및 상기 사용자의 상기 사전정의된 부분이 각자의 포즈일 때 충족되는 기준을 포함하는 하나 이상의 제2 기준이 충족되는 것을 검출하는 단계; 및
    상기 하나 이상의 제2 기준이 충족되는 것을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 객체의 상기 표현에 근접하게 하나 이상의 선택가능 옵션들을 디스플레이하는 단계를 추가로 포함하고, 상기 하나 이상의 선택가능 옵션들은 상기 각자의 객체와 연관된 각자의 동작들을 수행하도록 선택가능한, 방법.
  144. 제115항 내지 제143항 중 어느 한 항에 있어서,
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족한 후에 그리고 상기 사용자의 상기 사전정의된 부분에 대응하는 상기 시각적 표시를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 하나 이상의 제2 기준을 충족하는 상기 사용자의 상기 사전정의된 부분의 상기 이동의 제2 부분을 검출하는 단계; 및
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제2 부분을 검출하는 것에 응답하여:
    상기 사용자의 시선이 상기 사용자 인터페이스 객체로 지향되고 상기 사용자 인터페이스 객체는 상호작용형이라는 결정에 따라:
    상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제2 부분이 상기 하나 이상의 제2 기준을 충족함을 나타내는 시각적 표시를 디스플레이하는 단계; 및
    상기 각자의 입력에 따라 상기 사용자 인터페이스 객체에 대응하는 동작을 수행하는 단계; 및
    상기 사용자의 상기 시선이 상호작용형인 사용자 인터페이스 객체로 지향되지 않는다는 결정에 따라:
    상기 디스플레이 생성 컴포넌트를 통해, 상기 각자의 입력에 따라 동작을 수행하지 않고 상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제2 부분이 상기 하나 이상의 제2 기준을 충족함을 나타내는 상기 시각적 표시를 디스플레이하는 단계를 추가로 포함하는, 방법.
  145. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    상기 디스플레이 생성 컴포넌트를 통해, 3차원 환경 내의 사용자 인터페이스 객체를 디스플레이하고;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분의 이동을 포함하는 각자의 입력을 검출하고 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스 객체에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 제1 부분이 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제1 위치 내에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제1 위치에 대응하는 상기 3차원 환경 내의 제1 위치에서 시각적 표시를 디스플레이하고;
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제2 위치에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제2 위치에 대응하는 상기 3차원 환경 내의 제2 위치에서 시각적 표시를 디스플레이하기 위한 - 상기 제2 위치는 상기 제1 위치와는 상이함 - 명령어들을 포함하는, 전자 디바이스.
  146. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
    상기 디스플레이 생성 컴포넌트를 통해, 3차원 환경 내의 사용자 인터페이스 객체를 디스플레이하는 단계;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분의 이동을 포함하는 각자의 입력을 검출하는 단계 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스 객체에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 제1 부분이 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제1 위치 내에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제1 위치에 대응하는 상기 3차원 환경 내의 제1 위치에서 시각적 표시를 디스플레이하는 단계; 및
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제2 위치에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제2 위치에 대응하는 상기 3차원 환경 내의 제2 위치에서 시각적 표시를 디스플레이하는 단계 - 상기 제2 위치는 상기 제1 위치와는 상이함 -를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  147. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    상기 디스플레이 생성 컴포넌트를 통해, 3차원 환경 내의 사용자 인터페이스 객체를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분의 이동을 포함하는 각자의 입력을 검출하기 위한 수단 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스 객체에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 제1 부분이 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제1 위치 내에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제1 위치에 대응하는 상기 3차원 환경 내의 제1 위치에서 시각적 표시를 디스플레이하기 위한 수단; 및
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제2 위치에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제2 위치에 대응하는 상기 3차원 환경 내의 제2 위치에서 시각적 표시를 디스플레이하기 위한 수단 - 상기 제2 위치는 상기 제1 위치와는 상이함 -을 포함하는, 전자 디바이스.
  148. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    상기 디스플레이 생성 컴포넌트를 통해, 3차원 환경 내의 사용자 인터페이스 객체를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 사전정의된 부분의 이동을 포함하는 각자의 입력을 검출하기 위한 수단 - 상기 각자의 입력 동안, 상기 사용자의 상기 사전정의된 부분의 위치는 상기 사용자 인터페이스 객체에 대응하는 위치로부터 멀리 있음 -; 및
    상기 각자의 입력을 검출하는 동안:
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 제1 부분이 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제1 위치 내에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제1 위치에 대응하는 상기 3차원 환경 내의 제1 위치에서 시각적 표시를 디스플레이하기 위한 수단; 및
    상기 사용자의 상기 사전정의된 부분의 상기 이동의 상기 제1 부분이 상기 하나 이상의 기준을 충족하고, 상기 사용자의 상기 사전정의된 부분이 제2 위치에 있다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 상기 사전정의된 부분의 상기 제2 위치에 대응하는 상기 3차원 환경 내의 제2 위치에서 시각적 표시를 디스플레이하기 위한 수단 - 상기 제2 위치는 상기 제1 위치와는 상이함 -을 포함하는, 정보 프로세싱 장치.
  149. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제115항 내지 제144항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  150. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제115항 내지 제144항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  151. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제115항 내지 제144항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  152. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    제115항 내지 제144항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  153. 방법으로서,
    디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 객체를 디스플레이하는 단계;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 제1 사전정의된 부분에 의해 상기 사용자 인터페이스 객체로 지향되는 입력을 검출하는 단계; 및
    상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 객체 상에 디스플레이되는 모의된 그림자(simulated shadow)를 디스플레이하는 단계를 포함하고, 상기 모의된 그림자는 상기 사용자 인터페이스 객체에 대한 상기 사용자 인터페이스 객체와의 상호작용을 나타내는 요소의 위치에 기초하여 외관을 갖는, 방법.
  154. 제153항에 있어서, 상기 요소는 상기 사용자의 상기 제1 사전정의된 부분으로부터 멀리 있는 위치에 대응하는 위치에서 디스플레이되고, 상기 사용자의 상기 제1 사전정의된 부분의 이동에 의해 제어되는 커서를 포함하는, 방법.
  155. 제154항에 있어서,
    상기 사용자 인터페이스 객체 및 제2 사용자 인터페이스 객체를 디스플레이하는 동안, 그리고 상기 사용자의 상기 제1 사전정의된 부분에 의한 상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하기 전에:
    상기 사용자의 시선이 상기 사용자 인터페이스 객체로 지향될 때 충족되는 기준을 포함하는 하나 이상의 제1 기준이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 객체로부터 사전결정된 거리에서 상기 커서를 디스플레이하는 단계;
    상기 사용자의 상기 시선이 상기 제2 사용자 인터페이스 객체로 지향될 때 충족되는 기준을 포함하는 하나 이상의 제2 기준이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 사용자 인터페이스 객체로부터 상기 사전결정된 거리에서 상기 커서를 디스플레이하는 단계를 추가로 포함하는, 방법.
  156. 제153항에 있어서, 상기 모의된 그림자는 상기 사용자의 상기 제1 사전정의된 부분의 가상 표현의 모의된 그림자를 포함하는, 방법.
  157. 제153항에 있어서, 상기 모의된 그림자는 상기 사용자의 상기 물리적 제1 사전정의된 부분의 모의된 그림자를 포함하는, 방법.
  158. 제153항 내지 제157항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하는 동안 그리고 상기 사용자 인터페이스 객체 상에 디스플레이되는 상기 모의된 그림자를 디스플레이하는 동안:
    상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 제1 사전정의된 부분에 의한 상기 사용자 인터페이스 객체로 지향되는 상기 입력의 진행을 검출하는 단계; 및
    상기 사용자 인터페이스 객체로 지향되는 상기 입력의 상기 진행을 검출하는 것에 응답하여, 상기 사용자의 상기 제1 사전정의된 부분에 의한 상기 사용자 인터페이스 객체로 지향되는 상기 입력의 상기 진행에 따라 상기 사용자 인터페이스 객체 상에 디스플레이되는 상기 모의된 그림자의 시각적 외관을 변경하는 단계를 추가로 포함하는, 방법.
  159. 제158항에 있어서, 상기 모의된 그림자의 상기 시각적 외관을 변경하는 단계는 상기 모의된 그림자가 디스플레이되는 밝기를 변경하는 단계를 포함하는, 방법.
  160. 제158항 또는 제159항에 있어서, 상기 모의된 그림자의 상기 시각적 외관을 변경하는 단계는 상기 모의된 그림자가 디스플레이되는 흐릿함의 레벨을 변경하는 단계를 포함하는, 방법.
  161. 제158항 내지 제160항 중 어느 한 항에 있어서, 상기 모의된 그림자의 상기 시각적 외관을 변경하는 단계는 상기 모의된 그림자의 크기를 변경하는 단계를 포함하는, 방법.
  162. 제153항 내지 제161항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하는 동안 그리고 상기 사용자 인터페이스 객체 상에 디스플레이되는 상기 모의된 그림자를 디스플레이하는 동안:
    상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자 인터페이스 객체에 대해 상기 요소를 측방향으로 이동하는 것에 대응하는 상기 입력의 제1 부분을 검출하는 단계;
    상기 입력의 상기 제1 부분을 검출하는 것에 응답하여, 제1 시각적 외관을 갖는 상기 사용자 인터페이스 객체 상의 제1 위치에 상기 모의된 그림자를 디스플레이하는 단계;
    상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자 인터페이스 객체에 대해 상기 요소를 측방향으로 이동하는 것에 대응하는 상기 입력의 제2 부분을 검출하는 단계; 및
    상기 입력의 상기 제2 부분을 검출하는 것에 응답하여, 상기 제1 시각적 외관과는 상이한 제2 시각적 외관을 갖는 상기 사용자 인터페이스 객체 상의 상기 제1 위치와는 상이한 제2 위치에 상기 모의된 그림자를 디스플레이하는 단계를 추가로 포함하는, 방법.
  163. 제153항 내지 제162항 중 어느 한 항에 있어서, 상기 사용자 인터페이스 객체는 가상 표면이고, 상기 가상 표면에 근접한 위치에서 검출되는 상기 입력은 상기 가상 표면으로부터 멀리 떨어진, 제2 사용자 인터페이스 객체에 입력들을 제공하는, 방법.
  164. 제153항 내지 제163항 중 어느 한 항에 있어서, 상기 사용자의 상기 제1 사전정의된 부분은 상기 사용자 인터페이스 객체와 직접 상호작용하고, 상기 모의된 그림자는 상기 사용자 인터페이스 객체 상에 디스플레이되는, 방법.
  165. 제153항 내지 제164항 중 어느 한 항에 있어서,
    상기 사용자의 상기 제1 사전정의된 부분이 상기 사용자 인터페이스 객체에 대응하는 위치의 임계 거리 내에 있다는 결정에 따라, 상기 모의된 그림자는 상기 사용자의 상기 제1 사전정의된 부분에 대응하고,
    상기 사용자의 상기 제1 사전정의된 부분이 상기 사용자 인터페이스 객체에 대응하는 상기 위치로부터 상기 임계 거리보다 멀리 있다는 결정에 따라, 상기 모의된 그림자는 상기 사용자의 상기 제1 사전정의된 부분에 의해 제어되는 커서에 대응하는, 방법.
  166. 제153항 내지 제165항 중 어느 한 항에 있어서,
    상기 사용자의 상기 제1 사전정의된 부분에 의한 상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하는 동안, 상기 사용자의 제2 사전정의된 부분에 의해 상기 사용자 인터페이스 객체로 지향되는 제2 입력을 검출하는 단계; 및
    상기 사용자 인터페이스 객체로 지향되는 상기 입력 및 상기 제2 입력을 동시에 검출하는 동안, 상기 사용자 인터페이스 객체 상에:
    상기 사용자 인터페이스 객체에 대해 상기 사용자 인터페이스 객체와의 상기 사용자의 상기 제1 사전정의된 부분의 상호작용을 나타내는 상기 모의된 그림자; 및
    상기 사용자 인터페이스 객체에 대한 상기 사용자 인터페이스 객체와의 상기 사용자의 상기 제2 사전정의된 부분의 상호작용의 표시인 제2 모의된 그림자를 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
  167. 제153항 내지 제166항 중 어느 한 항에 있어서, 상기 모의된 그림자는 상기 사용자 인터페이스 객체와 결속하기 위해 얼마나 많은 상기 사용자의 상기 제1 사전정의된 부분의 이동이 필요한지 나타내는, 방법.
  168. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 객체를 디스플레이하고;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 제1 사전정의된 부분에 의해 상기 사용자 인터페이스 객체로 지향되는 입력을 검출하고;
    상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 객체 상에 디스플레이되는 모의된 그림자를 디스플레이하기 위한 명령어들을 포함하고, 상기 모의된 그림자는 상기 사용자 인터페이스 객체에 대한 상기 사용자 인터페이스 객체와의 상호작용을 나타내는 요소의 위치에 기초하여 외관을 갖는, 전자 디바이스.
  169. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
    상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 객체를 디스플레이하는 단계;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 제1 사전정의된 부분에 의해 상기 사용자 인터페이스 객체로 지향되는 입력을 검출하는 단계; 및
    상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 객체 상에 디스플레이되는 모의된 그림자를 디스플레이하는 단계를 포함하고, 상기 모의된 그림자는 상기 사용자 인터페이스 객체에 대한 상기 사용자 인터페이스 객체와의 상호작용을 나타내는 요소의 위치에 기초하여 외관을 갖는, 비일시적 컴퓨터 판독가능 저장 매체.
  170. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 객체를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 제1 사전정의된 부분에 의해 상기 사용자 인터페이스 객체로 지향되는 입력을 검출하기 위한 수단; 및
    상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 객체 상에 디스플레이되는 모의된 그림자를 디스플레이하기 위한 수단을 포함하고, 상기 모의된 그림자는 상기 사용자 인터페이스 객체에 대한 상기 사용자 인터페이스 객체와의 상호작용을 나타내는 요소의 위치에 기초하여 외관을 갖는, 전자 디바이스.
  171. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    상기 디스플레이 생성 컴포넌트를 통해, 사용자 인터페이스 객체를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스 객체를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스의 사용자의 제1 사전정의된 부분에 의해 상기 사용자 인터페이스 객체로 지향되는 입력을 검출하기 위한 수단; 및
    상기 사용자 인터페이스 객체로 지향되는 상기 입력을 검출하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자 인터페이스 객체 상에 디스플레이되는 모의된 그림자를 디스플레이하기 위한 수단을 포함하고, 상기 모의된 그림자는 상기 사용자 인터페이스 객체에 대한 상기 사용자 인터페이스 객체와의 상호작용을 나타내는 요소의 위치에 기초하여 외관을 갖는, 정보 프로세싱 장치.
  172. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제153항 내지 제167항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  173. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제153항 내지 제167항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  174. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제153항 내지 제167항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  175. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    제153항 내지 제167항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  176. 방법으로서,
    디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소를 포함하는 각자의 영역을 포함하는 사용자 인터페이스를 디스플레이하는 단계;
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 영역 내에서 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하는 단계;
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제1 사용자 인터페이스 요소의 외관을 수정하는 단계;
    상기 수정된 외관을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하는 단계; 및
    상기 제2 입력을 검출하는 것에 응답하여,
    상기 제2 입력은 상기 제1 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라:
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 내의 이동에 대응한다는 결정에 따라, 상기 제1 사용자 인터페이스 요소의 선택을 보류 및, 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제2 사용자 인터페이스 요소의 외관을 수정하는 단계; 및
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 밖의 제1 방향의 이동에 대응한다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하지 않고 상기 제1 사용자 인터페이스 요소의 선택을 보류하는 단계를 포함하는, 방법.
  177. 제176항에 있어서,
    상기 제2 입력을 검출하는 것에 응답하여, 그리고 상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 밖의 제2 방향의 이동에 대응한다는 결정에 따라:
    사용자의 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리보다 멀리 있는 동안 상기 제1 입력이 상기 사용자의 상기 사전정의된 부분에 의해 제공되는 입력을 포함한다는 결정에 따라, 상기 제1 사용자 인터페이스 요소의 선택을 보류하는 단계; 및
    상기 사용자의 상기 사전정의된 부분이 상기 제1 사용자 인터페이스 요소에 대응하는 상기 위치로부터 상기 임계 거리보다 가까이 있는 동안 상기 제1 입력이 상기 사용자의 상기 사전정의된 부분에 의해 제공되는 입력을 포함한다는 결정에 따라, 상기 제2 입력에 따라 상기 제1 사용자 인터페이스 요소를 선택하는 단계를 추가로 포함하는, 방법.
  178. 제176항 또는 제177항에 있어서, 상기 제1 입력은 사용자의 사전정의된 부분에 의해 제공되는 입력을 포함하고, 상기 사용자의 상기 사전정의된 부분이 상기 제1 입력 동안 상기 제1 사용자 인터페이스 요소에 대응하는 위치로부터 임계 거리보다 멀리 있는지 아니면 가까이 있는지 여부에 상관없이 상기 제2 입력의 상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 밖의 상기 제1 방향의 이동에 대응한다는 상기 결정에 따라 상기 제1 사용자 인터페이스 요소의 선택이 보류되는, 방법.
  179. 제176항 내지 제178항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 각자의 영역 내에서 제3 사용자 인터페이스 요소로 지향되는 제3 입력을 검출하는 단계 - 상기 제3 사용자 인터페이스 요소는 슬라이더 요소이고, 상기 제3 입력은 상기 슬라이더 요소를 제어하기 위한 이동 부분을 포함함 -;
    상기 제3 사용자 인터페이스 요소로 지향되는 상기 제3 입력을 검출하는 것에 응답하여, 상기 제3 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제3 사용자 인터페이스 요소의 추가 제어를 야기할 것임을 나타내기 위해 상기 제3 사용자 인터페이스 요소의 외관을 수정, 및 상기 제3 입력의 상기 이동 부분에 따라 상기 제3 사용자 인터페이스 요소를 업데이트하는 단계; 상기 수정된 외관을 갖는 상기 제3 사용자 인터페이스 요소를 디스플레이하는 동안 그리고 상기 제3 사용자 인터페이스 요소가 상기 제3 입력의 상기 이동 부분을 따라 업데이트되는 동안, 제4 입력을 검출하는 단계; 및
    상기 제4 입력을 검출하는 것에 응답하여:
    상기 제4 입력이 상기 제3 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라:
    상기 제3 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제3 사용자 인터페이스 요소의 추가 제어를 야기할 것임을 나타내기 위해 상기 제3 사용자 인터페이스 요소의 상기 수정된 외관을 유지하는 단계; 및
    상기 제4 입력의 상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 밖의 이동에 대응하는지 여부에 상관없이 상기 제4 입력의 상기 이동에 따라 상기 제3 사용자 인터페이스 요소를 업데이트하는 단계를 추가로 포함하는, 방법.
  180. 제179항에 있어서, 제3 입력의 상기 이동 부분은 각자의 크기를 갖는 사용자의 사전정의된 부분에 의해 제공되는 입력을 포함하고, 상기 제3 입력의 상기 이동 부분에 따라 상기 제3 사용자 인터페이스 요소를 업데이트하는 단계는:
    상기 사용자의 상기 사전정의된 부분이 상기 제3 입력의 상기 이동 부분 동안 제1 속도로 이동했다는 결정에 따라, 상기 사용자의 상기 사전정의된 부분의 상기 제1 속도 및 상기 제3 입력의 상기 이동 부분의 상기 각자의 크기에 기초하여 결정되는 제1 양만큼 상기 제3 사용자 인터페이스 요소를 업데이트하는 단계;
    상기 사용자의 상기 사전정의된 부분이 상기 제3 입력의 상기 이동 부분 동안 상기 제1 속도보다 높은 제2 속도로 이동했다는 결정에 따라, 상기 사용자의 상기 사전정의된 부분의 상기 제2 속도 및 상기 제3 입력의 상기 이동 부분의 상기 각자의 크기에 기초하여 결정되는 상기 제1 양보다 많은 제2 양만큼 상기 제3 사용자 인터페이스 요소를 업데이트하는 단계 - 상기 제3 입력의 상기 이동 부분의 상기 각자의 크기에 대해, 상기 제3 사용자 인터페이스 요소의 상기 제2 이동량은 상기 제3 사용자 인터페이스 요소의 상기 제1 이동량보다 많음 - 를 포함하는, 방법.
  181. 제176항 내지 제180항 중 어느 한 항에 있어서,
    상기 제2 입력의 상기 이동은 사용자의 사전정의된 부분의 각자의 이동에 의해 제공되고,
    상기 사용자 인터페이스의 상기 각자의 영역이 제1 크기를 갖는다는 결정에 따라, 상기 제2 입력의 상기 이동은 상기 사용자의 상기 사전정의된 부분의 상기 각자의 이동이 제1 크기를 갖는다는 결정에 따라 상기 사용자 인터페이스의 상기 각자의 영역 밖의 이동에 대응하고,
    상기 사용자 인터페이스의 상기 각자의 영역이 상기 제1 크기와는 상이한 제2 크기를 갖는다는 결정에 따라, 상기 제2 입력의 상기 이동은 상기 사용자의 상기 사전정의된 부분의 상기 각자의 이동이 상기 제1 크기를 갖는다는 상기 결정에 따라 상기 사용자 인터페이스의 상기 각자의 영역 밖의 이동에 대응하는, 방법.
  182. 제176항 내지 제181항 중 어느 한 항에 있어서,
    상기 제1 입력을 검출하는 단계는 상기 전자 디바이스의 사용자의 시선이 상기 제1 사용자 인터페이스 요소로 지향되는 것을 검출하는 단계를 포함하고,
    상기 제2 입력을 검출하는 단계는 상기 제1 사용자 인터페이스 요소로부터 멀어져서, 상기 사용자의 상기 시선이 더 이상 상기 제1 사용자 인터페이스 요소로 지향되지 않는 이동에 대응하는 상기 이동을 검출하는 단계를 포함하고,
    상기 제1 사용자 인터페이스 요소의 상기 선택을 보류 및 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하는 단계는 상기 사용자의 상기 시선이 상기 제1 사용자 인터페이스 요소로 지향되지 않는 동안 수행되는, 방법.
  183. 제176항 내지 제182항 중 어느 한 항에 있어서, 상기 제1 입력을 검출하는 단계는 상기 전자 디바이스의 사용자의 시선이 상기 사용자 인터페이스의 상기 각자의 영역으로 지향되는 것을 검출하는 단계를 포함하고, 추가로:
    상기 수정된 외관을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안 그리고 상기 제2 입력을 검출하기 전에, 상기 하나 이상의 입력 디바이스들을 통해, 상기 사용자의 상기 시선이 상기 사용자 인터페이스의 상기 각자의 영역과는 상이한 제2 영역으로 지향되는 것을 검출하는 단계; 및
    상기 사용자의 상기 시선이 상기 제2 영역으로 지향되는 것을 검출하는 것에 응답하여:
    상기 제2 영역이 제3 사용자 인터페이스 요소를 포함한다는 결정에 따라, 상기 제3 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제3 사용자 인터페이스 요소와의 상호작용을 야기할 것임을 나타내기 위해 상기 제3 사용자 인터페이스 요소의 외관을 수정하는 단계를 포함하는, 방법.
  184. 제176항 내지 제183항 중 어느 한 항에 있어서, 상기 제1 입력은 상기 사용자의 상기 사전정의된 부분이 물리적 입력 디바이스와 접촉하지 않는, 상기 전자 디바이스의 환경 내의 공간에서의 상기 전자 디바이스의 사용자의 사전정의된 부분의 이동을 포함하는, 방법.
  185. 제176항 내지 제184항 중 어느 한 항에 있어서, 상기 제1 입력은 상기 전자 디바이스의 사용자의 손에 의해 수행되는 핀치 제스처를 포함하는, 방법.
  186. 제176항 내지 제185항 중 어느 한 항에 있어서, 상기 제1 입력은, 상기 전자 디바이스의 환경에서의 공간을 통한, 상기 전자 디바이스의 사용자의 손의 손가락의 이동을 포함하는, 방법.
  187. 제176항 내지 제186항 중 어느 한 항에 있어서,
    제2 입력을 검출하는 것에 응답하여,
    상기 제2 입력은 상기 제1 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동을 포함한다는 상기 결정에 따라:
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 내의 이동에 대응하는 상기 결정에 따라, 추가적인 입력이 더 이상 상기 제1 사용자 인터페이스 요소로 지향되지 않음을 나타내기 위해 상기 제1 사용자 인터페이스 요소의 상기 외관을 수정하는 단계를 추가로 포함하는, 방법.
  188. 제176항 내지 제187항 중 어느 한 항에 있어서,
    상기 사용자의 상기 사전정의된 부분이 상기 각자의 영역에 대응하는 위치로부터 임계 거리보다 멀리 있는 동안 상기 제2 입력이 상기 전자 디바이스의 사용자의 사전정의된 부분에 의해 제공된다는 결정에 따라:
    상기 제2 입력의 상기 이동은 상기 제2 입력이 하나 이상의 제1 기준을 충족할 때 상기 사용자 인터페이스의 상기 각자의 영역 내의 이동에 대응하고, 상기 제2 입력의 상기 이동은 상기 제2 입력이 상기 하나 이상의 제1 기준을 충족하지 않을 때 상기 사용자 인터페이스의 상기 각자의 영역 밖의 이동에 대응하고,
    상기 사용자의 상기 사전정의된 부분이 상기 각자의 영역에 대응하는 상기 위치로부터 상기 임계 거리보다 가까운 동안 상기 제2 입력이 상기 전자 디바이스의 상기 사용자의 상기 사전정의된 부분에 의해 제공된다는 결정에 따라:
    상기 제2 입력의 상기 이동은 상기 제2 입력이 상기 제1 기준과는 상이한 하나 이상의 제2 기준을 충족할 때 상기 사용자 인터페이스의 상기 각자의 영역 내의 이동에 대응하고, 상기 제2 입력의 상기 이동은 상기 제2 입력이 상기 하나 이상의 제2 기준을 충족하지 않을 때 상기 사용자 인터페이스의 상기 각자의 영역 밖의 이동에 대응하는, 방법.
  189. 제176항 내지 제188항 중 어느 한 항에 있어서,
    상기 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제1 사용자 인터페이스 요소의 상기 외관을 수정하는 단계는 상기 3차원 환경 내의 상기 사용자의 상기 시점으로부터 멀리 상기 제1 사용자 인터페이스 요소를 이동하는 단계를 포함하고,
    상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하는 단계는 상기 3차원 환경 내의 상기 사용자의 상기 시점으로부터 멀리 상기 제2 사용자 인터페이스 요소를 이동하는 단계를 포함하는, 방법.
  190. 제176항 내지 제189항 중 어느 한 항에 있어서,
    상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 수정된 외관을 갖는 상기 제2 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제3 입력을 검출하는 단계; 및
    상기 제3 입력을 검출하는 것에 응답하여:
    상기 제3 입력이 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력에 대응한다는 결정에 따라, 상기 제3 입력에 따라 상기 제2 사용자 인터페이스 요소를 선택하는 단계를 추가로 포함하는, 방법.
  191. 제176항 내지 제190항 중 어느 한 항에 있어서,
    상기 제1 입력을 검출하기 전에, 상기 제1 사용자 인터페이스 요소의 선택은 제1 크기와 연관된 입력을 요구하고,
    상기 제1 입력은 상기 제1 크기보다 작은 제2 크기의 입력을 포함하고,
    상기 제2 입력을 검출하기 전에, 상기 제2 사용자 인터페이스 요소의 선택은 제3 크기와 연관된 입력을 요구하고,
    상기 제2 입력을 검출하는 것에 응답하여, 상기 제2 사용자 인터페이스 요소의 선택은 상기 제1 입력의 상기 제2 크기보다 작은 상기 제3 크기와 연관된 추가적인 입력을 요구하는, 방법.
  192. 제176항 내지 제191항 중 어느 한 항에 있어서,
    상기 제1 입력은 선택 개시 부분에 제2 부분이 후속되는 것을 포함하고, 상기 제1 사용자 인터페이스 요소의 상기 외관은 상기 선택 개시 부분을 포함하는 상기 제1 입력에 따라 상기 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 수정되고,
    상기 제2 사용자 인터페이스 요소의 상기 외관은 상기 전자 디바이스가 상기 제1 입력에 포함된 상기 선택 개시 부분 후에 다른 선택 개시 부분을 검출하지 않고 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 수정되고, 상기 방법은:
    상기 수정된 외관 없이 상기 제2 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제2 사용자 인터페이스 요소로 지향되는 제3 입력을 검출하는 단계; 및
    상기 제3 입력을 검출하는 것에 응답하여:
    상기 제3 입력이 상기 선택 개시 부분을 포함한다는 결정에 따라, 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하는 단계; 및
    상기 제3 입력이 상기 선택 개시 부분을 포함하지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  193. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소를 포함하는 각자의 영역을 포함하는 사용자 인터페이스를 디스플레이하고;
    상기 사용자 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 각자의 영역 내에서 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하고;
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제1 사용자 인터페이스 요소의 외관을 수정하고;
    상기 수정된 외관을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하고;
    상기 제2 입력을 검출하는 것에 응답하여,
    상기 제2 입력은 상기 제1 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라:
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 내의 이동에 대응한다는 결정에 따라, 상기 제1 사용자 인터페이스 요소의 선택을 보류 및, 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제2 사용자 인터페이스 요소의 외관을 수정하고;
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 밖의 제1 방향의 이동에 대응한다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하지 않고 상기 제1 사용자 인터페이스 요소의 선택을 보류하기 위한 명령어들을 포함하는, 전자 디바이스.
  194. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 방법을 수행하게 하는 명령어들을 포함하며, 상기 방법은,
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소를 포함하는 각자의 영역을 포함하는 사용자 인터페이스를 디스플레이하는 단계;
    상기 사용자 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 각자의 영역 내에서 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하는 단계;
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제1 사용자 인터페이스 요소의 외관을 수정하는 단계;
    상기 수정된 외관을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하는 단계; 및
    상기 제2 입력을 검출하는 것에 응답하여,
    상기 제2 입력은 상기 제1 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라:
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 내의 이동에 대응한다는 결정에 따라, 상기 제1 사용자 인터페이스 요소의 선택을 보류 및, 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제2 사용자 인터페이스 요소의 외관을 수정하는 단계; 및
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 밖의 제1 방향의 이동에 대응한다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하지 않고 상기 제1 사용자 인터페이스 요소의 선택을 보류하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  195. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소를 포함하는 각자의 영역을 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 각자의 영역 내에서 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하기 위한 수단;
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제1 사용자 인터페이스 요소의 외관을 수정하기 위한 수단;
    상기 수정된 외관을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하기 위한 수단; 및
    상기 제2 입력을 검출하는 것에 응답하여:
    상기 제2 입력은 상기 제1 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라:
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 내의 이동에 대응한다는 결정에 따라, 상기 제1 사용자 인터페이스 요소의 선택을 보류 및, 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제2 사용자 인터페이스 요소의 외관을 수정하기 위한 수단; 및
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 밖의 제1 방향의 이동에 대응한다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하지 않고 상기 제1 사용자 인터페이스 요소의 선택을 보류하기 위한 수단을 포함하는, 전자 디바이스.
  196. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 요소 및 제2 사용자 인터페이스 요소를 포함하는 각자의 영역을 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 각자의 영역 내에서 상기 제1 사용자 인터페이스 요소로 지향되는 제1 입력을 검출하기 위한 수단;
    상기 제1 사용자 인터페이스 요소로 지향되는 상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제1 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제1 사용자 인터페이스 요소의 외관을 수정하기 위한 수단;
    상기 수정된 외관을 갖는 상기 제1 사용자 인터페이스 요소를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 입력을 검출하기 위한 수단; 및
    상기 제2 입력을 검출하는 것에 응답하여:
    상기 제2 입력은 상기 제1 사용자 인터페이스 요소로부터 멀어지는 이동에 대응하는 이동을 포함한다는 결정에 따라:
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 내의 이동에 대응한다는 결정에 따라, 상기 제1 사용자 인터페이스 요소의 선택을 보류 및, 상기 제2 사용자 인터페이스 요소로 지향되는 추가적인 입력이 상기 제2 사용자 인터페이스 요소의 선택을 야기할 것임을 나타내기 위해 상기 제2 사용자 인터페이스 요소의 외관을 수정하기 위한 수단; 및
    상기 이동이 상기 사용자 인터페이스의 상기 각자의 영역 밖의 제1 방향의 이동에 대응한다는 결정에 따라, 상기 제2 사용자 인터페이스 요소의 상기 외관을 수정하지 않고 상기 제1 사용자 인터페이스 요소의 선택을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  197. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은 제176항 내지 제192항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  198. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제176항 내지 제192항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  199. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제176항 내지 제192항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  200. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 정보 프로세싱 장치는,
    제176항 내지 제192항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
KR1020237027676A 2021-01-20 2022-01-20 환경 내의 객체들과 상호작용하기 위한 방법 KR20230128562A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163139566P 2021-01-20 2021-01-20
US63/139,566 2021-01-20
US202163261559P 2021-09-23 2021-09-23
US63/261,559 2021-09-23
PCT/US2022/013208 WO2022159639A1 (en) 2021-01-20 2022-01-20 Methods for interacting with objects in an environment

Publications (1)

Publication Number Publication Date
KR20230128562A true KR20230128562A (ko) 2023-09-05

Family

ID=80785754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237027676A KR20230128562A (ko) 2021-01-20 2022-01-20 환경 내의 객체들과 상호작용하기 위한 방법

Country Status (6)

Country Link
US (1) US20220229524A1 (ko)
EP (1) EP4281843A1 (ko)
JP (1) JP2024503899A (ko)
KR (1) KR20230128562A (ko)
AU (1) AU2022210589A1 (ko)
WO (1) WO2022159639A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562744B1 (en) * 2020-02-13 2023-01-24 Meta Platforms Technologies, Llc Stylizing text-to-speech (TTS) voice response for assistant systems
US11914835B2 (en) * 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor
US20220345591A1 (en) * 2021-04-22 2022-10-27 David Shau Underwater Camera Operations
US20220374067A1 (en) * 2021-05-19 2022-11-24 International Business Machines Corporation Augmented reality based power management
WO2023141535A1 (en) * 2022-01-19 2023-07-27 Apple Inc. Methods for displaying and repositioning objects in an environment
US20240004533A1 (en) * 2022-06-29 2024-01-04 Citrix Systems, Inc. Arranging user interface elements on displays in accordance with user behavior on devices
US20240004462A1 (en) * 2022-07-01 2024-01-04 Sony Interactive Entertainment Inc. Gaze tracking for user interface
WO2024026024A1 (en) * 2022-07-28 2024-02-01 Apple Inc. Devices and methods for processing inputs to a three-dimensional environment
WO2024063786A1 (en) * 2022-09-21 2024-03-28 Apple Inc. Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments
US20240126420A1 (en) * 2022-10-14 2024-04-18 Whatnot Inc. Systems and methods for preventing unwanted interactions in a live stream event

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9448635B2 (en) * 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
US20140002338A1 (en) * 2012-06-28 2014-01-02 Intel Corporation Techniques for pose estimation and false positive filtering for gesture recognition
US9684372B2 (en) * 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US9274608B2 (en) * 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
US20140282272A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Interactive Inputs for a Background Task
US9430038B2 (en) * 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
KR101918421B1 (ko) * 2014-07-18 2018-11-13 애플 인크. 디바이스에서의 들어올림 제스처 검출
DE112018005499T5 (de) * 2017-09-29 2020-07-09 Apple Inc. Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung
US11100909B2 (en) * 2019-05-06 2021-08-24 Apple Inc. Devices, methods, and graphical user interfaces for adaptively providing audio outputs
US10890983B2 (en) * 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US10956724B1 (en) * 2019-09-10 2021-03-23 Facebook Technologies, Llc Utilizing a hybrid model to recognize fast and precise hand inputs in a virtual environment
US11508085B2 (en) * 2020-05-08 2022-11-22 Varjo Technologies Oy Display systems and methods for aligning different tracking means
AU2021349381B2 (en) * 2020-09-25 2024-02-22 Apple Inc. Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
WO2023049705A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications

Also Published As

Publication number Publication date
AU2022210589A1 (en) 2023-09-07
US20220229524A1 (en) 2022-07-21
JP2024503899A (ja) 2024-01-29
WO2022159639A1 (en) 2022-07-28
EP4281843A1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
AU2021349381B2 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
KR20230128562A (ko) 환경 내의 객체들과 상호작용하기 위한 방법
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
JP2022547930A (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US11995230B2 (en) Methods for presenting and sharing content in an environment
US11720171B2 (en) Methods for navigating user interfaces
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
KR20240067948A (ko) 3차원 환경에서 객체들을 이동시키기 위한 방법들
US20230384907A1 (en) Methods for relative manipulation of a three-dimensional environment
KR20240049345A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US20230316634A1 (en) Methods for displaying and repositioning objects in an environment
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
KR20240064017A (ko) 전자 디바이스와 상호작용하기 위한 방법들
WO2023130148A1 (en) Devices, methods, and graphical user interfaces for navigating and inputting or revising content
WO2023133600A1 (en) Methods for displaying user interface elements relative to media content
CN117406892A (zh) 用于与环境中的对象进行交互的方法
US20230350539A1 (en) Representations of messages in a three-dimensional environment
US20230334808A1 (en) Methods for displaying, selecting and moving objects and containers in an environment
US20240152256A1 (en) Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
CN118302737A (en) Method for interacting with an electronic device
KR20240048522A (ko) 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
KR20240047458A (ko) 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
KR20240064014A (ko) 가상 환경들에서 가상 객체들을 제시하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Legal Events

Date Code Title Description
A201 Request for examination