KR20220137770A - 시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 - Google Patents

시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 Download PDF

Info

Publication number
KR20220137770A
KR20220137770A KR1020227032843A KR20227032843A KR20220137770A KR 20220137770 A KR20220137770 A KR 20220137770A KR 1020227032843 A KR1020227032843 A KR 1020227032843A KR 20227032843 A KR20227032843 A KR 20227032843A KR 20220137770 A KR20220137770 A KR 20220137770A
Authority
KR
South Korea
Prior art keywords
user
user interface
content
text
gaze
Prior art date
Application number
KR1020227032843A
Other languages
English (en)
Inventor
폴 플라 아이 코네사
바스 오르딩
스티븐 오. 르메이
크리스티 이. 바우얼리
시-상 치우
조나단 라바즈
에브게니 크리보루츠코
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20220137770A publication Critical patent/KR20220137770A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

일부 실시예들에서, 전자 디바이스는 사용자의 시선의 검출에 따라 콘텐츠 항목을 확장시킨다. 일부 실시예들에서, 전자 디바이스는, 사용자가 콘텐츠 항목을 읽고 있다는 결정에 따라, 콘텐츠 항목의 텍스트를 스크롤한다. 일부 실시예들에서, 전자 디바이스는 사용자의 머리의 이동의 검출 및 사용자의 시선의 검출에 따라 사용자 인터페이스들 사이에서 내비게이팅한다. 일부 실시예들에서, 전자 디바이스는, 일부 실시예들에 따르면, 사용자의 머리의 이동의 검출 및 사용자의 시선의 검출에 따라, 콘텐츠의 일부분과 관련된 증강된 콘텐츠를 디스플레이한다.

Description

시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
관련 출원에 대한 상호 참조
본 출원은 2020년 3월 27일자로 출원된 미국 가출원 제63/001,210호 및 2020년 12월 29일자로 출원된 미국 가출원 제63/131,754호의 이익을 주장하며, 이 출원의 내용은 모든 목적들을 위해 그 전체가 본 명세서에 참고로 포함된다.
기술분야
본 발명은, 대체적으로, 시선 기반 내비게이션을 구현하는 그래픽 사용자 인터페이스들을 디스플레이 생성 컴포넌트를 통해 제시하는 전자 디바이스들을 포함하지만 이에 제한되지 않는, 그래픽 사용자 인터페이스들을 제시하는 하나 이상의 입력 디바이스들 및 디스플레이 생성 컴포넌트를 갖는 컴퓨터 시스템들에 관한 것이다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치-감응형 표면들, 및 터치-스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
그러나, 적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 그러한 방법들 및 인터페이스들은 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 접속을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
개시된 시스템들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 일부 실시예들에서, 컴퓨터 시스템은 연관된 디스플레이를 갖는 데스크톱 컴퓨터이다. 일부 실시예들에서, 컴퓨터 시스템은 휴대용 디바이스(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 개인용 전자 디바이스(예를 들어, 워치 또는 머리 장착형 디바이스와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 터치패드를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 눈 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 손 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 디스플레이 생성 컴포넌트에 추가하여 하나 이상의 출력 디바이스들을 갖고, 출력 디바이스들은 하나 이상의 촉각적 출력 생성기들 및 하나 이상의 오디오 출력 디바이스들을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 터치-감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들, 카메라들 및 다른 이동 센서들에 의해 캡처된 GUI 또는 사용자의 신체에 대한 공간에서의 사용자의 눈들 및 손의 이동, 및 하나 이상의 오디오 입력 디바이스들에 의해 캡처된 음성 입력들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 상호작용들을 통해 수행되는 기능들은, 선택적으로, 이미지 편집, 드로잉, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
사용자 인터페이스들을 내비게이팅하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들이 필요하다. 이러한 방법들 및 인터페이스들은 그래픽 사용자 인터페이스와 상호작용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에서, 전자 디바이스는 사용자의 시선의 검출에 따라 콘텐츠 항목을 확장시킨다. 일부 실시예들에서, 전자 디바이스는, 사용자가 콘텐츠 항목을 읽고 있다는 결정에 따라, 콘텐츠 항목의 텍스트를 스크롤한다. 일부 실시예들에서, 전자 디바이스는 사용자의 머리의 이동의 검출 및 사용자의 시선의 검출에 따라 사용자 인터페이스들 사이에서 내비게이팅한다. 일부 실시예들에서, 전자 디바이스는, 사용자의 머리의 이동의 검출 및 사용자의 시선의 검출에 따라, 콘텐츠의 일부분과 관련된 증강된 콘텐츠를 디스플레이한다.
전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음에 주목한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 내지 도 7k는 일부 실시예들에 따른, 사용자의 시선의 검출에 따라 전자 디바이스가 사용자 인터페이스의 내비게이션을 제공하는 방법의 예들을 예시한다.
도 8a 내지 도 8g는 일부 실시예들에 따른, 사용자의 시선의 검출에 따라 콘텐츠 항목을 확장시키는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9l은 일부 실시예들에 따른, 사용자가 콘텐츠 항목을 읽고 있다는 결정에 따라 콘텐츠 항목의 텍스트를 스크롤하는 방법을 예시하는 흐름도이다.
도 10a 내지 도 10g는 일부 실시예들에 따른, 사용자의 머리의 이동의 검출 및 사용자의 시선의 검출에 따라 사용자 인터페이스들 사이에서 내비게이팅하는 방법을 예시하는 흐름도이다.
도 11a 내지 도 11j는 일부 실시예들에 따른, 사용자의 머리의 이동의 검출 및 사용자의 시선의 검출에 따라, 콘텐츠의 일부분과 관련된 증강된 콘텐츠를 디스플레이하는 방법을 예시하는 흐름도이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에서 설명되는 시스템들, 방법들 및 GUI들은 사용자 시선 및/또는 사용자 머리 이동에 기초하여 내비게이션을 제공하는, 전자 디바이스에 대한 개선된 방식들을 제공한다.
일부 실시예들에서, 컴퓨터 시스템은, 컴퓨터 시스템과 통신하는 시선 추적 디바이스를 통해, 사용자의 시선이 사용자가 콘텐츠 항목을 읽고 있음을 나타낸다는 것을 검출하는 것에 기초하여, 콘텐츠 항목을 확장시킨다. 사용자의 시선은, 예컨대 터치 감응형 표면들 또는 다른 물리적 제어기들과는 대조적으로, 카메라들(예컨대, 머리 장착형 디바이스와 통합되거나, 사용자로부터 떨어져(예컨대, CGR 룸에) 설치되거나, 또는 사용자가 디스플레이 생성 컴포넌트에 의해 제시되는 이미지를 보고 있을 때 사용자를 향하여 설치된 카메라들(예컨대, 디스플레이 스크린 또는 터치 스크린 위에 장착된 카메라들의 어레이))을 사용하여 검출된다. 컴퓨팅 시스템은, 선택적으로, 검출된 시선 위치에 기초하여, 사용자가 복수의 디스플레이된 콘텐츠 항목들 중 어느 콘텐츠 항목을 읽고 있는지를 결정하고, 사용자가 읽고 있는 콘텐츠 항목을 확장시킨다. 사용자가 각각의 콘텐츠 항목을 읽는 것을 검출하는 것에 응답하여 각각의 콘텐츠 항목을 확장시키는 것은, 사용자가, 각각의 콘텐츠 항목을 확장시키도록 요청하는 입력을 제공하기 위해 시선 추적 디바이스 이외의 입력 디바이스를 사용하지 않고서, 콘텐츠 항목을 계속 읽도록 허용하며, 이는 사용자가 확장된 콘텐츠에 더 자연스럽고 효율적으로 액세스하도록 허용한다. 게다가, 시선 기반 내비게이션은 사용자의 눈들 및/또는 머리의 이동만을 필요로 하여, 운동 제어 장애(impaired motor control)를 갖는 사람들이 컴퓨팅 시스템에 액세스가능하게 한다.
일부 실시예들에서, 컴퓨터 시스템은, 컴퓨터 시스템과 통신하는 시선 추적 디바이스를 통해, 사용자의 시선이 사용자가 콘텐츠 항목의 각각의 부분을 읽는 것을 완료하였음을 나타낸다는 것을 검출하는 것에 기초하여, 콘텐츠 항목을 스크롤한다. 사용자의 시선은, 예컨대 터치 감응형 표면들 또는 다른 물리적 제어기들과는 대조적으로, 카메라들(예컨대, 머리 장착형 디바이스와 통합되거나, 사용자로부터 떨어져(예컨대, CGR 룸에) 설치되거나, 또는 사용자가 디스플레이 생성 컴포넌트에 의해 제시되는 이미지를 보고 있을 때 사용자를 향하여 설치된 카메라들(예컨대, 디스플레이 스크린 또는 터치 스크린 위에 장착된 카메라들의 어레이))을 사용하여 검출된다. 컴퓨팅 시스템은, 선택적으로, 검출된 시선 위치에 기초하여, 사용자가 콘텐츠의 텍스트의 각각의 라인과 같은 콘텐츠의 일부분을 읽는 것을 완료하였다고 결정한다. 사용자의 시선을 검출하는 것에 응답하여 콘텐츠 항목을 스크롤하는 것은, 사용자가, 콘텐츠 항목을 스크롤하도록 요청하는 입력을 제공하기 위해 시선 추적 디바이스 이외의 입력 디바이스를 사용하지 않고서, 콘텐츠 항목을 계속 읽도록 허용하며, 이는 사용자가 콘텐츠를 더 자연스럽고 효율적으로 읽도록 허용한다. 게다가, 시선 기반 스크롤링은 사용자의 눈들 및/또는 머리의 이동만을 필요로 하여, 운동 제어 장애를 갖는 사람들이 컴퓨팅 시스템에 액세스가능하게 한다.
일부 실시예들에서, 컴퓨터 시스템은, 컴퓨터 시스템과 통신하는 하나 이상의 이미지 센서들을 통해, 사용자의 시선 및/또는 머리 이동을 검출하는 것에 기초하여, 사용자 인터페이스를 내비게이팅한다. 사용자의 시선 및 머리 이동은, 예컨대 터치 감응형 표면들 또는 다른 물리적 제어기들과는 대조적으로, 카메라들(예컨대, 머리 장착형 디바이스와 통합되거나, 사용자로부터 떨어져(예컨대, CGR 룸에) 설치되거나, 또는 사용자가 디스플레이 생성 컴포넌트에 의해 제시되는 이미지를 보고 있을 때 사용자를 향하여 설치된 카메라들(예컨대, 디스플레이 스크린 또는 터치 스크린 위에 장착된 카메라들의 어레이))을 사용하여 검출된다. 컴퓨팅 시스템은, 선택적으로, 하나 이상의 이미지 센서들에 기초하여, 사용자가 현재 내비게이션 위치 이외의 내비게이션 위치에 대응하는 사용자 인터페이스의 각각의 부분을 보고 있고/있거나 사용자가 그들의 머리를 사용자 인터페이스의 각각의 부분을 향해 기울이거나 돌리고 있다고 결정한다. 사용자 인터페이스의 각각의 부분을 향해 지향되는 사용자의 시선 및 머리 이동을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 사용자 인터페이스의 각각의 부분으로 내비게이팅한다. 사용자의 시선 및/또는 머리 이동을 검출하는 것에 응답하여 사용자 인터페이스를 내비게이팅하는 것은, 사용자가, 각각의 콘텐츠 항목을 확장시키도록 요청하는 입력을 제공하기 위해 시선 추적 디바이스 이외의 입력 디바이스를 사용하지 않고서, 사용자 인터페이스를 내비게이팅하도록 허용하며, 이는 사용자가 사용자 인터페이스와 더 자연스럽고 효율적으로 상호작용하도록 허용한다. 게다가, 시선 기반 내비게이션은 사용자의 눈들 및/또는 머리의 이동만을 필요로 하여, 운동 제어 장애를 갖는 사람들이 컴퓨팅 시스템에 액세스가능하게 한다.
일부 실시예들에서, 컴퓨터 시스템은, 컴퓨터 시스템과 통신하는 하나 이상의 이미지 센서들을 통해, 사용자의 시선 및/또는 머리 이동이 콘텐츠의 일부분을 향해 지향된다는 것을 검출하는 것에 기초하여, 콘텐츠 항목의 일부분(예컨대, 단어, 이미지 등)과 연관된 증강된 콘텐츠를 제시한다. 사용자의 시선 및/또는 머리 이동은, 예컨대 터치 감응형 표면들 또는 다른 물리적 제어기들과는 대조적으로, 카메라들(예컨대, 머리 장착형 디바이스와 통합되거나, 사용자로부터 떨어져(예컨대, CGR 룸에) 설치되거나, 또는 사용자가 디스플레이 생성 컴포넌트에 의해 제시되는 이미지를 보고 있을 때 사용자를 향하여 설치된 카메라들(예컨대, 디스플레이 스크린 또는 터치 스크린 위에 장착된 카메라들의 어레이))을 사용하여 검출된다. 컴퓨팅 시스템은, 선택적으로, 하나 이상의 이미지 센서들을 사용하여, 사용자의 시선이 콘텐츠의 일부분을 향해 지향되고 사용자의 머리가 사용자의 신체에 대해 전방으로 이동하고 있다고 결정한다. 사용자의 시선 및/또는 머리 이동에 응답하여, 전자 디바이스는 콘텐츠의 일부분과 연관된 증강된 콘텐츠(예컨대, 정의, 확장된 이미지, 웹사이트 미리보기)를 디스플레이한다. 사용자의 시선 및/또는 머리 이동을 검출하는 것에 응답하여 증강된 콘텐츠를 제시하는 것은, 사용자가, 증강된 콘텐츠를 제시하도록 요청하는 입력을 제공하기 위해 시선 추적 디바이스 이외의 입력 디바이스를 사용하지 않고서, 증강된 콘텐츠를 보도록 허용하며, 이는 사용자가 증강된 콘텐츠에 더 자연스럽고 효율적으로 액세스하도록 허용한다. 게다가, 사용자의 시선 및/또는 머리 이동을 검출하는 것에 응답하여 증강된 콘텐츠를 제시하는 것은 사용자의 눈들 및/또는 머리의 이동만을 필요로 하여, 운동 제어 장애를 갖는 사람들이 컴퓨팅 시스템에 액세스가능하게 한다.
도 1 내지 도 6은 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 도 7a 내지 도 7k는 일부 실시예들에 따른, 사용자의 시선의 검출에 따라 전자 디바이스가 사용자 인터페이스의 내비게이션을 제공하는 방법의 예들을 예시한다. 도 8 내지 도 11은 다양한 실시예들에 따른, 사용자의 시선의 검출에 따라 내비게이션을 제공하는 방법들의 흐름도들이다. 도 7a 내지 도 7k의 사용자 인터페이스들은 각각 도 8 내지 도 11의 프로세스들을 예시하기 위해 사용된다.
일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 그리고 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 홈 어플라이언스들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리-장착 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 현실: 대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 헤드 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 헤드 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 헤드 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(120)에 의해 제공되고/되거나 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부(예를 들어, 그의 머리에, 그의 손에 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예를 들어, 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CRG 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 CGR 경험, 또는 하나 이상의 사용자들의 개개의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(242)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(244)은 장면(105)을 맵핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(244)은 손 추적 유닛(243), 및/또는 눈 추적 유닛(245)을 포함한다. 일부 실시예들에서, 손 추적 유닛(243)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(243)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(245)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(245)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부 및/또는 외부 대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 눈-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 손-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 HMD(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하거나 또는 장면(105)의 물리적 환경들을 캡처하는 이미지 센서들의 역할을 하기 위해 다른 이미지 센서들과 함께 사용된다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를, 맵 데이터로부터 고레벨 정보를 추출하는 제어기(110)에 출력한다. 이러한 고레벨 정보는 통상적으로, 애플리케이션 프로그램 인터페이스(API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동시킨다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 특정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 성분들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 관련된 전용 회로에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 각자의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 컴포넌트(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 너클들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 CGR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 일부이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 그러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60-120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선의 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경들을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 자동 초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 초점을 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 8개의 광원들(530)(예를 들어, LED들)이 예로서 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입시키지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실, 가상 현실, 증강 현실 및/또는 증강 가상 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실, 가상 현실 및/또는 혼합 현실 애플리케이션들에서 사용될 수 있다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트를 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예이면, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오이면, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되면, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(410)로부터 진행하면, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하면, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서의 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 리턴한다. 650에서, 결과들이 신뢰되면, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아니라면) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6은 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 내지 도 7k는 일부 실시예들에 따른, 사용자의 시선의 검출에 따라 전자 디바이스가 사용자 인터페이스의 내비게이션을 제공하는 방법의 예들을 예시한다.
도 7a는 디스플레이 생성 컴포넌트(120)를 통해 콘텐츠 브라우징 사용자 인터페이스를 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(120)(예컨대, 터치 스크린) 및 복수의 이미지 센서들(314)을 포함한다. 이미지 센서들(314)은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다.
도 7a에 도시된 바와 같이, 사용자 인터페이스는 콘텐츠 브라우징 영역(700)을 포함한다. 콘텐츠 브라우징 영역(700)은, 각각의 항목과 연관된 이미지들(702a 내지 702d) 및 텍스트(704a 내지 704d)의 일부분들을 포함한, 복수의 콘텐츠 항목들의 표현들을 포함한다. 도 7a는, 또한, 전자 디바이스에서 수신된 이벤트의 표시(708), 및 이에 응답하여 디스플레이되는 이벤트의 시각적 표시(706)를 포함한다. 예를 들어, 이벤트의 표시는, 다른 전자 디바이스로부터의 착신 메시지 또는 다른 전자 디바이스의 사용자 계정의 표시와 같은, 전자 디바이스(101)가 액세스가능한 애플리케이션에 의해 생성되는 표시이다. 통지의 시각적 표시(706)는, 선택적으로, 전자 디바이스(101)에서 수신된 메시지의 텍스트 및 메시지를 보낸 사용자 계정과 연관된 이미지와 같은, 이벤트와 연관된 텍스트 및/또는 이미지들을 포함한다. 따라서, 일부 실시예들에서, 아래에서 설명될 바와 같은 예외가 없으면, 디바이스(101)는 통지 생성 이벤트의 표시(예컨대, 표시(708))를 수신하는 것에 응답하여 디스플레이 생성 컴포넌트(120)를 통해 통지의 시각적 표시(706)를 디스플레이한다.
도 7b는 콘텐츠 브라우징 영역(700)을 디스플레이하는 디스플레이 생성 컴포넌트(120)를 예시한다. 도 7b에서, 전자 디바이스(101)는 사용자의 시선(716p)(예컨대, 사용자의 시선 위치는 텍스트(704a)와 일치함)을 (예컨대, 하나 이상의 이미지 센서들(314)을 사용하여) 검출하고, 사용자의 시선이 사용자가 콘텐츠 항목들 중 하나의 콘텐츠 항목의 텍스트(704a)를 읽고 있음을 나타낸다고 결정한다. 일부 실시예들에서, 전자 디바이스(101)는, 사용자의 시선의 이동을 추적하고 그 이동이 읽기와 일관되는 눈 이동과 매칭되는지 여부를 결정함으로써, 사용자가 읽고 있는지 여부를 결정한다. 예를 들어, 사람들이 읽을 때, 그들의 시선은, 선택적으로, 텍스트의 라인을 읽는 동안 관련 언어의 텍스트의 방향으로(예컨대, 도 7b에 도시된 바와 같이, 라틴어의 경우 좌측에서 우측으로) 텍스트의 라인을 따라 점진적으로 이동하고, 사용자가 텍스트의 라인을 읽는 것을 완료하였을 때, 그들의 시선은, 선택적으로, 다음 라인을 보기 전에 그들이 방금 읽은 라인을 따라 반대 방향으로(예컨대, 우측에서 좌측으로) 이동한다. 전자 디바이스(101)는, 선택적으로, 사용자의 시선의 검출된 이동을 이러한 패턴과 비교하여, 사용자가 읽고 있는지 여부를 결정한다.
도 7b에 도시된 바와 같이 사용자가 콘텐츠 항목의 텍스트(704a)를 읽는 것을 검출하는 것에 응답하여, 도 7c에 도시된 바와 같이 전자 디바이스(101)는 사용자 인터페이스를 업데이트한다. 도 7c에 도시된 바와 같이, 전자 디바이스(101)는, 원래 콘텐츠 브라우징 사용자 인터페이스(700) 상에 오버레이된 확장된 콘텐츠 영역(714) 내에, 콘텐츠 항목의 이미지(702a) 및 텍스트(704a)를 콘텐츠의 텍스트의 추가 부분(710a) 및 콘텐츠에 포함된 다른 이미지(712a)와 함께 디스플레이한다. 따라서, 일부 실시예들에서, 확장된 콘텐츠 영역(714)은 콘텐츠 브라우징 사용자 인터페이스(700)에서 보이지 않았던 콘텐츠의 일부분들(예컨대, 텍스트(710a), 이미지(712a))을 포함한다. 디바이스(101)는, 선택적으로, 디스플레이된 사용자 인터페이스를 다른 방식들로 변경하며, 이는 아래에서 더 상세히 설명될 것이다.
위에서 설명된 바와 같이, 전자 디바이스(101)는, 이미지 센서들(314)을 사용하여, 도 7b에 도시된 바와 같이 텍스트(704a)를 보는 동안의 사용자의 눈들의 이동이 사용자가 읽는 것에 대응하는지 여부를 결정할 수 있다. 일부 실시예들에서, 전자 디바이스(101)가 사용자가, 단지, 콘텐츠 항목의 텍스트(704a)를 읽지 않고서 그를 보고 있거나 또는 텍스트를 읽지 않고서 그를 스캐닝/스키밍(skimming)하고 있다는 것을 검출하는 경우, 전자 디바이스(101)는 도 7c에 도시된 사용자 인터페이스를 디스플레이하도록 디스플레이를 업데이트하는 대신에 도 7b에 도시된 사용자 인터페이스를 계속 디스플레이한다. 그러나, 일부 실시예들에서, 전자 디바이스(101)는, 사용자가 텍스트(704a)를 읽지 않고서 그를 보는 것을 검출하는 것에 응답하여, 사용자 인터페이스를 업데이트하는 것을 보류하고, 사용자가 텍스트(704a)를 스캐닝하거나 스키밍하고 있다는 것을 검출하는 것에 응답하여, 도 7c에 도시된 바와 같이 사용자 인터페이스를 업데이트한다.
도 7b에 도시된 바와 같이, 사용자 인터페이스의 콘텐츠 브라우징 영역(700)은 다수의 콘텐츠 항목들의 표현들, 예를 들어 제1 콘텐츠 항목의 이미지(702a) 및 텍스트(704a), 및 다른 콘텐츠 항목의 이미지(702b) 및 텍스트(704b)를 포함한다. 도 7c에 도시된 바와 같이, 전자 디바이스(101)가 제1 콘텐츠 항목의 추가 부분들을 갖는 다른 영역(714)을 포함하도록 사용자 인터페이스를 업데이트할 때, 다른 콘텐츠 항목들(예컨대, 사용자가 읽고 있는 것으로 결정되지 않은 콘텐츠 항목들)은 확장되지 않는다(예컨대, 전자 디바이스(101)는 다른 콘텐츠 항목들의 추가 부분들을 디스플레이하지 않음).
마찬가지로, 도 7b에서, 사용자가 제1 콘텐츠 항목의 텍스트(704a)를 읽는 대신에 제2 콘텐츠 항목의 텍스트(704b)를 읽기 시작하는 경우, 전자 디바이스(101)는, 전자 디바이스(101)가 도 7c에 도시된 제1 콘텐츠 항목에 대한 추가 영역(714)을 디스플레이하는 방식과 유사한 방식으로 제2 콘텐츠 항목의 추가 부분들을 갖는 사용자 인터페이스 영역을 포함하도록 사용자 인터페이스를 업데이트할 것이다. 전자 디바이스(101)는, 선택적으로, 도 7b에 도시된 콘텐츠 브라우징 사용자 인터페이스(700)를 디스플레이하는 동안 사용자가 읽기 시작하는 임의의 다른 콘텐츠 항목을 유사하게 확장시킬 것이다(선택적으로 다른 콘텐츠 항목들을 확장시키지 않고서).
도 7c에 도시된 바와 같이, 사용자 인터페이스의 확장된 콘텐츠 영역(714) 내에 제1 콘텐츠 항목을 디스플레이하는 동안, 전자 디바이스(101)는 사용자 인터페이스의 콘텐츠 브라우징 영역(700)(및 콘텐츠 브라우징 영역(700) 내의 다른 콘텐츠 항목들)을 계속 디스플레이한다. 콘텐츠 브라우징 영역(700)(및 그 내에 디스플레이된 콘텐츠 항목들)은 확장된 콘텐츠 영역(714) 내에 제1 콘텐츠 항목의 추가 부분들(710a, 712a)을 디스플레이하는 동안 강조해제된 외관으로 디스플레이된다. 예를 들어, 도 7c에 도시된 바와 같이, 콘텐츠 브라우징 영역(700)(및 그 내에 디스플레이된 콘텐츠 항목들)은, 도 7b에 도시된 바와 같이, 제1 콘텐츠 항목을 확장시키기 전에 콘텐츠 브라우징 영역(700)이 디스플레이되었던 방식에 비해 어두워진 색상들 및 더 작은 크기로 디스플레이된다. 일부 실시예들에서, 전자 디바이스(101)는, 확장된 콘텐츠 영역(714)을 디스플레이하기 전에 콘텐츠 브라우징 영역(700)(및 그 내에 디스플레이된 콘텐츠 항목들)이 디스플레이되었던 방법에 비해, 확장된 영역(714)을 디스플레이하는 동안 증가된 반투명도로 콘텐츠 브라우징 영역(700)(및 그 내에 디스플레이된 콘텐츠 항목들)을 디스플레이한다.
또한, 도 7c에 도시된 바와 같이, 제1 콘텐츠 항목을 포함하는 확장된 콘텐츠 영역(714)은 사용자 인터페이스의 콘텐츠 브라우징 영역(700) 상에 오버레이되어 디스플레이된다. 일부 실시예들에서, 사용자 인터페이스 내의 확장된 콘텐츠 영역(714)의 z 높이는, 확장된 콘텐츠 영역(714)이 디스플레이되기 전의 콘텐츠 브라우징 영역(700)의 z 높이(예컨대, 도 7b의 콘텐츠 브라우징 영역(700)의 z 높이)와 동일하다. 일부 실시예들에서, 사용자 인터페이스를 도 7b에 예시된 사용자 인터페이스로부터 도 7c에 예시된 사용자 인터페이스로 업데이트할 때, 전자 디바이스(101)는, 선택적으로, 콘텐츠 브라우징 영역(700)을 사용자 인터페이스에서 더 낮은 z 높이로 이동시킨다.
도 7c에 도시된 바와 같이, 일부 실시예들에서, 전자 디바이스(101)는, 도 7b에 도시된 바와 같이 콘텐츠 항목이 콘텐츠 브라우징 사용자 인터페이스(700) 내에 디스플레이되었던 사용자 인터페이스 내의 동일한 위치(예컨대, 디스플레이 영역 내의 동일한 수평 및/또는 수직 위치)에서 사용자 인터페이스의 확장된 콘텐츠 영역(714) 내에 콘텐츠 항목을 디스플레이한다(예컨대, 이미지(702a) 및 텍스트(704a)는 도 7b 및 도 7c에서 디스플레이 영역 내의 동일한 수평 및/또는 수직 위치에 디스플레이됨). 또한, 도 7c에 도시된 바와 같이, 콘텐츠 항목의 폭은, 선택적으로, 콘텐츠 항목이 확장된 콘텐츠 영역(714) 내에 디스플레이되는 동안, 콘텐츠 항목이 도 7b에 예시된 콘텐츠 브라우징 영역(700) 내에 디스플레이되었을 때와 동일하다. 도 7c에 도시된 바와 같이, 콘텐츠의 높이는, 그가 확장된 콘텐츠 영역(714) 내에 디스플레이될 때 콘텐츠의 추가 부분들(710a, 712a)을 드러내도록 변경된다. 일부 실시예들에서, 콘텐츠의 높이는 도 7b와 도 7c 사이에서 동일하게 유지된다. 일부 실시예들에서, 콘텐츠 항목의 텍스트의 크기는 도 7b와 도 7c 사이에서 동일하게 유지되며, 이는, 일부 상황들에서, 사용자의 주의를 산만하게 할 수 있는 텍스트의 거슬리는 이동 또는 크기조정을 회피한다.
일부 실시예들에서, 도 7b의 사용자 인터페이스로부터 도 7c의 사용자 인터페이스로 전이할 때 사용자 인터페이스 내의 동일한 위치에 콘텐츠를 디스플레이하기보다는, 전자 디바이스(101)는 디스플레이 생성 컴포넌트(120)의 디스플레이 영역의 중심(또는 다른 미리결정된 위치)에서 확장된 콘텐츠 영역(714) 내에 콘텐츠를 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는, 초기에, 도 7b에서 콘텐츠 항목이 콘텐츠 브라우징 영역(700) 내에 디스플레이되었던 동일한 위치에서 확장된 콘텐츠 영역(714) 내에 콘텐츠를 디스플레이하고, 사용자가 확장된 콘텐츠 영역(714) 내의 콘텐츠 항목을 계속 읽음에 따라, 확장된 콘텐츠 영역(714) 내의 콘텐츠 및 확장된 콘텐츠 영역(714) 자체를 디스플레이 영역의 중심(또는 다른 미리결정된 위치)으로 점진적으로 이동시킨다(예컨대, 사용자가 확장된 콘텐츠 영역 내의 콘텐츠를 점점 더 많이 읽음에 따라, 확장된 콘텐츠 영역을 점점 더 많이 이동시킴).
도 7b의 사용자 인터페이스를 도 7c의 사용자 인터페이스로 업데이트할 때, 전자 디바이스(101)는, 또한, 선택적으로, 제1 콘텐츠 항목을 디스플레이하기 위해 사용자 인터페이스의 일부분을 증가시킨다. 예를 들어, 도 7b에서 제1 콘텐츠 항목의 콘텐츠들을 디스플레이하기 위한 디스플레이 영역의 양은, 선택적으로, 도 7c에서 제1 콘텐츠 항목의 콘텐츠들을 디스플레이하기 위한 디스플레이 영역의 양보다 적다. 그 결과, 제1 콘텐츠 항목이 콘텐츠 브라우징 영역(700) 내에 디스플레이되었던 것보다 확장된 콘텐츠 영역(714) 내에 더 많이 디스플레이될 수 있다.
일부 실시예들에서, 전자 디바이스(101)는 도 7b에 예시된 사용자 인터페이스로부터 도 7c에 도시된 사용자 인터페이스로의 전이를 점진적으로 애니메이션화한다. 전자 디바이스는, 선택적으로, 사용자가 콘텐츠 항목의 텍스트(704a)를 읽는 속도에 비례하는 속도로 애니메이션을 진행한다(예컨대, 사용자가 텍스트(704a)를 더 많이 읽음에 따라, 도 7c로의 더 많은 전이가 완료됨). 예를 들어, 사용자가 도 7b에 도시된 콘텐츠 항목의 텍스트(704a)의 일부분을 읽는 경우, 전자 디바이스는 선택적으로 애니메이션의 일부분을 디스플레이한다. 다른 예로서, 사용자가 콘텐츠 항목의 텍스트(704a)의 더 많은 부분을 읽는 경우, 전자 디바이스(101)는 애니메이션의 더 많은 부분을 디스플레이한다.
도 7c로 돌아가서, 사용자가 콘텐츠 항목의 텍스트(704a 또는 710a)를 읽는 것을 중단하고 콘텐츠 항목으로부터 시선을 돌리는(예컨대, 사용자 인터페이스 내의 위치(716c)를 봄) 경우, 전자 디바이스(101)는, 선택적으로, 사용자 인터페이스를 도 7b에 도시된 사용자 인터페이스로 복귀시킨다. 일부 실시예들에서, 전자 디바이스(101)는, 대신에, 아래에서 설명되는 방법(1000)의 하나 이상의 단계들에 따라, 도 7b 및 도 7c에 디스플레이된 사용자 인터페이스들 사이에서 내비게이팅한다. 일부 실시예들에서, 전자 디바이스(101)는, 사용자가 콘텐츠 항목의 텍스트(704a 및/또는 710a)를 읽는 것을 중단하였다는 것을 (예컨대, 이미지 센서들(314)을 사용하여) 검출하는 것에 응답하여, 사용자 인터페이스를 도 7c에 예시된 사용자 인터페이스로부터 도 7b에 예시된 사용자 인터페이스로 복귀시킨다. 게다가, 일부 실시예들에서, 전자 디바이스(101)가 사용자 인터페이스를 도 7b에 예시된 사용자 인터페이스로부터 도 7c에 예시된 사용자 인터페이스로 업데이트하는 애니메이션을 디스플레이하고 있는 동안 사용자가 콘텐츠 항목으로부터 (예컨대, 위치(716c)로) 시선을 돌리는 경우, 전자 디바이스는 사용자 인터페이스를 도 7b에 예시된 사용자 인터페이스로 복귀시킨다.
일부 실시예들에서, 전자 디바이스(101)는, 사용자가 사용자 인터페이스 내에(예컨대, 확장된 콘텐츠 영역(714), 또는 콘텐츠 브라우징 영역(700) 내에) 디스플레이된 콘텐츠 항목을 읽고 있는 동안, 이벤트들의 표시들(706)을 디스플레이하거나 생성하는 것을 보류한다. 예를 들어, 도 7a에 도시된 바와 같이, 사용자가 콘텐츠 브라우징 영역(700) 내의 콘텐츠 항목들 중 어떠한 것도 읽고 있지 않은 동안, 이벤트의 표시(708)를 검출하는 것에 응답하여, 전자 디바이스(101)는 이벤트의 통지의 시각적 표시(706)를 디스플레이한다. 도 7c에 도시된 바와 같이, 전자 디바이스(101)가 사용자의 시선(716b)이 콘텐츠 항목의 일부분(704a)을 읽는 것을 검출하는 동안, 이벤트의 표시(708)를 수신하는 것에 응답하여, 전자 디바이스(101)는 도 7a에서 디스플레이되었던 통지의 시각적 표시(706)를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 사용자가 콘텐츠 항목을 읽는 것을 중단할 때 그리고 사용자가 어떠한 다른 콘텐츠 항목들도 읽고 있지 않은 동안, 전자 디바이스(101)는, 사용자가 읽고 있었던 동안 검출된 이벤트의 표시(706)를 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는, 디바이스(101)가 사용자가 사용자 인터페이스 내의 임의의 콘텐츠를 읽는 것을 중단하였다고 결정할 때에도, 이벤트의 시각적 표시(706)를 디스플레이하지 않는다.
일부 실시예들에서, 전자 디바이스(101)는 콘텐츠 항목에 대한 사용자의 읽기에 따라 콘텐츠 항목의 텍스트를 스크롤한다. 도 7c에서, 전자 디바이스(101)는 사용자 인터페이스 내의 제1 위치(722a)에(예컨대, 이미지(702a) 바로 아래에) 콘텐츠 항목의 텍스트의 제1 라인(724a)을 디스플레이한다. 전자 디바이스(101)는, 또한, 사용자 인터페이스 내의 제2 위치(722b)에(예컨대, 위치(722a) 바로 아래에) 텍스트의 제2 라인(724b)을 디스플레이한다.
사용자가 텍스트의 제1 라인(724a)을 읽는 것을 완료하였음을 나타내는 사용자의 시선(716b)을 검출하는 것에 응답하여, 전자 디바이스(101)는 도 7d에 도시된 바와 같이 텍스트를 스크롤한다. 도 7d에 도시된 바와 같이, 스크롤링의 결과는, 텍스트의 제2 라인(724b)이 이제 제1 위치(722a)에 디스플레이되고, 텍스트의 제2 라인(724b) 뒤의 텍스트의 제3 라인(724c)이 제2 위치(722b)에 디스플레이된다는 것이다. 전자 디바이스(101)는, 또한, 텍스트(710a) 및 이미지(712a)와 같은, 콘텐츠 항목의 일부분들의 나머지를 위로 스크롤한다. 일부 실시예들에서, 위치(722a, 722b)는 사용자 인터페이스의 나머지에 대해 고정된다. 일부 실시예들에서, 텍스트의 제2 라인(724b)을 사용자 인터페이스 내의 위치(722a)로 스크롤한 후, 전자 디바이스는 텍스트의 제1 라인(724a)을 디스플레이하는 것을 중지한다. 일부 실시예들에서, 이미지(712a)는 스크롤되지 않는다.
도 7c로 돌아가서, 일부 실시예들에서, 전자 디바이스(101)는, 전자 디바이스가 사용자가 텍스트의 라인(724a)을 읽는 것을 완료하였다는 것을 검출할 때까지, 콘텐츠를 스크롤하지 않는다. 사용자가 텍스트의 라인을 읽는 것을 완료하지 않고서 텍스트의 라인(724a)을 읽는 것을 검출하는 동안, 전자 디바이스(101)는 사용자 인터페이스 내의 콘텐츠의 현재 스크롤 상태를 유지한다(예컨대, 콘텐츠를 스크롤하는 것을 보류함). 게다가, 전자 디바이스(101)는, 선택적으로, 사용자가 읽지 않고서 콘텐츠 항목을 보거나 사용자 인터페이스 내의 다른 곳을 보거나 사용자 인터페이스로부터 시선을 돌리는 것을 검출하는 것에 응답하여, 콘텐츠를 스크롤하는 것을 보류한다. 일부 실시예들에서, 사용자가 텍스트(724a)를 완전히 읽기보다는 텍스트(724a)를 스키밍하거나 스캐닝하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는, 또한, 콘텐츠 항목을 스크롤하는 것을 보류한다. 일부 실시예들에서, 전자 디바이스(101)는, 사용자가 텍스트를 스캐닝하거나 스키밍하고 있는 동안, 텍스트를 스크롤한다. 예를 들어, 이미지 센서들(314)을 사용하여, 사용자가 콘텐츠 항목을 스캐닝하거나 스키밍하고 있다는 것을 검출하는 동안, 사용자가 텍스트의 제1 라인(724a)을 스캐닝하거나 스키밍하는 것을 완료하였다는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는, 선택적으로, 텍스트를 도 7d에 예시된 위치로 스크롤한다. 요약하면, 일부 실시예들에서, 사용자의 시선이 사용자가 텍스트의 라인(724a)을 읽는 것을 완료한 것에 대응하지 않는 경우, 전자 디바이스(101)는 콘텐츠 항목을 스크롤하는 것을 보류한다.
일부 실시예들에서, 전자 디바이스(101)는, 사용자의 시선(716b)이 그들이 방금 읽은 라인(724a)을 따라 후방으로(예컨대, 도시된 바와 같이, 라틴어의 경우 우측에서 좌측으로) 이동하는 것을 검출하는 것을 포함하여, 사용자가 텍스트의 제1 라인(724a)을 읽는 것을 완료하였다는 것을 검출하는 것에 응답하여, 텍스트를 스크롤한다. 일부 실시예들에서, 사용자들은, 다음 라인(724a)을 보기 전에, 그들이 방금 읽은 라인을 따라 후방으로 보며, 그에 따라, 사용자의 시선(716b)이 텍스트의 라인(724a)을 따라 후방으로 이동하는 것을 검출하는 것은, 사용자가 텍스트의 다음 라인(724b)을 막 읽으려고 함을 나타낸다. 일부 실시예들에서, 전자 디바이스(101)는, 도 7d에 도시된 바와 같이, 텍스트의 제2 라인(724b)이 제1 위치(722a)로 이동하고, 동시에(예컨대, 0.1, 0.3, 0.5초와 같은 시간 임계치 내에), 사용자의 시선(716b)이 제1 위치(722a)의 시작부로 이동하도록, 텍스트(704a)의 스크롤링을 타이밍한다. 이러한 방식으로, 사용자는, 사용자 인터페이스 내의 제2 위치(722a)를 보기 위해 그들의 시선을 아래로 이동시키지 않고서, 그들이 텍스트의 제1 라인(724a)을 읽은 동일한 위치(722a)에서 텍스트의 제2 라인(724b)을 읽을 수 있다.
일부 실시예들에서, 사용자들은 콘텐츠를 읽는 동안 텍스트의 하나 이상의 라인들을 스킵한다. 예를 들어, 사용자가 텍스트의 제1 라인(724a)을 읽는 것을 완료하고, 텍스트의 제2 라인(724b)을 읽기 시작하는 대신에, 사용자가 콘텐츠 항목의 텍스트의 일부분(710a)을 읽기 시작한다고 가정한다. 사용자의 시선을 사용하여, 사용자가 콘텐츠 항목의 텍스트의 일부분(710a)을 읽고 있다는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는, 선택적으로, 일부분(710a)을 위치(722a)로 스크롤한다. 일부 실시예들에서, 전자 디바이스(101)가 텍스트의 일부분(710a)을 위치(722a)로 스크롤하는 속도는, (예컨대, 사용자가 텍스트의 제1 라인(724a)을 읽는 것을 완료하였다는 것을 검출하는 것에 응답하여) 전자 디바이스(101)가 라인(724b)을 위치(722a)로 스크롤하는 속도와 동일하거나 그보다 느리다. 일부 실시예들에서, 사용자가 일부분(710a)으로부터 콘텐츠 항목을 계속 읽음에 따라, 사용자 인터페이스 내의 사용자의 현재 읽기 위치는 사용자 인터페이스 내의 위치(722a)로 점진적으로 이동한다(예컨대, 일부분(710a) 내의 텍스트의 제1 라인을 읽은 후의 그곳으로 가는 경로의 일부, 일부분(710a) 내의 텍스트의 제2 라인을 읽은 후의 그곳으로 가는 경로의 다른 부분 등).
일부 실시예들에서, 전자 디바이스(101)는 이미지 상에서의 사용자의 시선을 검출하는 것에 응답하여 콘텐츠 항목의 이미지들을 스크롤한다. 도 7d는 콘텐츠 항목의 이미지(712a)로 지향된 사용자의 시선(716d)의 검출을 예시한다. 도 7d에 도시된 바와 같이 이미지(712a)로 지향된 사용자의 시선(716d)을 검출하는 것에 응답하여, 전자 디바이스(101)는, 도 7e에 도시된 바와 같이, 위치(722a)에 이미지(712a)(예컨대, 이미지(712)의 수직 중심 또는 다른 미리결정된 부분)를 디스플레이하도록 콘텐츠를 스크롤한다.
위치(722a)에 이미지(712a)를 디스플레이하는 동안, 전자 디바이스는, 도 7e에 도시된 바와 같이, 이미지(712a) 아래에 디스플레이된 콘텐츠 항목의 텍스트(710b)의 일부분으로 지향되는 사용자의 시선(716e)을 검출한다. 이에 응답하여, 전자 디바이스(101)는, 도 7f에 도시된 바와 같이, (예컨대, 사용자 인터페이스 내의 이미지(712a)를 스크롤하지 않고서) 텍스트(710b)를 중첩 이미지(712a)까지 스크롤한다. 일부 실시예들에서, 디바이스(101)는, 사용자의 시선이 지향되는 텍스트(710b)의 일부분이 사용자 인터페이스 내의 위치(722a)에 디스플레이되도록 텍스트(710b)를 스크롤한다. 일부 실시예들에서, 디바이스는, 사용자의 시선이 지향되는 텍스트(710b)의 일부분이 이미지(712a) 상에 오버레이된 사용자 인터페이스 내의 다른 스크롤 위치에 디스플레이되도록 텍스트(710b)를 스크롤한다. 일부 실시예들에서, 도 7e에 도시된 바와 같이 사용자가 텍스트(710b)를 보는 것을 검출하는 것에 응답하여 텍스트(710b)를 도 7f를 참조하여 설명되는 위치로 스크롤하기보다는, 전자 디바이스(101)는, 상이한 기준들에 응답하여, 예를 들어, 도 7e에 도시된 바와 같이 이미지(712a)를 위치(722a)로 스크롤한 이후로 미리결정된 시간이 경과하는 것을 검출하는 것에 응답하여, 또는 사용자가, 단지 텍스트(710b)를 보기보다는, 그를 읽고 있다는 것을 검출하는 것에 응답하여, 텍스트(710b)를 도 7f를 참조하여 설명되는 위치까지 스크롤한다.
일부 실시예들에서, 도 7f에 예시된 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(101)는, 사용자의 시선을 사용하여, 사용자가 이미지(712a) 상에 오버레이된 텍스트의 일부분(710b)을 읽고 있다는 것을 검출한다. 사용자가 이미지(712a) 상에 오버레이된 텍스트의 일부분(710b)을 읽는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는, 선택적으로, 텍스트(710b)가 더 이상 이미지 상에 오버레이되지 않도록 이미지(712a)를 위로 스크롤한다. 선택적으로, 전자 디바이스(101)는, 또한, 이미지(712a)를 위로 스크롤할 때 유사한 방식으로 텍스트(704a, 710a)를 위로 스크롤한다(그리고 선택적으로, 텍스트(704a, 710a)의 일부 또는 전부를 디스플레이하는 것을 중지함). 콘텐츠 항목의 스크롤링은, 선택적으로, 도 7c 내지 도 7f를 참조하여 설명되는 바와 같이 사용자의 시선에 기초하여 계속된다.
도 7c 내지 도 7f에 도시된 바와 같이, 일부 실시예들에서, 전자 디바이스(101)는 텍스트를 수직으로 스크롤한다. 일부 실시예들에서, 전자 디바이스(101)는, 사용자가 텍스트를 읽음에 따라, 텍스트를 수평으로 스크롤한다. 게다가, 일부 실시예들에서, 전자 디바이스(101)는 사용자의 머리 이동 및/또는 시선을 "따르도록"(예컨대, 사용자의 시선과 계속 일치하도록) 텍스트(및/또는 콘텐츠 항목이 디스플레이되는 전체 영역(714))를 이동시킨다. 이러한 방식으로, 예를 들어, 전자 디바이스(101)는 사용자 인터페이스의 중간과 같은 사용자 인터페이스 내의 미리결정된 위치에, 도 7a에 도시된 바와 같이 콘텐츠 항목이 콘텐츠 브라우징 영역(700) 내에 디스플레이되었던 위치에, 또는 다른 미리결정된 위치에 콘텐츠를 디스플레이할 수 있다.
일부 실시예들에서, 콘텐츠를 스크롤하는 다른 방식들이 가능하다. 스크롤링 방향은, 선택적으로, 텍스트의 수직 및 수평 스크롤링 둘 모두를 포함한다. 예를 들어, 사용자가 디지털 만화책을 읽고 있는 경우, 만화책의 패널들은, 선택적으로, 사용자가 현재 읽고 있는 패널을 사용자 인터페이스 내의 미리결정된 위치에 디스플레이하기 위해 필요에 따라 수직 및 수평으로 스크롤된다. 일부 실시예들에서, 디지털 만화책을 디스플레이하는 동안, 전자 디바이스(101)는, 선택적으로, 사용자가 만화의 현재 디스플레이된 말 풍선들(예컨대, 사용자가 디지털 만화책의 선행 부분들을 읽는 것에 응답하여 디스플레이되는, 디지털 만화책의 숨겨진 부분들에 바로 또는 달리 선행하는 디지털 만화책의 말 풍선들 또는 다른 부분들)을 읽는 것을 완료할 때까지, 디지털 만화책의 말 풍선들 및/또는 하나 이상의 이미지들을 디스플레이하지 않는다.
일부 실시예들에서, 전자 디바이스(101)는, 음악, 음향 효과들, 및/또는 소리내어 읽히는 텍스트의 기록과 같은, 콘텐츠 항목의 텍스트 및/또는 이미지들과 연관된 오디오 콘텐츠를 제시한다. 전자 디바이스(101)는, 선택적으로, 사용자가 콘텐츠를 읽는 속도와 조정되는 속도로 오디오 콘텐츠를 재생한다.
또한, 일부 실시예들에서, 전자 디바이스(101)는, 사용자가 읽고 있는 콘텐츠의 표시 및/또는 사용자가 콘텐츠를 읽고 있었던 타임스탬프를 저장할 수 있다. 추후에, 사용자가 각각의 시간에 읽고 있었던 콘텐츠 항목의 표시를 제시하라는 요청에 응답하여, 전자 디바이스(101)는, 선택적으로, 사용자가 각각의 시간에 읽고 있었던 콘텐츠 항목의 표시를 제시할 수 있다. 일부 실시예들에서, 전자 디바이스(101)는, 또한, 콘텐츠 항목에 대한 사용자의 읽기 진행을 저장할 수 있고, 사용자가 콘텐츠 항목으로 복귀할 때, 전자 디바이스(101)는, 선택적으로, 사용자가 마지막으로 읽은 콘텐츠의 일부분의 표시를 제시하고/하거나, 콘텐츠를 사용자가 마지막으로 읽은 일부분으로 스크롤한다.
일부 실시예들에서, 확장된 콘텐츠 영역(714) 내에 콘텐츠 항목을 디스플레이하고 사용자의 시선에 따라 콘텐츠를 스크롤하는 동안, 이미지 센서들(314)을 사용하여, 사용자가 그들의 눈들을 미리결정된 시간(예컨대, 0.5초, 1초, 2초) 동안 감는 것을 검출하는 것에 응답하여, 전자 디바이스는 콘텐츠 항목을 처음 상태로, 예를 들어 도 7c에 예시된 콘텐츠 항목의 상태로 스크롤한다.
일부 실시예들에서, 사용자가 콘텐츠 항목을 스키밍하거나 스캐닝하는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는, 선택적으로, 콘텐츠 항목의 나머지와는 상이한 시각적 특성으로 콘텐츠 항목의 하나 이상의 키 워드들을 디스플레이한다. 예를 들어, 키 워드들은 볼드체로 그리고/또는 텍스트의 나머지와는 상이한 색상 및/또는 크기로 디스플레이된다.
도 7c 내지 도 7f를 참조하여 설명되는 바와 같이, 전자 디바이스(101)는, 사용자가 텍스트를 읽는 것을 검출하는 것에 응답하여, 텍스트를 아래로 스크롤한다. 일부 실시예들에서, 시선 검출 이외의 입력이 텍스트를 위로 스크롤하는 데 필요하다(예컨대, 디바이스(101)는, 선택적으로, 시선 입력에 응답하여 콘텐츠 항목을 상향으로 스크롤하지 않음). 예를 들어, 전자 디바이스는, 선택적으로, 터치 스크린, 마우스, 키보드, 모션 센서, 또는 사용자 인터페이스에서 콘텐츠 항목을 상향으로 스크롤하기 위한 다른 입력 디바이스에서 검출되는 지향성 입력과 같은, 이미지 센서들(314) 이외의 입력 디바이스로부터의 입력을 검출하는 것에 응답하여, 텍스트를 위로 스크롤한다. 이러한 방식으로, 디바이스(101)는, 상향 및 하향 스크롤링이 둘 모두 시선에 기초하여 수행되는 경우 발생할 수 있는 주의산만하고 불필요한 전후 스크롤링을 회피할 수 있다.
도 7a 내지 도 7c를 참조하여 위에서 설명된 바와 같이, 전자 디바이스(101)는, 사용자가 콘텐츠 항목의 일부분(704a)을 읽는 것을 검출하는 것에 응답하여, 콘텐츠 브라우징 영역(700) 상에 오버레이되는 영역(714)을 디스플레이한다. 도 7c에 도시된 바와 같이, 영역(714)은, 예를 들어 영역(700) 상에 오버레이되는 영역(714)을 디스플레이하고/하거나 영역(714)을 풀 컬러, 완전 선명도(예컨대, 흐릿함 없음) 및/또는 실제 크기로 디스플레이하면서 콘텐츠 브라우징 영역(700)을 탁색(예컨대, 감소된 포화도), 감소된 선명도(예컨대, 흐릿함 있음) 및/또는 감소된 크기로 디스플레이함으로써, 사용자가 영역(714)을 보는 동안 콘텐츠 브라우징 영역(700)에 비해 시각적으로 강조된다.
일부 실시예들에서, 전자 디바이스(101)는 사용자의 시선 및/또는 머리 이동에 따라 사용자 인터페이스의 콘텐츠 브라우징 영역(700)과 사용자 인터페이스의 영역(714) 사이에서 내비게이팅한다. 도 7c로 돌아가서, 콘텐츠 브라우징 영역(700) 상에 오버레이된 영역(714) 내에 콘텐츠 항목을 디스플레이하는 동안, 전자 디바이스(101)는 콘텐츠 브라우징 영역(700) 상에서의 사용자의 시선(716c)을 검출한다. 일부 실시예들에서, 전자 디바이스(101)는, 또한, (사용자의 신체에 대해) 전방으로의 그리고/또는 콘텐츠 브라우징 영역(700)을 향한 사용자의 머리의 이동(예컨대, 우측으로 기울이거나 돌림)과 같은, 하나 이상의 기준들을 충족시키는 사용자의 머리의 이동을 검출한다. 사용자의 시선(716c) 및 머리 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는, 아래에서 더 상세히 설명될 바와 같이, 도 7a 및/또는 도 7b에 도시된 콘텐츠 브라우징 사용자 인터페이스로 다시 내비게이팅하기 시작한다.
전자 디바이스(101)는, 선택적으로, 도 7c에 도시된 바와 같이 콘텐츠 브라우징 영역(700) 상에 오버레이되는 영역(714)을 디스플레이하는 것과 도 7b에 도시된 바와 같이 콘텐츠 브라우징 영역을 디스플레이하는 것 사이의 전이를 애니메이션화한다. 일부 실시예들에서, 애니메이션은 전방으로의 그리고/또는 콘텐츠 브라우징 영역(700)을 향한 머리 이동의 양 및/또는 지속시간 및/또는 콘텐츠 브라우징 영역(700) 상에서의 사용자의 시선의 지속시간에 비례하는 속도로 진행된다. 도 7g 및 도 7h는 애니메이션의 중간 프레임들을 예시한다. 도 7c에서 전방으로의 그리고/또는 콘텐츠 브라우징 영역(700)을 향한 사용자의 머리 이동 및 사용자의 시선(716c)을 검출하는 것에 응답하여, 전자 디바이스(101)는, 도 7g에 예시된 사용자 인터페이스를 디스플레이하는 것을 포함하여, 애니메이션을 시작한다. 도 7g에 도시된 바와 같이, 전자 디바이스(101)는, 영역(714)을 강조해제하고/하거나(예컨대, 어둡게 하고/하거나 흐릿하게 함) 콘텐츠 브라우징 영역(700)을 강조하기(예컨대, 밝게 하고/하거나 그의 선명도를 증가시킴) 시작한다. 일부 실시예들에서, 전자 디바이스(101)는, 반투명도, 밝기, 포화도 및/또는 크기와 같은 영역들(714, 700)의 다른 특성들을 수정한다.
도 7g에 도시된 바와 같이 전방으로의 그리고/또는 콘텐츠 브라우징 영역(700)을 향한 머리 이동 및 콘텐츠 브라우징 영역(700) 상에서의 사용자의 시선(716g)을 계속 검출하는 것에 응답하여, 전자 디바이스(101)는, 도 7h에 예시된 사용자 인터페이스를 디스플레이하는 것을 포함하여, 애니메이션을 진행한다. 도 7h에 도시된 바와 같이, 전자 디바이스(101)는 계속해서 영역(714)을 강조해제하고/하거나(예컨대, 어둡게 하고/하거나 흐릿하게 함) 콘텐츠 브라우징 영역(700)을 강조한다(예컨대, 밝게 하고/하거나 그의 선명도를 증가시킴). 또한, 전자 디바이스(101)는, 도 7g에 도시된 바와 같이 애니메이션에서 이전에 영역들(714, 700)이 디스플레이되었던 크기들에 비해 감소된 크기로 영역(714)을 디스플레이하고 증가된 크기로 콘텐츠 브라우징 영역(700)을 디스플레이한다. 일부 실시예들에서, 전자 디바이스(101)는, 반투명도, 밝기, 포화도 및/또는 크기와 같은 영역들(714, 700)의 다른 특성들을 수정한다. 일부 실시예들에서, 전방으로의 그리고/또는 콘텐츠 브라우징 영역(700)을 향한 머리 이동을 검출하지 않고서, (도 7c에 도시된 바와 같이) 콘텐츠 브라우징 영역(700)을 향해 지향되는 사용자의 시선(716c)을 검출하는 것에 응답하여, 전자 디바이스(101)는 도 7g 및 도 7h에 도시된 애니메이션을 디스플레이하기 시작한다. 그러나, 전자 디바이스는, 선택적으로, 기준들을 만족시키는, 콘텐츠 브라우징 영역(700)을 향해 지향되는 사용자의 시선(716c) 및 머리 이동 둘 모두가 검출되지 않는 한, 도 7b에 도시된 바와 같은 콘텐츠 브라우징 영역(700)으로 다시 내비게이팅하지 않는다. 일부 실시예들에서, 선택적으로 영역들(700, 714) 사이에서의 내비게이션을 개시하는 데 필요한 대응하는 머리 이동 없이 사용자의 시선이 영역들(700, 714) 사이에서 전후로 이동하는 것을 검출하는 것에 응답하여, 디바이스(101)는, 2개의 영역들의 크기 및/또는 이동의 변화들을 디스플레이하거나 애니메이션화하지 않고서, 2개의 영역들의, 크기 이외의 하나 이상의 시각적 특성들만을 변경한다. 예를 들어, 사용자의 시선이 영역(714)으로 지향되는 동안, 그는 완전 선명도, 풀 컬러 등으로 디스플레이되고, 영역(700)은 덜한 선명도(예컨대, 흐릿해짐), 색상(예컨대, 그레이스케일과 같은 감소된 포화도) 등으로 디스플레이되며, 대응하는 머리 이동 없이 사용자의 시선이 영역(700)으로 지향되는 것에 응답하여, 디바이스(101)는 완전 선명도, 풀 컬러 등으로 영역(700)을 디스플레이하고, 영역(714)은 덜한 선명도(예컨대, 흐릿해짐), 색상(예컨대, 그레이스케일) 등으로 디스플레이되며, 그 반대의 경우도 가능하다.
도 7h에 도시된 바와 같이 전방으로의 그리고/또는 콘텐츠 브라우징 영역(700)을 향한 머리 이동 및 콘텐츠 브라우징 영역(700) 상에서의 사용자의 시선(716h)을 계속 검출하는 것에 응답하여(예컨대, 사용자의 시선 및 머리 이동이 하나 이상의 미리결정된 기준들을 만족시킨다는 것을 검출하는 것에 응답하여), 전자 디바이스(101)는, 도 7b에 도시된 바와 같이, 콘텐츠 브라우징 영역(700)을 디스플레이하기 위해 애니메이션을 계속 진행하고, 확장된 콘텐츠 영역(714)을 디스플레이하는 것을 중지한다. 도 7b에 도시된 바와 같이, 콘텐츠 브라우징 영역(700)은 실제 크기, 풀 컬러, 완전 선명도 및/또는 최소 반투명도로 디스플레이되고, 영역(714)은 더 이상 디스플레이되지 않는다. 따라서, 전방으로의 그리고/또는 콘텐츠 브라우징 영역(700)을 향한 사용자의 머리 이동 및 콘텐츠 브라우징 사용자 인터페이스(700) 상에서의 사용자의 시선을 검출하는 것에 응답하여, 전자 디바이스(101)는 영역(714)으로부터 다시 콘텐츠 브라우징 영역(700)으로 내비게이팅한다.
도 7c로 돌아가서, 영역(700)으로 다시 내비게이팅하기 위한 기준들을 충족시키지 않는 사용자의 머리의 이동을 검출하는 것, 또는 머리 이동을 전혀 검출하지 않는 것에 응답하여, 전자 디바이스(101)는 콘텐츠 브라우징 영역(700) 상에 오버레이되는 영역(714)을 계속 디스플레이한다. 또한, 머리 이동을 검출하지 않고서 콘텐츠 브라우징 영역(700) 상에서의 사용자의 시선(716c)을 검출하는 것에 응답하여, 전자 디바이스(101)는 콘텐츠 브라우징 영역(700)으로 다시 내비게이팅하는 것을 보류한다. 게다가, 사용자가 내비게이션 기준들을 충족시키는 머리 이동(예컨대, 전방 이동 또는 콘텐츠 브라우징 영역(700)을 향한 이동)을 수행하지만, 콘텐츠 브라우징 영역(700)을 보는 대신에 영역(714)을 계속 보는 경우, 전자 디바이스(101)는 콘텐츠 브라우징 영역(700)으로 다시 내비게이팅하는 것을 보류한다.
일부 실시예들에서, 애니메이션이 디스플레이되고 있는 동안 사용자가 영역(714)을 보는 경우, 전자 디바이스(101)는 영역(714)으로부터 영역(700)으로 내비게이팅하는 애니메이션을 반전시키고, 콘텐츠 브라우징 영역(700)으로 다시 내비게이팅하는 것을 보류한다. 도 7g에 도시된 바와 같이, 전자 디바이스(101)는 영역(714)으로부터 콘텐츠 브라우징 영역(700)으로 내비게이팅하는 애니메이션을 디스플레이하는 동안 영역(714) 상에서의 사용자의 시선(716f)을 검출한다. 사용자의 시선(716f)을 검출하는 것에 응답하여, 전자 디바이스(101)는, 선택적으로, 콘텐츠 브라우징 영역(700)으로 다시 내비게이팅하는 것을 중단하고, 도 7c에 예시된 사용자 인터페이스를 디스플레이한다. 도 7c에 도시된 바와 같이, 도 7g에 예시된 영역들(714, 700)의 외관들에 비해, 영역(714)은 풀 컬러, 완전 선명도, 및/또는 실제 크기 및/또는 최소 반투명도로 디스플레이되고, 콘텐츠 브라우징 영역(700)은 감소된 크기 및 더 어두운 색상, 증가된 흐릿함, 및/또는 증가된 반투명도로 디스플레이된다.
따라서, 도 7a 내지 도 7h를 참조하여 위에서 설명된 바와 같이, 전자 디바이스는, 사용자의 시선 및/또는 머리 이동에 따라, 텍스트를 디스플레이하는 것을 중지하는 것을 포함하여, 사용자 인터페이스의 영역들 사이에서 내비게이팅할 수 있다. 일부 실시예들에서, 일부 텍스트(예컨대, 통지들의 시각적 표시들(706), 확장된 콘텐츠 영역(714)에 표시된 텍스트 등)는 그를 먼저 읽지 않는 한 해제될 수 없다. 예를 들어, 통지들 및/또는 계약 조건들(terms and conditions)의 시각적 표시들(706)은, 전자 디바이스(101)가 사용자가 이들 항목들의 콘텐츠를 읽었다는 것을 (예컨대, 이미지 센서들(314)로) 검출할 때까지 디스플레이된다. 일부 실시예들에서, 사용자가 통지의 표시(706)를 읽었다는 것을 검출하는 것에 응답하여, 전자 디바이스는 통지와 연관된 애플리케이션을 디스플레이한다.
일부 실시예들에서, 전자 디바이스(101)는, 사용자가 콘텐츠 항목의 일부분을 보고 그들의 머리를 (예컨대, 사용자의 신체에 대해) 전방으로 이동시키는 것을 검출하는 것에 응답하여, 콘텐츠 항목의 일부분과 관련된 증강된 콘텐츠를 디스플레이한다. 예를 들어, 증강된 콘텐츠는 단어, 하이퍼링크의 미리보기, 또는 콘텐츠 항목에 포함된 이미지의 확대된(예컨대, 스케일 업(scale up)된 또는 크로핑(cropping)되지 않은) 버전의 정의이다.
예를 들어, 도 7c를 참조하면, 전자 디바이스(101)는, 사용자가 그들의 머리를 전방으로 이동시키는 동안, 사용자의 시선(716a)을 검출한다. 도 7c에 도시된 바와 같이, 사용자의 시선(716a)은 콘텐츠 항목의 각각의 단어(718a)("Lorem")의 위치에 있다. 미리결정된 시간 동안의 각각의 단어(718a) 상에서의 사용자의 시선(716a) 및/또는 사용자의 시선(716a)이 각각의 단어(718a) 상에 있는 동안, 미리결정된 시간 동안의 그리고/또는 미리결정된 거리에 걸친 사용자의 머리 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는, 예를 들어 도 7i에 도시된 바와 같이 볼드 활자체로 단어(718a)를 디스플레이하는 것과 같이, 수정된 외관으로 단어(718a)를 디스플레이한다.
도 7i에 도시된 바와 같이, 단어(718a) 상에서의 사용자의 시선(716i) 및 전방으로의 머리의 이동을 계속 검출하는 것에 응답하여, 도 7j에 도시된 바와 같이, 전자 디바이스(101)는 단어(718a)와 연관된 증강된 콘텐츠(720a)를 디스플레이한다. 따라서, 사용자의 시선 및 머리 이동에 응답하여, 전자 디바이스(101)는, 먼저, 전자 디바이스(101)가 증강된 콘텐츠(720)를 막 디스플레이하려고 한다는 표시를 디스플레이하고(예컨대, 시선이 지향되는 단어의 외관을 변경함), 이어서, 머리 이동이 유지되거나 계속되고 시선이 단어(718a) 상에 유지되는 경우, 전자 디바이스(101)는 증강된 콘텐츠(720a)를 디스플레이한다.
일부 실시예들에서, 전자 디바이스(101)는 도 7i에 예시된 사용자 인터페이스와 도 7j에 예시된 사용자 인터페이스 사이의 전이를 애니메이션화한다. 애니메이션의 진행은, 선택적으로, 사용자의 시선이 단어(718a) 상에 있는 지속시간, 사용자가 그들의 머리를 전방으로 유지한 지속시간, 또는 사용자가 그들의 머리를 전방으로 이동시키는 거리 및/또는 속도에 비례한다.
사용자가 그들의 머리를 전방으로 이동시키는 동안 그러나 단어(718a)에 대한 증강된 콘텐츠를 디스플레이하기 전에 상이한 단어 또는 콘텐츠 항목의 이미지를 보는 경우, 전자 디바이스(101)는, 선택적으로, 먼저, 증강된 콘텐츠가 막 디스플레이되려고 한다는 시각적 표시를 디스플레이하고(예컨대, 다른 단어를 굵게 함), 이어서, 머리 이동이 계속되거나 유지되고 시선이 유지되는 경우, 증강된 콘텐츠를 디스플레이하는 것을 포함하여, 상이한 단어 또는 이미지와 관련된 증강된 콘텐츠를 디스플레이한다. 예를 들어, 도 7k에 도시된 바와 같이, 단어(718b) 상에서의 사용자의 시선(716n) 및 머리 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는 단어(718b)와 관련된 증강된 콘텐츠(720b)를 디스플레이한다.
일부 실시예들에서, 전자 디바이스(101)는, 사용자가 머리 이동을 수행하지 않고서 단지 콘텐츠 항목의 일부분을 보는 경우, 콘텐츠 항목의 일부분과 관련된 증강된 콘텐츠를 디스플레이하지 않는다. 게다가, 전자 디바이스(101)는, 또한, 사용자가 콘텐츠의 일부분을 보는 동안 머리 이동이 검출되지 않는 한, 전자 디바이스(101)가 증강된 콘텐츠를 막 디스플레이하려고 한다는 표시를 디스플레이하는 것(예컨대, 단어 또는 콘텐츠의 일부분을 굵게 함)을 보류한다. 예를 들어, 도 7c를 참조하면, 머리 이동을 검출하지 않고서 단어(718a) 상에서의 사용자의 시선(716a)을 검출하는 것에 응답하여, 전자 디바이스(101)는 도 7i의 사용자 인터페이스를 디스플레이하는 대신에 도 7c의 사용자 인터페이스를 계속 디스플레이한다.
또한, 일부 실시예들에서, 전자 디바이스(101)가 도 7i의 사용자 인터페이스를 디스플레이하는 동안 사용자가 콘텐츠 항목의 상이한 부분을 보는 경우, 전자 디바이스(101)는 단어(718a)와 연관된 증강된 콘텐츠를 디스플레이하는 것을 보류한다. 대신에, 일부 실시예들에서, 전자 디바이스(101)는, 먼저, 사용자가 보고 있는 콘텐츠 항목의 다른 부분과 연관되는 증강된 콘텐츠가 막 디스플레이되려고 한다는 표시를 디스플레이하고(예컨대, 콘텐츠 항목의 그 다른 부분을 굵게 함), 이어서, 사용자가 머리 이동을 유지하거나 계속하면서 콘텐츠 항목의 그 부분을 계속 보는 경우, 전자 디바이스(101)는 콘텐츠 항목의 다른 부분과 연관된 증강된 콘텐츠를 디스플레이한다.
예를 들어, 사용자가 그들의 머리를 전방으로 이동시키면서 단어(718a)를 보는 것을 검출하는 것에 응답하여, 도 7i에 예시된 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 선택적으로, 사용자가 단어(718b)를 보는 것을 검출한다. 사용자가 단어(718b)를 보는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는, 선택적으로, 단어(718a)를 볼드체로 디스플레이하는 것을 중단하고, 대신에, 단어(718b)를 볼드체로 디스플레이한다. 이어서, 이러한 예에서, 사용자가 단어(718b)를 계속 보고 전방으로의 머리 이동을 계속하거나 유지하는 경우, 전자 디바이스(101)는, 도 7k에 도시된 바와 같이, 단어(718b)와 연관된 증강된 콘텐츠(720b)를 디스플레이한다.
일부 실시예들에서, 도 7j 및 도 7k에 도시된 바와 같이, 전자 디바이스는 확장된 콘텐츠 영역(714) 내에 증강된 콘텐츠(720)를 디스플레이한다. 일부 실시예들에서, 증강된 콘텐츠(720)는, 증강된 콘텐츠(720)가 대응하는 단어 상에 오버레이되어 또는 그에 근접하여 디스플레이된다. 도 7j 및 도 7k가 콘텐츠의 텍스트 또는 이미지(들) 상에 오버레이되지 않고서 확장된 콘텐츠 영역(714) 내에 디스플레이된 증강된 콘텐츠(720a)를 예시하지만, 일부 실시예들에서, 증강된 콘텐츠(714)는 확장된 콘텐츠 영역(714) 내에 디스플레이된 콘텐츠 항목 상에 오버레이된다.
그러나, 일부 실시예들에서, 일단 각각의 단어에 대응하는 증강된 콘텐츠가 디스플레이되면, 상이한 단어를 보는 것은 전자 디바이스(101)로 하여금 다른 단어를 볼드 활자체로 그리고/또는 그 다른 단어에 대한 증강된 콘텐츠를 디스플레이하게 하지 않을 것이다. 예를 들어, 도 7j를 참조하면, 단어(718a)와 연관된 증강된 콘텐츠(720a)가 디스플레이되는 동안 사용자가 단어(718b)를 보는 경우, 전자 디바이스(101)는 단어(718b)를 볼드 활자체로 디스플레이하도록 사용자 인터페이스를 업데이트하지 않을 것이다. 일부 실시예들에서, 사용자는, 증강된 콘텐츠가 디스플레이되기 전에는 증강된 콘텐츠가 디스플레이되어야 하는 콘텐츠의 일부분을 변경할 수 있지만, 그 후에는 그렇지 않다.
도 7i로 돌아가서, 전자 디바이스(101)가 단어(718a)와 연관된 증강된 콘텐츠를 막 디스플레이하려고 함을 나타내기 위해 단어(718a)를 볼드체로 디스플레이하는 동안, 전자 디바이스(101)가 사용자가 그들의 머리를 후방으로 이동시키는 것을 검출하는 경우, 전자 디바이스(101)는 증강된 콘텐츠를 디스플레이하는 프로세스를 중지한다. 후방으로의 머리의 이동을 검출하는 것에 응답하여, 전자 디바이스(101)는 단어(718a)를 볼드체로 디스플레이하는 것을 중지하고, 사용자 인터페이스를 도 7c에 예시된 사용자 인터페이스로 복귀시킨다.
도 7j로 돌아가서, 일부 실시예들에서, 전자 디바이스(101)가 증강된 콘텐츠(720a)를 디스플레이하는 동안, 전자 디바이스(101)는, 선택적으로, 증강된 콘텐츠(720a)를 디스플레이하는 것을 중지하기 위한 하나 이상의 기준들을 검출한다. 예를 들어, 전자 디바이스(101)는, 선택적으로, 증강된 콘텐츠 상에서의 사용자의 시선(716l)을 검출하는 것에 이어서 사용자 인터페이스 내의 상이한 위치(예컨대, 위치(716j))에서 사용자의 시선을 검출하는 것에 응답하여, 증강된 콘텐츠(720a)를 디스플레이하는 것을 중지한다. 다른 예로서, 전자 디바이스(101)가 사용자가 증강된 콘텐츠(720a)를 보는 것을 검출한 다음에 콘텐츠 항목의 텍스트(704a 또는 710a)를 읽는 것을 재개하는 경우, 전자 디바이스(101)는 증강된 콘텐츠(720a)를 디스플레이하는 것을 중지한다. 사용자가 증강된 콘텐츠(720a)를 보지 않고, 예를 들어 이미지(702a) 상의 위치(716j)를 보는 것과 같이, 사용자 인터페이스의 상이한 위치를 보는 경우, 전자 디바이스(101)는, 선택적으로, 증강된 콘텐츠(720a)를 계속 디스플레이하여서, 사용자가 추후에 그를 볼 수 있게 한다.
그러나, 일부 실시예들에서, 전자 디바이스(101)가, 사용자가 증강된 콘텐츠(720a)를 보았는지 여부에 관계없이, 사용자가 콘텐츠(예컨대, 텍스트(704a 또는 710a))를 읽는 것을 검출하는 경우, 전자 디바이스(101)는 증강된 콘텐츠(720a)를 디스플레이하는 것을 중지한다. 또한, 일부 실시예들에서, 사용자가 전형적인 깜박임보다 긴 미리결정된 시간(예컨대, 0.5초, 1초, 2초 등) 동안 그들의 눈들을 감는 것을 검출하는 것에 응답하여, 전자 디바이스(101)는 증강된 콘텐츠(720a)를 디스플레이하는 것을 중지한다. 전자 디바이스(101)는, 선택적으로, 사라지거나 멀어지는 증강된 콘텐츠(720a)의 애니메이션을 디스플레이함으로써, 증강된 콘텐츠(720a)를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 증강된 콘텐츠(720a)가 사라지거나 멀어지고 있는 동안 그러나 그가 디스플레이되는 것이 완전히 중지되기 전에 사용자가 그를 보는 경우, 전자 디바이스(101)는 도 7j에 도시된 바와 같이 증강된 콘텐츠(720a)를 디스플레이하도록 사용자 인터페이스를 복귀시킨다.
도 7a 내지 도 7k에 관한 추가적인 설명들은 아래의 도 8 내지 도 11과 관련하여 설명된 방법들(800 내지 1100)을 참조하여 아래에서 제공된다.
도 8a 내지 도 8g는 일부 실시예들에 따른, 사용자의 시선의 검출에 따라 콘텐츠 항목을 확장시키는 방법(800)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(800)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(800)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(800)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
본 방법(800)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 시선 추적 디바이스(예컨대, 314)와 통신하는 전자 디바이스(예컨대, 도 1의 컴퓨터 시스템(101))(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어), 컴퓨터(예컨대, 데스크톱 컴퓨터, 랩톱 컴퓨터), 또는 웨어러블 디바이스(예컨대, 워치, 머리 장착형 디바이스))는, 예를 들어 도 7a에서와 같이, 디스플레이 생성 컴포넌트(예컨대, 120)를 통해, 콘텐츠 항목의 제1 부분(예컨대, 704a)을 포함하는 제1 콘텐츠 영역(예컨대, 700)을 포함하는 사용자 인터페이스를 디스플레이한다(예컨대, 콘텐츠 항목은 텍스트 콘텐츠를 포함하고, 콘텐츠 항목의 제1 부분은 텍스트 콘텐츠의 제1 부분임)(802).
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7b에서와 같이, 시선 추적 디바이스(예컨대, 314)를 통해, 전자 디바이스의 사용자의 시선(예컨대, 716p)이 콘텐츠 항목의 제1 부분(예컨대, 704a)을 향해 지향된다고 결정한다(예컨대, 도 6을 참조하여 위에서 더 상세히 설명된 바와 같이, 시선 추적 디바이스는, 선택적으로, 사용자의 눈들의 하나 이상의 이미지들을 캡처하고, 캡처된 하나 이상의 이미지들에서 동공들 및 글린트들을 검출하여, 사용자의 시선을 추적함)(804).
일부 실시예들에서, 예를 들어 도 7b에서와 같이, 사용자의 시선(예컨대, 716p)이 콘텐츠 항목의 제1 부분(예컨대, 704a)을 향해 지향된다고 결정하는 것에 응답하여(806), 사용자의 시선(예컨대, 716p)의 모션이 사용자가 콘텐츠 항목의 제1 부분(예컨대, 704a)을 읽고 있음을 나타낸다는 결정에 따라(예컨대, 전자 디바이스는, 사용자의 눈들의 검출된 이동에 기초하여, 사용자가 단지 콘텐츠 항목의 제1 부분을 보고 있는지 여부 또는 사용자가 실제로 콘텐츠 항목의 제1 부분을 읽고 있는지 여부를 결정할 수 있음)(808), 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 콘텐츠 항목의 제1 부분(예컨대, 704a) 및 제1 콘텐츠 영역(예컨대, 700) 내에 디스플레이되지 않았던 콘텐츠 항목의 제2 부분(예컨대, 710a)을 포함하는 제2 콘텐츠 영역(예컨대, 714)을 포함하도록 사용자 인터페이스를 업데이트한다(예컨대, 콘텐츠 항목이 디스플레이되는 사용자 인터페이스의 영역을 확장시킴)(810).
일부 실시예들에서, 도 7b에 도시된 사용자의 시선(예컨대, 716p)이, 사용자가 콘텐츠 항목의 제1 부분(예컨대, 704a)을 읽고 있음을 나타내는 방식으로 이동하지 않고서, 콘텐츠 항목의 제1 부분(예컨대, 704a)을 향해 지향된다는 결정에 따라(예컨대, 전자 디바이스는, 사용자의 눈들의 하나 이상의 이미지들에 기초하여, 사용자의 눈들의 이동이 읽기와 일관되는 눈 이동들과 매칭되지 않는다고 결정함)(812), 전자 디바이스(예컨대, 101)는 도 7c에 도시된 제2 콘텐츠 영역(예컨대, 714)을 포함하도록 사용자 인터페이스를 업데이트하는 것을 보류한다(예컨대, 전자 디바이스는 제1 콘텐츠 영역과 함께 사용자 인터페이스를 계속 디스플레이함).
일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로 터치 스크린 디스플레이) 및/또는 모니터, 프로젝터, 텔레비전 등과 같은 외부 디스플레이이다. 일부 실시예들에서, 시선 추적 디바이스는 하나 이상의 카메라(들)(예컨대, IR 카메라들, NIR 카메라들, 가시광 카메라들 등)를 포함한다.
일부 실시예들에서, 사용자 인터페이스는 다수의 콘텐츠 항목들의 일부분들을 포함한다. 예를 들어, 사용자 인터페이스는, 디지털 신문의 기사 헤드라인들 및/또는 하나 이상의 기사들 중 일부분을 포함하는 디지털 신문 사용자 인터페이스이다. 다른 예로서, 사용자 인터페이스는 이메일 받은 편지함 사용자 인터페이스이고, 콘텐츠 항목은 이메일의 발신자의 표시, 이메일의 제목란의 표시, 및/또는 이메일 메시지의 텍스트의 미리보기를 포함하는 이메일의 미리보기이다. 일부 실시예들에서, 콘텐츠 항목은 하나 이상의 이미지들과 같은, 텍스트 이외의 콘텐츠를 포함한다.
전자 디바이스는, 선택적으로, 사용자의 눈들의 하나 이상의 캡처된 이미지들을 비교하여, 사용자의 눈들의 이동이 읽기와 일관되는 이동과 매칭되는지 여부를 결정한다.
예를 들어, 사용자가 기사의 텍스트의 제1 부분을 읽고 있다는 것을 검출하는 것에 응답하여, 전자 디바이스는 기사의 텍스트의 제2 부분의 디스플레이를 개시한다. 일부 실시예들에서, 콘텐츠 항목의 제1 부분 및 제2 부분은 제1 콘텐츠 영역을 포함하는 사용자 인터페이스 상에 오버레이되어 디스플레이된다. 일부 실시예들에서, 제2 콘텐츠 영역을 디스플레이하기 전에, 사용자가 콘텐츠의 제1 부분을 읽고 있다는 것을 검출하는 것에 응답하여, 전자 디바이스는 제2 콘텐츠 영역의 점진적인 디스플레이를 애니메이션화하기 시작한다. 예를 들어, 전자 디바이스는 콘텐츠의 제2 부분의 일부를 디스플레이하기 시작하거나, 초기에, 점진적으로 더 불투명해지는 투명한 외관으로 사용자 인터페이스 상에 오버레이되는 콘텐츠의 제2 부분을 디스플레이한다. 제2 콘텐츠 영역의 점진적인 디스플레이를 애니메이션화하는 동안, 사용자가 제1 콘텐츠 항목으로부터 시선을 돌리는 것을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 콘텐츠의 제2 부분을 디스플레이하는 것을 중지하고, 제1 콘텐츠 영역을 디스플레이하는 것을 재개한다. 일부 실시예들에서, 사용자가 콘텐츠 항목을 계속 읽는다는 것을 검출하는 것에 응답하여, 전자 디바이스는, 예를 들어 콘텐츠 항목의 제2 부분의 전체 부분을 디스플레이하거나 또는 제2 콘텐츠 영역을 완전 불투명도로 디스플레이함으로써, 콘텐츠 항목의 제1 부분 및 제2 부분을 포함하는 제2 콘텐츠 영역을 디스플레이하는 것으로 완전히 전이한다. 일부 실시예들에서, 사용자 인터페이스를 업데이트하는 것은 전자 디바이스와 통신하는 다른 입력 디바이스로부터 추가 입력을 수신하지 않고서 시선 추적 컴포넌트에 의해 수집된 데이터에 응답하여 수행된다.
사용자가 콘텐츠 항목의 제1 부분을 읽고 있다는 것을 검출하는 것에 응답하여 콘텐츠 항목의 제1 부분 및 제2 부분과 함께 제2 콘텐츠 영역을 디스플레이하는 전술된 방식은, 전자 디바이스가 사용자의 시선을 추적하는 것 이외의 사용자 입력을 요구하지 않고서 콘텐츠 항목을 확장시킬 수 있게 하는데, 이는 (예컨대, 사용자가 실제로 콘텐츠를 읽고 있는 경우에만 그를 확장시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 예를 들어 사용자 오류의 감소를 통해, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7b에서와 같이, 사용자 인터페이스는 제3 콘텐츠 영역을 추가로 포함하고, 제3 콘텐츠 영역은 제2 콘텐츠 항목의 제1 부분(예컨대, 704b)을 포함한다(예컨대, 일부 실시예들에서, 제2 콘텐츠 항목은 텍스트 콘텐츠를 포함함)(816). 제2 콘텐츠 항목은, 선택적으로, 제1 콘텐츠 항목과는 상이하다. 예를 들어, 제1 콘텐츠 항목 및 제2 콘텐츠 항목은 디지털 신문의 기사들이다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 시선 추적 디바이스(예컨대, 314)를 통해, 전자 디바이스의 사용자의 시선이 제2 콘텐츠 항목의 제1 부분(예컨대, 704b)을 향해 지향된다고 결정한다(예컨대, 도 6을 참조하여 더 상세히 설명된 바와 같이, 시선 추적 디바이스는, 선택적으로, 사용자의 눈들의 하나 이상의 이미지들을 캡처하고, 캡처된 하나 이상의 이미지들에서 동공들 및 글린트들을 검출하여, 사용자의 시선을 추적함)(818).
일부 실시예들에서, 사용자의 시선이 제2 콘텐츠 항목의 제1 부분(예컨대, 704b)을 향해 지향된다고 결정하는 것에 응답하여(820), 사용자의 시선의 모션이 사용자가 제2 콘텐츠 항목의 제1 부분(예컨대, 704b)을 읽고 있음을 나타낸다는 결정에 따라(예컨대, 전자 디바이스는 사용자가 제2 콘텐츠 항목의 제1 부분을 보고 있는 동안 사용자의 눈들의 이동(들)에 기초하여 사용자가 제2 콘텐츠 항목의 제1 부분을 읽고 있다고 결정할 수 있음)(822), 전자 디바이스(예컨대, 101)는, 도 7c에 도시된 바와 같이, 전자 디바이스(예컨대, 101)가 콘텐츠 영역(예컨대, 714)을 디스플레이하는 방식과 유사한 방식으로 제2 콘텐츠 영역을 디스플레이하지 않고서, 제2 콘텐츠 항목의 제1 부분(예컨대, 704b) 및 제3 콘텐츠 영역 내에 디스플레이되지 않았던 제2 콘텐츠 항목의 제2 부분을 포함하는 제4 콘텐츠 영역을 포함하도록 사용자 인터페이스를 업데이트한다(824).
일부 실시예들에서, 사용자가 제3 콘텐츠 영역 내에 디스플레이된 제2 콘텐츠 항목의 제1 부분을 읽고 있다는 것을 검출하는 것에 응답하여, 전자 디바이스는 제2 콘텐츠 항목의 추가 부분을 디스플레이한다. 따라서, 전자 디바이스가 다수의 콘텐츠 항목들(예컨대, 제1 콘텐츠 항목 및 제2 콘텐츠 항목)을 디스플레이하는 동안, 전자 디바이스는 사용자가 콘텐츠 항목들 중 하나를 읽기 시작한다는 것을 검출하고, 이에 응답하여, 사용자가 읽고 있지 않은 콘텐츠 항목을 확장시키지 않고서, 사용자가 읽고 있는 콘텐츠 항목을 확장시킨다. 일부 실시예들에서, 사용자가 제1 콘텐츠 항목 또는 제2 콘텐츠 항목(또는 제1 콘텐츠 영역 내에 디스플레이된 임의의 다른 콘텐츠 항목)을 보고 있지 않다는 결정에 따라, 전자 디바이스는 각각의 콘텐츠 항목의 추가 부분(들)을 갖는 각각의 영역을 포함하도록 사용자 인터페이스를 업데이트하는 것을 보류한다.
사용자가 제2 콘텐츠 항목을 읽는 것을 검출하는 것에 응답하여 제2 콘텐츠 항목의 제2 부분을 디스플레이하고, 사용자가 제1 콘텐츠 항목을 읽는 것을 검출하는 것에 응답하여 제1 콘텐츠 항목의 제2 부분을 디스플레이하는 전술된 방식은, 전자 디바이스가 사용자가 읽고 있는 콘텐츠 항목의 추가 부분들을 제시하는 효율적인 방식을 제공할 수 있게 하는데, 이는 (예컨대, 콘텐츠를 확장시키기 위한 추가 입력을 요구하는 대신에 콘텐츠 항목을 확장시키기 위한 입력으로서 사용자 읽기의 검출을 수락함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101)의 사용자의 시선(예컨대, 716p)이 콘텐츠 항목의 제1 부분(예컨대, 704a)을 향해 지향된다고 결정하기 전에, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7b에서와 같이, 디스플레이 생성 컴포넌트(120)를 통해, 제1 값을 갖는 시각적 특성으로 하나 이상의 다른 콘텐츠 항목들을 디스플레이한다(예컨대, 전자 디바이스는 제1 콘텐츠 영역 내에 제1 콘텐츠 항목의 제1 부분을 디스플레이하면서 콘텐츠 항목들의 복수의 부분들을 디스플레이함)(826).
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 사용자의 시선(예컨대, 716p)이 콘텐츠 항목의 제1 부분(예컨대, 704a)을 향해 지향된다고 결정하는 것에 응답하여(828), 사용자의 시선(예컨대, 716p)의 모션이 사용자가 콘텐츠 항목의 제1 부분(예컨대, 704b)을 읽고 있음을 나타낸다는 결정에 따라(830), 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 제1 값과는 상이한 제2 값을 갖는 시각적 특성으로 하나 이상의 다른 콘텐츠 항목들을 디스플레이하도록 사용자 인터페이스를 업데이트한다(832). 일부 실시예들에서, 제2 콘텐츠 영역 내에 제1 콘텐츠 항목을 디스플레이하는 동안, 전자 디바이스는 다른(예컨대, 확장되지 않은) 콘텐츠 항목들을 감소된 크기, 감소된 불투명도, 더 어둡거나 더 낮은 콘트라스트 또는 포화도의 색상, 및/또는 감소된 선명도(예컨대, 증가된 흐릿함)로 디스플레이한다.
전자 디바이스는, 선택적으로, 사용자가 읽고 있는 콘텐츠 항목을 확장시키기 전에 복수의 콘텐츠 항목들을 실제 크기, 완전 불투명도, 풀 컬러 및/또는 완전 선명도로 디스플레이한다. 제2 콘텐츠 영역 내의 제1 콘텐츠 항목은, 선택적으로, 완전 불투명도, 풀 컬러 및/또는 완전 선명도로 디스플레이된다. 일부 실시예들에서, 사용자가 콘텐츠 항목의 제1 부분을 읽고 있지 않고/않거나 사용자가 콘텐츠 항목의 제1 부분을 보고 있지 않다는 결정에 따라, 전자 디바이스는 하나 이상의 콘텐츠 항목들을 제1 값을 갖는 시각적 특성으로 계속 디스플레이한다.
사용자가 콘텐츠 항목을 읽는 것을 검출하는 것에 응답하여 하나 이상의 다른 콘텐츠 항목들이 디스플레이되는 시각적 특성의 값을 변경하는 전술된 방식은, 사용자가 제2 콘텐츠 영역 내의 콘텐츠 항목을 읽고 있는 동안 전자 디바이스가 시각적 클러터를 감소시킬 수 있게 하여, 확장된 콘텐츠 항목을 읽는 데 대한 주의산만을 덜 제공하는데, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7b 및 도 7c에서와 같이, 시각적 특성은 반투명도(예컨대, 불투명도 및/또는 선명도)의 정도이고, 제1 값은 제2 값보다 더 작은 반투명도에 대응한다(834). 일부 실시예들에서, 전자 디바이스가 제2 콘텐츠 영역 내에 제1 콘텐츠 항목을 디스플레이하는 동안 다른 콘텐츠 항목들의 불투명도 및/또는 선명도가 감소된다(예컨대, 흐릿해짐).
사용자가 콘텐츠 항목을 읽고 있다는 것을 검출하는 것에 응답하여 하나 이상의 다른 콘텐츠 항목들의 반투명도를 증가시키는 전술된 방식은, 전자 디바이스가 사용자가 읽고 있는 콘텐츠 항목으로부터 주의를 분산시키지 않는 방식으로 다른 콘텐츠 항목들을 계속 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 제2 콘텐츠 영역을 해제하지 않고서 다른 콘텐츠 항목들을 볼 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7b 및 도 7c에서와 같이, 시각적 특성은 크기이고, 제1 값은 제2 값보다 더 큰 크기에 대응한다(836). 일부 실시예들에서, 전자 디바이스는, 전자 디바이스가 제2 콘텐츠 영역 내에 제1 콘텐츠 항목을 디스플레이하는 동안, 다른 콘텐츠 항목들의 크기를 감소시킨다. 일부 실시예들에서, 제2 콘텐츠 영역 내의 콘텐츠는 제1 콘텐츠 영역 내의 원래 콘텐츠와 동일한 크기로 디스플레이된다.
사용자가 콘텐츠 항목을 읽고 있다는 것을 검출하는 것에 응답하여 다른 콘텐츠 항목들의 크기를 감소시키는 전술된 방식은, 전자 디바이스가 사용자가 콘텐츠 항목을 읽는 동안 사용자의 주의를 덜 산만하게 하는 방식으로 다른 콘텐츠 항목들을 계속 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 제2 콘텐츠 영역으로부터 멀리 내비게이팅하지 않고서 콘텐츠를 더 빨리 읽고 다른 콘텐츠 항목들을 볼 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7b에서와 같이, 사용자 인터페이스는 제3 콘텐츠 영역을 추가로 포함하고, 제3 콘텐츠 영역은 제2 콘텐츠 항목의 제1 부분(예컨대, 704b)을 포함한다(예컨대, 제3 콘텐츠 영역은 제1 콘텐츠 영역과 동시에 디스플레이됨)(838). 제2 콘텐츠 항목은, 선택적으로, 텍스트 콘텐츠를 포함한다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 제2 콘텐츠 영역(예컨대, 714)을 포함하도록 사용자 인터페이스를 업데이트하는 것은 제3 콘텐츠 영역 상에 오버레이되는 제2 콘텐츠 영역(예컨대, 714)을 디스플레이하는 것을 포함한다(840). 일부 실시예들에서, 제2 콘텐츠 영역을 디스플레이하기 전에, 전자 디바이스는, 제1 콘텐츠 항목의 제1 부분 및 제2 콘텐츠 항목의 제1 부분을 포함한, 복수의 콘텐츠 항목들의 일부분들을 포함하는 콘텐츠 브라우징 사용자 인터페이스를 디스플레이한다. 전자 디바이스는, 선택적으로, 콘텐츠 브라우징 사용자 인터페이스 상에 오버레이되는 제1 콘텐츠 항목의 제1 부분 및 제2 부분을 포함하는 제2 콘텐츠 영역을 디스플레이한다.
제3 콘텐츠 영역 상에 오버레이되는 제2 콘텐츠 영역을 디스플레이하는 전술된 방식은, 전자 디바이스가 사용자가 콘텐츠 항목을 읽고 있는 동안 사용자의 주의를 시각적으로 덜 산만하게 하는 방식으로 제3 콘텐츠 영역을 계속 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 제2 콘텐츠 영역으로부터 멀리 내비게이팅하지 않고서 콘텐츠 항목을 더 신속하게 읽고 동시에 제3 콘텐츠 영역을 계속 볼 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7b에서와 같이, 사용자의 시선의 모션이 전자 디바이스의 사용자가 콘텐츠 항목의 제1 부분(예컨대, 704a)을 읽고 있음을 나타낸다고 결정하기 전에, 제1 콘텐츠 영역(예컨대, 700) 및 제3 콘텐츠 영역은 사용자 인터페이스 내에 제1 z 높이(예컨대, 다른 콘텐츠가 제1 콘텐츠 영역 및 제3 콘텐츠 영역 상에 오버레이되지 않도록 하는 최고 높이)로 디스플레이되고, 예를 들어 도 7c에서와 같이, 제2 콘텐츠 영역(예컨대, 714)을 포함하도록 사용자 인터페이스를 업데이트하는 것은 제2 콘텐츠 영역(예컨대, 714)을 사용자 인터페이스 내에 제1 z 높이로 디스플레이하는 것, 및 사용자 인터페이스에서 제3 콘텐츠 영역의 z 높이를 제2 z 높이로 변경하는 것을 포함한다(842). 일부 실시예들에서, 제2 z 높이는 제1 z 높이 미만이다(예컨대, 사용자 인터페이스에서 더 뒤에 있음). 전자 디바이스는, 선택적으로, 사용자가 콘텐츠를 읽고 있다는 것을 검출하는 것에 응답하여, 제3 콘텐츠 영역 상에 오버레이되는 제2 콘텐츠 영역을, 제1 콘텐츠 영역이 디스플레이되었던 동일한 z 높이로 디스플레이한다. 일부 실시예들에서, 전자 디바이스는, 또한, 제1 콘텐츠 영역 상에 오버레이되는 제2 콘텐츠 영역을 디스플레이하여, 제1 콘텐츠 영역을 더 낮은 z 높이로 이동시킨다.
사용자가 콘텐츠 항목을 읽고 있다는 것을 검출하는 것에 응답하여, 제1 콘텐츠 영역을 제3 콘텐츠 영역과 동일한 z 레벨로 디스플레이하고, 제2 콘텐츠 영역을 제3 콘텐츠 영역보다 더 높은 z 레벨로 디스플레이하는 전술된 방식은, 전자 디바이스가 사용자가 콘텐츠 항목을 읽고 있는 동안 사용자의 주의를 시각적으로 덜 산만하게 하는 방식으로 제3 콘텐츠 영역을 계속 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 제2 콘텐츠 영역으로부터 멀리 내비게이팅하지 않고서 콘텐츠 항목을 더 신속하게 읽고 동시에 제3 콘텐츠 영역을 계속 볼 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 제2 콘텐츠 영역(예컨대, 714)을 포함하도록 사용자 인터페이스를 업데이트하는 것은 제1 콘텐츠 영역의 크기를 제2 콘텐츠 영역(예컨대, 714)이 되도록 확장시키는 것을 포함한다(844). 일부 실시예들에서, 콘텐츠 영역은 하나 이상의 치수들이 확장된다. 예를 들어, 제2 콘텐츠 영역은 제1 콘텐츠 영역보다 길어서, 전자 디바이스가 제1 콘텐츠 영역보다 제2 콘텐츠 영역 내에 제1 콘텐츠 항목을 더 많이 디스플레이하도록 허용한다. 일부 실시예들에서, 콘텐츠 영역의 높이 및 폭이 확장된다. 일부 실시예들에서, 제2 콘텐츠 영역은, 제1 콘텐츠 영역이 디스플레이되었던 동일한 z 레벨로 사용자 인터페이스 내에 디스플레이된다.
제1 콘텐츠 영역을 제2 콘텐츠 영역이 되도록 확장시키는 전술된 방식은, 전자 디바이스가 시각적 연속성을 유지하면서 제2 콘텐츠 영역 내에 콘텐츠 항목의 추가 부분들을 디스플레이할 수 있게 하는데, 이는 (예컨대, 제1 콘텐츠 영역과 제2 콘텐츠 영역 사이에 명확한 내비게이션 연속성을 제공함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제2 콘텐츠 영역(예컨대, 714)을 포함하도록 사용자 인터페이스를 업데이트하는 것은, 사용자가 콘텐츠 항목의 제1 부분(예컨대, 704a)을 계속 읽는 동안 제1 콘텐츠 영역이 제2 콘텐츠 영역(예컨대, 714)으로 변화하는 것을 점진적으로 애니메이션화하는 것을 포함한다(846). 일부 실시예들에서, 애니메이션의 진행은, 사용자가 제1 콘텐츠 항목을 연속적으로 읽고 있었던 시간에 비례한다. 예를 들어, 사용자는 제1 콘텐츠 항목의 제1 부분을 읽기 시작하고, 애니메이션이 시작되며, 사용자가 계속 읽음에 따라, 애니메이션은 계속 진행된다. 일부 실시예들에서, 애니메이션은 그가 시작된 후 미리결정된 지속시간을 갖는다. 제1 콘텐츠 영역이 제2 콘텐츠 영역으로 변화하는 것을 애니메이션화하는 것은, 선택적으로, 제1 콘텐츠 영역과 제2 콘텐츠 영역 사이의 하나 이상의 차이들의 진행을 애니메이션화하는 것을 포함한다. 예를 들어, 제1 콘텐츠 영역의 크기는 점진적으로 확장되어, 제1 콘텐츠 영역보다 큰 제2 콘텐츠 영역이 된다. 일부 실시예들에서, 사용자가 콘텐츠 항목을 읽는 것을 중단하는 경우, 애니메이션은 중단되거나 반전된다.
사용자가 콘텐츠 항목을 계속 읽음에 따라 제1 콘텐츠 영역이 제2 콘텐츠 영역으로 변화하는 것을 점진적으로 애니메이션화하는 전술된 방식은, 전자 디바이스가, 콘텐츠 항목의 제1 부분을 읽는 것이 제1 콘텐츠 영역으로 하여금 제2 콘텐츠 영역으로 변화하게 한다는 피드백을 사용자에게 제공할 수 있게 하는데, 이는 (예컨대, 예를 들어 콘텐츠 항목의 읽기를 중단하고/하거나 콘텐츠 항목으로부터 시선을 돌림으로써, 전이를 중단할 기회를 사용자에게 줌으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제2 콘텐츠 영역(예컨대, 714)을 포함하도록 사용자 인터페이스를 업데이트하는 동안 또는 그 후에, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 시선 추적 디바이스(예컨대, 314)를 통해, 전자 디바이스의 사용자의 시선(예컨대, 716c)이 더 이상 콘텐츠 항목을 향해 지향되지 않는다고 결정한다(예컨대, 전자 디바이스는, 사용자가 콘텐츠 항목을 포함하지 않는 사용자 인터페이스의 일부분(예컨대, 제2 콘텐츠 영역 이외의 영역)을 보고 있다는 것 또는 사용자가 사용자 인터페이스로부터 시선을 돌리고 있다는 것을 검출함)(848). 예를 들어, 사용자는, 제1 콘텐츠 항목이 오버레이되는 상이한 콘텐츠 항목을 보고 있다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 전자 디바이스(예컨대, 101)의 사용자의 시선(예컨대, 716c)이 더 이상 콘텐츠 항목을 향해 지향되지 않는다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7b에서와 같이, 제2 콘텐츠 영역(예컨대, 714)을 디스플레이하지 않고서, 제1 콘텐츠 영역(예컨대, 700)을 포함하는 사용자 인터페이스를 디스플레이한다(850).
예를 들어, 제1 콘텐츠 영역은, 콘텐츠 항목의 제1 부분에 더하여 다른 콘텐츠 항목들의 일부분들을 포함하는 콘텐츠 브라우징 사용자 인터페이스 내에 디스플레이되고, 사용자가 콘텐츠 항목으로부터 시선을 돌리는 것을 검출하는 것에 응답하여, 전자 디바이스는 콘텐츠 브라우징 사용자 인터페이스를 다시 그의 초기 크기, z 레벨 및/또는 외관으로 디스플레이한다. 따라서, 전자 디바이스는, 선택적으로, 제2 영역 내에 콘텐츠 항목의 더 큰 부분을 디스플레이하는 대신에, 제1 콘텐츠 영역 내에 콘텐츠 항목의 일부분(예컨대, 콘텐츠 항목의 제1 부분, 또는 사용자가 콘텐츠 항목으로부터 시선을 돌리기 전에 마지막으로 읽고 있었던 콘텐츠 항목의 일부분)을 디스플레이한다.
사용자가 더 이상 콘텐츠 항목을 보고 있지 않다는 것을 검출하는 것에 응답하여, 제2 콘텐츠 영역을 디스플레이하지 않고서, 제1 콘텐츠 영역을 포함하도록 사용자 인터페이스를 복귀시키는 전술된 방식은, 전자 디바이스가 어떠한 추가 입력 없이 사용자의 시선에 응답하여 제1 콘텐츠 영역으로 다시 내비게이팅할 수 있게 하는데, 이는 (예컨대, 사용자가 다시 제1 콘텐츠 영역을 보도록 요청하는 데 필요한 입력들의 수를 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제2 콘텐츠 영역(예컨대, 314)을 포함하도록 사용자 인터페이스를 업데이트하는 동안 또는 그 후에, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선의 모션이 더 이상 전자 디바이스의 사용자가 콘텐츠 항목을 읽고 있음을 나타내지 않는다고 결정한다(예컨대, 일부 실시예들에서, 사용자는 콘텐츠 항목을 계속 보거나, 또는 사용자는 콘텐츠 항목으로부터 시선을 돌리며, 예를 들어 사용자 인터페이스의 상이한 영역(예컨대, 제2 콘텐츠 영역 이외의 영역)을 보거나 사용자 인터페이스로부터 시선을 돌림)(852).
일부 실시예들에서, 사용자의 시선의 모션이 더 이상 전자 디바이스(예컨대, 101)의 사용자가 콘텐츠 항목을 읽고 있음을 나타내지 않는다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7b에서와 같이, 제2 콘텐츠 영역을 디스플레이하지 않고서, 제1 콘텐츠 영역(예컨대, 700)을 포함하도록 사용자 인터페이스를 복귀시킨다(854). 예를 들어, 제1 콘텐츠 영역은, 콘텐츠 항목의 제1 부분에 더하여 다른 콘텐츠 항목들의 일부분들을 포함하는 콘텐츠 브라우징 사용자 인터페이스 내에 디스플레이되고, 사용자가 더 이상 콘텐츠 항목을 읽지 않는 것을 검출하는 것에 응답하여, 전자 디바이스는 콘텐츠 브라우징 사용자 인터페이스를 다시 그의 초기 크기, z 레벨 및/또는 외관으로 디스플레이한다. 따라서, 전자 디바이스는, 선택적으로, 제2 영역 내에 콘텐츠 항목의 더 큰 부분을 디스플레이하는 대신에, 제1 콘텐츠 영역 내에 콘텐츠 항목의 일부분(예컨대, 콘텐츠 항목의 제1 부분, 또는 사용자가 그들이 콘텐츠 항목을 읽는 것을 중단하기 전에 마지막으로 읽고 있었던 콘텐츠 항목의 일부분)을 디스플레이한다.
사용자가 더 이상 콘텐츠 항목을 읽고 있지 않다는 것을 검출하는 것에 응답하여, 제2 콘텐츠 영역을 디스플레이하지 않고서, 제1 콘텐츠 영역을 포함하도록 사용자 인터페이스를 복귀시키는 전술된 방식은, 전자 디바이스가 어떠한 추가 입력 없이 사용자의 시선에 응답하여 제1 콘텐츠 영역으로 다시 내비게이팅할 수 있게 하는데, 이는 (예컨대, 사용자가 다시 제1 콘텐츠 영역을 보도록 요청하는 데 필요한 입력들의 수를 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7b에서와 같이, 사용자의 시선(예컨대, 716p)의 모션이 사용자가 콘텐츠 항목의 제1 부분(예컨대, 704a)을 읽고 있음을 나타낸다는 결정은, 시선 추적 디바이스(예컨대, 314)로, 텍스트를 읽는 것에 대응하는 사용자의 눈 이동을 검출하는 것에 기초한다(856). 일부 실시예들에서, 전자 디바이스는, 사용자의 시선이 텍스트의 언어의 읽기 방향으로(예컨대, 영어의 경우 좌측에서 우측으로, 히브리어의 경우 우측에서 좌측으로 등) 텍스트의 라인을 따라 이동한다는 것을 검출한 다음에 다음 라인으로 아래를 보기 전에 사용자가 방금 읽은 라인을 따라 반대 방향으로 신속하게(예컨대, 텍스트의 언어의 방향으로보다 더 신속하게) 이동함으로써, 사용자가 콘텐츠를 읽고 있다는 것을 검출한다. 선택적으로, 전자 디바이스는, 사람들이, 선택적으로, 텍스트의 라인 내의 각각의 글자 또는 심지어 각각의 단어를 직접 보지 않고서 읽기 때문에, 사용자가 텍스트의 라인의 모든 단어 또는 모든 글자를 직접 보지 않는 경우에도, 사용자가 읽고 있다는 것을 검출한다. 일부 실시예들에서, 전자 디바이스는, 사용자가 읽기 위해 방금 보고 있었던 텍스트의 라인을 따른 후방으로의 사용자의 시선의 이동을 검출함으로써, 사용자가 텍스트의 라인을 읽는 것을 완료하였다는 것을 검출할 수 있다.
사용자의 눈 이동에 기초하여 사용자가 콘텐츠를 읽고 있다는 것을 검출하는 전술된 방식은, 전자 디바이스가 사용자가 읽고 있다는 결정을 사용하여 다른 입력들 없이 사용자 인터페이스를 내비게이팅할 수 있게 하는데, 이는 (예컨대, 사용자 인터페이스를 내비게이팅하는 데 필요한 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7a에서와 같이, 전자 디바이스(예컨대, 101)에서, 통지 이벤트의 표시(예컨대, 708)(예컨대, 전자 디바이스가 액세스가능한 애플리케이션에 의해 생성된 경고)를 검출한다(858). 예를 들어, 전자 디바이스와 연관된 사용자 계정 이외의 사용자 계정으로부터의 메시지의 수신은 하나의 유형의 통지 이벤트, 전화 또는 영상 통화 수신 등이다.
일부 실시예들에서, 예를 들어 도 7a에서와 같이, 통지 이벤트의 표시(예컨대, 708)를 검출하는 것에 응답하여(860), 사용자의 시선의 모션이 사용자가 사용자 인터페이스 내의 콘텐츠 항목을 읽고 있지 않음을 나타낸다는 결정에 따라(예컨대, 전자 디바이스는, 시선 추적 디바이스를 사용하여, 사용자가 디스플레이 생성 컴포넌트에 의해 제시된 콘텐츠 중 임의의 것을 읽고 있지 않다고 결정함. 일부 실시예들에서, 사용자는, 단지, 사용자 인터페이스 내의 콘텐츠를 읽지 않고서 그 콘텐츠를 보고 있음), 전자 디바이스(예컨대, 101)는, 전자 디바이스(예컨대, 101)에서, 통지 이벤트의 표시(예컨대, 706)(예컨대, 오디오, 시각적 등)를 생성한다(예컨대, 표시는 통지 이벤트와 연관된 텍스트를 포함하는 이미지, 소리 및/또는 촉각적 피드백을 포함함)(862).
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 사용자의 시선(예컨대, 716b)의 모션이 사용자가 사용자 인터페이스 내의 콘텐츠 항목을 읽고 있음을 나타낸다는 결정에 따라, 전자 디바이스(예컨대, 101)는 통지 이벤트의 표시를 생성하는 것을 보류한다(864). 일부 실시예들에서, 통지 이벤트들의 표시들은 사용자가 읽고 있는 동안 제시되지 않는다. 사용자가 읽는 것을 중단하였다는 것을 (예컨대, 시선 추적 컴포넌트를 통해) 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 사용자가 읽고 있었던 동안 검출되었던 통지 이벤트들의 표시들(예컨대, 이전에 억제되었던 모든 표시들, 이전에 억제되었던 마지막 표시 등)을 제시한다.
사용자가 콘텐츠를 읽고 있는 동안, 통지들의 표시들을 제시하는 것을 보류하는 전술된 방식은, 전자 디바이스가 주의산만들 없이 콘텐츠를 제시할 수 있게 하는데, 이는 (예컨대, 사용자가 더 짧은 시간에 콘텐츠를 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, (예컨대, 시선 추적 디바이스를 통해) 사용자의 시선이 콘텐츠 항목의 제1 부분(예컨대, 704a)을 향해 지향된다고 결정하는 것에 응답하여(866), 예를 들어 도 7b에서와 같이, (예컨대, 시선 추적 디바이스를 통해) 사용자의 시선(예컨대, 716p)의 모션이 사용자가 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 결정에 따라(868), 전자 디바이스(예컨대, 101)는, 사용자가 콘텐츠 항목을 계속 읽음에 따라 제2 콘텐츠 영역의 미리결정된 부분을 사용자 인터페이스 내의 제1 위치로부터 사용자 인터페이스 내의 제2 위치로 이동시킨다(870).
일부 실시예들에서, 전자 디바이스는 제2 콘텐츠 영역(예컨대, 제2 콘텐츠 영역의 수직 및/또는 수평 중심)을 디스플레이 생성 컴포넌트의 디스플레이 영역의 중심(예컨대, 수직 중심 및/또는 수평 중심)으로 이동시킨다. 제2 콘텐츠 영역의 미리결정된 부분은, 선택적으로, 콘텐츠 항목의 텍스트, 이미지들, 또는 다른 콘텐츠를 포함한다. 따라서, 일부 실시예들에서, 제1 콘텐츠 영역은 사용자 인터페이스 내의 제2 위치 이외의 위치에 디스플레이되고(예컨대, 사용자 인터페이스 내의 제1 위치에 디스플레이됨), 제2 콘텐츠 영역은 사용자 인터페이스 내의 제1 위치에 제1 콘텐츠 영역의 확장을 통해 디스플레이되며, 사용자가 콘텐츠 항목을 계속 읽음에 따라, 디바이스는, 제2 콘텐츠 영역이 사용자 인터페이스 내의 제2 위치로 이동하도록 사용자 인터페이스/디스플레이를 시프트한다. 일부 실시예들에서, 사용자가 콘텐츠 항목의 제1 부분을 읽지 않고서 콘텐츠 항목의 제1 부분을 보고 있다는 결정에 따라, 전자 디바이스는 제2 콘텐츠 영역을 이동시키는 것을 보류한다.
사용자가 콘텐츠 항목을 계속 읽음에 따라 제2 콘텐츠 영역의 미리결정된 부분을 사용자 인터페이스 내의 제2 위치로 이동시키는 전술된 방식은, 전자 디바이스가 콘텐츠 항목을 사용자 인터페이스 내의 인체공학적 위치에 디스플레이할 수 있게 하여, 사용자가 콘텐츠를 읽는 것을 더 용이하게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 빨리 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제2 콘텐츠 영역을 사용자 인터페이스 내의 제1 위치로부터 사용자 인터페이스 내의 제2 위치로 이동시키는 것은, 사용자가 콘텐츠 항목의 제1 부분을 읽었다는 것을 검출하는 것에 응답하여 제2 콘텐츠 영역을 제1 위치로부터 제2 위치로의 이동의 제1 부분만큼 이동시키는 것(874)(예컨대, 초기에, 사용자가 콘텐츠 항목의 제1 부분의 제1 부분을 읽었다는 것을 검출하는 것에 응답하여 제2 콘텐츠 영역을 제1 양만큼 이동시킴), 및 제2 콘텐츠 영역을 제1 위치로부터 제2 위치로의 이동의 제1 부분만큼 이동시킨 후, 사용자가 콘텐츠 항목의 제2 부분을 읽었다는 것을 검출하는 것에 응답하여 제2 콘텐츠 영역을 제1 위치로부터 제2 위치로의 이동의 제2 부분만큼 이동시키는 것(876)(예컨대, 사용자가 콘텐츠 항목의 제1 부분의 제2 부분을 읽었다는 것을 검출하는 것에 응답하여 제2 콘텐츠 영역을 제2 양만큼 이동시킴)을 포함한다(872).
일부 실시예들에서, 전자 디바이스는 제2 콘텐츠 영역을, 사용자가 읽은 제1 콘텐츠 항목의 양 또는 사용자가 제1 콘텐츠 항목의 제1 부분을 읽는 데 소비한 시간에 비례하는 양만큼 이동시킨다. 일부 실시예들에서, 콘텐츠 영역을 이동시키는 것은 콘텐츠 영역의 경계들을 이동시키는 것을 포함한다. 일부 실시예들에서, 콘텐츠 영역을 이동시키는 것은 콘텐츠 영역 자체의 경계들을 이동시키지 않고서 콘텐츠 영역 내에서 콘텐츠를 이동시키는 것을 포함한다.
제2 콘텐츠 영역을 사용자가 읽은 콘텐츠의 양에 비례하는 양만큼 사용자 인터페이스 내의 제2 위치로 이동시키는 전술된 방식은, 전자 디바이스가 제2 콘텐츠 영역을 시각적 연속성을 갖고서 효율적으로 이동시킬 수 있게 하는데, 이는 (예컨대, 사용자가 사용자 인터페이스 내의 제2 위치로의 제2 콘텐츠 영역의 이동을 야기하기 위해 입력하려고 시도할 수 있는 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 시선이 콘텐츠 항목의 제1 부분을 향해 지향되는 동안 그리고 제2 콘텐츠 영역이 디스플레이되기 전에, 콘텐츠 항목의 제1 부분은 사용자 인터페이스 내의 제1 위치에 디스플레이되고, 제2 콘텐츠 영역을 포함하도록 사용자 인터페이스를 업데이트하는 것은 사용자 인터페이스 내의 제1 위치에서 제2 콘텐츠 영역 내에 콘텐츠 항목의 제1 부분의 디스플레이를 유지하는 것을 포함한다(878). 일부 실시예들에서, 제2 콘텐츠 영역의 위치는, 콘텐츠 항목의 제1 부분이 이동하지 않는 외관을 제공하도록 선택된다. 콘텐츠 항목의 제1 부분은, 선택적으로, 디스플레이 생성 컴포넌트의 동일한 위치에 디스플레이되거나, 또는 선택적으로, 사용자의 머리 이동들 또는 시선을 따르도록 디스플레이된다.
콘텐츠 항목의 제1 부분을 제1 콘텐츠 영역 및 제2 콘텐츠 영역에서 사용자 인터페이스 내의 동일한 위치에 디스플레이하는 전술된 방식은, 전자 디바이스가 콘텐츠 항목의 제1 부분을 이동시키지 않고서 콘텐츠 항목의 제1 부분을 디스플레이할 수 있게 하여, 그에 따라 시각적 연속성을 유지하고 콘텐츠 항목을 사용자가 읽기 더 용이하게 하는데, 이는 (예컨대, 사용자가 콘텐츠 항목을 더 빨리 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7b에서와 같이, 제1 콘텐츠 영역(예컨대, 700) 내의 콘텐츠 항목의 제1 부분은 제1 크기를 갖는 사용자 인터페이스의 영역을 점유하고, 예를 들어 도 7c에서와 같이, 제2 콘텐츠 영역(예컨대, 714) 내의 콘텐츠 항목의 제1 부분은 제1 크기를 갖는 사용자 인터페이스의 영역을 점유한다(880). 일부 실시예들에서, 콘텐츠의 크기는 제1 콘텐츠 영역을 디스플레이하는 것으로부터 제2 콘텐츠 영역으로 전이할 때 동일하게 유지된다. 일부 실시예들에서, 콘텐츠의 폭은 동일하게 유지되고, 길이는 (예컨대, 콘텐츠를 수직으로 더 많이 디스플레이하기 위해) 변경된다. 예를 들어, 콘텐츠의 제2 부분은 콘텐츠의 제1 부분 아래에 디스플레이되어, 콘텐츠를 더 길게 만든다. 일부 실시예들에서, 콘텐츠의 폭 및 길이는 제1 콘텐츠 영역 내에 디스플레이되는 것으로부터 제2 콘텐츠 영역 내에 디스플레이되는 것으로 전이할 때 변경된다.
제1 콘텐츠 항목의 제1 부분을 제1 콘텐츠 영역 및 제2 콘텐츠 영역 내에 동일한 크기로 디스플레이하는 전술된 방식은, 전자 디바이스가 사용자 인터페이스를 제1 콘텐츠 영역을 포함하는 것으로부터 제2 콘텐츠 영역을 디스플레이하는 것으로 전이시키는 동안 사용자가 읽기 용이한 방식으로 콘텐츠 항목의 제1 부분을 계속 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 신속하게 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 9a 내지 도 9l은 일부 실시예들에 따른, 사용자가 콘텐츠 항목을 읽고 있다는 결정에 따라 콘텐츠 항목의 텍스트를 스크롤하는 방법(900)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(900)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(900)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(900)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
본 방법(900)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트(예컨대, 120) 및 시선 추적 디바이스(예컨대, 314)와 통신하는 전자 디바이스(예컨대, 101)(예컨대, 컴퓨팅 시스템(예컨대, 101))(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어), 컴퓨터(예컨대, 데스크톱 컴퓨터, 랩톱 컴퓨터), 또는 웨어러블 디바이스(예컨대, 워치, 머리 장착형 디바이스))는, 예를 들어 도 7c에서와 같이, 디스플레이 생성 컴포넌트(예컨대, 120)를 통해, 콘텐츠 항목의 텍스트의 제1 부분(예컨대, 724a) 및 콘텐츠 항목의 텍스트의 제2 부분(예컨대, 724b)을 포함하는 사용자 인터페이스를 디스플레이하며, 텍스트의 제1 부분(예컨대, 724a)은 사용자 인터페이스 내의 제1 위치(예컨대, 722a)에 디스플레이되고, 텍스트의 제2 부분(예컨대, 724b)은 사용자 인터페이스 내의 제2 위치(예컨대, 722b)에 디스플레이된다(예컨대, 텍스트의 제1 부분은 텍스트의 제1 라인이고, 텍스트의 제2 부분은 텍스트의 제1 라인 아래에 있는 텍스트의 제2 라인임)(902).
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 시선 추적 디바이스를 통해, 사용자의 시선의 모션이 사용자가 텍스트의 제1 부분을 읽고 있음을 나타낸다고 결정한다(예컨대, 도 6을 참조하여 위에서 더 상세히 설명된 바와 같이, 시선 추적 디바이스는, 선택적으로, 사용자의 눈들의 하나 이상의 이미지들을 캡처하고, 캡처된 하나 이상의 이미지들에서 동공들 및 글린트들을 검출하여, 사용자의 시선의 위치를 결정함)(904).
일부 실시예들에서, 사용자의 시선(예컨대, 716b)의 모션이 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽고 있음을 나타내는 동안(예컨대, 전자 디바이스가 텍스트의 제1 부분을 읽는 것과 일관되는 눈 이동들을 계속 검출하는 동안)(906), 예를 들어 도 7c에서와 같이, 사용자의 시선(예컨대, 716b)의 모션이 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽는 것을 완료하였음을 나타낸다는 결정에 따라(예컨대, 사용자가 텍스트의 제1 부분의 끝까지 읽었고 텍스트의 제2 부분을 보기 시작하고 있다는 것을 검출함), 전자 디바이스(예컨대, 101)는, 예를 들어 도 7d에서와 같이, 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤한다(예컨대, 사용자의 시선이 지향되는 위치를 향해, 이전에 텍스트의 제1 부분에 의해 점유되었던 위치를 향해, 또는 사용자 인터페이스의 중심과 같은 사용자 인터페이스의 미리정의된 부분을 향해)(예컨대, 텍스트의 제2 부분을 사용자 인터페이스 내의 현재 스크롤 위치에 있도록 스크롤함)(910).
일부 실시예들에서, 도 7c에서 사용자의 시선의 모션이 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽는 것을 완료하지 않았음을 나타낸다는 결정에 따라(예컨대, 사용자는 여전히 텍스트의 제1 부분을 읽고 있거나, 또는 텍스트의 제1 부분을 완료하지 않고서 텍스트의 제1 부분으로부터 시선을 돌림), 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 텍스트의 제1 부분(예컨대, 724a)을 제1 위치(예컨대, 722a)에 유지한다(예컨대, 사용자 인터페이스를 스크롤하는 것을 보류함)(914).
일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로 터치 스크린 디스플레이) 및/또는 모니터, 프로젝터, 텔레비전 등과 같은 외부 디스플레이이다. 일부 실시예들에서, 시선 추적 디바이스는 하나 이상의 카메라(들)(예컨대, IR 카메라들, NIR 카메라들, 가시광 카메라들 등)를 포함한다.
예를 들어, 텍스트는 수직으로 스크롤가능하다. 일부 실시예들에서, 텍스트의 제1 부분은 텍스트의 라인의 제1 섹션이고, 텍스트의 제2 부분은 텍스트의 라인의 제1 섹션의 우측에(예컨대, 좌측에서 우측으로 읽는 언어들의 경우) 또는 좌측에(예컨대, 우측에서 좌측으로 읽는 언어들의 경우) 디스플레이되는 텍스트의 라인의 제2 섹션이며, 텍스트는 수평으로 스크롤가능하다. 사용자 인터페이스 내의 현재 스크롤 위치는, 선택적으로, 사용자 인터페이스의 나머지에 대해 고정된 사용자 인터페이스 내의 위치(예컨대, 사용자 인터페이스의 윈도우 내의 고정된 위치)이다. 일부 실시예들에서, 현재 스크롤 위치는 인체공학적으로 친화적으로, 예를 들어 사용자가 앞을 똑바로 봄으로써(예컨대, 그들의 목을 구부리지 않고서 그리고 그들의 눈들이 중립 높이에서 앞을 똑바로 보도록 허용하면서) 볼 수 있는 위치에 있도록 선택된다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스에 대한 사용자의 머리의 이동을 검출하는 것에 응답하여 현재 스크롤 위치의 위치를 변경한다. 예를 들어, 사용자가 데스크톱 컴퓨터에 결합된 모니터 상의 콘텐츠를 읽고 있고 모니터에 대해 그들의 머리를 이동시키는 경우(또는 그들의 몸통 또는 신체를 이동시켜, 머리가 이동하게 함), 현재 스크롤 위치는, 선택적으로, 사용자의 머리의 이동에 따라 이동한다. 일부 실시예들에서, 텍스트의 제1 부분의 위치는 사용자의 머리의 위치 및 배향을 검출하는 것에 기초하여 사용자에 대해 인체공학적으로 친화적으로 선택된다. 예를 들어, 텍스트의 제1 부분은, 사용자가 그들의 머리 및/또는 눈들이 중립 위치에 있는 동안 볼 수 있는 위치에 디스플레이된다.
게다가, 일부 실시예들에서, 전자 디바이스는, 사용자의 눈들의 검출된 이동에 기초하여, 사용자가 단지 텍스트의 제1 부분을 보고 있는지 여부 또는 사용자가 텍스트 항목의 제1 부분을 읽고 있는지 여부를 검출할 수 있다. 전자 디바이스는, 선택적으로, 사용자의 눈들의 하나 이상의 캡처된 이미지들을 비교하여, 사용자의 눈들의 이동이 읽기와 일관되는 이동과 매칭되는지 여부를 결정한다.
예를 들어, 사용자가 텍스트의 전체 라인을 읽었고, 텍스트의 제2 라인의 시작부를 보기 위해 그들의 눈들을 이동시키고 있다는 것을 검출한다.
예를 들어, 전자 디바이스는 텍스트를 수직으로 스크롤하여, 텍스트의 제1 부분이 이전에 디스플레이되었던 높이에 텍스트의 제2 부분을 디스플레이한다. 다른 예로서, 전자 디바이스는 텍스트를 수평으로 스크롤하여, 텍스트의 제1 부분이 이전에 디스플레이되었던 수평 위치에 텍스트의 제2 부분을 디스플레이한다. 텍스트의 제2 부분의 제2 스크롤 위치를 업데이트하는 것은, 선택적으로, 텍스트의 제1 부분의 위치를 업데이트하는 것(예컨대, 텍스트의 제1 부분을 수직으로 또는 수평으로 이동시켜 텍스트의 제2 부분을 위한 공간을 만듦), 또는 텍스트의 제1 부분을 디스플레이하는 것을 중지하는 것을 포함한다. 일부 실시예들에서, 사용자 스크롤 위치를 업데이트하는 것은 전자 디바이스와 통신하는 다른 입력 디바이스로부터 추가 입력을 수신하지 않고서 시선 추적 컴포넌트에 의해 수집된 데이터에 응답하여 수행된다.
일부 실시예들에서, 전자 디바이스는 텍스트의 제1 부분 및 제2 부분을 사용자 인터페이스 내의 그들의 각각의 위치들에 계속 디스플레이한다.
사용자가 텍스트의 제1 부분을 읽는 것을 완료하였다는 것을 검출하는 것에 응답하여 콘텐츠 아이템의 스크롤 위치를 업데이트하는 전술된 방식은, 전자 디바이스가 시선 추적 디바이스 이외의 입력 디바이스들로부터 입력들을 수신하지 않고서 사용자가 읽고 있는 속도로 스크롤할 수 있게 하는데, 이는 (예컨대, 너무 많이 또는 너무 적게 스크롤하는 사용자 오류를 감소시키고 다른 입력 디바이스들로부터의 입력들에 대한 필요성을 회피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써, 예를 들어 사용자가 더 빨리 읽을 수 있게 함으로써 그리고/또는 사용자 입력 오류들의 감소를 통해, 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선이 도 7c에 도시된 텍스트의 제1 부분(예컨대, 724a) 또는 텍스트의 제2 부분(예컨대, 724b)을 향해 지향되지만, 사용자의 시선의 모션이 사용자가 텍스트의 제1 부분 또는 텍스트의 제2 부분을 읽고 있지 않음을 나타낸다고 결정한다(예컨대, 사용자의 눈들의 이동은 읽기를 나타내는 눈 이동에 대응하지 않음)(916).
일부 실시예들에서, 사용자의 시선이 도 7c에 도시된 텍스트의 제1 부분(예컨대, 724a) 또는 텍스트의 제2 부분(예컨대, 724b)을 향해 지향되지만, 사용자의 시선의 모션이 사용자가 텍스트의 제1 부분 또는 텍스트의 제2 부분을 읽고 있지 않음을 나타낸다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 텍스트를 스크롤하는 것을 보류한다(918). 일부 실시예들에서, 사용자가 텍스트를 읽고 있다는 것을 검출하는 것에 응답하여, 전자 디바이스는 텍스트를 스크롤하고, 사용자가 텍스트를 읽지 않고서 그를 보고 있다는 것을 검출하는 것에 응답하여, 전자 디바이스는 텍스트를 스크롤하는 것을 보류한다(예컨대, 텍스트는 사용자 인터페이스 내의 그의 현재 위치에 유지됨).
사용자가 텍스트를 읽지 않고서 텍스트를 보고 있다는 것을 검출하는 것에 응답하여, 텍스트를 스크롤하는 것을 보류하는 전술된 방식은, 전자 디바이스가 불필요한 스크롤링을 회피할 수 있게 하는데, 이는 (예컨대, 불필요한 스크롤링을 되돌리는 입력들에 대한 필요성을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선이 더 이상 도 7c에 도시된 텍스트(예컨대, 724a)의 제1 부분(예컨대, 724a)을 향해 지향되지 않는다고 결정한다(예컨대, 사용자는 사용자 인터페이스의 상이한 부분을 봄, 예를 들어 텍스트의 제2 부분을 보기 시작함 또는 사용자 인터페이스의 임의의 다른 부분을 보거나 사용자 인터페이스로부터 시선을 돌림)(920).
일부 실시예들에서, 사용자의 시선이 더 이상 도 7c에 도시된 텍스트의 제1 부분(예컨대, 724a)을 향해 지향되지 않는다고 결정하는 것에 응답하여(922), 텍스트의 제1 부분에 걸친 사용자의 시선의 검출된 이동에 기초하여, 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽지 않고서 텍스트의 제1 부분(예컨대, 724a)을 스캐닝하였다는 결정에 따라, 전자 디바이스(예컨대, 101)는 텍스트를 스크롤하는 것을 보류한다(예컨대, 사용자 인터페이스 내의 동일한 위치들에 텍스트의 제1 부분 및 제2 부분을 계속 디스플레이함)(924). 일부 실시예들에서, 사용자가 텍스트를 스캐닝(또는 스키밍)하고 있는 동안, 사용자의 눈들의 이동은, 사람들이, 대체적으로, 그들이 텍스트를 읽는 것과는 상이하게 텍스트를 스키밍하기 때문에, 텍스트를 읽는 것을 나타내는 이동에 대응하지 않는다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 텍스트의 제1 부분(예컨대, 724a)에 걸친 사용자의 시선(예컨대, 716b)의 검출된 이동에 기초하여, 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽었다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤한다(926). 일부 실시예들에서, 전자 디바이스는, 사용자가 텍스트를 읽고 있다는 것을 검출하는 것에 응답하여, 텍스트를 스크롤하고, 사용자가 텍스트를 스캐닝하거나 스키밍하고 있다는 것을 검출하는 것에 응답하여, 텍스트를 스크롤하는 것을 보류한다.
사용자가 텍스트를 스캐닝하고 있다는 것을 검출하는 것에 응답하여, 텍스트를 스크롤하는 것을 보류하는 전술된 방식은, 전자 디바이스가 사용자로 하여금 사용자가 텍스트를 스캐닝하고 있는 동안 불규칙할 수 있는 텍스트의 스크롤링 속도를 제어하도록 허용할 수 있게 하는데, 이는 (예컨대, 스크롤링 오류들 및 오류들을 정정하는 데 필요한 입력들을 감소시키기 위해 상이한 상황들에서 텍스트를 스크롤하는 직관적인 방식들을 제공함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 도 7c에 도시된 텍스트의 제1 부분(예컨대, 724a)에 걸친 사용자의 시선의 검출된 이동에 기초하여 시선 추적 디바이스(예컨대, 314)를 통해, 사용자가 텍스트의 제1 부분(예컨대, 724a)을 스캐닝하고 있다고 결정한다(예컨대, 사용자가 텍스트를 스캐닝하고 있는 동안, 사용자의 시선은 텍스트를 가로질러 이동하지만, 읽기를 나타내는 눈 이동 패턴과 매칭되지 않음)(928).
일부 실시예들에서, 사용자가 텍스트의 제1 부분(예컨대, 724a)을 스캐닝하는 것을 완료하였다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c 및 도 7d에서와 같이, 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤한다(930). 일부 실시예들에서, 전자 디바이스는, 사용자가 텍스트를 읽거나 스캐닝하고 있다는 것을 검출하는 것에 응답하여, 텍스트를 스크롤한다. 일부 실시예들에서, 사용자가 텍스트의 제1 부분을 스캐닝하는 것을 아직 완료하지 않았다는 결정에 따라, 전자 디바이스는 텍스트를 스크롤하는 것을 보류한다.
읽거나 스캐닝하는 것에 응답하여 텍스트를 스크롤하는 전술된 방식은, 전자 디바이스가, 시선 위치 이외의 사용자 입력을 요구하지 않고서, 사용자가 스캐닝하고 있을 때 텍스트를 효율적으로 스크롤할 수 있게 하는데, 이는 (예컨대, 텍스트를 스크롤하는 데 필요한 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7c에 도시된 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤하는 것은, 사용자가 텍스트의 제1 부분(예컨대, 724a)의 종단부에 도달하였고 그들의 눈들을 텍스트의 제2 부분(예컨대, 724b)의 시작부를 향한 방향으로 이동시키고 있다는 것을 검출하는 것에 응답한다(932).
예를 들어, 텍스트의 제2 부분의 시작부는 텍스트의 (예컨대, 다음) 라인의 제1 단어이다. 일부 실시예들에서, 전자 디바이스는, 사용자가 텍스트를 읽는 것에 대응하는 눈 이동들을 검출한다. 읽기에 대응하는 눈 이동들은, 선택적으로, 사용자가 텍스트의 라인을 읽음에 따라 단어들 또는 단어들의 일부들을 보는, 텍스트의 방향으로(예컨대, 영어의 경우 좌측에서 우측으로)의 눈들의 이동에 뒤이은, 텍스트의 반대 방향으로(예컨대, 영어의 경우 우측에서 좌측으로)의, 사용자가 방금 읽은 라인을 따른 그리고 이어서 다음 라인의 시작부로 아래로의 눈의 이동을 포함한다. 일부 실시예들에서, 스크롤링은 텍스트의 반대 방향으로의, 사용자가 방금 읽은 라인을 따른 사용자의 눈들의 이동을 검출하는 것에 응답하여 그리고/또는 텍스트의 다음 라인의 시작부로 아래로의 사용자의 눈들의 이동을 검출하는 것에 응답하여 수행된다.
텍스트의 제2 부분의 시작부를 향한 눈들의 이동을 검출하는 것에 응답하여 텍스트를 스크롤하는 전술된 방식은, 사용자가 텍스트의 하나 이상의 단어들을 적극적으로 읽고 있지 않은 동안 전자 디바이스가 한 번에 텍스트를 스크롤할 수 있게 하는데, 이는 (예컨대, 사용자를 혼란스럽게 만들지 않거나 또는 그들이 콘텐츠의 어디쯤을 읽고 있었는지 모르게 되게 하지 않는 방식으로 스크롤함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써, 예를 들어 사용자가 콘텐츠를 더 빨리 읽을 수 있게 함으로써, 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7c에 도시된 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤하는 것은, 사용자가 그들의 눈들을 텍스트의 제2 부분(예컨대, 724b)의 시작부를 향한 방향으로 이동시키고 있는 동안 발생한다(934).
예를 들어, 텍스트의 제2 부분의 시작부는 텍스트의 라인의 제1 단어이다. 일부 실시예들에서, 전자 디바이스는, 사용자가 텍스트를 읽는 것에 대응하는 눈 이동들을 검출한다. 읽기에 대응하는 눈 이동들은, 선택적으로, 사용자가 텍스트의 라인을 읽음에 따라 단어들 또는 단어들의 일부들을 보는, 텍스트의 방향으로(예컨대, 영어의 경우 좌측에서 우측으로)의 눈들의 이동에 뒤이은, 텍스트의 반대 방향으로(예컨대, 영어의 경우 우측에서 좌측으로)의, 사용자가 방금 읽은 라인을 따른 눈의 이동을 포함한다. 일부 실시예들에서, 스크롤링은 텍스트에 대한 표준 읽기 방향의 반대 방향으로의, 사용자가 방금 읽은 라인을 따른 사용자의 눈들의 이동을 검출하는 것에 응답하여 그리고 사용자가 그들의 눈들을 텍스트의 반대 방향으로, 사용자가 방금 읽은 라인을 따라 이동시키는 동안 수행된다.
사용자의 눈들이 텍스트의 제2 부분의 시작부를 향해 이동하는 동안 텍스트를 스크롤하는 전술된 방식은, 사용자의 눈들이 다시 텍스트의 라인의 시작부로 이동할 때까지, 텍스트의 다음 라인의 시작부가 그 위치에 디스플레이되도록 전자 디바이스가 한 번에 텍스트를 스크롤할 수 있게 하는데, 이는 (예컨대, 사용자를 혼란스럽게 만들지 않거나 또는 그들이 콘텐츠의 어디쯤을 읽고 있었는지 모르게 되게 하지 않는 방식으로 스크롤함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써, 예를 들어 사용자가 콘텐츠를 더 빨리 읽을 수 있게 함으로써, 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7c에 도시된 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤하는 것은, 사용자가 그들의 눈들을 텍스트의 제2 부분(예컨대, 724b)의 시작부를 향한 방향으로 이동시키는 동안 보는 사용자 인터페이스 내의 위치에 텍스트의 제2 부분(예컨대, 724b)이 디스플레이되게 한다(936).
예를 들어, 텍스트의 제2 부분의 시작부는 텍스트의 라인의 제1 단어이다. 일부 실시예들에서, 전자 디바이스는, 사용자가 텍스트를 읽는 것에 대응하는 눈 이동들을 검출한다. 읽기에 대응하는 눈 이동들은, 선택적으로, 사용자가 텍스트의 라인을 읽음에 따라 단어들 또는 단어들의 일부들을 보는, 텍스트의 방향으로(예컨대, 영어의 경우 좌측에서 우측으로, 아랍어의 경우 우측에서 좌측으로)의 눈들의 이동에 뒤이은, 텍스트의 반대 방향으로(예컨대, 영어의 경우 우측에서 좌측으로, 아랍어의 경우 좌측에서 우측으로)의, 사용자가 방금 읽은 라인을 따른 눈의 이동을 포함한다. 일부 실시예들에서, 스크롤링은, 사용자가 그들의 눈들을 텍스트의 제1 부분을 따라 후방으로 이동시키는 동안 텍스트의 제2 부분이 텍스트의 제1 부분이 이전에 디스플레이되었던 위치로 이동하도록 수행된다. 예를 들어, 스크롤링은, 텍스트의 제2 부분이 사용자가 보고 있는 위치로 이동되도록 타이밍된다. 예를 들어, 사용자가 텍스트의 제1 부분의 시작부 옆에 있는 사용자 인터페이스 내의 위치를 보고 있는 동안, 전자 디바이스는 텍스트를 스크롤하고, 사용자가 보고 있는 곳에 텍스트의 제2 부분을 디스플레이한다. 따라서, 텍스트의 제2 부분은, 사용자가 텍스트의 제1 부분을 따라 뒤돌아보는 것을 완료함에 따라 사용자의 시선과 "만난다".
사용자가 그들의 눈들을 텍스트의 제2 부분의 시작부를 향해 이동시키는 동안 보고 있는 위치에 텍스트의 제2 부분이 디스플레이되도록 텍스트를 스크롤하는 전술된 방식은, 사용자가 텍스트의 제2 부분을 막 읽으려고 할 가능성이 있을 때 텍스트가 스크롤되는 것이 완료되도록 전자 디바이스가 텍스트를 스크롤할 수 있게 하는데, 이는 (예컨대, 사용자가 텍스트를 더 빨리 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 사용자 인터페이스는 사용자 인터페이스 내의 제1 위치(예컨대, 722a)에 있는 텍스트의 제1 부분(예컨대, 724a), 사용자 인터페이스 내의 제2 위치(예컨대, 722b)에 있는 텍스트의 제2 부분(예컨대, 724b), 및 사용자 인터페이스 내의 제3 위치에 있는 콘텐츠 항목의 텍스트의 제3 부분(예컨대, 710a)을 포함한다(예컨대, 텍스트의 제1 부분, 제2 부분 및 제3 부분은 선택적으로 텍스트의 라인들임)(938). 예를 들어, 텍스트의 제2 부분은 텍스트의 라인이기도 한 텍스트의 제1 부분 바로 다음에 나오는 텍스트의 라인이고, 텍스트의 제3 부분은 텍스트의 제2 라인 다음에 나오는 텍스트의 라인이다. 일부 실시예들에서, 텍스트의 제3 부분은 텍스트의 제2 부분 바로 다음에 나오고, 일부 실시예들에서, 텍스트의 제3 부분과 텍스트의 제2 부분 사이에 텍스트의 하나 이상의 다른 라인들이 존재한다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 사용자의 시선(예컨대, 716b)의 모션이 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽고 있음을 나타내는 동안, 사용자의 시선(예컨대, 716b)의 모션이, 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽는 것을 완료하였고 텍스트의 제2 부분(예컨대, 724b)을 읽기 시작하고 있음을 나타낸다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 텍스트의 제2 부분(예컨대, 724b)이 제1 양만큼 제1 방향으로 이동하도록 텍스트를 스크롤한다(예컨대, 텍스트의 제2 부분은, 사용자가 텍스트의 제1 부분을 읽고 있었던 동안 텍스트의 제1 부분이 디스플레이되었던 사용자 인터페이스 내의 위치로 이동함)(940).
일부 실시예들에서, 사용자의 시선의 모션이, 사용자가 도 7c에 도시된 텍스트의 제1 부분(예컨대, 724a)을 읽는 것을 완료하였고 텍스트의 제3 부분(예컨대, 710a)을 읽기 시작하고 있음을 나타낸다는 결정에 따라, 전자 디바이스(예컨대, 10)는, 텍스트의 제3 부분(예컨대, 710a)이 제1 양보다 많은 제2 양만큼 제1 방향으로 이동하도록 텍스트를 스크롤한다(942).
일부 실시예들에서, 텍스트의 제2 부분은 텍스트의 라인이기도 한 텍스트의 제1 부분 바로 아래에 있는 텍스트의 라인이고, 텍스트의 제2 부분은 하나의 라인의 높이만큼 위로 전진한다. 일부 실시예들에서, 사용자가 텍스트의 제1 부분을 읽는 것을 완료하지 않았다는 결정에 따라, 전자 디바이스는 텍스트를 스크롤하는 것을 보류한다.
일부 실시예들에서, 텍스트의 제3 부분은 텍스트의 제2 부분과 텍스트의 제1 부분 사이의 거리보다 텍스트의 제1 부분으로부터 더 멀리 떨어져 있는 텍스트의 라인이다. 사용자가 텍스트의 제3 부분을 읽는 것을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 텍스트의 제3 부분을 사용자가 텍스트의 제1 부분을 읽고 있었던 동안 텍스트의 제1 부분이 디스플레이되었던 사용자 인터페이스 내의 위치로 스크롤한다. 따라서, 일부 실시예들에서, 텍스트의 제3 부분은, 사용자가 읽고 있는 텍스트의 일부분을 텍스트의 제1 부분이 디스플레이되었던 사용자 인터페이스 내의 위치에 디스플레이하기 위해, 텍스트의 제2 부분이 스크롤되는 것보다 더 큰 거리만큼 스크롤된다. 일부 실시예들에서, 텍스트의 제3 부분은 텍스트의 제1 부분이 디스플레이되었던 위치로 즉시 스크롤되는 것이 아니라, 오히려 그 위치로 가는 경로의 일부만큼 스크롤되고, 사용자가 더 많은 텍스트를 읽음에 따라, 궁극적으로, 사용자가 현재 읽고 있는 텍스트의 일부분은 텍스트의 제1 부분이 디스플레이되었던 위치와 일치하도록 스크롤된다. 일부 실시예들에서, 텍스트는 사용자가 단순히 텍스트의 다음 라인으로 이동할 때보다 사용자가 텍스트의 다수의 라인들 아래로 스킵할 때 더 많이 스크롤되어서, 텍스트의 현재 읽은 부분이 궁극적으로 사용자 인터페이스 내의 텍스트의 제1 부분의 원래 위치를 따라잡을 수 있게 한다.
사용자가 텍스트의 제2 부분을 읽는 것을 검출하는 것에 응답하여 텍스트의 제2 부분을 제1 양만큼 스크롤하고, 사용자가 텍스트의 제3 부분을 읽는 것을 검출하는 것에 응답하여 텍스트의 제3 부분을 제3 양만큼 스크롤하는 전술된 방식은, 사용자가 읽고 있는 텍스트의 일부분을 사용자 인터페이스 내의 일정한 위치에 디스플레이하도록 전자 디바이스가 작동할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 빨리 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7c에 도시된 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤하는 것은, 이미지(예컨대, 712a)가 사용자 인터페이스의 제3 영역 내에 디스플레이되게 한다(예컨대, 일부 실시예들에서, 이미지는 콘텐츠 항목의 일부이고, 콘텐츠 항목 내의 텍스트의 제2 부분 뒤에 배치됨)(944). 예를 들어, 사용자 인터페이스의 제3 영역은 텍스트의 제2 부분 아래에 있으며, 이때 선택적으로 텍스트의 제2 부분과 이미지 사이에 텍스트의 다른 부분들이 있다.
일부 실시예들에서, 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤한 후(946), 전자 디바이스(예컨대, 101)는, 예를 들어 도 7d에서와 같이, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 716d)이 이미지(예컨대, 712a)를 향해 지향된다고 결정하고(948); 사용자의 시선(예컨대, 716d)이 이미지(예컨대, 712a)를 향해 지향된다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7e에서와 같이, 텍스트 및 이미지(예컨대, 712a)를 제1 방향으로 스크롤하여 이미지(예컨대, 712a)를 사용자 인터페이스 내의 제1 위치(예컨대, 722a)에 디스플레이한다(950).
일부 실시예들에서, 이미지는, 사용자가 텍스트의 제1 부분을 읽고 있었던 동안 텍스트의 제1 부분이 디스플레이되었던 사용자 인터페이스 내의 위치에 디스플레이된다. 텍스트 및 이미지를 스크롤하는 것은, 선택적으로, 이미지 뒤에 디스플레이된 추가 텍스트를 드러내는 것을 포함한다. 일부 실시예들에서, 사용자의 시선이 이미지를 향해 지향되지 않는다는 결정에 따라, 전자 디바이스는, 텍스트 및 이미지를 제1 방향으로 스크롤하여 이미지를 사용자 인터페이스 내의 제1 위치에 디스플레이하는 것을 보류한다.
사용자가 이미지를 보고 있다는 것을 검출하는 것에 응답하여 이미지를 사용자 인터페이스 내의 제1 위치에 디스플레이하는 전술된 방식은, 전자 디바이스가 시선 이외의 입력을 요구하지 않고서 사용자에게 편안한 보기 위치로 이미지를 이동시킬 수 있게 하는데, 이는 (예컨대, 이미지를 보는 데 필요한 입력들의 수를 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 이미지(예컨대, 712a)를 사용자 인터페이스 내의 제1 위치(예컨대, 722a)에 디스플레이하는 동안, 이미지 아래에 콘텐츠 항목의 텍스트(예컨대, 텍스트의 라인)의 제3 부분(예컨대, 710b)을 디스플레이한다(952).
일부 실시예들에서, 이미지(예컨대, 712a)를 사용자 인터페이스 내의 제1 위치(예컨대, 722a)에 디스플레이하고 이미지(예컨대, 712a) 아래에 텍스트의 제3 부분(예컨대, 710b)을 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7e에서와 같이, 하나 이상의 기준들이 만족되었다고 결정한다(예컨대, 하나 이상의 기준들은, 사용자가 텍스트의 제3 부분을 읽기 시작할 때 만족되는 기준(예컨대, 사용자가 텍스트의 미리결정된 부분(예컨대, 한 단어, 두 단어, 세 단어)을 읽었거나 미리결정된 시간(예컨대, 1초, 2초 등) 동안 텍스트를 읽고 있었음), 사용자가 텍스트의 제3 부분을 볼 때 만족되는 기준, 및/또는 사용자가 이미지로부터 시선을 돌릴 때 만족되는 기준을 포함함)(954).
일부 실시예들에서, 하나 이상의 기준들이 만족되었다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7f에서와 같이, 텍스트의 제3 부분(예컨대, 710b)을 이동시켜 이미지(예컨대, 712a) 상에 오버레이되도록 사용자 인터페이스를 업데이트한다(956).
일부 실시예들에서, 콘텐츠는, 텍스트의 제3 부분이 사용자 인터페이스 내의 제1 위치에 디스플레이되도록 스크롤된다. 이미지는, 선택적으로, 사용자 인터페이스 내의 제1 위치 위로 연장되고, 선택적으로, 텍스트의 제3 부분보다 더 큰 폭을 갖는다. 일부 실시예들에서, 텍스트는 텍스트와 높은 콘트라스트를 갖는 배경으로 디스플레이된다. 예를 들어, 텍스트의 제3 부분은 이미지 상에 오버레이되는 백색 직사각형 상에 오버레이되는 흑색 텍스트로 디스플레이된다. 일부 실시예들에서, 이미지 상에 오버레이되는 배경이 없으며, 대신에, 텍스트 색상 및/또는 이미지의 반투명도가 텍스트와 이미지 사이의 콘트라스트를 생성하도록 수정된다. 일부 실시예들에서, 텍스트의 추가 부분이 또한 이미지 상에 오버레이된다. 예를 들어, 텍스트의 제3 부분은 텍스트의 라인이고, 텍스트의 추가 라인들이 이미지 상에 오버레이되어 디스플레이된다. 일부 실시예들에서, 하나 이상의 기준들이 만족되지 않는다는 결정에 따라, 전자 디바이스는, 텍스트의 제3 부분을 이동시켜 이미지 상에 오버레이되도록 사용자 인터페이스를 업데이트하는 것을 보류한다.
이미지 상에 오버레이되는 텍스트의 제3 부분을 디스플레이하는 전술된 방식은, 전자 디바이스가 이미지의 시각적 연속성을 유지하면서 현재 관심 텍스트를 현재 읽기 위치로 신속하고 효율적으로 가져올 수 있게 하는데, 이는 (예컨대, 사용자가 이미지를 보고 콘텐츠를 함께 읽는 데 걸리는 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7f에서와 같이, 이미지(예컨대, 712a) 상에 오버레이된 텍스트의 제3 부분(예컨대, 710b)을 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선의 모션이 사용자가 텍스트의 제3 부분(예컨대, 710a)을 읽고 있음을 나타낸다는 것을 검출한다(예컨대, 전자 디바이스는 읽기와 일관되는 이동에 순응하는 사용자의 눈 이동을 검출함)(958).
일부 실시예들에서, 사용자의 시선의 모션이 사용자가 도 7f에 도시된 텍스트의 제3 부분(예컨대, 710b)을 읽고 있음을 나타낸다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 텍스트의 제3 부분(예컨대, 710b)이 더 이상 이미지(예컨대, 712a) 상에 오버레이되지 않도록 이미지(예컨대, 712a)를 제1 방향으로 스크롤한다(960).
일부 실시예들에서, 텍스트의 제3 부분은 사용자 인터페이스 내의 제1 위치에 계속 디스플레이되고, 이미지는 사용자 인터페이스 내의 제1 위치와 중첩되지 않는 위치에 디스플레이되도록 이동한다. 예를 들어, 이미지는 텍스트의 제3 부분 위에 디스플레이된다. 일부 실시예들에서, 사용자가 텍스트의 제3 부분을 읽고 있지 않다는 결정에 따라, 전자 디바이스는, 텍스트의 제3 부분이 더 이상 이미지 상에 오버레이되지 않도록 이미지를 제1 방향으로 스크롤하는 것을 보류한다.
사용자가 콘텐츠의 제3 부분을 읽는 것을 검출하는 것에 응답하여, 텍스트의 제3 부분이 더 이상 이미지 상에 오버레이되지 않도록 이미지를 스크롤하는 전술된 방식은, 사용자가 콘텐츠의 제3 부분을 읽고 있는 동안 전자 디바이스가 텍스트의 제3 부분 주위의 시각적 클러터를 감소시킬 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 신속하게 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 콘텐츠 항목을 포함하는 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 머리의 수평 이동(예컨대, 사용자 인터페이스의 수평 방향을 따르는 머리 이동(예컨대, 좌측에서 우측으로))을 검출한다(962).
일부 실시예들에서, 사용자의 머리의 수평 이동을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 콘텐츠 항목을 사용자의 시야의 중심에 있는 위치에 디스플레이하도록 사용자 인터페이스를 업데이트한다(964).
예를 들어, 사용자가 그들의 머리를 그들의 우측으로 이동시킨다는 것을 검출하는 것에 응답하여, 전자 디바이스는 콘텐츠를 우측으로 이동시킨다. 따라서, 일부 실시예들에서, 전자 디바이스는, 사용자가 그들의 머리를 이동시킨 후에도, 콘텐츠를 사용자의 시야의 (예컨대, 수평 및/또는 수직) 중심에 디스플레이한다. 일부 실시예들에서, 전자 디바이스가 사용자의 머리의 수평 이동을 검출하지 않는 경우, 전자 디바이스는 사용자 인터페이스를 업데이트하지 않는다.
사용자의 수평 머리 이동을 검출하는 것에 응답하여 콘텐츠 항목을 이동시키는 전술된 방식은, 전자 디바이스가 콘텐츠 항목을 사용자가 효율적으로 읽을 수 있는 위치에 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 신속하게 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7c 및 도 7d에서와 같이, 제1 방향은 사용자 인터페이스에서 수직인 방향이다(966). 선택적으로, 콘텐츠는 텍스트의 다수의 라인들과 같은, 수직으로 스크롤가능한 텍스트를 포함한다. 일부 실시예들에서, 전자 디바이스는, 사용자가 텍스트의 각각의 라인을 읽음에 따라, 콘텐츠를 위로 스크롤한다. 전자 디바이스는, 선택적으로, 시선 추적 디바이스 이외의 입력 디바이스에서 수신되는 입력에 응답하여 콘텐츠를 아래로 스크롤하고(예컨대, 사용자는 콘텐츠를 위로 스크롤하라는 요청에 대응하는 입력을 상이한 입력 디바이스를 통해 제공함), 사용자는, 선택적으로, 시선 기반 입력들만을 제공하는 것에 응답하여 콘텐츠를 아래로 스크롤할 수 없다.
텍스트를 수직으로 스크롤하는 전술된 방식은, 전자 디바이스가 텍스트를 사용자가 이미 보고 있는 사용자 인터페이스 내의 수직 위치에 자동으로 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 신속하게 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 방향은 사용자 인터페이스에서 수평인 방향이다(968). 일부 실시예들에서, 텍스트는 수평으로 스크롤가능한 텍스트의 (예컨대, 단일) 라인이다. 예를 들어, 텍스트가 영어 또는 좌측으로부터 우측으로 읽는 다른 언어로 되어 있는 경우, 전자 디바이스는, 사용자가 텍스트를 읽음에 따라, 텍스트를 좌측으로 스크롤한다. 전자 디바이스는, 선택적으로, 시선 추적 컴포넌트 이외의 입력 디바이스를 통해 입력을 수신하는 것에 응답하여 텍스트를 반대 방향으로 스크롤할 수 있고(예컨대, 사용자는 콘텐츠를 후방으로 스크롤하라는 요청에 대응하는 입력을 상이한 입력 디바이스를 통해 제공함), 사용자는, 선택적으로, 시선 기반 입력들만을 제공하는 것에 응답하여 콘텐츠를 반대 방향으로 스크롤할 수 없다.
텍스트를 수평으로 스크롤하는 전술된 방식은, 전자 디바이스가 텍스트를 사용자가 이미 보고 있는 사용자 인터페이스 내의 수평 위치에 자동으로 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 신속하게 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 방향은 사용자 인터페이스에서 수직 성분 및 수평 성분을 갖는다(970). 일부 실시예들에서, 콘텐츠는 그리드 또는 다른 2차원 어레이로 배열된다. 예를 들어, 콘텐츠는 다중 패널 만화이다. 일부 실시예들에서, 사용자가 만화의 패널의 콘텐츠를 읽는 것을 완료한 후, 전자 디바이스는 사용자 인터페이스의 제1 위치에 다음 패널을 디스플레이하여, 그에 따라 사용자가 사용자 인터페이스 내의 하나의 위치에서 만화를 한 패널씩 계속 읽을 수 있게 한다.
텍스트를 수평 및 수직으로 스크롤하는 전술된 방식은, 전자 디바이스가 텍스트를 사용자가 이미 보고 있는 사용자 인터페이스 내의 위치에 자동으로 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 신속하게 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 텍스트의 제1 부분(예컨대, 724a)에 걸친 사용자의 시선(예컨대, 716b)의 검출된 이동에 기초하여, 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽는 것을 완료하였다는 것을 검출한다(972).
일부 실시예들에서, 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽는 것을 완료하였다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 사용자 인터페이스 내에, 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽는 것을 완료하였다고 결정하기 전에 디스플레이되지 않았던 콘텐츠 항목의 텍스트의 제3 부분을 디스플레이한다(974).
일부 실시예들에서, 전자 디바이스는, 사용자가 디스플레이되는 콘텐츠의 일부분들을 읽는 것을 완료함에 따라, 콘텐츠의 후속 부분들의 디스플레이를 개시한다(예컨대, 사용자가 텍스트의 제1 부분을 읽는 것을 완료한 후 텍스트의 제2 부분을 디스플레이하며, 여기에서 텍스트의 제2 부분은, 사용자가 텍스트의 제1 부분을 읽는 것을 완료하기 전에 텍스트의 제2 부분이 디스플레이되었다면/보였다면, 사용자가 텍스트의 제1 부분을 읽는 것을 완료하기 전에 사용자 인터페이스에서 보였을 것임/그 내에 디스플레이되었을 것임). 일부 실시예들에서, 사용자가 텍스트의 제1 부분을 읽는 것을 완료하지 않았다는 결정에 따라, 전자 디바이스는 콘텐츠 항목의 텍스트의 제3 부분을 디스플레이하는 것을 보류한다.
사용자가 콘텐츠의 디스플레이된 부분들을 읽는 것을 완료함에 따라, 콘텐츠의 후속 부분들의 디스플레이를 개시하는 전술된 방식은, 전자 디바이스가 사용자가 현재 읽고 있는 콘텐츠의 일부분들을 시각적으로 덜 산만하게 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 신속하게 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 사용자의 시선(예컨대, 716b)의 모션이 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽고 있음을 나타낸다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 텍스트의 제1 부분과 연관된 제1 오디오를 생성한다(예컨대, 제1 오디오는, 선택적으로, 음악, 음향 효과들, 또는 텍스트의 제1 부분의 텍스트의 오디오(예컨대, 소리내어 읽히는 텍스트의 제1 부분의 오디오)를 포함함)(976).
일부 실시예들에서, 도 7d에 도시된 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤한 후, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선의 모션이 사용자가 텍스트의 제2 부분(예컨대, 724b)을 읽고 있음을 나타낸다고 결정한다(예컨대, 전자 디바이스는, 사용자가 텍스트의 제2 부분을 보는 동안 읽기와 일관되는 사용자의 눈들의 이동을 검출함)(978).
일부 실시예들에서, 사용자의 시선의 모션이 사용자가 텍스트의 도 7d에 도시된 제2 부분(예컨대, 724b)을 읽고 있음을 나타낸다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 텍스트의 제2 부분과 연관된 제2 오디오를 결정한다(980). 예를 들어, 제2 오디오는, 선택적으로, 음악, 음향 효과들, 또는 텍스트의 제2 부분의 텍스트의 오디오(예컨대, 소리내어 읽히는 텍스트의 제2 부분의 오디오)를 포함한다. 일부 실시예들에서, 사용자가 텍스트를 읽는 것을 중지하는 경우, 전자 디바이스는 텍스트와 연관된 오디오의 하나 이상의 부분들을 제시하는 것을 중지한다.
사용자가 읽고 있는 동안 사용자가 현재 읽고 있는 텍스트의 일부분에 대응하는 오디오를 생성하는 전술된 방식은, 전자 디바이스가 사용자의 시선의 검출 이외의 입력을 수신하지 않고서 오디오를 재생할 수 있게 하는데, 이는 (예컨대, 전자 디바이스가 콘텐츠 항목과 조정된 오디오를 재생하게 하기 위해 사용자에 의해 요구되는 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7c에 도시된 텍스트의 제1 부분(예컨대, 724a)과 연관된 제1 오디오를 통한 진행은 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽고 있는 속도에 대응하고, 텍스트의 제2 부분(예컨대, 724b)과 연관된 제2 오디오(예컨대, 724b)를 통한 진행은 사용자가 텍스트의 제2 부분을 읽고 있는 속도에 대응한다(982).
일부 실시예들에서, 사용자가 텍스트를 더 빨리 읽을수록, 대응하는 오디오 콘텐츠가 더 빨리 재생된다. 마찬가지로, 일부 실시예들에서, 사용자가 텍스트를 더 느리게 읽을수록, 대응하는 오디오 콘텐츠가 더 느리게 재생된다. 예를 들어, 오디오 콘텐츠는 소리내어 읽히는 텍스트의 기록이고, 오디오는, 소리내어 재생되고 있는 어구들 및/또는 단어들이 사용자가 현재 읽고 있는 어구들/단어들과 동기화되도록 하는 속도로 재생된다.
사용자가 텍스트를 읽고 있는 속도에 대응하는 속도로 오디오를 생성하는 전술된 방식은, 전자 디바이스가 사용자의 시선의 검출 이외의 입력을 수신하지 않고서 사용자의 읽기 속도와 조정된 오디오를 재생할 수 있게 하는데, 이는 (예컨대, 전자 디바이스가 사용자의 읽기 속도와 조정된 오디오를 재생하게 하기 위해 사용자에 의해 요구되는 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 시선의 모션이 사용자가 각각의 콘텐츠 항목들을 읽고 있음을 나타내는 동안, 전자 디바이스는, 그들 각각의 콘텐츠 항목들을, 사용자가 그들 각각의 콘텐츠 항목들을 읽고 있었던 각각의 시간들과 연관시킨다(예컨대, 사용자가 콘텐츠 항목을 읽고 있는 동안, 전자 디바이스는 사용자가 콘텐츠 항목을 읽고 있는 시간의 타임스탬프와 연관하여 콘텐츠 항목의 표시(또는 콘텐츠 항목의 특정 부분의 표시)를 저장함)(984). 예를 들어, 사용자가 뉴스 기사를 읽고 있는 동안, 전자 디바이스는 뉴스 기사의 표시, 및 사용자가 뉴스 기사를 읽고 있는 시간을 저장한다. 다른 예로서, 사용자가 전자책(e-book)의 각각의 챕터를 읽고 있는 동안, 전자 디바이스는 사용자가 챕터, 페이지, 라인 및/또는 단어를 읽고 있는 시간의 타임스탬프와 연관하여 각각의 챕터, 페이지, 라인 및/또는 단어의 표시를 저장한다.
일부 실시예들에서, 사용자의 시선의 모션이 사용자가 각각의 콘텐츠 항목들을 읽는 것을 완료하였음을 나타낸 후(986), 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들을 통해, 사용자가 제1 각각의 시간에 읽고 있었던 콘텐츠 항목에 관한 정보를 제시하라는 요청을 수신한다(예컨대, 사용자는 사용자가 제1 각각의 시간에 읽고 있었던 콘텐츠 항목의 표시를 제시하라고 전자 디바이스에 요청하는 입력을 입력함)(988). 예를 들어, 사용자는 전자 디바이스의 가상 어시스턴트에게 "내가 어제 오후 3시에 무엇을 읽고 있었습니까?"라고 질문하고, 이에 응답하여, 전자 디바이스는 사용자가 전날 오후 3시에 읽고 있었던 콘텐츠 항목(예컨대, 챕터, 페이지, 라인 및/또는 단어)의 표시를 제시한다. 일부 실시예들에서, 키보드 또는 소프트 키보드를 통해 텍스트 입력을 제공하는 것과 같은 다른 형태들의 입력이 가능하다.
일부 실시예들에서, 사용자가 제1 각각의 시간에 읽고 있었던 콘텐츠 항목에 관한 정보를 디스플레이하라는 요청을 수신하는 것에 응답하여(990), 제1 각각의 시간이 제1 시간이라는 결정에 따라, 전자 디바이스(예컨대, 101)는 제1 각각의 콘텐츠 항목에 관한 정보를 제시한다(예컨대, 사용자가 그들이 전날 오전 10시에 읽고 있었던 콘텐츠에 관한 정보를 요청하는 경우, 전자 디바이스는 사용자가 전날 오전 10시에 읽고 있었던 콘텐츠 항목 또는 콘텐츠 항목의 일부분의 표시를 제시함)(992).
일부 실시예들에서, 제1 각각의 시간이 제2 시간이라는 결정에 따라, 전자 디바이스(예컨대, 101)는 제2 각각의 콘텐츠 항목에 관한 정보를 제시한다(994). 예를 들어, 사용자가 그들이 지난 월요일 오후 2시에 읽고 있었던 콘텐츠에 관한 정보를 요청하는 경우, 전자 디바이스는 사용자가 지난 월요일 오후 2시에 읽고 있었던 콘텐츠 항목 또는 콘텐츠 항목의 일부분의 표시를 제시한다. 일부 실시예들에서, 사용자는, 전자 디바이스가 각각의 읽은 콘텐츠 항목을 저장하지 않은 시간에 그들이 읽고 있었던 것에 관한 정보를 요청한다. 이러한 요청에 응답하여, 전자 디바이스는, 선택적으로, 사용자가 표시된 시간에 아무것도 읽고 있지 않았음을 나타내고/나타내거나, 연관된 콘텐츠 항목이 저장되는 요청된 시간에 가장 가까운 시간에 사용자가 읽고 있었던 콘텐츠 항목의 표시를 제시한다. 일부 실시예들에서, 사용자가 각각의 시간에 콘텐츠 항목을 읽고 있지 않았다는 결정에 따라, 전자 디바이스는 사용자가 각각의 시간에 읽고 있지 않았다는 표시를 제시한다.
현재 시간과 연관하여 사용자가 읽고 있는 콘텐츠 항목의 표시를 저장하고, 각각의 시간에 읽고 있었던 콘텐츠 항목에 관한 정보를 제시하라는 요청에 응답하여, 각각의 시간에 읽고 있었던 콘텐츠 항목의 표시를 제시하는 전술된 방식은, 전자 디바이스가 콘텐츠 항목에 관한 제목 또는 다른 식별 정보를 제공받지 않고서 콘텐츠 항목으로 효율적으로 내비게이팅할 수 있게 하는데, 이는 (예컨대, 사용자가 그들이 이전에 본 콘텐츠를 신속하게 불러오고 볼 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 콘텐츠 항목을 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들을 통해, 콘텐츠 항목을 디스플레이하는 것을 중지하라는 요청을 수신하고, 콘텐츠 항목을 디스플레이하는 것을 중지하라는 요청을 수신하는 것에 응답하여, 콘텐츠 항목의 디스플레이를 중지한다(예컨대, 사용자가 하나 이상의 기준들을 만족시키는 머리 이동을 수행하는 동안 콘텐츠 항목이 디스플레이되는 디스플레이의 영역과는 상이한 디스플레이의 영역을 보는 것을 검출하는 것에 응답하여, 전자 디바이스는 콘텐츠 항목을 디스플레이하는 것을 중지하거나, 또는 아래에서 더 상세히 설명되는 방법(1000)의 하나 이상의 단계들에 따라 콘텐츠 브라우징 사용자 인터페이스 내에 콘텐츠 항목의 미리결정된 부분만을 디스플레이함)(996). 전자 디바이스는, 선택적으로, 시선 추적 디바이스 이외의 입력 디바이스로 검출되는 사용자 입력에 응답하여, 콘텐츠 항목을 디스플레이하는 것을 중지한다. 일부 실시예들에서, 전자 디바이스는, 상이한 콘텐츠 항목 또는 콘텐츠 항목을 제시하는 애플리케이션과는 상이한 애플리케이션에 대한 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 사용자 입력에 응답하여, 콘텐츠 항목을 디스플레이하는 것을 중지한다.
일부 실시예들에서, 콘텐츠 항목의 디스플레이를 중지한 후, 전자 디바이스(예컨대, 101)는, 하나 이상의 입력 디바이스들을 통해, 콘텐츠 항목을 디스플레이하라는 요청을 수신한다(예컨대, 콘텐츠 항목을 디스플레이하라는 요청은, 선택적으로, 비교적 짧은 기간(예컨대, 5분 내지 1시간)이 경과한 후에 또는 더 긴 기간(예컨대, 하루 이상)이 경과한 후에 수신됨)(998).
일부 실시예들에서, 콘텐츠 항목을 디스플레이하라는 요청을 수신하는 것에 응답하여(998-2), 전자 디바이스는 각각의 콘텐츠 항목을 디스플레이한다(예컨대, 일부 실시예들에서, 콘텐츠 항목은 위에서 설명된 프로세스(800)의 하나 이상의 단계들에 따라 콘텐츠 브라우징 사용자 인터페이스 상에 오버레이되어 디스플레이됨)(998-4).
일부 실시예들에서, 콘텐츠 항목의 디스플레이가 중지되기 전에 사용자가 콘텐츠 항목의 텍스트의 제1 부분을 마지막으로 읽었다는 결정에 따라, 전자 디바이스(예컨대, 101)는 콘텐츠 항목의 텍스트의 제1 부분의 표시를 제공한다(예컨대, 콘텐츠 항목의 텍스트의 제1 부분의 표시를 디스플레이하는 것은 콘텐츠 항목의 텍스트의 제1 부분을 시각적 표시로 디스플레이하는 것을 포함함)(998-6).
일부 실시예들에서, 콘텐츠 항목의 디스플레이가 중지되기 전에 사용자가 콘텐츠 항목의 텍스트의 제2 부분을 마지막으로 읽었다는 결정에 따라, 전자 디바이스(예컨대, 101)는 콘텐츠 항목의 텍스트의 제2 부분의 표시를 제공한다(998-8).
예를 들어, 콘텐츠 항목의 텍스트의 제1 부분이 콘텐츠 항목의 시작부가 아닌 경우에도, 콘텐츠 항목은 콘텐츠 항목의 제1 부분으로 스크롤되어 디스플레이된다. 일부 실시예들에서, 콘텐츠 항목의 시작부는, 그가 콘텐츠 항목의 제1 부분을 포함하지 않는 경우에도, 콘텐츠 항목의 제1 부분의 표시와 동시에 디스플레이된다. 콘텐츠 항목의 제1 부분의 표시의 선택을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 콘텐츠 항목을 콘텐츠 항목의 제1 부분으로 스크롤한다. 일부 실시예들에서, 표시는 오디오 또는 시각적 표시 중 하나 이상이다.
일부 실시예들에서, 콘텐츠 항목의 텍스트의 제2 부분의 표시를 디스플레이하는 것은 콘텐츠 항목의 텍스트의 제2 부분을 시각적 표시로 디스플레이하는 것을 포함한다. 예를 들어, 콘텐츠 항목의 텍스트의 제2 부분이 콘텐츠 항목의 시작부가 아닌 경우에도, 콘텐츠 항목은 콘텐츠 항목의 제2 부분으로 스크롤되어 디스플레이된다. 일부 실시예들에서, 콘텐츠 항목의 시작부는, 그가 콘텐츠 항목의 제2 부분을 포함하지 않는 경우에도, 콘텐츠 항목의 제2 부분의 표시와 동시에 디스플레이된다. 콘텐츠 항목의 제2 부분의 표시의 선택을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 콘텐츠 항목을 콘텐츠 항목의 제2 부분으로 스크롤한다. 일부 실시예들에서, 표시는 오디오 또는 비디오 표시 중 하나 이상이다.
콘텐츠 항목을 디스플레이하는 것을 중지하기 전에 사용자가 마지막으로 읽은 콘텐츠 항목의 일부분의 표시를 디스플레이하는 전술된 방식은, 전자 디바이스가 사용자가 이전에 읽고 있었던 콘텐츠 항목의 일부분을 신속하게 제시할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠로부터 멀리 내비게이팅한 후 콘텐츠를 읽는 것을 재개하는 데 걸리는 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자가 그의 눈들을 미리결정된 타이밍 기준들로 감았다가 떴다는 결정을 포함하여, 사용자가 깜박였다고 결정한다(예컨대, 사용자는 그의 눈들을 시간 임계치(예컨대, 0.05, 0.1, 0.2, 0.5초, 1초, 2초 등)보다 더 오랫동안 감았다가 다시 뜸)(998-10). 일부 실시예들에서, 임계치는, 사용자가 사용자 인터페이스를 보거나 콘텐츠를 읽는 동안 정상적으로 깜박이는 기간보다 길다.
일부 실시예들에서, 사용자가 깜박였다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 텍스트를 제1 방향과는 상이한 제2 방향으로 스크롤하여, 콘텐츠 항목의 이전 부분이 사용자 인터페이스 내의 제1 위치(예컨대, 722a)에 디스플레이되게 한다(998-12). 예를 들어, 전자 디바이스는 사용자가 읽고 있음에 따라 텍스트를 아래로 스크롤하고, 사용자의 깜박임이 미리결정된 임계 시간보다 더 오래 지속되는 것을 검출하는 것에 응답하여, 전자 디바이스는 콘텐츠를 위로 스크롤한다. 일부 실시예들에서, 콘텐츠 항목의 제1 부분은 콘텐츠 항목의 시작부이다. 일부 실시예들에서, 긴 깜박임은, 콘텐츠 항목이 콘텐츠 항목의 시작부로 다시 스크롤되게 한다. 일부 실시예들에서, 긴 깜박임은, 콘텐츠 항목이 증분으로 다시 스크롤되게 한다(각각의 깜박임은 후방 스크롤링의 증분을 야기함). 일부 실시예들에서, 사용자가 그의 눈들을 미리결정된 타이밍 기준들로 감았다가 뜨지 않았다는 결정에 따라, 전자 디바이스는 텍스트를 제2 방향으로 스크롤하는 것을 보류한다.
깜박임이 미리결정된 임계 시간보다 더 오래 지속되는 것을 검출하는 것에 응답하여 콘텐츠 항목을 후방으로 스크롤하는 전술된 방식은, 전자 디바이스가 콘텐츠 항목의 이전 부분들로 효율적으로 내비게이팅할 수 있게 하는데, 이는 (예컨대, 이전 부분으로부터 콘텐츠 항목을 읽기 시작하는 데 필요한 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자가 콘텐츠 항목을 스키밍하고 있다고 결정한다(예컨대, 텍스트를 스키밍하는 것과 연관된 눈 이동들은 텍스트를 읽는 것과 연관된 눈 이동들과는 상이함)(998-14). 전자 디바이스는, 선택적으로, 시선 추적 디바이스를 통해, 사용자가 콘텐츠를 스키밍하고 있다고 결정할 수 있다.
일부 실시예들에서, 사용자가 콘텐츠 항목을 스키밍하고 있다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 콘텐츠 항목의 하나 이상의 제1 단어들을 제1 값을 갖는 시각적 특성으로 제시하고, 콘텐츠 항목의 제1 단어들과는 상이한 콘텐츠 항목의 하나 이상의 제2 단어들을 제1 값과는 상이한 제2 값을 갖는 시각적 특성으로 제시한다(998-16).
시각적 특성은, 선택적으로, 색상, 불투명도, 크기, 강조, 또는 텍스트 스타일(예컨대, 볼드체, 밑줄, 이탤릭체) 중 하나 이상이다. 일부 실시예들에서, 전자 디바이스는, 선택적으로, 콘텐츠 항목에 매우 중요한 것으로 간주되는 하나 이상의 미리결정된 단어들을 읽기 더 용이한 외관(예컨대, 더 높은 콘트라스트의 색상, 더 높은 불투명도, 더 큰 크기, 강조됨, 또는 볼드체, 이탤릭체, 또는 밑줄 친 활자체로 제시됨)으로 그리고 콘텐츠 항목의 나머지 단어들을 대충 훑어보기 더 용이한 외관(예컨대, 더 낮은 콘트라스트의 색상, 더 낮은 불투명도, 더 작은 크기, 강조되지 않음, 또는 다른 단어들이 제시되는 텍스트 스타일링으로 제시되지 않음)으로 제시한다. 예를 들어, 전자 디바이스는, 키 워드들이 흑색 텍스트로 디스플레이되고 다른 단어들이 회색 텍스트로 디스플레이되는 상태로, 백색 배경 상에 콘텐츠 항목을 디스플레이한다. 일부 실시예들에서, 사용자가 콘텐츠 항목을 스키밍하고 있지 않다는 결정에 따라, 전자 디바이스는, 콘텐츠 항목의 하나 이상의 제1 단어들을 제1 값을 갖는 시각적 특성으로 제시하고 콘텐츠 항목의 제1 단어들과는 상이한 콘텐츠 항목의 하나 이상의 제2 단어들을 제1 값과는 상이한 제2 값을 갖는 시각적 특성으로 제시하는 것을 보류한다.
사용자가 콘텐츠를 스키밍하고 있다는 것을 검출하는 것에 응답하여, 제1 단어들 및 제2 단어들을 상이한 시각적 특성들로 디스플레이하는 전술된 방식은, 전자 디바이스가 콘텐츠를 스키밍하기 더 용이한 방식으로 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 텍스트를 스키밍하는 데 걸리는 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 사용자의 시선(예컨대, 716b)의 모션이 사용자가 텍스트의 제1 부분(예컨대, 724a)을 읽는 것을 완료하였음을 나타낸다는 결정에 응답하여, 텍스트의 제2 부분(예컨대, 724b)이 제1 방향으로 이동하도록 텍스트를 스크롤한 후, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314) 이외의, 전자 디바이스(예컨대, 101)와 통신하는 하나 이상의 입력 디바이스들(예컨대, 키보드, 마우스, 터치 스크린, 터치 감응형 표면, 트랙패드, 음성 명령 등)을 통해, 텍스트를 제1 방향과 반대인 제2 방향으로 스크롤하라는 요청에 대응하는 입력을 수신한다(998-18).
일부 실시예들에서, 하나 이상의 입력들을 수신하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 텍스트를 제2 방향으로 스크롤한다(998-20). 일부 실시예들에서, 콘텐츠를 후방으로 스크롤하라는, 시선 추적 디바이스 이외의 입력 디바이스에서 수신되는 요청에 응답하여, 전자 디바이스는 콘텐츠를 후방으로 스크롤한다. 예를 들어, 전자 디바이스는 사용자가 콘텐츠를 읽음에 따라 콘텐츠를 아래로 자동으로 스크롤하고, 콘텐츠를 위로 스크롤하라는 요청에 대응하는, 트랙패드에서 수신되는 입력에 응답하여, 전자 디바이스는 콘텐츠를 위로 스크롤한다. 일부 실시예들에서, 전자 디바이스는 시선 추적 디바이스를 통해 검출되는 입력에 응답하여 콘텐츠를 후방으로 스크롤하지 않는다. 예를 들어, 전자 디바이스는, 사용자가 콘텐츠를 읽고, 사용자가 읽고 있는 콘텐츠의 각각의 부분 위에 있는 디스플레이의 영역을 사용자가 보고 있다는 것을 검출함에 따라, 콘텐츠를 아래로 스크롤한다. 이러한 예에서, 전자 디바이스는 단순히 사용자의 시선을 검출하는 것에 응답하여 콘텐츠를 위로 스크롤하지 않는다.
콘텐츠를 시선에 응답하여 제1 방향으로 그리고 시선 추적 디바이스 이외의 입력 디바이스에 응답하여 제2 방향으로 스크롤하는 전술된 방식은, 전자 디바이스가 콘텐츠를 시선에 응답하여 제2 방향으로 스크롤하는 것을 보류할 수 있게 하여, 그에 따라, 사용자가 우발적으로 텍스트를 후방으로 스크롤하지 않고서 사용자 인터페이스를 자유롭게 둘러보도록 허용하는데, 이는 (예컨대, 사용자 오류의 가능성을 감소시키고 사용자 오류를 정정하는 데 필요한 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 10a 내지 도 10g는 일부 실시예들에 따른, 사용자의 머리의 이동의 검출 및 사용자의 시선의 검출에 따라 사용자 인터페이스들 사이에서 내비게이팅하는 방법(1000)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1000)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
본 방법(1000)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트(예컨대, 120) 및 시선 추적 디바이스(예컨대, 314)와 통신하는 전자 디바이스(예컨대, 컴퓨터 시스템(예컨대, 101))(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어), 컴퓨터(예컨대, 데스크톱 컴퓨터, 랩톱 컴퓨터), 또는 웨어러블 디바이스(예컨대, 워치, 머리 장착형 디바이스))는, 도 7b에 도시된 바와 같이, 디스플레이 생성 컴포넌트(예컨대, 120)를 통해, 디스플레이 상에 제1 사용자 인터페이스(예컨대, 700)를 디스플레이하는 동안, 제1 사용자 인터페이스(예컨대, 700)로부터 제2 사용자 인터페이스(예컨대, 714)로 내비게이팅하라는 요청을 검출한다(예컨대, 제1 사용자 인터페이스는, 선택적으로, 선택될 때, 전자 디바이스로 하여금 상이한 사용자 인터페이스로 내비게이팅하게 하는 하나 이상의 옵션들을 포함하는 내비게이션 사용자 인터페이스임)(1002).
일부 실시예들에서, 제1 사용자 인터페이스(예컨대, 700)로부터 제2 사용자 인터페이스(예컨대, 714)로 내비게이팅하라는 요청에 응답하여, 전자 디바이스(예컨대, 101)는 제2 사용자 인터페이스로 내비게이팅한다(예컨대, 전자 디바이스는, 제2 사용자 인터페이스로 내비게이팅하라는 요청을 검출하는 것에 응답하여, 콘텐츠 항목을 포함하는 콘텐츠 사용자 인터페이스와 같은 제2 사용자 인터페이스를 디스플레이함)(1004).
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 디스플레이 생성 컴포넌트(예컨대, 120)를 통해, 제2 사용자 인터페이스(예컨대, 714)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는 사용자의 머리의 이동을 검출한다(예컨대, 머리 이동은 사용자의 머리의 이동이 미리결정된 머리 이동과 매칭됨을 나타내는 하나 이상의 기준들을 만족시킴)(1006).
일부 실시예들에서, 사용자의 머리의 이동을 검출하는 것에 응답하여(1008), 머리의 이동(예컨대, 옆으로의 그리고 이어서 전방으로의 이동)이 제1 기준들을 충족시키고, 사용자의 시선(예컨대, 716c)이 사용자 인터페이스(예컨대, 700)의 각각의 부분(예컨대, 선택적으로 콘텐츠 영역으로부터 예를 들어 콘텐츠 영역의 좌측으로 제1 방향으로, 콘텐츠 영역의 외측에 있는 일부분)으로 지향된다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 도 7b에 도시된 바와 같이, 제2 사용자 인터페이스(예컨대, 714)로부터 다시 제1 사용자 인터페이스(예컨대, 700)로 내비게이팅한다(예컨대, 전자 디바이스는, 선택적으로, 제2 사용자 인터페이스를 디스플레이하는 것을 중지하고, 제1 사용자 인터페이스를 디스플레이함)(1010).
일부 실시예들에서, 머리의 이동이 제1 기준들을 충족시키지 않는다는 결정에 따라, 전자 디바이스(예컨대, 101)는 제2 사용자 인터페이스(예컨대, 714)로부터 다시 제1 사용자 인터페이스(예컨대, 700)로 내비게이팅하는 것을 보류한다(예컨대, 전자 디바이스는, 선택적으로, 제2 사용자 인터페이스를 계속 디스플레이함)(1012).
일부 실시예들에서, 머리의 이동이 제1 기준들을 충족시키고, 사용자의 시선이 사용자 인터페이스(예컨대, 700)의 각각의 부분으로 지향되지 않는다는 결정에 따라, 전자 디바이스(예컨대, 101)는 제2 사용자 인터페이스(예컨대, 714)로부터 다시 제1 사용자 인터페이스(예컨대, 700)로의 내비게이션을 보류한다(1014).
일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로 터치 스크린 디스플레이) 및/또는 모니터, 프로젝터, 텔레비전 등과 같은 외부 디스플레이이다. 일부 실시예들에서, 시선 추적 디바이스는 하나 이상의 카메라(들)(예컨대, IR 카메라들, NIR 카메라들, 가시광 카메라들 등)를 포함한다.
예를 들어, 제1 사용자 인터페이스는 콘텐츠 항목들의 하나 이상의 표현들을 포함하는 콘텐츠 브라우징 사용자 인터페이스이다. 예를 들어 방법(800)의 하나 이상의 단계들에 따라, 콘텐츠 항목들 중 하나를 보라는 요청을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 제2 사용자 인터페이스 내에 요청된 콘텐츠 항목을 디스플레이한다. 따라서, 일부 실시예들에서, 제2 사용자 인터페이스는 콘텐츠 항목(예컨대, 텍스트 콘텐츠, 사진 콘텐츠, 및/또는 비디오 콘텐츠)을 포함하는 콘텐츠 보기 사용자 인터페이스이다.
일부 실시예들에서, 제2 사용자 인터페이스는 제1 사용자 인터페이스 상에 오버레이되어 디스플레이되고, 제1 사용자 인터페이스의 일부분은, 전자 디바이스가, 예를 들어 방법(800)의 하나 이상의 단계들에 따라, 제2 사용자 인터페이스를 디스플레이하는 동안, 보이는 상태로 유지된다.
예를 들어, 머리 이동은 전방으로(예컨대, 디스플레이 생성 컴포넌트 및/또는 시선 추적 디바이스의 방향으로 그리고/또는 달리 가상 환경 내의 사용자 인터페이스를 향해) 이동하는 것 및/또는 제1 사용자 인터페이스의 일부분이 디스플레이되는 (예컨대, 가상 환경 내의) 사용자 인터페이스의 측부로 이동 또는 회전하는 것 중 하나 이상을 포함한다. 예를 들어, 제1 사용자 인터페이스의 일부분이 제2 사용자 인터페이스의 좌측에서 보이는 경우, 머리 이동은 좌측을 향한 이동 및/또는 회전을 검출하는 것을 포함한다.
제2 사용자 인터페이스가 제1 사용자 인터페이스 상에 오버레이되는 일부 실시예들에서, 전자 디바이스는 사용자가 제1 사용자 인터페이스의 일부분을 보고 있다는 것을 검출한다.
일부 실시예들에서, 제1 기준을 충족시키는 머리 이동은, 제1 사용자 인터페이스의 일부분이 디스플레이되는 사용자 인터페이스의 측부를 향한 머리의 이동을 포함한다. 예를 들어, 제1 사용자 인터페이스의 일부분이 제2 사용자 인터페이스의 우측에서 보이는 경우, 제1 기준들을 만족시키는 머리 이동은 우측으로의 머리의 이동을 포함한다. 일부 실시예들에서, 사용자의 시선의 위치는 시선 추적 디바이스를 사용하여 검출된다. 도 6을 참조하여 위에서 더 상세히 설명된 바와 같이, 시선 추적 디바이스는, 선택적으로, 사용자의 눈들의 하나 이상의 이미지들을 캡처하고, 캡처된 하나 이상의 이미지들에서 동공들 및 글린트들을 검출하여, 사용자의 시선을 추적한다. 일부 실시예들에서, 제1 사용자 인터페이스 객체는 제2 사용자 인터페이스 객체 상에 부분적으로 오버레이되고, 제2 사용자 인터페이스 객체의 일부가 보인다. 전자 디바이스는, 선택적으로, 사용자가 제2 사용자 인터페이스 객체의 가시적인 부분을 보고 있다는 것을 검출한다.
일부 실시예들에서, 머리 이동의 방향, 크기 또는 지속시간 중 하나 이상이 미리결정된 범위 밖에 있거나 미리결정된 패턴과 매칭되지 않는 경우, 머리 이동은 제1 기준들을 충족시키지 못한다.
일부 실시예들에서, 전자 디바이스는, 머리 이동이 제1 기준들을 충족시킨다는 것 및 사용자의 시선이 사용자 인터페이스의 각각의 부분으로 지향된다는 것 둘 모두로 결정되지 않는 한, 제1 사용자 인터페이스로 다시 내비게이팅하지 않는다. 전자 디바이스는, 선택적으로, 머리 이동이 제1 기준들을 충족시키고 사용자의 시선이 사용자 인터페이스의 각각의 부분으로 지향되지 않는다는 결정에 따라, 제2 사용자 인터페이스를 계속 디스플레이한다.
사용자의 시선 및 머리 이동을 검출하는 것에 응답하여 제1 사용자 인터페이스로 다시 내비게이팅하는 전술된 방식은, 전자 디바이스가 시선 및 머리 이동 이외의 사용자 입력 없이 사용자 인터페이스 객체들 사이에서 내비게이팅할 수 있게 할 뿐만 아니라, 이중의 머리 및 시선 요건들로 인한 잘못된 후방 내비게이션을 회피할 수 있게 하는데, 이는 (예컨대, 사용자가 내비게이션 입력을 입력하는 데 걸리는 시간을 감소시키고 잘못된 내비게이션 결과들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 제2 사용자 인터페이스(예컨대, 714)는, 제1 사용자 인터페이스(예컨대, 700)의 적어도 일부분이 디스플레이되는 동안 디스플레이된다(예컨대, 제2 사용자 인터페이스는 제1 사용자 인터페이스 상에 오버레이되고, 제1 사용자 인터페이스의 일부분이 제2 사용자 인터페이스의 경계 옆에서 보임)(1016). 예를 들어, 제1 사용자 인터페이스는 콘텐츠 브라우징 사용자 인터페이스이고, 제2 사용자 인터페이스는, 사용자가 제1 사용자 인터페이스로부터 내비게이팅한 콘텐츠 항목을 포함한다.
일부 실시예들에서, 제2 사용자 인터페이스(예컨대, 714) 및 제1 사용자 인터페이스(예컨대, 700)의 적어도 일부분을 디스플레이하는 동안 - 제1 사용자 인터페이스(예컨대, 700)는 제2 사용자 인터페이스(예컨대, 714)에 비해 시각적으로 강조해제됨 -, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 716c)이 제2 사용자 인터페이스(예컨대, 714)로부터 제1 사용자 인터페이스(예컨대, 700)로 이동하였다고 결정한다(예컨대, 사용자가 제2 사용자 인터페이스를 보고 있는 동안, 제1 사용자 인터페이스는, 선택적으로, 제2 사용자 인터페이스보다 더 높은 반투명도로 디스플레이됨, 제1 사용자 인터페이스는 제2 사용자 인터페이스보다 더 높은 정도의 흐릿함으로 디스플레이됨, 제1 사용자 인터페이스는 제2 사용자 인터페이스보다 덜한 밝기 또는 콘트라스트로 디스플레이됨, 제1 사용자 인터페이스는 감소된 크기로 디스플레이되고 제2 사용자 인터페이스는 실제 크기로 디스플레이됨 등)(1018).
일부 실시예들에서, 예를 들어 도 7c에서와 같이, 사용자의 시선(예컨대, 716c)이 제2 사용자 인터페이스(예컨대, 714)로부터 제1 사용자 인터페이스(예컨대, 700)로 이동하였다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7g에서와 같이, 제2 사용자 인터페이스(예컨대, 700)에 비한 제1 사용자 인터페이스(예컨대, 714)의 시각적 강조해제의 양을 감소시킨다(예컨대, 제2 사용자 인터페이스를 제1 값과는 상이한 제3 값을 갖는 시각적 특성(예컨대, 증가된 반투명도, 증가된 흐릿함, 감소된 밝기 또는 콘트라스트, 감소된 크기 등)으로 디스플레이함; 및/또는 제1 사용자 인터페이스의 적어도 일부분을 제2 값과는 상이한 제4 값을 갖는 시각적 특성(예컨대, 감소된 반투명도, 감소된 흐릿함, 증가된 밝기 또는 콘트라스트, 증가된 크기 등)으로 디스플레이함)(1020).
일부 실시예들에서, 사용자가 제2 사용자 인터페이스를 보고 있는 동안, 제2 사용자 인터페이스는 실제 크기, 풀 컬러, 완전 콘트라스트 또는 최대 밝기, 완전 선명도, 및 낮은 반투명도로 디스플레이되고, 제1 사용자 인터페이스는 감소된 크기, 차분한 색상, 낮은 콘트라스트 및/또는 밝기, 감소된 선명도, 및/또는 더 높은 반투명도로 디스플레이된다. 사용자가 제1 사용자 인터페이스를 보는 것을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 제2 사용자 인터페이스의 크기, 색상, 콘트라스트, 밝기 및/또는 선명도를 감소시키고/시키거나 반투명도를 증가시키고, 제1 사용자 인터페이스의 크기, 콘트라스트, 밝기 및/또는 선명도를 증가시키고 색상을 밝게 하고/하거나 반투명도를 감소시킨다.
사용자의 시선이 제2 사용자 인터페이스로부터 제1 사용자 인터페이스로 이동하는 것을 검출하는 것에 응답하여, 제1 사용자 인터페이스 및 제2 사용자 인터페이스의 시각적 특성들을 수정하는 전술된 방식은, 전자 디바이스가 사용자가 현재 보고 있는 사용자 인터페이스를 효율적으로 시각적으로 강조할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠를 더 신속하게 읽을 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7g에서와 같이, 사용자의 시선이 제1 사용자 인터페이스(예컨대, 700)로 지향되는 동안 그리고 제1 사용자 인터페이스(예컨대, 700) 및 제2 사용자 인터페이스(예컨대, 714)를 제2 사용자 인터페이스(예컨대, 714)에 비한 제1 사용자 인터페이스(예컨대, 700)의 시각적 강조해제의 감소된 양으로 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 716f)이 제1 사용자 인터페이스(예컨대, 700)로부터 제2 사용자 인터페이스(예컨대, 714)로 이동하였다고 결정한다(예컨대, 사용자가 제1 사용자 인터페이스를 보고 있는 동안, 제1 사용자 인터페이스는 증가된 크기, 콘트라스트, 선명도 및/또는 밝기, 밝아진 색상들, 및/또는 감소된 반투명도로 디스플레이되고, 제2 사용자 인터페이스는, 사용자가 제1 사용자 인터페이스를 보고 있는 동안의 제1 사용자 인터페이스의 제시에 비해, 감소된 크기, 콘트라스트, 선명도 및/또는 밝기, 희미해진 색상들, 및/또는 증가된 반투명도로 디스플레이됨)(1022).
일부 실시예들에서, 예를 들어 도 7g에서와 같이, 사용자의 시선(예컨대, 716f)이 제1 사용자 인터페이스(예컨대, 700)로부터 제2 사용자 인터페이스(예컨대, 714)로 이동하였다고 결정하는 것에 응답하여(1024), 전자 디바이스(예컨대, 101)는, 도 7c에 도시된 바와 같이, 제1 사용자 인터페이스(예컨대, 700)가 제2 사용자 인터페이스(예컨대, 714)에 비해 시각적으로 강조해제된 상태로 제1 사용자 인터페이스(예컨대, 700) 및 제2 사용자 인터페이스(예컨대, 714)를 디스플레이한다(예컨대, 시각적 강조해제의 레벨을 사용자가 제1 사용자 인터페이스를 보는 것을 검출하기 전의 강조해제의 양과 동일하게 복원함)(1026).
일부 실시예들에서, 제2 사용자 인터페이스는 감소된 반투명도, 감소된 흐릿함, 증가된 밝기 또는 콘트라스트, 증가된 크기 등으로 디스플레이되고, 제1 사용자 인터페이스는 증가된 반투명도, 증가된 흐릿함, 감소된 밝기 또는 콘트라스트, 감소된 크기 등으로 디스플레이된다. 일부 실시예들에서, 사용자가 제2 사용자 인터페이스를 보는 것을 검출하는 것에 응답하여, 전자 디바이스는, 사용자가 제2 사용자 인터페이스를 보고 있는 동안의 제1 사용자 인터페이스 및 제2 사용자 인터페이스의 제시에 비해, 제2 사용자 인터페이스를 증가된 크기, 콘트라스트, 선명도 및/또는 밝기, 밝아진 색상들, 및/또는 감소된 반투명도로 디스플레이하고, 제1 사용자 인터페이스를 감소된 크기, 콘트라스트, 선명도 및/또는 밝기, 희미해진 색상들, 및/또는 증가된 반투명도로 디스플레이한다.
사용자가 제2 사용자 인터페이스를 보는 것을 검출하는 것에 응답하여, 제1 사용자 인터페이스 및 제2 사용자 인터페이스의 시각적 특성들을 수정하는 전술된 방식은, 전자 디바이스가 사용자가 보고 있는 사용자 인터페이스를 감소된 시각적 클러터로 효율적으로 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 그들이 보고 있는 사용자 인터페이스를 더 신속하게 해석할 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 머리의 이동을 검출하는 것에 응답하여(1028), 머리의 이동(예컨대, 옆으로의 그리고 이어서 전방으로의 이동)이 제1 기준들을 충족시키고, 사용자의 시선이 사용자 인터페이스의 각각의 부분(예컨대, 선택적으로 콘텐츠 영역으로부터 예를 들어 콘텐츠 영역의 좌측으로 제1 방향으로, 콘텐츠 영역의 외측에 있는 일부분)으로 지향된다는 결정에 따라, 전자 디바이스는, 예를 들어 도 7g 및 도 7h에서와 같이, 제2 사용자 인터페이스로부터 다시 제1 사용자 인터페이스로 내비게이팅하면서 제2 사용자 인터페이스와 제1 사용자 인터페이스 사이의 애니메이션화된 전이를 디스플레이한다(1030). 제2 사용자 인터페이스가 제1 사용자 인터페이스 상에 오버레이되는 일부 실시예들에서, 전자 디바이스는 사용자가 제1 사용자 인터페이스의 일부분을 보고 있다는 것을 검출한다.
일부 실시예들에서, 머리의 이동이 제1 기준들을 충족시키지 않고, 사용자의 시선이 사용자 인터페이스의 각각의 부분으로 지향된다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7g에서와 같이, 제2 사용자 인터페이스 사이의 전체 애니메이션화된 전이를 디스플레이하지 않고서 제2 사용자 인터페이스와 제1 사용자 인터페이스 사이의 애니메이션화된 전이의 제1 부분을 디스플레이한다(1032).
일부 실시예들에서, 전자 디바이스는, 사용자가 사용자 인터페이스들 중 어느 것을 보고 있는지에 따라 변화하는 제1 사용자 인터페이스 및 제2 사용자 인터페이스의 시각적 특성들의 애니메이션을 디스플레이한다. 예를 들어, 사용자가 그들의 시선을 제2 사용자 인터페이스로부터 제1 사용자 인터페이스로 이동시키는 것을 검출하는 것에 응답하여, 전자 디바이스는, 제1 사용자 인터페이스가 커지고 더 선명해지며 제2 사용자 인터페이스가 작아지고 덜 선명해지는 애니메이션을 디스플레이한다. 일부 실시예들에서, 애니메이션의 진행은, 사용자의 머리가 얼마나 이동하였는지에 비례한다. 일부 실시예들에서, 사용자가 그들의 머리를 더 많은 양만큼 이동시키는 경우, 애니메이션은 더 많은 양만큼 진행된다.
사용자가 그들의 머리를 이동시킴에 따라 사용자 인터페이스들의 시각적 특성들에 대한 변화들을 애니메이션화하는 전술된 방식은, 전자 디바이스가 머리 이동이 사용자 인터페이스들 사이에서의 내비게이션을 야기함을 나타내는 효율적인 시각적 피드백을 사용자에게 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 머리 이동으로 사용자 인터페이스들 사이에서 더 신속하게 내비게이팅할 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 애니메이션화된 전이의 제1 부분의 크기는 머리의 이동의 양에 의존한다(1034). 예를 들어, 사용자가 그들의 머리를 제1 양만큼 이동시키는 경우, 애니메이션은 제1 양만큼 진행되고, 사용자가 그들의 머리를 더 많은 양만큼 이동시키는 경우, 애니메이션은 더 많은 양만큼 진행된다.
사용자가 그들의 머리를 이동시키는 양에 의존하는 양만큼 사용자 인터페이스들의 시각적 특성들에 대한 변화들을 애니메이션화하는 전술된 방식은, 전자 디바이스가 머리 이동이 사용자 인터페이스들 사이에서의 내비게이션을 야기함을 나타내는 효율적인 시각적 피드백을 사용자에게 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 머리 이동으로 사용자 인터페이스들 사이에서 더 신속하게 내비게이팅할 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 애니메이션화된 전이의 제1 부분은 머리의 이동의 속도 및/또는 방향에 기초하여 결정되는 속도 및/또는 방향으로 진행된다(전방 및/또는 후방으로 이동하는 것을 포함함)(1036). 일부 실시예들에서, 전자 디바이스는 사용자의 머리의 비교적 느린 이동을 검출하는 것에 응답하여 비교적 느린 속도로 애니메이션을 진행하고, 사용자의 머리의 비교적 빠른 이동을 검출하는 것에 응답하여 비교적 빠른 속도로 애니메이션을 진행한다. 전자 디바이스는, 선택적으로, 제1 방향으로의 사용자의 머리의 이동을 검출하는 것에 응답하여 애니메이션을 전방으로 진행하고, 선택적으로, 제1 방향과 반대인 제2 방향으로의 사용자의 머리의 이동을 검출하는 것에 응답하여 애니메이션을 후방으로 진행한다.
머리 이동의 속도 또는 방향에 기초한 속도 또는 방향으로 사용자 인터페이스들의 시각적 특성들에 대한 변화들을 애니메이션화하는 전술된 방식은, 전자 디바이스가 머리 이동이 사용자 인터페이스들 사이에서의 내비게이션을 야기함을 나타내는 효율적인 시각적 피드백을 사용자에게 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 머리 이동으로 사용자 인터페이스들 사이에서 더 신속하게 내비게이팅할 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 머리 이동이 제1 기준들을 충족시키지 않고서 머리 이동의 종료(예컨대, 머리 제스처의 종료 또는 시선의 종료)를 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 도 7c에 도시된 바와 같이, 다시 제1 사용자 인터페이스(예컨대, 700)가 제2 사용자 인터페이스(예컨대, 714)에 비해 시각적으로 강조해제되는 것으로의 애니메이션화된 전이를 디스플레이한다(예컨대, 애니메이션화된 전이의 제1 부분을 반전시킴)(1038). 일부 실시예들에서, 머리 이동의 종료는, 사용자가 그들의 머리를 이동시키는 것을 중단하거나 또는 머리가 그가 머리 이동의 시작 전에 있었던 바와 같이 위치되도록 머리 이동을 반전시킨다는 것을 검출하는 것에 대응한다.
다시 제1 사용자 인터페이스가 제2 사용자 인터페이스에 비해 시각적으로 강조해제되는 것으로의 애니메이션화된 전이는, 선택적으로, 역으로 재생되는, 제2 사용자 인터페이스에 비한 제1 사용자 인터페이스의 강조해제의 양을 감소시키는 애니메이션화된 전이이다. 일부 실시예들에서, 전자 디바이스는, 사용자가 제1 사용자 인터페이스로부터 시선을 돌리는 것을 검출하는 것에 응답하여, 다시 제1 사용자 인터페이스가 제2 사용자 인터페이스에 비해 시각적으로 강조해제되는 것으로의 애니메이션화된 전이를 디스플레이한다. 다시 제1 사용자 인터페이스가 제2 사용자 인터페이스에 비해 시각적으로 강조해제되는 것으로의 애니메이션화된 전이를 디스플레이하는 전술된 방식은, 전자 디바이스가 머리 이동이 사용자 인터페이스들 사이에서의 내비게이션을 야기함을 나타내는 효율적인 시각적 피드백을 사용자에게 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 머리 이동으로 사용자 인터페이스들 사이에서 더 신속하게 내비게이팅할 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 기준들은 사용자의 머리의, 옆으로 기울이는 이동을 요구하는 기준을 포함한다(1040). 일부 실시예들에서, 기준은 사용자가 그들의 머리를 좌측 또는 우측으로 기울이는 경우 만족되거나, 기준은 사용자가 그들의 머리를 좌측으로 기울이는 경우 만족되거나, 또는 기준은 사용자가 그들의 머리를 우측으로 기울이는 경우 만족된다. 전자 디바이스는, 선택적으로, 제1 사용자 인터페이스의 일부분이 보이는 상태로, 제1 사용자 인터페이스 상에 오버레이되는 제2 사용자 인터페이스를 디스플레이한다. 예를 들어, 제2 사용자 인터페이스는 제1 사용자 인터페이스의 좌측에 오버레이되어 디스플레이되고, 제1 사용자 인터페이스의 일부분은 제2 사용자 인터페이스의 우측에 보이는 상태로 유지되며, 적어도 우측으로의 사용자의 머리의 이동을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스로 다시 내비게이팅한다.
적어도 옆으로의 사용자의 머리의 이동을 검출하는 것에 응답하여 제1 사용자 인터페이스로 다시 내비게이팅하는 전술된 방식은, 전자 디바이스가 제2 사용자 인터페이스로부터 제1 사용자 인터페이스로 내비게이팅하는 효율적이고 직관적인 방식을 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 사용자 인터페이스들 사이에서 내비게이팅하는 데 걸리는 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 기준들은 (예컨대, 사용자의 신체에 대한) 사용자의 사용자의 전방 이동을 요구하는 기준을 포함한다(1042). 일부 실시예들에서, 적어도 사용자의 신체에 대한 전방 방향으로의 사용자의 머리의 이동을 검출하는 것에 응답하여, 전자 디바이스는 제2 사용자 인터페이스로부터 제1 사용자 인터페이스로 내비게이팅한다.
적어도 전방으로의 사용자의 머리의 이동을 검출하는 것에 응답하여 제1 사용자 인터페이스로 다시 내비게이팅하는 전술된 방식은, 전자 디바이스가 제2 사용자 인터페이스로부터 제1 사용자 인터페이스로 내비게이팅하는 효율적이고 직관적인 방식을 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 사용자 인터페이스들 사이에서 내비게이팅하는 데 걸리는 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 사용자 인터페이스(예컨대, 700)로부터 제2 사용자 인터페이스(예컨대, 714)로 내비게이팅하는 것은, 예를 들어 도 7c에서와 같이, 제1 사용자 인터페이스(예컨대, 700) 상에 오버레이되는 제2 사용자 인터페이스(예컨대, 714)를 디스플레이하는 것을 포함한다(1044). 일부 실시예들에서, 제2 사용자 인터페이스는, 제2 사용자 인터페이스가 디스플레이되고 있는 동안 제1 사용자 인터페이스의 일부분이 보이도록 제1 사용자 인터페이스의 일부분 상에 오버레이된다. 예를 들어, 제2 사용자 인터페이스는 제1 사용자 인터페이스의 좌측 부분 상에 오버레이되고, 제1 사용자 인터페이스의 우측 부분은 제2 사용자 인터페이스의 우측에서 보인다.
제1 사용자 인터페이스 상에 오버레이되는 제2 사용자 인터페이스를 디스플레이하는 전술된 방식은, 전자 디바이스가 제2 사용자 인터페이스 및 제1 사용자 인터페이스의 일부분을 동시에 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 그들이 제1 사용자 인터페이스로 다시 내비게이팅하라는 요청을 입력하기 전에 제1 사용자 인터페이스로 다시 내비게이팅하기를 원하는지 여부를 알도록 사용자가 제1 사용자 인터페이스의 일부분을 보도록 허용함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 내비게이팅하는 것은 제1 사용자 인터페이스를 강조해제하는 것, 및 사용자의 시선이 제2 사용자 인터페이스로 지향된다는 결정에 따라, 제2 사용자 인터페이스를 강조하는 것을 포함한다(1046). 일부 실시예들에서, 제1 사용자 인터페이스를 강조해제하는 것은 제1 사용자 인터페이스의 크기, 콘트라스트, 밝기, 불투명도 및/또는 선명도를 감소시키는 것 중 하나 이상을 포함하고, 제2 사용자 인터페이스를 강조하는 것은 제2 사용자 인터페이스의 크기, 콘트라스트, 밝기, 불투명도 및/또는 선명도를 증가시키는 것 중 하나 이상을 포함한다.
제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 내비게이팅하는 것의 일부로서 제1 사용자 인터페이스를 강조해제하고 제2 사용자 인터페이스를 강조하는 전술된 방식은, 전자 디바이스가, 사용자가 제2 사용자 인터페이스를 보고 있는 동안 사용자 인터페이스들을 감소된 시각적 클러터로 효율적으로 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 제2 사용자 인터페이스를 더 신속하게 이해할 수 있게 하고 제2 사용자 인터페이스로부터 다시 제1 사용자 인터페이스로 내비게이팅하는 효율적인 방식을 제공함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 제2 사용자 인터페이스(예컨대, 714)를 디스플레이하는 동안(예컨대, 제2 사용자 인터페이스로 내비게이팅되는 동안), 사용자의 시선의 특성(예컨대, 시간의 길이)이 제2 기준들을 충족시키지 않는 동안 또는 사용자의 머리 이동이 제1 기준들을 충족시키지 않는 동안(예컨대, 머리 이동의 시간의 길이, 머리 이동의 거리, 및/또는 머리 이동의 속도가 하나 이상의 기준들을 충족시키지 못함 및/또는 시선의 위치, 지속시간 및/또는 다른 특성이 하나 이상의 기준들을 충족시키지 못함), 전자 디바이스(예컨대, 101)는, 예를 들어 도 7g에서와 같이, 사용자의 시선 또는 사용자의 머리 이동에 기초하여 제2 사용자 인터페이스(예컨대, 714)의 외관(예컨대, 또는 제1 사용자 인터페이스의 외관)을 변경하면서 제2 사용자 인터페이스(예컨대, 714)를 계속 디스플레이한다(예컨대, 제1 사용자 인터페이스 상에서의 사용자의 시선 및 사용자의 머리 이동을 검출하기 전의 제1 사용자 인터페이스 및 제2 사용자 인터페이스의 외관에 비해, 제1 사용자 인터페이스를 증가된 콘트라스트, 밝기, 크기, 불투명도 및/또는 선명도로 디스플레이하고, 제2 사용자 인터페이스를 감소된 콘트라스트, 밝기, 크기, 불투명도 및/또는 선명도로 디스플레이함)(1048).
일부 실시예들에서, 사용자의 시선의 특성이 제2 기준들을 충족시키고 사용자의 머리 이동이 제1 기준들을 충족시킨다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7b에서와 같이, 제2 사용자 인터페이스(예컨대, 714)로부터 다시 제1 사용자 인터페이스(예컨대, 700)로 내비게이팅한다(1050).
일부 실시예들에서, 제2 사용자 인터페이스로 내비게이팅된 상태로 유지되는 것은 (예컨대, 제1 사용자 인터페이스 상에 오버레이된) 제2 사용자 인터페이스를 계속 디스플레이하는 것을 포함한다. 게다가, 전자 디바이스가 제2 사용자 인터페이스로 내비게이팅되는 동안, 사용자가 제1 사용자 인터페이스 및 제2 사용자 인터페이스 둘 모두로부터 시선을 돌리는 경우(예컨대, 전자 디바이스의 시스템 사용자 인터페이스 또는 시스템 사용자 인터페이스 요소를 보거나 디스플레이 생성 컴포넌트의 디스플레이 영역으로부터 시선을 돌림), 전자 디바이스는 제1 사용자 인터페이스 및 제2 사용자 인터페이스를 사용자가 제2 사용자 인터페이스를 보고 있었던 동안 그들이 디스플레이되었던 방식으로 디스플레이하는 것으로 복귀한다.
일부 실시예들에서, 제2 사용자 인터페이스로부터 다시 제1 사용자 인터페이스로 내비게이팅하는 것은 제2 사용자 인터페이스를 디스플레이하는 것을 중지하는 것을 포함한다. 게다가, 일단 전자 디바이스가 제1 사용자 인터페이스로 다시 내비게이팅하면, 사용자가 위에서 설명된 바와 같이 제1 사용자 인터페이스로부터 시선을 돌리는 경우, 전자 디바이스는 제2 사용자 인터페이스를 디스플레이하지 않고서 제1 사용자 인터페이스를 계속 디스플레이한다.
사용자의 시선 및 사용자의 머리 이동이 미리결정된 기준들을 충족시킨다는 것을 검출하는 것에 응답하여 제1 사용자 인터페이스로 다시 내비게이팅하지만, 제1 사용자 인터페이스로 다시 내비게이팅하기에 충분하지 않은 머리/시선 입력들에 기초하여 제1 사용자 인터페이스 및 제2 사용자 인터페이스 둘 모두의 외관을 변경하는 전술된 방식은, 전자 디바이스가,
머리 이동을 계속 수행하고 제1 사용자 인터페이스를 계속 보는 것이 다시 제1 사용자 인터페이스로의 내비게이션을 야기할 것이라는 피드백을 사용자에게 효율적으로 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 그들이 그렇게 하고자 할 때 제1 사용자 인터페이스로 더 신속하게 다시 내비게이팅할 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 예를 들어 도 7g에서와 같이, 제2 사용자 인터페이스(예컨대, 714)의 변경된 외관으로 제2 사용자 인터페이스(예컨대, 714)를 디스플레이하는 동안(예컨대, 제2 사용자 인터페이스로 내비게이팅되고 제1 사용자 인터페이스의 적어도 일부분을 디스플레이하는 동안), 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 716f)이 제2 사용자 인터페이스(예컨대, 714)(예컨대, 또는 제1 사용자 인터페이스)로 지향된다고 결정한다(1052).
일부 실시예들에서, 도 7g에 도시된 바와 같이, 사용자의 시선(예컨대, 716f)이 제2 사용자 인터페이스(예컨대, 714)로 지향된다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 제2 사용자 인터페이스(예컨대, 714)의 외관을 초기 외관으로 복귀시킨다(1054).
일부 실시예들에서, 변경된 외관은, 사용자가 제1 사용자 인터페이스를 보고 머리 이동을 수행하기 전에 제2 사용자 인터페이스를 보고 있었던 동안의 제2 사용자 인터페이스의 초기 외관에 비해 감소된 크기, 콘트라스트, 선명도 및/또는 불투명도 중 하나 이상을 포함한다.
일부 실시예들에서, 제2 사용자 인터페이스의 외관을 초기 외관으로 복귀시키는 것은 제1 사용자 인터페이스로 다시 내비게이팅하는 것을 보류하는 것을 포함한다. 전자 디바이스는, 선택적으로, 또한, 사용자가 머리 이동을 수행하는 동안 제1 사용자 인터페이스를 보는 것을 검출하는 것에 응답하여, 제1 사용자 인터페이스를 제1 사용자 인터페이스의 외관에 비해 감소된 크기, 콘트라스트, 선명도 및/또는 불투명도를 갖는 초기 외관으로 복귀시킨다.
사용자가 제2 사용자 인터페이스를 보는 것을 검출하는 것에 응답하여, 제2 사용자 인터페이스의 외관을 초기 외관으로 복귀시키는 전술된 방식은, 전자 디바이스가, 사용자가 제1 사용자 인터페이스로 다시 내비게이팅하는 프로세스를 중단하고 제2 사용자 인터페이스를 계속 보는 효율적인 방식을 제공할 수 있게 하는데, 이는 (예컨대, 초기 외관으로 제2 사용자 인터페이스의 디스플레이를 재개하는 신속하고 효율적인 방식을 제공함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 사용자 인터페이스 내에, 텍스트 콘텐츠를 디스플레이한다(예컨대, 텍스트 콘텐츠는 제1 사용자 인터페이스 및 제2 사용자 인터페이스 상에 오버레이되거나 제1 사용자 인터페이스 또는 제2 사용자 인터페이스 내에 디스플레이됨)(1056).
일부 실시예들에서, 텍스트 콘텐츠를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는 텍스트 콘텐츠를 디스플레이하는 것을 중지하라는 요청(예컨대, 시선 검출 디바이스 이외의, 전자 디바이스와 통신하는 입력 디바이스들 중 하나에서 수신되는 사용자 입력)을 검출한다(1058).
일부 실시예들에서, 텍스트 콘텐츠를 디스플레이하는 것을 중지하라는 요청을 검출하는 것에 응답하여(1060), 텍스트 콘텐츠가 하나 이상의 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스(예컨대, 101)는 텍스트 콘텐츠를 디스플레이하는 것을 중지한다(예컨대, 하나 이상의 기준들은, 중요한 경고들, 사용자 또는 시스템에 의해 중요한 것으로 표시된 애플리케이션들에 의해 생성된 통지들, 또는 텍스트 생성자에 의해 중요한 것으로 표시되는 텍스트와 같은 미리결정된 통지 이벤트들과 연관됨)(1062).
일부 실시예들에서, 텍스트 콘텐츠가 하나 이상의 기준들을 만족시킨다는 결정에 따라(예컨대, 하나 이상의 기준들은, 중요한 경고들, 사용자 또는 시스템에 의해 중요한 것으로 표시된 애플리케이션들에 의해 생성된 통지들, 또는 텍스트 생성자에 의해 중요한 것으로 표시되는 텍스트와 같은 미리결정된 통지 이벤트들과 연관됨)(1064), 사용자가 텍스트 콘텐츠를 읽었다는 (예컨대, 시선 추적 디바이스를 통한) 결정에 따라, 전자 디바이스(예컨대, 101)는 텍스트 콘텐츠를 디스플레이하는 것을 중지한다(예컨대, 전자 디바이스는, 시선 추적 컴포넌트에 의해 캡처된 데이터에 기초하여, 사용자의 눈 이동이 텍스트 콘텐츠를 읽는 것과 일관된다고 결정함)(1066).
일부 실시예들에서, 사용자가 텍스트 콘텐츠를 읽지 않았다는 (예컨대, 시선 추적 디바이스를 통한) 결정에 따라, 전자 디바이스(예컨대, 101)는 텍스트 콘텐츠의 디스플레이를 유지한다(1068).
텍스트 콘텐츠는, 선택적으로, 통지 이벤트의 표시와 연관된 텍스트를 포함한다. 예를 들어, 텍스트 콘텐츠는 전자 디바이스에서 수신된 메시지의 메시지 미리보기이고, 메시지 미리보기는 메시지의 수신을 나타내는 통지 표시에 디스플레이된다. 일부 실시예들에서, 텍스트는, 소프트웨어 제품 또는 전자 디바이스 서비스와 연관된 계약 조건 텍스트이다.
일부 실시예들에서, 입력은, 위에서 설명된 바와 같이, 예를 들어 제2 사용자 인터페이스로부터 멀리 내비게이팅하기 위한 시선 입력이다.
예를 들어, 입력은 키보드의 키의 누르기, 터치 스크린, 트랙패드, 마우스 등을 통해 이루어진 텍스트를 디스플레이하는 것을 중지하기 위한 옵션의 선택, 또는 음성 명령 중 하나이다.
텍스트가 기준들을 만족시키지 않는다는 결정에 따라, 전자 디바이스는 그렇게 하라는 사용자 요청에 응답하여, 텍스트를 디스플레이하는 것을 중지한다(예컨대, 텍스트 콘텐츠가 제2 사용자 인터페이스에 포함되는 예에서 제2 사용자 인터페이스로부터 멀리 내비게이팅하고 그를 디스플레이하는 것을 중단함).
텍스트를 디스플레이하는 것을 중지하라는 요청에 대응하는 입력을 검출하는 것에 응답하여 그리고 사용자가 텍스트를 읽었다는 결정에 따라, 전자 디바이스는 텍스트를 디스플레이하는 것을 중지한다(예컨대, 텍스트 콘텐츠가 제2 사용자 인터페이스에 포함되는 예에서 제2 사용자 인터페이스로부터 멀리 내비게이팅하고 그를 디스플레이하는 것을 중단함).
일부 실시예들에서, 텍스트가 하나 이상의 기준들을 만족시키는 경우, 사용자는 텍스트를 디스플레이하는 것을 중지하라는 요청에 대응하는 사용자 입력에 응답하여 텍스트가 해제되도록 텍스트를 읽어야 한다.
오직 사용자가 텍스트를 읽었다는 것을 검출하는 것에 응답하여 그리고 텍스트가 디스플레이되는 것이 중지될 것을 요청하는 입력에 응답하여, 하나 이상의 기준들을 만족시키는 텍스트를 해제하는 전술된 방식은, 전자 디바이스가 중요한 텍스트를 사용자가 그를 읽을 때까지 효율적으로 계속 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 텍스트를 읽기 위해 그에 액세스하는 데 필요한 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스(예컨대, 101)는, 사용자 인터페이스 내에, 각각의 애플리케이션과 연관된 통지(예컨대, 706)를 디스플레이한다(예컨대, 통지는 전자 디바이스에서 검출된 통지 이벤트를 나타내는 텍스트 또는 이미지를 포함함)(1070). 예를 들어, 통지 이벤트는 메시지의 수신이고, 통지는 메시지의 텍스트, 및 메시지가 그로부터 수신된 사용자 계정의 표시를 포함한다. 메시지의 통지는, 선택적으로, 메시징 애플리케이션과 연관된다.
일부 실시예들에서, 각각의 애플리케이션과 연관된 통지(예컨대, 706)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스를 통해, 사용자가 통지(예컨대, 706)를 읽었다고 결정한다(예컨대, 통지를 보는 동안의 사용자의 눈 이동들이 읽기와 일관됨)(1072). 일부 실시예들에서, 전자 디바이스는, 사용자가 통지에 포함된 모든 텍스트를 읽었다고 결정한다.
일부 실시예들에서, 사용자가 통지(예컨대, 706)를 읽었다고 결정(예컨대, 사용자가 통지를 읽는 것을 완료하였다는 결정)하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 디스플레이 생성 컴포넌트(예컨대, 120)를 통해, 각각의 애플리케이션의 사용자 인터페이스를 디스플레이한다(1074). 예를 들어, 통지는 메시지의 통지이고, 사용자가 통지를 읽었다는 것을 검출하는 것에 응답하여, 전자 디바이스는 메시징 애플리케이션을 디스플레이한다. 일부 실시예들에서, 사용자가 통지를 읽는 것을 완료하지 않았다는 결정에 따라, 전자 디바이스는 각각의 애플리케이션의 사용자 인터페이스를 디스플레이하는 것을 보류한다.
사용자가 읽은 통지와 연관된 애플리케이션의 사용자 인터페이스를 디스플레이하는 전술된 방식은, 전자 디바이스가 통지와 연관된 추가 정보를 효율적인 방식으로 제시할 수 있게 하는데, 이는 (예컨대, 사용자가 읽은 통지와 연관된 애플리케이션을 여는 데 필요한 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선이 제2 사용자 인터페이스(예컨대, 714)를 향해 지향된다고 결정하는 동안(1076), 사용자의 머리가 제1 위치에 있다는 결정에 따라, 전자 디바이스(예컨대, 101)는 제2 사용자 인터페이스(예컨대, 714)의 텍스트 콘텐츠를 제1 텍스트 스타일로 디스플레이한다(예컨대, 제1 스타일은 폰트, 텍스트 크기, 및/또는 볼드체, 이탤릭체 또는 밑줄 친 것과 같은 텍스트 스타일링을 포함함)(1078).
일부 실시예들에서, 사용자의 머리가 제1 위치와는 상이한 제2 위치에 있다는 결정에 따라, 전자 디바이스(예컨대, 101)는 제2 사용자 인터페이스(예컨대, 714)의 텍스트 콘텐츠를 제1 텍스트 스타일과는 상이한 제2 텍스트 스타일로 디스플레이한다(1080). 예를 들어, 사용자가 그들의 머리를 그들의 신체의 나머지에 대해 그리고/또는 그들의 머리의 초기 위치에 대해 전방으로 이동시키는 경우, 전자 디바이스는, 선택적으로, 사용자가 그들의 머리를 이동시키기 전에 디스플레이되었던 폰트보다 더 큰 크기 또는 그와는 상이한 폰트(예컨대, 더 높은 해상도(DPI)를 갖지만 동일한 크기를 갖는 폰트, 또는 선택적으로 더 먼 거리들로부터 읽기 더 용이한 원래 디스플레이된 폰트보다 더 짧은 거리들로부터 읽기 더 용이한 폰트)로 텍스트를 디스플레이한다.
사용자의 머리의 이동을 검출하는 것에 응답하여 텍스트 스타일을 수정하는 전술된 방식은, 전자 디바이스가 상이한 머리/눈 거리들에서 텍스트 디스플레이를 최적화하기 위해 텍스트의 크기 또는 장식 레벨과 같은 텍스트의 스타일을 변경하는 효율적인 방식을 제공할 수 있게 하는데, 이는 (예컨대, 텍스트를 더 읽기 쉽게 또는 미적으로 보기 좋게 만드는 데 필요한 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
도 11은 일부 실시예들에 따른, 사용자의 머리의 이동의 검출 및 사용자의 시선의 검출에 따라, 콘텐츠의 일부분과 관련된 증강된 콘텐츠를 디스플레이하는 방법(1100)을 예시하는 흐름도이다. 일부 실시예들에서, 본 방법(1100)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 심도 감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1100)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1100)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.
본 방법(1100)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트(예컨대, 120) 및 시선 추적 디바이스(예컨대, 314)와 통신하는 전자 디바이스(예컨대, 컴퓨팅 시스템(101))(예컨대, 모바일 디바이스(예컨대, 태블릿, 스마트폰, 미디어 플레이어), 컴퓨터(예컨대, 데스크톱 컴퓨터, 랩톱 컴퓨터), 또는 웨어러블 디바이스(예컨대, 워치, 머리 장착형 디바이스))는, 예를 들어 도 7i에서와 같이, 디스플레이 생성 컴포넌트(예컨대, 120)를 통해, 제1 증강된 콘텐츠와 연관되는 제1 부분(예컨대, 718a) 및 제2 증강된 콘텐츠와 연관되는 제2 부분(예컨대, 718b)을 포함하는 제1 콘텐츠(예컨대, 텍스트 콘텐츠)를 포함하는 사용자 인터페이스를 디스플레이한다(1102). 일부 실시예들에서, 콘텐츠 항목은 텍스트 및/또는 이미지들을 포함한다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는 사용자의 머리의 이동(예컨대, 사용자의 신체에 대해 전방으로의 사용자의 머리의 이동)을 검출한다(1104).
일부 실시예들에서, 사용자의 머리의 이동을 검출하는 것에 응답하여(1106), 예를 들어 도 7i에서와 같이, 사용자의 시선(예컨대, 716i)이 제1 콘텐츠의 제1 부분(예컨대, 718a)을 향해 지향되고(예컨대, 도 6을 참조하여 위에서 더 상세히 설명된 바와 같이, 시선 추적 디바이스는, 선택적으로, 사용자의 눈들의 하나 이상의 이미지들을 캡처하고, 하나 이상의 캡처된 이미지들에서 동공들 및 글린트들을 검출하여, 사용자의 시선을 추적함), 사용자의 시선(예컨대, 716i)이 제1 콘텐츠 항목의 제1 부분을 향해 지향되는 동안 사용자의 머리의 이동(예컨대, 전방으로의(예컨대, 가상 환경 내의 각각의 부분을 향한) 머리의 이동)이 제1 기준들을 만족시킨다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7j에서와 같이, 제1 콘텐츠의 제2 부분과 연관된 제2 증강된 콘텐츠를 포함하도록 사용자 인터페이스를 업데이트하지 않고서, 제1 콘텐츠의 제1 부분(예컨대, 718a)과 연관된 제1 증강된 콘텐츠(예컨대, 720a)를 포함하도록 사용자 인터페이스를 업데이트한다(예컨대, 증강된 콘텐츠는 추가 텍스트 및/또는 이미지들 중 하나 이상을 포함함)(1108).
일부 실시예들에서, 사용자의 시선(예컨대, 716n)이 제1 콘텐츠 항목의 제2 부분(예컨대, 718b)을 향해 지향되는 동안 사용자의 머리의 이동이 제1 기준들을 만족시킨다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7k에서와 같이, 제1 콘텐츠의 제1 부분과 연관되는 제1 증강된 콘텐츠를 포함하도록 사용자 인터페이스를 업데이트하지 않고서, 제1 콘텐츠의 제2 부분(예컨대, 718b)과 연관된 제2 증강된 콘텐츠(예컨대, 720b)를 포함하도록 사용자 인터페이스를 업데이트한다(예컨대, 사용자가 하나 이상의 기준들을 충족시키는 머리 이동을 수행하는 동안 제1 콘텐츠 항목의 각각의 부분을 보고 있다는 것을 검출하는 것에 응답하여 디스플레이되는 증강된 콘텐츠는 사용자가 제1 콘텐츠 항목의 어느 부분을 보고 있는지에 따라 상이함)(1110).
일부 실시예들에서, 사용자의 머리의 이동이 제1 기준들을 만족시키지 않았다는 결정에 따라, 전자 디바이스(예컨대, 101)는 제1 증강된 콘텐츠를 포함하도록 사용자 인터페이스를 업데이트하는 것을 보류하고, 제2 증강된 콘텐츠를 포함하도록 사용자 인터페이스를 업데이트하는 것을 보류한다(1112).
일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로 터치 스크린 디스플레이) 및/또는 모니터, 프로젝터, 텔레비전 등과 같은 외부 디스플레이이다. 일부 실시예들에서, 시선 추적 디바이스는 하나 이상의 카메라(들)(예컨대, IR 카메라들, NIR 카메라들, 가시광 카메라들 등)를 포함한다.
예를 들어, 콘텐츠 항목은 기사, 메시지, 전자책, 또는 텍스트를 포함하는 다른 콘텐츠이다. 일부 실시예들에서, 제1 부분은 텍스트 콘텐츠의 제1 단어이고, 제2 부분은 텍스트 콘텐츠의 제2 단어이다.
일부 실시예들에서, 사용자가 그들의 머리를 전방으로 이동시키고 있다는 것을 검출하는 것은, 사용자가 그들의 머리를 그들이 보고 있는 방향으로 그리고/또는 디스플레이 생성 컴포넌트 및/또는 시선 추적 디바이스의 방향으로 이동시킨다는 것을 검출하는 것을 포함한다. 하나 이상의 기준들은, 선택적으로, 적어도 미리결정된 시간 동안 머리 이동을 수행하는 것, 머리를 적어도 미리결정된 거리만큼 이동시키는 것, 및/또는 머리를 미리결정된 범위 내의 속도로 이동시키는 것과 같은 시간 기반 기준 및 거리 기반 기준을 추가로 포함한다.
예를 들어, 제1 콘텐츠 항목의 제1 부분은 단어이고, 증강된 콘텐츠는 단어의 정의이다. 다른 예로서, 제1 콘텐츠 항목의 제1 부분은 웹사이트에 대한 하이퍼링크이고, 제1 증강된 콘텐츠는 웹사이트의 미리보기이다. 다른 예로서, 증강된 콘텐츠는 제1 콘텐츠 항목의 제1 부분의 확대된 버전이다. 예를 들어, 제1 콘텐츠 항목의 제1 부분은 이미지의 일부이고, 증강된 콘텐츠는 전체 이미지이다. 다른 예로서, 증강된 콘텐츠는 제1 콘텐츠 항목의 제1 부분과 동일하지만, 더 큰 크기로 디스플레이된다. 일부 실시예들에서, 증강된 콘텐츠는 제1 콘텐츠 항목을 보완하는 제1 콘텐츠 항목의 제1 부분과 관련된다. 증강된 콘텐츠는, 선택적으로, 제1 콘텐츠 항목에 포함되지 않는다. 일부 실시예들에서, 증강된 콘텐츠를 디스플레이하는 것은, 전자 디바이스와 통신하는 다른 입력 디바이스로부터 추가 입력을 수신하지 않고서, 사용자의 시선 및 머리 이동을 검출하는 것에 응답하여 수행된다.
일부 실시예들에서, 증강된 콘텐츠의 콘텐츠의 유형은, 사용자가 제1 콘텐츠 항목의 어느 부분을 보는지에 따라 달라진다. 예를 들어, 제1 콘텐츠 항목의 제1 부분이 단어인 경우, 제1 증강된 콘텐츠는 정의이고, 제1 콘텐츠 항목의 제2 부분이 웹사이트 링크인 경우, 제2 증강된 콘텐츠는 웹사이트의 미리보기이거나, 또는 증강된 콘텐츠의 제2 부분이 이미지인 경우, 제2 증강된 콘텐츠는 다른 이미지이다. 일부 실시예들에서, 증강된 콘텐츠를 디스플레이하는 것은, 전자 디바이스와 통신하는 다른 입력 디바이스로부터 추가 입력을 수신하지 않고서, 사용자의 시선 및 머리 이동을 검출하는 것에 응답하여 수행된다.
일부 실시예들에서, 사용자가 하나 이상의 기준들을 만족시키는 머리 이동을 수행하지 않았다고 결정하는 것은, 사용자가 그들의 머리를 이동시키고 있지 않거나 또는 하나 이상의 기준들을 만족시키지 않는 방식으로 그들의 머리를 이동시키고 있다고 결정하는 것을 포함한다. 예를 들어, 사용자가 콘텐츠의 각각의 부분을 보는 동안 잘못된 머리 이동을 수행하거나(예컨대, 전방으로 이동하는 대신에 우측 또는 좌측으로 이동하거나 돎), 잘못된 방향으로 이동하거나(예컨대, 전방으로 대신에 후방으로 이동함), 위에서 설명된 시간 기반 기준 또는 거리 기반 기준을 만족시키지 않는 방식으로 이동하거나, 또는 그들의 머리를 전혀 이동시키지 않는 경우, 전자 디바이스는 콘텐츠의 그 각각의 부분에 대응하는 증강된 콘텐츠를 포함하도록 사용자 인터페이스를 업데이트하는 것을 보류한다.
사용자의 시선 및 머리 이동에 응답하여, 증강된 콘텐츠를 디스플레이하는 전술된 방식은, 전자 디바이스가, 사용자의 시선 및 머리 이동에만 응답하여, 사용자가 보고 있는 콘텐츠 항목의 일부분과 관련된 증강된 콘텐츠를 신속하게 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 증강된 콘텐츠를 요청하는 입력을 제공하는 데 걸리는 시간을 감소시키고 증강된 콘텐츠의 잘못된 디스플레이를 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에서와 같은 제1 증강된 콘텐츠(예컨대, 720a)는 제1 콘텐츠의 제1 부분(예컨대, 718a)의 정의, 제1 콘텐츠의 제1 부분(예컨대, 718a)의 웹사이트 미리보기, 또는 제1 콘텐츠의 제1 부분(예컨대, 718a)의 확대된 버전 중 하나이고, 도 7k에서와 같은 제2 증강된 콘텐츠(예컨대, 720b)는 제1 콘텐츠의 제2 부분(예컨대, 718b)의 정의, 제1 콘텐츠의 제2 부분(예컨대, 718b)의 웹사이트 미리보기, 또는 제1 콘텐츠의 제2 부분(예컨대, 718b)의 확대된 버전 중 하나이다(1114).
예를 들어, 콘텐츠의 각각의 부분은 단어이고, 증강된 콘텐츠는 단어의 정의이다. 다른 예로서, 콘텐츠의 각각의 부분은 이미지(또는 이미지의 일부분)이고, 증강된 콘텐츠는 이미지의 확대된 버전(또는 이미지의 전체)이다. 다른 예로서, 콘텐츠의 각각의 부분은 하이퍼링크이고, 증강된 콘텐츠는 하이퍼링크의 콘텐츠의 미리보기이다.
정의, 이미지, 또는 웹사이트 미리보기를 디스플레이하는 전술된 방식은, 전자 디바이스가 콘텐츠 항목을 계속 디스플레이하면서 콘텐츠의 일부분에 대한 추가 콘텍스트를 신속하고 효율적으로 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠 항목의 각각의 부분과 연관된 정의, 이미지 또는 웹사이트 미리보기를 보는 데 걸리는 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a) 또는 도 7k에 도시된 제2 증강된 콘텐츠(예컨대, 720b)를 디스플레이하기 전에(1116), 사용자의 머리의 이동을 검출하기 전에, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a) 및 제1 콘텐츠의 제2 부분(예컨대, 718b)을 제1 값을 갖는 시각적 특성으로 디스플레이한다(예컨대, 시각적 특징은 크기, 색상, 굵기(boldness) 또는 강조(또는 그의 결여) 중 하나 이상임)(1118).
일부 실시예들에서, 사용자의 머리의 이동의 적어도 일부분을 검출하는 것에 응답하여(예컨대, 전자 디바이스는, 임계 시간, 거리 또는 일부 다른 기준들을 초과하는 사용자의 머리의 이동을 검출하는 것에 응답하여, 증강된 콘텐츠를 디스플레이함)(1120), 사용자의 시선(예컨대, 716i)이 제1 콘텐츠의 제1 부분(예컨대, 718a)을 향해 지향되고, 사용자의 시선(예컨대, 716i)이 콘텐츠의 제1 부분(예컨대, 718a)을 향해 지향되는 동안 사용자의 머리의 이동의 적어도 일부분이 제1 기준들을 만족시키는 것을 향한 진행일 것을 요구하는 기준을 포함한 하나 이상의 제2 기준들이 만족된다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7i에서와 같이, 제1 콘텐츠의 제2 부분(예컨대, 718b)을 제1 값을 갖는 시각적 특성으로 유지하면서, 제1 콘텐츠의 제1 부분(예컨대, 718a)을 제1 값과는 상이한 제2 값을 갖는 시각적 특성으로 디스플레이하도록 사용자 인터페이스를 업데이트한다(예컨대, 하나 이상의 제2 기준들은 선택적으로 하나 이상의 제1 기준들과 유사하지만, 하나 이상의 제1 기준들을 충족시키지 않고서 하나 이상의 제2 기준들이 충족되는 것이 가능함)(1122).
일부 실시예들에서, 사용자 머리의 이동의 일부분은 임계 시간 또는 거리를 초과하지 않거나, 증강된 콘텐츠의 디스플레이를 위한 다른 기준들을 충족시키지 않는다.
예를 들어, 하나 이상의 제1 기준들은, 사용자가 그들의 머리를 미리결정된 양(예컨대, 2 cm, 3 cm, 4 cm 등)만큼 이동시키고 미리결정된 시간(예컨대, 1초) 동안 계속 이동할 때 만족되고, 하나 이상의 제2 기준들은, 사용자가 그들의 머리를 더 적은 양만큼 그리고/또는 더 짧은 기간 동안 이동시킬 때 만족된다. 콘텐츠의 제1 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하는 것은, 선택적으로, 콘텐츠의 제1 부분을 제1 값을 갖는 시각적 특성으로 제시하는 것에 비해 더 큰 크기로, 강조하여, 추가 윤곽으로, 또는 추가 텍스트 스타일링(예컨대, 볼드체, 밑줄, 이탤릭체)으로 콘텐츠의 제1 부분을 디스플레이하는 것을 포함한다. 한편, 일부 실시예들에서, 콘텐츠 항목의 제2 부분은, 선택적으로, 사용자의 머리 이동을 검출하기 전과 동일한 시각적 외관으로 계속 디스플레이된다. 일부 실시예들에서, 하나 이상의 제1 기준들이 만족되지 않는다는 결정에 따라, 전자 디바이스는 제1 콘텐츠의 제1 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하도록 사용자 인터페이스를 업데이트하는 것을 보류한다.
일부 실시예들에서, 사용자의 시선(예컨대, 716n)이 제1 콘텐츠의 제2 부분(예컨대, 718b)을 향해 지향되고, 사용자의 시선(예컨대, 716n)이 콘텐츠의 제2 부분(예컨대, 718b)을 향해 지향되는 동안 하나 이상의 제2 기준들이 만족된다는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7k에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a)을 제1 값을 갖는 시각적 특성으로 유지하면서, 제1 콘텐츠의 제2 부분(예컨대, 718b)을 제2 값을 갖는 시각적 특성으로 디스플레이하도록 사용자 인터페이스를 업데이트한다(1124).
콘텐츠의 제2 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하는 것은, 선택적으로, 콘텐츠의 제2 부분을 제1 값을 갖는 시각적 특성으로 제시하는 것에 비해 더 큰 크기로, 강조하여, 추가 윤곽으로, 또는 추가 텍스트 스타일링(예컨대, 볼드체, 밑줄, 이탤릭체)으로 콘텐츠의 제2 부분을 디스플레이하는 것을 포함한다. 한편, 일부 실시예들에서, 콘텐츠 항목의 제1 부분은, 선택적으로, 사용자의 머리 이동을 검출하기 전과 동일한 시각적 외관으로 계속 디스플레이된다. 일부 실시예들에서, 하나 이상의 제2 기준들이 만족되지 않는다는 결정에 따라, 전자 디바이스는 제1 콘텐츠의 제2 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하도록 사용자 인터페이스를 업데이트하는 것을 보류한다.
사용자가 하나 이상의 제2 기준들을 충족시키는 머리 이동을 수행하는 동안 보고 있는 콘텐츠 항목의 일부분의 시각적 외관을 업데이트하는 전술된 방식은, 전자 디바이스가 증강된 콘텐츠를 디스플레이하기 전에 증강된 콘텐츠의 디스플레이를 위해 콘텐츠의 어느 부분이 선택되는지에 관한 피드백을 사용자에게 효율적으로 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 콘텐츠의 원하는 부분에 대한 증강된 콘텐츠를 정확하게 요청할 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 하나 이상의 제2 기준들은, 사용자가 도 7i에 도시된 제1 콘텐츠의 제1 부분(예컨대, 718a) 또는 제1 콘텐츠의 제2 부분(예컨대, 718b)을 시간 임계치(예컨대, 0.2초, 0.3초, 0.4초, 0.5초 등)보다 더 오랫동안 볼 것을 요구하는 기준을 포함한다(1126).
일부 실시예들에서, 하나 이상의 제1 기준들은, 또한, 사용자가 콘텐츠의 각각의 부분을 제2 기준들과 연관된 시간 임계치보다 큰 시간 임계치보다 더 오랫동안 볼 때 만족되는 기준을 포함한다. 예를 들어, 제1 하나 이상의 기준들과 연관된 시간 임계치는 선택적으로 0.5초, 0.6초, 0.7초, 0.8초, 0.9초, 또는 1초이다.
사용자가 각각의 부분을 적어도 임계 시간 동안 보았다고 결정하는 것에 응답하여, 사용자가 보고 있는 콘텐츠 항목의 각각의 부분의 외관을 업데이트하는 전술된 방식은, 사용자가 증강된 콘텐츠를 보도록 의도하지 하지 않고서 콘텐츠를 보고 있을 때 전자 디바이스가 일관된 방식으로 콘텐츠를 디스플레이할 수 있게 하는데, 이는 (예컨대, 시각적 클러터를 감소시켜, 그에 의해 사용자가 콘텐츠를 더 신속하게 볼 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 사용자의 머리의 이동의 적어도 일부분을 검출하는 것에 응답하여(1128), 사용자의 머리의 이동의 적어도 일부분이 제1 기준들을 만족시키는 것을 향한 진행이 아니라는 결정에 따라, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a) 및 제1 콘텐츠의 제2 부분(예컨대, 718b)을 제1 값을 갖는 시각적 특성으로 계속 디스플레이한다(1130).
일부 실시예들에서, 사용자가 그들의 머리를 하나 이상의 제1 기준들을 만족시키는 이동 방향과는 상이한 방향으로 이동시키거나, 또는 그들의 머리를 제1 기준들을 만족시키는 방향으로 이동시키는 동안 추가 머리 이동들을 수행하는 경우, 전자 디바이스는 콘텐츠의 각각의 부분의 시각적 특성을 업데이트하는 것을 보류한다. 예를 들어, 제1 기준들과 연관된 머리 이동은 사용자의 신체에 대해 전방으로의 머리 이동이다. 이러한 예에서, 전방으로 이동하지 않고서 후방으로의 또는 좌측이나 우측으로의 머리 이동은 전자 디바이스로 하여금 콘텐츠 항목의 일부분의 시각적 특성을 업데이트하게 하지 않는다. 또한, 이러한 예에서, 위, 아래 또는 옆으로의 머리 회전을 포함하는 전방으로의 머리 이동은, 제1 기준들이 추가 이동을 제외하는 경우, 전자 디바이스로 하여금 콘텐츠 항목의 각각의 부분의 디스플레이를 업데이트하게 하지 않는다. 일부 실시예들에서, 시선 기준들의 시간 임계치가 충족된 경우에도, 머리 이동 기준들이 충족되지 않으면, 제1 콘텐츠의 제1/제2 부분들은 업데이트된 시각적 특성으로 디스플레이되지 않는다.
머리 이동이 제1 기준들을 만족시키는 것을 향한 진행이 아니라는 것을 검출하는 것에 응답하여, 콘텐츠 항목의 각각의 부분의 시각적 특성을 업데이트하는 것을 보류하는 전술된 방식은, 사용자가 그들의 머리를 제1 기준들과 연관된 이동과는 상이한 방식으로 이동시킬 때 전자 디바이스가 콘텐츠를 감소된 시각적 클러터로 디스플레이할 수 있게 하는데, 이는 (예컨대, 사용자가 그들의 머리가 정지되어 있지 않은 경우에도 콘텐츠를 더 신속하게 읽도록 허용함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a) 또는 도 7k에 도시된 제2 증강된 콘텐츠(예컨대, 720b)를 디스플레이하기 전에, 그리고 하나 이상의 제2 기준들이 만족되는 동안(예컨대, 사용자가 제1 콘텐츠의 제1 또는 제2 부분을 보고 있고, 하나 이상의 제2 기준들을 만족시키지만 하나 이상의 제1 기준들을 만족시키지 않는 머리 이동을 수행함)(1132), 예를 들어 도 7i에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a)을 제2 값을 갖는 시각적 특성으로 디스플레이하고, 제1 콘텐츠의 제2 부분(예컨대, 718b)을 제1 값을 갖는 시각적 특성으로 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7k에서와 같이, 사용자의 시선(예컨대, 716n)이 제1 콘텐츠의 제1 부분(예컨대, 718a)을 향해 지향되는 것으로부터 제1 콘텐츠의 제2 부분(예컨대, 718b)을 향해 지향되는 것으로 변화한다는 것을 검출한다(예컨대, 제1 콘텐츠의 제1 부분은, 사용자가 제1 콘텐츠의 제1 부분을 보고 있다는 것을 검출하는 것에 응답하여, 제2 값을 갖는 시각적 특성으로 디스플레이됨)(1134).
일부 실시예들에서, 사용자의 시선(예컨대, 716n)이 제1 콘텐츠의 제1 부분(예컨대, 718a)을 향해 지향되는 것으로부터 제1 콘텐츠의 제2 부분(예컨대, 718b)을 향해 지향되는 것으로 변화한다는 것을 검출하는 것에 응답하여(1136), 전자 디바이스(예컨대, 101)는, 예를 들어 도 7k에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a)을 제1 값을 갖는 시각적 특성으로 디스플레이하도록, 그리고 제1 콘텐츠의 제2 부분(예컨대, 718b)을 제2 값을 갖는 시각적 특성으로 디스플레이하도록 사용자 인터페이스를 업데이트한다(1138).
마찬가지로, 제2 기준들이 만족되는 동안 사용자가 콘텐츠의 제2 부분을 보고 있는 경우, 전자 디바이스는, 선택적으로, 콘텐츠의 제2 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하고, 콘텐츠의 제1 부분을 제1 값을 갖는 시각적 특성으로 디스플레이한다.
일부 실시예들에서, 사용자가 하나 이상의 제2 기준들이 만족되는 동안 콘텐츠의 제2 부분을 보고 있다가 콘텐츠의 제1 부분을 보는 경우, 전자 디바이스는, 사용자의 시선이 콘텐츠의 제2 부분으로부터 제1 부분으로 이동하는 것에 응답하여, 콘텐츠의 제1 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하고, 콘텐츠의 제2 부분을 제1 값을 갖는 시각적 특성으로 디스플레이한다. 일부 실시예들에서, 전자 디바이스가 사용자의 시선이 콘텐츠의 제1 부분을 향해 지향되는 것으로부터 제1 콘텐츠의 제2 부분을 향해 지향되는 것으로 변화하는 것을 검출하지 않는 경우, 전자 디바이스는, 선택적으로, 제1 콘텐츠의 제1 부분을 제1 값을 갖는 시각적 특성으로 디스플레이하도록, 그리고 제1 콘텐츠의 제2 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하도록 사용자 인터페이스를 업데이트하는 것을 보류한다.
콘텐츠의 제1 부분으로부터 제2 부분으로의 사용자의 시선의 이동을 검출하는 것에 응답하여 콘텐츠의 제1 부분 및 제2 부분의 시각적 특성들을 업데이트하는 전술된 방식은, 전자 디바이스가, 디스플레이될 증강된 콘텐츠가 콘텐츠의 어느 부분에 대응할지에 관한 피드백 및 증강된 콘텐츠가 콘텐츠의 어느 부분에 대응할지를 변경하는 능력을 사용자에게 신속하고 효율적으로 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 증강된 콘텐츠가 디스플레이될 콘텐츠의 일부분을 정확하게 선택하는 데 걸리는 시간 및 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7k에 도시된 제2 증강된 콘텐츠(예컨대, 720b)(예컨대, 제1 콘텐츠의 제2 부분과 연관된 증강된 콘텐츠)를 디스플레이하는 동안, 그리고 예를 들어 도 7k에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a)을 제1 값을 갖는 시각적 특성으로 그리고 제1 콘텐츠의 제2 부분(예컨대, 718b)을 제2 값을 갖는 시각적 특성으로 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 사용자의 시선이 제1 콘텐츠의 제2 부분(예컨대, 718b)을 향해 지향되는 것으로부터 제1 콘텐츠의 제1 부분(예컨대, 718a)을 향해 지향되는 것으로 변화한다는 것을 검출한다(1140).
일부 실시예들에서, 사용자의 시선이 제1 콘텐츠의 제2 부분(예컨대, 718b)을 향해 지향되는 것으로부터 제1 콘텐츠의 제1 부분(예컨대, 718a)을 향해 지향되는 것으로 이동한다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7k에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a)을 제1 값을 갖는 시각적 특성으로 그리고 제1 콘텐츠의 제2 부분(예컨대, 718b)을 제2 값을 갖는 시각적 특성으로 계속 디스플레이한다(1142).
일부 실시예들에서, 일단 증강된 콘텐츠가 디스플레이되면, 제1 콘텐츠의 한 부분으로부터 다른 부분으로의 사용자의 시선의 이동은 증강된 콘텐츠가 연관되는 제1 콘텐츠의 일부분을 변경하지 않는다. 제2 증강된 콘텐츠는, 선택적으로, 제1 콘텐츠의 제2 부분으로부터 제1 콘텐츠의 제1 부분으로의 사용자의 시선의 이동을 검출하는 것에 응답하여 계속 디스플레이된다. 일부 실시예들에서, 제2 증강된 콘텐츠를 디스플레이하기 전에, 그리고 콘텐츠의 제1 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하고 콘텐츠의 제2 부분을 제1 값을 갖는 시각적 특성으로 디스플레이하는 동안, 기준들을 만족시키는 사용자의 머리의 이동을 검출하는 것에 응답하여, 전자 디바이스는 제1 부분에 대응하는 증강된 콘텐츠를 디스플레이한다. 선택적으로, 콘텐츠 항목의 제1 부분에 대응하는 제1 증강된 콘텐츠를 디스플레이하는 동안, 사용자가 콘텐츠 항목의 제2 부분을 보고 있다는 것을 검출하는 것에 응답하여, 전자 디바이스는 제1 증강된 콘텐츠를 계속 디스플레이하고, 콘텐츠 항목의 제1 부분을 제2 값을 갖는 시각적 특성으로 그리고 제2 콘텐츠 항목의 제2 부분을 제1 값을 갖는 시각적 특성으로 디스플레이한다.
제2 증강된 콘텐츠를 디스플레이하는 동안, 사용자의 시선이 제1 콘텐츠의 제2 부분으로부터 제1 콘텐츠의 제1 부분으로 이동하는 것을 검출한 후, 제1 콘텐츠의 제2 부분을 제2 값을 갖는 시각적 특성으로 계속 디스플레이하는 전술된 방식은, 전자 디바이스가 (예컨대, 변화하는 콘텐츠 항목의 제1 부분 및 제2 부분의 시각적 특성들과 같은) 불필요한 사용자 인터페이스 변경들을 회피할 수 있게 하는데, 이는 (예컨대, 사용자가 증강된 콘텐츠를 더 신속하게 검토할 수 있게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a) 또는 도 7k에 도시된 제2 증강된 콘텐츠(예컨대, 720b)를 디스플레이하기 전에, 그리고 예를 들어 도 7i에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a)을 제2 값을 갖는 시각적 특성으로 디스플레이하는 동안(1144), 전자 디바이스(예컨대, 101)는 사용자의 머리의 제2 이동을 검출하고, 사용자의 머리의 제2 이동은, 사용자의 머리의 제2 이동이 제1 기준들을 만족시키는 것으로부터 멀어지는 진행일 것을 요구하는 기준을 포함한 하나 이상의 제3 기준들을 만족시킨다(예컨대, 사용자의 신체에 대해 전방으로의 사용자의 머리의 이동은 제1 기준 및 제2 기준을 만족시키고, 뒤로의(예컨대, 중립 위치로의) 사용자의 머리의 이동은 제3 기준들을 만족시킴)(1146).
일부 실시예들에서, 하나 이상의 제3 기준들을 만족시키는 사용자의 머리의 제2 이동을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 예를 들어 도 7c에서와 같이, 제1 콘텐츠의 제1 부분(예컨대, 718a)을 제1 값을 갖는 시각적 특성으로 디스플레이하도록 사용자 인터페이스를 업데이트한다(1148).
예를 들어, 전자 디바이스는 사용자의 머리의 전방 이동을 검출하는 것에 응답하여 제1 콘텐츠의 제1 부분을 제2 값을 갖는 시각적 특성으로 디스플레이하고, 전자 디바이스는 사용자의 머리의 후방 이동을 검출하는 것에 응답하여 제1 콘텐츠의 제1 부분을 제1 값을 갖는 시각적 특성으로 디스플레이한다.
제3 기준들을 만족시키는 머리 이동을 검출하는 것에 응답하여, 제1 시각적 특성으로 디스플레이되는 제1 콘텐츠의 제1 부분을 디스플레이하는 것으로 사용자 인터페이스를 복귀시키는 전술된 방식은, 사용자가 머리 이동을 반전시키는 것에 응답하여 증강된 콘텐츠를 디스플레이하는 것으로부터 후퇴하는 신속하고 효율적인 방식을 제공하는데, 이는 (예컨대, 증강된 콘텐츠의 디스플레이를 취소하는 효율적인 방식을 제공함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 바와 같이 제1 증강된 콘텐츠(예컨대, 720a)를 포함하도록 사용자 인터페이스를 업데이트하는 것은 제1 증강된 콘텐츠(예컨대, 720a)의 디스플레이를 애니메이션화하는 것을 포함하며, 여기에서 애니메이션은 사용자의 머리의 이동에 기초하여 하나 이상의 제1 기준들을 만족시키는 것을 향한 진행의 양 및/또는 방향에 기초하여 결정되는 양만큼 그리고/또는 방향으로 진행된다(예컨대, 일부 실시예들에서, 적어도 임계량만큼의 머리의 이동이 하나 이상의 기준들을 만족시킴)(1150).
일부 실시예들에서, 도 7k에 도시된 제2 증강된 콘텐츠(예컨대, 720b)를 포함하도록 사용자 인터페이스를 업데이트하는 것은 제2 증강된 콘텐츠(예컨대, 720b)의 디스플레이를 애니메이션화하는 것을 포함하며, 여기에서 애니메이션은 사용자의 머리의 이동에 기초하여 하나 이상의 제1 기준들을 만족시키는 것을 향한 진행의 양 및/또는 방향에 기초하여 결정되는 양만큼 그리고/또는 방향으로 진행된다(1152).
사용자가 그들의 머리를 임계량보다 적은 양만큼 이동시키는 것을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 디스플레이되고 있는 증강된 콘텐츠의 애니메이션의 일부분을 개시하고, 선택적으로, 사용자가 그들의 머리를 임계량에 더 가깝게 계속 이동시킴에 따라 애니메이션을 계속 진행한다.
일부 실시예들에서, 전자 디바이스는 사용자가 보고 있는 제1 콘텐츠의 일부분에 관계없이 사용자의 머리 이동의 진행에 비례하는 속도로 증강된 콘텐츠의 디스플레이를 애니메이션화한다.
사용자의 머리 이동의 진행에 비례하는 속도로 증강된 콘텐츠의 디스플레이를 애니메이션화하는 전술된 방식은, 전자 디바이스가, 머리 이동이 증강된 콘텐츠가 완전히 디스플레이되게 할 것이라는 효율적인 피드백을 사용자에게 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 더 신속하게 전자 디바이스로 하여금 증강된 콘텐츠를 디스플레이하게 하거나 증강된 콘텐츠를 제시하는 것으로부터 후퇴하게 하는 것을 가능하게 함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 제1 증강된 콘텐츠(720a)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선(예컨대, 716l)이 제1 증강된 콘텐츠(예컨대, 720a)를 향해 지향된다는 것을 검출한다(1154).
일부 실시예들에서, 예를 들어 도 7j에서와 같이, 사용자의 시선(예컨대, 716l)이 제1 증강된 콘텐츠(예컨대, 720a)를 향해 지향된다는 것을 검출한 후, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선이 더 이상 제1 증강된 콘텐츠를 향해 지향되지 않는다는 것을 검출한다(예컨대, 사용자는 사용자 인터페이스 내의 상이한 위치를 보거나 사용자 인터페이스로부터 시선을 돌림)(1156).
일부 실시예들에서, 사용자의 시선이 더 이상 제1 증강된 콘텐츠(예컨대, 720a)를 향해 지향되지 않는다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 제1 증강된 콘텐츠(예컨대, 720a)를 디스플레이하는 것을 중지한다(1158).
일부 실시예들에서, 전자 디바이스는, 사용자가 증강된 콘텐츠를 보고 나서 시선을 돌릴 때까지, 증강된 콘텐츠를 디스플레이한다. 예를 들어, 사용자가 증강된 콘텐츠를 디스플레이하는 애플리케이션 또는 전자 디바이스와 상호작용하는 것을 중지하기 전에 증강된 콘텐츠를 보지 않는 경우, 사용자가 애플리케이션 및/또는 전자 디바이스와 상호작용하는 것을 재개할 때 증강된 콘텐츠가 여전히 디스플레이된다. 그러나, 사용자가 이미 증강된 콘텐츠를 본 후 다른 콘텐츠와의 상호작용을 개시하는 경우, 전자 디바이스는, 선택적으로, 증강된 콘텐츠를 디스플레이하는 것을 중지한다(예컨대, 일부 실시예들에서, 존재하는 경우, 증강된 기준들을 해제하기 위한 다른 기준들이 만족되는 한). 일부 실시예들에서, 사용자가 증강된 콘텐츠를 보지 않았으며 전자 디바이스와 상호작용하는 것을 중단하고 추후에 복귀하는 경우, 증강된 콘텐츠는 여전히 선택적으로 디스플레이된다.
사용자가 증강된 콘텐츠를 보고 나서 시선을 돌리는 것을 검출하는 것에 응답하여, 증강된 콘텐츠를 디스플레이하는 것을 중지하는 전술된 방식은, 전자 디바이스가 증강된 콘텐츠를 사용자가 그를 보았을 때에만 효율적으로 해제할 수 있게 하는데, 이는 (예컨대, 사용자 인터페이스의 상이한 부분과 상호작용하기 전에 증강된 콘텐츠를 디스플레이하는 것을 중지하는 데 필요한 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a)를 디스플레이하는 동안 그리고 제1 증강된 콘텐츠(예컨대, 720a)를 향해 지향되는 사용자의 시선(예컨대, 716l)을 검출하기 전에, 전자 디바이스는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선이 제1 증강된 콘텐츠(예컨대, 720a) 이외의 사용자 인터페이스 내의 위치를 향해 지향된다는 것을 검출한다(예컨대, 사용자는 증강된 콘텐츠가 아닌 제1 콘텐츠를 계속 보거나, 제1 콘텐츠 또는 증강된 콘텐츠 이외의 콘텐츠를 포함하는 사용자 인터페이스의 일부분을 봄)(1160).
일부 실시예들에서, 사용자의 시선이 제1 증강된 콘텐츠(예컨대, 720a)를 향해 지향되지 않고서 사용자의 시선이 제1 증강된 콘텐츠(예컨대, 720a) 이외의 사용자 인터페이스 내의 위치를 향해 지향된다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는, 도 7j에 도시된 바와 같이, 제1 증강된 콘텐츠(예컨대, 720a)를 계속 디스플레이한다(1162).
일부 실시예들에서, 전자 디바이스는, 사용자가 증강된 콘텐츠를 보고 나서 시선을 돌릴 때까지, 또는 증강된 콘텐츠를 해제하기 위한 다른 기준들이 만족될 때까지, 증강된 콘텐츠를 계속 디스플레이한다. 선택적으로, 증강된 콘텐츠를 해제하기 위한 다른 기준들이 가능하다. 일부 실시예들에서, 단지 증강된 콘텐츠 이외의 사용자 인터페이스의 위치를 보는 것은 그것만으로는 해제 기준들을 만족시키지 않지만, 그러한 실시예들에서, 증강된 콘텐츠를 보는 것은, 선택적으로, 증강된 콘텐츠가 해제되기 위한 적어도 하나의 요건이다.
사용자가 증강된 콘텐츠를 보지 않고서 증강된 콘텐츠로부터 시선을 돌리고 있는 동안 증강된 콘텐츠를 계속 디스플레이하는 전술된 방식은 증강된 콘텐츠를 잘못 해제하는 것을 회피하는데, 이는 (예컨대, 증강된 콘텐츠가 잘못 해제되는 경우 그를 재디스플레이하는 데 필요한 입력들 및 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 사용자의 시선의 모션이 사용자가 제1 콘텐츠를 읽고 있음을 나타낸다는 것을 검출한다(예컨대, 전자 디바이스는, 시선 추적 디바이스로, 읽기와 일관되는 사용자의 눈들의 이동을 검출함)(1164).
일부 실시예들에서, 사용자의 시선의 모션이 사용자가 제1 콘텐츠를 읽고 있음을 나타낸다는 것을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 제1 증강된 콘텐츠(예컨대, 720a)를 디스플레이하는 것을 중지한다(1166).
일부 실시예들에서, 전자 디바이스는 사용자가 증강된 콘텐츠를 보기 전에 제1 콘텐츠의 읽기를 검출하지만; 일부 실시예들에서, 읽기는 사용자가 증강된 콘텐츠를 본 후에 검출된다.
일부 실시예들에서, 전자 디바이스는, 사용자가 제1 콘텐츠를 읽는 것을 검출하는 것에 응답하여, 그리고 일부 실시예들에서, 사용자가 증강된 콘텐츠를 보지 않은 경우에도, 증강된 콘텐츠를 디스플레이하는 것을 중지하는 한편, 다른 실시예들에서, 전자 디바이스는 증강된 콘텐츠가 해제될 수 있기 전에 사용자가 증강된 콘텐츠를 보았을 것을 여전히 요구한다. 일부 실시예들에서, 사용자가 제1 콘텐츠를 읽지 않고서 단지 제1 콘텐츠를 보고 있는 경우, 증강된 콘텐츠는 전자 디바이스에 의해 계속 디스플레이된다. 따라서, 일부 실시예들에서, 증강된 콘텐츠가 해제되기 위해서는 제1 콘텐츠의 읽기가 요구된다.
사용자가 제1 콘텐츠를 읽는 것을 검출하는 것에 응답하여, 증강된 콘텐츠를 디스플레이하는 것을 중지하는 전술된 방식은, 전자 디바이스가 사용자가 제1 콘텐츠를 읽고 있는 동안 시각적 클러터를 감소시키기 위해 증강된 콘텐츠를 효율적으로 해제할 수 있게 하는데, 이는 (예컨대, 대신에 제1 콘텐츠에 초점을 맞추기 위해 증강된 콘텐츠를 디스플레이하는 것을 중지하는 데 필요한 입력들을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는 제1 증강된 콘텐츠(예컨대, 720a) 이외의 사용자 인터페이스의 영역에 대한 입력을 검출한다(예컨대, 사용자는 제1 증강된 콘텐츠 이외의 영역 내에 디스플레이된 콘텐츠를 읽거나, 방법(1000)에서 설명된 바와 같은 후방 내비게이션 입력과 같은 상이한 입력을 수행함)(1168).
일부 실시예들에서, 입력을 검출하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 제1 증강된 콘텐츠(예컨대, 720a)의 디스플레이를 중지하는 것의 애니메이션을 개시한다(예컨대, 증강된 콘텐츠는 디스플레이 영역으로부터 사라지고/사라지거나 축소되고/되거나 이동하기 시작함)(1170).
일부 실시예들에서, 제1 증강된 콘텐츠(예컨대, 720a)의 디스플레이를 중지하는 것을 애니메이션화하는 동안 그러나 제1 증강된 콘텐츠(예컨대, 720a)의 디스플레이를 중지하기 전에(1172), 사용자의 시선(예컨대, 716l)이 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a)를 향해 지향된다는 결정에 따라, 전자 디바이스(예컨대, 101)는 애니메이션을 중지하고, 제1 증강된 콘텐츠(예컨대, 720a)의 디스플레이를 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a)의 초기 상태로 복귀시킨다(예컨대, 사용자가 증강된 콘텐츠를 보는 것을 검출하는 것에 응답하여, 전자 디바이스는, 선택적으로, 증강된 콘텐츠의 디스플레이를 복귀시킴)(1174).
일부 실시예들에서, 사용자의 시선이 제1 증강된 콘텐츠(예컨대, 720a)를 향해 지향되지 않는다는 결정에 따라, 전자 디바이스(예컨대, 101)는 (예컨대, 제1 증강된 콘텐츠가 디스플레이되는 것이 중지될 때까지) 제1 증강된 콘텐츠(예컨대, 720a)의 디스플레이를 중지하는 것의 애니메이션을 계속한다(1176).
사용자가 증강된 콘텐츠를 보는 것을 검출하는 것에 응답하여, 증강된 콘텐츠를 디스플레이하는 것을 중지하는 것의 애니메이션을 중지하는 전술된 방식은, 전자 디바이스가, 신속하고 효율적으로, 사용자가 증강된 콘텐츠를 보기를 원하는 경우 그를 계속 디스플레이하고 사용자가 증강된 콘텐츠를 보기를 원하지 않는 경우 그를 해제할 수 있게 하는데, 이는 (예컨대, 증강된 콘텐츠를 해제하고 증강된 콘텐츠의 우발적인 해제를 방지하는 효율적인 방식을 제공함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 도 7j에 도시된 제1 증강된 콘텐츠(예컨대, 720a)를 디스플레이하는 동안, 전자 디바이스(예컨대, 101)는, 시선 추적 디바이스(예컨대, 314)를 통해, 하나 이상의 제2 기준들을 만족시키는 사용자의 눈들의 깜박임을 결정한다(예컨대, 깜박임의 지속시간은 무의식적 깜박임과 일관되는 임계 시간을 초과함)(1178). 예를 들어, 사용자의 눈들은, 적어도 0.5초, 0.6초, 0.7초, 0.8초, 0.9초, 또는 1초 동안 감긴 상태로 유지된다.
일부 실시예들에서, 사용자의 눈들의 깜박임이 하나 이상의 제2 기준들을 만족시킨다고 결정하는 것에 응답하여, 전자 디바이스(예컨대, 101)는 제1 증강된 콘텐츠(예컨대, 720a)를 디스플레이하는 것을 중지한다(1180). 일부 실시예들에서, 깜박임이 하나 이상의 기준들을 만족시키지 않는 경우(예컨대, 사용자의 눈들이 미리결정된 임계치 미만인 기간 동안 감김), 증강된 콘텐츠는 계속 디스플레이된다.
하나 이상의 기준들을 만족시키는 깜박임에 응답하여, 증강된 콘텐츠를 디스플레이하는 것을 중지하는 전술된 방식은, 전자 디바이스가, 사용자가 전자 디바이스로 하여금 증강된 콘텐츠를 디스플레이하는 것을 중단하게 하는 효율적인 방식을 제공할 수 있게 하는데, 이는 (예컨대, 사용자가 증강된 콘텐츠를 해제하는 데 걸리는 시간을 감소시킴으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는, 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선한다.
일부 실시예들에서, 방법들(800, 900, 1000, 1100)의 태양들/동작들은 이들 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.

Claims (102)

  1. 방법으로서,
    디스플레이 생성 컴포넌트 및 시선 추적 디바이스와 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 제1 부분을 포함하는 제1 콘텐츠 영역을 포함하는 사용자 인터페이스를 디스플레이하는 단계;
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 단계; 및
    상기 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 결정에 따라,
    상기 콘텐츠 항목의 제1 부분 및 상기 제1 콘텐츠 영역 내에 디스플레이되지 않았던 상기 콘텐츠 항목의 제2 부분을 포함하는 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이, 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타내는 방식으로 이동하지 않고서, 상기 콘텐츠 항목의 제1 부분을 향해 지향된다는 결정에 따라,
    상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 사용자 인터페이스는 제3 콘텐츠 영역을 추가로 포함하고, 상기 제3 콘텐츠 영역은 제2 콘텐츠 항목의 제1 부분을 포함하며, 상기 방법은,
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 상기 제2 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 단계; 및
    상기 사용자의 시선이 상기 제2 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 제2 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 결정에 따라,
    상기 제2 콘텐츠 영역을 디스플레이하지 않고서, 상기 제2 콘텐츠 항목의 제1 부분 및 상기 제3 콘텐츠 영역 내에 디스플레이되지 않았던 상기 제2 콘텐츠 항목의 제2 부분을 포함하는 제4 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 단계를 추가로 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 전자 디바이스의 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하기 전에, 상기 디스플레이 생성 컴포넌트를 통해, 제1 값을 갖는 시각적 특성으로 하나 이상의 다른 콘텐츠 항목들을 디스플레이하는 단계; 및
    상기 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 상기 결정에 따라,
    상기 제1 값과는 상이한 제2 값을 갖는 상기 시각적 특성으로 상기 하나 이상의 다른 콘텐츠 항목들을 디스플레이하도록 상기 사용자 인터페이스를 업데이트하는 단계를 추가로 포함하는, 방법.
  4. 제3항에 있어서, 상기 시각적 특성은 반투명도의 정도이고, 상기 제1 값은 상기 제2 값보다 더 작은 반투명도에 대응하는, 방법.
  5. 제3항 또는 제4항에 있어서, 상기 시각적 특성은 크기이고, 상기 제1 값은 상기 제2 값보다 더 큰 크기에 대응하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스는 제3 콘텐츠 영역을 추가로 포함하고, 상기 제3 콘텐츠 영역은 제2 콘텐츠 항목의 제1 부분을 포함하며,
    상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것은 상기 제3 콘텐츠 영역 상에 오버레이되는 상기 제2 콘텐츠 영역을 디스플레이하는 것을 포함하는, 방법.
  7. 제6항에 있어서, 상기 사용자의 시선의 모션이 상기 전자 디바이스의 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다고 결정하기 전에, 상기 제1 콘텐츠 영역 및 상기 제3 콘텐츠 영역은 상기 사용자 인터페이스 내에 제1 z 높이로 디스플레이되고, 상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것은 상기 제2 콘텐츠 영역을 상기 사용자 인터페이스 내에 상기 제1 z 높이로 디스플레이하는 것, 및 상기 사용자 인터페이스에서 상기 제3 콘텐츠 영역의 z 높이를 제2 z 높이로 변경하는 것을 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것은 상기 제1 콘텐츠 영역의 크기를 상기 제2 콘텐츠 영역이 되도록 확장시키는 것을 포함하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것은, 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 계속 읽는 동안 상기 제1 콘텐츠 영역이 상기 제2 콘텐츠 영역으로 변화하는 것을 점진적으로 애니메이션화하는 것을 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 동안 또는 그 후에, 상기 시선 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 더 이상 상기 콘텐츠 항목을 향해 지향되지 않는다고 결정하는 단계; 및
    상기 전자 디바이스의 사용자의 시선이 더 이상 상기 콘텐츠 항목을 향해 지향되지 않는다고 결정하는 것에 응답하여, 상기 제2 콘텐츠 영역을 디스플레이하지 않고서, 상기 제1 콘텐츠 영역을 포함하는 상기 사용자 인터페이스를 디스플레이하는 단계를 추가로 포함하는, 방법.
  11. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 동안 또는 그 후에, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 더 이상 상기 전자 디바이스의 사용자가 상기 콘텐츠 항목을 읽고 있음을 나타내지 않는다고 결정하는 단계; 및
    상기 사용자의 시선의 모션이 더 이상 상기 전자 디바이스의 사용자가 상기 콘텐츠 항목을 읽고 있음을 나타내지 않는다고 결정하는 것에 응답하여, 상기 제2 콘텐츠 영역을 디스플레이하지 않고서, 상기 제1 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 복귀시키는 단계를 추가로 포함하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 사용자의 시선의 모션이 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 상기 결정은, 상기 시선 추적 디바이스로, 텍스트를 읽는 것에 대응하는 상기 사용자의 눈 이동을 검출하는 것에 기초하는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 전자 디바이스에서, 통지 이벤트의 표시를 검출하는 단계; 및
    상기 통지 이벤트의 표시를 검출하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 사용자 인터페이스 내의 콘텐츠 항목을 읽고 있지 않음을 나타낸다는 결정에 따라, 상기 전자 디바이스에서, 상기 통지 이벤트의 표시를 생성하고;
    상기 사용자의 시선의 모션이 상기 사용자가 상기 사용자 인터페이스 내의 콘텐츠 항목을 읽고 있음을 나타낸다는 결정에 따라, 상기 통지 이벤트의 표시를 생성하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 상기 결정에 따라,
    상기 사용자가 상기 콘텐츠 항목을 계속 읽음에 따라 상기 제2 콘텐츠 영역의 미리결정된 부분을 상기 사용자 인터페이스 내의 제1 위치로부터 상기 사용자 인터페이스 내의 제2 위치로 이동시키는 단계를 추가로 포함하는, 방법.
  15. 제14항에 있어서, 상기 제2 콘텐츠 영역을 상기 사용자 인터페이스 내의 상기 제1 위치로부터 상기 사용자 인터페이스 내의 상기 제2 위치로 이동시키는 단계는,
    상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽었다는 것을 검출하는 것에 응답하여 상기 제2 콘텐츠 영역을 상기 제1 위치로부터 상기 제2 위치로의 상기 이동의 제1 부분만큼 이동시키는 단계, 및
    상기 제2 콘텐츠 영역을 상기 제1 위치로부터 상기 제2 위치로의 상기 이동의 제1 부분만큼 이동시킨 후, 상기 사용자가 상기 콘텐츠 항목의 제2 부분을 읽었다는 것을 검출하는 것에 응답하여 상기 제2 콘텐츠 영역을 상기 제1 위치로부터 상기 제2 위치로의 상기 이동의 제2 부분만큼 이동시키는 단계를 포함하는, 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향되는 동안 그리고 상기 제2 콘텐츠 영역이 디스플레이되기 전에, 상기 콘텐츠 항목의 제1 부분은 상기 사용자 인터페이스 내의 제1 위치에 디스플레이되고, 상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것은 상기 사용자 인터페이스 내의 상기 제1 위치에서 상기 제2 콘텐츠 영역 내에 상기 콘텐츠 항목의 제1 부분의 디스플레이를 유지하는 것을 포함하는, 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 제1 콘텐츠 영역 내의 상기 콘텐츠 항목의 제1 부분은 제1 크기를 갖는 상기 사용자 인터페이스의 영역을 점유하고, 상기 제2 콘텐츠 영역 내의 상기 콘텐츠 항목의 제1 부분은 상기 제1 크기를 갖는 상기 사용자 인터페이스의 영역을 점유하는, 방법.
  18. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 제1 부분을 포함하는 제1 콘텐츠 영역을 포함하는 사용자 인터페이스를 디스플레이하기 위한;
    상기 사용자 인터페이스를 디스플레이하는 동안, 시선 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하기 위한; 그리고
    상기 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 결정에 따라,
    상기 콘텐츠 항목의 제1 부분 및 상기 제1 콘텐츠 영역 내에 디스플레이되지 않았던 상기 콘텐츠 항목의 제2 부분을 포함하는 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이, 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타내는 방식으로 이동하지 않고서, 상기 콘텐츠 항목의 제1 부분을 향해 지향된다는 결정에 따라,
    상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하기 위한 명령어들을 포함하는, 전자 디바이스.
  19. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금,
    디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 제1 부분을 포함하는 제1 콘텐츠 영역을 포함하는 사용자 인터페이스를 디스플레이하게 하는;
    상기 사용자 인터페이스를 디스플레이하는 동안, 시선 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하게 하는; 그리고
    상기 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 결정에 따라,
    상기 콘텐츠 항목의 제1 부분 및 상기 제1 콘텐츠 영역 내에 디스플레이되지 않았던 상기 콘텐츠 항목의 제2 부분을 포함하는 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하게 하고;
    상기 사용자의 시선이, 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타내는 방식으로 이동하지 않고서, 상기 콘텐츠 항목의 제1 부분을 향해 지향된다는 결정에 따라,
    상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 제1 부분을 포함하는 제1 콘텐츠 영역을 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스를 디스플레이하는 동안, 시선 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하기 위한 수단; 및
    상기 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 결정에 따라,
    상기 콘텐츠 항목의 제1 부분 및 상기 제1 콘텐츠 영역 내에 디스플레이되지 않았던 상기 콘텐츠 항목의 제2 부분을 포함하는 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이, 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타내는 방식으로 이동하지 않고서, 상기 콘텐츠 항목의 제1 부분을 향해 지향된다는 결정에 따라,
    상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하기 위한 수단을 포함하는, 전자 디바이스.
  21. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 제1 부분을 포함하는 제1 콘텐츠 영역을 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스를 디스플레이하는 동안, 시선 추적 디바이스를 통해, 상기 전자 디바이스의 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하기 위한 수단; 및
    상기 사용자의 시선이 상기 콘텐츠 항목의 제1 부분을 향해 지향된다고 결정하는 것에 응답하여,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타낸다는 결정에 따라,
    상기 콘텐츠 항목의 제1 부분 및 상기 제1 콘텐츠 영역 내에 디스플레이되지 않았던 상기 콘텐츠 항목의 제2 부분을 포함하는 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이, 상기 사용자가 상기 콘텐츠 항목의 제1 부분을 읽고 있음을 나타내는 방식으로 이동하지 않고서, 상기 콘텐츠 항목의 제1 부분을 향해 지향된다는 결정에 따라,
    상기 제2 콘텐츠 영역을 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  22. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며,
    상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고,
    상기 하나 이상의 프로그램들은 제1항 내지 제17항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  23. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제1항 내지 제17항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  24. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제1항 내지 제17항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  25. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    제1항 내지 제17항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  26. 방법으로서,
    디스플레이 생성 컴포넌트 및 시선 추적 디바이스와 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 텍스트의 제1 부분 및 상기 콘텐츠 항목의 텍스트의 제2 부분을 포함하는 사용자 인터페이스를 디스플레이하는 단계 - 상기 텍스트의 제1 부분은 상기 사용자 인터페이스 내의 제1 위치에 디스플레이되고, 상기 텍스트의 제2 부분은 상기 사용자 인터페이스 내의 제2 위치에 디스플레이됨 -;
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타낸다고 결정하는 단계; 및
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타내는 동안,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였음을 나타낸다는 결정에 따라,
    상기 텍스트의 제2 부분이 제1 방향으로 이동하도록 상기 텍스트를 스크롤하고;
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하지 않았음을 나타낸다는 결정에 따라,
    상기 텍스트의 제1 부분을 상기 제1 위치에 유지하는 단계를 포함하는, 방법.
  27. 제26항에 있어서,
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 상기 텍스트의 제1 부분 또는 상기 텍스트의 제2 부분을 향해 지향되지만, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분 또는 상기 텍스트의 제2 부분을 읽고 있지 않음을 나타낸다고 결정하는 단계; 및
    상기 사용자의 시선이 상기 텍스트의 제1 부분 또는 상기 텍스트의 제2 부분을 향해 지향되지만, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분 또는 상기 텍스트의 제2 부분을 읽고 있지 않음을 나타낸다고 결정하는 것에 응답하여, 상기 텍스트를 스크롤하는 것을 보류하는 단계를 추가로 포함하는, 방법.
  28. 제26항 또는 제27항에 있어서,
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 더 이상 상기 텍스트의 제1 부분을 향해 지향되지 않는다고 결정하는 단계; 및
    상기 사용자의 시선이 더 이상 상기 텍스트의 제1 부분을 향해 지향되지 않는다고 결정하는 것에 응답하여,
    상기 텍스트의 제1 부분에 걸친 상기 사용자의 시선의 검출된 이동에 기초하여, 상기 사용자가 상기 텍스트의 제1 부분을 읽지 않고서 상기 텍스트의 제1 부분을 스캐닝하였다는 결정에 따라, 상기 텍스트를 스크롤하는 것을 보류하고;
    상기 텍스트의 제1 부분에 걸친 상기 사용자의 시선의 검출된 이동에 기초하여, 상기 사용자가 상기 텍스트의 제1 부분을 읽었다는 결정에 따라, 상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤하는 단계를 추가로 포함하는, 방법.
  29. 제26항 또는 제27항에 있어서,
    상기 텍스트의 제1 부분에 걸친 상기 사용자의 시선의 검출된 이동에 기초하여 상기 시선 추적 디바이스를 통해, 상기 사용자가 상기 텍스트의 제1 부분을 스캐닝하고 있다고 결정하는 단계; 및
    상기 사용자가 상기 텍스트의 제1 부분을 스캐닝하는 것을 완료하였다는 결정에 따라, 상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤하는 단계를 추가로 포함하는, 방법.
  30. 제26항 내지 제29항 중 어느 한 항에 있어서,
    상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤하는 단계는, 상기 사용자가 상기 텍스트의 제1 부분의 종단부에 도달하였고 그들의 눈들을 상기 텍스트의 제2 부분의 시작부를 향한 방향으로 이동시키고 있다는 것을 검출하는 것에 응답하는, 방법.
  31. 제30항에 있어서, 상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤하는 단계는, 상기 사용자가 그들의 눈들을 상기 텍스트의 제2 부분의 시작부를 향한 방향으로 이동시키고 있는 동안 발생하는, 방법.
  32. 제31항에 있어서, 상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤하는 단계는, 상기 사용자가 그들의 눈들을 상기 텍스트의 제2 부분의 시작부를 향한 방향으로 이동시키는 동안 보는 상기 사용자 인터페이스 내의 위치에 상기 텍스트의 제2 부분이 디스플레이되게 하는, 방법.
  33. 제26항 내지 제32항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스는 상기 사용자 인터페이스 내의 상기 제1 위치에 있는 상기 텍스트의 제1 부분, 상기 사용자 인터페이스 내의 상기 제2 위치에 있는 상기 텍스트의 제2 부분, 및 상기 사용자 인터페이스 내의 제3 위치에 있는 상기 콘텐츠 항목의 텍스트의 제3 부분을 포함하고, 상기 방법은,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타내는 동안,
    상기 사용자의 시선의 모션이, 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였고 상기 텍스트의 제2 부분을 읽기 시작하고 있음을 나타낸다는 결정에 따라, 상기 텍스트의 제2 부분이 제1 양만큼 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤하는 단계; 및
    상기 사용자의 시선의 모션이, 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였고 상기 텍스트의 제3 부분을 읽기 시작하고 있음을 나타낸다는 결정에 따라, 상기 텍스트의 제3 부분이 상기 제1 양보다 많은 제2 양만큼 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤하는 단계를 추가로 포함하는, 방법.
  34. 제26항 내지 제33항 중 어느 한 항에 있어서, 상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤하는 단계는, 이미지가 상기 사용자 인터페이스의 제3 영역 내에 디스플레이되게 하고, 상기 방법은,
    상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤한 후,
    상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 상기 이미지를 향해 지향된다고 결정하는 단계; 및
    상기 사용자의 시선이 상기 이미지를 향해 지향된다고 결정하는 것에 응답하여, 상기 텍스트 및 상기 이미지를 상기 제1 방향으로 스크롤하여 상기 이미지를 상기 사용자 인터페이스 내의 상기 제1 위치에 디스플레이하는 단계를 추가로 포함하는, 방법.
  35. 제34항에 있어서,
    상기 이미지를 상기 사용자 인터페이스 내의 상기 제1 위치에 디스플레이하는 동안, 상기 이미지 아래에 상기 콘텐츠 항목의 텍스트의 제3 부분을 디스플레이하는 단계;
    상기 이미지를 상기 사용자 인터페이스 내의 상기 제1 위치에 디스플레이하고 상기 이미지 아래에 상기 텍스트의 제3 부분을 디스플레이하는 동안, 하나 이상의 기준들이 만족되었다고 결정하는 단계; 및
    상기 하나 이상의 기준들이 만족되었다고 결정하는 것에 응답하여, 상기 텍스트의 제3 부분을 이동시켜 상기 이미지 상에 오버레이되도록 상기 사용자 인터페이스를 업데이트하는 단계를 추가로 포함하는, 방법.
  36. 제35항에 있어서,
    상기 이미지 상에 오버레이된 상기 텍스트의 제3 부분을 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제3 부분을 읽고 있음을 나타낸다는 것을 검출하는 단계; 및
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제3 부분을 읽고 있음을 나타낸다고 결정하는 것에 응답하여, 상기 텍스트의 제3 부분이 더 이상 상기 이미지 상에 오버레이되지 않도록 상기 이미지를 상기 제1 방향으로 스크롤하는 단계를 추가로 포함하는, 방법.
  37. 제26항 내지 제36항 중 어느 한 항에 있어서,
    상기 콘텐츠 항목을 포함하는 상기 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 머리의 수평 이동을 검출하는 단계; 및
    상기 사용자의 머리의 수평 이동을 검출하는 것에 응답하여, 상기 콘텐츠 항목을 상기 사용자의 시야의 중심에 있는 위치에 디스플레이하도록 상기 사용자 인터페이스를 업데이트하는 단계를 추가로 포함하는, 방법.
  38. 제26항 내지 제37항 중 어느 한 항에 있어서, 상기 제1 방향은 상기 사용자 인터페이스에서 수직인 방향인, 방법.
  39. 제26항 내지 제37항 중 어느 한 항에 있어서, 상기 제1 방향은 상기 사용자 인터페이스에서 수평인 방향인, 방법.
  40. 제26항 내지 제39항 중 어느 한 항에 있어서, 상기 제1 방향은 상기 사용자 인터페이스에서 수직 성분 및 수평 성분을 갖는, 방법.
  41. 제26항 내지 제40항 중 어느 한 항에 있어서,
    상기 텍스트의 제1 부분에 걸친 상기 사용자의 시선의 검출된 이동에 기초하여, 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였다는 것을 검출하는 단계; 및
    상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였다는 것을 검출하는 것에 응답하여, 상기 사용자 인터페이스 내에, 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였다고 결정하기 전에 디스플레이되지 않았던 상기 콘텐츠 항목의 텍스트의 제3 부분을 디스플레이하는 단계를 추가로 포함하는, 방법.
  42. 제26항 내지 제41항 중 어느 한 항에 있어서,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타낸다고 결정하는 것에 응답하여, 상기 텍스트의 제1 부분과 연관된 제1 오디오를 생성하는 단계;
    상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤한 후, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제2 부분을 읽고 있음을 나타낸다고 결정하는 단계; 및
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제2 부분을 읽고 있음을 나타낸다고 결정하는 것에 응답하여, 상기 텍스트의 제2 부분과 연관된 제2 오디오를 생성하는 단계를 추가로 포함하는, 방법.
  43. 제42항에 있어서, 상기 텍스트의 제1 부분과 연관된 상기 제1 오디오를 통한 진행은 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있는 속도에 대응하고, 상기 텍스트의 제2 부분과 연관된 상기 제2 오디오를 통한 진행은 상기 사용자가 상기 텍스트의 제2 부분을 읽고 있는 속도에 대응하는, 방법.
  44. 제26항 내지 제43항 중 어느 한 항에 있어서,
    상기 사용자의 시선의 모션이 상기 사용자가 각각의 콘텐츠 항목들을 읽고 있음을 나타내는 동안, 그들 각각의 콘텐츠 항목들을, 상기 사용자가 그들 각각의 콘텐츠 항목들을 읽고 있었던 각각의 시간들과 연관시키는 단계; 및
    상기 사용자의 시선의 모션이 상기 사용자가 상기 각각의 콘텐츠 항목들을 읽는 것을 완료하였음을 나타낸 후,
    하나 이상의 입력 디바이스들을 통해, 상기 사용자가 제1 각각의 시간에 읽고 있었던 콘텐츠 항목에 관한 정보를 제시하라는 요청을 수신하고;
    상기 사용자가 상기 제1 각각의 시간에 읽고 있었던 상기 콘텐츠 항목에 관한 상기 정보를 디스플레이하라는 상기 요청을 수신하는 것에 응답하여,
    상기 제1 각각의 시간이 제1 시간이라는 결정에 따라, 제1 각각의 콘텐츠 항목에 관한 정보를 제시하고;
    상기 제1 각각의 시간이 제2 시간이라는 결정에 따라, 제2 각각의 콘텐츠 항목에 관한 정보를 제시하는 단계를 추가로 포함하는, 방법.
  45. 제26항 내지 제44항 중 어느 한 항에 있어서,
    상기 콘텐츠 항목을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 상기 콘텐츠 항목을 디스플레이하는 것을 중지하라는 요청을 수신하고, 상기 콘텐츠 항목을 디스플레이하는 것을 중지하라는 상기 요청을 수신하는 것에 응답하여, 상기 콘텐츠 항목의 디스플레이를 중지하는 단계;
    상기 콘텐츠 항목의 디스플레이를 중지한 후, 상기 하나 이상의 입력 디바이스들을 통해, 상기 콘텐츠 항목을 디스플레이하라는 요청을 수신하는 단계; 및
    상기 콘텐츠 항목을 디스플레이하라는 상기 요청을 수신하는 것에 응답하여,
    상기 각각의 콘텐츠 항목을 디스플레이하고;
    상기 콘텐츠 항목의 디스플레이가 중지되기 전에 상기 사용자가 상기 콘텐츠 항목의 텍스트의 제1 부분을 마지막으로 읽었다는 결정에 따라, 상기 콘텐츠 항목의 텍스트의 제1 부분의 표시를 제공하며;
    상기 콘텐츠 항목의 디스플레이가 중지되기 전에 상기 사용자가 상기 콘텐츠 항목의 텍스트의 제2 부분을 마지막으로 읽었다는 결정에 따라, 상기 콘텐츠 항목의 텍스트의 제2 부분의 표시를 제공하는 단계를 추가로 포함하는, 방법.
  46. 제26항 내지 제45항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자가 그의 눈들을 미리결정된 타이밍 기준들로 감았다가 떴다는 결정을 포함하여, 상기 사용자가 깜박였다고 결정하는 단계; 및
    상기 사용자가 깜박였다고 결정하는 것에 응답하여, 상기 텍스트를 상기 제1 방향과는 상이한 제2 방향으로 스크롤하여, 상기 콘텐츠 항목의 이전 부분이 상기 사용자 인터페이스 내의 상기 제1 위치에 디스플레이되게 하는 단계를 추가로 포함하는, 방법.
  47. 제26항 내지 제46항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자가 상기 콘텐츠 항목을 스키밍(skimming)하고 있다고 결정하는 단계; 및
    상기 사용자가 상기 콘텐츠 항목을 스키밍하고 있다고 결정하는 것에 응답하여, 상기 콘텐츠 항목의 하나 이상의 제1 단어들을 제1 값을 갖는 시각적 특성으로 제시하고, 상기 콘텐츠 항목의 제1 단어들과는 상이한 상기 콘텐츠 항목의 하나 이상의 제2 단어들을 상기 제1 값과는 상이한 제2 값을 갖는 상기 시각적 특성으로 제시하는 단계를 추가로 포함하는, 방법.
  48. 제26항 내지 제47항 중 어느 한 항에 있어서,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였음을 나타낸다는 상기 결정에 응답하여, 상기 텍스트의 제2 부분이 상기 제1 방향으로 이동하도록 상기 텍스트를 스크롤한 후, 상기 시선 추적 디바이스 이외의, 상기 전자 디바이스와 통신하는 하나 이상의 입력 디바이스들을 통해, 상기 텍스트를 상기 제1 방향과 반대인 제2 방향으로 스크롤하라는 요청에 대응하는 입력을 수신하는 단계; 및
    상기 하나 이상의 입력들을 수신하는 것에 응답하여, 상기 텍스트를 상기 제2 방향으로 스크롤하는 단계를 추가로 포함하는, 방법.
  49. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 텍스트의 제1 부분 및 상기 콘텐츠 항목의 텍스트의 제2 부분을 포함하는 사용자 인터페이스를 디스플레이하기 위한 - 상기 텍스트의 제1 부분은 상기 사용자 인터페이스 내의 제1 위치에 디스플레이되고, 상기 텍스트의 제2 부분은 상기 사용자 인터페이스 내의 제2 위치에 디스플레이됨 -;
    상기 사용자 인터페이스를 디스플레이하는 동안, 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타낸다고 결정하기 위한; 그리고
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타내는 동안,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였음을 나타낸다는 결정에 따라,
    상기 텍스트의 제2 부분이 제1 방향으로 이동하도록 상기 텍스트를 스크롤하고;
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하지 않았음을 나타낸다는 결정에 따라,
    상기 텍스트의 제1 부분을 상기 제1 위치에 유지하기 위한 명령어들을 포함하는, 전자 디바이스.
  50. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금,
    디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 텍스트의 제1 부분 및 상기 콘텐츠 항목의 텍스트의 제2 부분을 포함하는 사용자 인터페이스를 디스플레이하게 하는 - 상기 텍스트의 제1 부분은 상기 사용자 인터페이스 내의 제1 위치에 디스플레이되고, 상기 텍스트의 제2 부분은 상기 사용자 인터페이스 내의 제2 위치에 디스플레이됨 -;
    상기 사용자 인터페이스를 디스플레이하는 동안, 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타낸다고 결정하게 하는; 그리고
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타내는 동안,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였음을 나타낸다는 결정에 따라,
    상기 텍스트의 제2 부분이 제1 방향으로 이동하도록 상기 텍스트를 스크롤하게 하고;
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하지 않았음을 나타낸다는 결정에 따라,
    상기 텍스트의 제1 부분을 상기 제1 위치에 유지하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  51. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 텍스트의 제1 부분 및 상기 콘텐츠 항목의 텍스트의 제2 부분을 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단 - 상기 텍스트의 제1 부분은 상기 사용자 인터페이스 내의 제1 위치에 디스플레이되고, 상기 텍스트의 제2 부분은 상기 사용자 인터페이스 내의 제2 위치에 디스플레이됨 -;
    상기 사용자 인터페이스를 디스플레이하는 동안, 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타낸다고 결정하기 위한 수단; 및
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타내는 동안,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였음을 나타낸다는 결정에 따라,
    상기 텍스트의 제2 부분이 제1 방향으로 이동하도록 상기 텍스트를 스크롤하고;
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하지 않았음을 나타낸다는 결정에 따라,
    상기 텍스트의 제1 부분을 상기 제1 위치에 유지하기 위한 수단을 포함하는, 전자 디바이스.
  52. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    디스플레이 생성 컴포넌트를 통해, 콘텐츠 항목의 텍스트의 제1 부분 및 상기 콘텐츠 항목의 텍스트의 제2 부분을 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단 - 상기 텍스트의 제1 부분은 상기 사용자 인터페이스 내의 제1 위치에 디스플레이되고, 상기 텍스트의 제2 부분은 상기 사용자 인터페이스 내의 제2 위치에 디스플레이됨 -;
    상기 사용자 인터페이스를 디스플레이하는 동안, 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타낸다고 결정하기 위한 수단; 및
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽고 있음을 나타내는 동안,
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하였음을 나타낸다는 결정에 따라,
    상기 텍스트의 제2 부분이 제1 방향으로 이동하도록 상기 텍스트를 스크롤하고;
    상기 사용자의 시선의 모션이 상기 사용자가 상기 텍스트의 제1 부분을 읽는 것을 완료하지 않았음을 나타낸다는 결정에 따라,
    상기 텍스트의 제1 부분을 상기 제1 위치에 유지하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  53. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며,
    상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고,
    상기 하나 이상의 프로그램들은 제26항 내지 제48항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  54. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제26항 내지 제48항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  55. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제26항 내지 제48항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  56. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    제26항 내지 제48항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  57. 방법으로서,
    디스플레이 생성 컴포넌트 및 시선 추적 디바이스와 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 디스플레이 상에 제1 사용자 인터페이스를 디스플레이하는 동안, 상기 제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 내비게이팅하라는 요청을 검출하는 단계;
    상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 내비게이팅하라는 상기 요청에 응답하여, 상기 제2 사용자 인터페이스로 내비게이팅하는 단계;
    상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하는 단계; 및
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 머리의 이동이 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하고;
    상기 머리의 이동이 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하는 것을 보류하며;
    상기 머리의 이동이 상기 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향되지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로의 내비게이션을 보류하는 단계를 포함하는, 방법.
  58. 제57항에 있어서, 상기 제2 사용자 인터페이스는, 상기 제1 사용자 인터페이스의 적어도 일부분이 디스플레이되는 동안 디스플레이되고, 상기 방법은,
    상기 제2 사용자 인터페이스 및 상기 제1 사용자 인터페이스의 적어도 일부분을 디스플레이하는 동안 - 상기 제1 사용자 인터페이스는 상기 제2 사용자 인터페이스에 비해 시각적으로 강조해제됨 -, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제2 사용자 인터페이스로부터 상기 제1 사용자 인터페이스로 이동하였다고 결정하는 단계; 및
    상기 사용자의 시선이 상기 제2 사용자 인터페이스로부터 상기 제1 사용자 인터페이스로 이동하였다고 결정하는 것에 응답하여, 상기 제2 사용자 인터페이스에 비한 상기 제1 사용자 인터페이스의 시각적 강조해제의 양을 감소시키는 단계를 추가로 포함하는, 방법.
  59. 제58항에 있어서,
    상기 사용자의 시선이 상기 제1 사용자 인터페이스로 지향되는 동안 그리고 상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스를 상기 제2 사용자 인터페이스에 비한 상기 제1 사용자 인터페이스의 시각적 강조해제의 상기 감소된 양으로 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 이동하였다고 결정하는 단계; 및
    상기 사용자의 시선이 상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 이동하였다고 결정하는 것에 응답하여,
    상기 제1 사용자 인터페이스가 상기 제2 사용자 인터페이스에 비해 시각적으로 강조해제된 상태로 상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스를 디스플레이하는 단계를 추가로 포함하는, 방법.
  60. 제57항 내지 제59항 중 어느 한 항에 있어서, 상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 머리의 이동이 상기 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하면서 상기 제2 사용자 인터페이스와 상기 제1 사용자 인터페이스 사이의 애니메이션화된 전이를 디스플레이하는 단계; 및
    상기 머리의 이동이 상기 제1 기준들을 충족시키지 않고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스 사이의 전체 애니메이션화된 전이를 디스플레이하지 않고서 상기 제2 사용자 인터페이스와 상기 제1 사용자 인터페이스 사이의 상기 애니메이션화된 전이의 제1 부분을 디스플레이하는 단계를 포함하는, 방법.
  61. 제60항에 있어서, 상기 애니메이션화된 전이의 제1 부분의 크기는 상기 머리의 이동의 양에 의존하는, 방법.
  62. 제60항 또는 제61항에 있어서, 상기 애니메이션화된 전이의 제1 부분은 상기 머리의 이동의 속도 및/또는 방향에 기초하여 결정되는 속도 및/또는 방향으로 진행되는, 방법.
  63. 제60항 내지 제62항 중 어느 한 항에 있어서, 상기 머리 이동이 상기 제1 기준들을 충족시키지 않고서 상기 머리 이동의 종료를 검출하는 것에 응답하여, 다시 상기 제1 사용자 인터페이스가 상기 제2 사용자 인터페이스에 비해 시각적으로 강조해제되는 것으로의 애니메이션화된 전이를 디스플레이하는 단계를 포함하는, 방법.
  64. 제57항 내지 제63항 중 어느 한 항에 있어서, 상기 제1 기준들은 사용자의 머리의, 옆으로 기울이는 이동을 요구하는 기준을 포함하는, 방법.
  65. 제57항 내지 제64항 중 어느 한 항에 있어서, 상기 제1 기준들은 상기 사용자의 전방 이동을 요구하는 기준을 포함하는, 방법.
  66. 제57항 내지 제65항 중 어느 한 항에 있어서, 상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 내비게이팅하는 단계는 상기 제1 사용자 인터페이스 상에 오버레이되는 상기 제2 사용자 인터페이스를 디스플레이하는 단계를 포함하는, 방법.
  67. 제57항 내지 제66항 중 어느 한 항에 있어서, 상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 내비게이팅하는 단계는 상기 제1 사용자 인터페이스를 강조해제하는 단계, 및 상기 사용자의 시선이 상기 제2 사용자 인터페이스로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스를 강조하는 단계를 포함하는, 방법.
  68. 제57항 내지 제67항 중 어느 한 항에 있어서,
    상기 제2 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 시선의 특성이 제2 기준들을 충족시키지 않는 동안 또는 상기 사용자의 머리 이동이 상기 제1 기준들을 충족시키지 않는 동안, 상기 사용자의 시선 또는 상기 사용자의 머리 이동에 기초하여 상기 제2 사용자 인터페이스의 외관을 변경하면서 상기 제2 사용자 인터페이스를 계속 디스플레이하는 단계; 및
    상기 사용자의 시선의 특성이 상기 제2 기준들을 충족시키고 상기 사용자의 머리 이동이 상기 제1 기준들을 충족시킨다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하는 단계를 추가로 포함하는, 방법.
  69. 제68항에 있어서,
    상기 제2 사용자 인터페이스의 상기 변경된 외관으로 상기 제2 사용자 인터페이스를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제2 사용자 인터페이스로 지향된다고 결정하는 단계; 및
    상기 사용자의 시선이 상기 제2 사용자 인터페이스로 지향된다고 결정하는 것에 응답하여, 상기 제2 사용자 인터페이스의 외관을 초기 외관으로 복귀시키는 단계를 추가로 포함하는, 방법.
  70. 제57항 내지 제69항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 내에, 텍스트 콘텐츠를 디스플레이하는 단계;
    상기 텍스트 콘텐츠를 디스플레이하는 동안, 상기 텍스트 콘텐츠를 디스플레이하는 것을 중지하라는 요청을 검출하는 단계; 및
    상기 텍스트 콘텐츠를 디스플레이하는 것을 중지하라는 상기 요청을 검출하는 것에 응답하여,
    상기 텍스트 콘텐츠가 하나 이상의 기준들을 만족시키지 않는다는 결정에 따라, 상기 텍스트 콘텐츠를 디스플레이하는 것을 중지하고;
    상기 텍스트 콘텐츠가 상기 하나 이상의 기준들을 만족시킨다는 결정에 따라,
    상기 사용자가 상기 텍스트 콘텐츠를 읽었다는 결정에 따라, 상기 텍스트 콘텐츠를 디스플레이하는 것을 중지하고;
    상기 사용자가 상기 텍스트 콘텐츠를 읽지 않았다는 결정에 따라, 상기 텍스트 콘텐츠의 디스플레이를 유지하는 단계를 추가로 포함하는, 방법.
  71. 제57항 내지 제70항 중 어느 한 항에 있어서, 상기 방법은,
    상기 사용자 인터페이스 내에, 각각의 애플리케이션과 연관된 통지를 디스플레이하는 단계;
    상기 각각의 애플리케이션과 연관된 상기 통지를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자가 상기 통지를 읽었다고 결정하는 단계; 및
    상기 사용자가 상기 통지를 읽었다고 결정하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 각각의 애플리케이션의 사용자 인터페이스를 디스플레이하는 단계를 추가로 포함하는, 방법.
  72. 제57항 내지 제71항 중 어느 한 항에 있어서,
    상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제2 사용자 인터페이스를 향해 지향된다고 결정하는 동안,
    상기 사용자의 머리가 제1 위치에 있다는 결정에 따라, 상기 제2 사용자 인터페이스의 텍스트 콘텐츠를 제1 텍스트 스타일로 디스플레이하는 단계; 및
    상기 사용자의 머리가 상기 제1 위치와는 상이한 제2 위치에 있다는 결정에 따라, 상기 제2 사용자 인터페이스의 텍스트 콘텐츠를 상기 제1 텍스트 스타일과는 상이한 제2 텍스트 스타일로 디스플레이하는 단계를 추가로 포함하는, 방법.
  73. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 디스플레이 상에 제1 사용자 인터페이스를 디스플레이하는 동안, 상기 제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 내비게이팅하라는 요청을 검출하기 위한;
    상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 내비게이팅하라는 상기 요청에 응답하여, 상기 제2 사용자 인터페이스로 내비게이팅하기 위한;
    상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하기 위한; 그리고
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 머리의 이동이 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하고;
    상기 머리의 이동이 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하는 것을 보류하며;
    상기 머리의 이동이 상기 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향되지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로의 내비게이션을 보류하기 위한 명령어들을 포함하는, 전자 디바이스.
  74. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금,
    디스플레이 생성 컴포넌트를 통해, 디스플레이 상에 제1 사용자 인터페이스를 디스플레이하는 동안, 상기 제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 내비게이팅하라는 요청을 검출하게 하는;
    상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 내비게이팅하라는 상기 요청에 응답하여, 상기 제2 사용자 인터페이스로 내비게이팅하게 하는;
    상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하게 하는; 그리고
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 머리의 이동이 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하게 하고;
    상기 머리의 이동이 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하는 것을 보류하게 하며;
    상기 머리의 이동이 상기 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향되지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로의 내비게이션을 보류하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  75. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 디스플레이 상에 제1 사용자 인터페이스를 디스플레이하는 동안, 상기 제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 내비게이팅하라는 요청을 검출하기 위한 수단;
    상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 내비게이팅하라는 상기 요청에 응답하여, 상기 제2 사용자 인터페이스로 내비게이팅하기 위한 수단;
    상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하기 위한 수단; 및
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 머리의 이동이 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하고;
    상기 머리의 이동이 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하는 것을 보류하며;
    상기 머리의 이동이 상기 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향되지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로의 내비게이션을 보류하기 위한 수단을 포함하는, 전자 디바이스.
  76. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    디스플레이 생성 컴포넌트를 통해, 디스플레이 상에 제1 사용자 인터페이스를 디스플레이하는 동안, 상기 제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 내비게이팅하라는 요청을 검출하기 위한 수단;
    상기 제1 사용자 인터페이스로부터 상기 제2 사용자 인터페이스로 내비게이팅하라는 상기 요청에 응답하여, 상기 제2 사용자 인터페이스로 내비게이팅하기 위한 수단;
    상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하기 위한 수단; 및
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 머리의 이동이 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향된다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하고;
    상기 머리의 이동이 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로 내비게이팅하는 것을 보류하며;
    상기 머리의 이동이 상기 제1 기준들을 충족시키고, 상기 사용자의 시선이 상기 사용자 인터페이스의 각각의 부분으로 지향되지 않는다는 결정에 따라, 상기 제2 사용자 인터페이스로부터 다시 상기 제1 사용자 인터페이스로의 내비게이션을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  77. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며,
    상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고,
    상기 하나 이상의 프로그램들은 제57항 내지 제72항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  78. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제57항 내지 제72항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  79. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제57항 내지 제72항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  80. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    제57항 내지 제72항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  81. 방법으로서,
    디스플레이 생성 컴포넌트 및 시선 추적 디바이스와 통신하는 전자 디바이스에서,
    상기 디스플레이 생성 컴포넌트를 통해, 제1 증강된 콘텐츠와 연관되는 제1 부분 및 제2 증강된 콘텐츠와 연관되는 제2 부분을 포함하는 제1 콘텐츠를 포함하는 사용자 인터페이스를 디스플레이하는 단계;
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하는 단계; 및
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 사용자의 시선이 상기 제1 콘텐츠의 제1 부분을 향해 지향되고, 상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제1 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제1 부분과 연관된 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제2 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제1 부분과 연관되는 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하며;
    상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시키지 않았다는 결정에 따라, 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하고, 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하는 단계를 포함하는, 방법.
  82. 제81항에 있어서, 상기 제1 증강된 콘텐츠는 상기 제1 콘텐츠의 제1 부분의 정의, 상기 제1 콘텐츠의 제1 부분의 웹사이트 미리보기, 또는 상기 제1 콘텐츠의 제1 부분의 확대된 버전 중 하나이고, 상기 제2 증강된 콘텐츠는 상기 제1 콘텐츠의 제2 부분의 정의, 상기 제1 콘텐츠의 제2 부분의 웹사이트 미리보기, 또는 상기 제1 콘텐츠의 제2 부분의 확대된 버전 중 하나인, 방법.
  83. 제81항 또는 제82항에 있어서,
    상기 제1 증강된 콘텐츠 또는 상기 제2 증강된 콘텐츠를 디스플레이하기 전에,
    상기 사용자의 머리의 이동을 검출하기 전에, 상기 제1 콘텐츠의 제1 부분 및 상기 제1 콘텐츠의 제2 부분을 제1 값을 갖는 시각적 특성으로 디스플레이하는 단계; 및
    상기 사용자의 머리의 이동의 적어도 일부분을 검출하는 것에 응답하여,
    상기 사용자의 시선이 상기 제1 콘텐츠의 제1 부분을 향해 지향되고, 상기 사용자의 시선이 상기 콘텐츠의 제1 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동의 적어도 일부분이 상기 제1 기준들을 만족시키는 것을 향한 진행일 것을 요구하는 기준을 포함한 하나 이상의 제2 기준들이 만족된다는 결정에 따라, 상기 제1 콘텐츠의 제2 부분을 상기 제1 값을 갖는 상기 시각적 특성으로 유지하면서, 상기 제1 콘텐츠의 제1 부분을 상기 제1 값과는 상이한 제2 값을 갖는 상기 시각적 특성으로 디스플레이하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이 상기 제1 콘텐츠의 제2 부분을 향해 지향되고, 상기 사용자의 시선이 상기 콘텐츠의 제2 부분을 향해 지향되는 동안 상기 하나 이상의 제2 기준들이 만족된다는 상기 결정에 따라, 상기 제1 콘텐츠의 제1 부분을 상기 제1 값을 갖는 상기 시각적 특성으로 유지하면서, 상기 제1 콘텐츠의 제2 부분을 상기 제2 값을 갖는 상기 시각적 특성으로 디스플레이하도록 상기 사용자 인터페이스를 업데이트하는 단계를 추가로 포함하는, 방법.
  84. 제83항에 있어서, 상기 하나 이상의 제2 기준들은, 상기 사용자가 상기 제1 콘텐츠의 제1 부분 또는 상기 제1 콘텐츠의 제2 부분을 시간 임계치보다 더 오랫동안 볼 것을 요구하는 기준을 포함하는, 방법.
  85. 제83항 또는 제84항에 있어서,
    상기 사용자의 머리의 이동의 적어도 일부분을 검출하는 것에 응답하여,
    상기 사용자의 머리의 이동의 적어도 일부분이 상기 제1 기준들을 만족시키는 것을 향한 진행이 아니라는 결정에 따라, 상기 제1 콘텐츠의 제1 부분 및 상기 제1 콘텐츠의 제2 부분을 상기 제1 값을 갖는 상기 시각적 특성으로 계속 디스플레이하는 단계를 추가로 포함하는, 방법.
  86. 제83항 내지 제85항 중 어느 한 항에 있어서,
    상기 제1 증강된 콘텐츠 또는 상기 제2 증강된 콘텐츠를 디스플레이하기 전에, 그리고 상기 하나 이상의 제2 기준들이 만족되는 동안,
    상기 제1 콘텐츠의 제1 부분을 상기 제2 값을 갖는 상기 시각적 특성으로 디스플레이하고, 상기 제1 콘텐츠의 제2 부분을 상기 제1 값을 갖는 상기 시각적 특성으로 디스플레이하는 동안, 상기 사용자의 시선이 상기 제1 콘텐츠의 제1 부분을 향해 지향되는 것으로부터 상기 제1 콘텐츠의 제2 부분을 향해 지향되는 것으로 변화한다는 것을 검출하는 단계; 및
    상기 사용자의 시선이 상기 제1 콘텐츠의 제1 부분을 향해 지향되는 것으로부터 상기 제1 콘텐츠의 제2 부분을 향해 지향되는 것으로 변화한다는 것을 검출하는 것에 응답하여,
    상기 제1 콘텐츠의 제1 부분을 상기 제1 값을 갖는 상기 시각적 특성으로 디스플레이하도록, 그리고 상기 제1 콘텐츠의 제2 부분을 상기 제2 값을 갖는 상기 시각적 특성으로 디스플레이하도록 상기 사용자 인터페이스를 업데이트하는 단계를 추가로 포함하는, 방법.
  87. 제86항에 있어서,
    상기 제2 증강된 콘텐츠를 디스플레이하는 동안, 그리고 상기 제1 콘텐츠의 제1 부분을 상기 제1 값을 갖는 상기 시각적 특성으로 그리고 상기 제1 콘텐츠의 제2 부분을 상기 제2 값을 갖는 상기 시각적 특성으로 디스플레이하는 동안, 상기 사용자의 시선이 상기 제1 콘텐츠의 제2 부분을 향해 지향되는 것으로부터 상기 제1 콘텐츠의 제1 부분을 향해 지향되는 것으로 변화한다는 것을 검출하는 단계; 및
    상기 사용자의 시선이 상기 제1 콘텐츠의 제2 부분을 향해 지향되는 것으로부터 상기 제1 콘텐츠의 제1 부분을 향해 지향되는 것으로 이동한다는 것을 검출하는 것에 응답하여, 상기 제1 콘텐츠의 제1 부분을 상기 제1 값을 갖는 상기 시각적 특성으로 그리고 상기 제1 콘텐츠의 제2 부분을 상기 제2 값을 갖는 상기 시각적 특성으로 계속 디스플레이하는 단계를 추가로 포함하는, 방법.
  88. 제83항 내지 제87항 중 어느 한 항에 있어서,
    상기 제1 증강된 콘텐츠 또는 상기 제2 증강된 콘텐츠를 디스플레이하기 전에, 그리고 상기 제1 콘텐츠의 제1 부분을 상기 제2 값을 갖는 상기 시각적 특성으로 디스플레이하는 동안,
    상기 사용자의 머리의 제2 이동을 검출하는 단계 - 상기 사용자의 머리의 제2 이동은, 상기 사용자의 머리의 제2 이동이 상기 제1 기준들을 만족시키는 것으로부터 멀어지는 진행일 것을 요구하는 기준을 포함한 하나 이상의 제3 기준들을 만족시킴 -; 및
    상기 하나 이상의 제3 기준들을 만족시키는 상기 사용자의 머리의 제2 이동을 검출하는 것에 응답하여, 상기 제1 콘텐츠의 제1 부분을 상기 제1 값을 갖는 상기 시각적 특성으로 디스플레이하도록 상기 사용자 인터페이스를 업데이트하는 단계를 추가로 포함하는, 방법.
  89. 제81항 내지 제88항 중 어느 한 항에 있어서,
    상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것은 상기 제1 증강된 콘텐츠의 디스플레이를 애니메이션화하는 것을 포함하고, 상기 애니메이션은 상기 사용자의 머리의 이동에 기초하여 상기 하나 이상의 제1 기준들을 만족시키는 것을 향한 진행의 양 및/또는 방향에 기초하여 결정되는 양만큼 그리고/또는 방향으로 진행되고,
    상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것은 상기 제2 증강된 콘텐츠의 디스플레이를 애니메이션화하는 것을 포함하고, 상기 애니메이션은 상기 사용자의 머리의 이동에 기초하여 상기 하나 이상의 제1 기준들을 만족시키는 것을 향한 진행의 양 및/또는 방향에 기초하여 결정되는 양만큼 그리고/또는 방향으로 진행되는, 방법.
  90. 제81항 내지 제89항 중 어느 한 항에 있어서,
    상기 제1 증강된 콘텐츠를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제1 증강된 콘텐츠를 향해 지향된다는 것을 검출하는 단계;
    상기 사용자의 시선이 상기 제1 증강된 콘텐츠를 향해 지향된다는 것을 검출한 후, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 더 이상 상기 제1 증강된 콘텐츠를 향해 지향되지 않는다는 것을 검출하는 단계; 및
    상기 사용자의 시선이 더 이상 상기 제1 증강된 콘텐츠를 향해 지향되지 않는다는 것을 검출하는 것에 응답하여, 상기 제1 증강된 콘텐츠를 디스플레이하는 것을 중지하는 단계를 추가로 포함하는, 방법.
  91. 제90항에 있어서,
    상기 제1 증강된 콘텐츠를 디스플레이하는 동안 그리고 상기 제1 증강된 콘텐츠를 향해 지향되는 상기 사용자의 시선을 검출하기 전에, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선이 상기 제1 증강된 콘텐츠 이외의 상기 사용자 인터페이스 내의 위치를 향해 지향된다는 것을 검출하는 단계; 및
    상기 사용자의 시선이 상기 제1 증강된 콘텐츠를 향해 지향되지 않고서 상기 사용자의 시선이 상기 제1 증강된 콘텐츠 이외의 상기 사용자 인터페이스 내의 상기 위치를 향해 지향된다는 것을 검출하는 것에 응답하여, 상기 제1 증강된 콘텐츠를 계속 디스플레이하는 단계를 추가로 포함하는, 방법.
  92. 제81항 내지 제91항 중 어느 한 항에 있어서,
    상기 제1 증강된 콘텐츠를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 상기 사용자의 시선의 모션이 상기 사용자가 상기 제1 콘텐츠를 읽고 있음을 나타낸다는 것을 검출하는 단계; 및
    상기 사용자의 시선의 모션이 상기 사용자가 상기 제1 콘텐츠를 읽고 있음을 나타낸다는 것을 검출하는 것에 응답하여, 상기 제1 증강된 콘텐츠를 디스플레이하는 것을 중지하는 단계를 추가로 포함하는, 방법.
  93. 제81항 내지 제92항 중 어느 한 항에 있어서,
    상기 제1 증강된 콘텐츠를 디스플레이하는 동안, 상기 제1 증강된 콘텐츠 이외의 사용자 인터페이스의 영역에 대한 입력을 검출하는 단계;
    상기 입력을 검출하는 것에 응답하여, 상기 제1 증강된 콘텐츠의 디스플레이를 중지하는 것의 애니메이션을 개시하는 단계; 및
    상기 제1 증강된 콘텐츠의 디스플레이를 중지하는 것을 애니메이션화하는 동안 그러나 상기 제1 증강된 콘텐츠의 디스플레이를 중지하기 전에,
    상기 사용자의 시선이 상기 제1 증강된 콘텐츠를 향해 지향된다는 결정에 따라, 상기 애니메이션을 중지하고, 상기 제1 증강된 콘텐츠의 디스플레이를 상기 제1 증강된 콘텐츠의 초기 상태로 복귀시키고;
    상기 사용자의 시선이 상기 제1 증강된 콘텐츠를 향해 지향되지 않는다는 결정에 따라, 상기 제1 증강된 콘텐츠의 디스플레이를 중지하는 것의 애니메이션을 계속하는 단계를 추가로 포함하는, 방법.
  94. 제81항 내지 제93항 중 어느 한 항에 있어서,
    상기 제1 증강된 콘텐츠를 디스플레이하는 동안, 상기 시선 추적 디바이스를 통해, 하나 이상의 제2 기준들을 만족시키는 상기 사용자의 눈들의 깜박임을 결정하는 단계; 및
    상기 사용자의 눈들의 깜박임이 상기 하나 이상의 제2 기준들을 만족시킨다고 결정하는 것에 응답하여, 상기 제1 증강된 콘텐츠를 디스플레이하는 것을 중지하는 단계를 추가로 포함하는, 방법.
  95. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    디스플레이 생성 컴포넌트를 통해, 제1 증강된 콘텐츠와 연관되는 제1 부분 및 제2 증강된 콘텐츠와 연관되는 제2 부분을 포함하는 제1 콘텐츠를 포함하는 사용자 인터페이스를 디스플레이하기 위한;
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하기 위한; 그리고
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 사용자의 시선이 상기 제1 콘텐츠의 제1 부분을 향해 지향되고, 상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제1 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제1 부분과 연관된 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제2 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제1 부분과 연관되는 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하며;
    상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시키지 않았다는 결정에 따라, 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하고, 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하기 위한 명령어들을 포함하는, 전자 디바이스.
  96. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금,
    디스플레이 생성 컴포넌트를 통해, 제1 증강된 콘텐츠와 연관되는 제1 부분 및 제2 증강된 콘텐츠와 연관되는 제2 부분을 포함하는 제1 콘텐츠를 포함하는 사용자 인터페이스를 디스플레이하게 하는;
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하게 하는; 그리고
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 사용자의 시선이 상기 제1 콘텐츠의 제1 부분을 향해 지향되고, 상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제1 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제1 부분과 연관된 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하게 하고;
    상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제2 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제1 부분과 연관되는 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하게 하며;
    상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시키지 않았다는 결정에 따라, 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하고, 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  97. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리;
    디스플레이 생성 컴포넌트를 통해, 제1 증강된 콘텐츠와 연관되는 제1 부분 및 제2 증강된 콘텐츠와 연관되는 제2 부분을 포함하는 제1 콘텐츠를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하기 위한 수단; 및
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 사용자의 시선이 상기 제1 콘텐츠의 제1 부분을 향해 지향되고, 상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제1 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제1 부분과 연관된 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제2 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제1 부분과 연관되는 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하며;
    상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시키지 않았다는 결정에 따라, 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하고, 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하기 위한 수단을 포함하는, 전자 디바이스.
  98. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    디스플레이 생성 컴포넌트를 통해, 제1 증강된 콘텐츠와 연관되는 제1 부분 및 제2 증강된 콘텐츠와 연관되는 제2 부분을 포함하는 제1 콘텐츠를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단;
    상기 사용자 인터페이스를 디스플레이하는 동안, 상기 사용자의 머리의 이동을 검출하기 위한 수단; 및
    상기 사용자의 머리의 이동을 검출하는 것에 응답하여,
    상기 사용자의 시선이 상기 제1 콘텐츠의 제1 부분을 향해 지향되고, 상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제1 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제1 부분과 연관된 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하고;
    상기 사용자의 시선이 상기 제1 콘텐츠 항목의 제2 부분을 향해 지향되는 동안 상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시킨다는 결정에 따라, 상기 제1 콘텐츠의 제1 부분과 연관되는 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하지 않고서, 상기 제1 콘텐츠의 제2 부분과 연관된 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하며;
    상기 사용자의 머리의 이동이 상기 제1 기준들을 만족시키지 않았다는 결정에 따라, 상기 제1 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하고, 상기 제2 증강된 콘텐츠를 포함하도록 상기 사용자 인터페이스를 업데이트하는 것을 보류하기 위한 수단을 포함하는, 정보 프로세싱 장치.
  99. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하며,
    상기 하나 이상의 프로그램들은, 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고,
    상기 하나 이상의 프로그램들은 제81항 내지 제94항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  100. 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금, 제81항 내지 제94항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  101. 전자 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    제81항 내지 제94항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  102. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    제81항 내지 제94항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
KR1020227032843A 2020-03-27 2021-03-15 시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 KR20220137770A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063001210P 2020-03-27 2020-03-27
US63/001,210 2020-03-27
US202063131754P 2020-12-29 2020-12-29
US63/131,754 2020-12-29
PCT/US2021/022413 WO2021194790A1 (en) 2020-03-27 2021-03-15 Devices, methods, and graphical user interfaces for gaze-based navigation

Publications (1)

Publication Number Publication Date
KR20220137770A true KR20220137770A (ko) 2022-10-12

Family

ID=75439494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227032843A KR20220137770A (ko) 2020-03-27 2021-03-15 시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Country Status (7)

Country Link
US (1) US20210303107A1 (ko)
EP (1) EP4127869A1 (ko)
JP (2) JP7389270B2 (ko)
KR (1) KR20220137770A (ko)
CN (2) CN115657848A (ko)
AU (1) AU2021242208B2 (ko)
WO (1) WO2021194790A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11705232B2 (en) * 2021-02-11 2023-07-18 Nuance Communications, Inc. Communication system and method
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
WO2021263050A1 (en) 2020-06-26 2021-12-30 Limonox Projects Llc Devices, methods and graphical user interfaces for content applications
CN117008731A (zh) 2020-09-25 2023-11-07 苹果公司 用于导航用户界面的方法
US11874959B2 (en) * 2021-09-15 2024-01-16 Sony Interactive Entertainment Inc. Dynamic notification surfacing in virtual or augmented reality scenes
US20240192842A1 (en) * 2022-07-12 2024-06-13 Google Llc Rate-Adaptive Content Container
CN117891352B (zh) * 2024-03-14 2024-05-31 南京市文化投资控股集团有限责任公司 一种基于元宇宙的文旅内容推荐系统及方法
CN118093848B (zh) * 2024-04-28 2024-08-02 北京世纪超星信息技术发展有限责任公司 一种基于意图确定逻辑的问答方法和服务器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064596A (ja) * 1992-06-24 1994-01-14 Brother Ind Ltd 電子読書装置
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6078310A (en) * 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
JP2006107048A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法
US8341541B2 (en) * 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
US8296684B2 (en) * 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
JP2011203880A (ja) 2010-03-25 2011-10-13 Nomura Research Institute Ltd 既読判定装置および既読判定方法
US20120066638A1 (en) 2010-09-09 2012-03-15 Microsoft Corporation Multi-dimensional auto-scrolling
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
JP5963584B2 (ja) 2012-07-12 2016-08-03 キヤノン株式会社 電子機器及びその制御方法
US20140049462A1 (en) * 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US9864498B2 (en) * 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
CN105308550B (zh) 2013-06-17 2019-01-01 麦克赛尔株式会社 信息显示终端
JP6127853B2 (ja) 2013-09-13 2017-05-17 富士通株式会社 情報処理装置、方法及びプログラム
US9442631B1 (en) * 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US9619519B1 (en) * 2014-06-23 2017-04-11 Amazon Technologies, Inc. Determining user interest from non-explicit cues
US9829708B1 (en) * 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
US20180095635A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
EP3316117A1 (en) * 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
CN109804220B (zh) * 2016-12-06 2021-01-26 美国景书公司 用于跟踪头部运动的装置和方法
US10565448B2 (en) * 2017-08-16 2020-02-18 International Business Machines Corporation Read confirmation of electronic messages
JP7009835B2 (ja) 2017-08-24 2022-01-26 大日本印刷株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
CN115657848A (zh) 2023-01-31
CN115315681A (zh) 2022-11-08
EP4127869A1 (en) 2023-02-08
AU2021242208B2 (en) 2024-07-11
JP7389270B2 (ja) 2023-11-29
JP2023520345A (ja) 2023-05-17
JP2024026103A (ja) 2024-02-28
US20210303107A1 (en) 2021-09-30
AU2021242208A1 (en) 2022-10-13
WO2021194790A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
US11875013B2 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
US11720171B2 (en) Methods for navigating user interfaces
AU2021242208B2 (en) Devices, methods, and graphical user interfaces for gaze-based navigation
US11567625B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11579693B2 (en) Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US20240103682A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240152245A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240103680A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US12124674B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US12124673B2 (en) Devices, methods, and graphical user interfaces for content applications
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
WO2023049111A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2024063786A1 (en) Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A201 Request for examination