KR20140090094A - 눈 추적 사용자 인터페이스 - Google Patents

눈 추적 사용자 인터페이스 Download PDF

Info

Publication number
KR20140090094A
KR20140090094A KR1020140000259A KR20140000259A KR20140090094A KR 20140090094 A KR20140090094 A KR 20140090094A KR 1020140000259 A KR1020140000259 A KR 1020140000259A KR 20140000259 A KR20140000259 A KR 20140000259A KR 20140090094 A KR20140090094 A KR 20140090094A
Authority
KR
South Korea
Prior art keywords
interface
tile
user
tiles
extended
Prior art date
Application number
KR1020140000259A
Other languages
English (en)
Other versions
KR101543947B1 (ko
Inventor
스티븐 프리드랜더
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140090094A publication Critical patent/KR20140090094A/ko
Application granted granted Critical
Publication of KR101543947B1 publication Critical patent/KR101543947B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

그래픽 인터페이스를 제공하기 위한 방법이 개시된다. 이 방법은 디스플레이 디바이스 상에 인터페이스 타일들의 세트를 표시하는 단계, 사용자의 시선의 위치를 검출하는 단계, 사용자가 설정된 기간 동안 상기 인터페이스 타일들의 세트 중 하나의 인터페이스 타일을 응시하고 있다는 것을 식별하는 단계, 상기 인터페이스 타일들의 세트와 함께 확장 타일을 표시하는 단계를 포함하고, 상기 확장 타일은 상기 사용자가 응시하고 있는 상기 인터페이스 타일들의 세트 중의 식별된 상기 인터페이스 타일과 관련된 추가적인 콘텐츠를 포함한다.

Description

눈 추적 사용자 인터페이스{EYE TRACKING USER INTERFACE}
본 발명은 일반적으로 그래픽 사용자 인터페이스에 관한 것으로서, 구체적으로는 그래픽 사용자 인터페이스와의 눈 추적 상호작용(eye tracking interaction)의 제공에 관한 것이다.
그래픽 사용자 인터페이스는 사용자들이 이미지들을 이용하여 전자 디바이스들과 상호작용하는 것을 가능하게 하는 일 타입의 사용자 인터페이스이다. 대부분의 그래픽 사용자 인터페이스들은 사용자에 의해 조작될 수 있는 컴퓨터 애플리케이션들 및 제어들의 다양한 그래픽 표현들을 표시한다. 사용자 인터페이스의 설계는 많은 운영 체계 및 컴퓨터 애플리케이션의 중요한 요소이며, 디바이스 및/또는 애플리케이션과 함께 사용자의 전반적인 경험에 영향을 미칠 수 있다.
본 발명의 여러 실시예는 사용자 인터페이스와의 눈 추적 상호작용을 제공함으로써 위의 요구들은 물론, 다른 요구들도 유리하게 해결한다.
일 실시예에서, 본 발명은 그래픽 인터페이스를 제공하기 위한 방법으로서 특징될 수 있다. 이 방법은 디스플레이 디바이스 상에 인터페이스 타일들의 세트를 표시하는 단계, 사용자의 시선의 위치를 검출하는 단계, 사용자가 설정된 기간 동안 상기 인터페이스 타일들의 세트 중 하나의 인터페이스 타일을 응시하고 있다는 것을 식별하는 단계, 상기 인터페이스 타일들의 세트와 함께 확장 타일을 표시하는 단계를 포함하고, 상기 확장 타일은 상기 사용자가 응시하고 있는 상기 인터페이스 타일들의 세트 중의 식별된 상기 인터페이스 타일과 관련된 추가적인 콘텐츠를 포함한다.
다른 실시예에서, 본 발명은 그래픽 인터페이스를 제공하기 위한 장치로서 특징될 수 있다. 이 장치는 눈 추적 디바이스; 디스플레이 디바이스; 및 프로세서 기반 시스템을 포함한다. 상기 프로세서 기반 시스템은 상기 디스플레이 디바이스로 하여금 상기 디스플레이 디바이스 상에 인터페이스 타일들의 세트를 표시하게 하고, 상기 눈 추적 디바이스로부터의 신호들을 이용하여 사용자의 시선의 위치를 검출하고, 사용자가 설정된 기간 동안 상기 인터페이스 타일들의 세트 중 하나의 타일을 응시하고 있다는 것을 식별하고, 상기 디스플레이 디바이스로 하여금 상기 인터페이스 타일들의 세트와 함께 확장 세트를 표시하게 하도록 구성되며, 상기 확장 타일은 상기 사용자가 응시하고 있는 상기 인터페이스 타일들의 세트 중의 상기 하나의 타일과 관련된 추가적인 콘텐츠를 포함한다.
추가적인 실시예에서, 본 발명은 컴퓨터 판독 가능 저장 매체 상에 저장된 컴퓨터 실행 가능 코드들을 포함하는 컴퓨터 소프트웨어 제품으로서 특징될 수 있다. 컴퓨터 실행 가능 코드는 프로세서 기반 시스템으로 하여금 디스플레이 디바이스 상에 인터페이스 타일들의 세트를 표시하는 단계, 사용자의 시선의 위치를 검출하는 단계, 사용자가 설정된 기간 동안 상기 인터페이스 타일들의 세트 중 하나의 인터페이스 타일을 응시하고 있다는 것을 식별하는 단계, 상기 인터페이스 타일들의 세트와 함께 확장 타일을 표시하는 단계를 수행하게 하도록 구성되며, 상기 확장 타일은 상기 사용자가 응시하고 있는 상기 인터페이스 타일들의 세트 중의 식별된 상기 인터페이스 타일과 관련된 추가적인 콘텐츠를 포함한다.
본 발명의 여러 실시예의 상기 및 다른 양태들, 특징들 및 장점들은 아래의 도면들과 관련하여 제공되는 아래의 더 구체적인 실시예 설명으로부터 더 분명할 것이다.
도 1은 본 발명의 일부 실시예들에 따른, 사용자 인터페이스와의 눈 추적 상호작용을 제공하기 위한 방법을 나타내는 흐름도이다.
도 2 내지 도 4는 본 발명의 일부 실시예들에 따른 사용자 인터페이스들의 도면들이다.
도 5는 본 발명의 일부 실시예들에 따른 시스템의 간략화된 블록도이다.
도면들 중 여러 도면에서 대응하는 참조 부호들은 대응하는 요소들을 지시한다. 이 분야의 기술자들은 도면들 내의 요소들이 간단 명료하게 도시되며, 반드시 축척 비율에 맞게 도시되지는 않았다는 것을 알 것이다. 예를 들어, 본 발명의 다양한 실시예들의 이해를 돕기 위해 도면들 내의 요소들 중 일부 요소들의 치수들은 다른 요소들에 비해 과장될 수 있다. 또한, 상용화 가능한 실시예에서 유용하거나 필요한, 일반적이지만 잘 알려진 요소들은 본 발명의 이러한 다양한 실시예들의 덜 방해받는 개관을 돕기 위해 종종 도시되지 않는다.
아래의 설명은 한정이 아니라, 예시적인 실시예들의 일반 원리들을 설명하는 목적을 위해 행해질 뿐이다. 본 발명의 범위는 청구범위를 참조하여 결정되어야 한다.
본 명세서 전반에서 "하나의 실시예", "일 실시예" 또는 유사한 용어에 대한 언급은 그 실시예와 관련하여 설명되는 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에서의 "하나의 실시예", "일 실시예"라는 표현 및 유사한 용어의 출현들은 모두가 반드시 동일 실시예를 지칭하지는 않을 수 있다.
더구나, 본 발명의 설명되는 특징들, 구조들 또는 특성들은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 아래의 설명에서는 본 발명의 실시예들의 충분한 이해를 제공하기 위해 프로그래밍의 예, 소프트웨어 모듈, 사용자 선택, 네트워크 트랜잭션, 하드웨어 모듈, 하드웨어 회로 등과 같은 다양한 특정 상세들이 제공된다. 그러나, 관련 분야의 기술자는 본 발명이 특정 상세들 중 하나 이상 없이도 또는 다른 방법, 컴포넌트, 재료 등을 이용하여 실시될 수 있다는 것을 인식할 것이다. 다른 예들에서는 본 발명의 양태들을 불명확하게 하지 않기 위해 공지 구조들, 재료들 또는 동작들은 도시 또는 설명되지 않는다.
먼저, 도 1을 참조하면, 일부 실시예들에 따른, 사용자 인터페이스와의 눈 추적 상호작용을 제공하기 위한 방법이 도시되어 있다. 도 1에 도시된 방법은 프로세서 기반 시스템에 의해 수행될 수 있다. 단계 101에서, 사용자 인터페이스가 표시된다. 사용자 인터페이스는 텔레비전, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 게임 콘솔, 이동 전화, 스마트폰, 휴대용 미디어 플레이어, 셋톱 박스, 개인용 휴대 단말기(PDA) 등과 같은 전자 디바이스의 디스플레이 디바이스 상에 표시될 수 있다. 인터페이스는 운영 체제 또는 애플리케이션의 사용자 인터페이스일 수 있고/있거나 운영 체제 사용자 인터페이스에 대한 플러그-인일 수 있다. 인터페이스는 웹 기반 및/또는 클라우드 기반 원격 애플리케이션의 사용자 인터페이스일 수도 있다. 일부 실시예들에서, 눈 추적 사용자 인터페이스는 또한 눈 추적 이외의 수단을 통해, 예를 들어 음성 명령, 터치스크린 입력, 포인터 디바이스 입력, 키보드 입력, 모션 센서 신호, 리모컨(remote control) 입력 등을 통해 사용자와 상호작용하도록 구성된다. 사용자 인터페이스는 눈 추적 기술들의 감소되는 정밀도를 고려하여 설계될 수 있다. 예컨대, 인터페이스 아이콘들 또는 타일들은 식별 에러들을 줄이기 위해 크기가 충분히 크도록 설계될 수 있다.
사용자 인터페이스는 격자 내에 배열된 다수의 인터페이스 타일들을 포함할 수 있다. 인터페이스 타일들 중 일부는 격자의 둘 이상의 셀을 점유할 수 있다. 인터페이스 타일들 중 일부는 프로그램 또는 애플리케이션과 연관될 수 있으며, 타일의 선택은 해당 프로그램 또는 애플리케이션의 개시를 유발(trigger)할 수 있다. 일부 실시예들에서, 타일들은 텍스트, 그래픽, 사진, 비디오 중 하나 이상일 수 있다. 일부 인터페이스 타일들은 프로그램과 관련된 정보를 표시하는 컬러 배경들 상의 텍스트일 수 있다. 일부 실시예들에서는, 프로그램과 관련된 그래픽 이미지가 전체 타일을 점유한다. 일부 실시예들에서는, 모든 인터페이스 타일들 중 서브세트만이 한번에 표시되며, 사용자는 나머지 타일들을 보기 위해 스크롤할 수 있다. 이러한 아이콘들이 본 명세서에서 일반적으로 "타일들"로서 설명되지만, "타일들"은 정사각형 또는 직사각형 아이콘들로 한정되는 것이 아니라, 다수의 구조로 배열된 임의 수의 크기들 및 형상들의 아이콘들일 수 있다는 것을 이해한다. 사용자 인터페이스 및 타일들의 콘텐츠의 외관에 대한 더 상세한 설명은 도 2 내지 도 4를 참조하여 나중에 제공된다.
단계 103에서, 사용자의 시선 위치가 검출된다. 사용자의 시선 위치는 사용자가 응시하고 있는 위치를 지칭하며, 이는 디스플레이 스크린 상의 위치에 대응할 수 있다. 사용자의 시선 위치의 검출은 카메라, 광센서, 모션 센서 등과 같은 눈 추적 디바이스에 의해 수행될 수 있다. 일부 실시예들에서는 눈 추적 안경을 이용하여 시선이 검출된다. 사용자의 시선의 검출은 사용자의 눈, 머리 및/또는 얼굴 특징들의 위치 및/또는 모션의 추적에 기초할 수 있다. 일부 실시예들에서는, 카메라에 의해 캡처된 비디오 이미지들을 분석하여, 사용자의 시선 위치를 검출할 수 있다. 일부 실시예들에서는, 검출된 사용자의 시선의 위치에 대응하는 위치 또는 영역이 디스플레이 스크린 상에서 지시된다. 예컨대, 커서에 의해 또는 결정된 시선 위치에 위치하는 타일을 강조 또는 다르게 강조함으로써 대응하는 온-스크린 위치가 지시될 수 있다.
단계 105에서, 사용자가 응시하고 있는 인터페이스 타일이 식별된다. 인터페이스 타일은 검출된 사용자의 시선의 위치에 기초하여 식별될 수 있다. 예를 들어, 사용자의 시선이 디스플레이 스크린의 위치 (x, y)에 있는 것으로 검출되는 경우, 디스플레이의 그 영역을 점유하는 타일이 식별된다. 사용자가 응시하고 있는 인터페이스 타일의 식별은 사용자가 긴 시선을 응시하였는지에 기초할 수 있다. 즉, 사용자가 타일을 사전 정의된 기간 이상 동안 응시하였는지의 여부에 기초할 수 있다. 일부 실시예들에서, 사전 정의된 기간은 사용자 구성 가능 변수이다. 일부 실시예들에서는, 사용자가 1초 동안 대략 동일한 위치를 응시하고 있었던 경우에만 타일이 식별될 수 있다. 타일의 식별은 그 기간 동안 사용자의 시선의 사소한 움직임을 고려할 수 있다. 일부 실시예들에서, 확장 타일은 사용자가 타일에 대한 긴 시선을 응시하고 음성 명령을 제공한 경우에만 표시된다.
단계 107에서, 확장 타일이 표시된다. 일부 실시예들에서는, 격자 상의 인터페이스 타일이 사용자가 응시하고 있는 타일로서 식별될 때 확장 타일이 표시된다. 일부 실시예들에서, 확장 타일은 관련된 인터페이스 타일에 인접하게 표시될 수 있다. 확장 타일의 표시는 인터페이스 타일 격자 상의 인터페이스 타일들 중 일부의 재배열을 포함할 수 있다. 일부 실시예들에서, 확장 타일은 단계 101 동안 표시된 임의의 인터페이스 타일에 대해 사용자의 응시를 방해하지 않는다. 일부 실시예들에서, 인터페이스 타일들의 재배열은 타일들 중 일부를 디스플레이의 프레임 밖에 있게 할 수 있다. 일부 실시예들에서, 확장 타일은 식별된 인터페이스 타일의 열과 그 인터페이스 타일에 인접하는 인터페이스 타일들의 열 사이에 삽입되며, 따라서 확장 타일의 표시를 위한 공간을 만들기 위해 확장 타일들의 일측의 인터페이스 타일들은 식별된 인터페이스 타일로부터 떨어져서 재배열된다.
일부 실시예들에서, 확장 타일은 식별된 인터페이스 타일과 관련된 정보 또는 콘텐츠를 표시한다. 일부 실시예들에서, 확장 타일 내에 표시되는 정보 또는 콘텐츠는 뉴스 피드, 블로그 포스트, 웹사이트 스냅샷, 기상 정보 및 예보, 소셜 미디어 상태 갱신, 게임 스코어 보드, 비디오 클립, 사진, 캘린더, 약속 스케줄, 지도, 오디오 플레이리스트 및 주식 시세 표시기 중 하나 이상일 수 있다. 확장 타일 구성 및 콘텐츠의 더 상세한 예들이 도 2 내지 도 4를 참조하여 나중에 제공된다.
일부 실시예들에서, 사용자는 눈 움직임, 시선 위치, 음성 코멘트, 터치 입력, 포인터/커서 입력, 키보드 입력 등과 같은 하나 이상의 사용자 입력 방법을 이용하여 확장 타일의 콘텐츠와 상호작용할 수 있다. 추가적인 사용자 입력은 확장 타일이 추가적인 콘텐츠를 표시하거나, 상이한 타입의 콘텐츠를 표시하거나, 제어 또는 옵션 메뉴를 표시하거나, 프로그램을 개시하거나 등등을 수행하게 할 수 있다. 예를 들어, 사용자는 눈 움직임을 이용하여 확장 타일의 콘텐츠를 스크롤할 수 있다. 다른 예에서는, 확장 타일 및/또는 메인 애플리케이션에서의 액션을 유발하기 위해 음성 명령들이 행해질 수 있다. 예를 들어, 사용자는 확장 타일의 콘텐츠를 응시하고 있는 동안에 관련 프로그램 또는 애플리케이션을 실행하기 위해 "열기(open)"라고 말할 수 있다. 일부 실시예들에서, 액션은 검출된 사용자의 시선의 위치 및 다른 입력들 중 하나의 결합에 기초한다.
단계 107 후에, 일부 실시예들에서, 시스템은 사용자의 시선이 확장 타일에 의해 점유된 영역으로부터 떨어져서 이동한 것을 검출할 수 있다. 사용자의 시선이 더 이상 확장 타일 및/또는 이전에 식별된 인터페이스 타일을 응시하고 있지 않을 때, 확장 타일의 표시가 중단될 수 있다. 예를 들어, 사용자 인터페이스는 확장 타일이 표시되기 전의 상태로 복귀할 수 있다. 이어서, 사용자는 다른 타일을 일정 기간 동안 응시할 수 있고, 제2 인터페이스 타일과 관련된 다른 확장 타일의 표시를 유발할 수 있다. 대안으로서, 일부 실시예들에서, 확장 타일은 사용자의 시선이 확장 타일을 벗어난 경우에도 표시되며, 사용자가 제2 확장 타일의 표시를 유발한 경우에만 제거된다.
이어서, 도 2를 참조하면, 일부 실시예들에 따른 눈 추적 사용자 인터페이스의 도면이 도시되어 있다. 도 2는 도 1의 단계 101에서 표시되는 인터페이스의 일례일 수 있다. 도 2에 도시된 사용자 인터페이스는 타일 격자들(200, 280)을 포함한다. 타일 격자(200)는 11개의 인터페이스 타일을 포함한다. 도 2에 도시된 타일들의 수는 설명의 목적을 위한 것일 뿐이다. 사용자 인터페이스는 임의 수의 열들 및 행들 내에 배열된 임의 수의 타일들을 포함할 수 있다. 사용자 인터페이스는 다른 구조들 내의 아이콘들도 포함할 수 있다. 도 2에 도시된 격자(200)는 특히 소셜 미디어 인터페이스 타일(210) 및 날씨 인터페이스 타일(220)을 포함한다. 각각의 인터페이스 타일은 컬러 배경들 및/또는 사진들, 애니메이션되는 이미지들, 비디오 클립들 등 상의 텍스트 및 아이콘들을 포함할 수 있다. 도 2에 도시된 바와 같이, 타일 격자(200) 상의 타일들은 크기가 모두 동일하지는 않을 수 있다. 일부 타일들은 격자(200) 상의 하나의 셀을 점유할 수 있는 반면, 인터페이스 타일들(210, 220)과 같은 다른 타일들은 2개의 셀을 점유한다. 일부 실시예들에서, 격자는 절반, 3개 또는 4개 등의 셀을 점유하는 타일들과 같은 더 크거나 더 작은 타일들을 포함할 수 있다.
일부 실시예들에서, 사용자는 스크린의 우측을 응시하여 타일 격자(280)를 시야 내로 스크롤함으로써 타일 격자(280) 상의 타일들과 상호작용할 수 있다. 일부 실시예들에서, 인터페이스의 좌측, 상측 또는 하측을 보는 것은 옵션 메뉴, 시작 메뉴, 단축 메뉴, 가상 키보드 등의 표시와 같은 다른 액션들을 유발한다.
일부 실시예들에서, 인터페이스 타일들 중 적어도 일부는 프로그램 또는 애플리케이션과 관련된다. 예를 들어, 소셜 미디어 인터페이스 타일(210)은 소셜 미디어 애플리케이션 또는 웹 브라우저 북마크와 관련될 수 있다. 날씨 인터페이스 타일(220)은 날씨 정보 애플리케이션 또는 웹사이트 북마크와 관련될 수 있다. 일부 실시예들에서, 사용자들은 인터페이스 타일을 선택함으로써 관련 프로그램 또는 애플리케이션을 실행할 수 있다. 예를 들어, 사용자는 타일을 응시하는 동안 음성 명령을 이용하여 관련 프로그램 또는 애플리케이션을 실행할 수 있다. 일부 실시예들에서, 사용자들은 터치스크린 입력 디바이스, 포인터 디바이스, 음성 명령, 원격 제어기, 게임 제어기, 키보드 등을 이용하여 프로그램을 실행할 타일을 선택할 수 있다. 일부 실시예들에서, 인터페이스 타일들 중 적어도 일부는 프로그램 또는 애플리케이션과 관련되지 않는다.
이어서, 도 3을 참조하면, 일부 실시예들에 따른, 확장 타일이 표시된 예시적인 사용자 인터페이스들의 도면이 도시되어 있다. 일부 실시예들에서, 도 3은 단계 107에서 표시된 인터페이스의 일례를 나타낸다. 예를 들어, 시스템이 사용자의 시선을 추적하고, 사용자가 사전 결정된 기간 이상 동안 도 2에 도시된 바와 같은 소셜 미디어 인터페이스 타일(210)을 응시하고 있었다는 것을 검출한 후, 확장 타일(215)이 표시된다. 도 3에 도시된 바와 같이, 소셜 미디어 인터페이스 타일(210)을 보는 것은 소셜 미디어 갱신을 나타내는 콘텐츠를 갖는 확장 타일(215)의 표시를 유발한다. 도 3에서, 확장 타일(215)은 그의 관련 인터페이스 타일(210)의 열과 타일들의 다른 열 사이에 삽입된다. 확장 타일이 표시될 때 인터페이스 타일들은 다수의 다른 방식으로 재배열될 수 있다. 예를 들어, 인터페이스 타일들 중 일부 또는 전부는 확장 타일이 표시될 때 위로, 아래로, 좌로 또는 우로 이동될 수 있다. 일부 실시예들에서, 인터페이스 타일들 중 일부의 위치는 또한 서로에 대해 변경될 수 있다. 일부 실시예들에서, 인터페이스 타일들은 확장 타일이 스크린 상의 격자(200) 상의 인터페이스 타일들을 차단하지 않도록 재배열된다.
일부 실시예들에서, 사용자는 확장 타일(215)의 콘텐츠를 스크롤하기 위해 위 또는 아래를 응시할 수 있다. 눈 추적은 사용자가 확장 타일의 콘텐츠를 응시하고 있는 동안에 사용자의 시선의 이동 및/또는 위치를 추적하는 것을 포함할 수 있다. 이어서, 시스템은 사용자의 눈들의 추적된 이동 또는 위치에 기초하여 콘텐츠를 스크롤할 수 있다. 일부 실시예들에서는, 확장 타일(215)과 함께 스크롤 아이콘들(217, 219)이 표시된다. 사용자는 스크롤 아이콘(219)을 응시하여, 확장 타일(215) 내의 소셜 미디어 갱신 피드의 콘텐츠를 아래로 스크롤함으로써 더 많은 콘텐츠를 응시할 수 있다. 사용자는 또한 스크롤 아이콘(217)을 응시하여 콘텐츠를 위로 스크롤할 수 있다.
일부 실시예들에서, 사용자는 다른 입력 디바이스들을 이용하여 확장 타일의 콘텐츠와 더 상호작용할 수 있다. 예를 들어, 터치스크린 입력, 포인터 디바이스, 마이크, 키보드, 리모컨, 게임 제어기 등을 이용하여 확장 타일 내의 아이템을 선택함으로써 액션을 수행할 수 있다. 확장 타일(215) 내에 표시된 소셜 미디어 피드의 예에서, 사용자는 입력 디바이스를 이용하여 갱신들 중 하나를 선택하여, 관련 소셜 미디어 애플리케이션 내의 전체 갱신을 응시할 수 있다. 다른 예에서, 사용자는 입력 디바이스를 이용하여 사진 갱신들 중 하나를 선택하여, 전체 소셜 미디어 애플리케이션을 실행하지 않고도 관찰할 이미지를 확대할 수 있다. 위의 예는 예로서 제공될 뿐이며, 확장 타일의 콘텐츠는 식별된 인터페이스 타일 및 확장 타일과 관련된 프로그램 또는 애플리케이션의 실행을 포함하거나 포함하지 않을 수 있는 다양한 방식으로 상호작용될 수 있다.
이어서, 도 4를 참조하면, 일부 실시예들에 따른, 확장 타일이 표시된 다른 예시적인 사용자 인터페이스의 도면이 도시되어 있다. 일부 실시예들에서, 도 4는 단계 107에서 표시된 인터페이스의 다른 예를 나타낸다. 예를 들어, 시스템이 사용자의 시선을 추적하고, 사용자가 사전 결정된 기간 이상 동안 도 2에 도시된 바와 같은 인터페이스 타일(220)을 응시하고 있었다는 것을 검출한 후, 확장 타일(225)이 표시될 수 있다. 일부 실시예들에서, 도 4는 도 3에서 확장 타일(215)을 응시하는 사용자가 그 시선을 확장 타일(215)로부터 떨어져서 인터페이스 타일(220) 상으로 이동한 후에 표시된다.
도 4에 도시된 바와 같이, 날씨 정보 인터페이스 타일(220)은 현재의 날씨 상태 및 하루 동안의 일기 예보를 표시할 수 있다. 설정된 기간 동안 날씨 인터페이스 타일(220)을 응시하는 것은 여러 날 동안의 일기 예보를 보여주는 확장 타일(225)의 표시를 유발한다. 도 4는 또한 확장 타일(225)이 표시될 때 여러 개의 인터페이스 셀이 재배열되는 것을 보여준다. 일부 실시예에서, 사용자는 확장 타일(225)의 콘텐츠와 더 상호작용할 수 있다. 예를 들어, 사용자는 확장 타일 내에 표시된 날들 전후의 날들에 대한 날씨 정보를 보기 위해 위아래를 응시할 수 있다. 일부 실시예들에서, 사용자는 입력 디바이스를 이용하여 날짜들 중 하나를 선택하여, 선택된 날짜의 더 상세한 예보를 표시할 수 있다. 예를 들어, 상세한 정보는 시간별 예보, 강수량, 풍속, 습도, 이슬점, 꽃가루 지수 등을 포함할 수 있다.
도 2 내지 도 4에 도시된 사용자 인터페이스, 인터페이스 타일들 및 확장 타일들은 본 명세서에서 설명되는 눈 추적 사용자 인터페이스의 실시예들일 뿐이다. 본 발명의 사상으로부터 벗어나지 않고서 다른 구성들이 가능하다. 인터페이스 타일 및 확장 타일들의 추가적인 예가 설명을 위해 본 명세서에 제공된다.
일부 실시예들에서, 인터페이스 타일은 뉴스 채널 또는 웹사이트와 같은 뉴스 프로그램과 관련될 수 있다. 인터페이스 타일은 뉴스 이미지, 비디오 클립, 헤드라인 및/또는 사용자가 선택한 뉴스 피드를 표시할 수 있다. 인터페이스 타일은 선택시에 뉴스 채널 또는 사이트에 액세스하기 위한 애플리케이션을 열 수 있다. 뉴스 인터페이스 타일과 관련된 확장 타일이 신규 비디오, 헤드라인들의 리스트, 신규 요약, 전체 신규 기사 등을 표시할 수 있다.
일부 실시예들에서, 인터페이스 타일은 캘린더 프로그램과 관련될 수 있다. 인터페이스 타일은 현재 날짜 및 하나 이상의 캘린더 엔트리를 표시할 수 있다. 캘린더 인터페이스 타일은 선택시에 응시 및 편집할 캘린더를 열 수 있다. 캘린더 인터페이스 타일과 관련된 확장 타일은 추가적인 캘린더 엔트리들을 표시하고/하거나 캘린더의 주간 보기 또는 월간 보기를 표시할 수 있다.
일부 실시예들에서, 인터페이스 타일은 교통 정보 타일일 수 있다. 인터페이스 타일은 목적지까지의 추정 여행 시간 및/또는 사전 정의된 경로 상의 현재 교통 상태의 지시자를 표시할 수 있다. 교통 정보 타일은 선택시에 방향들을 제공하고 목적지들을 설정하기 위한 지도를 열 수 있다. 교통 정보 타일과 관련된 확장 타일은 교통 정보 오버레이를 갖는 영역의 지도, 방향들의 리스트를 표시할 수 있거나, 목적지들의 리스트를 포함할 수 있다.
일부 실시예들에서, 인터페이스 타일은 소셜 사진 공유 인터페이스 타일일 수 있다. 인터페이스 타일은 소셜 사진 공유 서비스로부터의 사진을 표시할 수 있다. 소셜 사진 공유 타일은 선택시에 사진 공유 웹사이트 또는 애플리케이션을 열 수 있다. 소셜 사진 공유 타일과 관련된 확장 타일은 공유 사진들의 피드를 표시할 수 있다.
일부 실시예들에서, 인터페이스 타일은 음악 재생기 타일일 수 있다. 음악 재생기 타일은 음악 라이브러리 내의 노래 및/또는 현재 재생되고 있는 노래의 앨범 커버를 표시할 수 있다. 음악 재생기 타일은 선택시에 로컬 또는 스트리밍 음악 재생기 애플리케이션을 열 수 있다. 음악 재생기 타일과 관련된 확장 타일은 현재 재생되고 있는 노래에 대한 플레이리스트 및/또는 상세 정보, 예를 들어 곡명, 아티스트 이름, 가사 등을 표시할 수 있다.
일부 실시예들에서, 하나의 인터페이스 타일은 사진 앨범 타일일 수 있다. 사진 앨범 타일은 사진 앨범 내에 하나 이상의 사진을 표시할 수 있다. 사진 앨범은 선택시에 사진 관찰 애플리케이션을 열 수 있다. 사진 앨범 타일과 관련된 확장 타일은 앨범 내의 사진들의 슬라이드쇼 또는 섬네일들을 표시할 수 있다.
일부 실시예들에서, 하나의 인터페이스 타일은 주식 정보 타일일 수 있다. 주식 정보 타일은 선택된 주식들의 세트에 대한 주식 시세 표시기를 표시할 수 있다. 주식 정보 타일은 선택시에 주식 추적 및/또는 거래 프로그램 또는 웹사이트를 열 수 있다. 주식 정보 타일과 관련된 확장 타일은 더 많은 주식 시세 표시기, 주가를 추적하는 그래픽, 주식 관련 뉴스 피드 등을 표시할 수 있다.
일부 실시예들에서, 하나의 인터페이스 타일은 스포츠 스코어 타일일 수 있다. 스포츠 스코어 타일은 선택된 게임들 또는 팀들의 세트에 대한 게임 스코어들을 표시할 수 있다. 선택시에, 스포츠 스코어 타일은 스포츠 보도 애플리케이션 또는 웹사이트를 열 수 있다. 스포츠 스코어 타일과 관련된 확장 타일은 추가적인 게임 스코어, 게임 리포트, 게임 하이라이트, 플레이어 상태, 토너먼트 대진표, 임박한 게임 스케줄 등을 표시할 수 있다.
위의 설명들은 예들로서 제공될 뿐, 한정을 의도하지 않는다. 일부 실시예들에서, 확장 타일의 콘텐츠는 관련 프로그램 또는 애플리케이션에 의해 결정될 수 있다. 일부 실시예들에서, 운영 체제 또는 로컬 프로그램이 확장 타일의 콘텐츠를 생성할 수 있다. 예를 들어, 로컬 프로그램은 애플리케이션과 관련된 웹 서비스로부터 정보를 검색하여, 확장 타일의 콘텐츠를 생성할 수 있다. 일부 실시예들에서, 확장 타일의 콘텐츠는 사용자가 구성한 설정들을 이용하여 맞춤화될 수 있다.
이어서, 도 5를 참조하면, 일부 실시예들에 따른 시스템의 간략화된 블록도가 도시되어 있다. 눈 추적 인터페이스를 제공하기 위한 시스템(500)은 프로세서(501), 메모리(503), 디스플레이(505), 눈 추적기 디바이스(507) 및 입력 디바이스(509)를 포함할 수 있다.
시스템(500)은 텔레비전, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 게임 콘솔, 이동 전화, 스마트폰, 휴대용 미디어 플레이어, 셋톱 박스, 개인용 휴대 단말기, 스마트 안경 등일 수 있다. 메모리(503)는 디바이스 상의 RAM 및/또는 하드 드라이브 메모리일 수 있다. 디스플레이(505)는 시스템(500)과 통합된 디스플레이일 수 있거나, 개별 디바이스일 수 있다. 눈 추적기(507)는 사용자의 시선을 독립적으로 추적하고/하거나 프로세서(501)에 신호를 제공할 수 있는 카메라, 광센서 등일 수 있다. 입력 디바이스(509)는 사용자로 하여금 시스템(500)과 상호작용할 수 있게 해주는 하나 이상의 디바이스, 예를 들어 마이크, 키보드, 마우스, 터치 패드, 터치스크린, 모션 센서, 리모컨 등일 수 있다. 일부 실시예들에서, 프로세서(501), 메모리(503), 디스플레이(505), 눈 추적기 디바이스(507) 및 다른 입력 디바이스(509) 중 둘 이상이 하나의 디바이스 내에 통합될 수 있다.
일부 실시예들에서, 눈 추적 사용자 인터페이스는 메모리(503)에 저장된다. 프로세서(501)는 메모리(503)에 저장된 코드들을 실행하여, 디스플레이 디바이스(505) 상에 사용자 인터페이스를 표시한다. 프로세서(501)는 눈 추적기 디바이스(507)로부터 수신된 신호를 이용하여, 사용자가 사용자 인터페이스 내의 인터페이스 타일을 사전 결정된 기간 동안 응시하고 있는지를 결정할 수 있다. 그러한 경우, 프로세서(501)는 디스플레이 디바이스(505)로 하여금 식별된 인터페이스 타일과 관련된 확장 타일을 표시하게 한다. 일부 실시예들에서, 프로세서(501)가 사용자가 확장 타일을 더 이상 응시하고 있지 않은 것으로 결정하는 경우, 프로세서는 디스플레이로부터 확장 타일을 제거할 수 있다. 일부 실시예들에서, 사용자는 또한 하나 이상의 추가적인 입력 디바이스(509)를 이용하여 사용자 인터페이스, 인터페이스 타일들 및 확장 타일들과 상호작용할 수 있다. 일부 실시예들에서, 프로세서(501)는 추적된 눈의 시선 신호와 다른 입력 디바이스들을 구별한다. 예를 들어, 포인터 디바이스를 이용하는 포인터의 호버링(hovering)은 긴 눈의 시선와 구별될 수 있다. 일부 실시예들에서, 시스템(500)은 인터페이스 타일, 확장 타일, 애플리케이션, 프로그램 및/또는 인터페이스 타일과 관련된 웹사이트들에 정보를 제공하기 위해 인터넷 접속, 와이파이 접속, 이동 네트워크 접속, 유선 네트워크 접속 등과 같은 외부 접속을 더 포함한다. 일부 실시예들에서, 눈 추적 사용자 인터페이스는 시스템(500)의 운영 체제이다. 일부 실시예들에서, 눈 추적 사용자 인터페이스는 시스템(500) 상에서 실행되는 프로그램의 인터페이스이다.
전술한 방법들 및 장치들은 사용자들이 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 효율적인 수단을 제공한다. 확장 타일은 디바이스가 전체 애플리케이션을 실행하지 않고도 원하는 정보를 사용자에게 빠르게 제공하는 데 사용될 수 있다. 사용자는 또한 메인 인터페이스를 벗어나지 않고도 하나의 확장 타일로부터 다른 확장 타일로 쉽게 전환할 수 있다. 확장 타일들은 또한 메인 인터페이스 상의 추가 공간을 영구적으로 점유하지 않고도 오리지널 인터페이스 타일 내에 수용될 수 있는 것보다 많은 정보의 표시를 가능하게 한다. 더구나, 사용자는 사용자 인터페이스와 상호작용할 수 있고, 터치스크린, 마우스, 키보드, 리모컨 등과 같은 다른 입력 디바이스를 사용하지 않고도 단지 눈 움직임만을 이용하여 원하는 정보를 획득할 수 있다.
본 명세서에서 설명된 기능 유닛들 중 다수는 이들의 구현 독립성을 구체적으로 강조하기 위해 단계들로서 라벨링되었다. 예를 들어, 단계는 주문형 VLSI 회로 또는 게이트 어레이, 및 논리 칩, 트랜지스터와 같은 기성 반도체, 또는 기타 개별 컴포넌트를 포함하는 하드웨어 회로로서 구현될 수 있다. 단계는 또한 필드 프로그래밍 가능 게이트 어레이, 프로그래밍 가능 어레이 논리, 프로그래밍 가능 논리 디바이스 등과 같은 프로그래밍 가능 하드웨어 디바이스들로서 구현될 수 있다.
단계들은 또한 다양한 타입의 프로세서들에 의한 실행을 위해 소프트웨어로 구현될 수 있다. 예를 들어, 식별된 실행 가능 코드의 모듈은 예를 들어 객체(object), 절차 또는 함수로서 체계화될 수 있는 컴퓨터 명령어들의 하나 이상의 물리 또는 논리 블록을 포함할 수 있다. 그러나, 식별된 모듈의 실행 파일들은 물리적으로 함께 배치될 필요가 없으며, 논리적으로 함께 결합될 때 단계를 포함하고, 단계에 대한 설명된 목적을 달성하는, 상이한 위치들에 저장된 상이한 명령어들을 포함할 수 있다.
본 명세서에서 개시된 본 발명은 본 발명의 특정 실시예들, 예시들 및 애플리케이션들에 의해 설명되었지만, 청구범위에 설명된 본 발명의 범위 내에서 그들에 대한 다양한 변경들 및 변형들이 이 분야의 기술자들에 의해 이루어질 수 있다.

Claims (20)

  1. 그래픽 인터페이스를 제공하기 위한 방법으로서,
    디스플레이 디바이스 상에 인터페이스 타일들의 세트를 표시하는 단계;
    사용자의 시선(user's gaze)의 위치를 검출하는 단계;
    상기 인터페이스 타일들의 세트로부터 상기 사용자가 일정 기간 동안 응시하고 있는 인터페이스 타일을 식별하는 단계;
    상기 인터페이스 타일들의 세트와 함께 확장 타일을 표시하는 단계
    를 포함하고,
    상기 확장 타일은 상기 인터페이스 타일들의 세트 중 식별된 상기 인터페이스 타일과 관련된 추가적인 콘텐츠를 포함하는, 그래픽 인터페이스를 제공하기 위한 방법.
  2. 제1항에 있어서,
    상기 인터페이스 타일들의 세트는 하나 이상의 실행 가능 애플리케이션과 관련된 하나 이상의 인터페이스 타일을 포함하는, 그래픽 인터페이스를 제공하기 위한 방법.
  3. 제1항에 있어서,
    상기 확장 타일은 식별된 상기 인터페이스 타일에 인접하게 표시되는, 그래픽 인터페이스를 제공하기 위한 방법.
  4. 제1항에 있어서,
    상기 확장 타일을 표시하는 단계는 상기 인터페이스 타일들의 세트 중 하나 이상의 타일을 재배열하는 단계를 더 포함하는, 그래픽 인터페이스를 제공하기 위한 방법.
  5. 제1항에 있어서,
    음성 명령을 수신하는 단계; 및
    검출된 사용자의 시선의 위치와 상기 음성 명령의 결합에 기초하여 액션을 실행하는 단계
    를 더 포함하는, 그래픽 인터페이스를 제공하기 위한 방법.
  6. 제1항에 있어서,
    사용자의 시선의 움직임에 기초하여 상기 확장 타일 내의 상기 추가적인 콘텐츠를 스크롤하는 단계를 더 포함하는, 그래픽 인터페이스를 제공하기 위한 방법.
  7. 제1항에 있어서,
    상기 인터페이스 타일들의 세트는 격자 내에 배열되고, 상기 인터페이스 타일들의 세트 중 적어도 하나는 상기 격자의 2개 이상의 셀을 점유하는, 그래픽 인터페이스를 제공하기 위한 방법.
  8. 제1항에 있어서,
    상기 인터페이스 타일들의 세트로부터의 타일을 강조하여, 검출된 사용자의 시선의 위치를 지시(indicate)하는 단계를 더 포함하는, 그래픽 인터페이스를 제공하기 위한 방법.
  9. 제1항에 있어서,
    상기 사용자가 상기 확장 타일을 응시하고 있지 않다는 것을 검출하는 단계; 및
    상기 확장 타일의 표시를 종료하는 단계
    를 더 포함하는, 그래픽 인터페이스를 제공하기 위한 방법.
  10. 제1항에 있어서,
    상기 추가적인 콘텐츠는 뉴스 피드들(news feeds), 블로그 포스트들, 웹사이트 스냅샷, 날씨 정보 및 예보들, 소셜 미디어 상태 갱신들, 게임 스코어 보드, 비디오 클립, 사진들, 캘린더, 약속 스케줄, 지도, 오디오 플레이리스트 및 주식 시세 표시기로 구성되는 그룹으로부터 선택되는 적어도 하나를 포함하는, 그래픽 인터페이스를 제공하기 위한 방법.
  11. 그래픽 인터페이스를 제공하기 위한 장치로서
    눈 추적(eye-tracking) 디바이스;
    디스플레이 디바이스; 및
    프로세서 기반 시스템
    을 포함하고,
    상기 프로세서 기반 시스템은
    상기 디스플레이 디바이스로 하여금 상기 디스플레이 디바이스 상에 인터페이스 타일들의 세트를 표시하게 하고;
    상기 눈 추적 디바이스로부터의 신호들을 이용하여 사용자의 시선의 위치를 검출하고;
    상기 인터페이스 타일들의 세트로부터 상기 사용자가 일정 기간 동안 응시하고 있는 인터페이스 타일을 식별하고;
    상기 디스플레이 디바이스로 하여금 상기 인터페이스 타일들의 세트와 함께 확장 타일을 표시하게 하도록 구성되며,
    상기 확장 타일은 상기 인터페이스 타일들의 세트 중 식별된 상기 인터페이스 타일과 관련된 추가적인 콘텐츠를 포함하는, 그래픽 인터페이스를 제공하기 위한 장치.
  12. 제11항에 있어서,
    상기 인터페이스 타일들의 세트는 하나 이상의 실행 가능 애플리케이션과 관련된 하나 이상의 인터페이스 타일을 포함하는, 그래픽 인터페이스를 제공하기 위한 장치.
  13. 제11항에 있어서,
    상기 확장 타일은 식별된 상기 인터페이스 타일에 인접하게 표시되는, 그래픽 인터페이스를 제공하기 위한 장치.
  14. 제11항에 있어서,
    상기 확장 타일을 표시하는 것은 상기 인터페이스 타일들의 세트 중 나머지를 재배열하는 것을 더 포함하는, 그래픽 인터페이스를 제공하기 위한 장치.
  15. 제11항에 있어서,
    음성 명령을 수신하는 것; 및
    검출된 사용자의 시선의 위치와 상기 음성 명령의 결합에 기초하여 액션을 실행하는 것
    을 더 포함하는, 그래픽 인터페이스를 제공하기 위한 장치.
  16. 제11항에 있어서,
    사용자의 눈의 움직임에 기초하여 상기 확장 타일의 상기 추가적인 콘텐츠를 스크롤하는 것을 더 포함하는, 그래픽 인터페이스를 제공하기 위한 장치.
  17. 제11항에 있어서,
    상기 인터페이스 타일들의 세트는 격자 내에 배열되고, 상기 인터페이스 타일들의 세트 중 적어도 하나의 타일은 상기 격자의 2개 이상의 셀을 점유하는, 그래픽 인터페이스를 제공하기 위한 장치.
  18. 제11항에 있어서,
    상기 인터페이스 타일들의 세트로부터의 타일을 강조하여, 검출된 사용자의 시선의 위치를 지시하는 것을 더 포함하는, 그래픽 인터페이스를 제공하기 위한 장치.
  19. 제11항에 있어서,
    상기 사용자가 상기 확장 타일을 응시하고 있지 않다는 것을 검출하는 것; 및
    상기 확장 타일의 표시를 종료하는 것
    을 더 포함하는, 그래픽 인터페이스를 제공하기 위한 장치.
  20. 컴퓨터 판독 가능 저장 매체 상에 저장된 컴퓨터 실행 가능 코드들을 포함하는 컴퓨터 소프트웨어 제품으로서,
    상기 컴퓨터 실행 가능 코드는 프로세서 기반 시스템으로 하여금,
    디스플레이 디바이스 상에 인터페이스 타일들의 세트를 표시하는 단계;
    사용자의 시선의 위치를 검출하는 단계;
    상기 인터페이스 타일들의 세트로부터 상기 사용자가 일정 기간 동안 응시하고 있는 인터페이스 타일을 식별하는 단계;
    상기 인터페이스 타일들의 세트와 함께 확장 타일을 표시하는 단계
    를 수행하게 하도록 구성되며,
    상기 확장 타일은 상기 인터페이스 타일들의 세트 중 식별된 상기 인터페이스 타일과 관련된 추가적인 콘텐츠를 포함하는, 컴퓨터 소프트웨어 제품.
KR1020140000259A 2013-01-07 2014-01-02 눈 추적 사용자 인터페이스 KR101543947B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/735,898 2013-01-07
US13/735,898 US20140195918A1 (en) 2013-01-07 2013-01-07 Eye tracking user interface

Publications (2)

Publication Number Publication Date
KR20140090094A true KR20140090094A (ko) 2014-07-16
KR101543947B1 KR101543947B1 (ko) 2015-08-11

Family

ID=49920149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000259A KR101543947B1 (ko) 2013-01-07 2014-01-02 눈 추적 사용자 인터페이스

Country Status (5)

Country Link
US (1) US20140195918A1 (ko)
EP (1) EP2762997A3 (ko)
JP (1) JP5777023B2 (ko)
KR (1) KR101543947B1 (ko)
CN (1) CN103914141A (ko)

Families Citing this family (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
WO2011037558A1 (en) 2009-09-22 2011-03-31 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8595317B1 (en) 2012-09-14 2013-11-26 Geofeedr, Inc. System and method for generating, accessing, and updating geofeeds
US8655983B1 (en) 2012-12-07 2014-02-18 Geofeedr, Inc. System and method for location monitoring based on organized geofeeds
US8639767B1 (en) 2012-12-07 2014-01-28 Geofeedr, Inc. System and method for generating and managing geofeed-based alerts
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US9619020B2 (en) 2013-03-01 2017-04-11 Tobii Ab Delay warp gaze interaction
US8612533B1 (en) * 2013-03-07 2013-12-17 Geofeedr, Inc. System and method for creating and managing geofeeds
US8850531B1 (en) 2013-03-07 2014-09-30 Geofeedia, Inc. System and method for targeted messaging, workflow management, and digital rights management for geofeeds
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
US8862589B2 (en) 2013-03-15 2014-10-14 Geofeedia, Inc. System and method for predicting a geographic origin of content and accuracy of geotags related to content obtained from social media and other content providers
US9317600B2 (en) 2013-03-15 2016-04-19 Geofeedia, Inc. View of a physical space augmented with social media content originating from a geo-location of the physical space
US8849935B1 (en) 2013-03-15 2014-09-30 Geofeedia, Inc. Systems and method for generating three-dimensional geofeeds, orientation-based geofeeds, and geofeeds based on ambient conditions based on content provided by social media content providers
USD739865S1 (en) * 2013-05-02 2015-09-29 Fuhu, Inc. Display screen or portion thereof with graphical user interface
USD736806S1 (en) * 2013-05-02 2015-08-18 Fuhu, Inc. Display screen or a portion thereof with graphical user interface
JP6317817B2 (ja) 2013-07-25 2018-04-25 コンヴィーダ ワイヤレス， エルエルシー エンドツーエンドｍ２ｍサービス層セッション
US20150046812A1 (en) * 2013-08-12 2015-02-12 Google Inc. Dynamic resizable media item player
US10282068B2 (en) 2013-08-26 2019-05-07 Venuenext, Inc. Game event display with a scrollable graphical game play feed
US10500479B1 (en) 2013-08-26 2019-12-10 Venuenext, Inc. Game state-sensitive selection of media sources for media coverage of a sporting event
US9575621B2 (en) 2013-08-26 2017-02-21 Venuenext, Inc. Game event display with scroll bar and play event icons
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US9361733B2 (en) * 2013-09-02 2016-06-07 Lg Electronics Inc. Portable device and method of controlling therefor
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9904360B2 (en) * 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US9578377B1 (en) 2013-12-03 2017-02-21 Venuenext, Inc. Displaying a graphical game play feed based on automatically detecting bounds of plays or drives using game related data sources
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
USD771086S1 (en) * 2013-12-30 2016-11-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD756393S1 (en) * 2014-01-06 2016-05-17 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9880711B2 (en) 2014-01-22 2018-01-30 Google Llc Adaptive alert duration
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20160018654A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
WO2015140106A1 (en) * 2014-03-17 2015-09-24 IT-Universitetet i København Computer-implemented gaze interaction method and apparatus
KR20150108216A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
US9639231B2 (en) * 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
EP3126969A4 (en) * 2014-04-04 2017-04-12 Microsoft Technology Licensing, LLC Expandable application representation
CN105359055A (zh) 2014-04-10 2016-02-24 微软技术许可有限责任公司 计算设备的滑盖
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
DE102014211342A1 (de) * 2014-06-13 2015-12-17 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Anpassen einer semantischen Skalierung einer Kachel
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
US20160048319A1 (en) * 2014-08-18 2016-02-18 Microsoft Technology Licensing, Llc Gesture-based Access to a Mix View
CN104238751B (zh) * 2014-09-17 2017-06-27 联想(北京)有限公司 一种显示方法及电子设备
US9535497B2 (en) * 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
WO2016097909A1 (en) * 2014-12-16 2016-06-23 Koninklijke Philips N.V. Automatic radiology reading session detection
US10303247B2 (en) * 2015-01-16 2019-05-28 Hewlett-Packard Development Company, L.P. User gaze detection
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
CN107407977B (zh) * 2015-03-05 2020-12-08 索尼公司 信息处理设备、控制方法及程序
CN112882233B (zh) 2015-05-19 2023-08-01 奇跃公司 双复合光场装置
US10671234B2 (en) * 2015-06-24 2020-06-02 Spotify Ab Method and an electronic device for performing playback of streamed media including related media content
CN105094604A (zh) * 2015-06-30 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
USD769907S1 (en) * 2015-07-28 2016-10-25 Microsoft Corporation Display screen with animated graphical user interface
US9485318B1 (en) 2015-07-29 2016-11-01 Geofeedia, Inc. System and method for identifying influential social media and providing location-based alerts
USD780801S1 (en) * 2015-09-18 2017-03-07 Sap Se Display screen or portion thereof with animated graphical user interface
KR101840350B1 (ko) 2015-09-24 2018-03-20 주식회사 뷰노 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
US10148808B2 (en) * 2015-10-09 2018-12-04 Microsoft Technology Licensing, Llc Directed personal communication for speech generating devices
US10262555B2 (en) 2015-10-09 2019-04-16 Microsoft Technology Licensing, Llc Facilitating awareness and conversation throughput in an augmentative and alternative communication system
US9679497B2 (en) 2015-10-09 2017-06-13 Microsoft Technology Licensing, Llc Proxies for speech generating devices
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
US10303341B2 (en) 2016-05-25 2019-05-28 International Business Machines Corporation Modifying screen content based on gaze tracking and user distance from the screen
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
WO2018009828A1 (en) 2016-07-08 2018-01-11 Vid Scale, Inc. Systems and methods for region-of-interest tone remapping
WO2018017936A1 (en) * 2016-07-22 2018-01-25 Vid Scale, Inc. Systems and methods for integrating and delivering objects of interest in video
US20180310066A1 (en) * 2016-08-09 2018-10-25 Paronym Inc. Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein
CN106178496B (zh) * 2016-08-10 2020-04-10 合肥泰壤信息科技有限公司 一种基于体感和声音操作的游戏控制方法及系统
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
JP2018031822A (ja) * 2016-08-22 2018-03-01 パイオニア株式会社 表示装置及び方法、並びにコンピュータプログラム及び記録媒体
US10345898B2 (en) 2016-09-22 2019-07-09 International Business Machines Corporation Context selection based on user eye focus
US20190253743A1 (en) * 2016-10-26 2019-08-15 Sony Corporation Information processing device, information processing system, and information processing method, and computer program
EP3520243A2 (en) 2016-11-03 2019-08-07 Convida Wireless, LLC Frame structure in nr
CN108124167A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 一种播放处理方法、装置和设备
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
US11272237B2 (en) 2017-03-07 2022-03-08 Interdigital Madison Patent Holdings, Sas Tailored video streaming for multi-device presentations
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
KR20230105001A (ko) 2017-03-30 2023-07-11 매직 립, 인코포레이티드 비차단 이중 드라이버 이어폰들
KR102627452B1 (ko) 2017-04-14 2024-01-18 매직 립, 인코포레이티드 다중 모드 눈 추적
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
JP6682488B2 (ja) 2017-10-03 2020-04-15 株式会社スクウェア・エニックス コマンド処理プログラム、画像コマンド処理装置、及び画像コマンド処理方法
JP7449856B2 (ja) 2017-10-17 2024-03-14 マジック リープ， インコーポレイテッド 複合現実空間オーディオ
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
IL276511B2 (en) 2018-02-15 2024-01-01 Magic Leap Inc Musical instruments in mixed reality
WO2019161314A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Dual listener positions for mixed reality
US11477510B2 (en) 2018-02-15 2022-10-18 Magic Leap, Inc. Mixed reality virtual reverberation
EP3785067A4 (en) 2018-04-24 2021-06-23 Mentor Acquisition One, LLC CLEAR COMPUTER DISPLAY SYSTEMS WITH VISUAL CORRECTION AND INCREASED CONTENT DENSITY
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
CN108737872A (zh) * 2018-06-08 2018-11-02 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
US10810992B2 (en) 2018-06-14 2020-10-20 Magic Leap, Inc. Reverberation gain normalization
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
JP2021528001A (ja) 2018-06-18 2021-10-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 双方向オーディオ環境のための空間オーディオ
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
JP2020005038A (ja) * 2018-06-25 2020-01-09 キヤノン株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
CN112639731A (zh) 2018-07-24 2021-04-09 奇跃公司 应用共享
CN109324686B (zh) * 2018-08-13 2022-02-11 中国航天员科研训练中心 一种基于视线追踪的滑块操作方法
US11094127B2 (en) 2018-09-25 2021-08-17 Magic Leap, Inc. Systems and methods for presenting perspective views of augmented reality virtual object
EP3858023A1 (en) 2018-09-27 2021-08-04 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
US11122383B2 (en) 2018-10-05 2021-09-14 Magic Leap, Inc. Near-field audio rendering
WO2020073025A1 (en) 2018-10-05 2020-04-09 Magic Leap, Inc. Interaural time difference crossfader for binaural audio rendering
EP3864575A4 (en) 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
JP2022505662A (ja) 2018-10-24 2022-01-14 マジック リープ， インコーポレイテッド 非同期ａｓｉｃ
US11221814B2 (en) 2018-12-27 2022-01-11 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11587563B2 (en) 2019-03-01 2023-02-21 Magic Leap, Inc. Determining input for speech processing engine
US20200288204A1 (en) * 2019-03-05 2020-09-10 Adobe Inc. Generating and providing personalized digital content in real time based on live user context
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US11842729B1 (en) * 2019-05-08 2023-12-12 Apple Inc. Method and device for presenting a CGR environment based on audio data and lyric data
US10969863B2 (en) * 2019-05-08 2021-04-06 International Business Machines Corporation Configurable sensor array for a multi-target environment
US11151766B2 (en) 2019-06-06 2021-10-19 Magic Leap, Inc. Photoreal character configurations for spatial computing
CN110262663B (zh) * 2019-06-20 2021-10-19 Oppo广东移动通信有限公司 基于眼球追踪技术的日程生成方法及相关产品
US11589094B2 (en) * 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
CN110442241A (zh) * 2019-08-09 2019-11-12 Oppo广东移动通信有限公司 日程显示方法、装置、移动终端及计算机可读存储介质
JP2022553202A (ja) 2019-10-18 2022-12-22 マジック リープ， インコーポレイテッド 視覚的慣性オドメトリのための重力推定およびバンドル調整
KR102299103B1 (ko) * 2019-10-23 2021-09-07 주식회사 비주얼캠프 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
EP4049466A4 (en) 2019-10-25 2022-12-28 Magic Leap, Inc. REVERBER FOOTPRINT ESTIMATION
CN114846434A (zh) 2019-10-25 2022-08-02 奇跃公司 非均匀立体渲染
US11959997B2 (en) 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
CN111078107B (zh) * 2019-11-29 2022-07-26 联想(北京)有限公司 一种屏幕交互的方法、装置、设备和存储介质
CN110809188B (zh) * 2019-12-03 2020-12-25 珠海格力电器股份有限公司 视频内容的识别方法、装置、存储介质及电子设备
CN115698847A (zh) 2019-12-04 2023-02-03 奇跃公司 可变间距彩色发射显示器
EP4070284A4 (en) 2019-12-06 2023-05-24 Magic Leap, Inc. ENVIRONMENTAL ACOUSTIC PERSISTENCE
WO2021119212A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
US11763559B2 (en) 2020-02-14 2023-09-19 Magic Leap, Inc. 3D object annotation
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
DK181076B1 (en) 2020-02-14 2022-11-25 Apple Inc USER INTERFACES FOR TRAINING CONTENT
CN117827004A (zh) 2020-02-14 2024-04-05 奇跃公司 会话管理器
WO2021163624A1 (en) 2020-02-14 2021-08-19 Magic Leap, Inc. Tool bridge
US11910183B2 (en) 2020-02-14 2024-02-20 Magic Leap, Inc. Multi-application audio rendering
CN117714967A (zh) 2020-03-02 2024-03-15 奇跃公司 沉浸式音频平台
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
WO2021243098A1 (en) 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions
US11561613B2 (en) 2020-05-29 2023-01-24 Magic Leap, Inc. Determining angular acceleration
CN114296616A (zh) * 2020-09-23 2022-04-08 华为终端有限公司 界面滚动的方法和电子设备
US11630639B2 (en) * 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
WO2023049418A2 (en) * 2021-09-24 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20230156300A1 (en) * 2021-11-15 2023-05-18 Comcast Cable Communications, Llc Methods and systems for modifying content

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437758B1 (en) * 1996-06-25 2002-08-20 Sun Microsystems, Inc. Method and apparatus for eyetrack—mediated downloading
US5898423A (en) * 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
AU2573301A (en) * 1999-10-29 2001-05-08 Surfcast, Inc. System and method for simultaneous display of multiple information sources
US7987431B2 (en) * 1999-10-29 2011-07-26 Surfcast, Inc. System and method for simultaneous display of multiple information sources
US7343567B2 (en) * 2003-04-25 2008-03-11 Microsoft Corporation System and method for providing dynamic user information in an interactive display
DK1607840T3 (da) * 2004-06-18 2015-02-16 Tobii Technology Ab Øjenstyring af et computerapparat
US8467672B2 (en) * 2005-10-17 2013-06-18 Jeffrey C. Konicek Voice recognition and gaze-tracking for a camera
GB0612636D0 (en) * 2006-06-26 2006-08-02 Symbian Software Ltd Zooming transitions
US7840979B2 (en) * 2006-06-30 2010-11-23 Microsoft Corporation Graphical tile-based expansion cell guide
CA2565756A1 (en) * 2006-10-26 2008-04-26 Daniel Langlois Interface system
US9179086B2 (en) * 2007-05-07 2015-11-03 Yahoo! Inc. System and method for providing dynamically updating applications in a television display environment
US9026938B2 (en) 2007-07-26 2015-05-05 Noregin Assets N.V., L.L.C. Dynamic detail-in-context user interface for application access and content access on electronic displays
WO2009146238A1 (en) * 2008-05-01 2009-12-03 Chacha Search, Inc. Method and system for improvement of request processing
US8782562B2 (en) * 2009-12-02 2014-07-15 Dell Products L.P. Identifying content via items of a navigation system
US8549430B2 (en) * 2010-08-25 2013-10-01 Dell Products L.P. Using expanded tiles to access personal content
US8863025B2 (en) * 2010-08-26 2014-10-14 Dell Products L.P. System for enabling a user to view visual content on an information handling system
US8910076B2 (en) * 2010-12-17 2014-12-09 Juan Fernandez Social media platform
US9823803B2 (en) * 2010-12-22 2017-11-21 Facebook, Inc. Modular user profile overlay
US20120304068A1 (en) * 2011-05-27 2012-11-29 Nazia Zaman Presentation format for an application tile
US8924885B2 (en) * 2011-05-27 2014-12-30 Microsoft Corporation Desktop as immersive application
TWI557630B (zh) * 2011-12-06 2016-11-11 宏碁股份有限公司 電子裝置、社群互動磚資料顯示方法及動態圖示磚連結方法
US9207837B2 (en) * 2011-12-20 2015-12-08 Nokia Technologies Oy Method, apparatus and computer program product for providing multiple levels of interaction with a program
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices

Also Published As

Publication number Publication date
CN103914141A (zh) 2014-07-09
US20140195918A1 (en) 2014-07-10
EP2762997A3 (en) 2014-09-03
JP5777023B2 (ja) 2015-09-09
EP2762997A2 (en) 2014-08-06
JP2014132459A (ja) 2014-07-17
KR101543947B1 (ko) 2015-08-11

Similar Documents

Publication Publication Date Title
KR101543947B1 (ko) 눈 추적 사용자 인터페이스
DK180837B1 (en) Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
US11307737B2 (en) Media browsing user interface with intelligently selected representative media items
CN107491258B (zh) 用于在分屏模式下操纵窗口的设备、方法和图形用户界面
CN110851034B (zh) 用于管理用户界面的方法和电子设备
US8756516B2 (en) Methods, systems, and computer program products for interacting simultaneously with multiple application programs
CN108629033B (zh) 电子文本的操纵和显示
US8914743B2 (en) Device, method, and graphical user interface for navigating a list of identifiers
CN113940088A (zh) 用于查看和访问电子设备上的内容的用户界面
KR102027612B1 (ko) 애플리케이션의 썸네일-이미지 선택 기법
KR101683356B1 (ko) 브라우저 내의 콘텐츠 아이템들 사이에서의 어레이 모드를 이용한 내비게이션
US9552015B2 (en) Device, method, and graphical user interface for navigating through an electronic document
JP6046126B2 (ja) マルチ・アプリケーション環境
US20160054845A1 (en) Display control apparatus, display control method and display control program
CN111338469A (zh) 用于提供触觉反馈的设备、方法和图形用户界面
JP2013536964A (ja) アイテムをディスプレーする方法及び装置
CN117908728A (zh) 用于与对应于应用程序的用户界面对象进行交互的设备、方法和图形用户界面
US10891320B1 (en) Digital content excerpt identification
US10380226B1 (en) Digital content excerpt identification
CN112463008A (zh) 电子白板的控制方法、装置及系统和计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 5