KR20140035358A - 시선-보조 컴퓨터 인터페이스 - Google Patents

시선-보조 컴퓨터 인터페이스 Download PDF

Info

Publication number
KR20140035358A
KR20140035358A KR1020137029404A KR20137029404A KR20140035358A KR 20140035358 A KR20140035358 A KR 20140035358A KR 1020137029404 A KR1020137029404 A KR 1020137029404A KR 20137029404 A KR20137029404 A KR 20137029404A KR 20140035358 A KR20140035358 A KR 20140035358A
Authority
KR
South Korea
Prior art keywords
cursor
user
pog
gui
computer program
Prior art date
Application number
KR1020137029404A
Other languages
English (en)
Other versions
KR101541881B1 (ko
Inventor
제프리 로저 스태포드
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20140035358A publication Critical patent/KR20140035358A/ko
Application granted granted Critical
Publication of KR101541881B1 publication Critical patent/KR101541881B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Abstract

사용자를 그래픽 사용자 인터페이스(GUI)와 인터페이싱하기 위한 방법, 시스템, 및 컴퓨터 프로그램이 제공된다. 일 방법은 사용자의 응시점(POG)을 식별하기 위한 작동을 포함한다. 디스플레이 상에서 커서의 위치를 이동시키기 위한, 사용자에 의한 물리적 작용의 개시가 검출되고, 커서는 GUI를 실행하는 컴퓨터 프로그램과 연관된 포커스 영역을 형성한다. 더욱이, 상기 방법은 커서의 현 위치와 POG 사이의 거리가 임계 거리보다 큰지 여부를 결정하기 위한 작동을 포함한다. 커서는 POG의 결정에 응답하여, 그리고, 물리적 작용의 개시 검출에 응답하여, 현 위치로부터 POG에 근접한 영역으로 이동한다.

Description

시선-보조 컴퓨터 인터페이스 {GAZE-ASSISTED COMPUTER INTERFACE}
본 발명은 그래픽 사용자 인터페이스(GUI)에 관한 것이고, 특히, 시선-보조 항법을 제공하는 GUI와의 인터페이싱을 위한 방법, 시스템, 및 컴퓨터 프로그램에 관한 것이다.
현재의 컴퓨터 인터페이스에서, 마우스-제어 스크린 커서는 마우스 감도와 손 속도에 의해 결정되는 속도로, 디스플레이-렌더링 데스크탑의 가상의 공간 위에서 이동한다. 수년간, 가상 데스크탑 공간의 크기는 더 큰 스크린 크기의 등장, 스크린 해상도 증가, 멀티-스크린, 등으로 인해 증가하고 있다. 그러나, 커서를 제어하는 사람의 입력 장치, 마우스의 기어링은 변화하지 않았다. 예를 들어, 640x480의 데스크탑 상에서 마우스의 이동은 통상적으로 손목 운동만을 포함하는 기껏해야 몇 인치의 손 움직임만을 요구한다. 그러나, 2560x1600, 또는 멀티스크린을 사용할 때 그 이상의 해상도를 이용할 때, 사용자는 손목만을 이용하여 데스크탑의 일 측부로부터 대향 측부까지, 또는 일 디스플레이로부터 다른 디스플레이까지 마우스 커서를 이동시킬 수 없다. 이러한 시나리오에서, "마우스 핸드 셔플"이 가끔씩 요구되고, 이 경우 사용자는 마우스 패드로부터 벗어나기 전에 마우스가 갈 수 있는 만큼 마우스를 이동시키고, 마우스를 든 다음, 마우스를 뒤로 이동시키고, 마우스를 다시 내려놓은 후, 마우스를 패드 상에서 다시 움직인다. 이는 큰 디스플레이와의 인터페이싱을 피곤하게 만드는 성가신 작동이다.
이러한 범주에서 실시예가 나타난다.
본 발명의 실시예는 사용자를 그래픽 사용자 인터페이스(GUI)와 인터페이싱하기 위한 방법, 시스템, 및 컴퓨터 프로그램을 제공한다. 본 발명은 프로세스, 장치, 시스템, 디바이스, 또는 컴퓨터 판독가능 매체 상의 방법과 같이, 수많은 방식으로 구현될 수 있다. 본 발명의 여러 창의적 실시예들이 아래에서 설명된다.
일 실시예에서, 방법은 사용자의 응시점(POG)을 식별하기 위한 작동을 포함한다. 디스플레이 상에서 커서의 위치를 이동시키기 위한, 사용자에 의한 물리적 작용의 개시가 검출되고, 커서는 GUI를 실행하는 컴퓨터 프로그램과 연관된 포커스 영역을 형성한다. 더욱이, 상기 방법은 커서의 현 위치와 POG 사이의 거리가 임계 거리보다 큰지 여부를 결정하기 위한 작동을 포함한다. 커서는 POG의 결정에 응답하여, 그리고, 물리적 작용의 개시 검출에 응답하여, 현 위치로부터 POG에 근접한 영역으로 이동한다.
다른 실시예에서, GUI를 구비한 시스템은 프로세서, 입력 장치, 및 시선 검출 모듈을 포함한다. 프로세서는 GUI를 제공하는 컴퓨터 프로그램을 실행하고, GUI는 하나 이상의 디스플레이 상에서 렌더링된다. 입력 장치는 물리적 작용이 입력 장치 상에서 사용자에 의해 개시될 때 하나 이상의 디스플레이 상에서 커서의 위치를 이동시키도록 작동가능하다. 추가적으로, 시선 검출 모듈은 사용자의 POG를 식별하도록 작동가능하고, 컴퓨터 프로그램은 커서의 현 위치와 POG 사이의 거리가 임계 거리보다 큰지 여부를 결정한다. 컴퓨터 프로그램은 거리 결정 및 물리적 작용의 검출에 응답하여 커서를 현 위치로부터 POG에 인접한 영역으로 이동시킨다.
또 다른 실시예에서, 컴퓨터에 의해 실행될 때 사용자를 컴퓨터 프로그램과 인터페이싱하기 위한 방법을 구현하는 프로그램 명령어를 구비한 비-일시적 컴퓨터 판독가능 매체가 개시된다. 이 방법은 사용자의 응시점(POG)을 식별하기 위한 작동을 포함한다. 디스플레이 상에서 커서의 위치를 이동시키기 위한, 사용자에 의한 물리적 작용의 개시가 검출되고, 커서는 GUI를 실행하는 컴퓨터 프로그램과 관련된 포커스 영역을 형성한다. 더욱이, 이 방법은 커서의 현 위치와 POG 사이의 거리가 임계 거리보다 큰지 여부를 결정하기 위한 작동을 포함한다. 커서는 POG의 결정과 물리적 작용의 개시 검출에 응답하여, 현 위치로부터 POG에 인접한 영역으로 이동한다.
다른 형태는 첨부 도면과 연계하여 제시되는 다음의 상세한 설명으로부터 명백해질 것이다.
발명은 첨부 도면과 연계하여 제시되는 다음의 상세한 설명을 참조하여 가장 잘 이해될 수 있다.
도 1은 일 실시예에 따라 긴 거리에 걸쳐 커서를 이동시키기 위해 사용자에 의해 요구되는 노력을 도시한다.
도 2a-2b는 긴 거리에 걸쳐 커서를 이동시키기 위한 수고를 감소시키는 게이트-보조 컴퓨터 시스템의 실시예를 도시한다.
도 3은 일 실시예에 따라, 커서의 현 위치와 응시점(POG) 사이의 거리의 추정치를 나타낸다.
도 4a는 각막 반사를 이용한 POG 검출의 일 실시예를 도시한다.
도 4b는 일 실시예에 따라, 이미지 분석 및 안면 추적(face tracking)을 이용한 POG 검출 방법을 도시한다.
도 5는 일 실시예에 따른 시선 검출을 이용한 핸드헬드 장치의 고속 스크롤링 방법을 도시한다.
도 6은 일 실시예에 따라, 시선 검출 및 사용자 입력을 이용한 고속 커서 이동 방법을 도시한다.
도 7은 일 실시예에 따른 시선-보조 게임 인터페이스를 도시한다.
도 8은 일 실시예에 따라, 제스처에 응답하는 윈도우즈 그래픽 사용자 인터페이스를 도시한다.
도 9는 일 실시예에 따라, 시선 검출, 스피치 인지, 및 하나 이상의 컴퓨터 주변 장치를 이용하는 인터페이스를 도시한다.
도 10은 본 발명의 실시예를 구현하기 위한 컴퓨터 시스템의 단순화된 도면이다.
도 11은 발명의 일 실시예에 따라 컴퓨팅 장치에서 실행되는 컴퓨터 프로그램으로 사용자와 인터페이싱하기 위한 알고리즘을 설명하는 순서도를 보여준다.
발명의 실시예는 시선 추적을 이용하여 디스플레이 내 커서의 이동을 돕고 수고를 줄이면서 표적 커서 위치에 도달할 수 있다. 일 실시예에서, 시선 검출은 하나의 물리적 작용으로 나타나는 사용자 의도와 조합되어, 사용자와 컴퓨팅 장치 사이의 인터페이스를 개선시킨다.
본 실시예가 이러한 구체적 세부사항 일부 또는 전부없이도 실시될 수 있음은 명백하다. 다른 예에서, 본 발명을 불필요하게 흐리지 않게 하기 위해, 잘 알려진 프로세스 작동이 세부적으로 설명되지 않고 있다.
도 1은 일 실시예에 따라, 긴 거리에 걸쳐 커서를 이동시키기 위해 사용자에 의해 요구되는 수고를 도시한다. 3개의 디스플레이(110a, 110b, 110c)가 컴퓨터(108)에 연결된다. 윈도우즈 환경이 3개의 디스플레이에 나타나서, 윈도우즈 환경의 데스크탑이 3개의 디스플레이를 포괄하게 되고, 각각의 디스플레이는 데스크탑의 일 섹션씩을 제시한다. 3개의 섹션이 논리적으로 상호연결되어, 이 영역들이 연속적인 데스크탑을 형성함을 시뮬레이션한다. 다시 말해서, 3개의 디스플레이는 마치 단일 디스플레이인 것처럼 작동하지만, 단일 디스플레이 상의 렌더링은 3개의 부분으로 나누어지고, 각각의 부분은 디스플레이(110a, 110b, 110c) 중 하나씩에 나타난다.
사용자(102)가 마우스를 이동시킬 때, 마우스는 3개의 디스플레이에 걸쳐 이동할 수 있지만, 하나의 디스플레이만 존재할 수 있다. 예를 들어, 디스플레이(110a)의 마우스가 디스플레이(110a)의 우측으로 이동할 때, 마우스는 디스플레이(110b)의 좌측 상에 나타나며, 이는 3개의 디스플레이가 단일 데스크탑을 표현하기 때문이다.
3개의 디스플레이는 사용자에게 대형 데스크탑을 제공하며, 이는 동시에 여러 윈도를 보고자하는 사용자에게 유용한 특징이다. 그러나, 대형 데스크탑에서 마우스를 이동시키는 것은, 특히, 마우스의 감도가 높을 경우, 매우 성가실 수 있다(즉, 데스크탑 상에서 동일 정도의 커서 변위에 대해, 고감도의 마우스가 저감도의 마우스에 비해 더 많은 마우스 모션을 요구한다). 따라서, 높은 마우스 감도는 정확한 마우스 모션 및 객체 선택(가령, 그래픽 생성 및 편집)을 요하는 활동에 대해 유리하지만, 높은 마우스 감도는 데스크탑에 걸쳐 마우스를 신속하게 이동시키기에는 불리하다. 예를 들어, 사용자(102)가 윈도(112) 내 위치(116)로부터 디스플레이(110a) 상의 위치(118)로 마우스 커서를 이동하고자 할 경우, 마우스(104)는 우측으로부터 좌측으로 긴 거리를 이동하여야 한다. 마우스 모션의 범위가 제한되는 경우가 종종 있기 때문에, 마우스 커서의 큰 변위는, 사용자가 마우스를 좌측으로 이동시키고 마우스를 든 다음, 마우스를 우측에 배치하고 그 후 마우스를 좌측으로 다시 이동시키며, 이 작업(106)을 여러 회 반복하여 커서를 위치(118)로 이동시키는 것을 요구한다. 전달 중, 마우스 커서는 "마우스 핸드 셔플"(mouse hand shuffle)로 인해 여러 단절(stops)을 포함하는 궤적(120) 사이에서 이동한다.
여기서 사용되는 "커서"는 컴퓨터 프로그램용 포커스 형태를 표시하는, 컴퓨터 프로그램과 연관된 포인터 또는 인디케이터를 나타낸다. 커서는 디스플레이 상에 나타나는, 마우스에 의해 제어되는 포인터의 현 위치를 표시하는 마우스 커서를 나타낼 수 있고, 또는, 텍스트 필드(가령, 워드 프로세서, 웹 페이지 내의 한 필드)에서 텍스트가 입력됨을 표시하는 텍스트 커서(가령, 수직 라인)를 나타낼 수 있으며, 또는, 페이지(가령, 웹 페이지) 상에서 수행되는 작동(가령, 페이지 업, 페이지 다운, 스크롤 업, 등)들에 대한 기준점을 표시하는 페이지 커서, 등을 나타낼 수 있다. 커서는 화살표, 손, 손가락, 수직 바, 스크롤 바, 등과 같이, 서로 다른 형태로 스크린 상에 표현될 수 있고, 또는, 커서를 묵시적이게 하는 시기에 감추어지지만 "페이지 다운"과 같이, 일부 인터페이스 작업을 수행하기 위해 여전히 가용할 수 있다. 커서는 "포커스 영역", "마우스 커서", "페이지 커서", "윈도우즈 커서", "텍스트 삽입점", 등으로 여기서 불릴 수 있다. 특정 형태의 커서를 이용하여 실시예들이 제시될 수 있으나, 어떤 타입의 커서도 사용될 수 있고, 따라서, 제시되는 실시예는 배타적이거나 제한적인 의도로 해석되어서는 안되고 예시적이거나 예증적인 의미로 해석되어야 한다.
통상적으로, 사용자(102)는 마우스 커서의 현 위치를 보는 것이 아니라 커서의 요망 목표지를 바라보고 있다. 발명의 실시예는 시선 검출을 이용하여, 사용자가 컴퓨터 시스템과 인터페이싱하는 방식을 개선시킨다. 예를 들어, 시선 검출을 이용하여, 사용자가 커서를 이동하고자 하는 장소를 결정할 수 있고, 사용자가 요망 위치로 커서를 더 빠르고 적은 수고로 이동시킬 수 있다. 가끔씩, 사용자는 마우스가 디스플레이 상에서 어디에 있는지도 모를 수 있고, 사용자는 사용자가 마우스 커서 이동을 시작할 수 있기 전에 커서를 찾는데 시간을 보내야 한다. 그러나, 시선 검출을 이용함으로써, 마우스 위치 파악이 필요치 않은데, 이는 필요사항이 커서나 나타나야할 곳이 아니라 커서가 가야할 곳을 아는 것이기 때문이다.
일부 실시예에서는 시선 자체만을 이용하여 컴퓨터 시스템과 인터페이싱하지만, 다른 실시예는 사용자에 의한 관련 물리적 모션을 필요로한다. 사용자의 POG는 불규칙할 수 있고, 따라서, POG만 이용할 경우 문제가 생길 수 있고, 사용자 확인이 요구되며, 또는, 완료까지 더 기 시간이 걸리는 작업을 필요로할 수 있다(가령, 시선이 2초 동안 일 지점에 설정됨을 요함). (커서가 POG의 일반 영역 내에 있으면 커서를 마우스로 이동시키는 것과 같이) 시선 및 다른 작용들을 조합함으로써, 사용이 용이한 인터페이스가 제공된다.
도 2a-2b는 긴 거리에 걸쳐 커서를 이동하는 수고를 감소시키는 시선-보조 컴퓨터 시스템의 실시예를 보여준다. 일 실시예에서, 커서의 제어를 사용자의 시선이 돕는다. 단순화를 위해, 발명의 실시예는 디스플레이-렌더링 데스크탑용으로 전형적인 그래픽 사용자 인터페이스(GUI) 상의 마우스 커서의 작동을 이용하여 설명된다. 다른 실시예는 다른 형태의 커서 또는 아바타 제어, 다른 입력 메커니즘(가령, 키보드, 키패드, 터치스크린, 페달, 등)을 이용할 수 있고, 또는, 다른 디스플레이 메커니즘(가령, 대형 디스플레이, 멀티-디스플레이, 섹션-분할 디스플레이, 등)을 나타낼 수 있다. 따라서, 도시되는 실시예는 배타적이거나 제한적인 것으로 해석되어서는 안되며, 예시적이거나 예증적인 것으로 해석되어야 한다.
눈동자 추적 또는 눈동자-시선 추적은 응시점(POG)(즉, 사용자가 바라보고 있는 곳) 또는 머리에 대한 안구의 모션을 측정하는 프로세스다. POG는 사람의 시선이 지향되는 공간의 지점이고, 각 눈동자의 망막(중심와)의 최고 시력 영역의 중심 상에 이미징되는 공간의 점으로 또한 규정되어 있다. 시선 검출에 대한 추가적인 세부사항이 도 3 및 도 4를 참조하여 아래에서 제공된다.
도 2a를 참조하면, 사용자(102)는 디스플레이(110c) 내 위치(204)로부터 디스플레이(110a) 내 위치(208)까지 마우스 커서를 이동시키고자 한다. 컴퓨터(108) 상에서 실행되는 시선 검출 시스템은 GUI의 데스크탑을 포함하는 디스플레이 내에서 사용자의 POG를 결정한다. 사용자는 마우스 커서의 요망 목표지 상에 시선(210)을 고정시키고(즉, 커서에 대한 표적의 방향으로 바라보고), 시선 검출 시스템은 개략적인 위치(206)를 결정한다. 사용자(102)의 시선(210)이 표적 상에 있지만, 사용자(102)는 커서를 표적까지 이동시키려는 의도로 마우스(104)를 이동시킨다(202). 컴퓨터 시스템(108)이 마우스 이동의 시작을 검출함에 따라, 시선 검출을 이용하여 목표지 근처로 커서를 이동시킨다(즉, 마우스 커서가 목표지 근처의 위치로 또는 목표지로 "점프"한다). 커서가 시선 도움을 이용하여 이동할 때, 커서는 제 1 위치로부터 제 2 위치로 이동하고, 사용자는 시선-보조 모션을 수행하기 위해 마우스를 드래그할 필요가 없다. 시선 검출은 카메라(214)에 의해 찍히는 이미지의 이미지 분석에 기초하지만, 다른 타입의 시선 검출도 또한 가능하다.
시스템은 마우스 커서를, 시선 검출 시스템에 의해 연산되는 POG인 위치(206)로 이동시키고, 그 후, 마우스 이동에만 의존하여 커서에 대한 최종 목표지를 찾아낸다. 사용자는 마우스가 현재 위치하는 것을 알 필요가 없는데, 이는 마우스 커서 이동을 완성하는데 요구되는 것이 목표지이기 때문이다. 이러한 방식으로, 커서가 현재 데스크탑 내에 위치하는 곳을 찾아내기 위해 사용자가 마우스 커서를 검색할 필요가 없다.
일 실시예에서, 커서 이동 속도는 가변적이어서, 커서가 POG에 가까워짐에 따라 커서 이동이 느려진다. 이러한 방식으로, 커서가 POG로부터 멀리 떨어져 있을 때 커서가 빠르게 이동하지만, 커서가 목표지에 접근하기 시작하면 커서는 느려지고 마우스 감도를 증가시켜서 사용자가 목표지 근처에서 마우스 커서를 더 정밀하게 제어할 수 있게 한다. 커서가 표적으로부터 멀리 떨어져 있을 때는 정밀한 감도가 요구되지 않는데, 이는 사용자가 원하는 것이 표적에 빨리 도달하는 것이고 목표지 도달을 위해 마우스가 따르는 궤적이 중요치 않기 때문이다.
시선 검출을 이용함으로써, 시스템은 필요할 때, 즉, 사용자가 관심 영역 내에서 작동하고 있을 때, 더 높은 레벨의 마우스 감도를 제공할 수 있다. 다른 가속 기법은 사용자가 마우스를 얼마나 빨리 이동시키는지에 기초하지만, 이러한 기법은 예기치 않은 결과를 종종 제공하며, 긴 거리에 대하여 커서를 빠르게 이동시키는 능력과 감도 사이에서 균형을 제공하도록 적절히 조정되기 어렵다. 다른 실시예에서, 마우스 커서는 자석 효과를 제공하여, 마우스 커서가 디스플레이 상에서 POG에 이끌린다.
일 실시예에서, POG 영역 내 디스플레이 객체의 범주 및 시선 추적이 마우스 모션을 돕는다. 이러한 방식으로, POG가 복수의 스크린 객체 중 하나 이상의 스크린 객체를 지닌 영역 내에 설정될 경우, 커서 위치는 추정된 POG에 가장 가까운 복수의 스크린 객체 중 해당 스크린 객체로 변경된다. 예를 들어, 사용자 시선의 표적 영역이 윈도우즈 데스크탑의 좌하부의 빠른 실행 아이콘 근처에 나타날 경우, 커서의 위치는 POG에 가장 가까운 빠른 실행 아이콘으로 변경된다.
또 다른 실시예에서, 시선 검출을 이용하여 하나의 윈도 내의 필드들 사이의 항법을 보조한다. 사용자가 키보드 항법을 이용할 경우, 페이지 커서는 키보드 입력과 POG의 조합에 기초하여 이동하여, 그렇지 않을 경우 시선 보조없이 더 많은 키스트로크를 소요할 항법을 가속시키는데 POG가 사용된다. 페이지 커서는 워드프로세서에서 타이핑할 때 삽입점과 같은, 또는, 복수의 가능한 입력 필드를 지닌 폼 내의 액티브 필드와 같은, 페이지의 포커스를 표시하는 페이지 내 포인터로 여기서 언급된다. 따라서, 마우스 커서는 마우스 이동에 기초하여 이동하는 마우스와 연계된 포인터이기 때문에, 페이지 커서는 마우스 커서와 다르다. 예를 들어, 복수의 입력 필드를 갖는 페이지에서, 페이지 상의 상측 필드에 페이지 커서가 배치된 경우에, 사용자는 페이지 하단의 필드로 이동하고자 한다. 시선 검출이 없을 경우, 전형적인 순서는 사용자가 탭 키 또는 다운-화살표를 여러 번 눌러서 상측 필드로부터 모든 중간 필드들을 통과하여 하측 필드로 이동하는 것이다(물론 마우스를 이용할 수도 있다). 그러나, 시선 검출을 이용할 경우, 사용자는 하측 필드를 바라보고, 그 후 사용자가 탭 키(또는 그외 다른 키)를 누르며, 그 후 페이지 커서가 하측 필드로 직접 점프하여, 사용자가 키스트로크를 절감하고 마우스를 이용할 필요없가 없다.
일부 윈도우즈-기반 GUI는 윈도우 포커스의 개념을 갖는다. 시간 상의 일 지점에서, 사용자와 상호작용을 위해 단 하나의 윈도만이 선택된다 - 즉, 데스크탑이 선택되지 않은 경우 선택된 윈도가 "인-포커스" 상태이고 어떤 다른 윈도도 인-포커스 상태가 아니다. 또 다른 실시예에서, 시선 검출을 이용하여 데스크탑의 인-포커스 상태인 윈도를 변경할 수 있다. 사용자가 데스크탑 내 윈도를 바라보고 마우스를 이동하기 시작할 때, 사용자가 바라보고 있는 윈도는 GUI의 포커스를 갖는 윈도가 된다. 커서는 윈도의 중심, 윈도 상의 상단, 하단, POG, 등과 같이, 윈도의 일부 위치에 또한 배치된다.
가끔씩 눈동자의 불규칙한 움직임으로 인해, 마우스 커서가 가끔 불규칙하게 거동하기 때문에 시선만으로 마우스 커서를 제어하는 것이 어려울 수 있고, 사용자가 이를 따라가기 어려울 것이다. 추가적으로, 가끔씩 사용자는 뭔가를 단순히 읽고자 할 수 있고, POG를 따라 커서를 움직이는 것이 짜증나고 성가실 수 있다. 이는 일부 실시예가 커서 이동에 관한 사용자의 의향 표시를 요구하는 이유이고, 이러한 의향은 마우스 이동 또는 키 누름과 같이, 시선 변경과는 다른 물리적 작용에 의해 표시된다.
일 실시예에서, 시선 검출이 활성화되기 전에 시선이 한 표적 상에 놓이는 최소의 시간을 요구하는 임계 타이머가 규정된다. 타이머는 시선의 잠재적 불규칙적 변화를 필터링할 수 있게 한다. 예를 들어, 사용자가 마우스를 이동하기 시작할 때 시선 검출이 채택되기 전에 사용자는 스크린의 윈도를 적어도 1초 동안 바라보아야 한다.
도 2b는 일 실시예에 따라, 사용자와 컴퓨터 시스템의 인터페이싱을 위한 환경을 보여준다. 대형 디스플레이(252)가 3개의 인접한 패널로 나누어진다. 윈도(260)는 컴퓨터 애플리케이션과 연관되고, 서로 다른 3개의 패널에 걸쳐 확장된다. 컴퓨터 애플리케이션은 윈도(260)의 서로 다른 영역에 위치할 수 있는 스크린 객체(가령, 툴박스(262a))를 포함한다. 일 실시예에서, 스크린 객체(262a)는 마우스 커서가 위치하는 디스플레이 패널에, 또는, 멀티-디스플레이의 경우에, 마우스 커서가 위치하는 디스플레이에 놓인다.
최초에, 마우스 커서(위치(204))와 툴박스(262a)는 디스플레이(252)의 좌측 패널 상에 놓인다. 사용자(102)는 POG(256) 상에서 시선(210)을 설정하고, 마우스(104) 이동(202)을 시작한다. 앞서 설명한 바와 같이, 시스템이 마우스를 이동시키는 물리적 작용에 의해 표시되는 사용자의 의향을 검출할 때 마우스 커서는, POG (256) 상에 있는, 또는, POG(256) 에 인접한, 위치(258)로 점프한다. 마우스 커서가 좌측 패널로 점프하였기 때문에, 마우스 커서의 현 위치와 연관된 스크린 객체가 좌측 패널 상에서 위치(262b)로 또한 이동한다. 따라서, 사용자는 시선-보조 커서 모션 및 스크린 객체 시선-보조 모션 모두로부터 이점을 갖는다.
일 실시예에서, 시선-보조 커서 항법을 이용하기 전에 마우스 커서의 현 위치로부터 임계 거리 내에 POG(256)가 있는지 여부를 시스템이 결정한다. 일 실시예에서, 임계 거리(가령, 100 스크린 화소)는 POG(256) 주위의 원(254)으로 규정된다. 정사각형, 장방형, 타원형, 8각형, 임의의 규칙적 다각형, 등과 같이, 시선 보조 이용 시기를 결정하기 위해 POG 주위의 다른 타입의 영역도 또한 가능하다. 커서의 현 위치와 POG 사이의 거리가 임계 거리보다 클 경우(또는, 현 위치가 POG 주위의 지정 영역 바깥에 있을 경우), 마우스 커서 모션이 시선-보조된다. 그러나, 거리가 임계 거리보다 작을 경우(또는 현 마우스 커서가 영역 내에 있는 경우), 사용자가 마우스를 근처의 목표지로 쉽게 이동시킬 수 있기 때문에 시선-보조가 이용되지 않는다. 이러한 방식으로, 시선 보조는 커서 이동이 큰 경우에만 사용되고, 사용자가 미미한 커서 이동을 수행하고 있을 때의 혼란을 방지한다.
또 다른 실시예에서, 시선-보조가 이용되는지 여부를 결정하기 위한 트리거는, POG가 현 마우스 커서와 동일 윈도 내에 있는지 여부다. 이러한 경우에, 도 2b에 묘사되는 시나리오는, 마우스가 동일 윈도 내에서 이동하고 있기 때문에, 시선-보조를 트리거링시키지 않을 것이다.
도 2b의 실시예에서, 마우스 모션 시작은 시선-보조를 트리거링하는 물리적 사용자 작용이다. 다른 실시예는 키보드 누름, 버튼 누름, 스크린 터치, 말하기, 손가락 스냅, 박수, 등과 같이, 다른 타입의 물리적 사용자 작용을 트리거로 이용할 수 있다.
일 실시예에서, 사용자는 스크린 상에서 마우스 커서를 이동시킬 의향없이 마우스를 이동시킨다. 예를 들어, 사용자는 마우스를 고정시킨 채로 웹페이지를 읽을 수 있고, 사용자는 작은 손 움직임으로 인해 수 밀리미터만큼 마우스를 이동시킬 수 있다. 무작위적인, 작은 마우스 모션을 필터링하기 위해, 일 실시예에서, 시선-보조가 트리거링되기 전에, 마우스에 대한 모션 임계치가 설정된다. 따라서, 시선 보조는 마우스가 적어도 임계 마우스 거리를 이동할 때만 시작된다. 일 실시예에서, 임계 거리는 마우스 모션의 약 0.5 내지 5cm 사이이고, 다른 실시예에서, 0.5 내지 4cm 사이이며, 다른 실시예에서, 1cm 보다 크고, 그러나 인터페이싱 환경에 기초하여 다른 임계치도 또한 가능하다. 다른 실시예에서, 임계 거리는 스크린 상에서 마우스 커서의 모션을 참조하여 측정될 수 있다. 예를 들어, 임계치는 스크린 상에서 적어도 2, 5, 10, 20, 25 화소, 또는 20 화소 이상을 이동하는 마우스 커서로 설정될 수 있고, 히지만, 다른 값도 또한 가능하다.
추가적으로, 마우스 커서를 최초 위치(204)로부터 POG(258) 근처의 위치로 이동시키는 것이 복수의 방식으로 수행될 수 있다. 예를 들어, 커서가 원 위치로부터 사라져서 목표 위치에 재등장할 수 있고(즉, 커서가 점프), 또는, 커서가 원 위치와 목표지 사이에서 데스크탑을 통해 신속히 이동할 수 있고, 또는, 커서가 원 위치에서 잠깐 깜박인 후 목표 위치에서 재등장하여 깜박일 수 있고, 또는, 데스크탑 사이에서 신속히 이동하여 커서가 목표지에 접근함에 따라 느려질 수 있으며, 또는, 커서가 원 위치와 목표지 사이의 궤적에서 데스크탑 상의 단순히 여러 개의 점으로 나타날 수 있고, 등등일 수 있다. 따라서, 마우스 커서가 시선-보조를 이용하여 이동하고 있음을 사용자에게 표시하기 위한 방법들이 많이 존재한다.
도 3은 일 실시예에 따른, POG와 커서의 현 위치 사이의 거리의 추정을 나타낸다. 서로 다른 방법이 서로 다른 계측을 이용하여 POG와 현 커서 사이의 거리를 측정하고, 상기 거리는 시선-보조 커서 이동이 이용되는지 여부를 결정하는데 사용된다.
일 실시예에서, 거리는 화소 단위로 측정된다. 통상적으로, 디스플레이는 화소의 수평 및 수직 해상도를 갖는다. POG의 위치가 데스크탑 상에서 추정되면, 거리(312)는 POG 및 현 커서를 대향 정점으로 포함하는 장방형의 대각선의 화소 크기로 연산된다. POG 및 커서가 수평 또는 수직으로 정렬될 경우, 거리는 각각, 두 점 사이의 수평 또는 수직 화소의 수와 같을 것이다.
다른 실시예에서, 거리는 POG와 커서 사이의 실제 물리적 거리로 측정된다. POG는 디스플레이 상의 제 1 포인트를 규정하고, 커서는 디스플레이 상의 제 2 포인트를 규정한다. 거리는 제 1 포인트와 제 2 포인트 사이의 거리로 연산된다(가령, 인치 단위로 측정된다).
또 다른 실시예에서, 거리는 사용자(102) 측의 정점과의(가령, 코끝에서 눈 사이의) 각도 Φ(308)로 측정되고, 제 1 광선(302)은 정점으로부터 POG(256)로, 그리고 제 2 광선(310)은 정점으로부터 커서의 현 위치(204)로 이어진다. 따라서, 각도 Φ(308) 가 넓을수록, 마우스가 POG에 도달하기 위해 더 많이 이동해야 할 것이다. 시선 활성화에 대한 임계치는 각도로 규정된다(가령, 각도 Φ(308)가 30˚보다 클 때 시선-보조 모션을 이용하지만, 다른 값도 가능함). 다른 실시예에서, 시선-보조는 사용자의 깊이(304)와 각도 Φ(308)에 기초하여 트리거링되고, 깊이는 사용자로부터 디스플레이 내 소정 위치까지의 거리다. 예를 들어, 각도로 측정되는 임계치는 사용자가 디스플레이로부터 더 멀리 있을 때 작을 수 있는데, 이는 디스플레이로부터 더 멀리 위치하는 사용자가 디스플레이에 더 가까이 있는 사용자의 경우에 비해 동일 거리를 이동하는데 더 작은 각도를 형성할 것이기 때문이다.
도 4a는 각막 반사를 이용한 POG 검출의 일 실시예를 제시한다. 눈동자 추적기는 눈동자 위치 및 눈동자 움직임을 측정하기 위한 장치다. 눈 운동 및 시선 방향을 측정하기 위한 방법은 수없이 많다. 일부 방법은 비디오 이미지를 이용하여 눈동자 위치를 추출하고, 탐색 코일을 이용하는 다른 방법은 안구전도에 기초하며, 또는 시선 검출을 위해 적외선 광을 이용한다. 시선 검출을 이용함으로써, 장치는 더욱 직관적인 상호작용과 사용자에 대해 개선된 경험을 제공할 수 있다.
도 4a는 시선 검출을 위한 일 실시예를 도시하고, 사용자를 향해 지향되는 광의 각막 반사가 분석된다. 도 4a에 도시되는 바와 같이, 적외선 광원(404)은 적외선 광을 방출하고, 사용자(402) 각막으로부터 적외선 광의 반사는 적외선 카메라(406)에 의해 캡처된다. 그 후 반사는 분석되어 사용자(402)의 POG를 결정한다. 적외선 광원(404)은 카메라(406) 내에 매립될 수도 있다. 다른 실시예에서, 가시광 스펙트럼의 광이 적외선 광 대신에 사용되고, 가시광 및 적외선 광의 조합이 또한 가능하다.
POG를 연산하기 위해, 홍채-공막 경계부(연곽)의 사시 투영을 이용하여 공간 내 눈동자의 위치 및 배향을 추정한다. POG 추정은 하나 이상의 각막 반사와 동공의 중심의 위치를 결정한다. 각막 반사는 눈을 조명하는 광원(가령, 적외선)의 가상 이미지이고, 볼록 거울로 작용하는 각막의 전방 표면에 의해 생성된다. 각막 반사를 이용한 시선 검출에 관한 추가적인 세부사항은 "General theory of remote gaze estimation using the pupil center and corneal reflections", IEEE Transactions on Biomedical Engineering, 2006, by E. Guestrin and M. Eizenman에서 찾을 수 있고, 그 내용은 본 발명에 참고자료로 포함된다.
도 4b는 일 실시예에 따른, 이미지 분석 및 안면 추적을 이용한 POG 검출 방법을 도시한다. 일 실시예에서, 시선 추적은 눈(416, 418), 안면, 코(422), 입(420), 몸통(414), 등과 같은, 사용자 특징부의 검출 및 추적을 포함하는, 사용자 영역(410)의 비디오 이미지(412)의 이미지 분석을 이용하여 결정된다. 도 4b의 실시예에서, 안면 특징을 추적하여 머리의 3차원 위치를 추정할 수 있고, 눈동자의 회전 중심의 위치를 도출할 수 있다. 더 많은 특징들이 추적될수록, 시선 검출의 신뢰도가 높아질 것이다. 예를 들어, 사용자가 카메라로부터 멀리 머리를 회전시킬 경우, 카메라에 눈 하나만이 보일 것이다. 코 및 입의 위치를 이해함으로써, 시스템은, 눈 검출에 실패함을 가정하는 대신에, 사용자가 머리를 돌렸다고 결정한다. 사용자 특징부의 위치가 결정되면, POG가 연산된다. 머리 및 안면 추적을 이용하여 시선 검출의 정확도를 개선시킬 수 있다. 일반적으로 머리 추적은, 머리가 눈동자처럼 불규칙하게 움직이지 않기 때문에, 시선 추적보다 정확하다.
사용자의 시선 추적 및 디스플레이에 대한 카메라의 위치로부터, 디스플레이 상의 어느 곳에서 사용자의 시선이 포커싱되는 지를 결정하는 것이 가능하다. 카메라 및 디스플레이가 서로로부터 이격되어 배치될 수 있기 때문에, 디스플레이의 위치를 결정하기 위해 교정 작동(calibration operation)이 수행될 수 있다. 사용자는 디스플레이를 볼 것을 요청받고, 시스템은 디스플레이의 위치를 추정한다. 다른 실시예에서, 교정 작동은 디스플레이 내 하나 이상의 표적을 사용자로 하여금 바라보게 하여, 디스플레이 위치와, 디스플레이 내 GUI 객체의 위치의 추정을 더욱 개선시킬 수 있다.
이미지 분석에 기초한 시선 검출을 이용할 때, 일 실시예에서, 데스크탑 상의 시선 위치들의 집합이 수집된다. 사람의 시각계의 불규칙한 속성으로 인해, 이러한 위치는 소정의 영역 내에 무작위적인 일련의 점들로 나타날 수 있다. 통계 분석을 이용하여 POG를 결정하는 알고리즘을 이용함으로써 점들의 집합으로부터 중앙 포커스 위치를 도출할 수 있다. 소정의 시간 주기에 걸쳐 복수의 이미지에서 얻는 포커스 위치는 평균화되어, 불규칙한 시선 움직임을 필터링한다.
포커스 위치는 "표적 영역"의 중심을 규정한다. 표적 영역의 크기는 시선 위치의 스트림으로부터, 그리고, 이전 포커스 위치로부터, 또한 결정될 수 있다. 일 알고리즘은 각각의 시선 위치로부터 표적 영역 중심(포커스 위치)까지의 거리를 찾아내는 단계와, 이 거리들의 평균 또는 합을 이용하여 표적 영역의 중심을 형성하는 센터로이드를 추정하는 단계를 포함한다.
시선 포커스의 표적 영역을 이용하여, 애플리케이션은 표적에 더욱 효과적으로 도달하기 위해 커서가 이동하는 방식을 변경한다. 이는 표적 영역으로부터 거리에 기초하여 마우스 커서 이동 속도를 변화시키는 단계, 표적 포커스 영역으로 커서를 끌어당기는 단계, 또는, 앞서 설명한 바와 같이, 커서의 위치를 표적 영역으로 점프시키는 단계를 포함한다.
일 실시예에서, 추적은 단계별로 나누어지고, 제 1 단계는 머리 추적에 의해 형성되고 제 2 단계는 시선 추적에 의해 형성된다. 머리가 움직이고 있을 때, 머리 추적을 이용하여 표적 영역을 결정할 수 있는데, 이는 머리 추적이 시선 추적보다 일반적으로 신뢰도가 높기 때문이다. 머리 모션이 실질적으로 정지하게 되면, 시선 추적을 이용하여 표적 영역의 위치를 정밀 조율하게 되고, 이어서 마우스 모션으로 더 정밀한 해상도를 얻어 커서를 목표지로 이동시킨다. 다른 실시예에서, 추적 단계는 머리 추적을 이용하여 복수의 디스플레이로부터 하나의 디스플레이를 선택하는 제 1 단계와, 시선 추적을 이용하여 선택된 디스플레이 내에 표적을 규정하는 제 2 단계를 적어도 포함한다.
도 5는 일 실시예에 따라, 시선 추적을 이용한 핸드헬드 장치의 고속 스크롤링 방법을 제시한다. 휴대용 장치(506)는 시선 추적 수행에 사용되는 전면 카메라를 포함한다. 그러나, 독립형 디스플레이의 면적에 비해 디스플레이 면적이 작기 때문에, 시선 검출만을 이용하여 디스플레이 내 작은 객체를 선택하는 것이 어려울 수 있다. 그러나, 발명의 실시예는 스크린 내에서 또는 스크린 밖에서 POG를 검출함으로써 휴대용 장치(506)를 이용하면서 항법을 가속시키기 위해 항법 보조를 제공한다.
사용자(502)는 휴대용 장치(506)의 디스플레이 외부의 영역으로 시선(504)을 지향시켜서 항법을 위한 컴퓨터 프로그램에 명령 또는 힌트를 제공한다. 예를 들어, 사용자(502)가 긴 문서를 읽고 있고 문서의 일부분만이 한번에 디스플레이될 경우, 사용자는, 다른 입력(가령, 버튼 또는 터치스크린)을 이용하여 사용자가 항법 가속을 원함을 표시하면서, 스크린의 상, 하, 좌, 우로 시선을 지향시킨다. 따라서, 사용자가 스크린 상에서 시선을 유지하면서 터치스크린 사이에서 아래로 손가락을 슬라이딩시키면, 프로그램은 디스플레이를 스크롤-업할 것이다. 그러나, 사용자가 디스플레이 위로 시선(504)을 지향시키면, 이는 사용자가 문서의 상부로 가고자 함을 표시하며, 따라서, 사용자가 디스플레이 상에서 손가락을 슬라이딩시키기 시작할 때, 프로그램은 문서의 상부로 점프할 것이고, 문서의 어느 부분이 보여지는지는 관계가 없다. 마찬가지로, 사용자는 디스플레이 아래를 바라보아서 페이지의 하단으로 점프할 수 있다. 이는 이메일 하단에서 첨부 아이콘을 보여주는 일부 이메일 클라이언트에서 특히 도움이 된다. 이메일이 길 경우, 첨부 아이콘에 도달하기 위해 손가락 스크롤링을 한참 하여야 한다. 시선을 이용함으로써, 시간 및 수고를 절감하면서 하단으로 점프할 수 있다.
다른 실시예에서, 스마트폰 또는 태블릿 장치에서 책 또는 잡지를 읽고 있는 사용자에게 시선-보조 항법이 제공된다. 사용자가 페이지를 넘기고자 할 때, 사용자는 스크린의 좌측부 또는 우측부 너머를 바라보고, 그 후 스크린 상을 태핑(tapping)하여 페이지를 넘길 수 있다. 또 다른 실시예에서, 사용자는 디스플레이의 좌측 또는 우측 에지를 단지 바라보면서 스크린을 태핑하여, 사용자가 스크린 바깥을 바라볼 필요없이 페이지를 넘길 수 있다. 태블릿 장치는 더 큰 디스플레이를 갖고, 시선 검출은 사용자가 좌측 또는 우측을 보는지 여부를 결정하기에 충분히 정확할 수 있다. 예를 들어, 각막 분석이, 동공이 좌측 또는 우측을 향하는지 여부를 표시할 것이다.
도 6은 일 실시예에 따라, 시선 검출 및 사용자 입력을 이용한 고속 커서 이동 방법을 보여준다. 일 실시예에서, 물리적 작용과 연관된 지정 입력이 컴퓨터 프로그램으로 하여금 상보형 입력으로 시선을 이용할 수 있게 한다. 예를 들어, 사용자(602)는 터치패드(612), 디스플레이(610), 및 사용자-대면 카메라를 포함하는 랩탑(604)으로 작업한다. 터치패드 상의 두손가락 탭은 사용자의 시선에 기초하여 마우스 커서의 이동을 트리거링한다.
도 6의 실시예에서, 마우스 커서가 위치(614)에 있다. 사용자가 시선(608)을 POG(620)에 지향시키면서 터치패드(612) 상에서 두손가락 탭을 수행할 때, 마우스 커서는 POG(620) 인근의 위치(618)로, 또는 정확히 POG(620)로, 점프한다. 윈도(616)는 마우스 커서가 이제 윈도(616) 내에 있기 때문에 선택된다.
도 6에 도시되는 실시예는 예시적인 것이다. 다른 실시예는 다른 입력(가령, 마우스 더블 클릭, 터치패드 상의 2번의 연이은 태핑, 키보드 상에서 눌려지는 키, 등)을 이용하여 시선-보조 항법을 트리거링할 수 있고, 또는, 다른 실시예는 다른 방식으로(가령, 윈도 선택, 브라우저의 활성 탭 변경, 윈도 스크롤, 등) 항법을 보조할 수 있다. 도 6에 도시되는 실시예는 따라서, 배타적이거나 제한적인 것으로 간주되어서는 안되고, 예시적이거나 예증적인 것으로 해석되어야 한다.
일 실시예에서, GUI는 사용자의 시선이 검출될 때 디스플레이 상에서 피드백을 제공한다. 예를 들어, POG 상의 대략 중앙의 영역이 디스플레이 내에 나타나고, GUI 상의 일부 윈도는 투명해지며, 아이콘 또는 윈도가 재-배열되고, 또는 팝-업 메뉴가 디스플레이되는, 등등이다.
도 7은 일 실시예에 따른 시선-보조 게임 인터페이스를 도시한다. 사용자(702)는 시선 검출에 사용되는 카메라(706)에 연결된 게임 콘솔(704) 상에서 실행되는 게임을 하고 있다. 사용자(702)가 컨트롤러(708) 상에서 버튼을 누를 때, 게임은 버튼이 눌려질 때 사용자의 시선에 따라 서로 다른 작용으로 응답한다. 도 7의 실시예에서, 사용자는 적 캐릭터(714)와 교전하는 게임 캐릭터(712)를 제어하고 있다. 게임은 사용자의 POG에 따라 다르게 반응한다.
사용자의 POG(716a)가 에지 또는 디스플레이 상에, 또는 디스플레이 바깥에 있을 때, 컨트롤러(708) 상에서 X 버튼(710)을 누르면 게임이 제 1 작용을 수행할 것이다(가령, 캐릭터(712)가 총을 재장전할 것이다). 사용자의 POG(716b)가 사용자(702)에 의해 제어되는 캐릭터(712) 상에 있을 때, X 버튼(710)을 누르면 게임이 제 2 작용을 수행할 것이다(가령, 게임 캐릭터의 생명력(health)을 증가시킬 것이다). 사용자의 POG(716c)가 적 캐릭터(714) 상에 있을 때, X 버튼(710)을 누르면 게임이 제 3 작용을 수행할 것이다(가령, 캐릭터(712)가 POG(716c)의 위치에 총을 발사할 것이다).
도 7에 도시되는 실시예는 예시적인 것이다. 다른 실시예는 다른 버튼, 다른 타입의 입력 장치를 이용할 수 있고, 또는, 게임에 의해 서로 다른 반응을 야기할 수 있다(가령, 물체 습득, 문 개방, 캐릭터 이동, 등). 따라서, 도 7에 도시되는 실시예는 배타적이거나 제한적인 것으로 해석되어서는 안되고, 예시적이거나 예증적인 것으로 해석되어야 한다.
도 8은 일 실시예에 따른, 제스처에 응답하는 윈도우즈 그래픽 사용자 인터페이스를 도시한다. GUI는 사용자와 GUI와의 상호작용을 개선시키기 위해 시선 및 제스처를 입력으로 이용한다. 사용자가 지정 제스처를 수행할 때, 사용자의 시선과 연관된, 또는, 사용자의 시선에 의해 선택되는, 객체에 대해 작용이 수행된다.
예를 들어, 사용자(814)는 디스플레이(802)로부터 디스플레이(806)까지 윈도(810)를 이동시키고자 한다. 이동을 수행하기 위해, 사용자는 윈도(810)를 바라보고, 손(818)을 들며, 손(818)을 좌측에서 우측으로 이동(816)시켜서, 사용자(814)가 윈도(810)를 좌측에서 우측으로 이동시키고자 함을 표시한다. 데스크탑이 2개의 디스플레이 상에서 디스플레이되기 때문에, 좌측에서 우측으로 윈도를 이동(804)하면 윈도(810)가 디스플레이(806) 내의 위치(812)에서 종료될 것이다. 카메라(820)로부터의 이미지는 시선 검출 및 제스처 검출에 사용되지만, 어떤 방법의 시선 검출 또는 제스처 검출도 사용될 수 있다. 이러한 경우에, 사용자의 의향은 손으로 제스처를 수행하는 물리적 작용으로 나타난다.
다른 실시예에서, 사용자 제스처를 이용하여 디스플레이 상에 렌더링되는, 그리고 시선으로 선택되는, 객체를 조작할 수 있다. 예를 들어, 게임 환경에서, 사용자는 게임 내 객체(가령, 무기, 보물, 동전, 사다리, 등)를 바라보고, 사용자가 손을 움직일 때, 게임은 객체 상에서 연관된 작용을 수행함으로써 손 모션에 응답한다. 예를 들어, 사용자는 시선으로 지상의 동전을 선택할 수 있고, 그 후 사용자가 마치 동전을 줍는 것처럼 손을 이동시켜서, 사용자에 의해 제어되는 아바타 또는 게임 캐릭터가 동전을 줍게 된다.
도 9는 일 실시예에 따라, 시선 검출, 스피치 인지, 및 하나 이상의 컴퓨터 주변 장치를 이용하는 인터페이스를 도시한다. 일 실시예에서, 시선을 이용하여 디스플레이 내 영역 또는 물체를 선택하고, 사용자 입력은 객체의 선택(가령, 마우스 이동 또는 키 누름)을 표시하며, 스피치 인지를 이용하여 객체에 대한 작용을 수행한다.
예를 들어, 사용자(912)는 윈도우즈 환경에서 작업하고 있고, 데스크탑 상의 폴더 아이콘으로 표현되는 폴더(904)를 열고자 한다. 마우스가 폴더(904)로부터 떨어진 데스크탑 내 위치(908)에 위치한다. 사용자(912)는 시선을 폴더(904)로 지향시키고 마우스(916) 이동(914)을 시작한다. 마우스 모션이 검출될 때, 시스템은 사용자의 시선을 확인하고, POG가 폴더 아이콘(904) 근처에 배치된 표적 영역(906) 임을 결정한다. 그 후 시스템은 마우스 커서를, 폴더(904) 상에 있는, 또는 폴더(904) 근처에 있는, 위치(902)로 이동 또는 점프시킨다. 커서 위치가 폴더 상에 없을 경우, 사용자는 작은 마우스 모션을 수행하여 커서를 폴더(904) 위로 배치한다. 마우스가 폴더(904) 상에 있으면, 사용자는 (910) 음성 인식 프로그램에 의해 검출되는 명령(가령, "오픈", "복사", "삭제", "이동")을 말한다. 음성 명령이 검출되면, 요청받은 작동이 수행된다(가령, 윈도를 오픈하여 폴더(904)의 콘텐트를 디스플레이한다).
도 10은 본 발명의 실시예를 구현하기 위한 컴퓨터 시스템의 단순화된 개략도다. 여기서 설명되는 방법은 종래의 범용 컴퓨터 시스템과 같은 디지털 프로세싱 시스템으로 수행될 수 있다. 단 하나의 기능만을 수행하도록 설계 또는 프로그래밍된 전용 컴퓨터가 대안으로 사용될 수 있다. 컴퓨팅 장치(1012)는 메모리(1034)에, 영구 저장 장치(1058)에, 그리고, 컴퓨팅 장치(1012) 내부의(또는 컴퓨팅 장치(1012)에 연결된) 다른 모듈에 연결되는 프로세서(1032)를 포함한다. GUI 컴퓨터 프로그램(1036)은 메모리(1034)에 위치하지만, 영구 저장 장치(1058)에 위치할 수도 있다.
컴퓨팅 장치(1012)는 사운드 캡처 장치(1008), 이미지 캡처 장치(1020), 및 디스플레이(1026)와 통신한다. 일 실시예에서, 사운드 캡처 장치(1008), 이미지 캡처 장치(1020), 및 디스플레이(1026)는 컴퓨팅 장치(1012) 내에 구성될 수 있고, 또는, 비디오 레코더와 같은 하나 이상의 장치 내로 조합될 수 있다. 일 실시예에서, 사운드 캡처 장치는 마이크로폰을 포함하고, 다른 실시예에서, 사운드 캡처 장치는 마이크로폰 어레이를 포함한다.
시선 표적(1028)은 디스플레이 내에 형성되지만, 시선 표적(1028)이, 예를 들어, 앞서 설명한 바와 같이, 디스플레이(1028)를 둘러싸는 영역 또는 컴퓨팅 장치(1012) 상에서와 같이, 디스플레이 외부에 설정될 수도 있다. 시선 검출 모듈(1024)은 사용자의 POG를 결정하고, 사용자(1002)의 시선(1006)이 시선 표적(1028)을 향해 지향되는지 여부를 결정한다. 음성 측에서, 음성 인식 모듈(1016)은 사운드 캡처 장치(1008)로부터 수신되는 사운드(1004)를 처리하고, 음성 인지를 수행하여, 유효한 사용자 음성 명령이 발현되었는지를 결정한다. GUI 컴퓨터 프로그램(1036)은 시선 검출(1024), 음성 인식 모듈(1016), 및 머리 추적 모듈(1038)로부터 입력을 수신하여, 앞서 설명한 발명의 실시예들을 구현한다.
영구 저장 장치(1058)는 로컬 또는 원격 형태일 수 있는 고정 디스크 드라이브 또는 플로피 디스크 드라이브와 같은 지속성 데이터 저장 장치를 나타낸다. 네트워크 인터페이스(1046)는 네트워크 연결을 제공하여, 타 장치와의 통신을 가능하게 한다. 프로세서(1032)는 범용 프로세서, 전용 프로세서, 또는 전용으로 프로그래밍된 로직 장치로 구체화될 수 있다. 입/출력(I/O) 인터페이스(1042)는 디스플레이(1026), 키보드(1052), 마우스(1050), 사운드 캡처 장치(1008), 이미지 캡처 장치(1020), 스피커(1054), 버튼, 센서, 터치스크린(1056), 등과 같은 서로 다른 주변 장치들과의 통신을 제공한다. 범용 시리얼 버스(USB) 모듈(1044)은 USB 장치에 대한 연결 기능을 제공한다.
디스플레이(1026)는 여기서 설명되는 사용자 인터페이스를 디스플레이하도록 구성된다. 키보드(1052), 마우스(1050), 및 다른 주변 장치들은 프로세서(1032)와 정보를 통신하기 위해 I/O 인터페이스(1042)에 연결된다. 외부 장치 내외로의 데이터는 I/O 인터페이스(1042)를 통해 통신될 수 있다. 발명은 도선-기반 또는 무선 네트워크를 통해 연결된 원격 프로세싱 장치에 의해 작업이 수행되는 분산형 컴퓨팅 환경에서 실시될 수도 있다.
도 10에 도시되는 실시예는 예시적인 것이다. 다른 실시예는 다른 모듈을 이용할 수 있고, 일 모듈에 의해 수행되는 여러 기능을 가질 수 있고, 등등이다. 따라서, 도 10에 도시되는 실시예는 배타적이거나 제한적인 것으로 해석되어서는 안되고, 예시적이거나 예증적인 것으로 해석되어야 한다.
도 11은 발명의 일 실시예에 따라 컴퓨팅 장치에서 실행되는 컴퓨터 프로그램에 사용자를 인터페이싱시키기 위한 알고리즘을 나타내는 순서도를 도시한다. 작동(1102)에서, 사용자의 POG가 식별되고, 작동(1104)에서, 사용자가 커서 이동을 위한 물리적 작용을 개시하였는지 여부를 결정하기 위한 확인이 이루어진다. 사용자가 물리적 작용을 개시하였을 경우, 방법은 작동(1106)으로 진행되고, 사용자가 물리적 작용을 개시하지 않은 경우, 방법은 작동(1102)으로 되돌아간다.
작동(1106)에서, 커서의 현 위치와 POG 사이의 거리가 임계 거리보다 큰지 여부를 결정하기 위해 확인이 이루어진다. 이 거리가 임계 거리보다 클 경우, 방법은 작동(1108)으로 진행하여, 커서가 POG에 인접한 영역으로 이동한다. 거리가 임계 거리보다 크지 않은 경우, 방법은 다시 작동(1102)으로 되돌아간다.
본 발명의 실시예는 핸드-헬드 장치, 마이크로프로세서 시스템, 마이크로프로세서-기반 또는 프로그래머블 소비자 전자 장치, 미니컴퓨터, 메인프레임 컴퓨터, 등을 포함한 다양한 컴퓨터 시스템 구조를 이용하여 실시될 수 있다. 발명은 분산형 컴퓨팅 환경에서 또한 실시될 수 있고, 이 경우 네트워크를 통해 연결된 원격 프로세싱 장치에 의해 작업들이 수행된다.
이 실시예들을 고려하여, 발명은 컴퓨터 시스템에 저장되는 데이터를 포함한 다양한 컴퓨터-구현 작동들을 이용할 수 있음을 이해하여야 한다. 이러한 작동들은 물리적 양의 물리적 조작을 필요로하는 것들이다. 발명의 일부분을 형성하는 여기서 설명되는 작동들 중 어느 작동도 유용한 기계 작동이다. 발명은 이러한 작동들을 수행하기 위한 장치 또는 장비에 또한 관련된다. 장치는 전용 컴퓨터와 같이, 요구되는 용도를 위해 특별히 구성될 수 있다. 전용 컴퓨터로 형성될 때, 컴퓨터는 여전히 전용 용도로 작동할 수 있으면서, 전용 용도의 일부분이 아닌 다른 프로세싱, 프로그램 실행, 또는 루틴을 또한 수행할 수 있다. 대안으로서, 작동은 컴퓨터 메모리, 캐시에 저장된, 또는, 네트워크를 통해 얻는, 하나 이상의 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 구성되는 범용 컴퓨터에 의해 처리될 수 있다. 데이터를 네트워크를 통해 얻으면, 데이터는 네트워크 상의 다른 컴퓨터(가령, 컴퓨팅 리소스의 클라우드)에 의해 처리될 수 있다.
본 발명의 하나 이상의 실시예는 컴퓨터 판독가능 매체 상의 컴퓨터 판독가능 코드로 또한 만들어질 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 시스템에 의해 차후에 판독될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 장치다. 컴퓨터 판독가능 매체의 예는 하드 드라이브, 네트워크 부착 스토리지(NAS), 읽기-전용 메모리, 랜덤-액세스 메모리, CD-ROM, CD-R, CD-RW, 자기 테이프, 및 다른 광학식 및 비-광학식 데이터 저장 장치를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 코드가 분산 방식으로 저장 및 분배되도록, 네트워크-연결 컴퓨터 시스템을 통해 분배되는 컴퓨터-판독가능 유형 매체를 포함할 수 있다.
방법 작동들이 특정 순서로 설명되었으나, 다른 하우스키핑 작동이 이러한 작동들 사이에서 수행될 수 있고, 또는, 오버레이 작동들의 프로세싱이 요망 방식으로 수행되는 한, 프로세싱과 연관된 다양한 간격으로 프로세싱 작동을 발생시킬 수 있는 시스템에 작동들이 분배될 수 있고, 또는, 약간 다른 시기에 발생되도록, 작동들이 조정될 수 있다.
위 발명이 설명의 명료함을 위해 일부 세부적으로 설명되었으나, 첨부된 청구범위의 범위 내에서 소정의 변화 및 변형예가 실시될 수 있다. 따라서, 본 실시예는 제한적인 것이 아니라 예증적인 것으로 고려되어야 하며, 발명은 여기서 주어지는 세부사항에 제한되지 않고, 첨부된 청구범위의 범위 및 동등예 내에서 수정될 수 있다.

Claims (20)

  1. 컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법에 있어서, 상기 방법은,
    사용자의 응시점(POG)을 식별하는 단계와,
    디스플레이 상의 커서는 상기 컴퓨터 프로그램과 연관된 포커스 영역을 형성하고, 상기 커서의 위치를 이동시키기 위한 사용자에 의한 물리적 작용의 개시를 검출하는 단계와,
    상기 커서의 현 위치와 상기 POG 사이의 거리가 임계 거리보다 큰지 여부를 결정하는 단계와,
    상기 결정 및 검출에 응답하여 상기 커서를 현 위치로부터 상기 POG에 인접한 영역까지 이동시키는 단계를 포함하는 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 물리적 작용은 마우스 이동, 키 누름, 버튼 누름, 스크린 터치, 터치패드 터치, 제스처 수행, 또는 스피킹 중 하나인 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  3. 제 1 항에 있어서,
    거리를 결정하는 단계는,
    상기 현 위치와 상기 POG 사이의 스크린 화소수로 측정되는 거리의 값을 결정하는 단계를 더 포함하는 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  4. 제 1 항에 있어서,
    거리를 결정하는 단계는,
    상기 현 위치와 상기 POG가 GUI 내 서로 다른 윈도에 위치하는지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 커서는 마우스 커서, 텍스트 커서, 필드 선택 커서, 또는 페이지 커서 중 하나인 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  6. 제 1 항에 있어서,
    커서를 이동시키는 단계는,
    상기 현 위치로부터 상기 커서를 제거하고 상기 커서를 POG 상에 배치하는 단계를 더 포함하는 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  7. 제 1 항에 있어서,
    커서를 이동시키는 단계는,
    상기 POG가 위치하는 윈도 상에 커서를 배치하는 단계,
    상기 POG가 위치하는 디스플레이 상에 커서를 배치하는 단계,
    상기 POG에 인접한 GUI 객체 상에 커서를 배치하는 단계, 또는
    상기 POG에 인접한 입력 필드 상에 커서를 배치하는 단계
    중 하나 이상을 더 포함하는 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 커서와 상기 POG 사이의 거리에 기초하여 상기 커서를 제어하는 마우스의 감도를 변화시키는 단계를 더 포함하는 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  9. 제 1 항에 있어서,
    상기 사용자의 머리 위치를 추적하는 단계를 더 포함하는 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  10. 제 1 항에 있어서,
    즉각적인 시선-보조 항법을 트리거링하는 사용자로부터의 입력을 검출하는 단계와,
    상기 입력의 검출 후 커서를 POG로 이동시키는 단계를 더 포함하는 것을 특징으로 하는,
    컴퓨팅 장치에서 실행되는 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법.
  11. 그래픽 사용자 인터페이스(GUI)를 구비한 시스템에 있어서, 상기 시스템은,
    하나 이상의 디스플레이에서 렌더링되는 GUI를 제공하는 컴퓨터 프로그램을 실행하는 프로세서와,
    물리적 작용이 입력 장치 상에서 사용자에 의해 개시될 때 상기 하나 이상의 디스플레이 상에서 커서의 위치를 이동시키도록 작동가능한 입력 장치와,
    상기 컴퓨터 프로그램은 상기 커서의 현 위치와 사용자의 응시점(POG) 사이의 거리가 임계 거리보다 큰지 여부를 결정하고, 상기 컴퓨터 프로그램은 상기 물리적 작용의 거리 결정 및 검출에 응답하여 상기 커서를 현 위치로부터 POG에 인접한 영역까지 이동시키며, POG를 식별하도록 작동가능한 시선 검출 모듈을 포함하는 것을 특징으로 하는,
    그래픽 사용자 인터페이스(GUI)를 구비한 시스템.
  12. 제 11 항에 있어서,
    상기 시선 검출 모듈은 각막 반사 분석, 또는, 카메라로 촬영한 사용자 이미지의 분석 중 하나를 이용하는 것을 특징으로 하는,
    그래픽 사용자 인터페이스(GUI)를 구비한 시스템.
  13. 제 12 항에 있어서,
    상기 시선 검출 모듈은 복수의 사용자 이미지를 분석하여 사용자의 하나 이상의 물리적 특징의 위치를 결정하는 것을 특징으로 하는,
    그래픽 사용자 인터페이스(GUI)를 구비한 시스템.
  14. 제 11 항에 있어서,
    상기 POG가 상기 GUI 내의 객체 상에 위치할 때, 상기 GUI가 사용자에게 힌트를 제공하는 것을 특징으로 하는,
    그래픽 사용자 인터페이스(GUI)를 구비한 시스템.
  15. 제 11 항에 있어서,
    상기 POG에 기초하여 음성 명령을 실행하도록 작동가능한 음성 인식 모듈을 더 포함하는 것을 특징으로 하는,
    그래픽 사용자 인터페이스(GUI)를 구비한 시스템.
  16. 컴퓨터에 의해 실행될 때 컴퓨터 프로그램과 사용자를 인터페이싱하기 위한 방법을 구현하는 프로그램 명령어를 구비한 비-일시적 컴퓨터 판독가능 매체에 있어서, 상기 방법은,
    사용자의 응시점(POG)을 식별하는 단계와,
    디스플레이 상의 커서는 상기 컴퓨터 프로그램과 연관된 포커스 영역을 형성하고, 상기 커서의 위치를 이동시키기 위한 사용자에 의한 물리적 작용의 개시를 검출하는 단계와,
    상기 커서의 현 위치와 상기 POG 사이의 거리가 임계 거리보다 큰지 여부를 결정하는 단계와,
    상기 결정 및 검출에 응답하여 상기 커서를 현 위치로부터 상기 POG에 인접한 영역까지 이동시키는 단계를 포함하는 것을 특징으로 하는,
    비-일시적 컴퓨터 판독가능 매체.
  17. 제 16 항에 있어서,
    상기 방법은,
    GUI의 윈도 이동,
    GUI의 버튼 누름,
    GUI의 윈도 오픈,
    GUI의 윈도 닫음,
    GUI의 메뉴 오픈,
    메뉴로부터 옵션 선택, 또는,
    POG가 위치하는 윈도와는 다른 GUI의 윈도 감춤
    중 하나 이상을 더 포함하는 것을 특징으로 하는,
    비-일시적 컴퓨터 판독가능 매체.
  18. 제 16 항에 있어서,
    상기 컴퓨터는 게임 콘솔이고, 상기 컴퓨터 프로그램은 컴퓨터 게임이며, 상기 컴퓨터 게임은 사용자가 컨트롤러 상의 버튼을 누를 때 컴퓨터 게임의 반응을 결정하고, 상기 반응은 POG에 기초하는 것을 특징으로 하는,
    비-일시적 컴퓨터 판독가능 매체.
  19. 제 16 항에 있어서,
    상기 방법은,
    사용자가 읽고 있음을 검출하는 단계와,
    POG가 윈도의 에지 근처에 있을 때 윈도의 콘텐트를 스크롤링하는 단계를 더 포함하는 것을 특징으로 하는,
    비-일시적 컴퓨터 판독가능 매체.
  20. 제 16 항에 있어서,
    상기 POG가 디스플레이 외부에 있음을 결정하는 단계와,
    사용자에 의한 다른 물리적 작용의 개시를 검출하는 단계와,
    상기 POG에 기초하여 윈도의 콘텐트를 스크롤링하는 단계를 더 포함하는 것을 특징으로 하는,
    비-일시적 컴퓨터 판독가능 매체.
KR1020137029404A 2011-04-21 2012-04-06 시선-보조 컴퓨터 인터페이스 KR101541881B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/092,115 US8793620B2 (en) 2011-04-21 2011-04-21 Gaze-assisted computer interface
US13/092,115 2011-04-21
PCT/US2012/032613 WO2012145180A1 (en) 2011-04-21 2012-04-06 Gaze-assisted computer interface

Publications (2)

Publication Number Publication Date
KR20140035358A true KR20140035358A (ko) 2014-03-21
KR101541881B1 KR101541881B1 (ko) 2015-08-04

Family

ID=45977063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137029404A KR101541881B1 (ko) 2011-04-21 2012-04-06 시선-보조 컴퓨터 인터페이스

Country Status (6)

Country Link
US (2) US8793620B2 (ko)
EP (1) EP2699993B1 (ko)
JP (1) JP5807989B2 (ko)
KR (1) KR101541881B1 (ko)
CN (1) CN103518172B (ko)
WO (1) WO2012145180A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061699A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 방법
WO2020218859A1 (ko) * 2019-04-25 2020-10-29 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
KR20210123530A (ko) * 2020-04-03 2021-10-14 주식회사 포시에스 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법

Families Citing this family (289)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8640047B2 (en) * 2011-06-01 2014-01-28 Micorsoft Corporation Asynchronous handling of a user interface manipulation
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9829970B2 (en) * 2011-06-27 2017-11-28 International Business Machines Corporation System for switching displays based on the viewing direction of a user
US9318129B2 (en) * 2011-07-18 2016-04-19 At&T Intellectual Property I, Lp System and method for enhancing speech activity detection using facial feature detection
US20130055143A1 (en) * 2011-08-31 2013-02-28 Smart Technologies Ulc Method for manipulating a graphical user interface and interactive input system employing the same
US9612670B2 (en) * 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US9377852B1 (en) * 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
US8976110B2 (en) 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
JP5539945B2 (ja) * 2011-11-01 2014-07-02 株式会社コナミデジタルエンタテインメント ゲーム装置、及びプログラム
US9098069B2 (en) 2011-11-16 2015-08-04 Google Technology Holdings LLC Display device, corresponding systems, and methods for orienting output on a display
KR101692323B1 (ko) * 2011-12-14 2017-01-04 인텔 코포레이션 시선 활성화 콘텐츠 전송 시스템
US20130169532A1 (en) * 2011-12-29 2013-07-04 Grinbath, Llc System and Method of Moving a Cursor Based on Changes in Pupil Position
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US8860660B2 (en) 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10540008B2 (en) * 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
KR101515629B1 (ko) 2012-01-07 2015-04-27 삼성전자주식회사 플렉서블 표시부를 갖는 휴대단말의 이벤트 제공 방법 및 장치
DE112012005729T5 (de) * 2012-01-23 2014-10-02 Mitsubishi Electric Corporation Informations-Anzeigevorrichtung
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
KR101922589B1 (ko) * 2012-02-15 2018-11-27 삼성전자주식회사 디스플레이장치 및 그 시선추적방법
US10379695B2 (en) * 2012-02-21 2019-08-13 Prysm, Inc. Locking interactive assets on large gesture-sensitive screen displays
US8988349B2 (en) 2012-02-28 2015-03-24 Google Technology Holdings LLC Methods and apparatuses for operating a display in an electronic device
US8947382B2 (en) * 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
US9035878B1 (en) * 2012-02-29 2015-05-19 Google Inc. Input system
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
JP5982956B2 (ja) * 2012-03-30 2016-08-31 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2847648A4 (en) * 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
JP5783957B2 (ja) * 2012-06-22 2015-09-24 株式会社Ｎｔｔドコモ 表示装置、表示方法及びプログラム
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
KR20140011203A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
GB2504492A (en) * 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
US9292086B2 (en) 2012-09-26 2016-03-22 Grinbath, Llc Correlating pupil position to gaze location within a scene
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
KR101984590B1 (ko) 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US20140218281A1 (en) 2012-12-06 2014-08-07 Eyefluence, Inc. Systems and methods for eye gaze determination
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
JP6139118B2 (ja) * 2012-12-06 2017-05-31 東芝メディカルシステムズ株式会社 Ｘ線診断装置及び制御プログラム
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
KR102080896B1 (ko) * 2013-01-29 2020-02-25 삼성디스플레이 주식회사 모바일 장치 및 이의 구동 방법
EP2956844B1 (en) 2013-02-14 2017-05-24 Facebook, Inc. Systems and methods of eye tracking calibration
KR20160005013A (ko) * 2013-03-01 2016-01-13 토비 에이비 지연 워프 시선 상호작용
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
CN107264283B (zh) * 2013-03-29 2019-07-19 株式会社斯巴鲁 运输设备用显示装置
US20150277699A1 (en) * 2013-04-02 2015-10-01 Cherif Atia Algreatly Interaction method for optical head-mounted display
CN103207676B (zh) * 2013-04-09 2017-08-04 上海斐讯数据通信技术有限公司 计算机图像扫描控制系统及方法
CN103257707B (zh) * 2013-04-12 2016-01-20 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
KR20140126492A (ko) 2013-04-23 2014-10-31 엘지전자 주식회사 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법
WO2014181403A1 (ja) * 2013-05-08 2014-11-13 富士通株式会社 入力装置及び入力プログラム
US9117120B2 (en) 2013-05-24 2015-08-25 Honda Motor Co., Ltd. Field of vision capture
TWI509463B (zh) * 2013-06-03 2015-11-21 Utechzone Co Ltd 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品
GB201310376D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
WO2014205422A2 (en) 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices
JP5939581B2 (ja) 2013-07-08 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 表示画面上に表示された移動対象であるオブジェクトを移動する方法、並びに、その電子装置及び電子装置プログラム
KR101584590B1 (ko) 2013-07-11 2016-01-13 삼성전자주식회사 어플리케이션을 표시하는 사용자 단말 장치 및 그 방법
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US9261966B2 (en) * 2013-08-22 2016-02-16 Sony Corporation Close range natural user interface system and method of operation thereof
US20150077325A1 (en) * 2013-09-13 2015-03-19 Ron Ferens Motion data based focus strength metric to facilitate image processing
WO2015040608A1 (en) * 2013-09-22 2015-03-26 Inuitive Ltd. A peripheral electronic device and method for using same
US9483112B2 (en) * 2013-09-26 2016-11-01 Vmware, Inc. Eye tracking in remote desktop client
JP5945969B2 (ja) * 2013-09-27 2016-07-05 コニカミノルタ株式会社 操作表示装置、画像処理装置、およびそのプログラム、操作表示方法
WO2015050545A1 (en) * 2013-10-03 2015-04-09 Thomson Licensing Improved multi-screen management
KR101503159B1 (ko) * 2013-10-15 2015-03-16 (주)이스트소프트 시선의 위치를 감지하여 터치스크린을 제어하는 방법
WO2015057845A1 (en) * 2013-10-18 2015-04-23 Cornell University Eye tracking system and methods for developing content
US9876966B2 (en) 2013-10-18 2018-01-23 Pixart Imaging Inc. System and method for determining image variation tendency and controlling image resolution
TWI532377B (zh) * 2013-10-18 2016-05-01 原相科技股份有限公司 影像感測系統、影像感測方法以及眼球追蹤系統、眼球追蹤方法
CN104580943B (zh) * 2013-10-28 2019-10-18 原相科技股份有限公司 影像感测系统和方法以及眼球追踪系统和方法
JP6165979B2 (ja) * 2013-11-01 2017-07-19 インテル コーポレイション 注視補助型タッチスクリーン入力
US20150135133A1 (en) * 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Adjustable smooth scrolling
US10317995B2 (en) * 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
DE102013021814A1 (de) * 2013-12-20 2015-06-25 Audi Ag Bedienvorrichtung mit Eyetracker
US10180716B2 (en) * 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US20150185831A1 (en) * 2013-12-26 2015-07-02 Dinu Petre Madau Switching between gaze tracking and head tracking
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
EP3093738A4 (en) * 2014-01-08 2017-06-21 Sony Corporation Information processing system, information processing method, and program
US10372202B1 (en) * 2014-01-20 2019-08-06 Ca, Inc. Positioning a cursor on a display monitor based on a user's eye-gaze position
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9412363B2 (en) 2014-03-03 2016-08-09 Microsoft Technology Licensing, Llc Model based approach for on-screen item selection and disambiguation
JP6153487B2 (ja) * 2014-03-14 2017-06-28 株式会社Ｎｔｔドコモ 端末及び制御方法
US9733788B2 (en) * 2014-03-17 2017-08-15 Microsoft Technology Licensing, Llc Multi-stage cursor control
JP6644699B2 (ja) * 2014-03-19 2020-02-12 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
EP2924540B1 (de) * 2014-03-27 2019-04-24 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und System zum Betreiben einer Anzeigevorrichtung
US9342147B2 (en) 2014-04-10 2016-05-17 Microsoft Technology Licensing, Llc Non-visual feedback of visual change
EP3129849B1 (en) * 2014-04-11 2020-02-12 Facebook Technologies, LLC Systems and methods of eye tracking calibration
US9703373B2 (en) 2014-04-23 2017-07-11 Google Inc. User interface control using gaze tracking
US20150310651A1 (en) * 2014-04-29 2015-10-29 Verizon Patent And Licensing Inc. Detecting a read line of text and displaying an indicator for a following line of text
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9727136B2 (en) 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
WO2015183208A1 (en) * 2014-05-30 2015-12-03 Koç Üniversitesi Gaze based prediction device and method
KR102135373B1 (ko) * 2014-05-30 2020-07-17 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9583105B2 (en) * 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
US20220171530A1 (en) * 2014-06-11 2022-06-02 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
CN104049779A (zh) * 2014-06-25 2014-09-17 华东理工大学 在多个显示器之间实现鼠标指针快速切换
US9958947B2 (en) * 2014-06-25 2018-05-01 Comcast Cable Communications, Llc Ocular focus sharing for digital content
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9940757B2 (en) 2014-08-01 2018-04-10 Electronic Arts Inc. Modifying a simulated character by direct manipulation
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
CN104216521B (zh) * 2014-09-10 2017-11-28 苏州德品医疗科技股份有限公司 用于病房的眼动呼叫方法及系统
JP6038089B2 (ja) * 2014-09-22 2016-12-07 京セラドキュメントソリューションズ株式会社 文書閲覧装置、文書閲覧装置の制御方法
US10317992B2 (en) 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
US9715781B2 (en) * 2014-09-26 2017-07-25 Bally Gaming, Inc. System and method for automatic eye tracking calibration
KR20160051411A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 외부의 물체를 제어하는 전자 장치 및 그 방법
DE102014222752A1 (de) * 2014-11-07 2016-05-12 Bayerische Motoren Werke Aktiengesellschaft Bedienung über Kopfrichtung als Ersatz zur Blickrichtung
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
WO2016075532A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
JP6346547B2 (ja) * 2014-11-26 2018-06-20 公立大学法人広島市立大学 方向指示装置及び方向指示方法
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6603024B2 (ja) 2015-02-10 2019-11-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6519075B2 (ja) * 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
US20180239442A1 (en) * 2015-03-17 2018-08-23 Sony Corporation Information processing apparatus, information processing method, and program
US10802620B2 (en) * 2015-03-17 2020-10-13 Sony Corporation Information processing apparatus and information processing method
EP3274920A4 (en) * 2015-03-23 2018-11-07 ControlRAD Systems Inc. Eye tracking system
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9804733B2 (en) * 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US20160313813A1 (en) * 2015-04-22 2016-10-27 Henge Docks Llc Method for Determining the Position of a Cursor on a Display Screen
DE102015210430A1 (de) * 2015-06-08 2016-12-08 Robert Bosch Gmbh Verfahren zum Erkennen eines Sprachkontexts für eine Sprachsteuerung, Verfahren zum Ermitteln eines Sprachsteuersignals für eine Sprachsteuerung und Vorrichtung zum Ausführen der Verfahren
US9898865B2 (en) 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US10452134B2 (en) * 2015-06-25 2019-10-22 Intel Corporation Automated peripheral device handoff based on eye tracking
EP3118722B1 (en) * 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
KR20170025400A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN105630324A (zh) * 2015-08-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种显示器之间的切换方法、装置及系统
US10186086B2 (en) 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US10037724B2 (en) * 2015-09-04 2018-07-31 Dell Products L.P. Information handling system selective color illumination
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US9990113B2 (en) * 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
KR101840350B1 (ko) * 2015-09-24 2018-03-20 주식회사 뷰노 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
US9830513B2 (en) 2015-09-24 2017-11-28 Tobii Ab Systems and methods for panning a display of a wearable device
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
EP3156879A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Historical representation in gaze tracking interface
KR20180053402A (ko) 2015-10-19 2018-05-21 오리랩 인크. 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체
JP6273243B2 (ja) * 2015-10-19 2018-01-31 株式会社コロプラ 仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラム
US9886958B2 (en) 2015-12-11 2018-02-06 Microsoft Technology Licensing, Llc Language and domain independent model based approach for on-screen item selection
KR102534963B1 (ko) * 2016-02-23 2023-05-23 삼성전자주식회사 전자 장치 및 그 제어 방법
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
CN109416572A (zh) 2016-04-29 2019-03-01 托比股份公司 启用眼睛跟踪的可穿戴设备
DE102016108885A1 (de) * 2016-05-13 2017-11-16 Visteon Global Technologies, Inc. Verfahren zum berührungslosen Verschieben von visuellen Informationen
US10055186B2 (en) 2016-06-01 2018-08-21 Dell Products, Lp Mitigation of image degradation in displays
JP6729069B2 (ja) * 2016-06-28 2020-07-22 富士ゼロックス株式会社 情報処理装置
JP2018010584A (ja) * 2016-07-15 2018-01-18 アイシン・エィ・ダブリュ株式会社 操作支援装置及びコンピュータプログラム
JP2018010583A (ja) * 2016-07-15 2018-01-18 アイシン・エィ・ダブリュ株式会社 操作支援装置及びコンピュータプログラム
JP6799063B2 (ja) * 2016-07-20 2020-12-09 富士フイルム株式会社 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム
US10678327B2 (en) * 2016-08-01 2020-06-09 Microsoft Technology Licensing, Llc Split control focus during a sustained user interaction
US10506221B2 (en) 2016-08-03 2019-12-10 Adobe Inc. Field of view rendering control of digital content
US20180046363A1 (en) * 2016-08-10 2018-02-15 Adobe Systems Incorporated Digital Content View Control
US11461820B2 (en) 2016-08-16 2022-10-04 Adobe Inc. Navigation and rewards involving physical goods and services
JP2018041354A (ja) * 2016-09-09 2018-03-15 アイシン・エィ・ダブリュ株式会社 ポインタ制御システムおよびポインタ制御プログラム
US10068378B2 (en) 2016-09-12 2018-09-04 Adobe Systems Incorporated Digital content interaction and navigation in virtual and augmented reality
JP2018061666A (ja) * 2016-10-12 2018-04-19 株式会社カプコン ゲームプログラム及びゲーム装置
US10430559B2 (en) 2016-10-18 2019-10-01 Adobe Inc. Digital rights management in virtual and augmented reality
CN106445461B (zh) * 2016-10-25 2022-02-15 北京小米移动软件有限公司 文字信息处理方法及装置
EP3316075B1 (en) * 2016-10-26 2021-04-07 Harman Becker Automotive Systems GmbH Combined eye and gesture tracking
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
CN106681509A (zh) * 2016-12-29 2017-05-17 北京七鑫易维信息技术有限公司 界面操作的方法和系统
KR102324680B1 (ko) * 2017-03-13 2021-11-10 삼성전자주식회사 전원공급장치, 이를 구비한 디스플레이 장치 및 전원 공급 방법
US10627900B2 (en) * 2017-03-23 2020-04-21 Google Llc Eye-signal augmented control
US11609692B2 (en) * 2017-04-07 2023-03-21 Hewlett-Packard Development Company, L.P. Cursor adjustments
US20200117286A1 (en) * 2017-04-07 2020-04-16 Hewlett-Packard Development Company, L.P. Cursor positioning adjustments
DE102017113763B4 (de) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
KR102203720B1 (ko) * 2017-06-26 2021-01-15 에스케이텔레콤 주식회사 음성 인식 방법 및 장치
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
US10155166B1 (en) * 2017-09-08 2018-12-18 Sony Interactive Entertainment Inc. Spatially and user aware second screen projection from a companion robot or device
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
US10678116B1 (en) * 2017-11-09 2020-06-09 Facebook Technologies, Llc Active multi-color PBP elements
US10671238B2 (en) * 2017-11-17 2020-06-02 Adobe Inc. Position-dependent modification of descriptive content in a virtual reality environment
JP2019105678A (ja) * 2017-12-11 2019-06-27 京セラドキュメントソリューションズ株式会社 表示装置、及び画像表示方法
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10831265B2 (en) 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
JP6911809B2 (ja) * 2018-05-09 2021-07-28 日本電信電話株式会社 推定方法、推定プログラム及び推定装置
KR20190130770A (ko) * 2018-05-15 2019-11-25 삼성전자주식회사 Vr/ar 콘텐트를 제공하는 전자 장치
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
WO2019227223A1 (en) * 2018-05-30 2019-12-05 Clearvoxel Imaging Inc. System, method and/or computer readable medium for enhanced presentation and/or interpretation of images with visual feedback
US11684305B2 (en) 2018-06-02 2023-06-27 Seyedhesam Sadeghian-Motahar Electrode array configuration on a flexible substrate for electro-oculogram recording
EP3803540B1 (en) * 2018-06-11 2023-05-24 Brainlab AG Gesture control of medical displays
JP6731016B2 (ja) * 2018-06-12 2020-07-29 矢崎総業株式会社 車両用表示システム
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US20200064912A1 (en) * 2018-08-22 2020-02-27 Ford Global Technologies, Llc Eye gaze tracking of a vehicle passenger
US10776073B2 (en) 2018-10-08 2020-09-15 Nuance Communications, Inc. System and method for managing a mute button setting for a conference call
US11010013B2 (en) 2018-10-29 2021-05-18 International Business Machines Corporation Providing visual control guidance on a display
TWI726252B (zh) * 2018-10-31 2021-05-01 宏碁股份有限公司 多螢幕操作方法與使用此方法的電子系統
CN111176425A (zh) * 2018-11-12 2020-05-19 宏碁股份有限公司 多屏幕操作方法与使用此方法的电子系统
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US10901570B2 (en) * 2018-11-26 2021-01-26 International Business Machines Corporation Input placement control guidance on a display
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和系统
CN111309142A (zh) 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
US11188148B2 (en) * 2018-12-27 2021-11-30 Facebook Technologies, Llc User interaction in head-mounted display with eye tracking
BE1026977B1 (nl) * 2019-01-20 2020-08-24 Inventrans Bvba Werkwijze en inrichting en systeem voor het verschaffen van dubbele muis ondersteuning
JP7263857B2 (ja) * 2019-03-14 2023-04-25 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム
CN113544626A (zh) * 2019-03-15 2021-10-22 索尼集团公司 信息处理装置、信息处理方法和计算机可读记录介质
US11256342B2 (en) * 2019-04-03 2022-02-22 Facebook Technologies, Llc Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
US10969863B2 (en) * 2019-05-08 2021-04-06 International Business Machines Corporation Configurable sensor array for a multi-target environment
EP3742308A1 (en) * 2019-05-21 2020-11-25 Siemens Healthcare GmbH Computer-implemented method for providing cross-linking between cloud-based webapplications
US10871875B2 (en) * 2019-05-24 2020-12-22 Dell Products, L.P. Cursor identification on an IHS display
JP7321786B2 (ja) * 2019-06-17 2023-08-07 キヤノン株式会社 電子機器およびその制御方法
US11106279B2 (en) * 2019-06-21 2021-08-31 Verb Surgical Inc. Eye tracking calibration for a surgical robotic system
CN110300225A (zh) * 2019-06-28 2019-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
US11114060B2 (en) * 2019-08-08 2021-09-07 Adlink Technology Inc. Cursor image detection comparison and feedback status determination method
US11106929B2 (en) 2019-08-29 2021-08-31 Sony Interactive Entertainment Inc. Foveated optimization of TV streaming and rendering content assisted by personal devices
KR20210048725A (ko) 2019-10-24 2021-05-04 삼성전자주식회사 카메라 제어를 위한 방법 및 이를 위한 전자 장치
JP7383471B2 (ja) * 2019-12-20 2023-11-20 キヤノン株式会社 電子機器およびその制御方法
US11232366B2 (en) * 2019-12-23 2022-01-25 Dell Products L.P. System and method for managing information handling systems
KR20210101027A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20210136623A (ko) * 2020-05-08 2021-11-17 한국전자통신연구원 시선 추적 장치 및 방법
RU2738070C1 (ru) * 2020-05-13 2020-12-07 Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен") Устройство определения координат линии взора наблюдателя в режиме реального времени
CN111601129B (zh) * 2020-06-05 2022-04-01 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
CN111782098A (zh) 2020-07-02 2020-10-16 三星电子（中国）研发中心 一种页面导航方法、装置和智能设备
US11599239B2 (en) 2020-09-15 2023-03-07 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
CN112148142B (zh) * 2020-10-06 2021-12-10 东莞美泰电子有限公司 一种分时控制多台电脑的鼠标及控制方法
JP7346375B2 (ja) 2020-10-22 2023-09-19 キヤノン株式会社 電子機器及びその制御方法及びプログラム及び記録媒体
US11644902B2 (en) * 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
KR20220081136A (ko) * 2020-12-08 2022-06-15 삼성전자주식회사 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
WO2022207821A1 (en) * 2021-03-31 2022-10-06 Legind Von Bergen Holding Aps A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program
GB2606182B (en) * 2021-04-28 2023-08-23 Sony Interactive Entertainment Inc System and method of error logging
CN113391746B (zh) * 2021-06-17 2023-05-09 Vidaa(荷兰)国际控股有限公司 一种显示设备及多窗口焦点控制方法
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230069764A1 (en) * 2021-08-24 2023-03-02 Meta Platforms Technologies, Llc Systems and methods for using natural gaze dynamics to detect input recognition errors
WO2023044352A1 (en) * 2021-09-15 2023-03-23 Neural Lab, Inc. Touchless image-based input interface
WO2023049876A1 (en) * 2021-09-25 2023-03-30 Apple Inc. Methods for interacting with an electronic device
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US20230266817A1 (en) * 2022-02-23 2023-08-24 International Business Machines Corporation Gaze based text manipulation
WO2023172272A1 (en) * 2022-03-11 2023-09-14 Hewlett-Packard Development Company, L.P. Display devices focus indicators
DE102022110291B3 (de) 2022-04-27 2023-11-02 Universität Stuttgart, Körperschaft Des Öffentlichen Rechts Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm
US20240036794A1 (en) * 2022-07-26 2024-02-01 Lenovo (Singapore) Pte. Ltd. Movement of cursor between displays based on motion vectors
US11836328B1 (en) 2022-10-18 2023-12-05 Dean Olliphant System to translate a cursor between multiple displays

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59508731D1 (de) 1994-12-23 2000-10-26 Siemens Ag Verfahren zur Umwandlung von sprachlich eingegebenen Informationen in maschinenlesbare Daten
GB9606791D0 (en) * 1996-03-29 1996-06-05 British Telecomm Control interface
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6282553B1 (en) 1998-11-04 2001-08-28 International Business Machines Corporation Gaze-based secure keypad entry system
JP2003256128A (ja) * 2002-02-27 2003-09-10 Akio Nakamura パソコンモニター画面上で視線先の視点位置に眼の位置を検出してカーソルを自動的に表示させる一連のコンピューターシステム
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
JP3755499B2 (ja) * 2002-09-06 2006-03-15 ソニー株式会社 Ｇｕｉアプリケーション開発支援装置、ｇｕｉ表示装置、および方法、並びにコンピュータ・プログラム
US6859144B2 (en) 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US9652032B2 (en) * 2004-03-02 2017-05-16 Brian T. Mitchell Simulated training environments based upon fixated objects in specified regions
JP4088282B2 (ja) * 2004-08-20 2008-05-21 清実 中村 コンピュータ入力方法と装置
CN1740951A (zh) * 2004-08-25 2006-03-01 西门子公司 用于利用人眼进行设备控制的装置
US7396129B2 (en) 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US7747965B2 (en) * 2005-01-18 2010-06-29 Microsoft Corporation System and method for controlling the opacity of multiple windows while browsing
DE102005003535A1 (de) 2005-01-25 2006-08-03 Daimlerchrysler Ag Optische und akustische Informationsausgabe
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US7721225B2 (en) * 2005-05-03 2010-05-18 Novell, Inc. System and method for creating and presenting modal dialog boxes in server-side component web applications
US7598941B2 (en) * 2005-07-01 2009-10-06 Microsoft Corporation Pointer for a large display
SE529156C2 (sv) * 2005-10-28 2007-05-15 Tobii Technology Ab Ögonföljare med visuell återkoppling
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
SE529599C2 (sv) * 2006-02-01 2007-10-02 Tobii Technology Ab Alstring av grafisk returinformation i ett datorsystem
US8381127B2 (en) * 2006-02-02 2013-02-19 Scenera Technologies, Llc Methods, systems, and computer program products for displaying windows on a graphical user interface based on relative priorities associated with the windows
GB2440348B (en) * 2006-06-30 2008-10-22 Motorola Inc Computer device having a user interface and method for positioning a cursor thereon
US20090146953A1 (en) * 2006-10-30 2009-06-11 Imu Solutions, Inc. Methods for processing data from accelerometer in anticipating real-time cursor control movements
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
US10437459B2 (en) * 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
JP4411387B2 (ja) * 2007-08-07 2010-02-10 学校法人 大阪電気通信大学 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体
TWI396117B (zh) * 2007-10-30 2013-05-11 Imu Solutions Inc 用於控制游標移動的加速度計資料處理方法及游標控制裝置
ITFI20080049A1 (it) * 2008-03-12 2009-09-13 Sr Labs Srl Apparato per la creazione, il salvataggio e la formattazione di documenti testuali tramite controllo oculare e metodo associato basato sul posizionamento ottimizzato del cursore.
JP2010004118A (ja) 2008-06-18 2010-01-07 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
US20110128223A1 (en) * 2008-08-07 2011-06-02 Koninklijke Phillips Electronics N.V. Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
US8700332B2 (en) 2008-11-10 2014-04-15 Volkswagen Ag Operating device for a motor vehicle
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8581838B2 (en) 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
JP5695819B2 (ja) * 2009-03-30 2015-04-08 日立マクセル株式会社 テレビ操作方法
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20110320978A1 (en) * 2010-06-29 2011-12-29 Horodezky Samuel J Method and apparatus for touchscreen gesture recognition overlay
US20120029302A1 (en) * 2010-07-29 2012-02-02 Shih-Chung Hsu Apparatus and method for dynamic detection of electrophysiological signals for stillness feedback
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061699A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 방법
WO2020218859A1 (ko) * 2019-04-25 2020-10-29 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
KR20210123530A (ko) * 2020-04-03 2021-10-14 주식회사 포시에스 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법

Also Published As

Publication number Publication date
US20120272179A1 (en) 2012-10-25
US8793620B2 (en) 2014-07-29
JP5807989B2 (ja) 2015-11-10
CN103518172B (zh) 2016-04-20
WO2012145180A1 (en) 2012-10-26
US9971401B2 (en) 2018-05-15
EP2699993B1 (en) 2019-03-06
US20140333535A1 (en) 2014-11-13
EP2699993A1 (en) 2014-02-26
CN103518172A (zh) 2014-01-15
JP2014514661A (ja) 2014-06-19
KR101541881B1 (ko) 2015-08-04

Similar Documents

Publication Publication Date Title
KR101541881B1 (ko) 시선-보조 컴퓨터 인터페이스
US11853477B2 (en) Zonal gaze driven interaction
EP3088997A1 (en) Delay warp gaze interaction
US20160364138A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
EP2672880B1 (en) Gaze detection in a 3d mapping environment
US20170017393A1 (en) Method for controlling interactive objects from a touchpad of a computerized device
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
TWI658396B (zh) 介面控制方法和電子裝置
WO2020146121A1 (en) Hand motion and orientation-aware buttons and grabbable objects in mixed reality
JP6524589B2 (ja) クリック動作検出装置，方法およびプログラム
EP3321791A1 (en) Gesture control and interaction method and device based on touch-sensitive surface and display
US10222866B2 (en) Information processing method and electronic device
US9940900B2 (en) Peripheral electronic device and method for using same
WO2018035353A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
HANI Detection of Midair Finger Tapping Gestures and Their Applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180713

Year of fee payment: 4