KR20160005013A - 지연 워프 시선 상호작용 - Google Patents
지연 워프 시선 상호작용 Download PDFInfo
- Publication number
- KR20160005013A KR20160005013A KR1020157027213A KR20157027213A KR20160005013A KR 20160005013 A KR20160005013 A KR 20160005013A KR 1020157027213 A KR1020157027213 A KR 1020157027213A KR 20157027213 A KR20157027213 A KR 20157027213A KR 20160005013 A KR20160005013 A KR 20160005013A
- Authority
- KR
- South Korea
- Prior art keywords
- action
- contact
- computer
- display
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
컴퓨터 시스템은 안구 추적 디바이스와 같은, 비-접촉 입력들을 이용하여 제어될 수 있다. 시각적 표시기는 컴퓨터 기능이 발생할 위치를 나타내기 위해 디스플레이 상에 제시될 수 있다(예를 들어, 통상의 커서). 시각적 표시기는 미리결정된 시간 기간 동안 사용자에 의한 액션(예를 들어, 터치패드 터치)의 계속되는 검출에 응답하여 시선 타겟으로 이동될 수 있다. 액션과 시각적 표시기의 이동 사이의 지연은 사용자에게 시각적 표시기의 이동을 "취소"하는 시간을 허용할 수 있다. 추가적으로, 시각적 표시기가 일단 이동되면, 시각적 표시기는 계속적인 액션(예를 들어, 터치패드를 계속하여 잡고있는) 동안에 사용자가 시선을 이동함에 따라 추가의 정밀도로 제어될 수 있다.
Description
관련 출원에 대한 상호 참조
본 출원은 2013년 3월 1일 출원된 미국 가특허 출원 번호 제61/771,659호 및 2013년 11월 18일 출원된 미국 가특허 출원 번호 제61/905,536호의 이익을 주장하며, 양자 모두는 본원에 그 전체가 참조로서 포함된다. 본 출원은 2013년 3월 13일 출원된 미국 특허 출원 번호 제13/802,240호를 참조로서 더 포함한다
기술 분야
본 개시내용은 일반적으로 인간-컴퓨터 상호작용에 관련되며, 보다 구체적으로는 시선 검출(gaze detection)에 관련된다.
인간-컴퓨터 상호작용은 일반적으로 사용자에 의한 컴퓨터로의 정보의 입력 및 컴퓨터의 제어에 관련된다. 다수의 일반적이고 대중적인 컴퓨터 프로그램들 및 운영 체제는 물리적 접촉 또는 조작(예를 들어, 마우스 또는 키보드)을 수반하는 입력 방법들과 주로 기능하도록 개발되었다. 이러한 유형의 물리적 입력 방법은 본원에서 접촉-요구형(contact-required) 입력으로서 지칭된다. 비-접촉 입력 방법들을 사용하고자 하는 사람들에게는 그들의 잠재력을 충분히 발휘하도록 이러한 컴퓨터 프로그램들 및 운영 체제와 상호작용하는 것은 어려울 수 있다. 일부 사람들은 다양한 이유로 인해(예를 들어, 부상 또는 장애로 인해) 비-접촉 입력 방법들을 사용해야만 한다.
비-접촉 입력 디바이스의 예는 미국 특허 번호 제7,572,008호에 설명된 안구 추적 디바이스이다. 안구 추적 디바이스들은 적외선 광으로 안구를 조광하고 안구로부터 되돌아오는 광의 반사를 검출하기 위해 이미지 센서를 활용하는 것에 기반하여 동작할 수 있다. 프로세서는 이미지 센서의 데이터를 사용하여 사용자의 시선 방향을 계산할 수 있다.
그러나, 기술의 발전에 따라, 컴퓨터 프로그램들 및 운영 체제는, 접촉-요구형 입력들에 기초하여, 간단하고 복잡한 기능성 양자를 가능하게 하는 새로운 형식의 인간-컴퓨터 상호작용을 포함한다. 인간-컴퓨터 상호작용의 형식의 예는 컴퓨터, 태블릿, 전화 등 상에서의 터치 기반 상호작용이고, 이에 의해 사용자는 터치 감지 디바이스(예를 들어, 터치스크린) 상에서 터칭함으로써 그리고 제스처들(예를 들어, 멀티 핑거 제스처들)을 수행함으로써 디바이스와 상호작용한다. 이러한 그리고 다른 형식의 사용자 상호작용은 디바이스와 사용자 사이의 지극히 물리적인 연결을 요하며, 때로는 사용자와 터치 감지 디바이스 사이에 다수의 포인트들의 물리적 접촉 포인트(예를 들어, 멀티 핑거 제스처들에 있어서)를 요구한다.
간단하고 복잡한 기능성 양자를 수행하는 능력을 갖는 비-접촉 입력들에 기초한 인간-컴퓨터 상호작용 방법들을 개발하는 것이 바람직할 수 있다. 접촉-요구형 입력들을 주로 사용하도록 개발된 컴퓨팅 디바이스들 상에서 효과적으로 기능할 수 있는 비-접촉 입력들에 기초하는 인간-컴퓨터 상호작용 방법들을 개발하는 것이 더 바람직할 수 있다.
다수의 비-접촉 상호작용은 접촉 방법들에 대한 명확한 정의 및 식별이 결여되어 있고, 따라서, 때로는 비-접촉 입력 명령의 의도와 관련하여 모호할 수 있다. 이러한 문제를 보조하기 위해, 컴퓨터 마우스 또는 터치패드와 같은, 접촉-요구형 입력 디바이스를 이용하는 안구 추적과 같은 비-접촉 입력을 활용하는 것이 이전에 제안되었다. 예를 들어, 미국 특허 번호 제6,204,828호는 스크린 상의 커서의 디스플레이가 컴퓨터 마우스에 의한 이동시에 사용자의 시선 위치에서 보류되고 디스플레이되는 시스템을 설명한다.
일부 상호작용 방법들은 직관적이지 않고 사용자는 안구 추적이 기능하고 있는지 또는 커서의 정확한 위치를 확실히 알지 못할 수 있다. 일부 상호작용 방법들은 인지적 혼란(cognitive disruption)을 초래하며, 이에 의해 사용자가 커서의 이동을 트리거한 후에, 사용자는 커서의 향후 위치를 예측해야만 하고 그에 따라 조정해야만 한다.
사용자가 마우스 이동을 트리거링하는 것을 의도하는지를 결정하면서 커서의 향후 위치를 가능한 조기에 사용자에게 신호하는 것이 바람직할 수 있다. 또한, 안구 추적 시스템이 100% 정확성을 제공하지 않을 수 있으므로, 커서가 이동할 결정된 시선 위치는 사용자에 의해 의도된 위치가 아닐 수 있다. 터치패드 또는 마우스와 같은 접촉-요구형 입력과 조합하여 안구 추적과 같은 비-접촉 입력을 어떻게 그리고 언제 사용할지를 보다 정확하게 결정하여 사용자를 보조하는 것이 바람직할 수 있다.
"실시예"라는 용어 및 그와 유사한 용어는 본 개시내용 및 특허청구범위의 발명 전부를 광범위하게 지칭하도록 의도된다. 이러한 용어들을 포함하는 진술들은 본원에서 설명된 발명을 제한하거나 특허청구범위의 범주 또는 의미를 제한하지 않는 것으로 이해되어야 한다. 본원에서 망라된 본 개시내용의 실시예들은 본 요약이 아니라 특허청구범위에 의해 정의된다. 본 요약은 개시내용의 다양한 양태들의 높은 수준의 개요이고, 이하의 상세한 설명에서 더 설명되는 개념들의 일부를 소개한다. 이러한 요약은 청구된 발명의 중요하거나 필수적인 특징들을 식별하도록 의도되지 않고, 또한 청구된 발명의 범주를 결정하도록 별개로 사용하도록 의도되지 않는다. 발명은 본 개시내용의 전체 명세서의 적정 부분들, 임의의 또는 모든 도면들 및 각각의 청구항에 대한 참조에 의해 이해되어야 한다.
본 개시내용의 실시예들은 구역 제어(zonal control)를 통해 비-접촉 입력들을 이용하여 제어될 수 있는 컴퓨터 시스템들을 포함한다. 일 실시예에서, 비-접촉 입력은 사용자에 의해 수행되는 비-접촉 액션을 추적한다. 컴퓨터의 디스플레이, 그리고 그 외부는, 구성에 따라 다수의 이산적 구역들로 분리될 수 있다. 각각의 구역은 컴퓨터 기능과 연관된다. 구역들 및/또는 그들의 기능들은, 그럴 필요는 없지만, 사용자에게 표시될 수 있다. 사용자는 비-접촉 입력에 의해 검출되는 비-접촉 액션들을 수행함으로써 다양한 컴퓨터 기능들을 수행할 수 있다. 특정 기능과 연관된 원하는 구역을 표시함에 따라, 사용자는 활성화 의도 신호(activation signal of intent)를 제공할 수 있다. 활성화 의도 신호는 접촉-요구형 또는 비-접촉 액션일 수 있고, 예컨대, 각각 버튼 누름 또는 체류 시선(dwelling gaze)일 수 있다. 활성화 의도 신호를 수신함에 따라, 컴퓨터 시스템은 표시된 구역(예를 들어, 사용자의 비-접촉 액션들에 의해 표시된)을 사용하여 그 구역과 연관된 기능을 수행할 수 있다.
본 개시내용의 실시예들은, 안구 추적 디바이스들과 같은 비-접촉 입력들을 이용하여 제어될 수 있는 컴퓨터 시스템을 포함한다. 시각적 표시기가 디스플레이 상에 제시되어 컴퓨터 기능이 발생할(예를 들어, 통상적 커서) 위치를 표시할 수 있다. 시각적 표시기는 미리정의된 시간 기간 동안 사용자에 의한 액션(예를 들어, 터치패드 터치)의 계속되는 검출에 응답하여 시선 타겟(gaze target)으로 이동될 수 있다. 액션과 시각적 표시기의 이동 간의 지연은 이동 후에 시각적 표시기가 어디에 위치될지에 대해 사용자에게 표시를 제공할 기회를 제공하여, 시각적 표시기가 새로운 위치에 나타난 후에, 인지적 혼란을 줄이게 한다. 선택적으로, 지연은 또한 시각적 표시기의 이동을 "중단시킬(abort)" 시간을 사용자에게 허용할 수 있다. 또한, 시각적 표시기가 이동하면, 시각적 표시기는, 사용자가 액션(예를 들어, 계속해서 터치패드를 홀딩(holding)하는 것)을 계속하면서 시선을 이동함에 따라 추가의 정밀도로 제어될 수 있다.
본 개시내용의 실시예들은 안구 추적 디바이스들과 같은 비-접촉 입력들을 이용하여 제어될 수 있는 컴퓨터 시스템을 포함한다. 컴퓨터는, 제1 액션(예를 들어, 터치패드를 누르기)을 검출하는 것에 응답하여 제1 시선 타겟에 인접한 디스플레이의 부분을 확대할 수 있다. 그리고 나서, 컴퓨터는 사용자가 제2 시선 타겟을 확대된 부분 내에 위치시키고(예를 들어, 원하는 위치를 바라봄으로써) 그 위치에서 컴퓨터 기능을 수행하도록 제2 액션을 수행하게 할 수 있다. 확대하는 것은 사용자가 컴퓨터 기능(예를 들어, 아이콘 선택)에 대한 원하는 위치를 높은 정밀도로 식별하게 할 수 있다.
본 개시내용의 실시예들은 안구 추적 디바이스들과 같은 비-접촉 입력들을 이용하여 제어될 수 있는 컴퓨터 시스템을 포함한다. 비-접촉 액션들 및 접촉 요구형 액션들의 다양한 조합들이 수행되어 컴퓨터로 하여금 특정 컴퓨터 기능을 수행하게 할 수 있다. 기능들은 스크롤 기능, 시각적 표시기들의 이동, 디스플레이의 주밍(zooming), 및 수행하기 위한 추가의 기능들을 선택하는 것을 포함할 수 있다. 비-접촉 액션들 및 접촉-요구형 액션들의 조합은, 디스플레이 상의 또는 디스플레이 외부의 특정 위치들을 바라보면서 버튼을 누르는 것 및/또는 터치 감지 디바이스들을 터칭하는 것을 포함할 수 있다.
상세한 설명은 이하의 첨부되는 도면들을 참조하며, 상이한 도면들에서 유사한 참조번호들은 비슷하거나 유사한 컴포넌트들을 예시하도록 의도된다.
도 1은 특정 실시예들에 따른 비-접촉 입력들을 포함하는 컴퓨터 시스템의 개략적 표현이다.
도 2a는 특정 실시예들에 따른 도 1의 디스플레이 디바이스 상에 렌더링되거나 제시되는 디스플레이의 그래픽적 도시이다.
도 2b는 특정 실시예들에 따른 제1 구성을 갖는 구역 제어 모드에서의 도 2a의 디스플레이의 그래픽적 도시이다.
도 3은 특정 실시예들에 따른 구역 제어를 위한 프로세스를 도시하는 흐름도이다.
도 4는, 특정 실시예들에 따른 제2 구성을 갖는 구역 제어 모드에 있는 동안 도 1의 디스플레이 디바이스 상에 렌더링되거나 제시되는 디스플레이의 그래픽적 도시이다.
도 5는 특정 실시예들에 따른 시각적 표시기의 그래픽적 도시이다.
도 6은 특정 실시예들에 따른 컴퓨터에 의해 수행되는 지연 워프(delay warp)의 흐름도 이다.
도 7a은 일부 실시예들에 따른 멀티-스텝 클릭(multi-step click) 기능성을 도시하는 흐름도이다.
도 7b은 일부 실시예들에 따른 멀티-스텝 클릭(multi-step click) 기능성을 도시하는 흐름도이다.
도 8은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 9는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 10은 특정 실시예들에 따른 메뉴의 그래픽적 도시이다.
도 11은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 12는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 13은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 14는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 15는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 16은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 17은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 18은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 19는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 20은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 21은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 22a는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 22b는 특정 실시예들에 따른 메뉴를 보여주는 도 22a의 디스플레이의 그래픽적 도시이다.
도 22c는 특정 실시예들에 따른 메뉴를 보여주는 도 22c의 디스플레이의 그래픽적 도시이다.
도 23은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 24a는 특정 실시예들에 따른 비-접촉 액션의 흐름도이다.
도 24b는 특정 실시예들에 따른 비-접촉 액션의 흐름도이다.
도 24c는 특정 실시예들에 따른 접촉-요구형 액션의 흐름도이다.
도 24d는 특정 실시예들에 따른 비-접촉 액션의 흐름도이다.
도 25는 특정 실시예들에 따른 시각적 마커를 갖는 지연 워프(2500)의 흐름도이다.
도 26은 특정 실시예들에 따른 시각적 마커를 갖지 않는 지연 워프(2600)의 흐름도이다.
도 27은 특정 실시예들에 따른 숨겨진 시각적 표시기를 갖지 않는 지연 워프(2700)의 흐름도이다.
도 28은 특정 실시예들에 따른 지연 워프(2800)의 흐름도이다.
도 29는 특정 실시예들에 따른 2-스텝 클릭(2900)을 도시하는 흐름도이다.
도 1은 특정 실시예들에 따른 비-접촉 입력들을 포함하는 컴퓨터 시스템의 개략적 표현이다.
도 2a는 특정 실시예들에 따른 도 1의 디스플레이 디바이스 상에 렌더링되거나 제시되는 디스플레이의 그래픽적 도시이다.
도 2b는 특정 실시예들에 따른 제1 구성을 갖는 구역 제어 모드에서의 도 2a의 디스플레이의 그래픽적 도시이다.
도 3은 특정 실시예들에 따른 구역 제어를 위한 프로세스를 도시하는 흐름도이다.
도 4는, 특정 실시예들에 따른 제2 구성을 갖는 구역 제어 모드에 있는 동안 도 1의 디스플레이 디바이스 상에 렌더링되거나 제시되는 디스플레이의 그래픽적 도시이다.
도 5는 특정 실시예들에 따른 시각적 표시기의 그래픽적 도시이다.
도 6은 특정 실시예들에 따른 컴퓨터에 의해 수행되는 지연 워프(delay warp)의 흐름도 이다.
도 7a은 일부 실시예들에 따른 멀티-스텝 클릭(multi-step click) 기능성을 도시하는 흐름도이다.
도 7b은 일부 실시예들에 따른 멀티-스텝 클릭(multi-step click) 기능성을 도시하는 흐름도이다.
도 8은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 9는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 10은 특정 실시예들에 따른 메뉴의 그래픽적 도시이다.
도 11은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 12는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 13은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 14는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 15는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 16은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 17은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 18은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 19는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 20은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 21은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 22a는 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 22b는 특정 실시예들에 따른 메뉴를 보여주는 도 22a의 디스플레이의 그래픽적 도시이다.
도 22c는 특정 실시예들에 따른 메뉴를 보여주는 도 22c의 디스플레이의 그래픽적 도시이다.
도 23은 특정 실시예들에 따른 디스플레이의 그래픽적 도시이다.
도 24a는 특정 실시예들에 따른 비-접촉 액션의 흐름도이다.
도 24b는 특정 실시예들에 따른 비-접촉 액션의 흐름도이다.
도 24c는 특정 실시예들에 따른 접촉-요구형 액션의 흐름도이다.
도 24d는 특정 실시예들에 따른 비-접촉 액션의 흐름도이다.
도 25는 특정 실시예들에 따른 시각적 마커를 갖는 지연 워프(2500)의 흐름도이다.
도 26은 특정 실시예들에 따른 시각적 마커를 갖지 않는 지연 워프(2600)의 흐름도이다.
도 27은 특정 실시예들에 따른 숨겨진 시각적 표시기를 갖지 않는 지연 워프(2700)의 흐름도이다.
도 28은 특정 실시예들에 따른 지연 워프(2800)의 흐름도이다.
도 29는 특정 실시예들에 따른 2-스텝 클릭(2900)을 도시하는 흐름도이다.
컴퓨터 시스템은 구역 제어를 통해 비-접촉 입력들을 이용하여 제어될 수 있다. 실시예에서, 안구 추적 디바이스인 비-접촉 입력이 사용자의 시선을 추적하기 위해 사용된다. 컴퓨터의 디스플레이는 구성에 따라 다수의 이산적 구역들로 분리될 수 있다. 각각의 구역은 컴퓨터 기능과 연관된다. 구역들 및/또는 그들의 기능들은, 그럴 필요는 없지만, 사용자에게 표시될 수 있다. 사용자는 그 기능과 연관된 구역을 향하여 시선을 이동시킴으로써 그리고 활성화 의도 신호를 제공함으로써 다양한 기능을 수행할 수 있다. 활성화 의도 신호는 접촉-요구형 또는 비-접촉 액션일 수 있고, 예컨대, 각각, 버튼 누름 또는 체류 시선일 수 있다.
컴퓨터 시스템은 비-접촉 입력들을 이용하여 제어되고 있는 경우 지연 워프를 구현할 수 있다. 실시예에서, 커서는 추가 액션(예를 들어, 클릭)에 따라 컴퓨터 기능이 발생할 위치를 나타내기 위해 디스플레이 상에 제시될 수 있다. 커서는 미리정의된 시간 기간 동안 사용자에 의한 액션(예를 들어, 계속되는 터치패드의 터칭)의 계속되는 검출에 응답하여 시선 타겟으로 이동될 수 있다. 액션과 커서의 이동 간의 지연은 이동 후에 시각적 표시기가 어디에 위치될지에 대해 사용자에게 표시를 제공하는 기회를 제공하며, 시각적 표시기가 새로운 위치에 나타난 후에, 인지적 혼란을 줄이게 한다. 선택적으로, 지연은 커서의 이동을 "중단시킬" 사용시간을 사용자에게 제공할 수 있다. 또한, 커서가 이동하면, 커서는, 사용자가 액션을 계속하면서(계속하여 터치패드를 홀딩하고 있는) 시선을 이동시키고, 마우스를 이동시키거나 터치패드를 스와이프함에 따라 추가의 정밀도로 더 제어될 수 있다.
컴퓨터 시스템은 비-접촉 입력들을 통해 요소를 타겟화하는 경우 확실성 및 정밀도가 증가하게 할 수 있다. 실시예에서, 사용자는 요소들의 그룹을 바라보고 액션을 수행할 수 있다. 컴퓨터가, 어느 요소가 사용자에 의해 타겟화되는지 확실성을 갖고 결정할 수 없는 경우, 컴퓨터는 요소들을 확대 및/또는 분리할 수 있고, 사용자가 원하는 요소에 시선을 더 집중하게 할 수 있으며, 이때 제2 액션을 수행하고, 컴퓨터는 타겟화된 요소에 대한 원하는 기능(예를 들어, 아이콘을 선택)을 수행할 것이다.
컴퓨터 시스템은 비-접촉 액션들 및 접촉-요구형 액션들의 다양한 조합을 통해 제어될 수 있다. 스크롤링, 커서 이동, 주밍, 및 다른 기능들은 비-접촉 액션들 및 접촉-요구형 액션들의 조합을 통해 제어될 수 있다. 그러한 조합들은 버튼 누르기 및/또는 디스플레이 상의 또는 디스플레이 외부의 특정 장소를 바라보면서 터치 감지 디바이스들을 터치하기를 포함할 수 있다.
이러한 예시적인 예들은 독자들에게 본원에서 논의되는 일반적 발명을 소개하기 위하여 주어지며, 개시된 개념들의 범주를 제한하려는 의도는 아니다. 이하의 섹션들은 도면들을 참조하여 다양한 추가적인 특징들 및 예들을 설명하며, 도면들에서 유사한 참조번호들은 유사한 요소들을 나타내고, 방향성 설명들은 예시적인 실시예들을 설명하기 위해 사용되지만, 예시적인 실시예들이 본 개시내용을 제한하기 위해 사용되어선 안된다. 본원의 예시들에 포함된 요소들은 축척대로 그려지지 않을 수 있다. 본원에서 사용된 바와 같이, 예를 들어(exempli gratia)("e.g.")를 이용하여 나열된 예들은 비-제한적인 예들이다.
도 1은 특정 실시예들에 따른 비-접촉 입력들(106)을 포함하는 컴퓨터 시스템(100)의 개략도이다. 컴퓨터 시스템(100)(이하, "컴퓨터")은 단일 하우징(예를 들어, 태블릿 컴퓨터)으로 구현될 수 있거나, 적절한 전원 및/또는 데이터 케이블들에 의해 함께 접속된 여러개의 하우징들로 구현될 수 있다(예를 들어, 모니터, 키보드을 갖는 표준 데스크톱 컴퓨터, 및 데스크톱 컴퓨터의 CPU를 포함하는 메인 하우징에 접속된 다른 디바이스들). 본원에서 사용된 바와 같이, 컴퓨터(100) "내에" 존재하는 요소에 대한 임의의 참조는, 물리적으로 특정 하우징 내가 아니라 컴퓨터 시스템(100)의 부분인 요소를 나타낸다.
컴퓨터(100)는, 디스플레이 디바이스(104), 비-접촉 입력(106), 및 접촉-요구형 입력(108)에 접속되거나 기타의 방식으로 그와 통신하는 프로세서(102)를 포함할 수 있다. 프로세서(102)는 이하에 더 상세하게 설명되는 바와 같이, 비-접촉 해석기(112)를 포함할 수 있다. 본원에서 사용된 바와 같이, 용어 프로세서(102)는, 컴퓨터 시스템 내의 하나 이상의 개별 프로세서들을, 개별적으로 또는 그룹으로서 적절하게 지칭한다. 컴퓨터(100)는, 구역 제어, 지연 워프 및 2-스텝 클릭 뿐 아니라 다른 기능성을 포함하는, 본원에서 설명된 기능성을 프로세서(102)가 수행하는 것을 가능하게 하는 영구적인, 재기입가능한, 또는 일시적인 메모리 상에 저장된 프로그래밍(116)을 포함할 수 있다. 프로그래밍(예를 들어, 컴퓨터 실행가능 명령어들 또는 다른 코드)는, 프로세서(102)에 의해 실행되는 경우, 프로세서(102)로 하여금 본원에서 설명된 동작들을 수행하게 한다. 프로그래밍은 임의의 적절한 컴퓨터 프로그래밍 언어로 쓰여진 코드로부터 컴파일러 및/또는 해석기에 의해 생성된 프로세서 특정적 프로그래밍을 포함할 수 있다. 적절한 컴퓨터 프로그래밍 언어들의 비-제한적인 예들은, C, C++, C#, Visual Basic, Java, Python, Perl, JavaScript, ActionScript, 등을 포함한다. 메모리는 (이것으로 제한되는 것은 아니지만) 전자, 광학, 자기와 같은 컴퓨터 판독가능한 매체, 또는 컴퓨터 판독가능한 명령어들을 프로세서에 제공할 수 있는 기타의 저장소 디바이스일 수 있다. 그러한 광학, 자기 또는 기타의 저장소 디바이스들의 비-제한적인 예들은 판독-전용("ROM") 디바이스(들), 랜덤-액세스 메모리("RAM") 디바이스(들), 자기 디스크(들), 자기 테이프(들), 또는 기타의 자기 저장소, 메모리 칩(들), ASIC, 구성된 프로세서(들), 광학 저장소 디바이스(들), 플로피 디스크(들), CD-ROM, DVD, 또는 컴퓨터 프로세서가 명령어들을 판독할 수 있는 임의의 기타 매체를 포함한다.
접촉-요구형 입력들(108)은 물리적 조작 또는 물리적 접촉(이하, "접촉-요구형 액션들")을 요하는 사용자 입력을 수용하는 임의의 디바이스일 수 있다. 접촉-요구형 입력들(108)의 예들은 키보드들, 마우스들, 스위치들, 버튼들, 터치패드들, 터치스크린들, 터치 감지 디바이스들 및 물리적 조작 또는 물리적 접촉을 요하는 기타의 입력들을 포함한다. 접촉-요구형 액션들의 예들은 탭핑하기, 클릭하기, 스와이프하기, 누르기(예를 들어, 키) 및 기타를 포함한다. 본원에서 사용된 바와 같이, 용어 "접촉-요구형 액션들"은 다른 디바이스를 통한 물리적 접촉(예를 들어, 스타일러스를 구비한 터치스크린을 이용하여) 또는 접촉-요구형 입력에 대한 근접성을 요하는 액션들(투영 용량 터치스크린(projected capacitance touchscreen)과 같은, 근접성에 있어서 손가락에 응답하는 터치스크린 위에서 손가락은 돌리거나(hovering) 또는 스와이핑(swiping)하는 것을 이용하는 것)을 더 포함한다. 접촉-요구형 입력들(108)에 의해 수신된 접촉-요구형 액션들을 수행하는 사용자로부터 생성된 신호들은 접촉 기반 신호들(110)로서 지칭된다. 적절한 경우, 접촉-요구형 액션들에 대한 참조는 접촉-요구형 액션들(예를 들어, 제2 버튼을 누르고 있는 동안 제1 버튼을 홀딩하고 있는 것)을 포함한다.
비-접촉 입력들(106)은 물리적 조작 또는 물리적 접촉 없이 사용자 입력을 수신할 수 있는 임의의 디바이스일 수 있다. 비-접촉 입력들(106)의 예들은 안구 추적 디바이스들, 마이크로폰들, 카메라들, 광 센서들 등을 포함한다. 사용자가 비-접촉 입력(106)(이하, "비-접촉 액션")에 의해 검출가능한 액션을 수행하는 경우, 비-접촉 해석기(112)는 사용자에 의해 수행되는 비-접촉 액션에 기초하여 비-접촉 신호(114)를 생성한다. 비-접촉 액션들은 시선을 이동시키는 것(예를 들어, 하나 이상의 안구의 시선의 방향을 이동시킴), 시선 순간이동(gaze saccade), 시선 고정(fixating gaze), 체류 시선(dwelling gaze)(예를 들어, 미리결정된 시간 길이 동안 단일 타겟에 실질적으로 시선을 고정함), 깜박임(예를 들어, 하나 이상의 안구를 한번 또는 인식할 수 있는 패턴으로 깜박이거나, 하나 또는 양쪽 안구를 더 긴 시간 길이동안 눈을 감음), 음성 명령을 수행하는 것(예를 들어, "클릭" 또는 "오픈"이라고 말하는 것), 얼굴 인식(예를 들어, 사용자의 얼굴의 특징들 및 이동들을 인지하는 것), 3-D 제스처들(예를 들어, 흔드는 것(waving)과 같이, 사용자의 이동, 사용자의 부속물, 또는 3-D 공간에서 사용자에 의해 보유된 객체) 및 기타를 포함할 수 있다. 수행된 액션에 따라서, 비-접촉 해석기(112)는 상이한 비-접촉 신호들(114)을 전송할 수 있다. 예를 들어, 시선을 이동시키고 있는 사용자는 이동 및/또는 시선의 새로운 방향에 관한 정보를 포함하는 제1 비-접촉 신호(114)를 야기할 수 있는 한편, 깜박이고 있는 사용자는 사용자가 깜박였다는 것을 나타내는 비-접촉 신호(114)를 야기할 수 있다. 비-접촉 신호(114)는 프로세서(102)에 의해 사용되어, 이하에서 더 상세하게 설명되는, 다양한 작업들을 수행할 수 있다. 적절한 경우, 비-접촉 액션들에 대한 참조는 비-접촉 액션들의 조합을 포함할 수 있다(예를 들어, "클릭"이라고 말하면서 깜박이는 것).
또한, 적절한 경우, 액션에 대한 참조는 접촉-요구형 액션들 및 비-접촉 액션들의 조합을 포함할 수 있다(예를 들어, "클릭"이라고 말하면서 버튼을 홀딩하는 것).
일부 실시예들에서, 프로세서(102)는 비-접촉 신호들(114)을 사용하여 접촉-요구형 신호들(110)을 에뮬레이트한다. 예를 들어, 프로세서(102)는 제1 타겟으로 시선을 이동시키고 그 타겟 상에 시선을 체류하게 하여 제1 타겟(예를 들어, 컴퓨터 아이콘)으로 커서를 이동시키고 그 타겟을 클릭하는 것의 접촉-요구형 신호들(110)을 에뮬레이트하는 사용자에 관한 정보를 포함하는 비-접촉 신호들(114)을 사용할 수 있다.
본원에 개시된 실시예들은 비-접촉 액션들 및 접촉-요구형 액션들, 또는 비-접촉 액션들만을 사용하여 다양한 컴퓨터 기능들을 수행할 수 있다. 컴퓨터 기능들은, 마우스 클릭; 스크롤(scroll)/팬(pan) 액션, 확대(magnifying) 액션, 줌(zoom) 액션, 터치 입력/액션; 제스처 입력/액션; 음성 명령; 메뉴의 호출; 안구 추적/안구 제어/시선 상호작용의 활성화; 안구 추적/안구 제어/시선 상호작용의 잠시 멈춤; 디바이스의 백라이트의 밝기 조정; 휴면(sleep), 동면(hibernate) 또는 디바이스의 기타의 전력 절감 모드 활성화; 휴면, 동면 또는 디바이스의 기타의 전력 절감 모드로부터 재개; 또는 기타의 기능과 같은 컴퓨터 상에서 수행가능한 임의의 타입의 액션일 수 있다. 일부 경우들에서, 컴퓨터 기능들은, 컴퓨터(100)가 마치 단독으로 접촉-요구형 액션을 검출하고 있는 것처럼 거동하도록 에뮬레이트된다.
구역 제어
도 2a는 특정 실시예들에 따른 디스플레이 디바이스(104) 상에 렌더링되거나 제시되는 디스플레이(200)의 그래픽적 도시이다. 도 2a에 도시된 특정 운영 체제를 참조하여 제시되지만, 본원의 실시예들 및 개시내용은 다른 운영 체제(예를 들어, Microsoft Windows®, Apple iOS®, 또는 Google Android®) 및 그의 다양한 기능들을 수행하는 컴퓨터 프로그램들에 용이하게 적응될 수 있다. 도 2a의 운영 체제는 접촉-요구형 입력들(108)(예를 들어, 터치스크린 탭핑 및 제스처)을 통해 이용가능한 다양한 컴퓨터 기능성을 포함한다. 이하의 표 1은 각각의 기능을 수행하기 위한 연관된 접촉-요구형 액션들의 예들 및 여러개의 이러한 기능들을 설명한다.
| 컴퓨터 기능 | 연관된 접촉-요구형 액션의 예들 |
| 시작 메뉴 열기/시작 스크린 | 디스플레이(200)의 오른쪽 엣지로부터 안쪽으로 스와이프하고 나타나는 "시작" 버튼을 탭핑 |
| 애플리케이션 리스트 열기 | 시작 스크린의 중심으로부터 위쪽으로 스와이프 |
| 이전 애플리케이션 | 디스플레이(200)의 왼쪽 엣지로부터 안쪽으로 스와이프 |
| 참(charm)들을 디스플레이 | 디스플레이(200)의 오른쪽 엣지로부터 안쪽으로 스와이프 |
| 애플리케이션 바를 열기 | 디스플레이(200)의 상부 및 하부 엣지로부터 안쪽으로 스와이프 |
| 애플리케이션 바를 이동 | 애플리케이션 바를 탭핑 및 끌기 |
| 애플리케이션 바를 숨김 | 애플리케이션 바를 탭핑 및 홀딩 및 스와이프 |
| 윈도우 분할 | 디스플레이(200)의 상부 엣지로부터 app를 탭핑하고 디스플레이(200)의 가운데를 향해서, 그리고 그 후에 디스플레이(200)의 왼쪽 또는 오른쪽 엣지를 향해 끈다. |
| 애플리케이션 닫기 | 애플리케이션을 탭핑하고 디스플레이(200)의 상부 엣지로부터 디스플레이(200)의 하부쪽으로 끈다. |
이러한 그리고 다른 컴퓨터 기능들을 접촉-요구형 액션들에 전적으로 의존하지 않고 수행하는 것을 수용하기 위해서, 컴퓨터(100)는 검출된 비-접촉 액션들(예를 들어, 시선의 이동 및 타겟에 대한 고정)을 다양한 컴퓨터 기능들을 수행하는 명령어로서 사용할 수 있다. 컴퓨터는, 컴퓨터 기능을 직접적으로 수행하거나(예를 들어, apps 리스트를 열기) 또는 컴퓨터 기능과 연관된 접촉-요구형 액션을 에뮬레이팅함으로써(예를 들어, 시작 스크린의 중심으로부터 위쪽으로의 스와이프를 에뮬레이팅) 비-접촉 액션에 의해 실시되는 컴퓨터 기능을 수행할 수 있다.
도 2b는 특정 실시예들에 따른 구역 제어 모드(206)에서의 도 2a의 디스플레이(200)의 그래픽적 도시이다. 디스플레이(200)는 8개 구역들(202)의 제1 구성(204)으로 분리되지만, 임의의 개수의 구역들(202) 및 임의의 상이한 구성이 사용될 수 있다. 구역들(202)과 구역들(202) 간의 라인들은, 그럴 필요는 없지만, 디스플레이 디바이스(104) 상에서 사용자에게 제시될 수 있다(예를 들어, 구역(202)의 강조 또는 구역들(202)을 분리하는 라인들). 구역들(202)은 컴퓨터(100)의 비-접촉 제어를 가능하게 하도록 사용된다. 각각의 구역(202)은 특정 컴퓨터 기능과 연관될 수 있다. 일부 실시예들에서, 구역들(202)은 기능성이 없는 "죽은 구역(dead zone)"이 구역들(202) 중 일부 또는 전부 사이에 존재하도록 분할되고 및/또는 위치되어, 계측 오차들 및/또는 데이터 잡음이 원치않는 효과를 야기하지 않는 것을 보장한다. 일부 실시예들에서, 히스테리시스가 사용되어 원치않는 기능을 부주의하게 선택하는 것을 회피할 수 있다(예를 들어, 시선 타겟이 구역(202)에 있는 동안 구역(202)의 경계들을 증가시킴으로써 또는 임의의 수행된 기능을 변경하기 이전에 시선 타겟이 특정 구역(202)의 외부로 이동하는 경우 특정량의 지연을 도입함으로써).
각각의 구역(202)과 연관된 컴퓨터 기능은, 그럴 필요는 없지만, 디스플레이 디바이스(104) 상에서 사용자에게 제시될 수 있다(예를 들어, 텍스트 박스). 컴퓨터(100)는 안구 추적 디바이스인 비-접촉 입력(106)을 포함할 수 있다. 안구 추적 디바이스는 사용자의 안구 지시들(eye indication)을 검출할 수 있다. 본원에서 사용된, 용어 "안구 지시들"은 사용자의 시선의 방향을 검출, 사용자의 시선의 방향의 변경(예를 들어, 안구 이동)의 검출, 하나 또는 양쪽 안구의 깜박임의 검출, 및 사용자의 안구 또는 안구들로부터의 다른 정보를 검출하는 것을 포함하는 것이다. 비-접촉 타겟(208)은 사용자의 비-접촉 액션이 지향되는 계산된 위치이다. 비-접촉 타겟(208)은, 도 2에 도시된 기호에 의한 것과 같이, 디스플레이 상에 그래픽적으로 표현될 수 있다. 안구 추적 디바이스의 예에서, 비-접촉 타겟(208)은 시선 타겟, 또는 사용자의 시선이 지향되는 포인트이다. 비-접촉 타겟(208)은 3-D 제스처, 얼굴 배향, 또는 다른 비-접촉 액션들에 의해 지시될 수 있다. 비-접촉 타겟(208)은, 그럴 필요는 없지만, 일부 방식으로 디스플레이(200) 상에 도시될 수 있다(예를 들어, 비-접촉 타겟에서의 기호를 제시하기 또는 비-접촉 타겟에서 또는 근방의 요소들 또는 구역들을 강조하기).
일부 실시예들에서, 구역(202)은 디스플레이(200)의 외부에 위치될 수 있고 비-접촉 타겟(208)은 컴퓨터(100)의 디스플레이(200)로 제약될 필요는 없다. 예를 들어, 구역(202)은 디스플레이 디바이스(104)의 왼쪽에 대해 거리를 두고 위치될 수 있고 특정 컴퓨터 기능과 연관될 수 있다. 사용자는, 이하에서 더 상세하게 설명하는 바와 같이, 디스플레이 디바이스(104)의 왼쪽에 시선을 집중함으로써 그 구역(202)에서 기능을 수행할 수 있다. 디스플레이(200) 외부의 구역(202)의 결정은 안구 추적 디바이스의 부분을 형성하는 촬상 디바이스 또는 별도의 촬상 디바이스를 통해 발생할 수 있다. 사용자의 시선이 디스플레이(200)의 외부의 영역을 향하여 지향되고 있다고 결정되면, 시선의 방향은 본원에서 설명된 바와 같이 결정될 수 있고, 시선 타겟이 디스플레이(200)의 외부의 구역(202)의 경계들 내에 들어오면, 적절한 기능이 본원에서 더 설명되는 바와 같이 수행될 수 있다.
일부 실시예들에서, 통계적 분석이 검출된 시선 타겟 및/또는 검출된 시선 타겟의 이동에 적용되어 시선 타겟이 특정 구역(202) 내에 있는지를 결정할 수 있다.
일부 실시예들에서, 록아웃 시간(lockout time)이 구현되고, 이에 의해, 사용자가 구역(202)와 연관된 기능을 활성화하는 경우, 구역(202)과 연관된 기능은 특정 시간 길이의 만료까지 (예를 들어, 동일한 방식으로 또는 상이한 방식으로) 활성화될 수 없다. 일부 실시예들에서, 사용자가 구역(202)와 연관된 기능을 활성화한 후에, 구역(202)의 크기는 소정 시간 기간 동안 감소하여, 그 특정 구역(202)와 연관된 기능을 활성화하기 위해 사용자에 의한 보다 신중한 시선이 다시 요구된다.
도 3은 특정 실시예들에 따른 구역 제어를 위한 프로세스(300)를 도시하는 흐름도이다. 도 2b 및 3을 참조하여, 구역 제어의 일 실시예가 이하에 논의된다.
사용자는 모드-인에이블 의도 신호(mode-enable signal of intent)(310)를 발생시킬 수 있다. 모드-인에이블 의도 신호(310)는 사용자가 비-접촉 액션 또는 접촉-요구형 액션을 수행함으로써 발생될 수 있다. 컴퓨터(100)는 블록(302)에서 모드-인에이블 의도 신호(310)를 검출하고 구역 제어 모드(206)로 진입한다. 구역 제어 모드(206) 동안에, 컴퓨터(100)는 블록(304)에서 비-접촉 타겟(208)을 추적한다. 컴퓨터(100)가 블록(306)에서 활성화 의도 신호(312)를 검출하는 경 우, 그 후에, 블록(308)에서, 컴퓨터(100)는 활성화 의도 신호(312)일 때에 비-접촉 타겟(208)이 위치되는 구역(202)과 연관된 컴퓨터 기능을 수행한다. 활성화 의도 신호(312)는, 그럴 필요는 없지만, 모드-인에이블 의도 신호(310)로서 동일한 타입의 의도 신호일 수 있다. 의도 신호들의 예들은, 접촉-요구형 액션들 및 비-접촉 액션들을 포함한다. 일부 실시예들에서, 컴퓨터(100)는 활성화 의도 신호(312)를 수신하는 구역 제어 모드(206)에 항상 있고(즉, 어떤 별도의 모드-인에이블 의도 신호(310)가 필요치 않음), 컴퓨터(100)는 활성화 의도 신호(312)일 때에 비-접촉 타겟(208)이 위치되는 구역(202)과 연관된 기능을 수행할 것이다. 컴퓨터(100)는, 그럴 필요는 없지만, 활성화 의도 신호(312)가 수신되었고, 비-접촉 타겟(208)이 특정 구역(202) 내에 있었고 및/또는 특정 기능이 활성화되었다는 시각적 피드백을 제공할 수 있다.
제1 예에서, 사용자는 "구역 모드(zone mode)"라고 크게 말하여(즉, 비-접촉 액션을 수행) 모드-인에이블 의도 신호(310)를 발생시킬 수 있다. 이러한 모드-인에이블 의도 신호(310)을 검출함에 따라, 컴퓨터(100)는 구역 제어 모드(206)로 진입한다. 그리고 나서, 사용자는 컴퓨터 기능 애플리케이션 리스트 열기(210)과 연관된 구역(202) 내의 어느 곳에 시선을 집중할 수 있다. 사용자는 컴퓨터 기능 애플리케이션 리스트 열기(210)와 연관된 구역(202)에 대해 미리결정된 시간량(예를 들어, 3초) 동안 시선을 체류하게 하여(즉, 비-접촉 액션들을 수행) 활성화 의도 신호(312)를 발생시킬 수 있다. 컴퓨터(100)는, 미리결정된 시간량 동안 위치에 체류하는(예를 들어, 실질적으로 이동하지 않거나 사용자가 동일한 위치를 바라보려고 시도한다고 예측되는 만큼만 이동하는) 시선 타겟인 그 비-접촉 타겟(208)을 검출함으로써 적어도 사용자가 시선을 체류하게 하고 있음을 검출할 수 있다. 활성화 의도 신호(312)를 검출함에 따라, 컴퓨터(100)는 애플리케이션 리스트 열기(210) 기능을 수행할 수 있다(예를 들어, 직접적으로 기능을 수행함으로써 또는 시작 스크린의 중심으로부터 위쪽으로의 터치스크린 스와이프를 시뮬레이팅함으로써). 그후, 컴퓨터(100)는 구역 제어 모드(206)로부터 벗어날 수 있다.
제2 예에서, 사용자는 컴퓨터 기능 참(charm)들을 디스플레이(222)와 연관된 구역(202) 내의 어느 곳에 시선을 집중할 수 있다. 사용자는 하드웨어 버튼을 눌러서(예를 들어, 접촉-요구형 액션을 수행) 활성화 의도 신호(312)를 발생시킬 수 있다. 활성화 의도 신호(312)를 검출함에 따라, 컴퓨터(100)는 참들을 디스플레이(222) 기능을 수행할 수 있다. 이 제2 예에서, 어떤 모드-인에이블 의도 신호(310)도 필요치 않다.
구역들(202)의 그래픽적 표현들은 사용자에 의한 액션에 따라 또는 미리결정된 시간 기간 이후에 사라질 수 있다. 구역들(202)의 그래픽적 표현들의 부재시에, 구역 제어 모드(206)는 여전히 설명한 바와 같이 기능한다.
잠재적 구역들(202)과 연관된 가능한 컴퓨터 기능들 중 일부 예들은 애플리케이션 바 열기(214), 애플리케이션 바 이동(216), 애플리케이션 바 숨기기(218), 이전 애플리케이션(220), 윈도우 분할 / 애플리케이션 닫기(224) 및 기타를 포함한다.
의도 신호는 컴퓨터(100)에 의해 검출가능한 임의의 비-접촉 액션일 수 있다. 의도 신호는 컴퓨터(100)에 의해 검출가능한 임의의 접촉-요구형 액션일 수 있다. 일부 실시예들에서, 의도 신호는 입력 메뉴에서의 아이콘의 활성화 및/또는 선택일 수 있다.
일부 실시예들에서, 구역들(202)의 형상 및 각각의 구역(202)과 연관된 컴퓨터 기능들은 컴퓨터(100)의 상태에 따라 변경될 수 있다. 예를 들어, 컴퓨터 기능 Apps 리스트 열기(210)을 수행하기 위해 구역 제어를 사용할 시에, 나타나는 새로운 윈도우는, 연관되는 상이한 컴퓨터 기능들을 갖는 상이한 구역들(202)을 포함할 수 있다. 도 4는, 특정 실시예들에 따른 제2 구성(402)을 갖는 구역 제어 모드(206)에 있는 동안, 도 1의 디스플레이 디바이스(104) 상에 렌더링되거나 제시되는 디스플레이(400)의 그래픽적 도시이다. 디스플레이(200)는 구역들(202)의 제2 구성(402)으로 분리된다. 구역들(202)의 제2 구성(402)은 애플리케이션 리스트 열기(210) 기능이 수행된 후에 컴퓨터(100)의 상태와 연관될 수 있다. 이러한 구성에서, 시작(212), 참들을 디스플레이(222) 오른쪽으로 스크롤(404), 왼쪽으로 스크롤(406), 줌 아웃(408) 및 줌 인(410)을 포함하는 다양한 컴퓨터 기능과 연관된 구역들(202)이 존재한다. 제2 구성(402)은 디스플레이(200) 상에 디스플레이되고 있는 새로운 스크린에 의존할 필요는 없지만, 컴퓨터(100)의 임의의 상태와 연관될 수 있다. 예를 들어, 줌 인(410) 및 왼쪽으로 스크롤(406) 구역들(202)은 필요할 때까지 제2 구성(402)의 부분이 아닐 수 있다(예를 들어, 줌 아웃(408) 또는 오른쪽으로 스크롤(404) 기능이 각각 수행되었음). 제2 구성(402)에서의 구역들(202)은 제1 구성(204)의 구역들(202)과 유사하게 기타의 방식으로 수행할 수 있다.
일부 실시예들에서, 구역들(202)은, 시선 타겟이 양 구역들(202) 내에 있는 경우, 구역들(202)의 활성화로부터 다수의 컴퓨터 기능들이 동이세 수행되도록 중첩될 수 있다. 예를 들어, 중첩하는 구역들(202)이, 위쪽으로 스크롤기능, 오른쪽으로 스크롤 기능과 같은 스크롤링 기능과 연관되었다면, 구역들(202)의 활성화(예를 들어, 시선 타겟을 구역들 내로 이동시킴으로써)는 대각선으로 위로 그리고 오른쪽으로의 윈도우 스크롤링을 야기할 수 있다.
도 8 내지 10은 컴퓨터 디스플레이 맨위에 오버레이된 메뉴의 형식으로 구역이 존재하는 실시예를 예시한다. 메뉴는 접촉 또는 비-접촉 입력 액션에 기초하여 나타날 수 있고 또는 사라질 수 있다. 메뉴는 컴퓨터 기능들을 나타내는 선택에 대한 옵션들을 포함한다. 옵션들은 항목을 응시함으로써 그리고 활성화 의도 신호를 제공함으로써 선택될 수 있다. 예로써, 사용자는 "왼쪽 클릭"으로 알려진 통상의 컴퓨터 기능을 나타내는 아이템을 응시할 수 있고, 사용자는 항목에 시선을 고정시켜서 활성화 의도 신호를 제공할 수 있다. 일단 활성화 의도 신호가 제공되면, 컴퓨터는 사용자가 고정시킨 또는 다른 활성화 의도 신호를 제공한 다음 위치에서 "왼쪽 클릭"을 수행할 것이다. 이런 방식으로 사용자는 그 또는 그녀가 실행하기를 원하는 기능을 선택할 수 있고, 그 후에, 기능이 실행될 디스플레이 상의 위치를 선택할 수 있다.
일부 실시예들에서, 사용자는 제1 구역을 바라볼 수 있고, 그 후에, 비-접촉 타겟이 위치된 구역과 연관된 컴퓨터 기능을 수행하기 위해 제1 구역으로부터 떨어진 위치를 바라볼 수 있다. 예를 들어, 사용자는 전술한 바와 같은 메뉴 항목을 바라보고, 활성화 의도 신호를 개시하고, 그 후에 아이콘을 바라보고, 그리고 나서 제2 활성화 의도 신호를 개시할 수 있다. 이 예에서, 컴퓨터(100)는 사용자의 시선이 위치되는(즉, 구역에서) 곳에 기초하여 아이콘에 대해 수행될 기능을 결정할 수 있다.
컴퓨터 상에서 가능한 임의의 기능은 본원에서 설명된 구역 제어를 이용함으로써 수행될 수 있다(예를 들어, 직접적으로 수행하거나 에뮬레이팅). 터치스크린 입력에 대해 주로 설계된 컴퓨터의 경우에(예를 들어, 모바일 전화기 및 태블릿과 같은 특정 모바일 컴퓨팅 디바이스들), 수행된 기능들은 애플리케이션을 동작시키는 것, 디스플레이를 네비게이팅하는 것(예를 들어, 디스플레이를 가로질러 손가락을 스와이프함으로써 새로운 페이지로 네비게이팅), 주밍하는 것, 하드웨어 버튼(예를 들어, 홈 버튼, 또는 복귀 버튼), 멀티 핑거 제스처와 같은 것들 및 기타를 포함할 수 있다. 일부 단일 및 멀티 핑거 제스처는 탭핑, 더블 탭핑, 길게 누르기, 누르고 홀딩하기, 터치하고 홀딩하기, 슬라이드, 스와이프, 끌기, 누르고 끌기, 플링(fling), 플릭(flick), 턴(turn), 회전(rotate), 스크롤(scroll), 팬(pan), 핀치(pinch), 늘이기(stretch), 엣지 스와이프/ 베젤(bezel) 스와이프, 및 기타를 포함할 수 있다. 다른 접촉-요구형 입력에 대해 설계된 컴퓨터의 경우에(예를 들어, 키보드 및 마우스를 갖는 데스크톱 컴퓨터들), 구역 제어는 마우스 이동, 마우스 클릭하기(예를 들어, 단일 클릭, 더블 클릭, 오른쪽 클릭 또는 클릭하고 끌기), 키보드 누르기, 키보드 조합 또는 접촉-요구형 액션들과 관련된 다른 기능들을 포함하는 기능들을 수행하도록 사용될 수 있다.
지연 워프
컴퓨터(100)는 비-접촉 입력(106)과 접촉-요구형 입력(108)의 하나 또는 양자를 통해 제어될 수 있다.
도 5는 특정 실시예들에 따른 시각적 표시기(502)를 갖는 디스플레이(500)의 그래픽적 도시이다. 시각적 표시기(502)는 사용자가 컴퓨터 기능들(예를 들어, 클릭하기, 끌기, 및 기타)을 수행하는 것을 돕기 위해 마우스 커서처럼 사용된다. 시각적 표시기(502)는 추가적인 액션(예를 들어, 마우스 클릭, 터치패드 탭핑, 또는 기타의 접촉-요구형 또는 비-접촉 액션)의 효과가 발생할 곳에 대한 표시이다. 설명한 바와 같이, 컴퓨터(100)는 비-접촉 타겟(208)의 추정된 위치에서 디스플레이 상에 시각적 표시기(502)를 발생시킬 수 있다.
일 실시예에서, 시각적 표시기(502)는 사용자의 추정된 시선 타겟에서 디스플레이될 수 있다. 추정된 시선 타겟은 안구 추적 디바이스에 의해 또는 안구 추적 디바이스로부터의 정보를 이용하는 컴퓨터(100)에 의해 계산된다. 컴퓨터(100)는 이하에 설명한 바와 같이, 프로세서(102)가 지연 워프를 수행하는 것을 가능하게 하는 프로그래밍(116)을 포함한다.
도 6은 특정 실시예들에 따른 컴퓨터(100)에 의해 수행되는 지연 워프(600)의 흐름도이다. 블록(602)에서, 컴퓨터(100)는 컴퓨터 마우스 또는 터치패드와 같은 접촉-요구형 입력으로부터의 입력에 따른 클릭을 선택적으로 수행할 수 있다. 사용자는 블록(606)에서 검출되는 액션을 수행할 수 있다. 일 실시예에서, 블록(606)에서 액션을 검출함에 따라, 컴퓨터(100)는 사용자의 추정된 시선 타겟에서 시각적 마커를 디스플레이할 수 있다. 시각적 마커는 본원에서 설명된 바와 같이 커서가 이동할 곳에 대한 표시기일 수 있다. 예를 들어, 사용자는 터치 감지 디바이스를 터칭하는 것과 같은, 접촉-요구형 액션을 수행할 수 있다. 블록(606)에서 액션을 검출함에 따라, 블록(610)에서, 컴퓨터(100)는 미리결정된 양의 시간 동안 지연시킬 수 있다. 이러한 지연은 사용자가 액션을 변경(예를 들어, 커서를 이동하지 않기로 결정)하고 그리고 컴퓨터(100)가 사용자의 의도를 확신하도록 충분한 시간을 제공하기 위해 컴퓨터(100)에 의해 활용될 수 있다. 블록(612)에서, 컴퓨터(100)가 여전히 액션을 검출하고 있다면(예를 들어, 사용자가 계속해서 터치 감지 디바이스를 터치하고 있음), 블록(614)에서 컴퓨터(100)는 시각적 표시기(502)를 시선 타겟으로 이동시킬 수 있다. 액션이 검출되고 있지 않다면, 블록(602)에서, 컴퓨터(100)는 아무것도 하지 않고, 접촉-요구형 입력을 갖도록 되돌아가고 시각적 표시기(502)(예를 들어, 커서)를 이동시키거나, 시각적 표시기(502)에서 클릭을 수행하거나, 시각적 표시기(502)를 원래의 위치로 이동시킬 수 있다.
실시예에서, 지연 워프(600)는 컴퓨터(100)가 액션이 여전히 검출되는지(즉, 시각적 표시기(502)가 시선 타겟으로 이동한 후에)를 결정하는 선택적 블록(618)을 추가적으로 포함한다. 사용자가 터치 감지 디바이스를 더 이상 터칭하지 않는 경우와 같이 액션이 검출되지 않다면, 경로(620)에서 컴퓨터(100)는 필요한 경우 추가적인 기능들을 수행할 수 있다(예를 들어, 시각적 표시기(502)가 마지막으로 위치되었던 곳을 "클릭"을 수행, 또는 아무것도 하지 않음). 그러나, 선택적 블록(618)에서 액션이 여전히 검출된다면, 선택적 블록(622)에서 컴퓨터(100)는 사용자의 시선, 컴퓨터 마우스 또는 터치패드의 이동들에 따라 시각적 표시기(502)(예를 들어, 커서)를 느리게 이동시킬 수 있다(예를 들어, 보다 정밀하게).
예를 들어, 사용자가, 아이콘과 같은 요소(504)를 디스플레이(500) 상에서 선택하기를 원하는 경우, 사용자는 아이콘을 바라보고, 200㎳과 같은 미리결정된 시간 기간 동안 터치패드를 터치할 수 있고, 그 후에 컴퓨터(100)가 시각적 표시기(502)를 아이콘으로 이동시킬 수 있다. 미리결정된 시간 기간이 경과하기 전에, 사용자가 시각적 표시기(502)가 시선 타겟으로 이동되게 하지 않도록 결정하는 경우, 사용자는 터치패드를 터칭하는 것을 중단할 수 있다.
실시예에서, 사용자는 시각적 표시기(502)가 시선 타겟으로 이동하도록, 터치패드를 터치하거나 마우스 버튼을 클릭하고 미리결정된 시간 기간 동안 대기할 수 있다. 그 후에, 사용자는, 원하는 위치에서 액션을 수행(예를 들어, 아이콘을 클릭)하기 위해 사용자가 터치패드를 터칭하는 것 또는 마우스 버튼을 홀딩하는 것을 중단할 수 있는 원하는 위치에 시각적 표시기(502)가 들어올 때까지 미세 조정(fine-tune adjustments)을 이용하여 시각적 표시기(502)(예를 들어, 커서)를 이동시키기 위해 시선을 시각적 표시기(502)로부터 이동(예를 들어, 위로, 아래로, 또는 측면으로)시키면서 터치패드를 터칭하는 것 또는 마우스 버튼을 홀딩하는 것을 계속할 수 있다.
일부 실시예들에서, 사용자는 시각적 표시기(502)가 시선 타겟으로 이동하도록, 터치패드를 터치하거나 마우스 버튼을 클릭하고 미리결정된 시간 기간 동안 대기할 수 있다. 그 후에, 사용자는, 원하는 위치에서 액션을 수행(예를 들어, 아이콘을 클릭)하기 위해 사용자가 터치패드를 터칭하는 것 또는 마우스 버튼을 홀딩하는 것을 중단할 수 있는 원하는 위치에 시각적 표시기(502)가 들어올 때까지 미세 조정을 이용하여 시각적 표시기(502)(예를 들어, 커서)를 이동시키기 위해 터치패드 또는 마우스를 이용하여 커서를 이동시키면서 터치패드를 터칭하는 것 또는 마우스 버튼을 홀딩하는 것을 계속할 수 있다.
사용자는 시각적 표시기(502)를 그 요소(504)에 지향시키기 위해 원하는 스크린 요소(504)(예를 들어, 아이콘, 윈도우 또는 다른 그래픽 사용자 인터페이스 "GUI" 요소)를 바라볼 수 있다. 원하는 컴퓨터 기능(예를 들어, 클릭)을 수행하기 위해, 사용자는 추가적인 액션(예를 들어, 터치패드를 탭핑)을 수행할 수 있다.
일부 실시예들에서, 시각적 표시기(502)는 규칙적으로 디스플레이되지 않을 수 있으나, 사용자가 디스플레이(500) 주위에서 시선을 이동함에 따라 디스플레이될 수 있고, 시선 타겟에서의 또는 그에 인접한 임의의 요소들(504)은 강조될 수 있거나 기타의 방식으로 시선 타겟에서의 또는 그에 인접한 요소(504)를 구별할 수 있다.
일부 실시예들에서, 시각적 표시기(502)의 사용은 사용자가 추가적인 액션들(예를 들어, 비-접촉 액션들 또는 접촉-요구형 액션들)을 수행하기 전에 컴퓨터(100) 상에서 비-접촉 액션들의 효과를 보는 것을 가능하게 한다. 사용자가 디스플레이 상의 시각적 표시기(502) 또는 다른 그래픽 요소(504)를 이동시키고자 하는 경우, 사용자는 시각적 표시기(502)의 원하는 목적지를 바라본다. 안구 추적 디바이스는 사용자의 시선에 기초하여 추정된 시선 타겟을 계산한다. 그리고 나서 사용자는, 예를 들어, 터치패드를 탭핑함으로써 비-접촉 입력(106) 또는 접촉-요구형 입력(108)을 활성화한다. 미리결정된 시간 기간 동안, 예를 들어, 200㎳ 동안, 컴퓨터(100)는 컴퓨터 기능을 수행하지 않는다.
이러한 미리결정된 시간 동안에, 시각적 표시기(502)는 추정된 시선 타겟에서 디스플레이(500) 상에 보여진다. 그리고 나서 이러한 시각적 표시기(502) 또는 별개의 시각적 마커는 시각적 표시기(502)가 이동할 위치를 사용자에게 보여줄 수 있다. 사용자가 진행하기로 결정하면, 시각적 표시기(502)는 미리결정된 시간 기간 후에 이동할 것이다. 사용자는 액션(예를 들어, 입력 디바이스를 이동시키는 것과 같은 접촉-요구형 액션)을 개시함으로써 또는 단순히 미리결정된 시간 기간이 만료하기를 대기함으로써 진행하고자 하는 희망을 표시할 수 있다.
사용자가 진행하지 않기로 결정하면, 사용자는 입력 디바이스와의 접촉을 제거하고, 입력 디바이스를 탭핑하거나 입력 디바이스는 누르고 홀딩하는 것과 같은 특정 액션을 수행할 수 있다. 통상적으로, 이러한 액션들은 컴퓨터(100)가, 아이콘을 열기 위한 탭핑, GUI 상에서 아이템을 끄는 것과 같은 끌기, 아이템에 대한 주밍, 그외 기타의 특정 기능을 수행하게 한다. 입력 디바이스를 이용하여 정상적으로 수행되는 액션들은 본 기술분야의 통상의 기술자에게 쉽게 이해될 것이다.
사용자가 시각적 표기시(502)의 위치에 만족하지 못하면, 사용자는 시각적 표시기(502)의 원하는 이동 위치를 보다 정확하게 반영하기 위해 조정이 요구된다고 결정할 수 있다. 사용자는 시선 타겟을 변경시키기위해 상이한 위치를 응시할 수 있거나, 사용자는, 시각적 표시기(502)가 시선 타겟으로 이동한 후에 시각적 표시기(502)의 위치를 조정하기 위해 입력 디바이스를 이용하여 작은 이동(예를 들어, 컴퓨터 마우스를 이동시키거나 터치패드 상에서 터치를 이동시키기)을 수행할 수 있다.
이런 방식으로, 터치패드와의 자연적인 상호작용은 시선 정보를 수용한다. 사용자가 터치패드 상에서 스와이프 또는 이동과 같은 제스처를 수행하기 위해 터치패드 상에 그들의 손가락을 놓는 경우, 이동은 시선 위치로의 마우스 커서의 이동을 무효화할 수 있다.
일 실시예에서, 컴퓨터(100)는 접촉-요구형 입력 디바이스로서 터치패드 및 사용자의 시선 타겟을 결정할 수 있는 안구 추적 디바이스를 포함한다.
컴퓨터(100)는 터치패드 및 안구 추적 디바이스 모두로부터의 입력을 활용하여 사용자가 사용자 인터페이스들을 통해 네비게이팅하게 한다. 이것은 디스플레이(500) 상에서 시각적 표시기(502)를 이동시키는 것을 통해 가장 빈번하게 달성된다.
컴퓨터(100)는 터치패드 상에서 사용되는 제스처 유형의 명령들, 예를 들어, 연속하여 다음 요소(504)로 연속하여 이동하기 위해 사용자에 의한 터치패드를 가로지르는 스와이프 또는 디스플레이된 요소(504)를 주밍하기 위한 터치패드 상의 핀치 제스처를 활용한다.
본 개시내용에 다르면, 사용자가 손가락 등을 이용하여 터치패드를 접촉하는 경우, 컴퓨터(100)는 미리결정된 시간 기간 동안 컴퓨터 기능을 수행하는 것을 지연한다. 이러한 시간 기간 동안, 시각적 표시기(502)가 사용자의 추정된 시선 타겟에서 보여진다. 추정된 시선 타겟은 안구 추적 디바이스로부터의 정보에 기초하여 계산된다.
미리결정된 시간 기간이 만료하면, 컴퓨팅 시스템은 디스플레이(500) 상의 시각적 표시기(502)의 위치를 시선 타겟으로 이동시킨다. 그리고 나서, 사용자는 그들의 손가락을 터치패드 상에서 이동시킴으로써 시각적 표시기(502)를 이동시킨다.
사용자가 시각적 표시기(502)가 시선 타겟으로 이동하기를 원하지 않는 경우, 사용자는 미리결정된 시간 기간 동안 전술한 제스처 타입 명령들, 또는 임의의 액션을 취소하기 위해 터치패드로부터 단순하게 그들의 손가락을 제거하는 것과 같은 다른 액션을 수행할 수 있다.
실시예에서, 컴퓨터(100)는 실제 시선 타겟에 근접한 요소(504)에서 시각적 표시기(502)를 위치시킬 수 있다. 이러한 요소(504)는, 예를 들어, 버튼, 텍스트 박스, 메뉴 등과 같은 그래픽 사용자 인터페이스(GUI)일 수 있다. 컴퓨터(100)는, 일부 요소들(504)이 다른 요소들(504)보다 높은 미리결정된 가중치들을 갖게 하는 가중치부여 시스템에 기초하여 시각적 표시기(502)를 어느 요소(504)에 위치시킬지를 결정할 수 있다. 예를 들어, 버튼은 텍스트 박스보다 더 높은 가중치를 가질 수 있다. 어느 요소(504)에 시각적 표시기(502)를 놓을지에 대한 결정은 또한 시선 타겟에 대한 근접성을 고려한다.
실시예에서, 컴퓨터(100)는 시선 타겟이 결정될 수 있다는 것을 나타내는 촉각 또는 가청 피드백을 제공할 수 있다. 이런 방식으로, 피드백은 시스템이 정확하게 기능하고 있는지를 사용자에게 표시할 것이고, 만약 아닌 경우, 사용자가 그들의 거동을 변경하여 안구 추적 디바이스의 기능 또는 비-기능을 수용하게 할 것이다. 이러한 피드백은 커서 이동 절차 동안에 추정된 시선 위치가 결정된 경우 햅틱 피드백을 제공하는 터치패드의 형식일 수 있다.
도 25는 특정 실시예들에 따른 시각적 마커를 갖는 지연 워프(2500)의 흐름도이다. 시각적 마커는, 시각적 표시기(예를 들어, 커서)가 특정 조건들 하에서 점프 또는 "워프"할 곳에 대한 표시이다. 블록(2502)에서, 사용자가 터치패드를 터칭하는 것과 같은 접촉-요구형 액션이 검출된다. 블록(2504)에서 컴퓨터(100)는 미리정의된 시간 길이의 지속기간(예를 들어, 지연) 동안 대기한다. 일부 실시예들에서, 지연은 0초(즉, 지연 없음)일 수 있다. 지연 후에, 블록(2506)에서, 컴퓨터(100)는 시각적 마커가 비-접촉 타겟(예를 들어, 시선 타겟)에서 디스플레이되게 한다. 대안의 실시예에서, 추가의 지연이 블록(2506) 후에 그리고 블록(2508) 이전에 포함될 수 있다. 블록(2508)에서, 컴퓨터(100)는 사용자가 여전히 터치패드를 터칭하고 있는지와 같은 접촉-요구형 액션이 유지되는지를 결정한다. 접촉-요구형 액션이 유지되는 경우, 블록(2510)에서, 컴퓨터(100)는 시각적 마커를 디스플레이하는 것을 중단하고 시각적 표시기(예를 들어, 커서)를 비-접촉 타겟으로 이동시킨다. 접촉-요구형 액션이 블록(2508)에서 유지되지 않으면, 컴퓨터(100)는 블록(2512)에서 시각적 마커를 디스플레이하는 것을 중단하고 블록(2514)에서 시각적 표시기(예를 들어, 커서)의 위치에서 클릭을 실행할 수 있다.
도 26은 특정 실시예들에 따른 시각적 마커를 갖지 않는 지연 워프(2600)의 흐름도이다. 블록(2602)에서, 사용자가 터치패드를 터칭하는 것과 같은 접촉-요구형 액션이 검출된다. 블록(2604)에서 컴퓨터(100)는 미리정의된 시간 길이의 지속기간(예를 들어, 지연) 동안 대기한다. 지연 후에, 블록(2606)에서, 컴퓨터(100)는 시각적 표시기(예를 들어, 커서)를 비-접촉 타겟(예를 들어, 시선 타겟)으로 이동시킨다. 대안의 실시예들에서, 추가의 지연이 블록(2606) 후에 그리고 블록(2608) 이전에 포함될 수 있다. 블록(2608)에서, 컴퓨터(100)는 사용자가 여전히 터치패드를 터칭하고 있는지와 같은 접촉-요구형 액션이 유지되는지를 결정한다. 접촉-요구형 액션이 유지되는 경우, 프로세스는 블록(2610)에서 종료한다. 블록(2608)에서 접촉-요구형 액션이 유지되지 않는 경우, 블록(2612)에서, 컴퓨터(100)는 블록(2606)으로부터의 이동 이전에 시각적 표시기를 다시 그의 원래 위치로 이동시킬 수 있다. 다음으로, 블록(2614)에서 컴퓨터(100)는 시각적 표시기의 위치에서 클릭을 실행할 수 있다.
도 27은 특정 실시예들에 따른 숨겨진 시각적 표시기를 갖지 않는 지연 워프(2700)의 흐름도이다. 블록(2702)에서, 시각적 표시기는 숨겨진 상태에 있다. 블록(2702)은 이전에 디스플레이되지 않았다면 그것을 포함하는, 시각적 표시기가 숨겨지는 모든 인스턴스들을 포함한다. 블록(2704)에서, 사용자가 터치패드를 터칭하는 것과 같은 접촉-요구형 액션이 검출된다. 블록(2706)에서 컴퓨터(100)는 미리정의된 시간 길이의 지속기간(예를 들어, 지연) 동안 대기한다. 지연 후에, 선택적 블록(2708)에서, 컴퓨터(100)는 비-접촉 타겟(예를 들어, 시선 타겟)에서 시각적 마커 또는 시각적 표시기(예를 들어, 커서) 중 어느 하나를 디스플레이할 수 있다. 대안의 실시예들에서, 추가의 지연이 블록(2708) 후에 그리고 블록(2710) 이전에 포함될 수 있다. 블록(2710)에서, 컴퓨터(100)는 사용자가 여전히 터치패드를 터칭하고 있는지와 같은 접촉-요구형 액션이 유지되는지를 결정한다. 접촉-요구형 액션이 유지되고 있는 경우, 블록(2712)에서 컴퓨터(100)는 시각적 표시기를 비-접촉 타겟으로 이동시킨다. 블록(2708)에서 접촉-요구형 액션이 유지되지 않는 경우, 블록(2714)에서, 컴퓨터(100)는 비-접촉 타겟에서 클릭을 실행한다.
도 28은 특정 실시예들에 따른 지연 워프(2800)의 흐름도이다. 블록(2802)에서, 사용자가 터치패드를 터칭하는 것과 같은 접촉-요구형 액션이 검출된다. 블록(2804)에서 컴퓨터(100)는 미리정의된 시간 길이의 지속기간(예를 들어, 지연) 동안 대기한다. 블록(2806)에서, 컴퓨터(100)는 접촉-요구형 액션이 시각적 표시기(예를 들어, 커서)를 이동시키는 신호들을 포함하는지를 결정한다. 그러한 액션들은 터치패드를 따라서 스와이핑하는 것 또는 마우스를 이동시키는 것을 포함할 수 있다. 접촉-요구형 액션이 시각적 표시기를 이동시키는 신호들을 포함하는 경우(예를 들어, 사용자가 터치패드를 터칭하고 주위에서 손가락을 이동시킴), 블록(2808)에서, 컴퓨터(100)는 접촉-요구형 액션에 따라 시각적 표시기를 이동시킨다. 접촉-요구형 액션이 시각적 표시기를 이동시키는 신호들을 포함하지 않는 경우(예를 들어, 사용자가 터치패드를 터칭하고 주위에서 손가락을 이동시키지 않음), 선택적 블록(2810)에서, 컴퓨터는 비-접촉 타겟(예를 들어, 시선 타겟)에서 시각적 마커 또는 시각적 표시기를 보여줄 수 있지만, 그리고 나서 블록(2812)에서 접촉-요구형 액션이 유지되는지(예를 들어, 사용자가 터치패드를 터칭하고 터칭을 유지함)를 결정한다. 접촉-요구형 액션이 유지되지 않는 경우, 블록(2814)에서, 컴퓨터(100)는 시각적 표시기의 원래 위치에서 클릭을 실행한다. 접촉-요구형 액션이 유지되는 경우, 블록(2816)에서, 컴퓨터(100)는 시각적 표시기를 비-접촉 타겟으로 이동시킨다. 그리고 나서, 블록(2818)에서, 컴퓨터(100)는 접촉-요구형 액션이 이제 시각적 표시기를 이동시키는 신호들을 포함하는지를 결정한다(예를 들어, 시각적 표시기가 비-접촉 타겟으로 이동하는 것을 본 후에, 사용자가 터치패드 상에서 주위에서 손가락을 이동시키는 것을 시작함). 접촉-요구형 액션이 이제 시각적 표시기를 이동시키는 신호들을 포함하지 않는 경우, 컴퓨터는 블록(2822)에서 프로세스를 종료한다. 그러나, 접촉-요구형 액션이 이제 시각적 표시기를 이동시키는 신호들을 포함하는 경우, 블록(2820)에서 컴퓨터(100)는 새로운 접촉-요구형 액션에 따라서 시각적 표시기를 이동시킨다. 선택적으로, 접촉-요구형 액션의 해제(release)시에, "클릭" 또는 다른 기능이 수행될 수 있다. 일부 실시예들에서, 블록(2820)에서 시각적 표시기의 이동은 블록(2808)에서 시각적 표시기의 이동보다 느리다.
지연 후에, 선택적 블록(2808)에서, 컴퓨터(100)는 비-접촉 타겟(예를 들어, 시선 타겟)에서 시각적 마커 또는 시각적 표시기(예를 들어, 커서) 중 어느 하나를 디스플레이할 수 있다. 블록(2810)에서, 컴퓨터(100)는 사용자가 여전히 터치패드를 터칭하고 있는지와 같은 접촉-요구형 액션이 유지되는지를 결정한다. 접촉-요구형 액션이 유지되는 경우, 블록(2812)에서 컴퓨터(100)는 시각적 표시기를 비-접촉 타겟으로 이동시킨다. 블록(2808)에서 접촉-요구형 액션이 유지되지 않는 경우, 블록(2814)에서 컴퓨터(100)는 비-접촉 타겟에서 클릭을 실행한다.
2-스텝 클릭
사용자는 안구 추적 디바이스와 같은 비-접촉 입력(106)을 통해 컴퓨터(100)에 의해 검출가능한 비-접촉 액션들을 수행할 수 있다. 일부 실시예들에서, 사용자는 시선을 디스플레이(500) 상의 요소들(504)에 지향시키고 그리고 나서 사용자의 시선이 지향되는 요소(504)에 대해 컴퓨터 기능(예를 들어, 클릭)을 수행하기 위해 추가의 액션을 수행할 수 있다. 컴퓨터(100)는 사용자의 시선 타겟의 위치의 임의의 시각적 표시를 디스플레이하지 않을 수 있다. 본원에서 설명된 실시예들이 처음의 비-접촉 액션 이후에 단일의 "추가적인 액션"을 언급하지만, 이는 다른 실시예들에서는 특정 컴퓨터 기능을 트리거하기 위해 다수의 "추가적인 액션들"(예를 들어, 키스트로크들의 시퀀스 또는 비-접촉 및/또는 접촉-요구형 액션들의 임의의 순차적 또는 동시적인 조합)이 요구될 수 있다는 것이 이해되어야 한다.
도 7a는 일부 실시예들에 따른 멀티-스텝 클릭 기능성(700)을 도시하는 흐름도이다. 일반적 실시예에서, 컴퓨터(100)는 블록(702)에서 사용자의 시선 타겟을 검출한다. 사용자의 시선 타겟은 디스플레이에 인접하여 또는 그로부터 떨어져서 위치될 수 있다. 그리고 나서 블록(704)에서 컴퓨터(100)는 접촉-요구형 액션(예를 들어, 버튼 누르기 또는 터치패드 탭핑)을 검출한다. 그 후에 컴퓨터(100)는 시선 타겟 및 접촉-요구형 액션에 따라서 블록(706)에서 컴퓨터 기능을 수행한다.
일 실시예에서, 컴퓨터(100)가 시선 타겟에 위치되거나 근방에 위치된 요소(504)를 강조함에 따라, 블록(704) 이후까지 사용자에게 어떤 시각적 표시도 디스플레이되지 않는다.
도 7b는 일부 실시예들에 따른 멀티-스텝 클릭 기능성(710)을 도시하는 흐름도이다. 컴퓨터(100)는 블록(702)에서 사용자의 시선 타겟을 검출한다. 컴퓨터(100)는 블록(704)에서 제1 액션(에를 들어, 버튼 누르기 또는 터치패드 탭핑)을 검출한다. 블록(712)에서, 컴퓨터(100)는 시선 타겟에 인접하여 서로 충분히 가까이 위치된 다수의 작은 요소들(504)이 있는지를 결정한다. 일부 인스턴스에서, 다수의 요소들(504)은 각각의 요소(504)가 서로 충분히 가까이 있어서 컴퓨터(100)는 사용자가 원하는 요소(504)를 선택하기 위해 추가적인 정확성이 필요하다고 결정한다. 블록(714)에서, 컴퓨터는 사용자의 시선 타겟 근처의 디스플레이의 부분의 주밍된 이미지(zoomed image)를 제시한다. 디스플레이의 부분은 오직 요소들(504)일 수 있거나 요소들(504) 및 디스플레이의 주위 양태들(예를 들어, 배경들)일 수 있다. 컴퓨터(100)는 블록(716)에서 사용자의 시선 타겟을 계속 검출한다. 선택적으로, 블록(716)에서 컴퓨터(100)는 사용자의 시선 타겟에 의해 선택되는 임의의 요소(504)를 추가적으로 강조할 수 있다. 컴퓨터(100)는 블록(718)에서 제2 액션을 검출할 수 있다. 제2 액션을 검출함에 따라, 컴퓨터(100)는 블록(708)에서 시선 타겟에서의 요소를 선택적으로 강조하고, 블록(706)에서 시선 타겟에서의 요소에 따라 컴퓨터 기능을 수행할 수 있다(예를 들어, 시선 타겟에 위치된 요소를 선택하기). 블록(712)에서 컴퓨터(100)가 다수의 작은 요소들을 검출하지 않는 상황들에서, 컴퓨터는 단순히 선택적 블록(708) 및 블록(706)으로 바로 계속한다.
이런 방식으로, 컴퓨터(100)는 비-접촉 액션들을 이용하여 디스플레이 상의 작은 또는 다수의 요소들을 선택하려는 사용자의 희망에 동적으로 적응할 수 있다. 사용자가 안구 추적을 통한 것과 같은 비-접촉 액션들을 이용하여 작은 또는 다수의 요소들을 선택하려고 시도한다면, 컴퓨터(100)는 사용자가 정확한 요소를 픽업하는데 더 나은 제어를 갖게 하도록 하기 위해 동적으로 줌 인 할 수 있다. 전술한 바와 같이, 제1 액션들 및 제2 액션들은 접촉-요구형 및 비-접촉 액션들일 수 있다.
일부 실시예들에서, 블록들(704 및/또는 718)에서 검출된 제1 및 제2 액션들은 버튼을 누르기 또는 터치패드를 터칭하기일 수 있다. 일부 실시예들에서, 블록들(704 및/또는 718)에서 검출된 제1 및 제2 액션들은 이미 눌러져 있던 버튼을 해제하기 및/또는 이전에 터치되었던 터치패드를 터칭하는 것을 중단하기일 수 있다. 예를 들어, 사용자는 시선을 디스플레이 주위로 이동시키면서 버튼을 누를 수 있고 컴퓨터 기능이 발생하는 것이 원해지는 경우 그 버튼을 해제할 수 있다. 일부 실시예들에서, 제2 액션은 버튼에 대한 해제인 한편, 제1 액션은 동일한 버튼에 대한 누르기이다. 추가적으로, 제1 액션 및 제2 액션은 일반적으로 동일한 타입의 액션들(예를 들어, 버튼 누르기)이지만, 그럴 필요는 없다.
일부 실시예들에서, 컴퓨터(100)는 버튼이 눌러지는 동안 시선 타겟 및/또는 시선 타겟에서의 또는 근방의 요소들을 강조할 수 있다. 사용자가, 충분히 작고 서로 가까이 있어서 컴퓨터(100)가 그들을 줌 인(블록(714)를 참조하여 전술함)할 요소들의 그룹을 바라보는 경우, 컴퓨터(100)는 단일 요소 대신에 요소들의 그룹을 강조할 수 있다.
실시예에서, 컴퓨터(100)는 사용자가 액션을 개시하는 경우(예를 들어, 접촉-요구형 액션), 디스플레이 상에서 줌 인할 수 있다. 컴퓨터(100)는 시선 타겟 근방에 위치된 다수의 작은 요소들이 존재하는지에 대한 제1 결정없이 디스플레이 상에서 줌 인 할 수 있다. 컴퓨터(100)는 도 7b를 참조하여 전술한 바와 같이 기타의 방식으로 기능할 수 있다.
일 실시예에서, 컴퓨터(100)는, 일부 항목들이 다른 항목들보다 더 높은 가중치를 갖게 하는 가중치부여 시스템에 기초하여 시선 타겟을 어느 요소(504)에 위치시킬 지를 결정할 수 있다. 예를 들어, 버튼은 텍스트 북보다 높은 가중치를 가질 수 있다. 커서를 어느 요소(504)에 놓을 지에 대한 결정은 또한 추정된 시선 위치에 대한 근접성을 고려할 수 있다.
다른 실시예에서, 컴퓨터(100)는, 추정된 시선 위치가 결정될 수 있다는 것을 나타내는 촉각 또는 가청 피드백을 제공할 수 있다. 이런 식으로, 피드백은 시스템이 정확하게 기능하고 있는지를 사용자에게 나타낼 것이고, 그렇지 않은 경우, 사용자가 그들의 거동을 변경하여 안구 추적 디바이스의 기능 또는 비-기능을 수용하게 할 것이다. 이러한 피드백은, 커서 이동 절차 동안에 추정된 시선 위치가 결정된 경우 햅틱 피드백을 제공하는 터치패드의 형식일 수 있다.
도 29는 특정 실시예들에 따른 2-스텝 클릭(2900)을 도시하는 흐름도이다. 컴퓨터(100)는 블록(2902)에서 비-접촉 타겟(예를 들어, 시선 타겟)을 검출할 수 있고 블록(2904)에서 제1 액션을 검출할 수 있다. 제1 액션은 접촉-요구형 액션(예를 들어, 버튼 클릭) 또는 비-접촉 액션일 수 있다. 선택적으로, 디스플레이 상에 제공된 다수의 요소들은, 컴퓨터(100)가 비-접촉 타겟이 요소들 상에 또는 근방에 위치되는 것을 결정하면 동시에 강조될 수 있다. 블록(2906)에서, 컴퓨터(100)는 비-접촉 타겟에서의 요소가 신뢰성있게 결정될 수 있는지를 결정한다. 다시 말해서, 컴퓨터(100)는, 충분한 확실성을 갖고, 어느 요소를 사용자가 타겟으로 의도하고 있는 지를 결정할 수 있는지를 결정한다. 컴퓨터(100)는 어느 요소 또는 요소들을 사용자가 타겟으로 의도하고 있는 지를 결정하기 위한 다수의 파라미터를 고려할 수 있다. 이러한 파라미터들은 미리-설정되거나(pre-set) 및/또는 사용자-설정된 것일 수 있지만, 2개의 결정 포인트를 포함할 수 있다. 첫번째로, 컴퓨터(100)는 사용자에 의한 사용자 선호도 세트를 포함할 수 있는 인자들에 기초하여 예측된 추적 편차를 결정한다. 그러한 선호도는, 예를 들어, 사용자가 속도 또는 정확성을 원하는지, 사용자가 안경, 콘택트 렌즈 등을 착용하고 있는지를 포함하는 사용자 안구 추적 품질, 사용자의 시선을 맵핑하는 교정 기능의 품질, 사용자의 시선의 실제 위치에 대한 검출된 사용자의 시선의 오프셋의 추정치, 안구 추적 시스템에서의 신호 잡음, 안구 추적기의 구성, 타입 및 주파수 또는 다른 인자들을 무효화할 수 있는 예측된 시선 포인트 편차를 결정하기 위한 글로벌 파라미터를 포함할 수 있다. 원하는 요소가 신뢰성있게 결정될 수 있는 경우, 컴퓨터(100)는 블록(2908)에서 비-접촉 타겟에서의 요소를 선택적으로 강조할 수 있다. 그 후 컴퓨터(100)는 비-접촉 타겟에서의 요소와 연관된 컴퓨터 기능(예를 들어, 요소를 선택하기 또는 요소 또는 다른 것을 열기)을 수행할 수 있다. 두번째로, 컴퓨터(100)는, 다수의 요소들이 얼마나 가까이 있는지 및 시선 타겟이 중력과 유사한(gravity-like) 방식으로 요소를 향하여 가중될 수 있도록 요소들의 가중치들을 나타내는 요소들의 크기 및/또는 형상, 요소들의 레이아웃, 요소들의 중력의 시각적 포인트와 같은, 시선 타겟 근방의 요소들의 기하 정보들(geometries), 동일한 상호작용 타입의 요소들을 그룹핑하는 것을 포함하는 그룹핑 기준, 삭제 등과 같은 기능들을 회피하는 것에 대한 선호도 및 사용자의 시선 포인트에 기초하여 사용자가 요소 강조를 보았는지와 같은 사용자로부터의 정황 입력을 포함하는 인자들에 기초하여 블록(2912)에서 가능한 타겟들을 결정한다. 블록(2914)에서, 컴퓨터(100)는 모든 잠재적인 요소들의 시각화를 제시하는 영역의 특성들을 결정한다. 컴퓨터(100)는 블록(2912)에서 결정된 가능한 타겟들을 포함하는 요소들의 크기 및 레이아웃, 이격된 요소들의 시각화의 최대 크기, 사용자에 의해 설정되거나 컴퓨터(100)에 의해 미리결정된 확대 레벨(magnification level) 및 디스플레이된 요소들을 분석하기 위한 그룹핑 기준과 같은 다양한 인자들을 고려할 수 있다. 블록(2914)에서, 컴퓨터(100)는 블록(2912)에서 식별된 모든 잠재적인 요소들의 시각화를 각각의 요소가 더 이격되도록 제시할 수 있다. 선택적으로, 블록(2914)에서 디스플레이된 요소들은 사용자의 시선이 그들에 위치함에 따라 강조될 수 있다. 블록(2914)에서 더 이격시키는 예는 요소들이 위치되는 영역에 대해 단순하게 주밍하는 것(즉, 디스플레이 디바이스(104)의 크기와 관련하여 요소들 간의 간격을 증가시킴)을 포함할 수 있다. 블록(2914)에서 더 이격시키는 다른 예는 더 큰 분리를 제공하기 위해 디스플레이 상에서 각각의 개별 요소를 확대하는 것 및/또는 더 이격하도록 이동시키는 것(예를 들어, 디스플레이의 적은 부분을 차지하는 사각 구성 내로 4개의 요소들을 실질적으로 디스플레이의 대부분에 걸쳐서 연장하는 선 대형(line formation)으로 이동시키는 것)을 포함할 수 있다. 블록들(2916 및 2918)에서, 컴퓨터(100)는 각각 비-접촉 타겟을 다시 검출하고, 제2 액션을 검출하여 타겟화된 요소를 식별할 수 있다. 컴퓨터(100)는 블록(2908)에서 타겟화된 요소를 선택적으로 강조할 수 있다. 컴퓨터(100)는 블록(2910)에서 타겟화된 요소와 연관된 컴퓨터 기능(예를 들어, 요소를 클릭하기)을 수행할 수 있다.
도 29에 도시된 실시예에 대한 개선들에 있어서, 블록(2904)에서, 컴퓨터(100)는, 터치패드 상의 일정한 압력, 눌러진 버튼 등과 같이, 유지되는 제1 액션을 수신할 수 있다. 사용자가 제1 액션을 유지하고 있으므로, 사용자는 능동적으로 요소들을 선택하고 있고, 따라서, 블록(2906) 및 블록(2914) 이전에 강조될 다수의 요소들에 대해 준비된다. 블록(2910)에서, 사용자는 유지된 제1 액션을 해제하고 컴퓨터(100)는 비-접촉 타겟에서의 요소와 연관된 컴퓨터 기능을 수행한다.
추가의 실시예들
일부 실시예들에서, 컴퓨터(100)는 디스플레이 내의 윈도우들의 포커스를 스위칭하는 비-접촉 액션들을 검출할 수 있다. 실시예에서, 사용자가 비-활성 윈도우를 바라보고 액션(예를 들어, 접촉-요구형 액션 또는 비-접촉 액션)을 개시하는 경우, 비-활성 윈도우가 활성 윈도우가 된다. 이 실시예에서, 안구 추적 디바이스는 디스플레이(200)에 대한 사용자의 시선의 위치를 결정하며, 컴퓨터(100)가 시선 타겟이 윈도우 또는 현재 활성 상태가 아닌 영역 내에 위치된다고 결정하는 경우, 사용자는, 비-활성 윈도우 또는 영역을 응시하면서 접촉-요구형 액션을 제공함으로써 윈도우 또는 영역을 활성으로 만들 것을 컴퓨터(100)에게 지시할 수 있다. 대안의 실시예들에서, 사용자는 윈도우 또는 영역을 활성으로 만들기 위해, 접촉-요구형 액션을 제공하는 대신에 미리결정된 시간 기간 동안 그들의 시선을 비-활성 윈도우 또는 영역 내에 고정시킬 수 있다.
실시예에서, 사용자는 스크린의 엣지, 윈도우, 또는 영역을 향해 바라봄으로써 그리고 접촉-요구형 액션과 같은 액션을 개시함으로써 윈도우 또는 스크린 영역을 스크롤할 수 있다. 사용자가 스크린, 윈도우, 또는 영역의 상부, 하부, 좌측, 우측 또는 대각 엣지를 향하여 바라보고 있었는지에 따라, 영역 또는 윈도우는 위로, 아래로, 좌측으로, 우측으로, 또는 대각으로 스크롤할 수 있다. 예를 들어, 사용자가 영역 또는 윈도우의 하루를 향하여 바라보고 있고 접촉-요구형 액션과 같은 액션을 개시하는 경우, 영역 또는 윈도우의 하부에서의 영역 또는 윈도우의 콘텐츠는 윈도우 또는 영역의 상부쪽으로 상향으로 스크롤 할 수 있고, 영역 또는 윈도우의 하부로부터의 새로운 정보를 효과적으로 드러낸다. 이러한 기능성은 사용자가 응시하고 있는 모든 방향에 대해 동일한 방식으로 동작할 수 있다. 예를 들어, 사용자가 액션을 개시하는 경우, 좌측 엣지를 향하여 응시하고 있다면, 좌측 엣지에서의 정보가 우측 엣지를 향하여 이동할 것이고, 영역 또는 윈도우의 좌측으로부터 영역 또는 윈도우의 우측을 향하여 정보를 효과적으로 스크롤한다. 실시예에서, 사용자는 윈도우 또는 영역 내의 포인트를 바라보고 있고 액션(예를 들어, 접촉-요구형 액션)을 개시하는 경우, 컴퓨터(100)는 사용자에 의해 식별된 포인트가 윈도우 내의 미리결정된 위치(예를 들어, 윈도우의 상부 또는 윈도우의 중심)로 이동되도록 윈도우 또는 영역을 스크롤할 것이다. 이러한 실시예들에서, 엣지, 상부/하부, 좌측/우측, 또는 기타와 같은 영역이 언급되며, 컴퓨터(100)는 설명된 기능들이 일어날 엣지 상부/하부, 좌측/우측, 또는 기타 근방의 영역을 시선 오프셋 또는 편차에 기초하여 결정할 수 있다.
일부 실시예들에서, 컴퓨터(100)는 시선 상호작용들에 대해 미리결정된 양만큼 윈도우를 직접적으로 스크롤할 수 있다. 대안의 실시예들에서, 컴퓨터(100)는 윈도우를 스크롤하기 위해 시선 상호작용들을 사용하여 화살표 버튼(예를 들어, 위쪽 화살표 또는 아래쪽 화살표) 또는 페이지 버튼들(예를 들어, 페이지 올리기 또는 페이지 내리기)의 누르기와 같은 버튼 누르기들을 에뮬레이트한다.
일부 실시예들에서, 컴퓨터(100)는 시선 타겟이 스크롤링에 대해 정의된 특정 구역 또는 영역(예를 들어, 위쪽으로 스크롤링하는 것에 대해 스크린의 상부 엣지 근방) 내에 위치된다는 시각적 표시(예를 들어, 상이한 커서 또는 다른 표시)를 제공할 수 있다.
실시예에서, 사용자는 스크롤 방향(예를 들어, 컴퓨터 스크린의 상부, 하부, 또는 측면)으로 응시하면서 접촉-요구형 입력(예를 들어, 버튼 또는 터치패드)을 홀딩함으로써 윈도우를 스크롤할 수 있다. 스크린, 윈도우 또는 영역의 엣지에 대한 시선은 그 엣지로부터의 스크린, 윈도우 또는 영역의 중심을 향하여 정보를 스크롤할 수 있다. 스크롤링은 스크롤링에 기초한 모멘텀(momentum)일 수 있고, 접촉-요구형 입력이 더 길게 유지되면(예를 들어, 버튼이 더 길게 눌러지거나, 터치패드가 해제되지 않고 더 길게 터치되는 것) 스크롤링의 레이트가 미리결정된 최대 속도까지 점진적으로 증가할 것이라는 것을 의미한다. 일부 실시예들에서, 버튼 또는 터치패드가 해제되면, 스크롤링은 즉시 중단하지 않을 것이지만, 완전한 종료에 도달할 때까지 다소 느리게 신속히 중단할 것이다. 버튼 또는 터치패드가 눌러진 채로 있으면서 스크롤링이 증가하는 속도와 해제 이후에 스크롤링이 감소하는 속도는 컴퓨터(100)에 의해 조정될 수 있다. 선택적으로, 조정은 사용자에 의해 변경될 수 있다.
일부 실시예들에서, 사용자는 윈도우의 엣지(예를 들어, 윈도우의 상부, 하부 또는 측면들)를 단순히 바라봄으로써 윈도우를 스크롤할 수 있다. 윈도우는, 윈도우의 엣지를 향하는 각각의 바라보는 것에 대해 미리결정된 증분만큼 스크롤될 수 있다. 일부 실시예들에서, 스크롤링은 사용자가 윈도우의 엣지를 향하여 바라보고 동시에 음성 명령과 유사한 비-접촉 액션과 같은 액션을 개시하는 경우에만 발생할 수 있다. 다른 실시예들에서, 증분은 사용자의 시선의 위치에 따를 수 있고 연속적으로 업데이트될 수 있다. 이런 식으로 자연적인 스크롤링이 달성되는 경우, 예를 들어, 사용자가 지도의 엣지를 향하여 일정하게(constantly) 바라보고 있는 경우, 지도는 지도를 부드럽게 스크롤하기 위해 작은 증분만큼 스크롤한다. 스크롤링은 사용자가 동시에 액션을 개시하지 않고 발생할 수 있다.
일부 실시예들에서, 사용자는, 컴퓨터(100)가 시선 타겟에 위치된 디스플레이 및/또는 윈도우의 부분이 디스플레이 및/또는 윈도우의 중심으로 이동하게 야기할 포인트에서 원하는 위치를 바라봄으로써 그리고 액션(예를 들어, 버튼 누르기 또는 "스크롤"이라고 말하기)을 수행함으로써 윈도우를 스크롤할 수 있다. 일부 실시예들에서, 컴퓨터(100)는 시선 타겟의 위치(예를 들어, 윈도우에 대한 시선 타겟의 위치)에 따라, 스크롤할지 또는 줌할지를 결정할 수 있다. 예를 들어, 사용자가 지도를 포함하는 윈도우를 바라보고, 시선 타겟을 지도의 엣지로 이동시키는 경우, 버튼을 누르는 것은 지도가 스크롤하게 할 수 있고, 따라서, 그 타겟화된 위치는 지금 지도의 중심에 있다. 그러나, 동일한 사용자가 지도의 중심을 바라보거나 그 근방을 바라보는 경우, 버튼을 누르는 것은 지도가 줌되게 할 수 있다. 일부 추가적인 실시예들에서, 액션의 속도(예를 들어, 주밍 또는 스크롤링)는 시선 타겟의 위치(예를 들어, 윈도우에 대한 시선 타겟의 위치)에 기초하여 제어될 수 있다. 예를 들어, 사용자가 윈도우의 엣지를 바라보고 버튼을 누르는 경우, 윈도우는 신속하게 스크롤할 수 있는 반면, 사용자가 윈도우의 동일한 엣지와 윈도우의 중심 사이의 어딘가를 바라본다면, 윈도는 덜 신속하게 스크롤할 것이다.
일부 실시예들에서, 스크롤링은 키, 버튼, 또는 터치패드에 대한 사용자에 의한 접촉의 길이 또는 압력에 기초한다. 예를 들어, 윈도우는 키, 버튼, 또는 터치패드를 길게 누르고 유지하는 경우 더 큰 증분으로 스크롤할 수 있다.
다양한 실시예들에서, 스크롤링은 액션들(예를 들어, 접촉-요구형 액션들)을 수행 또는 중단함으로써 종료될 수 있다. 일부 실시예들에서, 스크롤링은 완전하게 종료하기 이전에 느려진다. 일부 실시예들에서, 스크롤링은 시선 타겟을 미리결정된 영역(예를 들어, 스크린의 엣지 또는 시선 타겟이 스크롤링의 개시 시에 있었던 영역)으로부터 멀어지도록 점진적으로 이동시킴으로써 느려질 수 있다.
일부 실시예들에서, 접촉-요구형 입력의 탭핑(예를 들어, 신속한 버튼 누르기, 터치패드 상의 신속한 탭핑, 또는 컴퓨터 마우스의 이동)은 디스플레이 상에 시각적 표시기가 나타나게 하거나, 대안적으로 시각적 표시기의 적어도 마지막으로 알려진 위치 또는 시선 위치에서 클릭이 일어나게 할 수 있다. 그 이후에, 손가락을 접촉-요구형 입력 상에 유지하는 것(예를 들어, 손가락을 터치패드 상에 유지하는 것)은 시각적 표시기를 시선 타겟으로 이동시킬 수 있다.
일부 실시예들에서, 컴퓨터 마우스의 이동은 시각적 표시기가 시선 타겟에서 디스플레이 상에 나타나게 할 수 있다. 일부 실시예들에서, 시각적 표시기가 시선 타겟에서 나타난 후에, 시각적 표시기(예를 들어, 커서)를 이동시키기 위한 접촉-요구형 입력(예를 들어, 컴퓨터 마우스)의 사용은 시각적 표시기가 사용자의 시선 타겟 근방에 있는 동안 느려질 수 있다. 일부 실시예들에서, 사용자는 컴퓨터 마우스를 사용하고 있는 동안 요소(예를 들어, 아이콘)에 대한 추가적인 액션(예를 들어, 마우스 버튼을 누르기 및 유지하기와 같은 접촉-요구형 액션)을 개시할 수 있다. 그 후, 사용자의 시선은 원하는 목적지를 향하여 이동될 수 있고 요소를 원하는 목적지로 끌기 위해(예를 들어, 항목을 다른 폴더 내로 이동시키기 위해) 마우스 버튼이 해제될 수 있다. 이런 식으로, 사용자는 전술한 시선 인에이블형 시각적 표시기 이동 방법을 이용하여 또는 컴퓨터 마우스, 터치패드 등을 이동시켜서 시각적 표시기를 항목 상에 또는 근방에 위치시킴으로써 디스플레이 상에서 항목을 선택할 수 있다. 그 후, 사용자는 항목을 선택하기 위해 컴퓨터 마우스와 같은 활성화기(activator)를 누르고 유지하거나 터치패드 상의 접촉을 유지할 수 있고, 사용자가 활성화기를 해제하는 경우, 항목은 디스플레이 상의 사용자의 시선의 위치로 이동한다. 따라서, 사용자는 아이콘과 같은 항목을 "붙잡을(grab)" 수 있고, 아이콘을 사용자의 시선 위치로 "끌(drag)" 수 있고, 그 결과 활성화기의 해제시에 아이콘은 사용자의 시선 위치에 재배치된다.
일부 실시예들에서, 접촉-요구형 액션(예를 들어, 마우스 버튼 클릭하기)과 같은 액션을 수행하는 것은 시각적 표시기가 시선 타겟으로 이동하게 할 수 있다. 일부 실시예들에서, 접촉-요구형 액션을 유지하는 것(예를 들어, 마우스 버튼을 누르고 유지하는 것)은 시각적 표시기를 시선 타겟으로 이동시키고 사용자가 접촉-요구형 액션을 해제하기 전에(예를 들어, 마우스 버튼을 해제하기 전에) 시각적 표시기의 위치를 미세조정하게 하여 시각적 표시기의 위치에서 액션을 수행하게 할 수 있다(예를 들어, 요소를 선택). 접촉-요구형 액션이 유지되고 있는 동안, 시선 타겟의 큰 이동은 시각적 표시기의 더 작은 이동들로 변환될 수 있고, 따라서, 사용자가 시각적 표시기의 위치를 보다 미세하게 조정하게 한다.
실시예에서, 액션(예를 들어, 접촉-요구형 액션)을 개시하는 것은 시선 타겟에서 메뉴를 열 수 있다. 사용자는 원하는 메뉴 항목을 바라보고 메뉴 항목을 선택하기 위해 제2 액션(예를 들어, 제2 접촉-요구형 액션 또는 유지된 제1 접촉-요구형 액션의 해제)을 개시할 수 있다. 일부 실시예들에서, 시선을 메뉴 항목 상에 또는 근방에 미리결정된 시간 기간 동안 유지하는 것은 그 메뉴 항목을 선택하도록 기능할 수 있다.
실시예에서, 엣지 메뉴 또는 버튼은 디스플레이의 엣지를 바라보면서, 접촉-요구형 액션을 유지하고 및 접촉-요구형 액션을 해제함으로써 열릴 수 있다. 일부 경우들에서, 컴퓨터(100)는, 사용자가 접촉-요구형 액션을 유지한 채로 디스플레이의 엣지를 바라보는 경우 메뉴를 여는 것이 가능하다는 시각적 표시를 제시한다. 사용자가 접촉-요구형 액션을 해제하지 않고 디스플레이의 엣지로부터 떨어져서 바라보는 경우, 메뉴는 열리지 않는다. 예를 들어, 사용자는 접촉-요구형 액션을 홀드 또는 유지하고 디스플레이의 엣지를 향해 바라볼 수 있다. 글로우(glow) 또는 다른 시각적 표시기가 디스플레이의 엣지에서 나타날 수 있고, 메뉴가 열릴 수 있음을 나타낸다. 접촉-요구형 액션이 글로우 또는 다른 시각적 표시기가 존재하는 동안 중단되는 경우, 메뉴가 스크린 상에 나타난다. 글로우 또는 다른 시각적 표시기가 존재하지 않는 동안 접촉-요구형 액션이 중단되는 경우, 어떤 메뉴도 스크린 상에 나타나지 않는다. 메뉴는 전체 스크린 또는 스크린의 일부를 차지할 수 있다. 메뉴는 대안적으로 버튼일 수 있는데, 예를 들어, 웹 브라우저 등에서 "뒤로" 이동을 나타내는 버튼일 수 있다.
실시예에서, 액션(예를 들어, 스크롤 휠을 작동시키는 것과 같은 접촉-요구형 액션)을 개시하는 것은 시선 타겟에서의 디스플레이를 줌 인 또는 줌 아웃할 것이다. 실시예에서, 액션(예를 들어, 터치패드 상의 더블-탭핑)을 개시하는 것은 시선 타겟에서의 디스플레이를 줌 인 할 수 있다. 실시예에서, 액션(예를 들어, 시프트 버튼을 누른채로 터치패드를 탭핑)을 개시하는 것은 시선 타겟에서의 디스플레이를 줌 아웃할 수 있다. 추가의 실시예에서, 터치패드, 터치 스크린 등 상에서 "핀치(pinch)" 이동과 같은 서로를 향하는 2개의 손가락의 이동은 줌 인 또는 줌 아웃이 일어나게할 수 있고, 2개의 손가락이 서로로부터 멀어지는 이동은 반대의 줌 인 또는 줌 아웃 이동이 일어나게 할 수 있다.
실시예에서, 비-접촉 입력 모드를 활성화하기 위해, 사용자는 디스플레이 디바이스(104)의 엣지를 향하여 바라본다. 컴퓨터(100)는 시선 타겟이 디스플레이 디바이스(104)의 엣지에서 또는 근방에 있다고 결정하고 비-접촉 입력 모드를 활성화한다. 일부 실시예들에서, 컴퓨터(100)는 디스플레이(200) 위에 또는 인접하여 입력 메뉴를 디스플레이한다. 사용자가 디스플레이(200)의 엣지로부터 떨어져서 바라보는 경우, 입력 메뉴는 즉시 사라질 수 있고, 디스플레이(200) 상에서 무제한 남아 있을 수 있고, 또는 미리결정된 양의 시간 후에 사라질 수 있다. 사용자는 아이콘을 응시하면서 접촉-요구형 액션을 수행함으로써, 또는 그들의 시선을 미리결정된 시간 기간 동안, 예를 들어, 1초 동안 아이콘 주변에 체류하게 하는 것 또는 안구 또는 안구들을 깜박이는 것과 같은, 컴퓨터에 의해 활성화 명령으로서 해석될 수 있는 비-접촉 활성화 방법을 이용함으로써 입력 메뉴 상의 아이콘을 활성화할 수 있다. 각각의 아이콘은 컴퓨터 기능과 연관될 수 있다. 아이콘이 활성화되는 경우, 컴퓨터(100)는 아이콘의 외양, 사운드, 물리적 피드백(예를 들어, 햅틱 응답)에서의 변화와 같은 활성화에 대한 표시를 제공할 수 있다.
장소 커서 아이콘은 마우스 커서를 원하는 포인트 또는 위치 상에 두기 위해 활성화될 수 있다. 장소 커서 아이콘은 마우스-오버(mouse-over) 기능들(예를 들어, 마우스 클릭이 원해지지 않는 기능들)에 대해 사용될 수 있다. 시선 스크롤 아이콘은, 이하에 더 상세하게 설명되는 바와 같이, 스크롤가능 윈도우 내에서 시선-제어형 스크롤링을 인에이블 하도록 활성화될 수 있다. 좌측 클릭 아이콘은 단일 좌측 클릭을 수행하도록 활성화될 수 있다(예를 들어, 부착된 컴퓨터 마우스 상의 물리적 좌측 클릭을 에뮬레이팅). 더블 클릭 아이콘은 더블 좌측 클릭을 수행하도록 활성화될 수 있다(예를 들어, 부착된 컴퓨터 마우스 상의 물리적 더블 클릭). 우측 클릭 아이콘은 단일 우측 클릭을 수행하도록 활성화될 수 있다(예를 들어, 부착된 컴퓨터 마우스 상의 물리적 우측 클릭을 에뮬레이팅). 시선 끌기(drag) 및 놓기(drop) 아이콘은 시선 끌기 및 놓기 모드를 인에이블하도록 활성화될 수 있다. 시선 끌기 및 놓기 모드는, 이하에 더 상세하게 설명하는 바와 같이, 사용자가 비-접촉 입력을 사용하여 물리적 마우스 상의 끌기 및 놓기를 에뮬레이트(예를 들어, 마우스를 클릭하고 유지하고, 마우스를 이동시키고, 마우스를 해제)하게 한다. 시선 키보드 아이콘은, 이하에 더 상세하게 설명되는 바와 같이, 시선을 이용하여 타이핑하기 위해 온-스크린, 시선-가능형 키보드를 열도록 활성화될 수 있다. 설정 아이콘은 설정 윈도우 또는 대화창을 열도록 활성화될 수 있다.
전술한 바와 같이, 시선 스크롤 아이콘은 시선-제어형 스크롤링을 인에이블하도록 활성화될 수 있다. 시선-제어형 스크롤링이 활성화되는 경우, 사용자는 비-접촉 입력들을 이용하여 윈도우들을 (위로 아래로뿐 아니라 왼쪽 및 오른쪽으로)스크롤할 수 있다. 일 실시예에서, 사용자는 스크롤 표시기를 윈도우 상에 두고 위로 스크롤하기 위해 스크롤 표시기 위를 바라보고, 아래로 스크롤하기 위해 스크롤 표시기 아래를 바라보고, 왼쪽으로 스크롤하기 위해 스크롤 표시기의 왼쪽을 보고, 오른쪽으로 스크롤하기 위해 스크롤 표시기의 오른쪽을 바라볼 수 있다. 사용자는 우선 시선-제어형 스크롤링을 가능하게 함으로써(예를 들어, 시선 스크롤 아이콘 상에 시선을 체류하게 함) 스크롤 표시기를 둘 수 있고, 그 후 임의의 스크롤가능 영역을 바라보고 스크롤 표시기가 나타날 때까지 그 영역에 시선을 체류하게할 수 있다. 사용자가 시선-제어형 스크롤링을 디스에이블하기를 원하는 경우, 사용자는 스크린의 외부 또는 다시 입력 메뉴를 응시할 수 있다.
전술한 바와 같이, 시선 끌기 및 놓기 아이콘은 시선 끌기 및 놓기 모드를 인에이블하도록 활성화될 수 있다. 시선 끌기 및 놓기 모드가 인에이블되는 경우, 사용자는 제1 위치를 응시하고 컴퓨터로 하여금 제1 위치에 대한 마우스 클릭 및 유지를 에뮬레이팅하게 하는 사용자 신호(예를 들어, 시선 체류, 깜박임, 윙크, 패턴으로 깜박임, 또는 버튼과 같은 접촉 입력을 사용)를 제공할 수 있다. 그 후, 사용자는 시선을 제2 위치로 이동시키고, 컴퓨터로 하여금 마우스를 제2 위치로 이동시키고 마우스 버튼을 해제하는 것을 에뮬레이팅하게 하는 제2 사용자 신호를 제공할 수 있다.
일부 실시예들에서, 사용자가 입력 메뉴 상에서 아이콘을 선택하면, 선택된 아이콘은 입력 메뉴 상에서 새로운 선택이 이루어지지 않는 한 선택해제될 수 없다. 다른 실시예들에서, 아이콘은 동일한 아이콘을 다시 응시하는 것에 의한 것과 같이 선택해제될 수 있다.
일부 실시예들에서, 입력 메뉴 상에서 선택된 액션을 이용하는 것을 용이하게 하기 위해, 컴퓨터(100)는 디스플레이의 일부가 줌되도록 제공할 수 있다(예를 들어, 더 낮은 해상도로 디스플레이됨). 예를 들어, 사용자가 입력 메뉴 상에서 "왼쪽 클릭"을 선택하고 디스플레이의 일부를 응시하는 경우, 디스플레이 상의 시선 포인트 주위 영역이 줌될 수 있고, 따라서, 그 후 사용자는 디스플레이의 확대된 일부분을 응시함으로써 훨씬 용이하게 그들의 액션에 대한 의도된 타겟을 선택할 수 있다.
일부 경우들에서, 사용자는, 컴퓨터 기능이 수행될 디스플레이의 영역을 선택하기 위해 특정 액션(예를 들어, 접촉-요구형 액션 또는 비-접촉 액션)을 수행할 수 있고, 원하는 컴퓨터 기능을 선택하기 위해 그 영역의 포인트에서 또는 근방에서 컴퓨터(100)가 입력 메뉴를 디스플레이할 수 있다.
추가의 개선에서, 입력 메뉴는 또한 디스플레이(200) 및/또는 디스플레이 디바이스(104) 외부에 제공될 수 있다. 이런 식으로, 입력 메뉴는 안구 추적 디바이스와 같은 입력 디바이스 상에, 디스플레이의 하우징 상에 또는 별도의 디바이스 상에 제공될 수 있다. 그 후, 메뉴는 별도의 디스플레이, 또는 발광 다이오드, 스위치 등과 같은 사용자에게 정보를 전달하는 임의의 수단으로 구성될 수 있다. 다른 실시예에서, 외부 입력 메뉴 상에서 아이콘을 선택하는 액션은 보통의 디스플레이 상의 적절한 위치에서 그 아이콘의 투명한 이미지로서 보여진다. 일부 실시예들에서, 활성화될 원하는 아이콘을 식별하는데 사용된 시선 타겟은 디스플레이(200) 및/또는 디스플레이 디바이스(104) 외부에 위치될 수 있다.
일부 실시예들에서, 사용자는 음성 상호작용을 통해 시선 타겟에서 또는 그 근방의 영역에 대해 또는 영역에서 컴퓨터 기능들을 수행할 수 있다. 영역이 선택되면(예를 들어, 영역에서 시선을 포커싱함으로써), 액션은 사용자가 "열기", "클릭" 등과 같은 특정 단어들을 말함으로써 수행될 수 있고, 이는 본 기술분야의 통상의 기술자가 쉽게 이해할 것이다.
일부 실시예들에서, 입력 메뉴 상의 컴퓨터 기능에 대한 선택은 다수의 스텝을 포함할 수 있고, 또한 다수의 메뉴를 포함할 수 있다. 예를 들어, 사용자는 본원에서 설명된 임의의 입력 방법을 이용하여 아이콘 또는 메뉴를 선택할 수 있고, 그 후 수행될 컴퓨터 기능을 선택하기 위해 제2 아이콘 또는 메뉴를 선택할 수 있다.
일부 실시예들에서, 시선 추적 디바이스는 특정 사용자에 대한 기능성을 맞춤화하기 위해(예를 들어, 특정 메뉴 및/또는 특징들을 이용하거나 원하는 밝기 설정 도는 다른 설정을 구축) 사용자의 아이덴티티를 구별할 수 있다(예를 들어, 사용자의 시선 패턴, 또는 안구들 사이의 거리 및 크기들과 같은 생체정보 데이터를 통해).
일부 실시예들에서, 컴퓨터(100)는 시선 이동들(예를 들어, 시선 타겟의 이동들)의 구별가능한 시리즈 또는 시퀀스에 기초하여 특정 기능들을 수행할 것이다.
일부 실시예들에서, 컴퓨터(100)는 디스플레이(200) 상에 어떤 요소들이 제시되는지에 기초하여, 어떤 다양한 컴퓨터 기능들이 비-접촉 액션들에 의해 전체적으로 또는 부분적으로 수행되도록 이용가능한지를 결정할 수 있다.
일부 실시예들에서, 액션을 수행하는 것은 시선 타겟에 기초하여 정보가 디스플레이(200) 상에 제시되게 할 수 있다. 예를 들어, 버튼을 누르는 것은 활성 컴퓨터 프로그램의 리스트가 디스플레이(200) 상에 나타나게 할 수 있다. 사용자는 정보의 일부를 응시함으로써 제시된 정보(예를 들어, 활성 컴퓨터 프로그램의 리스트)와 상호작용할 수 있다. 예를 들어, 사용자는 버튼을 눌러서 활성 컴퓨터 프로그램의 목록이 디스플레이(200) 상에 나타나게 할 수 있고, 그 후, 특정 프로그램을 바라보고 그 특정 프로그램이 컴퓨터(100) 상에서 포커싱되게 하도록 버튼을 해제할 수 있다.
본원에 제시된 다수의 예들은 시선 추적과 관련하여 설명되었다. 적용가능한 경우, 다른 비-접촉 액션들(예를 들어, 3-D 제스처 또는 기타)의 추적이 시선 추적을 대체할 수 있다는 것이 이해될 것이다. 다른 비-접촉 액션의 추적으로 시선 추적을 대체하는 경우, 시선 타겟들에 대한 참조는 비-접촉 타겟들에 대한 참조로 고려되어야 한다.
시선 타겟의 위치는, 안구들의 이동, 얼굴의 이동, 및 얼굴 특징들의 이동을 포함하는, 다양한 액션들의 검출로부터 결정될 수 있다. 예를 들어, 스크롤링 기능(예를 들어, 위쪽으로 또는 아래쪽으로 페이지 스클롤링)은 사용자가 디스플레이(200)를 판독하는 동안 사용자의 얼굴 경사(예를 들어, 위로 또는 아래로)에 의해 제어될 수 있고, 컴퓨터(100)는 그때 안구 추적에 기초한 스크롤링 기능을 제어하지 않는다.
일부 경우들에서, 카메라 기반 시선 검출 시스템들은 얼굴 인식 프로세싱에 의존하여 코, 입, 두 안구 사이의 거리, 머리 포즈, 턱 등과 같은 얼굴 특징들을 검출할 수 있다. 이러한 얼굴 특징들의 조합들은 시선 타겟을 결정하는데 사용될 수 있다. 예를 들어, 카메라로부터의 얼굴 이미지에 기초하여 수직 스크롤링(예를 들어, 위쪽으로 스크롤하는 기능 및/또는 아래쪽으로 스크롤하는 기능)이 수행되는 실시예들에서, 시선 타겟의 검출은 전적으로 또는 부분적으로 검출된 눈꺼풀 위치(들)에 의존할 수 있다. 사용자가 디스플레이 디바이스(104)의 하부 부분을 응시하는 경우, 안구는 더 닫힌 것으로 검출될 것인 반면, 사용자가 디스플레이 디바이스(104)의 상부를 응시하는 경우, 안구는 더 열린 것으로 검출될 것이다.
눈꺼풀 위치 검출은 수직 방향으로의 시선 타겟의 변화를 검출하는데 좋지만, 수평 방향으로의 시선 타겟의 변화를 검출하는데는 효과적이지 않다. 수평 방향으로의 시선 타겟의 변화에 대한 보다 나은 검출을 위해, 그 대신에 머리 포즈의 이미지들이 사용될 수 있다. 그러한 경우들에서, 시선 타겟은, 사용자의 얼굴이 디스플레이 디바이스(104)의 일반적 방향으로 배향된다고 결정되는 경우에만 스크롤 구역 내에 있는 것으로 결정될 수 있다. 일반적 규칙으로서, 사용자가 직선으로 향하는 시선으로부터 7도보다 더 이탈된 대상을 바라볼 때마다, 사용자의 머리는 즉각 그 대상의 방향으로 전환할 것이다. 따라서, 디스플레이 디바이스(104)로부터 측면으로 7도보다 더 이탈된 것을 나타내는 머리 포즈는 사용자가 디스플레이 디바이스(104) 상에 제시된 콘텐츠(예를 들어, 디스플레이(200))를 바라보고 있지 않을 가능성이 있다는 표시이다.
카메라 해상도, 프로세싱 능력, 이용가능한 메모리 등에 의해 진술될 수 있는 시선 검출 컴포넌트들의 민감도 및 정확성에 따라서, 시선 타겟은 디스플레이 디바이스(104)에 대해 더 작거나(예를 들어, 더 민감하거나 및/또는 더 정확함) 더 큰 영역(예를 들어, 덜 민감하거나 및/또는 덜 정확함)을 점유할 수 있다. 시선 검출 컴포넌트들의 교정은 또한 시선 타겟 계산들의 민감도 및 정확성에 있어서 역할을 할 수 있다. 정확성 또는 민감도는 사용자의 시선의 실제 방향과 계산된 시선 타겟 사이의 관계를 진술할 수 있다. 개시된 실시예들은 심지어 실제 시선 방향과 계산된 시선 타겟 사이의 관계가 직접적이지 않더라도 기능할 수 있다.
일부 실시예들에서, 시선 타겟은 교정을 보조하기 위한 터치 스크린으로부터의 입력을 이용함으로써 교정될 수 있다. 예를 들어, 컴퓨터(100)는 사용자가 디스플레이 디바이스(104) 상의 동일한 포인트(들)을 바라보고 터치하게 촉구할 수 있다. 대안적으로, 그러한 교정 프로세스는 사용자를 촉구하지 않고 또는 사용자의 컴퓨터(100)와의 정상적 상호작용을 방해하지 않고 백그라운드로 수행될 수 있다. 예를 들어, 컴퓨터(100)를 정상적으로 동작시키고 있는 동안, 사용자는 버튼들, 하이퍼링크들, 및 디스플레이(200), 디스플레이 디바이스(104) 및/또는 알려진 위치들을 가지는 컴퓨터(100)의 다른 부분들을 누르고 있을 것이다. 사용자는 또한 버튼들, 하이터링크들 등을 동시에 정상적으로 바라볼 것이라고 가정될 수 있다. 따라서, 컴퓨터(100)는 터치 포인트 또는 클릭 포인트를 사용자의 시선의 방향으로서 인식할 수 있고, 그 후 사용자의 시선의 방향과 계산된 시선 타겟 사이의 임의의 차이들을 정정할 수 있다. 그러한 백그라운드 교정 프로세스는 사용자가 시간에 따라 컴퓨터(100)와 상호작용하면서 교정을 느리게 개선하기 위해 도움이 될 수 있다.
일부 실시예들에서, 컴퓨터(100)는 사용자가 컴퓨터(100)를 제어하려고 시도하기 보다는 디스플레이(200)상의 요소들(504)을 판독하고 있는 경우를 결정할 수 있다. 예를 들어, 사용자가 판독하고 있는지에 대한 검출은 순간이동 및 안구가 디스플레이 상의 일정한 포인트 상에 또는 그 주위에 고정 또는 체류하고 있는지를 결정 및 평가하는 것에 기초할 수 있다. 이러한 정보는 판독에 대한 표시기들을 보다 고정된 시선과는 구별된 것으로서 결정하도록 사용될 수 있다. 일부 실시예들에서, 컴퓨터(100)는, 사용자가 판독하고 있다고 결정되는 경우에도 스크롤링 기능이 개시될 수 있도록 구성된다. 예를 들어, 사용자가 지도를 바라보고 있는 경우, 스크롤링(예를 들어, 패닝(panning))은 사용자가 텍스트(예를 들어, 워드-프로세서 문서)를 판독하고 있는 경우보다 상대적으로 빠르게 개시되어야 한다. 따라서, 텍스트를 판독하는 경우 스크롤 기능을 트리거하기 전에 임의의 체류 시간이 지도 및 다른 그래픽 콘텐츠를 검토하는 것에 대한 것보다 길 수 있고, 스크롤 구역들 및/또는 스크롤 상호작용들은 각각의 경우에서 상이하게 선택될 수 있다. 예를 들어, 스크롤 구역(들)은, 컴퓨터(100)가 충분히 응답성있도록 만들기 위해 지도 또는 다른 그래픽 콘텐츠의 경우에 더 크게 만들어져야 할 수 있는 한편, 텍스트 문서에 대한 스크롤 구역(들)은, 사용자가 윈도우의 하부 또는 상부에 아주 가까이 있는(예를 들어, 5 라인) 텍스트를 판독하고 있을 때까지 스크롤 액션이 통상적으로 요구되지 않기 때문에 더 작을 수 있다.
특정 액션들과 컴퓨터 기능들을 상관시킬 수 있는 다양한 실시예들이 본원에서 개시된다. 추가의 실시예들에서, 적용가능한 경우, 컴퓨터(100)는 하나 이상의 모드에 있을 수 있고, 각각의 모드는 사용자가 수행하는 다양한 액션들에 응답하여 수행될 상이한 컴퓨터 기능들을 인에이블한다.
일부 실시예들에서, 컴퓨터(100)는 사용자 시선 데이터 패턴(예를 들어, 시선 타겟들이 디스플레이 디바이스(104)에 대해 특정 위치들 또는 장소들에 나타나는 빈도)을 사용하여, 사용자가 특정 구역(202) 또는 요소(504)를 바라보고 있는 경우 통계적 분석에 기초하여 더 높은 정확성을 갖고 결정하도록 구성될 수 있다.
도 8 내지 24d는 본원에 개시된 다양한 실시예들 및 기능성의 그래픽 표현들 및 흐름도를 도시한다.
실시예들이 접촉 요구형 및 비-접촉 요구형 액션들을 참조하여 설명되었지만, 이러한 액션들은 섞일 수 있음이 이해되도록 의도된다. 다시 말해서, 실시예가 마우스의 이동, 터치패드 접촉, 버튼의 누름 등과 같은 접촉 요구형 액션을 이용하여 설명되는 경우, 그러한 액션은 또한 음성 명령, 제스처, 시선 이동 등과 같은 비-접촉 방법을 이용함으로써 수행될 수 있도록 의도된다.
위에서 인용된 모든 특허들, 공개물들 및 개요들은 그 전체가 참조로서 본원에 포함된다. 본원에서 사용된 임의의 머리말은 구조적 목적을 위한 것일뿐, 개시내용 또는 특허청구범위를 임의의 방식으로 제한하려는 것으로 해석되지 않아야 한다. 다양한 실시예들이 설명되었다. 이러한 실시예들은 본 개시내용의 원리들에 대한 단순한 예시인 것을 인지하여야 한다. 다수의 수정들 및 그의 구성들은, 이하의 특허청구범위에서 정의된 바와 같은 본 개시내용의 사상 및 범주로부터 벗어나지 않으면서 본 기술분야의 통상의 기술자에게 명백할 것이다.
달리 구체적으로 언급되지 않은 이상, 본 명세서의 전체에 걸쳐 "프로세싱", "컴퓨팅", "계산(calculating)", "결정(determining)" 및 "식별"과 같은 용어를 이용한 명세서의 논의는 컴퓨팅 플랫폼의 메모리, 레지스터, 또는 다른 정보 저장 디바이스, 송신 디바이스, 또는 디스플레이 디바이스 내의 물리적인 전자적 또는 자기적 양으로서 표현된 데이터를 조작 또는 변형하는, 하나 이상의 컴퓨터 또는 유사한 전자 컴퓨팅 디바이스 또는 디바이스들과 같은 컴퓨팅 디바이스의 액션 또는 프로세스를 나타내는 것임을 인식할 것이다.
본 명세서에 기재된 시스템 또는 시스템들은 임의의 특정한 하드웨어 아키텍처 또는 구성으로 한정되지 않는다. 컴퓨팅 디바이스는, 하나 이상의 입력에 조건하는 결과를 제공하는 컴포넌트들의 임의의 적절한 구성을 포함할 수 있다. 적절한 컴퓨팅 디바이스는, 컴퓨팅 시스템을 범용 컴퓨팅 장치로부터 본 발명의 하나 이상의 실시예를 구현하는 특화된 컴퓨팅 장치로 프로그램 또는 구성하는 저장된 소프트웨어를 액세싱하는 다목적 마이크로프로세서 기반 컴퓨터 시스템을 포함한다. 본원에 포함된 교시들을 컴퓨팅 디바이스를 프로그래밍 또는 구성하는데 사용될 소프트웨어로 구현하기 위해 임의의 적절한 프로그래밍, 스크립팅(scripting) 또는 기타 형태의 언어 또는 여러 언어의 조합이 사용될 수 있다.
본원에 개시된 방법들의 실시예들은 그러한 컴퓨팅 디바이스들의 동작에서 수행될 수 있다. 위의 예들에서 제시된 블록들의 순서는 변할 수 있는데, 예를 들어, 블록들은 재순서화되고, 결합되고, 및/또는 서브-블록으로 나누어질 수 있다. 특정 블록들 또는 프로세스들이 병렬로 수행될 수 있다.
본 명세서에서 "~하도록 구성되는" 또는 "~하도록 설정되는" 용어의 사용은 추가적인 작업들 또는 단계들을 수행하도록 구성되거나 설정되는 디바이스들을 배제하지 않는 개방적이고 포함적인 언어로서 의도된다. 또한, "~에 기초하여"라는 용어의 사용은, 하나 이상의 인용된 조건들 또는 값들에 "기초하는" 프로세스, 단계, 계산 또는 다른 액션이, 실제로, 인용된 것들을 넘어서 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서 개방적이고 포함적인 것으로 의도된다.
이하에 사용된 바와 같이, 일련의 예들에 대한 임의의 참조는 이러한 예들 각각에 대한 참조로서 분리적으로 이해되어야 한다(예를 들어, "예들 1 내지 4"는 "예들 1, 2, 3, 또는 4"로 이해되어야 한다).
예 1은 컴퓨터를 제어하는 방법이다. 방법은 시각적 표시기를 갖는 디스플레이를 제시하는 단계; 사용자의 시선 타겟을 검출하는 단계; 사용자의 접촉-요구형 액션을 검출하는 단계; 및 접촉-요구형 액션 및 시선 타겟에 응답하여 컴퓨터 기능을 수행하는 단계를 포함한다. 컴퓨터 기능을 수행하는 단계는 제1 기능을 수행하는 것을 포함한다. 제1 기능은 디스플레이에 대한 시선 타겟의 위치에 기초하여 접촉-요구형 액션의 검출에 응답하여 디스플레이의 제1 부분을 스크롤링하는 것일 수 있다. 제1 기능은 디스플레이에 대한 시선 타겟의 위치에 기초하여, 접촉-요구형 액션의 계속되는 검출에 응답하여, 디스플레이의 제2 부분을 스크롤링하는 것일 수 있다. 제1 기능은 접촉-요구형 액션에 응답하여 시각적 표시기를 시선 타겟으로 이동시키는 것일 수 있다. 제1 기능은 접촉-요구형 액션의 계속되는 검출에 응답하여 시선 타겟의 이동의 제2 레이트보다 느린 제1 레이트로 시각적 표시기를 이동시키는 것일 수 있다. 제1 기능은 접촉-요구형 액션에 응답하여 시선 타겟에 인접한 디스플레이의 제3 부분을 주밍하는 것일 수 있다. 제1 기능은, 시선 타겟이 디스플레이 외부에 있는 경우에 시선 타겟에 기초하여, 접촉-요구형 액션에 응답하여, 제2 기능을 수행하는 것일 수 있다. 제1 기능은 시선 타겟의 이동들의 시퀀스에 기초하여, 접촉-요구형 액션에 응답하여 제2 컴퓨터 기능을 수행하는 것일 수 있다.
예 2는, 제1 기능이, 디스플레이에 대한 시선 타겟의 위치에 기초하여, 접촉-요구형 액션의 계속되는 검출에 응답하여, 디스플레이의 제2 부분을 스크롤링하는 것인 예 1의 방법이다. 접촉-요구형 액션의 계속되는 검출은 터치패드의 계속되는 터칭의 검출이다.
예 3은, 제1 기능이, 터치패드의 계속되는 터칭이 중단되는 것을 검출할 때까지 스크롤링의 모멘텀을 증가시키는 것을 추가적으로 포함하는 예 1 또는 2의 방법이다.
예 4는, 제1 기능이, 접촉-요구형 액션에 응답하여 시각적 표시기를 시선 타겟으로 이동시키는 것인 예 1의 방법이다. 접촉-요구형 액션은 터치패드를 터칭하는 것 또는 컴퓨터 마우스를 이동시키는 것으로 이루어지는 그룹 중 하나이다.
예 5는, 제1 기능이, 접촉-요구형 액션에 응답하여 시선 타겟에 인접한 디스플레이의 제3 부분을 주밍하는 것인 예 1의 방법이다. 접촉-요구형 액션은 스크롤 휠의 작용(actuation)이다.
예 6은, 제1 기능이 접촉-요구형 액션에 응답하여 시선 타겟에 인접한 디스플레이의 제3 부분을 주밍하는 것인 예 1의 방법이다. 접촉-요구형 액션은 버튼을 누르는 것과 제2 접촉-요구형 액션을 수행하는 것의 조합이다.
예 7은, 접촉-요구형 액션이 터치 감지 디바이스를 터칭하는 것인 예 1의 방법이다.
예 8은, 시각적 표시기를 갖는 디스플레이를 제시하는 디스플레이 디바이스를 포함하는 컴퓨터를 갖는 컴퓨팅 디바이스이다. 컴퓨터는 접촉-요구형 입력 및 비-접촉 입력을 더 포함한다. 컴퓨터는 사용자의 비-접촉 타겟을 검출하고 및 사용자의 접촉-요구형 액션을 검출하도록 프로그램된다. 컴퓨터는 비-접촉 타겟에 기초하여, 접촉-요구형 액션에 응답하여, 컴퓨터 기능을 수행하도록 더 프로그램되고, 컴퓨터 기능을 수행하는 것은 제1 기능을 수행하는 것을 포함한다. 제1 기능은 디스플레이에 대한 비-접촉 타겟의 위치에 기초하여, 접촉-요구형 액션에 응답하여, 디스플레이의 제1 부분을 스크롤링하는 것일 수 있다. 제1 기능은 디스플레이에 대한 비-접촉 타겟의 위치에 기초하여, 접촉-요구형 액션의 계속되는 검출에 응답하여, 디스플레이의 제2 부분을 스크롤링하는 것일 수 있다. 제1 기능은 접촉-요구형 액션에 응답하여 시각적 표시기를 비-접촉 타겟으로 이동시키는 것일 수 있다. 제1 기능은 접촉-요구형 액션의 계속되는 검출에 응답하여 비-접촉 타겟의 이동의 제2 레이트보다 느린 제1 레이트로 시각적 표시기를 이동시키는 것일 수 있다. 제1 기능은 접촉-요구형 액션에 응답하여 비-접촉 타겟에 인접한 디스플레이의 제3 부분을 주밍하는 것일 수 있다. 제1 기능은, 비-접촉 타겟이 디스플레이 외부에 있는 경우 비-접촉 타겟에 기초하여, 접촉-요구형 액션에 응답하여 제2 기능을 수행하는 것일 수 있다. 제1 기능은 비-접촉 타겟의 이동들의 시퀀스에 기초하여, 접촉-요구형 액션에 응답하여, 제2 컴퓨터 기능을 수행하는 것일 수 있다.
예 9는, 제1 기능이, 디스플레이에 대한 비-접촉 타겟의 위치에 기초하여, 접촉-요구형 액션의 계속되는 검출에 응답하여, 디스플레이의 제2 부분을 스크롤링하는 것인 예 8의 컴퓨팅 디바이스이다. 접촉-요구형 액션의 계속되는 검출은 터치패드의 계속되는 터칭의 검출이다.
예 10은, 제1 기능이, 터치패드의 계속되는 터칭이 중단되는 것을 검출할 때까지 스크롤링의 모멘텀을 증가시키는 것을 추가적으로 포함하는 예 9의 컴퓨터 디바이스이다.
예 11은, 제1 기능이, 접촉-요구형 액션에 응답하여 시각적 표시기를 비-접촉 타겟으로 이동시키는 것인 예 8의 컴퓨팅 디바이스이다. 접촉-요구형 액션은 터치패드를 터칭하는 것 또는 컴퓨터 마우스를 이동시키는 것으로 이루어지는 그룹 중 하나이다.
예 12는, 제1 기능이 접촉-요구형 액션에 응답하여 비-접촉 타겟에 인접한 디스플레이의 제3 부분을 주밍하는 것인 예 8의 컴퓨팅 디바이스이다. 접촉-요구형 액션은 스크롤 휠의 작동이다.
예 13은, 제1 기능이 접촉-요구형 액션에 응답하여 비-접촉 타겟에 인접한 디스플레이의 제3 부분을 주밍하는 것인 예 8의 컴퓨팅 디바이스이다. 접촉-요구형 액션은 버튼을 누르는 것과 제2 접촉-요구형 액션을 수행하는 것의 조합이다.
예 14는 접촉-요구형 액션이 터치패드를 터칭하는 것인 예 8의 컴퓨팅 디바이스이다.
예 15는, 비-접촉 입력이 시선 추적 디바이스이고 비-접촉 타겟이 시선 타겟인 예 8의 컴퓨팅 디바이스이다.
예 16은, 컴퓨터를 갖는 시스템이며, 컴퓨터는 시각적 표시기를 갖는 디스플레이를 제시하는 디스플레이 디바이스; 시선 타겟을 검출하는 안구 추적 디바이스; 접촉-요구형 액션을 검출하는 접촉-요구형 입력; 및 안구 추적 디바이스, 접촉-요구형 입력, 및 디스플레이 디바이스에 동작가능하게 접속된 프로세서를 포함한다. 컴퓨터는, 비-접촉 타겟에 기초하여, 접촉-요구형 액션에 응답하여, 프로세서가 컴퓨터 기능을 수행하는 것을 가능하게 하는 프로그래밍을 더 포함하고, 컴퓨터 기능을 수행하는 것은 제1 기능을 수행하는 것을 포함한다. 제1 기능은 디스플레이에 대한 시선 타겟의 위치에 기초하여, 접촉-요구형 액션에 응답하여, 디스플레이의 제1 부분을 스크롤링하는 것일 수 있다. 제1 기능은 디스플레이에 대한 시선 타겟의 위치에 기초하여, 접촉-요구형 액션의 계속되는 검출에 응답하여, 디스플레이의 제2 부분을 스크롤링하는 것일 수 있다. 제1 기능은 접촉-요구형 액션에 응답하여 시각적 표시기를 시선 타겟으로 이동시키는 것일 수 있다. 제1 기능은 접촉-요구형 액션의 계속되는 검출에 응답하여 시선 타겟의 이동의 제2 레이트보다 느린 제1 레이트로 시각적 표시기를 이동시키는 것일 수 있다. 제1 기능은 접촉-요구형 액션에 응답하여 시선 타겟에 인접한 디스플레이의 제3 부분을 주밍하는 것일 수 있다. 제1 기능은, 시선 타겟이 디스플레이의 외부에 있는 경우 시선 타겟에 기초하여, 접촉-요구형 액션에 응답하여 제2 기능을 수행하는 것일 수 있다. 제1 기능은 시선 타겟의 이동들의 시퀀스에 기초하여, 접촉-요구형 액션에 응답하여, 제2 컴퓨터 기능을 수행하는 것일 수 있다.
예 17은, 제1 기능이, 디스플레이에 대한 시선 타겟의 위치에 기초하여, 접촉-요구형 액션의 계속되는 검출에 응답하여, 디스플레이의 제2 부분을 스크롤링하는 것인 예 16의 시스템이다. 접촉-요구형 액션의 계속되는 검출은 터치패드의 계속되는 터칭의 검출이다.
예 18은, 제1 기능이, 터치패드의 계속되는 터칭이 중단되는 것을 검출할 때까지 스크롤링의 모멘텀을 증가시키는 것을 추가적으로 포함하는 예 16의 시스템이다.
예 19는, 제1 기능이, 접촉-요구형 액션에 응답하여 시각적 표시기를 시선 타겟으로 이동시키는 것인 예 16의 시스템이다. 접촉-요구형 액션은 터치패드를 터칭하는 것 또는 컴퓨터 마우스를 이동시키는 것으로 이루어지는 그룹 중 하나이다.
예 20은, 제1 기능이, 접촉-요구형 액션에 응답하여 시선 타겟에 인접한 디스플레이의 제3 부분을 주밍하는 것인 예 16의 시스템이다. 접촉-요구형 액션은 스크롤 휠의 작동일 수 있다. 접촉-요구형 액션은 버튼을 누르는 것 및 제2 접촉-요구형 액션을 수행하는 것의 조합일 수 있다.
예 21은 접촉-요구형 액션이 터치패드를 터칭하는 것인 예 16의 시스템이다.
Claims (57)
- 컴퓨터를 제어하는 방법으로서,
디스플레이를 제시하는 단계;
사용자의 액션을 검출하는 단계;
미리결정된 시간량 동안 지연하는 단계; 및
미리결정된 시간 기간 후에 액션의 계속되는 검출에 응답하여 시선 타겟에서 디스플레이 상에 시각적 표시기를 제시하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 액션은 버튼을 누르는 것인 방법. - 제1항에 있어서,
상기 액션은 터치 감지 디바이스를 터칭하는 것인 방법. - 제1항에 있어서,
상기 미리결정된 시간량은 대략 200㎳인 방법. - 제1항에 있어서,
상기 액션이 더 이상 검출되지 않을 때까지 상기 시선 타겟의 이동에 의해 나타내어진 방향으로 그리고 상기 시선 타겟의 이동보다 느린 레이트로 상기 시각적 표시기를 이동시키는 단계를 추가적으로 포함하는 방법. - 제5항에 있어서,
상기 액션은 버튼을 누르는 것인 방법. - 제5항에 있어서,
상기 액션은 터치 감지 디바이스를 터칭하는 것인 방법. - 제1항에 있어서,
제2 액션의 검출의 결여에 응답하여 상기 시각적 표시기를 상기 시각적 표시기의 원래 위치로 이동시키는 단계를 추가적으로 포함하는 방법. - 제8항에 있어서,
상기 시각적 표시기의 상기 원래 위치에서 컴퓨터 기능을 수행하는 단계를 추가적으로 포함하는 방법. - 컴퓨팅 디바이스로서,
시각적 표시기를 갖는 디스플레이를 제시하는 디스플레이 디바이스 및 비-접촉 입력을 포함하는 컴퓨터를 포함하고,
상기 컴퓨터는,
사용자의 액션을 검출하고,
미리결정된 시간 기간 후에 상기 액션의 계속되는 검출에 응답하여 시각적 표시기를 비-접촉 타겟으로 이동시키도록 프로그램되는 컴퓨팅 디바이스. - 제10항에 있어서,
상기 비-접촉 입력은 안구 추적 디바이스이고 상기 비-접촉 타겟은 시선 타겟인 컴퓨팅 디바이스. - 제10항에 있어서,
상기 컴퓨터는 접촉-요구형 입력을 추가적으로 포함하고, 상기 액션은 상기 접촉-요구형 입력을 통해 검출되는 컴퓨팅 디바이스. - 제12항에 있어서,
상기 액션은 버튼을 누르는 것인 컴퓨팅 디바이스. - 제12항에 있어서,
상기 액션은 터치 감지 디바이스를 터칭하는 것인 컴퓨팅 디바이스. - 제10항에 있어서,
상기 미리결정된 시간량은 대략 200㎳인 컴퓨팅 디바이스. - 제10항에 있어서,
상기 컴퓨터는 상기 액션이 더 이상 검출되지 않을 때까지 상기 비-접촉 타겟의 이동에 의해 나타내어진 방향으로 그리고 상기 비-접촉 타겟의 이동보다 느린 레이트로 상기 시각적 표시기를 이동시키도록 추가적으로 프로그램되는 컴퓨팅 디바이스. - 제16항에 있어서,
상기 비-접촉 입력은 안구 추적 디바이스이고, 상기 비-접촉 타겟은 시선 타겟인 컴퓨팅 디바이스. - 시스템으로서,
컴퓨터를 포함하고,
상기 컴퓨터는,
시각적 표시기를 갖는 디스플레이를 제시하는 디스플레이 디바이스;
안구 지시들(eye indications)을 검출하는 안구 추적 디바이스;
상기 안구 추적 디바이스와 디스플레이 디바이스에 동작가능하게 접속된 프로세서; 및
상기 프로세서가,
사용자의 액션을 검출하고,
미리결정된 시간 기간 후에 상기 액션의 계속되는 검출에 응답하여 시각적 표시기를 비-접촉 타겟으로 이동시키는 것을 가능하게 하는 프로그래밍
을 포함하는 시스템. - 제18항에 있어서,
상기 액션은 버튼을 누르는 것인 시스템. - 제19항에 있어서,
상기 액션은 터치 감지 디바이스를 터칭하는 것인 시스템. - 제19항에 있어서,
상기 미리결정된 시간량은 대략 200㎳인 시스템. - 제18항에 있어서,
상기 컴퓨터는, 상기 액션이 더 이상 검출되지 않을 때까지 상기 비-접촉 타겟의 이동에 의해 나타내어진 방향으로 그리고 상기 비-접촉 타겟의 이동보다 느린 레이트로 상기 시각적 표시기를 이동시키도록 추가적으로 프로그램되는 시스템. - 컴퓨터를 제어하는 방법으로서,
시각적 표시기를 갖는 디스플레이를 제시하는 단계;
사용자의 제1 액션을 검출하는 단계;
미리결정된 시간량 동안 지연하는 단계; 및
제2 액션이 검출되는지를 결정하는 단계
를 포함하고,
상기 시각적 표시기는 상기 제2 액션의 검출에 응답하여 시선 타겟으로 이동되고, 컴퓨터 기능이 상기 제2 액션의 검출의 결여에 응답하여 상기 시선 타겟에서 실행되는 방법. - 제23항에 있어서,
상기 제1 액션은 버튼을 누르는 것인 방법. - 제24항에 있어서,
상기 제2 액션은 상기 버튼을 해제하는 것인 방법. - 제23항에 있어서,
상기 제1 액션은 터치 감지 디바이스를 터칭하는 것인 방법. - 제26항에 있어서,
상기 제2 액션은 터치 감지 디바이스를 터칭하는 것을 중단하는 것인 방법. - 제23항에 있어서,
상기 사용자의 상기 제1 액션을 검출시에 상기 시선 타겟에서 시각적 마커를 디스플레이하는 단계를 더 포함하는 방법. - 제23항에 있어서,
상기 컴퓨터 기능은 클릭인 방법. - 컴퓨터를 제어하는 방법으로서,
사용자에게 디스플레이를 제시하는 단계;
상기 디스플레이에 대한 상기 사용자의 제1 시선 타겟을 결정하는 단계;
제1 액션을 검출하는 단계;
상기 제1 액션을 검출하는 것에 응답하여 상기 시선 타겟에 대략적으로 인접한 상기 디스플레이의 적어도 일부분을 확대하는 단계;
상기 디스플레이의 상기 확대된 일부분에 대한 상기 사용자의 제2 시선 타겟을 결정하는 단계;
제2 액션을 검출하는 단계; 및
상기 제2 시선 타겟과 연관된 컴퓨터 기능을 수행하는 단계
를 포함하는 방법. - 제30항에 있어서,
상기 제2 액션은 제2 시간에서 수행된 제1 액션인 방법. - 제30항에 있어서,
상기 제1 액션은 버튼을 누르는 것인 방법. - 제32항에 있어서,
상기 제2 액션은 상기 버튼을 해제하는 것인 방법. - 제30항에 있어서,
상기 제1 액션은 터치 감지 디바이스를 터칭하는 것인 방법. - 제34항에 있어서,
상기 제2 액션은 상기 터치 감지 디바이스를 터칭하는 것을 중단하는 것인 방법. - 제31항에 있어서,
상기 제1 액션은 단어를 말하는 것인 방법. - 제30항에 있어서,
상기 디스플레이의 적어도 일부분을 확대하는 단계는 상기 시선 타겟이 다수의 요소들에 인접하여 위치되는 동안 상기 제1 액션을 검출하는 것에 응답하는 것인 방법. - 제30항에 있어서,
상기 제1 시선 타겟에 인접하여 위치되는 상기 디스플레이 상의 요소를 강조하는 단계를 추가적으로 포함하는 방법. - 제30항에 있어서,
상기 제2 시선 타겟에 인접하여 위치되는 상기 디스플레이 상의 요소를 강조하는 단계를 추가적으로 포함하는 방법. - 제30항에 있어서,
상기 디스플레이의 적어도 일부분을 확대하는 단계는, 상기 디스플레이의 요소들의 특성들, 상기 사용자의 선호들, 및 상기 사용자의 시선에 관련된 정보로 이루어지는 그룹으로부터 선택되는 적어도 하나에 기초하는 방법. - 제40항에 있어서,
상기 디스플레이의 적어도 일부분을 확대하는 단계는, 상기 디스플레이 상의 요소들의 형상, 크기, 및 레이아웃을 포함하는 요소들의 특성들에 기초하는 방법. - 제40항에 있어서,
상기 디스플레이의 적어도 일부분을 확대하는 단계는, 특정 컴퓨터 기능들의 속도, 정확성 및 회피(avoidance)로 이루어지는 그룹으로부터 선택되는 사용자 선호에 기초하는 방법. - 제40항에 있어서,
상기 디스플레이의 적어도 일부분을 확대하는 단계는, 교정 정보, 시선 오프셋 정보, 신호 잡음, 사용된 안구 추적 디바이스의 타입, 및 사용된 안구 추적 디바이스의 빈도로 이루어지는 그룹으로부터 선택되는 상기 사용자의 상기 시선에 관련된 정보에 기초하는 방법. - 컴퓨팅 디바이스로서,
디스플레이를 제시하는 디스플레이 디바이스 및 비-접촉 액션을 검출하는 비-접촉 입력을 포함하는 컴퓨터
를 포함하고,
상기 컴퓨터는,
상기 비-접촉 입력을 통해 상기 디스플레이 상의 비-접촉 타겟을 검출하고,
제1 액션을 검출하고,
상기 제1 액션의 검출에 응답하여 상기 비-접촉 타겟에 대략적으로 인접하는 상기 디스플레이의 적어도 일부분을 확대하고,
제2 액션을 검출하고,
상기 비-접촉 타겟이 상기 디스플레이의 상기 일부분 내에 있는 동안 상기 제2 액션의 검출에 응답하여 상기 비-접촉 타겟과 연관된 컴퓨터 기능을 수행하도록 프로그램되는 컴퓨팅 디바이스. - 제44항에 있어서,
상기 비-접촉 입력은 안구 추적 디바이스이고, 상기 비-접촉 타겟은 시선 타겟인 컴퓨팅 디바이스. - 제44항에 있어서,
상기 컴퓨터는 접촉-요구형 입력을 추가적으로 포함하는 컴퓨팅 디바이스. - 제44항에 있어서,
상기 제2 액션은 상기 제1 액션의 제2 인스턴스인 컴퓨팅 디바이스. - 제47항에 있어서,
상기 접촉-요구형 입력은 상기 제1 액션을 검출하도록 동작가능한 컴퓨팅 디바이스. - 제48항에 있어서,
상기 제1 액션은 버튼을 누르는 것인 컴퓨팅 디바이스. - 제48항에 있어서,
상기 제1 액션은 터치 감지 디바이스를 터칭하는 것인 컴퓨팅 디바이스. - 제44항에 있어서,
상기 제1 액션은 단어를 말하는 것인 컴퓨팅 디바이스. - 제44항에 있어서,
상기 컴퓨터는, 상기 시선 타겟이 상기 디스플레이의 다수의 작은 요소들에 인접하여 위치되는 동안에만 상기 제1 액션의 검출에 응답하여 상기 디스플레이의 적어도 일부분을 확대하도록 프로그램되는 컴퓨팅 디바이스. - 시스템으로서,
컴퓨터를 포함하고,
상기 컴퓨터는,
디스플레이를 제시하는 디스플레이 디바이스;
안구 지시들을 검출하는 안구 추적 디바이스;
상기 안구 추적 디바이스와 디스플레이 디바이스에 동작가능하게 접속된 프로세서; 및
상기 프로세서가,
상기 안구 지시들로부터 시선 타겟을 결정하고,
제1 액션을 검출하고,
상기 제1 액션의 검출에 응답하여 상기 시선 타겟에 대략적으로 인접하는 상기 디스플레이의 적어도 일부분을 확대하고,
제2 액션을 검출하고,
상기 시선 타겟이 상기 디스플레이의 상기 일부분 내에 있는 동안 상기 제2 액션의 검출에 응답하여 상기 시선 타겟과 연관된 컴퓨터 기능을 수행하는 것을 가능하게 하는 프로그래밍
을 포함하는 시스템. - 제53항에 있어서,
상기 제2 액션은 상기 제1 액션의 제2 인스턴스인 시스템. - 제54항에 있어서,
상기 제1 액션은 버튼 누르기인 시스템. - 제54항에 있어서,
상기 제1 액션은 터치 감지 디바이스에 대한 터치인 시스템. - 제53항에 있어서,
상기 프로그래밍은 상기 프로세서가 상기 시선 타겟이 상기 디스플레이의 다수의 작은 요소들에 인접하여 위치되는 동안에만 상기 제1 액션의 검출에 응답하여 상기 디스플레이의 적어도 상기 일부분을 확대하는 것을 가능하게 하는 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361771659P | 2013-03-01 | 2013-03-01 | |
| US61/771,659 | 2013-03-01 | ||
| US201361905536P | 2013-11-18 | 2013-11-18 | |
| US61/905,536 | 2013-11-18 | ||
| PCT/US2014/020024 WO2014134623A1 (en) | 2013-03-01 | 2014-03-03 | Delay warp gaze interaction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160005013A true KR20160005013A (ko) | 2016-01-13 |
Family
ID=50473763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157027213A KR20160005013A (ko) | 2013-03-01 | 2014-03-03 | 지연 워프 시선 상호작용 |
Country Status (6)
| Country | Link |
|---|---|
| US (11) | US20140247210A1 (ko) |
| EP (1) | EP2962175B1 (ko) |
| KR (1) | KR20160005013A (ko) |
| CN (1) | CN105339866B (ko) |
| ES (1) | ES2731560T3 (ko) |
| WO (1) | WO2014134623A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9864498B2 (en) | 2013-03-13 | 2018-01-09 | Tobii Ab | Automatic scrolling based on gaze detection |
| US10317995B2 (en) | 2013-11-18 | 2019-06-11 | Tobii Ab | Component determination and gaze provoked interaction |
| US10545574B2 (en) | 2013-03-01 | 2020-01-28 | Tobii Ab | Determining gaze target based on facial features |
| US10558262B2 (en) | 2013-11-18 | 2020-02-11 | Tobii Ab | Component determination and gaze provoked interaction |
Families Citing this family (151)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US20140187322A1 (en) * | 2010-06-18 | 2014-07-03 | Alexander Luchinskiy | Method of Interaction with a Computer, Smartphone or Computer Game |
| US9922651B1 (en) * | 2014-08-13 | 2018-03-20 | Rockwell Collins, Inc. | Avionics text entry, cursor control, and display format selection via voice recognition |
| US10037086B2 (en) | 2011-11-04 | 2018-07-31 | Tobii Ab | Portable device |
| US9406103B1 (en) * | 2012-09-26 | 2016-08-02 | Amazon Technologies, Inc. | Inline message alert |
| US20140218281A1 (en) | 2012-12-06 | 2014-08-07 | Eyefluence, Inc. | Systems and methods for eye gaze determination |
| KR102516577B1 (ko) | 2013-02-07 | 2023-04-03 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| US10558272B2 (en) | 2013-06-20 | 2020-02-11 | Uday Parshionikar | Gesture control via eye tracking, head tracking, facial expressions and other user actions |
| US10089786B2 (en) * | 2013-08-19 | 2018-10-02 | Qualcomm Incorporated | Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking |
| US9829975B2 (en) | 2013-08-27 | 2017-11-28 | Auckland Uniservices Limited | Gaze-controlled interface method and system |
| JP2015049544A (ja) * | 2013-08-29 | 2015-03-16 | オリンパス株式会社 | パラメータ変更装置及び方法 |
| KR20150031986A (ko) * | 2013-09-17 | 2015-03-25 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| WO2015048026A1 (en) | 2013-09-24 | 2015-04-02 | Sony Computer Entertainment Inc. | Gaze tracking variations using dynamic lighting position |
| US9781360B2 (en) | 2013-09-24 | 2017-10-03 | Sony Interactive Entertainment Inc. | Gaze tracking variations using selective illumination |
| WO2015048030A1 (en) * | 2013-09-24 | 2015-04-02 | Sony Computer Entertainment Inc. | Gaze tracking variations using visible lights or dots |
| US20150169048A1 (en) * | 2013-12-18 | 2015-06-18 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to present information on device based on eye tracking |
| US10180716B2 (en) | 2013-12-20 | 2019-01-15 | Lenovo (Singapore) Pte Ltd | Providing last known browsing location cue using movement-oriented biometric data |
| US9633252B2 (en) | 2013-12-20 | 2017-04-25 | Lenovo (Singapore) Pte. Ltd. | Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data |
| KR20150083553A (ko) * | 2014-01-10 | 2015-07-20 | 삼성전자주식회사 | 입력 처리 방법 및 장치 |
| KR102254169B1 (ko) * | 2014-01-16 | 2021-05-20 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| JP2015133088A (ja) * | 2014-01-16 | 2015-07-23 | カシオ計算機株式会社 | Ｇｕｉシステム、表示処理装置、入力処理装置及びプログラム |
| US11907421B1 (en) * | 2014-03-01 | 2024-02-20 | sigmund lindsay clements | Mixed reality glasses operating public devices with gaze and secondary user input |
| KR20150108216A (ko) * | 2014-03-17 | 2015-09-25 | 삼성전자주식회사 | 입력 처리 방법 및 그 전자 장치 |
| EP3129962A1 (en) * | 2014-04-07 | 2017-02-15 | Cubic Corporation | Systems and methods for queue management |
| KR102217336B1 (ko) * | 2014-04-22 | 2021-02-19 | 엘지전자 주식회사 | 이동단말기 제어방법 |
| US10802582B1 (en) * | 2014-04-22 | 2020-10-13 | sigmund lindsay clements | Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons |
| US20150301598A1 (en) * | 2014-04-22 | 2015-10-22 | Kabushiki Kaisha Toshiba | Method, electronic device, and computer program product |
| US10564714B2 (en) * | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| CN106537290B (zh) * | 2014-05-09 | 2019-08-27 | 谷歌有限责任公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法 |
| US10416759B2 (en) * | 2014-05-13 | 2019-09-17 | Lenovo (Singapore) Pte. Ltd. | Eye tracking laser pointer |
| WO2015190093A1 (ja) * | 2014-06-10 | 2015-12-17 | 株式会社ソシオネクスト | 半導体集積回路およびそれを備えた表示装置並びに制御方法 |
| US9766702B2 (en) | 2014-06-19 | 2017-09-19 | Apple Inc. | User detection by a computing device |
| USD754184S1 (en) * | 2014-06-23 | 2016-04-19 | Google Inc. | Portion of a display panel with an animated computer icon |
| US20160011657A1 (en) * | 2014-07-14 | 2016-01-14 | Futurewei Technologies, Inc. | System and Method for Display Enhancement |
| US9952883B2 (en) | 2014-08-05 | 2018-04-24 | Tobii Ab | Dynamic determination of hardware |
| US10606920B2 (en) * | 2014-08-28 | 2020-03-31 | Avaya Inc. | Eye control of a text stream |
| US9798383B2 (en) * | 2014-09-19 | 2017-10-24 | Intel Corporation | Facilitating dynamic eye torsion-based eye tracking on computing devices |
| CN104267812B (zh) * | 2014-09-22 | 2017-08-29 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| KR102337682B1 (ko) * | 2014-10-01 | 2021-12-09 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
| CN104331219A (zh) * | 2014-10-29 | 2015-02-04 | 广东睿江科技有限公司 | 一种图标显示方法、装置及系统 |
| US10645218B2 (en) * | 2014-10-31 | 2020-05-05 | Avaya Inc. | Contact center interactive text stream wait treatments |
| WO2016072965A1 (en) * | 2014-11-03 | 2016-05-12 | Bayerische Motoren Werke Aktiengesellschaft | Method and system for calibrating an eye tracking system |
| US9535497B2 (en) | 2014-11-20 | 2017-01-03 | Lenovo (Singapore) Pte. Ltd. | Presentation of data on an at least partially transparent display based on user focus |
| US10248192B2 (en) | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
| KR20160080851A (ko) * | 2014-12-29 | 2016-07-08 | 엘지전자 주식회사 | 디스플레이 장치 및 제어 방법 |
| WO2016112531A1 (en) * | 2015-01-16 | 2016-07-21 | Hewlett-Packard Development Company, L.P. | User gaze detection |
| JP2016151798A (ja) * | 2015-02-16 | 2016-08-22 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US10860094B2 (en) * | 2015-03-10 | 2020-12-08 | Lenovo (Singapore) Pte. Ltd. | Execution of function based on location of display at which a user is looking and manipulation of an input device |
| FR3034215B1 (fr) * | 2015-03-27 | 2018-06-15 | Valeo Comfort And Driving Assistance | Procede de commande, dispositif de commande, systeme et vehicule automobile comprenant un tel dispositif de commande |
| CN106302330B (zh) * | 2015-05-21 | 2021-01-05 | 腾讯科技（深圳）有限公司 | 身份验证方法、装置和系统 |
| JP6553418B2 (ja) * | 2015-06-12 | 2019-07-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 表示制御方法、表示制御装置及び制御プログラム |
| US10043281B2 (en) | 2015-06-14 | 2018-08-07 | Sony Interactive Entertainment Inc. | Apparatus and method for estimating eye gaze location |
| JP2018526693A (ja) * | 2015-08-04 | 2018-09-13 | グーグル エルエルシー | 仮想現実における注視対話のためのホバー挙動 |
| KR102196975B1 (ko) * | 2015-08-15 | 2020-12-30 | 구글 엘엘씨 | 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법 |
| US10248280B2 (en) * | 2015-08-18 | 2019-04-02 | International Business Machines Corporation | Controlling input to a plurality of computer windows |
| WO2017033777A1 (ja) * | 2015-08-27 | 2017-03-02 | 株式会社コロプラ | ヘッドマウントディスプレイシステムを制御するプログラム |
| EP3353630B1 (en) * | 2015-09-24 | 2021-05-26 | Tobii AB | Eye-tracking enabled wearable devices |
| US10565446B2 (en) | 2015-09-24 | 2020-02-18 | Tobii Ab | Eye-tracking enabled wearable devices |
| NZ756561A (en) | 2016-03-04 | 2023-04-28 | Magic Leap Inc | Current drain reduction in ar/vr display systems |
| US10353463B2 (en) * | 2016-03-16 | 2019-07-16 | RaayonNova LLC | Smart contact lens with eye driven control system and method |
| AU2017238847A1 (en) | 2016-03-25 | 2018-10-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10594974B2 (en) | 2016-04-07 | 2020-03-17 | Tobii Ab | Image sensor for vision based on human computer interaction |
| EP3451135A4 (en) * | 2016-04-26 | 2019-04-24 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
| CN109416572A (zh) | 2016-04-29 | 2019-03-01 | 托比股份公司 | 启用眼睛跟踪的可穿戴设备 |
| US10719232B2 (en) * | 2016-06-08 | 2020-07-21 | Qualcomm Incorporated | Providing virtual buttons in a handheld device |
| JP6729054B2 (ja) * | 2016-06-23 | 2020-07-22 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システムおよび画像形成装置 |
| JP6557183B2 (ja) * | 2016-06-28 | 2019-08-07 | ファナック株式会社 | 切削加工工具の寿命判定装置、寿命判定方法及びプログラム |
| US10678327B2 (en) * | 2016-08-01 | 2020-06-09 | Microsoft Technology Licensing, Llc | Split control focus during a sustained user interaction |
| US10627993B2 (en) * | 2016-08-08 | 2020-04-21 | Microsoft Technology Licensing, Llc | Interacting with a clipboard store |
| US10444983B2 (en) * | 2016-09-20 | 2019-10-15 | Rohde & Schwarz Gmbh & Co. Kg | Signal analyzing instrument with touch gesture control and method of operating thereof |
| US10345898B2 (en) * | 2016-09-22 | 2019-07-09 | International Business Machines Corporation | Context selection based on user eye focus |
| CN106407760B (zh) * | 2016-09-22 | 2021-09-24 | 上海传英信息技术有限公司 | 用户终端及应用程序隐藏方法 |
| CN107015637B (zh) * | 2016-10-27 | 2020-05-05 | 阿里巴巴集团控股有限公司 | 虚拟现实场景下的输入方法和装置 |
| DE102016124125A1 (de) * | 2016-12-13 | 2018-06-14 | International Automotive Components Group Gmbh | Kraftfahrzeug-Innenverkleidungsteil |
| CN106681509A (zh) * | 2016-12-29 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 界面操作的方法和系统 |
| KR20180084549A (ko) * | 2017-01-17 | 2018-07-25 | 삼성전자주식회사 | 메시지 생성 방법 및 이를 지원하는 웨어러블 전자 장치 |
| CN106843400A (zh) * | 2017-02-07 | 2017-06-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种终端及基于终端的信息显示方法 |
| US20180239422A1 (en) * | 2017-02-17 | 2018-08-23 | International Business Machines Corporation | Tracking eye movements with a smart device |
| US10244204B2 (en) * | 2017-03-22 | 2019-03-26 | International Business Machines Corporation | Dynamic projection of communication data |
| US10366540B2 (en) * | 2017-03-23 | 2019-07-30 | Htc Corporation | Electronic apparatus and method for virtual reality or augmented reality system |
| US10627900B2 (en) * | 2017-03-23 | 2020-04-21 | Google Llc | Eye-signal augmented control |
| US10248197B2 (en) * | 2017-04-27 | 2019-04-02 | Imam Abdulrahman Bin Faisal University | Systems and methodologies for real time eye tracking for electronic device interaction |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| US10515270B2 (en) * | 2017-07-12 | 2019-12-24 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to enable and disable scrolling using camera input |
| US10496162B2 (en) * | 2017-07-26 | 2019-12-03 | Microsoft Technology Licensing, Llc | Controlling a computer using eyegaze and dwell |
| CN107390874A (zh) * | 2017-07-27 | 2017-11-24 | 深圳市泰衡诺科技有限公司 | 一种基于人眼的智能终端控制方法及控制装置 |
| WO2019040665A1 (en) | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
| US11023040B2 (en) | 2017-09-21 | 2021-06-01 | Tobii Ab | Systems and methods for interacting with a computing device using gaze information |
| EP4235263A3 (en) | 2017-09-29 | 2023-11-29 | Apple Inc. | Gaze-based user interactions |
| US10678116B1 (en) * | 2017-11-09 | 2020-06-09 | Facebook Technologies, Llc | Active multi-color PBP elements |
| KR20200098524A (ko) | 2017-11-13 | 2020-08-20 | 뉴레이블 인크. | 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스 |
| US10732826B2 (en) * | 2017-11-22 | 2020-08-04 | Microsoft Technology Licensing, Llc | Dynamic device interaction adaptation based on user engagement |
| US11029834B2 (en) * | 2017-12-20 | 2021-06-08 | International Business Machines Corporation | Utilizing biometric feedback to allow users to scroll content into a viewable display area |
| CN108171673B (zh) * | 2018-01-12 | 2024-01-23 | 京东方科技集团股份有限公司 | 图像处理方法、装置、车载抬头显示系统及车辆 |
| EP3521977B1 (en) * | 2018-02-06 | 2020-08-12 | Smart Eye AB | A method and a system for visual human-machine interaction |
| US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| WO2019154511A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| EP3750028B1 (en) | 2018-02-09 | 2022-10-19 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
| US20190253700A1 (en) | 2018-02-15 | 2019-08-15 | Tobii Ab | Systems and methods for calibrating image sensors in wearable apparatuses |
| CN112040834A (zh) | 2018-02-22 | 2020-12-04 | 因诺登神经科学公司 | 眼球跟踪方法及系统 |
| US10534982B2 (en) | 2018-03-30 | 2020-01-14 | Tobii Ab | Neural network training for three dimensional (3D) gaze prediction with calibration parameters |
| US10671890B2 (en) | 2018-03-30 | 2020-06-02 | Tobii Ab | Training of a neural network for three dimensional (3D) gaze prediction |
| WO2019190561A1 (en) | 2018-03-30 | 2019-10-03 | Tobii Ab | Deep learning for three dimensional (3d) gaze prediction |
| US10558895B2 (en) | 2018-03-30 | 2020-02-11 | Tobii Ab | Deep learning for three dimensional (3D) gaze prediction |
| CN108520728B (zh) * | 2018-04-20 | 2020-08-04 | 京东方科技集团股份有限公司 | 背光调节方法、装置、计算设备、显示设备和存储介质 |
| WO2019217081A1 (en) * | 2018-05-09 | 2019-11-14 | Apple Inc. | Selecting a text input field using eye gaze |
| US10871874B2 (en) | 2018-05-09 | 2020-12-22 | Mirametrix Inc. | System and methods for device interaction using a pointing device and attention sensing device |
| WO2019221724A1 (en) | 2018-05-16 | 2019-11-21 | Tobii Ab | Method to reliably detect correlations between gaze and stimuli |
| US10528131B2 (en) | 2018-05-16 | 2020-01-07 | Tobii Ab | Method to reliably detect correlations between gaze and stimuli |
| US20210256353A1 (en) | 2018-05-17 | 2021-08-19 | Tobii Ab | Autoencoding generative adversarial network for augmenting training data usable to train predictive models |
| JP2021140195A (ja) * | 2018-05-31 | 2021-09-16 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US11966055B2 (en) | 2018-07-19 | 2024-04-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
| WO2020141344A2 (en) | 2018-07-20 | 2020-07-09 | Tobii Ab | Distributed foveated rendering based on user gaze |
| CN109101110A (zh) * | 2018-08-10 | 2018-12-28 | 北京七鑫易维信息技术有限公司 | 一种操作指令执行方法、装置、用户终端及存储介质 |
| US10719127B1 (en) * | 2018-08-29 | 2020-07-21 | Rockwell Collins, Inc. | Extended life display by utilizing eye tracking |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| US11353952B2 (en) | 2018-11-26 | 2022-06-07 | Tobii Ab | Controlling illuminators for optimal glints |
| CN109683705A (zh) * | 2018-11-30 | 2019-04-26 | 北京七鑫易维信息技术有限公司 | 眼球注视控制交互控件的方法、装置和系统 |
| SE542553C2 (en) * | 2018-12-17 | 2020-06-02 | Tobii Ab | Gaze tracking via tracing of light paths |
| US10969910B2 (en) * | 2018-12-18 | 2021-04-06 | Ford Global Technologies, Llc | Variable size user input device for vehicle |
| CN109799908B (zh) * | 2019-01-02 | 2022-04-01 | 东南大学 | 一种基于眼动信号的图像缩放及拖拽方法 |
| US11537202B2 (en) | 2019-01-16 | 2022-12-27 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
| US11009698B2 (en) * | 2019-03-13 | 2021-05-18 | Nick Cherukuri | Gaze-based user interface for augmented and mixed reality device |
| CN110007766A (zh) * | 2019-04-15 | 2019-07-12 | 中国航天员科研训练中心 | 一种视线光标的显示与控制方法及系统 |
| US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| US11907417B2 (en) | 2019-07-25 | 2024-02-20 | Tectus Corporation | Glance and reveal within a virtual environment |
| EP3771967A3 (en) * | 2019-08-02 | 2021-06-02 | Canon Kabushiki Kaisha | Electronic device, control method, and computer readable medium |
| CN112584280B (zh) * | 2019-09-27 | 2022-11-29 | 百度在线网络技术（北京）有限公司 | 智能设备的控制方法、装置、设备和介质 |
| US10901505B1 (en) * | 2019-10-24 | 2021-01-26 | Tectus Corporation | Eye-based activation and tool selection systems and methods |
| US11662807B2 (en) | 2020-01-06 | 2023-05-30 | Tectus Corporation | Eye-tracking user interface for virtual tool control |
| USD931896S1 (en) * | 2019-11-20 | 2021-09-28 | Beijing Zhangdianzishi Technology Co., Ltd. | Display screen or portion thereof with an animated graphical user interface |
| US10955988B1 (en) | 2020-02-14 | 2021-03-23 | Lenovo (Singapore) Pte. Ltd. | Execution of function based on user looking at one area of display while touching another area of display |
| US11695758B2 (en) * | 2020-02-24 | 2023-07-04 | International Business Machines Corporation | Second factor authentication of electronic devices |
| KR20210109275A (ko) * | 2020-02-27 | 2021-09-06 | 삼성전자주식회사 | 사용자의 관심 객체를 예측하는 방법 및 장치 |
| CN118192800A (zh) | 2020-03-31 | 2024-06-14 | 托比股份公司 | 用于对可视化数据进行预处理的方法、计算机程序产品和处理电路系统 |
| GB2597533B (en) * | 2020-07-28 | 2022-11-23 | Sony Interactive Entertainment Inc | Gaze tracking system and method |
| US11703990B2 (en) * | 2020-08-17 | 2023-07-18 | Microsoft Technology Licensing, Llc | Animated visual cues indicating the availability of associated content |
| CN116209974A (zh) | 2020-09-25 | 2023-06-02 | 苹果公司 | 用于导航用户界面的方法 |
| JP7034228B1 (ja) * | 2020-09-30 | 2022-03-11 | 株式会社ドワンゴ | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
| US11556175B2 (en) | 2021-04-19 | 2023-01-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Hands-free vehicle sensing and applications as well as supervised driving system using brainwave activity |
| US11503998B1 (en) | 2021-05-05 | 2022-11-22 | Innodem Neurosciences | Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases |
| US20220397975A1 (en) * | 2021-06-09 | 2022-12-15 | Bayerische Motoren Werke Aktiengesellschaft | Method, apparatus, and computer program for touch stabilization |
| US20230030433A1 (en) * | 2021-07-27 | 2023-02-02 | App-Pop-Up Inc. | System and method for adding and simultaneously displaying auxiliary content to main content displayed via a graphical user interface (gui) |
| JP2023024153A (ja) * | 2021-08-06 | 2023-02-16 | トヨタ自動車株式会社 | 情報入力システム |
| CN113610897A (zh) * | 2021-08-19 | 2021-11-05 | 北京字节跳动网络技术有限公司 | 一种光标控制装置的测试方法、装置及设备 |
| US20230081605A1 (en) * | 2021-09-16 | 2023-03-16 | Apple Inc. | Digital assistant for moving and copying graphical elements |
| US11592899B1 (en) | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
| US20230259265A1 (en) * | 2022-01-03 | 2023-08-17 | Apple Inc. | Devices, methods, and graphical user interfaces for navigating and inputting or revising content |
| US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
| US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
| CN116225209A (zh) * | 2022-11-03 | 2023-06-06 | 溥畅(杭州)智能科技有限公司 | 一种基于眼动追踪的人机交互方法及系统 |
Family Cites Families (130)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5103498A (en) | 1990-08-02 | 1992-04-07 | Tandy Corporation | Intelligent help system |
| US5390281A (en) | 1992-05-27 | 1995-02-14 | Apple Computer, Inc. | Method and apparatus for deducing user intent and providing computer implemented services |
| US5471542A (en) | 1993-09-27 | 1995-11-28 | Ragland; Richard R. | Point-of-gaze tracker |
| DE69523423T2 (de) | 1994-12-16 | 2002-06-27 | Canon Kk | Anzeigeverfahren von hierarchischen Daten und Informationssystem zur Durchführung |
| US6393584B1 (en) | 1995-04-26 | 2002-05-21 | International Business Machines Corporation | Method and system for efficiently saving the operating state of a data processing system |
| US6011555A (en) | 1996-04-03 | 2000-01-04 | International Business Machine Corp. | Method and apparatus for a drop down control that changes contents dynamically |
| US5835083A (en) | 1996-05-30 | 1998-11-10 | Sun Microsystems, Inc. | Eyetrack-driven illumination and information display |
| US5731805A (en) * | 1996-06-25 | 1998-03-24 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven text enlargement |
| US5850211A (en) | 1996-06-26 | 1998-12-15 | Sun Microsystems, Inc. | Eyetrack-driven scrolling |
| US6021403A (en) | 1996-07-19 | 2000-02-01 | Microsoft Corporation | Intelligent user assistance facility |
| US6351273B1 (en) | 1997-04-30 | 2002-02-26 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
| US6882354B1 (en) | 1997-09-17 | 2005-04-19 | Sun Microsystems, Inc. | Scroll bars with user feedback |
| US6085226A (en) | 1998-01-15 | 2000-07-04 | Microsoft Corporation | Method and apparatus for utility-directed prefetching of web pages into local cache using continual computation and user models |
| US6067565A (en) | 1998-01-15 | 2000-05-23 | Microsoft Corporation | Technique for prefetching a web page of potential future interest in lieu of continuing a current information download |
| TW405135B (en) | 1998-03-19 | 2000-09-11 | Hitachi Ltd | Vacuum insulated switch apparatus |
| US6204828B1 (en) | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
| US7345684B2 (en) | 1998-06-25 | 2008-03-18 | Intel Corporation | Perceptually based display |
| US7634528B2 (en) | 2000-03-16 | 2009-12-15 | Microsoft Corporation | Harnessing information about the timing of a user's client-server interactions to enhance messaging and collaboration services |
| US20070078552A1 (en) | 2006-01-13 | 2007-04-05 | Outland Research, Llc | Gaze-based power conservation for portable media players |
| ES2241598T3 (es) | 2000-05-16 | 2005-11-01 | Swisscom Mobile Ag | Procedimiento biometrico de identificacion y autenticacion. |
| ES2258972T3 (es) | 2000-05-16 | 2006-09-16 | Swisscom Mobile Ag | Procedimiento y terminal para entrar instrucciones. |
| US6603491B2 (en) | 2000-05-26 | 2003-08-05 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
| US6873314B1 (en) | 2000-08-29 | 2005-03-29 | International Business Machines Corporation | Method and system for the recognition of reading skimming and scanning from eye-gaze patterns |
| US7091928B2 (en) | 2001-03-02 | 2006-08-15 | Rajasingham Arjuna Indraeswara | Intelligent eye |
| US7013258B1 (en) | 2001-03-07 | 2006-03-14 | Lenovo (Singapore) Pte. Ltd. | System and method for accelerating Chinese text input |
| US6578962B1 (en) | 2001-04-27 | 2003-06-17 | International Business Machines Corporation | Calibration-free eye gaze tracking |
| US6886137B2 (en) | 2001-05-29 | 2005-04-26 | International Business Machines Corporation | Eye gaze control of dynamic information presentation |
| JP4228617B2 (ja) | 2001-09-07 | 2009-02-25 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
| US20030052903A1 (en) | 2001-09-20 | 2003-03-20 | Weast John C. | Method and apparatus for focus based lighting |
| SE524003C2 (sv) | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
| US7379560B2 (en) | 2003-03-05 | 2008-05-27 | Intel Corporation | Method and apparatus for monitoring human attention in dynamic power management |
| US20050047629A1 (en) * | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking |
| US7365738B2 (en) | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
| US7317449B2 (en) | 2004-03-02 | 2008-01-08 | Microsoft Corporation | Key-based advanced navigation techniques |
| US9076343B2 (en) | 2004-04-06 | 2015-07-07 | International Business Machines Corporation | Self-service system for education |
| US7486302B2 (en) | 2004-04-14 | 2009-02-03 | Noregin Assets N.V., L.L.C. | Fisheye lens graphical user interfaces |
| DK1607840T3 (da) | 2004-06-18 | 2015-02-16 | Tobii Technology Ab | Øjenstyring af et computerapparat |
| US20060066567A1 (en) | 2004-09-29 | 2006-03-30 | Scharenbroch Gregory K | System and method of controlling scrolling text display |
| US7614011B2 (en) | 2004-10-21 | 2009-11-03 | International Business Machines Corporation | Apparatus and method for display power saving |
| ITFI20040223A1 (it) | 2004-10-29 | 2005-01-29 | Sr Labs S R L | Metodo e sistema di visualizzazione,elaborazione ed analisi integrata di immagini mediche |
| JP4356594B2 (ja) | 2004-11-22 | 2009-11-04 | ソニー株式会社 | 表示装置、表示方法、表示プログラム及び表示プログラムを記録した記録媒体 |
| US20060192775A1 (en) | 2005-02-25 | 2006-08-31 | Microsoft Corporation | Using detected visual cues to change computer system operating states |
| TWI405135B (zh) | 2005-05-17 | 2013-08-11 | Ibm | 系統，方法及記錄媒體 |
| US7339834B2 (en) | 2005-06-03 | 2008-03-04 | Sandisk Corporation | Starting program voltage shift with cycling of non-volatile memory |
| US20060256133A1 (en) * | 2005-11-05 | 2006-11-16 | Outland Research | Gaze-responsive video advertisment display |
| JP5036177B2 (ja) | 2005-12-12 | 2012-09-26 | オリンパス株式会社 | 情報表示装置 |
| US9213404B2 (en) | 2006-02-01 | 2015-12-15 | Tobii Technology Ab | Generation of graphical feedback in a computer system |
| US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| FR2898289B1 (fr) | 2006-03-10 | 2009-01-30 | Alcatel Sa | Structure d'interface entre deux pieces mecaniques en mouvement, procede pour sa realisation, et application aux pompes a vide |
| US9407747B2 (en) | 2006-03-14 | 2016-08-02 | Nokia Technologies Oy | Mobile device and method |
| US7591558B2 (en) * | 2006-05-31 | 2009-09-22 | Sony Ericsson Mobile Communications Ab | Display based on eye information |
| GB0618979D0 (en) | 2006-09-27 | 2006-11-08 | Malvern Scient Solutions Ltd | Cursor control method |
| US8756516B2 (en) | 2006-10-31 | 2014-06-17 | Scenera Technologies, Llc | Methods, systems, and computer program products for interacting simultaneously with multiple application programs |
| US20080114614A1 (en) | 2006-11-15 | 2008-05-15 | General Electric Company | Methods and systems for healthcare application interaction using gesture-based interaction enhanced with pressure sensitivity |
| US7783077B2 (en) * | 2006-12-01 | 2010-08-24 | The Boeing Company | Eye gaze tracker system and method |
| EP1970649A1 (fr) | 2007-03-16 | 2008-09-17 | Navitas | Dispositif pour réguler le sous-refroidissement du réfrigérant en aval du condenseur d'une installation frigorifique et installation incluant ce dispositif |
| US20080270474A1 (en) | 2007-04-30 | 2008-10-30 | Searete Llc | Collecting influence information |
| US7890549B2 (en) | 2007-04-30 | 2011-02-15 | Quantum Leap Research, Inc. | Collaboration portal (COPO) a scaleable method, system, and apparatus for providing computer-accessible benefits to communities of users |
| US20080320418A1 (en) | 2007-06-21 | 2008-12-25 | Cadexterity, Inc. | Graphical User Friendly Interface Keypad System For CAD |
| US20100018223A1 (en) * | 2007-08-15 | 2010-01-28 | Sundhar Shaam P | Tabletop Quick Cooling Device |
| DE102007048666A1 (de) | 2007-10-10 | 2009-04-16 | Bayerische Motoren Werke Aktiengesellschaft | Twin-scroll Abgasturbolader |
| DE102007062661A1 (de) | 2007-12-24 | 2009-06-25 | J. Eberspächer GmbH & Co. KG | Abgassammler |
| US8155479B2 (en) | 2008-03-28 | 2012-04-10 | Intuitive Surgical Operations Inc. | Automated panning and digital zooming for robotic surgical systems |
| US8620913B2 (en) | 2008-04-07 | 2013-12-31 | Microsoft Corporation | Information management through a single application |
| US20090273562A1 (en) | 2008-05-02 | 2009-11-05 | International Business Machines Corporation | Enhancing computer screen security using customized control of displayed content area |
| US8226574B2 (en) | 2008-07-18 | 2012-07-24 | Honeywell International Inc. | Impaired subject detection system |
| US20100079508A1 (en) | 2008-09-30 | 2010-04-01 | Andrew Hodge | Electronic devices with gaze detection capabilities |
| US9841811B2 (en) | 2008-11-03 | 2017-12-12 | Bruce Reiner | Visually directed human-computer interaction for medical applications |
| US8788977B2 (en) | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
| US20100182232A1 (en) | 2009-01-22 | 2010-07-22 | Alcatel-Lucent Usa Inc. | Electronic Data Input System |
| JP2010170388A (ja) * | 2009-01-23 | 2010-08-05 | Sony Corp | 入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラム |
| US8537181B2 (en) | 2009-03-09 | 2013-09-17 | Ventana Medical Systems, Inc. | Modes and interfaces for observation, and manipulation of digital images on computer screen in support of pathologist's workflow |
| EP2237237B1 (en) * | 2009-03-30 | 2013-03-20 | Tobii Technology AB | Eye closure detection using structured illumination |
| EP2238889B1 (en) | 2009-04-01 | 2011-10-12 | Tobii Technology AB | Adaptive camera and illuminator eyetracker |
| WO2010118292A1 (en) * | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
| US20100283722A1 (en) | 2009-05-08 | 2010-11-11 | Sony Ericsson Mobile Communications Ab | Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus |
| US20100295774A1 (en) | 2009-05-19 | 2010-11-25 | Mirametrix Research Incorporated | Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content |
| WO2010141403A1 (en) | 2009-06-01 | 2010-12-09 | Dynavox Systems, Llc | Separately portable device for implementing eye gaze control of a speech generation device |
| KR20100136616A (ko) | 2009-06-19 | 2010-12-29 | 삼성전자주식회사 | 휴대용 단말기에서 멀티 터치 입력 오류를 줄이기 위한 장치 및 방법 |
| CN101943982B (zh) | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
| US20110045810A1 (en) | 2009-08-20 | 2011-02-24 | Oto Technologies, Llc | Semantic callback triggers for an electronic document |
| US8762846B2 (en) * | 2009-11-16 | 2014-06-24 | Broadcom Corporation | Method and system for adaptive viewport for a mobile device based on viewing angle |
| US20110119361A1 (en) | 2009-11-17 | 2011-05-19 | Oto Technologies, Llc | System and method for managing redacted electronic documents using callback triggers |
| US9507418B2 (en) * | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
| US9141189B2 (en) | 2010-08-26 | 2015-09-22 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling interface |
| WO2012054231A2 (en) | 2010-10-04 | 2012-04-26 | Gerard Dirk Smits | System and method for 3-d projection and enhancements for interactivity |
| KR101731346B1 (ko) * | 2010-11-12 | 2017-04-28 | 엘지전자 주식회사 | 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치 |
| EP3527121B1 (en) * | 2011-02-09 | 2023-08-23 | Apple Inc. | Gesture detection in a 3d mapping environment |
| JP2014077814A (ja) | 2011-02-14 | 2014-05-01 | Panasonic Corp | 表示制御装置および表示制御方法 |
| US9478143B1 (en) * | 2011-03-25 | 2016-10-25 | Amazon Technologies, Inc. | Providing assistance to read electronic books |
| US8643680B2 (en) | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
| GB2490864A (en) * | 2011-05-09 | 2012-11-21 | Nds Ltd | A device with gaze tracking and zoom |
| US8988350B2 (en) | 2011-08-20 | 2015-03-24 | Buckyball Mobile, Inc | Method and system of user authentication with bioresponse data |
| CA2847975A1 (en) | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
| US8970452B2 (en) | 2011-11-02 | 2015-03-03 | Google Inc. | Imaging method |
| US20130132867A1 (en) * | 2011-11-21 | 2013-05-23 | Bradley Edward Morris | Systems and Methods for Image Navigation Using Zoom Operations |
| US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
| KR101891786B1 (ko) | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
| US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
| JP5945417B2 (ja) | 2012-01-06 | 2016-07-05 | 京セラ株式会社 | 電子機器 |
| KR101850034B1 (ko) | 2012-01-06 | 2018-04-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| JP5832339B2 (ja) | 2012-03-04 | 2015-12-16 | アルパイン株式会社 | 拡大縮小操作縮尺表示方法及び装置 |
| CN104246682B (zh) | 2012-03-26 | 2017-08-25 | 苹果公司 | 增强的虚拟触摸板和触摸屏 |
| US9308439B2 (en) | 2012-04-10 | 2016-04-12 | Bally Gaming, Inc. | Controlling three-dimensional presentation of wagering game content |
| US9253270B2 (en) | 2012-04-11 | 2016-02-02 | Samsung Electronics Co., Ltd. | Method and system to share, synchronize contents in cross platform environments |
| US9423870B2 (en) * | 2012-05-08 | 2016-08-23 | Google Inc. | Input determination method |
| EP2847648A4 (en) | 2012-05-09 | 2016-03-02 | Intel Corp | EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION |
| WO2013168171A1 (en) | 2012-05-10 | 2013-11-14 | Umoove Services Ltd. | Method for gesture-based operation control |
| WO2013168173A1 (en) | 2012-05-11 | 2013-11-14 | Umoove Services Ltd. | Gaze-based automatic scrolling |
| US9111380B2 (en) | 2012-06-05 | 2015-08-18 | Apple Inc. | Rendering maps |
| JP5963584B2 (ja) | 2012-07-12 | 2016-08-03 | キヤノン株式会社 | 電子機器及びその制御方法 |
| US20140026098A1 (en) | 2012-07-19 | 2014-01-23 | M2J Think Box, Inc. | Systems and methods for navigating an interface of an electronic device |
| US9423871B2 (en) * | 2012-08-07 | 2016-08-23 | Honeywell International Inc. | System and method for reducing the effects of inadvertent touch on a touch screen controller |
| US10139937B2 (en) | 2012-10-12 | 2018-11-27 | Microsoft Technology Licensing, Llc | Multi-modal user expressions and user intensity as interactions with an application |
| US8963806B1 (en) | 2012-10-29 | 2015-02-24 | Google Inc. | Device authentication |
| JP2014092940A (ja) | 2012-11-02 | 2014-05-19 | Sony Corp | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
| US20140168054A1 (en) | 2012-12-14 | 2014-06-19 | Echostar Technologies L.L.C. | Automatic page turning of electronically displayed content based on captured eye position data |
| KR102062310B1 (ko) | 2013-01-04 | 2020-02-11 | 삼성전자주식회사 | 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법 |
| US20140195918A1 (en) | 2013-01-07 | 2014-07-10 | Steven Friedlander | Eye tracking user interface |
| US9244529B2 (en) | 2013-01-27 | 2016-01-26 | Dmitri Model | Point-of-gaze estimation robust to head rotations and/or device rotations |
| US20140247208A1 (en) | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Invoking and waking a computing device from stand-by mode based on gaze detection |
| US20140247210A1 (en) | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Zonal gaze driven interaction |
| US9864498B2 (en) | 2013-03-13 | 2018-01-09 | Tobii Ab | Automatic scrolling based on gaze detection |
| US20150009238A1 (en) | 2013-07-03 | 2015-01-08 | Nvidia Corporation | Method for zooming into and out of an image shown on a display |
| WO2015048030A1 (en) * | 2013-09-24 | 2015-04-02 | Sony Computer Entertainment Inc. | Gaze tracking variations using visible lights or dots |
| US9400553B2 (en) * | 2013-10-11 | 2016-07-26 | Microsoft Technology Licensing, Llc | User interface programmatic scaling |
| US20150138244A1 (en) | 2013-11-18 | 2015-05-21 | Tobii Technology Ab | Component determination and gaze provoked interaction |
| US10558262B2 (en) | 2013-11-18 | 2020-02-11 | Tobii Ab | Component determination and gaze provoked interaction |
| US10317995B2 (en) | 2013-11-18 | 2019-06-11 | Tobii Ab | Component determination and gaze provoked interaction |
-
2014
- 2014-03-03 US US14/195,755 patent/US20140247210A1/en not_active Abandoned
- 2014-03-03 EP EP14716455.2A patent/EP2962175B1/en active Active
- 2014-03-03 ES ES14716455T patent/ES2731560T3/es active Active
- 2014-03-03 US US14/195,789 patent/US9619020B2/en active Active
- 2014-03-03 KR KR1020157027213A patent/KR20160005013A/ko not_active Application Discontinuation
- 2014-03-03 WO PCT/US2014/020024 patent/WO2014134623A1/en active Application Filing
- 2014-03-03 CN CN201480024417.XA patent/CN105339866B/zh active Active
- 2014-03-03 US US14/195,743 patent/US20140247232A1/en not_active Abandoned
-
2015
- 2015-12-31 US US14/986,141 patent/US20160116980A1/en not_active Abandoned
-
2017
- 2017-03-01 US US15/446,843 patent/US20170177078A1/en not_active Abandoned
- 2017-03-03 US US15/449,058 patent/US10545574B2/en active Active
-
2019
- 2019-07-02 US US16/459,780 patent/US20190324534A1/en not_active Abandoned
- 2019-09-09 US US16/564,416 patent/US20200004331A1/en not_active Abandoned
- 2019-12-16 US US16/716,073 patent/US11604510B2/en active Active
-
2021
- 2021-01-22 US US17/156,083 patent/US20210141451A1/en not_active Abandoned
-
2023
- 2023-03-02 US US18/177,489 patent/US11853477B2/en active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10545574B2 (en) | 2013-03-01 | 2020-01-28 | Tobii Ab | Determining gaze target based on facial features |
| US9864498B2 (en) | 2013-03-13 | 2018-01-09 | Tobii Ab | Automatic scrolling based on gaze detection |
| US10534526B2 (en) | 2013-03-13 | 2020-01-14 | Tobii Ab | Automatic scrolling based on gaze detection |
| US10317995B2 (en) | 2013-11-18 | 2019-06-11 | Tobii Ab | Component determination and gaze provoked interaction |
| US10558262B2 (en) | 2013-11-18 | 2020-02-11 | Tobii Ab | Component determination and gaze provoked interaction |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140247215A1 (en) | 2014-09-04 |
| US10545574B2 (en) | 2020-01-28 |
| US20140247232A1 (en) | 2014-09-04 |
| EP2962175A1 (en) | 2016-01-06 |
| US20220253134A1 (en) | 2022-08-11 |
| US11604510B2 (en) | 2023-03-14 |
| CN105339866B (zh) | 2018-09-07 |
| US20160116980A1 (en) | 2016-04-28 |
| US20230205316A1 (en) | 2023-06-29 |
| US20170177078A1 (en) | 2017-06-22 |
| ES2731560T3 (es) | 2019-11-15 |
| CN105339866A (zh) | 2016-02-17 |
| US20200004331A1 (en) | 2020-01-02 |
| US11853477B2 (en) | 2023-12-26 |
| US9619020B2 (en) | 2017-04-11 |
| EP2962175B1 (en) | 2019-05-01 |
| US20210141451A1 (en) | 2021-05-13 |
| US20190324534A1 (en) | 2019-10-24 |
| US20140247210A1 (en) | 2014-09-04 |
| WO2014134623A1 (en) | 2014-09-04 |
| US20170177079A1 (en) | 2017-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11853477B2 (en) | Zonal gaze driven interaction | |
| EP3088997A1 (en) | Delay warp gaze interaction | |
| US20180364802A1 (en) | System for gaze interaction | |
| US6961912B2 (en) | Feedback mechanism for use with visual selection methods | |
| US9971401B2 (en) | Gaze-assisted computer interface | |
| CN107368191B (zh) | 用于注视交互的系统 | |
| US20170068416A1 (en) | Systems And Methods for Gesture Input | |
| KR20130101834A (ko) | 안구 동작에 의한 제어 방법 및 이를 위한 디바이스 | |
| TWI564780B (zh) | 觸控螢幕姿態技術 | |
| US20210141511A1 (en) | Systems And Methods for Gesture Input | |
| US9940900B2 (en) | Peripheral electronic device and method for using same | |
| WO2015167531A2 (en) | Cursor grip | |
| TWI522895B (zh) | 介面操作方法與應用該方法之可攜式電子裝置 | |
| KR20160027063A (ko) | 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |