KR20180053402A - 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체 - Google Patents

시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체 Download PDF

Info

Publication number
KR20180053402A
KR20180053402A KR1020187011152A KR20187011152A KR20180053402A KR 20180053402 A KR20180053402 A KR 20180053402A KR 1020187011152 A KR1020187011152 A KR 1020187011152A KR 20187011152 A KR20187011152 A KR 20187011152A KR 20180053402 A KR20180053402 A KR 20180053402A
Authority
KR
South Korea
Prior art keywords
input
line
sight
predetermined position
input element
Prior art date
Application number
KR1020187011152A
Other languages
English (en)
Inventor
켄타로 요시후지
Original Assignee
오리랩 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오리랩 인크. filed Critical 오리랩 인크.
Publication of KR20180053402A publication Critical patent/KR20180053402A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

표면화상 또는 음상으로 표현된 입력요소에 대하여, 이용자의 시선 입력을 지원하기 위해, 이용자의 주시점 또는 안구 회전 운동을 검출하고, 검출된 주시점으로부터 표시화면 또는 음상에 있어서 소정 위치에 대한 방향으로, 또는 검출되는 안구 회전 운동에 대응하여 입력요소를 이동시키되, 주시점이 소정 위치로부터 멀수록 또는 안구 회전 운동의 회전각이 클수록 입력 요소의 이동 속도를 크게 하고, 주시점이 소정 위치로부터 가까울수록 또는 회전각이 작을수록 이동 속도를 제로에 가깝게 하는 것을 특징으로 한다.

Description

시선입력장치, 시선입력방법 및 시선입력 프로그램
본 발명은 시선(視線)입력장치, 시선입력방법 및 시선입력 프로그램에 관한 것이다.
종래, 장애 등의 이유로 키보드와 마우스 터치패널 조작을 할 수 없는 사람들을 위해, 시선을 이용하여 입력하는 시선입력방법이 개발되고 있다.
예를 들면, 특허문헌 1에서는 입력조작자의 안구 주변 영상을 취득하여, 입력조작자의 시선방향을 검출하고, 시선방향에 따라 복수의 입력요소 간 캐러셀(carousel) 지표를 이동시켜, 입력조작자의 눈깜박임이 검출된 것을 트리거로 해서 캐러셀 위치 입력요소를 결정하는 방법이 개시되어 있다.
또한 특허문헌 2에서는 화면스크롤법으로서, 시선방향에 대응하여 화면 중앙에 화면 전체를 이동시키고, 화면 중앙 부근의 선택 영역에 아이콘 등이 도달한 경우 3초 이상의 의식적인 눈깜빡임이 검출된 것을 트리거로 하여 애플리케이션을 실행하는 방법이 개시되어 있다.
일본특허 제5077879호 공보 일본특허공개 제2005-100366호 공보
그렇지만, 종래의 시선입력방법은, 이용자의 의도에 따라 신속하고 적확한 위치결정이 어려웠다는 문제점이 있었다.
예를 들면, 특허문헌 1의 시선입력방법에서는, 시선방향이 좌인지 우인지 읽어내고, 화면 상에 나열된 입력요소에 있어서 하나씩 이동시키는 순차 캐러셀 방식이어서, 캐러셀이 이동해야만 하는 입력요소의 수에 비례하여 시간이 걸린다. 이 특허문헌 1에는 눈깜빡임의 횟수나 동일 방향에 시선을 향하는 것으로, 캐러셀 이동속도가 가속되는 방법도 기재되어 있지만, 가속된 캐러셀을 목표하는 입력요소에 위치시키려고 하면 오작동을 불러일으키기 쉽다고 하는 문제점이 있었다.
마찬가지로, 특허문헌 2의 시선입력방법에도 시선을 3초 이상 동일 방향으로 향하는 것에 의해 화면 스크롤 속도를 빠르게 하는 기술이 개시되어 있지만, 이용자는 일정 시간 동안 비교적 저속인 스크롤에서 시선을 유지해야 하며, 그렇다 하더라도 일단 고속화된 이동속도로 목표 장소에 위치결정 하려 하는 경우 오작동을 초래하기 쉽다는 문제점이 있었다.
본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 이용자의 의도에 맞게 빠르고, 적확하게 위치결정을 할 수 있는 시선입력장치, 시선입력방법 및 시선입력 프로그램을 제공한다.
이러한 목적을 달성하기 위해, 본 발명의 시선입력장치는 표시화면 또는 음상(音像)으로 표현된 입력요소에 대하여 이용자의 시선입력을 지원하는 시선입력장치로서, 상기 이용자의 주시점 또는 안구 회전운동을 검출하는 검출수단과, 상기 검출수단에 의한 검출되는 상기 주시점으로부터, 상기 표시화면 또는 상기 음상의 소정 위치에 대한 방향으로 또는 상기 검출수단에 의해 검출되는 안구 회전운동에 대응하여, 상기 입력요소를 이동시키는 이동 제어수단을 구비하되, 상기 이동 제어수단은, 상기 주시점이 상기 소정 위치로부터 멀어질수록 또는 상기 안구 회전운동의 회전각이 클수록 상기 입력요소의 이동속도를 크게 하고, 상기 주시점이 상기 소정 위치에 가까워질수록 또는 상기 회전각이 작을수록 상기 이동속도를 제로에 가깝게 하는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 소정의 조건을 만족시키는 경우에, 상기 소정 위치 근방의 상기 입력요소에 대응하는 입력을 결정하는 입력 결정 수단을 추가로 구비하는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기의 시선입력장치에 있어서, 상기 입력결정수단은 상기 소정의 조건으로서, 1) 상기 소정 위치를 포함하는 소정 영역 내에 상기 입력요소의 대표점이 들어온 상태, 2) 상기 소정 위치에 상기 입력요소의 영역이 겹친 상태, 및 3) 상기 소정 영역과 상기 입력요소의 영역이 겹친 상태 중 적어도 한가지 상태가 된 경우에 카운트를 개시하고, 해당 상태가 일정 시간 계속된 경우 해당 입력요소에 대응하는 입력을 결정하는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기 시선입력장치에 있어서, 상기 이동 제어수단은, 상기 입력 결정 수단은, 상기 소정의 조건으로서, 손 또는 손가락, 발의 움직임, 또는 눈꺼풀의 개폐동작을 포함하여 몸의 일부에 소정의 동작이 있는 경우, 상기 소정의 조건을 만족한다고 판정하여 상기 입력요소에 대응하는 입력을 결정하는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기 시선입력장치에 있어서, 상기 이동 제어수단은 1) 상기 주시점과 상기 소정 위치와의 거리 또는 상기 회전각에 비례하여 상기 이동속도가 커지는 방식, 2 ) 상기 1)의 방식에 있어서, 상기 거리 또는 상기 회전각이 소정의 임계값을 넘으면 비례상수가 커지는 방식, 및 3) 상기 거리 또는 상기 회전각의 제곱에 비례하여 상기 이동속도가 커지는 방식 중 어느 하나의 방식으로 이동제어를 수행하는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기 시선입력장치에 있어서, 상기 입력요소는 문자에 대응한 요소이며, 상기 표시화면에는 가상 키보드가 표시되는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기 시선입력장치에 있어서, 상기 입력요소는 상기 이동속도의 설정, 표시 사이즈의 설정, 입력 전환 및 상기 일정 시간의 설정 중 적어도 하나에 관한 요소인 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기 시선입력장치에 있어서, 소정의 조건을 만족한 경우에, 상기 표시화면 또는 상기 음상의 확대 또는 축소를 수행하는 입력 결정 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기 시선입력장치에 있어서, 소정의 조건을 만족한 경우에, 소정의 원격 조작을 실행하는 입력 결정 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기 시선 입력 장치에 있어서, 상기 입력결정수단은 상기 상태가 된 경우라도, 상기 주시점의 속도가 소정의 임계값 이상인 경우, 또는 상기 소정 위치로부터의 상기 주시점의 거리가 소정의 임계값 이상인 경우 카운트를 개시하지 않는 것을 특징으로 한다.
또한, 본 발명의 시선입력장치는, 상기 시선입력장치에 있어서, 상기 이동 제어수단은, 상기 검출수단에 의해 검출되는 안구 회전운동에 대응하여 추정되는 주시점으로부터 상기 소정 위치에 대한 방향으로 상기 입력요소를 이동시키는 것을 특징으로 한다.
또한, 본 발명의 시선입력방법은, 표시화면 또는 음상으로 표현된 입력요소에 대하여 이용자의 시선입력을 지원하기 위하여 컴퓨터에서 실행하는 시선입력방법으로서, 상기 이용자의 주시점 또는 안구 회전운동을 검출하는 검출 단계와, 상기 검출 단계에서 검출되는 상기 주시점으로부터, 상기 표시화면 또는 상기 음상의 소정 위치에 대한 방향으로 또는 상기 검출 단계에서 검출되는 안구 회전운동에 대응하여, 상기 입력요소를 이동시키는 이동제어 단계를 포함하되, 상기 이동제어 단계에 있어서, 상기 주시점이 상기 소정 위치로부터 멀수록 또는 상기 안구 회전운동의 회전각이 클수록 상기 입력요소의 이동속도를 크게 하고, 상기 주시점이 상기 소정 위치에 가까워질수록 또는 상기 회전각이 작을수록 상기 이동속도를 제로에 가깝게 하는 것을 특징으로 한다.
또한 본 발명의 시선입력 프로그램은, 표시화면 또는 음상으로 표현된 입력요소에 대하여 이용자의 시선입력을 지원하는 시선입력방법을 컴퓨터에서 실행시키기 위한 시선입력 프로그램으로서, 상기 이용자의 주시점 또는 안구 회전운동을 검출하는 검출 단계와, 상기 검출 단계에서 검출되는 상기 주시점으로부터, 상기 표시화면 또는 상기 음상의 소정 위치에 대한 방향으로 또는 상기 검출 단계에서 검출되는 안구 회전운동에 대응하여, 상기 입력요소를 이동시키는 이동제어 단계를 포함하되, 상기 이동제어 단계에 있어서, 상기 주시점이 상기 소정 위치로부터 멀수록 또는 상기 안구 회전운동의 회전각이 클수록 상기 입력요소의 이동속도를 크게 하고, 상기 주시점이 상기 소정 위치에 가까워질수록 또는 상기 회전각이 작을수록 상기 이동속도를 제로에 가깝게 하는 것을 특징으로 한다.
본 발명에 따르면, 이용자의 의도에 맞게 신속하고 정확하게 위치를 결정할 수 있다는 효과가 있다. 특히 주시점(注視點)이 소정 위치에서 멀더라도 입력요소의 이동속도를 높이고, 주시점이 소정 위치에 가까워지면 이동속도를 제로에 가깝게 하기 때문에 이격되어 있는 경우에는 빠르게 위치결정 포인트에 가까워지고 가까워진 경우에는 속도를 떨어뜨려 정확하게 위치를 결정할 수 있어 오작동을 방지하면서도 고속으로 위치결정을 할 수 있다.
도 1은 본 실시형태에 따른 시선입력장치의 구성의 일례를 보여주는 블록다이어그램이다.
도 2는 표시제어부에 표시되는 가상키보드의 일례를 나타내는 도면이다.
도 3은 표시부의 표시화면, 주시점 및 소정 위치의 위치 관계와 명령어판(command판)의 이동 방향을 모식적으로 나타낸 도면이다.
도 4는 가로축으로 주시점과 소정 위치의 거리를 나타내고 세로축으로 이동속도를 나타낸 그래프이다.
도 5는 본 실시형태의 시선입력 처리의 일례를 나타내는 플로우차트이다.
도 6은 자판에서 원점(原點) 좌표(도면 중 십자 마크)와 검출된 주시점 좌표(도면 중 원 표시)를 나타내는 도면이다.
도 7은 카운트가 시작되고 나서 근방(近傍) 상태가 잠시 계속된 경우의 표시화면의 일례를 나타내는 도면이다.
도 8은 카운트가 일정시간에 도달한 경우의 표시화면의 일례를 나타내는 도면이다.
도 9는 본 실시형태에 있어서 시선입력 처리의 실시예를 보여주는 플로우차트이다.
이하에서, 본 발명의 일 실시형태에 따른 시선입력장치, 시선입력방법 및 시선입력 프로그램 및 기록매체의 실시형태를 도면에 근거하여 자세히 설명한다. 다만 이 실시형태에 의해 본 발명이 한정되는 것은 아니다.
[시선입력장치(100)의 구성]
먼저 본 발명에 따른 본 실시형태의 시선입력장치 구성에 대해서 설명하고, 이후 본 실시형태의 처리 등에 대하여 자세히 설명한다. 여기서 도 1은 본 실시형태에 따른 시선입력장치(100)의 구성의 일례를 제시하는 블록다이어그램이다. 해당 구성 중 본 실시형태에 관련된 부분만을 개념적으로 도시하고 있다.
도 1에서 시선입력장치(100)는 개략적으로 시선입력장치(100)의 전체를 통괄적으로 제어하는 CPU 등의 제어부(102), 통신회선 등에 접속되는 라우터 등의 통신장치(미도시)에 접속되는 통신제어 인터페이스부(104), 시선 검출 등을 위한 검출부(112), 표시부(114)에 접속되는 입출력제어 인터페이스부(108) 및 각종 데이터베이스나 테이블(table) 등을 저장하는 저장부(106)를 구비하여 구성되며, 이들 각부는 임의의 통신경로를 통하여 통신 가능하게 연결되어 있다.
저장부(106)에 저장된 각종 데이터베이스나 테이블 (입력파일(106a)이나 설정파일(106b) 등)은 고정 디스크(disc) 등의 스토리지 수단이며, 각종 프로그램, 테이블, 파일, 데이터베이스 또는 웹페이지 등을 저장한다.
이 가운데 입력파일(106a)은 입력된 문자 등의 자료를 저장하는 입력데이터 저장수단이다. 예컨대 입력파일(106a)은 시선입력에 의해서 입력 결정된 문자 입력요소에 대응하는 문자데이터(텍스트 데이터 등)를 저장해도 좋다.
또, 설정파일(106b)은 각종 설정정보를 저장하는 설정정보 저장수단이다. 예를 들면 설정파일(106b)은 이동속도에 대한 설정정보, 표시 사이즈에 대한 설정정보, 입력 전환 정보(예컨대, 히라가나 입력인가 알파벳 입력인가 등에 대한 설정 상태 등) 및 입력 결정을 위한 카운트 시간(일정 시간 등)의 설정정보를 저장해도 좋다.
도 1에서 입출력제어 인터페이스부(108)는 시선 검출 등을 위한 검출부(112)나 표시부(114)의 제어를 수행한다. 검출부(112)로는 통상의 가시광선 카메라 및 적외선 카메라 등의 촬상장치, 공지의 시선검출장치 또는 주시점 측정장치, 공지의 안구운동 검출장치 및 안구운동 측정장치, 발광집광장치 등을 사용할 수 있다. 이례로 토비테크놀로지(トビ-·テクノロジ-, Tobii Technology)사의 아이트락카(アイ卜ラッカ-)나 주식회사 제이아이엔(ジエイアイエヌ, JIN)사의 MEME를 검출부(112)로 사용해도 좋다. 또한 표시부(114)로서는 모니터(가정용 텔레비전이나 PC용 스크린 모니터 등을 포함) 등을 사용할 수 있다. 여기에서 검출부(112)는 시선검출이나 안구운동검출을 수행하는 데 국한되지 않고 손, 손가락, 발의 움직임, 눈꺼풀의 개폐동작 등 신체 일부의 동작을 검출해도 좋다. 예를 들어, 검출부(112)는 카메라와 적외선 센서 등의 임의의 검출수단에 의해서 인물의 움직임을 인식해도 좋다. 이례로 검출부(112)는 공지의 제스처 인식 기술이나 공지의 모션 센서 등을 이용하여 이용자의 움직임을 검출해도 좋다. 제스처는 물리 공간에서의 이용자의 위치 및 움직임으로부터 얻을 수 있고, 손가락과 팔과 다리의 움직임 또는 정지 자세와 같은 동적 또는 정적인, 임의의 이용자의 움직임을 포함할 수 있다. 본 실시형태의 일례로서, 검출부(112)에 있어서, 카메라 같은 캡쳐(capture) 디바이스가 유저(user) 화상 데이터를 취득하고, 이 유저 화상 데이터로부터 이용자의 제스처 (1개 또는 복수)를 인식해도 좋다. 보다 구체적으로는 검출부(112)는 컴퓨터 환경을 사용하여 이용자의 삼차원 물리 공간에서 이용자가 행한 제스처를 인식 및 분석하고 해석한 이용자의 동작 데이터 및 속성 데이터 등 또는 해석 전의 로 데이터(raw data)를 시선입력장치(100)에 전송해도 좋다. 이례로 검출부(112)는 특정 방향을 가리키는 동작, 특정 방향으로 손을 내미는 동작, 특정 방향으로 다리를 내미는 동작, 눈꺼풀을 개폐하는 동작을 인식해도 좋다.
공지의 모션인식수단의 일례로서 마이크로소프트사 제품 Xbox One용 모션 센서의 Kinect센서를 사용해도 좋다. Kinect기술에 따르면, 전신 골격의 스켈레톤(skeleton) 동작 데이터 및 속성 데이터를 얻을 수 있다. 공지의 모션 센서는 센서에 내장된 제어수단을 이용하여 인물의 움직임이나 속성이 해석되거나, 혹은 접속된 컴퓨터의 제어수단에 의해 인물의 움직임이나 속성이 해석되지만, 본 실시형태는 어떤 것이라도 무방하고, 예컨대 이러한 해석 기능을 검출부(112)의 제어수단(프로세서 등)으로 실현해도 좋다. 공간음향생성장치(100)의 제어수단(후술하는 음원산출부(102b) 등)으로 실현해도 좋다. 혹은 양자의 제어수단을 이용하여 해석 기능을 구현해도 좋다. 이 밖에 검출부(112)는 터치 패드 및 터치 패널, 마이크 등의 검출수단을 추가로 갖출 수 있다. 또한 검출부(112)는 직접 사람의 신체를 검출하는 것에 국한되지 않고 Facebook사의 Oculus Rift의 Oculus Touch 콘트롤러처럼 이용자가 장착한 컨트롤러나 표식 (예를 들면 이차원 코드 태그) 등의 움직임을 검출함으로써 간접적으로 신체의 움직임을 검출해도 좋다. 또한 표시부(114)에 스피커가 부속되어 있어도 좋다. 여기에서 본 발명은 표시부(114)에 표시 출력 대신 복수의 스피커 등을 이용한 멀티채널 출력에 의해서 음상(音像) 출력을 해도 좋다. 또한 시선입력장치(100)는 입력 결정의 트리거(trigger) 시간이나, 줌배율이나 소정 위치가 되는 원점좌표, 명령(command) 영역 등을 초기 설정하기 위해서, 키보드와 마우스 등의 입력 수단을 갖추고 있어도 좋고, 입출력제어 인터페이스부(108)가 입력 수단의 제어를 해도 좋다.
또한 도 1에서 제어부(102)는 OS(Operating System) 등의 제어 프로그램, 각종 처리 절차 등을 규정한 프로그램 및 필요 데이터를 저장하기 위한 내부 메모리를 가지고, 이들 프로그램 등을 이용하여 각종 처리를 실행하기 위한 정보처리를 행한다. 제어부(102)는 기능개념적으로는 표시제어부(102a), 주시점 검출부(102c)및 입력결정부(102d)를 갖추도록 구성되어 있다.
이 중 표시제어부(102a)는 표시부(114)의 표시 제어를 행하는 표시제어수단이다. 예를 들어 표시제어부(102a)는 표시부(114)의 표시화면에 입력요소를 표시하기 위한 제어를 실시한다. 이례로 표시제어부(102a)는 각 문자에 대응하는 키(key)를 입력요소로서 표시하고 가상키보드가 표시부(114)에 표시되도록 제어해도 좋다. 여기서 도 2는 표시제어부(102a)에 표시되는 가상키보드의 일례를 나타내는 도면이다.
도 2에 도시된 바와 같이, 일례로서 표시제어부(102a)는 가상키보드로 열과 행으로 구성되는 커스터마이즈 가능한 문자판을 표시해도 좋다. 또한 빗금은 글자 '9'의 명령어 영역을 나타내고 있으며, 후술하는 입력결정부(102d)의 제어에 의해 문자 선택이 가능한 범위를 나타내고 있다. 또한 도 2와 같이 각 문자 키의 중심에 적색 등의 점을 표시함으로써 이용자의 시점을 유도하기 쉽게 해도 좋다.
여기에서 입력요소는 문자 이외에도 다양한 선택 가능한 요소일 수 있다. 예를 들면, 후술 하는 이동제어부(102b)에 의한 이동속도, 표시사이즈(줌배율), 입력 전환(알파벳 입력/카나 입력 전환 등) 또는 입력결정부(102d)에 의한 입력 결정 시간 등을 설정하기 위한 입력요소를 도 2의 문자판 상의 키에 할당해도 좋다. 이 밖에 표시제어부(102a)는 입력요소로서 단축키(shortcut key), 애플리케이션 기동용 아이콘, 웹 사이트 링크, 화상 표시용 썸네일(thumbnail) 등을 표시하도록 제어해도 좋다. 이러한 입력요소나 입력요소를 결정했을 때의 데이터(화상 데이터나 링크되는 곳의 데이터 등)는 미리 저장부(106)의 입력파일(106a)에 저장되어 있어도 좋고 네트워크(300)를 통해서 외부 시스템(200)으로부터 다운로드해도 좋다. 또한 본 실시형태에서는 표시제어부(102a)가 시각적 표시 출력을 수행하는 것으로 설명하지만, 본 발명은 이에 국한되지는 않는다. 예를 들면, 표시 출력을 하는 대신, 제어부(102)는 스피커 등으로부터의 음향 출력을 제어해도 좋다. 예를 들면, 제어부(102)는 스피커를 제어해서 입력요소의 소리(예컨대 'A'라는 음성)를 음향방향성을 가지고 출력시켜도 좋다.
여기서 도 1과 같이 표시제어부(102a)는 이동제어부(102b)를 구비한다. 이동제어부(102b)는 주시점 검출부(102c)에 의해 검출되는 주시점이나 안구 회전운동에 기초하여 입력요소 등을 이동시키는 이동 제어수단이다. 예를 들면, 이동제어부(102b)는 주시점 검출부(102c)에 의해 검출되는 주시점으로부터 표시화면 상의 소정 위치에 대한 방향으로 입력요소 등을 이동시켜도 좋다. 또 다른 예로 이동제어부(102b)는 주시점 검출부(102c)에 의해 검출될 안구 회전운동에 대응하여 추정되는 주시점에서 소정 위치에 대한 방향으로 입력요소를 이동시켜도 좋다. 또한 이동시킬 대상은, 표시 요소에 국한되지 않고 소리가 어느 방향에서 오느냐는 인식에 달려 음상(音像)을 이동시켜도 좋다. 여기서 이동제어부(102b)는 주시점이 소정 위치에서 멀수록 입력요소 등의 이동속도를 키우고, 주시점이 소정 위치에 가까워질수록 이동속도를 제로에 가까워지자 이동 제어를 수행해도 좋다. 마찬가지로 이동제어부(102b)는 안구 회전운동의 회전각이 클수록 입력요소의 이동속도를 키우고, 회전 각도가 작을수록 이동속도를 제로에 가깝게 해도 좋다. 또 이동제어부(102b)는 입력요소 이외에도 입력요소의 배경 화면이나 입력요소를 포함한 소화면(小畵面), 혹은 표시화면 전체를 입력요소와 병행하여 이동시켜도 좋다.
여기서 도 3은 표시부(114)의 표시화면, 주시점 및 소정 위치의 위치관계와 명령어판의 이동 방향을 모식적으로 나타낸 도면이다. 도면 중 십자 마크는 소정 위치를 나타내고 이 예에서는 표시화면의 중앙에 배치되고 있다. 또 도면 중의 원은 주시점 검출부(102c)에 의해 검출된 주시점의 위치를 나타내고 있다. 소정 위치와 주시점을 나타내는 마크/표시는 표시제어부(102a)에 표시되어도 좋고 표시되지 않아도 된다.
도 3의 화살표로 표현한 바와 같이, 이동제어부(102b)는 주시점 검출부(102c)에 의해 검출되는 주시점으로부터 표시화면 상의 소정 위치에 대한 방향으로 입력요소 등을 이동시키는 이동 제어를 수행한다. 여기서 도면의 화살표 벡터의 방향은 주시점으로부터 소정 위치에 대한 방향을 나타내고 있다. 또한 이 화살표는 이동 방향을 설명하기 위해서 편의상 나타낸 것이므로 통상 표시화면에는 표시되지 않는다. 또한 도면의 바둑판 무늬에서 복수의 명령어 영역을 포함한 명령어판을 나타내고 있다. 즉 이 명령어판은 전술한 도 2의 가상키보드의 일부에 대응한다. 이 도면에서는 16문자 분의 키에 해당하는 자판이 제시되고 있다. 그리고 이동제어부(102b)의 제어에 의해 이 명령어판의 이동 제어를 하는 것은 전술한 가상키보드 전체의 이동제어를 수행하는 것에 상응한다. 이 도면에서는 이동제어부(102b)의 제어로써 화살표 방향으로 이동함으로써 표시되지 못한 명령어 영역이 출현하게 된다.
도 3의 화살표의 길이는 주시점 검출부(102c)에 의해 검출된 주시점에서 소정 위치까지의 거리를 나타내고 있으며, 전술한 대로, 이동제어부(102b)는 이 거리가 클수록 입력요소 등의 이동속도를 키우고 이 거리가 작아질수록 이동속도를 제로에 근접시켜 이동 제어를 수행한다. 여기서 도 4는 가로축으로 주시점과 소정 위치 간의 거리를 나타내고, 세로축으로 이동속도를 나타낸 그래프이다.
일례로서 도 4의 그래프 선 A(비례 직선)와 같이 이동제어부(102b)는 주시점과 소정 위치 간(표시화면의 중심점과 원점 등)의 거리에 비례하고, 이동속도가 커지도록 이동 제어를 수행해도 좋다. 또 다른 예로서, 그래프 선 B(다단 비례 직선)와 같이 이동제어부(102b)는 거리에 임계값(도면 중의 점선)을 만들어 거리가 소정의 임계값이 넘으면 비례 상수가 커지도록 이동 제어를 해도 좋다. 또 그래프 선 C(이차함수)에 나타낸 바와 같이 이동제어부(102b)는 거리의 제곱에 비례하여 이동속도가 커지도록 이동 제어를 수행해도 좋다.
이상, 그래프 선 A~C를 이례로 나타낸 것처럼, 이동제어부(102b)는 거리가 짧아질수록 그 거리에 대응하여 자판 등의 명령어판을 슬라이드시키는 이동속도를 스피드다운시킨다. 이렇게 함으로써, 소정 위치에서 떨어져 있는 경우에는 신속하게 위치결정 포인트(소정 위치)에 근접시킬 수 있고 소정 위치에 근접한 경우에는 이동속도를 떨어뜨려 정확하게 위치를 결정할 수 있으므로, 고속 및 오작동이 적은 위치결정을 실현할 수 있다. 거리와 이동속도의 함수는 주시점이 소정 위치에 가까워지면 이동속도가 제로에 가까워지는 함수라면 위 A~C의 일차함수나 이차함수에 국한되지는 않는다. 예를 들어, 지수함수나 사차함수, 삼각함수 등이라도 무방하다. 또 위에서는 거리와 이동속도의 관계에 대해서 설명했지만, 안구의 회전 각도와 이동속도에 대해서도 "거리"를 "회전각"으로 바꾸면 동일하게 적용할 수 있다. 또 회전각은 소정 위치의 방향을 0도로 해서, 시선방향과의 각도이어도 좋다.
다시 도 1로 돌아가면, 주시점 검출부(102c)는 검출부(112)를 통해서 이용자의 주시점 또는 안구 회전운동을 검출하는 주시점 검출수단이다. 여기에서 주시점 검출부(102c)는 검출부(112)의 기능에 의해 직접 주시점 또는 안구의 회전각을 검출하는 것에 국한되지 않고 카메라 등 촬상수단인 검출부(112)를 제어하고, 공지의 수단으로 이용자의 안구 부근의 화상으로부터 주시점이나 회전 각도를 산출해도 좋다. 또한 제어부(102c)의 일부 기능과 검출부(112)를 일체로 해서 주시점 검출수단을 구성해도 좋으며, 제어부(102c) 또는 검출부(112)가 단독으로 주시점 검출수단으로 구성되어도 좋다. 주시점의 검출에는 공지의 주시점 검출수단과 공지의 주시점 산출 방법을 사용해도 무방하다. 또 주시점 검출부(102c)는 검출부(112)를 제어해서 시선을 검출하고 검출된 시선과 표시부(114)의 표시화면 평면과의 교점을 주시점으로 산출해도 좋다.
또한 주시점 검출부(102c)는 검출부(112)를 제어하여 안구 운동과 안구 위치 또는 안구 상태를 검출하고 검출된 안구 운동과 안구 위치, 안구 상태로부터 시선이나 주시점이나 회전각을 도출해도 좋다. 또 여기서, 주시점 검출부(102c)는 검출부(112)를 제어하여 인물의 안구를 촬영하고 촬영된 안구에 대한 눈동자의 위치에서 시선이나 회전각을 도출해도 좋다. 예를 들면, 화상 상의 움직이지 않는 부분을 기준점으로 하고 움직이는 부분을 동점(動点)으로 하며, 주시점 검출부(102c)는 기준점에 대한 동점의 위치를 바탕으로 시선을 검출해도 좋다. 여기에서 공지의 시선 검출 방법으로서는, 기준점을 눈시울, 동점을 홍채로 한 위치 관계로부터 시선을 판별하는 방법과, 기준점을 각막 반사, 동점을 동공으로 하여 적외선 조사에 의한 각막 반사에 의해 얻을 수 있는 위치 관계로부터 시선을 판별하는 방법 등이 있다.
또한 도 1과 같이 입력결정부(102d)는 소정의 조건으로 입력을 결정하는 입력결정수단이다. 예컨대 입력결정부(102d)는, 소정 위치 근방에 일정 시간 입력요소가 있는 경우 해당 입력요소에 대응하는 입력을 결정해도 좋다. 여기서 입력요소가 소정 위치의 근방에 있는 예로서, 1) 소정 위치를 포함한 소정 영역 내에 입력요소의 대표점이 들어간 상태, 2) 소정 위치에 입력요소의 영역이 겹친 상태, 3) 소정 영역과 입력요소의 영역이 겹친 상태 중 어느 하나라도 좋다. 즉, 입력결정부(102d)는 위에서 언급한 어느 하나의 근방 상태가 된 경우에 카운트를 시작하고 이 근방 상태가 계속되는 한 카운트를 계속하여, 소정의 일정 시간에 도달하면 해당 입력요소에 관한 입력을 결정해도 좋다. 이처럼 입력결정부(102d)는 1) 소정 위치를 포함한 소정 영역 내에 입력요소의 대표점이 일정 시간 들어 있을 경우 2) 소정 위치에 입력요소의 영역이 일정 시간 겹쳤을 경우 및 3) 소정의 영역으로 입력요소의 영역이 일정 시간 겹쳤을 경우 중 하나의 경우를 입력 결정의 트리거(trigger)로 한다. 여기에서 입력결정부(102d)는 소정의 상태가 된 경우라도 주시점의 속도가 소정의 임계값 이상의 경우나, 소정 위치로부터의 주시점의 거리가 소정의 임계값 이상일 경우 카운트를 개시하지 않도록 해도 좋다. 이렇게 함으로써 의도하지 않은 입력 개시 동작을 피할 수 있다.
여기에서 입력의 결정은 문자 등의 입력을 결정하는 것에 국한되지 않고 지도 등의 확대 축소와 스크롤 등의 입력을 결정하는 것도 포함한다. 예컨대 입력결정부(102d)는 소정의 조건을 충족한 경우에 표시화면 또는 음상의 확대 또는 축소를 행하는 입력의 결정을 해도 좋은 것이다. 게다가 이상에 국한되지 않고 입력결정부(102d)는 원격 조작의 입력 결정을 해도 좋다. 예컨대 입력결정부(102d)는 소정의 조건을 충족한 경우에 네트워크(300)를 통해서 로봇(robot) 등의 외부 장치(200)의 원격 조작을 결정해도 좋다.
또 도 1에 있어서, 통신제어 인터페이스부(104)는 시선입력장치(100)와 네트워크(300)(또는 라우터 등의 통신 장치) 사이에서의 통신 제어를 실시한다. 즉, 통신제어 인터페이스부(104)는 다른 단말(외부 장치(200) 등)과 통신회선(유무선 불문)을 통하여 데이터를 통신하는 기능을 갖는다.
즉 시선입력장치(100)는 웹 페이지나 화상 데이터 등의 입력요소나 입력 데이터에 관한 외부 데이터베이스나, 시선입력 처리 프로그램 등 외부 프로그램 등을 제공하는 외부 시스템(200)과 네트워크(300)를 통해서 통신 가능하도록 접속하여 구성되어 있어도 좋다. 이 시선입력장치(100)는 라우터 등의 통신장치 및 전용선 등의 유선 또는 무선 통신회선을 매개로 네트워크(300)에 통신 가능하게 접속되어 있어도 좋다.
여기서 도 1에 있어서, 네트워크(300)는 시선입력장치(100)와 외부 시스템(200)을 서로 접속하는 기능을 가진, 예를 들어 인터넷 등이다.
또한 도 1에서 외부 시스템(200)은 네트워크(300)를 통해서 시선입력장치(100)와 상호 접속되고 이용자에게 화상 데이터에 관한 외부 데이터베이스와 시선입력 프로그램 등의 외부 프로그램 등을 실행하는 웹 사이트를 제공하는 기능을 갖는다.
여기서 외부 시스템(200)은 웹서버 및 ASP서버 등으로 구성하여도 좋고, 그 하드웨어 구성은 일반적으로 시판되는 워크스테이션, PC 등의 정보처리장치 및 그 부속 장치로 구성하여도 좋다. 또한 외부 시스템(200)의 각 기능은 외부 시스템(200)의 하드웨어 구성 중 CPU, 디스크장치, 메모리장치, 입력장치, 출력장치, 통신제어장치 및 이들을 제어하는 프로그램 등에 의해 실현된다.
[시선입력 처리]
다음에, 이렇게 구성된 본 실시형태에 따른 시선입력장치(100)에 더 실행하는 시선입력 처리의 일례에 대해서 이하 도 5를 참조하여 자세히 설명한다. 도 5는 본 실시형태에 따른 시선입력 처리의 일례를 나타내는 플로우차트이다. 또한 사전에 표시제어부(102a)의 처리에 의해 표시부(114)의 표시화면에 입력요소 등이 표시되고 있는 것을 전제로 한다.
도 5와 같이, 주시점 검출부(102c)는 검출부(112)를 통해서 이용자의 주시점을 검출하고(스텝 SA-1), 보다 구체적으로는 주시점 검출부(102c)는 입출력제어 인터페이스부(108)를 통해서 검출부(112)를 제어함으로써 표시부(114)의 표시화면을 보고 있는 이용자의 시선과 주시점을 검출한다. 예를 들어 주시점 검출부(102c)는 카메라 등의 검출부(112)를 통해서 취득한 안구 주변 영상에 근거하여 안구 상의 기준점과 동점을 도출하여 시선을 산출하고, 시선과 표시화면의 위치 관계로부터 주시점을 검출해도 좋다. 이 외에도 주시점 검출부(102c)는 공지의 주시점 검출수단과 시선 검출수단을 이용하여 주시점을 검출해도 좋다.
이어서 이동제어부(102b)는 주시점 검출부(102c)에 의해 검출된 주시점과 표시화면 상의 소정 위치(화면 중심 등의 원점 좌표 등)와의 위치 관계를 바탕으로 복수의 입력요소를 포함하는 문자판 (명령어판의 일례)의 이동 방향과 이동 속도를 결정한다(SA-2). 여기서 도 6은 문자판에서 원점 좌표(도면 중의 십자 마크)와 검출된 주시점 좌표(도면 중의 큰 원)를 나타내는 도면이다.
도 6에 도시한 바와 같이, 소정 위치인 원점 좌표는 표시부(114)의 화면의 중심 등 이용자의 시선이 배치하기 쉬운 장소나 주시점을 두기 쉬운 장소 등에 설정하는 것이 바람직하다. 또한 도면의 상부에 입력 결정한 문자를 표시하기 위한 영역을 설치해도 좋다. 도 6에서는 이동제어부(102b)는 주시점에서 원점 좌표로 향하는 방향(도면에서 대략 왼쪽 방향)을 이동 방향으로 결정한다. 또 이동제어부(102b)는 주시점과 원점 좌표와의 거리에 대응한 이동속도를 결정한다. 예를 들면, 이동제어부(102b)는 도 4를 이용하여 전술한 바와 같이 소정의 함수(일시함수나 이차함수)에 거리를 대입함으로써 이동속도를 산출해도 좋다.
다시 도 5로 돌아가면, 이동제어부(102b)는 주시점을 바탕으로 결정한 이동방향과 이동속도로 복수의 입력요소를 포함한 명령어판(예를 들어 자판)을 이동시킨다 (스텝 SA-3).
그리고 입력결정부(102d)는 입력요소가 원점 좌표의 근방에 있는지 여부를 판정한다 (스텝SA-4). 예컨대 입력결정부(102d)는 다음의 어느 하나인 경우에 근방 상태에 있다고 판정해도 좋다.
1) 원점 좌표를 포함한 사각형 영역 내에 입력요소의 대표점이 들어간 상태
2) 원점 좌표에 입력요소의 명령어 영역이 겹친 상태
3) 원점 좌표를 포함한 사각형 영역과 입력요소의 명령어 영역이 겹친 상태
입력요소가 원점 좌표의 근방에 없는 경우 (스텝 SA-4, NO), 입력결정부(102d)는 카운트를 리셋시키며 (스텝 SA-6), 스텝 SA-1로 처리를 되돌린다. 즉, 시선입력장치(100)는 전술한 스텝 SA-1 내지 SA-6의 처리를 반복한다.
한편, 입력요소가 원점 좌표의 근방에 있는 경우 (스텝 SA-4, YES), 입력결정부(102d)는 입력결정 트리거의 카운터를 개시시킨다 (스텝 SA-5). 또한 이미 카운터가 개시되어 있는 경우는 입력결정부(102d)는 카운터를 계속시킨다. 전술한 도 6에 있어서는, 문자 'Y'의 명령어 영역 내에 원점 좌표가 들어 있으므로, 카운트가 액티브로 (도면 중 회색)되어 있다. 여기서 도 7은 문자 'R'의 명령 영역 내에 원점 좌표가 들어 있어 카운트가 시작되고 나서 근방 상태가 잠시 계속된 경우의 표시화면의 예를 나타내는 도면이다.
이 예에서는 전술한 상태 2)의 원점 좌표에 입력요소의 명령어 영역이 겹친 상태이고, 또한 주시점도 같은 명령어 영역 내에 있는 경우에 카운트를 계속하고 있다. 도 7과 같이 카운트가 개시되면 표시제어부(102a)는 원주를 따라서 원호가 신장하는 타이머를 표시하고, 이용자에게 입력요소의 선택 상태임을 시각적으로 피드백한다. 또한 이 예에서는 원호가 한 바퀴 돌아 연결되는 시간과 입력 결정 트리거의 일정 시간을 일치시키고 있다. 그래서 이용자는 타이머 표시에 의해 입력결정 (명령 실행 등)까지의 잔여 시간을 파악할 수 있다.
다시 도 5에서, 입력결정부(102d)는 카운트가 입력결정 트리거의 일정 시간에 도달했는지 여부를 판정한다(스텝 SA-7). 일정 시간에 도달하지 않았을 경우(스텝 SA-7, NO) 스텝 SA-1에 처리를 되돌리고, 시선입력장치(100)는 전술한 스텝 SA-1 내지 SA-7의 처리를 반복한다.
한편 카운트가 입력결정 트리거의 일정 시간에 도달한 경우(스텝 SA-7, YES) 입력결정부(102d)는 해당 입력요소에 관련된 입력을 결정하여 입력 데이터를 입력파일(106a)에 저장한다 (스텝 SA-8). 여기서 도 8은 카운트가 일정 시간에 도달한 경우의 표시화면 예를 나타내는 도면이다. 도 8과 같이 문자 'F'의 입력요소의 명령어 영역 내에 원점 좌표와 주시점이 일정 시간 머물고 있었으므로, 'F'의 입력 명령이 실행되며, 상부의 입력문자 표시 영역에 'F'의 문자가 입력되고 있다. 표시제어부(102a)는 입력요소가 선택 상태에서 입력 결정 상태로 바뀐 것을 나타내기 위해서 해당 입력요소의 명령어 영역을 선택 상태를 나타내는 색상 (예를 들면 적색)에서 입력 결정 상태의 색 (예를 들면 청색)으로 변경해도 좋다. 표시제어부(102a)는 색상에 한정되지 않고, 선택 상태와 입력 결정 상태를 빗금 등의 강조 표시나 음향 등의 차이에 의해 이용자가 알기 쉽도록 피드백해주어도 좋다.
이상이 본 실시형태에 따른 시선입력 처리의 일례이다. 또한 하나의 입력요소의 입력 결정이 행해진 뒤에 시선입력장치(100)는 스텝 SA-1로 처리를 되돌리고 전술한 처리를 반복함으로써 연속해서 입력요소를 시선 입력할 수 있도록 제어해도 좋다.
[시선입력 처리의 실시예]
이어서 더욱 구체적인 예로서 시선입력장치(100)로 실행되는 시선입력 처리의 실시예에 대해서 도 9를 참조하여 자세히 설명한다. 도 9는 본 실시형태의 시선입력 처리의 실시예를 보여주는 플로우차트이다.
도 9와 같이, 우선 제어부(102)는 입력 결정을 위한 마우스 오버(mouse over) 시간, 표시의 줌배율, 원점 좌표, 명령 영역 등의 설정에 대해서 초기 정의를 실행한다 (스텝 SB-1). 또한 제어부(102)는 검출부(112)를 통해서 이용자로 하여금 초기 설정시키는 데 국한되지 않고 키보드와 마우스 등의 입력 수단을 통해서 이용자로 하여금 초기 설정시켜도 좋다. 또한 제어부(102)는 주시점 검출부(102c)의 주시점 검출의 캘리브레이션(calibration, 교정)을 수행해도 된다. 제어부(102)는 이러한 설정정보를 설정파일(106b)에 저장하고, 각종 처리에 이용한다.
그리고 제어부(102)는 다음의 스텝 SB-2 내지 SB-12의 루프 처리 실행을 시작한다 (스텝 SB-2).
루프 처리에서, 먼저 주시점 검출부(102c)는 검출부(112)를 통해서 검출된 이용자의 시선에 기초하여 그 시선 끝에 있는 주시점의 좌표를 산출한다 (스텝 SB-3).
그리고 이동제어부(102b)는 주시점 검출부(102c)에 의해 산출된 주시점 좌표와 원점 좌표와의 거리와 각도를 바탕으로 문자판 명령어판을 슬라이드시키는 방향과 속도를 산출한다 (스텝 SB-4).
그리고 이동제어부(102b)는 산출한 슬라이드 방향과 속도에 기초하여 문자판 명령어판의 좌표를 갱신한다 (스텝 SB-5).
그리고 입력결정부(102d)는 원점 좌표와 주시점 좌표 양방이 임의의 명령어 영역에 들어왔는지 여부를 판정한다 (스텝 SB-6).
원점 좌표와 주시점 좌표 양방이 어느 명령어 영역에도 들어와 있지 않은 경우는 (스텝 SB-6, NO), 제어부(102)는 시간 카운트를 리셋하고 (스텝 SB-7), 새로운 루프 처리를 시작한다 (스텝 SB-12).
한편 원점 좌표로 주시점 좌표 양방이 어느 하나의 명령어 영역에 들어간 경우는 (스텝 SB-6, YES) 입력결정부(102d)는 시간 카운트를 수행한다 (스텝 SB-8).
그리고 입력결정부(102d)는 시간 카운트가 초기 정의한 마우스 오버 시간이 지났는지 여부를 판정한다 (스텝 SB-9). 마우스 오버 시간이 넘지 않았을 경우 (스텝 SB-9, NO), 새로운 루프 처리를 개시한다 (스텝 SB-12).
한편 초기 정의한 마우스 오버 시간을 시간 카운터가 넘은 경우는 (스텝 SB-9, YES) 입력결정부(102d)는 명령어 영역에 대응하는 해당 명령을 수행한다 (스텝 SB-10).
그리고 입력결정부(102d)는 시간 카운트를 리셋하고 (스텝 SB-11), 새로운 루프 처리를 개시한다 (스텝 SB-12). 여기에서 입력결정부(102d)는 시간 카운트를 리셋하는 대신 같은 명령이 연속 입력되지 않도록 해당 명령에 플래그(flag)를 설정하고 이 플래그 정보를 설정파일(106b)에 기록해도 좋다.
이상이 본 실시형태에 따른 시선입력 처리의 일 실시예이다. 이상으로 본 실시형태의 설명을 마친다.
[다른 실시형태]
이제까지 본 발명의 일 실시형태에 대해서 설명했지만 본 발명은 전술한 실시형태 외에도 특허청 구의 범위에 기재한 기술적 사상의 범위 내에서 여러가지 다른 실시형태로 실시되어도 좋다.
예를 들면 시선입력장치(100)가 스탠드-얼론(stand-alone)의 형태로 처리를 수행하도록 설명했지만, 시선입력장치(100)가 클라이언트 단말 (외부 장치(200) 등)의 요구에 부응하여 처리를 수행하고 그 처리 결과를 해당 클라이언트 단말에 되돌리도록 구성하더라도 무방하다.
또한, 검출 처리는 이상의 설명에 국한되지 않고 공지의 시점 검출수단을 이용하여 실행되어도 좋다. 예를 들면, 두 눈의 집안각(輯鞍角, landing angle) 정보와 시선 위치 정보로부터 대상(object)까지의 거리와 방향을 계산함으로써 상대 위치를 취득하고, 보다 정확하게 주시점을 계측하도록 제어해도 좋다. 또한 인간의 얼굴 부분의 화상에 대해서 다양한 화상 처리를 하여 안구 부분 및 눈의 흰자 부분 등의 위치를 검출하여, 시선 방향의 산출을 수행하는 공지의 방법도 좋으며, 조작자에 고글과 헤드기어 같은 전용 기구를 장착시킴으로써, 안구의 움직임을 보다 정확하게 검출하는 공지의 방법을 사용해도 좋다.
또 안구 내부의 반사를 이용하여 시선방향을 검출 장치에 의해 직접 계측해도 좋다. 즉, 시선방향에서 빛 등의 전자파가 입사하면 안구의 망막으로 반사하고, 시선방향 (입사방향의 역방향)으로 반사되어 검출장치 등에 도달한다. 그러나 시선방향이 아닌 방향으로부터 빛 등이 입사해도, 안구의 직경을 통과하지 않으므로, 입사 방향의 역방향으로 빛 등은 반사하지 않는다. 이 성질을 이용하여, 전자파 등 발생 장치와 검출장치를 조합하여 전자파 등 발생 위치와 동 위치로 반사되는 전자파 등을 검출함으로써 시선 또는 시점을 검출해도 좋다. 또한 주시점 검출부(102c)는 이들 처리나 장치를 임의로 조합하여 구성해도 좋다.
또, 실시형태에서 설명한 각 처리 중 자동적으로 수행되는 것으로 설명한 처리의 전부 또는 일부를 수동적으로 실시할 수도 있고, 또는 수동적으로 수행되는 것으로 설명한 처리의 전부 또는 일부를 공지의 방법으로 자동적으로 할 수도 있다.
이 외에, 상기 문헌 중이나 도면 중에 나타낸 처리수순, 제어수순, 구체적 명칭, 각 처리의 등록데이터 및 검색조건 등의 파라미터를 포함한 정보, 화면예, 데이터베이스 구성에 대해서는 특별히 기재한 경우를 제외하고는 임의로 변경할 수 있다.
또 시선입력장치(100)에 관해서, 도시된 각 구성요소는 기능 개념적인 것이므로, 반드시 물리적으로 도시된 것과 같이 구성될 필요는 없다.
예를 들면, 시선입력장치(100)의 각 장치가 구비한 처리 기능, 특히 제어부(102)에서 수행되는 각 처리 기능에 대해서는, 그 전부 또는 임의의 일부를 CPU (central processing unit) 및 해당 CPU에서 해석 및 실행되는 프로그램으로 구현해도 좋고, 또 와이어드 로직(wired logic)에 의한 하드웨어로 구현해도 좋다. 또한, 프로그램은 후술하는, 컴퓨터에 본 발명에 관한 방법을 실행시키기 위한 프로그램화된 명령을 포함하고, 일시적이지 않은 컴퓨터 판독 가능한 기록매체에 저장해 놓고 필요에 따라서 시선입력장치(100)에 기계적으로 독출된다. 즉, ROM또는 HDD (Hard Disk Drive) 등의 저장부(106) 등에는 OS (operating system)과 협동하여 CPU에 명령을 주는 각종 처리를 행하기 위한 컴퓨터 프로그램이 기록되어 있다. 이 컴퓨터 프로그램은 RAM에 로딩됨으로써 실행되어 CPU와 협동하여 제어부를 구성한다.
또 이 컴퓨터 프로그램은 시선입력장치(100) 등에 대해서 임의의 네트워크(300)를 통해서 접속된 응용 프로그램 서버에 저장되어 있어도 좋고, 필요에 따라 그 전부 또는 일부를 다운로드하는 것도 가능하다.
또 본 발명에 관한 프로그램을 컴퓨터 판독 가능한 기록매체에 저장해도 좋고 또는 프로 그램 제품으로서 구성할 수도 있다. 여기서 이 '기록매체'는 메모리 카드, USB 메모리, SD 카드, 플로피 디스크, 광자기 디스크, ROM, EPROM, EEPROM, CD-ROM, MO, DVD및 Blu-ray(등록 상표) Disc 등의 임의의 '운반 가능한 물리 매체'를 포함한다.
또 '프로그램'이란, 임의의 언어와 기술 방법으로 기술된 데이터 처리 방법이며, 소스 코드나 이진 코드 등의 형식을 불문한다. 또한 '프로그램'은 반드시 단일적으로 구성되는 것에 국한되지 않고 복수의 모듈과 라이브러리로 분산 구성되는 것이나, OS(Operating System)로 대표되는 별개의 프로그램과 협동하여 그 기능을 달성하는 것도 포함한다. 또한 실시예로 제시한 각 장치에 있어서 기록매체를 읽기 위한 구체적인 구성, 독취 순서 또는 독취 후의 인스톨(install) 순서 등에 대해서는 알려진 구성과 절차를 사용할 수 있다. 프로그램이 일시적이지 않은 컴퓨터 판독 가능한 기록매체에 기록된 프로그램 제품으로서 본 발명을 구성해도 좋다.
저장부(106)에 저장된 각종 데이터베이스 등 (입력파일(106a), 설정파일(106b) 등)은 RAM, ROM 등의 메모리 장치, 하드디스크 등의 고정 디스크 장치, 플렉시블 디스크, 및 광 디스크 등 저장수단이고, 각종 처리와 웹 사이트 제공에 이용되는 각종 프로그램, 테이블, 데이터베이스 및 웹 페이지용 파일 등을 저장한다.
또 시선입력장치(100)는 기존의 퍼스널 컴퓨터, 워크스테이션 등의 정보처리장치로 구성해도 좋고, 또한, 해당 정보처리장치에 임의의 주변 장치를 접속하여 구성해도 좋다. 또 시선입력장치(100)는 해당 정보처리장치에 본 발명의 방법을 실현시키는 소프트웨어 (프로그램, 데이터 등을 포함)를 실장함으로써 실현해도 좋다.
또한, 장치의 분산, 통합의 구체적 형태는 도시하는 것에 국한되지 않고 그 전부 또는 일부를 각종 부가 등에 따라서, 또는 기능 부하에 맞추어, 임의의 단위로 기능적 또는 물리적으로 분산 또는 통합하여 구성할 수 있다. 즉, 전술한 실시형태를 임의로 조합해서 실시해도 좋고, 실시형태를 선택적으로 실시해도 좋다.
[산업상 이용 가능성]
이상에서 설명했듯이, 본 발명에 따르면 이용자의 의도에 맞추어 신속하고 정확하게 위치를 결정할 수 있고, 시선입력장치, 시선입력방법 및 시선입력 프로그램을 제공할 수 있다.
100 시선입력장치
102 제어부
102a 표시제어부
102b 이동제어부
102c 주시점 검출부
102d 입력결정부
104 통신제어 인터페이스부
106 저장부
106a 입력파일
106b 설정파일
108 입출력제어 인터페이스부
112 검출부
114 표시부
200 외부장치
300 네트워크

Claims (13)

  1. 표시화면 또는 음상(音像)으로 표현된 입력요소에 대하여 이용자의 시선입력을 지원하는 시선입력장치로서,
    상기 이용자의 주시점 또는 안구 회전운동을 검출하는 검출수단과,
    상기 검출수단에 의한 검출되는 상기 주시점으로부터, 상기 표시화면 또는 상기 음상의 소정 위치에 대한 방향으로 또는 상기 검출수단에 의해 검출되는 안구 회전운동에 대응하여, 상기 입력요소를 이동시키는 이동 제어수단을 구비하되,
    상기 이동 제어수단은, 상기 주시점이 상기 소정 위치로부터 멀어질수록 또는 상기 안구 회전운동의 회전각이 클수록 상기 입력요소의 이동속도를 크게 하고, 상기 주시점이 상기 소정 위치에 가까워질수록 또는 상기 회전각이 작을수록 상기 이동속도를 제로에 가깝게 하는 것을 특징으로 하는 시선입력장치.
  2. 제1항에 있어서,
    소정의 조건을 만족시키는 경우에, 상기 소정 위치 근방의 상기 입력요소에 대응하는 입력을 결정하는 입력 결정 수단을 추가로 구비하는 것을 특징으로 하는 시선입력장치.
  3. 제2항에 있어서,
    상기 입력결정수단은 상기 소정의 조건으로서,
    1) 상기 소정 위치를 포함하는 소정 영역 내에 상기 입력요소의 대표점이 들어온 상태,
    2) 상기 소정 위치에 상기 입력요소의 영역이 겹친 상태, 및
    3) 상기 소정 영역과 상기 입력요소의 영역이 겹친 상태
    중 적어도 한가지 상태가 된 경우에 카운트를 개시하고, 해당 상태가 일정 시간 계속된 경우 해당 입력요소에 대응하는 입력을 결정하는 것을 특징으로 하는 시선입력장치.
  4. 제2항 또는 제3항에 있어서,
    상기 이동 제어수단은,
    상기 입력 결정 수단은, 상기 소정의 조건으로서,
    손 또는 손가락, 발의 움직임, 또는 눈꺼풀의 개폐동작을 포함하여 몸의 일부에 소정의 동작이 있는 경우, 상기 소정의 조건을 만족한다고 판정하여 상기 입력요소에 대응하는 입력을 결정하는 것을 특징으로 하는 시선입력장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 이동 제어수단은
    1) 상기 주시점과 상기 소정 위치와의 거리 또는 상기 회전각에 비례하여 상기 이동속도가 커지는 방식,
    2 ) 상기 1)의 방식에 있어서, 상기 거리 또는 상기 회전각이 소정의 임계값을 넘으면 비례상수가 커지는 방식, 및
    3) 상기 거리 또는 상기 회전각의 제곱에 비례하여 상기 이동속도가 커지는 방식
    중 어느 하나의 방식으로 이동제어를 수행하는 것을 특징으로 하는 시선입력장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 입력요소는 문자에 대응한 요소이며, 상기 표시화면에는 가상 키보드가 표시되는 것을 특징으로 하는 시선입력장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 입력요소는 상기 이동속도의 설정, 표시 사이즈의 설정, 입력 전환 및 상기 일정 시간의 설정 중 적어도 하나에 관한 요소인 것을 특징으로 하는 시선입력장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    소정의 조건을 만족한 경우에, 상기 표시화면 또는 상기 음상의 확대 또는 축소를 수행하는 입력 결정 수단을 구비하는 것을 특징으로 하는 시선입력장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    소정의 조건을 만족한 경우에, 소정의 원격 조작을 실행하는 입력 결정 수단을 구비하는 것을 특징으로 하는 시선입력장치.
  10. 제3항에 있어서,
    상기 입력결정수단은 상기 상태가 된 경우라도, 상기 주시점의 속도가 소정의 임계값 이상인 경우, 또는 상기 소정 위치로부터의 상기 주시점의 거리가 소정의 임계값 이상인 경우 카운트를 개시하지 않는 것을 특징으로 하는 시선입력장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 이동 제어수단은, 상기 검출수단에 의해 검출되는 안구 회전운동에 대응하여 추정되는 주시점으로부터 상기 소정 위치에 대한 방향으로 상기 입력요소를 이동시키는 것을 특징으로 하는 시선입력장치.
  12. 표시화면 또는 음상으로 표현된 입력요소에 대하여 이용자의 시선입력을 지원하기 위하여 컴퓨터에서 실행하는 시선입력방법으로서,
    상기 이용자의 주시점 또는 안구 회전운동을 검출하는 검출 단계와,
    상기 검출 단계에서 검출되는 상기 주시점으로부터, 상기 표시화면 또는 상기 음상의 소정 위치에 대한 방향으로 또는 상기 검출 단계에서 검출되는 안구 회전운동에 대응하여, 상기 입력요소를 이동시키는 이동제어 단계를 포함하되,
    상기 이동제어 단계에 있어서, 상기 주시점이 상기 소정 위치로부터 멀수록 또는 상기 안구 회전운동의 회전각이 클수록 상기 입력요소의 이동속도를 크게 하고, 상기 주시점이 상기 소정 위치에 가까워질수록 또는 상기 회전각이 작을수록 상기 이동속도를 제로에 가깝게 하는 것을 특징으로 하는 시선입력방법.
  13. 표시화면 또는 음상으로 표현된 입력요소에 대하여 이용자의 시선입력을 지원하는 시선입력방법을 컴퓨터에서 실행시키기 위한 시선입력 프로그램으로서,
    상기 이용자의 주시점 또는 안구 회전운동을 검출하는 검출 단계와,
    상기 검출 단계에서 검출되는 상기 주시점으로부터, 상기 표시화면 또는 상기 음상의 소정 위치에 대한 방향으로 또는 상기 검출 단계에서 검출되는 안구 회전운동에 대응하여, 상기 입력요소를 이동시키는 이동제어 단계를 포함하되,
    상기 이동제어 단계에 있어서, 상기 주시점이 상기 소정 위치로부터 멀수록 또는 상기 안구 회전운동의 회전각이 클수록 상기 입력요소의 이동속도를 크게 하고, 상기 주시점이 상기 소정 위치에 가까워질수록 또는 상기 회전각이 작을수록 상기 이동속도를 제로에 가깝게 하는 것을 특징으로 하는 시선입력방법을 컴퓨터에 실행시키기 위한 시선입력 프로그램.
KR1020187011152A 2015-10-19 2016-10-19 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체 KR20180053402A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015205946 2015-10-19
JPJP-P-2015-205946 2015-10-19
PCT/JP2016/081025 WO2017069176A1 (ja) 2015-10-19 2016-10-19 視線入力装置、視線入力方法、および、視線入力プログラム

Publications (1)

Publication Number Publication Date
KR20180053402A true KR20180053402A (ko) 2018-05-21

Family

ID=58557156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187011152A KR20180053402A (ko) 2015-10-19 2016-10-19 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체

Country Status (8)

Country Link
US (1) US10678329B2 (ko)
EP (1) EP3367214A4 (ko)
JP (2) JP6371475B2 (ko)
KR (1) KR20180053402A (ko)
CN (1) CN108139813A (ko)
HK (1) HK1249226A1 (ko)
TW (2) TW201941022A (ko)
WO (1) WO2017069176A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200140110A (ko) * 2019-06-05 2020-12-15 한국전자기술연구원 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置
JP6960249B2 (ja) * 2017-05-31 2021-11-05 Ｌｉｎｅ株式会社 プログラム、表示方法および情報処理端末
JP7092981B2 (ja) * 2017-10-20 2022-06-29 富士通株式会社 移動体制御プログラム、移動体制御方法および情報処理装置
JP6712813B2 (ja) * 2018-02-27 2020-06-24 学校法人光産業創成大学院大学 シンボル選択装置及びシンボル選択装置用のプログラム
JP6715483B2 (ja) * 2018-02-27 2020-07-01 株式会社オレンジアーチ シンボル選択装置及びシンボル選択装置用のプログラム
US10939033B2 (en) * 2018-03-19 2021-03-02 Facebook Technologies, Llc Systems and methods for directing adaptive camera systems
JP7115737B2 (ja) * 2018-06-07 2022-08-09 株式会社オリィ研究所 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム
CN109389069B (zh) 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
JP7517152B2 (ja) * 2018-11-12 2024-07-17 ソニーグループ株式会社 表示装置、および表示制御方法、並びにプログラム
JP7146585B2 (ja) * 2018-11-13 2022-10-04 本田技研工業株式会社 視線検出装置、プログラム、及び、視線検出方法
WO2020170916A1 (ja) * 2019-02-22 2020-08-27 パナソニックＩｐマネジメント株式会社 状態検知装置及び状態検知方法
JP7560833B2 (ja) 2021-03-12 2024-10-03 株式会社オレンジアーチ 視線入力装置及び視線入力装置用のプログラム
US11782569B2 (en) * 2021-07-26 2023-10-10 Google Llc Contextual triggering of assistive functions
CN114253439B (zh) * 2021-10-30 2024-06-04 惠州华阳通用智慧车载系统开发有限公司 一种多屏交互方法
TWI798956B (zh) * 2021-11-24 2023-04-11 廣達電腦股份有限公司 眼球追蹤裝置以及眼球追蹤方法
CN114821180B (zh) * 2022-05-06 2022-12-06 盐城工学院 一种基于软阈值惩罚机制的弱监督细粒度图像分类方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2957977B2 (ja) 1997-10-30 1999-10-06 三洋電機株式会社 ビデオカメラ
JP2004287823A (ja) * 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
JP3673834B2 (ja) * 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
CN1285994C (zh) * 2004-06-11 2006-11-22 上海大学 人机交互方法及装置
ES2568506T3 (es) * 2004-06-18 2016-04-29 Tobii Ab Control ocular de aparato computador
EP1679577A1 (en) * 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5077879B2 (ja) 2007-08-29 2012-11-21 国立大学法人佐賀大学 視線入力装置、視線入力方法、及び、視線入力プログラム
US8419654B2 (en) 2008-05-20 2013-04-16 Panasonic Corporation Eye gaze tracking apparatus, imaging apparatus, eye gaze tracking method, program, and integrated circuit
CN101515199B (zh) * 2009-03-24 2011-01-05 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN102169348B (zh) * 2011-01-22 2012-07-04 浙江大学 用视线控制服务机器人的方法
JP2014123179A (ja) * 2012-12-20 2014-07-03 Fujitsu Ltd 情報処理装置、情報処理方法、見落し防止プログラム
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
US8988344B2 (en) * 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
US20150135133A1 (en) * 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Adjustable smooth scrolling
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
EP3108338A1 (en) * 2014-02-21 2016-12-28 Drnc Holdings, Inc. Methods for facilitating entry of user input into computing devices
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200140110A (ko) * 2019-06-05 2020-12-15 한국전자기술연구원 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치

Also Published As

Publication number Publication date
US10678329B2 (en) 2020-06-09
WO2017069176A1 (ja) 2017-04-27
EP3367214A1 (en) 2018-08-29
TW201941022A (zh) 2019-10-16
TWI670625B (zh) 2019-09-01
EP3367214A4 (en) 2019-04-17
JP6371475B2 (ja) 2018-08-08
JP2018195323A (ja) 2018-12-06
HK1249226A1 (zh) 2018-10-26
JPWO2017069176A1 (ja) 2017-10-19
TW201719335A (zh) 2017-06-01
US20180239426A1 (en) 2018-08-23
CN108139813A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
KR20180053402A (ko) 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체
US20220385804A1 (en) Adjusting Motion Capture Based on the Distance Between Tracked Objects
US9927881B2 (en) Hand tracker for device with display
EP2672880B1 (en) Gaze detection in a 3d mapping environment
JP5444482B2 (ja) 情報処理装置、電子機器およびプログラム
US9323339B2 (en) Input device, input method and recording medium
CN108459702B (zh) 基于手势识别与视觉反馈的人机交互方法与系统
JPWO2019059044A1 (ja) 情報処理装置、制御方法、及びプログラム
JP6852612B2 (ja) 表示プログラム、情報処理装置、及び表示方法
JP6746419B2 (ja) 情報処理装置、及びその制御方法ならびにコンピュータプログラム
US10747308B2 (en) Line-of-sight operation apparatus, method, and medical device
JP2024109620A (ja) ウェアラブル端末装置、プログラムおよび表示方法
CN109144235B (zh) 基于头手协同动作的人机交互方法与系统
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
JP2013228932A (ja) 情報処理装置、電子機器、情報処理方法およびプログラム
TW201925989A (zh) 互動系統
JP5148002B1 (ja) 情報処理装置、電子機器、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application