KR101780138B1 - 입력 장치 및 기억 매체 - Google Patents

입력 장치 및 기억 매체 Download PDF

Info

Publication number
KR101780138B1
KR101780138B1 KR1020157031560A KR20157031560A KR101780138B1 KR 101780138 B1 KR101780138 B1 KR 101780138B1 KR 1020157031560 A KR1020157031560 A KR 1020157031560A KR 20157031560 A KR20157031560 A KR 20157031560A KR 101780138 B1 KR101780138 B1 KR 101780138B1
Authority
KR
South Korea
Prior art keywords
cursor
threshold value
line
sight
tilt
Prior art date
Application number
KR1020157031560A
Other languages
English (en)
Other versions
KR20150138360A (ko
Inventor
아끼노리 다구찌
마사요시 시미즈
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20150138360A publication Critical patent/KR20150138360A/ko
Application granted granted Critical
Publication of KR101780138B1 publication Critical patent/KR101780138B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시예에 관한 입력 장치(100)의 시선 위치 검출부(171)가, 터치 패널(130) 상의 시선 위치를 검출한다. 입력 장치(100)의 표시 제어부(173)가, 현재의 커서 위치와, 시선 위치를 비교한다. 그리고, 입력 장치(100)의 표시 제어부(173)는, 현재의 커서 위치와, 시선 위치와의 거리가 역치 이상이 될 때까지, 커서 위치를 고정한다.

Description

입력 장치 및 기억 매체{INPUT DEVICE AND STORAGE MEDIUM}
본 발명은, 입력 장치 등에 관한 것이다.
화면 상의 커서 위치를 이동시키는 방법으로서, 키보드나 마우스 등 이외에, 시선 입력, 기울기 입력 등이 있다. 이 중 시선 입력은, 마우스로 커서를 이동시키는 경우나 기울기 입력과 비교하여, 먼 위치에 커서를 보다 빠르게 이동시키는 것이 가능하다.
여기서, 시선 입력에서는 시선의 위치에 떨림이 발생하기 때문에, 미세한 위치의 지정은 마우스로 커서를 이동시키는 경우와 비교하여 하기 어렵다.
따라서, 대략적인 위치의 지정은 다른 방법과 비교하여 유리하지만 세부적인 위치 지정은 다른 방법과 비교하면 불리한 방법과, 대략적인 위치의 지정은 다른 방법에 비교하여 불리하지만 세부적인 위치 지정은 다른 방법과 비교하면 유리한 방법을 조합하는 것을 생각할 수 있다. 예를 들어, 대략적인 위치의 지정을, 시선 입력으로 행하고, 세부적인 위치의 지정을 마우스나 키보드로 행하는 것을 생각할 수 있다.
일본 특허 공개 제2009-64395호 공보 일본 특허 공개 제2009-251658호 공보 일본 특허 공개 제2007-121489호 공보 일본 특허 공개 평11-95910호 공보
그러나, 상술한 종래 기술에서는, 이용자가 의도하지 않는 위치를 지정해 버린다는 문제가 있다.
예를 들어, 대략적인 위치의 지정을 시선 입력으로 지정하고, 세부적인 위치의 지정을 마우스로 지정하는 경우에 대하여 설명한다. 시선 입력은, 이용자가 현저한 조작을 하지 않는 한, 항상 위치를 지정하는 지시가 이루어지고 있다고 판단되어 버린다. 이로 인해, 복수의 위치 지정의 방법을 조합한 경우에, 다른 방법으로 세부의 위치를 지정한 후에, 시선 입력 등의 방법으로 전환하면, 다른 방법으로 지정을 한 위치를 이동시킬 의도가 없을 때여도, 다른 위치로 이동해 버리는 경우가 있다.
하나의 측면에서는, 이용자가 의도하지 않는 위치를 지정하는 것을 방지할 수 있는 입력 장치 및 입력 프로그램을 제공하는 것을 목적으로 한다.
제1 안에서는, 입력 장치는, 시선 위치 검출부와, 표시 제어부를 갖는다. 시선 위치 검출부는, 화면 상의 시선 위치를 검출한다. 표시 제어부는, 현재의 지정 위치와, 시선 위치 검출부가 검출한 시선 위치를 비교하여, 지정 위치와 상기 시선 위치와의 거리가 역치 이상이 될 때까지, 커서 위치를 상기 지정 위치에 고정한다.
본 발명의 일 실시 형태에 의하면, 이용자가 의도하지 않는 위치를 지정하는 것을 방지할 수 있다는 효과를 발휘한다.
도 1은 본 실시예 1에 관한 입력 장치의 구성을 도시하는 도면이다.
도 2는 본 실시예 1에 관한 표시 제어부의 처리를 설명하기 위한 도면이다.
도 3은 본 실시예 1에 관한 입력 장치의 처리 수순을 나타내는 흐름도이다.
도 4는 본 실시예 2에 관한 입력 장치의 구성을 도시하는 도면이다.
도 5는 본 실시예 2에 관한 표시 제어부의 처리를 설명하기 위한 도면이다.
도 6은 본 실시예 2에 관한 입력 장치의 처리 수순을 나타내는 흐름도이다.
도 7은 입력 프로그램을 실행하는 컴퓨터의 일례를 도시하는 도면이다.
이하에, 본 발명에 따른 입력 장치 및 입력 프로그램의 실시예를 도면에 기초하여 상세하게 설명한다. 또한, 이 실시예에 의해 본 발명이 한정되는 것은 아니다.
실시예 1
본 실시예 1에 관한 입력 장치의 구성에 대하여 설명한다. 도 1은 본 실시예 1에 관한 입력 장치의 구성을 도시하는 도면이다. 도 1에 도시하는 바와 같이, 이 입력 장치(100)는, 카메라(110), 광원(120), 터치 패널(130), 센서(140), 통신부(150)를 갖는다. 또한, 그 밖의 구성은, 주지의 태블릿 단말기와 마찬가지이기 때문에, 여기서는 설명을 생략한다.
카메라(110)는, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등을 사용한 촬상 장치이다. 카메라(110)는, 촬상 범위에 포함되는 피사체의 화상을 촬영하고, 촬영한 피사체의 화상 데이터를, 제어부(170)에 출력한다.
예를 들어, 카메라(110)는, 화상을 촬영하는 타이밍에, 광원(120)을 제어하고, 피사체에 적외선을 조사시킨다. 카메라(110)가 촬영하는 피사체에 이용자의 안구가 포함되는 경우에는, 망막 상의 광의 반사가 카메라(110)에 의해 포착되어, 안구의 동공 부분이 다른 부분보다도 밝게 찍힌 화상이 얻어진다. 또한, 상기의 카메라(110)는, 입력 장치(100)의 출하시부터 탑재되어 있는 카메라를 이용해도 되고, 외부 접속된 디지털 카메라 등을 이용해도 된다.
광원(120)은, 카메라(110)의 제어 명령에 응답하여, 적외선을 조사하는 장치이다.
터치 패널(130)은, 표시와 입력의 두가지 기능을 구비한 인터페이스이다. 터치 패널(130)은, 제어부(170)로부터 출력되는 정보를 표시한다. 예를 들어, 터치 패널(130)은, 제어부(170)에 의해 지정된 위치에 커서를 표시시킨다. 또한, 터치 패널(130)은, 터치 조작을 접수한 경우에, 접촉된 화면 위치의 정보를 제어부(170)에 출력한다.
센서(140)는, 가속에 의한 질량의 위치 변화를 포착함으로써, 입력 장치(100)의 상하 좌우 방향의 가속도를 계측하는 센서이다. 센서(140)는, 계측한 가속도의 정보를 제어부(170)에 출력한다.
통신부(150)는, 네트워크에 접속하여 다른 장치와 데이터 통신을 실행하는 처리부이다. 예를 들어, 통신부(150)는, 무선 통신 장치에 대응한다. 후술하는 제어부(170)는, 통신부(150)를 통하여, 네트워크 상의 외부 장치 등과 데이터 통신을 실행한다.
기억부(160)는, 각종 정보를 기억하는 기억 장치이다. 예를 들어, 기억부(160)는 RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리(Flash Memory) 등의 반도체 메모리 소자, 또는 하드 디스크, 광 디스크 등의 기억 장치에 대응한다.
제어부(170)는, 시선 위치 검출부(171), 기울기 검출부(172), 표시 제어부(173)를 갖는다. 예를 들어, 제어부(170)는, ASIC(Application Specific Integrated Circuit)나, FPGA(Field Programmable Gate Array) 등의 집적 장치에 대응한다. 또한, 제어부(170)는, 예를 들어 CPU나 MPU(Micro Processing Unit) 등의 전자 회로에 대응한다.
시선 위치 검출부(171)는, 터치 패널(130) 상의 시선 위치를 검출하는 처리부이다. 시선 위치 검출부(171)는, 시선 위치의 정보를 표시 제어부(173)에 출력한다. 예를 들어, 시선 위치 검출부(171)는, 카메라(110)에 의해 출력된 피사체의 화상에 각막 반사법 등의 알고리즘을 적용하고, 안구의 동공의 중심 위치로부터 시선의 방향이 가리키는 시점의 위치를 검출한다. 이러한 시점의 위치를, 본 실시예에서는 시선 위치라고 한다.
또한, 여기에서는, 각막 반사법을 사용하여 시선 위치를 검출하는 경우에 대하여 설명했지만, 다른 방법을 사용하여 시선 위치를 검출해도 된다. 예를 들어, 입력 장치(100)는, 터치 패널(130)의 화면을 분할하여, 분할한 영역을 보는 눈의 형상을 학습해 두고, 카메라(110)로부터 입력되는 화상으로부터 추출한 눈의 형상과 템플릿 매칭을 실행함으로써, 시선 위치를 검출해도 된다. 또한, 입력 장치(100)는, 시선의 위치를 검출하는 헤드셋을 이용자에게 장착시켜, 헤드셋에 의해 검출된 시선의 위치를 취득해도 된다.
기울기 검출부(172)는, 센서(140)로부터 가속도의 정보를 취득하고, 취득한 가속도의 정보를 기울기로 변환하는 처리부이다. 예를 들어, 기울기 검출부(172)는, 가속도의 값과, 기울기의 방향 및 크기를 대응지은 변환 테이블을 보유하고, 이러한 변환 테이블을 기초로 하여, 가속도의 값을 기울기의 방향 및 크기로 변환한다. 이하의 설명에서는, 기울기의 방향 및 크기를 통합하여 적절히, 기울기 정보라고 표기한다. 기울기 검출부(172)는, 기울기 정보를 표시 제어부(173)에 출력한다.
표시 제어부(173)는, 시선 위치 및 기울기 정보를 기초로 하여, 커서 위치를 특정하고, 특정한 커서 위치에 대응하는 터치 패널(130) 상의 위치에 커서를 표시시키는 처리부이다. 또한, 표시 제어부(173)는, 주지의 태블릿 단말기와 마찬가지로 하여, 각종 화상을 터치 패널(130)에 표시시킨다.
먼저, 표시 제어부(173)가, 시선 위치에 맞추어 커서를 이동시키는 처리의 일례에 대하여 설명한다. 표시 제어부(173)는, 현재의 커서 위치와, 시선 위치를 비교하여, 현재의 커서 위치와 시선 위치와의 거리가 역치 이상이 될 때까지, 커서 위치를 고정하는 처리를 실행한다.
도 2는 본 실시예 1에 관한 표시 제어부의 처리를 설명하기 위한 도면이다. 도 2에서는 설명의 편의상, 현재의 커서(10a)의 위치를 위치 1A라고 한다. 표시 제어부(173)는, 위치 1A를 중심으로 하는 반경 R의 원의 영역(20)에 시선 위치가 존재하는지 여부에 따라, 커서(10a)의 위치를 고정할지 여부를 판정한다. 표시 제어부(173)는, 시선 위치가 영역(20)에 포함되는 경우에는, 커서(10a)의 위치를 고정하고, 시선 위치가 영역(20)에 포함되지 않는 경우에는, 커서(10a)의 위치를, 시선 위치로 이동시킨다.
도 2에 있어서, 표시 제어부(173)는, 시선 위치가 1B일 경우에는, 영역(20)에 시선 위치가 포함되기 때문에, 커서(10a)의 위치를 고정한다. 시선 위치가 영역(20)에 포함되는 경우에는, 이용자의 흥미가 커서(10a) 부근에 존재하는 것을 의미한다. 여기서, 시선 위치에 맞추어 커서(10a)를 이동시켜 버리면, 시선 위치의 떨림에 의해, 커서(10a)를 이동시키기 어렵다. 이로 인해, 표시 제어부(173)는, 시선 위치에 맞추어 커서(10a)를 이동시키지 않는다. 또한, 후술하는 바와 같이, 표시 제어부(173)는, 기울기 검출부(172)로부터 취득하는 기울기 정보에 맞추어, 커서(10a)를 이동시킨다.
도 2에 있어서, 표시 제어부(173)는, 시선 위치가 1C일 경우에는, 영역(20)에 시선 위치가 포함되어 있지 않기 때문에, 커서(10a)의 위치를, 시선 위치 1C로 이동시킨다. 시선 위치가 영역(20)에 포함되어 있지 않은 경우에는, 이용자의 흥미가 커서(10a) 부근에 존재하지 않는 것을 의미하기 때문에, 시선 위치에 맞추어 커서(10a)를 이동시켜도 문제가 없다.
계속해서, 표시 제어부(173)가 기울기 정보에 맞추어 커서를 이동시키는 처리의 일례에 대하여 설명한다. 예를 들어, 표시 제어부(173)는, 상기 시선 위치에 의한 커서의 이동 처리를 실행하고 있는 동안에, 소정의 전환 지시를 접수한 경우에, 기울기 정보에 맞추어 커서를 이동시키는 처리를 개시한다. 예를 들어, 표시 제어부(173)는, 터치 패널(130) 상에 표시된 개시 버튼이 선택된 경우나, 기울기의 크기가 역치 이상이 되었을 경우에, 기울기 정보에 맞추어 커서를 이동시키는 처리를 개시해도 된다.
표시 제어부(173)는, 기울기의 크기와 커서의 이동량을 대응지은 대응 테이블을 보유하고, 이러한 대응 테이블을 기초로 하여, 커서를 이동시킨다. 커서의 이동 방향은, 기울기 정보에 포함되는 기울기의 방향에 맞추어 이동시킨다.
표시 제어부(173)는, 상기 도 2에 도시한 바와 같이, 시선 위치가 1B일 경우에는, 영역(20)에 시선 위치가 포함되기 때문에, 커서(10a)의 위치를 고정한다. 그러나, 이 고정은, 시선 위치에 대한 커서의 이동을 고정하는 것을 의미한다. 즉, 표시 제어부(173)는, 기울기 정보에 맞추어 커서를 이동시키는 처리를 실행하고 있는 동안에, 영역(20)에 시선 위치가 포함되는 경우에도, 기울기 정보에 맞추어 커서(10a)를 이동시킨다.
표시 제어부(173)는, 터치 패널(130) 상의 도시하지 않은 종료 버튼이 선택된 경우에는, 처리를 종료한다.
또한, 표시 제어부(173)는, 시선 위치에 의해 커서의 위치를 이동시키는 처리를 실행하고 있는 동안에는, 기울기 검출부(172)의 처리를 일시적으로 정지시켜도 된다. 또한, 표시 제어부(173)는, 기울기 정보에 의해 커서의 위치를 이동시키는 처리를 실행하고 있는 동안에는, 시선 위치 검출부(171)의 처리를 일시적으로 정지시켜도 된다.
이어서, 본 실시예 1에 관한 입력 장치(100)의 처리 수순에 대하여 설명한다. 도 3은, 본 실시예 1에 관한 입력 장치의 처리 수순을 나타내는 흐름도이다. 예를 들어, 도 3에 도시하는 처리는, 이용자의 시선 위치를 검출한 것을 계기로 하여, 처리를 개시한다.
도 3에 도시하는 바와 같이, 입력 장치(100)는, 시선 위치를 검출하여(스텝 S101), 시선 위치에 커서를 표시한다(스텝 S102). 입력 장치(100)는, 개시 버튼이 선택되었는지 여부를 판정한다(스텝 S103). 입력 장치(100)는, 개시 버튼이 선택되어 있지 않은 경우에는(스텝 S103, "아니오"), 스텝 S101로 이행한다.
한편, 입력 장치(100)는, 개시 버튼이 선택된 경우에는(스텝 S103, "예"), 기울기를 검출하고(스텝 S104), 기울기 정보에 따라서 커서를 이동시킨다(스텝 S105). 입력 장치(100)는, 시선 위치를 검출하여(스텝 S106), 시선 위치와 커서 위치와의 거리가 역치 이내인지 여부를 판정한다(스텝 S107). 입력 장치(100)는, 시선 위치와 커서 위치와의 거리가 역치 이내가 아닐 경우에는(스텝 S107, "아니오"), 스텝 S102로 이행한다.
한편, 입력 장치(100)는, 시선 위치와 커서 위치와의 거리가 역치 이내일 경우에는(스텝 S107, "예"), 커서 위치를 고정한다(스텝 S108). 입력 장치(100)는, 종료 버튼이 선택되어 있지 않은 경우에는(스텝 S109, "아니오"), 스텝 S104로 이행한다. 한편, 입력 장치(100)는, 종료 버튼이 선택된 경우에는(스텝 S109, "예"), 처리를 종료한다.
이어서, 본 실시예 1에 관한 입력 장치(100)의 효과에 대하여 설명한다. 입력 장치(100)는, 터치 패널(130) 상의 시선 위치를 검출하여, 현재의 커서 위치와, 시선 위치를 비교한다. 그리고, 입력 장치(100)는, 현재의 커서 위치와, 시선 위치와의 거리가 역치 이상이 될 때까지, 커서 위치를 고정한다. 이로 인해, 입력 장치(100)에 의하면, 이용자가 의도하지 않는 위치를 지정하는 것을 방지할 수 있다.
또한, 입력 장치(100)는, 커서 위치와 시선 위치와의 거리가 역치 이상이 될 때까지, 시선 위치에 따른 커서 위치를 정지하고, 기울기 검출부(172)가 검출한 기울기 정보에 따라, 커서 위치를 이동시킨다. 이로 인해, 입력 장치(100)에 의하면, 이용자는 시선에 의해 대략적인 커서 위치를 지정하고, 기울기에 의해, 커서 위치를 미세 조정하는 것이 가능하게 된다.
입력 장치(100)는, 시선 위치에 의해 커서의 위치를 이동시키는 처리를 실행하고 있는 동안에는, 기울기 검출부(172)의 처리를 일시적으로 정지시킨다. 또한, 입력 장치(100)는, 기울기 정보에 의해 커서의 위치를 이동시키는 처리를 실행하고 있는 동안에는, 시선 위치 검출부(171)의 처리를 일시적으로 정지시킨다. 이로 인해, 입력 장치(100)는 전력 절약화를 도모하는 것이 가능하게 된다.
또한, 표시 제어부(173)는, 기울기 대신에 입력 장치(100)의 이동 방향에 따라, 커서의 위치를 이동시켜도 된다. 즉, 표시 제어부(173)는, 센서(140)로부터 가속도의 정보를 취득하고, 가속도와 이동 방향을 대응지은 대응 테이블을 기초로 하여, 커서를 이동시킨다. 표시 제어부(173)는, 커서 위치와 시선 위치와의 거리가 역치 이상이 될 때까지, 시선 위치에 따른 커서 위치를 정지하고, 센서(140)로부터의 가속도에 따라, 커서 위치를 이동시킨다.
실시예 2
본 실시예 2에 관한 입력 장치의 구성에 대하여 설명한다. 도 4는 본 실시예 2에 관한 입력 장치의 구성을 나타내는 도면이다. 도 4에 나타내는 바와 같이, 이 입력 장치(200)는, 카메라(110), 광원(120), 터치 패널(130), 센서(140), 통신부(150)를 갖는다. 또한, 그 밖의 구성은, 주지의 태블릿 단말기와 마찬가지이기 때문에, 여기서는 설명을 생략한다.
카메라(110), 광원(120), 터치 패널(130), 센서(140), 통신부(150), 기억부(160)에 관한 설명은, 도 1에 도시한 카메라(110), 광원(120), 터치 패널(130), 센서(140), 통신부(150), 기억부(160)의 설명과 마찬가지이다. 이로 인해, 각 장치(110 내지 160)에 관한 설명은 생략한다.
제어부(270)는, 시선 위치 검출부(171), 기울기 검출부(172), 표시 제어부(273)를 갖는다. 시선 위치 검출부(171), 기울기 검출부(172)에 관한 설명은, 도 1에 도시한 시선 위치 검출부(171), 기울기 검출부(172)와 마찬가지이기 때문에, 마찬가지의 기호를 부여하고 설명을 생략한다.
표시 제어부(273)는, 시선 위치 및 기울기 정보를 기초로 하고, 커서 위치를 특정하고, 특정한 커서 위치에 대응하는 터치 패널(130) 상의 위치에 커서를 표시시키는 처리부이다.
도 5는 본 실시예 2에 관한 표시 제어부의 처리를 설명하기 위한 도면이다. 표시 제어부(273)는, 먼저, 시선 위치 검출부(171)가 검출한 시선 위치에 맞추어 커서(10a)의 위치를 이동시킨다. 도 5에 있어서, 시선 위치가 1D인 경우에는, 표시 제어부(273)는, 커서(10a)를 시선 위치 1D로 이동시킨다.
그리고, 표시 제어부(273)는, 이용자에 의해 개시 버튼(30a)이 선택된 경우에는, 기울기 검출부(172)로부터 취득하는 기울기 정보에 의해 커서(10a)의 위치를 이동시킨다. 표시 제어부(273)가, 기울기 정보에 의해 커서(10a)의 위치를 이동시키는 처리는, 실시예 1의 표시 제어부(173)와 마찬가지이다.
또한, 표시 제어부(273)는, 기울기 정보에 의해 커서(10a)의 위치를 이동시키는 처리를 실행하고 있는 동안에, 개시 버튼(30a)이 선택된 경우에는, 시선 위치에 맞추어 커서(10a)의 위치를 이동시키는 처리로 전환한다. 또한, 표시 제어부(273)는, 이용자에 의해 종료 버튼(30b)이 선택된 경우에는, 처리를 종료한다.
이어서, 본 실시예 2에 관한 입력 장치(200)의 처리 수순에 대하여 설명한다. 도 6은 본 실시예 2에 관한 입력 장치의 처리 수순을 나타내는 흐름도이다. 예를 들어, 도 6에 나타내는 처리는, 이용자의 시선 위치를 검출한 것을 계기로 하여, 처리를 개시한다.
도 6에 도시하는 바와 같이, 입력 장치(200)는, 시선 위치를 검출하여(스텝 S201), 시선 위치에 커서를 표시한다(스텝 S202). 입력 장치(200)는, 개시 버튼이 선택되었는지 여부를 판정한다(스텝 S203). 입력 장치(200)는, 개시 버튼이 선택되어 있지 않은 경우에는(스텝 S203, "아니오"), 스텝 S201로 이행한다.
한편, 입력 장치(200)는, 개시 버튼이 선택된 경우에는(스텝 S203, "예"), 기울기를 검출하고(스텝 S204), 기울기 정보에 따라서 커서를 이동시킨다(스텝 S205). 입력 장치(200)는, 개시 버튼이 선택되었는지 여부를 판정한다(스텝 S206). 입력 장치(200)는, 개시 버튼이 선택된 경우에는(스텝 S206, "예"), 스텝 S201로 이행한다.
한편, 입력 장치(200)는, 개시 버튼이 선택되어 있지 않은 경우에는(스텝 S206, "아니오"), 종료 버튼이 선택되었는지 여부를 판정한다(스텝 S207). 입력 장치(200)는 종료 버튼이 선택되어 있지 않은 경우에는(스텝 S207, "아니오"), 스텝 S204로 이행한다. 한편, 입력 장치(200)는, 종료 버튼이 선택된 경우에는(스텝 S207, "예"), 커서 위치를 고정한다(스텝 S208). 입력 장치(200)는, 커서 위치를 고정한 후, 커서 위치에 대응한 각종 처리를 실행한다.
이어서, 본 실시예 2에 관한 입력 장치(200)의 효과에 대하여 설명한다. 입력 장치(200)는, 시선 위치 검출부(171)가 검출한 시선 위치에 커서 위치를 이동시킬 것인지, 기울기 검출부(172)가 검출한 기울기에 따라서 커서 위치를 이동시킬 것인지를 접수하여, 커서 위치를 이동시킨다. 이로 인해, 이용자는, 시선에 의해 위치를 지정할 것인지, 기울기에 의해 위치를 지정할 것일지를 선택할 수 있어, 효율적으로 원하는 위치에 커서를 이동시킬 수 있다.
또한, 입력 장치(200)는, 표시 제어부(273)의 처리와, 표시 제어부(173)의 처리를 조합하여 실행해도 된다.
이어서, 상기의 실시예에 나타낸 입력 장치와 마찬가지의 기능을 실현하는 지원 프로그램을 실행하는 컴퓨터의 일례를 설명한다. 도 7은 입력 프로그램을 실행하는 컴퓨터의 일례를 나타내는 도면이다.
도 7에 나타내는 바와 같이, 컴퓨터(300)는, 각종 연산 처리를 실행하는 CPU(301)와, 유저로부터의 데이터의 입력을 접수함과 함께, 각종 정보를 표시하는 터치 패널(302)을 갖는다. 컴퓨터(300)는, 기억 매체로부터 프로그램 등을 판독하는 판독 장치(303)와, 네트워크를 통하여 다른 컴퓨터와의 사이에서 데이터의 수수를 행하는 인터페이스 장치(304)를 갖는다. 컴퓨터(300)는, 카메라(305), 가속도를 검출하는 센서(306)를 갖는다. 컴퓨터(307)는, 각종 정보를 일시 기억하는 RAM(306)과, 기억 장치(308)를 갖는다. 그리고, 각 장치(301 내지 308)는 버스(309)에 접속된다.
기억 장치(308)는, 시선 위치 검출 프로그램(308a), 기울기 검출 프로그램(308b), 표시 제어 프로그램(308c)을 갖는다. CPU(301)는, 각 프로그램(308a, 308b, 308c)을 판독하여 RAM(307)에 전개한다.
시선 위치 검출 프로그램(308a)은 시선 위치 검출 프로세스(307a)로서 기능한다. 기울기 검출 프로그램(308b)은 기울기 검출 프로세스(307b)로서 기능한다. 표시 제어 프로그램(308c)은 표시 제어 프로세스(307c)로서 기능한다.
예를 들어, 시선 위치 검출 프로세스(307a)는 시선 위치 검출부(171)에 대응한다. 기울기 검출 프로세스(307b)는 기울기 검출부(172)에 대응한다. 표시 제어 프로세스(307c)는 표시 제어부(173, 273)에 대응한다.
또한, 각 프로그램(308a 내지 308c)에 대해서는, 반드시 처음부터 기억 장치(308)에 기억시켜 두지 않아도 된다. 예를 들어, 컴퓨터(300)에 삽입되는 플렉시블 디스크(FD), CD-ROM, DVD 디스크, 광자기 디스크, IC 카드 등의 「가반용 물리 매체」에 각 프로그램을 기억시켜 둔다. 그리고, 컴퓨터(300)가 이들로부터 각 프로그램(308a 내지 308c)을 판독하여 실행하도록 해도 된다.
100, 200: 입력 장치
170, 270: 제어부
171: 시선 위치 검출부
172: 기울기 검출부
173: 표시 제어부

Claims (5)

  1. 화면 상의 시선 위치를 검출하는 시선 위치 검출부와,
    그 자신(自)의 입력 장치에 관한 기울기의 크기를 검출하는 기울기 검출부와,
    현재의 지정 위치와, 시선 위치 검출부가 검출한 시선 위치를 비교하여, 상기 지정 위치와 상기 시선 위치와의 거리가 제1 역치 미만인 것이 검출되고, 또한 상기 기울기의 크기가 제2 역치 미만인 것이 검출되면, 커서 위치를 상기 지정 위치에 고정하고,
    상기 지정 위치와 상기 시선 위치와의 거리가 제1 역치 이상인 것이 검출되고, 또한, 상기 기울기의 크기가 제2 역치 이상인 것이 검출되면 상기 커서 위치를 상기 시선 위치를 향하여 이동을 개시하게 하고, 상기 커서 위치를 한창 이동하고 있는 중에, 상기 지정 위치와 상기 시선 위치와의 거리가 상기 제1 역치 미만으로 된 경우라도, 상기 커서 위치가 상기 시선 위치에 도달할 때까지 이동을 계속하게 하는 표시 제어부
    를 갖는 것을 특징으로 하는, 입력 장치.
  2. 제1항에 있어서,
    상기 표시 제어부는, 상기 지정 위치와 상기 시선 위치와의 거리가 상기 제1 역치 이상이 될 때까지, 상기 시선 위치에 따른 커서를 커서 위치에서 정지하고, 상기 기울기 검출부가 검출한 상기 기울기의 크기가 제2 역치 이상이 될 경우에, 상기 기울기에 따라, 상기 커서 위치를 이동시키는 것을 특징으로 하는, 입력 장치.
  3. 제2항에 있어서,
    상기 표시 제어부는, 상기 시선 위치에 따라서 상기 커서 위치를 이동시키는 동안에는, 상기 기울기 검출부의 처리를 정지하고, 상기 기울기에 따라서 상기 커서 위치를 이동시키는 동안에는, 상기 시선 위치 검출부의 처리를 정지하는 것을 특징으로 하는, 입력 장치.
  4. 제3항에 있어서,
    상기 표시 제어부는, 시선 위치 검출부가 검출한 시선 위치에 상기 커서 위치를 이동시킬 것인지, 기울기 검출부가 검출한 기울기에 따라서 상기 커서 위치를 이동시킬 것인지를 나타내는 제어 정보를 취득하고, 취득한 제어 정보를 기초로 하여, 상기 커서 위치를 이동시키는 것을 특징으로 하는, 입력 장치.
  5. 컴퓨터에,
    화면 상의 시선 위치를 검출하고,
    상기 컴퓨터에 관한 기울기의 크기를 검출하고,
    현재의 지정 위치와, 검출한 시선 위치를 비교하여, 상기 지정 위치와 상기 시선 위치와의 거리가 제1 역치 미만인 것이 검출되고, 또한 상기 기울기의 크기가 제2 역치 미만인 것이 검출되면, 커서 위치를 상기 지정 위치에 고정하고,
    상기 지정 위치와 상기 시선 위치와의 거리가 제1 역치 이상인 것이 검출되고, 또한, 상기 기울기의 크기가 제2 역치 이상인 것이 검출되면 상기 커서 위치를 상기 시선 위치를 향하여 이동을 개시하게 하고, 상기 커서 위치를 한창 이동하고 있는 중에, 상기 지정 위치와 상기 시선 위치와의 거리가 상기 제1 역치 미만으로 된 경우라도, 상기 커서 위치가 상기 시선 위치에 도달할 때까지 이동을 계속하게 하는
    처리를 실행시키는 입력 프로그램을 기억한 기억 매체.
KR1020157031560A 2013-05-08 2013-05-08 입력 장치 및 기억 매체 KR101780138B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/062949 WO2014181403A1 (ja) 2013-05-08 2013-05-08 入力装置及び入力プログラム

Publications (2)

Publication Number Publication Date
KR20150138360A KR20150138360A (ko) 2015-12-09
KR101780138B1 true KR101780138B1 (ko) 2017-09-19

Family

ID=51866907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031560A KR101780138B1 (ko) 2013-05-08 2013-05-08 입력 장치 및 기억 매체

Country Status (6)

Country Link
US (1) US9804671B2 (ko)
EP (1) EP2996020A4 (ko)
JP (1) JP6070833B2 (ko)
KR (1) KR101780138B1 (ko)
CN (1) CN105190515A (ko)
WO (1) WO2014181403A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6070833B2 (ja) * 2013-05-08 2017-02-01 富士通株式会社 入力装置及び入力プログラム
US10884493B2 (en) * 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US10558272B2 (en) * 2013-06-20 2020-02-11 Uday Parshionikar Gesture control via eye tracking, head tracking, facial expressions and other user actions
US10254844B2 (en) * 2013-06-20 2019-04-09 Uday Parshionikar Systems, methods, apparatuses, computer readable medium for controlling electronic devices
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
WO2015183208A1 (en) * 2014-05-30 2015-12-03 Koç Üniversitesi Gaze based prediction device and method
JP6416598B2 (ja) * 2014-11-27 2018-10-31 京セラ株式会社 携帯端末及び制御方法
KR102325339B1 (ko) * 2014-12-24 2021-11-11 삼성전자주식회사 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
WO2016136074A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9983695B2 (en) * 2015-03-19 2018-05-29 Lenovo (Singapore)Pte. Ltd. Apparatus, method, and program product for setting a cursor position
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
WO2017053971A1 (en) 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
JP6597397B2 (ja) * 2016-02-29 2019-10-30 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
EP3449337B1 (en) 2016-04-29 2023-01-04 Tobii AB Eye-tracking enabled wearable devices
JP6373546B2 (ja) * 2016-09-02 2018-08-15 楽天株式会社 情報処理装置、情報処理方法、及びプログラム
US10831265B2 (en) * 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
US10890967B2 (en) 2018-07-09 2021-01-12 Microsoft Technology Licensing, Llc Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US11514602B2 (en) 2018-12-25 2022-11-29 Samsung Electronics Co., Ltd. Method and apparatus for gaze estimation
DE102021104127A1 (de) * 2021-02-22 2022-08-25 Christian-Albrechts-Universität zu Kiel, Körperschaft des öffentlichen Rechts Verfahren zum Betreiben eines mobilen Computergeräts, Computerprogramm und mobiles Computergerät
US12026366B2 (en) * 2022-10-25 2024-07-02 Robert Bosch Gmbh System and method for coarse and fine selection keyboard user interfaces

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113859A (ja) * 2004-10-15 2006-04-27 Nec Corp 携帯情報端末及びその表示制御方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08335135A (ja) * 1995-06-07 1996-12-17 Canon Inc 情報処理装置
JPH1195910A (ja) 1997-09-17 1999-04-09 Citizen Watch Co Ltd ポインティングデバイス
JP3201333B2 (ja) * 1998-03-10 2001-08-20 日本電気株式会社 ポインティングデバイス
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2004287823A (ja) * 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
JP4951751B2 (ja) * 2005-04-26 2012-06-13 国立大学法人静岡大学 瞳孔検出に基づくポインティング装置及び方法
JP4977995B2 (ja) 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP2009064395A (ja) 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4884417B2 (ja) 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
JP5446624B2 (ja) * 2009-09-07 2014-03-19 ソニー株式会社 情報表示装置、情報表示方法及びプログラム
WO2011038527A1 (zh) * 2009-09-29 2011-04-07 阿尔卡特朗讯 一种注视点检测方法及其装置
CN101943957A (zh) * 2010-07-23 2011-01-12 康佳集团股份有限公司 一种带加速度传感器的触摸屏手机和鼠标输入的方法
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
CN102279647A (zh) * 2011-06-20 2011-12-14 中兴通讯股份有限公司 一种移动终端及其实现光标移动的方法
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
JP2013073330A (ja) * 2011-09-27 2013-04-22 Nec Casio Mobile Communications Ltd 携帯型電子機器、タッチ領域設定方法およびプログラム
US20140009739A1 (en) * 2012-06-14 2014-01-09 Lindsay Greco Wearable apparatus and ir configuration for optimizing eye-tracking used for human computer interaction
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
JP6070833B2 (ja) * 2013-05-08 2017-02-01 富士通株式会社 入力装置及び入力プログラム
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US9940900B2 (en) * 2013-09-22 2018-04-10 Inuitive Ltd. Peripheral electronic device and method for using same
US9955895B2 (en) * 2013-11-05 2018-05-01 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
AU2015236010A1 (en) * 2014-03-26 2016-11-10 Unanimous A.I. LLC Methods and systems for real-time closed-loop collaborative intelligence
US9645641B2 (en) * 2014-08-01 2017-05-09 Microsoft Technology Licensing, Llc Reflection-based control activation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113859A (ja) * 2004-10-15 2006-04-27 Nec Corp 携帯情報端末及びその表示制御方法

Also Published As

Publication number Publication date
US20160048223A1 (en) 2016-02-18
JP6070833B2 (ja) 2017-02-01
EP2996020A1 (en) 2016-03-16
EP2996020A4 (en) 2016-05-25
US9804671B2 (en) 2017-10-31
CN105190515A (zh) 2015-12-23
JPWO2014181403A1 (ja) 2017-02-23
WO2014181403A1 (ja) 2014-11-13
KR20150138360A (ko) 2015-12-09

Similar Documents

Publication Publication Date Title
KR101780138B1 (ko) 입력 장치 및 기억 매체
US11568517B2 (en) Electronic apparatus, control method, and non- transitory computer readable medium
KR101500843B1 (ko) 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체
CN106357969B (zh) 图像提取装置及其自动对焦方法
US8831282B2 (en) Imaging device including a face detector
US20110248942A1 (en) Image pick-up apparatus, detection-frame adjustment method, and program
US20130010170A1 (en) Imaging apparatus, imaging method, and computer-readable storage medium
JP6123694B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20150113889A (ko) 화상처리장치, 화상처리방법 및 기억매체
EP3642673B1 (en) Electronic device for controlling focus of lens and method for controlling the same
KR20150099353A (ko) 이미지 초점 표시 방법 및 상기 방법이 적용되는 전자장치
US20090148153A1 (en) Shooting apparatus for a microscope
US10438372B2 (en) Arithmetic method, imaging apparatus, and storage medium
US9912858B2 (en) Image capturing apparatus and control method thereof
JP2019033971A (ja) 内視鏡装置
KR20170111460A (ko) 카메라를 통해 획득한 영상 처리 방법 및 장치전자 장치
JP6637757B2 (ja) 眼調節機能支援システム
US20210173527A1 (en) Electronic apparatus executing processing based on move operation
JP7289308B2 (ja) 画像解析装置、画像解析方法およびプログラム
KR102614026B1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6079418B2 (ja) 入力装置および入力プログラム
US20220270264A1 (en) Image processing device, control method thereof, imaging device, and recording medium
JP7289309B2 (ja) 画像解析装置、画像解析方法およびプログラム
US20230247288A1 (en) Selection method, imaging method, and imaging apparatus

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant