WO2014181403A1 - 入力装置及び入力プログラム - Google Patents

入力装置及び入力プログラム Download PDF

Info

Publication number
WO2014181403A1
WO2014181403A1 PCT/JP2013/062949 JP2013062949W WO2014181403A1 WO 2014181403 A1 WO2014181403 A1 WO 2014181403A1 JP 2013062949 W JP2013062949 W JP 2013062949W WO 2014181403 A1 WO2014181403 A1 WO 2014181403A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
cursor
sight
input device
display control
Prior art date
Application number
PCT/JP2013/062949
Other languages
English (en)
French (fr)
Inventor
哲典 田口
清水　雅芳
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2015515673A priority Critical patent/JP6070833B2/ja
Priority to PCT/JP2013/062949 priority patent/WO2014181403A1/ja
Priority to EP13883906.3A priority patent/EP2996020A4/en
Priority to KR1020157031560A priority patent/KR101780138B1/ko
Priority to CN201380076326.6A priority patent/CN105190515A/zh
Publication of WO2014181403A1 publication Critical patent/WO2014181403A1/ja
Priority to US14/924,205 priority patent/US9804671B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to an input device and the like.
  • the line-of-sight input can move the cursor to a distant position more quickly than when the cursor is moved with the mouse or the tilt input.
  • specifying a rough position is advantageous compared to other methods, but specifying a detailed position is disadvantageous compared to other methods, and specifying a rough position is disadvantageous compared to other methods. It is conceivable to specify a position of a combination with a method that is advantageous compared to other methods. For example, it is conceivable that a rough position is designated by line of sight input and a fine position is designated by a mouse or a keyboard.
  • a rough position is specified by line-of-sight input and a fine position is specified by a mouse.
  • line-of-sight input it is determined that an instruction for designating the position is always given unless the user performs a special operation. For this reason, when a plurality of position designation methods are combined, if a detailed position is designated by another method and then switched to a method such as line-of-sight input, there is no intention to move the position designated by the other method. Sometimes, it may move to another position.
  • An object of one aspect is to provide an input device and an input program that can prevent a user from specifying a position that is not intended.
  • the input device includes a line-of-sight position detection unit and a display control unit.
  • the line-of-sight position detection unit detects the line-of-sight position on the screen.
  • the display control unit compares the current designated position with the line-of-sight position detected by the line-of-sight position detection unit, and fixes the cursor position to the designated position until the distance between the designated position and the line-of-sight position is equal to or greater than a threshold value.
  • FIG. 1 is a diagram illustrating the configuration of the input device according to the first embodiment.
  • FIG. 2 is a diagram for explaining the processing of the display control unit according to the first embodiment.
  • FIG. 3 is a flowchart illustrating the processing procedure of the input apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating the configuration of the input device according to the second embodiment.
  • FIG. 5 is a diagram for explaining the processing of the display control unit according to the second embodiment.
  • FIG. 6 is a flowchart illustrating the processing procedure of the input apparatus according to the second embodiment.
  • FIG. 7 is a diagram illustrating an example of a computer that executes an input program.
  • FIG. 1 is a diagram illustrating the configuration of the input device according to the first embodiment.
  • the input device 100 includes a camera 110, a light source 120, a touch panel 130, a sensor 140, and a communication unit 150. Since other configurations are the same as those of the known tablet terminal, the description thereof is omitted here.
  • the camera 110 is an imaging device using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like.
  • the camera 110 captures an image of a subject included in the imaging range, and outputs image data of the captured subject to the control unit 170.
  • the camera 110 controls the light source 120 at the timing of taking an image and irradiates the subject with infrared rays.
  • the subject photographed by the camera 110 includes a user's eyeball
  • the reflection of light on the retina is captured by the camera 110, and an image in which the pupil part of the eyeball appears brighter than the other parts is obtained.
  • the camera 110 may be a camera mounted from the time of shipment of the input device 100, or may be an externally connected digital camera or the like.
  • the light source 120 is a device that emits infrared light in response to a control command of the camera 110.
  • the touch panel 130 is an interface having two functions of display and input.
  • the touch panel 130 displays information output from the control unit 170.
  • the touch panel 130 displays a cursor at a position specified by the control unit 170.
  • the touch panel 130 outputs information on the touched screen position to the control unit 170.
  • the sensor 140 is a sensor that measures acceleration in the vertical and horizontal directions of the input device 100 by capturing a change in mass position due to acceleration.
  • the sensor 140 outputs the measured acceleration information to the control unit 170.
  • the communication unit 150 is a processing unit that connects to a network and executes data communication with other devices.
  • the communication unit 150 corresponds to a wireless communication device.
  • a control unit 170 described later executes data communication with an external device on the network via the communication unit 150.
  • the storage unit 160 is a storage device that stores various types of information.
  • the storage unit 160 corresponds to a semiconductor memory device such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • a semiconductor memory device such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the control unit 170 includes a line-of-sight position detection unit 171, an inclination detection unit 172, and a display control unit 173.
  • the control unit 170 corresponds to an integrated device such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • the control part 170 respond corresponds to electronic circuits, such as CPU and MPU (Micro Processing Unit), for example.
  • the line-of-sight position detection unit 171 is a processing unit that detects the line-of-sight position on the touch panel 130.
  • the line-of-sight position detection unit 171 outputs information on the line-of-sight position to the display control unit 173.
  • the line-of-sight position detection unit 171 applies an algorithm such as a cornea reflection method to the image of the subject output by the camera 110, and detects the position of the viewpoint indicated by the direction of the line of sight from the center position of the pupil of the eyeball.
  • the position of the viewpoint is the line-of-sight position.
  • the line-of-sight position may be detected using another method.
  • the input device 100 divides the screen of the touch panel 130, learns the shape of the eye that sees the divided area, and executes template matching with the shape of the eye extracted from the image input from the camera 110.
  • the line-of-sight position may be detected.
  • the input device 100 may acquire the position of the line of sight detected by the headset by causing the user to wear a headset that detects the position of the line of sight.
  • the inclination detection unit 172 is a processing unit that acquires acceleration information from the sensor 140 and converts the acquired acceleration information into an inclination.
  • the inclination detection unit 172 holds a conversion table in which acceleration values are associated with inclination directions and magnitudes, and converts acceleration values into inclination directions and magnitudes based on the conversion tables. .
  • the direction and magnitude of the tilt are collectively expressed as tilt information as appropriate.
  • the tilt detection unit 172 outputs the tilt information to the display control unit 173.
  • the display control unit 173 is a processing unit that specifies a cursor position based on the line-of-sight position and tilt information, and displays the cursor at a position on the touch panel 130 corresponding to the specified cursor position. Further, the display control unit 173 displays various images on the touch panel 130 in the same manner as a known tablet terminal.
  • the display control unit 173 compares the current cursor position with the line-of-sight position, and executes a process of fixing the cursor position until the distance between the current cursor position and the line-of-sight position is equal to or greater than a threshold value.
  • FIG. 2 is a diagram for explaining the processing of the display control unit according to the first embodiment.
  • the current position of the cursor 10a is assumed to be position 1A.
  • the display control unit 173 determines whether or not to fix the position of the cursor 10a depending on whether or not the line-of-sight position exists in the circle region 20 with the radius R centering on the position 1A.
  • the display control unit 173 fixes the position of the cursor 10a when the line-of-sight position is included in the area 20, and moves the position of the cursor 10a to the line-of-sight position when the line-of-sight position is not included in the area 20. .
  • the display control unit 173 fixes the position of the cursor 10a because the line-of-sight position is included in the region 20.
  • the line-of-sight position is included in the region 20, it means that the user's interest exists near the cursor 10a.
  • the display control unit 173 does not move the cursor 10a according to the line-of-sight position.
  • the display control unit 173 moves the cursor 10a in accordance with the tilt information acquired from the tilt detection unit 172.
  • the display control unit 173 moves the position of the cursor 10a to the line-of-sight position 1C because the line-of-sight position is not included in the region 20.
  • the line-of-sight position is not included in the region 20, it means that the user's interest does not exist near the cursor 10a. Therefore, there is no problem even if the cursor 10a is moved according to the line-of-sight position.
  • the display control unit 173 starts a process of moving the cursor in accordance with the tilt information when a predetermined switching instruction is received while the cursor movement process based on the line-of-sight position is being executed.
  • the display control unit 173 starts a process of moving the cursor according to the tilt information when the start button displayed on the touch panel 130 is selected or when the tilt size is equal to or greater than a threshold value. May be.
  • the display control unit 173 holds a correspondence table that associates the magnitude of inclination with the amount of movement of the cursor, and moves the cursor based on the correspondence table.
  • the movement direction of the cursor is moved in accordance with the inclination direction included in the inclination information.
  • the display control unit 173 fixes the position of the cursor 10a since the line-of-sight position is included in the region 20.
  • this fixing means fixing the movement of the cursor with respect to the line-of-sight position.
  • the display control unit 173 moves the cursor 10a according to the tilt information even when the line-of-sight position is included in the region 20 while executing the process of moving the cursor according to the tilt information.
  • the display control unit 173 ends the process.
  • the display control unit 173 may temporarily stop the process of the tilt detection unit 172 while executing the process of moving the cursor position according to the line-of-sight position. Further, the display control unit 173 may temporarily stop the process of the line-of-sight position detection unit 171 while executing the process of moving the cursor position based on the tilt information.
  • FIG. 3 is a flowchart illustrating the processing procedure of the input apparatus according to the first embodiment. For example, the process illustrated in FIG. 3 starts when the user's line-of-sight position is detected.
  • the input device 100 detects the line-of-sight position (step S101) and displays a cursor at the line-of-sight position (step S102).
  • the input device 100 determines whether a start button has been selected (step S103). If the start button has not been selected (No at Step S103), the input device 100 proceeds to Step S101.
  • step S104 the input device 100 detects the tilt (step S104), and moves the cursor according to the tilt information (step S105).
  • step S106 the input device 100 detects the line-of-sight position (step S106) and determines whether or not the distance between the line-of-sight position and the cursor position is within a threshold (step S107). If the distance between the line-of-sight position and the cursor position is not within the threshold (No at Step S107), the input apparatus 100 proceeds to Step S102.
  • step S107 when the distance between the line-of-sight position and the cursor position is within the threshold (step S107, Yes), the input device 100 fixes the cursor position (step S108). If the end button has not been selected (No at Step S109), the input device 100 proceeds to Step S104. On the other hand, when the end button is selected (step S109, Yes), the input device 100 ends the process.
  • the input device 100 detects the line-of-sight position on the touch panel 130, and compares the current cursor position with the line-of-sight position. Then, the input device 100 fixes the cursor position until the distance between the current cursor position and the line-of-sight position is equal to or greater than the threshold value. For this reason, according to the input device 100, it is possible to prevent designation of a position unintended by the user.
  • the input device 100 stops the cursor position according to the line-of-sight position until the distance between the cursor position and the line-of-sight position is equal to or greater than the threshold, and moves the cursor position according to the inclination information detected by the inclination detection unit 172. Let For this reason, according to the input device 100, the user can designate a rough cursor position by the line of sight and finely adjust the cursor position by the inclination.
  • the input device 100 temporarily stops the process of the inclination detection unit 172 while executing the process of moving the cursor position according to the line-of-sight position. Further, the input device 100 temporarily stops the process of the line-of-sight position detection unit 171 while executing the process of moving the cursor position based on the tilt information. For this reason, the input device 100 can achieve power saving.
  • the display control unit 173 may move the position of the cursor according to the movement direction of the input device 100 instead of the tilt. That is, the display control unit 173 acquires acceleration information from the sensor 140, and moves the cursor based on the correspondence table in which the acceleration is associated with the moving direction. The display control unit 173 stops the cursor position according to the line-of-sight position until the distance between the cursor position and the line-of-sight position is equal to or greater than the threshold, and moves the cursor position according to the acceleration from the sensor 140.
  • FIG. 4 is a diagram illustrating the configuration of the input device according to the second embodiment.
  • the input device 200 includes a camera 110, a light source 120, a touch panel 130, a sensor 140, and a communication unit 150. Since other configurations are the same as those of the known tablet terminal, the description thereof is omitted here.
  • the description regarding the camera 110, the light source 120, the touch panel 130, the sensor 140, the communication unit 150, and the storage unit 160 is the same as the description of the camera 110, the light source 120, the touch panel 130, the sensor 140, the communication unit 150, and the storage unit 160 illustrated in FIG. It is the same. For this reason, a description of each of the devices 110 to 160 is omitted.
  • the control unit 270 includes a line-of-sight position detection unit 171, an inclination detection unit 172, and a display control unit 273.
  • the description regarding the line-of-sight position detection unit 171 and the inclination detection unit 172 is the same as that of the line-of-sight position detection unit 171 and the inclination detection unit 172 shown in FIG.
  • the display control unit 273 is a processing unit that specifies a cursor position based on the line-of-sight position and tilt information, and displays the cursor at a position on the touch panel 130 corresponding to the specified cursor position.
  • FIG. 5 is a diagram for explaining the processing of the display control unit according to the second embodiment.
  • the display control unit 273 first moves the position of the cursor 10a according to the line-of-sight position detected by the line-of-sight position detection unit 171. In FIG. 5, when the line-of-sight position is 1D, the display control unit 273 moves the cursor 10a to the line-of-sight position 1D.
  • the display control part 273 moves the position of the cursor 10a by the inclination information acquired from the inclination detection part 172, when the start button 30a is selected by the user.
  • the process in which the display control unit 273 moves the position of the cursor 10a based on the tilt information is the same as that of the display control unit 173 in the first embodiment.
  • the display control unit 273 moves the position of the cursor 10a according to the line-of-sight position. Switch to processing. In addition, the display control part 273 complete
  • FIG. 6 is a flowchart illustrating the processing procedure of the input apparatus according to the second embodiment. For example, the process illustrated in FIG. 6 starts when the user's line-of-sight position is detected.
  • the input device 200 detects the line-of-sight position (step S201) and displays a cursor at the line-of-sight position (step S202).
  • the input device 200 determines whether or not the start button has been selected (step S203). When the start button has not been selected (No at Step S203), the input device 200 proceeds to Step S201.
  • step S203 when the start button is selected (step S203, Yes), the input device 200 detects the inclination (step S204), and moves the cursor according to the inclination information (step S205). The input device 200 determines whether or not the start button has been selected (step S206). When the start button is selected (Yes at Step S206), the input device 200 proceeds to Step S201.
  • the input device 200 determines whether the end button has been selected (Step S207). If the end button has not been selected (No at Step S207), the input device 200 proceeds to Step S204. On the other hand, when the end button is selected (step S207, Yes), the input device 200 fixes the cursor position (step S208). After fixing the cursor position, the input device 200 executes various processes corresponding to the cursor position.
  • the input device 200 accepts whether the cursor position is moved to the line-of-sight position detected by the line-of-sight position detection unit 171 or whether the cursor position is moved according to the inclination detected by the inclination detection unit 172, and moves the cursor position. For this reason, the user can select whether the position is designated by the line of sight or the position is designated by the inclination, and the cursor can be efficiently moved to a desired position.
  • the input device 200 may be executed in combination with the processing of the display control unit 273 and the processing of the display control unit 173.
  • FIG. 7 is a diagram illustrating an example of a computer that executes an input program.
  • the computer 300 includes a CPU 301 that executes various arithmetic processes, and a touch panel 302 that receives data input from the user and displays various information.
  • the computer 300 includes a reading device 303 that reads a program and the like from a storage medium, and an interface device 304 that exchanges data with another computer via a network.
  • the computer 300 includes a camera 305 and a sensor 306 that detects acceleration.
  • the computer 307 includes a RAM 306 that temporarily stores various information and a storage device 308.
  • the devices 301 to 308 are connected to the bus 309.
  • the storage device 308 includes a line-of-sight position detection program 308a, an inclination detection program 308b, and a display control program 308c.
  • the CPU 301 reads out each program 308 a, 308 b, and 308 c and develops it in the RAM 307.
  • Gaze position detection program 308a functions as a gaze position detection process 307a.
  • the inclination detection program 308b functions as an inclination detection process 307b.
  • the display control program 308c functions as a display control process 307c.
  • the line-of-sight position detection process 307a corresponds to the line-of-sight position detection unit 171.
  • the inclination detection process 307 b corresponds to the inclination detection unit 172.
  • the display control process 307 c corresponds to the display control units 173 and 273.
  • each program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, and an IC card inserted into the computer 300. Then, the computer 300 may read and execute each of the programs 308a to 308c from these.
  • a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, and an IC card inserted into the computer 300.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　本実施例に係る入力装置（１００）の視線位置検出部（１７１）が、タッチパネル１３０上の視線位置を検出する。入力装置（１００）の表示制御部（１７３）が、現在のカーソル位置と、視線位置とを比較する。そして、入力装置１００の表示制御部（１７３）は、現在のカーソル位置と、視線位置との距離が閾値以上となるまで、カーソル位置を固定する。

Description

入力装置及び入力プログラム
　本発明は、入力装置等に関する。
　画面上のカーソル位置を移動させる方法として、キーボードやマウスなどの他に、視線入力、傾き入力等がある。このうち視線入力は、マウスでカーソルを移動させる場合や傾き入力と比較して、遠い位置にカーソルをより早く移動させることが可能である。
　ここで、視線入力では視線の位置にブレが生じるため、細かい位置の指定はマウスでカーソルを移動させる場合と比較してやりづらい。
　そこで、大まかな位置の指定は他の方法と比べて有利だが、細部の位置の指定は他の方法と比べると不利な方法と、大まかな位置の指定は他の方法に比べて不利だが、細部の位置の指定は他の方法と比べると有利な方法とを組み合わせることが考えられる。例えば、大まかな位置の指定を、視線入力で行い、細かな位置の指定をマウスやキーボードで行うことが考えられる。
特開２００９－６４３９５号公報 特開２００９－２５１６５８号公報 特開２００７－１２１４８９号公報 特開平１１－９５９１０号公報
　しかしながら、上述した従来技術では、利用者の意図しない位置を指定してしまうという問題がある。
　例えば、大まかな位置の指定を視線入力で指定し、細かな位置の指定をマウスで指定する場合について説明する。視線入力は、利用者が格段の操作をしない限り、常に位置を指定する指示がなされていると判断されてしまう。このため、複数の位置指定の方法を組み合わせた場合に、他の方法で細部の位置を指定した後に、視線入力などの方法に切り替えると、他の方法で指定をした位置を移動させる意図がないときでも、別の位置に移動してしまう場合がある。
　１つの側面では、利用者の意図しない位置を指定することを防止できる入力装置及び入力プログラムを提供することを目的とする。
　第１の案では、入力装置は、視線位置検出部と、表示制御部とを有する。視線位置検出部は、画面上の視線位置を検出する。表示制御部は、現在の指定位置と、視線位置検出部が検出した視線位置とを比較し、指定位置と前記視線位置との距離が閾値以上となるまで、カーソル位置を前記指定位置に固定する。
　本発明の１実施態様によれば、利用者の意図しない位置を指定することを防止できるという効果を奏する。
図１は、本実施例１に係る入力装置の構成を示す図である。 図２は、本実施例１に係る表示制御部の処理を説明するための図である。 図３は、本実施例１に係る入力装置の処理手順を示すフローチャートである。 図４は、本実施例２に係る入力装置の構成を示す図である。 図５は、本実施例２に係る表示制御部の処理を説明するための図である。 図６は、本実施例２に係る入力装置の処理手順を示すフローチャートである。 図７は、入力プログラムを実行するコンピュータの一例を示す図である。
　以下に、本発明にかかる入力装置及び入力プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　本実施例１に係る入力装置の構成について説明する。図１は、本実施例１に係る入力装置の構成を示す図である。図１に示すように、この入力装置１００は、カメラ１１０、光源１２０、タッチパネル１３０、センサ１４０、通信部１５０を有する。なお、その他の構成は、周知のタブレット端末と同様であるため、ここでは説明を省略する。
　カメラ１１０は、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などを用いた撮像装置である。カメラ１１０は、撮像範囲に含まれる被写体の画像を撮影し、撮影した被写体の画像データを、制御部１７０に出力する。
　例えば、カメラ１１０は、画像を撮影するタイミングで、光源１２０を制御し、被写体に赤外線を照射させる。カメラ１１０が撮影する被写体に利用者の眼球が含まれる場合には、網膜上の光の反射がカメラ１１０によって捉えられ、眼球の瞳孔部分が他の部分よりも明るく写った画像が得られる。なお、上記のカメラ１１０は、入力装置１００の出荷時から搭載されているカメラを利用しても良いし、外部接続されたデジタルカメラ等を利用しても良い。
　光源１２０は、カメラ１１０の制御命令に応答して、赤外線を照射する装置である。
　タッチパネル１３０は、表示と入力の二つの機能を備えたインターフェースである。タッチパネル１３０は、制御部１７０から出力される情報を表示する。例えば、タッチパネル１３０は、制御部１７０によって指定された位置にカーソルを表示させる。また、タッチパネル１３０は、タッチ操作を受け付けた場合に、触れられた画面位置の情報を制御部１７０に出力する。
　センサ１４０は、加速による質量の位置変化を捉えることで、入力装置１００の上下左右方向の加速度を計測するセンサである。センサ１４０は、計測した加速度の情報を、制御部１７０に出力する。
　通信部１５０は、ネットワークに接続して他の装置とデータ通信を実行する処理部である。例えば、通信部１５０は、無線通信装置に対応する。後述する制御部１７０は、通信部１５０を介して、ネットワーク上の外部装置等とデータ通信を実行する。
　記憶部１６０は、各種の情報を記憶する記憶装置である。例えば、記憶部１６０は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
　制御部１７０は、視線位置検出部１７１、傾き検出部１７２、表示制御部１７３を有する。例えば、制御部１７０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）や、ＦＰＧＡ（Field　Programmable　Gate　Array）などの集積装置に対応する。また、制御部１７０は、例えば、ＣＰＵやＭＰＵ（Micro　Processing　Unit）等の電子回路に対応する。
　視線位置検出部１７１は、タッチパネル１３０上の視線位置を検出する処理部である。視線位置検出部１７１は、視線位置の情報を表示制御部１７３に出力する。例えば、視線位置検出部１７１は、カメラ１１０によって出力された被写体の画像に角膜反射法などのアルゴリズムを適用し、眼球の瞳孔の中心位置から視線の方向が指す視点の位置を検出する。係る視点の位置を、本実施例では視線位置とする。
　なお、ここでは、角膜反射法を用いて視線位置を検出する場合について説明したが、他の方法を用いて視線位置を検出しても良い。例えば、入力装置１００は、タッチパネル１３０の画面を分割し、分割した領域を見る眼の形状を学習しておき、カメラ１１０から入力される画像から抽出した眼の形状とテンプレートマッチングを実行することによって、視線位置を検出しても良い。また、入力装置１００は、視線の位置を検出するヘッドセットを利用者に装着させ、ヘッドセットによって検出された視線の位置を取得しても良い。
　傾き検出部１７２は、センサ１４０から加速度の情報を取得し、取得した加速度の情報を傾きに変換する処理部である。例えば、傾き検出部１７２は、加速度の値と、傾きの方向及び大きさとを対応付けた変換テーブルを保持し、係る変換テーブルを基にして、加速度の値を傾きの方向および大きさに変換する。以下の説明では、傾きの方向および大きさをまとめて適宜、傾き情報と表記する。傾き検出部１７２は、傾き情報を、表示制御部１７３に出力する。
　表示制御部１７３は、視線位置および傾き情報を基にして、カーソル位置を特定し、特定したカーソル位置に対応するタッチパネル１３０上の位置にカーソルを表示させる処理部である。また、表示制御部１７３は、周知のタブレット端末と同様にして、各種の画像をタッチパネル１３０に表示させる。
　まず、表示制御部１７３が、視線位置に合わせてカーソルを移動させる処理の一例について説明する。表示制御部１７３は、現在のカーソル位置と、視線位置とを比較し、現在のカーソル位置と視線位置との距離が閾値以上となるまで、カーソル位置を固定する処理を実行する。
　図２は、本実施例１に係る表示制御部の処理を説明するための図である。図２では説明の便宜上、現在のカーソル１０ａの位置を位置１Ａとする。表示制御部１７３は、位置１Ａを中心とする半径Ｒの円の領域２０に視線位置が存在するか否かによって、カーソル１０ａの位置を固定するか否かを判定する。表示制御部１７３は、視線位置が領域２０に含まれる場合には、カーソル１０ａの位置を固定し、視線位置が領域２０に含まれない場合には、カーソル１０ａの位置を、視線位置に移動させる。
　図２において、表示制御部１７３は、視線位置が１Ｂである場合には、領域２０に視線位置が含まれるため、カーソル１０ａの位置を固定する。視線位置が領域２０に含まれる場合には、利用者の興味がカーソル１０ａ付近に存在することを意味する。ここで、視線位置に合わせてカーソル１０ａを移動させてしまうと、視線位置のブレによって、カーソル１０ａを移動させづらい。このため、表示制御部１７３は、視線位置に合わせてカーソル１０ａを移動させない。なお、後述するように、表示制御部１７３は、傾き検出部１７２から取得する傾き情報に合わせて、カーソル１０ａを移動させる。
　図２において、表示制御部１７３は、視線位置が１Ｃである場合には、領域２０に視線位置が含まれていないため、カーソル１０ａの位置を、視線位置１Ｃに移動させる。視線位置が領域２０に含まれていない場合には、利用者の興味がカーソル１０ａ付近に存在しないことを意味するため、視線位置に合わせてカーソル１０ａを移動させても問題が無い。
　続いて、表示制御部１７３が、傾き情報に合わせてカーソルを移動させる処理の一例について説明する。例えば、表示制御部１７３は、上記視線位置によるカーソルの移動処理を実行している間に、所定の切り替え指示を受け付けた場合に、傾き情報に合わせてカーソルを移動させる処理を開始する。例えば、表示制御部１７３は、タッチパネル１３０上に表示された開始ボタンが選択された場合や、傾きの大きさが閾値以上となった場合に、傾き情報に合わせてカーソルを移動させる処理を開始しても良い。
　表示制御部１７３は、傾きの大きさとカーソルの移動量とを対応付けた対応テーブルを保持し、係る対応テーブルを基にして、カーソルを移動させる。カーソルの移動方向は、傾き情報に含まれる傾きの方向に合わせて移動させる。
　表示制御部１７３は、上記図２に示したように、視線位置が１Ｂである場合には、領域２０に視線位置が含まれるため、カーソル１０ａの位置を固定する。しかしながら、この固定は、視線位置に対するカーソルの移動を固定することを意味する。すなわち、表示制御部１７３は、傾き情報に合わせてカーソルを移動させる処理を実行している間に、領域２０に視線位置が含まれる場合であっても、傾き情報に合わせてカーソル１０ａを移動させる。
　表示制御部１７３は、タッチパネル１３０上の図示しない終了ボタンが選択された場合には、処理を終了する。
　なお、表示制御部１７３は、視線位置によってカーソルの位置を移動させる処理を実行している間は、傾き検出部１７２の処理を一時的に停止させても良い。また、表示制御部１７３は、傾き情報によってカーソルの位置を移動させる処理を実行している間は、視線位置検出部１７１の処理を一時的に停止させても良い。
　次に、本実施例１に係る入力装置１００の処理手順について説明する。図３は、本実施例１に係る入力装置の処理手順を示すフローチャートである。例えば、図３に示す処理は、利用者の視線位置を検出したことを契機にして、処理を開始する。
　図３に示すように、入力装置１００は、視線位置を検出し（ステップＳ１０１）、視線位置にカーソルを表示する（ステップＳ１０２）。入力装置１００は、開始ボタンが選択されたか否かを判定する（ステップＳ１０３）。入力装置１００は、開始ボタンが選択されていない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０１に移行する。
　一方、入力装置１００は、開始ボタンが選択された場合には（ステップＳ１０３，Ｙｅｓ）、傾きを検出し（ステップＳ１０４）、傾き情報に応じてカーソルを移動させる（ステップＳ１０５）。入力装置１００は、視線位置を検出し（ステップＳ１０６）、視線位置とカーソル位置との距離が閾値以内であるか否かを判定する（ステップＳ１０７）。入力装置１００は、視線位置とカーソル位置との距離が閾値以内でない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１０２に移行する。
　一方、入力装置１００は、視線位置とカーソル位置との距離が閾値以内である場合には（ステップＳ１０７，Ｙｅｓ）、カーソル位置を固定する（ステップＳ１０８）。入力装置１００は、終了ボタンが選択されていない場合には（ステップＳ１０９，Ｎｏ）、ステップＳ１０４に移行する。一方、入力装置１００は、終了ボタンが選択された場合には（ステップＳ１０９，Ｙｅｓ）、処理を終了する。
　次に、本実施例１に係る入力装置１００の効果について説明する。入力装置１００は、タッチパネル１３０上の視線位置を検出し、現在のカーソル位置と、視線位置とを比較する。そして、入力装置１００は、現在のカーソル位置と、視線位置との距離が閾値以上となるまで、カーソル位置を固定する。このため、入力装置１００によれば、利用者の意図しない位置を指定することを防止できる。
　また、入力装置１００は、カーソル位置と視線位置との距離が閾値以上となるまで、視線位置に応じたカーソル位置を停止し、傾き検出部１７２が検出した傾き情報に応じて、カーソル位置を移動させる。このため、入力装置１００によれば、利用者は視線によって大まかなカーソル位置を指定し、傾きによって、カーソル位置を微調整することが可能となる。
　入力装置１００は、視線位置によってカーソルの位置を移動させる処理を実行している間は、傾き検出部１７２の処理を一時的に停止させる。また、入力装置１００は、傾き情報によってカーソルの位置を移動させる処理を実行している間は、視線位置検出部１７１の処理を一時的に停止させる。このため、入力装置１００は、省電力化を図ることが可能となる。
　なお、表示制御部１７３は、傾きの代わりに、入力装置１００の移動方向によって、カーソルの位置を移動させても良い。すなわち、表示制御部１７３は、センサ１４０から加速度の情報を取得し、加速度と移動方向とを対応付けた対応テーブルを基にして、カーソルを移動させる。表示制御部１７３は、カーソル位置と視線位置との距離が閾値以上となるまで、視線位置に応じたカーソル位置を停止し、センサ１４０からの加速度に応じて、カーソル位置を移動させる。
　本実施例２に係る入力装置の構成について説明する。図４は、本実施例２に係る入力装置の構成を示す図である。図４に示すように、この入力装置２００は、カメラ１１０、光源１２０、タッチパネル１３０、センサ１４０、通信部１５０を有する。なお、その他の構成は、周知のタブレット端末と同様であるため、ここでは説明を省略する。
　カメラ１１０、光源１２０、タッチパネル１３０、センサ１４０、通信部１５０、記憶部１６０に関する説明は、図１に示したカメラ１１０、光源１２０、タッチパネル１３０、センサ１４０、通信部１５０、記憶部１６０の説明と同様である。このため、各装置１１０～１６０に関する説明は省略する。
　制御部２７０は、視線位置検出部１７１、傾き検出部１７２、表示制御部２７３を有する。視線位置検出部１７１、傾き検出部１７２に関する説明は、図１に示した視線位置検出部１７１、傾き検出部１７２と同様であるため、同様の記号を付して説明を省略する。
　表示制御部２７３は、視線位置および傾き情報を基にして、カーソル位置を特定し、特定したカーソル位置に対応するタッチパネル１３０上の位置にカーソルを表示させる処理部である。
　図５は、本実施例２に係る表示制御部の処理を説明するための図である。表示制御部２７３は、まず、視線位置検出部１７１が検出した視線位置に合わせてカーソル１０ａの位置を移動させる。図５において、視線位置が１Ｄの場合には、表示制御部２７３は、カーソル１０ａを、視線位置１Ｄに移動させる。
　そして、表示制御部２７３は、利用者によって開始ボタン３０ａが選択された場合には、傾き検出部１７２から取得する傾き情報によってカーソル１０ａの位置を移動させる。表示制御部２７３が、傾き情報によってカーソル１０ａの位置を移動させる処理は、実施例１の表示制御部１７３と同様である。
　また、表示制御部２７３は、傾き情報によってカーソル１０ａの位置を移動させる処理を実行している間に、開始ボタン３０ａが選択された場合には、視線位置に合わせてカーソル１０ａの位置を移動させる処理に切り替える。なお、表示制御部２７３は、利用者によって終了ボタン３０ｂが選択された場合には、処理を終了する。
　次に、本実施例２に係る入力装置２００の処理手順について説明する。図６は、本実施例２に係る入力装置の処理手順を示すフローチャートである。例えば、図６に示す処理は、利用者の視線位置を検出したことを契機にして、処理を開始する。
　図６に示すように、入力装置２００は、視線位置を検出し（ステップＳ２０１）、視線位置にカーソルを表示する（ステップＳ２０２）。入力装置２００は、開始ボタンが選択されたか否かを判定する（ステップＳ２０３）。入力装置２００は、開始ボタンが選択されていない場合には（ステップＳ２０３，Ｎｏ）、ステップＳ２０１に移行する。
　一方、入力装置２００は、開始ボタンが選択された場合には（ステップＳ２０３，Ｙｅｓ）、傾きを検出し（ステップＳ２０４）、傾き情報に応じてカーソルを移動させる（ステップＳ２０５）。入力装置２００は、開始ボタンが選択されたか否かを判定する（ステップＳ２０６）。入力装置２００は、開始ボタンが選択された場合には（ステップＳ２０６，Ｙｅｓ）、ステップＳ２０１に移行する。
　一方、入力装置２００は、開始ボタンが選択されていない場合には（ステップＳ２０６，Ｎｏ）、終了ボタンが選択されたか否かを判定する（ステップＳ２０７）。入力装置２００は、終了ボタンが選択されていない場合には（ステップＳ２０７，Ｎｏ）、ステップＳ２０４に移行する。一方、入力装置２００は、終了ボタンが選択された場合には（ステップＳ２０７，Ｙｅｓ）、カーソル位置を固定する（ステップＳ２０８）。入力装置２００は、カーソル位置を固定した後、カーソル位置に対応した各種の処理を実行する。
　次に、本実施例２に係る入力装置２００の効果について説明する。入力装置２００は、視線位置検出部１７１が検出した視線位置にカーソル位置を移動させるのか、傾き検出部１７２が検出した傾きに応じてカーソル位置を移動させるのかを受け付け、カーソル位置を移動させる。このため、利用者は、視線により位置を指定するのか、傾きにより位置を指定するのかを選択でき、効率的に所望の位置にカーソルを移動させることができる。
　なお、入力装置２００は、表示制御部２７３の処理と、表示制御部１７３の処理と組み合わせて実行しても良い。
　次に、上記の実施例に示した入力装置と同様の機能を実現する支援プログラムを実行するコンピュータの一例を説明する。図７は、入力プログラムを実行するコンピュータの一例を示す図である。
　図７に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付けると共に、各種の情報を表示するタッチパネル３０２を有する。コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０３と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０４とを有する。コンピュータ３００は、カメラ３０５、加速度を検出するセンサ３０６を有する。コンピュータ３０７は、各種情報を一時記憶するＲＡＭ３０６と、記憶装置３０８を有する。そして、各装置３０１～３０８は、バス３０９に接続される。
　記憶装置３０８は、視線位置検出プログラム３０８ａ、傾き検出プログラム３０８ｂ、表示制御プログラム３０８ｃを有する。ＣＰＵ３０１は、各プログラム３０８ａ，３０８ｂ，３０８ｃを読み出してＲＡＭ３０７に展開する。
　視線位置検出プログラム３０８ａは、視線位置検出プロセス３０７ａとして機能する。傾き検出プログラム３０８ｂは、傾き検出プロセス３０７ｂとして機能する。表示制御プログラム３０８ｃは、表示制御プロセス３０７ｃとして機能する。
　例えば、視線位置検出プロセス３０７ａは、視線位置検出部１７１に対応する。傾き検出プロセス３０７ｂは、傾き検出部１７２に対応する。表示制御プロセス３０７ｃは、表示制御部１７３，２７３に対応する。
　なお、各プログラム３０８ａ～３０８ｃについては、必ずしも最初から記憶装置３０８に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラム３０８ａ～３０８ｃを読み出して実行するようにしてもよい。
　１００，２００　入力装置
　１７０，２７０　制御部
　１７１　視線位置検出部
　１７２　傾き検出部
　１７３　表示制御部

Claims (5)

  1. 　画面上の視線位置を検出する視線位置検出部と、
    　現在の指定位置と、視線位置検出部が検出した視線位置とを比較し、前記指定位置と前記視線位置との距離が閾値以上となるまで、カーソル位置を前記指定位置に固定する表示制御部と
    　を有することを特徴とする入力装置。
  2. 　自入力装置の傾きを検出する傾き検出部を更に有し、
    　前記表示制御部は、前記指定位置と前記視線位置との距離が閾値以上となるまで、前記視線位置に応じたカーソル位置を停止し、前記傾き検出部が検出した傾きに応じて、前記カーソル位置を移動させることを特徴とする請求項１に記載の入力装置。
  3. 　前記表示制御部は、前記視線位置に応じて前記カーソル位置を移動させる間は、前記傾き検出部の処理を停止し、前記傾きに応じて前記カーソル位置を移動させる間は、前記視線位置検出部の処理を停止することを特徴とする請求項２に記載の入力装置。
  4. 　前記表示制御部は、視線位置検出部が検出した視線位置に前記カーソル位置を移動させるのか、傾き検出部が検出した傾きに応じて前記カーソル位置を移動させるのかを示す制御情報を取得し、取得した制御情報を基にして、前記カーソル位置を移動させることを特徴とする請求項３に記載の入力装置。
  5. 　コンピュータに、
    　画面上の視線位置を検出し、
    　現在の指定位置と、検出した視線位置とを比較し、前記指定位置と前記視線位置との距離が閾値以上となるまで、カーソル位置を前記指定位置に固定する
    　各処理を実行することを特徴とする入力プログラム。
PCT/JP2013/062949 2013-05-08 2013-05-08 入力装置及び入力プログラム WO2014181403A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015515673A JP6070833B2 (ja) 2013-05-08 2013-05-08 入力装置及び入力プログラム
PCT/JP2013/062949 WO2014181403A1 (ja) 2013-05-08 2013-05-08 入力装置及び入力プログラム
EP13883906.3A EP2996020A4 (en) 2013-05-08 2013-05-08 INPUT DEVICE AND INPUT PROGRAM
KR1020157031560A KR101780138B1 (ko) 2013-05-08 2013-05-08 입력 장치 및 기억 매체
CN201380076326.6A CN105190515A (zh) 2013-05-08 2013-05-08 输入装置以及输入程序
US14/924,205 US9804671B2 (en) 2013-05-08 2015-10-27 Input device and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/062949 WO2014181403A1 (ja) 2013-05-08 2013-05-08 入力装置及び入力プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/924,205 Continuation US9804671B2 (en) 2013-05-08 2015-10-27 Input device and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2014181403A1 true WO2014181403A1 (ja) 2014-11-13

Family

ID=51866907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/062949 WO2014181403A1 (ja) 2013-05-08 2013-05-08 入力装置及び入力プログラム

Country Status (6)

Country Link
US (1) US9804671B2 (ja)
EP (1) EP2996020A4 (ja)
JP (1) JP6070833B2 (ja)
KR (1) KR101780138B1 (ja)
CN (1) CN105190515A (ja)
WO (1) WO2014181403A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016103102A (ja) * 2014-11-27 2016-06-02 京セラ株式会社 携帯端末及び制御方法
KR20160078160A (ko) * 2014-12-24 2016-07-04 삼성전자주식회사 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
EP3070582A1 (en) * 2015-03-19 2016-09-21 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for setting a cursor position

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105190515A (zh) * 2013-05-08 2015-12-23 富士通株式会社 输入装置以及输入程序
US10884493B2 (en) * 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US10558272B2 (en) * 2013-06-20 2020-02-11 Uday Parshionikar Gesture control via eye tracking, head tracking, facial expressions and other user actions
WO2014205422A2 (en) * 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US10133346B2 (en) * 2014-05-30 2018-11-20 Koç Üniversitesi Gaze based prediction device and method
US10061384B2 (en) * 2015-02-23 2018-08-28 Sony Corporation Information processing apparatus, information processing method, and program
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
WO2017053966A1 (en) * 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
JP6597397B2 (ja) * 2016-02-29 2019-10-30 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
ES2939165T3 (es) 2016-04-29 2023-04-19 Tobii Ab Dispositivos portátiles con seguimiento ocular
JP6373546B2 (ja) * 2016-09-02 2018-08-15 楽天株式会社 情報処理装置、情報処理方法、及びプログラム
US10831265B2 (en) * 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
US10890967B2 (en) * 2018-07-09 2021-01-12 Microsoft Technology Licensing, Llc Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US11514602B2 (en) 2018-12-25 2022-11-29 Samsung Electronics Co., Ltd. Method and apparatus for gaze estimation
DE102021104127A1 (de) * 2021-02-22 2022-08-25 Christian-Albrechts-Universität zu Kiel, Körperschaft des öffentlichen Rechts Verfahren zum Betreiben eines mobilen Computergeräts, Computerprogramm und mobiles Computergerät
US20240134516A1 (en) * 2022-10-25 2024-04-25 Robert Bosch Gmbh System and method for coarse and fine selection keyboard user interfaces

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195910A (ja) 1997-09-17 1999-04-09 Citizen Watch Co Ltd ポインティングデバイス
JPH11259224A (ja) * 1998-03-10 1999-09-24 Nec Corp ポインティングデバイス
JP2006309291A (ja) * 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ 瞳孔検出に基づくポインティング装置及び方法
JP2007121489A (ja) 2005-10-26 2007-05-17 Nec Corp 携帯表示装置
JP2009064395A (ja) 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009251658A (ja) 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法
JP2011059781A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報表示装置、情報表示方法及びプログラム
JP2013073330A (ja) * 2011-09-27 2013-04-22 Nec Casio Mobile Communications Ltd 携帯型電子機器、タッチ領域設定方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08335135A (ja) * 1995-06-07 1996-12-17 Canon Inc 情報処理装置
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2004287823A (ja) * 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
JP2006113859A (ja) * 2004-10-15 2006-04-27 Nec Corp 携帯情報端末及びその表示制御方法
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5474202B2 (ja) * 2009-09-29 2014-04-16 アルカテル−ルーセント 顔検出および画像測定に基づいて注視点を検出する方法および装置
CN101943957A (zh) * 2010-07-23 2011-01-12 康佳集团股份有限公司 一种带加速度传感器的触摸屏手机和鼠标输入的方法
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
CN102279647A (zh) * 2011-06-20 2011-12-14 中兴通讯股份有限公司 一种移动终端及其实现光标移动的方法
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US20140009739A1 (en) * 2012-06-14 2014-01-09 Lindsay Greco Wearable apparatus and ir configuration for optimizing eye-tracking used for human computer interaction
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
CN105190515A (zh) * 2013-05-08 2015-12-23 富士通株式会社 输入装置以及输入程序
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US9940900B2 (en) * 2013-09-22 2018-04-10 Inuitive Ltd. Peripheral electronic device and method for using same
US9955895B2 (en) * 2013-11-05 2018-05-01 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
AU2015236010A1 (en) * 2014-03-26 2016-11-10 Unanimous A.I. LLC Methods and systems for real-time closed-loop collaborative intelligence
US9645641B2 (en) * 2014-08-01 2017-05-09 Microsoft Technology Licensing, Llc Reflection-based control activation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195910A (ja) 1997-09-17 1999-04-09 Citizen Watch Co Ltd ポインティングデバイス
JPH11259224A (ja) * 1998-03-10 1999-09-24 Nec Corp ポインティングデバイス
JP2006309291A (ja) * 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ 瞳孔検出に基づくポインティング装置及び方法
JP2007121489A (ja) 2005-10-26 2007-05-17 Nec Corp 携帯表示装置
JP2009064395A (ja) 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009251658A (ja) 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法
JP2011059781A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報表示装置、情報表示方法及びプログラム
JP2013073330A (ja) * 2011-09-27 2013-04-22 Nec Casio Mobile Communications Ltd 携帯型電子機器、タッチ領域設定方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2996020A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016103102A (ja) * 2014-11-27 2016-06-02 京セラ株式会社 携帯端末及び制御方法
KR20160078160A (ko) * 2014-12-24 2016-07-04 삼성전자주식회사 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
KR102325339B1 (ko) * 2014-12-24 2021-11-11 삼성전자주식회사 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
EP3070582A1 (en) * 2015-03-19 2016-09-21 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for setting a cursor position
US9983695B2 (en) 2015-03-19 2018-05-29 Lenovo (Singapore)Pte. Ltd. Apparatus, method, and program product for setting a cursor position

Also Published As

Publication number Publication date
KR101780138B1 (ko) 2017-09-19
JPWO2014181403A1 (ja) 2017-02-23
EP2996020A1 (en) 2016-03-16
CN105190515A (zh) 2015-12-23
US20160048223A1 (en) 2016-02-18
EP2996020A4 (en) 2016-05-25
KR20150138360A (ko) 2015-12-09
JP6070833B2 (ja) 2017-02-01
US9804671B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
JP6070833B2 (ja) 入力装置及び入力プログラム
KR102469722B1 (ko) 디스플레이 장치 및 그 제어 방법
US9507420B2 (en) System and method for providing haptic feedback to assist in capturing images
US9098135B2 (en) Tablet terminal and recording medium
US9952667B2 (en) Apparatus and method for calibration of gaze detection
US10649313B2 (en) Electronic apparatus and method for controlling same
KR101500843B1 (ko) 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체
US20110248942A1 (en) Image pick-up apparatus, detection-frame adjustment method, and program
US10375312B2 (en) Imaging device and video generation method by imaging device
JP6123694B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2009031334A (ja) プロジェクタ及びプロジェクタの投射方法
US20150234461A1 (en) Display control device, display control method and recording medium
US10652442B2 (en) Image capturing apparatus with operation members provided on different sides, control method of the same, and storage medium
JP6280005B2 (ja) 情報処理装置、画像投影装置および情報処理方法
US10416814B2 (en) Information processing apparatus to display an image on a flat surface, method of controlling the same, and storage medium
JP6079418B2 (ja) 入力装置および入力プログラム
KR102614026B1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
JP2014048775A (ja) 注視位置特定装置、および注視位置特定プログラム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6823988B2 (ja) 画面操作方法及び画面操作装置
JP2015207908A (ja) 情報処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380076326.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13883906

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015515673

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20157031560

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013883906

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE