JPH08272517A - Device and method for selecting sight line correspondence and information processor - Google Patents
Device and method for selecting sight line correspondence and information processorInfo
- Publication number
- JPH08272517A JPH08272517A JP7069711A JP6971195A JPH08272517A JP H08272517 A JPH08272517 A JP H08272517A JP 7069711 A JP7069711 A JP 7069711A JP 6971195 A JP6971195 A JP 6971195A JP H08272517 A JPH08272517 A JP H08272517A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- gaze
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は視線対応選択装置及び方
法に係り、詳しくは、視線により画面上に表示された情
報を選択する視線対応選択装置及び方法並びに、その選
択装置を備えたワードプロセッサ、パーソナルコンピュ
ータ等の情報処理装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a line-of-sight correspondence selection device and method, and more particularly, to a line-of-sight correspondence selection device and method for selecting information displayed on a screen by a line-of-sight, and a word processor equipped with the selection device. The present invention relates to an information processing device such as a personal computer.
【０００２】[0002]
【従来の技術】人間とコンピュータ等の機械との関係を
親密なものにするためのインターフェースとしては、例
えば、マウス等のポインティングデバイスが挙げられ
る。マウスは、コンピュータの画面上のカーソルを移動
させて、その画面に表示されたアイコン（絵文字）を選
択したり、図形等を作成する等の操作が可能となってい
る。しかしながら、マウスを操作する際に、使用者がキ
ーボードからいちいち手を離さなければならないこと
や、離した手をキーボードに戻す際に、キーのミスタッ
チが生じやすい等の不都合がある。そこで、人間とコン
ピュータとの関係をより親密なものにしつつ、それらの
不都合を解消できるインターフェースとして、視線によ
り画面上に表示された情報を選択する装置が各種提案さ
れている。2. Description of the Related Art A pointing device such as a mouse is an example of an interface for making a relationship between a human being and a machine such as a computer intimate. The mouse can be operated by moving a cursor on the screen of the computer to select an icon (pictogram) displayed on the screen, creating a figure or the like. However, there are inconveniences such as that the user has to release his / her hand from the keyboard when operating the mouse, and when the released hand is returned to the keyboard, a mistouch of the key is likely to occur. Therefore, various types of devices have been proposed that select information displayed on the screen by the line of sight as an interface that can solve the inconveniences while making the relationship between humans and computers more intimate.
【０００３】例えば、第１の従来例として、特公平６０
−１７１２５号公報(G06F 3/03) に記載の眼によるデー
タ入力装置がある。この装置は、図６に示すように、ユ
ーザ３１が凝視する画面３２上の標的点を検出し、視線
の動きから凝視点（注視点）が特定の標的点上に予定時
間固定することに応答してデータを入力する。For example, as a first conventional example, Japanese Patent Publication No. 60
There is an eye data input device described in Japanese Patent Publication No. 17125 (G06F 3/03). As shown in FIG. 6, this device detects a target point on the screen 32 where the user 31 gazes, and responds to the fixation point (gazing point) fixed on the specific target point for a predetermined time from the movement of the line of sight. And enter the data.
【０００４】第２の従来例として、特開昭６０−１３２
２２４号公報(G06F 3/03) に記載の位置指示装置があ
る。この装置は、図７に示すように、ディスプレイ表示
画面４１上におけるユーザの注視点を検出するための一
対のスポットランプ４２及びセンサ４３からなる注視点
検出部４４と、この検出部４４からの検出信号に基づい
て、表示画面４１上の注視点にカーソルを移動させるＣ
ＰＵ４５とを備えている。すなわち、ユーザは視線によ
りカーソルを所望の位置に移動させて、その位置にある
情報を選択する。As a second conventional example, Japanese Patent Laid-Open No. 60-132
There is a position pointing device described in Japanese Patent No. 224 (G06F 3/03). As shown in FIG. 7, this device includes a pair of spot lamps 42 and a sensor 43 for detecting a user's gazing point on a display screen 41, and a gazing point detecting section 44, and detection from this detecting section 44. Based on the signal, move the cursor to the gazing point on the display screen 41 C
And PU 45. That is, the user moves the cursor to a desired position by the line of sight and selects the information at that position.
【０００５】第３の従来例として、特開平４−２３０２
７号公報(G06F 3/033)に記載のウインドウ選択方式があ
る。この方式では、図８に示すように、頭位置測定装置
５１により測定された頭の位置と、瞳孔位置測定装置５
２により測定された瞳孔の位置とから制御部５４がディ
スプレイ５３の画面上における視点の位置を決定し、特
定のマークを表示する。又、この制御部５４は、このマ
ークがウインドウ内に位置したときに、作業用ウインド
ウの切換を行う。更に、制御部５４は、片眼の瞼の開閉
（まばたき）を検知して、視点マークによって指定され
る作業用ウインドウの機能を変更する。As a third conventional example, Japanese Patent Laid-Open No. 4-2302
There is a window selection method described in Publication No. 7 (G06F 3/033). In this method, as shown in FIG. 8, the head position measured by the head position measuring device 51 and the pupil position measuring device 5 are measured.
The control unit 54 determines the position of the viewpoint on the screen of the display 53 from the position of the pupil measured in 2 and displays a specific mark. Further, the control unit 54 switches the work window when this mark is located in the window. Further, the control unit 54 detects the opening / closing (blinking) of the eyelid of one eye, and changes the function of the work window designated by the viewpoint mark.
【０００６】第４の従来例として、文字入力装置があ
る。この装置では、画面上に複数の文字が表示され、各
文字に対してカーソルが所定時間間隔で順次点滅表示さ
れる。そして、ユーザが入力を所望する文字上でカーソ
ルが点滅しているときに、画面上に表示された実行アイ
コンを見ることで、その文字が選択入力されるように構
成されている。As a fourth conventional example, there is a character input device. In this device, a plurality of characters are displayed on the screen, and a cursor is sequentially blinked for each character at predetermined time intervals. Then, when the cursor is blinking on the character the user desires to input, the character is selected and input by looking at the execution icon displayed on the screen.
【０００７】上記した各装置において視線によってデー
タ入力や、ウインドウあるいは文字の選択を行うことに
より、マウスのようにカーソルを目的の位置まで移動さ
せてクリックする操作の必要性がなくなる。By inputting data or selecting a window or a character by the line of sight in each of the above-mentioned devices, there is no need to move the cursor to a desired position and click like a mouse.
【０００８】[0008]
【発明が解決しようとする課題】ところが、上記したデ
ータ入力装置（第１の例）は、凝視点（注視点）が特定
の標的点上に予定時間固定することに応答してデータ入
力するので、ユーザが不本意に目標を見つめると動作し
てしまう。このため、ユーザはデータ入力の必要がない
のに視線が固定してしまうようなとき、これを避けるた
めに視線を画面から背けなければならず、ユーザの負担
になるという問題点がある。However, since the data input device (first example) described above inputs data in response to the fixation point (gazing point) being fixed on a specific target point for a predetermined time. , If the user reluctantly looks at the goal, it will work. For this reason, when the user does not need to input data but the line of sight is fixed, the line of sight must be turned away from the screen to avoid this, which is a burden on the user.
【０００９】そこで、視線の固定時間を長く設定してデ
ータ入力することが考えられるが、このようにすると、
ユーザは長い時間画面を注視しなければならず苦痛にな
る。すなわち、特定のデータに視線を固定していても実
際には、視線は頻繁に移動しているので、ユーザにとっ
ては負担となる。又、注視しているデータ以外のものに
気を奪われて視線が外れたりする。逆に、視線の固定時
間を短く設定すると、僅かな視線の固定で動作しまうの
で、画面を単に見ているのかデータを入力しているのか
を区別することができなくなるとともに、意図しないデ
ータが入力されてしまうことがある。Therefore, it is conceivable to set the fixed time of the line of sight to be long and input the data.
The user has to watch the screen for a long time, which is a pain. That is, even if the line of sight is fixed to specific data, the line of sight actually moves frequently, which is a burden on the user. Also, the line of sight may be distracted by something other than the data being watched. On the other hand, if you set a short line-of-sight fixation time, it will work with a small amount of line-of-sight fixed, so it will not be possible to distinguish whether you are just looking at the screen or you are inputting data, and you will enter unintended data. It may be done.
【００１０】又、上記した位置指示装置（第２の例）に
おいては、注視点にカーソルを移動させるだけであるの
で、そのカーソル位置にアイコン等がある場合の選択操
作はキーボードで行うことになり面倒である。Further, in the above-mentioned position pointing device (second example), since the cursor is simply moved to the gazing point, the selection operation when the icon or the like is at the cursor position is performed by the keyboard. It is troublesome.
【００１１】更に、上記したウインドウ選択方式（第３
の例）においては、ウインドウの機能を変更する場合に
は片眼だけまばたきしないといけないので、ユーザの視
線だけで機能を変更させることができない。Further, the above-mentioned window selection method (the third
In the example), when changing the function of the window, only one eye has to blink, so that the function cannot be changed only by the user's line of sight.
【００１２】又、上記した文字入力装置（第４の例）に
おいては、ユーザが入力を所望する文字上でカーソルが
点滅表示されているときに実行アイコンを見ることで、
その文字が選択されるので、選択作業に時間がかかると
いう問題がある。In the character input device (fourth example) described above, by looking at the execution icon when the cursor is blinkingly displayed on the character the user desires to input,
Since the character is selected, there is a problem that the selection work takes time.
【００１３】本発明は上記問題点を解決するためになさ
れたものであって、その目的は、画面上に表示された情
報を視線によって容易に、かつ確実に選択することがで
きる視線対応選択装置及び視線対応選択方法を提供する
ことにある。The present invention has been made to solve the above problems, and an object of the present invention is to select a line-of-sight correspondence selecting device capable of easily and reliably selecting information displayed on a screen by a line of sight. And to provide a line-of-sight correspondence selection method.
【００１４】[0014]
【課題を解決するための手段】上記の課題を解決するた
め本発明は、情報を表示する画面上の視線位置を検出す
る検出手段を備えた視線対応選択装置において、前記検
出手段により検出された視線位置に基づいて、前記画面
上に表示された情報に対して視線が注視状態であるとき
に、その注視対象の情報に対して視線を誘導する表示を
前記画面上に行う表示制御手段を備えたことを要旨とす
る。In order to solve the above-mentioned problems, the present invention provides a line-of-sight correspondence selecting apparatus having a detecting unit for detecting the position of the line of sight on a screen displaying information, which is detected by the detecting unit. A display control means for performing, on the screen, a display for guiding the line of sight to the information of the gaze target when the line of sight is gazed on the information displayed on the screen based on the gaze position. The main point is that.
【００１５】又、本発明は、情報を表示する画面上の視
線位置を検出する検出手段を備えた視線対応選択装置に
おいて、前記検出手段により検出された視線位置に基づ
いて、視線が注視状態であるか否かを判断する第１判断
手段と、前記第１判断手段の判断結果に従って、注視状
態である場合に、その注視が前記画面上に表示された情
報に対しての注視であるか否かを判断する第２判断手段
と、前記第２判断手段の判断結果に従って、前記情報に
対しての注視である場合に、その注視対象の情報に対し
て視線を誘導する表示を前記画面上に行う表示制御手段
とを備えたことを要旨とする。又、前記視線を誘導する
表示は、マークの点滅表示であることを要旨とする。更
に、前記視線を誘導する表示は、前記画面上における情
報の表示領域内でのマークの点滅表示であることを要旨
とする。又、この視線対応選択装置は、前記検出手段に
より検出された視線位置に基づいて、前記視線を誘導す
る表示に対して所定時間の間、視線が注視状態である場
合に、その注視対象の情報が選択されたものと判定する
判定手段を備えていることを要旨とする。Further, according to the present invention, in a line-of-sight correspondence selecting device provided with a detecting means for detecting a line-of-sight position on a screen for displaying information, the line-of-sight is in a gaze state based on the line-of-sight position detected by the detecting means. According to the first determination means for determining whether or not there is, and in the case of a gaze state, whether the gaze is a gaze for the information displayed on the screen according to the determination result of the first determination means. And a display for guiding the line of sight to the information of the gaze target on the screen when the gaze is performed on the information according to the second determination means for determining whether or not the second information is determined by the second determination means. It is a gist to have a display control means for performing. The gist of the display for guiding the line of sight is a blinking display of the mark. Further, the gist of the display for guiding the line of sight is a blinking display of a mark in the information display area on the screen. Further, this gaze correspondence selecting device, based on the gaze position detected by the detection means, when the gaze is in a gaze state for a predetermined time with respect to the display for guiding the gaze, the information of the gaze target The gist is that it is provided with a determination means for determining that is selected.
【００１６】又、本発明は、情報を表示する画面上の視
線位置を検出する検出手段と、前記検出手段により検出
された視線位置に基づいて、前記画面上に表示された情
報に対して視線が注視状態であるときに、その注視対象
の情報に対して視線を誘導する表示を行う表示制御手段
とを備えた視線対応選択装置と、前記検出手段により検
出された視線位置に基づいて、前記視線を誘導する表示
に対して所定時間の間、視線が注視状態である場合に、
その注視対象の情報が選択されたものと判定する判定手
段と、前記判定手段の判定結果に従って、注視対象の情
報が選択された場合に、該情報に応じた処理を実行する
処理実行手段とを備えた情報処理装置であることを要旨
とする。前記情報は前記処理実行手段により実行される
処理の機能を表す情報であることを要旨とする。Further, according to the present invention, the detecting means for detecting the line-of-sight position on the screen displaying the information, and the line-of-sight for the information displayed on the screen based on the line-of-sight position detected by the detecting means. Is in a gaze state, a line-of-sight correspondence selection device including a display control unit that performs a display for guiding the line of sight to the information of the gaze target, and based on the line-of-sight position detected by the detection unit, the When the line of sight is in a gaze state for a predetermined time with respect to the display that guides the line of sight,
A determining unit that determines that the gaze target information is selected, and a process executing unit that executes a process according to the information when the gaze target information is selected according to the determination result of the determining unit. The gist is that it is an information processing device provided. The gist is that the information is information indicating the function of the process executed by the process executing means.
【００１７】[0017]
【作用】本発明によれば、検出手段により画面上の視線
位置が検出され、表示制御手段によりその検出された視
線位置に基づいて、画面上に表示された情報に対して視
線が注視状態であるときに、その注視対象の情報に対し
て視線を誘導する表示が行われる。従って、ユーザはそ
の視線を誘導する表示によって情報を注視し易くなり、
容易に、かつ確実に情報を選択することが可能となる。According to the present invention, the line-of-sight position on the screen is detected by the detecting means, and the line-of-sight is being gazed on the information displayed on the screen based on the detected line-of-sight position by the display control means. At some time, a display for guiding the line of sight to the information of the gaze target is displayed. Therefore, the user can easily gaze at the information by the display that guides the line of sight,
It becomes possible to easily and surely select information.
【００１８】本発明によれば、検出手段により画面上の
視線位置が検出され、第１判断手段によりその検出され
た視線位置に基づいて、視線が注視状態であるか否かが
判断される。次に、第２判断手段により注視状態である
場合に、その注視が画面上に表示された情報に対しての
注視であるか否かが判断される。そして、表示制御手段
により情報に対しての注視である場合に、その注視対象
の情報に対して視線を誘導する表示が画面上に行われ
る。従って、ユーザはその視線を誘導する表示によって
情報を注視し易くなり、容易に、かつ確実に情報を選択
することが可能となる。又、その視線を誘導する表示が
マークの点滅表示であることにより、効果的に情報を注
視させることが可能となる。更に、マークの点滅表示を
画面上における情報の表示領域内で行うようにしたこと
により、より効果的に情報を注視させることが可能とな
る。According to the present invention, the line-of-sight position on the screen is detected by the detecting unit, and the first judging unit judges whether or not the line-of-sight is in the gaze state based on the detected line-of-sight position. Next, when the gaze state is the gaze state, it is determined whether the gaze is the gaze to the information displayed on the screen. Then, when the information is gazed by the display control means, a display for guiding the line of sight to the gazed target information is displayed on the screen. Therefore, the user can easily look at the information by the display that guides the line of sight, and can select the information easily and surely. Further, since the display for guiding the line of sight is the blinking display of the mark, it becomes possible to effectively watch the information. Further, since the blinking display of the mark is performed within the information display area on the screen, the information can be more effectively watched.
【００１９】又、視線対応選択装置は判定手段を備え、
その手段により、視線を誘導する表示に対して所定時間
の間、視線が注視状態である場合に、その注視対象の情
報が選択されたものと判定される。従って、情報に対し
て瞬間的に視線が誘導されても、ある程度注視しなけれ
ばその情報が選択されないので、選択の意志のない情報
が誤って選択されてしまうことが防止される。Further, the line-of-sight correspondence selecting device is provided with a judging means,
By the means, it is determined that the information of the gaze target is selected when the gaze is in the gaze state for a predetermined time with respect to the display for guiding the gaze. Therefore, even if the line of sight is instantaneously guided to the information, the information is not selected unless the user gazes to some extent, so that it is possible to prevent the information that is not intended to be selected from being mistakenly selected.
【００２０】又、情報処理装置は、視線対応選択装置と
判定手段と処理実行手段とを備え、処理実行手段により
判定手段の判定結果に従って、注視対象の情報が選択さ
れた場合に、その情報に応じた処理が実行される。従っ
て、キーボード等の入力装置を用いずに視線により情報
を選択して、その情報に応じた処理を実行することが可
能となる。又、その情報が処理実行手段により実行され
る処理の機能を表す情報である場合には、視線により情
報を選択して、機能を実行することが可能となる。Further, the information processing apparatus includes a line-of-sight correspondence selecting device, a judging means, and a processing executing means, and when the information of the gaze target is selected by the processing executing means according to the judgment result of the judging means, the information is added to the information. The corresponding processing is executed. Therefore, it is possible to select information by the line of sight and execute processing according to the information without using an input device such as a keyboard. Further, when the information is the information indicating the function of the process executed by the process executing means, it becomes possible to select the information by the line of sight and execute the function.
【００２１】[0021]
【実施例】以下、本発明を具体化した一実施例を図１〜
図５に従って説明する。図１に示すように、本発明はワ
ードプロセッサ，ワークステーション及びパーソナルコ
ンピュータ等の情報処理装置１に具体化されている。そ
の情報処理装置１は視線検出装置２，マイクロプロセッ
サ３，各種機能の実行，文字データ等の入力を行うため
のキーボード４，ＣＲＴ又はＬＣＤディスプレイからな
り、文字データ，アイコン，ウインドウ及びメニュ等を
表示するためのディスプレイ５を備えている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT An embodiment embodying the present invention will now be described with reference to FIGS.
It will be described with reference to FIG. As shown in FIG. 1, the present invention is embodied in an information processing device 1 such as a word processor, a workstation and a personal computer. The information processing device 1 comprises a line-of-sight detection device 2, a microprocessor 3, a keyboard 4 for executing various functions and inputting character data and the like, a CRT or LCD display, and displays character data, icons, windows, menus and the like. The display 5 is provided for this purpose.
【００２２】視線検出装置２は、５つのセンサ６ａ〜６
ｅを有するセンサ部６及び視線検出ユニット９を備え、
そのユニット９は視線検出部７と注視位置判定部８とか
らなる。この視線検出装置２は、公知の強膜反射法によ
って視線位置を検出する。マイクロプロセッサ３は、ア
イコン選択マーク表示制御部１０，アイコン実行判定部
１１及び処理実行部１２を備えている。処理実行部１２
は、キーボード４からの操作出力信号又はアイコン実行
判定部１１からの出力信号に従って、ディスプレイ５の
画面５ａに文字データ，アイコン，ウインドウ及びメニ
ュ等を表示させる。処理実行部１２は、アイコンの表示
有無の情報及びアイコンの表示位置の情報をもつ信号を
アイコン選択マーク表示制御部１０に出力する。The line-of-sight detection device 2 includes five sensors 6a to 6a.
a sensor unit 6 having an e and a line-of-sight detection unit 9,
The unit 9 includes a line-of-sight detection unit 7 and a gaze position determination unit 8. The line-of-sight detection device 2 detects the line-of-sight position by a known scleral reflection method. The microprocessor 3 includes an icon selection mark display control unit 10, an icon execution determination unit 11, and a processing execution unit 12. Process execution unit 12
Displays character data, icons, windows, menus and the like on the screen 5a of the display 5 according to the operation output signal from the keyboard 4 or the output signal from the icon execution determination unit 11. The process execution unit 12 outputs a signal having information regarding whether or not the icon is displayed and information regarding the display position of the icon to the icon selection mark display control unit 10.
【００２３】図２に示すように、センサ６ａ〜６ｄはフ
ォトセンサであり、眼球Ｅと対向する位置に配置された
視線検出用装着具（図示せず）の透明板２１の下部にそ
れぞれ取付けられている。又、この透明板２１には近赤
外照明用のＬＥＤ２２が取り付けられており、このＬＥ
Ｄ２２の近赤外照明により、センサ６ａ〜６ｄは、眼球
Ｅの上下左右方向の動き、すなわち虹彩の動きを検出す
る。センサ６ｄは磁気センサであり、ディスプレイ５に
設けられた磁気ソース２３（破線にて図示）からの磁気
により、座標系（Ｘ1 ，Ｙ1 ，Ｚ1 ）で設定される頭部
（図示せず）の位置及び方向を検出する。As shown in FIG. 2, the sensors 6a to 6d are photosensors, and are attached to the lower portions of the transparent plate 21 of the visual axis detection wearing tool (not shown) arranged at a position facing the eyeball E, respectively. ing. Also, an LED 22 for near infrared illumination is attached to the transparent plate 21.
With the near-infrared illumination of D22, the sensors 6a to 6d detect the movement of the eyeball E in the vertical and horizontal directions, that is, the movement of the iris. The sensor 6d is a magnetic sensor, and is a head (not shown) set in the coordinate system (X 1 , Y 1 , Z 1 ) by magnetism from a magnetic source 23 (shown by a broken line) provided on the display 5. ) Position and direction are detected.
【００２４】視線検出部７は、センサ６ｄにより検出さ
れた頭部の位置及び方向から眼球中心Ｅｃを算出し、セ
ンサ６ａ〜６ｄにより検出された虹彩の動きから瞳孔中
心Ｐｃを算出して、眼球中心Ｅｃと瞳孔中心Ｐｃとを結
ぶ視線Ｇの方向を検出する。そして、視線検出部７は検
出した視線Ｇの方向をディスプレイ５の画面５ａ上の座
標系に変換して、その画面５ａ上における視線位置Ｖを
座標値で検出する。この視線検出部７は１秒間に６０
回、すなわち、１６．７ミリ秒間隔で視線位置を検出
し、その検出信号を注視位置判定部８に出力する。The line-of-sight detecting unit 7 calculates the eyeball center Ec from the position and direction of the head detected by the sensor 6d, and calculates the pupil center Pc from the movement of the iris detected by the sensors 6a to 6d to obtain the eyeball. The direction of the line of sight G connecting the center Ec and the pupil center Pc is detected. Then, the line-of-sight detection unit 7 converts the detected direction of the line-of-sight G into a coordinate system on the screen 5a of the display 5, and detects the line-of-sight position V on the screen 5a by the coordinate value. This line-of-sight detection unit 7 is 60
The eye-gaze position is detected once, that is, at an interval of 16.7 milliseconds, and the detection signal is output to the gaze position determination unit 8.
【００２５】注視位置判定部８は、視線検出部７からの
視線位置の検出信号に基づいて、予め設定された画面５
ａの位置情報と比較して、視線が画面５ａ内にあるか否
かを判断する。注視位置判定部８は、視線が画面５ａ内
にあると判断した場合、視線位置の時間的な変化から視
線の移動速度を算出し、この移動速度が２０度／秒以下
で、かつその移動速度の状態が３００ミリ以上持続した
か否かを判断する。すなわち、一般的な視線の動きは、
５度／秒〜３０度／秒の移動速度で視線がある箇所に停
留している注視と、ある注視点（注視位置）から別の注
視点に急速な速度で視線がジャンプするサッカードとの
繰り返しからなる。そして、注視は、一般的に５度／秒
〜３０度／秒の移動速度の状態を２００ミリ秒程度以上
持続し、その間に視覚情報を取り込んで人間はその情報
を認識する。従って、注視位置判定部８は視線検出部７
からの視線位置の検出信号に基づいて、注視あるいはサ
ッカードであるのかを判定し、注視であると判定した場
合、その判定信号と注視位置の検出信号とをアイコン選
択マーク表示制御部１０に出力する。又、サッカードの
持続時間は３０ミリ秒〜５０ミリ秒と言われており、５
０ミリ秒以下で視線位置を検出すれば、注視位置判定部
８は注視とサッカードとを区別して判定することができ
る。このため、本実施例において視線検出部７は、１
６．７ミリ秒間隔で視線位置を検出しているが、１秒間
に３０回以上、すなわち３３．３ミリ秒間隔以下で視線
位置を検出するようにしてもよい。The gaze position determination section 8 is a screen 5 preset based on the detection signal of the gaze position from the gaze detection section 7.
It is determined whether or not the line of sight is within the screen 5a by comparing with the position information of a. When the gaze position determination unit 8 determines that the gaze is within the screen 5a, the gaze position determination unit 8 calculates the moving speed of the gaze from the temporal change of the gaze position, and the moving speed is 20 degrees / second or less and It is judged whether or not the state of has continued for 300 mm or more. That is, the general eye movement is
Gaze stays in a place where there is a line of sight at a moving speed of 5 degrees / second to 30 degrees / second, and a saccade that gazes from one gaze point (gaze position) to another gaze point at a rapid speed. It consists of repetition. In gaze, generally, a state of a moving speed of 5 degrees / second to 30 degrees / second is maintained for about 200 milliseconds or more, during which visual information is captured and a human recognizes the information. Therefore, the gaze position determination unit 8 is the gaze detection unit 7
Based on the detection signal of the line-of-sight position from, it is determined whether it is a gaze or a saccade, and when it is determined that the gaze is, the determination signal and the detection signal of the gaze position are output to the icon selection mark display control unit 10. To do. Also, the duration of saccade is said to be 30 ms to 50 ms.
If the gaze position is detected in 0 milliseconds or less, the gaze position determination unit 8 can determine the gaze position and the saccade separately. Therefore, in the present embodiment, the line-of-sight detection unit 7
Although the line-of-sight position is detected at 6.7 msec intervals, the line-of-sight position may be detected 30 times or more per second, that is, at 33.3 msec intervals or less.
【００２６】アイコン選択マーク表示制御部（以下、表
示制御部という）１０は、処理実行部１２からのアイコ
ンの表示有無の情報に基づいて、アイコンが画面に表示
されているか否かを判断する。表示制御部１０は、アイ
コンが表示されていると判断した場合、処理実行部１２
からのアイコンの表示位置の情報と、注視位置の検出信
号に基づいて、注視位置がアイコン領域内にあるか否か
を判断する。表示制御部１０は、注視位置がアイコン領
域内にあると判断した場合、ディスプレイ５を制御して
図２に示すように、アイコンＩ内部にアイコン選択マー
クＭ（斜線にて図示）を５００ミリ秒間隔で点滅表示さ
せる。又、表示制御部１０はアイコン選択マークＭが点
滅表示されたアイコンＩの表示位置の情報をもつ信号と
注視位置の検出信号をアイコン実行判定部１１に出力す
る。このようにアイコン選択マークＭを点滅表示させる
のは、アイコンが視線によって選択されていることをユ
ーザに知らせるとともに、視線をアイコン内部に誘導し
て、その内部に引き込んで注視し易くするためである。The icon selection mark display control unit (hereinafter referred to as the display control unit) 10 determines whether or not the icon is displayed on the screen based on the information on whether or not the icon is displayed from the process execution unit 12. When the display control unit 10 determines that the icon is displayed, the process execution unit 12
It is determined whether or not the gaze position is within the icon area, based on the information on the display position of the icon from and the detection signal of the gaze position. When the display control unit 10 determines that the gaze position is within the icon area, the display control unit 10 controls the display 5 to display the icon selection mark M (illustrated by diagonal lines) in the icon I for 500 milliseconds as shown in FIG. Flashes at intervals. Further, the display control unit 10 outputs to the icon execution determination unit 11 a signal having information on the display position of the icon I in which the icon selection mark M is displayed blinking and a detection signal of the gaze position. The blinking display of the icon selection mark M is for notifying the user that the icon is selected by the line of sight, and for guiding the line of sight to the inside of the icon and pulling the line of sight into the inside of the icon for easy gaze. .
【００２７】例えば、図３（ａ）に示すように、アイコ
ン選択マークが表示されてない円形のアイコンＩ1 を見
る場合には、視線Ｇはその円周に沿うような軌跡を描
き、注視する部分はその円周部分となる。又、図３
（ｂ）に示すように、同じくマークが表示されていない
四角形のアイコンＩ2 を見る場合には、視線Ｇは辺に沿
うような軌跡を描き、注視する部分は角部分となる。す
なわち、注視点は端点や屈曲点等の情報量の多いとこ
ろ、又は視覚刺激の変化が多いところに集まり易い。従
って、アイコンの大きさにもよるが、意識してアイコン
内部を見なければ、そこに注視点が集まることはない。For example, as shown in FIG. 3 (a), when looking at a circular icon I1 in which no icon selection mark is displayed, the line of sight G draws a locus along the circumference and gazes. Is the circumference of the circle. Also, FIG.
As shown in (b), when looking at the rectangular icon I2 in which no mark is displayed, the line of sight G draws a locus along the side, and the part to be gazed becomes a corner part. That is, the gazing points are likely to be gathered in a place where there is a large amount of information such as an end point or a bending point, or where there is a large change in visual stimulation. Therefore, depending on the size of the icon, if the user does not look inside the icon, the gazing point does not gather there.
【００２８】ところが、図４（ａ）に示すようにアイコ
ンＩ1 内に相似円形の選択マークＭ1 を、図４（ｂ）に
示すアイコンＩ2 内に相似四角形の選択マークＭ2 をそ
れぞれ点滅表示させると、視線Ｇは上記した各軌跡を描
くことなく、選択マークＭ1，Ｍ2 を中心として移動す
る軌跡を描く。すなわち、選択マークＭ1 ，Ｍ2 の点滅
表示によりユーザの注意を引くとともに、視線がアイコ
ンＩ1 ，Ｉ2 内に誘導されて、そこに引き込まれて注視
し易くなる。However, when a similar circular selection mark M1 is displayed in the icon I1 as shown in FIG. 4A, and a similar rectangular selection mark M2 is displayed in the icon I2 shown in FIG. The line-of-sight G draws a locus of movement around the selection marks M1 and M2 without drawing the above-mentioned loci. That is, the blinking display of the selection marks M1 and M2 attracts the user's attention, and the line of sight is guided into the icons I1 and I2 and drawn into the icons I1 and I2 to facilitate the gaze.
【００２９】アイコン実行判定部１１は、表示制御部１
０からのアイコンの位置の情報をもつ信号と注視位置の
検出信号に基づいて、所定時間（この場合、１秒間）の
間、注視位置がアイコン領域内にあるか否かを判断す
る。このとき、注視位置の検出信号は、アイコン選択マ
ークＭを注視している間、注視位置判定部８から表示制
御部１０を介して連続的にアイコン実行判定部１１に出
力される。従って、アイコン実行判定部１１は、注視位
置がアイコン領域内に所定時間あることで、ユーザが選
択マークを注視し続けてアイコンを実行する意志がある
ものと判定する。アイコン実行判定部１１は、アイコン
の実行を判定すると、その判定信号及び注視位置の検出
信号を処理実行部１２に出力する。又、アイコン実行判
定部１１は、キーボード４の操作に従って選択され、か
つ出力されたアイコンの実行信号及びアイコンの選択位
置の信号を入力してアイコンの実行を判定する。The icon execution determination unit 11 is a display control unit 1.
Based on the signal having the position information of the icon from 0 and the detection signal of the gaze position, it is determined whether the gaze position is within the icon area for a predetermined time (in this case, 1 second). At this time, the gaze position detection signal is continuously output from the gaze position determination unit 8 to the icon execution determination unit 11 via the display control unit 10 while the icon selection mark M is being gazed. Therefore, the icon execution determination unit 11 determines that the user has the intention to continue to gaze at the selection mark and execute the icon because the gaze position is within the icon area for a predetermined time. When the icon execution determination unit 11 determines the icon execution, it outputs the determination signal and the gaze position detection signal to the process execution unit 12. Further, the icon execution determination unit 11 inputs an icon execution signal and an icon selection position signal that are selected and output according to the operation of the keyboard 4, and determine icon execution.
【００３０】処理実行部１２は、アイコン実行判定部１
１からのアイコンの実行判定信号及び注視位置の検出信
号（又はキーボード４からの選択位置の信号）に基づい
て、対応するアイコンに従うプログラムを図示しないＲ
ＯＭから読み出して、文字データ、ウインドウ及びメニ
ュ等の画面５ａへの表示動作を行う。このとき、処理実
行部１２は、図示はしないがウインドウ内にアイコンを
表示し、このアイコンが視線により選択された場合にも
処理実行部１２は、アイコンの実行判定信号及び注視位
置の検出信号に従って、そのアイコンに従うプログラム
動作を行う。The process execution section 12 is an icon execution determination section 1
Based on the execution determination signal of the icon from 1 and the detection signal of the gaze position (or the signal of the selected position from the keyboard 4), a program according to the corresponding icon is not shown R
The data is read from the OM and displayed on the screen 5a such as character data, windows and menus. At this time, the process execution unit 12 displays an icon in the window (not shown), and even when this icon is selected by the line of sight, the process execution unit 12 follows the execution determination signal of the icon and the detection signal of the gaze position. , Perform the program operation according to the icon.
【００３１】上記のように構成された情報処理装置１の
作用を図５のフローチャートに従って説明する。なお、
最初に、キーボード４の操作により処理実行部１２がデ
ィスプレイ５を制御して画面５ａにアイコンＩを表示
し、かつ表示制御部１０にアイコンの表示「有」の情報
及びアイコンの表示位置の情報をもつ信号を出力してい
るものとする、又、注視位置判定部８は予め設定された
ディスプレイ５の画面５ａの位置情報を有しているもの
とする。The operation of the information processing apparatus 1 configured as described above will be described with reference to the flowchart of FIG. In addition,
First, the process execution unit 12 controls the display 5 by operating the keyboard 4 to display the icon I on the screen 5a, and the display control unit 10 displays the information "present" of the icon and the information of the display position of the icon. The gaze position determination unit 8 has position information of the screen 5a of the display 5 set in advance.
【００３２】ステップ１（以下、ステップをＳという）
において、視線検出部７により視線位置が１６．７ミリ
秒間隔で検出され、その検出信号が注視位置判定部８に
出力される。Ｓ２において、視線位置の検出信号が注視
位置判定部８に入力され、画面５ａの位置情報と比較さ
れて、視線が画面５ａ内にあるか否かが判断される。視
線が画面５ａ内にあると判断されると、Ｓ３に移行して
視線の移動速度が算出される。なお、視線が画面５ａ内
にないと判断された場合、Ｓ１に移行する。そして、Ｓ
４において、注視位置判定部８により移動速度が２０度
／秒以下で、かつその移動速度の状態が３００ミリ以上
持続した注視であるか否かが判断される。注視であると
判定された場合、その判定信号と注視位置の検出信号と
が表示制御部１０に出力されてＳ５に移行する。なお、
注視でなくサッカードであると判定された場合、Ｓ１に
移行する。Step 1 (hereinafter, step is referred to as S)
At, the line-of-sight detection unit 7 detects the line-of-sight position at intervals of 16.7 milliseconds, and the detection signal is output to the gaze position determination unit 8. In S2, the gaze position detection signal is input to the gaze position determination unit 8 and compared with the position information on the screen 5a to determine whether the gaze is within the screen 5a. When it is determined that the line of sight is within the screen 5a, the process proceeds to S3 and the moving speed of the line of sight is calculated. If it is determined that the line of sight is not within the screen 5a, the process proceeds to S1. And S
At 4, the gaze position determination unit 8 determines whether or not the moving speed is 20 degrees / second or less and the state of the moving speed is 300 mm or more. When it is determined that the user is watching, the determination signal and the detection signal of the watching position are output to the display control unit 10 and the process proceeds to S5. In addition,
If it is determined that the subject is not a gazing but a saccade, the process proceeds to S1.
【００３３】Ｓ５において、処理実行部１２からのアイ
コンの表示「有」の情報及びアイコンの表示位置の情報
をもつ信号が表示制御部１０に入力され、アイコンが画
面５ａに表示されていると判断されて、Ｓ６に移行す
る。Ｓ６において、表示制御部１０によりアイコンの表
示位置の情報と、注視位置の検出信号に基づいて、注視
位置がアイコン領域内にあるか否かが判断される。注視
位置がアイコン領域内にあると判断されると、Ｓ７にお
いて、表示制御部１０によりディスプレイ５が制御され
て、アイコンＩ内部にアイコン選択マークＭが５００ミ
リ秒間隔で点滅表示される。又、アイコンＩの表示位置
の情報をもつ信号と注視位置の検出信号がアイコン実行
判定部１１に出力される。なお、注視位置がアイコン領
域内にないと判断された場合、Ｓ１に移行する。In S5, it is determined that a signal having the information "present" of the icon display and the information of the display position of the icon from the process execution unit 12 is input to the display control unit 10 and the icon is displayed on the screen 5a. Then, the process proceeds to S6. In S6, the display control unit 10 determines whether or not the gaze position is within the icon area, based on the information on the display position of the icon and the gaze position detection signal. When it is determined that the gaze position is within the icon area, the display control unit 10 controls the display 5 to blink the icon selection mark M inside the icon I at an interval of 500 milliseconds in S7. Further, a signal having information on the display position of the icon I and a detection signal of the gaze position are output to the icon execution determination unit 11. If it is determined that the gaze position is not within the icon area, the process proceeds to S1.
【００３４】次いで、Ｓ８において、アイコン実行判定
部１１にアイコンの位置情報をもつ信号と注視位置の検
出信号が入力されて、注視位置が１秒間、アイコン領域
内にあるか否かが判断される。アイコン実行判定部１１
により注視位置がアイコン表示位置内に１秒間あると判
断されると、ユーザがアイコンを実行する意志があるも
のと判定され、その判定信号及び注視位置の検出信号が
処理実行部１２に出力され、Ｓ９に移行する。なお、１
秒間、注視位置がアイコン領域内になく、視線が移動し
たと判断された場合、Ｓ１に移行する。Next, in S8, the signal having the positional information of the icon and the detection signal of the gaze position are input to the icon execution determination section 11, and it is determined whether the gaze position is within the icon area for 1 second. . Icon execution determination unit 11
When it is determined that the gaze position is within the icon display position for 1 second, it is determined that the user has the intention to execute the icon, and the determination signal and the gaze position detection signal are output to the process execution unit 12. The process moves to S9. In addition, 1
When the gaze position is not within the icon area for a second and it is determined that the line of sight has moved, the process proceeds to S1.
【００３５】Ｓ９において、処理実行部１２にアイコン
の実行判定信号及び注視位置の検出信号が入力されて、
対応するアイコンに従うプログラム動作が行われて、画
面５ａに文字データ、ウインドウ及びメニュ等が表示さ
れる。そして、ウインドウのアイコンの表示「有」の情
報及びアイコンの表示位置の情報をもつ信号が表示制御
部１０に出力されて、Ｓ１に移行し、前記Ｓ１〜Ｓ９と
同様の処理が行われる。In step S9, the execution determination signal of the icon and the detection signal of the gaze position are input to the processing execution unit 12,
The program operation according to the corresponding icon is performed, and character data, windows, menus, etc. are displayed on the screen 5a. Then, a signal having the information of "display" of the icon of the window and the information of the display position of the icon is output to the display control unit 10, the process proceeds to S1, and the same processes as S1 to S9 are performed.
【００３６】上記したように本発明によれば、視線検出
部７によりユーザの視線位置を検出し、注視位置判定部
８により視線の動きを算出してアイコンを注視している
か否かを判定し、注視である場合には、表示制御部１０
によりそのアイコン内部に選択マークを点滅表示するよ
うにした。従って、ユーザはその選択マークの点滅表示
に視線が誘導されてアイコンを注視し易くなるので、容
易に、かつ確実にアイコンを選択することができる。As described above, according to the present invention, the line-of-sight detecting unit 7 detects the line-of-sight position of the user, and the gaze-position determining unit 8 calculates the movement of the line-of-sight to determine whether or not the user is gazing at the icon. In the case of gaze, the display control unit 10
Therefore, the selection mark is displayed blinking inside the icon. Therefore, since the user's line of sight is guided by the blinking display of the selection mark and the user can easily gaze at the icon, the user can easily and surely select the icon.
【００３７】又、ユーザが選択マークを所定時間注視し
たときに、アイコン実行判定部１１によりアイコンの選
択が有効であるものとして、そのアイコンの実行を判定
するようにした。従って、選択マークに対して瞬間的に
視線が誘導されても、ある程度注視しなければアイコン
の実行が判定されないので、選択の意志のないアイコン
を誤って実行してしまうことを防止することができる。
すなわち、選択マークが点滅表示されても、選択の意志
のないアイコンであれば、その選択マークから視線を外
すことによりアイコンの選択が無効となり実行動作しな
いので、確実に意図するアイコンを選択することができ
る。Further, when the user gazes at the selection mark for a predetermined time, it is determined by the icon execution determination section 11 that the selection of the icon is valid and the execution of the icon is determined. Therefore, even if the line of sight is instantaneously guided to the selection mark, the execution of the icon cannot be determined unless the user gazes to some extent, and thus it is possible to prevent the icon having no intention to select from being accidentally executed. .
That is, even if the selection mark blinks, if it is an icon that does not have the intention of selection, by removing the line of sight from the selection mark, the selection of the icon becomes invalid and does not operate, so be sure to select the intended icon. You can
【００３８】更に、処理実行部１２がアイコン実行判定
部１１からのアイコンの実行判定信号及び注視位置の検
出信号に従って、対応するアイコンに従うプログラム動
作を行うようにした。従って、キーボード４等の入力装
置を用いずに視線によりアイコンを選択して、そのアイ
コンのもつ機能を実行することができる。Further, the processing execution unit 12 is configured to perform the program operation according to the corresponding icon in accordance with the icon execution determination signal and the gaze position detection signal from the icon execution determination unit 11. Therefore, without using the input device such as the keyboard 4, it is possible to select an icon from the line of sight and execute the function of the icon.
【００３９】尚、本発明は上記実施例に限定されるもの
ではなく、以下のように実施してもよい。 （１）上記実施例では、注視位置判定部８が視線の移動
速度を算出し、この移動速度が２０度／秒以下で、かつ
その移動速度の状態が３００ミリ以上持続したか否かを
判断するようにしたが、移動速度の基準値を５度／秒〜
３０度／秒の範囲で任意に変更したり、持続時間の基準
値を２００ミリ秒等の値に任意に変更してもよい。The present invention is not limited to the above embodiment, but may be carried out as follows. (1) In the above embodiment, the gaze position determination unit 8 calculates the moving speed of the line of sight, and determines whether this moving speed is 20 degrees / second or less and the state of the moving speed has continued for 300 mm or more. However, the standard value of the moving speed is 5 degrees / sec.
It may be arbitrarily changed within the range of 30 degrees / second, or the reference value of the duration may be arbitrarily changed to a value such as 200 milliseconds.
【００４０】（２）上記実施例では、表示制御部１０に
より表示されるアイコン選択マークの点滅間隔を５００
ミリ秒としたが、この間隔を任意に変更してもよい。
又、アイコン実行判定部１１がアイコンの実行を判定す
るための基準となる時間、すなわち、注視位置がアイコ
ン表示位置内にある時間を１秒間としたが、この時間を
２秒にする等、任意に変更してもよい。(2) In the above embodiment, the blinking interval of the icon selection mark displayed by the display control unit 10 is set to 500.
Although it is set to milliseconds, this interval may be changed arbitrarily.
Further, the reference time for the icon execution determination unit 11 to determine the execution of the icon, that is, the time when the gaze position is within the icon display position is set to 1 second, but this time is set to 2 seconds. You may change to.
【００４１】（３）上記実施例では、アイコン内部に選
択マークを点滅表示するようにしたが、アイコン全体に
選択マークを点滅表示又は点灯表示するようにしてもよ
い。又、選択マークをアイコンの近傍に点滅表示するよ
うにしてもよい。この場合、複数のアイコンを表示する
際には、選択マークが点滅表示されたときに、隣接する
アイコンのどちらに対して選択がなされたのかを明確に
するために、その隣接するアイコンの間隔を充分にとる
必要がある。(3) In the above embodiment, the selection mark is displayed blinking inside the icon, but the selection mark may be displayed blinking or lit all over the icon. Further, the selection mark may be displayed in a blinking manner near the icon. In this case, when displaying multiple icons, when the selection mark is blinking, in order to clarify which of the adjacent icons has been selected, set the interval between the adjacent icons. It is necessary to take enough.
【００４２】（４）上記実施例では、アイコン内部に選
択マークを点滅表示するようにしたが、代わりに、アイ
コンを反転表示させたり、アイコンの一部を点滅表示さ
せたり、あるいはアイコン内部でカーソルを点滅表示さ
せたり、更には、アイコン内部で何らかの動作表示を行
わせる等、視線をアイコンに対して誘導する、あるいは
引き込むような表示を行うようにしてもよい。このよう
にしても、視線によりアイコンを容易に、かつ確実に選
択することができる。(4) In the above embodiment, the selection mark is displayed blinking inside the icon. Instead, however, the icon is highlighted, a part of the icon is displayed blinking, or the cursor inside the icon is displayed. May be displayed in a blinking manner, or some operation may be displayed inside the icon so that the line of sight is guided or drawn into the icon. Even in this case, the icon can be easily and surely selected by the line of sight.
【００４３】（５）上記実施例では、アイコンを選択・
実行するようにしたが、代わりに、画像、文字等の情報
を選択するようにしてもよい。 （６）上記実施例では、ワードプロセッサ，ワークステ
ーション及びパーソナルコンピュータ等の情報処理装置
に具体化したが、代わりに、カメラ、ビデオカメラ等の
撮影装置、ゲーム機器や各種シミュレーション装置等の
映像表示機器に具体化してもよい。又、図１に示す視線
検出装置２とアイコン選択マーク表示制御部１０とを備
えた視線対応選択装置を独立に設け、情報処理装置に対
して付加するようにしてもよい。(5) In the above embodiment, the icon is selected
Although it is executed, information such as an image and a character may be selected instead. (6) In the above embodiment, the information processing device such as a word processor, a workstation and a personal computer is embodied, but instead, it is used as a photographing device such as a camera and a video camera, a video display device such as a game device and various simulation devices. It may be embodied. Further, a line-of-sight correspondence selection device including the line-of-sight detection device 2 and the icon selection mark display control unit 10 shown in FIG. 1 may be separately provided and added to the information processing device.
【００４４】上記実施例から把握できる請求項以外の発
明について、以下にその効果とともに記載する。請求項
５〜７のいずれか１項に記載の視線対応選択装置におい
て、前記視線を誘導する表示は、情報の一部の点滅表示
であることを特徴とする。このようにしても、視線によ
り情報を容易に、かつ確実に選択することができる。Inventions other than the claims which can be understood from the above embodiments will be described below along with their effects. The line-of-sight correspondence selection device according to any one of claims 5 to 7, wherein the display for guiding the line of sight is a blinking display of a part of the information. Even in this case, the information can be easily and surely selected by the line of sight.
【００４５】[0045]
【発明の効果】以上詳述したように本発明によれば、画
面上に表示された情報を視線によって容易に、かつ確実
に選択することができる。As described in detail above, according to the present invention, the information displayed on the screen can be easily and surely selected by the line of sight.
【図１】情報処理装置の電気的構成を示すブロック図。FIG. 1 is a block diagram showing an electrical configuration of an information processing device.
【図２】視線検出装置を示す概略図。FIG. 2 is a schematic diagram showing a line-of-sight detection device.
【図３】（ａ）は円形のアイコンに対する視線の軌跡を
示す説明図、（ｂ）は四角形のアイコンに対する視線の
軌跡を示す説明図。3A is an explanatory diagram showing a trajectory of a line of sight with respect to a circular icon, and FIG. 3B is an explanatory diagram showing a trajectory of a line of sight with respect to a rectangular icon.
【図４】（ａ）はアイコン選択マークの点滅表示に応じ
た視線の軌跡を示す説明図、（ｂ）は、同じくマークの
点滅表示に応じた視線の軌跡を示す説明図。FIG. 4A is an explanatory diagram showing a trajectory of a line of sight corresponding to blinking display of an icon selection mark, and FIG. 4B is an explanatory diagram showing a trajectory of a line of sight corresponding to blinking display of the mark.
【図５】情報処理装置の作用を示すフローチャート。FIG. 5 is a flowchart showing the operation of the information processing device.
【図６】第１の従来例の概要を示す説明図。FIG. 6 is an explanatory diagram showing an outline of a first conventional example.
【図７】第２の従来例の構成を示すブロック図。FIG. 7 is a block diagram showing a configuration of a second conventional example.
【図８】第３の従来例の構成を示すブロック図。FIG. 8 is a block diagram showing a configuration of a third conventional example.
５ａ…画面、６…センサ部、７…視線検出部（６，７は
検出手段を構成する）、８…第１判断手段及び算出手段
としての注視位置判定部、１０…表示制御手段及び第２
判断手段としてのアイコン選択マーク表示制御部、１１
…判定手段としてのアイコン実行判定部、１２…処理実
行手段としての処理実行部。Reference numeral 5a ... Screen, 6 ... Sensor section, 7 ... Line-of-sight detection section (6 and 7 constitute detection means), 8 ... First determination means and gaze position determination section as calculation means, 10 ... Display control means and second
Icon selection mark display control unit as a determination means, 11
... icon execution determination section as determination means, 12 ... process execution section as process execution means.
Claims (14)
置を検出する検出手段（６，７）を備えた視線対応選択
装置において、 前記検出手段（６，７）により検出された視線位置に基
づいて、前記画面（５ａ）上に表示された情報に対して
視線が注視状態であるときに、その注視対象の情報に対
して視線を誘導する表示を前記画面（５ａ）上に行う表
示制御手段（８，１０）を備えたことを特徴とする視線
対応選択装置。1. A line-of-sight correspondence selecting device including a detection unit (6, 7) for detecting a line-of-sight position on a screen (5a) displaying information, wherein the line-of-sight position detected by the detection unit (6, 7). A display for guiding the line of sight to the information of the gaze target on the screen (5a) when the line of sight is gazed on the information displayed on the screen (5a). A line-of-sight correspondence selecting device comprising control means (8, 10).
前記検出手段（６，７）により検出された視線位置に基
づいて、前記視線を誘導する表示に対して所定時間の
間、視線が注視状態である場合に、その注視対象の情報
が選択されたものと判定する判定手段（１１）を備えて
いることを特徴とする視線対応選択装置。2. The line-of-sight correspondence selecting device according to claim 1,
Based on the line-of-sight position detected by the detecting means (6, 7), when the line-of-sight is in a gaze state for a predetermined time with respect to the display for guiding the line-of-sight, information on the gaze target is selected. A line-of-sight correspondence selecting device, characterized in that it comprises a judging means (11) for judging that it is a thing.
込む表示であることを特徴とする請求項１又は２に記載
の視線対応選択装置。3. The line-of-sight correspondence selecting device according to claim 1, wherein the display for guiding the line of sight is a display for pulling in the line of sight.
滅表示であることを特徴とする請求項１又は２に記載の
視線対応選択装置。4. The line-of-sight correspondence selecting apparatus according to claim 1, wherein the display for guiding the line of sight is a blinking display of a mark.
置を検出する検出手段（６，７）を備えた視線対応選択
装置において、 前記検出手段（６，７）により検出された視線位置に基
づいて、視線が注視状態であるか否かを判断する第１判
断手段（８）と、 前記第１判断手段（８）の判断結果に従って、注視状態
である場合に、その注視が前記画面（５ａ）上に表示さ
れた情報に対しての注視であるか否かを判断する第２判
断手段（１０）と、 前記第２判断手段（１０）の判断結果に従って、前記情
報に対しての注視である場合に、その注視対象の情報に
対して視線を誘導する表示を前記画面（５ａ）上に行う
表示制御手段（１０）とを備えたことを特徴とする視線
対応選択装置。5. A line-of-sight correspondence selecting device provided with a detection unit (6, 7) for detecting a line-of-sight position on a screen (5a) displaying information, wherein the line-of-sight position detected by the detection unit (6, 7). Based on the first judgment means (8) for judging whether or not the line of sight is in a gaze state, and when the gaze state is in accordance with the judgment result of the first judgment means (8), the gaze is on the screen. (5a) second judgment means (10) for judging whether or not the information displayed above is a gaze, and according to the judgment result of the second judgment means (10), A gaze-corresponding selection device comprising: a display control means (10) for displaying on the screen (5a) a guide for gaze to information of the gaze target in the case of gaze.
前記検出手段（６，７）により検出された視線位置に基
づいて、前記視線を誘導する表示に対して所定時間の
間、視線が注視状態である場合に、その注視対象の情報
が選択されたものと判定する判定手段（１１）を備えて
いることを特徴とする視線対応選択装置。6. The line-of-sight correspondence selecting device according to claim 5,
Based on the line-of-sight position detected by the detecting means (6, 7), when the line-of-sight is in a gaze state for a predetermined time with respect to the display for guiding the line-of-sight, information on the gaze target is selected. A line-of-sight correspondence selecting device, characterized in that it comprises a judging means (11) for judging that it is a thing.
（６，７）により検出された視線位置に基づいて、視線
の動きを算出する算出手段（８）を備え、該算出手段
（８）により算出された視線の動きに基づいて、視線が
注視状態であるか否かを判断することを特徴とする請求
項５又は６に記載の視線対応選択装置。7. The first judging means (8) comprises a calculating means (8) for calculating the movement of the line of sight based on the position of the line of sight detected by the detecting means (6, 7). The gaze correspondence selecting device according to claim 5 or 6, wherein it is determined whether or not the gaze is in a gaze state based on the movement of the gaze calculated in 8).
滅表示であることを特徴とする請求項５〜７のいずれか
１項に記載の視線対応選択装置。8. The line-of-sight correspondence selecting apparatus according to claim 5, wherein the display for guiding the line of sight is a blinking display of a mark.
（５ａ）上における情報の表示領域内でのマークの点滅
表示であることを特徴とする請求項５〜７のいずれか１
項に記載の視線対応選択装置。9. The display for guiding the line of sight is a blinking display of a mark in the information display area on the screen (5a).
The line-of-sight correspondence selecting device according to the item.
選択する視線対応選択方法であって、画面上の視線位置
を検出し、その検出された視線位置に基づいて、視線が
前記画面上に表示された情報に対して注視であるか否か
を判断し、注視状態であるときに、その注視対象の情報
に対して視線を誘導する表示を前記画面上に行うことを
特徴とする視線対応選択方法。10. A line-of-sight correspondence selection method for selecting information displayed on a screen by line-of-sight, wherein a line-of-sight position on the screen is detected, and the line-of-sight is displayed on the screen based on the detected line-of-sight position. It is determined whether or not the displayed information is a gaze, and when the gaze state is present, a line of sight is displayed on the screen to guide the gaze to the information of the gaze target. Selection method.
は、前記視線を誘導する表示に対して所定時間の間、視
線が注視状態であるか否かを判断し、所定時間の間、視
線が注視状態である場合に、その注視対象の情報が選択
されたものと判定することを特徴とする視線対応選択方
法。11. The line-of-sight correspondence selection method according to claim 10, wherein it is determined whether or not the line of sight is in a gaze state for a predetermined time with respect to the display that guides the line of sight, and the line-of-sight is selected for a predetermined time. Is a gaze state, it is determined that the information of the gaze target has been selected.
点滅表示であることを特徴とする請求項１０又は１１に
記載の視線対応選択方法。12. The line-of-sight correspondence selecting method according to claim 10, wherein the display for guiding the line of sight is a blinking display of a mark.
位置を検出する検出手段（６，７）と、 前記検出手段（６，７）により検出された視線位置に基
づいて、前記画面（５ａ）上に表示された情報に対して
視線が注視状態であるときに、その注視対象の情報に対
して視線を誘導する表示を行う表示制御手段（８，１
０）とを備えた視線対応選択装置と、 前記検出手段（６，７）により検出された視線位置に基
づいて、前記視線を誘導する表示に対して所定時間の
間、視線が注視状態である場合に、その注視対象の情報
が選択されたものと判定する判定手段（１１）と、 前記判定手段（１１）の判定結果に従って、注視対象の
情報が選択された場合に、該選択された情報に応じた処
理を実行する処理実行手段（１２）とを備えたことを特
徴とする情報処理装置。13. A detection means (6, 7) for detecting a line-of-sight position on a screen (5a) displaying information, and the screen () based on the line-of-sight position detected by the detection means (6, 7). 5a) Display control means (8, 1) for performing a display for guiding the line of sight to the information of the gaze target when the line of sight is in the gaze state with respect to the information displayed above.
0) and a line-of-sight correspondence selecting device, and the line-of-sight is in a gaze state for a predetermined time with respect to the display for guiding the line-of-sight based on the line-of-sight position detected by the detecting means (6, 7). In this case, when the information of the gaze target is selected according to the determination unit (11) that determines that the information of the gaze target is selected, and the determination result of the determination unit (11), the selected information An information processing apparatus comprising: a processing execution means (12) for executing processing according to the above.
２）により実行される処理の機能を表す情報であること
を特徴とする請求項１３に記載の情報処理装置。14. The processing execution means (1)
14. The information processing apparatus according to claim 13, wherein the information is information indicating a function of a process executed by 2).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7069711A JPH08272517A (en) | 1995-03-28 | 1995-03-28 | Device and method for selecting sight line correspondence and information processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7069711A JPH08272517A (en) | 1995-03-28 | 1995-03-28 | Device and method for selecting sight line correspondence and information processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08272517A true JPH08272517A (en) | 1996-10-18 |
Family
ID=13410701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7069711A Pending JPH08272517A (en) | 1995-03-28 | 1995-03-28 | Device and method for selecting sight line correspondence and information processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08272517A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10232757A (en) * | 1997-02-19 | 1998-09-02 | Sharp Corp | Media selector |
| JP2008502990A (en) * | 2004-06-18 | 2008-01-31 | トビイ テクノロジー アーベー | Apparatus, method and computer program for controlling a computer device based on eye tracking |
| JP2012104070A (en) * | 2010-11-15 | 2012-05-31 | Osamu Shichinohe | Information apparatus, information providing method, program and computer readable recording medium |
| JP2013037590A (en) * | 2011-08-09 | 2013-02-21 | Fujitsu Ltd | Visual observation object determination device, visual observation object determination method and visual observation object determination program |
| US8466875B2 (en) | 2008-01-25 | 2013-06-18 | Panasonic Corporation | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program |
| JP2014509535A (en) * | 2011-03-18 | 2014-04-21 | ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング | Gaze point mapping method and apparatus |
| WO2014069428A1 (en) * | 2012-10-29 | 2014-05-08 | 京セラ株式会社 | Electronic apparatus and sight line input method |
| JP2015103152A (en) * | 2013-11-27 | 2015-06-04 | 京セラ株式会社 | Electronic apparatus and visual line input method |
| WO2016006170A1 (en) * | 2014-07-08 | 2016-01-14 | 株式会社デンソー | Line-of-sight input parameter correction device, and line-of-sight input device |
| JP2016024517A (en) * | 2014-07-17 | 2016-02-08 | シャープ株式会社 | Information processing apparatus, information processing program, and information processing method |
| JP2016053768A (en) * | 2014-09-02 | 2016-04-14 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP6277567B1 (en) * | 2016-11-21 | 2018-02-14 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| JP2018085125A (en) * | 2017-12-28 | 2018-05-31 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| JP2018085124A (en) * | 2017-12-28 | 2018-05-31 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| JPWO2017104320A1 (en) * | 2015-12-16 | 2018-10-04 | ソニー株式会社 | Image display device |
| JP2018530950A (en) * | 2015-08-29 | 2018-10-18 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | Method and apparatus for playing video content from anywhere at any time |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0651901A (en) * | 1992-06-29 | 1994-02-25 | Nri & Ncc Co Ltd | Communication equipment for glance recognition |
| JPH0764709A (en) * | 1993-08-26 | 1995-03-10 | Olympus Optical Co Ltd | Instruction processor |
-
1995
- 1995-03-28 JP JP7069711A patent/JPH08272517A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0651901A (en) * | 1992-06-29 | 1994-02-25 | Nri & Ncc Co Ltd | Communication equipment for glance recognition |
| JPH0764709A (en) * | 1993-08-26 | 1995-03-10 | Olympus Optical Co Ltd | Instruction processor |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10232757A (en) * | 1997-02-19 | 1998-09-02 | Sharp Corp | Media selector |
| JP2008502990A (en) * | 2004-06-18 | 2008-01-31 | トビイ テクノロジー アーベー | Apparatus, method and computer program for controlling a computer device based on eye tracking |
| US8466875B2 (en) | 2008-01-25 | 2013-06-18 | Panasonic Corporation | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program |
| JP2012104070A (en) * | 2010-11-15 | 2012-05-31 | Osamu Shichinohe | Information apparatus, information providing method, program and computer readable recording medium |
| JP2014509535A (en) * | 2011-03-18 | 2014-04-21 | ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング | Gaze point mapping method and apparatus |
| JP2013037590A (en) * | 2011-08-09 | 2013-02-21 | Fujitsu Ltd | Visual observation object determination device, visual observation object determination method and visual observation object determination program |
| WO2014069428A1 (en) * | 2012-10-29 | 2014-05-08 | 京セラ株式会社 | Electronic apparatus and sight line input method |
| JP2014086063A (en) * | 2012-10-29 | 2014-05-12 | Kyocera Corp | Electronic apparatus, sight line input program and sight line input method |
| JP2015103152A (en) * | 2013-11-27 | 2015-06-04 | 京セラ株式会社 | Electronic apparatus and visual line input method |
| JP2016018377A (en) * | 2014-07-08 | 2016-02-01 | 株式会社デンソー | Line-of-sight input device |
| WO2016006170A1 (en) * | 2014-07-08 | 2016-01-14 | 株式会社デンソー | Line-of-sight input parameter correction device, and line-of-sight input device |
| JP2016024517A (en) * | 2014-07-17 | 2016-02-08 | シャープ株式会社 | Information processing apparatus, information processing program, and information processing method |
| JP2016053768A (en) * | 2014-09-02 | 2016-04-14 | ソニー株式会社 | Information processing device, information processing method, and program |
| CN106605187A (en) * | 2014-09-02 | 2017-04-26 | 索尼公司 | Information processing device, information processing method, and program |
| CN106605187B (en) * | 2014-09-02 | 2020-06-12 | 索尼公司 | Information processing apparatus, information processing method, and program |
| US10635184B2 (en) | 2014-09-02 | 2020-04-28 | Sony Corporation | Information processing device, information processing method, and program |
| JP2018530950A (en) * | 2015-08-29 | 2018-10-18 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | Method and apparatus for playing video content from anywhere at any time |
| JPWO2017104320A1 (en) * | 2015-12-16 | 2018-10-04 | ソニー株式会社 | Image display device |
| JP2021039352A (en) * | 2015-12-16 | 2021-03-11 | ソニー株式会社 | Image display device |
| JP2018084875A (en) * | 2016-11-21 | 2018-05-31 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| JP6277567B1 (en) * | 2016-11-21 | 2018-02-14 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| JP2018085124A (en) * | 2017-12-28 | 2018-05-31 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
| JP2018085125A (en) * | 2017-12-28 | 2018-05-31 | 株式会社コナミデジタルエンタテインメント | Terminal device and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08272517A (en) | Device and method for selecting sight line correspondence and information processor | |
| EP1943583B1 (en) | Eye tracker with visual feedback | |
| US10545574B2 (en) | Determining gaze target based on facial features | |
| KR101541881B1 (en) | Gaze-assisted computer interface | |
| US10456072B2 (en) | Image interpretation support apparatus and method | |
| JP5293154B2 (en) | Head mounted display | |
| US10506913B2 (en) | Apparatus operation device, apparatus operation method, and electronic apparatus system | |
| US20100182232A1 (en) | Electronic Data Input System | |
| EP3088997A1 (en) | Delay warp gaze interaction | |
| KR20030047328A (en) | Remote pointing method and apparatus therefor | |
| JP2010145861A (en) | Head mount display | |
| GB2542759A (en) | Method and apparatus for testing a patients visual field | |
| JPH09167049A (en) | Line of sight input device for console | |
| JP3735947B2 (en) | Line-of-sight input device | |
| JPH1145141A (en) | Data input device | |
| JPH09212082A (en) | Visual line input device | |
| JP3796840B2 (en) | Gesture input device and input device including the same | |
| JP2000010722A (en) | Sight line/user interface device and its interface method, computer device and its control method, and program storage medium | |
| TW202301871A (en) | Optical system with improvied user experiemce and accurate eye-tracking and related method | |
| JPH09204287A (en) | Method and device for selecting processing | |
| Lin et al. | A novel device for head gesture measurement system in combination with eye-controlled human–machine interface | |
| EP3922166B1 (en) | Display device, display method and display program | |
| US11373341B2 (en) | Method for controlling a device, in particular, a prosthetic hand or a robotic arm | |
| KR102325684B1 (en) | Eye tracking input apparatus thar is attached to head and input method using this | |
| JP6606264B1 (en) | Field inspection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040317 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040601 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040625 |