JPH1176165A - Visual axis detection device - Google Patents

Visual axis detection device

Info

Publication number
JPH1176165A
JPH1176165A JP25425397A JP25425397A JPH1176165A JP H1176165 A JPH1176165 A JP H1176165A JP 25425397 A JP25425397 A JP 25425397A JP 25425397 A JP25425397 A JP 25425397A JP H1176165 A JPH1176165 A JP H1176165A
Authority
JP
Japan
Prior art keywords
gaze
display
detection
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP25425397A
Other languages
Japanese (ja)
Other versions
JP3796019B2 (en
Inventor
Hitoshi Hongo
仁志 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP25425397A priority Critical patent/JP3796019B2/en
Publication of JPH1176165A publication Critical patent/JPH1176165A/en
Application granted granted Critical
Publication of JP3796019B2 publication Critical patent/JP3796019B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a visual axis detection device which does not need to be calibrated in advance. SOLUTION: A correction target is displayed (S13) on a display part and a visual axis is detected (S14). The deviation between a coordinate position where the correction target is displayed and the detected position of the visual axis is calculated (S15) and corrected (S17). A method for correcting the same involves correcting density distribution information in a table having the coordinates of the position of the visual line and corresponding density distribution information.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、視線検出において
キャリブレーションを行う装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for performing calibration in gaze detection.

【0002】[0002]

【従来の技術】従来、視線検出を行う場合には、事前に
キャリブレーションを行っておく場合がある。すなわ
ち、視線検出機能を有する装置を具体的に使用する前
に、ユーザに対して所定の位置にマーカーを表示し、そ
の表示した時のユーザの顔の画像を取り込んでおいて視
線検出の際の参考データとする。例えば、まず、正面位
置にマーカーを表示して、その時の顔の画像を取り込
み、次に、右10度の位置にマーカーを表示して、その
時の顔の画像を取り込むというように順次所定の方向を
向いた時の画像を取り込んで、参考データとしておく。
そして、視線方向を算出する際に、この参考データを使
用して視線検出を行うのである。
2. Description of the Related Art Conventionally, when performing line-of-sight detection, calibration may be performed in advance. That is, before using the device having the gaze detection function specifically, a marker is displayed at a predetermined position for the user, an image of the user's face at the time of the display is captured, and Use as reference data. For example, first, a marker is displayed at the front position, the image of the face at that time is captured, and then, the marker is displayed at a position 10 degrees to the right, and the image of the face at that time is captured. The image taken when facing is taken in and stored as reference data.
Then, when calculating the gaze direction, gaze detection is performed using the reference data.

【0003】なお、所定のマーカーが表示された際にそ
の方向を正確に見ていない等の不都合が検出された場合
には、再度キャリブレーションの手続をやり直す必要が
ある。特に、上記の事前のキャリブレーションは、正確
な視線検出を行う場合には必要となる作業である。
[0003] If a problem such as not correctly observing the direction when a predetermined marker is displayed is detected, it is necessary to repeat the calibration procedure again. In particular, the above-described preliminary calibration is a necessary operation when performing accurate gaze detection.

【0004】[0004]

【発明が解決しようとする課題】しかし、上記のような
事前のキャリブレーションはユーザには負担となり、本
来の作業を行うまでに時間を要してしまう。そこで、本
発明は、事前にキャリブレーションを行う必要のない視
線検出装置を提供することを目的とするものである。
However, the prior calibration as described above imposes a burden on the user, and it takes a long time to perform the original work. Therefore, an object of the present invention is to provide a gaze detection device that does not need to perform calibration in advance.

【0005】[0005]

【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第1には、視線
位置を検出する視線検出装置であって、表示部に所定の
表示体を指示し、この表示された表示体の表示位置と、
該マークを表示した際に検出された視線位置とを比較す
ることにより、検出される視線位置を補正することを特
徴とする。上記第1の構成の視線検出装置においては、
表示部を表示して補正を行うので、所定の処理操作中に
もキャリブレーションを行うことができ、事前にキャリ
ブレーションを行う必要がない。
SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and a first aspect of the present invention is a line-of-sight detecting device for detecting a line-of-sight position. Indicate the display object, the display position of this displayed display object,
The detected gaze position is corrected by comparing the gaze position detected when the mark is displayed. In the eye gaze detecting device of the first configuration,
Since the correction is performed by displaying the display unit, the calibration can be performed even during the predetermined processing operation, and there is no need to perform the calibration in advance.

【0006】また、第2には、視線位置を検出する視線
検出装置であって、所定の情報を表示する表示手段と、
該表示手段に所定の表示体を表示させる表示体表示手段
と、表示体が表示された際の視線位置を検出する視線検
出手段と、上記表示体の表示位置と検出された視線位置
との間にずれがある場合に、検出される視線位置を補正
する補正手段とを有することを特徴とする。この第2の
構成の視線検出装置においては、表示体表示手段により
所定の表示体が表示される。そして、視線検出手段が該
表示体が表示手段に表示された際の視線位置を検出す
る。すると、補正手段は、上記表示体の表示位置と検出
された視線位置との間にずれがある場合に、検出される
視線位置を補正する。よって、表示部を表示して補正を
行うので、所定の処理操作中にもキャリブレーションを
行うことができ、事前にキャリブレーションを行う必要
がない。
A second aspect is a line-of-sight detecting device for detecting a line-of-sight position, comprising: display means for displaying predetermined information;
Display body display means for displaying a predetermined display body on the display means; gaze detection means for detecting a gaze position when the display body is displayed; and between a display position of the display body and the detected gaze position. And a correcting means for correcting the detected line-of-sight position when there is a deviation. In the eye gaze detecting device having the second configuration, a predetermined display body is displayed by the display body display means. Then, the line-of-sight detection unit detects the line-of-sight position when the display body is displayed on the display unit. Then, when there is a shift between the display position of the display and the detected line-of-sight position, the correction unit corrects the detected line-of-sight position. Therefore, since the correction is performed by displaying the display unit, the calibration can be performed even during the predetermined processing operation, and there is no need to perform the calibration in advance.

【0007】また、第3には、上記第1又は第2の構成
において、視線検出装置が、さらに、視線のずれを検知
するずれ検知手段を有し、少なくとも該ずれ検知手段に
よりずれが検知された場合に、上記表示体表示手段が表
示体を表示手段に表示させることを特徴とする。よっ
て、不必要な表示体の表示を省略することができる。ま
た、第4には、上記第2又は第3の構成において、ユー
ザにより入力操作があった場合に、上記表示体表示手段
が、その入力操作に対応する表示体を表示させることを
特徴とする。また、第5には、上記第2から第4までの
いずれかの構成において、視線検出装置が、さらに、上
記表示体の表示位置と検出された視線位置とのずれ量を
検出する第2ずれ検知手段を有し、この第2ずれ検知手
段の検出結果が所定の場合に上記補正手段が補正を行う
ことを特徴とする。よって、ずれ量が所定の値よりも大
きい場合には、補正を行わないようにする等により補正
の適正を保つことができる。
Thirdly, in the above first or second configuration, the line-of-sight detecting device further includes a deviation detecting unit for detecting a deviation of the line of sight, and at least the deviation is detected by the deviation detecting unit. In this case, the display means displays the display on the display means. Therefore, unnecessary display of a display body can be omitted. Fourth, in the second or third configuration, when an input operation is performed by a user, the display body display means displays a display body corresponding to the input operation. . Fifth, in any one of the second to fourth configurations, the gaze detecting device further includes a second shift for detecting a shift amount between the display position of the display body and the detected gaze position. It has a detecting means, and when the detection result of the second shift detecting means is a predetermined value, the correcting means performs the correction. Therefore, when the deviation amount is larger than the predetermined value, the correction can be properly performed by not performing the correction.

【0008】また、第6には、上記第1から第5までの
いずれかの構成において、上記表示体が、所定の記号又
は図形であることを特徴とする。また、第7には、上記
第1から第6までのいずれかの構成において、上記表示
体が、文字であることを特徴とする。よって、文字の入
力操作があった場合に、その文字を表示体として補正を
行えば、一々補正用の表示体を表示する必要がない。
In a sixth aspect, in any of the first to fifth configurations, the display is a predetermined symbol or graphic. Seventh, in any one of the first to sixth configurations, the display is a character. Therefore, when a character is input and the correction is performed using the character as a display, there is no need to display the correction display one by one.

【0009】また、第8には、上記第1から第7までの
いずれかの構成において、上記視線検出装置が、座標位
置と各座標位置に対応する検出用データとを有する視線
検出用情報を格納した記憶部を有し、該記憶部に格納さ
れた検出用データの内容を変更することにより補正を行
うことを特徴とする。よって、座標位置に対応する検出
用データを変更することにより、検出される座標位置を
補正することができる。また、第9には、上記第1から
第7までのいずれかの構成において、上記視線検出装置
が、座標位置と各座標位置に対応する検出用データとを
有する視線検出用情報を格納した記憶部を有し、該記憶
部に格納された座標位置の内容を変更することにより補
正を行うことを特徴とする。よって、座標位置の内容を
変更することにより、検出される座標位置を補正するこ
とができる。また、第10には、上記第8又は第9の構
成において、上記記憶部には、座標位置と該座標位置に
対応する検出用データであって、予めデフォルトされた
検出用データとを格納されていることを特徴とする。よ
って、補正前の当初はこのデフォルトされたデータによ
り検出を行えばよい。
Eighthly, in any one of the first to seventh configurations, the visual axis detection device transmits visual axis detection information having a coordinate position and detection data corresponding to each coordinate position. It has a storage unit in which the data is stored, and the correction is performed by changing the content of the detection data stored in the storage unit. Therefore, by changing the detection data corresponding to the coordinate position, the detected coordinate position can be corrected. Ninth, in any one of the first to seventh configurations, the visual axis detection device stores visual axis detection information having a coordinate position and detection data corresponding to each coordinate position. And performing correction by changing the contents of the coordinate positions stored in the storage unit. Therefore, by changing the content of the coordinate position, the detected coordinate position can be corrected. Tenthly, in the eighth or ninth configuration, the storage unit stores a coordinate position and detection data corresponding to the coordinate position, the detection data being preset in advance. It is characterized by having. Therefore, the detection may be performed based on the default data at the beginning before the correction.

【0010】[0010]

【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明に基づく上記視線
検出装置としての検出視線位置補正装置A1は、図1に
示されるように構成され、カメラ10と、視線検出部1
2と、ずれ検知部16と、補正部18と、表示部20
と、表示制御部22とを有している。また、図2に示す
コンピュータ端末Pには、上記構成の検出視線位置補正
装置A1が搭載されているものとする。
DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described with reference to the drawings. A detection line-of-sight position correction device A1 as the above-described line-of-sight detection device according to the present invention is configured as shown in FIG.
2, a shift detection unit 16, a correction unit 18, and a display unit 20.
And a display control unit 22. The computer terminal P shown in FIG. 2 is assumed to be equipped with the detection line-of-sight position correction device A1 having the above configuration.

【0011】ここで、上記カメラ10は、ユーザの特に
顔部を撮影するもので、図2に示すように、表示部20
を見るユーザ甲の顔を撮影するように設置されている。
このカメラ10は、CCDカメラ等により構成される。
また、上記視線検出手段としての上記視線検出部12
は、上記カメラ10により得られた画像データから視線
を検出するものであり、該画像データに人間の顔があ
り、表示部20の方を向いている場合にその人の視線を
検出する。具体的には、撮影して得られた画像データに
対してエッジ抽出を行い、人間の顔が写っている場合
に、その目における黒目の方向を検出することにより行
う。詳しくは後述する。また、上記視線検出部12に
は、視線検出情報格納部14が設けられている。この視
線検出情報格納部14には、視線検出に利用される視線
検出用テーブルが格納されている。つまり、この視線検
出用テーブルには、座標位置の位置情報と、これに対応
する濃度分布情報とが複数格納されている。この視線検
出情報格納部14におけるデータには、ターゲット表示
に伴い取り込まれる追加データとは別に、当初の視線検
出用に予めデフォルトされたデータも格納されている。
Here, the camera 10 is for photographing a user's face in particular, and as shown in FIG.
Is installed so as to capture the face of the user in front of the user.
This camera 10 is constituted by a CCD camera or the like.
Further, the line-of-sight detection unit 12 as the line-of-sight detection means
Is for detecting a line of sight from image data obtained by the camera 10, and detects a line of sight of a person when the image data has a human face and faces the display unit 20. Specifically, edge extraction is performed on image data obtained by shooting, and when a human face is captured, the direction of the iris in the eyes is detected. Details will be described later. Further, the line-of-sight detection unit 12 is provided with a line-of-sight detection information storage unit 14. The gaze detection information storage unit 14 stores a gaze detection table used for gaze detection. That is, the line-of-sight detection table stores a plurality of pieces of position information of coordinate positions and corresponding density distribution information. In the data in the eye gaze detection information storage unit 14, data defaulted in advance for the initial eye gaze detection are also stored separately from the additional data taken in with the target display.

【0012】すなわち、視線検出情報格納部14には、
図3に示すようなテーブルが設けられている。例えば、
画像データ1については、この画像データ1に対応する
視線位置(x1,y1)が格納されている。なお、各画
像データについては、X方向の濃度分布情報とY方向の
濃度分布情報とに分けて抽出して格納されているものと
する。例えば、画像データ1については、X方向の濃度
分布情報とY方向の濃度分布情報とに分けて格納されて
いる。濃度分布情報は、例えばヒストグラム曲線により
構成される。図3において、画像データ1から画像デー
タnまでは予めデフォルトされた画像データである。つ
まり、一般的な画像データを予め格納してあるのであ
る。また、図3における追加データは、補正用ターゲッ
トを表示した際に得た画像データである。この濃度分布
情報は、上記検出用データとして機能する。また、上記
視線検出情報格納部14は上記記憶部として機能する。
この視線検出部12は、実際には、視線検出を行うため
のプログラム等の各種データを格納したメモリと該プロ
グラムに従い所定の処理を行うCPU等から構成され
る。
That is, the line-of-sight detection information storage unit 14
A table as shown in FIG. 3 is provided. For example,
As for the image data 1, the line-of-sight position (x1, y1) corresponding to the image data 1 is stored. It is assumed that each image data is separately extracted and stored as density distribution information in the X direction and density distribution information in the Y direction. For example, the image data 1 is stored separately for density distribution information in the X direction and density distribution information in the Y direction. The density distribution information is constituted by, for example, a histogram curve. In FIG. 3, image data 1 to image data n are default image data. That is, general image data is stored in advance. Further, the additional data in FIG. 3 is image data obtained when the correction target is displayed. This density distribution information functions as the detection data. Further, the line-of-sight detection information storage unit 14 functions as the storage unit.
The gaze detection unit 12 actually includes a memory that stores various data such as a program for performing gaze detection, and a CPU that performs predetermined processing according to the program.

【0013】また、ずれ検知部16は、検出された視線
の位置により視線位置のずれを検知する。例えば、検出
された視線位置が表示部20の外部である頻度が高い場
合や、注視点があるエリアに偏っている場合等に視線位
置のずれがあると判定する。さらに、ずれ検知部16
は、上記視線検出部12で検出された視線位置と上記表
示制御部22からのターゲット位置とを比較して、それ
らのずれを検知するものである。つまり、上記視線位置
とターゲット位置とのずれ方向及びずれ量を検出する。
具体的には、後述する。このずれ検知部16は、ずれ検
知手段及び第2ずれ検知手段として機能する。
The shift detecting section 16 detects a shift in the line of sight based on the detected position of the line of sight. For example, it is determined that there is a shift in the line-of-sight position when the detected line-of-sight position is frequently outside the display unit 20 or when the gazing point is biased toward a certain area. Further, the shift detecting unit 16
Is to compare the line-of-sight position detected by the line-of-sight detection unit 12 with the target position from the display control unit 22 to detect a shift between them. That is, the shift direction and the shift amount between the line-of-sight position and the target position are detected.
The details will be described later. The shift detector 16 functions as a shift detector and a second shift detector.

【0014】また、上記補正手段としての上記補正部1
8は、検出される視線位置を補正するものであり、具体
的には、ずれが検知された場合に、その時の画像データ
を取り込み、上記視線検出情報格納部14に格納してお
く。上記視線検出情報格納部14への画像データの格納
に際しては、ターゲット位置の情報と対応させておく。
これにより、以後の視線検出においては、この画像デー
タの情報も利用されることになる。
The correction unit 1 as the correction means
Numeral 8 is for correcting the detected line-of-sight position. Specifically, when a shift is detected, the image data at that time is fetched and stored in the line-of-sight detection information storage unit 14. When storing the image data in the eye-gaze detection information storage unit 14, it is made to correspond to the information on the target position.
As a result, the information of the image data is used in the subsequent gaze detection.

【0015】また、表示したターゲット位置の座標につ
いてすでにデフォルトされた画像データがある場合に
は、その画像データと補正用のターゲットを表示して得
た画像データとを平均化する処理を行う。つまり、同じ
座標位置についてX方向とY方向の各パターン画像とし
ての濃度分布情報を平均化する。また、上記表示手段と
しての上記表示部20は、所定の情報を表示するための
もので、CRTやLCD等のモニタにより構成される。
If there is already defaulted image data for the coordinates of the displayed target position, a process for averaging the image data and the image data obtained by displaying the correction target is performed. That is, the density distribution information as the pattern images in the X direction and the Y direction for the same coordinate position is averaged. The display section 20 as the display means is for displaying predetermined information, and is constituted by a monitor such as a CRT or an LCD.

【0016】また、表示制御部22は、表示部20への
表示を制御するものであり、特に、ずれ検知部16にお
いてずれが検知された場合に、表示部20に視線検知用
のターゲットを表示する制御を行う。なお、このターゲ
ットは、視線位置を検出することが可能な大きさの表示
体であればよく、文字や記号等のキャラクターでもよ
く、また、図形等でもよい。この表示制御部22は、上
記表示体表示手段として機能する。
The display control section 22 controls display on the display section 20. In particular, when a shift is detected by the shift detection section 16, a target for line-of-sight detection is displayed on the display section 20. Control. The target may be a display body having a size capable of detecting the line of sight, and may be a character such as a character or a symbol, or may be a figure or the like. The display control unit 22 functions as the display body display unit.

【0017】上記構成の検出視線位置補正装置A1の動
作について図4を使用して説明する。まず、ユーザが上
記構成の検出視線位置補正装置A1が搭載されたコンピ
ュータ端末Pを使用して処理を行っているものとする。
この処理としては、ワードプロセッサによる文字の入
力、表計算による処理等任意である。
The operation of the detection line-of-sight position correcting apparatus A1 having the above configuration will be described with reference to FIG. First, it is assumed that the user is performing a process using the computer terminal P equipped with the detection line-of-sight position correction device A1 having the above configuration.
This processing is arbitrary, such as input of characters by a word processor, processing by spreadsheets, and the like.

【0018】まず、カメラに10により画像データを取
り込む(S10)。すなわち、上記カメラ10がユーザ
甲の顔を撮影する。すると、このカメラ10により撮影
された画像は視線検出部12に送られる。次に、視線検
出部12においては、視線検出が行われる(S11)。
すなわち、まず、視線検出部12では、撮影された画像
にエッジ抽出処理が行われる。そして、エッジ抽出処理
後に、まず、人の顔があるかどうかが検出される。つま
り、エッジ抽出処理が行われた画像と人物標準パターン
画像とを比較して、人の顔があるかどうかを推定する。
なお、人の顔の判定においては、肌色情報をも考慮して
行うようにしてもよい。フレーム間の差分画像から移動
した物体を検知し、その物体と人物標準パターン画像と
を比較して人の顔を判定するようにしてもよい。
First, image data is taken into the camera by 10 (S10). That is, the camera 10 photographs the face of the user A. Then, the image captured by the camera 10 is sent to the visual line detection unit 12. Next, the line-of-sight detection unit 12 performs line-of-sight detection (S11).
That is, first, the line-of-sight detection unit 12 performs an edge extraction process on the captured image. Then, after the edge extraction processing, first, it is detected whether or not there is a human face. In other words, the image subjected to the edge extraction processing is compared with the person standard pattern image to estimate whether or not there is a human face.
The determination of a human face may be performed in consideration of skin color information. The moving object may be detected from the difference image between the frames, and the human face may be determined by comparing the moving object with the person standard pattern image.

【0019】人の顔があることが検出されたら、視線を
検出する。ここでは、視線方向を検出する。すなわち、
エッジ抽出することにより得られたエッジ情報から、検
出された人の顔における目の垂直方向の位置と水平方向
の位置とを推定して目の部分の画像を切り出し、この切
り出した領域の濃淡画像を生成する。その後、目におけ
る黒目の位置に関する濃度分布情報を水平方向と垂直方
向について算出し、予め設けられている水平方向と垂直
方向の濃度分布情報と比較し、類似度を算出して視線方
向を検出するのである。図3のテーブルにおける画像デ
ータ1〜画像データnまでの水平方向の濃度分布情報と
垂直方向の濃度分布情報とが、この予め設けられた水平
方向と垂直方向の濃度分布情報に相当する。なお、補正
用ターゲットを表示することにより、テーブルに格納さ
れる濃度分布情報が増えた場合には、これらも視線検出
に考慮されることになる。なお、処理の当初において
は、図3の追加データは存在しないので、デフォルトさ
れたデータのみで視線検出を行うことになる。
If it is detected that there is a human face, the line of sight is detected. Here, the gaze direction is detected. That is,
From the edge information obtained by extracting the edges, the vertical position and the horizontal position of the eyes in the detected human face are estimated to cut out an image of the eye portion, and a grayscale image of the cut out region Generate Thereafter, the density distribution information regarding the position of the iris in the eye is calculated for the horizontal direction and the vertical direction, and the density distribution information for the horizontal direction and the vertical direction is calculated in advance, and the similarity is calculated to detect the gaze direction. It is. The horizontal density distribution information and the vertical density distribution information from the image data 1 to the image data n in the table of FIG. 3 correspond to the previously provided horizontal and vertical density distribution information. Note that, when the density distribution information stored in the table is increased by displaying the correction target, these are also taken into consideration in gaze detection. At the beginning of the process, since there is no additional data shown in FIG. 3, the line-of-sight detection is performed only with default data.

【0020】そして、検出された方向の視線の空間位置
を検出する。つまり、撮影された画像におけるその人の
目の空間座標位置と、検出された視線方向とにより、そ
の視線の空間位置を検出する。なお、上記目の空間座標
位置の検出は次のように行う。つまり、図2に示すX方
向、Y方向の座標については撮影された2次元画像にお
ける座標により検出可能であり、また、Z方向の座標に
ついては、例えば、顔の大きさから推定する等の方法や
距離センサにより検出する方法がある。なお、このZ方
向の座標については、所定の光を照射し、顔や目等に反
射して帰ってくるまでの時間により算出してもよい。
Then, the spatial position of the line of sight in the detected direction is detected. That is, the spatial position of the line of sight is detected based on the spatial coordinate position of the eye of the person in the captured image and the detected direction of the line of sight. The spatial coordinate position of the eye is detected as follows. That is, the coordinates in the X direction and the Y direction shown in FIG. 2 can be detected by the coordinates in the photographed two-dimensional image, and the coordinates in the Z direction can be estimated from the size of the face, for example. And a method of detecting with a distance sensor. The coordinates in the Z direction may be calculated based on the time from when a predetermined light is emitted to when the light is reflected back on the face, eyes, and the like and returns.

【0021】以上のようにして、目の空間位置と視線方
向とに基づき、空間内における視線の位置が決定される
ので、その視線が表示部20のどの位置にあるかを判定
する。具体的には、表示部20の表示面において視線が
通過する視線位置としての座標(X,Y)を算出する。
なお、表示部20の表示面外に視線がある時は、該表示
面の延長面上の座標を視線位置として検出する。
As described above, the position of the line of sight in the space is determined based on the spatial position of the eye and the direction of the line of sight, so that the position of the line of sight on the display unit 20 is determined. Specifically, the coordinates (X, Y) as the line-of-sight position where the line of sight passes on the display surface of the display unit 20 are calculated.
When there is a line of sight outside the display surface of the display unit 20, the coordinates on the extension surface of the display surface are detected as the line of sight.

【0022】なお、上記視線の検出においては、注視点
が検出されるかどうかを条件とするのが好ましい。つま
り、視線が一定時間停留している場合に始めて視線が検
出されたものとして処理を行う。つまり、視線が表示部
20の方を向いていたとしても、視線が一定時間停留し
ない場合には、表示されたキーワードを知覚したとはい
えないとして、視線検出に、所定時間視線が停留してい
ることを条件とすることが望ましい。上記視線検出処理
は上記視線検出部12により行う。
In the detection of the line of sight, it is preferable that a condition is determined as to whether or not a gazing point is detected. In other words, the processing is performed on the assumption that the line of sight has been detected for the first time when the line of sight has been stopped for a certain time. In other words, even if the line of sight is directed toward the display unit 20, if the line of sight does not stop for a certain period of time, it can be said that the displayed keyword is not perceived, and the line of sight is stopped for a predetermined period of time for line of sight It is desirable to make it a condition. The line-of-sight detection processing is performed by the line-of-sight detection unit 12.

【0023】なお、視線方向検出の方法は上記の方法に
は限られず、他の方法であってもよい。例えば、人の顔
があるかどうかの検出は上記と同様の方法で行い、視線
方向の検出については、近赤外光を照射してその反射角
度に基づき算出するようにしてもよい。また、上記の方
法とこの近赤外光による方法とを併用してもよい。ま
た、上記Z方向の座標は、近赤外光が反射して戻ってく
る到達時間により検出してもよい。視線検出の方法につ
いては、特開平8−322796号公報や特開平5−2
05030号公報に開示されている。
The method of detecting the direction of the line of sight is not limited to the above method, but may be another method. For example, the detection of the presence or absence of a human face may be performed in the same manner as described above, and the detection of the line of sight may be performed based on the reflection angle by irradiating near-infrared light. Further, the above method and this method using near-infrared light may be used in combination. The coordinates in the Z direction may be detected based on the arrival time at which the near-infrared light is reflected and returned. The method of gaze detection is described in JP-A-8-322796 and JP-A-5-252.
No. 05030.

【0024】以上のように視線検出が行われたら、ずれ
検知部16によりずれが検知されるか否かが判定される
(S12)。すなわち、検出された視線位置が表示部2
0の外部である頻度が高い場合や、注視点があるエリア
に偏っている場合等に視線位置のずれがあると判定す
る。なお、表示部20の表示範囲の情報は予めずれ検知
部16に保持されているものとする。また、アイコンが
表示されている画面が表示されている状態で、アイコン
の表示範囲以外に注視点が集まる場合にもずれがあるも
のと判定される。この場合、アイコンの表示範囲につい
ての情報は上記表示制御部22から得る。このステップ
S12において、ずれが検知された場合には、ステップ
S13に進み、ずれが検知されない場合には、最初に戻
る。つまり、ステップS10に戻る。
When the line of sight is detected as described above, it is determined whether or not a shift is detected by the shift detecting unit 16 (S12). That is, the detected gaze position is displayed on the display unit 2.
It is determined that there is a shift in the line-of-sight position when the frequency is outside the range of 0 or when the gazing point is biased toward a certain area. It is assumed that the information on the display range of the display unit 20 is stored in the shift detecting unit 16 in advance. In addition, it is determined that there is a gap even when the point of interest is gathered outside the display range of the icon while the screen displaying the icon is displayed. In this case, information on the display range of the icons is obtained from the display control unit 22. In this step S12, when a shift is detected, the process proceeds to step S13, and when no shift is detected, the process returns to the beginning. That is, the process returns to step S10.

【0025】次に、ステップS13においては、補正用
ターゲットを表示する。すなわち、表示部20上に補正
用ターゲットを表示させる。この補正用ターゲットの表
示は、上記表示制御部22により行う。この補正用ター
ゲットは、ユーザが該補正用ターゲットが知覚できる程
度の大きさとし、色彩については、ユーザに知覚されや
すいように周囲の色彩とは異なる色彩とすることが好ま
しい。また、ユーザの注意を引くためにターゲットを点
滅させてもよい。図5に示す例では、×印の補正用ター
ゲットTが表示されている。
Next, in step S13, a correction target is displayed. That is, the correction target is displayed on the display unit 20. The display of the correction target is performed by the display control unit 22. It is preferable that the correction target be large enough for the user to perceive the correction target, and that the color be different from the surrounding colors so that the user can easily perceive the correction target. In addition, the target may be blinked to draw the user's attention. In the example shown in FIG. 5, a correction target T indicated by a cross is displayed.

【0026】補正用ターゲットが表示されたら、その時
の視線検出を行う(S14)。この視線検出は、上記ス
テップS11における視線検出と同様に行う。つまり、
表示部20の表示面上の視線位置を検出する。なお、視
線検出のタイミングは、表示制御部22が補正用ターゲ
ットを表示し、ユーザの知覚及び視線を動かすまでの遅
延を考慮したタイミングで、視線検出指示を視線検出部
12に対して行うことにより、補正用ターゲットが表示
された時の視線を検出するようにする。
When the correction target is displayed, the line of sight at that time is detected (S14). This gaze detection is performed in the same manner as the gaze detection in step S11. That is,
The gaze position on the display surface of the display unit 20 is detected. Note that the gaze detection timing is obtained by the display control unit 22 displaying the correction target, giving a gaze detection instruction to the gaze detection unit 12 at a timing that takes into account the user's perception and a delay until the gaze is moved. In addition, the line of sight when the correction target is displayed is detected.

【0027】そして、上記表示された補正用ターゲット
の表示位置と、検出された視線位置とを比較して、それ
らのずれを検知する(S15)。つまり、上記視線位置
とターゲット位置とのずれ方向及びずれ量を検出する。
このずれ方向とずれ量を検出する方法として、水平方向
(X方向)のずれ量と垂直方向(Y方向)のずれ量とを
比較することにより検出する方法が挙げられる。つま
り、図5において、補正用ターゲットTの座標が(x
α,yα)で、検出された視線位置Kの座標が(xk,
yk)の場合に、X方向のずれ量はxα−xkで表さ
れ、一方、Y方向のずれ量はyα−ykで表される。
Then, the display position of the displayed correction target is compared with the detected line-of-sight position to detect a deviation between them (S15). That is, the shift direction and the shift amount between the line-of-sight position and the target position are detected.
As a method of detecting the shift direction and the shift amount, there is a method of detecting by comparing the shift amount in the horizontal direction (X direction) and the shift amount in the vertical direction (Y direction). That is, in FIG. 5, the coordinates of the correction target T are (x
α, yα), the coordinates of the detected line-of-sight position K are (xk,
In the case of yk), the shift amount in the X direction is represented by xα-xk, while the shift amount in the Y direction is represented by yα-yk.

【0028】以上のようにして、ずれを算出したら、補
正の必要があるか否かを判定する(S16)。この場合
の考え方として、ずれ量があまり大きい場合には、表示
された補正用ターゲットを見逃した可能性が考えられる
ことから補正は行わないようにする。すなわち、上記補
正用ターゲットTと視線位置Kとの距離rを算出し、こ
のrが所定のしきい値よりも小さい場合には、補正を行
い、一方、該距離rが該しきい値よりも大きい場合に
は、補正を行わない。
After the deviation is calculated as described above, it is determined whether correction is necessary (S16). As a concept in this case, if the deviation amount is too large, the correction is not performed because there is a possibility that the displayed correction target has been missed. That is, the distance r between the correction target T and the line-of-sight position K is calculated, and if this r is smaller than a predetermined threshold, the correction is performed, while the distance r is larger than the threshold. If it is larger, no correction is made.

【0029】そして、補正が必要であると判定された場
合には、ステップS17に進み、視線位置の補正を行
う。すなわち、その時の画像データを取り込み、上記視
線検出情報格納部14に格納しておく。この場合、ター
ゲット位置の座標位置の位置情報が既にデフォルトされ
たデータの位置情報にない場合には、上記視線検出情報
格納部14に新規に登録を行う。上記視線検出情報格納
部14への画像データの格納に際しては、図3のテーブ
ルの視線位置についてはターゲット位置の位置情報とす
る。つまり、図5のように(xα,yα)の座標位置に
補正用ターゲットを表示させた場合には、テーブルの視
線位置には、この(xα,yα)を書き込む。そして、
この時の画像データを水平方向の濃度分布情報と垂直方
向の濃度分布情報とに分けて格納しておく。これによ
り、以後の視線検出においては、この画像データの情報
も利用されることになる。
If it is determined that correction is necessary, the flow advances to step S17 to correct the line-of-sight position. That is, the image data at that time is captured and stored in the visual line detection information storage unit 14. In this case, if the position information of the coordinate position of the target position is not already in the position information of the default data, the registration is newly performed in the line-of-sight detection information storage unit 14. When the image data is stored in the visual line detection information storage unit 14, the visual line position in the table of FIG. 3 is the position information of the target position. That is, when the correction target is displayed at the coordinate position (xα, yα) as shown in FIG. 5, this (xα, yα) is written in the line-of-sight position of the table. And
The image data at this time is stored separately for horizontal density distribution information and vertical density distribution information. As a result, the information of the image data is used in the subsequent gaze detection.

【0030】一方、ターゲット位置の座標位置の位置情
報がすでにデフォルトされたデータの中にある場合に
は、画像データの濃度分布情報を平均化する処理を行
う。例えば、図3において、視線位置(x1,y1)と
補正用ターゲット表示位置としての視線位置(xα,y
α)とが同じ座標位置の場合には、画像データαを新規
に登録するのではなく画像データ1の画像データの内容
を平均化したものとする。つまり、X方向についての濃
度分布情報については、画像データ1のものと画像デー
タαのものとを平均化するとともに、Y方向についての
濃度分布情報についても、画像データ1のものと画像デ
ータαのものとを平均化する。
On the other hand, when the position information of the coordinate position of the target position is already in the default data, a process for averaging the density distribution information of the image data is performed. For example, in FIG. 3, the line-of-sight position (x1, y1) and the line-of-sight position (xα, y
If α) is the same coordinate position, it is assumed that the content of the image data of the image data 1 is averaged instead of newly registering the image data α. That is, the density distribution information in the X direction is averaged for the image data 1 and the image data α, and the density distribution information in the Y direction is also obtained for the image data 1 and the image data α. Average things.

【0031】以上のようにすれば、以後の視線検出にお
いては、平均化された濃度分布情報との類似度を算出し
て視線方向を検出するので、より正確な視線の検出を行
うことができる。また、コンピュータ端末Pにおける処
理の最中に補正用ターゲットを表示して補正を行うの
で、事前にキャリブレーションを行う必要がない。
In the manner described above, in subsequent gaze detection, the degree of similarity with the averaged density distribution information is calculated to detect the gaze direction, so that more accurate gaze detection can be performed. . In addition, since the correction target is displayed and corrected during the processing in the computer terminal P, there is no need to perform calibration in advance.

【0032】なお、補正用ターゲットを出す座標位置と
しては、デフォルトされたデータにおける濃度分布情報
を補正するために、当初はデフォルトされたデータにお
ける視線位置を補正用ターゲットの座標位置とするのが
好ましい。なお、上記説明においては、ステップS10
からステップS12に示すように、視線位置のずれを検
知した場合に補正用ターゲットを表示するものとして説
明したが、上記のようなずれ検知を行わず、定期的に補
正用ターゲットを表示するようにしてもよい。また、ユ
ーザの入力操作により補正用ターゲットを表示するよう
にしてもよい。
In order to correct the density distribution information in the default data, it is preferable to set the line-of-sight position in the initially default data as the coordinate position of the correction target. . In the above description, step S10
From step S12, it has been described that the correction target is displayed when the displacement of the line-of-sight position is detected. However, the above-described displacement detection is not performed, and the correction target is displayed periodically. You may. The correction target may be displayed by a user's input operation.

【0033】次に、第2実施例について説明する。第2
実施例の検出視線位置補正装置A2の構成は上記第1実
施例と略同一であり、図1と同様の構成であるが、表示
制御部22の動作が異なる。つまり、表示制御部22は
ある入力された文字の表示位置を検出し、この文字の表
示位置の情報をずれ検知部16に送る。また、該文字を
表示部20に表示するタイミングで、視線検出部12に
視線検出を指示するのである。詳しい動作は後述する。
なお、他の構成は上記第1実施例と同様であるのでその
説明を省略する。
Next, a second embodiment will be described. Second
The configuration of the detection line-of-sight position correction device A2 of this embodiment is substantially the same as that of the first embodiment, and has the same configuration as that of FIG. 1 except for the operation of the display control unit 22. That is, the display control unit 22 detects the display position of a certain input character, and sends information on the display position of this character to the shift detection unit 16. Further, at the timing when the character is displayed on the display unit 20, the gaze detection unit 12 is instructed to detect the gaze. The detailed operation will be described later.
The other configuration is the same as that of the first embodiment, and the description thereof is omitted.

【0034】第2実施例における検出視線位置補正装置
A2の動作について図6を使用して説明する。まず、図
2に示すように、ユーザが上記構成の検出視線位置補正
装置A2が搭載されたコンピュータ端末Pを使用して処
理を行っているものとする。この処理としては、ワード
プロセッサによる文字の入力、表計算による処理等任意
である。
The operation of the detection line-of-sight position correcting device A2 in the second embodiment will be described with reference to FIG. First, as shown in FIG. 2, it is assumed that the user is performing a process using the computer terminal P equipped with the detection line-of-sight position correction device A2 having the above configuration. This processing is arbitrary, such as input of characters by a word processor, processing by spreadsheets, and the like.

【0035】まず、カメラに10により画像データを取
り込む(S20)。すなわち、上記カメラ10がユーザ
甲の顔を撮影する。すると、このカメラ10により撮影
された画像は視線検出部12に送られる。次に、視線検
出部12においては、視線検出が行われる(S21)。
この視線検出の方法は上記第1実施例の場合と同様であ
る。
First, image data is taken into the camera by 10 (S20). That is, the camera 10 photographs the face of the user A. Then, the image captured by the camera 10 is sent to the visual line detection unit 12. Next, the line-of-sight detection unit 12 performs line-of-sight detection (S21).
The gaze detection method is the same as in the first embodiment.

【0036】視線検出が行われたら、ずれ検知部16に
よりずれが検知されるか否かが判定される(S22)。
すなわち、検出された視線位置が表示部20の外部であ
る頻度が高い場合や、注視点があるエリアに偏っている
場合等に視線位置のずれがあると判定する。なお、表示
部20の表示範囲の情報は予めずれ検知部16に保持さ
れているものとする。また、アイコンが表示されている
画面が表示されている状態で、アイコンの表示範囲以外
に注視点が集まる場合にもずれがあるものと判定され
る。この場合、アイコンの表示範囲についての情報は上
記表示制御部22から得る。このステップS22におい
て、ずれが検知された場合には、ステップS23に進
み、ずれが検知されない場合には、最初に戻る。つま
り、ステップS20に戻る。
After the line of sight is detected, it is determined whether or not a shift is detected by the shift detecting unit 16 (S22).
That is, it is determined that there is a shift in the line-of-sight position when the detected line-of-sight position is frequently outside the display unit 20 or when the gazing point is biased toward a certain area. It is assumed that the information on the display range of the display unit 20 is stored in the shift detecting unit 16 in advance. In addition, it is determined that there is a gap even when the point of interest is gathered outside the display range of the icon while the screen displaying the icon is displayed. In this case, information on the display range of the icons is obtained from the display control unit 22. In this step S22, when a shift is detected, the process proceeds to step S23, and when no shift is detected, the process returns to the beginning. That is, the process returns to step S20.

【0037】次に、ステップS23においては、文字入
力があるかどうかが判定される。文字入力があった場合
には、ステップS24に移行する。ステップS24で
は、入力された文字の入力位置の座標を検出する。図7
に示すように、「LOGON」と入力された場合を考え
ると、表示部20に表示された「LOGON」の表示位
置の座標を検出する。検出された座標が(xα,yα)
であるとする。なお、検出される座標は便宜上「LOG
ON」における真ん中の「G」の位置の座標とする。
Next, in step S23, it is determined whether or not there is a character input. If there is a character input, the process proceeds to step S24. In step S24, the coordinates of the input position of the input character are detected. FIG.
Assuming that “LOGON” has been input as shown in (1), the coordinates of the display position of “LOGON” displayed on the display unit 20 are detected. The detected coordinates are (xα, yα)
And Note that the detected coordinates are “LOG
The coordinates of the position of the center “G” in “ON”.

【0038】文字入力位置の座標が検出されたら、その
時の視線検出を行う(S25)。この視線検出は、上記
ステップS21における視線検出と同様に行う。なお、
視線検出のタイミングは、実際には、表示制御部22が
文字を表示し、ユーザの知覚及び視線を動かすまでの遅
延を考慮したタイミングで、視線検出指示を視線検出部
12に対して行うことにより、該文字が表示された時の
視線を検出するようにするのが好ましい。
When the coordinates of the character input position are detected, the line of sight at that time is detected (S25). This gaze detection is performed in the same manner as the gaze detection in step S21. In addition,
In actuality, the gaze detection timing is obtained by giving the gaze detection instruction to the gaze detection unit 12 at a timing in which the display control unit 22 displays characters, and considers the user's perception and the delay until the gaze is moved. It is preferable to detect the line of sight when the character is displayed.

【0039】そして、上記文字の表示位置と、検出され
た視線位置とを比較して、それらのずれを検知する(S
26)。つまり、上記視線位置とターゲット位置とのず
れ方向及びずれ量を検出する。このずれ方向とずれ量を
検出する方法として、上記と同様に、X方向のずれ量と
Y方向のずれ量とを比較することにより検出する。つま
り、図7において、入力文字Lの座標が(xα,yα)
で、検出された視線位置Kの座標が(xk,yk)の場
合に、X方向のずれ量はxα−xkで表され、一方、Y
方向のずれ量はyα−ykで表される。
Then, the display position of the character is compared with the detected line-of-sight position to detect a shift between them (S
26). That is, the shift direction and the shift amount between the line-of-sight position and the target position are detected. As a method for detecting the shift direction and the shift amount, the shift amount in the X direction and the shift amount in the Y direction are detected in the same manner as described above. That is, in FIG. 7, the coordinates of the input character L are (xα, yα)
In the case where the coordinates of the detected line-of-sight position K are (xk, yk), the shift amount in the X direction is represented by xα−xk.
The shift amount in the direction is represented by yα-yk.

【0040】以上のようにして、ずれを算出したら、補
正の必要があるか否かを判定する(S27)。この場合
も上記第1実施例と同様に、上記入力文字Lと視線位置
Kとの距離rを算出し、このrが所定のしきい値よりも
小さい場合には、補正を行い、一方、該距離rが該しき
い値よりも大きい場合には、補正を行わない。
After calculating the deviation as described above, it is determined whether or not correction is necessary (S27). Also in this case, similarly to the first embodiment, the distance r between the input character L and the line-of-sight position K is calculated, and if this r is smaller than a predetermined threshold, the correction is performed. If the distance r is larger than the threshold, no correction is performed.

【0041】そして、補正が必要であると判定された場
合には、ステップS28に進み、視線位置の補正を行
う。この補正の方法は、上記第1実施例と同様である。
つまり、ターゲット位置の位置情報が既にデフォルトさ
れたデータの位置情報にない場合には、上記視線検出情
報格納部14に新規に登録を行い、一方、ターゲット位
置の位置情報がすでにデフォルトされたデータの中にあ
る場合には、画像データの濃度分布情報を平均化する処
理を行う。
If it is determined that correction is necessary, the flow advances to step S28 to correct the line-of-sight position. The method of this correction is the same as in the first embodiment.
That is, when the position information of the target position is not included in the position information of the already defaulted data, a new registration is performed in the line-of-sight detection information storage unit 14, while the position information of the target position is stored in the already defaulted data. If it is in the middle, a process of averaging the density distribution information of the image data is performed.

【0042】以上のようにすれば、以後の視線検出にお
いては、平均化されたパターン画像との類似度を算出し
て視線方向を検出するので、より正確な視線の検出を行
うことができる。また、コンピュータ端末Pにおける処
理の最中に入力された文字の表示位置を検出する等して
補正を行うので、事前にキャリブレーションを行う必要
がない。また、本第2実施例によれば、入力された文字
の表示位置と検出された視線位置とのずれに従い補正を
行うので、上記第1実施例のように補正用ターゲットを
一々表示する必要がない。
In the manner described above, in subsequent gaze detection, the degree of similarity to the averaged pattern image is calculated to detect the gaze direction, so that more accurate gaze detection can be performed. In addition, since the correction is performed by detecting the display position of the character input during the processing in the computer terminal P, it is not necessary to perform the calibration in advance. Further, according to the second embodiment, since the correction is performed in accordance with the shift between the display position of the input character and the detected line-of-sight position, it is necessary to display the correction targets one by one as in the first embodiment. Absent.

【0043】なお、この第2実施例においても、上記説
明においては、ステップS20からステップS22に示
すように、視線位置のずれを検知した場合に補正用ター
ゲットを表示するものとして説明したが、上記のような
ずれ検知を行わず、定期的に補正用ターゲットを表示す
るようにしてもよい。
In the second embodiment, the description has been made assuming that the correction target is displayed when the displacement of the line of sight is detected, as shown in steps S20 to S22. Instead of performing the displacement detection as described above, the correction target may be displayed periodically.

【0044】なお、上記の説明では、視線検出情報格納
部14において、画像データをX方向の濃度分布情報と
Y方向の濃度分布情報とに分けて格納するものとして説
明したが、これには限られず、2次元の画像データとし
て格納するようにしてもよい。
In the above description, it has been described that the visual line detection information storage unit 14 stores image data separately into density distribution information in the X direction and density distribution information in the Y direction. However, the present invention is not limited to this. Instead, they may be stored as two-dimensional image data.

【0045】また、上記の説明においては、補正の方法
として所定の視線位置についてのX方向とY方向の濃度
分布情報を変更するものとして説明したが、これには限
られず、検出されたずれのずれ方向とずれ量とに従い、
図3に示すテーブルの視線位置の情報を変更する処理を
行うようにしてもよい。つまり、ある補正用ターゲット
と検出された視線位置とのずれをX方向とY方向とに検
出し、テーブルに格納されている視線位置の座標情報を
そのずれ量だけ補正するのである。
In the above description, the correction method is described as changing the density distribution information in the X and Y directions for a predetermined line of sight. However, the present invention is not limited to this. According to the shift direction and the shift amount,
A process of changing the information on the line-of-sight position in the table shown in FIG. 3 may be performed. That is, a deviation between a certain correction target and the detected line-of-sight position is detected in the X direction and the Y direction, and the coordinate information of the line-of-sight position stored in the table is corrected by the amount of the deviation.

【0046】つまり、ある補正用ターゲット表示位置と
検出された視線位置とのずれをX方向とY方向とに検出
し、テーブルに格納されている視線位置の座標情報をそ
のずれ量だけ補正するのである。すなわち、図5の例で
は、X方向のずれ量はxα−xk(これをxmとする)
で表され、一方、Y方向のずれ量はyα−yk(これを
ymとする)で表される。そこで、すでに格納されてい
る視線位置のデータをこのずれ量分だけ補正するのであ
る。つまり、画像データ1の場合には、視線位置は(x
1−xm,y1−ym)とする。なお、補正する画像デ
ータは、予めデフォルトされた画像データのみとするの
が好ましい。つまり、デフォルトされた画像データ以外
の画像データは、補正用ターゲットを表示して得た画像
データであるので、補正の必要性が低いからである。ま
た、補正用ターゲットを表示することにより得た画像デ
ータが画像データα、画像データβというように増えて
いくことになるが、その場合には、補正値を平均化する
とにより対応する。
That is, the deviation between the display position of a certain correction target and the detected line-of-sight position is detected in the X and Y directions, and the coordinate information of the line-of-sight position stored in the table is corrected by the amount of the deviation. is there. That is, in the example of FIG. 5, the shift amount in the X direction is xα−xk (this is xm).
On the other hand, the shift amount in the Y direction is represented by yα-yk (this is ym). Therefore, the data of the line-of-sight position already stored is corrected by this deviation amount. That is, in the case of image data 1, the line-of-sight position is (x
1−xm, y1−ym). It is preferable that the image data to be corrected be only default image data. In other words, image data other than the default image data is image data obtained by displaying the correction target, and thus the necessity of correction is low. In addition, the image data obtained by displaying the correction target increases as image data α and image data β. In this case, it is more appropriate to average the correction values.

【0047】[0047]

【発明の効果】本発明に基づく視線検出装置によれば、
補正用ターゲットや入力された文字等の表示体を表示さ
せることにより、検出される視線位置を補正するので、
事前にキャリブレーションを行う必要がない。
According to the gaze detecting apparatus according to the present invention,
Since the detected gaze position is corrected by displaying a correction target or a display such as an input character,
There is no need to perform calibration in advance.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施例に基づく視線検出装置の構成を
示すブロック図である。
FIG. 1 is a block diagram illustrating a configuration of a gaze detection device according to an embodiment of the present invention.

【図2】本発明の実施例に基づく視線検出装置の使用状
態を示す斜視図である。
FIG. 2 is a perspective view showing a state of use of the visual line detection device according to the embodiment of the present invention.

【図3】視線検出用テーブルを示す説明図である。FIG. 3 is an explanatory diagram showing a line-of-sight detection table.

【図4】本発明の第1実施例に基づく視線検出装置の動
作を示すフローチャートである。
FIG. 4 is a flowchart showing an operation of the gaze detecting device according to the first embodiment of the present invention.

【図5】本発明の第1実施例に基づく視線検出装置の動
作を示す説明図である。
FIG. 5 is an explanatory diagram showing an operation of the gaze detecting device according to the first embodiment of the present invention.

【図6】本発明の第2実施例に基づく視線検出装置の動
作を示すフローチャートである。
FIG. 6 is a flowchart showing an operation of a gaze detecting device according to a second embodiment of the present invention.

【図7】本発明の第2実施例に基づく視線検出装置の動
作を示す説明図である。
FIG. 7 is an explanatory diagram illustrating an operation of a gaze detection device according to a second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

A1、A2 視線検出装置 10 カメラ 12 視線検出部 14 視線検出情報格納部 16 ずれ検知部 18 補正部 20 表示部 22 表示制御部 A1, A2 Eye-gaze detection device 10 Camera 12 Eye-gaze detection unit 14 Eye-gaze detection information storage unit 16 Displacement detection unit 18 Correction unit 20 Display unit 22 Display control unit

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 視線位置を検出する視線検出装置であっ
て、 表示部に所定の表示体を指示し、この表示された表示体
の表示位置と、該マークを表示した際に検出された視線
位置とを比較することにより、検出される視線位置を補
正することを特徴とする視線検出装置。
1. A gaze detection device for detecting a gaze position, in which a predetermined display body is instructed on a display unit, and a display position of the displayed display body and a gaze detected when the mark is displayed. A gaze detection device that corrects a detected gaze position by comparing the gaze position with a position.
【請求項2】 視線位置を検出する視線検出装置であっ
て、 所定の情報を表示する表示手段と、 該表示手段に所定の表示体を表示させる表示体表示手段
と、 表示体が表示された際の視線位置を検出する視線検出手
段と、 上記表示体の表示位置と検出された視線位置との間にず
れがある場合に、検出される視線位置を補正する補正手
段とを有することを特徴とする視線検出装置。
2. A gaze detection device for detecting a gaze position, comprising: display means for displaying predetermined information; display means display means for displaying a predetermined display body on the display means; Gaze detection means for detecting the gaze position at the time of the operation, and correction means for correcting the gaze position detected when there is a deviation between the display position of the display and the detected gaze position. Eye-gaze detecting device.
【請求項3】 視線検出装置が、さらに、視線のずれを
検知するずれ検知手段を有し、少なくとも該ずれ検知手
段によりずれが検知された場合に、上記表示体表示手段
が表示体を表示手段に表示させることを特徴とする請求
項1又は2に記載の視線検出装置。
3. The line-of-sight detection device further includes a deviation detection unit that detects a deviation of the line of sight, and when at least the deviation is detected by the deviation detection unit, the display unit display unit displays the display unit. The gaze detection device according to claim 1, wherein the gaze detection device displays the information.
【請求項4】 ユーザにより入力操作があった場合に、
上記表示体表示手段が、その入力操作に対応する表示体
を表示させることを特徴とする請求項2又は3に記載の
視線検出装置。
4. When an input operation is performed by a user,
The gaze detecting device according to claim 2, wherein the display body display means displays a display body corresponding to the input operation.
【請求項5】 視線検出装置が、さらに、上記表示体の
表示位置と検出された視線位置とのずれ量を検出する第
2ずれ検知手段を有し、この第2ずれ検知手段の検出結
果が所定の場合に上記補正手段が補正を行うことを特徴
とする請求項2又は3又は4に記載の視線検出装置。
5. The line-of-sight detecting device further includes a second deviation detecting unit that detects a deviation amount between the display position of the display body and the detected line-of-sight position, and the detection result of the second deviation detecting unit is The eye-gaze detecting device according to claim 2, wherein the correction unit performs correction in a predetermined case.
【請求項6】 上記表示体が、所定の記号又は図形であ
ることを特徴とする請求項1又は2又は3又は4又は5
に記載の視線検出装置。
6. The display according to claim 1, wherein the display is a predetermined symbol or graphic.
The eye-gaze detecting device according to item 1.
【請求項7】 上記表示体が、文字であることを特徴と
する請求項1又は2又は3又は4又は5又は6に記載の
視線検出装置。
7. The eye gaze detecting device according to claim 1, wherein the display is a character.
【請求項8】 上記視線検出装置が、座標位置と各座標
位置に対応する検出用データとを有する視線検出用情報
を格納した記憶部を有し、該記憶部に格納された検出用
データの内容を変更することにより補正を行うことを特
徴とする請求項1又は2又は3又は4又は5又は6又は
7に記載の視線検出装置。
8. The visual axis detection device has a storage unit that stores visual axis detection information having a coordinate position and detection data corresponding to each coordinate position, and stores the visual data of the detection data stored in the storage unit. The gaze detection device according to claim 1, wherein the correction is performed by changing the content.
【請求項9】 上記視線検出装置が、座標位置と各座標
位置に対応する画像データとを有する視線検出用情報を
格納した記憶部を有し、該記憶部に格納された座標位置
の内容を変更することにより補正を行うことを特徴とす
る請求項1又は2又は3又は4又は5又は6又は7に記
載の視線検出装置。
9. The eye-gaze detecting device has a storage unit storing eye-gaze detection information having a coordinate position and image data corresponding to each coordinate position, and stores the contents of the coordinate position stored in the storage unit. The gaze detection device according to claim 1, wherein the correction is performed by changing the gaze direction.
【請求項10】 上記記憶部には、座標位置と該座標位
置に対応する検出用データであって、予めデフォルトさ
れた検出用データとを格納されていることを特徴とする
請求項8又は9に記載の視線検出装置。
10. The storage unit according to claim 8, wherein the storage unit stores a coordinate position and detection data corresponding to the coordinate position, the detection data being preset in advance. The eye-gaze detecting device according to item 1.
JP25425397A 1997-09-02 1997-09-02 Gaze detection device Expired - Fee Related JP3796019B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25425397A JP3796019B2 (en) 1997-09-02 1997-09-02 Gaze detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25425397A JP3796019B2 (en) 1997-09-02 1997-09-02 Gaze detection device

Publications (2)

Publication Number Publication Date
JPH1176165A true JPH1176165A (en) 1999-03-23
JP3796019B2 JP3796019B2 (en) 2006-07-12

Family

ID=17262422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25425397A Expired - Fee Related JP3796019B2 (en) 1997-09-02 1997-09-02 Gaze detection device

Country Status (1)

Country Link
JP (1) JP3796019B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005077258A1 (en) * 2004-02-17 2005-08-25 National University Corporation Shizuoka University Eyeshot detection device using distance image sensor
JP2006309291A (en) * 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ Pointing device and method based on pupil detection
JP2012065781A (en) * 2010-09-22 2012-04-05 Fujitsu Ltd Line-of-sight detection device, and correction coefficient determination program
JP2015046111A (en) * 2013-08-29 2015-03-12 株式会社Jvcケンウッド Viewpoint detection device and viewpoint detection method
EP3002662A1 (en) 2014-10-02 2016-04-06 Fujitsu Limited Device and method for correcting a detected eye gaze position
WO2016139850A1 (en) * 2015-03-05 2016-09-09 ソニー株式会社 Information processing device, control method, and program
WO2016147499A1 (en) * 2015-03-17 2016-09-22 ソニー株式会社 Information processing device, information processing method, and program
JP2017107511A (en) * 2015-12-11 2017-06-15 富士通株式会社 Information processing system, information processing method, and information processing program
WO2017169824A1 (en) * 2016-03-30 2017-10-05 ソニー株式会社 Control device, method and surgery system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005230049A (en) * 2004-02-17 2005-09-02 National Univ Corp Shizuoka Univ Visual axis detector using distance image sensor
US7533988B2 (en) 2004-02-17 2009-05-19 National University Corporation Shizuoka University Eyeshot detection device using distance image sensor
JP4604190B2 (en) * 2004-02-17 2010-12-22 国立大学法人静岡大学 Gaze detection device using distance image sensor
WO2005077258A1 (en) * 2004-02-17 2005-08-25 National University Corporation Shizuoka University Eyeshot detection device using distance image sensor
JP2006309291A (en) * 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ Pointing device and method based on pupil detection
JP2012065781A (en) * 2010-09-22 2012-04-05 Fujitsu Ltd Line-of-sight detection device, and correction coefficient determination program
JP2015046111A (en) * 2013-08-29 2015-03-12 株式会社Jvcケンウッド Viewpoint detection device and viewpoint detection method
US9913578B2 (en) 2014-10-02 2018-03-13 Fujitsu Limited Eye gaze detecting device and eye gaze detection method
EP3002662A1 (en) 2014-10-02 2016-04-06 Fujitsu Limited Device and method for correcting a detected eye gaze position
EP3070580A1 (en) 2014-10-02 2016-09-21 Fujitsu Limited Eye gaze detecting device and eye gaze detection method
WO2016139850A1 (en) * 2015-03-05 2016-09-09 ソニー株式会社 Information processing device, control method, and program
CN107407977A (en) * 2015-03-05 2017-11-28 索尼公司 Message processing device, control method and program
US11023038B2 (en) 2015-03-05 2021-06-01 Sony Corporation Line of sight detection adjustment unit and control method
WO2016147499A1 (en) * 2015-03-17 2016-09-22 ソニー株式会社 Information processing device, information processing method, and program
JP2017107511A (en) * 2015-12-11 2017-06-15 富士通株式会社 Information processing system, information processing method, and information processing program
WO2017169824A1 (en) * 2016-03-30 2017-10-05 ソニー株式会社 Control device, method and surgery system

Also Published As

Publication number Publication date
JP3796019B2 (en) 2006-07-12

Similar Documents

Publication Publication Date Title
US9740281B2 (en) Human-machine interaction method and apparatus
US7853050B2 (en) System and method for operation without touch by operators
JP5710589B2 (en) Improved handheld screen detection pointer
US9480397B2 (en) Gaze tracking variations using visible lights or dots
CN111543934A (en) Vision detection method and device, electronic product and storage medium
JPH113429A (en) Observer tracking automatic stereoscopic display device, image tracking system, and image tracking method
US20170115732A1 (en) Position Locating Method and Apparatus
CN113936324A (en) Gaze detection method, control method of electronic device and related device
JPH1185452A (en) Scroll controller
JPH1176165A (en) Visual axis detection device
JPH1185442A (en) Information output device
JP2005261728A (en) Line-of-sight direction recognition apparatus and line-of-sight direction recognition program
WO2019095095A1 (en) Image-adjusting method for head-mounted display device and head-mounted display device
JP2501288B2 (en) Gaze point estimation device
US10824237B2 (en) Screen display control method and screen display control system
JP2017138645A (en) Sight-line detection device
CN113891002A (en) Shooting method and device
JPH1124549A (en) Rapid reading support device
CN116348909A (en) Posture detection device, posture detection method, and sleep phase determination method
CN112004151A (en) Control method of television device, television device and readable storage medium
WO2020095400A1 (en) Characteristic point extraction device, characteristic point extraction method, and program storage medium
CN110007763A (en) Display methods, flexible display apparatus and electronic equipment
JPH08123612A (en) Position input method and conference support system using same
US11874961B2 (en) Managing display of an icon in an eye tracking augmented reality device
US11790692B2 (en) Method for behaviour recognition, electronic equipment, and storage medium

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060414

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090421

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100421

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110421

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees