JP2877399B2 - Gaze detection method of gaze detection device - Google Patents

Gaze detection method of gaze detection device

Info

Publication number
JP2877399B2
JP2877399B2 JP1316466A JP31646689A JP2877399B2 JP 2877399 B2 JP2877399 B2 JP 2877399B2 JP 1316466 A JP1316466 A JP 1316466A JP 31646689 A JP31646689 A JP 31646689A JP 2877399 B2 JP2877399 B2 JP 2877399B2
Authority
JP
Japan
Prior art keywords
bit
straight line
pupil
bit element
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1316466A
Other languages
Japanese (ja)
Other versions
JPH03177826A (en
Inventor
修 進藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Asahi Kogaku Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kogaku Kogyo Co Ltd filed Critical Asahi Kogaku Kogyo Co Ltd
Priority to JP1316466A priority Critical patent/JP2877399B2/en
Priority to US07/623,566 priority patent/US5485403A/en
Priority to DE4039144A priority patent/DE4039144A1/en
Publication of JPH03177826A publication Critical patent/JPH03177826A/en
Application granted granted Critical
Publication of JP2877399B2 publication Critical patent/JP2877399B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02Viewfinders
    • G03B2213/025Sightline detection

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は、第一プルキンエ像に対応するピーク成分と
眼底からの反射光束に対応する信号成分とを含む光電変
換信号分布曲線を得る段階と、光電変換信号分布曲線を
信号処理して第一プルキンエ像の位置を検出する段階
と、第一プルキンエ像を含む信号成分を信号処理の対象
から除外して眼の虹彩の緑の位置を検出する段階と、瞳
孔の縁の位置に基づき瞳孔中心を求め、瞳孔中心と前記
第一プルキンエ像との位置関係から視線の方向を検出す
る段階とからなる視線検出装置の視線検出方法の改良に
関する。
The present invention relates to a step of obtaining a photoelectric conversion signal distribution curve including a peak component corresponding to a first Purkinje image and a signal component corresponding to a light beam reflected from the fundus. Detecting the position of the first Purkinje image by performing signal processing on the photoelectric conversion signal distribution curve, and detecting the green position of the iris of the eye by excluding the signal components including the first Purkinje image from signal processing targets The present invention relates to an improvement of a gaze detection method of a gaze detection device, comprising the steps of: determining a pupil center based on a position of a pupil edge; and detecting a gaze direction from a positional relationship between the pupil center and the first Purkinje image.

(従来の技術) 近時、カメラ、たとえば、一眼レフレックスカメラで
は、ファインダーの視野内に複数個の合焦ゾーンを設け
ると共に、その複数個の合焦ゾーンと光学的に略共役な
位置に、そのファインダーの各合焦ゾーンに対応するオ
ートフォーカス光学系の合焦視野を設け、撮影者の視線
が向けられた方向にある合焦ゾーンを選択し、その選択
された合焦ゾーンに対応するオートフォーカス光学系を
用いて、その選択された合焦ゾーンに重なって見える被
写体に対する合焦情報に基づいて被写体に対する合焦を
行うものが提案されつつある(特願昭63−143259号参
照)。
(Prior Art) Recently, a camera, for example, a single-lens reflex camera, has a plurality of focusing zones within a field of view of a viewfinder, and has a position optically substantially conjugate to the plurality of focusing zones. An in-focus field of the auto-focus optical system corresponding to each focusing zone of the viewfinder is provided, a focusing zone in a direction in which the photographer's line of sight is directed is selected, and an auto-focusing zone corresponding to the selected focusing zone is selected. A device that focuses on a subject by using a focusing optical system based on focusing information on the subject that appears to overlap with the selected focusing zone has been proposed (see Japanese Patent Application No. 63-143259).

その視線の方向を検出するために、図示を略す送光系
を用いて平行光束を撮影者の眼に照射し、その眼からの
反射光束を受光系の一次元ラインセンサ(CCD)を用い
て受光し、第10図に示すように、反射強度の最も大きい
第一プルキンエ像に対応するピーク成分1と眼底からの
反射光束に対応する信号成分2とを含む光電変換信号分
布曲線3を得、光電変換信号分布曲線3を信号処理して
第一プルキンエ像の位置を検出すると共に、第一プルキ
ンエ像を含む信号成分1を信号処理の対象から除外して
眼の瞳孔の縁の位置を検出し、瞳孔の縁の位置に基づき
瞳孔中心を求め、瞳孔中心と第一プルキンエ像との位置
関係を検出する視線検出装置が開発されつつある。な
お、4は虹彩からの反射光束に基づく信号成分であり、
光電変換信号分布曲線3のすそ野を形成している。
In order to detect the direction of the line of sight, a parallel light beam is emitted to the photographer's eye using a light transmission system (not shown), and the reflected light beam from the eye is detected using a one-dimensional line sensor (CCD) of a light receiving system. 10, the photoelectric conversion signal distribution curve 3 including the peak component 1 corresponding to the first Purkinje image having the highest reflection intensity and the signal component 2 corresponding to the light flux reflected from the fundus, as shown in FIG. The position of the first Purkinje image is detected by performing signal processing on the photoelectric conversion signal distribution curve 3, and the position of the edge of the pupil of the eye is detected by excluding the signal component 1 including the first Purkinje image from signal processing targets. A line-of-sight detection device is being developed which determines the pupil center based on the position of the edge of the pupil and detects the positional relationship between the pupil center and the first Purkinje image. In addition, 4 is a signal component based on the light flux reflected from the iris,
The skirt of the photoelectric conversion signal distribution curve 3 is formed.

ところで、従来は、その光電変換信号分布曲線3を以
下に説明する信号処理を行って視線の方向を検出してい
る。
By the way, conventionally, the direction of the line of sight is detected by performing signal processing described below on the photoelectric conversion signal distribution curve 3.

すなわち、第11図に示すように、二つのスライスレベ
ルSL1、SL2を準備し、スライスレベルSL1により信号成
分2をスライスして瞳孔の縁を求めるための座標i1、i2
を求め、ピーク成分1をスライスして座標PI1、PI2を求
める。そして、座標i1、i2を加算平均して瞳孔中心を求
め、座標PI1、PI2を加算平均して第一プルキンエ像の位
置を求める。この瞳孔中心の位置と第一プルキンエ像の
位置とにより視線の方向を検出している(特願昭62−14
6067号参照)。
That is, as shown in FIG. 11, two slice levels SL 1 and SL 2 are prepared, and coordinates i 1 and i 2 for obtaining the edge of the pupil by slicing the signal component 2 by the slice level SL 1.
, And slice the peak component 1 to obtain coordinates PI 1 and PI 2 . Then, the pupil center is obtained by averaging the coordinates i 1 and i 2, and the position of the first Purkinje image is obtained by averaging the coordinates PI 1 and PI 2 . The direction of the line of sight is detected from the position of the center of the pupil and the position of the first Purkinje image (Japanese Patent Application No. 62-14 / 1987).
No. 6067).

(発明が解決しようとする課題) ところが、その特願昭62−146067号に開示の信号処理
の方法は、スライスレベルSL2、SL1によってスライスさ
れた位置の二個のビット素子B1、B2、B1′、B2′のみを
用いて座標PI1、PI2、i1、i2を求めるのみであるので、
光電変換信号分布曲線3にノイズが混入した場合にはそ
のノイズの影響を受け易いという問題点があった。
(Problems to be Solved by the Invention) However, the signal processing method disclosed in Japanese Patent Application No. 62-146067 discloses a method of processing two bit elements B 1 , B 1 at positions sliced by slice levels SL 2 , SL 1 . Since only the coordinates PI 1 , PI 2 , i 1 and i 2 are obtained using only B 2 ′ and B 1 ′ and B 2 ′,
When noise is mixed in the photoelectric conversion signal distribution curve 3, there is a problem that the noise is easily affected by the noise.

そこで、第12図に示すように、同一出力値を呈するビ
ット素子の頻度を求め、最も頻度の多いビット素子の出
力値を分割レベルBLに設定し、この分割レベルBLを用い
て分割ピーク成分1′(第14図参照)と分割信号成分
2′(第13図参照)とに分割し、この分割ピーク成分
1′と分割信号成分2′とをそれぞれその中央O2を境に
左右に反転させた反転成分を準備する。そして、分割ピ
ーク成分1′とこの反転成分とを相互にビット素子の配
列方向にずらして、出力値の差の絶対値を求める一方、
分割信号成分2′とこの反転成分2′とを相互にビット
素子の配列方向にずらして出力値の差の絶対値を求め
る。次に、この絶対値が最小である各ビット素子を分割
ピーク成分1′と分割信号成分2′とについて求め、第
1プルキンエ像の位置と瞳孔の中心とを求める方法が提
案された(詳細は特願昭63−143259号参照)。この方法
によれば、ノイズの影響を極力除去して第一プルキンエ
像の位置と瞳孔の中心とを求めることができる。
Therefore, as shown in FIG. 12, the frequency of the bit element exhibiting the same output value is obtained, the output value of the most frequent bit element is set to the division level BL, and the division peak component 1 is calculated using the division level BL. '(14 as shown) and the division signal component 2' is divided into (13 as shown) and inverts the divided peak component 1 'and the divided signal component 2' and the right and left bordering the central O 2, respectively Prepare the inverted component. Then, the divided peak component 1 'and the inverted component are shifted from each other in the direction in which the bit elements are arranged, thereby obtaining the absolute value of the difference between the output values.
The absolute value of the difference between the output values is obtained by shifting the divided signal component 2 'and the inverted component 2' in the direction in which the bit elements are arranged. Next, a method has been proposed in which each bit element having the minimum absolute value is determined for the divided peak component 1 'and the divided signal component 2', and the position of the first Purkinje image and the center of the pupil are determined (details are given below). See Japanese Patent Application No. 63-143259). According to this method, the position of the first Purkinje image and the center of the pupil can be obtained by removing the influence of noise as much as possible.

ところが、この特願昭63−143259号に開示の信号処理
方法は、分割ピーク成分1′の分布、分割信号成分2′
の分布が中央を境に左右対称であることが前提となって
おり、視線検出装置の光学系にゴーストが混在している
場合には、その対称性が損なわれて、精度良く瞳孔の中
心と第一プルキンエ像の位置とを求め難いという問題点
を残していた。
However, the signal processing method disclosed in Japanese Patent Application No. 63-143259 discloses a distribution of a divided peak component 1 'and a divided signal component 2'.
It is assumed that the distribution is symmetrical about the center, and if ghosts are mixed in the optical system of the eye gaze detection device, the symmetry is impaired and the center of the pupil is accurately detected. The problem remains that it is difficult to determine the position of the first Purkinje statue.

そこで、本発明の目的は、ノイズ、ゴースト等の影響
を極力除去して精度良く視線の方向を検出することので
きる視線検出装置の視線検出方法を提供することにあ
る。
Therefore, an object of the present invention is to provide a gaze detection method of a gaze detection device that can detect the direction of a gaze with high accuracy by removing the influence of noise, ghost, and the like as much as possible.

(課題を達成するための手段) 本発明に係わる視線検出装置の視線検出方法は、上記
の目的を達成するため、 光電変換信号分布曲線を信号処理して第一プルキンエ
像の位置を検出する段階が、光電交換信号分布曲線のピ
ーウ値に対応するビット素子を検索する処理を行う段階
と、 ピーク値を出力するビット素子とそのビット素子を挟
む複数個のビット素子とから第一プルキンエ像の位置を
内挿する段階と、 からなっている。
(Means for Achieving the Object) A gaze detection method of a gaze detection apparatus according to the present invention includes a step of performing signal processing on a photoelectric conversion signal distribution curve to detect a position of a first Purkinje image in order to achieve the above object. Performing a process of searching for a bit element corresponding to the pee value of the photoelectric exchange signal distribution curve, and a position of a first Purkinje image from a bit element outputting a peak value and a plurality of bit elements sandwiching the bit element And the step of interpolating.

また、第一プルキンエ像を含むピーク成分を信号処理
の対象から除外する段階が、ピーク値に対応するビット
素子を挟んで複数個のビット素子を信号処理の対象から
外すことであることを特徴とする。
Further, the step of excluding the peak component including the first Purkinje image from the target of the signal processing is to exclude a plurality of bit elements from the target of the signal processing with the bit element corresponding to the peak value interposed therebetween. I do.

さらに、眼の瞳孔の縁を求める段階が、瞳孔の縁を求
めるために前記光電変換分布曲線の左側の変曲点と右側
の変曲点とを、ニュートンの方法により一番目の直線に
基づき得られた二番目の直線と三番目の直線との直線近
似による交点として求める処理を行うことであることを
特徴とする。
Further, the step of determining the edge of the pupil of the eye includes obtaining the inflection point on the left side and the inflection point on the right side of the photoelectric conversion distribution curve based on the first straight line by Newton's method in order to determine the edge of the pupil. And performing a process of obtaining an intersection between the obtained second straight line and the third straight line by linear approximation.

(作用) 本発明に係わる視線検出装置の視線検出方法は、多数
のビット素子を用いて瞳孔中心と第一プルキンエ像の位
置とを求めているので、ノイズ、ゴースト等の影響を極
力除去して精度良く視線の方向を検出することができ
る。
(Operation) Since the gaze detection method of the gaze detection device according to the present invention obtains the center of the pupil and the position of the first Purkinje image by using a large number of bit elements, the influence of noise, ghost, and the like is removed as much as possible. The gaze direction can be detected with high accuracy.

(実施例) 以下に、本発明に係わる視線検出装置を一眼レフレッ
クスカメラのオートフォーカス光学系に適用した実施例
を図面を参照しつつ説明する。
(Embodiment) An embodiment in which the visual line detection device according to the present invention is applied to an autofocus optical system of a single-lens reflex camera will be described below with reference to the drawings.

第3図は一眼レフレックスカメラのファインダー視野
を示すもので、そのファインダー視野10には3個の合焦
ゾーン11、12、13が設けられている。その合焦ゾーン1
1、12、13の離間距離は、ここでは、約9mmである。一眼
レフレックスカメラには、その各合焦ゾーン11、12、13
に対応させてオートフォーカス光学系(図示を略す)が
設けられている。このオートフォーカス光学系は、3個
の合焦ゾーン11、12、13と略共役な位置に、各合焦ゾー
ン11、12、13に対応する合焦視野(図示を略す)を有す
る。そして、各オートフォーカス光学系は第2図に示す
ようにCCD14、15、16を有する。CCD14、15、16にはオー
トフォーカス光学系の一部を構成する一対のセパレータ
レンズ(図示を略す)により被写体17、18、19の像がそ
れぞれ再結像される。
FIG. 3 shows the viewfinder field of view of the single-lens reflex camera. The viewfinder field 10 is provided with three focusing zones 11, 12, and 13. Focus zone 1
The separation distance between 1, 12, and 13 is about 9 mm here. Single-lens reflex cameras have their respective focusing zones 11, 12, 13
An autofocus optical system (not shown) is provided in correspondence with. The autofocus optical system has a focus field (not shown) corresponding to each of the focusing zones 11, 12, and 13 at a position substantially conjugate with the three focusing zones 11, 12, and 13. Each autofocus optical system has CCDs 14, 15, and 16, as shown in FIG. The images of the subjects 17, 18, and 19 are re-imaged on the CCDs 14, 15, and 16 by a pair of separator lenses (not shown) constituting a part of the autofocus optical system.

CCD14、15、16は後述する視線検出装置の処理回路20
の出力信号に基づいていずれかが選択駆動されるもの
で、以下に、視線検出装置の光学系の概略構成を第2図
を参照しつつ説明する。
CCDs 14, 15, and 16 are processing circuits 20 of a gaze detection device described later.
In the following, a schematic configuration of an optical system of the visual line detection device will be described with reference to FIG.

その第2図において、21はペンタプリズム、22は接眼
レンズ、23はカメラのフレーム、24は視線検出装置の送
光系、25は視線検出装置の受光系、26はビームスプリッ
タである。送光系24は光源27′とコンペンセータープリ
ズム28′とから大略構成されている。その光源27′は赤
外光を発生するもので、その赤外光はコンペンセーター
プリズム28′、ペンタプリズム21を介して接眼レンズ22
に導かれ、その接眼レンズ22により平行光束とされる。
その赤外光束はビームスプリッタ26を介してファインダ
ー窓28に導かれる。このファインダー窓28に眼29を当て
ると、撮影者はたとえば第3図に示すような被写体17、
18、19を見ることができる。同時に、撮影者の眼29には
赤外光束が投影される。
In FIG. 2, reference numeral 21 denotes a pentaprism, 22 denotes an eyepiece, 23 denotes a frame of a camera, 24 denotes a light transmission system of a visual line detection device, 25 denotes a light receiving system of the visual line detection device, and 26 denotes a beam splitter. The light transmission system 24 is generally constituted by a light source 27 'and a compensator prism 28'. The light source 27 'generates infrared light, and the infrared light is transmitted through the compensator prism 28' and the pentaprism 21 to the eyepiece 22.
And is converted into a parallel light beam by the eyepiece lens 22.
The infrared light beam is guided to the finder window 28 via the beam splitter 26. When the user puts his / her eyes 29 on the finder window 28, the photographer can see the subject 17, for example, as shown in FIG.
18, 19 can be seen. At the same time, an infrared light beam is projected on the eye 29 of the photographer.

その赤外光束の投影により、第4図に示すように、撮
影者の眼29の角膜30に第1プルキンエ像PIが形成され
る。その赤外光束の一部は角膜30を通過して眼底に至
る。その第1プルキンエ像PIと瞳孔31の中心32との位置
関係を求めれば、眼の回旋角を求めることができるもの
で、この点に関しては特願昭63−143259号に詳細に開示
されている。
By the projection of the infrared light beam, as shown in FIG. 4, a first Purkinje image PI is formed on the cornea 30 of the eye 29 of the photographer. Part of the infrared light beam passes through the cornea 30 and reaches the fundus. If the positional relationship between the first Purkinje image PI and the center 32 of the pupil 31 is determined, the rotation angle of the eye can be determined, and this point is disclosed in detail in Japanese Patent Application No. 63-143259. .

その眼底からの反射光束と角膜30からの反射光束とは
再びファインダー窓28を介してビームスプリッタ26に導
かれる。そして、このビームスプリッタ26により受光系
25に向けて反射される。受光系25は縮小レンズ33とミラ
ー34と再結像レンズ35と一次元ラインセンサ(CCD)36
とから大略構成されている。一次元ラインセンサ36は所
定幅の多数のビット素子を有する。その一次元ラインセ
ンサ36には眼底からの反射光束に基づきシルエットとし
て浮かび上がった瞳孔の縁37、37の像と角膜30からの反
射光束に基づく第1プルキンエ像PIとが再結像される。
一次元ラインセンサ36はその再結像に対応した光電変換
信号を出力する。その光電変換信号分布曲線3は第1プ
ルキンエ像PIに対応するピーク成分1と、眼底からの反
射光束に対応する信号成分2と虹彩からの反射光束に対
応する信号成分4とからなっている。この光電変換信号
分布曲線3を形成する光電変換信号は処理回路20に入力
される。
The light beam reflected from the fundus and the light beam reflected from the cornea 30 are guided again to the beam splitter 26 via the finder window 28. The beam splitter 26 provides a light receiving system.
Reflected towards 25. The light receiving system 25 includes a reduction lens 33, a mirror 34, a re-imaging lens 35, and a one-dimensional line sensor (CCD) 36.
It is roughly composed of The one-dimensional line sensor 36 has a number of bit elements having a predetermined width. On the one-dimensional line sensor 36, the images of the pupil edges 37, 37 that emerge as silhouettes based on the reflected light beam from the fundus and the first Purkinje image PI based on the reflected light beam from the cornea 30 are re-imaged.
The one-dimensional line sensor 36 outputs a photoelectric conversion signal corresponding to the re-imaging. The photoelectric conversion signal distribution curve 3 includes a peak component 1 corresponding to the first Purkinje image PI, a signal component 2 corresponding to a light beam reflected from the fundus, and a signal component 4 corresponding to a reflected light beam from the iris. The photoelectric conversion signal forming the photoelectric conversion signal distribution curve 3 is input to the processing circuit 20.

その処理回路20は所定の演算プログラムに基づき以下
に説明する処理を行う。
The processing circuit 20 performs processing described below based on a predetermined calculation program.

(1)第一プルキンエ像PIの位置を検出する段階 光電変換信号分布曲線3のピークに対応するビット素
子を検索する段階 この処理は通常の公知の方法により最大値を求めるも
ので、まず、最大値記憶メモリ(図示を略す)に初期値
Vmax=0(第15図のS1参照)を与え、仮り最大値Vmax
する。一次元ラインセンサ36のビット素子(その個数を
Nとする)を左から右に順に参照していって、仮り最大
値Vmaxより大きな値を出力するビット素子があればその
ビット素子の出力値を新たな仮り最大値Vmaxとして更新
し、その仮り最大値Vmaxい対応するビット素子の番号I
maxをビット番号記憶メモリ(図示を略す)に記憶す
る。
(1) Step of detecting the position of the first Purkinje image PI Step of searching for the bit element corresponding to the peak of the photoelectric conversion signal distribution curve 3 This processing is to find the maximum value by a commonly known method. Initial value in value storage memory (not shown)
V max = 0 gives (see S 1 in FIG. 15), and temporarily maximum value V max. Bit element of the one-dimensional line sensor 36 went reference in order (the number and N) from left to right, the output value of the bit element if any bit element that outputs a value greater than the provisional maximum value V max update the as a new provisional maximum value V max, number I of the temporary maximum value V max had corresponding bit element
max is stored in a bit number storage memory (not shown).

すなわち、仮り最大値VmaxとI番目のビット素子の出
力V(I)とを比較し(S2参照)、V(I)≧Vmaxのと
きはVmax=V(I)、Imax=Iの処理を行う(S3参
照)。V(I)<Vmaxのときはカウント個数を+1して
(S4参照)、S2の判断を行う。
That is, compared with the provisional maximum value V max and the output V of the I-th bit element (I) (see S 2), V (I) V max = V (I) when the ≧ V max, I max = The processing of I is performed (see S3). V (I) <(see S4) and increments the count number when the V max, makes the determination of S2.

I=1からNまで、S1からS4までの処理を繰り返し、
最終のビット素子(N番目のビット素子)までこの処理
を実行すれば、最大値記憶メモリVmaxには真の最大値
(ピーク値)Vmaxが記憶され、ビット番号記憶メモリI
maxにはその真の最大値Vmaxを出力するビット素子の番
号Imaxが記憶される。
The processing from S1 to S4 is repeated from I = 1 to N,
By executing this process up to the final bit elements (N th bit element), the maximum value storage memory V max true maximum value (peak value) V max is stored, the bit number storage memory I
The max number I max of the bit element and outputs the true maximum value V max is stored.

次に、最大値を出力するビット素子を用いて第1プル
キンエ像PIの位置を内挿座標Xpeakとして求める段階。
Next, a step of obtaining the position of the first Purkinje image PI as the interpolation coordinate X peak by using the bit element that outputs the maximum value.

まず、真の最大値Vmaxを出力するビット素子の番号I
max、真の最大値Vmaxをビット番号記憶メモリ、最大値
記憶メモリからそれぞれ呼び出す。
First, the number I of the bit element that outputs the true maximum value V max
max, calling each true maximum value V max bit number storage memory, the maximum value storage memory.

また、番号Imaxのビット素子の左隣のビット素子の番
号Imax-1をメモリから呼び出し、その番号Imax-1のビッ
ト素子の出力値V(Imax-1)をメモリV-1に記憶させ、
次いで、番号Imaxのビット素子の右隣のビット素子の番
号Imax+1をメモリから呼び出し、番号Imax+1のビット素
子の出力値V(CImax+1)をメモリV+1に記憶させる
(S5参照)。
Also, call the number I max-1 bit element to the left of the bit element number I max from the memory, the output value V of the bit element of that number I max-1 a (I max-1) in the memory V -1 Remember
Then, call the number I max + 1 bit elements right next to the bit element number I max from the memory, and stores the output value V of the number I max + 1-bit elements (CImax + 1) in the memory V +1 (S5 reference).

次ぎに、V-1≦V+1か否かを判断する(S6参照)。次
に、S7又はS8に移行して内挿座標Xpeakを求める処理を
行う。
Next, it is determined whether or not V −1 ≦ V +1 (see S6). Next, the process proceeds to S7 or S8 to perform a process of obtaining the interpolated coordinates Xpeak .

番号Imax-1のビット素子の出力値V-1と番号Imax+1
ビット素子の出力値V+1とが共に等しいときには、番号I
maxのビット素子の中央位置をピーク値として考えるこ
とができるが、一般には、番号Imax-1のビット素子の出
力値V-1と番号Imax+1のビット素子の出力値V+1とは等し
いとは限らず、かつ、ビット素子には幅があるので内挿
によりXpeakを求めることにしたのである。
When the output value V -1 of the bit element of the number I max-1 and the output value V +1 of the bit element of the number I max + 1 are equal to each other, the number I max
Although the center position of the bit element of max can be considered as the peak value, generally, the output value V -1 of the bit element of number I max-1 and the output value V +1 of the bit element of number I max + 1 are Are not always equal, and the bit element has a width, so X peak is determined by interpolation.

すなわち、不等式V-1<V+1(またはV-1≦V+1)が成立
するときには、第5図に示すように、数学の直線の傾き
を求める方程式を用い、直線Aと直線Bとの交点とし
て、 の式を用いて求め(第15図のS8参照)、 前記不等式が成り立たない場合は、 の式を用いて求める(第15図のS7参照)。
That is, when the inequality V −1 <V +1 (or V −1 ≦ V +1 ) is satisfied, a straight line A and a straight line B are used as shown in FIG. As the intersection of (See S8 in FIG. 15). If the inequality does not hold, (See S7 in FIG. 15).

このようにして、第一プルキンエ像PIの位置がピーク
値を出力するビット素子とそのビット素子を挟む複数個
のビット素子とを用いて内挿座標Xpeakとして求める。
In this way, the position of the first Purkinje image PI is obtained as the interpolation coordinate X peak using the bit element outputting the peak value and the plurality of bit elements sandwiching the bit element.

(2)第一プルキンエ像PIを含むビットを処理対象から
除去する段階 この処理は、第6図に示すように、ピーク成分1を形
成する出力値を出力する番号のビット素子を処理の対象
から除外するもので、番号Imaxのビット素子の左右の複
数個のビット素子の出力値を呼び出さないようにするこ
とにより達成される。第6図では、矢印Cの範囲のビッ
ト素子が処理の対象から除外されている。
(2) Step of removing the bit including the first Purkinje image PI from the processing target In this processing, as shown in FIG. 6, the bit element of the number that outputs the output value forming the peak component 1 is removed from the processing target. exclude, is achieved by not called the output value of a plurality of bit elements of the left and right bit element number I max. In FIG. 6, the bit elements in the range of arrow C are excluded from processing.

処理の対象から除外するビット素子の個数は視線検出
装置の光学性能と一次元ラインセンサー36のビット素子
の幅とが関係するが、光電変換分布曲線3の形状をブラ
ウン管上に映し出してその形状を見ながら決定するのが
望ましい。
The number of bit elements to be excluded from the processing is related to the optical performance of the line-of-sight detection device and the width of the bit elements of the one-dimensional line sensor 36. However, the shape of the photoelectric conversion distribution curve 3 is projected on a CRT and the shape is reflected. It is desirable to decide while watching.

ここでは、真の最大値Vmaxを出力するビット素子の番
号Imaxから左に数えて4番目(Imax-4)と真の最大値V
maxを出力するビット素子の番号Imaxから右に数えて4
番目(Imax+4)との間の各ビット素子を処理対象から
除外する。
Here, the fourth counting left with the number I max of the bit element that outputs a true maximum value V max (I max -4) and true maximum value V
with the number I max of the bit element that outputs max counting right 4
Each bit element between the first and the second (I max +4) is excluded from the processing target.

次に、後述する眼の虹彩の縁の検出の際に、左側処理
に用いるスレッシュホールドレベルと右側処理に用いる
スレッシュホールドレベルとを決定するため、左側の曲
線40の右端のビット素子IRと右側の曲線41の左側のビッ
ト素子ILとを求める処理を行う。
Next, at the time of detecting the edge of the iris of the eye, which will be described later, in order to determine the threshold level used for the left processing and the threshold level used for the right processing, the rightmost bit element I R of the left curve 40 and the right Of the bit element I L on the left side of the curve 41 of FIG.

すなわち、右端のビット素子メモリIRにビット素子番
号Imax-5を記憶させる。次に、左側のビット素子メモリ
ILにビット素子番号Imax+5を記憶させる(第15図の参照
S9参照)。
That, and stores the bit element number I max -5 at the right end of the bit element memory I R. Next, the left bit element memory
The bit element number I max +5 is stored in I L (see FIG. 15).
S9).

(3)眼の虹彩の縁(瞳孔の縁37)を検出する段階 この処理はピーク成分1を出力するビット素子を除い
たビット素子の出力値を用いて行われるもので、ピーク
成分1の左側に存在する曲線40と右側に存在する曲線41
との両方に対して実行される。
(3) Step of detecting the edge of the iris of the eye (the pupil edge 37) This processing is performed using the output values of the bit elements excluding the bit element that outputs the peak component 1, and the left side of the peak component 1 Curve 40 present on the right and curve 41 present on the right
And is performed for both.

右側の曲線41に対する処理と左側の曲線40に対する処
理とはピーク成分1を境に対称的に実行されるので、こ
こでは、左側の曲線40に対する処理について詳述する。
Since the processing on the right curve 41 and the processing on the left curve 40 are performed symmetrically with respect to the peak component 1, the processing on the left curve 40 will be described in detail here.

左側の曲線40に対する処理は以下の手順で行われる。 The processing for the left curve 40 is performed in the following procedure.

左側の曲線40のほぼ右側に位置する番号IR(IR=Imax
-5)のビット素子(第6図参照)、すなわち、一方の曲
線40の他方の曲線側に位置するビット素子の出力値V
(IR)よりも小さいスレシホールドレベルSLを第1図に
示すように設定する。このスレシホールドレベルSLはそ
の右端の番号IRのビット素子の出力値V(IR)の半分の
値を用いるのが望ましい。従って、まず、SLL=V
(IR)/2の処理を行う(第16図のS101参照)。
The number I R (I R = I max) located approximately to the right of the left curve 40
5), that is, the output value V of the bit element located on the other curve side of one curve 40.
A threshold level SL smaller than (I R ) is set as shown in FIG. It is desirable to use half the output value V (I R ) of the bit element of the rightmost number I R as the threshold level SL. Therefore, first, SLL = V
Performing (I R) / 2 processing (see S101 in FIG. 16).

そして、左側の曲線40を構成する出力値のうち隣接す
る二つのビット素子に着目し、左側のビット素子の出力
値(ビット素子の小さい方のビット素子(番号Iで示
す)の出力値)V(I)がそのスレシホールドレベルSL
Lより小さく、右側のビット素子の出力値(ビット番号
の大きい方のビット素子(番号I+1で示す)の出力
値)V(I+1)がスレシホールドレベルSLLより大き
いか否かの判断を行う(S102参照)。この判断はI=1
からIRまで繰り返される(S104参照)。この条件を満足
する隣接する二つのビット素子の番号I1、I2(第1図参
照)としてメモリに記憶させる(S103参照)。
Focusing on two adjacent bit elements among the output values forming the left curve 40, the output value of the left bit element (the output value of the smaller bit element (indicated by number I)) V (I) is the threshold level SL
It is determined whether or not the output value of the bit element smaller than L (the output value of the bit element with the larger bit number (indicated by the number I + 1)) V (I + 1) is larger than the threshold level SL L. (See S102). This judgment is I = 1
To I R (see S104). The two adjacent bit elements satisfying this condition are stored in the memory as numbers I 1 and I 2 (see FIG. 1) (see S103).

次に、ニュートンの方法を用いて、変曲点5を直線近
似の交点として求めるために、第一の直線K1を求める処
理を行う。
Next, using the Newton method, in order to obtain the inflection point 5 as the intersection of the linear approximation, executes processing for calculating a first straight K 1.

この第一の直線K1は番号I1のビット素子から右に数え
て二つ目のビット素子(I1+2番目のビット素子(これ
を番号I3で示す))と番号I1のビット素子から左に数え
て二つ目のビット素子(I1−2番目のビット素子(これ
を番号I4で示す))とを求めるためにメモリIUPにI1
2を記憶させ、メモリILOにI1−2を記憶させ、メモリ
DにD=4を記憶させる(S104参照)。次に、直線演算
ルーチンに移行し(S105参照)、その番号I3とI4の出力
値V3、V4に基づき番号I1、I2のビット素子の近傍にある
複数個のビット素子に適合する第一の直線K1を求める。
ここでは、直線K1の傾きAL1と切片BL1とを求めるもの
で、第18図に示すように、 傾きAは、 A=(V(IUP)−V(ILO))/D 切片Bは、 B=(IUP×V(ILO)−ILO×V(IUP))/D により求められる。
This first straight line K 1 is the second bit element (I 1 + the second bit element (this is indicated by the number I 3 )) counting from the bit element of the number I 1 to the right and the bit element of the number I 1 In order to obtain the second bit element (I 1 -the second bit element (this is indicated by the number I 4 )) counted from the left to the memory I UP , I 1 +
2 is stored, in the memory I LO stores the I 1 -2, and stores the D = 4 in the memory D (see S104). Next, (see S105) and proceeds in a straight line calculation routine, the plurality of bit elements in the vicinity of the bit element the number I 3 and number I 1 based on the output value V 3, V 4 of I 4, I 2 obtaining a first straight line K 1 compatible.
Here, and requests the slope A L1 and the intercept B L1 of the straight line K 1, as shown in FIG. 18, the slope A is, A = (V (I UP ) -V (I LO)) / D sections B is obtained by B = (I UP × V (I LO ) −I LO × V (I UP )) / D.

次に、この第一の直線K1がゼロレベルと交差する位置
X1を求める。この位置X1のすぐ左側に中心があるビット
素子(最も位置X1に近いビット素子)をゼロクロス・ビ
ット素子(番号I5)として定める。これは、メモリIUP
に-B1DIVA1の値を記憶させることにより得られる。
Then, at the intersection with the first straight line K 1 is zero level
Determine the X 1. The bit element centered immediately to the left of this position X 1 (the bit element closest to position X 1 ) is defined as the zero-cross bit element (number I 5 ). This is the memory I UP
Is obtained by storing the value of -B 1 DIVA 1 in

ここで、BDIVAは、 BDIVA=SGN(B/A)*INT(ABS(B/A))の処理を行うこ
とを意味し、 ABS(B/A)はBをAで割った値の絶対値をとることを意
味し、INTはそのB/Aの値のうち、小数点以下は切り捨て
て整数化することを意味し、SGNは正負の符号判定を意
味する。これにより、ゼロクロスビット素子が得られ
る。
Here, BDIVA means that processing of BDIVA = SGN (B / A) * INT (ABS (B / A)) is performed, and ABS (B / A) is the absolute value of the value obtained by dividing B by A. , INT means that the fractional part of the B / A value is rounded down to be converted to an integer, and SGN means whether the sign is positive or negative. Thereby, a zero cross bit element is obtained.

そして、そのゼロクロス・ビット素子(番号I5)より
左に数えて四つ目のビット素子IUP-4(番号I6)をメモ
リILOに記憶させる(S106参照)。次に、第18図の直線
演算ルーチンに移行し(S107参照)、番号I6のビット素
子の出力値V6とそのゼロクロスビット番号I5のビット素
子の出力値V5とに基づき、複数個のビット素子の出力値
に適合しかつ第一の直線よりも傾きの小さな第二の直線
K2を求める。ここでは、直線K2の傾きA2と切片B2とを求
める。
Then, the fourth bit element I UP -4 (number I 6 ) counted to the left of the zero-cross bit element (number I 5 ) is stored in the memory I LO (see S106). Then, the process proceeds (see S107) a straight line calculation routine of Figure 18, on the basis of the output value V 6 of bit element number I 6 and the output value V 5 bit element of the zero-cross bit numbers I 5, a plurality A second straight line that conforms to the output value of the bit element and has a smaller slope than the first straight line
Determine the K 2. Here, finding the slope A 2 and the intercept B 2 straight lines K 2.

そして、第一の直線K1と第二の直線K2との交点X2を数
学的方法により求める。すなわち、交点X2は、 X2=(B1−B2)/(A2−A1) として求められる(S108参照)。
Then, a first straight line K 1 the intersection X 2 with a second straight line K 2 obtained by mathematical methods. That is, the intersection point X 2 is calculated as X 2 = (B 1 -B 2 ) / (A 2 -A 1) ( see S108).

次に、その交点X2に最も近い位置で左側に中心がある
ビット素子IX2を求める。これは、 IX2=X2DIV1 の演算を行うことによって求められる。
Next, determine the bit element IX 2 centered on the left at the position closest to the intersection X 2. This is obtained by performing an operation of IX 2 = X 2 DIV1.

そして、その交点IX2から右に数えて2つ目のビット
素子(番号I7)に対応する出力値V7とその番号I7のビッ
ト素子から右に数えて4つ目のビット素子(番号I8、こ
の場合はI2と一致する。)の出力値V8とに基づき、その
交点X2の近傍にある複数個のビット素子の出力値に適合
する第三の直線K3を求める処理を行う。
The fourth bit element (number and output value V 7 from the bit element of that number I 7 counted to the right the corresponding counted from the intersection IX 2 to the right to the second bit element (No. I 7) I 8 , in this case, coincides with I 2 ) based on the output value V 8 , a process of obtaining a third straight line K 3 that matches the output values of the plurality of bit elements near the intersection X 2 I do.

すなわち、メモリIL0にX2+2を記憶させ、メモリIUP
にIL0+4を記憶させ、使用するビット素子を指定する
(S109参照)。次に、第18図の直線演算ルーチンに移行
し、傾きA3、切片B3を求める(S110参照)。
That is, X 2 +2 is stored in the memory I L0 and the memory I UP
Is stored as I L0 +4, and a bit element to be used is specified (see S109). Next, the process proceeds to the straight line calculation routine of FIG. 18, and the slope A 3 and the intercept B 3 are obtained (see S110).

そして、第二の直線K2と第三の直線K3とに基づき、そ
の交点Xedgeを、 Xedge=(B3−B2)/(A3−A2) の演算により求める(S111参照)。
Then, based on a second straight line K 2 and the third straight line K 3, the intersection point X edge, X edge = (B 3 -B 2) / obtained by calculation of (A 3 -A 2) (S111 see ).

そして、その交点Xedgeを変曲点5とみなして扱い、
変曲点5を瞳孔の縁として取り扱い、左側の曲線40と右
側の曲線41とについてそれぞれ瞳孔の縁37、37の位置を
求める。そして、この瞳孔の縁37、37の位置を加算平均
して瞳孔中心を得る。
Then, treat the intersection X edge as inflection point 5,
The inflection point 5 is treated as the pupil edge, and the positions of the pupil edges 37, 37 are determined for the left curve 40 and the right curve 41, respectively. Then, the positions of the edges 37 of the pupil are averaged to obtain the pupil center.

すなわち、限界点TLがXedgeよりも大きいか否かを判
断する(S113参照)。限界点TLがXedgeよりも大きいと
きは、Xedge=TLの処理を行って、右側処理(S11参照)
に移行し、限界点TLがXedgeよりも小さいか等しいとき
はそのまま右側処理(第17図のS11参照)に移行する。
そして、右側処理では左側処理と略同様の処理を行う。
That is, it is determined whether or not the limit point TL is larger than the X edge (see S113). When the limit point TL is larger than X edge , the processing of X edge = TL is performed, and the right side processing is performed (see S11).
When the limit point TL is smaller than or equal to X edge, the process directly proceeds to the right side process (see S11 in FIG. 17).
Then, in the right side processing, processing substantially similar to the left side processing is performed.

右側処理終了後、瞳孔の中心を求めるため、右側処理
の交点Xedge(左)と右側処理の交点Xedge(右)との平
均Xmeanとを求める(S12参照)。
After the right side processing is completed, an average X mean of the intersection X edge (left) of the right side processing and the intersection X edge (right) of the right side processing is obtained to obtain the center of the pupil (see S12).

次に、平均Xmeanと内挿座標Xpeakとを用いて下記の演
算式により、視線方向を求めるために、X座標の位置X
objを求める(S13参照)。
Next, using the average X mean and the interpolated coordinates X peak , the position X
Obtain obj (see S13).

Xobj=2.467*(Xmean−Xpeak) この演算式の係数は、特願昭63−143259号の視線検出
の原理に基づき得たものである。
X obj = 2.467 * (X mean −X peak ) The coefficients of this equation are obtained based on the principle of gaze detection in Japanese Patent Application No. 63-143259.

第7図〜第9図はその一次元ラインセンサ36から出力
された光電変換信号分布曲線の実測例を示しており、第
7図は中央の合焦ゾーン12に視線を向けた場合の光電変
換信号分布曲線3、第8図は左側の合焦ゾーン11に視線
を向けた場合の光電変換信号分布曲線3、第9図は右側
の合焦ゾーン13に視線を向けた場合の光電変換信号分布
曲線3を示しており、視線の方向は中央の合焦ゾーン12
の位置をX=0mmとして、左側の合焦ゾーン11に視線を
向けた場合の位置はX=−9mm、右側の合焦ゾーン13に
視線を向けた場合はX=9mmとして得られ、実際の処理
においても良好の検出結果が得られた。
7 to 9 show actual measurement examples of the distribution curve of the photoelectric conversion signal output from the one-dimensional line sensor 36. FIG. 7 shows the photoelectric conversion when the line of sight is directed to the central focusing zone 12. Signal distribution curve 3, FIG. 8 shows a photoelectric conversion signal distribution curve 3 when the line of sight is directed to the left focusing zone 11, and FIG. 9 shows a photoelectric conversion signal distribution when the line of sight is directed to the right focusing zone 13. Curve 3 is shown, and the direction of the line of sight is the central focusing zone 12.
Is set to X = 0 mm, the position when the line of sight is directed to the left focusing zone 11 is obtained as X = −9 mm, and when the line of sight is directed to the right focusing zone 13, X = 9 mm. Good detection results were also obtained in the processing.

(効果) 本発明に係わる視線検出装置の視線検出方法によれ
ば、ノイズ、ゴースト等の影響を極力除去して精度良く
視線の方向を検出することができるという効果を奏す
る。
(Effect) According to the gaze detection method of the gaze detection device according to the present invention, there is an effect that the direction of the gaze can be detected with high accuracy by removing the influence of noise, ghost, and the like as much as possible.

【図面の簡単な説明】[Brief description of the drawings]

第1図は本発明に係わる視線検出装置の処理回路を用い
て変曲点をニュートンの方法により求めるための説明
図、 第2図は本発明に係わる視線検出装置の光学系の要部構
成図、 第3図は第2図に示す視線検出装置が組み込まれた一眼
レフレックスカメラのファインダー視野を示す図、 第4図は視線検出装置を用いて眼に形成される第1プル
キンエ像を説明するための説明図、 第5図は第2図に示す処理回路を用いてピーク位置を求
める処理を説明するための説明図、 第6図はピーク成分を除くための処理を説明するための
説明図、 第7図〜第9図は光電変換信号分布曲線の実測例を説明
するための説明図、 第10図は光電変換信号分布曲線の説明図、 第11図は従来の視線検出装置の視線検出方法の一例を示
す図、 第12図〜第14図は従来の視線検出装置の視線検出方法の
他の例を示す図、 第15図〜第18図は本発明に係わる視線検出装置の視線検
出方法のフローチャート、 である。 1…ピーク成分、2…信号成分 3…光電変換信号分布曲線、5…変曲点 20…処理回路、31…瞳孔 32…瞳孔中心、36…一次元ラインセンサ(CCD) 37…瞳孔の縁、PI…第1プルキンエ像 K1…第一の直線、K2…第二の直線 K3…第三の直線、Xedge…内挿座標
FIG. 1 is an explanatory diagram for finding an inflection point by the Newton's method using the processing circuit of the eye-gaze detecting device according to the present invention, and FIG. FIG. 3 is a view showing a finder visual field of a single-lens reflex camera incorporating the visual line detection device shown in FIG. 2, and FIG. 4 is a view explaining a first Purkinje image formed on the eye using the visual line detection device. FIG. 5 is an explanatory diagram for explaining a process for obtaining a peak position using the processing circuit shown in FIG. 2, and FIG. 6 is an explanatory diagram for explaining a process for removing a peak component. 7 to 9 are explanatory diagrams for explaining an actual measurement example of a photoelectric conversion signal distribution curve, FIG. 10 is an explanatory diagram of a photoelectric conversion signal distribution curve, and FIG. 11 is a gaze detection of a conventional gaze detection device. FIGS. 12 to 14 show an example of a method. Diagram showing another example of the sight line detection method of the detection device, FIG. 15-FIG. 18 is a flow chart, of the sight line detection method of the visual line detection device according to the present invention. DESCRIPTION OF SYMBOLS 1 ... Peak component, 2 ... Signal component 3 ... Photoelectric conversion signal distribution curve, 5 ... Inflection point 20 ... Processing circuit, 31 ... Pupil 32 ... Pupil center, 36 ... One-dimensional line sensor (CCD) 37 ... Pupil edge, PI: First Purkinje image K 1 … First straight line, K 2 … Second straight line K 3 … Third straight line, X edge … Interpolated coordinates

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G02B 7/11 A61B 3/00 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 6 , DB name) G02B 7/11 A61B 3/00

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】第一プルキンエ像に対応するピーク成分と
眼底からの反射光束に対応する信号成分とを含む光電変
換信号分布曲線を得る段階と、 該光電変換信号分布曲線を信号処理して第一プルキンエ
像の位置を検出する段階と、 第一プルキンエ像を含むピーク成分を信号処理の対象か
ら除外する段階と、 眼の瞳孔の縁の位置を検出する段階と、 該瞳孔の縁の位置に基づき瞳孔中心を求め、前記瞳孔中
心と前記第一プルキンエ像との位置関係から視線の方向
を検出する段階とからなる視線検出装置の視線検出方法
において、 前記光電変換信号分布曲線を信号処理して第一プルキン
エ像の位置を検出する段階が、前記光電変換信号分布曲
線のピーク値に対応するビット素子を検索する処理を行
う段階と、 ピーク値を出力するビット素子とそのビット素子を挟む
複数個のビット素子とから第一プルキンエ像の位置を内
挿する段階と、 からなることを特徴とする視線検出装置の視線検出方
法。
A step of obtaining a photoelectric conversion signal distribution curve including a peak component corresponding to a first Purkinje image and a signal component corresponding to a light flux reflected from the fundus; Detecting a position of one Purkinje image; removing a peak component including the first Purkinje image from a signal processing target; detecting a position of an edge of a pupil of the eye; Determining the pupil center based on the pupil center, and detecting the direction of the line of sight from the positional relationship between the pupil center and the first Purkinje image, the signal processing the photoelectric conversion signal distribution curve, Detecting the position of the first Purkinje image includes performing a process of searching for a bit element corresponding to a peak value of the photoelectric conversion signal distribution curve, and outputting a peak value and a bit element that outputs the peak value. And interpolating steps the position of the first Purkinje image and a plurality of bit elements sandwiching the Tsu preparative element, the line-of-sight detection method of the visual axis detecting apparatus characterized by comprising a.
【請求項2】前記第一プルキンエ像を含むピーク成分を
信号処理の対象から除外する段階が、前記ピーク値に対
応するビット素子を挟んで複数個のビット素子を信号処
理の対象から外すことであることを特徴とする請求項1
に記載の視線検出装置の視線検出方法。
2. The method according to claim 1, wherein the step of excluding the peak component including the first Purkinje image from signal processing is performed by excluding a plurality of bit elements from signal processing with a bit element corresponding to the peak value interposed therebetween. 2. The method according to claim 1, wherein
7. A gaze detection method for the gaze detection device according to item 5.
【請求項3】前記眼の瞳孔の縁を求める段階が、瞳孔の
縁を求めるために前記光電変換分布曲線の左側の変曲点
と右側の変曲点とを、ニュートンの方法により一番目の
直線に基づき得られた二番目の直線と三番目の直線との
直線近似による交点として求める処理を行うことである
ことを特徴とする請求項2に記載の視線検出装置。
3. The step of determining the edge of the pupil of the eye includes the step of determining the inflection point on the left side and the inflection point on the right side of the photoelectric conversion distribution curve to determine the edge of the pupil by Newton's method. The eye-gaze detecting device according to claim 2, wherein a process is performed to obtain a point of intersection by a linear approximation between a second straight line and a third straight line obtained based on the straight line.
【請求項4】前記第一プルキンエ像を含むピーク成分を
信号処理の対象から除外する段階が、前記ピーク値に対
応するビット素子を挟んで複数個のビット素子を信号処
理の対象から外すことであり、 前記瞳孔の縁を求める段階が、 その信号処理の対象から除外されたピーク成分の左側の
曲線と右側の曲線とについて、一方の曲線の他方の曲線
側に位置するビット素子の出力値に基づいてその他方の
曲線側のビット素子の出力値よりも小さいスレシホール
ドレベルを設定する段階と、 そのスレシーホルドレベルを境に隣合った二個のビット
素子であって一方のビット素子の出力値が前記スレシホ
ールドレベルよりも小さく他方のビット素子の出力値が
前記スレシホールドレベルよりも大きい二個のビット素
子を求める段階と、 前記二個のビット素子の近傍にある複数個のビット素子
の出力値に適合する第一の直線を求める段階と、 該第一の直線がゼロレベルと交差する位置に最も近い位
置にあるゼロクロスビット素子を求め、このゼロクロス
ビット素子の近傍にある複数個のビット素子の出力値に
基づきその複数個のビット素子に適合しかつ第一の直線
よりも傾きの小さな第二の直線を求める段階と、 前記第一の直線と前記第二の直線との交点の近傍にある
複数個のビット素子の出力値に適合する第三の直線を求
める段階と、 該第三の直線と前記第二の直線との交点を前記光電変換
信号分布曲線の変曲点とみなして求め、前記左側の曲線
の変曲点と右側の曲線の変曲点とに基づき瞳孔の縁を求
める段階と、 からなることを特徴とする請求項1に記載の視線検出装
置の視線検出方法。
4. The step of excluding a peak component including the first Purkinje image from a target of signal processing is performed by excluding a plurality of bit elements from a target of signal processing with a bit element corresponding to the peak value interposed therebetween. The step of obtaining the edge of the pupil includes, for the left curve and the right curve of the peak component excluded from the signal processing target, the output value of the bit element located on the other curve side of one curve. Setting a threshold level smaller than the output value of the bit element on the other curve side based on the threshold level, and two bit elements adjacent to the threshold level and one of the bit elements Obtaining two bit elements whose output value is smaller than the threshold level and whose output value of the other bit element is larger than the threshold level; Determining a first straight line that fits the output values of the plurality of bit elements in the vicinity of the bit element; and determining a zero-cross bit element located closest to the position where the first straight line intersects the zero level; A step of obtaining a second straight line having a smaller inclination than the first straight line, which is adapted to the plurality of bit elements based on output values of the plurality of bit elements near the zero-cross bit element, Obtaining a third straight line that is suitable for the output values of the plurality of bit elements near the intersection of the straight line and the second straight line; and determining the intersection of the third straight line and the second straight line. Determining the inflection point of the photoelectric conversion signal distribution curve and obtaining an edge of the pupil based on the inflection point of the left curve and the inflection point of the right curve. A gaze detection method for the gaze detection device according to claim 1 .
【請求項5】前記瞳孔の中心を求める段階が、 前記左側の変曲点と右側の変曲点との中央値として瞳孔
中心を求める段階であることを特徴とする請求項4に記
載の視線検出装置の視線検出方法。
5. The line of sight according to claim 4, wherein the step of obtaining the center of the pupil is the step of obtaining the center of the pupil as a median between the left inflection point and the right inflection point. A gaze detection method for the detection device.
JP1316466A 1989-12-07 1989-12-07 Gaze detection method of gaze detection device Expired - Fee Related JP2877399B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP1316466A JP2877399B2 (en) 1989-12-07 1989-12-07 Gaze detection method of gaze detection device
US07/623,566 US5485403A (en) 1989-12-07 1990-12-07 Method and apparatus for processing signals from photoconductive sensor
DE4039144A DE4039144A1 (en) 1989-12-07 1990-12-07 Signal evaluation system for detecting line of sight - detects variation point between two signal levels using defined threshold level

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1316466A JP2877399B2 (en) 1989-12-07 1989-12-07 Gaze detection method of gaze detection device

Publications (2)

Publication Number Publication Date
JPH03177826A JPH03177826A (en) 1991-08-01
JP2877399B2 true JP2877399B2 (en) 1999-03-31

Family

ID=18077411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1316466A Expired - Fee Related JP2877399B2 (en) 1989-12-07 1989-12-07 Gaze detection method of gaze detection device

Country Status (1)

Country Link
JP (1) JP2877399B2 (en)

Also Published As

Publication number Publication date
JPH03177826A (en) 1991-08-01

Similar Documents

Publication Publication Date Title
JP3158643B2 (en) Camera having focus detecting means and line-of-sight detecting means
JP4018218B2 (en) Optical apparatus and distance measuring point selection method
JP3240648B2 (en) Focus detection device
JPH10161013A (en) Environment recognition device and camera provided therewith
JPH01241511A (en) Camera provided with glance detector
JPH0265836A (en) Visual axis detector and camera equipped therewith
JPH08248303A (en) Focus detector
US5671447A (en) Line-of-sight detecting device and apparatus including the same
JP2001116985A (en) Camera with subject recognizing function and subject recognizing method
JP2787491B2 (en) Eye gaze detection device
JP5159205B2 (en) Focus detection device and control method thereof
JPH07151950A (en) Camera
JP2001116979A (en) Automatic focusing camera and photographing method
US20020006281A1 (en) Focus detection device and distance measurement device
JP2877400B2 (en) Gaze detection method of gaze detection device
JP2877399B2 (en) Gaze detection method of gaze detection device
JPH05211625A (en) Image pickup device
JP3039066B2 (en) Focus detection device
JPS58199317A (en) Optical system of attachment for single-lens reflex camera
US5485403A (en) Method and apparatus for processing signals from photoconductive sensor
JP3256294B2 (en) Eye gaze detection apparatus and eye gaze detection method
JPH06254053A (en) Detecting device for line of sight
JP3290450B2 (en) Magnetic recording and photographing apparatus and focus control apparatus and method
JPH05188276A (en) Automatic focusing device for camera
JPH05100147A (en) Camera with line of sight detecting device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080122

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090122

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees