JPH06125874A - Sight line detecting device - Google Patents
Sight line detecting deviceInfo
- Publication number
- JPH06125874A JPH06125874A JP4278723A JP27872392A JPH06125874A JP H06125874 A JPH06125874 A JP H06125874A JP 4278723 A JP4278723 A JP 4278723A JP 27872392 A JP27872392 A JP 27872392A JP H06125874 A JPH06125874 A JP H06125874A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sight
- line
- eyeball
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は視線検出手段を有した光
学装置に関し、特に撮影系による被写体像が形成されて
いる観察面(ピント面)上のファインダー系を介して観
察者(撮影者)が観察している注視点方向の軸、いわゆ
る視線(視軸)を、観察者の眼球面上を照明したときに
得られる眼球の反射像を利用して検出し、各種の撮影操
作を行うようにした視線検出手段を有した光学装置に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an optical device having line-of-sight detecting means, and more particularly to an observer (photographer) through a viewfinder system on an observation plane (focus plane) on which an object image is formed by the photographing system. The so-called line of sight (visual axis) in the direction of the gazing point that is being observed by the observer is detected using the reflected image of the eyeball obtained when the observer's eyeball is illuminated, and various shooting operations are performed. The present invention relates to an optical device having the line-of-sight detection means.
【0002】[0002]
【従来の技術】従来より観察者が観察面上のどの位置を
観察しているかを検出する、いわゆる視線(視軸)を検
出する装置(例えばアイカメラ)が種々提案されてい
る。2. Description of the Related Art Conventionally, various devices (for example, eye cameras) for detecting what position on an observation surface an observer observes, that is, for detecting a so-called line of sight (visual axis) have been proposed.
【0003】例えば特開平1−274736号公報にお
いては、光源からの平行光束を観察者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置を利用して視軸を求めている。For example, in Japanese Unexamined Patent Publication No. 1-274736, a parallel light flux from a light source is projected onto the anterior segment of the eyeball of an observer, and a corneal reflection image by the reflected light from the cornea and an image forming position of the pupil are used. Seeking the visual axis.
【0004】図10は視線検出方法の原理説明図であ
る。FIG. 10 is a diagram for explaining the principle of the visual axis detection method.
【0005】図1(A)は図10のイメージセンサ14
面上に投影されるごく通常の場合の眼球像であり、
(B)の60はライン(I)−(I)′での像信号出力
を示している。FIG. 1A shows the image sensor 14 of FIG.
It is an eyeball image in a very normal case projected on the surface,
Reference numeral 60 in (B) indicates the image signal output on the lines (I)-(I) '.
【0006】図中50は眼球のいわゆる白目の部分、5
1は瞳孔を表わし、52a,52bは眼球照明光源の角
膜反射像を表わしている。In the figure, 50 is the so-called white part of the eyeball, 5
Reference numeral 1 represents a pupil, and 52a and 52b represent corneal reflection images of an eyeball illumination light source.
【0007】図2はメガネをかけた撮影者での眼球像例
である。(52a,52b)は角膜反射像、(53a,
53b),(54a,54b)はメガネによる光源のゴ
ースト像を表わしている。FIG. 2 is an example of an eyeball image of a photographer wearing glasses. (52a, 52b) is a cornea reflection image, (53a,
53b) and (54a, 54b) represent ghost images of the light source by the glasses.
【0008】次に図10、図1(A),(B)を用いて
視線検出方法について説明する。各赤外発光ダイオード
13a、13bは受光レンズ12の光軸アに対してZ方
向に略対称に配置され、各々撮影者の眼球を発散照明し
ている。Next, the visual axis detection method will be described with reference to FIGS. 10, 1A and 1B. The infrared light emitting diodes 13a and 13b are arranged substantially symmetrically in the Z direction with respect to the optical axis A of the light receiving lens 12, and divergently illuminate the eyes of the photographer.
【0009】赤外発光ダイオード13bより放射された
赤外光は眼球15の角膜16を照明する。このとき角膜
16の表面で反射した赤外光の一部による角膜反射像d
は受光レンズ12により集光されイメージセンサー14
上の位置d′に再結像する。The infrared light emitted from the infrared light emitting diode 13b illuminates the cornea 16 of the eyeball 15. At this time, the corneal reflection image d by a part of the infrared light reflected on the surface of the cornea 16
Is collected by the light receiving lens 12 and the image sensor 14
The image is re-imaged at the upper position d '.
【0010】同様に赤外発光ダイオード13aより放射
された赤外光は眼球の角膜16を照明する。このとき角
膜16の表面で反射した赤外光の一部による角膜反射像
eは受光レンズ12により集光されイメージセンサー1
4上の位置e′に再結像する。Similarly, the infrared light emitted from the infrared light emitting diode 13a illuminates the cornea 16 of the eyeball. At this time, the cornea reflection image e by a part of the infrared light reflected on the surface of the cornea 16 is condensed by the light receiving lens 12 and the image sensor 1
The image is re-imaged at the position e'on the position 4.
【0011】又、虹彩17の端部a,bからの光束は受
光レンズ12を介してイメージセンサー14上の位置
a′,b′に該端部a,bの像を結像する。受光レンズ
12の光軸(光軸ア)に対する眼球15の光軸イの回転
角θが小さい場合、虹彩17の端部a,bのZ座標をZ
a,Zbとすると、瞳孔19の中心位置cの座標Zcは Zc≒(Za+Zb)/2 と表わされる。The light beams from the ends a and b of the iris 17 form the images of the ends a and b at the positions a'and b'on the image sensor 14 via the light receiving lens 12. When the rotation angle θ of the optical axis a of the eyeball 15 with respect to the optical axis of the light receiving lens 12 (optical axis a) is small, the Z coordinate of the ends a and b of the iris 17 is set to Z.
Assuming a and Zb, the coordinate Zc of the center position c of the pupil 19 is expressed as Zc≈ (Za + Zb) / 2.
【0012】又、角膜反射像d及びeの中点のZ座標と
角膜16の曲率中心OのZ座標Zoとは一致するため、
角膜反射像の発生位置d,eのZ座標をZd,Ze、角
膜16の曲率中心Oから瞳孔19の中心Cまでの標準的
な距離をLOCとし、距離LOCに対する個人差を考慮する
係数をAlとすると眼球光軸イの回転角θは (Al*LOC)*sinθ≒Zc−(Zd+Ze)/2・・・(1) の関係式を略満足する。このため視線演算処理装置にお
いて図27(B)のごとくイメージセンサー上の一部に
投影された各特徴点(角膜反射像d,e及び虹彩の端部
a,b)の位置を検出することにより眼球の光軸イの回
転角θを求めることができる。このとき(1)式は、 β(Al*LOC)*sinθ≒(Za′+Zb′)/2 −(Zd′+Ze′)/2・・・(2) とかきかえられる。但し、βは受光レンズ12に対する
眼球の位置により決まる倍率で、実質的には角膜反射像
の間隔|Zd′−Ze′|の関数として求められる。眼
球15の回転角θは θ≒ARCSIN{(Zc′−Zf′)/β/(Al*LOC)}・・(3) とかきかえらえる。但し Zc′≒(Za′+Zb′)/2 Zf′≒(Zd′+Ze′)/2 である。ところで撮影者の眼球の光軸イとは一致しない
為、撮影者の眼球の光軸イの水平方向の回転角θが算出
されると眼球の光軸と視軸との角度補正δをすることに
より撮影者の水平方向の視線θHは求められる。眼球の
光軸イと視軸との補正角度δに対する個人差を考慮する
係数をB1とすると撮影者の水平方向の視線θHは θH=θ±(B1*δ)・・・(4) と求められる。ここで符号±は、撮影者に関して右への
回転角を正とすると、観察装置をのぞく撮影者の目が左
目の場合は+、右目の場合は−の符号が選択される。Further, since the Z coordinate of the midpoint of the corneal reflection images d and e and the Z coordinate Zo of the center of curvature O of the cornea 16 coincide with each other,
Z coordinates of the generation positions d and e of the corneal reflection image are Zd and Ze, a standard distance from the center of curvature O of the cornea 16 to the center C of the pupil 19 is L OC, and a coefficient that considers an individual difference with respect to the distance L OC Is Al, the rotation angle θ of the eyeball optical axis a substantially satisfies the relational expression of (Al * L OC ) * sin θ≈Zc− (Zd + Ze) / 2 (1). Therefore, by detecting the positions of the respective feature points (corneal reflection images d and e and the edges a and b of the iris) projected on a part of the image sensor in the visual line arithmetic processing device as shown in FIG. The rotation angle θ of the optical axis a of the eyeball can be obtained. At this time, the equation (1) can be rewritten as β (Al * L OC ) * sin θ≈ (Za ′ + Zb ′) / 2− (Zd ′ + Ze ′) / 2 (2). However, β is a magnification determined by the position of the eyeball with respect to the light receiving lens 12, and is substantially obtained as a function of the interval | Zd′−Ze ′ | of the corneal reflection image. The rotation angle θ of the eyeball 15 can be rewritten as θ≈ARCSIN {(Zc′−Zf ′) / β / (Al * L OC )} (3). However, Zc'≈ (Za ′ + Zb ′) / 2 and Zf′≈ (Zd ′ + Ze ′) / 2. By the way, since it does not match the optical axis a of the photographer's eye, when the horizontal rotation angle θ of the optical axis a of the photographer's eye is calculated, the angle correction δ between the optical axis of the eye and the visual axis should be performed. Thus, the horizontal line of sight θH of the photographer can be obtained. Letting B1 be a coefficient considering the individual difference with respect to the correction angle δ between the optical axis a of the eyeball and the visual axis, the horizontal line of sight θH of the photographer is calculated as θH = θ ± (B1 * δ) (4) To be Here, if the angle of rotation to the right of the photographer is positive, the sign ± is selected as + when the eye of the photographer looking through the observation device is the left eye, and when the eye of the photographer is the right eye.
【0013】又、同図においては撮影者の眼球がZ−X
平面(例えば水平面)内で回転する例を示しているが、
撮影者の眼球がX−Y平面(例えば垂直面)内で回転す
る場合においても同様に検出可能である。ただし、撮影
者の視線の垂直方向の成分は眼球の光軸の垂直方向の成
分θ′と一致するため垂直方向の視線θVは θV=θ′ となる。更に視線データθH,θVより撮影者が見てい
るファインダー視野内のピント板上の位置(Zn,Y
n)は Zn≒m*θH ≒m*[ARCSIN{(Zc′−Zf′)/β/(Al*LOC)} ±(B1*δ)] ・・・(5) Yn≒m*θV と求められる。ただし、mはカメラのファインダー光学
系で決まる定数である。Further, in the figure, the eyeball of the photographer is Z-X.
It shows an example of rotation in a plane (eg horizontal plane),
The same can be detected when the eyeball of the photographer rotates in the XY plane (for example, a vertical plane). However, since the vertical component of the line of sight of the photographer coincides with the vertical component θ ′ of the optical axis of the eyeball, the vertical line of sight θV is θV = θ ′. Further, from the line-of-sight data θH, θV, the position (Zn, Y
n) is Zn≈m * θH≈m * [ARCSIN {(Zc′−Zf ′) / β / (Al * L OC )} ± (B1 * δ)] (5) Yn≈m * θV Desired. However, m is a constant determined by the finder optical system of the camera.
【0014】ここで撮影者の眼球の個人差を補正する係
数Al,B1の値は撮影者にカメラのファインダー内の
所定の位置に配設された指標を固視してもらい、該指標
の位置と(5)式に従い算出された固視点の位置とを一
致させることにより求められる。Here, the values of the coefficients Al and B1 for correcting the individual differences of the eyeballs of the photographer have the photographer fixate the index arranged at a predetermined position in the viewfinder of the camera, and the position of the index. And the position of the fixation point calculated according to the equation (5).
【0015】本実施例における撮影者の視線及び注視点
を求める演算は、前記各式に基づき視線演算処理装置の
マイクロコンピュータのソフトで実行している。The calculation for obtaining the line of sight and gazing point of the photographer in this embodiment is executed by the software of the microcomputer of the line-of-sight calculation processing device based on the above equations.
【0016】視線の個人差を補正する係数が求まり
(5)式を用いてカメラのファインダーを覗く観察者の
視線のピント板上の位置を算出し、その視線情報を撮影
レンズの焦点調節あるいは露出制御等に利用している。The coefficient for correcting the individual difference of the line of sight is obtained, and the position of the line of sight of the observer looking into the viewfinder of the camera is calculated by using the formula (5), and the line of sight information is used for the focus adjustment or exposure of the photographing lens. It is used for control.
【0017】[0017]
【発明が解決しようとする課題】上述したように、撮影
者の視線方向/座標は、照明用の赤外発光ダイオード
(以下「IRED」と称する)の角膜反射像(「プルキ
ニエ像」、以下「P像」と称する)と、眼球像中の瞳孔
の位置関係から算出することができる。この具体的な検
出方式は本出願人による特願平3−121098号に開
示されている。As described above, the line-of-sight direction / coordinates of the photographer are determined by the corneal reflection image (“Purkinje image”, hereinafter “infrared light emitting diode” (hereinafter referred to as “IRED”) for illumination. P image ”), and can be calculated from the positional relationship of the pupils in the eyeball image. This specific detection method is disclosed in Japanese Patent Application No. 3-121098 filed by the present applicant.
【0018】P像はIREDの角膜反射像であるから、
眼球像全体の中では輝度が高く、またその像はIRED
のチップ発光面の反射像であるから、その大きさも極く
小さいものである。従って、その特徴を利用すれば眼球
像信号からP像を抽出することができる。具体的には、
眼球像信号中のある画素の輝度値が所定値以上あり、か
つその画素と周辺の画素の輝度差が所定以上ある場合
に、その画素(あるいはその画素を含めた周辺画素領
域)をP像の候補とするようにしている。Since the P image is a corneal reflection image of IRED,
The brightness is high in the whole eyeball image, and the image is IRED
Since it is a reflection image of the light emitting surface of the chip, its size is also extremely small. Therefore, the P image can be extracted from the eyeball image signal by utilizing the feature. In particular,
When the luminance value of a pixel in the eyeball image signal is equal to or more than a predetermined value and the luminance difference between the pixel and a peripheral pixel is equal to or more than a predetermined value, the pixel (or a peripheral pixel area including the pixel) is converted into a P image. I am trying to make it a candidate.
【0019】さらに、カメラと眼球の距離を検出するた
めにIREDは2個1組で点灯し、P像はペアで用いる
ようにしているから、P像ペアの候補が複数あるときに
は、適切な間隔を持つP像ペアを選択するようにしてい
る。Furthermore, in order to detect the distance between the camera and the eyeball, two IREDs are turned on in a set and P images are used in pairs. Therefore, when there are a plurality of P image pair candidates, an appropriate interval is set. A P-image pair having is selected.
【0020】図1のように、高輝度部分が図中(52
a,52b)の1組しかない場合には、先に述べた条件
でもって、この高輝度部分が正しいP像であることが容
易に検出できる。As shown in FIG. 1, the high-intensity part is indicated by (52
If there is only one set a, 52b), it can be easily detected that the high-intensity part is a correct P image under the conditions described above.
【0021】ところが、図2のように高輝度部分が複数
組ある場合には、前述の条件だけでは正しいP像を誤選
択してしまう場合がしばしば起こり、視線検出にとって
非常に都合は悪い。However, when there are a plurality of high-intensity portions as shown in FIG. 2, it often happens that the correct P image is erroneously selected only by the above-mentioned conditions, which is very inconvenient for the sight line detection.
【0022】[0022]
【課題を解決するための手段】本発明は、上述した課題
の解決を目的とする。SUMMARY OF THE INVENTION The present invention is directed to solving the above-mentioned problems.
【0023】即ち、最初に選択されたP像ペアに基づい
て算出した視線の結果が明らかに正常でないときに、図
2のように候補となるP像ペアがさらにある場合には、
別のP像ペアを用いて視線の算出を試みることによっ
て、正しいP像の選択を可能にしようとするものであ
る。That is, when the line-of-sight result calculated based on the initially selected P image pair is obviously not normal and there are more candidate P image pairs as shown in FIG.
By trying to calculate the line of sight using another P image pair, it is possible to select the correct P image.
【0024】そして具体的には、観察者の眼球を照明す
る手段と、観察者の眼球像から瞳孔部を検出する手段
と、観察者の眼球像から角膜反射像を検出する手段と、
該検出手段により得られた複数の角膜反射像からある角
膜反射像を選択する手段と、前記瞳孔と選択された角膜
反射像の位置関係から観察者の視線を検出する手段とを
有する視線検出装置であって、検出された視線の結果が
正常か否かを判別する手段と、判別手段の結果に応じて
角膜反射像を再選択する手段とを具備することにある。Specifically, means for illuminating the eyeball of the observer, means for detecting the pupil part from the eyeball image of the observer, means for detecting a corneal reflection image from the eyeball image of the observer,
A visual axis detection device having means for selecting a corneal reflection image from a plurality of corneal reflection images obtained by the detection means, and means for detecting the line of sight of an observer from the positional relationship between the pupil and the selected corneal reflection image. That is, it is provided with a unit that determines whether or not the result of the detected line of sight is normal, and a unit that reselects the corneal reflection image according to the result of the determination unit.
【0025】[0025]
【実施例】図3は本発明を一眼レフカメラに適用したと
きの実施例1の要部概略図を示す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 3 is a schematic view of the essential parts of a first embodiment when the present invention is applied to a single-lens reflex camera.
【0026】各図において、1は撮影レンズで便宜上2
枚のレンズで示したが、実際はさらに多数のレンズから
構成されている。2は主ミラーで、ファインダー系によ
る被写体像の観察状態と被写体像の撮影状態に応じて撮
影光路へ斜接されあるいは退去される。3はサブミラー
で、主ミラー2を透過した光束をカメラボディの下方の
後述する焦点検出装置6へ向けて反射する。In each of the drawings, reference numeral 1 is a taking lens, which is 2 for convenience.
Although shown with one lens, it is actually composed of a larger number of lenses. Reference numeral 2 denotes a main mirror, which is obliquely contacted with or retracted from the photographing optical path according to the observation state of the subject image by the finder system and the photographing state of the subject image. Reference numeral 3 denotes a sub-mirror, which reflects the light flux transmitted through the main mirror 2 toward a focus detection device 6 described below below the camera body.
【0027】4はシャッター、5は感光部材で、銀塩フ
ィルムあるいはCCDやMOS型等の固体撮像素子ある
いはビディコン等の撮像管より成っている。Reference numeral 4 is a shutter, and 5 is a photosensitive member, which is composed of a silver salt film, a CCD or MOS type solid-state image pickup device, or an image pickup tube such as a vidicon.
【0028】6は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ6a,反射ミラー6b及び6
c,2次結像レンズ6d,絞り6e,複数のCCDから
なるラインセンサー6f等から構成されている。Reference numeral 6 denotes a focus detection device, which is a field lens 6a and reflection mirrors 6b and 6 arranged near the image plane.
c, a secondary imaging lens 6d, a diaphragm 6e, a line sensor 6f including a plurality of CCDs, and the like.
【0029】本実施例における焦点検出装置6は周知の
位相差方式を用いており、図4に示すように観察画面内
(ファインダー視野内)の複数の領域(5箇所)を測距
点として、該測距点が焦点検出可能となるように構成さ
れている。The focus detecting device 6 in this embodiment uses a well-known phase difference method, and as shown in FIG. 4, a plurality of regions (5 places) in the observation screen (in the viewfinder field) are used as distance measuring points. The focus detection point is configured to be capable of focus detection.
【0030】7は撮影レンズ1の予定結像面に配置され
たピント板、8はファインダー光路変更用のペンタプリ
ズム、9,10は各々観察画面内の被写体輝度を測定す
るための結像レンズと測光センサーである。結像レンズ
9はペンタダハプリズム8内の反射光路を介してピント
板7と測光センサー10を共役に関係付けている。Reference numeral 7 is a focusing plate arranged on the planned image forming surface of the taking lens 1, 8 is a pentaprism for changing the finder optical path, and 9 and 10 are image forming lenses for measuring the brightness of the subject in the observation screen. It is a photometric sensor. The imaging lens 9 conjugately connects the focusing plate 7 and the photometric sensor 10 via the reflection optical path in the penta roof prism 8.
【0031】次にペンタダハプリズム8の射出面後方に
は光分割器11aを備えた接眼レンズ11が配され、撮
影者眼15によるピント板7の観察に使用される。光分
割器11aは、例えば可視光を透過し赤外光を反射する
ダイクロイックミラーより成っている。Next, an eyepiece lens 11 having a light splitter 11a is arranged behind the exit surface of the penta roof prism 8 and is used for observation of the focusing plate 7 by the photographer's eye 15. The light splitter 11a includes, for example, a dichroic mirror that transmits visible light and reflects infrared light.
【0032】12は受光レンズ、14はCCD等の光電
素子列を2次元的に配したイメージセンサーで受光レン
ズ12に関して所定の位置にある撮影者眼15の瞳孔近
傍と共役になるように配置されている。13a〜13f
は各々照明光源であるところの赤外発光ダイオードであ
る。Reference numeral 12 is a light-receiving lens, and 14 is an image sensor in which a photoelectric element array such as a CCD is two-dimensionally arranged so as to be conjugated with the vicinity of the pupil of the photographer's eye 15 at a predetermined position with respect to the light-receiving lens 12. ing. 13a to 13f
Are infrared light emitting diodes which are illumination light sources.
【0033】21は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用LEDで、発光された光は
投光用プリズム22を介し、主ミラー2で反射してピン
ト板7の表示部に設けた微小プリズムアレー7aで垂直
方向に曲げられ、ペンタプリズム8、接眼レンズ11を
通って撮影者眼15に達する。Reference numeral 21 is a high-intensity superimposing LED that can be visually recognized even in a bright subject, and the emitted light is reflected by the main mirror 2 via the projection prism 22 and is provided on the display portion of the focusing plate 7. It is bent in the vertical direction by the micro prism array 7a, passes through the penta prism 8 and the eyepiece lens 11 and reaches the photographer's eye 15.
【0034】そこでピント板7の焦点検出領域に対応す
る複数の位置(測距点)にこの微小プリズムアレイ7a
を枠状に形成し、これを各々に対応した5つのスーパー
インポーズ用LED21(各々をLED−L1,LED
−L2,LED−C,LED−R1,LED−R2とす
る)によって照明する。Therefore, the fine prism array 7a is provided at a plurality of positions (distance measuring points) corresponding to the focus detection area of the focusing plate 7.
Are formed in a frame shape, and five superimposing LEDs 21 (each of which are LED-L1 and LED
-L2, LED-C, LED-R1, LED-R2).
【0035】これによって図3に示したファインダー視
野から分かるように、各々の測距点マーク200,20
1,202,203,204がファインダー視野内で光
り、焦点検出領域(測距点)を表示させることができる
ものである(以下これをスーパーインポーズ表示とい
う)。As a result, as can be seen from the viewfinder field shown in FIG.
Numerals 1, 202, 203, and 204 illuminate in the viewfinder field to display a focus detection area (distance measuring point) (hereinafter referred to as superimpose display).
【0036】23はファインダー視野領域を形成する視
野マスク。24はファインダー視野外に撮影情報を表示
するためのファインダー内LCDで、照明用LED(F
−LED)25によって照明されている。Reference numeral 23 is a field mask for forming a finder field area. Reference numeral 24 denotes an LCD in the finder for displaying photographing information outside the finder field of view.
-LED) 25.
【0037】LCD24を透過した光は三角プリズム2
6によってファインダー視野内に導かれ、図4の207
で示したようにファインダー視野外に表示され、撮影者
は撮影情報を知ることができる。The light transmitted through the LCD 24 is the triangular prism 2
6 is guided into the field of view of the finder, and 207 of FIG.
It is displayed outside the field of view of the viewfinder as shown by, and the photographer can know the photographing information.
【0038】31は撮影レンズ1内に設けた絞り、32
は後述する絞り駆動回路111を含む絞り駆動装置、3
3はレンズ駆動用モーター、34は駆動ギヤ等からなる
レンズ駆動部材、35はフォトカプラーでレンズ駆動部
材34に連動するパルス板36の回転を検知してレンズ
焦点調節回路110に伝えている。焦点調節回路110
は、この情報とカメラ側からのレンズ駆動量の情報に基
づいてレンズ駆動用モーターを所定量駆動させ、撮影レ
ンズ1を合焦位置に移動させるようになっている。37
は公知のカメラとレンズとのインターフェイスとなるマ
ウント接点である。Reference numeral 31 denotes an aperture provided in the taking lens 1, 32
Is a diaphragm driving device including a diaphragm driving circuit 111 described later, 3
Reference numeral 3 is a lens driving motor, 34 is a lens driving member including a driving gear, and 35 is a photocoupler which detects rotation of the pulse plate 36 interlocking with the lens driving member 34 and transmits it to the lens focus adjusting circuit 110. Focus adjustment circuit 110
On the basis of this information and the information on the lens driving amount from the camera side, the lens driving motor is driven by a predetermined amount to move the taking lens 1 to the in-focus position. 37
Is a mount contact that serves as an interface between a known camera and a lens.
【0039】図5は本発明のカメラに内蔵された電気回
路図の説明図である。図3と同一のものは同一番号をつ
けている。FIG. 5 is an explanatory diagram of an electric circuit diagram incorporated in the camera of the present invention. The same parts as those in FIG. 3 are given the same numbers.
【0040】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置(以下CPU)100には視線検出
回路101、測光回路102、自動焦点検出回路10
3、信号入力回路104、LCD駆動回路105、LE
D駆動回路106、IRED駆動回路107、シャッタ
ー制御回路108、モーター制御回路109が接続され
ている。又、撮影レンズ内に配置された焦点調節回路1
10、絞り駆動回路111とは図3で示したマウント接
点37を介して信号の伝達がなされる。A central processing unit (hereinafter referred to as a CPU) 100 of a microcomputer incorporated in the camera body includes a visual axis detection circuit 101, a photometric circuit 102, and an automatic focus detection circuit 10.
3, signal input circuit 104, LCD drive circuit 105, LE
The D drive circuit 106, the IRED drive circuit 107, the shutter control circuit 108, and the motor control circuit 109 are connected. Further, a focus adjustment circuit 1 arranged in the photographing lens
10. Signals are transmitted to the diaphragm drive circuit 111 via the mount contact 37 shown in FIG.
【0041】CPU100に付随したEEPROM10
0aは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。EEPROM 10 attached to CPU 100
Reference numeral 0a has a function of storing the line-of-sight correction data as a storage unit for correcting individual differences in line-of-sight.
【0042】視線検出回路101は、イメージセンサー
14(CCD−EYE)からの眼球像の出力をA/D変
換し、この像情報をCPU100に送信する。CPU1
00は後述するように視線検出に必要な眼球像の各特徴
点を所定のアルゴリズムに従って抽出し、さらに各特徴
点の位置から撮影者の視線を算出する。The line-of-sight detection circuit 101 A / D converts the output of the eyeball image from the image sensor 14 (CCD-EYE) and sends this image information to the CPU 100. CPU1
As will be described later, 00 extracts each feature point of the eyeball image required for sight line detection according to a predetermined algorithm, and further calculates the photographer's sight line from the position of each feature point.
【0043】測光回路102は測光センサー10からの
出力を増幅後、対数圧縮、A/D変換し、各センサーの
輝度情報としてCPU100に送られる。測光センサー
10は図4に示したファインダー視野内の左側測距点2
00,201を含む左領域210を測光するSPC−L
と中央の測距点202を含む中央領域211を測光する
SPC−Cと右側の測距点203,204を含む右側領
域212を測光するSPC−Rとこれらの周辺領域21
3を測光するSPC−Aとの4つの領域を測光するフォ
トダイオードから構成されている。The photometric circuit 102, after amplifying the output from the photometric sensor 10, performs logarithmic compression and A / D conversion, and sends it to the CPU 100 as luminance information of each sensor. The photometric sensor 10 is the left focus point 2 in the viewfinder field shown in FIG.
SPC-L for photometry of the left area 210 including 00 and 201
And SPC-C for measuring the central area 211 including the center distance measuring point 202, SPC-R for measuring the right area 212 including the right distance measuring points 203 and 204, and their peripheral areas 21.
SPC-A for photometry of 3 and a photodiode for photometry of four areas.
【0044】図5のラインセンサー6fは前述の図4に
示すように画面内の5つの測距点200〜204に対応
した5組のラインセンサーCCD−L2,CCD−L
1,CCD−C,CCD−R1,CCD−R2から構成
される公知のCCDラインセンサーである。The line sensor 6f shown in FIG. 5 has five sets of line sensors CCD-L2 and CCD-L corresponding to the five distance measuring points 200 to 204 on the screen as shown in FIG.
This is a known CCD line sensor composed of 1, CCD-C, CCD-R1 and CCD-R2.
【0045】自動焦点検出回路103は、これらライン
センサー6fから得た電圧をA/D変換し、CPU10
0に送る。SW−1はレリーズ釦41の第一ストローク
でONし、測光、AF、視線検出動作等を開始するスイ
ッチ、SW−2はレリーズ釦の第二ストロークでONす
るレリーズスイッチ、SW−AELはAEロック釦43
を押すことによってONするAEロックスイッチ、SW
−DIAL1とSW−DIAL2は、不図示の電子ダイ
ヤル内に設けたダイヤルスイッチで信号入力回路104
のアップダウンカウンターに入力され、電子ダイヤルの
回転クリック量をカウントする。The automatic focus detection circuit 103 A / D-converts the voltage obtained from these line sensors 6f, and the CPU 10
Send to 0. SW-1 is a switch that is turned on by the first stroke of the release button 41 to start photometry, AF, line-of-sight detection, etc., SW-2 is a release switch that is turned on by the second stroke of the release button, and SW-AEL is an AE lock. Button 43
AE lock switch, SW that turns on by pressing
-DIAL1 and SW-DIAL2 are signal switches 104 provided by a dial switch provided in an electronic dial (not shown).
It is input to the up-down counter of and counts the amount of rotation clicks of the electronic dial.
【0046】105は液晶表示素子LCDを表示駆動さ
せるための公知のLCD駆動回路で、CPU100から
の信号に従い絞り値、シャッター秒時、設定した撮影モ
ード等の表示をモニター用LCD42とファインダー内
LCD24の両方に同時に表示させることができる。L
ED駆動回路106は照明用LED(F−LED)25
とスーパーインポーズ用LED21を点灯、点滅制御す
る。IRED駆動回路107は赤外発光ダイオード(I
RED1〜6)13a〜13fを状況に応じて選択的に
点灯させる。Reference numeral 105 denotes a known LCD drive circuit for driving the liquid crystal display device LCD to display the aperture value, the shutter speed, the set photographing mode, etc. according to a signal from the CPU 100 on the monitor LCD 42 and the viewfinder LCD 24. Both can be displayed at the same time. L
The ED drive circuit 106 is a lighting LED (F-LED) 25.
Then, the superimposing LED 21 is turned on and controlled to blink. The IRED drive circuit 107 is an infrared light emitting diode (I
RED1 to 6) 13a to 13f are selectively turned on according to the situation.
【0047】シャッター制御回路108は通電すると先
幕を走行させるマグネットMG−1と、後幕を走行させ
るマグネットMG−2を制御し、感光部材に所定光量を
露光させる。モーター制御回路109はフィルムの巻き
上げ、巻戻しを行なうモーターM1と主ミラー2及びシ
ャッター4のチャージを行なうモーターM2を制御する
ためのものである。これらシャッター制御回路108、
モーター制御回路109によって一連のカメラのレリー
ズシーケンスが動作する。When the shutter control circuit 108 is energized, it controls the magnet MG-1 for moving the front curtain and the magnet MG-2 for moving the rear curtain to expose the photosensitive member with a predetermined amount of light. The motor control circuit 109 is for controlling the motor M1 for winding and rewinding the film and the motor M2 for charging the main mirror 2 and the shutter 4. These shutter control circuits 108,
A series of camera release sequences operate by the motor control circuit 109.
【0048】次に、視線検出装置を有したカメラの動作
のフローチャートを図6に示し、これらをもとに以下説
明する。Next, a flow chart of the operation of the camera having the visual axis detecting device is shown in FIG. 6 and will be described below based on these.
【0049】不図示のモードダイヤルを回転させてカメ
ラを不作動状態から所定の撮影モードに設定すると(本
実施例ではシャッター優先AEに設定された場合をもと
に説明する)カメラの電源がONされ(#100)、C
PU100の視線検出に使われる変数がリセットされ
る。When the mode dial (not shown) is rotated to set the camera from the inoperative state to the predetermined photographing mode (this embodiment will be described based on the case where the shutter priority AE is set), the power of the camera is turned on. Yes (# 100), C
The variable used for the sight line detection of the PU 100 is reset.
【0050】そしてカメラはレリーズ釦41が押し込ま
れてスイッチSW1がONされるまで待機する(#10
2)。レリーズ釦41が押し込まれスイッチSW1がO
Nされたことを信号入力回路104が検知すると、CP
U100は視線検出回路101に確認する(#10
3)。Then, the camera stands by until the release button 41 is pressed and the switch SW1 is turned on (# 10).
2). The release button 41 is pressed and the switch SW1 is turned off.
When the signal input circuit 104 detects that N has been input, CP
U100 confirms with the line-of-sight detection circuit 101 (# 10
3).
【0051】この時、視線禁止モードに設定されていた
ら、視線検出は実行せずにすなわち視線情報を用いずに
測距点自動選択サブルーチン(#116)によって特定
の測距点を選択する。この測距点において自動焦点検出
回路103は焦点検出動作を行なう(#107)。At this time, if the line-of-sight prohibition mode is set, a specific range-finding point is selected by the range-finding point automatic selection subroutine (# 116) without executing line-of-sight detection, that is, without using line-of-sight information. At this focus detection point, the automatic focus detection circuit 103 performs focus detection operation (# 107).
【0052】このように視線情報を用いずに測距点選択
を行う撮影モード(視線禁止自動焦点撮影モード)と視
線情報を用いて測距点選択を行う撮影モード(視線自動
焦点撮影モード)の両方を備え、視線禁止モードに設定
するかどうかで撮影者が任意に選択できるようになって
いる。In this way, there are a photographing mode in which the distance measuring point is selected without using the line-of-sight information (a line-of-sight prohibited automatic focus photographing mode) and a photographing mode in which the distance measuring point is selected using the line-of-sight information (a line-of-sight automatic focus photographing mode). Both of them are provided so that the photographer can arbitrarily select whether to set the line-of-sight prohibition mode.
【0053】尚、測距点自動選択のアルゴリズムとして
はいくつかの方法が考えられるが、中央測距点に重み付
けを置いた近点優先アルゴリズムが有効であり、ここで
は本発明に直接関係がないので説明は省略する。Although several methods can be considered as the algorithm for automatically selecting the distance measuring points, the near point priority algorithm in which the central distance measuring point is weighted is effective and is not directly related to the present invention. Therefore, the description is omitted.
【0054】そして視線検出モードに設定されている場
合には視線検出を実行する(#104)。この時LED
駆動回路106は照明用LED(F−LED)25を点
灯させ、LCD駆動回路105はファインダー内LCD
24の視線入力マーク78を点灯させ、ファインダー画
面外207で撮影者はカメラが視線検出を行なっている
状態であることを確認することができるようになってい
る。When the visual axis detection mode is set, visual axis detection is executed (# 104). LED at this time
The drive circuit 106 turns on the illumination LED (F-LED) 25, and the LCD drive circuit 105 sets the LCD in the viewfinder.
The line-of-sight input mark 78 of 24 is turned on, and the photographer can confirm that the camera is performing line-of-sight detection outside the viewfinder screen 207.
【0055】ここで視線検出回路101において検出さ
れた視線はピント板7上の注視点座標に変換される。C
PU100は該注視点座標に近接した測距点を選択し、
LED駆動回路106に信号を送信してスーパーインポ
ーズ用LED21を用いて前記測距点マークを点滅表示
させる(#105)。The line of sight detected by the line-of-sight detection circuit 101 is converted into the gazing point coordinates on the focus plate 7. C
PU100 selects a distance measuring point close to the gazing point coordinates,
A signal is transmitted to the LED drive circuit 106 to cause the distance measuring point mark to blink using the superimposing LED 21 (# 105).
【0056】撮影者が該撮影者の視線によって選択され
た測距点が表示されたのを見て、その測距点が正しくな
いと認識してレリーズ釦41から手を離しスイッチSW
1をOFFすると(#106)、カメラはスイッチSW
1がONされるまで待機する(#102)。When the photographer sees that the distance measuring point selected by the photographer's line of sight is displayed, he recognizes that the distance measuring point is not correct, and releases the release button 41 to release the switch SW.
When 1 is turned off (# 106), the camera switches SW
It waits until 1 is turned on (# 102).
【0057】このように視線情報によって測距点が選択
されたことをファインダー視野内の測距点マークを点滅
表示させて撮影者に知らせるようになっているので撮影
者は意志どうりに選択されたかどうか確認することがで
きる。As described above, the fact that the distance measuring point is selected according to the line-of-sight information is indicated by blinking the distance measuring point mark in the finder field so that the photographer can arbitrarily select the distance measuring point. You can check whether or not.
【0058】又、撮影者が視線によって選択された測距
点が表示されたのを見て、引続きスイッチSW1をON
し続けたならば(#106)、自動焦点検出回路103
は検出された視線情報を用いて1つ以上の測距点の焦点
検出を実行する(#107)。When the photographer sees that the distance measuring point selected by the line of sight is displayed, the switch SW1 is continuously turned on.
If continued (# 106), the automatic focus detection circuit 103
Performs focus detection of one or more focus detection points using the detected line-of-sight information (# 107).
【0059】ここで選択された測距点が測距不能である
かを判定し(#108)、不能であればCPU100は
LCD駆動回路105に信号を送ってファインダー内L
CD24の合焦マークを点滅させ、測距がNG(不能)
であることを撮影者に警告し(#118)、SW1が離
されるまで続ける(#119)。It is determined whether or not the distance measuring point selected here cannot be measured (# 108). If the distance measuring point is impossible, the CPU 100 sends a signal to the LCD drive circuit 105 to set the L in the finder.
The focus mark on the CD24 blinks, and distance measurement is NG (impossible)
That is, the photographer is warned (# 118) and continues until SW1 is released (# 119).
【0060】測距が可能であり、所定のアルゴリズムで
選択された測距点の焦点調節状態が合焦でなければ(#
109)、CPU100はレンズ焦点調節回路110に
信号を送って所定量撮影レンズ1を駆動させる(#11
7)。レンズ駆動後自動焦点検出回路103は再度焦点
検出を行ない(#107)、撮影レンズ1が合焦してい
るか否かの判定を行なう(#109)。Distance measurement is possible, and the focus adjustment state of the distance measurement point selected by the predetermined algorithm is not in focus (#
109), the CPU 100 sends a signal to the lens focus adjustment circuit 110 to drive the taking lens 1 by a predetermined amount (# 11).
7). After driving the lens, the automatic focus detection circuit 103 performs focus detection again (# 107), and determines whether or not the taking lens 1 is in focus (# 109).
【0061】所定の測距点において撮影レンズ1が合焦
していたならば、CPU100はLCD駆動回路105
に信号を送ってファインダー内LCD24の合焦マーク
を点灯させるとともに、LED駆動回路106にも信号
を送って合焦している測距点201に合焦表示させる
(#110)。If the taking lens 1 is in focus at a predetermined distance measuring point, the CPU 100 causes the LCD drive circuit 105 to operate.
Is sent to turn on the focus mark on the LCD 24 in the finder, and also the signal is sent to the LED drive circuit 106 to display the focus on the focusing point 201 in focus (# 110).
【0062】この時、前記視線によって選択された測距
点の点滅表示は消灯するが合焦表示される測距点と前記
視線によって選択された測距点とは一致する場合が多い
ので、合焦したことを撮影者に認識させるために合焦測
距点は点灯状態に設定される。合焦した測距点がファイ
ンダー内に表示されたのを撮影者が見て、その測距点が
正しくないと認識してレリーズ釦41から手を離しスイ
ッチSW1をOFFすると(#111)、引続きカメラ
はスイッチSW1がONされるまで待機する(#10
2)。At this time, the blinking display of the distance measuring point selected by the line of sight is turned off, but the distance measuring point displayed in focus is often coincident with the distance measuring point selected by the line of sight. The focus range-finding point is set to a lighting state so that the photographer can recognize that the focus has been achieved. When the photographer sees the focusing point displayed in the viewfinder and recognizes that the focusing point is not correct, he releases the release button 41 and turns off the switch SW1 (# 111). The camera waits until the switch SW1 is turned on (# 10
2).
【0063】又、撮影者が合焦表示された測距点を見
て、引続きスイッチSW1をONし続けたならば(#1
11)、CPU100は測光回路102に信号を送信し
て測光を行なわせる(#112)。この時合焦した測距
点を含む測光領域210〜213に重み付けを行なった
露出値が演算される。If the photographer looks at the focus detection point and continues to turn on the switch SW1 (# 1
11), the CPU 100 sends a signal to the photometry circuit 102 to perform photometry (# 112). At this time, the exposure value is calculated by weighting the photometric areas 210 to 213 including the in-focus distance measuring points.
【0064】更にレリーズ釦41が押し込まれてスイッ
チSW2がONされているかどうかの判定を行ない(#
113)、スイッチSW2がOFF状態であれば再びス
イッチSW1の状態の確認を行なう(#111)。又、
スイッチSW2がONされたならばCPU100はシャ
ッター制御回路108、モーター制御回路109、絞り
駆動回路111にそれぞれ信号を送信する。Further, it is judged whether or not the release button 41 is pushed and the switch SW2 is turned on (#
113), if the switch SW2 is OFF, the state of the switch SW1 is checked again (# 111). or,
When the switch SW2 is turned on, the CPU 100 sends signals to the shutter control circuit 108, the motor control circuit 109, and the diaphragm drive circuit 111, respectively.
【0065】まずM2に通電し主ミラー2をアップさ
せ、絞り31を絞り込んだ後、MG1に通電しシャッタ
ー4の先幕を開放する。絞り31の絞り値及びシャッタ
ー4のシャッタースピードは、前記測光回路102にて
検知された露出値とフィルム5の感度から決定される。
所定のシャッター秒時(例えば1/250秒)経過後M
G2に通電し、シャッター4の後幕を閉じる。フィルム
5への露光が終了すると、M2に再度通電し、ミラーダ
ウン、シャッターチャージを行なうとともにM1にも通
電し、フィルムのコマ送りを行ない、一連のシャッター
レリーズシーケンスの動作が終了する(#114)。そ
の後、カメラは再びスイッチSW1がONされるまで待
機する(#102)。First, M2 is energized to raise the main mirror 2 and the diaphragm 31 is narrowed down. Then, MG1 is energized to open the front curtain of the shutter 4. The aperture value of the aperture 31 and the shutter speed of the shutter 4 are determined from the exposure value detected by the photometric circuit 102 and the sensitivity of the film 5.
M after a predetermined shutter time (1/250 second, for example)
Energize G2 and close the rear curtain of the shutter 4. When the exposure of the film 5 is completed, the M2 is energized again, the mirror is down and the shutter is charged, and the M1 is energized to advance the film frame, and the series of shutter release sequence operations is completed (# 114). . After that, the camera waits until the switch SW1 is turned on again (# 102).
【0066】図7、図8は本発明の視線検出のフローチ
ャートである。7 and 8 are flow charts of the visual axis detection of the present invention.
【0067】前述のように視線検出回路101はCPU
100より信号を受け取ると視線検出を実行する(#1
04)。As described above, the line-of-sight detection circuit 101 is a CPU
When a signal is received from 100, line-of-sight detection is executed (# 1
04).
【0068】先ずCPU100は撮影者の眼を照明する
ための赤外発光ダイオード(IRED)13a〜13f
の内から適切な組み合わせのIREDを選んで点灯する
(#201)。IREDの選択は不図示の姿勢スイッチ
によりカメラが横位置か縦位置か、あるいは撮影者が眼
鏡をかけているか否かによってなされる。First, the CPU 100 causes the infrared light emitting diodes (IRED) 13a to 13f for illuminating the photographer's eyes.
Select an appropriate combination of IREDs from among the above and light them up (# 201). The selection of IRED is made depending on whether the camera is in the horizontal position or the vertical position by an unillustrated posture switch, or whether the photographer wears glasses.
【0069】次にイメージセンサ14を所定の蓄積時間
で電荷蓄積を行う(#202)。蓄積が終了するとそれ
とともにIREDも消灯される(#203)。Next, the image sensor 14 accumulates charges for a predetermined accumulation time (# 202). When the storage is completed, the IRED is turned off together with it (# 203).
【0070】CPU100は蓄積の終了したイメージセ
ンサ14から撮影者の眼球像を読み出すと同時に、逐次
的にP像や瞳孔部の特徴抽出の処理を行う(#20
4)。具体的な方法は本出願人によって特願平3−12
19098号に詳述されているので、ここでの詳細な説
明は省略する。The CPU 100 reads the eyeball image of the photographer from the image sensor 14 whose accumulation has been completed, and at the same time, sequentially performs the process of extracting the features of the P image and the pupil portion (# 20).
4). The specific method is described in Japanese Patent Application No. 3-12 by the applicant.
No. 19098, the detailed description is omitted here.
【0071】さて、眼球像全体の読み出しが終わり、複
数のP像、瞳孔の特徴抽出が完了した後は、これらの情
報に基づいて一組のP像位置を検出する(#205)。
先にも述べたようにP像は眼球照明用IREDの角膜反
射像であるから、像信号中には光強度の強い輝点として
現われるため、その特徴をもって1組のP像を検出し、
その位置(xd′,yd′),(xe′,ye′)を求
めることが出来る。図1に示したような眼球像の場合は
P像らしき輝点は1組しかないのでその検出は容易であ
るが、図2に示したように撮影者のかけている眼鏡に起
因するゴーストが発生している場合には、正しいP像の
ペアを検出することをしばしば失敗することがある。P
像であることを認識するには輝点条件以外にも、ペアと
なすP像間の間隔、あるいは輝点のセンサ上での大きさ
も条件に加えることが望ましい。なぜなら眼鏡によるゴ
ーストは一般に輝点が大きく存在するからである。After the reading of the entire eyeball image is completed and the feature extraction of a plurality of P images and pupils is completed, a set of P image positions is detected based on these pieces of information (# 205).
As described above, since the P image is the corneal reflection image of the IRED for eyeball illumination, it appears as a bright spot with a strong light intensity in the image signal, and therefore a pair of P images is detected with that characteristic,
The positions (xd ', yd') and (xe ', ye') can be obtained. In the case of an eyeball image as shown in FIG. 1, since there is only one set of bright spots that look like P images, it is easy to detect it, but as shown in FIG. 2, ghosts caused by the glasses worn by the photographer If so, it often fails to detect the correct P-image pair. P
In order to recognize that the image is an image, in addition to the bright spot condition, it is desirable to add the interval between the P images forming a pair or the size of the bright spot on the sensor to the condition. This is because the ghost with glasses generally has large bright spots.
【0072】ともかく、一組のP像ペアが(#205)
にて決定できれば、次に瞳孔中心(xe′,ye′)及
び瞳孔径(νc)の検出を行う(#206)。Anyway, one P image pair (# 205)
If it can be determined by, the center of the pupil (xe ′, ye ′) and the diameter of the pupil (νc) are detected (# 206).
【0073】撮影者の眼球像の中からP像位置と瞳孔が
検出できれば撮影者の視線方向あるいはファインダ上で
の座標を式(5)から算出することができる(#20
7)。If the P image position and the pupil can be detected from the photographer's eyeball image, the photographer's line-of-sight direction or the coordinates on the finder can be calculated from equation (5) (# 20).
7).
【0074】図8において、次にCPU100は検出し
た視線の結果が使用可能かどうかの判定を行う(#20
8)。具体的には検出した眼球の回転角が横/縦方向と
もに異常に大きくないかどうかを判定する。撮影者が通
常にファインダをのぞいている限りあまりに大きな回転
角とするはずがないからであり、回転角が所定以上(例
えば20°程度)大きく算出された場合にはP像を誤検
出したおそれがある、と考えるわけである。尚、この判
定基準は、回転角だけでなく注視点が視野座標の内か外
であるかを判定基準としてもよい。In FIG. 8, the CPU 100 next determines whether or not the result of the detected line of sight can be used (# 20).
8). Specifically, it is determined whether the detected rotation angle of the eyeball is abnormally large in both the horizontal and vertical directions. This is because the photographer cannot normally make a rotation angle that is too large as long as he looks through the viewfinder, and if the rotation angle is calculated to be larger than a predetermined angle (for example, about 20 °), the P image may be erroneously detected. I think there is. Note that this determination criterion may be not only the rotation angle but also the determination criterion whether the gazing point is inside or outside the visual field coordinates.
【0075】検出結果がOKならば「視線検出成功」と
見なし(#209)視線検出のルーチンをリターンする
(#210)。If the detection result is OK, it is regarded as "succeeding in line-of-sight detection"(# 209) and the line-of-sight detection routine is returned (# 210).
【0076】検出結果が正常でない場合には、P像ペア
を誤選択した可能性があるとして、別のP像ペアがある
かどうかを調べてみる(#211)。図2のような眼球
像の場合、P像のペアとしては、(52a,52b),
(53a,53b),(54a,54b)の3組があ
る。もちろん、正しいP像のペアは(52a,52b)
であり、(53a,53b),(54a,54b)のペ
アは眼鏡によるゴーストである。(52a,52b)の
P像ペアが最初から選択されている場合は正しい検出結
果を与えるが、最初に(53a,53b)のペアが選択
されて視線検出を行うと検出結果が正常でなくなる。そ
こで、図2の例のようにP像ペアの候補が複数あれば他
のP像ペアを選択して(#212)、再度視線検出を試
みる(T1)。If the detection result is not normal, it is considered that the P image pair may have been erroneously selected, and it is checked whether there is another P image pair (# 211). In the case of an eyeball image as shown in FIG. 2, a pair of P images is (52a, 52b),
There are three sets of (53a, 53b) and (54a, 54b). Of course, the correct P image pair is (52a, 52b)
And the pair of (53a, 53b) and (54a, 54b) is a ghost with glasses. If the P image pair of (52a, 52b) is selected from the beginning, a correct detection result is given, but if the pair of (53a, 53b) is selected first and the visual axis detection is performed, the detection result becomes abnormal. Therefore, if there are a plurality of P image pair candidates as in the example of FIG. 2, another P image pair is selected (# 212), and line-of-sight detection is tried again (T1).
【0077】図1のようにそもそもP像ペアが1組しか
ない場合には仮にそれが正しくないP像ペアであったと
しても、別のペアを選択し直すことは不可能なので、そ
の場合には「視線検出失敗」と見なし(#213)、視
線検出のルーチンをリターンする(#214)。If there is only one P image pair in the first place as shown in FIG. 1, even if it is an incorrect P image pair, it is impossible to reselect another pair. Is regarded as "gaze detection failure"(# 213), and the gaze detection routine is returned (# 214).
【0078】以上説明してきた実施例では、最初に選択
したP像ペアに基づいて算出した視線の結果が正常であ
れば、そこで処理を終了し、そうでない場合に別のP像
ペアを再選択するようにし、結果が正常になった時点で
視線検出の処理は終了するようにしている。In the embodiment described above, if the result of the line-of-sight calculated based on the P image pair selected first is normal, the process ends there, and if not, another P image pair is reselected. When the result is normal, the line-of-sight detection process ends.
【0079】しかし、P像ペアの候補が複数ある場合、
特にメガネによるゴーストが真のP像のごく近傍に存在
している場合では、そのゴーストをP像として視線算出
を行うと程々の結果を呈し、それで処理が終了となって
しまうことも起こり得る。However, when there are a plurality of P image pair candidates,
In particular, when the ghost due to the glasses exists in the immediate vicinity of the true P image, if the ghost is used as the P image and the line-of-sight calculation is performed, a modest result may be presented, and the processing may end.
【0080】そこで、本発明の第2の実施例では、総て
のP像ペア候補で一通り視線の算出を実行し、その結果
の内から最も確からしい結果を採用するような処理方法
を提案している。Therefore, in the second embodiment of the present invention, a processing method is proposed in which the line-of-sight calculation is executed for all the P image pair candidates and the most probable result is adopted from the results. is doing.
【0081】図9に第2の実施例のフローチャートを示
す。FIG. 9 shows a flowchart of the second embodiment.
【0082】図7のステップ#207にて視線の算出が
終了すると、ステップ#220へ移行し、すべてのP像
ペア候補について視線算出が終了したかどうかを判定す
る。図1に示したような眼球像の例ではP像ペアは1組
しかないので、1回で計算は終了し、その結果をもって
最終結果とし(#222)、視線計算のルーチンをリタ
ーンする(#223)。When the line-of-sight calculation is completed in step # 207 of FIG. 7, the process proceeds to step # 220, and it is determined whether the line-of-sight calculation is completed for all P image pair candidates. In the example of the eyeball image shown in FIG. 1, since there is only one P image pair, the calculation is completed once, and the result is regarded as the final result (# 222), and the gaze calculation routine is returned (# 223).
【0083】図2に示したような眼球像の例ではP像ペ
アは3組あることになるので(実際には拡がりの大きい
高輝度領域はゴーストと見なして最初に排斥されて、そ
もそもP像ペア候補に入らないようにすべきであるが、
ここでは説明のため図2の眼球像の例では3組のP像ペ
ア候補があるものとする)、最初に選択したP像ペアで
の視線の結果が仮に良好なものであったとしても、別の
P像ペアを再設定し(#221)、再び視線の算出処理
を行わせる。In the example of the eyeball image as shown in FIG. 2, since there are three P image pairs (actually, the high-brightness area having a large spread is regarded as a ghost and is first rejected, and the P image is originally generated. Should not be a pair candidate,
Here, for the sake of explanation, it is assumed that there are three P image pair candidates in the example of the eyeball image of FIG. 2). Even if the result of the line of sight in the P image pair selected first is good, Another P image pair is reset (# 221), and the line-of-sight calculation process is performed again.
【0084】3つのP像ペアでの計算が終了すると、そ
れらの結果の中から最も確からしい視線結果を採用する
(#222)。具体的には各P像ペアでの検出眼球回転
角の内、最も角度の小さい結果を採用するという方法が
現実的である。そして、最終的な視線の結果が採用され
れば視線検出ルーチンをリターンする(#223)。When the calculation for the three P image pairs is completed, the most probable line-of-sight result is adopted from those results (# 222). Specifically, a method of adopting a result having the smallest angle among the detected eyeball rotation angles in each P image pair is practical. Then, if the final result of the line of sight is adopted, the line of sight detection routine is returned (# 223).
【0085】[0085]
【発明の効果】以上説明したように、本発明によれば選
択されたP像ペアに基づいて算出された視線の検出結果
が明らかに正常でないときに、さらに別のP像の候補が
あれば、そのP像ペアに基づいて再度視線の算出を行う
ことによって、メガネをかけた撮影者の場合にも良好な
視線検出動作を可能にすることができる。As described above, according to the present invention, when the line-of-sight detection result calculated on the basis of the selected P-image pair is obviously not normal, if another P-image candidate is present. By calculating the line-of-sight again based on the P image pair, a good line-of-sight detection operation can be performed even for a photographer wearing glasses.
【図1】ごく通常の撮影者の眼球像を示す図FIG. 1 is a diagram showing an eyeball image of an ordinary photographer.
【図2】メガネを装着した撮影者の眼球像を示す図FIG. 2 is a diagram showing an eyeball image of a photographer wearing glasses.
【図3】本発明を一眼レフカメラに適用した実施例1の
要部概略図FIG. 3 is a schematic view of the essential portions of Embodiment 1 in which the present invention is applied to a single-lens reflex camera.
【図4】図3のファインダー視野内の説明図FIG. 4 is an explanatory view in the viewfinder field of FIG.
【図5】本発明に係る光学装置の電気回路図FIG. 5 is an electric circuit diagram of an optical device according to the present invention.
【図6】図6の動作のフローチャート6 is a flowchart of the operation of FIG.
【図7】本発明に係る視線検出のフローチャートFIG. 7 is a flowchart of eye gaze detection according to the present invention.
【図8】本発明に係る視線検出のフローチャート(第1
の実施例)FIG. 8 is a flowchart of the visual line detection according to the present invention (first
Example)
【図9】本発明に係る視線検出のフローチャート(第2
の実施例)FIG. 9 is a flowchart of the gaze detection according to the present invention (second
Example)
【図10】従来の視線検出方法の原理説明図FIG. 10 is an explanatory diagram of the principle of a conventional eye gaze detection method.
1 撮影レンズ 2 主ミラー 6 焦点検出装置 6f イメージセンサー 7 ピント板 10 測光センサー 11 接眼レンズ 13 赤外発光ダイオード(IRED) 14 イメージセンサー(CCD−EYE) 15 眼球 16 角膜 17 虹彩 21 スーパーインポーズ用LED 24 ファインダー内LCD 25 照明用LED 31 絞り 50 眼球の白目部分 51 眼球の瞳孔部分 100 CPU 101 視線検出回路 103 焦点検出回路 104 信号入力回路 105 LCD駆動回路 106 LED駆動回路 107 IRED駆動回路 11 焦点調節回路 200〜204 測距点マーク 1 Photography Lens 2 Main Mirror 6 Focus Detection Device 6f Image Sensor 7 Focus Plate 10 Photometric Sensor 11 Eyepiece Lens 13 Infrared Light Emitting Diode (IRED) 14 Image Sensor (CCD-EYE) 15 Eyeball 16 Cornea 17 Iris 21 Superimposing LED 24 LCD in the viewfinder 25 LED for illumination 31 Aperture 50 White part of the eye 51 Eye pupil part 100 CPU 101 Line-of-sight detection circuit 103 Focus detection circuit 104 Signal input circuit 105 LCD drive circuit 106 LED drive circuit 107 IRED drive circuit 11 Focus adjustment circuit 200-204 Distance measuring point mark
Claims (2)
出手段により得られた複数の角膜反射像からある角膜反
射像を選択する手段と、 前記瞳孔と選択された角膜反射像の位置関係から観察者
の視線を検出する手段とを有する視線検出装置におい
て、 検出された視線の結果が正常か否かを判別する手段と、 判別手段の結果に応じて角膜反射像を再選択する手段と
を有することを特徴とする視線検出装置。1. A means for illuminating an eyeball of an observer, a means for detecting a pupil part from an eyeball image of the observer, a means for detecting a corneal reflection image from the eyeball image of the observer, and the detection means. A line-of-sight detection device having means for selecting a corneal reflection image from a plurality of corneal reflection images, and means for detecting the line of sight of an observer from the positional relationship between the pupil and the selected corneal reflection image, An eye gaze detection device, comprising: a unit that determines whether or not the result is normal, and a unit that reselects a corneal reflection image according to the result of the determination unit.
段によって得られた複数の角膜反射像の中からある角膜
反射像を選択する手段と、 前記瞳孔と選択された角膜反射像の位置関係から観察者
の視線を検出する手段とを有する視線検出装置であっ
て、 検出された視線の結果に応じて最も確からしい角膜反射
像を決定する手段とを有することを特徴とする視線検出
装置。2. A means for illuminating an eyeball of an observer, a means for detecting a pupil part from an eyeball image of the observer, a means for detecting a corneal reflection image from the eyeball image of the observer, and the means obtained by the means. A line-of-sight detection device having means for selecting a corneal reflection image from a plurality of corneal reflection images, and means for detecting the line of sight of an observer from the positional relationship between the pupil and the selected corneal reflection image, the detection method comprising: And a means for determining the most probable corneal reflection image according to the result of the sight line that has been taken.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27872392A JP3176147B2 (en) | 1992-10-16 | 1992-10-16 | Eye gaze detection device |
US08/133,304 US5402199A (en) | 1992-10-16 | 1993-10-08 | Visual axis detecting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27872392A JP3176147B2 (en) | 1992-10-16 | 1992-10-16 | Eye gaze detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06125874A true JPH06125874A (en) | 1994-05-10 |
JP3176147B2 JP3176147B2 (en) | 2001-06-11 |
Family
ID=17601306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27872392A Expired - Fee Related JP3176147B2 (en) | 1992-10-16 | 1992-10-16 | Eye gaze detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3176147B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104244806A (en) * | 2012-03-08 | 2014-12-24 | 埃西勒国际通用光学公司 | Method for determining a behavioural, postural or geometric-morphological characteristic of a person wearing spectacles |
WO2015190204A1 (en) * | 2014-06-09 | 2015-12-17 | 国立大学法人静岡大学 | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program |
-
1992
- 1992-10-16 JP JP27872392A patent/JP3176147B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104244806A (en) * | 2012-03-08 | 2014-12-24 | 埃西勒国际通用光学公司 | Method for determining a behavioural, postural or geometric-morphological characteristic of a person wearing spectacles |
WO2015190204A1 (en) * | 2014-06-09 | 2015-12-17 | 国立大学法人静岡大学 | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program |
JPWO2015190204A1 (en) * | 2014-06-09 | 2017-04-20 | 国立大学法人静岡大学 | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program |
US10499808B2 (en) | 2014-06-09 | 2019-12-10 | National University Corporation Shizuoka University | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program |
Also Published As
Publication number | Publication date |
---|---|
JP3176147B2 (en) | 2001-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6674964B2 (en) | Visual axis detecting apparatus | |
JPH06304142A (en) | Device for detecting line of sight | |
JP3297481B2 (en) | Eye gaze detection device | |
US5402199A (en) | Visual axis detecting apparatus | |
US5579080A (en) | Camera including an apparatus for detecting a line of sight | |
JPH07199042A (en) | Camera provided with sight-line detecting function | |
JPH07289517A (en) | Line of sight detector and optical equipment with the same | |
JP4054436B2 (en) | Optical device | |
JP3176147B2 (en) | Eye gaze detection device | |
JP3184633B2 (en) | camera | |
JP3256294B2 (en) | Eye gaze detection apparatus and eye gaze detection method | |
JP2003307774A (en) | Optical apparatus with line-of-sight detecting function | |
JPH07151958A (en) | Optical equipment with line-of-sight detecting function | |
JP2005249831A (en) | Optical equipment having line-of-sight detector | |
JP2003339642A (en) | Visual line detector and optical apparatus having the same | |
JP3530647B2 (en) | Eye gaze detecting device and optical device | |
JP3391892B2 (en) | Eye gaze detecting device, optical device, and eye gaze detecting method | |
JP3211427B2 (en) | Eye gaze detection device | |
JPH10148864A (en) | Photometry device for camera | |
JP3530648B2 (en) | Eye gaze detecting device and optical device | |
JP3184634B2 (en) | Optical device having line-of-sight detection device | |
JP2002341239A (en) | Sight line detecting device | |
JP2003084193A (en) | Optical device | |
JPH06138364A (en) | Camera provided with device for detecting line of sight | |
JPH0943680A (en) | Line-of-sight detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090406 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090406 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |