JPH04138432A - 視線検出手段を有した光学装置 - Google Patents

視線検出手段を有した光学装置

Info

Publication number
JPH04138432A
JPH04138432A JP2260841A JP26084190A JPH04138432A JP H04138432 A JPH04138432 A JP H04138432A JP 2260841 A JP2260841 A JP 2260841A JP 26084190 A JP26084190 A JP 26084190A JP H04138432 A JPH04138432 A JP H04138432A
Authority
JP
Japan
Prior art keywords
line
photographer
sight
eyeball
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2260841A
Other languages
English (en)
Other versions
JP2861349B2 (ja
Inventor
Akihiko Nagano
明彦 長野
Kazuki Konishi
一樹 小西
Yasuo Suda
康夫 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2260841A priority Critical patent/JP2861349B2/ja
Priority to US07/767,665 priority patent/US5182443A/en
Publication of JPH04138432A publication Critical patent/JPH04138432A/ja
Application granted granted Critical
Publication of JP2861349B2 publication Critical patent/JP2861349B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02Viewfinders
    • G03B2213/025Sightline detection

Landscapes

  • Eye Examination Apparatus (AREA)
  • Viewfinders (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は視線検出手段を有したカメラのような光学装置
に関し、特に撮影系による被写体像が形成されている観
察面(ピント面)上の観察者(撮影者)が観察している
注視点方向の軸いわゆる視線(視軸)を、観察者の眼球
面上を照明したときに得られる眼球の反射像を利用して
検出するようにした視線検出手段を有したカメラのよう
な光学装置に関するものである。
(従来の技術) 従来より観察者が観察面上のどの位置を観察しているか
を検出する、いわゆる視線(視軸)を検出する装置が種
々提案されている。
例えば特開昭6]−172552号公報においては、光
源からの平行光束を観察者の眼球の前眼部へ投射し、角
膜からの反射光による角膜反射像と瞳孔の結像位置を利
用して視軸を求めている。第7図(^)、(B)は視線
検出方法の原理説明図で、同図(A)は視線検出光学系
の概略図、同図(B)は光電素子列6からの出力信号の
強度図である。
同図において5は観察者に対して不感の赤外光を放射す
る発光ダイオード等の光源であり、投光レンズ3の焦点
面に配置されている。
光源5より発光した赤外光は投光レンズ3により平行光
となりハーフミラ−2で反射し、眼球201の角膜21
を照明する。このとき角膜21の表面て反射した赤外光
の一部による角膜反射像dは八−フミラー2を透過し受
光レンズ4により集光され充電素子列6上の位置Zd′
に再結像する。
また虹彩23の端部a、bからの光束はハーフミラ−2
、受光レンズ4を介して光電素子列6上の位置Za、Z
b’に該端部a、bの像を結像する。受光レンズ4の光
軸(光軸ア)に対する眼球の光軸イの回転角θが小さい
場合、虹彩23の噛分a、bのZ座標をZa、Zbとす
ると、瞳孔24の中心位置Cの座標Zcは ZcLt(Za+Zb)/2 と表わされる。
また、角膜反射像の発生位置dのZ座標をZd、角膜2
1の曲率中心0と瞳孔24の中心Cまでの距離を死とす
ると眼球光軸イの回転角θは、 でで*SINθ勾Zc−Zd    ・・・・(1)の
関係式を略満足する。このため演算手段9において、同
図(B)のごとく光電素子列6面上に投影された各特異
点(角膜反射像d及び虹彩の端部a、b)の位置を検出
することにより眼球201の光軸イの回転角θを求める
ことができる。この時(1)式は、 ・・・・・・・・(2) とかきかえられる。但し、βは角膜反射像の発生位置d
と受光レンズ4との距離L1と受光レンズ4と光電素子
列6との距1ILOで決まる倍率で、通常はぼ一定の値
となっている。
ところで観察者の眼球の光軸イと視軸とは一致しない。
特開平1−274736号公報には観察者の眼球の光軸
と視軸の角度補正を行なって視線を検出することが開示
されている。そこでは観察者の眼球の光軸の水平方向の
回転角θが算出されると眼球の光軸と視軸との角度補正
δをすることにより観察者の水平方向の視線θHを θH=θ±δ       ・・・・・・・・(3)と
して求めている。ここで符号上は、観察者に関して右へ
の回転角を正とすると、観察装置をのぞく観察者の目が
左目の場合は+、右目の場合は−の符号が選択される。
又、第7図においては観察者の眼球がZ−X平面(例え
ば水平面)内で回転する例を示しているが、観察者の眼
球がX−Y平面(例えば垂直面)内で回転する場合にお
いても同様に検出可能である。
ただし、観察者の視線の垂直方向の成分は眼球の光軸の
垂直方向の成分θ′と一致するため垂直方向の視線θV
は θV=θ′       ・・・・・・・・(4)とな
る。
第8図は第7図の視線検出装置を一眼レフカメラのファ
インダー系の一部に適用したときの光学系の要部概略図
である。
同図において撮影レンズ101を透過した被写体光は、
跳ね上げミラー102により反射されピント板104の
焦点面近傍に結像する。さらにピント板104にて拡散
した被写体光はコンデンサーレンズ105、ペンタダハ
プリズム106、そして光分割面1aを有する接眼レン
ズ1を介して撮影者のアイポイント201aに導かれる
視線検出光学系は、撮影者(観察者)に対して不感の赤
外発光ダイオード等の光源5と投光レンズ3とからなる
照明手段(光軸つ)と、光電素子列6、ハーフミラ−2
及び受光レンズ4とからなる受光手段(光軸ア)とから
構成され、ダイクロイックミラーより成る光分割面1a
を有する接眼レンズ1の上方に配置されている。赤外発
光ダイオード5から発した赤外光は光分割面1aにおい
て反射され撮影者の眼球201を照明する。さらに眼球
201で反射した赤外光の一部は光分割面1aで再反射
し、受光レンズ4、ハーフミラ−2を介して光電素子列
6上に集光する。光電素子列6上で得られた眼球の像情
報(例えば第7図(B)で示す出力信号)より演算手段
9に右いて撮影者の視線の方向を算出している。即ち観
察者が観察しているピント面104上の点(注視点)を
求めている。
このときの前述した水平方向の視線θHと垂直方向の視
線θ■より撮影者が見ているピント面104上の位置(
Zn、Yn)は として求められる。但しmはカメラのファインダー系で
決まる定数である。
このように−眼レフカメラにおいて撮影者がピント面1
04上のどの位置を観察しているかを知ることができる
と、例えばカメラの自動焦点検出装置において焦点検出
可能なポイントを画面中心のみならず画面内の複数箇所
に設けた場合、撮影者がそのうちの1つのポイントを選
択して自動焦点検出を行なおうとする場合、その1つを
選択人力する手間を省き撮影者が観察しているポイント
即ち注視点を焦点検出するポイントとみなし、該ポイン
トを自動的に選択して自動焦点検出を行うのに有効であ
る。
(発明が解決しようとする問題点) ところでカメラを使用する撮影者には裸眼の人もいれば
眼鏡を使用している人もいる。一般に眼鏡を使用してい
ない撮影者と眼鏡を使用している撮影者のアイポイント
の位置は接眼レンズからの距離にして十数ミリ異なって
いる。
第7図に示した視線検出方法は、所定の位置にある観察
者の眼球を照明し、該眼球からの反射鏡な光電素子列で
受光し、このとき得られる眼球像を基に視線を検出して
いる。この為、観察者のアイポイントの位置が所定の位
置から大きく変化すると検出される眼球像が劣化してし
まい、その結果視線の検出精度を低下してしまうという
問題点かあった。
これらの問題点を解決する為、本出願人は先の特願平1
−247332号においてカメラを使用する撮影者が眼
鏡を使用しているか否かをカメラの一部に設けたスイッ
チにより人力し、該人力情報により視線検出方法を制御
し、高精度な視線検出を可能とした視線検出装置を有し
たカメラを提案している。
本発明は本出願人の先に提案したカメラを改良し撮影者
が眼鏡を使用しているか否かのカメラへの人力操作を不
要とし、撮影者が眼鏡を使用しているか否かにかかわら
ず、撮影者の視線を常に高精度に検出することができる
視線検出手段を有したカメラの提供を目的とする。
(問題点を解決するための手段) 本発明の視線検出手段を有したカメラは、カメラのファ
インダー系を覗く撮影者の眼球の光軸の回転角を検出し
、該回転角から撮影者の眼球の視線を検出する視線検出
手段を有したカメラにおいて、該カメラの一部に眼鏡検
出手段を設け、撮影者が眼鏡を使用しているか否かを検
出するようにしたことを特徴としている。
この他本発明では、カメラのファインダー系を覗く撮影
者の眼球を照明1段により照明し、該眼球の角膜反射像
と虹彩反射像の所定面上における結像位置を受光手段で
検出し、該受光手段からの出力信号を利用して演算手段
により該眼球の視線を検出する際、該受光手段は2次元
的なイメージセンサ−を有し、該イメージセンサ−面上
に形成される該角膜反射像のラインとは異ったライン上
に眼鏡反射像が形成されているか否かを眼鏡検出手段で
検出することにより撮影者が眼鏡を使用しているか否か
を判別するようにしたことを特徴としている。
(実施例) 第1図(A)は本発明を一眼レフカメラに適用したとき
の一実施例の光学系の要部概略図、同図(B)は同図(
A)の一部分の説明図である。
図中、1は接眼レンズで、その内部には可視光透過・赤
外光反射のダイクロイックミラー1aが斜設されており
、光路分割器を兼ねている。
4は受光レンズ、5 (5a、5b、5c)は照明手段
であり、例えば発光ダイオードから成っている。16は
イメージセンサ−である。受光レンズ4とイメージセン
サ−16は受光手段の一要素を構成している。
イメージセンサ−16は充電素子列を2次元的に配置し
た構成より成り、受光レンズ4及び接眼レンズ1に関し
て所定の位置(眼鏡を使用しない撮影者の一般的なアイ
ポイントの位置)にある眼の瞳孔近傍と共役になるよう
に配置されている。
7は補助レンズであり、光路中に挿脱可能となるように
配置されている。補助レンズ7は撮影者が眼鏡を使用し
ていないと後述する視線演算処理装置で判別されたとき
は光□路中から退避している。
9は視線演算処理装置で、視線補正演算、視線補正デー
タ記憶、眼鏡検知、視線演算機能の他に赤外発光ダイオ
ード5a、5b、5cの制御機能を有している。各要素
1,4,5.16より眼球の視線検出手段を構成してい
る。又各要素1゜4.5,16.9より眼鏡検出手段を
構成している。
101は撮影レンズ、102はクイックリターン(QR
)ミラー、103は表示素子、104はピント板、10
5はコンデンサーレンズ、106はペンタダハプリズム
、107はサブミラー108は多点焦点検出装置であり
、撮影画面内の複数の領域を選択して焦点検出を行って
いる。
多点焦点検出装置の説明は本発明理解のために必要ない
ため概略に止める。
即ち本実施例では第1図(B)に描く様に撮影レンズ1
01の予定結像面近傍に配され、夫々測距域な決める複
数のスリットを有する視野マスク110と各スリット内
の像に対してフィールドレンズの作用を果たすレンズ部
材111を近接配置し、更にスリット数に応じた再結像
レンズの組112と充電素子列の組113を装置する。
スリット110、フィールドレンズ111、再結像レン
ズの組112、そして光電素子列の組113はそれぞれ
周知の焦点検出系を構成している。
109はカメラ制御装置であり、ファインダー内表示素
子駆動、焦点検出演算及びレンズ駆動機能等を有してい
る。
本実施例では撮影レンズ101の透過した被写体光の一
部はQRミラー102によって反射してピント板104
近傍に被写体像を結像する。ピント板104の拡散面で
拡散した被写体光はコン・デンサーレンズ105、ペン
タダハプリズム106、接眼レンズ1を介してアイポイ
ントEに導かれる。
ここで表示素子103は例えば偏光板を用いない2層タ
イプのゲスト−ホスト型液晶素子で、ファインダー視野
内の測距域(焦点検出位置)を表示するものである。
又、撮影レンズ101を透過した被写体光の部は、QR
ミラー102を透過し、サブミラー107で反射してカ
メラ本体底部に配置された前述の多点焦点検出装置10
8に導かれる。さらに多点焦点検出装置108の選択し
た被写体面上の位置の焦点検出情報に基づいて、不図示
の撮影レンズ駆動装置により撮影レンズ101の縁り出
しくもしくは繰り込み)が行なわれ、焦点調節が行なわ
れる。
本実施例に係る視線検出装置としては符番1゜4.5.
16で表わされた部材より構成された視線検出手段と視
線を算出する視線演算処理装置9とから構成されている
該視線検出手段において、赤外発光ダイオード5a、5
b、5cから放射される赤外光は、図中上方から接眼レ
ンズ1に入射しダイクロイックミラー18により反射さ
れアイポイントE近傍に位置する観察者の眼球201を
照明す。また眼球201で反射した赤外光は、ダイクロ
イックミラー1aで反射され受光レンズ4によって収斂
しながらイメージセンサ−16上に像を形成する。
又視線演算処理装置9はマイクロコンピュータのソフト
で実行される。
視線演算処理装置9において検知された注視点情報は、
カメラ制御装置109を介してまず表示素子103と多
点焦点検出装置108に伝送される。表示素子103に
おいては観察者が注視した場所をカメラのファインダー
内に表示し、注視点(焦点検出点)の確認を行う役割を
果たす。
又、多点焦点検出装置108においては、観察者が注視
した点の焦点検出が行なわれ注視被写体に対して焦点調
節が行なわれる。
第2図は第1図の視線検出手段の要部斜視図である。照
明用の赤外発光ダイオード5a、5b。
5Cはカメラと観察者の眼球との距離を検出するために
2側御組で使用され、カメラの姿勢に応じて赤外発光ダ
イオード5a、5bで横位置、赤外発光ダイオード5b
、5cで縦位置の検出を行っている。尚、同図において
カメラの姿勢検知手段は図示されていないが水銀スイッ
チ等を利用した姿勢検知手段が有効である。
第3図(A)は本発明に係る視線検出方法の原理説明図
、第3図(B)は同図(A)のイメージセンサ−16か
らの出力強度分布の説明図である。
各赤外発光ダイオード5a、5b、5cはZ方向に略対
称に配置され、各々撮影者の眼球を発散照明している。
第3図(A)において10は補助レンズ7を受光光路か
ら退避させるためのバネ、11は補助レンズ7を保持す
る不図示のレンズ粋に取り付けられたつめ、12は補助
レンズ7が光路中に配置される際につめ11と組合わさ
るように受光レンズ4を保持する不図示の鏡筒に取り付
けられたつめである。
赤外発光ダイオード5bより放射された赤外光は眼球の
角膜21を照明する。このとき角膜21の表面で反射し
た赤外光の一部による角膜反射像dは受光レンズ4によ
、り集光されイメージセンサ−16上の位置d′に再結
像する。
同様に赤外発光ダイオード5aより放射された赤外光は
眼球の角膜21を照明する。このとき角膜21の表面で
反射した赤外光の一部による角膜反射像eは受光レンズ
4により集光されイメージセンサ−16上の位置e′に
再結像する。
又、虹彩23の端部a、bからの光束は受光レンズ4を
介してイメージセンサ−16上の位置a、b’に該端部
a、bの像を結像する。受光レンズ4の光軸(光軸ア)
に対する眼球の光軸イの回転角θが小さい場合、虹彩2
3の端部a、 bのZ座標をZa、Zbとすると、瞳孔
24の中心位置Cの座標Zcは ZcLr(Za+Zb)/2 と表わされる。
又、角膜反射像d及びeの中点のZ座標と角膜21の曲
率中心OのZ座標Zoとは一致するため、角膜反射像の
発生位置d、eのZ座標をZd、Ze、角膜21の曲率
中心0と瞳孔24の中心Cまでの標準的な距離なざでと
し、距離■に対する個人差を考慮する係数をA1とする
と眼球光軸イの回転角θは (A I *σで)*  sinθ 句 Zc−(Zd
+Ze)/2      ・・ ・・ ・・ (8)の
関係式を略満足する。このため視線演算処理装置 6 置9において第3図(B)のごとくイメージセンサ−1
6−トの一部に投影された各特徴点(角膜反射像d、e
及び虹彩の端部a、b)の位置を検出することにより眼
球の光軸イの回転角θを求めることができる。このとき
(6)式は、 β*(A]*OC)* sinθLr(7,a′+ 7
.b’) / 2(7,d′+ 7.e’ ) / 2 ・・・・・・(7) とかきかえられる。但し、βは受光レンズ4に対する眼
球の位置により決まる倍率で、実質的には角膜反射像の
間隔1zd′−zelの関数として求められる。
眼球の回転角θは θ4ARC5IN ((Zc  −Zf ′) /β/
(AI*0C))・・・・・・(8) とかきかえられる。但し Zc ′Lr(Za ’+Zb ′) /2Zf ′L
r(Zd ′+Ze ′) /2である。ところで撮影
者の眼球の光軸と視軸とは一致しない為、撮影者の眼球
の光軸の水平方向の回転角θが算出されると眼球の光軸
と視軸との角度補正δをすることにより撮影者の水平方
向の視線θHは求められる。眼球の光軸と視軸との補正
角度δに対する個人差を考慮する係数を81とすると撮
影者の水平方向の視線θHはθH=θ±(81*δ) 
   ・・・・・・(9)と求められる。ここで符号上
は、撮影者に関して右への回転角を正とすると、観察装
置をのぞく撮影者の目が左目の場合は+、右目の場合は
−の符号が選択される。
又、同図においては撮影者の眼球がz−x平面(例えば
水平面)内で回転する例を示しているが、撮影者の眼球
がX−Y平面(例えば垂直面)内で回転する場合におい
ても同様に検出可能である。ただし、撮影者の視線の垂
直方向の成分は眼球の光軸の垂直方向の成分θ′と一致
するため垂直方向の視線θVは θV;θ′ となる。更に視線データθH1θVより撮影者が見てい
るピント板上の位置(Zn、Yn)はZnLrll1*
  θ■ Lrtn* [ARC5IN ((Zc  −Zf ”
 ) / β/(AI*0C))±(81*δ)]  
        ・・・・・・(10)Yn4m*  
θV と求められる。ただし、mはカメラのファインダー光学
系で決まる定数である。
ここで撮影者の眼球の個人差を補正する係数At、Bl
の値は撮影者にカメラのファインダー内の所定の位置に
配設された指標を固視してもらい、該指標の位置と(1
0)式に従い算出された固視点の位置とを一致させるこ
とにより求められる。
次に撮影者が眼鏡を使用しているかどうかを検知する原
理を説明する。
第4図(A)はイメージセンサ−16に投影される眼鏡
を使用した撮影者の眼球像を略して描いた説明図、同図
(B)はイメージセンサ−16の1つのラインYgにお
ける出力強度図、第5図は撮影者が眼鏡を使用している
かどうかを検知するための演算の流れ図、第6図は撮影
者が眼鏡な使用していることが検知されたときの視線検
出光学系の概略図である。尚、図中8は眼鏡である。
第6図に示すように撮影者が眼鏡8を使用していると、
赤外発光ダイオード5a、5bから発光した照明光の一
部は、眼鏡8の第1面8a(撮影者の眼球に対して外側
にある面)で反射し受光レンズ4を介してイメージセン
サ−16上に入射する。このときイメージセンサ−16
上にできる眼球像を示したのが第4図(A)である。
同図において眼鏡8の第1面8aにて反射した光によっ
て形成される像を眼鏡反射像と示している。又眼鏡反射
像は2つの赤外発光ダイオード5a、5bを用いている
為に通常同一のラインに2個発生する。
尚、眼鏡8の第2面8bで反射した光により別の眼鏡反
射像が形成されることもあるが、本実施例では省略しで
ある。第4図(B)は眼鏡反射像の発生ラインYgの出
力強度図で、眼鏡反射像は眼鏡の反射率が高い為に角膜
反射像よりも強い強度で検出される。
本実施例における視線検出装置の照明光学系は第2図か
ら明らかなように撮影者の眼球を下方から照明するよう
に配置されている。又眼球8は撮影者の角膜21に対し
てX軸方向の視線検出装置側に位置しているため、眼鏡
反射像は角膜反射像とは異なるライン(ラインYg)上
に発生する。
又、眼鏡8の第1面8aの曲率半径は一般に角膜21の
曲率半径よりも大きいため、発生した2つの眼鏡反射像
の間隔は2つの角膜反射像の間隔よりも大きい。その結
果、強度の強い反射像の間隔を検出することにより、眼
鏡反射像が判別可能となり、これにより撮影者が眼鏡を
使用しているかどうかを検知可能となる。
次に第5図のフローチャート図をもちいて視線演算処理
装置9における演算の流れを説明する。
視線検出が開始されると、先ず角膜反射像の発生ライン
yp、眼鏡反射像の発生ラインYgがゼロにリセットさ
れる($100)。さらにライン情報のパラメーターy
及び計数パラメーターCNTがゼロにリセットされる(
$1:101)。
ここでパラメーターyは眼鏡反射像あるいは角膜反射像
が発生していると判断されたラインの番号の値をとる。
又計数パラメーターCNTは同のライン上に発生した眼
鏡反射像あるいは角膜反射像の数である。続いて既に視
線演算処理装置9のメモリ一部に記憶された眼球像の信
号S (i、j)の読み出しが線順次で行なわれる(:
#102)。ただしi、jは正の整数である。
眼鏡反射像及び角膜反射像はほぼ鏡面反射に等しいため
その強度は強く、眼鏡反射像あるいは角膜反射像である
ことを判別可能な強度のしきい値をSoとすると、信号
S(i、j)が強度SOより小さければ(#103)次
の信号S(i、j)の読み出しが行なわれる($102
)。又信号S(i、j)が強度50以上の大きさならば
(#103)、信号S(i、j)は眼鏡反射像あるいは
角膜反射像の信号であると判断される。引続き、該信号
S (i、j)が眼鏡反射像の信号であるか角膜反射像
の信号であるかの判別が続行される。このとき、その時
点まで眼鏡反射像あるいは角膜反射像の信号が検出され
ておらずライン情報のパラメーターyがゼロであるなら
ば(#104)、眼鏡反射像あるいは角膜反射像の発生
ラインを表わすパラメーターyはy=iと設定される(
:#105)。
更にライン情報のパラメーターy(=i)上の眼鏡反射
像あるいは角膜反射像の数を表わす計数パラメーターC
NTに1を加え(#106)該眼鏡反射像あるいは角膜
反射像が発生している位置jがZ (CNT)=jと記
録される(#107)。そして次の信号S(i、j)の
読み出しが行なわれる(#102)。
又、信号S(i、j)が強度So以上の大きさで(#1
03)そのときのライン情報のパラメーターyがセロで
ないときは(#104)、パラメーターyの値の判別が
行なわれる。ライン情報のパラメーターyが信号S(i
、j)の読み出しを行なっているライン番号iと一致す
れば(#108)、眼鏡反射像あるいは角膜反射像の数
を表わす計数パラメーター〇NTに1を加え(#106
)該眼鏡反射像あるいは角膜反射像が発生している位置
jがZ (CNT)=jと記録される1107)。そし
て次の信号S (i、j)の読み出しが行なわれる($
102)。
一方、ライン情報のパラメーターyの値の判別が行なわ
れた際、該ライン情報のパラメーターyが信号S(i、
j)の読み出しを行なっているライン番号iと一致しな
ければ(#108)、ライン情報のパラメーターyの信
号Sの読み出しは既に終了していると判断され、計数パ
ラメーターCNTの判別が行なわれるl:109)。計
数パラメーターCNTが2でない場合(CNT= 1の
場合)、ライン情報のパラメーターy上には眼鏡反射像
あるいは角膜反射像と判断された信号Sは一つしか発生
せず、その結果既に記録された位置情報Z(1)は眼鏡
反射像及び角膜反射像ではない何かのゴーストであると
判断される。
そしてライン情報のパラメーターyは現在信号Sの読み
出しが行なわれているライン番号iに置き換えられ(#
110)、そのとき眼鏡反射像あるいは角膜反射像が発
生している位置jがZ (CNT)=jと記録される(
井111)。そして次の信号S(i、j)の読み出しが
行なわれる1102)。
又、計数パラメーターCNTの判別が行なわれた際、計
数パラメーターCNTが2であったならば(#109)
、既に記録された眼鏡反射像あるいは角膜反射像の発生
している2つの位置の間隔ΔZがΔz=1z (1)−
z (2)lと求められる(#112)。
眼鏡反射像と角膜反射像とでは発生する2つの像の間隔
は異なるため、多像が判別可能な像の間隔のしきい値な
ΔZoとすると、航記間隔ΔZが所定のしきい値ΔZo
より小さいならば(4’l:113)、記録された像の
位置Z(1)、Z(2)は角膜反射像の位置であると判
断され、角膜反射像の位置としてZpl=Z(1)、Z
p2=Z (2)と設定される(#114)。こコ’t
’ Z p 1 、 Z p 2は第゛3図(B)にお
けるZe   Zd ’と等価である。更に角膜反射像
の発生ラインypはYp=yと設定される(#115)
又、前記間隔Δ2が所定のしきい値620以上ならば(
#113)、記録された像の位置Z (1) 、 Z 
(2)は眼鏡反射像の位置であると判断され、Q3の位
置としてZgl=2(1)、2g2=2 (2)と設定
される(#116)。更に眼鏡反射像の発生ラインYg
はYg=yと設定される(#117)。
続いて眼鏡反射像及び角膜反射像の両方の像が検出済み
であるかどうかの判断が行なわれる。各機の発生ライン
を表わすYg、Ypの積がゼロであったならば、眼鏡反
射像あるいは角膜反、射像のどちらかがまだ未検出であ
ると判断される(#118)。そこで計数ノ〈ラメ−タ
ーCNTを1に設定して($119)、未検出の像の検
知が続行される(#110−#111. $102)。
又、眼鏡反射像及び角膜反射像の発生ラインな表わすY
g、ypの積がゼロでないならば、眼鏡反射像及び角膜
反射像の両方が検出されたと判断され(#118)眼鏡
の使用の有無の検知は終了する。
本演算の流れにおいては撮影者が眼鏡を使用していると
いう前提で説明を行なったが、撮影者が眼鏡を使用して
いない場合はイメージセンサ−の全ての像信号を読み出
した後、眼鏡反射像の発生ラインYgの値がゼロのまま
であることより、視線演算処理装置9は撮影者が眼鏡を
使用していないことを検知することができる。
又、本演算の流れにおいて、同一ライン上に発生する眼
鏡反射像あるいは角膜反射像の数CNTは2以下である
として説明を行なったが、同一ライン上になんらかのゴ
ースト等が発生することを想定してCNTの制限を2よ
り大きく設定しても構わない。このとき□眼鏡反射像あ
るいは角膜反射像とゴーストとの区別は、これらの像の
発生位置を比較することにより概ね可能である。
更にイメージセンサ−上に発生した眼鏡反射像あるいは
角膜反射像の大きさが大きく強度Soを越える信号Sが
連続して検出される場合は、連続して検出された信号S
の重心の位置を眼鏡反射像あるいは角膜反射像の位置と
定めるのが望ましい。
又、本実施例においては眼鏡反射像と角膜反射像との区
別な各機の間隔より行なう例を示したが、眼鏡反射像は
角膜反射像よりその強度が大きいため像の強度の絶対値
より区別を行なっても構わない。
第6図の撮影者が眼鏡を使用していることが検知された
ときの視線検出光学系に示すように、般に近視の眼鏡を
使用している撮影者の目の位置は眼鏡を使用していない
撮影者の目の位置よりも十数ミリ遠ざかった位置にある
。この為、視線演算処理装置により撮影者が眼鏡を使用
していることが検知されると、不図示の駆動装置により
、補助レンズ7を保持するレンズ粋に取り付けられたつ
め11が図中+2方向に引っ張られ、凹レンズである補
助レンズ7が光路中にセットされる。
その結果、眼鏡を使用した撮影者の眼と受光光学系のイ
メージセンサ−16とほぼ共役関係を満足し良好な結像
状態を達成することが可能となる。又補助レンズ7が受
光光路中にセットされている間は、つめ11は受光レン
ズ4の鏡筒に取り付けられたつめ12に掛かった状態で
保持される。
又、視線演算処理装置9により撮影者が眼鏡を使用して
いないことが検知されると、つめ12はつめ11を解除
し第3図(A)に示したように補助レンズ7が受光光路
中から退避した状態に設定される。
第6図においては撮影者が眼鏡を使用していると判断さ
れると、受光光学系に補助レンズ7を挿入して眼鏡を使
用した撮影者の目と受光光学系のイメージセンサ−16
とほぼ共役関係を満足するようにした例を示したが、受
光光学系の受光レンズ4の位置を移動させることにより
上記目的を達成しても構わない。このとき受光レンズ4
は複数のレンズで構成されていても楕わない。
(発明の効果) 本発明によればカメラのファインダーを覗く撮影者の眼
球の光軸の回転角を検出し、該回転角から撮影者の視線
を検出する際、前述したような撮影者が眼鏡を使用して
いるか否かを検出する眼鏡検出手段を設けることにより
、カメラへの眼鏡の有無に関する情報の人力操作を必要
とせず、撮影者の視線を常に高精度に検出することがで
きる視線検出手段を有した光学装置を達成することがで
きる。
【図面の簡単な説明】
第1図(A)は本発明を一眼レフカメラに適用したとき
の光学系の要部概略図、第1図(B)は同図(A)の一
部分の説明図、第2図は第1図の視線検出手段の要部概
略図、第3図(A)は本発明に係る視線検出方法の原理
説明図、第3図(B)は同図(A)のイメージセンサ−
からの出力強度分布の説明図、第4図(A)、(B)は
イメージセンサ−面上の眼鏡反射像と角膜反射像の説明
図と出力強度分布図、第5図は本発明に係る眼鏡検出の
フローチャート図、第6図は本発明に係る眼鏡使用時の
視線検出光学系の要部概略図、第7図(A)、(B)は
従来の視線検出光学系の検出原理図と充電素子列からの
出力強度分布図、第8図は従来の視線検出手段を有した
カメラの要部概略図である。 図中、1は接眼レンズ、1aはダイクロイックミラー、
4は受光レンズ、5 (5a、5b。 5c)は赤外発光ダイオード、16はイメージセンサ−
1101は撮影レンズ、109はカメラ制御装置、9は
視線演算処理装置、201は眼球、7は補助レンズ、2
1は角膜、22は眼球、23は虹彩、24は瞳孔、イは
眼球の光軸、アは受光レンズ4の光軸、である。 特許出願人  キャノン株式会社

Claims (2)

    【特許請求の範囲】
  1. (1)カメラのファインダー系を覗く撮影者の眼球の光
    軸の回転角を検出し、該回転角から撮影者の眼球の視線
    を検出する視線検出手段を有したカメラにおいて、該カ
    メラの一部に眼鏡検出手段を設け、撮影者が眼鏡を使用
    しているか否かを検出するようにしたことを特徴とする
    視線検出手段を有した光学装置。
  2. (2)カメラのファインダー系を覗く撮影者の眼球を照
    明手段により照明し、該眼球の角膜反射像と虹彩反射像
    の所定面上における結像位置を受光手段で検出し、該受
    光手段からの出力信号を利用して演算手段により該眼球
    の視線を検出する際、該受光手段は2次元的なイメージ
    センサーを有し、該イメージセンサー面上に形成される
    該角膜反射像のラインとは異ったライン上に眼鏡反射像
    が形成されているか否かを眼鏡検出手段で検出すること
    により撮影者が眼鏡を使用しているか否かを判別するよ
    うにしたことを特徴とする視線検出手段を有した光学装
    置。
JP2260841A 1990-09-29 1990-09-29 視線検出手段を有した光学装置 Expired - Lifetime JP2861349B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2260841A JP2861349B2 (ja) 1990-09-29 1990-09-29 視線検出手段を有した光学装置
US07/767,665 US5182443A (en) 1990-09-29 1991-09-30 Optical apparatus having visual axis detector and determining whether eyeglasses are worn

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2260841A JP2861349B2 (ja) 1990-09-29 1990-09-29 視線検出手段を有した光学装置

Publications (2)

Publication Number Publication Date
JPH04138432A true JPH04138432A (ja) 1992-05-12
JP2861349B2 JP2861349B2 (ja) 1999-02-24

Family

ID=17353504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2260841A Expired - Lifetime JP2861349B2 (ja) 1990-09-29 1990-09-29 視線検出手段を有した光学装置

Country Status (1)

Country Link
JP (1) JP2861349B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4330265A1 (de) * 1992-09-07 1994-03-10 Canon Kk Optisches Gerät mit einer Einrichtung zum Erfassen einer Sehachsenrichtung
US5619739A (en) * 1994-06-02 1997-04-08 Canon Kabushiki Kaisha Diopter correcting apparatus
US5696998A (en) * 1992-06-02 1997-12-09 Canon Kabushiki Kaisha Optical apparatus equipped with sight line detector
US5983030A (en) * 1994-06-15 1999-11-09 Canon Kabushiki Kaisha Optical apparatus having a visual axis detector
US6035054A (en) * 1992-10-29 2000-03-07 Canon Kabushiki Kaisha Visual axis detection apparatus and optical apparatus provided therewith
WO2016194232A1 (ja) * 2015-06-05 2016-12-08 日立マクセル株式会社 映像表示装置および制御方法
JP2020013135A (ja) * 2019-08-08 2020-01-23 マクセル株式会社 映像表示装置および制御方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983029A (en) * 1992-06-02 1999-11-09 Canon Kabushiki Kaisha Optical apparatus equipped with sight line detector
US5771402A (en) * 1992-06-02 1998-06-23 Canon Kabushiki Kaisha Optical apparatus equipped with sight line detector
US5913080A (en) * 1992-06-02 1999-06-15 Canon Kabushiki Kaisha Optical apparatus equipped with sight line detector
US5696998A (en) * 1992-06-02 1997-12-09 Canon Kabushiki Kaisha Optical apparatus equipped with sight line detector
DE4330265A1 (de) * 1992-09-07 1994-03-10 Canon Kk Optisches Gerät mit einer Einrichtung zum Erfassen einer Sehachsenrichtung
US5485241A (en) * 1992-09-07 1996-01-16 Canon Kabushiki Kaisha Optical equipment with device for detecting direction of visual axis
DE4330265B4 (de) * 1992-09-07 2004-07-29 Canon K.K. Vorrichtung zum Erfassen der Sehachse eines Auges einer ein optisches Gerät bedienenden Person
US6035054A (en) * 1992-10-29 2000-03-07 Canon Kabushiki Kaisha Visual axis detection apparatus and optical apparatus provided therewith
US5619739A (en) * 1994-06-02 1997-04-08 Canon Kabushiki Kaisha Diopter correcting apparatus
US5983030A (en) * 1994-06-15 1999-11-09 Canon Kabushiki Kaisha Optical apparatus having a visual axis detector
WO2016194232A1 (ja) * 2015-06-05 2016-12-08 日立マクセル株式会社 映像表示装置および制御方法
JPWO2016194232A1 (ja) * 2015-06-05 2018-05-24 マクセル株式会社 映像表示装置および制御方法
US11856323B2 (en) 2015-06-05 2023-12-26 Maxell, Ltd. Video display device and control method
JP2020013135A (ja) * 2019-08-08 2020-01-23 マクセル株式会社 映像表示装置および制御方法

Also Published As

Publication number Publication date
JP2861349B2 (ja) 1999-02-24

Similar Documents

Publication Publication Date Title
US5182443A (en) Optical apparatus having visual axis detector and determining whether eyeglasses are worn
US5036347A (en) Visual line detecting device and camera having the same
JPH04240438A (ja) 視線検出装置
JP3186072B2 (ja) 視線検出装置を有する機器
JP2803222B2 (ja) 視線検出装置
JP2868246B2 (ja) カメラのファインダー
JPH05285113A (ja) 瞳孔中心検出方法及び瞳孔輪部検出方法
US5608489A (en) Eye direction detecting device
JPH11338041A (ja) 光学装置及び視線検出機能付きカメラ
JPH04138432A (ja) 視線検出手段を有した光学装置
JP2749818B2 (ja) 視線検出装置
JPH0323431A (ja) 視線検出手段を有した機器
JPH02264632A (ja) 視線検出装置
JPH04138431A (ja) 視線検出手段を有したカメラ
US5761543A (en) Apparatus for measuring anterior eye portion
US5619739A (en) Diopter correcting apparatus
JP2803223B2 (ja) 視線検出装置
JP3134320B2 (ja) 視線検出装置
JP2995878B2 (ja) 視線検出装置を有した光学装置
JP3225628B2 (ja) 視線検出装置
JPH02206425A (ja) 視線検出装置
JPH06163A (ja) 視線検出装置
JPH03293367A (ja) 視線検出装置を有するカメラ
JPH06138369A (ja) 視線検出装置
JP3135415B2 (ja) 視線検出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081211

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081211

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091211

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091211

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101211

Year of fee payment: 12

EXPY Cancellation because of completion of term