JP3391892B2 - 視線検出装置、光学装置及び視線検出方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】 本発明は、例えば被写体像が形
成されている観察面（ピント面）上のファインダ系を介
して観察者が観察している注視点方向の軸、いわゆる視
線（視軸）を、観察者の眼球像を演算処理して検出する
機能を有した視線検出装置、光学装置や観察者の視線を
検出する視線検出方法に関するものである。

【０００２】

【従来の技術】従来より、撮影者が観察面上のどの位置
を観察しているかを検出する、いわゆる視線（視軸）を
検出する装置（例えばアイカメラ）が種々提供されてい
る。例えば特開平１−２７４７３６号公報においては、
光源からの平行光束を撮影者の眼球の前眼部へ投射し、
角膜からの反射光による角膜反射像と瞳孔の結像位置を
利用して注視点を求めている。また同公報において、注
視点検出装置を一眼レフカメラに配設し、撮影者の注視
点情報を用いて撮影レンズの自動焦点調節を行う例を開
示している。

【０００３】図１０は、一眼レフカメラに配設された視
線検出光学系の概略図である。

【０００４】同図において、１１は接眼レンズで、撮影
者はこの接眼レンズ１１に目を近づけてファインダ内の
被写体を観察する。１３ａ〜１３ｄは各々撮影者に対し
て不感の赤外光を放射する発光ダイオード等の光源であ
る。撮影者の眼球で反射した照明光の一部は受光レンズ
１２においてイメージセンサ１４に集光する。

【０００５】図１１（Ａ）は上記イメージセンサ１４に
投影される眼球像の概略図であり、図１１（Ｂ）は上記
イメージセンサ１４の出力ラインからの出力信号の強度
分布を示す図である。

【０００６】図１２は視線検出の原理を説明する為の図
である。

【０００７】同図において、１５は撮影者の眼球、１６
は角膜、１７は虹彩である。なお、図１０に示した接眼
レンズ１１は説明には不要であるため省略してある。

【０００８】以下、上記の各図を用いて視線の検出方法
について説明する。

【０００９】光源１３ｂより放射された赤外光は観察者
の眼球１５の角膜１６を照射する。このとき角膜１６の
表面で反射した赤外光の一部により形成される角膜反射
像ｄ（虚像）は受光レンズ１２により集光され、イメー
ジセンサ１４上の位置ｄ´に結像する。同様に光源１３
ａにより放射された赤外光は、眼球１５の角膜１６を照
明する。このとき、角膜１６の表面で反射した赤外光の
一部により形成された角膜反射像ｅは受光レンズ１２に
より集光され、イメージセンサ１４上の位置ｅ´に結像
する。

【００１０】又、虹彩１７の端部ａ，ｂからの光束は、
受光レンズ１２を介してイメージセンサ１４上の位置ａ
´，ｂ´に該端部ａ，ｂの像を結像する。受光レンズ１
２の光軸に対する眼球１５の光軸の回転角θが小さい場
合、虹彩１７の端部ａ，ｂのｘ座標をｘａ，ｘｂとする
と、瞳孔１９の中心位置ｃの座標ｘｃは、 ｘｃ≒（ｘａ＋ｘｂ）／２ と表される。

【００１１】また、角膜反射像ｄ及びｅの中点のｘ座標
と角膜１６の曲率中心ｏのｘ座標ｘｏとは略一致する。
このため角膜反射像の発生位置ｄ，ｅのｘ座標をｘｄ，
ｘｅ、角膜１６の曲率中心ｏと瞳孔１９の中心ｃまでの
標準的な距離をＬ_OCとすると、眼球１５の光軸１５ａの
回転角θｘは、 Ｌ_OC＊ｓｉｎθｘ≒（ｘｄ＋ｘｅ）／２−ｘｃ …………（１） の関係式を略満足する。このため、図１１（Ａ）に示し
た様に、イメージセンサ１４上に投影された眼球１５の
各特徴点（角膜反射像及び瞳孔の中心）の位置を検出す
ることにより、眼球１５の光軸１５ａの回転角θを求め
ることができる。

【００１２】眼球１５の光軸１５ａの回転角は（１）式
より、 β＊Ｌ_OC＊ｓｉｎθｘ≒｛（ｘｐｏ−δｘ）−ｘｉｃ｝＊ｐｉｔｃｈ …………（２） β＊Ｌ_OC＊ｓｉｎθｙ≒｛（ｙｐｏ−δｙ）−ｙｉｃ｝＊ｐｉｔｃｈ …………（３） と求められる。

【００１３】ここで、θｘはｚーｘ平面内での眼球光軸
の回転角、θｙはｙーｚ平面内での眼球光軸の回転角で
ある。また、（ｘｐｏ，ｙｐｏ）はイメージセンサ１４
上の２個の角膜反射像の中点の座標、（ｘｉｃ，ｙｉ
ｃ）はイメージセンサ１４上の瞳孔中心の座標である。
ｐｉｔｃｈはイメージセンサ１４の画素ピッチである。
又、βは受光レンズ１２に対する眼球１５の位置により
決る結像倍率で、実質的には２個の角膜反射像の間隔の
関数として求められる。δｘ，δｙは角膜反射像の中点
の座標を補正する補正項であり、撮影者の眼球を平行光
ではなく発散光にて照明していることにより生じる誤差
を補正する補正項、及び、δｙに関しては、撮影者の眼
球を下まぶたの方から発散光にて照明していることによ
り生じるオフセット成分を補正する補正項も含まれてい
る。

【００１４】撮影者の眼球光軸の回転角（θｘ，θｙ）
が算出されると、撮影者の観察面（ピント板）上の注視
点（ｘ，ｙ）は、カメラの姿勢が横位置の場合、 ｘ＝ｍ＊（θｘ＋△） ………………（４） ｙ＝ｍ＊θｙ ………………（５） と求められる。

【００１５】ここで、ｘ方向はカメラの姿勢が横位置の
場合の撮影者に対して水平方向、ｙ方向はカメラの姿勢
が横位置の場合の撮影者に対して垂直方向を示してい
る。ｍは眼球１５の回転角からピント板上の座標に変換
する変換係数、△は眼球光軸１５ａと視軸（注視点）と
のなす角である。一般に眼球の回転角と観察者が実際に
見ている視軸とは、観察者に対して水平方向に約５°ず
れており、垂直方向には殆どずれていない事が知られて
いる。

【００１６】光源１３ａ，１３ｂの照明でカメラの姿勢
が縦位置のときは、眼球像が図１３（Ａ）の様に、観察
者のまぶたにより角膜反射像ｅがケラレて、上述のよう
に角膜反射像の位置の中点が求められなくなり、視線
（注視点）が求められなくなる。

【００１７】そこで、カメラが縦位置のときは、光源１
３ａ，１３ｃの組み合わせ、又は１３ｂ，１３ｄの組み
合わせで照明し、図１３（Ｂ）のように角膜反射像の位
置がまぶたにケラレないような照明を選んで、上述の処
理を行っていた。

【００１８】

【発明が解決しようとする課題】上記の様にカメラの姿
勢、つまりファインダ部と撮影者の眼球との縦横の相対
位置関係によって、まぶたやまつげなどによって照明が
ケラレる為に角膜反射像が得られない場合があり、よっ
て従来においては、水銀スイッチやその他の機械的なス
イッチや光学的なスイッチなどでカメラの姿勢を検出
し、点灯する光源の位置を切換えていた。

【００１９】しかしながら、水銀スイッチなどの検知ス
イッチを使用しなければならないのでコストがかかると
いう問題がある。一方、この種の検知スイッチに頼らず
手動で縦位置，横位置の姿勢を撮影者が入力する構成に
した場合は、撮影者に煩わしい操作を強要してしまうこ
とになる。

【００２０】しかも、上記の水銀スイッチは重力を利用
して姿勢検知を行うものであるため、撮影者が横になっ
ている場合や完全に下を向いているときなど、該スイッ
チが正しい値を出さなくなるという恐れもある。

【００２１】 （発明の目的） 本発明の目的は、接眼
部と眼球位置の相対位置を検知する為のスイッチ部材を
具備することなく、高精度の視線検出を行うことのでき
る視線検出装置、光学装置及び視線検出方法を提供する
ことである。

【００２２】

【００２３】

【課題を解決するための手段】 上記目的を達成するた
めに、請求項１記載の本発明は、複数の光源を有する照
明手段に観察者の眼球を照明させ、光電変換素子から出
力される観察者の眼球像の光電変換信号を処理すること
で、該眼球像の角膜反射像と瞳孔の位置を検出し、該角
膜反射像の位置と該瞳孔の位置に基いて観察者の視線を
検出する処理装置を有する視線検出装置において、前記
処理装置が、前記照明手段の何れかの光源を選択して観
察者の眼球を照明させ、該光源が観察者の眼球を照明し
ている際に、前記眼球像から該光源に応じた角膜反射像
が検出されたか否かを判別し、検出されなければ眼球像
から瞳孔の位置を検出することなく、前記眼球像から該
光源に応じた角膜反射像が検出されるまでは、順次該視
線検出装置を有する光学装置が別の姿勢であると想定し
たときの光源を選択して観察者の眼球を照明させること
を特徴とするものであり、また、請求項２記載の本発明
は、請求項１記載の視線検出装置を有する光学装置とす
るものである。

【００２４】 また、上記目的を達成するために、請求
項３記載の本発明は、複数の光源を有する照明手段に観
察者の眼球を照明させ、光電変換素子から出力される観
察者の眼球像の光電変換信号を処理することで、該眼球
像の角膜反射像と瞳孔の位置を検出し、該角膜反射像の
位置と該瞳孔の位置に基いて観察者の視線を検出する視
線検出方法において、前記照明手段の何れかの光源を選
択して観察者の眼球を照明させ、該光源が観察者の眼球
を照明している際に、前記眼球像から該光源に応じた角
膜反射像が検出されたか否かを判別し、検出されなけれ
ば眼球像から瞳孔の位置を検出することなく、前記眼球
像から該光源に応じた角膜反射像が検出されるまでは、
順次前記照明手段を有する光学装置が別の姿勢であると
想定したときの光源を選択して観察者の眼球を照明させ
ることを特徴とするものである。

【００２５】

【００２６】

【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。

【００２７】図１〜図８は本発明の第１の実施例を一眼
レフカメラに適用した場合に係る図であり、図１は一眼
レフカメラの要部を示す概略図、図２（Ａ），（Ｂ）は
図１の一眼レフカメラの上面及び背面を示す図、図３は
図１の一眼レフカメラのファインダ視野図である。

【００２８】図１において、１は撮影レンズであり、便
宜上２枚のレンズ１ａ，１ｂで示したが、実際は多数の
レンズから構成されている。２は主ミラーで、観察状態
と撮影状態に応じた撮影光路へ斜設されあるいは退去さ
れる。３はサブミラーで、主ミラー２を透過した光束を
カメラボディの下方へ向けて反射する。４はシャッタで
ある。５は感光部材で、銀塩フィルムあるいはＣＣＤや
ＭＯＳ型等の固体撮像素子あるいはビディコン等の撮像
管より成っている。

【００２９】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，２次結像レンズ６ｄ，絞り６ｅ，後述する複数のＣ
ＣＤから成るラインセンサ６ｆ等から構成されている周
知の位相差方式を採用している。同図の焦点検出装置６
は、図３に示すようにファインダ視野内（観察画面内）
２１３の複数の領域（５箇所の測距点マーク２００〜２
０４）を焦点検出可能なように構成されている。

【００３０】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダ光路変更用のペンタプリズ
ムである。９，１０は観察画面内の被写体輝度を測定す
る為の結像レンズと測光センサで、結像レンズ９はペン
タプリズム８内の反射光路を介してピント板７と測光セ
ンサ１０を共役に関係付けている。

【００３１】１１は前記ペンタプリズム８の射出面後方
に配置され、撮影者の眼１５によるピント板７の観察に
使用される接眼レンズであり、該接眼レンズ１１には例
えば可視光を透過し赤外光を反射するダイクロイックミ
ラーより成る光分割器１１ａが具備されている。１２は
受光レンズ、１４はＣＣＤ等の光電素子列を２次元的に
配したイメージセンサで、受光レンズ１２に関して所定
の位置にある撮影者の眼１５の虹彩近傍と共役になるよ
うに配置されている。

【００３２】 １３（１３ａ〜１３ｄ）は各々撮影者の
眼球１５の照明光源であるところの赤外発光ダイオード
で、図２（Ｂ）に示す様に、接眼レンズ１１の回りに配
置されている。更に詳しくは、赤外発光ダイオード１３
ａ，１３ｂはカメラの姿勢が横位置時に、１３ａ，１３
ｃは縦位置ａ時に、１３ｂ，１３ｄは縦位置ｂ時に、そ
れぞれ角膜反射像が最適に得られるような、所定の位置
に配置されている。

【００３３】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤであり、該スーパー
インポーズ用ＬＥＤ２１から発光された光は投光用プリ
ズム２２，主ミラー２で反射してピント板７の表示部に
設けた微小プリズムアレイ７ａで垂直方向に曲げられ、
ペンタダハプリズム８，接眼レンズ１１を通って撮影者
の眼１５に達する。そこでピント板７の焦点検出領域に
対応する位置にこの微小プリズムアレイ７ａを枠状に形
成し、これを各々に対応したスーパーインポーズ用ＬＥ
Ｄ２１（各々をＬＥＤ−Ｌ１，ＬＥＤ−Ｌ２，ＬＥＤ−
Ｃ，ＬＥＤ−Ｒ１，ＬＥＤ−Ｒ２とする）によって照明
する。これによって、図３に示したファインダ視野から
判かるように、各々の測光点マーク２００，２０１，２
０２，２０３，２０４がファインダ視野内２１３で光
り、焦点検出領域（測距点）を表示させている（以下、
これをスーパーインポーズ表示という）。

【００３４】２３はファインダ視野領域を形成する視野
マスク、２４はファインダ視野外に撮影情報を表示する
ためのファインダ内ＬＣＤで、照明用ＬＥＤ（Ｆ−ＬＥ
Ｄ）２５によって照明されている。ファインダ内ＬＣＤ
２４を透過した光は三角プリズム２６によってファイン
ダ内に導かれ、図３のファインダ視野外２０７に表示さ
れ、撮影者は該撮影情報を観察している。

【００３５】３１は撮影レンズ１内に設けた絞り、３２
は後述の絞り駆動回路１１１を含む絞り駆動装置、３３
はレンズ駆動用モータ、３４は駆動ギヤ等からなるレン
ズ駆動部材である。３５はフォトカプラであり、レンズ
駆動部材３４に連動するパルス板３６の回転を検知して
レンズ焦点調節回路１１０に伝えている。レンズ焦点調
節回路１１０は、この情報とカメラ側からのレンズ駆動
量の情報に基づいてレンズ駆動用モータ３３を所定量駆
動させ、撮影レンズ１の合焦レンズ１ａを合焦位置に移
動させている。３７は公知のカメラとレンズとのインタ
ーフェイスとなるマウント接点である。

【００３６】図２において、４１はレリーズ釦、４２は
外部モニタ表示装置としてのモニタ用ＬＣＤで、予め決
められたパターンを表示する固定セグメント表示部４２
ａと可変数値表示用の７セグメント表示部４２ｂとから
成っている。４４はモードダイヤルで、指標５５の位置
に該モードダイヤル４４上に刻印されえたマーク等を合
せて撮影モード等の選択を行うものである。他の操作部
材については本発明の理解において特に必要ないので省
略する。

【００３７】ここで、本実施例においては、図２の
（Ｂ）のような姿勢で撮影者が接眼レンズ１１を覗いた
場合を横位置と定め、又図２の（Ｂ）の状態からカメラ
を回転させ、レリーズ釦４１を上方にして撮影者が接眼
レンズ１１を覗いた場合を縦位置ａとし、反対にカメラ
を回転させ、レリーズ釦４１を下方にして撮影者が接眼
レンズ１１を覗いた場合を縦位置ｂと定める。

【００３８】図４は上記構成における一眼レフカメラの
電気的構成を示すブロック図であり、図１と同じ部分は
同一の番号をつけている。

【００３９】同図において、カメラ本体に内蔵されたカ
メラ制御手段であるところのマイクロコンピュータの中
央処理装置（以下、ＣＰＵと記す）１００には、視線検
出回路１０１，測光回路１０２，自動焦点検出回路１０
３，信号入力回路１０４，ＬＣＤ駆動回路１０５，ＬＥ
Ｄ駆動回路１０６，ＩＲＥＤ駆動回路１０７，シャッタ
制御回路１０８、及び、モータ制御回路１０９がそれぞ
れ接続されている。また、撮影レンズ１内に配置された
焦点調節回路１１０，絞り駆動回路１１１とは図１で示
したマウント接点３７を介して信号の伝達がなされる。

【００４０】ＣＰＵ１００に付随した記憶手段としての
ＥＥＰＲＯＭ１００ａは、フィルムカウンタその他の撮
影情報を記憶可能である。

【００４１】 前記視線検出回路１０１は、イメージセ
ンサ１４（ＣＣＤ−ＥＹＥ）からの眼球像の出力をＡ／
Ｄ変換し、この像情報をＣＰＵ１００に送信する。ＣＰ
Ｕ１００は後述するように視線検出に必要な眼球像の各
特徴点を所定のアルゴリズムに従って抽出し、さらに各
特徴点の位置から撮影者の眼球の回転角を算出する。

【００４２】前記測光回路１０２は、測光センサ１０か
らの出力を増幅後、対数圧縮，Ａ／Ｄ変換し、各センサ
の輝度情報としてＣＰＵ１００に送信する。測光センサ
１０は図８に示すように画面内を１６分割しており、そ
れぞれＡ０〜Ａ４，Ｂ５〜Ｂ１１，Ｃ１２〜Ｃ１５の１
６個の光電変換出力を出力するフォトダイオードから構
成されている。

【００４３】前記自動焦点検出回路１０３に接続される
ラインセンサ６ｆは、前述のように画面内の５つの測距
点２００〜２０４に対応した５組のラインセンサＣＣＤ
−Ｌ２，ＣＣＤ−Ｌ１，ＣＣＤ−Ｃ，ＣＣＤ−Ｒ１，Ｃ
ＣＤ−Ｒ２から構成される公知のＣＣＤラインセンサで
あり、自動焦点検出回路１０３はこれらラインセンサ６
ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１００に送る。

【００４４】ＳＷ１はレリーズ釦４１の第１ストローク
でＯＮし、測光，ＡＦ，視線検出動作を開始する測光ス
イッチ、ＳＷ２はレリーズ釦の第２ストロークでＯＮす
るレリーズスイッチ、ＳＷ−ＤＩＡＬ１とＳＷ−ＤＩＡ
Ｌ２は電子ダイヤル４５内に設けたダイヤルスイッチで
あり、信号入力回路のアップダインカウンタに入力さ
れ、該電子ダイヤル４５の回転クリック量をカウントす
る。

【００４５】次に、視線検出手段を有した上記の一眼レ
フカメラの動作について、図５〜図７のフローチャート
にしたがって説明する。

【００４６】図２に示すモードダイヤル４４を回転させ
てカメラを不作動状態から所定の撮影モードに設定する
と（本実施例では、シャッタ優先ＡＥに設定されている
ものとする）、カメラの電源がＯＮされ、ＣＰＵ１００
は＃（以下、ステップと記す）１００を介してステップ
１０１からの動作を開始する。

【００４７】先ず、ＣＰＵ１００の視線検出に使われる
変数をリセットする（ステップ１０１）。そして、レリ
ーズ釦４１が押込まれてスイッチＳＷ１がＯＮするのを
待機する（ステップ１０２）。その後、レリーズ釦４１
が押込まれてスイッチＳＷ１がＯＮされたことを信号入
力回路１０４を介して検知すると、ＣＰＵ１００は視線
検出及び注視点選択，カメラの姿勢判別を実行する（ス
テップ１０３）。なお、このステップ１０３での動作は
本発明の重要な部分であるので、その詳細はサブルーチ
ンとして後述する。

【００４８】次に、自動焦点検出動作時に用いる測距点
を視線入力モードにより選択するモードになっているか
否かを判別し（ステップ１０４）、もし視線入力モード
に設定されていたら上記ステップ１０３で選択された注
視点にある測距点マーク（２００〜２０４のうちのいず
れか）を、ＬＥＤ駆動回路１０６に信号を送信してスー
パーインポーズ用ＬＥＤ２１を用いて点滅表示させる
（ステップ１０５）。一方、視線入力モードに設定され
ていなかったら、また後述のように視線検出ＮＧであれ
ば、注視点を表示せずに測距点自動選択を行う（ステッ
プ１１７）。この測距点自動選択については、サブルー
チンとして後述する。

【００４９】視線検出又は測距点自動選択によって測距
点が選択されたならば、その測距点の焦点検出を実行す
る（ステップ１０６）。そして、ここで選択された測距
点が測距不能であるかを判別し（ステップ１０７）、測
距不能であればＣＰＵ１００はＬＣＤ駆動回路１０５に
信号を送ってファインダ内ＬＣＤ２４の合焦マークを点
滅させ、測距がＮＧ（不能）であることを撮影者に警告
する（ステップ１１５）。この動作はスイッチＳＷ１が
離される（ＯＦＦされる）まで継続される（ステップ１
１６）。そして、スイッチＳＷ１がＯＦＦされるとステ
ップ１０２へ戻り、同様の動作を繰り返す。

【００５０】一方、選択された測距点が測距可能であ
り、まだ合焦でなければ（ステップ１０７→１０８）、
ＣＰＵ１００はレンズ焦点調節回路１１０に信号を送っ
て所定量撮影レンズ１を駆動させる（ステップ１１
４）。レンズ駆動後、自動焦点検出回路１０３を介して
再度焦点検出を行い（ステップ１０６）、撮影レンズ１
が合焦するまで上記のステップ１０６→１０７→１０８
→１１４→１０６……を繰り返す。

【００５１】そして、選択された測距点において撮影レ
ンズ１が合焦したならば、ＣＰＵ１００はＬＣＤ駆動回
路１０５に信号を送ってファインダ内ＬＣＤ２４の合焦
マークを点灯させると共に、ＬＥＤ駆動回路１０６にも
信号を送って合焦している測距点マーク（２００〜２０
４のいずれか）に合焦表示させる（ステップ１０８→１
０９）。

【００５２】この時、合焦した測距点がファインダ内に
表示されたのを撮影者が見て、その測距点が正しくない
と認識してレリーズ釦４１から手を離しスイッチＳＷ１
をＯＦＦにすると（ステップ１１０）、引続きカメラは
スイッチＳＷ１がＯＮするのを待機するステップ１０２
へ戻る。

【００５３】また、撮影者が合焦表示された測距点を見
て、引続きスイッチＳＷ１をＯＮし続けたならば（ステ
ップ１１０）、ＣＰＵ１００は測光回路１０２に信号を
送信して測光を行わせる（ステップ１１１）。

【００５４】図８に画面内を分割して測光する分割測光
のエリアを示したが、ＣＰＵ１００は、各エリアの測光
値から所定のアルゴリズムで評価測光を行い、合焦した
測距点を含む測光領域に重み付けを行った露出値を決定
する。この所定のアルゴリズムについては後述する。

【００５５】更にレリーズ釦４１が押込まれてスイッチ
ＳＷ２がＯＮされているか否かの判別を行い（ステップ
１１２）、該スイッチＳＷ２がＯＦＦ状態であれば再び
スイッチＳＷ１の状態の確認を行うステップ１１０へ戻
る。

【００５６】又、上記スイッチＳＷ２がＯＮされたなら
ば、ＣＰＵ１００はシャッタ制御回路１０８，モータ制
御回路１０９，絞り駆動回路１１１にそれぞれ信号を送
信する。この時の動作について詳述すると、まずモータ
制御回路１０９を介してモータＭ２（図４参照）に通電
して主ミラー２をアップさせ、絞り駆動回路１１１を介
して絞り３１を絞り込んだ後、シャッタ制御回路１０８
を介してマグネットＭＧ１に通電しシャッタ４の先幕を
開放する。絞り３１の絞り値及びシャッタ４のシャッタ
スピードは、前記測光回路１０２にて検知された露出値
とフィルム５の感度から設定される。所定のシャッタ秒
時経過後、マグネットＭＧ２（図４参照）に通電し、上
記シャッタ４の後幕を閉じる。フィルム５への露光が終
了すると、上記モータＭ２に再度通電し、ミラーダウ
ン，シャッタチャージを行うとともにモータＭ１（図４
参照）にも通電し、フィルムの１駒送りを実行し、一連
のシャッタレリーズシーケンスの動作を完了する（ステ
ップ１１３）。その後は再びスイッチＳＷ１がＯＮされ
るのを待機するステップ１０２へ戻る。

【００５７】次に、上記ステップ１０３において行われ
る「視線検出＆姿勢判別＆注視点選択」サブルーチンに
ついて、図６のフローチャートにより説明する。

【００５８】まず、ＣＰＵ１００はカメラの姿勢が横位
置であることを想定して、撮影者の眼を照明するために
赤外発光ダイオード（以下、ＩＲＥＤと記す）１３ａ，
１３ｂを点灯させる（ステップ２０１）。次に、所定の
時間、イメージセンサ１４への電荷蓄積を行う（ステッ
プ２０２）。この蓄積が終了すると、次にＩＲＥＤ１３
ａ，１３ｂを消灯する（ステップ２０３）。そして、Ｃ
ＰＵ１００は蓄積の終了したイメージセンサ１４から撮
影者の眼球像を読出すと共に、逐次的に角膜反射像（Ｐ
像）や瞳孔部の特徴抽出の処理を行う（ステップ２０
４）。

【００５９】Ｐ（プルキンエ）像は眼球照明用ＩＲＥＤ
の角膜反射像であるから、この像信号中には光強度の強
い輝点として現れるため、その特徴をもって一組のＰ像
を検出し、その位置（ｘｄ´，ｙｄ´），（ｘｅ，ｙｅ
´）を求めることが出来る（ステップ２０５）。しか
し、カメラが縦位置になっていて、Ｐ像が出来るはずの
位置にまぶたなどがあり、Ｐ像の検出が出来ないときは
（ステップ２０６）、ステップ２１１へ移行する。

【００６０】一方、Ｐ像の位置が検出出来ると（ステッ
プ２０６）、カメラの姿勢が横位置であると判別し（ス
テップ２０７）、瞳孔中心（ｘｃ´，ｙｃ´）及び瞳孔
径ｒｃの検出を行う（ステップ２３０）。

【００６１】撮影者の眼球像の中からＰ像位置と瞳孔が
検出されれば、撮影者の眼球光軸の回転角（θｘ，θ
ｙ）を算出し、撮影者の観察面（ピント板）上の注視点
（ｘ，ｙ）を求め（ステップ２３１）、この「視線検出
＆姿勢判別＆注視点選択」サブルーチンを抜ける（ステ
ップ２３２）。

【００６２】上記のステップ２０６においてＰ像が存在
しないとなると、ＣＰＵ１００はカメラが横位置でない
と判別し、カメラの姿勢が縦位置ａであることを想定し
て、撮影者の眼を照明するためにＩＲＥＤ１３ａ，１３
ｃを点灯する（ステップ２１１）。この後、ＣＰＵ１０
０はステップ２０２〜ステップ２０５と同様の処理を行
い（ステップ２１１〜ステップ２１５）、Ｐ像の検出を
行う（ステップ２１６）。ここでカメラの姿勢が横位置
でも縦位置ａでもないときは、Ｐ像が出来るはずの位置
にまぶたなどがあり、Ｐ像の検出が出来ないので、ステ
ップ２１６からステップ２２１へ移行する。

【００６３】一方、Ｐ像の位置が検出出来ると（ステッ
プ２１６）、カメラの姿勢が縦位置ａであると判別し
（ステップ２１７）、瞳孔中心（ｘｃ´，ｙｃ´）及び
瞳孔径ｒｃの検出を行う（ステップ２３０）。

【００６４】撮影者の眼球像の中からＰ像位置と瞳孔が
検出されれば、撮影者の眼球光軸の回転角（θｘ，θ
ｙ）を算出し、撮影者の観察面（ピント板）上の注視点
（ｘ，ｙ）を求め（ステップ２３１）、この「視線検出
＆姿勢判別＆注視点選択」サブルーチンを抜ける（ステ
ップ２３２）。

【００６５】上記ステップ２１６においてＰ像が存在し
ないとなると、ＣＰＵ１００はカメラが横位置でも縦位
置ａでもないと判別し、カメラの姿勢が縦位置ｂである
こと想定して、撮影者の眼を照明するためにＩＲＥＤ１
３ｂ，１３ｄを点灯する（ステップ２２１）。この後、
ＣＰＵ１００はステップ２０２〜ステップ２０５と同様
の処理を行い（ステップ２２１〜ステップ２２５）、Ｐ
像の検出を行う（ステップ２２６）。ここで、カメラの
姿勢がどの位置にあってもＰ像が出来ないときは、撮影
者がファインダを正しく覗いていないことが考えられ、
視線検出はＮＧと判定し（ステップ２２８）、この「視
線検出＆姿勢判別＆注視点選択」サブルーチンを抜ける
（ステップ２３２）。

【００６６】一方、Ｐ像の位置が検出出来ると（ステッ
プ２２６）、カメラの姿勢が縦位置ｂであると判別し
（ステップ２２７）、瞳孔中心（ｘｃ´，ｙｃ´）及び
瞳孔径ｒｃの検出を行う（ステップ２３０）。

【００６７】撮影者の眼球像の中からＰ像位置と瞳孔が
検出されれば、撮影者の眼球光軸の回転角（θｘ，θ
ｙ）を算出し、撮影者の観察面（ピント板）上の注視点
（ｘ，ｙ）を求め（ステップ２３１）、この「視線検出
＆姿勢判別＆注視点選択」サブルーチンを抜ける（ステ
ップ２３２）。

【００６８】このようにカメラの姿勢を３ポジション想
定して、４個のＩＲＥＤによる組合せ（３ペア）により
必要に応じて順次照射し、それぞれＰ像検出を行い、注
視点座標を求めて測距点の指標のある座標から、一つの
測距点とカメラの姿勢を判別する。

【００６９】カメラの姿勢が横位置か縦位置かの判別出
来れば、それを測距点自動選択のアルゴリズムや評価測
光のアルゴリズムに利用することが出来る。

【００７０】図７に、図５のステップ１１７において実
行される「測距点自動選択」サブルーチンの動作を示す
フローチャートを示す。

【００７１】ＣＰＵ１００は視線検出がＮＧの場合（ス
テップ４０１）とカメラの姿勢が横位置と判別した場合
（ステップ４０２）は、自動測距点選択の測距点の候補
を５点（Ｒ２，Ｒ１，Ｃ，Ｌ１，Ｌ２）全てとし（ステ
ップ４０５）、その中から近点優先のアルゴリズムによ
り測距点を決定する（ステップ４０８）。

【００７２】また、カメラの姿勢は縦位置ａと判別した
場合（ステップ４０３）は、自動測距点選択の測距点の
候補を５点のうち、真中（Ｃ）、右中（Ｒ１）、右端
（Ｒ２）とし（ステップ４０６）、その中から近点優先
のアルゴリズムにより測距点を決定する（ステップ４０
８）。

【００７３】また、カメラの姿勢が縦位置ａでもない判
別した場合（ステップ４０３）は、カメラが縦位置ｂで
あるということであるので、自動測距点選択の測距点の
候補を５点のうち真中（Ｃ）、左中（Ｌ１）、左端（Ｌ
２）とし（ステップ４０７）、その中から近点優先のア
ルゴリズムにより測距点を決定する（ステップ４０
８）。

【００７４】上記の様にして自動測距点選択で測距点が
決定されれば、この「測距点自動選択」サブルーチンを
抜ける（ステップ４０９）。

【００７５】このようにカメラの姿勢によって自動測距
点選択のアルゴリズムを変えると、例えば縦位置で地面
に立った人物を撮影する場合に、近点優先の自動測距点
選択アルゴリズムのために、地面にピントが合って人物
がぼけてしまうような失敗写真を防ぐことが出来る。

【００７６】又同様に、評価測光のアルゴリズムにカメ
ラの姿勢情報を導入することによって、逆光で空が画面
の上方にあるような撮影シーンでも、画面上方にある分
割測光エリアの出力を過小評価することで、明るい空に
引っ張られることなく、主被写体に適正な露光量を得る
ことが出来る。

【００７７】（第２の実施例）上記の第１の実施例で
は、カメラの各姿勢を想定して選択ＩＲＥＤペアを撮影
者の視線を検出出来るように長時間照明しているが、Ｐ
像は前述のように光強度の強い輝点であるため、このＰ
像を検出するためだけであるなら、長い時間の照明とイ
メージセンサ（ＣＣＤ）への蓄積は必要でない。そこ
で、図９に本発明の第２の実施例における「視線検出＆
姿勢判別＆注視点選択」サブルーチンを示す。なお、そ
の他の動作やカメラの構成は第１の実施例と同様である
ので、ここでは省略する。

【００７８】図９は上記の様に「視線検出＆姿勢判別＆
注視点選択」サブルーチンであるが、大半は第１の実施
例における図６と同じである。ここでは異なる部分だけ
説明する。

【００７９】まず、図６でのステップ２０２，ステップ
２１２，ステップ２２２に相当する、それぞれ横位置，
縦位置ａ，縦位置ｂを想定して、ＩＲＥＤを照明したと
きのイメージセンサ１４の蓄積であるが、最初の蓄積
は、Ｐ像を検出するためだけであるので、蓄積時間の短
い（約１／１０）予備蓄積となる（ステップ３０２，ス
テップ３１２，ステップ３２２）。

【００８０】そして、図６でのステップ２０７，ステッ
プ２１７，ステップ２２７に相当する、カメラの姿勢を
判別した後（ステップ３０７，ステップ３１７，ステッ
プ３２７）は、視線検出のためのイメージセンサ１４の
本蓄積を行うためにそれぞれＩＲＥＤを点灯する（ステ
ップ３０８，ステップ３１８，ステップ３２８）。

【００８１】次に、所定の時間、イメージセンサ１４の
電荷蓄積を行う（ステップ３３０）。この後の処理は、
図６のステップ２０３〜ステップ２０５と同じであり、
蓄積が終了すると共にＩＲＥＤも消灯し（ステップ３３
１）、逐次的にＰ像や瞳孔部の特徴抽出の処理を行い
（ステップ３２２）。１組のＰ像を検出する（ステップ
３３３）。

【００８２】Ｐ像の位置が検出出来ると、瞳孔中心（ｘ
ｃ´，ｙｃ´）及び瞳孔径ｒｃの検出を行う（ステップ
３３４）。

【００８３】撮影者の眼球像の中からＰ像位置と瞳孔が
検出されれば、撮影者の眼球光軸の回転角（θｘ，θ
ｙ）を算出し、撮影者の観察面（ピント板）上の注視点
（ｘ，ｙ）を求め（ステップ３３５）、サブルーチンを
抜ける（ステップ３３６）。

【００８４】また、図６のときの説明と同様、カメラの
姿勢がどの位置にあっても、Ｐ像が出来ないときは（ス
テップ３２６）、撮影者がファインダを正しく覗いてい
ないことが考えられ、視線検出はＮＧと判定し（ステッ
プ３２９）、この「視線検出＆姿勢判別＆注視点選択」
サブルーチンを抜ける（ステップ２３６）。

【００８５】このようにすると、カメラの姿勢を判別す
るための処理が短くて済み、視線検出全体のフローの処
理時間の短縮も図れる。

【００８６】以上の各実施例によれば、カメラがどの姿
勢であっても、先ず横位置用赤外照明を行って角膜反射
像が検知できるか否かを判別し、この結果、検出できな
ければカメラの姿勢は横位置ではないとして、次に縦位
置ａ用赤外照明を行って角膜反射像が検知できるか否か
を判別し、この際にも検出できなければカメラの姿勢は
横位置でも縦位置ａでもないとして、次に縦位置ｂ用赤
外照明を行って角膜反射像が検知できるか否かを判別
し、カメラの姿勢を決定し、そして、角膜反射像が検知
出来た照明により角膜反射像の位置を検出して視線の注
視点を求めるようにしているため、従来必要としていた
水銀スイッチ等のカメラの姿勢検知スイッチを廃止する
ことができ、コストの削減は勿論、カメラの姿勢変化の
検知やその時の視線検出の信頼性を向上させることが可
能となる。

【００８７】 （発明と実施例の対応） 本実施例にお
いて、中央処理装置（ＣＰＵ）１００が本発明の処理装
置に相当する。

【００８８】以上が実施例の各構成と本発明の各構成の
対応関係であるが、本発明は、これら実施例の構成に限
定されるものではなく、請求項で示した機能、又は実施
例がもつ機能が達成できる構成であればどのようなもの
であってもよいことは言うまでもない。

【００８９】（変形例）本実施例では、視線により測距
点選択を行っているが、これに限らず、視線により他の
機能、例えば絞り込みを行ったり、電子ダイヤル４５の
機能を切換えるなどいろいろな使用法が考えられる。

【００９０】また、本実施例では、カメラの姿勢を判別
するために、ＩＲＥＤ１３ａ，１３ｂのペア、次に１３
ａ，１３ｃのペア、次いで１３ｂ，１３ｄのペアの順で
切換えるようにしているが、勿論この順序に限るもので
はない。更に、必ずしもペアにて照明する様に構成する
必要はない。

【００９１】また、得られる姿勢情報、つまり撮影者の
眼球の位置と接眼部の相対位置情報は、測距点自動選択
や評価測光時に利用する様にしているが、これ以外に、
例えば日付等の写し込み位置の選択情報としても用いる
ことができる。

【００９２】又本実施例では、赤外発光ダイオード（Ｉ
ＲＥＤ）の照明位置によってカメラの姿勢検知を行って
いるが、その他、観察者の眼球像の光電変換信号を画像
処理することによって、つまり観察者の眼の特徴、例え
ば目尻，まつげ，まばたきなどを利用して、カメラの姿
勢（縦横）検知する使用法も考えられる。

【００９３】また、本発明は、一眼レフカメラに適用し
た場合を想定しているが、レンズシャッタカメラ，ビデ
オカメラ等のカメラに適用可能である。更には、その他
の光学機器や他の装置、更には構成ユニットとしても適
用することができるものである。

【００９４】更に、本発明は、以上の各実施例、又はそ
れらの技術を適当に組み合わせた構成にしてもよい。

【００９５】

【発明の効果】 以上説明したように、本発明において
は、照明手段が有する複数の光源のうちのの何れかの光
源を選択して観察者の眼球を照明させ、該光源が観察者
の眼球を照明している際に、眼球像から該光源に応じた
角膜反射像が検出されたか否かを判別し、検出されなけ
れば眼球像から瞳孔の位置を検出することなく、前記眼
球像から該光源に応じた角膜反射像が検出されるまで
は、順次視線検出に関わる光学装置が別の姿勢であると
想定したときの光源を選択して観察者の眼球を照明させ
るようにしている。

【００９６】よって、接眼部と眼球位置の相対位置を検
知する為のスイッチ部材を具備することなく、高精度の
視線検出を行うことができる。

【００９７】

【００９８】

【００９９】

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る一眼レフカメラの
要部を示す構成図である。

【図２】図１の一眼レフカメラの上面及び背面を示す図
である。

【図３】図１の一眼カメラのファインダ視野を示す図で
ある。

【図４】図１の一眼カメラの電気的構成を示すブロック
図である。

【図５】図１の一眼カメラの一連の動作を示すフローチ
ャートである。

【図６】図５のステップ１０３における「視線検出＆姿
勢判別＆注視点選択」サブルーチンを示すフローチャー
トである。

【図７】図５のステップ１１７における「測距点自動選
択」サブルーチンを示すフローチャートである。

【図８】図１の一眼カメラの分割測光領域を示す図であ
る。

【図９】本発明の第２の実施例における「視線検出＆姿
勢判別＆注視点選択」サブルーチンを示すフローチャー
トである。

【図１０】従来の視線検出光学系の概略を示す図であ
る。

【図１１】従来の眼球像及びその像信号の出力強度につ
いて説明する為の図である。

【図１２】一般的な視線検出の原理について説明する為
の図である。

【図１３】カメラの姿勢が縦位置の際に横位置，縦位置
それぞれで照明した時の眼球像について説明するための
図である。

【符号の説明】

６ｆ ラインセンサ １０ 測光センサ １１ 接眼レンズ １２ 受光レンズ １３ａ〜１３ｄ 赤外発光ダイオード（ＩＲＥＤ） １４ イメージセンサ １００ ＣＰＵ １０１ 視線検出回路 １０２ 測光回路 １０３ 自動焦点検出回路 １０７ ＩＲＥＤ駆動回路

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−86758（ＪＰ，Ａ) 特開 平４−138432（ＪＰ，Ａ) 特開 平６−138379（ＪＰ，Ａ) 特開 平１−274736（ＪＰ，Ａ) 特開 平２−213322（ＪＰ，Ａ) 特開 平３−77533（ＪＰ，Ａ) 特開 平７−299038（ＪＰ，Ａ) 特開 平７−319041（ＪＰ，Ａ) 特開 平７−84311（ＪＰ，Ａ) 特開 平６−138367（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) A61B 3/00 - 3/16 G02B 7/28

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 複数の光源を有する照明手段に観察者の
   眼球を照明させ、光電変換素子から出力される観察者の
   眼球像の光電変換信号を処理することで、該眼球像の角
   膜反射像と瞳孔の位置を検出し、該角膜反射像の位置と
   該瞳孔の位置に基いて観察者の視線を検出する処理装置
   を有する視線検出装置において、前記処理装置は、前記
   照明手段の何れかの光源を選択して観察者の眼球を照明
   させ、該光源が観察者の眼球を照明している際に、前記
   眼球像から該光源に応じた角膜反射像が検出されたか否
   かを判別し、検出されなければ眼球像から瞳孔の位置を
   検出することなく、前記眼球像から該光源に応じた角膜
   反射像が検出されるまでは、順次該視線検出装置を有す
   る光学装置が別の姿勢であると想定したときの光源を選
   択して観察者の眼球を照明させることを特徴とする視線
   検出装置。
2. 【請求項２】 請求項１記載の視線検出装置を有するこ
   とを特徴とする光学装置。
3. 【請求項３】 複数の光源を有する照明手段に観察者の
   眼球を照明させ、光電変換素子から出力される観察者の
   眼球像の光電変換信号を処理することで、該眼球像の角
   膜反射像と瞳孔の位置を検出し、該角膜反射像の位置と
   該瞳孔の位置に基いて観察者の視線を検出する視線検出
   方法において、前記照明手段の何れかの光源を選択して
   観察者の眼球を照明させ、該光源が観察者の眼球を照明
   している際に、前記眼球像から該光源に応じた角膜反射
   像が検出されたか否かを判別し、検出されなければ眼球
   像から瞳孔の位置を検出することなく、前記眼球像から
   該光源に応じた角膜反射像が検出されるまでは、順次前
   記照明手段を有する光学装置が別の姿勢であると想定し
   たときの光源を選択して観察者の眼球を照明させること
   を特徴とする視線検出方法。