JP3166179B2

JP3166179B2 - 視線検出装置

Info

Publication number: JP3166179B2
Application number: JP02283391A
Authority: JP
Inventors: 山田　　晃; 明彦長野; 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1991-01-22
Filing date: 1991-01-22
Publication date: 2001-05-14
Anticipated expiration: 2016-05-14
Also published as: JPH04240438A; US5280312A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は視線検出装置に関するも
ので、特に受光した眼球像を利用して視線を検出する視
線検出装置に関するものである。

【０００２】

【従来の技術】従来より観察者が観察面上のどの位置を
観察しているかを検出する、いわゆる視線（視軸）を検
出する装置が種々提案されている。

【０００３】例えば特開昭６１−１７２５５２号公報に
おいては、光源からの平行光束を観察者の眼球の前眼部
へ投射し、角膜からの反射光による角膜反射像と瞳孔の
結像位置を利用して視軸を求めている。図１０（Ａ）、
（Ｂ）は視線検出方法の原理説明図で、同図（Ａ）は視
線検出光学系の概略図、同図（Ｂ）は光電素子列６から
の出力信号の強度図である。

【０００４】同図において５は観察者に対して不感の赤
外光を放射する発光ダイオード等の光源であり、投光レ
ンズ３の焦点面に配置している。

【０００５】光源５より発光した赤外光は投光レンズ３
により平行光となりハーフミラー２で反射し、眼球２０
１の角膜２１を照明する。このとき角膜２１の表面で反
射した赤外光の一部による角膜反射像ｄはハーフミラー
２を透過し受光レンズ４により集光され光電素子列６上
の位置Ｚｄ´に再結像する。

【０００６】又、虹彩２３の端部ａ，ｂからの光束はハ
ーフミラー２、受光レンズ４を介して光電素子列６上の
位置Ｚａ´，Ｚｂ´に該端部ａ，ｂの像を結像する。受
光レンズ４の光軸（光軸ア）に対する眼球の光軸イの回
転角θが小さい場合、虹彩２３の端分ａ，ｂのＺ座標を
Ｚａ，Ｚｂとすると、虹彩２３の中心位置ｃの座標Ｚｃ
はＺｃ≒（Ｚａ＋Ｚｂ）／２と表わされる。

【０００７】又、角膜反射像の発生位置ｄのＺ座標をＺ
ｄ、角膜２１の曲率中心Ｏと瞳孔２４の中心Ｃまでの距
離をＬ_OCとすると眼球光軸イの回転角θは、Ｌ_OC＊ＳＩＮθ≒Ｚｃ−Ｚｄ・・・・・・・・・・・
・・（１）の関係式を略満足する。

【０００８】ここで角膜反射像の位置ｄのＺ座標Ｚｄと
角膜２１の曲率中心ＯのＺ座標Ｚ_O とは一致している。
このため演算手段９において、同図（Ｂ）のごとく光電
素子列６面上に投影された各特異点（角膜反射像ｄ及び
虹彩の端部ａ，ｂ）の位置を検出することにより眼球光
軸イの回転角θを求めることができる。この時（１）式
は、とかきかえられる。但し、βは角膜反射像の発生位置ｄ
と受光レンズ４との距離Ｌ１と受光レンズ４と光電素子
列６との距離Ｌ０で決まる倍率で、通常ほぼ一定の値と
なっている。

【０００９】これは例えばカメラの自動焦点検出装置に
おいて測距点を画面中心のみならず画面内の複数箇所に
設けた場合、観察者がそのうち１つの測距点を選択して
自動焦点検出を行なおうとする場合、その１つを選択入
力する手間を省き観察者が観察している点を測距点とみ
なし、該測距点を自動的に選択して自動焦点検出を行う
のに有効である。

【００１０】

【発明が解決しようとする課題】従来の視線検出装置に
おいては受光手段としてＣＣＤ等の光電素子列６を複数
個配列したイメージセンサ７（撮像手段）を用いてい
る。

【００１１】図１１（Ａ）はこのようなイメージセンサ
７面上に結像した眼球の角膜反射像と虹彩反射像を示す
説明図、図１１（Ｂ）は図１１（Ａ）の１つの光電素子
列６からの出力信号の説明図である。

【００１２】同図においては光電素子列Ｙ１により角膜
反射像Ｚｄ´と虹彩２３と瞳孔２４との境界点Ｚａ´，
Ｚｂ´の位置を検出している。

【００１３】一般にイメージセンサを用いた位置検出方
法としては光電素子列からの出力信号をＡ／Ｄ変換後、
差分処理を行なう方法が知られている。

【００１４】図１１（Ｂ）に示すように角膜反射像Ｚｄ
´の光電素子列からの出力信号は非常に大きく、比較的
容易に検出することができる。一方虹彩２３と瞳孔２４
との境界点Ｚａ´，Ｚｂ´の光電素子列からの出力信号
は小さく、又虹彩２３の反射率は人によって各々異って
いる。この為検出光学系から入射してくるゴーストやフ
レアー、又眼鏡をかけている人では眼鏡からの反射像等
がノイズ成分となり、境界点Ｚａ´，Ｚｂ´の検出精度
を低下させる原因となっている。

【００１５】例えば図１１（Ｂ）の出力信号の差分値を
とり、これを所定のしきい値で検出しようとすると図中
Ｐ１で示す虹彩２３と瞳孔２４との境界点とみなせる点
が複数存在するようになってくる。

【００１６】この為、検知位置の信頼性が低くなり、誤
って視線を検出する場合があった。これを回避する為に
は新たなソフトウエアを用いる必要があり、この結果演
算処理が複雑になり、更に演算速度が遅くなり、視線検
出をリアルタイムで行うのが難しくなってくるという問
題点があった。

【００１７】本発明は受光手段のイメージセンサを構成
する複数の受光素子列のうちから予め設定した条件を満
足する光電素子列からの出力信号を利用することによ
り、虹彩反射像の位置情報を高精度に検出し、検出時間
が速く、かつ高精度な視線検出が可能な視線検出装置の
提供を目的とする。

【００１８】

【課題を解決するための手段】請求項１に記載した発明
は、視線検出装置が複数の光電素子を有し眼球像を受光
する受光手段と、前記受光手段にて受光した眼球像から
検出した虹彩と瞳孔の境界を用いて前記眼球の視線を算
出する演算手段とを有し、前記演算手段は前記複数の光
電素子から出力される信号の差分が所定値以上であっ
て、且つ前記光電素子の中から最小の出力信号を出力す
る光電素子の位置に最も近い点を虹彩と瞳孔の境界とし
て検出することを特徴としている。請求項２に記載した
発明は、請求項１に記載した発明に加え、前記演算手段
は、前記最小の出力信号を出力する光電素子の位置を基
準として虹彩と瞳孔の境界検出する範囲を設定し、その
範囲内で虹彩と瞳孔の境界を検出することを特徴として
いる。

【００１９】請求項３に記載した発明は、請求項２に記
載した発明に加え、前記演算手段は、前記最小の出力信
号を出力する光電素子の位置および予め記憶している眼
球の最大瞳孔径の情報を用いて虹彩と瞳孔の境界を検出
する範囲を設定し、その範囲内で虹彩と瞳孔の境界を検
出することを特徴としている。請求項４に記載した発明
は、請求項１乃至３のいずれか１項に記載した発明に加
え、前記眼球を照明する照明手段を有し、前記照明手段
は複数の照明光源により前記眼球を照明することを特徴
としている。

【００２０】

【実施例】図１（Ａ）は本発明を一眼レフカメラに適用
したときの一実施例の光学系の要部概略図、同図（Ｂ）
は同図（Ａ）の一部分の説明図である。図２は図１
（Ａ）の焦点検出系の要部斜視図である。

【００２１】図中、１は接眼レンズで、その内部には可
視光透過・赤外光反射のダイクロイックミラー１ａが斜
設されており、光路分割器を兼ねている。

【００２２】４は受光レンズ、５（５ａ，５ｂ，５ｃ，
５ｄ）は照明手段であり、例えば発光ダイオードから成
っている。このうち発光ダイオード５ａ，５ｂは角膜用
照明部であり接眼レンズ１の下方部に配置し、主に角膜
反射像を発生させている。又発光ダイオード５ａ，５ｂ
は角膜反射像をできるだけ分解能良く検出する為に見か
けのチップサイズが小さなスポット性のあるものを用い
ている。

【００２３】発光ダイオード５ｃ，５ｄは虹彩用照明部
であり接眼レンズ１の両側面に配置しており、虹彩情報
の検出用のものであり眼球全体を照明する為に拡散性、
又は面発光的な特性を有したものを用いている。

【００２４】発光ダイオード５ｃ，５ｄは眼球が光軸中
心より外れた場合でも眼球照明が可能となるような照明
範囲を有しており、受光レンズ４によって、常にイメー
ジセンサ７面上に角膜反射像が結像されるように配置し
ている。イメージセンサ７は複数の光電素子列６より成
っている。受光レンズ４とイメージセンサ７は受光手段
の一要素を構成している。各要素１，４，５，７（６）
より眼球の視線検出系を構成している。

【００２５】１０１は撮影レンズ、１０２はクイックリ
ターン（ＱＲ）ミラー、１０３は表示素子、１０４はピ
ント板、１０５はコンデンサーレンズ、１０６はペンタ
ダハプリズム、１０７はサブミラー、１０８は多点焦点
検出装置であり、撮影画面内の複数の領域を選択して焦
点検出を行っている。

【００２６】多点焦点検出装置の説明は本発明理解のた
めに必要ないため概略に止める。即ち本実施例では図２
に描く様に撮影レンズ１０１の予定結像面近傍に配置
し、夫々測距域を決める複数のスリットを有する視野マ
スク１１０と各スリット内の像に対してフィールドレン
ズの作用を果たすレンズ部材１１１を近接配置し、更に
スリット数に応じた再結像レンズの組１１２と光電素子
列の組１１３を順置する。スリット１１０、フィールド
レンズ１１１、再結像レンズの組１１２、そして光電素
子列の組１１３はそれぞれ周知の焦点検出系を構成して
いる。

【００２７】本実施例では撮影レンズ１０１の透過した
被写体光の一部はＱＲミラー１０２によって反射してピ
ント板１０４近傍に被写体像を結像する。ピント板１０
４の拡散面で拡散した被写体光はコンデンサーレンズ１
０５、ペンタダハプリズム１０６、接眼レンズ１を介し
てアイポイントＥに導光している。

【００２８】ここで表示素子１０３は例えば偏光板を用
いない２層タイプのゲスト−ホスト型液晶素子で、ファ
インダー視野内の測距域（焦点検出位置）を表示するも
のである。

【００２９】又、撮影レンズ１０１を透過した被写体光
の一部はＱＲミラー１０２を透過し、サブミラー１０７
で反射してカメラ本体底部に配置した前述の多点焦点検
出装置１０８に導光している。さらに多点焦点検出装置
１０８の選択した被写体面上の位置の焦点検出情報に基
づいて、不図示の撮影レンズ駆動装置により撮影レンズ
１０１の繰り出し（もしくは繰り込み）を行い、焦点調
節を行っている。

【００３０】本実施例に係る視線検出装置は、符番１，
４，５，７（６）で表わした部材より構成した視線検出
系と、演算手段である信号処理回路１０９から構成して
いる。

【００３１】図３は図１（Ａ）の信号処理回路１０９の
要部ブロック図である。同図において８はマイクロプロ
セッシングユニット（Ｍ．Ｐ．Ｕ）、９はインターフェ
イス回路であり、Ｍ．Ｐ．Ｕ８と各種回路を結合してい
る。１０はＡ／Ｄ変換器、１１は制御回路であり、前述
の照明手段５の投光やイメージセンサ７の受光等のタイ
ミングを制御している。１２は外部メモリである。

【００３２】Ｍ．Ｐ．Ｕ８からの制御信号はインターフ
ェイス回路９を介して、制御回路１１に与えられる。制
御回路１１ではイメージセンサ７の積分時間、読み出し
時間等のタイミングパルスをつくり、このタイミングパ
ルスによりイメージセンサ７を制御している。又必要が
あれば同様に照明手段５からの発光を制御している。

【００３３】イメージセンサ７からの画像信号は制御回
路１１でつくられるタイミングパルスに同期してＡ／Ｄ
変換器１０でＡ／Ｄ変換し、インターフェイス回路９を
介してＭ．Ｐ．Ｕ８で読み込んでいる。そして必要に応
じてそのデータを外部メモリ１２に記憶している。

【００３４】尚、Ｍ．Ｐ．Ｕ８は眼球光軸検出回路、右
眼か左眼かを判別する眼球判別回路、眼球の大きさによ
るバラツキを補正する視軸補正回路、注視点検出回路等
を有しており、前述のデータを用いて各種の演算処理を
行っている。

【００３５】該視線検出系において、赤外発光ダイオー
ド５から放射した赤外光は、図中上方から接眼レンズ１
に入射しダイクロイックミラー１ａで反射しアイポイン
トＥ近傍に位置する観察者の眼球２０１を照明する。ま
た眼球２０１で反射した赤外光は、ダイクロイックミラ
ー１ａで反射し受光レンズ４によって収斂しながら光電
素子列６上に像を形成する。また、前記信号処理回路１
０９はＭ．Ｐ．Ｕ８のソフトで実行される。

【００３６】注視点検出回路において検知した注視点情
報は、まず表示素子１０３と多点焦点検出装置１０８に
伝送する。表示素子１０３においては観察者が注視した
場所をカメラのファインダー内に表示し、注視点（焦点
検出点）の確認を行う役割を果たす。

【００３７】又、多点焦点検出装置１０８においては、
観察者が注視した点の焦点検出を行い、注視被写体に対
して焦点調節を行っている。

【００３８】図４（Ａ）、（Ｂ）は本発明に係る視線検
出系の光学原理図である。図４（Ａ）に示すように角膜
反射像の発生用の赤外発光ダイオード５ａ，５ｂは受光
レンズ４の光軸（Ｘ軸）に対して光電素子列６の列方向
（Ｚ方向）及び列方向と直交する方向（Ｙ方向）にシフ
トした位置に配置している。

【００３９】図４（Ａ）において光電素子列６の列方向
（Ｚ軸方向）に分離して配置した赤外発光ダイオード５
ａ，５ｂからの光束はＺ軸方向に分離した位置に角膜反
射像ｅ，ｄをそれぞれ形成する。

【００４０】この時、角膜反射像ｅ及びｄの中点のＺ座
標は角膜２１の曲率中心ｏのＺ座標と一致している。ま
た角膜反射像ｅ及びｄの間隔は赤外発光ダイオードと観
察者の眼球との距離に対応して変化するため、光電素子
列６上に再結像した角膜反射像の位置ｅ´，ｄ´を検出
することにより眼球からの反射像の結像倍率βを求める
ことが可能となる。

【００４１】図４（Ｂ）に示すように虹彩情報の検出用
の赤外発光ダイオード５ｃ，５ｄは受光レンズ４の光軸
に対して側方向（Ｚ方向）から眼球を照明している。

【００４２】このとき赤外発光ダイオード５ｃ，５ｄに
よる角膜反射像が受光レンズ４によって光電素子列６面
上に再結像しないように各要素を配置している。これに
より光電素子列６面上における虹彩と瞳孔の境界位置
ａ，ｂ近傍に不要光のゴーストやフレアーが入射しない
ようにして、境界位置ａ，ｂの検出精度の低下を防止し
ている。

【００４３】図５（Ａ）と図６（Ａ）は各々本実施例に
おいてイメージセンサ７面上に結像した眼球からの反射
像を示す説明図である。

【００４４】図５（Ａ）は赤外発光ダイオード５ａ，５
ｂによる角膜反射像ｅ´，ｄ´を示しており、光電素子
列Ｙ_P ´面上に結像している。このときの光電素子列Ｙ
_P ´からの出力信号を図５（Ｂ）に示す。

【００４５】図６（Ａ）は赤外発光ダイオード５ｃ，５
ｄによる虹彩情報に基づく反射像を示す説明図である。
同図では角膜反射像は発生していない。図５（Ａ）に示
すように、通常角膜反射像が形成する光電素子列Ｙ_P ´
は瞳孔中心ｃ´の存在する光電素子列Ｙ_O ´より図中＋
Ｙ方向に発生している。この為虹彩と瞳孔の境界点をな
るべく高精度に検出する為に光電素子列Ｙ_P ´より所定
量シフトした光電素子列Ｙ_O ´からの信号を読み出して
いる。このときの光電素子列Ｙ_O ´からの出力信号を図
６（Ｂ）に示す。

【００４６】次に本実施例における視線検出方法を図７
のフローチャートを用いて順次説明する。

【００４７】第１に信号処理回路１０９中のＭ．Ｐ．Ｕ
８に含まれる眼球光軸検出回路において眼球光軸の回転
角を検出する。それにはまず角膜反射像の検出用の赤外
発光ダイオード５ａ，５ｂを点灯する（＃１）。これに
よってイメージセンサー７面上に結像した反射像の画像
信号をＡ／Ｄ変換し、Ｍ．Ｐ．Ｕ８で読み込む（＃
２）。光電変換素子のうち＋Ｙ方向より順次読み込んだ
画像信号より角膜反射像が形成される光電素子列（ライ
ン）Ｙ_P ´を検出する（＃３）。同時に角膜反射像ｅ
´，ｄ´の列方向の発生位置Ｚｄ´，Ｚｅ´を検出し
（＃４）、該角膜反射像の間隔｜Ｚｄ´・Ｚｅ´｜より
光学系の結像倍率βを求める（＃５）。

【００４８】次に虹彩情報の検出用の赤外発光ダイオー
ド５ｃ，５ｄを点灯させる（＃６）。光電素子列Ｙ_P ´
より所定間隔ΔＹ離れた虹彩と瞳孔の境界点の検出用ラ
イン（光電素子列）Ｙ_O ´を設定する（＃７）。

【００４９】次にラインＹ_O の画像信号の中で最小の出
力を発生している位置を検出する（＃８）。このときの
位置情報に基づいてこの近傍で画像信号の差分値より虹
彩と瞳孔の境界点Ｚａ´，Ｚｂ´を検出する（＃９）。
この２点を用いて瞳孔中心をＺｃ´＝（Ｚａ´＋Ｚｂ
´）／２として算出する（＃１０）。

【００５０】そして前記角膜反射像ｅ´，ｄ´の位置Ｚ
ｄ´，Ｚｅ´を用いて前記（２）式を変形し、眼球光軸
の回転角θをとして求めている（＃１１）。

【００５１】さらに、信号処理回路１０９に含まれる眼
球判別回路においては、例えば算出される眼球光軸の回
転角の分布よりファインダー光学系をのぞいている観察
者の目が右目か左目かを判別し（＃１２）、さらに視軸
補正回路において該眼球判別情報と前記眼球光軸の回転
角に基づいて視軸の補正を行い（＃１３）、また注視点
検出回路においては、ファインダー光学系の光学定数に
基づいて注視点を算出している（＃１４）。

【００５２】ここで図７のフローチャートの＃８，＃９
の虹彩反射像の情報より虹彩と瞳孔の境界点を検出する
方法について詳細に説明する。この境界点を検出する際
の眼球の反射像の出力信号は図６（Ｂ）に示すようにな
っている。一般にこの境界点を検出するのにこれらの出
力信号より差分信号をとり一定のしきい値以上の値より
検出する。しかしながら瞳孔部は照明光束をほとんど吸
収する為出力信号は暗信号程度のレベルとなっている。

【００５３】そこで本実施例ではこの事を利用して出力
信号の中で最小出力を発生する光電素子列（画素）を検
出してこれに最も近い前後の境界点を虹彩と瞳孔の境界
点と判断している。

【００５４】このときの最小出力を発生する部分が確実
に瞳孔部である為にはイメージセンサー７の領域に相当
する眼の範囲をムラなく照明してやることが必要であ
る。この為本実施例においては眼球全体を照明する虹彩
情報の検出用の赤外発光ダイオード５ｃ，５ｄを専用に
設けている。

【００５５】図８は虹彩と瞳孔の境界点を検出するフロ
ーチャートである。

【００５６】まず信号処理回路１０９に接続した外部メ
モリー１２に記憶したラインＹO ´の画像信号Ｓｊの読
み出しを順次行なう。このＳｊはイメージセンサー７の
各画素Ｏ≦ｊ≦ｎに対応している（＃５１）。ｊは正の
整数をとる画素番号でｊ＝０にリセットし、画像信号の
出力が最小である光電素子列の位置ＺｆをＺｆ＝０にリ
セットする（＃５２）。

【００５７】次に画像信号の最小の出力であるＭＩＮ
を、画像信号の出力が取り得る最大の値Ｓ_MAXに設定す
る（＃５３）。以下＃５４〜＃５８は一般に用いられる
公知のパラメーターの最小値を求める検出フローであ
る。ここで画像信号の出力が最小である光電素子列の画
素（位置）Ｚｆを決定する。続いてｊ＝０にリセットし
（＃５９）、虹彩と瞳孔の境界点を示す光電素子列の画
素（位置）Ｚａ，Ｚｂを０にリセットする（＃６０）。
次に差分信号ｄＳjを次の（４）式より求める（＃６
１）。

【００５８】ｄＳj＝Ｓj+1−Ｓj・・・・・・・・・・・（４）（但しｊはＯ≦ｊ≦ｎ−１の正の整数）差分値ｄＳjが判別の為のしきい値Ａよりも大きければ
（＃６２）この時のｊを図６（Ａ）で左側の境界点Ｚｂ
とおく（＃６３）。これを最小出力画素（位置）のある
Ｚｆ−１まで繰り返す（＃６４、６５）。これによって
差分値ｄＳjがしきい値Ａより大きい毎にＺｂを更新
し、最もＺｆに近い点でかつ差分値がしきい値Ａよりも
大きい点を境界点Ｚｂとして記憶する。Ｚｂが初期値で
ない事を確認する（＃６６）。

【００５９】次にｊ＝Ｚｆよりさらに先にパラメーター
を進めて（＃６７）再度差分値ｄＳjを求め、ｄＳjがし
きい値Ａよりも大きいか判断し（＃６８、６９）大きけ
ればこれを図６（Ａ）で右側の境界点であるＺａとして
検出を終了する（＃７０）。つまりＺｆの位置から最初
にしきい値を越えた境界点をＺａとして検出する。小さ
ければｊ＝ｎ−１までのこの判断を繰り返す（＃７１、
７２）。最後まで検出できない場合は検出不能として画
像信号を最初から読み直す。

【００６０】図９は本発明の実施例２のフローチャート
である。本実施例ではステップ＃５８までは図８の実施
例１と同じである。

【００６１】即ち、画像信号の出力が最小である光電素
子列からの画素（位置）Ｚｆを検出し、図６（Ｂ）で示
すＺｆ´の右側にある境界点Ｚａ´を検出しｊ＝Ｚｆ＋
１と設定する（＃１０１）。

【００６２】虹彩と瞳孔の境界点を示す光電素子列の画
素（位置）Ｚａ，Ｚｂを０にリセットする（＃１０
２）。次に差分信号ｄＳjを前述の（４）式より求める
（＃１０３）。差分値ｄＳjが判別の為のしきい値Ａよ
りも大きければ（＃１０４）この時のｊを境界点Ｚａと
して記憶する（＃１０５）。逆に小さければこれをｊ＝
ｎ−１までこの判断を繰り返す（＃１０６、１０７）。
最後まで１つも検出できない場合は検出不能として画像
信号を最初から読み直す。最初にしきい値Ａを越えた境
界点Ｚａを検出しα＝Ｚａ−Ｚｆ＋ｄとおく。ここでｄ
は観察者の眼の瞳孔で、最大の瞳孔径の値をとる（＃１
０８）。

【００６３】次にｊ＝Ｚｆ−αと設定する（＃１０
９）。これは次に求めようとする左側の境界点Ｚｂが少
なくとも最小出力であった光電素子列の画素（位置）Ｚ
ｆよりもαだけ左側の範囲内にあると考えられる為であ
る。ここで同様に差分値ｄＳｊを求め、判別を行う（＃
１１０、１１１）。しきい値Ａよりも大きければこの時
のｊを左側の境界点Ｚｂとおく（＃１１２）。これを最
小出力画素Ｚｆまでくり返す（＃１１３、１１４）。こ
れによってＺｆ−αからＺｆ−１までの間で最もＺｆに
近い境界点と判別した点を境界点Ｚｂとして検出する。

【００６４】このようにしてほぼ瞳孔の近傍の光電素子
列の出力信号だけを用いて、虹彩と瞳孔の境界点を検出
している。

【００６５】本実施例によれば最大瞳孔径の２倍に相当
する範囲内で検出できるようにしている。本実施例にお
いては眼球の垂直方向（Ｘ−Ｙ平面内）の回転が無いと
して瞳孔中心の存在する光電素子列Ｙ_O ´を求めている
が、眼球の垂直方向の回転がある場合算出される光電素
子列Ｙ_O ´の位置と実際に瞳孔中心が存在する光電素子
列の位置が若干ずれるがこれは実用上問題はない。

【００６６】

【発明の効果】以上説明したように、請求項１に記載し
た発明は、複数の光電素子を有し眼球像を受光する受光
手段と、前記受光手段にて受光した眼球像から検出した
虹彩と瞳孔の境界を用いて前記眼球の視線を算出する演
算手段とを有し、前記演算手段は前記複数の光電素子か
ら出力される信号の差分が所定値以上であって、且つ前
記光電素子の中から最小の出力信号を出力する光電素子
の位置に最も近い点を虹彩と瞳孔の境界として検出する
ことにより、太陽等の外乱光による影響を受けずに、瞳
孔と虹彩の境界部分を高速且つ高精度に検出することが
できるようになり、その結果、短い検出時間で高精度な
視線検出動作が可能な視線検出装置を得ることができ
る。請求項２に記載した発明は、請求項１に記載した発
明に加え、前記演算手段は、前記最小の出力信号を出力
する光電素子の位置を基準として虹彩と瞳孔の境界を検
出する範囲を設定し、その範囲内で虹彩と瞳孔の境界を
検出することにより、虹彩と瞳孔の境界が存在する可能
性の高い部分だけに対して検出動作を行なうことができ
るので、虹彩と瞳孔の境界の検出に要する時間を短縮す
ることができるとともに、誤検出も低減させることが可
能になる。請求項３に記載した発明は、請求項２に記載
した発明に加え、前記演算手段は、前記最小の出力信号
を出力する光電素子の位置および予め記憶している眼球
の最大瞳孔径の情報を用いて虹彩と瞳孔の境界を検出す
る範囲を設定し、その範囲内で虹彩と瞳孔の境界を検出
することにより、より正確に虹彩と瞳孔の境界が存在す
る可能性の高い部分を設定することができるので、より
一層、虹彩と瞳孔の境界の検出に要する時間を検出する
ことができるともに、誤検出も低減させることが可能に
なる。請求項４に記載した発明は、請求項１乃至３のい
ずれか１項に記載した発明に加え、前記眼球を照明する
照明手段を有し、前記照明手段は複数の照明光源により
前記眼球を照明することにより、眼球像をより高精度に
検出することができるので、さらに高精度な視線検出動
作が可能になる。

【００６７】特に本発明によれば虹彩反射像より虹彩と
瞳孔の境界点を検出する際に光電素子列の中で画像信号
の出力が最小である光電素子列の位置情報をもとに境界
点を検出することによって検出の信頼性を向上させ、境
界点であるかどうか１つ１つ判別するソフトウェアを不
要としている。又瞳孔と思われる部分の近傍の画像信号
を処理するだけで虹彩の検出を可能とし、演算時間が短
く、視線検出のリアルタイム化が容易であるといった特
長を有している。

【００６８】又、角膜反射像の発生用の照明手段と眼球
全体を照明する虹彩情報の検出用の照明手段を各々別々
に設け、虹彩と瞳孔の境界点を角膜反射像にじゃまされ
る事なく正確に検出し、かつ広範囲の眼球の動きに対し
ても検出が可能である等といった特長を有している。

【図面の簡単な説明】

【図１】（Ａ）は本発明を一眼レフカメラに適用したと
きの実施例１の要部概略図、（Ｂ）は図１（Ａ）の一部
分の説明図

【図２】図１の焦点検出系の要部斜視図

【図３】図１（Ａ）の信号処理回路の要部ブロック図

【図４】（Ａ），（Ｂ）は本発明の視線検出系の光学原
理説明図

【図５】（Ａ），（Ｂ）は本発明に係る光電素子列面上
の眼球からの反射像と光電素子列からの出力信号の説明
図

【図６】（Ａ），（Ｂ）は本発明に係る光電素子列面上
の眼球からの反射像と光電素子列からの出力信号の説明
図

【図７】本発明の実施例１のフローチャート

【図８】本発明の実施例１のフローチャート

【図９】本発明の実施例２のフローチャート

【図１０】（Ａ）は従来の視線検出装置の要部概略図、
（Ｂ）は図１０（Ａ）の一部分の説明図

【図１１】（Ａ），（Ｂ）は図１０のイメージセンサ面
上の眼球からの反射像の説明図

【符号の説明】

１接眼レンズ４受光レンズ５ａ，５ｂ，５ｃ照明手段６光電素子列１０９演算手段１０１撮影レンズ１０２跳ね上げミラー１０３表示素子１０４ピント板１０５コンデンサーレンズ１０６ペンタダハプリズム２１角膜２３虹彩２４瞳孔７イメージセンサ８Ｍ．Ｐ．Ｕ１０Ａ／Ｄ変換器

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平２−32312（ＪＰ，Ａ) 特開平２−292956（ＪＰ，Ａ) 特開昭60−179881（ＪＰ，Ａ) 特開平３−103029（ＪＰ，Ａ) 特開平３−39603（ＪＰ，Ａ) 特開平２−213322（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) A61B 3/00 - 3/16 A61B 19/00 G03B 13/02

Claims

(57)【特許請求の範囲】

【請求項１】複数の光電素子を有し眼球像を受光する
受光手段と、前記受光手段にて受光した眼球像から検出
した虹彩と瞳孔の境界を用いて前記眼球の視線を算出す
る演算手段とを有し、前記演算手段は前記近接する複数の光電素子から出力さ
れる信号の差分が所定値以上であって、且つ前記光電素
子の中から最小の出力信号を出力する光電素子の位置に
最も近い点を虹彩と瞳孔の境界として検出することを特
徴とする視線検出装置。
【請求項２】前記演算手段は、前記最小の出力信号を
出力する光電素子の位置を基準として虹彩と瞳孔の境界
を検出する範囲を設定し、その範囲内で虹彩と瞳孔の境
界を検出することを特徴とする請求項１に記載の視線検
出装置。
【請求項３】前記演算手段は、前記最小の出力信号を
出力する光電素子の位置および予め記憶している眼球の
最大瞳孔径の情報を用いて虹彩と瞳孔の境界を検出する
範囲を設定し、その範囲内で虹彩と瞳孔の境界を検出す
ることを特徴とする請求項２に記載の視線検出装置。
【請求項４】前記眼球を照明する照明手段を有し、前
記照明手段は複数の照明光源により前記眼球を照明する
ことを特徴とする請求項１乃至３のいずれか１項に記載
の視線検出装置。