JP3192503B2 - 視線検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】 本発明は、眼球の瞳孔および眼
球に生じる角膜反射像の位置を求めて、視線を検出する
視線検出装置の改良に関するものである。

【０００２】

【従来の技術】従来より、光学装置の観察者が観察面上
のどの位置を観察しているかを検出するいわゆる視線検
出装置は、特開昭６１−１７２５５２号公報、特開平１
−２４１５１１号公報、特開平２−５号公報等に開示さ
れている。

【０００３】例えば、特開昭６１−１７２５５２号公報
においては、光源からの平行光束を観察者の眼球の前眼
部へ投射し、角膜からの反射光による角膜反射像と瞳孔
の結像位置を利用して視軸を求めている。

【０００４】図１６（Ａ），（Ｂ）は視線検出方法の原
理説明図で、図１６（Ａ）は視線検出光学系の概略図、
図１６（Ｂ）は光電変換素子列からの出力信号の強度図
である。

【０００５】図１６において、５は観察者に対して不感
の赤外光を放射する発光ダイオード等の光源であり、投
光レンズ３の焦点面に配置されている。

【０００６】上記光源５より発光せられた赤外光は、投
光レンズ３により平行光となり、ハーフミラー２で反射
し、眼球２０１の角膜２１を照明する。このとき角膜２
１の表面で反射した赤外光の一部による角膜反射像はハ
ーフミラー２を透過し、受光レンズ４により集光された
光電変換素子列６上の位置Ｘｄ´に再結像する。

【０００７】また、虹彩２３の端部（瞳孔２４のふち）
ａ，ｂからの光束はハーフミラー２，受光レンズ４を介
して光電変換素子列６上の位置Ｘａ´，Ｘｂ´に該端部
ａ，ｂの像として結像する。受光レンズ４の光軸（光軸
ア）に対する眼球の光軸イの回転角θが小さい場合、虹
彩２３の端部ａ，ｂのＸ座標をＸａ，Ｘｂとすると、虹
彩２３の中心位置ｃの座標Ｘｃは Ｘｃ≒（Ｘａ＋Ｘｂ）／２ と表される。

【０００８】また、角膜反射像の発生位置ｄのＸ座標を
Ｘｄ、角膜２１の曲率中心Ｏと瞳孔２４の中心位置ｃま
での距離をＬ_OCとすると、眼球光軸イの回転角θは、 Ｌ_OC＊ｓｉｎθ≒Ｘｃ−Ｘｄ ……………（１） の関係式を略満足する。

【０００９】ここで、角膜反射像の発生位置ｄのＸ座標
Ｘｄと角膜２１の曲率中心ＯのＸ座標Ｘ０とは一致して
いる。このため、演算手段９において、図１６（Ｂ）の
ごとく光電変換素子列６面上に投影された各特異点（角
膜反射像の発生位置ｄ及び虹彩２３の端部ａ，ｂの位
置）を検出することにより、眼球光軸イの回転角θを求
めることができる。

【００１０】 この時、上記（１）式は、 β＊Ｌ_OC＊ｓｉｎθ≒（Ｘａ´＋Ｘｂ´）／２−Ｘｄ´ …………（２） と書き換えられる。但し、βは角膜反射像の発生位置ｄ
と受光レンズ４との距離Ｌ１と受光レンズ４と光電変換
素子列６との距離Ｌ０で決る倍率で、通常ほぼ一定の値
となっている。

【００１１】これは例えばカメラの自動焦点検出装置に
おいて、測距点を画面中心のみならず画面内の複数箇所
に設けた場合、観察者がそのうち１つの測距点を選択し
て自動焦点検出を行おうとする場合、その１つを選択入
力する手間を省き、観察者が観察している点を測距点と
みなし、該測距点を自動的に選択して自動焦点検出を行
うのに有効である。

【００１２】 また、特願平３−１２１０９２号公報に
おける視線検出装置では、像情報を全て同時にメモリに
格納せず、センサから時系列に出力される光電変換信号
を読み込みながら、逐次的にメモリに格納していき、処
理するに足る情報が獲得できた時点で一旦読み込みを中
断して処理を行う。そして、処理の終了した像情報はそ
のままメモリに保持することなく、また新たな光電変換
信号を格納していく。このようにして、少ないメモリ容
量しか有しない場合でも全情報を余すことなく処理する
ことを可能としている。

【００１３】

【発明が解決しようとする課題】ところで、複数の光電
変換素子列より成るエリアセンサからの像信号を処理し
て視線方向を検出する場合に、眼球の特徴点（最低輝
度，瞳孔エッジ，プルキンエ像）をエリアセンサ全体に
渡って検出していたのでは、一般に該エリアセンサの光
電変換素子（画素）の数は数十万単位であり、膨大な時
間がかかってしまうといった問題点があった。

【００１４】（発明の目的）本発明の目的は、視線検出
に必要となる眼球の特徴点の位置情報に要する検出時間
を大幅に短縮することのできる視線検出装置を提供する
ことである。

【００１５】

【課題を解決するための手段】 上記目的を達成するた
めに、本発明は、眼球を照明する照明手段と、前記照明
手段により照明された前記眼球を撮像する撮像センサ
と、前記撮像センサの全領域より狭い第１の領域の出力
より複数の瞳孔の境界部を抽出し、前記撮像センサの第
１の領域より狭い第２の領域の出力より角膜反射像を抽
出する抽出手段と、前記抽出された複数の瞳孔の境界部
及び角膜反射像に基づいて視線を検出する視線検出手段
とを有することを特徴としている。

【００１６】

【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。

【００１７】図１は本発明の一実施例の視線検出装置を
一眼レフカメラに適用した時の光学系の要部概略図、図
２は図１の焦点検出系の斜視図、図３は図１の視線検出
系の要部斜視図である。

【００１８】これらの図において、１は接眼レンズで、
その内部には可視光透過・赤外光反射のダイクロイック
ミラー１ａが斜設されており、光路分割器を兼ねてい
る。

【００１９】４は受光レンズ、５（５ａ，５ｂ，５ｃ，
５ｄ）は照明手段であるところの例えば発光ダイオード
であり、このうち５ａ，５ｂは接眼レンズ１の下部に配
置され、角膜反射像を発生させる為の赤外発光ダイオー
ドであり、角膜反射像をできるだけ分解能よく検知でき
るよう見かけのチップサイズの小さなスポット性のある
発光ダイオードを用いている。また、５ｃ，５ｄは接眼
レンズ１の両側面上部に設けられた赤外発光ダイオード
で、眼球全体を照明するように拡散性を持たせたもの、
又は面発光的な特徴を持ったもので、眼球が光軸中心よ
りはずれた場合でも十分カバーする照明範囲を持ってお
り、かつ受光レンズ４によって複数の光電変換素子列６
により成る虹彩情報検出用のエリアセンサ７には角膜反
射像が結像されないように配置されている。

【００２０】受光レンズ４とエリアセンサ７（光電変換
素子列６）は受光手段の一要素を構成している。

【００２１】各要素１，４，５，６，７より眼球の視線
検出系を構成している。

【００２２】１０１は撮影レンズ、１０２はクイックリ
ターン（ＱＲ）ミラー、１０３は表示素子、１０４はピ
ント板、１０５はコンデンサレンズ、１０６はペンタダ
ハプリズム、１０７はサブミラー、１０８は多点焦点検
出装置であり、撮影画面内の複数の領域を選択して焦点
検出を行っている。

【００２３】上記多点焦点検出装置１０８については本
発明とは直接関係がないので、ここではその概略構成の
み説明する。

【００２４】即ち本実施例では、図２に描く様に、撮影
レンズ１０１の予定結像面近傍に配され、夫々測距域を
決める複数のスリットを有する視野マスク１１０と、各
スリット内の像に対してフィールドレンズの作用を果た
すレンズ部材１１１を近接配置し、更にスリット数に応
じた再結像レンズの組１１２と光電変換素子列の組１１
３を順置する。そして、視野マスク１１０，レンズ部材
１１１、再結像レンズの組１１２、光電変換素子列の組
１１３により、それぞれ周知の多点焦点検出系を構成し
ている。

【００２５】本実施例では、撮影レンズ１０１を透過し
た被写体光の一部は、ＱＲミラー１０２によって反射さ
れてピント板１０４近傍に被写体像として結像される。
ピント板１０４の拡散面で拡散した被写体光は、コンデ
ンサレンズ１０５，ペンタダハプリズム１０６，接眼レ
ンズ１を介してアイポイントＥに導かれる。

【００２６】ここで表示素子１０３は、例えば偏光板を
用いない２層タイプのゲスト・ホスト型液晶素子で、フ
ァインダ視野内の測距域（焦点検出位置）を表示するも
のである。

【００２７】又、撮影レンズ１０１を透過した被写体光
の一部は、ＱＲミラー１０２を透過し、サブミラー１０
７で反射されてカメラ本体底部に配置された前述の多点
焦点検出装置１０８に導かれる。そして、該多点焦点検
出装置１０８の選択した被写体面上の位置の焦点検出情
報に基づいて、不図示の撮影レンズ駆動装置により撮影
レンズ１０１の繰出しあるいは繰り込みが行われ、焦点
調節が行われる。

【００２８】視線検出用の信号処理回路１０９は、いわ
ゆるワンチップマイクロコンピュータ（以下、ＭＣＵと
記す）であり、内部にＲＯＭ，ＲＡＭ，Ａ／Ｄ変換器等
を内蔵しているものである。ＭＣＵ１０９は内蔵のＲＯ
Ｍに格納されているプログラムにしたがって一連の視線
検出動作を実行する。

【００２９】ここで、視線検出の概略の手順について説
明する。

【００３０】 先ず、赤外発光ダイオード５を点灯す
る。これによりここで投射された赤外光は接眼レンズ１
に入射し、ダイクロイックミラー１ａにより反射され、
アイポイントＥ近傍に位置する観察者の眼球２０１を照
明する。また、眼球２０１で反射した赤外光はダイクロ
イックミラー１ａで再び反射され、受光レンズ４によっ
て光電変換素子列６上に像を形成する。ＭＣＵ１０９は
光電変換素子列６によって光電変換された眼球像を信号
処理し、注視点情報（視線）を検知する。

【００３１】検知された注視点情報は、多点焦点検出動
作と表示動作に利用される。即ち、注視点に最も近い測
距点の焦点検出結果に基づいて焦点調節を行い、同時に
表示素子１０３によって観察者の注視した場所をカメラ
のファインダ内に表示し、注視点の確認を行わせること
が出来る。

【００３２】図４（Ａ），（Ｂ）は視線を検出するため
の原理を示す図である。

【００３３】図４（Ａ）において、光電変換素子列６の
横方向（Ｘ軸方向）に分離して配置された赤外発光ダイ
オード５ａ，５ｂからの光束は、Ｘ軸方向に分離した位
置に角膜反射像ｅ，ｄを夫々形成する。この時、角膜反
射像ｅ及びｄの中点のＸ座標は角膜２１の曲率中心Ｏの
Ｘ座標と一致している。また、角膜反射像ｅ及びｄの間
隔は赤外発光ダイオード５と観察者の眼球２０１との距
離に対応して変化するため、光電変換素子列６上に再結
像した角膜反射像ｄ，ｅの位置ｅ´，ｄ´を検出するこ
とにより、眼球２０１からの反射像の結像倍率βを求め
ることが可能となる。

【００３４】虹彩情報検出用の赤外発光ダイオード５
ｃ，５ｄは、ファインダの側面方向から眼球を照明する
が、角膜反射像が受光レンズ４によって光電変換素子列
６上に再結像しないように配置されている。これによっ
て光電変換素子列６上における虹彩２３と瞳孔２４の境
界位置ａ，ｂに不用光によるフレア反射像が入射しない
ようにし、境界位置ａ，ｂの検出精度の低下を防止して
いる。

【００３５】図５（Ａ）は本実施例において複数の光電
変換素子列６から成るエリアセンサ７上に投影された眼
球２０１からの反射像を示す説明図である。

【００３６】同図において、角膜反射像ｅ´，ｄ´は光
電変換素子列Ｙｐ´上に再結像している。一例として、
この時光電変換素子列Ｙｐ´より得られる光強度分布の
出力信号を図５（Ｂ）に示す。

【００３７】先にも説明したように、ＭＣＵ１０９は、
図５（Ａ），（Ｂ）に示したセンサ信号から、瞳孔２４
の中心位置と角膜反射像ｅ´，ｄ´の位置を検出し、そ
れらの位置関係に基づいて注視点（視線）を検知する。

【００３８】次に、図６乃至図１３のフローチャートに
より、上記ＭＣＵ１０９が実行する視線検出動作につい
て説明する。

【００３９】図６は視線検出のメイン動作を示すフロー
チャートである。

【００４０】ＭＣＵ１０９が視線検出動作を開始する
と、ステップ（０００）を経て、ステップ（００１）へ
進み、ここで各種のデータ（変数）の初期化を実行す
る。

【００４１】ここで、変数ＥＹＥＭＩＮは眼球反射像の
光電変換信号中の最低の輝度値を記録する変数であり、
ＭＣＵ１０９に内蔵されているＡ／Ｄ変換器の分解能を
８ｂｉｔと想定し、像信号の読み込みに伴って、逐次的
に最低値を比較・更新してゆく。初期値は８ｂｉｔでの
最大の値を表す「２５５」を格納しておく。

【００４２】変数ＥＤＧＣＮＴは、虹彩２３と瞳孔２４
の境界をエッジとして抽出した個数をカウントする変数
である。

【００４３】変数ＩＰ１，ＩＰ２，ＪＰ１，ＪＰ２は発
光ダイオード５ａ，５ｂの角膜反射像（以下「プルキン
エ像；Ｐ像」と称する）の位置を表す変数であり、横方
向（Ｘ軸）の範囲ＩＰ１〜ＩＰ２，縦方向（Ｙ軸）の範
囲ＪＰ１〜ＪＰ２で囲まれる眼球反射像の領域内に、２
個のＰ像が存在する。

【００４４】今、エリアセンサ７の画素数は横方向に１
５０画素、縦方向に１００画素のサイズを想定してお
り、ＩＰ１，ＩＰ２，ＪＰ１，ＪＰ２は全体のちょうど
真中の位置「７５，５０」を初期値として格納してお
く。

【００４５】データの初期化の後はステップ（００２）
へ移行する。

【００４６】ステップ（００２）では、Ｐ像用の発光ダ
イオード（ＬＥＤ）５ａ，５ｂと、眼球照明用の発光ダ
イオード５ｃ，５ｄを点灯する。そして、次のステップ
（００３）にて、エリアセンサ７の蓄積動作を開始させ
る。この蓄積制御は本発明と直接の関りはないので詳細
な説明は省略するが、本実施例では不図示のセンサ・イ
ンタフェース回路によって駆動制御されるものとする。

【００４７】ステップ（００４）において、エリアセン
サ７の蓄積終了を待つ。そして、所定の電荷蓄積が終了
すると、次のステップ（００５）で発光ダイオード５ａ
〜５ｄを消灯する。

【００４８】次に、ステップ（００６）以降から、エリ
アセンサ７の光電変換信号の読み込みを開始する。

【００４９】ステップ（００６）は、ループ変数Ｊを０
から９９までカウントアップしながら、枠内の処理を実
行する、いわゆる「ループ処理」を表している。

【００５０】ステップ（００６）内のループ処理では、
まず、ステップ（００７）にてエリアセンサ７の横方向
（Ｘ軸）の１ラインの光電変換信号の読み込みを行う。
１ラインの読み込みはサブルーチン形式となっており、
図７にサブルーチン「１ライン読み込み」のフローチャ
ートを示す。

【００５１】サブルーチン「１ライン読み込み」がコー
ルされると、図７のステップ（１００）を経て、次のス
テップ（１０１）を実行する。ステップ（１０１）と、
その枠内のステップ（１０２）は、前述したステップ
（００６）と同様のループ処理を表しており、ステップ
（１０１）では変数Ｋを０から３へカウントアップさせ
ながら、そしてステップ（１０２）では変数Ｉを０から
１４９までカウントアップさせながら、夫々の枠内の処
理を実行していく。従って、ステップ（１０１）とステ
ップ（１０２）は変数Ｋと変数Ｉの、いわゆる「入れ
子」となったループ処理を表している。

【００５２】ステップ（１０２）のループ処理内のステ
ップ（１０３）では、配列変数ＩＭ（Ｉ，Ｋ）の再格納
作業を行っている。

【００５３】本実施例では、マイクロコンピュータであ
るところのＭＣＵ１０９が信号処理を行っているわけで
あるが、一般にマイクロコンピュータの内蔵ＲＡＭ（ラ
ンダム・アクセス・メモリ）の記憶容量は、エリアセン
サ７の全画素情報を一度に記憶できるほど大きくはな
い。そこで、本実施例では、エリアセンサ７から出力さ
れる像信号を逐時読出しながら、横方向（Ｘ軸）５ライ
ン分に相当する最新の像信号のみをＭＣＵ１０９の内蔵
ＲＡＭに記憶させ、１ラインの読み込み毎に視線検出の
ための処理を実行するようにしている。

【００５４】ステップ（１０１）からステップ（１０
３）の２重ループ処理で実行している内容は、新たな１
ライン分の像信号を読み込むために、記憶している過去
５ライン分の像信号データを更新する作業である。即
ち、配列変数ＩＭ（Ｉ，Ｋ）の内、ＩＭ（Ｉ，０）［Ｉ
＝０〜１４９］が最も過去の、又ＩＭ（Ｉ，４）［Ｉ＝
０〜１４９］が最も最近の１ライン像データを表してお
り、次のようにデータを更新して新たな１ライン分の像
信号をＩＭ（Ｉ，４）［Ｉ＝０〜１４９］に格納できる
ように準備する。

【００５５】 ＩＭ（Ｉ，０）←ＩＭ（Ｉ，１） ＩＭ（Ｉ，１）←ＩＭ（Ｉ，２） ＩＭ（Ｉ，２）←ＩＭ（Ｉ，３） ＩＭ（Ｉ，３）←ＩＭ（Ｉ，４）［Ｉ＝０〜１４９］ さて、ステップ（１０１）〜ステップ（１０３）のデー
タ更新のためのループ処理が終了すると、次のステップ
（１０４）のループ処理を実行する。

【００５６】ステップ（１０４）のループ処理では、エ
リアセンサ７の横方向（Ｘ軸）の１ライン分（１５０画
素）の像信号を逐次的にＡ／Ｄ変換しながら、ＲＡＭに
格納し、また像信号の最小値を検出している。

【００５７】ステップ（１０４）のループ内の最初のス
テップ（１０５）では、ＭＣＵ１０９の内蔵のＡ／Ｄ変
換器から像信号をＡ／Ｄ変換したディジタル値ＡＤＣを
取り出し、その値を一時的に変換ＥＹＥＤＴに格納す
る。そして、次のステップ（１０６）にて、ＥＹＥＤＴ
の値を配列変数ＩＭ（Ｉ，４）に格納する。変数Ｉは外
側のループ処理ステップ（１０４）にて１４から１４４
までカウントアップされる。

【００５８】これは、図５，１４に示すように、最低輝
度は瞳孔エッジ、Ｐ像の間に位置するためにその間のみ
を検出範囲とする。

【００５９】ステップ（１０７）と（１０８）は像信号
の最小値を検出処理である。

【００６０】変数ＥＹＥＭＩＮは像信号の最小値を保持
する変数であり、ステップ（１０７）において、ＥＹＥ
ＭＩＮよりＥＹＥＤＴの方が小さければステップ（１０
８）へ分岐し、ＥＹＥＭＩＮをこの小さなＥＹＥＤＴの
値で更新する。

【００６１】ステップ（１０４）〜（１０８）のループ
処理が終了し、新たな１ライン分の像信号の格納と最小
値の検出が終ると、次のステップ（１０９）でサブルー
チン「１ラインの読み込み」をリターンする。

【００６２】図６のフローチャートに戻って、ステップ
（００７）のサブルーチン「１ラインの読み込み」が完
了すると、次のステップ（００８）へ移行し、外側のル
ープ処理ステップ（００６）のループ変数Ｊが５以上か
否か調べる。

【００６３】ループ変数Ｊはエリアセンサ７の縦方向
（Ｙ軸）の画素ラインを表しており、本実施例では、エ
リアセンサ７の画素数を（１５０×１００）としている
ので、Ｊは０から９９までカウントアップされる。

【００６４】ステップ（００８）にてループ変数Ｊが５
以上の場合にはステップ（００９）へ分岐する。これ
は、読み込んだ像信号のライン数が５以上になると、エ
リアセンサ７の縦方向（Ｙ軸）の処理が出来るようにな
るからである。

【００６５】分岐した先のステップ（００９）では、サ
ブルーチン「Ｐ像の検出」を実行する。

【００６６】サブルーチン「Ｐ像の検出」は、前述した
角膜反射像（Ｐ像）の位置を検出するための処理であ
り、エリアセンサ７の横方向（Ｘ軸）の１ラインの読み
込み毎に実行する。そのフローチャートを図８に示す。

【００６７】サブルーチン「Ｐ像の検出」がコールされ
ると、ステップ（２００）を経てステップ（２０１）の
ループ処理を実行する。ループ処理内では、像データ
（配列変数ＩＭ（Ｉ，Ｋ）に記憶）中のＰ像の位置を検
索し、もし見つかれば、エリアセンサ７上でのその位置
を記憶する。本実施例ではＰ像は２個発生するので、記
憶する位置情報も２個となる。

【００６８】ループ内の最初のステップ（２０２）で
は、所定位置の像データがＰ像としての条件を満足する
か否かを判定する。条件としては、次のようなものであ
る。

【００６９】ステップ（２０２）の「Ｐ像条件」 ＩＭ（Ｉ，２）＞Ｃ１ かつ ＩＭ（Ｉ，１）＞Ｃ２ かつ ＩＭ（Ｉ，３）＞Ｃ２ かつ ＩＭ（Ｉ−１，２）＞Ｃ２ かつ ＩＭ（Ｉ＋１，２）＞Ｃ２ 但し、Ｃ₁ ，Ｃ₂ はしきい値定数で、Ｃ₁ ≧Ｃ₂ なる関
係があり、例えば、Ｃ₁ ＝２３０，Ｃ₂ ＝２００であ
る。また、変数Ｉはループ処理のループ変数であり、エ
リアセンサ７の横方向（Ｘ軸）の位置を表している。

【００７０】上記条件は、Ｐ像が図５で説明したよう
に、スポット像のようなものであることに注目し、横／
縦方向（Ｘ／Ｙ軸）の両方向に定義したものとなる。こ
の条件が満足されたとき、位置（Ｉ，２）にＰ像が存在
するものと見なす。

【００７１】前述したように配列変数ＩＭ（Ｉ，Ｋ）は
エリアセンサの横方向（Ｘ軸）の１ライン読み込み毎に
更新しており、縦方向（Ｙ軸）位置ＪラインはＩＭ
（Ｉ，４）「Ｉ＝０〜１４９」に格納されている。従っ
て、変数ＩＭに対するアドレス（Ｉ，２）は、エリアセ
ンサ７上では、位置（Ｉ，Ｊ−２）となる。

【００７２】ステップ（２０２）にて、Ｐ像の条件を満
足する像データがあった場合、ステップ（２０３）以降
へ分岐し、ない場合には外側のループ変数Ｉがカウント
アップされる。

【００７３】ステップ（２０３）以降は、２個のＰ像の
存在範囲（Ｘ軸方向の範囲［ＩＰ₁〜ＩＰ₂ ］，Ｙ軸方
向の範囲［ＪＰ₁ 〜ＪＰ₂ ］）を決定する処理である。

【００７４】先ず、ステップ（２０３）では、エリアセ
ンサ７の横方向（Ｘ軸）の位置を表す変数Ｉと変数ＩＰ
₁ を比較し、「Ｉ＜ＩＰ₁ 」ならばステップ（２０４）
へ分岐する。即ち、Ｐ像の存在範囲のうち、横方向の左
方にあるＰ像位置ＩＰ₁ の位置よりも変数Ｉの位置の方
が左にあれば、ＩＰ₁ を書き換えようとするものであ
る。

【００７５】ステップ（２０４）では、変数ＩＰ₁ に変
数Ｉの値を格納し、そのときの縦方向の位置（Ｊ−２）
を変数ＪＰ₁ に格納する。

【００７６】ステップ（２０５），（２０６）では、Ｐ
像存在範囲のうち、横方向の右方にあるＰ像位置ＩＰ₂
と、その縦方向位置を表すＪＰ₂ の更新の判定を行う。

【００７７】 以上のようにして、ステップ（２０１）
のループ処理で、横方向（Ｘ軸）の位置Ｉが１９から１
３９までの１ラインの処理が終了すると、次のステップ
（２０７）へ移行する。

【００７８】 ここで、図５，図１４で示すように、Ｐ
像は他の特徴点に対して最も内側に位置するため最も検
出範囲は狭い。

【００７９】ステップ（２０７）では、後の処理で参照
する変数ＸＰ₁ ，ＸＰ₂ ，ＹＰ₁ ，ＹＰ₂ を図中の式の
如く計算する。

【００８０】これらの変数の意味については、図１２の
説明のところで詳述するが、簡単に述べるならば、瞳孔
中心を検出する際に、Ｐ像位置周辺に発生する偽の瞳孔
エッジ情報を排除するために使用するものである。

【００８１】ステップ（２０７）の処理が終了すると、
次のステップ（２０８）でサブルーチン「Ｐ像の検出」
をリターンする。

【００８２】再び図６のフローチャートに戻る。

【００８３】ステップ（００９）のサブルーチン「Ｐ像
の検出」が完了すると、次のステップ（０１０）でサブ
ルーチン「瞳孔エッジの検出」を実行する。

【００８４】「瞳孔エッジの検出」は眼球反射像中の瞳
孔エッジ（虹彩２３と瞳孔２４の境界）の位置の検出を
行うためのサブルーチンであり、図９にそのフローチャ
ートを示している。

【００８５】サブルーチン「瞳孔エッジの検出」がコー
ルされると、ステップ（３００）を経て、次のステップ
（３０１）のループ処理が実行される。ステップ（３０
１）は図８のステップ（２０１）と同様に、エリアセン
サの横方向（Ｘ軸）の位置を表す変数Ｉをループ変数と
するループ処理である。

【００８６】ステップ（３０１）のループ処理内では、
像データ中に瞳孔２４のエッジを表す特徴があるかどう
かを検索し、もしあれば、その位置情報を記憶する。瞳
孔エッジ位置情報は、配列変数ＥＤＧＤＴ（ｍ，ｎ）に
格納される。

【００８７】配列変数ＥＤＧＤＴ（ｍ，ｎ）のデータ形
式は以下のように設定している。

【００８８】 ＥＤＧＤＴ（ｍ，１） ……… ｍ番目のエッジ点の輝度 ＥＤＧＤＴ（ｍ，２） ……… ｍ番目のエッジ点のＸ軸座標 ＥＤＧＤＴ（ｍ，３） ……… ｍ番目のエッジ点のＹ軸座標 ｍは瞳孔エッジ検出の逐次処理の過程で見つかったエッ
ジ点の順番である。従って、エッジがＭ個検出されれ
ば、配列変数ＥＤＧＤＴの容量は［Ｍ×３］倍程が必要
となる。フローチャートでは、エッジの検出個数は変数
ＥＤＧＣＮＴでカウントしている。

【００８９】さて、ループ内の最初のステップ（３０
２）では、像データＩＭ（Ｉ，２）の近傍に、過去に検
出されたエッジ点があるか否かを判定している。もう少
し詳しく説明すると次のようになる。

【００９０】外側のループ処理のループ変数Ｉは、エリ
アセンサの横方向（Ｘ軸）の位置を表し、像データを格
納している配列変数ＩＭ（Ｉ，Ｋ）に対するアドレス
（Ｉ，２）は、いま正に瞳孔エッジであるか否かを検定
しようとしている点（画素の座標）である。この（Ｉ，
２）の点に隣接する各点が、過去の逐次処理の過程で瞳
孔エッジと判定されたかどうかを、エッジ位置情報を格
納している配列変数ＥＤＧＤＴ（ｍ，ｎ）から調べよう
とするものである。

【００９１】ステップ（３０２）の判定条件を具体的に
記述すると、次のような条件となる。

【００９２】ステップ（３０２）の「判定条件」 ｛ＥＤＧＤＴ（ｍ，２），ＥＤＧＤＴ（ｍ，３）｝ ＝｛（Ｉ−１），（Ｊ−２）｝ あるいは ＝｛（Ｉ−１），（Ｊ−３）｝ あるいは ＝｛（Ｉ），（Ｊ−３）｝ あるいは ＝｛（Ｉ＋１），（Ｊ−３）｝ なる｛ＥＤＧＤＴ（ｍ，２），ＥＤＧＤＴ（ｍ，３）｝
が存在する。

【００９３】但し、ｍ＝０〜（ＥＤＧＣＮＴ−１） 現在検定しようとしている座標は｛（Ｉ），（Ｊ−
２）｝であるから、上記座標は現在座標に対して順に左
隣，左上隣，上隣，右上隣の位置を表している。

【００９４】また、ＥＤＧＤＴ（ｍ，２），ＥＤＧＤＴ
（ｍ，３）はそれぞれｍ番目のエッジ点のＸ軸座標，Ｙ
軸座標を表しているから、結局、上記条件は、現在座標
の左隣，左上隣，上隣，右上隣の位置にエッジ点があっ
たかどうかを判定していることになる。

【００９５】ステップ（３０２）において、座標（Ｉ，
Ｊ−２）の近傍にエッジ点があると判定された場合には
ステップ（３０４）へ、そうでない場合には、ステップ
（３０３）へ分岐し、それぞれ別の条件を用いて瞳孔エ
ッジの判定を行う。

【００９６】近傍にエッジ点のない場合について先に説
明する。

【００９７】ステップ（３０３）では、現在検定しよう
としている座標（Ｉ，Ｊ−２）の像データが瞳孔エッジ
の条件（ステップ（３０３）での判定条件「エッジ条件
１」と称する）を満たすか否かを判定している。座標
（Ｉ，Ｊ−２）の像データは配列変数ＩＭ（Ｉ，２）に
格納されていることに留意されたい。

【００９８】判定条件は以下のようになる。

【００９９】ステップ（３０３）の「エッジ条件１」 １）｛ＩＭ（Ｉ−１，２）−ＩＭ（Ｉ，２）｝＞Ｃ₃ かつ ｛ＩＭ（Ｉ−２，２）−ＩＭ（Ｉ−１，２）｝＜
Ｃ₃ かつ ＩＭ（Ｉ，２）＜ａ ２）｛ＩＭ（Ｉ＋１，２）−ＩＭ（Ｉ，２）＞Ｃ₃ かつ ｛ＩＭ（Ｉ＋２，２）−ＩＭ（Ｉ＋１，２）｝＞
Ｃ₃ かつ ＩＭ（Ｉ，２）＜ａ ３）｛ＩＭ（Ｉ，１）−ＩＭ（Ｉ，２）｝＞Ｃ₃ かつ ｛ＩＭ（Ｉ，０）−ＩＭ（Ｉ，１）｝＞Ｃ₃ かつ ＩＭ（Ｉ，２）＜ａ ４）｛ＩＭ（Ｉ，３）−ＩＭ（Ｉ，２）｝＞Ｃ₃ かつ ｛ＩＭ（Ｉ，４）−ＩＭ（Ｉ，３）｝＞Ｃ₃ かつ ＩＭ（Ｉ，２）＜ａ 上記１）〜４）を満足すれば、座標（Ｉ，Ｊ−２）をエ
ッジ点と見なす、但し、ａ＝ＥＹＥＭＩＮ＋Ｃ₄ で、Ｅ
ＹＥＭＩＮは現在の逐次処理までの像データ中の最低輝
度値である。

【０１００】しきい値Ｃ₃ ，Ｃ₄ は、例えばＣ₃ ＝３，
Ｃ₄ ＝２０である。

【０１０１】上記条件は、瞳孔エッジ（虹彩２３と瞳孔
２４の境界）においては連続して所定の輝度差があり、
同時に瞳孔部は眼球反射像の中で最も低い輝度となるこ
とを特徴としてとらえている。

【０１０２】上記１）と２）の条件はエリアセンサの横
方向（Ｘ軸）のエッジを抽出し、上記３）と４）の条件
は縦方向（Ｙ軸）のエッジを抽出する。

【０１０３】座標（Ｉ，Ｊ−２）が瞳孔エッジ点として
抽出された場合は、ステップ（３０３）からステップ
（３０５）へ分岐し、エッジ点の輝度値と座標を記憶す
る。

【０１０４】ステップ（３０５）では、エッジ位置情報
格納用の配列変数ＥＤＧＤＴ（ｍ，Ｋ）に次のように情
報を格納する。

【０１０５】 ＥＤＧＤＴ（ＥＤＧＣＮＴ，１）←ＩＭ（Ｉ，２） ＥＤＧＤＴ（ＥＤＧＣＮＴ，２）←Ｉ ＥＤＧＤＴ（ＥＤＧＣＮＴ，３）←Ｊ−２ ＩＭ（Ｉ，２）はＥＤＧＣＮＴ番目に検出されたエッジ
点の輝度、Ｉは同Ｘ座標，（Ｊ−２）は同Ｙ座標であ
る。

【０１０６】そして、検出されたエッジ点の個数をカウ
ントする変数ＥＤＧＣＮＴを１つカウントアップする。

【０１０７】ステップ（３０５）の処理が終了すると、
外側のループ処理のループ変数Ｉ（横方向，Ｘ軸の座標
を表す）をカウントアップし、再びステップ（３０２）
以降のフローチャートを実行する。

【０１０８】さて、ステップ（３０２）において、現在
座標（Ｉ，Ｊ−２）の近傍にエッジ点があると判定され
た場合について説明する。

【０１０９】 その場合、ステップ（３０４）へ分岐
し、ステップ（３０３）と同じように、現在検定しよう
としている座標（Ｉ，Ｊ−２）の像データが瞳孔エッジ
の条件（ステップ（３０４）での判定条件を「エッジ条
件２」と称する）を満たすか否かを判定する。

【０１１０】ここで、「エッジ条件２」は「エッジ条件
１」よりも、いわゆる緩い条件を設定してある。本実施
例では、条件式に同じで、しきい値Ｃ₃ ，Ｃ₄ をそれぞ
れＣ₃ ´，Ｃ₄ ´とし、次のように変えている。

【０１１１】Ｃ₃ ´＝２，Ｃ₄ ´＝３０ 上のように設定することで、「エッジ条件１」よりもエ
ッジと判定される率が上昇する。

【０１１２】エッジ条件をこのように２種類用意する理
由は、そもそもエッジ点は孤立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じくエッジ点である可能性が高い
であろう、という観点に基づいている。

【０１１３】ステップ（３０４）の「エッジ条件２」で
エッジ点と判定された場合には、ステップ（３０５）へ
分岐して、その座標の情報を記憶する。

【０１１４】 以上のようにして、ループ変数Ｉが９〜
１４９の間でステップ（３０１）のループ処理が実行さ
れ、エリアセンサ７の横方向（Ｘ軸）の１ライン分のエ
ッジ検出の処理が終了すると、ステップ（３０６）へ移
行し、サブルーチン「瞳孔エッジの検出」をリターンす
る。

【０１１５】ここで、瞳孔エッジの検出範囲は、図５，
１４に示すように、他の特徴点に対してもっとも広い。

【０１１６】再び図６の説明に戻る。

【０１１７】ステップ（０１０）のサブルーチン「瞳孔
エッジの検出」が完了すると、外側のループ処理ステッ
プ（００６）のループ変数Ｊ（エリアセンサ７の縦方
向，Ｙ軸の座標を表す）がカウントアップされ、Ｊが９
９となるまで、再びステップ（００７）以降の処理が実
行される。

【０１１８】ループ変数Ｊが９９となり、エリアセンサ
７の全画素の読み込みと処理が終了すると、ステップ
（００６）からステップ（０１１）へ移行する。

【０１１９】ステップ（０１１）〜（０１３）では、ス
テップ（００６）のループ処理内で検出されたＰ像位置
及び瞳孔エッジ情報から、瞳孔２４の中心座標の検出と
視線の検出を行う。

【０１２０】先ず、ステップ（０１１）でサブルーチン
「瞳孔推定範囲の設定」をコールする。

【０１２１】ステップ（０１０）のサブルーチン「瞳孔
エッジの検出」で検出された複数の瞳孔エッジ点には、
実際に瞳孔円（虹彩２３と瞳孔２４の境界が形成する
円）を表しているエッジ点以外にも、種々のノイズによ
って発生した偽のエッジ点も含まれている。

【０１２２】「瞳孔推定範囲の設定」は、上記偽のエッ
ジ点を排除するために、Ｐ像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図１０に示している。

【０１２３】サブルーチン「瞳孔推定範囲の設定」がコ
ールされると、ステップ（４００）を経て、ステップ
（４０１）を実行する。

【０１２４】ステップ（４０１）では、先に「Ｐ像の検
出」サブルーチンで説明したＰ像位置範囲、即ち、横方
向（Ｘ軸）にＩＰ₁ 〜ＩＰ₂ 、縦方向（Ｙ軸）にＪＰ₁
〜ＪＰ₂ の情報を用いて、瞳孔円の座標範囲ＩＳ₁ ，Ｉ
Ｓ₂ ，ＪＳ₁ ，ＪＳ₂ を次の式に従って計算する。

【０１２５】 ＩＳ₁ ←ＩＰ₁ −２０ ＩＳ₂ ←ＩＰ₂ ＋２０ ＪＳ₁ ←（ＪＰ₁ ＋ＪＰ₂ ）／２−２０ ＪＳ₂ ←（ＪＰ₁ ＋ＪＰ₂ ）／２＋４０ 確からしい瞳孔エッジ点は、エリアセンサ７の横方向
（Ｘ軸）の範囲ＩＳ₁ 〜ＩＳ₂ 、縦方向（Ｙ軸）の範囲
ＪＳ₁ 〜ＪＳ₂ に存在する点である、と設定する。

【０１２６】本実施例の光学系では、図５（Ａ）に示し
た如く、２個のＰ像は常に瞳孔円の円内の上部に存在す
るようになっており、これから上記計算式が成立する。

【０１２７】ステップ（４０１）の計算の後は、ステッ
プ（４０２）へ移行し、サブルーチン「瞳孔推定範囲の
設定」をリターンする。

【０１２８】図６に戻って、次にステップ（０１２）の
サブルーチン「瞳孔中心の検出」をコールする。

【０１２９】「瞳孔中心の検出」は、確からしい瞳孔エ
ッジ点の座標から、瞳孔円の形状（中心座標と大きさ）
を推定するサブルーチンであり、そのフローチャートを
図１１乃至図１３に示す。

【０１３０】瞳孔円の形状の推定には、「最小２乗法」
を用いる。その考え方について先に述べておく。

【０１３１】円の公式は周知のように、中心座標を
（Ａ，Ｂ）、半径をＣとすると、 （ｘ−Ａ）² ＋（ｙ−Ｂ）² ＝Ｃ² ……………（１０） で与えられる。

【０１３２】複数の観測点（ｘ₁ ，ｙ₁ ），（ｘ₂ ，ｙ
₂ ）…（ｘｎ，ｙｎ）から、次式の誤差量ＥＲが最小と
なるようにＡ，Ｂ，Ｃを決定することを考える。

【０１３３】 ＥＲ＝Σ［（ｘｉ−Ａ）² ＋（ｙｉ−Ｂ）² −Ｃ² ］² ………（１１） ＥＲは各観測点と、Ａ，Ｂ，Ｃで決定される円の法線方
向の距離（誤差）の２乗和であり、これを最小する。

【０１３４】ＥＲをＡ，Ｂ，Ｃで各々偏微分し、０とお
く。

【０１３５】 δＥＲ／δＡ＝Σ［−４（ｘｉ−Ａ）³ −４（ｘｉ−Ａ）（ｙｉ−Ｂ）² ＋４Ｃ² （ｘｉ−Ａ）］＝０ ………（１２） δＥＲ／δＢ＝Σ［−４（ｙｉ−Ｂ）³ −４（ｘｉ−Ａ）² （ｙｉ−Ｂ） ＋４Ｃ² （ｘｉ−ｂ）］＝０ ………（１３） δＥＲ／δＣ＝Σ［４Ｃ³ −４（ｙｉ−Ｂ）² ｃ−４Ｃ（ｘｉ−Ａ）² ］ ＝０ ………（１４） 但し、ｉ＝１〜ｎとする。

【０１３６】上記式（１４）より、 ｃ² ＝［Σ｛ｘｉ−Ａ）² ＋（ｙｉ−Ｂ）² ｝］／ｎ ………（１５） 上記式（１５）を上記式（１３），（１４）へ代入し、
ここで、 Ｘ₁ ＝Σｘｉ，Ｘ₂ ＝Σｘｉ² ，Ｘ₃ ＝Σｘｉ³ …（１６）〜（１８） Ｙ₁ ＝Σｙｉ，Ｙ₂ ＝Σｙｉ² ，Ｙ₃ ＝Σｙｉ³ …（１９）〜（２１） Ｚ₁ ＝Σｘｉｙｉ，Ｚ₂ ＝Σｘｉ² ｙｉ，Ｚ₃ ＝Σｘｉｙｉ² ………（２２）〜（２４） とおき、さらに、 Ｖ₁ ＝Ｘ₂ −Ｘ₁ ² ／ｎ ……………（２５） Ｖ₂ ＝Ｙ₂ −Ｙ₁ ² ／ｎ ……………（２６） Ｗ₁ ＝Ｘ₃ ＋Ｚ₃ ……………（２７） Ｗ₂ ＝Ｙ₃ ＋Ｚ₃ ……………（２８） Ｗ₃ ＝（Ｘ₂ ＋Ｙ₂ ）／ｎ ……………（２９） Ｗ₄ ＝Ｚ₁ −Ｘ₁ Ｙ₁ ／ｎ ……………（３０） Ｗ₅ ＝（Ｚ₁ −２Ｘ₁ Ｙ₁ ／ｎ）Ｚ₁ ……………（３１） Ｗ₆ ＝Ｘ₁ Ｘ₂ ……………（３２） Ｗ₇ ＝Ｘ₂ Ｙ₁ ……………（３３） とおいて整理すると、円の中心座標Ａ，Ｂは Ａ＝｛Ｗ₁ Ｖ₂ −Ｗ₂ Ｗ₄ −（Ｗ₆ −Ｙ₁ Ｚ₁ ）Ｗ₃ ｝ ／｛２（Ｘ₂ Ｖ₂ −Ｗ₅ −Ｗ₆ Ｘ₁ ／ｎ）｝ ………（３４） Ｂ＝｛Ｗ₂ Ｖ₁ −Ｗ₁ Ｗ₄ −（Ｗ₇ −Ｘ₁ Ｚ₁ ）Ｗ₃ ｝ ／｛２（Ｙ₂ Ｖ₁ −Ｗ₅ −Ｗ₇ Ｙ₁ ／ｎ）｝ ………（３５） で計算される。

【０１３７】また、視線（注視点）の計算には直接関係
はないが、半径Ｃは、 Ｃ＝［Ｗ₃ −２（ＡＸ₁ ＋ＢＹ₁ ）／ｎ＋Ａ² ＋Ｂ² ］^1/2 ………（３６） で計算される。

【０１３８】本発明の実施例では、さらに誤差量ＥＲを
瞳孔中心検出の信頼性判定に用いており、ＥＲは次の計
算式で与えられる。

【０１３９】 ＥＲ＝Ｘ₄ −４Ａ＊Ｘ₃ ＋２（２Ａ² ＋ｄ）Ｘ₂ −４Ａ＊ｄ＊Ｘ₁ ＋Ｙ₄ −４Ｂ＊Ｙ₃ ＋２（２Ｂ² ＋ｄ）Ｙ₂ −４Ｂ＊ｄ＊Ｙ₁ ＋２（Ｚ₄ −２Ａ＊Ｚ₃ −２Ｂ＊Ｚ₂ ＋４Ａ＊Ｂ＊Ｚ₁ ）＋ｄ² ｎ ………（３７） 但し、 Ｘ₄ ＝Σｘｉ⁴ ………（３８） Ｙ₄ ＝Σｙｉ⁴ ………（３９） Ｚ₄ ＝Σｘｉ² ｙｉ² ………（４０） ｄ＝Ａ² ＋Ｂ² −Ｃ² ………（４１） としている。

【０１４０】さて、以上のように数値計算の裏付けに従
って、図１１〜図１３のフローチャートの説明を行う。

【０１４１】サブルーチン「瞳孔中心の検出」がコール
されると、ステップ（５００）を経て、ステップ（５０
１）の「円の最小２乗推定」サブルーチンをコールす
る。

【０１４２】「円の最小２乗推定」は上記式に従って、
瞳孔円の中心座標（Ａ，Ｂ）と誤差量ＥＲを計算するサ
ブルーチンであり、そのフローチャートを図１２に示し
ている。同サブルーチンでは、さらに最低輝度値の見直
しと、Ｐ像による偽の瞳孔エッジの排除を行っている。

【０１４３】サブルーチン「円の最小２乗推定」がコー
ルされると、ステップ（６００）を経て、ステップ（６
０１）へ移行する。

【０１４４】ステップ（６０１）では上述した最小２乗
推定式のワーク変数の初期化を行っている。

【０１４５】次のステップ（６０２）は変数をループ変
数とするループ処理であり、記憶している瞳孔エッジ情
報を元に最小２乗法の計算の前半を行う部分である。

【０１４６】いま、瞳孔エッジ点として、（ＥＤＧＣＮ
Ｔ−１）個の情報が配列変数ＥＤＧＣＮＴに記憶されて
いる。ループ変数Ｌは記憶された順番を表している。

【０１４７】ループ処理内の最初のステップ（６０３）
では、Ｌ番目のエッジ点の輝度値ＥＤＧＣＮＴ（Ｌ，
１）と（ＥＹＥＭＩＮ＋Ｃ₅ ）を比較し、輝度値の方が
大きければ分岐し、現在のループ変数Ｌの処理を終了す
る。

【０１４８】本実施例では、エリアセンサ７の光電変換
信号を読み込みながら、逐次的な処理を行っているた
め、エッジ点検出の部分で使用している最低輝度値も、
その時点までの最低輝度値に過ぎない。故に、エッジ点
として検出された点も、実は本当の最低輝度値で判定さ
れたものではなく、実際にはエッジ点としてふさわしく
ない点も含まれている可能性がある。そこで、このステ
ップの目的は、最終的に決定された最低輝度値に基い
て、もう一度最低輝度の判定にかけ、瞳孔エッジとして
ふさわしくない点を排除しようとするものである。

【０１４９】しきい値Ｃ₅ としては、例えば、Ｃ₅ ＝２
０である。

【０１５０】ステップ（６０３）にて、輝度値が小さい
と判断された場合は、ステップ（６０４）へ移行し、横
方向（Ｘ軸）座標と縦方向（Ｙ軸）座標をそれぞれ変数
Ｘ，Ｙに一時的に格納する。

【０１５１】次のステップ（６０５）では、Ｌ番目のエ
ッジ点の横方向座標Ｘが、横方向の範囲ＩＳ₁ 〜ＩＳ₂
に適合しているか否かを判定する。ＩＳ₁ ，ＩＳ₂ はサ
ブルーチン「瞳孔推定範囲の設定」で求められた値であ
り、この範囲に入っていないエッジ点は瞳孔のエッジ点
として認めないように分岐し、現在のループ変数Ｌの処
理を終了する。

【０１５２】その次のステップ（６０６）は今度は縦方
向について同様の判定を行っている。

【０１５３】Ｌ番目のエッジ点が瞳孔推定範囲に存在し
ていれば、ステップ（６０７）へ移行する。

【０１５４】ステップ（６０７），（６０８）は、Ｌ番
目のエッジ点の座標がＰ像の近傍であるかどうかを判断
している。

【０１５５】ＸＰ₁ ，ＸＰ₂ ，ＹＰ₁ ，ＹＰ₂ はサブル
ーチン「Ｐ像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲ＸＰ₁ 〜ＸＰ₂ 、縦方向の範囲Ｙ
Ｐ₁〜ＹＰ₂ に入っている場合には分岐し、現在のルー
プ変数Ｌの処理を終了するようにしている。これは、本
実施例の光学系では、２個のＰ像が瞳孔円内の上部に存
在するようになっているため、スポット像的な形状をし
ているＰ像の「すそ」の部分が、前述した瞳孔エッジの
条件に適合し易く、偽の瞳孔エッジとして検出されてし
まっているのを排除するためである。

【０１５６】以上のステップ（６０３）〜（６０８）の
判定をパスしたエッジ点の座標情報が、ステップ（６０
９）における最小２乗法の計算に供される。

【０１５７】ステップ（６０９）の計算は前述の式（１
６）〜（２４）、（３８）〜（４０）を実行し、さら
に、計算に用いたエッジ点の個数Ｎをカウントアップす
る。

【０１５８】ステップ（６０２）のループ処理にて、記
憶していたエッジ点（ＥＤＧＣＮＴ−１）個の処理が総
て終了すると、ステップ（６１０）へ移行する。

【０１５９】ステップ（６１０）では、式（２５）〜
（３５）、（３７）〜（４１）を計算し、瞳孔円の中心
座標（Ａ，Ｂ）と誤差量ＥＲを求める。

【０１６０】そして、次のステップ（６１１）へ移行
し、サブルーチン「円の最小２乗推定」をリターンす
る。

【０１６１】図１１に戻って、ステップ（５０１）のサ
ブルーチン「円の最小２乗推定」を完了すると、次のス
テップ（５０２）へ移行する。

【０１６２】ステップ（５０２）では、円の推定に用い
たデータの個数Ｎをしきい値ＮＴＨＲと比較し、Ｎ＜Ｎ
ＴＨＲならば、データ数が少ないため結果の信頼性が低
いと見なして、ステップ（５１２）へ分岐し、検出失敗
であるとする。

【０１６３】ＮＴＨＲとしては、例えば、ＮＴＨＲ＝３
０である。

【０１６４】ステップ（５０２）にて、Ｎ≧ＮＴＨＲな
らば、次のステップ（５０３）にて、誤差量ＥＲとしき
い値ＥＲＴＨＲを比較する。

【０１６５】ＥＲ＜ＥＲＴＨＲならば、誤差が小さく、
検出結果が充分信頼できるものと見なして、ステップ
（５１４）へ分岐し、検出成功であるとする。

【０１６６】しきい値ＥＲＴＨＲとしては、例えば、Ｅ
ＲＴＨＲ＝１００００である。

【０１６７】ステップ（５０３）において、ＥＲ≧ＥＲ
ＴＨＲならば、データ数が充分にも拘らず誤差が大きす
ぎるとして、ステップ（５０４）以下の再計算を実施す
る。誤差が大きくなった原因としては、瞳孔円以外の偽
のエッジ点を計算に入れてしまったことが考えられ、各
エッジ点の座標の内、縦／横方向で端の座標のエッジ点
を計算から除外していって、誤差が減少するかどうかを
調べてゆく。

【０１６８】ステップ（５０４）ではサブルーチン「円
の最小２乗推定 再計算１」をコールする。

【０１６９】「円の最小２乗推定 再計算１」は、最小
２乗推定の計算に用いたエッジ点の内、エリアセンサ７
の縦方向上部に在るエッジ点（全体の５分の１）を除外
して、再び最小２乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図１３（Ａ）に示す。

【０１７０】サブルーチン「円の最小２乗推定 再計算
１」がコールされると、ステップ（７００）を経て、次
のステップ（７０１）にて図１３（Ａ）中のように変数
の格納を行う。 変数ＸＳ₁ 〜ＺＳ₄ は、ステップ（５
０１）で計算した全エッジ点をしようしたときの対応す
るワーク変数の値を記憶する。そして、除外するエッジ
点の個数を全エッジ点の個数Ｎの５分の１として変数Ｍ
に記憶しておく。

【０１７１】次のステップ（７０２）ではステップ（６
０１）と同様に計算のワークを初期化し、ステップ（７
０３）へ移行する。

【０１７２】ステップ（７０３）はステップ（６０２）
と同様のループ処理であり、このループ内で除外するエ
ッジ点の最小２乗法の計算を行う。

【０１７３】本発明の実施例では、エリアセンサ７を縦
方向上部から読み込む構成にしているから、エッジ情報
を記憶している配列変数ＥＤＧＤＴ（ｍ，ｋ）には、縦
方向の上部のエッジから順に格納されている。従って、
ＥＤＧＤＴ（ｍ，ｋ）のｍを０からアップカウントして
いけば、縦方向上のエッジ点から取り出せることにな
る。

【０１７４】さて、ステップ（７０３）のループ内の最
初のステップ（７０４）ではエッジ点（Ｘ，Ｙ）が瞳孔
エッジとして有効か否かを判別しているが、これはステ
ップ（６０３）〜（６０８）と全く同様である。

【０１７５】瞳孔エッジ点として有効と見なされた場合
にはステップ（７０５）へ移行し、これもまたステップ
（６０９）と同じ計算を実行する。

【０１７６】そして、次のステップ（７０６）にて、新
たに計算したエッジ点の個数Ｎと除外すべきエッジ点の
個数Ｍを比較し、Ｍ個の計算が終了すれば分岐し、外側
のステップ（７０３）のループ処理を中止する。Ｍ個に
達していない場合は、ループ変数Ｌをカウントアップ
し、再びステップ（７０４）移行の処理を続行する。

【０１７７】Ｍ個の計算が終了するとステップ（７０
８）へ分岐し、瞳孔円の中心（Ａ，Ｂ）及び誤差量ＥＲ
´を再計算する。再計算の式は次のようになる。

【０１７８】 Ｘ₁ ＝ＸＳ₁ −Ｘ₁ ………（１６´） Ｘ₂ ＝ＸＳ₂ −Ｘ₂ ………（１７´） Ｘ₃ ＝ＸＳ₃ −Ｘ₃ ………（１８´） Ｙ₁ ＝ＹＳ₁ −Ｙ₁ ………（１９´） Ｙ₂ ＝ＹＳ₂ −Ｙ₂ ………（２０´） Ｙ₃ ＝ＹＳ₃ −Ｙ₃ ………（２１´） Ｚ₁ ＝ＺＳ₁ −Ｚ₁ ………（２２´） Ｚ₂ ＝ＺＳ₂ −Ｚ₂ ………（２３´） Ｚ₃ ＝ＺＳ₃ −Ｚ₃ ………（２４´） Ｘ₄ ＝ＸＳ₄ −Ｘ₄ ………（３８´） Ｙ₄ ＝ＹＳ₄ −Ｙ₄ ………（３９´） Ｚ₄ ＝ＺＳ₄ −Ｚ₄ ………（４０´） そして、式（２５）〜（３５）、（３７）〜（４１）を
計算し直せば、新たな瞳孔中心（Ａ，Ｂ）と誤差量ＥＲ
´を得ることが出来る。式（１６）〜（４０）はもとも
と逐次形式になっているため、再び全データを計算し直
す必要はなく、除外したいデータの加算（あるいは累乗
加算）を計算して、元の値から減算すれば済む。

【０１７９】再計算が終った後は、ステップ（７０９）
へ移行し、サブルーチン「円の最小２乗推定 再計算
１」をリターンする。

【０１８０】図１１に戻って、ステップ（５０４）を完
了すると、ステップ（５０５）へ移行し、再計算した誤
差量ＥＲ´としきい値ＥＲＴＨＲを比較する。ＥＲ´が
小さい場合は、除外操作が効を奏したものとして、ステ
ップ（５１４）へ分岐し、検出成功とする。

【０１８１】未だ誤差量ＥＲ´が大きい場合には、ステ
ップ（５０６）へ移行し、別のサブルーチン「円の最小
２乗推定 再計算２」をコールする。

【０１８２】「円の最小２乗推定 再計算２」は、最小
２乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向下部に在るエッジ点（全体の５分の１）を除外
し、再び最小２乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図１３（Ｂ）に示す。

【０１８３】「円の最小２乗推定 再計算２」は、「円
の最小２乗推定 再計算１」とほとんど同様であるが、
「再計算１」と違って縦方向下部のエッジ点から除外し
てゆくようにするため、ステップ（７１２）においてル
ープ変数Ｌを（ＥＤＧＣＮＴ−１）からダウンカウント
させている。その他は「円の最小２乗推定 再計算１」
と全く同様であるため、説明を省略する。

【０１８４】再び図１１に戻って説明を続ける。

【０１８５】ステップ（５０６）のサブルーチン「円の
最小２乗推定 再計算２」を完了すると、ステップ（５
０７）へ移行し、再計算した誤差量ＥＲ´としきい値Ｅ
ＲＹＨＲを比較する。ＥＲ´が小さい場合は、除外操作
が有効であったものとして、ステップ（５１４）へ分岐
し、検出成功と見なす。

【０１８６】未だ誤差量ＥＲ´が大きい場合には、ステ
ップ（５０８）へ移行し、さらに別のサブルーチン「円
の最小２乗推定 再計算３」をコールする。

【０１８７】「円の最小２乗推定 再計算３」では、今
度は最小２乗推定の計算に用いたエッジ点の内、エリア
センサ７の横方向左部に在るエッジ点（全体の５分の
１）を除外して、再び最小２乗推定の計算を行うサブル
ーチンであり、そのフローチャートを図１３（Ｃ）に示
す。

【０１８８】サブルーチン「円の最小２乗推定 再計算
３」がコールされると、ステップ（７２０）を経て、ス
テップ（７２１）にて、エッジ情報を記憶している配列
変数ＥＤＧＤＴ（ｍ，ｋ）の並べ換えを行う。

【０１８９】先にも説明したように、ＥＤＧＤＴ（ｍ，
ｋ）にはエリアセンサ７の縦方向のエッジ点から順に格
納されているため、横方向に注目して処理を行うために
は、ＥＤＧＣＮＴに格納されているデータの並べ換えが
必要である。

【０１９０】ＥＤＧＤＴ（ｍ，２）にはエッジ点の横方
向（Ｘ軸座標）の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、ＥＤＧＣＮＴ
には横方向の左からの順となったエッジ情報が再格納が
可能である。

【０１９１】並べ換えを実行すると、ステップ（７０
２）へ分岐し、後は「再計算１」と全く同様の処理を行
えば、エリアセンサ７の横方向左右のエッジ点を除外し
た再計算ができる。

【０１９２】再び、図１１に戻って、ステップ（５０
８）のサブルーチン「円の最小２乗推定 再計算３」を
完了すると、ステップ（５０９）へ移行し、再計算した
誤差量ＥＲ´としきい値ＥＲＴＨＲを比較する。ＥＲ´
が小さい場合は、除外操作が有効であったものとして、
ステップ（５１４）へ分岐し、検出成功と見なす。

【０１９３】未だ誤差量ＥＲ´が大きい場合には、ステ
ップ（５１０）へ移行し、さらに別のサブルーチン「円
の最小２乗推定 再計算４」をコールする。

【０１９４】「円の最小２乗推定 再計算４」では、今
度は最小２乗推定の計算に用いたエッジ点の内、エリア
センサの横方向右部に在るエッジ点（全体の５分の１）
を除外して、再び最小２乗推定の計算を行うサブルーチ
ンであり、そのフローチャートを図１３（Ｄ）に示す。

【０１９５】いま配列変数ＥＤＧＤＴ（ｍ，ｋ）には、
横方向の左から順のエッジ点が格納されているから、右
から順にエッジ点を除外しようとすれば、ＥＤＧＤＴ
（ｍ，ｋ）を「円の最小２乗推定 再計算２」と同じよ
うに取扱えば良い。そこで、サブルーチン「円の最小２
乗推定 再計算４」をコールされれば直ちにステップ
（７１１）へ分岐して、「再計算２」と同様の処理を行
うようにしている。

【０１９６】再び、図１１に戻って説明を続ける。

【０１９７】ステップ（５１０）のサブルーチン「円の
最小２乗推定 再計算４」を完了すると、ステップ（５
１１）へ移行し、再計算した誤差量ＥＲ´としきい値Ｅ
ＲＴＨＲを比較する。ＥＲ´が小さい場合は、除外操作
が有効であったものとして、ステップ（５１４）へ分岐
し、検出成功と見なす。

【０１９８】未だ誤差量ＥＲ´が大きい場合には、ステ
ップ（５１２）へ移行し、上述の操作が有効に働かなか
ったものとして、ステップ（５１２）へ移行し、検出失
敗とする。

【０１９９】ステップ（５１２）あるいは（５１４）で
瞳孔中心の検出が最終判断されると、ステップ（５１
３）あるいは（５１５）でサブルーチン「瞳孔中心の検
出」をリターンする。

【０２００】図１５に本実施例での最小２乗推定の一例
を紹介しておく。

【０２０１】図中の●が１つのエッジ点を表し、これら
のエッジ点に基いて瞳孔円を推定したものである。

【０２０２】図６の説明に戻る。

【０２０３】ステップ（０１２）での「瞳孔中心の検
出」が完了すると、ステップ（０１３）へ移行し、サブ
ルーチン「視線の検出」をコールする。

【０２０４】「視線の検出」は、これまでの処理で検出
したＰ像位置及び瞳孔円の中心位置から、視線（注視
点）を検出するサブルーチンである。

【０２０５】基本的には、前述した公知例と同様に、上
記の式（２）に従って、眼球光軸の回転角θを計算すれ
ば良い。

【０２０６】本実施例では、瞳孔中心を横方向（Ｘ
軸）、縦方向（Ｙ軸）の２次元で検出しているので、公
知例のように横方向のみではなく、縦方向の視線の方向
も横方向の検出と同様な考え方で、検出することができ
る。

【０２０７】視線の検出が完了すると、ステップ（０１
４）へ移行し、一連の処理を終了する。

【０２０８】なお、本実施例は、横方向のみに対して特
徴点（最低輝度，瞳孔エッジ，Ｐ像）の位置検出範囲に
制限をもうけて、検出時間の短縮化をしたが、同様に縦
方向に対しても検出範囲に制限を設けることにより、よ
り検出時間の短縮化が出来る。また、本実施例ではメモ
リの節約のために、逐次処理で例を示したがメモリが多
く用意出来る場合は、逐次処理で処理しなくともよい。

【０２０９】 本実施例によれば、眼球の特徴点（最低
輝度，瞳孔エッジ，プルキンエ像）の位置情報を検出す
る際に、エリアセンサの全画素に対して、それぞれの特
徴点にみあった検出範囲の制限を設けるようにしている
為、検出にかかる時間の短縮化を図ることが可能とな
る。ここで、特徴点にみあった検出範囲の制限とは、図
５より理解できるように、瞳孔エッジがエリアセンサの
極端な端に存在することは少なく、また、最低輝度は瞳
孔エッジの内側に、そしてプルキンエ像（Ｐ像）は最低
輝度の内側に存在することにより与えることのできる検
出範囲である。

【０２１０】

【発明の効果】 以上説明したように、本発明によれ
ば、視線検出に要する時間を短縮することができる。

【０２１１】

【図面の簡単な説明】

【図１】本発明の一実施例の視線検出装置を搭載した一
眼レフカメラの光学系を示す概略構成図である。

【図２】図１の焦点検出系の斜視図である。

【図３】図１の視線検出系の斜視図である。

【図４】本発明の一実施例の視線検出装置における視線
検出原理を説明するための図である。

【図５】本発明の一実施例の視線検出装置におけるエリ
アセンサ上の光強度分布を示す図である。

【図６】本発明の一実施例の視線検出装置のメインフロ
ーチャートである。

【図７】図６のステップ（００７）において行われる
「１ライン読み込み」動作を示すフローチャートであ
る。

【図８】図６のステップ（００９）において行われる
「Ｐ像の検出」動作を示すフローチャートである。

【図９】図６のステップ（０１０）において行われる
「瞳孔エッジの検出」動作を示すフローチャートであ
る。

【図１０】図６のステップ（０１１）において行われる
「瞳孔指定範囲の設定」動作を示すフローチャートであ
る。

【図１１】図６のステップ（０１２）において行われる
「瞳孔中心の検出」動作を示すフローチャートである。

【図１２】図１１のステップ（５０１）において行われ
る「円の最小２乗推定」動作を示すフローチャートであ
る。

【図１３】図１１のステップ（５０４），（５０６），
（５０８），（５１０）において行われる「円の最小２
乗推定 再計算１〜４」の動作を示すフローチャートで
ある。

【図１４】本発明の一実施例の視線検出装置における特
徴点検出範囲を説明するための図である。

【図１５】本発明の一実施例の視線検出装置において複
数のエッジポイントとこのエッジポイントから算出した
瞳孔円を示す図である。

【図１６】一般的な視線検出装における視線検出のため
の原理を説明するための図である。

【符号の説明】

５ａ，５ｂ 角膜反射像発生用の赤外発光ダイオード ５ｃ，５ｄ 虹彩情報検出用の赤外発光ダイオード ６ 光電変換素子列 ７ エリアセンサ ２１ 角膜 ２２ 眼球 ２３ 虹彩 ２４ 瞳孔 １０９ ＭＣＵ ２０９ 眼球

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 眼球を照明する照明手段と、前記照明手
   段により照明された前記眼球を撮像する撮像センサと、
   前記撮像センサの全領域より狭い第１の領域の出力より
   複数の瞳孔の境界部を抽出し、前記撮像センサの第１の
   領域より狭い第２の領域の出力より角膜反射像を抽出す
   る抽出手段と、前記抽出された複数の瞳孔の境界部及び
   角膜反射像に基づいて視線を検出する視線検出手段とを
   有することを特徴とする視線検出装置。
2. 【請求項２】 前記撮像センサの第１及び第２の領域と
   は異なる領域から最低輝度値を検出する検出手段を有す
   ることを特徴とする請求項１に記載の視線検出装置。
3. 【請求項３】 前記抽出手段は、前記撮像センサの輝度
   値に関する出力より前記複数の瞳孔の境界部を抽出し、
   前記視線検出手段は、前記最低輝度値を基準として所定
   の条件を満たす瞳孔の境界部を選択し、該選択された瞳
   孔の境界部を用いて視線を検出することを特徴とする請
   求項２に記載の視線検出装置。