JPH04347128A - 視線検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラ等の光学機器を
使用する観察者の視線（注視点）を検出する視線検出装
置に関するものである。

【０００２】

【従来の技術】従来より光学装置の観察者が観察面上の
どの位置を観察しているかを検出する、いわゆる視線検
出装置が、特開昭６１−１７２５５２号公報、特開平１
−２４１５１１号公報、特開平２−５号公報等に開示さ
れている。

【０００３】例えば特開昭６１−１７２５５２号公報に
おいては、光源からの平行光束を観察者の眼球の前眼部
へ投射し、角膜からの反射光による角膜反射像と瞳孔の
結像位置を利用して視軸を求めている。

【０００４】図１５（Ａ），（Ｂ）は視線検出方法の原
理説明図で、同図（Ａ）は視線検出光学系の概略図、同
図（Ｂ）は光電素子列６からの出力信号の強度図である
。

【０００５】同図において５は観察者に対して不感の赤
外光を放射する発光ダイオード等の光源であり、投光レ
ンズ３の焦点面に配置されている。

【０００６】光源５より発光した赤外光は投光レンズ３
により平行光となりハーフミラー２で反射し、眼球２０
１の角膜２１を照明する。このとき角膜２１の表面で反
射した赤外光の一部による角膜反射像ｄはハーフミラー
２を透過し受光レンズ４により集光され光電素子列６上
の位置Ｚｄ′に再結像する。

【０００７】また虹彩２３の端部（瞳孔のふち）ａ，ｂ
からの光束はハーフミラー２、受光レンズ４を介して光
電素子列６上の位置Ｚａ′，Ｚｂ′に該端部ａ，ｂの像
を結像する。受光レンズ４の光軸（光軸ア）に対する眼
球の光軸イの回転角θが小さい場合、虹彩２３の端分ａ
，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩２３の中心位
置ｃの座標Ｚｃは Ｚｃ≒（Ｚａ＋Ｚｂ）／２ と表わされる。

【０００８】また、角膜反射像の発生位置ｄのＺ座標を
Ｚｄ、角膜２１の曲率中心Ｏと瞳孔２４の中心Ｃまでの
距離をＯＣとすると眼球光軸イの回転角θは、ＯＣ＊Ｓ
ＩＮθ≒Ｚｃ−Ｚｄ…（１） の関係式を略満足する。

【０００９】ここで角膜反射像の位置ｄのＺ座標Ｚｄと
角膜２１の曲率中心ＯのＺ座標Ｚ０とは一致している。 このため演算手段９において、同図（Ｂ）のごとく光電
素子列６面上に投影された各特異点（角膜反射像ｄ及び
虹彩の端部ａ，ｂ）の位置を検出することにより眼球光
軸イの回転角θを求めることができる。このとき（１）
式は、

【００１０】

【外１】 とかきかえられる。但し、βは角膜反射像の発生位置ｄ
と発光レンズ４との距離Ｌ１と受光レンズ４と光電素子
列６との距離Ｌ０で決まる倍率で通常ほぼ一定の値とな
っている。

【００１１】これは例えばカメラの自動焦点検出装置に
おいて測距点を画面中心のみならず画面内の複数箇所に
設けた場合、観察者がそのうち１つの測距点を選択して
自動焦点検出を行おうとする場合、その１つを選択入力
する手間を省き観察者が観察している点を測距点とみな
し、該測距点を自動的に選択して自動焦点検出を行うの
に有効である。

【００１２】

【発明が解決しようとしている課題】ところで、光電素
子列（エリアセンサ）の像信号を処理して視線方向を検
出するためには、像信号を一旦メモリに格納して処理し
なければならない。

【００１３】一般にエリアセンサの光電変換素子（画素
）の数は数十万単位であり、この情報を総てメモリに格
納しようとすると、メモリ容量も膨大な量が必要となる
。

【００１４】ところが、本発明の如く、視線検出装置を
カメラ等の小型で又安価であることが要求される民生光
学機器に搭載しようとすると、このメモリ容量を確保す
ること自体が大きな問題となっている。特に、処理装置
としてＲＯＭ（リード・オンリー・メモリ）やＲＡＭ（
ランダム・アクセス・メモリ）を内蔵したワンチップの
マイクロコンピュータを採用すると、内蔵ＲＡＭの容量
は高々数Ｋバイトしかないのが一般的である。外付けの
メモリを使用すれば容量的には解決するが、実装規模や
コストの点で甚だ好ましくない。

【００１５】

【課題を解決するための手段】本発明は、エリアセンサ
の全画素数よりも少ない容量のメモリを使用して視線検
出を行う装置において、前記した問題の解消を目的とし
ており、その要旨は次の通りである。

【００１６】本発明では、像情報を総て同時にメモリに
格納しない。サンセから時系列に出力される光電変換信
号を読み込みながら、逐次的にメモリに格納してゆき、
処理するに足る情報が獲得できた時点で一旦読み込みを
中断して処理を行う。そして、処理の終了した像情報は
そのままメモリに保持することなく、また新たな光電変
換信号を格納してゆく。このようにして、少ないメモリ
容量しか有しない場合でも全情報を余すことなく処理す
ることが可能となる。

【００１７】更に具体的に本発明の特徴を述べるなら、
観察者の眼球からの光を複数の光電変換素子列で受光す
る受光手段、前記受光手段の一部の光電変換素子列の光
電変換信号を記憶する第１の記憶手段、眼球の特徴点を
示す光電変換信号を出力する光電変換素子の位置情報を
記憶する第２の記憶手段、前記第１の記憶手段の一部の
光電変換信号の記憶情報を消去し新たな光電変換素子列
の光電変換信号を前記第１の記憶手段に記憶させる処理
を行う信号処理手段、前記第２の記憶手段の前記位置情
報に基づいて視線方向を検出することにある。

【００１８】

【実施例】図１は本発明を一眼レフカメラに適用したと
きの一実施例の光学系の要部概略図、図２は図１の焦点
検出部の説明図である。図３は図１の視線検出系の要部
斜視図である。

【００１９】図中、１は接眼レンズで、その内部には可
視光透過・赤外光反射のダイクロイックミラー１ａが斜
設されており、光路分割器を兼ねている。

【００２０】４は受光レンズ、５（５ａ，５ｂ，５ｃ，
５ｄ）は照明手段であり、例えば発光ダイオードから成
っている。このうち５ａ，５ｂは接眼レンズの下部に配
置され角膜反射像を発生させる為の赤外発光ダイオード
であり、角膜反射像をできるだけ分解能よく検知できる
よう見かけのチップサイズの小さなスポット性のある発
光ダイオードを用いている。

【００２１】５ｃ，５ｄは接眼レンズの両側面上部に設
けられた赤外発光ダイオードで眼球全体を照明するよう
に拡散性を持たせたもの、又は面発光的な特性を持った
もので、眼球が光軸中心よりはずれた場合でも十分カバ
ーする照明範囲を持っており、かつ受光レンズ４によっ
てエリアセンサ７には角膜反射像が結像されないように
配置されている。

【００２２】虹彩情報検出用のエリアセンサ７は複数の
光電素子列によって構成されている。

【００２３】受光レンズ４と光電素子列６は受光手段の
一要素を構成している。

【００２４】各要素１，４，５，６，７より眼球の視線
検出系を構成している。

【００２５】１０１は撮影レンズ、１０２はクイックリ
ターン（ＱＲ）ミラー、１０３は表示素子、１０４はピ
ント板、１０５はコンデンサーレンズ、１０６はペンタ
ダハプリズム、１０７はサブミラー、１０８は多点焦点
検出装置であり、撮影画面内の複数の領域を選択して焦
点検出を行っている。

【００２６】多点焦点検出装置の説明は本発明理解のた
めに必要ないため概略に止める。

【００２７】即ち本実施例では図２に描く様に撮影レン
ズ１０１の予定結像面近傍に配され、夫々測距域を決め
る複数のスリットを有する視野マスク１１０と各スリッ
ト内の像に対してフィールドレンズの作用を果たすレン
ズ部材１１１を近接配置し、更にスリット数に応じた再
結像レンズの組１１２と光電素子列の組１１３を順置す
る。スリット１１０、フィールドレンズ１１１、再結像
レンズの組１１２、そして光電素子列の組１１３はそれ
ぞれ周知の焦点検出系を構成している。

【００２８】本実施例では撮影レンズ１０１の透過した
被写体光の一部はＱＲミラー１０２によって反射してピ
ント板１０４近傍に被写体像を結像する。ピント板１０
４の拡散面で拡散した被写体光はコンデンサーレンズ１
０５、ペンタダハプリズム１０６、接眼レンズ１を介し
てアイポイントＥに導かれる。

【００２９】ここで表示素子１０３は例えば偏光板を用
いない２層タイプのゲスト−ホスト型液晶素子で、ファ
インダー視野内の測距域（焦点検出位置）を表示するも
のである。

【００３０】又、撮影レンズ１０１を透過した被写体光
の一部は、ＱＲミラー１０２を透過し、サブミラー１０
７で反射してカメラ本体底部に配置された前述の多点焦
点検出装置１０８に導かれる。さらに多点焦点検出装置
１０８の選択した被写体面上の位置の焦点検出情報に基
づいて、不図示の撮影レンズ駆動装置により撮影レンズ
１０１の繰り出しあるいは繰り込が行われ、焦点調節が
行われる。

【００３１】視線検出用の信号処理回路１０９は、いわ
ゆるワンチップマイクロコンピュータ（ＭＣＵ）であり
、内部にＲＯＭ，ＲＡＭ，Ａ／Ｄ変換器等を内蔵してい
るものである。ＭＣＵ１０９は内蔵のＲＯＭに格納され
ているプログラムに従って一連の視線検出動作を実行す
る。

【００３２】視線検出の概略の手順を述べると、先ず赤
外発生ダイオード５を点灯する。放射された赤外光は図
中の上方から接眼レンズ１に入射し、ダイクロイックミ
ラー１ａにより反射されアイポイントＥ近傍に位置する
観察者の眼球２０１を照明する。また眼球２０１で反射
した赤外光はダイクロイックミラー１ａで再び反射され
受光レンズ４によってエリアセンサ６上に像を形成する
。ＭＣＵ１０９はエリアセンサ６によって光電変換され
た眼球像を信号処理し、注視点情報（視線）を検知する
。

【００３３】検知された注視点情報は、多点焦点検出動
作と表示動作に利用される。即ち、注視点に最も近い測
距点の焦点検出結果に基づいて焦点調節を行い、同時に
表示素子１０３によって観察者の注視した場所をカメラ
のファインダー内に表示し、注視点の確認を行わさせる
ことが出来る。

【００３４】図４（Ａ），（Ｂ）は視線を検出するため
の原理を示す原理図である。図４（Ａ）において光電素
子列６の横方向（Ｘ軸方向）に分離して配置された赤外
発光ダイオード５ａ，５ｂからの光束はＸ軸方向に分離
した位置に角膜反射像ｅ，ｄをそれぞれ形成する。この
時、角膜反射像ｅ及びｄの中点のＸ座標は角膜２１の曲
率中心ｏのＸ座標と一致している。また角膜反射像ｅ及
びｄの間隔は赤外発光ダイオードと観察者の眼球との距
離に対応して変化するため、光電素子列６上に再結像し
た角膜反射像の位置ｅ′，ｄ′を検出することにより眼
球からの反射像の結像倍率βを求めることが可能となる
。虹彩情報検出用の赤外発光ダイオード５ｃ，５ｄは、
フィインダの側面方向から眼球を照明するが、角膜反射
像が受光レンズ４によって光電素子列６上に再結像しな
いように配置されている。これによって光電素子列６上
における虹彩と瞳孔の境界位置ａ，ｂに不用光によるフ
レアー反射像が入射しないようにし、境界位置ａ，ｂの
検出精度の低下を防止している。

【００３５】図５（Ａ）は本実施例において複数の光電
素子列６からなるエリアセンサー７上に投影された眼球
からの反射像を示す説明図である。同図において、角膜
反射像ｅ′，ｄ′は光電素子列Ｙｐ′上に再結像してい
る。一例としてこのとき光電素子列Ｙｐ′より得られる
光強度分布の出力信号を図５（Ｂ）に示す。

【００３６】先にも説明したように、ＭＣＵ１０９は図
５（Ａ），（Ｂ）に示したセンサ信号から、瞳孔の中心
位置と角膜反射像ｅ′，ｄ′の位置を検出し、それらの
位置関係に基づいて注視点（視線）を検知する。

【００３７】図６以降に、本発明の実施例の信号処理装
置であるマイクロコンピュータＭＣＵ１０９のフローチ
ャートを示す。

【００３８】図６は視線検出の主たるフローチャートで
ある。ＭＣＵ１０９が視線検出動作を開始すると、ステ
ップ（＃０００）を経て、ステップ（＃００１）のデー
タの初期化を実行する。

【００３９】変数ＥＹＥＭＩＮは眼球反射像の光電変換
信号中の最低の輝度値を記憶する変数であり、マイクロ
コンピュータ（ＭＣＵ１０９）に内蔵されているＡ／Ｄ
変換器の分解能を８ｂｉｔと想定し、像信号の読み込み
に伴って、逐次的に最低値を比較・更新してゆく。初期
値は８ｂｉｔでの最大の値を表す２５５を格納しておく
。

【００４０】変数ＥＤＧＣＮＴは、虹彩と瞳孔の境界を
エッジとして抽出した個数をカウントする変数である。

【００４１】変数ＩＰ１，ＩＰ２，ＪＰ１，ＪＰ２は発
光ダイオード５ａ，５ｂの角膜反射像（以下「プルキン
エ像；Ｐ像」と称する）の位置を表す変数であり、横方
向（Ｘ軸）の範囲ＩＰ１〜ＩＰ２，縦方向（Ｙ軸）の範
囲ＪＰ１〜ＪＰ２で囲まれる眼球反射像の領域内に、２
個のＰ像が存在する。

【００４２】いまエリアセンサ７の画素数は横方向に１
５０画素、縦方向に１００画素のサイズを想定しており
、ＩＰ１，ＩＰ２，ＪＰ１，ＪＰ２は全体のちょうど真
中の位置（７５、５０）を初期値として格納しておく。

【００４３】データの初期化の次はステップ（＃００２
）へ移行する。

【００４４】ステップ（＃００２）ではＰ像用の発光ダ
イオード５ａ，５ｂと、眼球照明用の発光ダイオード５
ｃ，５ｄを点灯する。次のステップ（＃００３）にて、
エリアセンサ７の蓄積動作を開始させる。センサの制御
は本発明と直接の関わりはないので詳細な説明は省略す
るが、本発明の実施例では不図示のセンサ・インターフ
ェース回路によって駆動制御されるものとする。

【００４５】ステップ（＃００４）において、エリアセ
ンサの蓄積終了を待つ。

【００４６】所定の電荷蓄積が終了すると、次のステッ
プ（＃００５）で発光ダイオードを消灯する。

【００４７】さて、次のステップ（＃００６）以降から
、エリアセンサの光電変換信号の読み込みを開始する。

【００４８】ステップ（＃００６）はループ変数Ｊを０
から９９までカウントアップしながら、枠内の処理を実
行する、いわゆる「ループ処理」を表している。

【００４９】ステップ（＃００６）内のループ処理では
、まずステップ（＃００７）にてエリアセンサの横方向
（Ｘ軸）の１ラインの光電変換信号の読み込みを行う。 １ラインの読み込みはサブルーチン形式となっており、
図７にサブルーチン「１ライン読み込み」のフローチャ
ートを示す。

【００５０】サブルーチン「１ライン読み込み」がコー
ルされると、図７のステップ（＃１００）を経て、次の
ステップ（＃１０１）を実行する。ステップ（＃１０１
）と、その枠内のステップ（＃１０２）は、前述したス
テップ（＃００６）と同様のループ処理を表しており、
ステップ（＃１０１）では変数Ｋを０から３へカウント
アップさせながら、そしてステップ（＃１０２）では変
数Ｉを０から１４９までカウントアップさせながら、そ
れぞれの枠内の処理を実行してゆく。従って、ステップ
（＃１０１）とステップ（＃１０２）は変数Ｋと変数Ｉ
の、いわゆる「入れ子」となったループ処理を表してい
る。

【００５１】ステップ（＃１０２）のループ処理内のス
テップ（＃１０３）では、配列変数ＩＭ（ｉ，ｋ）の再
格納作業を行っている。

【００５２】本実施例では、マイクロコンピュータＭＣ
Ｕ１０９が信号処理を行っているわけであるが、一般に
マイクロコンピュータの内蔵ＲＡＭ（ランダム・アクセ
ス・メモリ）の記憶容量は、エリアセンサの全画素情報
を一度に記憶できる程大きくはない。そこで、本実施例
では、エリアセンサから出力される像信号を逐時読みだ
しながら、横方向（Ｘ軸）５ライン分に相当する最新の
像信号のみをマイクロコンピュータの内蔵ＲＡＭに記憶
させ、１ラインの読み込み毎に視線検出のための処理を
実行するようにしている。

【００５３】ステップ（＃１０１）からステップ（＃１
０３）の２重ループ処理で実行している内容は、新たな
１ライン分の像信号を読み込むために、記憶している過
去５ライン分の像信号データを更新する作業である。即
ち、配列変数ＩＭ（ｉ，ｋ）の内、ＩＭ（ｉ，０）［ｉ
＝０〜１４９］が最も過去の、またＩＭ（ｉ，４）［ｉ
＝０〜１４９］が最も最近の１ラインの像データを表し
ており、次のようにデータを更新して新たな１ライン分
の像信号をＩＭ（ｉ，４）「ｉ＝０〜１４９］に格納で
きるように準備する。

【００５４】ＩＭ（ｉ，０）←ＩＭ（ｉ，１）ＩＭ（ｉ
，１）←ＩＭ（ｉ，２） ＩＭ（ｉ，２）←ＩＭ（ｉ，３） ＩＭ（ｉ，３）←ＩＭ（ｉ，４）［ｉ＝０〜１４９］

【
００５５】さて、ステップ（＃１０１）〜ステップ（＃
１０３）のデータ更新のためのロープ処理が終了すると
、次のステップ（＃１０４）のループ処理を実行する。

【００５６】ステップ（＃１０４）のループ処理では、
エリアセンサの横方向（Ｘ軸）の１ライン分（１５０画
素）の像信号を逐次的にＡ／Ｄ変換しながら、ＲＡＭに
格納し、また像信号の最小値を検出している。

【００５７】ステップ（＃１０４）のループ内の最初の
ステップ（＃１０５）では、マイクロコンピュータＭＣ
Ｕ１０９の内蔵のＡ／Ｄ変換器から、像信号をＡ／Ｄ変
換したディジタル値ＡＤＣを取り出し、その値を一時的
に変換ＥＹＥＤＴに格納する。そして、次のステップ（
＃１０６）にて、ＥＹＥＤＴの値を配列変数ＩＭ（Ｉ，
４）に格納する。変数Ｉは外側のループ処理ステップ（
＃１０４）にて０から１４９までカウントアップされる
。

【００５８】ステップ（＃１０７）と（＃１０８）は像
信号の最小値を検出処理である。変数ＥＹＥＭＩＮは像
信号の最小値を保持する変数であり、ステップ（＃１０
７）において、ＥＹＥＭＩＮよりＥＹＥＤＴの方が小さ
ければ、ステップ（＃１０８）へ分岐し、ＥＹＥＭＩＮ
をこの小さなＥＹＥＤＴの値で更新する。

【００５９】ステップ（＃１０４）〜（＃１０８）のル
ープ処理が終了し、新たな１ライン分の像信号の格納と
、最小値の検出が終ると、次のステップ（＃１０９）で
サブルーチン「１ラインの読み込み」をリターンする。

【００６０】図６のフローチャートに戻って、ステップ
（＃００７）のサブルーチン「１ラインの読み込み」が
完了すると、次のステップ（＃００８）へ移行し、外側
のループ処理ステップ（＃００６）のループ変数Ｊが５
以上か否か調べる。

【００６１】ループ変数Ｊはエリアセンサの縦方向（Ｙ
軸）の画素ラインを表しており、本実施例では、エリア
センサの画素数を（１５０×１００）としているので、
Ｊは０から９９までカウントアップされる。

【００６２】ステップ（＃００８）にてループ変数Ｊが
５以上の場合にはステップ（＃００９）へ分岐する。こ
れは、読み込んだ像信号のライン数が５以上になると、
エリアセンサの縦方向（Ｙ軸）の処理が出来るようにな
るからである。

【００６３】分岐した先のステップ（＃００９）ではサ
ブルーチン「Ｐ像の検出」を実行する。

【００６４】サブルーチン「Ｐ像の検出」は、前述した
角膜反射像（Ｐ像）の位置を検出するための処理であり
、エリアセンサの横方向（Ｘ軸）の１ラインの読み込み
毎に実行する。そのフローチャートを図８に示す。

【００６５】サブルーチン「Ｐ像の検出」がコールされ
ると、ステップ（＃２００）を経てステップ（＃２０１
）のループ処理を実行する。ループ処理内では、像デー
タ（配列変数ＩＭ（ｉ，ｋ）に記憶）中のＰ像の位置を
検索し、もし見つかれば、エリアセンサ上でのその位置
を記憶する。本実施例ではＰ像は２個発生するので、記
憶する位置情報も２個となる。

【００６６】ループ内の最初のステップ（＃２０２）で
は、所定位置の像データがＰ像としての条件を満足する
か否かを判定する。条件としては、次のようなものであ
る。

【００６７】ステップ（＃２０２）の「Ｐ像条件」ＩＭ
（１，２）＞Ｃ１ かつ　　ＩＭ（Ｉ，１）＞Ｃ２ かつ　　ＩＭ（Ｉ，３）＞Ｃ２ かつ　　ＩＭ（Ｉ−１，２）＞Ｃ２ かつ　　ＩＭ（Ｉ＋１，２）＞Ｃ２

【００６８】但し、Ｃ１，Ｃ２はしきい値定数で、Ｃ１
≧Ｃ２なる関係があり、例えば、Ｃ１＝２３０，Ｃ２＝
２００である。また、変数Ｉはループ処理のループ変数
であり、エリアセンサの横方向（Ｘ軸）の位置を表して
いる。

【００６９】上記条件は、Ｐ像が図５で説明したように
、スポット像のようなものであることに注目し、横／縦
方向（Ｘ／Ｙ軸）の両方向に定義したものである。この
条件が満足されたとき、位置（Ｉ，２）にＰ像が存在す
るものと見なす。

【００７０】前述したように配列変数ＩＭ（ｉ，ｋ）は
エリアセンサの横方向（Ｘ軸）の１ライン読み込み毎に
更新しており、縦方向（Ｙ軸）位置ＪラインはＩＭ（ｉ
、４）「ｉ＝０〜１４９］に格納されている。従って、
変数ＩＭに対するアドレス（１，２）は、エリアセンサ
上では、位置（Ｉ，Ｊ−２）となる。

【００７１】ステップ（＃２０２）にて、Ｐ像の条件を
満足する像データがあった場合、ステップ（＃２０３）
以降へ分岐し、ない場合には外側のループ変数Ｉがカウ
ントアップされる。

【００７２】ステップ（＃２０３）以降は、２個のＰ像
の存在範囲（Ｘ軸方向の範囲［ＩＰ１〜ＩＰ２］，Ｙ軸
方向の範囲［ＪＰ１〜ＪＰ２］）を決定する処理である
。

【００７３】先ず、ステップ（＃２０３）では、エリア
センサの横方向（Ｘ軸）の位置を表す変数Ｉと変数ＩＰ
１を比較し、Ｉ＜ＩＰ１ならば、ステップ（＃２０４）
へ分岐する。即ち，Ｐ像の存在範囲のうち、横方向の左
方にあるＰ像位置ＩＰ１の位置よりも、変数Ｉの位置の
方が左にあれば、ＩＰ１を書換えようとするものである
。

【００７４】ステップ（＃２０４）では、変数ＩＰ１に
変数Ｉの値を格納し、そのときの縦方向の位置（Ｊ−２
）を変数ＪＰ１に格納する。

【００７５】ステップ（＃２０５）、（＃２０６）では
、Ｐ像存在範囲のうち、横方向の右方にあるＰ像位置Ｉ
Ｐ２と、その縦方向位置を表すＪＰ２の更新の判定を行
う。

【００７６】以上のようにして、ステップ（＃２０１）
のループ処理で、横方向（Ｘ軸）の位置Ｉが０から１４
９までの１ラインの処理が終了すると、次のステップ（
＃２０７）へ移行する。

【００７７】ステップ（＃２０７）では、後の処理で参
照する変数ＸＰ１、ＸＰ２、ＹＰ１、ＹＰ２を図中の式
の如く計算する。

【００７８】これらの変数の意味については図１２の説
明のところで詳述するが、簡単に述べるならば、瞳孔中
心を検出する際に、Ｐ像位置周辺に発生する偽の瞳孔エ
ッジ情報を排除するために使用するものである。

【００７９】ステップ（＃２０７）の処理が終了すると
、次のステップ（＃２０８）でサブルーチン「Ｐ像の検
出」をリターンする。

【００８０】再び図６のフローチャートに戻る。

【００８１】ステップ（＃００９）のサブルーチン「Ｐ
像の検出」が完了すると、次のステップ（＃０１０）で
サブルーチン「瞳孔エッジの検出」を実行する。

【００８２】「瞳孔エッジの検出」は眼球反射像中の瞳
孔エッジ（虹彩と瞳孔の境界）の位置の検出を行うサブ
ルーチンであり、図９にそのフローチャートを示してい
る。

【００８３】サブルーチン「瞳孔エッジの検出」がコー
ルされると、ステップ（＃３００）を経て、次のステッ
プ（＃３０１）のループ処理が実行される。ステップ（
＃３０１）は図８のステップ（＃２０１）と同様に、エ
リアセンサの横方向（Ｘ軸）の位置を表す変数Ｉをルー
プ変数とするループ処理である。

【００８４】ステップ（＃３０１）のループ処理内では
、像データ中に瞳孔のエッジを表す特徴があるかどうか
を検索し、もしあればあ、その位置情報を記憶する。 瞳孔エッジ位置情報は、配列変数ＥＤＧＤＴ（ｍ、ｎ）
に格納される。

【００８５】配列変数ＥＤＧＤＴ（ｍ、ｎ）のデータ形
式は以下のように設定している。

【００８６】ＥＤＧＤＴ（ｍ、１）…ｍ番目のエッジ点
の輝度 ＥＤＧＤＴ（ｍ、２）…ｍ番目のエッジ点のＸ軸座標Ｅ
ＤＧＤＴ（ｍ、３）…ｍ番目のエッジ点のＹ軸座標

【０
０８７】ｍは瞳孔エッジ検出の逐次処理の過程で見つか
ったエッジ点の順番である。従って、エッジがＭ個検出
されれば、配列変数ＥＤＧＤＴの容量は［Ｍ×３］バイ
程が必要となる。フローチャートでは、エッジの検出個
数は変数ＥＤＧＣＮＴでカウントしている。

【００８８】さて、ループ内の最初のステップ（＃３０
２）では、像データＩＭ（Ｉ、２）の近傍に、過去に検
出されたエッジ点があるが否かを判定している。もう少
し詳しく説明すると次のようになる。

【００８９】外側のループ処理のループ変数Ｉは、エリ
アセンサの横方向（Ｘ軸）の位置を表し、像データを格
納している配列変数ＩＭ（ｉ、ｋ）に対するアドレス（
Ｉ、２）は、いま正に瞳孔エッジであるが否かを検定し
ようとしている点（画素の座標）である。この（Ｉ、２
）の点に隣接する各点が、過去の逐次処理の過程で瞳孔
エッジと判定されたかどうかを、エッジ位置情報を格納
している配列変数ＥＤＧＤＴ（ｍ、ｎ）から調べようと
するものである。

【００９０】ステップ（＃３０２）の判定条件を具体的
に記述すると、次のような条件となる。

【００９１】ステップ（＃３０２）の「判定条件」｛Ｅ
ＤＧＤＴ（ｍ、２）、ＥＤＧＤＴ（ｍ、３）｝＝｛（Ｉ
−１）、（Ｊ−２）｝ あるいは＝｛（Ｉ−１）、（Ｊ−３）｝あるいは＝｛（
Ｉ）、（Ｊ−３）｝ あるいは＝｛（Ｉ＋１）、（Ｊ−３）｝なる｛ＥＤＧＤ
Ｔ（ｍ、２）、ＥＤＧＤＴ（ｍ、３）｝が存在する。

【００９２】但し、ｍ＝０〜（ＥＤＧＣＮＴ−１）

【０
０９３】現在検定しようとしている座標は｛（Ｉ）、（
Ｊ−２）｝であるから、上記座標は現在座標に対して順
に左隣、左上隣、上隣、右上隣の位置を表している。

【００９４】また、ＥＤＧＤＴ（ｍ、２）、ＥＤＧＤＴ
（ｍ、３）はそれぞれｍ番目のエッジ点のＸ軸座標、Ｙ
軸座標を表わしているから、結局上記条件は、現在座標
の左隣、左上隣、上隣、右上隣の位置にエッジ点があっ
たかどうかを判定していることになる。

【００９５】ステップ（＃３０２）において、座標（Ｉ
、Ｊ−２）の近傍にエッジ点があると判定された場合に
はステップ（＃３０４）へ、そうでない場合には、ステ
ップ（＃３０３）へ分岐し、それぞれ別の条件を用いて
瞳孔エッジの判定を行う。

【００９６】近傍にエッジ点のない場合について先に説
明する。

【００９７】ステップ（＃３０３）では、現在検定しよ
うとしている座標（Ｉ、Ｊ−２）の像データが瞳孔エッ
ジの条件（ステップ（＃３０３）での判定条件を「エッ
ジ条件１」と称する）を満たすか否かを判定している。 座標（Ｉ、Ｊ−２）の像データは配列変数ＩＭ（Ｉ、２
）に格納されていることに留意されたい。

【００９８】判定条件は以下のようになる。

【００９９】ステップ（＃３０３）の「エッジ条件１」
１．｛ＩＭ（Ｉ−１、２）−ＩＭ（Ｉ、２）｝＞Ｃ３　
　かつ｛ＩＭ（Ｉ−２、２）−ＩＭ（Ｉ−１、２）｝＜
Ｃ３　　かつＩＭ（Ｉ、２）＜ａ ２．｛ＩＭ（Ｉ＋１、２）−ＩＭ（Ｉ、２）｝＞Ｃ３　
　かつ｛ＩＭ（Ｉ＋２、２）−ＩＭ（Ｉ＋１、２）｝＞
Ｃ３　　かつＩＭ（Ｉ、２）＜ａ ３．｛ＩＭ（Ｉ、１）−ＩＭ（Ｉ、２）｝＞Ｃ３　　か
つ｛ＩＭ（Ｉ、０）−ＩＭ（Ｉ、１）｝＞Ｃ３　　かつ
ＩＭ（Ｉ、２）＜ａ ４．｛ＩＭ（Ｉ、３）−ＩＭ（Ｉ、２）｝＞Ｃ３　　か
つ｛ＩＭ（Ｉ、４）−ＩＭ（Ｉ、３）｝＞Ｃ３かつＩＭ
（Ｉ、２）＜ａ

【０１００】上記１〜４を満足すれば、座標（Ｉ、Ｊ−
２）をエッジ点と見なす、但し、ａ＝ＥＹＥＭＩＮ＋Ｃ
４で、ＥＹＥＭＩＮは現在の逐次処理までの像データ中
の最低輝度値である。

【０１０１】しきい値Ｃ３、Ｃ４は、例えば、Ｃ３＝３
、Ｃ４＝２０である。

【０１０２】上記条件は、瞳孔エッジ（虹彩と瞳孔の境
界）においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
としてとらえている。１と２の条件はエリアセンサの横
方向（Ｘ軸）のエッジを抽出し、３と４の条件は縦方向
（Ｙ軸）のエッジを抽出する。

【０１０３】座標（Ｉ、Ｊ−２）が瞳孔エッジ点として
抽出された場合には、ステップ（＃３０３）からステッ
プ（＃３０５）へ分岐し、エッジ点の輝度値と座標を記
憶する。

【０１０４】ステップ（＃３０５）では、エッジ位置情
報格納用の配列変数ＥＤＧＤＴ（ｍ、ｋ）に次のように
情報を格納する。

【０１０５】ＥＤＧＤＴ（ＥＤＧＣＮＴ、１）←ＩＭ（
Ｉ、２） ＥＤＧＤＴ（ＥＤＧＣＮＴ、２）←Ｉ ＥＤＧＤＴ（ＥＤＧＣＮＴ、３）←Ｊ−２

【０１０６】
ＩＭ（Ｉ、２）はＥＤＧＣＮＴ番目に検出されたエッジ
点の輝度、Ｉは同Ｘ座標、（Ｊ−２）は同Ｙ座標である
。

【０１０７】そして、検出されたエッジ点の個数をカウ
ントする変数ＥＤＧＣＮＴを１つカウントアップする。

【０１０８】ステップ（＃３０５）の処理が終了すると
、外側のループ処理のループ変数Ｉ（横方向、Ｘ軸の座
標を表す）をカウントアップし、再びステップ（＃３０
２）以降のフローチャートを実行する。

【０１０９】さて、ステップ（＃３０２）において、現
在座標（Ｉ、Ｊ−２）の近傍にエッジ点があると判定さ
れた場合について説明する。

【０１１０】その場合、ステップ（＃３０４）へ分岐し
、ステップ（＃３０３）と同じように、現在検定しよう
としている座標（Ｉ、Ｊ−２）の像データが瞳孔エッジ
の条件（ステップ（＃３０４）での判定条件を「エッジ
条件２」と称する）を満たすか否かを判定する。

【０１１１】ここで、「エッジ条件２」は「エッジ条件
１」よりも、いわば緩い条件を設定してある。本実施例
では、条件式に同じで、しきい値Ｃ３、Ｃ４をそれぞれ
Ｃ３′、Ｃ４′とし、次のように変えている。

【０１１２】Ｃ３′＝２、Ｃ４′＝３０上のように設定
することで、「エッジ条件１」よりもエッジと判定され
る率が上昇する。

【０１１３】エッジ条件をこのように２種類用意する理
由は、そもそもエッジ点は孤立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じくエッジ点である可能性が高い
であろう、という観点に基づいている。

【０１１４】ステップ（＃３０４）の「エッジ条件２」
でエッジ点と判定された場合には、ステップ（＃３０５
）へ分岐して、その座標の情報を記憶する。

【０１１５】以上のようにして、ループ変数Ｉが１４９
となるまで、ステップ（＃３０１）のループ処理が実行
され、エリアセンサの横方向（Ｘ軸）の１ライン分のエ
ッジ検出の処理が終了すると、ステップ（＃３０６）へ
移行し、サブルーチン「瞳孔エッジの検出」をリターン
する。

【０１１６】再び図６の説明に戻る。

【０１１７】ステップ（＃０１０）のサブルーチン「瞳
孔エッジの検出」が完了すると、外側のループ処理ステ
ップ（＃００６）のループ変数Ｊ（エリアセンサの縦方
向、Ｙ軸の座標を表す）がカウントアップされ、Ｊが９
９となるまで、再びステップ（＃００７）以降の処理が
実行される。

【０１１８】ループ変数Ｊが９９となり、エリアセンサ
の全画素の読み込みと処理が終了すると、ステップ（＃
００６）からステップ（＃０１１）へ移行する。

【０１１９】ステップ（＃０１１）〜（＃０１３）では
、ステップ（＃００６）のループ処理内で検出されたＰ
像位置および瞳孔エッジ情報から、瞳孔の中心座標の検
出と視線の検出を行う。

【０１２０】先ず、ステップ（＃０１１）ではサブルー
チン「瞳孔推定範囲の設定」をコールする。

【０１２１】ステップ（＃０１０）のサブルーチン「瞳
孔エッジの検出」で検出された複数の瞳孔エッジ点には
、実際に瞳孔円（虹彩と瞳孔の境界が形成する円）を表
しているエッジ点以外にも、種々のノイズによって発生
した偽のエッジ点も含まれている。

【０１２２】「瞳孔推定範囲の設定」は、上記偽のエッ
ジ点を排除するために、Ｐ像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図１０に示している。

【０１２３】サブルーチン「瞳孔推定範囲の設定」がコ
ールされると、ステップ（＃４００）を経て、ステップ
（＃４０１）を実行する。

【０１２４】ステップ（＃４０１）では、先に「Ｐ像の
検出」サブルーチンで説明したＰ像位置範囲、即ち、横
方向（Ｘ軸）にＩＰ１〜ＩＰ２、縦方向（Ｙ軸）にＪＰ
１〜ＪＰ２の情報を用いて、瞳孔円の座標範囲ＩＳ１、
ＩＳ２、ＪＳ１、ＪＳ２を次の式に従って計算する。

【０１２５】ＩＳ１←ＩＰ１−２０ ＩＳ２←ＩＰ２＋２０ ＪＳ１←（ＪＰ１＋ＪＰ２）／２−２０ＪＳ２←（ＪＰ
１＋ＪＰ２）／２＋４０

【０１２６】確からしい瞳孔エ
ッジ点は、エリアセンサの横方向（Ｘ軸）の範囲ＩＳ１
〜ＩＳ２、縦方向（Ｙ軸）の範囲ＪＳ１〜ＪＳ２に存在
する点である、と設定する。

【０１２７】本実施例の光学系では、図５（Ａ）に示し
た如く、２個のＰ像は常に瞳孔円の円内の上部に存在す
るようになっており、これから上記計算式が成立する。

【０１２８】ステップ（＃４０１）の計算の後は、ステ
ップ（＃４０２）へ移行し、サブルーチン「瞳孔推定範
囲の設定」をリターンする。

【０１２９】図６に戻って、次にステップ（＃０１２）
のサブルーチン「瞳孔中心の検出」をコールする。

【０１３０】「瞳孔中心の検出」は、確からしい瞳孔エ
ッジ点の座標から、瞳孔円の形状（中心座標と大きさ）
を推定するサブルーチンであり、そのフローチャートを
図１１〜図１３に示した。

【０１３１】瞳孔円の形状の推定には、「最小２乗法」
を用いる。その考え方について先に述べておく。

【０１３２】円の公式は周知のように、中心座標を（ａ
、ｂ）、半径をｃとすると、（ｘ−ａ）２＋（ｙ−ｂ）
２＝ｃ２　　…（１０）で与えられる。

【０１３３】複数の観測点（ｘ１、ｙ１）、（ｘ２、ｙ
２）…（ｘｎ、ｙｎ）から、次式の誤差量ＥＲが最小と
なるようにａ、ｂ、ｃを決定することを考える。

【０１３４】ＥＲ＝Σ［（ｘｉ−ａ）２＋（ｙｉ−ｂ）
２−ｃ２］２　　…（１１）ＥＲは各観測点と、ａ、ｂ
、ｃで決定される円の法線方向の距離（誤差）の２乗和
であり、これを最小する。

【０１３５】ＥＲをａ、ｂ、ｃで各々偏微分し、０とお
く。

【０１３６】

【外２】 但し、ｉ＝１〜ｎとする。

【０１３７】式（１４）より、

【０１３８】

【外３】 式（１５）を式（１３）、（１４）へ代入し、ここで、
　　Ｘ１＝Σｘｉ、Ｘ２＝Σｘｉ２、Ｘ３＝Σｘｉ３…
（１６）〜（１８）　　Ｙ１＝Σｙｉ、Ｙ２＝Σｙｉ２
、Ｙ３＝Σｙｉ３…（１９）〜（２１）　　Ｚ１＝Σｘ
ｉｙｉ、Ｚ２＝Σｘｉ２ｙｉ、Ｚ３＝Σｘｉｙｉ２…（
２２）〜（２４） とおき、さらに、Ｖ１＝Ｘ２−Ｘ１２／ｎ　　…（２５
）Ｖ２＝Ｙ２−Ｙ１２／ｎ　　…（２６）Ｗ１＝Ｘ３＋
Ｚ３　　…（２７） Ｗ２＝Ｙ３＋Ｚ３　　…（２８） Ｗ３＝（Ｘ２＋Ｙ２）／ｎ　　…（２９）Ｗ４＝Ｚ１−
Ｘ１Ｙ１／ｎ　　…（３０）Ｗ５＝（Ｚ１−２・Ｘ１Ｙ
１／ｎ）Ｚ１　　…（３１）Ｗ６＝Ｘ１Ｙ２　　…（３
２） Ｗ７＝Ｘ２Ｙ１　　…（３３） とおいて整理すると、円の中心座標ａ、ｂは

【０１３９
】

【外４】 で計算される。

【０１４０】また、視線（注視点）の計算には直接関係
はないが、半径ｃは、 　　ｃ＝［Ｗ３−２（ａＸ１＋ｂＹ１）／ｎ＋ａ２＋ｂ
２］１／２…（３６）で計算される。

【０１４１】本発明の実施例では、さらに誤差量ＥＲを
瞳孔中心検出の信頼性判定に用いており、ＥＲは次の計
算式で与えられる。

【０１４２】ＥＲ＝Ｘ４−４ａＸ３＋２（２ａ２＋ｄ）
Ｘ２−４ａｄＸ１＋Ｙ４−４ｂＹ３＋２（２ｂ２＋ｄ）
Ｙ２−４ｂｄＹ１＋２（Ｚ４−２ａＺ３−２ｂＺ２＋４
ａｂＺ１）＋ｄ２ｎ…（３７）但し、Ｘ４＝Σｘｉ４　
　…（３８） Ｙ４＝Σｙｉ４　　…（３９） Ｚ４＝Σｘｉ２ｙｉ２　　…（４０） ｄ＝ａ２＋ｂ２−ｃ２　　…（４１） としている。

【０１４３】さて、以上のような数値計算の裏付けに従
って、図１１〜図１３のフローチャートの説明を行う。

【０１４４】サブルーチン「瞳孔中心の検出」がコール
されると、ステップ（＃５００）を経て、ステップ（＃
５０１）の「円の最小２乗推定」サブルーチンをコール
する。

【０１４５】「円の最小２乗推定」は上記式に従って、
瞳孔円の中心座標（ａ、ｂ）と誤差量ＥＲを計算するサ
ブルーチンであり、そのフローチャートを図１２に示し
ている。同サブルーチンでは、さらに最低輝度値の見直
しと、Ｐ像による偽の瞳孔エッジの排除を行っている。

【０１４６】サブルーチン「円の最小２乗推定」がコー
ルされると、ステップ（＃６００）を経て、ステップ（
＃６０１）へ移行する。

【０１４７】ステップ（＃６０１）では上述した最小２
乗推定式のワーク変数の初期化を行っている。

【０１４８】次のステップ（＃６０２）は変数Ｌをルー
プ変数とするループ処理であり、記憶している瞳孔エッ
ジ情報を元に最小２乗法の計算の前半を行う部分である
。

【０１４９】いま、瞳孔エッジ点として、（ＥＤＧＣＮ
Ｔ−１）個の情報が配列変数ＥＤＧＤＴに記憶されてい
る。ループ変数Ｌは記憶された順番を表している。

【０１５０】ループ処理内の最初のステップ（＃６０３
）では、Ｌ番目のエッジ点の輝度値ＥＤＧＤＴ（Ｌ、１
）と（ＥＹＥＭＩＮ＋Ｃ５）を比較し、輝度値の方が大
きければ分岐し、現在のループ変数Ｌの処理を終了する
。

【０１５１】本実施例では、エリアセンサの光電変換信
号を読み込みながら、逐次的な処理を行っているため、
エッジ点検出の部分で使用している最低輝度値も、その
時点までの最低輝度値に過ぎない。故に、エッジ点とし
て検出された点も、実は本当の最低輝度値で判定された
ものではなく、実際にはエッジ点としてふさわしくない
点も含まれている可能性がある。そこで、このステップ
の目的は、最終的に決定された最低輝度値に基づいて、
もう一度最低輝度の判定にかけ、瞳孔エッジとしてふさ
わしくない点を排除しようとするものである。

【０１５２】しきい値Ｃ５としては、例えば、Ｃ５＝２
０である。

【０１５３】ステップ（＃６０３）にて、輝度値が小さ
いと判断された場合は、ステップ（＃６０４）へ移行し
、横方向（Ｘ軸）座標と縦方向（Ｙ軸）座標をそれぞれ
変数Ｘ、Ｙに一時的に格納する。

【０１５４】次のステップ（＃６０５）では、Ｌ番目の
エッジ点の横方向座標Ｘが、横方向の範囲ＩＳ１〜ＩＳ
２に適合しているか否かを判定する。ＩＳ１、ＩＳ２は
サブルーチン「瞳孔推定範囲の設定」で求められた値で
あり、この範囲に入っていないエッジ点は瞳孔のエッジ
点として認めないように分岐し、現在のループ変数Ｌの
処理を終了する。

【０１５５】その次のステップ（＃６０６）は、今度は
縦方向について同様の判定を行っている。

【０１５６】Ｌ番目のエッジ点が瞳孔推定範囲に存在し
ていれば、ステップ（＃６０７）へ移行する。

【０１５７】ステップ（＃６０７）、（＃６０８）は、
Ｌ番目のエッジ点の座標がＰ像の近傍であるかどうかを
判断している。

【０１５８】ＸＰ１、ＸＰ２、ＹＰ１、ＹＰ２はサブル
ーチン「Ｐ像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲ＸＰ１〜ＸＰ２、縦方向の範囲Ｙ
Ｐ１〜ＹＰ２に入っている場合には分岐し、現在のルー
プ変数Ｌの処理を終了するようにしている。これは、本
実施例の光学系では、２個のＰ像が瞳孔円内の上部に存
在するようになっているため、スポツト像的な形状をし
ているＰ像の「すそ」の部分が、前述した瞳孔エッジの
条件に適合し易く、偽の瞳孔エッジとして検出されてし
まっているのを排除するためである。

【０１５９】以上のステップ（＃６０３）〜（＃６０８
）の判定をパスしたエッジ点の座標情報が、ステップ（
＃６０９）における最小２乗法の計算に供される。

【０１６０】ステップ（＃６０９）の計算は前述の式（
１６）〜（２４）、（３８）〜（４０）を実行し、さら
に、計算に用いたエッジ点の個数Ｎをカウントアップす
る。

【０１６１】ステップ（＃６０２）のループ処理にて、
記憶していたエッジ点（ＥＤＧＣＮＴ−１）個の処理が
総て終了すると、ステップ（＃６１０）へ移行する。

【０１６２】ステップ（＃６１０）では、式（２５）〜
（３５）、（３７）〜（４１）を計算し、瞳孔円の中心
座標（ａ、ｂ）と誤差量ＥＲを求める。

【０１６３】そして、次のステップ（＃６１１）へ移行
し、サブルーチン「円の最小２乗推定」をリターンする
。

【０１６４】図１１に戻って、ステップ（＃５０１）の
サブルーチン「円の最小２乗推定」を完了すると、次の
ステップ（＃５０２）へ移行する。

【０１６５】ステップ（＃５０２）では、円の推定に用
いたデータの個数Ｎをしきい値ＮＴＨＲと比較し、Ｎ＜
ＮＴＨＲならば、データ数が少ないため結果の信頼性が
低いと見なして、ステップ（＃５１２）へ分岐し、検出
失敗であるとする。

【０１６６】ＮＴＨＲとしては、例えば、ＮＴＨＲ＝３
０である。

【０１６７】ステップ（＃５０２）にて、Ｎ≧ＮＴＨＲ
ならば、次のステップ（＃５０３）にて、誤差量ＥＲと
しきい値ＥＲＴＨＲを比較する。

【０１６８】ＥＲ＜ＥＲＴＨＲならば、誤差が小さく、
検出結果が充分信頼できるものと見なして、ステップ（
＃５１４）へ分岐し、検出成功であるとする。

【０１６９】しきい値ＥＲＴＨＲとしては、例えば、Ｅ
ＲＴＨＲ＝１００００である。

【０１７０】ステップ（＃５０３）において、ＥＲ≧Ｅ
ＲＴＨＲならば、データ数が充分にも拘らず誤差が大き
すぎるとして、ステップ（＃５０４）以下の再計算を実
施する。誤差が大きくなった原因としては、瞳孔円以外
の偽のエッジ点を計算に入れてしまったことが考えられ
、各エッジ点の座標の内、縦／横方向で端の座標のエッ
ジ点を計算から除外していって、誤差が減少するかどう
かを調べてゆく。

【０１７１】ステップ（＃５０４）ではサブルーチン「
円の最小２乗推定　　再計算１」をコールする。

【０１７２】「円の最小２乗推定　　再計算１」は、最
小２乗推定の計算に用いたエッジ点の内、エリアセンサ
の縦方向上部に在るエッジ点（全体の５分の１）を除外
して、再び最小２乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図１３に示す。

【０１７３】サブルーチン「円の最小２乗推定　　再計
算１」がコールされると、ステップ（＃７００）を経て
、次のステップ（＃７０１）にて図中のように変数の格
納を行う。

【０１７４】変数ＸＳ１〜ＺＳ４は、ステップ（＃５０
１）で計算した全エッジ点をしようしたときの対応する
ワーク変数の値を記憶する。そして、除外するエッジ点
の個数を全エッジ点の個数Ｎの５分の１として変数Ｍに
記憶しておく。

【０１７５】次のステップ（＃７０２）ではステップ（
＃６０１）と同様に計算のワークを初期化し、ステップ
（＃７０３）へ移行する。

【０１７６】ステップ（＃７０３）はステップ（＃６０
２）と同様のループ処理であり、このループ内で除外す
るエッジ点の最小２乗法の計算を行う。

【０１７７】本発明の実施例では、エリアセンサを縦方
向上部から読み込む構成にしているから、エッジ情報を
記憶している配列変数ＥＤＧＤＴ（ｍ、ｋ）には、縦方
向の上部のエッジから順に格納されている。従って、Ｅ
ＤＧＤＴ（ｍ、ｋ）のｍを０からアップカウントしてい
けば、縦方向上のエッジ点から取り出せることになる。

【０１７８】さて、ステップ（＃７０３）のループ内の
最初のステップ（＃７０４）ではエッジ点（Ｘ、Ｙ）が
瞳孔エッジとして有効か否かを判別しているが、これは
ステップ（＃６０３）〜（＃６０８）と全く同様である
。

【０１７９】瞳孔エッジ点として有効と見なされた場合
にはステップ（＃７０５）へ移行し、これもまたステッ
プ（＃６０９）と同じ計算を実行する。

【０１８０】そして、次のステップ（＃７０６）にて、
新たに計算したエッジ点の個数Ｎと除外すべきエッジ点
の個数Ｍを比較し、Ｍ個の計算が終了すれば分岐し、外
側のステップ（＃７０３）のループ処理を中止する。Ｍ
個に達していない場合は、ループ変数Ｌをカウントアッ
プし、再びステップ（＃７０４）移行の処理を続行する
。

【０１８１】Ｍ個の計算が終了するとステップ（＃７０
８）へ分岐し、瞳孔円の中心（ａ、ｂ）および誤差量Ｅ
Ｒ′を再計算する。再計算の式は次のようになる。

【０１８２】Ｘ１＝Ｘ１Ｓ−Ｘ１…（１６′）Ｘ２＝Ｘ
２Ｓ−Ｘ２…（１７′） Ｘ３＝Ｘ３Ｓ−Ｘ３…（１８′） Ｙ１＝Ｙ１Ｓ−Ｙ１…（１９′） Ｙ２＝Ｙ２Ｓ−Ｙ２…（２０′） Ｙ３＝Ｙ３Ｓ−Ｙ３…（２１′） Ｚ１＝Ｚ１Ｓ−Ｚ１…（２２′） Ｚ２＝Ｚ２Ｓ−Ｚ２…（２３′） Ｚ３＝Ｚ３Ｓ−Ｚ３…（２４′） Ｘ４＝Ｘ４Ｓ−Ｘ４…（３８′） Ｙ４＝Ｙ４Ｓ−Ｙ４…（３９′） Ｚ４＝Ｚ４Ｓ−Ｚ４…（４０′）

【０１８３】そして、式（２５）〜（３５）、（３７）
〜（４１）を計算し直せば、新たな瞳孔中心（ａ、ｂ）
と誤差量ＥＲ′を得ることが出来る。式（１６）〜（４
０）はもともと逐次形式になっているため、再び全デー
タを計算し直す必要はなく、除外したいデータの加算（
あるいは累乗加算）を計算して、元の値から減算すれば
済む。

【０１８４】再計算が終った後は、ステップ（＃７０９
）へ移行し、サブルーチン「円の最小２乗推定　　再計
算１」をリターンする。

【０１８５】図１１に戻って、ステップ（＃５０４）を
完了すると、ステップ（＃５０５）へ移行し、再計算し
た誤差量ＥＲ′としきい値ＥＲＴＨＲを比較する。ＥＲ
′が小さい場合は、除外操作が効を奏したものとして、
ステップ（＃５１４）へ分岐し、検出成功とする。

【０１８６】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５０６）へ移行し、別のサブルーチン「円の最
小２乗推定　　再計算２」をコールする。

【０１８７】「円の最小２乗推定　　再計算２」は、最
小２乗推定の計算に用いたエッジ点の内、エリアセンサ
の縦方向下部に在るエッジ点（全体の５分の１）を除外
して、再び最小２乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図１３（Ｂ）に示す。

【０１８８】「再計算２」は「再計算１」とほとんど同
様であるが、「再計算１」と違って縦方向下部のエッジ
点から除外してゆくようにするため、ステップ（＃７１
２）においてループ変数Ｌを（ＥＤＧＣＮＴ−１）から
ダウンカウントさせている。その他は「再計算１」と全
く同様であるため、説明を省略する。

【０１８９】再び図１１に戻って説明を続ける。

【０１９０】ステップ（＃５０６）のサブルーチン「円
の最小２乗推定　　再計算２」を完了すると、ステップ
（＃５０７）へ移行し、再計算した誤差量ＥＲ′としき
い値ＥＲＹＨＲを比較する。ＥＲ′が小さい場合は、除
外操作が有効であったものとして、ステップ（＃５１４
）へ分岐し、検出成功と見なす。

【０１９１】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５０８）へ移行し、さらに別のサブルーチン「
円の最小２乗推定　　再計算３」をコールする。

【０１９２】「円の最小２乗推定　　再計算３」では、
今度は最小２乗推定の計算に用いたエッジ点の内、エリ
アセンサの横方向左部に在るエッジ点（全体の５分の１
）を除外して、再び最小２乗推定の計算を行うサブルー
チンであり、そのフローチャートを図１３（Ｃ）に示す
。

【０１９３】サブルーチン「再計算３」がコールされる
と、ステップ（＃７２０）を経て、ステップ（＃７２１
）にて、エッジ情報を記憶している配列変数ＥＤＧＤＴ
（ｍ、ｋ）の並べ換えを行う。

【０１９４】先にも説明したように、ＥＤＧＤＴ（ｍ、
ｋ）にはエリアセンサの縦方向のエッジ点から順に格納
されているため、横方向に注目して処理を行うためには
、ＥＤＧＤＴに格納されているデータの並べ換えが必要
である。

【０１９５】ＥＤＧＤＴ（ｍ、２）にはエッジ点の横方
向（Ｘ軸座標）の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、ＥＤＧＤＴに
は横方向の左からの順となったエッジ情報が再格納が可
能である。

【０１９６】並べ換えを実行すると、ステップ（＃７０
２）へ分岐し、後は「再計算１」と全く同様の処理を行
えば、エリアセンサの横方向左右のエッジ点を除外した
再計算ができる。

【０１９７】再び、図１１に戻って、ステップ（＃５０
８）のサブルーチン「円の最小２乗推定　　再計算３」
を完了すると、ステップ（＃５０９）へ移行し、再計算
した誤差量ＥＲ′としきい値ＥＲＴＨＲを比較する。Ｅ
Ｒ′が小さい場合は、除外操作が有効であったものとし
て、ステップ（＃５１４）へ分岐し、検出成功と見なす
。

【０１９８】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５１０）へ移行し、さらに別のサブルーチン「
円の最小２乗推定　　再計算４」をコールする。

【０１９９】「円の最小２乗推定　　再計算４」では、
今度は最小２乗推定の計算に用いたエッジ点の内、エリ
アセンサの横方向右部に在るエッジ点（全体の５分の１
）を除外して、再び最小２乗推定の計算を行うサブルー
チンであり、そのフローチャートを図１３（Ｄ）に示す
。

【０２００】いま配列変数ＥＤＧＤＴ（ｍ、ｋ）には、
横方向の左から順のエッジ点が格納されているから、右
から順にエッジ点を除外しようとすれば、ＥＤＧＤＴ（
ｍ、ｋ）を「再計算２」と同じように取り扱えば良い。 そこで、サブルーチン「再計算４」をコールされれば直
ちにステップ（＃７１１）へ分岐して、「再計算２」と
同様の処理を行うようにしている。

【０２０１】再び、図１１に戻って説明を続ける。

【０２０２】ステップ（＃５１０）のサブルーチン「円
の最小２乗推定　　再計算４」を完了すると、ステップ
（＃５１１）へ移行し、再計算した誤差量ＥＲ′としき
い値ＥＲＴＨＲを比較する。ＥＲ′が小さい場合は、除
外操作が有効であったものとして、ステップ（＃５１４
）へ分岐し、検出成功と見なす。

【０２０３】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５１２）へ移行し、上述の操作が有効に働かな
かったものとして、ステップ（＃５１２）へ移行し、検
出失敗とする。

【０２０４】ステップ（＃５１２）あるいは（＃５１４
）で瞳孔中心の検出が最終判断されると、ステップ（＃
５１３）あるいは（＃５１５）でサブルーチン「瞳孔中
心の検出」をリターンする。

【０２０５】図１４に本発明の実施例の最小２乗推定の
一例を紹介しておく。

【０２０６】図中の●が１つのエッジ点を表し、これら
のエッジ点に基づいて瞳孔円を推定したものである。

【０２０７】図６の説明に戻る。

【０２０８】ステップ（＃０１２）での「瞳孔中心の検
出」が完了すると、ステップ（＃０１３）へ移行し、サ
ブルーチン「視線の検出」をコールする。

【０２０９】「視線の検出」は、これまでの処理で検出
したＰ像位置および瞳孔円の中心位置から、視線（注視
点）を検出するサブルーチンである。

【０２１０】基本的には、前述した公知例と同様に、式
（２）に従って、眼球光軸の回転角θを計算すれば良い
。

【０２１１】本発明の実施例では、瞳孔中心を横方向（
Ｘ軸）、縦方向（Ｙ軸）の２次元で検出しているので、
公知例のように横方向のみではなく、縦方向の視線の方
向も横方向の検出と同様な考え方で、検出することがで
きる。

【０２１２】視線の検出が完了すると、ステップ（＃０
１４）へ移行し、一連の処理を終了する。

【０２１３】

【発明の効果】以上説明したように、本発明によれば、
エリアセンサの全画素数よりも少ないメモリ容量しか有
しないシステムにおいても、像情報を総て同時に格納す
ることなく、逐次的に処理を行うことが出来るので、小
型・低コストの視線検出装置を提供することが可能とな
る。

【図面の簡単な説明】

【図１】本発明に関する視線検出装置を搭載したＡＦ（
オートフォーカス）カメラの概略図。

【図２】焦点検出系の斜視図。

【図３】本発明に関する視線検出系の斜視図。

【図４】本発明に関し、視線を検出するための原理を説
明するための原理図。

【図５】本発明に関し、エリアセンサーの光強度分布を
示す図。

【図６】本発明に関し、視線を検出するためのフローチ
ャート図。

【図７】エリアセンサーの１ライン（Ｘ軸方向）の読み
込み動作を示すフローチャート図。

【図８】Ｐ像を検出するためのフローチャート図。

【図９】瞳孔エッジのポイントを検出するフローチャー
ト図。

【図１０】瞳孔円の推定範囲を設定するフローチャート
図。

【図１１】瞳孔円の検出を果たすためのフローチャート
図。

【図１２】検出された瞳孔エッジの複数のポイントから
瞳孔円を導出するに適切なポイントを選択するフローチ
ャート図。

【図１３】瞳孔円を算出するにあたり、不適切と考えら
れる瞳孔エッジのポイントを排除するためのフローチャ
ート図。

【図１４】本発明に関し、複数のエッジポイントとこの
エッジポイントから算出した瞳孔円を示す図。

【図１５】視線を検出するための原理を説明するための
図。

【符号の説明】

１　　接眼連部 ４　　受光レンズ ５ａ、５ｂ　　角膜反射像発生用の照明手段としての赤
外発光ダイオード ５ｃ、５ｄ　　虹彩情報検出用の照明手段としての赤外
発光ダイオード ６　　光電素子列（エリアセンサ） ２１　　角膜 ２２　　眼球 ２３　　虹彩 ２４　　瞳孔 １０１　　撮影レンズ １０２　　跳ね上げミラー １０３　　表示素子 １０４　　ピント板 １０５　　コンデンサーレンズ １０６　　ペンタタハプリズム

Claims (4)

【特許請求の範囲】
1. 【請求項１】　　観察者の眼球像を受光する受光手段と
   、受光手段から時系列的に出力される光電変換信号を記
   憶する記憶手段と、受光手段からの光電変換信号の時系
   列出力中に前記記憶手段に記憶された情報を処理する処
   理手段と、前記処理手段の結果に基づいて観察者の視線
   方向を検出する検出手段と、を有することを特徴とする
   視線検出装置。
2. 【請求項２】　　前記記憶手段は、前記受光手段からの
   光電変換信号の時系列出力中に記憶情報を更新してゆく
   こと、を特徴とする請求項１の視線検出装置。
3. 【請求項３】　　前記処理手段は、眼球像中の瞳孔部と
   虹彩部の境界部分を抽出する処理を行うこと、を特徴と
   する請求項１ならびに請求項２に記載の視線検出装置。
4. 【請求項４】　　観察者の眼球からの光を複数の光電変
   換素子列で受光する受光手段、前記受光手段の一部の光
   電変換素子列の光電変換信号を記憶する第１の記憶手段
   、眼球の特徴点を示す光電変換信号を出力する光電変換
   素子の位置情報を記憶する第２の記憶手段、前記第１の
   記憶手段の一部の光電変換信号の記憶情報を消去し新た
   な光電変換素子列の光電変換信号を前記第１の記憶手段
   に記憶させる処理を行う信号処理手段、前記第２の記憶
   手段の前記位置情報に基づいて視線方向を検出する検出
   手段を具備することを特徴とする視線検出装置。