JPH0956679A - 画像処理装置及び光学装置 - Google Patents

Abstract

(57)【要約】 【課題】 不正確な瞳孔エッジの検出をしないようにし
ている。 【解決手段】 画像信号を差分する差分演算手段（＃Ｇ
０３）と、差分出力の重心位置を求めてエッジ位置を検
出するエッジ検出手段（＃Ｇ０９）と、重心位置を計算
する範囲を差分出力から求める計算範囲計算手段（＃Ｇ
０３〜＃Ｇ０６）とを備え、前記計算範囲と所定に計算
範囲を比較し、計算範囲が所定の計算範囲より広い場合
は、瞼の持ち上がりと瞳孔エッジの部分がつながった時
であり、この時は重心によるエッジ計算を行わないよう
にしている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、観察者の眼球像の
特徴点を検出する視線検出装置に具備され、瞳孔のエッ
ジ位置を検出する画像処理装置及び該装置を具備したカ
メラ等の光学装置の改良に関するものである。

【０００２】

【従来の技術】従来より、撮影者が観察面上のどの位置
を観察しているかを検出する、いわゆる視線（視軸）を
検出する装置（例えばアイカメラ）が種々提供されてい
る。

【０００３】例えば特開平１−２７４７３６号公報にお
いては、光源からの平行光束を撮影者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置を利用して注視点を求めている。また同公報にお
いて、注視点検出装置を一眼レフカメラに配設し撮影者
の注視点情報を用いて撮影レンズの自動焦点調節を行な
う例を開示している。

【０００４】図１１は視線検出の原理を説明する為の図
であり、同図において、１５は撮影者の眼球、１６は角
膜、１７は虹彩である。

【０００５】以下、この図を用いて視線の検出方法を説
明する。

【０００６】光源１３ｂより放射された赤外光は、観察
者の眼球１５の角膜１６を照射する。このとき、角膜１
６の表面で反射した赤外光の一部により形成される角膜
反射像ｄ（虚像）は受光レンズ１２により集光され、イ
メージセンサ１４上の位置ｄ´に結像する。同様に光源
１３ａにより放射された赤外光は、眼球１５の角膜１６
を照明する。このとき、角膜１６の表面で反射した赤外
光の一部により形成された角膜反射像ｅは受光レンズ１
２により集光され、イメージセンサ１４上の位置ｅ´に
結像する。

【０００７】又、虹彩１７の端部ａ，ｂからの光束は、
受光レンズ１２を介してイメージセンサ１４上の位置ａ
´，ｂ´に該端部ａ，ｂの像を結像する。受光レンズ１
２の光軸に対する眼球１５の光軸の回転角θが小さい場
合、虹彩１７の端部ａ，ｂのｘ座標をｘａ，ｘｂとする
と、瞳孔１９の中心位置ｃの座標ｘｃは、 ｘｃ≒（ｘａ＋ｘｂ）／２ と表される。

【０００８】また、角膜反射像ｄ及びｅの中点のｘ座標
と角膜１６の曲率中心ｏのｘ座標ｘｏとは略一致する。
このため、角膜反射像の発生位置ｄ，ｅのｘ座標をｘ
ｄ，ｘｅ、角膜１６の曲率中心ｏと瞳孔１９の中心ｃま
での標準的な距離をＯＣとすると、眼球１５の光軸１５
ａの回転角θｘは ＯＣ＊ＳＩＮθｘ≒（ｘｄ＋ｘｅ）／２−ｘｃ ………（１） の関係式を略満足する。このためイメージセンサ１４上
に投影された眼球１５の各特徴点（角膜反射像及び瞳孔
の中心）の位置を検出することにより、眼球１５の光軸
１５ａの回転角θを求めることができる。

【０００９】眼球１５の光軸１５ａの回転角は（１）式
より、 β＊ＯＣ＊ＳＩＮθｘ≒｛（ｘｐｏ−δｘ）−ｘｉｃ｝＊ｐｉｔｃｈ ………（２） β＊ＯＣ＊ＳＩＮθｙ≒｛（ｙｐｏ−δｙ）−ｙｉｃ｝＊ｐｉｔｃｈ ………（３） と求められる。ここで、θｘはｚ−ｘ平面内での眼球光
軸の回転角、θｙはｙ−ｚ平面内での眼球光軸の回転角
である。（ｘｐｏ，ｙｐｏ）はイメージセンサ１４上の
２個の角膜反射像の中点の座標、（ｘｉｃ，ｙｉｃ）は
イメージセンサ１４上の瞳孔中心の座標である。ｐｉｔ
ｃｈはイメージセンサ１４の画素ピッチである。また、
βは受光レンズ１２に対する眼球１５の位置により決ま
る結像倍率で、実質的には２個の角膜反射像の間隔の関
数として求められる。

【００１０】δｘ，δｙは角膜反射像の中点の座標を補
正する補正項であり、撮影者の眼球を平行光ではなく発
散光にて照明していることにより生じる誤差を補正する
補正項、及び、δｙに関しては、撮影者の眼球を下瞼の
方から発散光にて照明していることにより生じるオフセ
ット成分を補正する補正項も含まれている。

【００１１】次に、眼球回転角と注視点の座標の関係か
ら撮影者の注視点を求める。眼球回転角と注視点の座標
の関係は、撮影者の眼球光軸の回転角を（θｘ，θｙ）
とすると、撮影者の観察面上の注視点（ｘ，ｙ）は、カ
メラの姿勢が横位置の場合、 ｘ＝ｍ＊（θｘ＋Δ） ………（４） ｙ＝ｍ＊θｙ ………（５） と求められる。ここで、ｘ方向はカメラの姿勢が横位置
の場合の撮影者に対して水平方向、ｙ方向はカメラの姿
勢が横位置の場合の撮影者に対して垂直方向を示してい
る。ｍは眼球の回転角からピント板上の座標に変換する
変換係数、Δは眼球光軸１５ａと視軸（注視点）との成
す角である。この時の変換係数ｍ、Δには個人差がある
ため、この変換係数を含んだ形での個人差補正データを
予め求めておく必要がある。

【００１２】個人差補正データは、撮影者に所定の座標
を注視してもらい、そのときの眼球光軸の回転角を求め
る事で算出する事ができる。この様に個人差補正データ
を求めるための検出動作をキャリブレーションといい、
キャリブレーションにより求めた個人差補正データをキ
ャリブレーションデータという。

【００１３】観察面上（ｘ１，０）を注視したときの眼
球の回転角を（θｘ１，０）、（ｘ２，０）を注視した
ときの眼球の回転角を（θｘ２，０）とすると、以下の
式で個人差データを求める事ができる。

【００１４】 ｍ＝（ｘ１−ｘ２）／（θｘ１−θｘ２） ………（６） Δ＝（ｘ２・θｘ１−ｘ１・θｘ２）／（ｘ１−ｘ２） ………（７） 尚、個人差データの入力は、カメラの姿勢毎に入力する
ことが望ましい。

【００１５】このようにして、角膜反射像や瞳孔の位置
から撮影者の注視点を求めることができるが、センサ上
の眼球像から角膜反射像や瞳孔の位置などの特徴点を求
める方法は、特開平４−３４７１３３号等に提案されて
いる。

【００１６】

【発明が解決しようとする課題】しかしながら、上記特
開平４−３４７１３３号等にて開示されている技術で
は、瞳孔のエッジ部分の近傍にまつ毛がかかった場合に
正しいエッジ位置を検出出来ない。

【００１７】（発明の目的）本発明の目的は、瞳孔のエ
ッジ部分の近傍にまつ毛がかかった場合に、誤った瞳孔
エッジの検出を行うといったことを防止することのでき
る画像処理装置及び光学装置を提供することにある。

【００１８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、画像信号を差分する差分演算手段と、差
分出力の重心位置を求めてエッジ位置を検出するエッジ
検出手段と、重心位置を計算する範囲を差分出力から求
める計算範囲計算手段とを備え、前記計算範囲と所定の
計算範囲を比較し、計算範囲が所定の計算範囲より広い
場合、前記エッジ検出手段によるエッジ検出を行わない
ようにしている。

【００１９】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００２０】図１は本発明の実施の形態に係るカメラ本
体に内蔵された電気回路の要部ブロック図である。

【００２１】カメラ本体に内蔵されたカメラ制御手段で
あるところのマイクロコンピュータの中央処理装置（以
下、ＣＰＵと称す）１００には、視線検出回路１０１，
姿勢検知回路１０２，自動焦点検出回路１０３，信号入
力回路１０４，ＬＣＤ駆動回路１０５，ＬＥＤ駆動回路
１０６，ＩＲＥＤ駆動回路１０７が接続されている。ま
た、不図示ではあるが、視撮影レンズ内に配置された焦
点調節回路、絞り駆動回路とはマウント接点を介して信
号の伝達がなされる。

【００２２】ＣＰＵ１００に付随した記憶手段としての
ＥＥＰＲＯＭ１００ａは、フィルムカウンタその他の撮
影情報を記憶すると共にキャリブレーションを行って得
た個人差補正データを記憶する。

【００２３】視線検出回路１０１は、イメージセンサ
（ＣＣＤ−ＥＹＥ）１４からの眼球像の出力をＣＰＵ１
００に送信する。ＣＰＵ１００はイメージセンサ１４か
らの眼球像信号をＣＰＵ内部のＡ／Ｄ変換手段によりＡ
／Ｄ変換し、この像情報を視線検出に必要な眼球像の各
特徴点を所定のアルゴリズムに従って抽出し、さらに各
特徴点の位置から撮影者の眼球の回転角を算出する。

【００２４】姿勢検知回路１０２は、複数のペアのフォ
トセンサとＬＥＤ（ＨＶ１，ＨＶ２）及び重力により可
動な遮蔽物から成り、重力により遮蔽物が動きフォトセ
ンサの出力が変化することにより姿勢を検知する。該フ
ォトセンサは互いに９０°程度の角度で配置されそれぞ
れ水平軸からも角度をもって配置される。

【００２５】自動焦点検出回路１０３は複数のラインセ
ンサから得た光電変換電圧をＣＰＵ１００に送り、ＣＰ
Ｕ１００では内蔵されたＡ／Ｄ変換装置によってライン
センサ信号を順次Ａ／Ｄ変換し、所定の演算を行って焦
点検出を行う。

【００２６】信号入力回路１０４は、各種スイッチから
の信号入力を行い、スイッチの状態が変化するとＣＰＵ
１００に割り込み信号を発生させる。

【００２７】ＳＷ−１はレリーズ釦の第１ストロークで
ＯＮし、測光，ＡＦ，視線検出動作を開始するスイッ
チ、ＳＷ−２はレリーズ釦の第２ストロークでＯＮする
レリーズスイッチ、ＳＷ−ＭＤＩＡＬはカメラの各種撮
影モードの他、キャリブレーションモードやカメラのロ
ックポジションをを選択するモードダイアルである。Ｓ
Ｗ−ＣＡＬＤＥＬは個人差補正データ消去スイッチであ
る。ＳＷ−ＤＩＡＬ１とＳＷ−ＤＩＡＬ２は電子ダイヤ
ルスイッチで、信号入力回路１０４のアップダウンカウ
ンタに入力され、ここで前記電子ダイヤルの回転クリッ
ク量をカウントする。

【００２８】ＬＣＤ駆動回路１０５はファインダ内ＬＣ
Ｄ２４及びモニタ用ＬＣＤ４２に各種情報を表示する他
に、不図示のブザーを駆動し、ブザー音を発生させる。

【００２９】ＬＥＤ駆動回路１０６はファインダー内の
測距点をスーパーインポーズ照明するためのＬＥＤ２１
（ＬＥＤ−Ｌ２，ＬＥＤ−Ｌ１，ＬＥＤ−Ｃ，ＬＥＤ−
Ｒ１，ＬＥＤ−Ｒ２）を点灯させるための回路である。
ＬＥＤ−Ｌ２，ＬＥＤ−Ｌ１，ＬＥＤ−Ｃ，ＬＥＤ−Ｒ
１，ＬＥＤ−Ｒ２はそれぞれファインダ内の焦点検出マ
ークＦＰ−Ｌ２，ＦＰ−Ｌ１，ＦＰ−Ｃ，ＦＰ−Ｒ１，
ＦＰ−Ｒ２に対応しており、ＬＥＤ２１を点灯させるこ
とによりファインダ内の焦点検出マークが照明される。

【００３０】ＩＲＥＤ駆動回路１０７は、撮影者の眼球
を赤外光で照明するための赤外ＬＥＤ（ＩＲＥＤ−０，
ＩＲＥＤ−１，ＩＲＥＤ−２，ＩＲＥＤ−３，ＩＲＥＤ
−４，ＩＲＥＤ−５，ＩＲＥＤ−６，ＩＲＥＤ−７）を
点灯させるための回路である。この回路には過電流を防
止する為の回路や長時間の通電による事故を防止するた
めの安全回路が組み込まれている。

【００３１】ＩＲＥＤは２つがペアで使用され、眼球に
対して下側から照明される。具体的なＩＲＥＤの位置を
示した図を図２に示す。

【００３２】カメラの姿勢が横位置の場合、裸眼用とし
てＩＲＥＤ−０，ＩＲＥＤ−１が、又眼鏡用としてＩＲ
ＥＤ−４，ＩＲＥＤ−５が、それぞれペアとして使用さ
れ、グリップ上の縦位置では、裸眼用としてＩＲＥＤ−
３，ＩＲＥＤ−０が、又眼鏡用としてＩＲＥＤ−７，Ｉ
ＲＥＤ−４が、それぞれペアとして使用される。また、
グリップ下の縦位置では、裸眼用としてＩＲＥＤ−１，
ＩＲＥＤ−２が、又眼鏡用としてＩＲＥＤ−５，ＩＲＥ
Ｄ−６が、それぞれペアとして使用される。つまり、ど
の姿勢においても裸眼の場合は間隔の狭いＩＲＥＤペア
が使用され、眼鏡や眼球の距離が遠い場合は間隔の広い
ＩＲＥＤペアが使用される。

【００３３】スイッチＳＷ１が押されると、所定の動作
を実行した後、視線メインフローがコールされる。

【００３４】図３のフローチャートを使って、この視線
メインフローの説明を行う。このフローは、視線検出動
作の全体の説明を行うフローチャートである。

【００３５】サブルーチン「視線メイン」がコールされ
ると、ステップ＃Ｍ０１からプログラムを実行してい
く。

【００３６】視線検出ルーチンは、必ずしも１回実行さ
れただけで視線位置を出力するわけではなく、複数回実
行し（何回か制御方法を変えて試してみる）、最終的に
注視点の位置を検出するようになっている。

【００３７】まず、設定されたキャリブレーション番号
をチェックし、キャリブレーション番号に対応した個人
差補正データをＥＥＰＲＯＭ１００ａから読み込む（ス
テップ＃Ｍ０２）。正しくないキャリブレーション番号
や、キャリブレーション番号が設定されていない場合
（視線がＯＦＦになっている場合も含む）のチェックも
行い（ステップ＃Ｍ０３）、正常でなければ（ステップ
＃Ｍ０９）へ分岐し、リターンする。

【００３８】キャリブレーション番号が正しく設定され
ていて、個人差補正データが読み込めたら、視線検出パ
ラメータの初期化を行う（ステップ＃Ｍ０４）。ここで
は、視線検出状態を示すパラメータの初期化を、繰り返
しサブルーチン「視線メイン」が実行される場合の初回
にのみ行う。

【００３９】次に、視線検出用エリアセンサの蓄積をサ
ブルーチン「ＹＢＡＳＩＳ」で行う（ステップ＃Ｍ０
５）。このサブルーチンの中では、眼球を照明するＬＥ
Ｄとその駆動電流の決定を行い、センサの予備蓄積を行
って、視線検出を行うときの蓄積制御を決定する。決定
した蓄積制御方法で眼球像の画像データを得る。

【００４０】次に、画像データの特徴点抽出のためのパ
ラメータの初期化を行う（ステップ＃Ｍ０６）。そし
て、蓄積されたデータを読み出しつつ特徴点を抽出する
サブルーチン「Ｒｅａｄ＿Ｄｅｔｅｃｔ」を実行する
（ステップ＃Ｍ０７）。このサブルーチンの内部動作は
後で詳しく説明する。

【００４１】センサの読み出し及び特徴点抽出が終了す
ると、検出された特徴点から注視点位置の計算をサブル
ーチン「Ｐ＿Ｐｒｏｃｅｓｓ」で行う（ステップ＃Ｍ０
８）。ここでは、「Ｒｅａｄ＿Ｄｅｔｅｃｔ」で求めた
瞳孔エッジ座標から、瞳孔円の中心座標、及び、照明光
の角膜反射像（プルキンエ像：Ｐ像）の座標を使って所
定の計算式から眼球の回転角を求める。眼球の回転角が
検出できたら、個人差補正データを用いてその人の注視
する点を計算する。

【００４２】最後にプログラムをリターンする（ステッ
プ＃Ｍ１０）。

【００４３】１回で注視点が求められない場合は繰り返
し「視線メイン」がコールされ、別の制御方法（照明，
蓄積制御方法，演算パラメータを変えて行う）で視線検
出を行う。

【００４４】次に、上記ステップ＃Ｍ０７において実行
されるサブルーチン「Ｒｅａｄ＿Ｄｅｔｅｃｔ」につい
て、図４のフローチャートにより説明する。サブルーチ
ン「Ｒｅａｄ＿Ｄｅｔｅｃｔ」は、センサの蓄積が終了
した後にコールされる。

【００４５】サブルーチン「Ｒｅａｄ＿Ｄｅｔｅｃｔ」
がコールされると、ステップ＃Ｒ０１から実行してい
く。

【００４６】まず、センサのブロック読み機能を使っ
て、センサ全体を荒くみる（ステップ＃Ｒ０２）。セン
サのブロック読み機能とは、センサの複数の画素をまと
めたデータを出力する機能で、センサ出力を「４×４」
の１６画素を１つのブロックにして出力することができ
る（４×４の平均値を出力）。

【００４７】こうすることにより、例えば「１００×７
０」画素のセンサ出力を、「２５×１８」ブロックのデ
ータで全体の画像を荒く見ることができる。データ数を
少なくすることで「１００×７０」画素のメモリが確保
できなくても、「２５×１８」画素分のメモリを確保す
る事はカメラのような機器の組み込みマイコンでも可能
である。また、ブロック出力がハード的に得られないセ
ンサでもソフト的に平均をもとめデータ数を減らすこと
で同等の演算を行うことができる。また、必ずしも平均
値である必要はなく、全センサ画素を間引いて使っても
よい。

【００４８】次に、ブロック読み出しした画像の最大
値，最小値，平均値を求める（ステップ＃Ｒ０３）。最
大値はプルキンエ像を求める時に使用し、最小値は瞳孔
を探すときに使用する。平均値は、画像全体の明るさの
データとして使用する。

【００４９】ブロック像の最低値と所定の閾値を使って
瞬きの検知を行う（ステップ＃Ｒ０４）。瞬きの最中は
視線検出不能なのでその処理を行う。例えば、今回は視
線検出を中止して次回全く同じ制御で視線検出を行なっ
たりする。

【００５０】次に、読み出し範囲の初期化を行う。通常
全体範囲をはじめに指定しておく（ステップ＃Ｒ０
５）。センサをカメラに取り付けた状態で周辺がけられ
てしまうような場合には、その部分を除いたけられない
エリアを指定する。

【００５１】次に、ブロックデータから求めた平均輝度
（ＢｌｋＡｖｅ）と閾値を比較する（ステップ＃Ｒ０
６）。平均輝度が低ければステップ＃Ｒ０８へ進み、ブ
ロックデータによる瞳孔位置推定を行わない。これは、
全体の輝度が低いとセンサの周辺部分が低くなり、必ず
しも瞳孔位置が最低輝度とはならなくなってしまうた
め、最低輝度を使って瞳孔位置推定を行うと正しく瞳孔
位置を推定することができないからである。

【００５２】平均輝度が閾値より高ければ、サブルーチ
ン「瞳孔位置推定」をコールして、瞳孔位置の推定を行
う（ステップ＃Ｒ０７）。

【００５３】そして、サブルーチン「読み出し＆逐次処
理」をコールして、決定した領域内のセンサ読み出し及
び逐次処理で特徴点抽出を行い（ステップ＃Ｒ０８）、
リターンする（ステップ＃Ｒ０９）。

【００５４】次に、図５のフローチャートを使って、サ
ブルーチン「読み出し＆逐次処理」の説明を行う。

【００５５】サブルーチン「読み出し＆逐次処理」がコ
ールされると（ステップ＃ｘ０１）、まずセンサに読み
出し開始通信を行う（ステップ＃ｘ０２）。次に、セン
サ出力をＡ／Ｄ変換する為にＡ／Ｄ変換の初期化を行う
（ステップ＃ｘ０３）。次いで、逐次計算を行うための
パラメータの初期化や、制限された領域だけを読み出す
ためのパルス数の設定を行う（ステップ＃ｘ０４）。

【００５６】次に、これから読む水平ラインが読み出す
領域を含むかどうかを判定し（ステップ＃ｘ０５）、読
み出し領域外ならステップ＃ｘ１９へ分岐する。そし
て、このステップ＃ｘ１９では、水平ラインを１ライン
読み飛ばすための、水平ライン読み飛ばしパルスを出力
する。このパルスがセンサに送られると、センサは水平
の１ラインの読み出しを行わない。

【００５７】上記ステップ＃ｘ０５で、これから読む水
平ラインが読み出す領域を含んでいる場合、ステップ＃
ｘ０６へ分岐し、ここでは１ラインの読み出しを行う。
まず、１画素毎の読み出しパルスを送り、センサからの
出力をＡ／Ｄ変換し、所定のＲＡＭに一時的に格納す
る。読み出す水平ラインの中でも指定された領域外の部
分はＡＤ変換を行わず、読み出しパルスを高速に出力す
ることによって、指定された領域のデータだけを短時間
で得ることができる。

【００５８】これらの動作はソフト的にタイミングを作
って動作させる以外にも、ハード的にパルス出力、ＡＤ
変換、データ格納を行う様な構成にしても良い。この場
合、Ａ／Ｄ変換やパルス出力にソフトが介在する必要が
ないため、その間、ソフトは特徴点の抽出を行うことが
できる。

【００５９】次に、カメラの位置が縦位置かどうかを判
定し（ステップ＃ｘ０７）、縦位置なら読み出しライン
数をＡレジスタに入れ（ステップ＃ｘ０８）、横位置な
ら（縦位置でないなら）今まで検出した瞳孔エッジの総
数を計算し、Ａレジスタに格納する（ステップ＃ｘ０
９）。次に、Ａレジスタが０かどうかを判定し（ステッ
プ＃ｘ１１）、０で無いならステップ＃ｘ１２へ分岐
し、サブルーチン「Ｐ像検出」を実行する（ステップ＃
ｘ１２）。

【００６０】カメラ位置が縦位置の場合、少なくとも１
ライン以上センサの読み出しが終了してから「Ｐ像検
出」を行うようにしている。また、横位置の場合は、照
明位置の関係から瞳孔位置よりＰ像の方が下に成ること
が判っているので、無駄な演算を省くために瞳孔のエッ
ジが少なくとも１つ検出されてからＰ像の検出を行うよ
うにしている。

【００６１】次に、瞳孔エッジを検出するのに充分なラ
イン数の読み出しが終了しているかを判定し（ステップ
＃ｘ１３）、十分ならステップ＃ｘ１４に分岐する。そ
して、このステップ＃ｘ１４では、サブルーチン「瞳孔
エッジ検出」をコールし、瞳孔エッジを検出する。

【００６２】画像データはメモリの制約上から数ライン
分記憶できるだけで、その分のライン数が記憶されたら
充分なライン数があると判定する。水平方向にのみ瞳孔
エッジを検出する場合（即ち、瞳孔の左右方向のエッジ
だけを検出する場合）は、１ラインでも十分である。瞳
孔のエッジは、それまで読み出したセンサ出力の最低値
を基準として計算する。

【００６３】次に、１ライン分のデータ読み込みが終了
するまで待ち、読み込んだ画像データを一時的に格納し
たＲＡＭから計算用のＲＡＭに移しかえる（ステップ＃
ｘ１５）。上記ステップ＃ｘ０６でソフト的に読み込み
が終了している場合はこの動作は必要ないが、ハード的
にセンサの読み込みを行っている場合はここでセンサ読
み込みのチェックを行う。

【００６４】次に、サブルーチン「最低輝度検出」を実
行する（ステップ＃ｘ１６）。最低輝度は、瞳孔を検出
するときに使用するが、センサ出力が１ライン読み込ま
れる毎に検出を行い、１ライン毎に更新していく。

【００６５】１ラインの中で領域外の部分の残りの空送
りパルスを出力する（ステップ＃ｘ１７）。ハード的に
センサ読み出しを行う場合は領域外空送りパルスを送る
必要がある。

【００６６】次に、読み出したライン数をカウントアッ
プする（ステップ＃ｘ１８）。ここで、カウントアップ
するのは制限された領域内の読み出したライン数をカウ
ントする。

【００６７】次に、センサに送った駆動パルス数（１ラ
イン分に対応）をカウントアップする（ステップ＃ｘ２
０）。そして、カウントがセンサの水平ライン数になっ
たかどうか判定し（ステップ＃ｘ２１）、なっていなけ
ればステップ＃ｘ０５に戻り、センサ読み出しを繰り返
す。

【００６８】指定された領域のセンサ読み出しが終了し
ても、センサの水平ライン数分の読み出しパルスを送る
必要があるため、ステップ＃ｘ０５に戻り、読み出しを
繰り返す。この場合、読み出しの空送りパルスのみをス
テップ＃ｘ１９にて出力する。

【００６９】センサの読み出しが終了すると、このサブ
ルーチンをリターンする（ステップ＃ｘ２２）。

【００７０】次に、図５のステップ＃ｘ１４にて実行さ
れるサブルーチン「瞳孔エッジ検出」について、図６の
フローチャートにより説明する。

【００７１】サブルーチン「瞳孔エッジ検出」がコール
されると（ステップ＃Ｄ０１）、まず、エッジ検出用の
変数の初期化を行う（ステップ＃Ｄ０２）。次に、瞳孔
エッジを検出する範囲を計算し、所定のＲＡＭに設定す
る（ステップ＃Ｄ０３）。次に、サブルーチン「水平エ
ッジ検出」をコールして水平エッジの検出を行う（ステ
ップ＃Ｄ０４）。

【００７２】そして、現在演算している水平ラインで最
低輝度が更新されたか判定し（ステップ＃Ｄ０５）、更
新していればステップ＃Ｄ０６へ分岐し、サブルーチン
「垂直エッジ検出」をコールし、垂直エッジの検出を行
う。

【００７３】演算が終了するとこのサブルーチンをリタ
ーンする（ステップ＃Ｄ０７）。

【００７４】次に、上記図６のステップ＃Ｄ０４にて実
行されるサブルーチン「水平エッジ検出」について、図
７のフローチャートにより説明する。

【００７５】サブルーチン「水平エッジ検出」がコール
されると（ステップ＃Ｈ０１）、図６のステップ＃Ｄ０
３で設定した演算範囲内で、センサ画素出力が閾値ＥＹ
ＥＭＩＮＬＶＬより小さいかを比較する。条件を満たし
ていなければステップ＃Ｈ０３へ進み、ｊをカウントア
ップし、それが計算範囲内なら再びステップ＃Ｈ０２へ
戻り、比較を繰り返す。図８（ａ）のｉｍ（ｊＡ）から
同図右側に検出していく。

【００７６】ｊをカウントアップしながら、ｉｍ（ｊ）
と閾値ＥＹＥＭＩＮＬＶＬを比較し、ｉｍ（ｊ）が閾値
より小さくなったらステップ＃Ｈ０４へ分岐する。図８
（ｂ）のＣでｉｍ（ｊ）が閾値ＥＹＥＭＩＮＬＶＬより
小さくなる。ステップ＃Ｈ０４において、今検出中の水
平ラインの左エッジが未発見ならステップ＃Ｈ０５へ分
岐する。左エッジが検出されていればステップ＃Ｈ１３
へ分岐し、右エッジの探査を行う。

【００７７】まず、左エッジが未発見でステップ＃Ｈ０
５へ分岐した場合を説明する。

【００７８】ここで、この水平ラインにおいて、閾値Ｅ
ＹＥＭＩＮＬＶＬより小さい画素があったかどうかをフ
ラグ「ＭｉｎＤｅｔｅｃｔ」で判定する。未発見ならフ
ラグ「ＭｉｎＤｅｔｅｃｔ」をセットする（ステップ＃
Ｈ０６）。次に、位置ｊをｊｓｔに記憶しておく（ステ
ップ＃Ｈ０７）。図８（ｂ）のＣの位置のｊをｊｓｔに
保存する。

【００７９】次に、これがエッジ条件を満たすか判定し
（ステップ＃Ｈ０８）、満たさなければｊをカウントダ
ウンして（ステップ＃Ｈ０９）、このｊが計算範囲内か
を判定する（ステップ＃Ｈ１０）。計算範囲内なら再び
ステップ＃Ｈ０８へ戻り、エッジ条件を満たすかどうか
判定する。計算範囲外になったらステップ＃Ｈ０３へ分
岐する。

【００８０】例えば、左エッジのエッジ条件として、次
のようなものがある。

【００８１】 ｉｍ（ｊ−２）−ｉｍ（ｊ）＞ＥＤＧＥＴＨＲ かつ ｉｍ（ｊ−３）−ｉｍ（ｊ−１）＞ＥＤＧＥＴＨＲ 但し、ＥＤＧＥＴＨＲ＝１０ エッジ条件はこれに限定されるものではなく別の条件で
もよい。

【００８２】図８（ｃ）でＣから左側にエッジ条件を満
たすか、演算範囲外になるまで探査していく。ｊをカウ
ントダウンして、エッジ条件を満たしたなら〔図８
（ｃ）エッジ検出（画素単位）の部分〕、ステップ＃Ｈ
０８からステップ＃Ｈ１１へ分岐し、サブルーチン「左
エッジ重心演算」をコールし、エッジ位置を重心演算を
用いて正確に計算する。

【００８３】次に、右エッジを探査するために、上記ス
テップ＃Ｈ０７で記憶したｊｓｔをｊに代入し（ステッ
プ＃Ｈ１２）、最初に閾値ＥＹＥＭＩＮＬＶＬより小さ
くなった位置に戻す。その後は右エッジの探査を行う。

【００８４】上記ステップ＃Ｈ０４で左エッジが発見さ
れた後の場合、又はステップ＃Ｈ０８〜ステップ＃Ｈ１
２で左エッジが検出された場合、ステップ＃Ｈ１３へ進
んでくる。ここから、右エッジの探査を行う、まず、右
エッジ条件を満たすか判定し（ステップ＃Ｈ１３）、満
たさなければステップ＃Ｈ１４へ進み、ｊをカウントア
ップする。カウントアップした値が計算範囲外でないか
判定し（ステップ＃Ｈ１５）、範囲内なら再びステップ
＃Ｈ１３へ戻り、右エッジ条件の判定を行う。図８
（ｃ）でＣから左側にエッジ条件を満たすか、演算範囲
外になるまで探査していく。

【００８５】右エッジのエッジ条件は、 ｉｍ（ｊ＋２）−ｉｍ（ｊ）＞ＥＤＧＥＴＨＲ かつ ｉｍ（ｊ＋３）−ｉｍ（ｊ＋１）＞ＥＤＧＥＴＨＲ である。

【００８６】図８（ｄ）でＣから右側にエッジ条件を満
たすか、演算範囲外になるまで探査していく。エッジ検
出（画素単位）の部分まで探査すると、そこで右エッジ
条件を満たすので、ステップ＃Ｈ１６へ分岐し、サブル
ーチン「右エッジ重心演算」を実行する。

【００８７】そして、このサブルーチンを終了すると、
ステップ＃Ｈ０３でｊをカウントアップし、計算範囲内
なら再度ステップ＃Ｈ０２へ戻り、閾値判定を繰り返
す。また、計算範囲外ならこのサブルーチンをリターン
する（ステップ＃Ｈ０３）。

【００８８】次に、図７のステップ＃Ｈ１１にて実行さ
れるサブルーチン「左エッジ重心演算」について、図９
のフローチャートを用いて説明する。

【００８９】サブルーチン「左エッジ重心演算」がコー
ルされると、ステップ＃Ｇ０１からプログラムを実行す
る。

【００９０】まず重心演算を行う範囲を決める。初めに
開始位置をｊ０に保存する（ステップ＃Ｇ０２）。次に
輝度信号の差分「ｉｍ（ｊ−１）−ｉｍ（ｊ＋１）」を
求める（ステップ＃Ｇ０３）。差分信号は、重心演算で
使用するので配列 ｄ（ｊ）に保存しておく。

【００９１】 ｄ（ｊ）＝ｉｍ（ｊ−１）−ｉｍ（ｊ＋１） 次に、その差分信号がスロープ条件 ｄ（ｊ）＜ＥＤＧＥＴＨＲ を満たすか判定し（ステップ＃Ｇ０４）、満たさなけれ
ばステップ＃Ｇ０５へ進み、ｊをダウンカウントする。
ｊが図６のステップ＃Ｄ０３で設定した演算範囲内であ
るか判定し（ステップ＃Ｇ０６）、範囲内ならステップ
＃Ｇ０３へ戻り、再度差分値を計算し（ステップ＃Ｇ０
３）、判定を繰り返す。

【００９２】ステップ＃Ｇ０３〜＃Ｇ０６を、スロープ
条件を満たしている間繰り返す。

【００９３】ステップ＃Ｇ０４でスロープ条件を満たさ
なくなったら、ステップ＃Ｇ０７へ分岐し、ここで重心
演算を行うためのパラメータ［〔Σｋ×ｄ（ｋ）及びΣ
ｋ〕を計算する為のパラメータを０に］を初期化を行
う。

【００９４】次に、重心演算を行う範囲が閾値より広い
か判定する（ステップ＃Ｇ０８）。上記ステップ＃Ｇ０
２で記憶しておいた位置ｊ０とｊとの差と閾値ＬｅｎＴ
ｈｒの関係が「ｊｏ−ｊ＜ＬｅｎＴｈｒ」を満たせば、
ステップ＃Ｇ０９に分岐し、重心演算を行う。ＬｅｎＴ
ｈｒは「８」程度に設定されている。次のステップ＃Ｇ
０９）では、ｊ〜ｊｏ＋１の範囲で重心演算を行う。重
心の計算は図示（ステップ＃Ｇ０９内参照）の様にして
求めることが出来、このｘがエッジ座標になる。

【００９５】計算が終了したら、ステップ＃Ｇ１４でサ
ブルーチンをリターンする。

【００９６】次に、上記ステップ＃Ｇ０８で「ｊｏ−ｊ
＜ＬｅｎＴｈｒ」が満たさない場合は、ステップ＃Ｇ１
０へ分岐し、重心演算が失敗したことを示すフラグを設
定し（ステップ＃Ｇ１０）、その時の処理「だらだら処
理」を行う（ステップ＃Ｇ１１）。だらだら処理では重
心演算以外の方法でエッジ位置を決定する。エッジの決
定方法としては、 １）輝度閾値を定め、その輝度になる水平方向の位置を
補間して求める。

【００９７】２）整数座標のままで計算する。

【００９８】３）エッジが検出されなかったことにす
る。

【００９９】４）重心を計算する広さを所定の広さに限
定して計算する。等の方法が考えられる。

【０１００】処理が終了すると、ステップ＃Ｇ１４でリ
ターンする。

【０１０１】次に、上記ステップ＃Ｇ０６でｊが計算範
囲外になった場合、ステップ＃Ｇ１２に進み、重心演算
が失敗したことを示すフラグを設定し（ステップ＃Ｇ１
２）、エッジ検出が出来なかった時と同様な処理を行う
（ステップ＃Ｇ１３）。

【０１０２】最後にこのサブルーチンをリターンする。

【０１０３】次に、図１０を用いて左エッジ重心演算の
説明を行う。

【０１０４】同図（ａ１），（ｂ１），（ｃ１）は、重
心演算によってエッジ位置が検出出来る場合の例で、図
１０（ａ１）の瞳孔の左側のエッジ部分の輝度は、図１
０（ｂ１）のグラフｉｍ（ｊ）の様になる。これに差分
処理を行うと。図１０（ｃ１）のグラフｄ（ｊ）様にな
る。ｄ（ｊ）のＥＤＧＥＴＨＲより小さい部分の範囲は
ＬｅｎＴｈｒより短い。この時の重心位置ｘは、エッジ
位置となっている。

【０１０５】図１０（ａ２），（ｂ２），（ｃ２）は、
重心演算によってエッジ位置が検出出来ない場合の例
で、図１０（ａ２）の瞳孔の左側のエッジ部分は瞼が重
なってはいないものの、エッジの隣は瞼になっている。
この時のｉｍ（ｊ）は、図１０（ｂ２）の様になる。エ
ッジの端では輝度の変化が一時的に無くなるが、瞼の部
分はまた輝度の変化がある。この差分は図１０（ｃ２）
のｄ（ｊ）様になる。ｄ（ｊ）のＥＤＧＥＴＨＲより小
さい部分の範囲はＬｅｎＴｈｒより長く、この範囲で重
心演算を行って求めた位置ｘはエッジ位置と異なる位置
になっている。

【０１０６】この様に重心演算範囲が広い場合は、瞼の
持ち上がりと瞳孔エッジの部分がつながった時であり、
この時は重心位置がエッジの位置にならない。

【０１０７】本実施の形態では、そのような場合を排除
する事によって不正確なエッジを検出しないようにして
いる。

【０１０８】（発明と実施の形態の対応）本実施の形態
において、ＣＰＵ１００内の図９のステップ＃Ｇ０３を
実行する部分が本発明の差分演算手段に相当し、図９の
ステップ＃Ｇ０９を実行する部分がエッジ検出手段に相
当し、図９のステップ＃Ｇ０３〜＃Ｇ０６を実行する部
分が本発明の計算範囲計算手段に相当する。

【０１０９】（変形例）本発明は、一眼レフカメラに適
用した場合を述べているが、ビデオカメラや電子スチル
カメラ等の映像機器にも適用可能である。更には、顕微
鏡やヘッドマウントディスプレイ装置やゲーム機等の光
学装置にも適用可能である。

【０１１０】

【発明の効果】以上説明したように、本発明によれば、
画像信号を差分する差分演算手段と、差分出力の重心位
置を求めてエッジ位置を検出するエッジ検出手段と、重
心位置を計算する範囲を差分出力から求める計算範囲計
算手段とを備え、前記計算範囲と所定に計算範囲を比較
し、計算範囲が所定の計算範囲より広い場合は、瞼の持
ち上がりと瞳孔エッジの部分がつながった時であり、こ
の時は重心によるエッジ計算を行わない事によって不正
確なエッジを検出しないようにしている。

【図面の簡単な説明】

【図１】本発明の実施の一形態に係るカメラの概略構成
を示すブロック図である。

【図２】図１のカメラのファインダ近傍を示す図であ
る。

【図３】図１のカメラの視線検出時の動作を示すフロー
チャートである。

【図４】図３のステップ＃Ｍ０７の動作を示すフローチ
ャートである。

【図５】図４のステップ＃Ｒ０８の動作を示すフローチ
ャートである。

【図６】図５のステップ＃ｘ１４の動作を示すフローチ
ャートである。

【図７】図６のステップ＃Ｄ０４の動作を示すフローチ
ャートである。

【図８】図７の動作説明を助ける為の図である。

【図９】図７のステップ＃Ｈ０７の動作を示すフローチ
ャートである。

【図１０】図９の動作説明を助ける為の図である。

【図１１】一般的な視線検出の原理を説明する為の図で
ある。

【符号の説明】

１４ イメージセンサ １００ ＣＰＵ １００ａ ＥＥＰＲＯＭ １０１ 視線検出回路 １０７ ＩＲＥＤ駆動回路

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像信号を差分する差分演算手段と、差
   分出力の重心位置を求めてエッジ位置を検出するエッジ
   検出手段と、重心位置を計算する範囲を差分出力から求
   める計算範囲計算手段とを備えた画像処理装置であっ
   て、 前記計算範囲と所定の計算範囲を比較し、計算範囲が所
   定の計算範囲より広い場合、前記エッジ検出手段による
   エッジ検出を行わないことを特徴とする画像処理装置。
2. 【請求項２】 上記請求項１記載の画像処理装置を具備
   したことを特徴とする光学装置。