JPH08308801A - 視線検出装置 - Google Patents

Abstract

(57)【要約】 【目的】差分処理時に発生するノイズを簡単な構成にて
除去し、安価なラインセンサを用いて、的確な視線検出
を行うことを目的とする。 【構成】この視線検出装置は、光学系４を介して眼球に
異なる入射角で第１及び第２光束を投射可能な投光部２
と、上記第１及び第２光束の上記眼球からの反射光を受
光し、それぞれ第１及び第２映像信号を出力する受光部
３と、上記第１及び第２映像信号の差分情報に基づいて
上記眼球の瞳孔の位置に応じた値を演算する制御部１を
有し、制御部１は、上記瞳孔の位置と上記受光部３の出
力に基づいて検出される上記眼球のプルキンエ像の位置
とから上記観察者の視線方向を検出し、上記差分情報を
得るに当たって、上記第１映像信号と上記第２映像信号
に含まれるプルキンエ像信号に起因する誤差を補正す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視線情報を基にカメラ
に各種指示を与える視線検出装置に関する。

【０００２】

【従来の技術】従来、カメラへの各種の情報の入力は、
例えばダイヤルやボタンなどの操作により行われてい
る。従って、入力情報が増加するに従って操作環境は煩
雑となり、その問題の有効な解決策として視線情報を活
用することが着目されている。

【０００３】例えば、ファインダを覗く撮影者の視線方
向を検出し、その視線の情報よりカメラに情報入力する
技術は、特開昭６３−１９４２３７号公報や特開平３−
８７８１８号公報により開示されている。そして、視線
検出位置による測距情報の決定に関する技術は、特開平
４−３０７５０６号公報や特開平５−８８０７５号公報
等により開示されている。

【０００４】一方、「視線検出のための瞳孔撮影光学系
の設計法（伴野明著 電子情報通信学会論文誌 Ｄ−II
ｖｏｌ．Ｊ７４〜Ｄ−IIＮＯ．６ ＰＰ７３６〜７４７
１９９１年６月）」では、異なる位置からの投光（赤
目発生位置での投光と赤目発生しない位置での投光）に
て検出信号を差分処理し、赤目信号を顔の中より抽出
し、瞳孔検出を行う技術が示されている。

【０００５】

【発明が解決しようとする課題】しかしながら、既に実
用化されている視線検出装置を用いたシステムは、エリ
アセンサを用いている為にコストが高く、実装性でも問
題がある。さらに、２次元の画像を画像処理して方向を
正確に検出している為、処理に時間がかかり、高速処理
のための処理装置が必要となる。

【０００６】また、フォーカスエリアの自動判定に視線
情報を使う場合は、既にＡＦアルゴリズムによってかな
り選択の最適化ができており、おおまかな視線方向を情
報として追加するだけでもかなり有効になる。このよう
なことから、簡単な処理によるおおまかな視線検出シス
テムが必要になる。

【０００７】しかし、安いラインセンサでは複数必要の
目の特徴信号を検出することが、瞼や白目等のノイズに
て難しい。また、画像認識を含まないような簡単な処理
にて目の複数必要な特徴点を抽出しようとしても、瞼や
白目などのノイズの影響を受け精度よく検出することが
難しい。

【０００８】また、カメラでの視線検出システムは、フ
ァインダを覗く位置が固定されていないため目の特徴点
（角膜反射位置、瞳孔の中心位置）を検出することが難
しくなってきている。さらに、一枚の画像より特徴点を
抽出するには２次元のエリアセンサ等の細かい分解能の
センサと画像認識の高精度のアルゴリズムが必要となっ
ている。

【０００９】一方、異なる位置からの投光（赤目発生位
置での投光と赤目発生しない位置での投光）にて検出信
号を差分処理することは第一と第二投光位置の違いによ
る新しいノイズが発生すると共に精度よく瞳孔の中心位
置検出ができなくなってしまう。さらに、時分割検出に
よって、観測者の目の覗く位置が固定されていないた
め、目の動きによる差分処理時に発生するノイズを除去
と補正する必要がある。

【００１０】また、観測時に観測者がまばたきをするこ
とによって、睫成分が反射光に含まれているため、差分
処理時に発生するノイズを除去と補正する必要がある。
さらに、差分処理時に白目成分を除去するために白目成
分の光量を合わせることにより発生するノイズを除去
し、データを補正する必要がある。

【００１１】本発明は上記問題に鑑みてなされたもの
で、その目的とするところは、投光によって発生するノ
イズ、即ち観察者の白目／瞼等の拡散光と、差分処理す
る時に発生するノイズ、即ち第一と第二投光位置の違い
によるノイズ、時分割検出によるノイズ、睫によって発
生するノイズと差分処理時に光量合わせるためによって
発生するノイズを簡単な構成にて除去し、的確な視線検
出を行うことにある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の実施例に係る視線検出装置は、ファ
インダ装置を介して観察者の眼球に異なる入射角で第１
及び第２光束を投射可能な投光手段と、この投光手段に
よって投射された上記第１及び第２光束の上記眼球から
の反射光を受光し、それぞれ第１及び第２映像信号を出
力する受光手段と、上記第１及び第２映像信号の差分情
報に基づいて上記眼球の瞳孔の位置に応じた値を演算す
る瞳孔演算手段を有し、この瞳孔演算手段によって演算
された上記瞳孔の位置と上記受光手段の出力に基づいて
検出される上記眼球のプルキンエ像の位置とから上記観
察者の視線方向を検出する視線検出装置において、上記
瞳孔演算手段は、上記差分情報を得るに当たって、上記
第１映像信号と上記第２映像信号にそれぞれ含まれるプ
ルキンエ像信号に起因する誤差を補正する補正演算手段
を有することを特徴とする。

【００１３】さらに、第２の実施例に係る視線検出装置
は、ファインダ装置を介して観察者の眼球に異なる入射
角で第１及び第２光束を投射可能な投光手段と、この投
光手段によって投射された上記第１及び第２光束の上記
眼球からの反射光を受光し、それぞれ第１及び第２映像
信号を出力する受光手段と、上記第１及び第２映像信号
の差分情報に基づいて上記眼球の瞳孔の位置に応じた値
を演算する瞳孔演算手段を有し、この瞳孔演算手段によ
って演算された上記瞳孔の位置と上記受光手段の出力に
基づいて検出される上記眼球のプルキンエ像の位置とか
ら上記観察者の視線方向を検出する視線検出装置におい
て、上記瞳孔演算手段は、上記瞳孔の周辺に発生するノ
イズ成分を除去するノイズ除去手段を有することを特徴
とする。そして、第３の態様による視線検出装置は、上
記視線検出装置はカメラのファインダ装置に設けられて
いることを特徴とする。

【００１４】

【作用】即ち、本発明の第１の実施例に係る視線検出装
置は、投光手段によりファインダ装置を介して観察者の
眼球に異なる入射角で第１及び第２光束が投射され、受
光手段によりこの投光手段によって投射された上記第１
及び第２光束の上記眼球からの反射光が受光され、それ
ぞれ第１及び第２映像信号が出力され、瞳孔演算手段に
より上記第１及び第２映像信号の差分情報に基づいて上
記眼球の瞳孔の位置に応じた値が演算され、この瞳孔演
算手段によって演算された上記瞳孔の位置と上記受光手
段の出力に基づいて検出される上記眼球のプルキンエ像
の位置とから上記観察者の視線方向を検出される。特
に、上記瞳孔演算手段の補正演算手段により上記差分情
報を得るに当たって、上記第１映像信号と上記第２映像
信号にそれぞれ含まれるプルキンエ像信号に起因する誤
差が補正される。

【００１５】さらに、第２の実施例に係る視線検出装置
では、投光手段によりファインダ装置を介して観察者の
眼球に異なる入射角で第１及び第２光束が投射され、受
光手段によりこの投光手段によって投射された上記第１
及び第２光束の上記眼球からの反射光が受光され、それ
ぞれ第１及び第２映像信号が出力され、瞳孔演算手段に
より上記第１及び第２映像信号の差分情報に基づいて上
記眼球の瞳孔の位置に応じた値が演算され、この瞳孔演
算手段によって演算された上記瞳孔の位置と上記受光手
段の出力に基づいて検出される上記眼球のプルキンエ像
の位置とから上記観察者の視線方向を検出される。特
に、上記瞳孔演算手段のノイズ除去手段により、上記瞳
孔の周辺に発生するノイズ成分が除去される。そして、
第３の態様による視線検出装置は、上記視線検出装置が
カメラのファインダ装置に設けられている。

【００１６】

【実施例】以下、図面を参照して、本発明の実施例につ
いて説明する。先ず、第１実施例に係る視線検出装置に
ついて説明する。第１の実施例では、視線検出により得
られた視線情報をカメラのフォーカスエリア選択用に使
用しており、１次元の視線検出にて１次元のマルチＡＦ
のフォーカスエリアの選択を実現している。尚、本実施
例では、視線検出の方式として赤目像の重心位置と角膜
反射である第１プルキンエ像とを用いる方式を採用す
る。但し、当該方式についての詳細は、例えば特公昭６
１−５９１３２号公報や特開平２−５号公報等により既
に開示されているので、ここでは詳細な説明は省略す
る。

【００１７】図１は第１の実施例に係る視線検出装置の
構成を示す図である。この図１に示されるように、投光
部２は受光部３に目の赤目像、非赤目像を発生させるべ
く所定位置に配設された光源を有しており、当該投光部
２の入力には制御部１の出力が接続されている。受光部
３は、例えばピーク検出可能な電荷蓄積型のラインセン
サにより構成され、当該受光部３の出力は制御部１の入
力に接続されている。上記光学系４は、上記投光部２か
らの光の光路上で、且つ上記目の反射光の光路上に配設
されている。

【００１８】このような構成において、上記投光部２
は、上記制御部１の信号に応じて、赤目像を発生させる
投光と赤目を発生させない投光とを時分割にて切り換
え、光学系４を介し目に向けて行う。受光部３は上記投
光部２より投光された光束の目からの反射光を受光し、
検出した信号を制御部１に送る。制御部１は赤目を発生
させる投光にて検出された信号より基準となる信号を抽
出し、この基準となる信号を基にして、目の動きの信頼
性や目の特徴信号、即ち瞳孔を抽出する領域に制限を与
え、時分割による信頼性判定と、視線方向を差分処理の
瞳孔重心位置と角膜反射位置より検出する。

【００１９】ここで、この検出された信号の様子は図２
に示される通りである。図２（ａ）は眼底からの反射光
が検出された赤目状態を示しており、その検出信号は図
２（ｂ）に示される。図２（ｂ）は眼底からの反射光が
検出されていない非赤目状態を示しており、その検出信
号は図２（ｄ）に示される。これらの図からも明らかな
ように、赤目状態に係る検出信号には眼底反射光に係る
信号が含まれるが（図２（ｂ）参照）、非赤目状態に係
る信号には当該信号が含まれない（図２（ｄ）参照）。

【００２０】次に図３には前述した図１の構成を更に具
現化した第２実施例に係る視線検出装置の構成を示し説
明する。尚、本実施例はカメラに適用した例である。同
図に示されるように、中央演算処理装置 (CPU;Central
Processing Unit)１４の出力はＬＥＤ回路１１、フォー
カスエリア回路１５、観測者に視線検出情報を提供する
表示素子１６、ラインセンサ１３の入力に接続されてい
る。ＣＰＵ１４の入力には各種スイッチ１７、即ち確定
スイッチ、モード切り替えスイッチ、１ｓｔレリーズス
イッチ、２ｎｄレリーズスイッチの出力が接続されてい
る。上記ＬＥＤ回路１１の光の光路上にはミラー１８ａ
が設けられており、そのミラーで反射された光の目での
反射光の光路上にはミラー１８ｂが設けられている。上
記ミラー１８ｂで反射された光の光路上には検出光学系
１２、映像信号を出力するラインセンサ１３が配設され
ている。上記表示素子１６、ミラー１８ａ，１８ｂはフ
ァインダ・視線光学系１０に含まれている。

【００２１】このような構成において、上記ＬＥＤ回路
１１はＣＰＵ１４からの制御信号を受けて、赤目を発生
させる位置、赤目を発生させない位置にそれぞれ配置さ
れたＬＥＤを発光し、その発光光束をファインダ・視線
光学系１０を介して目に投光する。尚、上記赤目とは、
ラインセンサ１３の位置において眼底からの反射光が発
生する状態をいう。ラインセンサ１３は、この投光され
た光束の目からの反射光束を検出光学系１２を介して受
光し、映像信号をＣＰＵ１４に送る。

【００２２】ＣＰＵ１４は視線検出系、即ちＬＥＤ回路
１１、ラインセンサ１３、検出光学系１２を制御すると
共に、先にラインセンサ１３から得られたキャリブレー
ション信号より観測者の目の視軸値を計算し、更にライ
ンセンサ１３から得られた上記映像信号より視軸値を考
慮した上で視線方向を検出し、フォーカスエリア回路１
５を制御し、視線方向に最近のフォーカスエリアを選択
する。

【００２３】ここで、上記ファインダ・視線光学系１０
の詳細な構成は図４に示される通りである。同図に示さ
れるように、被写体からの光束は赤外カットフィルタ２
８、メインミラー３２、表示素子２７、ダイクロイック
ミラー２３、ファインダ光学系２４、赤外ハーフミラー
２５、可視光カットフィルッタ２６を順に介して目に導
かれる。尚、被写体からの光束は赤外カットフィルッタ
２８と可視光カットフィルタ２６にて制約を受けてい
る。

【００２４】視線検出用のＬＥＤ回路１１の光源ＬＥＤ
２２とＬＥＤ２１からの光束はダイクロイックミラー２
３、ファインダ光学系２４、赤外ハーフミラー２５と可
視光カットフィルタ２６を介して目に導かれる。この目
からの反射光は、赤外ハーフミラー２５で反射された
後、可視光カットフィルタ２９を通過した後、検出光学
系３０でラインセンサ３１に結像される。尚、赤目発生
の投光及び受光軸をファインダの光軸とずらして配置し
てもよいことは勿論である。

【００２５】以下、図５のフローチャートを参照して第
２の実施例によるカメラシーケンスを説明する。カメラ
シーケンスを開始すると、ＣＰＵ１４は先ずイニシャラ
イズを行う。ここでは、フォーカスエリアを中央に設定
し、デフォルト視軸値を−５度に設定する（ステップＳ
１）。続いて、モードスイッチの状態を検出し、モード
の設定の有無を判定する（ステップＳ２）。ここで、キ
ャリブレーションモードの場合にはステップＳ５２以降
の処理に移行し、撮影モードの場合にはステップＳ１０
以降の処理に移行する。

【００２６】「キャリブレーションモード」の場合は
（ステップＳ２）、ＣＰＵ１４はタイマをリセットし、
時間計測を始め（ステップＳ３）、表示素子１６により
ファインダ内にキャリブレーションの表示を行い（ステ
ップＳ４）、確定ボタンの入力を判定する。この確定入
力がない時には時間を計測し、所定時間Ｔ１を越えない
場合はステップＳ５に戻り（ステップＳ６）、所定時間
Ｔ１を超えた場合はタイマをリセットし（ステップＳ
７）、ステップＳ２に戻る。

【００２７】上記ステップＳ５にて、確定入力がある時
は後述するサブルーチン“視線検出”を実行し（ステッ
プＳ８）、これにより得られた結果（眼球の回転角）で
キャリブレーション時に観測者がファインダ中央を見て
いるという仮定があるため、ステップＳ８で得られた眼
球の回転角を観測者の視軸値に代入し（ステップＳ
９）、ステップＳ２に戻る。

【００２８】一方、「撮影モード」の場合には（ステッ
プＳ２）、ＣＰＵ１４は１ｓｔレリーズの判定を行い
（ステップＳ１０）、１ｓｔレリーズがＯＦＦの場合は
時間を計測し（ステップＳ１１）、所定時間Ｔ０を越え
ない場合はステップＳ２に戻り、所定時間を超えた場合
はステップＳ２０に移行し、本シーケンスを終了する。
続いて、１ｓｔレリーズがＯＮの場合にはＣＰＵ１４は
後述するサブルーチン“視線検出”を実行し（ステップ
Ｓ１２）、これにより得られた結果（眼球の回転角）と
ステップＳ３乃至ステップＳ９で求められたキャリブレ
ーションデータ（観測者の視軸値）により注視点を算出
する（ステップＳ１３）。

【００２９】そして、ＣＰＵ１４はオートフォーカス
（ＡＦ）と、自動露出（ＡＥ）を行い（ステップＳ１
４）、注視点に一番近いフォーカスエリアを選択し（ス
テップＳ１５）、表示素子１６によりファインダ内にフ
ォーカスエリア選択の表示を行う（ステップＳ１６）。
続いて、ＣＵ１４は再び１ｓｔレリーズの判定を行い
（ステップＳ６６）、１ｓｔレリーズがＯＦＦの場合は
本シーケンスを終了し（ステップＳ２０）、１ｓｔレリ
ーズがＯＮの場合は２ｎｄレリーズの判定を行い（ステ
ップＳ１８）、２ｎｄレリーズがＯＦＦの場合はステッ
プＳ１６に戻る。ＣＰＵ１４は２ｎｄレリーズがＯＮの
場合は撮影シーケンス（レンズ駆動、露出等）を行い
（ステップＳ１９）、全ての動作を終了する（ステップ
Ｓ２０）。

【００３０】次に図６のフローチャートを参照して上記
サブルーチン“視線検出”のシーケンスを説明する。本
サブルーチン“視線検出”のシーケンスを開始すると、
ＣＰＵ１４は先ずイニシャライズを行う。ここでは、積
分のリセットを行う（ステップＳ２１）。続いて、ＬＥ
Ｄ回路１１より図２（ａ）に示されるような赤目を発生
させる投光を行い（ステップＳ２２）、ラインセンサ１
３により反射光の積分を行い（ステップＳ２３）、ＣＰ
Ｕ１４は読み出した反射光の映像信号Ｅ（ｉ）（ｉ：１
〜Ｎ）をＤａ（ｉ）に格納する（ステップＳ２４）。

【００３１】続いて、ＣＰＵ１４は積分のリセットを行
い（ステップＳ２５）、ＬＥＤ回路１１より図２（ｂ）
に示されるような赤目を発生させない投光を行い（ステ
ップＳ２６）、ラインセンサ１３により反射光の積分を
行い（ステップＳ２７）、ＣＰＵ１４は読み出した反射
光の映像信号Ｅ（ｉ）（ｉ：１〜Ｎ）をＤｂ（ｉ）に格
納する（ステップＳ２８）。次いで、ＣＰＵ１４は後述
するサブルーチン“特徴抽出”を実行して、瞳孔重心を
求め（ステップＳ２９）、本シーケンスを終了し、カメ
ラシーケンスに戻る（ステップＳ３０）。

【００３２】ここで、図７にはラインセンサ１３と出力
Ｄａ（ｉ）の関係を示し説明する。ラインセンサ１３は
１〜Ｎ方向に光電素子が配列されている一次元ラインセ
ンサである。出力Ｄａ（ｉ）は図６の上記ステップＳ２
４に対応する一次元ラインセンサ１３の出力分布であ
る。ここで、Ｎは一次元ラインセンサ１３の画素数を意
味する。さらに、Ｘ座標１の場合はラインセンサ１番目
の光電素子のことを意味する。Ｎ１とＮ２は設定された
ラインセンサの有効範囲であり、１＜Ｎ１＜Ｎ２＜Ｎの
関係を持つ。即ち、ラインセンサの信号について、画素
の並び方向にＸ座標、各画素の出力レベルをＹ座標に
し、例えばＮ１番目の（ラインセンサの）光電素子の出
力はＤａ（Ｎ１）で表す。

【００３３】次に図８のフローチャートを参照して上記
サブルーチン“特徴抽出”のシーケンスを説明する。本
サブルーチン“特徴抽出”を開始すると、ＣＰＵ１４は
まず図６の上記ステップＳ２４，Ｓ２８で読み出した赤
目データＤａ（ｉ）（ｉ：１〜Ｎ）と非赤目データＤｂ
（ｉ）（ｉ：１〜Ｎ）を読み込む（ステップＳ３１）。
続いて、後述するサブルーチン“赤目ピーク探す”を実
行する（ステップＳ３２）。続いて、非赤目データＤｂ
（ｉ）よりピーク値を求め（ステップＳ３３）、差分像
Ｓ（ｊ）（ｊ：Ｎ１〜Ｎ２）を次式により作る（ステッ
プＳ３４）。

【００３４】Ｓ（ｊ）＝Ｄａ（ｊ）−Ａ＊Ｄｂ（ｊ） Ａは重み付けのための所定値である。続いて、後述する
サブルーチン“差分像ピーク補正”を実行し（ステップ
Ｓ３５）、後述するサブルーチン“穴埋め”を実行し
（ステップＳ３６）、後述するサブルーチン“白目成分
除去１”を実行する（ステップＳ３７）。続いて、ステ
ップＳ３１からステップＳ３７で処理した差分像に対し
て、次式によりスムージングを行う（ステップＳ３
８）。

【００３５】 Ｓ（ｊ）＝｛Ｓ（ｊ＋ｂ）＋Ｓ（ｊ＋ｂ−１）＋ …＋Ｓ（ｊ−ｂ）｝／（２＊ｂ＋１） ｂ：所定値，ｊ：Ｎ１〜Ｎ２ 次いで後述するサブルーチン“白目成分除去２”を実行
し（ステップＳ３９）、観測者の眼球の回転角（計算式
は公知であり、即ち、プルキンエ像の位置と瞳孔中心の
位置から算出する）を求め（ステップＳ４０）、図６の
サブルーチン“視線検出”のステップＳ３０にリターン
する（ステップＳ４１）。

【００３６】次に図９のフローチャートを算出して上記
サブルーチン“赤目ピーク探す”を説明する。サブルー
チン“赤目ピーク探す”を開始すると、まずＮ１からＮ
２へ（左から右へ）赤目映像出力Ｄａ（ｊ）（ｊ：Ｎ１
〜Ｎ２）のピーク値のＸ座標を検出し、ｐｍａｘ_-Ｌに
代入する（ステップＳ５１）。続いて、Ｎ２からＮ１へ
（右から左へ）赤目映像出力Ｄａ（ｊ）（ｊ：Ｎ１〜Ｎ
２）のピーク値のＸ座標を検出し、ｐｍａｘ_-Ｒに代入
する（ステップＳ５２）。いま、図１０（ａ）に示され
るように、赤目像のピークが正確に検出されている場合
には、上記ｐｍａｘ_-Ｌとｐｍａｘ_-Ｒは同じ値となるた
め、Ｎ１からＮ２，Ｎ２からＮ１と２度も検出する意義
はあまりないが、図１０（ｂ）に示されるように、赤目
像のピークが正確に検出されておらず、ピーク位置が平
坦になっている場合には、上記ｐｍａｘ_-Ｌとｐｍａｘ_-
Ｒは異なる値となる。従って、２度検出することはピー
クが正確に検出されているかどうかを判断する上で有効
である。

【００３７】続いて、上記ｐｍａｘ_-Ｌとｐａｘ_-Ｒの差
（ｐ_-ｓ＝ｐｍａｘ_-Ｒ−ｐｍａｘ_-Ｌ）を求め、ｐ_-ｓに
代入する（ステップＳ５３）。このｐ_-ｓを判定し（ス
テップＳ５４）、所定値Ｆ１より小さい場合はピークが
正確に検出されているものと判断し、ｐｍａｘ_-Ｌをｐ
１に代入し（ステップＳ５５）、ステップＳ５９に移行
する。そして、ｐ_-ｓを判定し（ステップＳ５６）、所
定値Ｆ２より小さい場合はピークは略正確に検出されて
いるものと判断し、次式によりｐｍａｘ_-Ｌとｐｍａｘ_-
Ｒの平均値に係る整数値を計算し（ステップＳ５７）、
ステップＳ５９に移行する。

【００３８】

【数１】

【００３９】一方、ｐｍａｘ_-Ｌとｐａｘ_-Ｒの差が所定
値Ｆ１，Ｆ２のいずれよりも大きい場合には、図１０
（ｃ）に示される赤目像よりむしろ図１０（ｄ）に示さ
れる非赤目像に基づいてピーク位置を検出する方が精度
を向上できるので、ｐｍａｘ_-Ｌとｐｍａｘ_-Ｒの範囲で
非赤目映像出力Ｄｂ（ｊ）（ｊ：Ｎ１〜Ｎ２）のピーク
値のＸ座標を探し、ｐ１に代入する（ステップＳ５
８）。

【００４０】続いて、ｐ１のＹ座標ＰY より−Ｆ３の範
囲、且つｐ１のＸ座標より±Ｆ４の範囲で重心を求め、
求められた重心のＸ座標をｐ２に代入し（ステップＳ５
９）、図８のステップＳ３３に移行する。このｐ２がプ
ルキンエ像の位置になる。

【００４１】いま、図１０（ｅ）に示されるように、ピ
ークが正確に現れている場合、ｐ１のＹ座標ＰY より−
Ｆ３の範囲、且つｐ１のＸ座標より±Ｆ４の範囲に制限
すると、図１０（ｆ）に示される範囲で重心を求めれば
よいことになる。従って、ｐ１のＸ座標より±Ｆ４の範
囲に制限することは、その意義はほとんどない。しか
し、図１０（ｇ）に示されるように、ピークがあまり正
確に現れていない場合、ｐ１のＹ座標ＰY より−Ｆ３の
範囲に制限すると図１０（ｈ）に示される範囲となり、
ｐ１のＸ座標より±Ｆ４の範囲に制限すると図１０
（ｉ）に示される範囲となる。従って、ｐ１のＸ座標よ
り±Ｆ４の範囲に制限することは、正確な重心位置を検
出するためにも非常に有効である。

【００４２】次に図１１のフローチャートを参照して、
上記サブルーチン“差分像ピーク補正”を説明する。い
ま、図１２（ａ）に示される赤目像と図１２（ｂ）に示
される非赤目像のごとくピーク位置のＸ座標に誤差が生
じている場合を想定すると、その差分像を検出した場合
に、図１２（ｃ）に示されるようにピークが打ち消され
ず、眼底反射像を正確に検出することができない。この
サブルーチンでは、差分像に残存したかかるピークを除
去することを目的とするものであるサブルーチン“差分
像ピーク補正”を開始すると、ＣＰＵ１４は、先ずステ
ップＳ３４で作られた差分像Ｓ（ｊ）のピーク値のＸ座
標とＹ座標を求め、それぞれｓ_-ｘとｓ_-ｍａｘ１に代入
する（ステップＳ６１）。続いて、ｓ_-ｘ±所定値Ｇ１
の範囲で２番目のピーク値のＹ座標を探し、ｓ_-ｍａｘ
２に代入する（ステップＳ６２）。続いて、ｓ_-ｍａｘ
２をｓ_-ｍａｘ１に入れ替え（ステップＳ６３）、図８
のステップＳ３６に移行する（ステップＳ６４）。以上
のシーケンスにより、図１２（ｄ）に示されるようなピ
ークを除去した差分像が得られる。 次に図１３のフロ
ーチャートを参照して上記サブルーチン“穴埋め”のシ
ーケンスを説明する。いま、図１４（ａ）に示される赤
目像について、図１４（ｂ）に示されるような正確な差
分像が検出される場合は問題とならないが、図１４
（ｃ）に示されるように、差分像に赤目像と非赤目像の
ピークのＸ座標の誤差による穴が発生した場合には、誤
差を生じてしまう。本シーケンスでは、この発生した差
分像の穴を補正することを目的としている。

【００４３】本サブルーチン“穴埋め”を開始すると、
先ずＣＰＵ１４はステップＳ５９で求められたｐ２を用
いて、ｐ２±所定値Ｈ１の範囲で差分像の最小値のＸ座
標を探し、ｓ_-ａに代入する（ステップＳ７１）。続い
て、ｓ_-ａ±Ｈ２（所定値）の範囲で左右の最大値のＹ
座標を求め、左の最大値を求める時にｓ_-ａからｓ_-ａ−
Ｈ２へ（右から左へ）探し、右の最大値を求める時にｓ
_-ａからｓ_-ａ＋Ｈ２へ（左から右へ）探し、それぞれｌ
_-ｍａｘとｒ_-ｍａｘに代入し、同時に左右最大値のＸ座
標を求め、それぞれｌ_-ｘとｒ_-ｘに代入する（ステップ
Ｓ７２）。この様子は図１４（ｃ）に示される通りであ
る。

【００４４】続いて、ｌ_-ｍａｘとｒ_-ｍａｘの傾きを求
め、ｋ_-ｍｕｋｉに代入する（ステップＳ７３）。次い
で、この傾きｋ_-ｍｕｋｉの判定を行い（ステップＳ７
４）、この傾きｋ_-ｍｕｋｉが所定値Ｈ３を超えた場合
は所定値Ｈ４にする（ステップＳ７５）。続いて、次式
よりｌ_-ｘとｒ_-ｘの間の穴を埋める（ステップＳ７
６）。この穴を埋めた様子は図１４（ｄ）に示される通
りである。

【００４５】 Ｓ（ｊ）＝ｌ_-ｍａｘ＋（ｊ−ｓ_-ａ）＊ｋ_-ｍｕｋｉ この穴を埋めるときには上記式で計算したＳ（ｊ）と元
の値の比較を行って（ステップＳ７７）、Ｓ（ｊ）が元
の値より大きい場合のみ入れ替える（ステップＳ７
８）。このように、基の値との比較を行っているのは、
図１４（ｅ）に示されるように、元の値の方がＳ（ｊ）
よりも大きくなる場合も想定できるからである。このス
テップＳ７６〜Ｓ７８はＬ_-ｘ＋１からＲ_-ｘ−１まで繰
り返し（ステップＳ７９）、図８のステップＳ３７に移
行する（ステップＳ８０）。

【００４６】次に図１５のフローチャートを参照して上
記サブルーチン“白目成分除去１”を説明する。先ずＣ
ＰＵ１４はステップＳ３６で処理した差分像を用いて、
差分像の平均値を求め、ｓ_-ｈに代入する（ステップＳ
８１）。続いて、平均値ｓ_-ｈの判定を行い（ステップ
Ｓ８２）、ｓ_-ｈが所定値Ｉ１より小さい場合はＲａｎ
ｇｅを所定値Ｉ２に設定し（ステップＳ８３）、ｓ_-ｈ
が所定値Ｉ１より小さい場合はＲａｎｇｅを所定値Ｉ３
に設定する（ステップＳ８４）。

【００４７】続いて、ステップＳ５９で求められたｐ２
を用いて、ｐ２±Ｒａｎｇｅの範囲で平均値ｓ_-ｈより
小さい差分像の値を０にし（ステップＳ８５）、さらに
ｐ２±Ｒａｎｇｅの範囲以外の差分像の値を全て０にし
（ステップＳ８６）、図８のステップＳ３８に移行す
る。いま、図１６（ａ），（ｂ）には反射像が暗い場合
の差分像と、上記処理がなされた検出像の様子を示し、
図１６（ｃ），（ｄ）には反射像が明るい場合の差分像
と、上記処理がなされた検出像の様子を示す。これらの
図に示されるように、暗い場合にはＰ２±Ｉ３の範囲
で、明るい場合にはＰ２±Ｉ２の範囲で前述した処理が
施される。

【００４８】次に図１７のフローチャートを参照して上
記サブルーチン“白目成分除去２”を説明する。まず、
ステップＳ３８で処理した差分像を用いて、差分像ピー
ク値のＸ座標とＹ座標を求め、それぞれｓ_-ｐｘとｓ_-ｐ
に代入する（ステップＳ９１）。続いて、ＣＰＵ１４は
ｓ_-ｐと所定値Ｊ１とを比較し（ステップＳ９２）、Ｊ
１より小さい場合のみ（ｓ_-ｐ＊所定値Ｊ２）より小さ
い差分像の値を０にする（ステップＳ９３）。続いて、
ＣＰＵ１４はｓ_-ｐｘ±Ｊ３（所定値）の範囲で差分像
の重心のＸ座標を求めてｓ_-ｊに代入し（ステップＳ９
４）、図８のステップＳ４０に移行する。このｓ_-ｊが
瞳孔の中心位置になる。

【００４９】次に図１８には上記一連の処理の様子を示
し説明する。図１８（ａ）に示される赤目像と図１８
（ｂ）に示される非赤目像について、ピークのＸ座標に
誤差が生じている場合、その差分像は図１８（ｃ）に示
されるように、ピークが打ち消されず、穴があいたもの
となる。先ず、このピークを補正により除去すべく、上
記サブルーチン“差分像ピーク補正”が実行され、図１
８（ｄ）に示されるようにピークの誤差が除去された差
分像となる。次いで、サブルーチン“穴埋め”を実行す
ることで、図１８（ｅ）に示されるように穴が埋めらた
差分像となる。こうして、サブルーチン“白目成分除去
１，２”を実行することにより、図１８（ｆ）に示され
るような白目成分が除去された差分像が得られる。

【００５０】以上説明したように、本発明の視線検出装
置では、赤目像と非赤目像を時分割にて検出して、角膜
反射位置を画像のピーク位置にて検出し、赤目像と非赤
目像の差分にて赤目成分のみを抽出し赤目の重心位置を
瞳孔の中心として、視線方向を正確に検出することがで
きる。

【００５１】さらに、瞳孔中心の検出において、赤目像
と非赤目像の差分にて赤目成分（瞳孔を通った眼底反射
光成分）を抽出するときに投光によって発生するノイ
ズ、即ち観察者の白目／瞼等の拡散光と差分処理する時
に発生するノイズ、即ち、第一と第二投光位置の違いに
よるノイズ、時分割検出によるノイズ、睫によって発生
するノイズと差分処理時に光量合わせるために発生する
ノイズを除去し、簡単かつ精度よく視線方向を検出する
ことができる。

【００５２】尚、本発明の上記実施態様によれば以下の
ごとき構成が得られる。 （１）ファインダ装置を介して観察者の眼球に異なる入
射角で第１および第２光束を投射可能な投光手段と、こ
の投光手段によって投射された上記第１および第２光束
の上記眼球からの反射光を受光し、それぞれ第１および
第２映像信号を出力する受光手段と、上記第１および第
２映像信号の差分情報に基づいて上記眼球の瞳孔の位置
に応じた値を演算する瞳孔演算手段を有し、この瞳孔演
算手段によって演算された上記瞳孔の位置と上記受光手
段の出力に基づいて検出される上記眼球のプルキンエ像
の位置とから上記観察者の視線方向を検出する視線検出
装置において、上記瞳孔演算手段は、上記差分情報を得
るに当たって、上記第１映像信号と上記第２映像信号に
それぞれ含まれるプルキンエ像信号に起因する誤差を補
正する補正演算手段を有することを特徴とする視線検出
装置。 （２）上記補正演算手段は、上記プルキンエ像のピーク
位置のずれを補正する上記（１）に記載の視線検出装
置。 （３）上記補正演算手段は、上記第１または第２映像信
号の上記プルキンエ像によって発生するピーク位置の近
傍が平坦になっている場合に、ピーク位置を修正するピ
ーク位置修正手段を含む上記（１）に記載の視線検出装
置。 （４）上記ピーク位置修正手段は、ピーク位置を検出す
る方向を異ならせて検出し、この検出された複数のピー
ク値に基づいて修正を行う上記（２）に記載の視線検出
装置。 （５）上記瞳孔演算手段は、上記第１映像信号と、上記
第２映像信号を定数倍した信号との差分を演算すること
により上記差分情報を生成する上記（１）に記載の視線
検出装置。 （６）上記瞳孔演算手段は、上記差分情報のピーク値を
緩和するピーク値補正演算手段を有する上記（１）に記
載の視線検出装置。 （７）上記瞳孔演算手段は、上記差分情報の凹凸を補正
する凹凸修正演算手段を有する上記（１）に記載の視線
検出装置。 （８）ファインダ装置を介して観察者の眼球に異なる入
射角で第１および第２光束を投射可能な投光手段と、こ
の投光手段によって投射された上記第１および第２光束
の上記眼球からの反射光を受光し、それぞれ第１および
第２映像信号を出力する受光手段と、上記第１および第
２映像信号の差分情報に基づいて上記眼球の瞳孔の位置
に応じた値を演算する瞳孔演算手段を有し、この瞳孔演
算手段によって演算された上記瞳孔の位置と上記受光手
段の出力に基づいて検出される上記眼球のプルキンエ像
の位置とから上記観察者の視線方向を検出する視線検出
装置において、上記瞳孔演算手段は、上記瞳孔周辺の位
置に発生するノイズ成分を除去するノイズ除去手段を有
することを特徴とする視線検出装置。 （９）上記ノイズ除去手段は、上記差分情報の平均値を
求め、この平均値より小さい差分情報を所定値とする上
記（８）に記載の視線検出装置。 （１０）上記ノイズ除去手段は、上記差分情報の移動平
均を演算する上記（８）に記載の視線検出装置。 （１１）上記ノイズ除去手段は、差分情報のピーク値に
応じて決まる第１所定値以下の差分情報は第２の所定値
とする上記（８）に記載の視線検出装置。 （１２）ファインダ装置を介して観察者の眼球に光束を
投射可能な投光手段と、この投光手段によって投射され
た上記光束の上記眼球からの反射光を受光し、映像信号
を出力する受光手段を有し、この受光手段によって出力
される上記映像信号からプルキンエ像を検出することに
よって上記観察者の視線方向を検出する視線検出装置に
おいて、上記プルキンエ像によって発生するピーク位置
の近傍が平坦になっている場合に、ピーク位置を補正す
るピーク位置修正手段を具備することを特徴とする視線
検出装置。 （１３）ファインダ装置を介して観察者の眼球に異なる
入射角で第１および第２光束を投射可能な投光手段と、
この投光手段によって投射された上記第１および第２光
束の上記眼球からの反射光を受光し、それぞれ第１およ
び第２映像信号を出力する受光手段と、上記第１および
第２映像信号の差分情報に基づいて上記眼球の瞳孔の位
置に応じた値を演算する瞳孔演算手段を有し、この瞳孔
演算手段によって演算された上記瞳孔の位置と上記受光
手段の出力に基づいて検出される上記眼球のプルキンエ
像の位置とから上記観察者の視線方向を検出する視線検
出装置において、上記瞳孔演算手段は、上記差分情報を
得るに当たって、上記瞳孔部で発生するノイズを除去す
る除去手段を有することを特徴とする視線検出装置。 （１４）ファインダ装置の光路の一部とその光路の一部
を共有し、観察者の目に入射角の異なる第１及び第２の
光束を選択的に投射可能な投光手段と、上記ファインダ
装置の光路の一部をその光路の一部を共有し、上記投光
手段による目からの反射光を結像して受光し、映像信号
を出力する受光手段と、上記第１の光束による第１の映
像信号と、上記第２の光束による第２の映像信号に基づ
いて信号処理を行い特徴信号を抽出する特徴抽出装置
と、を具備し、上記特徴抽出装置の信号処理は差分処理
であることを特徴とする観察者の視線方向の検出を行う
視線検出装置。 （１５）ファインダ装置の光路の一部とその光路の一部
を共有し、観察者の目に入射角の異なる第１及び第２の
光束を選択的に投射可能な投光手段と、上記ファインダ
装置の光路の一部をその光路の一部を共有し、上記投光
手段による目からの反射光を結像して受光し、映像信号
を出力する受光手段と、上記第１の光束による第１の映
像信号と、上記第２の光束による第２の映像信号に基づ
いて差分処理を行い特徴信号を抽出する特徴抽出装置
と、上記差分処理後の信号を処理する信号処理手段と、
を具備し、観察者の視線方向を検出することを特徴とす
る視線検出装置。 （１６）上記第１の光束は眼底反射を起こす入射角を有
し、上記第２の光束は眼底反射を起こさない入射角を有
することを特徴とする上記（１４）又は（１５）に記載
の視線検出装置。 （１７）時分割検出手段を更に有することを特徴とする
上記（１５）に記載の視線検出装置。 （１８）上記特徴抽出装置の信号処理において、第１光
束により検出された映像信号と第２光束により検出され
た映像信号を差分処理することを特徴とする上記（１
５）に記載の視線検出装置。 （１９）上記特徴抽出装置の信号処理において、第１光
束により検出された映像信号と第２光束により検出され
た映像信号を差分処理する時に重み付けを行うことを特
徴とする上記（１５）に記載の視線検出装置。 （２０）差分処理後のノイズを検出するノイズ検出手段
と、上記ノイズを除去するノイズ除去手段と、重心を求
める重心検出手段と、を更に有することを特徴とする上
記（１７），（１８）に記載の視線検出装置。 （２１）上記ノイズ検出手段は、第１光束により検出さ
れた映像信号と第２光束により検出された映像信号を差
分処理後の信号において上記差分処理した後の差分信号
の所定範囲内で最小値と最大値を検出する手段と、所定
範囲内で所定値を検出する手段と、を更に有する事を特
徴とする上記（２０）に記載の視線検出装置。 （２２）上記ノイズ除去手段は、第１光束により検出さ
れた映像信号と第２光束により検出された映像信号の差
分処理後の信号において上記差分処理した後の差分信号
の所定範囲内で最小値を検出する手段と、所定範囲内で
複数の最大値を検出する手段と、所定範囲内で複数の値
の傾きを求める手段と、所定範囲内でデータを所定式に
て計算した値に置き換える手段と、を更に有することを
特徴とする上記（２０）に記載の視線検出装置。 （２３）上記ノイズ除去手段は、第１光束により検出さ
れた映像信号と第２光束により検出された映像信号を差
分処理後の信号において上記差分処理した後の差分信号
の所定範囲内で最大値を検出する検出手段と、所定範囲
内で２番目の最大値を検出する手段と、所定範囲内でデ
ータを置き換える手段と、を更に有することを特徴とす
る上記（２０）に記載の視線検出装置。 （２４）上記ノイズ除去手段は、第１光束により検出さ
れた映像信号と第２光束により検出された映像信号を差
分処理した後の信号において上記差分処理した後の差分
信号の所定範囲内で平均値を検出する検出手段と、所定
範囲内で平均値とを比較する手段と、所定範囲内でデー
タを所定値に置き換える手段と、を更に有することを特
徴とする上記（２０）に記載の視線検出装置。 （２５）重心検出手段は、第１光束により検出された映
像信号と第２光束により検出された映像信号を差分処理
した後の信号において、該差分処理後の差分信号の所定
範囲内で重心を求める手段と、上記差分信号において所
定範囲内で重心を求める手段とを有することを特徴とす
る上記（２０）乃至（２４）のに記載の視線検出装置。

【００５３】上記（１）に記載の視線検出装置によれ
ば、異なる入射角度によって眼球に投光することによっ
て発生するプルキンエ像信号を含む信号の差分処理を行
うに当たって、上記プルキンエ像信号によるノイズの影
響を除去することができ、正確な視線検出を行うことが
できる。上記（３）に記載の視線検出装置によれば、上
記プルキンエ像の位置のずれの影響を除去することがで
きる。上記（２），（４）に記載の視線検出装置によれ
ば、プルキンエ像によって発生するピーク位置が平坦に
なっている場合でも正確に視線検出を行うことができ
る。上記（５）に記載の視線検出装置によれば、上記第
１映像信号と上記第２映像信号のレベルの差を考慮して
瞳孔に対応する信号を正確に検出することができる。上
記（６），（７）に記載の視線検出装置によれば、プル
キンエ像信号によるノイズの影響を減少させることがで
きる。上記（８）に記載の視線検出装置によれば、白目
等の影響によって発生するノイズ成分の影響を除去する
ことができ、正確な視線検出を行うことができる。上記
（９）に記載の視線検出装置によれば、平均値以下とな
る白目等の差分情報を無視することができ、視線検出の
精度が向上する。上記（１０）に記載の視線検出装置に
よれば、移動平均をとることにより、白目などのランダ
ムに発生するノイズは圧縮されるので、視線検出の精度
が向上する。上記（１１）に記載の視線検出装置によれ
ば、ピーク値に対して所定の割合以下となるノイズの差
分情報を無視することができ、視線検出の精度が向上す
る。上記（１２）に記載の視線検出装置によれば、プル
キンエ像によって発生するピーク位置が平坦になってい
る場合でも正確に視線検出を行うことができる。上記
（１３）に記載の視線検出装置によれば、瞳孔部で発生
するノイズを除去して視線検出を行うので視線検出の精
度が向上する。

【００５４】

【発明の効果】本発明によれば、投光によって発生する
ノイズ、即ち観察者の白目／瞼等の拡散光と、差分処理
する時に発生するノイズ、即ち第一と第二投光位置の違
いによるノイズ、時分割検出によるノイズ、睫によって
発生するノイズと差分処理時に光量合わせるためによっ
て発生するノイズを除去することにより、安いラインセ
ンサを用いても正確に目の特徴点を抽出し、信頼性の高
い視線方向を検出することができる視線検出装置を提供
することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る視線検出装置の構
成を示す図である。

【図２】（ａ），（ｂ）は赤目状態及びその検出信号を
示し、（ｃ），（ｄ）は非赤目状態及びその検出信号を
示す図である。

【図３】図１の構成を更に具現化した第２の実施例に係
る視線検出装置の構成を示す図である。

【図４】ファインダ・視線光学系１０の様子を詳細に示
した図である。

【図５】第２の実施例によるカメラシーケンスを示すフ
ローチャートである。

【図６】サブルーチン“視線検出”のシーケンスを示す
フローチャートである。

【図７】ラインセンサ１３と検出信号の位置関係を示す
図である。

【図８】サブルーチン“特徴抽出”のシーケンスを示す
フローチャートである。

【図９】サブルーチン“赤目ピークを探す”のシーケン
スを示すフローチャートである。

【図１０】サブルーチン“赤目ピークを探す”による処
理の様子を示す図である。

【図１１】サブルーチン“差分像ピーク補正”のシーケ
ンスを示すフローチャートである。

【図１２】サブルーチン“差分像ピーク補正”による処
理の様子を示す図である。

【図１３】サブルーチン“穴埋め”のシーケンスを示す
フローチャートである。

【図１４】サブルーチン“穴埋め”による処理の様子を
示す図である。

【図１５】サブルーチン“白目成分除去１”のシーケン
スを示すフローチャートである。

【図１６】サブルーチン“白目成分除去１”による処理
の様子を示す図である。

【図１７】サブルーチン“白目成分除去２”のシーケン
スを示すフローチャートである。

【図１８】本発明による一連の処理による検出像の変化
の様子を示す図である。

【符号の説明】

１…制御部、２…投光部、３…受光部、４…光学系、１
０…ファインダ・視線光学系、１１…ＬＥＤ回路、１２
…検出光学系、１３…ラインセンサ、１４…ＣＰＵ、１
５…フォーカスエリア回路、１６…表示素子。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ファインダ装置を介して観察者の眼球に
   異なる入射角で第１及び第２光束を投射可能な投光手段
   と、 この投光手段によって投射された上記第１及び第２光束
   の上記眼球からの反射光を受光し、それぞれ第１及び第
   ２映像信号を出力する受光手段と、 上記第１及び第２映像信号の差分情報に基づいて上記眼
   球の瞳孔の位置に応じた値を演算する瞳孔演算手段を有
   し、この瞳孔演算手段によって演算された上記瞳孔の位
   置と上記受光手段の出力に基づいて検出される上記眼球
   のプルキンエ像の位置とから上記観察者の視線方向を検
   出する視線検出装置において、 上記瞳孔演算手段は、上記差分情報を得るに当たって、
   上記第１映像信号と上記第２映像信号にそれぞれ含まれ
   るプルキンエ像信号に起因する誤差を補正する補正演算
   手段を有することを特徴とする視線検出装置。
2. 【請求項２】 ファインダ装置を介して観察者の眼球に
   異なる入射角で第１及び第２光束を投射可能な投光手段
   と、 この投光手段によって投射された上記第１及び第２光束
   の上記眼球からの反射光を受光し、それぞれ第１及び第
   ２映像信号を出力する受光手段と、 上記第１及び第２映像信号の差分情報に基づいて上記眼
   球の瞳孔の位置に応じた値を演算する瞳孔演算手段を有
   し、この瞳孔演算手段によって演算された上記瞳孔の位
   置と上記受光手段の出力に基づいて検出される上記眼球
   のプルキンエ像の位置とから上記観察者の視線方向を検
   出する視線検出装置において、 上記瞳孔演算手段は、上記瞳孔の周辺に発生するノイズ
   成分を除去するノイズ除去手段を有することを特徴とす
   る視線検出装置。
3. 【請求項３】 上記視線検出装置はカメラのファインダ
   装置に設けられていることを特徴とする請求項１または
   ２に記載の視線検出装置。