JPH07104170A

JPH07104170A - 視線検出装置

Info

Publication number: JPH07104170A
Application number: JP5245447A
Authority: JP
Inventors: Shinichi Kodama; 晋一児玉
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1993-09-30
Filing date: 1993-09-30
Publication date: 1995-04-21

Abstract

(57)【要約】【目的】投光によって発生するノイズ、即ち撮影者の白
目／まぶた等の拡散光の影響を簡単な構成にて除去して
的確な視線検出を行う。【構成】複数の発光部を有する投光部１は撮影者の眼球
に光を投光し、受光部３は上記各発光部により投光され
た光の撮影者の眼球からの各反射光を受光し、投光制御
部２は上記各発光部の発光パターン及び発光タイミング
を時系列的に異なる部分と共通する部分とを含むように
制御する。そして、特徴抽出部４は、上記投光制御部２
により制御された発光パターン及び発光タイミングに基
づいて上記投光部１が投光した結果、上記受光部３が受
光した視線信号を処理し、当該視線信号より特徴信号を
抽出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は撮影者の視線方向を検出
し、該視線信号に基づいてカメラの情報を設定する装置
に関する。

【０００２】

【従来の技術】従来、カメラへの各種情報の入力は例え
ばダイアルや釦等によって行われており、入力情報が増
加するに従って操作環境は煩雑になっている。そして、
例えば特開昭６３ー１９４２３７号公報、特開平３ー８
７８１８号公報等では、ファインダを覗く撮影者の視線
方向を検出し、その視線の情報よりカメラに情報入力す
る技術が多数開示されている。さらに、特開平２ー２０
６４２５号公報では、検出方式についての技術が多数開
示されている。そして、特開平４ー３０７５０６号公
報、特開平５ー８８０７５号公報等では、視線検出位置
を用いた測距情報の決定に関する技術が多数開示されて
いる。

【０００３】この他、センサの信号処理においては、投
光ＬＥＤに同期して点灯時／非点灯時の信号の差分処理
を行うこともよく行われている。一方、「視線検出のた
めの瞳孔撮影光学系の設計法（伴野明著電子情報通信
学会論文誌 D-II vol.J74-D II No.6 pp736〜747 1991
年 6月）」では、異なる位置からの投光（赤目発生位置
での投光と赤目発生しない位置での投光）にて検出した
信号を差分処理し、赤目信号を顔の中より抽出し、瞳孔
検出を行う技術が示されている。

【０００４】

【発明が解決しようとする課題】前述の視線検出では
「どこ（位置）からどの方向（回転）」であるかをを知
る必要がある。そして、複数の眼の情報として角膜反射
光や虹彩エッジ等を用いる検出方式ではエリアセンサと
高度の画像処理アルゴリズムを必要とし、一つの眼の情
報（白目／黒目の割合等）を用いる検出方式では覗く位
置を固定している。

【０００５】さらに、カメラに用いる場合は覗く位置を
固定（ファインダ位置の固定、アイポイントの固定等）
しようとすると使いにくいものとなり、撮影者に過度の
負担をかけることになる。また、覗く位置をある程度自
由にすると複数の情報を用いて検出する必要が生じる。

【０００６】しかしながら、現状のエリアセンサにて複
数の信号を検出して視線方向を検出する技術は高価なセ
ンサと個人差を吸収するキャリブレーションを含めた高
度な画像処理アルゴリズムを必要とし、コンパクトカメ
ラ等の視線検出には高価で使い難く、処理が遅い等の問
題点がある。

【０００７】この問題に対して、シーケンス内（検出シ
ーケンス開始から視線情報取り込みまで）に初期位置の
表示をファインダ内にて行い、表示による眼の像の変化
を基に視線位置を検出しようとする方式があり、この方
式を用いてＰＳＤ等の安いセンサにて実現することが望
まれた。しかしながら、ＰＳＤ等の画像分解能の低い、
つまり画素数の少ないセンサの場合、撮影者の白目／ま
ぶたからの拡散光の影響にて視線の変化に応じた特徴点
の変化が検出できなくなってしまう。

【０００８】さらに、撮影者の白目／まぶたからの拡散
光の影響は投光ＬＥＤが点灯した場合に顕著に発生す
る。また、赤目発生／赤目非発生のような投光を用いた
場合、眼の判別ではなく眼の回転を検出しようとすると
赤目による新しいノイズが発生すると共に細かな信号検
出が出来なくなってしまう。

【０００９】本発明は上記問題に鑑みてなされたもの
で、その目的とするところは、投光によって発生するノ
イズ、即ち撮影者の白目／まぶた等の拡散光の影響を簡
単な構成にて除去し、的確な視線検出を行うことにあ
る。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明の視線検出装置は、撮影者の眼球に光を投光
する少なくとも第１及び第２の投光手段と、上記第１及
び第２の投光手段により投光された光の撮影者の眼球か
らの各反射光を受光する受光手段と、上記第１及び第２
の投光手段の発光パターン及び発光タイミングを、時系
列的に異なる部分と共通する部分とを含むように制御す
る投光制御手段と、上記投光制御手段により制御された
発光パターン及び発光タイミングに基づいて上記第１及
び第２の投光手段が投光した結果、上記受光手段が受光
した視線信号を処理し、当該視線信号より特徴信号を抽
出する特徴抽出手段とを具備することを特徴とする。

【００１１】

【作用】即ち、本発明の視線検出装置は、少なくとも第
１及び第２の投光手段は撮影者の眼球に光を投光し、受
光手段は上記第１及び第２の投光手段により投光された
光の撮影者の眼球からの各反射光を受光し、投光制御手
段は上記第１及び第２の投光手段の発光パターン及び発
光タイミングを、時系列的に異なる部分と共通する部分
とを含むように制御する。そして、特徴抽出手段は、上
記投光制御手段により制御された発光パターン及び発光
タイミングに基づいて上記第１及び第２の投光手段が投
光した結果、上記受光手段が受光した視線信号を処理
し、当該視線信号より特徴信号を抽出する。

【００１２】

【実施例】先ず本発明の実施例について説明する前に、
本発明に採用される視線検出の原理について説明する。
視線方向を検出する方法としては種々の方法が挙げられ
るが、ここではカメラに適用できる方法として既に当業
技術関係者においては良く知られている第１プルキンエ
像（角膜反射像）と眼底の反射像、又は虹彩のエッジを
用いて検出する方法について簡単に述べる。尚、眼球の
構造的な説明については公知である為、ここでは説明は
省略する。

【００１３】図１３は、ほぼ光軸より投光された光束の
眼球からの反射光の受光出力の様子を示す図である。眼
球９０に光を投光し、その反射像をとらえると受光出力
の高い第１プルキンエ像（角膜反射像）９５ａが検出さ
れる。この第１プルキンエ像９５ａ以外のプルキンエ像
は反射光量が弱く反射像のできる位置が異なる為、検出
することは難しい。そして、眼球９０に光を投光した時
の眼底からの反射光９５ｂによって眼底像が瞳孔の周縁
（虹彩エッジ）９４のシルエットとして検出される。こ
の眼底からの反射像９５ｂは第１プルキンエ像９５ａと
共に図１３に示してあるが、これら２つの像を用いて視
線方向を検出する。この他、符号９１は虹彩、９２は強
膜（白目）、９３は瞳孔、９４は虹彩エッジを示してい
る。

【００１４】図１４は眼球９０の回転による検出像の変
化の様子を示す図である。図１４（ａ）に示すように、
眼球９０の光軸９８と眼に投光する光束が平行にある場
合は、眼底像９５ｂの中心、即ち瞳孔中心と第１プルキ
ンエ像９５ａの中心が一致する。そして、図１４（ｂ）
に示すように、眼球９０が回転した場合には、光軸９８
が眼球９０の回転中心９０ｃを中心として回転する。そ
の場合、眼底像９５ｂの中心は眼からの反射光を受光す
るセンサ画素列上の異なった位置に受光される。更に第
１プルキンエ像９５ａの中心は眼底像９５ｂの中心とも
相対的に異なる位置に受光される。これは、角膜の前面
に持つ曲面の中心が眼球の回転中心と異なる為である。
従って、この２つの像のセンサ画素列に対する絶対位置
のずれと上記２つの像の相対的なずれより、ファインダ
を覗く撮影者の眼球９０の回転量とシフト量を求めるこ
とができ、更には撮影者がどこを見ているか判別するこ
とができる。尚、本発明は視線検出像から角膜反射像９
５ａ又は眼底反射像９５ｂの少なくとも一方を用いて検
出する。

【００１５】図１５は眼球中心が固定されるような場合
の回転と角膜反射９５ａと眼底反射９５ｂの関係を示す
図である。同図に示すように、眼球中心が固定されるな
らば眼底反射９５ｂの重心位置ｉｘ、角膜反射９５ａの
重心位置ｐｘのみ又は両方を含めた重心位置を検出すれ
ば回転角は検出できる。尚、ｐｘは角膜反射９５ａの重
心位置、ｉｘは眼底反射９５ｂの重心位置を示す。ま
た、図１５に示す眼底反射は一般に赤目状態（眼底から
の反射光が多い）であり、赤目状態でない場合（明るい
状態で虹彩が絞られた場合又は反射光が受光系に戻らな
い場合）は、眼底反射９５ｂの出力は更に低下する。
尚、ファインダ中央から見た場合、図１５（ａ）は（基
準；回転角０）で中央を、図１５（ｂ）は回転角負で左
側を、図１５（ｃ）は回転角正で右側を見ていることに
なる。

【００１６】図１６は眼球がシフトと角膜反射９５ａと
眼底反射９５ｂとの関係を示す図である。眼底反射９５
ｂの重心位置ｉｘ、角膜反射９５ａの重心位置ｐｘのみ
又は両方を含めた重心位置を検出すれば、おおまかなシ
フト量は検出できる。尚、ｐｘは角膜反射９５ａの重心
位置，ｉｘは眼底反射９５ｂの重心位置を示す。また、
図１５と同様に、眼底反射は一般に赤目状態（眼底から
の反射光が多い）であり赤目状態でない場合（明るい状
態で虹彩が絞られた場合又は反射光が受光系に戻らない
場合）は眼底反射９５ｂの出力は更に低下する。尚、フ
ァインダ中央から見た場合、図１６（ａ）は（基準：シ
フト量０）で中央を、図１６（ｂ）はシフト量負で左側
を、図１６（ｃ）はシフト量正で右側を見ていることに
なる。

【００１７】一般に、１回のシャッタシーケンス（１ｓ
ｔレリーズ付近から２ｎｄレリーズまで）においては眼
のシフトは大きく変化することはなく、相対的な動きと
基準位置を検出することで撮影者が見ようとする方向を
知ることができる。また基準位置検出はシーケンス内で
行なうようにすると更に良い。

【００１８】以下、前述したような原理に基づく本発明
の実施例について説明する。図１は本発明の第１の実施
例に係る視線検出装置の構成を示す図である。同図に示
すように、複数の投光手段を有する投光部１は投光制御
部２に、投光された光束の眼からの反射光を受光する受
光部３は特徴抽出部４に、特徴抽出部４は受光部３と投
光制御部２に接続されている。

【００１９】このような構成にて、投光部１は投光制御
部２の信号に基づいて複数ある投光部より眼に投光を行
い、投光制御部２は一つ以上の投光パターンを作成し、
更に投光タイミングを作成する。受光部３は投光された
光束の眼からの反射光を受光し電気信号に変換し、特徴
抽出部４に出力する。特徴抽出部４は投光制御部２の投
光タイミングと投光パターンに信号と投光信号に同期し
て取り込んだ受光部３の信号を基に信号処理（差分処
理）を行い視線特徴信号を抽出する。

【００２０】次に図２は第１実施例によるサブルーチン
“視線検出”のシーケンスを示すフローチャートであ
る。“視線検出”のシーケンスを開始すると（ステップ
Ｓ１００）、先ずパターンａにて眼球に投光し（ステッ
プＳ１０１）、データＤａを検出する（ステップＳ１０
２）。そして、パターンｂで眼球に投光し（ステップＳ
１０３）、データＤｂを検出する（ステップＳ１０
４）。さらに、データＤａ，Ｄｂの信号にて信号処理
（Ｄ＝Ｄａ−Ｄｂ）を行い（ステップＳ１０５）、この
データＤにて重心検出を行い（ステップＳ１０６）、全
てのシーケンスを終了する（ステップＳ１０７）。

【００２１】次に図３は本発明の第２の実施例に係る視
線検出装置の構成を示す図である。同図に示すように、
複数点測距回路（マルチＡＦ回路）１１，Ｉ／Ｆ回路２
０は中央演算処理装置（ＣＰＵ）１２に接続されてお
り、該ＣＰＵ１２は表示回路１３，投光ＬＥＤ１７ａ，
１７ｂ，駆動回路１５に接続されている。そして、この
駆動回路１５はレンズ１４にも接続されている。さら
に、投光ＬＥＤ１７ａ，１７ｂ及びファインダ光学系１
６は視線検出光学系１８に接続されている。また表示回
路１３はファインダ光学系１６に接続されている。そし
て、上記視線検出光学系１８は光量分布の重心位置を明
るさに依存する電流比にて検出するデバイスである視線
センサ（ＰＳＤ）１９に接続されており、該ＰＳＤ１９
はインターフェース回路（Ｉ／Ｆ回路）２０を介して上
記ＣＰＵ１２に接続されている。尚、本構成は横配置の
３点ＡＦのフォーカスエリアの選択を本発明の視線検出
装置の視線信号を用いて行うものである。

【００２２】このような構成において、マルチＡＦ回路
１１は複数点に測距を行い測距情報をＣＰＵ１２へ送
り、視線検出系はＣＰＵ１２からの指令を受けると、表
示回路１３より所定の表示が行われると共に投光ＬＥＤ
１７ａ，１７ｂより視線検出光学系１８及びファインダ
光学系１６を介して眼球９０に対して光が投光される。

【００２３】そして、この眼球からの反射光は再びファ
インダ光学系１６，視線検出光学系１８を介して視線セ
ンサ１９に受光される。このＰＳＤ１９からの出力信号
は、Ｉ／Ｆ回路２０を介してＣＰＵ１２に取り込まれ、
より重心位置に対応する信号と明るさに対応する信号に
変換された後、ＣＰＵ１２に入力される。ＣＰＵ１２は
Ｉ／Ｆ回路２０より取り込まれた信号を基に信号処理後
の重心検出より得られた視線に関する情報とマルチＡＦ
回路１１より得られた複数点の測距情報を基に視線位置
に対応するフォーカスエリアのデフォーカス量を決定す
る。更に、設定されたデフォーカス量にて駆動回路１５
を介してレンズ１４を駆動する。

【００２４】次に図４は上記視線検出光学系１８の詳細
な構成を示す図である。図４（ａ）に示すように、投光
ＬＥＤ１７ａ，１７ｂからの投光光の光路上には投光レ
ンズ２１を介してハーフミラー２２が配置されており、
上記投光光は該ハーフミラー２２により反射される。そ
して、この反射光の光路上にはプリズム２３が配置され
ており、反射光はプリズム２３の反射面２３ａにて反射
され、ファインダ２４を介して撮影者の眼球９０へと導
かれる。上記撮影者の眼球からの反射光は、入射光と同
じ光路を通ってファインダ２４を介してプリズム２３に
入射され、その反射面２３ａにて反射される。そして、
この反射光はハーフミラー２２を透過し、受光レンズ２
５を介して視線センサ１９に受光される。一方、被写体
光は、該被写体光に重ねて表示を示す表示液晶２６を介
してプリズムに入射され、その反射面２３ａを透過し
て、更にファインダ２４を介して撮影者の眼球９０へと
導かれる。

【００２５】そして、図４（ｂ）は投光ＬＥＤ１７ａ，
１７ｂと受光センサ１９と眼球９０の等価的な関係を示
している。投光光束の光軸と受光光束の光軸は一致せず
投光光束は眼球９０を横から照らすような構成とし、眼
底光からの直接反射光が受光センサに入り難く構成して
ある。

【００２６】次に図５は投光光束による眼球からの反射
信号の検出信号の様子を示す図である。同図に示すよう
に、２つの投光ＬＥＤ１７ａ，１７ｂによる眼球からの
反射像は、投光ＬＥＤ１７ａ，１７ｂの発光にて白目か
らの反射光像と角膜からの反射像ができる。即ち、図５
（ａ）に示すように、投光ＬＥＤが２つ共に発光した場
合は角膜からの反射像が２つのピークを有している。そ
して、図５（ｂ）に示すように、投光ＬＥＤが１つのみ
発光の場合は角膜からの反射像が１つのピークのみを有
している。さらに、図５（ｃ）に示すように、投光ＬＥ
Ｄが２つ発光時と１つ発光時の差分処理をした場合は白
目の影響を低減できる。これは、眼球の形状と白目の拡
散特性によるものと思われる。

【００２７】以下、図６のフローチャートを参照して、
第２の実施例のメインシーケンスについて説明する。
尚、初期化表示は図１０（ａ），（ｃ）に示す通りであ
る。メインシーケンスを開始すると（ステップＳ２０
０）、１ｓｔレリーズスイッチのＯＮ／ＯＦＦの判定を
行い（ステップＳ２０１）、１ｓｔレリーズスイッチが
ＯＦＦの場合にはステップＳ２１５へ移行し、１ｓｔレ
リーズスイッチがＯＮの場合にはイニシャライズを行
う。ここでは、フォーカスエリアを中央に設定する（ス
テップＳ２０２）。

【００２８】続いて後述するサブルーチン“視線検出”
を実行して視線を検出し（ステップＳ２０３）、ここで
検出された視線座標Ｘ（視線重心）をフラグＸ１に、Ｆ
ＸをフラグＦ１にストアする（ステップＳ２０４）。次
いで、マルチＡＦ，ＡＥを行う。尚、ＡＦデータは、左
より順にＤＬ，ＤＣ，ＤＲとし、ＡＦ方式は公知の位相
差方式でもアクティブ方式でもよいものとする。更にＡ
Ｅは本実施例には記してないがカメラに公知の測光であ
る（ステップＳ２０５）。次いで、視線基準位置検出用
の表示を行う。これは、表示フラシング又は音を併用し
て行うと更に良く、ＡＦ終了の信号と兼用してもよい
（ステップＳ２０６）。

【００２９】次いで、再度サブルーチン“視線検出”を
実行する（ステップＳ２０７）。そして、ここで検出さ
れた視線座標Ｘ（視線重心）をフラグＸ０に、ＦＸをフ
ラグＦ０にストアする（ステップＳ２０８）。そして、
カメラの情報、即ち上記ステップＳ２０６にて表示され
なかった情報をファインダ内に表示し（ステップＳ２０
９）、後述するサブルーチン“フォーカスエリア設定”
を実行する（ステップＳ２１０）。

【００３０】続いて、１ｓｔレリーズのＯＮ／ＯＦＦの
判定を行い（ステップＳ２１１）、１ｓｔレリーズスイ
ッチがＯＦＦの場合にはステップＳ２１５へ移行し、１
ｓｔレリーズスイッチがＯＮの場合には２ｎｄレリーズ
スイッチのＯＮ／ＯＦＦの判定を行う（ステップＳ２１
１）。そして、２ｎｄレリーズスイッチがＯＦＦの場合
にはステップＳ２１１へ戻り、２ｎｄレリーズスイッチ
がＯＮの場合には設定されたフォーカスエリアのデフォ
ーカス量に応じてレンズを駆動する。このデフォーカス
量は測距データＬにて決定される（ステップＳ２１
３）。こうして、露光シーケンスや巻き上げシーケンス
等のカメラシーケンスを行った後（ステップＳ２１
４）、本シーケンスを終了する（ステップＳ２１５）。

【００３１】次に図７は上記サブルーチン“視線検出”
のシーケンスを示す図である。シーケンスを開始すると
（ステップＳ３００）、先ず変数のイニシャライズを行
う。ここでは変数ｉとフラグＦＸ（視線信号の有効性を
評価するフラグ）を“０”に初期化する（ステップＳ３
０１）。続いてＩＲＥＤをパターン１にて撮影者の目に
投光し（ステップＳ３０２）、このＩＲＥＤの投光に同
期してＰＳＤの出力信号をＩＬ１，ＩＲ１として検出す
る（ステップＳ３０３）。

【００３２】次いでＩＲＥＤをパターン２にて撮影者の
目に投光し（ステップＳ３０４）、ＩＲＥＤの投光に同
期してＰＳＤの出力信号をＩＬ２，ＩＲ２として検出す
る（ステップＳ３０５）。さらに、明るさに関する信号
として総電流Ｅ（Ｅ＝ＩＬ１＋ＩＲ１＋ＩＬ２＋ＩＲ
２）の検出を行い（ステップＳ３０６）、明るさに対応
する信号Ｅの評価（まばたき判定）を行う（ステップＳ
３０７）。

【００３３】そして、Ｅａ＜Ｅ＜Ｅｂ（Ｅａ，Ｅｂは所
定値）でない場合には変数ｉの判定を行い（ステップＳ
３０８）、ｉ＝ｋ（ｋ；１以上の所定値）の場合にはフ
ラグＦＸを“１”に設定して（ステップＳ３１０）本シ
ーケンスを抜ける（ステップＳ３１１）。これに対して
ｉ＝ｋでない場合には（ステップＳ３０８）、変数ｉを
インクリメント（ｉ＝ｉ＋１）し、ステップＳ３０２へ
戻る（ステップＳ３０９）。一方、Ｅａ＜Ｅ＜Ｅｂ（Ｅ
ａ，Ｅｂ；所定値）の場合には（ステップＳ３０７）、
検出信号処理を以下のように行う（ステップＳ３１
１）。

【００３４】ＩＬ＝ＩＬ１ーＩＬ２，ＩＲ＝ＩＲ１ーＩＲ２そして、重心検出（重心の位置ｘ；検出原点はファイン
の画面中心に対応する位置とする）を行い（ステップＳ
３１２）、本シーケンスを抜ける（ステップＳ３１
３）。

【００３５】ｘ＝ｈ×（ＩＬーＩＲ）／（ＩＬ＋ＩＲ）
（ｈ：所定の定数）次に図８はサブルーチン“フォーカスエリア設定”のシ
ーケンスを示すフローチャトである。シーケンスを開始
すると（ステップＳ４００）、フラグＦ０，Ｆ１の判定
を行う（ステップＳ４０１）。そして、フラグＦ０，Ｆ
１の少なくとも一方に“１”がある場合には測距情報を
公知のマルチＡＦのアルゴリズム（視線情報は使用しな
い）にて測距データを設定する（ステップＳ４０７）。
そして、視線モードマークを点減し警告表示を行いステ
ップＳ４０６へ移行する（ステップＳ４０８）。これに
対して、フラグＦ０，Ｆ１のどちらにも”１”がない場
合には、視線の動き量（Ｘ１ーＸ０）の判定（Ｄ；所定
値で焦点距離情報に依存してもよい）を行い、測距デー
タを設定する（ステップＳ４０２〜Ｓ４０６）。

【００３６】そして、Ｘ１ーＸ０＜ーＤの場合にはフォ
ーカスエリアを左側に設定し、測距データを設定する
（ステップＳ４０４）。さらに、Ｘ１ーＸ０＜Ｄの場合
にはフォーカスエリアを中央に設定し、測距データを設
定する（ステップＳ４０５）。そして、Ｘ１ーＸ０≧Ｄ
の場合にはフォーカスエリアを右側に設定し測距データ
を設定する（ステップＳ４０６）。こうして、この測距
データに基づいて撮影レンズのデフォーカス量を設定し
（ステップＳ４０９）、本シーケンスを抜けメインシー
ケンスに戻る（ステップＳ４１０）。

【００３７】ここで、図９は投光・検出のタイミング例
を示す図である。同図（ａ）において、ＩＲＥＤａ，
ＩＲＥＤｂは投光ＬＥＤ１７ａ，１７ｂに対応する。
そして、ＩＲＥＤａ，ＩＲＥＤｂの同時発光と同期
してＰＳＤも信号を積分し（１）、またＩＲＥＤａの
みの発光と同期してＰＳＤも信号を積分する（２）。そ
して、この信号（１），（２）の差分処理を行う。

【００３８】そして、図１０はファインダ表示の様子を
示す図である。図１０（ａ），（ｃ）はスーパーインポ
ーズにて画面の中央に表示する場合であり、図１０
（ｂ），（ｄ）は枠の部分に表示する場合である。ま
た、視線モードの表示は視線検出モードの場合点灯し、
視線検出できない場合点滅にて警告する。表示方法はフ
ラッシングや大きさの変化等にて動的表示が望ましい。
更にファインダ周辺には上記以外の表示（合焦表示、ス
トロボ発光表示等）がある。特に、図１０（ｄ）は合焦
表示の初期化の表示を兼用した場合を示している。

【００３９】以上、本発明の第２の実施例について説明
したが、本発明はこれに限定されることなく種々の改良
・変更が可能であることは勿論である。例えば重心検出
が可能であればＰＳＤ以外のラインセンサ等を用いても
よい。さらに、角膜反射でなく白目／黒目の割合をフォ
トダイオードにて検出して目の動きとしてもよい。ま
た、投光ＬＥＤの数は１つ以上であれば２つに限定され
ることはなく投光パターンも２つ以上でもよい。さら
に、正面投光（軸上からの投光）もパターンに加えても
よい。

【００４０】また、第２の実施例では、プルキンエ像抽
出に主眼をおいているが、抽出位置を変えることで例え
ばまぶた等のＤＣ成分のみを除去し、白目の移動を抽出
するようにしてもよい。その様子は図１２に示す通りで
ある。即ち、図１２（ａ）は２ケのＬＥＤのＯＮにて投
光した時の様子を示し、図１２（ｂ）は１ケのＬＥＤの
ＯＮにて投光した時の様子を示している。そして、図１
２（ｃ）に示すように、図１２（ａ）の信号と図１２
（ｂ）の信号との差分処理にて、片側の白目部を残すよ
うに、且つまぶた反射のように一様に反射光をキャンセ
ルする投光をすることで、白目信号が大きく残り（プル
キンエ像の信号は小さい）、目の回転によって白目部が
変化するので目の回転方向が分かる。但し、この場合、
プルキンエ像又は瞳孔とは逆の動きとなる。

【００４１】そして、測距点は複数であれば３点に捕ら
われる必要はなく複数であればよい。また、カメラのシ
ーケンスとしては視線検知が必要ない場合（測距点が深
度内に入る場合等）は視線検出シーケンスを省略するの
がよい。また、信頼性（まばたき）判定を２回の投光の
検出信号の総和で行っているが、各投光毎に行った方が
更に良く、更にまばたき以外のカメラと顔の接触（カメ
ラファインダに眼を押し付けている）の判定や眼がね判
定を組み合わせると更に良い。また、視線検出や視線表
示、及び視線検出はＡＦ，ＡＥ等のカメラのシーケンス
と平行に行われてもよい。

【００４２】また、図１０において、ＰＳＤの検出積分
時間をＩＲＥＤａ，ＩＲＥＤｂの両方発光時と一方
発光時で異なるようにしてもよく、発光強度を変えても
よい。また、積分ではなく電流検出方式にしてもよい。
電流検出の場合は発光強度を変えることがよい。また、
重心検出方式は、ＩＬ＝｜ＩＬ１−ＩＬ２｜，ＩＲ＝｜ＩＲ１−ＩＲ２｜として処理してもよい。さらに、上記ステップＳ２１３
にてＩＬ＜０の場合はＩＬ＝０とし、ＩＲ＜０の場合は
ＩＲ＝０として処理してもよい。但し、ＩＬ＝０及びＩ
Ｒ＝０のときは検出しないようにする（ＦＸ＝１として
戻す）。

【００４３】次に第３の実施例に係る視線検出装置につ
いて説明する。第３実施例は、第２実施例と同様の構成
にて視線検出のシーケンスを２つの投光ＬＥＤの３つの
パターンにて実現するものである。

【００４４】ここで、図９（ｂ）に投光ＬＥＤ（ＩＲＥ
Ｄａ，ＩＲＥＤｂ）の投光パターンと受光パターン
の様子を示す。そして、同図において、（１）ではＩＲ
ＥＤａ，ＩＲＥＤｂの発光をＰＳＤが検出し、（２）
ではＩＲＥＤａのみの発光をＰＳＤが検出し、（３）
ではＩＲＥＤｂのみの発光をＰＳＤが検出する。

【００４５】次に図１１はサブルーチン“視線検出”の
シーケンスを示すフローチャートである。本サブルーチ
ンのシーケンスを開始すると（ステップＳ５００）、先
ず変数のイニシャライズを行う。ここでは変数ｉ，フラ
グＦＸを“０”に初期化する（ステップＳ５０２）。次
いで、ＩＲＥＤをパターン１にて撮影者の目に投光し
（ステップＳ５０２）、ＩＲＥＤ投光に同期してＰＳＤ
出力信号をＩＬ１，ＩＲ１として検出する（ステップＳ
５０３）。さらに、ＩＲＥＤをパターン２にて投影者の
目に投光し（ステップＳ５０４）、ＩＲＥＤの投光に同
期してＰＳＤ出力信号をＩＬ２，ＩＲ２として検出する
（ステップＳ５０５）。そして、ＩＲＥＤをパターン３
にて撮影者の目に投光し（ステップＳ５０６）、ＩＲＥ
Ｄ投光に同期してＰＳＤ出力信号をＩＬ３，ＩＲ３とし
て検出する（ステップＳ５０７）。

【００４６】次いで、明るさに関する信号として次式で
示される総電流Ｅ１，Ｅ２の検出を行う（ステップＳ５
０８）。Ｅ１＝ＩＬ１＋ＩＲ１＋ＩＬ２＋ＩＲ２Ｅ２＝ＩＬ１＋ＩＲ１＋ＩＬ３＋ＩＲ３そして、明るさに対応する信号Ｅ１の評価（まばたき判
定）を行う（ステップＳ５０９）。Ｅａ＜Ｅ１＜Ｅｂで
ない場合（Ｅａ，Ｅｄ；所定値）明るさに対応する信号
Ｅ２の評価（まばたき判定）を行う（ステップＳ５１
０）。Ｅａ＜Ｅ２＜Ｅｂでない場合（Ｅａ，Ｅｂは所定
値）変数ｉの判定を行う（ステップＳ５１１）。そし
て、ｉ＝ｋ（ｋ；１以上の所定値）の場合にはフラグＦ
Ｘを”１”に設定して本シーケンスを抜ける（ステップ
Ｓ５１４）。これに対して、ｉ＝ｋでない場合には変数
ｉをインクリメント（ｉ＝ｉ＋１）しステップＳ５０２
へ戻る（ステップＳ５１２）。Ｅａ＜Ｅ１＜Ｅｂ（Ｅ
ａ，Ｅｂ；所定値）の場合には明るさに対応する信号Ｅ
２の評価（まばたき判定）を行う（ステップＳ５１
５）。

【００４７】Ｅａ＜Ｅ２＜Ｅｂ（Ｅａ，Ｅｂ；所定値）
の場合には検出信号処理を以下のように行う（ステップ
Ｓ５１６）。ＩＬａ＝ＩＬ１−ＩＬ２ＩＲａ＝ＩＲ１−ＩＲ２ＩＬｂ＝ＩＬ１−ＩＬ３ＩＲｂ＝ＩＲ１−ＩＲ３続いて、それぞれの重心検出（重心の位置ｘａ，ｘｂ；
検出原点はファインダの画面中心に対応する位置とす
る）を行う（ステップＳ５１７）。

【００４８】ｘａ＝ｈ×（ＩＬａ−ＩＲａ）／（ＩＬａ＋ＩＲａ）ｘｂ＝ｈ×（ＩＬｂ−ＩＲｂ）／（ＩＬｂ＋ＩＲｂ）（ｈ：所定の定数）次に各平均重心値ｘを求め本シーケンスを抜ける（ステ
ップＳ５１８）。

【００４９】ｘ＝（ｘａ＋ｘｂ）／２さらに、ステップＳ５１５にてＥａ＜Ｅ２＜Ｅｂ（Ｅ
ａ，Ｅｂ；所定値）の場合には検出信号処理を以下のよ
うに行う（ステップＳ５１９）。

【００５０】ＩＬ＝ＩＬ１−ＩＬ２，ＩＲ＝ＩＲ１−ＩＲ２そして、重心検出（重心の位置ｘ）を行う（ステップＳ
５２０）。ｘ＝ｈ×（ＩＬ−ＩＲ）／（ＩＬ＋ＩＲ）さらに、ステップＳ５１０にてＥａ＜Ｅ２＜Ｅｂ（Ｅ
ａ，Ｅｂ；所定値）の場合には検出信号処理を以下のよ
うに行った後、ステップＳ５２０へ行く（ステップＳ５
１９）。

【００５１】ＩＬ＝ＩＬ１−ＩＬ３，ＩＲ＝ＩＲ１−ＩＲ３こうして本シーケンスを抜けメインシーケンスに戻る
（ステップＳ５２１）。以上、本発明の第３の実施例に
ついて説明したが、本発明はこれに限定されることな
く、種々の改良・変更が可能であることは勿論である。
例えば重心検出が可能であればＰＳＤ意外のラインセン
サ等を用いてもよい。そして、角膜反射でなく白目／黒
目の割合をフォトダイオードにて検出して目の動きとし
てもよい。

【００５２】さらに、投光ＬＥＤの数は１つ以上であれ
ば２つに限定されることはなく、投光パターンも２つ以
上でもよい。また、測距点は複数であれば３点に捕らわ
れる必要はなく複数であればよい。そして、カメラのシ
ーケンスとしては視線検知が必要ない場合（測距点が深
度内に入る場合等）は視線検出シーケンスを省略するの
がよい。さらに、信頼性（まばたき）判定を２回の投光
の検出信号の総和で行っているが各投光ごとに行った方
が更に良く、まばたき以外のカメラと顔の接触（カメラ
ファインダに眼を押し付けている）の判定や眼がね判定
を組み合わせると更によい。また、視線検出，視線表
示，視線検出はＡＦ，ＡＥ等のカメラのシーケンスと平
行して行われてもよい。

【００５３】そして、図９（ｃ）に示すように、（１）
と（２），（３）のセンサ（ＰＳＤ）の積分時間又は投
光ＬＥＤの発光強度を調節して最適化すると更に良く、
また積分ではなく電流検出方式によるものとしても良
い。尚、電流検出の場合は発光強度を変えることがよ
い。また、投光毎に所定の係数にて検出値に重み付けを
行って後処理を行ってもよい。

【００５４】

【発明の効果】本発明によれば、異なるパターン投光と
その検出信号の差分処理にて、撮影者の白目／まぶた等
の拡散光の影響を簡単な構成にて除去し、的確な視線検
出を行う安価で精度の高い視線検出装置を提供すること
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る視線検出装置の構
成を示す図である。

【図２】第１実施例によるサブルーチン“視線検出”の
シーケンスを示すフローチャートである。

【図３】本発明の第２の実施例に係る視線検出装置の構
成を示す図である。

【図４】視線検出光学系１８の詳細な構成を示す図であ
る。

【図５】投光光束による眼球からの反射信号の検出信号
の様子を示す図である。

【図６】第２の実施例のメインシーケンスを示すフロー
チャートである。

【図７】第２の実施例によるサブルーチン“視線検出”
のシーケンスを示すフローチャートである。

【図８】第２の実施例によるサブルーチン“フォーカス
エリア設定”のシーケンスを示すフローチャトである。

【図９】投光・検出のタイミング例を示す図である。

【図１０】ファインダ表示の様子を示す図である。

【図１１】第３の実施例によるサブルーチン“視線検
出”のシーケンスを示すフローチャートである。

【図１２】本発明の改良例について説明するための図で
ある。

【図１３】ほぼ光軸より投光された光束の眼球からの反
射光の受光出力の様子を示す図である。

【図１４】眼球９０の回転による検出像の変化の様子を
示す図である。

【図１５】眼球中心が固定されるような場合の回転と角
膜反射９５ａと眼底反射９５ｂの関係を示す図である。

【図１６】眼球がシフトと角膜反射９５ａと眼底反射９
５ｂとの関係を示す図である。

【符号の説明】

１…投光部、２…受光部、３…投光制御部、４…特徴抽
出部、１１…マルチＡＦ回路、１２…ＣＰＵ、１３…表
示回路、１４…撮影レンズ、１５…駆動回路、１６…フ
ァインダ光学系、１７…投光ＬＥＤ、１８…視線光学
系、１９…ＰＳＤ、２０…Ｉ／Ｆ回路。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年１１月８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００４９

【補正方法】変更

【補正内容】

【００４９】ｘ＝（ｘａ＋ｘｂ）／２さらに、ステップＳ５１５にてＥａ＜Ｅ２＜Ｅｂ（Ｅ
ａ，Ｅｂ；所定値）でない場合には検出信号処理を以下
のように行う（ステップＳ５１９）。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００５０

【補正方法】変更

【補正内容】

【００５０】ＩＬ＝ＩＬ１−ＩＬ２，ＩＲ＝ＩＲ１−ＩＲ２そして、重心検出（重心の位置ｘ）を行う（ステップＳ
５２０）。ｘ＝ｈ×（ＩＬ−ＩＲ）／（ＩＬ＋ＩＲ）さらに、ステップＳ５１０にてＥａ＜Ｅ２＜Ｅｂ（Ｅ
ａ，Ｅｂ；所定値）の場合には検出信号処理を以下のよ
うに行った後、ステップＳ５２０へ行く（ステップＳ５
１３）。

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図４

【補正方法】変更

【補正内容】

【図４】

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】変更

【補正内容】

【図７】

【手続補正５】

【補正対象書類名】図面

【補正対象項目名】図１１

【補正方法】変更

【補正内容】

【図１１】

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 8411−2ＫＧ０３Ｂ 3/00 Ａ

Claims

【特許請求の範囲】

【請求項１】撮影者の眼球に光を投光する少なくとも
第１及び第２の投光手段と、上記第１及び第２の投光手段により投光された光の撮影
者の眼球からの各反射光を受光する受光手段と、上記第１及び第２の投光手段の発光パターン及び発光タ
イミングを時系列的に異なる部分と共通する部分とを含
むように制御する投光制御手段と、上記投光制御手段により制御された発光パターン及び発
光タイミングに基づいて上記第１及び第２の投光手段が
投光した結果、上記受光手段が受光した視線信号を処理
し、当該視線信号より特徴信号を抽出する特徴抽出手段
と、を具備することを特徴とする視線検出装置。