JPH07168082A - 視線検出装置 - Google Patents

Abstract

(57)【要約】 【目的】この発明の視線検出装置は、撮影者の投光によ
り発生したノイズ成分があっても、偏光特性を外部から
偏向することで簡単な構成、処理にて精度よくプルキン
エ像を検出することを特徴とする。 【構成】ＣＰＵ１４は、マルチＡＦ回路２０から測距情
報を受けて、表示回路２３に所定の表示を行う。投光Ｌ
ＥＤ１５ａ及び１５ｂは、時分割にて視線光学系１６及
びファインダ光学系１７を介して眼１０に対して投光す
る。視線センサ１８は、眼１０からの反射光をファイン
ダ光学系１７、視線光学系１６を介して受光し、Ｉ／Ｆ
回路１９を介してＣＰＵ１４に信号を出力する。ＣＰＵ
１４は、Ｉ／Ｆ回路１９からの信号に基いた視線情報
と、マルチＡＦ回路２０からの測距情報に基いた視線位
置に対応するフォーカスエリアのデフォーカス量を決定
し、設定されたデフォーカス量にて駆動回路２１を介し
てレンズ２２を駆動する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、撮影者の視線方向を
検出し、検出した視線の信号にてカメラの情報（フォー
カスエリア）を設定する視線検出装置に関するものであ
る。

【０００２】

【従来の技術】従来、カメラへの各種情報の入力は、例
えばダイアル、釦等によって行われており、入力情報が
増加するに従って操作環境は煩雑になっている。例え
ば、ファインダを覗く撮影者の視線方向を検出し、その
視線の情報よりカメラに情報入力する技術は、特開昭６
３−１９４２３７号公報、特開平３−８７８１８号公報
等により多数開示されている。

【０００３】また、検出方式等に於いても、角膜、虹
彩、瞳孔、強膜（白目）等の何れかを用いて検出する方
法が多数開示されている（特開平１−１６０５３７号公
報、特開平２−２０６４２５号公報等参照）。

【０００４】更に、視線検出位置を用いた測距情報の決
定に関しても、特開平４−３０７５０６号公報、特開平
５−８８０７５号公報等に、多数開示されている。ま
た、センサの信号処理に於いても、投光ＬＥＤに同期し
て点灯時／非点灯時の信号の差分処理を行うことがよく
行われる。更に、異なる位置からの投光（赤目発生位置
での投光と赤目発生しない位置での投光）にて検出した
信号を差分処理し、赤目信号を顔の中より抽出し瞳孔検
出を行う方法が、特開平２−１３８６７３号公報に開示
されている。加えて、眼底部からの反射光（赤目）を用
いて視線検出する技術は、特開昭６３−２１０６１３号
公報に開示されている。

【０００５】

【発明が解決しようとする課題】ところで、視線検出に
於いては、“何処（位置）からの方向（回転）”を知る
必要がある。複数に眼の情報（角膜反射光、虹彩エッジ
等）を用いる検出方式では、エリアセンサと高度の画像
処理アルゴリズムを必要としている。これに対し、一つ
の眼の情報（白目／黒目の割合等）を用いる検出方式
は、覗く位置を固定する（眼がねタイプ：竹井機器）等
を行っている。

【０００６】カメラに用いる場合は、覗く位置を固定
（ファインダ位置の固定、アイポイントの固定等）しよ
うとすると使いにくいものとなり、更に撮影者に過度の
負担を負わせることになる。覗く位置をある程度自由に
すると、複数の情報を用いて検出する必要になる。

【０００７】しかしながら、現状のエリサセンサにて複
数の信号を検出して視線方向を検出する方法は、高価な
センサと個人差を吸収するキャリブレーションを含めた
高度な画像処理アルゴリズムを必要とし、コンパクトカ
メラ等の視線検出には高価、使いにくい、遅い等の問題
点がある。

【０００８】また、フォトダイオード等の受光素子にて
白目／黒目の割合を検出しようとすると、黒目を構成す
る虹彩部の反射率と白目の反射率が赤外光に対して大き
く異ならないため、検出Ｓ／Ｎが厳しいものとなり調整
が難しくなる。

【０００９】上記キャリブレーションの問題に対して
は、キャリブレーションを行わない、またはシーケンス
内（検出シーケンス開始から視線情報取り込みまで）に
初期位置の表示をファインダ内に行い、表示による眼の
像の変化を基に視線位置を検出しようとする方式が望ま
しい。

【００１０】これらの方式を用いて、ＰＳＤ等の安価な
センサにて実現することが望まれている。眼の特徴点と
しては、プルキンエ像（Ｐ像）と瞳孔（Ｄ像）の両方、
または一方が検出できると、視線検出に対して有効性が
高い。しかしながら、ＰＳＤ等の画像分解能の低い（画
素分割がない）センサの場合、撮影者の白目／まぶたか
らの拡散光等の影響にて、視線の変化に応じたＰ像、Ｄ
像の変化が検出できなくなってしまう。これは出力は小
さいが面積がはるかに大きい白目、まぶたの反射のノイ
ズ光に埋もれてしまうためである。

【００１１】また、差分処理に関しては、撮影者の視線
の変化に応じた特徴信号は、投光ＬＥＤが点灯した場合
に発生するため、検出成分と非検出成分が同時に発生す
るものであった。

【００１２】この発明は上記課題に鑑みてなされたもの
で、撮影者の投光により発生したノイズ成分があって
も、簡単な構成、処理にて高精度の視線検出を行うこと
のできる視線検出装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】すなわちこの発明は、撮
影者の眼の眼底にて反射される波長を有する光をファイ
ンダ光学系のファインダ光軸上に投光する第１の投光手
段と、この第１の投光手段の波長とは異なる波長を有す
る光をファインダ光学系のファインダ光軸上に投光する
第２の投光手段と、上記第１若しくは第２の投光手段に
よる撮影者の目からの反射光を受光する受光手段と、上
記第１及び第２の投光手段の投光パターンと投光タイミ
ングと、該投光タイミングに同期した上記受光手段の受
光タイミングとを制御する制御手段と、上記受光手段の
出力に基いて、視線方向に関する情報を算出する視線情
報算出手段とを具備することを特徴とする。

【００１４】

【作用】この発明の視線検出装置にあっては、投光素子
はほぼ光軸上に配置され波長特性を異にした２つ以上の
光源にて構成され、制御装置の信号にて投光素子選択、
投光タイミングを制御して撮影者の眼に投光され、受光
素子は複数の投光素子からの投光に制御装置の信号にて
同期して、眼からの投光素子の反射光を受光する。制御
装置は投光素子と受光素子を制御する。また処理装置は
受光された信号に補正を加え差分処理を行い、処理後の
信号にて重心検出を行いＤ像を重心を抽出する。

【００１５】

【実施例】初めに、この発明の実施例について説明する
前に、この発明に採用される視線検出の原理について、
図面を参照して説明する。尚、視線方向を検出する方法
としては種々の方法が挙げられるが、ここでは、カメラ
に適用できる方法として、すでに当業技術関係者に於い
てはよく知られてる第１プルキンエ像（角膜反射像）と
眼底の反射像、または虹彩のエッジを用いて検出する方
法について簡単に述べる（構造的説明は公知なので省略
する）。

【００１６】図２は、ほぼ光軸よりより投光された光束
の眼からの反射光の受光出力の様子を示したものであ
る。図２に於いて、１は虹彩、２は強膜（白目）、３は
瞳孔、４は虹彩エッジを表している。図示されない眼球
に光を投光し、その反射像をとらえると、受光出力の高
い第１プルキンエ像（角膜反射像：Ｐ像）５ａが検出さ
れる。尚、上記第１プルキンエ像５ａ以外のプルキンエ
像は、反射光量が弱く反射像のできる位置が異なるた
め、検出することは難しい。

【００１７】そして、眼球に光を投光した時の眼底から
の反射光５ｂにより、眼底像が瞳孔３の周縁（虹彩エッ
ジ）４のシルエットとして検出される。この眼底からの
反射像（瞳孔像：Ｄ像）５ｂは、第１プルキンエ像５ａ
と共に図３に示してあるが、この２つの像を用いて視線
方向を検出する。

【００１８】図３は、眼球の回転による検出像の変化の
様子を示したものである。眼球６の光軸７と眼に投光す
る光束が平行にある場合は、図３（ａ）に示されるよう
に、眼底像５ｂの中心、すなわち瞳孔中心と第１プルキ
ンエ像５ａの中心とが一致している。そして、眼球６が
回転した場合には、図３（ｂ）に示されるように、光軸
７が眼球６の回転中心８を中心に回転している。その場
合、眼底像５ｂの中心は、眼からの反射光を受光するセ
ンサ画素列上の異なった位置に受光できる。

【００１９】更に、第１プルキンエ像５ａの中心は、眼
底像５ｂの中心とも相対的に異なる位置に受光する。こ
れは、角膜の前面に持つ曲面の中心が回転中心と異なる
ためである。したがって、この２つの像のセンサ画素列
に対する絶対位置のずれと上記２つの像の相対的なずれ
より、ファインダを覗く撮影者の眼球６の回転量とシフ
ト量を求めることができ、更には撮影者が何処を見てい
るかを判別することができる。また、第１プルキンエ像
５ａの中心と眼底像５ｂの中心との相対的な変化量は、
眼球６の回転とほぼ比例関係を持っている。

【００２０】この発明は、視線検出像から角膜反射像５
ａまたは眼底反対像５ｂの少なくとも一方を用いて検出
する。図４は、眼球中心が固定されるような場合の、回
転と角膜反射５ａと眼底反射５ｂの様子を示したもので
ある。

【００２１】眼球中心が固定されるならば、眼底反射５
ｂの重心位置ｉx 、角膜反射５ａの重心位置ｐx のみま
たは両方を含めた重心位置を検出すれば、回転角は検出
できる。同図（ａ）、（ｂ）及び（ｃ）は、眼底反射５
ｂと角膜反射５ａの関係を示したものである。ｐx は角
膜反射５ａの重心位置、ｉx は眼底反射５ｂの重心位置
を示している。また、図４に示される眼底反射は、一般
に赤目状態（眼底からの反射光が多い）であり、赤目状
態でない場合（明るい状態で虹彩が絞られた場合、また
は反射光が受光系に戻らない場合）、眼底反射５ｂの出
力は更に低下する。

【００２２】ファインダ中央から見た場合、図４（ａ）
は基準（：回転角０）で中央を、同図（ｂ）は回転角
“負”で左側、同図（ｃ）は回転角“正”で右側を見て
いることになる。

【００２３】図５は、眼球６のシフトと角膜反射５ａ及
び眼底反射５ｂの様子を示したものである。眼底反射９
５ｂの重心位置ｉx 、角膜反射５ａの重心位置ｐx の
み、または両方を含めた重心位置を検出すれば、おおま
かなシフト量を検出することができる。

【００２４】図５（ａ）、（ｂ）及び（ｃ）は、眼底反
射５ｂと角膜反射５ａの関係を示している。ｐx は角膜
反射５ａの重心位置、ｉx は眼底反射５ｂの重心位置を
示している。また、図４と同様に示される眼底反射は、
一般に赤目状態（眼底からの反射光が多い）であり、赤
目状態でない場合（明るい状態で虹彩が絞られた場合、
または反射光が受光系に戻らない場合）は、眼底反射５
ｂの出力は更に低下する。

【００２５】ファインダ中央から見た場合、図５（ａ）
は基準（：シフト量０）で中央を、同図（ｂ）はシフト
量“負”で左側を、そして同図（ｃ）はシフト量“正”
で右側を見ていることになる。

【００２６】一般に、１回のシャッタシーケンス（ファ
ーストレリーズ付近からセカンドレリーズまで）に於い
ては眼のシフトは大きく変化することはなく、相対的な
動きと基準位置を検出することで撮影者が見ようとする
方向を知ることができる。また、基準位置検出はシーケ
ンス内で行うようにするとよい。

【００２７】以下、上述したような原理に基いて、この
発明の実施例について説明する。図６は、この発明の視
線検出装置の概念を示したものである。ほぼ光軸上に配
置された特性を異にした２つ以上の投光部を有する投光
装置９は、撮影者の眼１０に光束を制御装置１１の制御
信号によって投光する。制御装置１１の制御信号にて受
光する受光装置１２は、投光された光束の眼１０からの
反射光を受光して処理装置１３に送る。

【００２８】上記制御装置１１は、投光装置９、受光装
置１２、処理装置１３に制御信号を送出する。また、処
理装置１３は、制御装置１１の制御信号に応じて受光装
置１２の信号を処理する。

【００２９】このような構成に於いて、投光装置９が撮
影者の眼１０に投光すると、受光装置１２は眼１０から
の反射光を受光して検出する。処理装置１３では、この
検出された受光信号を補正処理し、更に差分処理の後、
眼の特徴点抽出を行い、視線に関係のある情報を提供す
る。制御装置１１は、投光装置９、受光装置１２、処理
装置１３に制御用のタイミング信号を送出する。また、
処理装置１３の補正処理は、投光の光量、受光装置の積
分時間等を変える制御と組合わせて用いてもよい。

【００３０】図１は、この発明の視線検出装置の第１の
実施例で、図６の装置を具体的に示したブロック構成図
である。この第１の実施例は、横配置の３点ＡＦ（オー
トフォーカス）のフォーカスエリアの選択に視線検出装
置の視線信号を用いて行うものである。

【００３１】中央演算処理装置（ＣＰＵ）１４には、２
つの投光ＬＥＤ１５ａ（ＬＥＤ＿ａ）及び１５ｂ（ＬＥ
Ｄ＿ｂ）が接続されている。これらの投光ＬＥＤは、１
５ａが近赤外光を中心波長とする長波長帯域、１５ｂが
青〜緑付近を中心波長とする短波長帯域とされている。
投光ＬＥＤ１５ａ及び１５ｂは、視線光学系１６に接続
されている。

【００３２】この視線光学系１６には、ファインダ光学
系１７と視線センサ（ＰＳＤ：光量分布の重心位置を明
るさに依存する電流比にて１次元検出するデバイス）１
８が接続されている。インターフェース回路（Ｉ／Ｆ回
路）は、上記視線センサ１８の出力をＣＰＵ１４に供給
するように接続されている。

【００３３】上記ＣＰＵ１４にはまた、複数点測距回路
（マルチＡＦ回路）２０、レンズ２２が接続された駆動
回路２１、及びファインダ光学系１７に接続された表示
回路２３にも接続されている。

【００３４】このような構成に於いて、マルチＡＦ回路
２０が複数点に対して測距を行い、測距情報をＣＰＵ１
４へ供給する。視線検出系は、ＣＰＵ１４からの指令を
受けると、表示回路２３より所定の表示を行う。２つの
投光ＬＥＤ１５ａ及び１５ｂは、時分割にて視線光学系
１６及びファインダ光学系１７を介して眼１０に対して
投光する。

【００３５】そして、この眼１０からの反射光は、再び
ファインダ光学系１７、視線光学系１６を介して視線セ
ンサ１８に受光される。そして、この視線センサ１８か
らの出力信号は、Ｉ／Ｆ回路１９を介してＣＰＵ１４に
取り込まれる。Ｉ／Ｆ回路１９は、投光毎に重心位置に
対応する信号と明るさに対応する信号に変換した後、Ｃ
ＰＵ１４に入力する。

【００３６】ＣＰＵ１４は、Ｉ／Ｆ回路１９より取り込
まれた信号を基に、信号処理（補正処理、差分処理）後
の重心検出より得られた視線に関する情報と、マルチＡ
Ｆ回路２０より得られた複数点の測距情報を基に、視線
位置に対応するフォーカスエリアのデフォーカス量を決
定する。更に、設定されたデフォーカス量にて駆動回路
２１を介してレンズ２２を駆動する。

【００３７】次に、図７のフローチャートを参照して、
この視線検出装置の処理のシーケンスの動作を説明す
る。視線検出を開始すると、先ずイニシャライズ（受光
装置１２のセンサのリセット）を行う（ステップＳ
１）。そして、眼１０に投光（ＬＥＤ＿ａ）した（ステ
ップＳ２）後、データ検出（データＤ_a ）を行う（ステ
ップＳ３）。ついで、眼１０に投光（ＬＥＤ＿ｂ）した
（ステップＳ４）後、データ検出（データＤ_b ）を行う
（ステップＳ５）。

【００３８】ここで、Ｄ_b の信号にて信号処理（ａ，ｂ
を所定の定数とする：Ｄ＝ａ＊Ｄ_a−ｂ＊Ｄ_b ）を行う
（ステップＳ６）。この後、データＤにて重心検出を行
って（ステップＳ７）、本シーケンスを終了する。

【００３９】尚、処理装置の補正処理は、投光の光量、
受光装置の積分時間等を変える制御と組合わせて用いて
もよい。図８は、上記視線光学系１６の詳細な構成を示
したものである。

【００４０】図８（ａ）に示された２つの投光ＬＥＤ１
５ａ（赤外帯域ＬＥＤ）、１５ｂ（短波長帯域ＬＥＤ）
からの投光光の光路上には、投光レンズ２４を介してハ
ーフミラー２５が配置されている。上記投光光は、この
ハーフミラー２５により反射される。そして、この反射
光の光路上にはプリズム２６が配置されており、反射光
はプリズム２６の反射面２６ａにて反射されて、ファイ
ンダ２７を介して撮影者の眼球６へと導かれる。

【００４１】上記撮影者の眼球６からの反射光は、入射
光と同じ光路を通る。すなわち、ファインダ２７を介し
てプリズム２６に入射され、その反射面２６ａにて反射
される。そして、この反射光はハーフミラー２５を透過
し、受光レンズ２８を介して視線センサ１８に受光され
る。

【００４２】一方、被写体光は、該被写体光に重ねて表
示を示す表示液晶２９を介してプリズム２６に入射され
る。そして、プリズム２６に入射された被写体光は、そ
の反射面２６ａを透過し、更にファインダ２７を介して
撮影者の眼球６へと導かれる。

【００４３】また、同図（ａ）に示される構成では、フ
ァインダ光学系を投受光にて一部兼用しているが、赤目
信号が検出できる構成であれば、投光系の一方のみ共用
（投光系ファインダ光学系の外に設置等）したり、両方
ともファインダ光学系と共用しないようにしても良い。

【００４４】図８（ｂ）は、投光ＬＥＤ１５ａ、１５ｂ
と視線センサ１８と眼球６の等価的な関係を示したもの
である。投光光束の光軸と受光光束の光軸は、ほぼ一致
して検出が行われる。また、図８（ｃ）に示されるよう
に、完全に同軸上に配置してもよい。

【００４５】図９（ａ）及び（ｂ）は、視線光学系１６
の他の詳細な構成を示したものである。投光系に偏光板
３１を、受光系に液晶３２と偏光板３３を配置した例を
示している。偏光板３１、３３の関係特性はパラレル、
クロスの何れでも良いが、液晶３２は偏光特性を変える
ことのできるもの、例えばツイスト液晶を用いる。

【００４６】図１０は、液晶素子の様子を示した図であ
る。実施例に使用する液晶は、電界効果を用いたねじれ
効果の液晶を使用している。“ＯＮ”状態では液晶にて
入射した光束の偏光面が回転して出力され、“ＯＦＦ”
状態では入射した光束の偏光面が変化することなく出力
される。

【００４７】また、液晶にはねじれ効果以外にも偏光面
を操作するものがあり、ねじれ効果以外の特性を有する
液晶を用いてもよい。次に、図１１のフローチャートを
参照して、同実施例のメインシーケンスの動作について
説明する。

【００４８】メインシーケンスをスタートすると、先ず
ファースト（１ｓｔ）レリーズ“ＯＮ”の判定を行う
（ステップＳ１１）。ここで、１ｓｔレリーズ“ＯＦ
Ｆ”の場合は本シーケンスを終了し、１ｓｔレリーズ
“ＯＮ”の場合は、引続きイニシャライズ（フォーカス
エリアを中央に設定）を行う（ステップＳ１２）。

【００４９】次いで、視線を検出するサブルーチン“視
線検出”を行う（ステップＳ１３）。そして、このサブ
ルーチン“視線検出”にて検出された視線座標Ｘ（視線
重心）をＸ１、信頼性のフラグＦＸをＦ１に入れる（ス
テップＳ１４）。次に、マルチＡＦ及びＡＥを行う（ス
テップＳ１５）。ここで、ＡＦデータは、左よりＤＬ、
ＤＣ、ＤＲとし、ＡＦ方式は公知の位相差方式でもアク
ティブ方式でも良い。また、ＡＥは、同実施例には記し
てないがカメラに公知の測光である。

【００５０】そして、視線基準位置検出用の表示を行う
（ステップＳ１６）。この表示は、表示フラシングまた
は音を併用して行うと更に良いものとなる。また、ＡＦ
終了の信号と兼用しても良い。その後、再度サブルーチ
ン“視線検出”を行う（ステップＳ１７）。

【００５１】次いで、サブルーチン“視線検出”にて検
出された視線座標Ｘ（視線重心）をＸ０、信頼性のフラ
グＦＸをＦ０に入れる（ステップＳ１８）。そして、上
記ステップＳ１６にて表示されなかったカメラの情報
を、ファインダ内に表示する（ステップＳ１９）。

【００５２】次に、サブルーチン“フォーカスエリア設
定”を行う（ステップＳ２０）。この後、１ｓｔレリー
ズの“ＯＮ”の判定を行う（ステップＳ２１）。ここ
で、１ｓｔレリーズ“ＯＦＦ”の場合は終了し、１ｓｔ
レリーズ“ＯＮ”の場合は、続いて２ｎｄレリーズの判
定を行う（ステップＳ２２）。

【００５３】ステップＳ２２に於いて、２ｎｄレリーズ
“ＯＮ”でない場合は上記ステップＳ２１へ戻り、２ｎ
ｄレリーズ“ＯＮ”の場合は設定されたフォーカスエリ
アのデフォーカス量（測距データＬにて決定される）に
応じてレンズを駆動する（ステップＳ２３）。そして、
露光シーケンス、巻上げシーケンス等のカメラシーケン
スを行った（ステップＳ２４）後、本シーケンスを終了
する。

【００５４】図１２は、視線を検出するサブルーチン
“視線検出”の動作を説明するフローチャートである。
サブルーチン“視線検出”をスタートすると、先ず変数
のイニシャライズ（変数ｉ、信頼性のフラグＸ＝０、液
晶ＯＦＦ）を行う（ステップＳ３１）。そして、ＬＥＤ
＿ａ（赤外帯域ＬＥＤ）を撮影者の眼に投光し（ステッ
プＳ３２）、ＬＥＤ＿ａの投光に同期してＰＳＤ出力信
号をＬ１、ＩＲ１、Ｉ（１）＝ＩＬ１＋ＩＲ１として検
出する（ステップＳ３３）。

【００５５】同様に、ＬＥＤ＿ｂ（青〜緑帯域のＬＥ
Ｄ）を撮影者の眼に投光して（ステップＳ３４）、ＬＥ
Ｄ＿ｂの投光に同期してＰＳＤ出力信号をＩＬ２、ＩＲ
２、Ｉ（２）＝ＩＬ２＋ＩＲ２として検出する（ステッ
プＳ３５）。

【００５６】次いで、明るさに関する信号Ｉ（１）−α
＊Ｉ（２）の判定（まばたき：赤目成分の有無／Ｅは所
定値）を行う（ステップＳ３６）。ここで、Ｉ（１）−
α＊Ｉ（２）＜Ｅの場合、まばたき、目がない等の状態
と判定し、ｉの判定を行う（ステップＳ３７）。

【００５７】このステップＳ３７に於いて、ｉ＝ｋ
（ｋ：１以上の所定値）以外の場合はカウント値ｉをイ
ンクリメントして（ステップＳ３８）、ステップＳ３２
へ戻る。一方、上記ステップＳ３７にてｉ＝ｋ（ｋ：１
以上の所定値）の場合は、フラグＦＸ＝１に設定して
（ステップＳ３９）、本ルーチンを抜ける。

【００５８】上記ステップＳ３６にて、Ｉ（１）−α＊
Ｉ（２）＜Ｅでない場合は、検出信号の差分処理を行う
（ステップＳ４０）。すなわち、ＩＬ＝ａ＊ＩＬ１−ｂ
＊ＩＬ２，ＩＲ＝ａ＊ＩＲ１−ｂ＊ＩＲ２（ａ，ｂは所
定の定数：白眼レベルにて前もって設定しておく）の演
算を行う。

【００５９】次いで、重心検出（重心値Ｘ）を行う（ス
テップＳ４１）。すなわち、Ｘ＝ｈ＊（ＩＬ−ＩＲ）／
（ＩＬ＋ＩＲ）（但し、ｈは所定の係数）の演算を行
う。その後、本サブルーチンのシーケンスを抜ける。

【００６０】図１３は、フォーカスエリアを設定するサ
ブルーチン“フォーカスエリア設定”の動作を説明する
フローチャートである。サブルーチン“フォーカスエリ
ア設定”のルーチンに入ると、先ずフラグＦ０、Ｆ１の
判定を行う（ステップＳ５１）。ここで、フラグＦ０、
Ｆ１の少なくとも一方に“１”がある場合は、測距情報
を公知のマルチＡＦのアルゴリズム（視線情報は使用し
ない）にて測距データを設定する（ステップＳ５２）。
そして、視線モードマークを点滅して警告表示を行い
（ステップＳ５３）、後述するステップＳ５９へ進む。

【００６１】上記ステップＳ５１に於いて、フラグＦ
０、Ｆ１の何れにも“１”がない場合は、視線の動き量
（Ｘ１−Ｘ０）の判定（Ｄは所定値：焦点距離情報に依
存してもよい）を行い、測距データを設定する（ステッ
プＳ５４〜Ｓ５８）。

【００６２】すなわち、Ｘ１−Ｘ０＜−Ｄが成立すれ
ば、フォーカスエリアを左側に設定し、測距データをＬ
＝ＤＬに設定する。また、Ｘ１−Ｘ０＜Ｄであれば、フ
ォーカスエリアを中央に設定し、測距データをＬ＝ＤＣ
に設定する。更に、Ｘ１−Ｘ０≧Ｄであれば、フォーカ
スエリアを右側に設定し、測距データをＬ＝ＤＲに設定
する。

【００６３】次に、測距データに基いて、撮影レンズの
デフォーカス量を設定する（ステップＳ５９）。この
後、本サブルーチンシーケンスを抜ける。図１４は、フ
ァインダの表示の様子を示したものである。

【００６４】図１４（ａ）及び（ｃ）は、スーパーイン
ポーズにて画面の中央に表示する場合の例であり、同図
（ｂ）及び（ｄ）は枠の部分に表示する場合の例であ
る。ここで、初期化表示は同図（ａ）または（ｃ）を使
用する。また、視線モードの表示は視線検出モードの場
合点灯し、視線検出できない場合は点滅にて警告する。

【００６５】また、表示方法は、フラッシング、大きさ
の変化等にて動的表示が望ましい。更に、ファインダ周
辺には上記以外の表示（合焦、ストロボ発光表示等）が
ある。尚、図１４（ｄ）は、合焦表示の初期化の表示を
兼用した場合を示している。

【００６６】以上、第１の実施例について説明したが、
この発明はこれに限定されることなく種々の改良、変更
が可能であることは勿論である。例えば、重心検出が可
能であればＰＳＤ以外のセンサ（ラインセンサ、エリア
センサ等）を用いてもよい。また、投光ＬＥＤの数は特
性の異なるものが２つ以上であれば２つに限定されるこ
とはなく、投光パターンの組合わせを用いてもよい。

【００６７】更に、測距点は複数であれば３点に捕らわ
れる必要はなく、複数であれば良いものである。また、
カメラのシーケンスとしては、視線検知が必要ない場合
（測距点が深度内に入る場合等）は視線検出シーケンス
を省略するのが良い。

【００６８】尚、信頼性（まばたき）判定を投光の検出
信号の総和の差分で行っているが、各投光毎に行った方
が更に良く、加えて、まばたき以外のカメラと顔の接触
（カメラファインダに眼を押付けている）の判定や眼が
ね判定を組合わせると、更に良いものとなる。

【００６９】また、視線検出、視線表示、視線検出は、
ＡＦ、ＡＥ等のカメラのシーケンスと並行に行われても
良い。更に、ＰＳＤの出力信号を電流のままの検出や積
分による検出を行っても良い。また、検出積分時間を各
発光時で異なるようにしても良く、加えて発光強度を変
えるようにしても良い。

【００７０】また、投光ＬＥＤ、受光センサの配置は、
眼底光に検出できる配置であれば必ずしも軸上にはなく
ても良い。更に、投光ＬＥＤを白色（広い波長帯域の光
源）等とし、センサ側に波長選択フィルタ配置し、切替
え処理をする。

【００７１】また、センサに特性を持たせて複数配置し
ても良い。尚、投光ＬＥＤ＿ａより短波長側（赤目が発
生しない帯域）であれば、青〜緑の帯域に限る必要はな
い。

【００７２】また、短波長側が可視光の場合は、長波長
側と発光タイミング、光量を変更した（まぶしくないよ
うに）後、処理で補正しても良い。次に、この発明の第
２の実施例について説明する。

【００７３】図１５は、この発明の第２の実施例の構成
を示したブロック図である。尚、本構成は、横配置の３
点ＡＦのフォーカスエリアの選択を、この発明の視線検
出装置の視線信号を用いて行う。また、投光ＬＥＤは２
つで、ＬＥＤ＿ａ：長波長帯域（近赤外光を中心波長と
する）、ＬＥＤ＿ｂ：短波長帯域（青〜緑付近を中心波
長とする） マルチＡＦ回路２０、Ｉ／Ｆ回路１９は、ＣＰＵ１４に
接続されており、このＣＰＵ１４は、表示回路２３、２
つの投光ＬＥＤ（ＬＥＤ＿ａ、ＬＥＤ＿ｂ）１５ａ、１
５ｂ、駆動回路２１に接続されている。駆動回路２１
は、レンズ２２ににも接続されている。２つの投光ＬＥ
Ｄ１５ａ、１５ｂ、偏光板３３、ファインダ光学系１７
は、視線光学系１６に接続されている。

【００７４】また、上記視線光学系１６は、液晶３２、
偏光板３３、視線センサ１８にて接続されており、該視
線センサ１８は、Ｉ／Ｆ回路１９を介して上記ＣＰＵ１
１に接続されてる。

【００７５】このような構成に於いて、マルチＡＦ回路
２０は複数点に測距を行い、測距情報をＣＰＵ１４へ送
る。視線検出系は、ＣＰＵ１４からの指令を受けると、
表示回路２３より所定の表示が行われる。２つの投光Ｌ
ＥＤ１５ａ、１５ｂは、時分割、液晶時分割ＯＮ、ＯＦ
Ｆにて視線光学系１６及びファインダ光学系１７を介し
て眼球６に対して光が投光される。

【００７６】そして、この眼球からの反射光は、再びフ
ァインダ光学系１７、視線光学系１６を介して、視線セ
ンサ１８に受光される。そして、この視線センサ１８か
らの出力信号は、Ｉ／Ｆ回路１９を介してＣＰＵ１４に
取込まれる。

【００７７】Ｉ／Ｆ回路１９は、投光毎に重心位置に対
応する信号と明るさに対応する信号に変換された後、Ｃ
ＰＵ１４に入力する。ＣＰＵ１４は、Ｉ／Ｆ回路１９よ
り取り込まれた信号（複数ＬＥＤ切換え、ＬＥＤ固定で
液晶ＯＮ／ＯＦＦ）を基に、信号処理（補正処理、差分
処理）後の重心検出より得られた視線に関する情報をマ
ルチＡＦ回路２０より得られた複数点の測距情報を基
に、視線位置に対応するフォーカスエリアのデフォーカ
ス量を決定する。更に、設定されたデフォーカス量に
て、駆動回路２１を介してレンズ２２を駆動する。

【００７８】偏光板３１、３３の特性関係は、液晶ＯＮ
状態で正反対光を消去するように配置する。光学的配置
は図９と同様な構成にて、Ｐ像重心と赤目信号（Ｄ像）
重心を用いて視線方向を検出する。図３、４及び５に示
されたように、Ｐ像重心とＤ像重心がわかれば、現在位
置（Ｄ像重心）と回転量（Ｐ像重心とＤ像重心の差分）
が判定でき、視線方向がわかる。

【００７９】図１６は、この第２の実施例のメインシー
ケンスの動作について説明するフローチャートである。
以下、このフローチャートを参照して第２の実施例の動
作を説明する。

【００８０】メインシーケンスをスタートして、初めに
１ｓｔレリーズの“ＯＮ”の判定を行う（ステップＳ６
１）。ここで、１ｓｔレリーズ“ＯＦＦ”の場合は本シ
ーケンスを終了する。一方、１ｓｔレリーズ“ＯＮ”の
場合は、イニシャライズ（フォーカスエリアを中央に設
定）を行う（ステップＳ６２）。

【００８１】次に、上述した第１の実施例と同様に、サ
ブルーチン“視線検出”（ステップＳ６３）、及びマル
チＡＦ、ＡＥを行う（ステップＳ６４）。その後、サブ
ルーチン“フォーカスエリア設定（フラグＦＸ、回転量
に相当する値Ｘ、現在位置Ｘ２より判定）”を行う（ス
テップＳ６５）。

【００８２】そして、１ｓｔレリーズの“ＯＮ”の判定
を行い（ステップＳ６６）、１ｓｔレリーズ“ＯＦＦ”
の場合は終了し、１ｓｔレリーズ“ＯＮ”の場合は引続
き２ｎｄレリーズの判定を行う（ステップＳ６７）。こ
こで、２ｎｄレリーズ“ＯＮ”でない場合は上記ステッ
プＳ６６へ戻り、２ｎｄレリーズ“ＯＮ”の場合は、設
定されたフォーカスエリアのデフォーカス量（測距デー
タＬにて決定される）に応じてレンズを駆動する（ステ
ップＳ６８）。

【００８３】次いで、露光シーケンス、巻上げシーケン
ス等のカメラシーケンスを行う（ステップＳ６９）。こ
うして、本シーケンスを終了する。図１７は、視線を検
出するサブルーチン“視線検出”の動作を説明するフロ
ーチャートである。

【００８４】サブルーチン“視線検出”をスタートする
と、変数のイニシャライズ（変数ｉ、信頼性に関するフ
ラグＦＸ＝０）を行う（ステップＳ７１）。次いで、Ｌ
ＥＤ＿ａ（赤外ＬＥＤ）を撮影者の目に投光して（ステ
ップＳ７２）、ＬＥＤ＿ａの投光に同期してＰＳＤ出力
信号をＩＬ１、ＩＲ１、Ｉ１＝ＩＬ１＋ＩＲ１として検
出する（ステップＳ７３）。

【００８５】その後、液晶をＯＮ（正反射光）してプル
キンエ像の消去を行い（ステップＳ７４）、再びＬＥＤ
＿ａ（赤外ＬＥＤ）を撮影者の目に投光する（ステップ
Ｓ７５）。そして、ＬＥＤ＿ａの投光に同期して、ＰＳ
Ｄ出力信号をＩＬ２、ＩＲ２、Ｉ２＝ＩＬ２＋ＩＲ２と
して検出する（ステップＳ７６）。

【００８６】次いで、ＬＥＤ＿ｂ（青〜緑ＬＥＤ）を撮
影者の目に投光する（ステップＳ７７）。このＬＥＤ＿
ｂの投光に同期して、ＰＳＤ出力信号をＩＬ３、ＩＲ
３、Ｉ３＝ＩＬ３＋ＩＲ３として検出する（ステップＳ
７８）。

【００８７】ここで、明るさに関する信号Ｉ１−α＊Ｉ
２の判定（まばたき：目の正反射成分＜プルキンエ像＞
の有無／Ｅ０は所定値）を行う（ステップＳ７９）。続
いて、Ｉ２−β＊Ｉ３の判定（まばたき：目の眼底反射
成分の有無／Ｅ１は所定値）を行う（ステップＳ８
０）。Ｉ１−α＊Ｉ２＜Ｅ０の場合、またはＩ２−β＊
Ｉ３＜Ｅ１の場合は、まばたき、目がない等の状態と判
定し、ｉの判定を行う（ステップＳ８１）。

【００８８】ｉ＝ｋ（ｋ：１以上の所定値）以外の場
合、カウント値ｉをインクリメントし（ステップＳ８
２）、上記ステップＳ７２へ戻る。一方、ｉ＝ｋ（ｋ：
１以上の所定値）の場合は、フラグＦＸ＝１に設定し
（ステップＳ８３）本ルーチンを抜ける。

【００８９】Ｉ１−α＊Ｉ２＜Ｅ０でなく且つＩ２−β
＊Ｉ３＜Ｅ１でない場合は、検出信号の補正、差分処理
にてＰ像成分の抽出を行う。すなわち、ＩＬＡ＝ａ＊Ｉ
Ｌ１−ｂ＊ＩＬ２、ＩＲＡ＝ａ＊ＩＲ１−ｂ＊ＩＲ２と
して、Ｐ像の重心検出（重心値Ｘ１：ｈは所定値）を行
う（ステップＳ８４）。

【００９０】次に、Ｘ１＝ｈ＊（ＩＬＡ−ＩＲＡ）／
（ＩＬＡ＋ＩＲＡ）として、同様に補正、差分処理にて
Ｄ像成分の抽出を行う（ステップＳ８５）。そして、Ｉ
ＬＢ＝ｃ＊ＩＬ２−ｄ＊ＩＬ３、ＩＲＢ＝ｃ＊ＩＲ２−
ｄ＊ＩＲ３として、Ｄ像の重心検出（重心値Ｘ２：ｈは
所定値）を行う（ステップＳ８６）。

【００９１】この後、Ｘ２＝ｈ＊（ＩＬＢ−ＩＲＢ）／
（ＩＬＢ＋ＩＲＢ）として、回転量に相当する値Ｘの検
出を行う（ステップＳ８７）。そして、Ｘ＝Ｘ１−Ｘ２
の演算を行って（ステップＳ８８）、本サブルーチンシ
ーケンスを抜ける。

【００９２】図１８は、ＬＥＤ（赤外帯域）にて液晶の
ＯＮ／ＯＦＦによる眼からの反射光の様子を示したもの
である。図１８（ａ）に示される偏光が関係しない場
合、及び同図（ｃ）に示される偏光がクロス（眼からの
正反射光りを消去する）の場合は、Ｄ像（赤目）成分は
大きく、重心はＤ像側に引かれる。また、同図（ｂ）に
示されるように、偏向がパラレル（眼からの正反射が消
去されない）場合は、重心はＰ像に引かれる。更に、同
図（ｄ）に示されるように、偏光パラレルから偏光クロ
スの状態を差し引いた場合は、ほとんどＰ像の重心のみ
になる。

【００９３】図１９は、ＬＥＤ＿ａ（赤外帯域）、ＬＥ
Ｄ＿ｂ（青〜緑帯域）の投光による、眼からの反射光の
様子を液晶ＯＮ（正反射光：プルキンエ像の消去状態）
にて示したものである。眼底での反射特性は、短波長側
にて眼底までの間で吸収され、図１９（ｂ）に示される
ようにＤ像成分は消える。長波長は眼底より反射され、
図１９（ａ）に示されるようにＤ像成分が返ってくる。

【００９４】以上、実施例について説明したが、本発明
はこれに限定されることなく種々の改良、変更が可能で
あることは勿論である。例えば、重心検出が可能であれ
ば、ＰＳＤ以外のセンサ（ラインセンサ、エリアセンサ
等）を用いてもよい。また、投光ＬＥＤの数は、ほぼ軸
上に特性の異なる２つがあれば、２つに限定されること
はなく、投光パターンの組合わせを用いてもよい。加え
て、測距点は複数であれば３点に捕らわれる必要はな
い。

【００９５】また、カメラのシーケンスとして、視線検
出の必要ない場合（測距点が深度内に入る場合等）は、
視線検出シーケンスを省略するのが良い。また、信頼性
（まばたき）判定を投光の検出信号の総和の差分で行っ
ているが、各投光毎に行った方が更に良く、加えてまば
たき以外のカメラと顔の接触（カメラファインダに眼を
押し付けている）の判定や眼がね判定を組合わせる良
い。

【００９６】尚、視線検出、視線表示、視線検出はＡ
Ｆ、ＡＥ等のカメラのシーケンスと並行に行われてもよ
い。また、ＰＳＤの出力信号を電流のままの検出や積分
による検出を行っても良い。更に、検出積分時間を各発
光時（液晶ＯＮ、ＯＦＦ）で異なるようにしても良く、
発光強度を変えてみても良い。

【００９７】また、所定の重み付けを行ってもよい。例
えば、図１７のステップＳ８４及びＳ８６にて、ＩＬ＝
ａ＊ＩＬ１−ｂ＊ＩＬ２、ＩＲ＝ｃ＊ＩＲ１−ｄ＊ＩＲ
２、そしてＩＬ＝ｅ＊ＩＬ１＋ｆ＊ＩＬ２、ＩＲ＝ｇ＊
ＩＲ１＋ｋ＊ＩＲ２のように設定して（ａ，ｂ，ｃ，
ｄ，ｅ，ｆ，ｇ，ｋは所定の定数）処理を行っても良
い。

【００９８】勿論、偏光特性を外部から制御可能なもの
であれば、液晶にとらわれる必要はない。また、正面投
光と軸外投光を組合わせて更にノイズ除去を行っても良
い。更に、Ｐ像検出には軸外の投光を組合わせても良
い。また、液晶にて偏光特性を切換えなくとも、複数の
センサと偏光板にて検出しても良く、投光側に偏光特性
を異にしたものを複数配置しても良い。

【００９９】

【発明の効果】以上のようにこの発明によれば、偏光特
性を外部から偏向することで、撮影者の投光により発生
したノイズ成分があっても、簡単な構成、処理にて高精
度の視線検出を行うことのできる視線検出装置を提供す
ることができる。

【図面の簡単な説明】

【図１】この発明の視線検出装置の第１の実施例で、具
体的に示したブロック構成図である。

【図２】ほぼ光軸よりより投光された光束の眼からの反
射光の受光出力の様子を示した図である。

【図３】眼球の回転による検出像の変化の様子を示した
図である。

【図４】眼球中心が固定されるような場合の、回転と角
膜反射５ａと眼底反射５ｂの様子を示した図である。

【図５】眼球６のシフトと角膜反射５ａ及び眼底反射５
ｂの様子を示した図である。

【図６】この発明の視線検出装置の概念を示したブロッ
ク構成図である。

【図７】第１の実施例の視線検出装置の処理のシーケン
スを説明するフローチャートである。

【図８】視線光学系１６の詳細な構成例を示した図であ
る。

【図９】視線光学系１６の他の詳細な構成例を示した図
である。

【図１０】液晶素子の様子を示した図である。

【図１１】第１の実施例のメインシーケンスの動作につ
いて説明するフローチャートである。

【図１２】視線を検出するサブルーチン“視線検出”の
動作を説明するフローチャートである。

【図１３】フォーカスエリアを設定するサブルーチン
“フォーカスエリア設定”の動作を説明するフローチャ
ートである。

【図１４】ファインダの表示の様子を示した図である。

【図１５】この発明の第２の実施例の構成を示したブロ
ック図である。

【図１６】第２の実施例のメインシーケンスについての
動作を説明するフローチャートである。

【図１７】視線を検出するサブルーチン“視線検出”の
動作を説明するフローチャートである。

【図１８】ＬＥＤ（赤外帯域）にて液晶のＯＮ／ＯＦＦ
による眼からの反射光の様子を示した図である。

【図１９】ＬＥＤ＿ａ（赤外帯域）、ＬＥＤ＿ｂ（青〜
緑帯域）の投光による、眼からの反射光の様子を液晶Ｏ
Ｎにて示した図である

【符号の説明】

１…虹彩、２…強膜（白目）、３…瞳孔、４…虹彩エッ
ジ、５ａ…第１プルキンエ像（角膜反射像：Ｐ像）、５
ｂ…眼底からの反射像（瞳孔像：Ｄ像）、６…眼球、７
…光軸、８…眼球の回転中心、９…投光装置、１０…
眼、１１…制御装置、１２…受光装置、１３…処理装
置、１４…中央演算処理装置（ＣＰＵ）、１５ａ、１５
ｂ…投光ＬＥＤ、１６…視線光学系、１７…ファインダ
光学系、１８…視線センサ（ＰＳＤ）、１９…インター
フェース回路（Ｉ／Ｆ回路）、２０…複数点測距回路
（マルチＡＦ回路）、２１…駆動回路、２２…レンズ、
２３…表示回路。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成６年１月１９日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００７８

【補正方法】変更

【補正内容】

【００７８】偏光板３１、３３の特性関係は、液晶ＯＮ
状態で正反射光を消去するように配置する。光学的配置
は図９と同様な構成にて、Ｐ像重心と赤目信号（Ｄ像）
重心を用いて視線方向を検出する。図３、４及び５に示
されたように、Ｐ像重心とＤ像重心がわかれば、現在位
置（Ｄ像重心）と回転量（Ｐ像重心とＤ像重心の差分）
が判定でき、視線方向がわかる。 ─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成６年７月５日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００９９

【補正方法】変更

【補正内容】

【００９９】

【発明の効果】以上のようにこの発明によれば、同じ位
置から眼底反射光の異なる波長を投光することで、照度
分布が異なることによる検出精度の悪化を防止し、簡単
な構成、処理にて高精度の視線検出を行うことのできる
視線検出装置を提供することができる。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 撮影者の眼の眼底にて反射される波長を
   有する光をファインダ光学系のファインダ光軸上に投光
   する第１の投光手段と、 この第１の投光手段の波長とは異なる波長を有する光を
   ファインダ光学系のファインダ光軸上に投光する第２の
   投光手段と、 上記第１若しくは第２の投光手段による撮影者の目から
   の反射光を受光する受光手段と、 上記第１及び第２の投光手段の投光パターンと投光タイ
   ミングと、該投光タイミングに同期した上記受光手段の
   受光タイミングとを制御する制御手段と、 上記受光手段の出力に基いて、視線方向に関する情報を
   算出する視線情報算出手段とを具備することを特徴とす
   る視線検出装置。
2. 【請求項２】 上記視線情報算出手段は、上記第１及び
   第２の投光手段に於ける各反射光の差分処理によって視
   線情報を算出する請求項１に記載の視線検出装置。