JPH0956680A

JPH0956680A - 視線検出装置及び信号処理装置

Info

Publication number: JPH0956680A
Application number: JP7232122A
Authority: JP
Inventors: Tatsuyuki Tokunaga; 辰幸徳永
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-08-18
Filing date: 1995-08-18
Publication date: 1997-03-04

Abstract

(57)【要約】【課題】信頼性の高い装置とする。【解決手段】対象物の中で照明手段により照明されて
いない部分における、第１の画像形成手段１４，２０
３，２０５による画像形成の程度と第２の画像形成手段
１４，２０２，２０４による画像形成の程度を異ならし
める画像形成制御手段を設け、第１の画像形成手段によ
る画像形成の程度と第２の画像形成手段による画像形成
の程度を異ならしめる、具体的には蓄積時間を異ならし
めたり、増幅率を異ならしめるようにしている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等の光学機
器を使用する観察者の視線を検出する視線検出装置及び
信号処理装置の改良に関するものである。

【０００２】

【従来の技術】従来より、撮影者が観察面上のどの位置
を観察しているかを検出する、いわゆる視線（視軸）を
検出する装置（例えばアイカメラ）が種々提供されてい
る。

【０００３】例えば、特開平１−２７４７３６号公報に
おいては、光源からの平行光束を撮影者の眼球の前眼部
へ投射し、角膜からの反射光による角膜反射像と瞳孔の
結像位置を利用して注視点を求めている。また同公報に
おいて、注視点検出装置を一眼レフカメラに配設し、撮
影者の注視点情報を用いて撮影レンズの自動焦点調節を
行なう例を開示している。

【０００４】

【発明が解決しようとする課題】しかしながら、この従
来の技術による注視点（視線）検出装置では、室内にお
いては大変うまく作動するが、屋外では投射する光源以
外の太陽光等の光源によって眼球像が乱されて注視点検
出がうまく作動しない事があるという欠点があった。

【０００５】図１１により、その様子を説明する。

【０００６】視線検出装置が室内にある時は、図１１
（Ａ−１）のような画像出力が得られ、この画像出力を
（Ｌａ）−（Ｌａ’）のラインだけを取り出してみる
と、（Ａ−２）のＬａような出力が得られる。

【０００７】この中で出力極値となるＰ１，Ｐ２の座標
が、一対のＩＲＥＤの角膜反射像の座標を表わすことに
なる。この角膜反射像は「プルキンエ像」と呼ばれるも
のであり、以降「Ｐ像」と略称することにする。また瞳
孔のエッジはedge１，edge２のように求められる。

【０００８】Ｐ像は画像の中で比較的高い出力で鋭く立
った像として求められ、瞳孔のエッジは、瞳孔が画像の
中で比較的低い出力の中からやや鋭く立ち上がっている
という特徴から、デジタル的な画像処理によって抽出す
る。

【０００９】複数の瞳孔エッジが求められると、その座
標の情報から瞳孔の中心座標が求められ、これとＰ像の
座標を比較することで眼球の回転角を求め観察者の注視
点（視線）が求められる。

【００１０】視線検出装置が屋外にある時は、図１１
（Ｂ−１）のような画像出力が得られ、（Ｌａ）−（Ｌ
ａ’）のラインを取り出してみると、（Ｂ−２）の（Ｌ
ａ）のような出力であり、これは（Ａ−２）の出力Ｌａ
とは殆ど変わらないが、（Ｌｂ）−（Ｌｂ’）のライン
を取り出した出力Ｌｂは、観察者の睫毛（まつげ）が太
陽光で光るために大きく上がっている。

【００１１】このため、光った睫毛とＰ像の区別がつき
づらくなり、Ｐ像の検出の信頼度が下がり、結局は求め
られた注視点の信頼度が乏しくなるという欠点があっ
た。

【００１２】従って従来より、眼球に向けて投光する光
源の無い状態と投光している状態の２つの眼球像を形成
し、その２つの眼球像の差分を取ることによって前述の
光った睫毛の影響を取り除くといった提案がなされてい
る。この方法を以後「外光除去」と呼ぶ。

【００１３】このとき太陽光により光った睫毛は、照明
手段による照明光のみにおいては殆ど像が出てこないの
で、等価的に請求項に述べられている「照明手段による
照明がなされていない部分」としてこれ以降述べること
とする。

【００１４】図１１の（Ｃ）はその様子を示した図であ
り、（Ｃ−２）の出力Ｌｂでは、差分を取ることによっ
て、大きく出力レベルが下がり、Ｐ像との区別がつき易
くなって求められた注視点の信頼度を上げることが可能
となる。

【００１５】しかしながら、この外光除去では、眼球に
向けて投光する光源の無い状態と投光している状態の２
つの眼球像を形成するのに時分割で行っているため、２
つの状態の眼球像は時間的にずれたものである。これ
は、眼球像を形成する光学系と眼球との相対的な位置が
その時間の間にずれなければ問題ないが、例えばこの視
線検出装置を一眼レフカメラに応用した時など、観察者
が手に持ってファインダを覗き、そのファインダの中に
視線の光学系が有るため、相対的な位置ずれの問題が生
じる。

【００１６】この事を図１２によって説明すると、眼球
に向けて投光する光源の無い状態での図１１の出力Ｌｂ
をＬｂ２とし、投光している状態での図１１の出力Ｌｂ
をＬｂ１とすると、観察者の手ぶれ等でほとんど同じ筈
のＬｂ２，Ｌｂ１の２つの出力は微妙に横にずれてい
る。そしてこの２つの出力の差分をとり増幅してしまう
とｄ＝Ｇ×（Ｌｂ１−Ｌｂ２）のようになって、全体的なレベルは大きく下がっている
のだが、下がりすぎて０より低くなってマイナスになっ
ている信号もある。

【００１７】前述したように瞳孔のエッジを抽出するた
めには、画像の中で瞳孔は比較的低いレベルであるとい
う特徴を生かして抽出しようとしていたため、外光除去
では瞳孔のエッジの抽出の信頼度が低下し、その結果求
められた注視点の信頼度が乏しくなるという欠点があっ
た。

【００１８】（発明の目的）本発明の目的は、信頼性の
高いものにすることのできる視線検出装置及び信号処理
装置を提供することにある。

【００１９】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の本発明は、観察者の眼球を照明せず
に得た画像情報と照明を行った場合に得られる画像情報
の差分を取り、外光除去を行う際に、外光除去の効果を
弱めにするようにし、請求項２〜５記載の本発明は、セ
ンサ手段により得られる画像の中で照明手段により照明
されていない部分における、第１の画像形成手段による
画像形成の程度と第２の画像形成手段による画像形成の
程度を異ならしめる画像形成制御手段を設け、第１の画
像形成手段による画像形成の程度と第２の画像形成手段
による画像形成の程度を異ならしめる、具体的には蓄積
時間を異ならしめたり、増幅率を異ならしめるようにし
ている。

【００２０】同じく上記目的を達成するために、請求項
６〜９記載の本発明は、対象物の中で前記照明手段によ
り照明されていない部分における、前記第１の画像形成
手段による画像形成の程度と第２の画像形成手段による
画像形成の程度を異ならしめる画像形成制御手段を設
け、第１の画像形成手段による画像形成の程度と第２の
画像形成手段による画像形成の程度を異ならしめる、具
体的には蓄積時間を異ならしめたり、増幅率を異ならし
めるようにしている。

【００２１】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００２２】図１は本発明の実施の一形態に係る視線検
出装置を具備した一眼レフレックスカメラの光学的配置
図である。

【００２３】同図において、１は撮影レンズであり、便
宜上２枚のレンズ１ａ，１ｂで示したが、実際は多数の
レンズから構成されている。２は主ミラーで、観察状態
と撮影状態に応じて撮影光路へ斜設されあるいは退去さ
れる。３はサブミラーで、主ミラー２を透過した光束を
カメラボディの下方へ向けて反射する。４はシャッタ
ー、５は感光部材で、銀塩フィルムあるいはＣＣＤやＭ
ＯＳ型等の固体撮像素子あるいはビディコン等の撮像管
より成っている。

【００２４】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，２次結像レンズ６ｄ，絞り６ｅ，複数のＣＣＤから
なるラインセンサ６ｆ等から構成されている周知の位相
差方式を採用している。同図の焦点検出装置６は、図３
に示すように観察画面内２１３の複数の領域（３箇所の
測距点（焦点検出点）マーク２００〜２０２）を焦点検
出可能なように構成されている。

【００２５】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダ光路変更用のペンタプリズ
ム、９，１０は観察画面内の被写体輝度を測定する為の
結像レンズと測光センサで、結像レンズ９はペンタダハ
プリズム８内の反射光路を介してピント板７と測光セン
サ１０を共役に関係付けている。

【００２６】１１はペンタダハプリズム８の射出面後方
に配置された、光分割器１１ａを備えた接眼レンズ１１
であり、撮影者の眼１５によるピント板７の観察に使用
される。光分割器１１ａは、例えば可視光を透過し赤外
光を反射するダイクロイックミラーより成っている。１
２は受光レンズ、１４は光電変換素子列を２次元的に配
したエリアセンサーで受光レンズ１２に関して所定の位
置にある撮影者の眼１５の虹彩近傍と共役になるように
配置されている。エリアセンサ１４の詳しい回路構成に
ついては後述する。

【００２７】１３ａ〜１３ｄは各々撮影者の目１５の照
明光源であるところの赤外発光ダイオード（ＩＲＥＤと
称する）である。

【００２８】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤである。スーパーイ
ンポーズ用ＬＥＤから発光された光は、投光用プリズム
２２，主ミラー２で反射してピント板７の表示部に設け
た微小プリズムアレー７ａで垂直方向に曲げられ、ペン
タダハプリズム８，接眼レンズ１１を通って撮影者の眼
１５に達する。そこで、ピント板７の焦点検出領域に対
応する位置にこの微小プリズムアレイ７ａを枠状に形成
し、これを各々に対応したスーパーインポーズ用ＬＥＤ
２１（各々をＬＥＤ−Ｌ、ＬＥＤ−Ｃ、ＬＥＤ−Ｒとす
る）によって照明する。

【００２９】図３に観察者がファインダを覗いたときに
見ることのできるファインダ視野図を示す。

【００３０】各々の測距点マーク２００，２０１，２０
２がファインダ視野内２１３で光り、焦点検出領域（測
距点）を表示させている（以下、これをスーパーインポ
ーズ表示という）。

【００３１】図３及び図１に共通の２３はファインダ視
野領域を形成する視野マスク、２４はファインダ視野外
に撮影情報を表示するためのファインダ内ＬＣＤで、図
１の照明用ＬＥＤ（Ｆ−ＬＥＤ）２５によって照明され
ている。ファインダ内ＬＣＤ２４を透過した光は三角プ
リズム６によってファインダ内に導かれ、図３のファイ
ンダ視野外２０７に表示され、撮影者は該撮影情報を観
察している。

【００３２】再び図１に戻って、３１は撮影レンズ１内
に設けた絞り、３２は絞り駆動回路１１４を含む絞り駆
動装置、３３はレンズ駆動用モータ、３４は駆動ギヤ等
からなるレンズ駆動部材、３５はフォトカプラで、レン
ズ駆動部材３４に連動するパルス板３６の回転を検知し
てレンズ焦点調節回路１１４に伝えている。レンズ焦点
調節回路１１４は、この情報とカメラ側からのレンズ駆
動量の情報に基づいてレンズ駆動用モータを所定量駆動
させ、撮影レンズ１の合焦レンズ１ａを合焦位置に移動
させている。３７は公知のカメラとレンズとのインター
フェイスとなるマウント接点である。

【００３３】図２は上記構成のカメラ本体に内蔵された
電気回路の要部ブロック図であり、図１と同一のものは
同一の番号をつけている。

【００３４】カメラ本体に内蔵されたカメラ制御手段で
あるところのマイクロコンピュータの中央処理装置（以
下、ＭＰＵと称す）１００は、発振器１０１で作られる
クロックを基に内部の動作が行われる。１００ａはクロ
ック制御回路であり、発振器１０１で作られた原発振周
波数をＭＰＵ１００内の信号により、分周しない，１／
２に分周する，１／１６に分周するなどしてＭＰＵ１０
０の動作周波数を決める。

【００３５】ＥＥＰＲＯＭ１００ｂは、フィルムカウン
タその他の撮影情報を記憶可能である。Ａ／Ｄ変換器１
００ｃは、後述するように視線検出回路１０４，焦点検
出回路１０５，多分割測光センサ１０６からのアナログ
信号をＡ／Ｄ変換する。

【００３６】ＭＰＵ１００には、ＬＥＤ駆動回路１０
２，ＩＲＥＤ駆動回路１０３，視線検出回路１０４，焦
点検出回路１０５，測光回路１０６，シャッタ制御回路
１０７，モータ制御回路１０８，フィルム走行検知回路
１０９，スイッチセンス回路１１０、及び、ＬＣＤ駆動
回路１１１が接続されている。また、撮影レンズ内に配
置されたレンズ制御回路１１２とは図１で示したマウン
ト接点３７を介して信号の伝達がなされる。

【００３７】ＬＥＤ駆動回路１０２は、ＭＰＵ１００か
らの信号に従ってスーパーインポーズ用ＬＥＤ２１を点
灯させている。ＬＥＤ駆動回路１０３は、ＭＰＵ１００
からの信号に従ってＩＲＥＤ１３を点灯させている。

【００３８】視線検出回路１０４は、エリアセンサ１４
の蓄積動作と読み出し動作をＭＰＵ１００からの信号に
従って行い、各画素の画素出力アナログ信号をＭＰＵ１
００に対して送る。視線検出回路１０４の詳細は後述す
る。ＭＰＵ１００はこのアナログ信号をＡ／Ｄ変換器１
００ｃによりＡ／Ｄ変換し、このそれぞれの画素情報に
よる画像情報により、視線検出に必要な眼球像の各特徴
点を所定のアルゴリズムに従って抽出し、さらに各特徴
点の位置から撮影者の眼球の回転角を算出する。

【００３９】本発明の実施の形態に係る一眼レフレック
スカメラでは、これにより撮影者のファインダ上の視線
（注視点）を演算抽出し、３つの測距点２００〜２０２
のうちから一つを選択し、その測距点で自動焦点検出を
行っている。

【００４０】１１５はＭＰＵ１００からの信号により視
線検出回路１０４に電源を供給するレギュレータであ
り、視線検出動作を行うときだけ、電源を供給するよう
に制御される。

【００４１】ラインセンサ６ｆは前述のように画面内の
３つの測距点２００〜２０２に対応した３組のラインセ
ンサＬｉｎｅ−Ｌ，Ｌｉｎｅ−Ｃ，Ｌｉｎｅ−Ｒから構
成される公知のＣＣＤラインセンサである。焦点検出回
路１０５はＭＰＵ１００の信号に従い、これらラインセ
ンサ６ｆの蓄積制御と読み出し制御を行って、ぞれぞれ
の画素情報をＭＰＵ１００に出力する。ＭＰＵ１００は
この情報をＡ／Ｄ変換し、周知の位相差検出法による焦
点検出を行う。

【００４２】ＭＰＵ１００は焦点検出情報により、レン
ズ制御回路１１２と信号のやりとり行うことによりレン
ズの焦点調節を行う。

【００４３】測光回路１０６は画面内の各エリアの輝度
信号として、測光センサ１０からの出力をＭＰＵ１００
に出力する。ＭＰＵ１００は輝度信号Ａ／Ｄ変換し、撮
影の露出の調節を行う。シャッタ制御回路１０７は、Ｍ
ＰＵ１００からの信号に従って、シャッタ先幕（ＭＧ−
１）、シャッタ後幕（ＭＧ−２）を走行させ、露出動作
を担っている。モータ制御回路１０８は、ＭＰＵ１００
からの信号に従ってモータを制御することにより、主ミ
ラー２のアップダウン、及び、シャッタのチャージ、そ
してフィルムの給送を行っている。

【００４４】フィルム走行検知回路１０９は、フィルム
給送時にフィルムが１駒分巻き上げられたかを検知し、
ＭＰＵ１００に信号を送る。

【００４５】ＳＷ１は不図示のレリーズ釦の第１ストロ
ークでＯＮし、測光，ＡＦ，視線検出動作を開始するス
イッチとなる。ＳＷ２はレリーズ釦の第２ストロークで
ＯＮし、露光動作を開始するスイッチとなる。スイッチ
ＳＷ１，ＳＷ２及びその他不図示のカメラの操作部材か
らの信号は、スイッチセンス回路１１０が検知し、ＭＰ
Ｕ１００に送っている。

【００４６】液晶表示回路１１１は、ファインダ内ＬＣ
Ｄ２４と不図示のモニタ用ＬＣＤ４２の表示をＭＰＵ１
００からの信号に従って制御している。

【００４７】レンズ制御回路１１２は、レンズマウント
接点３７を介してＭＰＵ１００と通信し、レンズ焦点検
出回路１１３及び絞り制御回路１１４を動作させ、レン
ズの焦点調節と絞りを制御している。

【００４８】次に、図４により、上記視線検出回路１０
４の詳細な回路構成について説明する。

【００４９】１４は図１及び図２で説明したようにエリ
アセンサであるところの光電変換センサであり、水平方
向に１００画素、垂直方向に６０画素の計６０００画素
の光電変換センサの集合により構成されている。

【００５０】２０２はフレームメモリ１であり、光電変
換センサ１４の６０００画素の出力をアナログスイッチ
２０４を介して転送され蓄えられる。２０３はフレーム
メモリ２であり、光電変換センサ１４の６０００画素の
出力をアナログスイッチ２０５を介して転送され蓄えら
れる。

【００５１】ここで、２つのフレームメモリの使い分け
であるが、フレームメモリ１の方にはＩＲＥＤ１３の点
灯状態での観察者の眼球像を蓄えるように不図示の制御
信号により制御され、フレームメモリ２の方にはＩＲＥ
Ｄ１３の非点灯状態での観察者の眼球像を蓄えるように
不図示の制御信号により制御される。

【００５２】２０６，２０７はそれぞれ読み出しバッフ
ァ１，２であり、フレームメモリ１，２の画素データを
１ラインずつ読み出し不図示のバッファに転送される
と、１画素ずつ順番に出力する。

【００５３】２０８は差動増幅アンプであり、読み出し
バッファ１，２からの画素出力の差分をとって、約１０
倍位のゲインをかけて出力する。２０９は信号出力端子
であり、差動増幅アンプ２０８の出力をＭＰＵ１００へ
出力する。

【００５４】この様に視線検出回路１０４では、ＩＲＥ
Ｄ１３の点灯状態の眼球像と非点灯状態の眼球像の二つ
の画素出力の差分値を増幅したアナログ信号を１画素ず
つＭＰＵ１００へ出力することが出来る。

【００５５】次に、図５〜図８を用いて上記のカメラの
動作について説明する。

【００５６】まず、図５を用いて、カメラの一連の動作
について説明する。

【００５７】カメラの動作が開始すると、ＭＰＵ１００
はまずステップ＃１０１において、レリーズ釦の第１ス
トロークでＯＮするスイッチＳＷ１を検出する。そし
て、スイッチＳＷ１がＯＦＦのときはこのステップを繰
り返す。もしスイッチＳＷ１がＯＮであれば、ステップ
＃１０２に以降へ進み、ＭＰＵ１００はここで視線検出
のサブルーチンをコールする。このサブルーチンについ
ては図６〜８を用いて後述する。ＭＰＵ１００はこのサ
ブルーチンにより、３つの測距点２００〜２０２のうち
から一つを選択している。

【００５８】次に、ステップ＃１０３において、ＭＰＵ
１００は焦点検出動作を行う。これは前述したように焦
点検出回路１０５による周知の位相差検出法によるもの
で、上記ステップ＃１０２で選択された測距点に対して
行う。続くステップ＃１０４においては、上記ステップ
＃１０３の焦点検出動作による焦点状態により、ＭＰＵ
１００はレンズ制御回路を制御することにより、レンズ
の焦点調節を行う。

【００５９】次のステップ＃１０５においては、ＭＰＵ
１００は測光回路１０６からの被写体の輝度情報により
露出量を決定し、シャッタスピードと絞りの値を演算に
より決定する。そして、ステップ＃１０６において、Ｍ
ＰＵ１００はレリーズ釦の第２ストロークでＯＮするス
イッチＳＷ２がＯＮであるかどうかを判別する。もしＯ
ＦＦであればステップ＃１０１に戻り、上記ステップ＃
１０１〜ステップ＃１０６までの動作を繰り返す。

【００６０】一方、上記スイッチＳＷ２がＯＮであれ
ば、ステップ＃１０７以降の一連の「露光動作」に進
む。

【００６１】まずステップ＃１０７において、露光動作
に先立って主ミラー２をアップさせて撮影光路よりこれ
を退去させる。そして、ステップ＃１０８において、上
記ステップ＃１０５で決定された絞り量に、レンズ制御
回路１１２を介してレンズ内の絞り３１を駆動する。次
に、ステップ＃１０９において、上記ステップ＃１０５
で決定されたシャッタスピードになるようシャッタ制御
回路１０７によりシャッターを制御する。次いで、ステ
ップ＃１１０において、撮影光路より退去された主ミラ
ー２をダウンさせ、再び撮影光路へ斜設させ、モータ制
御回路１０８によりフィルム給送を開始し、フィルム走
行検知回路１０９からのフィルム給送完信号によってフ
ィルム給送をストップさせ、フィルムを１駒巻上げる。

【００６２】次に、上記ステップ＃１０２において実行
される「視線検出」のサブルーチンについて、図６〜図
８のフローチャートにより説明する。

【００６３】ＭＰＵ１００は視線検出動作を開始する
と、まずステップ＃２０１において、まずタイマにエリ
アセンサ（光電変換センサ）１４の蓄積時間の設定を行
う。この蓄積時間（ＴＭ０）はＩＲＥＤ１３の照明を行
わずに観察者の眼球像を得るための蓄積（外光蓄積）と
なる。次に、ステップ＃２０２において、上記ステップ
＃２０１でタイマに設定された時間でエリアセンサ１４
の蓄積動作を行う。

【００６４】ここで、図７により、このステップ＃２０
２における「センサ蓄積」のサブルーチンについて説明
する。

【００６５】ＭＰＵ１００は、ステップ＃３０１におい
てタイマをスタートさせる。そして、ステップ＃３０２
において、ＭＰＵ１００はエリアセンサ１４の各画素の
蓄積された電荷をリセットし、蓄積動作をスタートさせ
る。次のステップ＃３０３においては、ＭＰＵ１００は
タイマが終了したかを判別し、終了していなければステ
ップ＃３０３を繰り返し、終了していればこのサブルー
チンを終了する。

【００６６】再び図６に戻り、次のステップ＃２０３に
おいては、ＭＰＵ１００は視線検出回路１０４の駆動に
より、エリアセンサ１４の光電変換出力をフレームメモ
リ２へ転送する。次に、ステップ＃２０４において、Ｍ
ＰＵ１００はタイマにエリアセンサ１４の蓄積時間（Ｔ
Ｍ１）の設定を行う。今度はＩＲＥＤ１３の照明を行っ
て観察者の眼球像を得るための蓄積（照明蓄積）とな
る。

【００６７】蓄積時間（ＴＭ０）と（ＴＭ１）の関係
は、ＴＭ０＜ＴＭ１であり、外光蓄積は照明蓄積に対して蓄積時間を短く設
定する。ここが本発明のポイントとなる部分である。

【００６８】次に、ステップ＃２０５において、ＭＰＵ
１００はＩＲＥＤ駆動回路１０３を駆動し、ＩＲＥＤを
点灯させる。そして、ステップ＃２０６において、上記
ステップ＃２０４でタイマに設定された時間でエリアセ
ンサ１４の蓄積動作を行う。続くステップ＃２０７にお
いては、ＭＰＵ１００は視線検出回路１０４の駆動によ
り、エリアセンサ１４の光電変換出力をフレームメモリ
１へ転送する。

【００６９】次に、ステップ＃２０８において、ＭＰＵ
１００はＩＲＥＤ駆動回路１０３を駆動し、ＩＲＥＤを
消灯させる。そして、ステップ＃２０９において、ＭＰ
Ｕ１００は視線検出回路１０４の駆動により画素出力信
号を読み出す。このとき、視線検出回路１０４内では２
つのフレームメモリの信号をそれぞれ画素毎に差分をと
り増幅した信号を出力している。

【００７０】最後に、ステップ＃２１０において、ＭＰ
Ｕ１００は読み出した信号をＡ／Ｄ変換し、信号処理を
行うことで視線（注視点）の演算を行い、３つの測距点
２００〜２０２のうちから一つを選択する。

【００７１】次に、上記ステップ＃２１０の注視点演算
について、もう少し詳しく図８のフローチャートを用い
て説明する。

【００７２】ステップ＃４０１において、ＭＰＵ１００
はＡ／Ｄ変換された画像信号より、急峻に立ち上がる比
較的輝度の高いＰ像の座標を検出を行う。次に、ステッ
プ＃４０２において、ＭＰＵ１００はＡ／Ｄ変換された
画像信号より、比較的輝度の低い部分から有る程度の傾
きで立ち上がる瞳孔のエッジを求める。次いで、ステッ
プ＃４０３において、ＭＰＵ１００はステップ＃４０２
で求められた複数の瞳孔エッジ座標より、瞳孔の中心座
標を求める。続くステップ＃４０４において、ＭＰＵ１
００は上記ステップ＃４０１で求められたＰ像の座標と
上記ステップ＃４０３で求められた瞳孔の中心座標より
観察者の眼球像の回転角を求めて、その回転角をファイ
ンダ上の位置に変換すれば注視点は求められ、この注視
点演算を終える。

【００７３】図９には、前述した視線検出の動作のタイ
ミングチャートを示した。

【００７４】まず外光蓄積を行い、その蓄積時間より長
い時間で照明蓄積を行っている。その後、信号の読み出
しは照明蓄積分と外光蓄積分の差分出力で読み出され、
ＭＰＵ１００は信号をＡ／Ｄ変換し、演算によって注視
点（視線）を求めている。

【００７５】次に、図１２により、本発明の効果となる
部分の説明を行う。

【００７６】フレームメモリ２に蓄えられた外光蓄積に
よる画像の図１１の出力Ｌｂに対応する部分をＬｂ２と
し、フレームメモリ１に蓄えられた照明蓄積による画像
の図１１の出力Ｌｂに対応する部分をＬｂ１としたと
き、従来の外光除去による例が図１２（Ａ）であること
は前述しているが、本発明の実施例によると図１２
（Ｂ）のようになる。

【００７７】これでは、出力Ｌｂ２のレベルが出力Ｌｂ
１に対してかなり低くなり、その結果差分出力ｄは、従
来の外光除去の図１２（Ａ）よりもレベル的には上がっ
ているが、マイナスになる部分など無く、ＭＰＵ１００
が信号処理で瞳孔エッジを抽出し易くなっている。

【００７８】このように本発明を１眼レフレックスカメ
ラに応用した例では、屋内だけではなく屋外でも、太陽
光などによる眼球像の画像の乱れをとる外光除去をやや
弱めに設定して、除去しすぎてマイナス出力が出て信頼
性をかえって低下させることもなく、信頼性の高い視線
検出装置を実現することが可能になる。

【００７９】（実施の第２の形態）図１０は本発明の実
施の第２の形態に係る視線検出回路１０４の回路構成を
示すブロック図である。なお、図４と同等の働きをする
部分は同じ番号を付してある。

【００８０】２１０は増幅アンプであり、エリアセンサ
１４に蓄積された画像信号は約０．６倍になってフレー
ムメモリ２に転送される。

【００８１】この増幅アンプ２１０があることによっ
て、前述の実施の第１の形態のように外光蓄積と照明蓄
積の蓄積時間をわざわざタイマを使用することで異なら
しめることなく、前述の同様な効果が得られ、太陽光な
どによる眼球像の画像の乱れをとる外光除去をやや弱め
に設定して、除去しすぎてマイナス出力が出て信頼性を
却って低下させることもなく、簡便に信頼性の高い視線
検出装置を実現することが可能となる。

【００８２】また、この他の実施の形態の他の例とし
て、視線検出の光学系と観察者の眼球像の相対的な位置
関係が殆ど動くことのない時は、逆に外光蓄積の蓄積時
間を照明蓄積の蓄積時間より長く設定して、増幅アンプ
２１０の効果と蓄積時間の効果で合わせて完全に外光除
去効果を１００％にするという方法も考えられる。

【００８３】これは、視線検出の光学系と観察者の眼球
像の相対的な位置関係が殆ど動くことのない時の外光除
去による効果を一層効果的にするのに有効である。

【００８４】（発明と実施の形態の対応）本実施の形態
において、ＩＲＥＤ１３が本発明の照明手段に相当し、
エリアセンサ１４が本発明のセンサ手段に相当し、エリ
アセンサ１４とフレームメモリ２（２０３）とアナログ
スイッチ２０５とＭＰＵ１００の蓄積時間制御を行う部
分（又は増幅アンプ２１０）が本発明の第１の画像形成
手段に相当する。

【００８５】また、エリアセンサ１４とフレームメモリ
１（２０２）とアナログスイッチ２０４とＭＰＵ１００
が本発明の第２の画像形成手段に相当し、差動増幅アン
プ２０８が本発明の第３の画像形成手段に相当し、ＭＰ
Ｕ１００が画像形成制御手段又は信号処理手段に相当す
る。

【００８６】以上が実施の形態の各構成と本発明の各構
成の対応関係であるが、本発明は、これら実施の形態の
構成に限定されるものではなく、請求項で示した機能、
又は実施の形態がもつ機能が達成できる構成であればど
のようなものであってもよいことは言うまでもない。

【００８７】（変形例）本発明は、一眼レフカメラに適
用した例を述べているが、ビデオカメラや電子スチルカ
メラ等の映像装置にも適用可能である。更には、顕微鏡
やヘッドマウントディスプレイ装置やゲーム機等の光学
装置にも適用可能である。

【００８８】また、対象物を照明しその画像により信号
処理を行い信号処理結果を出力する装置であれば、視線
検出装置に限定することはなく、いろいろな信号処理装
置に応用することが出来る。

【００８９】

【発明の効果】以上説明したように、本発明によれば、
観察者の眼球を照明せずに得た画像情報と照明を行った
場合に得られる画像情報の差分を取り、外光除去を行う
際に、外光除去の効果を弱めにする、具体的には外光蓄
積の時間を短くしたり、外光蓄積信号の読み出し増幅率
を低くするようにしている。

【００９０】よって、信頼性の高い装置を提供すること
が可能となる。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係る視線検出装置
を具備した一眼レフレックスカメラの光学的配置図であ
る。

【図２】図１のカメラの電気的構成を示すブロック図で
ある。

【図３】図１のカメラのファインダ視野を示す図であ
る。

【図４】図１のカメラに具備される視線検出回路の構成
を示すブロック図である。

【図５】図１のカメラの一連の動作を示すフローチャー
トである。

【図６】図５のステップ＃０２での動作を示すフローチ
ャートである。

【図７】図６のステップ＃２０２での動作を示すフロー
チャートである。

【図８】図７のステップ＃２１０での動作を示すフロー
チャートである。

【図９】図５のステップ＃０２の動作時のタイミングチ
ャートである。

【図１０】本発明の実施の第２の形態に係る視線検出回
路の構成を示すブロック図である。

【図１１】従来装置における眼球像と画像出力について
説明する為の図である。

【図１２】本発明の外光除去の波形例と従来の外光除去
の波形例を示す図である。

【符号の説明】１３赤外発光ダイオード（ＩＲＥＤ）１４エリアセンサ１５眼球１００ＭＰＵ１０３ＩＲＥＤ駆動回路１０４視線検出回路２０２フレームメモリ１２０３フレームメモリ２２０４アナログスイッチ２０５アナログスイッチ２１０増幅アンプ

Claims

【特許請求の範囲】

【請求項１】観察者の眼球を照明せずに得た画像情報
と照明を行った場合に得られる画像情報の差分を取り、
外光除去を行う際に、外光除去の効果を弱めにするよう
にしたことを特徴とする視線検出装置。
【請求項２】観察者の眼球に対して照明を行う照明手
段と、観察者の眼球の画像を得るセンサ手段と、前記照
明手段による照明を行わない状態で、前記センサ手段に
よる画像を得る第１の画像形成手段と、前記照明手段に
よる照明を行った状態で、前記センサ手段による画像を
得る第２の画像形成手段と、該第２の画像形成手段の出
力と前記第１の画像形成手段の出力の差を求めることに
よって第３の画像を出力する第３の画像形成手段と、該
第３の画像形成手段からの画像信号を処理することによ
って観察者の注視点の検出を行う視線検出手段とを備え
た視線検出装置において、前記センサ手段により得られる画像の中で前記照明手段
により照明されていない部分における、前記第１の画像
形成手段による画像形成の程度と前記第２の画像形成手
段による画像形成の程度を異ならしめる画像形成制御手
段を設けたことを特徴とする視線検出装置
【請求項３】前記センサ手段は、複数の光電変換手段
を持つ光電変換センサであることを特徴とする請求項２
記載の視線検出装置。
【請求項４】前記画像形成制御手段は、前記センサ手
段の蓄積時間を異ならしめることで制御することを特徴
とする請求項２記載の視線検出装置。
【請求項５】前記画像形成制御手段は、前記センサ手
段の読み出し増幅率を異ならしめることで制御すること
を特徴とする請求項２記載の視線検出装置。
【請求項６】対象物に対して照明を行う照明手段と、
対象物の画像を得るセンサ手段と、前記照明手段による
照明を行わない状態で、前記センサ手段による画像を得
る第１の画像形成手段と、前記照明手段による照明を行
った状態で、前記センサ手段による画像を得る第２の画
像形成手段と、該第２の画像形成手段の出力と前記第１
の画像形成手段の出力の差を求めることによって第３の
画像を出力する第３の画像形成手段と、該第３の画像形
成手段からの画像信号を処理することによって信号出力
を行う信号処理手段とを備えた信号処理装置において、対象物の中で前記照明手段により照明されていない部分
における、前記第１の画像形成手段による画像形成の程
度と第２の画像形成手段による画像形成の程度を異なら
しめる画像形成制御手段を設けたことを特徴とする信号
処理装置。
【請求項７】前記センサ手段は、複数の光電変換手段
を持つ光電変換センサであることを特徴とする請求項６
記載の信号処理装置。
【請求項８】前記画像形成制御手段は、前記センサ手
段の蓄積時間を異ならしめることで制御することを特徴
とする請求項６記載の信号処理装置。
【請求項９】前記画像形成制御手段は、前記センサ手
段の読み出し増幅率を異ならしめることで制御すること
を特徴とする請求項６記載の信号処理装置。