JPH1099275A

JPH1099275A - 視線検出装置及び光学機器

Info

Publication number: JPH1099275A
Application number: JP8279921A
Authority: JP
Inventors: Akihiko Nagano; 明彦長野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-10-02
Filing date: 1996-10-02
Publication date: 1998-04-21

Abstract

(57)【要約】【課題】常に良好な視線検出を行えるようにする。【解決手段】受光手段で得られた眼球像を画像処理し
て角膜反射像と瞳孔の位置を抽出し、その位置から観察
者の視線を算出する演算手段に、少なくとも角膜反射像
と瞳孔の位置を抽出するためのパラメータ設定値を複数
組のうちより選択し、出力するパラメータ設定値選択手
段（＃１３２→＃１３３、又は、＃１３２→＃１３４）
を設け、視線検出装置のおかれている環境，状況に応じ
て角膜反射像と瞳孔の位置を抽出するために最適なパラ
メータ設定値を選択し、このパラメータ設定値を用いて
観察者の視線を算出するようにしている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディスプレイ等を
観察する観察者の視線を検出する視線検出装置及び該視
線検出装置を有するカメラ等の光学機器に関するもので
ある。

【０００２】

【従来の技術】従来より、ファインダを覗く観察者の視
線を検出し、その視線情報に基づいて撮影レンズの自動
焦点調節等の機能を制御するカメラが市販されている。

【０００３】この種のカメラに搭載される視線検出装置
は、観察者の眼球を赤外発光ダイオード（以下、ＩＲＥ
Ｄと記す）で照明し、その反射光を受光光学系を介して
ＣＣＤ等のイメージセンサで受光して得られた眼球像を
画像、演算処理して観察者の視線情報を検出している。

【０００４】観察者の視線情報は、観察者の眼球を照明
した照明光による角膜反射像の位置と瞳孔の中心位置と
のずれより算出され、その詳細については特開平２−２
６４６３３号公報に開示されている。また、観察者の眼
球像より角膜反射像と瞳孔の位置を抽出する方法は、特
開平３−１７７８２６号公報に開示されている。

【０００５】ところで、視線検出装置を搭載したカメラ
は様々な環境下で使用されるため、その環境、状況に応
じて最良の眼球画像が得られるように視線検出装置はＩ
ＲＥＤの光量を制御したり、イメージセンサの蓄積時間
等を制御したりしている。

【０００６】

【発明が解決しようとする課題】しかしながら、例えば
太陽光の下で視線検出装置を搭載したカメラを使用する
と、視線検出装置は眼球画像が太陽光によって飽和しな
いようにイメージセンサの蓄積時間及びＩＲＥＤの点灯
時間を短く設定して制御するが、その結果ＩＲＥＤによ
る眼球への照明光量は小さくなるために角膜反射像の反
射強度が小さくなり、角膜反射像が検出できなくて視線
検出ができないという問題点があった。

【０００７】さらに、太陽光の下で視線検出装置を搭載
したカメラを使用する場合、太陽光等の外光成分を除去
した画像から角膜反射像と瞳孔の位置を求めて観察者の
視線を算出する外光除去モードがある。このモード時に
上述のように太陽光によって眼球画像が飽和しないよう
にイメージセンサの蓄積時間及びＩＲＥＤの点灯時間を
短く設定され制御されるため、その結果ＩＲＥＤによる
眼球への照明光量は小さくなるために角膜反射像の反射
強度が小さくなり角膜反射像が検出できなくなったり、
又虹彩の反射強度が小さくなり瞳孔の位置が検出できな
くなり、視線検出ができないという問題点があった。

【０００８】（発明の目的）本発明の目的は、常に良好
な視線検出を行うことのできる視線検出装置及び光学機
器を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、請求項１〜４記載の本発明は、観察者の眼球を照明
する照明手段と、前記眼球からの反射光を受光する受光
手段と、該受光手段で得られた眼球像を画像処理して角
膜反射像と瞳孔の位置を抽出し、その位置から観察者の
視線を算出する演算手段とを具備した視線検出装置にお
いて、角膜反射像と瞳孔の位置のうちの少なくとも何れ
か一方を抽出するためのパラメータ設定値を複数組記憶
する記憶手段と、該記憶手段に記憶された複数組のパラ
メータ設定値のうちのどの組のパラメータ設定値を前記
演算手段による演算に使用させるかの選択を行うパラメ
ータ設定値を前記演算手段に出力するパラメータ設定値
選択手段とを設け、視線検出装置のおかれている環境，
状況に応じて角膜反射像と瞳孔の位置を抽出するために
最適なパラメータ設定値を選択し、このパラメータ設定
値を用いて観察者の視線を算出するようにしている。

【００１０】同じく上記目的を達成するために、請求項
５〜７記載の本発明は、観察者の眼球を照明する照明手
段と、前記眼球からの反射光を受光する受光手段と、該
受光手段で得られた眼球像を画像処理して角膜反射像と
瞳孔の位置を抽出し、その位置から観察者の視線を算出
する演算手段とを備えた視線検出装置において、前記角
膜反射像と瞳孔の位置のうちの少なくとも何れか一方を
抽出する際に使用するパラメータ係数値を記憶する記憶
手段と、該記憶手段に記憶されたパラメータ係数値を用
いて前記演算手段に前記角膜反射像と瞳孔の位置を抽出
させるためのパラメータ設定値を算出するパラメータ設
定手段とを設け、視線検出装置のおかれている環境、状
況に応じて角膜反射像と瞳孔の位置を抽出するために最
適なパラメータ設定値を設定し、このパラメータ設定値
を用いて観察者の視線を算出するようにしている。

【００１１】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１２】図１〜図６は本発明の実施の第１の形態に
係る図であり、先ず本発明の実施の第１の形態に係る視
線検出装置を有する一眼レフカメラの概略構成につい
て、図１を用いて説明する。

【００１３】図１において、１は撮影レンズであり、便
宜上２枚のレンズ１ａ，１ｂで示したが、実際は多数の
レンズから構成されている。２は主ミラーで、観察状態
と撮影状態に応じて撮影光路へ斜設されあるいは退去さ
れる。３はサブミラーで、主ミラー２を透過した光束を
カメラボディの下方へ向けて反射する。４はシャッタ、
５は感光部材で、銀塩フィルムあるいはＣＣＤやＭＯＳ
型等の固体撮像素子あるいはビディコン等の撮像管より
成っている。

【００１４】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，２次結像レンズ６ｄ，絞り６ｅ，複数のＣＣＤから
成るラインセンサ６ｆ等から構成されている周知の位相
差方式を採用している。同図の焦点検出装置６は、観察
画面内の複数の領域を焦点検出可能なように構成されて
いる。

【００１５】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダ光路変更手段であるペンタ
ダハプリズム、９と１０は観察画面内の被写体輝度を測
定する為に結像レンズと測光センサで、結像レンズ９は
ペンタダハプリズム８内の反射光路を介してピント板７
と測光センサ１０を共役に関係付けている。

【００１６】１１は、光分割手段であるダイクロイック
ミラー１６と同様、ペンタダハプリズム８の射出面後方
に配された接眼レンズであり、観察者の眼によるピント
板７の観察に使用される。上記の光分割手段であるダイ
クロイックミラー１６は、可視光を透過し赤外光を反射
する特性を有している。１２は受光レンズ、１４はＣＣ
Ｄ等の光電素子列を２次元的に配したイメージセンサ
で、受光レンズ１２に関して所定の位置にある観察者の
眼の虹彩近傍と共役になるように配置されている。

【００１７】１３ａ〜１３ｄは各々観察者の眼の照明光
源であるところのＩＲＥＤで、接眼レンズ１１の下方に
配置されている。

【００１８】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤであり、該スーパー
インポーズ用ＬＥＤ２１から発光された光は投光用プリ
ズム２２、主ミラー２で反射してピント板７の表示部に
設けた微小プリズムアレー７ａで垂直方向に曲げられ、
ペンタダハプリズム８，ダイクロイックミラー１６，接
眼レンズ１１を通って観察者の眼に達する。そこでピン
ト板７の焦点検出領域に対応する位置にこの微小プリズ
ムアレー７ａを枠状に形成し、これを各々に対応したス
ーパーインポーズ用ＬＥＤ２１によって照明する。これ
によって不図示の焦点検出領域（測距点）を表示させて
いる。

【００１９】３１は撮影レンズ１内に設けた絞り、３２
は絞り駆動回路１０８（図２にて後述）を含む絞り駆動
装置、３３はレンズ駆動回路１１０（図２にて後述），
レンズ駆動用モータ，駆動ギヤ等から成るレンズ駆動装
置であり、レンズ駆動回路１１０はカメラ側からのレン
ズ駆動量の情報に基づいてレンズ駆動用モータを所定量
駆動させ、撮影レンズ１の合焦レンズ１ａを合焦位置に
移動させている。３７は公知のカメラとレンズとのイン
ターフェイスとなるマウント接点である。

【００２０】図２は、図１に示した一眼レフカメラのカ
メラ本体に内蔵された電気的構成のうちの要部を示すブ
ロック図である。

【００２１】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置（以下、ＣＰＵと記す）１００に
は、イメージセンサ駆動回路１０１，ＩＲＥＤ駆動回路
１０２，測光回路１０３，焦点検出回路１０４，信号入
力回路１０５，ＬＣＤ駆動回路１０６，ＬＥＤ駆動回路
１０７，絞り駆動回路１０８，シャッタ制御回路１０
９、及び、レンズ駆動回路１１０が接続されている。ま
た、撮影レンズ１内に配置された絞り駆動回路１０８と
レンズ駆動回路１１０とは図１で示したマウント接点３
７を介して信号の伝達が為される。

【００２２】ＣＰＵ１００には、記憶手段としてＥＥＰ
ＲＯＭ１００ａが付随している。ＩＲＥＤ駆動回路１０
２は、ＩＲＥＤ１３ａ〜１３ｄを点灯制御して観察者の
眼球を照明する。

【００２３】イメージセンサ駆動回路１０１は、イメー
ジセンサ１４の蓄積制御を行うとともに該イメージセン
サ１４からの眼球像の出力をＡ／Ｄ変換し、この画像信
号をＣＰＵ１００に送信する。

【００２４】ＣＰＵ１００は眼球像を画像処理して角膜
反射像と虹彩と瞳孔の境界を抽出し、さらに角膜反射像
と瞳孔の中心位置のずれから観察者の視線情報を算出す
る。測光回路１０３は、測光センサ１０からの出力を増
幅後、対数圧縮，Ａ／Ｄ変換し、各イメージセンサの輝
度情報としてＣＰＵ１００に送っている。

【００２５】ラインセンサ６ｆは画面内の複数の焦点検
出領域に対応した公知のＣＣＤラインセンサである。焦
点検出回路１０４はこれらラインセンサ６ｆから得た電
圧をＡ／Ｄ変換し、ＣＰＵ１００に送っている。

【００２６】信号入力回路１０５は、不図示のシャッタ
レリーズボタンの第１ストローク（スイッチＳＷ−１）
と第２ストローク（スイッチＳＷ−２）の信号入力を検
知してＣＰＵ１００にその信号を送信している。

【００２７】ＬＣＤ駆動回路１０６は、液晶表示素子Ｌ
ＣＤを表示駆動させるための回路で、ＣＰＵ１００から
の信号に従い、絞り値，シャッタ秒時，設定した撮影モ
ード等の表示をファインダＬＣＤ２４に表示させてい
る。ＬＥＤ駆動回路１０７は、照明用ＬＥＤ２５とスー
パーインポーズ用ＬＥＤ２１を点灯，点滅制御する。

【００２８】絞り駆動回路１０８は、撮影レンズ１の絞
り３１が所定の大きさになるように絞り駆動装置３２を
制御している。シャッタ制御回路１０９は、通電すると
シャッタ幕４を走行させて、感光部材５に所定光量を露
光させる。

【００２９】本発明の視線検出装置を構成する照明手段
は、観察者の眼球を照明するＩＲＥＤ１３ａ〜１３ｄ、
これらＩＲＥＤを駆動するＩＲＥＤ駆動回路１０２とか
ら構成されている。また、受光手段は、眼球からの反射
光を受光する接眼レンズ１１，ダイクロイックミラー１
６，受光レンズ１２，イメージセンサ１４を制御するイ
メージセンサ駆動回路１０１とから構成されている。

【００３０】また、演算手段は、ＣＰＵ１００，記憶手
段であるＥＥＰＲＯＭ１００ａとから構成されている。
又選択手段は、ＣＰＵ１００から構成されている。

【００３１】次に、上記視線検出装置を有したカメラの
動作について、図３のフローチャートに基づいて説明を
行う。

【００３２】観察者がカメラを起動させると、ＣＰＵ１
００は信号入力回路１０５を介して視線検出装置の動作
状態を設定するための不図示のモード選択ダイヤルの設
定状態を確認する（＃１００）。

【００３３】モード選択ダイヤルが視線のキャリブレー
ションモードに設定されていれば（＃１００）、ＣＰＵ
１００は観察者の視線と注視目標を一致させるための視
線のキャリブレーションを実行する（＃１０１）。視線
のキャリブレーション方法については、特開平６−３４
８７４号公報に開示されている。

【００３４】一方、モード選択ダイヤルが通常の撮影モ
ードに設定されていれば、ＣＰＵ１００は、視線のキャ
リブレーションを行うモードに設定されていないことを
認識し（＃１００）、さらに信号入力回路１０５を介し
てシャッタレリーズボタンの第１ストロークの状態、つ
まりスイッチＳＷ−１の状態を確認する（＃１０２）。
スイッチＳＷ−１がＯＦＦ状態であれば、ＣＰＵ１００
は該スイッチＳＷ−１がＯＮされるまで待機する（＃１
０２）。

【００３５】観察者によってスイッチＳＷ−１がＯＮさ
れれば（＃１０２）、ＣＰＵ１００は記憶手段であるＥ
ＥＰＲＯＭ１００ａから観察者の視線のキャリブレーシ
ョンデータを読み出す（＃１０３）。引き続き、観察者
の視線の検出が実行される（＃１０４）。本発明の視線
検出装置の視線検出動作を示したのが図４であり、以
下、この図４のフローチャートに基づいて説明する。

【００３６】まずＣＰＵ１００は、受光手段の一部を構
成するイメージセンサ駆動回路１０１に信号を送ってイ
メージセンサ１４を所定時間蓄積駆動し、観察者の眼球
像を前もって撮像する。このとき、照明手段による観察
者の眼球への照明は行われない。ＣＰＵ１００は、イメ
ージセンサ１４の出力より眼球周辺の明るさを測定し
て、本番の撮像時の蓄積モード，蓄積時間，ＩＲＥＤの
電流値を決定する（＃１３０）。このとき、カメラが太
陽光の下で使用されていたならば、外光除去（の蓄積）
モードで、短い蓄積時間，高いＩＲＥＤ電流値で制御さ
れるように設定される。外光除去モードでのイメージセ
ンサ１４の駆動方法については、特開平６−１４８５１
３号公報に開示されている。

【００３７】ＣＰＵ１００は照明手段であるＩＲＥＤ駆
動回路１０２にＩＲＥＤ制御信号を送信し、さらにＩＲ
ＥＤ駆動回路１０２はＩＲＥＤ１３を点灯させる。ま
た、このとき受光手段であるイメージセンサ駆動回路１
０１はイメージセンサ１４を蓄積制御する（＃１３
１）。観察者の眼球像が該イメージセンサ１４によって
撮像されると、イメージセンサ駆動回路１０１は該イメ
ージセンサ１４からの眼球像出力をＡ／Ｄ変換し、この
画像信号をＣＰＵ１００に送信する。

【００３８】ここで、図５は前記イメージセンサ１４で
得られた眼球像の説明図、図６は同じく前記イメージセ
ンサ１４で得られた眼球像のうち、角膜反射像が存在す
るラインの出力を示した図である。尚、図６に示すＩｔ
ｈ₁ ，Ｉｔｈ₂ ，Ｉｔｈ₃ は後述するパラメータであ
る。

【００３９】前記イメージセンサ１４の出力はＡ／Ｄ変
換した後、フルレンジで２５６［カウント］で出力され
る。

【００４０】パラメータ設定値選択手段であるＣＰＵ１
００は、観察者の眼球像を撮像する際、イメージセンサ
１４が通常蓄積モードで蓄積制御されていたと判定する
と（＃１３２）、記憶手段であるＥＥＰＲＯＭ１００ａ
に記憶された通常蓄積モードで使用される第１のパラメ
ータ設定値を選択する（＃１３３）。

【００４１】一方、パラメータ設定値選択手段であるＣ
ＰＵ１００は、観察者の眼球像を撮像する際、イメージ
センサ１４が外光除去モードで蓄積制御されていたと判
定すると（＃１３２）、記憶手段であるＥＥＰＲＯＭ１
００ａに記憶された外光除去モードで使用される第２の
パラメータ設定値を選択する（＃１３４）。

【００４２】図７は、角膜反射像と瞳孔を抽出するため
のパラメータとその設定値を表したものである。

【００４３】ここで、Ｉｔｈ₁ は、瞳孔と虹彩の境界を
検出する出力レベルを決定するためのパラメータで、瞳
孔の出力レベルからの値となっている。Ｉｔｈ₂ は、虹
彩の出力レベルの上限を決めるパラメータで、瞳孔の出
力レベルからの値となっている。Ｉｔｈ₃ は、角膜反射
像を検出する出力レベルを決定するためのパラメータ
で、イメージセンサ１４のダークレベルからの値となっ
ている。Ｄｔｈ₁ は、瞳孔と虹彩の境界における出力の
傾きのしきい値であるところのパラメータ、Ｄｔｈ₂
は、角膜反射像の出力の傾きのしきい値であるところの
パラメータである。

【００４４】イメージセンサ１４が通常蓄積モードで駆
動制御されるときは得られる眼球画像の出力は比較的大
きい値となるため、角膜反射像と瞳孔を抽出するための
パラメータの設定値も大きい値となる。一方、イメージ
センサ１４が外光除去モードで駆動制御されるときは得
られる眼球画像の出力は比較的小さい値となるため、角
膜反射像と瞳孔を抽出するためのパラメータの設定値も
小さい値となる。

【００４５】引き続き演算手段であるＣＰＵ１００は、
パラメータ設定値選択手段によって選択されたパラメー
タ設定値に基づいて眼球像を画像処理して角膜反射像と
虹彩と瞳孔の境界を抽出し（＃１３５）、さらに角膜反
射像と瞳孔の中心位置のずれから観察者の視線情報を算
出する（＃１３６）。

【００４６】このとき、観察者の視線を検出するのに成
功したら図３のメインのルーチンに復帰する（＃１３
７）。

【００４７】図３に戻って、演算手段であるＣＰＵ１０
０は検出された観察者の視線情報と視線のキャリブレー
ションデータによりピント板７上の注視点を算出する
（＃１０５）。

【００４８】さらに、ＣＰＵ１００は前記注視点座標よ
り最寄りの焦点検出領域を選択する（＃１０６）。

【００４９】引き続きＣＰＵ１００は焦点検出回路１０
４に信号を送信して観察者の視線情報に基づいて選択さ
れた焦点検出領域の焦点検出を実行する（＃１０７）。
選択された焦点検出領域の焦点状態が合焦していなけれ
ば（＃１０８）、ＣＰＵ１００はレンズ駆動回路１１０
に焦点調節信号を送信して撮影レンズ１のレンズ駆動を
行う（＃１１４）。焦点調節信号に対応したレンズ駆動
が実行されると（＃１１４）再度焦点検出が実行される
（＃１１５）。

【００５０】選択された焦点検出領域の焦点状態が合焦
していれば（＃１０８）、ＣＰＵ１００はＬＥＤ駆動回
路１０７に信号を送信してファインダ内に合焦表示を行
う（＃１０９）。ファインダ視野内に合焦表示が行われ
るため、観察者は撮影レンズが所望の焦点検出領域にお
いて合焦していることが認識できる。

【００５１】また、ＣＰＵ１００は測光回路１０３に信
号を送信して測光を行う。このとき、撮影画面内の分割
された領域の測光値に観察者の視線情報に基づいた重み
付けを行って露出値が決定される（＃１１０）。

【００５２】引き続きスイッチＳＷ−１がＯＮされてい
れば（＃１１１）、シャッタレリーズボタンの第２スト
ロークの状態、つまりスイッチＳＷ−２の状態を確認す
る（＃１１２）。スイッチＳＷ−２がＯＦＦ状態であれ
ば（＃１１２）、再びスイッチＳＷ−１の状態の確認を
行い（＃１１１）、該スイッチＳＷ−１がＯＦＦ状態で
あれば（＃１１１）、そのまま初期状態に戻る。

【００５３】また、スイッチＳＷ−２がＯＮされたなら
ば（＃１１２）、ＣＰＵ１００は絞り駆動回路１０８に
信号を送信して絞り３１を所定の開口に設定するととも
にシャッタ制御回路１０９に信号を送信し、シャッタ幕
を走行させて撮影を行う（＃１１３）。

【００５４】カメラのシャッタレリーズ動作が終了する
と（＃１１３）、初期状態に戻る。

【００５５】（実施の第２の形態）上記の実施の第１の
形態においては、パラメータ設定値選択手段はイメージ
センサの蓄積モード（通常の蓄積モードか外光除去の蓄
積モードか）に応じてパラメータ設定値を選択する例を
示したが、眼球画像の明るさによってパラメータ設定値
を選択するものも有効である。この例を実施の第２の形
態として、以下に説明する。

【００５６】図８は本発明の実施の第２の形態に係る視
線検出装置の視線検出動作を示すフローチャートであ
る。尚、カメラの光学的配置、電気的構成、及び、カメ
ラの視線検出動作以外の動作に関しては、上記実施の第
１の形態と同様であるのでその詳細は省略する。

【００５７】観察者がカメラのシャッタレリーズボタン
の第１ストロークを行い、スイッチＳＷ−１がＯＮする
と、前述した様にＣＰＵ１００は視線検出動作を実行す
る（＃１０４）。この視線検出動作について、図８のフ
ローチャートにより説明する。

【００５８】まずＣＰＵ１００は、受光手段の一部を構
成するイメージセンサ駆動回路１０１に信号を送ってイ
メージセンサ１４を所定時間蓄積駆動し、観察者の眼球
像を前もって撮像する。このとき、照明手段による観察
者の眼球への照明は行われない。ＣＰＵ１００は、イメ
ージセンサ１４の出力より眼球周辺の明るさを測定し
て、本番の撮像時の蓄積モード，蓄積時間，ＩＲＥＤの
電流値を決定する（＃１４０）。このとき、眼球周辺の
明るさが暗ければイメージセンサ１４の蓄積時間は長く
設定される。一方、眼球周辺の明るさが明るければイメ
ージセンサ１４の蓄積時間は短く設定される。

【００５９】ＣＰＵ１００は照明手段であるＩＲＥＤ駆
動回路１０２にＩＲＥＤ制御信号を送信し、さらにＩＲ
ＥＤ駆動回路１０２はＩＲＥＤ１３を点灯させる。ま
た、このとき受光手段であるイメージセンサ駆動回路１
０１はイメージセンサ１４を蓄積制御する（＃１４
１）。観察者の眼球像が該イメージセンサ１４によって
撮像されると、イメージセンサ駆動回路１０１は該イメ
ージセンサ１４からの眼球像出力をＡ／Ｄ変換しこの画
像信号をＣＰＵ１００に送信する。

【００６０】ここで、パラメータ設定値選択手段である
ＣＰＵ１００は前もって撮像された眼球画像が所定の明
るさより暗いと判定すると（＃１４２）、記憶手段であ
るＥＥＰＲＯＭ１００ａに記憶された暗い環境で使用さ
れる第１のパラメータ設定値を選択する（＃１４３）。

【００６１】一方、パラメータ設定値選択手段であるＣ
ＰＵ１００は前もって撮像された眼球画像が所定の明る
さより明るいと判定すると（＃１４２）、記憶手段であ
るＥＥＰＲＯＭ１００ａに記憶された明るい環境で使用
される第２のパラメータ設定値を選択する（＃１４
４）。

【００６２】図９は、角膜反射像と瞳孔を抽出するため
のパラメータとその設定値を表したものである。各パラ
メータの役割は図７と同様である。

【００６３】観察者のおかれている環境が暗い状況では
イメージセンサ１４の蓄積時間及びＩＲＥＤの点灯時間
が長く設定され、得られる眼球画像のうち角膜反射像の
出力は比較的大きい値となるため、角膜反射像を抽出す
るためのパラメータＩｔｈ₃の設定値も大きい値とな
る。一方、観察者のおかれている環境が明るい状況では
イメージセンサの蓄積時間及びＩＲＥＤの点灯時間が短
く設定され得られる眼球画像のうち角膜反射像の出力は
比較的小さい値となるため、角膜反射像を抽出するため
のパラメータＩｔｈ₃ の設定値も小さい値となる。

【００６４】引き続き演算手段であるＣＰＵ１００は、
パラメータ設定値選択手段によって選択されたパラメー
タ設定値に基づいて眼球像を画像処理して角膜反射像と
虹彩と瞳孔の境界を抽出し（＃１４５）、さらに角膜反
射像と瞳孔の中心位置のずれから観察者の視線情報を算
出する（＃１４６）。

【００６５】このとき、観察者の視線を検出するのに成
功したらメインのルーチンに復帰する（＃１４７）。

【００６６】（実施の第３の形態）図１０は本発明の実
施の第３の形態に係る視線検出装置の視線検出動作を示
すフローチャートであり、パラメータ設定値選択手段と
して、視線検出装置のおかれた環境での温度よってパラ
メータ設定値を選択するのも有効であることから、この
実施の形態においてはこの例を示している。尚、カメラ
の光学的配置、電気的構成、及び、カメラの視線検出動
作以外の動作に関しては、上記実施の第１の形態と同様
であるのでその詳細は省略する。

【００６７】観察者がカメラのシャッタレリーズボタン
の第１ストロークを行い、スイッチＳＷ−１がＯＮする
と、前述した様にＣＰＵ１００は視線検出動作を実行す
る（＃１０４）。この視線検出動作について、図１０の
フローチャートにより説明する。

【００６８】まずＣＰＵ１００は、受光手段の一部を構
成するイメージセンサ駆動回路１０１に信号を送ってイ
メージセンサ１４を所定時間蓄積駆動し、観察者の眼球
像を前もって撮像する。このとき、照明手段による観察
者の眼球への照明は行われない。ＣＰＵ１００は、イメ
ージセンサ１４の出力より眼球周辺の明るさを測定し
て、本番の撮像時の蓄積モード，蓄積時間，ＩＲＥＤの
電流値を決定する（＃１５０）。

【００６９】ＣＰＵ１００は照明手段であるＩＲＥＤ駆
動回路１０２にＩＲＥＤ制御信号を送信し、さらにＩＲ
ＥＤ駆動回路１０２はＩＲＥＤ１３を点灯させる。ま
た、このとき受光手段であるイメージセンサ駆動回路１
０１はイメージセンサ１４を蓄積制御する（＃１５
１）。観察者の眼球像が該イメージセンサ１４によって
撮像されると、イメージセンサ駆動回路１０１は該イメ
ージセンサ１４からの眼球像出力をＡ／Ｄ変換しこの画
像信号をＣＰＵ１００に送信する。

【００７０】ここで、パラメータ設定値選択手段である
ＣＰＵ１００は不図示の温度イメージセンサの値が所定
の値より低い常温であると判定すると（＃１５２）、記
憶手段であるＥＥＰＲＯＭ１００ａに記憶された常温で
使用される第１のパラメータ設定値を選択する（＃１５
３）。

【００７１】一方、パラメータ設定値選択手段であるＣ
ＰＵ１００は不図示の温度イメージセンサの値が所定の
値より高い高温であると判定すると（＃１５２）、記憶
手段であるＥＥＰＲＯＭ１００ａに記憶された高温で使
用される第２のパラメータ設定値を選択する（＃１５
４）。

【００７２】図１１は、角膜反射像と瞳孔を抽出するた
めのパラメータとその設定値を表したものである。各パ
ラメータの役割は図７と同様である。

【００７３】視線検出装置のおかれている環境が常温で
はイメージセンサ１４のノイズは小さいため、角膜反射
像及び瞳孔を抽出するためのパラメータの設定値は通常
の値となる。一方、視線検出装置のおかれている環境が
高温の状況ではイメージセンサ１４のノイズが大きくな
るため、瞳孔を抽出するためのパラメータの設定値は大
きい値となる。

【００７４】引き続き演算手段であるＣＰＵ１００は、
パラメータ設定値選択手段によって選択されたパラメー
タ設定値に基づいて眼球像を画像処理して角膜反射像と
虹彩と瞳孔の境界を抽出し（＃１５５）、さらに角膜反
射像と瞳孔の中心位置のずれから観察者の視線情報を算
出する（＃１５６）。

【００７５】このとき、観察者の視線を検出するのに成
功したらメインのルーチンに復帰する（＃１５７）。

【００７６】（実施の第４の形態）図１２は本発明の実
施の第４の形態に係る視線検出装置の視線検出動作を示
すフローチャートである。尚、カメラの光学的配置、電
気的構成、及び、カメラの視線検出動作以外の動作に関
しては、上記実施の第１の形態と同様であるのでその詳
細は省略する。

【００７７】観察者がカメラのシャッタレリーズボタン
の第１ストロークを行い、スイッチＳＷ−１がＯＮする
と、前述した様にＣＰＵ００は視線検出動作を実行する
（＃１０４）。この視線検出動作について、図１２のフ
ローチャートにより説明する。

【００７８】まずＣＰＵ１００は、受光手段の一部を構
成するイメージセンサ駆動回路１０１に信号を送ってイ
メージセンサ１４を所定時間蓄積駆動し観察者の眼球像
を前もって撮像する。このとき、照明手段による観察者
の眼球への照明は行われない。ＣＰＵ１００は、イメー
ジセンサ１４の出力より眼球周辺の明るさを測定して、
本番の撮像時の蓄積モード、蓄積時間、ＩＲＥＤの電流
値を決定する（＃１６０）。このとき、観察者の眼球周
辺の明るさが暗ければイメージセンサ１４の蓄積時間は
長く設定される。一方、観察者の眼球周辺の明るさが明
るければイメージセンサ１４の蓄積時間は短く設定され
る。

【００７９】イメージセンサ１４の蓄積時間が設定され
ると、パラメータ設定手段であるＣＰＵ１００は角膜反
射像と瞳孔の位置を抽出するためのパラメータ設定値を
記憶手段であるＥＥＰＲＯＭ１００ａに記憶されたパラ
メータ係数値とイメージセンサ１４の蓄積時間に基づい
て算出する（＃１６１）。

【００８０】例えば、イメージセンサ１４の蓄積時間を
ｔとすると、虹彩の出力レベルの上限を決めるパラメー
タＩｔｈ₂ 及び角膜反射像を検出する出力レベルを決定
するためのパラメータＩｔｈ₃ はＩｔｈ₂ ＝Ｋ₂₃×ｔ² ＋Ｋ₂₂×ｔ＋Ｋ₂₁ （１）Ｉｔｈ₃ ＝Ｋ₃₂×ｔ＋Ｋ₃₁ （２）と書き表せる。ここで、Ｋ₂₃，Ｋ₂₂，Ｋ₂₁，Ｋ₃₂，Ｋ₃₁
は記憶手段であるＥＥＰＲＯＭ１００ａに記憶されてい
るパラメータ係数値である。

【００８１】このとき、虹彩の出力レベルの上限を決め
るパラメータＩｔｈ₂ のパラメータ係数値Ｋ₂₃，Ｋ₂₂，
Ｋ₂₁はイメージセンサ１４の蓄積時間ｔが短い場合と長
い場合に大きい値をとり、その間の蓄積時間の場合に小
さい（最低）値をとるように設定される。

【００８２】一方、角膜反射像を検出する出力レベルを
決定するためのパラメータＩｔｈ₃のパラメータ係数値
Ｋ₃₂，Ｋ₃₁は、イメージセンサ１４の蓄積時間ｔが長い
場合に大きい値をとるように設定される。

【００８３】次に、ＣＰＵ１００は観察者の眼球の撮像
を行う。ＣＰＵ１００は照明手段であるＩＲＥＤ駆動回
路１０２にＩＲＥＤ制御信号を送信し、さらにＩＲＥＤ
駆動回路１０２はＩＲＥＤ１３を点灯させる。また、こ
のとき受光手段であるイメージセンサ駆動回路１０１は
イメージセンサ１４を蓄積制御する（＃１６２）。観察
者の眼球像が該イメージセンサ１４によって撮像される
と、イメージセンサ駆動回路１０１は該イメージセンサ
１４からの眼球像出力をＡ／Ｄ変換し、この画像信号を
ＣＰＵ１００に送信する。

【００８４】引き続き演算手段であるＣＰＵ１００は、
パラメータ設定手段によって設定されたパラメータ設定
値に基づいて眼球像を画像処理して角膜反射像と虹彩と
瞳孔の境界を抽出する（＃１６３）。このとき、角膜反
射像と虹彩と瞳孔の境界を抽出するためのパラメータ設
定値はイメージセンサ１４の蓄積時間に対応した値にな
っているため、良好な抽出が可能となる。さらに演算手
段であるＣＰＵ１００は、角膜反射像と瞳孔の中心位置
のずれから観察者の視線情報を算出する（＃１６４）。

【００８５】このとき、観察者の視線を検出するのに成
功したらメインのルーチンに復帰する（＃１６４）。

【００８６】この実施の第４の形態において、パラメー
タ設定手段は、イメージセンサ１４の蓄積時間に基づい
てパラメータ設定値を算出する例を示したが、イメージ
センサの蓄積時間は観察者の眼球周辺の明るさに基づい
て決まる値であるため、パラメータ設定手段が観察者の
眼球周辺の明るさに基づいてパラメータ設定値を算出す
ることと等価である。

【００８７】以上が実施の各形態の各構成と本発明の各
構成の対応関係であるが、本発明は、これら実施の各形
態の構成に限定されるものではなく、請求項で示した機
能、又は実施の形態がもつ機能が達成できる構成であれ
ばどのようなものであってもよいことは言うまでもな
い。

【００８８】（変形例）上記の各実施の形態において
は、角膜反射像と瞳孔の位置を抽出する際に使用するパ
ラメータとして、角膜反射像と瞳孔のそれぞれのパラメ
ータを具備する例を示しているが、少なくとも一方を具
備することでも、従来よりも精度の良い視線検出が可能
となる。

【００８９】本発明は、一眼レフカメラに適用した例を
述べているが、ビデオカメラや電子スチルカメラ等の映
像装置にも適用可能である。更には、ディスプレイを有
する機器や操作パネルを有する機器（ディスプレイや操
作パネルを注視するオペレータ等の視線検出に用いるこ
とが可能なため）等にも適用可能である。その他の光学
機器や他の装置、更には構成ユニットとしても適用する
ことができるものである。

【００９０】また、本発明は、以上の実施の各形態、又
はそれらの技術を適当に組み合わせた構成にしてもよ
い。

【００９１】

【発明の効果】以上説明したように、本発明によれば、
視線検出装置のおかれている環境、状況に応じて角膜反
射像と瞳孔の位置のうちの少なくとも何れか一方を抽出
するために最適なパラメータ設定値を設定し、このパラ
メータ設定値を用いて観察者の視線を算出するようにし
ている為、常に最適な視線検出を行うことが可能にな
る。

【図面の簡単な説明】

【図１】本発明の実施の各形態に係る一眼レフカメラの
光学的配置を示す図である。

【図２】図１の一眼レフカメラの電気的構成を示すブロ
ック図である。

【図３】図１の一眼レフカメラの一連の動作を示すフロ
ーチャートである。

【図４】本発明の実施の第１の形態に係る一眼レフカメ
ラの視線検出動作を示すフローチャートである。

【図５】図１のイメージセンサで得られた眼球像の説明
図である。

【図６】同じく図１のイメージセンサで得られた眼球像
のうち、角膜反射像が存在するラインの出力を示した図
である。

【図７】本発明の実施の第１の形態における各種のパラ
メータを示す図である。

【図８】本発明の実施の第２の形態に係る一眼レフカメ
ラの視線検出動作を示すフローチャートである。

【図９】本発明の実施の第２の形態における各種のパラ
メータを示す図である。

【図１０】本発明の実施の第３の形態に係る一眼レフカ
メラの視線検出動作を示すフローチャートである。

【図１１】本発明の実施の第３の形態における各種のパ
ラメータを示す図である。

【図１２】本発明の実施の第４の形態に係る一眼レフカ
メラの視線検出動作を示すフローチャートである。

【符号の説明】

１３ａ〜１３ｄＩＲＥＤ１４イメージセンサ１００ＣＰＵ１００ａＥＥＰＲＯＭ１０１センサ駆動回路１０２ＩＲＥＤ駆動回路１０５信号入力回路

Claims

【特許請求の範囲】

【請求項１】観察者の眼球を照明する照明手段と、前
記眼球からの反射光を受光する受光手段と、該受光手段
で得られた眼球像を画像処理して角膜反射像と瞳孔の位
置を抽出し、その位置から観察者の視線を算出する演算
手段とを具備した視線検出装置において、角膜反射像と瞳孔の位置のうちの少なくとも何れか一方
を抽出するためのパラメータ設定値を複数組記憶する記
憶手段と、該記憶手段に記憶された複数組のパラメータ
設定値のうちのどの組のパラメータ設定値を前記演算手
段による演算に使用させるかの選択を行うパラメータ設
定値を前記演算手段に出力するパラメータ設定値選択手
段とを設けたことを特徴とする視線検出装置。
【請求項２】前記受光手段の一部はイメージセンサか
ら構成され、前記パラメータ設定値選択手段は、前記イ
メージセンサの蓄積モードに基づいてパタメータ設定値
の組を選択することを特徴とする請求項１記載の視線検
出装置。
【請求項３】前記パラメータ設定値選択手段は、前記
受光手段で検出された像の明るさに基づいてパラメータ
設定値の組を選択することを特徴とする請求項１記載の
視線検出装置。
【請求項４】前記パラメータ設定値選択手段は、周辺
温度に基づいてパラメータ設定値の組を選択することを
特徴とする請求項１記載の視線検出装置。
【請求項５】観察者の眼球を照明する照明手段と、前
記眼球からの反射光を受光する受光手段と、該受光手段
で得られた眼球像を画像処理して角膜反射像と瞳孔の位
置を抽出し、その位置から観察者の視線を算出する演算
手段とを備えた視線検出装置において、前記角膜反射像と瞳孔の位置のうちの少なくとも何れか
一方を抽出する際に使用するパラメータ係数値を記憶す
る記憶手段と、該記憶手段に記憶されたパラメータ係数
値を用いて前記演算手段に前記角膜反射像と瞳孔の位置
を抽出させるためのパラメータ設定値を算出するパラメ
ータ設定手段とを設けたことを特徴とする視線検出装
置。
【請求項６】前記受光手段の一部はイメージセンサか
ら構成され、前記パラメータ設定手段は、前記イメージ
センサの蓄積時間と前記記憶手段に記憶されたパラメー
タ係数値とに基づいてパタメータ設定値を算出すること
を特徴とする請求項１記載の視線検出装置。
【請求項７】前記パラメータ設定手段は、前記受光手
段で検出された像の明るさと前記と前記記憶手段に記憶
されたパラメータ係数値とに基づいてパタメータ設定値
を算出することを特徴とする請求項１記載の視線検出装
置。
【請求項８】請求項１又は５記載の視線検出装置を具
備したことを特徴とする光学機器。