JPH10108839A

JPH10108839A - 視線検出装置

Info

Publication number: JPH10108839A
Application number: JP8281650A
Authority: JP
Inventors: Kazuki Konishi; 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-10-04
Filing date: 1996-10-04
Publication date: 1998-04-28

Abstract

(57)【要約】【課題】実際の視線検出に先駆けて行われる、観察者
の眼球特性を取得する為の時間を短縮すると共に、眼球
特性取得の精度を安定したものにする。【解決手段】パラメータ（イメージセンサの蓄積時間
等）の設定の為の視線検出が成功したら（＃２０５，＃
２０９，＃２１３）、その後の観察者の眼球特性を取得
する為に行う複数回の視線検出においては、イメージセ
ンサの駆動，読み出しに関するパラメータ設定の為の前
処理（少なくとも前記イメージセンサによる外光輝度の
測定、前記イメージセンサの出力の増幅度の制御、前記
照明手段の輝度の制御を行う処理）は、視線検出の度に
は行わないようにしている（＃２１６→＃２１７→＃２
１８→＃２１６……、及び、＃２２２→＃２２３→＃２
２２４→＃２２２……）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、観察面を覗く観察
者の視線を検出する視線検出装置の改良に関するもので
ある。

【０００２】

【従来の技術】従来、例えば観察者の眼球特性を取得す
るために複数回視線検出を実行するルーチン（キャリブ
レーションルーチン）は、通常の視線検出を単に複数回
行うことで実行されていた。

【０００３】すなわち、キャリブレーションルーチンに
おいて、イメージセンサの駆動，読み出しに関するパラ
メータを設定する視線検出を行い、該パラメータの設定
を行う際に、この視線検出に先立ち、イメージセンサの
駆動，読み出しに関するパラメータの設定を行うために
外光の輝度等を測定する処理（イメージセンサによる外
光輝度の測定、前記イメージセンサの出力の増幅度の制
御、前記照明手段の輝度の制御等を行う処理を云い、以
下これらをまとめて「パラメータ設定の為の前処理」と
記す）を行い、この視線検出におけるイメージセンサの
駆動，読み出しに関するパラメータを設定し視線検出を
行う。そして、視線検出が成功したならば、該イメージ
センサの駆動，読み出しに関するパラメータを固定す
る。このイメージセンサの駆動，読み出しに関するパラ
メータは、・パラメータ設定の為の前処理で決定された蓄積時間に
対する倍数（実際の蓄積時間はパラメータ設定の為の前
処理で設定された時間にこの倍数をかけたもの）・点灯する照明手段（ＩＲＥＤ）の選択（眼鏡使用者か
否かを考慮して選択する必要がある為）・照明手段の輝度（ＩＲＥＤに流す電流）・増幅器の増幅度と特性（線形／非線形）である。

【０００４】そして、設定されたパラメータに従い，キ
ャリブレーションにおける視線検出が行われる。但し、
この視線検出においてもその度にパラメータ設定の為の
前処理が行われ、蓄積時間・増幅器の増幅度と特性（線
形／非線形）が設定される。そして、この設定に従い、
視線検出が行われる。

【０００５】視線検出はファインダ内の左右のそれぞれ
の所定の位置に配されたキャリブレーション用の視標が
点灯されている間、行われる。この点灯の順序は右から
左である。よって、キャリブレーションは以下のように
行われる。

【０００６】まず、右の視標が点灯し、右視標に対する
視線検出及び観察者の眼球特性の取得特性の取得が行わ
れる。この右視標に対するキャリブレーションの始めに
イメージセンサの駆動，読み出しに関するパラメータを
設定する視線検出を行う。該パラメータの設定を行うこ
の視線検出に先立ち、イメージセンサの駆動，読み出し
に関するパラメータの設定が行うために外光の輝度等を
測定する処理（いわゆるパラメータ設定の為の前処理）
を行い、この視線検出におけるイメージセンサの駆動，
読み出しに関するパラメータを設定し、視線検出を行
う。

【０００７】そして、視線検出が成功したならば、該イ
メージセンサの駆動，読み出しに関するパラメータを固
定する。視線検出が失敗した場合は、パラメータ設定の
為の前処理で決定された蓄積時間に対する倍数，点灯す
るＩＲＥＤ，ＩＲＥＤに流す電流，増幅器の増幅度と特
性を変えて、再度視線検出を行う。この再検出は所定回
行われる。この所定回内に成功しなければキャリブレー
ション失敗となる。

【０００８】成功した視線検出に用いられたイメージセ
ンサの駆動，読み出しに関するパラメータで以後の視線
検出が行われる。但し、この視線検出においてもその度
にパラメータ設定の為の前処理が行われ、蓄積時間，増
幅器の増幅度と特性（線形／非線形）が設定される。そ
して、この設定に従い視線検出が行われる。従って、こ
の視線検出はキャリブレーションの（所定回数−１）回
行われる。

【０００９】右視標に対するキャリブレーションが成功
したら、左視標が点灯し、視線検出がキャリブレーショ
ンの所定回数だけ行われる。

【００１０】

【発明が解決しようとする課題】従来例においては、キ
ャリブレーションルーチンにおいて、前述した様に、イ
メージセンサの駆動，読み出しに関するパラメータを設
定する視線検出を行い、該パラメータの設定を行うため
にパラメータ設定の為の前処理（外光輝度等を測定する
処理）を行い、この視線検出におけるイメージセンサの
駆動，読み出しに関するパラメータを設定し、視線検出
を行う。そして、視線検出が成功したならば、該イメー
ジセンサの駆動，読み出しに関するパラメータを固定す
る。そして、設定されたパラメータに従い、キャリブレ
ーションにおける視線検出が行われる。但し、この視線
検出においてもその度にパラメータ設定の為の前処理が
行われ、蓄積時間・増幅器の増幅度と特性（線形／非線
形）が設定される。そして、この設定に従い視線検出が
行われる。

【００１１】しかしながら、パラメータ設定の為の前処
理の結果は、キァリブレーション中は同一になる筈であ
るが（同一環境下にて行われる為）、ノイズなどでその
結果が異なることもある。その為、キャリブレーション
における視線検出精度などに悪影響を与えることもあ
る。

【００１２】また、視線検出の度にパラメータ設定の為
の前処理を行っているので、キャリブレーションにより
多くの時間を要するという欠点がある。

【００１３】（発明の目的）本発明の目的は、実際の視
線検出に先駆けて行われる、観察者の眼球特性を取得す
る為の時間を短縮すると共に、眼球特性取得の精度の安
定性を確保することのできる視線検出装置を提供するこ
とにある。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、観察者の眼球を照明する照明手段と、観
察者の眼球からの反射光を受光するイメージセンサと、
該イメージセンサの駆動，読み出しに関するパラメータ
を設定する為の前処理を行い、このパラメータ設定の為
の前処理の結果に基づいて視線検出を行ってパラメータ
を得ると共に該パラメータを設定し、このパラメータ設
定の後に、複数回視線検出を行うことで観察者の眼球特
性を取得する眼球特性取得手段と、前記イメージセンサ
からの信号と前記眼球特性取得手段によって取得された
眼球特性を基に観察者の視線を検出する演算手段とを備
えた視線検出装置において、前記眼球特性取得手段は、
前記パラメータ設定の為の視線検出が成功したら、その
後の観察者の眼球特性を取得する為に行う前記複数回の
視線検出においては、前記イメージセンサの駆動，読み
出しに関するパラメータ設定の為の前処理は行わないよ
うにしている。

【００１５】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１６】図１は本発明の実施の一形態に係る視線検
出装置を具備した一眼レフカメラの要部構成を示すブロ
ック図である。

【００１７】図１において、１はＭＰＵ（マイクロプロ
セッシングユニット）、２はメモリ、３は駆動回路、４
は前記駆動回路３によって駆動されるＣＣＤ等のイメー
ジセンサ、５は前記駆動回路３によって駆動される複数
の赤外発光ダイオード（以下、ＩＲＥＤと記す）から構
成されるＩＲＥＤ群、６はＡＦ（オートフォーカス）を
行うためのレンズ駆動ユニット、７は絞り駆動ユニッ
ト、８はシャッタユニット、９は撮影画面サイズ設定ス
イッチ、１０はフィルム巻き上げの連写／単写切換スイ
ッチ、１１はＡＥＢ（オート・エキスポージャー・ブラ
ケット）設定スイッチ、１２は多重露光撮影設定スイッ
チ、１３はシャッタ速度，絞り値，ＡＥＢ諸定数，多重
露光撮影枚数などを設定するメインダイヤルである。

【００１８】本発明において、上記駆動回路３，イメー
ジセンサ４，ＩＲＥＤ群５及びＭＰＵ１，メモリ２によ
り視線検出装置が構成されている。

【００１９】本発明の実施の第１の形態の説明に先立
ち、視線検出機能について以下に説明する。

【００２０】視線検出装置は、イメージセンサ４から得
られる撮影者の眼球の画像信号を演算することにより撮
影者の視線を求める訳であるが、その原理は以下の通り
である。

【００２１】撮影者の眼球に平行光（もしくは発散光）
を照射すると、この光が角膜前面で反射し、発光ダイオ
ードの虚像が生じる。この虚像はプルキニエ像（角膜反
射像）と呼ばれるが、その発生位置は眼球の回転角が零
の際は瞳孔中心と一致し、眼球が回転するにつれて、該
プルキニエ像と瞳孔中心の間隔は、回転角の正弦にほぼ
比例する形で拡がっていく。よって、イメージセンサ４
上の画像信号よりプルキニエ像の位置，瞳孔中心の位
置、さらにその間隔を算出してやれば、眼球の回転角、
さらには撮影者の視点を知ることができる（カメラのフ
ァインダの光学特性により、頭部がカメラに対して動い
ても、眼球の回転角が等しければピント板上の視点は同
じである）。

【００２２】実際の視線検出が行われる場合の処理につ
いて、図２のフローチャートを用いて説明する。

【００２３】まず、演算に使用する姿勢の初期化等の処
理を行う（ステップ＃１０１）。その後、ＭＰＵ１は蓄
積時間の設定を後述のキャリブレーション動作によって
得られたパラメータや眼鏡の有無，外光の強度等を考慮
して行う。同時にそのときのカメラの位置（縦位置か横
位置か）を不図示の姿勢センサから受け、眼鏡の有無を
考慮して点灯するＩＲＥＤの選択も行う（ステップ＃１
０２）。この後、蓄積制御のステップに移り、まず、Ｍ
ＰＵ１はクリアモードの動作を行うための指示を駆動回
路３に対して行う（ステップ＃１０３）。指示を受けた
駆動回路３はクリア動作を行い、イメージセンサ４のメ
モリゾーン，電荷転送ライン等に残っている電荷を消去
する。

【００２４】次いで、ＭＰＵ１は選択された点灯ＩＲＥ
Ｄを点灯するためにＩＲＥＤ選択信号を駆動回路３に送
信する。その後、蓄積信号を“Ｈ（ハイレベルを意味す
る）”にして蓄積を開始し、設定された蓄積時間が経過
したら蓄積信号を“Ｌ（ローレベルを意味する）”に
し、蓄積を終了する（ステップ＃１０４）。そして、こ
の蓄積に同期してＩＲＥＤが点灯される。

【００２５】ここで、ＭＰＵ１は視線検出における画像
処理演算に用いるパラメータ（プルキニエ像抽出の際の
輝度に関する所定値や、瞳孔エッジ候補の算出に用いる
最低値を抽出する際のレベルに関する所定値）を、イメ
ージセンサ４のダークレベルを基準に定める（ステップ
＃１０５）。

【００２６】具体的には、まず、不図示のＥＥＰＲＯＭ
の所定のアドレスに記憶されているダークレベルＬ＿DA
RKを読み込む。

【００２７】次いで、プルキニエ像抽出の際の輝度に関
する所定値Ｃonst₁ をＣonst₁ ＝定数０＋Ｌ＿DARK と定める。

【００２８】また、最低値（ボトム値(Bottom)）を抽出
する際のレベルに関する所定値に関しては、最低値の更
新が頻繁に行われないようにすると共に、イメージセン
サ４の黒キズ（画素がキズ等で使用不能となっている状
態を云う）などで異常に最低値が小さくならない様に、
読み出した画素の値ｄｉｊがある範囲内にあるときのみ
行うが、この範囲を定数１＋Ｌ＿DARK≦ｄｉｊ≦定数２＋Ｌ＿DARK と定める。ここでの定数０，定数１，定数２は、イメー
ジセンサ４のダーク時（ＩＲＥＤ非点灯）の出力が何ら
の変動の影響を受けず、「Ｌ＿DARK＝０」と仮定できる
理想状態の時の、各々の定数である。

【００２９】次に、ＭＰＵ１は画面全体の最低値（ボト
ム値）を求める最初のラインｎを指定する（ステップ＃
１０６）。もし各ラインのボトム値として３ラインの平
均を用いるならば、この値は３ライン目（ｎ＝３）とな
る。また、ラインのカウンタＬを初期化し（ステップ＃
１０７）、各ラインのボトム値の初期値として２５５
（１６進数でＦＦ(OxFF)）をメモリの所定領域Ｂｏｔｔ
ｏｍ（Ｌ）に代入する（ステップ＃１０８）。

【００３０】次いで、ＭＰＵ１はボトム値の更新光像，
ブロック（プルキニエ像候補），瞳孔エッジ候補抽出の
処理を行う（＃１０９〜＃１２０）。

【００３１】まず、駆動回路３を介して１ライン分の画
像信号を順次読み出し（ステップ＃１０９）、Ａ／Ｄ変
換を行い、メモリ２にその値を記憶していく。そして、
このデータを使って、最低値（ボトム値）の更新、光像
ブロック（プルキニエ像候補）並びに瞳孔エッジ候補の
抽出処理を行っていく（ステップ＃１１０〜＃１２
０）。

【００３２】最低値（ボトム値）の更新は、読み出した
画素の値ｄｉｊが定数１＋Ｌ＿DARK≦ｄｉｊ≦定数２＋Ｌ＿DARK を満たした時のみ行う。

【００３３】最低値は瞳孔エッジ候補を抽出する際の条
件になる。瞳孔エッジ候補は数が多いので、最低値が不
正確だと偽の瞳孔エッジ候補を多く抽出することにな
り、その結果、抽出に多くの時間がかかったり、偽の瞳
孔エッジ候補の影響を受け正しい瞳孔中心が求められな
いなどの弊害が生じる。よって、最低値をできるだけ正
確に求める必要がある。

【００３４】ダークレベルの変動を考慮して最低値更新
の範囲を上記の様に設定することによって、ダークレベ
ルの変動により最低値が不正確になるという不具合を解
消することができる。

【００３５】ここで、最低値（ボトム値）の更新につい
て説明する。

【００３６】各ラインのボトム値は有効な画面範囲の１
ライン目から、画面全体のボトム値の更新はｎライン目
から行う。また、瞳孔エッジの抽出も画面全体のボトム
値が更新されるｎライン目から行う。

【００３７】読み出されたラインＬ，画素ｉの信号値を
ｄ（Ｌ，ｉ）としたとき、ある画素のボトム値を求める
ための信号値ｄ’（Ｌ，ｉ）をｄ’（Ｌ，ｉ）＝（ｄ（Ｌ，ｉ）＋ｄ’（Ｌ，ｉ+1））
／２と求める（ステップ＃１１０）。この信号値ｄ’（Ｌ，
ｉ）を用いて、各ラインのボトム値を求めていく。すな
わち、この値と先に初期化されている各ラインのボトム
値Ｂｏｔｔｏｍ（Ｌ）を比較し（ステップ＃１１１）、
ｄ’（Ｌ，ｉ）がＢｏｔｔｏｍ（Ｌ）より小さければ、
ｄ’（Ｌ，ｉ）の値をＢｏｔｔｏｍ（Ｌ）に代入してい
く（ステップ＃１１２）。但し各ラインの最後の画素に
関してはｄ’（Ｌ，ｉ）＝（ｄ（Ｌ，ｉ）＋ｄ’（Ｌ，ｉ−
１））／２とｄ’（Ｌ，ｉ）を求める。

【００３８】比較が終了したら次の画素に処理を移し、
その画素のボトム値を求めるための信号値ｄ’（Ｌ，
ｉ）を求める（ステップ＃１１３→＃１１４→＃１１０
……）。そして、この信号値ｄ’（Ｌ，ｉ）と各ライン
のボトム値Ｂｏｔｔｏｍ（Ｌ）を比較し（ステップ＃１
１１）、ｄ’（Ｌ，ｉ）がＢｏｔｔｏｍ（Ｌ）より小さ
ければ、ｄ’（Ｌ，ｉ）の値をＢｏｔｔｏｍ（Ｌ）に代
入していく（ステップ＃１１２）。

【００３９】以上の処理を１ラインの画素それぞれにつ
いて行う（ステップ＃１１０→＃１１１→＃１１３→＃
１１４→＃１１０……）。

【００４０】１ライン分の処理が終了したら、そのとき
のライン数Ｌを調べ、Ｌ≧ｎすなわち、画面全体のボトム値の更新を行うラインに達
したならば（ステップ＃１１５のＹＥＳ）、複数のライ
ンの平均値を求め（ステップ＃１１６）、画面全体のボ
トム値を更新する処理を行う（ステップ＃１１７）。

【００４１】いまｎラインの平均をとり、この平均値を
用いて画面全体のボトム値を求めるので、ラインＬにお
いては、ラインＬ−ｎ+1〜ラインＬまでの各ラインのボ
トム値の平均値を求め、この値と画面全体のボトム値を
比較し、ラインＬにおいて求めた複数のラインの平均値
が画面全体のボトム値より小さければ、このラインＬに
おいて求めた複数のラインの平均値を画面全体のボトム
値とする。

【００４２】例えば、ラインｎにおいては１ライン目か
らｎライン目（ラインｎ）までの各ラインのボトム値の
平均値を求める。この値が初めの画面全体のボトム値と
なる。そして、ｎ+1ラインにおいては、２ライン目から
ｎ+1ライン目までの各ラインのボトム値の平均値を求
め、この値と画面全体のボトム値を比較する。この値が
画面全体のボトム値より小さければこの値を新たな画面
全体のボトム値とする。以下、ｎ+2ライン以降も同様の
処理も行う。

【００４３】また、各ラインのボトム値として、各ライ
ンにおいて求めた複数のラインの平均値を用いてもよ
い。

【００４４】また、Ｌ＜ｎ、すなわちラインＬが画面全
体のボトム値の更新を行うラインに達していなければ
（ステップ＃１１５のＮＯ）、光像ブロック（プルキニ
エ像候補）並びに瞳孔エッジ候補の抽出の処理に移る
（ステップ＃１１８）。但し、画面全体のボトム値が求
まっていないので瞳孔エッジ候補の抽出の処理は、この
場合行われない。

【００４５】ここで、光像ブロック（プルキニエ像候
補）並びに瞳孔エッジ候補の抽出の処理（ステップ＃１
１８）について簡単に説明する。

【００４６】光像ブロック（プルキニエ像候補）の抽出
は出力信号が以下の条件を満たしたとき行われる。（１）輝度がＣonst₁ 以上である。（２）像の傾きがＣonst₂ 以上である。すなわち、ある
画素の輝度をｄｉｊとしたときｄｉｊ≧Ｃonst₁ ｄｉｊ−ｄｉｊ-2≧Ｃonst₂ ｄｉｊ−ｄｉｊ+2≧Ｃonst₂ 但し、ｄｉｊは、ｉラインのｊ番目の画素の輝度を表し
ている。を満たした場合に光像ブロック（プルキニエ像候補）と
して抽出する。これは急峻な傾きを持つ輝度の高い像で
ある。

【００４７】ここで、ダークレベルが大きく変動した場
合を考えると、プルキニエ像でない輝度の比較的低い像
が、ダークレベルが変動したことで全体の輝度が上が
り、上記の条件を満たしてしまうことが考えられる。逆
に、比較的遠くにあるプルキニエ像が、ダークレベルが
変動したことで全体の輝度が下がり、上記の条件を満た
さないことが考えられる。つまり、ある所定値をＣonst
₁ とした場合、必要とする輝度信号には不要であるダー
クレベルの大小の影響で上記しきい値であるＣonst₁ を
越えたり越えなかったり、すなわち上記条件を満足した
り或はしなかったりしてしまう。

【００４８】そこで、プルキニエ像抽出の際の輝度に関
する所定値Ｃonst₁ をダークレベルを基準に定めること
で、このようなダークレベルの変動に起因する不具合を
解消できる。つまり、「ダークレベル＋ある一定値」を
Ｃonst₁ とすることにより、ダークレベルの変動に関係
なく、上記の条件を満足するかしないかを適正に判断す
ることができる。

【００４９】また、瞳孔エッジ候補の抽出は出力信号が
以下の条件を満たした際に行われる。（１）数画素連続したスロープである。（２）スロープの開始点もしくは終了点が画面全体のボ
トム値（最低値）に近い値である。

【００５０】すなわち、ある画素の輝度ｄｉｊとしたと
きｄｉｊ-2−ｄｉｊ＞定数ｄｉｊ-3−ｄｉｊ-1＞定数ｄｉｊ-4−ｄｉｊ-2＞定数（定数は１０カウント程度の値）・・といった様に、二つ隣の画素との輝度の差が所定値以上
である画素が、数画素連続して存在し、かつ、スロープ
の最低値に当たるｄｉｊが画面全体のボトム値（最低
値）に近い値ならば（ｄｉｊ≦最低値＋定数：定数は１
０カウント程度の値）、瞳孔エッジ候補として抽出す
る。

【００５１】これは、右下がりの瞳孔エッジ（瞳孔の左
側のエッジ）であるが、左下がりの瞳孔エッジ（瞳孔の
右側のエッジ）についても同様である。

【００５２】ＭＰＵ１は、この処理をイメージセンサ４
のライン数分だけ行う。

【００５３】全ラインについてこの処理が終了したなら
ば（ステップ＃１２０のＹＥＳ）、プルキニエ像，瞳孔
エッジの選択の処理を行う（ステップ＃１２１）。そし
て、選択された瞳孔エッジを用いて瞳孔中心及び瞳孔半
径を求める（ステップ＃１２２）。この方法としては最
小二乗法を用いればよい。

【００５４】その後、ＭＰＵ１はプルキニエ像と瞳孔中
心の位置を用いて眼球の回転角、さらには個人差補正等
を行い、カメラピント板上での視点位置を演算する（ス
テップ＃１２３）。

【００５５】パラメータ設定の為の前処理とは、前述し
た様に、視線検出に用いるイメージセンサ４の駆動，読
み出しに関するパラメータの設定を行うために外光の輝
度等を測定する処理である。

【００５６】このパラメータ設定の為の前処理は、実際
に視線検出を行う際に用いるイメージセンサ４の中央部
分が使われる。実際の視線検出と同様に蓄積制御，読み
出しが行われる。すなわち、蓄積制御のステップに移
り、まず、ＭＰＵ１はクリアモードの動作を行うための
指示を駆動回路３に対して行う。指示を受けた駆動回路
３はクリア動作を行い、イメージセンサ４のメモリゾー
ン，電荷転送ライン等に残っている電荷を消去する。

【００５７】次いで、ＭＰＵ１は蓄積信号を“Ｈ“にし
て蓄積を開始し、設定された蓄積時間が経過したら蓄積
信号を“Ｌ”にして蓄積を終了する。その後、読み出し
の制御に移る。パラメータ設定の為の前処理においては
中央部分の信号しか使わないので、上下のラインは読み
飛ばす。

【００５８】今、Ｌ１からＬ２までをパラメータ設定の
為の前処理に用いるとするならば、１ラインから（Ｌ１
−１）ラインを読み飛ばす。この読み飛ばしは、ＭＰＵ
１から垂直転送のパルスのみを駆動回路３に与えること
で行われる。そして、Ｌ１ラインに達したら、駆動回路
３を介して１ライン分の画像信号を順次読み込み、Ａ／
Ｄ変換を行い、メモリにその値を記憶していく。勿論、
Ｌ２ラインまでは同様にして１ライン分の画像信号を順
次読み込み、メモリにその値を記憶していく。また（Ｌ
２＋１）ラインから最終ラインまでは読み飛ばす。

【００５９】これよりキャリブレーション動作につい
て、図３のフローチャートを用いて説明する。

【００６０】キャリブレーション中の視線検出は、ファ
インダ内の左右のそれぞれの所定の位置に配されたキャ
リブレーション用の視標が点灯されている間、行われ
る。この点灯の順序は右から左である。

【００６１】キャリブレーションが開始されると、まず
キャリブレーションの回数を計るカウンタを「ｎ＝１」
と初期化する（ステップ＃２０１）。このカウンタは、
キャリブレーションの左右の視標における回数をカウン
トするものである。キャリブレーションの所定回数はｎ
ｏ回であり、左右の視標に対して、ｎｏ回の視線検出が
行われる。

【００６２】次いで、ファインダ内の右視標を点灯し
（ステップ＃２０２）、まずイメージセンサ４の駆動，
読み出しに関するパラメータを設定する視線検出を行
う。この設定されるイメージセンサ４の駆動，読み出し
に関するパラメータは、・パラメータ設定の為の前処理で決定された蓄積時間に
対する倍数（実際の蓄積時間はパラメータ設定の為の前
処理で設定された時間にこの倍数を掛けたもの）・点灯する照明手段（ＩＲＥＤ）の選択・照明手段の輝度（ＩＲＥＤに流す電流）・増幅器の増幅度と特性（線形／非線形）・外光除去の有無である。なお、上記の外光除去とは、ＩＲＥＤ非点灯時
におけるイメージセンサ４の出力を予め測定しておき、
ＩＲＥＤ点灯時に得られるイメージセンサ４の出力から
上記測定値から差し引く処理（眼球の画像信号に重畳さ
れる外光成分を取り除く処理）をいう。

【００６３】この視線検出に先立ち、イメージセンサ４
の駆動，読み出しに関するパラメータの設定を行うため
に外光の輝度等を測定する処理（いわゆるパラメータ設
定の為の前処理）を行い（ステップ＃２０３）、この視
線検出におけるイメージセンサの駆動，読み出しに関す
るパラメータを設定し、視線検出を行う（ステップ＃２
０４）。そして、視線検出が成功したならば（ステップ
＃２０５のＹＥＳ）、イメージセンサ４の駆動，読み出
しに関するパラメータを固定する（ステップ＃２１
５）。この固定されるイメージセンサ４の駆動，読み出
しに関するパラメータは・蓄積時間（下記の倍数を掛ける前のもの）・パラメータ設定の為の前処理で決定された蓄積時間に
対する倍数（実際の蓄積時間はパラメータ設定の為の前
処理で設定された時間にこの倍数を掛けたもの）・点灯する照明手段（ＩＲＥＤ）の選択・照明手段の輝度（ＩＲＥＤに流す電流）・増幅器の増幅度と特性（線形／非線形）・外光除去の有無である。

【００６４】そして、設定されたパラメータに従い、右
視標に対するキャリブレーションにおけるパラメータ設
定の為の前処理、そして視線検出が行われる（ステップ
＃２１６，＃２１７）。この成功した視線検出の結果
が、右視標に対する１回目の個人差補正情報の取得とな
る。よって、右視標に対する視線検出は、この後所定回
数−１回（ｎ₀ −１回）行われることになる（ステップ
＃２１６→＃２１７→＃２１８→＃２１６……）。

【００６５】また、視線検出が失敗した場合は（ステッ
プ＃２１５のＮＯ）、パラメータ設定の為の前処理で決
定された蓄積時間に対する倍数，点灯するＩＲＥＤ，Ｉ
ＲＥＤに流す電流，増幅器の増幅度と特性を変えて、再
度視線検出を行う（ステップ＃２０６〜＃２０８）。こ
の再検出は所定回行われ、リカバリーと称される。

【００６６】この所定回内に成功しなければ（ステップ
＃２０９のＮＯ）、キャリブレーション失敗となる。こ
こでは、２度再検出（リカバリー）を行う例を説明する
が、再検出（リカバリー）の回数はこれに限るものでは
ない。

【００６７】キャリブレーションにおいては、観察者の
眼球の特性が全く未知である。例えば、観察者が眼鏡を
かけているのか否かといったことや、観察者が接眼レン
ズからどのくらいの距離に眼球を置くのかといったこと
も解らない。そこで、最初の視線検出は、裸眼の観察者
が眼球を標準的な位置に置いているものとして、ＭＰＵ
１はイメージセンサ４の駆動，読み出しに関するパラメ
ータを設定し、視線検出を行う。このとき設定されるイ
メージセンサ４の駆動，読み出しに関するパラメータ
は、・パラメータ設定の為の前処理で決定された蓄積時間に
対する倍数（実際の蓄積時間はパラメータ設定の為の前
処理で設定された時間のこの倍数を掛けたもの）・点灯する照明手段（ＩＲＥＤ）の選択・照明手段の輝度（ＩＲＥＤに流す電流）・増幅器の増幅度と特性（線形／非線形）・外光除去の有無である。

【００６８】視線検出が失敗した場合は（ステップ＃２
１３のＮＯ）、この仮定が間違っていたものとして、イ
メージセンサ４の駆動，読み出しに関するパラメータを
設定し直す。不図示ではあるが、瞬きが行われ視線検出
が失敗した場合は、イメージセンサ４の駆動，読み出し
に関するパラメータを設定し直さずに、もう一度視線検
出を行う。この場合はリカバリーの回数に数えない。

【００６９】最初の視線検出が失敗したならば（ステッ
プ＃２０５のＮＯ）、観察者が眼鏡をかけ標準の位置よ
りも遠くに眼球を置いたものとしてイメージセンサ４の
駆動，読み出しに関するパラメータを設定し、パラメー
タ設定の為の前処理、そして視線検出を行う（ステップ
＃２０７→＃２０８）。そして、視線検出が成功したな
らば（ステップ＃２０９のＹＥＳ）、イメージセンサ４
の駆動，読み出しに関するパラメータを固定する（ステ
ップ＃２１５）。

【００７０】そして、設定されたパラメータに従い、右
視標に対するキャリブレーションにおけるパラメータ設
定の為の前処理、そして視線検出を行う（ステップ＃２
１６→＃２１７）。この成功した視線検出の結果が、右
視標に対する１回目の個人差補正情報の取得となる。よ
って、右視標に対する視線検出は、この後所定回数−１
回（ｎ_o −１回）行われることになる（ステップ＃２１
６→＃２１７→＃２１８→＃２１６……）。

【００７１】再度視線検出が失敗した場合は（ステップ
＃２０９のＮＯ）、イメージセンサ４の駆動，読み出し
に関するパラメータ（パラメータ設定の為の前処理で決
定された蓄積時間に対する倍数，点灯するＩＲＥＤ，Ｉ
ＲＥＤに流す電流，増幅器の増幅度と特性，外光除去の
有無）を設定し直して、再度視線検出を行う（ステップ
＃２１０〜＃２１２）。

【００７２】不図示ではあるが、瞬きが行われ視線検出
が失敗した場合は、イメージセンサ４の駆動，読み出し
に関するパラメータを設定し直さずに、もう一度視線検
出を行う。この場合はリカバリーの回数に数えない。

【００７３】今回は観察者が標準の位置よりも近くに眼
球を置いたものとして、イメージセンサ４の駆動，読み
出しに関するパラメータを設定して、パラメータ設定の
為の前処理，視線検出を行う（ステップ＃２１０〜＃２
１２）。そして、視線検出が成功したならば（ステップ
＃２０９のＮＯ）、イメージセンサ４の駆動，読み出し
に関するパラメータを固定する（ステップ＃２１５）。

【００７４】そして、設定されたパラメータに従い、右
視標に対するキャリブレーションにおけるパラメータ設
定の為の前処理、そして視線検出を行う（ステップ＃２
１６，＃２１７）。この成功した視線検出の結果が、右
視標に対する１回目の個人差補正情報の取得となる。よ
って、右視標に対する視線検出は、この後所定回数−１
回（ｎ_o −１回）行われることになる（ステップ＃２１
６→＃２１７→＃２１８→＃２１６……）。

【００７５】この２度のリカバリーを行っても視線検出
が成功しない場合は（ステップ＃２１３のＮＯ）、キャ
リブレーション失敗としてＮＧ表示を行う（ステップ＃
２１４）。

【００７６】成功した視線検出に用いられたイメージセ
ンサ４の駆動，読み出しに関するパラメータでキャリブ
レーションを行い、右視標に対するキャリブレーション
が成功したら（ステップ＃２１９のＹＥＳ）、今度は左
視標を点灯し、視線検出をキャリブレーションの所定回
数だけ行う（ステップ＃２２０〜＃２２４）。

【００７７】左視標に対するキャリブレーションも成功
したならば（ステップ＃２２５のＹＥＳ）、キャリブレ
ーション成功の表示を行う（ステップ＃２２６）。

【００７８】以上の実施の形態によれば、イメージセン
サの駆動，読み出しに関するパラメータを設定する視線
検出を行い、この設定が行われた後はキャリブレーショ
ンルーチンにおいては、パラメータ設定の為の前処理を
行わない。つまり、図３において、ステップ＃２０５，
＃２０９、又は＃２１３で、一度でもキャリブレーショ
ンを成功した場合には、以後のキャリブレーションでは
パラメータ設定の為の前処理を行わない、具体的には、
右視標に対するキャリブレーションにおいては、ステッ
プ＃２１６→＃２１７→＃２１８→＃２１６……を、左
視標に対するキャリブレーションにおいては、ステップ
＃２２２→＃２２３→＃２２４→＃２２２……を、それ
ぞれ繰り返す処理のみを行うようにしている。

【００７９】従って、キャリブレーション中は同一にな
る筈のパラメータ設定の為の前処理の結果がノイズなど
で異なり、視線検出精度などに悪影響を与えたり、視線
検出の度にパラメータ設定の為の前処理が行われる為に
キャリブレーションにより多くの時間を要するといった
欠点を無くすことができる。

【００８０】（変形例）本発明は、一眼レフカメラに適
用した例を述べているが、ビデオカメラや電子スチルカ
メラ等の映像装置にも適用可能である。更には、ディス
プレイを有する機器や操作パネルを有する機器（ディス
プレイや操作パネルを注視するオペレータ等の視線検出
に用いることが可能なため）等にも適用可能である。そ
の他の光学機器や他の装置、更には構成ユニットとして
も適用することができるものである。

【００８１】また、本発明は、以上の実施の各形態、又
はそれらの技術を適当に組み合わせた構成にしてもよ
い。

【００８２】

【発明の効果】以上説明したように、本発明によれば、
パラメータ（イメージセンサの蓄積時間や該イメージセ
ンサの後段に配置される増幅器の増幅等）の設定の為の
視線検出が成功したら、その後の観察者の眼球特性を取
得する為に行う複数回の視線検出においては、イメージ
センサの駆動，読み出しに関するパラメータ設定の為の
前処理（少なくとも前記イメージセンサによる外光輝度
の測定、前記イメージセンサの出力の増幅度の制御、前
記照明手段の輝度の制御を行う処理）は、視線検出の度
には行わないようにしている。

【００８３】よって、実際の視線検出に先駆けて行われ
る、観察者の眼球特性を取得する為の時間を短縮するこ
とができ、しかも眼球特性取得の精度を安定したものに
することができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態に係る視線検出装置を備
えた一眼レフカメラの電気的構成を示すブロック図であ
る。

【図２】図１の一眼レフカメラの動作を示すフローチャ
ートである。

【図３】同じく図１の一眼レフカメラのキャリブレーシ
ョン動作を示すフローチャートである。

【符号の説明】

１ＭＰＵ２メモリ３駆動回路４イメージセンサ５ＩＲＥＤ群

Claims

【特許請求の範囲】

【請求項１】観察者の眼球を照明する照明手段と、観
察者の眼球からの反射光を受光するイメージセンサと、
該イメージセンサの駆動，読み出しに関するパラメータ
を設定する為の前処理を行い、このパラメータ設定の為
の前処理の結果に基づいて視線検出を行ってパラメータ
を得ると共に該パラメータを設定し、このパラメータ設
定の後に、複数回視線検出を行うことで観察者の眼球特
性を取得する眼球特性取得手段と、前記イメージセンサ
からの信号と前記眼球特性取得手段によって取得された
眼球特性を基に観察者の視線を検出する演算手段とを備
えた視線検出装置において、前記眼球特性取得手段は、前記パラメータ設定の為の視
線検出が成功したら、その後の観察者の眼球特性を取得
する為に行う前記複数回の視線検出においては、前記イ
メージセンサの駆動，読み出しに関するパラメータ設定
の為の前処理は行わないことを特徴とする視線検出装
置。
【請求項２】前記イメージセンサの駆動，読み出しに
関するパラメータ設定の為の前処理は、少なくとも前記
イメージセンサによる外光輝度の測定、前記イメージセ
ンサの出力の増幅度の制御、前記照明手段の輝度の制御
を行う処理であることを特徴とする請求項１記載の視線
検出装置。
【請求項３】前記イメージセンサの駆動，読み出しに
関するパラメータは、前記イメージセンサの蓄積時間で
あることを特徴とする請求項１記載の視線検出装置。
【請求項４】前記イメージセンサの駆動，読み出しに
関するパラメータは、前記イメージセンサの後段に配置
される増幅器の増幅度であることを特徴とする請求項１
記載の視線検出装置。
【請求項５】前記イメージセンサの駆動，読み出しに
関するパラメータは、前記イメージセンサの後段に配置
される増幅器のゲイン特性であることを特徴とする請求
項１記載の視線検出装置。
【請求項６】前記イメージセンサの後段に配置される
増幅器のゲイン特性は、前記増幅器のゲイン特性が線形
もしくは非線形であることを特徴とする請求項５記載の
視線検出装置。
【請求項７】前記イメージセンサの駆動，読み出しに
関するパラメータは、前記イメージセンサの蓄積に同期
して点灯される前記照明手段に関するものであることを
特徴とする請求項１記載の視線検出装置。
【請求項８】前記イメージセンサの蓄積に同期して点
灯される前記照明手段に関するパラメータは、前記照明
手段の照明するときの輝度であることを特徴とする請求
項７記載の視線検出装置。
【請求項９】前記イメージセンサの蓄積に同期して点
灯される前記照明手段に関するパラメータは、前記照明
手段を選択に関するものであることを特徴とする請求項
７記載の視線検出装置。
【請求項１０】前記イメージセンサの駆動，読み出し
に関するパラメータは、前記イメージセンサの蓄積にお
いて外光除去を行うか否かであることを特徴とする請求
項１記載の視線検出装置。