JPH10108843A - 視線検出装置及び光学機器 - Google Patents

Abstract

(57)【要約】 【課題】 センサのダークレベルの変動に影響されずに
プルキニエ像の抽出を適正に行い、しかも瞳孔エッジ候
補の抽出時間を短縮すると共にこの瞳孔エッジ候補より
正しい瞳孔中心を算出する。 【解決手段】 センサのダークレベルを基準にパラメー
タ（プルキニエ像抽出の際の輝度に関する所定値や、瞳
孔エッジ候補の抽出に用いられる最低値を抽出する際の
レベルに関する所定値）を求め、該パラメータをプルキ
ニエ像の抽出や瞳孔エッジ候補の抽出に用いるようにし
ている（＃３０１〜＃３０９）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、観察面を覗く観察
者の視線を検出する視線検出装置や、該視線検出装置を
具備したカメラ等の光学機器の改良に関するものであ
る。

【０００２】

【従来の技術】視線検出における画像処理演算に用いる
パラメータ（プルキニエ像抽出の際の輝度に関する所定
値や、瞳孔エッジ候補の抽出に用いる最低値を抽出する
際のレベルに関する所定値）は、従来においては、セン
サのダークレベル（観察者の眼球を照明する照明手段の
非点灯時におけるセンサの出力レベル）に関係なく一定
の値を用いていた。

【０００３】これは、イメージセンサの蓄積時間、照明
手段であるＩＲＥＤの投光パワー，前記イメージセンサ
の後段に配置される増幅器（アンプ）の増幅度やゲイン
特性等の設定（以下、説明の便宜上、「ＡＧＣ（オート
・ゲイン・コントロール）等」と記す）が正しく行われ
れば、センサの出力部が持つダーククランプ機能により
ダーク時のセンサの出力は一定になることを前提にして
いる。

【０００４】例えば、従来の一眼レフカメラに搭載され
たセンサにおいては、以下の様なダーククランプ機能を
有しているものが存在する。これについて、図５を用い
て説明する。

【０００５】照明手段あるＩＲＥＤ１０３（駆動回路１
０２によって駆動される）によって照明された観察者の
眼球１０４が不図示の光学系を介して結像されるエリア
センサ１０５は蓄積型のセンサであり、その駆動回路
（不図示）から入力されるパルス信号Ｐ＿Ｖによりリフ
レッシュ動作と転送動作が行われる。そのリフレッシュ
動作と転送動作の双方の間隔が蓄積時間となる。エリア
センサ１０５に蓄積された全画素の画素情報は、パルス
信号Ｐ＿Ｖにより電荷の形のままメモリ１０６に転送さ
れ記憶される。

【０００６】また、パルス信号Ｐ＿Ｈによりリフレッシ
ュ動作と転送動作が行われる水平シフトレジスタ１０７
があり、パルス信号Ｐ＿Ｈが１パルス分来るとメモリ１
０６に記憶されている１ライン分の画素情報が水平シフ
トレジスタ１０７に転送され、その後パルス信号Ｐ＿Ｈ
により、１画素毎に出力される。

【０００７】水平シフトレジスタ１０７からの出力は、
リセットパルス信号ｐ＿ｒｅｓが“Ｈ（ハイレベルを意
味する）”のときにリセットされる。水平シフトレジス
タ１０７からの出力は、バッファアンプ１０９でバッフ
ァされた後、バッファアンプ１１０でバッファされた参
照電圧Ｒｅｆとの差分が差分出力アンプ１１１でとら
れ、得られる差分出力はサンプルホールド回路１１２と
サンプルホールド回路１１４に入力される。前記サンプ
ルホールド回路１１２はサンプルホールド回路１１３に
接続され、該サンプルホールド回路１１３と前記サンプ
ルホールド回路１１４の差分が差分出力アンプ１１５に
よってとられる。これらサンプルホールド回路１１２，
１１３，１１４と差分出力アンプ１１５によってＣＤＳ
（Correlation Doudle Samliong ）回路を形成してい
る。

【０００８】次に、画素出力の読み出しについて説明す
る。

【０００９】パルス信号Ｐ＿Ｈの“Ｈ”の区間の最初で
パルス信号ｐ＿ｒｅｓが入る。これにより水平シフトレ
ジスタ１０７の出力はリセットされ、差分出力アンプ１
１１の出力はリセット電位となる。ここで、パルス信号
ｐ＿ｓｐｌ１が出力され、サンプルホールド回路１１２
にはリセット電位がサンプルホールドされる。その後、
パルス信号Ｐ＿Ｈが立ち下がると、最初の画素出力が水
平シフトレジスタ１０７より出力されるが、この画素は
遮光されている画素であり、差分出力アンプ１１１の出
力はダーク出力となる。ここでパルス信号ｐ＿ｓｐｌ２
が出力され、サンプルホールド回路１１３にはリセット
電位が、サンプルホールド回路１１４にはダーク出力が
サンプルホールドされ、差分出力アンプ１１５により差
分をとることにより、各画素を出力する際に生じるリセ
ット出力のばらつきをキャンセルする事ができる。

【００１０】差分出力アンプ１１５の出力はダーククラ
ンプ回路１１６に入力される。ダーククランプ回路１１
６はダーク出力ｐ＿ｄａｒｋをクランプし、それ以降の
信号出力をダークとの差分出力にするためのものであ
る。ダーククランプ回路１１６の出力はゲインアンプ１
１７に入力される。このゲインアンプ１１７はダークク
ランプ回路１１６からの出力を、ＭＰＵ１０１からの指
示に従い、所定のゲインでリニアもしくはノンリニアに
増幅するものである。このゲインアンプ１１７に接続さ
れるオフセット除去回路１１８は、ゲインアンプ１１７
に生じるオフセット分をキャンセルする方向に働き、ゲ
インアンプ１１７の出力がＭＰＵ１に内蔵されたＡ／Ｄ
変換器１０１ａのダイナミックレンジに収まるようにし
ている。

【００１１】パルス信号Ｐ＿Ｈの１パルス目の立ち下が
りで、水平シフトレジスタ１０７の出力よりダークが出
て、差分出力アンプ１１５の出力はそのリセットばらつ
きを除去したものとなる。パルス信号Ｐ＿Ｈの２パルス
目では同時にパルス信号ｐ＿ｄａｒｋが出力され、ダー
ククランプ回路１１６の出力は０レベルに固定される。
この時、オフセット除去回路１１８も同時にゲインアン
プ１１７の出力をサンプルホールドしている。パルス信
号Ｐ＿Ｈの２パルス目の立ち下がり後のパルス信号ｐ＿
ｓｐｌ２で最初の有効画素出力のリセットノイズ除去出
力が差分出力アンプ１１５から出力され、ダーククラン
プ回路１１６の出力との差分出力となり、ダークを除い
た真の光電変換出力である。これがゲインアンプ１１７
により増幅されるが、このとき先程のオフセット除去回
路１１８がサンプルホールドした出力をゲインアンプ１
１７の出力より差し引く働きをして、ゲインアンプ１１
７による余分なオフセットを除去してくれる。

【００１２】こうして、ＭＰＵ１０１のＡ／Ｄ変換器１
０１ａに入力される信号は、真の光電変換出力に所定の
ゲインを掛けたものとなる。

【００１３】

【発明が解決しようとする課題】しかしながら、従来の
視線検出装置においては、エリアセンサ１０５のダーク
レベルはオプティカルブラック部の信号を用いたダーク
クランプ機能により補正することができるが、その後段
に接続されるゲインアンプ１１７のオフセットやＡ／Ｄ
変換器１０１ａにおける変換基準電圧の変動などによる
変化分は補正する事ができないものであった。

【００１４】この為、ダークレベルが大きく変動したこ
とで、プルキニエ像でない輝度の比較的低い像の全体の
輝度が上がり、プルキニエ像抽出の条件を満たしてしま
うという不具合や、比較的遠くにあるプルキニエ像（接
眼面に対して観察者の眼球位置が遠い状態時に得られる
プルキニエ像）がダークレベルが変動したことで全体の
輝度が下がり、プルキニエ像抽出の条件を満たさないと
いった不具合を生じることがあった。

【００１５】更に、視線検出における画像処理演算に用
いる最低値（ボトム値）を更新する際のレベルに関する
所定値をセンサのダークレベルを基準に定めることによ
って偽の瞳孔エッジ候補を多く抽出した結果、抽出に多
くの時間がかかったり、偽の瞳孔エッジ候補の影響を受
け、正しい瞳孔中心が求められないなどの弊害が生じる
ものであった。

【００１６】（発明の目的）本発明の目的は、センサの
ダークレベルの変動に影響されずにプルキニエ像の抽出
を適正に行うことができ、しかも瞳孔エッジ候補の抽出
時間を短縮すると共にこの瞳孔エッジ候補より正しい瞳
孔中心を算出することのできる視線検出装置及び光学機
器を提供することにある。

【００１７】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、観察者の眼球の反射光を受光するセンサ
と、該センサのダークレベルを記憶する記憶手段と、該
記憶手段に記憶されたパラメータ（プルキニエ像抽出の
際の輝度に関する所定値や、瞳孔エッジ候補の抽出に用
いられる最低値を抽出する際のレベルに関する所定値）
を求めるパラメータ算出手段と、前記パラメータと前記
センサの画像出力とに基づいてプルキニエ像と瞳孔エッ
ジ候補を抽出し、この瞳孔エッジ候補より得られる瞳孔
中心と前記プルキニエ像との位置関係から観察者の視線
を検出する演算手段とを備えた構成にしている。

【００１８】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１９】図１は本発明の実施の第１の形態に係る視
線検出装置を具備した一眼レフカメラの電気的構成を示
すブロック図である。

【００２０】図１において、１はＭＰＵ（マイクロプロ
セッシングユニット）、２はメモリ、３は駆動回路、４
は前記駆動回路３によって駆動されるイメージセンサ、
５は同じく前記駆動回路３によって駆動される複数の赤
外発光ダイオード（以下、ＩＲＥＤと記す）から構成さ
れるＩＲＥＤ群、６はＡＦ（オートフォーカス）を行う
ためのレンズ駆動ユニット、７は絞り駆動ユニット、８
はシャッタユニットである。９は撮影画面サイズ設定ス
イッチ、１０はフィルム巻き上げの連写／単写切換スイ
ッチ、１１はＡＥＢ（オート・エキスポージャー・ブラ
ケット）設定スイッチ、１２は多重露光撮影設定スイッ
チ、１３はシャッタ速度，絞り値，ＡＥＢ諸定数，多重
露光撮影枚数などを設定するメインダイヤル、１４はＥ
ＥＰＲＯＭの書き込みなどを行うモニタ装置である。

【００２１】本発明において、駆動回路３，イメージセ
ンサ４，ＩＲＥＤ群５及びＭＰＵ１，メモリ２により視
線検出装置が構成されている。

【００２２】ここで、モニタ装置１４について説明す
る。

【００２３】モニタ装置１４は通常パーソナルコンピュ
ータなどで構成され、演算機能やＭＰＵ１との通信機能
を有している。そして、この通信機能を用いてＭＰＵ１
とコマンド，データの送受信を行う。よって、ＭＰＵ１
に対してモニタ装置１４から、ＥＥＰＲＯＭ，ＲＡＭの
書き込みや読み込みのコマンドを送信すれば、ＥＥＰＲ
ＯＭ，ＲＡＭの書き込み，読み込みができる。

【００２４】また、特定のサブルーチンを実行するコマ
ンドを送信すれば、そのサブルーチンが実行され、結果
が所定のＲＡＭに格納される。よって、サブルーチン実
行後にＲＡＭの読み込みのコマンドを送信すれば、実行
したサブルーチンの結果をＲＡＭの内容から知ることが
できる。この機能を用いてイメージセンサのダークレベ
ルの測定とその値のＥＥＰＲＯＭへの書き込みを行うこ
とができる。これについては後で詳しく説明する。

【００２５】本発明の実施の形態の主要部分の説明に先
立ち、視線検出機能について説明する。

【００２６】視線検出装置は、イメージセンサ４からの
得られる画像信号を演算することにより撮影者の視線を
求める訳であるが、その原理は以下の通りである。

【００２７】撮影者の眼球にＩＲＥＤ（赤外発光ダイオ
ード）を用いて平行光（もしくは発散光）を照射する
と、この光が角膜前面で反射し前記ＩＲＥＤの虚像が生
じる。この虚像はプルキニエ像（角膜反射像）と呼ばれ
るが、その発生位置は眼球の回転角が零の際は瞳孔中心
と一致し、眼球が回転するにつれてプルキニエ像と瞳孔
中心の間隔は、回転角の正弦にほぼ比例する形で拡がっ
ていく。よって、イメージセンサ上の画像信号よりプル
キニエ像の位置，瞳孔中心の位置、さらにその間隔を算
出してやれば、眼球の回転角さらには撮影者の視点を知
ることができる（カメラのファインダの光学特性によ
り、頭部がカメラに対して動いても眼球の回転角が等し
ければピント板上の視点は同じである）。

【００２８】まず、モニタ装置１４を用いたイメージセ
ンサ４のダークレベルの測定と、その値のＥＥＰＲＯＭ
への書き込みについて、図２のフローチャートを用いて
説明する。

【００２９】図１には不図示であるが、イメージセンサ
４にはカメラのアイピースレンズ，ダイクロイックミラ
ー、結像レンズを介して観察者の眼球像が結像される。
よって、アイピースレンズ部を遮光すれば、イメージセ
ンサ４に外光の当たらないダークの状態をつくることが
できる。この状態でモニタ装置１４から視線検出のサブ
ルーチンを実行するコマンドを送信すれば、ダークの状
態のイメージセンサの信号出力を得ることができる。

【００３０】モニタ装置１４は、ステップ＃１０１にお
いて、ＭＰＵ１に対して以下の指示を行う。

【００３１】つまり、視線検出のサブルーチンを実行す
るコマンドの送信に先立ち、イメージセンサ４からの出
力信号をＡ／Ｄ変換した値を、視線検出のサブルーチン
実行中に該モニタ装置１４に対しＭＰＵ１から送信する
旨の指示を、ＥＥＰＲＯＭの所定のアドレスを書き換え
ることで与える。また、ＩＲＥＤ非点灯の指示も、同様
にＥＥＰＲＯＭの所定のアドレスを書き換えることで与
える。そして、ダーク状態のイメージセンサ４の信号出
力の得る際の該イメージセンサ４の蓄積時間，増幅器の
ゲインを、ＥＥＰＲＯＭ，ＲＡＭの所定のアドレスを書
き換えることで定める。すなわち、ＥＥＰＲＯＭの所定
のアドレスを書き換えることでモニタ装置１４の設定に
従うべき旨をＭＰＵ１に伝え、その設定値はＲＡＭの所
定のアドレスを書き込むことで定める。

【００３２】その後モニタ装置１４は、視線検出のサブ
ルーチンを実行するコマンドを送信し（ステップ＃１０
２）、同時にＭＰＵ１から送られてくるイメージセンサ
４からの出力信号をＡ／Ｄ変換した値を受信するための
待機状態に入る（ステップ＃１０３）。

【００３３】視線検出のサブルーチンの実行のコマンド
を受信したＭＰＵ１は、視線検出を行う。これは視線検
出装置により、以下のように行われる。

【００３４】まず、演算に使用する変数の初期化等の初
期化処理を行った後（ステップ＃２０１）、ＭＰＵ１は
蓄積時間，ゲインの設定を行う（ステップ＃２０２）。
そして、モニタ装置１４の設定に従う旨をＥＥＰＲＯＭ
の所定のアドレスをチェックすることで知ったＭＰＵ１
は、ＲＡＭの所定のアドレスよりモニタ装置１４によっ
て設定された値を読み込み、蓄積時間Ｔｓ，ゲインの設
定を行う。次いで、ＩＲＥＤの非点灯をＥＥＰＲＯＭの
所定のアドレスをチェックすることで知り、ＩＲＥＤ非
点灯の処理を行う。

【００３５】この後蓄積制御へ移り（ステップ＃２０
３）、まずＭＰＵ１はクリアモードの動作を行うための
指示を駆動回路３に対して行う。指示を受けた駆動回路
３はクリア動作を行い、イメージセンサ４のメモリーゾ
ーン，電荷転送ライン等に残っている電荷を消去する。
次いで、ＭＰＵ１は選択された点灯ＩＲＥＤを点灯する
ためにＩＲＥＤ選択信号を駆動回路３に送信する。その
後、蓄積信号を“Ｈ”にして蓄積を開始し、設定された
蓄積時間が経過したら蓄積信号を“Ｌ”にして蓄積を終
了する。

【００３６】次いで、ＭＰＵ１は光像ブロック（プルキ
ニエ像候補），瞳孔エッジ候補抽出の処理を行う（スッ
プ＃２０４〜＃２０７）。但し、ＩＲＥＤ非点灯かつア
イピースレンズ部が遮光されているので、眼球像はイメ
ージセンサ４上には形成されないため、実質的に抽出は
行われない。

【００３７】具体的には、まずＭＰＵ１は駆動回路３を
介して１ライン分の画像信号を順次読み込み（ステップ
＃２０４）、Ａ／Ｄ変換を行い、メモリにその値を記憶
していく。そして、このデータを使って光像ブロック
（プルキニエ像候補）並びに瞳孔エッジ候補の抽出処理
を行っていく。ＥＥＰＲＯＭの所定のアドレスのチェッ
クし、モニタ装置１４にＡ／Ｄ変換された値を送信する
旨を知ったＭＰＵ１は、このメモリ上に記憶されたＡ／
Ｄ変換された値を、順次モニタ装置１４に対して送信し
ていく（ステップ＃２０５）。

【００３８】ＭＰＵ１はこの処理をイメージセンサのラ
イン数分だけ行う（ステップ＃２０５→＃２０６→＃２
０４→＃２０５……）。

【００３９】全ラインについてこの処理が終了したなら
ば、プルキニエ像，瞳孔エッジの選択の処理を行い、選
択した瞳孔エッジを用いて瞳孔中心及び瞳孔半径を求め
る。この方法としては最小二乗法を用いればよい。その
後、ＭＰＵ１はプルキニエ像と瞳孔中心の位置を用いて
眼球の回転角、さらには個人差補正等を行いカメラピン
ト板上での視点位置を演算する（ステップ＃２０７）。
但し、前述した様にこの場合は眼球像が存在しないた
め、これらの処理は実質的には行われない。

【００４０】モニタ装置１４は視線検出のサブルーチン
の実行が終了したら（ステップ＃１０４のＹＥＳ）、ダ
ーク状態のイメージセンサ４の信号出力の評価を行う。

【００４１】まず、送信されてきたイメージセンサ４の
出力信号のＡ／Ｄ変換されたデータのうち、周辺部を除
く送信データの平均値を求める（ステップ＃１０５）。
そして、その値をダークレベルＬ＿DARKとして、ＥＥＰ
ＲＯＭの所定のアドレスに書き込む（ステップ＃１０
６）。

【００４２】最後にモニタ装置１４は、視線検出のサブ
ルーチン実行中にイメージセンサ４からの出力信号をＡ
／Ｄ変換した値を該モニタ装置１４に対しＭＰＵ１から
送信する旨の指示、ＩＲＥＤ非点灯の指示、ダーク状態
のイメージセンサ４の信号出力の得る際のイメージセン
サの蓄積時間、増幅器のゲインの設定の指示、及び、そ
の設定値の指示のために書き換えたＥＥＰＲＯＭ，ＲＡ
Ｍの所定のアドレスを値を初期状態に戻す（ステップ＃
１０７）。

【００４３】次に、図１のカメラにおいて、実際の視線
検出が行われる場合について、図３のフローチャートを
用いて説明する。尚、図３における「ダークレベル測
定」は図２におけるモニタ装置１４側の動作であるステ
ップ＃１０２〜＃１０５とＭＰＵ１側の動作であるステ
ップ＃２０１〜＃２０６に相当し、「ＥＥＰＲＯＭへの
記憶」は図２におけるＭＰＵ１側の動作（ＭＰＵ１内の
ＥＥＰＲＯＭに対する）であるステップ＃１０６に相当
する。

【００４４】メインスイッチがオンすると、ＭＰＵ１は
撮影準備のための一連の動作（バリア開，表示など）の
ルーチンに入る。この一連の動作の中でＭＰＵ１は測距
（焦点検出）ポイントを決定などのための視線検出を行
う。これは視線検出装置により、以下のように行われ
る。

【００４５】図３では不図示であるが、まず演算に使用
する変数の初期化等の初期化処理を行った後、ＭＰＵ１
は蓄積時間の設定を眼鏡の有無，外光の強度等を考慮し
て行う。同時にそのときのカメラの位置（縦位置か横位
置か）を不図示の姿勢センサから受け、眼鏡の有無を考
慮して点灯するＩＲＥＤの選択も行う。

【００４６】この後蓄積制御へ移り（ステップ＃３０
１）、まずＭＰＵ１はクリアモードの動作を行うための
指示を駆動回路３に対して行う。指示を受けた駆動回路
３はクリア動作を行い、イメージセンサ４のメモリーゾ
ーン，電荷転送ライン等に残っている電荷を消去する。
次いで、選択された点灯ＩＲＥＤを点灯するためにＩＲ
ＥＤ選択信号を駆動回路３に送信する。その後、蓄積信
号を“Ｈ”にして蓄積を開始し、設定された蓄積時間が
経過したら蓄積信号を“Ｌ”にして蓄積を終了する。そ
して、この蓄積に同期してＩＲＥＤを点灯する。

【００４７】ここで、ＭＰＵ１は視線検出における画像
処理演算に用いるパラメータ（プルキニエ像抽出の際の
輝度に関する所定値や動向エッジ候補を算出時に用いる
最低値を抽出する際のレベルに関する所定値）をセンサ
のダークレベルを基準に定める（ステップ＃３０２，＃
３０３）。

【００４８】具体的には、まずＥＥＰＲＯＭの所定のア
ドレスに記憶されているダークレベルＬ＿DARKを読み込
む。

【００４９】次いで、プルキニエ像抽出の際の輝度に関
する所定値Ｃonst₁ を Ｃonst₁ ＝定数０＋Ｌ＿DARK と定める。

【００５０】また、最低値（ボトム値(Bottom)）を抽出
する際のレベルに関する所定値に関しては、最低値の更
新が頻繁に行われないようにするとともに、イメージセ
ンサ４の黒キズ（ある画素がキズ等により使用不能な状
態を云う）などで異常に最低値が小さくならないよう
に、読み出した画素の値ｄｉｊがある範囲内にあるとき
のみ行うが、この範囲を 定数１＋Ｌ＿DARK≦ｄｉｊ≦定数２＋Ｌ＿DARK と定める。ここでの定数０，定数１，定数２は、イメー
ジセンサ４のダーク時の出力が何らの変動の影響を受け
ず、「Ｌ＿DARK＝０」と仮定できる理想状態のときの、
各々の定数である。

【００５１】次いで、ＭＰＵ１は光像ブロック（プルキ
ニエ像候補），瞳孔エッジ候補抽出の処理を行う（ステ
ップ＃３０４〜＃３０９）。

【００５２】具体的には、まず駆動回路３を介して１ラ
イン分の画像信号を順次読み、Ａ／Ｄ変換を行い、メモ
リにその値を記憶していく（ステップ＃３０４）。そし
て、このデータを使って最低値（ボトム）の更新，光像
ブロック（プルキニエ像候補）並びに瞳孔エッジ候補の
抽出処理を行っていく（ステップ＃３０５，＃３０
６）。

【００５３】最低値（ボトム値）の更新は、読み出した
画素の値ｄｉｊが 定数１＋Ｌ＿DARK≦ｄｉｊ≦定数２＋Ｌ＿DARK を満たした時のみ行う。

【００５４】最低値は瞳孔エッジ候補を抽出する際の条
件になる。瞳孔エッジ候補は数が多いので最低値が不正
確だと、偽の瞳孔エッジ候補を多く抽出することにな
り、その結果、抽出に多くの時間がかかったり、偽の瞳
孔エッジ候補の影響を受け正しい瞳孔中心が求められな
いなどの弊害が生じる。よって、最低値をできるだけ正
確に求める必要がある。

【００５５】ダークレベルの変動を考慮して最低値更新
の範囲を上記の様に設定することによって、ダークレベ
ルの変動により最低値が不正確になるという不具合を解
消することができる。

【００５６】次に、ステップ＃３０７，＃３０８におい
て行われる光像ブロック（プルキニエ像候補）並びに瞳
孔エッジ候補の抽出の処理について簡単に説明する。

【００５７】光像ブロック（プルキニエ像候補）の抽出
は出力信号が以下の条件を満たしたとき行われる。 （１）輝度がＣonst₁ 以上である。 （２）像の傾きがＣonst₂ 以上である。

【００５８】すなわち、ある画素の輝度ｄｉｊとしたと
き ｄｉｊ≧Ｃonst₁ ｄｉｊ−ｄｉｊ-2≧Ｃonst₂ ｄｉｊ−ｄｉｊ+2≧Ｃonst₂ 但し、ｄｉｊはｉラインのｊ番目の画素の輝度を表して
いる。 を満たした場合に光像ブロック（プルキニエ像候補）と
して抽出する。これは急峻な傾きを持つ輝度の高い像で
ある。

【００５９】ここで、ダークレベルが大きく変動した場
合を考えると、プルキニエ像でない輝度の比較的低い像
が、ダークレベルが変動したことで全体の輝度が上が
り、上記の条件を満たしてしまうことが考えられる。逆
に、比較的遠くにあるプルキニエ像が、ダークレベルが
変動したことで全体の輝度が下がり、上記の条件を満た
さないことが考えられる。つまり、ある所定値をＣonst
₁ とした場合、必要とする輝度信号には不要であるダー
クレベルの大小の影響で上記しきい値であるＣonst₁ を
越えたり越えなかったり、すなわち上記条件を満足した
り或はしなかったりしてしまう。

【００６０】そこで、プルキニエ像抽出の際の輝度に関
する所定値Ｃonst₁ をダークレベルを基準に定めること
で、このようなダークレベルの変動に起因する不具合を
解消できる。つまり、「ダークレベル＋ある一定値」を
Ｃonst₁ とすることにより、ダークレベルの変動に関係
なく、上記の条件を満足するかしないかを適正に判断す
ることができる。

【００６１】また、瞳孔エッジ候補の抽出は出力信号が
以下の条件を満たしたときに行われる。 （１）数画素連続したスロープである。 （２）スロープの開始点もしくは終了点が最低値に近い
値である。

【００６２】すなわち、ある画素の輝度ｄｉｊとしたと
き ｄｉｊ-2−ｄｉｊ＞定数 ｄｉｊ-3−ｄｉｊ-1＞定数 ｄｉｊ-4−ｄｉｊ-2＞定数 （定数は１０カウント程度の値） ・ ・ ・ といったように、二つ隣の画素との輝度の差が所定値以
上でる画素が、数画素連続して存在し、かつ、このスロ
ープの最低値のあたるｄｉｊが最低値近い値ならば（ｄ
ｉｊ≦最低値＋定数：定数は１０カウント程度の値）、
瞳孔エッジ候補として抽出する。

【００６３】これは右下がりの瞳孔エッジ（瞳孔の左側
のエッジ）であるが、左下がりの瞳孔エッジ（瞳孔の右
側のエッジ）についても同様である。

【００６４】ＭＰＵ１は、この処理をイメージセンサ４
のライン数分だけ行う。

【００６５】全ラインについてこの処理が終了したなら
ば（ステップ＃３０９のＹＥＳ）、図３では不図示であ
るが、以下の様な処理が続けて行われる。

【００６６】つまり、プルキニエ像，瞳孔エッジの選択
の処理を行う。そして、選択された瞳孔エッジを用いて
瞳孔中心及び瞳孔半径を求める。この方法としては最小
二乗法を用いればよい。その後、ＭＰＵ１はプルキニエ
像と瞳孔中心の位置を用いて眼球の回転角、さらには個
人差補正等を行い、カメラピント板上での視点位置を演
算する。この視点がファインダ内表示も考慮した通常の
撮影サイズの際の視点位置の存在範囲内になければ、視
線検出をやり直す。

【００６７】このようにして視線検出装置によって視点
位置が求まったならば、ＭＰＵ１はこの視点位置に最も
近い測距ポイント、もしくは、視点位置に近い複数の測
距（焦点検出）ポイントを用いて被写体までの距離を測
定し、ＡＦ（オートフォーカス）を行う。視点位置に近
い複数の測距ポイントを用いて具体的な方法としては、
複数の測距ポイントにおいて測距を行い、その結果最も
近い被写体にピントを合わせる方法がある。また、この
ＡＦを行った点を基準にして測光並びにＡＥ（オートエ
キスポージャー）を行う。

【００６８】上記の実施の第１の形態によれば、視線検
出における画像処理演算に用いるプルキニエ像抽出の際
の輝度に関する所定値を、センサのダークレベルを基準
に定めることにより、「ダークレベルが大きく変動した
ことで、プルキニエ像でない輝度の比較的低い像の全体
の輝度が上がりプルキニエ像抽出の条件を満たしてしま
う」という不具合や、「比較的遠くにあるプルキニエ像
が、ダークレベルが変動したことで全体の輝度が下がり
プルキニエ像抽出の条件を満たさない」といった不具合
を解消できる。

【００６９】また、視線検出における画像処理演算に用
いる最低値（ボトム値）を更新する際のレベルに関する
所定値をセンサのダークレベルを基準に定めることによ
って偽の瞳孔エッジ候補を多く抽出した結果、抽出に多
くの時間がかかったり、偽の瞳孔エッジ候補の影響を受
け、正しい瞳孔中心が求められないなどの弊害が生じる
不具合を解消することができる。

【００７０】（実施の第２の形態）この実施の第２の形
態の特徴は、イメージセンサの蓄積時間，その後段に配
置される増幅器のゲインを最小に設定し、かつ、イメー
ジセンサのオプティカルブラック部の信号用いること
で、上記実施の第１の形態のように、アイピースレンズ
部を遮光する事無しに、ダーク状態の信号（ＯＢ信号）
を得る点にある。

【００７１】本発明の実施の第２に係る視線検出装置を
具備した一眼レフカメラの電気的構成は、図１と同様で
あるので、ここではその説明は省略する。

【００７２】この実施の形態におけるモニタ装置１４
も、上記実施の第１の形態のものと同様、パーソナルコ
ンピュータなどで構成され、演算機能やＭＰＵ１との通
信機能を有している。そして、この通信機能を用いてＭ
ＰＵ１とコマンド，データの送受信を行う。よって、Ｍ
ＰＵ１に対してモニタ装置１４から、ＥＥＰＲＯＭ，Ｒ
ＡＭの書き込みや読み込みのコマンドを送信すれば、Ｅ
ＥＰＲＯＭ，ＲＡＭの書き込み，読み込みができる。

【００７３】また、特定のサブルーチンを実行するコマ
ンドを送信すれば、そのサブルーチンが実行され、結果
が所定のＲＡＭに格納される。よって、サブルーチン実
行後にＲＡＭの読み込みのコマンドを送信すれば、実行
したサブルーチンの結果をＲＡＭの内容から知ることが
できる。この機能を用いてイメージセンサのダークレベ
ルの測定とその値のＥＥＰＲＯＭへの書き込みを行うこ
とができる。これについては後で詳しく説明する。

【００７４】次に、モニタ装置１４を用いたイメージセ
ンサ４のオプティカルブラック部を用いてのダークレベ
ルの測定と、その値のＥＥＰＲＯＭへの書き込みについ
て、図４のフローチャートを用いて説明する。

【００７５】図１には不図示であるが、イメージセンサ
４にはカメラのアイピースレンズ，ダイクロイックミラ
ー、結像レンズを介して観察者の眼球像が結像される。

【００７６】モニタ装置１４は、ステップ＃４０１にお
いて、ＭＰＵ１に対して以下の指示を行う。

【００７７】つまり、視線検出のサブルーチンを実行す
るコマンドの送信に先立ち、イメージセンサ４からのオ
プティカルブラック部の出力信号をＡ／Ｄ変換した値
を、視線検出のサブルーチン実行中に該モニタ装置１４
に対しＭＰＵ１から送信する旨の指示を、ＥＥＰＲＯＭ
の所定のアドレスを書き換えることで与える。また、Ｉ
ＲＥＤ非点灯の指示も、同様にＥＥＰＲＯＭの所定のア
ドレスを書き換えることで与える。そして、ダーク状態
のイメージセンサ４の信号出力の得る際の該イメージセ
ンサ４の蓄積時間，増幅器のゲインを、ＥＥＰＲＯＭ，
ＲＡＭの所定のアドレスを書き換えることで定める。す
なわち、ＥＥＰＲＯＭの所定のアドレスを書き換えるこ
とでモニタ装置１４の設定に従うべき旨をＭＰＵ１に伝
え、その設定値はＲＡＭの所定のアドレスを書き込むこ
とで定める。この値は設定できる最小の値である。

【００７８】その後モニタ装置１４は、視線検出のサブ
ルーチンを実行するコマンドを送信し（ステップ＃４０
２）、同時にＭＰＵ１から送られてくるイメージセンサ
４のオプティカルブラック部の出力信号をＡ／Ｄ変換し
た値を受信するための待機状態に入る（ステップ＃４０
３）。

【００７９】視線検出のサブルーチンの実行のコマンド
を受信したＭＰＵ１は、視線検出を行う。これは視線検
出装置により、以下のように行われる。

【００８０】まず、演算に使用する変数の初期化等の初
期化処理を行った後（ステップ＃５０１）、ＭＰＵ１は
蓄積時間，ゲインの設定を行う（ステップ＃５０２）。
そして、モニタ装置１４の設定に従う旨をＥＥＰＲＯＭ
の所定のアドレスをチェックすることで知ったＭＰＵ１
は、ＲＡＭの所定のアドレスよりモニタ装置１４によっ
て設定された値を読み込み、最小の蓄積時間Ｔｓ，最小
のゲインの設定を行う。次いで、ＩＲＥＤの非点灯をＥ
ＥＰＲＯＭの所定のアドレスをチェックすることで知
り、ＩＲＥＤ非点灯の処理を行う。

【００８１】この後蓄積制御へ移り（ステップ＃５０
３）、まずＭＰＵ１はクリアモードの動作を行うための
指示を駆動回路３に対して行う。指示を受けた駆動回路
３はクリア動作を行い、イメージセンサ４のメモリーゾ
ーン，電荷転送ライン等に残っている電荷を消去する。
次いで、ＭＰＵ１は選択された点灯ＩＲＥＤを点灯する
ためにＩＲＥＤ選択信号を駆動回路３に送信する。その
後、蓄積信号を“Ｈ”にして蓄積を開始し、設定された
蓄積時間が経過したら蓄積信号を“Ｌ”にして蓄積を終
了する。

【００８２】次いで、ＭＰＵ１は光像ブロック（プルキ
ニエ像候補），瞳孔エッジ候補抽出の処理を行う（スッ
プ＃５０４〜＃５０７）。但し、ＩＲＥＤ非点灯かつ蓄
積時間Ｔｓ，ゲインが最小値に設定されているので、眼
球像はイメージセンサ４上には形成されないため、実質
的に抽出は行われない。

【００８３】具体的には、まずＭＰＵ１は駆動回路３を
介してオプティカルブラック部を含む１ライン分の画像
信号を順次読み込み（ステップ＃５０４）、Ａ／Ｄ変換
を行い、メモリにその値を記憶していく。そして、この
データを使って光像ブロック（プルキニエ像候補）並び
に瞳孔エッジ候補の抽出処理を行っていく。ＥＥＰＲＯ
Ｍの所定のアドレスのチェックし、モニタ装置１４にＡ
／Ｄ変換されたオプティカルブラック部の値を送信する
旨を知ったＭＰＵ１は、このメモリ上に記憶されたＡ／
Ｄ変換された値を、順次モニタ装置１４に対して送信し
ていく（ステップ＃５０５）。

【００８４】ＭＰＵ１はこの処理をイメージセンサのラ
イン数分だけ行う（ステップ＃５０５→＃５０６→＃５
０４→＃５０５……）。

【００８５】全ラインについてこの処理が終了したなら
ば、プルキニエ像，瞳孔エッジの選択の処理を行い、選
択した瞳孔エッジを用いて瞳孔中心及び瞳孔半径を求め
る。この方法としては最小二乗法を用いればよい。その
後、ＭＰＵ１はプルキニエ像と瞳孔中心の位置を用いて
眼球の回転角、さらには個人差補正等を行いカメラピン
ト板上での視点位置を演算する（ステップ＃５０７）。
但し、前述した様にこの場合は眼球像が存在しないた
め、これらの処理は実質的には行われない。

【００８６】モニタ装置１４は視線検出のサブルーチン
の実行が終了したら（ステップ＃４０４のＹＥＳ）、ダ
ーク状態のイメージセンサ４の信号出力の評価を行う。

【００８７】まず、送信されてきたイメージセンサ４の
オプティカルブラック部の出力信号のＡ／Ｄ変換された
データのうち、各ラインの有効画素に最も遠い部分を除
くＡ／Ｄ変換された値の平均値を求める（ステップ＃４
０５）。そして、その値をダークレベルＬ＿DARKとし
て、ＥＥＰＲＯＭの所定のアドレスに書き込む（ステッ
プ＃４０６）。通常、イメージセンサのオプティカルブ
ラック部は複数の画素で構成されており、その１画素目
（有効画素に最も遠い部分）がダーククランプの基準と
なる。よって、１画素目の出力は不定となり、２画素目
以降がダーククランプされて出力される。

【００８８】最後にモニタ装置１４は、視線検出のサブ
ルーチン実行中にイメージセンサ４からの出力信号をＡ
／Ｄ変換した値を該モニタ装置１４に対しＭＰＵ１から
送信する旨の指示、ＩＲＥＤ非点灯の指示、ダーク状態
のイメージセンサ４の信号出力の得る際のイメージセン
サの蓄積時間、増幅器のゲインの設定の指示、及び、そ
の設定値の指示のために書き換えたＥＥＰＲＯＭ，ＲＡ
Ｍの所定のアドレスを値を初期状態に戻す（ステップ＃
４０７）。

【００８９】実際の視線検出が行われる場合について
は、上記実施の第１の形態と同様（図３）であるので、
ここではその説明は省略する。

【００９０】上記の実施の第２の形態においても、視線
検出における画像処理演算に用いるプルキニエ像抽出の
際の輝度に関する所定値を、センサのオプティカルブラ
ック部を用いてダークレベルを基準に定めることによ
り、「ダークレベルが大きく変動したことで、プルキニ
エ像でない輝度の比較的低い像の全体の輝度が上がりプ
ルキニエ像抽出の条件を満たしてしまう」という不具合
や、「比較的遠くにあるプルキニエ像が、ダークレベル
が変動したことで全体の輝度が下がりプルキニエ像抽出
の条件を満たさない」といった不具合を解消できる。

【００９１】また、視線検出における画像処理演算に用
いる最低値（ボトム値）を更新する際のレベルに関する
所定値をセンサのダークレベルを基準に定めることによ
って偽の瞳孔エッジ候補を多く抽出した結果、抽出に多
くの時間がかかったり、偽の瞳孔エッジ候補の影響を受
け、正しい瞳孔中心が求められないなどの弊害が生じる
不具合を解消することができる。

【００９２】（変形例）本発明は、一眼レフカメラに適
用した例を述べているが、ビデオカメラや電子スチルカ
メラ等の映像装置にも適用可能である。更には、ディス
プレイを有する機器や操作パネルを有する機器（ディス
プレイや操作パネルを注視するオペレータ等の視線検出
に用いることが可能なため）等にも適用可能である。そ
の他の光学機器や他の装置、更には構成ユニットとして
も適用することができるものである。

【００９３】

【発明の効果】以上説明したように、本発明によれば、
センサのダークレベルを基準にパラメータ（プルキニエ
像抽出の際の輝度に関する所定値や、瞳孔エッジ候補の
抽出に用いられる最低値を抽出する際のレベルに関する
所定値）を求め、該パラメータをプルキニエ像の抽出や
瞳孔エッジ候補の抽出に用いるようにしている為、セン
サのダークレベルの変動に影響されずにプルキニエ像の
抽出を適正に行うことができ、しかも瞳孔エッジ候補の
抽出時間を短縮でき、かつ、この瞳孔エッジ候補より正
しい瞳孔中心を算出することができる。

【図面の簡単な説明】

【図１】本発明の実施の各形態に係る視線検出装置を備
えた一眼レフカメラの電気的構成を示すブロック図であ
る。

【図２】図１の一眼レフカメラの視線検出動作を示すフ
ローチャートである。

【図３】本発明の実施の第１の形態に係る一眼レフカメ
ラと該カメラに対して各種の指示を行うモニタ装置のダ
ークレベル設定時のそれぞれでの動作を示すフローチャ
ートである。

【図４】本発明の実施の第２の形態に係る一眼レフカメ
ラと該カメラに対して各種の指示を行うモニタ装置のダ
ークレベル設定時のそれぞれでの動作を示すフローチャ
ートである。

【図５】ダーククランプ機能を有したセンサの信号処理
系を示すブロック図である。

【符号の説明】

１ ＭＰＵ ２ メモリ ３ 駆動回路 ４ イメージセンサ ５ ＩＲＥＤ群 １４ モニタ装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 観察者の眼球の反射光を受光するセンサ
   と、該センサのダークレベルを記憶する記憶手段と、該
   記憶手段に記憶されたダークレベルからパラメータを求
   めるパラメータ算出手段と、前記パラメータと前記セン
   サの画像出力とに基づいてプルキニエ像と瞳孔エッジ候
   補を抽出し、この瞳孔エッジ候補より得られる瞳孔中心
   と前記プルキニエ像との位置関係から観察者の視線を検
   出する演算手段とを備えた視線検出装置。
2. 【請求項２】 前記パラメータは、プルキニエ像抽出の
   際の輝度に関する所定値であることを特徴とする請求項
   １記載の視線検出装置。
3. 【請求項３】 前記パラメータは、瞳孔エッジ候補の算
   出に用いる画像信号の最低値を抽出する際のレベルに関
   する所定値であることを特徴とする請求項１又は２記載
   の視線検出装置。
4. 【請求項４】 請求項１記載の視線検出装置を具備した
   ことを特徴とする光学機器。