JP3530647B2 - 視線検出装置及び光学装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、観察者が観察面の
どの位置を注視しているかを検出する視線検出装置及び
該装置を具備したカメラ等の光学装置の改良に関するも
のである。

【０００２】

【従来の技術】従来より、撮影者（観察者）の視線方向
を検知し、撮影者がファインダ視野内のどの領域（位
置）を観察しているか、いわゆる撮影者の注視方向をカ
メラの一部に設けた視線検出手段で検知し、該視線検出
手段からの信号に基づいて自動焦点調節や自動露出等の
各種撮影機能を制御するようにしたカメラが種々提案さ
れている。

【０００３】例えば本願出願人は、特開平１−２４１５
１１号公報において、撮影者の注視方向を検出する視線
検出手段と、複数個の測光感度分布を持つ自動露出制御
手段とを有し、前記視線検出手段からの出力信号に基づ
いて焦点検出手段や自動露出制御手段の駆動を制御する
ようにしたカメラを提案している。

【０００４】また、上記視線検出中に観察者の「瞬き」
あるいは「ウインク」を検出する手段、及び、該手段に
よって行われた判定に従って、各機器の制御を行う提案
も種々なされている。

【０００５】特開平４−２７９１４３号公報において
は、被検者の眼球像信号の中に、被検者の瞳孔像信号が
有れば該眼球像信号の総和レベルが下がり、瞳孔像信号
が無ければ該眼球像信号総和レベルが上がることを利用
して、該眼球像信号総和レベルを所定の基準値と比較す
ることで、該被検者の「瞬き」を判定する眼球運動検査
装置が提案されている。

【０００６】また、特開平６−２０８１５８及び特開平
６−３０８３７１公報においては、撮影者の眼球を照明
し、それによって生じる該眼球の角膜反射像の有無を検
出することで、該撮影者の「瞬き」あるいは「ウイン
ク」を検出するカメラが提案されている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記眼
球像信号総和レベルにおける瞳孔有無による該信号レベ
ルの変化から撮影者の「瞬き」を検知する方法は、照明
装置以外の光、つまり太陽光等の外光の影響を受ける環
境においては、撮影者の瞳孔自体が小さくなり、また視
線検出光学系と被検者の眼球の距離が離れると同じよう
に眼球像信号中に瞳孔像信号の占める割合が低下し、瞳
孔有無の判定が困難となる。

【０００８】さらに、視線検出光学系と被検者の相対位
置が変化すると瞳孔有無の判定基準となる閾値が特定で
きなくなるという問題があり、また、外光の影響の無い
室内において単純に眼球像信号の最低値にのみ着目して
も、照明装置の照明むらや光学的要因によって、眼球像
を得るための撮像素子の周辺部の光量落ちが発生して、
該最低値が必ずしも瞳孔の信号であるとは限らないとい
う問題もある。

【０００９】更に、角膜反射像の有無によって撮影者の
「瞬き」を検出する方法については、やはり外光の影響
下において、まつ毛やまぶたが強く光り、角膜反射像と
の区別がつきにくいという問題があった。

【００１０】（発明の目的）本発明の目的は、観察者が
視線検出中に瞬きをしたことを正確に検出することので
きる視線検出装置及び光学装置を提供することにある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、請求項１又は８に記載の本発明は、視線情報を検出
中に観察者が瞬きを行ったか否かを、観察者の眼球像信
号中の複数の画素信号を平均化して求めた複数のブロッ
ク信号出力中の最低値と、観察者の眼球近傍や当該視線
検出装置の使用環境を測光する測光手段の出力信号に応
じて変化する閾値との比較により判定するようにした視
線検出装置又は該視線検出装置を具備した光学装置とす
るものである。また、請求項２又は８に記載の本発明
は、視線情報を検出中に観察者が瞬きを行ったか否か
を、観察者の眼球像信号中の複数の画素信号を平均化し
て求めた複数のブロック信号出力中の最低値と、観察者
の眼球と当該視線検出装置の観察面との距離を測定する
距離検出手段の出力信号に応じて変化する閾値との比較
により判定するようにした視線検出装置又は該視線検出
装置を具備した光学装置とするものである。また、請求
項３又は８に記載の本発明は、視線情報を検出中に観察
者が瞬きを行ったか否かを、観察者の眼球像信号中の複
数の画素信号を平均化して求めた複数のブロック信号出
力中の最低値と、観察者が眼鏡を装着しているか否かの
判定を行う眼鏡判定手段の出力信号に応じて変化する閾
値との比較により判定するようにした視線検出装置又は
該視線検出装置を具備した光学装置とするものである。

【００１２】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１３】図１は本発明を一眼レフカメラに適用した
ときの実施の第１の形態を示す要部構成図、図２
（Ａ），（Ｂ）は図１の一眼レフカメラの上面及び背面
を示す図、図３は同じく図１の一眼レフカメラのファイ
ンダ内を示す図である。

【００１４】これらの図において、１は撮影レンズで、
便宜上２枚のレンズで示したが、実際はさらに多数のレ
ンズから構成されている。２は主ミラーで、ファインダ
系による被写体像の観察状態と被写体像の撮影状態に応
じて撮影光路へ斜設され或は退去される。３はサブミラ
ーで、主ミラー２を透過した光束をカメラボディの下方
の後述する焦点検出装置６へ向けて反射する。

【００１５】４はシャッタ、５は感光部材で、銀塩フィ
ルム或はＣＣＤやＭＯＳ型等の固体撮像素子、或は、ビ
ディコン等の撮像管より成っている。

【００１６】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，二次結像レンズ６ｄ，絞り６ｅ，複数のＣＣＤから
成るラインセンサ６ｆ等から構成されている。

【００１７】本例における焦点検出装置６は、周知の位
相差方式にて焦点検出を行うものであり、図３に示すよ
うに、被写界内の複数の領域（測距点マーク７０〜７４
で示される５箇所）を測距点（焦点検出点）として、該
測距点が焦点検出可能となるように構成されている。

【００１８】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダ光路変更用のペンタプリズ
ムである。９，１０は各々観察画面内の被写体輝度を測
定するための結像レンズと測光センサであり、結像レン
ズ９はペンタプリズム８内の反射光路を介してピント板
７と測光センサ１０を共役に関係付けている。

【００１９】１１は、ペンタプリズム８の射出後方に配
置される、光分割器１１ａを備えた接眼レンズ１１であ
り、撮影者の眼１５によるピント板７の観察に使用され
る。光分割器１１ａは、例えば可視光を透過し赤外光を
反射するダイクロイックミラーより成っている。

【００２０】上記の主ミラー２，ピント板７，ペンタプ
リズム８，接眼レンズ１１によってファインダ光学系が
構成されている。

【００２１】１２は結像レンズ、１４はＣＣＤ等の光電
変換素子であり、縦横それぞれ「６０×８０」画素から
成るイメージセンサで、結像レンズ１２に関して所定の
位置にある撮影者の眼球１５の瞳孔近傍と共役になるよ
うに配置されている。１３ａ〜１３ｆは各々照明光源で
あるところの赤外発光ダイオード（以下、ＩＲＥＤと記
す）で、図２（Ｂ）に示すように接眼レンズ１１の回り
に配置されている。

【００２２】これらと前述のダイロイックミラー１１ａ
とによって視線検出装置が構成されている。

【００２３】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤで、ここから発光さ
れた光は投光用プリズム２２を介し、主ミラー２で反射
されてピント板７の表示部に設けた微小プリズムアレイ
７ａで垂直方向に曲げられ、ペンタプリズム８，接眼レ
ンズ１１，接眼部の開口１７を通って撮影者の眼１５に
達する。

【００２４】つまり、図３に示したファインダ視野から
判かるように、各々の測距点マーク７０〜７４がファイ
ンダ視野内で光り、焦点検出領域（検出点）を表示させ
ることができるものである（以下、これをスーパーイン
ポーズ表示という）。

【００２５】図３において、左右の測距点マーク７０，
７４の内部には、ドットマーク７０’、７４’が刻印さ
れており、これは眼球の個人差による視線の検出誤差を
補正するための視線補正データを採取する（キャリブレ
ーションと称されている）際の視標を示すものである。

【００２６】ここで、５１はシャッタ速度表示、５２は
絞り値表示のセグメント、５０は視線入力状態であるこ
とを示す視線入力マーク、５３は撮影レンズ１の合焦状
態を示す合焦マークである。２４はファインダ視野外に
撮影情報を表示するためのファインダ内ＬＣＤ（以下、
Ｆ−ＬＣＤとも記す）で、照明用ＬＥＤ２５によって照
明される。

【００２７】上記Ｆ−ＬＣＤ２４を透過した光は三角プ
リズム２６によって、図３の２４で示したようにファイ
ンダ視野外に導かれ、撮影者は各種の撮影情報を知るこ
とができる。

【００２８】図１に戻って、３１は撮影レンズ１内に設
けた絞り、３２は絞り駆動回路１１１を含む絞り駆動装
置、３３はレンズ駆動用モータ、３４は駆動ギヤ等から
成るレンズ駆動部材である。３５はフォトカプラで、前
記レンズ駆動部材３４に連動するパルス板３６の回転を
検知してレンズ焦点調節回路１１０に伝えており、該焦
点調節回路１１０は、この情報とカメラ側からのレンズ
駆動量の情報に基づいて前記レンズ駆動用モータ３３を
所定量駆動させ、撮影レンズ１を合焦位置に移動させる
ようになっている。３７は公知のカメラとレンズとのイ
ンターフェイスとなるマウント接点である。

【００２９】２７は水銀スイッチ等の姿勢検出スイッチ
でカメラが横位置で構えられたか、縦位置で構えられた
かを検出するものである。

【００３０】図２（ａ），（ｂ）において、４１はレリ
ーズ釦である。４２は外部モニタ表示装置としてのモニ
タ用ＬＣＤで、予め決められたパターンを表示する固定
セグメント表示部と、可変数値表示用の７セグメント表
示部とから成っている。

【００３１】 ４４はモードダイヤルで、撮影モード等
の選択を行うためのものである。カメラ本体に刻印され
た指標４３を表示に合わせる事によって、その表示内容
で撮影モードが設定される。例えば、カメラを不作動と
するロックポジション、予め設定した撮影プログラムに
よって制御される自動撮影モードのポジション、撮影者
が撮影内容を認定できるマニュアル撮影モードで、プロ
グラムＡＥ、シャッタ優先ＡＥ，絞り優先ＡＥ，被写体
深度優先ＡＥ，マニュアル露出の各撮影モードが設定可
能である。また、視線入力用の「ＣＡＬ」ポジションも
モードダイヤル４４中にあり、「ＣＡＬ」ポジションに
して、後述の電子ダイヤル４５を操作する事により、視
線入力のＯＮ，ＯＦＦ、そしてキャリブレーションの実
行及び選択を行うことができる。

【００３２】 ４５は電子ダイヤルで、回転してクリッ
クパルスを発生させることによってモードダイヤル４４
で選択されたモードの中でさらに選択し得る設定値を選
択する為のものである。例えば、モードダイヤル４４に
てシャッタ優先の撮影モードを選択すると、ファインダ
内ＬＣＤ２４及びモニタ用ＬＣＤ４２には、現在設定さ
れているシャッタ速度が表示される。この表示を見て、
撮影者が電子ダイヤル４５を回転させると、その回転方
向にしたがって現在設定されているシャッタ速度から順
次シャッタ速度が変化していくように構成されている。

【００３３】その他の操作部材については、本発明とは
直接関係ないのでその説明は省略する。

【００３４】図４は上記構成の一眼レフカメラに内蔵さ
れた電気的構成を示すブロック図であり、図１と同一の
ものは同一番号をつけている。

【００３５】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置（以下、ＣＰＵと記す）１００に
は、視線検出回路１０１，測光回路１０２，自動焦点検
出回路１０３，信号入力回路１０４，ＬＣＤ駆動回路１
０５，ＬＥＤ駆動回路１０６，ＩＲＥＤ駆動回路１０
７，シャッタ制御回路１０８，モータ制御回路１０９が
接続されている。また、撮影レンズ１内に配置された焦
点調節回路１１０，絞り駆動回路１１１とは、図１で示
したマウント接点３７を介して信号の伝達がなされる。

【００３６】ＣＰＵ１００に付随したＥＥＰＲＯＭ１０
０ａは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。

【００３７】前記視線検出回路１０１は、イメージセン
サ１４（ＣＣＤ−ＥＹＥ）からの眼球像の信号をＡ／Ｄ
変換し、この像情報をＣＰＵ１００に送信する。ＣＰＵ
１００は視線検出に必要な眼球像の各特徴点を所定のア
ルゴリズムにしたがって抽出し、さらに各特徴点の位置
から撮影者の視線を算出する。また同時に、前記眼球像
をＡ／Ｄ変換した出力をもとに、撮影者が「瞬き」をし
たか否かの判定もＣＰＵ１００内で行われる。

【００３８】前記測光回路１０２は、測光センサ１０か
らの信号を増幅後、対数圧縮，Ａ／Ｄ変換し、各センサ
の輝度情報としてＣＰＵ１００に送信する。測光センサ
１０は、ファインダ画面内の４つの領域を測光するＳＰ
Ｃ−Ｌ，ＳＰＣ−Ｃ，ＳＰＣ−Ｒ，ＳＰＣ−Ａから成る
４つのフォトダイオードから構成されており、いわゆる
分割測光が可能である。

【００３９】ラインセンサ６ｆは、前述の図３に示し
た、画面内の５つの測距点７０〜７４に対応した５組の
ラインセンサＣＣＤ−Ｌ２，ＣＣＤ−Ｌ１，ＣＣＤ−
Ｃ，ＣＣＤ−Ｒ１，ＣＣＤ−Ｒ２から構成される公知の
ＣＣＤラインセンサである。

【００４０】前記自動焦点検出回路１０３は、上記のラ
インセンサ６ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１
００に送る。

【００４１】ＳＷ１はレリーズ釦４１の第１ストローク
でＯＮし、測光，ＡＦ，視線検出動作等を開始させる為
のスイッチ、ＳＷ２はレリーズ釦４１の第２ストローク
でＯＮするレリーズスイッチである。ＳＷ−ＤＩＡＬＩ
とＳＷ−ＤＩＡＬ２は、既に説明した電子ダイヤル４５
内に設けられたダイヤルスイッチで、信号入力回路１０
４のアップダウンカウンタに入力され、電子ダイヤル４
５の回転クリック量をカウントする。ＳＷ−ＨＶ１，Ｓ
Ｗ−ＨＶ２は姿勢検出スイッチ２７に相当する姿勢検出
スイッチであり、この信号を基にカメラの姿勢状態が検
出される。

【００４２】これらスイッチの状態信号入力回路１０４
に入力され、データバスによってＣＰＵ１００に送信さ
れる。

【００４３】前記ＬＣＤ駆動回路１０５は、液晶表示素
子であるＬＣＤを表示駆動させるための公知の構成より
成るもので、ＣＰＵ１００からの信号に従い、絞り値，
シャッタ秒時，設定した撮影モード等の表示をモニタ用
ＬＣＤ４２とファインダ内ＬＣＤ（Ｆ−ＬＣＤ）２４の
両方に同時に表示させることができる。

【００４４】前記ＬＥＤ駆動回路１０６は、照明用ＬＥ
Ｄ（Ｆ−ＬＥＤ）２５とスーパーインポーズ用ＬＥＤ２
１を点灯，点滅制御する。前記ＩＲＥＤ駆動回路１０７
は、ＣＰＵ１００の指示に従って赤外発光ダイオード
（ＩＲＥＤ１〜６）１３ａ〜１３ｆを選択的に点灯させ
たり、赤外発光ダイオード（ＩＲＥＤ１〜６）１３ａ〜
１３ｆへの出力電流値（あるいはパルス数）を変化させ
て照明パワーを制御する。

【００４５】前記シャッタ制御回路１０８は、通電する
と先幕を走行させるマグネットＭＧ−１と、後幕を走行
させるマグネットＭＧ−２を制御し、感光部材に所定光
量を露光させる。前記モータ制御回路１０９は、フィル
ムの巻き上げ、巻き戻しを行うモータＭ１と主ミラー２
及びシャッタ４のチャージを行うモータＭ２を制御する
ためのものである。

【００４６】上記シャッタ制御回路１０８とモータ制御
回路１０９によって、一連のカメラのレリーズシーケン
ス動作する。

【００４７】次に、視線検出装置を有したカメラの動作
について、図５のフローチャートを用いて説明する。

【００４８】モードダイヤル４４を回転させてカメラを
不作動状態から所定の撮影モードに設定すると（この実
施の形態では、シャッタ優先ＡＥに設定された場合をも
とに説明する）、カメラの電源がＯＮされ（ステップ＃
１００）、ＣＰＵ１００のＥＥＰＲＯＭ１００ａに記憶
された視線のキャリブレーションデータ以外の視線検出
に使われる変数がリセットされる（ステップ＃１０
１）。そして、カメラはレリーズ釦４１が押し込まれて
スイッチＳＷ１がＯＮされるまで待機する（ステップ＃
１０２）。

【００４９】レリーズ釦４１が押し込まれてスイッチＳ
Ｗ１がＯＮされたことを信号入力回路１０４が検出する
と、ＣＰＵ１００は視線検出を行う際にどのキャリブレ
ーションデータを使用するかを視線検出回路１０１に確
認する（ステップ＃１０３）。この時、確認されたキャ
リブレーションデータナンバーのキャリブレーションデ
ータが初期値のままで変更されていなかったり、あるい
は、視線禁止モードに設定されていたら（ステップ＃１
０３）、視線検出は実行せずに、すなわち視線情報を用
いずに測距点自動選択サブルーチンによって特定の測距
点を選択する（ステップ＃１１５）。そして、この測距
点において自動焦点検出回路１０３は焦点検出動作を行
う（ステップ＃１０７）。

【００５０】測距点自動選択のアルゴリズムとしてはい
くつかの方法が考えられるが、多点ＡＦカメラでは公知
となっている中央測距点に重み付けを置いた近点優先ア
ルゴリズムが有効である。

【００５１】また、前記キャリブレーションデータナン
バーに対応する視線のキャリブレーションデータが所定
の値に設定されていてそのデータが撮影者により入力さ
れたものであることが認識されると（ステップ＃１０
３）、視線検出回路１０１はそのキャリブレーションデ
ータにしたがって視線検出を実行され、視線はピント板
７上の注視点座標に変換される（ステップ＃１０４）。

【００５２】次に、上記ステップ＃１０４で検出された
視線情報は成功か否かの判定にかけられる（ステップ＃
１０５）。ここでの判定条件は、角膜反射像であるプル
キンエ像及び瞳孔中心位置の信頼性及び眼球の回転角等
である。この結果、不成功ならばステップ＃１１５の
「測距点自動選択サブルーチン」に進む。また、視線検
出が成功ならば、ＣＰＵ１００は該注視点座標に近接し
た測距点を選択する（ステップ＃１０６）。そして、自
動焦点検出回路１０３は検出された視線情報も用いて選
択がなされた測距点での焦点検出を実行する（ステップ
＃１０７）。

【００５３】次に、上記選択された測距点が測距不能で
あるかを判定し（ステップ＃１０８）、不能であればＣ
ＰＵ１００はＬＣＤ駆動回路１０５に信号を送ってファ
インダ内ＬＣＤ２４の合焦マーク７９を点滅させ、測距
がＮＧであることを撮影者に警告し（ステップ＃１１
７）、スイッチＳＷ１が離されるまでこの警告を続ける
（ステップ＃１１８→＃１１７→＃１１８……）。

【００５４】一方、測距が可能であり、所定のアルゴリ
ズムで選択された測距点の焦点調節状態が合焦でなけれ
ば（ステップ＃１０９）、ＣＰＵ１００はレンズ焦点調
節回路１１０に信号を送って所定量撮影レンズ１を駆動
させる（ステップ＃１１６）。レンズ駆動後は、自動焦
点検出回路１０３は再度焦点検出を行い（ステップ＃１
０７）、撮影レンズ１が合焦しているか否かの判定を行
う（ステップ＃１０９）。

【００５５】所定の測距点において撮影レンズ１が合焦
していたならば、ＣＰＵ１００はＬＣＤ駆動回路１０５
に信号を送ってファインダ内ＬＣＤ２４の合焦マーク５
３を点灯させるとともに、ＬＥＤ駆動回路１０６にも信
号を送って合焦している測距点に対応したスーパーイン
ポーズ用ＬＥＤ２１を点灯させ、該測距点を光らせるこ
とで合焦表示させる（ステップ＃１１０）。

【００５６】合焦した測距点がファインダ内に表示され
たのを撮影者が見て、その測距点が正しくない、あるい
は撮影を中止すると判断してレリーズ釦４１から手を離
し、スイッチＳＷ１をＯＦＦすると（ステップ＃１１
１）、引き続きカメラはスイッチＳＷ１がＯＮされるま
で待機するステップ＃１０２へ戻る。

【００５７】また撮影者が合焦表示された測距点を見
て、引き続きスイッチＳＷ１をＯＮし続けたならば（ス
テップ＃１１１）、ＣＰＵ１００は測光回路１０２に信
号を送信して測光を行わせる（ステップ＃１１２）。

【００５８】この時、合焦した測距点を含む測光領域に
重み付けを行った露出値が演算される。本実施の形態の
場合、測光演算結果としてセグメントと小数点を用いて
絞り値（図３の５２に示すＦ５．６）を表示している。

【００５９】さらにレリーズ釦４１が押し込まれてスイ
ッチＳＷ２がＯＮされているかどうかの判定を行い（ス
テップ＃１１３）、スイッチＳＷ２がＯＦＦ状態であれ
ば再びスイッチＳＷ１の状態の確認を行う（ステップ＃
１１１）。

【００６０】また、スイッチＳＷ２がＯＮされたならば
ＣＰＵ１００はシャッタ制御回路１０８、モータ制御回
路１０９、及び、絞り駆動回路１１１にそれぞれ信号を
送信して、公知のシャッタレリーズ動作を行う（ステッ
プ＃１１４）。

【００６１】具体的には、まず、モータ制御回路１０９
を介してモータＭ２に通電して主ミラー２をアップさ
せ、絞り３１を絞り込んだ後、マグネットＭＧ−１に通
電し、シャッタ４の先幕を開放する。絞り３１の絞り値
及びシャッタ４のシャッタスピードは、前記測光回路１
０２にて検出された露出値とフィルム５の感度から決定
される。所定のシャッタ秒時（１／１２５秒）経過後、
マグネットＭＧ−２に通電し、シャッタ４の後幕を閉じ
る。フィルム５への露光が終了すると、モータＭ２に再
度通電し、ミラーダウン、シャッタチャージを行うとと
もにフィルム給送用のモータＭ１にも通電し、フィルム
の駒送りを行い、一連のシャッタレリーズシーケンスの
動作が終了する。

【００６２】その後カメラは再びスイッチＳＷ１がＯＮ
されるまで待機する（ステップ＃１０２）。

【００６３】また、図５に示したカメラのシャッタレリ
ーズ動作（ステップ＃１１４）以外の一連の動作中に、
モードダイヤル４４によってモードが変更され、視線の
キャリブレーションモードに設定されたことを信号入力
回路１０４が検出すると、ＣＰＵ１００はカメラの動作
を一時停止し、視線検出回路１０１に送信して視線のキ
ャリブレーション（ステップ＃１１５）が可能な状態に
設定する。

【００６４】視線のキャリブレーション方法について
は、撮影者がファインダ視野内の測距点のドットマーク
右端７４’、左端７０’をそれぞれ一定時間固視するこ
とで行い、そこから得られた眼球像データから視線補正
データを採取するというもので、詳細は本発明と特に関
係が無いため省略する。

【００６５】図６は、視線検出動作を示すフローチャー
トである。

【００６６】図６において、前述のように視線検出回路
１０１は、ＣＰＵ１００より信号を受け取ると視線検出
を実行する（ステップ＃１０４）。視線検出回路１０１
は撮影モードの中での視線検出かあるいは視線のキャリ
ブレーションモードの中での視線検出かの判定を行う
（ステップ＃２００）。同時に視線検出回路１０１はカ
メラが後述するどのキャリブレーションデータナンバー
に設定されているかを認識する。

【００６７】視線検出回路１０１は、撮影モードでの視
線検出の場合はまず最初にカメラがどのような姿勢にな
っているかを信号入力回路１０４を介して検出する（ス
テップ＃２０２）。信号入力回路１０４は水銀スイッチ
２７（ＳＷ−ＡＮＧ）の出力信号を処理してカメラが横
位置であるか縦位置であるか、また縦位置である場合は
例えばレリーズ釦４１が天方向にあるか地（面）方向に
あるか判断する。

【００６８】続いてＣＰＵ１００を介して測光回路１０
２から撮影領域の明るさの情報を入手する（ステップ＃
２０３）。

【００６９】次に、先に検出されたカメラの姿勢情報と
キャリブレーションデータに含まれる撮影者の眼鏡情報
より赤外発光ダイオード（以下、ＩＲＥＤと称す）１３
ａ〜１３ｆの選択を行う（ステップ＃２０４）。

【００７０】すなわち、カメラが横位置に構えられ、撮
影者が眼鏡をかけていなかったならば、図２（ｂ）に示
すファインダ光軸よりのＩＲＥＤ１３ａ，１３ｂが選択
される。また、カメラが横位置で、撮影者が眼鏡をかけ
ていれば、ファインダ光軸から離れた１３ｃ，１３ｄの
ＩＲＥＤが選択される。このとき撮影者の眼鏡で反射し
た照明光の一部は、眼球像が投影されるイメージセンサ
１４上の所定の領域以外に達するため、眼球像の解析に
支障は生じない。

【００７１】又カメラが縦位置で構えられていたなら
ば、撮影者の眼球を下方から照明するようなＩＲＥＤの
組み合わせ、すなわち１３ａ，１３ｅもしくは１３ｂ，
１３ｆのどちらかの組み合わせが選択される。

【００７２】次にイメージセンサ１４（以下、ＣＣＤ−
ＥＹＥと称す）の蓄積時間及びＩＲＥＤの照明パワーが
前記測光情報及び撮影者の眼鏡情報等に基づいて設定さ
れる（ステップ＃２０５）。該ＣＣＤ−ＥＹＥ１４の蓄
積時間及びＩＲＥＤの照明パワーは前回の視線検出時に
得られた眼球像のコントラスト等から判断された値を基
にして設定を行っても構わない。

【００７３】ＣＣＤ−ＥＹＥ１４の蓄積時間及びＩＲＥ
Ｄの照明パワーが設定されると、ＣＰＵ１００はＩＲＥ
Ｄ駆動回路１０７を介してＩＲＥＤ１３を所定のパワー
で点灯させるとともに、視線検出回路１０１はＣＣＤ−
ＥＹＥ１４の蓄積を開始する（ステップ＃２０６）。ま
た、先に設定されたＣＣＤ−ＥＹＥ１４の蓄積時間にし
たがってここでの蓄積を終了し、それとともにＩＲＥＤ
１３も消灯される。

【００７４】また、ステップ＃２００において、キャリ
ブレーションの設定であると判断され、ステップ＃２０
１にて、今回の視線検出がキャリブレーションモードの
中で２回目以上の視線検出であると判定されると、ＣＣ
Ｄ−ＥＹＥ１４の蓄積時間およびＩＲＥＤの照明パワー
は前回の値が採用され、直ちにＩＲＥＤ１３の点灯とＣ
ＣＤ−ＥＹＥ１４の蓄積が開始される（ステップ＃２０
６）。

【００７５】次に、ＣＣＤ−ＥＹＥ１４にて蓄積された
像信号は順次読み出され、視線検出回路１０１でＡ／Ｄ
変換された後にＣＰＵ１００にメモリされる（ステップ
＃２０７）。

【００７６】ここでメモリに得られた像信号を処理し
て、撮影者が「瞬き」をしたか否かの判定を行う（ステ
ップ＃２０８）。

【００７７】「瞬き」をしたか否かの判定は、ＣＣＤ−
ＥＹＥ１４の像信号の中の瞳孔部の信号に着目して行う
ものであり、詳細は後述する。

【００７８】ここで、撮影者が「瞬き」を行ったと判定
された時は、ステップ＃２０６へ戻り、前回視線検出を
行った時と同じ条件のＣＣＤ−ＥＹＥ１４の蓄積制御
（この場合、蓄積時間及び信号増幅特性）とＩＲＥＤ１
３の制御（この場合、ＩＲＥＤの選択及び電流値）を再
び行い、撮影者が「瞬き」をしてしない状態の眼球像信
号を得る。この時、前回得られた像信号は新たなＣＣＤ
−ＥＹＥ１４にて蓄積された像信号に取って替わられ
る。

【００７９】ステップ＃２０８の「瞬き」判定によっ
て、撮影者が「瞬き」をしていないと判定された場合
は、公知であるところの視線検出処理が行われる（ステ
ップ＃２０９）。

【００８０】ここで、簡単に視線検出処理について説明
を行う。

【００８１】図７（ａ）はＣＣＤ−ＥＹＥ１４の眼球像
信号を画像化したもので、眼球１５の角膜においてＩＲ
ＥＤ１３の発光によって角膜反射像（以下、プルキンエ
像と記す）１９が生じる。また、１７は虹彩、１８は瞳
孔である。

【００８２】これらの像信号において、プルキンエ像１
９を含んだＸ−Ｘ′断面の像信号を表したのが図７
（ｂ）であり、同図において縦軸はＣＣＤ−ＥＹＥ１４
のアナログ信号をデジタル信号化した値で、最大２５５
カウントとなり、横軸は図７（ａ）の水平方向の画素数
８０個のデ−タがあることを意味している。

【００８３】ＣＰＵ１００において、眼球の照明に使用
された一組のＩＲＥＤ１３の虚像であるプルキンエ像１
９の位置が検出される。図７（ｂ）からも判る通り、プ
ルキンエ像１９は光強度の強い輝点として現れるため、
光強度に対する所定の閾値を設け、該閾値を超える光強
度のものをプルキンエ像１９とすることにより検出可能
である。また、瞳孔の中心位置は、瞳孔１８と虹彩１７
の境界点を複数検出し、各境界点を基に円の最小二乗近
似を行うことにより算出される。

【００８４】これらプルキンエ像位置と瞳孔中心位置と
から眼球の回転角度θが求まり、さらに二つのプルキン
エ像１９の間隔からカメラの接眼レンズ１１と撮影者の
眼球１５との距離が算出され、ＣＣＤ−ＥＹＥ１４に投
影された眼球像の結像倍率βを得ることができる。

【００８５】以上のことから、眼球の回転角度θと結像
倍率β、さらにキャリブレーションで得られた個人差補
正情報を用いて、撮影者の視線方向のピント板７上の位
置座標を求めることができる。

【００８６】図５に戻って、次に撮影者の視線位置を基
に視線情報の信頼性判定を行う（ステップ＃１０５）。
ここでは、上記求めた撮影者の視線位置がピント板７の
視野外であれば、視線検出は何らかの原因で失敗したと
みなしている。

【００８７】視線検出が成功と判定された場合は、前述
の図５のステップ＃１０６の測距点選択ヘリターンする
が、視線検出が失敗と判定されると、次に検出の失敗の
回数がチェックされる（ステップ＃１０５）。ここで失
敗が視線検出の一回目であれば、一回目に失敗したＣＣ
Ｄ−ＥＹＥ１４とＩＲＥＤ１３の制御と異なった制御が
なされる。

【００８８】例えば、一回目にカメラ横位置で裸眼用の
ＩＲＥＤ１３ａ，１３ｂが選択、照明がなされたのであ
れば、二回目ではＣＣＤ−ＥＹＥ１４の蓄積時間、ゲイ
ンは一回目と同じで、ＩＲＥＤ１３は眼鏡用のＩＲＥＤ
１３ｃ，１３ｄが選択される。また一回目が眼鏡用のＩ
ＲＥＤ１３ｃ，１３ｄで制御されたのであれば、二回目
ではＩＲＥＤの選択はそのままで、ＣＣＤ−ＥＹＥ１４
の蓄積時間が２倍の時間に設定しなおされる（ステップ
＃２１０）。

【００８９】ＣＣＤ−ＥＹＥ１４とＩＲＥＤ１３の再設
定が終了すると、再びステップ＃２０６にて、眼球像を
得るためのＣＣＤ−ＥＹＥ１４の蓄積制御が行われる。
ステップ＃１０５’にて、視線検出が二回失敗（ステッ
プ＃１０５において）と判定された場合には、図５のス
テップ＃１１５の測距点自動選択へリターンする。

【００９０】次に、撮影者が「瞬き」をしたか否かの判
定方法について、図８〜図１２を用いて説明する。

【００９１】この「瞬き」判定方法の基本的な考えとし
ては、撮影者の瞳孔が眼球像信号の最低値であるとし
て、この最低値を視線検出中の環境条件によって変化す
る閾値と比較することで、「瞬き」をしたか否かの判定
を行うものである。

【００９２】図８は「瞬き」判定を行うフローチャート
であり、同図において、ステップ＃２０７で得られた縦
横「６０×８０」画素に対応した画素信号は、縦横「４
×４」画素の平均出力信号を一つのブロック信号とした
縦横「１５×２０」のブロック信号に変換される（＃４
００）。

【００９３】図９（ａ），（ｂ）は画素信号のブロック
化の効果を示したもので、図９（ａ）は撮影者が外光下
にて視線検出を行っているときのブロック化する前の瞳
孔中心における眼球像水平方向輝度信号の断面図であ
り、外光により眼球周辺のまぶたの信号が高くなり、黒
いまつ毛と相まってスパイク状の信号が多数発生し、場
合によっては瞳孔部よりも低い信号となることがあった
り、瞳孔部においてもまつ毛の影響で信号が一定となら
なくなったりする。

【００９４】これに対して図９（ｂ）は、図９（ａ）の
信号を前記「４×４」画素のブロック信号に変換したも
のであり、まぶた及び瞳孔部の信号が平滑化されている
ために、ある程度の面積を持っている瞳孔部の位置が特
定し易くなることがわかる。ここで、Ｄｋは撮像素子の
暗中時の出力、いわゆるダーク値である。

【００９５】次に、前記得られた「１５×２０」画素の
ブロック信号には、重み付けの値がＣＣＤ−ＥＹＥ画素
平面上、中央近傍を０として周辺に行くに従って大きな
値が加算される（ステップ＃４０１）。

【００９６】図１０（ａ）は撮影者が室内（外光の影響
のない環境下）にて視線検出を行っているときのプルキ
ンエ像水平断面における眼球像ブロック信号であり、眼
球１５近傍を照明するＩＲＥＤ１３の照明むら、及び、
視線検出を行うための光学系の特性等のために、ＣＣＤ
−ＥＹＥ画素平面上において周辺光量落ちが発生してお
り、左端のブロック出力はダーク値レベルまで低下して
しまっている。一方、瞳孔部は照明光によってそのブロ
ック出力Ｄ０はダーク値よりも僅かに高い値をとってい
るために、この状態ではブロック信号全体の中の最低値
が瞳孔部の信号とはならなくなっている。

【００９７】これに対し図１０（ｂ）は、前記「１５×
２０」画素のブロックを同心状に３つの領域に分割し、
例えば中央近辺の領域を補正値：０カウント、その外の
領域を補正値：１０カウント、最外周領域を補正値：３
０カウントとして、各領域に属するブロックの信号値に
該補正値を加算するという手法で図１０（ａ）の信号を
補正したものであり、周辺光量落ちを見かけ上なくすこ
とにより、ブロック信号の最低値が撮影者の瞳孔部に相
当する信号値となるために補正を行うのである。

【００９８】次に、「瞬き」判定の判定基準となる閾値
Ｖｓが設定される（ステップ＃４０２）。

【００９９】図１１（ａ），（ｂ）はそれぞれ裸眼，眼
鏡装着の撮影者が室外（外光影響下）における視線検出
時のプルキンエ像水平断面の眼球像ブロック信号図であ
り、両図における瞳孔部の出力値Ｄ１及びＤ２は、前記
図１０（ａ）の室内信号の瞳孔部出力Ｄ０よりも高くな
っており、外光の瞳孔部への漏れ込みが生じていること
がわかる。

【０１００】さらに、図１１（ａ），（ｂ）における裸
眼，眼鏡装着時の瞳孔部出力比較では眼鏡装着時の方が
カメラ本体と撮影者の眼球との距離が大きくなって外光
の影響を受け易く、瞳孔部の持ち上がりがさらに大きい
ことがわかる。

【０１０１】そこで以上のことを踏まえ、外界の明るさ
である測光値とＣＣＤ−ＥＹＥ１４の蓄積制御に裸眼用
照明か眼鏡用照明のいずれかが用いられたかに応じて閾
値Ｖｓが、図１２に示す表から決定されるようになって
いる。

【０１０２】図１２において、例えば外界の明るさが測
光センサ１０にてＢＶ７と測定され、撮影者がキャリブ
レーションにて裸眼照明が選択されていたとすると、図
１２の表より、閾値Ｖｓ＝３８カウントが決定される。

【０１０３】閾値Ｖｓの設定が終わると、前記「１５×
２０」画素のブロックの中からその輝度信号が最低とな
るブロックの値Ｂｍｉｎが見つけ出され（ステップ＃４
０３）、「瞬き」の判定であるＢｍｉｎ値と前記Ｖｓの
比較が行われる（ステップ＃４０４）。撮影者が「瞬
き」をしていれば、撮影者の瞳孔は眼球像信号から無く
なり、当然前記求めた最低のブロック輝度信号は瞳孔以
外の例えばまぶたの信号であり、閾値Ｖｓよりも大きく
なるため（Ｂｍｉｎ＞Ｖｓ）、カメラはこれを撮影者が
「瞬き」を行ったと判定し、前記ステップ＃２０６のＣ
ＣＤ−ＥＹＥ１４の再蓄積等を行う。

【０１０４】一方、撮影者が「瞬き」をしていなけれ
ば、最低ブロック輝度信号は瞳孔の信号であり、閾値Ｖ
ｓよりも小さくなるので（Ｂｍｉｎ≦Ｖｓ）、撮影者は
「瞬き」を行っていないとカメラは判定し、前記ステッ
プ＃２０９の視線検出処理を行う。

【０１０５】以上、撮影者が「瞬き」を行ったか否かの
判定を行って、視線検出の成功率を向上させるための制
御方法について説明を行ったが、本発明である「瞬き」
を検知、判定を行う手段は、撮影者のウインクによるレ
リーズ等、カメラへの入力手段として用いても有効であ
る。

【０１０６】（実施の第２の形態）次に、本発明の実施
の第２の形態について説明する。

【０１０７】前記実施の第１の形態における図７の「瞬
き」判定のフローチャートの説明において、撮影者が
「瞬き」を行ったか否かの判定を行うための閾値Ｖｓの
設定では、Ｖｓを求めるのに図１２の表を用いたが、こ
の実施の第２の形態では、撮影者の置かれている環境下
の明るさ、撮影者の眼球とカメラとの距離の関数として
閾値を以下の計算式を用いて算出し、精度の良い「瞬
き」を行おうとするものである。

【０１０８】 Ｖｓ＝Ｄｋ＋１０×（Ｄｓ／１５）^1/3 ×（ＢＶ−４）^1/2 （ＢＶ≧５） Ｖｓ＝Ｄｋ＋１０×（Ｄｓ／１５）^1/3 （ＢＶ＜５） ここで、Ｄｋは撮像素子のダーク時（遮光時）の出力カ
ウント値、Ｄｓは撮影者とカメラとの距離（ｍｍ）、Ｂ
Ｖは測光センサによって得られた被写界輝度値である。
もちろん距離Ｄｓは「瞬き」をしたときの眼球像信号か
らは算出できないので、「瞬き」をした前回の値を用い
る。一方、測光センサによって被写体輝度：ＢＶを算出
せずに、直接撮影者の眼球近傍の明るさを撮像素子の出
力を基に求めても良い。

【０１０９】以上の実施の各形態において、ファインダ
に接眼している該観察者が視線検出中に瞬きを行ったか
否かを判定する手段を設け、該「瞬き」判定手段を、該
観察者の眼球像信号中の複数の画素信号を平均化して求
めた複数のブロック信号出力中の最低値とある閾値との
比較を基に判定を行うものとすることにより、観察者が
カメラ等の光学機器に対して視線入力を行っている時に
「瞬き」をしたことを正確に検出することができる。

【０１１０】（発明と実施の形態の対応）本実施の形態
において、ＩＲＥＤ駆動回路１０７及び赤外発光ダイオ
ード１３ａ〜１３ｆが本発明の照明手段に相当し、イメ
ージセンサ（ＣＣＤ−ＥＹＥ）１４が受光手段に相当
し、ＣＰＵ１００内のプログラムを実行する部分が本発
明の制御手段，瞬き判定手段，視線検出手段に相当す
る。

【０１１１】以上が実施の形態の各構成と本発明の各構
成の対応関係であるが、本発明は、これら実施の形態の
構成に限定されるものではなく、請求項で示した機能、
又は実施の形態がもつ機能が達成できる構成であればど
のようなものであってもよいことは言うまでもない。

【０１１２】（変形例）本発明は、一眼レフカメラに適
用した場合を述べているが、レンズシャッタカメラ，ビ
デオカメラ等のカメラにも適用可能である。更に、その
他の光学装置、構成ユニットとしても適用することがで
きるものである。

【０１１３】

【発明の効果】以上説明したように、本発明によれば、
視線情報を検出中に観察者が瞬きを行ったか否かを、観
察者の眼球像信号中の複数の画素信号を平均化して求め
た複数のブロック信号出力中の最低値と、観察者の眼球
近傍や当該視線検出装置の使用環境を測光する測光手段
の出力信号、又は観察者の眼球と当該視線検出装置の観
察面との距離を測定する距離検出手段の出力信号、又は
観察者が眼鏡を装着しているか否かの判定を行う眼鏡判
定手段の出力信号に応じて変化する閾値との比較により
判定するようにしている。

【０１１４】よって、観察者が視線検出中に瞬きをした
ことを正確に検出することが可能になる。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係る一眼レフカメ
ラの光学的配置を示す図である。

【図２】図１のカメラの上面及び背面を示す図である。

【図３】図１のカメラのファインダ内の表示例を示す図
である。

【図４】図１のカメラの電気的構成を示すブロック図で
ある。

【図５】図１のカメラの一連の動作を示すフローチャー
トである。

【図６】図１のカメラの視線検出動作を示すフローチャ
ートである。

【図７】図１のカメラにおいて瞬き判定時の説明を助け
る為の図である。

【図８】図６のステップ＃２０７での動作を示すフロー
チャートである。

【図９】図８の動作説明を助けるための図である。

【図１０】同じく図８の動作説明を助けるための図であ
る。

【図１１】同じく図８の動作説明を助けるための図であ
る。

【図１２】瞬き判定時に用いる閾値の一例を示す図であ
る。

【符号の説明】

１３ａ〜１３ｆ 赤外発光ダイオード（ＩＲＥＤ） １４ イメージセンサ（ＣＣＤ−ＥＹＥ） １００ ＣＰＵ １０１ 視線検出回路 １０３ 焦点検出回路 １０７ ＩＲＥＤ駆動回路

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−138376（ＪＰ，Ａ) 特開 平４−279143（ＪＰ，Ａ) 特開 平４−242625（ＪＰ，Ａ) 特開 平４−307506（ＪＰ，Ａ) 特開 平２−209126（ＪＰ，Ａ) 特開 平１−241511（ＪＰ，Ａ) 特開 平６−208158（ＪＰ，Ａ) 特開 平６−308371（ＪＰ，Ａ) 特開 平３−214133（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) A61B 3/00 - 3/16 G02B 7/28

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】視線情報を検出中に観察者が瞬きを行った
   か否かを、観察者の眼球像信号中の複数の画素信号を平
   均化して求めた複数のブロック信号出力中の最低値と、
   観察者の眼球近傍や当該視線検出装置の使用環境を測光
   する測光手段の出力信号に応じて変化する閾値との比較
   により判定するようにしたことを特徴とする視線検出装
   置。
2. 【請求項２】視線情報を検出中に観察者が瞬きを行った
   か否かを、観察者の眼球像信号中の複数の画素信号を平
   均化して求めた複数のブロック信号出力中の最低値と、
   観察者の眼球と当該視線検出装置の観察面との距離を測
   定する距離検出手段の出力信号に応じて変化する閾値と
   の比較により判定するようにしたことを特徴とする視線
   検出装置。
3. 【請求項３】視線情報を検出中に観察者が瞬きを行った
   か否かを、観察者の眼球像信号中の複数の画素信号を平
   均化して求めた複数のブロック信号出力中の最低値と、
   観察者が眼鏡を装着しているか否かの判定を行う眼鏡判
   定手段の出力信号に応じて変化する閾値との比較により
   判定するようにしたことを特徴とする視線検出装置。
4. 【請求項４】観察者の眼球を照明する照明手段と、観察
   者の眼球像を検出する受光手段と、前記照明手段と前記
   受光手段のうちの少なくとも一方の動作状態を制御する
   制御手段と、前記眼球像を利用して観察者の視線情報を
   検出する視線検出手段とを備えた視線検出装置におい
   て、 視線検出中に観察者が瞬きを行ったか否かを判定する瞬
   き判定手段を設け、該瞬き判定手段は、観察者の眼球像
   信号中の複数の画素信号を平均化して求めた複数のブロ
   ック信号出力中の最低値と、観察者の眼球近傍や当該視
   線検出装置の使用環境を測光する測光手段の出力信号に
   応じて変化する閾値との比較により判定を行う ことを特
   徴とする視線検出装置。
5. 【請求項５】観察者の眼球を照明する照明手段と、観察
   者の眼球像を検出する受光手段と、前記照明手段と前記
   受光手段のうちの少なくとも一方の動作状態を制御する
   制御手段と、前記眼球像を利用して観察者の視線情報を
   検出する視線検出手段とを備えた視線検出装置におい
   て、 視線検出中に観察者が瞬きを行ったか否かを判定する瞬
   き判定手段を設け、該瞬き判定手段は、観察者の眼球像
   信号中の複数の画素信号を平均化して求めた複数のブロ
   ック信号出力中の最低値と、観察者の眼球と当該視線検
   出装置の観察面との距離を測定する距離検出手段の出力
   信号に応じて変化する閾値との比較により判定を行う こ
   とを特徴とする視線検出装置。
6. 【請求項６】観察者の眼球を照明する照明手段と、観察
   者の眼球像を検出する受光手段と、前記照明手段と前記
   受光手段のうちの少なくとも一方の動作状態を制御する
   制御手段と、前記眼球像を利用して観察者の視線情報を
   検出する視線検出手段とを備えた視線検出装置におい
   て、 視線検出中に観察者が瞬きを行ったか否かを判定する瞬
   き判定手段を設け、該瞬き判定手段は、観察者の眼球像
   信号中の複数の画素信号を平均化して求めた複数のブロ
   ック信号出力中の最低値と、観察者が眼鏡を装着してい
   るか否かの判定を行う眼鏡判定手段の出力信号に応じて
   変化する閾値との比較により判定を行う ことを特徴とす
   る視線検出装置。
7. 【請求項７】前記複数のブロック信号は、該ブロック信
   号の基となる前記眼球像信号を与える受光手段の領域に
   応じて重み付けがなされることを特徴とする請求項４乃
   至６のいずれかに記載の視線検出装置。
8. 【請求項８】上記請求項１乃至７のいずれかに記載の視
   線検出装置を具備したことを特徴とする光学装置。