JPH06138370A - 視線検出装置 - Google Patents
視線検出装置Info
- Publication number
- JPH06138370A JPH06138370A JP4291725A JP29172592A JPH06138370A JP H06138370 A JPH06138370 A JP H06138370A JP 4291725 A JP4291725 A JP 4291725A JP 29172592 A JP29172592 A JP 29172592A JP H06138370 A JPH06138370 A JP H06138370A
- Authority
- JP
- Japan
- Prior art keywords
- line
- detection
- pupil
- sight
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
- Focusing (AREA)
- Viewfinders (AREA)
Abstract
(57)【要約】
【目的】 視線検出装置により動体測距を行わせるサー
ボAF機能を有するカメラにおいて、視線位置情報を迅
速に出力でき、サーボAFの応答性を高め、また連写性
を高める。 【構成】 視線検出を開始し、1回目の検出の際におけ
る縦横方向の読み出し範囲を、XX1=0、XX2=9
9、YY1=0、YY2=149とした場合、2回目以
降の瞳孔中心の検出ルーチン(#500)に入り、読出
し範囲の設定に進むと(#513)、ステップ(#80
0)に移行し、瞳孔中心の検出が成功すると(#80
1)、縦横方向の読み出し範囲を、XX1=A−30、
XX2=A+30、YY1=B−30、YY2=B+3
0とし(#802)、読出し範囲を制限する。このた
め、受光手段の蓄積が少なくなり、2回目以降のAF検
出の応答性が高まる。
ボAF機能を有するカメラにおいて、視線位置情報を迅
速に出力でき、サーボAFの応答性を高め、また連写性
を高める。 【構成】 視線検出を開始し、1回目の検出の際におけ
る縦横方向の読み出し範囲を、XX1=0、XX2=9
9、YY1=0、YY2=149とした場合、2回目以
降の瞳孔中心の検出ルーチン(#500)に入り、読出
し範囲の設定に進むと(#513)、ステップ(#80
0)に移行し、瞳孔中心の検出が成功すると(#80
1)、縦横方向の読み出し範囲を、XX1=A−30、
XX2=A+30、YY1=B−30、YY2=B+3
0とし(#802)、読出し範囲を制限する。このた
め、受光手段の蓄積が少なくなり、2回目以降のAF検
出の応答性が高まる。
Description
【0001】
【産業上の利用分野】本発明は、カメラ、ビデオカメ
ラ、SVカメラ等に用いられる視線検出装置に関するも
のである。
ラ、SVカメラ等に用いられる視線検出装置に関するも
のである。
【0002】
【従来の技術】従来より、撮影者の視線方向を検知し、
撮影者がファインダー視野内のどの領域(位置)を観察
しているか、所謂撮影者の注視方向をカメラの一部に設
けた視線検出手段で検出し、該視線検出手段からの信号
に基づいて自動焦点調節や自動露出等の各種の撮影機能
を制御するようにしたカメラが種々提案されている。
撮影者がファインダー視野内のどの領域(位置)を観察
しているか、所謂撮影者の注視方向をカメラの一部に設
けた視線検出手段で検出し、該視線検出手段からの信号
に基づいて自動焦点調節や自動露出等の各種の撮影機能
を制御するようにしたカメラが種々提案されている。
【0003】例えば、特開昭61−61135号公報で
は、視線検出手段からの出力に基づいて焦点検出装置の
測距方向を制御し、撮影系の焦点状態を調節するように
したカメラが提案されている。
は、視線検出手段からの出力に基づいて焦点検出装置の
測距方向を制御し、撮影系の焦点状態を調節するように
したカメラが提案されている。
【0004】又、本出願人は特開平1−241511号
公報において、撮影者の注視方向を検出する視線検出手
段と、複数個の測距視野を持つ焦点検出手段と、複数個
の測光感度分布を持つ自動露出制御手段とを有し、この
時該視線検出手段からの出力信号に基づいて焦点検出手
段と自動露出制御手段の駆動を制御するようにしたカメ
ラを提案している。
公報において、撮影者の注視方向を検出する視線検出手
段と、複数個の測距視野を持つ焦点検出手段と、複数個
の測光感度分布を持つ自動露出制御手段とを有し、この
時該視線検出手段からの出力信号に基づいて焦点検出手
段と自動露出制御手段の駆動を制御するようにしたカメ
ラを提案している。
【0005】
【発明が解決しようとする課題】従来よりカメラに設け
られているオートフォーカス動作には撮影レンズが合焦
状態になるまで焦点検出を行ない一度合焦状態になると
その後は焦点検出を行なわないワンショット動作と、撮
影レンズの焦点状態に関係なく焦点検出を実行し続ける
サーボ動作の2つがある。
られているオートフォーカス動作には撮影レンズが合焦
状態になるまで焦点検出を行ない一度合焦状態になると
その後は焦点検出を行なわないワンショット動作と、撮
影レンズの焦点状態に関係なく焦点検出を実行し続ける
サーボ動作の2つがある。
【0006】ワンショット動作は主に被写体が停止して
いる時に使われるモードである。
いる時に使われるモードである。
【0007】視線検出手段を取り入れたオートフォーカ
スカメラのワンショットモードにおける動作は以下の通
りである。
スカメラのワンショットモードにおける動作は以下の通
りである。
【0008】まず、レリーズスイッチを軽く押すとオン
するスイッチSW1をオンすると、焦点検出に先立ち視
線検出手段により、撮影者のファインダー内の注視点を
求める。この手順は、CCDラインセンサー等からなる
視線検出手段のセンサーの蓄積を行ない、像信号を読み
出す。そしてその像信号から撮影者の視線方向を求め
る。
するスイッチSW1をオンすると、焦点検出に先立ち視
線検出手段により、撮影者のファインダー内の注視点を
求める。この手順は、CCDラインセンサー等からなる
視線検出手段のセンサーの蓄積を行ない、像信号を読み
出す。そしてその像信号から撮影者の視線方向を求め
る。
【0009】次に視線方向からファインダー内のどの部
分を注目しているか、すなわち注視点を求めていく。こ
の注視点はファインダー内の座標で表わされる。
分を注目しているか、すなわち注視点を求めていく。こ
の注視点はファインダー内の座標で表わされる。
【0010】そしてこのファインダー内の座標からこれ
に対応する測距点を決定する方法である。
に対応する測距点を決定する方法である。
【0011】この様に視線検出手段により求めた測距点
に対し、焦点検出装置により焦点検出状態を検出し、そ
の情報に基づいて、撮影レンズを合焦点状態まで駆動す
る。一度視線検出手段により測距点が決定したら、以後
合焦するまでは、その測距点の焦点状態だけに注目して
合焦操作を行なう。
に対し、焦点検出装置により焦点検出状態を検出し、そ
の情報に基づいて、撮影レンズを合焦点状態まで駆動す
る。一度視線検出手段により測距点が決定したら、以後
合焦するまでは、その測距点の焦点状態だけに注目して
合焦操作を行なう。
【0012】また、サーボ動作は主に被写体が動いてい
る様な場合に使用されるモードである。
る様な場合に使用されるモードである。
【0013】次に従来の視線検出手段のあるオートフォ
ーカスカメラのサーボモードにおける動作は次の通りで
ある。
ーカスカメラのサーボモードにおける動作は次の通りで
ある。
【0014】ワンショット動作と同じで、スイッチSW
1をオンした直後に視線検出手段により測距点を決定す
る。以後はその測距点の焦点検出演算の情報に基づき、
レンズ駆動を行ない続けていく。
1をオンした直後に視線検出手段により測距点を決定す
る。以後はその測距点の焦点検出演算の情報に基づき、
レンズ駆動を行ない続けていく。
【0015】しかしながらサーボモード時には、被写体
が動いている事が多いため、被写体の動きによって、そ
の測距点から被写体がはずれてしまう事がある。また、
サーボモードにおいてもピントを合わせながら構図を変
えたい場合もある。
が動いている事が多いため、被写体の動きによって、そ
の測距点から被写体がはずれてしまう事がある。また、
サーボモードにおいてもピントを合わせながら構図を変
えたい場合もある。
【0016】このためにはある間隔で撮影者の注視点を
抽出し続け、その都度、その領域の焦点状態を検出し、
その情報に基づいて撮影レンズを駆動していく必要があ
る。しかしながら、撮影者の眼球像を受光するための2
次元方向の光強度分布を検出するためのセンサーは、精
度を得るために、数多くの画素数を有しているため、読
み出し時間、処理時間が非常にかかってしまう。
抽出し続け、その都度、その領域の焦点状態を検出し、
その情報に基づいて撮影レンズを駆動していく必要があ
る。しかしながら、撮影者の眼球像を受光するための2
次元方向の光強度分布を検出するためのセンサーは、精
度を得るために、数多くの画素数を有しているため、読
み出し時間、処理時間が非常にかかってしまう。
【0017】このため視線検出動作の時間が長いために
処理サイクルが長くなり、サーボAF時の応答性の低下
や連写時の駒速の低下を招くという問題点があった。
処理サイクルが長くなり、サーボAF時の応答性の低下
や連写時の駒速の低下を招くという問題点があった。
【0018】本発明の目的は、このような従来の問題を
解決し、連続的に視線検出を行う際、2回目以降の視線
検出動作の処理時間を短縮できる視線検出装置を提供す
ることにある。
解決し、連続的に視線検出を行う際、2回目以降の視線
検出動作の処理時間を短縮できる視線検出装置を提供す
ることにある。
【0019】
【課題を解決するための手段(及び作用)】本発明の目
的を実現する構成は特許請求の範囲に記載した通りであ
り、具体的には、例えばサーボAF時のようにくり返
し、視線検出動作を行なう様な場合、2回目以降の視線
検出動作において、視線検出用のセンサーの読み出し範
囲を制限する事により、視線検出動作の処理時間を短縮
することができるようにしたものである。
的を実現する構成は特許請求の範囲に記載した通りであ
り、具体的には、例えばサーボAF時のようにくり返
し、視線検出動作を行なう様な場合、2回目以降の視線
検出動作において、視線検出用のセンサーの読み出し範
囲を制限する事により、視線検出動作の処理時間を短縮
することができるようにしたものである。
【0020】
【実施例】図2は本発明を一眼レフカメラに適用したと
きの実施例1の要部概略図である。
きの実施例1の要部概略図である。
【0021】図において、1は撮影レンズで便宜上2枚
のレンズで示したが、実際はさらに多数のレンズから構
成されている。2は主ミラーで、ファインダー系による
被写体像の観察状態と被写体像の撮影状態に応じて撮影
光路へ斜設されあるいは退去される。3はサブミラー
で、主ミラー2を透過した光束をカメラボディの下方の
後述する焦点検出装置6へ向けて反射する。
のレンズで示したが、実際はさらに多数のレンズから構
成されている。2は主ミラーで、ファインダー系による
被写体像の観察状態と被写体像の撮影状態に応じて撮影
光路へ斜設されあるいは退去される。3はサブミラー
で、主ミラー2を透過した光束をカメラボディの下方の
後述する焦点検出装置6へ向けて反射する。
【0022】4はシャッター、5は感光部材で、銀塩フ
ィルムあるいはCCDやMOS型等の固体撮像素子ある
いはビディコン等の撮像管より成っている。
ィルムあるいはCCDやMOS型等の固体撮像素子ある
いはビディコン等の撮像管より成っている。
【0023】6は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ6a、反射ミラー6b及び6
c、2次結像レンズ6d、絞り6e、複数のCCDから
なるラインセンサー6f等から構成されている。
置されたフィールドレンズ6a、反射ミラー6b及び6
c、2次結像レンズ6d、絞り6e、複数のCCDから
なるラインセンサー6f等から構成されている。
【0024】本実施例における焦点検出装置6は周知の
位相差方式を用いており、図3に示すように観察画面内
(ファインダー視野内)の複数の領域(5箇所)を測距
点として、該測距点が焦点検出可能となるように構成さ
れている。
位相差方式を用いており、図3に示すように観察画面内
(ファインダー視野内)の複数の領域(5箇所)を測距
点として、該測距点が焦点検出可能となるように構成さ
れている。
【0025】7は撮影レンズ1の予定結像面に配置され
たピント板、8はファインダー光路変更用のペンタプリ
ズム、9,10は各々観察画面内の被写体輝度を測定す
るための結像レンズと測光センサーである。結像レンズ
9はペンタダハプリズム8内の反射光路を介してピント
板7と測光センサー10を共役に関係付けている。
たピント板、8はファインダー光路変更用のペンタプリ
ズム、9,10は各々観察画面内の被写体輝度を測定す
るための結像レンズと測光センサーである。結像レンズ
9はペンタダハプリズム8内の反射光路を介してピント
板7と測光センサー10を共役に関係付けている。
【0026】次にペンタダハプリズム8の射出面後方に
は光分割器11aを備えた接眼レンズ11が配され、撮
影者眼15によるピント板7の観察に使用される。光分
割器11aは、例えば可視光を透過し赤外光を反射する
ダイクロイックミラーより成っている。
は光分割器11aを備えた接眼レンズ11が配され、撮
影者眼15によるピント板7の観察に使用される。光分
割器11aは、例えば可視光を透過し赤外光を反射する
ダイクロイックミラーより成っている。
【0027】12は受光レンズ、14はCCD等の光電
素子列を2次元的に配したイメージセンサーで、受光レ
ンズ12に関して所定の位置にある撮影者眼15の瞳孔
近傍と共役になるように配置されている。13a〜13
fは各々照明光源であるところの赤外発光ダイオードで
ある。
素子列を2次元的に配したイメージセンサーで、受光レ
ンズ12に関して所定の位置にある撮影者眼15の瞳孔
近傍と共役になるように配置されている。13a〜13
fは各々照明光源であるところの赤外発光ダイオードで
ある。
【0028】21は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用LEDで、発光された光は
投光用プリズム22を介し、主ミラー2で反射してピン
ト板7の表示部に設けた微小プリズムアレー7aで垂直
方向に曲げられ、ペンタプリズム8、接眼レンズ11を
通って撮影者眼15に達する。
輝度のスーパーインポーズ用LEDで、発光された光は
投光用プリズム22を介し、主ミラー2で反射してピン
ト板7の表示部に設けた微小プリズムアレー7aで垂直
方向に曲げられ、ペンタプリズム8、接眼レンズ11を
通って撮影者眼15に達する。
【0029】そこでピント板7の焦点検出領域に対応す
る複数の位置(測距点)にこの微小プリズムアレイ7a
を枠状に形成し、これを各々に対応した5つのスーパー
インポーズ用LED21(各々をLED−L1,LED
−L2,LED−C,LED−R1,LED−R2とす
る)によって照明する。
る複数の位置(測距点)にこの微小プリズムアレイ7a
を枠状に形成し、これを各々に対応した5つのスーパー
インポーズ用LED21(各々をLED−L1,LED
−L2,LED−C,LED−R1,LED−R2とす
る)によって照明する。
【0030】これによって図3に示したファインダー視
野から分かるように、各々の測距点マーク200,20
1,202,203,204がファインダー視野内で光
り、焦点検出領域(測距点)を表示させることができる
ものである(以下これをスーパーインポーズ表示とい
う)。
野から分かるように、各々の測距点マーク200,20
1,202,203,204がファインダー視野内で光
り、焦点検出領域(測距点)を表示させることができる
ものである(以下これをスーパーインポーズ表示とい
う)。
【0031】23はファインダー視野領域を形成する視
野マスク。24はファインダー視野外に撮影情報を表示
するためのファインダー内LCDで、照明用LED(F
−LED)25によって照明されている。
野マスク。24はファインダー視野外に撮影情報を表示
するためのファインダー内LCDで、照明用LED(F
−LED)25によって照明されている。
【0032】LCD24を透過した光は三角プリズム2
6によってファインダー視野内に導かれ、図3の207
で示したようにファインダー視野外に表示され、撮影者
は撮影情報を知ることができる。
6によってファインダー視野内に導かれ、図3の207
で示したようにファインダー視野外に表示され、撮影者
は撮影情報を知ることができる。
【0033】31は撮影レンズ1内に設けた絞り、32
は後述する絞り駆動回路111を含む絞り駆動装置、3
3はレンズ駆動用モーター、34は駆動ギヤ等からなる
レンズ駆動部材、35はフォトカプラーでレンズ駆動部
材34に連動するパルス板36の回転を検知してレンズ
焦点調節回路110に伝えている。焦点調節回路110
は、この情報とカメラ側からのレンズ駆動量の情報に基
づいてレンズ駆動用モーターを所定量駆動させ、撮影レ
ンズ1を合焦位置に移動させるようになっている。37
は公知のカメラとレンズとのインターフェイスとなるマ
ウント接点である。
は後述する絞り駆動回路111を含む絞り駆動装置、3
3はレンズ駆動用モーター、34は駆動ギヤ等からなる
レンズ駆動部材、35はフォトカプラーでレンズ駆動部
材34に連動するパルス板36の回転を検知してレンズ
焦点調節回路110に伝えている。焦点調節回路110
は、この情報とカメラ側からのレンズ駆動量の情報に基
づいてレンズ駆動用モーターを所定量駆動させ、撮影レ
ンズ1を合焦位置に移動させるようになっている。37
は公知のカメラとレンズとのインターフェイスとなるマ
ウント接点である。
【0034】図4は図2のカメラの電気回路を示すブロ
ック図で、図2と同一のものは同一番号をつけている。
ック図で、図2と同一のものは同一番号をつけている。
【0035】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置(以下CPU)100には視線検出
回路101、測光回路102、自動焦点検出回路10
3、信号入力回路104、LCD駆動回路105、LE
D駆動回路106、IRED駆動回路107、シャッタ
ー制御回路108、モーター制御回路109が接続され
ている。又、撮影レンズ内に配置された焦点調節回路1
10、絞り駆動回路111とは図3で示したマウント接
点37を介して信号の伝達がなされる。
ータの中央処理装置(以下CPU)100には視線検出
回路101、測光回路102、自動焦点検出回路10
3、信号入力回路104、LCD駆動回路105、LE
D駆動回路106、IRED駆動回路107、シャッタ
ー制御回路108、モーター制御回路109が接続され
ている。又、撮影レンズ内に配置された焦点調節回路1
10、絞り駆動回路111とは図3で示したマウント接
点37を介して信号の伝達がなされる。
【0036】CPU100に付随したEEPROM10
0aは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。
0aは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。
【0037】視線検出回路101は、イメージセンサー
14(CCD−EYE)からの眼球像の出力をA/D変
換し、この像情報をCPU100に送信する。CPU1
00は後述するように視線検出に必要な眼球像の各特徴
点を所定のアルゴリズムに従って抽出し、さらに各特徴
点の位置から撮影者の視線を算出する。
14(CCD−EYE)からの眼球像の出力をA/D変
換し、この像情報をCPU100に送信する。CPU1
00は後述するように視線検出に必要な眼球像の各特徴
点を所定のアルゴリズムに従って抽出し、さらに各特徴
点の位置から撮影者の視線を算出する。
【0038】測光回路102は測光センサー10からの
出力を増幅後、対数圧縮、A/D変換し、各センサーの
輝度情報としてCPU100に送られる。測光センサー
10は図3に示したファインダー視野内の左側測距点2
00,201を含む左領域210を測光するSPC−L
と中央の測距点202を含む中央領域211を測光する
SPC−Cと右側の測距点203,204を含む右側領
域212を測光するSPC−Rとこれらの周辺領域21
3を測光するSPC−Aとの4つの領域を測光するフォ
トダイオードから構成されている。
出力を増幅後、対数圧縮、A/D変換し、各センサーの
輝度情報としてCPU100に送られる。測光センサー
10は図3に示したファインダー視野内の左側測距点2
00,201を含む左領域210を測光するSPC−L
と中央の測距点202を含む中央領域211を測光する
SPC−Cと右側の測距点203,204を含む右側領
域212を測光するSPC−Rとこれらの周辺領域21
3を測光するSPC−Aとの4つの領域を測光するフォ
トダイオードから構成されている。
【0039】図4のラインセンサー6fは前述の図3に
示すように画面内の5つの測距点200〜204に対応
した5組のラインセンサーCCD−L2、CCD−L
1、CCD−C、CCD−R1、CCD−R2から構成
される公知のCCDラインセンサーである。
示すように画面内の5つの測距点200〜204に対応
した5組のラインセンサーCCD−L2、CCD−L
1、CCD−C、CCD−R1、CCD−R2から構成
される公知のCCDラインセンサーである。
【0040】自動焦点検出回路103は、これらライン
センサー6fから得た電圧をA/D変換し、CPU10
0に送る。SW−1はレリーズ釦41の第一ストローク
でONし、測光、AF、視野検出動作等を開始するスイ
ッチ、SW−2はレリーズ釦の第二ストロークでONす
るレリーズスイッチ、SW−AELはAEロック釦43
を押すことによってONするAEロックスイッチ、SW
−DIAL1とSW−DIAL2は、不図示の電子ダイ
ヤル内に設けたダイヤルスイッチで信号入力回路104
のアップダウンカウンターに入力され、電子ダイヤルの
回転クリック量をカウントする。
センサー6fから得た電圧をA/D変換し、CPU10
0に送る。SW−1はレリーズ釦41の第一ストローク
でONし、測光、AF、視野検出動作等を開始するスイ
ッチ、SW−2はレリーズ釦の第二ストロークでONす
るレリーズスイッチ、SW−AELはAEロック釦43
を押すことによってONするAEロックスイッチ、SW
−DIAL1とSW−DIAL2は、不図示の電子ダイ
ヤル内に設けたダイヤルスイッチで信号入力回路104
のアップダウンカウンターに入力され、電子ダイヤルの
回転クリック量をカウントする。
【0041】105は液晶表示素子LCDを表示駆動さ
せるための公知のLCD駆動回路で、CPU100から
の信号に従い絞り値、シャッター秒時、設定した撮影モ
ード等の表示をモニター用LCD42とファインダー内
LCD24の両方に同時に表示させることができる。L
ED駆動回路106は照明用LED(F−LED)25
とスーパーインポーズ用LED21を点灯、点滅制御す
る。IRED駆動回路107は赤外発光ダイオード(I
RED1〜6)13a〜13fを状況に応じて選択的に
点灯させる。
せるための公知のLCD駆動回路で、CPU100から
の信号に従い絞り値、シャッター秒時、設定した撮影モ
ード等の表示をモニター用LCD42とファインダー内
LCD24の両方に同時に表示させることができる。L
ED駆動回路106は照明用LED(F−LED)25
とスーパーインポーズ用LED21を点灯、点滅制御す
る。IRED駆動回路107は赤外発光ダイオード(I
RED1〜6)13a〜13fを状況に応じて選択的に
点灯させる。
【0042】シャッター制御回路108は通電すると先
幕を走行させるマグネットMG−1と、後幕を走行させ
るマグネットMG−2を制御し、感光部材に所定光量を
露光させる。モーター制御回路109はフィルムの巻き
上げ、巻戻しを行なうモーターM1と主ミラー2及びシ
ャッター4のチャージを行なうモーターM2を制御する
ためのものである。これらシャッター制御回路108、
モーター制御回路109によって一連のカメラのレリー
ズシーケンスが動作する。
幕を走行させるマグネットMG−1と、後幕を走行させ
るマグネットMG−2を制御し、感光部材に所定光量を
露光させる。モーター制御回路109はフィルムの巻き
上げ、巻戻しを行なうモーターM1と主ミラー2及びシ
ャッター4のチャージを行なうモーターM2を制御する
ためのものである。これらシャッター制御回路108、
モーター制御回路109によって一連のカメラのレリー
ズシーケンスが動作する。
【0043】図15は視線検出方法の原理説明図であ
る。
る。
【0044】図1(A)は、図15のイメージセンサー
14面上に投影される眼球像であり、図1(B)の60
はライン(I)−(I)’での像信号出力を示してい
る。
14面上に投影される眼球像であり、図1(B)の60
はライン(I)−(I)’での像信号出力を示してい
る。
【0045】図1の(A)において、50は眼球のいわ
ゆる白目の部分、51は瞳孔を表わし、52a,52b
は眼球照明光源の角膜反射像を表わしている。
ゆる白目の部分、51は瞳孔を表わし、52a,52b
は眼球照明光源の角膜反射像を表わしている。
【0046】次に図15、図1(A),(B)を用いて
視線検出方法について説明する。各赤外発光ダイオード
13a、13bは受光レンズ12の光軸アに対してZ方
向に略対称に配置され、各々撮影者の眼球を発散照明し
ている。
視線検出方法について説明する。各赤外発光ダイオード
13a、13bは受光レンズ12の光軸アに対してZ方
向に略対称に配置され、各々撮影者の眼球を発散照明し
ている。
【0047】赤外発光ダイオード13bより放射された
赤外光は眼球15の角膜16を照明する。このとき角膜
16の表面で反射した赤外光の一部による角膜反射像d
は受光レンズ12により集光されイメージセンサー14
上の位置d’に再結像する。同様に赤外発光ダイオード
13aより放射された赤外光は眼球の角膜16を照明す
る。このとき角膜16の表面で反射した赤外光の一部に
よる角膜反射像eは受光レンズ12により集光されイメ
ージセンサー14上の位置e’に再結像する。
赤外光は眼球15の角膜16を照明する。このとき角膜
16の表面で反射した赤外光の一部による角膜反射像d
は受光レンズ12により集光されイメージセンサー14
上の位置d’に再結像する。同様に赤外発光ダイオード
13aより放射された赤外光は眼球の角膜16を照明す
る。このとき角膜16の表面で反射した赤外光の一部に
よる角膜反射像eは受光レンズ12により集光されイメ
ージセンサー14上の位置e’に再結像する。
【0048】又、虹彩17の端部a,bからの光束は受
光レンズ12を介してイメージセンサー14上の位置
a’,b’に該端部a,bの像を結像する。受光レンズ
12の光軸(光軸ア)に対する眼球15の光軸イの回転
角θが小さい場合、虹彩17の端部a,bのZ座標をZ
a,Zbとすると、瞳孔19の中心位置cの座標Zcは Zc≒(Za+Zb)/2 と表わされる。
光レンズ12を介してイメージセンサー14上の位置
a’,b’に該端部a,bの像を結像する。受光レンズ
12の光軸(光軸ア)に対する眼球15の光軸イの回転
角θが小さい場合、虹彩17の端部a,bのZ座標をZ
a,Zbとすると、瞳孔19の中心位置cの座標Zcは Zc≒(Za+Zb)/2 と表わされる。
【0049】また、角膜反射像dおよびeの中点のZ座
標と角膜16の曲率中心0のZ座標ZO とは一致するた
め、角膜反射像の発生位置d,eのZ座標をZd,Z
e、角膜16の曲率中心Oから瞳孔19の中心Cまでの
標準的な距離をLOCとし、距離LOCに対する個人差を考
慮する係数をA1とすると眼球光軸イの回転角θは (A1*LOC)*sinθ≒Zc−(Zd+Ze)/2 …(1) の関係式を略満足する。このため視線演算処理装置にお
いて図27(B)のごとくイメージセンサー上の一部に
投影された各特徴点(角膜反射像d,e及び虹彩の端部
a,b)の位置を検出することにより眼球の光軸イの回
転角θを求めることができる。このとき(1)式は、 β(A1*LOC)*sinθ≒(Za’+Zb’)/2 −(Zd’+Ze’)/2 …(2) とかきかえられる。但し、βは受光レンズ12に対する
眼球の位置により決まる倍率で、実質的には角膜反射像
の間隔|Zd’+Ze’|の関数として求められる。眼
球15の回転角θは θ≒ARCSIN{(Zc’−Zf’)/β/(A1*LOC)} …(3) とかきかえられる。但し Zc’≒(Za’+Zb’)/2 Zf’≒(Zd’+Ze’)/2 である。ところで撮影者の眼球の光軸イと視軸とは一致
しない為、撮影者の眼球の光軸イの水平方向の回転角θ
が算出されると眼球の光軸と視軸との角度補正δをする
ことにより撮影者の水平方向の視線θHは求められる。
眼球の光軸イと視軸との補正角度δに対する個人差を考
慮する係数をB1とすると撮影者の水平方向の視線θH
は θH=θ±(B1*δ) …(4) と求められる。ここで符号±は、撮影者に関して右への
回転角を正とすると、観察装置をのぞく撮影者の目が左
目の場合は+、右目の場合は−の符号が選択される。
標と角膜16の曲率中心0のZ座標ZO とは一致するた
め、角膜反射像の発生位置d,eのZ座標をZd,Z
e、角膜16の曲率中心Oから瞳孔19の中心Cまでの
標準的な距離をLOCとし、距離LOCに対する個人差を考
慮する係数をA1とすると眼球光軸イの回転角θは (A1*LOC)*sinθ≒Zc−(Zd+Ze)/2 …(1) の関係式を略満足する。このため視線演算処理装置にお
いて図27(B)のごとくイメージセンサー上の一部に
投影された各特徴点(角膜反射像d,e及び虹彩の端部
a,b)の位置を検出することにより眼球の光軸イの回
転角θを求めることができる。このとき(1)式は、 β(A1*LOC)*sinθ≒(Za’+Zb’)/2 −(Zd’+Ze’)/2 …(2) とかきかえられる。但し、βは受光レンズ12に対する
眼球の位置により決まる倍率で、実質的には角膜反射像
の間隔|Zd’+Ze’|の関数として求められる。眼
球15の回転角θは θ≒ARCSIN{(Zc’−Zf’)/β/(A1*LOC)} …(3) とかきかえられる。但し Zc’≒(Za’+Zb’)/2 Zf’≒(Zd’+Ze’)/2 である。ところで撮影者の眼球の光軸イと視軸とは一致
しない為、撮影者の眼球の光軸イの水平方向の回転角θ
が算出されると眼球の光軸と視軸との角度補正δをする
ことにより撮影者の水平方向の視線θHは求められる。
眼球の光軸イと視軸との補正角度δに対する個人差を考
慮する係数をB1とすると撮影者の水平方向の視線θH
は θH=θ±(B1*δ) …(4) と求められる。ここで符号±は、撮影者に関して右への
回転角を正とすると、観察装置をのぞく撮影者の目が左
目の場合は+、右目の場合は−の符号が選択される。
【0050】又、同図においては撮影者の眼球がZ−X
平面(例えば水平面)内で回転する例を示しているが、
撮影者の眼球がX−Y平面(例えば垂直面)内で回転す
る場合においても同様に検出可能である。ただし、撮影
者の視線の垂直方向の成分は眼球の光軸の垂直方向の成
分θ’と一致するため垂直方向の視線θVは θV=θ’ となる。更に視線データθH,θVより撮影者が見てい
るファインダー視野内のピント板上の位置(Zn,Y
n)は Zn≒m*θH ≒m*[ARCSIN{(Zc’−Zf’)/β/(A1*LOC)} ±(B1*δ)] …(5) Yn≒m*θV と求められる。ただし、mはカメラのファインダー光学
系で決まる定数である。ここで撮影者の眼球の個人差を
補正する係数A1,B1の値は撮影者にカメラのファイ
ンダー内の所定の位置に配設された指標を固視してもら
い、該指標の位置と(5)式に従い算出された固視点の
位置とを一致させることにより求められる。
平面(例えば水平面)内で回転する例を示しているが、
撮影者の眼球がX−Y平面(例えば垂直面)内で回転す
る場合においても同様に検出可能である。ただし、撮影
者の視線の垂直方向の成分は眼球の光軸の垂直方向の成
分θ’と一致するため垂直方向の視線θVは θV=θ’ となる。更に視線データθH,θVより撮影者が見てい
るファインダー視野内のピント板上の位置(Zn,Y
n)は Zn≒m*θH ≒m*[ARCSIN{(Zc’−Zf’)/β/(A1*LOC)} ±(B1*δ)] …(5) Yn≒m*θV と求められる。ただし、mはカメラのファインダー光学
系で決まる定数である。ここで撮影者の眼球の個人差を
補正する係数A1,B1の値は撮影者にカメラのファイ
ンダー内の所定の位置に配設された指標を固視してもら
い、該指標の位置と(5)式に従い算出された固視点の
位置とを一致させることにより求められる。
【0051】本実施例における撮影者の視線及び注視点
を求める演算は、前記各式に基づき視線演算処理装置の
マイクロコンピュータのソフトで実行している。
を求める演算は、前記各式に基づき視線演算処理装置の
マイクロコンピュータのソフトで実行している。
【0052】視線の個人差を補正する係数が求まり
(5)式を用いてカメラのファインダーを覗く観察者の
視線のピント板上の位置を算出し、その視線情報を撮影
レンズの焦点調節あるいは露出制御等に利用している。
(5)式を用いてカメラのファインダーを覗く観察者の
視線のピント板上の位置を算出し、その視線情報を撮影
レンズの焦点調節あるいは露出制御等に利用している。
【0053】次に、視線検出装置を有したカメラの動作
のフローチャートを図5に示し、これらをもとに以下説
明する。
のフローチャートを図5に示し、これらをもとに以下説
明する。
【0054】不図示のモードダイヤルを回転させてカメ
ラを不作動状態から所定の撮影モードに設定すると(本
実施例ではシャッター優先AEに設定された場合をもと
に説明する)、カメラの電源がONされ(#000)、
CPU100の視線検出に使われる変数がリセットされ
る(#001)。
ラを不作動状態から所定の撮影モードに設定すると(本
実施例ではシャッター優先AEに設定された場合をもと
に説明する)、カメラの電源がONされ(#000)、
CPU100の視線検出に使われる変数がリセットされ
る(#001)。
【0055】そしてカメラはレリーズ釦41が押し込ま
れてスイッチSW1がONされるまで待機する(#00
2)。レリーズ釦41が押し込まれスイッチSW1がO
Nされたことを信号入力回路104が検知すると、CP
U100は視線検出回路101に確認する(#00
3)。
れてスイッチSW1がONされるまで待機する(#00
2)。レリーズ釦41が押し込まれスイッチSW1がO
Nされたことを信号入力回路104が検知すると、CP
U100は視線検出回路101に確認する(#00
3)。
【0056】この時、視線禁止モードに設定されていた
ら、視線検出は実行せずにすなわち視線情報を用いずに
測距点自動選択サブルーチン(#016)によって特定
の測距点を選択する。この測距点において自動焦点検出
回路103は焦点検出動作を行なう(#007)。
ら、視線検出は実行せずにすなわち視線情報を用いずに
測距点自動選択サブルーチン(#016)によって特定
の測距点を選択する。この測距点において自動焦点検出
回路103は焦点検出動作を行なう(#007)。
【0057】このように視線情報を用いずに測距点選択
を行う撮影モード(視線禁止自動焦点撮影モード)と視
線情報を用いて測距点選択を行う撮影モード(視線自動
焦点撮影モード)の両方を備え、視線禁止モードに設定
するかどうかで撮影者が任意に選択できるようになって
いる。
を行う撮影モード(視線禁止自動焦点撮影モード)と視
線情報を用いて測距点選択を行う撮影モード(視線自動
焦点撮影モード)の両方を備え、視線禁止モードに設定
するかどうかで撮影者が任意に選択できるようになって
いる。
【0058】尚、測距点自動選択のアルゴリズムとして
はいくつかの方法が考えられるが、中央測距点に重み付
けを置いた近点優先アルゴリズムが有効であり、ここで
は本発明に直接関係がないので説明は省略する。
はいくつかの方法が考えられるが、中央測距点に重み付
けを置いた近点優先アルゴリズムが有効であり、ここで
は本発明に直接関係がないので説明は省略する。
【0059】視線検出モードに設定されている場合に
は、視線検出を実行する(#004)。この時LED駆
動回路106は照明用LED(F−LED)25を点灯
させ、LCD駆動回路105はファインダー内LCD2
4の視線入力マーク78を点灯させ、ファインダー画面
外207で撮影者はカメラが視線検出を行なっている状
態であることを確認することができるようになってい
る。
は、視線検出を実行する(#004)。この時LED駆
動回路106は照明用LED(F−LED)25を点灯
させ、LCD駆動回路105はファインダー内LCD2
4の視線入力マーク78を点灯させ、ファインダー画面
外207で撮影者はカメラが視線検出を行なっている状
態であることを確認することができるようになってい
る。
【0060】ここで視線検出回路101において検出さ
れた視線はピント板7上の注視点座標に変換される。C
PU100に該注視点座標に近接した測距点を選択し、
LED駆動回路106に信号を送信してスーパーインポ
ーズ用LED21を用いて前記測距点マークを点滅表示
させる(#005)。撮影者が該撮影者の視線によって
選択された測距点が表示されたのを見て、その測距点が
正しくないと認識してレリーズ釦41から手を離しスイ
ッチSW1をOFFすると(#006)、カメラはスイ
ッチSW1がONされるまで待機する(#002)。
れた視線はピント板7上の注視点座標に変換される。C
PU100に該注視点座標に近接した測距点を選択し、
LED駆動回路106に信号を送信してスーパーインポ
ーズ用LED21を用いて前記測距点マークを点滅表示
させる(#005)。撮影者が該撮影者の視線によって
選択された測距点が表示されたのを見て、その測距点が
正しくないと認識してレリーズ釦41から手を離しスイ
ッチSW1をOFFすると(#006)、カメラはスイ
ッチSW1がONされるまで待機する(#002)。
【0061】このように視線情報によって測距点が選択
されたことをファインダー視野内の測距点マークを点滅
表示させて撮影者に知らせるようになっているので撮影
者は意志どうりに選択されたかどうか確認することがで
きる。
されたことをファインダー視野内の測距点マークを点滅
表示させて撮影者に知らせるようになっているので撮影
者は意志どうりに選択されたかどうか確認することがで
きる。
【0062】又、撮影者が視線によって選択された測距
点が表示されたのを見て、引続きスイッチSW1をON
し続けたならば(#006)、自動焦点検出回路103
は検出された視線情報を用いて1つ以上の測距点の焦点
検出を実行する(#007)。
点が表示されたのを見て、引続きスイッチSW1をON
し続けたならば(#006)、自動焦点検出回路103
は検出された視線情報を用いて1つ以上の測距点の焦点
検出を実行する(#007)。
【0063】ここで選択された測距点が測距不能である
かを判定し(#108)、不能であればCPU100は
LCD駆動回路105に信号を送ってファインダー内L
CD24の合焦マークを点滅させ、測距がNG(不能)
であることを撮影者に警告し(#018)、SW1が離
されるまで続ける(#019)。
かを判定し(#108)、不能であればCPU100は
LCD駆動回路105に信号を送ってファインダー内L
CD24の合焦マークを点滅させ、測距がNG(不能)
であることを撮影者に警告し(#018)、SW1が離
されるまで続ける(#019)。
【0064】測距が可能であり、所定のアルゴリズムで
選択された測距点の焦点調節状態が合焦でなければ(#
009)、CPU100はレンズ焦点調節回路110に
信号を送って所定量撮影レンズ1を駆動させる(#01
7)。レンズ駆動後自動焦点検出回路103は再度焦点
検出を行ない(#007)、撮影レンズ1が合焦してい
るか否かの判定を行なう(#009)。
選択された測距点の焦点調節状態が合焦でなければ(#
009)、CPU100はレンズ焦点調節回路110に
信号を送って所定量撮影レンズ1を駆動させる(#01
7)。レンズ駆動後自動焦点検出回路103は再度焦点
検出を行ない(#007)、撮影レンズ1が合焦してい
るか否かの判定を行なう(#009)。
【0065】所定の測距点において撮影レンズ1が合焦
していたならば、CPU100はLCD駆動回路105
に信号を送ってファインダー内LCD24の合焦マーク
を点灯させるとともに、LED駆動回路106にも信号
を送って合焦している測距点201に合焦表示させる
(#010)。
していたならば、CPU100はLCD駆動回路105
に信号を送ってファインダー内LCD24の合焦マーク
を点灯させるとともに、LED駆動回路106にも信号
を送って合焦している測距点201に合焦表示させる
(#010)。
【0066】この時、前記視線によって選択された測距
点の点滅表示は消灯するが合焦表示される測距点と前記
視線によって選択された測距点とは一致する場合が多い
ので、合焦したことを撮影者に認識させるために合焦測
距点は点灯状態に設定される。合焦した測距点がファイ
ンダー内に表示されたのを撮影者が見て、その測距点が
正しくないと認識してレリーズ釦41から手を離しスイ
ッチSW1をOFFすると(#011)、引続きカメラ
はスイッチSW1がONされるまで待機する(#00
2)。
点の点滅表示は消灯するが合焦表示される測距点と前記
視線によって選択された測距点とは一致する場合が多い
ので、合焦したことを撮影者に認識させるために合焦測
距点は点灯状態に設定される。合焦した測距点がファイ
ンダー内に表示されたのを撮影者が見て、その測距点が
正しくないと認識してレリーズ釦41から手を離しスイ
ッチSW1をOFFすると(#011)、引続きカメラ
はスイッチSW1がONされるまで待機する(#00
2)。
【0067】又、撮影者が合焦表示された測距点を見
て、引続きスイッチSW1をONし続けたならば(#0
11)、CPU100は測光回路102に信号を送信し
て測光を行なわせる(#012)。この時合焦した測距
点を含む測光領域210〜213に重み付けを行なった
露出値が演算される。
て、引続きスイッチSW1をONし続けたならば(#0
11)、CPU100は測光回路102に信号を送信し
て測光を行なわせる(#012)。この時合焦した測距
点を含む測光領域210〜213に重み付けを行なった
露出値が演算される。
【0068】更にレリーズ釦41が押し込まれてスイッ
チSW2がONされているかどうかの判定を行ない(#
013)、スイッチSW2がOFF状態であれば再びス
イッチSW1の状態の確認を行なう(#011)。又、
スイッチSW2がONされたならばCPU100はシャ
ッター制御回路108、モーター制御回路109、絞り
駆動回路111にそれぞれ信号を送信する。
チSW2がONされているかどうかの判定を行ない(#
013)、スイッチSW2がOFF状態であれば再びス
イッチSW1の状態の確認を行なう(#011)。又、
スイッチSW2がONされたならばCPU100はシャ
ッター制御回路108、モーター制御回路109、絞り
駆動回路111にそれぞれ信号を送信する。
【0069】まずモーターM2に通電し主ミラー2をア
ップさせ、絞り31を絞り込んだ後、MG1に通電しシ
ャッター4の先幕を開放する。絞り31の絞り値及びシ
ャッター4のシャッタースピードは、前記測光回路10
2にて検知された露出値とフィルム5の感度から決定さ
れる。所定のシャッター秒時(例えば1/250秒)経
過後マグネットMG2に通電し、シャッター4の後幕を
閉じる。フィルム5への露光が終了すると、モーターM
2に再度通電し、ミラーダウン、シャッターチャージを
行なうとともにモーターM1にも通電し、フィルムのコ
マ送りを行ない、一連のシャッターレリーズシーケンス
の動作が終了する(#014)。その後、カメラは再び
スイッチSW1がONされるまで待機する(#00
2)。
ップさせ、絞り31を絞り込んだ後、MG1に通電しシ
ャッター4の先幕を開放する。絞り31の絞り値及びシ
ャッター4のシャッタースピードは、前記測光回路10
2にて検知された露出値とフィルム5の感度から決定さ
れる。所定のシャッター秒時(例えば1/250秒)経
過後マグネットMG2に通電し、シャッター4の後幕を
閉じる。フィルム5への露光が終了すると、モーターM
2に再度通電し、ミラーダウン、シャッターチャージを
行なうとともにモーターM1にも通電し、フィルムのコ
マ送りを行ない、一連のシャッターレリーズシーケンス
の動作が終了する(#014)。その後、カメラは再び
スイッチSW1がONされるまで待機する(#00
2)。
【0070】図6(A),(B)は視線検出のフローチ
ャートである。
ャートである。
【0071】図5に示すフローチャートにおいて、視線
検出回路101はCPU100より信号を受け取ると、
視線検出を実行する(#004)。
検出回路101はCPU100より信号を受け取ると、
視線検出を実行する(#004)。
【0072】視線検出を開始すると、図6の(A)にお
けるステップ(#050)を経て、ステップ(#05
1)のデータの初期化を実行する。
けるステップ(#050)を経て、ステップ(#05
1)のデータの初期化を実行する。
【0073】変数EYEMINは眼球反射像の光電変換
信号中の最低の輝度値を記憶する変数であり、マイクロ
コンピュータ(MCU109)に内蔵されているA/D
変換器の分解能を8bitと想定し、像信号の読み込み
に伴って、逐次的に最低値を比較・更新してゆく。初期
値は8bitでの最大の値を表す255を格納してお
く。
信号中の最低の輝度値を記憶する変数であり、マイクロ
コンピュータ(MCU109)に内蔵されているA/D
変換器の分解能を8bitと想定し、像信号の読み込み
に伴って、逐次的に最低値を比較・更新してゆく。初期
値は8bitでの最大の値を表す255を格納してお
く。
【0074】変数EDGCNTは、虹彩と瞳孔の境界を
エッジとして抽出した個数をカウントする変数である。
エッジとして抽出した個数をカウントする変数である。
【0075】変数IP1,IP2,JP1,JP2は発
光ダイオード5a,5bの角膜反射像(以下「プルキン
エ像;P像」と称する)の位置を表す変数であり、横方
向(X軸)の範囲IP1〜IP2、縦方向(Y軸)の範
囲JP1〜JP2で囲まれる眼球反射像の領域内に、2
個のP像が存在する。
光ダイオード5a,5bの角膜反射像(以下「プルキン
エ像;P像」と称する)の位置を表す変数であり、横方
向(X軸)の範囲IP1〜IP2、縦方向(Y軸)の範
囲JP1〜JP2で囲まれる眼球反射像の領域内に、2
個のP像が存在する。
【0076】いまエリアセンサー7の画素数は横方向に
150画素、縦方向に100画素のサイズを想定してお
り、IP1,IP2,JP1,JP2は全体のちょうど
真中の位置(75,50)を初期値として格納してお
く。
150画素、縦方向に100画素のサイズを想定してお
り、IP1,IP2,JP1,JP2は全体のちょうど
真中の位置(75,50)を初期値として格納してお
く。
【0077】データの初期化の次はステップ(#05
2)へ移行する。
2)へ移行する。
【0078】ステップ(#052)ではP像用の発光ダ
イオード5a,5bと、眼球照明用の発光ダイオード5
c,5dを点灯する。次のステップ(#053)にて、
エリアセンサー7の蓄積動作を開始させる。センサーの
制御は本発明と直接の関わりはないので詳細な説明は省
略するが、本発明の実施例では不図示のセンサー・イン
ターフェース回路によって駆動制御されるものとする。
イオード5a,5bと、眼球照明用の発光ダイオード5
c,5dを点灯する。次のステップ(#053)にて、
エリアセンサー7の蓄積動作を開始させる。センサーの
制御は本発明と直接の関わりはないので詳細な説明は省
略するが、本発明の実施例では不図示のセンサー・イン
ターフェース回路によって駆動制御されるものとする。
【0079】ステップ(#054)において、エリアセ
ンサーの蓄積終了を待つ。所定の電荷蓄積が終了する
と、次のステップ(#055)で発光ダイオードを消灯
する。さて、次のステップ(#056)において、視線
検出動作が1回目の制御であるか否かの判定を行ない、
1回目の制御でなければステップ(#058)へ移行す
る。1回目の制御であれば、ステップ(#057)へ移
行し、エリアセンサーの読み出し範囲を指定する変数を
それぞれ初期化する。
ンサーの蓄積終了を待つ。所定の電荷蓄積が終了する
と、次のステップ(#055)で発光ダイオードを消灯
する。さて、次のステップ(#056)において、視線
検出動作が1回目の制御であるか否かの判定を行ない、
1回目の制御でなければステップ(#058)へ移行す
る。1回目の制御であれば、ステップ(#057)へ移
行し、エリアセンサーの読み出し範囲を指定する変数を
それぞれ初期化する。
【0080】XX1=φはX軸の読み出しの開始画素 XX2=149はX軸の読み出しの終了画素 YY1=φはY軸の読み出しの開始画素 YY2=99はY軸の読み出しの終了画素 である。
【0081】本実施例では、エリアーセンサの画素数を
150×100としているので、初期値は上記の通り全
画素を読み出す様に設定する。
150×100としているので、初期値は上記の通り全
画素を読み出す様に設定する。
【0082】さて、次のステップ(#058)以降か
ら、エリアセンサーの光電変換信号の読み込みを開始す
る。
ら、エリアセンサーの光電変換信号の読み込みを開始す
る。
【0083】ステップ(#058)はループ変数Jを変
数YY1から変数YY2までカウントアップしながら、
枠内の処理を実行する、いわゆる「ループ処理」を表し
ている。
数YY1から変数YY2までカウントアップしながら、
枠内の処理を実行する、いわゆる「ループ処理」を表し
ている。
【0084】ステップ(#058)内のループ処理で
は、まずステップ(#059)にてエリアセンサーの横
方向(X軸)の1ラインの光電変換信号の読み込みを行
う。1ラインの読み込みはサブルーチン形式となってお
り、図7にサブルーチン「1ライン読み込み」のフロー
チャートを示す。
は、まずステップ(#059)にてエリアセンサーの横
方向(X軸)の1ラインの光電変換信号の読み込みを行
う。1ラインの読み込みはサブルーチン形式となってお
り、図7にサブルーチン「1ライン読み込み」のフロー
チャートを示す。
【0085】サブルーチン「1ライン読み込み」がコー
ルされると、図7のステップ(#100)を経て、次の
ステップ(#101)を実行する。ステップ(#10
1)と、その枠内のステップ(#102)は、前述した
ステップ(#058)と同様のループ処理を表してお
り、ステップ(#101)では変数Kを0から3へカウ
ントアップさせながら、そしてステップ(#102)で
は変数Iを変数XX1から変数XX2までカウントアッ
プさせながら、それぞれの枠内の処理を実行してゆく。
従って、ステップ(#101)とステップ(#102)
は変数Kと変数Iの、いわゆる「入れ子」となったルー
プ処理を表している。
ルされると、図7のステップ(#100)を経て、次の
ステップ(#101)を実行する。ステップ(#10
1)と、その枠内のステップ(#102)は、前述した
ステップ(#058)と同様のループ処理を表してお
り、ステップ(#101)では変数Kを0から3へカウ
ントアップさせながら、そしてステップ(#102)で
は変数Iを変数XX1から変数XX2までカウントアッ
プさせながら、それぞれの枠内の処理を実行してゆく。
従って、ステップ(#101)とステップ(#102)
は変数Kと変数Iの、いわゆる「入れ子」となったルー
プ処理を表している。
【0086】ステップ(#102)のループ処理内のス
テップ(#103)では、配列変数IM(i,k)の再
格納作業を行っている。
テップ(#103)では、配列変数IM(i,k)の再
格納作業を行っている。
【0087】本実施例では、マイクロコンピュータMC
U109が信号処理を行っているわけであるが、一般に
マイクロコンピュータの内蔵RAM(ランダム・アクセ
ス・メモリ)の記憶容量は、エリアセンサーの全画素情
報を一度に記憶できる程大きくはない。そこで、本実施
例では、エリアセンサーから出力される像信号を逐時読
みだしながら、横方向(X軸)5ライン分に相当する最
新の像信号のみをマイクロコンピュータの内蔵RAMに
記憶させ、1ラインの読み込み毎に視線検出のための処
理を実行するようにしている。
U109が信号処理を行っているわけであるが、一般に
マイクロコンピュータの内蔵RAM(ランダム・アクセ
ス・メモリ)の記憶容量は、エリアセンサーの全画素情
報を一度に記憶できる程大きくはない。そこで、本実施
例では、エリアセンサーから出力される像信号を逐時読
みだしながら、横方向(X軸)5ライン分に相当する最
新の像信号のみをマイクロコンピュータの内蔵RAMに
記憶させ、1ラインの読み込み毎に視線検出のための処
理を実行するようにしている。
【0088】ステップ(#101)からステップ(#1
03)の2重ループ処理で実行している内容は、新たな
1ライン分の像信号を読み込むために、記憶している過
去5ライン分の像信号データを更新する作業である。即
ち、配列変数IM(i,k)の内、IM(i,0)[i
=変数XX1〜変数XX2]が最も過去の、またIM
(i,4)[i=変数XX1〜変数XX2]が最も最近
の1ラインの像データを表しており、次のようにデータ
を更新して新たな1ライン分の像信号をIM(i,4)
[i=変数XX1〜変数XX2]に格納できるように準
備する。
03)の2重ループ処理で実行している内容は、新たな
1ライン分の像信号を読み込むために、記憶している過
去5ライン分の像信号データを更新する作業である。即
ち、配列変数IM(i,k)の内、IM(i,0)[i
=変数XX1〜変数XX2]が最も過去の、またIM
(i,4)[i=変数XX1〜変数XX2]が最も最近
の1ラインの像データを表しており、次のようにデータ
を更新して新たな1ライン分の像信号をIM(i,4)
[i=変数XX1〜変数XX2]に格納できるように準
備する。
【0089】IM(i,0)←IM(i,1) IM(i,1)←IM(i,2) IM(i,2)←IM(i,3) IM(i,3)←IM(i,4)[i=変数XX1〜変
数XX2] さて、ステップ(#101)〜ステップ(#103)の
データ更新のためのループ処理が終了すると、次のステ
ップ(#104)のループ処理を実行する。
数XX2] さて、ステップ(#101)〜ステップ(#103)の
データ更新のためのループ処理が終了すると、次のステ
ップ(#104)のループ処理を実行する。
【0090】ステップ(#104)のループ処理では、
エリアセンサーの横方向(X軸)の1ライン分(指定さ
れた画素)の像信号を逐次的にA/D変換しながら、R
AMに格納し、また像信号の最小値を検出している。
エリアセンサーの横方向(X軸)の1ライン分(指定さ
れた画素)の像信号を逐次的にA/D変換しながら、R
AMに格納し、また像信号の最小値を検出している。
【0091】ステップ(#104)のループ内の最初の
ステップ(#105)では、マイクロコンピュータMC
U109の内蔵のA/D変換器から、像信号をA/D変
換したディジタル値ADCを取り出し、その値を一時的
に変換EYEDTに格納する。そして、次のステップ
(#106)にて、EYEDTの値を配列変数IM
(I,4)に格納する。変数Iは外側のループ処理ステ
ップ(#104)にて変数XX1から変数XX2までカ
ウントアップされる。
ステップ(#105)では、マイクロコンピュータMC
U109の内蔵のA/D変換器から、像信号をA/D変
換したディジタル値ADCを取り出し、その値を一時的
に変換EYEDTに格納する。そして、次のステップ
(#106)にて、EYEDTの値を配列変数IM
(I,4)に格納する。変数Iは外側のループ処理ステ
ップ(#104)にて変数XX1から変数XX2までカ
ウントアップされる。
【0092】ステップ(#107)と(#108)は像
信号の最小値を検出する処理である。変数EYEMIN
は像信号の最小値を保持する変数であり、ステップ(#
107)において、EYEMINよりEYEDTの方が
小さければ、ステップ(#108)へ分岐し、EYEM
INをこの小さなEYEDTの値で更新する。
信号の最小値を検出する処理である。変数EYEMIN
は像信号の最小値を保持する変数であり、ステップ(#
107)において、EYEMINよりEYEDTの方が
小さければ、ステップ(#108)へ分岐し、EYEM
INをこの小さなEYEDTの値で更新する。
【0093】ステップ(#104)〜(#108)のル
ープ処理が終了し、新たな1ライン分の像信号の格納
と、最小値の検出が終ると、次のステップ(#109)
でサブルーチン「1ラインの読み込み」をリターンす
る。
ープ処理が終了し、新たな1ライン分の像信号の格納
と、最小値の検出が終ると、次のステップ(#109)
でサブルーチン「1ラインの読み込み」をリターンす
る。
【0094】図6のフローチャートに戻って、ステップ
(#059)のサブルーチン「1ラインの読み込み」が
完了すると、次のステップ(#060)へ移行し、外側
のループ処理ステップ(#058)のループ変数Jが5
以上か否か調べる。
(#059)のサブルーチン「1ラインの読み込み」が
完了すると、次のステップ(#060)へ移行し、外側
のループ処理ステップ(#058)のループ変数Jが5
以上か否か調べる。
【0095】ループ変数Jはエリアセンサーの縦方向
(Y軸)の画素ラインを表している。ステップ(#06
0)にてループ変数Jが5以上の場合にはステップ(#
061)へ分岐する。これは、読み込んだ像信号のライ
ン数が5以上になると、エリアセンサーの縦方向(Y
軸)の処理が出来るようになるからである。
(Y軸)の画素ラインを表している。ステップ(#06
0)にてループ変数Jが5以上の場合にはステップ(#
061)へ分岐する。これは、読み込んだ像信号のライ
ン数が5以上になると、エリアセンサーの縦方向(Y
軸)の処理が出来るようになるからである。
【0096】分岐した先のステップ(#061)ではサ
ブルーチン「P像の検出」を実行する。
ブルーチン「P像の検出」を実行する。
【0097】サブルーチン「P像の検出」は、前述した
角膜反射像(P像)の位置を検出するための処理であ
り、エリアセンサの横方向(X軸)の1ラインの読み込
み毎に実行する。そのフローチャートを図8に示す。
角膜反射像(P像)の位置を検出するための処理であ
り、エリアセンサの横方向(X軸)の1ラインの読み込
み毎に実行する。そのフローチャートを図8に示す。
【0098】サブルーチン「P像の検出」がコールされ
ると、ステップ(#200)を経てステップ(#20
1)のループ処理を実行する。ループ処理内では、像デ
ータ(配列変数IM(i,k)に記憶)中のP像の位置
を検索し、もし見つかれば、エリアセンサー上でのその
位置を記憶する。本実施例ではP像は2個発生するの
で、記憶する位置情報も2個となる。
ると、ステップ(#200)を経てステップ(#20
1)のループ処理を実行する。ループ処理内では、像デ
ータ(配列変数IM(i,k)に記憶)中のP像の位置
を検索し、もし見つかれば、エリアセンサー上でのその
位置を記憶する。本実施例ではP像は2個発生するの
で、記憶する位置情報も2個となる。
【0099】ループ内の最初のステップ(#202)で
は、所定位置の像データがP像としての条件を満足する
か否かを判定する。条件としては、次のようなものであ
る。 ステップ(#202)の「P像条件」 IM(1,2)>C1 かつIM(I,1)>C2 かつIM(I,3)>C2 かつIM(I−1,2)>C2 かつIM(I+1,2)>C2 但し、C1,C2はしきい値定数で、C1≧C2なる関
係があり、例えば、C1=230,C2=200であ
る。また、変数Iはループ処理のループ変数であり、エ
リアセンサーの横方向(X軸)の位置を表している。
は、所定位置の像データがP像としての条件を満足する
か否かを判定する。条件としては、次のようなものであ
る。 ステップ(#202)の「P像条件」 IM(1,2)>C1 かつIM(I,1)>C2 かつIM(I,3)>C2 かつIM(I−1,2)>C2 かつIM(I+1,2)>C2 但し、C1,C2はしきい値定数で、C1≧C2なる関
係があり、例えば、C1=230,C2=200であ
る。また、変数Iはループ処理のループ変数であり、エ
リアセンサーの横方向(X軸)の位置を表している。
【0100】上記条件は、P像が図1で説明したよう
に、スポット像のようなものであることに注目し、横/
縦方向(X/Y軸)の両方向に定義したものである。こ
の条件が満足されたとき、位置(1,2)にP像が存在
するものと見なす。
に、スポット像のようなものであることに注目し、横/
縦方向(X/Y軸)の両方向に定義したものである。こ
の条件が満足されたとき、位置(1,2)にP像が存在
するものと見なす。
【0101】前述したように配列変数IM(i,k)は
エリアセンサーの横方向(X軸)の1ライン読み込み毎
に更新しており、縦方向(Y軸)位置JラインはIM
(i,4)「i=変数XX1〜変数XX2」に格納され
ている。従って、変数IMに対するアドレス(1,2)
は、エリアセンサー上では、位置(I,J−2)とな
る。
エリアセンサーの横方向(X軸)の1ライン読み込み毎
に更新しており、縦方向(Y軸)位置JラインはIM
(i,4)「i=変数XX1〜変数XX2」に格納され
ている。従って、変数IMに対するアドレス(1,2)
は、エリアセンサー上では、位置(I,J−2)とな
る。
【0102】ステップ(#202)にて、P像の条件を
満足する像データがあった場合、ステップ(#203)
以降へ分岐し、ない場合には外側のループ変数Iがカウ
ントアップされる。
満足する像データがあった場合、ステップ(#203)
以降へ分岐し、ない場合には外側のループ変数Iがカウ
ントアップされる。
【0103】ステップ(#203)以降は、2個のP像
の存在範囲(X軸方向の範囲[IP1〜IP2]、Y軸
方向の範囲[JP1〜JP2])を決定する処理であ
る。
の存在範囲(X軸方向の範囲[IP1〜IP2]、Y軸
方向の範囲[JP1〜JP2])を決定する処理であ
る。
【0104】先ず、ステップ(#203)では、エリア
センサーの横方向(X軸)の位置を表す変数Iと変数I
P1を比較し、I<IP1ならば、ステップ(#20
4)へ分岐する。即ち、P像の存在範囲のうち、横方向
の左方にあるP像位置IP1の位置よりも、変数Iの位
置の方が左にあれば、IP1を書換えようとするもので
ある。
センサーの横方向(X軸)の位置を表す変数Iと変数I
P1を比較し、I<IP1ならば、ステップ(#20
4)へ分岐する。即ち、P像の存在範囲のうち、横方向
の左方にあるP像位置IP1の位置よりも、変数Iの位
置の方が左にあれば、IP1を書換えようとするもので
ある。
【0105】ステップ(#204)では、変数IP1に
変数Iの値を格納し、そのときの縦方向の位置(J−
2)を変数JP1に格納する。
変数Iの値を格納し、そのときの縦方向の位置(J−
2)を変数JP1に格納する。
【0106】ステップ(#205)、(#206)で
は、P像存在範囲のうち、横方向の右方にあるP像位置
IP2と、その縦方向位置を表すJP2の更新の判定を
行う。以上のようにして、ステップ(#201)のルー
プ処理で、横方向(X軸)の位置Iが変数XX1から変
数XX2までの1ラインの処理が終了すると、次のステ
ップ(#207)へ移行する。
は、P像存在範囲のうち、横方向の右方にあるP像位置
IP2と、その縦方向位置を表すJP2の更新の判定を
行う。以上のようにして、ステップ(#201)のルー
プ処理で、横方向(X軸)の位置Iが変数XX1から変
数XX2までの1ラインの処理が終了すると、次のステ
ップ(#207)へ移行する。
【0107】ステップ(#207)では、後の処理で参
照する変数XP1,XP2,YP1,YP2を図中の式
の如く計算する。
照する変数XP1,XP2,YP1,YP2を図中の式
の如く計算する。
【0108】これらの変数の意味については図12の説
明のところで詳述するが、簡単に述べるならば、瞳孔中
心を検出する際に、P像位置周辺に発生する偽の瞳孔エ
ッジ情報を排除するために使用するものである。
明のところで詳述するが、簡単に述べるならば、瞳孔中
心を検出する際に、P像位置周辺に発生する偽の瞳孔エ
ッジ情報を排除するために使用するものである。
【0109】ステップ(#207)の処理が終了する
と、次のステップ(#208)でサブルーチン「P像の
検出」をリターンする。
と、次のステップ(#208)でサブルーチン「P像の
検出」をリターンする。
【0110】再び図6のフローチャートに戻る。
【0111】ステップ(#061)のサブルーチン「P
像の検出」が完了すると、次のステップ(#062)で
サブルーチン「瞳孔エッジの検出」を実行する。
像の検出」が完了すると、次のステップ(#062)で
サブルーチン「瞳孔エッジの検出」を実行する。
【0112】「瞳孔エッジの検出」は眼球反射像中の瞳
孔エッジ(虹彩と瞳孔の境界)の位置の検出を行うサブ
ルーチンであり、図9にそのフローチャートを示してい
る。サブルーチン「瞳孔エッジの検出」がコールされる
と、ステップ(#300)を経て、次のステップ(#3
01)のループ処理が実行される。ステップ(#30
1)は図8のステップ(#201)と同様に、エリアセ
ンサーの横方向(X軸)の位置を表す変数Iをループ変
数とするループ処理である。
孔エッジ(虹彩と瞳孔の境界)の位置の検出を行うサブ
ルーチンであり、図9にそのフローチャートを示してい
る。サブルーチン「瞳孔エッジの検出」がコールされる
と、ステップ(#300)を経て、次のステップ(#3
01)のループ処理が実行される。ステップ(#30
1)は図8のステップ(#201)と同様に、エリアセ
ンサーの横方向(X軸)の位置を表す変数Iをループ変
数とするループ処理である。
【0113】ステップ(#301)のループ処理内で
は、像データ中に瞳孔のエッジを表す特徴があるかどう
かを検索し、もしあれば、その位置情報を記憶する。瞳
孔エッジ位置情報は、配列変数EDGDT(m,n)に
格納される。
は、像データ中に瞳孔のエッジを表す特徴があるかどう
かを検索し、もしあれば、その位置情報を記憶する。瞳
孔エッジ位置情報は、配列変数EDGDT(m,n)に
格納される。
【0114】配列変数EDGDT(m,n)のデータ形
式は以下のように設定している。
式は以下のように設定している。
【0115】EDGDT(m,1)…m番目のエッジ点
の輝度 EDGDT(m,2)…m番目のエッジ点のX軸座標 EDGDT(m,3)…m番目のエッジ点のY軸座標 mは瞳孔エッジ検出の逐次処理の過程で見つかったエッ
ジ点の順番である。従って、エッジがM個検出されれ
ば、配列変数EDGDTの容量は[M×3]バイ程が必
要となる。フローチャートでは、エッジの検出個数は変
数EDGCNTでカウントしている。
の輝度 EDGDT(m,2)…m番目のエッジ点のX軸座標 EDGDT(m,3)…m番目のエッジ点のY軸座標 mは瞳孔エッジ検出の逐次処理の過程で見つかったエッ
ジ点の順番である。従って、エッジがM個検出されれ
ば、配列変数EDGDTの容量は[M×3]バイ程が必
要となる。フローチャートでは、エッジの検出個数は変
数EDGCNTでカウントしている。
【0116】さて、ループ内の最初のステップ(#30
2)では、像データIM(I,2)の近傍に、過去に検
出されたエッジ点があるか否かを判定している。もう少
し詳しく説明すると次のようになる。
2)では、像データIM(I,2)の近傍に、過去に検
出されたエッジ点があるか否かを判定している。もう少
し詳しく説明すると次のようになる。
【0117】外側のループ処理のループ変数Iは、エリ
アセンサーの横方向(X軸)の位置を表し、像データを
格納している配列変数IM(i,k)に対するアドレス
(I,2)は、いま正に瞳孔エッジであるか否かを検定
しようとしている点(画素の座標)である。この(I,
2)の点に隣接する各点が、過去の逐次処理の過程で瞳
孔エッジと判定されたかどうかを、エッジ位置情報を格
納している配列変数EDGDT(m,n)から調べよう
とするものである。
アセンサーの横方向(X軸)の位置を表し、像データを
格納している配列変数IM(i,k)に対するアドレス
(I,2)は、いま正に瞳孔エッジであるか否かを検定
しようとしている点(画素の座標)である。この(I,
2)の点に隣接する各点が、過去の逐次処理の過程で瞳
孔エッジと判定されたかどうかを、エッジ位置情報を格
納している配列変数EDGDT(m,n)から調べよう
とするものである。
【0118】ステップ(#302)の判定条件を具体的
に記述すると、次のような条件となる。
に記述すると、次のような条件となる。
【0119】ステップ(#302)の「判定条件」 {EDGDT(m,2)、EDGDT(m,3)}=
{(I−1),(J−2)} あるいは={(I−1)、(J−3)} あるいは={(I)、(J−3)} あるいは={(I+1)、(J−3)} なる{EDGDT(m,2)、EDGDT(m,3)}
が存在する。
{(I−1),(J−2)} あるいは={(I−1)、(J−3)} あるいは={(I)、(J−3)} あるいは={(I+1)、(J−3)} なる{EDGDT(m,2)、EDGDT(m,3)}
が存在する。
【0120】但し、m=0〜(EDGCNT−1) 現在検定しようとしている座標は{(I)、(J−
2)}であるから、上記座標は現在座標に対して順に左
隣、左上隣、上隣、右上隣の位置を表している。
2)}であるから、上記座標は現在座標に対して順に左
隣、左上隣、上隣、右上隣の位置を表している。
【0121】また、EDGDT(m,2)、EDGDT
(m,3)はそれぞれm番目のエッジ点のX軸座標、Y
軸座標を表わしているから、結局上記条件は、現在座標
の左隣、左上隣、上隣、右上隣の位置にエッジ点があっ
たかどうかを判定していることになる。
(m,3)はそれぞれm番目のエッジ点のX軸座標、Y
軸座標を表わしているから、結局上記条件は、現在座標
の左隣、左上隣、上隣、右上隣の位置にエッジ点があっ
たかどうかを判定していることになる。
【0122】ステップ(#302)において、座標
(I、J−2)の近傍にエッジ点があると判定された場
合にはステップ(#304)へ、そうでない場合には、
ステップ(#303)へ分岐し、それぞれ別の条件を用
いて瞳孔エッジの判定を行う。
(I、J−2)の近傍にエッジ点があると判定された場
合にはステップ(#304)へ、そうでない場合には、
ステップ(#303)へ分岐し、それぞれ別の条件を用
いて瞳孔エッジの判定を行う。
【0123】近傍にエッジ点のない場合について先に説
明する。
明する。
【0124】ステップ(#303)では、現在検定しよ
うとしている座標(I、J−2)の像データが瞳孔エッ
ジの条件(ステップ(#303)での判定条件を「エッ
ジ条件1」と称する)を満たすか否かを判定している。
座標(I、J−2)の像データは配列変数IM(I,
2)に格納されていることに留意されたい。
うとしている座標(I、J−2)の像データが瞳孔エッ
ジの条件(ステップ(#303)での判定条件を「エッ
ジ条件1」と称する)を満たすか否かを判定している。
座標(I、J−2)の像データは配列変数IM(I,
2)に格納されていることに留意されたい。
【0125】判定条件は以下のようになる。
【0126】ステップ(#303)の「エッジ条件1」 1.{IM(I−1,2)−IM(1,2)}>C3か
つ{IM(I−2,2)−IM(I−1,2)}<C3
かつIM(I,2)<a 2.{IM(I+1,2)−IM(1,2)}>C3か
つ{IM(I+2,2)−IM(I+1,2)}>C3
かつIM(I,2)<a 3.{IM(I,1)−IM(1,2)}>C3かつ
{IM(I,0)−IM(I,1)}>C3かつIM
(I,2)<a 4.{IM(I,3)−IM(I,2)}>C3かつ
{IM(I,4)−IM(I,3)}>C3かつIM
(I,2)<a 上記1〜4を満足すれば、座標(I,J−2)をエッジ
点と見なす、但し、a=EYEMIN+C4で、EYE
MINは現在の逐次処理までの像データ中の最低輝度値
である。
つ{IM(I−2,2)−IM(I−1,2)}<C3
かつIM(I,2)<a 2.{IM(I+1,2)−IM(1,2)}>C3か
つ{IM(I+2,2)−IM(I+1,2)}>C3
かつIM(I,2)<a 3.{IM(I,1)−IM(1,2)}>C3かつ
{IM(I,0)−IM(I,1)}>C3かつIM
(I,2)<a 4.{IM(I,3)−IM(I,2)}>C3かつ
{IM(I,4)−IM(I,3)}>C3かつIM
(I,2)<a 上記1〜4を満足すれば、座標(I,J−2)をエッジ
点と見なす、但し、a=EYEMIN+C4で、EYE
MINは現在の逐次処理までの像データ中の最低輝度値
である。
【0127】しきい値C3,C4は、例えば、C3=
3、C4=20である。
3、C4=20である。
【0128】上記条件は、瞳孔エッジ(虹彩と瞳孔の境
界)においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
としてとらえている。1と2の条件はエリアセンサーの
横方向(X軸)のエッジを抽出し、3と4の条件は縦方
向(Y軸)のエッジを抽出する。
界)においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
としてとらえている。1と2の条件はエリアセンサーの
横方向(X軸)のエッジを抽出し、3と4の条件は縦方
向(Y軸)のエッジを抽出する。
【0129】座標(I,J−2)が瞳孔エッジ点として
抽出された場合には、ステップ(#303)からステッ
プ(#305)へ分岐し、エッジ点の輝度値と座標を記
憶する。
抽出された場合には、ステップ(#303)からステッ
プ(#305)へ分岐し、エッジ点の輝度値と座標を記
憶する。
【0130】ステップ(#305)では、エッジ位置情
報格納用の配列変数EDGDT(m,k)に次のように
情報を格納する。
報格納用の配列変数EDGDT(m,k)に次のように
情報を格納する。
【0131】 EDGDT(EDGCNT,1)←IM(I,2) EDGDT(EDGCNT,2)←I EDGDT(EDGCNT,3)←J−2 IM(I,2)はEDGCNT番目に検出されたエッジ
点の輝度、Iは同X座標、(J−2)は同Y座標であ
る。
点の輝度、Iは同X座標、(J−2)は同Y座標であ
る。
【0132】そして、検出されたエッジ点の個数をカウ
ントする変数EDGCNTを1つカウントアップする。
ントする変数EDGCNTを1つカウントアップする。
【0133】ステップ(#305)の処理が終了する
と、外側のループ処理のループ変数I(横方向、X軸の
座標を表す)をカウントアップし、再びステップ(#3
02)以降のフローチャートを実行する。
と、外側のループ処理のループ変数I(横方向、X軸の
座標を表す)をカウントアップし、再びステップ(#3
02)以降のフローチャートを実行する。
【0134】さて、ステップ(#302)において、現
在座標(I,J−2)の近傍にエッジ点があると判定さ
れた場合について説明する。
在座標(I,J−2)の近傍にエッジ点があると判定さ
れた場合について説明する。
【0135】その場合、ステップ(#304)へ分岐
し、ステップ(#303)と同じように、現在検定しよ
うとしている座標(I,J−2)の像データが瞳孔エッ
ジの条件(ステップ(#304)での判定条件を「エッ
ジ条件2」と称する)を満たすか否かを判定する。
し、ステップ(#303)と同じように、現在検定しよ
うとしている座標(I,J−2)の像データが瞳孔エッ
ジの条件(ステップ(#304)での判定条件を「エッ
ジ条件2」と称する)を満たすか否かを判定する。
【0136】ここで、「エッジ条件2」は「エッジ条件
1」よりも、いわば緩い条件を設定してある。本実施例
では、条件式に同じで、しきい値C3,C4をそれぞれ
C3’,C4’とし、次のように変えている。
1」よりも、いわば緩い条件を設定してある。本実施例
では、条件式に同じで、しきい値C3,C4をそれぞれ
C3’,C4’とし、次のように変えている。
【0137】C3’=2,C4’=30 上のように設定することで、「エッジ条件1」よりもエ
ッジと判定される率が上昇する。
ッジと判定される率が上昇する。
【0138】エッジ条件をこのように2種類用意する理
由は、そもそもエッジ点は孤立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じエッジ点である可能性が高いで
あろう、という観点に基づいている。
由は、そもそもエッジ点は孤立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じエッジ点である可能性が高いで
あろう、という観点に基づいている。
【0139】ステップ(#304)の「エッジ条件2」
でエッジ点と判定された場合には、ステップ(#30
5)へ分岐して、その座標の情報を記憶する。
でエッジ点と判定された場合には、ステップ(#30
5)へ分岐して、その座標の情報を記憶する。
【0140】以上のようにして、ループ変数Iが変数X
X2となるまで、ステップ(#301)のループ処理が
実行され、エリアセンサーの横方向(X軸)の1ライン
分のエッジ検出の処理が終了すると、ステップ(#30
6)へ移行し、サブルーチン「瞳孔エッジの検出」をリ
ターンする。
X2となるまで、ステップ(#301)のループ処理が
実行され、エリアセンサーの横方向(X軸)の1ライン
分のエッジ検出の処理が終了すると、ステップ(#30
6)へ移行し、サブルーチン「瞳孔エッジの検出」をリ
ターンする。
【0141】再び図6の説明に戻る。
【0142】ステップ(#062)のサブルーチン「瞳
孔エッジの検出」が完了すると、外側のループ処理ステ
ップ(#058)のループ変数J(エリアセンサーの縦
方向、Y軸の座標を表す)がカウントアップされ、Jが
変数YY2となるまで、再びステップ(#059)以降
の処理が実行される。
孔エッジの検出」が完了すると、外側のループ処理ステ
ップ(#058)のループ変数J(エリアセンサーの縦
方向、Y軸の座標を表す)がカウントアップされ、Jが
変数YY2となるまで、再びステップ(#059)以降
の処理が実行される。
【0143】ループ変数Jが変数YY2となり、エリア
センサーの指定された画素の読み込みと処理が終了する
と、ステップ(#058)からステップ(#062)へ
移行する。
センサーの指定された画素の読み込みと処理が終了する
と、ステップ(#058)からステップ(#062)へ
移行する。
【0144】ステップ(#063)〜(#065)で
は、ステップ(#058)のループ処理内で検出された
P像位置および瞳孔エッジ情報から、瞳孔の中心座標の
検出と視線の検出を行う。
は、ステップ(#058)のループ処理内で検出された
P像位置および瞳孔エッジ情報から、瞳孔の中心座標の
検出と視線の検出を行う。
【0145】先ず、ステップ(#063)ではサブルー
チン「瞳孔推定範囲の設定」をコールする。
チン「瞳孔推定範囲の設定」をコールする。
【0146】ステップ(#062)のサブルーチン「瞳
孔エッジの検出」で検出された複数の瞳孔エッジ点に
は、実際に瞳孔円(虹彩と瞳孔の境界が形成する円)を
表しているエッジ点以外にも、種々のノイズによって発
生した偽のエッジ点も含まれている。
孔エッジの検出」で検出された複数の瞳孔エッジ点に
は、実際に瞳孔円(虹彩と瞳孔の境界が形成する円)を
表しているエッジ点以外にも、種々のノイズによって発
生した偽のエッジ点も含まれている。
【0147】「瞳孔推定範囲の設定」は、上記偽のエッ
ジ点を排除するために、P像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図10に示している。
ジ点を排除するために、P像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図10に示している。
【0148】サブルーチン「瞳孔推定範囲の設定」がコ
ールされると、ステップ(#400)を経て、ステップ
(#401)を実行する。
ールされると、ステップ(#400)を経て、ステップ
(#401)を実行する。
【0149】ステップ(#401)では、先に「P像の
検出」サブルーチンで説明したP像位置範囲、即ち、横
方向(X軸)にIP1〜IP2、縦方向(Y軸)にJP
1〜JP2の情報を用いて、瞳孔円の座標範囲IS1,
IS2,JS1,JS2を次の式に従って計算する。
検出」サブルーチンで説明したP像位置範囲、即ち、横
方向(X軸)にIP1〜IP2、縦方向(Y軸)にJP
1〜JP2の情報を用いて、瞳孔円の座標範囲IS1,
IS2,JS1,JS2を次の式に従って計算する。
【0150】IS1←IP1−20 IS2←IP2+20 JS1←(JP1+JP2)/2−20 JS2←(JP1+JP2)/2+40 確からしい瞳孔エッジ点は、エリアセンサーの横方向
(X軸)の範囲IS1〜IS2、縦方向(Y軸)の範囲
JS1〜JS2に存在する点である、と設定する。
(X軸)の範囲IS1〜IS2、縦方向(Y軸)の範囲
JS1〜JS2に存在する点である、と設定する。
【0151】本実施例の光学系では、図1(A)に示し
た如く、2個のP像は常に瞳孔円の円内の上部に存在す
るようになっており、これから上記計算式が成立する。
た如く、2個のP像は常に瞳孔円の円内の上部に存在す
るようになっており、これから上記計算式が成立する。
【0152】ステップ(#401)の計算の後は、ステ
ップ(#402)へ移行し、サブルーチン「瞳孔推定範
囲の設定」をリターンする。
ップ(#402)へ移行し、サブルーチン「瞳孔推定範
囲の設定」をリターンする。
【0153】図6に戻って、次にステップ(#062)
のサブルーチン「瞳孔中心の検出」をコールする。
のサブルーチン「瞳孔中心の検出」をコールする。
【0154】「瞳孔中心の検出」は、確からしい瞳孔エ
ッジ点の座標から、瞳孔円の形状(中心座標と大きさ)
を推定するサブルーチンであり、そのフローチャートを
図11〜図13に示した。
ッジ点の座標から、瞳孔円の形状(中心座標と大きさ)
を推定するサブルーチンであり、そのフローチャートを
図11〜図13に示した。
【0155】瞳孔円の形状の推定には、「最小の2乗
法」を用いる。その考え方について先に述べておく。
法」を用いる。その考え方について先に述べておく。
【0156】円の公式は周知のように、中心座標を
(a,b)、半径をcとすると、 (x−a)2 +(y−b)2 =c2 …(10) で与えられる。
(a,b)、半径をcとすると、 (x−a)2 +(y−b)2 =c2 …(10) で与えられる。
【0157】複数の観測点(x1,y1)、(x2,y
2)…(xn,yn)から、次式の誤差量ERが最小と
なるようにa,b,cを決定することを考える。
2)…(xn,yn)から、次式の誤差量ERが最小と
なるようにa,b,cを決定することを考える。
【0158】 ER=Σ[(xi−a)2 +(yi−b)2 −c2 ]2 …(11) ERは各観測点と、a,b,cで決定される円の法線方
向の距離(誤差)の2乗和であり、これを最小する。
向の距離(誤差)の2乗和であり、これを最小する。
【0159】ERをa,b,cで各々偏微分し、0とお
く。
く。
【0160】 δER/δa=Σ[−4(xi−a)3 −4(xi−a)(yi−b)2 +4c2 (xi−a)]=0 …(12) δER/δb=Σ[−4(yi−b)3 −4(xi−a)2 (yi−b) +4c2 (xi−b)]=0 …(13) δER/δc=Σ[4c3 −4(yi−b)2 c−4c(xi−a)2 ]=0 …(14) 但し、i=1〜nとする。
【0161】式(14)より、 c2 =Σ[(xi−a)2 +(yi−b)2 ]/n …(15) 式(15)を式(13),(14)へ代入し、ここで、 X1=Σxi、X2=Σxi2 、X3=Σxi3 …(16)〜(18) Y1=Σyi、Y2=Σyi2 、Y3=Σyi3 …(19)〜(21) Z1=Σxiyi、Z2=Σxi2 yi、Z3=Σxiyi2 …(22)〜(24) とおき、さらに、 V1=X2−X12 /n …(25) V2=Y2−Y2/n …(26) W1=X3−Z3 …(27) W2=Y3−Z3 …(28) W3=(X2+Y2)/n …(29) W4=Z1−X1Y1/n …(30) W5=(Z1−2・X1Y1/n)Z1 …(31) W6=X1Y2 …(32) W7=X2Y1 …(33) とおいて整理すると、円の中心座標a,bは a=(W1V2−W2W4−(W6−Y1Z1)W3)/2(X2V2−W5− W6X1/n) …(34) b=(W2V1−W1W4−(W7−Y1Z1)W3)/2(Y2V1−W5− W7Y1/n) …(35) で計算される。
【0162】また、視線(注視点)の計算には直接関係
はないが、半径cは、 c=[W3−2(aX1+bY1)/n+a2 +b2 ]1/2 …(36) で計算される。
はないが、半径cは、 c=[W3−2(aX1+bY1)/n+a2 +b2 ]1/2 …(36) で計算される。
【0163】本発明の実施例では、さらに誤差量ERを
瞳孔中心検出の信頼性判定に用いており、ERは次の計
算式で与えられる。
瞳孔中心検出の信頼性判定に用いており、ERは次の計
算式で与えられる。
【0164】 ER=X4−4aX3+2(2a2 +d)X2−4adX1+Y4−4bY3 +2(2b2 +d)Y2−4bdY1+2(Z4−2aZ3−2bZ2+4ab Z1)+d2 n …(37) 但し、 X4=Σxi4 …(38) X4=Σyi4 …(39) Z4=Σxi2 yi2 …(40) d=a2 +b2 −c2 …(41) としている。
【0165】さて、以上のような数値計算の裏付けに従
って、図11〜図13のフローチャートの説明を行う。
って、図11〜図13のフローチャートの説明を行う。
【0166】サブルーチン「瞳孔中心の検出」がコール
されると、ステップ(#500)を経て、ステップ(#
501)の「円の最小2乗推定」サブルーチンをコール
する。
されると、ステップ(#500)を経て、ステップ(#
501)の「円の最小2乗推定」サブルーチンをコール
する。
【0167】「円の最小2乗推定」は上記式に従って、
瞳孔円の中心座標(a,b)と誤差量ERを計算するサ
ブルーチンであり、そのフローチャートを図12に示し
ている。同サブルーチンでは、さらに最低輝度値の見直
しと、P像による偽の瞳孔エッジの排除を行っている。
瞳孔円の中心座標(a,b)と誤差量ERを計算するサ
ブルーチンであり、そのフローチャートを図12に示し
ている。同サブルーチンでは、さらに最低輝度値の見直
しと、P像による偽の瞳孔エッジの排除を行っている。
【0168】サブルーチン「円の最小2乗推定」がコー
ルされると、ステップ(#600)を経て、ステップ
(#601)へ移行する。
ルされると、ステップ(#600)を経て、ステップ
(#601)へ移行する。
【0169】ステップ(#601)では上述した最小2
乗推定式のワーク変数の初期化を行っている。
乗推定式のワーク変数の初期化を行っている。
【0170】次のステップ(#602)は変数Lをルー
プ変数とするループ処理であり、記憶している瞳孔エッ
ジ情報を元に最小2乗法の計算の前半を行う部分であ
る。
プ変数とするループ処理であり、記憶している瞳孔エッ
ジ情報を元に最小2乗法の計算の前半を行う部分であ
る。
【0171】いま、瞳孔エッジ点として、(EDGCN
T−1)個の情報が配列変数EDGDTに記憶されてい
る。ループ変数Lは記憶された順番を表している。
T−1)個の情報が配列変数EDGDTに記憶されてい
る。ループ変数Lは記憶された順番を表している。
【0172】ループ処理内の最初のステップ(#60
3)では、L番目のエッジ点の輝度値EDGDT(L,
1)と(EYEMIN+C5)を比較し、輝度値の方が
大きければ分岐し、現在のループ変数Lの処理を終了す
る。
3)では、L番目のエッジ点の輝度値EDGDT(L,
1)と(EYEMIN+C5)を比較し、輝度値の方が
大きければ分岐し、現在のループ変数Lの処理を終了す
る。
【0173】本実施例では、エリアセンサーの光電変換
信号を読み込みながら、逐次的な処理を行っているた
め、エッジ点検出の部分で使用している最低輝度値も、
その時点までの最低輝度値に過ぎない。故に、エッジ点
として検出された点も、実は本当の最低輝度値に過ぎな
い。故に、エッジ点として検出された点も、実は本当の
最低輝度値で判定されたものではなく、実際にはエッジ
点としてふさわしくない点も含まれている可能性があ
る。そこで、このステップの目的は、最終的に決定され
た最低輝度値に基づいて、もう一度最低輝度の判定にか
け、瞳孔エッジとしてふさわしくない点を排除しようと
するものである。
信号を読み込みながら、逐次的な処理を行っているた
め、エッジ点検出の部分で使用している最低輝度値も、
その時点までの最低輝度値に過ぎない。故に、エッジ点
として検出された点も、実は本当の最低輝度値に過ぎな
い。故に、エッジ点として検出された点も、実は本当の
最低輝度値で判定されたものではなく、実際にはエッジ
点としてふさわしくない点も含まれている可能性があ
る。そこで、このステップの目的は、最終的に決定され
た最低輝度値に基づいて、もう一度最低輝度の判定にか
け、瞳孔エッジとしてふさわしくない点を排除しようと
するものである。
【0174】しきい値C5としては、例えば、C5=2
0である。
0である。
【0175】ステップ(#603)にて、輝度値が小さ
いと判断された場合は、ステップ(#604)へ移行
し、横方向(X軸)座標と縦方向(Y軸)座標をそれぞ
れ変数X,Yに一時的に格納する。
いと判断された場合は、ステップ(#604)へ移行
し、横方向(X軸)座標と縦方向(Y軸)座標をそれぞ
れ変数X,Yに一時的に格納する。
【0176】次のステップ(#605)では、L番目の
エッジ点の横方向座標Xが、横方向の範囲IS1〜IS
2に適合しているか否かを判定する。IS1、IS2は
サブルーチン「瞳孔推定範囲の設定」で求められた値で
あり、この範囲に入っていないエッジ点は瞳孔のエッジ
点として認めないように分岐し、現在のループ変数Lの
処理を終了する。
エッジ点の横方向座標Xが、横方向の範囲IS1〜IS
2に適合しているか否かを判定する。IS1、IS2は
サブルーチン「瞳孔推定範囲の設定」で求められた値で
あり、この範囲に入っていないエッジ点は瞳孔のエッジ
点として認めないように分岐し、現在のループ変数Lの
処理を終了する。
【0177】その次のステップ(#606)は、今度は
縦方向について同様の判定を行っている。
縦方向について同様の判定を行っている。
【0178】L番目のエッジ点が瞳孔推定範囲に存在し
ていれば、ステップ(#607)へ移行する。
ていれば、ステップ(#607)へ移行する。
【0179】ステップ(#607)、(#608)は、
L番目のエッジ点の座標がP像の近傍であるかどうかを
判断している。
L番目のエッジ点の座標がP像の近傍であるかどうかを
判断している。
【0180】XP1、XP2、YP1、YP2はサブル
ーチン「P像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲XP1〜XP2、縦方向の範囲Y
P1〜YP2に入っている場合には分岐し、現在のルー
プ変数Lの処理を終了するようにしている。これは、本
実施例の光学系では、2個のP像が瞳孔円内の上部に存
在するようになっているため、スポット像的な形状をし
ているP像の「すそ」の部分が、前述した瞳孔エッジの
条件に適合し易く、偽の瞳孔エッジとして検出されてし
まっているのを排除するためである。
ーチン「P像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲XP1〜XP2、縦方向の範囲Y
P1〜YP2に入っている場合には分岐し、現在のルー
プ変数Lの処理を終了するようにしている。これは、本
実施例の光学系では、2個のP像が瞳孔円内の上部に存
在するようになっているため、スポット像的な形状をし
ているP像の「すそ」の部分が、前述した瞳孔エッジの
条件に適合し易く、偽の瞳孔エッジとして検出されてし
まっているのを排除するためである。
【0181】以上のステップ(#603)〜(#60
8)の判定をパスしたエッジ点の座標情報が、ステップ
(#609)における最小2乗法の計算に供される。
8)の判定をパスしたエッジ点の座標情報が、ステップ
(#609)における最小2乗法の計算に供される。
【0182】ステップ(#609)の計算は前述の式
(16)〜(24)、(38)〜(40)を実行し、さ
らに、計算に用いたエッジ点の個数Nをカウントアップ
する。ステップ(#602)のループ処理にて、記憶し
ていたエッジ点(EDGCNT−1)個の処理が総て終
了すると、ステップ(#610)へ移行する。
(16)〜(24)、(38)〜(40)を実行し、さ
らに、計算に用いたエッジ点の個数Nをカウントアップ
する。ステップ(#602)のループ処理にて、記憶し
ていたエッジ点(EDGCNT−1)個の処理が総て終
了すると、ステップ(#610)へ移行する。
【0183】ステップ(#610)では、式(25)〜
(35)、(37)〜(41)を計算し、瞳孔円の中心
座標(a,b)と誤差量ERを求める。
(35)、(37)〜(41)を計算し、瞳孔円の中心
座標(a,b)と誤差量ERを求める。
【0184】そして、次のステップ(#611)へ移行
し、サブルーチン「円の最小2乗推定」をリターンす
る。
し、サブルーチン「円の最小2乗推定」をリターンす
る。
【0185】図11に戻って、ステップ(#501)の
サブルーチン「円の最小2乗推定」を完了すると、次の
ステップ(#502)へ移行する。
サブルーチン「円の最小2乗推定」を完了すると、次の
ステップ(#502)へ移行する。
【0186】ステップ(#502)では、円の推定に用
いたデータの個数Nをしきい値NTHRと比較し、N<
NTHRならば、データ数が少ないため結果の信頼性が
低いと見なして、ステップ(#512)へ分岐し、検出
失敗であるとする。
いたデータの個数Nをしきい値NTHRと比較し、N<
NTHRならば、データ数が少ないため結果の信頼性が
低いと見なして、ステップ(#512)へ分岐し、検出
失敗であるとする。
【0187】NTHRとしては、例えば、NTHR=3
0である。
0である。
【0188】ステップ(#502)にて、N≧NTHR
ならば、次のステップ(#503)にて、誤差量ERと
しきい値ERTHRを比較する。
ならば、次のステップ(#503)にて、誤差量ERと
しきい値ERTHRを比較する。
【0189】ER<ERTHRならば、誤差が小さく、
検出結果が充分信頼できるものと見なして、ステップ
(#514)へ分岐し、検出成功であるとする。
検出結果が充分信頼できるものと見なして、ステップ
(#514)へ分岐し、検出成功であるとする。
【0190】しきい値ERTHRとしては、例えば、E
RTHR=10000である。
RTHR=10000である。
【0191】ステップ(#503)において、ER≧E
RTHRならば、データ数が充分にも拘らず誤差が大き
すぎるとして、ステップ(#504)以下の再計算を実
施する。誤差が大きくなった原因としては、瞳孔円以外
の偽のエッジ点を計算に入れてしまったことが考えられ
る。その処理例を図17に示す。図中301は抽出した
エッジ点、302は計算に用いるエッジの範囲を表わ
す。そして303は計算によって求めた推定円であり、
この場合、左方の為のエッジ点を計算に加えてしまった
結果、推定円は正しい円とおよそかけ離れた形状とな
り、この時誤差量もかなり大きくなる。そこで各エッジ
点の座標の内、縦/横方向で端の座標のエッジ点を計算
から除外していって、誤差が減少するかどうかを調べて
ゆく。
RTHRならば、データ数が充分にも拘らず誤差が大き
すぎるとして、ステップ(#504)以下の再計算を実
施する。誤差が大きくなった原因としては、瞳孔円以外
の偽のエッジ点を計算に入れてしまったことが考えられ
る。その処理例を図17に示す。図中301は抽出した
エッジ点、302は計算に用いるエッジの範囲を表わ
す。そして303は計算によって求めた推定円であり、
この場合、左方の為のエッジ点を計算に加えてしまった
結果、推定円は正しい円とおよそかけ離れた形状とな
り、この時誤差量もかなり大きくなる。そこで各エッジ
点の座標の内、縦/横方向で端の座標のエッジ点を計算
から除外していって、誤差が減少するかどうかを調べて
ゆく。
【0192】ステップ(#504)ではサブルーチン
「円の最小2乗推定 再計算1」をコールする。
「円の最小2乗推定 再計算1」をコールする。
【0193】「円の最小2乗推定 再計算1」は、最小
2乗推定の計算に用いたエッジ点の内、エリアセンサー
の縦方向上部に在るエッジ点(全体の5分の1)を除外
して、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図13に示す。
2乗推定の計算に用いたエッジ点の内、エリアセンサー
の縦方向上部に在るエッジ点(全体の5分の1)を除外
して、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図13に示す。
【0194】サブルーチン「円の最小2乗推定 再計算
1」がコールされると、ステップ(#700)を経て、
次のステップ(#701)にて図中のように変数の格納
を行う。
1」がコールされると、ステップ(#700)を経て、
次のステップ(#701)にて図中のように変数の格納
を行う。
【0195】変数XS1〜ZS4は、ステップ(#50
1)で計算した全エッジ点をしようしたときの対応する
ワーク変数の値を記憶する。そして、除外するエッジ点
の個数を全エッジ点の個数Nの5分の1として変数Mに
記憶しておく。
1)で計算した全エッジ点をしようしたときの対応する
ワーク変数の値を記憶する。そして、除外するエッジ点
の個数を全エッジ点の個数Nの5分の1として変数Mに
記憶しておく。
【0196】次のステップ(#702)ではステップ
(#601)と同様に計算のワークを初期化し、ステッ
プ(#703)へ移行する。
(#601)と同様に計算のワークを初期化し、ステッ
プ(#703)へ移行する。
【0197】ステップ(#703)はステップ(#60
2)と同様のループ処理であり、このループ内で除外す
るエッジ点の最小2乗法の計算を行う。
2)と同様のループ処理であり、このループ内で除外す
るエッジ点の最小2乗法の計算を行う。
【0198】本発明の実施例では、エリアセンサーを縦
方向上部から読み込む構成にしているから、エッジ情報
を記憶している配列変数EDGDT(m,k)には、縦
方向の上部のエッジから順に格納されている。従って、
EDGDT(m,k)のmを0からアップカウントして
いけば、縦方向上のエッジ点から取り出せることにな
る。
方向上部から読み込む構成にしているから、エッジ情報
を記憶している配列変数EDGDT(m,k)には、縦
方向の上部のエッジから順に格納されている。従って、
EDGDT(m,k)のmを0からアップカウントして
いけば、縦方向上のエッジ点から取り出せることにな
る。
【0199】さて、ステップ(#703)のループ内の
最初のステップ(#704)ではエッジ点(X,Y)が
瞳孔エッジとして有効か否かを判別しているが、これは
ステップ(#603)〜(#608)と全く同様であ
る。
最初のステップ(#704)ではエッジ点(X,Y)が
瞳孔エッジとして有効か否かを判別しているが、これは
ステップ(#603)〜(#608)と全く同様であ
る。
【0200】瞳孔エッジ点として有効と見なされた場合
にはステップ(#705)へ移行し、これもまたステッ
プ(#609)と同じ計算を実行する。
にはステップ(#705)へ移行し、これもまたステッ
プ(#609)と同じ計算を実行する。
【0201】そして、次のステップ(#706)にて、
新たに計算したエッジ点の個数Nと除外すべきエッジ点
の個数Mを比較し、M個の計算が終了すれば分岐し、外
側のステップ(#703)のループ処理を中止する。M
個に達していない場合は、ループ変数Lをカウントアッ
プし、再びステップ(#704)移行の処理を続行す
る。
新たに計算したエッジ点の個数Nと除外すべきエッジ点
の個数Mを比較し、M個の計算が終了すれば分岐し、外
側のステップ(#703)のループ処理を中止する。M
個に達していない場合は、ループ変数Lをカウントアッ
プし、再びステップ(#704)移行の処理を続行す
る。
【0202】M個の計算が終了するとステップ(#70
8)へ分岐し、瞳孔円の中心(a,b)および誤差量E
R’を再計算する。再計算の式は次のようになる。
8)へ分岐し、瞳孔円の中心(a,b)および誤差量E
R’を再計算する。再計算の式は次のようになる。
【0203】X1=X1S−X1…(16’) X2=X2S−X2…(17’) X3=X3S−X3…(18’) Y1=Y1S−Y1…(19’) Y2=Y2S−Y2…(20’) Y3=Y3S−Y3…(21’) Z1=Z1S−Z1…(22’) Z2=Z2S−Z2…(23’) Z3=Z3S−Z3…(24’) X4=X4S−X4…(38’) Y4=Y4S−Y4…(39’) Z4=Z4S−Z4…(40’) そして、式(25)〜(35)、(37)〜(41)を
計算し直せば、新たな瞳孔中心(a,b)と誤差量E
R’を得ることが出来る。式(16)〜(40)はもと
もと逐次形式になっているため、再び全データを計算し
直す必要はなく、除外したいデータの加算(あるいは累
乗加算)を計算して、元の値から減算すれば済む。
計算し直せば、新たな瞳孔中心(a,b)と誤差量E
R’を得ることが出来る。式(16)〜(40)はもと
もと逐次形式になっているため、再び全データを計算し
直す必要はなく、除外したいデータの加算(あるいは累
乗加算)を計算して、元の値から減算すれば済む。
【0204】再計算が終った後は、ステップ(#70
9)へ移行し、サブルーチン「円の最小2乗推定 再計
算1」をリターンする。
9)へ移行し、サブルーチン「円の最小2乗推定 再計
算1」をリターンする。
【0205】図11に戻って、ステップ(#504)を
完了すると、ステップ(#505)へ移行し、再計算し
た誤差量ER’としきい値ERTHRを比較する。E
R’が小さい場合は、除外操作が効を奏したものとし
て、ステップ(#514)へ分岐し、検出成功とする。
完了すると、ステップ(#505)へ移行し、再計算し
た誤差量ER’としきい値ERTHRを比較する。E
R’が小さい場合は、除外操作が効を奏したものとし
て、ステップ(#514)へ分岐し、検出成功とする。
【0206】未だ誤差量ER’が大きい場合には、ステ
ップ(#506)へ移行し、別のサブルーチン「円の最
小2乗推定 再計算2」をコールする。
ップ(#506)へ移行し、別のサブルーチン「円の最
小2乗推定 再計算2」をコールする。
【0207】「円の最小2乗推定 再計算2」は、最小
2乗推定の計算に用いたエッジ点の内、エリアセンサー
の縦方向下部に在るエッジ点(全体の5分の1)を除外
して、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図13(B)に示す。
2乗推定の計算に用いたエッジ点の内、エリアセンサー
の縦方向下部に在るエッジ点(全体の5分の1)を除外
して、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図13(B)に示す。
【0208】「再計算2」は「再計算1」とほとんど同
様であるが、「再計算1」と違って縦方向下部のエッジ
点から除外してゆくようにするため、ステップ(#71
2)においてループ変数Lを(EDGCNT−1)から
ダウンカウントさせている。その他は「再計算1」と全
く同様であるため、説明を省略する。
様であるが、「再計算1」と違って縦方向下部のエッジ
点から除外してゆくようにするため、ステップ(#71
2)においてループ変数Lを(EDGCNT−1)から
ダウンカウントさせている。その他は「再計算1」と全
く同様であるため、説明を省略する。
【0209】再び図11に戻って説明を続ける。
【0210】ステップ(#506)のサブルーチン「円
の最小2乗推定 再計算2」を完了すると、ステップ
(#507)へ移行し、再計算した誤差量ER’としき
い値ERYHRを比較する。ER’が小さい場合は、除
外操作が有効であったものとして、ステップ(#51
4)へ分岐し、検出成功と見なす。
の最小2乗推定 再計算2」を完了すると、ステップ
(#507)へ移行し、再計算した誤差量ER’としき
い値ERYHRを比較する。ER’が小さい場合は、除
外操作が有効であったものとして、ステップ(#51
4)へ分岐し、検出成功と見なす。
【0211】未だ誤差量ER’が大きい場合には、ステ
ップ(#508)へ移行し、さらに別のサブルーチン
「円の最小2乗推定 再計算3」をコールする。
ップ(#508)へ移行し、さらに別のサブルーチン
「円の最小2乗推定 再計算3」をコールする。
【0212】「円の最小2乗推定 再計算3」では、今
度は最小2乗推定の計算に用いたエッジ点の内、エリア
センサーの横方向左部に在るエッジ点(全体の5分の
1)を除外して、再び最小2乗推定の計算を行うサブル
ーチンであり、そのフローチャートを図13(C)に示
す。
度は最小2乗推定の計算に用いたエッジ点の内、エリア
センサーの横方向左部に在るエッジ点(全体の5分の
1)を除外して、再び最小2乗推定の計算を行うサブル
ーチンであり、そのフローチャートを図13(C)に示
す。
【0213】サブルーチン「再計算3」がコールされる
と、ステップ(#720)を経て、ステップ(#72
1)にて、エッジ情報を記憶している配列変数EDGD
T(m,k)の並べ換えを行う。
と、ステップ(#720)を経て、ステップ(#72
1)にて、エッジ情報を記憶している配列変数EDGD
T(m,k)の並べ換えを行う。
【0214】先にも説明したように、EDGDT(m,
k)にはエリアセンサーの縦方向のエッジ点から順に格
納されているため、横方向に注目して処理を行うために
は、EDGDTに格納されているデータの並べ換えが必
要である。
k)にはエリアセンサーの縦方向のエッジ点から順に格
納されているため、横方向に注目して処理を行うために
は、EDGDTに格納されているデータの並べ換えが必
要である。
【0215】EDGDT(m,2)にはエッジ点の横方
向(X軸座標)の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、EDGDTに
は横方向の左からの順となったエッジ情報が再格納が可
能である。
向(X軸座標)の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、EDGDTに
は横方向の左からの順となったエッジ情報が再格納が可
能である。
【0216】並べ換えを実行すると、ステップ(#70
2)へ分岐し、後は「再計算1」と全く同様の処理を行
えば、エリアセンサーの横方向左右のエッジ点を除外し
た再計算ができる。
2)へ分岐し、後は「再計算1」と全く同様の処理を行
えば、エリアセンサーの横方向左右のエッジ点を除外し
た再計算ができる。
【0217】再び、図11に戻って、ステップ(#50
8)のサブルーチン「円の最小2乗推定 再計算3」を
完了すると、ステップ(#509)へ移行し、再計算し
た誤差量ER’としきい値ERTHRを比較する。E
R’が小さい場合は、除外操作が有効であったものとし
て、ステップ(#514)へ分岐し、検出成功と見な
す。
8)のサブルーチン「円の最小2乗推定 再計算3」を
完了すると、ステップ(#509)へ移行し、再計算し
た誤差量ER’としきい値ERTHRを比較する。E
R’が小さい場合は、除外操作が有効であったものとし
て、ステップ(#514)へ分岐し、検出成功と見な
す。
【0218】未だ誤差量ER’が大きい場合には、ステ
ップ(#510)へ移行し、さらに別のサブルーチン
「円の最小2乗推定 再計算4」をコールする。
ップ(#510)へ移行し、さらに別のサブルーチン
「円の最小2乗推定 再計算4」をコールする。
【0219】「円の最小2乗推定 再計算4」では、今
度は最小2乗推定の計算に用いたエッジ点の内、エリア
センサーの横方向右部に在るエッジ点(全体の5分の
1)を除外して、再び最小2乗推定の計算を行うサブル
ーチンであり、そのフローチャートを図13(D)に示
す。
度は最小2乗推定の計算に用いたエッジ点の内、エリア
センサーの横方向右部に在るエッジ点(全体の5分の
1)を除外して、再び最小2乗推定の計算を行うサブル
ーチンであり、そのフローチャートを図13(D)に示
す。
【0220】いま配列変数EDGDT(m,k)には、
横方向の左から順のエッジ点が格納されているから、右
から順にエッジ点を除外しようとすれば、EDGDT
(m,k)を「再計算2」と同じように取り扱えば良
い。そこで、サブルーチン「再計算4」をコールされれ
ば直ちにステップ(#711)へ分岐して、「再計算
2」と同様の処理を行うようにしている。
横方向の左から順のエッジ点が格納されているから、右
から順にエッジ点を除外しようとすれば、EDGDT
(m,k)を「再計算2」と同じように取り扱えば良
い。そこで、サブルーチン「再計算4」をコールされれ
ば直ちにステップ(#711)へ分岐して、「再計算
2」と同様の処理を行うようにしている。
【0221】再び、図11に戻って説明を続ける。
【0222】ステップ(#510)のサブルーチン「円
の最小2乗推定 再計算4」を完了すると、ステップ
(#511)へ移行し、再計算した誤差量ER’としき
い値ERTHRを比較する。ER’が小さい場合は、除
外操作が有効であったものとして、ステップ(#51
4)へ分岐し、検出成功と見なす。
の最小2乗推定 再計算4」を完了すると、ステップ
(#511)へ移行し、再計算した誤差量ER’としき
い値ERTHRを比較する。ER’が小さい場合は、除
外操作が有効であったものとして、ステップ(#51
4)へ分岐し、検出成功と見なす。
【0223】未だ誤差量ER’が大きい場合には、ステ
ップ(#512)へ移行し、上述の操作が有効に働かな
かったものとして、ステップ(#512)へ移行し、検
出失敗とする。
ップ(#512)へ移行し、上述の操作が有効に働かな
かったものとして、ステップ(#512)へ移行し、検
出失敗とする。
【0224】ステップ(#512)あるいは(#51
4)で瞳孔中心の検出が最終判断されると、ステップ
(#513)へ移行する。
4)で瞳孔中心の検出が最終判断されると、ステップ
(#513)へ移行する。
【0225】ステップ(#513)では、サブルーチン
「読み出し範囲設定」を実行する。図11(B)はサブ
ルーチン「読み出し範囲設定」のフローチャートであ
る。サブルーチン「読み出し範囲設定」がコールされる
と、ステップ(#800)を経て、ステップ(#80
1)以降の読み出し範囲の設定動作を実行していく。
「読み出し範囲設定」を実行する。図11(B)はサブ
ルーチン「読み出し範囲設定」のフローチャートであ
る。サブルーチン「読み出し範囲設定」がコールされる
と、ステップ(#800)を経て、ステップ(#80
1)以降の読み出し範囲の設定動作を実行していく。
【0226】まず、ステップ(#801)では、視線の
検出が成功したか否かの判別を行ない、成功したならば
ステップ(#802)へ移行し、失敗したならばステッ
プ(#803)へ移行する。
検出が成功したか否かの判別を行ない、成功したならば
ステップ(#802)へ移行し、失敗したならばステッ
プ(#803)へ移行する。
【0227】ステップ(#802)では、前記ステップ
(#610)で求めた瞳孔円の中心(A,B)の座標を
中心に、上下、左右に30画素ずつ広げたエリアを次回
の視線検出実行時の読み出しエリアとして設定する。
(#610)で求めた瞳孔円の中心(A,B)の座標を
中心に、上下、左右に30画素ずつ広げたエリアを次回
の視線検出実行時の読み出しエリアとして設定する。
【0228】これにより、次回の視線検出動作におい
て、必要最小限の像信号だけを読む事が可能になり、時
間の短縮が達成できる。またステップ(#803)で
は、イメージセンサーの読み出し範囲を全領域に設定し
直す、すなわち、初期化する。
て、必要最小限の像信号だけを読む事が可能になり、時
間の短縮が達成できる。またステップ(#803)で
は、イメージセンサーの読み出し範囲を全領域に設定し
直す、すなわち、初期化する。
【0229】これは、たとえば撮影者のファインダーの
覗き方が急に変ったりして検出が失敗した時の対策で、
イメージセンサーの読み出しを全領域に戻す必要がある
ためである。
覗き方が急に変ったりして検出が失敗した時の対策で、
イメージセンサーの読み出しを全領域に戻す必要がある
ためである。
【0230】そしてステップ(#804)で、サブルー
チン「読み出し範囲設定」をリターンすると、ステップ
(#514)へ移行する。ステップ(#514)では、
サブルーチン「瞳孔中心の検出」をリターンする。
チン「読み出し範囲設定」をリターンすると、ステップ
(#514)へ移行する。ステップ(#514)では、
サブルーチン「瞳孔中心の検出」をリターンする。
【0231】図14に本発明の実施例の最小2乗法の一
例を紹介する。
例を紹介する。
【0232】図中の●が1つのエッジ点を示し、これら
のエッジ点に基づいて瞳孔円を推定したものである。
のエッジ点に基づいて瞳孔円を推定したものである。
【0233】図6の説明に戻る。
【0234】ステップ(#064)での「瞳孔中心の検
出」が完了するとステップ(#065)へ移行し、サブ
ルーチン「視線の検出」をコールする。
出」が完了するとステップ(#065)へ移行し、サブ
ルーチン「視線の検出」をコールする。
【0235】「視線の検出」は、これまでの処理で検出
したP像位置および瞳孔円の中心位置から、視線(注視
点)を検出するサブルーチンである。
したP像位置および瞳孔円の中心位置から、視線(注視
点)を検出するサブルーチンである。
【0236】基本的には、前述した公知例と同様に、式
(2)に従って、眼球光軸の回転角θを計算すれば良
い。
(2)に従って、眼球光軸の回転角θを計算すれば良
い。
【0237】本発明の実施例では、瞳孔中心を横方向
(X軸)、縦方向(Y軸)の2次元で検出しているの
で、公知例のように横方向のみではなく、縦方向の視線
の方向も横方向の検出と同様な考え方で、検出すること
ができる。
(X軸)、縦方向(Y軸)の2次元で検出しているの
で、公知例のように横方向のみではなく、縦方向の視線
の方向も横方向の検出と同様な考え方で、検出すること
ができる。
【0238】視線の検出が完了すると、ステップ(#0
66)へ移行し、一連の処理を終了する。
66)へ移行し、一連の処理を終了する。
【0239】これまで説明してきた実施例では、瞳孔円
の中心から、上下左右にある画素数分を有する様なエリ
アを次回の読み出し範囲として設定しているが、前述し
た式36より、瞳孔円の半径を求め、この半径のn倍
(nは実数)の長さを有する正方形又は長方形のエリア
を次回の読み出し範囲として設定しても有効である。
の中心から、上下左右にある画素数分を有する様なエリ
アを次回の読み出し範囲として設定しているが、前述し
た式36より、瞳孔円の半径を求め、この半径のn倍
(nは実数)の長さを有する正方形又は長方形のエリア
を次回の読み出し範囲として設定しても有効である。
【0240】
【発明の効果】本発明によれば、視線検出動作を行なう
際、眼球像を受光する受光手段の読み出し範囲を制限す
る制限手段を設けたことにより、例えば本発明をサーボ
AF機能を有するカメラに適用した場合、サーボAF時
で、ある間隔でくり返し視線検出動作を行なう必要があ
る時に、視線検出動作の処理時間を極力短縮し、応答性
を低下させることなく視線検出動作を行ないながら、オ
ートフォーカスを機能させる事ができるといった応答性
に優れた視線検出の情報を出力できる視線検出装置を実
現することができる。
際、眼球像を受光する受光手段の読み出し範囲を制限す
る制限手段を設けたことにより、例えば本発明をサーボ
AF機能を有するカメラに適用した場合、サーボAF時
で、ある間隔でくり返し視線検出動作を行なう必要があ
る時に、視線検出動作の処理時間を極力短縮し、応答性
を低下させることなく視線検出動作を行ないながら、オ
ートフォーカスを機能させる事ができるといった応答性
に優れた視線検出の情報を出力できる視線検出装置を実
現することができる。
【図1】イメージセンサー上に投影される眼球像の一例
を示す図。
を示す図。
【図2】本発明を有効に実施することができるカメラの
要部概略図。
要部概略図。
【図3】図2のカメラのファインダー視野内を示す図。
【図4】図2のカメラの電気回路を示す図。
【図5】図2のカメラの全体の動作を説明するフローチ
ャート。
ャート。
【図6】図5のフローチャートの視線検出動作の全体的
なフローチャート。
なフローチャート。
【図7】図5のフローチャートの1ライン読み込み動作
のフローチャート。
のフローチャート。
【図8】図5のフローチャートのP像検出動作のフロー
チャート。
チャート。
【図9】図5のフローチャートの瞳孔エッジの検出動作
のフローチャート。
のフローチャート。
【図10】図5のフローチャートの瞳孔推定範囲動作の
フローチャート。
フローチャート。
【図11】図5のフローチャートの瞳孔中心の検出動作
のフローチャート。
のフローチャート。
【図12】図11(A)の円の最小2乗推定動作のフロ
ーチャート。
ーチャート。
【図13】図11(A)の円の最小2乗推定再計算1〜
4の動作のフローチャート。
4の動作のフローチャート。
【図14】最小2乗法の一例を示す図。
【図15】視線検出方法の原理説明図。
1…撮影レンズ 2…主ミラー 6…焦点検出装置 6f…イメージセ
ンサー 7…ピント板 10…測光センサ
ー 11…接眼レンズ 13…赤外発光ダイオード(IRED) 14…イメージセンサー(CCD−EYE) 15…眼球 16…角膜 17…虹彩 21…スーパーイ
ンポーズ用LED 24…ファインダー内LCD 25…照明用LE
D 31…絞り 50…眼球の白目
部分 51…眼球の瞳孔部分 100…CPU 101…視線検出回路 103…焦点検出
回路 104…信号入力回路 105…LCD駆
動回路 106…LED駆動回路 107…IRED
駆動回路 110…焦点調節回路 200〜204…
測距点マーク
ンサー 7…ピント板 10…測光センサ
ー 11…接眼レンズ 13…赤外発光ダイオード(IRED) 14…イメージセンサー(CCD−EYE) 15…眼球 16…角膜 17…虹彩 21…スーパーイ
ンポーズ用LED 24…ファインダー内LCD 25…照明用LE
D 31…絞り 50…眼球の白目
部分 51…眼球の瞳孔部分 100…CPU 101…視線検出回路 103…焦点検出
回路 104…信号入力回路 105…LCD駆
動回路 106…LED駆動回路 107…IRED
駆動回路 110…焦点調節回路 200〜204…
測距点マーク
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 G03B 13/02 7139−2K H04N 5/232 Z 7316−2K G03B 3/00 A
Claims (4)
- 【請求項1】 観察者の眼球を照明する照明手段と、観
察者の眼球像を受光し、2次元方向の光強度分布を検知
する受光手段と、前記受光手段から時系列に出力される
光電変換信号を読み出す読み出し手段と、前記光電変換
信号から瞳孔部を検出する瞳孔検出手段と、観察者の眼
球像から光源の角膜反射像を検出する角膜反射像検出手
段と、前記瞳孔と角膜反射像の位置関係から、観察者の
視線を検出する手段と、前記視線を検出する手段が検出
可能か不能かを判定する判定手段とを有する視線検出装
置において、 2回目以降の視線検出装置の動作中は、前記読み出し手
段は、前記受光手段の読み出し範囲に制限をかける制限
手段を有することを特徴とする視線検出装置。 - 【請求項2】 前記制限手段は前記瞳孔の中心から一定
の範囲を指定することを特徴とする請求項1記載の視線
検出装置。 - 【請求項3】 前記制限手段は前記瞳孔の半径のある倍
数の範囲を指定する事を特徴とする請求項1記載の視線
検出装置。 - 【請求項4】 前記制限手段は、前記判定手段の結果に
より初期値に戻すことを特徴とする請求項1記載の視線
検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4291725A JPH06138370A (ja) | 1992-10-29 | 1992-10-29 | 視線検出装置 |
US08/779,908 US6035054A (en) | 1992-10-29 | 1997-01-07 | Visual axis detection apparatus and optical apparatus provided therewith |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4291725A JPH06138370A (ja) | 1992-10-29 | 1992-10-29 | 視線検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06138370A true JPH06138370A (ja) | 1994-05-20 |
Family
ID=17772590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4291725A Pending JPH06138370A (ja) | 1992-10-29 | 1992-10-29 | 視線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06138370A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016500859A (ja) * | 2012-09-27 | 2016-01-14 | ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング | 眼および視線追跡のためのタイル画像ベースの頭位置の走査 |
-
1992
- 1992-10-29 JP JP4291725A patent/JPH06138370A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016500859A (ja) * | 2012-09-27 | 2016-01-14 | ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング | 眼および視線追跡のためのタイル画像ベースの頭位置の走査 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5987151A (en) | Apparatus for detecting visual axis | |
JP3352238B2 (ja) | 視線検出装置及びカメラ | |
US6035054A (en) | Visual axis detection apparatus and optical apparatus provided therewith | |
US5561289A (en) | Device for detecting line of sight | |
US5402199A (en) | Visual axis detecting apparatus | |
JPH08271784A (ja) | 視線検出機能付き光学機器 | |
US5719388A (en) | Apparatus for processing an output signal from an area sensor having a plurality of photoelectric conversion elements | |
US5737642A (en) | Camera having a line-of-sight detecting means | |
US5576796A (en) | Optical apparatus having function to detect visual axis | |
US5706071A (en) | Line of sight detection apparatus and an equipment having the line of sight detection apparatus | |
JPH06138370A (ja) | 視線検出装置 | |
JP3256294B2 (ja) | 視線検出装置および視線検出方法 | |
JP3176147B2 (ja) | 視線検出装置 | |
JP3530647B2 (ja) | 視線検出装置及び光学装置 | |
JP3530648B2 (ja) | 視線検出装置及び光学装置 | |
JP3391892B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
JPH10148864A (ja) | カメラの測光装置 | |
JPH07148114A (ja) | 視線検出装置及び視線検出方法 | |
JPH04347127A (ja) | 視線検出装置 | |
JPH09281385A (ja) | 視線検出機能付きカメラ | |
JP3332581B2 (ja) | 光学装置、カメラ、視線検出装置、視線検出方法、及び、接眼部と眼球位置の相対位置判別方法。 | |
JPH06138372A (ja) | 視線検出装置 | |
JPH06138376A (ja) | 視線検出装置 | |
JPH06148512A (ja) | 視線検出装置 | |
JPH0876006A (ja) | 視線検出機能付きカメラ |