JP3605080B2 - 視線検出装置 - Google Patents

視線検出装置 Download PDF

Info

Publication number
JP3605080B2
JP3605080B2 JP2002027173A JP2002027173A JP3605080B2 JP 3605080 B2 JP3605080 B2 JP 3605080B2 JP 2002027173 A JP2002027173 A JP 2002027173A JP 2002027173 A JP2002027173 A JP 2002027173A JP 3605080 B2 JP3605080 B2 JP 3605080B2
Authority
JP
Japan
Prior art keywords
line
sight
gaze
calibration
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002027173A
Other languages
English (en)
Other versions
JP2002301032A (ja
Inventor
明彦 長野
山田  晃
良昭 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002027173A priority Critical patent/JP3605080B2/ja
Publication of JP2002301032A publication Critical patent/JP2002301032A/ja
Application granted granted Critical
Publication of JP3605080B2 publication Critical patent/JP3605080B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Eye Examination Apparatus (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は観察者の眼球を照明して得られた反射像から観察者の視線方向を検出する視線検出装置に関するものである。
【0002】
【従来の技術】
従来より観察者が観察面上のどの位置を観察しているかを検出する、所謂視線(視軸)を検出する装置(例えばアイカメラ)が種々提供されている。
【0003】
例えば特開平1−274736号公報においては、光源からの平行光束を観察者の眼球の前眼部へ投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して視軸を求めている。
【0004】
又、本出願人は、特願平3−11492において観察者の視線の個人差を補正する視線のキャリブレーションを行なった視線検出装置を有した光学装置を提案している。
【0005】
図25は公知の視線検出方法の原理説明図である。同図において13a、13bは各々観察者に対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源13a,13bは受光レンズ12の光軸に対してx方向に略対称に配置され観察者の眼球15を発散照明している。眼球15で反射した照明光の一部は受光レンズ12によってイメージセンサー14に集光する。
【0006】
図24(A)はイメージセンサー14に投影される眼球像の概略図、図24(B)は図25のイメージセンサー14からの出力信号の強度図ある。以下各図を用いて視線の検出方法を説明する。
【0007】
光源13bより放射された赤外光は観察者の眼球15の角膜16を照明する。このとき角膜16の表面で反射した赤外光の一部により形成される角膜反射像d(虚像)は受光レンズ12により集光されイメージセンサー14上の位置d’に結像する。
【0008】
同様に光源13aより放射された赤外光は眼球15の角膜16を照明する。このとき角膜16の表面で反射した赤外光の一部により形成された角膜反射像eは受光レンズ12により集光され、イメージセンサー14上の位置e’に結像する。また虹彩17の端部a、bからの光束は受光レンズ12を介してイメージセンサー14上の位置a’,b’に該端部a,bの像を結像する。
【0009】
受光レンズ12の光軸に対する眼球15の光軸の回転角θが小さい場合、虹彩17の端部a、bのx座標をxa、xbとすると、瞳孔19の中心位置cの座標xcは、
xc≒(xa+xb)/2
と表わされる。
【0010】
又、角膜反射像d及びeの中点のx座標と角膜16の曲率中心Oのx座標xoとはほぼ一致する。このため、角膜反射像の発生位置d、eのx座標をxd,xe、角膜16の曲率中心Oと瞳孔19の中心Cまでの標準的な距離をOCとし、距離OCに対する個人差を考慮する係数(視線補正係数)をAとすると眼球15の光軸15aの回転角θは、
(A*OC)*SINθ≒xc−(xd+xe)/2 ‥‥‥(1)
の関係式を略満足する。
このため図24に示したようにイメージセンサー14上に投影された眼球15の各特徴点(角膜反射像d、e及び虹彩の端部a、b)の位置を検出することにより眼球15の光軸15aの回転角θを求めることができる。この時(1)式は、
β*(A*OC)*SINθ≒(xa’+xb)/2−(xd’+xe’)/2‥‥‥(2)
とかきかえられる。但し、βは受光レンズ12に対する眼球15の位置により決まる倍率で、実質的には角膜反射像の間隔|xd’−xe’|の関数として求められる。
【0011】
眼球15の光軸の回転角θは、
θ≒ARCSIN{(xc’−xf’)/β/(A*OC)}‥‥‥(3)
と書き換えられる。ただし、
xc’≒(xa’+xb’)/2
xf’≒(xd’+xe’)/2
ところで観察者の眼球15の光軸15aと視軸とは一致しないため、観察者の眼球の光軸の水平方向の回転角θが算出されると、眼球の光軸と視軸との角度差αを補正することにより撮影者の水平方向の視線θxは求められる。
【0012】
眼球の光軸と視軸との補正角度αに対する個人差を考慮する係数(視線補正係数)をBとすると観察者の水平方向の視線θxは、
θx=θ±(B*α)‥‥‥(4)
と求められる。ここで符号±は、観察者に関して右への回転角を正とすると、観察装置(ファインダー系)をのぞく観察者の目が左目の場合は+、右目の場合は−の符号が選択される。
【0013】
又、同図においては、観察者の眼球がz−x平面(例えば水平面)内で回転する例を示しているが、観察者の眼球がy−z平面(例えば垂直面)内で回転する場合においても同様に検出可能である。ただし、観察者の視線の垂直方向の成分は眼球の光軸の垂直方向の成分θ’と一致するため垂直方向の視線θyは、
θy=θ’
となる。
【0014】
さらに、光学装置として一眼レフカメラを用いた場合においては視線データθx,θyより観察者が見ているピント板上の位置(xn,yn)は、
Figure 0003605080
と求められる。
【0015】
ただし、mはカメラのファインダー光学系で決まる定数である。ここで視線の個人差を補正する係数はA、Bと二つであるため、例えば観察者に位置の異なる二つの視標を見てもらいそのときに算出される観察者の眼球の回転角から前記係数A、Bを求めることが可能である。
【0016】
又、視線の個人差を補正する係数A,Bは、通常観察者の眼球の水平方向の回転に対応するものであるため、カメラのファインダー内に配設される二つの視標は観察者に対して水平方向になるように設定されている。
【0017】
視線の個人差を補正する係数A,Bが求まり、(5)式を用いてカメラのファインダー系を覗く観察者の視線のピント板上の位置が算出されると、その視線情報をレンズの焦点調節あるいは露出制御等に利用することが可能となる。
【0018】
【発明が解決しようとする課題】
上記、従来例で説明した視線検出機能を有したカメラには以下のような課題がある。
【0019】
イメージセンサーを用いて眼球からの反射光を受光する場合、イメージセンサーに取り込まれた画像データの全てを読み出そうとすると多くの時間がかかり、極短時間で視線検出動作を行うことの妨げになっていた。
【0020】
【課題を解決するための手段】
上記課題を解決するために、本願の請求項1に記載の発明は、眼球からの反射光を受光するイメージセンサーと、前記イメージセンサーの出力を読み出す読み出し手段とを有し、前記イメージセンサーの出力に基づいて観察者の視線を検出する視線検出手段と、前記読み出し手段が読み出した出力に基づいて、次回のイメージセンサーの読み出し領域を設定する読み出し領域設定手段を有することを特徴とする視線検出装置を提供する。
【0021】
上記構成によれば、イメージセンサーの出力を効率良く読み出して視線検出を行うことができるため、視線検出時間の高速化を図ることができるようになる。
【0022】
【発明の実施の形態】
図1は本発明を一眼レフカメラに適用したときの実施の形態の要部概略図、図2(A),(B)は図1の一眼レフカメラの上部外観図と背面図、図3は図1のファインダー視野図である。
【0023】
図中1は撮影レンズであり、図1では便宜上2枚のレンズ1a,1bで示したが、実際は多数のレンズから構成されている。2は主ミラーで、観察状態と撮影状態に応じて撮影光路へ斜設されあるいは退去される。3はサブミラーで、主ミラー2を透過した光束をカメラボディの下方へ向けて反射する。4はシャッター、5は感光部材で、銀塩フィルムあるいはCCDやMOS型等の固体撮像素子あるいはビディコン等の撮像管より成っている。
【0024】
6は焦点検出装置であり、結像面近傍に配置されたフィールドレンズ6a,反射ミラー6b及び6c,2次結像レンズ6d,絞り6e,複数のCCDからなるラインセンサー6f等から構成されている周知の位相差方式を採用している。同図の焦点検出装置6は、図3に示すように観察画面内213の複数の領域(5箇所の測距点マーク200〜204)を焦点検出可能なように構成されている。
【0025】
7は撮影レンズ1の予定結像面に配置されたピント板、8はファインダー光路変更用のペンタプリズム、9,10は観察画面内の被写体輝度を測定するための結像レンズと測光センサーで、結像レンズ9はペンタダハプリズム8内の反射光路を介してピント板7と測光センサー10を共役に関係付けている。
【0026】
次にペンタダハプリズム8の射出面後方には光分割器11aを備えた接眼レンズ11が配され、撮影者の眼15によるピント板7の観察に使用される。光分割器11aは、例えば可視光を透過し赤外光を反射するダイクロイックミラーより成っている。12は受光レンズ、14はCCD等の光電素子列を2次元的に配したイメージセンサーで受光レンズ12に関して所定の位置にある撮影者の眼15の瞳孔近傍と共役になるように配置されている。
【0027】
イメージセンサー14と受光レンズ12は受光手段の一要素を構成している。13,13a〜13fは各々撮影者の眼15の照明光源(投光手段)であるところの赤外発光ダイオードで、図2(B)に示すように接眼レンズ11の回りに配置されている。
【0028】
21は明るい被写体の中でも視認できる高輝度のスーパーインポーズ用LEDである。スーパーインポーズ用LEDから発光された光は投光用プリズム22、主ミラー2で反射してピント板7の表示部に設けた微小プリズムアレイ7aで垂直方向に曲げられ、ペンタプリズム8、接眼レンズ11を通って撮影者の眼15に達する。そこでピント板7の焦点検出領域に対応する位置にこの微小プリズムアレイ7aを枠状に形成し、これを各々に対応した5つのスーパーインポーズ用LED21(各々をLED−L1,LED−L2,LED−C,LED−R1,LED−R2とする)によって照明する。
【0029】
これによって図3に示したファインダー視野図から分かるように、各々の測距点マーク200,201,202,203,204がファインダー視野内213で光り、焦点検出領域(測距点)を表示させている(以下これをスーパーインポーズ表示という)。
【0030】
ここで左右端の測距点マーク200,204の内部には、ドットマーク205,206が刻印されており、これは後述するように眼球の個人差による視線の検出誤差を補正するための視線補正データ(視線補正係数)A,Bを採取する(以下この動作をキャリブレーションと称す)際の視標を示すものである。
【0031】
23はファインダー視野領域を形成する視野マスク、24はファインダー視野外に撮影情報を表示するためのファインダー内LCDで、照明用LED(FーLED)25によって照明されている。ファインダー内LCD24を透過した光は三角プリズム26によってファインダー内に導かれ、図3のファインダー視野外207に表示され、撮影者は該撮影情報を観察している。27は姿勢検知手段でありカメラの姿勢を検知する水銀スイッチである。
【0032】
31は撮影レンズ1内に設けた絞り、32は後述する絞り駆動回路111を含む絞り駆動装置、33はレンズ駆動用モーター、34は駆動ギヤ等からなるレンズ駆動部材、35はフォトカプラーでレンズ駆動部材34に連動するパルス板36の回転を検知してレンズ焦点調節回路110に伝えている。レンズ焦点調節回路110は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モーターを所定量駆動させ、撮影レンズ1の合焦レンズ1aを合焦位置に移動させている。37は公知のカメラとレンズとのインターフェイスとなるマウント接点である。
【0033】
図2において、41はレリーズ釦、42は外部モニター表示装置としてのモニター用LCDで予め決められたパターンを表示する固定セグメント表示部42aと、可変数値表示用の7セグメント表示部42bとからなっている。43は測光値を保持するAEロック釦、44はモードダイヤルで撮影モード等の選択を行なっている。他の操作部材については本発明の理解において特に必要ないので省略する。
【0034】
図4(A)は図2のモードダイヤル44の詳細説明図である。モードダイヤル44はカメラ本体に印された指標55に表示を合わせることによって、その表示内容で撮影モードが設定される。44aはカメラを不作動とするロックポジション、44bはカメラが予め設定した撮影プログラムによって制御される自動撮影モードのポジション、44cは撮影者が撮影内容を設定できるマニュアル撮影モードで、プログラムAE、シャッター優先AE、絞り優先AE、被写体深度優先AE、マニュアル露出の各撮影モードをもっている。44dは後述する視線のキャリブレーションを行なうキャリブレーションモードとなる「CAL」ポジションである。
【0035】
図4(B)はモードダイヤル44の内部構造の説明図である。46はフレキシブルプリント基板でモードダイヤルスイッチとしてのスイッチパターン(M11,M21,M31,M41)とGNDパターンを図示されているように配置し、モードダイヤル44の回動に連動しているスイッチ接片47の4本の接片(47a,47b,47c,47d)を摺動させることによって4ビットでモードダイヤル44に示した13のポジションが設定できるようになっている。
【0036】
図2(A)において45は電子ダイヤルで、回転してクリックパルスを発生させることによってモードダイヤルで選択されたモードの中でさらに選択し得る設定値を選択するためのものである。例えばモードダイヤル44にてシャッター優先の撮影モードを選択すると、ファインダー内LCD24及びモニター用LCD42には、現在設定されているシャッタースピードが表示される。撮影者が電子ダイヤル45を回転させるとその回転方向にしたがって現在設定されているシャッタースピードから順次シャッタースピードが変化していくように構成されている。
【0037】
図5(A),(B)はこの電子ダイヤル45の内部構造を示した詳細図である。電子ダイヤル45とともに回転するクリック板48が配置され、これにはプリント基板49が固定されている。プリント基板49にはスイッチパターン49a(SWDIAL−1)、49b(SWDIAL−2)とGNDパターン49cが図示されているように配置され、3個の摺動接片50a,50b、50cを持つスイッチ接片50が固定部材51に固定されている。
【0038】
クリック板48の外周部に形成されている凹部48aにはまりこむクリックボール52が配置され、このクリックボール52を付勢しているコイルバネ53が固定部材51に保持されている。また通常位置(クリックボール52が凹部48aにはまりこんでいる状態)においては摺動接片50a,50bはスイッチパターン49a,49bのどちらにも接触していない。
【0039】
このように形成されている電子ダイヤル45において、撮影者が電子ダイヤル45を図5において時計方向に回転させると、まず摺動接点50bがスイッチパターン49bに先に接触し、その後で摺動接点50aがスイッチパターン49aに接触するようにして、このタイミングで設定値をカウントアップさせる。反時計方向の回転の場合は摺動接点とスイッチパターンとの関係はこれとちょうど反対となり、同様のタイミングで今度は設定値をカウントダウンさせる。
【0040】
図5(B)はこの様子を示したタイミングチャートで、ダイヤルを回転させたときにスイッチパターン49aと49bに発生するパルス信号とそのタイミングを示している。上段は時計方向に1クリック回転させた場合を、下段は反時計方向に回転させた場合を示したもので、このようにしてカウントアップダウンのタイミングと回転方向を検出している。
【0041】
図6は本実施の形態のカメラ本体に内蔵された電気回路の要部ブロック図である。図5において図1と同一のものは同一番号をつけている。
【0042】
カメラ本体に内蔵された視線補正手段としてのマイクロコンピュータの中央処理装置(以下CPU)100には視線検出回路101、測光回路102、自動焦点検出回路103、信号入力回路104、LCD駆動回路105、LED駆動回路106、IRED駆動回路107、シャッター制御回路108、モーター制御回路109が接続されている。また撮影レンズ内に配置された焦点調節回路110、絞り駆動回路111とは図1で示したマウント接点37を介して信号の伝達がなされる。
【0043】
CPU100に付随した記憶手段としてのEEPROM100aは視線の個人差を補正する視線補正データの記憶機能を有している。モードダイヤル44の「CAL」ポジションを指標に合わせると、視線の個人差の補正を行なうための視線補正データ(以下キャリブレーションデータと称す)を取得するキャリブレーションモードが選択可能となり、各キャリブレーションデータに対応したキャリブレーションナンバーの選択及びキャリブレーション動作の「OFF」と視線検出の禁止モードの設定が電子ダイヤル45にて可能となっている。キャリブレーションデータは複数設定可能で、カメラを使用する人物で区別したり、同一の使用者であっても観察の状態が異なる場合例えば眼鏡を使用する場合とそうでない場合、あるいは視度補正レンズを使用する場合とそうでない場合等とで区別して設定するのに有効である。又、この時選択されたキャリブレーションナンバーあるいは設定された視線禁止モードの状態も後述するようにキャリブレーションデータナンバー(1,2,3‥‥あるいは0)としてEEPROM100aに記憶される。
【0044】
視線検出回路101は、イメージセンサー14(CCD−EYE)からの眼球像の出力をA/D変換しこの像情報をCPU100に送信する。CPU100は後述するように視線検出に必要な眼球像の各特徴点を所定のアルゴリズムに従って抽出し、さらに各特徴点の位置から撮影者の視線を算出する。CPU100と視線検出回路101そしてイメージセンサー14は視線検出装置の一要素を構成している。
【0045】
測光回路102は測光センサー10からの出力を増幅後、対数圧縮、A/D変換し、各センサーの輝度情報としてCPU100に送られる。測光センサー10は図3に示したファインダー視野内の左側測距点200,201を含む左領域210を測光するSPC−L、と中央の測距点202を含む中央領域211を測光するSPC−C、と右側の測距点203,204を含む右側領域212を測光するSPC−R、とこれらの周辺領域213を測光するSPC−Aとの4つのフォトダイオードから構成されている。
【0046】
ラインセンサー6fは前述のように画面内の5つの測距点200〜204に対応した5組のラインセンサーCCD−L2,CCD−L1,CCD−C,CCD−R1,CCD−R2から構成される公知のCCDラインセンサーである。自動焦点検出回路103はこれらラインセンサー6fから得た電圧をA/D変換し、CPU100に送る。
【0047】
SW−1はレリーズ釦41の第1ストロークでONし、測光、AF、視線検出動作を開始する測光スイッチ、SW−2はレリーズ釦の第2ストロークでONするレリーズスイッチ、SW−ANGは水銀スイッチ27によって検知されるところの姿勢検知スイッチ、SW−AELはAEロック釦43を押すことによってONするAEロックスイッチ、SW−DIAL1とSW−DIAL2は既に説明した電子ダイヤル45内に設けたダイヤルスイッチで信号入力回路104のアップダウンカウンターに入力され、電子ダイヤル45の回転クリック量をカウントする。SW−M11〜M41も既に説明したモードダイヤル内に設けたダイヤルスイッチである。
【0048】
これらスイッチの信号が信号入力回路104に入力されデーターバスによってCPU100に送信される。105は液晶表示素子LCDを表示駆動させるための公知のLCD駆動回路で、CPU100からの信号に従い絞り値、シャッター秒時、設定した撮影モード等の表示をモニター用LCD42とファインダー内LCD24の両方に同時に表示させている。
【0049】
LED駆動回路106は照明用LED(F−LED)22とスーパーインポーズ用LED21を点灯・点滅制御する。IRED駆動回路107は赤外発光ダイオード(IRED1〜6)13a〜13fを状況に応じて選択的に点灯させる。シャッター制御回路108は通電すると先幕を走行させるマグネットMG−1と、後幕を走行させるマグネットMG−2を制御し、感光部材に所定光量を露光させる。
【0050】
モーター制御回路109はフィルムの巻き上げ、巻戻しを行なうモーターM1と主ミラー2及びシャッター4のチャージを行なうモーターM2を制御している。これらシャッター制御回路108、モーター制御回路109によって一連のカメラのレリーズシーケンスが動作する。
【0051】
図7(A),(B)はモニター用LCD42とファインダー内LCD24の全表示セグメントの内容を示した説明図である。図7(A)において固定表示セグメント部42aには公知の撮影モード表示以外に、視線検出を行なってカメラのAF動作や撮影モードの選択などの撮影動作を視線情報を用いて制御していることを示す視線入力モード表示61を設けている。
【0052】
可変数値表示用の7セグメント部42bはシャッター秒時を表示する4桁の7セグメント62、絞り値を表示する2桁の7セグメント63と小数点64、フィルム枚数を表示する限定数値表示セグメント65と1桁の7セグメント66で構成されている。
【0053】
図7(B)において71は手ブレ警告マーク、72はAEロックマーク、73,74,75は前記のシャッター秒時表示と絞り値表示と同一の表示セグメント、76は露出補正設定マーク、77はストロボ充完マーク、78は視線入力状態であることを示す視線入力マーク、79は撮影レンズ1の合焦状態を示す合焦マークである。
【0054】
次に、視線検出装置を有したカメラの動作のフローチャートを図8に、この時のファインダー内の表示状態を図15、図16に示し、これらの図をもとに以下説明する。
【0055】
モードダイヤル44を回転させてカメラを不作動状態から所定の撮影モードに設定すると(本実施の形態ではシャッター優先AEに設定された場合をもとに説明する)カメラの電源がONされ(#100)、CPU100のEEPROMに記憶された視線のキャリブレーションデータ以外の視線検出に使われる変数がリセットされる(#101)。
【0056】
そしてカメラはレリーズ釦41が押し込まれてスイッチSW1がONされるまで待機する(#102)。レリーズ釦41が押し込まれスイッチSW1がONされたことを信号入力回路104が検知すると、CPU100は視線検出を行なう際にどのキャリブレーションデータを使用するかを視線検出回路101に確認する(#103)。
【0057】
この時、確認されたキャリブレーションデータナンバーのキャリブレーションデータが初期値のままで変更されていなかったり、あるいは視線禁止モードに設定されていたら、視線検出は実行せずに即ち、視線情報を用いずに測距点自動選択サブルーチン(#116)によって特定の測距点を選択する。この測距点において自動焦点検出回路103は焦点検出動作を行なう(#107)。測距点自動選択のアルゴリズムとしてはいくつかの方法が考えられるが、中央測距点に重み付けを置いた近点優先アルゴリズムが有効であり、ここではその一例を図9に示し、後述する。
【0058】
又、前記キャリブレーションデータナンバーに対応した視線のキャリブレーションデータが所定の値に設定されていてそのデータが撮影者により入力されたものであることが認識されると、視線検出回路101はそのキャリブレーションデータに従がって視線検出を実行する(#104)。この時LED駆動回路106は照明用LED(F−LED)25を点灯させ、LCD駆動回路105はファインダー内LCD24の視線入力マーク78を点灯させ、ファインダー視野外207で撮影者はカメラが視線検出を行なっている状態であることを確認することができるようになっている(図15(A))。
【0059】
又、7セグメント73には設定されたシャッター秒時が表示されている(本実施の形態として1/250秒のシャッター優先AEの場合を示している)。ここで視線検出回路101において検出された視線はピント板7上の注視点座標に変換される。CPU100は該注視点座標に近接した測距点を選択し、表示回路106に信号を送信してスーパーインポーズ用LED21を用いて前記測距点マークを点滅表示させる(#105)。
【0060】
図15(A),(C)では一例として測距点マーク201が選択された状態を示すものである。又、この時CPU100は、視線検出回路101で検出された注視点座標の信頼性が低い場合、その信頼性の度合に応じて選択される測距点の数を変えて表示するように信号を送信している。
【0061】
図15(B)では図15(A)の状態よりも注視点の信頼性が低く、測距点マーク201と202が選択されている状態を示している。撮影者が該撮影者の視線によって選択された測距点が表示されたのを見て、その測距点が正しくないと認識してレリーズ釦41から手を離しスイッチSW1をOFFすると(#106)、カメラはスイッチSW1がONされるまで待機する(#102)。
【0062】
又、撮影者が視線によって選択された測距点が表示されたのを見て、引続きスイッチSW1をONし続けたならば(#106)、自動焦点検出回路103は検出された視線情報を用いて1つ以上の測距点の焦点検出を実行する(#107)。ここで選択された測距点が測距不能であるかを判定し(#108)、不能であればCPU100はLCD駆動回路105に信号を送ってファインダー内LCD24の合焦マーク79を点滅させ、測距がNG(不能)であることを撮影者に警告し(#118)、スイッチSW1が離されるまで続ける(#119)。
【0063】
測距が可能であり、所定のアルゴリズムで選択された測距点の焦点調節状態が合焦でなければ(#109)、CPU100はレンズ焦点調節回路110に信号を送って撮影レンズ1の合焦レンズ1aを所定量駆動させる(#117)。レンズ駆動後に自動焦点検出回路103は再度焦点検出を行ない(#107)、撮影レンズ1が合焦しているか否かの判定を行なう(#109)。所定の測距点において撮影レンズ1が合焦していたならば、CPU100はLCD駆動回路105に信号を送ってファインダー内LCD24の合焦マーク79を点灯させるとともに、LED駆動回路106にも信号を送って合焦している測距点201に合焦表示させる(#110)(図16(A))。
【0064】
この時、前記視線によって選択された測距点の点滅表示は消灯するが、合焦表示される測距点と前記視線によって選択された測距点とは一致する場合が多いので、合焦したことを撮影者に認識させるために合焦測距点は点灯状態に設定される。合焦した測距点がファインダー内に表示されたのを撮影者が見て、その測距点が正しくないと認識してレリーズ釦41から手を離しスイッチSW1をOFFすると(#111)、引続きカメラはスイッチSW1がONされるまで待機する(#102)。
【0065】
又、撮影者が合焦表示された測距点を見て、引続きスイッチSW1をONし続けたならば(#111)、CPU100は測光回路102に信号を送信して測光を行なわせる(#112)。この時合焦した測距点を含む測光領域210〜213に重み付けを行なった露出値が演算される。
本実施の形態の場合、測距点201を含む測光領域210に重み付けされた公知の測光演算を行ない、この演算結果として7セグメント74と小数点75を用いて絞り値(F5.6)を表示する(図16(A))。
【0066】
更に、レリーズ釦41が押し込まれてスイッチSW2がONされているかどうかの判定を行ない(#113)、スイッチSW2がOFF状態であれば、再びスイッチSW1の状態の確認を行なう(#111)。又、スイッチSW2がONされたならばCPU100はシャッター制御回路108、モーター制御回路109、絞り駆動回路111にそれぞれ信号を送信する。
【0067】
まずモーターM2に通電し、主ミラー2をアップさせ、絞り31を絞り込んだ後、マグネットMG1に通電しシャッター4の先幕を開放する。絞り31の絞り値及びシャッター4のシャッタースピードは、前記測光回路102にて検知された露出値とフィルム5の感度から決定される。所定のシャッター秒時(1/250秒)経過後マグネットMG2に通電し、シャッター4の後幕を閉じる。フィルム5への露光が終了すると、モーターM2に再度通電し、ミラーダウン、シャッターチャージを行なうとともにモーターM1にも通電し、フィルムのコマ送りを行ない、一連のシャッターレリーズシーケンスの動作が終了する(#114)。その後カメラは再びスイッチSW1がONされるまで待機する(#102)。
【0068】
又、図8に示したカメラのシャッターレリーズ動作(#114)以外の一連の動作中にモードダイヤル44によってモードが変更され、視線のキャリブレーションモードに設定されたことを信号入力回路104が検知すると、CPU100はカメラの動作を一時停止し、視線検出回路101に送信して視線のキャリブレーション(#115)が可能な状態に設定する。視線のキャリブレーション方法については後述する。
【0069】
ここで測距点自動選択サブルーチン#116について図9を用いて説明する。このサブルーチンは前述のように視線検出禁止モード、即ち、視線入力モードが設定されていない際に実行されるもので、各測距点のデイフォーカス量と絶対距離の情報より測距点を決定するものである。
【0070】
まず5つの測距点の中で測距可能な測距点があるか判定し(#501)、どの測距点も測距不能であればメインのルーチンにリターンする(#511)。測距可能な測距点があり、それが1つであれば(#502)、その1点を測距点とする(#507)。測距可能な測距点が2つ以上あれば次に進み、この中に中央の測距点があるか(#503)、又、中央測距点は近距離(たとえば焦点距離の20倍以下)にあるか判定する(#504)。
【0071】
ここで中央測距点が測距可能でかつ近距離であるか、又は中央測距点が測距不能である場合は#505に進む。#505では近距離測距点の数が遠距離測距点の数よりも多ければ主被写体はかなり撮影者側にあると判断し、最近点の測距点を選択する(#506)。又、近距離測距点の数が少なければ主被写体は遠距離側にあると判断し、被写界深度を考慮して遠距離測距点の中での最近点を選択する(#510)。#504で中央測距点が遠距離である場合は、#508に進む。
【0072】
ここで遠距離測距点の数が近距離測距点の数より多ければ主被写体は中央の測距点を含む遠距離側にあると判断し、中央測距点を選択する(#509)。又、遠距離測距点の数が少なければ前述と同様に最近点の測距点を選択する(#506)。
【0073】
以上のように測距可能な測距点があればその中から1つの測距点が自動的に選択され、メインのルーチンに戻り(#511)、再度この測距点で焦点検出動作を行なうようになっている(#107)。なお前述の視線情報を用いて測距点を選択された場合の合焦表示は図16(A)と同様に、この場合も合焦時は図16(B)に示すように測距点201と合焦マーク79が点灯するが、視線入力マーク78は当然ながら非点灯状態になっている。
【0074】
図10、図11は視線検出のフローチャートである。前述のように視線検出回路101はCPU100より信号を受け取ると視線検出を実行する(#104)。視線検出回路101は、撮影モードの中での視線検出かあるいは視線のキャリブレーションモードの中での視線検出かの判定を行なう(#201)。同時に視線検出回路101はカメラが後述するどのキャリブレーションデータナンバーに設定されているかを認識する。
【0075】
視線検出回路101は、撮影モードでの視線検出の場合はまず最初にカメラが例えば縦位置か横位置かどのような姿勢になっているかを信号入力回路104を介して姿勢検知手段27からの信号に基づいて検知する(#202)。即ち信号入力回路104は姿勢検知手段としての水銀スイッチ27(SW−ANG)の出力信号を処理してカメラが横位置であるか縦位置であるか、又、縦位置である場合は例えばレリーズ釦41が天方向にあるか地(面)方向にあるかを判断する。続いてCPU100を介して測光回路102から撮影領域の明るさの情報を入手する(#203)。
【0076】
次に、先に検知されたカメラの姿勢情報とキャリブレーションデータに含まれる撮影者の眼鏡情報より赤外発光ダイオード(以下IRED13と称す)13a〜13fの選択を行なう(#204)。即ち、カメラが横位置に構えられ、撮影者が眼鏡をかけていなかったならば、図2(A)に示すようにファインダー光軸よりのIRED13a,13bが選択される。又、カメラが横位置で、撮影者が眼鏡をかけていれば、ファインダー光軸から離れたIRED13c,13dが選択される。
【0077】
このとき撮影者の眼鏡で反射した照明光の一部は、眼球像が投影されるイメージセンサー14上の所定の領域以外に達するようにして、眼球像の解析に支障が生じないようにしている。即ち、眼鏡情報に応じて眼球への照明方向を変えて、眼鏡からの反射光(ノイズ光)がイメージセンサーに入射するのを防止して、高精度な視線検出を可能としている。
【0078】
更には、カメラが縦位置で構えられていたならば、撮影者の眼球を下方から照明するようなIRED13a,13eもしくはIRED13b,13fの組み合わせのどちらかの組み合せが選択される。
【0079】
次にイメージセンサー14(以下CCD−EYEと称す。)の蓄積時間及びIRED13の照明パワーが前記測光情報及び撮影者の眼鏡情報等に基づいて設定される(#205)。該CCD−EYE14の蓄積時間及びIRED13の照明パワーは前回の視線検出時に得られた眼球像のコントラスト等から判断された値を基にして設定を行なっても構わない。
【0080】
CCD−EYE14の蓄積時間及びIRED13の照明パワーが設定されると、CPU100はIRED駆動回路107を介してIRED13を所定のパワーで点灯させるとともに、視線検出回路101はCCD−EYE14の蓄積を開始する(#206)。又、先に設定されたCCD−EYE14の蓄積時間にしたがってCCD−EYE14は蓄積を終了し、それとともにIRED13も消灯される。視線のキャリブレーションモードでなければ(#207)、CCD−EYE14のうちの所定の読み出し領域が設定される(#208)。
【0081】
カメラ本体の電源がONされた後の1番最初の視線検出以外はCCD−EYE14の読み出し領域は前回の視線検出時のCCD−EYE14の読み出し領域を基準にして設定されるが、カメラの姿勢が変化したとき、あるいは眼鏡の有無が変化した場合等はCCD−EYE14の読み出し領域は全領域に設定される。CCD−EYE14の読み出し領域が設定されると、CCD−EYE14の読み出しが実行される(#209)。この時読み出し領域以外の領域は空読みが行なわれ実際上読み飛ばされていく。
【0082】
CCD−EYE14より読みだされた像出力は視線検出回路101でA/D変換された後にCPU100にメモリーされ、該CPU100において眼球像の各特徴点の抽出のための演算が行なわれる(#210)。即ち、CPU100において、眼球の照明に使用された一組のIRED13の虚像であるプルキンエ像の位置(xd’,yd’),(xe’,ye’)が検出される。プルキンエ像は光強度の強い輝点として現われるため、光強度に対する所定のしきい値を設け該しきい値を超える光強度のものをプルキンエ像とすることにより検出可能である。
【0083】
又、瞳孔の中心位置(xc’,yc’)は瞳孔19と虹彩17の境界点を複数検出し、各境界点を基に円の最小二乗近似を行なうことにより算出される。この時瞳孔径rpも算出される。また二つのプルキンエ像の位置よりその間隔が算出される。
【0084】
CPU100は眼球像の解析を行なうとともに、眼球像のコントラストを検出してそのコントラストの程度からCCD−EYE14の蓄積時間の再設定を行なう。又、プルキンエ像の位置及び瞳孔の位置(xd’,yd’),(xe’,ye’)よりCCD−EYE14の読み出し領域を設定する。
【0085】
この時CCD−EYE14の読み出し領域は、検出された瞳孔を含み該瞳孔の位置が所定量変化しても瞳孔全体が検出可能な範囲に設定される。そしてその大きさは虹彩の大きさより小さいのはいうまでもない。
【0086】
CCD−EYE14の読み出し領域は、長方形に設定され該長方形の対角の2点の座標がCCD−EYE14の読み出し領域として視線検出回路101に記憶される。さらに眼球像のコントラストあるいは瞳孔の大きさ等から、算出されたプルキンエ像及び瞳孔中心の位置の信頼性が判定される。この時の信頼性情報は、視線補正データ(キャリブレーションデータ)の1つとなっている。
【0087】
眼球像の解析が終了すると、キャリブレーションデータの確認手段を兼ねた視線検出回路101は算出されたプルキンエ像の間隔と点灯されたIRED13の組合せよりキャリブレーションデータの中の1つである眼鏡情報が正しいか否かの判定を行なう(#211)。これはその時々において眼鏡を使用したり使用しなかったりする撮影者に対処するためのものである。
【0088】
即ち、キャリブレーションデータの中の撮影者の眼鏡情報が例えば眼鏡を使用するように設定されていて、図2(A)に示したIRED13の内のIRED13c,13dが点灯された場合、プルキンエ像の間隔が所定の大きさより大きければ撮影者は眼鏡装着者と認識され眼鏡情報が正しいと判定される。逆にプルキンエ像の間隔が所定の大きさより小さければ、撮影者は裸眼あるいはコンタクトレンズ装着者と認識され眼鏡情報が誤っていると判定される。
【0089】
眼鏡情報が誤っていると判定されると(#211)、視線検出回路101は視線補正データである眼鏡情報の変更を行なって(#217)、再度IRED13の選択を行ない(#204)視線検出を実行する。但し眼鏡情報の変更を行なう際、CPU100のEEPROMに記憶された眼鏡情報は変更されない。
【0090】
又、眼鏡情報が正しいと判定されると(#212)、プルキンエ像の間隔よりカメラの接眼レンズ11と撮影者の眼球15との距離が算出され、さらには該接眼レンズ11と撮影者の眼球15との距離からCCD−EYE14に投影された眼球像の結像倍率βが算出される(#212)。以上の計算値より眼球15の光軸15aの回転角θは(3)式を修正して、
Figure 0003605080
と表わされる(#213)。
【0091】
但し、
xp’≒(xd’+xe’)/2
yp’≒(yd’+ye’)/2
δx,δyは2つのプルキンエ像の中心位置を補正する補正項である。
【0092】
撮影者の眼球の回転角θx,θyが求まると、ピント板7上での視線の位置(x,y)は、(5)式を修正して、
x≒m*ax*(θx+bx) ‥‥‥(8)
y≒m*ax*(θy+by) ‥‥‥(9)
と求まる(#214)。但し、ax,bx,byは視線の個人差を補正するためのパラメータで、axはキャリブレーションデータである。
【0093】
又、水平方向(x方向)の眼球の光軸と視軸との補正量に相当するbxは、
bx=kx*(rp−rx)+bOx ‥‥‥(10)
と表わされ、瞳孔径rpの関数である。ここでrxは定数でbOxはキャリブレーションデータである。
【0094】
又、(10)式において瞳孔径rpにかかる比例係数kxは瞳孔径の大きさによってとる値が異なり、
Figure 0003605080
と設定される。
【0095】
即ち、比例係数kxは瞳孔径rpが所定の瞳孔の大きさrx以上であれば0の値をとり、逆に瞳孔径rpが所定の瞳孔の大きさrxよりも小さいならばkxは眼球の光軸の回転角θxの関数となる。
【0096】
又、bx’は撮影者がファインダーの略中央を見ているときの視軸の補正量に相当するもので、
bx’=k0*(rp−rx)+b0x
と表わされる。
【0097】
k0はキャリブレーションデータで撮影者がファインダーの略中央を見ているときの瞳孔径rpの変化に対する視軸の補正量bxの変化の割合を表わすものである。又、k1は所定の定数である。
【0098】
又、垂直方向(y方向)の補正量に相当するbyは、
by=ky*rp+bOy ‥‥‥(12)
と表わされ、瞳孔径rpの関数である。ここでky、b0yはキャリブレーションデータである。上述の視線のキャリブレーションデータを求める方法は後述する。
【0099】
又、視線のキャリブレーションデータの信頼性に応じて、(8)〜(12)式を用いて算出された視線の座標の信頼性が変更される。ピント板7上の視線の座標が求まると視線検出を1度行なったことを示すフラグをたてて(#215)メインのルーチンに復帰する(#218)。
【0100】
又、図10,図11に示した視線検出のフローチャートは視線のキャリブレーションモードにおいても有効である。(#201)において、キャリブレーションモードの中での視線検出であると判定すると、次に今回の視線検出がキャリブレーションモードの中での最初の視線検出であるか否かの判定を行なう(#216)。今回の視線検出がキャリブレーションモードの中での最初の視線検出であると判定されると、CCD−EYE14の蓄積時間およびIRED13の照明パワーを設定するために周囲の明るさの測定が行なわれる(#203)。これ以降の動作は前述の通りである。
【0101】
又、今回の視線検出がキャリブレーションモードの中で2回目以上の視線検出であると判定されると(#216)、CCD−EYE14の蓄積時間およびIRED13の照明パワーは前回の値が採用され直ちにIRED13の点灯とCCD−EYE14の蓄積が開始される(#206)。又、視線のキャリブレーションモードでかつ視線検出回数が2回目以上の場合は(#207)、CCD−EYE14の読み出し領域は前回と同じ領域が用いられるためCCD−EYE14の蓄積終了とともに直ちにCCD−EYE14の読み出しが実行される(#209)。これ以降の動作は前述の通りである。
【0102】
尚、図10,図11に示した視線検出のフローチャートにおいてメインのルーチンに復帰する際の返数は、通常の視線検出の場合視線のピント板上の座標(x,y)であるが、視線のキャリブレーションモードの中での視線検出の場合は撮影者の眼球光軸の回転角(θx,θy)である。又、他の返数である検出結果の信頼性、CCD−EYE14の蓄積時間、CCD−EYE14の読み出し領域等は共通である。
【0103】
又、本実施の形態においてCCD−EYE14の蓄積時間およびIRED13の照明パワーを設定するために、カメラの測光センサー10にて検出された測光情報を利用しているが接眼レンズ11近傍に撮影者の前眼部の明るさを検出する手段を新たに設けてその値を利用するのも有効である。
【0104】
図12、図13、図14は視線のキャリブレーションのフローチャート、図17〜図22は視線のキャリブレーション時のファインダー内LCD24とモニター用LCD42の表示状態を示したものである。
【0105】
従来視線のキャリブレーションは撮影者が二つ以上の視標を注視したときの視線を検出することにより実行していたが、本実施の形態においては二つの視標をファインダーの明るさが異なる状態で2回注視してもらいそのときの視線を検出することにより視線のキャリブレーションを実行している。これにより瞳孔径に対応した視線のキャリブレーションデータを算出している。以下同図を用いて説明する。
【0106】
撮影者がモードダイヤル44を回転させCALポジション44dに指標をあわせると、視線のキャリブレーションモードに設定され、信号入力回路104はCPU100を介してLCD駆動回路105に信号を送信し、モニター用LCD42は後述する視線のキャリブレーションモードのいずれかに入ったことを示す表示を行なう。またCPU100はEEPROMに記憶されたキャリブレーションデータ以外の変数をリセットする(#301)。
【0107】
図23はCPU100のEEPROMに記憶されるキャリブレーションデータの種類とその初期値を示したものである。実際にCPU100のEEPROMに記憶されるのは図23の太線で囲まれたデータで、現在設定されているキャリブレーションデータナンバーとキャリブレーションデータナンバーにて管理されている複数のキャリブレーションデータである。ここでキャリブレーションデータナンバー0は視線検出を禁止するためのモードである。またキャリブレーションデータナンバー1〜5に対応したEEPROM上のアドレスにはそれぞれに上述の視線のキャリブレーションデータが記憶されるようになっている(本実施の形態においては説明のためにデータを5つ記憶できるようにしているが、もちろんEEPROMの容量によっていかようにも設定できる)。
【0108】
キャリブレーションデータの初期値は標準の眼球パラメータで視線が算出されるような値に設定されている。さらに撮影者が眼鏡を使用するか否か、そしてキャリブレーションデータの信頼性の程度を表わすフラグも有している。眼鏡の有無を表わすフラグの初期値は眼鏡を使用しているように「1」に設定され、またキャリブレーションデータの信頼性のフラグの初期値は信頼性が無いように「0」に設定されている。
【0109】
又、モニター用LCD42には図17(A)に示すように現在設定されているキャリブレーションモードを表示する。キャリブレーションモードはキャリブレーション動作を行なう「ON」モードとキャリブレーション動作を行なわない「OFF」モードとがある。
【0110】
まず「ON」モードにおいてはキャリブレーションデータナンバー1〜5と対応するようにキャリブレーションナンバーCAL1〜CAL5が用意されており、シャッター秒時を表示する7セグメント62と絞り値を表示する7セグメント63を用いて表示され、そのほかの固定セグメント表示部42aはすべて消灯している(本実施の形態としてデーターナンバー1の状態を示し、7セグメント表示部のみを拡大して示している)。
【0111】
この時、設定されたキャリブレーションナンバーのキャリブレーションデータが初期値の場合はモニター用LCD42に表示されたキャリブレーションナンバーが点滅し(図17(B))、一方設定されたキャリブレーションナンバーにおいて既に後述するキャリブレーションが行なわれ、キャリブレーションナンバーに対応した記憶手段としてのEEPROM100aのアドレス上に初期値と異なるキャリブレーションデータ(視線補正データ)が入っていればモニター用LCD42に表示されたキャリブレーションナンバーがフル点灯するようになっている(図17(A))。
【0112】
その結果、撮影者は現在設定されている各々のキャリブレーションナンバーに既にキャリブレーションデータが入っているかどうかを認識できるようになっている。またキャリブレーションデータナンバーの初期値は0に設定されており、視線のキャリブレーションが実行されなければ視線による情報入力はなされないようになっている。
【0113】
次に「OFF」モードにおいては7セグメント62は「OFF」と表示されるようになっており(図17(C))、常時キャリブレーションデータナンバー0が選択され視線禁止モードに設定されている。これは例えば記念撮影などで急に他の人に写真を撮ってもらうような時など、視線検出位置を誤ってしまい誤動作するのを防ぐために視線による情報入力を禁止して撮影するのに有効である。
【0114】
続いてCPU100に設定されたタイマーがスタートし視線のキャリブレーションを開始する(#302)。タイマースタート後に所定の時間中にカメラに対して何の操作もなされなかったならば視線検出回路101はそのとき設定されていたキャリブレーションデータナンバーを0に再設定し視線禁止(OFF)モードに変更する。またファインダー内に視線のキャリブレーション用の視標等が点灯していれば消灯する。
【0115】
このように記憶手段としてのEEPROM100aに視線補正データ(キャリブレーションデータ)が新たに記憶されていなければ視線を用いた動作を停止するようにしている。
【0116】
撮影者が電子ダイヤル45を回転させると、前述のようにパルス信号によってその回転を検知した信号入力回路104はCPU100を介してLCD駆動回路105に信号を送信する。その結果電子ダイヤル45の回転に同期してモニター用LCD42に表示されたキャリブレーションナンバーが変化する。この様子を図18に示す。
【0117】
まず電子ダイヤル45を時計方向に回転させると「CAL−1」→「CAL−2」→「CAL−3」→「CAL−4」→「CAL−5」と変化し、後述のキャリブレーション操作で撮影者は希望する5つのキャリブレーションナンバーのいずれかにキャリブレーションデータを記憶させることができる。そして図18に示した状態は「CAL−1,2,3」にはすでにキャリブレーションデータが入っており、「CAL−4,5」には入っておらず初期値のままであることを表わしている。
【0118】
次にさらに時計方向に1クリック回転させると「OFF」表示となりキャリブレーション動作は行わず、かつ視線検出禁止モードとなる。さらに1クリック回転させると「CAL−1」に戻り、以上のようにサイクリックにキャリブレーションナンバーを表示する。反時計方向に回転させた場合は図18の方向と正反対に表示する。
【0119】
このようにしてモニター用LCD42に表示されるキャリブレーションナンバーを見ながら撮影者が所望のキャリブレーションナンバーを選択したら、視線検出回路101はこれに対応するキャリブレーションデータナンバーの確認を信号入力回路104を介して行なう(#303)。確認されたキャリブレーションデータナンバーはCPU100のEEPROMの所定のアドレス上に記憶される。
【0120】
但し、確認されたキャリブレーションデータナンバーが変更されていなければEEPROMへのキャリブレーションデータナンバーの記憶は実行されない。
【0121】
続いて視線検出回路101は信号入力回路104を介して撮影モードの確認を行なう(#304)。撮影者がモードダイヤル44を回転させて視線のキャリブレーションモード以外の撮影モードに切り換えていることが確認されたら(#304)、ファインダー内に視線のキャリブレーション用の視標が点滅していれば、それを消灯させて(#305)メインのルーチンであるカメラの撮影動作に復帰する(#338)。
【0122】
そしてキャリブレーションナンバー「CAL1〜5」が表示されている状態でモードダイヤル44を他の撮影モード(シャッター優先AE)に切り換えれば、そのキャリブレーションナンバーのデータを用いて視線検出を行ない、前述の視線情報を用いた撮影動作が行なえるようになっている。この時のモニター用LCD42の状態を図19に示すが、通常の撮影モード表示以外に視線入力モード表示61を点灯させて、視線情報をもとに撮影動作を制御している視線入力モードであることを撮影者に知らせている。
【0123】
ここで再度モードダイヤルを回転させてCALポジション44dに視標を合わせると、前述の視線検出に用いているキャリブレーションナンバーが表示され、キャリブレーション動作がスタートするが、撮影者が所定時間内に何もカメラを操作しなかったり、同一のキャリブレーションデータが採取された場合はEEPROMのキャリブレーションデータの変更はなされない。
【0124】
視線のキャリブレーションモードに設定されたままであることが確認されると(#304)、電子ダイヤル45にて設定されたキャリブレーションナンバーの確認を再度行なう(#306)。この時キャリブレーションデータナンバーが0を選択され視線禁止モードに設定されていれば、再度キャリブレーションデータナンバーをCPU100のEEPROMに記憶する(#303)。キャリブレーションモードにおいて視線禁止が選択されたならばカメラはモードダイヤル44にてモードが視線のキャリブレーションモード以外の撮影モードに変更されるまで待機する。
【0125】
つまり「OFF」が表示されている状態でモードダイヤル44を切り換えれば、視線検出を行なわないで、撮影動作を行なうようになっており、モニター用LCD42において視線入力モード表示61は非点灯となっている。
【0126】
このようにCPU100のEEPROM100aに記憶されているキャリブーションデータ(視線補正データ)の性質に応じてカメラ(光学装置)は撮影に関する各種の駆動を制御している。
【0127】
キャリブレーションデータナンバーが0以外の値に設定されていれば(#306)、引続きCPU100は信号入力回路104を介して姿勢検知手段によりカメラの姿勢を検知する(#307)。信号入力回路104は水銀スイッチ27の出力信号を処理してカメラが横位置であるか縦位置であるか、また縦位置である場合は例えばレリーズ釦41が天方向にあるか地(面)方向にあるかを判断する。
【0128】
カメラは一般に横位置での使用が多いため、視線のキャリブレーションを行なうためのハード構成もカメラを横位置に構えたときにキャリブレーション可能なように設定されている。そのため視線検出回路101はカメラの姿勢が横位置でないことをCPU100より通信されると、視線のキャリブレーションを実行しない(#308)。即ち視線補正データの検出を禁止する。
【0129】
又、視線検出回路101はカメラの姿勢が横位置であることから視線のキャリブレーションができないことを撮影者に警告するために、図21(A)に示すようにカメラのファインダー内に設けられた警告手段の一要素であるファインダー内LCD24に「CAL」表示を点滅させる。この時図示されていない警告手段としての発音体によって警告音を発しても構わない。
【0130】
一方、カメラの姿勢が横位置であることが検知されると(#308)、視線検出回路101は視線検出回数nを0に設定する(#309)。但し視線検出回数nが20回の時はその回数を保持する。この時ファインダー内LCD24において「CAL」表示が点滅していたらその点滅を中止する。視線のキャリブレーションはスイッチSW1をONにすることにより開始されるように設定されている。撮影者が視線のキャリブレーションを行なう準備が整う以前にカメラ側でキャリブレーションを開始するのを防ぐために、視線検出回路101はスイッチSW1の状態の確認を行いスイッチSW1がレリーズ釦41によって押されていてON状態であればスイッチSW1がOFF状態になるまで待機する(#310)。
【0131】
視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態であることを確認すると(#310)、再度視線検出回数nの確認を行なう(#311)。視線検出回数nが20でないならば(#311)、視線検出回路101はLED駆動回路106に信号を送信して視線のキャリブレーション用の視標を点滅させる(#313)。視線のキャリブレーション用の視標は以下に述べるキャリブレーション動作をスーパーインポーズ表示に導かれて、撮影者がスムーズに行なえるように測距点マークも一部兼用しており、まず最初は右端の測距点マーク204とドットマーク206が点滅する(図20(A))。
【0132】
視線のキャリブレーションの開始のトリガー信号であるスイッチSW1のON信号が入ってなければカメラは待機する(#314)。また点滅を開始した視標を撮影者が注視しレリーズ釦41を押してスイッチSW1をONしたら(#314)視線検出が実行される(#315)。視線検出の動作は図9のフローチャートで説明した通りである。
【0133】
この右端の測距点マーク204及び左端の測距点マーク200にはドットマーク206,205が刻まれており、これら2点の位置でキャリブレーションを行なうことを示しており、どちらもスーパーインポーズ用LED21に照明されて点灯、点滅、非点灯の表示をすることができるようになっている。また測距点マーク200〜204は焦点検出の領域を示すものであるから、その領域に相当するエリアの表示が必要である。
【0134】
しかし精度良くキャリブレーションを行なうためには撮影者にできるだけ1点を注視してもらうことが必要であり、このドットマーク205,206は容易に1点を注視できるように測距点マーク200〜204よりも小さく設けたものである。視線検出回路101は視線検出のサブルーチンからの返数である眼球の回転角θx、θy、瞳孔径rp及び各データの信頼性を記憶する(#316)。さらに視線検出回数nをカウントアップする(#317)。
【0135】
撮影者の視線は多少ばらつきがあるため正確な視線のキャリブレーションデータを得るためには1点の視標に対して複数回の視線検出を実行してその平均値を利用するのが有効である。本実施の形態においては1点の視標に対する視線検出回数は10回と設定されている。視線検出回数nが10回あるいは30回でなければ(#318)視線検出が続行される(#315)。
【0136】
ところで本実施の形態において視線のキャリブレーションはファインダーの明るさが異なる状態、即ち瞳孔径が異なる状態で2回行なうようになっている。そのため2回目の視線のキャリブレーションを開始する際の視線検出回数nは20回からとなる。視線検出回数nが10回あるいは30回であれば視標1(測距点マーク204、ドットマーク206)に対する視線検出を終了する(#318)。
【0137】
視標1に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路101はLED駆動回路106を介して視標1を所定の時間フル点灯させる(#319)(図20(B))。
【0138】
引続き視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態になっているかどうかの確認を行なう(#320)。スイッチSW1がON状態であればOFF状態になるまで待機し、スイッチSW1がOFF状態であれば視標1が消灯しそれと同時に左端の視標2(測距点マーク200、ドットマーク205)が点滅を開始する(#321)(図20(C))。
【0139】
視線検出回路101は再度信号入力回路104を介してスイッチSW1がON状態になっているかどうかの確認を行なう(#322)。スイッチSW1がOFF状態であればONされるまで待機し、スイッチSW1がONされたら視線検出を実行する(#323)。視線検出回路101は視線検出のサブルーチンからの返数である眼球の回転角θx、θy、瞳孔径rp及び各データの信頼性を記憶する(#324)。さらに視線検出回数nをカウントアップする(#325)。さらに視線検出回数nが20回あるいは40回でなければ(#326)視線検出が続行される(#323)。視線検出回数nが20回あるいは40回であれば視標2に対する視線検出を終了する(#326)。
【0140】
視標2に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない警告手段としての発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路101はLED駆動回路106を介して視標2をフル点灯させる(#327)(図20(D))。
【0141】
視標1、視標2に対する視線検出が1回ずつ行なわれ視線検出回数nが20回であれば(#328)、ファインダーの明るさが異なる状態で各視標に対する2回目の視線検出が実行される。視線検出回路101は信号入力回路104を介してスイッチSW1の状態を確認する(#310)。スイッチSW1がON状態であればOFF状態になるまで待機し、スイッチSW1がOFF状態であれば再度視線検出回数nの確認を行なう(#311)。
【0142】
視線検出回数nが20回であれば(#311)、視線検出回路101はCPU100を介して絞り駆動回路111に信号を送信し撮影レンズ1の絞り31を最小絞りに設定する。この時、撮影者はファインダー内が暗くなったのを感じて瞳孔を大きく広げる。同時に視線検出回路101は視標2を消灯させる(#312)。そして2回目の視線検出を行なうために右端の視標1が点滅を開始する(#313)。以下の動作#314〜#327は上述の通りである。
【0143】
ファインダーの明るさが異なる状態(瞳孔径の異なる状態)で視標1、視標2に対して視線検出が行なわれたならば視線検出回数nは40回となり(#328)、視線のキャリブレーションデータを求めるための視線検出は終了する。視線検出回路101は絞り駆動回路111に信号を送信して撮影レンズ1の絞り31を開放状態に設定する(#329)。さらに視線検出回路101に記憶された眼球の回転角θx、θy、瞳孔径rpより視線のキャリブレーションデータが算出される(#330)。視線のキャリブレーションデータの算出方法は以下の通りである。
【0144】
ピント板7上の視標1、視標2の座標をそれぞれ(x1,0)、(x2,0)、視線検出回路101に記憶された各視標を注視したときの眼球の回転角(θx,θy)の平均値を(θx1,θy1)、(θx2,θy2)、(θx3,θy3)、(θx4,θy4)、瞳孔径の平均値をr1,r2,r3,r4とする。
【0145】
但し(θx1,θy1)、(θx3,θy3)は撮影者が視標1を注視したときに検出された眼球の回転角の平均値、(θx2,θy2)、(θx4,θy4)は撮影者が視標2を注視したときに検出された眼球の回転角の平均値を表わしている。
【0146】
同様にr1,r3は撮影者が視標1を注視したときに検出された瞳孔径の平均値、r2,r4は撮影者が視標2を注視したときに検出された瞳孔径の平均値である。また各データの平均値につけられたサフィックス1、2はカメラのファインダーが明るい状態で視線検出したときのデータであることを示し、サフィックス3,4はカメラのファインダーを暗くした状態で視線検出したときのデータであることを示している。
【0147】
水平方向(x方向)の視線のキャリブレーションデータはデータ取得時の瞳孔径によって算出式が異なり、
Figure 0003605080
と算出される。
【0148】
又、垂直方向(y方向)の視線のキャリブレーションデータは、
Figure 0003605080
と算出される。
【0149】
視線のキャリブレーションデータ算出後、あるいは視線検出の終了後にタイマーがリセットされる(#331)。
【0150】
又、キャリブレーションデータの信頼性の判定手段を兼ねた視線検出回路101は算出された視線のキャリブレーションデータが適正かどうかの判定を行なう(#332)。判定は視線検出サブルーチンからの返数である眼球の回転角及び瞳孔径の信頼性と算出された視線のキャリブレーションデータ自身を用いて行なわれる。すなわち視線検出サブルーチンにて検出された眼球の回転角及び瞳孔径の信頼性がない場合は算出された視線のキャリブレーションデータも信頼性がないと判定する。
【0151】
又、視線検出サブルーチンにて検出された眼球の回転角及び瞳孔径の信頼性がある場合、算出された視線のキャリブレーションデータが一般的な個人差の範囲に入っていれば適正と判定し、一方算出された視線のキャリブレーションデータが一般的な個人差の範囲から大きく逸脱していれば算出された視線のキャリブレーションデータは不適性と判定する。また視線検出回路101は算出された視線のキャリブレーションデータが適正か否かの判定を行なうだけでなく、算出された視線のキャリブレーションデータがどの程度信頼性があるかも判定する。
【0152】
信頼性の度合は視線検出サブルーチンにて検出された眼球の回転角及び瞳孔径の信頼性等に依存している。視線のキャリブレーションデータの信頼性はその程度に応じて2ビットに数値化されて後述するようにCPU100のEEPROMに記憶される。
【0153】
算出された視線のキャリブレーションデータが不適性と判定されると(#332)、LED駆動回路106はスーパーインポーズ用LED21への通電を止めて視標1,2を消灯する(#339)。さらに視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を所定時間鳴らし視線のキャリブレーションが失敗したことを警告する。同時にLCD駆動回路105に信号を送信しファインダー内LCD24及びモニター用LCD42に「CAL」表示を点滅させて警告する(#340)(図21(A)、図22(A))。
【0154】
発音体による警告音とrCD24,42による警告表示を所定時間行なった後キャリブレーションルーチンの初期ステップ(#301)に移行し、再度視線のキャリブレーションを実行できる状態に設定される。
【0155】
又、算出された視線のキャリブレーションデータが適正であれば(#332)、視線検出回路101はLCD駆動回路105、LED駆動回路106を介して視線のキャリブレーションの終了表示を行なう(#333)。LED駆動回路106はスーパーインポーズ用LED21に通電し視標1、視標2を数回点滅させるとともに、rCD駆動回路105はLCD24、LCD42に信号を送信して「EndーキャリブレーションNo」の表示を所定時間実行するようになっている(図21(B)、図22(B))。
【0156】
視線検出回路101は視線検出回数nを1に設定し(#334)、さらに算出された視線のキャリブレーションデータ、撮影者の眼鏡情報及び算出された視線のキャリブレーションデータの信頼性を現在設定されているキャリブレーションデータナンバーに相当するEEPROM100aのアドレス上に記憶する(#335)。この時記憶を行なおうとするEEPROMのアドレス上に既に視線のキャリブレーションデータが記憶されている場合はキャリブレーションデータの更新を行なう。
【0157】
このように視線補正データの信頼性を判定し、その結果に基づいて視線検出を行うことにより光学装置を高精度に制御することができるようにしている。
【0158】
一連の視線のキャリブレーション終了後、カメラは撮影者によって電子ダイヤル45かあるいはモードダイヤル44が操作されるまで待機する。撮影者が電子ダイヤル45を回転させて他のキャリブレーションナンバーを選択したならば、視線検出回路101は信号入力回路104を介してキャリブレーションナンバーの変更を検知し(#336)、視線のキャリブレーションルーチンの初期ステップ(#301)に移行する。また撮影者がモードダイヤル44を回転させて他の撮影モードを選択したならば、視線検出回路101は信号入力回路104を介して撮影モードの変更を検知し(#337)メインのルーチンに復帰する(#338)。
【0159】
メインのルーチンに復帰する際電子ダイヤル45にて設定されたキャリブレーションナンバーにおいてキャリブレーションデータが入力されておらず初期値のままであったならば、視線検出回路101は対応するキャリブレーションデータナンバーを0に再設定し強制的に視線禁止モードに設定する。実際にはCPU100のEEPROMに記憶された現在設定されているキャリブレーションデータナンバーを0(視線禁止モード)に再設定する。
【0160】
尚、本実施の形態においては1点の視標を注視しているときの視線検出回数を10回にして視線のキャリブレーションを行なった例を示したが10回以上の回数で行なっても構わない。
【0161】
尚、本実施の形態においては撮影レンズ1の絞り31を絞り込むことによって、ファインダーの明るさの異なる状態すなわち撮影者の瞳孔径を異ならせる状態を設定してキャリブレーションを行なったが、撮影者に撮影レンズにキャップをしてもらいスーパーインポーズ用LED21の発光輝度を変えて行なうことも可能である。
【0162】
【発明の効果】
以上のように、本発明によれば、イメージセンサーから読み出された信号に基づいて次回の読み出し領域を設定するため、イメージセンサーの不適切な領域を飛ばして必要な信号を効率良く読み出すことができ、視線検出に要する時間の短縮を図ることができるようになる。
【図面の簡単な説明】
【図1】本発明を一眼レフカメラに適用したときの実施の形態の要部概略図
【図2】図1の一眼レフカメラの要部外観図
【図3】図1のファインダー視野図
【図4】図2のモードダイヤルの説明図
【図5】図2の電子ダイヤルの説明図
【図6】本発明の実施の形態の電気回路の要部ブロック図
【図7】図2の一部分の説明図
【図8】図6の一眼レフカメラの動作のフローチャート
【図9】測距点自動選択アルゴリズムのフローチャート
【図10】視線検出のフローチャート
【図11】視線検出のフローチャート
【図12】本発明に係るキャリブレーションのフローチャート
【図13】本発明に係るキャリブレーションのフローチャート
【図14】本発明に係るキャリブレーションのフローチャート
【図15】図1のファインダー視野内の表示状態の説明図
【図16】図1のファインダー視野内の表示状態の説明図
【図17】図2のモニター用LCDの表示状態の説明図
【図18】図2のモニター用LCDの表示状態の説明図
【図19】図2のモニター用LCDの表示状態の説明図
【図20】図1のファインダー視野内の表示状態の説明図
【図21】図1のファインダー視野内の表示状態の説明図
【図22】図2のモニター用LCDの表示状態の説明図
【図23】本発明の実施の形態のキャリブレーションデータの説明図
【図24】眼球像の要部概略図
【図25】従来の視線検出装置の要部概略図
【符号の説明】
1 撮影レンズ
2 主ミラー
6 焦点検出装置
6f イメージセンサー
7 ピント板
10 測光センサー
11 接眼レンズ
13 赤外発光ダイオード(IRED)
14 イメージセンサー(CCDーEYE)
15 眼球
16 角膜
17 虹彩
21 スーパーインポーズ用LED
23 視野マスク
24 ファインダー内LCD
25 照明用LED
27 水銀スイッチ
31 絞り
41 レリーズ釦
42 モニター用LCD
42a 固定表示セグメント部
42b 7セグメント表示部
43 AEロック釦
44 モードダイヤル
45 電子ダイヤル
61 視線入力モード表示
78 視線入力マーク
100 CPU
101 視線検出回路
103 焦点検出回路
104 信号入力回路
105 LCD駆動回路
106 LED駆動回路
107 IRED駆動回路
110 焦点調節回路
200〜204 測距点マーク(キャリブレーション視標)
205〜206 ドットマーク
207 ファインダー視野外
213 観察画面

Claims (3)

  1. 眼球からの反射光を受光するイメージセンサーと、
    前記イメージセンサーの出力を読み出す読み出し手段とを有し、
    前記イメージセンサーの出力に基づいて観察者の視線を検出する視線検出手段と、
    前記読み出し手段が読み出した出力に基づいて、次回のイメージセンサーの読み出し領域を設定する読み出し領域設定手段を有することを特徴とする視線検出装置。
  2. 前記読み出し領域設定手段は、前記読み出し手段による読み出し結果から角膜反射像の位置を求め、前記角膜反射像の位置に基づいて次回の読み出し領域を設定することを特徴とする請求項1に記載の視線検出装置。
  3. 前記読み出し領域設定手段は、前記読み出し手段による読み出し結果から瞳孔の位置を求め、前記瞳孔の位置に基づいて次回の読み出し領域を設定することを特徴とする請求項1に記載の視線検出装置。
JP2002027173A 2002-02-04 2002-02-04 視線検出装置 Expired - Lifetime JP3605080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002027173A JP3605080B2 (ja) 2002-02-04 2002-02-04 視線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002027173A JP3605080B2 (ja) 2002-02-04 2002-02-04 視線検出装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP21379592A Division JP3304408B2 (ja) 1992-06-02 1992-07-16 視線検出装置および視線検出装置を有する機器

Publications (2)

Publication Number Publication Date
JP2002301032A JP2002301032A (ja) 2002-10-15
JP3605080B2 true JP3605080B2 (ja) 2004-12-22

Family

ID=19192396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002027173A Expired - Lifetime JP3605080B2 (ja) 2002-02-04 2002-02-04 視線検出装置

Country Status (1)

Country Link
JP (1) JP3605080B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel

Also Published As

Publication number Publication date
JP2002301032A (ja) 2002-10-15

Similar Documents

Publication Publication Date Title
JP3186072B2 (ja) 視線検出装置を有する機器
JPH08563A (ja) 光学装置及びカメラ
US5402199A (en) Visual axis detecting apparatus
JPH05333259A (ja) 視線検出手段を有した光学装置
JPH07199042A (ja) 視線検出機能付カメラ
JP2004008323A (ja) 視線機能付光学装置
JP3304408B2 (ja) 視線検出装置および視線検出装置を有する機器
JP3605081B2 (ja) 視線検出装置
JP3605080B2 (ja) 視線検出装置
US5717959A (en) Apparatus for detecting a sight axis
JP2002301030A (ja) 視線検出機能付き機器
JP3309439B2 (ja) 光学装置
JP3219491B2 (ja) 視線検出装置
JP3184634B2 (ja) 視線検出装置を有する光学装置
JP3186249B2 (ja) 視線検出装置及び視線検出方法
JPH0634873A (ja) 視線検出装置を有した光学装置
JPH07151958A (ja) 視線検出機能付光学機器
JP3211427B2 (ja) 視線検出装置
JP3372646B2 (ja) 視線検出装置を有した光学装置
JP3176147B2 (ja) 視線検出装置
JP2003339642A (ja) 視線検出装置及びそれを有した光学装置
JP3492324B2 (ja) 光学装置
JPH0688934A (ja) 視線検出機能付光学装置
JPH08184748A (ja) 視線検出機能付き合焦判別装置及びカメラ
JPH07323008A (ja) 視線検出装置、カメラ、及び、視線補正方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040930

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071008

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081008

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091008

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091008

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101008

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101008

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111008

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111008

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121008

Year of fee payment: 8

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121008

Year of fee payment: 8