JP3219491B2 - 視線検出装置 - Google Patents
視線検出装置Info
- Publication number
- JP3219491B2 JP3219491B2 JP29150092A JP29150092A JP3219491B2 JP 3219491 B2 JP3219491 B2 JP 3219491B2 JP 29150092 A JP29150092 A JP 29150092A JP 29150092 A JP29150092 A JP 29150092A JP 3219491 B2 JP3219491 B2 JP 3219491B2
- Authority
- JP
- Japan
- Prior art keywords
- gaze
- line
- sight
- calibration
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Focusing (AREA)
- Viewfinders (AREA)
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
Description
て視線を検出する視線検出装置の改良に関するものであ
る。
観察しているかを検出する、いわゆる視線(視軸)を検
出する装置(例えばアイカメラ)が種々提供されてい
る。その視線を検出する方法として、例えば特開平1−
274736号公報においては、光源からの平行光束を
観察者の眼球の前眼部へ投射し、角膜からの反射光によ
る角膜反射像と瞳孔の結像位置を利用して視軸を求めて
いる。また本出願人は特願平3−011492号公報に
おいて視線検出装置を搭載したカメラを提案している。
さらにこの提案においては観察者の視線の個人差を補正
する視線のキャリブレーション方法を開示している。
る。同図において13a、13bは観察者に対して不感
の赤外光を放射する発光ダイオード等の光源であり、各
光源は受光レンズ12の光軸に対してx方向に略対称に
配置され観察者の眼球を発散照明している。眼球で反射
した照明光の一部は受光レンズ12によってイメージセ
ンサー14に集光する。図19(a)はイメージセンサ
ー14に投影される眼球像の概略図、同図(B)はイメ
ージセンサー14の出力強度図である。以下各図を用い
て視線の検出方法を説明する。
の眼球15の角膜16を照明する。このとき角膜16の
表面で反射した赤外光の一部により形成される角膜反射
像P1(虚像)は受光レンズ12により集光されイメー
ジセンサー14上の座標Xp1に結像する。同様に光源
13aより放射された赤外光は眼球の角膜16を照明す
る。このとき角膜16の表面で反射した赤外光の一部に
より形成された角膜反射像P2は受光レンズ12により
集光されイメージセンサー14上の座標Xp2に結像す
る。
光レンズ12を介してイメージセンサー14上の座標X
a、Xbに該端部a、bの像を結像する。受光レンズ1
2の光軸に対する眼球15の光軸の回転角θが小さい場
合、瞳孔19の中心位置cの座標Xcは、 Xic≒(Xa+Xb)/2 と表わされる。
座標と角膜16の曲率中心Oのx座標xoとはほぼ一致
するため、角膜16の曲率中心Oと瞳孔19の中心Cま
での標準的な距離をOCとすると眼球15の光軸のz−
x平面内の回転角θxは、 β*OC*SINθx≒(Xp1+Xp2)/2−Xic (1) の関係式を略満足する。但し、βは受光レンズ12に対
する眼球の位置により決まる倍率で、実質的には角膜反
射像の間隔|Xp1−Xp2|の関数として求められ
る。
x平面(例えば水平面)内で回転する場合の回転角θx
を算出する例を示しているが、観察者の眼球がy−z平
面(例えば垂直面)内で回転する場合の回転角θyの算
出方法も同様である。
x、θyが算出されると、例えば一眼レフカメラにおい
ては観察者が見ているピント板上の位置(X、Y)は X=m*(Ax*θx+Bx) (2) Y=m*(Ay*θy+By) (3) と求められる。ただし、mはカメラのファインダー光学
系で決まる定数で回転角をピント板上の座標に変換する
変換係数である。また、Ax、Bx、Ay、Byは観察
者の視線の個人差を補正する視線補正係数で、観察者に
位置の異なる二つの視標を見てもらい各視標注視時に算
出された複数の眼球の回転角から前記係数を求めること
が可能である。
個人差を補正する視線補正係数を求める際、観察者は観
察面上の所定の位置を所定時間注視しなければならない
が、検出時間が長いと観察者の視線が動いてしまい、そ
の動いてしまった回転角情報も含んだ値で算出された視
線補正係数は誤差を含んでしまう。その結果、その視線
補正係数を用いて算出された視線も誤差が生じ精度の高
い視線検出ができないという欠点があった。
め、請求項1に記載の本発明は、眼球像を受光する受光
手段と、前記受光手段にて受光した眼球像から眼球の回
転角を検出する回転角検出手段と、前記回転角検出手段
により検出された複数の回転角の平均値θ及び標準偏差
σを算出する算出手段と、前記標準偏差を用いて閾値θ
thを設定する設定手段と、前記平均値θと前記検出され
た各回転角との差を閾値θthと比較し、前記差が閾値θ
thよりも大きくない回転角を選択する選択手段と、前記
選択された回転角を用いて眼球の個人差を補正する補正
係数を演算し、前記補正係数を用いて視線を演算する視
線演算手段とを有し、前記閾値はσ≦θth≦1.5σを満
たすことを特徴とする。
発明にかかる一眼レフカメラの概略図、図2(a)は一
眼レフカメラの上部外観図、図2(b)は一眼レフカメ
ラの背面図、図3はファインダー視野図である。各図に
おいて、1は撮影レンズで便宜上2枚レンズで示した
が、実際はさらに多数のレンズから構成されている。2
は主ミラーで、観察状態と撮影状態に応じて撮影光路へ
斜設されあるいは退去される。3はサブミラーで、主ミ
ラー2を透過した光束をカメラボディの下方へ向けて反
射する。4はシャッター、5は感光部材で、銀塩フィル
ムあるいはCCDやMOS型等の固体撮像素子あるいは
ビディコン等の撮像管である。6は結像面近傍に配置さ
れたフィールドレンズ6a、反射ミラー6b及び6c、
2次結像レンズ6d、絞り6e、複数のCCDからなる
ラインセンサー6f等から構成されている周知の位相差
方式の焦点検出装置で、図3に示すように観察画面内の
複数の領域(5箇所)を焦点検出可能なように構成され
ている。7は撮影レンズ1の予定結像面に配置されたピ
ント板。8はファインダー光路変更用のペンタプリズ
ム。9、10は観察画面内の被写体輝度を測定するため
の結像レンズと測光センサーで、結像レンズはペンタダ
ハプリズム8内の反射光路を介してピント板7と測光セ
ンサーを共役に関係付けている。
は光分割器11aを備えた接眼レンズ11が配され、撮
影者眼15によるピント板7の観察に使用される。光分
割器11aは、例えば可視光を透過し赤外光を反射する
ダイクロイックミラーである。12は受光レンズ、14
はCCD等の光電素子列を2次元的に配したイメージセ
ンサーで受光レンズ12に関して所定の位置にある撮影
者眼15の瞳孔近傍と共役になるように配置されてい
る。13a〜13fは照明光源であるところの赤外発光
ダイオードで、図2に示すように接眼レンズ11の回り
に配置されている。
輝度LEDで、発光された光は投光用プリズム22、主
ミラー2で反射してピント板7の表示部に設けた微小プ
リズムアレー7aで垂直方向に曲げられ、ペンタプリズ
ム8、接眼レンズ11を通って撮影者の目に達する。そ
こでピント板7の焦点検出領域に対応する位置にこの微
小プリズムアレー7aを枠状に形成し、これを各々に対
応した5つのスーパーインポーズ用LED21(各々を
LED−L1、LED−L2、LED−C、LED−R
1、LED−R2とする)によって照明する。これによ
って図3に示したファインダー視野図から分かるよう
に、各々の測距点マーク200、201、202、20
3、204がファインダー視野内で光り、焦点検出領域
(測距点)を表示させることができるものである(以下
これをスーパーインポーズ表示という)。ここで左右端
の測距点マーク200、204の内部には、ドッドマー
ク205、206が刻印されており、これは後述するよ
うに眼球の個人差による視線の検出誤差を補正するため
の視線補正係数を採取する(以下この動作をキャリブレ
ーションと称す)際の視標を示すものである。23はフ
ァインダー視野領域を形成する視野マスク。24はファ
インダー視野外に撮影情報を表示するためのファインダ
ー内LCDで、照明用LED(F−LED)25によっ
て照明され、LCD24を透過した光が三角プリズム2
6によってファインダー内に導かれ、図3の207で示
したようにファインダー画面外に表示され、撮影者は撮
影情報を知ることができる。27はカメラの姿勢を検知
する公知の水銀スイッチである。
は後述する絞り駆動回路111を含む絞り駆動装置、3
3はレンズ駆動用モーター、34は駆動ギヤ等からなる
レンズ駆動部材、35はフォトカプラーでレンズ駆動部
材34に連動するパルス板36の回転を検知してレンズ
焦点調節回路110に伝えている。焦点調節回路110
は、この情報とカメラ側からのレンズ駆動量の情報に基
づいてレンズ駆動用モーターを所定量駆動させ、撮影レ
ンズ1を合焦位置に移動させるようになっている。37
は公知のカメラとレンズのインターフェイスとなるマウ
ント接点である。
外部モニター表示装置としてのモニター用LCDで予め
決められたパターンを表示する固定セグメント表示部4
2aと、可変数値表示用の7セグメント表示部42bと
からなっている。43は測光値を保持するAEロック
釦、44はモードダイヤルで撮影モード等の選択を行う
ためのものである。他の操作部材については本発明の理
解において特に必要ないので省略する。図4(a)
(b)はこのモードダイヤル44の詳細図を示すもの
で、カメラ本体に印された指標55に表示を合わせるこ
とによって、その表示内容で撮影モードが設定される。
44aはカメラを不作動するロックポジション、44b
はカメラが予め設定した撮影プログラムによって制御さ
れる自動撮影モードのポジション、44cは撮影者が撮
影内容を設定できるマニュアル撮影モードで、プログラ
ムAE、シャッター優先AE、絞り優先AE、被写体深
度優先AE、マニュアル露出の各撮影モードをもってい
る。44dは後述する視線のキャリブレーションを行う
キャリブレーションモードとなる「CAL」ポジション
である。図4(b)はモードダイヤルの内部構造を示し
たもので46はフレキシブルプリント基板でモードダイ
ヤルスイッチとしてのスイッチパターン(M1、M2、
M3、M4)とGNDパターンを図示されているように
配置し、モードダイヤル回動に連動しているスイッチ接
片47の4本の接片(47a、47b、47c、47
d)を摺動させることによって4ビットでモードダイヤ
ル44に示した13のポジションが設定できるようにな
っている。
パルスを発生させることによってモードダイヤルで選択
されたモードのなかでさらに選択し得る設定値を選択す
るためのものである。例えばモードダイヤル44にてシ
ャッター優先の撮影モードを選択すると、ファインダー
内LCD24及びモニター用LCD42には、現在設定
されているシャッタースピードが表示される。撮影者が
電子ダイヤル45を回転させるとその回転方向にしたが
って現在設定されているシャッタースピードから順次シ
ャッタースピードが変化していくように構成されてい
る。図5(a)(b)はこの電子ダイヤルの内部構造を
示した詳細図で、ダイヤル45とともに回転するクリッ
ク板48が配置され、これにはプリント基板49が固定
されている。プリント基板49にはスイッチパターン4
9a(SWDIAL−1)、49b(SWDIAL−
2)とGNDパターン49cが図示されているように配
置され、3個の摺動接片50a、50b、50cを持つ
スイッチ接片50が固定部材51に固定されている。ク
リック板48の外周部に形成されている凹部48aには
まりこむクリックボール52が配置され、このボールを
付勢しているコイルバネ53が固定部材51に保持され
ている。また通常位置(クリックボール52が凹部48
aにはまりこんでいる状態)においては摺動接片50
a、50bはスイッチパターン49a、49bのどちら
にも接触していない。このように形成されている電子ダ
イヤルにおいて、撮影者がダイヤルを図5において時計
方向に回転させると、まず摺動接点50bがスイッチパ
ターン49bに先に接触し、その後で摺動接点50aが
スイッチパターン49aに接触するようにして、このタ
イミングで設定値をカウントアップさせる。反時計方向
の回転の場合は摺動接点とスイッチパターンとの関係は
これとちょうど反対となり、同様のタイミングで今度は
設定値をカウントダウンさせる。図5(b)はこの様子
を示したタイミングチャートで、ダイヤルを回転させた
ときにスイッチパターン49aと49bに発生するパル
ス信号とそのタイミングを示している。上段は時計方向
に1クリック回転させた場合を、下段は反時計方向に回
転させた場合を示したもので、このようにしてカウント
アップダウンのタイミングと回転方向を検出している。
路図で、図1と同一のものは同一番号をつけている。カ
メラ本体に内蔵されたマイクロコンピュータの中央処理
装置(以下CPU)100には視線検出回路101、測
光回路102、自動焦点検出回路103、信号入力回路
104、LCD駆動回路105、LED駆動回路10
6、IRED駆動回路107、シャッター制御回路10
8、モーター制御回路109が接続されている。また撮
影レンズ内に配置された焦点調節回路110、絞り駆動
回路111とは図3で示したマウント接点37を介して
信号の伝達がなされる。
0aは視線の個人差を補正する視線補正データの記憶機
能を有している。モードダイヤル44の「CAL」ポジ
ションを指標に合わせると、視線の個人差の補正を行う
ための視線補正係数(以下キャリブレーションデータと
称する)を採取するキャリブレーションモードが選択可
能で、各キャリブレーションデータに対応したキャリブ
レーションナンバーの選択及びキャリブレーション動作
のOFFと視線検出の禁止モードの設定が電子ダイヤル
45にて可能となっている。キャリブレーションデータ
は複数設定可能で、カメラを使用する人物で区別した
り、同一の使用者であっても観察の状態が異なる場合、
例えば眼鏡を使用する場合とそうでない場合、あるいは
視度補正レンズを使用する場合とそうでない場合、とで
区別して設定するのに有効である。またこの時選択され
たキャリブレーションナンバーあるいは設定された視線
禁止モードの状態も後述するようにキャリブレーション
データナンバー(1、2…あるいは0)としてEEPR
OM100aに記憶される。
14(CCD−EYE)からの眼球像の出力をA/D変
換しこの像情報をCPUに送信する。CPU100は後
述するように視線検出に必要な眼球像の各特徴点を所定
のアルゴリズムに従って抽出し、さらに各特徴点の位置
から撮影者の視線を算出する。
出力を増幅後、対数圧縮、A/D変換し、各センサーの
輝度情報としてCPU100に送られる。測光センサー
10は図3に示したファインダー画面内の左側測距点2
00、201を含む左領域210を測光するSPC−L
と中央の測距点202を含む中央領域211を測光する
SPC−Cと右側の測距点203、204を含む右側領
域212を測光するSPC−Rとこれらの周辺領域21
3を測光するSPC−Aとの4つのフォトダイオードか
ら構成されている。ラインセンサー6fは前述のように
画面内の5つの測距点200〜204に対応した5組の
ラインセンサーCCD−L2、CCD−L1、CCD−
C、CCD−R1、CCD−R2から構成される公知の
CCDラインセンサーである。自動焦点検出回路103
はこれらラインセンサー6fから得た電圧をA/D変換
し、CPUに送る。SW−1はレリーズ釦41の第一ス
トロークでONし、測光、AF、視線検出動作を開始す
る測光スイッチ、SW−2はレリーズ釦の第二ストロー
クでONするレリーズスイッチ、SW−ANGは水銀ス
イッチ27によって検知されるところの姿勢検知スイッ
チ、SW−AELはAEロック釦43を押すことによっ
てONするAEロックスイッチ、SW−DIAL1とS
W−DIAL2は既に説明した電子ダイヤル内に設けた
ダイヤルスイッチで信号入力回路104のアップダウン
カウンターに入力され、電子ダイヤル45の回転クリッ
ク量をカウントする。SW−M1〜M4も既に説明した
モードダイヤル内に設けたダイヤルスイッチである。こ
れらスイッチの信号が信号入力回路104に入力されデ
ータバスによってCPU100に送信される。105は
液晶表示素子LCDを表示駆動させるための公知のLC
D駆動回路で、CPU100からの信号に従い絞り値、
シャッター秒時、設定した撮影モード等の表示をモニタ
ー用LCD42とファインダー内LCD24の両方に同
時に表示させることができる。LED駆動回路106は
照明用LED(F−LED)22とスーパーインポーズ
用LED21を点灯、点滅制御する。IRED駆動回路
107は赤外発光ダイオード(IRED1〜6)13a
〜13fを状況に応じて選択的に点灯させる。シャッタ
ー制御回路108は通電すると先幕を走行させるマグネ
ットMG−1と、後幕を走行させるマグネットMG−2
を制御し、感光部材に所定光量を露光させる。モーター
制御回路109はフィルムの巻き上げ、巻き戻しを行う
モーターM1と主ミラー2及びシャッター4のチャージ
を行うモーターM2を制御するためのものである。これ
らシャッター制御回路108、モーター制御回路109
によって一連のカメラのレリーズシーケンスが動作す
る。
とファインダー内LCD24の全表示セグメントの内容
を示したものである。図7(a)において固定表示セグ
メント部42aには公知の撮影モード表示以外に、視線
検出を行ってカメラのAF動作や撮影モードの選択など
の撮影動作を視線情報を用いて制御していることを示す
視線入力モード表示61を設けている。可変数値表示用
の7セグメント部42bはシャッター秒時を表示する4
桁の7セグメント62、絞り値を表示する2桁の7セグ
メント63と小数点64、フィルム枚数を表示する限定
数値表示セグメント65と1桁の7セグメント66で構
成されている。図7(b)において71は手ブレ警告マ
ーク、72はAEロックマーク、73、74、75は前
記のシャッター秒時表示と絞り値表示と同一の表示セグ
メント、76は露出補正設定マーク、77はストロボ充
完マーク、78は視線入力状態であることを示す視線入
力マーク、79は撮影レンズ1の合焦状態を示す合焦マ
ークである。
のフローチャートを図8に、この時のファインダー内の
表示状態を図12に示し、これらをもとに以下説明す
る。モードダイヤル44を回転させてカメラを不作動状
態から所定の撮影モードに設定すると(本実施例ではシ
ャッター優先AEに設定された場合をもとに説明する)
カメラの電源がONされ(#100)、CPU100の
EEPROMに記憶された視線のキャリブレーションデ
ータ以外の視線検出に使われる変数がリセットされる
(#101)。そしてカメラはレリーズ釦41が押し込
まれてスイッチSW1がONされるまで待機する(#1
02)。レリーズ釦41が押し込まれスイッチSW1が
ONされたことを信号入力回路104が検知すると、C
PU100は視線検出を行う際にどのキャリブレーショ
ンデータを使用するかを視線検出回路101に確認する
(#103)。この時確認されたキャリブレーションデ
ータナンバーのキャリブレーションデータが初期値のま
まで変更されていなかったりあるいは視線禁止モードに
設定されていたら、視線検出は実行せずにすなわち視線
情報を用いずに測距点自動選択サブルーチン(#11
6)によって特定の測距点を選択する。この測距点にお
いて自動焦点検出回路103は焦点検出動作を行う(#
107)。測距点自動選択のアルゴリズムとしてはいく
つかの方法が考えられるが、中央測距点に重み付けを置
いた近点優先アルゴリズムが有効であり、ここではその
一例を図9に示し後述、説明する。
ーに対応する視線のキャリブレーションデータが所定の
値に設定されていてそのデータが撮影者により入力され
たものであることが認識されると、視線検出回路101
はそのキャリブレーションデータにしたがって視線検出
を実行する(#104)。この時LED駆動回路106
は照明用LED(F−LED)22を点灯させ、LCD
駆動回路105はファインダー内LCD24の視線入力
マーク78を点灯させ、ファインダー画面外207で撮
影者はカメラが視線検出を行っている状態であることを
確認することができるようになっている(図12
(a))。また7セグメント73には設定されたシャッ
ター秒時が表示されている(実施例として1/250秒
のシャッター優先AEの場合を示している)。ここで視
線検出回路101において検出された視線はピント板7
上の注視点座標に変換される。CPU100は該注視点
座標に近接した測距点を選択し、表示回路106に信号
を送信してスーパーインポーズ用LED21を用いて前
記測距点マークを点滅表示させる(#105)。図12
(a)(c)では一例として測距点マーク201が選択
された状態を示すものである。またこの時CPU100
は、視線検出回路101で検出された注視点座標の信頼
性が低い場合、その信頼性の度合に応じて選択される測
距点の数を変えて表示するように信号を送信している。
図12(b)では(a)の状態よりも注視点の信頼性が
低く、測距点マーク201と202が選択されている状
態を示している。撮影者が該撮影者の視線によって選択
された測距点が表示されたのを見て、その測距点が正し
くないと認識してレリーズ釦41から手を離しスイッチ
SW1をOFFすると(#106)、カメラはスイッチ
SW1がONされるまで待機する(#102)。
点が表示されたのを見て、引続きスイッチSW1をON
し続けたならば(#106)、自動焦点検出回路103
は検出された視線情報を用いて1つ以上の測距点の焦点
検出を実行する(#107)。ここで選択された測距点
が測距不能であるかを判定し(#108)、不能であれ
ばCPU100はLCD駆動回路105に信号を送って
ファインダー内LCD24の合焦マーク79を点滅さ
せ、測距がNGであることを撮影者に警告し(#11
8)(図12(c))、SW1が離されるまで続ける
(#119)。測距が可能であり、所定のアルゴリズム
で選択された測距点の焦点調節状態が合焦でなければ
(#109)、CPU100はレンズ焦点調節回路11
0に信号を送って所定量撮影レンズ1を駆動させる(#
117)。レンズ駆動後自動焦点検出回路103は再度
焦点検出を行い(#107)、撮影レンズ1が合焦して
いるか否かの判定を行う(#109)。所定の測距点に
おいて撮影レンズ1が合焦していたならば、CPU10
0はLCD駆動回路105に信号を送ってファインダー
内LCD24の合焦マーク79を点灯させるとともに、
LED駆動回路106にも信号を送って合焦している測
距点201に合焦表示させる(#110)(図12
(d))。この時前記視線によって選択された測距点の
点滅表示は消灯するが合焦表示される測距点と前記視線
によって選択された測距点とは一致する場合が多いの
で、合焦したことを撮影者に認識させるために合焦測距
点は点灯状態に設定される。合焦した測距点がファイン
ダー内に表示されたのを撮影者が見て、その測距点が正
しくないと認識してレリーズ釦41から手を離しスイッ
チSW1をOFFすると(#111)、引続きカメラは
スイッチSW1がONされるまで待機する(#10
2)。また撮影者が合焦表示された測距点を見て、引続
きスイッチSW1をONし続けたならば(#111)、
CPU100は測光回路102に信号を送信して測光を
行わせる(#112)。この時合焦した測距点を含む測
光領域210〜213に重み付けを行った露出値が演算
される。本実施例の場合、測距点201を含む測光領域
210に重み付けされた公知の測光演算を行い、この演
算結果として7セグメント74と小数点75を用いて絞
り値(F5.6)を表示する(図12(d))。さらに
レリーズ釦41が押し込まれてスイッチSW2がONさ
れているかどうかの判定を行い(#113)、スイッチ
SW2がOFF状態であれば再びスイッチSW1の状態
の確認を行う(#111)。またスイッチSW2がON
されたならばCPU100はシャッター制御回路10
8、モーター制御回路109、絞り駆動回路111にそ
れぞれ信号を送信する。まずM2に通電し主ミラー2を
アップさせ、絞り31を絞り込んだ後、MG1に通電し
シャッター4の先幕を開放する。絞り31の絞り値及び
シャッター4のシャッタースピードは、前記測光回路1
02にて検知された露出値とフィルム5の感度から決定
される。所定のシャッター秒時(1/250秒)経過後
MG2に通電し、シャッター4の後幕を閉じる。フィル
ム5への露光が終了すると、M2に再度通電し、ミラー
ダウン、シャッターチャージを行うとともにM1にも通
電し、フィルムのコマ送りを行い、一連のシャッターレ
リーズシーケンスの動作が終了する(#114)。その
後カメラは再びスイッチSW1がONされるまで待機す
る(#102)。
ーズ動作(#114)以外の一連の動作中にモードダイ
ヤル44によってモードが変更され、視線のキャリブレ
ーションモードに設定されたことを信号入力回路104
が検知すると、CPU100はカメラの動作を一時停止
し、視線検出回路101に送信して視線のキャリブレー
ション(#115)が可能な状態に設定する。視線のキ
ャリブレーション方法については後述する。
6について図9を用いて説明する。このサブルーチンは
前述のように視線検出禁止モード、すなわち視線入力モ
ードが設定されていない際に実行されるもので、各測距
点のデイフォーカス量と絶対距離の情報より測距点を決
定するものである。まず5つの測距点の中で測距可能な
測距点があるか判定し(#501)、どの測距点も測距
不能であればメインのルーチンにリターンする(#51
1)。測距可能な測距点があり、それが1つであれば
(#502)、その1点を測距点とする(#507)。
測距可能な測距点が2つ以上あれば次に進み、この中に
中央の測距点があるか(#503)、また中央測距点は
近距離(たとえば20X焦点距離以下)にあるか判定す
る(#504)。ここで中央測距点が測距可能でかつ近
距離であるか、または中央測距点が測距不能である場合
は#505に進む。#505では近距離測距点の数が遠
距離測距点の数よりも多ければ主被写体はかなり撮影者
側にあると判断し、最近点の測距点を選択する(#50
6)。また近距離測距点の数が少なければ主被写体は遠
距離側にあると判断し、被写界深度を考慮して遠距離測
距点の中での最近点を選択する(#510)。#504
で中央測距点が遠距離である場合は、#508に進む。
ここで遠距離測距点の数が近距離測距点の数より多けれ
ば主被写体は中央の測距点を含む遠距離側にあると判断
し、中央測距点を選択する(#509)。また遠距離測
距点の数が少なければ前述と同様に最近点の測距点を選
択する(#506)。
の中から1つの測距点が自動的に選択され、メインのル
ーチンに戻り(#511)、再度この測距点で焦点検出
動作を行うようになっている(#107)。なお前述の
視線情報を用いて測距点が選択された場合の合焦表示は
図12(d)と同様に、この場合も合焦表示は図12
(e)に示すように測距点201と合焦マーク79が点
灯するが、視線入力マーク78は当然ながら非点灯状態
になっている。
る。前述のように視線検出回路101はCPU100よ
り信号を受け取ると視線検出を実行する(#104)。
視線検出回路101は、撮影モードの中で視線検出かあ
るいは視線のキャリブレーションモードの中での視線検
出かの判定を行う(#201)。同時に視線検出回路1
01はカメラが後述するどのキャリブレーションデータ
ナンバーに設定されているかを認識する。
線検出の場合はまず最初にカメラがどのような姿勢にな
っているかを信号入力回路104を介して検知する(#
202)。信号入力回路104は水銀スイッチ27(S
W−ANG)の出力信号を処理してカメラが横位置であ
るか縦位置であるか、また縦位置である場合は例えばレ
リーズ釦41が天方向にあるか地(面)方向にあるかを
判断する。続いてCPU100を介して測光回路102
から撮影領域の明るさの情報を入手する(#203)。
次に先に検知されたカメラの姿勢情報とキャリブレーシ
ョンデータに含まれる撮影者の眼鏡情報より赤外発光ダ
イオード(以下IREDと称す)13a〜13fの選択
を行う(#204)。すなわちカメラが横位置に構えら
れ、撮影者が眼鏡をかけていなかったならば、図2
(a)に示すようにファインダー光軸よりのIRED1
3a、13bが選択される。またカメラが横位置で、撮
影者が眼鏡をかけていれば、ファインダー光軸から離れ
た13c、13dのIREDが選択される。このとき撮
影者の眼鏡で反射した照明光の一部は眼球像が投影され
るイメージセンサー14上の所定の領域以外に達するた
め眼球像の解析に支障は生じない。さらにはカメラが縦
位置で構えられていたならば、撮影者の眼球を下方から
照明するようなIREDの組合せ13a、13eもしく
は13b、13fのどちらかの組合せが選択される。
EYEと称す。)の蓄積時間及びIREDの照明パワー
が前記測光情報及び撮影者の眼鏡情報等に基づいて設定
される(#205)。該CCD−EYEの蓄積時間及び
IREDの照明パワーは前回の視線検出時に得られた眼
球像のコントラスト等から判断された値を基にして設定
を行っても構わない。
明パワーが設定されると、CPU100はIRED駆動
回路107を介してIREDを所定のパワーで点灯させ
るとともに、視線検出回路101はCCD−EYEの蓄
積を開始する(#206)。また先に設定されたCCD
−EYEの蓄積時間にしたがってCCD−EYEは蓄積
を終了し、それとともにIREDも消灯される。視線の
キャリブレーションモードでなければ(#207)、C
CD−EYEの読み出し領域が設定される(#20
8)。カメラ本体の電源がONされた後の1番最初の視
線検出以外はCCD−EYEの読み出し領域は前回の視
線検出時のCCD−EYEの読み出し領域を基準にして
設定されるが、カメラの姿勢が変化したとき、あるいは
眼鏡の有無が変化した場合等はCCD−EYEの読み出
し領域は全領域に設定される。CCD−EYEの読み出
し領域が設定されると、CCD−EYEの読み出しが実
行される(#209)。この時読み出し領域以外の領域
は空読みが行われ実際上読み飛ばされていく。CCD−
EYEより読み出された像出力は視線検出回路101で
A/D変換された後にCPU100にメモリーされ、該
CPU100において眼球像の各特徴点の抽出のための
演算が行われる(#210)。すなわちCPU100に
おいて、眼球の照明に使用された一組のIREDの虚像
であるプルキンエ像の位置(Xp1,Yp1)、(Xp
2,Yp2)が検出される。プルキンエ像は光強度の強
い輝点として現れるため、光強度に対する所定のしきい
値を設け該しきい値を超える光強度のものをフルキンエ
像とすることにより検出可能である。また瞳孔の中心位
置(Xic,Yic)は瞳孔19と虹彩17の境界点を
複数検出し、各境界点を基に円の最小二乗近似を行うこ
とにより算出される。この時瞳孔径Rppも算出され
る。また二つのプルキンエ像の位置よりその間隔が算出
される。
に、眼球像のコントラストを検出してそのコントラスト
の程度からCCD−EYEの蓄積時間の再設定を行う。
またプルキンエ像の位置及び瞳孔の位置よりCCD−E
YEの読み出し領域を設定する。この時CCD−EYE
の読み出し領域は、検出された瞳孔を含み該瞳孔の位置
が所定量変化しても瞳孔全体が検出可能な範囲に設定さ
れる。そしてその大きさは虹彩の大きさより小さいのは
いうまでもない。CCD−EYEの読み出し領域は長方
形に設定され該長方形の対角の2点の座標がCCD−E
YEの読み出し領域として視線検出回路101に記憶さ
れる。さらに眼球像のコントラストあるいは瞳孔の大き
さ等から、算出されたプルキンエ像及び瞳孔中心の位置
の信頼性が判定される。
ションデータの確認手段を兼ねた視線検出回路101は
算出されたプルキンエ像の間隔と点灯されたIREDの
組合せよりキャリブレーションデータの中の眼鏡情報が
正しいか否かの判定を行う(#211)。これはその時
々において眼鏡を使用したり使用しなかったりする撮影
者に対処するためのものである。すなわちキャリブレー
ションデータの中の撮影者の眼鏡情報が例えば眼鏡を使
用するように設定されていて図2(a)に示したIRE
Dの内13c、13dが点灯された場合、プルキンエ像
の間隔が所定の大きさより大きければ撮影者は眼鏡装着
者と認識され眼鏡情報が正しいと判定される。逆にプル
キンエ像の間隔が所定の大きさより小さければ撮影者は
裸眼あるいはコンタクトレンズ装着者と認識され眼鏡情
報が誤っていると判定される。眼鏡情報が誤っていると
判定されると(#211)、視線検出回路101は眼鏡
情報の変更を行って(#217)再度IREDの選択を
行い(#204)視線検出を実行する。但し眼鏡情報の
変更を行う際、CPU100のEEPROMに記憶され
た眼鏡情報は変更されない。
212)、プルキンエ像の間隔よりカメラの接眼レンズ
11と撮影者の眼球15との距離が算出され、さらには
該接眼レンズ11と撮影者の眼球15との距離からCC
D−EYEに投影された眼球像の結像倍率βが算出され
る(#212)。以上の計算値より眼球15の光軸の回
転角θx、θyは(1)式に基づいて、 β*OC*SINθx≒(Xp0+δx)−Xic (4) β*OC*SINθy≒(Yp0+δy)−Yic (5) を満足する(#213)。ただし、
補正項である。
と、ピント板7上での視線の位置(X,Y)は、以下の
ように算出される(#214)。
x、Dx、Ay、By、Cy、Dyは視線の個人差を補
正するためのキャリブレーションデータでAx〜Dxは
水平(x)方向、Ay〜Dyは垂直(y)方向のデータ
である。視線のキャリブレーションデータを求める方法
は後述する。
検出を1度行ったことを示すフラグをたてて(#21
5)メインのルーチンに復帰する(#218)。
ートは視線のキャリブレーションモードにおいても有効
である。(#201)において、キャリブレーションモ
ードの中での視線検出であると判定すると次に今回の視
線検出がキャリブレーションモードの中での最初の視線
検出であるか否かの判定を行う(#216)。今回の視
線検出がキャリブレーションモードの中での最初の視線
検出であると判定されると、CCD−EYEの蓄積時間
およびIREDの照明パワーを設定するために周囲の明
るさの測定が行われる(#203)。これ以降の動作は
前述の通りである。
モードの中で2回目以上の視線検出であると判定される
と(#216)、CCD−EYEの蓄積時間およびIR
EDの照明パワーは前回の値が採用され直ちにIRED
の点灯とCCD−EYEの蓄積が開始される(#20
6)。また視線のキャリブレーションモードでかつ視線
検出回路数が2回目以上の場合は(#207)、CCD
−EYEの読み出し領域は前回と同じ領域が用いられる
ためCCD−EYEの蓄積終了とともに直ちにCCD−
EYEの読み出しが実行される(#209)。これ以降
の動作は前述の通りである。
ートにおいてメインのルーチンに復帰する際の変数は、
通常の視線検出の場合視線のピント板上の座標(x,
y)であるが、視線のキャリブレーションモードの中で
の視線検出の場合は撮影者の眼球光軸の回転角(θx,
θy)である。また他の変数である検出結果の信頼性、
CCD−EYE蓄積時間、CCD−EYE読み出し領域
等は共通である。
時間およびIREDの照明パワーを設定するために、カ
メラの測光センサー10にて検出された測光情報を利用
しているが接眼レンズ11近傍に撮影者の前眼部の明る
さを検出する手段を新たに設けてその値を利用するもの
も有効である。
ーチャート、図13〜18は視線のキャリブレーション
時のファインダー内LCD24とモニター用LCD42
の表示状態を示したものである。以下同図を用いて説明
する。
ALポジション44dに視標をあわせると、視線のキャ
リブレーションモードに設定され、信号入力回路104
はCPU100を介してLCD駆動回路105に信号を
送信し、モニター用LCD42は後述する視線のキャリ
ブレーションモードのいずれかに入ったことを示す表示
を行う。またCPU100はEEPROMに記憶された
キャリブレーションデータ以外の変数をリセットする
(#301)。
(a)に示すように現在設定されているキャリブレーシ
ョンモードを表示する。キャリブレーションモードはキ
ャリブレーション動作を行う「ON」モードとキャリブ
レーション動作を行わない「OFF」モードとがある。
まず「ON」モードにおいてはキャリブレーションデー
タナンバー1〜5と対応するようにキャリブレーション
ナンバーCAL1〜CAL5が用意されており、シャッ
ター秒時を表示する7セグメント62と絞り値を表示す
る7セグメント63を用いて表示され、そのほかの固定
セグメント表示部42aはすべて消灯している(実施例
としてキャリブレーションナンバー1の状態を示し、7
セグメント表示部のみを拡大して示している)。この
時、設定されたキャリブレーションナンバーのキャリブ
レーションデータが初期値の場合はモニター用LCD4
2に表示されたキャリブレーションナンバーが点滅し
(図13(b))、一方設定されたキャリブレーション
ナンバーにおいて既に後述するキャリブレーションが行
われ、キャリブレーションナンバーに対応したEEPR
OMのアドレス上に初期値と異なるキャリブレーション
データが入っていればモニター用LCD42に表示され
たキャリブレーションナンバーがフル点灯するようにな
っている(図13(a))。その結果撮影者は現在設定
されているキャリブレーションナンバーに既にキャリブ
レーションデータが入っているかどうかを認識できるよ
うになっている。またキャリブレーションデータナンバ
ーの初期値は「0」に設定されており視線のキャリブレ
ーションが実行されなければ視線による情報入力はなさ
れないようになっている。
メント63は「OFF」と表示されるようになっており
(図13(c))、常時キャリブレーションデータナン
バー0が選択され視線禁止モードに設定されている。こ
れは例えば記念撮影などで急に他の人に写真を撮っても
らうような時など、視線検出位置を誤ってしまい誤作動
するのを防ぐために視線による情報入力を禁止して撮影
するのに有効である。続いてCPU100に設定された
タイマーがスタートし視線のキャリブレーションを開始
する(#302)。タイマースタート後所定の時間中に
カメラに対して何の操作もなされなかったならば視線検
出回路101はそのとき設定されていたキャリブレーシ
ョンデータナンバーを0に再設定し視線禁止(OFF)
モードに変更する。またファインダー内に視線のキャリ
ブレーション用の視標等が点滅していれば消灯する。
と、前述のようにパルス信号によってその回転を検知し
た信号入力回路104はCPU100を会してLCD駆
動回路105に信号を送信する。その結果電子ダイヤル
45の回転に同期してモニター用LCD42に表示され
たキャリブレーションナンバーが変化する。この様子を
図14に示す。まず電子ダイヤル45を時計方向に回転
させると「CAL−1」→「CAL−2」→「CAL−
3」→「CAL−4」→「CAL−5」と変化し、後述
のキャリブレーション操作で撮影者は希望する5つのキ
ャリブレーションナンバーのいずれかにキャリブレーシ
ョンデータを記憶させることができる。そして図14に
示した状態は「CAL−1、2、3」にはすでにキャリ
ブレーションデータが入っており、「CAL−4、5」
には入っておらず初期値のままであることを表してい
る。次にさらに時計方向に1クリック回転させると「O
FF」表示となり、キャリブレーション動作は行わず、
かつ視線検出禁止モードとなる。さらに1クリック回転
させると「CAL−1」に戻り、以上のようにサイクリ
ックにキャリブレーションデータナンバーを表示する。
反時計方向に回転させた場合は図14の方向と正反対に
表示する。このようにしてモニター用LCD42に表示
されるキャリブレーションナンバーを見ながら撮影者が
所望のキャリブレーションナンバーを選択したら、視線
検出回路101は選択されたキャリブレーションデータ
ナンバーの確認を信号入力回路104を介して行う(#
303)。確認されたキャリブレーションデータナンバ
ーはCPU100のEEPROMの所定のアドレス上に
記憶される。但し確認されたキャリブレーションデータ
ナンバーが変更されていなければEEPROMへのキャ
リブレーションデータナンバーの記憶は実行されない。
104を介して撮影モードの確認を行う(#304)。
撮影者がモードダイヤル44を回転させて視線のキャリ
ブレーションモード以外の撮影モードに切り換えている
ことが確認されたら(#304)、ファインダー内に視
線のキャリブレーション用の視標が点滅していれば、そ
れを消灯させて(#305)メインのルーチンであるカ
メラの撮影動作に復帰する(#336)。そしてキャリ
ブレーションナンバー「CAL1〜5」が表示されてい
る状態でモードダイヤル44を他の撮影モード(シャッ
ター優先AE)に切り換えれば、そのキャリブレーショ
ンナンバーのデータを用いて視線検出を行い、前述の視
線情報を用いた撮影動作が行えるようになっている。こ
の時のモニター用LCD42の状態を図15に示すが、
通常の撮影モード表示以外に視線入力モード表示61を
点灯させて、視線情報をもとに撮影動作を制御している
視線入力モードであることを撮影者に知らせている。
れたままであることが確認されると(#304)、電子
ダイヤル45にて設定されたキャリブレーションデータ
ナンバーの確認を再度行う(#306)。この時キャリ
ブレーションデータナンバーが0を選択され視線禁止モ
ードに設定されていれば、再度キャリブレーションデー
タナンバーをCPU100のEEPROMに記憶する
(#303)。キャリブレーションモードにおいて視線
禁止が選択されたならばカメラはモードダイヤル44に
てモードが視線のキャリブレーションモード以外の撮影
モードに変更されるまで待機する。つまり「OFF」が
表示されている状態でモードダイヤル44を切り換えれ
ば、視線検出を行わないで、撮影動作を行うようになっ
ており、モニター用LCD42において視線入力モード
表示61は非点灯となっている。
外の値に設定されていれば(#306)、引続きCPU
100は信号入力回路104を介してカメラの姿勢を検
知する(#307)。信号入力回路104は水銀スイッ
チ27の出力信号を処理してカメラが横位置であるか縦
位置であるか、また縦位置である場合は例えばレリーズ
釦41が天方向にあるか地(面)方向にあるかを判断す
る。カメラは一般に横位置での使用が多いため、視線の
キャリブレーションを行うためのハード構成もカメラを
横位置に構えたときにキャリブレーション可能なように
設定されている。そのため視線検出回路101はカメラ
の姿勢が横位置でないことをCPU100より通信され
ると、視線のキャリブレーションを実行しない(#30
8)。また視線検出回路101はカメラの姿勢が横位置
であることから視線のキャリブレーションができないこ
とを撮影者に警告するために、図17(a)に示すよう
にカメラのファインダー内に設けられたファインダー内
LCD24に「CAL」表示を点滅させる。この時図示
されていない発音体によって警告音を発しても構わな
い。
知されると(#308)、視線検出回路101は視線検
出回数nを0に設定する(#309)。視線のキャリブ
レーションはスイッチSW1をONにすることにより開
始されるように設定されている。撮影者が視線のキャリ
ブレーションを行う準備が整う以前にカメラ側でキャリ
ブレーションを開始するのを防ぐために、視線検出回路
101はスイッチSW1の状態の確認を行いスイッチS
W1がレリーズ釦41によって押されていてON状態で
あればスイッチSW1がOFF状態になるまで待機する
(#310)。視線検出回路101は信号入力回路10
4を介してスイッチSW1がOFF状態であることを確
認すると(#310)、LED駆動回路106に信号を
送信して視線のキャリブレーション用の視標を点滅させ
る(#311)。視線のキャリブレーション用の視標は
以下に述べるキャリブレーション動作をスーパーインポ
ーズ表示に導かれて、撮影者がスムーズに行えるように
測距点マークと兼用しており、まず最初は右端の測距点
マーク204とドットマーク206が点滅する(図16
(a))。
ー信号であるスイッチSW1のON信号が入ってなけれ
ばカメラは待機する(#312)。また点滅を開始した
視標を撮影者が注視しレリーズ釦41を押してスイッチ
SW1をONしたら(#312)、視線検出回路101
はCPU100を介してLED駆動回路106に信号を
送信して視線のキャリブレーション用の視標を点灯させ
る(#313)(図16(b))。この時、撮影者は視
線検出が開始されたことを視覚的に認識できる。そして
視線検出が実行される(#314)。視線検出の動作は
図10のフローチャートで説明した通りである。
測距点マーク200にはドットマーク205、206が
刻まれており、これら2点の位置でキャリブレーション
を行なうことを示しており、どちらもスーパーインポー
ズ用LEDに照明されて点灯、点滅、非点灯の表示をす
ることができるようになっている。また測距点マークは
焦点検出の領域を示すものであるから、その領域に相当
するエリアの表示が必要である。しかし精度良くキャリ
ブレーションを行なうためには撮影者にできるだけ1点
を注視してもらうことが必要であり、このドットマーク
205、206は容易に1点を注視できるように測距点
マークよりも小さく設けたものである。視線検出回路1
01は視線検出のサブルーチンからの変数である眼球の
回転角θx、θy、瞳孔径Rpp及び各データの信頼性
を記憶する(#315)。さらに視線検出回数nをカウ
ントアップする(#316)。撮影者の視線は多少ばら
つきがあるため正確な視線のキャリブレーションデータ
を得るためには1点の視標に対して複数回の視線検出を
実行するのが有効である。キャリブレーションのデータ
の演算処理方法は後述する。本実施例においては1点の
視標に対する視線検出回数は10回と設定されている。
視線検出回数nが10回でなければ(#317)視線検
出が続行される(#314)。視線検出回数nが10回
であれば視標1(測距点マーク204、ドットマーク2
06)に対する視線検出を終了する(#317)。視標
1に対する視線検出が終了したことを撮影者に認識させ
るために視線検出回路101はCPU100を介して図
示されていない発音体を用いて電子音を数回鳴らさせ
る。同時に視線検出回路101はLED駆動回路106
を介して視標1を消灯させる(#318)。
104を介してスイッチSW1がOFF状態になってい
るかどうかの確認を行なう(#319)。スイッチSW
1がON状態であればOFF状態になるまで待機し、ス
イッチSW1がOFF状態であれば左端の視標2(測距
点マーク200、ドットマーク205)が点滅を開始す
る(#320)(図16(c))。視線検出回路101
は再度信号入力回路104を介してスイッチSW1がO
N状態になっているかどうかの確認を行なう(#32
1)。スイッチSW1がOFF状態であればONされる
まで待機し、スイッチSW1がONされたら視線検出回
路101はCPU100を介してLED駆動回路106
に信号を送信して視線のキャリブレーション用の視標を
点灯させる(#322)(図16(d))。そして、視
線検出を実行する(#323)。視線検出回路101は
視線検出のサブルーチンからの返数である眼球の回転角
θx、θy、瞳孔径Rpp及び各データの信頼性を記憶
する(#324)。さらに視線検出回数nをカウントア
ップする(#325)。さらに視線検出回数nが20回
でなければ(#326)視線検出が続行される(#32
3)。視線検出回数nが20回であれば視標2に対する
視線検出を終了する(#326)。
撮影者に認識させるために視線検出回路101はCPU
100を介して図示されていない発音体を用いて電子音
を数回鳴らさせる。同時に視線検出回路101はLED
駆動回路106を介して視標2を消灯させる(#32
7)。
視線データの検出が終了すると、視線検出回路101に
記憶された眼球の回転角θx、θy、瞳孔径Rppより
視線のキャリブレーションデータが算出される(#32
8)。視線のキャリブレーションデータの算出方法は以
下の通りである。
れぞれ(X1,0)、(X2,0)、視線検出回路10
1に記憶された各視標を注視したときの眼球の回転角
(θx,θy)10回分の平均値を(θx1,θy
1)、(θx2,θy2)とする。但し(θx1,θy
1)は撮影者が視標1を注視したときに検出された眼球
の回転角の平均値、(θx2,θy2)は撮影者が視標
2を注視したときに検出された眼球の回転角の平均値を
表している。また各視標を注視したときの眼球の回転角
の標準偏差をσx1、σy1、σx2、σy2とする。
眼球の回転角の平均値から大きく離れたデータを除外す
るためのしきい値θthを、 θthx1=σx1 θthy1=1.5*σy1 θthx2=σx2 θthy2=1.5*σy2 と設定する。ここで眼球の回転角の標準偏差に対するし
きい値の値が、x(水平)方向とy(垂直)方向とで異
なった倍率になっているのは、各回転方向で必要とされ
る視線検出精度が異なるためである。
−θ|がしきい値θthを超える回転角を除外した後の
各回転角の平均値をθx1、θy1、θx2、θy2と
する。また、眼球の回転角と平均値との差|θ−θ|が
しきい値θthを超える回転角を除外した後の各瞳孔径
の平均値をRpp1、Rpp2とする。
う。
存するため、 θx=Kx*Rpp+Lx (8) とおくことができる。(8)式の係数Kx、Lxは視線
座標の1次関数と仮定され、 Kx=Ax*X/m+Cx (9) Lx=Bx*X/m+Dx (10) とおける。ある明るさの環境で視標1(水平座標X1)
を注視したとき、上記データ処理した後の回転角をθx
1、瞳孔径をRpp1とすると、 θx1=Kx1*Rpp1+Lx1 (11) Kx1=Ax*X1/m+Cx (12) Lx1=Bx*X1/m+Dx (13) 同様に、視標2(水平座標X2)において、 θx2=Kx2*Rpp2+Lx2 (14) Kx2=Ax*X2/m+Cx (15) Lx2=Bx*X2/m+Dx (16) 後述する方法で、(11)式におけるKx1、Lx1
が、(14)式におけるKx2、Lx2が決まると、
(12)、(15)式より、
められるが、垂直方向に関するキャリブレーションデー
タAy〜Dyは以下のように算出される。
存するから、 θy=Ky*Rpp+Ly (21) (21)式の係数Ky、Lyは視線座標の1次関数と仮
定され、 ky=Ay*Y/m+Cy (22) Ly=By*Y/m+Dy (23) とおける。ところで、視線のキャリブレーションのため
の2つの視標は、水平方向に離れて配置されているが、
垂直方向は同一の座標である。従って、水平方向のキャ
リブレーションデータAx〜Dxは上述のように求める
ことができるが、垂直方向のキャリブレーションデータ
Ay〜Dyは同様に求めることはできない。そこで、
(7)式の分母に対して次の仮定を行う。
=定数 よって、 Ay=0 (24) By=Ax*Rpp+Bx=定数 (25) ここで、Rppは複数回検出した瞳孔径の平均を表す。
また(22)(23)式より、 Cy=Ky (26) Dy=Ly−By*Y/m ところで視標の垂直方向の座標Yは0であるため、 Dy=Ly (27) となる。
Ky、Lyの求め方について説明する。
は何回でも受け付けるようになっている。そこで複数回
の視線キャリブレーション動作で入力された上記データ
処理後の複数のθx、θy、Rppを記憶し、これを用
いて(8)(21)式をできるだけ満足するKx1〜L
yを決定しようとするものである。そのために「単純平
均」と「最小二乗法」を用いる。ところで、眼球の回転
角θx、θyの瞳孔径Rppに対する依存の度合を検出
するため、記憶している複数の瞳孔径Rppの値に変化
が乏しければ単純平均によって、Kx1、Lx1あるい
はKx2、Lx2あるいはKy、Lyが求められる。ま
た、瞳孔径Rppの変化が大きければ最小二乗法によっ
てKx1〜Lyを求める。キャリブレーション動作の回
数が少なく入力されているデータの数が少ないときは、
単純平均にて求められる。実際の計算は以下のように行
われる。
て、右端の視標1を注視したときの前述のデータ処理し
た後のデータを[θx1、θy1、Rpx1]、左端の
視標2を注視したときのデータを[θx2、θy2、R
px2]とすると、
計算方法で係数Kx1〜Lyの算出を行うかを判定する
しきい値をns(例えば2個)とすると、A.データ数
n<ns、あるいは瞳孔径Rppの変化(あるいは偏差
量)が小さいとき、単純平均を用いて以下の式からKx
1〜Lyを計算する。
とき、最小二乗法を用いて以下の式からKx1〜Lyを
計算する。
ンデータ算出後、あるいは視線検出の終了後にタイマー
がリセットされる(#329)。
判定手段を兼ねた視線検出回路101は算出された視線
のキャリブレーションデータが適正かどうかの判定を行
う(#330)。
ある眼球の回転角及び瞳孔径の信頼性と算出された視線
のキャリブレーションデータ自身を用いて行われる。す
なわち視線検出サブルーチンにて検出された眼球の回転
角及び瞳孔径の信頼性がない場合は算出された視線のキ
ャリブレーションデータも信頼性がないと判定する。ま
た視線検出サブルーチンにて検出された眼球の回転角及
び瞳孔径の信頼性がある場合算出された視線のキャリブ
レーションデータが一般的な個人差の範囲に入っていれ
ば適正と判定し、一方算出された視線のキャリブレーシ
ョンデータが一般的な個人差の範囲から大きく逸脱して
いれば算出された視線のキャリブレーションデータは不
適性と判定する。また視線検出回路101は算出された
視線のキャリブレーションデータが適性か否かの判定を
行うだけでなく、算出された視線のキャリブレーション
データがどの程度信頼性があるかも判定する。信頼性の
度合は視線検出サブルーチンにて検出された眼球の回転
角及び瞳孔径の信頼性等に依存しているのは言うまでも
ない。視線のキャリブレーションデータの信頼性はその
程度に応じて2ビットに数値化されて後述するようにC
PU100のEEPROMに記憶される。
タが不適性と判定されると(#330)、視線検出回路
101はCPU100を介して図示されていない発音体
を用いて電子音を所定時間鳴らし視線のキャリブレーシ
ョンが失敗したことを警告する。同時にLCD駆動回路
105に信号を送信しファインダー内LCD24及びモ
ニター用LCD42に「CAL」表示を点滅させて警告
する(#337)(図17(a))、図18(a))。
発音体による警告音としてLCD24、42による警告
表示を所定時間行った後キャリブレーションルーチンの
初期ステップ(#301)に移行し再度視線のキャリブ
レーションを実行できる状態に設定される。
データが適性であれば(#330)、視線検出回路10
1はLCD駆動回路105、LED駆動回路106を介
して視線のキャリブレーションの終了表示を行う(#3
31)。LED駆動回路106はスーパーインポーズ用
LED21に通電し視標1、視標2を数回点滅させると
ともに、LCD駆動回路105はLCD24、42に信
号を送信して「End−キャリブレーションNo」の表
示を所定時間実行するようになっている(図17
(b)、図18(b))。視線検出回路101は視線検
出回数nを1に設定し(#332)、さらに算出された
視線のキャリブレーションデータ、撮影者の眼鏡情報及
び算出された視線のキャリブレーションデータの信頼性
を現在設定されているキャリブレーションデータナンバ
ーに相当するEEPROMのアドレス上に記憶する(#
333)。この時記憶を行うとするEEPROMのアド
レス上に既に視線のキャリブレーションデータが記憶さ
れている場合はキャリブレーションデータの更新を行
う。
カメラは撮影者によって電子ダイヤル45かあるいはモ
ードダイヤル44が操作されるまで待機する。撮影者が
電子ダイヤル45を回転させて他のキャリブレーション
ナンバーを選択したならば、視線検出回路101は信号
入力回路104を介してキャリブレーションナンバーの
変更を検知し(#334)、視線のキャリブレーション
ルーチンの初期ステップ(#301)に移行する。また
撮影者がモードダイヤル44を回転させて他の撮影モー
ドを選択したならば、視線検出回路101は信号入力回
路104を介して撮影モードの変更を検知し(#33
5)メインのルーチンに復帰する(#336)。メイン
のルーチンに復帰する際電子ダイヤル45にて設定され
たキャリブレーションナンバーにおいてキャリブレーシ
ョンデータが入力されておらず初期値のままであったな
らば、視線検出回路101はキャリブレーションデータ
ナンバーを0に再設定し強制的に視線禁止モードに設定
する。実際にはCPU100のEEPROMに記憶され
た現在設定されているキャリブレーションデータナンバ
ーを0(視線禁止モード)に再設定する。
しているときの視線検出回数を10回にして視線のキャ
リブレーションを行った例を示したが10回以上、ある
いは10回未満の回数で行っても構わない。
適切でない検出結果を除外した検出結果から眼球の個人
差を補正する補正係数を求める補正係数演算することが
できるので、正確な補正係数を得ることが可能となる。
したがって、眼球の個人差をより正確に補正できるよう
になり、高精度な視線検出が可能となる。
外観図。(b)は本発明に関する一眼レフカメラの上面
図。
灯図。(b)は本発明に関するファインダー内LCD全
点灯図。
フローチャート。
フローチャート。
内表示状態図。
のモニター用LCDの表示状態図。
のモニター用LCDの表示状態図。
LCDの表示状態図。
ファインダー内LCDの表示状態図。
ファインダー内LCDの表示状態図。
モニター用LCDの表示状態図。
(b)は本発明に関するイメージセンサーの出力強度
図。
標) 205〜206 ドットマーク
Claims (2)
- 【請求項1】 眼球像を受光する受光手段と、 前記受光手段にて受光した眼球像から眼球の回転角を検
出する回転角検出手段と、 前記回転角検出手段により検出された複数の回転角の平
均値θ及び標準偏差σを算出する算出手段と、 前記標準偏差を用いて閾値θthを設定する設定手段と、 前記平均値θと前記検出された各回転角との差を閾値θ
thと比較し、前記差が閾値θthよりも大きくない回転角
を選択する選択手段と、 前記選択された回転角を用いて眼球の個人差を補正する
補正係数を演算し、前記補正係数を用いて視線を演算す
る視線演算手段とを有し、 前記閾値はσ≦θth≦1.5σを満たすことを特徴とする
視線検出装置。 - 【請求項2】 前記閾値θthは、眼球の水平方向の回転
角と垂直方向の回転角とで異なる値を設定することを特
徴とする請求項1に記載の視線検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29150092A JP3219491B2 (ja) | 1992-10-29 | 1992-10-29 | 視線検出装置 |
US08/442,570 US5634141A (en) | 1992-09-07 | 1995-05-16 | Visual axis detection device capable of reducing detection errors due to variations of eyes among individuals |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29150092A JP3219491B2 (ja) | 1992-10-29 | 1992-10-29 | 視線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06138366A JPH06138366A (ja) | 1994-05-20 |
JP3219491B2 true JP3219491B2 (ja) | 2001-10-15 |
Family
ID=17769689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29150092A Expired - Fee Related JP3219491B2 (ja) | 1992-09-07 | 1992-10-29 | 視線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3219491B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4676375B2 (ja) * | 2006-05-10 | 2011-04-27 | アイテック株式会社 | 車両運転者の視線方向の検出方法又は同装置 |
-
1992
- 1992-10-29 JP JP29150092A patent/JP3219491B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH06138366A (ja) | 1994-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002345756A (ja) | 視線検出装置及び光学機器 | |
US5634141A (en) | Visual axis detection device capable of reducing detection errors due to variations of eyes among individuals | |
JPH08563A (ja) | 光学装置及びカメラ | |
JP3297481B2 (ja) | 視線検出装置 | |
US5402199A (en) | Visual axis detecting apparatus | |
JPH05333259A (ja) | 視線検出手段を有した光学装置 | |
JP2004008323A (ja) | 視線機能付光学装置 | |
JP3304408B2 (ja) | 視線検出装置および視線検出装置を有する機器 | |
JP3219491B2 (ja) | 視線検出装置 | |
JP2002301030A (ja) | 視線検出機能付き機器 | |
JP3184634B2 (ja) | 視線検出装置を有する光学装置 | |
JP3605081B2 (ja) | 視線検出装置 | |
JP3605080B2 (ja) | 視線検出装置 | |
JP3186249B2 (ja) | 視線検出装置及び視線検出方法 | |
JPH0688935A (ja) | 視線検出機能付光学装置 | |
JP3211427B2 (ja) | 視線検出装置 | |
JP3309439B2 (ja) | 光学装置 | |
JPH0634873A (ja) | 視線検出装置を有した光学装置 | |
JP3372646B2 (ja) | 視線検出装置を有した光学装置 | |
JP3176147B2 (ja) | 視線検出装置 | |
JP2003339642A (ja) | 視線検出装置及びそれを有した光学装置 | |
JP3391892B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
JPH0688934A (ja) | 視線検出機能付光学装置 | |
JP3492324B2 (ja) | 光学装置 | |
JPH08184748A (ja) | 視線検出機能付き合焦判別装置及びカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010717 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070810 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080810 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080810 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090810 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090810 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |