JPH06138520A - カメラ - Google Patents

カメラ

Info

Publication number
JPH06138520A
JPH06138520A JP29040292A JP29040292A JPH06138520A JP H06138520 A JPH06138520 A JP H06138520A JP 29040292 A JP29040292 A JP 29040292A JP 29040292 A JP29040292 A JP 29040292A JP H06138520 A JPH06138520 A JP H06138520A
Authority
JP
Japan
Prior art keywords
area
line
sight
focus detection
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29040292A
Other languages
English (en)
Other versions
JP3184633B2 (ja
Inventor
Yoshiaki Irie
良昭 入江
Akira Yamada
山田  晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP29040292A priority Critical patent/JP3184633B2/ja
Publication of JPH06138520A publication Critical patent/JPH06138520A/ja
Priority to US08/614,907 priority patent/US5579080A/en
Application granted granted Critical
Publication of JP3184633B2 publication Critical patent/JP3184633B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 (修正有) 【目的】 被写界を複数領域に分け,各領域別に自動焦
点調節データを求め,主被写体の存在領域のデータを選
択して常に最適自動焦点調節撮影できるカメラで,スト
ロボ発光量の調節をこの撮影方式に適するよう改善す
る。 【構成】 複数の焦点検出領域に対応させて複数の調光
センサー29をもつ調光手段112を設け,この複数の
調光センサー29は1つの焦点検出領域を調光する第1
の調光センサーPD1と,複数の焦点検出領域を合せて
調光する第2の調光センサーPD2を有し,被写界にお
ける主被写体の位置やその他の撮影条件を考慮してCP
U100は調光回路112を制御してストロボ発光量を
高精度で最適調節する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、閃光発光部より被写体
に向けて投射された光の反射光を複数の領域にて調光
し、これらの調光の出力に応じて前記閃光発光量を制御
するカメラに関するものである。
【0002】
【従来の技術】従来より、被写体に向けて閃光発光さ
せ、被写体からの反射光を調光して、その反射光の強度
(光量)に応じて発光量を決める調光式のカメラは数多
く提案されている。しかし、その多くは1個の測光(調
光)センサーにて画面を中央重点的に測光して調光して
いるために、主被写体が画面上小さかったり、画面中心
から外れた位置にあった場合、測光センサーは背景の影
響を受け、適正な光量が得られないという問題があっ
た。
【0003】また上記の問題に対し特開平3−5803
6号等にて複数の調光領域にそれぞれ対応する領域の焦
点検出情報を得る焦点検出手段を設け、該焦点検出手段
よりの各領域の焦点情報に基づいて、前記各調光領域の
出力情報を評価し、閃光発光量を制御する提案が本出願
人によってなされている。
【0004】
【発明が解決しようとする課題】すでに提案した方式で
の効果を得ながら、更に焦点検出領域の数を増していっ
た場合での好適な対処が望まれている。
【0005】
【課題を解決するための手段】被写界の複数領域を焦点
検出する焦点検出手段と、投射された閃光の被写体から
の反射光を調光する調光手段と、調光手段の出力に基づ
いて閃光発光量を制御する制御手段と、を有し、該調光
手段はひとつの焦点検出領域を調光する第1の調光セン
サーと、複数の焦点検出領域を合わせて調光する第2の
調光センサーを有しており、主被写体を考慮した精度の
良い閃光発光量制御を可能とし、しかもカメラ自体を大
型化しないで済むようにできるカメラを提供する。
【0006】
【実施例】図1〜図11は本発明の実施例で、図1は本
発明にかかる一眼レフカメラの概略図、図2(a)は一
眼レフカメラの上部外観図、図2(b)は一眼レフカメ
ラの背面図、図3はファインダー視野図である。各図に
おいて、1は撮影レンズで便宜上2枚レンズで示した
が、実際はさらに多数のレンズから構成されていること
は周知の通りである。2は主ミラーで、観察状態と撮影
状態に応じて撮影光路へ斜設されあるいは退去される。
3はサブミラーで、主ミラー2を透過した一部の光束を
カメラボディの下方へ向けて反射する。4はシャッタ
ー、5は感光部材で、銀塩フィルムあるいはCCDやM
OS型等の固体撮像素子あるいはビジィコン等の撮像素
子である。6は結像面近傍に配置されたフィールドレン
ズ6a、反射ミラー6b及び6c、2次結像レンズ6
d、絞り6e、複数のCCDからなるラインセンサー6
f等から構成されている周知の位相差方式の焦点検出装
置で、図3に示すように被写界内の複数の領域(検出点
マーク200〜204で示される5箇所)を焦点検出可
能なように構成されている。7は撮影レンズ1の予定結
像面に配置されたピント板。8はファインダー光路変更
用のペンタプリズム。9、10は観察画面内の被写体輝
度を測定するための測光用結像レンズと測光センサー
で、結像レンズ9はペンタプリズム8内の反射光路を介
してピント板7と測光センサーを共役に関係付けてい
る。
【0007】次にペンタプリズム8の射出面後方には光
分割器11aを備えた接眼レンズ11が配され、撮影者
眼15によるピント板7の観察に使用される。光分割器
11aは、例えば可視光を透過し赤外光を反射するダイ
クロイックミラーである。12は受光レンズ、14はC
CD等の光電素子列を2次元的に配したイメージセンサ
ーで受光レンズ12に関して所定の位置にある撮影者眼
15の瞳孔近傍と共役になるように配置されている。1
3a〜13fは照明光源であるところの赤外発光ダイオ
ードで、接眼レンズ11の回りに配置されている。21
は明るい被写体の中でも視認できる高輝度LEDで、発
光された光は投光用プリズム22、主ミラー2で反射し
てピント板7の表示部に設けた微小プリズムアレー7a
で垂直方向に曲げられ、ペンタプリズム8、接眼レンズ
11を通って撮影者の目に達する。そこでピント板7の
焦点検出領域に対応する位置にこの微小プリズムアレイ
7aを枠状に形成し、これを各々に対応した5つのスー
パーインポーズ用LED21(各々をLED−L1,L
ED−L2,LED−C,LED−R1,LED−R2
とする)によって照明する。これによって図3に示した
ファインダー視野図から分かるように、各々の検出点マ
ーク200、201、202、203、204がファイ
ンダー視野内で光り、焦点検出領域(測距点)を表示さ
せることができるものである(以下これをスーパーイン
ポーズ表示という)。23はファインダー視野領域(被
写界と略一致する)を形成する視野マスク。24はファ
インダー視野外に撮影情報を表示するためのファインダ
ー内LCDで、照明用LED(FーLED)25によっ
て照明され、LCD24を透過した光が三角プリズム2
6によってファインダー内に導かれ、図3の207で示
したようにファインダー画面外の表示部207に表示さ
れ、撮影者は撮影情報報を知ることができる。27はカ
メラの姿勢を検知する水銀スイッチである。また、2
8、29は、ストロボ撮影時にストロボの発光量を制御
するための調光ユニットであり、29は調光センサー、
28はフィルム面5上の被写体像を調光センサー29上
に投影するための調光用結像レンズである。
【0008】31は撮影レンズ1内に設けた絞り、32
は後述する絞り駆動回路111を含む絞り駆動装置、3
3はレンズ駆動用モーター、34は駆動ギヤ等からなる
レンズ駆動部材、35はフォトカプラーでレンズ駆動部
材34に連動するパルス板36の回転を検知してレンズ
焦点調節回路110に伝えている。焦点調節回路110
は、この情報とカメラ側からのレンズ駆動量の情報に基
づいてレンズ駆動用モーターを所定量駆動させ、撮影レ
ンズ1を合焦位置に移動させるようになっている。37
は公知のカメラとレンズとのインターフェイスとなるマ
ウント接点である。56は内蔵もしくは着脱自在のスト
ロボである。
【0009】図2において、41はレリーズ釦、42は
外部モニター表示装置としてのモニター用LCDで予め
決められたパターンを表示する固定セグメント表示部4
2aと可変数値表示用の7セグメント表示部42bとか
らなっている。43は測光値を保持するAEロック釦、
44はモードダイヤルで撮影モード等の選択を行なうた
めのものである。他の操作部材については本発明の理解
において特に必要ないので省略する。
【0010】図3は、カメラのファインダー視野であ
る。測光センサー10は16個の小領域S0〜S15に分
割されており、図3に示したファインダー画面内に投影
した場合、ファインダー画面の左側から焦点検出点マー
ク200、201、202、203、204に対応し
て、各検出点を含む領域がそれぞれS3、S1、S0、S
2、S4の測光小領域と対応しており、その周囲にセンサ
ーS5〜S15の測光小領域が位置するものである。
【0011】詳細は後述するが、本カメラが撮影者の視
線検出を行い、撮影被写体の投影されたピント板上で視
線位置を決定し、その視線位置がピント板座標上でのX
方向の領域300、301、302、303、304の
何れか一つに含まれる時に、その領域に対応した検出点
マーク200〜204のどれかを点滅することで、カメ
ラは撮影者に撮影者の視線位置を知らしめるものであ
る。
【0012】図5は、図1に示した調光センサー29を
カメラのファインダーに投影したものであり、図に示し
たとおり調光センサー29は3分割されたセンサーであ
る。従って、ファインダー内において、調光センサー2
9の測光感度領域は、検出点200と201を含む領域
400をカバーする調光センサーPD1と、検出点20
2を含む領域401をカバーする調光センサーPD
2と、検出点203と204を含む領域402をカバー
する調光センサーPD3の3つの領域に分割されてい
る。図において明らかなように、中央の1つだけの検出
点202用のセンサーPD2は他のセンサーに比べてカ
バーする面積を小さく設定している。
【0013】図6は本発明のカメラに内蔵された電気回
路図で、図1、2と同一のものは同一番号をつけてい
る。カメラ本体に内蔵されたマイクロコンピュータの中
央処理装置(以下CPU)100には視線検出回路10
1、測光回路102、自動焦点検出回路103、信号入
力回路104、LCD駆動回路105、LED駆動回路
106、IRED駆動回路107、シャッター制御回路
108、モーター制御回路109が接続されている。ま
た撮影レンズ内に配置された焦点調節回路110、絞り
駆動回路回路111とは図1で示したマウント接点37
を介して信号の伝達がなされる。
【0014】CPU100に付随したEEPROM10
0aは視線のキャリブレーションデータの記憶機能を有
している。モードダイヤル44の「CAL」ポジション
を指標に合わせると、視線の個人差の補正を行なうキャ
リブレーションモードが選択可能で、さらに該キャリブ
レーションモードの中ではキャリブレーションデータナ
ンバーの選択及び視線検出の禁止モードの設定が電子ダ
イヤル45にて可能となっている。キャリブレーション
データは複数設定可能で、カメラを使用する人物で区別
したり、同一の使用者であっても観察の状態が異なる場
合例えば眼鏡を使用する場合とそうでない場合、あるい
は視度補正レンズを使用する場合とそうでない場合とで
区別して設定するのに有効である。またこの時選択され
たキャリブレーションデータナンバーあるいは設定され
た視線禁止モードの状態もEEPROM100aに記憶
される。
【0015】視線検出回路101は、イメージセンサー
14(CCD−EYE)からの眼球像の出力をA/D
変換しこの像情報をCPUに送信する。CPU100は
後述するように視線検出に必要な眼球像の各特徴点を所
定のアルゴリズムに従って抽出し、さらに各特徴点の位
置から撮影者の視線を算出する。
【0016】測光回路102は測光センサー10からの
出力を増幅後、対数圧縮、A/D変換し、各小領域毎の
センサーの輝度情報としてCPU100に送られる。ラ
インセンサー6fは前述のように画面内の5つの検出点
200〜204に対応した5組のラインセンサーCCD
−L2,CCD−L1,CCD−C,CCD−R1,C
CDーR2から構成される公知のCCDラインセンサー
である。自動焦点検出回路103はこれらラインセンサ
ー6fから得た電圧をA/D変換し、CPUに送る。S
W−1はレリーズ釦41の第一ストロークでONし、測
光、AF、視線検出動作を開始する測光スイッチ、SW
−2はレリーズ釦の第二ストロークでONするレリーズ
スイッチ、SW−ANGは水銀スイッチ27によって検
知されるところの姿勢検知スイッチ、SW−AELはA
Eロック釦43を押すことによってONするAEロック
スイッチ、SW−DIAL1とSW−DIAL2は既に
説明した電子ダイヤル内に設けたダイヤルスイッチで信
号入力回路104のアップダウンカウンターに入力さ
れ、電子ダイヤル45の回転クリック量をカウントす
る。SW−M1〜M4も既に説明したモードダイヤル内
に設けたダイヤルスイッチである。これらスイッチの信
号が信号入力回路104に入力されデーターバスによっ
てCPU100に送信される。
【0017】105は液晶表示素子LCDを表示駆動さ
せるための公知のLCD駆動回路で、CPU100から
の信号に従い絞り値、シャッター秒時、設定した撮影モ
ード等の表示をモニター用LCD42とファインダー内
LCD24の両方に同時に表示させることができる。L
ED駆動回路106は照明用LED(F−LED)22
とスーパーインポーズ用LED21を点灯、点滅制御す
る。IRED駆動回路107は赤外発光ダイオード(I
RED1〜6)13a〜13fを状況に応じて選択的に
点灯させる。調光回路112はストロボ56が発光した
時、前述の3つの感度部PD1,PD2,PD3からな
る調光用センサー29からの光電流をMPU信号のもと
に対数圧縮増幅、積分を行い、所定値をこえるとMPU
に信号を送り、ストロボ56の発光を停止させることで
調光を行う。シャッター制御回路108は通電すると先
羽根群を走行させるマグネットMGー1と、後羽根群を
走行させるマグネットMG−2を制御し、感光部材に所
定光量を露光させる。モーター制御回路109はフィル
ムの巻き上げ、巻戻しを行なうモーターM1と主ミラー
2及びシャッター4のチャージを行なうモーターM2を
制御するためのものである。これらシャッター制御回路
108、モーター制御回路109によって一連のカメラ
のレリーズシーケンスが動作する。
【0018】次に、視線検出装置を有したカメラの動作
のフローチャートを図7に、この時のファインダー内の
表示状態を図3を用い、以下説明する。
【0019】モードダイヤル44を回転させてカメラを
不作動状態から所定の撮影モードに設定すると(本実施
例ではシャッター優先AEに設定された場合をもとに説
明する)カメラの電源がONされ(#100)、CPU100
のEEPROM100aに記憶された視線のキャリブレ
ーションデータ以外の視線検出に使われる変数がリセッ
トされる(#101)。そしてカメラはレリーズ釦41が押し
込まれてスイッチSW1がONされるまで待機する(#10
2)。レリーズ釦41が押し込まれスイッチSW1がON
されたことを信号入力回路104が検知すると、CPU
100はカメラがストロボを使用する撮影モード、例え
ばストロボ内蔵カメラにおける自動プログラムモード
(シャッター、絞り値はカメラが自動的に決定する)
や、外部ストロボを装着した状態にあるかどうかをチェ
ックする(#103)。ストロボモードでなければ#106へ、も
しストロボモードであればストロボを発光させるための
コンデンサーの充電を開始する(#104)。充電が完了した
(#105)後、#106へ進む。#106ではMPUが視線検
出を行なう際にどのキャリブレーションデータを使用す
るかを視線検出回路101に確認する。この時確認され
たキャリブレーションデータナンバーのキャリブレーシ
ョンデータが初期値のままで変更されていなかったりあ
るいは視線禁止モードに設定されていたら(#10
6)、視線検出は実行しない。すなわち視線情報を用い
ずに測距点自動選択サブルーチンによって特定の検出点
を選択する(#108)。この検出点において焦点検出回路1
03は焦点検出動作を行なう(#111)。検出点自動選択の
アルゴリズムとしてはいくつかの方法が考えられるが、
多点AFカメラでは公知となっている中央測距点に重み
付けを置いた近点優先アルゴリズムが有効である。
【0020】また前記視線のキャリブレーションデータ
が所定のキャリブレーションデータナンバーに設定され
ていてそのデータが撮影者により入力されたものである
ことが認識されると、視線検出回路101はそのデータ
にしたがって視線検出を実行する(#107)。なお、ステッ
プ107の動作は図8、図9に詳細に示されている。こ
の時LED駆動回路106は照明用LED(F−LE
D)22を点灯させ、LCD駆動回路105はファイン
ダー内LCD24の視線入力マーク78を点灯させ、フ
ァインダー画面外207で撮影者はカメラが視線検出を
行なっている状態であることを確認することができるよ
うになっている。なお、視線検出回路101において検
出された該視線はピント板7上の注視点座標に変換され
る(後述の図9での#214)。
【0021】該視線位置を決定する視線位置認識領域
は、図3において、300、301、02、303、3
04で示される。CPU100は、該注視点が領域30
0〜304の何れの領域、つまり、視線位置認識領域に
位置するかの判断を行い、その領域に対応する測距点を
選択する。
【0022】図3において、16分割測光センサーの測
光領域S3、S1、S0、S2、S4は、各々測光感度分布
の最も感度の高い位置から4段落ちまでの範囲を示して
おり、その各々の境界は測光感度が急激に変化する境界
である。図4に測光領域のピント板上での座標を示す。
同図中、0はカメラのファインダー光学系での光軸を示
し、領域S0の中心と検出点マーク202の中心は、カ
メラの光軸と一致している。光軸より右側をX軸の+方
向、光軸より上方向をY軸の+方向とした時、各領域、
及び、焦点検出点位置はX,Y軸に対し対称であり、領
域302(x2,y0)は、ピント板上、−a<x2<
a、−d≦y≦dと表わすことができる。同様に、領域
300(x0,y0)、301(x1,y0)、303(x
3,y0)、304(x4,y0)は、それぞれ−c≦x0
≦−b、−b<x1≦−a、a≦x3<b、b≦x4≦c
と表わすことができる。従って、該注視点の座標を
(x,y)とすると、300〜304のいずれの領域に
含まれるかを、特定することができる。
【0023】図3において明かなように、視線位置認識
領域300〜304の境界は、X座標のみに基づいて設
定されている。そして、上記注視点の座標情報により。
上記視線位置認識領域のどれかが選択される。
【0024】また、該注視点が、上記300〜304の
いずれの領域にも含まれない場合、視線検出不能とし
て、ファインダー内視線入力マーク78を点滅表示す
る。また、同図に示す通り、5つの検出点200〜20
4は、5つの領域S0〜S4の概略中心に位置する。
【0025】CPU100は検出点を選択した後、表示
回路106に信号を送信してスーパーインポーズ用LE
D21を用いて前記検出点マークを点滅表示させる(#10
9)。またこの時、CPU100は、視線検出回路101
で検出された注視点座標が検出精度不良等で、撮影者の
意志と異なる検出点が点滅した場合、撮影者が該撮影者
の視線によって選択された検出点が正しくないと認識し
てレリーズ釦41から手を離し、スイッチSW1をOF
Fすると(#110)、カメラはスイッチSW1がONされる
まで待機する(#102)。
【0026】また、撮影者が視線によって選択された検
出点が表示されたのを見て、引続きスイッチSW1をO
Nし続けたならば(#116)、自動焦点検出回路103は、
選択された検出点に対するラインセンサーを用いて、焦
点検出を実行する(#111)。ここで選択された検出点が焦
点検出不能であるかを判定し(#113)、不能であればCP
U100はLCD駆動回路105に信号を送ってファイ
ンダー内LCD24の合焦マーク79を点滅させ、測距
がNGであることを撮影者に警告し(#123)、SW1が離
されるまで続ける(#124)。焦点検出が可能であり、所定
のアルゴリズムで選択された検出点の焦点調節状態が合
焦でなければ(#113)、CPU100はレンズ焦点調節回
路110に信号を送って所定量撮影レンズ1を駆動させ
る(#114)。レンズ駆動後自動焦点検出回路103は再度
焦点検出を行ない(#111)、撮影レンズ1が合焦している
か否かの判定を行なう(#113)。選択された検出点におい
て撮影レンズ1が合焦していたならば、CPU100は
LCD駆動回路105に信号を送ってファインダー内L
CD24の合焦マーク79を点灯させるとともに、LE
D駆動回路106にも信号を送って合焦している検出点
マークによって合焦表示させる(#115)。この時前記視線
によって選択された検出点マークの点滅表示は、合焦し
たことを撮影者に認識させるために合焦時は点灯状態に
設定される。合焦した検出点がファインダー内に表示さ
れたのを撮影者が見て、その検出点が位置的に正しくな
いと認識してレリーズ釦41から手を離しスイッチSW
1をOFFすると(#116)、引続きカメラはスイッチSW1
がONされるまで待機する(#102)。また撮影者が合焦表
示された検出点を見て、引続きスイッチSW1をONし
続けたならば(#116)、CPU100は測光回路102に
信号を送信して測光値の取り込みを行なわせる(#117)。
ここで、取り込まれた測光値は各測光センサーの領域S
0〜S15から出力される16個の小領域の輝度に対応す
る信号に対し、装着された撮影レンズの開放Fナンバ
ー、焦点距離、射出瞳位置、絞り開放時の周辺光量落ち
等のレンズ固有情報に基づいて補正を行なった輝度信号
である。決定された輝度信号は小領域S0が輝度信号V
0、S2が輝度信号V2……S15がV15に対応している。
【0027】次に、ストロボを発光するかどうかの判定
を#118で行う。この判定条件は以下のものであり、この
条件満足すればストロボの発光を行うことが決定し、後
述する#119のストロボ発光サブルーチンに移行する。
【0028】#117で取り込まれた撮影被写界の16個の
小領域S0〜S15の輝度信号V0〜V15の中から、#111で
決定された検出点を含む測光領域の輝度を輝度信号Va
(VaはV0〜V4の内の何れか1つ)とし、各輝度信号
V0〜V15の内輝度が最大となるものをVmaxとし、両者
の輝度差:Vdef=Vmax−Vaが図12に示すハッチン
グ領域に存在する時にストロボを発光する。
【0029】図12は縦軸が#111で選択された検出点を
含む測光領域の輝度Vaで、横軸が上記Vaと撮影被写
界の測光小領域の内の最大輝度Vmaxの差Vdefであっ
て、ハッチング領域がストロボ発光領域、非ハッチング
領域はストロボ非発光領域、つまり後述する測光値演算
2で露出制御される領域である。この発光条件の概念
は、主被写体がかなり暗いか、主被写体がやや暗く、そ
の背景との輝度差が大きい時にストロボを発光させるも
のである。
【0030】上記ストロボ発光条件を満たさない時は、
#117でとりこまれた16個の測光小領域の輝度値V0〜
V15を用いて測光値演算1を行う(#120)。この時合焦し
た検出点を含む測光領域S0〜S4に基づいて全領域S0
〜S15の分類分けが行われ、その分類によって各領域の
重み付けを行なった評価測光演算が行なわれ露出値が決
定される。本実施例の場合、一例として検出点201を
含む測光領域S1を視線情報によって選択された特定な
小領域とした測光演算を図10に示した。そして、この
演算結果として7セグメント74と小数点75を用いて
絞り値、例えば(F5.6)を表示する。さらにレリー
ズ釦41が押し込まれてスイッチSW2がONされてい
るかどうかの判定を行ない(#121)、スイッチSW2がO
FF状態であれば再びスイッチSW1の状態の確認を行
なう(#116)。またスイッチSW2がONされたならばC
PU100はシャッター制御回路108、モーター制御
回路109、絞り駆動回路111にそれぞれ信号を送信
する。まずM2に通電し主ミラー2をアップさせ、絞り
31を絞り込んだ後、MG1に通電しシャッター4の先
羽根群を開放する。絞り31の絞り値及びシャッター4
のシャッタースピードは、前記測光回路102にて検知
された露出値とフィルム5の感度から決定される。所定
のシャッター秒時(1/250秒)経過後MG2に通電
し、シャッター4の後羽根群を閉じる。フィルム5への
露光が終了すると、M2に再度通電し、ミラーダウン、
シャッターチャージを行なうとともにM1にも通電し、
フィルムのコマ送りを行ない、一連のシャッターレリー
ズシーケンスの動作が終了する。(#122) その後カメラ
は再びスイッチSW1がONされるまで待機する(#10
2)。
【0031】図8、及び図9は、視線検出のフローチャ
ートである。前述のように視線検出回路101はCPU
100より信号を受け取ると視線検出を実行する(#10
4)。視線検出回路101は、撮影モードの中での視線検
出かあるいは視線のキャリブレーションモードの中での
視線検出かの判定を行なう(#201)。同時に視線検出回路
101はカメラが後述するどのキャリブレーションデー
タナンバーに設定されているかを認識する。
【0032】視線検出回路101は、撮影モードでの視
線検出の場合はまず最初にカメラがどのような姿勢にな
っているかを信号入力回路104を介して検知する(#20
2)。信号入力回路104は水銀スイッチ27(SW−A
NG)の出力信号を処理してカメラが横位置であるか縦
位置であるか、また縦位置である場合は例えばレリーズ
釦41が天方向にあるか地(面)方向にあるかを判断す
る。続いてCPU100を介して測光回路102から撮
影領域の明るさの情報を入手する(#203)。次に先に検知
されたカメラの姿勢情報とキャリブレーションデータに
含まれる撮影者の眼鏡情報より赤外発光ダイオード(以
下IREDと称す)13a〜13fの選択を行なう(#20
4)。すなわちカメラが横位置に構えられ、撮影者が眼鏡
をかけていなかったならば、図2(B)に示すようにフ
ァインダー光軸よりのIRED13a、13bが選択さ
れる。またカメラが横位置で、撮影者が眼鏡をかけてい
れば、ファインダー光軸から離れた13c、13dのI
REDが選択される。このとき撮影者の眼鏡で反射した
照明光の一部は、眼球像が投影されるイメージセンサー
14上の所定の領域以外に達するため眼球像の解析に支
障は生じない。さらにはカメラが縦位置で構えられてい
たならば、撮影者の眼球を下方から照明するようなIR
EDの組合せ13a、13eもしくは13b、13fの
どちらかの組合せが選択される。
【0033】次にイメージセンサー14(以下CCD−
EYEと称す。)の蓄積時間及びIREDの照明パワー
が前記測光情報及び撮影者の眼鏡情報等に基づいて設定
される(#205)。該CCD−EYEの蓄積時間及びIRE
Dの照明パワーは前回の視線検出時に得られた眼球像の
コントラスト等から判断された値を基にして設定を行な
っても構わない。
【0034】CCD−EYE蓄積時間及びIREDの照
明パワーが設定されると、CPU100はIRED駆動
回路107を介してIREDを所定のパワーで点灯させ
るとともに、視線検出回路101はCCD−EYEの蓄
積を開始する(#206)。また先に設定されたCCD−EY
Eの蓄積時間にしたがってCCD−EYEは蓄積を終了
し、それとともにIREDも消灯される(#206)。視線の
キャリブレーションモードでなければ(#207)、CCD−
EYEの読みだし領域が設定される(#208)。カメラ本体
の電源がONされた後の1番最初の視線検出以外はCC
D−EYEの読みだし領域は前回の視線検出時のCCD
−EYEの読みだし領域を基準にして設定されるが、カ
メラの姿勢が変化したとき、あるいは眼鏡の有無が変化
した場合等はCCD−EYEの読みだし領域は全領域に
設定される。CCD−EYEの読みだし領域が設定され
ると、CCD−EYEの読みだしが実行される(#209)。
この時読みだし領域以外の領域は空読みが行なわれ実際
上読み飛ばされていく。CCD−EYEより読みだされ
た像出力は視線検出回路101でA/D変換された後に
CPU100にメモリーされ、該CPU100において
眼球像の各特徴点の抽出のための演算が行なわれる(#21
0)。すなわちCPU100において、眼球の照明に使用
された一組のIREDの虚像であるプルキニエ像の位置
(xd´,yd´)、(xe´,ye´)が検出される。プルキ
ンエ像は光強度の強い輝点として現われるため、光強度
に対する所定のしきい値を設け該しきい値を超える光強
度のものをプルキンエ像とすることにより検出可能であ
る。また瞳孔の中心位置(xc´,yc´)は瞳孔19と虹
彩17の境界点を複数検出し、各境界点を基に円の最小
二乗近似を行なうことにより算出される。この時瞳孔径
rpも算出される。また二つのプルキンエ像の位置よりそ
の間隔が算出される。
【0035】CPU100は眼球像の解析を行なうとと
もに、眼球像のコントラストを検出してそのコントラス
トの程度からCCD−EYEの蓄積時間の再設定を行な
う。またプルキンエ像の位置及び瞳孔の位置よりCCD
−EYEの読みだし領域を設定する。この時CCD−E
YEの読みだし領域は、検出された瞳孔を含み該瞳孔の
位置が所定量変化しても瞳孔全体が検出可能な範囲に設
定される。そしてその大きさは虹彩の大きさより小さい
のはいうまでもない。CCD−EYEの読みだし領域は
長方形に設定され該長方形の対角の2点の座標がCCD
−EYEの読みだし領域として視線検出回路101に記
憶される。さらに眼球像のコントラストあるいは瞳孔の
大きさ等から、算出されたプルキンエ像及び瞳孔中心の
位置の信頼性が判定される。
【0036】眼球像の解析が終了すると、キャリブレー
ションデータの確認手段を兼ねた視線検出回路101は
算出されたプルキンエ像の間隔と点灯されたIREDの
組合せよりキャリブレーションデータの中の眼鏡情報が
正しいか否かの判定を行なう(#211)。これはその時々に
おいて眼鏡を使用したり使用しなかったりする撮影者に
対処するためのものである。すなわちキャリブレーショ
ンデータの中の撮影者の眼鏡情報が例えば眼鏡を使用す
るように設定されていて図2(B)に示したIREDの
内13c、13dが点灯された場合、プルキンエ像の間
隔が所定の大きさより大きければ撮影者は眼鏡装着者と
認識され眼鏡情報が正しいと判定される。逆にプルキン
エ像の間隔が所定の大きさより小さければ撮影者は裸眼
あるいはコンタクトレンズ装着者と認識され眼鏡情報が
誤っていると判定される。眼鏡情報が誤っていると判定
されると(#211)、視線検出回路101は眼鏡情報の変更
を行なって(#217)再度IREDの選択を行ない(#204)視
線検出を実行する。但し眼鏡情報の変更を行なう際、C
PU100のEEPROMに記憶された眼鏡情報は変更
されない。また眼鏡情報が正しいと判定されると(#21
2)、プルキンエ像の間隔よりカメラの接眼レンズ11と
撮影者の眼球15との距離が算出され、さらには該接眼
レンズ11と撮影者の眼球15との距離からCCD−E
YEに投影された眼球像の結像倍率βが算出される(#21
2)。以上の計算値より眼球15の光軸の回転角θは θx≒ARCSIN{(xc´-(xp´+δx)/β/OC} (1) θy≒ARCSIN{(yc´-(yp´+δy)/β/OC} (2) と表わされる(#213)。ただし xp´≒(xd´+xe´)/2 yp´≒(yd´+ye´)/2 δx、δyは二つのプルキンエ像の中心位置を補正する補
正項である。撮影者の眼球の回転角θx、θyが求まる
と、ピント板7上での視線の位置(x,y)は、 x≒m*ax*(θx+bx) (3) y≒m*ax*(θy+by) (4) と求まる(#214)。但し、ax、bx、byは視線の個人差
を補正するためのパラメータでaxはキャリブレーショ
ンデータである。また水平方向(x方向)の眼球の光軸
と視軸との補正量に相当するbxは bx=kx*(rp-rx)+b0x (5) と表わされ、瞳孔径rpの関数である。ここでrxは定数
でb0xはキャリブレーションデータである。また(5)
式において瞳孔径rpにかかる比例係数kxは瞳孔の大き
さによってとる値が異なり、 rp≧rx の時 kx=0 rp<rx の時 kx={1ーk0*k1*(θx+bx´)/|k0|}*k0 (6) と設定される。すなわち比例係数kxは瞳孔径rpが所定
の瞳孔の大きさrx以上であれば0の値をとり、逆に瞳
孔径rpが所定の瞳孔の大きさrxよりも小さいならばk
xは眼球の光軸の回転角θxの関数となる。またbx´は
撮影者がファインダーの略中央を見ているときの視軸の
補正量に相当するもので、 bx´=k0*(rp-rx)+b0x と表わされる。k0はキャリブレーションデータで撮影
者がファインダーの略中央を見ているときの瞳孔径rp
の変化に対する視軸の補正量bxの変化の割合を表わす
ものである。またk1は所定の定数である。また垂直方
向(y方向)の補正量に相当するbyは by=ky*rp+b0y (7) と表わされ、瞳孔径rpの関数である。ここでky、b0y
はキャリブレーションデータである。
【0037】また視線のキャリブレーションデータの信
頼性に応じて、(3)〜(7)式を用いて算出された視
線の座標の信頼性が変更される。ピント板7上の視線の
座標が求まると視線検出を1度行なったことを示すフラ
グをたてて(#215)メインのルーチンに復帰する(#218)。
【0038】また図8、及び図9に示した視線検出のフ
ローチャートは視線のキャリブレーションモードにおい
ても有効である。#201において、キャリブレーションモ
ードの中での視線検出であると判定すると次に今回の視
線検出がキャリブレーションモードの中での最初の視線
検出であるか否かの判定を行なう(#216)。今回の視線検
出がキャリブレーションモードの中での最初の視線検出
であると判定されると、CCD−EYEの蓄積時間およ
びIREDの照明パワーを設定するために周囲の明るさ
の測定が行なわれる(#203)。これ以降の動作は前述の通
りである。また今回の視線検出がキャリブレーションモ
ードの中で2回目以上の視線検出であると判定されると
(#216)、CCD−EYEの蓄積時間およびIREDの照
明パワーは前回の値が採用され直ちにIREDの点灯と
CCD−EYEの蓄積が開始される(#206)。また視線の
キャリブレーションモードでかつ視線検出回数が2回目
以上の場合は(#207)、CCD−EYEの読みだし領域は
前回と同じ領域が用いられるためCCD−EYEの蓄積
終了とともに直ちにCCD−EYEの読みだしが実行さ
れる(#209)。これ以降の動作は前述の通りである。尚図
8、及び図9に示した視線検出のフローチャートにおい
てメインのルーチンに復帰する際の返数は、通常の視線
検出の場合視線のピント板上の座標(x、y)である
が、視線のキャリブレーションモードの中での視線検出
の場合は撮影者の眼球光軸の回転角(θx、θy)であ
る。また他の返数である検出結果の信頼性、CCD−E
YE蓄積時間、CCD−EYE読みだし領域等は共通で
ある。また本実施例においてCCD−EYE蓄積時間お
よびIREDの照明パワーを設定するために、カメラの
測光センサー10にて検出された測光情報を利用してい
るが接眼レンズ11近傍に撮影者の前顔部の明るさを検
出する手段を新たに設けてその値を利用するのも有効で
ある。
【0039】次に、図10に基づいて、測光値演算1に
ついて説明する。STEP10は、AFスイッチであ
り、前述の焦点検出点200〜204の内、どれが視線
情報によって選択されたかを判断する。
【0040】STEP11は、16個に分割された小領
域S0〜S15を、焦点検出点を含む領域、その周囲の領
域、及びさらにその周囲の周辺領域の3つの中領域に分
類し、各中領域の平均輝度を算出し、出力している。各
中領域の平均輝度信号は、焦点検出点を含む領域の平均
輝度信号をA、その周囲の中領域の平均輝度信号をB、
さらにその周囲の中領域としての周辺輝度信号をCとし
て出力するものとする。
【0041】例えば、STEP13によって左端の検出
点200が選択された場合は、各中領域の平均輝度信号
A,B,Cを次式に基づいて出力する。
【0042】A=V3 B=(V1+V8+V9)/3 C=(V0+V2+V4+V5+V6+V7+V10+V11 +3(V12+V13+V14+V15)/20 STEP13によって左端から2番目の検出点201が
選択された場合は、各中領域の平均輝度信号A,B,C
を次式に基づいて出力する。
【0043】A=V1 B=(V0+V3+V6)/3 C=(V2+V4+V5+V7+V8+V9+V10+V11 +3(V12+V13+V14+V15)/20 STEP13によって中央の検出点202が選択された
場合は、各中領域の平均輝度信号A,B,Cを次式に基
づいて出力する。
【0044】A=V0 B=(V1+V2+V5)/3 C=(V3+V4+V6+V7+V8+V9+V10+V11 +3(V12+V13+V14+V15)/20 STEP13によって右端から2番目の検出点203が
選択された場合は、各中領域の平均輝度信号A,B,C
を次式に基づいて出力する。
【0045】A=V2 B=(V0+V4+V7)/3 C=(V1+V3+V5+V6+V8+V9+V10+V11 +3(V12+V13+V14+V15)/20 STEP13によって右端の検出点204が選択された
場合は、各中領域の平均輝度信号A,B,Cを次式に基
づいて出力する。
【0046】A=V4 B=(V0+V10+V11)/3 C=(V0+V1+V3+V5+V6+V7+V8+V9 +3(V12+V13+V14+V15)/20 STEP12は測光モード信号MODEが、評価測光を
表わす信号であるか否かを判断する。MODE=EV
(評価測光)の場合にはSTEP13に進み、MODE
≠EVつまり、MODE=PA(スポット測光)の場合
にはSTEP16に進む。STEP13では測光モード
として評価測光が選択されているので、評価測光の演算
を行う。STEP11で求められた3つの平均輝度信号
A,B,Cの全てを用いて、略全画面の重み付け平均輝
度信号E0を次式によって求める。
【0047】E0=(2A+3B+5C)/10 上式では3つの平均輝度信号A,B,Cを単純平均する
ことなく、A,B,C各値に係数を乗じて平均値を求め
ている。これは焦点検出点を含む領域の面積をS
(A)、その周囲の中領域の面積をS(B)、さらにそ
の周囲の周辺領域の面積をS(C)とした時、3つの中
領域の面積比が、 S(A):S(B):S(C)=1:3:20 となるため、係数を乗じないと焦点検出点を含む領域
が、極端に重視されて評価がなされてしまうのを是正す
るためのものである。なお、以後の説明では、上式のE
0を求める演算を焦点検出点重点測光と称する。
【0048】STEP14は、STEP11で求められ
た中領域の平均輝度信号A,B,C及びそれらの平均輝
度信号の差B−A,C−B値を用いることによって、撮
影状況を類推し、補正値αを選択的に決定する補正値を
演算する。
【0049】STEP15は、前述の焦点検出点重点平
均測光E0に、補正値演算ステップ14から出力される
補正値αを加算するという自動露出補正を行い、最終的
な評価測光値Eを次式で求める。
【0050】E=E0+α STEP16はSTEP12で測光モード信号がMOD
E≠EV、つまりMODE=PAの時、測光モードとし
てスポット測光が選択されているので、スポット測光の
演算を行う。スポット測光ではSTEP10で求められ
た焦点検出点を含む領域の平均輝度信号Aのみを用い
て、この値をそのまま測光値Eとして出力する。即ち、
次式である。
【0051】E=A 本実施例では焦点検出点を含む領域としては、焦点検出
点の選択に対応して、その焦点検出点を含む一つの測光
用小領域を選択する構成になっており、従ってスポット
測光はこの測光用小領域の輝度信号そのものとなる。S
TEP17ではメインルーチンへリターンする。
【0052】次に、図11を用いてストロボ発光サブル
ーチン(#119)について説明する。STEP30では測光
値演算2が実行される。これは前述した測光値演算1と
ほぼ同様の計算であるが、最終的に求める測光値はいわ
ゆる前述の焦点検出点重点平均測光値であり、露出補正
値αを求める演算、及びスポット測光モードの選択が実
施されない。つまり全て次式で演算がなされる。
【0053】E=(2A+3B+5C)/10 STEP31では、調光センサーPD1,PD2,PD
3に対応した測光感度領域400、401、402(図
5)の時間tの関数である光電変換出力D0(t),D1
(t),D2(t)に対して、#111で選択された焦点検
出点に対応して、重み付けを行う。つまり、前記光電変
換出力D0(t),D1(t),D2(t)にそれぞれゲ
インG0,G1,G2を乗じて得られるG0・D0(t),
G1・D1(t),G2・D2(t)の3つの出力をしきい
値と比較して、3つの出力のいづれかがしきい値に達し
た時にストロボの発光を停止する。実際には、#115で左
端あるいは左端より2番目の焦点検出点それぞれ20
0、201が選択された場合はG0=1、G1=0.5、
G2=0.5となり、中央の焦点検出点202が選択さ
れた場合はG0=0.5、G1=1.0、G2=0.5、
また右端より2番目あるいは右端の焦点検出点それぞれ
203、204が選択された場合はG0=0.5、G1=
0.5、G2=1.0となり、いずれの場合においても
焦点検出点を含む測光感度領域に重点をおいて調光を行
うものである。
【0054】STEP32では図4に示すように、ファ
インダー内LCD24上にストロボ充完マーク80、S
TEP30で得られた測光値を表示部207および7
4、75にて表示を行う。
【0055】STEP33ではスイッチSW2がONさ
れているかどうかの判定を行い、ONされていればST
EP34へ進み、スイッチSW2がOFFだと再びスイ
ッチSW1がONされるのを待つ。
【0056】STEP34ではスイッチSW2がONさ
れると、CPU100は主ミラーをアップさせ、レンズ
の絞り31を制御し、シャター4の先羽根群を開放す
る。
【0057】STEP35ではSTEP34でのシャッ
ター4の先羽根群開放の信号をトリガーにしてストロボ
の発光を開始する。
【0058】STEP36ではSTEP31で焦点検出
点に対応して重み付けされた調光センサーの光電変換出
力G0・D0(t),G1・D1(t),G2・D2(t)が
しきい値と比較されており、3つの内いずれかの該光電
変換出力がしきい値に達するまで調光回路112は光量
の積分を継続し、しきい値に達すると、STEP37に
進み、CPU100がストロボの発光を停止する。
【0059】STEP37では所定経過時間後シャッタ
ーの後羽根群が閉じられ、露光が終了する。さらにミラ
ーダウン等のメカシーケンスが終了して、STEP39
ではメインルーチンのスイッチSW1待ちの状態に戻
る。
【0060】上述実施例において中央の焦点検出領域
(検出マーク202で表わせる領域)に対応する調光セ
ンサーPD2は1つで1つの焦点検出領域をカバーする
ようにしている。このことは、主被写体(例えば人物)
が被写界の中央に位置することが確率的に一番多いこと
に対応させており、高い精度での調光を可能としてい
る。
【0061】又、調光センサーPD2は他の調光センサ
ーPD1,PD2より受光面積を小さく設定して、主被写
体が中央に位置した際での調光をより高制度かできるよ
うにしている。
【0062】
【発明の効果】本発明によれば複数の焦点検出領域に対
応させて調光用センサーも複数有する調光手段を設け、
該複数の調光センサーは1つの焦点検出領域を調光する
第1の調光センサーと、複数の焦点検出領域を合せて調
光する第2の調光センサーを有するので、主被写体を考
慮した精度の高い閃光発光量制御を可能とし、しかもカ
メラ自体も特に大型化しないで済むようにしたカメラを
提供できる。
【図面の簡単な説明】
【図1】一眼レフカメラの概略図
【図2】一眼レフカメラの外観図
【図3】ファインダー視野図
【図4】ファインダー視野図
【図5】ファインダー視野図
【図6】カメラの電気回路図
【図7】カメラ動作のフローチャート
【図8】視線検出のフローチャート
【図9】視線検出のフローチャート
【図10】測光値演算のフローチャート
【図11】ストロボ発光サブルーチン
【図12】ストロボ発光の判定を示す説明図
【符号の説明】
1 撮影レンズ 6 焦点検出装置 10 測光センサー 13 赤外発光ダイオード(IRED) 14 イメージセンサー(CCD−EYE) 15 眼球 21 スーパーインポーズ用LED 29 調光センサー 41 レリーズ釦 61 視線入力モード表示 78 視線入力マーク 100 CPU 101 視線検出回路 102 測光回路 103 焦点検出回路 110 焦点調節回路 112 調光回路 200〜204 検出点マーク 400〜404 調光領域 S0〜S14 小領域

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 被写界の複数領域を焦点検出する焦点検
    出手段と、投射された閃光の被写体からの反射光を調光
    する調光手段と、前記調光手段の出力に基づいて閃光発
    光量を制御する制御手段と、を有し、前記調光手段は複
    数の調光用センサーを有し、該複数の調光用センサーは
    前記複数の焦点検出領域の内の1つの焦点検出領域を調
    光する第1の調光センサーと、該複数の焦点検出領域の
    内の複数の焦点検出領域を合わせて調光する第2の調光
    センサーを有することを特徴とするカメラ。
JP29040292A 1992-10-28 1992-10-28 カメラ Expired - Fee Related JP3184633B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP29040292A JP3184633B2 (ja) 1992-10-28 1992-10-28 カメラ
US08/614,907 US5579080A (en) 1992-10-28 1996-03-13 Camera including an apparatus for detecting a line of sight

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29040292A JP3184633B2 (ja) 1992-10-28 1992-10-28 カメラ

Publications (2)

Publication Number Publication Date
JPH06138520A true JPH06138520A (ja) 1994-05-20
JP3184633B2 JP3184633B2 (ja) 2001-07-09

Family

ID=17755550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29040292A Expired - Fee Related JP3184633B2 (ja) 1992-10-28 1992-10-28 カメラ

Country Status (1)

Country Link
JP (1) JP3184633B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006363A (ja) * 2000-04-20 2002-01-09 Asahi Optical Co Ltd 測光装置
KR100322249B1 (ko) * 1994-06-10 2002-06-20 이중구 멀티자동초점조절기능을가지는카메라및그제어방법
JP2005331748A (ja) * 2004-05-20 2005-12-02 Olympus Corp カメラの焦点検出装置
JP2007047713A (ja) * 2005-08-12 2007-02-22 Canon Inc 撮像装置及びその制御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100322249B1 (ko) * 1994-06-10 2002-06-20 이중구 멀티자동초점조절기능을가지는카메라및그제어방법
JP2002006363A (ja) * 2000-04-20 2002-01-09 Asahi Optical Co Ltd 測光装置
JP4489268B2 (ja) * 2000-04-20 2010-06-23 Hoya株式会社 測光装置
JP2005331748A (ja) * 2004-05-20 2005-12-02 Olympus Corp カメラの焦点検出装置
JP4576157B2 (ja) * 2004-05-20 2010-11-04 オリンパス株式会社 カメラの焦点検出装置
JP2007047713A (ja) * 2005-08-12 2007-02-22 Canon Inc 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP3184633B2 (ja) 2001-07-09

Similar Documents

Publication Publication Date Title
US6674964B2 (en) Visual axis detecting apparatus
JP3297481B2 (ja) 視線検出装置
US5402199A (en) Visual axis detecting apparatus
US5579080A (en) Camera including an apparatus for detecting a line of sight
JP3184633B2 (ja) カメラ
JP3304408B2 (ja) 視線検出装置および視線検出装置を有する機器
JP2002301030A (ja) 視線検出機能付き機器
JPH06138364A (ja) 視線検出装置を有するカメラ
JP3912853B2 (ja) カメラ
JP3530647B2 (ja) 視線検出装置及び光学装置
JP3176147B2 (ja) 視線検出装置
JP2003339642A (ja) 視線検出装置及びそれを有した光学装置
JPH06138365A (ja) 視線検出装置を有するカメラ
JPH10148864A (ja) カメラの測光装置
JP3219491B2 (ja) 視線検出装置
JP3184634B2 (ja) 視線検出装置を有する光学装置
JP3391892B2 (ja) 視線検出装置、光学装置及び視線検出方法
JP3211427B2 (ja) 視線検出装置
JP3530648B2 (ja) 視線検出装置及び光学装置
JP3186249B2 (ja) 視線検出装置及び視線検出方法
JPH08286240A (ja) 撮影装置
JP2002341239A (ja) 視線検出装置
JPH06138376A (ja) 視線検出装置
JP2002301032A (ja) 視線検出装置
JP2002301033A (ja) 視線検出装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010417

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090427

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090427

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees