JPH11183787A - 焦点検出装置、自動焦点調節装置及びカメラ - Google Patents

焦点検出装置、自動焦点調節装置及びカメラ

Info

Publication number
JPH11183787A
JPH11183787A JP36595997A JP36595997A JPH11183787A JP H11183787 A JPH11183787 A JP H11183787A JP 36595997 A JP36595997 A JP 36595997A JP 36595997 A JP36595997 A JP 36595997A JP H11183787 A JPH11183787 A JP H11183787A
Authority
JP
Japan
Prior art keywords
area
focus
information
focus detection
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP36595997A
Other languages
English (en)
Other versions
JP3630965B2 (ja
Inventor
Keisuke Aoyama
圭介 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP36595997A priority Critical patent/JP3630965B2/ja
Priority to US09/217,552 priority patent/US6088539A/en
Priority to EP98310618A priority patent/EP0926528B1/en
Priority to DE69829035T priority patent/DE69829035T2/de
Priority to DE69838114T priority patent/DE69838114T2/de
Priority to EP04075225A priority patent/EP1437614B1/en
Publication of JPH11183787A publication Critical patent/JPH11183787A/ja
Priority to US09/494,922 priority patent/US6157782A/en
Application granted granted Critical
Publication of JP3630965B2 publication Critical patent/JP3630965B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)

Abstract

(57)【要約】 【課題】 レンズを合焦させる際にハンチングを生じた
り、使用者の意志と合致しない物体を含む、焦点状態を
決定する為の領域選択をしてしまうことを防ぐようにす
る。 【解決手段】 観察面内の複数の点より距離に関する情
報を検出する情報検出手段と、該情報検出手段による複
数の検出結果に基づいて、観察面を領域分割する領域分
割手段と、該領域分割手段により分割された複数の領域
の中から主要物体が存在する少なくとも一つの領域を選
択する領域選択手段とを有し、前記領域選択手段にて選
択された領域により得られ距離に関する情報に基づいて
レンズの焦点状態を決定するものにおいて、前記領域選
択手段にて選択された領域で得られる距離に関する情報
が所定状態になるまでは、前記領域分割手段に領域分割
を行わせ、複数の領域の中から前記領域選択手段に領域
選択を行わせる(a105で小となるまで、a102→
a103→a104→a105→a106を繰り返
す)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の測距結果あ
るいはデフォーカス結果に基づいて、観察面を領域分割
する領域分割手段と、領域分割手段により分割された複
数の領域の中から主要物体が存在する領域を少なくとも
一つ選択する領域選択手段とを備えた、焦点検出装置、
自動焦点調節装置及びカメラに関するものである。
【0002】
【従来の技術】従来の多点測距が可能なカメラにおい
て、複数の測距結果の中から最も“近い”測距領域を必
ず選択して測距を行ったのでは誤測距することが多々あ
る事から、例えば3点測距の結果が、遠,中,近といっ
た特定のパターンを持っている場合には、“中”の測距
点を選択(“近”は地面等の可能性がある為)するとい
ったアルゴリズムを持つものが提案(特開平2−282
234号)されている。
【0003】また、撮影画面内に多数の測距点を備え、
これら測距点について測距を行い、撮影空間中の任意の
方向の距離(デフォーカス量)を測定可能とする装置が
本願出願人より提案(特公平4−67607号)されて
いる。
【0004】この提案装置について、例えば図6の様な
シーンを撮影する場合を例にとって説明する。
【0005】まず、撮影画面内を細かくブロック分割し
て(エリアセンサ上の複数の画素を組として)測距し、
次に図7の様な距離分布情報(距離マップ)を得る。そ
して、被写界空間の物体配置を判断するために、空間を
構成する各物体のグルーピングを行う。
【0006】図8は、図7の距離マップデータに基づい
てグルーピングを行った結果の例であり、グルーピング
により各物体毎に領域が切り分けられる。実際的なグル
ーピングの手法は、いくつかの方法が一般的に知られて
いる。最も簡単な例は、隣接する2つのブロックの距離
(あるいはデフォーカス)の差が所定値以下であれば、
2つのブロックは同一物体を形成しているという判断
を、すべての隣接ブロックに対して適用するという方法
である。
【0007】以上のような方法で、図8のように撮影空
間を構成する物体毎に、画面を領域分け(グルーピン
グ)する。
【0008】そして、例えば距離情報や、物体の大きさ
情報、画面上での位置情報など、さらには物体の傾きの
度合を用いて、これら撮影空間を構成する物体の中から
主被写体の領域を決定するというものである。
【0009】また、グルーピングを行う方法として、距
離マップからヒストグラムを作成し、ヒストグラムの分
布に基づいてグルーピングする方法がある。さらに、焦
点合わせを行う方法では、最至近と最頻度距離にのみ着
目し、両者の距離差が微少な時には中間に、そうでない
ときなら前の被写体に焦点を合わせる(特開昭62−2
55911号)などの方法がある。
【0010】
【発明が解決しようとする課題】しかしながら、実際の
焦点調節では、常に全ての測距点(焦点検出点)で焦点
検出が正しくできるとは限らないし、測距誤差や焦点調
節中の撮影者や被写体の微妙な動きで距離マップが変わ
ってしまう。さらに、撮影レンズを通る光束を使って焦
点検出を行う方式の焦点検出系では、焦点検出を行う時
の撮影レンズの停止位置の影響も大きい。特に、ピント
調整を行いながら繰り返し距離マップを作成すると、距
離マップは作成し直す度に微妙に異なってしまう。図6
の様に被写体どうしが離れている場合には問題にならな
いが、被写体どうし近接したり、背景と主被写体の距離
が近い場合などは,問題が顕著になる。
【0011】図9(a)はこの様なシーンの1例であ
り、2人の人物が並んで壁の直前に立っているシーンで
ある。同図(b)はこのシーンを焦点調節する焦点検出
手段の焦点検出領域又は測距領域を表したものである。
このような焦点検出系でデフォーカスマップを作成した
様々な例を、図10(a)〜(d)に示している。
【0012】図10(a)では、4つの領域に分割され
た例である。領域a1,a2がほぼ右側の人物の領域に
なり、領域a3,a4が左側の人物の部分に相当する。
この場合、背景の壁の部分はほとんど焦点検出できなか
ったため領域として認識されていない(図では、空白に
なっている)。
【0013】図10(b)においては、人物が正しく領
域b1とb2に領域分けされた例である。また、図10
(c)では、2人の人物が一つの領域(領域3c)に認
識され、壁の部分や人物の一部が別の領域に区分されて
いる(領域c1,c2参照)。又図10(d)では、人
物2人と壁の一部が同じ領域(領域d2)に分類されて
しまい、さらに人物の一部のみが別の領域(領域d1)
として認識されている。
【0014】このように、同じシーンを撮影する場合で
も,撮影レンズの位置や、焦点検出の可否により距離マ
ップは随分異なるものになってしまう。
【0015】このように異なる距離マップに従って、繰
り返し測距点を決定して焦点調節を行った場合、ピント
を合わせる測距点が定まらず、ハンチング等を起こして
しまったり、ピント合わせをする度に別な測距点にピン
トが合ってしまったりして、撮影者の信頼を著しく損な
うことになる。
【0016】(発明の目的)本発明の第1の目的は、レ
ンズを合焦させる際にハンチングを生じたり、使用者の
意志と合致しない物体を含む、焦点状態を決定する為の
領域選択をしてしまうことを防ぐことのできる焦点検出
装置を提供しようとするものである。
【0017】本発明の第2の目的は、レンズを合焦させ
る際にハンチングを生じたり、使用者の意志と合致しな
い物体に焦点合わせを行ってしまうような、焦点調節用
の領域選択をしてしまうことを防ぐことのできる自動焦
点調節装置を提供しようとするものである。
【0018】本発明の第3の目的は、撮影レンズを合焦
させる際にハンチングを生じたり、撮影者の意志と合致
しない被写体を含む、焦点状態を決定する為の領域選択
をしてしまうことを防ぐことのできるカメラを提供しよ
うとするものである。
【0019】本発明の第4の目的は、撮影レンズを合焦
させる際にハンチングを生じたり、撮影者の意志と合致
しない被写体に焦点合わせを行ってしまうような、焦点
調節用の領域選択をしてしまうことを防ぐことのできる
カメラを提供しようとするものである。
【0020】
【課題を解決するための手段】上記第1の目的を達成す
るため、請求項1又は3の本発明は、観察面内の複数の
点より距離に関する情報を検出する情報検出手段と、該
情報検出手段による複数の検出結果に基づいて、観察面
を領域分割する領域分割手段と、該領域分割手段により
分割された複数の領域の中から主要物体が存在する少な
くとも一つの領域を選択する領域選択手段とを有し、前
記領域選択手段にて選択された領域により得られる距離
に関する情報に基づいてレンズの焦点状態を決定する焦
点検出装置において、前記領域選択手段にて選択された
領域で得られる距離に関する情報が所定状態になるまで
は、前記領域分割手段に領域分割を行わせ、複数の領域
の中から前記領域選択手段に領域選択を行わせる焦点検
出装置とするものである。
【0021】同じく上記第1の目的を達成するため、請
求項2又は3の本発明は、観察面内の複数の点より距離
に関する情報を検出する情報検出手段と、該情報検出手
段による複数の検出結果に基づいて、観察面を領域分割
する領域分割手段と、該領域分割手段により分割された
複数の領域の中から主要物体が存在する少なくとも一つ
の領域を選択する領域選択手段とを有し、前記領域選択
手段にて選択された領域より得られる距離に関する情報
に基づいてレンズの焦点状態を決定する焦点検出装置に
おいて、前記領域選択手段にて選択された領域で得られ
る距離に関する情報が所定状態になるまでは、該領域選
択手段に領域選択を行わせる焦点検出装置とするもので
ある。
【0022】また、上記第2の目的を達成するため、請
求項4又は6の本発明は、観察面内の複数の点より距離
に関する情報を検出する情報検出手段と、該情報検出手
段による複数の検出結果に基づいて、観察面を領域分割
する領域分割手段と、該領域分割手段により分割された
複数の領域の中から主要物体が存在する少なくとも一つ
の領域を選択する領域選択手段と、該領域選択手段で選
択された領域にて得られる距離に関する情報に基づいて
焦点調節光学系を駆動するレンズ駆動手段とを有する自
動焦点調節装置において、前記領域選択手段にて選択さ
れた領域で得られる距離に関する情報が所定状態になる
までは、前記領域分割手段に領域分割を行わせ、複数の
領域の中から前記領域選択手段に領域選択を行わせる自
動焦点調節装置とするものである。
【0023】同じく上記第2の目的を達成するため、請
求項5又は6の本発明は、観察面内の複数の点より距離
に関する情報を検出する情報検出手段と、該情報検出手
段による複数の検出結果に基づいて、観察面を領域分割
する領域分割手段と、該領域分割手段により分割された
複数の領域の中から主要物体が存在する少なくとも一つ
の領域を選択する領域選択手段と、該領域選択手段で選
択された領域にて得られる距離に関する情報に基づいて
焦点調節光学系を駆動するレンズ駆動手段とを有する自
動焦点調節装置において、前記領域選択手段にて選択さ
れた領域で得られる距離に関する情報が所定状態になる
までは、該領域選択手段に領域選択を行わせる自動焦点
調節装置とするものである。
【0024】また、上記第3の目的を達成するため、請
求項7の本発明は、請求項1又は請求項2記載の焦点検
出装置を有したカメラとするものである。
【0025】また、上記第4の目的を達成するため、請
求項8の本発明は、請求項4又は5記載の自動焦点調節
装置を有したカメラとするものである。
【0026】
【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。
【0027】図3は本発明の実施の第1の形態に係るカ
メラの概略構成を示すブロック図である。
【0028】図3において、203はマイクロコンピュ
ータであり、後述する領域センサからの出力をディジタ
ル信号に変換するA/Dコンバータや該A/Dコンバー
タでA/D変換された画像信号を格納するメモリ(RA
M)や後述の距離マップ作成やグルーピング等を行うC
PUを具備している。
【0029】201は微小受光画素を二次元配列したC
CD等の領域センサ、202は前記領域センサ201を
駆動するセンサ駆動回路である。前記センサ駆動回路2
02は、AFCOM信号を受けている間、データバスD
BUSを介してシリアル通信を行う。そして、シリアル
通信にてマイクロコンピュータ203よりセンサ駆動情
報を受け取とると、その情報によりセンサを駆動制御す
る。
【0030】206は前記マイクロコンピュータ203
によって選択される測距情報に基づいて撮影レンズの駆
動を行うレンズ駆動回路で、撮影レンズ213のピント
調節用モータと絞り羽根制御用モータを駆動制御するも
のであり、前記マイクロコンピュータ203からLCO
M信号を受けている間、データバスDBUSを介してシ
リアル通信を行う。そして、シリアル通信にてマイクロ
コンピュータ203よりレンズ駆動情報を受け取とる
と、その情報によりレンズを駆動制御する。また、同時
にレンズの各種の情報(焦点距離情報等)をシリアル通
信によりマイクロコンピュータ203に送る。
【0031】207は不図示のレリーズ釦の第1ストロ
ークによりONするスイッチ(SW1)、208は不図
示のレリーズ釦の第2ストロークによりONするスイッ
チ(SW2)である。
【0032】214はスイッチセンス回路であり、撮影
者が各撮影条件を設定する為のスイッチやカメラの状態
を示すスイッチの状態を読み取り、マイクロコンピュー
タ203に送る回路であり、SWCOM信号を受けてい
る間、データバスDBUSを介しシリアル通信によりマ
イクロコンピュータ203にスイッチデータを送る。ま
た、電子ダイアル210の入力値により、ダイアル値の
カウントアップやカウントダウンも行い、SWCOM信
号を受けている間、データバスDBUSを介しシリアル
通信によりマイクロコンピュータ203にカウント値を
送る。
【0033】204はシャッタの開閉を制御するシャッ
タ制御回路、205はフィルムの給送を制御するフィル
ム制御回路である。
【0034】次に、上記マイクロコンピュータ203に
おいて実行される一連の動作について、図4のフローチ
ャートに従って説明する。
【0035】ステップ#300においては、カメラのメ
インスイッチが押された等の要因によりカメラの電源が
入った状態であり、ステップ#301へ進む。そして、
ステップ#301において、スイッチセンス回路214
の情報を基に、モードの切換えや設定値の切換えを行
い、変化があった場合には不図示の液晶表示回路に通信
して表示データや表示の色を修正する。続くステップ#
302においては、スイッチSW1がONしているか否
かを判別し、ONしていれば測光動作を行う為にステッ
プ#306へ進み、OFFのままである場合にはステッ
プ#303へ進む。
【0036】ここではスイッチSW1がOFFのままで
あるとして、ステップ#303へ進むものとする。
【0037】ステップ#303においては、電源をOF
Fするかどうかの判別を行い、電源をOFFしない場合
はステップ#302のスイッチSW1のチェックに戻
る。つまり、何らかの要因でカメラの電源が立上がった
場合には、一定時間、電源を起しておくことにより、ス
イッチ状態のチェックや表示の切換えを行う。また、上
記ステップ#303にて電源をOFFする場合はステッ
プ#304へ進み、カメラのファインダ内や外部の不必
要な部分の表示を液晶表示回路3により消灯し、電源を
OFFする。そして、次のステップ#305において、
一連の動作を終了する。
【0038】上記ステップ#302にてスイッチSW1
がONしたことを判別した場合は前述した様にステップ
#306へ進み、ここでは不図示の測光回路を動作させ
て被写体での反射光を取り込み、A/D変換して測光情
報を得る。そして、露出条件(絞り,シャッタスピー
ド)の演算を行う。次のステップ#307においては、
サブルーチン自動選択AFを行う。なお、このサブルー
チン自動選択AFの詳しい動作については、後述する。
続くステップ#308においては、上記ステップ#30
6にて得られたAV値やTV値を不図示の液晶表示回路
によりファインダ内液晶表示装置と外部液晶表示装置に
表示する。
【0039】ステップ#309においては、カメラの状
態がレリーズを許可して良い状態か否かの判別を行う。
例えば、AFモードが「ワンショットモード」である場
合は、上記ステップ#307の焦点検出結果が「合焦状
態」ならばレリーズは許可され、スイッチSW2のチェ
ックを行う為に後述するステップ#310へ進み、一
方、「合焦状態」でない場合は、ステップ#301へ戻
る。そして、このステップ#301に戻った後は上記と
同様必要に応じてモード等の表示し、スイッチSW1の
チェックの為にステップ#302へと進む。そして、ス
イッチSW1がONの場合は、再び測光,測距,表示を
行い(ステップ#302→#306→#307→#30
8)、再度ステップ#309にてカメラの状態がレリー
ズを許可して良い状態か否かの判別を行う。
【0040】上記ステップ#309にてレリーズが許容
されると、ステップ#310へ進み、ここではスイッチ
SW2がONしているか否かを判別し、ONであれば撮
影動作を行う為にステップ#311へ進み、スイッチS
W2がOFFの場合は、スイッチSW1のチェックの為
にステップ#301及びステップ#302に戻り、この
ステップ#302にてスイッチSW1がONの場合は、
再び測光,測距,表示を行う(ステップ#302→#3
06→#307→#308)ことになる。
【0041】上記ステップ#310にてスイッチSW2
がONしていれば、前述した様に撮影動作を行う為にス
テップ#311へ進み、ここでは不図示のチャージモー
タ制御回路によりクリックリターンミラーをアップする
と共に、上記ステップ#306で決められた絞り量をレ
ンズ駆動回路206により撮影レンズ213に通信し、
設定露光量が得られるように絞り込み動作を行う。次の
ステップ#312においては、シャッタ制御回路204
を用いて上記ステップ#306で決められたTV量が得
られる様に不図示のシャッタ先幕及び後幕の走行制御を
行う。続くステップ#313においては、不図示のチャ
ージモータ制御回路によりクイックリターンミラーをダ
ウンすると同時に、シャッタのチャージを行い、上記ス
テップ#306にて絞り込まれていた絞りを開放に戻
す。そして、ステップ#314において、上記フィルム
制御回路205を用いて不図示の給送モータを制御し、
フィルムの巻上げを行う。
【0042】以上で、カメラの一連の動作が終了する。
【0043】尚、このシーケンスの中では、カメラの動
作が通常と違う場合の処理(例えばフィルムが突っ張っ
た場合など)は、本発明と無関係なために省略してい
る。
【0044】次に、図4のステップ#307にてコール
されるサブルーチン「自動選択AF」について、図1の
フローチャートを用いて詳しく説明する。
【0045】ステップa101においては、図4のステ
ップ#306からプログラムシーケンスが移行して、サ
ブルーチン自動選択AFの実行を開始する。そして、ま
ずステップa102において、センサ駆動回路202を
用いて領域センサ201を駆動し、複数領域の焦点検出
を行う為に光電変換センサの蓄積を行わせると共にその
センサ出力を取り込み、そのA/D値から各焦点検出領
域毎の焦点情報を算出する。そして、これらの焦点検出
結果を基に、既存のアルゴリズムでデフォーカス量の算
出を行い、多点焦点検出を行う。
【0046】次のステップa103においては、検出さ
れたデフォーカス量に基づきグルーピングを行う(デフ
ォーカスマップを作成する)。グルーピングの手法は、
前述した様に、隣接する2つのブロックのデフォーカス
の差が所定値以下であれば、2つのブロックは同一物体
を形成しているという判断を、すべての隣接ブロックに
対して適用するという方法等が既に知られているので、
これ以上の説明は省略する。このような判断を行うこと
により、撮影画面を物体毎に領域分けしたデータを得る
ことができる。(このデフォーカスによりグループ分け
した領域分けデータを、デフォーカスマップという。) 例えば、レンズが至近位置にある時に、図9(a)の様
な撮影シーンで、同図(b)のように配置された焦点検
出点で焦点検出を行うと、各々の焦点検出点において、
図5(a1)に示す様な、デフォーカス量が検出される
(検出不能の領域は空白になっている)。このときに作
成されるデフォーカスマップは、同図(b1)のように
なる。レンズが至近端にあり、全体的にデフォーカス量
が大きいので、コントラストのある人物の顔の部分は焦
点検出する事ができたが、それ以外は焦点検出不能の部
分が多い。デフォーカスマップの領域は、それぞれの人
物の顔の部分が2つの領域として(領域b1.1 ,b1.2
)認識され、人物の服装の部分が一つの領域(領域b
1.3 )を形成している。壁の部分はほとんど焦点検出不
能になっているため、領域として認識されていない。
【0047】次のステップa104においては、画面を
構成するすべての物体(グループ)の中から主被写体を
判定する。主被写体を判断するための要素としては、物
体の大きさや傾き、距離の遠近、画面上の位置などを考
慮して行う。主被写体を決定するとそのグループを代表
する焦点検出点を決定し,その焦点検出点の中からデフ
ォーカス量をそのグループの、すなわち主被写体のデフ
ォーカス量とする。
【0048】図5(a1),(b1)の例では、領域b
1.1 ,b1.2 ,b1.3 の中から、領域b1.1 を主被写体
として選択し、領域b1.1 の中から、同図(b1)の測
距点1のデフォーカス量「−14.7」(絶対値では「14.
7」)を主被写体のデフォーカス量として選択する。
【0049】次のステップa105においては、主被写
体のデフォーカス量とデフォーカス判定閾値を比較し
て、主被写体のデフォーカス量の(絶対値の大きさ)が
閾値より大きければステップa106へ分岐し、小さけ
ればステップa107へ分岐する。デフォーカス量の判
定閾値は、例えば「 0.1」とすれば、今回の主被写体は
「−14.7」(絶対値では「14.7」)で、閾値より大き
い。ここでは、主被写体のデフォーカス量が閾値より大
きい場合について、まず説明する。このときはステップ
a106へ進む。
【0050】ステップa106においては、主被写体の
デフォーカス量に基づきレンズ駆動量を演算した後に、
レンズ制御回路206へレンズ駆動量を通信し、レンズ
を駆動する。レンズ駆動後はステップa102へ戻り、
再び焦点検出を行う。そして、ステップa103〜a1
04で再びデフォーカスマップを作成し、主被写体を判
定し、デフォーカス量を求める。
【0051】前記の例において、レンズが前回決定した
主被写体のデフォーカス量に基づいて駆動を行った後、
再度焦点検出を行うと、各々の焦点検出点において、図
5(a2)に示す様なデフォーカス量が検出される。こ
のときに作成されるデフォーカスマップは、同図(b
2)のようになる。レンズが至近端から駆動されたた
め、前回の主被写体のデフォーカス量は小さくなってい
る。今回検出したデフォーカス量で再度デフォーカスマ
ップを作成すると、同図(b2)のようになる。デフォ
ーカスマップの領域は、それぞれの人物の顔の部分が2
つの領域として(領域b2.1 ,b2.2 )認識され、人物
の1部分が一つの領域(領域b2.3 )を形成している。
【0052】今回は、右側の人物の上の壁が焦点検出で
きたので、新しい領域b2.4 を形成している。領域b2.
1 及び領域b2.2 は、1回目の測距で作成したデフォー
カスマップの領域b1.1 及びb1.2 に対応する領域であ
るが、焦点検出可能領域が増えたために少し領域が大き
くなっている。所定のアルゴリズムに従って、これら4
つの領域の中から領域選択をを行うと、領域b2.2 が主
被写体領域として選択される。領域b2.2 の中からグル
ープを代表する焦点検出点を同図(b2)の測距点2に
決定し、そのデフォーカス量を主被写体のデフォーカス
量とする。
【0053】再びステップa105にてデフォーカス量
を比較し、デフォーカス量が大きければステップa10
6へ進み、レンズ駆動を行う。
【0054】このように、ステップa105において、
デフォーカス量が少なくなるまで、ステップa102〜
a106を繰り返し実行し、その都度デフォーカスマッ
プを作り直し、主被写体を判定する。
【0055】上記ステップa105で主被写体のデフォ
ーカス量が閾値より小さくなったらステップa107へ
進む。前記の例において、決定した測距点2のデフォー
カス量は「−0.97」(絶対値では「0.97」)であり、デ
フォーカス量の判定閾値「0.1 」より小さい(比較は絶
対値で行う)ので、ステップa107へ分岐する。そし
て、このステップa107において、焦点検出点を上記
ステップa104で最後に計算した位置に決定する。以
後、デフォーカスマップの作成や主被写体の再判定は行
わない。
【0056】前記の例では、測距点2を最終的な焦点検
出点の位置として決定し、以後この焦点検出点のみで焦
点検出を行う。
【0057】次のステップa108においては、上記ス
テップa107で決定した焦点検出点、すなわち主被写
体のデフォーカス量が合焦範囲内であるか判定する。合
焦ならステップa111へ進み、そうでないならステッ
プa109へ進む。ステップa109においては、上記
ステップa107で決定した主被写体のデフォーカス量
に基づきレンズ駆動量を演算した後に、レンズ制御回路
206へレンズ駆動量を通信し、レンズを駆動する。次
のステップa110においては、レンズ駆動後、上記ス
テップa107で決定した焦点検出点の焦点検出を行
う。その後はステップa108へ戻り、合焦判定を行
う。
【0058】上記ステップa107で焦点検出点(主被
写体)が決定した後は、その焦点検出点だけで焦点検出
を行い、合焦になるまでステップa108〜a110を
繰り返す。ここで判るように、一度主被写体を決定する
と、デフォーカスマップの作成や主被写体の判定は行わ
ない。
【0059】上記ステップa108で合焦になったこと
を判別するとステップa111へ進み、「合焦状態」の
設定を行う。そして、ステップa112へ進み、このサ
ブルーチンをリターンする。
【0060】なお、このサブルーチンの中では、合焦に
なるまで焦点検出を行う場合を説明しているが(合焦に
ならない場合のシーケンスは省略している)、実際は、
焦点検出が不能な場合や、所定回数レンズ駆動を行って
も合焦にならない場合の処理などを行うので、必ずしも
「合焦状態」でサブルーチンをリターンする訳ではな
い。
【0061】以上説明したように、複数の焦点検出点で
焦点検出を行い,その結果で領域分割を行って、分割さ
れた領域から主被写体領域を決定して焦点調節を行う場
合、決定した主被写体の焦点検出結果が所定以内になる
までは、領域分割及び主被写体領域の決定を繰り返し行
いながらレンズ駆動を行い、主被写体の焦点検出結果が
所定以内になったら決定した主被写体で焦点調節を行う
ようにしたため、ハンチングや誤選択(撮影者の意志と
不一致の被写体を選択する)を行わず意志に一致した焦
点検出点選択を行うことができる。
【0062】(実施の第2の形態)図2は本発明の実施
の第2の形態に係るカメラの、サブルーチン「自動選択
AF」を示すフローチャートである。なお、カメラの概
略構成やその他の動作は、上記実施の第1の形態で説明
した、図3及び図4と同様であるので、ここではその説
明は割愛する。
【0063】図4のステップ#307において、サブル
ーチン「自動選択AF」がコールされると、ステップz
101より動作を開始し、まずステップR102におい
て、センサ駆動回路202を用いて領域センサ201を
駆動し、既存のアルゴリズムでデフォーカス量の算出を
行い、多点焦点検出を行う。次のステップz103にお
いては、検出されたデフォーカス量に基づきグルーピン
グを行う。そして、ステップz104において、画面を
構成するすべての物体(グループ)の中から主被写体を
判定し、そのグループを代表する焦点検出点を決定す
る。その焦点検出点のデフォーカス量をそのグループ
の、すなわち主被写体のデフォーカス量とする。
【0064】次のステップz105においては、主被写
体のデフォーカス量とデフォーカス判定閾値を比較し
て、主被写体のデフォーカス量が閾値より大きければス
テップz106へ分岐し、小さければステップz108
へ分岐する。
【0065】まず、主被写体のデフォーカス量が閾値よ
り大きく、ステップz106へ進んだ場合を説明する。
【0066】ステップz106においては、主被写体の
デフォーカス量に基づきレンズ制御回路206へレンズ
駆動量を通信し、レンズを駆動する。そして、次のステ
ップz107において、レンズ駆動後、再び多点焦点検
出を行い、ステップz104)へ戻り、ここで再度主被
写体を判定し、デフォーカス量を求める。
【0067】この実施の第2の形態では、デフォーカス
マップを作り直さないので、最初に決まった領域分割で
主被写体を決定する。デフォーカスマップを作り直さな
いため、演算時間が大幅に短縮され、かつ、領域の大き
さや数が演算の度に変化しないという特徴がある。ま
た、最初に領域分割を決めてしまう場合は、上記実施の
第1の形態のように、個々の焦点検出点を厳密に区分す
るような分割ではなく、大まかな分割のみを決定しても
良い。領域の分割を決定するのは必ずしも最初の測距結
果によって行う必要はなく、何度か焦点調節動作を行っ
た後に決定するようにしても良い。
【0068】上記ステップz104〜z107を、ステ
ップz105にてデフォーカス量が少なくなることが判
別されるまで繰り返し実行し、最初に決定した領域分割
で主被写体を判定する。
【0069】上記ステップz105で主被写体のデフォ
ーカス量が閾値より小さくなったらステップz108へ
進む。そして、このステップz108においては、焦点
検出点を、上記ステップz104で最後に計算した位置
に決定する。以後、主被写体の再判定は行わない。続く
ステップz109においては、上記ステップz108で
決定した焦点検出点、すなわち主被写体のデフォーカス
量が合焦範囲内であるか判定する。合焦ならステップz
112へ進み、そうでないならステップz110)へ進
む。
【0070】ステップz110においては、上記ステッ
プz108で決定した主被写体のデフォーカス量に基づ
きレンズ駆動量を演算し、レンズ制御回路206へレン
ズ駆動量を通信し、レンズを駆動する。次のステップz
111においては、レンズ駆動後、上記ステップz10
7で決定した測距点の焦点検出を行う。その後、ステッ
プz109へ戻り、合焦判定を行う。
【0071】上記ステップz108で焦点検出点(主被
写体)が決定した後は、その焦点検出点だけで焦点検出
を行い、合焦になるまでステップz109〜z111を
繰り返す。ここで判るように、一度主被写体を決定する
と主被写体の判定は行わない。
【0072】上記ステップz109にて合焦になったこ
とを判別するとステップz112へ進み、「合焦状態」
の設定を行う。そして、次のステップz113にて、こ
のサブルーチンをリターンする。
【0073】なお、このサブルーチンの中では、合焦に
なるまで焦点検出を行う場合を説明しているが(合焦に
ならない場合のシーケンスは省略している)、実際は、
焦点検出が不能な場合や、所定回数レンズ駆動を行って
も合焦にならない場合の処理などを行うので、必ずしも
「合焦状態」でサブルーチンをリターンする訳ではな
い。
【0074】以上説明したように、複数の焦点検出点で
測距を行い、その結果で領域分割を行って、分割された
領域から主被写体領域を決定して焦点調節を行う場合、
決定した主被写体の焦点検出結果が所定以内になるまで
は、決められた領域分割で主被写体領域の決定を繰り返
し行いながらレンズ駆動を行い、主被写体の焦点検出結
果が所定以内になったら決定した主被写体で焦点調節を
行うようにしたため、ハンチングや誤選択(撮影者の意
志と不一致の被写体を選択する)を行わず意志に一致し
た焦点検出点選択を行うことができる。また、領域分割
を繰り返し行わないので計算量が少なくなり、演算時間
が短くなる。
【0075】(実施の第3の形態)上記実施の第1の形
態においては、デフォーカスを検出するタイプの装置を
例にして説明したが、距離検出する測距装置においても
同様に領域分割を行って、焦点調節を行うことができ
る。この場合は、図1のステップa103に相当する部
分で、距離マップを作成し、ステップa105では、主
被写体の距離と、その時点で撮影レンズが合焦している
距離とを比較して、その差が所定以内であるかを判定す
ることになる。
【0076】(実施の第4の形態)上記実施の第2の形
態では、デフォーカスを検出するタイプの装置を例にし
て説明したが、距離検出する測距装置においても同様に
領域分割を行って、焦点調節を行うことができる。この
場合は、図2のステップz103に相当する部分で、距
離マップを作成し、ステップz105では,主被写体の
距離と、その時点で撮影レンズが合焦している距離とを
比較して,その差が所定以内であるかを判定することに
なる。
【0077】(発明と実施の形態の対応)上記実施の第
1又は第3の形態において、マイクロコンピュータ20
3内の、図1におけるステップa102の動作を実行す
る部分が本発明の領域分割手段に相当し、ステップa1
04の動作を実行する部分が本発明の領域選択手段に相
当しる。さらに、図3のレンズ駆動回路206,撮影レ
ンズ213、図1におけるステップa106,a109
の動作を実行する部分が本発明のレンズ駆動手段に相当
し、図3におけるエリアセンサ201,センサ駆動回路
202、図1におけるステップa102,ステップa1
10の動作を実行する部分が本発明の情報検出手段に相
当する。
【0078】また、上記実施の第2又は第4の形態にお
いて、マイクロコンピュータ203内の、図2における
ステップz103の動作を実行する部分が本発明の領域
分割手段に相当し、ステップz104の動作を実行する
部分が本発明の領域選択手段に相当する。さらに、図3
のレンズ駆動回路206,撮影レンズ213、図2にお
けるステップz106,z110の動作を実行する部分
が本発明のレンズ駆動手段に相当し、図3におけるエリ
アセンサ201,センサ駆動回路202、図2における
ステップz102,z107,z111の動作を実行す
る部分が本発明の情報検出手段に相当する。
【0079】以上が実施の形態の各構成と本発明の各構
成の対応関係であるが、本発明は、これら実施の形態の
構成に限定されるものではなく、請求項で示した機能、
又は実施の形態がもつ機能が達成できる構成であればど
のようなものであってもよいことは言うまでもない。
【0080】(変形例)本発明は、一眼レフカメラやビ
デオカメラ等のカメラに適用した場合を例にしている
が、該カメラに搭載される焦点検出装置、測距装置、自
動焦点調節装置であっても良いし、更には環境認識装
置、例えばエアコン(例えば人物を認識してその方向に
風向きを設定する装置として利用)や車(人物認識装置
として利用)等の装置にも適用可能である。
【0081】その他、本発明が適用される測距装置や焦
点検出装置を具備した光学装置、例えば双眼鏡やゲーム
機にも適用可能である。
【0082】
【発明の効果】以上説明したように、本発明によれば、
レンズを合焦させる際にハンチングを生じたり、使用者
の意志と合致しない物体を含む、焦点状態を決定する為
の領域選択をしてしまうことを防ぐことがきる焦点検出
装置を提供できるものである。
【0083】また、本発明によれば、レンズを合焦させ
る際にハンチングを生じたり、使用者の意志と合致しな
い物体に焦点合わせを行ってしまうような、焦点調節用
の領域選択をしてしまうことを防ぐことができる自動焦
点調節装置を提供できるものである。
【0084】また、本発明によれば、撮影レンズを合焦
させる際にハンチングを生じたり、撮影者の意志と合致
しない被写体を含む、焦点状態を決定する為の領域選択
をしてしまうことを防ぐことができるカメラを提供でき
るものである。
【0085】また、本発明によれば、撮影レンズを合焦
させる際にハンチングを生じたり、撮影者の意志と合致
しない被写体に焦点合わせを行ってしまうような、焦点
調節用の領域選択をしてしまうことを防ぐことができる
カメラを提供できるものである。
【図面の簡単な説明】
【図1】本発明の実施の第1の形態に係るカメラの自動
選択AF時の動作を示すフローチャートである。
【図2】本発明の実施の第1の形態に係るカメラの自動
選択AF時の動作を示すフローチャートである。
【図3】本発明の実施の各形態に係るカメラの概略構成
を示すブロック図である。
【図4】本発明の実施の各形態に係るカメラのメイン動
作を説明するためのフローチャート図である。
【図5】本発明の実施の第1の形態における自動選択A
Fで検出されるデフォーカス量とそれに基づいて作成さ
れたデフォーカスマップの図である。
【図6】従来例を説明するための撮影シーン例を示す図
である。
【図7】図6の距離マップの例を示す図である。
【図8】図7をグルーピングした際の一例を示す図であ
る。
【図9】従来例及び本発明を説明するための撮影シーン
の一例と焦点検出点の分布図である。
【図10】従来例のデフォーカスマップ(領域分割)の
例を示す図である。
【符号の説明】
201 エリアセンサ 202 センサ駆動回路 203 マイクロコンピュータ 206 レンズ駆動回路 207 レリーズ釦の第1ストロークによりONするス
イッチ(SW1) 208 レリーズ釦の第2ストロークによりONするス
イッチ(SW2) 213 撮影レンズ 214 スイッチセンス回路

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 観察面内の複数の点より距離に関する情
    報を検出する情報検出手段と、該情報検出手段による複
    数の検出結果に基づいて、観察面を領域分割する領域分
    割手段と、該領域分割手段により分割された複数の領域
    の中から主要物体が存在する少なくとも一つの領域を選
    択する領域選択手段とを有し、前記領域選択手段にて選
    択された領域より得られる距離に関する情報に基づいて
    レンズの焦点状態を決定する焦点検出装置において、 前記領域選択手段にて選択された領域で得られる距離に
    関する情報が所定状態になるまでは、前記領域分割手段
    に領域分割を行わせ、複数の領域の中から前記領域選択
    手段に領域選択を行わせることを特徴とする焦点検出装
    置。
  2. 【請求項2】 観察面内の複数の点より距離に関する情
    報を検出する情報検出手段と、該情報検出手段による複
    数の検出結果に基づいて、観察面を領域分割する領域分
    割手段と、該領域分割手段により分割された複数の領域
    の中から主要物体が存在する少なくとも一つの領域を選
    択する領域選択手段とを有し、前記領域選択手段にて選
    択された領域により得られる距離に関する情報に基づい
    てレンズの焦点状態を決定する焦点検出装置において、 前記領域選択手段にて選択された領域で得られる距離に
    関する情報が所定状態になるまでは、該領域選択手段に
    領域選択を行わせることを特徴とする焦点検出装置。
  3. 【請求項3】 前記情報検出手段は、観察画面内の複数
    の領域に対応する複数の焦点検出用センサと、該複数の
    焦点検出用のセンサからの信号に基づいて各領域のデフ
    ォーカス量を検出する手段であることを特徴とする請求
    項1又は2記載の焦点検出装置。
  4. 【請求項4】 観察面内の複数の点より距離に関する情
    報を検出する情報検出手段と、該情報検出手段による複
    数の検出結果に基づいて、観察面を領域分割する領域分
    割手段と、該領域分割手段により分割された複数の領域
    の中から主要物体が存在する少なくとも一つの領域を選
    択する領域選択手段と、該領域選択手段で選択された領
    域にて得られる距離に関する情報に基づいて焦点調節光
    学系を駆動するレンズ駆動手段とを有する自動焦点調節
    装置において、 前記領域選択手段にて選択された領域で得られる距離に
    関する情報が所定状態になるまでは、前記領域分割手段
    に領域分割を行わせ、複数の領域の中から前記領域選択
    手段に領域選択を行わせることを特徴とする自動焦点調
    節装置。
  5. 【請求項5】 観察面内の複数の点より距離に関する情
    報を検出する情報検出手段と、該情報検出手段による複
    数の検出結果に基づいて、観察面を領域分割する領域分
    割手段と、該領域分割手段により分割された複数の領域
    の中から主要物体が存在する少なくとも一つの領域を選
    択する領域選択手段と、該領域選択手段で選択された領
    域にて得られる距離に関する情報に基づいて焦点調節光
    学系を駆動するレンズ駆動手段とを有する自動焦点調節
    装置において、 前記領域選択手段にて選択された領域で得られる距離に
    関する情報が所定状態になるまでは、該領域選択手段に
    領域選択を行わせることを特徴とする自動焦点調節装
    置。
  6. 【請求項6】 前記情報検出手段は、観察画面内の複数
    の領域に対応する複数の焦点検出用センサと、該複数の
    焦点検出用のセンサからの信号に基づいて各領域のデフ
    ォーカス量を検出する手段であることを特徴とする請求
    項4又は5記載の自動焦点調節装置。
  7. 【請求項7】 請求項1又は請求項2記載の焦点検出装
    置を有したことを特徴とするカメラ。
  8. 【請求項8】 請求項4又は5記載の自動焦点調節装置
    を有したことを特徴とするカメラ。
JP36595997A 1997-12-24 1997-12-24 焦点検出装置、カメラ及び焦点検出方法 Expired - Fee Related JP3630965B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP36595997A JP3630965B2 (ja) 1997-12-24 1997-12-24 焦点検出装置、カメラ及び焦点検出方法
US09/217,552 US6088539A (en) 1997-12-24 1998-12-21 Optical apparatus with focus adjusting function and focus adjustment control circuit
DE69829035T DE69829035T2 (de) 1997-12-24 1998-12-22 Optische Vorrichtung mit einem Fokusjustiergerät und Fokussierungssteuerschaltung
DE69838114T DE69838114T2 (de) 1997-12-24 1998-12-22 Optische Vorrichtung mit einem Fokusjustiergerät und Fokussierungssteuerschaltung
EP98310618A EP0926528B1 (en) 1997-12-24 1998-12-22 Optical apparatus with focus adjusting function and focus adjustment control circuit
EP04075225A EP1437614B1 (en) 1997-12-24 1998-12-22 Optical apparatus with focus adjusting function and focus adjustment control circuit
US09/494,922 US6157782A (en) 1997-12-24 2000-02-01 Optical apparatus with focus adjusting function and focus adjustment control circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36595997A JP3630965B2 (ja) 1997-12-24 1997-12-24 焦点検出装置、カメラ及び焦点検出方法

Publications (2)

Publication Number Publication Date
JPH11183787A true JPH11183787A (ja) 1999-07-09
JP3630965B2 JP3630965B2 (ja) 2005-03-23

Family

ID=18485559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36595997A Expired - Fee Related JP3630965B2 (ja) 1997-12-24 1997-12-24 焦点検出装置、カメラ及び焦点検出方法

Country Status (1)

Country Link
JP (1) JP3630965B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040321A (ja) * 2000-07-24 2002-02-06 Olympus Optical Co Ltd 電子カメラ
JP2008257004A (ja) * 2007-04-06 2008-10-23 Canon Inc 光学機器
JP2010117489A (ja) * 2008-11-12 2010-05-27 Canon Inc 撮像装置
JP2011523079A (ja) * 2008-05-19 2011-08-04 キヤノン株式会社 撮影システム及びレンズ装置
JP2015200903A (ja) * 2010-02-15 2015-11-12 株式会社ニコン 焦点調節装置
JP2016040578A (ja) * 2014-08-12 2016-03-24 リコーイメージング株式会社 撮像装置
JP2017021216A (ja) * 2015-07-10 2017-01-26 キヤノン株式会社 焦点検出装置及びその制御方法、及び撮像装置
JP2023011552A (ja) * 2021-07-12 2023-01-24 パナソニックIpマネジメント株式会社 撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5005570B2 (ja) 2008-02-04 2012-08-22 株式会社リコー 画像処理装置およびプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040321A (ja) * 2000-07-24 2002-02-06 Olympus Optical Co Ltd 電子カメラ
JP2008257004A (ja) * 2007-04-06 2008-10-23 Canon Inc 光学機器
JP2011523079A (ja) * 2008-05-19 2011-08-04 キヤノン株式会社 撮影システム及びレンズ装置
US9335610B2 (en) 2008-05-19 2016-05-10 Canon Kabushiki Kaisha Image pickup system and lens apparatus
JP2010117489A (ja) * 2008-11-12 2010-05-27 Canon Inc 撮像装置
JP2015200903A (ja) * 2010-02-15 2015-11-12 株式会社ニコン 焦点調節装置
US9883095B2 (en) 2010-02-15 2018-01-30 Nikon Corporation Focus adjusting device and focus adjusting program with control unit to guide a light image based upon detected distributions
JP2016040578A (ja) * 2014-08-12 2016-03-24 リコーイメージング株式会社 撮像装置
JP2017021216A (ja) * 2015-07-10 2017-01-26 キヤノン株式会社 焦点検出装置及びその制御方法、及び撮像装置
JP2023011552A (ja) * 2021-07-12 2023-01-24 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
JP3630965B2 (ja) 2005-03-23

Similar Documents

Publication Publication Date Title
US6385398B1 (en) Camera with blurring detection function
US7071985B1 (en) Optical device and method for selecting object of focus
JPH10161013A (ja) 環境認識装置及び環境認識装置を備えたカメラ
US5091742A (en) Camera having an auto focusing device
US6088539A (en) Optical apparatus with focus adjusting function and focus adjustment control circuit
US7496290B2 (en) Multipoint autofocus system and camera having multipoint autofocus system
CN101621625A (zh) 摄像设备及其控制方法
JP2605282B2 (ja) 自動焦点調節装置
JP2002244027A (ja) 測距装置
JPH10142490A (ja) 環境認識装置及びカメラ
JPH1125263A (ja) 対象物特徴点検出装置、焦点調節装置、露出制御装置及びカメラ
JP3630965B2 (ja) 焦点検出装置、カメラ及び焦点検出方法
JPH1138313A (ja) 光学装置及びカメラ
JP2001304855A (ja) 測距装置
JP2000347095A (ja) 測距装置
US6636699B2 (en) Focus detection device and distance measurement device
EP0895117B1 (en) Camera with automatic focus and TTL flash control
JPH11337814A (ja) 光学装置
JPH07181369A (ja) 自動焦点調節カメラおよびカメラの自動焦点調節方法
JPH08146286A (ja) 自動焦点調節カメラ
JPH09318871A (ja) 補助投光装置および焦点検出装置
US5623706A (en) Camera having auto focusing and auto exposure functions
JP4512173B2 (ja) 測距装置
JPH10150598A (ja) スチルビデオカメラの露光量制御装置
JP3955201B2 (ja) オートフォーカスカメラ

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040216

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040819

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20041013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041215

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees