JP3548328B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP3548328B2
JP3548328B2 JP08680296A JP8680296A JP3548328B2 JP 3548328 B2 JP3548328 B2 JP 3548328B2 JP 08680296 A JP08680296 A JP 08680296A JP 8680296 A JP8680296 A JP 8680296A JP 3548328 B2 JP3548328 B2 JP 3548328B2
Authority
JP
Japan
Prior art keywords
shake
image
unit
imaging
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08680296A
Other languages
English (en)
Other versions
JPH09284635A (ja
Inventor
利道 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP08680296A priority Critical patent/JP3548328B2/ja
Publication of JPH09284635A publication Critical patent/JPH09284635A/ja
Application granted granted Critical
Publication of JP3548328B2 publication Critical patent/JP3548328B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、ビデオカメラ等に用いて好適な手振れ、振動等の振れ補正を行う機能を有する撮像装置に関するものである。
【0002】
【従来の技術】
小型のビデオカメラ等では、手振れや振動により被写体像がぶれてしまい、見づらい映像となってしまうことがよくある。最近では高倍率のレンズが採用されており、特にテレ側の時はぶれが大きく目立つ。このような手振れ等の振れ補正をするための振れ補正機能を有する撮像装置が従来より数多く提案され、製品化されている。
【0003】
次に、従来より提案されている手振れ補正のシステムの一例について説明する。
まず、光学的な振れ補正方式で用いられる可変頂角プリズム(以下VAP:Variable Angle Prisumと呼ぶ)について図11を用いて説明する。VAPは、図11に示すように対向した2枚のガラス板21、22と、この2枚のガラス板21、22をつなぐ蛇腹23、24と、2枚のガラス板21、22と蛇腹23、24とで密閉される空間を満たす高屈折率液体25とにより構成される。ガラス板21、22には互いに直交する回転軸26、27がそれぞれ設けられている。
【0004】
上記構成において、一方のガラス板21を回転軸26を中心にσだけ回転させたときの入射光束28は、楔形プリズムと同じ原理によりφだけ偏向する。同じように他方のガラス板22は、回転軸27を中心に回転して入射光束28を偏向させることができる。従って、2枚のガラス板21、22を同時に制御することにより、被写体像のぶれを除去することができる。
【0005】
上述したVAPを用いた振れ補正を行うようにした撮像装置の構成を図12に示す。
なお、本撮像装置においては、図12の構成の内101から107及び109、110で示す各部はピッチ(縦)方向、ヨー(横)方向の振れに対して独立して2系統が設けられているものとし、ここではその1系統のみが示されている。図12において、振れを検出する角速度センサ101の出力をDCカットフィルタ102によって直流成分をカットし、アンプ103で必要なだけ増幅する。この増幅された信号から必要に応じてゲインを調整するゲイン調整回路104を通し、VAP頂角の目標値を生成するのに必要な信号処理を信号処理回路105で行う。
【0006】
一方、VAPユニット108には頂角を検出する頂角センサ110が設けられ、その出力をアンプ109で必要なだけ増幅する。次に、加算器120により信号処理回路105の出力とアンプ109の出力との差を取り制御量とし、駆動回路106に出力する。これにより駆動回路106が、VAPユニット108内のVAPの頂角を可変させるモータ等のアクチュエータ107を上記制御量に応じて駆動する。この一連の動作により光学的に振れを補正することができる。
【0007】
次に、CCD等の固体撮像素子111は、固体撮像素子制御回路115により制御され、光学系を介した映像を電気信号(以下、映像信号と呼ぶ)に変換する。この映像信号をカメラ信号処理112により信号処理を行い、さらにA/D変換回路113によりディジタル信号に変換する。
【0008】
このディジタル信号に変換された映像信号をフィールドメモリ回路117に記憶する。また、ディジタル信号に変換された上記映像信号は画像動き検出回路114にも送られ、フィールド間又はフレーム間の画像の動きが検出される。
【0009】
フィールドメモリ制御回路119は、フィールドメモリ回路117に記憶された画像から、フィールドメモリ制御回路119により読み出される画像を引いた残りの領域内で、読み出す位置を移動させることができる。この移動可能な範囲中で、画像動き検出回路114からの信号に応じてフィールドメモリ制御回路119により読み出すアドレスを移動することにより、電気的な振れ補正を行う。フィールドメモリ回路117から読み出された画像を、ディジタル信号処理回路119により放送方式に合わせた標準の画素数に補完し、補完された映像信号を出力する。
【0010】
【発明が解決しようとする課題】
しかしながら、前述した従来の振れ補正方式によると、テレコンバータ等のアダプタがVAP面より前に接続された場合は、必要な振れ補正量が変わってしまうため、VAPによる振れ補正が効かなくなってしまう。その場合は角速度センサの利得を再調整する必要があるが、遠距離の被写体で角速度センサの調整を行うと、近距離で必要な補正量に差が生じ、振れ補正の効果が多少劣化してしまうという問題があった。
【0012】
本発明は上述した問題を解決することのできる撮像装置を得ることを目的とする。
【0013】
【課題を解決するための手段】
本発明の撮像装置においては、被写体を撮像する撮像手段と、上記撮像手段の所定方向の振れを検出する振れ検出手段と、上記振れ検出手段の利得を調節する利得調節手段と、上記振れ検出手段の出力信号に応じて上記撮像手段が撮像する画像の振れを光学的に補正する光学振れ補正手段と、上記撮像手段からの入力画像の動きを検出する画像動き検出手段と、上記画像動き検出手段により検出された画像の動きが最小となるように上記利得調節手段を制御する利得調節制御手段とを設けている。
【0015】
【作用】
上記のように構成した本発明によれば、振れ検出手段の利得が、画像の動きに応じてこの画像の動きが最小となるように利得調節制御手段及び利得調節制御手段を介して制御されるので、常に適正な振れ補正効果が得られる。
【0017】
【発明の実施の形態】
以下、本発明の第1〜第3の実施の形態を図面と共に説明する。尚、各実施の形態を示す図1、4、5においては、図12及び互いに実質的に同一あるいは対応する部分に同一番号を付して重複する説明は省略するものとする。
【0018】
(第1の実施の形態)
図1は本発明の第1の実施の形態を示す図である。
図1において、図12との違いはゲイン調整制御回路116を設けた点と、図12の117、118、119の各回路を省略した点とにある。
【0019】
次に、本発明に関する部分の動作について説明する。
前述したように、A/D変換回路113でディジタル信号に変換された映像信号は、記録系やファインダ系に供給されると共に、画像動き検出回路114にも送られ、画像の動きが検出される。本実施の形態においては、ゲイン調整制御回路116が画像動き検出回路114により検出された画像の動きが最小となるようにゲイン調整回路104を制御するようにしている。
【0020】
次に図1のゲイン調整回路104の動作を図2を用いて説明する。
図2においてゲイン調整回路104は、入力信号X、基準電圧Vref、データ(data)を入力することにより、出力信号Yを
Y=(X−Vref)×data/2 ………(1)
のように出力する。但し、nはあらかじめ決められた値であり、データは
0≦data≦2n−1 ………(2)
の範囲で設定できる。このデータを、ゲイン調整制御回路116が決定してゲイン調整回路104に伝達することにより、ゲインを変えることができる。
【0021】
図3に、図2におけるデータをゲイン調整制御回路116が決定するフローチャートを示す。
処理601でパンニング処理中であるか否かの判断をする。パンニング処理中である場合は終了する。パンニング処理中でない場合は、処理602により変位量があらかじめ定めてあるしきい値より大であるか否かの判断をする。大であれば処理603に移り、満たさなければ終了する。但し、処理602の変位量とは、画像検出より算出した変位量を所定時間でピークホールドした値である。
【0022】
次に、処理603により積分値が、あらかじめ定めてあるしきい値1より大であるか否かの判断をする。大であれば処理604に移り、満たさなければ終了する。但し、処理603の積分値とは、角速度センサ101により検出された角速度を積分した積分値(図1の信号処理回路105より受け取る)を、所定時間でピークホールドした値である。
次に、処理604によりフラグが0であるか否かの判断をする。但し、フラグの初期値は0である。フラグが0の場合は処理605に、1の場合は処理609に移行する。処理605では、前回の変位量が今回の変位量より大であるか否かの判断をする。大であれば処理606に移り、満たさなければ処理607に移行する。
処理606では、Gainの値から1を減算しGainに格納する。
処理607では、Gainの値から1を加算しGainに格納する。さらに、処理608によりフラグの値を反転する。
【0023】
処理609では、前回の変位量が今回の変位量より大であるか否かの判断をする。大であれば処理610に移り、満たさなければ処理611に移行する。
処理610では、Gainの値から1を加算しGainに格納する。
処理611では、Gainの値から1を減算しGainに格納する。さらに、処理612によりフラグの値を反転する。
ここで決定されたGainを図2のdataとしてゲイン調整制御回路116に送信する。
上記の処理を一定周期で実行する。これにより常に最適な補正量を得ることができる。
【0024】
(第2の実施の形態)
図4は本発明の第2の実施の形態を示す図である。
この図4は、図1の回路構成に図12の117、118、119の各回路を追加したものである。
次に、本発明に関する部分の動作について説明する。
A/D変換回路113でディジタル信号に変換された映像信号は、画像動き検出回路114に送られ、画像の動きが検出される。フィールドメモリ制御回路119は、フィールドメモリ回路117に記憶された画像から、フィールドメモリ制御回路119により読み出される画像を引いた残りの領域内で、読み出す位置を移動させることができる。この移動可能な範囲中で、画像動き検出回路114からの信号に応じてフィールドメモリ制御回路119により読み出すアドレスを移動することにより、振れ補正を行う。フィールドメモリ回路117から読み出された画像を、ディジタル信号処理回路119により放送方式に合わせた標準の画素数に補完して映像信号を出力する。
【0025】
一方、ゲイン調整制御回路116は、画像動き検出回路114により検出された画像の動きが最小となるようにゲイン調整回路104を制御する。
なお、ゲイン調整回路104及びゲイン調整制御回路116の動作については、図2、図3と同様に行われる。
【0026】
(第3の実施の形態)
近年、ビデオカメラのさらなる小型化が望まれるのにともない、光学補正系の小型化が要求されている。VAPを用いて光学的な振れ補正を行うようにしたズーム機能を有するビデオカメラ等の撮像装置においては、VAPを含めた光学系の小型化を追求するために、VAPの有効可変頂角範囲が広角側になるほど狭くなり、被写体像が光学的にけられやすくなるようなレンズが提案されている。ここで、有効可変頂角範囲とは、機械的な頂角範囲の内で、撮像される被写体像が欠けることのない(光学的にけられることのない)可変範囲である。しかしながら、上述したような撮像装置において、VAPの頂角を常に機械的な最大可変範囲まで使用する制御をしてしまうと、被写体が広角になるほどけられてしまう。そこで、第3の実施の形態は、被写体を撮像する撮像部の所定方向の振れを検出する振れ検出部の出力レベルを、拡大率を変えるためのズームレンズにより変更された焦点距離に応じて制御される制限部により制限し、上記制限部の出力信号に応じて上記撮像部が撮像する画像の振れを光学的に補正することにより、ズームレンズによる焦点距離の変化に応じて振れ検出部の出力レベルを変化させ、広角時に被写体がけられることを防止するようにしたものである。
【0027】
図5は第3の実施の形態の構成を示す図である。
図5において、121は第1の固定レンズ群で、その前にVAPユニット108が配される。125は第2の固定レンズ、122は撮像倍率を変倍するためのズームレンズ、124は焦点距離を検出するエンコーダ、126は焦点調節のためのフォーカスレンズである。ズームレンズ122の位置を移動させると焦点距離が変わり、その際の焦点距離はエンコーダ124から出力される焦点距離情報により知ることができる。
また、127はアンプ103からの角速度信号とエンコーダ124からの焦点距離情報とからVAPユニット108の頂角の目標値となる補正信号を演算し、加算器120に出力するマイコン、128はマイコン127内のテーブルである。
上記構成において、例えば撮像装置に手ぶれ等による振れが与えられると、角速度センサ101が振れの角速度を出力し、DCカットフィルタ102及び角速度センサアンプ103を経てマイコン127に取り込まれ、内蔵のA/D変換器により逐次ディジタル化される。ディジタル化された角速度信号を角速度データと呼ぶ。
【0028】
マイコン127は角速度データに所定の演算を施し補正データを生成し、補正データを内蔵のD/A変換器によりアナログ化して出力する。以後、アナログ化された補正データを補正信号と呼ぶ。この補正信号は加算器120に入力される。
また、頂角センサ110が出力する頂角信号は、アンプ109を経て加算器120に負入力される。加算器120は補正信号と頂角信号との差をとり制御偏差を求め、駆動回路106を経てモータ等のアクチュエータ107を駆動する。つまり補正信号を目標値とするフィードバック制御が行われる。この一連の動作により、VAPは手ぶれ等による振れをキャンセルする方向に駆動され、光学系を介しCCD111により撮像される被写体像の手ぶれ等による振れを光学的に補正する。
なお、振れ補正系(101〜103、106〜110及び120)はピッチ(縦)方向、ヨー(横)方向に独立して2系統存在するものとする。
【0029】
次に、上述マイコン127内の処理について図6〜図9を用いて説明する。
マイクロコンピュータ127内において、角速度データを取得してから補正信号を出力するまでの処理を図6のフローチャートを示す。図6において、
処理301 プログラムの開始である。
処理302 角速度データを取得する。
処理303 処理302で取得した角速度データにハイパスフィルタ(HPF)をかける。
処理304 処理303により生成されたデータに位相補償フィルタをかける。
処理305 処理304により生成されたデータを積分し、積分値を生成する。
処理306 積分値から補正データを生成する。
処理307 補正データを出力する。
処理308 本プログラムの終了である。
上記の処理は所定周期(例えば1kHz)で繰り返し実行される。
【0030】
本実施の形態である処理306は補正データ生成サブルーチンであり、図7にそのフローチャートを示し、順を追って説明する。
処理401 補正データ生成サブルーチンの開始である。
処理402 焦点距離データを読み込む。
処理403 焦点距離データに対応する最大補正値θthを、テーブル128から読み込む。
但し、θthは、頂角のディメンジョンと同等である。
【0031】
処理404 |積分値|(積分値の絶対値)とθthを比較し
|積分値|>θth
の場合は処理405へ分岐し、
|積分値|≦θth
の場合は処理406へ分岐する。
処理405 積分値と0を比較し
積分値>0
の場合は処理406へ分岐し、
積分値<0
の場合は処理407へ分岐する。
処理406 θthを積分値に入れ替える。
処理407 −θthを積分値に入れ替える。
処理408 補正データ生成サブルーチンの終了である。
【0032】
処理402の焦点距離データは、焦点距離を有限数(例えば10倍のズームレンズでは20〜30程度)に分割し、換算している。また処理403の補正最大値は、マイコン127内にテーブル128として記憶されており、それぞれの焦点距離に対応した補正最大値を記憶している。また、テーブル128は焦点距離が長くなるほど、最大補正値が大きくなるよう設定されている。
従って、焦点距離が短くなるほど補正範囲が狭くなるが、民生用のビデオカメラ等において標準的に使用した場合、広角側になるほど手ぶれ等による被写体像のぶれは目立たなくなるため、補正範囲が小さくなっても実用上問題はない。
【0033】
また、撮影者が意図的にカメラを振っている場合、急激にVAP頂角が最大補正値まで達してしまい、振れ補正効果がなくなることがある。これを防ぐために、低域の補正を制限し、VAP頂角が最大補正値まで急激に達してしまわないような制御をする。これをパン制御と呼ぶ。
上記パン制御を行うために、図6の処理303で用いられるハイパスフィルタは、遮断周波数を図8のようにflからfhまで可変するように工夫されている。
【0034】
また同様に前記処理304の積分器も図9のように通常は実線である特性を、波線の特性まで変化させることができ、これにより低域の利得に制限をかけられるように工夫されている。上記ハイパスフィルタ及び積分器を、角速度、積分値、焦点距離に応じて制御することにより、上記パン制御を実現することができる。
【0035】
パン制御の一例として、ハイパスフィルタの遮断周波数を積分値に応じて制御する場合について、図10の積分値と遮断周波数との関係を用いて説明する。
図10において、実線は焦点距離がテレ端の時の積分値と遮断周波数との関係である。つまり、積分値が所定のしきい値aまでは、遮断周波数fl(図8)に設定され、aから積分値が増加するに応じて、図10の実線に従ってfh(図8)に近づいていく。さらに図10の実線で示す特性は、焦点距離が短くなるに応じて波線の特性へと遷移する。
【0036】
以上、説明したように第3の実施の形態によれば、ズーム機能を有するビデオカメラ等の撮像装置において、レンズシステムの小型化を達成しながら、各焦点距離に適した良好な手ぶれ等の振れ補正効果を得ることができる。特に被写体が広角になるとけられてしまうようなことをなくすことができる。
【0037】
【発明の効果】
以上説明したように、本発明によれば、常に最適な振れ補正量を得ることができ、良好な振れ補正効果を得ることができる。従って、例えばVAPの前面にテレコンバータ等が配されても、角速度センサ等の利得が最適に調整され、良好な振れ補正効果を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示すブロック図である。
【図2】図1のゲイン調整回路を説明するためのブロック図である。
【図3】動作を示すフローチャートである。
【図4】本発明の第2の実施の形態を示すブロック図である。
【図5】本発明の第3の実施の形態を示すブロック図である。
【図6】補正信号を得る処理を示すフローチャートである。
【図7】補正データ生成サブルーチンを示すフローチャートである。
【図8】図6の処理303のハイパスフィルタの動作を示す特性図である。
【図9】図6の処理305の積分器の動作を示す特性図である。
【図10】パン制御の一例を説明するための特性図である。
【図11】可変頂角プリズムを示す構成図である。
【図12】従来の振れ補正機能を有する撮像装置を示すブロック図である。
【符号の説明】
101 角速度センサ
104 ゲイン調整回路
105 信号処理回路
106 駆動回路
107 アクチュエータ
108 VAPユニット
110 頂角センサ
111 固体撮像素子
112 カメラ信号処理回路
114 画像動き検出回路
116 ゲイン調整制御回路
122 ズームレンズ
126 フォーカスレンズ
127 マイクロコンピュータ
128 テーブル

Claims (5)

  1. 被写体を撮像する撮像手段と、
    上記撮像手段の所定方向の振れを検出する振れ検出手段と、
    上記振れ検出手段の利得を調節する利得調節手段と、
    上記振れ検出手段の出力信号に応じて上記撮像手段が撮像する画像の振れを光学的に補正する光学振れ補正手段と、
    上記撮像手段からの入力画像の動きを検出する画像動き検出手段と、
    上記画像動き検出手段により検出された画像の動きが最小となるように上記利得調節手段を制御する利得調節制御手段とを備えた撮像装置。
  2. 上記光学振れ補正手段を、光学系の最も前面の位置に配置したことを特徴とする請求項1に記載の撮像装置。
  3. 上記振れ検出手段は、角速度検出手段と角速度信号を角変位信号に変換する信号処理手段とで構成されることを特徴とする請求項1に記載の撮像装置。
  4. 上記光学振れ補正手段は、可変頂角プリズムを用いていることを特徴とする請求項1に記載の撮像装置。
  5. 上記振れ検出手段は、上記撮像手段の直交する2方向の振れをそれぞれ検出するものである請求項1に記載の撮像装置。
JP08680296A 1996-04-09 1996-04-09 撮像装置 Expired - Fee Related JP3548328B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08680296A JP3548328B2 (ja) 1996-04-09 1996-04-09 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08680296A JP3548328B2 (ja) 1996-04-09 1996-04-09 撮像装置

Publications (2)

Publication Number Publication Date
JPH09284635A JPH09284635A (ja) 1997-10-31
JP3548328B2 true JP3548328B2 (ja) 2004-07-28

Family

ID=13896938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08680296A Expired - Fee Related JP3548328B2 (ja) 1996-04-09 1996-04-09 撮像装置

Country Status (1)

Country Link
JP (1) JP3548328B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4536865B2 (ja) * 2000-03-15 2010-09-01 キヤノン株式会社 ぶれ検出装置及び撮像装置
JP2002049069A (ja) * 2000-08-04 2002-02-15 Canon Inc 防振ズームレンズ装置及びカメラシステム
US20050128309A1 (en) 2003-07-25 2005-06-16 Nikon Corporation Shooting lens having vibration reducing function and camera system for same
JP4419466B2 (ja) * 2003-07-25 2010-02-24 株式会社ニコン 撮影レンズ、およびカメラシステム
JP4415596B2 (ja) * 2003-07-28 2010-02-17 株式会社ニコン 撮影レンズ、およびカメラシステム
JP4595394B2 (ja) * 2004-06-08 2010-12-08 株式会社ニコン ブレ補正装置、およびカメラシステム
JP4400322B2 (ja) * 2004-06-08 2010-01-20 株式会社ニコン ブレ補正装置、およびカメラシステム

Also Published As

Publication number Publication date
JPH09284635A (ja) 1997-10-31

Similar Documents

Publication Publication Date Title
JP4717748B2 (ja) カメラ本体及びそれを有するカメラシステム
JP6530602B2 (ja) 撮像装置及びその制御方法
US6573930B2 (en) Image pickup apparatus for storing, reading-out and processing a signal during predetermined time periods
JP6214316B2 (ja) 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体
JP5409342B2 (ja) 撮像装置及びその制御方法
WO2011086728A1 (ja) 撮像装置および画像振れ補正方法
JPH09322057A (ja) 撮像装置
US20020063779A1 (en) Electronic image movement correcting device with a variable correction step feature
US7557831B2 (en) Optical apparatus provided with image-shake correction function
US10827124B2 (en) Shake correction device, imaging apparatus, and shake correction method
JP6500238B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP3250245B2 (ja) 防振カメラ
JP2007140064A (ja) 像振れ補正機能付き光学機器
JP3925751B2 (ja) 撮影レンズの画角補正装置
JP3548328B2 (ja) 撮像装置
JP6039212B2 (ja) 像ブレ補正装置、撮像装置及び像ブレ補正装置の制御方法
JP4536855B2 (ja) 防振装置、撮像装置、および、防振装置の制御方法
US20020102100A1 (en) Lens system and camera system composed of camera provided with lens system
JP2000039637A (ja) 振れ補正装置
JP2001054005A (ja) 動き検出装置および画像動き補正装置
JP2008124850A (ja) 画像動き補正装置、レンズ装置および撮像装置
JPH1127573A (ja) 画像動き補正装置
JP2005303933A (ja) 撮像装置
JP2003101866A (ja) 光学装置
JP3592007B2 (ja) 撮像装置及びレンズユニット

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees