JP3402770B2 - 像安定化装置及び撮影装置 - Google Patents

像安定化装置及び撮影装置

Info

Publication number
JP3402770B2
JP3402770B2 JP18795394A JP18795394A JP3402770B2 JP 3402770 B2 JP3402770 B2 JP 3402770B2 JP 18795394 A JP18795394 A JP 18795394A JP 18795394 A JP18795394 A JP 18795394A JP 3402770 B2 JP3402770 B2 JP 3402770B2
Authority
JP
Japan
Prior art keywords
image
stabilizing device
image stabilizing
pass filter
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18795394A
Other languages
English (en)
Other versions
JPH0829823A (ja
Inventor
昭広 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP18795394A priority Critical patent/JP3402770B2/ja
Publication of JPH0829823A publication Critical patent/JPH0829823A/ja
Application granted granted Critical
Publication of JP3402770B2 publication Critical patent/JP3402770B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】 本発明は、例えばカメラに搭載
され、手振れ等による像変動を補正する像安定化装置
び該像安定化装置を具備した撮影装置の改良に関するも
のである。
【0002】
【従来の技術】従来、手振れ補正機能を備えた撮影装置
としては、特公平1−53957号に記載されているよ
うに、振動ジャイロを用いて手振れを検出し、CCDを
含むレンズ鏡筒やその光学系の一部をこの検出信号に基
づいて駆動することにより、CCD撮像面に入射する像
を安定化する光学補正方式のものや(図7参照)、CC
Dがとらえた映像信号より被写体の移動を検出し、これ
に基づいて映像信号自身を電子的に補正する電子補正方
式のもの(図8参照)が知られている。なお、各回路の
説明はここでは省略する。
【0003】また、本願出願人による特願平4−170
751号に記載されているように、被写体の特徴に着目
した追尾機能を利用して補正量を検出し、可変頂角プリ
ズム(以下、VAPと記す)をこの検出信号に基づいて
駆動することにより、画像を安定化させるものも知られ
ている。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来例における光学補正方式の場合は、振動ジャイロ等の
角速度センサが発生する角速度信号を積分して補正量を
求めるため、必ずセンサの直流オフセット成分をキャン
セルする手段が必要となり、低域の補正特性を十分達成
するのに困難を伴う。また、被写体側に不規則な位置変
化があった場合は原理的にこれに対する画像の安定化は
不可能である。
【0005】一方、電子補正方式の場合は、サンプリン
グレートが画像信号のフレーム周波数で決定されるた
め、高い周波数成分の変化に対しては十分に反応しきれ
ないという問題点が有る。
【0006】 (発明の目的) 本発明の目的は、高域
から低域までの広範囲に渡って、かつ、像が不規則な位
置変化をしていても、良好に像振れ補正を行うことので
る像安定化装置及び撮影装置を提供することである。
【0007】
【課題を解決するための手段】 上記の目的を達成する
ために、請求項1又は10記載の本発明は、装置の挙動
を検出する挙動検出手段の出力を受けて、その高域周波
数成分を選択的に出力する高域通過フィルタと、撮影に
よって得られる像信号から画面中の像の移動を検出しそ
の像の移動情報を出力する像移動検出手段の出力を受け
て、その低域周波数成分を選択的に出力する低域通過フ
ィルタと、前記高域通過フィルタと低域通過フィルタの
出力を合成して像振れ信号を生成する信号生成手段と、
該信号生成手段による信号の合成の仕方を変化させる可
変手段と、前記信号生成手段の出力に応じて作動して像
を安定させる補正手段とを備えた像安定装置又は撮影装
置とするものである。
【0008】
【0009】
【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。
【0010】図1は本発明の第1の実施例に係る撮影装
置の要部構成を示すブロック図である。
【0011】 図1において、1は挙動検出手段で、撮
影装置の挙動、即ち撮影者の手振れや撮影者が乗ってい
る乗り物の振動に起因する大小の位置変動を検出するも
のである。この挙動検出手段1としては、コリオリ力を
検出する角速度センサ(振動ジャイロが望ましい)、加
速度検出センサ、角変位センサ、更には地磁気や静止衛
星を利用した方位センサ等を用いる事が出来る。この出
力はHPF(高域通過フィルタ)2に加えられ、外部操
作によって(撮影者の手8によって)設定されたカット
オフ周波数より高域の成分が選択され、次段に出力され
る。
【0012】3は像移動検出手段(詳細は後述)で、撮
影装置がとらえた映像が画面内で移動する移動量を検出
するものであり、この出力は、撮影装置と映像の相対位
置関係の変化量であるから、上述した撮影装置の位置変
動量と映像内での被写体の移動量とが混在した値である
ということが出来る。この出力はLHF(低域通過フィ
ルタ)に加えられ、外部から設定されたカットオフ周波
数より低域の成分が選択され、次段に出力される。
【0013】5は前記HPF2の出力とLPF4の出力
が加えられる加算回路である。6は前記加算回路5の出
力信号が加えられる補正手段であり、この出力信号に基
づいて撮影装置の最終出力の映像の位置を補正する。本
実施例では、VAPを用いるものとする。
【0014】さて、本実施例においては、HPF2とL
PF4のカットオフ周波数の設定を、外部から調節出来
るように成されている。各々の設定周波数は独立してい
ても構わないが、一つの調整機構によって連動している
と、より撮影者にとって便利である。
【0015】この実施例では、この設定を手動によって
外部から出来るように成しているので、撮影者はこの調
節機構によって自分の好みの混合状態を設定することが
出来る。
【0016】図2は、図1の各回路を持つ撮影装置の構
成を示すブロック図であり、図1と同じ部分は同一符号
を付してある。
【0017】撮影光束10はVAP11(図1の補正手
段5に相当する)と撮影レンズ13を透過し、CCD1
4の撮像面上に結像する。CCD14の出力はカメラ信
号処理回路15に加えられ、ここで通常の撮像信号とし
て外部に出力される。また、前記CCD14の出力は像
移動検出回路3にも加えられ、ここで像の移動量が検出
される。この検出信号はLPF2によって低域周波数成
分が抽出され、加算回路5に加えられる。
【0018】振動ジャイロ21の出力である角速度信号
は、HPF22を通して積分回路22に加えられ、積分
される。この積分回路23の出力は制御回路24に加え
られ、上記のHPF22の特性が制御される。また、前
記積分回路5の出力はHPF2にも加えられ、ここで高
域周波数が抽出され、加算回路5に加えられる。
【0019】加算回路5ではHPF2とLPF4の出力
が混合され、その出力信号がVAPドライバ12に加え
られ、これによりVAP11が駆動する。
【0020】HPF2及びLPF4の各々のカットオフ
周波数は、撮影者の操作(43)によって変更すること
が可能であり、略一致する設定にした場合に一番大きな
補正効果が得られるが、パンニング等のカメラワークに
対応しようとした場合には、HPF2のカットオフ周波
数を高めに、LPF4のカットオフ周波数を低めに設定
するのが望ましい。
【0021】なお、一つの操作部材(不図示)によって
両方のカットオフ周波数が連動するように構成し、略一
致の設定からHPFのカットオフ周波数が上昇、LPF
のカットオフ周波数が下降の方向に変化するように連動
させるようにしてもよい。
【0022】図3は上記像移動検出回路3の構成を示す
ブロック図であり、以下この回路における動作について
説明する。
【0023】CCD14からの映像信号はA/D変換回
路311によってディジタル値に変換され、次段の第1
のフレームメモリ312に記憶され、同時にそのメモリ
の旧データは第2のフレームメモリ313に記憶され
る。即ち、第1のフレームメモリ312は今回の、第2
のフレームメモリ313は前回の、それぞれ画像データ
を保持しているということになり、これらの信号を比較
回路314によって比較することにより、両画面の相関
を検出可能となる。
【0024】アドレスロジック回路321は、前記第1
のフレームメモリ312と前記第2のフレームメモリ3
13のフレームメモリに供給するアドレス情報を発生す
るものである。このアドレス情報は撮像情報を記憶する
ときは同一で、単純なカウントアップの値であるが、相
関を検出する場合は次のような処理を行う。
【0025】即ち、第2のフレームメモリ313の記憶
データ(前回の画面)のアドレス(X,Y)を基準とし
て、第1のフレームメモリ312の記憶データ(今回の
画面)のアドレスのX軸,Y軸にそれぞれのシフト値
x,yを加算して(X+x,Y+y)とし、参照画面に
設定された所定領域の対応画素毎の差分値合計を求め、
その合計が最小となる(x,y)の値を求める。この
(x,y)をD/A変換したものが像移動検出手段3の
出力信号である。
【0026】ここで、この像移動検出手段3の機能をま
とめると、撮影で得られる画像信号から画面中の像の移
動を検出するものであり、該像移動検出手段3が出力す
る情報は、即ち像を画面の所定位置付近に固定しておく
ための補正方向と補正量に対応した値を持つものであ
る。そして、該像移動検出手段3は像情報を記憶するメ
モリを有し、このメモリに記憶された情報を参照値とし
て、撮影によって得られた画像信号を評価して、その評
価値に基づいて前記情報を出力する。尚、前記像情報を
取り込むためのセンサはエリアセンサ(2次元)であっ
てもラインセンサ(1次元)であっても構わない。
【0027】前述の参照画面の設定の仕方によって、振
れ補正の効果を最大限に出すようにも出来るし、被写体
が画面の所定位置に常に居るようにする追尾の効果を出
すようにも出来る。即ち、参照画面を比較的背景となり
易い四隅にとると、被写体の移動にあまり影響されず、
撮影者側の振れのみを補正するように動作するし、参照
画面を中央にとると、被写体の移動に反応し、撮影者側
の振れ補正に加え、被写体の追いかける追尾機能の効果
も出てくる。
【0028】(第2の実施例)図4は本発明の第2の実
施例に係る撮影装置の要部構成を示すブロック図であ
り、図1と同じ部分は同一符号を付してある。
【0029】この第2の実施例において、前記第1の実
施例と異なる点は、第1の実施例では手動でフィルタの
カットオフ周波数を設定していたところを、自動的に行
うようにした点である。
【0030】HPF2の出力は加算回路5に加えられる
のと同時に、制御回路7にも加えられる。すると、制御
回路7はHPF2の出力振幅に応じてその出力信号を変
化させ、HPF2とLPF4のそれぞれの特性を変え
る。
【0031】具体的には、図5(a),(b)に示すよ
うに、入力信号の振幅が大きくなるにつれ、HPF2の
カットオフ周波数を上昇させて出力の振幅の増加を制限
し、一方ではLPF4のカットオフ周波数を下降させて
像移動検出手段3の信号の通過制限を強める。
【0032】以上の動作は、いわゆるパンニング制御で
あり、撮影者が自分の意志に基づいて撮影装置をパンニ
ングした時に、挙動検出手段1にも像移動検出手段3に
も検出信号が表われ、しかもその程度によっては補正手
段6の補正範囲を簡単にオーバしてしまう値であること
が多い。従って、この信号を速やかに検出して補正手段
6の駆動に制限をかけてやらなければならない。
【0033】パンニングの周波数成分は1Hz前後が多
く、この当たりの帯域に制限を加えてやれば効果的であ
るが、本実施例では、HPF2に於ては従来技術通りに
カットオフ周波数を上昇させる事に加えて、LPF4に
於てはカットオフ周波数を下降させて、パンニング制御
としている。LPF4のこのような特性変化は直流成分
が全く失われないため、被写体の絶対位置情報が保持さ
れ、良好な追尾の効果が同時に得られる。
【0034】図6は、図5の特性を持つ各回路を具備し
た撮影装置の構成を示すブロック図であり、図5及び図
2と同じ部分は同一符号を付してある。
【0035】振動ジャイロ21の出力である角速度信号
はHPF2を通して積分回路23に加えられ、積分され
る。この積分回路の出力は制御回路24に加えられ、該
制御回路24はHPF2の特性を制御する。また、前記
制御回路24は他方ではLPF4の特性も制御する。
【0036】前記積分回路23の出力とLPF4の出力
は加算回路5により混合され、その出力信号は12のV
APドライバに加えられ、これにより11のVAPが駆
動する。
【0037】前記HPF2及びLPF4の各々のカット
オフ周波数は、撮影者のパンニング等のカメラワークに
応じて、制御回路24により、HPF2のカットオフ周
波数は上昇させられ、又LPF4のカットオフ周波数は
下降させられて、大きな変化に対して制限が加えられ
る。
【0038】尚、パンニングを検出する手段について
は、本実施例では詳細には述べないが、角速度信号の振
幅を直接評価する方法、角速度信号の積分値の振幅(即
ち角変位量)を評価する方法等が用いられる。
【0039】以上の各実施例によれば、手振れの主な成
分である高い周波数成分は振動ジャイロ等のセンサで検
出するため、高域の周波数成分まで良好な手振れ補正効
果が得られ、一方被写体自身の不規則な動きは画素信号
から得られる像移動情報に基づく補正信号によって良好
に補正される。
【0040】さらに、パンニング等の撮影者によるカメ
ラワークによって生じる画面内の像の大きな揺れに対し
ては、HPFやLPFの特性を内部の制御回路が適切に
調節し補正手段の補正範囲を有効に且つ飽和することな
く制限駆動して、振れ補正と被写体追尾の両方の機能の
能力を十分に発揮するようになる。
【0041】更に、本実施例では補正手段にVAPを用
いているため、特に撮影光学系に長焦点距離のものを使
用した場合、電子補正方式と比較して補正領域を非常に
大きく取れるので、十分な補正効果が得られる。
【0042】 (発明と実施例の対応) 本実施例にお
いて、挙動検出手段1が本発明の挙動検出手段に相当
し、像移動検出手段3が本発明の像移動検出手段に相当
する。
【0043】 また、加算回路5が本発明の信号生成手
段に相当する。
【0044】また、不図示の操作部材や制御回路7,2
4が本発明の可変手段に相当し、HPF2が本発明の高
域通過フィルタに相当し、LPF4が低域通過フィルタ
に相当する。
【0045】以上が実施例の各構成と本発明の各構成の
対応関係であるが、本発明は、これら実施例の構成に限
定されるものではなく、請求項で示した機能、又は実施
例がもつ機能が達成できる構成であればどのようなもの
であってもよいことは言うまでもない。
【0046】(変形例)本発明は、像振れ検出手段、挙
動検出手段として、振動ジャイロを用いたが、角加速度
センサ、加速度センサ、速度センサ、角変位センサ、変
位センサ、更には上記の様に地磁気や静止衛生を利用し
た方位センサ等であっても良い。
【0047】また、本発明における補正手段は、光学的
補正手段であっても、電子的補正方式であっても構わな
いが、現時点での技術では補正画角の広さといった点で
光学補正方式のVAPを用いることが望ましい。また、
光学的補正手段としては、VAP以外に、光軸に垂直な
面内で光学部材を動かすシフト光学系等の光束変更手段
や、光軸に垂直な面内で撮影面を動かすものであっても
良い。
【0048】さらに、本発明は、一眼レフカメラ,レン
ズシャッタカメラ,ビデオカメラ等の撮影装置に適用し
た場合を述べているが、その他の光学機器や他の装置、
更には構成ユニットとしても適用することができるもの
である。
【0049】更に、本発明は、以上の各実施例、又はそ
れらの技術を適当に組み合わせた構成にしてもよい。
【0050】
【発明の効果】 以上説明したように、請求項1又は
記載の本発明によれば、高域から低域までの広範囲に
渡って、かつ、像が不規則な位置変化をしていても、良
好に像振れ補正を行うことができる像安定化装置又は撮
影装置を提供できるものである。
【0051】
【0052】
【図面の簡単な説明】
【図1】本発明の第1の実施例に係る撮影装置の要部構
成を示すブロック図である。
【図2】図1の各回路を具備した撮影装置の構成を示す
ブロック図である。
【図3】図1の像移動検出回路の具体的な構成を示すブ
ロック図である。
【図4】本発明の第2の実施例に係る撮影装置の要部構
成を示すブロック図である。
【図5】図4の動作説明を助けるための図である。
【図6】図4の各回路を具備した撮影装置の構成を示す
ブロック図である。
【図7】従来の撮影装置の一例を示すブロック図であ
る。
【図8】従来の撮影装置の他の例を示すブロック図であ
る。
【符号の説明】
1 挙動検出手段 2 HPF 3 像移動検出手段 4 LPF 5 加算回路 6 補正手段 7,24 制御回路 8 不図示の操作部材を操作する撮影者の手 14 CCD 21 振動ジャイロ

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】 装置の挙動を検出する挙動検出手段と、
    該挙動検出手段の出力を受けてその高域周波数成分を選
    択的に出力する高域通過フィルタと、撮影によって得ら
    れる像信号から画面中の像の移動を検出しその像の移動
    情報を出力する像移動検出手段と、該像移動検出手段の
    出力を受けてその低域周波数成分を選択的に出力する低
    域通過フィルタと、前記高域通過フィルタと低域通過フ
    ィルタの出力を合成して像振れ信号を生成する信号生成
    手段と、該信号生成手段による信号の合成の仕方を変化
    させる可変手段と、前記信号生成手段の出力に応じて作
    動して像を安定させる補正手段とを備えた像安定化装
    置。
  2. 【請求項2】 前記像移動検出手段は、像情報を記憶す
    る情報記憶手段を有し、該情報記憶手段に記憶された情
    報を参照値として、撮影によって得られた像信号を評価
    し、その評価値に基づいて前記移動情報を出力する手段
    であることを特徴とする請求項1記載の像安定化装置
  3. 【請求項3】 前記可変手段は、前記高域通過フィルタ
    のカットオフ周波数と前記低域通過フィルタのカットオ
    フ周波数を連動して変化させる手段であることを特徴と
    する請求項1又は2記載の像安定化装置
  4. 【請求項4】 前記可変手段は、前記の連動動作におい
    て、前記高域通過フィルタのカットオフ周波数を上昇さ
    せると同時に、前記低域通過フィルタのカットオフ周波
    数を下降させる手段であることを特徴とする請求項3記
    載の像安定化装置。
  5. 【請求項5】 前記可変手段は、前記高域通過フィルタ
    の出力振幅に基づいてカットオフ周波数を変化させる手
    段であることを特徴とする請求項記載の像安定化装
    置。
  6. 【請求項6】 前記可変手段は、外部操作によってカッ
    トオフ周波数を変化させる手段であることを特徴とする
    請求項記載の像安定化装置。
  7. 【請求項7】 前記挙動検出手段は、コリオリ力を検出
    する角速度センサを具備することを特徴とする請求項
    記載の像安定化装置。
  8. 【請求項8】 前記補正手段は、光学的補正手段である
    ことを特徴とする請求項記載の像安定化装置。
  9. 【請求項9】 前記光学的補正手段は、可変頂角プリズ
    であることを特徴とする請求項記載の像安定化装
    置。
  10. 【請求項10】 請求項1記載の像安定化装置を具備し
    たことを特徴とする撮影装置。
JP18795394A 1994-07-19 1994-07-19 像安定化装置及び撮影装置 Expired - Fee Related JP3402770B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18795394A JP3402770B2 (ja) 1994-07-19 1994-07-19 像安定化装置及び撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18795394A JP3402770B2 (ja) 1994-07-19 1994-07-19 像安定化装置及び撮影装置

Publications (2)

Publication Number Publication Date
JPH0829823A JPH0829823A (ja) 1996-02-02
JP3402770B2 true JP3402770B2 (ja) 2003-05-06

Family

ID=16215061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18795394A Expired - Fee Related JP3402770B2 (ja) 1994-07-19 1994-07-19 像安定化装置及び撮影装置

Country Status (1)

Country Link
JP (1) JP3402770B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442612B1 (ko) 2008-03-31 2014-10-30 삼성전자주식회사 흔들림 감지 유닛, 이를 구비한 흔들림 보정 장치, 및흔들림 보정 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466895B2 (ja) * 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
JP4600739B2 (ja) * 2004-09-21 2010-12-15 富士フイルム株式会社 像振れ補正装置
JP2007219397A (ja) * 2006-02-20 2007-08-30 Pentax Corp 像ブレ補正装置
JP5744426B2 (ja) * 2010-06-28 2015-07-08 キヤノン株式会社 光学機器及びその制御方法
JP6108717B2 (ja) * 2012-08-20 2017-04-05 キヤノン株式会社 光学機器およびそれを備えた撮像装置、光学機器の制御方法
JP6103877B2 (ja) * 2012-10-22 2017-03-29 キヤノン株式会社 画像処理装置及びその制御方法
JP6351247B2 (ja) * 2013-12-12 2018-07-04 キヤノン株式会社 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP6395401B2 (ja) * 2014-03-11 2018-09-26 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442612B1 (ko) 2008-03-31 2014-10-30 삼성전자주식회사 흔들림 감지 유닛, 이를 구비한 흔들림 보정 장치, 및흔들림 보정 방법

Also Published As

Publication number Publication date
JPH0829823A (ja) 1996-02-02

Similar Documents

Publication Publication Date Title
JP4522207B2 (ja) カメラシステム、カメラ本体及び交換レンズ
US6424372B1 (en) Electronic image-movement correcting device with a variable correction step feature
JPH09200608A (ja) 映像ぶれ安定化回路
JP3250245B2 (ja) 防振カメラ
JP2007019571A (ja) 光学機器およびその制御プログラム
JP2019128362A (ja) 撮像装置
JP3402770B2 (ja) 像安定化装置及び撮影装置
JP6932531B2 (ja) 像ブレ補正装置、撮像装置および撮像装置の制御方法
JP3278212B2 (ja) 振れ補正装置
JPH09163215A (ja) 撮像装置
JP2002207232A (ja) 撮像装置の像ぶれ補正方法および装置
JP3402760B2 (ja) 撮影装置
KR100498042B1 (ko) 안정된 영상을 획득할 수 있는 영상획득시스템 및 그안정화 방법
JP3298211B2 (ja) ビデオカメラ及びビデオ再生装置
JPH0951469A (ja) 撮像装置及び画像揺れの補正方法
JPH06133211A (ja) 画像揺れ補正機能付光学装置
JP3460385B2 (ja) 手振れ補正装置
JP3937574B2 (ja) 撮像装置
JPH07287268A (ja) 撮像装置
JPH01264373A (ja) 画像ぶれ検出装置
JP2006074402A (ja) 撮像装置
JPH05232562A (ja) カメラの流し撮り装置
JP4486482B2 (ja) 手振れ補正装置及び撮像装置
JPH07230107A (ja) 振れ補正装置
JP3132146B2 (ja) 像ブレ補正手段を有した撮影装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080229

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090228

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20100228

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100228

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees