JP3226678B2 - 微小寸法測定装置 - Google Patents

微小寸法測定装置

Info

Publication number
JP3226678B2
JP3226678B2 JP23572493A JP23572493A JP3226678B2 JP 3226678 B2 JP3226678 B2 JP 3226678B2 JP 23572493 A JP23572493 A JP 23572493A JP 23572493 A JP23572493 A JP 23572493A JP 3226678 B2 JP3226678 B2 JP 3226678B2
Authority
JP
Japan
Prior art keywords
measured
measurement
image
image signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23572493A
Other languages
English (en)
Other versions
JPH0763520A (ja
Inventor
正吾 小菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP23572493A priority Critical patent/JP3226678B2/ja
Publication of JPH0763520A publication Critical patent/JPH0763520A/ja
Application granted granted Critical
Publication of JP3226678B2 publication Critical patent/JP3226678B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は被写体を顕微鏡で拡大
し、TVカメラで撮像して、その撮像情報から被写体の
微小な測定対象部位の間隔を測定する装置の改良に関す
るものである。
【0002】
【従来の技術】従来、段差のある微小測定対象物の測定
箇所(輪郭)間の幅を測定する場合、測定箇所(輪郭)
にフォーカス(焦点)を合わせると、他方の測定箇所
(輪郭)がデフォーカスとなり、高精度の測定ができな
いため、2回フォーカス測定方法が用いられている。こ
の2回フォーカス測定方法は測定すべき2箇所の輪郭に
おいて、1回ずつフォーカス(焦点)を合せて撮像し、
測定する方法である。
【0003】図5は従来例の微小寸法測定装置の全体の
構成で、Z軸ステージ1(Z軸方向に可動)上に置かれ
た段差のある測定対象物2を顕微鏡3で拡大し、TVカ
メラ4で撮像する。TVカメラ4の映像信号Vは測定処
理部7へ供給され、測定箇所(輪郭)間の幅が測定され
る。ここで、オートフォーカスユニット11は、TVカ
メラ4の焦点位置に、測定対象物2の第1の測定箇所
(輪郭)を合わせるべく、機構的なフィードバック動作
を伴いながら、Z軸ステージ1を上下に駆動させる。こ
れによってTVカメラ4は、第1の測定箇所(輪郭)に
合焦した画像信号を測定処理部7へ出力する。測定処理
部7は、該第1の測定箇所(輪郭)の位置を後述の方法
で検出する。この時、第1の測定箇所(輪郭)と段差の
ある第2の測定箇所(輪郭)については焦点が合ってい
ないため、第2の測定箇所(輪郭)の位置は検出できな
い。
【0004】さらに、オートフォーカスユニット11
は、TVカメラ4の焦点位置に、測定対象物2の第2の
測定箇所(輪郭)を合わせるべく、上記と同様に、Z軸
ステージ1を駆動させる。これによってTVカメラ4
は、該第2の測定箇所(輪郭)に合焦した画像を測定処
理部7へ出力する。測定処理部7は、該第2の測定箇所
(輪郭)の位置を後述の方法で検出する。この時は、上
記とは逆に第1の測定箇所(輪郭)については焦点が合
っていないため、第1の測定箇所(輪郭)の位置は検出
できない。
【0005】以上のオートフォーカスユニット11の制
御により、2回の合焦制御動作(オートフォーカス動
作)を行う。その結果、二つの画像から二つの測定箇所
(輪郭)の位置が検出され、それらの間隔が求まり、所
望する測定対象物2の幅を測定することができる。
【0006】さらに、この動作を図6を用いて具体的に
説明する。図6の点線で示されるように段差のある測定
対象物2がテレビモニタ10の画面12の中央に位置す
るようにTVカメラ4で撮像する。測定対象物2を側面
から見た図を図3に示す。ここで、図6の画面12を左
右のVA,VB領域に分け、最初に、VA領域にある第1
の測定箇所(輪郭)においてオートフォーカス動作をし
て、Z軸ステージ1の高さを図3のZAの位置とし、図
6の画像Aを得る。画像Aには測定対象物2の右側エッ
ジ(輪郭)があり、該右側エッジの位置(画面12の左
端からの距離)を測定し、位置XAの情報を得る。次
に、同様にしてVB領域にある第2の測定箇所(輪郭)
においてオートフォーカス動作をして、Z軸ステージ1
の高さを図3のZBの位置とし、得られる図6の画像B
より測定対象物2の左側エッジの位置XBの情報を得
る。以上のようにして得た位置XAと位置XBとの差をと
ることにより、測定幅が求まる。なお、位置XA、位置
Bの測定方法、および位置XAと位置XBとの差から測
定幅を算出する方法については、周知のため、説明を省
略する。
【0007】
【発明が解決しようとする課題】前述の従来技術では、
段差がある測定対象物については、焦点合わせを2回行
わなければならない。さらに、該2回の合焦動作で撮像
した映像それぞれから各々合焦した測定箇所(輪郭)の
位置を検知して、目的とする測定対象物の幅を導きださ
なければならず、機構的にフィードバック動作が伴うオ
ートフォーカス動作を繰返し行う必要があるため、測定
時間が長くなってしまう欠点や、二つの画像から測定対
象物の幅を導きだすために測定処理部において、二つの
画像を比較する手段が必要になるという欠点があった。
【0008】本発明の第1の目的は、機構的なフィード
バック動作を伴うオートフォーカス動作を繰返し行わず
に、機構的動作を単純にして、測定時間を短くすること
である。本発明の第2の目的は、単純な機構動作により
測定対象物とTVカメラの間隔が、Z軸方向に可変する
間に撮像された複数の画像を画像メモリにより蓄積合成
し、一つの蓄積合成画像内に、必要な測定箇所(輪郭)
の位置情報を抽出し、パターン幅等の測定を正確にかつ
簡便に行うことである。本発明の第3の目的は、蓄積合
成前の画像を変換処理し、測定箇所(輪郭)の位置情報
が無くならないようにして、より正確に測定を行うこと
である。
【0009】
【課題を解決するための手段】本発明は、上記の目的を
達成するため、測定対象物を撮像するTVカメラから得
られる複数画像信号により測定対象物の所定部位間の寸
法を測定する微小寸法測定装置において、前記測定対象
物と前記TVカメラとの撮像軸方向の間隔を変化させる
手段と、その変化手段により前記間隔が所定範囲で変化
する間に得られる画像信号を微分して微分画像信号を得
る微分回路と、その微分回路から得られる複数微分画像
信号の各画素ごとのレベル比較を行い、より高いレベル
の信号を当該画素の映像信号として保持するとした蓄積
合成を行う画像メモリと、該画像メモリに保持された映
像信号から前記寸法を測定する測定処理部とを有するも
のである。また、前記画像メモリは、前記微分画像信号
の絶対値を取る処理の後に該絶対値を取った微分画像信
号の前記蓄積合成を行うようにしたものである。さら
に、前記ステージの移動により前記間隔が所定範囲で1
回変化する間に得られる前記画像信号でもって、前記測
定対象物の所定部位間の寸法を測定するようにしたもの
であるまた、前記測定対象物と前記TVカメラとの撮
像軸方向の間隔を変化させる手段は、前記測定対象物を
載せて該測定対象物と前記TVカメラとの撮像軸方向の
間隔を変化させるように移動するステージであるとした
ものである。また、前記測定処理部は、前記画像メモリ
に保持された映像信号の中でレベル変化が所定の大きさ
以上ある部位間の相対位置情報から、前記測定対象物の
寸法を測定するものである。
【0010】
【作用】その結果、測定対象物とTVカメラとの間隔を
変化させて、測定対象物の各測定箇所(輪郭)に合焦し
た画像の画像信号を、画像メモリにより蓄積合成し、該
蓄積合成された一つの画像信号を処理することによ
り、、輪郭に相当する輝度レベル変化の大きい部位間の
距離情報により寸法測定することができる。
【0011】さらに、蓄積前の複数の画像について、輪
郭の強調を目的とする、輝度レベル変化を微分した微分
画像、または微分し、絶対値をとった微分画像を得て、
それらを画像メモリにおいて蓄積合成して一画像とする
ことができる。
【0012】さらに、機構的にフィードバック動作が伴
うようなオートフォーカス動作を繰返し行う必要をなく
し、単純なステージの移動により、正確な測定箇所(輪
郭)の位置を、短い時間で測定することができる。
【0013】
【実施例】以下この発明の一実施例を図面により説明す
る。図1は、本発明の一実施例を表した図、図3は、測
定対象物2を側面から見た図、図4は絶対値をとった微
分画像信号V′および映像信号Vの、Z軸ステージ1の
各位置における信号波形を表しているものである。図4
の各波形の縦軸はの輝度レベルを表し、横軸は測定対象
物2のX軸方向の位置を表している。なお、図4の最下
段には、絶対値をとった微分画像信号V′が蓄積合成さ
れた、最終的な蓄積合成画像信号の波形を示している。
なお、同様に映像信号Vが蓄積合成された場合の、最終
的な蓄積合成画像信号の波形も、対比のため表示してい
る。
【0014】本実施例では、例えばTVカメラの位置を
固定し、該TVカメラの撮像軸(Z軸)に沿って測定対
象物を連続的に近づけるように動かし、その動作中に該
間隔が所定の長さになったときに該測定箇所(輪郭)に
合焦した画像が得られるようにする場合を示している。
【0015】さらに上述では合焦手段を連続的に動かす
ようにしたが、断続的に動かしてもよいし、近づけると
は逆に、遠ざけるように動かしてもよい。
【0016】Z軸ステージ1としては、Z軸(垂直)方
向に全体で100μm移動し、垂直方向の真直度が0.1μmの
微動Z軸ステージを用い、段差30μmで幅20μmの測定対
象物2の幅を測定する場合を例にとって説明する。
【0017】図1において、測定対象物2はZ軸ステー
ジ1の上に載せられており、その像が顕微鏡3で拡大さ
れ、さらにTVカメラ4で撮像されて、その出力の映像
信号Vが微分回路ユニット5に入力される。微分回路ユ
ニット5は、例えば図2に示したごとく、映像信号Vを
遅延させた遅延映像信号VDLを発生させ、映像信号Vと
遅延映像信号VDLとの差分をとることにより、輝度レベ
ルの変化が大きい位置で、ピーク波形を生じさせる微分
画像信号VDを作り、さらに、微分画像信号VDの絶対値
をとった微分画像信号V′を作成し、画像メモリ6へ出
力する。
【0018】寸法測定動作開始前は、画像メモリ6はリ
セットされており、画像メモリの内容は黒レベルの状態
としておく。また、Z軸ステージ1は、例えばその位置
を図3における、最下端Z1の位置に下げておく。ここ
で、図3により、Z軸ステージ1の位置と測定対象物2
の段差の関係を、説明しておく。例えば、Z軸ステージ
1の位置が、Z1,Z2,ZA,ZB,ZN-1,ZN等のう
ち、ZAの位置にある場合は、測定対象物2の面FAに合
焦し、ZBの位置にある場合は、測定対象物2の面FB
合焦するものである。本実施例における、測定対象物2
の測定箇所(輪郭)は、図3に示されたXBとXAであ
り、各測定箇所(輪郭)の合焦時におけるZ軸ステージ
1の位置は、それぞれZBとZAである。
【0019】寸法測定動作開始と同時に、画像メモリ6
のリセットは解除され、TVカメラ4は、測定対象物2
を撮像する。画像メモリ6は各画素ごとに、絶対値をと
った微分画像信号V′の入力信号と、その入力時点です
でに画像メモリ6内に保持されていた信号とのレベル比
較を行い、その輝度レベルが高い信号を新たに保持す
る。この動作は、Z軸ステージ1の位置がZ1から所定
の位置、例えばZNまで動いて、該寸法測定動作が終了
するまで繰返し行われる。
【0020】Z軸ステージ1の位置がZ1にある時は、
測定対象物2の面FAと面FBのどちらにも焦点が合って
いないので、図4に示すごとく、映像信号Vは波形の全
域にわたり輝度変化が小さい。そのため、絶対値をとっ
た微分画像信号V′は全域にわたり低レベルである。よ
って、画像メモリ6に蓄積合成後に保持された信号(蓄
積合成画像信号)も、全域にわたって低レベルの状態で
ある。
【0021】同様に、Z軸ステージ1が上に移動し、Z
Aの手前に来るまでは、絶対値をとった微分画像信号
V′は、いずれも全域にわたり低レベルなので、蓄積合
成画像信号も全域にわたり低レベルのままである。
【0022】Z軸ステージ1がZAの位置に至ると、測
定対象物2の面FAに焦点が合うので、図4に示すごと
く、映像信号VはXAの位置でコントラストのハッキリ
した信号となる。このため、絶対値をとった微分画像信
号V′はXAの位置できわだったピーク波形をもった信
号となる。該絶対値をとった微分画像信号V′が蓄積合
成されると、該蓄積合成画像信号はXAの位置できわだ
ったピーク波形をもった信号となる。
【0023】Z軸ステージ1がさらに上に移動し、ZB
の手前に来るまで(ZBとZAの間)は、Z1の位置にZ
軸ステージ1がある場合等と同じく、焦点が合っていな
いので、図4に示すごとく、絶対値をとった微分画像信
号V′は全域にわたり低レベルで、蓄積合成画像信号は
Aの位置できわだったピーク波形をもった信号のまま
あまり変化しない。
【0024】Z軸ステージ1がZBの位置に至ると、測
定対象物2の面FBに焦点が合うので、図4に示すごと
く、映像信号VはXBの位置でコントラストのハッキリ
した信号となる。このため、絶対値をとった微分画像信
号V′はXBの位置できわだったピーク波形をもった信
号となる。該絶対値をとった微分画像信号V′が蓄積合
成されると、該蓄積合成画像信号はXBの位置およびXA
の位置できわだったピーク波形をもった信号となる。
【0025】Z軸ステージ1がさらに上に移動し、ZN
に至って該寸法測定動作が終了するまでは、Z1の位置
にZ軸ステージ1がある場合等と同じく、焦点が合って
いないので、蓄積合成画像信号はXBの位置およびXA
位置できわだったピーク波形をもった信号のままあまり
変化せず、最終的に蓄積合成された波形は、図4の最下
段に示したごとくとなる。同様に、映像信号Vについて
最終的に蓄積合成された波形も図示しているが、これに
よれば、XBの位置およびXAの位置が特定できず、所望
の測定が不可能なことがわかる。
【0026】上記測定動作を終了した時点で、画像メモ
リ6は、保持している輝度信号レベルを蓄積合成画像信
号として測定処理部7に出力して、測定処理部7はその
蓄積合成画像信号の中の、きわだって輝度レベルの高い
ピーク波形の相対位置から、測定対象物2の所望の幅を
計測し、その測定処理結果と、蓄積合成画像信号とをテ
レビモニタ10に出力し、テレビモニタ10では、蓄積
合成画像および測定処理内容を表示する。
【0027】測定処理部は左右の高輝度レベル波形の位
置から、XB,XAの位置を検出して、XA−XBとし、測
定値を得る。XAが画面左端位置より50μm、XBが画面
左端位置より30μmとすると、XA−XB=20μmとなり、
測定対象物2の所望の幅は20μmと求めることができ
る。なお、測定値を得る方法は前述の方法だけでなく、
他の方法でも測定値を得られることは周知である。
【0028】以上の実施例では、蓄積合成される画像信
号としては、測定対象物の各測定箇所(輪郭)ごとに合
焦する画像(合焦点画像)とともに測定対象物のいずれ
の測定箇所(輪郭)にも合焦しない画像(非合焦点画
像)の画像信号も蓄積合成されるとして説明している
が、非合焦点画像で撮像される信号中に発生する散乱光
は、レベルが大きく、幅も広いので、その信号成分が、
測定箇所(輪郭)の位置にかかることによって、蓄積合
成後に合焦点画像に含まれる測定箇所(輪郭)の信号成
分を覆い隠してしまい、位置情報を無くしてしまう場合
がある。それを防ぐために、本実施例では、散乱光が撮
像される非合焦点画像の信号レベルを、蓄積合成後に位
置情報を失なわせることのない低いレベルに変換すると
ともに、合焦点画像の画像信号の、測定箇所(輪郭)の
位置情報がきわだったピーク波形になるよう、蓄積合成
前の画像信号について、輝度レベル変化を微分した微分
画像信号を得て、さらに絶対値をとった微分画像信号を
蓄積合成している。
【0029】なお、上述の、輝度レベル変化を微分しさ
らに絶対値をとった微分画像信号の他に、輝度レベル変
化を微分した微分画像信号とすることも可能である。こ
の場合、上述の輝度レベルの高いピーク波形を用いて測
定するだけでなく、低輝度レベルのピーク波形も用いて
測定することが考えられる。例えば、微分画像信号VD
を所定のレベルで持ち上げて、画像信号の全体的な輝度
が中間調になるようにすればよく、その画像信号の中
に、測定箇所の位置が、より黒く、またはより白く表示
するようなピークをもつ信号の位置として、抽出するこ
とができる。
【0030】また、TVカメラの位置を固定し、該TV
カメラの撮像軸に沿って測定対象物を連続的に、または
断続的に動かす場合、該測定対象物を載せるステージと
しては、真直度の良いステージが必要であるが、あらか
じめステージの真直度の偏差の推移が明らかであれば、
それを補正して測定精度を向上することができる。
【0031】
【発明の効果】本発明によれば、画像メモリに蓄積され
た一画像から測定対象物の幅を測定することができ、機
構的にフィードバック動作が伴うようなオートフォーカ
ス動作を繰返し行う必要をなくして、単純かつ迅速なス
テージの移動だけで済み、さらに、蓄積合成前の画像に
ついて、輪郭の強調を目的とする、輝度レベル変化を微
分した微分画像を作ることで、測定対象物の幅を測定す
るための、正確な測定箇所(輪郭)の位置を得ることが
できる。
【図面の簡単な説明】
【図1】本発明の一実施例の構成図。
【図2】映像信号Vから絶対値をとった微分画像信号
V′を作成する状態を説明する模式図。
【図3】測定対象物を側面から見た図。
【図4】実施例の動作を具体的に説明する図。
【図5】従来例の全体の構成図。
【図6】従来例の動作を具体的に説明する模式図。
【符号の説明】 1 Z軸ステージ 2 測定対象物
3 顕微鏡 4 TVカメラ 5 微分回路ユニット
6 画像メモリ 7 測定処理部 10 テレビモニタ 11 オートフォーカスユ
ニット 12 画面

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 測定対象物を撮像するTVカメラから得
    られる複数画像信号により前記測定対象物の所定部位間
    の寸法を測定する微小寸法測定装置において、前記測定
    対象物と前記TVカメラとの撮像軸方向の間隔を変化さ
    せる手段と、該変化手段により前記間隔が所定範囲で変
    化する間に得られる前記画像信号を微分して微分画像信
    号を得る微分回路と、前記微分回路から得られる複数微
    分画像信号の各画素ごとのレベル比較を行い、より高い
    レベルの信号を当該画素の映像信号として保持するとし
    た蓄積合成を行う画像メモリと、該画像メモリに保持さ
    れた映像信号から前記寸法を測定する測定処理部とを有
    することを特徴とする微小寸法測定装置
  2. 【請求項2】 請求項1に記載の微小寸法測定装置にお
    いて、前記画像メモリは、前記微分画像信号の絶対値を
    取る処理の後に該絶対値を取った微分画像信号の前記蓄
    積合成を行うことを特徴とする微小寸法測定装置
  3. 【請求項3】 請求項1または2に記載の微小寸法測定
    装置において、前記ステージの移動により前記間隔が所
    定範囲で1回変化する間に得られる前記画像信号でもっ
    て、前記測定対象物の所定部位間の寸法を測定すること
    を特徴とする微小寸法測定装置
  4. 【請求項4】 請求項1乃至3に記載の微小寸法測定装
    置において、前記測定対象物と前記TVカメラとの撮像
    軸方向の間隔を変化させる手段は、前記測定対象物を載
    せて該測定対象物と前記TVカメラとの撮像軸方向の間
    隔を変化させるように移動するステージであることを特
    徴とする微小寸法測定装置。
  5. 【請求項5】 請求項1乃至4に記載の微小寸法測定装
    置において、前記測定処理部は、前記画像メモリに保持
    された映像信号の中でレベル変化が所定の大きさ以上あ
    る部位間の相対位置情報から、前記測定対象物の寸法を
    測定するものであることを特徴とする微小寸法測定装
    置。
JP23572493A 1993-08-27 1993-08-27 微小寸法測定装置 Expired - Fee Related JP3226678B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23572493A JP3226678B2 (ja) 1993-08-27 1993-08-27 微小寸法測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23572493A JP3226678B2 (ja) 1993-08-27 1993-08-27 微小寸法測定装置

Publications (2)

Publication Number Publication Date
JPH0763520A JPH0763520A (ja) 1995-03-10
JP3226678B2 true JP3226678B2 (ja) 2001-11-05

Family

ID=16990291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23572493A Expired - Fee Related JP3226678B2 (ja) 1993-08-27 1993-08-27 微小寸法測定装置

Country Status (1)

Country Link
JP (1) JP3226678B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3961438B2 (ja) * 2003-03-25 2007-08-22 株式会社東芝 パターン計測装置、パターン計測方法および半導体装置の製造方法
JP2008014646A (ja) * 2006-07-03 2008-01-24 Olympus Corp 基板検査方法

Also Published As

Publication number Publication date
JPH0763520A (ja) 1995-03-10

Similar Documents

Publication Publication Date Title
US5877809A (en) Method of automatic object detection in image
JP2696044B2 (ja) 合焦検出方法、これを用いた非接触変位測定方法及び装置
KR950003569B1 (ko) 촬상장치 및 이를 이용한 자동 초점맞춤 장치
KR101415872B1 (ko) 영상 획득 장치의 자동초점조절 방법 및 장치
US5675141A (en) Method and apparatus for automatically detecting focusing point and image processing method and apparatus using the same
WO2020110712A1 (ja) 検査システム、検査方法およびプログラム
KR100350091B1 (ko) 현미경 초점맞춤 검출방법 및 장치
CN112461853B (zh) 自动对焦方法及系统
JP3226678B2 (ja) 微小寸法測定装置
JP3412713B2 (ja) ピント調整方法
JP3093057B2 (ja) 自動焦点検出装置
JP2603212B2 (ja) カメラにおける自動追尾装置
JP3652014B2 (ja) 距離計測装置
JP3488762B2 (ja) 画像処理装置及び画像処理方法
JP4085720B2 (ja) デジタルカメラ
KR100395530B1 (ko) 피사체에 대한 부가정보를 표시할 수 있는 디지털 카메라및 그 표시방법
JP2006227605A (ja) 撮像装置、合焦移置検出方法、及び情報処理装置が読み取り可能な記憶媒体
JPS599613A (ja) 自動焦点調節方法
JPH08226805A (ja) 撮像装置の合焦方式及びこれを用いた非接触測定装置
JPH04145406A (ja) オートフォーカス顕微鏡およびオートフォーカス顕微鏡を用いた三次元形状測定装置
JP5355252B2 (ja) 撮像装置及びその制御方法
JPS6310117A (ja) 自動焦点合わせ方法
JPS63217879A (ja) 電子スチルビデオカメラ
JP2004226994A (ja) 自動焦点検出方法
JP2004117712A (ja) オートフォーカスカメラ

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080831

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090831

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees