JP3563854B2 - 眼内観察装置 - Google Patents

眼内観察装置 Download PDF

Info

Publication number
JP3563854B2
JP3563854B2 JP35027895A JP35027895A JP3563854B2 JP 3563854 B2 JP3563854 B2 JP 3563854B2 JP 35027895 A JP35027895 A JP 35027895A JP 35027895 A JP35027895 A JP 35027895A JP 3563854 B2 JP3563854 B2 JP 3563854B2
Authority
JP
Japan
Prior art keywords
image
anterior
corneal reflection
eye
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35027895A
Other languages
English (en)
Other versions
JPH09173292A (ja
Inventor
恭司 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP35027895A priority Critical patent/JP3563854B2/ja
Publication of JPH09173292A publication Critical patent/JPH09173292A/ja
Application granted granted Critical
Publication of JP3563854B2 publication Critical patent/JP3563854B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明は、例えば眼球内の水晶体の混濁を観察検査する眼内観察装置に関するものである。
【0002】
【従来の技術】
従来の眼内観察装置としては、例えば特開平4−244133号公報に示すような赤外光で眼内を照明して徹照画像を観察する装置が知られている。この装置においては、徹照観察時には照明光学系と観察光学系の光路それぞれに偏光板が駆動モータにより挿入され、眼屈折測定時にはこれら2つの偏光板は光路中から離脱するよう制御される。徹照観察時に偏光板を使用しないと、ビデオモニタ上において眼底照明用光源による角膜反射スポットが徹照像と重なってしまい、通常では徹照画像を記録するために使用するビデオプリンタ上には、角膜反射スポットが映った徹照像が記録され、この角膜反射スポットによって眼内にある白内障等による混濁した部位の一部が見えなくなってしまう。
【0003】
このために、この角膜反射スポットを除いた徹照画像を得るために画像処理を行い、角膜反射スポットの映る位置をずらした2枚の徹照画像を記憶し、双方の瞳孔部を切り出して角膜反射スポット位置を識別して、この角膜反射スポットの部分のみと補完するようにしている。
【0004】
【発明が解決しようとしている課題】
しかしながら、上述の従来例のように徹照観察時に偏光板を使用すると、眼内に照明光を照射するときに光量が1/2になり、更に観察光学系において1/2になるので、全体で光量が1/4に減少してしまい、S/N比の悪い徹照像しか観察できない。更に、挿脱自在に偏光板を駆動する制御機構を組み込むことにより、構造が複雑になって装置の信頼性が著しく低下してしまう。
【0005】
また、角膜反射スポットにより消えた画像を別の画像から補完する画像処理を行うためには膨大な計算量が必要となり、マイクロコンピュータでの処理時間が長く掛かり、通常の検査には使用できないという問題がある。
【0006】
本発明の目的は、上述の問題点を解消し、偏光板を使用せず簡素な演算処理によって、角膜反射スポットを除いた徹照画像を得ることができる眼内観察装置を提案することにある。
【0007】
【課題を解決するための手段】
上記の目的を達成するためにの第1発明に係る眼内観察装置は、被検眼の眼底に照明光を照射する眼底照明手段と、被検眼の水晶体を含む前眼部を撮像する撮像手段と、該撮像手段の映像出力を表示する表示手段と、前記撮像手段からの画像を記憶する画像記憶手段と、前回記憶した前記画像記憶手段の画像から前記眼底照明手段による角膜反射像の座標を求め該座標に基づいて前記画像記憶手段の画像を前記角膜反射像を含む前眼部画像と含まない前眼部画像とに分割して該含まない前眼部画像を前記表示手段に表示する分割表示手段と、前記画像記憶手段の更新した画像と前記分割表示手段による画像を合成する合成手段と、該合成手段による画像を前記表示手段に表示する制御を行う制御手段とを設けたことを特徴とする。
【0008】
また、第2発明に係る眼内観察装置は、照明光を照射された被検眼の眼底からの反射光により照明された被検眼の瞳孔領域を含む前眼部を撮像する撮像手段と、該撮像手段によって撮像された画像を記憶するための画像記憶手段と、該画像記憶手段に記憶された前眼部画像を複数の前眼部領域に分割し、前記前眼部画像の内の照明光による角膜反射像が存在する前眼部領域の画像を前記角膜反射像のない状態の前眼部画像に置き換える画像合成を行うための画像処理手段とを有することを特徴とする。
【0009】
【発明の実施の形態】
本発明を図示の実施例に基づいて詳細に説明する。
図1は実施例の構成図を示し、赤外波長を有する眼屈折力測定用光源1から被検眼Eに至る光路O1上には、コンデンサレンズ2、測定用視標3、リレーレンズ4、被検眼Eの瞳Epと共役な中心開口を有する絞り5、孔あきミラー6、光分割ミラー7、8、対物レンズ9が順次に配列されている。そして、対物レンズ9の近傍の光路O1の両側には、前眼部照明用光源10a、10bが配置されている。なお、光分割ミラー7は測定用光源1からの光束の波長を透過しかつ可視光線を反射する特性を有し、光分割ミラー8は測定用光源1からの光束の波長を所定比率で反射透過しかつ可視光線を透過する特性を有している。
【0010】
孔あきミラー6の反射方向には、図2に示すような開口11a〜11fを有する多孔絞り11、リレーレンズ12、開口11a〜11fからの光束を分離、偏向するプリズム13、第1の撮像素子14が順次に配列されている。また、光分割ミラー7の入射方向には、駆動モータ15により光路方向に移動可能な固視標リレーレンズ16、内部固視標17、固視標照明用光源18が配列され、光分割ミラー8の反射方向には、レンズ19、第2の撮像素子20が配置されている。
【0011】
図3は電気ブロック回路の構成図を示し、第1の撮像素子14の出力は増幅器21、A/D変換器22を介して画像メモリ23に接続され、画像メモリ23はマイクロコンピュータのバス24に接続されている。第2の撮像素子20の出力は増幅器25、A/D変換器26、画像メモリ27、D/A変換器28を介してビデオ混合・切換制御回路29に接続され、増幅器25の出力も直接ビデオ混合・切換制御回路29に接続されている。また、画像メモリ27は記憶領域制御回路30を介してバス24に接続されている。
【0012】
ビデオ混合・切換制御回路29はCRT(ビデオモニタ)31、VRAM(ビデオラム)32、インタフェイス制御回路33に接続され、VRAM32はバス24に接続され、インタフェイス制御回路33はバス24、眼屈折力測定用光源1、前眼部照明用光源10a、10bに接続されている。また、バス24には全体の制御を行うMPU34、制御や測定に関するプログラムを記憶するROM35、プログラムによる処理や画像の一時記憶や画像処理等に使用されるRAM36が接続されている。
【0013】
前眼部照明用光源10a、10bは被検眼Eの前眼部を広く照明し、前眼部からの反射光は、対物レンズ9を通り光分割ミラー8により下方へ反射され、レンズ19で第2の撮像素子20上に結像する。この像は前眼部を所定の倍率で拡大した像であり、CRT31に出力され、検者はCRT31を観察しながら被検眼Eと装置の測定光学系との位置合わせを行う。被検眼Eの瞳孔EpとCRT31の画面の略中心に表示してあるアライメントリングとが同心になるように、図示しない操作桿を操作して位置合わせを行い、更に上下左右方向及び虹彩部とのピントが合うように前後方向の距離を調整する。
【0014】
一方、固視標照明用光源18により照明された内部固視標17の像は、固視標リレーレンズ16を経て、光分割ミラー7で被検眼Eの方向に反射され、光分割ミラー8、対物レンズ9を介して被検眼Eの眼底Erに呈示される。眼屈折力測定時には、被検者の屈折力に応じて固視標リレーレンズ16を駆動モータ15により光路方向に移動し、内部固視標17の像位置を変化させて被検眼Eの調節力を取り除くように雲霧を掛ける制御を行い、この固視誘導によって被検眼Eの調節が取り除かれる。
【0015】
測定時に、操作桿の先端に埋め込まれた測定スイッチを押すと、前眼部照明用光源10a、10bが消灯し、眼屈折力測定用光源1が点灯する。眼屈折力測定用光源1から出射した光束は、コンデンサレンズ2を介して測定用視標3を照明し、リレーレンズ4、中心開口絞り5、その近傍の孔あきミラー6、光分割ミラー7、8、対物レンズ9を介して被検眼Eの眼底Erに投影される。測定用視標3からの光束による眼底Erからの反射光は同じ光路を逆に戻り、対物レンズ9、光分割ミラー8を通り、光分割ミラー7を経て、孔あきミラー6の周辺の反射面で下方へ反射され、多孔絞り11、リレーレンズ12、プリズム13を経て、第1撮像素子14上に図4に示すような反射像Pa〜Pfを結像する。
【0016】
第1の撮像素子14からのビデオ信号はA/D変換器22でデジタル信号に変換され、画像メモリ23にスポット像Pa〜Pfが記憶される。この記憶されたスポット像Pa〜Pfの結像位置から被検眼Eの眼屈折力が演算され、CRT31の画面下部に表示される。
【0017】
徹照像観察を行う場合には、図示しない徹照像観察スイッチを押して徹照像観察モードに切換える。眼屈折力測定用光源1が所定の明るさで点灯し、前眼部照明用光源10a、10b、固視標照明用光源18は所定の明るさに減光するように制御される。
【0018】
測定用光源1からの光束は、眼屈折力測定時と同じ光路を進み被検眼Eの眼底Erに投影される。眼底Erからの反射光により被検眼Eの瞳孔Epの領域が照明され、観察光学系の光路を経て第2の撮像素子20に徹照像として結像する。第2の撮像素子20から走査された出力は、増幅器25でビデオ信号に増幅されてA/D変換器26に入力され、A/D変換器26でデジタル値に変換されて、走査された順に画像メモリ27に入力され、画像メモリ27には記憶領域制御回路30により1フレーム中の所定領域の画面が記憶される。
【0019】
更に、画像メモリ27からの出力は、画面が入力されたと同様に順次に読み出されてD/A変換器28でアナログビデオ信号に変換され、ビデオ混合・切換制御回路29に入力され、更にビデオ混合・切換制御回路29には増幅器25から直接ビデオ信号が入力され、通常の観察時には徹照像をCRT31に映し出すように制御される。また、VRAM32からの文字信号出力がビデオ混合・切換制御回路29に入力され、他の入力信号に文字や記号等がスーパーインポーズされる。
【0020】
図5はCRT31に表示された観察徹照像を示し、徹照観察時には前眼部照明用光源10a、10bは減光されているので、彩虹部Es、強膜部、眼の周囲部は暗く見える。瞳孔Ep内は部位Ptに示すように、測定用光源1による眼底Erからの反射光により全体的に明るく光って見え、白内障が存在する部位Kは影のように暗く見える。また、測定用光源1の角膜反射スポットSPの像は明るいので白く見える。
【0021】
徹照像を記録する場合には、図6に示すように角膜反射スポットSPを、瞳孔Epの垂直方向のほぼ中心になるように、そして水平方向では中心線に対し稍々右側になるように位置合わせを行い、図示しないスイッチを押してこの画像を画像メモリ27に記憶する。そして、画像メモリ27に記憶された画像から角膜反射スポットSPの座標を検出する処理を行う。角膜反射スポットSPは非常に明るいので、記憶された画像データから明るい画像データ、即ちA/D変換された値の大きなデータを探し、そのデータの値の画像領域が所定のスポット面積以下の大きさであるか否かを判断して、角膜反射スポットSPであることを判別し、その領域の重心演算を行ってその座標を算出する。
【0022】
次に、同様の処理で瞳孔Epの重心座標を求める重心演算を行う。瞳孔Epの領域は眼底Erからの反射光によって照明されているので、前眼部よりは明るく角膜反射スポットSPよりは稍々暗い。従って、閾値を角膜反射スポットSPよりも稍々下げて設定することにより、複雑な画像処理を行うことなく、簡単に瞳孔Epの領域の重心座標を算出することができる。
【0023】
図7は図6の画像を画像メモリ27に記憶した状態を示す図であり、図6で左から右へ走査したデータが順次に画像メモリ27に記憶される。このメモリ状態を図6と対応して可視化すると、図7に示すように現わすことができる。図7は角膜反射スポットSPを認識して求めた座標を示し、角膜反射スポットSPの位置関係を表しているが、実際の座標上にはスポットSPの表示はない。座標(x1,y1)は図6の画面に対応する角膜反射スポットSPの座標を示し、画面の左上隅を座標の原点(0,0)としている。また、瞳孔Epの中心座標を(x0,y0)、角膜反射スポットの水平方向の径をΔxで表すと、次式によって画面を分割する座標x2をKを補正定数として、次のように計算することができる。
x0<=x1のとき x2=x1−Δx・K ・・・(1)
x0>x1のとき x2=x1+Δx・K ・・・(2)
【0024】
式(1) を使用して分割画面の左側が選択され、式(2) を使用して画面の右側が選択される。
【0025】
図7に示すように、式(1) を使用して座標x2が記憶領域制御回路30に入力され、CRT31の表示は図8に示すように切換わる。図8の左側の領域Aが図6で示すような記憶された徹照画像を分割した左側に相当し、画面の右側の領域Bには撮像素子20からの映像が映るようにビデオ混合・切換制御回路29で制御される。
【0026】
図8の画面では被検眼Eとの位置合わせがし難いので、図示しないスイッチを押して図9に示すように普通の画面に切換えることができ、図8の画面で角膜反射スポットSPの位置が左側に入るように位置合わせを行った後に、ほぼ合ったら図9の画面に切換える。この状態で領域Aの徹照像と瞳孔Epの位置を合わせるように更に位置合わせを行い、左右の画像が合ったら図示しないスイッチを押してその映像を画像メモリ27に記憶する。
【0027】
このときの画像記憶は図8の領域Bだけが記憶されるように制御され、記憶された徹照画像をCRT31に表示すると図10に示すようになり、角膜反射スポットSPのない画像となり、これを外部に接続したビデオプリンタでハードコピーして記録する。
【0028】
座標x2で画像を分割するのは、角膜反射スポットSPには或る程度の広がりがあるので、角膜反射スポットSPの縁で分割するよりも多少離れた位置で分割した方が分割位置による影響がなくなるためである。そして、角膜反射スポットSPの縁の位置を補正するために、補正定数Kで調整できるようになっている。
【0029】
以上の説明では、図8、図9の切換操作を図示しないスイッチを使用して行ったが、被検眼Eとの位置合わせを行って眼屈折力測定の指令を入力するための操作桿上に設けられたスイッチを使用して切換えを行うようにすれば、より操作性を向上させることができる。この場合に、スイッチを2段スイッチにし、スイッチが押されていないときは図9に示す画面になっていて、スイッチを半押しにすると前回記憶された分割画像を表示する図8に示す画面に切換わるようにする。そして、位置合わせが完了して再びスイッチを押すと、図8の領域Bが記憶されるようにすればよい。
【0030】
また、角膜反射スポットSPを瞳孔Epに対して画面右側ではなく、画面左側に入れるように位置合わせを行ってもよく、この場合には式(2) が使用されて領域Bが記憶され、次の位置合わせの時に領域Aの位置合わせを行うようにする。
【0031】
更に、画面を左右方向ではなく上下方向に分割してもよいが、この場合は睫毛が画面上部から入るので、左右分割の方が位置合わせは行い易い。また、画像メモリが1画面分の容量で済むように、領域Aを記憶した後に残りの領域Bだけを記憶するようにしたが、メモリの記憶容量が許せば、図6、図9に示す画面の全領域を記憶するようにしてもよく、この場合は領域Aのみを表示するようにビデオ混合・切換制御回路29で制御するようにする。また、図11に示すように分割位置x2から、瞳孔径の1/2程度の距離の所定領域A’を表示するようにすることもできる。
【0032】
このようにして、本実施例では角膜反射像のある徹照画像から角膜反射像のない徹照画像を合成することができるので、偏光板等を使用した場合の複雑な機構や制御回路が必要なくなり、信頼性を保つことができ、安価な装置で簡易な操作により検査効率を向上させることができる。また、画像記憶手段には更新した画像を記憶する際に、表示されている分割画像を除く画像領域を記憶するようにしたので、画像メモリが1画面分で済み回路構成が簡単になる。更に、瞳孔を認識し瞳孔部のみを分割して貼り合わせ処理を行うような、多大な処理時間を要する複雑な画像処理も不要となり、通常のマイクロコンピュータ回路でも処理速度を落さずに画像の合成が可能になる。
【0033】
【発明の効果】
以上説明したように本発明に係る眼内観察装置は、偏光板を使用することなく、また複雑な画像処理も必要とせずに、簡素な演算処理が可能な構成により、角膜反射像の映らない画像を得ることができる。
【図面の簡単な説明】
【図1】実施例の光学系の構成図である。
【図2】多孔絞りの正面図である。
【図3】電気処理系のブロック回路の構成図である。
【図4】撮像素子上の眼底反射像の説明図である。
【図5】徹照観察時のCRT画面の説明図である。
【図6】記憶徹照画像の説明図である。
【図7】記憶徹照画像から求めた座標の説明図である。
【図8】分割画像の説明図である。
【図9】分割画像消去後のCRT画面の説明図である。
【図10】合成徹照画像の説明図である。
【図11】他の分割画像の説明図である。
【符号の説明】
1 眼屈折力測定用光源
10a、10b 前眼部照明用光源
14、20 撮像素子
17 内部固視標
18 固視標照明用光源
23、27 画像メモリ
31 CRT

Claims (12)

  1. 被検眼の眼底に照明光を照射する眼底照明手段と、被検眼の水晶体を含む前眼部を撮像する撮像手段と、該撮像手段の映像出力を表示する表示手段と、前記撮像手段からの画像を記憶する画像記憶手段と、前回記憶した前記画像記憶手段の画像から前記眼底照明手段による角膜反射像の座標を求め該座標に基づいて前記画像記憶手段の画像を前記角膜反射像を含む前眼部画像と含まない前眼部画像とに分割して該含まない前眼部画像を前記表示手段に表示する分割表示手段と、前記画像記憶手段の更新した画像と前記分割表示手段による画像を合成する合成手段と、該合成手段による画像を前記表示手段に表示する制御を行う制御手段とを設けたことを特徴とする眼内観察装置。
  2. 前記分割表示手段は前記画像記憶手段に記憶した画像を左右に分割する請求項1に記載の眼内観察装置。
  3. 前記分割表示手段は前記角膜反射像の座標と大きさに基づいて分割位置を算出する請求項2に記載の眼内観察装置。
  4. 前記分割表示手段は前記画像記憶手段の画像から瞳孔位置を求め、該瞳孔位置と前記角膜反射像の座標との関係に基づいて、前記表示手段に表示する画像を前記分割画像から選択する請求項2に記載の眼内観察装置。
  5. 前記画像記憶手段は更新した画像を記憶する際に、表示している前記分割画像を除く画像領域を記憶する請求項1に記載の眼内観察装置。
  6. 照明光を照射された被検眼の眼底からの反射光により照明された被検眼の瞳孔領域を含む前眼部を撮像する撮像手段と、該撮像手段によって撮像された画像を記憶するための画像記憶手段と、該画像記憶手段に記憶された前眼部画像を複数の前眼部領域に分割し、前記前眼部画像の内の照明光による角膜反射像が存在する前眼部領域の画像を前記角膜反射像のない状態の前眼部画像に置き換える画像合成を行うための画像処理手段とを有することを特徴とする眼内観察装置。
  7. 前記画像処理手段は前記画像記憶手段に記憶された前眼部画像中から前記角膜反射像の位置を判別する手段を有する請求項6に記載の眼内観察装置。
  8. 前記画像処理手段は判別された前記角膜反射像の位置を基に前記画像記憶手段に記憶された前眼部画像の領域分割位置を決定する請求項7に記載の眼内観察装置。
  9. 前記画像処理手段は前記画像記憶手段に、前記角膜反射像の存在する前眼部領域の画像のみを前記角膜反射像のない状態の前眼部画像に更新する請求項6に記載の眼内観察装置。
  10. 前記画像処理手段で画像合成された前眼部画像を出力する出力手段を有する請求項6に記載の眼内観察装置。
  11. 前記複数の前眼部領域の内の角膜反射像の存在しない前眼部領域の画像を前記画像処理手段により置き換えられる前眼部画像と共に表示する表示手段を有する請求項6に記載の眼内観察装置。
  12. 前記表示手段に表示された前記角膜反射像の存在しない前眼部領域の画像と前記画像処理手段によって置き換えられる前眼部画像とを位置合わせするための手段を有する請求項11に記載の眼内観察装置。
JP35027895A 1995-12-22 1995-12-22 眼内観察装置 Expired - Fee Related JP3563854B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35027895A JP3563854B2 (ja) 1995-12-22 1995-12-22 眼内観察装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35027895A JP3563854B2 (ja) 1995-12-22 1995-12-22 眼内観察装置

Publications (2)

Publication Number Publication Date
JPH09173292A JPH09173292A (ja) 1997-07-08
JP3563854B2 true JP3563854B2 (ja) 2004-09-08

Family

ID=18409416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35027895A Expired - Fee Related JP3563854B2 (ja) 1995-12-22 1995-12-22 眼内観察装置

Country Status (1)

Country Link
JP (1) JP3563854B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5808576B2 (ja) * 2011-05-26 2015-11-10 株式会社トプコン 眼科撮影装置
JP6098300B2 (ja) * 2013-03-29 2017-03-22 株式会社ニデック 眼科装置
JP2017099717A (ja) * 2015-12-02 2017-06-08 株式会社ニデック 眼科撮影装置

Also Published As

Publication number Publication date
JPH09173292A (ja) 1997-07-08

Similar Documents

Publication Publication Date Title
JP3709335B2 (ja) 眼科装置
JP5606813B2 (ja) 眼科装置
US5751396A (en) Ophthalmic apparatus including ocular fundus illuminating system for illuminating the fundus of the eye to be examined through the pupil thereof
US6257722B1 (en) Ophthalmic apparatus
JP4233439B2 (ja) 眼科装置
JP3636917B2 (ja) 眼屈折力測定装置
JP6003234B2 (ja) 眼底撮影装置
JPH06327635A (ja) 角膜内皮細胞撮影装置
JP3563854B2 (ja) 眼内観察装置
JPH08252224A (ja) 眼科装置
JP4551283B2 (ja) 眼科装置
JP3262866B2 (ja) 眼科装置
JPH11137521A (ja) 眼屈折力測定装置
JP3315517B2 (ja) 角膜形状測定装置
JP2001327471A (ja) 眼底検眼装置
JP3396554B2 (ja) 眼科測定装置
JP3299646B2 (ja) 眼内観察装置
JP3533254B2 (ja) 眼科測定装置
JP3257823B2 (ja) 眼科装置
JP3594390B2 (ja) 眼科測定装置
JPH09187426A (ja) 眼内観察装置
JP2003210406A (ja) 眼科検査装置
JP6691596B2 (ja) 眼科撮影装置
JPH09187427A (ja) 眼内観察装置
JPH07241274A (ja) 眼科用測定装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040604

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080611

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees