JP3894761B2 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP3894761B2
JP3894761B2 JP2001295270A JP2001295270A JP3894761B2 JP 3894761 B2 JP3894761 B2 JP 3894761B2 JP 2001295270 A JP2001295270 A JP 2001295270A JP 2001295270 A JP2001295270 A JP 2001295270A JP 3894761 B2 JP3894761 B2 JP 3894761B2
Authority
JP
Japan
Prior art keywords
light
control circuit
red component
image
component cut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001295270A
Other languages
English (en)
Other versions
JP2003093335A5 (ja
JP2003093335A (ja
Inventor
充 樋口
大輔 綾目
一則 阿部
信次 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2001295270A priority Critical patent/JP3894761B2/ja
Priority to US10/244,632 priority patent/US6932762B2/en
Publication of JP2003093335A publication Critical patent/JP2003093335A/ja
Publication of JP2003093335A5 publication Critical patent/JP2003093335A5/ja
Application granted granted Critical
Publication of JP3894761B2 publication Critical patent/JP3894761B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は内視鏡装置、特に被観察体画像上で血管等の微細な構造を観察可能とするために赤成分カット光学フィルタを用い、かつ画像の明るさ及び鮮鋭度を良好に維持するための構成に関する。
【0002】
【従来の技術】
内視鏡装置である例えば電子内視鏡装置は、照明光を照射して対物光学系を介して捉えられた被観察体を、CCD(Charge Coupled Device)等の撮像素子で撮像し、この被観察体像をモニタ等に表示する。そして、近年では、上記対物光学系に可動レンズを組み込み、この可動レンズを変倍機構により前後移動させ、被観察体像を光学的に拡大することが行われる。この拡大像は、画像処理されてモニタ等に表示されることになり、この拡大画像によって注目部位の細部を観察することが可能となる。
【0003】
【発明が解決しようとする課題】
ところで、上記の内視鏡装置では、観察対象が消化器官等、生体内であることが多く、この生体内の粘膜の表面近傍に存在する血管(毛細血管)やその他の組織の観察が重要となる。即ち、生体内における血管の新生、走行状態や粘膜の微細構造等から有用な診断情報を得ることができる。しかし、血中のヘモグロビンは周辺組織にも存在するため、生体内全体が赤みを帯びており、粘膜と血管やその他の組織との区別が不明瞭になるという問題がある。
【0004】
図5には、赤外カットフィルタを使用した場合の正常胃粘膜とヒト血液の分光反射率(波長400〜750nm)が示されており、この図5から分かるように、正常胃粘膜の分光反射率曲線C1と血液の分光反射率曲線C2は、波長600nmの手前で交差し、この600nm以上となると、血液の分光反射率が非常に大きくなっている。即ち、可視光は紫から赤へと光の波長が長くなる程、粘膜下の深いところへ到達するため、波長が長い程、また赤色光であっても波長が長い程、粘膜下層で散乱が生じ、この波長の長い光の散乱によって粘膜近傍に存在する血管の撮像状態が低下することになる。
【0005】
また、従来では、撮像素子として用いられるCCDが赤外線によって飽和状態となるのを避けるために、赤外線をカットする赤外カット光学フィルタが使用されており、この赤外カットフィルタは例えばその分光透過率が660nm近傍で半値となり、700nmで0となる特性となる。従って、図5に示されるように、上記赤外カットフィルタを使用した場合、700nm手前からそれ以上の波長帯域が除去されており、血液の分光反射率においても長波長側がカットされる。
【0006】
しかしながら、上記の赤外カットフィルタはあくまでも赤外線を除去するものであり、上述したように、赤色光の中でも特にその長波長側の成分の粘膜下の散乱によって赤みを帯びた被観察体像となり、粘膜、血管、その他の組織の識別が十分となるコントラストを得ることができなかった。
【0007】
そして、この図5の分光反射率特性で考えると、波長400nmから600nm手前の曲線C1とC2で囲まれた領域S1は、被観察体像において粘膜と血液やその他の組織のコントラストに寄与する成分であり、波長600nm手前からそれ以上の曲線C1とC2で囲まれた領域S2は、粘膜下層での光散乱を招き、むしろ粘膜と血液等とのコントラストの低下をもたらす成分となり、この領域S2の大きさが問題となる。
【0008】
そこで、本願出願人は、上記領域S2の赤帯域の長波長領域をフィルタを用いてカットすることを提案しているが、この場合には、赤色光の一部を除去することから画像の明るさが低下するという問題が生じることになる。
【0009】
本発明は上記問題点に鑑みてなされたものであり、その目的は、被観察体像の赤みを帯びた状態が改善され、粘膜、血管、その他の組織を十分なコントラストの下で観察することができると共に、画像の明るさと鮮鋭度を良好に維持することが可能となる内視鏡装置を提供することにある。
【0010】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る内視鏡装置は、照明光を照射した被観察体を撮像素子にて撮像し、この撮像素子の出力に基づいて画像信号を形成する内視鏡装置において、上記撮像素子の出力から得られた画像情報に基づき被観察体画像の明るさが一定となるように上記照明光の出力量を調整する光量制御回路と、上記画像情報に基づき上記画像信号のレベルが一定となるように制御するゲイン制御回路と、上記照明光の供給ラインに挿入され、この照明光の赤成分の長波長側をカットする赤成分カット光学フィルタと、上記光量制御回路を動作させると共に、この光量制御の最大値に達しても光量不足になるときには上記ゲイン制御回路を動作させ、上記赤成分カット光学フィルタの存在による光量低下を解消する制御回路と、を設けたことを特徴とする。
請求項2に係る発明は、上記制御回路は、当該内視鏡装置において上記赤成分カット光学フィルタがセット状態となっているか否かを判定し、この赤成分カット光学フィルタがセット状態にあるとき、上記光量制御回路を動作させると共に、この光量制御の最大値に達しても光量不足になるときには上記ゲイン制御回路を動作させ、一方赤成分カット光学フィルタがセット状態にないとき、上記光量制御回路のみを動作させるように制御することを特徴とする。
【0011】
本発明は、まず例えば分光透過率が630(±10)nmで半値、670nmで0となる赤成分カット光学フィルタを光源光供給ラインに挿入することにより、照明光における主に赤帯域の長波長側の成分を除去し、粘膜と血管等を良好なコントラストで識別可能となる電子内視鏡装置を前提とし、このような構成で生じる光量低下を解消するものである。即ち、赤成分カット光学フィルタがセット状態となっていない場合は、例えば絞りを用いた光量制御が行われるが、このフィルタがセット状態にあるときは、上記絞り光量制御が行われると共に、絞り開口量を最大にしても暗い場合に、画像信号のゲイン制御が行われる。この結果、良好な明るさの被観察体画像で血管等の微細な構造を明瞭に観察できることになる。
【0012】
【発明の実施の形態】
図1には、実施形態の一例に係る電子内視鏡装置の主要構成が示されており、この電子内視鏡装置は、光源装置10、プロセッサ装置11、スコープ12及びモニタ14等を有している。この図1において、スコープ12には、その先端に照明窓16、観察窓18が配置され、この照明窓16にはライトガイド20が連結され、このライトガイド20が光源装置10へ接続される。一方、上記観察窓18には、対物光学系22を介して撮像素子であるCCD24が光学的に接続される。
【0013】
また、変倍機構を備えた電子内視鏡装置では、上記対物光学系22の一部として、図示していないが回転する線状伝達部材等で前後移動される可動レンズが組み込まれる。そして、上記線状伝達部材は例えばモータで駆動されることになり、可動レンズの前後移動によって光学的拡大像が得られる。
【0014】
上記CCD24は、CCD駆動回路26にて駆動制御されており、このCCD駆動回路26にはタイミングジェネレータ(TG)28を介してスコープ側マイコン30が接続される。このマイコン30には、画像処理のための各種のデータや、後述するが赤成分カットフィルタ(54)を用いたときのゲイン制御のリミット値データを格納したROM31が接続される。
【0015】
一方、上記CCD24の出力側には、CDS(相関二重サンプリング)/AGC(オートゲイン制御)回路32が設けられており、このAGC回路32は、マイコン30から与えられる制御値に一致するように画像信号を増幅処理する。このCDS/AGC回路32の後段には、A/D変換器34を介してDVP(デジタルビデオプロセッサ)36が設けられ、このDVP36では、デジタル画像信号についてガンマ補正等の各種の画像処理を施し、例えば輝度信号及び色差信号を形成する。また、このDVP36では、画像信号(輝度信号)からCCD24で捉えられた光量を測定しており、この測光値に基づいて画像の明るさを一定にする制御が行われる。
【0016】
上記のDVP36の出力を入力するようにして、プロセッサ装置11には信号処理回路38が設けられ、この信号処理回路38はモニタ14へ出力するための信号処理を実行する。この信号処理回路38には、プロセッサ側マイコン40が接続され、このマイコン40にはフロント操作パネル42からの操作信号が供給される。
【0017】
一方、上記光源装置10内には、キセノンランプやハロゲンランプ等の光源ランプ44、光学絞り46、集光レンズ48が設けられ、この集光レンズ48から出力された光が上記ライトガイド20へ供給される。また、上記ランプ44を駆動するためのランプドライブ回路50、上記絞り46の開口量を制御するための絞り制御回路52が設けられる。
【0018】
そして、上記ランプ44と絞り46の間に、赤成分カットフィルタ54と赤外カットフィルタ55を有する回転フィルタ56が設けられ、この回転フィルタ56はフィルタドライブ回路58で駆動される。また、光源装置10には、上記フィルタドライブ回路58等を制御するマイコン60が配置され、このマイコン60はフロント操作パネル62からの操作信号を入力すると共に、他のマイコン30,40との間でデータの伝送を行う。
【0019】
上記マイコン60は、絞り46による光量制御、フィルタ54,55のセット、光量不足に応じたゲイン制御を行う。即ち、マイコン60は、スコープ12のDVP36により形成されている測光信号を入力して、画像の明るさが一定となるように絞り制御回路52を介して絞り46の開口量を制御し、またフロントパネル62の操作等に基づき、フィルタドライブ回路58を介して回転フィルタ56を回転させ、赤成分カットフィルタ54と赤外カットフィルタ55のいずれか一方をセットする。
【0020】
そして、上記赤成分カットフィルタ54は、図2に示す分光透過率特性のフィルタが用いられ、例えば分光透過率が630nm(±10nm)で半値、670nmで0となる特性のものが用いられる。この赤成分カットフィルタ54によれば、図2に示されるように、ランプ44からの出力光の中の630nm以上の波長成分について半分以上がカットされる。なお、この赤成分カットフィルタ54としては、分光透過率が0となる波長が670nm近傍以下であればよく、半値の位置は略同じで650nm等で分光透過率が0となるフィルタ等でもよい。
【0021】
更に、上記マイコン60は、絞り46の開口量が最大に達しても所定の明るさが得られない場合に、マイコン30を介してCDS/AGC回路32によるオートゲイン制御を行う。即ち、絞り46の最大位置を維持した状態で、上記測光信号をCDS/AGC回路32へ与えるように制御すれば、この測光信号に基づきCDS/AGC回路32では画像の明るさが一定となるように画像信号を増幅する。このオートゲイン制御では、上記ROM31に記憶されているゲインリミット値が読み出されており、画像の鮮鋭度の低下を避けるためにこのリミット値以上にゲインを上げないように制御される。
【0022】
実施形態例は以上の構成からなり、まず赤成分カットフィルタ54を使用したときの作用を説明する。
図3には、上記赤成分カットフィルタ54を使用した場合の胃粘膜と血液の分光反射率が示されており、図3に示されるように、図2の特性カーブに従って赤成分の光が部分的にカットされる。この結果、670nm手前からそれ以上の波長帯域が除去されており、血液の分光反射率においても赤色の長波長側がカットされる。この図3と図5を比較すると、被観察体像において粘膜と血液等とのコントラストに寄与する成分である領域S1はそまままで、粘膜下層での光散乱を招く曲線C1とC2で囲まれた領域S3は、従来の図5の領域S2から著しく縮小していることが分かる。従って、この赤成分カットフィルタ54によれば、粘膜と血液等のコントラストの低下を招く波長成分(長波長側)を除去し、かつカラー画像を構成する赤成分を最小限確保することにより、粘膜と血液、その他の組織とを良好なコントラストにて表示できることになる。
【0023】
図1において、このような赤成分カットフィルタ54を介して出力された光は、集光レンズ48、ライトガイド20を介して被観察体へ照明光として照射されており、この被観察体像は、対物光学系22を介してCCD24で捉えられる。このCCD24では、画素単位の蓄積電荷がCCD駆動回路26にて読み出されており、このCCD24の出力信号は、CDS/AGC回路32で相関二重サンプリングされ、その後DVP36及び信号処理回路38にて各種の信号処理が施されることにより、モニタ14に被観察体画像が表示される。ここで、光学的変倍機構を機能させれば、上記モニタ14に拡大画像を表示させることができる。そして、このような画像処理においては、画像の明るさを一定に維持するための光量制御が行われる。
【0024】
図4には、上記マイコン30,40,60を介して行われる光量制御の動作が示されており、ステップ101では、赤成分カットフィルタ54がセットされているか否かが判定される。このフィルタセット状態は、マイコン60で把握されており、赤成分カットフィルタ54がセット中で、Y(YES)のときには、ステップ102へ移行する。このステップ102では、上記絞り46の開口量が最大であるか否が判定されており、この絞り46が最大開口位置に設定されてYとなるときは、ステップ103で光量不足のためのゲイン制御を実行する。
【0025】
即ち、マイコン60は、DVP36で得られた測光信号に基づいて上記絞り46の開口量を制御し、これによって画像の明るさが一定に維持されるが、この絞り46が最大開口量となっても光量が不足する場合には、CDS/AGC回路32に対し、上記測光信号に対応するゲイン制御信号がマイコン30により与えられ、これによって画像信号が増幅される。この結果、赤成分カッフィルタ54でカットした赤成分の光に対応する光量を良好に補うことが可能となる。なお、このゲイン制御では、画像信号をリミット値以上にゲインアップ(増幅)することはなく、画像が粗くなることが防止されている。
【0026】
上記ステップ102にて、絞り46の開口量が最大に設定されておらず、N(NO)のときは、ステップ104にてゲイン制御が実行中であるか否かが判定され、このステップ104でYのとき、ステップ105では光量不足のためのゲイン制御を停止する。このような絞り制御とゲイン制御の両方によって、画像の明るさを一定に維持することができ、上記絞り46による光量制御によれば、ノイズを低減して画像の鮮鋭度を維持する効果がある。また、オートゲイン制御では、リミット値以上のゲインアップをしないことにより、鮮鋭度の低下を防止している。
【0027】
上記実施形態例では、赤成分カットフィルタ54と赤外カットフィルタ55を回転フィルタ56にて選択的に使用できる場合を説明したが、赤成分カットフィルタ54のみを取り付けた光源装置10や、この赤成分カットフィルタをライトガイドコネクタ等に取り付けたスコープ12を用いる場合には、マイコン同士の情報伝送により赤成分カットフィルタの取付けセット状態を検出判定して、上記と同様の動作及び効果を得ることができる。もちろん、赤成分カットフィルタの配置を必須とする場合は、このような判定は不要となる。
【0028】
また、実施形態例では絞り46による照明光の光量制御を説明したが、この光量制御として、ランプドライブ回路50を用いてランプ44の点灯電圧を制御する方法を用いることもでき、ランプ点灯電圧が最大値に設定されても光量不足が生じる場合に、上記のゲイン制御を実行することにより、同一の効果を得ることが可能となる。
【0029】
【発明の効果】
以上説明したように、本発明によれば、照明光の赤帯域の長波長側をカットする赤成分カット光学フィルタを設け、或いはこのフィルタがセットされていることを判定し、照明光の出力量を調整する光量制御の最大値に達しても光量不足になるときに、画像信号を増幅するゲイン制御を動作させるようにしたので、赤帯域の長波長側をカットした場合でも、その光量低下を解消して明るさ及び鮮鋭度の良好な画像を得ることができ、同時に赤みを帯びた被観察体像が改善され、粘膜、血管、その他の組織を十分なコントラストの下で撮影、観察することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態例に係る電子内視鏡装置の主要構成を示す図である。
【図2】実施形態例の赤成分カット(光学)フィルタの分光透過率を示す特性図である。
【図3】実施形態例の赤成分カットフィルタを使用した場合の正常胃粘膜と血液の分光反射率を示す特性図である。
【図4】実施形態例のマイコンでの動作を示すフローチャートである。
【図5】従来の赤成分カットフィルタを使用した場合の正常胃粘膜と血液の分光反射率を示す特性図である。
【符号の説明】
10…光源装置、 11…プロセッサ装置、
12…スコープ、 20…ライトガイド、
24…CCD、
32…CDS(Correlated Double Sampling)/AGC(Automatic Gain Control)回路、
30,40,60…マイコン、
44…ランプ、 46…絞り、
52…絞り制御回路、
54…赤成分カットフィルタ、
55…赤外カットフィルタ、
56…回転フィルタ。

Claims (2)

  1. 照明光を照射した被観察体を撮像素子にて撮像し、この撮像素子の出力に基づいて画像信号を形成する内視鏡装置において、
    上記撮像素子の出力から得られた測光情報に基づき被観察体画像の明るさが一定となるように上記照明光の出力量を調整する光量制御回路と、
    上記測光情報に基づき上記画像信号のレベルが一定となるように制御するゲイン制御回路と、
    上記照明光の供給ラインに挿入され、この照明光の赤帯域の長波長側をカットする赤成分カット光学フィルタと、
    上記光量制御回路を動作させると共に、この光量制御の最大値に達しても光量不足になるときには上記ゲイン制御回路を動作させ、上記赤成分カット光学フィルタの存在による光量低下を解消する制御回路と、を設けたことを特徴とする内視鏡装置。
  2. 上記制御回路は、当該内視鏡装置において上記赤成分カット光学フィルタがセット状態となっているか否かを判定し、この赤成分カット光学フィルタがセット状態にあるとき、上記光量制御回路を動作させると共に、この光量制御に達しても光量不足になるときには上記ゲイン制御回路を動作させ、一方赤成分カット光学フィルタがセット状態にないとき、上記光量制御回路のみを動作させるように制御することを特徴とする請求項1記載の内視鏡装置。
JP2001295270A 2001-09-21 2001-09-27 内視鏡装置 Expired - Fee Related JP3894761B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001295270A JP3894761B2 (ja) 2001-09-27 2001-09-27 内視鏡装置
US10/244,632 US6932762B2 (en) 2001-09-21 2002-09-17 Endoscope having red component cut filter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001295270A JP3894761B2 (ja) 2001-09-27 2001-09-27 内視鏡装置

Publications (3)

Publication Number Publication Date
JP2003093335A JP2003093335A (ja) 2003-04-02
JP2003093335A5 JP2003093335A5 (ja) 2005-10-20
JP3894761B2 true JP3894761B2 (ja) 2007-03-22

Family

ID=19116735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001295270A Expired - Fee Related JP3894761B2 (ja) 2001-09-21 2001-09-27 内視鏡装置

Country Status (1)

Country Link
JP (1) JP3894761B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1709476A4 (en) * 2003-09-26 2010-08-04 Tidal Photonics Inc DEVICES AND METHODS RELATING TO IMAGING ENDOSCOPY SYSTEMS WITH ADVANCED DYNAMIC SCOPE
JP4734074B2 (ja) * 2005-09-30 2011-07-27 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2016027751A1 (ja) 2014-08-20 2016-02-25 オリンパス株式会社 観察装置

Also Published As

Publication number Publication date
JP2003093335A (ja) 2003-04-02

Similar Documents

Publication Publication Date Title
JP4643481B2 (ja) 画像処理装置
JP4855586B2 (ja) 内視鏡装置
JP4855728B2 (ja) 照明装置及び観察装置
JP3962122B2 (ja) 内視鏡装置
JP5372356B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US20040046865A1 (en) Endoscope device, endoscope and image processing device for endoscope
KR101050882B1 (ko) 생체 관측 시스템
JP2009034224A (ja) 医療装置
JP2005198794A (ja) 内視鏡装置
JP2006271871A (ja) 内視鏡用画像処理装置
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP5467971B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置及び電子内視鏡システムの作動方法
US6932762B2 (en) Endoscope having red component cut filter
JP4716673B2 (ja) 蛍光内視鏡装置
JP4315748B2 (ja) 内視鏡装置
JP5191327B2 (ja) 画像取得装置および画像取得装置の作動方法
JP2006340855A (ja) 画像処理装置
JP3894761B2 (ja) 内視鏡装置
JP4589706B2 (ja) 内視鏡用光源装置及び電子内視鏡装置
JP5467970B2 (ja) 電子内視鏡システム
JP4679013B2 (ja) 内視鏡用画像処理装置
JP5371366B2 (ja) 内視鏡装置および内視鏡装置の作動方法
JP4067358B2 (ja) 内視鏡装置
JP2006116153A (ja) 内視鏡用画像処理装置及び内視鏡装置
JP2003093343A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees