JP3771985B2 - 蛍光観察内視鏡装置 - Google Patents

蛍光観察内視鏡装置 Download PDF

Info

Publication number
JP3771985B2
JP3771985B2 JP00782897A JP782897A JP3771985B2 JP 3771985 B2 JP3771985 B2 JP 3771985B2 JP 00782897 A JP00782897 A JP 00782897A JP 782897 A JP782897 A JP 782897A JP 3771985 B2 JP3771985 B2 JP 3771985B2
Authority
JP
Japan
Prior art keywords
image
video signal
white light
observation
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00782897A
Other languages
English (en)
Other versions
JPH10201700A (ja
Inventor
勇実 平尾
栄 竹端
守 金子
仁士 上野
雅彦 飯田
雅也 吉原
成人 真貝
誠二 岩▲崎▼
朗 横田
芳治 高杉
伸也 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP00782897A priority Critical patent/JP3771985B2/ja
Publication of JPH10201700A publication Critical patent/JPH10201700A/ja
Application granted granted Critical
Publication of JP3771985B2 publication Critical patent/JP3771985B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被検査対象に白色光を照射し、その被検査対象から発する反射光より疾患部位を観察すると共に、被検査対象に励起光を照射し、その被検査対象から発する蛍光より疾患部位を観察する蛍光観察内視鏡装置に関する。
【0002】
【従来の技術】
近年、内視鏡等により生体からの自家蛍光や、生体へ薬物を注入し、その薬物の蛍光を2次元画像として検出し、その蛍光像から、生体組織の変性や癌等の疾患状態(例えば、疾患の種類や浸潤範囲)を診断する技術がある。
【0003】
生体組織に光を照射するとその励起光より長い波長の蛍光が発生する。生体における蛍光物質としては、例えばNADH(ニコチンアミドアデニンヌクレオチド),FMN(フラビンモノヌクレオチド),ピリジンヌクレオチド等がある。最近では、このような、生体内因物質と、疾患との相互関係が明確になってきた。特に、HpD(ヘマトポルフィリン),Photofrin,ALA(δ−amino levulinic acid)は、癌への集積性があり、これを生体内に注入し、前述の物質の蛍光を観察することで疾患部位を診断できる。
【0004】
従来の内視鏡による蛍光観察を行う蛍光診断装置は、励起光による生体組織からの蛍光の強度及び分布により正常部と病変部を識別して観察を行うものである。このため、生体組織(表面)の粘液や血流状態あるいは部位臓器の違いにより、単一波長の励起光により得られる蛍光の強度及び波長分布が異なるので、固定した単一波長の励起光では正確で効率のよい蛍光診断が行えない場合があった。そこで、特開平7―250812号公報には簡単な構成により、生体組織の部位、状態によらず、効率的かつ正確な蛍光診断を行える蛍光診断装置が開示されている。
【0005】
【発明が解決しようとする課題】
しかしながら、前記特開平7―250812号公報の蛍光診断装置では白色光による通常の内視鏡観察画像である白色光画像と自家蛍光による蛍光画像とを、ビデオスイッチングコントローラーで切り換えて、別々に画像表示手段であるモニタ上に出力表示したり、或いは、スーパーインポーズ等の機能を用いてモニタの同一画面上に同時に表示していた。このような表示方法の場合、白色光画像と蛍光画像とを対比させて病変部の位置を認識することが困難であり例えば、蛍光画像から白色光画像に切り換えたとき蛍光画像の病変部が白色光画像上のどの部位に対応しているのかを瞬時に認識することができなかった。
【0006】
本発明は前記事情に鑑みてなされたものであり、白色光観察画像で入力した病変部の位置または蛍光観察画像で入力した病変部の位置を、病変部を入力した画像と異なる画像上の対応する位置に表示して、画像の切り換えに関わることなく病変部の位置を容易に認識可能な蛍光観察内視鏡装置を提供することを目的にしている。
【0007】
【課題を解決するための手段】
本発明の蛍光観察内視鏡装置は、白色光内視鏡検査と併用して用いられ、生体組織に励起光を照射し、前記生体組織から発生する蛍光によって生体組織の病変部を観察する蛍光観察内視鏡装置において、白色光または励起光の観察光を供給する観察光供給手段と、生体組織からの白色光による反射光または励起光による蛍光を検出する光検出手段と、白色光によって得られた白色光画像または励起光によって得られた蛍光画像の少なくとも一方を表示する画像表示手段に対して前記白色光画像または前記蛍光画像に係る白色光画像映像信号または蛍光画像映像信号を出力する画面合成手段と、前記白色光画像映像信号または前記蛍光画像映像信号を記憶可能とすると共に、前記画像表示手段に表示された白色光画像または蛍光画像に係る関心領域を入力する関心領域入力手段によって入力された所定の関心領域に対応するマーキング信号を記憶可能な映像信号記憶手段と、前記映像信号記憶手段に記憶している前記白色光画像映像信号または前記蛍光画像映像信号のいずれか一方の映像信号および当該映像信号に対応するマーキング信号と、前記画像表示手段に対して出力されている前記白色光画像映像信号または前記蛍光画像映像信号とを比較する映像信号比較手段と、を具備し、前記映像信号記憶手段に前記白色光画像または前記蛍光画像のいずれか一方の画像に係る前記マーキング信号が記憶されている際、前記映像信号比較手段において、前記画像表示手段に対して出力される前記白色光画像映像信号または前記蛍光画像映像信号と当該マーキング信号とを比較し、この比較結果により当該マーキング信号に対応する関心領域が当該映像信号に係る白色光画像または蛍光画像に存在する場合、前記画面合成手段は、前記画像表示手段に対して、当該映像信号に係る白色光画像または蛍光画像に前記マーキング信号に対応した関心領域画像を合成した映像信号を出力することを特徴とする。
【0008】
この構成によれば、白色光画像或いは蛍光画像の一方の画像が映し出されている観察画面上に関心領域の入力を行うことにより、この一方の画像で入力した関心領域が他方の画像が表示されている観察画面上の対応する位置に表示される。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【0010】
図1ないし図2は本発明の第1実施形態に係り、図1は蛍光観察内視鏡装置の概略構成を示す説明図、図2は蛍光観察内視鏡装置の構成を示すブロック図である。
【0011】
図1に示すように本実施形態の蛍光観察内視鏡装置10の内視鏡は、細長な挿入部1aを備えたファイバー式内視鏡(以下内視鏡と略記する)1であり、この内視鏡1の把持部2の基端側に設けられている接眼部2aには接続アダプタ3を介して画像伝送ケーブル4の一端部が取り付けられている。この画像伝送ケーブル4は、他端部に設けられている接続コネクタ4aによってコントロール・ユニット5に着脱自在に接続されるようになっている。
【0012】
このコントロール・ユニット5に前記画像伝送ケーブル4を介して伝送された内視鏡観察像は、画像表示手段であるモニタ6のモニタ画面6a上に表示されるようにA/D変換されて画像信号に生成される。なお、前記コントロールユニット5は、後述する光検出手段及び関心領域対応表示手段を備えている。
【0013】
前記内視鏡1の把持部2の側部から延出するライトガイドケーブル7は、観察光供給手段である光源装置8に接続されており、この光源装置8から出射された観察光を内視鏡1内を挿通するライトガイド(不図示)を介して先端部まで伝送している。先端部まで伝送された観察光は、被検査対象部位に向かって照射されるようになっている。
【0014】
なお、前記モニタ6とコントロール・ユニット5とはモニタケーブル9aによって接続されている。また、前記モニタ6の一面には画面上に表示された内視鏡観察像に対して特定の領域を指定するための関心領域入力手段となるタッチスクリーン6bが設けられており、このタッチスクリーン6bとコントロール・ユニット5とはタッチスクリーン用ケーブル9bによって接続されている。また、符号11はモニタ画面6a上に表示される画像に対して特定の領域を指定するための関心領域入力手段となるタッチペンであり、画面上に表示された内視鏡観察画像を観察しながらこのタッチペン11でタッチスクリーン6bに触れることによって関心領域が指定されるようになっている。
【0015】
図2を参照して内視鏡1,コントロールユニット5,光源装置8の詳細を説明する。
前記光源装置8の内部には被検査対象部位に白色光を照射するための光源となる白色光光源12及び被検査対象部位に励起光を照射するための光源となる蛍光用光源13が設けられている。この光源装置8に設けられている2つの光源は、光源切換え部14によって適宜白色光または励起光のどちらか一方の観察光が出射するように切り換えられるようになっており、出射された観察光はライトガイドケーブル7を介して内視鏡1のライトガイドに供給される。なお、光源切換え部14は、内視鏡1に設けられている画像切り換えスイッチ21に連動している。
【0016】
前記内視鏡1の接眼部2aに取り付けられる接続アダプタ3内には生体で発生した蛍光を、挟帯域の領域に分離する複数枚のフィルタからなる光検出手段の1つであるフィルタ部31が設けられており、このフィルタ部31は内視鏡1に設けられている画像切り換えスイッチ21を操作することによって、選択的にフィルタを切り換えて、白色光内視鏡観察像または蛍光内視鏡観察像を通過させるようになっている。なお、内視鏡1に設けられている符号22は、術者などが白色光画像または蛍光画像の特定の領域をコントロールユニット5内部に記憶させる際、記憶内容をリセットするためのリセットスイッチである。
【0017】
前記コントロールユニット5は、内部にフィルタ部31を内蔵した前記接続アダプタ3と画像伝送ケーブル4によって接続されている。前記フィルタ部31を通過して画像伝送ケーブル4を介して伝送された内視鏡観察像は、この内視鏡観察像を増強するイメージインテンシファイヤーからなる増幅部23で増幅され、この増幅されたアナログ信号をデジタル信号に変換するCCD等の撮像素子からなる変換部24に伝送される。
【0018】
この変換部24は光検出手段である画面合成回路25に接続されており、前記変換部24で変換されたデジタル信号に基づいて画像合成することが可能になっている。この画面合成回路25とモニタ6とがモニタケーブル9aによって接続されており、内視鏡1でとらえた内視鏡観察像がモニタ6の画面上に内視鏡観察画像として表示されるようになっている。
【0019】
また、このコントロールユニット5内部には術者がタッチペン11で前記モニタ6に設けられているタッチスクリーン6bに触れることによって信号を発する関心領域入力手段である指示回路26と、白色光画像と蛍光画像とを対比して比較する関心領域対応表示手段となる比較回路27及び前記比較回路27による比較結果を記憶するメモリ28がそれぞれ図に示すように接続されて設けられている。
【0020】
上述のように構成した蛍光観察内視鏡装置10の作用を説明する。
まず、術者は光源装置8から内視鏡1に所望の観察光として例えば白色光を供給するため、内視鏡1に設けられている画像切り換えスイッチ21を白色光用に操作する。すると、この画像切換スイッチ21の操作に連動して、光源装置8の切り換え部14が作動して白色光源12からの白色光をライトガイドケーブル7に供給を開始する一方、接続アダプタ3内のフィルタ部31を白色光による内視鏡観察像が通過する状態に切り換えて白色観察状態になる。
【0021】
そして、被検査対象部位に照射されて反射した反射光である内視鏡観察像は、内視鏡1内に設けられている図示しないイメージガイド,接続アダプタ3,画像伝送ケーブル4を介してコントロールユニット5に伝送される。
【0022】
白色光観察状態においてコントロールユニット5に伝送された内視鏡観察像は、まず増幅部23のイメージインテンシファイヤーを使用して増幅させることなく、変換部24に伝送されてデジタル信号に変換される。この変換部24で変換されたデジタル信号は、画面合成回路25で白色光内視鏡画像用の映像信号に生成され、この映像信号がモニタ6に供給されてモニタ画面上に白色光内視鏡画像として表示される。
【0023】
次に、術者は、モニタ6に表示された白色光内視鏡画像を観察する。そして、患者の病変部等、特定の関心領域に目印を付けるため、タッチペン11を使用してモニタ6に表示されている画像をなぞるようにタッチスクリーン6b上を触れてマーキング操作を行う。このマーキング操作を行うことにより、タッチスクリーン6bから指示回路26にマーキング信号が出力される。
【0024】
この指示回路26に伝送されたマーキング信号は、画面合成回路25,比較回路27を経てメモリ28に伝送され、マーキング信号としてメモリ28に記憶される。すると、瞬時にメモリ28に記憶されたマーキング信号と画面合成回路25からの白色光内視鏡画像の画像信号とが比較回路27で比較され、メモリ28に記憶されたマーキング信号と内視鏡画像との対応がとられ、マーキング箇所が白色光内視鏡画像のどの部位に相当するかを判断して、リアルタイムで判断した部位を例えば白色の縁取りとしてモニタ画面上に表示する。
【0025】
次いで、術者は、内視鏡1の画像切り換えスイッチ21を励起光による蛍光観察状態に切り換える。この画像切り換えスイッチ21の操作に連動して、光源装置8の切り換え部14が作動して蛍光用光源13からの狭帯域の励起光がライトガイドケーブル7に供給される一方、接続アダプタ3内のフィルタ部31が励起光による内視鏡観察像が通過する状態に切換って励起光による蛍光観察状態になる。そして、患者の生体組織に、狭帯域の励起光が照射されると、正常組織と病変部から蛍光が放出される。この生体組織から放出された蛍光による内視鏡観察像は、内視鏡1内に設けられている図示しないイメージガイドを伝送されて、接続アダプタ3内に設けられているフィルタ部31のフィルタによって分離される。このフィルタ部31で分離された内視鏡観察像は、画像伝送ケーブル4を介してコントロールユニット5内の増幅部23に伝送されてイメージインテンシファイヤーで増幅され、変換部24でデジタル信号に変換され、画面合成回路25を経て、モニタ6上に蛍光観察画像となって表示される。
【0026】
このとき、モニタ6上に表示された蛍光観察画像の信号は、コントロールユニット5内の比較回路27に出力され、メモリ28に記憶されている白色光観察画像と対比比較される。この比較回路27で2つの観察画像を比較した結果、前記白色光内視鏡画像上で術者がマーキングした部位に対応する蛍光観察画像がモニタ画面上に表示されている場合には、モニタ6に表示されている蛍光観察画像上に病変部を特定することができるようにリアルタイムで病変部を示す白色の縁取りを対応する部位に表示する。
【0027】
そして、蛍光観察を続けているとき、新たに病変部等が発見された場合には、白色光内視鏡画像で病変部を特定したのと同様に、タッチペン11でタッチスクリーン6b上に新たに発見した病変部をなぞってマーキングし、メモリ28に病変部の位置を記憶させる。
【0028】
次に、内視鏡1の画像切り換えスイッチ21を再度白色光観察状態に切り換えて白色光観察を行う。このとき、モニタ6の画面上に表示された白色光内視鏡画像上には、先ほどの蛍光観察状態で新たに発見した病変部に対応する部位が、白色の縁取りとして表示される。
【0029】
なお、観察中に記録箇所等を間違えた場合や、メモリ28に記憶させた記憶内容を消去する場合には、前記リセットスイッチ22を操作する。このことによってメモリ28に記憶されている内容を消去することができる。
【0030】
このように、白色光観察状態または蛍光観察状態のどちらか一方の観察状態で術者が病変部を指摘してマーキングを施した後、他方の観察状態に切り換えこの他方の観察状態の画面上の対応する位置に、一方の観察状態で術者が指摘した病変部を示す縁取りがリアルタイムに描出されるので、白色光観察状態から蛍光観察状態、または蛍光観察状態から白色光観察状態に観察状態を切り換えたとき、一方の観察状態の画面上で指摘した部位を他方の観察状態の画面上に表示されて、容易に病変部の位置を認識することができる。
【0031】
図3は本発明の第2実施形態に係る蛍光観察内視鏡装置の他の概略構成を示す説明図である。
前記第1実施形態の蛍光観察内視鏡装置10で各観察状態の画面上で病変部の位置などを入力する際、モニタ6上に設けたタッチスクリーン6bにタッチペン11を接触させて病変部などの関心領域を入力していたのに対し、本実施形態においては図に示すようにコントロールユニット5内の指示回路26に接続された制御部29及びこの制御部29に接続された例えばマウス29aなどの関心領域入力手段によって病変位置を入力するようにして蛍光観察内視鏡装置10Aを構成している。なお、関心領域入力手段としては上記タッチペン11やマウス29aに限定されるものではなく、キーボード等の入力手段であってもよい。その他の構成は前記第1実施形態と同様であり、同部材には同符号を付して説明を省略する。
【0032】
上述のように構成した蛍光観察内視鏡装置10Aの基本的な操作は前記第1実施形態の蛍光観察内視鏡装置10とほぼ同様であるが、白色光、蛍光の各観察画像内への病変部など関心領域の入力は、制御部29に接続されているマウス29aを操作してモニタ6上に表示されているポインターを病変位置に添わせて移動させて行う。このマウス29aを操作することによって関心領域を示す信号は、コントロールユニット5内の指示回路26,画面合成回路25,比較回路27,メモリ28に出力されてメモリ28内に記憶される。その他の作用は前記第1実施形態と同様であり、効果については前記第1実施形態と同様の効果を得ることができる。
【0033】
ところで、前述した特開平7―250812号公報の蛍光診断装置では内視鏡の静止画像をコンピューター等に記録する場合、その観察部位に関する情報を術者が自ら入力していた。この観察部位に関する情報を入力する作業は煩雑で、保存画像の数量が増加すると、観察にかかる時間が長くなり、術者及び患者にかかる負担が大きくなるという問題があった。このため、観察部位に関する情報の入力作業性及び操作性を向上させ、観察時間を短縮することによって術者及び患者の負担を軽減させる蛍光観察内視鏡装置が望まれていた。
【0034】
本実施形態の蛍光観察内視鏡装置は、予め、患者の管腔情報等のデータを情報処理部に蓄えておき、この情報処理部に蓄えられているデータを利用して内視鏡観察時に内視鏡の観察位置を判別できるようにしたものであり、図4を参照して具体的に説明する。
【0035】
図に示すように蛍光観察内視鏡装置10Bを構成する内視鏡41の接眼部41aには高感度カメラ42が取り付けられており、この高感度カメラ42で光電変換された撮像信号は、画像信号を生成する画像処理部43に出力されるようになっている。この画像処理部43では前記撮像信号を画像信号に生成し、この画像信号を表示記録部44に出力することにより、この表示部記録部の画面上に内視鏡観察画像を表示するものである。
【0036】
一方、前記内視鏡41の挿入部41bの先端部には磁気センサ45が設けられており、この磁気センサ45から延出する信号線の端部が観察位置判別部46に接続されている。また、前記観察位置判別部46には内視鏡観察前に、予めX線写真やMRI等によって得た患者の管腔に関する情報として例えば、管腔形状や管腔位置関係などに関する患者情報を蓄えた管腔情報処理部47が接続されている。さらに、前記観察位置判別部46には、診察台48に設けた磁場発生源49が接続されており、前記磁気センサ45と磁場発生源49とから観察位置判別部46に入力される磁気情報によって先端部の位置情報が生成されるようになっている。
【0037】
上述のように構成した蛍光観察内視鏡装置10Bの作用を説明する。
まず、内視鏡観察前に予めX線写真やMRI等によって検査を行って、患者情報として例えば、管腔形状や管腔位置関係などを管腔情報処理部47に蓄えておく。
【0038】
次に、患者に内視鏡41の挿入部41bを挿入して内視鏡に観察を行う。このとき、内視鏡41の挿入部41bの先端部に取り付けられている磁気センサ45と診察台48に設けた磁場発生源49とにより、内視鏡先端部の位置に関する情報が観察位置判別部46に出力されると共に、前記管腔情報処理部47に蓄えられている情報を観察位置判別部46に出力する。すると、この観察位置判別部46では、前記内視鏡先端部に設けた磁気センサ45と診察台48の磁場発生源49とから得られた位置情報と前記管腔情報処理部47からの患者情報とから内視鏡先端部の位置が患者の管腔のどの位置に対応するか演算して正確な観察部位情報を生成する。そして、この観察位置判別部46で生成した観察部位情報から先端部の位置を、画像処理部43で生成した蛍光観察画像に重ね合わせて表示記録部44の画像に表示する一方、前記画像処理部43で生成した位置情報を図示しないコンピュータなどに記録する。
【0039】
このように、内視鏡の挿入部の先端部の観察部位情報が、予め入手した患者情報と挿入部先端部に設けた磁気センサと診察台の磁気発生源とを基に、観察位置判別部で観察部位情報として得られ、挿入部先端部の位置が常に表示記録部の観察画像上に蛍光観察画像に重ね合わせて表示されると共に、前記観察部位情報が記録されるため、術者が観察部位情報を入力する手間が省け、操作性及び作業性を大幅に向上させることができる。このことにより、術者及び患者の負担が軽減される。
【0040】
また、内視鏡観察時に万一表示記録部に表示されている画像が暗くなった場合でも観察部位を容易に確認することができる。
【0041】
ところで、特開平7―250812号公報の蛍光診断装置では検査データの入力や撮像状態の切り換えや観察光の切り換えなどの操作を行う際、術者または看護婦などが手で行っていた。したがって、術者が切り換え操作を行う際、光源装置やカメラ等にわざわざ手を伸ばして行わなければならなかったので操作性が悪かった。このため、検査データの入力や撮像状態の切り換えまたは観察光の切り換えなどを術者や看護婦などの手を煩わすことなく簡単な方法で行える切換操作手段を有する蛍光観察内視鏡装置が望まれていた。
【0042】
本実施形態の蛍光観察内視鏡装置は、検査データの入力や観察光の切り換え、撮像状態の切り換えを術者や看護婦などの手を煩わすことなく行えるようにしたものである。
【0043】
図5ないし図7は本実施形態に係り、図5は自動切換操作手段である検査用メガネを示す斜視図、図6は検査用メガネの具体的な構成を示す説明図、図7は蛍光観察内視鏡装置の概略構成を示す説明図である。
【0044】
図5及び図6に示すメガネは、フレームにレンズが設けられていない検査用メガネ50であり、この検査用メガネ50のメガネフレームの正面部外面には視線操作指示用の第1の赤外発光素子51が1対設けられている。また、前記検査用メガネ50のメガネフレームの正面部内面にはこの検査用メガネ50をかけている術者の左右の眼球の動きをそれぞれ検出する1対の第2の赤外発光素子52と受光素子53とが設けられている。
【0045】
一方、図7に示すように装置本体55の前面には前記検査用メガネ50の第1の赤外発光素子51から発する赤外光を受光する赤外光受光部56が設けられている。また、前記装置本体55の前面には前記赤外光受光部56で第1の赤外発光素子51から発せられた赤外光を受光したことを術者に告知するための告知表示部57が設けられている。なお、前記告知表示部57は、赤外光受光部56で第1の赤外発光素子51からの赤外光を受光したとき例えば点灯するようになっている。なお、符号55aは、検査データの入力や観察光の切り換え、撮像状態の切り換えを行うための入力切り換え画面である。
【0046】
上述のように構成した蛍光観察内視鏡装置の作用を説明する。
本実施形態の蛍光観察内視鏡装置で検査を行う場合、術者は検査用メガネ50を装着する。そして、術者が装置本体55の正面を見たとき検査用メガネ50の外面に設けられている第1の赤外発光素子51から発する赤外光が装置本体55に設けた赤外光受光部56に入射するよう相対位置関係を調節する。このとき、相対位置が合えば、装置本体55の正面に設けた告知表示部57が点灯する。
【0047】
術者は検査用メガネ50をかけた状態で内視鏡58を把持し、モニタ59の画面59aに表示される内視鏡画像を観察して検査を行う。この内視鏡観察時に術者が検査データや患者データ等を装置本体55に設けられている入力切換え画面55aに入力する場合、術者は前記検査用メガネ50に設けた第1の赤外発光素子51から発する赤外光を用いて視線操作で行う。
【0048】
即ち、観察中術者がデータ入力を行いたいと思ったとき、術者は装置本体55の入力切換え画面55a上のデータ入力部に視線を合わせる。すると、術者の眼球が移動したことを検査用メガネ50の内面に設けた1対の第2の赤外発光素子52と受光素子53とが検出する一方、この検出結果を基に自動的にデータの入力が行われる。なお、赤外光を用いての視線操作は、データ入力に限定されるものではなく、観察光の切り換えや撮像状態の切り換え等が行えるようになっている。
【0049】
このように、装置本体に設けられている入力切り換え画面の所望の位置に視線を合わせることにより、術者は内視鏡から手を離すことなく、容易に各種検査データの入力や観察光の切り換え、撮像状態の切り換えなどを行うことができる。このことにより、データ入力のために専用の介助者を配置する必要や術者が手を伸ばして操作する煩わしさがなくなる。
【0050】
なお、図8及び図9は前記図5ないし図7で示した実施形態の変形例であり、本実施形態においては図8に示すように術者は検査用メガネ50を装着する代わりにフェイス・マウント・ディスプレイ(以下FMDと略記)60を装着している。
【0051】
図9に示すように前記FMD60は、内面に術者の左右の眼球の動きをそれぞれ検出するための1対の赤外発光素子61と受光素子62とが設けられると共に、白色光内視鏡画像を表示する第1の表示部63と、蛍光内視鏡画像を表示する第2の表示部64と、検査データや観察光、カメラの撮像状態などの切り換えを行える入力切換え画面65とが設けられている。
【0052】
上述のように構成したFMD60は、術者が入力切換え画面65の所望の部位に視線を合わせることによって、この術者の眼球の移動を赤外発光素子61、受光素子62とが検出して視線操作が行われるようになっている。即ち、本実施形態においてはFMD60の内面側だけで視線操作を行えるので、上記実施形態のように検査用メガネ50と装置本体55との相対的な位置合わせ作業を無くすことができる。
【0053】
また、図10及び図11は前記図5ないし図7,図8及び図9で示した実施形態の変形例であり、本実施形態においては図10に示すように検査用メガネ50及びFMD60による視線操作の代わりにマイクロホンによって音声操作が行えるようになっている。
【0054】
図10に示すように術者は音声操作を行うため、検査用メガネ50やFMD60を装着する代わりに例えば指向性のマイクロホン66を装着している。なお、装置本体内のデータベースには予め、検査データの入力や観察光の切り換え及びカメラの撮像状態の切り換えなど複数の種類の音声データが保存されている。
【0055】
このため、図11に示すように術者がマイクロホン66に向かって検査データーの入力や観察光の切り換えまたはカメラの撮像状態などの切り換えの指示を行うことにより、装置本体67にこの音声による指示が伝達され、ステップS1に示すようにまず音声の識別が行われる。次いで、ステップS2に示すようにデータベース内の音声データの検索を行い、ステップS3に移行して目的の音声データを選別して指示信号を出力する。このことにより、ステップS4に示すように検査データの保存やステップS5に示すように観察光の切り換えまたはステップS6に示すようにカメラの撮像状態の切り換えなど術者の音声による指示に対応した操作を内視鏡から手を離すことなく行える。
【0056】
このように、音声操作を用いることによって視線操作に比較して、より簡単にデータの入力や、切り換え作業など行うことができる。
【0057】
ところで、特開平7―250812号公報の蛍光診断装置では蛍光観察時に処置具を用いて処置等を行うとき、蛍光観察画像上で処置具が見え難くなるという問題があった。このため、蛍光観察時に蛍光観察画像上の処置具の識別を容易に行える蛍光観察用処置具が望まれていた。
【0058】
本実施形態は、蛍光観察時に処置具の表面の色を変化させて処置具の識別を行えるものである。
【0059】
図12に示すように処置具71の外表面には紫外線または、短波長の可視光等の光を照射すると、無色或いは淡黄色から青、紫、赤紫などに著しく色が変化するフォトクロミズム物質72が付着されている。このフォトクロミズム物質72としては例えば、Hg3S2I2 ,ZnS,ヒドラゾン,オサゾン,フルギド,スチルベン,サリチルアルデヒド,スピロピラン,ビイミダゾリル等の誘導体,ビアントロンがある。
【0060】
図13に示すように蛍光観察時、内視鏡73の照明用窓73aから被検査対象部位に向けて紫外線または短波長の可視光等の観察光が照射される。このため、処置具71の表面に付着されたフォトクロミズム物質72は、この観察光を受けて無色或いは淡黄色の状態から、青,紫,赤紫などの色に変化する。
【0061】
このように、処置具の表面にフォトクロミズム物質を付着させたことにより、蛍光観察時に紫外線または短波長の可視光等の観察光を受けることによって、処置具の表面が無色或いは淡黄色の状態から、青,紫,赤紫などの色に変化することによって、蛍光画像上で処置具を容易に識別することができる。このことにより、蛍光観察時の処置具の識別能力が向上して生検が確実に行える。
【0062】
なお、図14に示すように処置具71の表面にフォトクロミズム物質72を付着させる代わりに、処置具71の処置具基材75の外表面に光/熱変換物質76とサーモクロミズム物質77とを交互に設けるようにしてもよい。
【0063】
このように処置具基材75の外表面に光/熱変換物質76とサーモクロミズム物質77とを交互に設けることにより蛍光観察時、励起光が照射されると、処置具の基材75上の光/熱変換物質76が発熱し、この光/熱変換物質76の発熱によってサーモクロミズム物質77の色が変化して蛍光画像上で処置具を容易に識別すくことができる。
【0064】
前記光/熱変換物質76としては例えば、側鎖にP−置換フェニルカルバモイルノルボルナジエンカルボン酸骨格を有する、ノルボルナルジエン誘導体を高分子化したものに、触媒(5,10,15,20テトラフェニルポルフィリナトコバルト[1]錯体)を混合したものを用いる。加熱時間、温度は触媒の量で調整することが可能である。
一方、サーモクロミズム物質77としては、N−サリシリデンアニリン誘導体,Ag2HgI4,Cu2HgI4等を用いる。
【0065】
また、図15に示すように処置具71の表面にフォトクロミズム物質72を付着させたり、処置具基材75の外表面に光/熱変換物質76とサーモクロミズム物質77とを交互に設ける代わりに、処置具基材75の外表面に前述の光/熱変換物質層76aと、この光/熱変換物質層76aの内部にマイクロカプセル78を分散させたものを設けるようにしてもよい。なお、前記マイクロカプセル78の内部にはサーモトロピック液晶(示温液晶)が混入されており、励起光が照射されて処置具71の基材75の光/熱変換物質層76aが発熱して温度が変化することによって蛍光画像上で処置具71を容易に識別することができる。
【0066】
更に、蛍光観察時に生検やストリップバイオプシーを行う際、その切除範囲、や生検範囲を判別しやすくするために、ポルフィリン等の蛍光を発生する物質を、生理食塩水に混入して、切除部位或いは生検部位に注入することにより、蛍光観察下でより処置を容易に行うことができる。
【0067】
なお、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【0068】
[付記]
以上詳述したような本発明の前記実施形態によれば、以下の如き構成を得ることができる。
【0069】
1.白色光内視鏡検査と併用して用いられ、生体組織に励起光を照射し、前記生体組織から発生する蛍光によって生体組織の病変部を観察する蛍光観察内視鏡装置において、
白色光または励起光の観察光を供給する観察光供給手段と、生体組織からの白色光による反射光または励起光による蛍光を検出する光検出手段と、白色光によって得られた白色光画像または励起光によって得られた蛍光画像の少なくとも一方を表示する画像表示手段と、この画像表示手段に表示された白色光画像または蛍光画像のいずれか一方の画像に関心領域を入力する関心領域入力手段と、
一方の画像に入力した関心領域を他方の画像の対応する位置に表示する関心領域対応表示手段とを具備する蛍光観察内視鏡装置。
【0070】
2.前記画像上の生体部位の関心領域の入力は、タッチペンでタッチスクリーンに触れることによって行われる付記1記載の蛍光観察内視鏡装置。
【0071】
3.前記画像上の生体部位の関心領域の入力は、マウスによって行われる付記1記載の蛍光観察内視鏡装置。
【0072】
4.前記画像上の生体部位の関心領域の入力は、キーボードによって行われる付記1記載の蛍光観察内視鏡装置。
【0073】
5.生体組織に励起光を照射し、前記生体組織から発生する蛍光により前記生体組織の病変部を観察する蛍光観察内視鏡装置において、
内視鏡の挿入部の先端部の位置を判別する位置判別センサーと、
患者の管腔情報を蓄える情報処理部と、
内視鏡の挿入部の先端部の位置を判別する位置判別部と、
を具備する蛍光観察内視鏡装置。
【0074】
6.前記位置判別センサーは磁気センサーである付記5記載の蛍光観察内視鏡装置。
【0075】
7.生体組織に励起光を照射し、前記生体組織から発生する蛍光により前記生体組織の病変部を観察する蛍光観察内視鏡装置において、
装置本体へのデータ入力や切り換え操作を行う自動切換え操作手段を設けた蛍光観察内視鏡装置。
【0076】
8.前記自動切換え操作手段は、視線操作である付記7記載の蛍光観察内視鏡装置。
【0077】
9.前記視線操作は、メガネを用いる付記8記載の蛍光観察内視鏡装置。
【0078】
10.前記視線操作は、FMDを用いる付記8記載の蛍光観察内視鏡装置。
【0079】
11.前記自動切換え操作手段は、音声操作である付記7記載の蛍光観察内視鏡装置。
【0080】
12.生体組織に励起光を照射し、前記生体組織から発生する蛍光により前記生体組織の病変部を観察する蛍光観察内視鏡装置と組み合わせて使用される蛍光観察用処置具において、
前記処置具の少なくとも一部に、照射される観察光により色が変化する色変化物質を付着した蛍光観察用処置具。
【0081】
13.前記色変化物質は、フォトクロミズム物質である付記12に記載の蛍光観察用処置具。
【0082】
14.前記色変化物質は、サーモクロミズム物質である付記12に記載の蛍光観察用処置具。
【0083】
15.前記色変化物質は、サーモトロピック液晶である付記12に記載の蛍光観察用処置具。
【0084】
【発明の効果】
以上説明したように本発明によれば、白色光観察画像で入力した病変部の位置または蛍光観察画像で入力した病変部の位置を、病変部を入力した画像と異なる画像上の対応する位置に表示して、画像の切り換えに関わることなく病変部の位置を容易に認識可能な蛍光観察内視鏡装置を提供することができる。
【図面の簡単な説明】
【図1】図1ないし図2は本発明の第1実施形態に係り、図1は蛍光観察内視鏡装置の概略構成を示す説明図
【図2】蛍光観察内視鏡装置の構成を示すブロック図
【図3】本発明の第2実施形態に係る蛍光観察内視鏡装置の他の概略構成を示す説明図
【図4】蛍光観察内視鏡装置の他の構成を示す説明図
【図5】図5ないし図7は自動切換え操作手段の1例を示す実施形態に係り、図5は検査用メガネを示す斜視図
【図6】検査用メガネの具体的な構成を示す説明図
【図7】蛍光観察内視鏡装置の概略構成を示す説明図
【図8】図8及び図9は自動切換え操作手段の他の例を示す実施形態に係り、図8はFMDを示す説明図
【図9】FMDの概略構成を説明する図
【図10】図10及び図11は自動切換え操作手段の別の例を示す実施形態に係り、図10はマイクを示す説明図
【図11】音声操作による自動切換えの流れを示すフローチャート
【図12】処置具の外表面の1つの構成を説明する図
【図13】蛍光観察状態で処置具を使用している状態を示す図
【図14】処置具の外表面の他の構成を示す説明図
【図15】処置具の外表面の別の構成を示す説明図
【符号の説明】
1…内視鏡
5…コントロールユニット
6b…タッチスクリーン
8…光源装置
10…蛍光観察内視鏡装置
12…白色光源
13…蛍光用光源
25…画面合成回路
26…指示回路
27…比較回路
28…メモリ
31…フィルタ部

Claims (1)

  1. 白色光内視鏡検査と併用して用いられ、生体組織に励起光を照射し、前記生体組織から発生する蛍光によって生体組織の病変部を観察する蛍光観察内視鏡装置において、
    白色光または励起光の観察光を供給する観察光供給手段と、
    生体組織からの白色光による反射光または励起光による蛍光を検出する光検出手段と、
    白色光によって得られた白色光画像または励起光によって得られた蛍光画像の少なくとも一方を表示する画像表示手段に対して前記白色光画像または前記蛍光画像に係る白色光画像映像信号または蛍光画像映像信号を出力する画面合成手段と、
    前記白色光画像映像信号または前記蛍光画像映像信号を記憶可能とすると共に、前記画像表示手段に表示された白色光画像または蛍光画像に係る関心領域を入力する関心領域入力手段によって入力された所定の関心領域に対応するマーキング信号を記憶可能な映像信号記憶手段と、
    前記映像信号記憶手段に記憶している前記白色光画像映像信号または前記蛍光画像映像信号のいずれか一方の映像信号および当該映像信号に対応するマーキング信号と、前記画像表示手段に対して出力されている前記白色光画像映像信号または前記蛍光画像映像信号とを比較する映像信号比較手段と、
    を具備し、
    前記映像信号記憶手段に前記白色光画像または前記蛍光画像のいずれか一方の画像に係る前記マーキング信号が記憶されている際、前記映像信号比較手段において、前記画像表示手段に対して出力される前記白色光画像映像信号または前記蛍光画像映像信号と当該マーキング信号とを比較し、この比較結果により当該マーキング信号に対応する関心領域が当該映像信号に係る白色光画像または蛍光画像に存在する場合、前記画面合成手段は、前記画像表示手段に対して、当該映像信号に係る白色光画像または蛍光画像に前記マーキング信号に対応した関心領域画像を合成した映像信号を出力することを特徴とする蛍光観察内視鏡装置。
JP00782897A 1997-01-20 1997-01-20 蛍光観察内視鏡装置 Expired - Fee Related JP3771985B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00782897A JP3771985B2 (ja) 1997-01-20 1997-01-20 蛍光観察内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00782897A JP3771985B2 (ja) 1997-01-20 1997-01-20 蛍光観察内視鏡装置

Publications (2)

Publication Number Publication Date
JPH10201700A JPH10201700A (ja) 1998-08-04
JP3771985B2 true JP3771985B2 (ja) 2006-05-10

Family

ID=11676467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00782897A Expired - Fee Related JP3771985B2 (ja) 1997-01-20 1997-01-20 蛍光観察内視鏡装置

Country Status (1)

Country Link
JP (1) JP3771985B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011108354A1 (ja) 2010-03-03 2011-09-09 オリンパス株式会社 蛍光観察装置
JP2012170641A (ja) * 2011-02-22 2012-09-10 Olympus Corp 蛍光観察装置
US9332909B2 (en) 2012-07-25 2016-05-10 Olympus Corporation Fluoroscopy apparatus

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603552B1 (en) 1999-12-22 2003-08-05 Xillix Technologies Corp. Portable system for detecting skin abnormalities based on characteristic autofluorescence
JP2002000546A (ja) * 2000-06-19 2002-01-08 Olympus Optical Co Ltd 内視鏡装置
EP1731087A3 (en) 2000-07-14 2008-08-06 Novadaq Technologies Inc. Compact fluorescent endoscopy video system
US20060241496A1 (en) 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
US6899675B2 (en) 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US20070122344A1 (en) 2005-09-02 2007-05-31 University Of Rochester Medical Center Office Of Technology Transfer Intraoperative determination of nerve location
US20090303317A1 (en) 2006-02-07 2009-12-10 Novadaq Technologies Inc. Near infrared imaging
JP4948602B2 (ja) 2006-07-28 2012-06-06 ノバダック テクノロジーズ インコーポレイテッド 内視鏡の対物部において光学部材を堆積及び除去するシステム、及びその方法
US20080161744A1 (en) 2006-09-07 2008-07-03 University Of Rochester Medical Center Pre-And Intra-Operative Localization of Penile Sentinel Nodes
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US8406860B2 (en) 2008-01-25 2013-03-26 Novadaq Technologies Inc. Method for evaluating blush in myocardial tissue
RU2510235C2 (ru) 2008-03-18 2014-03-27 Новадак Текнолоджиз Инк. Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
US10219742B2 (en) 2008-04-14 2019-03-05 Novadaq Technologies ULC Locating and analyzing perforator flaps for plastic and reconstructive surgery
ES2671710T3 (es) 2008-05-02 2018-06-08 Novadaq Technologies ULC Métodos para la producción y uso de eritrocitos cargados con sustancias para la observación y el tratamiento de la hemodinámica microvascular
US10492671B2 (en) 2009-05-08 2019-12-03 Novadaq Technologies ULC Near infra red fluorescence imaging for visualization of blood vessels during endoscopic harvest
US8979301B2 (en) 2011-03-08 2015-03-17 Novadaq Technologies Inc. Full spectrum LED illuminator
JP6006199B2 (ja) * 2011-03-31 2016-10-12 オリンパス株式会社 蛍光観察装置
EP2863801B8 (en) 2012-06-21 2024-06-12 Stryker Corporation Quantification and analysis of angiography and perfusion
WO2015125508A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 頭部装着ディスプレイ、制御装置および制御方法
KR102068776B1 (ko) 2014-09-29 2020-01-21 노바다크 테크놀러지즈 유엘씨 자가형광이 존재하는 생물학적 물질에서 타겟 형광체의 이미징
US10631746B2 (en) 2014-10-09 2020-04-28 Novadaq Technologies ULC Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography
JP6743137B2 (ja) 2015-11-13 2020-08-19 ノバダック テクノロジーズ ユーエルシー ターゲットの照明およびイメージングのためのシステムおよび方法
CA3009419A1 (en) 2016-01-26 2017-08-03 Novadaq Technologies ULC Configurable platform
US10293122B2 (en) 2016-03-17 2019-05-21 Novadaq Technologies ULC Endoluminal introducer with contamination avoidance
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
CA3027592A1 (en) 2016-06-14 2017-12-21 John Josef Paul FENGLER Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
EP4242743A3 (en) 2017-02-10 2023-10-18 Stryker European Operations Limited Open-field handheld fluorescence imaging systems and methods
WO2018235153A1 (ja) * 2017-06-20 2018-12-27 オリンパス株式会社 内視鏡システム、表示方法およびプログラム
JP2019017411A (ja) * 2017-07-11 2019-02-07 株式会社日立製作所 光音響型カテーテルシステム及び光音響型カテーテル制御方法
WO2020040087A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011108354A1 (ja) 2010-03-03 2011-09-09 オリンパス株式会社 蛍光観察装置
US8440984B2 (en) 2010-03-03 2013-05-14 Olympus Corporation Fluoroscopy system
JP2012170641A (ja) * 2011-02-22 2012-09-10 Olympus Corp 蛍光観察装置
US9332909B2 (en) 2012-07-25 2016-05-10 Olympus Corporation Fluoroscopy apparatus

Also Published As

Publication number Publication date
JPH10201700A (ja) 1998-08-04

Similar Documents

Publication Publication Date Title
JP3771985B2 (ja) 蛍光観察内視鏡装置
JP6285522B2 (ja) 灌流評価マルチモダリティ光学医用デバイス
JP2020142152A (ja) 組織酸素化のマッピングのための装置、システム、および方法
US6863650B1 (en) Endoscopic instrument for performing endoscopic procedures or examinations
JP3283128B2 (ja) 蛍光観察内視鏡装置
JP3621704B2 (ja) 光力学的診断用装置
JP5810248B2 (ja) 内視鏡システム
JP5160276B2 (ja) 画像表示方法及び装置
CN108601623A (zh) 医疗用户界面
JP2001299676A (ja) センチネルリンパ節検出方法および検出システム
JP2862099B2 (ja) 早期癌診断装置
JP2007505645A (ja) 自動化内視鏡装置、診断方法及び用法
JP2005177477A (ja) カテーテル装置
JPH11104070A (ja) 内視鏡
JPWO2017216883A1 (ja) 内視鏡装置
US20140272767A1 (en) System and method for optical imaging, magnification, fluorescence, and reflectance
JP7328432B2 (ja) 医療用制御装置、医療用観察システム、制御装置及び観察システム
JP2006340796A (ja) センチネルリンパ節検出システム
JP4846917B2 (ja) 蛍光観察用内視鏡装置
JP2010051390A (ja) 光断層画像取得装置及び光断層画像取得方法
WO2012124228A1 (ja) 医療装置
JP4766935B2 (ja) 内視鏡装置
JP2006043002A (ja) 内視鏡観察装置および内視鏡観察方法
CN116724334A (zh) 计算机程序、学习模型的生成方法、以及手术辅助装置
TW201236635A (en) Oral optical diagnosing apparatus and operating method thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100217

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120217

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120217

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130217

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140217

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees