JP3654325B2 - 蛍光検出装置 - Google Patents

蛍光検出装置 Download PDF

Info

Publication number
JP3654325B2
JP3654325B2 JP02892797A JP2892797A JP3654325B2 JP 3654325 B2 JP3654325 B2 JP 3654325B2 JP 02892797 A JP02892797 A JP 02892797A JP 2892797 A JP2892797 A JP 2892797A JP 3654325 B2 JP3654325 B2 JP 3654325B2
Authority
JP
Japan
Prior art keywords
component
fluorescence
wavelength region
excitation light
autofluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02892797A
Other languages
English (en)
Other versions
JPH10225437A (ja
Inventor
克巳 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP02892797A priority Critical patent/JP3654325B2/ja
Priority to US09/023,203 priority patent/US6026319A/en
Publication of JPH10225437A publication Critical patent/JPH10225437A/ja
Application granted granted Critical
Publication of JP3654325B2 publication Critical patent/JP3654325B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、腫瘍に対して親和性の強い蛍光を発する光感受性物質が予め注入された生体の観察部に励起光を照射し、そのとき該光感受性物質および生体内在色素から発せられる蛍光の強度により腫瘍の診断を行ったり、あるいは光感受性物質を予め注入することなく生体内在色素から発せられる自家蛍光の強度により腫瘍の診断を行う蛍光検出装置に関するものである。
【0002】
【従来の技術】
従来より、一般にPDD(Photodynamic Diagnosis)と称される光力学診断についての研究が種々なされている。このPDDとは、腫瘍親和性を有し、光により励起されたとき蛍光を発する光感受性物質(ATX-S10、5-ALA、NPe6、HAT-D01、Photofrin-2、等)を蛍光診断薬として予め生体の癌等の腫瘍部分に吸収させておき、その部分に光感受性物質の励起波長領域にある励起光を照射して腫瘍部分に集積した蛍光診断薬から蛍光を生じさせ、この蛍光を受光することにより病変部の局在・浸潤範囲を画像として表示して腫瘍部分を診断する技術である。
【0003】
例えば特公昭63−9464号公報、特開平1−136630号公報、特開平7−59783号公報には、このPDDを行なうための蛍光診断装置が開示されている。この種の蛍光診断装置は基本的に、光感受性物質の励起波長領域にある励起光を生体に対して照射する励起光照射手段と、光感受性物質が発する蛍光を検出して生体の蛍光像を撮像する手段と、この撮像手段の出力を受けて上記蛍光像を表示する画像表示手段とからなるものであり、多くの場合、体腔内部に挿入される内視鏡や、手術用顕微鏡等に組み込まれた形に構成される。
【0004】
また、特に光感受性物質を予め生体内に注入することなく、生体内在色素の励起波長領域にある励起光を生体観察部に照射し、生体内在色素が発する蛍光を受光することにより病変部の局在・浸潤範囲を画像として表示して腫瘍部分を診断する技術も提案されている。
【0005】
さらに、特に上述のような2次元的蛍光像を撮像せずに、生体部位上の一点毎に蛍光強度を検出することにより、その一点が腫瘍部分であるか否かを診断できるようにした蛍光診断装置も提案されている(例えば、特願平7−252295号等)。
【0006】
ところで、上述のような蛍光診断装置においては、生体の部位に凹凸が有るため励起光照射系から生体観察部までの距離が均一ではなく、生体の励起光照射部分における励起光照度は一般に不均一である。一般に、蛍光強度は励起光照度にほぼ比例し、励起光照度は距離の2乗に反比例して低下する。そのため、光源から遠くにある病変部よりも近くにある正常部の方が強い蛍光を発したり、励起光に対して傾斜した位置にある病変部からの蛍光が極端に低下したりする。このように励起光照度が不均一であると、励起光照度の高低に応じて蛍光強度が変化するので、それによって腫瘍部分の診断を誤ることも有り得る。
【0007】
そこで、このような生体観察部との距離の不均一さに起因する蛍光強度の変化を補償するために、例えば特開昭62−247232号、特公平3−58729号等に開示されるような蛍光診断装置が提供されている。特公平3−58729号記載の蛍光診断装置では、病変部に対して親和性の強い光感受性物質が予め注入された生体の一部に励起光を照射して生じる蛍光を受光すると共に、励起光の反射光を受光し、これら蛍光成分と反射光成分との除算に基づく画像演算を行っており、このような除算により生体観察部との距離に起因する項は消去される。しかしながら、蛍光成分と反射光成分との除算結果には、励起光被照射部の反射率に関する項が残存するため、結果的に蛍光診断薬の分布を反映した蛍光像が得られないという問題点が依然として残っている。
【0008】
一方、「FLUORESCENCE IMAGING OF EARLY LUNG CANCER」(Annual International Conference of the IEEE Engineering and Biology Society, Vol.12, No.3,1990) に示される装置においては、励起光が照射されることにより生体観察部の生体内在色素から生じる自家蛍光を緑色の波長領域の成分(以下、「緑色領域成分G」という。)と赤色の波長領域の成分(以下、「赤色領域成分R」という。)とに分離して、この赤色領域成分Rと緑色領域成分Gとの除算に基づく画像演算を行って、除算結果を表示する。これは、正常部と病変部とで自家蛍光のスペクトルが異なること、すなわち正常部における生体内在色素の発する自家蛍光スペクトルが、病変部では正常部と比較して特に緑色領域の強度が極端に低下するため、病変部では自家蛍光の緑色領域成分Gの減少率が赤色領域成分Rの減少率に比較して非常に大きいことを利用するもので、R/Gなる除算により病変部からの蛍光を特異的に抽出して画像表示することができる。この装置においては、励起光光源および蛍光受光部と生体観察部との距離に依存する蛍光強度の項はキャンセルされるが、病変部での自家蛍光が極端に小さいためSN比が極端に低いという問題がある。
【0009】
そこで、平成7年第16回日本レーザ医学会大会において発表された「Red/Green Ratio を用いた癌の蛍光画像診断」(東京医科大学、浜松フォトニクス)においては、病変部に集積して赤い蛍光を発する蛍光診断薬を用いて、病変部における赤色蛍光強度を増幅させ、R/Gなる演算を行うことが提案されている。この結果、前述の「FLUORESCENCE IMAGING OF EARLY LUNG CANCER」において示される装置に比して病変部からの蛍光強度が増幅された蛍光画像が得られる。
【0010】
この両者のようにR/Gなる演算を用いると、励起光光源および蛍光受光部と生体観察部との距離に依存する蛍光強度の項は無視できることになる。
【0011】
また、病変部における緑色の自家蛍光成分は極端に弱いため、上記の両者ともゼロ割り算を行う場合が生じ演算エラーを起こしやすいため、これを解決する手法として赤色蛍光成分と緑色蛍光成分との蛍光和や緑色波長領域から赤色波長領域までの全成分を分母にして演算処理を行う方法も考えられている。
【0012】
【発明が解決しようとする課題】
しかしながら、一般に蛍光強度を検出するに際しては、励起光の漏れ、背景光の混入や電気的ドリフト等に起因するベースライン成分が検出する蛍光成分に重畳している。このベースライン成分が重畳すると、蛍光スペクトルにはオフセットが加わることとなり、このベースライン成分は誤差成分となる。このため、上述ような蛍光強度の補正を行うために除算演算を行っても、このベースライン成分に起因する誤差成分のため、有効な補正効果を得ることができない場合が生じる。
【0013】
本発明は上記問題に鑑みてなされたものであり、励起光光源および蛍光受光部と励起光の照射された生体観察部との距離に依存する蛍光強度を演算エラーを生じないように是正する蛍光検出装置を提供することを目的とするものである。
【0014】
【課題を解決するための手段】
本発明による第1の蛍光検出装置は、光感受性物質(蛍光診断薬)が注入されていない生体観察部に励起光を照射して、それにより生じた生体内在色素からの自家蛍光を検出する蛍光検出装置であって、
蛍光を発する生体内在色素の励起波長領域にある励起光を透過穴を有する回転円盤、液晶シャッター、光源のオン/オフ等によって生体の観察部に断続的に照射する励起光照射手段と、
前記観察部の前記生体内在色素から発せられる自家蛍光を所望の波長領域に分離して受光することにより所望の蛍光成分を抽出する蛍光検出手段と、
前記観察部に前記励起光が照射されているときに前記蛍光検出手段が検出する励起自家蛍光成分から、前記励起光を遮断しているときに励起光の漏れ、背景光の混入や電気的ドリフト等に起因して前記蛍光検出手段が検出するベースライン成分を除去して純自家蛍光成分を求めるベースライン除去手段と、
前記純自家蛍光成分の内の一つの成分と他の成分との除算を行う除算手段とを有することを特徴とするものである。
【0015】
この場合において、前記蛍光検出手段が、前記自家蛍光成分の内の第1の比較的短い波長領域および前記第1の比較的長い波長領域を含む全自家蛍光成分と、前記自家蛍光成分の内の第2の比較的短い波長領域の蛍光成分、第2の比較的長い波長領域の蛍光成分、および前記第2の比較的短い波長領域の蛍光成分と前記第2の比較的長い波長領域の蛍光成分との蛍光差成分の3つの蛍光成分の何れかを抽出するものであり、
前記一つの成分が前記3つの蛍光成分の何れかであり、前記他の成分が前記全自家蛍光成分であること、または、
前記蛍光検出手段が、前記自家蛍光成分の内の第1の比較的短い波長領域の蛍光成分と第1の比較的長い波長領域の蛍光成分との蛍光和成分と、前記自家蛍光成分の内の第2の比較的短い波長領域の蛍光成分、第2の比較的長い波長領域の内の一部の波長領域の蛍光成分、および前記第2の比較的短い波長領域の蛍光成分と前記第2の比較的長い波長領域の蛍光成分との蛍光差成分の3つの蛍光成分の何れかを抽出するものであり、
前記一つの成分が前記前記3つの蛍光成分の何れかであり、前記他の成分が前記蛍光和成分であることが望ましい。
【0016】
ここで、第1の比較的短い波長領域と第2の比較的短い波長領域とは、同一の波長領域であっても、また異なる波長領域であっても、いずれでもかまわない。また、第1の比較的長い波長領域と第2の比較的長い波長領域とは、同一の波長領域であっても、また異なる波長領域であっても、いずれでもかまわない。さらに、「第1の比較的長い波長領域を含む全自家蛍光成分」とあるのは、全自家蛍光成分が第1の比較的長い波長領域の全てを含む必要はなく、第1の比較的長い波長領域の少なくとも一部の波長領域を含むものであればよい。
【0017】
また、上記蛍光検出手段が各蛍光成分を抽出する方法は、如何なる方法であっても良く、例えば蛍光検出手段が受光する蛍光を光学フィルタ等により最終的に必要とする所望の波長領域に個別に分離して受光することにより直接抽出する方法であってもよく、さらに、最終的に必要とする所望の波長領域とは一部異なる所定の波長領域にも分離して受光した蛍光成分に基づいて加減演算等の演算処理を行うことにより最終的に必要とする所望の波長領域の蛍光成分を抽出する方法等その種別は問わない。以下、同様である。
【0018】
以上説明した本発明による第1の蛍光検出装置は、光感受性物質(蛍光診断薬)が注入されていない生体観察部を対象とするものであるが、本発明の技術思想は、光感受性物質が注入された生体観察部を対象とするものにも適用が可能である。すなわち、この後者のタイプである本発明による第2の蛍光検出装置は、
蛍光を発する光感受性物質が予め注入された生体の観察部に対し、該光感受性物質および蛍光を発する生体内在色素の励起波長領域にある励起光を透過穴を有する回転円盤、液晶シャッター、光源のオン/オフ等によって断続的に照射する励起光照射手段と、
前記観察部の前記光感受性物質および前記生体内在色素から発せられる蛍光を所望の波長領域に分離して受光することにより所望の蛍光成分を抽出する蛍光検出手段と、
前記観察部に前記励起光が照射されているときに前記蛍光検出手段が検出する励起蛍光成分から、前記励起光を遮断しているときに励起光の漏れ、背景光の混入や電気的ドリフト等に起因して前記蛍光検出手段が検出するベースライン成分を除去して純蛍光成分を求めるベースライン除去手段と、
前記純蛍光成分の内の一つの成分と他の成分との除算を行う除算手段とを有することを特徴とするものである。
【0019】
この場合において、前記蛍光検出手段が、前記光感受性物質から発せられる薬剤蛍光(「エクストリンジックな蛍光」とも言う。)の第1の波長領域および前記生体内在色素から発せられる自家蛍光の第1の波長領域を含む全蛍光成分と、前記薬剤蛍光の第2の波長領域の蛍光成分、前記自家蛍光の第2の波長領域の蛍光成分、および前記薬剤蛍光の第2の波長領域の蛍光成分と前記自家蛍光の第2の波長領域の蛍光成分との蛍光差成分の3つの蛍光成分の何れかを抽出するものであり、
前記一つの成分が前記3つの蛍光成分の何れかであり、前記他の成分が前記全蛍光成分であること、または、
前記蛍光検出手段が、前記光感受性物質から発せられる薬剤蛍光の第1の波長領域の蛍光成分と前記生体内在色素から発せられる自家蛍光の第1の波長領域の蛍光成分との蛍光和成分と、前記薬剤蛍光の第2の波長領域の蛍光成分、前記自家蛍光の第2の波長領域の蛍光成分、および前記薬剤蛍光の第2の波長領域の蛍光成分と前記自家蛍光の第2の波長領域の蛍光成分との蛍光差成分の3つの蛍光成分の何れかを抽出するものであり、
前記一つの成分が前記3つの蛍光成分の何れかであり、前記他の成分が前記蛍光和成分であることが望ましい。
【0020】
ここで、薬剤蛍光および自家蛍光の何れにおいても、第1の波長領域と第2の波長領域とは、同一の波長領域であっても、また異なる波長領域であっても、いずれでもかまわない。また、「第1の波長領域を含む全蛍光成分」とあるのは、全蛍光成分が第1の波長領域の全てを含む必要はなく、第1の波長領域の少なくとも一部の波長領域を含むものであればよい。
【0021】
以上説明した本発明による上記いずれの蛍光検出装置においても、蛍光検出手段は、上記観察部から発せられる蛍光を一点毎に検出するものに限られず、上記観察部から発せられる蛍光を2次元的に検出して、この観察部の蛍光像を撮像すものであってもかまわない。
【0022】
【発明の効果】
上述の通り、本発明による蛍光検出装置によれば、観察部に励起光が照射されているときの励起自家蛍光成分や励起蛍光成分から、励起光を遮断しているときに励起光の漏れ、背景光の混入や電気的ドリフト等に起因するベースライン成分を除去して純自家蛍光成分や純蛍光成分を求め、この純自家蛍光成分や純蛍光成分に基づいて所定の除算演算を行うので、ベースライン成分に起因する演算誤差を生じることなく、励起光光源および蛍光受光部と励起光の照射された生体観察部との距離に依存する蛍光強度を是正することが可能となる。
【0023】
また、ベースライン成分が除去された純自家蛍光成分や純蛍光成分の内の例えば、赤色蛍光成分と緑色蛍光成分との蛍光和や緑色波長領域から赤色波長領域までの全成分を分母にして演算処理を行うことにより、ベースライン成分に起因する演算誤差を生じさせることもゼロ割り算を生じさせることもなく蛍光強度の是正を行うことが可能となる。
【0024】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図1は、本発明による蛍光検出装置の基本的な構成を示すものである。この基本的な構成による蛍光検出装置は、生体観察部10に励起光L1を断続的に照射する励起光照射手段1、生体観察部10から生じる蛍光L3を所望の波長領域に分離して受光することにより所望の蛍光成分を抽出する蛍光検出手段3および4、ベースライン成分を除去するベースライン除去手段5および6、このベースライン除去手段5および6の出力に基づいて除算演算を行う除算手段7より構成されており、この除算手段7の出力は、例えば画像情報として可視画像を表示する表示手段8に入力される。
【0025】
また、励起光照射手段1は、励起光L1を発する励起光光源1aおよび透過穴を有する回転円盤、液晶シャッター、等によって励起光光源1aから照射される励起光L1の照射を断続させる励起光遮断手段1bからなり、ベースライン除去手段5は、励起光L1が照射されているときに蛍光検出手段3が検出する蛍光成分を保存するメモリ5a、励起光L1が遮断されているときに蛍光検出手段3が検出する背景光成分を保存するメモリ5b、およびメモリ5aの出力とメモリ5bの出力との減算を行う減算手段5cからなり、ベースライン除去手段6は、励起光L1が照射されているときに蛍光検出手段4が検出する蛍光成分を保存するメモリ6a、励起光L1が遮断されているときに蛍光検出手段4が検出する背景光成分を保存するメモリ6b、およびメモリ6aの出力とメモリ6bの出力との減算を行う減算手段6cからなる。
【0026】
以下、上記の基本的な構成を有する蛍光検出装置において、ベースライン成分に起因する演算誤差を除去しつつ、励起光光源および蛍光受光部と励起光の照射された生体観察部との距離に依存する蛍光強度を是正する方法について詳細に説明する。
【0027】
最初に、光感受性物質(蛍光診断薬)が注入されていない生体観察部に励起光を照射して、それにより生じた生体内在色素からの自家蛍光を検出する蛍光検出装置であって、自家蛍光の内の比較的短い波長領域の蛍光成分(例えば、緑色領域成分G。以下「短波長成分」という。)と比較的長い波長領域の蛍光成分(例えば、赤色領域成分R。以下「長波長成分」という。)との除算に適用する場合について説明する。
【0028】
生体観察部10の生体内在色素から生じる自家蛍光L3は、ダイクロイックミラー等の光学フィルタによって短波長領域の蛍光成分と長波長領域の蛍光成分とに波長分離され、蛍光検出手段3が、生体観察部10の生体内在色素から生じる自家蛍光L3の内の長波長成分を検出し、蛍光検出手段4が、生体観察部10の生体内在色素から生じる自家蛍光L3の内の短波長成分を検出する。励起光L1が照射されているときに蛍光検出手段3が検出する長波長成分はメモリ5aに保存され、励起光L1が遮断されているときに蛍光検出手段3が検出する長波長成分はメモリ5bに保存される。同様に、励起光L1が照射されているときに蛍光検出手段4が検出する短波長成分はメモリ6aに保存され、励起光L1が遮断されているときに蛍光検出手段4が検出する短波長成分はメモリ6bに保存される。
【0029】
以下、上記構成の蛍光検出装置の作用について説明する。励起光光源1aから波長λexの励起光L1が継続的に発せられ、励起光遮断手段1bにより励起光L1が断続光に変換される。これにより病変部9を含む生体観察部10に励起光L1が断続的に照射される。尚、励起光遮断手段1bを設けず励起光光源1a自体をオン/オフして断続光を得ても良いが、光源1aの寿命等の点から本構成のように外部に遮断手段を設けるのが望ましい。
【0030】
観察部10からは生体内在色素による自家蛍光L3が生じ、その蛍光L3の内の長波長成分を蛍光検出手段3によって検出し、短波長成分を蛍光検出手段4によって検出する。尚、蛍光検出手段3および4に用いられる光検出素子は、蛍光L3を一点毎に検出するフォトダイオード等の光検出素子でよいのは言うまでもなく、蛍光L3を2次元的に検出し蛍光像を撮像するCCD撮像素子等でも良い。以下、同様である。
【0031】
観察部10に励起光L1が照射されているとき、観察部10からは、図2にスペクトルを示すような自家蛍光L3が発せられる。この自家蛍光L3は、FAD、コラーゲン、ファイブロネクチン、ポルフィリン、等の種々の生体内在色素からの蛍光が重畳したものと推測されており、図2に蛍光スペクトルを示すように、正常部と病変部とでは、蛍光スペクトルの大きさが異なると共に形状も異なり、正常部は自家蛍光L3が全体的に大きいが病変部は自家蛍光L3が全体的に減少し、また特にこの病変部については、青色〜緑色の蛍光成分の減少の程度に比して、赤色より長波長の蛍光成分の減少の程度が小さい(尚、病変部と正常部とで蛍光スペクトルが異なる理由は解明されていない)。すなわち、病変部と正常部とでは、緑色近傍蛍光成分と赤色近傍蛍光成分の比率が変化し、この比率の変化により病変部と正常部の峻別が可能となる。
【0032】
蛍光検出手段3および4は、励起光L1の照射を遮断しているときにも励起光の漏れ、背景光の混入や電気的ドリフト等に起因するベースライン成分を検出する。従って、励起光L1を照射しているときの蛍光スペクトルには、図示したように、このベースライン成分が重畳されている。このベースライン成分は以下に述べる方法により除去される。尚、以下の説明において用いられる記号は特に断りのない限り、それぞれ次に記載の意味を有する。
【0033】
λex :励起光波長
ex :励起光光源から生体観察部までの距離L、励起光源のパワーP、励起光光束と観察部との成す角度θとに依存する生体観察部での励起光強度,Iλex=Iλex (L,P,θ)
n :長波長領域の蛍光に寄与する見かけ上の自家蛍光分子濃度(自家蛍光に寄与する蛍光分子は複数種存在することが考えられるが、仮想的に1種の分子が存在していると扱えるという意味でここでは「見かけ上の」という言葉を用いている。以下、同様である。)
N :短波長領域の蛍光に寄与する見かけ上の自家蛍光分子濃度
M :全波長領域の蛍光に寄与する見かけ上の自家蛍光分子濃度
1 :励起光波長λexと短波長領域の蛍光に寄与する見かけ上の蛍光分子とに依存する定数
2 :励起光波長λexと長波長領域の蛍光に寄与する見かけ上の蛍光分子とに依存する定数
3 :励起光波長λexと全波長領域の蛍光に寄与する見かけ上の蛍光分子とに依存する定数
ηFλ1 :短波長領域の蛍光に寄与する見かけ上の蛍光分子の、励起光波長λexに対する蛍光量子収率
ηFλ2 :長波長領域の蛍光に寄与する見かけ上の蛍光分子の、励起光波長λexに対する蛍光量子収率
ηFλ3 :全波長領域の蛍光に寄与する見かけ上の蛍光分子の、励起光波長λexに対する蛍光量子収率
ηD :発光部位と受光系との距離L'と、受光系の開口の大きさD と、検出器の効率ξとに依存する蛍光の検出効率,ηD=ηD(L',ξ,D)(厳密には短波長領域の蛍光に対する検出効率と、長波長領域の蛍光に対する検出効率とは異なるが、ここでは両者を近似的に等しいとして扱うことができる。)
IB1 :短波長領域の蛍光に重畳するベースライン成分
IB2 :長波長領域の蛍光に重畳するベースライン成分
IB3 :全波長領域の蛍光に重畳するベースライン成分
である。
【0034】
励起光L1を照射しているときに蛍光検出手段4により検出された自家蛍光L3の内の短波長成分Ifλ1’ がメモリ6aに保存され、蛍光検出手段3により検出された自家蛍光L3の内の長波長成分Ifλ2’ がメモリ5aに保存される。一方、励起光L1の照射を遮断しているときに蛍光検出手段4により検出された自家蛍光L3の内の短波長成分Ifλ1” がメモリ6bに保存され、蛍光検出手段3により検出された自家蛍光L3の内の長波長成分Ifλ2” がメモリ5bに保存されるされる。それぞれの波長成分は以下のように表される。
【0035】
励起光L1を照射しているときの見かけ上の短波長成分Ifλ1’ は、
Ifλ1’ =kλ1・Iλex・ηFλ1・N・ηD+IB1
励起光L1を照射しているときの見かけ上の長波長成分Ifλ2’ は、
Ifλ2’ =kλ2・Iλex・ηFλ2・n・ηD+IB2
励起光L1の照射を遮断しているときの見かけ上の短波長成分Ifλ1”は、
Ifλ1”=IB1
励起光L1の照射を遮断しているときの見かけ上の長波長成分Ifλ2”は、
Ifλ2”=IB2
次に、減算手段6cにより、励起光L1を照射しているときの短波長成分Ifλ1’ から励起光L1の照射を遮断しているときの短波長成分Ifλ1” を減算し純短波長蛍光成分Ifλ1 を求める。純短波長蛍光成分Ifλ1 は以下のように表される。
【0036】
Ifλ1 =kλ1・Iλex・ηFλ1・N・ηD
同様にして、減算手段5cにより、励起光L1を照射しているときの長波長成分Ifλ2’から励起光L1の照射を遮断しているときの短波長成分Ifλ2”を減算し純長波長蛍光成分Ifλ2 を求める。純長波長蛍光成分Ifλ2 は以下のように表される。
【0037】
Ifλ2 =kλ2・Iλex・ηFλ2・n・ηD
次に、除算手段7により純短波長蛍光成分Ifλ1 と純長波長蛍光成分Ifλ2 との除算を行う。除算値Ifλ2 / Ifλ1 は以下のように表される。
【0038】
Ifλ2 / Ifλ1 =(kλ2・ηFλ2・n) / (kλ1・ηFλ1・N)
この除算演算により、励起光照射部と生体観察部10との距離に関する項がキャンセルされる。従って、励起光の漏れ、背景光の混入や電気的ドリフト等に起因するベースライン成分が存在しても、このベースライン成分が完全に除去され、蛍光強度補正が有効に機能することとなる。
【0039】
上記説明は、蛍光診断薬が注入されていない生体観察部に励起光を照射して、それにより生じた生体内在色素からの自家蛍光を検出する蛍光検出装置における短波長成分と長波長成分との除算に適用する場合について説明したが、蛍光診断薬が予め注入された生体観察部を対象とする場合(薬剤蛍光の場合)にも同様に適用が可能である。この場合において、上記説明における「長波長領域の蛍光」は「薬剤蛍光」と、「短波長領域の蛍光」は「自家蛍光」と置き換えて考えられる。
【0040】
次に、蛍光診断薬が注入されていない生体観察部に励起光を照射して、それにより生じた生体内在色素からの自家蛍光を検出する蛍光検出装置であって、自家蛍光の内の短波長成分(例えば、緑色領域成分G)と、短波長成分と長波長成分(例えば、赤色領域成分R)との蛍光和成分(例えば、G+R)との除算に適用する場合について説明する。
【0041】
生体観察部10の生体内在色素から生じる自家蛍光L3は、ダイクロイックミラー等の光学フィルタによって短波長領域の蛍光成分と、長波長領域の蛍光成分と短波長領域の蛍光成分との蛍光和成分に波長分離され、蛍光検出手段3が、生体観察部10の生体内在色素から生じる自家蛍光L3の内の短波長成分を検出し、蛍光検出手段4が、生体観察部10の生体内在色素から生じる自家蛍光L3の内の蛍光和成分を検出する。励起光L1が照射されているときに蛍光検出手段3が検出する短波長成分はメモリ5aに保存され、励起光L1が遮断されているときに蛍光検出手段3が検出する短波長成分はメモリ5bに保存される。同様に、励起光L1が照射されているときに蛍光検出手段4が検出する蛍光和成分はメモリ6aに保存され、励起光L1が遮断されているときに蛍光検出手段4が検出する蛍光和成分はメモリ6bに保存される。その他の構成は、上述の短波長成分と長波長成分との除算に適用したものと同様である。
【0042】
尚、短波長成分を検出する手段および蛍光和成分を検出する手段は本構成例に限定されるものではなく、所定の波長領域に波長分離して検出し、その検出結果を加減算等の演算を行うことによって最終的に必要とする波長領域の蛍光成分を求めても良い。例えば、長波長領域の蛍光成分と短波長領域の蛍光成分に波長分離して、蛍光検出手段3により短波長成分を検出し、蛍光検出手段4により長波長成分を検出し、それぞれの出力を加算することにより蛍光和成分を求めても良い。また、長波長領域の蛍光成分と、長波長領域の蛍光成分と短波長領域の蛍光成分との蛍光和成分に波長分離して、蛍光検出手段3により長波長成分を検出し、蛍光検出手段4により蛍光和成分を検出し、蛍光和成分から長波長成分を減算することにより短波長成分を求めるものであってもかまわない。
【0043】
以下、上記構成の蛍光検出装置の作用について説明する。
【0044】
上述の場合と同様に、それぞれの波長成分は以下のように表される。
【0045】
励起光L1を照射しているときの見かけ上の短波長成分Ifλ1’は、
Ifλ1’ =kλ1・Iλex・ηFλ1・N・ηD+IB1
励起光L1を照射しているときの見かけ上の長波長成分Ifλ2’は、
Ifλ2’ =kλ2・Iλex・ηFλ2・n・ηD+IB2
であるので、励起光L1を照射しているときの短波長成分と長波長成分との蛍光和成分Ifλ’は、以下のように表される。
【0046】
Ifλ’=(kλ1・Iλex・ηFλ1・N・ηD)+(kλ2・Iλex・ηFλ2・n・ηD)+IB2+IB1
励起光L1の照射を遮断しているときの見かけ上の短波長成分Ifλ1”は、
Ifλ1” =IB1
励起光L1の照射を遮断しているときの見かけ上の長波長成分Ifλ2”は、
Ifλ2” =IB2
であるので、励起光L1の照射を遮断しているときの短波長成分と長波長成分との蛍光和成分Ifλ”は、以下のように表される。
【0047】
Ifλ”=IB1+IB2
次に、減算手段5cにより、励起光L1を照射しているときの短波長成分Ifλ1’ から励起光L1の照射を遮断しているときの短波長成分Ifλ1” を減算し純短波長蛍光成分Ifλ1 を求める。純短波長蛍光成分Ifλ1 は以下のように表される。
【0048】
Ifλ1 =kλ1・Iλex・ηFλ1・N・ηD
同様にして、減算手段6cにより、励起光L1を照射しているときの蛍光和成分Ifλ’から励起光L1の照射を遮断しているときの蛍光和成分Ifλ”を減算し純蛍光和成分Ifλを求める。純長波長蛍光成分Ifλは以下のように表される。
【0049】
Ifλ=kλ1・Iλex・ηFλ1・N・ηD+kλ2・Iλex・ηFλ2・n・ηD
次に、除算手段7により純短波長蛍光成分Ifλ1と純蛍光和成分(Ifλ1+Ifλ2) との除算を行う。除算値 Ifλ1 / (Ifλ1+Ifλ2) は以下のように表される。
【0050】
Ifλ1 / (Ifλ1+Ifλ2)=(kλ1・ηFλ1・N) / (kλ1・ηFλ1・N+kλ2・ηFλ2・n)
この除算演算により、励起光照射部と生体観察部10との距離に関する項がキャンセルされる。従って、自家蛍光の内の短波長成分(例えば、緑色領域成分G)と、短波長成分と長波長成分(例えば、赤色領域成分R)との蛍光和成分(G+R)、との除算に適用した場合においても、励起光の漏れ、背景光の混入や電気的ドリフト等に起因するベースライン成分が存在しても、このベースライン成分が完全に除去され、蛍光強度補正が有効に機能することとなる。
【0051】
上記説明は、自家蛍光の内の短波長成分(例えば、緑色領域成分G)と、短波長成分と長波長成分(例えば、赤色領域成分R)との蛍光和成分(G+R)、との除算に適用した場合について説明したが、自家蛍光の内の長波長成分(例えば、赤色領域成分R)と、短波長成分と長波長成分(例えば、赤色領域成分r)との蛍光和成分(G+R)、との除算にも同様に適用が可能である。この場合において、上記説明における蛍光和成分に相当するものはそのまま使用し、「短波長領域の蛍光」単独のものは「長波長領域の蛍光」と置き換えて考える。
【0052】
また、自家蛍光の内の短波長成分(例えば、緑色領域成分G)と長波長成分(例えば、赤色領域成分R)との蛍光差成分(G−R)と、短波長成分と長波長成分との蛍光和成分(G+R)、との除算にも同様に適用が可能である。この場合において、上記説明における蛍光和成分に相当するものはそのまま使用し、「短波長領域の蛍光」単独のものは蛍光差成分に相当するものに置き換えて考える。
【0053】
さらにまた、上記説明は、蛍光診断薬が注入されていない生体観察部に励起光を照射して、それにより生じた生体内在色素からの自家蛍光を検出する蛍光検出装置に適用する場合について説明したが、蛍光診断薬が予め注入された生体観察部を対象とする場合(薬剤蛍光の場合)にも同様に適用が可能である。この場合において、上記説明における「長波長領域の蛍光」は「薬剤蛍光」と、「短波長領域の蛍光」は「自家蛍光」と、「短波長成分(例えば、緑色領域成分G)と長波長成分(例えば、赤色領域成分R)との蛍光差成分(G−R)」は「薬剤蛍光成分Exと自家蛍光成分Inとの蛍光差成分(Ex−Ix)」と置き換えて考える。
【0054】
次に、蛍光診断薬が注入されていない生体観察部に励起光を照射して、それにより生じた生体内在色素からの自家蛍光を検出する蛍光検出装置であって、自家蛍光の内の短波長成分(例えば、緑色領域成分G)と、全波長領域の蛍光成分(全蛍光成分)との除算に適用する場合について説明する。
【0055】
生体観察部10の生体内在色素から生じる自家蛍光L3は、ダイクロイックミラー等の光学フィルタによって短波長領域の蛍光成分と、全波長領域の蛍光成分に波長分離され、蛍光検出手段3が、生体観察部10の生体内在色素から生じる自家蛍光L3の内の短波長成分を検出し、蛍光検出手段4が、生体観察部10の生体内在色素から生じる自家蛍光L3の内の全蛍光成分を検出する。励起光L1が照射されているときに蛍光検出手段3が検出する短波長成分はメモリ5aに保存され、励起光L1が遮断されているときに蛍光検出手段3が検出する短波長成分はメモリ5bに保存される。同様に、励起光L1が照射されているときに蛍光検出手段4が検出する全蛍光成分はメモリ6aに保存され、励起光L1が遮断されているときに蛍光検出手段4が検出する全蛍光成分はメモリ6bに保存される。その他の構成は、上述の短波長成分と長波長成分との除算に適用したものと同様である。以下、上記構成の蛍光検出装置の作用について説明する。
【0056】
上述の場合と同様に、それぞれの波長成分は以下のように表される。
【0057】
励起光L1を照射しているときの見かけ上の短波長成分Ifλ1’は、
Ifλ1’ =kλ1・Iλex・ηFλ1・N・ηD+IB1
励起光L1を照射しているときの全蛍光成分Ifλ3’ は、以下のように表される。
【0058】
Ifλ3’ =kλ3・Iλex・ηFλ3・M・ηD+IB3
励起光L1の照射を遮断しているときの見かけ上の短波長成分Ifλ1” は、
Ifλ1” =IB1
励起光L1の照射を遮断しているときの見かけ上の全蛍光成分Ifλ3” は、
Ifλ3” =IB3
次に、減算手段5cにより、励起光L1を照射しているときの短波長成分Ifλ1’ から励起光L1の照射を遮断しているときの短波長成分Ifλ1” を減算し純短波長蛍光成分Ifλ1 を求める。純短波長蛍光成分Ifλ1 は以下のように表される。
【0059】
Ifλ1 =kλ1・Iλex・ηFλ1・N・ηD
同様にして、減算手段6cにより、励起光L1を照射しているときの全蛍光成分Ifλ3’ から励起光L1の照射を遮断しているときの全蛍光成分Ifλ3” を減算し純全蛍光成分Ifλ3 を求める。純長波長蛍光成分Ifλは以下のように表される。
【0060】
Ifλ3 =kλ3・Iλex・ηFλ3・M・ηD
次に、除算手段7により純短波長蛍光成分Ifλ1 と純全蛍光成分Ifλ3 との除算を行う。除算値 Ifλ1 / Ifλ3 は以下のように表される。
【0061】
Ifλ1 / Ifλ3 =(kλ1・ηFλ1・n) / (kλ3・ηFλ3・M)
この除算演算によっても、励起光照射部と生体観察部10との距離に関する項がキャンセルされる。従って、自家蛍光の内の短波長成分と全波長領域の蛍光成分との除算に適用した場合においても、励起光の漏れ、背景光の混入や電気的ドリフト等に起因するベースライン成分が存在しても、このベースライン成分が完全に除去され蛍光強度補正が有効に機能することとなる。
【0062】
上記説明は、自家蛍光の内の短波長成分(例えば、緑色領域成分G)と全波長領域の蛍光成分との除算に適用した場合について説明したが、自家蛍光の内の長波長成分(例えば、赤色領域成分R)と全波長領域の蛍光成分との除算に適用した場合にも同様に適用が可能である。この場合において、上記説明における全波長領域の蛍光成分に相当するものはそのまま使用し、「短波長領域の蛍光」単独のものは「長波長領域の蛍光」と置き換えて考える。
【0063】
また、自家蛍光の内の短波長成分(例えば、緑色領域成分G)と長波長成分(例えば、赤色領域成分R)との蛍光差成分(G−R)と、短波長成分と長波長成分との蛍光和成分(G+R)、との除算にも同様に適用が可能である。この場合において、上記説明における蛍光和成分に相当するものはそのまま使用し、「短波長領域の蛍光」単独のものは蛍光差成分に相当するものに置き換えて考える。
【0064】
また、上記説明は、蛍光診断薬が注入されていない生体観察部に励起光を照射して、それにより生じた生体内在色素からの自家蛍光を検出する蛍光検出装置に適用する場合について説明したが、蛍光診断薬が予め注入された生体観察部を対象とする場合(薬剤蛍光の場合)にも同様に適用が可能である。この場合において、上記説明における「長波長領域の蛍光」は「薬剤蛍光」と、「短波長領域の蛍光」は「自家蛍光」と、「短波長成分(例えば、緑色領域成分G)と長波長成分(例えば、赤色領域成分R)との蛍光差成分(G−R)」は「薬剤蛍光成分Exと自家蛍光成分Inとの蛍光差成分(Ex−Ix)」と置き換えて考える。
【0065】
次に本発明による蛍光検出装置を適用した具体的な実施の形態の一例について説明する。図3は本発明による蛍光検出装置を適用した内視鏡装置の概略構成図であり、蛍光診断薬が注入されていない生体観察部に励起光を照射して、これにより生じた生体内在色素からの自家蛍光を検出し、その自家蛍光の内の緑色蛍光成分と赤色蛍光成分との除算を行うものである。
【0066】
本発明の実施の形態にかかる本例の内視鏡装置は、患者の病巣と疑われる部位に挿入される内視鏡100 、通常像観察用白色光および蛍光像観察用励起光を発する光源を備える照明装置200 、通常像観察時と蛍光像観察時の光路の切換を行う光路切換ユニット400 、通常像観察時に前記白色光の生体観察部からの反射光を受光するカラーCCD カメラ500 、蛍光像観察時に前記励起光により生体観察部から生じた蛍光を受光する高感度カメラユニット600 、受光された反射光像あるいは蛍光像の画像処理を行う画像処理装置300 、および該画像処理装置300 で処理された画像情報を可視画像として表示するディスプレイ700 から構成されている。
【0067】
内視鏡100 は、内視鏡挿入部101 内部に該内視鏡挿入部101 の先端まで延びるライトガイド106 およびイメージファイバ104 を備えており、該ライトガイド106 とイメージファイバ104 の先端部即ち内視鏡挿入部101 先端部には、それぞれ、照明レンズ102 、対物レンズ103 を備えている。前記ライトガイド106 の一端は照明装置200 から操作部105 をつなぐ接続部107 を通り照明装置200 内へ達している。前記イメージファイバ104 の一端は操作部105 内に延び、接眼レンズ109 を有する接眼部108 に接している。
【0068】
前記照明装置200 は、通常像観察用の白色光L2を発するキセノンランプ208 、蛍光観察用の励起光L1を発する水銀ランプ201 、該水銀ランプ201 から発せられた励起光L1の透過波長を設定する光学フィルタ202 、通常観察時と蛍光観察時とで白色光L2 と励起光L1を切り換えるためドライバ206 により駆動される切換ミラー205 、モータ211 により回転駆動することにより励起光L1を断続させる光チョッパ212 、該光チョッパ212 を所望の位置で停止させる電磁ブレーキ210 およびその停止(開口)位置を検出する位置センサ213 を備えている。光チョッパ212 は、図5に示すように開口部が円周状に設けられており、これが回転することによって励起光L1の観察部への照射を断続させる。
【0069】
光路切換ユニット400 は、前記イメージファイバ104 を通常観察時に通ってくる反射光をカラーCCDカメラ500 へ、蛍光観察時に通ってくる蛍光L3を高感度カメラユニット600 へ送るように光路を切り換えるため、ドライバ403 により駆動される切換ミラー401 を備えている。
【0070】
高感度カメラユニット600 は、励起光成分を除去する光学フィルタ602 、該フィルタ602 を透過した蛍光L3を赤色波長領域の蛍光と緑色波長領域の蛍光とに分離して、赤色波長領域の蛍光を高感度カメラ604 へ、緑色波長領域の蛍光を高感度カメラ605 へ結像させるダイクロイックミラー601 を備えている。
【0071】
画像処理装置300 は、カラーCCDカメラ500および高感度カメラ604,605で得られた映像信号をデジタル化するA/D 変換回路301 、デジタル化された通常画像信号を保存する通常画像メモリ302 、励起光L1が遮断されているときに高感度カメラ605 が撮像した蛍光画像を担持するデジタル化された映像信号を保存する緑色背景光画像メモリ303 、励起光L1が照射されているときに高感度カメラ605 が撮像した蛍光画像を担持するデジタル化された映像信号を保存する緑色蛍光画像メモリ304 、励起光L1が遮断されているときに高感度カメラ604 が撮像した蛍光画像を担持するデジタル化された映像信号を保存する赤色背景光画像メモリ305 、励起光L1が照射されているときに高感度カメラ604 が撮像した蛍光画像を担持するデジタル化された映像信号を保存する赤色蛍光画像メモリ306 、赤色背景光画像メモリ305 の出力と赤色蛍光画像メモリ306 の出力との減算を行い減算結果を保存する赤色差分画像メモリ307 、緑色背景光画像メモリ303 の出力と緑色蛍光画像メモリ304 の出力との減算を行い減算結果を保存する緑色差分画像メモリ310 、赤色差分画像メモリ307 の出力と緑色差分画像メモリ310 の出力との除算を行い除算結果を保存する除算メモリ308 、前記通常画像メモリ302 と除算メモリ308 とに保存された映像信号をディスプレイ700 に可視画像として表示するための画像処理を行うビデオ信号発生回路309 、切換ミラー205 を駆動するドライバ206 、切換ミラー401 を駆動するドライバ403 およびA/D 変換回路301 を制御するタイミングコントローラ312 、各種メモリ(302〜308および310 )およびビデオ信号発生回路309 を制御するビデオプロセッサ311 を備えている。
【0072】
以下、本発明による蛍光検出装置を適用した上記構成の内視鏡装置の作用について説明する。最初に、本内視鏡装置の通常像観察時の作用を説明する。
【0073】
通常観察時には、照明装置200 内の切換ミラー205 は、タイミングコントローラ312 からの信号に基づきドライバ206 によって駆動されて白色光L2の進行を妨害しないように破線の位置に移動する。キセノンランプ208 から出力される白色光L2は、レンズ207 を経て光チョッパ212 へ向かう。光チョッパ212 は白色光L2が素通しするように開口が開いた状態で停止している。光チョッパ212 を通った白色光L2は、レンズ204 によってライトガイド106 に入射され、内視鏡先端部まで導光された後、照明レンズ102 から病変部11を含む領域(生体観察部)10へ照射される。
【0074】
白色光L2 の反射光は対物レンズ103 によって集光され、イメージファイバ104、接眼部108 内に設けられた接眼レンズ109 を経て、切換ユニット400 内の切換ミラー401 へ向かう。
【0075】
この切換ミラー401 はタイミングコントローラ312 からの信号に基づき、ドライバ403 によって駆動されて通常観察時には実線の位置に移動するものである。上記反射光は切換ミラー401 によって反射され、レンズ402 によってカラーCCD カメラ500 に結像される。
【0076】
カラーCCD カメラ500 からの映像信号はA/D 変換回路301 へ入力され、RGB 映像信号各々についてデジタル化された後、RGB 画像に対応した通常画像メモリ302 により保存される。該通常画像メモリ302 により保存された通常画像信号は、ビデオ信号発生回路309 によってDA変換後にカラーマトリックス処理およびエンコード処理され、NTSC信号としてディスプレイ700 へ入力され、該ディスプレイ700 に可視画像として表示される。
【0077】
上記一連の動作は、ビデオプロセッサ311 およびタイミングコントローラ312 によって制御される。
【0078】
次に、自家蛍光像観察時の作用について説明する。
【0079】
切換ミラー205 はタイミングコントローラ312 からの信号に基づき、ドライバ206 によって駆動されて、白色光L2の通過を遮断すると共に励起光L1を反射するように実線の位置に移動する。水銀ランプ201 から射出される励起光L1は、光学フィルタ202 およびレンズ203 を透過し、切換ミラー205 へ向かう。切換ミラー205 で反射された励起光L1は、光チョッパ212 へ向かう。光チョッパ212 はモータ211 によって回転し励起光L1は断続光に変換される。光チョッパ212 により断続光に変換された励起光L1は、レンズ204 によってライトガイド106 に入射され、内視鏡先端部まで導光された後、照明レンズ102 から病変部11を含む領域(生体観察部)10へ照射される。なお、水銀ランプ201 からは、光学フィルタ202 によって中心波長405nm の輝線スペクトルを透過させる。
【0080】
励起光を照射されることにより生じる被照射部10からの蛍光L3は、対物レンズ103 よって集光され、イメージファイバ104 および接眼レンズ109 を経て、切換ミラー401 へ向かう。この切換ミラー401 はタイミングコントローラ312 からの信号に基づき、ドライバ403 によって駆動されて蛍光L3の進行を妨害しないように破線の位置に移動するものである。該切換ミラー401 部を通過した蛍光L3は、レンズ603 および光学フィルタ602 を通過し、ダイクロイックミラー601 へ向かう。光学フィルタ602 は図4(A) に示す透過特性を有しており、波長480nm 以上の蛍光のみを透過する。これにより中心波長405nm の励起光L1がカットされる。また、ダイクロイックミラー601 は、図4(B) に示す特性を有しており、波長610nm 以上の赤色蛍光成分が透過し高感度カメラ604 に入射し、波長610nm 以下の蛍光成分は反射されて高感度カメラ605 に向かう。ダイクロイックミラー601 で反射した蛍光は図4(C) に示す透過特性を有する光学フィルタ606 を透過することにより、波長540nm 以下の蛍光成分に限定される。従って、高感度カメラ605 には、波長480nm から波長540nm の緑色蛍光成分のみが入射する。
【0081】
光チョッパ212 、励起光L1、白色光L2、カラーCCDカメラ500 、高感度カメラ604 、605 の一連の動作は、ビデオプロセッサ311 およびタイミングコントローラ312 によって制御される。そのタイミングチャートを図6に示す。蛍光観察時には、励起光L1がオンの時とオフの時各々に対応して、高感度カメラ604 (赤色CH)および高感度カメラ605 (赤色CH)が駆動される。
高感度カメラ604 (赤色CH)により得られた画像信号はA/D変換回路301 へ入力され励起光L1が照射されているときの蛍光画像信号および励起光L1が遮断されているときの背景光画像信号の各々についてデジタル化される。デジタル化された蛍光画像信号は赤色蛍光画像メモリ306 に保存され、デジタル化された背景光画像信号は赤色背景光画像メモリ305 に保存される。次に赤色蛍光画像メモリ306 の出力と赤色背景光画像メモリ305 の出力との減算が行われ、差分画像信号が赤色差分画像メモリ307 へ保存される。
【0082】
同様に、高感度カメラ605 (緑色CH)により得られた画像信号はA/D変換回路301 へ入力され励起光L1が照射されているときの蛍光画像信号および励起光L1が遮断されているときの背景光画像信号の各々についてデジタル化される。デジタル化された蛍光画像信号は緑色蛍光画像メモリ304 に保存され、デジタル化された背景光画像信号は緑色背景光画像メモリ303 に保存される。次に緑色蛍光画像メモリ304 の出力と緑色背景光画像メモリ303 の出力との減算が行われ、差分画像信号が緑色差分画像メモリ310 へ保存される。
【0083】
さらに、赤色差分画像メモリ307 の出力と緑色差分画像メモリ310 の出力との除算が行われ除算画像信号が除算メモリ308 へ保存される。
【0084】
除算メモリ308 へ保存された除算画像信号は、ビデオ信号発生回路309 によってDA変換後にエンコード処理され、ディスプレイ700 に可視画像として表示される。なお、ディスプレイ画面上には通常画像と除算画像とをオーバーレイ表示することもできる。
【0085】
一方、上記説明による実施の形態は撮像光学系において本願発明にかかる蛍光検出装置を適用したものについて説明しているが、撮像光学系に限らず、走査光学系に適用することも可能である。この場合は、発光部位と受光系との距離等に起因する検出効率の変動ηD をキャンセルすることができる。
【図面の簡単な説明】
【図1】本発明による蛍光検出装置の基本構成図
【図2】自家蛍光の蛍光スペクトルを示す説明図
【図3】本発明による蛍光検出装置を内視鏡装置に適応した概略構成図
【図4】上記内視鏡装置の光学フィルタの透過特性図(A)、ダイクロイックミラーの透過特性図(B)、および第2の光学フィルタの透過特性図(C)
【図5】上記内視鏡装置の光チョッパの平面図
【図6】上記内視鏡装置の動作タイミング図
【符号の説明】
1 励起光照射手段
3 蛍光検出手段
4 蛍光検出手段
5 ベースライン除去手段
6 ベースライン除去手段
7 除算手段
8 表示手段
9 病変部
10 生体観察部
L1 励起光
L3 蛍光
100 内視鏡
104 イメージファイバ
106 ライトガイド
200 照明装置
201 水銀ランプ
205 切換ミラー
208 キセノンランプ
212 光チョッパ
300 画像処理装置
301 A/D変換回路
302 通常画像メモリ
303 緑色背景光メモリ
304 緑色蛍光メモリ
305 赤色背景光メモリ
306 赤色蛍光メモリ
307 赤色差分画像メモリ
308 除算画像メモリ
309 ビデオ信号発生回路
310 緑色差分画像メモリ
311 ビデオプロセッサ
312 タイミングコントローラ
400 光路切換ユニット
500 カラーCCDカメラ
600 高感度カメラユニット
601 ダイクロイックミラー
604 高感度カメラ
605 高感度カメラ
700 ディスプレイ

Claims (5)

  1. 蛍光を発する生体内在色素の励起波長領域にある励起光を生体の観察部に断続的に照射する励起光照射手段と、
    前記観察部の前記生体内在色素から発せられる自家蛍光を所望の波長領域に分離して受光することにより所望の蛍光成分を抽出する蛍光検出手段と、
    前記観察部に前記励起光が照射されているときに前記蛍光検出手段が検出する励起自家蛍光成分から、前記励起光を遮断しているときに前記蛍光検出手段が検出するベースライン成分を除去して純自家蛍光成分を求めるベースライン除去手段と、
    前記純自家蛍光成分の内の一つの成分他の成分により除算する除算手段とを有する蛍光検出装置において
    前記蛍光検出手段が、前記自家蛍光成分の内の第1の比較的短い波長領域および前記第1の比較的長い波長領域を含む全自家蛍光成分と、前記自家蛍光成分の内の第2の比較的短い波長領域の蛍光成分、第2の比較的長い波長領域の蛍光成分、および前記第2の比較的短い波長領域の蛍光成分と前記第2の比較的長い波長領域の蛍光成分との蛍光差成分の3つの蛍光成分の何れかを抽出するものであり、
    前記一つの成分が前記3つの蛍光成分の何れかであり、前記他の成分が前記全自家蛍光成分であることを特徴とする蛍光検出装置
  2. 蛍光を発する生体内在色素の励起波長領域にある励起光を生体の観察部に断続的に照射する励起光照射手段と、
    前記観察部の前記生体内在色素から発せられる自家蛍光を所望の波長領域に分離して受光することにより所望の蛍光成分を抽出する蛍光検出手段と、
    前記観察部に前記励起光が照射されているときに前記蛍光検出手段が検出する励起自家蛍光成分から、前記励起光を遮断しているときに前記蛍光検出手段が検出するベースライン成分を除去して純自家蛍光成分を求めるベースライン除去手段と、
    前記純自家蛍光成分の内の一つの成分他の成分により除算する除算手段とを有する蛍光検出装置において
    前記蛍光検出手段が、前記自家蛍光成分の内の第1の比較的短い波長領域の蛍光成分と第1の比較的長い波長領域の蛍光成分との蛍光和成分と、前記自家蛍光成分の内の第2の比較的短い波長領域の蛍光成分、第2の比較的長い波長領域の内の一部の波長領域の蛍光成分、および前記第2の比較的短い波長領域の蛍光成分と前記第2の比較的長い波長領域の蛍光成分との蛍光差成分の3つの蛍光成分の何れかを抽出するものであり、
    前記一つの成分が前記3つの蛍光成分の何れかであり、前記他の成分が前記蛍光和成分であることを特徴とする蛍光検出装置。
  3. 蛍光を発する光感受性物質が予め注入された生体の観察部に対し、該光感受性物質および蛍光を発する生体内在色素の励起波長領域にある励起光を断続的に照射する励起光照射手段と、
    前記観察部の前記光感受性物質および前記生体内在色素から発せられる蛍光を所望の波長領域に分離して受光することにより所望の蛍光成分を抽出する蛍光検出手段と、
    前記観察部に前記励起光が照射されているときに前記蛍光検出手段が検出する励起蛍光成分から、前記励起光を遮断しているときに前記蛍光検出手段が検出するベースライン成分を除去して純蛍光成分を求めるベースライン除去手段と、
    前記純蛍光成分の内の一つの成分他の成分により除算する除算手段とを有する蛍光検出装置において
    前記光感受性物質から発せられる薬剤蛍光の第1の波長領域および前記生体内在色素から発せられる自家蛍光の第1の波長領域を含む全蛍光成分と、前記薬剤蛍光の第2の波長領域の蛍光成分、前記自家蛍光の第2の波長領域の蛍光成分、および前記薬剤蛍光の第2の波長領域の蛍光成分と前記自家蛍光の第2の波長領域の蛍光成分との蛍光差成分の3つの蛍光成分の何れかを抽出するものであり、
    前記一つの成分が前記3つの蛍光成分の何れかであり、前記他の成分が前記全蛍光成分であることを特徴とする蛍光検出装置。
  4. 蛍光を発する光感受性物質が予め注入された生体の観察部に対し、該光感受性物質および蛍光を発する生体内在色素の励起波長領域にある励起光を断続的に照射する励起光照射手段と、
    前記観察部の前記光感受性物質および前記生体内在色素から発せられる蛍光を所望の波長領域に分離して受光することにより所望の蛍光成分を抽出する蛍光検出手段と、
    前記観察部に前記励起光が照射されているときに前記蛍光検出手段が検出する励起蛍光成分から、前記励起光を遮断しているときに前記蛍光検出手段が検出するベースライン成分を除去して純蛍光成分を求めるベースライン除去手段と、
    前記純蛍光成分の内の一つの成分他の成分により除算する除算手段とを有する蛍光検出装置において
    前記蛍光検出手段が、前記光感受性物質から発せられる薬剤蛍光の第1の波長領域の蛍光成分と前記生体内在色素から発せられる自家蛍光の第1の波長領域の蛍光成分との蛍光和成分と、前記薬剤蛍光の第2の波長領域の蛍光成分、前記自家蛍光の第2の波長領域の蛍光成分、および前記薬剤蛍光の第2の波長領域の蛍光成分と前記自家蛍光の第2の波長領域の蛍光成分との蛍光差成分の3つの蛍光成分の何れかを抽出するものであり、
    前記一つの成分が前記3つの蛍光成分の何れかであり、前記他の成分が前記蛍光和成分であることを特徴とする蛍光検出装置。
  5. 前記蛍光検出手段が、前記観察部から発せられる蛍光を2次元的に検出して該観察部の蛍光像を撮像するものであることを特徴とする請求項1からいずれか1項記載の蛍光検出装置。
JP02892797A 1997-02-13 1997-02-13 蛍光検出装置 Expired - Fee Related JP3654325B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP02892797A JP3654325B2 (ja) 1997-02-13 1997-02-13 蛍光検出装置
US09/023,203 US6026319A (en) 1997-02-13 1998-02-13 Fluorescence detecting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02892797A JP3654325B2 (ja) 1997-02-13 1997-02-13 蛍光検出装置

Publications (2)

Publication Number Publication Date
JPH10225437A JPH10225437A (ja) 1998-08-25
JP3654325B2 true JP3654325B2 (ja) 2005-06-02

Family

ID=12262045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02892797A Expired - Fee Related JP3654325B2 (ja) 1997-02-13 1997-02-13 蛍光検出装置

Country Status (2)

Country Link
US (1) US6026319A (ja)
JP (1) JP3654325B2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571118B1 (en) * 1998-05-04 2003-05-27 Board Of Regents, The University Of Texas System Combined fluorescence and reflectance spectroscopy
US6592847B1 (en) * 1998-05-14 2003-07-15 The General Hospital Corporation Intramolecularly-quenched near infrared flourescent probes
US6256530B1 (en) * 1998-09-15 2001-07-03 Denvu, L.L.C. Optical instrument and technique for cancer diagnosis using in-vivo fluorescence emission of test tissue
JP2002533142A (ja) * 1998-12-23 2002-10-08 メディスペクトラ, インコーポレイテッド サンプルの光学的試験のためのシステムおよび方法
CA2356195A1 (en) * 1998-12-23 2000-06-29 Medispectra, Inc. Optical methods and systems for cervical screening
US7260248B2 (en) * 1999-12-15 2007-08-21 Medispectra, Inc. Image processing using measures of similarity
US20020007122A1 (en) * 1999-12-15 2002-01-17 Howard Kaufman Methods of diagnosing disease
US7187810B2 (en) * 1999-12-15 2007-03-06 Medispectra, Inc. Methods and systems for correcting image misalignment
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
ES2642930T3 (es) 2000-04-11 2017-11-20 Chemometec A/S Procedimiento y aparato para detectar fluorescencia de una muestra
JP4520016B2 (ja) * 2000-11-16 2010-08-04 Hoya株式会社 電子内視鏡装置
US6615063B1 (en) * 2000-11-27 2003-09-02 The General Hospital Corporation Fluorescence-mediated molecular tomography
US7383076B2 (en) * 2000-11-27 2008-06-03 The General Hospital Corporation Fluorescence-mediated molecular tomography
US6839661B2 (en) * 2000-12-15 2005-01-04 Medispectra, Inc. System for normalizing spectra
US20030044353A1 (en) * 2001-01-05 2003-03-06 Ralph Weissleder Activatable imaging probes
US20060073470A1 (en) * 2002-05-30 2006-04-06 Naohiro Noda Method of counting microorganisms or cells
EP2410315B1 (en) 2002-06-04 2020-04-01 Visen Medical, Inc. Imaging volumes with arbitrary geometries in contact and non-contact tomography
US7469160B2 (en) * 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus
US7459696B2 (en) * 2003-04-18 2008-12-02 Schomacker Kevin T Methods and apparatus for calibrating spectral data
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
US6818903B2 (en) * 2002-07-09 2004-11-16 Medispectra, Inc. Method and apparatus for identifying spectral artifacts
US20040209237A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US7282723B2 (en) * 2002-07-09 2007-10-16 Medispectra, Inc. Methods and apparatus for processing spectral data for use in tissue characterization
US20040208385A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
US20040208390A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for processing image data for use in tissue characterization
US7309867B2 (en) * 2003-04-18 2007-12-18 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US6768918B2 (en) * 2002-07-10 2004-07-27 Medispectra, Inc. Fluorescent fiberoptic probe for tissue health discrimination and method of use thereof
US7647091B2 (en) * 2003-02-05 2010-01-12 The General Hospital Corporation Method and system for free space optical tomography of diffuse media
BRPI0409435A (pt) * 2003-04-15 2006-04-18 Sensors For Med & Science Inc dispositivo de circuito impresso com antena integrada e sistema de processamento de sensor implantável com antena de placa de circuito impresso integrada
CN100361630C (zh) * 2005-12-20 2008-01-16 哈尔滨工业大学 二极管激光光谱肿瘤成像诊断仪
JP4845590B2 (ja) * 2006-05-22 2011-12-28 オリンパス株式会社 内視鏡システム
JP4315175B2 (ja) * 2006-08-10 2009-08-19 日産自動車株式会社 光検出方法および光検出装置
CA2749108C (en) * 2008-01-18 2017-06-27 Visen Medical, Inc. Intramolecularly-quenched fluorescent imaging agents
US20090236541A1 (en) * 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
JP2008252906A (ja) * 2008-04-21 2008-10-16 Olympus Corp 内視鏡装置
ES2715633T3 (es) * 2008-05-20 2019-06-05 Univ Health Network Dispositivo y método para formación de imágenes y supervisión por fluorescencia
GB2470589A (en) * 2009-05-29 2010-12-01 Vestas Wind Sys As Branching spar wind turbine blade
JP5485190B2 (ja) * 2011-01-19 2014-05-07 富士フイルム株式会社 内視鏡装置
JP5485191B2 (ja) * 2011-01-19 2014-05-07 富士フイルム株式会社 内視鏡装置
JP5798430B2 (ja) * 2011-10-03 2015-10-21 浜松ホトニクス株式会社 蛍光観測装置及び蛍光観測方法
DE102012103736A1 (de) * 2012-04-27 2013-10-31 Maschinenfabrik Reinhausen Gmbh Verfahren zur Funktionsüberwachung eines Stufenschalters
JP2014025774A (ja) * 2012-07-26 2014-02-06 Sony Corp 光線力学診断装置、光線力学診断方法及びデバイス
JP6564166B2 (ja) 2014-07-18 2019-08-21 オリンパス株式会社 測定装置および蛍光測定方法
ES2894912T3 (es) 2014-07-24 2022-02-16 Univ Health Network Recopilación y análisis de datos con fines de diagnóstico
WO2016175084A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置、方法及びプログラム
GB201610988D0 (en) 2016-06-23 2016-08-10 Inspection Tech Ltd Apparatus and method for extracting low intensity photonic signals
US10952616B2 (en) 2018-03-30 2021-03-23 Canon U.S.A., Inc. Fluorescence imaging apparatus
US10743749B2 (en) 2018-09-14 2020-08-18 Canon U.S.A., Inc. System and method for detecting optical probe connection
WO2020183528A1 (ja) * 2019-03-08 2020-09-17 オリンパス株式会社 内視鏡装置、内視鏡画像処理装置、内視鏡装置の作動方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5042494A (en) * 1985-11-13 1991-08-27 Alfano Robert R Method and apparatus for detecting cancerous tissue using luminescence excitation spectra
JPS62247232A (ja) * 1986-04-21 1987-10-28 Agency Of Ind Science & Technol 蛍光測定装置
CA2042075C (en) * 1991-05-08 2001-01-23 Branko Palcic Endoscopic imaging system
US5769792A (en) * 1991-07-03 1998-06-23 Xillix Technologies Corp. Endoscopic imaging system for diseased tissue
US5348018A (en) * 1991-11-25 1994-09-20 Alfano Robert R Method for determining if tissue is malignant as opposed to non-malignant using time-resolved fluorescence spectroscopy
US5467767A (en) * 1991-11-25 1995-11-21 Alfano; Robert R. Method for determining if tissue is malignant as opposed to non-malignant using time-resolved fluorescence spectroscopy
US5849595A (en) * 1992-10-05 1998-12-15 Alfano; Robert R. Method for monitoring the effects of chemotherapeutic agents on neoplasmic media
US5456252A (en) * 1993-09-30 1995-10-10 Cedars-Sinai Medical Center Induced fluorescence spectroscopy blood perfusion and pH monitor and method
US5590660A (en) * 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
US5647368A (en) * 1996-02-28 1997-07-15 Xillix Technologies Corp. Imaging system for detecting diseased tissue using native fluorsecence in the gastrointestinal and respiratory tract
JP3796635B2 (ja) * 1996-03-06 2006-07-12 富士写真フイルム株式会社 蛍光検出装置

Also Published As

Publication number Publication date
US6026319A (en) 2000-02-15
JPH10225437A (ja) 1998-08-25

Similar Documents

Publication Publication Date Title
JP3654325B2 (ja) 蛍光検出装置
JP3796635B2 (ja) 蛍光検出装置
KR101172745B1 (ko) 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
JP5074044B2 (ja) 蛍光観察装置および蛍光観察装置の作動方法
JP5074256B2 (ja) 蛍光観察装置
JP5396004B2 (ja) 蛍光観察装置および蛍光観察装置の作動方法
US8021295B2 (en) Endoscope system and observation method using the same
JP4954858B2 (ja) 蛍光観察装置および内視鏡装置
JP2009148568A (ja) 蛍光画像の分析処理方法
JP4587811B2 (ja) 蛍光観察内視鏡装置
JP2001299676A (ja) センチネルリンパ節検出方法および検出システム
JP2017526899A (ja) マルチスペクトルイメージングのための方法及び手段
JP2006296635A (ja) 内視鏡装置
US20080039695A1 (en) Fluorescence endoscope system, fluoroscopy apparatus, fluoroscopy method, fluorescence-information processing apparatus, and fluorescence-information processing method
US20100194871A1 (en) Fluorescence endoscope system and fluorescence imaging method
US20080004495A1 (en) Endoscope
JP2008183348A (ja) 生体組織用蛍光観察装置
JP2008148791A (ja) 内視鏡システム
JP2006340796A (ja) センチネルリンパ節検出システム
JP3654324B2 (ja) 蛍光検出装置
WO2019176253A1 (ja) 医療用観察システム
JP2008043383A (ja) 蛍光観察内視鏡装置
JP4008184B2 (ja) 蛍光検出装置
JP6458142B2 (ja) 赤外蛍光観察装置
RU2736909C1 (ru) Способ фотодинамической диагностики и терапии центрального рака легкого и устройство его осуществления

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050222

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080311

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080311

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140311

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees