JP3881143B2 - Fluorescence display method and apparatus - Google Patents

Fluorescence display method and apparatus Download PDF

Info

Publication number
JP3881143B2
JP3881143B2 JP31294399A JP31294399A JP3881143B2 JP 3881143 B2 JP3881143 B2 JP 3881143B2 JP 31294399 A JP31294399 A JP 31294399A JP 31294399 A JP31294399 A JP 31294399A JP 3881143 B2 JP3881143 B2 JP 3881143B2
Authority
JP
Japan
Prior art keywords
fluorescence
light
excitation light
wavelength band
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31294399A
Other languages
Japanese (ja)
Other versions
JP2001128926A (en
Inventor
知成 千代
Original Assignee
富士フイルムホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルムホールディングス株式会社 filed Critical 富士フイルムホールディングス株式会社
Priority to JP31294399A priority Critical patent/JP3881143B2/en
Priority to EP00123748A priority patent/EP1097670B1/en
Priority to DE60045146T priority patent/DE60045146D1/en
Priority to US09/703,674 priority patent/US6465968B1/en
Publication of JP2001128926A publication Critical patent/JP2001128926A/en
Application granted granted Critical
Publication of JP3881143B2 publication Critical patent/JP3881143B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、生体の観察部に励起光を照射し、生体内在色素から発せられる自家蛍光の特性に応じた情報を表示する蛍光表示方法および装置に関するものである。
【0002】
【従来の技術】
従来より、生体内在色素の励起波長領域にある励起光を生体に照射した場合に、正常組織と病変組織では、発する蛍光強度が異なることを利用して、生体観察部に所定波長の励起光を照射し、生体内在色素が発する蛍光を受光することにより病変組織の局在・浸潤範囲を蛍光画像として表示する技術が提案されている。
【0003】
通常、励起光を照射すると、正常組織からは強い蛍光が発せられ、病変組織からは微弱な蛍光が発せられるため、蛍光強度を測定することにより、病変状態を判定できる。
【0004】
この種の蛍光表示装置は基本的に、生体内在色素の励起波長領域にある励起光を生体に対して照射する励起光照射手段と、生体内在色素が発する蛍光を検出して生体の蛍光像を撮像する撮像手段と、この撮像手段の出力を受けて上記蛍光像を表示する画像表示手段とからなるものであり、多くの場合、体腔内部に挿入される内視鏡や、コルポスコープあるいは手術用顕微鏡等に組み込まれた形に構成される。
【0005】
ところで、上述のような蛍光表示装置においては、生体の部位に凹凸があるため励起光照射系から生体観察部までの距離が均一ではなく、生体の励起光照射部分における励起光照度は一般に不均一である。蛍光強度は励起光照度にほぼ比例し、励起光照度は距離の2乗に反比例して低下する。そのため、光源から遠くにある正常組織よりも近くにある病変組織の方が強い蛍光を発したり、励起光に対して傾斜した位置にある正常組織からの蛍光が極端に低下したりする。このように励起光照度が不均一であると、励起光照度の高低に応じて蛍光強度が変化するので、それによって病変状態の判定を誤ることもあり得る。
【0006】
一方、「FLUORESCENCE IMAGING OF EARLY LUNG CANCER」(Annual International Conference of the IEEE Engineering and Biology Society, Vol.12, No.3,1990) に示される装置においては、励起光が照射されることにより生体観察部の生体内在色素から生じる蛍光を緑色の波長帯域の強度(以下、緑色帯域強度Gと記載)と赤色の波長帯域の強度(以下、赤色帯域強度Rと記載)とに分離して、この赤色帯域強度Rと緑色帯域強度Gとの除算に基づく画像演算を行って、除算結果を表示する。これは、正常組織と病変組織とで蛍光のスペクトルが異なること、すなわち正常組織部における生体内在色素の発する蛍光スペクトルが、病変組織では正常組織と比較して特に緑色帯域の強度が極端に低下するため、病変組織では蛍光の緑色帯域強度Gの減少率が赤色帯域強度Rの減少率に比較して非常に大きいことを利用するもので、R/Gなる除算により病変組織からの蛍光を特異的に抽出して画像表示することができる。
【0007】
すなわち、R/Gなる除算により励起光光源および蛍光受光部と生体観察部との距離に依存する蛍光強度の項はキャンセルされ、蛍光スペクトルの形状の違いのみが反映された表示が得られる。
【0008】
【発明が解決しようとする課題】
しかしながら、従来では正常組織と病変組織から発せられた蛍光スペクトルの形状の違いが顕著に現れる検出波長の組み合わせに関して十分な検討が行われず、望ましい検出波長の組み合わせが数値として提示されていないという問題があった。
【0009】
本発明は上記問題に鑑み、正常組織と病変組織から発せられた蛍光スペクトルの形状の違いが顕著に現れる検出波長の組み合わせに関して検討し、数値が提示された適切な2つの検出波長で蛍光を切り出して光強度を検出し、両者の比率に応じた情報を表示する信頼度の向上した蛍光表示装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明による蛍光表示方法は、励起光を照射された生体の測定部から発せられた蛍光から、スペクトル形状の差異が顕著に顕れる、480nmを含む所定の波長帯域の光強度と630nmまたは700nmを含む所定の波長帯域における光強度を検出して、両者の比率に応じた情報を表示することを特徴とするものである。
【0011】
また、本発明による蛍光表示装置は、励起光を生体の測定部に照射する励起光照射手段と、
前記励起光の照射により前記測定部から発せられた蛍光から、480nmを含む所定の波長帯域の光強度を検出する第1の蛍光強度検出手段と、
前記測定部から発せられた蛍光から、630nmまたは700nmを含む所定の波長帯域の光強度を検出する第2の蛍光強度検出手段と、
前記第1の蛍光強度検出手段で検出された光強度と、第2の蛍光強度検出手段で検出された光強度の比率に応じた情報を表示する表示手段とを備えたことを特徴とするものである。
【0012】
なお、上記蛍光表示装置において、上記第1の蛍光強度検出手段が、前記励起光の照射により前記測定部から発せられた蛍光から、480nmを含む所定の波長帯域の蛍光を選択する第1の波長選択手段と、該第1の波長選択手段で選択された蛍光の光強度を検出する第1の光強度検出手段とから構成され、
上記第2の蛍光強度検出手段が前記励起光の照射により前記測定部から発せられた蛍光から、630nmまたは700nmを含む所定の波長帯域の蛍光を選択する第2の波長選択手段と、該第2の波長選択手段により選択された蛍光の光強度を検出する第2の光強度検出手段とから構成されることが望ましい。
【0013】
また、上記第1の波長選択手段により選択される所定の波長帯域が480nm±70nm以下であり、前記第2の波長選択手段により選択される所定の波長帯域が630nm±70nm以下または700nm±70nm以下であることが好ましい。
【0014】
また、本発明における蛍光表示装置においては、励起光として、正常組織の特徴的な光強度ピークから外れた、380nmから420nmの波長の光を用いることが望ましい。上記励起光照射手段としては、GaN系の半導体レーザが好適である。
【0015】
尚、以上説明した蛍光表示装置は、蛍光像を2次元的に検出するものでも、あるいは生体部位の1点毎に蛍光強度を検出するものでも適用可能である。
【0016】
また、上記波長選択手段としては、例えば、ダイクロイックミラー等により、所望の波長帯域を切り出すものや、光学フィルタ等を切り替えることにより時分割的に所望の波長帯域を切り出すものでもよい。また蛍光像を2次元的に検出するものであれば、波長選択手段として、光学フィルタをモザイク状に繋ぎ合わせたモザイクフィルタを用いて所望の波長帯域を切り出すものでもよく、すなわち所望の波長範囲を選択できるものであればよい。
【0017】
また上記表示手段における表示方法としては、如何なるものでも良く、例えば、480nmを含む所定の波長帯域の光強度と630nmまたは700nmを含む所定の波長帯域における光強度を検出して、両者の比率をモニタやプリンタ等に表示する方法でもよく、また単に光強度の比率に応じて、表示色の色合いまたは輝度を変化させる方法でもよく、その種別を問わない。
【0018】
【発明の効果】
生体組織に励起光が照射されているとき、生体組織からは、図5にスペクトルを示すような蛍光が発せられる。この蛍光は、FAD、コラーゲン、ファイブロネクチン、ポルフィリン、等の種々の生体内在色素からの蛍光が重畳したものと推測されている。図5には、発明者等により測定された、正常組織から発せられた蛍光と病変組織から発せられた蛍光の代表的な蛍光スペクトルが記載されている。
【0019】
正常組織部と病変組織とでは、蛍光スペクトルの大きさが異なると共に形状も異なり、正常組織は蛍光が全体的に大きいが病変組織は蛍光が全体的に減少する。正常組織では、青色帯域である480nm近傍にスペクトル強度のピークを有し、病変組織では、赤色帯域である630nm近傍と700nm近傍でスペクトル強度のピークを有している。
【0020】
各蛍光スペクトルから全測定帯域幅の蛍光強度を1とした場合の各波長毎の強度比を求めた蛍光スペクトル強度比分布を図6に示す。スペクトル強度比分布では、正常組織から発せられた蛍光と病変組織から発せられた蛍光のスペクトル形状の違いが一層明確に示されている。
【0021】
これらの図から、発明者等は、正常組織と病変組織から発せられた蛍光スペクトルの形状の違いが顕著に現れる検出波長の組み合わせに関して検討した。
【0022】
その結果、480nm近傍の帯域の光強度比と、630nm近傍または700nm近傍の光強度を検出すると、その比率が、正常組織と病変組織の蛍光スペクトル形状の差異を顕著に表すことが明らかとなった。
【0023】
すなわち、組織性状が不明な測定部から検出した蛍光から、正常組織で特徴的な光強度が大きくなる480nmを含む所定の波長帯域の光強度と、病変組織で特徴的に光強度が大きくなる630nmまたは700nmを含む所定の波長帯域における光強度を検出し、その比率に応じた情報を表示することにより、観察者は、その表示から測定部位が正常組織であるか病変組織であるかを推測可能となる。
【0024】
上記検討結果から、本発明による蛍光表示装置によれば、励起光の照射により測定部から発せられた蛍光から、480nmを含む所定の波長帯域と630nmまたは700nmを含む所定の波長帯域における光強度を検出し、両者の比率に応じた情報を表示することにより、信頼度の向上した情報を表示できる。
【0025】
また、上記所定の波長帯域における光強度の検出は、励起光の照射により前記測定部から発せられた蛍光から、480nmを含む所定の波長帯域の蛍光を選択する第1の波長選択手段と、該第1の波長選択手段で選択された蛍光の蛍光強度を検出する第1の光強度検出手段と、測定部から発せられた蛍光から、630nmまたは700nmを含む所定の波長帯域の蛍光を選択する第2の波長選択手段と、該第2の波長選択手段により選択された蛍光の光強度を検出する第2の光強度検出手段とを用いることにより、容易に検出できる。
【0026】
さらに、図5および図6に例示した蛍光スペクトルの分析結果から、各波長帯域の帯域幅が±70nmを越えると、480nm近傍では、正常組織から検出した所定帯域幅の光強度に対する病変組織から検出した所定帯域幅の光強度の比率が増加してしまい、630nm近傍または700nm近傍の波長帯域では、正常組織から検出した所定帯域幅の光強度に対する病変組織から検出した所定帯域幅の光強度の比率が減少してしまうことがあった。したがって、上記第1の波長選択手段により選択される所定の波長帯域が480nm±70nm以下であり、上記第2の波長選択手段により選択される所定の波長帯域が630nm±70nm以下または700nm±70nm以下であれば、望ましい信頼度を有する光強度の比率を得ることができることが明らかになった。
【0027】
また正常組織から発せられる蛍光において特徴的に光強度が大きくなる480nm近傍から外れた380nmから420nmの波長の励起光を用いることにより、望ましい波形の蛍光スペクトルを備える蛍光が発せられ、表示される情報の信頼度が向上する。また、上記励起光照射手段としてGaN系半導体レーザを用いることにより、装置の小型化および低価格化が可能となる。
【0028】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。まず、図1および図2を参照して、本発明による蛍光表示装置を適用した第1の具体的な実施の形態である内視鏡装置について説明する。図1は本発明による蛍光表示装置を適用した内視鏡装置の概略構成図であり、生体測定部に励起光を照射して、測定部から発せられた蛍光をイメージファイバにより2次元的に検出し、高感度撮像素子で受光して、波長帯域480nm±70nmの光強度Bと波長帯域630nm±70nmの光強度Rを検出し、R/Bを算出し、表示するものである。
【0029】
本発明の第1の実施の形態にかかる内視鏡装置は、患者の病巣と疑われる部位に挿入される内視鏡100 、通常像観察用白色光および蛍光測定用励起光を発する光源を備える照明ユニット110 、蛍光表示時に前記励起光により生体測定部から生じた蛍光を受光し、R/Bを算出するR/B算出ユニット120 、予め記憶されている基準値と、算出したR/Bを比較して、比較結果に応じた信号を出力する比較ユニット130 、通常画像および比較結果を可視画像として表示するための画像処理を行う画像処理ユニット140 、各ユニットに接続され、動作タイミングの制御を行うコントローラ150 、画像処理ユニット140 で処理された通常画像情報を可視画像として表示するモニタ170 、比較結果結果を表示するモニタ180 から構成されている。
【0030】
内視鏡100 は、内部に先端まで延びるライトガイド101 、CCDケーブル102 およびイメージファイバ103 を備えている。ライトガイド101 およびCCDケーブル102 の先端部、即ち内視鏡100 の先端部には、照明レンズ104 および対物レンズ105 を備えている。また、イメージファイバ103 は石英ガラスファイバであり、その先端部には集光レンズ106 を備えている。CCDケーブル102 の先端部には、CCD撮像素子107 が接続され、該CCD撮像素子107 には、ミラー108 が取り付けられている。ライトガイド101 は、多成分ガラスファイバである白色光ライトガイド101aおよび石英ガラスファイバである励起光ライトガイド101bがバンドルされ、ケーブル状に一体化されており、白色光ライトガイド101aおよび励起光ライトガイド101bは照明ユニット110 へ接続されている。CCDケーブル102 の一端は、画像処理ユニット140 に接続され、イメージファイバ103 の一端は、R/B算出ユニット120 へ接続されている。
【0031】
照明ユニット110 は、通常像観察用の白色光L1を発する白色光源111 、該白色光源111 に電気的に接続された白色光源用電源112 、蛍光観察用の励起光L2を発するGaN系半導体レーザ114 および該GaN系半導体レーザ114 に電気的に接続されている半導体レーザ用電源115 を備えている。
【0032】
R/B算出ユニット120 は、イメージファイバ103 を経た蛍光L3から励起光近傍の波長をカットする励起光カットフィルタ121 、2種類の光学フィルターがモザイク上に組み合わされたモザイクフィルタ123 がオンチップされたCCD撮像素子125 、該CCD撮像素子125 で受光された蛍光信号をデジタル化するA/D 変換回路126 、蛍光画像を記憶する蛍光画像メモリ127 、蛍光画像メモリ127 に記憶された値からR/Bを算出するR/B算出部128 を備えている。
【0033】
上記モザイクフィルタ123 は図2に示すような、2種類の光学フィルタ124aおよび124bから構成され、光学フィルタ124aは480nm±70nmの光を透過させるバンドパスフィルタであり、光学フィルタ124bは630nm±70nmの光を透過させるバンドパスフィルタである。
【0034】
比較ユニット130 は、基準値REが記憶されている記憶部131 と、R/B算出部127 で算出されたR/Bと記憶部131 に記憶されている基準値REとを比較する比較部132 を備えている。
【0035】
基準値REは、予め正常組織または病変組織であることが明らかである生体組織から算出したR/Bに基づいて設定された値である。
【0036】
画像処理ユニット140 は、CCD撮像素子107 で得られた映像信号をデジタル化するA/D 変換回路141 、デジタル化された通常画像信号を保存する通常画像メモリ142 、該通常画像メモリ142 から出力された画像信号および比較部132 の比較結果をビデオ信号に変換するビデオ信号処理回路143 を備えている。
【0037】
以下、本発明による蛍光表示装置を適用した上記構成の内視鏡装置の作用について説明する。最初に、本内視鏡装置の通常像観察時の作用を説明する。
【0038】
通常観察時には、コントローラ150 からの信号に基づき白色光源電源112 が駆動され、白色光源111 から白色光L1が射出される。白色光L1は、レンズ113 を経て白色光ライトガイド101aに入射され、内視鏡先端部まで導光された後、照明レンズ104 から測定部22へ照射される。
【0039】
白色光L1の反射光は対物レンズ105 によって集光され、ミラー108 に反射して、CCD撮像素子107 に結像される。CCD撮像素子107 からの映像信号はA/D 変換回路141 へ入力され、デジタル化された後、通常画像メモリ142 により保存される。該通常画像メモリ142 により保存された通常画像信号は、ビデオ信号発生回路143 によってDA変換後にモニタ170 に入力され、該モニタ170 に可視画像として表示される。上記一連の動作は、コントローラ150 によって制御される。
【0040】
次に、蛍光画像を表示する場合の作用について説明する。コントローラ150 からの信号に基づき、励起光源電源115 が駆動され、GaN系半導体レーザ114 から波長410nmの励起光L2が射出される。励起光L2は、レンズ116 を透過し、励起光ライトガイド101bに入射され、内視鏡先端部まで導光された後、照明レンズ104 から測定部22へ照射される。
【0041】
励起光L2を照射されることにより生じる測定部22からの蛍光L3は、集光レンズ106 により集光され、イメージファイバ103 の先端に入射され、イメージファイバ103 を経て、励起光カットフィルタ121 に入射する。
【0042】
レンズ122 により集光された蛍光L3は、CCD撮像素子125 にオンチップされたモザイクフィルタ123 を透過後、CCD撮像素子125 で受光され、CCD撮像素子125 からの映像信号はA/D 変換回路126 へ入力され、デジタルデータに変換された後、蛍光画像メモリ127 により保存される。
【0043】
この際、蛍光画像メモリ127 では、モザイクフィルタ123 の各光学フィルタを透過した蛍光の映像信号は各々異なる領域に保存される。従って、波長帯域480nm±70nmの蛍光のデータと波長帯域630nm±70nmの蛍光のデータが交互に保存される。
【0044】
R/B算出部128 では、蛍光画像メモリ127 の隣合う領域に保存されたデータを用いて、各領域毎にR/Bを算出する。
【0045】
比較部132 では、R/B算出部128 で算出された各領域のR/Bと記憶部131 に記憶されている基準値REを比較する。
【0046】
比較結果は、モニタ180 に画像表示される。R/Bが基準値RE以下である場合と、R/Bが基準値REより大きい場合とで、測定された領域の表示色を変えることにより、測定者は、比較結果を瞬時に認識可能となる。
【0047】
また、上記比較は、各画素毎ではなく、CCD撮像素子125 のビニング処理に対応する画素単位で比較処理を行ったり、測定者の所望する任意の範囲の画素領域単位で比較を行っても良い。あるいは、測定者の指定した領域のみの比較を行ったり、適宜画素を間引いて比較を行うこともできる。
【0048】
比較処理を行っていない領域がある場合には、その領域の表示色を所定の色で表示することにより、比較領域を明確に表示できる。比較画素を間引いた場合などには、近傍の比較結果により補完表示を行う。
【0049】
上記のように、励起光の照射により測定部から発せられた蛍光から、480nm±70nmの波長帯域と630nm±70nmの波長帯域とを切り出し、その光強度の比率R/Bを基準値REと比較して、比較結果を表示することにより、信頼度の向上した情報を表示できる。
【0050】
また、励起光照射手段として波長410nmのGaN系半導体レーザを用いることにより、光強度の検出に支障なく、装置の小型化および低価格化が可能となる。
【0051】
また、図2に示すような480nm±70nmの波長を透過させる光学フィルタ124aと630nm±70nmの波長帯域を透過させる光学フィルタ124bに加え全波長帯域を透過させるブランクからなるモザイクフィルタをCCD撮像素子125 の前面に配設すれば、CCD撮像素子125 を通常像検出と蛍光検出に兼用する事も可能となる。
【0052】
また、上記の様なモザイクフィルタがオンチップされたCCD撮像素子を内視鏡先端に配設すれば、同様に通常像検出と蛍光検出に兼用する事ができる。
【0053】
さらに、本装置では、光強度の比率が基準値REより大きいかまたは小さいかの比較を行い、表示するようにしたが、このような比較を行なうことなく、検出した2つの波長帯域の光強度の除算による比率をそのまま表示したり、あるいは各光強度を加色混合法により表示し、光強度の比率を表示画面の色合いの変化として表すこともできる。
【0054】
次に図3および4を参照して、本発明による蛍光表示装置を適用した第2の具体的な実施の形態である内視鏡装置について説明する。図3は本発明による蛍光表示装置を適用した内視鏡装置の概略構成図であり、生体測定部に励起光を照射して、これにより生じた蛍光を石英ファイバにより検出することにより、生体部位の一点から発せられた蛍光から、波長帯域480nm±30nmの光強度B’と波長帯域630nm±30nmの光強度R’を検出し、R’/B’を算出し、表示するものである。
【0055】
本発明の実施の形態にかかる内視鏡装置は、患者の病巣と疑われる部位に挿入される内視鏡200 、通常像観察用白色光および蛍光測定用励起光を発する光源を備える照明ユニット210 、励起光と測定した蛍光の光路を分ける光路分離部220 、蛍光表示時に前記励起光により生体測定部から生じた蛍光を受光し、R’/B’を算出するR’/B’算出ユニット230 、予め記憶されている基準値と、算出したR’/B’を比較して、比較結果に応じた信号を出力する比較ユニット240 、通常画像をおよび比較結果を可視画像として表示するための画像処理を行う画像処理ユニット250 、各ユニットに接続され、動作タイミングの制御を行うコントローラ260 、画像処理ユニット250 で処理された通常画像情報を可視画像として表示するモニタ170 、比較結果を表示するモニタ180 、励起光および蛍光を導光する石英ファイバ290 から構成されている。
【0056】
内視鏡200 は、内部に先端まで延びるライトガイド201 、CCDケーブル202 および石英ファイバ290 が貫通している鉗子口203 を備えている。ライトガイド201 およびCCDケーブル202 の先端部、即ち内視鏡200 の先端部には、照明レンズ204 および対物レンズ205 を備えている。CCDケーブル202 の先端部には、CCD撮像素子206 が接続され、該CCD撮像素子206 には、ミラー207 が取り付けられている。ライトガイド201 の一端は照明ユニット210 へ接続され、CCDケーブル202 の一端は、画像処理ユニット250 に接続されている。
【0057】
照明ユニット210 は、通常像観察用の白色光L4を発する白色光源211 、該白色光源211 に電気的に接続された白色光源用電源212 、蛍光観察用の励起光L5を発する励起光源としてのGaN系半導体レーザ214 および該GaN系半導体レーザ214 に電気的に接続されている半導体レーザ用電源215 を備えている。
【0058】
光路分離部220 はGaN系半導体レーザ214 から出力される励起光L5を石英ファイバ290 へ入射させ、また逆に石英ファイバ290 を通ってくる蛍光L6を仮主成分得点算出ユニット230 へ透過させるダイクロイックミラー221 を備える。
【0059】
R’/B’算出ユニット230 は、石英ファイバ290 を経た蛍光L6から励起光近傍の波長をカットする励起光カットフィルタ231 、該励起光カットフィルタ231 を透過した蛍光L6から所望の波長帯域を切り出す切換フィルタ233 、該切換フィルタ233 を回転させるフィルタ回転装置235 、切換フィルタ233 を透過した蛍光の光強度を測定する光検出器236 、該光検出器236 に記憶された測定データを記憶する測定データメモリ237 および測定データメモリ237 に記憶された値からR’/B’を算出するR’/B’算出部238 を備えている。
【0060】
上記切換フィルタ233 は図4に示すような、2種類の光学フィルタ234aおよび234bから構成され、光学フィルタ234aは480nm±30nmの光を透過させるバンドパスフィルタであり、光学フィルタ234bは630nm±30nmの光を透過させるバンドパスフィルタである。
【0061】
比較ユニット240 は、基準値RE’が記憶されている記憶部241 と、R’/B’算出部237 で算出されたR’/B’と記憶部241 に記憶されている基準値RE’とを比較する比較部242 を備えている。
【0062】
基準値RE’は、予め正常組織または病変組織であると認められた生体組織から求めたR’/B’に基づいて設定され、記憶部241 に記憶されている。
【0063】
画像処理ユニット250 は、CCD撮像素子206 で得られた映像信号をデジタル化するA/D 変換回路251 、デジタル化された通常画像信号を保存する通常画像メモリ252 、該通常画像メモリ252 から出力された画像信号および比較部242 の比較結果をビデオ信号に変換するビデオ信号処理回路253 を備えている。
【0064】
以下、本発明による蛍光表示装置を適用した上記構成の内視鏡装置の作用について説明する。最初に、本内視鏡装置の通常像観察時の作用を説明する。通常観察時には、コントローラ260 からの信号に基づき白色光源電源212 が駆動され、白色光源211 から白色光L4が射出される。白色光L4は、レンズ213 を経てライトガイド201 に入射され、内視鏡先端部まで導光された後、照明レンズ204 から測定部11を含む観察部20へ照射される。
【0065】
白色光L4の反射光は対物レンズ205 によって集光され、ミラー207 により、光路を直角に反射され、CCD撮像素子206 に結像される。CCD撮像素子206 からの映像信号はA/D 変換回路251 へ入力され、デジタル化された後、通常画像メモリ252 により保存される。該通常画像メモリ252 により保存された通常画像信号は、ビデオ信号発生回路253 によってDA変換後にモニタ270 に入力され、該モニタ270 に可視画像として表示される。上記一連の動作は、コントローラ260 によって制御される。
【0066】
次に、蛍光情報の表示時の作用について説明する。コントローラ260 からの信号に基づき、励起光源電源215 が駆動され、GaN系半導体レーザ214 から波長410nmの励起光L5が射出される。励起光L5は、レンズ216 を透過し、ダイクロイックミラー221 に向かう。ダイクロイックミラー221 で反射された励起光L5は、レンズ222 によって石英ファイバ290 に入射され、内視鏡の鉗子口203 内を経て、測定部11近傍まで導光され、石英ファイバ290 先端から測定部11へ照射される。
【0067】
励起光L5を照射されることにより生じる測定部11からの蛍光L6は、石英ファイバ290 の先端に入射され、石英ファイバ290 およびレンズ222 を経て、ダイクロイックミラー221 へ向かう。このダイクロイックミラー221 は、図中左側から入射した光線は、透過させる構造を備えているものである。該ダイクロイックミラー221 を透過した蛍光L6は、励起光カットフィルタ231 およびレンズ232 を透過し、切換フィルタ233 へ入射する。なお、励起光カットフィルタ231 は、波長420nm以上の全蛍光を透過するロングパスフィルタである。励起光L5の波長は410nmであるため、測定部11で反射された励起光L5は、この励起光カットフィルタ231 でカットされ、切換フィルタ233 へ入射することはない。
【0068】
コントローラ260 の制御により、フィルタ回転装置235 が駆動され、蛍光L6は、順次光学フィルタ234aまたは234bを透過した後、光検出器236 に入射し、光強度が検出される。同時に、測定データメモリ237 では、コントローラ260 からの制御により、光学フィルタ234aを透過した蛍光の光強度B’は、測定データメモリ237 内の所定領域に保存し、光学フィルタ234bを透過した蛍光の光強度R’は、異なる領域に保存する。
【0069】
R’/B’算出部238 では、測定データメモリ237 内に保存された蛍光の光強度データからR’/B’を算出する。
【0070】
比較部242 では、記憶部241 に記憶されている基準値RE’と、R’/B’算出部238で算出されたR’/B’を比較する。
【0071】
比較結果は、モニタ180 に表示される。
【0072】
従って、上記のように、石英ファイバにより導光された蛍光の蛍光スペクトルから波長帯域480nm±30nmの蛍光と、波長帯域630nm±30nmの蛍光を切り出し、その光強度の比率であるR’/B’を算出し、基準値RE’と比較して、比較結果を表示することにより、信頼度の向上した情報を表示できる。
【0073】
また、本装置では、測定部位と石英ファイバ290 の先端部との距離を小さくすることができ、検出帯域幅を30nmにしても十分な光強度が得られる。このため切り出し波長帯域の狭帯域化により、一層信頼度の向上した情報を表示することができる。
【0074】
また、励起光照射手段として波長410nmのGaN系半導体レーザを用いることにより、光強度の検出に支障なく、装置の小型化および低価格化が可能となる。
【0075】
さらに、本装置では、光強度の比率が基準値RE’より大きいかまたは小さいかの比較を行い、表示するようにしたが、このような比較を行なうことなく、検出した2つの波長帯域の光強度の除算による比率をそのまま表示したり、あるいは各光強度を加色混合法により表示し、光強度の比率を表示画面の色合いの変化として表すこともできる。
【0076】
また、上記第1および第2の実施の形態にかかる各装置に使用されるモニタは、通常画像情報を表示するモニタ170 および比較結果を表示するモニタ180 を別個の構成としているが、一つのモニタで兼用することもできる。その際の表示の切換方法は、時系列的に自動的に切り替えられる方法でもよく、また測定者が切換手段を用いて、任意に切り替える方法でもよい。
【0077】
さらに、上記各実施の形態においては、480nm近傍の波長帯域と630nm近傍の波長帯域の蛍光を切り出して光強度の比率を求めたが、630nm近傍の波長帯域の蛍光の代わりに700nm近傍の波長帯域に蛍光を切り出して光強度の比率を求めてもよい。
【0078】
なお、GaN系半導体レーザおよび白色光源を別個の構成としたが、適当な光学透過フィルタを利用して、単一の光源を励起光と白色光源とで兼用することもできる。
【0079】
また、励起光導光用のファイバと蛍光導光用のファイバを分離することや、通常像をイメージファイバにより取得する等の本発明の基本構成内での変更が可能であることは言うまでもない。
【図面の簡単な説明】
【図1】本発明による蛍光表示装置を適用した第1の具体的な実施の形態である内視鏡装置の概略構成図
【図2】上記第1の具体的な実施の形態の内視鏡装置に使用されるモザイクフィルタの概略構成図
【図3】本発明による蛍光表示装置を適用した第2の具体的な実施の形態である内視鏡装置の概略構成図
【図4】上記第2の具体的な実施の形態の内視鏡装置に使用される切換フィルタの概略構成図
【図5】蛍光の蛍光スペクトルの強度分布を示す説明図
【図6】蛍光の蛍光スペクトルの強度比分布を示す説明図
【符号の説明】
10,11 測定部
20 観察部
L1,L4 白色光
L2,L5 励起光
L3,L6 蛍光
100,200 内視鏡
101,201 ライトガイド
102,202 CCDケーブル
107,125,206 CCD撮像素子
110,210 照明ユニット
111,211 白色光源
114,214 GaN系半導体レーザ
120 R/B算出ユニット
121,231 励起光カットフィルタ
123 モザイクフィルタ
124a,124b 光学フィルタ
127 蛍光画像メモリ
128 R/B算出部
130,240 比較ユニット
131,241 記憶部
132,242 比較部
140,250 画像処理ユニット
142,252 通常画像メモリ
143,253 ビデオ信号発生回路
150,260 コントローラ
170,180 モニタ
220 光路分離部
221 ダイクロイックミラー
230 R’/B’算出ユニット
233 切換フィルタ
224a,224b 光学フィルタ
236 光検出器
237 測定データメモリ
238 R’/B’算出部
290 石英ファイバ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a fluorescence display method and apparatus for irradiating an observation part of a living body with excitation light and displaying information according to the characteristics of autofluorescence emitted from a living body dye.
[0002]
[Prior art]
Conventionally, when the living body is irradiated with excitation light in the excitation wavelength region of the in vivo dye, the fluorescence intensity emitted differs between normal tissue and diseased tissue. There has been proposed a technique for displaying the localization / infiltration range of a diseased tissue as a fluorescence image by irradiating and receiving fluorescence emitted from a living body dye.
[0003]
Usually, when excitation light is irradiated, strong fluorescence is emitted from normal tissues and weak fluorescence is emitted from lesion tissues. Therefore, the lesion state can be determined by measuring the fluorescence intensity.
[0004]
This type of fluorescent display device basically includes an excitation light irradiating means for irradiating the living body with excitation light in the excitation wavelength region of the living body dye, and a fluorescence image of the living body by detecting the fluorescence emitted by the living body dye. An imaging means for imaging and an image display means for receiving the output of the imaging means and displaying the fluorescent image, and in many cases, an endoscope, a colposcope, or a surgical instrument inserted into a body cavity It is configured in a shape incorporated in a microscope or the like.
[0005]
By the way, in the fluorescent display device as described above, the distance from the excitation light irradiation system to the living body observation part is not uniform due to the unevenness of the part of the living body, and the excitation light illuminance in the excitation light irradiation part of the living body is generally non-uniform. is there. The fluorescence intensity is approximately proportional to the excitation light illuminance, and the excitation light illuminance decreases in inverse proportion to the square of the distance. Therefore, the lesion tissue nearer than the normal tissue far from the light source emits stronger fluorescence, or the fluorescence from the normal tissue at a position inclined with respect to the excitation light is extremely reduced. When the illuminance of the excitation light is not uniform in this way, the fluorescence intensity changes according to the level of the illuminance of the excitation light, so that the lesion state may be erroneously determined.
[0006]
On the other hand, in the apparatus shown in "FLUORESCENCE IMAGING OF EARLY LUNG CANCER" (Annual International Conference of the IEEE Engineering and Biology Society, Vol.12, No.3, 1990) The fluorescence generated from the living body dye is separated into the intensity of the green wavelength band (hereinafter referred to as green band intensity G) and the intensity of the red wavelength band (hereinafter referred to as red band intensity R). An image calculation based on the division between the intensity R and the green band intensity G is performed, and the division result is displayed. This is because the fluorescence spectrum is different between normal tissue and diseased tissue, that is, the fluorescence spectrum emitted by the in-vivo dye in the normal tissue part, the intensity of the green band is particularly low in the diseased tissue compared to the normal tissue. Therefore, in the diseased tissue, the fact that the decrease rate of the green band intensity G of fluorescence is much larger than the decrease rate of the red band intensity R is used, and the fluorescence from the lesion tissue is specifically determined by the division of R / G. Can be extracted and displayed as an image.
[0007]
That is, the division of R / G cancels the fluorescence intensity term depending on the distance between the excitation light source and the fluorescence light receiving part and the living body observation part, and a display reflecting only the difference in the shape of the fluorescence spectrum is obtained.
[0008]
[Problems to be solved by the invention]
However, conventionally, there has been a problem that a sufficient combination of detection wavelengths in which the difference in the shape of the fluorescence spectrum emitted from the normal tissue and the lesioned tissue appears remarkably is not performed, and a desirable combination of detection wavelengths is not presented as a numerical value. there were.
[0009]
In view of the above problems, the present invention examines a combination of detection wavelengths in which the difference in the shape of the fluorescence spectrum emitted from normal tissue and lesion tissue appears prominently, and extracts fluorescence at two appropriate detection wavelengths for which numerical values are presented. It is an object of the present invention to provide a fluorescent display device with improved reliability for detecting light intensity and displaying information according to the ratio between the two.
[0010]
[Means for Solving the Problems]
The fluorescence display method according to the present invention includes a light intensity in a predetermined wavelength band including 480 nm and 630 nm or 700 nm, in which a difference in spectral shape is noticeable from fluorescence emitted from a measurement unit of a living body irradiated with excitation light. The light intensity in a predetermined wavelength band is detected, and information corresponding to the ratio between the two is displayed.
[0011]
In addition, the fluorescent display device according to the present invention includes an excitation light irradiating unit that irradiates a living body measurement unit with excitation light,
First fluorescence intensity detection means for detecting light intensity in a predetermined wavelength band including 480 nm from fluorescence emitted from the measurement unit by irradiation of the excitation light;
Second fluorescence intensity detection means for detecting light intensity in a predetermined wavelength band including 630 nm or 700 nm from fluorescence emitted from the measurement unit;
And a display means for displaying information according to a ratio between the light intensity detected by the first fluorescence intensity detection means and the light intensity detected by the second fluorescence intensity detection means. It is.
[0012]
In the fluorescence display device, the first fluorescence intensity detection unit selects a fluorescence having a predetermined wavelength band including 480 nm from fluorescence emitted from the measurement unit by irradiation with the excitation light. A selection means, and a first light intensity detection means for detecting the light intensity of the fluorescence selected by the first wavelength selection means,
Second wavelength selection means for selecting fluorescence of a predetermined wavelength band including 630 nm or 700 nm from the fluorescence emitted from the measurement unit by the second fluorescence intensity detection means by irradiation of the excitation light; The second light intensity detecting means for detecting the light intensity of the fluorescence selected by the wavelength selecting means is desirable.
[0013]
The predetermined wavelength band selected by the first wavelength selection means is 480 nm ± 70 nm or less, and the predetermined wavelength band selected by the second wavelength selection means is 630 nm ± 70 nm or less or 700 nm ± 70 nm or less. It is preferable that
[0014]
Further, in the fluorescent display device according to the present invention, it is desirable to use light having a wavelength of 380 nm to 420 nm that is out of the characteristic light intensity peak of normal tissue as excitation light. As the excitation light irradiation means, a GaN-based semiconductor laser is suitable.
[0015]
The fluorescent display device described above can be applied to a device that detects a fluorescent image two-dimensionally or a device that detects the fluorescence intensity for each point of a living body part.
[0016]
As the wavelength selection means, for example, a desired wavelength band may be cut out by a dichroic mirror or the like, or a desired wavelength band may be cut out in a time division manner by switching an optical filter or the like. If the fluorescent image is to be detected two-dimensionally, the wavelength selection means may be one that cuts out a desired wavelength band by using a mosaic filter in which optical filters are connected in a mosaic shape, that is, a desired wavelength range. Anything can be selected.
[0017]
The display means may use any display method, for example, by detecting the light intensity in a predetermined wavelength band including 480 nm and the light intensity in a predetermined wavelength band including 630 nm or 700 nm, and monitoring the ratio between them. Or a method of displaying on a printer or the like, or a method of changing the hue or luminance of the display color according to the ratio of the light intensity, and the type is not limited.
[0018]
【The invention's effect】
When the living tissue is irradiated with excitation light, the living tissue emits fluorescence having a spectrum shown in FIG. This fluorescence is presumed to be superimposed with fluorescence from various in vivo pigments such as FAD, collagen, fibronectin, and porphyrin. FIG. 5 shows representative fluorescence spectra of fluorescence emitted from normal tissue and fluorescence emitted from diseased tissue measured by the inventors.
[0019]
The normal tissue portion and the diseased tissue have different fluorescence spectrum sizes and shapes, and the normal tissue has a large fluorescence overall, but the lesion tissue has an overall decrease in fluorescence. The normal tissue has a spectrum intensity peak in the vicinity of 480 nm, which is the blue band, and the lesion tissue has a spectrum intensity peak in the vicinity of 630 nm and 700 nm, which is the red band.
[0020]
FIG. 6 shows a fluorescence spectrum intensity ratio distribution in which the intensity ratio for each wavelength when the fluorescence intensity of the entire measurement bandwidth is set to 1 from each fluorescence spectrum. In the spectral intensity ratio distribution, the difference in the spectral shape of the fluorescence emitted from the normal tissue and the fluorescence emitted from the diseased tissue is shown more clearly.
[0021]
From these figures, the inventors examined the combination of detection wavelengths in which the difference in the shape of the fluorescence spectrum emitted from the normal tissue and the diseased tissue appears remarkably.
[0022]
As a result, when the light intensity ratio in the band near 480 nm and the light intensity near 630 nm or 700 nm were detected, it became clear that the ratio markedly represents the difference in fluorescence spectrum shape between normal tissue and lesion tissue. .
[0023]
That is, from the fluorescence detected from the measurement part whose tissue characteristics are unknown, the light intensity in a predetermined wavelength band including 480 nm where the characteristic light intensity increases in the normal tissue and the light intensity characteristically increases in the lesion tissue 630 nm. Alternatively, by detecting the light intensity in a predetermined wavelength band including 700 nm and displaying information according to the ratio, the observer can infer from the display whether the measurement site is normal tissue or lesion tissue. It becomes.
[0024]
From the above examination results, according to the fluorescent display device according to the present invention, the light intensity in the predetermined wavelength band including 480 nm and the predetermined wavelength band including 630 nm or 700 nm is calculated from the fluorescence emitted from the measurement unit by the irradiation of excitation light. By detecting and displaying information corresponding to the ratio between the two, information with improved reliability can be displayed.
[0025]
In addition, the detection of the light intensity in the predetermined wavelength band includes first wavelength selection means for selecting fluorescence in a predetermined wavelength band including 480 nm from fluorescence emitted from the measurement unit by irradiation of excitation light, A first light intensity detecting means for detecting the fluorescence intensity of the fluorescence selected by the first wavelength selecting means, and a first light intensity detecting means for selecting fluorescence in a predetermined wavelength band including 630 nm or 700 nm from the fluorescence emitted from the measurement unit. By using the second wavelength selecting means and the second light intensity detecting means for detecting the light intensity of the fluorescence selected by the second wavelength selecting means, it can be easily detected.
[0026]
Further, from the results of the fluorescence spectrum analysis illustrated in FIG. 5 and FIG. 6, when the bandwidth of each wavelength band exceeds ± 70 nm, it is detected from the lesion tissue for the light intensity of the predetermined bandwidth detected from the normal tissue in the vicinity of 480 nm. The ratio of the light intensity of the predetermined bandwidth increased, and in the wavelength band near 630 nm or 700 nm, the ratio of the light intensity of the predetermined bandwidth detected from the lesioned tissue to the light intensity of the predetermined bandwidth detected from the normal tissue May decrease. Therefore, the predetermined wavelength band selected by the first wavelength selection means is 480 nm ± 70 nm or less, and the predetermined wavelength band selected by the second wavelength selection means is 630 nm ± 70 nm or less or 700 nm ± 70 nm or less. Then, it became clear that the ratio of the light intensity having the desired reliability can be obtained.
[0027]
In addition, by using excitation light having a wavelength of 380 nm to 420 nm that deviates from the vicinity of 480 nm, which is characteristically increased in fluorescence emitted from normal tissue, fluorescence having a desired waveform of fluorescence spectrum is emitted and displayed. The reliability of is improved. Further, by using a GaN semiconductor laser as the excitation light irradiation means, it is possible to reduce the size and cost of the apparatus.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. First, an endoscope apparatus, which is a first specific embodiment to which a fluorescent display device according to the present invention is applied, will be described with reference to FIGS. 1 and 2. FIG. 1 is a schematic configuration diagram of an endoscope apparatus to which a fluorescent display device according to the present invention is applied. The biometric measurement unit is irradiated with excitation light, and fluorescence emitted from the measurement unit is two-dimensionally detected by an image fiber. Then, the light is received by the high-sensitivity imaging device, the light intensity B in the wavelength band 480 nm ± 70 nm and the light intensity R in the wavelength band 630 nm ± 70 nm are detected, R / B is calculated and displayed.
[0029]
The endoscope apparatus according to the first embodiment of the present invention includes an endoscope 100 inserted into a site suspected of being a patient's lesion, and a light source that emits white light for normal image observation and excitation light for fluorescence measurement. The illumination unit 110 receives fluorescence generated from the living body measurement unit by the excitation light during fluorescence display, and calculates an R / B. An R / B calculation unit 120 calculates a reference value stored in advance and the calculated R / B. The comparison unit 130 that compares and outputs a signal according to the comparison result, the image processing unit 140 that performs image processing for displaying the normal image and the comparison result as a visible image, and is connected to each unit to control the operation timing. The controller 150 includes a monitor 170 that displays normal image information processed by the image processing unit 140 as a visible image, and a monitor 180 that displays a comparison result.
[0030]
The endoscope 100 includes a light guide 101, a CCD cable 102, and an image fiber 103 that extend to the tip. An illumination lens 104 and an objective lens 105 are provided at the distal ends of the light guide 101 and the CCD cable 102, that is, at the distal end of the endoscope 100. Further, the image fiber 103 is a quartz glass fiber, and a condensing lens 106 is provided at the tip thereof. A CCD image sensor 107 is connected to the tip of the CCD cable 102, and a mirror 108 is attached to the CCD image sensor 107. The light guide 101 is a bundle of a white light light guide 101a, which is a multi-component glass fiber, and an excitation light light guide 101b, which is a quartz glass fiber, and is integrated into a cable shape. The white light light guide 101a and the excitation light light guide are integrated. 101b is connected to the lighting unit 110. One end of the CCD cable 102 is connected to the image processing unit 140, and one end of the image fiber 103 is connected to the R / B calculation unit 120.
[0031]
The illumination unit 110 includes a white light source 111 that emits white light L1 for normal image observation, a white light source power supply 112 that is electrically connected to the white light source 111, and a GaN-based semiconductor laser 114 that emits excitation light L2 for fluorescence observation. And a semiconductor laser power source 115 electrically connected to the GaN-based semiconductor laser 114.
[0032]
The R / B calculation unit 120 includes an excitation light cut filter 121 that cuts the wavelength in the vicinity of the excitation light from the fluorescence L3 that has passed through the image fiber 103, and a mosaic filter 123 in which two types of optical filters are combined on the mosaic. CCD image sensor 125, A / D conversion circuit 126 for digitizing the fluorescence signal received by the CCD image sensor 125, fluorescence image memory 127 for storing the fluorescence image, R / B from the values stored in the fluorescence image memory 127 An R / B calculation unit 128 is provided.
[0033]
The mosaic filter 123 is composed of two types of optical filters 124a and 124b as shown in FIG. 2. The optical filter 124a is a bandpass filter that transmits light of 480 nm ± 70 nm, and the optical filter 124b is 630 nm ± 70 nm. It is a band pass filter that transmits light.
[0034]
The comparison unit 130 compares the storage unit 131 in which the reference value RE is stored with the R / B calculated by the R / B calculation unit 127 and the reference value RE stored in the storage unit 131. It has.
[0035]
The reference value RE is a value set in advance based on R / B calculated from a living tissue that is clearly a normal tissue or a diseased tissue.
[0036]
The image processing unit 140 is output from the A / D conversion circuit 141 for digitizing the video signal obtained by the CCD image sensor 107, the normal image memory 142 for storing the digitized normal image signal, and the normal image memory 142. The video signal processing circuit 143 converts the image signal and the comparison result of the comparison unit 132 into a video signal.
[0037]
The operation of the endoscope apparatus having the above configuration to which the fluorescent display device according to the present invention is applied will be described below. First, the operation of the endoscope apparatus during normal image observation will be described.
[0038]
During normal observation, the white light source power source 112 is driven based on a signal from the controller 150, and white light L1 is emitted from the white light source 111. The white light L1 enters the white light guide 101a through the lens 113, is guided to the distal end portion of the endoscope, and is irradiated from the illumination lens 104 to the measurement unit 22.
[0039]
The reflected light of the white light L1 is collected by the objective lens 105, reflected by the mirror 108, and imaged on the CCD image sensor 107. The video signal from the CCD image sensor 107 is input to the A / D conversion circuit 141, digitized, and stored in the normal image memory 142. The normal image signal stored in the normal image memory 142 is input to the monitor 170 after DA conversion by the video signal generation circuit 143, and is displayed on the monitor 170 as a visible image. The above series of operations is controlled by the controller 150.
[0040]
Next, the operation when displaying a fluorescent image will be described. Based on the signal from the controller 150, the excitation light source power source 115 is driven, and the excitation light L2 having a wavelength of 410 nm is emitted from the GaN-based semiconductor laser 114. The excitation light L2 passes through the lens 116, enters the excitation light light guide 101b, is guided to the distal end portion of the endoscope, and is irradiated from the illumination lens 104 to the measurement unit 22.
[0041]
Fluorescence L3 from the measurement unit 22 generated by irradiating the excitation light L2 is condensed by the condenser lens 106, is incident on the tip of the image fiber 103, and is incident on the excitation light cut filter 121 via the image fiber 103. To do.
[0042]
The fluorescence L3 collected by the lens 122 passes through the mosaic filter 123 on-chip on the CCD image sensor 125, and is received by the CCD image sensor 125. The video signal from the CCD image sensor 125 is converted into an A / D conversion circuit 126. And is converted into digital data and stored in the fluorescence image memory 127.
[0043]
At this time, in the fluorescence image memory 127, the fluorescent video signals transmitted through the optical filters of the mosaic filter 123 are stored in different areas. Accordingly, fluorescence data in the wavelength band 480 nm ± 70 nm and fluorescence data in the wavelength band 630 nm ± 70 nm are alternately stored.
[0044]
The R / B calculation unit 128 calculates R / B for each area using data stored in adjacent areas of the fluorescence image memory 127.
[0045]
The comparison unit 132 compares the R / B of each area calculated by the R / B calculation unit 128 with the reference value RE stored in the storage unit 131.
[0046]
The comparison result is displayed on the monitor 180 as an image. By changing the display color of the measured area between when R / B is less than or equal to the reference value RE and when R / B is greater than the reference value RE, the measurer can instantly recognize the comparison result. Become.
[0047]
Further, the comparison may be performed not for each pixel but for each pixel corresponding to the binning process of the CCD image sensor 125, or for each pixel region in an arbitrary range desired by the measurer. . Alternatively, it is possible to compare only the region designated by the measurer, or to perform comparison by thinning out pixels as appropriate.
[0048]
When there is an area where comparison processing is not performed, the comparison area can be clearly displayed by displaying the display color of the area in a predetermined color. When the comparison pixel is thinned out, complementary display is performed based on the comparison result in the vicinity.
[0049]
As described above, a wavelength band of 480 nm ± 70 nm and a wavelength band of 630 nm ± 70 nm are cut out from the fluorescence emitted from the measurement part by irradiation with excitation light, and the ratio R / B of the light intensity is compared with the reference value RE. Then, by displaying the comparison result, information with improved reliability can be displayed.
[0050]
In addition, by using a GaN-based semiconductor laser having a wavelength of 410 nm as the excitation light irradiation means, it is possible to reduce the size and cost of the apparatus without hindering the detection of light intensity.
[0051]
In addition to the optical filter 124a that transmits a wavelength of 480 nm ± 70 nm and the optical filter 124b that transmits a wavelength band of 630 nm ± 70 nm as shown in FIG. The CCD image sensor 125 can be used for both normal image detection and fluorescence detection.
[0052]
In addition, if a CCD image sensor on which the above mosaic filter is on-chip is disposed at the endoscope tip, it can be used for both normal image detection and fluorescence detection.
[0053]
Further, in this apparatus, the comparison is made to display whether the ratio of the light intensity is larger or smaller than the reference value RE, but the light intensities in the two detected wavelength bands can be displayed without performing such a comparison. It is also possible to display the ratio obtained by dividing the number as it is, or display each light intensity by the additive color mixing method, and express the light intensity ratio as a change in the hue of the display screen.
[0054]
Next, with reference to FIGS. 3 and 4, an endoscope apparatus as a second specific embodiment to which the fluorescent display device according to the present invention is applied will be described. FIG. 3 is a schematic configuration diagram of an endoscope apparatus to which the fluorescence display device according to the present invention is applied. By irradiating the living body measuring section with excitation light and detecting the fluorescence generated thereby by the quartz fiber, The light intensity B ′ in the wavelength band 480 nm ± 30 nm and the light intensity R ′ in the wavelength band 630 nm ± 30 nm are detected from the fluorescence emitted from one point, and R ′ / B ′ is calculated and displayed.
[0055]
An endoscope apparatus according to an embodiment of the present invention includes an endoscope 200 that is inserted into a site suspected of being a patient's lesion, an illumination unit 210 that includes a white light for normal image observation and a light source that emits excitation light for fluorescence measurement. An optical path separation unit 220 that separates the optical path of the measured fluorescence from the excitation light, and an R ′ / B ′ calculation unit 230 that receives fluorescence generated from the biological measurement unit by the excitation light during fluorescence display and calculates R ′ / B ′. A comparison unit 240 that compares a pre-stored reference value with the calculated R ′ / B ′ and outputs a signal corresponding to the comparison result; an image for displaying a normal image and a comparison result as a visible image An image processing unit 250 that performs processing, a controller 260 that is connected to each unit and controls operation timing, a monitor 170 that displays normal image information processed by the image processing unit 250 as a visible image, and a comparison result Nita 180, and the excitation light and fluorescence are made of quartz fiber 290 for guiding.
[0056]
The endoscope 200 includes a force guide port 203 through which a light guide 201 extending to the tip, a CCD cable 202, and a quartz fiber 290 pass. An illumination lens 204 and an objective lens 205 are provided at the distal ends of the light guide 201 and the CCD cable 202, that is, at the distal end of the endoscope 200. A CCD image pickup element 206 is connected to the tip of the CCD cable 202, and a mirror 207 is attached to the CCD image pickup element 206. One end of the light guide 201 is connected to the illumination unit 210, and one end of the CCD cable 202 is connected to the image processing unit 250.
[0057]
The illumination unit 210 includes a white light source 211 that emits white light L4 for normal image observation, a white light source power supply 212 that is electrically connected to the white light source 211, and GaN as an excitation light source that emits excitation light L5 for fluorescence observation. A semiconductor laser 214 and a semiconductor laser power source 215 electrically connected to the GaN semiconductor laser 214.
[0058]
The optical path separation unit 220 causes the excitation light L5 output from the GaN-based semiconductor laser 214 to enter the silica fiber 290, and conversely, transmits the fluorescence L6 passing through the silica fiber 290 to the temporary principal component score calculation unit 230. 221 is provided.
[0059]
The R ′ / B ′ calculation unit 230 cuts out a desired wavelength band from the excitation light cut filter 231 that cuts the wavelength in the vicinity of the excitation light from the fluorescence L6 that has passed through the quartz fiber 290, and the fluorescence L6 that has passed through the excitation light cut filter 231. A switching filter 233, a filter rotating device 235 for rotating the switching filter 233, a photodetector 236 for measuring the light intensity of the fluorescence transmitted through the switching filter 233, and measurement data for storing the measurement data stored in the photodetector 236 An R ′ / B ′ calculating unit 238 for calculating R ′ / B ′ from values stored in the memory 237 and the measurement data memory 237 is provided.
[0060]
The switching filter 233 is composed of two types of optical filters 234a and 234b as shown in FIG. 4. The optical filter 234a is a bandpass filter that transmits light of 480 nm ± 30 nm, and the optical filter 234b is 630 nm ± 30 nm. It is a band pass filter that transmits light.
[0061]
The comparison unit 240 includes a storage unit 241 in which the reference value RE ′ is stored, R ′ / B ′ calculated by the R ′ / B ′ calculation unit 237, and a reference value RE ′ stored in the storage unit 241. A comparison unit 242 for comparing the two.
[0062]
The reference value RE ′ is set based on R ′ / B ′ obtained from a biological tissue previously recognized as a normal tissue or a diseased tissue, and stored in the storage unit 241.
[0063]
The image processing unit 250 is output from the A / D conversion circuit 251 for digitizing the video signal obtained by the CCD image sensor 206, the normal image memory 252 for storing the digitized normal image signal, and the normal image memory 252. And a video signal processing circuit 253 for converting the comparison result of the image signal and the comparison unit 242 into a video signal.
[0064]
The operation of the endoscope apparatus having the above configuration to which the fluorescent display device according to the present invention is applied will be described below. First, the operation of the endoscope apparatus during normal image observation will be described. During normal observation, the white light source power source 212 is driven based on a signal from the controller 260, and white light L4 is emitted from the white light source 211. The white light L4 enters the light guide 201 through the lens 213, is guided to the distal end portion of the endoscope, and is irradiated from the illumination lens 204 to the observation unit 20 including the measurement unit 11.
[0065]
The reflected light of the white light L4 is condensed by the objective lens 205, reflected by the mirror 207 at a right angle, and imaged on the CCD image pickup device 206. The video signal from the CCD image sensor 206 is input to the A / D conversion circuit 251, digitized, and stored in the normal image memory 252. The normal image signal stored in the normal image memory 252 is input to the monitor 270 after DA conversion by the video signal generation circuit 253 and is displayed on the monitor 270 as a visible image. The above series of operations is controlled by the controller 260.
[0066]
Next, the operation at the time of displaying fluorescence information will be described. Based on the signal from the controller 260, the excitation light source power source 215 is driven and the GaN-based semiconductor laser 214 emits excitation light L5 having a wavelength of 410 nm. The excitation light L5 passes through the lens 216 and travels toward the dichroic mirror 221. The excitation light L5 reflected by the dichroic mirror 221 is incident on the quartz fiber 290 by the lens 222, guided through the forceps port 203 of the endoscope, to the vicinity of the measurement unit 11, and from the tip of the quartz fiber 290 to the measurement unit 11 Is irradiated.
[0067]
Fluorescence L6 from the measurement unit 11 generated by irradiating the excitation light L5 is incident on the tip of the quartz fiber 290 and travels to the dichroic mirror 221 through the quartz fiber 290 and the lens 222. The dichroic mirror 221 has a structure that allows light incident from the left side in the figure to pass therethrough. The fluorescence L6 that has passed through the dichroic mirror 221 passes through the excitation light cut filter 231 and the lens 232, and enters the switching filter 233. The excitation light cut filter 231 is a long pass filter that transmits all fluorescence having a wavelength of 420 nm or more. Since the wavelength of the excitation light L5 is 410 nm, the excitation light L5 reflected by the measurement unit 11 is cut by the excitation light cut filter 231 and does not enter the switching filter 233.
[0068]
Under the control of the controller 260, the filter rotating device 235 is driven, and the fluorescence L6 sequentially passes through the optical filter 234a or 234b and then enters the photodetector 236, and the light intensity is detected. At the same time, in the measurement data memory 237, under the control of the controller 260, the fluorescence light intensity B ′ transmitted through the optical filter 234a is stored in a predetermined area in the measurement data memory 237, and the fluorescence light transmitted through the optical filter 234b. The intensity R ′ is stored in different areas.
[0069]
The R ′ / B ′ calculating unit 238 calculates R ′ / B ′ from the fluorescence light intensity data stored in the measurement data memory 237.
[0070]
The comparison unit 242 compares the reference value RE ′ stored in the storage unit 241 with R ′ / B ′ calculated by the R ′ / B ′ calculation unit 238.
[0071]
The comparison result is displayed on the monitor 180.
[0072]
Therefore, as described above, the fluorescence of the wavelength band of 480 nm ± 30 nm and the fluorescence of the wavelength band of 630 nm ± 30 nm are cut out from the fluorescence spectrum of the fluorescence guided by the quartz fiber, and R ′ / B ′ which is the ratio of the light intensity. Is calculated, compared with the reference value RE ′, and the comparison result is displayed, whereby information with improved reliability can be displayed.
[0073]
Further, in this apparatus, the distance between the measurement site and the tip of the quartz fiber 290 can be reduced, and sufficient light intensity can be obtained even when the detection bandwidth is 30 nm. Therefore, information with further improved reliability can be displayed by narrowing the cut-out wavelength band.
[0074]
In addition, by using a GaN-based semiconductor laser having a wavelength of 410 nm as the excitation light irradiation means, it is possible to reduce the size and cost of the apparatus without hindering the detection of light intensity.
[0075]
Further, in this apparatus, the comparison is made to display whether the ratio of the light intensity is larger or smaller than the reference value RE ′, but the light of the two wavelength bands detected without performing such a comparison. The ratio obtained by dividing the intensity can be displayed as it is, or each light intensity can be displayed by the additive color mixing method, and the ratio of the light intensity can be expressed as a change in the hue of the display screen.
[0076]
In addition, the monitors used in the devices according to the first and second embodiments have a monitor 170 for displaying normal image information and a monitor 180 for displaying comparison results, which are configured separately. Can also be used in combination. The display switching method at that time may be a method of automatically switching in time series, or a method in which the measurer arbitrarily switches using the switching means.
[0077]
Further, in each of the above embodiments, the ratio of the light intensity was obtained by cutting out the fluorescence in the wavelength band near 480 nm and the wavelength band near 630 nm, but the wavelength band near 700 nm was used instead of the fluorescence in the wavelength band near 630 nm. Alternatively, the fluorescence intensity may be cut out to obtain the ratio of the light intensity.
[0078]
Although the GaN-based semiconductor laser and the white light source are configured separately, a single light source can be used for both the excitation light and the white light source by using an appropriate optical transmission filter.
[0079]
Further, it goes without saying that it is possible to make changes within the basic configuration of the present invention, such as separating the excitation light guiding fiber and the fluorescence guiding fiber, or acquiring a normal image with an image fiber.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an endoscope apparatus as a first specific embodiment to which a fluorescent display device according to the present invention is applied.
FIG. 2 is a schematic configuration diagram of a mosaic filter used in the endoscope apparatus according to the first specific embodiment;
FIG. 3 is a schematic configuration diagram of an endoscope apparatus that is a second specific embodiment to which a fluorescent display device according to the present invention is applied;
FIG. 4 is a schematic configuration diagram of a switching filter used in the endoscope apparatus according to the second specific embodiment;
FIG. 5 is an explanatory diagram showing the intensity distribution of the fluorescence spectrum of fluorescence.
FIG. 6 is an explanatory diagram showing the intensity ratio distribution of the fluorescence spectrum of fluorescence.
[Explanation of symbols]
10,11 Measuring unit
20 Observation section
L1, L4 white light
L2, L5 excitation light
L3, L6 fluorescence
100,200 endoscope
101,201 Light guide
102,202 CCD cable
107,125,206 CCD image sensor
110,210 Lighting unit
111,211 White light source
114,214 GaN semiconductor laser
120 R / B calculation unit
121,231 Excitation light cut filter
123 Mosaic filter
124a, 124b Optical filter
127 Fluorescent image memory
128 R / B calculator
130,240 comparison unit
131,241 Memory unit
132,242 Comparison section
140,250 image processing unit
142,252 Normal image memory
143,253 Video signal generator
150,260 controller
170,180 monitor
220 Optical path separator
221 dichroic mirror
230 R '/ B' calculation unit
233 Switching filter
224a, 224b Optical filter
236 photodetector
237 Measurement data memory
238 R '/ B' calculator
290 quartz fiber

Claims (6)

励起光を照射された生体の測定部から発せられた蛍光から、480 nm ±15 nm の波長帯域の全てを含む波長帯域の光強度と、630nmまたは700nm を含む所定の波長帯域の光強度を検出して、両者の比率に応じた情報を表示することを特徴とする蛍光表示方法。Detects the light intensity in the wavelength band including all of the 480 nm ± 15 nm wavelength band and the light intensity in the predetermined wavelength band including 630 nm or 700 nm from the fluorescence emitted from the measurement part of the living body irradiated with the excitation light. And displaying information according to the ratio between the two. 励起光を生体の測定部に照射する励起光照射手段と、
前記励起光の照射により前記測定部から発せられた蛍光から、480 nm ±15 nm の波長帯域の全てを含む波長帯域の光強度を検出する第1の蛍光強度検出手段と、
前記測定部から発せられた蛍光から、630nmまたは700nmを含む所定の波長帯域の光強度を検出する第2の蛍光強度検出手段と、
前記第1の蛍光強度検出手段で検出された光強度と、前記第2の蛍光強度検出手段で検出された光強度の比率に応じた情報を表示する表示手段とを備えたことを特徴とする蛍光表示装置。
An excitation light irradiation means for irradiating the measurement part of the living body with the excitation light;
First fluorescence intensity detection means for detecting light intensity in a wavelength band including all of a wavelength band of 480 nm ± 15 nm from fluorescence emitted from the measurement unit by irradiation of the excitation light;
Second fluorescence intensity detection means for detecting light intensity in a predetermined wavelength band including 630 nm or 700 nm from fluorescence emitted from the measurement unit;
And a display means for displaying information according to a ratio between the light intensity detected by the first fluorescence intensity detection means and the light intensity detected by the second fluorescence intensity detection means. Fluorescent display device.
前記第1の蛍光強度検出手段が、前記励起光の照射により前記測定部から発せられた蛍光から、480 nm ±15 nm の波長帯域の全てを含む波長帯域の蛍光を選択する第1の波長選択手段と、該第1の波長選択手段で選択された蛍光の光強度を検出する第1の光強度検出手段とから構成され、
前記第2の蛍光強度検出手段が前記励起光の照射により前記測定部から発せられた蛍光から、630nmまたは700nmを含む所定の波長帯域の蛍光を選択する第2の波長選択手段と、該第2の波長選択手段により選択された蛍光の光強度を検出する第2の光強度検出手段とから構成されることを特徴とする請求項2記載の蛍光表示装置。
A first wavelength selection unit that selects fluorescence in a wavelength band including all of a wavelength band of 480 nm ± 15 nm from fluorescence emitted from the measurement unit by irradiation of the excitation light; And a first light intensity detecting means for detecting the light intensity of the fluorescence selected by the first wavelength selecting means,
Second wavelength selection means for selecting fluorescence in a predetermined wavelength band including 630 nm or 700 nm from the fluorescence emitted from the measurement unit by the second fluorescence intensity detection means by irradiation of the excitation light; 3. The fluorescent display device according to claim 2, further comprising second light intensity detecting means for detecting the light intensity of the fluorescence selected by the wavelength selecting means.
前記第1の波長選択手段により選択される所定の波長帯域が480nm±70nm以下であり、前記第2の波長選択手段により選択される所定の波長帯域が630nm±70nm以下または700nm±70nm以下であることを特徴とする請求項3記載の蛍光表示装置。  The predetermined wavelength band selected by the first wavelength selection means is 480 nm ± 70 nm or less, and the predetermined wavelength band selected by the second wavelength selection means is 630 nm ± 70 nm or less or 700 nm ± 70 nm or less. The fluorescent display device according to claim 3. 前記励起光の波長が380nmから420nmであることを特徴とする請求項2から4何れか1項記載の蛍光表示装置。  The fluorescent display device according to claim 2, wherein a wavelength of the excitation light is 380 nm to 420 nm. 前記励起光照射手段がGaN系の半導体レーザであることを特徴とする請求項2から5何れか1項記載の蛍光表示装置。  6. The fluorescent display device according to claim 2, wherein the excitation light irradiation means is a GaN semiconductor laser.
JP31294399A 1999-11-02 1999-11-02 Fluorescence display method and apparatus Expired - Lifetime JP3881143B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP31294399A JP3881143B2 (en) 1999-11-02 1999-11-02 Fluorescence display method and apparatus
EP00123748A EP1097670B1 (en) 1999-11-02 2000-10-31 Apparatus for displaying fluorescence information
DE60045146T DE60045146D1 (en) 1999-11-02 2000-10-31 Device for displaying fluorescence
US09/703,674 US6465968B1 (en) 1999-11-02 2000-11-02 Method and apparatus for displaying fluorescence information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31294399A JP3881143B2 (en) 1999-11-02 1999-11-02 Fluorescence display method and apparatus

Publications (2)

Publication Number Publication Date
JP2001128926A JP2001128926A (en) 2001-05-15
JP3881143B2 true JP3881143B2 (en) 2007-02-14

Family

ID=18035353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31294399A Expired - Lifetime JP3881143B2 (en) 1999-11-02 1999-11-02 Fluorescence display method and apparatus

Country Status (1)

Country Link
JP (1) JP3881143B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210041157A (en) * 2019-10-04 2021-04-15 동국대학교 산학협력단 Real-Time Biopsy Analysis System and Method Thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217673A (en) * 2011-04-11 2012-11-12 Fujifilm Corp Endoscopic diagnosis system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07155291A (en) * 1993-12-03 1995-06-20 Olympus Optical Co Ltd Fluorescence observation apparatus
JPH07250804A (en) * 1994-03-15 1995-10-03 Olympus Optical Co Ltd Fluorescence observer
JP3796635B2 (en) * 1996-03-06 2006-07-12 富士写真フイルム株式会社 Fluorescence detection device
JPH11177185A (en) * 1997-12-11 1999-07-02 Toyoda Gosei Co Ltd Gallium nitride compound semiconductor laser

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210041157A (en) * 2019-10-04 2021-04-15 동국대학교 산학협력단 Real-Time Biopsy Analysis System and Method Thereof
KR102303701B1 (en) 2019-10-04 2021-09-17 동국대학교 산학협력단 Real-Time Biopsy Analysis System and Method Thereof

Also Published As

Publication number Publication date
JP2001128926A (en) 2001-05-15

Similar Documents

Publication Publication Date Title
US6678398B2 (en) Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP3862582B2 (en) Fluorescence image acquisition method, apparatus and program
JP2003339623A (en) Method and apparatus for generating fluorescent diagnostic information
US20130006109A1 (en) Endoscope apparatus
JP2006263044A (en) Fluorescence detecting system
US6465968B1 (en) Method and apparatus for displaying fluorescence information
JP4298151B2 (en) Fluorescent image display method and apparatus
JP2015029841A (en) Imaging device and imaging method
JPH0785135B2 (en) Endoscope device
EP2926713A1 (en) Observation device
JP2001157658A (en) Fluorescent image display device
WO1999001749A1 (en) Fluorescence imaging system
US9596982B2 (en) Endoscope system and composite image generation method
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP2001178672A (en) Fluorescent image display device
JP2004024656A (en) Fluorescent endoscope equipment
JP5147538B2 (en) Fluorescence image acquisition device and method of operating fluorescence image acquisition device
JP2003164414A (en) Method and device for displaying fluoroscopic image
JP3881142B2 (en) Fluorescence display method and apparatus
JP4495513B2 (en) Fluorescence endoscope device
JP2001161696A (en) Method and apparatus for acquiring fluorescent image
JP2002345739A (en) Image display device
JP2002336187A (en) Method and apparatus for forming normalized fluorescent image
JP3881143B2 (en) Fluorescence display method and apparatus
JP2004024496A (en) Method and apparatus for forming fluorescent diagnostic image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061109

R150 Certificate of patent or registration of utility model

Ref document number: 3881143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term