JP3881142B2 - 蛍光表示方法および装置 - Google Patents

蛍光表示方法および装置 Download PDF

Info

Publication number
JP3881142B2
JP3881142B2 JP31294299A JP31294299A JP3881142B2 JP 3881142 B2 JP3881142 B2 JP 3881142B2 JP 31294299 A JP31294299 A JP 31294299A JP 31294299 A JP31294299 A JP 31294299A JP 3881142 B2 JP3881142 B2 JP 3881142B2
Authority
JP
Japan
Prior art keywords
light intensity
wavelength band
light
fluorescence
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31294299A
Other languages
English (en)
Other versions
JP2001128925A (ja
Inventor
知成 千代
Original Assignee
富士フイルムホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルムホールディングス株式会社 filed Critical 富士フイルムホールディングス株式会社
Priority to JP31294299A priority Critical patent/JP3881142B2/ja
Priority to EP00123748A priority patent/EP1097670B1/en
Priority to DE60045146T priority patent/DE60045146D1/de
Priority to US09/703,674 priority patent/US6465968B1/en
Publication of JP2001128925A publication Critical patent/JP2001128925A/ja
Application granted granted Critical
Publication of JP3881142B2 publication Critical patent/JP3881142B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、生体の観察部に励起光を照射し、生体内在色素から発せられる自家蛍光の特性に応じた情報を表示する蛍光表示方法および装置に関するものである。
【0002】
【従来の技術】
従来より、生体内在色素の励起波長領域にある励起光を生体に照射した場合に、正常組織と病変組織では、発する蛍光強度が異なることを利用して、生体観察部に所定波長の励起光を照射し、生体内在色素が発する蛍光を受光することにより病変組織の局在・浸潤範囲を蛍光画像として表示する技術が提案されている。
【0003】
通常、励起光を照射すると、図5に示すように、正常組織からは強い蛍光が発せられ、病変組織からは微弱な蛍光が発せられるため、表示された蛍光画像に基づいて、観察者は病変状態を判定することができる。
【0004】
この種の蛍光表示装置は基本的に、生体内在色素の励起波長領域にある励起光を生体に対して照射する励起光照射手段と、生体内在色素が発する蛍光を検出する蛍光検出手段と、蛍光検出手段の検出結果を表示する表示手段とからなるものであり、多くの場合、体腔内部に挿入される内視鏡や、コルポスコープあるいは手術用顕微鏡等に組み込まれた形に構成される。
【0005】
ところで、上述のような蛍光表示装置においては、病変組織の判定の信頼度を向上させるためには、全測定波長帯域の総蛍光強度を反映させた蛍光画像を表示するよりは、正常組織と病変組織の蛍光強度の差が大きい波長帯域を切り出し、その切り出した波長帯域の光強度を反映させた蛍光画像を表示したほうが、正常組織と病変組織のコントラストが大きくなり、病変状態の判定精度を向上させることができる。このため、正常組織と病変組織での蛍光強度差が比較的大きい緑色波長帯域の蛍光強度を選択的に検出して表示する蛍光表示装置が提案されている。
【0006】
【発明が解決しようとする課題】
しかしながら、生体組織から発せられる蛍光は非常に弱いものであるため、従来では、光強度を確保するために、緑色波長帯域をカバーする広い帯域幅の波長帯域を切り出すことが多かった。このため、望ましい中心波長や帯域幅に関する十分な検討は行われず、望ましい検出波長および検出帯域幅が数値として提示されていないという問題があった。
【0007】
本発明は上記問題に鑑み、正常組織と病変組織から発せられた蛍光の蛍光強度の違いが顕著に顕れる検出波長や検出帯域幅に関して検討し、数値で提示された適切な波長帯域で蛍光を切り出して光強度を検出し、その光強度に応じた情報を表示する信頼度の向上した蛍光表示装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明による第1の蛍光表示方法は、励起光を照射された生体の測定部から発せられた蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmを含む波長帯域の光強度Bを検出し、該光強度Bに応じた情報を表示することを特徴とするものである。
【0009】
また、本発明による第2の蛍光表示方法は、励起光を照射された生体の測定部から発せられた蛍光から、全測定波長帯域の光強度Wと、
480nm±70nm以下であって少なくとも450nm〜480nmを含む波長帯域の光強度B’、630nm±70nm以下であって少なくとも600nm〜630nmを含む波長帯域の光強度R1または700nm±70nm以下であって少なくとも700nm〜710nmを含む波長帯域の光強度R2の中の少なくとも1つの光強度を検出し、この検出した光強度と前記光強度Wとの比率に応じた情報を表示することを特徴とするものである。
【0010】
本発明による第3の蛍光表示方法は、励起光を照射された生体の測定部から発せられた蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmを含む波長帯域の光強度Bと、
全測定波長帯域の光強度Wと、
480nm±70nm以下であって少なくとも450nm〜480nmを含む波長帯域の光強度B’、630nm±70nm以下であって少なくとも600nm〜630nmを含む波長帯域の光強度R1または700nm±70nm以下であって少なくとも700nm〜710nmを含む波長帯域の光強度R2の中の少なくとも1つの光強度を検出し、
前記光強度B’、R1、R2のうち前記検出した光強度と前記光強度Wとの比率と、前記光強度Bとに基づいた情報を表示することを特徴とするものである。
【0011】
なお、前記少なくとも1つの光強度として光強度B’を検出する場合、光強度B’は光強度Bと同一であっても、異なってもよく、同一の場合には、光強度Bと別個に光強度B’を検出することなく光強度Bを光強度B’として用いても良い。この様に光強度B’として光強度Bを用いた場合も、本発明では「光強度B’を検出し」に該当するものである。
【0012】
また、本発明の第1に蛍光表示装置は、励起光を生体の測定部に照射する励起光照射手段と、
前記励起光の照射により前記測定部から発せられた蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmを含む波長帯域の光強度Bを検出する第1の光強度検出手段と、
前記第1の光強度検出手段で検出された光強度Bに応じた情報を表示する蛍光表示手段とを備えることを特徴とするものである。
【0013】
本発明の第2の蛍光表示装置は、励起光を生体の測定部に照射する励起光照射手段と、
前記励起光の照射により前記測定部から発せられた蛍光から、全測定波長帯域の光強度Wを検出する第2の光強度検出手段と、
前記蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmを含む波長帯域の光強度B’を検出する第3の光強度検出手段、630nm±70nm以下であって少なくとも600nm〜630nmを含む波長帯域の光強度R1を検出する第4の光強度検出手段または700nm±70nm以下であって少なくとも700nm〜710nmを含む波長帯域の光強度R2を検出する第5の光強度検出手段の中の少なくとも1つの光強度検出手段と、
前記1つの光強度検出手段で検出した光強度と前記光強度Wとの比率に応じた情報を表示する蛍光表示手段とを備えることを特徴とするものである。
【0014】
さらに、本発明の第3の蛍光表示装置は、励起光を生体の測定部に照射する励起光照射手段と、
前記励起光の照射により前記測定部から発せられた蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmを含む波長帯域の光強度Bを検出する第1の光強度検出手段と、
全測定波長帯域の光強度Wを検出する第2の光強度検出手段と、
前記蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmを含む波長帯域の光強度B’を検出する第3の光強度検出手段、630nm±70nm以下であって少なくとも600nm〜630nmを含む波長帯域の光強度R1を検出する第4の光強度検出手段または700nm±70nm以下であって少なくとも700nm〜710nmを含む波長帯域の光強度R2を検出する第5の光強度検出手段の中の少なくとも1つの光強度検出手段と、
前記1つの光強度検出手段で検出した光強度と前記光強度Wとの比率と、前記光強度Bとに基づいた情報を表示する蛍光表示手段とを備えることを特徴とするものである。
【0015】
なお、前記少なくとも1つの光強度検出手段として第3の光強度検出手段を備える場合、第3の光強度検出手段は第1の光強度検出手段と同一であっても、異なっていてもよく、同一の場合には、第1の光強度検出手段と別個に第3の光強度検出手段を備えることなく、第1の光強度検出手段を第3の光強度検出手段として用いても良い。この様に、第3の光強度検出手段として第1の光強度検出手段を用いる場合も、本発明では「第3の光強度検出手段を備え」に該当するものである。
【0016】
本発明における蛍光表示装置においては、上記蛍光強度検出手段が、測定部から発せられる蛍光を2次元的に撮像する撮像素子と、該撮像素子の前面に設けられ、所望の波長帯域を選択する波長選択手段とを備えることが好ましい。
【0017】
また、上記蛍光強度検出手段が、生体部位上の1点から発せられる蛍光を取得する蛍光取得手段を備えるものでもよい。
【0018】
また、本発明における蛍光表示装置においては、励起光として、正常組織の特徴的な光強度ピークから外れた、380nmから420nmの波長の光を用いることが望ましい。上記励起光照射手段としては、GaN系の半導体レーザが好適である。
【0019】
また上記表示手段における表示方法としては、如何なるものでも良く、例えば、480nmを含む所定の波長帯域の光強度と全測定波長帯域の光強度を検出して、両者の比率に応じた情報を表示する場合であれば、光強度の比率をモニタやプリンタ等に表示する方法でもよく、また単に光強度の比率に応じて、表示色の色合いや輝度値を変化させる方法でもよく、その種別を問わない。
【0020】
【発明の効果】
生体組織に励起光が照射されているとき、生体組織からは、図5にスペクトルを示すような自家蛍光が発せられる。この自家蛍光は、FAD、コラーゲン、ファイブロネクチン、ポルフィリン、等の種々の生体内在色素からの蛍光が重畳したものと推測されている。図5には、発明者等により測定された、正常組織から発せられた蛍光と病変組織から発せられた蛍光の代表的な蛍光スペクトルが記載されている。
【0021】
正常組織部と病変組織とでは、蛍光スペクトルの大きさが異なると共に形状も異なり、正常組織は自家蛍光が全体的に大きいが病変組織は自家蛍光が全体的に減少する。また、正常組織では、青色帯域である480nm近傍にスペクトル強度のピークを有しているが、病変組織では、僅かな蛍光が発せられれているのみである。この図から、正常組織と病変組織から発せられた蛍光スペクトルのスペクトル強度の差異が顕著に現れる波長は480nm近傍であり、検出波長の中心波長としては480nmが望ましいことがわかる。
【0022】
発明者等は、さらに複数の被測定者を対象とし、病変組織とその近傍の正常組織から発せられた蛍光スペクトルを検出し、各々の蛍光スペクトルから480nmを中心波長とし、測定帯域幅を変化させた場合の光強度を算出し、その比を求めた。図6にその算出結果を示す。
【0023】
この図から、正常組織から検出した光強度と病変組織から検出した光強度の比は、測定帯域幅が100nm以下すなわち480nm±50nm以下の場合にはほとんど変化せず、帯域幅が150nmに達すると、光強度の比が増加して1に近づき、正常組織から発せられた蛍光と病変組織から発せられた蛍光のコントラストが低下していることがわかる。このことから、正常組織から検出した光強度と病変組織から検出した光強度の比がほとんど増加していない帯域幅である140nmすなわち480nm±70nm以下の波長帯域の蛍光を切り出すことが望ましいことがわかった。
【0024】
なお、蛍光スペクトルのピーク位置は、個体間や同一個体でも測定部位間に若干ばらつきが生じることがあるため、少なくも450nm〜480nmを含む波長帯域の光強度を検出することが望ましいことが、実験結果より明らかとなった。
【0025】
また、各蛍光スペクトルから全測定帯域幅の蛍光強度を1とした場合の各波長毎の強度比を求めた蛍光スペクトル強度比分布を図7に示す。スペクトル強度比分布では、強度比を算出することにより、測定距離などの測定条件の違いの影響を除去することができ、正常組織から発せられた蛍光と病変組織から発せられた蛍光のスペクトル形状の違いが明確に示される。正常組織では、480nm近傍にスペクトル強度のピークを有し、病変組織では、630nm近傍と700nm近傍でスペクトル強度のピークを有している。
【0026】
発明者等は、正常組織と病変組織から発せられた蛍光スペクトルの形状の違いが顕著に現れる測定波長および測定帯域幅に関して、中心波長を480nm、600nmおよび700nmとし、上記と同様の方法で検討した。図8は480nmを中心波長とし、測定帯域幅を変化させた場合の正常組織と病変組織の光強度を算出し、その比を求めたものである。
【0027】
その結果、スペクトル強度分布と同様に、スペクトル強度比分布においても、中心波長が480nmである場合には、正常組織から検出した光強度と病変組織から検出した光強度の比がほとんど増加せず、正常組織と病変組織のコントラストが低下していない帯域幅である140nmすなわち480nm±70nm以下で少なくも450nm〜480nmの波長帯域を含む蛍光を切り出すことが望ましいことがわかった。
【0028】
さらに、説明図は省略したが、中心波長を630nmとした場合には、630nm±70nm以下で少なくも600nm〜630nmを含む波長帯域の蛍光を切り出すことが望ましく、中心波長を700nmとした場合には、700nm±70nm以下で少なくも700nm〜710nmを含む波長帯域を切り出すことが望ましいことが明らかとなった。
【0029】
すなわち、組織性状が不明な測定部から検出した蛍光から、上記波長帯域の蛍光を切り出し、光強度を検出し、光強度に応じた情報を表示することにより、観察者はその表示から測定部位が正常組織であるか病変組織であるかを精度良く推測可能となる。
【0030】
上記検討結果から、本発明による第1の蛍光表示装置によれば、励起光の照射により測定部から発せられた蛍光から、480nm±70nm以下であって、少なくも450nm〜480nmを含む波長帯域の光強度Bを検出し、光強度Bに応じた情報を表示する信頼度の向上した情報を表示することができる。
【0031】
本発明の第2の蛍光表示装置によれば、励起光の照射により測定部から発せられた蛍光の480nm±70nm以下であって少なくも450〜480nmを含む波長帯域の光強度B’、630nm±70nm以下であって少なくも600nm〜630nmを含む波長帯域の光強度R1または700nm±70nm以下であって少なくも700〜710nmを含む波長帯域の光強度R2と全測定帯域の光強度Wとの比率に応じた情報を表示することにより、測定距離あるいは測定角度等の測定条件の変動に起因するスペクトル強度変動の影響が低減され、スペクトル波形の特徴を示す信頼性の向上した情報を表示することができる。
【0032】
本発明の第発明による第3の蛍光表示装置では、励起光の照射により測定部から発せられた蛍光の480nm近傍の波長帯域の光強度Bと、480nm近傍の波長帯域の光強度B’、630nm近傍の波長帯域の光強度R1または700nm近傍の波長帯域の光強度R2と全測定帯域の光強度Wとの比率とに基づいた情報を表示することにより、スペクトル強度およびスペクトル波形の両者の特性を加味した信頼性の向上した情報を表示することができる。
【0033】
上記第1から第3の蛍光表示装置では、蛍光を2次元的に撮像する撮像素子を備えることにより、短時間で広範囲に及ぶ蛍光の情報を表示することができる。
【0034】
また、生体部上の1点から発せられる蛍光を取得する蛍光取得手段を備えることにより、所望の部位から発せられる蛍光の情報を表示できる。
【0035】
なお、正常組織から発せられる蛍光において特徴的に光強度が大きくなる480nm近傍から外れた380nmから420nmの波長の励起光を用いることにより、望ましい波形の蛍光スペクトルを備える蛍光が発せられ、表示される情報の信頼度が向上する。また、上記励起光照射手段としてGaN系半導体レーザを用いることにより、装置の小型化および低価格化が可能となる。
【0036】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。まず、図1および図2を参照して、本発明による蛍光表示装置を適用した第1の具体的な実施の形態である内視鏡装置について説明する。図1は本発明による蛍光表示装置を適用した内視鏡装置の概略構成図であり、生体測定部に励起光を照射して、測定部から発せられた蛍光をイメージファイバにより2次元的に検出し、高感度撮像素子で受光して、波長帯域480nm±70nmの光強度Ba’と全測定波長帯域の光強度Waを検出し、Ba’/Waを算出し、表示するものである。
【0037】
本発明の第1の実施の形態にかかる内視鏡装置は、患者の病巣と疑われる部位に挿入される内視鏡100 、通常像観察用白色光および蛍光測定用励起光を発する光源を備える照明ユニット110 、蛍光表示時に前記励起光により生体測定部から生じた蛍光を受光し、Ba’/Waを算出するBa’/Wa算出ユニット120 、予め記憶されている基準値と、算出したBa’/Waを比較して、比較結果に応じた信号を出力する比較ユニット130 、通常画像および比較結果を可視画像として表示するための画像処理を行う画像処理ユニット140 、各ユニットに接続され、動作タイミングの制御を行うコントローラ150 、画像処理ユニット140 で処理された通常画像情報を可視画像として表示するモニタ170 、比較結果結果を表示するモニタ180 から構成されている。
【0038】
内視鏡100 は、内部に先端まで延びるライトガイド101 、CCDケーブル102 およびイメージファイバ103 を備えている。ライトガイド101 およびCCDケーブル102 の先端部、即ち内視鏡100 の先端部には、照明レンズ104 および対物レンズ105 を備えている。また、イメージファイバ103 は石英ガラスファイバであり、その先端部には集光レンズ106 を備えている。CCDケーブル102 の先端部には、CCD撮像素子107 が接続され、該CCD撮像素子107 には、ミラー108 が取り付けられている。ライトガイド101 は、多成分ガラスファイバである白色光ライトガイド101aおよび石英ガラスファイバである励起光ライトガイド101bがバンドルされ、ケーブル状に一体化されており、白色光ライトガイド101aおよび励起光ライトガイド101bは照明ユニット110 へ接続されている。CCDケーブル102 の一端は、画像処理ユニット140 に接続され、イメージファイバ103 の一端は、Ba’/Wa算出ユニット120 へ接続されている。
【0039】
照明ユニット110 は、通常像観察用の白色光L1を発する白色光源111 、該白色光源111 に電気的に接続された白色光源用電源112 、蛍光観察用の励起光L2を発するGaN系半導体レーザ114 および該GaN系半導体レーザ114 に電気的に接続されている半導体レーザ用電源115 を備えている。
【0040】
Ba’/Wa算出ユニット120 は、イメージファイバ103 を経た蛍光L3から励起光近傍の波長である420nm以下の波長帯域をカットする励起光カットフィルタ121 、2種類の光学フィルターがモザイク上に組み合わされたモザイクフィルタ123 がオンチップされたCCD撮像素子125 、該CCD撮像素子125 で受光された蛍光信号をデジタル化するA/D 変換回路126 、蛍光画像を記憶する蛍光画像メモリ127 、蛍光画像メモリ127 に記憶された値からBa’/Waを算出するBa’/Wa算出部128 を備えている。
【0041】
上記モザイクフィルタ123 は図2に示すような、480nm±70nmの光を透過させるバンドパスフィルタである光学フィルタ124aと全波長帯域を透過させるブランク124bから構成されている。
【0042】
比較ユニット130 は、基準値REが記憶されている記憶部131 と、Ba’/Wa算出部127 で算出されたBa’/Waと記憶部131 に記憶されている基準値REとを比較する比較部132 を備えている。
【0043】
基準値REは、予め正常組織または病変組織であることが明らかである生体組織から算出したBa’/Waに基づいて設定された値である。
【0044】
画像処理ユニット140 は、CCD撮像素子107 で得られた映像信号をデジタル化するA/D 変換回路141 、デジタル化された通常画像信号を保存する通常画像メモリ142 、該通常画像メモリ142 から出力された画像信号および比較部132 の比較結果をビデオ信号に変換するビデオ信号処理回路143 を備えている。
【0045】
以下、本発明による蛍光表示装置を適用した上記構成の内視鏡装置の作用について説明する。最初に、本内視鏡装置の通常像観察時の作用を説明する。
【0046】
通常観察時には、コントローラ150 からの信号に基づき白色光源電源112 が駆動され、白色光源111 から白色光L1が射出される。白色光L1は、レンズ113 を経て白色光ライトガイド101aに入射され、内視鏡先端部まで導光された後、照明レンズ104 から測定部22へ照射される。
【0047】
白色光L1の反射光は対物レンズ105 によって集光され、ミラー108 に反射して、CCD撮像素子107 に結像される。CCD撮像素子107 からの映像信号はA/D 変換回路141 へ入力され、デジタル化された後、通常画像メモリ142 により保存される。該通常画像メモリ142 により保存された通常画像信号は、ビデオ信号発生回路143 によってDA変換後にモニタ170 に入力され、該モニタ170 に可視画像として表示される。上記一連の動作は、コントローラ150 によって制御される。
【0048】
次に、蛍光画像を表示する場合の作用について説明する。コントローラ150 からの信号に基づき、励起光源電源115 が駆動され、GaN系半導体レーザ114 から波長410nmの励起光L2が射出される。励起光L2は、レンズ116 を透過し、励起光ライトガイド101bに入射され、内視鏡先端部まで導光された後、照明レンズ104 から測定部22へ照射される。
【0049】
励起光L2を照射されることにより生じる測定部22からの蛍光L3は、集光レンズ106 により集光され、イメージファイバ103 の先端に入射され、イメージファイバ103 を経て、励起光カットフィルタ121 に入射する。
【0050】
レンズ122 により集光された蛍光L3は、CCD撮像素子125 にオンチップされたモザイクフィルタ123 を透過後、CCD撮像素子125 で受光され、CCD撮像素子125 からの映像信号はA/D 変換回路126 へ入力され、デジタルデータに変換された後、蛍光画像メモリ127 により保存される。
【0051】
この際、蛍光画像メモリ127 では、モザイクフィルタ123 の光学フィルタ124aまたはブランク124bを透過した蛍光の映像信号は各々異なる領域に保存される。従って、波長480nm±70nm帯域の蛍光のデータと全測定波長帯域の蛍光のデータが蛍光画像メモリ127 の記憶領域内に交互に保存される。
【0052】
Ba’/Wa算出部128 では、蛍光画像メモリ127 の隣合う領域に保存されたデータを用いて、各領域毎にBa’/Waを算出し、記憶する。
【0053】
比較部132 では、Ba’/Wa算出部128 に記憶された各領域のBa’/Waと記憶部131 に記憶されている基準値REを比較する。
【0054】
比較結果は、モニタ180 に画像表示される。Ba’/Waが基準値RE以下である場合と、Ba’/Waが基準値REより大きい場合とで、測定された領域の表示色を変えることにより、測定者は、比較結果を瞬時に認識可能となる。
【0055】
また、上記比較は、各画素毎ではなく、CCD撮像素子125 のビニング処理に対応する画素単位で比較処理を行ったり、測定者の所望する任意の範囲の画素領域単位で比較を行っても良い。あるいは、測定者の指定した領域のみの比較を行ったり、適宜画素を間引いて比較を行うこともできる。
【0056】
比較処理を行っていない領域がある場合には、その領域の表示色を所定の色で表示することにより、比較領域を明確に表示できる。比較画素を間引いた場合などには、近傍の比較結果により補完表示を行う。
【0057】
上記のように、励起光の照射により測定部から発せられた蛍光から、480nm±70nmの波長帯域と全測定波長帯域の波長帯域とを切り出し、その光強度の比率Ba’/Waを基準値REと比較して、比較結果を表示することにより、信頼度の向上した情報を表示できる。また光強度の比率を基準値と比較しているので、測定距離あるいは測定角度等の測定条件の変動に起因するスペクトル強度変動の変動の影響が低減され、一層表示される情報の信頼度が向上する。
【0058】
また、CCD撮像素子125 を用いて蛍光を2次元的に撮像することにより、短時間で広範囲に及ぶ蛍光の比較結果を表示することができる。
【0059】
また、励起光照射手段として波長410nmのGaN系半導体レーザを用いることにより、光強度の検出に支障なく、装置の小型化および低価格化が可能となる。
【0060】
また、モザイクフィルタ123 の構成要素として、光学フィルタ124aおよびブランク124bに加え、通常像を得るために必要な光学フィルタを配設すれば、CCD撮像素子125 を通常像検出と蛍光検出に兼用する事も可能となる。
【0061】
また、上記の様なモザイクフィルタがオンチップされたCCD撮像素子を内視鏡先端に配設すれば、同様に通常像検出と蛍光検出に兼用することができる。
【0062】
さらに、本装置では、光強度の比率が基準値REより大きいかまたは小さいかの比較を行い、表示するようにしたが、このような比較を行なうことなく、検出した2つの波長帯域の光強度を加色混合法により表示し、光強度の比率を表示画面の色合いの変化として表すこともできる。また、2つの波長帯域の光強度を除算し、その値をそのまま輝度値や色合いの変化として表示してもよい。
【0063】
次に図3および4を参照して、本発明による蛍光表示装置を適用した第2の具体的な実施の形態である内視鏡装置について説明する。図3は本発明による蛍光表示装置を適用した内視鏡装置の概略構成図であり、生体測定部に励起光を照射して、これにより生じた蛍光を石英ファイバにより検出することにより、生体部位の一点から発せられた蛍光から、波長帯域480nm±30nmの光強度Bb’と全測定波長帯域の光強度Wbを検出し、Bb’/Wbを算出し、表示するものである。
【0064】
本発明の実施の形態にかかる内視鏡装置は、患者の病巣と疑われる部位に挿入される内視鏡200 、通常像観察用白色光および蛍光測定用励起光を発する光源を備える照明ユニット210 、励起光と測定した蛍光の光路を分ける光路分離部220 、蛍光表示時に前記励起光により生体測定部から生じた蛍光を受光し、Bb’/Wbを算出するBb’/Wb算出ユニット230 、予め記憶されている基準値と、算出したBb’/Wbを比較して、比較結果に応じた信号を出力する比較ユニット240 、通常画像をおよび比較結果を可視画像として表示するための画像処理を行う画像処理ユニット250 、各ユニットに接続され、動作タイミングの制御を行うコントローラ260 、画像処理ユニット250 で処理された通常画像情報を可視画像として表示するモニタ170 、比較結果を表示するモニタ180 、励起光および蛍光を導光する石英ファイバ290 から構成されている。
【0065】
内視鏡200 は、内部に先端まで延びるライトガイド201 、CCDケーブル202 および石英ファイバ290 が貫通している鉗子口203 を備えている。ライトガイド201 およびCCDケーブル202 の先端部、即ち内視鏡200 の先端部には、照明レンズ204 および対物レンズ205 を備えている。CCDケーブル202 の先端部には、CCD撮像素子206 が接続され、該CCD撮像素子206 には、ミラー207 が取り付けられている。ライトガイド201 の一端は照明ユニット210 へ接続され、CCDケーブル202 の一端は、画像処理ユニット250 に接続されている。
【0066】
照明ユニット210 は、通常像観察用の白色光L4を発する白色光源211 、該白色光源211 に電気的に接続された白色光源用電源212 、蛍光観察用の励起光L5を発する励起光源としてのGaN系半導体レーザ214 および該GaN系半導体レーザ214 に電気的に接続されている半導体レーザ用電源215 を備えている。
【0067】
光路分離部220 はGaN系半導体レーザ214 から出力される励起光L5を石英ファイバ290 へ入射させ、また逆に石英ファイバ290 を通ってくる蛍光L6を仮主成分得点算出ユニット230 へ透過させるダイクロイックミラー221 を備える。
【0068】
Bb’/Wb算出ユニット230 は、石英ファイバ290 を経た蛍光L6から励起光近傍の波長をカットする励起光カットフィルタ231 、該励起光カットフィルタ231 を透過した蛍光L6から所望の波長帯域を切り出す切換フィルタ233 、該切換フィルタ233 を回転させるフィルタ回転装置235 、切換フィルタ233 を透過した蛍光の光強度を測定する光検出器236 、該光検出器236 に記憶された測定データを記憶する測定データメモリ237 および測定データメモリ237 に記憶された値からBb’/Wbを算出するBb’/Wb算出部238 を備えている。
【0069】
上記切換フィルタ233 は図4に示すような、480nm±30nmの光を透過させるバンドパスフィルタである光学フィルタ234aおよび全波長帯域を透過させるブランク234bから構成される。
【0070】
比較ユニット240 は、基準値RE’が記憶されている記憶部241 と、Bb’/Wb算出部237 で算出されたBb’/Wbと記憶部241 に記憶されている基準値RE’とを比較する比較部242 を備えている。
【0071】
基準値RE’は、予め正常組織または病変組織であると認められた生体組織から求めたBb’/Wbに基づいて設定され、記憶部241 に記憶されている。
【0072】
画像処理ユニット250 は、CCD撮像素子206 で得られた映像信号をデジタル化するA/D 変換回路251 、デジタル化された通常画像信号を保存する通常画像メモリ252 、該通常画像メモリ252 から出力された画像信号および比較部242 の比較結果をビデオ信号に変換するビデオ信号処理回路253 を備えている。
【0073】
以下、本発明による蛍光表示装置を適用した上記構成の内視鏡装置の作用について説明する。最初に、本内視鏡装置の通常像観察時の作用を説明する。通常観察時には、コントローラ260 からの信号に基づき白色光源電源212 が駆動され、白色光源211 から白色光L4が射出される。白色光L4は、レンズ213 を経てライトガイド201 に入射され、内視鏡先端部まで導光された後、照明レンズ204 から測定部11を含む観察部20へ照射される。
【0074】
白色光L4の反射光は対物レンズ205 によって集光され、ミラー207 により、光路を直角に反射され、CCD撮像素子206 に結像される。CCD撮像素子206 からの映像信号はA/D 変換回路251 へ入力され、デジタル化された後、通常画像メモリ252 により保存される。該通常画像メモリ252 により保存された通常画像信号は、ビデオ信号発生回路253 によってDA変換後にモニタ270 に入力され、該モニタ270 に可視画像として表示される。上記一連の動作は、コントローラ260 によって制御される。
【0075】
次に、蛍光情報の表示時の作用について説明する。コントローラ260 からの信号に基づき、励起光源電源215 が駆動され、GaN系半導体レーザ214 から波長410nmの励起光L5が射出される。励起光L5は、レンズ216 を透過し、ダイクロイックミラー221 に向かう。ダイクロイックミラー221 で反射された励起光L5は、レンズ222 によって石英ファイバ290 に入射され、内視鏡の鉗子口203 内を経て、測定部11近傍まで導光され、石英ファイバ290 先端から測定部11へ照射される。
【0076】
励起光L5を照射されることにより生じる測定部11からの蛍光L6は、石英ファイバ290 の先端に入射され、石英ファイバ290 およびレンズ222 を経て、ダイクロイックミラー221 へ向かう。このダイクロイックミラー221 は、図中左側から入射した光線は、透過させる構造を備えているものである。該ダイクロイックミラー221 を透過した蛍光L6は、励起光カットフィルタ231 およびレンズ232 を透過し、切換フィルタ233 へ入射する。なお、励起光カットフィルタ231 は、波長420nm以上の全蛍光を透過するロングパスフィルタである。励起光L5の波長は410nmであるため、測定部11で反射された励起光L5は、この励起光カットフィルタ231 でカットされ、切換フィルタ233 へ入射することはない。
【0077】
コントローラ260 の制御により、フィルタ回転装置235 が駆動され、蛍光L6は、順次光学フィルタ234aまたはブランク234bを透過した後、光検出器236 に入射し、光強度が検出される。同時に、測定データメモリ237 では、コントローラ260 からの制御により、光学フィルタ234aを透過した蛍光の光強度Bb’は、測定データメモリ237 内の所定領域に保存し、ブランク234bを透過した蛍光の光強度Wbは異なる領域に保存する。
【0078】
Bb’/Wb算出部238 では、測定データメモリ237 内に保存された蛍光の光強度データからBb’/Wbを算出する。
【0079】
比較部242 では、記憶部241 に記憶されている基準値RE’と、Bb’/Wb算出部238で算出されたBb’/Wbを比較する。
【0080】
比較結果は、モニタ180 に表示される。
【0081】
従って、上記のように、石英ファイバにより導光された蛍光の蛍光スペクトルから波長帯域480nm±30nmの光強度Bb’と、全測定波長帯域の光強度W’を検出し、その光強度の比率であるBb’/Wbを算出し、基準値RE’と比較して、比較結果を表示することにより、信頼度の向上した情報を表示できる。また光強度の比率を基準値と比較しているので、測定距離あるいは測定角度等の測定条件の変動に起因するスペクトル強度変動の変動の影響が提言され、一層表示される情報の信頼度が向上する。
【0082】
さらに、本装置では、測定部位と石英ファイバ290 の先端部との距離を小さくすることができ、検出帯域幅を30nmにしても十分な光強度が得られる。このため切り出し波長帯域の狭帯域化により、さらに信頼度の向上した情報を表示することができる。
【0083】
また、励起光照射手段として波長410nmのGaN系半導体レーザを用いることにより、光強度の検出に支障なく、装置の小型化および低価格化が可能となる。
【0084】
なお、本装置では、光強度の比率が基準値RE’より大きいかまたは小さいかの比較を行い、表示するようにしたが、このような比較を行なうことなく、検出した2つの波長帯域の光強度を加色混合法により表示し、光強度の比率を表示画面の色合いの変化として表すこともできる。また、2つの波長帯域の光強度を除算し、その値をそのまま輝度値や色合いの変化として表示してもよい。
【0085】
上記第1および第2の実施の形態においては、全測定波長帯域の光強度と480nm近傍の波長帯域の光強度を求め、両者の比率を求めたが、480nm近傍の波長帯域の蛍光の代わりに630nm近傍または700nm近傍の波長帯域の蛍光を切り出して光強度を検出し、その光強度と全測定波長帯域の光強度との比率を求めてもよい。
【0086】
また、各実施の形態においては、全測定波長帯域の光強度と480nm近傍の波長帯域の光強度の比率に応じた情報を表示したが、480nm近傍の波長帯域の光強度のみに応じた情報を表示するものでもよい。例えば、予め正常組織と病変組織から480nm近傍の光強度を検出し、基準値を記憶しておき、測定部から発せられた蛍光から480nm近傍の光強度Bを検出し、基準値と比較して、比較結果を表示するものでもよい。480nm近傍の光強度Bのみを検出する場合には、使用するフィルタは480nm近傍を波長帯域を透過させる光学フィルタのみから構成されるもので良いため、光学系を簡素化することができる。
【0087】
さらに、480nm近傍の波長帯域の光強度と、全測定波長帯域の光強度と480nm近傍、630nmまたは700nm近傍の波長帯域の光強度の比率との両者に基づいた情報を表示するものでもよい。例えば、予め480nm近傍の波長帯域の光強度に対応する基準値と、光強度の比率に対応する基準値を記憶しておき、光強度も光強度の比率も両者とも、基準値と比較して正常組織に近い値であった場合のみ、比較結果として正常組織に近いと表示する方法がある。この場合には、病変組織から発せられた蛍光を正常組織から発せられた蛍光に近いと誤表示する可能性が低いため、例えば、既往症を有する生体において蛍光検出を行う場合など、測定部が病変組織である可能性の高い場合に好適である。
【0088】
また、他の例として、光強度あるいは、光強度の比率のどちらかが、基準値と比較して正常組織に近い値であった場合には、比較結果として正常組織に近いと表示する方法がある。この場合には、正常組織から発せられた蛍光を病変組織から発せられた蛍光に近いと誤表示する可能性が低いため、例えば、測定部が病変組織である可能性の低い場合に好適である。
【0089】
上記のように光強度の比率と光強度との両者に基づいた情報を表示する場合には、モザイクフィルタまたは切換フィルタを構成する光学フィルタの種類を増加することで、所望の波長帯域で蛍光を切り出すことができる。また、480nm近傍の波長帯域の光強度と、全測定波長帯域の光強度と480nm近傍の波長帯域の光強度の比率との両者に基づいた情報を表示するものであれば、480nm近傍の波長帯域を透過させる光学フィルタを、光強度Bの検出と光強度の比率の検出とに兼用することもできる。
【0090】
上記第1および第2の実施の形態にかかる各装置に使用されるモニタは、通常画像情報を表示するモニタ170 および比較結果を表示するモニタ180 を別個の構成としているが、一つのモニタで兼用することもできる。その際の表示の切換方法は、時系列的に自動的に切り替えられる方法でもよく、また測定者が切換手段を用いて、任意に切り替える方法でもよい。
【0091】
なお、GaN系半導体レーザおよび白色光源を別個の構成としたが、適当な光学透過フィルタを利用して、単一の光源を励起光と白色光源とで兼用することもできる。
【0092】
また、励起光導光用のファイバと蛍光導光用のファイバを分離することや、通常像をイメージファイバにより取得する等の本発明の基本構成内での変更が可能であることは言うまでもない。
【図面の簡単な説明】
【図1】本発明による蛍光表示装置を適用した第1の具体的な実施の形態である内視鏡装置の概略構成図
【図2】上記第1の具体的な実施の形態の内視鏡装置に使用されるモザイクフィルタの概略構成図
【図3】本発明による蛍光表示装置を適用した第2の具体的な実施の形態である内視鏡装置の概略構成図
【図4】上記第2の具体的な実施の形態の内視鏡装置に使用される切換フィルタの概略構成図
【図5】蛍光の蛍光スペクトルの強度分布を示す説明図
【図6】測定帯域幅と正常組織および病変組織から検出した光強度の比との関係を示す説明図
【図7】蛍光の蛍光スペクトルの強度比分布を示す説明図
【図8】測定帯域幅と正常組織および病変組織から検出した光強度比の比との関係を示す説明図
【符号の説明】
10,11 測定部
20 観察部
L1,L4 白色光
L2,L5 励起光
L3,L6 蛍光
100,200 内視鏡
101,201 ライトガイド
102,202 CCDケーブル
107,125,206 CCD撮像素子
110,210 照明ユニット
111,211 白色光源
114,214 GaN系半導体レーザ
120 Ba’/Wa算出ユニット
121,231 励起光カットフィルタ
123 モザイクフィルタ
127 蛍光画像メモリ
128 Ba’/Wa算出部
130,240 比較ユニット
131,241 記憶部
132,242 比較部
140,250 画像処理ユニット
142,252 通常画像メモリ
143,253 ビデオ信号発生回路
150,260 コントローラ
170,180 モニタ
220 光路分離部
221 ダイクロイックミラー
230 Bb’/Wb算出ユニット
233 切換フィルタ
236 光検出器
237 測定データメモリ
238 Bb’/Wb算出部
290 石英ファイバ

Claims (10)

  1. 励起光を照射された生体の測定部から発せられた蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmの波長帯域の全てを含む波長帯域の光強度Bを検出し、該光強度Bに応じた情報を表示することを特徴とする蛍光表示方法。
  2. 励起光を照射された生体の測定部から発せられた蛍光から、全測定波長帯域の光強度Wと、
    480nm±70nm以下であって少なくとも450nm〜480nmの波長帯域の全てを含む波長帯域の光強度B’、630nm±70nm以下であって少なくとも600nm〜630nmの波長帯域の全てを含む波長帯域の光強度R1または700nm±70nm以下であって少なくとも700nm〜710nmの波長帯域の全てを含む波長帯域の光強度R2の中の少なくとも1つの光強度を検出し、この検出した光強度と前記光強度Wとの比率に応じた情報を表示することを特徴とする蛍光表示方法。
  3. 励起光を照射された生体の測定部から発せられた蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmの波長帯域の全てを含む波長帯域の光強度Bと、
    全測定波長帯域の光強度Wと、
    480nm±70nm以下であって少なくとも450nm〜480nmの波長帯域の全てを含む波長帯域の光強度B’、630nm±70nm以下であって少なくとも600nm〜630nmの波長帯域の全てを含む波長帯域の光強度R1または700nm±70nm以下であって少なくとも700nm〜710nmの波長帯域の全てを含む波長帯域の光強度R2の中の少なくとも1つの光強度を検出し、
    前記光強度B’、R1、R2のうち前記検出した光強度と前記光強度Wとの比率と、前記光強度Bとに基づいた情報を表示することを特徴とする蛍光表示方法。
  4. 励起光を生体の測定部に照射する励起光照射手段と、
    前記励起光の照射により前記測定部から発せられた蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmの波長帯域の全てを含む波長帯域の光強度Bを検出する第1の光強度検出手段と、
    前記第1の光強度検出手段で検出された光強度Bに応じた情報を表示する蛍光表示手段とを備えることを特徴とする蛍光表示装置。
  5. 励起光を生体の測定部に照射する励起光照射手段と、
    前記励起光の照射により前記測定部から発せられた蛍光から、全測定波長帯域の光強度Wを検出する第2の光強度検出手段と、
    前記蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmの波長帯域の全てを含む波長帯域の光強度B’を検出する第3の光強度検出手段、630nm±70nm以下であって少なくとも600nm〜630nmの波長帯域の全てを含む波長帯域の光強度R1を検出する第4の光強度検出手段または700nm±70nm以下であって少なくとも700nm〜710nmの波長帯域の全てを含む波長帯域の光強度R2を検出する第5の光強度検出手段の中の少なくとも1つの光強度検出手段と、
    前記1つの光強度検出手段で検出した光強度と前記光強度Wとの比率に応じた情報を表示する蛍光表示手段とを備えることを特徴とする蛍光表示装置。
  6. 励起光を生体の測定部に照射する励起光照射手段と、
    前記励起光の照射により前記測定部から発せられた蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmの波長帯域の全てを含む波長帯域の光強度Bを検出する第1の光強度検出手段と、
    全測定波長帯域の光強度Wを検出する第2の光強度検出手段と、
    前記蛍光から、480nm±70nm以下であって少なくとも450nm〜480nmの波長帯域の全てを含む波長帯域の光強度B’を検出する第3の光強度検出手段、630nm±70nm以下であって少なくとも600nm〜630nmの波長帯域の全てを含む波長帯域の光強度R1を検出する第4の光強度検出手段または700nm±70nm以下であって少なくとも700nm〜710nmの波長帯域の全てを含む波長帯域の光強度R2を検出する第5の光強度検出手段の中の少なくとも1つの光強度検出手段と、
    前記1つの光強度検出手段で検出した光強度と前記光強度Wとの比率と、前記光強度Bとに基づいた情報を表示する蛍光表示手段とを備えることを特徴とする蛍光表示装置。
  7. 前記光強度検出手段が、測定部から発せられる蛍光を2次元的に撮像する撮像素子と、該撮像素子の前面に設けられ、所望の波長帯域を選択する波長選択手段とを備えることを特徴とする請求項4から6何れか1項記載の蛍光表示装置。
  8. 前記光強度検出手段が、生体部位上の1点から発せられる蛍光を取得する蛍光取得手段を備えることを特徴とする請求項4から6何れか1項記載の蛍光表示装置。
  9. 前記励起光の波長が380nm から420nmであることを特徴とする請求項4から8何れか1項記載の蛍光表示装置。
  10. 前記励起光照射手段がGaN系の半導体レーザであることを特徴とする請求項4から9何れか1項記載の蛍光表示装置。
JP31294299A 1999-11-02 1999-11-02 蛍光表示方法および装置 Expired - Lifetime JP3881142B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP31294299A JP3881142B2 (ja) 1999-11-02 1999-11-02 蛍光表示方法および装置
EP00123748A EP1097670B1 (en) 1999-11-02 2000-10-31 Apparatus for displaying fluorescence information
DE60045146T DE60045146D1 (de) 1999-11-02 2000-10-31 Gerät zur Darstellung von Fluoreszenz
US09/703,674 US6465968B1 (en) 1999-11-02 2000-11-02 Method and apparatus for displaying fluorescence information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31294299A JP3881142B2 (ja) 1999-11-02 1999-11-02 蛍光表示方法および装置

Publications (2)

Publication Number Publication Date
JP2001128925A JP2001128925A (ja) 2001-05-15
JP3881142B2 true JP3881142B2 (ja) 2007-02-14

Family

ID=18035341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31294299A Expired - Lifetime JP3881142B2 (ja) 1999-11-02 1999-11-02 蛍光表示方法および装置

Country Status (1)

Country Link
JP (1) JP3881142B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003269450A1 (en) * 2002-10-03 2004-04-23 Etview Ltd. Tube for inspecting internal organs of a body
CN1950024A (zh) * 2004-04-30 2007-04-18 皇家飞利浦电子股份有限公司 用于流体的光谱分析的探头
JP2009125411A (ja) * 2007-11-27 2009-06-11 Fujinon Corp 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム
EP2384686B8 (en) 2009-04-21 2013-01-16 Olympus Medical Systems Corp. Fluorescence image device and fluorescence image acquiring method
JP5737899B2 (ja) * 2010-10-07 2015-06-17 Hoya株式会社 診断システム
JP5371946B2 (ja) 2010-12-24 2013-12-18 富士フイルム株式会社 内視鏡診断装置
CA2841704C (en) 2011-07-11 2019-06-04 Elias Daher Endobronchial tube
EP2754384B1 (en) 2013-01-10 2018-07-11 Ambu A/S Endobronchial tube with integrated image sensor and cleaning nozzle arrangement

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2862099B2 (ja) * 1990-10-12 1999-02-24 旭光学工業株式会社 早期癌診断装置
US5450857A (en) * 1994-05-19 1995-09-19 Board Of Regents, The University Of Texas System Method for the diagnosis of cervical changes
JP3796635B2 (ja) * 1996-03-06 2006-07-12 富士写真フイルム株式会社 蛍光検出装置
JP3654324B2 (ja) * 1997-02-13 2005-06-02 富士写真フイルム株式会社 蛍光検出装置
JPH11177185A (ja) * 1997-12-11 1999-07-02 Toyoda Gosei Co Ltd 窒化ガリウム系化合物半導体レーザ
AU752829B2 (en) * 1998-01-26 2002-10-03 Brigham And Women's Hospital Fluorescence imaging endoscope

Also Published As

Publication number Publication date
JP2001128925A (ja) 2001-05-15

Similar Documents

Publication Publication Date Title
JP3862582B2 (ja) 蛍光画像取得方法および装置並びにプログラム
EP1472972B1 (en) Apparatus and method for imaging diseased tissue using integrated autofluorescence
US9906739B2 (en) Image pickup device and image pickup method
JP5088990B2 (ja) 内視鏡用の自己蛍光画像化システム
JP5283731B2 (ja) 内視鏡用の自己蛍光画像化システム
US6678398B2 (en) Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP4311607B2 (ja) 蛍光診断情報生成方法および装置
US6465968B1 (en) Method and apparatus for displaying fluorescence information
JP2001157658A (ja) 蛍光画像表示装置
JP2006263044A (ja) 蛍光検出システム
JPH0654792A (ja) 撮像装置
JP4298151B2 (ja) 蛍光画像表示方法および装置
JP2001178672A (ja) 蛍光画像表示装置
JP2004024656A (ja) 蛍光内視鏡装置
JP3881142B2 (ja) 蛍光表示方法および装置
US20030216626A1 (en) Fluorescence judging method and apparatus
JP2002336187A (ja) 規格化蛍光画像生成方法および装置
JP3881143B2 (ja) 蛍光表示方法および装置
JP2004024496A (ja) 蛍光診断画像生成方法および装置
JP2004008230A (ja) 蛍光診断情報生成装置
JP2001314366A (ja) 蛍光画像表示方法および装置
JP2001137171A (ja) 蛍光表示方法および装置
JP2004041703A (ja) 撮像装置
JP2003339622A (ja) 蛍光判定方法および装置
JP2001340283A (ja) 蛍光画像表示方法および表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061109

R150 Certificate of patent or registration of utility model

Ref document number: 3881142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term