JP4245787B2 - 蛍光画像取得方法および装置 - Google Patents

蛍光画像取得方法および装置 Download PDF

Info

Publication number
JP4245787B2
JP4245787B2 JP2000231894A JP2000231894A JP4245787B2 JP 4245787 B2 JP4245787 B2 JP 4245787B2 JP 2000231894 A JP2000231894 A JP 2000231894A JP 2000231894 A JP2000231894 A JP 2000231894A JP 4245787 B2 JP4245787 B2 JP 4245787B2
Authority
JP
Japan
Prior art keywords
fluorescence
pixel
calculation
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000231894A
Other languages
English (en)
Other versions
JP2001161696A (ja
Inventor
知成 千代
克巳 林
和男 袴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000231894A priority Critical patent/JP4245787B2/ja
Publication of JP2001161696A publication Critical patent/JP2001161696A/ja
Application granted granted Critical
Publication of JP4245787B2 publication Critical patent/JP4245787B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、励起光の照射により生体等の試料から発せられる蛍光を画像として測定する蛍光画像取得方法および装置に関するものである。
【0002】
【従来の技術】
従来より、励起光の照射により生体等から発生する微弱な蛍光の強度あるいはスペクトル強度を取得し、診断に供する情報を得る診断装置等が知られている。これらの診断装置は、生体組織に励起光を照射することにより発生した蛍光(自家蛍光)を検出する方式、あるいは蛍光診断薬を予め吸収させた生体組織に励起光を照射することにより発生した蛍光(薬剤蛍光)を検出する方式等があり、多くの場合、体腔内部に挿入される内視鏡、コルポスコープあるいは手術用顕微鏡等に組み込まれ、生体の組織性状の診断に利用されている。
【0003】
当初、励起光の照射により生体組織から発生する蛍光の強度に注目した診断が試みられたが、生体組織と励起光の照射部との相対的な位置関係(角度、距離)の変化によって生体組織に照射される励起光の強度が変わり、この励起光が照射された生体組織から発生する蛍光の強度も変化するので、同じ生体組織の部位を診断しても異なる位置から診断すると生体組織から発生する蛍光の強度が変化してしまうこととなり、蛍光の強度情報だけでは十分な診断能が得られなかった。そこで、現在の診断装置の多くは、生体組織から発せられる蛍光のスペクトル強度のプロファイルが組織状態の相異により異なることに基づき識別を試みており、例えば病変組織と正常組織とでは、その組織から発せられる蛍光の緑色の波長領域の強度と赤色の波長領域の強度との比が大きく異なることに注目し、診断対象となる生体組織から発せられた蛍光の緑色帯域の波長領域の強度を赤色帯域の波長領域の強度で除算し、その値と、予め別の方式により正常組織と判定された生体組織から上記と同様な手法により求められた値とを比較することにより、前記生体組織が病変組織であるか正常組織であるかを識別し画像として表示する方式が特開平6−54792号で提案されている。
【0004】
さらに、本出願人も、特開平10−225436号において、励起光の照射により生体組織から発生する緑色の波長領域の蛍光の強度を、この蛍光が備えるスペクトルの概略全ての波長範囲(以下全波長領域と呼ぶ)の蛍光の強度で除算し規格化した値と、予め別の方式により正常組織と判定された生体組織から上記と同様の手法により取得され規格化された値とを比較することにより病変組織であるか正常組織であるかを識別し画像として表示する方式を提案している。
【0005】
【発明が解決しようとする課題】
しかしながら、生体組織から発生する微弱な蛍光を撮像して取得した各画素の蛍光強度値には、撮像素子のノイズ(固定パターンノイズ/フォトンショットノイズ/ダークショットノイズ/読出ノイズ)、電気処理回路のノイズ、信号伝送系のノイズおよび光学系のノイズ(光学部品に付着した埃による光の散乱等の迷光によるノイズ)等の値が含まれ、特に蛍光の受光光量が極微弱な領域の画素に関して、例えば緑色の波長領域の蛍光の強度を全波長領域の蛍光の強度で除算して規格化し、診断に供する情報とする値を得ようとしても、これらの値は極めて小さく、かつこれらの値に含まれる本来の測定対象である蛍光の強度に比して上記ノイズ成分の強度が大きいので、除算等の演算を行なっても生体の組織性状を正しく反映する情報とはならず、これらの情報がそのまま可視画像として表示された場合には可視画像を観察する上で視覚的に悪影響を及ぼす虞がある。
【0006】
なお、この種の課題は生体組織に励起光を照射した際に発生する蛍光(自家蛍光)、および予め蛍光診断薬を吸収させた生体組織に励起光を照射した際に発生する蛍光(薬剤蛍光)に共通する課題である。
【0007】
本発明は、上記事情に鑑みなされたものであって、励起光の照射により生体等から発生した蛍光を撮像して得た各画素の蛍光強度値の中にノイズを大きな割合で含む値が存在しても、それが視覚的に悪影響を及ぼすことのない蛍光画像を取得することができる蛍光画像取得方法および装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明の蛍光画像取得方法は、生体等の試料に励起光を照射することにより試料から発せられた蛍光から少なくとも1つの波長領域の蛍光強度を求め、前記蛍光強度に基づき演算を行なってこの試料の蛍光画像を表す画像データを取得する蛍光画像取得方法であって、蛍光画像を構成する各画素について、前記蛍光強度に基づいて演算適画素であるか演算不適画素であるかを判別し、演算適画素については前記演算を行なって画素の値を得、演算不適画素については演算適画素に対応する蛍光画像部分に対して視覚的に悪影響を及ぼさない値を画素の値として割り当てることを特徴とする。
【0009】
前記判別は、蛍光画像を構成する各画素について、各画素における蛍光強度と、あらかじめ測定され記憶された蛍光強度を求める蛍光強度測定手段自身から発生する各画素におけるノイズの値とを比較することにより行うことができる。
【0010】
前記取得された蛍光画像を表す画像データの画像処理を行う際に、前記演算適画素のみを画像処理の対象とすることができる。
【0011】
前記試料を生体とし、前記蛍光を生体内から発せられた自家蛍光としてもよい。
【0012】
前記励起光の光源としては、GaN系の半導体レーザを使用することができる。
【0013】
本発明の蛍光画像取得装置は、生体等の試料に励起光を照射する励起光照射手段と、励起光照射手段により励起光が照射された試料から発せられた蛍光から少なくとも1つの波長領域の蛍光強度を求める蛍光強度測定手段と、前記蛍光強度に基づき演算を行なって試料の蛍光画像を表す画像データを取得する演算処理手段とを備えた蛍光画像取得装置であって、蛍光画像を構成する各画素について、蛍光強度に基づいて、演算適画素であるか演算不適画素であるかを判別する判別手段を備え、演算処理手段が、演算適画素については前記演算を行なって画素の値を得、演算不適画素については演算適画素に対応する蛍光画像部分に対して視覚的に悪影響を及ぼさない値を画素の値として割り当てるように構成されていることを特徴とする。
【0014】
前記判別手段は、蛍光画像を構成する各画素について、各画素における蛍光強度と、あらかじめ測定され記憶された蛍光強度を求める蛍光強度測定手段自身から発生する各画素におけるノイズの値とを比較することによって判別するものとすることができる。
【0015】
前記取得された蛍光画像を表す画像データの画像処理を行なう画像処理手段をさらに備え、画像処理手段が、演算適画素の画像データについてのみ画像処理を行なうものとすることができる。
【0016】
前記試料を生体とし、前記蛍光を生体内から発せられた自家蛍光としてもよい。
【0017】
前記励起光の光源は、GaN系の半導体レーザとすることができる。
【0018】
前記蛍光画像取得装置は、内視鏡とすることができる。
【0019】
前記「蛍光強度測定手段自身から発生する各画素におけるノイズ」とは、該手段において蛍光を受光してから各波長領域の蛍光強度を求め終えるまでの間に発生するノイズの全部もしくは一部もしくはそれらを含むノイズを意味し、代表的なノイズ成分としては、例えば撮像素子の回路、撮像素子によって変換された電気的な信号を取り扱う回路、該信号を伝送する信号伝送回路、蛍光を撮像するための光学系等において発生するノイズ等が挙げられる。
【0020】
前記「演算」とは、生体等の試料に励起光を照射することにより該試料から発せられた蛍光から求められた1つの波長領域の蛍光強度に基づいて行なわれる演算の場合は、前記蛍光強度を反映した値を割り付ける演算および近赤外光を試料に照射することにより該試料から反射された反射光から求められた参照強度と前記蛍光強度間において行なう演算等を意味し、また生体等の試料に励起光を照射することにより該試料から発せられた蛍光から求められた2つ以上の波長領域の蛍光強度に基づいて行なわれる演算の場合は、前記求められた蛍光強度間の演算および前記蛍光強度と前記参照強度とを含めて行なう演算等を意味するものである。
【0021】
前記演算不適画素とは、ある画素が受光した蛍光の受光光量が極微弱で、この画素の値に含まれるノイズの量が蛍光の受光光量に比して相対的に大きくなり、画素についての演算を行なっても生体の組織性状を正しく反映する結果が得られないと考えられる画素を意味する。
【0022】
前記演算適画素とは、上記演算不適画素とは反対に、ある画素が受光した蛍光の受光光量が大きく、この画素の値に含まれるノイズの量が蛍光の受光光量に比して相対的に小さくなり、画素についての演算を行なうことにより生体の組織性状を正しく反映する結果が得られると考えられる画素を意味する。
【0023】
なお、前記演算適画素および演算不適画素は、演算適画素および演算不適画素が予め存在するわけではなく、蛍光強度測定手段自身から発生するノイズの量と、生体組織を撮像するときに得られる蛍光の光量とに基づき各画素毎に定められるものである。
【0024】
また、前記生体内から発せられる自家蛍光は「in vivo 自家蛍光」と呼ばれることがある。
【0025】
【発明の効果】
本発明の蛍光画像取得方法および装置によれば、蛍光画像を構成する各画素について、演算適画素であるか演算不適画素であるかを判別し、演算適画素については蛍光成分に基づく演算を行なって画素の値を得、演算不適画素については、意図的に蛍光画像を可視画像として表示したときに演算適画素の領域に対して演算不適画素が視覚的に悪影響を及ぼさない値を演算不適画素の値として割り当てるようにしたので、この演算不適画素を含む画像データが可視画像として表示されたときに、演算不適画素によって視覚的に悪影響を及ぼされることのない観察適性の優れた蛍光画像を取得することができる。
【0026】
また、演算不適画素に関しては演算を行なわないので、蛍光画像を表す画像データを取得する演算に要する時間を短縮することができる。
【0027】
また、前記判別を、蛍光画像を構成する各画素について、各画素における蛍光強度と、あらかじめ測定され記憶された蛍光強度を求める蛍光強度測定手段自身から発生する各画素におけるノイズの値とを比較することにより行えば、演算適画素と演算不適画素とをより合理的に判別することができる。
【0028】
また、前記取得された蛍光画像を表す画像データの画像処理を行う際に、演算適画素のみを画像処理の対象とすれば、画像データが可視画像として表示されたときに演算適画素の領域が視覚的に悪影響を受けることを避けることができると共に、蛍光画像を取得する処理に要する時間を短縮することができる。
【0029】
また、前記励起光の光源としてGaN系の半導体レーザを用いれば、装置を小型化しかつ装置コストを安価にすることができる。
【0030】
また、試料を生体とし、生体内から発せられた自家蛍光から蛍光強度を求めるようにすれば、生体内を診断することができる。
【0031】
また、蛍光画像取得装置を内視鏡とすれば、より容易に生体内を診断することができる。
【0032】
【発明の実施の形態】
以下、本発明の具体的な実施の形態について図面を用いて説明する。図1は、本発明の第1の実施の形態として蛍光画像取得装置を内視鏡に適用した蛍光内視鏡の概略構成を示す図である。
【0033】
図1に示すように蛍光内視鏡600は、励起光および白色光の光源を備えた光源ユニット100と、光源ユニット100から導かれる白色光Whを生体組織1へ照射することにより得られる通常の像(以後通常像と呼ぶ)を撮像すると共に、光源ユニット100から導かれる励起光Leを生体組織1へ照射することにより得られる自家蛍光の像(以後蛍光像と呼ぶ)を光ファイバ26により伝搬する内視鏡先端ユニット200と、内視鏡先端ユニット200で撮像された通常像を通常画像データとして記憶し、内視鏡先端ユニット200から光ファイバ26により伝搬された蛍光像を3つの波長領域に分割して受光し、これらの波長領域にそれぞれ対応した3種類の蛍光強度値(蛍光画像を構成する各画素毎の蛍光強度値)として記憶する画像取込ユニット300と、画像取込ユニット300に記憶された蛍光強度値を入力し蛍光画像を構成する各画素について演算適画素であるかまたは演算不適画素であるかを判別し、演算不適画素の画素位置を演算不適画素位置データとして記憶する判別ユニット400と、判別ユニット400に記憶された演算不適画素位置データを参照し、画像取込ユニット300に記憶された3種類の蛍光強度値に基づき正常組織と病変組織とを識別するための識別演算を行ない、その識別結果を識別画像データとして記憶する識別演算ユニット500とから構成されている。
【0034】
なお、画像取込ユニット300から出力される通常画像データおよび識別演算ユニット500から出力される識別画像データは、ビデオ信号処理回路60に入力されビデオ信号に変換されてそれぞれ外部の通常像TVモニタ80および蛍光像TVモニタ81に出力され表示される。また、装置全体の制御はコントロール部70によって行なわれる。
【0035】
光源ユニット100の白色光光源12には、コントロール部70により制御される白色光電源10が接続され、白色光光源12は1/60秒周期でパルス状の白色光Whを発生し、その白色光Whは白色光集光レンズ14により集光されて、光源ユニット100に接続されている多成分ガラスファイバで形成された白色光ライトガイド25−1に入射する。
【0036】
一方、光源ユニット100の励起光光源13にはレーザ光源が用いられ、コントロール部70により制御されるLD電源11によってパルス駆動され、1/60秒周期で波長410nmのパルス状の励起光Leを上記パルス状の白色光Whと重複しないタイミングで発生する。この励起光Leは励起光集光レンズ15により集光され、光源ユニット100に接続されている石英ガラスファイバで形成された励起光ライトガイド25−2に入射される。
【0037】
なお、上記白色光ライトガイド25−1と励起光ライトガイド25−2とはバンドルされており、ライトガイド25としてケーブル状に一体化されている。
【0038】
内視鏡先端ユニット200には、上記ライトガイド25が挿入され、照明レンズ21を介して生体組織1に向けて励起光Leまたは白色光Whが照射されるように配設されている。白色光Whの照射により照明された生体組織1の像は通常観察用対物レンズ22によって通常観察用CCD撮像素子23の受光面に結像され、該撮像素子23により電気的な信号に変換されてCCDケーブル27により画像取込ユニット300に伝送される。一方、励起光Leが照射されたときに生体組織1から発生する蛍光Keの像は蛍光観察用対物レンズ20によって蛍光像イメージファイバ26の端面Kiに結像され、その像は蛍光像イメージファイバ26内を伝搬して画像取込ユニット300に接続された蛍光像イメージファイバ26の他方の端面Koに導かれる。
【0039】
画像取込ユニット300には、CCDケーブル27によって伝送された電気的な画像信号をA/D変換する通常観察用A/D変換器30とA/D変換された画像を記憶する通常画像メモリ31とが通常像の処理用に備えられている。一方、蛍光像の処理用としては、蛍光像イメージファイバ26の端面Koに導かれた蛍光像を、蛍光観察用高感度撮像素子34の受光面に結像させる、波長410nm以下の波長を遮断する励起光カットフィルタ32と蛍光用集光レンズ33とを含む光学系と、蛍光観察用高感度撮像素子34によって受光され変換された電気的な画像信号をA/D変換する蛍光観察用A/D変換器35と、A/D変換された画像(画像を構成する各画素の蛍光強度に対応する値)を記憶する蛍光画像h1メモリ36−1、蛍光画像h2メモリ36−2および蛍光画像h3メモリ36−3からなる蛍光画像メモリ36とが備えられている。
【0040】
なお、蛍光観察用高感度撮像素子34と蛍光用集光レンズ33との間には、図2に示すような波長領域h1(480nm近傍の波長領域)、波長領域h2(630nm近傍の波長領域)、波長領域h3(全波長領域)をそれぞれ透過させる特性を備えた図3に示すような3種類のフィルタH1(波長領域h1の光を透過するフィルタ)、フィルタH2(波長領域h2の光を透過するフィルタ)およびフィルタH3(波長領域h3の光を透過する素通しフィルタ)からなる色分離フィルタ37が、モータ38によって蛍光観察用高感度撮像素子34の1/60秒の撮像周期に同期して回転するように配設されている。蛍光像イメージファイバ26の端面Koの蛍光像は色分離フィルタ37によって波長領域h1、h2およびh3の3つの波長領域に分離されて蛍光観察用高感度撮像素子34によって撮像され、撮像されたこれらの画像はA/D変換され、A/D変換されたそれぞれの蛍光強度に対応する値(以後蛍光強度値と呼ぶ)は波長領域毎に、蛍光画像h1メモリ36−1、蛍光画像h2メモリ36−2および蛍光画像h3メモリ36−3に記憶される。
【0041】
判別ユニット400には、蛍光画像メモリ36に記憶された3種類の蛍光強度値と、ノイズレベルメモリ41にあらかじめ記憶されているノイズ画像データとを比較することにより、蛍光画像の各画素を演算適画素と演算不適画素とに判別する判別演算部40が備えられ、演算不適画素と判別された各画素の位置は、演算不適画素位置データとして演算不適画素位置メモリ42に記憶される。
【0042】
識別演算ユニット500には、蛍光画像メモリ36に記憶された3種類の蛍光強度値を入力して各蛍光強度値間の演算を演算不適画素位置データを参照して行なう識別演算部51が備えられ、識別演算部51により行なわれた演算結果は識別画像メモリ52に識別画像データとして記憶される。
【0043】
次に、上記実施の形態における作用について説明する。
【0044】
まず始めに、白色光光源12から発せられたパルス状の白色光Whは、白色光集光レンズ14および白色光ライトガイド25−1を介して内視鏡先端ユニット200に導かれ照明レンズ21を介して生体組織1に照射される。白色光Whによって照明された生体組織1の像は、通常観察用対物レンズ22により通常観察用CCD撮像素子23の受光面上に結像される。該撮像素子23によって撮像され電気的な信号に変換された画像信号は、さらに通常観察用A/D変換器30によりデジタル値に変換され、画像データとして通常画像メモリ31に記憶される。
【0045】
上記白色光Whの照射が終了すると、次に励起光光源13から発せられたパルス状の励起光Leが、励起光集光レンズ15および励起光ライトガイド25−2を経由して内視鏡先端ユニット200に導かれ照明レンズ21を通して生体組織1に向って照射される。
【0046】
励起光Leの照射により生体組織1から発せられた自家蛍光Keは蛍光観察用対物レンズ20によって蛍光像イメージファイバ26の端面Kiに結像され他方の端面Koに伝搬される。端面Koに伝搬された蛍光像は、励起光カットフィルタ32により自家蛍光Keに混入する励起光Leが除去され、色分離フィルタ37のフィルタH1を通して蛍光観察用高感度撮像素子34の受光面上に結像され撮像される。蛍光観察用高感度撮像素子34によって撮像された蛍光像は信号電荷に変換され、蛍光観察用A/D変換器35によりデジタル値(各画素の蛍光強度値)に変換されて、蛍光画像h1メモリ36−1に記憶される。
【0047】
パルス状の励起光Leが照射される次の周期においては、色分離フィルタ37のフィルタH2を通して蛍光像が撮像され、その各画素の蛍光強度値は蛍光画像h2メモリ36−2に記憶され、さらにその次の周期の励起光照射においてはフィルタH3を通して蛍光像が撮像され、その各画素の蛍光強度値は蛍光画像h3メモリ36−3に記憶されるという具合に、各波長領域h1、h2およびh3を透過した蛍光像が3画像を1組として順次撮像され、これらの3画像の各画素の蛍光強度値は、蛍光強度値Dh1、Dh2およびDh3として蛍光画像h1メモリ36−1、蛍光画像h2メモリ36−2および蛍光画像h3メモリ36−3にそれぞれ記憶される。
【0048】
次に、上記3画像1組の蛍光強度値は、判別演算部40に入力され、ノイズレベルメモリ41に記憶されているノイズ画像データと比較され、演算不適画素と判別された画素はその画素位置が演算不適画素位置メモリに記憶される。
【0049】
ここで、演算適画素と演算不適画素とを判別する方法の具体例の詳細を説明する。ノイズレベルメモリ41に記憶されているノイズ画像データDnは、図4に示すように行列状の蛍光画像の各画素の位置(x,y)に対応して予め測定等により求められた行列状の値である。このノイズ画像データDn(x,y)の値は、例えば、全く光の届かない暗所において白色光Whおよび励起光Leを照射せずに蛍光観察用高感度撮像素子34により撮像されA/D変換されてデジタル値となった撮像データの各画素の値は、撮像素子、電気処理回路および信号伝送系等から発生するノイズの値として扱うことができるので、これらの値をノイズ画像データDn(x,y)の値として記憶させることにより求めることがができる。
【0050】
演算適画素あるいは演算不適画素の判別は、注目する画素を例えば位置(X1,Y1)の位置の画素とし、3つのフィルタH1、H2およびH3をそれぞれ透過した同じ画素位置(X1,Y1)から得られる3つの蛍光強度値Dh1、Dh2およびDh3の値のいずれもが、位置(X1,Y1)に対応するノイズ画像データDn(X1,Y1)の値の係数倍(α倍)より小さければ、その画素は演算不適画素として記憶される。すなわち、
Dh1(X1,Y1)<α×Dn(X1,Y1)
かつ
Dh2(X1,Y1)<α×Dn(X1,Y1)
かつ
Dh3(X1,Y1)<α×Dn(X1,Y1)
の判別条件を満たすとき位置(X1,Y1)の画素は演算不適と判別され、この判別条件を満たさない画素は演算適画素として判別される。全ての画素について、判別が行なわれ、その中で演算不適画素と判別された画素はその画素位置が演算不適画素位置データGFとして演算不適画素位置メモリ42に記憶される。
【0051】
次に、識別演算ユニット51により各蛍光強度値Dh1、Dh2およびDh3間の演算が行なわれる。具体的には480nm近傍の蛍光成分と630nm近傍の蛍光成分との減算により求まる蛍光差成分(波長領域h1を透過し検出された蛍光強度値Dh1と、波長領域h2を透過し検出された蛍光強度値Dh2との差)を、全蛍光成分(波長領域h3である全波長領域を透過し検出された蛍光強度値Dh3)で除算することにより識別画像データShが求められる。すなわち、
Sh(x,y)={Dh2(x,y)−Dh1(x,y)}/Dh3(x,y)
=Dh2(x,y)/Dh3(x,y)−Dh1(x,y)/Dh3(x,y)
ここで、生体の正常組織から発せられる自家蛍光のスペクトルの強度分布Spと病変組織から発せられる自家蛍光のスペクトルの強度分布Bpとを比較すると、図5(a)に示すように正常組織の方が強度が高いが、これらのスペクトルについて特定の波長領域の蛍光の強度の積分値と全波長領域に亘る蛍光の強度の積分値との比率によって表される相対強度比を求めることにより得られる正常組織の相対強度比プロファイルSkpと病変組織の相対強度比プロファイルBkpとを比較すると(すなわち、それぞれのスペクトルの全波長領域に亘る蛍光の強度を積分した値が同一の値となるように、例えば1となるように変換し比較することにより)、図5(b)に示すように550nm以下(特に480nm近傍)の波長領域において正常組織の蛍光成分は病変組織の蛍光成分より大きくなり、600nm以上(特に630nm近傍)の波長領域においては、正常組織の蛍光成分が病変組織の蛍光成分より小さくなる。
【0052】
従って、480nm近傍の波長領域の相対強度比Gk(Dh2(x,y)/Dh3(x,y))から630nm近傍の波長領域の相対強度比Rk(Dh1(x,y)/Dh3(x,y))を減算したときに求まる識別画像データSh(x,y)の値が大きな値となれば正常組織と識別され(図6−(a)参照)、小さな値となれば病変組織と識別される(図6−(b)参照)。
【0053】
上記演算は演算不適画素位置データGFを参照して行なわれ、演算不適画素に関しては識別画像データShを求める上記演算は行なわれない。一方、演算適画素においては上記演算が行なわれ、各画素位置毎に取得された識別画像データSh(x,y)の値は識別画像メモリ52に記憶される。このように、蛍光観察用高感度撮像素子34が受光した蛍光の光量が極微弱な領域に存在した画素の値に含まれるノイズの量が蛍光の受光光量に比して相対的に大きくなり、演算を行なっても生体の組織性状を正しく反映する結果が得られないような値となる画素は、演算不適画素として演算の対象外とされる。
【0054】
この演算不適画素については正常組織と病変組織とを識別する演算は行なわれず、演算不適画素の位置に対応する画像データの値は、識別演算ユニット51によって、例えば蛍光像TVモニタ81上で暗く表示される値が割り当てられ、最終的に蛍光像TVモニタ81に表示される画像は、図7に示すように、病変組織Bsは明るく、正常組織Ssは暗く表示され、演算不適画素に対応する位置Efは視覚的に悪影響を及ぼさないように暗く表示される。また、演算不適画素の位置に対応する画像データに割り当てる値は、上記例に限らず、0または正常組織と同じ値もしくはTVモニタの画面の背景と同じ明るさおよび色となる値を割り当てることもできる。
【0055】
次に、識別画像メモリ52に記憶された識別画像データSh(x,y)は、画像処理部53によって画像処理(エッジ強調、スムージング、各種フィルタリング、ヒストグラム補正等)が施されてビデオ信号回路60に出力され、ビデオ信号に変換されて診断に供する情報として蛍光像TVモニタ81に表示される。なお、画像処理部53には演算不適画素位置メモリ42から演算不適画素の位置の情報が入力され、画像処理部53によって行なわれる画像処理についても、演算不適画素に関しては演算等の処理は行なわれず、識別演算ユニット51によって割り当てられた値がそのまま画像処理部53を介してビデオ信号回路60に出力され蛍光像TVモニタ81によって表示される。
【0056】
一方、通常画像メモリ31に記憶された通常像の画像データは、ビデオ信号処理回路60によってビデオ信号に変換され通常の観察画像として通常像TVモニタ80に出力される。
【0057】
なお、識別演算ユニット51によって行なわれる識別画像データShを求める演算は、蛍光差成分の強度を全蛍光成分の強度で除算する演算方式に限らず、480nm近傍の蛍光成分の強度を630nm近傍の蛍光成分の強度で除算する等の異なった演算方式によって行うこともできる。
【0058】
また、上記実施の形態においては、自家蛍光を撮像した蛍光強度値に関する画像取得方式について説明したが、予め蛍光診断薬を吸収させた生体組織に励起光を照射することにより発生する薬剤蛍光に関しても同様の方式を適用することができる。
【0059】
また、上記実施の形態において説明した本発明による蛍光画像取得方法および装置は、内視鏡以外の装置、例えばコルポスコープ、手術顕微鏡等にも適用することができる。
【0060】
また、蛍光像を透過させる波長領域の範囲および設定される領域の数等は、上記実施の形態の設定に限定さるものではない。
【0061】
また、蛍光画像の各画素に含まれるノイズの値は温度等の条件によって異なるので、各温度条件毎のノイズ画像データDn(x,y)をテーブルとしてノイズレベルメモリ41に記憶させて、測定毎にこのテーブルから条件に合ったノイズ画像データを選択する方式とすることができる。
【0062】
また、ノイズ画像データDn(x,y)の値は、各画素毎にノイズを測定し記憶させる方式の他に、ノイズの平均値を代表値として記憶させたり、検出対象となる蛍光を入射させる光学系に付着する埃等の付着によるノイズも含めて測定し記憶させる方式とすることもできる。
【0063】
また、演算適画素あるいは演算不適画素の判別は、3つの波長領域h1、h2およびh3の同じ画素位置(x,y)の蛍光強度値Dh1(x,y)、Dh2(x,y)およびDh3(x,y)の全ての値が画素位置(x,y)のノイズ画像データDn(x,y)の値の係数倍(α倍)より小さい場合に位置(x,y)に対応する画素を演算不適画素として記憶させる判別方式に限らず、3つの波長領域h1、h2およびh3の同じ画素位置(x,y)の蛍光強度値Dh1(x,y)、Dh2(x,y)およびDh3(x,y)のそれぞれの値の内、少なくとも1つの値が画素位置(x,y)ノイズ画像データDn(x,y)の値の係数倍(α倍)より小さい値となる場合に位置(x,y)の画素を演算不適画素とする判別方式、あるいは、3つの波長領域h1、h2およびh3をそれぞれ透過した同じ画素位置(x,y)の蛍光強度値Dh1(x,y)、Dh2(x,y)およびDh3(x,y)の値の内の少なくとも半数以上の値が画素位置(x,y)のノイズ画像データDn(x,y)の値の係数倍(α倍)より小さい値となる場合に位置(x,y)の画素を演算不適画素とする判別方式等により行うこともできる。
【0064】
また、係数αは、一定の値として定めてもよいし、測定者が測定時に適宜変更できる形態とすることもでき、測定者が測定時に適宜変更する場合にはダイアル式、フットスイッチ式等で係数αの変更を行うようにすることもできる。
【0065】
また、生体組織から発生する蛍光の光量が少なく、予め蛍光画像の各画素の値が小さくなると予想される場合には蛍光観察用高感度撮像素子によって受光された値をビニング等の技術により読み取り、複数画素を1画素として取扱い(例えば、2×2画素を1画素または4×4画素を1画素等として取扱い)、上記に説明した内容と同様の処理を行えば、画像の解像度は劣化するが受光される蛍光の光量を見かけ上増大させることができるので、演算不適画素と判別されていた画素の中の1部分は演算適画素として取り扱うことができるようになる。
【0066】
また、図1に示される画像データの処理のブロック図は、この形態に限定されるものではなく、判別ユニット400あるいは識別演算ユニット500等の構成は異なる構成とすることができる。
【0067】
また、通常像の画像と蛍光像の画像とを1つのTVモニタに表示させることもできる。
【0068】
また、励起光Leの波長は410nm近傍の波長領域に限定されるものではなく生体組織から蛍光を効率良く発生させることができる波長領域を選択すればよい。
【0069】
また、図8(a)に示すように光源を、励起光Leの波長領域および白色光Whの波長領域を含む波長領域の光を発生する電源90に接続された1つの光源91に置き換えて、励起光Leの波長領域を透過させる半円状の帯域フィルタおよび白色光Whの波長領域を透過させる半円状の帯域フィルタを接合した図8(b)に示すような円盤形状の2分割フィルタ97を、光源91から光を射出する光路に配設し、コントロール部70によって制御されるモータ95によって、撮像素子の受光タイミングに同期させて該フィルタ97を回転することにより、励起光Leと白色光Whを交互に発生させることができる。ここで、2分割フィルタ97を透過した励起光Leは、白色光Whを反射し励起光Leを透過するダイクロイック面Fdを備えた第1のキューブビームスプリッタ92を透過し、集光レンズ15によって集光され励起光ライトガイド25−2(図1参照)に入射する。一方、2分割フィルタ97を透過した白色光Whは、白色光Whを反射し励起光Leを透過するダイクロイック面Fdを備えた第1のキューブビームスプリッタ92によって反射され、さらに第2のキューブビームスプリッタ93によって反射され集光レンズ14によって集光されて白色光ライトガイド25−1(図1参照)に入射する。
【0070】
また、上記実施の形態においては、通常観察用CCD撮像素子23を内視鏡先端に設置する形態としたが、イメージファイバを用いることにより、画像取込ユニット300内に該撮像素子23を設置してもよい。さらに、通常像用および蛍光像用のイメージファイバと撮像素子とを共通化することもできる。ただし、この場合には撮像素子の前面に所望の波長領域を透過した蛍光像と通常像とを分離して取得するための光学フィルタ等の手段が配設される。
【0071】
また、蛍光観察用高感度撮像素子34を内視鏡先端ユニット200内に配設し、さらに通常観察用CCD撮像素子23と蛍光観察用高感度撮像素子34とを共通化することもできる。ただし、この場合には内視鏡先端ユニット200の撮像素子の前面に色分離フィルタ37と同等の機能を有するモザイクフィルタ等が配設される。
【0072】
また、励起光の光源としてGaN系の半導体レーザを用いることにより装置を小型化することができると共に装置コストを安価にすることができる。
【0073】
以上のように本発明の蛍光画像取得方法および装置によれば、励起光の照射により生体等から発生した蛍光を撮像して得た各画素の蛍光強度値の中にノイズを大きな割合で含む値が存在しても、それが視覚的に悪影響を及ぼすことのないように蛍光画像を取得することができ、かつこのノイズを大きな割合で含む値を演算の対象外とすることにより画像データの処理時間を短縮することができる。
【図面の簡単な説明】
【図1】本発明の蛍光画像取得装置を蛍光内視鏡に適用した概略構成図
【図2】色分離フィルタ37を構成する各フィルタの透過特性を示す図
【図3】色分離フィルタ37の構造を示す図
【図4】ノイズ画像データDnの画素の位置(x,y)を示す図
【図5】(a)正常組織と病変組織とから発せられる蛍光のスペクトル強度の分布を示す図
(b)正常組織と病変組織とから発せられる蛍光の相対強度比プロファイルを示す図
【図6】(a)正常組織から発せられる蛍光の480nm近傍および630nm近傍の相対強度比を示す図
(b)病変組織から発せられる蛍光の480nm近傍および630nm近傍の相対強度比を示す図
【図7】最終的に蛍光像TVモニタ81に表示される画像を示す図
【図8】2つの光源を1つの光源91で置き換えたときの構成を示す図
【符号の説明】
1 生体組織
12 白色光光源
13 励起光光源
23 通常観察用CCD撮像素子
25 ライトガイド
34 蛍光観察用高感度撮像素子
60 ビデオ信号処理回路
70 コントロール部
100 光源ユニット
200 内視鏡先端ユニット
300 画像取込ユニット
400 判別ユニット
500 識別演算ユニット
600 蛍光内視鏡
Wh 白色光
Le 励起光

Claims (7)

  1. 励起光の照射を受けた生体等の試料から発せられる蛍光から求められた、少なくとも1つの波長領域の蛍光強度に基づき演算を行なって前記試料の蛍光画像を表す画像データを取得する蛍光画像取得方法であって、
    前記蛍光画像を構成する各画素について、前記蛍光強度に基づいて演算適画素であるか演算不適画素であるかを、各画素における前記蛍光強度と、あらかじめ測定され記憶された前記蛍光強度を求める蛍光強度測定手段自身から発生する各画素におけるノイズの値とを比較することにより判別し、演算適画素については前記演算を行なって該画素の値を得、前記不適画素については前記演算適画素に対応する蛍光画像部分に対して視覚的に悪影響を及ぼさないように暗く表示させる値を該画素の値として割り当てることを特徴とする蛍光画像取得方法。
  2. 前記試料が生体であり、前記蛍光が該生体内から発せられた自家蛍光であることを特徴とする請求項1記載の蛍光画像取得方法。
  3. 前記励起光の光源にGaN系の半導体レーザを用いることを特徴とする請求項1または2記載の蛍光画像取得方法。
  4. 生体等の試料に励起光を照射する励起光照射手段と、該励起光照射手段により励起光が照射された前記試料から発せられた蛍光から少なくとも1つの波長領域の蛍光強度を求める蛍光強度測定手段と、前記蛍光強度に基づき演算を行なって前記試料の蛍光画像を表す画像データを取得する演算処理手段とを備えた蛍光画像取得装置であって、
    前記蛍光画像を構成する各画素について、前記蛍光強度に基づいて、演算適画素であるか演算不適画素であるかを、各画素における前記蛍光強度と、あらかじめ測定され記憶された前記蛍光強度測定手段自身から発生する各画素におけるノイズの値とを比較することによって判別する判別手段を備え、前記演算処理手段が、演算適画素については前記演算を行なって該画素の値を得、前記不適画素については前記演算適画素に対応する蛍光画像部分に対して視覚的に悪影響を及ぼさないように暗く表示させる値を該画素の値として割り当てるように構成されていることを特徴とする蛍光画像取得装置。
  5. 前記試料が生体であり、前記蛍光が該生体内から発せられた自家蛍光であることを特徴とする請求項記載の蛍光画像取得装置。
  6. 前記励起光の光源が、GaN系の半導体レーザであることを特徴とする請求項4または5記載の蛍光画像取得装置。
  7. 前記蛍光画像取得装置が内視鏡であることを特徴とする請求項4から6のいずれか1項記載の蛍光画像取得装置。
JP2000231894A 1999-09-29 2000-07-31 蛍光画像取得方法および装置 Expired - Fee Related JP4245787B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000231894A JP4245787B2 (ja) 1999-09-29 2000-07-31 蛍光画像取得方法および装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP27638199 1999-09-29
JP11-276381 1999-09-29
JP2000231894A JP4245787B2 (ja) 1999-09-29 2000-07-31 蛍光画像取得方法および装置

Publications (2)

Publication Number Publication Date
JP2001161696A JP2001161696A (ja) 2001-06-19
JP4245787B2 true JP4245787B2 (ja) 2009-04-02

Family

ID=26551881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000231894A Expired - Fee Related JP4245787B2 (ja) 1999-09-29 2000-07-31 蛍光画像取得方法および装置

Country Status (1)

Country Link
JP (1) JP4245787B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113217B2 (en) 2001-07-13 2006-09-26 Xenogen Corporation Multi-view imaging apparatus
JP4190917B2 (ja) * 2002-03-28 2008-12-03 富士フイルム株式会社 内視鏡装置
JP4424279B2 (ja) * 2005-08-10 2010-03-03 住友電気工業株式会社 光化学医療用装置
DE102007014413B4 (de) * 2007-03-17 2016-02-04 DüRR DENTAL AG Verfahren zum Auswerten von Fluoreszenzbildsätzen und Vorrichtung zu seiner Durchführung
JP5119702B2 (ja) * 2007-03-22 2013-01-16 株式会社ニコン 画像処理方法及び共焦点顕微鏡
JP2009039280A (ja) * 2007-08-08 2009-02-26 Arata Satori 内視鏡システム及び内視鏡システムを用いた被写体の検出方法
US9778188B2 (en) 2009-03-11 2017-10-03 Industrial Technology Research Institute Apparatus and method for detection and discrimination molecular object
US9482615B2 (en) 2010-03-15 2016-11-01 Industrial Technology Research Institute Single-molecule detection system and methods
US8865078B2 (en) 2010-06-11 2014-10-21 Industrial Technology Research Institute Apparatus for single-molecule detection
US8865077B2 (en) 2010-06-11 2014-10-21 Industrial Technology Research Institute Apparatus for single-molecule detection
JP5496852B2 (ja) 2010-10-26 2014-05-21 富士フイルム株式会社 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
CN103491847B (zh) 2011-06-07 2016-01-20 奥林巴斯株式会社 内窥镜装置和荧光观察的光量控制方法
ES2907287T3 (es) 2014-07-25 2022-04-22 Massachusetts Gen Hospital Aparato para imagenología y diagnóstico in vivo
WO2016035450A1 (ja) * 2014-09-01 2016-03-10 株式会社島津製作所 イメージング装置

Also Published As

Publication number Publication date
JP2001161696A (ja) 2001-06-19

Similar Documents

Publication Publication Date Title
US9906739B2 (en) Image pickup device and image pickup method
JP5735031B2 (ja) コンパクトな蛍光内視鏡映像システム
JP4245787B2 (ja) 蛍光画像取得方法および装置
EP1535568A1 (en) Method and apparatus for obtaining fluorescence images, and computer executable program therefor
JP2001017379A (ja) 蛍光診断装置
US9907493B2 (en) Endoscope system processor device, endoscope system, operation method for endoscope system processor device, and operation method for endoscope system
WO2015025640A1 (ja) 蛍光観察装置
JP4895750B2 (ja) 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
EP2767209B1 (en) Endoscope system and image generation method
WO2010021160A1 (ja) 撮像システム及び内視鏡システム
WO2012070323A1 (ja) 蛍光内視鏡装置
US6465968B1 (en) Method and apparatus for displaying fluorescence information
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
US7613505B2 (en) Device for the detection and characterization of biological tissue
EP1089067A2 (en) Method of and apparatus for obtaining fluorescence image
JP2003164414A (ja) 蛍光診断画像表示方法および表示装置
JP2003111716A (ja) 標準光源、補正係数算出方法および装置並びに蛍光画像生成方法および装置
JP2002336187A (ja) 規格化蛍光画像生成方法および装置
JP4109132B2 (ja) 蛍光判定装置
JP2003159209A (ja) 蛍光診断画像表示方法および表示装置
JP2004008230A (ja) 蛍光診断情報生成装置
JP2001314366A (ja) 蛍光画像表示方法および装置
JP2004512120A (ja) 中空状部位に使用するための内視鏡器具
JP3881143B2 (ja) 蛍光表示方法および装置
JP6535701B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090107

R150 Certificate of patent or registration of utility model

Ref document number: 4245787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees