JP4298151B2 - 蛍光画像表示方法および装置 - Google Patents

蛍光画像表示方法および装置 Download PDF

Info

Publication number
JP4298151B2
JP4298151B2 JP2000299397A JP2000299397A JP4298151B2 JP 4298151 B2 JP4298151 B2 JP 4298151B2 JP 2000299397 A JP2000299397 A JP 2000299397A JP 2000299397 A JP2000299397 A JP 2000299397A JP 4298151 B2 JP4298151 B2 JP 4298151B2
Authority
JP
Japan
Prior art keywords
image
light
tissue
fluorescence
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000299397A
Other languages
English (en)
Other versions
JP2001258820A (ja
Inventor
知成 千代
和宏 辻田
俊孝 阿賀野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000299397A priority Critical patent/JP4298151B2/ja
Priority to US09/758,126 priority patent/US20020138008A1/en
Publication of JP2001258820A publication Critical patent/JP2001258820A/ja
Priority to US10/756,276 priority patent/US20040148141A1/en
Application granted granted Critical
Publication of JP4298151B2 publication Critical patent/JP4298151B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、励起光の照射により生体組織から発せられた蛍光に基づいて生体の組織性状を表す画像を表示する蛍光画像表示方法および装置に関するものである。
【0002】
【従来の技術】
従来より、励起光を生体組織に照射することにより、この生体組織から発生した自家蛍光を画像として検出し、生体の組織性状を観察する装置が知られている。例えば、体腔内の生体組織に波長410nm近傍の励起光を照射し、この励起光の照射により生体組織から発生した蛍光の強度と、この生体組織が受光した励起光の強度との比率で表される蛍光収率や、励起光の照射により発生した蛍光中の480nm近傍の波長領域の強度と、430nm〜730nmに亘る波長領域の強度との比率で表される規格化蛍光強度に基づいて作成された画像によって生体の組織性状を観察する内視鏡装置が提案されている。
【0003】
上記蛍光収率は、生体の正常組織および病変組織が同一強度の励起光を受光した場合に正常組織から発生する自家蛍光の強度が病変組織から発生する自家蛍光の強度より高くなることに基づいて病変組織と正常組織との識別を行う指標であり、また、この蛍光収率は同一の被測定部位における励起光の受光強度とこの励起光の受光により発生した自家蛍光の発光強度との比率で表される値なので、励起光を照射する射出点と励起光の照射を受ける生体組織の被測定部位との距離および角度等に影響されない生体の組織性状を表す安定した指標として利用することができる。
【0004】
実際に蛍光収率を求めるにあたっては、生体組織が受光した励起光の強度を直接測定することが難しいので、近赤外光等の生体組織に吸収されにくい波長領域を有する参照光の照射を受けた生体組織によって反射された光(以後反射参照光と呼ぶ)の強度によって前記生体組織が受光した励起光の強度を代替し、蛍光収率を求めている。
【0005】
すなわち、蛍光収率は、励起光の照射を受けた生体組織から発生した蛍光の強度と生体組織が照射を受けた励起光の強度との比率に基づいて求められる値であるが、蛍光収率の近似値として、励起光の照射を受けた生体組織から発生した蛍光の強度と参照光の照射を受けた生体組織によって反射された反射参照光の強度との比率に基づいて近似的に蛍光収率の値を求めている。
【0006】
一方、規格化蛍光強度は、励起光の照射を受けた生体の正常組織と病変組織とから発生する蛍光のスペクトルの形状が480nm近傍の波長領域において異なることに基づいて正常組織と病変組織との識別を行う指標であり、蛍光収率と同様に、励起光を照射する射出点と励起光の照射を受ける生体組織の被測定部位との距離および角度等に影響されない指標である。
【0007】
このように、体腔内の組織性状を画像として観察する内視鏡装置等においては、上記蛍光収率や規格化蛍光強度等の指標を用いて作成した組織性状画像を用いて生体の組織性状を観察している。
【0008】
上記蛍光収率を表す画像を作成しようとするときに生体組織に参照光を照射すると生体組織を覆っている粘膜や血液によって参照光が鏡面反射(正反射)され、この反射光(正反射光)が検出光路を伝播して直接検出されることがある。この正反射光が生じた生体組織の領域は、生体組織が受光した励起光の強度を表していない輝度の非常に高い輝点として検出され、この領域からは正確な蛍光収率を表す画像が得られない。したがって、この正反射光による影響を除去する方法が望まれる。
【0009】
その一般的な方式としては、偏光フィルタを介して直線偏光とされた光を生体組織に照射し、この生体組織によって反射された光を撮像側にクロスニコルの配置となるように偏光フィルタを配置した光学系を介して撮像することにより、照射された光の偏光方向が保存されている正反射光を除去する方式が知られている。また、偏光フィルタを介して直線偏光とされた光を生体組織に照射し、この生体組織によって反射され撮像素子によって受光された光の輝度が一定レベルを越えた場合に検光子を回転させて受光される正反射光の輝度を低減する方式や、正反射光を含む複数の画像を撮像して、それらの画像上の対応点を検出し、正反射光による輝点が目立たないように画像を合成する画像処理を施す方式等も提案されている。
【0010】
【発明が解決しようとする課題】
しかしながら、生体組織から発生した蛍光の強度の違いに基づいてこの生体の組織性状を表す画像を作成し表示しようとするときには、生体の組織性状が誤って観察されてしまうような画像として表示すると非常に大きな問題となるので、上記方式のように単に正反射光の影響が目立たないように画像を処理しただけでは不十分である。
【0011】
例えば、蛍光収率を用いて生体の組織性状を表示しようとする場合には、参照光が正反射された生体組織の領域からは強度の高い反射参照光が検出され、この領域は強度の高い励起光を受光した領域として認識されてしまう。この場合、その領域から発生した蛍光の強度と、その領域から検出された、正反射された反射参照光の強度とは無関係であり、実際にはその領域の生体組織は強度の高い励起光を受光したわけではない。
【0012】
この問題に対しては、偏光フィルタを撮像素子の入射光路に挿入することにより正反射光の強度を弱めたり、画像処理によって輝点を目立たなくしたりしただけでは上記問題点は十分に改善されず、正反射光の影響により生体の組織性状を観察するために用いる十分に信頼のできる画像が得られない。
【0013】
なお、このように、生体の組織性状を正確に表すことができない領域が生じる問題は、測定装置の検出限界や有効測定範囲の限界を超えて測定が行なわれたときにも発生し、また、この種の課題は生体組織に励起光を照射した際に発生する蛍光(自家蛍光)、および予め蛍光診断薬を吸収させた生体組織に励起光を照射した際に発生する蛍光(薬剤蛍光)に共通する課題である。
【0014】
本発明は、上記の事情に鑑みてなされたものであり、生体の組織性状を表す画像に含まれる生体の組織性状との対応が不正確な領域を明示することにより、信頼性の高い生体の組織性状の観察を行うことができる蛍光画像表示方法および装置を提供することを目的とするものである。
【0015】
【課題を解決するための手段】
本発明の蛍光画像表示方法は、励起光の照射を受けた生体組織から発せられた蛍光を特定の波長領域において検出することにより得られた第1の蛍光画像と、蛍光を前記特定の波長領域とは異なる波長領域において検出することにより得られた第2の蛍光画像もしくは参照光の照射を受けた生体組織によって反射された反射参照光を検出することにより得られた反射参照光画像とに基づく演算により、生体組織までの距離を補正した組織性状画像を作成し、この組織性状画像を表示する蛍光画像表示方法において、組織性状画像に含まれる各画像領域について、これらの領域が規定値以上の光量を受光した異常受光領域であるか、あるいは規定値未満の光量を受光した正常受光領域であるかを各画像のいずれかに基づいて判定し、異常受光領域を正常受光領域とは異なる形態で表示することを特徴とするものである。
【0016】
また、本発明の蛍光画像表示装置は、励起光の照射を受けた生体組織から発せられた蛍光を特定の波長領域において検出することにより得られた第1の蛍光画像と、前記蛍光を前記特定の波長領域とは異なる波長領域において検出することにより得られた第2の蛍光画像もしくは参照光の照射を受けた生体組織によって反射された反射参照光を検出することにより得られた反射参照光画像とに基づく演算により、生体組織までの距離を補正した組織性状画像を作成し、この組織性状画像を表示する蛍光画像表示装置において、組織性状画像に含まれる各画像領域について、これらの領域が規定値以上の光量を受光した異常受光領域であるか、あるいは規定値未満の光量を受光した正常受光領域であるかを各画像のいずれかに基づいて判定する判定手段と、この判定手段の出力に応じて異常受光領域を正常受光領域とは異なる形態で表示する異常領域表示手段とを備えたことを特徴とするものである。
【0017】
すなわち、本発明による方法および装置は、規定値以上の光量を受光した信頼性のない異常受光領域を、正常な領域と区別できる方法で表示するようにしたことを特徴とするものである。
【0018】
前記規定値は、反射参照光画像における正反射光の存在を示す反射参照光の強度や、前記各画像のいずれかにおける検出の限界や、前記各画像のいずれかにおける有効測定範囲の限界に基づいて定められることが適切である。
【0019】
前記異常領域表示手段は、組織性状画像が静止画像として表示されたときにのみ、異常受光領域を正常受光領域とは異なる形態で表示するものとすることができる。
【0020】
前記組織性状画像は、蛍光収率あるいは規格化蛍光強度を表すものとすることが好ましい。
【0021】
前記各画像の内少なくとも1つが撮像素子によって光電的に光を検出することにより得られたものである場合には、前記検出の限界は撮像素子の出力の飽和値に相当するものとすることができる。
【0022】
前記有効測定範囲の限界に基づく規定値は、所定距離離れた正常組織への励起光の照射によりこの正常組織から発せられた蛍光の検出により得られた第1の蛍光画像と第2の蛍光画像の少なくとも一方の検出値の平均値にこの検出値のバラツキを表す値を加算した値に基づいて定められることが適切である。
【0023】
前記異常領域表示手段は、正常受光領域がモノクロ表示されている場合には異常受光領域をカラー表示させ、正常受光領域がカラー表示されている場合には異常受光領域をモノクロ表示させたりして区別して表示することができる。あるいはまた異常受光領域を点滅して表示するようにしてもよい。
【0024】
前記蛍光画像表示装置は、異常受光領域の表示と非表示とを手動で切り替える表示切替手段を備えたものとしてもよい。
【0025】
前記蛍光画像表示装置は、生体内に挿入する内視鏡挿入部を有する内視鏡装置とすることができる。
【0026】
前記励起光の光源は、GaN系の半導体レーザとしてもよい。なお、GaN系の半導体レーザの発振波長は400nmから420nmの範囲であることが好ましい。
【0027】
なお、有効測定範囲とは、蛍光画像表示装置が有する光学系の性能等に基づいて定められるものであり、例えば光学系の被写界深度等によって定められる生体組織を正しく観察できる範囲等を意味するものである。
【0028】
また、所定距離とは有効測定範囲内で最も生体組織に接近したときの距離を意味するものである。
【0029】
また、形態とは、例えば色、形、模様、点滅の有無等を意味するものである。
【0030】
また、組織性状画像に含まれる各画像領域とは、組織性状画像に含まれる画素の領域、あるいは複数の画素が集まった領域等を意味するものである。
【0031】
また、蛍光収率は、必ずしも「励起光の照射を受けた生体組織から発生した蛍光の強度とこの生体組織が受光した励起光の強度との比率」によって求められた値である必要はなく、代替光等を用いることにより近似的に求められた値であってもかまわない。なお、上記近似的に求められた値も蛍光収率と呼ぶことにする。
【0032】
【発明の効果】
本発明の蛍光画像表示方法および装置によれば、第1の蛍光画像と、第2の蛍光画像もしくは反射参照光画像とに基づく演算により生体組織の組織性状を表す組織性状画像を作成し、この組織性状画像を表示するにあたり、規定値以上の光量を受光した異常受光領域を規定値未満の光量を受光した正常受光領域とは異なる形態で表示するようにしたので、規定値以上の光量を受光したために生体の組織性状との対応が不正確となった異常受光領域と生体の組織性状との対応が正確な正常受光領域とを容易に識別することができ、正常受光領域のみを観察対象とすることができるので、信頼性の高い生体の組織性状の観察を行うことができる。
【0033】
また、規定値を反射参照光画像における正反射光の存在を示す反射参照光の強度に基づいて定めたり、前記各画像のいずれかにおける検出の限界に基づいて定めたり、前記各画像のいずれかにおける有効測定範囲の限界に基づいて定めたりすれば、異常受光領域をより正確に定めることができる。
【0034】
また、異常領域表示手段を、組織性状画像を静止画像として表示させるときにのみ、異常受光領域を正常受光領域とは異なる形態として表示させるものとすれば、例えば、観察対象となる生体の部位を探しているときには異常受光領域は表示させずに動画像として表示させ、観察対象部位を探し当てた後、その組織性状の詳細を観察するために静止画像として組織性状を表示させたときにのみ異常受光領域を表示させることができる。すなわち、観察者が観察対象部位を探している最中で生体の組織性状に注目していないときには異常受光領域の表示が視野に入ることがないので観察者の負担が軽減される。また、観察対象部位を探しているときには高速な演算処理を行い実時間で(動画像として)異常受光領域を表示させる必要がなく、マイクロプロセッサおよびメモリ等の装置の負担も軽減される。
【0035】
また、前記組織性状画像を、蛍光収率あるいは規格化蛍光強度を表すものとすれば、より信頼性の高い組織性状の観察を行うことができる。すなわち、蛍光収率および規格化蛍光強度は生体の組織性状を反映した値であることが知られているので、組織性状画像を蛍光収率により近似させて求めた方が、より信頼性の高い生体の組織性状の観察を行うことができる。
【0036】
また、前記各画像の内少なくとも1つが撮像素子によって光電的に光を検出することにより得られたものであり、この検出の限界を、撮像素子の出力の飽和値に相当するものとすれば、規定値が明確となり異常受光領域をより正確に定めることができる。
【0037】
また、有効測定範囲の限界に基づく規定値を、所定距離離れた正常組織への励起光の照射により正常組織から発せられた蛍光の検出により得られた第1の蛍光画像と第2の蛍光画像の少なくとも一方の検出値の平均値にこの検出値のバラツキを表す値を加算した値に基づいて定められたものとすれば、有効測定範囲の規定値が統計的に求められ、異常受光領域をより正確に定めることができる。
【0038】
また、異常領域表示手段を、正常受光領域がモノクロ表示されている場合には異常受光領域をカラー表示させ、正常受光領域がカラー表示されている場合には異常受光領域をモノクロ表示させるものとしたり、異常受光領域の表示を点滅させるものとしたりすれば、異常受光領域をより確実に識別することができる。
【0039】
また、蛍光画像表示装置を、異常受光領域の表示と非表示とを手動で切り替える表示切替手段を備えたものとすれば、観察者がより観察しやすいように生体の組織性状を表示させることができる。
【0040】
また、蛍光画像表示装置を生体内に挿入する内視鏡挿入部を有する内視鏡装置とすれば、生体内部をより容易に観察することができる。
【0041】
また、励起光の光源をGaN系の半導体レーザとすれば、装置を小型化し、低コスト化することができる。
【0042】
【発明の実施の形態】
以下、本発明の具体的な実施の形態について、図面を用いて説明する。図1は、本発明の蛍光画像表示方法を実施する蛍光画像表示装置を内視鏡に適用した蛍光内視鏡装置の第1の実施の形態の概略構成を示す図である。
【0043】
本発明の第1の実施の形態による蛍光内視鏡装置800は、励起光Leの照射を受けた生体組織1から発せられた蛍光を特定の波長領域において検出することにより得られた第1の蛍光画像である蛍光画像データDkと、参照光Lnの照射を受けた生体組織1によって反射された反射参照光を検出することにより得られた反射参照光画像である反射参照光画像データDnとに基づく演算により、生体組織1までの距離を補正した生体組織1の組織性状を表す組織性状画像である組織性状画像データDDを作成するものである。この組織性状画像データDDを表示するにあたり、組織性状画像データDDに含まれる各画像領域について、これらの画像領域が規定値以上の光量を受光した異常受光領域であるか、あるいは規定値未満の光量を受光した正常受光領域であるかを、前記各画像、すなわち第1の蛍光画像である蛍光画像データDkと反射参照光画像である反射参照光画像データDnのいずれかに基づいて判定手段である正反射光領域認識器41が判定する。この判定手段である正反射光領域認識器41の出力に応じて、異常領域表示手段である組織性状画像合成器45が異常受光領域を正常受光領域とは異なる形態で表示する。なお、上記規定値は、反射参照光画像データDnにおける正反射光の存在を示す反射参照光の強度に基づいて定められるものであり、規定値以上の光量を受光した異常受光領域は正反射光領域として判定される。
【0044】
上記蛍光内視鏡装置800は、2つの互いに異なる波長領域の光を射出する光源を備えた光源ユニット100、光源ユニット100から射出された光を後述する照射光ファイバ21を介して生体組織1に照射し、これらの光の照射を受けた生体組織1によって反射された反射光による像(以後反射光像Zhと呼ぶ)および生体組織1から発生した蛍光による像(以後蛍光像Zkと呼ぶ)を撮像する内視鏡ユニット200、内視鏡ユニット200によって撮像された反射光像Zhおよび蛍光像Zkをデジタル値によって構成される2次元画像データに変換して出力する中継ユニット300、および中継ユニット300から出力された2次元画像データに基づく演算および正反射光領域の判定を行ない生体の組織性状を表す2次元画像データを得、この2次元画像データを映像信号に変換して出力する上記正反射光領域認識器41と組織性状画像合成器45とを有する演算ユニット400を備えている。
【0045】
光源ユニット100には、波長780nm近傍の近赤外領域の光の波長と可視領域の光の波長とを含む白色光Lwを射出する白色光光源11および410nmの波長の励起光Leを射出する励起光光源12が配設されており、白色光光源11から射出された白色光Lwは、異なる波長透過特性を持つ複数のフィルタが一体に結合されモータ13の主軸に取り付けられた回転フィルタ14と、410nm以下の波長領域の光を反射し410nmを越える波長領域の光を透過するダイクロイックミラー15とを透過して集光レンズ16によって集光された後、照射光ファイバ21の端面21aに入射する。一方、励起光光源12から射出された励起光Leは反射ミラー17およびダイクロイックミラー15によって反射された後、集光レンズ16により集光されて照射光ファイバの端面21aに入射する。
【0046】
なお、回転フィルタ14は図2に示すように、近赤外の波長領域の光のみを透過させるNIRフィルタ、赤色の波長領域の光のみを透過させるRフィルタ、緑色の波長領域の光のみを透過させるGフィルタ、青色の波長領域の光のみを透過させるBフィルタおよび光を遮断するSKフィルタ(遮光フィルタ)からなり、この回転フィルタ14が回転することにより白色光光源11から射出された白色光Lwは、図3のタイミングチャートに示すように近赤外光Ln、赤色光Lr、緑色光Lg、青色光Lbに分離され(以後近赤外光Lnを参照光Lnと呼び、赤色光Lr、緑色光Lg、青色光Lbを合わせて面順次光Lmと呼ぶ)、これらの分離された光は順次照射光ファイバ21の端面21aに入射する。そして、SKフィルタによって白色光Lwが遮光されている間に励起光光源12から射出された励起光Leはミラー17およびダイクロイックミラー15を経由して端面21aに入射する。
【0047】
内視鏡ユニット200は、屈曲自在な先端部201と、光源ユニット100および中継ユニット300が接続された操作部202とから構成され、照射光ファイバ21が先端部201から操作部202に亘ってその内部に敷設されている。
【0048】
照射光ファイバ21の端面21aに入射した参照光Ln、面順次光Lmおよび励起光Leは、照射光ファイバ21の内部を伝搬して端面21bから射出され照射レンズ22を通して生体組織1に照射される。
【0049】
参照光Lnおよび面順次光Lmの照射を受けた生体組織1によって反射された反射参照光による生体組織1の像(以後、反射参照光像Znと呼ぶ)および反射面順次光による生体組織1の像(以後、面順次光像Zmと呼ぶ)は、対物レンズ23によって撮像素子25の受光面上に結像され撮像されて電気的な画像信号に変換されケーブル26によって中継ユニット300に伝送される。同様に励起光Leが照射された生体組織1から発生した410nmを超え700nm近傍に亘る波長領域の蛍光によって形成される蛍光像Zkも、対物レンズ23によって撮像素子25の受光面上に結像され撮像されて電気的な画像信号に変換されケーブル26によって中継ユニット300に伝送される。なお、対物レンズ23と撮像素子25との間には410nmの波長を遮断し410nmを越える波長領域の光を透過する励起光カットフィルタ24が配設されており蛍光像Zkに混入して対物レンズに入射した反射励起光(励起光の反射光)はこの励起光カットフィルタ24によって遮断される。
【0050】
中継ユニット300には、ケーブル26によって伝送された各画像信号をデジタル値に変換するA/D変換器31、A/D変換器31によってデジタル値に変換された反射参照光像Znの2次元画像データを反射参照光画像データDnとして記憶する反射参照光画像メモリ32、A/D変換器31によってデジタル値に変換された蛍光像Znの2次元画像データを蛍光画像データDkとして記憶する蛍光画像メモリ33、およびA/D変換器31によってデジタル値に変換された面順次光像Zmの2次元画像データを面順次光画像データDmとして記憶する面順次光画像メモリ34が配設されている。
【0051】
演算ユニット400には、反射参照光画像データDnを入力して、この反射参照光画像データDnに含まれる正反射光の影響を受けた領域を認識する正反射光領域認識器41、正反射光領域認識器41によって認識された正反射光領域を表す正反射光領域データDshを記憶する正反射光領域メモリ42、反射参照光画像データDnと蛍光画像データDkとを入力し生体の組織性状を表す蛍光収率画像データDssを求める蛍光収率演算器43、および蛍光収率演算器43によって求められた蛍光収率画像データDssを記憶する蛍光収率画像メモリ44が配設されており、正反射光領域メモリ42に記憶された正反射光領域データDsh、蛍光収率画像メモリ44に記憶された蛍光収率画像データDssおよび面順次光画像メモリ34に記憶された面順次光画像データDmは組織性状画像合成器45に入力され、それぞれの画像データが重ね合わされて1つの画像になるように変換され、さらに映像信号処理回路46によって映像信号に変換されて出力される。
【0052】
演算ユニット400から出力された映像信号は表示器500に入力され表示される。
【0053】
次に、上記実施の形態における作用について説明する。なお、上記構成は、蛍光画像を得るために波長410nmの励起光を生体組織に照射し、反射参照光画像を得るために波長780nmの近赤外光を参照光として生体組織に照射するものであり、面順次光は生体組織の色および形を観察するために付加的に生体組織に照射するものである。
【0054】
光源ユニット100から射出され内視鏡ユニット200を経由して照射された励起光Leによって生体組織1から発生した蛍光により形成された生体組織1の蛍光像Zkと、光源ユニット100から射出され内視鏡ユニット200を経由して照射された参照光Lnおよび面順次光Lmが生体組織1によって反射されることにより形成された生体組織1の反射参照光像Znおよび面順次光像Zmとは撮像素子25によって撮像され、中継ユニット300に伝送されてデジタル値からなる2次元画像データに変換され、それぞれ蛍光画像メモリ33、反射参照光画像メモリ32および面順次光画像メモリ34に記憶される。
【0055】
反射参照光画像メモリ32に記憶された反射参照光像Znを表す反射参照光画像データDnは正反射光領域認識器41に入力され、この反射参照光像Znの中の強度が極めて高い領域に対応する反射参照光画像データDnの中の画素領域、すなわち図4に示すように各画素位置における強度の中で予め設定された閾値Q以上となる強度を持つ画素領域Zが正反射光領域として認識され、この領域は正反射光領域データDshとして正反射光領域メモリ42に記憶される。
【0056】
一方、上記反射参照光画像メモリ32に記憶された反射参照光画像データDnおよび蛍光画像メモリ33に記憶された蛍光像Zkを表す蛍光画像データDkは蛍光収率演算器43に入力され、同じ画素位置に対応する蛍光画像データDkの値と反射参照光画像データDnの値との間で除算を行うことにより(すなわち、蛍光画像データDkの値と反射参照光画像データDnの値との比率を求めることにより)蛍光収率画像データDssが求められる。すなわち
Dss=Dk/Dn
の演算が全ての画素位置について行われ蛍光収率画像データDssの値が求められる。
【0057】
なお、この蛍光収率画像データDssは、生体組織が受光した励起光の強度とこの励起光の照射により発生した蛍光の強度との比率である蛍光収率を表す2次元画像データと同等のものであり、生体組織が受光した励起光の強度を直接測定することは難しいので、生体組織によって反射された反射参照光の強度を生体組織が受光した励起光の強度の代わりに用いて蛍光収率を求めたものである。そして、この蛍光収率画像データDssは蛍光収率画像メモリ44に記憶される。
【0058】
次に、このようにして求められた、正反射光領域データDsh、蛍光収率画像データDssおよび面順次光画像データDmは組織性状画像合成器45に入力さる。ここで、正反射光領域データDshは図5(a)に示すように参照光が生体組織で正反射された領域P1,P2を表すデータであり、蛍光収率画像データDssは生体の組織性状を表し図5(b)に示すように病変組織の領域P3,P4を示す画像データで、正反射光の影響により病変組織と類似した形態で表示される正反射光の影響を受けた領域P1′,P2′も含む画像データである。また、面順次光画像データDmは図5(c)に示すように生体組織の通常観察される色および形状を表す画像データでありP5、P6は面順次光が生体組織で正反射され輝点として表された領域を示す。
【0059】
上記3種類のデータが組織性状画像合成器45に入力されると、図6に示すように、面順次光画像データDmの表す生体組織が通常観察される画像(明るい部分が0に近い値を持ち暗い部分が大きな値を持つ画像)上に、蛍光収率画像データDssによって病変組織として識別された領域P3およびP4を有する画像(正常組織が0に近い値を持ち病変組織が大きな値を持つ画像)が加えられる。そして、正反射光領域データDshが表すP1、P2の領域、すなわち面順次光画像データDmが表すP5、P6および蛍光収率画像データDssが表すP1′、P2′と重なる領域は、病変組織として識別されたP3およびP4の領域と明確に区別ができるように予め定められた特定の正反射光表示態様W1およびW2(領域の周辺に突起を持ち領域内が暗く表示される表示態様)によって表示される図7に示すような画像が合成され組織性状画像データDDとして出力される。
【0060】
そして組織性状画像データDDは映像信号処理回路46により映像信号に変換され演算ユニット400から出力されて表示器500によって表示される。この正反射光領域を表す予め定められた特定の正反射光表示態様は、生体の組織性状を病変組織と区別し得る表示態様とすれば良く、例えば正反射光領域を枠で囲い面順次光画像データに含まれる正反射光による輝点がこの枠内に見えるような表示形態であっても良い。また、上記表示される画像は、内視鏡先端部が移動していても、常に組織性状を表す画像と共に正反射光領域が予め定められた特定の表示形態により表示されるので信頼性の高い生体の組織性状の観察を行うことができる。
【0061】
なお、上記組織性状画像を動画像として観察しているときには上記正反射光領域を予め定められた表示形態により表示する処理を行わず、静止画像として観察するときのみ正反射光領域を予め定められた表示形態により表示する処理を行なうようにすることもできる。
【0062】
また、上記組織性状を表す組織性状画像データDDは正反射光領域を表す正反射領域データDshおよび生体組織の組織性状を表す蛍光収率画像データDssの2種類のデータを用いて作成されたものであってもよい。この場合には、図8に示すように上記蛍光像Zkおよび反射参照光像Znを対物レンズ23および励起光カットフィルタ24を通して一旦イメージファイバ27の端面27cに結像させイメージファイバ27内を通して他端の端面27dに伝播し、結像レンズ35および可視光の波長領域と近赤外の波長領域とを分離するダイクロイックミラー36を介して、それぞれの波長領域毎に蛍光像Zkと反射参照光像Znとに分離して撮像素子37および撮像素子38上に結像させ撮像して画像信号を得ることができる。
【0063】
なお、上記組織性状画像は生体の組織性状を表す蛍光画像と正反射光領域を表す反射参照光画像とに基づいて求められたものであればどのような種類の画像であっても良く、例えば、正反射光領域を表す反射参照光画像として410nmの波長の励起光あるいは赤色の波長領域の参照光を生体組織に照射することによって作成された正反射光領域を表す反射参照光画像を用いたり、生体の組織性状を表す蛍光画像として励起光の照射により生体組織から発生した蛍光の特定の波長領域の強度をこの蛍光の全波長領域の強度で除算した規格化蛍光強度を表す画像等を用いたりすることにより組織性状画像を求めることもできる。ただし、この規格化蛍光強度を求めるためには蛍光像を特定の波長領域で分光して検出する光学系を付加する必要がある。
【0064】
また、前記正反射光領域の認識方式は上記実施の形態で述べた方式に限らず微分オペレータを用いた画像処理等を採用して正反射が生じた領域を認識してもよい。
【0065】
また、本発明の蛍光画像測定方法および装置は、蛍光内視鏡に限らずコルポスコープ、手術用顕微鏡等にも適用することができる。
【0066】
次に、本発明による蛍光画像表示方法を実施する蛍光画像表示装置を内視鏡に適用した蛍光内視鏡装置の第2の実施の形態について図9を用いて説明する。
【0067】
第2の実施の形態の蛍光内視鏡装置900は、励起光の照射を受けた生体組織から発せられた蛍光を特定の波長領域である波長帯域430nm〜530nmにおいて検出することにより得られた第2の蛍光像である狭帯域蛍光画像と、上記蛍光を上記特定の波長領域とは異なる波長領域である波長帯域430nm〜730nmにおいて検出することにより得られた第1の蛍光画像である広帯域蛍光画像と、参照光である近赤外光が含まれる白色光が照射された生体組織によって反射された光を近赤外の波長帯域である波長帯域750nm〜900nmにおいて検出することにより得られた反射参照光画像であるIR反射参照光画像とに基づく演算により、生体組織までの距離を補正した生体組織の組織性状を表す組織性状画像を作成し、この組織性状画像を表示するにあたり、この組織性状画像に含まれる各画像領域について、これらの画像領域が規定値以上の光量を受光した異常受光領域であるか、あるいは規定値未満の光量を受光した正常受光領域であるかを前記各画像、すなわち第2の蛍光画像である狭帯域蛍光画像と、第1の蛍光画像である広帯域蛍光画像と、反射参照光画像であるIR反射参照光画像とに基づいて判定する判定手段である画像判定ユニット180と、この画像判定ユニット180の出力に応じて異常受光領域を正常受光領域とは異なる形態で表示する異常領域表示手段である画像合成器190とを有するものである。なお、上記規定値は、IR反射参照光画像における検出の限界、狭帯域蛍光画像および広帯域蛍光画像における有効測定範囲の限界に基づいて定められる。
【0068】
上記蛍光内視鏡装置900は、生体内に挿入される内視鏡挿入部100、可視光の波長領域と近赤外光の波長領域とを含む光を発する白色光光源、および生体組織から蛍光を発生させる波長410nm近傍の励起光を発する励起光光源を備えた照明ユニット110、上記生体組織から発生した蛍光による像および生体組織により反射された近赤外光による像を撮像する撮像ユニット120、撮像ユニット120によって撮像された画像に基づいて生体の組織性状を表す組織性状画像を作成する組織性状画像作成ユニット130、内視鏡挿入部100内に配置された撮像素子によって撮像された、目視により得られる画像と同等の画像である通常画像を表示するための信号処理を行う通常画像処理ユニット140、上記各ユニットに接続され、動作タイミングの制御を行うコントローラ150、通常画像処理ユニット140で処理された通常画像を可視画像として表示する映像モニタ160、撮像ユニット120によって撮像された画像を入力し、画像中の領域について異常受光領域であるか、あるいは正常受光領域であるかを判定する判定手段である前記画像判定ユニット180、組織性状画像作成ユニット130から出力された組織性状画像と、画像判定ユニット180から出力された判定結果とを入力し、組織性状画像中の異常受光領域を正常受光領域とは異なる形態で表示させる異常領域表示手段である前記画像合成器190、画像合成器190から出力された合成画像を通常画像処理ユニット140のビデオ信号発生回路144を経由して入力し可視画像として表示する映像モニタ170から構成されている。
【0069】
内視鏡挿入部100は、ライトガイド101、CCDケーブル102およびイメージファイバ103を内部に有し、ライトガイド101の端面の前方には照明レンズ104が備えられており、また、石英ガラスファイバによって形成されているイメージファイバ103の端面の前方には集光レンズ106が備えられている。また、CCDケーブル102の一端には、カラーモザイクフィルタがオンチップされたCCD撮像素子107が接続され、このCCD撮像素子107には、プリズム108が接合されている。ライトガイド101は、多成分ガラスファイバによって形成されている白色光ライトガイド101Aおよび石英ガラスファイバによって形成されている励起光ライトガイド101Bがバンドルされケーブル状に一体化されており、内視鏡挿入部100の外部に配置されているライトガイド101の他端は照明ユニット110へ接続されている。また、内視鏡挿入部100の外部に配置されているCCDケーブル102の他端は通常画像処理ユニット140に接続され、イメージファイバ103の他端は撮像ユニット120へ接続されている。
【0070】
照明ユニット110は、白色光J1を発する白色光光源111、この白色光光源111に電力を供給する電源112、蛍光画像撮像用の励起光J2を発するGaN系半導体レーザ114およびこのGaN系半導体レーザ114に電力を供給する電源115を備えている。
【0071】
撮像ユニット120は、イメージファイバ103中を伝播して入射した蛍光J3から励起光の波長領域を含む420nm以下の波長帯域をカットする励起光カットフィルタ121、互いに異なる波長特性を持つ3種類の光学フィルタが組み合わされ一体化された回転フィルタ122、この回転フィルタ122を回転させるフィルタ回転装置124、回転フィルタ122を透過した蛍光像またはIR反射参照光像を撮像するCCD撮像素子125、およびこのCCD撮像素子125で撮像された信号をデジタル化し、その値を出力するA/D変換回路126を備えている。
【0072】
上記回転フィルタ122は図10に示すような、波長帯域430nm〜730nmの光を透過させる広帯域フィルタ122Aと、波長帯域430nm〜530nmの光を透過させる狭帯域フィルタ122Bと、波長帯域750nm〜900nmの光を透過させるIR帯域フィルタ122Cとから構成されている。広帯域フィルタ122Aは、広帯域蛍光画像撮像用のフィルタであり、狭帯域フィルタ122Bは、狭帯域蛍光画像撮像用のフィルタであり、IR帯域フィルタ122Cは、IR反射参照光画像撮像用のフィルタである。この回転フィルタ122は、白色光J1が照射されているときには、白色光J1の光路中にIR帯域フィルタ122Cが配置され、励起光J2が照射されているときには、広帯域フィルタ122Aおよび狭帯域フィルタ122Bが励起光J2の光路中に順次配置されるように、コントローラ150によってフィルタ回転装置124が制御されている。
【0073】
CCD撮像素子125は、500×500画素の撮像素子であり、コントローラ150の制御によりIR反射参照光画像を撮像する際には、通常の読み出しを行うが、蛍光画像を撮像する際には、1画素当たりの受光光量を増加させるるために、5×5個分の画素の出力を加算した上で読み出すビニング読み出しを行う。このため、蛍光画像を撮像する際には、見かけ上は100×100画素の撮像素子として動作する。
【0074】
このように、読み出し方法が異なるため、IR反射参照光画像を構成する画素数は500×500画素であるのに対し、狭帯域蛍光画像および広帯域蛍光画像を構成する画素数は100×100画素となる。
【0075】
組織性状画像作成ユニット130は、回転フィルタ122を通して撮像されA/D変換回路126によってデジタル化された3種類の画像信号(狭帯域蛍光画像、広帯域蛍光画像およびIR反射参照光画像)を記憶する画像メモリ127、上記2種類の蛍光画像間の除算を行ない(すなわち、上記2種類の蛍光画像間の比率を求め)この除算により求められた規格化蛍光強度の値を、予め内部に記憶されているルックアップテーブルによって色に対応させ、可視画像として表示させるときの色信号に変換して出力する色演算部131、IR反射参照光画像の値を予め内部に記憶されているルックアップテーブルによって輝度に対応させ、可視画像として表示させるときの輝度信号に変換して出力する輝度演算部132、色信号と輝度信号とに基づいて組織性状画像を作成する組織性状画像作成部133、およびこの組織性状画像を記憶する組織性状画像メモリ134から構成されている。
【0076】
なお、画像メモリ127は、図示省略した狭帯域蛍光画像記憶領域、広帯域蛍光画像記憶領域およびIR反射参照光画像記憶領域から構成されており、広帯域フィルタ122Aを光路中に配置した状態において励起光J2を照射して撮像した蛍光画像はA/D変換回路126によってデジタル値に変換され広帯域蛍光画像として広帯域蛍光画像記憶領域に保存され、狭帯域フィルタ122Bが光路中に配置された状態において励起光J2を照射して撮像した蛍光画像はA/D変換回路126によってデジタル値に変換されて狭帯域蛍光画像として狭帯域蛍光画像記憶領域に保存される。また、IR帯域フィルタ122Cが光路中に配置された状態において白色光J1を照射して撮像した反射参照光画像はA/D変換回路126によってデジタル値に変換されてIR反射参照光画像としてIR反射参照光画像記憶領域に保存される。
【0077】
画像判定ユニット180は、上記狭帯域蛍光画像内の規定値以上の光量を受光した領域を判定する有効測定範囲判定器181、広帯域蛍光画像内の規定値以上の光量を受光した領域を判定する有効測定範囲判定器182およびIR反射参照光画像内の規定値以上の光量を受光した領域を判定するオーバーフロー判定器183、これら3つの個別の判定器による判定結果に基づき異常受光領域を判定する異常受光領域判定器184、異常受光領域の判定結果である異常受光領域の位置情報を記憶する異常受光領域メモリ185を備えている。
【0078】
画像合成器190は、組織性状画像メモリ134に記憶された組織性状画像と異常受光領域メモリ185に記憶された異常受光領域の位置情報とを入力し、組織性状画像上に異常受光領域が表示されている画像を合成して合成画像として出力する。
【0079】
通常画像処理ユニット140は、CCD撮像素子107で撮像された画像信号をデジタル化するA/D変換回路142、デジタル化された通常画像を保存する通常画像メモリ143、通常画像メモリ143から出力された通常画像および上記画像合成器190から出力された合成画像をビデオ信号に変換するビデオ信号発生回路144を備えている。
【0080】
以下、上記構成による蛍光内視鏡装置900の作用について説明する。まず、通常画像を撮像し表示する場合を説明し、次に反射参照光画像の撮像および蛍光画像の撮像を行なう場合を説明する。その後、合成画像を形成し表示する場合について説明する。
【0081】
蛍光内視鏡装置900においては、通常画像およびIR反射参照光画像の撮像と、蛍光画像の撮像とを時分割することにより順次行う。通常画像およびIR反射参照光画像の撮像時には、コントローラ150から出力された信号に基づき電源112が駆動され、白色光光源111から参照光である近赤外光を含む白色光J1が射出される。白色光J1は、レンズ113を通して白色光ライトガイド101Aに入射し、内視鏡挿入部の先端100Aまで導光された後、照明レンズ104から生体組織1に向けて照射される。
【0082】
生体組織1によって反射された白色光J1の反射光J4は対物レンズ105によって集光され、プリズム108の斜面によって反射されてカラーモザイクフィルタを通してCCD撮像素子107上に結像され撮像される。CCD撮像素子107によって撮像された通常画像は、A/D変換回路142によってデジタル値に変換された後、通常画像メモリ143に保存される。通常画像メモリ143に保存された通常画像は、ビデオ信号発生回路144によってビデオ信号に変換され、映像モニタ160によって可視画像として表示される。上記一連の動作は、コントローラ150によって制御される。
【0083】
一方、上記生体組織1によって反射され集光レンズ106により集光された近赤外光を含む白色光J1の反射光J5は、イメージファイバ103の端面に入射し、イメージファイバ103を通過してレンズ128により集光され、励起光カットフィルタ121および回転フィルタ122のIR帯域フィルタ122Cを透過してCCD撮像素子125上に結像される。
【0084】
IR帯域フィルタ122Cは、波長帯域750nm〜900nmの光のみを透過させるバンドパスフィルタなので、反射光J5がIR帯域フィルタ122Cを透過すると、反射参照光のみが抽出されCCD撮像素子125上にはIR反射参照光像のみが結像される。
【0085】
CCD撮像素子125上に結像され撮像されたIR反射参照光像は、光電変換されA/D変換回路126によってデジタル信号に変換された後、画像メモリ127のIR反射参照光画像記憶領域に保存される。
【0086】
次に、蛍光像を撮像する場合について説明する。コントローラ150から出力された信号に基づいて電源115が駆動され、GaN系半導体レーザ114から波長410nmの励起光J2が射出される。励起光J2は、レンズ116を通して励起光ライトガイド101Bに入射し、内視鏡挿入部の先端100Aまで導光された後、照明レンズ104を通して生体組織1に向けて照射される。
【0087】
励起光J2の照射を受けて生体組織1から発生した蛍光J3は、集光レンズ106によって集光されてイメージファイバ103の先端に入射し、イメージファイバ103を伝播してレンズ128によって集光され、励起光カットフィルタ121を通して回転フィルタ122の広帯域フィルタ122Aと狭帯域フィルタ122Bとを順次時分割して透過する。
【0088】
広帯域フィルタ122Aを透過した蛍光および狭帯域フィルタ122Bを透過した蛍光は、順次時分割してCCD撮像素子125によって受光され、光電変換された後、ビニング読み出しにより5×5画素分の信号が加算されて読み出され、A/D変換回路126によってデジタル信号に変換される。デジタル信号に変換された広帯域蛍光画像および狭帯域蛍光画像は画像メモリ127の広帯域蛍光画像記憶領域および狭帯域蛍光画像記憶領域に保存される。上記のようにビニング読み出しを行なうことにより光強度の弱い蛍光像を精度良く撮像することができるが、撮像された画像の画素数は、通常読み出しを行った場合の1/25である100×100画素となる。
【0089】
以下、合成画像を作成する場合について説明する。まず、組織性状画像作成ユニット130の色演算部131では、画像メモリ127に記憶されている狭帯域蛍光画像と広帯域蛍光画像とを入力し、各対応する画素毎に狭帯域蛍光画像の値を広帯域蛍光画像の値で除算して規格化蛍光強度を求め、予め色演算部131内に記憶されている色ルックアップテーブルを参照して規格化蛍光強度の値を色信号に変換し、その後、一つの画素に対応する色信号を、5×5個の画素に対応する色信号に変換し、画素数を100×100画素から500×500画素に戻した色信号から構成される色信号画像として出力する。
【0090】
輝度演算部132では、画像メモリ127のIR反射参照光画像記憶領域に保存されているIR反射参照光画像の値を予め画像メモリ127の内部に記憶されている輝度ルックアップテーブルを参照して各画素毎に輝度信号に変換し、これらの輝度信号から構成される輝度信号画像として出力する。
【0091】
組織性状画像作成部133は、上記色信号画像と輝度信号画像とを入力し、これらの画像に基づいて組織性状画像を作成し、この組織性状画像は組織性状画像メモリ134に記憶される。
【0092】
次に、画像判定ユニット180および画像合成器190の作用について説明する。
【0093】
A/D変換回路126によってデジタル値に変換されて出力された狭帯域蛍光画像、広帯域蛍光画像およびIR反射参照光画像は、上記画像メモリ127に入力されると共に、それぞれ有効測定範囲判定器181、有効測定範囲判定器182、およびオーバーフロー判定器183にも入力される。
【0094】
有効測定範囲判定器181に入力された狭帯域蛍光画像および有効測定範囲判定器182に入力された広帯域蛍光画像は有効測定範囲の限界に基づいて定められた規定値と比較され限界越領域が求められる。この規定値は予め次のような方式によって求められ、有効測定範囲判定器181および有効測定範囲判定器182に記憶されている。
【0095】
すなわち、蛍光内視鏡装置900を用いて生体組織から発生する蛍光を観察するときに受光する最大の光量は、蛍光内視鏡装置の内視鏡挿入部の先端100Aを仕様に基づき生体組織に最も接近させたときに生体の正常組織から発生する蛍光を受光したときの光量であり、蛍光内視鏡装置900によって生体の組織性状を観察する場合の生体組織に先端100Aを接近させる距離の限界は蛍光内視鏡装置900の仕様によって予め2mmと定められており、それ以上生体組織に接近した場合には、正確に生体の組織性状を観察することができなくなる。
【0096】
したがって、内視鏡挿入部の先端100Aを生体組織に接近させたときに正常組織から受光される蛍光の受光光量が、仕様上の有効測定範囲において想定される最大の受光光量を超えた場合には、先端100Aと生体組織との距離が2mm以内に接近したとみなされ、この領域は正確に生体の組織性状を観察することができない限界越領域とされる。
【0097】
この限界越領域を定めるための規定値は、予め別の方式によって正常組織と判定されている所定距離離れた位置に存在する生体組織へ励起光を照射し、この励起光の照射によって上記生体組織から発せられた蛍光の強度を検出し、この検出値の平均値に、検出値のバラツキを表す値を加算することによって定められる。すなわち、この規定値は、内視鏡挿入部の先端100Aを生体の正常組織から仕様上の接近限界である2mm離した状態において、励起光を複数回この正常組織に向けて照射し、この励起光の照射を受けた正常組織から発生した蛍光の強度を測定したときの平均値Mとその標準偏差σとから求められ、E=M+2σの式によって定めることができる。
【0098】
有効測定範囲判定器181に記憶されている規定値は、上記方式を正常組織から発せられた波長帯域430nm〜530nmの蛍光の検出に適用して求めたものであり、この規定値によって狭帯域蛍光画像における有効測定範囲の限界が定められる。有効測定範囲判定器182に記憶されている規定値は、上記方式を正常組織から発せられた波長帯域430nm〜730nmの蛍光の検出に適用して求めたものであり、この規定値によって広帯域蛍光画像における有効測定範囲の限界が定められる。
【0099】
一方、オーバーフロー判定器183に入力されたIR反射参照光画像はこの反射参照光画像の検出の限界に基づいて定められた規定値と比較されて限界越領域が求められる。このIR反射参照光画像の検出の限界は、IR反射参照光画像を検出する撮像素子の出力の飽和値に相当するものとして定められ、この検出の限界に基づく規定値は、予め次のような方式によって求められオーバーフロー判定器183に記憶されている。
【0100】
すなわち、撮像ユニット120から出力されるIR反射参照光画像を表す信号は、CCD撮像素子125から出力されるIR反射参照光画像を表すアナログ信号をA/D変換回路126によってデジタル値に変換したものであるが、このA/D変換回路が入力したアナログ信号の値が(すなわち検出された反射参照光の強度が)このA/D変換回路が変換可能なアナログ信号の値以上となり、デジタル出力が飽和した値となったときには、その画像領域は正確に生体の組織性状を観察することができない領域とみなされるので、このデジタル出力の飽和値が検出の限界に基づく規定値として定められる。例えば10ビットのA/D変換回路を用いる場合には飽和値は1024となるので、この値がオーバーフロー判定器183の規定値として定められる。
【0101】
図11に示すように、上記有効測定範囲判定器181、有効測定範囲判定器182、およびオーバーフロー判定器183によって、それぞれの規定値を参照して取得された限界越領域U1、U2、U3を含む画像H1、H2、H3は、異常受光領域判定器184に入力されると、それぞれの画像に含まれる限界越領域の論理積が求められて異常受光領域U4が定められる。異常受光領域判定器184によって定められた異常受光領域の位置情報は異常受光領域メモリ185に記憶される。
【0102】
画像合成器190は、異常受光領域メモリ185に記憶されている異常受光領域の位置情報と、組織性状画像メモリ134に記憶されている組織性状画像とを入力し、図12に示すようにカラー表示される組織性状画像S中に、異常受光領域U4´を白色で表示させるように合成画像を形成する。
【0103】
合成された合成画像は画像合成器190から出力され、ビデオ信号発生回路144に入力される。ビデオ信号発生回路144によってビデオ信号に変換された上記合成画像は、映像モニタ170に表示される。上記一連の動作は、コントローラ150によって制御される。
【0104】
なお、上記ビデオ信号発生回路144は、上記合成画像の信号処理および通常画像メモリ143から出力される通常画像の信号処理の両方の処理を行うものである。
【0105】
上記のように表示された合成画像の色は規格化蛍光強度、すなわち生体組織の病変化を表し、一方、輝度は生体組織によって反射された光の強度、すなわち生体組織の形状を表すので、1枚の画像に、生体組織の病変化に関する情報と形状に関する情報とを合成して表示することができる。
【0106】
さらに、上記のように映像モニタ170にカラー表示された生体の組織性状を表す映像中に生体の組織性状を正確に表していない異常受光領域が白色で表示されるので、観察者が生体の組織性状を誤って判断することを防止することができ、信頼性の高い生体の組織性状の観察を行なうことができる。
【0107】
また、励起光J2の光源として、GaN系半導体レーザ112を用いたため、安価で小型な光源により励起光を照射することができる。また、励起光の波長を、410nmとしたため、生体組織1から効率良く蛍光が発せられる。
【0108】
なお、上記規格化蛍光強度を用いる代わりに、広帯域蛍光画像の画素の値をIR反射参照光画像の画素の値で除算して求めた蛍光収率の値を色信号に割り当て、IR反射参照光画像の画素の値を輝度信号に割り当てて組織性状画像を作成してもよい。
【0109】
また、組織性状画像作成ユニット130における組織性状画像の作成は、必ずしも色演算部131と輝度演算部132の両方を用いて、色信号と輝度信号とからなる組織性状画像を作成する必要はなく、色演算部131を用いずに、狭帯域蛍光画像の画素の値を広帯域蛍光画像の対応する画素の値で除算して求めたた規格化蛍光強度の値、あるいは広帯域蛍光画像の画素の値をIR反射参照光画像の画素の値で除算して求めた蛍光収率の値を輝度信号に割り当てて組織性状画像を作成し、組織性状画像を無彩色のモノクロ表示させ、異常受光領域をカラー表示させるように画像合成器190によって合成画像を作成することもできる。
【0110】
また、上記各画像の画素の値の色信号または輝度信号への割り当ては、閾値を設けて各画素の値を2値化して2値表示させることもできるし、上記実施の形態のように、各画素の値を連続値として割り当てることにより連続した色または輝度の変化として表示させることもできる。
【0111】
また、画像判定ユニット180によって定められる限界越領域は、各画像(すなわち第2の蛍光画像である狭帯域蛍光画像、第1の蛍光画像である広帯域蛍光画像、反射参照光画像であるIR反射参照光画像)と、有効測定範囲の限界や検出の限界等をどのように組み合わせて求めたものであってもよく、また有効測定範囲の限界や検出の限界以外にも正反射光の存在を示す反射参照光の強度に基づいて限界越領域を定めてもよい。また異常受光領域判定器184によって定められる異常受光領域は、上記のような各限界越領域の論理積によって定める場合に限らず、各限界越領域の論理和によって定めたり、特定の限界越領域に基づいて定めてもよい。
【0112】
また、画像合成器190による組織性状画像への異常受光領域の合成を、合成画像を静止画像として表示しているときにのみ行ない、映像モニタ170上に生体の組織性状が静止画像として表示されているときには異常受光領域が表示されるが、映像モニタ170上に生体の組織性状が動画像として表示されているときには異常受光領域が表示されないようにすることもできる。上記静止画像と動画像との切り替えは蛍光内視鏡装置を操作するときの手元スイッチやフットスイッチによって行なうようにすることができる。
【0113】
また、図13に示すように蛍光内視鏡装置に異常受光領域の表示と非表示とを手動で切り替える表示切替手段である表示切替スイッチ191を設け、異常受光領域を表示させたくないときには、表示切替スイッチ191を非表示側に切り替えることにより、異常受光領域が表示されないようにすることもできる。すなわち、表示切替スイッチ191を非表示側に切り替えると、この表示切替スイッチ191から非表示信号が出力され、この非表示信号を入力した画像合成器190は、組織性状画像内への異常受光領域の合成を中断し、組織性状画像のみが画像合成器190から合成画像として出力されるようにすることもできる。なお、このとき非表示信号はコントローラ150にも出力され、非表示信号を入力したコントローラ150は画像判定ユニット180を制御し、画像判定ユニット180で行なわれている異常受光領域を定めるための処理も中断されるようにしてもよい。これにより画像判定ユニット180内で行なわれる処理の負担を軽減することができる。
【0114】
また、映像モニタ170上に表示される異常受光領域が観察者の希望する形態(色、形、模様、点滅の有無等)で表示されるように、組織性状画像と異常受光領域とを画像合成器190によって合成するときに異常受光領域の表示形態を観察者が選択できるようにしてもよい。
【0115】
なお、有効測定範囲判定器、オーバーフロー判定器、および異常受光領域判定器等における判定は、各画素単位で行うことに限定されず、観察者の所望する任意の縦横n×m画素単位で行ったり、あるいは演算量を考慮して、適当に画素を間引いて比較を行なうようにすることもできる。画素を間引いた場合などには、近傍の判定結果により補完表示を行えばよい。また、観察者が注目している領域のみの判定を行なうようにすることもでき、判定を行なっていない領域の表示色を特定の色で表示するようにすれば、注目している領域を明確に表示できる。
【0116】
また、通常画像と合成画像とを、映像モニタ160と映像モニタ170とに別々に表示する形態となっているが、1つの映像モニタ上に両者を表示するようにしてもよい。その際、通常画像と合成画像の表示の切換えは、動画像と静止画像との切替えに同期させて自動的に行ってもよいし、観察者が適当な切替手段で、任意に切り換える形態であってもよい。
【0117】
また、GaN系半導体レーザおよび白色光光源を別個の構成としたが、適当な帯域フィルタを利用して、励起光源と白色光光源とを1つの光源で代替することもできる。
【0118】
また、通常画像撮像用のCCD撮像素子107を蛍光内視鏡の先端部100Aに設置する実施の形態としたが、イメージファイバを用いることにより撮像ユニット内に通常像を導いてからCCD撮像素子によって撮像してもよい。さらに回転フィルタ122の変更や、多色モザイクフィルタの撮像素子への設置等により、通常画像撮像用、蛍光画像撮像用および反射画像撮像用のイメージファイバと撮像素子と共用するようにしてもよい。
【0119】
また、多色モザイクフィルタがオンチップされた撮像素子を蛍光内視鏡の先端部に設置することにより、通常画像撮像用と蛍光画像撮像用と反射画像撮像用の撮像素子を1つの撮像素子によって兼用することもできる。
【0120】
また、上記実施の形態は、画像判定ユニット180および組織性状画像作成ユニット130における演算がそれぞれ独立して行なわれるものとしたが、画像判定ユニット180において定められた異常受光領域に関しては組織性状画像作成ユニット130において演算を行なわないように制御するようにしてもよく、これにより組織性状画像作成ユニット130内で行なわれる画像処理の時間を短縮することができる。
【図面の簡単な説明】
【図1】第1の実施の形態による蛍光内視鏡装置の概略構成図
【図2】回転フィルタの構造を示す図
【図3】各波長領域の光を照射するタイミング示すタイミングチャート図
【図4】正反射光領域を閾値Qの値で区切って認識することを示す図
【図5】反射参照光像Zn(a)、蛍光像Zk(b)および面順次光像Zm(c)を示す図
【図6】各画像を重ね合わせる処理の概念図
【図7】表示される組織性状画像の概略を示す図
【図8】蛍光像Zk等を撮像する他の方式の概略を示す図
【図9】第1の実施の形態による蛍光内視鏡装置の概略構成図
【図10】回転フィルタの構造を示す図
【図11】各画像の限界越領域の論理積により異常受光領域を求める様子を示す図
【図12】組織性状画像中に異常受光領域を表示させる合成画像を形成する様子を示す図
【図13】異常受光領域の表示と非表示とを手動で切り替える表示切替手段を示す図
【符号の説明】
1 生体組織
11 白色光光源
12 励起光光源
13 モータ
14 回転フィルタ
15 ダイクロイックミラー
16 集光レンズ
17 反射ミラー
21 照射光ファイバ
21a 端面
21b 端面
22 照射レンズ
23 対物レンズ
24 励起光カットフィルタ
25 撮像素子
26 ケーブル
31 A/D変換器
32 反射参照光画像メモリ
33 蛍光画像メモリ
34 面順次光画像メモリ
41 正反射光領域認識器
42 正反射光領域メモリ
43 蛍光収率演算器
44 蛍光収率画像メモリ
45 組織性状画像合成器
46 映像信号処理回路
100 光源ユニット
200 内視鏡ユニット
201 先端部
202 操作部
300 中継ユニット
400 演算ユニット
500 映像信号は表示器
800 蛍光内視鏡装置
Dk 蛍光画像データ
Dm 面順次光画像データ
Dn 反射参照光画像データ
Dsh 正反射光領域データ
Dss 蛍光収率画像データ
Lb 青色光
Le 励起光
Lg 緑色光
Lm 面順次光
Ln 参照光(近赤外光)
Lr 赤色光
Lw 白色光
Zh 反射光像
Zk 蛍光像
Zm 面順次光像
Zn 反射参照光像

Claims (7)

  1. 励起光の照射を受けた生体組織から発せられた蛍光を特定の波長領域において検出することにより得られた第1の蛍光画像と、前記蛍光を前記特定の波長領域とは異なる波長領域において検出することにより得られた第2の蛍光画像もしくは参照光の照射を受けた前記生体組織によって反射された反射参照光を検出することにより得られた反射参照光画像とに基づく演算により、前記生体組織までの距離を補正した前記生体組織の組織性状を表す組織性状画像を作成し、該組織性状画像を表示する蛍光画像表示装置において、
    前記組織性状画像に含まれる各画像領域について、該領域が規定値以上の光量を受光した異常受光領域であるか、あるいは前記規定値未満の光量を受光した正常受光領域であるかを前記各画像のいずれかに基づいて判定する判定手段と、該判定手段の出力に応じて前記異常受光領域を前記正常受光領域とは異なる形態で表示する異常領域表示手段とを備え、
    前記規定値が、所定距離離れた前記正常組織への前記励起光の照射により該正常組織から発せられた蛍光を検出して得られた前記第1の蛍光画像と前記第2の蛍光画像の少なくとも一方の検出値の平均値に該検出値のバラツキを表す値を加算した値に基づいて定められたものであることを特徴とする蛍光画像表示装置。
  2. 前記異常領域表示手段が、前記組織性状画像が静止画像として表示されたときにのみ、前記異常受光領域を前記正常受光領域とは異なる形態で表示するものであることを特徴とする請求項1記載の蛍光画像表示装置。
  3. 前記組織性状画像が蛍光収率を表すものであることを特徴とする請求項1または2記載の蛍光画像表示装置。
  4. 前記組織性状画像が規格化蛍光強度を表すものであることを特徴とする請求項1または2記載の蛍光画像表示装置。
  5. 前記蛍光画像表示装置が生体内に挿入する内視鏡挿入部を有する内視鏡装置であることを特徴とする請求項1からのいずれか1項記載の蛍光画像表示装置。
  6. 前記励起光を射出する光源を備え、該光源が、GaN系の半導体レーザであることを特徴とする請求項1からのいずれか1項記載の蛍光画像表示装置。
  7. 励起光の照射を受けた生体組織から発せられた蛍光を特定の波長領域において検出することにより得られた第1の蛍光画像と、前記蛍光を前記特定の波長領域とは異なる波長領域において検出することにより得られた第2の蛍光画像もしくは参照光の照射を受けた前記生体組織によって反射された反射参照光を検出することにより得られた反射参照光画像とに基づく演算により、前記生体組織までの距離を補正した前記生体組織の組織性状を表す組織性状画像を作成し、該組織性状画像を表示する蛍光画像表示方法において、
    前記組織性状画像に含まれる各画像領域について、所定距離離れた前記正常組織への前記励起光の照射により該正常組織から発せられた蛍光を検出して得られた前記第1の蛍光画像と前記第2の蛍光画像の少なくとも一方の検出値の平均値に該検出値のバラツキを表す値を加算した値に基づいて定められた規定値以上の光量を受光した異常受光領域であるか、あるいは前記規定値未満の光量を受光した正常受光領域であるかを判定し、前記異常受光領域を前記正常受光領域とは異なる形態で表示することを特徴とする蛍光画像表示方法。
JP2000299397A 2000-01-13 2000-09-29 蛍光画像表示方法および装置 Expired - Fee Related JP4298151B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000299397A JP4298151B2 (ja) 2000-01-13 2000-09-29 蛍光画像表示方法および装置
US09/758,126 US20020138008A1 (en) 2000-01-13 2001-01-12 Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
US10/756,276 US20040148141A1 (en) 2000-01-13 2004-01-14 Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000004939 2000-01-13
JP2000-4939 2000-01-13
JP2000299397A JP4298151B2 (ja) 2000-01-13 2000-09-29 蛍光画像表示方法および装置

Publications (2)

Publication Number Publication Date
JP2001258820A JP2001258820A (ja) 2001-09-25
JP4298151B2 true JP4298151B2 (ja) 2009-07-15

Family

ID=26583459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000299397A Expired - Fee Related JP4298151B2 (ja) 2000-01-13 2000-09-29 蛍光画像表示方法および装置

Country Status (1)

Country Link
JP (1) JP4298151B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4109133B2 (ja) * 2002-03-28 2008-07-02 富士フイルム株式会社 蛍光判定装置
JP2003339530A (ja) * 2002-05-23 2003-12-02 Matsushita Electric Ind Co Ltd 炊飯器
DE102004001856B4 (de) 2003-01-14 2019-05-23 J. Morita Mfg. Corp. Bilderstellungsgerät für Diagnosezwecke
JP4475923B2 (ja) * 2003-01-14 2010-06-09 株式会社モリタ製作所 診断用撮影器
JP4521180B2 (ja) * 2003-12-05 2010-08-11 株式会社モリタ製作所 診断用撮影器
US7327384B2 (en) * 2003-06-19 2008-02-05 Tektronix, Inc. Gamut false color display
JP4394402B2 (ja) * 2003-09-11 2010-01-06 Hoya株式会社 内視鏡システム
JP4969273B2 (ja) * 2007-03-09 2012-07-04 オリンパス株式会社 蛍光観察装置
JP2009134383A (ja) * 2007-11-29 2009-06-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011508219A (ja) * 2007-12-19 2011-03-10 シンギュレックス・インコーポレイテッド 単一分子検出走査分析器およびその使用方法
JP5160343B2 (ja) * 2008-08-22 2013-03-13 オリンパスメディカルシステムズ株式会社 撮像システム及び内視鏡システム
JP5555002B2 (ja) * 2010-02-10 2014-07-23 オリンパス株式会社 蛍光内視鏡装置
JP5484977B2 (ja) * 2010-03-23 2014-05-07 オリンパス株式会社 蛍光観察装置
JP5438635B2 (ja) * 2010-08-31 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5737899B2 (ja) * 2010-10-07 2015-06-17 Hoya株式会社 診断システム
WO2012124228A1 (ja) * 2011-03-15 2012-09-20 オリンパスメディカルシステムズ株式会社 医療装置
WO2012164991A1 (ja) 2011-05-27 2012-12-06 オリンパスメディカルシステムズ株式会社 医療装置
WO2014091964A1 (ja) * 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
CN111643054A (zh) * 2014-02-27 2020-09-11 直观外科手术操作公司 用于镜面反射检测和减少的系统和方法
JP6920931B2 (ja) * 2017-09-01 2021-08-18 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
EP3705024A4 (en) 2017-10-31 2020-11-11 Fujifilm Corporation INSPECTION ASSISTANCE DEVICE, ENDOSCOPE DEVICE, INSPECTION ASSISTANCE PROCESS AND INSPECTION ASSISTANCE PROGRAM
CN112040831A (zh) * 2018-05-31 2020-12-04 松下i-PRO传感解决方案株式会社 相机设备、图像处理方法和相机系统

Also Published As

Publication number Publication date
JP2001258820A (ja) 2001-09-25

Similar Documents

Publication Publication Date Title
JP4298151B2 (ja) 蛍光画像表示方法および装置
US11439307B2 (en) Method for detecting fluorescence and ablating cancer cells of a target surgical area
CN110325100B (zh) 内窥镜系统及其操作方法
JP4321697B2 (ja) 蛍光画像表示方法および装置
US20020138008A1 (en) Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
EP2060227A1 (en) Multimodal imaging system for tissue imaging
US20080255426A1 (en) Autofluorescence endoscope system and light-source unit
EP1795111A1 (en) Removable filter unit and endoscope
JP2003339623A (ja) 蛍光診断情報生成方法および装置
JP4316118B2 (ja) 蛍光内視鏡装置
WO2010021160A1 (ja) 撮像システム及び内視鏡システム
US20100076304A1 (en) Invisible light irradiation apparatus and method for controlling invisible light irradiation apparatus
US10856805B2 (en) Image processing device, living-body observation device, and image processing method
JP7146925B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
EP3241481B1 (en) Dual path endoscope
JP2004024656A (ja) 蛍光内視鏡装置
JP4495513B2 (ja) 蛍光内視鏡装置
JP2002345739A (ja) 画像表示装置
JP2002336187A (ja) 規格化蛍光画像生成方法および装置
JP2001128925A (ja) 蛍光表示方法および装置
JP4109132B2 (ja) 蛍光判定装置
JP2002078670A (ja) 蛍光撮像装置
JP2002045328A (ja) 蛍光診断画像表示装置
JP2004008230A (ja) 蛍光診断情報生成装置
JP2003159209A (ja) 蛍光診断画像表示方法および表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees