JP5860802B2 - 蛍光観察装置および蛍光観察装置の作動方法 - Google Patents

蛍光観察装置および蛍光観察装置の作動方法 Download PDF

Info

Publication number
JP5860802B2
JP5860802B2 JP2012505692A JP2012505692A JP5860802B2 JP 5860802 B2 JP5860802 B2 JP 5860802B2 JP 2012505692 A JP2012505692 A JP 2012505692A JP 2012505692 A JP2012505692 A JP 2012505692A JP 5860802 B2 JP5860802 B2 JP 5860802B2
Authority
JP
Japan
Prior art keywords
image
unit
fluorescence
correction
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012505692A
Other languages
English (en)
Other versions
JPWO2011115095A1 (ja
Inventor
俊明 渡邉
俊明 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012505692A priority Critical patent/JP5860802B2/ja
Publication of JPWO2011115095A1 publication Critical patent/JPWO2011115095A1/ja
Application granted granted Critical
Publication of JP5860802B2 publication Critical patent/JP5860802B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、蛍光観察装置および蛍光観察装置の作動方法に関するものである。
従来、蛍光画像を反射光画像で除算して、観察距離による蛍光画像の明るさの変動を補正する方法が知られている(例えば、特許文献1〜特許文献3参照。)。
特開昭62−247232号公報 特公平3−58729号公報 特開2006−175052号公報
しかしながら、蛍光と反射光とでは、撮像される明るさの観察距離に対する依存性が異なるため、単に蛍光画像を反射光画像で除算したのでは、距離の影響を補正しきれないという問題がある。
本発明は上述した事情に鑑みてなされたものであって、除算した画像に残存する距離に対する依存性を十分に除去して定量性の高い蛍光画像によって観察を行うことができる蛍光観察装置および蛍光観察装置の作動方法を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第1の態様は、被写体に照明光および励起光を照射する光源を備える照明部と、該照明部からの励起光の照射により被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により被写体から戻る戻り光を撮影し参照画像を取得する戻り光撮像部と、該戻り光撮像部と前記被写体との距離情報を取得する距離情報取得部と、前記戻り光撮像部により取得された参照画像を用いて前記蛍光撮像部により撮像された蛍光画像を補正する画像補正部とを備え、該画像補正部が、前記距離情報取得部により取得された距離情報に基づいて補正係数を設定し、設定された補正係数を指数として用いて前記参照画像または前記蛍光画像の少なくとも一方の光強度情報を累乗演算することにより補正用参照画像または補正用蛍光画像を生成し、生成された前記補正用参照画像を用いて前記補正用蛍光画像を除算する蛍光観察装置を提供する。
本発明の第1の態様によれば、照明部から被写体に励起光が照射されると、被写体内に存在する蛍光物質が励起され蛍光が発生する。発生した蛍光は蛍光撮像部によって撮影され蛍光画像が取得される。一方、照明部から被写体に照明光が照射されると、被写体の表面において反射等されて戻る戻り光が戻り光撮像部によって撮影され参照画像が取得される。取得された蛍光画像は、画像補正部において参照画像を用いて補正される。
ここで、取得された蛍光画像における各画素の強度信号および参照画像における各画素の強度信号は、それぞれ、距離に対して依存性を有しているので、参照画像および蛍光画像の強度信号を何らかの指数で累乗することで、これらの依存性を低減することができる。この場合において、参照画像を構成する照明光の反射光と蛍光画像を構成する蛍光とはそのルートが異なるため、距離に対する依存性も距離に依存して変動する。本発明の第1の態様によれば、画像補正部が距離情報に基づいて設定された補正係数を指数として補正用参照画像または補正用蛍光画像の少なくとも一方を生成するので、観察距離が大きく変動しても、これを精度よく補正した定量性の高い蛍光画像を得ることができ、正確な蛍光観察を行うことができる。
上記発明においては、前記距離情報取得部が、前記戻り光撮像部により取得された参照画像の信号強度により、前記距離情報を取得してもよい。
このようにすることで、特別なセンサを用いることなく距離情報を取得して、定量性の高い蛍光画像を得ることができる。
上記発明においては、前記戻り光撮像部に対して前記被写体を近接または離間する方向に移動させる距離調節部を備え、前記距離情報取得部が、前記距離調節部に備えられた移動量センサであってもよい。
このようにすることで、被写体を移動させる距離調節部に備えられた移動量センサにより、距離情報を直接的に取得して、定量性の高い蛍光画像を得ることができる。
上記発明においては、前記画像補正部が、前記距離情報と前記補正係数とを対応づけて記憶する補正係数記憶部を備え、前記距離情報取得部により取得された距離情報を用いて前記補正係数記憶部に記憶されている補正係数を読み出してもよい。
このようにすることで、距離情報に対して参照光画像および/または蛍光画像を最適に補正可能な補正係数を迅速に設定することができる。
本発明の第2の態様は、蛍光観察装置が、該蛍光観察装置の照明部から導光された励起光により被写体において発生した蛍光を撮影し蛍光画像を取得し、前記照明部導光された照明光により被写体から戻る戻り光を撮影し参照画像を戻り光撮像部により取得し、該戻り光撮像部と前記被写体との距離情報を取得し、取得された距離情報に基づいて補正係数を設定し、設定された補正係数を指数として用いて前記参照画像または前記蛍光画像の少なくとも一方の光強度情報を累乗演算することにより補正用参照画像または補正用蛍光画像を生成し、生成された前記補正用参照画像を用いて前記補正用蛍光画像を除算する蛍光観察装置の作動方法を提供する。
除算した画像に残存する距離に対する依存性を十分に除去して定量性の高い蛍光画像によって観察を行うことができるという効果を奏する。
本発明の一実施形態に係る蛍光観察装置を示す全体構成図である。 図1の蛍光観察装置の画像補正部の内部構造を示すブロック図である。 図1の蛍光観察装置において補正係数および境界値を設定する作業を説明する図である。 図3の作業を示すフローチャートである。 図4の作業の内のデータ取得ステップを示すフローチャートである。 図4の作業の内の補正係数等決定ステップを示すフローチャートである。 図4の作業により取得された観察距離と信号強度との関係を示すプロット図である。 図7において累乗近似を行った結果得られたデータベースを示す図である。 図2の画像補正部の変形例を示すブロック図である。 図1の蛍光観察装置に設けられた画像処理部の変形例を示す部分的なブロック図である。 図1の蛍光観察装置に設けられた画像処理部の他の変形例を示す部分的なブロック図である。 図1の蛍光観察装置の変形例を示す全体構成図である。 図1の蛍光観察装置において、図6のフローを実行した結果取得された観察距離と信号強度との関係を示すプロット図である。 図13での検討結果を用いて、累乗演算処理の効果の結果を示すプロット図である。
以下、本発明の一実施形態に係る蛍光観察装置1および蛍光観察方法について、図面を参照して説明する。
本実施形態に係る蛍光観察装置1は、内視鏡装置であって、図1に示されるように、体内に挿入される細長い挿入部2と、光源(照明部)3と、該光源3からの照明光および励起光を挿入部2の先端から観察対象Aに向けて照射する照明ユニット(照明部)4と、挿入部2の先端に設けられ、観察対象Aである生体組織の画像情報を取得する撮像ユニット5と、挿入部2の基端側に配置され、撮像ユニット5により取得された画像情報を処理する画像処理部6と、該画像処理部6により処理された画像Gを表示するモニタ7とを備えている。
光源3は、キセノンランプ8と、該キセノンランプ8から発せられた照明光から、励起光および照明光(例えば、波長帯域400〜750nm)を切り出すフィルタ9と、フィルタ9により切り出された励起光および照明光を集光するカップリングレンズ10とを備えている。
照明ユニット4は、挿入部2の長手方向のほぼ全長にわたって配置され、カップリングレンズ10によって集光された励起光および照明光を導光するライトガイドファイバ11と、挿入部2の先端に設けられ、ライトガイドファイバ11によって導光されてきた励起光および照明光を拡散させて、挿入部2の先端面2aに対向する観察対象Aに照射する照明光学系12とを備えている。
撮像ユニット5は、観察対象Aの所定の観察範囲から戻る取り光を集光する対物レンズ13と、該対物レンズ13によって集光された戻り光の内、励起波長以上の光(励起光および蛍光)を反射し、励起波長より短い波長の照明光を透過するダイクロイックミラー(分岐部)14と、ダイクロイックミラー14を透過した照明光およびダイクロイックミラー14により反射された蛍光をそれぞれ集光する2つの集光レンズ(撮像光学系)15,16と、集光レンズ15,16によって集光された蛍光および照明光を撮像するCCDのような2個の撮像素子17,18とを備えている。図中、符号19は、ダイクロイックミラー14によって反射された光から励起光を遮断する(例えば、波長帯域765〜850nmの光だけを透過する)励起光カットフィルタである。
画像処理部6は、撮像素子17により取得された参照画像情報Sから参照画像Gを生成する参照画像生成部(RI Generator:Reference Image Generator)20と、撮像素子18により取得された蛍光画像情報Sから蛍光画像Gを生成する蛍光画像生成部(FI Generator:Fluoroscopic Image Generator)21と、これら参照画像生成部20および蛍光画像生成部21により生成された参照画像Gおよび蛍光画像Gに基づいて、撮像素子17,18の露光時間S,Sを算出し、撮像素子17,18の露光調節を行う露光時間調節部(ET Controller:Exposure Time Controller)22,23と、参照画像G、蛍光画像Gおよび撮像素子17,18の露光時間S,Sが入力されて、参照画像Gを用いて蛍光画像Gを補正する画像補正部24と、該画像補正部24により補正された補正後蛍光画像Gと参照画像Gとを合成して画像Gを生成する画像合成部25とを備えている。
ここで、画像補正部24は、図2に示されるように、参照画像Gおよび蛍光画像Gから規格化参照画像G’および規格化蛍光画像G’を生成する規格化参照画像生成部(距離情報取得部)26および規格化蛍光画像生成部27と、規格化参照画像生成部26により生成された規格化参照画像G’に基づいて補正係数α,βを設定する補正係数設定部28と、該補正係数設定部28により設定された補正係数α,βを指数として用いて、規格化参照画像G’の累乗演算を行う累乗演算処理部29と、該累乗演算処理部29において累乗演算された補正用参照画像G”を規格化蛍光画像G’により除算する除算処理部30とを備えている。
規格化参照画像生成部26および規格化蛍光画像生成部27は、参照画像Gおよび蛍光画像Gを露光時間調節部22,23により調節された撮像素子17,18の露光時間S,Sでそれぞれ除算することにより、規格化参照画像G’および規格化蛍光画像G’を生成するようになっている。これにより、撮像素子17,18の露光時間S,Sに依存した参照画像Gおよび蛍光画像Gの全体的な信号強度の変動が除去されて規格化された規格化参照画像G’および規格化蛍光画像G’が得られる。
補正係数設定部28は、例えば、挿入部2の先端面2aから観察対象A表面までの距離情報(以下、観察距離情報という。)と対応づけて、補正係数としての指数α,βを記憶している。具体的には、規格化参照画像G’の各画素における信号強度と観察距離Dとが一対一に対応しているので、信号強度との対応づけて指数α,βを記憶している。
本実施形態においては、信号強度の所定の境界値D(n)を設定し、その境界値D(n)の前後において異なる2つの補正係数α,αおよび2つの補正係数β,βを記憶している。そして、補正係数設定部28は、規格化参照画像生成部26から送られてきた規格化参照画像G’の各画素における信号強度と境界値D(n)とを比較し、境界値D(n)より小さい場合には第1の補正係数α,β、境界値D(n)以上の場合には第2の補正係数α,βを設定するようになっている。
この場合において、2つの補正係数α,βおよび境界値D(n)は、蛍光観察に先立つ測定によって、以下の通りにして決定されている。
すなわち、補正係数α,βおよび境界値D(n)の決定に際しては、図3に示されるように、挿入部2を固定するホルダ31と、該ホルダ31に固定された挿入部2の先端面2aに対して観察距離Dをあけて対向させられる標準試料32と、挿入部2の先端面2aと標準試料32との間の観察距離Dを変更する直動ステージ33とを準備する。直動ステージ33には図示しないエンコーダのような移動量センサが設けられている。
標準試料32としては、観察しようとする生体と同様の散乱や吸収特性を有するファントムを用いてもよいし、ヒトや動物(ブタやマウス等)の切除組織を用いてもよい。
図4〜図6に示されるフローチャートに従って、データ取得ステップST1と、補正係数等決定ステップST2とを行う。
まず、データ取得ステップST1は、図5に示されるように、nを初期化し(ST11,ST12)、直動ステージ33を動作させて移動量センサにより観察距離D(n)(nは自然数)を精度よく設定し(ST13)、そのときの参照画像Gおよび蛍光画像Gを取得し(ST14)、規格化参照画像G’および規格化蛍光画像G’を算出し(ST15)、予め設定された関心領域における信号強度の平均値を算出し(ST16)、観察距離D(n)に対する信号強度の値としてプロットする(ST17)。この作業を繰り返して(ST18)、図7に示されるように、複数点(a個)のプロットを得る。
ここで、関心領域としては、標準試料32内の蛍光強度が一定であれば、観察距離Dに拘わらず、一定の大きさに設定してもよい。標準試料32の表面に凹凸がある場合や標準試料32中の蛍光分布にムラがある場合には、観察距離Dが大きくなるに連れて関心領域の大きさを小さくすることにより、常に同じ領域の信号強度を取得することが好ましい。
次いで、補正係数等決定ステップST2は、図6に示されるように、まず、n=3として(ST21,ST22)、n点目の観察距離D(n)を境界値として設定する(ST23)。D(3)を最初の境界値としたのは、最小二乗法等による累乗近似を使用する場合に3点以上のデータが必要となるからである。
そして、観察距離D(1)〜D(n)の領域およびD(n)〜D(a)の領域において、累乗近似を行って(ST24,ST25)、それぞれ指数を算出し、その決定係数Rおよび境界値D(n)と共に保存する(ST26)。
nを1つずつインクリメントして(ST22)、上記作業をn=a−2となるまで繰り返し(ST27)、図8に示されるデータテーブルを得る。そして、このデータテーブルの中から、決定係数Rの総和が4に最も近い境界値D(n)と指数α,βとの組み合わせを選択して(ST28)、補正係数設定部28に記憶しておく(ST29)。
本実施形態では、蛍光画像Gに対して得られた指数αを参照画像に対して得られた指数βで除算することにより、指数α/βを補正係数として記憶しておく。
累乗演算処理部29は、補正係数設定部28において設定された補正係数α/βを指数として規格化参照画像G’の各画素における強度信号(光強度情報)に累乗演算処理を施して補正用参照画像G”を生成するようになっている。累乗演算処理部29において生成された補正用参照画像G”は、除算処理部30に入力されるようになっている。一方、蛍光画像については規格化蛍光画像G’がそのまま補正用蛍光画像として除算処理部30に入力されるようになっている。
本明細書においては、規格化蛍光画像が累乗演算処理されずにそのまま補正用蛍光画像として除算処理部30に入力される場合、その入力された規格化蛍光画像を補正用蛍光画像と呼ぶこととする。同様に、規格化参照画像が累乗演算処理されずにそのまま補正用参照画像として除算処理部30に入力される場合、その入力された規格化参照画像を補正用参照画像と呼ぶこととする。
除算処理部30は、補正用蛍光画像G’を補正用参照画像G”によって画素毎に除算処理することにより、補正後蛍光画像Gを生成するようになっている。
画像合成部25は、例えば、参照画像Gと補正後蛍光画像Gとを並列に配置してモニタ7に同時に表示させるよう画像Gを合成し、モニタ7に出力するようになっている。
以下、図1の蛍光観察装置において、図3に示す補正係数および境界値を設定する作業を実行することにより、補正係数の算出および補正の効果を確認した結果を説明する。
なお、観察する標準試料としては、蛍光薬剤の溶液に散乱物質を混ぜたものを用いた。
図13は、図1の蛍光観察装置において、図6のフローを実行した結果取得された観察距離と信号強度との関係を示すプロット図であり、縦軸が規格化参照画像の信号強度および規格化蛍光画像の信号強度をログスケールで示し、横軸が観察距離をログスケールで示す。 図6に示すフローを実行した結果、図13に示されるように、ST28でD=4mmが境界値として選択された。なお、図13中に記載の式は、ST24およびST25において、累乗近似を行った際に求められた近似値である。
図14は、図13での検討結果を用いて、累乗演算処理の効果の結果を示すプロット図である。「累乗演算処理なし」の場合は、従来例と同じく、蛍光画像を参照画像で除算した結果を示している。「累乗演算処理あり」の場合は、図6のフローで得られた指数を用いて、画像補正部内で累乗演算処理を実行した結果を示している。
それぞれの場合について、観察距離毎に補正後蛍光画像を生成した。作成した補正後蛍光画像中の中心付近のROI(Region Of Interest)内の平均信号強度を算出し、さらに各条件内(距離を変えた11点)の平均値で規格化してプロットを行った。これにより、累乗演算処理を加えることで、誤差が小さくなっていることがわかる。
このように構成された本実施形態に係る蛍光観察装置1を用いた蛍光観察方法について、以下に説明する。
本実施形態に係る蛍光観察装置1によれば、光源3からの照明光および励起光が、照明ユニット4を介して挿入部2の先端面2aから観察対象(被写体)Aに向けて照射され、観察対象Aの表面における反射光が撮像素子17により取得されて、参照画像生成部20により参照画像Gが生成される。一方、励起光が照射されることにより観察対象Aの内部において発生した蛍光が撮像素子18により取得されて、蛍光画像生成部21により蛍光画像Gが生成される。
参照画像Gおよび蛍光画像Gが生成されると、生成された参照画像Gおよび蛍光画像Gに基づいて、露光時間調節部22,23が撮像素子17,18の露光時間S,Sを算出し、撮像素子17,18の露光を自動調節する。参照画像G、蛍光画像Gおよびそれらを撮影した際の各撮像素子17,18の露光時間S,Sが画像補正部24に送られる。
画像補正部24においては、規格化参照画像生成部26において、参照画像Gが撮像素子17の露光時間Sによって除算されることにより規格化参照画像G’が生成され、規格化蛍光画像生成部27において、蛍光画像Gが撮像素子18の露光時間Sによって除算されることにより規格化蛍光画像G’が生成される。
そして、規格化参照画像G’の各画素の信号強度に基づいて、補正係数設定部28において補正係数α,βが設定され、累乗演算処理部29において、各画素について設定された補正係数α/βが指数として、該指数で各画素の信号強度を累乗演算することにより、補正用参照画像G”が生成される。
その後、補正用参照画像G”および規格化蛍光画像生成部27から出力された補正用蛍光画像である規格化蛍光画像G’が除算処理部30に入力され、補正用蛍光画像G’が補正用参照画像G”によって除算されることにより補正後蛍光画像Gが生成される。
生成された補正後蛍光画像Gおよび参照画像Gは、画像合成部25において合成され、モニタ7に並列して表示される。
このように、本実施形態に係る蛍光観察装置1および蛍光観察方法によれば、所定の観察距離Dを境界値D(n)としてその前後で異なる補正係数α,β,α,βを指数として累乗演算を行った補正用参照画像G”を用いて補正用蛍光画像G’を除算することにより、観察距離Dが大きく変動しても、定量性の高い補正後蛍光画像Gを得ることができるという利点がある。
本実施形態においては、規格化蛍光画像G’の信号強度および規格化参照画像G’の信号強度の両方において算出した指数α,βを用いて規格化参照画像G’の信号強度のみに累乗演算を施すこととしたので、規格化蛍光画像G’および規格化参照画像G’の両方に累乗演算を施す場合と比較して演算量を低減し、迅速な演算を行うことができるという利点がある。これに代えて、図9に示されるように、規格化蛍光画像G’側にも累乗演算処理部34を設け、補正係数設定部28において設定された指数α,βを用いて、規格化参照画像G’に対して1/βの累乗演算を施すとともに、規格化蛍光画像G’に対して1/αの累乗演算を施し、補正用蛍光画像G”を得ることにしてもよい。
除算処理部30において補正用蛍光画像G”を補正用参照画像G”によって除算して得られた補正後蛍光画像Gの画素毎に、規格化蛍光画像G’に対して得られた指数αで累乗する累乗演算を施すことにしてもよい。これにより、各画素の信号強度と観察対象A内における蛍光の存在量とを比例させることができ、さらに定量的な観察を行うことができる。
これに代えて、補正後蛍光画像Gの信号強度と蛍光濃度との対応表(変換テーブル)を備えていて、画像上に特定の領域の蛍光濃度を表示するようにしてもよい。
図10に示されるように、挿入部2として着脱可能なものを採用する場合には、挿入部2に挿入部情報Sを保持する挿入部情報保持部35を設け、画像処理部6側に、それを読み取る挿入部情報読取部36および、挿入部情報Sに対応づけて補正係数α,βおよび境界値D(n)を記憶する補正係数記憶部(CC Storage:Correction Coefficient Storage)37を設けておくようにしてもよい。これにより、挿入部2を画像処理部6に取り付けると、挿入部2の挿入部情報保持部(IMIH Section:Insert Member Information Holding Section)35に記憶されていた挿入部情報Sが挿入部情報読出部(IMIR Section:Insert Member Information Reading Section)36により読み出され、補正係数記憶部37に挿入部情報に対応づけて記憶されている補正係数α,βおよび境界値D(n)が読み出され、補正係数設定部28に記憶される。
このようにすることで、挿入部2の個体差による補正係数の変動を精度よく較正することができるという利点がある。
また、挿入部情報保持部35が挿入部情報Sを保持し、補正係数記憶部37に補正係数α,β等を記憶していることに代えて、図11に示されるように、挿入部情報保持部35が補正係数α,βおよび境界値D(n)を直接記憶していて、挿入部情報読出部36により読み出した補正係数α,βおよび境界値D(n)を補正係数設定部28に送ることにしてもよい。
本実施形態においては、単一の境界値D(n)を設定して、その前後において異なる補正係数を設定することとしたが、これに代えて、2以上の境界値D(n)を設定して、3以上の補正係数を設定することにしてもよい。境界値D(n)が2以上存在する場合においても、各補正係数の設定方法は、図4〜図6のフローチャートに準ずればよい。
例えば、3以上の補正係数を設定する場合には、観察距離D(3)≦D≦D(a−2)の範囲で2つの境界値D1,D2を選択し、D(1)≦D≦D1、D1≦D≦D2、D2≦D≦D(a−2)のそれぞれの領域において累乗近似を行って、指数、境界値および決定係数を保存することを全ての境界値D1,D2の組み合わせについて行う。これにより得られたデータベースから決定係数の総和が6に最も近くなる指数および境界値D1,D2を採用することにすればよい。
さらに多くの境界値によって分割する場合には、例えば、観察距離D(1)≦D≦D(a)の範囲で連続する3点以上の観察距離D毎に累乗近似を行って、補正係数を得ることにしてもよい。
本実施形態においては、撮像素子17,18の露光時間S,Sによって参照画像Gおよび蛍光画像Gをそれぞれ規格化することとしたが、これに代えて、参照画像Gおよび蛍光画像Gの信号強度に基づいて撮像素子17,18のゲインを調節し、参照画像Gおよび蛍光画像Gをゲインに対応するゲイン増倍率によって除算することにより規格化参照画像G’および規格化蛍光画像G’を得ることにしてもよい。
図12に示されるように、光源3として、Xeランプ8およびレーザ光源38を有し、それらの出力をXeランプ制御部39およびレーザ制御部40によって制御することで、調光を行うことができる場合には、照明光調光部(ILC Section:Illumination Light Control Section)41および励起光調光部(ELC Section:Excitation Light Control Section)42によって、参照画像Gおよび蛍光画像Gの信号強度に基づいて算出された照明光の強度S’および励起光の強度S’によって参照画像Gおよび蛍光画像Gを除算することにより規格化参照画像G’および規格化蛍光画像G’を得ることにしてもよい。符号43は集光レンズ、符号44はダイクロイックミラーである。
参照画像Gおよび蛍光画像Gの規格化を行う前に、撮像素子17,18のノイズ成分を減算することとしてもよい。これにより演算精度を向上することができるという利点がある。
照明光として白色光、蛍光として近赤外蛍光を例示したが、これに限定されるものではなく、参照光としては可視領域の励起光、蛍光としては可視領域の蛍光のようにいかなる蛍光色素に対しても適用することができる。
A 観察対象(被写体)
1 蛍光観察装置
2 挿入部
3 光源
4 照明ユニット(照明部)
6 画像補正部
17 撮像素子(戻り光撮像部)
18 撮像素子(蛍光撮像部)
28 補正係数設定部(補正係数記憶部)
33 直動ステージ(距離調節部)

Claims (5)

  1. 被写体に照明光および励起光を照射する光源を備える照明部と、
    該照明部からの励起光の照射により被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、
    前記照明部からの照明光の照射により被写体から戻る戻り光を撮影し参照画像を取得する戻り光撮像部と、
    該戻り光撮像部と前記被写体との距離情報を取得する距離情報取得部と、
    前記戻り光撮像部により取得された参照画像を用いて前記蛍光撮像部により撮像された蛍光画像を補正する画像補正部とを備え、
    該画像補正部が、前記距離情報取得部により取得された距離情報に基づいて補正係数を設定し、設定された補正係数を指数として用いて前記参照画像または前記蛍光画像の少なくとも一方の光強度情報を累乗演算することにより補正用参照画像または補正用蛍光画像を生成し、生成された前記補正用参照画像を用いて前記補正用蛍光画像を除算する蛍光観察装置。
  2. 前記距離情報取得部が、前記戻り光取得部により取得された参照画像の信号強度により、前記距離情報を取得する請求項1に記載の蛍光観察装置。
  3. 前記戻り光撮像部に対して前記被写体を近接または離間する方向に移動させる距離調節部を備え、
    前記距離情報取得部が、前記距離調節部に備えられた移動量センサである請求項1に記載の蛍光観察装置。
  4. 前記画像補正部が、前記距離情報と前記補正係数とを対応づけて記憶する補正係数記憶部を備え、
    前記距離情報取得部により取得された距離情報を用いて前記補正係数記憶部に記憶されている補正係数を読み出す請求項1から請求項3のいずれかに記載の蛍光観察装置。
  5. 蛍光観察装置が、
    該蛍光観察装置の照明部から導光された励起光により被写体において発生した蛍光を撮影し蛍光画像を取得し、
    前記照明部から導光された照明光により被写体から戻る戻り光を撮影し参照画像を戻り光撮像部により取得し、
    該戻り光撮像部と前記被写体との距離情報を取得し、
    取得された距離情報に基づいて補正係数を設定し、設定された補正係数を指数として用いて前記参照画像または前記蛍光画像の少なくとも一方の光強度情報を累乗演算することにより補正用参照画像および補正用蛍光画像を生成し、生成された前記補正用参照画像を用いて前記補正用蛍光画像を除算する蛍光観察装置の作動方法。
JP2012505692A 2010-03-18 2011-03-15 蛍光観察装置および蛍光観察装置の作動方法 Expired - Fee Related JP5860802B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012505692A JP5860802B2 (ja) 2010-03-18 2011-03-15 蛍光観察装置および蛍光観察装置の作動方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010062548 2010-03-18
JP2010062548 2010-03-18
PCT/JP2011/056017 WO2011115095A1 (ja) 2010-03-18 2011-03-15 蛍光観察装置および蛍光観察方法
JP2012505692A JP5860802B2 (ja) 2010-03-18 2011-03-15 蛍光観察装置および蛍光観察装置の作動方法

Publications (2)

Publication Number Publication Date
JPWO2011115095A1 JPWO2011115095A1 (ja) 2013-06-27
JP5860802B2 true JP5860802B2 (ja) 2016-02-16

Family

ID=44649180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012505692A Expired - Fee Related JP5860802B2 (ja) 2010-03-18 2011-03-15 蛍光観察装置および蛍光観察装置の作動方法

Country Status (5)

Country Link
US (1) US8481972B2 (ja)
EP (1) EP2548497A4 (ja)
JP (1) JP5860802B2 (ja)
CN (1) CN102802495B (ja)
WO (1) WO2011115095A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217673A (ja) * 2011-04-11 2012-11-12 Fujifilm Corp 内視鏡診断装置
JP5816486B2 (ja) 2011-08-18 2015-11-18 オリンパス株式会社 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
JP6017219B2 (ja) * 2012-08-01 2016-10-26 オリンパス株式会社 蛍光観察装置および蛍光観察システム
JP6300781B2 (ja) * 2013-02-13 2018-03-28 オリンパス株式会社 蛍光観察装置
JP6198426B2 (ja) * 2013-03-29 2017-09-20 浜松ホトニクス株式会社 蛍光観察装置及び蛍光観察方法
EP3334094B1 (en) * 2016-12-08 2019-08-07 InCoax Networks AB Node distribution in a multi channel moca network
CN108670172A (zh) * 2018-03-20 2018-10-19 广东欧谱曼迪科技有限公司 基于测光反馈的荧光导航系统及其术中荧光导航调整方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169999A (ja) * 1999-12-21 2001-06-26 Fuji Photo Film Co Ltd 蛍光収率測定方法および装置
JP2006061683A (ja) * 2004-07-30 2006-03-09 Olympus Corp 内視鏡装置
JP2009279172A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247232A (ja) 1986-04-21 1987-10-28 Agency Of Ind Science & Technol 蛍光測定装置
JPS63252134A (ja) 1987-04-10 1988-10-19 工業技術院長 螢光検出を利用したがん診断装置
JP2537154B2 (ja) 1989-07-26 1996-09-25 ダイワ精工株式会社 釣竿及び釣竿の製造法
DE60109989T2 (de) * 2000-06-26 2006-02-23 Fuji Photo Film Co. Ltd., Minamiashigara Vorrichtung zur Aufnahme von Fluoreszenzbildern
JP2003000528A (ja) 2001-06-27 2003-01-07 Fuji Photo Film Co Ltd 蛍光診断画像生成方法および装置
JP4311607B2 (ja) * 2002-05-27 2009-08-12 富士フイルム株式会社 蛍光診断情報生成方法および装置
JP2006175052A (ja) 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
JP2007205918A (ja) * 2006-02-02 2007-08-16 Olympus Corp 計測内視鏡
JP5044126B2 (ja) * 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
WO2008072579A1 (ja) * 2006-12-11 2008-06-19 Olympus Corporation 蛍光内視鏡
JP5396004B2 (ja) 2007-01-31 2014-01-22 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP2009034224A (ja) * 2007-07-31 2009-02-19 Olympus Medical Systems Corp 医療装置
JP5081720B2 (ja) * 2008-05-22 2012-11-28 富士フイルム株式会社 蛍光内視鏡装置および励起光ユニット
EP2412296A4 (en) * 2009-03-24 2014-12-17 Olympus Corp FLUORESCENCE OBSERVATION DEVICE, FLUORESCENCE OBSERVATION SYSTEM, AND METHOD FOR PROCESSING FLUORESCENCE IMAGES

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169999A (ja) * 1999-12-21 2001-06-26 Fuji Photo Film Co Ltd 蛍光収率測定方法および装置
JP2006061683A (ja) * 2004-07-30 2006-03-09 Olympus Corp 内視鏡装置
JP2009279172A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置

Also Published As

Publication number Publication date
CN102802495B (zh) 2015-08-05
US8481972B2 (en) 2013-07-09
WO2011115095A1 (ja) 2011-09-22
EP2548497A1 (en) 2013-01-23
US20130003922A1 (en) 2013-01-03
CN102802495A (zh) 2012-11-28
JPWO2011115095A1 (ja) 2013-06-27
EP2548497A4 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
JP5860802B2 (ja) 蛍光観察装置および蛍光観察装置の作動方法
JP5816486B2 (ja) 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
JP5498481B2 (ja) 蛍光観察装置、蛍光観察システム、蛍光観察装置の作動方法および蛍光観察装置が行う蛍光画像処理方法
JP5393216B2 (ja) 蛍光観察システムおよび蛍光観察システムの作動方法
JP6057890B2 (ja) 蛍光観察装置
JP5393215B2 (ja) 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法
US8654185B2 (en) Fluorescence observation apparatus
JP5592715B2 (ja) 画像処理装置および画像処理方法
US9460496B2 (en) Fluorescence observation apparatus, fluorescence observation system, and method for fluorescence image processing
JP5592700B2 (ja) 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151221

R151 Written notification of patent or utility model registration

Ref document number: 5860802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees