JP5592715B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP5592715B2
JP5592715B2 JP2010152210A JP2010152210A JP5592715B2 JP 5592715 B2 JP5592715 B2 JP 5592715B2 JP 2010152210 A JP2010152210 A JP 2010152210A JP 2010152210 A JP2010152210 A JP 2010152210A JP 5592715 B2 JP5592715 B2 JP 5592715B2
Authority
JP
Japan
Prior art keywords
image
return light
color
power
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010152210A
Other languages
English (en)
Other versions
JP2012011082A (ja
Inventor
俊明 渡邉
康成 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010152210A priority Critical patent/JP5592715B2/ja
Priority to PCT/JP2011/064671 priority patent/WO2012002320A1/ja
Priority to EP11800784.8A priority patent/EP2589328B1/en
Priority to CN201180030930.6A priority patent/CN102984988B/zh
Publication of JP2012011082A publication Critical patent/JP2012011082A/ja
Priority to US13/727,164 priority patent/US9055862B2/en
Application granted granted Critical
Publication of JP5592715B2 publication Critical patent/JP5592715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters

Description

本発明は、画像処理装置および画像処理方法に関するものである。
従来、同一の被写体について取得した蛍光画像および反射光画像に異なる表示色を割り当てて合成し、同一の画面に表示する画像処理装置が知られている(例えば、特許文献1参照。)。すなわち、蛍光画像と反射光画像の輝度の相違によって、蛍光が相対的に高輝度の領域には、反射光が相対的に高輝度の領域とは異なる色が表示されることになり、高輝度の蛍光領域が際立って表示されるようになっている。
米国特許第5590660号明細書
しかしながら、被写体から発せられる蛍光と、被写体の表面において反射して戻る反射光とでは、内部散乱か表面散乱かの違いによって、光検出器に取得される光量の距離依存性が相違する。このため、同じ被写体を観察している場合においても、対物レンズと被写体との間の距離(観察距離)が変化すると、光検出器に取得される蛍光の光量と反射光の光量の比率が変化し色が変化するという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、観察距離が変化しても光検出器に取得される蛍光の光量と反射光の光量の比率の変化を抑えることにより色の変化を少なくし、観察の精度を向上することができる画像処理装置および画像処理方法を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、被写体に照明光および励起光を照射する照明部と、該照明部からの励起光の照射により被写体において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部により取得された蛍光画像および前記戻り光撮像部により取得された戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するカラー画像生成部と、該カラー画像生成部により生成された複数のカラー画像を合成する画像合成部とを備え、前記カラー画像生成部が、前記蛍光画像および前記戻り光画像の各観察距離に対する距離特性を累乗近似して算出される各指数に基づいて、前記蛍光画像および前記戻り光画像の少なくとも一方の階調値を累乗する補正処理を施す画像処理装置を提供する。
本発明によれば、照明部から発せられた照明光が被写体に照射されることにより、被写体からの戻り光が戻り光撮像部により撮影されて戻り光画像が取得され、照明部からの励起光が被写体に照射されることにより、被写体において発生した蛍光が蛍光撮像部において撮影されて蛍光画像が取得される。取得された戻り光画像および蛍光画像はカラー画像生成部において異なる色情報を付与されて複数のカラー画像が生成される。ここで、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するとは、例えば、RGB色空間を構成するRGBそれぞれの次元の情報に対して、蛍光画像または戻り光画像を割り当てることを言う。生成された複数のカラー画像は画像合成部に入力されることにより合成される。
この場合において、カラー画像生成部は、蛍光画像および戻り光画像の少なくとも一方に、補正処理を施すことにより、蛍光画像と戻り光画像との距離特性の指数を一致させる。これにより、同一の被写体について、蛍光画像および戻り光画像を撮影する被写体までの距離が変化した場合であっても、蛍光画像および戻り光画像に同等の変化を生じさせ、画像合成部において合成されたカラー画像の色情報の比率の変化を全画面に渡って均一化し、観察の定量性を向上することができる。
上記発明においては、前記色情報が、R成分、G成分およびB成分であってもよい。
このようにすることで、それぞれ異なる色情報が付与された複数のカラー画像が合成され、色空間上において、蛍光の強度の強い部分と戻り光の強度が強い部分が異なる色を有する合成画像が生成される。例えば、病変部に特異的に吸着する蛍光薬剤を付与した後に励起光を照射する場合には、蛍光強度の強い領域として病変部を表示することができ、そのような病変部が異なる色を有する合成画像を生成することができ、観察容易性を向上することができる。
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数を、前記戻り光画像の距離特性を累乗近似して得られる第2の指数で除算して得られた第3の指数で前記戻り光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を第1の指数による累乗関数に統一することができ、距離特性の差を低減して観察の定量性を向上することができる。
ここで、蛍光画像の距離特性および戻り光画像の距離特性とは、励起光により発光している被写体から撮像部までの距離による受光される蛍光の光量の特性、および照明光により照明された被写体から撮像部までの距離により受光される戻り光の光量の特性をそれぞれ意味している。
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数で、前記戻り光画像の距離特性を累乗近似して得られる第2の指数を除算して得られた第4の指数で前記蛍光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を第2の指数による累乗関数に統一することができ、距離特性を相互に比例する関係にすることでその差を低減して観察の定量性を向上することができる。
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数の逆数で前記蛍光画像の階調値を累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第2の指数の逆数で前記戻り光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を1次関数にして、相互に比例する関係にすることができ、距離特性の差を低減して観察の定量性を向上することができる。
また、上記発明においては、前記カラー画像生成部が、異なる距離において取得された前記戻り光画像の階調値を第5の指数で累乗した値で前記蛍光画像の階調値を除算した値が同一となる第5の指数で前記戻り光画像の階調値を累乗してもよい。
これによっても同様に、第5の指数を戻り光画像の階調値に累乗することで距離特性の差を低減して観察の定量性を向上することができる。
また、本発明は、画像処理装置が、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、画像処理装置が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数を、前記戻り光画像の距離特性を累乗近似して得られる第2の指数で除算して得られた第3の指数で、前記戻り光画像の階調値を累乗して補正処理を施すステップと、画像処理装置が、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、画像処理装置が、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
また、本発明は、画像処理装置が、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、画像処理装置が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数で、前記戻り光画像の距離特性を累乗近似して得られる第2の指数で除算して得られた第4の指数で、前記蛍光画像の階調値を累乗して補正処理を施すステップと、画像処理装置が、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
また、本発明は、画像処理装置が、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、画像処理装置が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数の逆数を前記蛍光画像の階調値に累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第2の指数の逆数で前記戻り光画像の階調値を累乗して補正処理を施すステップと、画像処理装置が、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、画像処理装置が、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
本発明によれば、観察距離が変化しても高輝度の蛍光領域を変化させることなく表示し、観察の定量性を向上することができるという効果を奏する。
本発明の一実施形態に係る画像処理装置を含む内視鏡装置を示す全体構成図である。 図1の内視鏡装置のフィルタを説明する図である。 標準試料を用いて作成した蛍光画像の階調値の距離特性のグラフを示す図である。 標準試料を用いて作成した戻り光画像の階調値の距離特性のグラフを示す図である。 図3および図4のグラフを作成する手順の一例を示すフローチャートである。 本発明の一実施形態に係る画像処理方法を説明するフローチャートである。 図1の内視鏡装置の変形例を示す全体構成図である。 図1の内視鏡装置の他の変形例を示す全体構成図である。 図1の内視鏡装置の他の変形例を示す全体構成図である。 図1の内視鏡装置の他の変形例を示す全体構成図である。
本発明の一実施形態に係る画像処理装置および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置6は、内視鏡装置1に備えられている。
内視鏡装置1は、図1に示されるように、体内に挿入される細長い挿入部2と、光源部(照明部)3と、該光源部3からの照明光および励起光を挿入部2の先端から観察対象(被写体)Aに向けて照射する照明ユニット(照明部)4と、挿入部2の先端に設けられ、観察対象Aである生体組織の画像情報を取得する撮像ユニット(蛍光撮像部、戻り光撮像部)5と、挿入部2の基端側に配置され、撮像ユニット5により取得された画像情報を処理する本実施形態に係る画像処理装置6と、該画像処理装置6により処理された画像Gを表示するモニタ7とを備えている。
光源部3は、キセノンランプ8と、該キセノンランプ8から発せられた照射光から、励起光(例えば、波長帯域480〜500nm)および照明光(例えば、波長帯域540〜580nm)を切り出すフィルタ9a,9bと、フィルタ9a,9bにより切り出された励起光および照明光を集光するカップリングレンズ10とを備えている。
フィルタ9a,9bは、図2に示されるようなターレット9cに備えられていて、ターレット9cを回転させることにより交互に照射光の光路上に配置されて、励起光とを照明光とを時分割に発生させるようになっている。
照明ユニット4は、挿入部2の長手方向のほぼ全長にわたって配置され、カップリングレンズ10によって集光された励起光および照明光を導光するライトガイドファイバ11と、挿入部2の先端に設けられ、ライトガイドファイバ11によって導光されてきた励起光および照明光を拡散させて、挿入部2の先端面2aに対向する観察対象Aに照射する照明光学系12とを備えている。
撮像ユニット5は、観察対象Aの所定の観察範囲からの励起光の照射により発生する蛍光および照明光の戻り光を集光する対物レンズ13と、該対物レンズ13によって集光された蛍光および戻り光を撮像するCCDのような撮像素子14とを備えている。図中、符号15は、対物レンズ13によって集光された光から励起光を遮断する(例えば、波長帯域520〜600nmの光だけを透過する)励起光カットフィルタである。
本実施形態に係る画像処理装置6は、撮像素子14により取得された画像情報Sから蛍光画像Gおよび戻り光画像Gを生成する画像生成部16と、該画像生成部16から出力される画像G,Gからいずれかを選択するセレクタ17と、該セレクタ17により選択された蛍光画像Gおよび戻り光画像Gを別々に入力させて異なる色情報を付与するR,G,Bフレームメモリ18a,18b,18cと、Gフレームメモリ18bから出力された戻り光画像Gに補正処理を施す補正処理部19と、色情報を付与された蛍光画像Gおよび戻り光画像Gを合成する画像合成部20とを備えている。
R,G,Bフレームメモリ18a,18b,18cと補正処理部19により、カラー画像生成部18が構成されている。
符号21は、画像生成部16により生成された画像G,Gに基づいて撮像素子14の露光時間調整を自動的に行う自動露光時間調整部であり、符号22は、ターレット9cを駆動するモータ9dおよびセレクタ17を同期させるタイミングジェネレータである。
セレクタ17は、タイミングジェネレータ22が照明光用のフィルタ9aを光軸上に配置するようにモータ9dに指令するタイミングで、画像生成部16から出力されてきた戻り光画像Gをタイミングジェネレータ22の指令に基づいてGフレームメモリ18bに出力し、他のタイミングで出力されてきた蛍光画像GをB,Rフレームメモリ18a,18cに出力するようになっている。
補正処理部19は、Gフレームメモリ18bから出力された戻り光画像Gの各画素の階調値を指数aによって累乗するようになっている。累乗値aは、以下のようにして定められている。
すなわち、図3、図4に示されるように、撮像素子14により取得された蛍光画像Gを露光時間で除算した規格化蛍光画像G’の距離特性および戻り光画像Gを露光時間で除算した規格化戻り光画像G’の距離特性を用意する。
規格化蛍光画像G’および規格化戻り光画像G’の距離特性は、図5に示されるように、蛍光色素を含有し生体組織に似た光学特性を有する標準試料に対して、対物レンズ13の距離(観察距離)を異ならせつつ(ステップS1)、蛍光画像Gおよび戻り光画像Gを取得し(ステップS2)、規格化演算を行い(ステップS3)、関心領域の階調値の平均値を算出し(ステップS4)、グラフにプロットすること(ステップS5)を繰り返す(ステップS6)ことにより作成する。
そして、作成された2つの距離特性のグラフに対して、それぞれ累乗近似を行う(ステップS7)ことにより、規格化蛍光画像G’の距離特性は、図3に示されるように、観察距離の第1の指数a1の累乗関数として表され、規格化戻り光画像G’の距離特性は、図4に示されるように、観察距離の第2の指数a2の累乗関数として表される。これらの指数a1,a2を用いて、補正処理部19において用いる指数aは、a=a1/a2により求めている(ステップS8)。
以下に、さらに詳細に説明する。
規格化蛍光画像G’の距離特性は、上記方法によって、A1=B1×Ca1、規格化戻り光画像G’の距離特性をA2=B2×Ca2と定められる。
ここで、A1:規格化蛍光画像G’の階調値、A2:規格化戻り光画像G’の階調値、B1,B2:定数、C:観察距離である。
ここで、
A3=A2 (1)
を算出することを考える。数式(1)中、A3は、補正された規格化戻り光画像G”の階調値である。
数式(1)は以下のように変形することができる。
A3=A2=A2(a1/a2)=B2(a1/a2)×Ca1=B2’×Ca1
すなわち、数式(1)を算出することにより、補正された規格化戻り光画像G”の階調値の距離特性の指数を規格化蛍光画像G’の階調値の距離特性の指数に一致させることができる。
したがって、補正処理部19においては、指数aを記憶しておき、入力されてくる戻り光画像Gの階調値を指数aで累乗することにより、戻り光画像Gの階調値の距離特性の指数を蛍光画像Gの階調値の距離特性の指数に概略一致させることができるようになっている。
蛍光薬剤としては、蛍光色素であるFITC(Fluoresceinisothiocyanate)に、腫瘍細胞表面に特異的に発現する受容体に結合する抗体をつけたもの、例えば、CD44抗体を挙げることができる。
このように構成された本実施形態に係る画像処理装置6を用いた画像処理方法について図6を参照して説明する。
撮像素子14により取得された画像情報Sが入力される(入力ステップS11)と、画像生成部16において蛍光画像Gおよび戻り光画像Gとして生成され(生成ステップS12)、生成された蛍光画像Gと戻り光画像Gが異なるフレームメモリ18a〜18cに入力されることにより色情報が付与される(色付与ステップS13)。Gフレームメモリ18bに入力された戻り光画像Gは、補正処理部19において指数aで累乗されることにより補正処理が行われる(補正ステップS14)。そして、R,Bフレームメモリ18a,18cから出力された蛍光画像GとGフレームメモリ18bから出力され補正処理部19において補正処理された戻り光画像G”とが画像合成部20において合成され(合成ステップS15)、モニタ7に向けて出力される。
補正処理部19においては、戻り光画像Gの階調値を指数aで累乗する補正が行われる。
蛍光画像Gの距離特性は指数a1の累乗関数で近似され、戻り光画像Gの距離特性は指数a2の累乗関数で近似されるが、補正された戻り光画像G”と蛍光画像Gはいずれも、指数a1による累乗関数となり、両者は比例関係となる。したがって、対物レンズ13と観察対象Aとの距離が変化しても、蛍光画像Gと補正された戻り光画像G”とは一定の比率を有して変化する。すなわち、合成されたカラー画像は、観察距離の変化に拘わらず一定の比率の色を有し、例えば、蛍光画像Gの蛍光強度の高い領域(例えば、病変部)を常に同様に表示し続けることができる。
このように、本実施形態に係る画像処理装置6および画像処理方法によれば、観察距離による蛍光強度の変化の割合と、戻り光強度の変化の割合とが一致するので、観察距離が変化しても、色分けされて表示される合成画像の配色割合が変化しない。したがって、定量性の高い観察を行うことができるという利点がある。
なお、本実施形態においては、補正処理部19に指数a=a1/a2を記憶しておき、入力されてくる戻り光画像Gを補正処理部19に入力し、指数aで累乗することとしたが、これに代えて、図7に示されるように、補正処理部19に指数aの逆数a2/a1を記憶しておき、蛍光画像Gを補正処理部19に入力し、指数a2/a1で累乗することにしてもよい。
また、図8に示されるように、2種類の補正処理部19a,19bを設け、一方の補正処理部19aには、指数1/a1を記憶し、他方の補正処理部19bには指数1/a2を記憶しておくことにしてもよい。このようにすることで、補正処理部19aは入力されてくる蛍光画像Gを指数1/a1で累乗し、他方の補正処理部19bは入力されてくる戻り光画像Gを指数1/a2で累乗し、それぞれの距離特性を1次関数に近似させることができる。これにより、蛍光画像Gの階調値の距離特性と戻り光画像Gの階調値の距離特性とを比例関係にすることができ、観察距離が変化しても観察結果が変化せず、精度の高い観察を行うことができるという利点がある。
また、内視鏡装置1の挿入部2は観察方法や観察条件を変更するときに適宜着脱されるが、挿入部2の個体差による距離特性の相違を補償するために、図9に示されるように、挿入部2側に識別情報保持部23を設け、画像処理装置6側に識別情報読取部24を設け、補正処理部19が、識別情報と指数とを対応づけて記憶しておくことにしてもよい。挿入部2が画像処理装置6に接続されたときに、識別情報保持部23に記憶されている識別情報を識別情報読取部24が読み取って補正処理部19に送り、補正処理部19が識別情報に適した指数aで戻り光画像Gを累乗することにより、挿入部2の個体差による距離特性の相違を補償して、挿入部2が交換されても精度の高い観察を行うことができるという利点がある。
また、本実施形態においては、単一の撮像素子14を用いて時分割に蛍光画像Gと戻り光画像Gとを取得することとしたが、これに代えて、図10に示されるように、照明光と励起光とを観察対象Aに同時に照射し、観察対象Aから戻る戻り光と蛍光とをダイクロイックミラー25で分割して、2つの異なる撮像素子14a,14bにより撮影することとしてもよい。符号16aは撮像素子14aによって取得された画像信号Sから蛍光画像Gを生成する蛍光画像生成部、符号16bは撮像素子14bによって取得された画像信号Sから戻り光画像Gを生成する戻り光画像生成部、符号9は励起光(例えば、730〜750nm)および照明光(630〜650nm)を切り出すフィルタである。
また、本実施形態においては、標準試料に対して観察距離を異ならせつつ複数の蛍光画像Gおよび戻り光画像Gを取得し、これらをプロットすることで得られた距離特性から指数aを算出することとした。これに代えて、2つの異なる観察距離d,dにおいて、それぞれ蛍光画像Gおよび戻り光画像Gを取得し、その階調値(例えば、所定の関心領域の階調値の平均値)G(d),G(d),G(d),G(d)を用いて、以下の式(2)が成立するように指数aを求めることとしてもよい。
a=log(G(d)/G(d))/log(G(d)/G(d)) (2)
これにより、近似計算を行うことなく指数aを直接算出することができる。
また、2つの標準試料を用いて、これらの標準試料が同一視野内に配置されるようにして撮像素子14により撮影することにより、1回の撮影によって上記指数aを得ることができる。
また、撮像素子14の露光時間調整を自動的に行う自動露光調整部21に代えて、撮像部のゲインを調節する自動ゲイン調節(AGC)25や、光源部3からの照射光の強度を自動調節する自動調光を行うことにしてもよい。
また、補正処理部19に指数a,a1,a2を記憶して、その都度累乗計算を行うことに代えて、蛍光画像Gおよび/または戻り光画像Gの階調値と、該階調値を指数a,a1,a2で累乗した累乗値とを対応づけたルックアップテーブル(図示略)を記憶しておき、入力されてきた蛍光画像Gおよび/または戻り光画像Gの階調値に応じて、累乗値を出力することにしてもよい。
また、R、G、B原色信号を画像信号に割り付けるだけではなく、画像合成部20にカラーマトリクス回路を用いて、蛍光輝度の高い領域と低い領域との色づけを変更することにしてもよい。
また、色情報を付与するR,G,Bフレームメモリ18a〜18cと補正処理を施す補正処理部19との順序は入れ替えてもよい。
A 観察対象(被写体)
蛍光画像
戻り光画像
4 照明ユニット(照明部)
5 撮像ユニット(蛍光撮像部、戻り光撮像部)
6 画像処理装置
18 カラー画像生成部
20 画像合成部

Claims (9)

  1. 被写体に照明光および励起光を照射する照明部と、
    該照明部からの励起光の照射により被写体において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、
    前記照明部からの照明光の照射により被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、
    前記蛍光撮像部により取得された蛍光画像および前記戻り光撮像部により取得された戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するカラー画像生成部と、
    該カラー画像生成部により生成された複数のカラー画像を合成する画像合成部とを備え、
    前記カラー画像生成部が、前記蛍光画像および前記戻り光画像の各観察距離に対する距離特性を累乗近似して算出される各指数に基づいて、前記蛍光画像および前記戻り光画像の少なくとも一方の階調値を累乗する補正処理を施す画像処理装置。
  2. 前記色情報が、R成分、G成分およびB成分である請求項1に記載の画像処理装置。
  3. 前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数を、前記戻り光画像の距離特性を累乗近似して得られる第2の指数で除算して得られた第3の指数で前記戻り光画像の階調値を累乗する請求項1に記載の画像処理装置。
  4. 前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数で、前記戻り光画像の距離特性を累乗近似して得られる第2の指数を除算して得られた第4の指数で前記蛍光画像の階調値を累乗する請求項1に記載の画像処理装置。
  5. 前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数の逆数で前記蛍光画像の階調値を累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第2の指数の逆数で前記戻り光画像の階調値を累乗する請求項1に記載の画像処理装置。
  6. 前記カラー画像生成部が、異なる距離において取得された前記戻り光画像の階調値を第5の指数で累乗した値で前記蛍光画像の階調値を除算した値が同一となる第5の指数で前記戻り光画像の階調値を累乗する請求項1に記載の画像処理装置。
  7. 画像処理装置が、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
    画像処理装置が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数を、前記戻り光画像の距離特性を累乗近似して得られる第2の指数で除算して得られた第3の指数で、前記戻り光画像の階調値を累乗して補正処理を施すステップと、
    画像処理装置が、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
    画像処理装置が、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
  8. 画像処理装置が、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
    画像処理装置が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数で、前記戻り光画像の距離特性を累乗近似して得られる第2の指数で除算して得られた第4の指数で、前記蛍光画像の階調値を累乗して補正処理を施すステップと、
    画像処理装置が、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
    補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
  9. 画像処理装置が、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
    画像処理装置が、前記蛍光画像の距離特性を累乗近似して得られる第1の指数の逆数を前記蛍光画像の階調値に累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第2の指数の逆数で前記戻り光画像の階調値を累乗して補正処理を施すステップと、
    画像処理装置が、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
    画像処理装置が、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
JP2010152210A 2010-07-02 2010-07-02 画像処理装置および画像処理方法 Active JP5592715B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010152210A JP5592715B2 (ja) 2010-07-02 2010-07-02 画像処理装置および画像処理方法
PCT/JP2011/064671 WO2012002320A1 (ja) 2010-07-02 2011-06-27 画像処理装置および画像処理方法
EP11800784.8A EP2589328B1 (en) 2010-07-02 2011-06-27 Image processing apparatus and image processing method
CN201180030930.6A CN102984988B (zh) 2010-07-02 2011-06-27 图像处理装置和图像处理方法
US13/727,164 US9055862B2 (en) 2010-07-02 2012-12-26 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010152210A JP5592715B2 (ja) 2010-07-02 2010-07-02 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2012011082A JP2012011082A (ja) 2012-01-19
JP5592715B2 true JP5592715B2 (ja) 2014-09-17

Family

ID=45402033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010152210A Active JP5592715B2 (ja) 2010-07-02 2010-07-02 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US9055862B2 (ja)
EP (1) EP2589328B1 (ja)
JP (1) JP5592715B2 (ja)
CN (1) CN102984988B (ja)
WO (1) WO2012002320A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105101861B (zh) * 2013-03-29 2017-05-24 奥林巴斯株式会社 荧光观察装置
JP5932748B2 (ja) * 2013-09-27 2016-06-08 富士フイルム株式会社 内視鏡システム
CN105934946B (zh) * 2014-08-20 2017-06-13 奥林巴斯株式会社 观察装置
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2669742B2 (ja) * 1991-12-25 1997-10-29 株式会社東芝 内視鏡装置
US5590660A (en) 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
US6537211B1 (en) * 1998-01-26 2003-03-25 Massachusetts Institute Of Technology Flourescence imaging endoscope
JP3309276B2 (ja) 1999-03-17 2002-07-29 エーカポット・パンナチェート 蛍光電子内視鏡システム
JP3736269B2 (ja) * 2000-03-23 2006-01-18 フジノン株式会社 内視鏡の軟性部−アングル部連結構造
JP3731814B2 (ja) * 2001-05-07 2006-01-05 富士写真フイルム株式会社 蛍光画像表示装置
JP4343594B2 (ja) * 2003-06-23 2009-10-14 オリンパス株式会社 内視鏡装置
EP1665978B1 (en) * 2003-09-19 2017-03-08 Olympus Corporation Endoscope
JP2005210495A (ja) * 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、画像処理方法及び画像処理プログラム
JP5461753B2 (ja) * 2004-07-30 2014-04-02 オリンパス株式会社 内視鏡装置
JP4579645B2 (ja) * 2004-10-27 2010-11-10 オリンパス株式会社 蛍光観察内視鏡装置
JP4575174B2 (ja) * 2005-01-07 2010-11-04 オリンパスメディカルシステムズ株式会社 内視鏡用挿入部及び内視鏡
EP1834575B1 (en) * 2005-01-07 2011-09-21 Olympus Medical Systems Corp. Endoscope-use insertion unit
US7998064B2 (en) * 2005-03-15 2011-08-16 Olympus Medical Systems Corp. Endoscope insertion portion
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
EP1785714B1 (en) * 2005-11-15 2017-02-22 Olympus Corporation Lens evaluation device
JP5044126B2 (ja) * 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
JP2007313169A (ja) * 2006-05-29 2007-12-06 Olympus Corp 病変抽出装置および病変抽出方法
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JPWO2011048886A1 (ja) * 2009-10-20 2013-03-07 オリンパスメディカルシステムズ株式会社 蛍光観察装置
JP5356191B2 (ja) * 2009-11-26 2013-12-04 オリンパス株式会社 蛍光観察装置
JP5444377B2 (ja) * 2010-02-10 2014-03-19 オリンパス株式会社 蛍光内視鏡装置
JP5669416B2 (ja) * 2010-03-23 2015-02-12 オリンパス株式会社 蛍光観察装置
WO2011135992A1 (ja) * 2010-04-28 2011-11-03 オリンパス株式会社 画像処理装置および蛍光観察装置
JP2012090889A (ja) * 2010-10-28 2012-05-17 Olympus Corp 蛍光観察装置
JP5714875B2 (ja) * 2010-11-26 2015-05-07 オリンパス株式会社 蛍光内視鏡装置

Also Published As

Publication number Publication date
CN102984988B (zh) 2015-06-17
US20130113908A1 (en) 2013-05-09
JP2012011082A (ja) 2012-01-19
EP2589328A1 (en) 2013-05-08
CN102984988A (zh) 2013-03-20
EP2589328B1 (en) 2017-10-25
WO2012002320A1 (ja) 2012-01-05
US9055862B2 (en) 2015-06-16
EP2589328A4 (en) 2014-11-19

Similar Documents

Publication Publication Date Title
JP5816486B2 (ja) 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
US9066676B2 (en) Endoscopic image display apparatus
JP5498481B2 (ja) 蛍光観察装置、蛍光観察システム、蛍光観察装置の作動方法および蛍光観察装置が行う蛍光画像処理方法
JP5393216B2 (ja) 蛍光観察システムおよび蛍光観察システムの作動方法
JP6391562B2 (ja) 蛍光観察装置
US20140184769A1 (en) Fluorescence observation apparatus
US9052286B2 (en) Fluorescence endoscope apparatus
JP2013150830A (ja) コンパクトな蛍光内視鏡映像システム
WO2012105445A1 (ja) 蛍光観察装置
JP2003024268A (ja) 蛍光画像表示装置
JP5669828B2 (ja) 画像処理装置および蛍光観察装置
WO2019087557A1 (ja) 内視鏡システム
JP5393215B2 (ja) 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法
JP5592715B2 (ja) 画像処理装置および画像処理方法
JP5498282B2 (ja) 蛍光観察装置
US9460496B2 (en) Fluorescence observation apparatus, fluorescence observation system, and method for fluorescence image processing
JP2003000528A (ja) 蛍光診断画像生成方法および装置
JP5592700B2 (ja) 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法
JP6396717B2 (ja) 感度調整方法および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140801

R151 Written notification of patent or utility model registration

Ref document number: 5592715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250