JP6006199B2 - 蛍光観察装置 - Google Patents

蛍光観察装置 Download PDF

Info

Publication number
JP6006199B2
JP6006199B2 JP2013507317A JP2013507317A JP6006199B2 JP 6006199 B2 JP6006199 B2 JP 6006199B2 JP 2013507317 A JP2013507317 A JP 2013507317A JP 2013507317 A JP2013507317 A JP 2013507317A JP 6006199 B2 JP6006199 B2 JP 6006199B2
Authority
JP
Japan
Prior art keywords
fluorescence
unit
image
region
treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013507317A
Other languages
English (en)
Other versions
JPWO2012132790A1 (ja
Inventor
裕美 志田
裕美 志田
康成 石原
康成 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2012132790A1 publication Critical patent/JPWO2012132790A1/ja
Application granted granted Critical
Publication of JP6006199B2 publication Critical patent/JP6006199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/113Fluorescence

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、蛍光観察装置に関するものである。
従来、取得した蛍光画像において蛍光強度の高い領域が存在した場合に、その領域を病変部として抽出し、病変部の存在を告知する蛍光観察内視鏡装置が知られている(例えば、特許文献1参照。)。
特許第4587811号公報
しかしながら、画像による診断の基準は処置内容によって異なる。例えば、生検の場合には、正確な検査結果を得るために最も病変が疑われる部位を特定して処置が行われる。一方、切除の場合には、病変部の取り残しがないように病変が疑われる領域全てを特定して処置が行われる。すなわち、特許文献1の蛍光観察内視鏡装置の場合、このような異なる処置内容に対しても同じ基準で抽出された領域が操作者に提示されるので、操作者は提示された領域から処置すべき領域を正確に判断することが難しいという問題がある。
本発明は、上述した事情に鑑みてなされたものであって、処置内容に応じて最適な処置すべき領域を操作者に提示することができる蛍光観察装置を提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、前記生体組織から戻る戻り光を撮影して戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部によって取得された蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部と、該蛍光領域抽出部によって抽出された前記蛍光領域を、前記戻り光撮像部によって取得された戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部と、該重畳画像生成部において生成された前記重畳画像を外部に出力する出力部と、前記生体組織に対して行われる処置内容を示す処置内容情報を取得する処置情報取得部と、前記処置情報取得部によって取得された前記処置内容情報に応じ、前記蛍光領域抽出部に対して前記複数の処理条件のうち前記一の処理条件を指定する画像切替部とを備え、前記蛍光領域抽出部が、所定の第1の蛍光強度を有する領域を抽出する第1の処理条件と、該第1の処理条件によって抽出された領域よりも内側に存在し前記所定の第1の蛍光強度より大きい所定の第2の蛍光強度を有する領域を抽出する第2の処理条件とを有する蛍光観察装置を提供する。
本発明によれば、照明部からの励起光によって生体組織に存在する蛍光物質から蛍光が発生させられることにより蛍光撮像部によって蛍光画像が取得される。一方、照明部からの照明光が生体組織によって反射させられて戻ることにより戻り光撮像部によって戻り光画像が取得される。蛍光画像内の蛍光領域は蛍光領域抽出部によって抽出され後、重畳画像生成部において戻り光画像に重畳される。このようにして生成された重畳画像が出力部からモニタ等に出力されることにより、操作者は生体組織の形状と蛍光が発生している領域とを対応付けて観察することができる。
この場合に、出力される重畳画像に重畳されている蛍光領域は、処置情報取得部において取得された処置内容情報に応じた処理条件によって抽出されたものに画像切替部によって切り替えられる。これにより、処置内容に応じて最適な処置すべき領域を重畳画像内の蛍光領域として操作者に提示することができる。
上記発明においては、前記蛍光領域抽出部が、所定の第1の蛍光強度を有する領域を抽出する第1の処理条件と、前記所定の第1の蛍光強度より大きい所定の第2の蛍光強度を有する領域を抽出する第2の処理条件とを有することで、蛍光領域を輝度値によって多段階で抽出することができる。
上記構成においては、前記蛍光領域抽出部が、前記第1の処理条件においては前記第1の蛍光強度以上の蛍光強度を有する蛍光領域を抽出することとしてもよい。
このようにすることで、第1の処理条件においては、生体組織において蛍光が発生している領域全体、例えば、病変した領域全体を操作者に対して提示することができる。
また、上記構成においては、前記蛍光領域抽出部が、前記第2の処理条件においては最も大きい蛍光強度を含む最高蛍光領域を抽出することとしてもよい。
このようにすることで、第2の処理条件においては、生体組織において蛍光が最も強く発生している領域、例えば、病変が最も進行している領域を操作者に対して提示することができる。
また、上記構成においては、前記重畳画像生成部が、前記第1の処理条件によって抽出された前記蛍光領域の輪郭部を前記戻り光画像に重畳することとしてもよい。
このようにすることで、重畳画像において、蛍光が発生している領域と蛍光が発生していない領域との境界を明確に表示しつつ、蛍光が発生している領域においても鮮明な生体組織の像を表示することができる。
また、本発明は、生体組織に励起光および照明光を照射する照明部と、前記生体組織において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、前記生体組織から戻る戻り光を撮影して戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部によって取得された蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部と、該蛍光領域抽出部によって抽出された前記蛍光領域を、前記戻り光撮像部によって取得された戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部と、該重畳画像生成部において生成された前記重畳画像を外部に出力する出力部と、前記生体組織に対して行われる処置内容を示す処置内容情報を取得する処置情報取得部と、前記処置情報取得部によって取得された前記処置内容情報に応じ、前記蛍光領域抽出部に対して前記複数の処理条件のうち前記一の処理条件を指定する画像切替部とを備え、前記蛍光領域抽出部が、所定の第1の変化率で輝度値が変化する領域を抽出する第1の処理条件と、該第1の処理条件によって抽出された領域よりも内側に存在し所定の第2の変化率で輝度値が変化する領域を抽出する第2の処理条件とを有する蛍光観察装置を提供する
このようにすることで、第1の処理条件においては、蛍光が検出されている比較的広い領域の輪郭部を抽出することができる。また、第2の処理条件においては、第1の処理条件によって抽出された領域のうち比較的狭い領域の輪郭部を抽出することができる。
上記構成においては、前記蛍光領域抽出部が、前記所定の第1の変化率よりも小さい前記所定の第2の変化率を有することとしてもよい。
このようにすることで、第2の処理条件においては、第1の処理条件によって抽出された領域のうち、最も高い輝度値を有する領域を抽出することができる。
上記発明においては、前記処置情報取得部が、処置具を識別する識別情報が操作者による操作によって前記処置内容情報として入力させられることとしてもよい。
このようにすることで、操作者が処置具の識別情報を処置情報取得部に入力してからその処置具を使用することにより、処置情報取得部は処置内容情報を取得することができる。
上記発明においては、前記処置情報取得部が、前記戻り光画像から処置具を検出し、検出した処置具の種類を前記処置内容情報として識別することとしてもよい。
このようにすることで、処置情報取得部は、操作者に負担をかけることなく処置内容情報を取得することができる。
また、本発明は、生体組織に励起光および照明光を照射する照明部と、前記生体組織において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、前記生体組織から戻る戻り光を撮影して戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部によって取得された蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部と、該蛍光領域抽出部によって抽出された前記蛍光領域を、前記戻り光撮像部によって取得された戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部と、該重畳画像生成部において生成された前記重畳画像を外部に出力する出力部と、前記生体組織に対して行われる処置内容を示す処置内容情報を取得する処置情報取得部と、前記処置情報取得部によって取得された前記処置内容情報に応じ、前記蛍光領域抽出部に対して前記複数の処理条件のうち前記一の処理条件を指定する画像切替部とを備え、前記処置情報取得部が、前記戻り光画像から処置具を検出し、検出した処置具の種類を前記処置内容情報として識別する蛍光観察装置を提供する。
本発明によれば、処置内容に応じて最適な処置すべき領域を操作者に提示することができるという効果を奏する。
本発明の一実施形態に係る蛍光観察装置を示す全体構成図である。 図1の蛍光観察装置の詳細な構成図である。 図2の蛍光領域抽出部による画像処理を説明する図であり、(a)蛍光画像生成部によって生成される蛍光画像、並びに、(b)該蛍光画像のA−A’線における蛍光強度分布と所定の第1及び第2の輝度値との関係を示すグラフである。 図2の蛍光領域抽出部によって第1の画像処理モードにおいて生成された抽出画像を示す図である。 図2の蛍光領域抽出部によって第2の画像処理モードにおいて生成された抽出画像を示す図である。 図2の蛍光領域抽出部による画像処理の変形例を説明する図であり、(a)蛍光画像の蛍光強度分布、及び、(b)該該蛍光強度分布の蛍光強度の変化率を示すグラフである。 蛍光領域抽出部によって第2の画像処理モードにおいて生成される抽出画像の変形例を示す図である。 蛍光領域抽出部によって第1の画像処理モードにおいて生成される抽出画像の変形例を示す図である。 蛍光領域抽出部によって第1の画像処理モードにおいて生成される抽出画像のもう1つの変形例を示す図である。 蛍光領域抽出部によって第1の画像処理モードにおいて生成される抽出画像のもう1つの変形例を示す図である。
以下、本発明の一実施形態に係る蛍光観察装置100について、図面を参照して説明する。
本実施形態に係る蛍光観察装置100は、図1に示されるように、内視鏡1をベースに構成され、蛍光色素によって標識された生体内の病変部を内視鏡的に処置する場合に使用されるものである。例えば、病変部に特異的に存在する生体分子を抗体などを利用して蛍光色素で標識することにより、操作者は、内視鏡1により取得された蛍光画像内の蛍光領域を病変部として識別して病変部に対して処置を行うことができる。
本実施形態に係る蛍光観察装置100は、図1に示されるように、内視鏡1と、該内視鏡1に白色光(照明光)および励起光を供給する照明ユニット2と、内視鏡1により撮像された画像を処理する画像処理ユニット3と、内視鏡1と併用される処置具4に付されたICタグ41を読み取るICタグリーダ5(処置情報取得部)とを備えている。
図2は、蛍光観察装置100の詳細な構成を示す図である。
内視鏡1は、体内に挿入される細長い挿入部11と、該挿入部11内に長手方向に沿って貫通形成され処置具4が挿入されるチャネル12とを備えている。挿入部11の先端には、観察対象である生体組織Aの画像情報を取得する撮像光学系13が設けられている。
撮像光学系13は、観察対象の所定の観察範囲から戻る戻り光を集光する対物レンズ13aと、該対物レンズ13aによって集光された戻り光の内、蛍光色素の励起波長以上の波長の光(励起光および蛍光)を反射し、励起波長より短い波長の光を透過するダイクロイックミラー13bと、ダイクロイックミラー13bを透過した光およびダイクロイックミラー13bにより反射された光をそれぞれ集光する2つの集光レンズ13cと、集光レンズ13cによって集光された光をそれぞれ撮像するCCDのような2個の撮像素子13d,13eとを備えている。
図中、符号13fは、ダイクロイックミラー13bによって反射された光から励起光を遮断する励起光カットフィルタである。本実施形態においては、蛍光色素として、白色光に対して比較的長波長側に励起波長を有するCy7などを想定している。したがって、ダイクロイックミラー13bを透過させられた光は白色光となり、撮像素子13dによって白色光画像が取得され、撮像素子13eによって蛍光画像が取得されることとなる。各撮像素子13d,13eによって取得された画像情報はケーブル6を介して画像処理ユニット3に伝送される。
照明ユニット2は、キセノンランプなどの十分に広い波長帯域の光を発する光源21と、該光源21から発せられた光から、励起光および白色光を切り出すフィルタ22と、フィルタ22により切り出された励起光および白色光を集光するカップリングレンズ23とを備えている。照明ユニット2は、カップリングレンズ23によって集光した励起光および白色光を、挿入部11の長手方向のほぼ全長にわたって配置されたライトガイドファイバ24によって導光した後、挿入部11の先端に設けられた照明光学系25によって拡散して観察対象に対して照射する。
画像処理ユニット3は、ケーブル6を介して伝送されてきた画像情報のうち撮像素子13dにより取得された白色光画像(戻り光画像)情報から白色光画像(戻り光画像)を生成する白色光画像生成部31と、撮像素子13eにより取得された蛍光画像情報から蛍光画像を生成する蛍光画像生成部32と、該蛍光画像生成部32により生成された蛍光画像から所定の複数の処理条件によって蛍光領域を抽出した抽出画像を生成する蛍光領域抽出部33と、白色光画像に抽出画像を重畳した重畳画像を生成する重畳画像生成部34と、ICタグリーダ5から受け取ったICタグ41に記録された情報に基づいて蛍光領域抽出部33における処理条件を決定する画像切替部35と、モニタ7に画像を出力する出力部36とを備えている。
蛍光領域抽出部33は、蛍光が検出された蛍光領域の略全体を抽出する第1の画像処理モード(第1の処理条件)と、蛍光が検出された蛍光領域のうち最も強い蛍光が検出された領域を含む最高蛍光領域を蛍光画像から抽出する第2の画像処理モード(第2の処理条件)とを有している。蛍光領域抽出部33は、第1の画像処理モードおよび第2の画像処理モードのうち、後述する画像切替部35によって指定された一方の画像処理モードによって抽出画像を生成する。
蛍光領域抽出部33が蛍光画像生成部32から受け取った蛍光画像G0には、図3中の(a)に示されるように、微弱な輝度を有するバックグラウンド領域と、該バックグラウンド領域の輝度より大きい輝度、すなわち、蛍光色素からの蛍光による輝度を有する蛍光領域Bとが存在する。図3中の(b)は、図3中の(a)のA−A’線における輝度値の分布を示すグラフである。バックグラウンド領域に対応する部分では、輝度値がほぼ0となる。蛍光領域Bに対応する部分では、バックグラウンド領域から輝度値が徐々に大きくなり、中央部分において輝度値が最大となる。
具体的には、第1の画像処理モードにおいて、蛍光領域抽出部33は、図3中の(b)に示されるように、所定の第1の輝度値(所定の第1の蛍光強度)mを有する領域を抽出する。ここで、所定の第1の輝度値は、バックグラウンド領域が有する微弱な輝度値に対して十分に大きく、蛍光色素からの蛍光による輝度値に対して十分に小さい値に決定される。すなわち、第1の画像処理モードにおいて抽出される領域は、蛍光領域Bの略全体を囲む輪郭部B’である。このようにして生成された抽出画像G1は、図4に示されるように、蛍光領域Bの略全体が輪郭部B’の内側の領域として示された画像となる。
第2の画像処理モードにおいて、蛍光領域抽出部33は、図3中の(b)に示されるように、所定の第1の輝度値mより大きい所定の第2の輝度値nを有する領域を抽出する。すなわち、抽出される所定の第2の輝度値nを有する領域は、輪郭部B’によって囲まれた領域内において比較的大きな輝度値を有する領域の輪郭部である。蛍光領域抽出部33は、この輪郭部の内側の領域を所定の色で表示することにより抽出画像G2を生成する。
このようにして生成された抽出画像G2は、図5に示されるように、蛍光領域B内において最も強い蛍光が検出された領域と該領域の近傍領域とを含む最高蛍光領域に比較的小さいマーカCが付された画像となる。ここで、蛍光画像G0内の各画素における輝度値は蛍光色素で標識された生体分子の密度に比例する。すなわち、マーカCが付された位置は最も病変が進行した領域を示す。
なお、蛍光画像G0から最高蛍光領域および蛍光領域B全体を抽出する方法は上述の方法に限定されるものではない。例えば、蛍光領域抽出部33は、第1の画像処理モードにおいては所定の第1の輝度値m以上の輝度値を有する画素群を選択し、第2の画像処理モードにおいては所定の第2の輝度値n以上の輝度値を有する画素群を選択し、選択した画素群を所定の表示態様で、例えば、所定の色で表示することとしてもよい。
重畳画像生成部34は、白色光画像生成部31によって生成された白色光画像に、蛍光領域抽出部33によって生成された抽出画像G1,G2を重畳することにより重畳画像を生成する。すなわち、重畳画像は、体内の組織形状を表した白色光画像内において、蛍光領域Bの略全体が輪郭部B’によって特定された、または、最高蛍光領域がマーカCによって特定された画像である。重畳画像生成部34は、生成した重畳画像を出力部36に出力する。
画像切替部35は、処置具4の種類と画像処理モードとが対応付けられた情報を有している。画像切替部35は、ICタグリーダ5から識別情報(後述)を受信したときに、該識別情報に含まれる処置具4の種類(後述)と対応付けられた画像処理モードを選択し、選択した画像処理モードを指定する信号を蛍光領域抽出部33に出力する。例えば、画像切替部35は蛍光領域抽出部33に対して、処置具4の種類がメスである場合は第1の画像処理モードを指定し、処置具4の種類が鉗子である場合は第2の画像処理モードを指定する。
すなわち、画像切替部35は、操作者がどの処置具4のICタグ41をICタグリーダ5に読み取らせるかに応じて、重畳画像生成部34において生成される重畳画像内に輪郭部B’を表示させるか、または、マーカCを表示させるかを切り替える。
出力部36は、初期状態においては白色光画像生成部31において生成された白色光画像をモニタ7に出力する。そして、出力部36は、ICタグリーダ5からICタグ4を読み取った旨の信号を受け取ることにより、モニタ7への出力を重畳画像生成部34において生成された重畳画像に切り替える。出力部36は、操作者によって操作されることにより、出力する画像を白色光画像と重畳画像との間で切り替えるスイッチ等を備えていてもよい。
ICタグリーダ5は、各処置具4に付されたICタグ41が操作者によってかざされることにより、ICタグ41に記録された識別情報を読み取る。ICタグ41には、それが付されている処置具4の種類(処置内容情報)を含む識別情報が記録されている。すなわち、操作者が、処置具4を使用する直前にその処置具4のICタグ41をICタグリーダ5によって読み取らせることにより、これから観察対象に対して行われる処置内容の情報がICタグリーダ5に入力されることとなる。ICタグリーダ5は、読み取った識別情報を画像切替部35に送信する。
次に、このように構成された蛍光観察装置100の作用について説明する。
本実施形態に係る蛍光観察装置100を用いて体内の観察対象の蛍光観察を行うには、操作者は、光源21を点灯させることにより挿入部11の先端から白色光および励起光を照射させた状態で挿入部11を体内に挿入し、モニタ7に表示される白色光画像に病変部が表示される位置に挿入部11を配置する。
次に、操作者は、病変部の処置に使用する処置具4に付されたICタグ41をICタグリーダ5に読み取らせる。これにより、モニタ7の表示が、白色光画像から重畳画像に切り替えられ、白色光画像上には処置具4の種類に応じて輪郭部B’またはマーカCが表示される。次に、操作者は、その処置具4を内視鏡1のチャネル12内を介して病変部まで挿入し、重畳画像内の輪郭部B’またはマーカCによって指定された領域に対して処置を行う。
この場合に、本実施形態によれば、操作者が行う処置の内容に応じて重畳画像において指定される領域の抽出方法が切り替えられる。例えば、メスを使用して病変部を切除するときには、病変の疑いがある領域全体が輪郭部B’によって指定されるので、その指定された領域全体を切除すれば病変部を取り残すことなく切除することができる。一方、鉗子を使用して生検を行うときには、病変の疑いが最も高い領域が抽出されてマーカCによって指定されるので、その指定された位置から組織を採取すれば生検において正確な検査結果を得られる。
このように、操作者に対し、処置の内容に応じて最適な処置すべき位置を重畳画像内で提示することができる。したがって、操作者は、輪郭部B’またはマーカCが指定する領域に対して処置を行いさえすれば、適切に処置を行うことができるという利点がある。
なお、本実施形態においては、処置情報取得部として、処置具4を識別するICタグ41を読み取るICタグリーダ5を例示したが、これに代えて、白色光画像に表示された処置具4に基づいて処置内容を示す処置内容情報を取得することとしてもよい。処置情報取得部は、画像処理ユニット3に備えられる。
例えば、処置具4として、先端部にその種類を示すラベル(図示略)が付されたものを使用し、処置情報取得部が、白色光画像内からラベルを検出し、検出したラベルが示す処置具4の種類を処置内容情報として取得してもよい。または、処置具4の先端部の画像を参照画像として処置具の種類と対応付けて図示しない記憶部に記憶しておき、処置情報取得部が、白色光画像を参照画像と照合することにより白色光画像内から処置具4を検出し、検出した処置具4の種類を処置内容情報として取得してもよい。
このようにすることで、処置内容情報を入力するための操作者による操作を不要にし、操作者の負担を軽減することができる。
また、本実施形態においては、蛍光領域抽出部33が、蛍光強度を用いて蛍光領域を抽出することとしたが、これに代えて、蛍光強度(輝度値)の変化率を用いて蛍光領域を抽出してもよい。
図6中の(a)は、蛍光画像G0の輝度値の分布を示すグラフであり、図6中の(b)は、蛍光画像G0内の隣接する画素間の輝度値の変化率を示すグラフである。図6中の(b)においては、AからA’の方向に、蛍光領域Bの周辺から中心に向かう途中位置で変化率が最大になり、蛍光強度が最大となる位置では変化率が0になり、さらに周辺に向かう途中位置で変化率が最大になる。
図6中の(b)の鎖線は、変化率の絶対値を示したものである。蛍光領域の抽出は輝度値の変化率の絶対値を用いて行なわれる。まず、第1の画像処理モードにおいて、所定の第1の変化率S1を有する領域、すなわち、蛍光領域Bの輪郭部を抽出する。所定の第1の変化率S1を有する領域は、蛍光領域B内において周辺側と中心側に2箇所ずつ存在するが、ここでは図6中の(a)に示される各画素の輝度値の情報を利用し、輝度値の低い方のみを抽出する。このようにしても、図3と同様に輪郭部B’を抽出することができる。
一方、第2の画像処理モードにおいては、所定の第1の変化率S1よりも小さい所定の第2の変化率S2を有する領域を抽出する。この場合も、所定の第2の変化率S2を有する領域が蛍光領域Bの周辺側と中心側に2箇所ずつ存在するが、第1の処理モードで抽出される輪郭部B’の内側に存在する領域のみを抽出する。このようにしても、図5と同様にマーカCが付された抽出画像G2を生成することができる。
さらに、第3の画像処理モードとして、所定の第3の変化率S3を有する領域を抽出してもよい。
また、本実施形態においては、抽出画像G1,G2において、蛍光領域全体を輪郭部B’で示し、最高蛍光領域をマーカCで示すこととしたが、これらの表示態様は一例であり、適宜変更することができる。
例えば、第2の画像処理モードにおいては、図7に示されるように、抽出した最高蛍光領域を示す矢印Dを表示してもよい。第1の画像処理モードにおいては、図8に示されるように、抽出した蛍光領域全体Eを所定の色で塗りつぶして表示してもよい。この場合には、塗りつぶされた領域と重なっている白色光画像の領域の組織形状を視認できるように、半透明で塗りつぶしてもよい。また、蛍光領域全体において輝度値の分布を視認できるように、図9に示されるように、輪郭部B’内を輝度値によって異なる色で塗りつぶしてもよく、図10に示されるように、同一の輝度値の画素を線で結んだ等値線Fを表示してもよい。
また、本実施形態においては、画像切替部35が、処置具4の識別情報に基づいて蛍光領域抽出部33における画像処理モードを切り替えることとしたが、画像切替部35は、最終的にモニタ7に出力される重畳画像に表示される蛍光領域が、処置内容に応じて最高蛍光領域と蛍光領域全体との間で切り替えられるように構成されていればよい。
例えば、画像切替部35が、出力部36から出力させる重畳画像を切り替えてもよい。すなわち、蛍光領域抽出部33は、常時第1の画像処理モードと第2の画像処理モードの両方で蛍光領域を抽出し、重畳画像生成部34は、最高蛍光領域と蛍光領域全体とをそれぞれ重畳させた2つの抽出画像G1,G2を生成する。そして、画像切替部35は、取得した処置具4の識別情報に基づいて一方の重畳画像を指定し、指定した方の重畳画像を出力部36からモニタ7に出力させることとしてもよい。
または、画像切替部35が、重畳画像生成部34において白色光画像に重畳される抽出画像G1,G2を切り替えることとしてもよい。すなわち、蛍光領域抽出部33が、常時第1の画像処理モードと第2の画像処理モードで2つの抽出画像G1,G2を生成し、画像切替部35が、取得した処置具4の識別情報に基づいていずれか一方の抽出画像G1,G2を選択し、選択した方の抽出画像を白色光画像に重畳させるように重畳画像生成部34に対して指定することとしてもよい。
また、本実施形態において説明した、蛍光領域抽出部33による蛍光領域および最高蛍光領域の抽出方法は一例であり、この方法に限定されるものではない。また、蛍光領域抽出部33は、3つ以上の画像処理モードを有していてもよい。
例えば、蛍光領域抽出部33は、蛍光画像G0の輝度値のヒストグラムを生成し、生成したヒストグラムの全度数に対して所定の割合の度数の画素を、蛍光画像G0内の輝度値の高い画素から順に抽出してもよい。このときに、蛍光領域抽出部33は、全度数に対する所定の割合として異なる3つ以上の値が設定されていてもよい。例えば、蛍光領域内の5%、10%、50%の領域に対応する画素を、輝度値の高い順に抽出することとしてもよい。
また、本実施形態においては、蛍光観察装置100として内視鏡1をベースとした構成を例示したが、これに代えて、蛍光観察装置を、光学顕微鏡をベースに構成してもよい。
例えば、体表や体表を切開して生体内を処置する場合は、光学顕微鏡によって生体の外側から病変部を観察しながら行われる。このような場合でも、光学顕微鏡によって生体の外側から撮像した白色光画像および蛍光画像から上述した実施形態と同様にして重畳画像を生成し、処置内容に応じてモニタ7に出力する重畳画像に重畳される蛍光領域の抽出方法を切り替えることにより、操作者に対して、処置内容に応じて最適な処置すべき領域を提示することができる。
1 内視鏡
2 照明ユニット(照明部)
4 処置具
5 ICタグリーダ(処置情報取得部)
13d 撮像素子(戻り光撮像部)
13e 撮像素子(蛍光撮像部)
33 蛍光領域抽出部
34 重畳画像生成部
35 画像切替部
36 出力部
100 蛍光観察装置
A 生体組織
B 蛍光領域
G0 蛍光画像

Claims (9)

  1. 生体組織に励起光および照明光を照射する照明部と、
    前記生体組織において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、
    前記生体組織から戻る戻り光を撮影して戻り光画像を取得する戻り光撮像部と、
    前記蛍光撮像部によって取得された蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部と、
    該蛍光領域抽出部によって抽出された前記蛍光領域を、前記戻り光撮像部によって取得された戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部と、
    該重畳画像生成部において生成された前記重畳画像を外部に出力する出力部と、
    前記生体組織に対して行われる処置内容を示す処置内容情報を取得する処置情報取得部と、
    前記処置情報取得部によって取得された前記処置内容情報に応じ、前記蛍光領域抽出部に対して前記複数の処理条件のうち前記一の処理条件を指定する画像切替部とを備え
    前記蛍光領域抽出部が、
    所定の第1の蛍光強度を有する領域を抽出する第1の処理条件と、
    該第1の処理条件によって抽出された領域よりも内側に存在し前記所定の第1の蛍光強度より大きい所定の第2の蛍光強度を有する領域を抽出する第2の処理条件とを有する蛍光観察装置。
  2. 前記蛍光領域抽出部が、前記第1の処理条件においては前記第1の蛍光強度以上の蛍光強度を有する蛍光領域を抽出する請求項に記載の蛍光観察装置。
  3. 前記蛍光領域抽出部が、前記第2の処理条件においては最も大きい蛍光強度を含む最高蛍光領域を抽出する請求項または請求項に記載の蛍光観察装置。
  4. 前記重畳画像生成部が、前記第1の処理条件によって抽出された前記蛍光領域の輪郭部を前記戻り光画像に重畳する請求項から請求項のいずれかに記載の蛍光観察装置。
  5. 生体組織に励起光および照明光を照射する照明部と、
    前記生体組織において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、
    前記生体組織から戻る戻り光を撮影して戻り光画像を取得する戻り光撮像部と、
    前記蛍光撮像部によって取得された蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部と、
    該蛍光領域抽出部によって抽出された前記蛍光領域を、前記戻り光撮像部によって取得された戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部と、
    該重畳画像生成部において生成された前記重畳画像を外部に出力する出力部と、
    前記生体組織に対して行われる処置内容を示す処置内容情報を取得する処置情報取得部と、
    前記処置情報取得部によって取得された前記処置内容情報に応じ、前記蛍光領域抽出部に対して前記複数の処理条件のうち前記一の処理条件を指定する画像切替部とを備え
    前記蛍光領域抽出部が、
    所定の第1の変化率で輝度値が変化する領域を抽出する第1の処理条件と、
    該第1の処理条件によって抽出された領域よりも内側に存在し所定の第2の変化率で輝度値が変化する領域を抽出する第2の処理条件とを有する蛍光観察装置。
  6. 前記蛍光領域抽出部が、前記所定の第1の変化率よりも小さい前記所定の第2の変化率を有する請求項に記載の蛍光観察装置。
  7. 前記処置情報取得部が、処置具を識別する識別情報が操作者による操作によって前記処置内容情報として入力させられる請求項1から請求項のいずれかに記載の蛍光観察装置。
  8. 前記処置情報取得部が、前記戻り光画像から処置具を検出し、検出した処置具の種類を前記処置内容情報として識別する請求項1から請求項のいずれかに記載の蛍光観察装置。
  9. 生体組織に励起光および照明光を照射する照明部と、
    前記生体組織において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、
    前記生体組織から戻る戻り光を撮影して戻り光画像を取得する戻り光撮像部と、
    前記蛍光撮像部によって取得された蛍光画像から、複数の処理条件のうち指定された一の処理条件によって蛍光領域を抽出する蛍光領域抽出部と、
    該蛍光領域抽出部によって抽出された前記蛍光領域を、前記戻り光撮像部によって取得された戻り光画像の対応する位置に重畳して重畳画像を生成する重畳画像生成部と、
    該重畳画像生成部において生成された前記重畳画像を外部に出力する出力部と、
    前記生体組織に対して行われる処置内容を示す処置内容情報を取得する処置情報取得部と、
    前記処置情報取得部によって取得された前記処置内容情報に応じ、前記蛍光領域抽出部に対して前記複数の処理条件のうち前記一の処理条件を指定する画像切替部とを備え
    前記処置情報取得部が、前記戻り光画像から処置具を検出し、検出した処置具の種類を前記処置内容情報として識別する蛍光観察装置。
JP2013507317A 2011-03-31 2012-03-06 蛍光観察装置 Active JP6006199B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011080633 2011-03-31
JP2011080633 2011-03-31
PCT/JP2012/055722 WO2012132790A1 (ja) 2011-03-31 2012-03-06 蛍光観察装置

Publications (2)

Publication Number Publication Date
JPWO2012132790A1 JPWO2012132790A1 (ja) 2014-07-28
JP6006199B2 true JP6006199B2 (ja) 2016-10-12

Family

ID=46930536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013507317A Active JP6006199B2 (ja) 2011-03-31 2012-03-06 蛍光観察装置

Country Status (4)

Country Link
US (1) US9949645B2 (ja)
JP (1) JP6006199B2 (ja)
CN (1) CN103458759B (ja)
WO (1) WO2012132790A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200485255Y1 (ko) 2016-03-07 2017-12-12 장일형 완구용 비행 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5721959B2 (ja) * 2010-03-16 2015-05-20 オリンパス株式会社 蛍光内視鏡装置
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
JP6445809B2 (ja) * 2014-09-01 2018-12-26 オリンパス株式会社 光走査型観察装置
CN106659360A (zh) * 2014-11-26 2017-05-10 奥林巴斯株式会社 诊断支援装置和诊断支援信息显示方法
JP6373773B2 (ja) * 2015-02-27 2018-08-15 オリンパス株式会社 内視鏡業務支援システム
WO2016143900A1 (ja) * 2015-03-11 2016-09-15 国立大学法人京都大学 結合解離プローブを用いた観察方法
WO2016147366A1 (ja) * 2015-03-19 2016-09-22 オリンパス株式会社 内視鏡装置
EP3298949B1 (en) * 2015-05-19 2020-06-17 Sony Corporation Image processing apparatus, image processing method, and surgical system
JP6588256B2 (ja) * 2015-07-06 2019-10-09 オリンパス株式会社 内視鏡検査データ記録システム
JPWO2017115442A1 (ja) * 2015-12-28 2018-10-18 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
JP6721939B2 (ja) * 2016-03-25 2020-07-15 株式会社松風 蛍光画像解析装置
JP6834184B2 (ja) 2016-06-16 2021-02-24 ソニー株式会社 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
WO2018131141A1 (ja) * 2017-01-13 2018-07-19 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法
EP3586718B1 (en) * 2017-02-24 2023-08-30 FUJIFILM Corporation Endoscope system and processor device
WO2018198255A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法およびプログラム
WO2020235502A1 (ja) * 2019-05-23 2020-11-26 富士フイルム株式会社 画像処理装置
US20210169330A1 (en) * 2019-12-10 2021-06-10 Covidien Lp Lymphatic system tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2002238844A (ja) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd 内視鏡装置
JP2003164414A (ja) * 2001-11-29 2003-06-10 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
JP2004089533A (ja) * 2002-09-02 2004-03-25 Toshiba Corp 蛍光物質集積性腫瘍の境界識別装置
JP2007313169A (ja) * 2006-05-29 2007-12-06 Olympus Corp 病変抽出装置および病変抽出方法
JP2009207793A (ja) * 2008-03-06 2009-09-17 Fujifilm Corp 内視鏡システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5772597A (en) * 1992-09-14 1998-06-30 Sextant Medical Corporation Surgical tool end effector
US5735276A (en) * 1995-03-21 1998-04-07 Lemelson; Jerome Method and apparatus for scanning and evaluating matter
FR2783330B1 (fr) * 1998-09-15 2002-06-14 Assist Publ Hopitaux De Paris Dispositif d'observation de l'interieur d'un corps produisant une qualite d'observation perfectionnee
US7309867B2 (en) * 2003-04-18 2007-12-18 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US20050059894A1 (en) * 2003-09-16 2005-03-17 Haishan Zeng Automated endoscopy device, diagnostic method, and uses
US8548822B2 (en) * 2003-12-19 2013-10-01 Stryker Leibinger Gmbh & Co., Kg Reactive workflow system and method
JP4587811B2 (ja) 2005-01-11 2010-11-24 オリンパス株式会社 蛍光観察内視鏡装置
US8160676B2 (en) * 2006-09-08 2012-04-17 Medtronic, Inc. Method for planning a surgical procedure
US9080977B2 (en) * 2006-10-23 2015-07-14 Xenogen Corporation Apparatus and methods for fluorescence guided surgery
JP5019866B2 (ja) * 2006-12-25 2012-09-05 オリンパス株式会社 蛍光内視鏡及び蛍光内視鏡の作動方法
US8600478B2 (en) * 2007-02-19 2013-12-03 Medtronic Navigation, Inc. Automatic identification of instruments used with a surgical navigation system
ATE555711T1 (de) * 2007-12-19 2012-05-15 Kantonsspital Aarau Ag Verfahren zur analyse und bearbeitung von fluoreszenzbildern
JP5081720B2 (ja) * 2008-05-22 2012-11-28 富士フイルム株式会社 蛍光内視鏡装置および励起光ユニット
US8203709B2 (en) * 2008-09-17 2012-06-19 Fujifilm Corporation Image obtaining method and image obtaining apparatus
WO2010044432A1 (ja) * 2008-10-17 2010-04-22 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2002238844A (ja) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd 内視鏡装置
JP2003164414A (ja) * 2001-11-29 2003-06-10 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
JP2004089533A (ja) * 2002-09-02 2004-03-25 Toshiba Corp 蛍光物質集積性腫瘍の境界識別装置
JP2007313169A (ja) * 2006-05-29 2007-12-06 Olympus Corp 病変抽出装置および病変抽出方法
JP2009207793A (ja) * 2008-03-06 2009-09-17 Fujifilm Corp 内視鏡システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200485255Y1 (ko) 2016-03-07 2017-12-12 장일형 완구용 비행 장치

Also Published As

Publication number Publication date
US9949645B2 (en) 2018-04-24
CN103458759A (zh) 2013-12-18
US20140024948A1 (en) 2014-01-23
WO2012132790A1 (ja) 2012-10-04
JPWO2012132790A1 (ja) 2014-07-28
CN103458759B (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
JP6006199B2 (ja) 蛍光観察装置
JP6053673B2 (ja) 蛍光観察装置とその画像表示方法
JP6596203B2 (ja) ビデオ内視鏡システム
JP5562683B2 (ja) 蛍光観察装置
US9392942B2 (en) Fluoroscopy apparatus and fluoroscopy system
JP5802440B2 (ja) 蛍光観察装置
JP6234375B2 (ja) 観察装置
EP2754380A1 (en) Fluorescence observation device
EP2620092B1 (en) Fluorescence observation device
EP2735257A1 (en) Fluorescence endoscopy system
US20130116508A1 (en) Fluoroscopy apparatus
EP2520212B1 (en) Fluorescence endoscope device
AU2017346249B2 (en) Multi-wavelength endoscopic system and image processing method using same
KR102393661B1 (ko) 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
JP2003126017A (ja) 手術用顕微鏡システム
JP2001137171A (ja) 蛍光表示方法および装置
JP2001198080A (ja) 蛍光画像表示方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160908

R151 Written notification of patent or utility model registration

Ref document number: 6006199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250