JP6188721B2 - 蛍光観察装置 - Google Patents
蛍光観察装置 Download PDFInfo
- Publication number
- JP6188721B2 JP6188721B2 JP2014551989A JP2014551989A JP6188721B2 JP 6188721 B2 JP6188721 B2 JP 6188721B2 JP 2014551989 A JP2014551989 A JP 2014551989A JP 2014551989 A JP2014551989 A JP 2014551989A JP 6188721 B2 JP6188721 B2 JP 6188721B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- fluorescence
- unit
- fluorescent
- gradation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 claims description 66
- 238000002073 fluorescence micrograph Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 23
- 230000005284 excitation Effects 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 2
- 230000001678 irradiating effect Effects 0.000 claims 1
- 230000003902 lesion Effects 0.000 description 41
- 239000002131 composite material Substances 0.000 description 22
- 238000012545 processing Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 229910052724 xenon Inorganic materials 0.000 description 3
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 3
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 102100022019 Pregnancy-specific beta-1-glycoprotein 2 Human genes 0.000 description 1
- 230000002494 anti-cea effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
- G01N2021/6471—Special filters, filter wheel
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Astronomy & Astrophysics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
本発明は、蛍光観察装置に関するものである。
従来、被写体の形態を撮影した白色光画像のような参照画像と、被写体からの蛍光を撮影することによって病変部を可視化した蛍光画像とを取得し、蛍光画像内の病変部を参照画像の上に重ねて表示する蛍光観察装置が知られている（例えば、特許文献１および２参照。）。
特許文献１は、カラーの参照画像を構成する赤成分画像、緑成分画像、青成分画像のうちのいずれかに蛍光画像を加算することによって、病変部を赤、緑または青色の領域として参照画像上に表示している。この場合、病変部が表示されている領域において、参照画像は元の階調値の情報、すなわち被写体の形態の情報を含んでいるため、病変部の形態も観察することができるという利点があるが、病変部の視認性を十分に確保することが難しいという不都合がある。一方、特許文献２は、参照画像の病変部の領域を擬似カラーによって塗りつぶしている。この場合、病変部の視認性は良好になるという利点があるが、擬似カラーによって参照画像内の病変部の形態の観察が妨げられてしまうという不都合がある。
本発明は、上述した事情に鑑みてなされたものであって、参照画像を用いた病変部の観察を妨げることなく病変部を視認性良く参照画像上に表示することができる蛍光観察装置を提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、被写体に参照光および励起光を照射する光源と、該光源からの前記励起光の照射によって前記被写体において発生した蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、前記光源からの前記参照光の照射によって前記被写体から戻る戻り光を撮影してカラーの参照画像を生成する参照画像生成部と、前記蛍光画像生成部によって生成された前記蛍光画像から所定の閾値以上の階調値を有する蛍光領域を抽出する抽出部と、該抽出部によって抽出された前記蛍光領域と対応する領域に、前記蛍光領域の階調値に応じた変化量で視覚的に時間変化する効果を発生させるように時刻によって異なる階調値を付与したフレーム画像を生成する動き効果生成部と、前記参照画像を構成する複数の色成分画像のうち少なくとも１つに前記動き効果生成部によって生成された前記フレーム画像を加算し、該フレーム画像が加算された色成分画像を含む複数の前記色成分画像から合成画像を合成する合成部とを備える蛍光観察装置を提供する。
本発明は、被写体に参照光および励起光を照射する光源と、該光源からの前記励起光の照射によって前記被写体において発生した蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、前記光源からの前記参照光の照射によって前記被写体から戻る戻り光を撮影してカラーの参照画像を生成する参照画像生成部と、前記蛍光画像生成部によって生成された前記蛍光画像から所定の閾値以上の階調値を有する蛍光領域を抽出する抽出部と、該抽出部によって抽出された前記蛍光領域と対応する領域に、前記蛍光領域の階調値に応じた変化量で視覚的に時間変化する効果を発生させるように時刻によって異なる階調値を付与したフレーム画像を生成する動き効果生成部と、前記参照画像を構成する複数の色成分画像のうち少なくとも１つに前記動き効果生成部によって生成された前記フレーム画像を加算し、該フレーム画像が加算された色成分画像を含む複数の前記色成分画像から合成画像を合成する合成部とを備える蛍光観察装置を提供する。
本発明によれば、光源からの参照光の照射によって被写体の形態を撮影した参照画像が参照画像生成部によって取得される。一方、光源からの励起光の照射によって被写体に存在する病変部からの蛍光を撮影した蛍光画像が蛍光画像生成部によって取得される。蛍光画像内の病変部は抽出部によって蛍光領域として抽出される。続いて、抽出された病変部と対応する参照画像内の領域に階調値を有するフレーム画像が動き効果生成部によって生成される。そして、合成部によって、参照画像を構成する色成分画像にフレーム画像が加算されることによって、参照画像上に病変部が表示された合成画像が合成される。
この場合に、連続表示される合成画像内の病変部においては、病変部からの蛍光の強度に応じて設定された変化量で階調値が時刻に従って変化することによって、動きの効果が発生する。したがって、病変部を視認性良く参照画像上に表示することができる。また、合成画像は、病変部の領域において、参照画像を構成する色成分画像が有していた階調値、すなわち被写体の形態の情報を含んでいる。したがって、参照画像を用いた病変部の観察も行うことができる。
上記発明においては、前記蛍光領域の階調値に基づいて該階調値の増加に伴って増加する係数を算出する係数算出部を備え、前記動き効果生成部は、前記係数算出部によって算出された前記係数に基づいて前記変化量を決定してもよい。
このようにすることで、係数算出部によって適切に設定された係数を用いて、病変部における動きの効果の変化量が適切となるように調整される。これにより、蛍光領域の階調値が小さい場合であっても、病変部に十分に大きな動きの効果を与えて、観察者に病変部をさらに確実に認識させることができる。
このようにすることで、係数算出部によって適切に設定された係数を用いて、病変部における動きの効果の変化量が適切となるように調整される。これにより、蛍光領域の階調値が小さい場合であっても、病変部に十分に大きな動きの効果を与えて、観察者に病変部をさらに確実に認識させることができる。
上記発明においては、前記動き効果生成部は、所定のオブジェクトが前記蛍光領域の階調値に応じた速さで前記対応する領域内を移動する効果を発生させる前記フレーム画像を生成してもよい。
このようにすることで、合成画像内の病変部において、所定のオブジェクトが移動する効果が与えられる。このオブジェクトの移動の速さから、病変部の病変の程度を直感的に容易に観察者に認識させることができる。
このようにすることで、合成画像内の病変部において、所定のオブジェクトが移動する効果が与えられる。このオブジェクトの移動の速さから、病変部の病変の程度を直感的に容易に観察者に認識させることができる。
上記発明においては、前記動き効果生成部は、所定のオブジェクトが前記蛍光領域の階調値に応じた振幅で前記対応する領域内を移動する効果を発生させる前記フレーム画像を生成してもよい。
このようにすることで、合成画像内の病変部において、所定のオブジェクトが移動する効果が与えられる。このオブジェクトの移動の振幅から、病変部の病変の程度を直感的に容易に観察者に認識させることができる。
このようにすることで、合成画像内の病変部において、所定のオブジェクトが移動する効果が与えられる。このオブジェクトの移動の振幅から、病変部の病変の程度を直感的に容易に観察者に認識させることができる。
上記発明においては、前記動き効果生成部は、前記蛍光領域の階調値に応じた周期で色が変化する効果を発生させる前記フレーム画像を生成してもよい。
このようにすることで、合成画像内の病変部において、色が変化する効果が与えられる。この色の変化の時間周期から、病変部の病変の程度を直感的に容易に観察者に認識させることができる。
このようにすることで、合成画像内の病変部において、色が変化する効果が与えられる。この色の変化の時間周期から、病変部の病変の程度を直感的に容易に観察者に認識させることができる。
上記発明においては、前記動き効果生成部は、前記蛍光領域の階調値に応じた幅で色が変化する効果を発生させる前記フレーム画像を生成してもよい。
このようにすることで、合成画像内の病変部において、色が変化する効果が与えられる。この色の変化の幅から、病変部の病変の程度を直感的に容易に観察者に認識させることができる。
このようにすることで、合成画像内の病変部において、色が変化する効果が与えられる。この色の変化の幅から、病変部の病変の程度を直感的に容易に観察者に認識させることができる。
上記の合成画像にオブジェクトを表示する構成においては、前記参照画像における前記被写体の移動量を検出する移動量検出部を備え、前記動き効果生成部が、前記移動量検出部によって検出された前記被写体の移動量を前記蛍光領域の階調値に加えた値に応じた変化量で変化する効果を付与してもよい。
このようにすることで、視野の移動によって参照画像内において被写体が移動しているときに、この被写体の動きに対して病変部におけるオブジェクトの動きの大きさが変化する。これにより、動いている被写体に対してオブジェクトの動きを十分に目立たせることができる。
このようにすることで、視野の移動によって参照画像内において被写体が移動しているときに、この被写体の動きに対して病変部におけるオブジェクトの動きの大きさが変化する。これにより、動いている被写体に対してオブジェクトの動きを十分に目立たせることができる。
上記発明においては、前記蛍光画像生成部によって生成された前記蛍光画像を前記参照画像生成部によって生成された前記参照画像で除算することによって前記蛍光画像の階調値を補正する蛍光補正部を備え、前記抽出部が、前記蛍光補正部によって補正された蛍光画像から前記蛍光領域を抽出していてもよい。
このようにすることで、観察距離および観察角度に依存した蛍光画像内の階調値の変化を除去し、被写体において発生している蛍光の本来の強度をより正確に反映するように補正された蛍光画像が得られる。この補正された蛍光画像を用いることによって、病変部をより正確に抽出できる。さらに、病変部の病変の程度をより正確に表した動きの効果を、病変部に与えることができる。
このようにすることで、観察距離および観察角度に依存した蛍光画像内の階調値の変化を除去し、被写体において発生している蛍光の本来の強度をより正確に反映するように補正された蛍光画像が得られる。この補正された蛍光画像を用いることによって、病変部をより正確に抽出できる。さらに、病変部の病変の程度をより正確に表した動きの効果を、病変部に与えることができる。
上記の蛍光補正部を備える構成においては、前記蛍光補正部によって補正された前記蛍光画像における画素ごとの階調値の平均値とその階調値の標準偏差との和に基づいて前記抽出部における前記所定の閾値を設定する閾値設定部を備えていてもよい。
このようにすることで、蛍光画像における画素ごとの階調値の変動に追従して、抽出部における閾値を更新することができる。また、画素ごとの階調値にばらつきがある場合であっても、精度が高い閾値を設定することができる。
このようにすることで、蛍光画像における画素ごとの階調値の変動に追従して、抽出部における閾値を更新することができる。また、画素ごとの階調値にばらつきがある場合であっても、精度が高い閾値を設定することができる。
本発明によれば、参照画像を利用した病変部の観察を妨げることなく病変部を視認性良く参照画像上に表示することができるという効果を奏する。
以下に、本発明の一実施形態に係る蛍光観察装置１について図１から図５を参照して説明する。
本実施形態に係る蛍光観察装置１は、内視鏡装置であって、図１に示されるように、体内に挿入される細長い挿入部２と、光源３と、該光源３からの励起光および白色光（参照光）を挿入部２の先端２ａから被写体Ｘに向けて照射する照明ユニット４と、挿入部２の先端２ａに設けられ、被写体Ｘの画像情報Ｓ１，Ｓ２を取得する撮像ユニット５と、挿入部２の基端側に配置され、撮像ユニット５によって取得された画像情報Ｓ１，Ｓ２を処理する画像処理ユニット６と、該画像処理ユニット６によって処理された画像Ｇを表示する表示部７とを備えている。
本実施形態に係る蛍光観察装置１は、内視鏡装置であって、図１に示されるように、体内に挿入される細長い挿入部２と、光源３と、該光源３からの励起光および白色光（参照光）を挿入部２の先端２ａから被写体Ｘに向けて照射する照明ユニット４と、挿入部２の先端２ａに設けられ、被写体Ｘの画像情報Ｓ１，Ｓ２を取得する撮像ユニット５と、挿入部２の基端側に配置され、撮像ユニット５によって取得された画像情報Ｓ１，Ｓ２を処理する画像処理ユニット６と、該画像処理ユニット６によって処理された画像Ｇを表示する表示部７とを備えている。
光源３は、キセノンランプ３１と、該キセノンランプ３１から発せられた光から励起光および白色光を切り出すフィルタ３２と、フィルタ３２によって切り出された励起光および白色光を集光するカップリングレンズ３３とを備えている。フィルタ３２は、励起光および白色光に対応する４００ｎｍから７４０ｎｍの波長帯域の光を選択的に透過する。すなわち、本実施形態において、近赤外光（例えば、波長帯域７００ｎｍから７４０ｎｍ）が励起光として用いられる。
照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置されたライトガイドファイバ４１と、挿入部２の先端２ａに設けられた照明光学系４２とを備えている。ライトガイドファイバ４１は、カップリングレンズ３３によって集光された励起光および白色光を導光する。照明光学系４２は、ライトガイドファイバ４１によって導光されてきた励起光および白色光を拡散させて、挿入部２の先端２ａに対向する被写体Ｘに照射する。
撮像ユニット５は、被写体Ｘからの光を集光する対物レンズ５１と、該対物レンズ５１によって集光された光のうち、励起光および蛍光を反射し、励起光よりも短い波長を有する白色光（波長帯域４００ｎｍから７００ｎｍ、戻り光）を透過するダイクロイックミラー５２と、該ダイクロイックミラー５２によって反射された蛍光およびダイクロイックミラー５２を透過した白色光をそれぞれ集光する２つの集光レンズ５３，５４と、集光レンズ５４によって集光された白色光を撮影するカラーＣＣＤのような撮像素子５５と、集光レンズ５３によって集光された蛍光を撮影する高感度モノクロＣＣＤのような撮像素子５６とを備えている。図中、符号５７は、ダイクロイックミラー５２によって反射された光のうち蛍光（例えば、波長帯域７６０ｎｍから８５０ｎｍ）を選択的に透過し、励起光を遮断する励起光カットフィルタである。
このような波長特性を有するフィルタ３２、ダイクロイックミラー５２および励起光カットフィルタ５７の組み合わせによれば、例えば、蛍光色素Ｃｙ７で標識した抗ＣＥＡ抗体を被写体Ｘに投与して観察することによって、白色光画像Ｇ１と蛍光画像Ｇ２とを同時に取得することができる。ＣＥＡは、癌に特異的に発現するタンパク質である。
画像処理ユニット６は、撮像素子５５によって取得された白色光画像情報Ｓ１から白色光画像（参照画像）Ｇ１を生成する白色光画像生成部（参照画像生成部）６１と、撮像素子５６によって取得された蛍光画像情報Ｓ２から蛍光画像Ｇ２を生成する蛍光画像生成部６２と、該蛍光画像生成部６２によって生成された蛍光画像Ｇ２から蛍光領域Ｆを抽出する抽出部６３と、該抽出部６３によって抽出された蛍光領域Ｆの階調値を用いて後述するフレーム画像Ｇｆの生成のための係数ｃを算出する係数算出部６４と、蛍光領域Ｆの位置において時間変化するフレーム画像Ｇｆを生成する動き効果生成部６５と、該動き効果生成部６５によって生成されたフレーム画像Ｇｆを白色光画像Ｇ１に加算して合成画像Ｇを生成する合成部６６とを備えている。図２の（ａ）から（ｄ）は、画像処理ユニット６の画像処理において生成される各種の画像Ｇ１，Ｇ２，Ｇｆ，Ｇを示している。
抽出部６３は、蛍光画像生成部６２から入力された蛍光画像Ｇ２の各画素の階調値を所定の閾値Ｓと比較し、図２の（ｂ）に示されるように、所定の閾値Ｓ以上の階調値を有する画素を蛍光領域Ｆとして抽出する。抽出部６３は、抽出した画素の階調値を係数算出部６４に出力し、抽出した画素の位置を動き効果生成部６５に出力する。
係数算出部６４は、抽出部６３から入力された、蛍光領域Ｆを構成する画素の階調値の平均値ｍを算出し、算出された平均値ｍに基づいて係数ｃを算出し、算出された係数ｃを動き効果生成部６５に出力する。係数ｃは、平均値ｍの増加に従って増加する関数、例えば、平均値ｍに比例する関数として設定されている。
なお、係数算出部６４は、平均値ｍに代えて、抽出部６３によって抽出された画素の階調値の中央値または最頻値を用いて係数ｃを算出してもよい。
なお、係数算出部６４は、平均値ｍに代えて、抽出部６３によって抽出された画素の階調値の中央値または最頻値を用いて係数ｃを算出してもよい。
動き効果生成部６５は、時刻ｔをカウントするクロックを有している。動き効果生成部６５は、時刻ｔの経過に伴って係数ｃに基づく動き量（変化量）で動くアニメーションを構成するフレーム画像Ｇｆを、クロックによってカウントされた時刻ｔに応じて生成する。
具体的には、動き効果生成部６５は、抽出部６３から入力された画素の位置に基づいて、図２の（ｃ）に示されるように、蛍光領域Ｆと対応する領域内に所定のオブジェクトＯを表示したフレーム画像Ｇｆを生成する。すなわち、フレーム画像Ｇｆは、オブジェクトＯを構成する画素において階調値を有している。この階調値は、任意の所定の値であってもよく、蛍光領域Ｆの階調値に基づいて設定された値であってもよい。
図２の（ｃ）には、所定のオブジェクトＯの一例として、一定の寸法を有し一定の間隔で並んだ複数の円が示されている。動き効果生成部６５は、フレーム画像Ｇｆが連続して表示されたときにこれら円が時刻ｔの経過に伴って蛍光領域Ｆ内を動くアニメーションを生成するフレーム画像Ｇｆを作成する。
ここで、動き量は、オブジェクトＯの動きの振幅および速さを意味し、係数ｃの増加に従って増加する関数、例えば、係数ｃに比例する関数として設定されている。動き効果生成部６５は、係数ｃが大きい程、すなわち、蛍光領域Ｆの階調値が大きい程、オブジェクトＯの動きの振幅および速さのうち少なくとも一方が大きくなるようなフレーム画像Ｇｆを生成する。
合成部６６は、白色光画像生成部６１から入力された白色光画像Ｇ１を構成する赤（Ｒ）成分画像、緑（Ｇ）成分画像および青（Ｂ）成分画像のうちいずれかに、例えばＧ成分画像に、動き効果生成部６５から入力されたフレーム画像Ｇｆを加算する。具体的には、Ｇ成分画像の各画素の階調値にフレーム画像Ｇｆの各画素の階調値を加算する。そして、フレーム画像Ｇｆが加算されたＧ成分画像と他の２つのＲ成分画像およびＢ成分画像とから合成画像Ｇを合成し、生成された合成画像Ｇを表示部７に出力する。
次に、このように構成された蛍光観察装置１の作用について説明する。
本実施形態に係る蛍光観察装置１を用いて被写体Ｘである体内の生体組織を観察するには、予め、病変部に集積する蛍光物質を被写体Ｘに投与しておく。そして、体内に挿入部２を挿入してその先端２ａを被写体Ｘに対向配置し、光源３の作動によって励起光および白色光を挿入部２の先端２ａから被写体Ｘに照射する。
本実施形態に係る蛍光観察装置１を用いて被写体Ｘである体内の生体組織を観察するには、予め、病変部に集積する蛍光物質を被写体Ｘに投与しておく。そして、体内に挿入部２を挿入してその先端２ａを被写体Ｘに対向配置し、光源３の作動によって励起光および白色光を挿入部２の先端２ａから被写体Ｘに照射する。
被写体Ｘにおいては、病変部に含まれる蛍光物質が励起光によって励起されることによって蛍光が発せられるとともに、被写体Ｘの表面において白色光が反射される。被写体Ｘから発せられた蛍光および反射された白色光の一部は、挿入部２の先端２ａに戻り、対物レンズ５１によって集光される。
対物レンズ５１によって集光された光のうち、白色光はダイクロイックミラー５２を透過し、集光レンズ５４によって集光され、撮像素子５５によって白色光画像情報Ｓ１として取得される。一方、対物レンズ５１によって集光された蛍光は、ダイクロイックミラー５２によって反射され、励起光カットフィルタ５７によって励起光を除去され、集光レンズ５３によって集光され、撮像素子５６によって蛍光画像情報Ｓ２として取得される。各撮像素子５５，５６によって取得された画像情報Ｓ１，Ｓ２は、画像処理ユニット６に送られる。
図３に、画像処理ユニット６による画像処理を説明するフローチャートを示す。
画像処理ユニット６において、白色光画像情報Ｓ１が白色光画像生成部６１に入力されて白色光画像Ｇ１が生成され、蛍光画像情報Ｓ２が蛍光画像生成部６２に入力されて蛍光画像Ｇ２が生成される（ステップＳ１）。
画像処理ユニット６において、白色光画像情報Ｓ１が白色光画像生成部６１に入力されて白色光画像Ｇ１が生成され、蛍光画像情報Ｓ２が蛍光画像生成部６２に入力されて蛍光画像Ｇ２が生成される（ステップＳ１）。
蛍光画像Ｇ２は、抽出部６３に送られ、所定の閾値Ｓ以上の階調値を有する蛍光領域Ｆが抽出される（ステップＳ２）。抽出された蛍光領域Ｆの各位置の階調値は係数算出部６４に、蛍光領域Ｆの位置の情報は動き効果生成部６５に、それぞれ送られる。次に、係数算出部６４において、抽出部６３から送られてきた階調値から蛍光領域Ｆの階調値の平均値ｍが算出され、さらに該平均値ｍから係数ｃが算出される（ステップＳ３）。
次に、動き効果生成部６５において、時刻ｔおよび係数ｃに基づいて、蛍光領域Ｆの位置に所定のオブジェクトＯが表示されたフレーム画像Ｇｆが生成される（ステップＳ４）。次に、合成部６６において、白色光画像Ｇ１を構成する３つの成分画像のうちＧ成分画像にフレーム画像Ｇｆが加算され（ステップＳ５）、該フレーム画像Ｇｆが加算されたＧ成分画像とそのままのＲ成分画像およびＢ成分画像とを用いてカラーの合成画像Ｇが生成され（ステップＳ６）、生成された合成画像Ｇが表示部７に表示される（ステップＳ７）。
表示部７に連続的に表示される合成画像Ｇにおいては、該合成画像Ｇに含まれている所定のオブジェクトＯが動きの効果を発生する。すなわち、合成画像Ｇの蛍光領域Ｆに対応する領域に、該蛍光領域Ｆの階調値に応じた動き量で緑色の所定のオブジェクトＯが動くアニメーションが表示される。
このように、本実施形態によれば、観察者が観察している表示部７の合成画像Ｇ内の病変部の位置に所定のオブジェクトＯが動くアニメーションが表示される。観察者は、動く所定のオブジェクトＯによって病変部を容易に認識することができる。さらに、所定のオブジェクトＯの動きの振幅や速さから、病変部における蛍光の強度、すなわち、病変の程度を直感的に容易に認識することができる。また、合成画像ＧのオブジェクトＯが表示されている領域において、白色光画像Ｇ１を構成する３つの色成分画像の階調値、すなわち被写体Ｘの形態の情報が含まれている。したがって、合成画像Ｇにおいて、病変部の位置にオブジェクトＯが表示されていても、病変部の形態を十分に鮮明に観察することができる。
なお、本実施形態においては、フレーム画像Ｇｆを白色光画像Ｇ１のＧ成分画像に加算することとしたが、これに代えて、フレーム画像ＧｆをＲ成分画像またはＢ成分画像に加算してもよい。あるいは、フレーム画像Ｇｆを複数の成分画像に分配して加算してもよい。例えば、フレーム画像の階調値をＧ成分画像とＢ成分画像とに２：１の割合で分配して加算してもよい。
また、本実施形態においては、動き効果生成部６５が、合成画像Ｇ内の病変部の領域に空間的な動きの効果を与えることとしたが、動き効果生成部６５が病変部の領域に与える動きの効果の態様は、これに限定されるものではなく、時刻の経過に伴って視覚的に変化する効果であればよい。例えば、動き効果生成部６５は、病変部の領域において色が時刻によって変化するような階調値を付与したフレーム画像を生成し、蛍光領域Ｆの階調値に応じた時間周期または幅で色が変化する効果を与えてもよい。また、上述したオブジェクトＯの動きの効果に色の変化の効果を組み合わせてもよい。ここで、色の変化とは、色の色相、彩度、明度、または濃淡の変化である。
このように、空間的な動きに代えて、またはこれに加えて、色の変化の効果を与えることによっても、観察者に病変部を容易に認識させることができる。また、色の変化の時間周期またはその幅を、蛍光領域Ｆの階調値に応じて設定することで、観察者に病変部の病変の程度を直感的に容易に認識させることができる。
この場合、色の変化の効果が与えられる領域における、合成画像Ｇと白色光画像Ｇ１とフレーム画像Ｇｆとの関係は、式（１）によって一般化して表わされるマトリクスによって定義される。式（１）において、Ｒ’、Ｇ’、Ｂ’はそれぞれ、合成画像ＧのＲ成分、Ｇ成分、Ｂ成分の階調値である。Ｒ、Ｇ、Ｂはそれぞれ、白色光画像Ｇ１のＲ成分、Ｇ成分、Ｂ成分の階調値である。ｓｉｎで表される要素は、フレーム画像Ｇｆの各色成分の階調値である。Ａ、Ｂ、Ｃは、０または係数ｃである。
色の濃淡の変化の効果を与える場合について説明すると、ΦＲ＝ΦＧ＝ΦＢ＝０とすることによって、フレーム画像ＧｆにおいてＲ成分、Ｇ成分およびＢ成分の階調値が全て同一の位相で変化する。そして、Ａ＝Ｃ＝０、Ｂ＝ｃ、β＝１とすると、係数ｃに比例した幅で周期的に変化するフレーム画像ＧｆのＧ成分の階調値が、Ｇ成分画像の階調値に加算される。これにより、図４（ａ），（ｂ）に示されるように、合成画像Ｇにおいて蛍光領域Ｆが透明と濃い緑との間で点滅する。一方、Ａ＝Ｃ＝０、Ｂ＝１、β＝ｃとすると、係数ｃに比例した速さで周期的に変化するフレーム画像ＧｆのＧ成分の階調値が、Ｇ成分画像に加算される。これにより、合成画像Ｇにおいて蛍光領域Ｆが点滅する。一方、Ａ＝−１、Ｂ＝１、Ｃ＝０、α＝β＝１とすると、互いに逆位相で変化するフレーム画像ＧｆのＲ成分の階調値とＧ成分の階調値とが、白色光画像Ｇ１のＲ成分画像およびＧ成分画像にそれぞれ加算される。この場合、合成画像Ｇにおいて、Ｇ成分の階調値が最大のときにＲ成分の階調値が最小となり、蛍光領域Ｆの色相が赤と緑との間で交互に変化する。
色相の変化の効果を与える場合について説明すると、φＲ、φＧ、φＢを互いに異なる値にすることによって、フレーム画像ＧｆにおいてＲ成分、Ｇ成分、Ｂ成分の階調値が互いに異なる位相で変化する。例えば、φＲ＝０、φＧ＝２π／３、φＢ＝４π／３とする。そして、Ａ＝Ｂ＝Ｃ＝１、α＝β＝γ＝ｃとすると、図５の（ａ）から（ｃ）に示されるように、合成画像Ｇにおいて蛍光領域Ｆの色相が係数ｃに比例した時間周期で赤、緑、青の順に変化する。一方、Ａ＝Ｂ＝Ｃ＝ｃ、α＝β＝γ＝１とすると、合成画像Ｇにおいて蛍光領域Ｆの色相が係数ｃに比例した幅で変化する。図５の（ａ）から（ｃ）において、ハッチングの向きの違いは、色相の違いを表わしている。
次に、上述した本実施形態に係る蛍光観察装置１の変形例について説明する。
（第１の変形例）
本実施形態の第１の変形例に係る蛍光観察装置１００は、図６に示されるように、白色光画像Ｇ１内における被写体Ｘの移動量を検出する移動量検出部６７をさらに備えている。
（第１の変形例）
本実施形態の第１の変形例に係る蛍光観察装置１００は、図６に示されるように、白色光画像Ｇ１内における被写体Ｘの移動量を検出する移動量検出部６７をさらに備えている。
移動量検出部６７は、例えば、白色光画像Ｇ１から特徴領域を抽出し、抽出された特徴領域の動きベクトルを算出するなどの周知の技術を用いて、挿入部２の先端２ａと被写体Ｘとの間の移動量Ｍｖを算出し、算出された移動量Ｍｖを係数算出部６４に出力する。
係数算出部６４は、移動量検出部６７から入力された移動量Ｍｖと、抽出部６３から入力された蛍光領域Ｆの階調値の平均値ｍとに基づいて係数ｃ’を算出する。例えば、係数算出部６４は、上述した係数ｃに移動量Ｍｖを加算することによって、係数ｃ’を算出する。
このように構成された蛍光観察装置１００の作用について図７を参照して説明する。
本変形例においては、ステップＳ１において生成された白色光画像Ｇ１から、該白色光画像Ｇ１内における被写体Ｘの移動量Ｍｖが検出される（ステップＳ８）。次のステップＳ３’においては、検出された移動量Ｍｖも加味して係数ｃ’が算出される。ステップＳ４においては、係数ｃに代えて係数ｃ’を用いてフレーム画像Ｇｆを生成する。以降の処理は図３と同じであるので説明を省略する。
本変形例においては、ステップＳ１において生成された白色光画像Ｇ１から、該白色光画像Ｇ１内における被写体Ｘの移動量Ｍｖが検出される（ステップＳ８）。次のステップＳ３’においては、検出された移動量Ｍｖも加味して係数ｃ’が算出される。ステップＳ４においては、係数ｃに代えて係数ｃ’を用いてフレーム画像Ｇｆを生成する。以降の処理は図３と同じであるので説明を省略する。
このように、本変形例によれば、挿入部２の先端２ａと被写体Ｘとの相対移動によって白色光画像Ｇ１内において被写体Ｘが移動した場合に、この移動量Ｍｖに応じてオブジェクトＯの動き量が変化する。すなわち、白色光画像Ｇ１の視野が一定であるときの動き量に対して、白色光画像Ｇ１の視野が移動しているときの動き量が大きくなる。このように、被写体Ｘの動き量に対してオブジェクトＯの動き量を相対的に変化させることによって、動いている被写体Ｘに対してオブジェクトＯの動きを十分に目立たせて観察者に病変部を確実に認識させることができる。
（第２の変形例）
本実施形態の第２の変形例に係る蛍光観察装置２００は、図８に示されるように、白色光画像生成部６１によって生成された白色光画像Ｇ１を用いて、蛍光画像生成部６２によって生成された蛍光画像Ｇ２を補正する蛍光補正部６８をさらに備えている。蛍光補正部６８は、蛍光画像生成部６２から入力された蛍光画像Ｇ２の各画素の階調値を、白色光画像生成部６１から入力された白色光画像Ｇ１の各画素の階調値によって除算することによって、階調値が補正された補正蛍光画像Ｇ２’を生成し、生成された補正蛍光画像Ｇ２’を抽出部６３に出力する。
抽出部６３は、蛍光画像Ｇ２に代えて、補正蛍光画像Ｇ２’から蛍光領域Ｆを抽出する。
本実施形態の第２の変形例に係る蛍光観察装置２００は、図８に示されるように、白色光画像生成部６１によって生成された白色光画像Ｇ１を用いて、蛍光画像生成部６２によって生成された蛍光画像Ｇ２を補正する蛍光補正部６８をさらに備えている。蛍光補正部６８は、蛍光画像生成部６２から入力された蛍光画像Ｇ２の各画素の階調値を、白色光画像生成部６１から入力された白色光画像Ｇ１の各画素の階調値によって除算することによって、階調値が補正された補正蛍光画像Ｇ２’を生成し、生成された補正蛍光画像Ｇ２’を抽出部６３に出力する。
抽出部６３は、蛍光画像Ｇ２に代えて、補正蛍光画像Ｇ２’から蛍光領域Ｆを抽出する。
このように構成された蛍光観察装置２００の作用について図９を参照して説明する。
本変形例においては、ステップＳ１において生成された蛍光画像Ｇ２の階調値が白色光画像Ｇ１の階調値によって補正される（ステップＳ９）。次のステップＳ２’においては、階調値が補正された補正蛍光画像Ｇ２’から蛍光領域Ｆが抽出される。以降の処理は図３と同じであるので説明を省略する。
本変形例においては、ステップＳ１において生成された蛍光画像Ｇ２の階調値が白色光画像Ｇ１の階調値によって補正される（ステップＳ９）。次のステップＳ２’においては、階調値が補正された補正蛍光画像Ｇ２’から蛍光領域Ｆが抽出される。以降の処理は図３と同じであるので説明を省略する。
このように、本変形例によれば、白色光画像Ｇ１を用いて階調値が規格化された補正蛍光画像Ｇ２’は、挿入部２の先端２ａと被写体Ｘとの間の観察距離および観察角度に依存する階調値の変化が除去され、被写体Ｘの各位置から発せられている蛍光の本来の強度をより正確に反映した画像となる。抽出部６３は、未処理の蛍光画像Ｇ２に代えてこのような補正蛍光画像Ｇ２’を用いることによって、病変部を蛍光領域Ｆとしてさらに正確に抽出することができる。また、動き効果生成部６５は、病変部の病変の程度をさらに正確に表わした動き量を、蛍光領域Ｆに与えることができる。
（第３の変形例）
本実施形態の第３の変形例に係る蛍光観察装置３００は、第２の変形例をさらに変形したものであって、図１０に示されるように、補正蛍光画像Ｇ２’における階調値の分布を算出する階調値分布算出部６９と、抽出部６３における閾値Ｓを設定する閾値設定部７０とをさらに備えている。
本実施形態の第３の変形例に係る蛍光観察装置３００は、第２の変形例をさらに変形したものであって、図１０に示されるように、補正蛍光画像Ｇ２’における階調値の分布を算出する階調値分布算出部６９と、抽出部６３における閾値Ｓを設定する閾値設定部７０とをさらに備えている。
階調値分布算出部６９は、補正蛍光画像Ｇ２’の全体または所定の一部の領域における階調値の分布に基づいて、補正蛍光画像Ｇ２’の階調値の平均値Ｍおよび標準偏差σを算出し、得られた平均値Ｍおよび標準偏差σを閾値設定部７０および係数算出部６４に出力する。
閾値設定部７０は、例えば、下式（２）に示されるように、階調値の平均値Ｍと標準偏差σとの和から閾値Ｓを算出する。そして、閾値設定部７０は、算出された閾値Ｓを、蛍光領域Ｆを抽出するための所定の閾値Ｓとして抽出部６３に設定する。ａおよびｂは、補正蛍光画像Ｇ２’における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された係数である。
Ｓ＝ａＭ＋ｂσ ・・・（２）
Ｓ＝ａＭ＋ｂσ ・・・（２）
係数算出部６４は、ｍ、Ｍ、σを用いて、例えば、下式（３）から係数ｃを算出する。
ｃ＝（ｍ−Ｍ）/σ ・・・（３）
ｃ＝（ｍ−Ｍ）/σ ・・・（３）
このように構成された蛍光観察装置３００の作用について図１１を参照して説明する。
本変形例においては、ステップＳ９において補正蛍光画像Ｇ２’が生成された後、該補正蛍光画像Ｇ２’の階調値の平均値Ｍと標準偏差σとが算出され（ステップＳ１０）、これらの値Ｍ，σに基づいて抽出部６３において用いられる閾値Ｓが設定される（ステップＳ１１）。次のステップＳ２’においては、ステップＳ１１において設定された閾値Ｓ以上の階調値を有する蛍光領域Ｆが補正蛍光画像Ｇ２’から抽出される。以降の処理は図３と同じであるので説明を省略する。
本変形例においては、ステップＳ９において補正蛍光画像Ｇ２’が生成された後、該補正蛍光画像Ｇ２’の階調値の平均値Ｍと標準偏差σとが算出され（ステップＳ１０）、これらの値Ｍ，σに基づいて抽出部６３において用いられる閾値Ｓが設定される（ステップＳ１１）。次のステップＳ２’においては、ステップＳ１１において設定された閾値Ｓ以上の階調値を有する蛍光領域Ｆが補正蛍光画像Ｇ２’から抽出される。以降の処理は図３と同じであるので説明を省略する。
このように、本変形例によれば、補正蛍光画像Ｇ２’の階調値の分布に応じて、抽出部６３において用いられる閾値Ｓと、動き効果生成部６５において用いられる係数ｃとが変動する。これにより、補正蛍光画像Ｇ２’に観察距離や観察角度に依存した階調値の変動が残存している場合でも、病変部を常時正確に抽出することができる。また、補正蛍光画像Ｇ２’において画素ごとの階調値にばらつきがある場合であっても、さらに精度が高い閾値Ｓを設定することができる。その結果、病変部の抽出の精度をさらに向上することができる。
１，１００，２００，３００ 蛍光観察装置
２ 挿入部
３ 光源
３１ キセノンランプ
３２ フィルタ
３３ カップリングレンズ
４ 照明ユニット
４１ ライトガイドファイバ
４２ 照明光学系
５ 撮像ユニット
５１ 対物レンズ
５２ ダイクロイックミラー
５３，５４ 集光レンズ
５５，５６ 撮像素子
５７ 励起光カットフィルタ
６ 画像処理ユニット
６１ 白色光画像生成部（参照画像生成部）
６２ 蛍光画像生成部
６３ 抽出部
６４ 係数算出部
６５ 動き効果生成部
６６ 合成部
６７ 移動量検出部
６８ 蛍光補正部
６９ 階調値分布算出部
７０ 閾値設定部
７ 表示部
Ｇ 合成画像
Ｇ１ 白色光画像（参照画像）
Ｇ２ 蛍光画像
Ｇ２’ 補正蛍光画像
Ｇｆ フレーム画像
２ 挿入部
３ 光源
３１ キセノンランプ
３２ フィルタ
３３ カップリングレンズ
４ 照明ユニット
４１ ライトガイドファイバ
４２ 照明光学系
５ 撮像ユニット
５１ 対物レンズ
５２ ダイクロイックミラー
５３，５４ 集光レンズ
５５，５６ 撮像素子
５７ 励起光カットフィルタ
６ 画像処理ユニット
６１ 白色光画像生成部（参照画像生成部）
６２ 蛍光画像生成部
６３ 抽出部
６４ 係数算出部
６５ 動き効果生成部
６６ 合成部
６７ 移動量検出部
６８ 蛍光補正部
６９ 階調値分布算出部
７０ 閾値設定部
７ 表示部
Ｇ 合成画像
Ｇ１ 白色光画像（参照画像）
Ｇ２ 蛍光画像
Ｇ２’ 補正蛍光画像
Ｇｆ フレーム画像
Claims (9)
- 被写体に参照光および励起光を照射する光源と、
該光源からの前記励起光の照射によって前記被写体において発生した蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、
前記光源からの前記参照光の照射によって前記被写体から戻る戻り光を撮影してカラーの参照画像を生成する参照画像生成部と、
前記蛍光画像生成部によって生成された前記蛍光画像から所定の閾値以上の階調値を有する蛍光領域を抽出する抽出部と、
該抽出部によって抽出された前記蛍光領域と対応する領域に、前記蛍光領域の階調値に応じた変化量で視覚的に時間変化する効果を発生させるように時刻によって異なる階調値を付与したフレーム画像を生成する動き効果生成部と、
前記参照画像を構成する複数の色成分画像のうち少なくとも１つに前記動き効果生成部によって生成された前記フレーム画像を加算し、該フレーム画像が加算された色成分画像を含む複数の前記色成分画像から合成画像を合成する合成部とを備える蛍光観察装置。 - 前記蛍光領域の階調値に基づいて該階調値の増加に伴って増加する係数を算出する係数算出部を備え、
前記動き効果生成部が、前記係数算出部によって算出された前記係数に基づいて前記変化量を決定する請求項１に記載の蛍光観察装置。 - 前記動き効果生成部は、所定のオブジェクトが前記蛍光領域の階調値に応じた速さで前記対応する領域内を移動する効果を発生させる前記フレーム画像を生成する請求項１または請求項２に記載の蛍光観察装置。
- 前記動き効果生成部は、所定のオブジェクトが前記蛍光領域の階調値に応じた振幅で前記対応する領域内を移動する効果を発生させる前記フレーム画像を生成する請求項１から請求項３のいずれかに記載の蛍光観察装置。
- 前記動き効果生成部は、前記蛍光領域の階調値に応じた周期で色が変化する効果を発生させる前記フレーム画像を生成する請求項１から請求項４のいずれかに記載の蛍光観察装置。
- 前記動き効果生成部は、前記蛍光領域の階調値に応じた幅で色が変化する効果を発生させる前記フレーム画像を生成する請求項１から請求項５のいずれかに記載の蛍光観察装置。
- 前記参照画像における前記被写体の移動量を検出する移動量検出部を備え、
前記動き効果生成部が、前記移動量検出部によって検出された前記被写体の移動量を前記蛍光領域の階調値に加えた値に応じた変化量で変化する前記フレーム画像を生成する請求項３または請求項４に記載の蛍光観察装置。 - 前記蛍光画像生成部によって生成された前記蛍光画像を前記参照画像生成部によって生成された前記参照画像で除算することによって前記蛍光画像の階調値を補正する蛍光補正部を備え、
前記抽出部が、前記蛍光補正部によって補正された蛍光画像から前記蛍光領域を抽出する請求項１から請求項７のいずれかに記載の蛍光観察装置。 - 前記蛍光補正部によって補正された前記蛍光画像における画素ごとの階調値の平均値とその階調値の標準偏差との和に基づいて前記抽出部における前記所定の閾値を設定する閾値設定部を備える請求項８に記載の蛍光観察装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012272305 | 2012-12-13 | ||
| JP2012272305 | 2012-12-13 | ||
| PCT/JP2013/082437 WO2014091964A1 (ja) | 2012-12-13 | 2013-12-03 | 蛍光観察装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2014091964A1 JPWO2014091964A1 (ja) | 2017-01-05 |
| JP6188721B2 true JP6188721B2 (ja) | 2017-08-30 |
Family
ID=50934256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014551989A Active JP6188721B2 (ja) | 2012-12-13 | 2013-12-03 | 蛍光観察装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9207179B2 (ja) |
| EP (1) | EP2932882A4 (ja) |
| JP (1) | JP6188721B2 (ja) |
| CN (1) | CN104853666B (ja) |
| WO (1) | WO2014091964A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104515760B (zh) * | 2014-12-17 | 2017-10-31 | 深圳市纳观生物有限公司 | 双色荧光定位超分辨率生物显微方法及系统 |
| JP6484336B2 (ja) * | 2015-06-17 | 2019-03-13 | オリンパス株式会社 | 撮像装置 |
| WO2017175452A1 (ja) * | 2016-04-04 | 2017-10-12 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| EP3616596A3 (en) * | 2016-05-23 | 2020-03-18 | Leica Instruments (Singapore) Pte. Ltd. | Image processor, medical observation device, such as a microscope or an endoscope, and method using pseudo-color image data |
| WO2018181156A1 (ja) * | 2017-03-31 | 2018-10-04 | Hoya株式会社 | 電子内視鏡システム |
| KR101998592B1 (ko) * | 2017-09-20 | 2019-07-10 | 인더스마트 주식회사 | 근적외선 형광 검출장치 및 방법 |
| CN108195802B (zh) * | 2017-11-21 | 2020-09-15 | 广州标旗电子科技有限公司 | 一种钻石发光成像检测方法 |
| JP7134759B2 (ja) * | 2018-07-13 | 2022-09-12 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
| WO2020036109A1 (ja) * | 2018-08-17 | 2020-02-20 | 富士フイルム株式会社 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
| WO2020054542A1 (ja) * | 2018-09-11 | 2020-03-19 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム |
| EP3858222B1 (en) * | 2018-09-28 | 2023-11-22 | FUJIFILM Corporation | Medical image processing device, medical image processing method, program, diagnosis assistance device, and endoscope system |
| JP7038641B2 (ja) * | 2018-11-02 | 2022-03-18 | 富士フイルム株式会社 | 医療診断支援装置、内視鏡システム、及び作動方法 |
| EP3690819B1 (en) * | 2019-01-31 | 2023-09-13 | Leica Instruments (Singapore) Pte. Ltd. | Image processing device and method, and medical observation device comprising such an image processing device, using an intensity or brightness-dependent variation of a pseudocolor pattern characteristic |
| US11730340B2 (en) * | 2019-05-01 | 2023-08-22 | Karl Storz Imaging, Inc. | Video display system having an adaptive overlay |
| WO2021039438A1 (ja) * | 2019-08-27 | 2021-03-04 | 富士フイルム株式会社 | 医療画像処理システム及びその動作方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020138008A1 (en) * | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
| JP4298151B2 (ja) * | 2000-01-13 | 2009-07-15 | 富士フイルム株式会社 | 蛍光画像表示方法および装置 |
| DE60122894T2 (de) * | 2000-07-14 | 2007-03-15 | Xillix Technologies Corp., Richmond | Kompaktes fluorezenz endoskopisches video system |
| JP3862582B2 (ja) * | 2001-06-29 | 2006-12-27 | 富士フイルムホールディングス株式会社 | 蛍光画像取得方法および装置並びにプログラム |
| JP2005204958A (ja) | 2004-01-23 | 2005-08-04 | Pentax Corp | 自家蛍光観察可能な電子内視鏡装置およびシステム |
| JP4533673B2 (ja) | 2004-06-07 | 2010-09-01 | オリンパス株式会社 | 赤外観察システム及び赤外観察システムによる作動方法 |
| JP4611674B2 (ja) * | 2004-06-29 | 2011-01-12 | Ｈｏｙａ株式会社 | 電子内視鏡システム |
| JP5461753B2 (ja) * | 2004-07-30 | 2014-04-02 | オリンパス株式会社 | 内視鏡装置 |
| JP5114003B2 (ja) * | 2005-11-04 | 2013-01-09 | オリンパス株式会社 | 蛍光内視鏡装置 |
| US20060173358A1 (en) * | 2005-01-11 | 2006-08-03 | Olympus Corporation | Fluorescence observation endoscope apparatus and fluorescence observation method |
| JP2007215927A (ja) * | 2006-02-20 | 2007-08-30 | Pentax Corp | 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム |
| JP5160343B2 (ja) * | 2008-08-22 | 2013-03-13 | オリンパスメディカルシステムズ株式会社 | 撮像システム及び内視鏡システム |
| JP2011005002A (ja) * | 2009-06-26 | 2011-01-13 | Hoya Corp | 内視鏡装置 |
| WO2011111619A1 (ja) * | 2010-03-09 | 2011-09-15 | オリンパス株式会社 | 蛍光内視鏡装置 |
| JP5484977B2 (ja) * | 2010-03-23 | 2014-05-07 | オリンパス株式会社 | 蛍光観察装置 |
-
2013
- 2013-12-03 JP JP2014551989A patent/JP6188721B2/ja active Active
- 2013-12-03 EP EP13863259.1A patent/EP2932882A4/en not_active Withdrawn
- 2013-12-03 CN CN201380064740.5A patent/CN104853666B/zh not_active Expired - Fee Related
- 2013-12-03 WO PCT/JP2013/082437 patent/WO2014091964A1/ja active Application Filing
-
2015
- 2015-06-12 US US14/738,010 patent/US9207179B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2014091964A1 (ja) | 2017-01-05 |
| EP2932882A4 (en) | 2017-01-11 |
| WO2014091964A1 (ja) | 2014-06-19 |
| US9207179B2 (en) | 2015-12-08 |
| CN104853666A (zh) | 2015-08-19 |
| US20150276602A1 (en) | 2015-10-01 |
| EP2932882A1 (en) | 2015-10-21 |
| CN104853666B (zh) | 2016-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6188721B2 (ja) | 蛍光観察装置 | |
| JP6391562B2 (ja) | 蛍光観察装置 | |
| JP6057890B2 (ja) | 蛍光観察装置 | |
| US9417188B2 (en) | Fluorescence observation device | |
| JP6461797B2 (ja) | 蛍光観察装置 | |
| US9332909B2 (en) | Fluoroscopy apparatus | |
| US9513221B2 (en) | Fluorescence observation apparatus | |
| JP5993184B2 (ja) | 蛍光観察装置および蛍光観察装置の作動方法 | |
| US9498109B2 (en) | Fluorescence endoscope device | |
| CN109310271B (zh) | 时间和/或空间调制的伪彩色图案的医学观察设备和方法 | |
| US20130250079A1 (en) | Fluorescence endoscope apparatus | |
| JPWO2013015120A1 (ja) | 蛍光内視鏡装置 | |
| WO2016056157A1 (ja) | 色分解プリズム及び撮像装置 | |
| JP2012143284A5 (ja) | 走査型眼科撮影装置 | |
| JP5346635B2 (ja) | 蛍光観察装置 | |
| US20160302652A1 (en) | Fluorescence observation apparatus | |
| JP5498282B2 (ja) | 蛍光観察装置 | |
| KR102007361B1 (ko) | 다채널 형광 내시경 장치 및 이를 이용한 영상 획득 제어 방법 | |
| US20210315513A1 (en) | Dental imaging system | |
| JP2012052869A (ja) | 撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170801 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6188721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |