JP6116561B2 - 画像処理装置、顕微鏡システム及び画像処理方法 - Google Patents

画像処理装置、顕微鏡システム及び画像処理方法 Download PDF

Info

Publication number
JP6116561B2
JP6116561B2 JP2014521015A JP2014521015A JP6116561B2 JP 6116561 B2 JP6116561 B2 JP 6116561B2 JP 2014521015 A JP2014521015 A JP 2014521015A JP 2014521015 A JP2014521015 A JP 2014521015A JP 6116561 B2 JP6116561 B2 JP 6116561B2
Authority
JP
Japan
Prior art keywords
image
unit
gland duct
region
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014521015A
Other languages
English (en)
Other versions
JPWO2013187148A1 (ja
Inventor
金子　善興
善興 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014521015A priority Critical patent/JP6116561B2/ja
Publication of JPWO2013187148A1 publication Critical patent/JPWO2013187148A1/ja
Application granted granted Critical
Publication of JP6116561B2 publication Critical patent/JP6116561B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/415—Evaluating particular organs or parts of the immune or lymphatic systems the glands, e.g. tonsils, adenoids or thymus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4227—Evaluating particular parts, e.g. particular organs endocrine glands, i.e. thyroid, adrenals, hypothalamic, pituitary
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6484—Optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0826—Fibre array at source, distributing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/113—Fluorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Endocrinology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Urology & Nephrology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Description

本発明は、生体が写った画像を処理する画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法に関する。
従来、生体の臓器の異常等を検出する際には、観察対象や観察目的に応じた観察法や染色法が選択して用いられる。例えば、食道、胃、小腸、大腸、前立腺といった腺管構造を有する臓器の場合、生体から採取した病理標本を染色して顕微鏡観察を行う、或いは、生体内に内視鏡を挿入し、白色光を照射して観察を行う、といった観察法が用いられる。
一例として、病理標本から異常（病変）を検出する際には、まず、組織や細胞の形態を観察するための形態観察染色として、ヘマトキシリン及びエオシンの２つの色素を用いるヘマトキシリン・エオシン染色（以下、「ＨＥ染色」と記す）や、パパニコロウ染色（Ｐａｐ染色）等の非蛍光染色が施され、光学顕微鏡において透過照明による明視野観察が行われる。
また、形態情報に基づく形態診断における情報不足を補完することや、薬投与の適否判断を行うための特殊染色や免疫染色と呼ばれる染色が行われることもある。例えば、標的分子（特定の遺伝子やタンパク）の発現異常といった機能異常を診断する分子病理学的検査を行う場合、免疫組織化学（immunohistochemistry：ＩＨＣ）法、免疫細胞化学（immunocytochemistry：ＩＣＣ）法、ＩＳＨ（in situ hybridization）法等で標的分子に蛍光標識（染色）を施し、落射照明による蛍光観察を行ったり、酵素標識を施して明視野観察を行ったりする。
この他、染色標本を撮像して得られた画像から、診断対象に対応する領域を画像処理により自動抽出する種々の技術が知られている（例えば、特許文献１参照）。
また、特許文献２には、トリプトファン関連の自己蛍光（自家蛍光）の測定に基づき、異常な細胞及び組織を検出する方法が開示されている。
特開２００６−２０８３３９号公報 特表２００３−５３３６７４号公報
しかしながら、ＨＥ染色等の形態観察染色や特殊染色には専門的な技術が必要とされており、標本作製に時間や手間がかかると共に、コスト上昇の要因にもなっている。また、これらの染色を行う際の詳細な手順は病院や検査センター等の施設ごとに異なっており、その違いは、標本における染色の濃度や色合いの微妙な違いとして表れてくる。このため、病理医が、他の施設において染色された病理標本を病理診断する際に、正確な診断に影響を及ぼすこともあった。そのため、このような染色を行うことなく、病理標本に対する目的の診断を簡単且つ安定的に行うことができれば、より好ましい。
上記特許文献２においては、新形成を構成すると推測される細胞を紫外線に曝露し、トリプトファン放射を示す波長で自家蛍光を測定し、上記細胞の放射強度と新形成を構成しない細胞の放射強度との比が１．３を超える場合に、上記細胞は新形成を構成すると決定する。具体的には、トリプトファン放射を示す波長として、３００ｎｍ〜４００ｎｍの波長の範囲にある自家蛍光を測定している。しかしながら、特許文献２には、３００ｎｍ〜４００ｎｍの波長の範囲のトリプトファン関連の自家蛍光以外の測定による異常の検出については何ら開示されていない。
本発明は、上記に鑑みてなされたものであって、染色を行うことなく取得された生体の観察画像に基づいて生体の異常等の判断を行うことができる画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、腺管に励起光を照射し、前記腺管から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得部と、前記画像情報に基づいて、前記蛍光の強度に対応する値を蛍光強度として算出する蛍光強度算出部と、前記蛍光強度算出部により算出された前記蛍光強度に基づいて、前記腺管に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する画像判定部と、を備えることを特徴とする。
上記画像処理装置において、前記蛍光強度算出部は、前記対応する値として、前記画像内の各画素の輝度値を算出する、ことを特徴とする。
上記画像処理装置において、前記画像判定部は、前記画像内の各画素における前記蛍光強度、又は、前記画像内の各画素における前記蛍光強度の合計値若しくは代表値を所定の基準値と比較することにより、前記腺管に内分泌細胞が存在するか否かを判定する、ことを特徴とする。
上記画像処理装置において、前記画像判定部は、前記画像内から、前記蛍光強度が所定の基準値以上である複数の画素からなる領域を抽出し、該領域の特徴量に基づいて前記腺管に内分泌細胞が存在するか否かを判定する、ことを特徴とする。
上記画像処理装置において、前記画像判定部は、前記蛍光強度に基づいて前記画像を２値化することにより前記領域を抽出する、ことを特徴とする。
上記画像処理装置において、前記画像内の各画素の前記蛍光強度に基づいて、前記画像を２値化する際の基準値を設定する基準値設定部をさらに備えることを特徴とする。
上記画像処理装置において、前記領域の特徴量は、前記領域の各々の面積若しくは蛍光強度と、前記領域の数と、前記領域の各々の周囲長、外接距離、若しくは円形度とのうちの少なくともいずれかを用いて算出される、ことを特徴とする。
上記画像処理装置において、前記画像内の各画素の分光スペクトルを生成するスペクトル生成部と、前記スペクトル生成部により生成された分光スペクトルが所定の特徴を有する画素の領域を抽出する画素領域抽出部と、をさらに備え、前記蛍光強度算出部は、前記画素領域抽出部によって抽出された前記領域に対して、前記蛍光強度を算出することを特徴とする。
本発明に係る画像処理装置は、腺管に励起光を照射し、前記腺管から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得部と、前記画像情報に基づいて、前記画像内の各画素の分光スペクトルを生成するスペクトル生成部と、前記スペクトル生成部により生成された分光スペクトルが所定の特徴を有する画素の領域を抽出する画素領域抽出部と、前記画素領域抽出部により抽出された前記領域の特徴量に基づいて、前記腺管に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する画像判定部と、を備えることを特徴とする。
上記画像処理装置において、前記励起光の波長帯域は３００ｎｍ以上４００ｎｍ以下であり、前記画素領域抽出部は、波長帯域４８０ｎｍ以上７００ｎｍの間に渡って分光スペクトルが観察される画素の領域を抽出する、ことを特徴とする。
本発明に係る画像処理装置は、腺管に励起光を照射し、前記腺管から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得部と、前記画像内の各画素の波長成分が所定の波長帯域に限定された波長限定画像を生成する波長限定部と、前記波長限定部により生成された前記波長限定画像から所定以上の輝度値を有する画素の領域を抽出する画素領域抽出部と、前記画素領域抽出部により抽出された前記領域の特徴量に基づいて、前記腺管に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する画像判定部と、を備えることを特徴とする。
上記画像処理装置において、前記腺管は、胃、小腸、大腸、前立腺のいずれかの臓器の腺管であり、前記画像判定部は、前記腺管に内分泌細胞が存在しない又は前記腺管に存在する内分泌細胞が所定の場合より少ないと判定した場合に、前記腺管は異常であると判定する、ことを特徴とする。
上記画像処理装置において、前記腺管は食道の腺管であり、前記画像判定部は、前記腺管に内分泌細胞が存在すると判定した場合に、前記腺管は異常であると判定する、ことを特徴とする。
上記画像処理装置は、前記領域の特徴量と、前記腺管における異常度、癌の進行度、癌の深達度、及び癌の転移度のうちの少なくとも１つとを関連付けたルックアップテーブルを記録する記録部をさらに備え、前記画像判定部は、前記ルックアップテーブルを参照して、前記領域の特徴量に応じた前記異常度、癌の進行度、癌の深達度、及び癌の転移度の少なくとも１つを判定する、ことを特徴とする。
上記画像処理装置において、前記腺管は未染色である、ことを特徴とする。
本発明に係る顕微鏡システムは、上記画像処理装置と、標本が載置されるステージと、前記ステージに向けて励起光を照射する照明光学系と、前記ステージと対向して設けられ、前記標本の方向からの光を入射させる対物光学系と、前記対物光学系を通過した前記標本の観察光を撮像して画像情報を生成する撮像部と、を備えることを特徴とする。
上記顕微鏡システムにおいて、前記撮像部は、互いに異なる複数の波長帯域における画像を撮像可能なカメラからなる、ことを特徴とする。
本発明に係る内視鏡システムは、上記画像処理装置と、標本に向けて励起光を照射する照明光学系と、前記標本と対向して設けられ、前記標本の方向からの光を入射させる対物光学系と、前記対物光学系を通過した前記標本の観察光を撮像して画像情報を生成する撮像部と、を備えることを特徴とする。
本発明に係る画像処理方法は、腺管に励起光を照射し、前記腺管から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得ステップと、前記画像情報に基づいて、前記蛍光の強度に対応する値を蛍光強度として算出する蛍光強度算出ステップと、前記蛍光強度算出ステップにおいて算出された前記蛍光強度に基づいて、前記腺管に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する画像判定ステップと、を含むことを特徴とする。
本発明によれば、腺管の蛍光観察画像から蛍光の強度に対応する値を蛍光強度として算出し、該蛍光強度に基づいて腺管に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて腺管の異常を判定するので、染色を行うことなく取得した生体の観察画像に基づいて生体の異常等の判断を簡単且つ安定して行うことが可能となる。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、大腸粘膜近傍の組織の断面を示す模式図である。 図３は、大腸粘膜の未染色標本の蛍光観察画像（励起波長３００ｎｍ〜４００ｎｍ、撮像波長４００ｎｍ〜７００ｎｍ）である。 図４は、大腸粘膜の未染色標本の蛍光観察画像（励起波長４６０ｎｍ〜５００ｎｍ、撮像波長５１０ｎｍ〜５５０ｎｍ）である。 図５は、大腸粘膜の未染色標本の蛍光観察画像（励起波長５３０ｎｍ〜５６０ｎｍ、撮像波長５７０ｎｍ〜７００）である。 図６は、大腸粘膜の未染色標本の蛍光観察画像（励起波長３００ｎｍ〜４００ｎｍ、撮像波長４００ｎｍ〜７００ｎｍ）である。 図７は、大腸粘膜の未染色標本の蛍光観察画像の一部を模式化した図である。 図８は、大腸粘膜の未染色標本の蛍光観察画像である。 図９は、図８に示す画像に基づく分光スペクトルを示す図である。 図１０は、図１に示す画像処理装置の動作を示すフローチャートである。 図１１は、図１０に示す判定処理（腺管が胃、小腸、大腸又は前立腺の粘膜である場合）を示すフローチャートである。 図１２は、食道粘膜の未染色標本の蛍光観察画像（励起波長３００ｎｍ〜４００ｎｍ、撮像波長４００ｎｍ〜７００ｎｍ）である。 図１３は、図１２に示す円柱上皮部分を拡大した画像である。 図１４は、図１０に示す判定処理（腺管が食道粘膜である場合）を示すフローチャートである。 図１５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１６は、図１５に示す画像処理装置の動作を示すフローチャートである。 図１７は、図１６に示す判定処理（腺管が胃、小腸、大腸又は前立腺の粘膜である場合）を示すフローチャートである。 図１８は、図１６に示す判定処理（腺管が食道粘膜である場合）を示すフローチャートである。 図１９は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図２０は、癌の深達度を説明する模式図である。 図２１Ａは、蛍光領域の面積（画素数）と大腸粘膜の異常度とを関連付けたルックアップテーブルである。 図２１Ｂは、蛍光領域の面積（画素数）と癌の進行度とを関連付けたルックアップテーブルである。 図２１Ｃは、蛍光領域の面積（画素数）と癌の深達度（Ｔ分類）とを関連付けたルックアップテーブルである。 図２１Ｄは、蛍光領域の面積（画素数）と癌の転移度とを関連付けたルックアップテーブルである。 図２１Ｅは、蛍光領域の面積（画素数）と癌の転移度（リンパ節・Ｎ分類）とを関連付けたルックアップテーブルである。 図２１Ｆは、蛍光領域の面積（画素数）と癌の転移度（遠隔・Ｍ分類）とを関連付けたルックアップテーブルである。 図２１Ｇは、蛍光領域の円形度と大腸粘膜の異常度とを関連付けたルックアップテーブルである。 図２２は、図１９に示す画像処理装置の動作を示すフローチャートである。 図２３は、蛍光領域の面積（画素数）と食道粘膜の異常度とを関連付けたルックアップテーブルである。 図２４は、本発明の実施の形態４に係る顕微鏡システムの構成を示す図である。 図２５は、図２４に示す画像処理装置の動作を示すフローチャートである。 図２６は、本発明の実施の形態４の変形例４に係る画像処理装置の構成を示すブロック図である。 図２７は、図２６に示す画像処理装置の動作を示すフローチャートである。 図２８は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。 図２９は、図２８に示す画像処理装置の動作を示すフローチャートである。 図３０は、本発明の実施の形態６に係る画像処理装置の構成を示すブロック図である。 図３１は、図３０に示す画像処理装置の動作を示すフローチャートである。 図３２は、本発明の実施の形態７に係る画像処理装置の構成を示すブロック図である。 図３３は、図３２に示す画像処理装置の動作を示すフローチャートである。 図３４は、本発明の実施の形態８に係る画像処理装置の構成を示すブロック図である。 図３５は、図３４に示す画像処理装置の動作を示すフローチャートである。 図３６は、本発明の実施の形態９に係る内視鏡システムの構成を示す図である。
以下、本発明に係る画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法の実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示す図である。また、図２〜図８は、本発明における画像処理の概要を説明するための図及び画像である。まず、図２〜図８を参照しながら、本発明における画像処理の概要を説明する。
以下に説明する実施の形態は、未染色の腺管の蛍光観察画像に基づき、該腺管の異常を判定する画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法に関するものである。ここで、腺管とは、大腸、胃、小腸、食道、前立腺、膵臓、肺、乳腺、卵巣等の生体の粘膜上皮を形成する部位の総称である。
図２は、大腸粘膜近傍の組織の断面を示す模式図である。大腸粘膜は、表面側より、粘膜Ｍ、粘膜下層ＳＭ、固有筋層ＭＰ、しょう膜下層ＳＳ及びしょう膜ＳＥから構成される。このうち、粘膜Ｍは、粘膜上皮Ｍ１、粘膜固有層Ｍ２、及び粘膜筋板Ｍ３の３種類の組織から構成される。
図３〜図６は、このような大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。標本は、正常な大腸粘膜組織をパラフィン包埋し、ミクロトームにより薄切した後でスライドグラス上に固定し、染色されていない（未染色の）状態のまま、封入剤を用いてカバーガラスを接着することにより作成した。この標本を落射型蛍光顕微鏡にセットし、所定の波長帯域の励起光を標本に照射し、且つ、標本からの所定の波長帯域の観察光（蛍光）を透過可能な蛍光キューブを用いて、４００ｎｍ〜７００ｎｍの波長帯域を撮像可能なＣＣＤカメラにより標本を撮像した。
図３は、励起光の波長帯域（励起波長）を３００ｎｍ〜４００ｎｍ、撮像波長を４００ｎｍ〜７００ｎｍとした場合の蛍光観察画像である。なお、蛍光キューブとしては、オリンパス株式会社製のＵ−ＭＷＵを用いた。図３においては、画像中で全体的に表示されている粘膜上皮Ｍ１（本実験中では青色で示された）に、強い蛍光を発する細胞（本実験中では緑色で示された）が特異的に観察された。この細胞は、蛍光強度の他、色（即ち、分光スペクトル）の違いからも、他の領域と区別することができる。
なお、同じ標本の同一視野を明視野観察した場合、未染色であるため、各組織をほとんど視認することができず、上記蛍光を発する細胞の存在も確認することができなかった。
図４は、励起光の波長帯域を４６０ｎｍ〜５００ｎｍ、撮像波長を５１０ｎｍ〜５５０ｎｍとした場合の蛍光観察画像である。なお、蛍光キューブとして、オリンパス株式会社製のＵ−ＭＷＩＢＡを用いた。この場合、画像全体は緑色系で示され、粘膜上皮Ｍ１に、強い蛍光を発する細胞が特異的に観察された。
図５は、励起光の波長帯域を５３０ｎｍ〜５６０ｎｍ、撮像波長を５７０ｎｍ〜７００ｎｍとした場合の蛍光観察画像である。なお、蛍光キューブとしては、オリンパス株式会社製のＵ−ＭＷＩＧを用いた。この場合、画像全体は橙色系で示され、粘膜上皮Ｍ１に、強い蛍光を発する細胞が特異的に観察された。
図６は、図３とは別の大腸粘膜の未染色標本に対し、励起光の波長帯域（励起波長）を３００ｎｍ〜４００ｎｍ、撮像波長を４００ｎｍ〜７００ｎｍとして観察した場合の蛍光観察画像である。蛍光キューブとしては、オリンパス株式会社製のＵ−ＭＷＵを用いた。この場合、画像全体は青色系で示され、粘膜上皮Ｍ１に緑色の蛍光を発する細胞が観察された。なお、図６と同じ未染色標本に対し、励起光の波長帯域を４６０ｎｍ〜５００ｎｍ、撮像波長を５１０ｎｍ〜５５０ｎｍとして観察した場合、画像全体は緑色系で示され、上記蛍光を発する細胞（図６参照）からの強い蛍光が観察された。また、励起光の波長帯域を５３０ｎｍ〜５６０ｎｍ、撮像波長を５７０ｎｍ〜７００ｎｍとした場合には、画像全体は橙色系で示され、上記蛍光を発する細胞（図６参照）からの強い蛍光が観察された。
図７は、大腸粘膜の未染色標本の蛍光観察画像の一部を模式化した図である。図７に示すように、大腸粘膜は、粘膜上皮Ｍ１と、該粘膜上皮Ｍ１の間や下層に存在する粘膜固有装置Ｍ２とを含む。また、粘膜上皮Ｍ１の内部や上部には、腺腔Ｃ３が見られる。粘膜上皮Ｍ１内には、杯細胞Ｃ１と共に、蛍光を発する細胞Ｃ２が観察される。なお、図７においては、蛍光を発する細胞Ｃ２に対してドットパターンを附している。
このように、本願発明者は、正常な大腸粘膜の未染色標本に励起光を照射すると、自家蛍光を発する細胞が観察されることを発見した。また、本願発明者は、図３〜図６の他にも、多数の腺管の未染色標本の蛍光観察画像を観察し、正常時と異常時とでは蛍光を発する細胞Ｃ２の数が変化することを発見した。さらに、本願発明者は、これらの蛍光観察画像に対する観察結果を鋭意検討した結果、蛍光を発する細胞Ｃ２が内分泌細胞であるという知見を得た。
そして、本願発明者は、腺管の未染色標本の蛍光観察画像から、蛍光強度や分光スペクトルに基づいて蛍光を発する領域を検出することにより、内分泌細胞が存在するか否か、或いは内分泌細胞が通常より減少又は増加しているか否かを判定し、該判定結果に基づいて腺管の状態を判定する本願発明をなすに至った。
図８は、大腸粘膜の標本に対してスライドグラスのバックグラウンドの条件を変更して表示した画像であり、図９は、該画像の分光スペクトルを示す図である。図９において、横軸は波長を示し、縦軸は規格化された強度を示す。なお、撮像に際しては、ＣＲＩ社（米国）製の液晶チューナブルフィルタであるバリスペック（VariSpec）を用いた。
図８に示す緑色の蛍光を発する細胞（以下、緑の細胞）の分光スペクトルは、図９に示すように、５５０ｎｍ近傍をピークとして、波長帯域４８０ｎｍ〜７００ｎｍの間に渡って観察された。それに対して、他の細胞の分光スペクトルは、５１０ｎｍ近傍をピークとし、５１０ｎｍを超える波長帯域では強度が低下していた。そして、５１０ｎｍよりも長い波長帯域においては、他の細胞よりも緑の細胞の蛍光強度が際立って強かった。
このように、蛍光観察画像においては、蛍光を発する細胞Ｃ２と他の細胞とでは、蛍光強度や分光スペクトルの波長帯域が異なるため、蛍光強度や分光スペクトルの波長に基づいて、蛍光を発する細胞Ｃ２を他の細胞から分離して検出することが可能である。
図１に示すように、実施の形態１に係る画像処理装置１０は、当該画像処理装置１０に対する指示や情報の入力を受け付ける入力部１１と、処理対象の画像に対応する画像情報（画像データ）を取得する画像取得部１２と、処理対象の画像や種々の演算結果を出力する出力部１３と、記録部１４と、入力された画像に対して所定の演算処理を施す演算部１５と、これらの各部の動作を制御する制御部１６とを備える。また、画像処理装置１０に、出力部１３から出力された画像や演算結果、その他各種情報を画面に表示する画像表示部１７を接続しても良い。
入力部１１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスに対する操作に応じた信号を制御部１６に入力する。
画像取得部１２は、例えば顕微鏡装置に取り付けられた撮像装置（カメラ）やサーバ等（いずれも図示せず）から出力された画像データの入力を受け付けるインタフェースである。画像取得部１２は、撮像装置から画像データを直接、リアルタイムに取り込んでも良いし、サーバに一旦保存された画像データを随時取り込んでも良い。
記録部１４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって構成される。記録部１４は、画像取得部１２が取り込んだ画像データや、演算部１５及び制御部１６がそれぞれ実行する各種プログラム及び各種設定情報を記録する。具体的には、記録部１４は、腺管の未染色標本に励起光を照射し、該未染色標本から発生する蛍光を観察することにより取得された画像（以下、蛍光観察画像ともいう）から、該画像に写った腺管の異常を判定する画像処理プログラムを記録する画像処理プログラム記録部１４ａを有する。
演算部１５は、例えばＣＰＵ等のハードウェアによって構成され、画像処理プログラム記録部１４ａに記録された各種プログラムを読み込むことにより、記録部１４に記録された腺管の蛍光観察画像の画像データに基づいて、該蛍光観察画像に写った腺管の異常を判定する画像処理を実行する。
より詳細には、演算部１５は、画像取得部１２によって取得された画像データに基づいて、被写体である腺管から発生する蛍光の強度に対応する値を算出する蛍光強度算出部１５１と、蛍光強度算出部１５１により算出された該対応する値に基づいて、蛍光観察画像に写った腺管に異常があるか否かの判定を行う画像判定部１５２とを備える。
蛍光強度算出部１５１は、腺管から発生する蛍光の強度に対応する値として、蛍光観察画像内の各画素の輝度値を算出する。
画像判定部１５２は、蛍光観察画像内の各画素について算出された輝度値、又は、これらの輝度値の代表値若しくは合計値を所定の基準値と比較することにより、腺管が異常であるか否かを判定する。
画像表示部１７は、例えば、ＬＣＤ、ＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって構成され、画像処理装置１０の出力部１３から出力された画像や各種情報を画面に表示する。
次に、本発明の実施の形態１に係る画像処理方法について説明する。
まず、本発明の画像処理装置が処理する画像は、例えば、以下のような作業で撮像された画像となる。即ち、生体から採取した腺管の病理標本をパラフィン包埋して薄切し、スライドガラス上に固定する。そして、スライドガラス上の薄切切片に対し、未染色の状態のまま封入材を用いてカバーガラスを接着することにより、腺管の未染色標本のプレパラートを作製する。
次に、ＣＣＤカメラが取り付けられた落射型顕微鏡のステージに、腺管の未染色標本を設置する。また、所望の波長帯域の励起光を標本に照射可能で、且つ標本からの所望の波長帯域の観察光（蛍光）を透過可能な蛍光キューブを落射型顕微鏡に取り付ける。そして、未染色標本に励起光を照射し、それによって発生した蛍光をＣＣＤカメラで撮像することにより蛍光観察画像の画像データを生成する。
画像取得部１２は、このように生成された画像データを取得し、記録部１４に記録する。なお、ＣＣＤカメラにより生成された画像データを一旦サーバ等に記録しておき、画像取得部１２が該サーバから画像データを取得する構成としても良いし、落射型顕微鏡に図１に示す画像処理装置１０を接続し、画像取得部１２が落射型顕微鏡から画像データを直接取り込み、記録部１４に記録する構成としても良い。
次に、このようにして生成された蛍光観察画像を、画像処理装置１０により処理する。図１０は、画像処理装置１０の動作を示すフローチャートである。
ステップＳ１０において、演算部１５は、画像取得部１２を介して画像処理装置１０に取り込まれ、記録部１４に記録された画像データを読み込むことにより、腺管の未染色標本の蛍光観察画像を取得する。本実施の形態１においては、一例として、大腸粘膜の未染色標本を観察するものとする。
続くステップＳ１１において、蛍光強度算出部１５１は、蛍光観察画像内の各画素位置における蛍光強度に対応する値を算出する。具体的には、蛍光強度算出部１５１は、各画素の画素値から輝度値を算出し、これを蛍光強度として用いる。輝度値Ｙは、蛍光観察画像がＲ（赤）、Ｇ（緑）、Ｂ（青）の各波長成分（色成分）に対して所定の（例えば２５６階調の）画素レベルを有するカラー画像である場合、次式（１）により与えられる。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ …（１）
ステップＳ１２において、画像判定部１５２は、蛍光観察画像から算出された蛍光強度に基づいて、該蛍光観察画像に写った腺管が異常であるか否かを判定する。
ここで、観察対象の腺管が胃、小腸、大腸又は前立腺の粘膜である場合、腺管が正常であれば内分泌細胞が観察され、腺管が異常であれば内分泌細胞が減少するという特性がある。そこで、画像判定部１５２は、このような特性に基づいて、内分泌細胞の存在を表す蛍光強度から腺管の異常を判定する。
図１１は、ステップＳ１２において実行される判定処理を示すフローチャートである。ステップＳ１２０において、画像判定部１５２は、蛍光観察画像から算出された蛍光強度を所定の基準値と比較する。基準値と比較される蛍光強度としては、例えば、各画素の輝度値の合計値や平均値であっても良いし、各画素の輝度値の代表値（最大値等）であっても良い。また、基準値は、正常及び異常な腺管の未染色標本の蛍光観察画像における輝度値データを収集及び分析し、観察対象の臓器ごとに設定すると良い。
蛍光強度が基準値以上である場合（ステップＳ１２０：Ｙｅｓ）、画像判定部１５２は、蛍光観察画像内に内分泌細胞が存在する（内分泌細胞あり）と判定する（ステップＳ１２１）。この場合、画像判定部１５２は、観察対象の腺管は異常なしと判定する（ステップＳ１２２）。この後、処理はメインルーチンに戻る。
一方、蛍光強度が基準値よりも小さい場合（ステップＳ１２０：Ｎｏ）、画像判定部１５２は、蛍光観察画像内に内分泌細胞が存在しないか又は正常時よりも減少している（内分泌細胞減少）と判定する（ステップＳ１２３）。この場合、画像判定部１５２は、観察対象の腺管に異常ありと判定する（ステップＳ１２４）。この後、処理はメインルーチンに戻る。
ステップＳ１２に続くステップＳ１３において、演算部１５は、画像判定部１５２による判定結果を出力する。これに応じて、制御部１６は、当該判定結果を記録部１４に記録すると共に、出力部１３から出力させて画像表示部１７に表示させる。具体的には、制御部１６は、画像表示部１７に「異常なし」／「異常あり」といった判定結果をテキストで表示させる。また、併せて、判定を行った蛍光観察画像を画像表示部１７に表示させても良い。この際、「異常なし」の場合であれば、蛍光強度が強い領域、即ち、内分泌細胞の領域をマーキングして表示させても良い。この後、画像処理装置１０の動作は終了する。
以上説明したように、実施の形態１によれば、大腸粘膜等の腺管の未染色標本の蛍光観察画像における蛍光強度を基準値と比較して、自家蛍光を発する領域の有無を判断することにより、内分泌細胞が存在するか否かを判定し、該判定の結果に基づいて腺管が異常であるか否かを判定することができる。従って、腺管の未染色標本に対する判断を、人的労力をかけることなく、自動で、簡単且つ安定して行うことが可能となる。
（変形例１）
次に、本発明の実施の形態１の変形例１について説明する。
本変形例１に係る画像処理装置及び画像処理方法の全体構成は、図１及び図１０と同様であり、図１０に示すステップＳ１２における判定方法のみが実施の形態１と異なる。
ここで、観察対象の腺管が食道粘膜である場合、腺管が正常であれば内分泌細胞は存在せず、腺管が異常になると内分泌細胞が観察されるという特性がある。図１２は、食道粘膜の未染色標本を、励起光の波長帯域を３００ｎｍ〜４００ｎｍ、撮像波長を４００ｎｍ〜７００ｎｍとして観察した場合の蛍光観察画像である。食道粘膜が正常である場合、食道上皮は扁平上皮で構成されている。これに対し、胃の胃液が食道に逆流し、胃液に弱い扁平上皮が、胃に存在する円柱上皮（図１２参照）に置換されたものがバレット粘膜と呼ばれ、バレット粘膜が存在する食道をバレット食道という（参考文献：下正宗 編、「正常画像と比べてわかる病理アトラス」、羊土社、第１６頁）。バレット食道は、バレット食道癌に進行することが知られており、早期に検出治療し進行を止めることで、癌化を抑えることが可能である。特に、食道癌は、発症早期は自覚しにくいため、早期の発見が可能となる技術が要望されている。
図１３は、図１２に示す円柱上皮部分を拡大した画像である。図１３に示すように、円柱上皮（即ち、バレット粘膜）が写った蛍光観察画像には、内分泌細胞の存在を示す自家蛍光を発する領域が観察されるようになる。
そこで、本変形例１においては、観察対象の腺管が食道粘膜である場合について説明する。
図１４は、ステップＳ１２において実行される判定処理を示すフローチャートである。ステップＳ１２５において、画像判定部１５２は、蛍光観察画像から算出された蛍光強度を所定の基準値と比較する。基準値と比較される蛍光強度としては、実施の形態１と同様に、各画素の輝度値の合計値や平均値であっても良いし、各画素の輝度値の代表値（最大値等）であっても良い。また、基準値は、正常及び異常な食道粘膜の未染色標本の蛍光観察画像における輝度値データを収集及び分析して設定すると良い。
蛍光強度が基準値以上である場合（ステップＳ１２５：Ｙｅｓ）、画像判定部１５２は、蛍光観察画像内に内分泌細胞が存在する（内分泌細胞あり）と判定する（ステップＳ１２６）。この場合、画像判定部１５２は、観察対象の腺管（食道粘膜）はバレット食道となっており、異常ありと判定する（ステップＳ１２７）。この後、処理はメインルーチンに戻る。
一方、蛍光強度が基準値よりも小さい場合（ステップＳ１２５：Ｎｏ）、画像判定部１５２は、蛍光観察画像内に内分泌細胞が存在しない（内分泌細胞なし）と判定する（ステップＳ１２８）。この場合、画像判定部１５２は、観察対象の食道粘膜には異常がないと判定する（ステップＳ１２９）。この後、処理はメインルーチンに戻る。
ステップＳ１２に続くステップＳ１３において（図１０参照）、演算部１５は、画像判定部１５２による判定結果を出力する。これに応じて、制御部１６は、当該判定結果を出力部１３から出力させ、画像表示部１７に表示させる。この際、制御部１６は、画像表示部１７に「異常なし」／「異常あり」といった判定結果をテキストで表示させると共に、判定を行った蛍光観察画像を表示させ、「異常あり」の場合であれば、蛍光強度が強い領域、即ち、内分泌細胞が観察されるバレット粘膜の領域をマーキングして表示させるなどしても良い。
以上説明したように、実施の形態１の変形例１によれば、食道粘膜の未染色標本の蛍光観察画像における蛍光強度を基準値と比較して、自家蛍光を発する領域の有無を判断することにより、内分泌細胞が存在するか否かを判定し、該判定の結果に基づいて、食道粘膜がバレット粘膜に変化しているか否かを判定することができる。従って、食道粘膜の未染色標本に対する判断を、人的労力をかけることなく、自動で、簡単且つ安定して行うことが可能となる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１５に示すように、実施の形態２に係る画像処理装置２０は、図１に示す画像判定部１５２の代わりに画像判定部２１１を有する演算部２１を備える。なお、画像判定部２１１以外の画像処理装置２０の各部の構成及び動作は、実施の形態１と同様である。
画像判定部２１１は、蛍光強度算出部１５１により算出された蛍光強度（輝度値）に基づいてブロブ解析を行うブロブ（Blob）解析部２１１ａを有する。ここで、ブロブ解析とは、処理対象の画像を２値化した２値画像において、２値（白及び黒）のいずれかを塊（ブロブ）として扱い、ブロブの有無、数、面積、長さ、周囲長、円形度等の形状の特徴を解析する画像処理のことである。
ブロブ解析部２１１ａは、蛍光観察画像の各画素から蛍光強度が基準値以上である画素領域（自家蛍光を発する細胞を表す領域、以下、蛍光領域ともいう）を抽出し、抽出された蛍光領域を解析して、蛍光領域の有無、数、面積、長さ、周囲長、円形度等の特徴を表す特徴量を算出する。画像判定部２１１は、ブロブ解析部２１１ａの解析結果（即ち、蛍光領域の特徴量）に基づいて、蛍光観察画像に写った腺管の異常を判定する。
次に、実施の形態２に係る画像処理方法について説明する。図１６は、画像処理装置２０の動作を示すフローチャートである。なお、腺管の未染色標本を作製して蛍光観察画像を生成する処理までは、実施の形態１と同様である。また、図１６に示すステップＳ２０及びＳ２１は、図１０に示すステップＳ１０及びＳ１１と対応している。
ステップＳ２１に続くステップＳ２２において、ブロブ解析部２１１ａは、蛍光観察画像に対するブロブ（Blob）解析により蛍光強度が基準値以上である画素領域の特徴量を算出する。より詳細には、ブロブ解析部２１１ａは、蛍光観察画像内の各画素の内、輝度値が基準値以上である画素に対して画素値１を与え、それ以外の画素に対して画素値０を与えることにより、２値画像を作成する。
なお、２値化処理において用いられる基準値は、例えば、正常及び異常な腺管の未染色標本の蛍光観察画像における輝度値データを事前に収集し、これらの輝度値データの分布から、判別分析法、ｐ−タイル法、モード法等の公知の手法により求めれば良い（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１７４〜１７６頁）。
さらに、ブロブ解析部２１１ａは、２値画像において画素値が１である画素の領域（蛍光領域）に対して、以下に例示する特徴量を算出する。
（１）各蛍光領域の面積（画素数）の代表値（平均値、最頻値等）又は合計値
（２）面積が所定の閾値（面積閾値）以上である蛍光領域の数
（３）面積が所定の閾値（面積閾値）以上である蛍光領域の面積合計値の蛍光観察画像全体の面積に対する割合
（４）周囲長が所定の閾値（周囲長閾値）以上である蛍光領域の数
（５）外接距離が所定の閾値（外接距離閾値）以上である蛍光領域の数
（６）蛍光領域の円形度の代表値（平均値、最頻値等）
（７）２値画像において抽出された蛍光領域に対応する蛍光観察画像内の各領域の輝度値、又はこれらの輝度値の合計値
なお、ブロブ解析を行う代わりに、２値画像から画素値が１である画素を抽出した後、一般的なラベリング処理を行い、形状特徴パラメータを算出することにより、上記特徴量を求めても良い（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１８１〜１８４頁）。
続くステップＳ２３において、画像判定部２１１は、ステップＳ２２において算出された特徴量に基づいて、蛍光観察画像に写った腺管が異常であるか否かを判定する。上述したように、観察対象の腺管が胃、小腸、大腸又は前立腺の粘膜である場合、腺管が正常であれば内分泌細胞が観察され、腺管が異常であれば内分泌細胞が減少するという特性があるため、画像判定部２１１は、このような特性に基づいて、内分泌細胞の存在を表す特徴量から腺管の異常を判定する。
図１７は、ステップＳ２３において実行される判定処理を示すフローチャートである。ステップＳ２３０において、画像判定部２１１は、ステップＳ２２において算出された特徴量を所定の閾値と比較する。特徴量と比較される閾値は、事前に取得した正常及び異常な胃、小腸、大腸又は前立腺の粘膜の未染色標本の蛍光観察画像の輝度値データに基づき、特徴量（１）〜（７）の種類に応じて設定される。なお、この閾値を臓器ごとに設定しても良い。
特徴量が閾値以上である場合（ステップＳ２３０：Ｙｅｓ）、即ち、蛍光領域の数が多い、蛍光領域の面積が所定の場合よりも大きい、蛍光領域の輝度が所定の場合よりも高い、蛍光領域の形状が円形に近いといった場合、画像判定部２１１は、蛍光観察画像内に内分泌細胞が存在する（内分泌細胞あり）と判定する（ステップＳ２３１）。この場合、画像判定部２１１は、観察対象の腺管は異常なしと判定する（ステップＳ２３２）。この後、処理はメインルーチンに戻る。
一方、特徴量が閾値よりも小さい場合（ステップＳ２３０：Ｎｏ）、即ち、蛍光領域の数が少ない、蛍光領域の面積が所定の場合よりも小さい、蛍光領域の輝度が所定の場合よりも低い、蛍光領域の形状が円形から離れているといった場合、画像判定部２１１は、蛍光観察画像に内分泌細胞が存在しないか又は正常時よりも減少している（内分泌細胞減少）と判定する（ステップＳ２３３）。この場合、画像判定部２１１は、観察対象の腺管に異常ありと判定する（ステップＳ２３４）。この後、処理はメインルーチンに戻る。
ステップＳ２３に続くステップＳ２４において、演算部２１は、画像判定部２１１による判定結果を出力する。これに応じて、制御部１６は、当該判定結果を記録部１４に記録すると共に、出力部１３から出力させて画像表示部１７に表示させる。具体的には、制御部１６は、画像表示部１７に「異常なし」／「異常あり」といった判定結果をテキストで表示させる。また、併せて、判定を行った蛍光観察画像を画像表示部１７に表示させても良い。この際、「異常なし」の場合であれば、特徴量が大きい領域、即ち、内分泌細胞の領域をマーキングして表示させても良い。この後、画像処理装置２０の動作は終了する。
以上説明したように、実施の形態２によれば、腺管の未染色標本の蛍光観察画像から抽出された蛍光領域について算出された特徴量に基づいて、腺管に内分泌細胞が存在するか否かを判定し、該判定の結果に基づいて腺管が異常であるか否かを判定するので、腺管に対する判定精度を向上させることができる。従って、腺管の未染色標本に対する判断をより正確に行うことが可能となる。
（変形例２）
次に、本発明の実施の形態２の変形例２について説明する。
本変形例２に係る画像処理装置及び画像処理方法の全体構成は、図１５及び図１６と同様であり、図１６に示すステップＳ２３における判定方法のみが実施の形態２とは異なる。
ここで、観察対象の腺管が食道粘膜である場合、上述したとおり、腺管が正常であれば内分泌細胞は存在せず、腺管が異常になると内分泌細胞が観察されるという特性がある。本変形例２においては、観察対象の腺管が食道粘膜である場合について説明する。
図１８は、ステップＳ２３において実行される判定処理を示すフローチャートである。ステップＳ２３５において、画像判定部２１１は、ステップＳ２２において算出された特徴量を所定の閾値と比較する。特徴量と比較される閾値は、事前に取得した正常及び異常な食道粘膜の未染色標本の蛍光観察画像の輝度値データに基づき、特徴量（１）〜（７）の種類に応じて設定される。
特徴量が閾値以上である場合（ステップＳ２３５：Ｙｅｓ）、画像判定部２１１は、蛍光観察画像内に内分泌細胞が存在する（内分泌細胞あり）と判定する（ステップＳ２３６）。この場合、画像判定部２１１は、観察対象の腺管（食道粘膜）はバレット食道となっており、異常ありと判定する（ステップＳ２３７）。この後、処理はメインルーチンに戻る。
一方、特徴量が閾値よりも小さい場合（ステップＳ２３５：Ｎｏ）、画像判定部２１１は、蛍光観察画像内に内分泌細胞が存在しない（内分泌細胞なし）と判定する（ステップＳ２３８）。この場合、画像判定部２１１は、観察対象の食道粘膜には異常がないと判定する（ステップＳ２３９）。この後、処理はメインルーチンに戻る。
ステップＳ２３に続くステップＳ２４において（図１６参照）、演算部２１は、画像判定部２１１による判定結果を出力する。これに応じて、制御部１６は、当該判定結果を出力部１３から出力させ、画像表示部１７に表示させる。この際、制御部１６は、画像表示部１７に「異常なし」／「異常あり」といった判定結果をテキストで表示させると共に、「異常あり」の場合であれば、特徴量が大きい領域、即ち、内分泌細胞が観察されるバレット粘膜の領域をマーキングして表示させるなどしても良い。
以上説明したように、実施の形態２の変形例２によれば、食道粘膜の未染色標本の蛍光観察画像から抽出された蛍光領域について算出された特徴量に基づいて、食道粘膜に内分泌細胞が存在するか否かを判定し、該判定の結果に基づいて食道粘膜がバレット粘膜になっているか否かを判定するので、食道粘膜に対する判定精度を向上させることができる。従って、食道粘膜の未染色標本に対する判断を、自動で、より正確に行うことが可能となる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１９は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。図１９に示すように、実施の形態３に係る画像処理装置３０は、図１５に示す画像判定部２１１の代わりに画像判定部３１１を有する演算部３１を備える。また、記録部１４は、画像判定部３１１における判定の際に用いられるルックアップテーブルを記録するルックアップテーブル（ＬＵＴ）記録部１４ｂを有する。なお、画像判定部３１１以外の画像処理装置３０の各部の構成及び動作は、実施の形態２と同様である。
画像判定部３１１は、ブロブ解析部２１１ａに加えて、比較判定部３１１ａをさらに有する。比較判定部３１１ａは、ＬＵＴ記録部１４ｂに記録されたルックアップテーブルを参照することにより、ブロブ解析部２１１ａにより算出された蛍光領域の特徴量に応じた腺管の異常度、癌の進行度、癌の深達度、癌の転移度といった腺管の状態を判定する。
次に、ＬＵＴ記録部１４ｂに記録されたルックアップテーブルの内容について説明する。ルックアップテーブルは、ブロブ解析部２１１ａにより算出された蛍光領域の特徴量と、腺管の異常度、癌の進行度、癌の深達度、癌の転移度とを関連付けた情報（対照表）である。
ここで、図２０は、腺管の一例として、大腸粘膜における癌の湿潤度合いを示す模式図である。大腸癌は、一般に、粘膜Ｍ（粘膜上皮Ｍ１、粘膜固有層Ｍ２、粘膜筋板Ｍ３：図２参照）において発生し、粘膜下層ＳＭ、固有筋層ＭＰ、しょう膜下層ＳＳ、しょう膜ＳＥ、隣接臓器ＡＩと浸潤していくことが知られている。これらの湿潤の度合いは、壁深達度Ｍ〜ＳＩ（ＡＩ）で表される。また、しょう膜ＳＥのない部位（即ち、腹膜で被われていない部位）においては、癌が固有筋層ＭＰを越えているが隣接臓器ＡＩまでは湿潤していない場合、壁深達度はＡとなる。
また、悪性腫瘍（癌）の進行度を表す指標として、ＴＮＭ分類が知られている（参考：八尾隆史、藤森孝博 編集、腫瘍病理鑑別診断アトラス「大腸癌」、文光堂、第２〜１０頁）。ＴＮＭ分類においては、Ｔ（tumor）：原発腫瘍の深達度、Ｎ（nodes）：リンパ節転移の有無、Ｍ（metastasis）：遠隔転移の有無の３要素により癌の進行度が表される。
ＴＮＭ分類において、癌の深達度は、上述した湿潤の度合いに応じてＴｉｓ、Ｔ１、Ｔ２、Ｔ３、Ｔ４の５段階に分類される。これは、Ｔ分類と呼ばれる。具体的には、図２０に示すように、癌が粘膜Ｍ内に留まっている場合、深達度はＴｉｓに分類され、癌が粘膜下層ＳＭまで湿潤している場合、深達度はＴ１に分類され、癌が固有筋層ＭＰまで湿潤している場合、深達度はＴ２に分類され、癌が固有筋層ＭＰを超えて湿潤しているがしょう膜ＳＥ表面には露出していない場合、深達度はＴ３に分類され、癌がしょう膜ＳＥ表面に露出している場合及び隣接臓器ＡＩまで湿潤している場合、深達度はＴ４に分類される。
本願発明者は、腺管の未染色標本の蛍光観察画像において自家蛍光を発する領域、即ち、内分泌細胞の領域は、上述した癌の進行度等の腺管の状態に応じて変化することを発見した。そこで、本願発明者は、事前に収集された腺管の未染色標本の蛍光観察画像から蛍光領域の特徴量を算出して腺管の状態と対応付けておき、処理対象の蛍光観察画像から算出された蛍光領域の特徴量に基づいて腺管の状態を判定する本実施の形態３の構成に想到するに至った。
図２１Ａ〜図２１Ｇは、胃、小腸、大腸又は前立腺のように、腺管が正常であれば内分泌細胞が観察され、腺管が異常であれば内分泌細胞が減少するという特性を有する臓器に適用可能なルックアップテーブルである。以下、各ルックアップテーブルの内容を説明する。
図２１Ａは、一例として、蛍光領域の面積（画素数）と大腸粘膜の異常度とを関連付けたルックアップテーブルである（面積−異常度対照表）。このルックアップテーブルにおいては、異常度を１〜５の５段階に分類しており、蛍光領域の面積が小さくなるほど異常度が大きくなるように関連付けがなされている。なお、各段階における面積の値は一例である。
図２１Ｂは、一例として、蛍光領域の面積（画素数）と癌の進行度とを関連付けたルックアップテーブル（面積−進行度対照表）である。上述したように、ＴＮＭ分類において、癌の進行度はステージ（Stage）０、Ｉ、ＩＩ、ＩＩＩ、ＩＶの５段階に分類される。図２１Ｂに示すルックアップテーブルにおいては、蛍光領域の面積が小さくなるほど進行度が進むように関連付けがなされている。なお、各段階における面積の値は一例である。
図２１Ｃは、一例として、蛍光領域の面積（画素数）と癌の深達度（Ｔ分類）とを関連付けたルックアップテーブル（面積−深達度（Ｔ分類）対照表）である。上述したように、ＴＮＭ分類において、癌の深達度（Ｔ分類）は、湿潤の度合いに応じてＴｉｓ、Ｔ１、Ｔ２、Ｔ３、Ｔ４の５段階に分類される。図２１Ｃに示すルックアップテーブルにおいては、蛍光領域の面積が小さくなるほど深達度が進むように関連付けがなされている。なお、各段階における面積の値は一例である。
図２１Ｄは、一例として、蛍光領域の面積（画素数）と癌の転移度とを関連付けたルックアップテーブル（面積−転移度対照表）である。このルックアップテーブルにおいては、癌の転移度を１〜５の５段階で示しており、蛍光領域の面積が小さくなるほど転移度が進むように関連付けがなされている。なお、各分類における面積の値は一例である。
図２１Ｅは、一例として、蛍光領域の面積（画素数）と癌の転移度（リンパ節・Ｎ分類）とを関連付けたルックアップテーブル（面積−転移度（リンパ節・Ｎ分類）対照表）である。Ｎ分類において、癌の転移度は、Ｎ０：リンパ節転移は認められない、Ｎ１：１〜３個のリンパ節転移が認められる、Ｎ２：４個以上のリンパ節転移が認められる、と分類される。図２１Ｅに示すルックアップテーブルにおいては、蛍光領域の面積が小さくなるほど転移度が進むように関連付けがなされている。なお、各段階における面積の値は一例である。
図２１Ｆは、一例として、蛍光領域の面積（画素数）と癌の転移度（遠隔・Ｍ分類）とを関連付けたルックアップテーブル（面積−転移度（遠隔・Ｍ分類）対照表）である。Ｍ分類において、癌の転移度は、Ｍ０：遠隔移転なし、Ｍ１：遠隔移転あり、と分類される。図２１Ｆに示すルックアップテーブルにおいては、蛍光領域の面積が小さくなるほど転移度が進むように関連付けがなされている。なお、各段階における面積の値は一例である。
図２１Ｇは、一例として、蛍光領域の円形度と大腸粘膜の異常度とを関連付けたルックアップテーブル（円形度−異常度対照表）である。このルックアップテーブルにおいては、異常度を１〜５の５段階に分類しており、円形度が小さくなるほど異常度が大きくなるように関連付けがなされている。なお、円形度は、値が１に近づくほど、形状が真円に近づく。また、各段階における円形度の数値は一例である。
なお、上記図２１Ａ〜図２１Ｇにおいては、蛍光領域の面積や円形度の代わりに、ブロブ解析部２１１ａにより算出された他の特徴量、即ち、実施の形態２において説明した特徴量（１）〜（７）と各指標とを関連付けても良い。或いは、蛍光強度算出部１５１により算出された蛍光観察画像の蛍光強度（各画素の画素値の代表値又は合計値）と各指標とを関連付けても良い。いずれの特徴量を用いる場合でも、蛍光領域の面積や数や輝度値が小さくなるほど、異常度が高く、癌が進行する傾向となるように関連付けを行う。
次に、実施の形態３に係る画像処理方法について説明する。図２２は、画像処理装置３０の動作を示すフローチャートである。なお、腺管の未染色標本を作製して蛍光観察画像を生成する処理までは、実施の形態１と同様である。また、図２２に示すステップＳ３０〜Ｓ３２は、図１６に示すステップＳ２０〜Ｓ２２と対応している。
ステップＳ３２に続くステップＳ３３において、比較判定部３１１ａは、ＬＵＴ記録部１４ｂに記録されているルックアップテーブル（例えば、図２１Ａ〜図２１Ｇ）を参照し、ブロブ解析部２１１ａによって算出された特徴量に基づいて、腺管の状態、即ち、異常度、癌の進行度、癌の深達度、及び癌の転移度を判定する。或いは、比較判定部３１１ａは、蛍光強度算出部１５１により算出された各画素の蛍光強度から平均値、最大値等の代表値や、合計値を算出し、これらの代表値や合計値に基づいて腺管の状態を判定しても良い。
続くステップＳ３４において、画像判定部３１１は、比較判定部３１１ａによる判定結果を出力する。これに応じて、制御部１６は、判定結果を記録部１４に記録すると共に、判定結果を画像表示部１７に表示させる。具体的には、制御部１６は、腺管の異常度、癌の進行度、癌の深達度、及び癌の転移度の段階等の情報を画像表示部１７の画面に表示させる。また、併せて、処理対象の蛍光観察画像を画面に表示させ、蛍光領域（即ち、内分泌細胞の領域）をマーキングして表示させても良い。
以上説明したように、実施の形態３によれば、蛍光観察画像内の蛍光領域の特徴量と病変の状態を示す指標とが予め関連付けられた情報を参照することにより、異常度、癌の進行度、癌の深達度、癌の転移度といった腺管の状態を的確に判定することができる。従って、腺管の未染色標本に対する判断を、自動で、正確に行うことが可能となる。
（変形例３）
次に、本発明の実施の形態３の変形例３について説明する。
上述したように、観察対象の腺管が食道粘膜である場合、腺管が正常であれば内分泌細胞は存在せず、腺管が異常になると内分泌細胞が観察される。そのため、食道粘膜の場合、図２２のステップＳ３３において用いるルックアップテーブルにおいては、大腸等の粘膜と異なり、蛍光領域の面積や数や輝度値が大きくなるほど、異常度が高く、癌が進行する傾向となるように関連付けを行う。
図２３は、一例として、蛍光領域の面積（画素数）と食道粘膜の異常度とを関連付けたルックアップテーブルである。このルックアップテーブルにおいては、異常度を１〜５の５段階に分類しており、蛍光領域の面積が大きくなるほど異常度が大きくなるように関連付けがなされている。なお、各段階における面積の値は一例である。
以上説明したように、変形例３によれば、蛍光観察画像内の蛍光領域の特徴量と病変の状態を示す指標とが予め関連付けられた情報を参照することにより、異常度等の食道粘膜の状態を的確に判定することができる。従って、食道粘膜の未染色標本に対する判断を、自動で、正確に行うことが可能となる。
（実施の形態４）
次に、本発明の実施の形態４について説明する。
図２４は、本発明の実施の形態４に係る顕微鏡システムを示す図である。図２４に示すように、実施の形態４に係る顕微鏡システム１は、顕微鏡装置９０及び画像処理装置４０を備える。
顕微鏡装置９０は、略Ｃ字形のアーム部９０１と、該アーム部９０１に設けられた落射照明用光源９０２及び落射照明光学系９１２と、透過照明用光源９０３及び透過照明光学系９１３と、アーム部９０１に取り付けられた標本ステージ９０４と、観察光路Ｌ0上に標本ステージ９０４と対向して配置された対物レンズ９１４を含む対物レンズユニット９０５と、観察光路Ｌ0上に設けられたキューブユニット９０６と、観察光路Ｌ0上に設けられた三眼鏡筒ユニット９０７と、該三眼鏡筒ユニット９０７を介して設けられた接眼レンズユニット９０８と、三眼鏡筒ユニット９０７に連結された結像レンズユニット９０９とを有する。この結像レンズユニット９０９の端部には、撮像部９１０が設けられている。
落射照明光学系９１２は、落射照明用光源９０２から出射した落射照明光を集光して観察光路Ｌ0の方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。一方、透過照明光学系９１３は、透過照明用光源９０３から出射した透過照明光を集光して観察光路Ｌ0の方向に導く種々の光学部材（コレクタレンズ、フィルタユニット、視野絞り、シャッタ、開口絞り、コンデンサ光学素子ユニット、トップレンズユニット等）を含む。
対物レンズユニット９０５は、倍率が互いに異なる複数の対物レンズ９１４、９１５と、これらの対物レンズ９１４、９１５を保持するレボルバ９１６とを含む。レボルバ９１６を回転させて、観察光路Ｌ0上の標本ステージ９０４と対向する位置に配置される対物レンズ９１４、９１５を切り替えることにより、顕微鏡観察画像の倍率を変化させることができる。なお、図１においては、対物レンズ９１４が観察光路Ｌ0上に配置された状態を示している。
キューブユニット９０６は、複数の光学キューブ９１７、９１８と、これらの光学キューブ９１７、９１８を切換可能に保持するキューブ切換部９１９とを含み、検鏡法に応じて、観察光路Ｌ0上に配置される光学キューブ９１７、９１８を切り替える。例えば、顕微鏡装置９０において蛍光観察を行う場合には、落射照明用光源９０２から出射して落射照明光学系９１２を通過した光のうち、特定の波長帯域の光（励起光）を選択的に透過させる励起フィルタ９２０と、励起フィルタ９２０によって選択された励起光を反射すると共に、標本Ｓにおいて発生した蛍光を透過させるダイクロイックミラー９２１と、標本Ｓの方向から入射する光の内、特定の波長帯域の光（蛍光）のみを選択的に透過させる吸収フィルタ９２２とをキューブ状に組み合わせた光学キューブ（蛍光キューブ）９１７が用いられる。
三眼鏡筒ユニット９０７は、対物レンズ９１４の方向から入射した標本Ｓからの観察光を、接眼レンズユニット９０８の方向と結像レンズユニット９０９の方向とに分岐する。接眼レンズユニット９０８は、ユーザが標本Ｓを直接観察する際に用いられる。
結像レンズユニット９０９には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（図示せず）とを含むズーム部が設けられている。ズーム部は、ズームレンズの位置を調整することにより、撮像視野内の撮像対象を拡大又は縮小させる。
撮像部９１０は、例えばＣＣＤ等の撮像素子を含み、各画素において互いに異なる複数の波長帯域（バンド）における画素レベル（画素値）を持つカラー画像を撮像可能なマルチバンドカメラによって構成される。実施の形態４においては、撮像部９１０として、可視領域から近赤外領域の範囲である約４００ｎｍ〜約９００ｎｍにおいて、少なくとも３バンドで撮像可能なマルチバンドカメラを用いる。好ましくは、各バンドにおけるバンド幅が１０ｎｍ程度の複数バンドで撮像可能なマルチバンドカメラを用いると良い。
或いは、撮像部９１０の構成として、マルチバンドカメラの他にも、例えば、液晶チューナブルフィルタ、音響チューナブルフィルタ、又は、複数の狭帯域フィルタ等を設けた、マルチスペクトル画像の取得が可能なマルチスペクトルカメラを採用しても良い。
撮像部９１０は、対物レンズ９１４から出射し、結像レンズユニット９０９を介して入射した観察光を受光する受光面９１１を有し、受光面９１１に入射した観察光を電気信号に変換することにより画像データを生成して画像処理装置４０に出力する。
画像処理装置４０は、図１５に示す蛍光強度算出部１５１の代わりにスペクトル生成部４１１及び位置抽出部４１２を有する演算部４１を備える。なお、スペクトル生成部４１１及び位置抽出部４１２以外の画像処理装置４０の各部の構成及び動作は、実施の形態２と同様である。
スペクトル生成部４１１は、腺管の未染色標本の蛍光観察画像に対し、各画素の分光スペクトルを生成する。
位置抽出部４１２は、スペクトル生成部４１１によって生成された分光スペクトルが所定の特徴を有する画素の領域を抽出し、その位置を出力する画素領域抽出部である。
次に、実施の形態４に係る画像処理方法について説明する。本実施の形態４においては、実施の形態１と同様にして腺管の未染色標本を作製した後、未染色標本に励起光を照射し、マルチバンドカメラを用いて撮像を行うことにより、複数の波長成分からなる蛍光観察画像を生成する。この際、本実施の形態３においては、励起光の波長帯域を３００ｎｍ〜４００ｎｍとし、撮像帯域を４００ｎｍ〜７００ｎｍにする。この場合、図３に示すように、蛍光観察画像において、蛍光を発する細胞は周囲の組織と異なる色（波長成分）で表示される。
図２５は、画像処理装置４０の動作を示すフローチャートである。
まず、ステップＳ４０において、演算部４１は複数の波長成分からなる蛍光観察画像を取得する。
続くステップＳ４１において、スペクトル生成部４１１は、蛍光観察画像の各画素の分光スペクトルを生成する。
ステップＳ４２において、位置抽出部４１２は、分光スペクトルが所定の特徴を有する画素領域を抽出し、その位置を求める。ここで、分光スペクトルの特徴は、励起光の波長帯域に対応して腺管において発生する自家蛍光の波長帯域に応じて設定される。例えば、大腸粘膜に波長帯域３００ｎｍ〜４００ｎｍの紫外光を励起光として照射した場合、大腸粘膜において緑色の自家蛍光が発生する。この緑色の自家蛍光を発する領域からは、５５０ｎｍ近傍をピークとし、波長帯域４８０ｎｍ〜７００ｎｍに渡って分光スペクトルが観察される（図９参照）。一方、それ以外の細胞の領域からは、５１０ｎｍ近傍をピークとする分光スペクトルが観察される（図９参照）。そこで、５１０ｎｍより長く、７００ｎｍ程度までの波長帯域において強度の強い分光スペクトルが観察される領域を抽出することにより、自家蛍光を発する細胞を他の細胞と区別することができる。
ステップＳ４３において、ブロブ解析部２１１ａは、ブロブ解析により、位置抽出部４１２によって抽出された領域を蛍光領域として、特徴量を算出する。特徴量としては、例えば、実施の形態２において説明した特徴量（１）〜（７）が挙げられる。なお、ブロブ解析の代わりに、ラベリング処理を行って形状特徴パラメータを算出することにより、上記特徴量を求めても良い（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１８１〜１８４頁）。
その後のステップＳ４４及びＳ４５は、図１６に示すステップＳ２３及びＳ２４と対応している。このうち、ステップＳ２３に対応するステップＳ４４においては、観察対象の腺管を含む臓器に応じて、図１７及び図１８のいずれかを適用すれば良い。
以上説明したように、実施の形態４によれば、蛍光観察画像の各画素の分光スペクトルに基づいて、蛍光領域、即ち、腺管において自家蛍光を発する細胞の領域を精度良く抽出することができる。このため、そのような蛍光領域から算出された特徴量に基づいて、蛍光観察画像に写った腺管の異常の判定精度を向上させることができる。従って、腺管の未染色標本に対する判断を、自動で、より正確に行うことが可能となる。
（変形例４）
次に、実施の形態４の変形例４について説明する。
変形例４に係る顕微鏡システムは、図２４に示す画像処理装置４０の代わり、図２６に示す画像処理装置４２を備える。なお、変形例４に係る顕微鏡システムのうち、画像処理装置４２以外の各部の構成及び動作は、実施の形態４と同様である。
図２６に示すように、画像処理装置４２は、図２４に示すスペクトル生成部４１１及び位置抽出部４１２の代わりに波長限定部４３１及び位置抽出部４３２を有する演算部４３を備える。なお、波長限定部４３１及び位置抽出部４３２以外の画像処理装置４２の各部の構成及び動作は、実施の形態４と同様である。
波長限定部４３１は、腺管の未染色標本の蛍光観察画像から、各画素の波長成分が所定の波長帯域に限定された画像である波長限定画像を生成する。
位置抽出部４３２は、波長限定画像から所定の特徴を有する画素の領域を抽出し、その位置を出力する画素領域抽出部である。
次に、変形例４に係る画像処理方法について説明する。本変形例４においても、実施の形態４と同様に、腺管の未染色標本に３００ｎｍ〜４００ｎｍの波長帯域の励起光を照射し、撮像帯域が４００ｎｍ〜７００ｎｍのマルチバンドカメラを用いて撮像を行うことにより、複数の波長成分からなる蛍光観察画像を生成する。
図２７は、変形例４に係る画像処理装置４２の動作を示すフローチャートである。
まず、ステップＳ４０において、演算部４３は複数の波長成分からなる蛍光観察画像を取得する。
続くステップＳ４６において、波長限定部４３１は、蛍光観察画像を構成する各画素の波長成分を特定の波長帯域に限定した画像（波長限定画像）を生成する。波長を限定する帯域は、励起光の波長帯域に対応して腺管において発生する自家蛍光の波長帯域に応じて設定される。例えば、大腸粘膜に波長帯域３００ｎｍ〜４００ｎｍの紫外光を励起光として照射する場合、大腸粘膜において緑色の自家蛍光が発生する。このため、各画素の波長成分を５１０ｎｍより長く６００ｎｍ以下の波長帯域に限定することにより、緑色の蛍光を発する領域が抽出された画像を得ることができる。これより、自家蛍光を発する細胞を他の細胞と区別して抽出することができる。
続くステップＳ４７において、位置抽出部４３２は、波長限定画像から所定以上の輝度値を有する画素領域を抽出し、その位置を求める。
続くステップＳ４３〜Ｓ４５は、実施の形態４と同様である。
以上説明したように、変形例４によれば、蛍光観察画像の各画素の波長成分に基づいて、蛍光領域、即ち、腺管において自家蛍光を発する細胞の領域を精度良く抽出することができる。このため、そのような蛍光領域から算出された特徴量に基づいて、蛍光観察画像に写った腺管の異常の判定精度を向上させることができる。従って、腺管の未染色標本に対する判断を、自動で、より正確に行うことが可能となる。
また、本変形例４においては、蛍光観察画像に対して波長を限定する処理を行うことにより、顕微鏡装置９０側に例えば５１０ｎｍ近傍〜６００ｎｍ近傍の波長帯域が通過可能なフィルタを設けることにより取得した蛍光観察画像と同等の画像を取得することができる。
なお、顕微鏡装置９０側に例えば５１０ｎｍ近傍〜６００ｎｍ近傍の波長帯域が通過可能なフィルタを設け、未染色標本からの観察光のうち、該フィルタを通過した光をもとに蛍光観察画像を生成しても良い。この場合、上述した波長限定処理を行うことなく、緑色の蛍光を発する領域が抽出された蛍光観察画像を得ることができる。
（実施の形態５）
次に、本発明の実施の形態５について説明する。
実施の形態５に係る顕微鏡システムは、図２４に示す画像処理装置４０の代わりに、図２８に示す画像処理装置５０を備える。なお、実施の形態５に係る顕微鏡システムのうち、画像処理装置５０以外の各部の構成及び動作は、実施の形態４と同様である。
図２８に示すように、画像処理装置５０は、図２４に示す演算部４１に対して蛍光強度算出部５１１をさらに有する演算部５１を備える。蛍光強度算出部５１１以外の画像処理装置５０の構成及び動作は、実施の形態４と同様である。
蛍光強度算出部５１１は、位置抽出部４１２によって抽出された領域内の各画素における蛍光強度（輝度値）を算出する。
次に、実施の形態５に係る画像処理方法について説明する。図２９は、画像処理装置５０の動作を示すフローチャートである。なお、腺管の未染色標本を作製して、蛍光観察画像を生成するまでの処理については、実施の形態４と同様である。また、図２９に示すステップＳ５０〜Ｓ５２は、図２５に示すステップＳ４０〜Ｓ４２と対応している。
ステップＳ５２に続くステップＳ５３において、蛍光強度算出部５１１は、位置抽出部４１２によって抽出された領域内の各画素位置における蛍光強度を算出する。具体的には、蛍光強度算出部５１１は、各画素の輝度値を蛍光強度として算出する。
続くステップＳ５４において、ブロブ解析部２１１ａは、蛍光強度算出部５１１が蛍光強度を算出した画素のうち、蛍光強度が所定の基準値以上である画素の領域を蛍光領域として、その特徴量を算出する。特徴量としては、例えば、実施の形態２において説明した特徴量（１）〜（７）が挙げられる。なお、ブロブ解析の代わりに、ラベリング処理を行って形状特徴パラメータを算出することにより、上記特徴量を求めても良い（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１８１〜１８４頁）。
その後のステップＳ５５及びＳ５６は、図１６に示すステップＳ２３及びＳ２４と対応している。このうち、ステップＳ２３に対応するステップＳ５５においては、観察対象の腺管を含む臓器に応じて、図１７及び図１８のいずれかを適用すれば良い。
以上説明したように、実施の形態５によれば、分光スペクトルが所定の特徴を有する画素の領域から、さらに、蛍光強度が所定の基準値以上の画素の領域を抽出するので、腺管において自家蛍光を発する細胞の領域の抽出精度をさらに向上させることができる。このため、そのようにして抽出された蛍光領域の特徴量に基づいて判定を行うことにより、腺管の異常の判定精度を向上させることができる。従って、腺管の未染色標本に対する判断を、自動で、より正確に行うことが可能となる。
（実施の形態６）
次に、本発明の実施の形態６について説明する。
実施の形態６に係る顕微鏡システムは、図２４に示す画像処理装置４０の代わりに、図３０に示す画像処理装置６０を備える。なお、実施の形態６に係る顕微鏡システムのうち、画像処理装置６０以外の各部の構成及び動作は、実施の形態４と同様である。
図３０に示すように、画像処理装置６０は、図２８に示す画像判定部２１１の代わりに画像判定部３１１を有する演算部６１を備える。画像判定部３１１以外の画像処理装置６０の各部の構成及び動作は、実施の形態５と同様である。また、画像判定部３１１の構成及び動作は、実施の形態３と同様である。さらに、記録部１４は、ルックアップテーブルを記録しているＬＵＴ記録部１４ｂを有する。
次に、実施の形態６に係る画像処理方法について説明する。図３１は、画像処理装置６０の動作を示すフローチャートである。なお、腺管の未染色標本を作製して、蛍光観察画像を生成するまでの処理については、実施の形態４と同様である。また、図３１に示すステップＳ６０〜Ｓ６４は、図２９に示すステップＳ５０〜Ｓ５４と対応している。
ステップＳ６４に続くステップＳ６５において、比較判定部３１１ａは、ＬＵＴ記録部１４ｂに記録されているルックアップテーブルを参照し、ブロブ解析部２１１ａによって算出された蛍光領域の特徴量に応じた病変の状態、即ち、腺管の異常度、癌の進行度、癌の深達度、及び癌の転移度を判定する。なお、ルックアップテーブルの内容については、実施の形態３（図２１Ａ〜図２１Ｇ参照）又は変形例３（図２３参照）において例示したものと同様であり、観察対象の腺管を含む臓器に応じて適宜選択して用いれば良い。
ステップＳ６６において、画像判定部３１１は、比較判定部３１１ａによる判定結果を出力する。これに応じて、制御部１６は、判定結果を記録部１４に記録すると共に、判定結果を画像表示部１７に表示させる。具体的には、制御部１６は、腺管の異常度、癌の進行度、癌の深達度、及び癌の転移度の段階等の情報を画像表示部１７の画面に表示させる。また、併せて、処理対象の蛍光観察画像を画面に表示させ、蛍光領域（即ち、内分泌細胞の領域）をマーキングして表示させても良い。
以上説明したように、実施の形態６によれば、分光スペクトル及び蛍光強度に基づいて、腺管において自家蛍光を発する細胞の領域を精度良く抽出することができる。従って、予め作成されたルックアップテーブルを参照することにより、特徴量に応じて、腺管の異常度、癌の進行度、癌の深達度、癌の転移度といった病変の状態を精度良く判定することができる。それにより、腺管の未染色標本に対する判断を、自動で、正確に行うことが可能となる。
（実施の形態７）
次に、本発明の実施の形態７について説明する。
実施の形態７に係る顕微鏡システムは、図２４に示す画像処理装置４０の代わりに、図３２に示す画像処理装置７０を備える。なお、実施の形態７に係る顕微鏡システムのうち、画像処理装置７０以外の各部の構成及び動作は、実施の形態４と同様である。
図３２に示すように、画像処理装置７０は、図３０に示す演算部６１に対して基準値設定部７１１をさらに有する演算部７１を備える。なお、基準値設定部７１１以外の画像処理装置７０の構成及び動作は、実施の形態６と同様である。
基準値設定部７１１は、処理対象である蛍光観察画像における蛍光強度に基づいて、ブロブ解析の２値化処理において用いられる基準値を設定する。
次に、実施の形態７に係る画像処理方法について説明する。図３３は、画像処理装置７０の動作を示すフローチャートである。なお、腺管の未染色標本を作製して、蛍光観察画像を生成するまでの処理については、実施の形態４と同様である。また、図３３に示すステップＳ７０〜Ｓ７３は、図３１に示すステップＳ６０〜Ｓ６３と対応している。
ステップＳ７３に続くステップＳ７４において、基準値設定部７１１は、蛍光強度画像の２値化処理に用いられる基準値を設定する。即ち、基準値設定部７１１は、蛍光強度算出部５１１が算出した各画素の蛍光強度を取り込んで、蛍光強度のヒストグラムを作成し、このヒストグラムから、判別分析法、ｐ−タイル法、モード法等の公知の手法により基準値を算出する（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１７４〜１７６頁）。
その後のステップＳ７５〜Ｓ７７については、図３１のステップＳ６４〜Ｓ６６と同様である。ただし、ステップＳ７５のブロブ解析においては、ステップＳ７４において算出された基準値を用いて蛍光観察画像を２値化し、蛍光領域を抽出する。
以上説明したように、実施の形態７によれば、処理対象の蛍光観察画像の蛍光強度に基づいて適応的に設定された基準値を用いて、該蛍光観察画像を２値化するので、腺管において自家蛍光を発する細胞の領域の抽出精度を向上させることができる。従って、抽出された領域の特徴量に基づき、予め作成されたルックアップテーブルを参照することにより、腺管の異常度、癌の進行度、癌の深達度、癌の転移度といった腺管の状態を精度良く判定することができる。それにより、腺管の未染色標本に対する判断を、自動で正確に行うことが可能となる。
（実施の形態８）
次に、本発明の実施の形態８について説明する。
実施の形態８に係る顕微鏡システムは、図２４に示す画像処理装置４０の代わりに、図３４に示す画像処理装置８０を備える。なお、実施の形態８に係る顕微鏡システムのうち、画像処理装置８０以外の各部の構成及び動作は、実施の形態４と同様である。
図３４に示すように、画像処理装置８０は、図３２に示す画像判定部３１１の代わりに画像判定部２１１を有する演算部８１を備える。なお、画像判定部２１１以外の画像処理装置８０の構成及び動作は、実施の形態７と同様である。また、画像判定部２１１の構成及び動作は、実施の形態２と同様である。
次に、実施の形態８に係る画像処理方法について説明する。図３５は、画像処理装置８０の動作を示すフローチャートである。なお、腺管の未染色標本を作製して、蛍光観察画像を生成するまでの処理については、実施の形態４と同様である。また、図３５に示すステップＳ８０〜Ｓ８５は、図３３に示すステップＳ７０〜Ｓ７５と対応している。即ち、本実施の形態８においては、蛍光観察画像の蛍光強度に基づいて設定された基準値を用いて当該蛍光観察画像を２値化し、それによって生成された２値画像から抽出された蛍光領域に対して特徴量を算出する。
その後のステップＳ８６及びＳ８７については、図１６のステップＳ２３及びＳ２４と同様である。即ち、画像判定部２１１は、特徴量を閾値と比較することにより、蛍光観察画像に写った腺管が異常であるか否かを判定する。このうち、ステップＳ２３に対応するステップＳ８６においては、観察対象の腺管を含む臓器に応じて、図１７及び図１８のいずれかを適用すれば良い。
以上説明したように、実施の形態８によれば、処理対象の蛍光観察画像の蛍光強度に基づいて適応的に設定された基準値を用いて、該蛍光観察画像を２値化するので、腺管において自家蛍光を発する細胞の領域の抽出精度を向上させることができる。従って、そのようにして抽出された領域の特徴量に基づいて、蛍光観察画像に写った腺管における異常の有無の判定精度を向上させることが可能となる。
（実施の形態９）
次に、本発明の実施の形態９について説明する。
図３６は、実施の形態９に係る内視鏡システムの構成を示す図である。図３６に示すように、実施の形態９に係る内視鏡システム２は、内視鏡装置１００及び画像処理装置７０を備える。なお、画像処理装置７０の構成及び動作は、実施の形態７と同様である。
内視鏡装置１００は、被検体内を照射する光を発生する光源装置１１０と、被検体の体腔内に挿入され、被検体内（例えば腺管１０１）を撮像して画像信号を取得する細長形状の挿入部１２０と、挿入部１２０により取得された画像信号に基づいて被検体内の画像を生成する信号処理部１３０とを備える。
光源装置１１０は、腺管１０１を励起する励起光と通常光の一例である白色光とを切り替えて腺管１０１に照射する光源部として機能する。詳細には、光源装置１１０は、白色光源１１１と、白色光源１１１からの出射光を略平行光にするコリメートレンズ１１２と、平行光を集光する集光レンズ１１３と、腺管１０１への照射光を励起光又は白色光に切り替える回転フィルタ１１４と、回転フィルタ１１４の駆動源であるモータ１１５と、回転フィルタ１１４を制御するフィルタ制御部１１６とを備える。
白色光源１１１は、キセノンランプ等のように、例えば２５０ｎｍ近傍〜１１００ｎｍ近傍の広帯域で発光可能な発光源によって構成され、光源装置１１０に対する外部からのスイッチ操作に基づいて白色光を発光する。コリメートレンズ１１２は、白色光源１１１から出射する白色光の光路上に配置され、白色光源１１１から出射した白色光を略平行光にする。コリメートレンズ１１２による平行光は、回転フィルタ１１４を透過した後、集光レンズ１１３によって集光される。集光レンズ１１３によって集光された光は、挿入部１２０を介して腺管１０１に照射される。
回転フィルタ１１４は、互いに分光特性の異なる白色光フィルタ及び励起光フィルタを備え、白色光源１１１から出射した白色光から所定の波長帯域の光を抽出する。より詳細には、白色光フィルタは、白色光源１１１から出射した白色光のうち、波長帯域が例えば４２０ｎｍ〜６５０ｎｍの白色光を透過させる。一方、励起光フィルタは、白色光源１１１から出射した白色光のうち、波長帯域が例えば３００ｎｍ〜４００ｎｍの励起光を透過させる。この励起光フィルタを通過した励起光は、未染色の腺管１０１を励起し、内分泌細胞の存在を示す例えば４００ｎｍ〜７００ｎｍの波長帯域の蛍光を発生させる。
回転フィルタ１１４は、モータ１１５の駆動力を受けて周方向に回転し、これによって、白色光源１１１から出射した白色光の光路（図１に示す光源装置１１０内の破線参照）に、白色光フィルタ及び励起光フィルタを順次切り替えて配置する。即ち、回転フィルタ１１４は、該光路に白色光フィルタを配置した状態において４２０ｎｍ〜６５０ｎｍの白色光を透過させ、該光路に励起光フィルタを配置した状態において、３００ｎｍ〜４００ｎｍの励起光を透過させる。これより、光源装置１１０から白色光及び励起光が、所定の周期で交互に出射する。
フィルタ制御部１１６は、上述した回転フィルタ１１４の回転による光路内のフィルタ切替を制御する。詳細には、フィルタ制御部１１６は、回転軸を介して回転フィルタ１１４と接続されたモータ１１５の回転駆動を制御し、このモータ１１５の駆動制御を通じて回転フィルタ１１４の回転駆動を制御する。これにより、フィルタ制御部１１６は、白色光源１１１から出射した白色光の光路に白色光フィルタと励起光フィルタとを交互に配置する。このようにして、フィルタ制御部１１６は、光路における回転フィルタ１１４のフィルタ切替を制御する。また、フィルタ制御部１１６は、モータ１１５の回転数等の回転駆動状態をもとに、白色光フィルタ及び励起光フィルタのいずれが光路に配置されているかを把握する。フィルタ制御部１１６は、光路に配置されているフィルタを示すフィルタ情報を信号処理部１３０に送信する。なお、フィルタ制御部１１６の動作は、後述する信号処理部１３０の制御部１３４によって制御される。
挿入部１２０は、被検体の体腔内に挿入可能な細長形状の可撓性構造体であり、内視鏡装置１００に設けられた操作部の操作に基づいて所望の方向に湾曲可能である。また、挿入部１２０は、その基端部側が光源装置１１０と信号処理部１３０とに接続されている。
挿入部１２０は、光源装置１１０からの出射光を先端部側に導くライトガイドファイバ１２１と、ライトガイドファイバ１２１によって導かれた光を拡散するレンズ１２２とを備える。また、挿入部１２０は、腺管１０１からの通常光又は蛍光を集光する対物レンズ１２３と、被写体である腺管１０１を撮像して画像信号を生成する撮像部１２５とを備える。撮像部１２５には、分光特性の異なる複数のカラーフィルタからなるカラーフィルタ群１２４が設けられている。
ライトガイドファイバ１２１は、光ファイバ等を用いて構成され、上述した光源装置１１０から交互に出射する白色光及び励起光を挿入部１２０の先端部側に順次伝搬する。ライトガイドファイバ１２１によって順次導かれた光源装置１１０からの白色光及び励起光は、レンズ１２２によって順次拡散され、腺管１０１に交互に照射される。
ここで、腺管１０１に内分泌細胞が存在する場合、腺管１０１に照射された光源装置１１０からの励起光は、内分泌細胞を励起して、例えば５１０ｎｍより長く６００ｎｍ程度までの波長帯域にピークを有する蛍光を発生させる。一方、腺管１０１に光源装置１１０からの白色光が照射された場合、該腺管１０１から通常光（白色光）が反射される。
対物レンズ１２３は、光源装置１１０からの白色光が腺管１０１に照射された場合、腺管１０１から反射された白色光を集光する。一方、光源装置１１０からの励起光が腺管１０１に照射された場合、腺管１０１から発生した蛍光と腺管１０１から反射された励起光とを集光する。
カラーフィルタ群１２４は、分光特性の異なる複数のカラーフィルタからなり、撮像部１２５の画素毎に腺管１０１からの白色光を各色成分の光に分光するとともに、撮像部１２５の各画素に向けて、これら各色成分の光を透過させる。カラーフィルタ群１２４は、例えば赤色光を透過させるカラーフィルタである赤色光フィルタ（Ｒ）と、緑色光を透過させるカラーフィルタである緑色光フィルタ（Ｇ）と、青色光を透過させるカラーフィルタである青色光フィルタ（Ｂ）とを各々複数含むモザイク状の原色カラーフィルタである。
このような構成を有するカラーフィルタ群１２４は、対物レンズ１２３を通過した腺管１０１からの光のうち、青色光フィルタによって例えば４３０〜４８０ｎｍの青色光を抽出し、緑色光フィルタによって例えば５１０〜５８０ｎｍの緑色光を抽出し、赤色光フィルタによって例えば６００〜６８０ｎｍの赤色光を抽出する。カラーフィルタ群１２４内の各青色光フィルタは、撮像部１２５の青色に対応する各画素に向けて、白色光の青色成分を透過させる。カラーフィルタ群１２４内の各緑色光フィルタは、撮像部１２５の緑色に対応する各画素に向けて、白色光の緑色成分を透過させる。カラーフィルタ群１２４内の各赤色光フィルタは、撮像部１２５の赤色に対応する各画素に向けて、白色光の赤色成分を透過させる。
撮像部１２５は、例えば、分光特性の異なる各カラーフィルタが受光面内の各画素に配置されたベイヤ型のカラー撮像素子を用いて構成される。具体的には、撮像部１２５は、波長が４００ｎｍ以下の紫外光を除去する紫外光カットフィルタと上述したカラーフィルタ群１２４とを受光面上に備える。撮像部１２５の受光部は、例えば２×２の画素集合体を基本単位とし、この基本単位の画素集合体を複数含む画素群によって形成される。この撮像部１２５の受光部には、かかる基本単位の画素集合体毎に、上述したカラーフィルタ群１２４における基本単位のカラーフィルタ集合体が配置される。即ち、撮像部１２５は、かかる基本単位の画素集合体上に、カラーフィルタ群１２４における基本単位のカラーフィルタ集合体内の赤色光フィルタ、緑色光フィルタ及び青色光フィルタを各々１つ以上有する。
このような構成を有する撮像部１２５は、対物レンズ１２３を通過した腺管１０１からの光（白色光又は蛍光）を、上述したカラーフィルタ群１２４等を介して受光する。これにより、撮像部１２５は、カラーフィルタ群１２４によって分光された各色成分の通常光を画素群内の各画素によって各々光電変換処理して、腺管１０１の画像を構成する各色成分の画像信号を生成する。
信号処理部１３０は、撮像部１２５によって生成された画像信号を処理して画像データを生成し、画像処理装置７０に出力する。詳細には、信号処理部１３０は、撮像部１２５から出力されたアナログの各画像信号をディジタル信号に変換するＡ／Ｄ変換部１３１と、ディジタル信号に変換された画像信号（画像データ）に基づいて腺管１０１の白色光画像を生成する白色光画像生成部１３２と、該画像信号に基づいて腺管１０１の蛍光画像を生成する蛍光画像生成部１３３と、これらの各部を制御する制御部１３４とを備える。
Ａ／Ｄ変換部１３１は、撮像部１２５から出力された画像信号を順次取り込んでディジタル信号に変換し、制御部１３４の制御の下で白色光画像生成部１３２及び蛍光画像生成部１３３に交互に出力する。詳細には、Ａ／Ｄ変換部１３１は、光源装置１１０から白色光が出射している間、撮像部１２５から取り込んだ各色の画像信号をディジタル変換した後、白色光画像生成部１３２に順次出力する。一方、Ａ／Ｄ変換部１３１は、光源装置１１０から励起光が出射している間、撮像部１２５から取り込んだ各色の画像信号をディジタル変換した後、蛍光画像生成部１３３に順次出力する。
白色光画像生成部１３２は、Ａ／Ｄ変換部１３１から入力された各色の画像信号を一時的に記憶し、１フレーム分の画像信号をもとに、腺管１０１の白色光画像を生成する。詳細には、白色光画像生成部１３２は、１フレーム分の白色光画像に相当する単板状態のＢ画像信号、Ｇ画像信号及びＲ画像信号を蓄積し、この単板状態のＢ画像信号、Ｇ画像信号及びＲ画像信号に対して補間処理を行い、これによって、各色成分を合成した３板状態の画像信号を基本単位の画素集合体毎に生成する。白色光画像生成部１３２は、このように生成した３板状態の各画像信号に対して色変換処理及び階調変換処理等を行って、腺管１０１の白色光画像を生成し、画像処理装置７０に出力する。
蛍光画像生成部１３３は、Ａ／Ｄ変換部１３１から入力された各色の画像信号のうち、腺管１０１から発生した蛍光の波長成分を含むＧ画像信号を一時的に記憶し、１フレーム分の画像信号をもとに、腺管１０１の蛍光画像を生成して画像処理装置７０に出力する。
制御部１３４は、光源装置１１０による腺管１０１への白色光又は励起光の照射タイミングと撮像部１２５による撮像タイミングとを同期させ、白色光画像の画像データと蛍光画像の画像データとを分離して取得する制御を行う。詳細には、制御部１３４は、フィルタ制御部１１６からフィルタ情報を順次取得し、該フィルタ情報をもとに、光源装置１１０の光路に現に配置されている回転フィルタ１１４のフィルタが白色光フィルタ及び励起光フィルタのいずれであるかを識別する。そして、制御部１３４は、該光路に配置されているフィルタが白色光フィルタである場合、ディジタル変換した画像信号を白色光画像生成部１３２に出力するよう、Ａ／Ｄ変換部１３１を制御する。一方、該光路に配置されているフィルタが励起光フィルタである場合、ディジタル変換した画像信号を蛍光画像生成部１３３に出力するよう、Ａ／Ｄ変換部１３１を制御する。
このような内視鏡装置１００から出力された白色光画像及び蛍光画像は、画像処理装置７０に入力され、記録部１４に記録される。画像処理装置７０においては、演算部７１が、記録部１４に記録された画像のうちの蛍光画像に基づいて、上述した実施の形態７と同様に判定処理（腺管の異常の有無の判定）を行う。制御部１６は、該判定処理の結果を画像表示部１７に表示させると共に、記録部１４に記録された白色光画像を読み出し、演算部７１により抽出された画素領域（内分泌細胞の領域）を該白色光画像に重畳して画像表示部１７に表示させる。
なお、上述した内視鏡装置１００の構成は一例であり、公知の種々の内視鏡装置を画像処理装置７０と組み合わせて内視鏡システムを構成することができる。また、画像処理装置７０の代わりに、各実施の形態において説明した画像処理装置１０、２０、３０、４０、４２、５０、６０、８０を内視鏡装置と組み合わせて内視鏡システムを構成しても良い。
以上説明した実施の形態１〜９及びこれらの変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態又は変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態又は変形例に示した構成要素を適宜組み合わせて形成してもよい。
１ 顕微鏡システム
２ 内視鏡システム
１０、２０、３０、４０、４２、５０、６０、７０、８０ 画像処理装置
１１ 入力部
１２ 画像取得部
１３ 出力部
１４ 記録部
１４ａ 画像処理プログラム記録部
１４ｂ ルックアップテーブル記録部
１５、２１、３１、４１、４３、５１、６１、７１、８１ 演算部
１６ 制御部
１７ 画像表示部
９０ 顕微鏡装置
１００ 内視鏡装置
１０１ 腺管
１１０ 光源装置
１１１ 白色光源
１１２ コリメートレンズ
１１３ 集光レンズ
１１４ 回転フィルタ
１１５ モータ
１１６ フィルタ制御部
１２０ 挿入部
１２１ ライトガイドファイバ
１２２ レンズ
１２３ 対物レンズ
１２４ カラーフィルタ群
１２５ 撮像部
１３０ 信号処理部
１３１ Ａ／Ｄ変換部
１３２ 白色光画像生成部
１３３ 蛍光画像生成部
１３４ 制御部
１５１ 蛍光強度算出部
１５２ 画像判定部
２１１、３１１ 画像判定部
２１１ａ ブロブ（Blob）解析部
３１１ａ 比較判定部
４１１ スペクトル生成部
４１２、４３２ 位置抽出部
４３１ 波長限定部
５１１ 蛍光強度算出部
７１１ 基準値設定部
９０１ アーム部
９０２ 落射照明用光源
９０３ 透過照明用光源
９０４ 標本ステージ
９０５ 対物レンズユニット
９０６ キューブユニット
９０７ 三眼鏡筒ユニット
９０８ 接眼レンズユニット
９０９ 結像レンズユニット
９１０ 撮像部
９１１ 受光面
９１２ 落射照明光学系
９１３ 透過照明光学系
９１４ 対物レンズ
９１６ レボルバ
９１７ 光学キューブ
９１９ キューブ切換部
９２０ 励起フィルタ
９２１ ダイクロイックミラー
９２２ 吸収フィルタ

Claims (16)

  1. 未染色の腺管の標本に励起光を照射し、前記未染色の腺管の標本から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得部と、
    前記画像取得部により取得された前記画像情報に基づいて、前記画像内の各画素の分光スペクトルを生成するスペクトル生成部と、
    前記スペクトル生成部により生成された分光スペクトルが所定の特徴を有する画素の領域を抽出する画素領域抽出部と、
    前記画素領域抽出部により抽出された前記領域に対して、前記蛍光の強度に対応する値を蛍光強度として算出する蛍光強度算出部と、
    前記画像内から、前記蛍光強度が所定の基準値以上である複数の画素からなる領域を抽出し、該複数の画素からなる領域の面積、周囲長、外接距離、円形度及び輝度値のうちの少なくともいずれかを用いて前記複数の画素からなる領域の特徴量を算出し、該特徴量に基づいて、前記未染色の腺管の標本に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する画像判定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記蛍光強度算出部は、前記対応する値として、前記画像内の各画素の輝度値を算出する、ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記画像判定部は、前記画像内の各画素における輝度値、又は、前記画像内の各画素における前記輝度値の合計値若しくは代表値を前記蛍光強度として前記複数の画素からなる領域を抽出する、ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記画像判定部は、前記蛍光強度に基づいて前記画像を２値化することにより前記領域を抽出する、ことを特徴とする請求項３に記載の画像処理装置。
  5. 前記画像内の各画素の前記蛍光強度に基づいて、前記画像を２値化する際の基準値を設定する基準値設定部をさらに備えることを特徴とする請求項４に記載の画像処理装置。
  6. 未染色の腺管の標本に励起光を照射し、前記未染色の腺管の標本から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得部と、
    前記画像情報に基づいて、前記画像内の各画素の分光スペクトルを生成するスペクトル生成部と、
    前記スペクトル生成部により生成された分光スペクトルが所定の特徴を有する画素の領域を抽出する画素領域抽出部と、
    前記画素領域抽出部により抽出された前記領域の面積、周囲長、外接距離、円形度及び輝度値のうちの少なくともいずれかを用いて前記領域の特徴量を算出し、該特徴量に基づいて、前記未染色の腺管の標本に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する画像判定部と、
    を備えることを特徴とする画像処理装置。
  7. 前記励起光の波長帯域は３００ｎｍ以上４００ｎｍ以下であり、
    前記画素領域抽出部は、波長帯域４８０ｎｍ以上７００ｎｍの間に渡って分光スペクトルが観察される画素の領域を抽出する、
    ことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
  8. 未染色の腺管の標本に励起光を照射し、前記未染色の腺管の標本から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得部と、
    前記画像内の各画素の波長成分が所定の波長帯域に限定された波長限定画像を生成する波長限定部と、
    前記波長限定部により生成された前記波長限定画像から所定以上の輝度値を有する画素の領域を抽出する画素領域抽出部と、
    前記画素領域抽出部により抽出された前記領域に対して、前記蛍光の強度に対応する値を蛍光強度として算出する蛍光強度算出部と、
    前記画像内から、前記蛍光強度が所定の基準値以上である複数の画素からなる領域を抽出し、該複数の画素からなる領域の面積、周囲長、外接距離、円形度及び輝度値のうちの少なくともいずれかを用いて前記複数の画素からなる領域の特徴量を算出し、該特徴量に基づいて、前記未染色の腺管の標本に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する画像判定部と、
    を備えることを特徴とする画像処理装置。
  9. 前記腺管は、胃、小腸、大腸、前立腺のいずれかの臓器の腺管であり、
    前記画像判定部は、前記腺管に内分泌細胞が存在しない又は前記腺管に存在する内分泌細胞が所定の場合より少ないと判定した場合に、前記腺管は異常であると判定する、
    ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
  10. 前記腺管は食道の腺管であり、
    前記画像判定部は、前記腺管に内分泌細胞が存在すると判定した場合に、前記腺管は異常であると判定する、
    ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
  11. 前記特徴量と、前記腺管における異常度、癌の進行度、癌の深達度、及び癌の転移度のうちの少なくとも１つとを関連付けたルックアップテーブルを記録する記録部をさらに備え、
    前記画像判定部は、前記ルックアップテーブルを参照して、前記特徴量に応じた前記異常度、癌の進行度、癌の深達度、及び癌の転移度の少なくとも１つを判定する、
    ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
  12. 請求項１〜１１のいずれか１項に記載の画像処理装置と、
    標本が載置されるステージと、
    前記ステージに向けて励起光を照射する照明光学系と、
    前記ステージと対向して設けられ、前記標本の方向からの光を入射させる対物光学系と、
    前記対物光学系を通過した前記標本の観察光を撮像して画像情報を生成する撮像部と、
    を備えることを特徴とする顕微鏡システム。
  13. 前記撮像部は、互いに異なる複数の波長帯域における画像を撮像可能なカメラからなる、ことを特徴とする請求項１２に記載の顕微鏡システム。
  14. 未染色の腺管の標本に励起光を照射し、前記未染色の腺管の標本から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された前記画像情報に基づいて、前記画像内の各画素の分光スペクトルを生成するスペクトル生成ステップと、
    前記スペクトル生成ステップにおいて生成された分光スペクトルが所定の特徴を有する画素の領域を抽出する画素領域抽出ステップと、
    前記画素領域抽出ステップにおいて抽出された前記領域に対して、前記蛍光の強度に対応する値を蛍光強度として算出する蛍光強度算出ステップと、
    前記画像内から、前記蛍光強度が所定の基準値以上である複数の画素からなる領域を抽出する抽出ステップと、
    前記抽出ステップにおいて抽出された前記複数の画素からなる領域の面積、周囲長、外接距離、円形度及び輝度値のうちの少なくともいずれかを用いて前記複数の画素からなる領域の特徴量を算出する特徴量算出ステップと、
    前記特徴量算出ステップにおいて算出された前記特徴量に基づいて、前記未染色の腺管の標本に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する異常判定ステップと、
    を含むことを特徴とする画像処理方法。
  15. 未染色の腺管の標本に励起光を照射し、前記未染色の腺管の標本から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された前記画像情報に基づいて、前記画像内の各画素の分光スペクトルを生成するスペクトル生成ステップと、
    前記スペクトル生成ステップにおいて生成された分光スペクトルが所定の特徴を有する画素の領域を抽出する画素領域抽出ステップと、
    前記画素領域抽出ステップにおいて抽出された前記領域の面積、周囲長、外接距離、円形度及び輝度値のうちの少なくともいずれかを用いて前記領域の特徴量を算出する特徴量算出ステップと、
    前記特徴量算出ステップにおいて算出された前記特徴量に基づいて、前記未染色の腺管の標本に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する異常判定ステップと、
    を含むことを特徴とする画像処理方法。
  16. 未染色の腺管の標本に励起光を照射し、前記未染色の腺管の標本から発生する蛍光を観察することにより取得された画像を表す画像情報を取得する画像取得ステップと、
    前記画像内の各画素の波長成分が所定の波長帯域に限定された波長限定画像を生成する波長限定ステップと、
    前記波長限定ステップにおいて生成された前記波長限定画像から所定以上の輝度値を有する画素の領域を抽出する画素領域抽出ステップと、
    前記画素領域抽出ステップにおいて抽出された前記領域に対して、前記蛍光の強度に対応する値を蛍光強度として算出する蛍光強度算出ステップと、
    前記画像内から、前記蛍光強度が所定の基準値以上である複数の画素からなる領域を抽出する抽出ステップと、
    前記抽出ステップにおいて抽出された前記複数の画素からなる領域の面積、周囲長、外接距離、円形度及び輝度値のうちの少なくともいずれかを用いて前記複数の画素からなる領域の特徴量を算出する特徴量算出ステップと、
    前記特徴量算出ステップにおいて算出された前記特徴量に基づいて、前記未染色の腺管の標本に内分泌細胞が存在するか否かを判定し、該内分泌細胞の判定結果に基づいて前記腺管の異常を判定する異常判定ステップと、
    を含むことを特徴とする画像処理方法。

JP2014521015A 2012-06-15 2013-04-30 画像処理装置、顕微鏡システム及び画像処理方法 Active JP6116561B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014521015A JP6116561B2 (ja) 2012-06-15 2013-04-30 画像処理装置、顕微鏡システム及び画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012136377 2012-06-15
JP2012136377 2012-06-15
PCT/JP2013/062648 WO2013187148A1 (ja) 2012-06-15 2013-04-30 画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法
JP2014521015A JP6116561B2 (ja) 2012-06-15 2013-04-30 画像処理装置、顕微鏡システム及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2013187148A1 JPWO2013187148A1 (ja) 2016-02-04
JP6116561B2 true JP6116561B2 (ja) 2017-04-19

Family

ID=49757982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014521015A Active JP6116561B2 (ja) 2012-06-15 2013-04-30 画像処理装置、顕微鏡システム及び画像処理方法

Country Status (3)

Country Link
US (1) US9517013B2 (ja)
JP (1) JP6116561B2 (ja)
WO (1) WO2013187148A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3099325A4 (en) * 2014-01-31 2017-10-04 The General Hospital Corporation Dba Massachusetts General Hospital Methods of treating and imaging tumor micrometastases using photoactivatable immunoconjugates
JP2015190989A (ja) * 2014-03-27 2015-11-02 横河電機株式会社 パターン入りカバーガラス付きスライドガラス
JP6013665B1 (ja) * 2014-11-26 2016-10-25 オリンパス株式会社 診断支援装置及び診断支援情報表示方法
WO2016103643A1 (en) 2014-12-25 2016-06-30 Sony Corporation Medical imaging system, illumination device, and method
CN109219385B (zh) * 2016-06-21 2021-03-30 奥林巴斯株式会社 内窥镜系统、图像处理装置、图像处理方法以及介质
JPWO2018008136A1 (ja) * 2016-07-07 2019-04-18 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
JP6979278B2 (ja) 2017-04-07 2021-12-08 株式会社日立ハイテク 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
CN106901698B (zh) * 2017-04-14 2023-07-11 中国人民解放军第三军医大学第一附属医院 基于可调偏振的双波段光谱成像仪及其光谱测定方法
JP6819445B2 (ja) * 2017-04-27 2021-01-27 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019087745A1 (ja) * 2017-10-31 2019-05-09 パナソニックＩｐマネジメント株式会社 浄化装置及び浄化方法
JP7228781B2 (ja) * 2017-10-31 2023-02-27 パナソニックＩｐマネジメント株式会社 浄化装置及び浄化方法
BR112020019896A2 (pt) * 2018-03-30 2021-01-05 The Regents Of The University Of California Método e sistema para coloração digital de imagens de fluorescência sem etiquetas usando aprendizagem profunda
JP6973549B2 (ja) * 2018-08-28 2021-12-01 ソニーグループ株式会社 観察システム及び観察システムの制御方法
DE112019006944T5 (de) * 2019-02-28 2021-12-02 Olympus Corporation Medizinisches System
CN113950701A (zh) * 2019-04-12 2022-01-18 因芬尼昂影像公司 用于检测组织中的术中造影剂的成像系统
EP4072397A4 (en) * 2019-12-11 2024-04-10 University Health Network (UHN) ULTRAFINE NEEDLE ENDOSCOPE DEVICE FOR DEEP INTERSTITIAL EXAMINATION BY WHITE LIGHT IMAGING, AUTOFLUORESCENCE IMAGING AND RAMAN SPECTROSCOPY
CN110974121B (zh) * 2019-12-23 2020-11-03 山东大学齐鲁医院 一种判断消化内窥镜检查是否染色的方法及系统
US11609229B2 (en) * 2020-04-30 2023-03-21 Mytech Co. Ltd. Fluorescence counting system for quantifying viruses or antibodies on an immobilized metal substrate by using an antigen-antibody reaction

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236815B2 (en) 1995-03-14 2007-06-26 The Board Of Regents Of The University Of Texas System Method for probabilistically classifying tissue in vitro and in vivo using fluorescence spectroscopy
US6258576B1 (en) 1996-06-19 2001-07-10 Board Of Regents, The University Of Texas System Diagnostic method and apparatus for cervical squamous intraepithelial lesions in vitro and in vivo using fluorescence spectroscopy
US6405074B1 (en) 1997-08-29 2002-06-11 Bhaskar Banerjee Detection of cancer using cellular autofluorescence
US6364829B1 (en) * 1999-01-26 2002-04-02 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
KR20010040418A (ko) 1998-01-26 2001-05-15 자밀라 제트. 허벡 형광 이미지화 내시경
US6405070B1 (en) 1998-06-16 2002-06-11 Bhaskar Banerjee Detection of cancer using cellular autofluorescence
ATE309739T1 (de) 1999-01-26 2005-12-15 Newton Lab Inc Vorrichtung zur autofluoreszensbildgebung für ein endoskop
WO2000047720A2 (en) * 1999-02-10 2000-08-17 Curis, Inc. Pancreatic progenitor cells, methods and uses related thereto
US6946293B1 (en) * 1999-02-10 2005-09-20 Es Cell International Pte Ltd. Progenitor cells, methods and uses related thereto
US8431117B2 (en) * 1999-08-30 2013-04-30 David S Terman Sickled erythrocytes with anti-tumor agents induce tumor vaso-occlusion and tumoricidal effects
US20040038320A1 (en) 2001-03-09 2004-02-26 Bhaskar Banerjee Methods of detecting cancer using cellular autofluorescence
US9550838B2 (en) * 2004-02-13 2017-01-24 Ibc Pharmaceuticals, Inc. Dock-and-lock (DNL) complexes for therapeutic and diagnostic use
JP2006208339A (ja) * 2005-01-31 2006-08-10 Olympus Corp 領域抽出装置、顕微鏡システムおよび領域抽出プログラム
WO2006102188A2 (en) * 2005-03-18 2006-09-28 Fred Hutchinson Cancer Research Center Methods and compositions involving the s-ship promoter
JP2008005984A (ja) * 2006-06-28 2008-01-17 Univ Of Tokushima 青紫色レーザー光が誘導の自家蛍光を指標に用いる粘膜炎の定量的評価方法とその装置
WO2008010986A2 (en) * 2006-07-17 2008-01-24 The Board Of Trustees Of The Leland Stanford Junior University Methods of modulating angiogenesis
JP5387146B2 (ja) 2009-06-03 2014-01-15 日本電気株式会社 病理組織画像解析装置、病理組織画像解析方法、病理組織画像解析プログラム
JP5387147B2 (ja) * 2009-06-03 2014-01-15 日本電気株式会社 病理画像診断システム、病理画像処理方法、病理画像診断プログラム
JP2011196873A (ja) * 2010-03-19 2011-10-06 Olympus Corp 蛍光検出方法および蛍光検出装置
WO2012027358A1 (en) * 2010-08-23 2012-03-01 President And Fellows Of Harvard College Optogenetic probes for measuring membrane potential

Also Published As

Publication number Publication date
US9517013B2 (en) 2016-12-13
JPWO2013187148A1 (ja) 2016-02-04
WO2013187148A1 (ja) 2013-12-19
US20150119722A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
JP6116561B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
Gono et al. Appearance of enhanced tissue features in narrow-band endoscopic imaging
JP6513209B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
EP2912990B1 (en) Endoscope system and endoscope system processor device
Coda et al. State of the art in advanced endoscopic imaging for the detection and evaluation of dysplasia and early cancer of the gastrointestinal tract
US9907493B2 (en) Endoscope system processor device, endoscope system, operation method for endoscope system processor device, and operation method for endoscope system
US9519128B2 (en) Image processing apparatus, microscope system, and image processing method
JP2013188365A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP6724154B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP2012071007A (ja) 内視鏡装置
JP2014521114A (ja) 生体イメージングの画像品質最適化
WO2016092940A1 (ja) 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
JP6924837B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6017669B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6763025B2 (ja) プロセッサ装置及びプロセッサ装置の作動方法
Bergman et al. New developments in the endoscopic surveillance of Barrett’s oesophagus
JP2009045148A (ja) 膀胱癌検査装置および膀胱癌検査装置の制御方法
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP3946985B2 (ja) 蛍光画像撮像装置
JP7204121B2 (ja) 細胞識別装置及び細胞識別方法
US20230162410A1 (en) Multi-spectral Auto-fluorescence based Stainless and Slide-free Virtual histology
Cahill Rapid evaluation of pathology using nonlinear microscopy with applications in breast cancer, prostate cancer, and renal disease
CN105527704B (zh) 结构光照明显微在病理切片成像系统的应用

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170321

R151 Written notification of patent or utility model registration

Ref document number: 6116561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151