JPWO2017009989A1 - 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JPWO2017009989A1
JPWO2017009989A1 JP2017528246A JP2017528246A JPWO2017009989A1 JP WO2017009989 A1 JPWO2017009989 A1 JP WO2017009989A1 JP 2017528246 A JP2017528246 A JP 2017528246A JP 2017528246 A JP2017528246 A JP 2017528246A JP WO2017009989 A1 JPWO2017009989 A1 JP WO2017009989A1
Authority
JP
Japan
Prior art keywords
depth
image processing
light
specific tissue
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017528246A
Other languages
English (en)
Other versions
JP6590928B2 (ja
Inventor
武 大塚
武 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017009989A1 publication Critical patent/JPWO2017009989A1/ja
Application granted granted Critical
Publication of JP6590928B2 publication Critical patent/JP6590928B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Endoscopes (AREA)

Abstract

被写体に２種以上の組織が存在する場合であっても、特定の組織が存在する深度を精度良く推定することができる画像処理装置等を提供する。被写体を複数の波長の光で撮像した画像に基づき、被写体に含まれる特定の組織の深度を推定する画像処理装置１００は、画像を構成する複数の画素の各々の画素値に基づき、複数の波長における吸光度を算出する吸光度算出部１４１と、該吸光度に基づき、特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定部１４２と、少なくとも特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出部１４３と、該比率に基づいて、被写体における少なくとも特定の組織の深度を推定する深度推定部１４４とを備える。

Description

本発明は、被写体からの反射光に基づいて該被写体の画像を生成して処理する画像処理装置、撮像システム、画像処理方法、及び画像処理プログラムに関する。
被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量である。被写体を撮像した画像におけるＲＧＢ値が照明光の変化やカメラ感度特性等に依存する情報であるのに対し、分光透過率は、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。
分光透過率スペクトルを取得する手段として、マルチバンド撮像が知られている。マルチバンド撮像は、例えば１６枚のバンドパスフィルタをフィルタホイールで回転させることにより照明光を透過させるフィルタを切り替えながら、面順次方式で被写体を撮像する。それにより、各画素位置において１６バンドの画素値を有するマルチバンド画像が得られる。
このようなマルチバンド画像から分光透過率を推定する手法として、例えば、主成分分析による推定法や、ウィナー（Ｗｉｅｎｅｒ）推定による推定法等が挙げられる。ウィナー推定は、ノイズが重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして知られており、観測対象の統計的性質と観測時におけるノイズの特性とを考慮して誤差の最小化を行う手法である。被写体を撮像するカメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
マルチバンド画像内の任意の画素位置の点ｘに関して、あるバンドｂにおける画素値ｇ（ｘ，ｂ）と、点ｘに対応する被写体上の点における波長λの光の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
Figure 2017009989
式（１）において、関数ｆ（ｂ，λ）はｂ番目のバンドパスフィルタの波長λの光の分光透過率、関数ｓ（λ）は波長λのカメラの分光感度特性、関数ｅ（λ）は波長λの照明の分光放射特性、関数ｎs（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ここで、バンドパスフィルタを識別する変数ｂは、例えば１６バンドの場合、１≦ｂ≦１６を満たす整数である。
実際の計算では、式（１）の代わりに、波長λを離散化して得られる行列の関係式（２）が用いられる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ …（２）
波長方向のサンプル点数をｍ、バンド数をｎとすると、式（２）における行列Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）を成分とするｎ行１列の行列であり、行列Ｔ（ｘ）は、分光透過率ｔ（ｘ，λ）を成分とするｍ行１列の行列であり、行列Ｆは、フィルタの分光透過率ｆ（ｂ，λ）を成分とするｎ行ｍ列の行列である。また、行列Ｓは、カメラの分光感度特性ｓ（λ）を対角成分とするｍ行ｍ列の対角行列である。行列Ｅは、照明の分光放射特性ｅ（λ）を対角成分とするｍ行ｍ列の対角行列である。行列Ｎは、観測ノイズｎs（ｂ）を成分とするｎ行１列の行列である。なお、式（２）においては、行列を用いて複数のバンドに関する式を集約しているため、バンドパスフィルタを識別する変数ｂは記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
ここで、表記を簡単にするため、次式（３）によって定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ …（３）
このシステム行列Ｈを用いると、式（２）は次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ …（４）
マルチバンド画像に基づき、被写体の各点における分光透過率をウィナー推定により推定する場合、分光透過率の推定値である分光透過率データＴ＾（ｘ）は、行列の関係式（５）によって与えられる。ここで、記号Ｔ＾は、記号Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。以下、同様である。
Figure 2017009989
行列Ｗは、「ウィナー推定行列」又は「ウィナー推定に用いる推定オペレータ」と呼ばれ、次式（６）によって与えられる。
Figure 2017009989
式（６）において、行列ＲSSは、被写体の分光透過率の自己相関行列を表すｍ行ｍ列の行列である。行列ＲNNは、撮像に使用するカメラのノイズの自己相関行列を表すｎ行ｎ列の行列である。なお、任意の行列Ｘに対し、行列ＸTは行列Ｘの転置行列を表し、行列Ｘ-1は行列Ｘの逆行列を表す。システム行列Ｈを構成する行列Ｆ、Ｓ、Ｅ（式（３）参照）、即ち、フィルタの分光透過率、カメラの分光感度特性、及び照明の分光放射特性と、行列ＲSSと、行列ＲNNとは予め取得しておく。
ところで、厚みの薄い半透明な被写体を透過光により観察する場合には、光学現象は吸収が支配的であるため、ランベルト・ベール（Ｌａｍｂｅｒｔ−Ｂｅｅｒ）の法則に基づいて被写体の色素量を推定できることが知られている。以下、染色された薄切標本を被写体として透過顕微鏡により観察し、被写体上の各点における色素量を推定する方法を説明する。詳細には、分光透過率データＴ＾（ｘ）をもとに、各画素に対応する被写体上の点における色素量を推定する。具体的には、ヘマトキシリン−エオジン（ＨＥ）染色された被写体を観察することとし、推定の対象とする色素を、ヘマトキシリン、細胞質を染色したエオジン、及び、赤血球を染色したエオジン又は染色されていない赤血球本来の色素の３種類とする。以下、これらの色素の名称をそれぞれ、色素Ｈ、色素Ｅ、色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
一般に、光を透過させる物質を被写体とする場合、波長λ毎の入射光の強度Ｉ0（λ）と出射光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベールの法則が成り立つことが知られている。
Figure 2017009989
 式（７）において、記号ｋ（λ）は波長λに依存して決まる物質固有の係数を表し、記号ｄ0は被写体の厚さを表す。
式（７）の左辺は分光透過率ｔ（λ）を意味しており、式（７）は次式（８）に置き換えられる。
Figure 2017009989
また、分光吸光度ａ（λ）は次式（９）によって与えられる。
Figure 2017009989
式（９）を用いると、式（８）は次式（１０）に置き換えられる。
Figure 2017009989
ＨＥ染色された被写体が、色素Ｈ、色素Ｅ、色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により、各波長λにおいて次式（１１）が成り立つ。
Figure 2017009989
 式（１１）において、係数ｋH（λ）、ｋE（λ）、ｋR（λ）はそれぞれ、色素Ｈ、色素Ｅ、色素Ｒに対応する係数である。これらの係数ｋH（λ）、ｋE（λ）、ｋR（λ）は、被写体を染色している各色素の色素スペクトルに対応する。以下、これらの色素スペクトルを、基準色素スペクトルと称す。基準色素スペクトルｋH（λ）、ｋE（λ）、ｋR（λ）の各々は、色素Ｈ、色素Ｅ、色素Ｒを用いて個別に染色した標本を予め用意し、その分光透過率を分光器で測定することにより、ランベルト・ベールの法則から容易に求めることができる。
また、記号ｄH、ｄE、ｄRは、マルチバンド画像を構成する複数の画素の各々に対応する被写体上の点における色素Ｈ、色素Ｅ、色素Ｒの仮想的な厚さを表す値である。本来、色素は、被写体中に分散して存在するため、厚さという概念は正確ではないが、被写体が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標として「厚さ」を用いることができる。即ち、値ｄH、ｄE、ｄRはそれぞれ、色素Ｈ、色素Ｅ、色素Ｒの色素量を表しているといえる。
画像上の点ｘに対応する被写体上の点における分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とし、被写体が色素Ｈ、色素Ｅ、色素Ｒの３色素で染色されている場合、式（９）は次式（１２）に置き換えられる。
Figure 2017009989
分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。
Figure 2017009989
式（１３）において未知変数は色素量ｄH、ｄE、ｄRの３つであるから、少なくとも３つの異なる波長λについて式（１３）を作成して連立させれば、色素量ｄH、ｄE、ｄRを求めることができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を作成して連立させ、重回帰分析を行っても良い。例えば、３つの波長λ1、λ2、λ3に関する３つの式（１３）を連立させた場合、次式（１４）のように行列表記することができる。
Figure 2017009989
この式（１４）を次式（１５）に置き換える。
Figure 2017009989
波長方向のサンプル点数をｍとすると、式（１５）における行列Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するｍ行１列の行列であり、行列Ｋ0は、基準色素スペクトルｋ（λ）に対応するｍ行３列の行列であり、行列Ｄ0（ｘ）は、点ｘにおける色素量ｄH、ｄE、ｄRに対応する３行１列の行列である。
この式（１５）に従い、最小二乗法を用いて色素量ｄH、ｄE、ｄRを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするように行列Ｄ0（ｘ）を推定する方法である。最小二乗法による行列Ｄ0（ｘ）の推定値Ｄ0＾（ｘ）は、次式（１６）によって与えられる。
Figure 2017009989
式（１６）において、推定値Ｄ0＾（ｘ）は、推定された各色素量を成分とする行列である。推定された色素量ｄ＾H，ｄ＾E，ｄ＾Rを式（１２）に代入することにより、復元した分光吸光度ａ〜（ｘ，λ）は次式（１７）によって与えられる。ここで、記号ａ〜は、記号ａの上に復元した値を表す記号「〜（チルダ）」が付いていることを示す。
Figure 2017009989
従って、色素量推定における推定誤差ｅ（λ）は推定分光吸光度ａ＾（ｘ，λ）と復元した分光吸光度ａ〜（ｘ，λ）とから、次式（１８）によって与えられる。
Figure 2017009989
以下推定誤差ｅ（λ）を残差スペクトルと称す。推定分光吸光度ａ＾（ｘ，λ）は、式（１７）、（１８）を用いて次式（１９）のように表すことができる。
Figure 2017009989
ここで、ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に半透明物体を透過する光の減衰を定式化したものであるが、実際の染色標本では屈折も散乱も起こり得る。そのため、染色標本による光の減衰をランベルト・ベールの法則のみでモデル化した場合、このモデル化に伴った誤差が生じる。しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は極めて困難であり、実用上では実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
ところで、被写体からの反射光を観察する場合、反射光は吸収以外にも散乱等の光学要因の影響を受けるため、そのままではランベルト・ベールの法則を適用することができない。しかし、この場合であっても、適切な制約条件を設けることでランベルト・ベールの法則に基づいて被写体における色素の成分量を推定することが可能である。
一例として、臓器の粘膜近傍に位置する脂肪の領域における色素の成分量を推定する場合を説明する。図１６は、酸化ヘモグロビン、カロテン、及びバイアスの相対吸光度（基準スペクトル）を示すグラフである。このうち図１６の（ｂ）は、図１６の（ａ）と同じデータを、縦軸のスケールを拡大し、且つ範囲を縮小して示したものである。また、バイアスは、画像における輝度ムラを表す値であり、波長に依存しない。
これらの酸化ヘモグロビン、カロテン、及びバイアスの基準スペクトルに基づいて、脂肪が写った領域における吸収スペクトルから各色素の成分量を算出する。この際、吸収以外の光学要因が影響しないように、生体において支配的である血液に含まれる酸化ヘモグロビンの吸収特性が大きく変化せず、且つ、散乱の波長依存性が影響し難い４６０〜５８０ｎｍに波長帯域を制約し、この波長帯域における吸光度を用いて色素の成分量を推定する。
図１７は、推定した酸化ヘモグロビンの成分量から式（１４）に倣って復元した吸光度（推定値）と、酸化ヘモグロビンの計測値とを示すグラフである。このうち図１７の（ｂ）は、図１７の（ａ）と同じデータを、縦軸のスケールを拡大し、且つ範囲を縮小して示したものである。図１７に示すように、制約した波長帯域４６０〜５８０ｎｍにおいては、計測値と推定値はほぼ一致している。このように、被写体の反射光を観察する場合であっても、色素の成分の吸収特性が大きく変化しない範囲に、波長帯域を狭く限定することで、精度の良い成分量の推定を行うことができる。
一方、限定した波長帯域の外側、即ち、４６０ｎｍ以下及び５８０ｎｍ以上の波長帯域では、計測値と推定値との間で値が乖離しており、推定誤差が生じている。これは、被写体からの反射光に対し、吸収以外にも散乱等の光学要因があるために、吸収現象を表現するランベルト・ベールの法則では近似できないためと考えられる。このように、反射光を観察する場合に、ランベルト・ベールの法則が成り立たないことは一般に知られている。
ところで、近年、生体を写した画像に基づき、生体における特定の組織の深度を測定する研究が進められている。例えば特許文献１には、波長帯域が例えば４７０〜７００ｎｍの広帯域光に対応する広帯域画像データと、波長が例えば４４５ｎｍに制限された狭帯域光に対応する狭帯域画像データとを取得し、広帯域画像データ及び狭帯域画像データ間で同じ位置の画素間の輝度比を算出し、予め実験等により得られた輝度比と血管深さとの相関関係に基づき、算出した輝度比に対応する血管深さを求め、この血管深さが表層か否かを判定する技術が開示されている。
また、特許文献２には、特定部位における脂肪層と該脂肪層の周辺組織との光学特性の違いを利用して、周辺組織より相対的に多くの神経が内在する脂肪層の領域と周辺組織の領域とを区別可能な光学像を形成し、この光学像に基づいて、脂肪層及び周辺組織の分布又はこれらの境界を表示する技術が開示されている。これにより、手術を行う際に、摘出対象臓器の表面の位置を見易くして、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。
特開２０１１−０９８０８８号公報 国際公開第２０１３／１１５３２３号
生体は、血液や脂肪に代表される様々な組織によって構成されている。そのため、観察されるスペクトルは、複数の組織にそれぞれ含まれる吸光成分による光学現象が反映されたものとなる。しかしながら、上記特許文献１のように輝度比に基づいて血管深さを算出する方法においては、血液による光学現象しか考慮されていない。即ち、血液以外の組織に含まれる吸光成分が考慮されていないため、血管深さの推定精度が低下するおそれがある。
本発明は、上記に鑑みてなされたものであり、被写体に２種以上の組織が存在する場合であっても、特定の組織が存在する深度を精度良く推定することができる画像処理装置、撮像システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理装置において、前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出部と、前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定部と、少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出部と、前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定部と、を備えることを特徴とする。
上記画像処理装置において、前記成分量推定部は、前記２種以上の吸光成分の各々に対し、第１の深度における基準スペクトルを用いて第１の成分量を推定すると共に、前記第１の深度よりも深い第２の深度における基準スペクトルを用いて第２の成分量を推定し、前記比率算出部は、少なくとも前記特定の組織に含まれる吸光成分に対し、前記第１及び第２の成分量の和に対する前記第１の成分量と前記第２の成分量とのいずれかの比率を算出し、前記深度推定部は、前記比率を閾値と比較することにより前記特定の組織が前記被写体の表面に存在するか又は深部に存在するかを判定する、ことを特徴とする。
上記画像処理装置において、前記成分量推定部は、前記２種以上の吸光成分の各々に対し、第１の深度における基準スペクトルを用いて第１の成分量を推定すると共に、前記第１の深度よりも深い第２の深度における基準スペクトルを用いて第２の成分量を推定し、前記比率算出部は、少なくとも前記特定の組織に含まれる吸光成分に対し、前記第１及び第２の成分量に対する前記第１の成分量の比率を算出し、前記深度推定部は、前記比率の大きさに応じて、前記特定の組織の深度を推定する、ことを特徴とする。
上記画像処理装置において、前記特定の組織は血液であり、前記特定の組織に含まれる吸光成分は酸化ヘモグロビンである、ことを特徴とする。
上記画像処理装置は、前記画像を表示する表示部と、前記深度推定部による推定結果に応じて、前記画像における前記特定の組織の領域に対する表示形態を決定する制御部と、をさらに備えることを特徴とする。
上記画像処理装置は、前記深度推定部による推定結果に応じて、前記２種以上の組織のうち、前記特定の組織以外の組織の深度を推定する第２の深度推定部をさらに備える、ことを特徴とする。
上記画像処理装置において、前記第２の深度推定部は、前記深度推定部が前記特定の組織は前記被写体の表面に存在すると推定した場合、前記特定の組織以外の組織は前記被写体の深部に存在すると推定し、前記深度推定部が前記特定の組織は前記被写体の深部に存在すると推定した場合、前記特定の組織以外の組織は前記被写体の表面に存在すると推定する、ことを特徴とする。
上記画像処理装置は、前記画像を表示する表示部と、前記第２の深度推定部による推定結果に応じて、前記画像における前記特定の組織以外の組織の領域に対する表示形態を設定する表示設定部と、をさらに備えることを特徴とする。
上記画像処理装置において、前記特定の組織以外の組織は脂肪である、ことを特徴とする。
上記画像処理装置において、前記波長の数は、前記吸光成分の数以上である、ことを特徴とする。
上記画像処理装置は、前記画像を構成する複数の画素の各々の画素値に基づいて分光スペクトルを推定するスペクトル推定部をさらに備え、前記吸光度算出部は、前記スペクトル推定部が推定した前記分光スペクトルに基づいて、前記複数の波長における吸光度をそれぞれ算出する、ことを特徴とする。
本発明に係る撮像システムは、前記画像処理装置と、前記被写体に照射する照明光を発生する照明部と、前記照明部が発生した前記照明光を前記被写体に照射する照明光学系と、前記被写体によって反射された光を結像する結像光学系と、前記結像光学系により結像した前記光を電気信号に変換する撮像部と、を備えることを特徴とする。
上記撮像システムは、前記照明光学系と、前記結像光学系と、前記撮像部とが設けられた内視鏡を備えることを特徴とする。
上記撮像システムは、前記照明光学系と、前記結像光学系と、前記撮像部とが設けられた顕微鏡装置を備えることを特徴とする。
本発明に係る画像処理方法は、被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理方法において、前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出ステップと、前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定ステップと、少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出ステップと、前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定ステップと、を含むことを特徴とする。
本発明に係る画像処理プログラムは、被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理プログラムにおいて、前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出ステップと、前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定ステップと、少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出ステップと、前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量を推定し、各吸光成分に対して推定された複数の成分量の比率に基づいて当該吸光成分を含む組織の深度を推定するので、被写体に２種以上の組織が存在する場合であっても、特定の組織に含まれる吸光成分以外の吸光成分による影響を抑制し、特定の組織が存在する深度を精度良く推定することが可能となる。
図１は、酸化ヘモグロビン及びカロテンの各々に対して取得された組織の深度が異なる複数の基準スペクトルを示すグラフである。 図２は、生体の粘膜近傍の領域の断面を示す模式図である。 図３は、血液が粘膜の表面近傍に存在する領域における成分量の推定結果を示すグラフである。 図４は、血液が深部に存在する領域における成分量の推定結果を示すグラフである。 図５は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。 図６は、図５に示す撮像装置の構成例を示す模式図である。 図７は、図５に示す画像処理装置の動作を示すフローチャートである。 図８は、推定された酸化ヘモグロビンの成分量を示すグラフである。 図９は、血液が粘膜表面近傍に存在する領域と、血液が深部に存在する領域とにおける深度に応じた酸化ヘモグロビンの成分量の比率を示すグラフである。 図１０は、本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。 図１１は、脂肪の領域の表示例を示す模式図である。 図１２は、本発明の実施の形態１、２に適用可能な撮像装置における感度特性を説明するためのグラフである。 図１３は、本発明の実施の形態４に係る画像処理装置の構成例を示すブロック図である。 図１４は、本発明の実施の形態５に係る撮像システムの構成例を示す模式図である。 図１５は、本発明の実施の形態６に係る撮像システムの構成例を示す模式図である。 図１６は、脂肪の領域における酸化ヘモグロビン、カロテン、及びバイアスの基準スペクトルを示すグラフである。 図１７は、酸化ヘモグロビンの吸光度の推定値及び計測値を示すグラフである。
以下、本発明に係る画像処理装置、画像処理方法、画像処理プログラム、及び撮像システムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。
（実施の形態１）
まず、本発明の実施の形態１に係る画像処理方法の原理を説明する。生体に存在する種々の組織に含まれる吸光成分のスペクトルは、その組織が表面にあるか深部にあるかによって、ランベルト・ベールの法則によって与えられる吸光スペクトルのモデルに当てはまらずに変化してしまうことが知られている。この現象は、生体の主要な組織である血液に含まれる吸光成分である酸化ヘモグロビンにおいても、脂肪に含まれる吸光成分であるカロテンにおいても生じる。
この現象を利用して、１種の吸光成分に対し、組織の深度が異なる基準スペクトルを事前に複数用意し、ある被写体について計測した吸光スペクトルをもとに、組織の深度が異なる複数の基準スペクトルを用いて成分量を推定することにより、成分量の推定誤差を低減することが考えられる。そこで、本願発明者は、酸化ヘモグロビン及びカロテンの各々について、４４０〜６１０ｎｍの波長範囲で計測した吸光スペクトルから、組織の深度が異なる基準スペクトルを用いて吸光成分の成分量を推定するシミュレーションを行った。
図１は、酸化ヘモグロビン及びカロテンの各々に対して取得された組織の深度が異なる複数の基準スペクトルを示すグラフである。このうち、図１の（ｂ）は、図１の（ａ）と同じデータを、縦軸のスケールを拡大し、且つ範囲を縮小して示したものである。また、図２は、生体の粘膜近傍の領域の断面を示す模式図である。このうち、図２の（ａ）は、粘膜表面近傍に血液層ｍ１が存在し、深部に脂肪層ｍ２が存在する領域を示す。図２の（ｂ）は、粘膜表面に脂肪層ｍ２が露出し、深部に血液層ｍ１が存在する領域を示す。
図１に示す酸化ヘモグロビン（表面）のグラフは、粘膜の表面近傍に血液層ｍ１が存在する領域（図２の（ａ）参照）における吸光度の基準スペクトルを示す。酸化ヘモグロビン（深部）のグラフは、深部に血液層ｍ１が存在し、血液層ｍ１の上層に脂肪層ｍ２等の他の組織が存在する領域（図２の（ｂ）参照）における吸光度の基準スペクトルを示す。カロテン（表面）のグラフは、粘膜表面に脂肪層ｍ２が露出している領域（図２の（ｂ）参照）における吸光度の基準スペクトルを示す。カロテン（深部）のグラフは、深部に脂肪ｍ２が存在し、脂肪ｍ２の上層に血液ｍ１等の他の組織が存在する領域（図２の（ａ）参照）における吸光度の基準スペクトルを示す。
図３は、血液が粘膜の表面近傍に存在する領域における成分量の推定結果を示すグラフである。また、図４は、血液が深部に存在する領域における成分量の推定結果を示すグラフである。図３及び図４に示す吸光度の推定値は、図１に示す各吸光成分に対して２つずる取得された基準スペクトルを用いて、各吸光成分の成分量を推定し、推定された成分量をもとに逆算した吸光度である。なお、成分量の推定方法については後で詳しく説明する。また、図３において、図３の（ｂ）は、図３の（ａ）と同じデータを、縦軸のスケールを拡大し、且つ範囲を縮小して示したものである。図４についても同様である。
図３及び図４に示すように、組織の深度に応じた基準スペクトルを用いて成分量の推定演算を行うことで、短波長から長波長までの広い範囲で計測値と推定値とが一致する高精度な成分量の推定を行うことができることがわかる。つまり、１種の吸光成分について深度が異なる複数の基準スペクトルを用いて成分量を推定することで、推定誤差を低減することができる。そこで、本実施の形態１においては、基準スペクトルに対応する深度に応じて成分量の推定誤差が変化することを利用し、組織の深度が異なる複数の基準スペクトルを用いて推定した成分量に基づいて、各吸光成分を含む組織の深度を推定する。
図５は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。図５に示すように、本実施の形態１に係る撮像システム１は、カメラ等の撮像装置１７０と、該撮像装置１７０と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置１００とによって構成される。
画像処理装置１００は、撮像装置１７０から画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像装置１７０を含むシステム全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記憶部１３０と、記憶部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０とを備える。
図６は、図５に示す撮像装置１７０の構成例を示す模式図である。図６に示す撮像装置１７０は、受光した光を電気信号に変換することにより画像データを生成するモノクロカメラ１７１と、フィルタ部１７２と、結像レンズ１７３とを備える。フィルタ部１７２は、分光特性が異なる複数の光学フィルタ１７４を備え、ホイールを回転させることによりモノクロカメラ１７１への入射光の光路に配置される光学フィルタ１７４を切り替える。マルチバンド画像を撮像する際には、被写体からの反射光を結像レンズ１７３及びフィルタ部１７２を経てモノクロカメラ１７１の受光面に結像させる動作を、分光特性が異なる光学フィルタ１７４を光路に順次配置して繰り返す。なお、フィルタ部１７２は、モノクロカメラ１７１側ではなく、被写体を照射する照明装置側に設けても良い。
なお、各バンドで異なる波長の光を被写体に照射することで、マルチバンド画像を取得しても良い。また、マルチバンド画像のバンド数は、後述するように、被写体に含まれる吸光成分の種類の数以上であれば特に限定されない。例えば、バンド数を３つとして、ＲＧＢ画像を取得しても良い。
或いは、分光特性が異なる複数の光学フィルタ１７４の代わりに、分光特性を変えられる液晶チューナブルフィルタや音響光学チューナブルフィルタを用いても良い。また、分光特性の異なる複数の光を切り換えて被写体に照射することで、マルチバンド画像を取得しても良い。
再び図５を参照すると、画像取得部１１０は、当該画像処理装置１００を含むシステムの態様に応じて適宜構成される。例えば図５に示す撮像装置１７０を画像処理装置１００に接続する場合、画像取得部１１０は、撮像装置１７０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１７０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
制御部１２０は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１２０が汎用プロセッサである場合、記憶部１３０が記憶する各種プログラムを読み込むことによって画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００全体の動作を統括して制御する。また、制御部１２０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１３０が記憶する各種データ等を用いることで、プロセッサと記憶部１３０が協働又は結合して種々の処理を実行しても良い。
制御部１２０は、画像取得部１１０や撮像装置１７０の動作を制御して画像を取得する画像取得制御部１２１を有し、入力部１５０から入力される入力信号、画像取得部１１０から入力される画像、及び記憶部１３０に格納されているプログラムやデータ等に基づいて画像取得部１１０及び撮像装置１７０の動作を制御する。
記憶部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）といった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＣＤ−ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部１３０は、画像処理プログラムを記憶するプログラム記憶部１３１と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記憶部１３２とを備える。
演算部１４０は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１４０が汎用プロセッサである場合、プログラム記憶部１３１が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部１４０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１３０が記憶する各種データ等を用いることで、プロセッサと記憶部１３０が協働又は結合して画像処理を実行しても良い。
詳細には、演算部１４０は、吸光度算出部１４１と、成分量推定部１４２と、比率算出部１４３と、深度推定部１４４とを備える。吸光度算出部１４１は、画像取得部１１０が取得した画像に基づいて被写体における吸光度を算出する。成分量推定部１４２は、被写体に存在する複数の組織にそれぞれ含まれる吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量を推定する。比率算出部１４３は、各吸光成分に対し、異なる深度における成分量の比率を算出する。深度推定部１４４は、複数の吸光成分の各々について算出された成分量の比率に基づいて、吸光成分を含む組織の深度を推定する。
入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部１２０に出力する。
表示部１６０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部１２０から入力される表示信号をもとに各種画面を表示する。
図７は、画像処理装置１００の動作を示すフローチャートである。まず、ステップＳ１００において、画像処理装置１００は、画像取得制御部１２１の制御により撮像装置１７０を動作させることにより、被写体を複数の波長の光で撮像したマルチバンド画像を取得する。本実施の形態１においては、４００〜７００ｎｍの間で１０ｎｍずつ波長をシフトさせるマルチバンド撮像を行う。画像取得部１１０は、撮像装置１７０が生成したマルチバンド画像の画像データを取得し、画像データ記憶部１３２に記憶させる。演算部１４０は、画像データ記憶部１３２から画像データを読み出すことによりマルチバンド画像を取得する。
続くステップＳ１０１において、吸光度算出部１４１は、マルチバンド画像を構成する複数の画素の各々の画素値を取得し、これらの画素値に基づいて複数の波長の各々における吸光度を算出する。具体的には、各波長λに対応するバンドの画素値の対数の値を、当該波長における吸光度ａ（λ）とする。以下、ｍ個の波長λにおける吸光度ａ（λ）を成分とするｍ行１列の行列を、吸光度の行列Ａとする。
続くステップＳ１０２において、成分量推定部１４２は、被写体の複数の組織にそれぞれ存在する複数の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量を推定する。以下においては、被写体に酸化ヘモグロビン及びカロテンの２種の吸光成分が存在し、各吸光成分について２つの深度の基準スペクトルを用いて成分量を算出する場合を説明する。組織の深度が異なる複数の基準スペクトルは、予め取得して記憶部１３０に記憶させておく。
酸化ヘモグロビンについて予め取得された深度が浅い方の基準スペクトルをｋ11（λ）、深度が深い方の基準スペクトルをｋ12（λ）とする。また、カロテンについて予め取得された深度が浅い方向の基準スペクトルをｋ21（λ）、深度が深い方の基準スペクトルをｋ22（λ）とする。また、基準スペクトルｋ11（λ）に基づいて算出される酸化ヘモグロビンの成分量をｄ11、基準スペクトルｋ12（λ）に基づいて算出される酸化ヘモグロビンの成分量をｄ12、基準スペクトルｋ21（λ）に基づいて算出されるカロテンの成分量をｄ21、基準スペクトルｋ22（λ）に基づいて算出されるカロテンの成分量をｄ22とする。
これらの基準スペクトルｋ11（λ）、ｋ12（λ）、ｋ21（λ）、ｋ22（λ）及び成分量ｄ11、ｄ12、ｄ21、ｄ22と、吸光度ａ（λ）との間には、次式（２０）の関係が成り立つ。
Figure 2017009989
 式（２０）において、バイアスｄbiasは、画像における輝度ムラを表す値であり、波長に依存しない。以下、バイアスｄbiasについても成分量と同様に扱って演算を行う。
式（２０）において、未知の変数はｄ11、ｄ12、ｄ21、ｄ22、ｄbiasの５つであるから、少なくとも５つの異なる波長λについて式（２０）を連立させれば、これらを解くことができる。より精度を高めるために、５つ以上の異なる波長λに対して式（２０）を連立させ、重回帰分析を行っても良い。例えば、５つの波長λ1，λ2，λ3，λ4，λ5について式（２０）を連立させた場合、次式（２１）のように行列表記することができる。
Figure 2017009989
さらに、式（２１）を次式（２２）に置き換える。
Figure 2017009989
式（２２）において、行列Ａは、ｍ個の波長（式（２１）においてはｍ＝５）における吸光度を成分とするｍ行１列の行列である。行列Ｋは、吸光成分の各々について取得された複数種類の基準スペクトルの波長λにおける値を成分とするｍ行５列の行列である。行列Ｄは、未知の変数（成分量）を成分とするｍ行１列の行列である。
この式（２２）を最小二乗法によって解くことにより、成分量ｄ11、ｄ12、ｄ21、ｄ22、ｄbiasを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ11、ｄ12、…を決定する方法であり、次式（２３）によって解くことができる。
Figure 2017009989
図８は、推定された酸化ヘモグロビンの成分量を示すグラフである。このうち、図８の（ａ）は、血液が粘膜の表面近傍に存在する領域における酸化ヘモグロビンの成分量を示し、図８の（ｂ）は、血液が深部に存在する領域に含まれる酸化ヘモグロビンの成分量を示す。
図８の（ａ）に示すように、血液が表面近傍に存在する領域では、深度の浅い方におけるヘモグロビンの成分量ｄ11が圧倒的に多く、深部の浅い方におけるヘモグロビンの成分量ｄ12はわずかである。一方、図８の（ｂ）に示すように、血液が深部に存在する領域では、深度の浅い方におけるヘモグロビンの成分量ｄ11は、深度の深い方におけるヘモグロビンの成分量ｄ12よりも少ない。
続くステップＳ１０３において、比率算出部１４３は、各吸光成分に対し、深度に応じた成分量の比率を算出する。具体的には、式（２４−１）により、表面近傍から深部までの酸化ヘモグロビンの成分量の和ｄ11＋ｄ12に対する表面近傍における成分量ｄ11の比率ｄｒａｔｅ1を算出する。また、式（２４−２）により、表面近傍から深部までのカロテンの成分量の和ｄ21＋ｄ22に対する表面近傍における成分量ｄ21の比率ｄｒａｔｅ2を算出する。
Figure 2017009989
続くステップＳ１０４において、深度推定部１４４は、深度に応じた成分量の比率から、各吸光成分を含む組織の深度を推定する。詳細には、まず、深度推定部１４４は、式（２５−１）、（２５−２）により評価関数Ｅdrate1、Ｅdrate2をそれぞれ算出する。
Figure 2017009989
式（２５−１）によって与えられる評価関数Ｅdrate1は、酸化ヘモグロビンを含む血液の深度が浅いか深いかを判定するためのものである。式（２５−１）に示す閾値Ｔdrate1は、０．５等の固定値又は実験等に基づいて決定された値が予め設定され、記憶部１３０に記憶されている。また、式（２５−２）によって与えられる評価関数Ｅdrate2は、カロテンを含む脂肪の深度が浅いか深いかを判定するためのものである。式（２５−２）に示す閾値Ｔdrate2は、０．９等の固定値又は実験等に基づいて決定された値が予め設定され、記憶部１３０に記憶されている。
深度推定部１４４は、評価関数Ｅdrate1がゼロ又は正の場合、即ち深度の比率ｄｒａｔｅ1が閾値Ｔdrate1以上である場合、血液が粘膜の表面近傍に存在すると判定し、評価関数Ｅdrate1が負の場合、即ち深度の比率ｄｒａｔｅ1が閾値Ｔdrate1未満である場合、血液が深部に存在すると判定する。
また、深度推定部１４４は、評価関数Ｅdrate2がゼロ又は正の場合、即ち深度の比率ｄｒａｔｅ2が閾値Ｔdrate2以上である場合、脂肪が粘膜の表面近傍に存在すると判定し、評価関数Ｅdrate2が負の場合、即ち深度の比率ｄｒａｔｅ2が閾値Ｔdrate2未満である場合、脂肪が深部に存在すると判定する。
図９は、血液が粘膜表面近傍に存在する領域と、血液が深部に存在する領域とにおける深度に応じた酸化ヘモグロビンの成分量の比率を示すグラフである。図９に示すように、血液が粘膜表面近傍に存在する領域においては、表面近傍における酸化ヘモグロビンの成分量が大部分を占めている。一方、血液が深部に存在する領域においては、深部における酸化ヘモグロビンの成分量が大部分を占めている。
続くステップＳ１０５において、演算部１４０は推定結果を出力し、制御部１２０は、この推定結果を表示部１６０に表示させる。推定結果の表示形態は特に限定されない。例えば、血液が粘膜の表面近傍に存在すると推定された領域と、血液が深部に存在すると推定された領域とに対し、互いに異なる色の疑似カラーや異なるパターンの網掛けを施し、表示部１６０に表示させても良い。或いは、これらの領域に対して、互いに異なる色の輪郭線を重ねても良い。さらに、これらの領域のいずれか一方が他方よりも目立つように、疑似カラーや網掛けの輝度を高くしたり、点滅表示するなどして強調表示しても良い。
以上説明したように、本実施の形態１によれば、各吸光成分に対し、深度が異なる複数の基準スペクトルを用いて複数の成分量を算出し、これらの成分量の比率に基づいて当該吸光成分を含む組織の深度を推定するので、異なる吸光成分を含む複数の組織が被写体に存在する場合であっても、組織の深度を精度良く推定することが可能となる。
上記実施の形態１においては、血液及び脂肪の２つの組織にそれぞれ含まれる２種の吸光成分の成分量を推定することにより、血液の深度を推定したが、３種以上の吸光成分を用いても良い。例えば、肌分析を行う場合には、皮膚表面近傍の組織に含まれるヘモグロビン、メラニン、及びビリルビンの３種の吸光成分の成分量を推定すれば良い。ここで、ヘモグロビン及びメラニンは、皮膚の色を構成する主な色素であり、ビリルビンは黄疸の症状として現れる色素である。
（変形例）
深度推定部１４４が実行する深度の推定方法は、上記実施の形態１において説明した方法に限定されない。例えば、深度に応じた成分量の比率ｄｒａｔｅ1、ｄｒａｔｅ2の値と深度とを対応付けた表又は式を予め用意し、この表又は式に基づいて具体的な深度を求めてもよい。
或いは、深度推定部１４４は、ヘモグロビンについて算出された深度に応じた成分量の比率ｄｒａｔｅ1に基づいて、血液の深度を推定しても良い。具体的には、比率ｄｒａｔｅ1が大きいほど血液の深度が浅く、比率ｄｒａｔｅ1が大きいほど血液の深度が深いと判定する。
また、成分量の比率としては、表面近傍から深部までの酸化ヘモグロビンの成分量の和ｄ11＋ｄ12に対する深部における成分量ｄ12の比率を算出しても良く、この場合、深度推定部１４４は、比率が大きいほど血液の深度は深いと推定する。或いは、この比率が閾値以上である場合に血液が深部に存在し、この比率が閾値未満である場合に血液が粘膜表面近傍に存在すると判定しても良い。
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１０は、本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。図１０に示すように、本実施の形態２に係る画像処理装置２００は、図４に示す演算部１４０の代わりに演算部２１０を備える。演算部２１０以外の画像処理装置２００の各部の構成及び動作は、実施の形態１と同様である。また、当該画像処理装置２００が画像を取得する撮像装置の構成についても、実施の形態１と同様である。
ここで、生体内において観察される脂肪には、粘膜表面に露出している脂肪（露出脂肪）と、粘膜に覆われて透けて見える脂肪（膜下脂肪）とがある。このうち、術式上では、膜下脂肪が重要である。露出脂肪は容易に目視できるからである。そのため、膜下脂肪を術者が容易に認識できるように表示を行う技術が望まれている。本実施の形態２は、この膜下脂肪の識別を容易にするために、生体における主要な組織である血液の深度に基づいて、脂肪の深度を推定するものである。
演算部２１０は、図５に示す深度推定部１４４の代わりに、第１深度推定部２１１と、第２深度推定部２１２と、表示設定部２１３とを備える。吸光度算出部１４１、成分量推定部１４２、及び比率算出部１４３の動作は、実施の形態１と同様である。
第１深度推定部２１１は、比率算出部１４３が算出した異なる深度におけるヘモグロビンの成分量の比率に基づいて、血液の深度を推定する。血液の深度の推定方法は、実施の形態１と同様である（図７のステップＳ１０３参照）。
第２深度推定部２１２は、第１深度推定部２１１による推定結果に応じて、血液以外の組織、具体的には脂肪の深度を推定する。ここで、生体においては２種以上の組織が層構造をなしている。例えば、生体内の粘膜においては、図２の（ａ）に示すように、表面近傍に血液層ｍ１が存在し、深部に脂肪層ｍ２が存在する領域や、図２の（ｂ）に示すように、表面近傍に脂肪層ｍ２が存在し、深部に血液層ｍ１が存在する領域がある。
そこで、第１深度推定部２１１により血液層ｍ１が表面近傍に存在すると推定された場合、第２深度推定部２１２は、脂肪層ｍ２が深部に存在すると推定する。反対に、第１深度推定部２１１により血液層ｍ１が深部に存在すると推定された場合、第２深度推定部２１２は、脂肪層ｍ２が表面近傍に存在すると推定する。このように、生体における主要な組織である血液の深度が推定されれば、脂肪等のその他の組織の深度を推定することができる。
表示設定部２１３は、表示部１６０に表示させる画像に対し、脂肪の領域における表示形態を、第２深度推定部２１２による深度の推定結果に応じて設定する。図１１は、脂肪の領域の表示例を示す模式図である。図１１に示すように、表示設定部２１３は、画像Ｍ１に対し、血液が粘膜の表面近傍に存在し、脂肪が深部に存在すると推定された領域ｍ１１と、血液が深部に存在し、脂肪が表面近傍に存在すると推定された領域ｍ１２とで、異なる表示形態を設定する。この場合、制御部１２０は、表示設定部２１３が設定した表示形態に従って、表示部１６０に画像Ｍ１を表示させる。
具体的には、脂肪が存在する領域に一律に疑似カラーや網掛けを施す場合、脂肪が深部に存在する領域ｍ１１と、脂肪が表面に露出している領域ｍ１２とで、着色する色やパターンを変更する。或いは、脂肪が深部に存在する領域ｍ１１と脂肪が表面に露出している領域ｍ１２とのいずれか一方のみに着色しても良い。さらには、一律に擬似カラーを施すのではなく、脂肪の成分量に応じて疑似カラーの色が変化するように、表示用の画像信号の信号値を調節しても良い。
また、領域ｍ１１、ｍ１２に対して、互いに異なる色の輪郭線を重ねても良い。さらには、領域ｍ１１、ｍ１２のいずれかに対し、疑似カラーや輪郭線を点滅させるなどして、強調表示を行っても良い。
このような領域ｍ１１、ｍ１２の表示形態は、被写体の観察目的に応じて適宜設定すれば良い。例えば、前立腺等の臓器摘出手術を行う場合には、多くの神経が内在する脂肪の位置を見易くしたいという要望がある。そこで、この場合には、脂肪層ｍ２が深部に存在する領域ｍ１１をより強調して表示すると良い。
以上説明したように、本実施の形態２によれば、生体における主要な組織である血液の深度を推定し、この主要な組織との関係から、脂肪等の他の組織の深度を推定するので、２種以上の組織が積層している領域においても、主要な組織以外の組織の深度を推定することが可能となる。
また、本実施の形態２によれば、血液と脂肪との位置関係に応じて、これらの領域を表示する表示形態を変更するので、画像の観察者は、注目する組織の深度をより明確に把握することが可能となる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。上記実施の形態１、２においては、マルチスペクトル撮像を行うことを前提としているが、２成分の成分量及びバイアスの３値を推定する場合には、任意の３波長の撮像を実行すれば良い。
この場合、画像処理装置１００、２００が画像を取得する撮像装置１７０の構成として、狭帯域フィルタを備えるＲＧＢカメラを用いることができる。図１２は、このような撮像装置における感度特性を説明するためのグラフである。図１２の（ａ）はＲＧＢカメラの感度特性を示し、図１２の（ｂ）は狭帯域フィルタの透過率を示し、図１２の（ｃ）は、撮像装置におけるトータルの感度特性を示している。
狭帯域フィルタを介してＲＧＢに被写体像を結像させた場合、撮像装置におけるトータルの感度特性は、カメラの感度特性（図１２の（ａ）参照）と、狭帯域フィルタの感度特性（図１２の（ｂ）参照）との積によって与えられる（図１２の（ｃ）参照）。
（実施の形態４）
次に、本発明の実施の形態４について説明する。上記実施の形態１、２においては、マルチスペクトル撮像を行うことを前提としているが、少ないバンド数から分光スペクトルを推定し、推定した分光スペクトルから吸光成分の成分量を推定することとしても良い。図１３は、本実施の形態４に係る画像処理装置の構成例を示すブロック図である。
図１３に示すように、本実施の形態４に係る画像処理装置３００は、図５に示す演算部１４０の代わりに演算部３１０を備える。演算部３１０以外の画像処理装置３００の各部の構成及び動作は、実施の形態１と同様である。
演算部３１０は、図５に示す吸光度算出部１４１の代わりに、スペクトル推定部３１１及び吸光度算出部３１２を備える。
スペクトル推定部３１１は、画像データ記憶部１３２から読み出した画像データに基づく画像をもとに分光スペクトルを推定する。詳細には、次式（２６）に従って、画像を構成する複数の画素の各々を順次推定対象画素とし、推定対象画素である画像上の点ｘにおける画素値の行列表現Ｇ（ｘ）から、点ｘに対応する被写体上の点における推定分光透過率Ｔ＾（ｘ）を算出する。推定分光透過率Ｔ＾（ｘ）は、各波長λにおける推定透過率ｔ＾（ｘ，λ）を成分とする行列である。また、式（２６）において、行列Ｗは、ウィナー推定に用いる推定オペレータである。
Figure 2017009989
吸光度算出部３１２は、スペクトル推定部３１１が算出した推定分光透過率Ｔ＾（ｘ）から、各波長λにおける吸光度を算出する。詳細には、推定分光透過率Ｔ＾（ｘ）の成分である各推定透過率ｔ＾（ｘ，λ）の対数を取ることにより、当該波長λにおける吸光度ａ（λ）を算出する。
成分量推定部１４２〜深度推定部１４４の動作は、実施の形態１と同様である。
本実施の形態４によれば、波長方向にブロードな信号値に基づいて作成された画像に対しても、深度の推定を行うことができる。
（実施の形態５）
次に、本発明の実施の形態５について説明する。図１４は、本発明の実施の形態５に係る撮像システムの構成例を示す模式図である。図１４に示すように、本実施の形態５に係る撮像システムとしての内視鏡システム２は、画像処理装置１００と、生体の管腔内に先端部を挿入して撮像を行うことにより管腔内の画像を生成する内視鏡装置４００とを備える。
画像処理装置１００は、内視鏡装置４００が生成した画像に所定の画像処理を施すと共に、内視鏡システム２全体の動作を統括的に制御する。なお、画像処理装置１００の代わりに、実施の形態２〜４において説明した画像処理装置を適用しても良い。
内視鏡装置４００は、体腔内に挿入される挿入部４０１が剛性を有する硬性内視鏡であり、挿入部４０１と、該挿入部４０１の先端から被写体に照射する照明光を発生する照明部４０２とを備える。内視鏡装置４００と画像処理装置１００とは、電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルによって接続されている。
挿入部４０１には、照明部４０２が発生した照明光を挿入部４０１の先端部に導光するライドガイド４０３と、ライトガイド４０３によって導光された照明光を被写体に照射する照明光学系４０４と、被写体によって反射された光を結像する結像光学系である対物レンズ４０５と、対物レンズ４０５によって結像した光を電気信号に変換する撮像部４０６とが設けられている。
照明部４０２は、制御部１２０の制御の下で、可視光領域を複数の波長帯域に分離した波長帯域ごとの照明光を発生する。照明部４０２から発生した照明光は、ライトガイド４０３を経由して照明光学系４０４から出射し、被写体を照射する。
撮像部４０６は、制御部１２０の制御の下で、所定のフレームレートで撮像動作を行い、対物レンズ４０５によって結像した光を電気信号に変換することにより画像データを生成して、画像取得部１１０に出力する。
なお、照明部４０２の代わりに白色光を発生する光源を設けると共に、挿入部４０１の先端部に分光特性が互いに異なる複数の光学フィルタを設け、被写体に白色光を照射し、被写体によって反射された光を、光学フィルタを介して受光することにより、マルチバンド撮像を行っても良い。
上記実施の形態５においては、実施の形態１〜４に係る画像処理装置が画像を取得する撮像装置として、生体用の内視鏡装置を適用する例を説明したが、工業用の内視鏡装置を適用しても良い。また、内視鏡装置としては、体腔内に挿入される挿入部が湾曲自在に構成された軟性内視鏡を適用しても良い。或いは、内視鏡装置として、生体内に導入されて該生体内を移動しつつ撮像を行うカプセル型内視鏡を適用しても良い。
（実施の形態６）
次に、本発明の実施の形態６について説明する。図１５は、本発明の実施の形態６に係る撮像システムの構成例を示す模式図である。図１５に示すように、本実施の形態６に係る撮像システムとしての顕微鏡システム３は、画像処理装置１００と、撮像装置１７０が設けられた顕微鏡装置５００とを備える。
撮像装置１７０は、顕微鏡装置５００により拡大された被写体像を撮像する。撮像装置１７０の構成は特に限定されず、一例として、図６に示すように、モノクロカメラ１７１と、フィルタ部１７２と、結像レンズ１７３とを備える構成が挙げられる。
画像処理装置１００は、撮像装置１７０が生成した画像に所定の画像処理を施すと共に、顕微鏡システム３全体の動作を統括的に制御する。なお、画像処理装置１００の代わりに、実施の形態２〜５において説明した画像処理装置を適用しても良い。
顕微鏡装置５００は、落射照明ユニット５０１及び透過照明ユニット５０２が設けられた略Ｃ字形のアーム５００ａと、該アーム５００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ５０３と、鏡筒５０５の一端側に三眼鏡筒ユニット５０７を介して標本ステージ５０３と対向するように設けられた対物レンズ５０４と、標本ステージ５０３を移動させるステージ位置変更部５０６とを有する。
三眼鏡筒ユニット５０７は、対物レンズ５０４から入射した被写体ＳＰの観察光を、鏡筒５０５の他端側に設けられた撮像装置１７０と後述する接眼レンズユニット５０８とに分岐する。接眼レンズユニット５０８は、ユーザが被写体ＳＰを直接観察するためのものである。
落射照明ユニット５０１は、落射照明用光源５０１ａ及び落射照明光学系５０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系５０１ｂは、落射照明用光源５０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
透過照明ユニット５０２は、透過照明用光源５０２ａ及び透過照明光学系５０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系５０２ｂは、透過照明用光源５０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
対物レンズ５０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ５０４、５０４’）を保持可能なレボルバ５０９に取り付けられている。このレボルバ５０９を回転させて、標本ステージ５０３と対向する対物レンズ５０４、５０４’を変更することにより、撮像倍率を変化させることができる。
鏡筒５０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
ステージ位置変更部５０６は、例えばステッピングモータ等の駆動部５０６ａを含み、標本ステージ５０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部５０６には、標本ステージ５０３をＺ軸に沿って移動させることにより、対物レンズ５０４の焦点を被写体ＳＰに合わせる。
このような顕微鏡装置５００において生成された被写体ＳＰの拡大像を撮像装置１７０においてマルチバンド撮像することにより、被写体ＳＰのカラー画像が表示部１６０に表示される。
本発明は、以上説明した実施の形態１〜６そのままに限定されるものではなく、実施の形態１〜６に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜６に開示されている全構成要素からいくつかの構成要素を除外して形成しても良い。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成しても良い。
１ 撮像システム
２ 内視鏡システム
３ 顕微鏡システム
１００、２００、３００ 画像処理装置
１１０ 画像取得部
１２０ 制御部
１２１ 画像取得制御部
１３０ 記憶部
１３１ プログラム記憶部
１３２ 画像データ記憶部
１４０、２１０、３１０ 演算部
１４１、３１２ 吸光度算出部
１４２ 成分量推定部
１４３ 比率算出部
１４４ 深度推定部
１５０ 入力部
１６０ 表示部
１７０ 撮像装置
１７１ モノクロカメラ
１７２ フィルタ部
１７３ 結像レンズ
１７４ 光学フィルタ
２１１ 第１深度推定部
２１２ 第２深度推定部
２１３ 表示設定部
３１１ スペクトル推定部
４００ 内視鏡装置
４０１ 挿入部
４０２ 照明部
４０３ ライトガイド
４０４ 照明光学系
４０５ 対物レンズ
４０６ 撮像部
５００ 顕微鏡装置
５００ａ アーム
５０１ 落射照明ユニット
５０１ａ 落射照明用光源
５０１ｂ 落射照明光学系
５０２ 透過照明ユニット
５０２ａ 透過照明用光源
５０２ｂ 透過照明光学系
５０３ 標本ステージ
５０４、５０４’ 対物レンズ
５０５ 鏡筒
５０６ ステージ位置変更部
５０６ａ 駆動部
５０７ 三眼鏡筒ユニット
５０８ 接眼レンズユニット
５０９ レボルバ

Claims (16)

  1. 被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理装置において、
    前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出部と、
    前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定部と、
    少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出部と、
    前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記成分量推定部は、前記２種以上の吸光成分の各々に対し、第１の深度における基準スペクトルを用いて第１の成分量を推定すると共に、前記第１の深度よりも深い第２の深度における基準スペクトルを用いて第２の成分量を推定し、
    前記比率算出部は、少なくとも前記特定の組織に含まれる吸光成分に対し、前記第１及び第２の成分量の和に対する前記第１の成分量と前記第２の成分量とのいずれかの比率を算出し、
    前記深度推定部は、前記比率を閾値と比較することにより前記特定の組織が前記被写体の表面に存在するか又は深部に存在するかを判定する、
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記成分量推定部は、前記２種以上の吸光成分の各々に対し、第１の深度における基準スペクトルを用いて第１の成分量を推定すると共に、前記第１の深度よりも深い第２の深度における基準スペクトルを用いて第２の成分量を推定し、
    前記比率算出部は、少なくとも前記特定の組織に含まれる吸光成分に対し、前記第１及び第２の成分量に対する前記第１の成分量の比率を算出し、
    前記深度推定部は、前記比率の大きさに応じて、前記特定の組織の深度を推定する、
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記特定の組織は血液であり、
    前記特定の組織に含まれる吸光成分は酸化ヘモグロビンである、
    ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
  5. 前記画像を表示する表示部と、
    前記深度推定部による推定結果に応じて、前記画像における前記特定の組織の領域に対する表示形態を決定する制御部と、
    をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
  6. 前記深度推定部による推定結果に応じて、前記２種以上の組織のうち、前記特定の組織以外の組織の深度を推定する第２の深度推定部をさらに備える、ことを特徴とする請求項４に記載の画像処理装置。
  7. 前記第２の深度推定部は、
    前記深度推定部が前記特定の組織は前記被写体の表面に存在すると推定した場合、前記特定の組織以外の組織は前記被写体の深部に存在すると推定し、
    前記深度推定部が前記特定の組織は前記被写体の深部に存在すると推定した場合、前記特定の組織以外の組織は前記被写体の表面に存在すると推定する、
    ことを特徴とする請求項６に記載の画像処理装置。
  8. 前記画像を表示する表示部と、
    前記第２の深度推定部による推定結果に応じて、前記画像における前記特定の組織以外の組織の領域に対する表示形態を設定する表示設定部と、
    をさらに備えることを特徴とする請求項７に記載の画像処理装置。
  9. 前記特定の組織以外の組織は脂肪である、ことを特徴とする請求項６〜８のいずれか１項に記載の画像処理装置。
  10. 前記波長の数は、前記吸光成分の数以上である、ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
  11. 前記画像を構成する複数の画素の各々の画素値に基づいて分光スペクトルを推定するスペクトル推定部をさらに備え、
    前記吸光度算出部は、前記スペクトル推定部が推定した前記分光スペクトルに基づいて、前記複数の波長における吸光度をそれぞれ算出する、
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
  12. 請求項１〜１１のいずれか１項に記載の画像処理装置と、
    前記被写体に照射する照明光を発生する照明部と、
    前記照明部が発生した前記照明光を前記被写体に照射する照明光学系と、
    前記被写体によって反射された光を結像する結像光学系と、
    前記結像光学系により結像した前記光を電気信号に変換する撮像部と、
    を備えることを特徴とする撮像システム。
  13. 前記照明光学系と、前記結像光学系と、前記撮像部とが設けられた内視鏡を備えることを特徴とする請求項１２に記載の撮像システム。
  14. 前記照明光学系と、前記結像光学系と、前記撮像部とが設けられた顕微鏡装置を備えることを特徴とする請求項１２に記載の撮像システム。
  15. 被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理方法において、
    前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出ステップと、
    前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定ステップと、
    少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出ステップと、
    前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定ステップと、
    を含むことを特徴とする画像処理方法。
  16. 被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理プログラムにおいて、
    前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出ステップと、
    前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定ステップと、
    少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出ステップと、
    前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

JP2017528246A 2015-07-15 2015-07-15 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム Active JP6590928B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/070330 WO2017009989A1 (ja) 2015-07-15 2015-07-15 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2017009989A1 true JPWO2017009989A1 (ja) 2018-05-24
JP6590928B2 JP6590928B2 (ja) 2019-10-16

Family

ID=57757297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017528246A Active JP6590928B2 (ja) 2015-07-15 2015-07-15 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20180128681A1 (ja)
JP (1) JP6590928B2 (ja)
WO (1) WO2017009989A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018162736A1 (en) 2017-03-09 2018-09-13 Smith & Nephew Plc Wound dressing, patch member and method of sensing one or more wound parameters
US11324424B2 (en) 2017-03-09 2022-05-10 Smith & Nephew Plc Apparatus and method for imaging blood in a target region of tissue
JP6968357B2 (ja) * 2017-03-24 2021-11-17 株式会社Ｓｃｒｅｅｎホールディングス 画像取得方法および画像取得装置
WO2019102272A1 (en) * 2017-11-24 2019-05-31 Sigtuple Technologies Private Limited Method and system for reconstructing a field of view
EP3849401A1 (en) 2018-09-12 2021-07-21 Smith & Nephew plc Device, apparatus and method of determining skin perfusion pressure
CN111427142A (zh) * 2019-01-09 2020-07-17 卡尔蔡司显微镜有限责任公司 用于显微镜设备的照明模块及相关控制方法和显微镜设备
US11937891B2 (en) * 2020-10-06 2024-03-26 Asensus Surgical Us, Inc. Systems and methods of controlling surgical robotic system using eye-tracking

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010051350A (ja) * 2008-08-26 2010-03-11 Fujifilm Corp 画像処理装置および方法ならびにプログラム
EP2305094A1 (en) * 2009-09-30 2011-04-06 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP2011087762A (ja) * 2009-10-22 2011-05-06 Olympus Medical Systems Corp 生体観察装置
JP2011218135A (ja) * 2009-09-30 2011-11-04 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報表示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103331B2 (en) * 2004-12-06 2012-01-24 Cambridge Research & Instrumentation, Inc. Systems and methods for in-vivo optical imaging and measurement
JP5278854B2 (ja) * 2007-12-10 2013-09-04 富士フイルム株式会社 画像処理システムおよびプログラム
US8406859B2 (en) * 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010051350A (ja) * 2008-08-26 2010-03-11 Fujifilm Corp 画像処理装置および方法ならびにプログラム
EP2305094A1 (en) * 2009-09-30 2011-04-06 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP2011218135A (ja) * 2009-09-30 2011-11-04 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報表示方法
JP2011087762A (ja) * 2009-10-22 2011-05-06 Olympus Medical Systems Corp 生体観察装置

Also Published As

Publication number Publication date
US20180128681A1 (en) 2018-05-10
WO2017009989A1 (ja) 2017-01-19
JP6590928B2 (ja) 2019-10-16

Similar Documents

Publication Publication Date Title
JP6590928B2 (ja) 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム
US8068133B2 (en) Image processing apparatus and image processing method
CN114945954A (zh) 使用深度学习进行显微图像的数字染色的方法和系统
JP5498129B2 (ja) バーチャル顕微鏡システム
JP5738564B2 (ja) 画像処理システム
US8977017B2 (en) System and method for support of medical diagnosis
WO2017010013A1 (ja) 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム
CN113711133A (zh) 基于深度学习的彩色全息显微镜的系统和方法
US8160331B2 (en) Image processing apparatus and computer program product
WO2016092940A1 (ja) 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
US9406118B2 (en) Stain image color correcting apparatus, method, and system
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP5305618B2 (ja) 画像処理装置および画像処理プログラム
US11037294B2 (en) Image processing device, image processing method, and computer-readable recording medium
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2020075226A1 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP5687541B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190917

R151 Written notification of patent or utility model registration

Ref document number: 6590928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350