JP6533147B2 - プロセッサ装置、内視鏡システム、及び画像処理方法 - Google Patents

プロセッサ装置、内視鏡システム、及び画像処理方法 Download PDF

Info

Publication number
JP6533147B2
JP6533147B2 JP2015218343A JP2015218343A JP6533147B2 JP 6533147 B2 JP6533147 B2 JP 6533147B2 JP 2015218343 A JP2015218343 A JP 2015218343A JP 2015218343 A JP2015218343 A JP 2015218343A JP 6533147 B2 JP6533147 B2 JP 6533147B2
Authority
JP
Japan
Prior art keywords
image
wavelength band
scattering
feature amount
scattering feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015218343A
Other languages
English (en)
Other versions
JP2017086303A (ja
Inventor
孝明 齋藤
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015218343A priority Critical patent/JP6533147B2/ja
Priority to EP16861841.1A priority patent/EP3372142A4/en
Priority to PCT/JP2016/077502 priority patent/WO2017077772A1/ja
Publication of JP2017086303A publication Critical patent/JP2017086303A/ja
Priority to US15/969,779 priority patent/US10939856B2/en
Application granted granted Critical
Publication of JP6533147B2 publication Critical patent/JP6533147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14503Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue invasive, e.g. introduced into the body by a catheter or needle or using implanted sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging

Description

本発明は、観察対象の光散乱に関する特徴を画像化するプロセッサ装置、内視鏡システム、及び画像処理方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に、観察対象を自然に観察するだけでなく、照明光の波長を工夫したり、観察対象を撮影した画像に分光推定処理等の処理を施したりすることによって、血管や腺管構造等の特定の組織や構造を強調した画像を得る内視鏡システムが普及している。
また、特定の組織や構造を強調するのではなく、観察対象の光散乱特性を画像化することで、病変を発見できるようにした内視鏡システムも知られている(特許文献1)。特許文献1の内視鏡システムは、波長が420nm、450nm、及び470nmの3つの青色波長帯域の画像を取得し、これらの画像を用いて観察対象の分光スペクトルを画素ごとに推定する。そして、推定した分光スペクトルから、観察対象の粒径の平均や標準偏差等の光散乱に関する特徴量を算出する。分光スペクトルを推定する際には、観察対象中の散乱粒子が波長と同程度のサイズであり、いわゆるミー散乱にしたがうことを仮定している。
特開2004−202217号公報
上記のように、特許文献1の内視鏡システムは、3つの青色波長帯域の光を使用し、病変に内在する散乱粒子がミー散乱にしたがうことを前提として、光散乱に関する特徴量を算出している。このため、特許文献1の内視鏡システムが提供する画像で発見できる病変は、基本的に、内在する散乱粒子がミー散乱にしたがう病変に限られる。
また、多くの病変に内在する散乱粒子がミー散乱にしたがう特性を有していることは事実であるが、これは病変がある程度進行した後のことであり、発生の極初期には、内在する散乱粒子がミー散乱にしたがう大きさに発達しているとは限らない。したがって、病変に内在する散乱粒子がミー散乱にしたがうと仮定する限り、このような発生の極初期の病変は発見することができない。
本発明は、特定の散乱モデルにしたがう散乱粒子が内在する病変だけでなく、様々な病変を発見することができるプロセッサ装置、内視鏡システム、及び画像処理方法を提供することを目的とする。
本発明のプロセッサ装置は、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の画像を取得する画像取得部と、3波長帯域の画像から色情報を取得し、前記色情報を用いて、観察対象の散乱特性を表す散乱特徴量を算出する散乱特徴量算出部と、散乱特徴量の分布を表す散乱特徴量画像を生成する画像生成部と、を備え、散乱特徴量算出部は、赤色波長帯域の画像と緑色波長帯域の画像の比と、緑色波長帯域の画像と青色波長帯域の画像の比と、を上記色情報として算出し、算出した比を用いて散乱特徴量を算出する。
青色波長帯域、緑色波長帯域、及び赤色波長帯域は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が等しい等吸収波長帯域を含むことが好ましい。
散乱特徴量算出部は、散乱特徴量として、観察対象の散乱係数の波長依存性を表すパラメータを算出することが好ましい。
色情報を軸にして形成され、波長「λ」と、観察対象の散乱係数μと、散乱特徴量「b」との関係が式1で定義される色情報空間において、散乱特徴量算出部は色情報に対応する散乱特徴量「b」を算出することが好ましい。
式1: μ∝λ−b
画像取得部は、3波長帯域と比較して、ヘモグロビンの吸光係数と、還元ヘモグロビンの吸光係数に差がある第4の波長帯域の画像を取得し、第4の波長帯域の画像を用いて観察対象の酸素飽和度を算出する酸素飽和度算出部を備え、画像生成部は、散乱特徴量の分布に加え、酸素飽和度の分布も表す散乱特徴量画像を生成することが好ましい。
画像生成部は、散乱特徴量と酸素飽和度にそれぞれ範囲を設定し、散乱特徴量が設定した範囲にあり、かつ、酸素飽和度が設定した範囲にある部分を強調した散乱特徴量画像を生成することが好ましい。
画像生成部は、散乱特徴量を第1閾値と比較し、散乱特徴量が第1閾値以下の部分を強調した散乱特徴量画像を生成することが好ましい。
画像生成部は、酸素飽和度を第2閾値と比較し、酸素飽和度が第2閾値以下の部分を強調した散乱特徴量画像を生成することが好ましい。
本発明の内視鏡システムは、照明光を発光する光源と、光源に接続された内視鏡とを備える内視鏡システムにおいて、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の画像を取得する画像取得部と、3波長帯域の画像を用いて観察対象の散乱特性を表す散乱特徴量を算出する散乱特徴量算出部と、散乱特徴量の分布を表す散乱特徴量画像を生成する画像生成部と、を有するプロセッサ装置をさらに備え、散乱特徴量算出部は、赤色波長帯域の画像と緑色波長帯域の画像の比と、緑色波長帯域の画像と青色波長帯域の画像の比と、を算出し、算出した比を用いて散乱特徴量を算出する
本発明の画像処理方法は、画像取得部が、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の画像を取得するステップと、散乱特徴量算出部が、3波長帯域の画像を用いて観察対象の散乱特性を表す散乱特徴量を算出するステップと、画像生成部が、散乱特徴量の分布を表す散乱特徴量画像を生成するステップと、を、内視鏡システムのプロセッサ装置が実行し、散乱特徴量算出部は、赤色波長帯域の画像と緑色波長帯域の画像の比と、緑色波長帯域の画像と青色波長帯域の画像の比と、を算出し、算出した比を用いて散乱特徴量を算出する
本発明のプロセッサ装置、内視鏡システム、及び画像処理方法は、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の画像を取得し、これらを用いて観察対象の散乱特性を算出するので、特定の散乱モデルにしたがう散乱粒子が内在する病変だけでなく、様々な病変を発見することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 ヘモグロビンの吸光係数を示すグラフである。 特殊処理部のブロック図である。 散乱係数の波長依存性を示すグラフである。 散乱特徴量LUTの内容を示すグラフである。 散乱特徴量観察モードの動作の流れを示すフローチャートである。 画像取得部が取得する画像である。 ベース画像である。 散乱特徴量画像である。 第2実施形態の特殊処理部63のブロック図である。 酸素飽和度LUTの内容を示すグラフである。 第2実施形態の散乱特徴量画像である。 酸素飽和度画像である。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ13a、ズーム操作部13bが設けられている。モード切り替えスイッチ13aは、観察モードの切り替え操作に用いる。内視鏡システム10は、通常観察モードと散乱特徴量観察モードの2つの観察モードを有している。通常観察モードは、白色光を照射して観察対象を撮影し、自然な色合いの画像(以下、通常画像という)をモニタ18に表示する観察モードである。散乱特徴量観察モードは、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の光を用いて観察対象を撮影して得られる3波長帯域の画像を用いて観察対象の散乱特性を表す散乱特徴量を算出し、散乱特徴量の分布を表す散乱特徴量画像を生成及び表示する観察モードである。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、照明光を発光する光源20と、光源20の駆動を制御する光源制御部22と、を備えている。
光源20は、例えば複数色のLED(Light Emitting Diode)で構成され、通常観察モード時には白色光を発光する。また、散乱特徴量観察モード時には、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の光を順次発光する。より具体的には、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域は、いずれも酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい等吸収波長帯域を含む。光源20が散乱特徴量観察モード時に発光する光の波長帯域を、等吸収波長帯域を含む波長帯域にするのは、散乱特徴量を算出する際に、酸化ヘモグロビンと還元ヘモグロビンの吸光量の違いによる影響(誤差等)を低減するためである。
図3に示すように、酸化ヘモグロビンの吸光係数μ(グラフ90)と、還元ヘモグロビンの吸光係数μ(グラフ91)の波長依存性には違いがあるが、これらが交差して酸化ヘモグロビンと還元ヘモグロビンの吸光係数μがほぼ等しくなる等吸収波長帯域が複数ある。例えば、450±10nmの波長帯域は、いわゆる青色波長帯域であり、かつ、等吸収波長帯域である。また、540±10nmの波長帯域は、いわゆる緑色波長帯域であり、かつ、等吸収波長帯域である。図3では、いわゆる赤色波長帯域においてグラフ90及びグラフ91の差が大きいが、これは縦軸を対数にしているからである。青色波長帯域の光や緑色波長帯域の光に比べて、赤色波長帯域の光は酸化ヘモグロビン及び還元ヘモグロビンの吸光量が非常に小さいので、赤色波長帯域は実質的にほぼ等吸収波長帯域とみなせる。これらのことから、本実施形態では、散乱特徴量観察モードの際に、光源20は、450±10nmの青色波長帯域の光と、540±10nmの緑色波長帯域の光と、620±10nmの赤色波長帯域の光を発光する。なお、本実施形態では、上記のように、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域を、等吸収波長帯域にほぼ一致する波長帯域にしているが、これら3波長帯域は等吸収波長帯域に厳密に一致する必要はない。例えば、青色波長帯域は、等吸収波長帯域を含み、全体として、酸化ヘモグロビンと還元ヘモグロビンの吸光量にほぼ差がない状態となっていれば良い。等吸収波長帯域を含む波長帯域にすれば、この条件を満たしやすい。緑色波長帯域及び赤色波長帯域も同様である。
なお、光源20は、LEDの代わりに、LD(Laser Diode)と蛍光体や、キセノンランプ等のランプを用いることができる。光源20は、必要に応じて、出射する光の波長帯域を制限する帯域制限フィルタを含む。また、本実施形態では、散乱特徴量観察モード時に、光源20は3波長帯域の光を順次発光するが、これらを同時に発光しても良い。
光源制御部22は、光源20が発光する光の色(波長帯域)、分光スペクトル、発光タイミング、及び発光量等を制御する。例えば、モード切り替えスイッチ13aの操作により、光源制御部22は光源20が発光する光を、通常観察モード用の白色光と、散乱特徴量観察モード用の3波長帯域の光とで切り替える。
光源20が発光した光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた経がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、イメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光や散乱光等(観察対象が発する蛍光や観察対象に投与した薬剤による蛍光を含む)によって観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13bの操作によって移動し、イメージセンサ48で撮影する観察対象を拡大または縮小する。
イメージセンサ48は、原色系のカラーセンサであり、青色カラーフィルタが設けられたB画素(青色画素)、緑色カラーフィルタが設けられたG画素(緑色画素)、及び、赤色カラーフィルタが設けられたR画素(赤色画素)の3種類の画素を有する。このため、イメージセンサ48で観察対象を撮影すると、B画像(青色画像)、G画像(緑色画像)、及び、R画像(赤色画像)の3種類の画像が得られる。
なお、イメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及びグリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に得られる各色の画像は上記実施形態と同様のB画像、G画像、及びR画像に変換することができる。また、イメージセンサ48にはカラーフィルタを有しないモノクロのセンサを用いることもできる。イメージセンサ48にモノクロのセンサを使用する場合には、例えば青色波長帯域、緑色波長帯域、及び赤色波長帯域の光を観察対象に順次照射して撮影することで、B画像、G画像、及びR画像を得ることができる。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を備える。制御部52は、モード切り替えスイッチ13aからモード切り替え信号の入力を受け、光源制御部22及びイメージセンサ48を制御し、観察モードを切り替える。具体的には、制御部52は、光源制御部22に対する照明光の種類や光量の指定、イメージセンサ48の露光時間の長さや画像出力時のゲイン等の制御、撮影フレームと照明光の切り替えタイミングの同期制御等をする。
画像取得部54は、イメージセンサ48から各色の画像を取得する。通常観察モードの場合には、観察対象に白色光を照射して撮影したB画像、G画像、及びR画像の3色の分光画像をイメージセンサ48から取得する。同様に、散乱特徴量観察モード時には、光源20が発光する3波長帯域の光にそれぞれ対応する3色の分光画像をイメージセンサ48から取得する。但し、散乱特徴量観察モード時に画像取得部54が取得する画像は、観察対象に青色かつ等吸収波長帯域の光を照射して撮影したB画像、観察対象に緑色かつ等吸収波長帯域の光を照射して撮影したG画像、及び、観察対象に赤色かつ等吸収波長帯域の光を照射して撮影したR画像である。
画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらによって取得した画像に各種処理を施す。
DSP56は、取得した画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を除き、正確な零レベルが設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、イメージセンサ48において他の色の画素が配置されているために画素値がない画素である。例えば、B画像はB画素で観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度画像Yと色差画像Cb及び色差画像Crに変換する処理である。
ノイズ低減部58は、輝度画像Y、色差画像Cb及び色差画像Crに対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度画像Y、色差画像Cb及び色差画像Crを再びBGRの各色の画像に再変換する。
画像処理部61は、通常処理部62と、特殊処理部63とを有する。通常処理部62は、通常観察モード時に作動し、BGR各色の画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などを行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の構造を強調する処理である。表示制御部66は、通常処理部62から取得する通常画像を表示に適した形式に変換してモニタ18に入力する。これにより、モニタ18は通常画像を表示する。
特殊処理部63は、散乱特徴量観察モード時に作動し、散乱特徴量観察モード時に得る3波長帯域の画像を用いて観察対象の散乱特性を表す散乱特徴量を算出し、散乱特徴量の分布を表す散乱特徴量画像を生成する。このため、図4に示すように、特殊処理部63は、散乱特徴量算出部71と、LUT記憶部72と、画像生成部74と、を備える。
散乱特徴量算出部71は、3波長帯域の画像から色情報を取得し、この色情報を用いて観察対象の散乱特性を表す散乱特徴量を算出する。色情報とは、観察対象の色のバランスに関する情報であり、例えば、3波長帯域の画像の比または差である。また、散乱特徴量算出部71は、色情報を画素ごとに取得する。
本実施形態では、散乱特徴量算出部71は、G画像とB画像の比G/Bと、R画像とG画像の比R/Gを画素ごとに算出する。すなわち、3波長帯域の画像から取得する色情報は、これら2個の比G/B及び比R/Gである。比G/Bの値は主に血液量と散乱特徴量に依存し、比R/Gの値は主に血液量に依存するので、これら2個の色情報を用いることで血液量に依存しない散乱特徴量を求める。
また、散乱特徴量観察モードで等吸収波長帯域の光を用いることで、酸化ヘモグロビンと還元ヘモグロビンの量的相違(いわゆる酸素飽和度)の影響もほとんどない。したがって、散乱特徴量算出部71は、比G/B及び比R/Gの2個の色情報を用いて正確な散乱特徴量を算出することができる。
散乱特徴量算出部71が算出する散乱特徴量とは、散乱係数μの波長依存性を表すパラメータであり、図5に示すように、観察対象が一様な組織である場合、散乱係数μと波長λとの間には「μ∝λ−b」の関係がある。この関係式の「指数b」が本発明でいう「散乱特徴量」である。以下、指数bを散乱特徴量bという。
観察対象が含む散乱粒子(光散乱に寄与する組織や構造等)のサイズが小さいほど、散乱特徴量bは大きくなる。そして、散乱粒子が波長λと比較して十分に小さい(レイリー散乱)とみなせる極限では、散乱特徴量bはb=4に収束する。一方、観察対象が含む散乱粒子が大きいほど指数bは小さくなり、散乱粒子が波長λと同程度(ミー散乱)とみなせるサイズから波長λよりも十分に大きい(幾何光学的な散乱)とみなせる極限では、散乱特徴量bはb=0に漸近する。但し、消化管の粘膜等の現実的な観察対象では、散乱特徴量bは概ねb=0.6程度の値に収束する。
散乱特徴量算出部71は、LUT記憶部72に予め記憶している散乱特徴量LUT75を参照して、散乱特徴量を算出する。散乱特徴量LUT75は、散乱特徴量算出部71が取得する色情報を散乱特徴量bに対応付ける色情報空間を表すデータ構造である。散乱特徴量LUT75が表す色情報空間は、散乱特徴量算出部71が取得する色情報を軸にして形成され、かつ、観察対象の散乱係数μと散乱特徴量bとの関係が「μ∝λ−b」で定義される。
本実施形態の場合、散乱特徴量算出部71は色情報として比G/B及び比R/Gを取得するので、図6に示すように、散乱特徴量LUT75は、比G/B及び比R/Gを軸とする空間に、散乱特徴量bの等値線を定義した2次元のマップである。また、散乱特徴量LUT75は、この色情報空間をlogスケールで記憶している。比G/B及び比R/Gを軸とする空間における散乱特徴量bの等値線は、例えば、光散乱の物理的なシミュレーションによって得られる。
例えば、3波長帯域の画像のうち、観察対象の同じ部分を表すある画素の画素値が(B,G,R)=(B,G,R)である場合、この画素の色情報は、比G/B及び比R/Gである。このため、散乱特徴量算出部71は、散乱特徴量LUT75を参照し、比G/B及び比R/Gに対応する散乱特徴量bの値(図6ではb=3)を求める。
画像生成部74は、散乱特徴量算出部71が算出した散乱特徴量bの分布を表す散乱特徴量画像を生成する。具体的には、画像生成部74は、散乱特徴量画像のベースになる画像(以下、ベース画像という)81(図9参照)を生成する。ベース画像81は、3波長帯域の画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施して生成する。すなわち、ベース画像81は、3波長帯域の画像を用いて生成する通常画像である。ベース画像81を生成すると、画像生成部74は、散乱特徴量算出部71が算出した散乱特徴量bを用いてベース画像81に色付けをし、色によって散乱特徴量bの分布を表す散乱特徴量画像82(図10参照)を生成する。画像生成部74は、例えば、散乱特徴量bが大きい画素ほど青味が増すようにベース画像81の色調を変調する。
散乱特徴量観察モードの場合、表示制御部66は、画像生成部74から散乱特徴量画像82を取得し、取得した散乱特徴量画像82を表示に適した形式に変換してモニタ18に表示する。
次に、散乱特徴量観察モードの内視鏡システム10の動作の流れを図7に示すフローチャートに沿って説明する。モード切り替えスイッチ13aを用いて観察モードを散乱特徴量観察モードに切り替えると、光源20は青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の光を順次発光し、イメージセンサ48は観察対象を撮影する。これにより、画像取得部54は3波長帯域の画像を取得する(S11)。図8に示すように、画像取得部54が取得するB画像(B)、G画像(G)、及びR画像(R)は、観察対象の起伏等を観察することができる。
画像取得部54が3波長帯域の画像を取得すると、散乱特徴量算出部71は、これらの画像から色情報を取得する。すなわち、散乱特徴量算出部71は、比G/B及び比R/Gを画素ごとに算出する(S12)。そして、散乱特徴量算出部71は、散乱特徴量LUT75を参照し、各画素の比G/B及び比R/Gの値に対応する散乱特徴量bを算出する(S13)。
一方、画像取得部54が3波長帯域の画像を取得すると、図9に示すように、画像生成部74は、これらの画像を用いてベース画像81を生成する(S14)。ベース画像81によれば、通常画像とほぼ同様に、観察対象の起伏等を自然な色合いで観察することができる。また、画像生成部74は散乱特徴量算出部71から散乱特徴量bを取得し、図10に示すように、生成したベース画像81に散乱特徴量bに値によって色付けをすることで、散乱特徴量画像82を生成する(S15)。表示制御部66は、散乱特徴量画像82を散乱特徴量bの値と色付けした色との関係を示すカラースケール83とともにモニタ18に表示する。
上記のように、内視鏡システム10は、散乱特徴量bの分布を表す散乱特徴量画像82を生成及び表示する。散乱特徴量画像82は、観察対象の散乱特徴量bの分布を色で表す画像であり、B画像、G画像、R画像、及びベース画像81や、従来の内視鏡システムで生成及び表示する内視鏡画像では観察できない組織構造を可視化する。また、散乱特徴量画像82によれば、病変が初期段階等で従来の内視鏡画像では観察し難い組織構造の変性も、正常部分に対して散乱特徴量bに変化があれば観察することができる。すなわち、内視鏡システム10によれば、特定の散乱モデルにしたがう散乱粒子が内在する病変だけでなく、様々な病変を発見することができる。
散乱特徴量bの算出方法から分かるように、散乱特徴量bを算出することができるのは、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の画像を使用するからである。例えば、青色波長帯域の画像を複数使用しても、本発明の散乱特徴量bを算出することはできない。また、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域を等吸収波長帯域にしていることで、診断に堪える散乱特徴量bを特に算出しやすくしている。
なお、内視鏡システム10は、散乱特徴量画像82によって散乱特徴量bの分布を可視化するのであって、光散乱に関して特定の性質を有する部分(例えばb=0の部分)のみを強調するのとは異なる。光散乱に関して特定の性質を有する部分のみを強調するのは、特定の大きさの散乱粒子を含む部分を強調するのと同じである。したがって、例えば、光散乱に関して特定の性質を有する部分だけを強調するシステムでは、病状の進行によって散乱粒子のサイズが変化するタイプの病変の場合、散乱粒子が特定の大きさになるまでは病変を捉えることはできない。一方、内視鏡システム10では、散乱特徴量bを算出し、その分布を画像化するので、病状の進行によって散乱粒子のサイズが変化するタイプの病変でも、散乱粒子のサイズに変化が生じて散乱特徴量bに変化があれば病変を捉えることができる。
上記第1実施形態では、散乱特徴量bの値によってベース画像81に色付けをして散乱特徴量画像82を生成しているが、散乱特徴量bに範囲を設定し、散乱特徴量bが設定した範囲内の値を有する部分に色付けをして散乱特徴量画像82を生成しても良い。例えば、1<b<3を満たす画素にだけ色付けをしても良い。
また、上記第1実施形態では、散乱特徴量観察モードで使用する光の波長帯域を、青色波長帯域は450±10nmにし、緑色波長帯域は540±10nmにし、赤色波長帯域は620±10nmにしているが、散乱特徴量観察モードで使用する3波長帯域の光の各波長帯域は他の波長帯域にしても良い。
例えば、青色波長帯域では、390±10nm、420±10nm、及び500±10nmの各近傍にも等吸収波長帯域がある(図3参照)。このため、450±10nmの波長帯域以外にもこれらの各波長帯域を散乱特徴量観察モードの青色波長帯域の光として使用することができる。但し、特に青色波長帯域では、短波長帯域ほど血管やピットパターン等の微細な組織や構造がよく観察できるようになるので、観察対象を一様な組織とみなし難くなる。散乱係数μが波長λとの間に「μ∝λ−b」の関係は観察対象が一様な組織に近い場合なので、青色波長帯域の光の波長帯域が短いほど、誤差が大きくなる場合がある。また、500±10nm近傍は緑色波長帯域に近く、この等吸収波長帯域を使用すると相対的に比G/Bの値の変化を捉えにくい。このため、散乱特徴量観察モードで使用する青色波長帯域の光は、450±10nm近傍の等吸収波長帯域が最も好適である。
緑色波長帯域にも520±10nmや570±10nm等の等吸収波長帯域があるので、これらの等吸収波長帯域の光を、散乱特徴量観察モードの緑色波長帯域の光として使用することができる。また、赤色波長帯域では、酸化ヘモグロビン及び還元ヘモグロビンの吸光係数は小さいので、ほぼ任意の波長帯域を散乱特徴量観察モードの赤色波長帯域の光として使用することができる。但し、観察対象の部位等にもよるが、観察対象からの蛍光等の発光が増大する波長帯域の使用は避けたほうが良い。
なお、上記第1実施形態では、散乱特徴量画像82をモニタ18に表示するが、散乱特徴量画像82とベース画像81(あるいは通常観察モードで生成した通常画像)を並べてモニタ18に表示しても良い。また、散乱特徴量画像82とベース画像81(通常画像)の表示を任意に切り替えられるようにしても良い。
[第2実施形態]
上記第1実施形態では、散乱特徴量bを用いてベース画像81に色付けをして散乱特徴量画像82を生成しているが、散乱特徴量画像82を生成する際には、散乱特徴量b以外の生体情報等を加味してベース画像81に色付けをしてもよい。
例えば、観察対象の酸素飽和度を算出し、散乱特徴量bだけでなく、酸素飽和度の値も考慮して散乱特徴量画像82を生成することができる。この場合、光源20は、第1実施形態の青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の光の他に、観察対象の酸素飽和度を測定するための第4の波長帯域の光を発光する。青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域が等吸収波長帯域であるのに対し、第4の波長帯域は、観察対象が含む酸化ヘモグロビンの吸光係数と還元ヘモグロビンの吸光係数に差がある波長帯域である。本実施形態では、酸化ヘモグロビンと還元ヘモグロビンの吸光係数μの差が極大になる波長帯域であり、例えば、430±10nmや470±10nm等の青色波長帯域である(図3参照)。本実施形態では、470±10nmの波長帯域の光を、第4の波長帯域の光として使用する。このため、画像取得部54は、青色波長帯域の画像(B画像)、緑色波長帯域の画像(G画像)、及び赤色波長帯域の画像(R画像)に加え、第4の波長帯域の画像(B画像との区別のため、以下、B470画像という)を取得する。
そして、図11に示すように、特殊処理部63は、散乱特徴量算出部71及び画像生成部74に加え、酸素飽和度算出部271を備える。また、LUT記憶部72には、散乱特徴量LUT75の他に、酸素飽和度LUT275を予め記憶しておく。
酸素飽和度算出部271は、画像取得部54が取得する画像を用いて観察対象の酸素飽和度を算出する。酸素飽和度を算出する際、酸素飽和度算出部271は、まず、画像取得部54が取得する画像から色情報を取得する。具体的には、酸素飽和度算出部271は、B470画像とG画像の比B470/Gと、R画像とG画像の比R/Gを画素ごとに算出する。比B470/Gは、主に酸素飽和度と血液量に依存する。また、第1実施形態でも言及したように、比R/Gは血液量に依存する。したがって、比B470/Gと比R/Gの2個の色情報を用いることで血液量に依存しない酸素飽和度を算出することができる。
酸素飽和度算出部271は、上記のように比B470/G及び比R/Gを算出すると、酸素飽和度LUT275を参照して酸素飽和度を算出する。酸素飽和度LUT275は、酸素飽和度算出部271が取得する色情報を酸素飽和度に対応付ける色情報空間を表すデータ構造である。酸素飽和度LUT275が表す色情報空間は、酸素飽和度算出部271が取得する色情報を軸とする空間に、酸素飽和度の等値線を定義したマップである。本実施形態では、酸素飽和度算出部271は比B470/G及び比R/Gの2個の色情報を取得するので、図12に示すように、酸素飽和度LUT275は比B470/G及び比R/Gを軸とする2次元空間内に酸素飽和度の等値線を定義した2次元のマップである。なお、酸素飽和度LUT275は、この色情報空間をlogスケールで記憶している。また、色情報(比B470/G及び比R/G)に対する酸素飽和度の等値線は、例えば、光散乱の物理的なシミュレーションによって得られる。
B画像、G画像、R画像、及びB470画像のうち、観察対象の同じ部分を表すある画素の画素値が(B,G,R,B470)=(B,G,R,B470 )である場合、この画素の色情報は、比B470 /G及び比R/Gである。このため、酸素飽和度算出部271は、酸素飽和度LUT275を参照し、比B470 /G及び比R/Gに対応する酸素飽和度の値(図12では「60%」)を求める。
酸素飽和度算出部271による酸素飽和度の算出と並行して、散乱特徴量算出部71は、画素ごとに散乱特徴量bを算出する。散乱特徴量算出部71がB画像、G画像、及びR画像から色情報(比G/B及び比R/G)を取得し、散乱特徴量LUT75を参照して散乱特徴量bを算出するのは第1実施形態と同様である。
画像生成部74は、散乱特徴量算出部71から散乱特徴量bを取得し、かつ、酸素飽和度算出部271から酸素飽和度を取得し、これらを用いて散乱特徴量画像282(図13参照)を生成する。具体的には、画像生成部74は、まず、第1実施形態と同様に、B画像、G画像、及びR画像を用いてベース画像81を生成する(図9参照)。
そして、画像生成部74は、散乱特徴量bと酸素飽和度にそれぞれ範囲を設定し、ベース画像81に対して、散乱特徴量bが設定した範囲にあり、かつ、酸素飽和度が設定した範囲にある部分283に色付けをする。これにより、図13に示すように、散乱特徴量bが設定した範囲にあり、かつ、酸素飽和度が設定した範囲にある部分283を強調した散乱特徴量画像282を生成する。このため、散乱特徴量画像282は、散乱特徴量bの分布に加え、酸素飽和度の分布も表す。
散乱特徴量b及び酸素飽和度の範囲は、例えば、設定入力等により予め定める閾値によって設定する。本実施形態では、画像生成部74は、散乱特徴量bに対して第1閾値Th1(例えばTh1=3.5)を定め、酸素飽和度に対して第2閾値Th2(例えばTh2=60%)を設定する。そして、各画素の散乱特徴量bを第1閾値Th1と比較し、かつ、各画素の酸素飽和度を第2閾値Th2と比較し、散乱特徴量bが第1閾値Th1以下(b=0以上)であり、かつ、酸素飽和度が第2閾値Th2以下(0%以上)である部分283を強調する。
散乱特徴量bが第1閾値Th1以下の部分を強調するのは、病変の種類等にもよるが、正常な部分の散乱特徴量bに対して病変部分の散乱特徴量bは概ね小さい値になるからである。同様に、酸素飽和度が第2閾値Th2以下の部分を強調するのは、病変部分の酸素飽和度は、正常な部分の酸素飽和度(約70%)に対して概ね小さくなるからである。したがって、散乱特徴量bが第1閾値Th1以下であり、かつ、酸素飽和度が第2閾値Th2以下である部分283は、特に病変である可能性が高い部分である。このため、散乱特徴量画像282は、第1実施形態の散乱特徴量画像82よりも、病変の確度が高い部分をピンポイントに明示することができる。
なお、上記第2実施形態では、第1閾値Th1によって散乱特徴量bに対して上限を設定し、下限は散乱特徴量bの自然な下限値(b=0)としているが、下限についても明示的に設定することができる。この場合、上記第1閾値Th1は、散乱特徴量bに設定する範囲の上限値と下限値の組になる。例えば、第1閾値Th1を、上限値U1と下限値L1の組とし、散乱特徴量bが上限値U1以下かつ下限値L1以上の部分を強調する部分の候補とすることができる。
同様に、上記第2実施形態では、第2閾値Th2によって酸素飽和度に対して上限を設定し、下限は酸素飽和度の自然な下限値(0%)としているが、下限についても明示的に設定することができる。例えば、第2閾値Th2を、酸素飽和度に対する上限値U2と下限値L2の組とし、酸素飽和度が上限値U2以下かつ下限値L2以上の部分を強調する部分の候補とすることができる。
上記第2実施形態の散乱特徴量画像282は、散乱特徴量bが設定した範囲にあり、かつ、酸素飽和度が設定した範囲にある部分283に色付けをしているが、少なくとも散乱特徴量bの値によって着色の有無の違いが生じているので、散乱特徴量bの分布を表す画像である。
なお、着色する部分283の色等は、任意に設定することができる。すなわち、着色する部分283は上記第2実施形態のとおり選定し、選定した部分283をどのように着色するかは任意である。着色する部分283は、青色等の単色で部分283の全体を着色しても良いが、部分283の色等は、散乱特徴量b、酸素飽和度、または、散乱特徴量b及び酸素飽和度の値によって設定することが好ましい。例えば、部分283の全体を同一色で着色する場合、その色は、散乱特徴量b、酸素飽和度、または、散乱特徴量b及び酸素飽和度の値によって決定することができる。部分283の散乱特徴量bの統計量(平均値、最大値、最小値、中央値等)が所定値以下場合には青色に着色し、部分283の散乱特徴量bの統計量が所定位置より大きい場合にはより明るい青色に着色する等である。
また、散乱特徴量b、酸素飽和度、または、散乱特徴量b及び酸素飽和度の値によって、何色に着色するかを部分283の中で画素ごとに変えても良い。例えば、散乱特徴量bが1以下の画素は青色に着色し、散乱特徴量bが1より大きく2以下の画素は緑色に着色する等である。
上記第2実施形態では、画像生成部74は、散乱特徴量画像282を生成しているが、第2実施形態の画像生成部74は、第1実施形態と同様の散乱特徴量画像82や観察対象の酸素飽和度を表す酸素飽和度画像290を生成することができる。図14に示すように、酸素飽和度画像290は、酸素飽和度によってベース画像81に色付けをした画像である。カラースケール291は、酸素飽和度画像290の色と酸素飽和度の値の対応関係を示す。表示制御部66は、散乱特徴量画像82、散乱特徴量画像282、及び酸素飽和度画像290のうちの2以上をモニタ18に並べて表示することができる。また表示制御部66は、散乱特徴量画像82、散乱特徴量画像282、及び酸素飽和度画像290を操作に応じて切り替えて表示することができる。
なお、上記第1実施形態及び第2実施形態では、散乱特徴量観察モードの場合、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の光を順次照射して観察対象を撮影しているが、イメージセンサ48がカラーセンサの場合には、これらを同時に照射してB画像、G画像、及びR画像を同時に得ることができる。
なお、上記第1実施形態及び第2実施形態では、イメージセンサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システムによって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図15に示すように、カプセル内視鏡システムでは、カプセル内視鏡700と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡700は、光源702と制御部703と、イメージセンサ704と、画像処理部706と、送受信アンテナ708と、を備えている。光源702は、光源20に対応する。制御部703は、光源制御部22及び制御部52と同様に機能する。また、制御部703は、送受信アンテナ708によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第1実施形態または第2実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部54及び画像処理部61に対応する画像処理部706はカプセル内視鏡700に設けられ、生成した散乱特徴量画像82等は、送受信アンテナ708を介してプロセッサ装置に送信される。イメージセンサ704はイメージセンサ48と同様に構成される。
10 内視鏡システム
16 プロセッサ装置
54 画像取得部
61 画像処理部
62 通常処理部
63 特殊処理部
71 散乱特徴量算出部
72 LUT記憶部
74 画像生成部
75 散乱特徴量LUT
271 酸素飽和度算出部
275 酸素飽和度LUT
700 カプセル内視鏡

Claims (10)

  1. 青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の画像を取得する画像取得部と、
    前記3波長帯域の画像から色情報を取得し、前記色情報を用いて、観察対象の散乱特性を表す散乱特徴量を算出する散乱特徴量算出部と、
    前記散乱特徴量の分布を表す散乱特徴量画像を生成する画像生成部と、
    を備え、
    前記散乱特徴量算出部は、前記赤色波長帯域の画像と前記緑色波長帯域の画像の比と、前記緑色波長帯域の画像と前記青色波長帯域の画像の比と、を前記色情報として算出し、算出した前記比を用いて前記散乱特徴量を算出するプロセッサ装置。
  2. 前記青色波長帯域、前記緑色波長帯域、及び前記赤色波長帯域は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が等しい等吸収波長帯域を含む請求項1に記載のプロセッサ装置。
  3. 前記散乱特徴量算出部は、前記散乱特徴量として、前記観察対象の散乱係数の波長依存性を表すパラメータを算出する請求項1または2に記載のプロセッサ装置。
  4. 前記色情報を軸にして形成され、波長「λ」と、前記観察対象の散乱係数μsと、前記散乱特徴量「b」との関係が式1で定義される色情報空間において、前記散乱特徴量算出部は前記色情報に対応する前記散乱特徴量「b」を算出する請求項3に記載のプロセッサ装置。
    式1: μs∝λ-b
  5. 前記画像取得部は、前記3波長帯域と比較して、ヘモグロビンの吸光係数と、還元ヘモグロビンの吸光係数に差がある第4の波長帯域の画像を取得し、
    前記第4の波長帯域の画像を用いて前記観察対象の酸素飽和度を算出する酸素飽和度算出部を備え、
    前記画像生成部は、前記散乱特徴量の分布に加え、酸素飽和度の分布も表す前記散乱特徴量画像を生成する請求項1〜4のいずれか1項に記載のプロセッサ装置。
  6. 前記画像生成部は、前記散乱特徴量と前記酸素飽和度にそれぞれ範囲を設定し、前記散乱特徴量が設定した範囲にあり、かつ、前記酸素飽和度が設定した範囲にある部分を強調した前記散乱特徴量画像を生成する請求項5に記載のプロセッサ装置。
  7. 前記画像生成部は、前記散乱特徴量を第1閾値と比較し、前記散乱特徴量が前記第1閾値以下の部分を強調した前記散乱特徴量画像を生成する請求項6に記載のプロセッサ装置。
  8. 前記画像生成部は、前記酸素飽和度を第2閾値と比較し、前記酸素飽和度が前記第2閾値以下の部分を強調した前記散乱特徴量画像を生成する請求項6または7に記載のプロセッサ装置。
  9. 照明光を発光する光源と、前記光源に接続された内視鏡とを備える内視鏡システムにおいて、
    青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の画像を取得する画像取得部と、
    前記3波長帯域の画像を用いて観察対象の散乱特性を表す散乱特徴量を算出する散乱特徴量算出部と、
    前記散乱特徴量の分布を表す散乱特徴量画像を生成する画像生成部と、
    有するプロセッサ装置をさらに備え、
    前記散乱特徴量算出部は、前記赤色波長帯域の画像と前記緑色波長帯域の画像の比と、前記緑色波長帯域の画像と前記青色波長帯域の画像の比と、を算出し、算出した前記比を用いて前記散乱特徴量を算出する内視鏡システム。
  10. 画像取得部が、青色波長帯域、緑色波長帯域、及び赤色波長帯域の3波長帯域の画像を取得するステップと、
    散乱特徴量算出部が、前記3波長帯域の画像を用いて観察対象の散乱特性を表す散乱特徴量を算出するステップと、
    画像生成部が、前記散乱特徴量の分布を表す散乱特徴量画像を生成するステップと、
    、内視鏡システムのプロセッサ装置が実行し、
    前記散乱特徴量算出部は、前記赤色波長帯域の画像と前記緑色波長帯域の画像の比と、前記緑色波長帯域の画像と前記青色波長帯域の画像の比と、を算出し、算出した前記比を用いて前記散乱特徴量を算出する画像処理方法。
JP2015218343A 2015-11-06 2015-11-06 プロセッサ装置、内視鏡システム、及び画像処理方法 Active JP6533147B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015218343A JP6533147B2 (ja) 2015-11-06 2015-11-06 プロセッサ装置、内視鏡システム、及び画像処理方法
EP16861841.1A EP3372142A4 (en) 2015-11-06 2016-09-16 Processor device, endoscope system, and image-processing method
PCT/JP2016/077502 WO2017077772A1 (ja) 2015-11-06 2016-09-16 プロセッサ装置、内視鏡システム、及び画像処理方法
US15/969,779 US10939856B2 (en) 2015-11-06 2018-05-03 Processor device, endoscope system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015218343A JP6533147B2 (ja) 2015-11-06 2015-11-06 プロセッサ装置、内視鏡システム、及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2017086303A JP2017086303A (ja) 2017-05-25
JP6533147B2 true JP6533147B2 (ja) 2019-06-19

Family

ID=58661788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015218343A Active JP6533147B2 (ja) 2015-11-06 2015-11-06 プロセッサ装置、内視鏡システム、及び画像処理方法

Country Status (4)

Country Link
US (1) US10939856B2 (ja)
EP (1) EP3372142A4 (ja)
JP (1) JP6533147B2 (ja)
WO (1) WO2017077772A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
WO2015093295A1 (ja) * 2013-12-20 2015-06-25 オリンパス株式会社 内視鏡装置
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
JP7090699B2 (ja) * 2018-05-17 2022-06-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4632645B2 (ja) * 2002-12-12 2011-02-16 オリンパス株式会社 イメージング装置およびプロセッサ装置
US20080024868A1 (en) * 2004-06-15 2008-01-31 Olympus Corporation Illuminating Unit and Imaging Apparatus
JP2006003103A (ja) * 2004-06-15 2006-01-05 Olympus Corp 照明ユニット及び撮像装置
JP4879374B2 (ja) * 2010-05-19 2012-02-22 オリンパスメディカルシステムズ株式会社 内視鏡及び内視鏡装置
JP2013240401A (ja) 2012-05-18 2013-12-05 Hoya Corp 電子内視鏡装置
CN104427945B (zh) 2012-06-26 2017-02-22 皇家飞利浦有限公司 在尖端处具有大的光纤距离的活检针
JP5774563B2 (ja) * 2012-09-04 2015-09-09 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法

Also Published As

Publication number Publication date
US10939856B2 (en) 2021-03-09
JP2017086303A (ja) 2017-05-25
EP3372142A1 (en) 2018-09-12
US20180242893A1 (en) 2018-08-30
WO2017077772A1 (ja) 2017-05-11
EP3372142A4 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
JP6577088B2 (ja) 内視鏡システム
WO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP6533147B2 (ja) プロセッサ装置、内視鏡システム、及び画像処理方法
US11179024B2 (en) Endoscope system capable of correcting image, processor device, and method for operating endoscope system
US11185214B2 (en) Endoscope system with image data correction, processor device, and method for operating endoscope system
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11510599B2 (en) Endoscope system, processor device, and method of operating endoscope system for discriminating a region of an observation target
US20180206738A1 (en) Endoscope system and method of operating endoscope system
JP6538634B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP6448509B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6744712B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6774550B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2016007355A (ja) 光源装置、内視鏡システム、光源装置の作動方法、及び内視鏡システムの作動方法
JP2012050650A (ja) 内視鏡システム及びそのキャリブレーション方法
WO2017104232A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6999597B2 (ja) プロセッサ装置及びその作動方法並びに内視鏡システム
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
WO2020121868A1 (ja) 内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190523

R150 Certificate of patent or registration of utility model

Ref document number: 6533147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250