JP7203477B2 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
JP7203477B2
JP7203477B2 JP2021548867A JP2021548867A JP7203477B2 JP 7203477 B2 JP7203477 B2 JP 7203477B2 JP 2021548867 A JP2021548867 A JP 2021548867A JP 2021548867 A JP2021548867 A JP 2021548867A JP 7203477 B2 JP7203477 B2 JP 7203477B2
Authority
JP
Japan
Prior art keywords
fluorescence
light
image
image signal
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548867A
Other languages
English (en)
Other versions
JPWO2021060158A1 (ja
JPWO2021060158A5 (ja
Inventor
昌之 蔵本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021060158A1 publication Critical patent/JPWO2021060158A1/ja
Publication of JPWO2021060158A5 publication Critical patent/JPWO2021060158A5/ja
Application granted granted Critical
Publication of JP7203477B2 publication Critical patent/JP7203477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Description

本発明は、患者に投与された薬剤から発せられる薬剤蛍光を観察するための内視鏡システム及びその作動方法に関する。
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
また、内視鏡を用いる診断においては、非特許文献1に示すように、病変部に親和性を有する薬剤を患者に投与して選択的に蓄積させた状態で、患者の観察対象に対して励起光を照射して、観察対象に含まれる薬剤から薬剤蛍光を励起発光させることが行われている。ただし、青色の励起光のみを照射した場合には、モニタ上は、ユーザーにとって視認し難い青色調の画像(非特許文献1参照)で表示されるため、病変部を検出するスクリーニング用途などにはある程度の慣れが必要となる。そこで、特許文献1では、蛍光画像に対して、通常画像を合成し、合成した画像をモニタに表示することで、蛍光観察に慣れていない場合であっても、ユーザーにとって視認し易い色で表示することで、蛍光観察を行いやすいようにしている。ただし、常に画像を合成して表示しているためフレームレートが落ちるという問題点があった。
光線力学的診断(Photodynamic diagnosis; PDD)他、[online]、[令和1年7月2日検索]、インターネット<URL:https://home.hiroshima-u.ac.jp/urology/whatsnew-PDD.html> 特開2006-122234号公報
蛍光画像においては、薬剤蛍光を含む蛍光領域が、正常粘膜などの薬剤が集積していない領域との違いが分かりにくい場合がある。例えば、青色の励起光を照射して、赤色の薬剤蛍光を発光する場合には、正常粘膜が全体的に赤味を帯びていると、正常粘膜と蛍光領域との色の違いが分かりにくいことがあった。
本発明は、ユーザーにとって視認し易い色で表示することができ、且つ、正常粘膜と蛍光領域との色の違いを付けて蛍光領域の視認性を高めることができる内視鏡システム及びその作動方法を提供することを目的とする。
本発明の内視鏡システムは、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を少なくとも含む参照光とを発する光源部と、画像制御用プロセッサとを備え、画像制御用プロセッサは、励起光及び参照光によって照明された観察対象を撮像して得られる1つの蛍光及び参照画像信号が入力され、蛍光及び参照画像信号から複数の色情報を取得し、複数の色情報により形成される特徴空間において、正常粘膜と、薬剤蛍光を含み、正常粘膜よりも高彩度の蛍光領域との色の差を拡張する。
本発明の内視鏡システムは、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を少なくとも含む参照光とを発する光源部と、画像制御用プロセッサとを備え、画像制御用プロセッサは、励起光及び参照光によって照明された観察対象を撮像して得られる1つの蛍光及び参照画像信号が入力され、蛍光及び参照画像信号から複数の色情報を取得し、複数の色情報により形成される特徴空間において、正常粘膜と、薬剤蛍光を含む蛍光領域との色の差を拡張する場合に、特徴空間において定められる拡張中心を中心として拡張することにより、正常粘膜と蛍光領域との色の差が大きくなり、画像制御用プロセッサは、蛍光及び参照画像信号と励起光のみが照明された観察対象を撮像して得られる蛍光画像信号とに基づいて、拡張中心を変更する。
本発明の内視鏡システムは、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を少なくとも含む参照光とを発する光源部と、画像制御用プロセッサと光源用プロセッサとを備え、画像制御用プロセッサは、励起光及び参照光によって照明された観察対象を撮像して得られる1つの蛍光及び参照画像信号が入力され、蛍光及び参照画像信号から複数の色情報を取得し、複数の色情報により形成される特徴空間において、正常粘膜と、薬剤蛍光を含む蛍光領域との色の差を拡張し、光源用プロセッサは、励起光及び参照光を発する参照フレームと、励起光のみを発する蛍光フレームとを、特定のフレーム数にて切り替え
特徴空間において定められる拡張中心を中心として拡張することにより、正常粘膜と蛍光領域との色の差が大きくなることが好ましい。画像制御用プロセッサは、蛍光及び参照画像信号と励起光のみが照明された観察対象を撮像して得られる蛍光画像信号とに基づいて、拡張中心を変更することが好ましい。画像制御用プロセッサは、蛍光及び参照画像信号と蛍光画像信号との差分により得られる参照画像信号に基づいて、拡張中心を変更することが好ましい。画像制御用プロセッサは、蛍光及び参照画像信号に含まれる蛍光及び参照光の成分と、蛍光画像信号に含まれる蛍光の成分に基づいて、拡張中心の変更量を算出することが好ましい。
画像制御用プロセッサは、蛍光及び参照画像信号と蛍光画像信号から、蛍光及び参照光の成分を含む病変部が表示された第1病変画像と、蛍光及び参照光の成分を含む病変部以外が表示された病変以外画像を生成し、第1病変画像と病変以外画像に基づいて、拡張中心の変更量を算出することが好ましい。
励起光及び参照光を発する参照フレームと、励起光のみを発する蛍光フレームとを、特定のフレーム数にて切り替える光源用プロセッサを有することが好ましい。画像制御用プロセッサは、蛍光及び参照画像信号と蛍光フレームにて得られる蛍光画像信号とに基づいて、蛍光の光量と参照光の光量を算出することが好ましい。
画像制御用プロセッサは、蛍光及び参照画像信号と蛍光画像信号に基づいて、蛍光及び参照光の成分を含む病変部が表示された第1病変画像と蛍光の成分を含む病変部が表示された第2病変画像とを取得し、第1病変画像と第2病変画像に基づいて、蛍光の光量と参照光の光量を算出することが好ましい。
画像制御用プロセッサは、蛍光の光量と参照光の光量とに基づいて、蛍光及び参照画像信号に対する処理の内容を変更することが好ましい。処理の内容は、ゲイン処理又はマトリクス処理であることが好ましい。画像制御用プロセッサは、変更前と変更後の処理の内容に基づいて、参照光の光量を補正することが好ましい。
本発明の内視鏡システムの作動方法は、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を有する参照光とを発するステップと、励起光及び参照光によって照明された観察対象を撮像して得られる1つの蛍光及び参照画像信号が入力されるステップと、蛍光及び参照画像信号から複数の色情報を取得するステップと、複数の色情報により形成される特徴空間において、正常粘膜と、薬剤蛍光を含み、正常粘膜よりも高彩度の蛍光領域との色の差を拡張するステップとを有する。


本発明によれば、ユーザーにとって視認し易い色で表示することができ、且つ、正常粘膜と蛍光領域との色の違いを付けて蛍光領域の視認性を高めることができる。
第1実施形態の内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 参照フレームと蛍光フレームとを示す説明図である。 特定のフレーム数を示す説明図である。 特徴空間が信号比空間である場合に用いられる蛍光画像処理部の機能を示すブロック図である。 信号比空間における正常粘膜と蛍光領域とを示す説明図である。 動径変更範囲Rmを示す説明図である。 動径rと彩度強調処理後の動径Rx(r)との関係を示すグラフである。 信号比空間における彩度強調処理の前後の蛍光領域の位置関係を示す説明図である。 角度変更範囲Rnを示す説明図である。 角度θと色相強調処理後の角度Fx(θ)との関係を示すグラフである。 信号比空間における色相強調処理の前後の蛍光領域の位置関係を示す説明図である。 ab空間における彩度強調処理の前後の蛍光領域の位置関係を示す説明図である。 ab空間における色相強調処理の前後の蛍光領域の位置関係を示す説明図である。 参照画像信号に基づくB/G比の頻度分布とG/R比の頻度分布から拡張中心の変更量を算出する方法を示す説明図である。 正常粘膜及び蛍光領域と彩度用の拡張中心線SLs又は色相用の拡張中心線SLhとの位置を示す説明図である。 二値化蛍光画像の生成方法を示す説明図である。 拡張中心の変更量Aの算出方法を示す説明図である。 第1病変画像と病変以外画像の生成方法を示す説明図である。 拡張中心の変更量Mx、Myの算出方法を示す説明図である。 第1病変画像と第2病変画像の生成方法を示す説明図である。 第1R画素値と第2R画素値の算出方法を示す説明図である。 補正前と補正後の蛍光の画素値、蛍光及び参照光の画素値、参照光の画素値、蛍光観察用のRゲイン係数、蛍光の光量、及び参照光の光量を示す表である。 蛍光観察モードの一連の流れを示すフローチャートである。 特徴空間がCrCb空間である場合に用いられる蛍光画像処理部の機能を示すブロック図である。 CrCb空間における彩度強調処理前後の蛍光領域の位置関係を示す説明図である。 CrCb空間における色相強調処理前後の蛍光領域の位置関係を示す説明図である。 特徴空間がHS空間である場合に用いられる蛍光画像処理部の機能を示すブロック図である。 HS空間における彩度強調処理前後の蛍光領域の位置関係を示す説明図である。 HS空間における色相強調処理前後の蛍光領域の位置関係を示す説明図である。 第2実施形態の内視鏡システムの機能を示すブロック図である。 通常光の発光スペクトルを示すグラフである。 参照光の発光スペクトルを示すグラフである。 励起光の発光スペクトルを示すグラフである。 第3実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタを示す平面図である。 図3とは異なる紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 二次元LUTを用いる場合の蛍光画像処理部の機能を示すブロック図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13aが設けられている。モード切替SW13aは、通常観察モードと、蛍光観察モードとの切替操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。蛍光観察モードは、蛍光画像をモニタ18上に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチ(図示しない)を用いてもよい。
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19はキーボードやマウスなどを含み、機能設定等の入力操作を受け付ける機能を有する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及び、R-LED(Red Light Emitting Diode)20dを有する光源部20と、4色のLED20a~20dの駆動を制御する光源用プロセッサ21、及び4色のLED20a~20dから発せられる4色の光の光路を結合する光路結合部23を備えている。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
蛍光観察モードにおいては、青色光B、緑色光G、及び赤色光Rは、青色帯域から緑色帯域までの波長域を少なくとも含む参照光として用いられ、紫色光Vは、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光として用いられる。薬剤は、癌などの病変部に親和性があるものが用いられる。この場合、紫色光Vを励起光とする場合、薬剤としては、5-ALAを用いることが好ましい。なお、薬剤としてレザフェリンを用いる場合には、赤色帯域の励起光を用いることが好ましい。また、薬剤としてフルオレセイン又はローダミングリーンを用いる場合は、青色帯域の励起光を用いることが好ましい。また、薬剤としてSYPRO REDを用いる場合は、緑色帯域の励起光を用いることが好ましい。
光源用プロセッサ21は、通常観察モードにおいて、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する。したがって、紫色光V、青色光B、緑色光G、及び赤色光Rの4色の光が混色した光が、通常光として、観察対象に照射される。また、光源用プロセッサ21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなるように、各LED20a~20dを制御する。一方、光源用プロセッサ21は、蛍光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVs:Bs:Gs:Rsとなるように、各LED20a~20dを制御する。
光源用プロセッサ21は、蛍光観察モードにおいて、励起光及び参照光を発する参照フレームと、励起光のみを発する蛍光フレームとを、特定のフレーム数にて切り替える制御を行う。具体的には、光源用プロセッサ21は、図4に示すように、参照フレームにて、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯することにより、励起光及び参照光として、紫色光V、青色光B、緑色光G、及び赤色光Rを発する。また、光源用プロセッサ21は、蛍光フレームにて、V-LED20aのみを点灯することにより、励起光として、紫色光Vを発する。なお、蛍光観察モードにおいては、参照フレームと蛍光フレームとに分けることなく、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを常時点灯するようにしてもよい。
また、特定のフレーム数については、参照フレームのフレーム数を蛍光フレームのフレーム数以上とすることが好ましい。例えば、図5に示すように、特定のフレーム数として、参照フレームのフレーム数を3フレームとし、蛍光フレームのフレーム数を1フレームとすることが好ましい。また、蛍光フレームのフレーム数の最小フレーム数は、撮像センサ48がグローバルシャッタ方式の場合(CCD)は1フレームであることが好ましく、撮像センサがローリングシャッタ方式の場合(CMOS)は2フレームであることが好ましい。なお、本実施形態では、参照フレームと蛍光フレームとを自動的に切り替わるようにしているが、ユーザーによる切替操作が無い限り、参照フレームのみを連続的に行うようし、ユーザーによる切替操作が行われた場合に、参照フレームから蛍光フレームに切り替わるようにしてもよい。
なお、本明細書において、光量比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光量比を有するものとする。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、通常観察モードの場合においては、撮像センサ48は、通常光によって照明された観察対象を撮像することにより、通常画像信号を出力する。また、蛍光観察モードの場合においては、参照フレームにて、撮像センサ48は、励起光及び参照光によって照明された観察対象を撮像することにより、蛍光及び参照画像信号を出力する。また、蛍光フレームにて、撮像センサ48は、励起光によって照明された観察対象を撮像することにより、観察対象から励起発光した薬剤蛍光の成分を含む蛍光画像信号を出力する。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源用プロセッサ21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16においては、各種処理に関するプログラムがプログラム用メモリに組み込まれている。プロセッサ装置16には、画像制御用プロセッサによって構成される中央制御部が設けられている。中央制御部によって、プログラム用メモリ内のプログラムを実行することによって、画像信号入力部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、信号切替部60と、通常画像処理部62と、蛍光画像処理部64と、映像信号生成部66との機能が実現する。画像信号入力部53には、内視鏡12からのデジタルの画像信号が入力される。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン処理、マトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン処理については、通常観察モードと蛍光観察モードで異なっている。通常観察モードのゲイン処理については、通常画像信号のR画像信号、G画像信号、及び、B画像信号に対して、通常観察用のRゲイン係数、Gゲイン係数、及び、Bゲイン係数がそれぞれ掛け合わされる。蛍光観察モードのゲイン処理については、蛍光及び参照画像信号のR画像信号、G画像信号、及び、B画像信号に対して、蛍光観察用のRゲイン係数、Gゲイン係数、及び、Bゲイン係数がそれぞれ掛け合わされる。
ゲイン処理後の画像信号には、色再現性を高めるためのマトリクス処理が施される。マトリクス処理についても、通常観察モードと蛍光観察モードで異なっている。通常観察モードのマトリクス処理については、通常画像信号に対して、通常観察用のマトリクス処理が施される。蛍光観察モードのマトリクス処理については、蛍光及び参照画像信号に対して、蛍光観察用のマトリクス処理が施される。
その後、ガンマ変換処理によって明るさや彩度が整えられる。マトリクス処理後の画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でガンマ補正等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部60に送信される。
信号切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、画像信号として、通常画像信号を通常画像処理部62に送信し、蛍光観察モードにセットされている場合には、画像信号として、蛍光及び参照画像信号と蛍光画像信号とを蛍光画像処理部64に送信する。
通常画像処理部62は、通常画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常画像用の画像処理が施された通常画像信号は、通常画像として、通常画像処理部62から映像信号生成部66に入力される。
蛍光画像処理部64は、蛍光及び参照画像信号又は蛍光画像信号に基づいて、蛍光画像を生成する。蛍光画像処理部64の詳細については後述する。この蛍光画像処理部64で生成された蛍光画像は、映像信号生成部66に入力される。
映像信号生成部66は、通常画像処理部62又は蛍光画像処理部64から入力された通常画像又は特殊画像を、モニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号に基づいて、モニタ18は、通常画像を表示する。
蛍光画像処理部64は、図6に示すように、逆ガンマ変換部70と、Log変換部71と、信号比算出部72と、極座標変換部73と、色差拡張部74と、直交座標変換部78と、RGB変換部79と、明るさ調整部81と、構造強調部82と、逆Log変換部83と、ガンマ変換部84と、拡張中心変更部85と、蛍光及び参照光光量算出部88とを備えている。
逆ガンマ変換部70には、蛍光及び参照画像信号が入力される。また、拡張中心変更部85には、拡張中心の変更に必要となる蛍光及び参照画像信号、蛍光画像信号が入力される。また、蛍光及び参照光光量算出部88には、蛍光及び参照光の光量の算出に必要な蛍光及び参照画像信号、蛍光画像信号が入力される。なお、蛍光及び参照画像信号としては、撮像センサ48のB画素から出力されるB画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のR画素から出力されるR画像信号とからなる3色のRGB画像信号であることが好ましい。また、蛍光画像信号としては、RGB画像信号の3色の画像信号であることが好ましいが、薬剤蛍光の成分が含まれる画像信号のみ、例えば、薬剤蛍光の成分が赤色帯域を有している場合は、R画像信号であってもよい。
逆ガンマ変換部70は、入力されたRGB3チャンネルのデジタル画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後のRGB画像信号は、検体からの反射率に対してリニアな反射率リニアRGB信号であるため、RGB画像信号のうち、検体の各種生体情報に関連する信号が占める割合が多くなる。なお、反射率リニアR画像信号を第1R画像信号とし、反射率リニアG画像信号を第1G画像信号とし、反射率リニアB画像信号を第1B画像信号とする。これら第1R画像信号、第1G画像信号、及び第1B画像信号をまとめて第1RGB画像信号とする。
Log変換部71は、反射率リニアRGB画像信号をそれぞれLog変換する。これにより、Log変換済みのR画像信号(logR)、Log変換済みのG画像信号(logG)、及びLog変換済みのB画像信号(logB)が得られる。信号比算出部72(本発明の「色情報取得部」に対応する)は、Log変換済みのG画像信号とB画像信号に基づいて差分処理(logG-logB =logG/B=-log(B/G))することにより、B/G比(-log(B/G)のうち「-log」を省略したものを「B/G比」と表記する)を算出する。また、Log変換済みのR画像信号とG画像信号に基づいて差分処理(logR-logG=logR/G=-log(G/R))することにより、G/R比を算出する。G/R比については、B/G比と同様、-log(G/R)のうち「-log」を省略したものを表している。
なお、B/G比及びG/R比は、B画像信号、G画像信号、及びR画像信号において同じ位置にある画素の画素値から画素毎に求める。また、B/G比及びG/R比は画素毎に求める。また、B/G比は、血管深さ(粘膜表面から特定の血管がある位置までの距離)に相関があることから、血管深さが異なると、それに伴ってB/G比も変動する。また、G/R比は、血液量(ヘモグロビンインデックス)と相関があることから、血液量に変動が有ると、それに伴ってG/R比も変動する。
極座標変換部73は、信号比算出部72で求めたB/G比及びG/R比を、動径rと角度θに変換する。この極座標変換部73において、動径rと角度θへの変換は、全ての画素について行う。色差拡張部74は、複数の色情報の一つであるB/G比及びG/R比により形成される信号比空間(特徴空間)において、観察対象に含まれる正常粘膜と、観察対象に含まれる薬剤から励起発光される薬剤蛍光を含む蛍光領域との色の差を拡張する。色の差の拡張として、本実施形態では、正常粘膜と蛍光領域との彩度差を拡張すること、又は、正常粘膜と蛍光領域との色相差を拡張することを行う。そのために、色差拡張部74は、彩度強調処理部76と、色相強調処理部77とを有している。
彩度強調処理部76は、信号比空間において、正常粘膜と蛍光領域との彩度差を拡張する彩度強調処理を行う。具体的には、彩度強調処理は、信号比空間において、動径rを拡張又は圧縮することによって行われる。色相強調処理部77は、信号比空間において、正常粘膜と蛍光領域との色相差を拡張する色相強調処理を行う。具体的には、色相強調処理は、信号比空間において、角度θを拡張又は圧縮することによって行われる。以上の彩度強調処理部76及び色相強調処理部77の詳細については後述する。
直交座標変換部78では、彩度強調処理及び色相強調処理済みの動径r及び角度θを、直交座標に変換する。これにより、角度拡張・圧縮済みのB/G比及びG/R比に変換される。RGB変換部79では、第1RGB画像信号のうち少なくともいずれか1つの画像信号を用いて、彩度強調処理及び色相強調処理済みのB/G比及びG/R比を、第2RGB画像信号に変換する。例えば、RGB変換部79は、第1RGB画像信号のうち第1G画像信号とB/G比とに基づく演算を行うことにより、B/G比を第2B画像信号に変換する。また、RGB変換部79は、第1RGB画像信号のうち第1G画像信号とG/R比に基づく演算を行うことにより、G/R比を第2R画像信号に変換する。また、RGB変換部79は、第1G画像信号については、特別な変換を施すことなく、第2G画像信号として出力する。これら第2R画像信号、第2G画像信号、及び第2B画像信号をまとめて第2RGB画像信号とする。
明るさ調整部81は、第1RGB画像信号と第2RGB画像信号とを用いて、第2RGB画像信号の画素値を調整する。明るさ調整部81で、第2RGB画像信号の画素値を調整するのは、以下の理由による。彩度強調処理部76及び色相強調処理部77で色領域を拡張・圧縮する処理により得られた第2RGB画像信号は、第1RGB画像信号と明るさが大きく変わってしまう可能性がある。そこで、明るさ調整部81で第2RGB画像信号の画素値を調整することによって、明るさ調整後の第2RGB画像信号が第1RGB画像信号と同じ明るさになるようにする。
明るさ調整部81は、第1RGB画像信号に基づいて第1明るさ情報Yinを求める第1明るさ情報算出部81aと、第2RGB画像信号に基づいて第2明るさ情報Youtを求める第2明るさ情報算出部81bとを備えている。第1明るさ情報算出部81aは、「kr×第1R画像信号の画素値+kg×第1G画像信号の画素値+kb×第1B画像信号の画素値」の演算式に従って、第1明るさ情報Yinを算出する。第2明るさ情報算出部81bにおいても、第1明るさ情報算出部81aと同様に、上記と同様の演算式に従って、第2明るさ情報Youtを算出する。第1明るさ情報Yinと第2明るさ情報Youtが求まると、明るさ調整部81は、以下の式(E1)~(E3)に基づく演算を行うことにより、第2RGB画像信号の画素値を調整する。
(E1):R=第2R画像信号の画素値×Yin/Yout
(E2):G=第2G画像信号の画素値×Yin/Yout
(E3):B=第2B画像信号の画素値×Yin/Yout
なお、「R」は明るさ調整後の第2R画像信号を、「G」は明るさ調整後の第2G画像信号を、「B」は明るさ調整後の第2B画像信号を表している。また、「kr」、「kg」、及び「kb」は「0」~「1」の範囲にある任意の定数である。
構造強調部82では、RGB変換部79を経た第2RGB画像信号に対して構造強調処理を施す。構造強調処理としては、周波数フィルタリングなどが用いられる。逆Log変換部83は、構造強調部82を経た第2RGB画像信号に対して、逆Log変換を施す。これにより、真数の画素値を有する第2RGB画像信号が得られる。ガンマ変換部84は、逆Log変換部83を経たRGB画像信号に対してガンマ変換を施す。これにより、モニタ18などの出力デバイスに適した階調を有する第2RGB画像信号が得られる。ガンマ変換部84を経た第2RGB画像信号は、映像信号生成部66に送られる。
彩度強調処理部76及び色相強調処理部77では、図7に示すように、B/G比、G/R比により形成される信号比空間(特徴空間)の第一象限において分布する正常粘膜と蛍光領域との彩度差又は色相差を大きくする。蛍光領域は赤味を帯びていることから、信号比空間の第一象限において、正常粘膜の右側に位置している。信号比空間において、正常粘膜と蛍光領域とが以上のように分布する状況において、色差拡張部74では、正常粘膜と蛍光領域との色の差が拡張するように、信号比空間において拡張中心が定められている。具体的には、彩度強調処理部76では、正常粘膜と蛍光領域との彩度差を拡張するための彩度用の拡張中心が定められている。また、色相強調処理部77では、正常粘膜と蛍光領域との色相差を拡張するための色相用の拡張中心が定められている。
図8に示すように、彩度強調処理部76では、信号比空間において、動径変更範囲Rm内にある座標が示す動径rを変更する一方で、動径変更範囲R外の座標については動径rの変更は行わない。動径変更範囲Rmは、動径rが「r1」から「r2」の範囲内である(r1<r2)。また、動径変更範囲Rmにおいては、動径r1と動径r2との間にある動径rc上に、彩度用の拡張中心線SLsが設定されている。彩度用の拡張中心線SLsは、正常粘膜の領域よりも外側に設けられている(図7参照)。また、彩度用の拡張中心CESは、彩度用の拡張中心線SLsに含まれている。
ここで、動径rは大きければ大きいほど彩度が高くなることから、彩度用の拡張中心線SLsが示す動径rcよりも動径rが小さい範囲rcr1(r1<r<rc)は低彩度範囲とされる。一方、彩度用の拡張中心線SLsが示す動径rcよりも動径rが大きい範囲rcr2(rc<r<r2)は高彩度範囲とされる。
彩度強調処理は、図9に示すように、動径変更範囲Rm内に含まれる座標の動径rの入力に対して、動径Rx(r)を出力する。この彩度強調処理による入出力の関係は実線で表される。彩度強調処理は、S字の変換カーブが用いられ、低彩度範囲rcr1においては、出力値Rx(r)を入力値rよりも小さくする一方で、高彩度範囲rcr2においては、出力値Rx(r)を入力値rよりも大きくする。また、Rx(rc)における傾きKxは、「1」以上に設定されている。これにより、低彩度範囲に含まれる観察対象の彩度をより低くする一方で、高彩度範囲に含まれる観察対象の彩度をより高くすることができる。このような彩度強調処理により、複数の観察対象範囲の間の彩度差を大きくすることができる。
以上のように、彩度強調処理を行うことにより、図10に示すように、彩度強調処理後の蛍光領域(実線)は、彩度強調処理前の蛍光領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動している。特徴空間において動径方向は彩度の大小を表すことから、彩度強調処理後の蛍光領域(実線)と正常粘膜との彩度差は、彩度強調処理前の蛍光領域(点線)と正常粘膜との彩度差よりも大きくなっている。
図11に示すように、色相強調処理部77では、信号比空間において、角度変更範囲Rn内にある座標が示す角度θを変更する一方で、角度変更範囲Rn外の座標については角度θの変更は行わない。角度変更範囲Rnは、色相用の拡張中心線SLhから反時計回り方向(第1色相方向)の角度θ1の範囲と、色相用の拡張中心線SLhから時計回り方向(第2色相方向)の角度θ2の範囲とで構成されている。色相用の拡張中心線SLhは、正常粘膜の領域を交差するように設けられている(図7参照)。また、色相用の拡張中心CEHは、色相用の拡張中心線SLhに含まれている。
角度変更範囲Rnに含まれる座標の角度θは、色相用の拡張中心線SLhに対するなす角度θで再定義され、色相用の拡張中心線SLhに対して反時計回り方向側をプラス側とし、色相用の拡張中心線SLhに対して時計回り方向側をマイナス側とする。角度θが変わると色相も変化することから、角度変更範囲Rnのうち、角度θ1の範囲を、プラス側の色相範囲θ1と、角度θ2の範囲をマイナス側の色相範囲θ2とする。なお、色相用の拡張中心線SLhについても、彩度用の拡張中心線SLsと同様に、特徴空間における正常粘膜の範囲を交差する線であることが好ましい。
色相強調処理は、図12に示すように、角度変更範囲Rn内に含まれる座標の角度θの入力に対して、角度Fx(θ)を出力する。この色相強調処理による入出力の関係は実線で表される。色相強調処理は、マイナス側の色相範囲θ2においては、出力Fx(θ)を入力θよりも小さくする一方で、プラス側の色相範囲θ1においては、出力Fx(θ)を入力θよりも大きくする。これにより、マイナス側の色相範囲に含まれる観察対象とプラス側の色相範囲に含まれる観察対象との色相の違いを大きくすることができる。
以上のように、色相強調処理を行うことにより、図13に示すように、色相強調処理後の蛍光領域(実線)は、色相強調処理前の蛍光領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動している。特徴空間において角度方向は色相の違いを表すことから、色相強調処理後の蛍光領域(実線)と正常粘膜との色相差は、色相強調処理前の蛍光領域(点線)と正常粘膜との色相差よりも大きくなっている。
なお、第1RGB画像信号をLab変換部でLab変換して得られるa、b(色情報であるCIE Lab空間の色味の要素a、bを表す。以下同様)から形成される特徴空間(ab空間)の場合においても、図14に示すように、彩度強調処理を行うことによって、彩度強調処理後の蛍光領域(実線)は、彩度強調処理前の蛍光領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動している。また、図15に示すように、色相強調処理を行うことによって、色相強調処理後の蛍光領域(実線)は、色相強調処理前の蛍光領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動している。
拡張中心変更部85は、蛍光及び参照画像信号、及び、蛍光画像信号に基づいて、信号比空間において定められた拡張中心を変更する。具体的には、拡張中心変更部85は、蛍光及び参照画像信号と蛍光画像信号との差分から参照画像信号を算出し、算出した参照画像信号に基づいて、拡張中心を変更する。例えば、図16に示すように、参照画像信号のB画像信号とG画像信号に基づいて得られるB/G比の頻度分布と、参照画像信号のG画像信号とR画像信号に基づいて得られるG/R比の頻度分布とを求める。そして、B/G比の頻度分布に含まれる最大の画素値に対して特定の割合(例えば、80%)の画素値(特定画素値)から、拡張中心の縦軸方向の変更量を求める。また、G/R比の頻度分布に含まれる最大の画素値に対して特定の割合(例えば、80%)の画素値(特定画素値)から、拡張中心の横軸方向の変更量を求める。
例えば、拡張中心変更部85は、特定画素値が一定範囲の場合には、彩度用の拡張中心又は色相用の拡張中心を変更しない。一方、拡張中心変更部85は、特定画素値が一定範囲外の場合は、拡張中心の縦軸方向と横軸方向の変更量に応じて、彩度用の拡張中心CES、又は、色相用の拡張中心CEHを縦軸方向又は横軸方向に変更する。なお、彩度用の拡張中心CES又は色相用の拡張中心CEHの変更に従って、彩度用の拡張中心線SLs又は色相用の拡張中心線SLhの位置も変更される。
なお、拡張中心を、B/G比とG/R比の頻度分布に含まれる最大の画素値に設定した場合には、正常粘膜及び蛍光領域と彩度用の拡張中心線SLs又は色相用の拡張中心線SLhとの位置は、図17(A)に示すようになる。一方、拡張中心を、B/G比とG/R比の頻度分布に含まれる最大の画素値に対して80%の画素値(特定画素値)に設定した場合には、正常粘膜及び蛍光領域と彩度用の拡張中心線SLs又は色相用の拡張中心線SLhとの位置は、図17(B)に示すようになる。
また、拡張中心変更部85は、蛍光及び参照画像信号に含まれる蛍光及び参照光の成分と、蛍光画像信号に含まれる蛍光の成分とに基づいて、拡張中心の変更量を算出してもよい。この場合、拡張中心変更部85は、図18に示すように、蛍光画像信号に対して、蛍光成分FLとそれ以外とを二値化した二値化蛍光画像信号を生成する。拡張中心変更部85は、二値化蛍光画像信号に含まれる蛍光成分FLが蛍光用閾値以下の場合は、拡張中心を変更しない。
一方、拡張中心変更部85は、蛍光成分FLが蛍光用閾値を超える場合は、拡張中心を変更する。ここでは、病変部の低彩度側に最大蛍光量を差し引くことなどによって、拡張中心を変更する。拡張中心変更部85は、図19に示すように、蛍光及び参照画像信号と二値化蛍光画像の論理積(AND)をとることにより、参照光RLと蛍光成分FLを含む病変部が表示された第1病変画像を取得する。そして、拡張中心変更部85は、第1病変画像のB画像信号、G画像信号、及びR画像信号から、それぞれ最小画素値Min_B、Min_G、Min_Rを算出する。また、拡張中心変更部85は、蛍光画像信号から、最大画素値Max_Rを算出する。そして、拡張中心変更部85は、下記式1)により、拡張中心の変更量Aを算出し、信号比空間において、彩度用の拡張中心CES、又は、色相用の拡張中心CEHを、変更量Aだけ、横軸方向にシフトさせる。
式1)A=Min_G/(Min_R-Max_R)
なお、拡張中心変更部85は、二値化蛍光画像信号に含まれる蛍光成分FLが蛍光用閾値を超える場合は、上記の信号比空間の横軸方向への拡張中心の変更方法に代えて、下記に示すように、信号比空間の縦軸及び横軸方向への拡張中心の変更を行ってもよい。例えば、正常粘膜と、蛍光領域などの病変部の境界になるように、拡張中心の変更を行う。具体的には、拡張中心変更部85は、蛍光及び参照画像信号と蛍光画像信号から、蛍光及び参照光の成分を含む病変部が表示された第1病変画像と、蛍光及び参照光の成分を含む病変部以外が表示された病変以外画像とを生成し、第1病変画像と病変以外画像とに基づいて、拡張中心の変更量を算出する。
この場合、図20に示すように、拡張中心変更部85は、上記のように、蛍光及び参照画像信号と二値化蛍光画像の論理積(AND)をとることにより、参照光RLと蛍光成分FLを含む病変部が表示された第1病変画像を取得する。第1病変画像に加えて、蛍光及び参照画像信号と、二値化蛍光画像の画素値を反転処理した反転二値化蛍光画像との論理積(AND)を取ることにより、参照光RLと蛍光成分FLを含む病変部以外が表示された病変以外画像を取得する。
そして、拡張中心変更部85は、図21に示すように、第1病変画像のB画像信号、G画像信号、及びR画像信号から第1病変画像のB/G比、G/R比を算出し、算出した正のB/G比(>0)、G/R比(>0)のうち最小のB/G比、G/R比であるMin_B/G、Min_G/Rを取得する。一方、病変以外画像のB画像信号、G画像信号、及びR画像信号から第1病変画像のB/G比、G/R比を算出し、算出したB/G比、G/R比のうち最大のB/G比、G/R比であるMax_B/G、Min_G/Rを取得する。そして、拡張中心変更部85は、下記式2)により、縦軸方向への拡張中心の変更量Mxと横軸方向への拡張中心の変更量Myとを算出する。
式2)Mx=(Max_B/G+Min_B/G)/2
My=(Max_G/R+Min_G/R)/2
そして、拡張中心変更部85は、信号比空間において、彩度用の拡張中心CES、又は、色相用の拡張中心CEHを、変更量Mxだけ縦軸方向に、且つ、変更量Myだけ横軸方向にシフトさせる。
蛍光及び参照光光量算出部88は、蛍光及び参照画像信号、及び、蛍光画像信号に基づいて、参照光の発光比率の変更、又は蛍光及び参照画像信号に対する処理の内容に必要な蛍光の光量及び参照光の光量を求める。蛍光及び参照光光量算出部88は、図18に示すように、蛍光画像信号に対して、蛍光成分FLとそれ以外とを二値化した二値化蛍光画像信号を生成する。蛍光及び参照光光量算出部88は、二値化蛍光画像信号に含まれる蛍光成分FLが蛍光用閾値以下の場合は、蛍光画像信号に蛍光成分FLが含まれないと判定し、薬剤蛍光の光量算出は行わない。即ち、参照光の発光比率の変更、又は蛍光及び参照画像信号に対する処理の内容の変更は行われない。
一方、蛍光成分FLが蛍光用閾値を超える場合には、図22に示すように、薬剤蛍光の光量算出が行われる。蛍光及び参照光光量算出部88は、蛍光及び参照画像信号と二値化蛍光画像の論理積(AND)をとることにより、参照光RLと蛍光成分FLを含む病変部が表示された第1病変画像を取得する。第1病変画像に加えて、蛍光画像信号と二値化蛍光画像の論理積(AND)をとることにより、蛍光成分FLを含む病変部が表示された第2病変画像を取得する。
そして、蛍光及び参照光光量算出部88は、図23に示すように、第1病変画像のR画像信号の画素値の頻度分布(ヒストグラム)に含まれる最大の画素値に対して特定の割合(例えば、80%)の画素値を、第1R画素値として算出する。第1R画素値は、蛍光及び参照光の画素値に対応し、第1R画素値を蛍光観察用のRゲイン係数で除した値が、蛍光及び参照光の光量に対応する。同様にして、第2病変画像のR画像信号の画素値の頻度分布(ヒストグラム)に含まれる最大の画素値に対して特定の割合(例えば、80%)の画素値を、第2R画素値として算出する。第2R画素値は、蛍光の画素値に対応し、第2R画素値を蛍光観察用のRゲイン係数で除した値が、蛍光の光量に対応する。そして、蛍光及び参照光光量算出部88は、第1R画素値から第2R画素値を減算することにより、参照光の画素値を算出する。なお、第1R画素値は、撮像センサ48の入力信号に対して画素値がリニアに変化する輝度リニアの信号に変換することが好ましい。第2R画素値についても、第1R画素値と同様に、輝度リニアの信号に変換することが好ましい。
蛍光及び参照光光量算出部88で求めた蛍光の光量と参照光の光量については、蛍光及び参照画像信号に対する処理の内容、例えば、ゲイン処理又はマトリックス処理の内容の変更と、参照光の発光比率の補正に用いられる。処理変更部91は、蛍光の光量と参照光の光量に基づいて、蛍光及び参照画像信号に対する処理の内容を変更する。処理の内容の変更として、例えば、ゲイン処理に用いる蛍光観察用のRゲイン係数Gn_Rを変更する場合には、下記式3)により、変更後の蛍光観察用のRゲイン係数をAGn_Rが得られる。
式3)AGn_R=Max蛍光の画素値/蛍光の画素値×Gn_R
ここで、Max蛍光の画素値は、撮像センサ48が飽和する最大の蛍光の画素値から、参照光の画素値を除した値を表している。
参照光量補正部93は、蛍光及び参照画像信号に対する変更前と変更後の処理の内容に基づいて、参照光の光量を補正する。上記のように、処理の内容の変更として、蛍光観察用のRゲイン係数Gn_Rを変更した場合には、参照光量補正部93は、下記式4)により、参照光の光量を補正した補正後の参照光の光量を算出する。
式4)補正後の参照光の光量=参照光の光量×Gn_R/AGn_R
そして、光源用プロセッサ21は、補正後の参照光の光量に基づいて、参照光の発光比率の補正を行う。例えば、参照光のうち薬剤蛍光の成分を含む蛍光波長域の光の発光比率、即ち、赤色光R(蛍光波長域の光)の発光比率を補正する場合には、下記式5)により、赤色光Rの発光比率を補正した補正後の赤色光Rの光量を算出する。
式5)補正後の赤色光Rの光量=赤色光の光量×補正後の参照光の光量/参照光の光量
例えば、薬剤蛍光の光量が一定以上のように、観察対象から薬剤蛍光が検出されたような場合には、薬剤蛍光の光量が大きくなる程、上記の処理の内容の変更及び参照光の光量補正に従って、赤色光Rの発光比率を下げる。これにより、赤色光Rと同じ波長域の薬剤蛍光の視認性が向上する。一方、薬剤蛍光の光量が一定未満のように、観察対象から薬剤蛍光が未検出又はほとんど検出されない場合には、上記の処理の内容の変更及び参照光の光量補正に従って、赤色光Rの発光比率を上げる。これにより、薬剤蛍光が発せられていないにも関わらず、観察対象の赤色の明るさが低下することを防ぐことができる。
なお、蛍光の光量、参照光の光量、補正後の蛍光観察用のRゲイン係数、及び、補正後の参照光の光量について、具体的な数値を用いた場合の算出方法を以下説明する。図24に示すように、蛍光の画素値が「15」、蛍光及び参照光の画素値が「165」である場合には、蛍光及び参照光の画素値を蛍光の画素値で減算することにより、参照光の画素値は「150」となる。そして、蛍光観察用のRゲイン係数を「1.5」とした場合には、蛍光の画素値「15」を蛍光観察用のRゲイン係数「1.5」で除することにより、蛍光の光量は「10」となる。また、参照光の画素値「150」を蛍光観察用のRゲイン係数「1.5」で除することにより、参照光の光量は「100」となる。
次に、補正後の蛍光観察用のRゲイン係数AGn_Rについては、式3)に示すように、Max蛍光の画素値/蛍光の画素値に対して、蛍光観察用のRゲイン係数Gn_Rを掛け合わせて得られる。Max蛍光の画素値は、撮像センサ48が飽和する最大の蛍光の画素値「230」から、参照光の画素値「150」を除することによって、「80」となる。したがって、Max蛍光の画素値「80」/蛍光の画素値「15」に対して、蛍光観察用のRゲイン係数Gn_R「1.5」を掛け合わせることによって、AGn_Rは「8」となる。
次に、補正後の参照光の光量については、式4)に示すように、参照光の光量に対して、Gn_R/AGn_Rを掛け合わせることによって得られる。具体的には、参照光の光量「100」に対して、Gn_Rの「1.5」/AGn_Rの「8」を掛け合わせることで、補正後の参照光の光量は「18.75」となる。なお、補正後の蛍光の画素値については、参照光の光量の大小に関わらずほぼ一定の蛍光の光量「10」に対して、補正後の蛍光観察用のRゲイン係数「8」を掛け合わせることにより、補正後の蛍光の画素値は「80」となる。一方、補正後の参照光の画素値については、補正後の参照光の光量「18.75」に対して、補正後の蛍光観察用のRゲイン係数「8」を掛け合わせることにより、補正後の参照光の画素値は「150」となる。補正後の蛍光及び参照光の画素については、補正後の蛍光の画素値「80」と補正後の参照光の画素値「150」を足し合わせることにより、補正後の蛍光及び参照光の画素値は「230」となる。
次に、蛍光観察モードについて、図25のフローチャートに沿って説明を行う。まず、患者に対して、観察対象から薬剤蛍光を励起発光させるための薬剤を投与する。モード切替SW13aを操作して、蛍光観察モードに切り替える。蛍光観察モードに切り替えられると、光源部20は、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの参照光とを発する。撮像センサ48は、励起光及び参照光によって照明された観察対象を撮像して、蛍光及び参照画像信号を出力する。
画像信号入力部53には、撮像センサ48から出力される蛍光及び参照画像信号が入力される。色情報取得部である信号比算出部72は、蛍光及び参照画像信号に基づいて、複数の色情報であるB/G比、及び、G/R比を算出する。色差拡張部74は、B/G比及びG/R比により形成される信号比空間(特徴空間)において、観察対象に含まれる正常粘膜と、観察対象に含まれる薬剤から励起発光される薬剤蛍光を含む蛍光領域との色の差を拡張する。正常粘膜と蛍光領域との色の差を拡張した後のB/G比、及び、G/R比に基づいて、蛍光画像が得られる。蛍光画像は、モニタ18に表示される。蛍光画像は、蛍光成分のみのモノクロ画像ではなく、青色帯域から赤色帯域までの可視光の成分を含んでいるため、カラー画像として表示される。これにより、蛍光画像は、ユーザーにとって視認し易い状況下で、蛍光領域を把握することができる。
なお、上記実施形態では、信号比算出部72で第1RGB画像信号からB/G比及びG/R比を求め、これらB/G比及びG/R比から形成される信号比空間において彩度強調処理及び色相強調処理を行っているが、B/G比及びG/R比と異なる色情報を求め、この色情報から形成される特徴空間において彩度強調処理及び色相強調処理を行ってもよい。
例えば、色情報として色差信号Cr及びCbを求め、色差信号Cr及びCbから形成される特徴空間において彩度強調処理及び色相強調処理を行ってもよい。この場合、図26に示す蛍光画像処理部92が用いられる。蛍光画像処理部92は、蛍光画像処理部64と異なり、Log変換部71、信号比算出部72、逆Log変換部83を備えていない。その代わりに、蛍光画像処理部92は、輝度色差信号変換部86を備えている。それ以外の構成については、蛍光画像処理部92は蛍光画像処理部64と同様である。
輝度色差信号変換部86(本発明の「色情報取得部」に対応する)は、第1RGB画像信号を輝度信号Yと色差信号Cr及びCbに変換する。色差信号Cr及びCbへの変換には周知の変換式が用いられる。色差信号Cr及びCbについては極座標変換部73に送られる。輝度信号YについてはRGB変換部79と明るさ調整部81に送られる。RGB変換部79では、直交座標変換部78を経た色差信号Cr及びCbと輝度信号Yを、第2RGB画像信号に変換する。明るさ調整部81では、第1明るさ情報Yinとして輝度信号Yを用いるとともに、第2明るさ情報Youtとして第2明るさ情報算出部81bで求めた第2明るさ情報を用いて、第2RGB画像信号の画素値の調整を行う。なお、第2明るさ情報Youtの算出方法と第2RGB画像信号の画素値の調整方法については、上記蛍光画像処理部64の場合と同じである。
そして、信号比空間の場合と同様に、色差信号Cr、Cbからなる特徴空間であるCrCb空間において動径rと角度θを変更することによって、彩度強調処理又は色相強調処理を行う。これにより、CrCb空間では、図27に示すように、彩度強調処理を行うことによって、彩度強調処理後の蛍光領域(実線)は、彩度強調処理前の蛍光領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動している。また、図28に示すように、色相強調処理を行うことによって、色相強調処理後の蛍光領域(実線)は、色相強調処理前の蛍光領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動している。
また、色情報として色相H(Hue)、彩度S(Saturation)を求め、色相H、彩度Sから形成されるHS空間において彩度強調処理及び色相強調処理を行ってもよい。色相H、彩度Sを用いる場合には、図29に示す蛍光画像処理部96が用いられる。蛍光画像処理部96は、蛍光画像処理部64と異なり、Log変換部71、信号比算出部72、極座標変換部73、直交座標変換部78、及び逆Log変換部83を備えていない。その代わりに、蛍光画像処理部96は、HSV変換部87を備えている。それ以外の構成については、蛍光画像処理部96は蛍光画像処理部64と同様である。
HSV変換部87(本発明の「色情報取得部」に対応する)は、第1RGB画像信号を色相H、彩度S、及び明度V(Value)に変換する。色相H、彩度S、明度Vへの変換には周知の変換式が用いられる。色相Hと彩度Sについては平行移動部90に送られる。明度VについてはRGB変換部79に送られる。RGB変換部79では、平行移動部90を経た色相H、彩度Sと明度Vを、第2RGB画像信号に変換する。明るさ調整部81では、第1明るさ情報算出部で求めた第1明るさ情報Yinと、第2明るさ情報算出部81bで求めた第2明るさ情報Youtを用いて、第2RGB画像信号の画素値の調整を行う。なお、第1明るさ情報Yin、第2明るさ情報Youtの算出方法、及び第2RGB画像信号の画素値の調整方法については、上記蛍光画像処理部64の場合と同じである。
色相Hと彩度Sから形成されるHS空間における彩度強調処理及び色相強調処理は、信号比空間及びCrCb空間のように動径rと角度θを拡張又は圧縮するのではなく、各画素を平行移動させる処理を行う。HS空間で通常彩度強調処理及び通常色相強調処理を行うことより、HS空間では、図30に示すように、彩度強調処理を行うことによって、彩度強調処理後の蛍光領域(実線)を、彩度強調処理前の蛍光領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動させる。また、図31に示すように、色相強調処理を行うことによって、色相強調処理後の蛍光領域(実線)を、色相強調処理前の蛍光領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動させる。
[第2実施形態]
第2実施形態では、第1実施形態で示した4色のLED20a~20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図32に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a~20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図32では「445LD」と表記)104と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図32では「405LD」と表記)106とが設けられている。これら各光源104及び106の半導体発光素子からの発光は、光源用プロセッサ108により個別に制御されており、青色レーザ光源104の出射光と、青紫色レーザ光源106の出射光の光量比は変更自在になっている。
光源用プロセッサ108は、通常観察モードの場合には、青色レーザ光源104を駆動させる。これに対して、蛍光観察モードの場合には、参照フレームにおいて、青色レーザ光源104と青紫色レーザ光源106の両方を駆動し、蛍光フレームにおいて、青紫色レーザ光源106のみを駆動させる。以上の各光源104及び106から出射されるレーザ光は、集光レンズ、光ファイバ、又は合波器などの光学部材(いずれも図示せず)を介して、ライトガイド41に入射する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ45の他に、ライトガイド41からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110に、青色レーザ光が照射されることで、蛍光体110から蛍光体用蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体110を透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図33に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光体用蛍光を合波した通常光が、観察対象に照射される。一方、蛍光観察モードにおいては、参照フレームでは、青紫色レーザ光と青色レーザ光の両方が蛍光体110に入射するため、図34に示すような、青紫色レーザ光である励起光と、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光体用蛍光を合波した参照光が、検体内に照射される。また、蛍光フレームでは、青紫色レーザー光のみが蛍光体110に入射されるため、図35に示すような、蛍光体をほぼそのまま透過した青紫色レーザー光である励起光が、検体内に照射される。
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度及び色度の変化を小さく抑えることができる。
[第3実施形態]
第3実施形態では、第1実施形態で示した4色のLED20a~20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ48に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図36に示すように、第3実施形態の内視鏡システム200では、光源装置14において、4色のLED20a~20dに代えて、広帯域光源202、回転フィルタ204、及びフィルタ切替部205が設けられている。また、撮像光学系30bには、カラーの撮像センサ48の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ206が設けられている。
広帯域光源202はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた蛍光観察モード用フィルタ209とを備えている(図37参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW13aにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、蛍光観察モードにセットされたときに、回転フィルタ204の蛍光観察モード用フィルタ209を白色光の光路に挿入する。
図37に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、及び白色光のうち赤色光を透過させるRフィルタ208cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、及び赤色光が交互に観察対象に照射される。
蛍光観察モード用フィルタ209には、周方向に沿って、白色光のうち特定波長の青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち青色光を透過させるBフィルタ209b、白色光のうち緑色光を透過させるGフィルタ209c、白色光のうち赤色光を透過させるRフィルタ209dが設けられている。したがって、蛍光観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、青色光、緑色光、赤色光が交互に観察対象に照射される。青色狭帯域光に基づく画像信号は、青色光に基づく画像信号と合成等されて、蛍光及び参照画像信号のB画像信号として用いられる。緑色光に基づく画像信号は、蛍光及び参照画像信号のG画像信号として、赤色光に基づく画像信号は、蛍光及び参照画像信号のR画像信号として用いられる。青色狭帯域光に基づく画像信号は、蛍光画像信号として用いられる。
内視鏡システム200では、通常観察モード時には、青色光、緑色光、及び赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、蛍光観察モード時には、青色狭帯域光、緑色光、及び赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、Bn画像信号と、G画像信号、及びR画像信号が得られる。これらBn画像信号と、G画像信号、及びR画像信号に基づいて、特殊画像の生成が行われる。特殊画像の生成には、B画像信号の代わりに、Bn画像信号が用いられる。それ以外については、第1実施形態と同様の方法で特殊画像の生成が行われる。
なお、上記実施形態では、図3に示すような発光スペクトルを有する4色の光を用いたが、発光スペクトルはこれに限られない。例えば、図38に示すように、緑色光G及び赤色光Rについては、図3と同様のスペクトルを有する一方で、紫色光Vsについては、中心波長410~420nmで、図3の紫色光Vよりもやや長波長側に波長範囲を有する光にしてもよい。また、青色光Bsについては、中心波長445~460nmで、図3の青色光Bよりもやや短波長側に波長範囲を有する光にしてもよい。
なお、上記第1実施形態では、B/G比及びG/R比を極座標変換で動径r及び偏角θに変換し、変換後の動径r、偏角θに基づいて角度を拡張又は圧縮する彩度強調処理及び色相強調処理を行い、その後に、再度、B/G比及びG/R比に戻したが、図39に示すように、二次元LUT(Look Up Table)400を用いて、B/G比及びG/R比から、極座標変換等することなく、直接、第1又は第2処理済みのB/G比及びG/R比に変換してもよい。
なお、二次元LUT400には、B/G比及びG/R比と、このB/G比及びG/R比に基づく彩度強調処理及び色相強調処理を行って得られる彩度強調処理及び色相強調処理済みのB/G比及びG/R比とが対応付けて記憶されている。ここで、通常彩度強調モードに設定されている場合には、B/G比及びG/R比と、通常彩度強調処理及び通常色相強調処理済みのB/G比及びG/R比との対応関係が用いられる。特定彩度強調モードに設定されている場合には、B/G比及びG/R比と、通常彩度強調処理及び特定色相強調処理済みのB/G比及びG/R比との対応関係が用いられる。また、逆ガンマ変換部70から出力された第1RGB画像信号は二次元LUT400及びRGB変換部79に入力される。
上記実施形態において、画像信号入力部53、ノイズ除去部58、信号切替部60、通常画像処理部62、蛍光画像処理部64、蛍光画像処理部92、蛍光画像処理部96、映像信号生成部66、逆ガンマ変換部70、Log変換部71、信号比算出部72、極座標変換部73、色差拡張部74、彩度強調処理部76、色相強調処理部77、直交座標変換部78、RGB変換部79、明るさ調整部81、構造強調部82、逆Log変換部83、ガンマ変換部84、拡張中心変更部85、蛍光及び参照光光量算出部88、参照光量補正部93、処理変更部91、輝度色差信号変換部86、HSV変換部87など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替SW
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
23 光路結合部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS・AGC回路
52 A/D変換器
53 画像信号入力部
56 DSP
58 ノイズ除去部
60 信号切替部
62 通常画像処理部
64 蛍光画像処理部
66 映像信号生成部
70 逆ガンマ変換部
71 Log変換部
72 信号比算出部
73 極座標変換部
74 色差拡張部
76 彩度強調処理部
77 色相強調処理部
78 直交座標変換部
79 RGB変換部
81 明るさ調整部
81a 第1明るさ情報算出部
81b 第2明るさ情報算出部
82 構造強調部
83 逆Log変換部
84 ガンマ変換部
85 拡張中心変更部
86 輝度色差信号変換部
87 HSV変換部
88 蛍光及び参照光光量算出部
91 処理変更部
92 蛍光画像処理部
93 参照光量補正部
96 蛍光画像処理部
100 内視鏡システム
104 青色レーザ光源
106 青紫色レーザ光源
108 光源用プロセッサ
110 蛍光体
200 内視鏡システム
202 広帯域光源
204 回転フィルタ
205 フィルタ切替部
206 撮像センサ
208 通常観察モード用フィルタ
208a Bフィルタ
208b Gフィルタ
208c Rフィルタ
209 蛍光観察モード用フィルタ
209a Bnフィルタ
209b Bフィルタ
209c Gフィルタ
209d Rフィルタ
400 二次元LUT
SLs 彩度用の拡張中心線
SLh 色相用の拡張中心線
CES 彩度用の拡張中心
CEH 色相用の拡張中心

Claims (12)

  1. 観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を少なくとも含む参照光とを発する光源部と、
    画像制御用プロセッサとを備え、
    前記画像制御用プロセッサは、
    前記励起光及び前記参照光によって照明された前記観察対象を撮像して得られる1つの蛍光及び参照画像信号が入力され、
    前記蛍光及び参照画像信号から複数の色情報を取得し、
    前記複数の色情報により形成される特徴空間において、正常粘膜と、前記薬剤蛍光を含み、前記正常粘膜よりも高彩度の蛍光領域との色の差を拡張する内視鏡システム。
  2. 観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を少なくとも含む参照光とを発する光源部と、
    画像制御用プロセッサとを備え、
    前記画像制御用プロセッサは、
    前記励起光及び前記参照光によって照明された前記観察対象を撮像して得られる1つの蛍光及び参照画像信号が入力され、
    前記蛍光及び参照画像信号から複数の色情報を取得し、
    前記複数の色情報により形成される特徴空間において、正常粘膜と、前記薬剤蛍光を含む蛍光領域との色の差を拡張する場合に、前記特徴空間において定められる拡張中心を中心として拡張することにより、前記正常粘膜と前記蛍光領域との色の差が大きくなり、
    前記画像制御用プロセッサは、
    前記蛍光及び参照画像信号と前記励起光のみが照明された観察対象を撮像して得られる蛍光画像信号とに基づいて、前記拡張中心を変更する内視鏡システム。
  3. 前記画像制御用プロセッサは、前記蛍光及び参照画像信号と前記蛍光画像信号との差分により得られる参照画像信号に基づいて、前記拡張中心を変更する請求項記載の内視鏡システム。
  4. 前記画像制御用プロセッサは、前記蛍光及び参照画像信号に含まれる蛍光及び参照光の成分と、前記蛍光画像信号に含まれる蛍光の成分に基づいて、前記拡張中心の変更量を算出する請求項記載の内視鏡システム。
  5. 前記画像制御用プロセッサは、前記蛍光及び参照画像信号と前記蛍光画像信号から、前記蛍光及び参照光の成分を含む病変部が表示された第1病変画像と、前記蛍光及び参照光の成分を含む病変部以外が表示された病変以外画像を生成し、前記第1病変画像と前記病変以外画像に基づいて、前記拡張中心の変更量を算出する請求項記載の内視鏡システム。
  6. 観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を少なくとも含む参照光とを発する光源部と、
    画像制御用プロセッサと光源用プロセッサとを備え、
    前記画像制御用プロセッサは、
    前記励起光及び前記参照光によって照明された前記観察対象を撮像して得られる1つの蛍光及び参照画像信号が入力され、
    前記蛍光及び参照画像信号から複数の色情報を取得し、
    前記複数の色情報により形成される特徴空間において、正常粘膜と、前記薬剤蛍光を含む蛍光領域との色の差を拡張し、
    前記光源用プロセッサは、
    前記励起光及び前記参照光を発する参照フレームと、前記励起光のみを発する蛍光フレームとを、特定のフレーム数にて切り替え内視鏡システム。
  7. 前記画像制御用プロセッサは、
    前記蛍光及び参照画像信号と前記蛍光フレームにて得られる蛍光画像信号とに基づいて、前記蛍光の光量と前記参照光の光量を算出する請求項記載の内視鏡システム。
  8. 前記画像制御用プロセッサは、前記蛍光及び参照画像信号と前記蛍光画像信号に基づいて、前記蛍光及び参照光の成分を含む病変部が表示された第1病変画像と前記蛍光の成分を含む病変部が表示された第2病変画像とを取得し、前記第1病変画像と前記第2病変画像に基づいて、前記蛍光の光量と前記参照光の光量を算出する請求項記載の内視鏡システム。
  9. 前記画像制御用プロセッサは、前記蛍光の光量と前記参照光の光量とに基づいて、前記蛍光及び参照画像信号に対する処理の内容を変更する請求項または記載の内視鏡システム。
  10. 前記処理の内容は、ゲイン処理又はマトリクス処理である請求項記載の内視鏡システム。
  11. 前記画像制御用プロセッサは、変更前と変更後の前記処理の内容に基づいて、前記参照光の光量を補正する請求項または10記載の内視鏡システム。
  12. 観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を有する参照光とを発するステップと、
    前記励起光及び前記参照光によって照明された前記観察対象を撮像して得られる1つの蛍光及び参照画像信号が入力されるステップと、
    前記蛍光及び参照画像信号から複数の色情報を取得するステップと、
    前記複数の色情報により形成される特徴空間において、正常粘膜と、前記薬剤蛍光を含み、前記正常粘膜よりも高彩度の蛍光領域との色の差を拡張するステップとを有する内視鏡システムの作動方法。
JP2021548867A 2019-09-24 2020-09-17 内視鏡システム及びその作動方法 Active JP7203477B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019172952 2019-09-24
JP2019172952 2019-09-24
PCT/JP2020/035328 WO2021060158A1 (ja) 2019-09-24 2020-09-17 内視鏡システム及びその作動方法

Publications (3)

Publication Number Publication Date
JPWO2021060158A1 JPWO2021060158A1 (ja) 2021-04-01
JPWO2021060158A5 JPWO2021060158A5 (ja) 2022-05-02
JP7203477B2 true JP7203477B2 (ja) 2023-01-13

Family

ID=75165778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548867A Active JP7203477B2 (ja) 2019-09-24 2020-09-17 内視鏡システム及びその作動方法

Country Status (4)

Country Link
US (1) US20220211259A1 (ja)
JP (1) JP7203477B2 (ja)
CN (1) CN114430667A (ja)
WO (1) WO2021060158A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102213193B1 (ko) * 2020-01-21 2021-02-08 주식회사 케이엘디 스캔 제어가 가능한 4 Way 듀얼스캐닝 전광판
DE102021001955B4 (de) * 2021-04-14 2023-03-23 Baumer Inspection Gmbh Vorrichtung und Verfahren zur fluoreszenzbasierten Inspektion sowie Prüfanordung mit einer solchen Vorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003126014A (ja) 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置
JP2004024611A (ja) 2002-06-26 2004-01-29 Olympus Corp 蛍光観察用画像処理装置
JP2011522649A (ja) 2008-06-12 2011-08-04 オリンパス・ウィンター・アンド・イベ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 内視鏡画像を改善するための方法及び内視鏡
JP2017023620A (ja) 2015-07-28 2017-02-02 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP2018175762A (ja) 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2771844B2 (ja) * 1989-05-15 1998-07-02 オリンパス光学工業株式会社 内視鏡像観察装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003126014A (ja) 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置
JP2004024611A (ja) 2002-06-26 2004-01-29 Olympus Corp 蛍光観察用画像処理装置
JP2011522649A (ja) 2008-06-12 2011-08-04 オリンパス・ウィンター・アンド・イベ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 内視鏡画像を改善するための方法及び内視鏡
JP2017023620A (ja) 2015-07-28 2017-02-02 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP2018175762A (ja) 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置

Also Published As

Publication number Publication date
CN114430667A (zh) 2022-05-03
JPWO2021060158A1 (ja) 2021-04-01
WO2021060158A1 (ja) 2021-04-01
US20220211259A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
CN106388756B (zh) 图像处理装置及其工作方法以及内窥镜系统
JP2017176856A (ja) 画像処理装置及びその作動方法
JP6121368B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
JP7051845B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP5932894B2 (ja) 医用画像処理装置及びその作動方法
JP6313884B2 (ja) 内視鏡システム及びその作動方法
JP6909856B2 (ja) 内視鏡システム
US20220211259A1 (en) Endoscope system and method of operating the same
US9582900B2 (en) Medical image processing device and method for displaying image of a body cavity with color distinction of infected area
JP7096788B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2021060159A1 (ja) 画像処理装置、内視鏡システム、及び画像処理の作動方法
CN111683583B (zh) 内窥镜系统及其工作方法
JP7177897B2 (ja) 医用画像処理装置
JP7116254B2 (ja) 画像処理装置及びその作動方法
US11304600B2 (en) Light source device, endoscope system, and method of operating light source device
JP2022160298A (ja) 医用画像処理装置及びその作動方法
JP6383829B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7203477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150