JPWO2019155816A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JPWO2019155816A1
JPWO2019155816A1 JP2019570628A JP2019570628A JPWO2019155816A1 JP WO2019155816 A1 JPWO2019155816 A1 JP WO2019155816A1 JP 2019570628 A JP2019570628 A JP 2019570628A JP 2019570628 A JP2019570628 A JP 2019570628A JP WO2019155816 A1 JPWO2019155816 A1 JP WO2019155816A1
Authority
JP
Japan
Prior art keywords
reliability
frame image
image
value
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019570628A
Other languages
English (en)
Other versions
JP6891304B2 (ja
Inventor
孝明 齋藤
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019155816A1 publication Critical patent/JPWO2019155816A1/ja
Application granted granted Critical
Publication of JP6891304B2 publication Critical patent/JP6891304B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00117Optical cables in or with an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

動きがある場合においても、酸素飽和度の情報量を、その正確性に応じて調節する内視鏡システムを提供する。内視鏡システム(10)は、被写体を撮影した第1フレーム画像と、第1フレーム画像とは異なるタイミングで被写体を撮影した第2フレーム画像と、を取得する画像取得部(54)と、第1フレーム画像と第2フレーム画像を用いて酸素飽和度を算出する酸素飽和度算出部(73)と、第1フレーム画像の特定の波長帯域に対応する第1の特定波長帯域画素の値と、第2フレーム画像の特定の波長帯域に対応する第2の特定波長帯域画素の値と、の比である信号比(G1/G2)を用いて、酸素飽和度算出部が算出する酸素飽和度の信頼度を算出する信頼度算出部(76)と、信頼度を用いて酸素飽和度の情報量を調節する情報量調節部(78)と、を備える。

Description

本発明は、酸素飽和度を算出する内視鏡システムに関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムが普及している。特に近年においては、観察対象である被写体の外観を撮影して観察するだけでなく、被写体を撮影した画像を用いて、酸素飽和度等の生体情報を算出する内視鏡システムが知られている。酸素飽和度は、ヘモグロビンの酸素飽和度に応じて吸光係数が変化する照明光を用いて撮影した画像を用いて演算等することにより算出する。
また、算出した酸素飽和度の正確性を表す信頼度を算出し、酸素飽和度を表す酸素飽和度画像を生成する場合には、信頼度が低い部分については表示色をモノクロ調に近づけることにより、表示する酸素飽和度が有する情報量を変更する内視鏡システムが知られている(特許文献1)。具体的には、特許文献1の内視鏡システムにおいては、酸素飽和度の算出に用いる画像の画素値を用いて、第1の信頼度を求める。また、画素の位置に応じた第2の信頼度を求める。第1の信頼度は、ハレーションが発生している部分、または、極端に暗いためにS/N比(signal to noise ratio)が小さい部分等においては、酸素飽和度の算出精度が低下することを表す。第2の信頼度は、照明光の光量分布に起因して酸素飽和度の算出精度の低下を表す。特許文献1の内視鏡システムにおいては、第1の信頼度、第2の信頼度、または、第1の信頼度及び第2の信頼度の両方を用いて、酸素飽和度画像における酸素飽和度の表示色を変更する。
特開2012−143399号公報
特許文献1が開示するように、酸素飽和度の算出精度は、ハレーション部分、暗部、照明光の光量分布、または、これらの複合的な要因によって低下するが、この他にも、酸素飽和度の算出精度が低下する要因がある。具体的には、被写体の動きまたは被写体と内視鏡の相対的な動きがある場合、酸素方飽和度の酸素飽和度が低下する。通常、酸素飽和度の算出には、2フレームをかけて撮影した画像を使用するからである。
本発明は、被写体の動きまたは被写体と内視鏡の相対的な動きがある場合においても、酸素飽和度の情報量を、その正確性に応じて調節する内視鏡システムを提供することを目的とする。
本発明の内視鏡システムは、被写体を撮影した第1フレーム画像と、第1フレーム画像とは異なるタイミングで被写体を撮影した第2フレーム画像と、を取得する画像取得部と、第1フレーム画像と第2フレーム画像を用いて酸素飽和度を算出する酸素飽和度算出部と、第1フレーム画像の特定の波長帯域に対応する第1の特定波長帯域画素の値と、第2フレーム画像の特定の波長帯域に対応する第2の特定波長帯域画素の値と、の比である信号比を用いて、酸素飽和度算出部が算出する酸素飽和度の信頼度を算出する信頼度算出部と、信頼度を用いて酸素飽和度の情報量を調節する情報量調節部と、を備える。
信頼度算出部は、信号比と、第1フレーム画像の画素値及び第2フレーム画像の画素値と、を用いて信頼度を算出することが好ましい。
信頼度算出部は、信号比を用いて第1信頼度を算出し、第1フレーム画像の画素値及び第2フレーム画像の画素値を用いて第2信頼度を算出し、かつ、第1信頼度と第2信頼度のうちの最小値を信頼度として出力することが好ましい。
第1信頼度は、信号比の値が特定値を含む第1特定範囲内の値である場合に一定値であり、かつ、信号比の値が第1特定範囲外の値である場合に特定値から離れるほど漸減することが好ましい。
第2信頼度は、第1フレーム画像の画素値及び第2フレーム画像の画素値が第2特定範囲内の値である場合に一定値であり、かつ、第1フレーム画像の画素値または第2フレーム画像の画素値のうちいずれか1つ以上が第2特定範囲外の値である場合に、零であることが好ましい。
特定の波長帯域は、緑色波長帯域、または、赤色波長帯域であることが好ましい。
信頼度算出部は、さらに、対応する波長帯域が互いに異なる第1フレーム画像の画素値と第2フレーム画像の画素値との比を用いて信頼度を算出することが好ましい。
信頼度算出部は、赤色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値と、緑色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値と、の比である第2の信号比を用いて信頼度を算出することが好ましい。
信頼度算出部は、青色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値と、緑色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値と、の比である第3の信号比を用いて信頼度を算出することが好ましい。
第1フレーム画像の撮影と第2フレーム画像の撮影を連続して行うことが好ましい。
本発明の内視鏡システムによれば、被写体の動きまたは被写体と内視鏡の相対的な動きがある場合においても、酸素飽和度の情報量を、その正確性に応じて調節できる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 撮影フレームごとの照明光と取得画像を示す表である。 ヘモグロビン及び酸化ヘモグロビンの吸光係数を示すグラフである。 画像処理部の構成を示すブロック図である。 画素値の比と酸素飽和度の相関関係を示すグラフである。 第1信頼度のグラフである。 第2信頼度の算出に用いるB1信頼度のグラフである。 酸素飽和度を算出する流れを示すフローチャートである。 第3信頼度のグラフである。 第4信頼度のグラフである。 変形例の光源の構成を示すブロック図である。 内視鏡システムと画像処理装置の関係を示す説明図である。 内視鏡システム及びPACSと診断支援装置の関係を示す説明図である。 各種検査装置と医療業務支援装置の関係を示す説明図である。
[第1実施形態]
図1に示すように、内視鏡システム10(内視鏡装置)は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19と、を備える。内視鏡12は、被写体を撮影する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、内視鏡12で撮影した画像(内視鏡画像)を表示する表示部である。コンソール19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。その結果、先端部12dが所望の方向に向く。また、操作部12bには、アングルノブ12eの他、ズーム操作部13が設けられている。ズーム操作部13を操作することによって、被写体を拡大または縮小して撮影できる。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の動作を制御する光源制御部22と、を備える。
光源部20は、被写体を照明する照明光、または、照明光を発光するために使用する励起光等を発光する。光源部20は、例えば、レーザーダイオード(以下、LDという)、LED(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡12を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部20は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部20は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。
本実施形態においては、光源部20は、中心波長が約473nmの第1励起光を発光する第1LD(Laser Diode)と、中心波長が約445nmの第2励起光を発光する第2LDと、を含む。光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。
光源制御部22は、光源部20を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部20は、スペクトルが異なる複数種類の照明光を発光できる。また、光源制御部22は、撮影のタイミング(いわゆるフレーム)に合わせて光源部20を制御する。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が被写体に向けて出射する。本実施形態においては、照明光学系30aは、照明レンズ45の他に、第1励起光または第2励起光の照射を受けて発光する蛍光体42を有する。蛍光体42は、第1励起光または第2励起光の一部を透過し、かつ、概ね緑色から赤色の蛍光を発光する。このため、蛍光体42を透過した第1励起光または第2励起光と、蛍光体42が発光する蛍光と、照明光学系30aは全体として白色の照明光を被写体に向けて出射する。以下、第1励起光を用いた場合に出射する白色の照明光を第1白色光W1といい、かつ、第2励起光を用いた場合に出射する白色の照明光を第2白色光W2という。また、第1白色光W1が含む青色成分の光を青色光B1、第1白色光W1が含む緑色成分の光を緑色光G1、第1白色光W1が含む赤色成分の光を赤色光R1、第2白色光W2が含む青色成分の光を青色光B2、第2白色光W2が含む緑色成分の光を緑色光G2、第2白色光W2が含む赤色成分の光を赤色光R2という。
撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有する。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、被写体から戻る照明光の反射光等(反射光の他、散乱光、被写体が発する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む)を用いて被写体を撮影する。ズームレンズ47は、ズーム操作部13の操作をすることで移動し、イメージセンサ48を用いて撮影する被写体を拡大または縮小する。
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光を透過する。赤色カラーフィルタは、主として赤色の光を透過する。このため、1回の撮影において、B画像(青色画像)と、G画像(緑色画像)と、R画像(赤色画像)の3種類の画像を同時に得ることができる。
イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて被写体を順次撮影することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を有する(図2参照)。
制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、コンソール19等を用いて、各種設定の入力等をした場合には、制御部52は、その設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
画像取得部54は、各々異なる波長帯域を有する照明光を用いて被写体を撮影した複数種類の画像を取得する。具体的には、画像取得部54は、被写体を撮影した第1フレーム画像と、第1フレーム画像とは異なるタイミングで被写体を撮影した第2フレーム画像と、を取得する。これにより、画像取得部54は、特定の生体情報の算出に必要な画像を取得する。特定の生体情報とは、酸素飽和度、血管の深さ、もしくは、血管の密度等、または、被写体を撮影した画像を用いて演算等することによって得るその他の情報である。本実施形態においては、特定の生体情報とは、酸素飽和度である。
より具体的には、イメージセンサ48がカラーフィルタを有するので、画像取得部54は、照明光ごとに、かつ、カラーフィルタごとに画像を取得する。すなわち、図3に示すように、第1白色光W1を用いて被写体を撮影することにより、BGR各色の画像を取得し、かつ、第2白色光W2を用いて被写体を撮影してBGR各色の画像を取得する。本実施形態においては、被写体を撮影して得る一連の画像のうち、第1白色光W1を用いて被写体を撮影した画像を「第1フレーム画像」といい、かつ、第1フレーム画像とは異なるタイミングで被写体を撮影した画像を「第2フレーム画像」という。第2フレーム画像は、例えば第1フレーム画像よりも時間的に後(または前)に撮影した画像である。第1フレーム画像と第2フレーム画像は連続して撮影した画像でなくても良いが、本実施形態においては動きがあってもその影響をできるだけ低減するために第1フレーム画像と第2フレーム画像は連続して撮影した画像であり、第1フレーム画像の撮影の後に第2フレーム画像の撮影をする。第1フレーム画像の撮影と第2フレーム画像の撮影を連続して行うとは、第1フレーム画像の撮影と第2フレーム画像の撮影の間に他の撮影をせず、第1フレーム画像の撮影の次に第2フレーム画像の撮影をすること、または、第2フレーム画像の撮影の次に第1フレーム画像の撮影をすることをいう。
第1フレーム画像の撮影及び第2フレーム画像の撮影のいずれにおいても、画像取得部54は、B画像、G画像、及びR画像を取得する。但し、第1フレーム画像の撮影と第2フレーム画像の撮影においてそれぞれ使用する照明光が異なるので、以下では区別のために、第1フレーム画像の撮影において取得するB画像をB1画像といい、第1フレーム画像の撮影において取得するG画像をG1画像といい、かつ、第1フレーム画像の撮影において取得するR画像をR1画像という。同様に、第2フレーム画像の撮影において取得するB画像をB2画像といい、第2フレーム画像の撮影において取得するG画像をG2画像といい、かつ、第2フレーム画像の撮影において取得するR画像をR2画像という。B1画像、G1画像、及びR1画像はいずれも第1フレーム画像であり、かつ、B2画像、G2画像、及びR2画像はいずれも第2フレーム画像である。
第1白色光W1が含む青色光B1は第1励起光を多く含み、かつ、第1励起光の中心波長である約473nmは、図4に示すように酸化ヘモグロビン(HbO)と還元ヘモグロビン(Hb)とで吸光係数の差が概ね極大になる波長である。第2白色光W2が含む青色光B2は、第2励起光を多く含み、かつ、第2励起光の中心波長である約445nmは、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数の変化がほとんどない波長である。また、励起光に第1励起光と第2励起光の違いがあっても、蛍光体42が発光する蛍光のスペクトルの差は小さい。そして、第1白色光W1が含む緑色光G1及び赤色光R1、並びに、第2白色光W2が含む緑色光G2及び赤色光R2は、第1白色光W1が含む青色光B1と比較する場合、酸素飽和度に応じた吸光係数の変化はほぼない。したがって、第1白色光W1が含む青色光B1は、酸素飽和度に応じて吸光係数が変化する照明光であり、かつ、第2白色光W2が含む青色光B2は、青色光B1よりも酸素飽和度に応じた吸光係数の変化が小さい照明光である。
画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理または同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、デモザイク処理は、B画素の画素値を用いて補間することにより、G画素及びR画素の位置におけるB画素の画素値を生成する。他の色も同様である。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、画像取得部54が取得した画像を用いて表示用の画像を生成する。本実施形態においては、画像処理部61は、画像取得部54が取得した画像を用いて、酸素飽和度を算出し、酸素飽和度を表す酸素飽和度画像を表示表画像として生成する。図5に示すように、画像処理部61は、信号比算出部72と、酸素飽和度算出部73と、相関関係記憶部74と、信頼度算出部76と、画像生成部77と、を備える。
信号比算出部72は、酸素飽和度算出部73が酸素飽和度の算出に使用する信号比を算出する。具体的には、信号比算出部72は、B1画像の画素値とG2画像の画素値の比である信号比「B1/G2」と、R2画像の画素値とG2画像の画素値の比である信号比「R2/G2」と、を算出する。B1/G2の値は酸素飽和度と血液量(血液濃度)に依存し、かつ、R2/G2の値は血液量に依存する。なお、信号比算出部72が算出する各信号比は、画素ごとに、または、複数の画素を1単位とする場合にはその単位ごとに、算出する。
酸素飽和度算出部73は、信号比算出部72が算出する信号比と、相関関係記憶部74が記憶する相関関係と、を用いて酸素飽和度を算出する。相関関係記憶部74が記憶する相関関係は、図6に示すように、例えば、B1/G2の対数(log(B1/G2))及びR2/G2の対数(log(R2/G2))と、酸素飽和度の値と、を対応付ける。酸素飽和度算出部73は、この相関関係を参照することにより、血液量の影響を除いて、酸素飽和度を算出できる。例えば、特定の画素においてB1/G2の値が「B1*/G2*」であり、かつ、R2/G2の値が「R2*/G2*」である場合、酸素飽和度算出部73は、この特定の画素における酸素飽和度を「40%」と算出する。なお、酸素飽和度算出部73は、画素ごとに、または、複数の画素を1単位とする場合にはその単位ごとに、酸素飽和度を算出する。
信頼度算出部76は、酸素飽和度算出部73が算出する酸素飽和度の正確性を表す「信頼度」を算出する。信頼度算出部76は、最終的に出力する信頼度(以下、信頼度Zという)の算出において、「第1フレーム画像の特定の波長帯域に対応する第1の特定波長帯域画素の値」と、「第2フレーム画像の特定の波長帯域に対応する第2の特定波長帯域画素の値」と、の比である信号比を少なくとも使用する。信頼度算出部76が算出する信頼度は、酸素飽和度を算出する単位と同様に、画素ごとに、または、複数の画素を1単位とする場合にはその単位ごとに、算出する。
本実施形態においては、「第1フレーム画像の特定の波長帯域に対応する第1の特定波長帯域画素の値」はG1画像の画素値であり、かつ、「第2フレーム画像の特定の波長帯域に対応する第2の特定波長帯域画素の値」はG2画像の画素値である。したがって、信頼度算出部76は、G1画像の画素値と、G2画像の画素値と、の比である信号比「G1/G2」(またはG2/G1)を算出し、かつ、算出したG1/G2を用いて第1信頼度Y1を算出する。
第1の特定波長帯域画素と第2の特定波長帯域画素は、それぞれ第1フレーム画素と第2フレーム画素のなかで、照明光のスペクトルに関して同じ条件で被写体を撮影した画像の画素である。このため、G1/G2は、被写体の動きまたは被写体と内視鏡12の相対的な動き(以下、単に「動き」という)がなければほぼ「1」(特定値Iv)であり、動きがある場合には、動きの大きさに起因してこの特定値から値が変動する。すなわち、G1/G2は、動きの大きさを表す。また、G1/G2を用いて算出する第1信頼度Y1は、動きに起因した酸素飽和度の算出精度(正確性)を表す。
動きがあると、酸素飽和度の算出精度が下がる。このため、図7に示すように、信頼度算出部76は、G1/G2を用いて第1信頼度Y1を算出する。すなわち、第1信頼度Y1は、log(G1/G2)の値が特定値Iv(「1」)を含む、閾値Th02以上閾値Th03以下の第1特定範囲内の値である場合に一定値(例えば「1」)である。また、log(G1/G2)の値が第1特定範囲外の値である場合に特定値Ivから離れるほど漸減する。例えば、log(G1/G2)が閾値Th02より小さい値である場合、特定値Ivから離れるほど第1信頼度Y1の値は漸減し、かつ、閾値Th01(Th01<Th02)以下で第1信頼度Y1の値を零(「0」)とする。また、log(G1/G2)が閾値Th03よりも大きい場合、特定値Ivから離れるほど第1信頼度Y1の値は漸減し、かつ、閾値Th04(Th03<Th04)以上で第1信頼度Y1の値を零(「0」)とする。
なお、「第1フレーム画像の特定の波長帯域に対応する第1の特定波長帯域画素の値」をR1画像の画素値とする場合、「第2フレーム画像の特定の波長帯域に対応する第2の特定波長帯域画素の値」はR2画像の画素値である。この場合、信頼度算出部76は、R1画像の画素値と、R2画像の画素値と、の比である信号比「R1/R2」(または「R2/R1」を算出し、かつ、R1/G2の値を用いて第1信頼度Y1を算出する。また、「特定の波長帯域」は、上記の通り、緑色波長帯域、または、赤色波長帯域であることが好ましい。青色光B1と青色光B2は、酸素飽和度に応じたヘモグロビンの吸光係数に対する変化の大きさにおいて違いが大きいので、照明光のスペクトルに関して同じ条件で被写体を撮影したとは言えないからである。また、第1信頼度Y1は、信頼度算出部76が最終的に出力する信頼度Zを算出するために用いるパラメータの1つであるが、信頼度算出部76は、第1信頼度Y1を信頼度Zとして出力できる。
本実施形態においては、信頼度算出部76は、上記G1/G2の他に、第1フレーム画像の画素値及び第2フレーム画像の画素値と、を用いて、最終的に出力する信頼度Zを算出する。具体的には、信頼度算出部76は、第1フレーム画像の画素値及び第2フレーム画像の画素値を用いて、最終的に出力する信頼度Zの算出に用いる第2信頼度Y2を算出する。
第2信頼度Y2は、例えば、第1フレーム画像であるB1画像の画素値を用いて算出するB1信頼度と、第1フレーム画像であるG1画像の画素値を用いて算出するG1信頼度と、第1フレーム画像であるR1画像の画素値を用いて算出するR1信頼度と、第2フレーム画像であるB2画像の画素値を用いて算出するB2信頼度と、第2フレーム画像であるG2画像の画素値を用いて算出するG2信頼度と、第2フレーム画像であるR2画像の画素値を用いて算出するR2信頼度と、を用いる。B1信頼度は、図8に示すように、B1画像の画素値が閾値Th05以上閾値Th06以下の第2特定範囲内の値である場合に一定値「1」であり、B1画像の画素値が、第2特定範囲外の値である場合(閾値Th05より小さい場合または閾値Th06より大きい場合)に零(「0」)とする。G1信頼度、R1信頼度、B2信頼度、G2信頼度、及び、R2信頼度についても同様である。
信頼度算出部76は、例えば、B1信頼度、G1信頼度、R1信頼度、B2信頼度、G2信頼度、及びR2信頼度のうちの最小値を、第2信頼度Y2とする。したがって、第2信頼度Y2は、第1フレーム画像の画素値及び前記第2フレーム画像の画素値が第2特定範囲内の値である場合に一定値であり、かつ、第1フレーム画像の画素値または第2フレーム画像の画素値のうちいずれか1つ以上が第2特定範囲外の値である場合に零である。すなわち、第2信頼度Y2は、第1フレーム画像である各色画像または第2フレーム画像である各色画像のいずれかにおいて、ハレーションまたは暗部である場合には「0」であり、これ以外の場合には「1」である。なお、本実施形態においては、信頼度算出部76は、取得した第1フレーム画像の各色画像と第2フレーム画像の各色画像の全てを使用して第2信頼度Y2を算出するが、第2信頼度Y2は、少なくとも信号比算出部72で用いる画像及び信頼度算出部76で第2信頼度Y2以外の演算(第1信頼度Y1の算出等)に用いる画像のみを使用して算出してもよい。
信頼度算出部76は、第1信頼度Y1と第2信頼度Y2のうちの最小値を、最終的に出力する信頼度Zとする。したがって、信頼度Zは、動きの大きさと、画素値から判別可能なハレーション等の不具合の有無と、を表す。
画像生成部77は、例えば第2フレーム画像であるB2画像、G2画像、及びR2画像とを用いていわゆる白色光画像を生成する。そして、白色光画像を、酸素飽和度算出部73が算出した酸素飽和度の値を用いて色付けすることにより、表示用の画像として、酸素飽和度の値を色で表す酸素飽和度画像を生成する。
画像生成部77は、酸飽和度画像を生成する際に、信頼度Zを用いて酸素飽和度の情報量を調節する情報量調節部78を有する。情報量調節部78は、信頼度算出部76から信頼度Zを取得し、白色光画像の色差チャンネル画像に信頼度Zを乗じることにより、酸素飽和度画像用の色差チャンネル画像を生成する。画像生成部77は、白色光画像の輝度チャンネル画像を輝度チャンネルYに使用し、白色光画像の色差チャンネル画像(Cr)に信頼度を乗じたCr×Zを色差チャンネルCrに割り当て、かつ、白色光画像の色差チャンネル画像(Cb)に信頼度を乗じたCb×Zを色差チャンネルCbに割り当てることにより、酸素飽和度画像を生成する。このため、酸素飽和度画像は、信頼度Zが大きい部分においては酸素飽和度の値に応じた色を有するが、信頼度Zが小さい部分においては酸素飽和度の値に関わらず無彩色に近づき、酸素飽和度の情報量が低下する。
表示制御部66は、画像生成部77から表示用の画像を取得し、取得した画像を表示に適した形式に変換してモニタ18に出力する。これにより、本実施形態においては、モニタ18は酸素飽和度画像を表示する。
以下、内視鏡システム10において酸素飽和度画像を生成及び表示する動作の流れを、図9に示すフローチャートに沿って説明する。まず、照明光を少なくとも第1白色光W1と第2白色光W2とで切り換えながら被写体を撮影することにより、画像取得部54が、酸素飽和度の算出及び酸素飽和度の画像の生成に必要な画像を取得する(ステップS11)。すなわち、画像取得部54は、第1白色光W1を用いる第1フレーム画像の撮影において、第1フレーム画像であるB1画像、G1画像、及びR1画像を取得し、かつ、第2白色光W2を用いる第2フレーム画像の撮影において、第2フレーム画像であるB2画像、G2画像、及びR2画像を取得する。
画像取得部54が第1フレーム画像及び第2フレーム画像を取得すると、これらの画像を用いて酸素飽和度を算出する(ステップS12)。具体的には、信号比算出部72がB1/G2及びR2/G2を算出し、その後、酸素飽和度算出部73がB1/G2及びR2/G2と、相関関係記憶部74が記憶する相関関係と、を使用して、画素ごとに酸素飽和度を算出する。
こうして酸素飽和度を算出する一方で、信頼度算出部76は、動きに起因する酸素飽和度の算出精度の低下の程度を反映した信頼度Zを算出する(ステップS13)。具体的には、信頼度算出部76は、G1/G2を用いて、動きの大きさを反映した第1信頼度Y1を算出する。また、信頼度算出部76は、第1フレーム画像の画素値及び第2フレーム画像の画素値を用いて、ハレーション部分であるか否か、及び、暗部であるか否か、を反映した第2信頼度Y2を算出する。そして、第1信頼度Y1と第2信頼度Y2のうち最小値を信頼度Zとする。
酸素飽和度算出部73が酸素飽和度を算出し、かつ、信頼度算出部76が信頼度Zを算出すると、画像生成部77は、情報量調節部78によって信頼度Zを用いて酸素飽和度の情報量を調節しつつ、酸素飽和度の値を色で表す酸素飽和度画像を生成する(ステップS14)。画像生成部77が酸素飽和度画像を生成すると、モニタ18は酸素飽和度画像を表示する(ステップS15)。信頼度Zを用いて酸素飽和度の情報量を調節した酸素飽和度画像は、信頼度Zが大きい部分においては、酸素飽和度の値に応じた色を表示するので酸素飽和度の視認性が高い。このため、信頼度Zが大きい部分においては酸素飽和度の情報量は大きい。一方、信頼度Zが小さい部分においては酸素飽和度の値に関わらず無彩色に近づくので、酸素飽和度の視認性が低下する。その結果、信頼度Zが小さい部分においては、酸素飽和度の情報量は、信頼度Zが大きい部分に比べて相対的に小さい。
上記のように、内視鏡システム10においては、少なくとも動きの大きさを反映した信頼度Zを算出する。そして、この信頼度Zを用いて酸素飽和度の情報量を調節して酸素飽和度画像を生成するので、動きがある場合においても、酸素飽和度の情報量を、その正確性に応じて調節できる。
本実施形態においては、信頼度Zに応じて、表示色を変更しているが、その他にも、酸素飽和度を数字で表示する場合には、信頼度Zが低い部分は数字を小さく表示(信頼度Zが高い部分を表す数字の文字サイズと比較して相対的に小さい文字サイズで数字を表示)したり、数字の表示を無くすことが考えられる。加えて本実施形態では情報量の調節を、モニタにおける表示において行っている。しかし、情報量の調節はこれに限定されるものではない。例えば、酸素飽和度をモニタ等に表示しない場合には、信頼度Zが低い部分においては、“NULL”などの酸素飽和度と関連の薄い値に置き換えて情報量を調節することが考えられる。
[第2実施形態]
上記第1実施形態においては、信頼度算出部76は、第1信頼度Y1と第2信頼度Y2を用いて、最終的に出力する信頼度Zを算出しているが、信頼度算出部76は、少なくとも第1信頼度Y1に加えて、さらに、対応する波長帯域が互いに異なる第1フレーム画像の画素値と第2フレーム画像の画素値との比を用いて、信頼度Zを算出できる。
例えば、信頼度算出部76は、赤色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値と、緑色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値と、の比である「第2の信号比」を用いて信頼度Zを算出できる。
「赤色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値」とは、R1画像の画素値またはR2画像の画素値である。「緑色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値」とは、G1画像の画素値またはG2画像の画素値である。したがって、「第2の信号比」とは、R1/G1(もしくはG1/R1)、R1/G2(もしくはG2/R2)、R2/G1(もしくはG1/R2)、または、R2/G2(もしくはG2/R2)である。これら「第2の信号比」の値は、いずれも血液量に依存する。
本実施形態においては、信頼度算出部76は、第1信頼度Y1を算出するための信号比(第1の信号比)等に加えて、さらに、第2の信号比としてR2/G2を算出し、かつ、図10に示すように、R2/G2を用いて第3信頼度Y3を算出する。すなわち、第3信頼度Y3は、log(R2/G2)の値が閾値Th08以上閾値Th09以下の第3特定範囲内の値である場合に一定値(例えば「1」)である。また、log(R2/G2)の値が第3特定範囲外の値である場合に、log(R2/G2)の値に応じて漸減する。例えば、log(R2/G2)が閾値Th08よりも小さい場合、第3信頼度Y3の値は漸減し、かつ、閾値Th07(Th07<Th08)以下で第3信頼度Y3の値を零(「0」)とする。また、log(R2/G2)が閾値Th09よりも大きい場合、第3信頼度Y3の値は漸減し、かつ、閾値Th10(Th09<Th10)以上で第3信頼度Y3の値を零(「0」)とする。信頼度算出部76は、第1信頼度Y1、第2信頼度Y2、及び第3信頼度Y3のうちの最小値を、最終的に出力する信頼度Zとする。第2信頼度Y2を算出しない場合には、第1信頼度Y1と第3信頼度Y3のうちの最小値を、最終的に出力する信頼度Zとする。
上記のように、血液量に依存する第2の信号比を用いて算出する第3信頼度Y3を、信頼度Zの算出に用いると、血液量が適正な部分については酸素飽和度の情報量を高く保ち、血液量が適正でなく、算出した酸素飽和度の正確性が低い部分については無彩色に近づけて、酸素飽和度の情報量を低減できる。この結果、例えば、被写体に出血がある場合等においても、酸素飽和度の情報量を、その正確性に応じて調節できる。
[第3実施形態]
上記の他、例えば、信頼度算出部76は、青色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値と、緑色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値と、の比である「第3の信号比」を用いて信頼度Zを算出できる。
「青色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値」とは、B1画像の画素値またはB2画像の画素値である。「緑色波長帯域に対応する第1フレーム画像の画素値または第2フレーム画像の画素値」とは、G1画像の画素値またはG2画像の画素値である。したがって、「第3の信号比」とは、B1/G1(もしくはG1/B1)、B1/G2(もしくはG2/B1)、B2/G1(もしくはG1/B2)、または、B2/G2(もしくはG2/B2)である。これら「第3の信号比」の値は、いずれもビリルビン等の黄色色素を含む残渣等の有無及び付着量に依存する。
本実施形態においては、信頼度算出部76は、第1信頼度Y1を算出するための信号比(第1の信号比)等に加えて、さらに、第3の信号比としてB1/G2を算出し、かつ、図11に示すように、B1/G2を用いて第4信頼度Y4を算出する。すなわち、第4信頼度Y4は、log(B1/G2)の値が閾値Th11以下であって残渣等の付着量が大きい場合に零(「0」)であり、log(B1/G2)の値が閾値Th12(Th11<Th12)以上であって残渣等の付着量が小さい場合に一定値(「1」)であり、かつ、log(B1/G2)の値が閾値Th11より大きく閾値Th12より小さい範囲内においては第3の信号比が小さくなるほど漸減する。
信頼度算出部76は、第1信頼度Y1、第2信頼度Y2、第3信頼度Y3、及び第4信頼度Y4のうちの最小値を、最終的に出力する信頼度Zとする。第2信頼度Y2を算出しない場合、または、第3信頼度Y3を算出しない場合も同様である。
上記のように、残渣等の有無及び付着量に依存する第3の信号比を用いて算出する第4信頼度Y4を、信頼度Zの算出に用いると、残渣等の付着量が小さい部分については酸素飽和度の情報量を高く保ち、残渣等の付着量が大きく、算出した酸素飽和度の正確性が低い部分については無彩色に近づけて、酸素飽和度の情報量を低減できる。この結果、例えば、被写体の一部または全体に残渣等が付着している場合においても、酸素飽和度の情報量を、その正確性に応じて調節できる。
なお、上記第1実施形態、第2実施形態、及び第3実施形態においては、光源部20は第1LDと第2LDを備え、これらと蛍光体42とを用いて照明光を生成しているが、光源部20はLEDで構成できる。この場合、図12に示すように、光源部20には、中心波長が約470nmの青色光B1を発光するB1−LED410と、中心波長が約450nmの青色光B2を発光するB2−LED411と、中心波長が約540nmの緑色光Gを発光するG−LED412と、中心波長が約650nmの赤色光Rを発光するR−LED413と、を備える。そして、第1フレーム画像の撮影においては、青色光B1と、緑色光Gと、赤色光Rと、を含む照明光を使用して被写体を撮影し、その結果、画像取得部54は、B1画像と、G1画像と、R1画像と、を取得できる。また、第2フレーム画像の撮影においては、青色光B2と、緑色光Gと、赤色光Rと、を含む照明光を用いて被写体を撮影し、その結果、画像取得部54は、B2画像と、G2画像と、R2画像と、を取得できる。
なお、上記実施形態等においては、酸素飽和度を算出しているが、本発明は、他の生体情報を表す画像等(血液量または特定の深さにある血管の画像等)を生成する際にも有用である。他の生体情報を明示的に算出する場合、酸素飽和度算出部73は生体情報算出部とする。また、結果として他の生体情報を表す画像を生成する場合、酸素飽和度算出部73は、その画像を生成するために信号比を用いて必要な演算をする演算部とできる。
この他、図13に示すように、内視鏡システム10のうち画像処理部61を構成する各部の一部または全部は、例えばプロセッサ装置16と通信して内視鏡システム10と連携する医療画像処理装置701に設けることができる。また、図14に示すように、内視鏡システム10のうち画像処理部61を構成する各部の一部または全部は、例えば内視鏡システム10から直接的に、または、PACS(Picture Archiving and Communication Systems)710から間接的に、内視鏡12で撮影した画像を取得する診断支援装置711に設けることができる。また、図15に示すように、内視鏡システム10を含む、第1検査装置721、第2検査装置722、…、第N検査装置723等の各種検査装置と、ネットワーク726を介して接続する医療業務支援装置730に、内視鏡システム10のうち画像処理部61を構成する各部の一部または全部を設けることができる。
上記実施形態において、光源制御部22、制御部52、画像取得部54及び画像取得部54を構成する各部、画像処理部61及び画像処理部61を構成する各部、並びに、表示制御部66等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13 ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
42 蛍光体
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ低減部
59 変換部
61 画像処理部
66 表示制御部
72 信号比算出部
73 酸素飽和度算出部
74 相関関係記憶部
76 信頼度算出部
77 画像生成部
78 情報量調節部
410 B1−LED
411 B2−LED
412 G−LED
413 R−LED
701 医療画像処理装置
710 PACS
711 診断支援装置
721 第1検査装置
722 第2検査装置
723 検査装置
726 ネットワーク
730 医療業務支援装置
Iv 特定値
Th01、Th02、Th03、Th04、Th05、Th06、Th07、Th08、Th09、Th10、Th11、Th12 閾値
Y1 第1信頼度
Y2 第2信頼度
Y3 第3信頼度
Y4 第4信頼度
Z 信頼度
B1、B2 青色光
Cb 色差チャンネル
Cr 色差チャンネル
Cy シアン色光
D1、D2 変化量
G、G1、G2 緑色光
Hb 還元ヘモグロビン
HbO 酸化ヘモグロビン
Ma マゼンダ色光
R、R1、R2 赤色光
S11、S12、S13、S14、S15 ステップ
W1 第1白色光
W2 第2白色光

Claims (10)

  1. 被写体を撮影した第1フレーム画像と、前記第1フレーム画像とは異なるタイミングで前記被写体を撮影した第2フレーム画像と、を取得する画像取得部と、
    前記第1フレーム画像と前記第2フレーム画像を用いて酸素飽和度を算出する酸素飽和度算出部と、
    前記第1フレーム画像の特定の波長帯域に対応する第1の特定波長帯域画素の値と、前記第2フレーム画像の前記特定の波長帯域に対応する第2の特定波長帯域画素の値と、の比である信号比を用いて、前記酸素飽和度算出部が算出する酸素飽和度の信頼度を算出する信頼度算出部と、
    前記信頼度を用いて酸素飽和度の情報量を調節する情報量調節部と、
    を備える内視鏡システム。
  2. 前記信頼度算出部は、前記信号比と、前記第1フレーム画像の画素値及び前記第2フレーム画像の画素値と、を用いて前記信頼度を算出する請求項1に記載の内視鏡システム。
  3. 前記信頼度算出部は、前記信号比を用いて第1信頼度を算出し、前記第1フレーム画像の画素値及び前記第2フレーム画像の画素値を用いて第2信頼度を算出し、かつ、前記第1信頼度と前記第2信頼度のうちの最小値を前記信頼度として出力する請求項2に記載の内視鏡システム。
  4. 前記第1信頼度は、
    前記信号比の値が特定値を含む第1特定範囲内の値である場合に一定値であり、かつ、
    前記信号比の値が前記第1特定範囲外の値である場合に前記特定値から離れるほど漸減する請求項3に記載の内視鏡システム。
  5. 前記第2信頼度は、
    前記第1フレーム画像の画素値及び前記第2フレーム画像の画素値が第2特定範囲内の値である場合に一定値であり、かつ、
    前記第1フレーム画像の画素値または前記第2フレーム画像の画素値のうちいずれか1つ以上が前記第2特定範囲外の値である場合に零である請求項3または4に記載の内視鏡システム。
  6. 前記特定の波長帯域は、緑色波長帯域、または、赤色波長帯域である請求項1〜5のいずれか1項に記載の内視鏡システム。
  7. 前記信頼度算出部は、さらに、対応する波長帯域が互いに異なる前記第1フレーム画像の画素値と前記第2フレーム画像の画素値との比を用いて前記信頼度を算出する請求項1または2に記載の内視鏡システム。
  8. 前記信頼度算出部は、赤色波長帯域に対応する前記第1フレーム画像の画素値または前記第2フレーム画像の画素値と、緑色波長帯域に対応する前記第1フレーム画像の画素値または前記第2フレーム画像の画素値と、の比である前記第2の信号比を用いて前記信頼度を算出する請求項7に記載の内視鏡システム。
  9. 前記信頼度算出部は、青色波長帯域に対応する前記第1フレーム画像の画素値または前記第2フレーム画像の画素値と、緑色波長帯域に対応する前記第1フレーム画像の画素値または前記第2フレーム画像の画素値と、の比である前記第3の信号比を用いて前記信頼度を算出する請求項7または8に記載の内視鏡システム。
  10. 前記第1フレーム画像の撮影と前記第2フレーム画像の撮影を連続して行う請求項1〜9のいずれか1項に記載の内視鏡システム。
JP2019570628A 2018-02-09 2019-01-10 内視鏡システム Active JP6891304B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018022517 2018-02-09
JP2018022517 2018-02-09
PCT/JP2019/000502 WO2019155816A1 (ja) 2018-02-09 2019-01-10 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2019155816A1 true JPWO2019155816A1 (ja) 2021-01-07
JP6891304B2 JP6891304B2 (ja) 2021-06-18

Family

ID=67548864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570628A Active JP6891304B2 (ja) 2018-02-09 2019-01-10 内視鏡システム

Country Status (3)

Country Link
US (1) US11375928B2 (ja)
JP (1) JP6891304B2 (ja)
WO (1) WO2019155816A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11516388B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
WO2023119856A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143399A (ja) * 2011-01-12 2012-08-02 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置及び画像生成方法
JP2013099464A (ja) * 2011-11-09 2013-05-23 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP2013188244A (ja) * 2012-03-12 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡動画表示方法
JP2015146924A (ja) * 2014-02-06 2015-08-20 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
WO2016136698A1 (ja) * 2015-02-27 2016-09-01 Hoya株式会社 画像処理装置
WO2017154292A1 (ja) * 2016-03-07 2017-09-14 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004016435B4 (de) * 2004-03-31 2009-05-28 Imedos Gmbh Verfahren zur spektralphotometrischen Ermittlung der Sauerstoffsättigung des Blutes in optisch zugänglichen Blutgefäßen
US8668636B2 (en) * 2009-09-30 2014-03-11 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP5438571B2 (ja) * 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5405373B2 (ja) * 2010-03-26 2014-02-05 富士フイルム株式会社 電子内視鏡システム
JP5303012B2 (ja) * 2010-12-15 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5426620B2 (ja) * 2011-07-25 2014-02-26 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
CN103732116B (zh) * 2011-09-05 2016-04-13 富士胶片株式会社 内窥镜系统、处理器设备和操作内窥镜系统的方法
JP5587932B2 (ja) * 2012-03-14 2014-09-10 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP6092792B2 (ja) * 2014-01-20 2017-03-08 富士フイルム株式会社 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
JP5992936B2 (ja) * 2014-02-27 2016-09-14 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6336098B2 (ja) * 2015-03-17 2018-06-06 オリンパス株式会社 生体観察システム
JP6744713B2 (ja) * 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6616887B2 (ja) * 2016-04-08 2019-12-04 オリンパス株式会社 内視鏡システム
WO2017216883A1 (ja) * 2016-06-14 2017-12-21 オリンパス株式会社 内視鏡装置
JP6467562B2 (ja) * 2016-09-02 2019-02-13 Hoya株式会社 内視鏡システム
CN109310305B (zh) * 2016-09-02 2022-03-11 Hoya株式会社 内窥镜系统及特征量计算方法
DE112017005214T5 (de) * 2016-10-14 2019-07-11 Hoya Corporation Endoskopiesystem
WO2018105020A1 (ja) * 2016-12-05 2018-06-14 オリンパス株式会社 内視鏡装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143399A (ja) * 2011-01-12 2012-08-02 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置及び画像生成方法
JP2013099464A (ja) * 2011-11-09 2013-05-23 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP2013188244A (ja) * 2012-03-12 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡動画表示方法
JP2015146924A (ja) * 2014-02-06 2015-08-20 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
WO2016136698A1 (ja) * 2015-02-27 2016-09-01 Hoya株式会社 画像処理装置
WO2017154292A1 (ja) * 2016-03-07 2017-09-14 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Also Published As

Publication number Publication date
US20200359940A1 (en) 2020-11-19
WO2019155816A1 (ja) 2019-08-15
JP6891304B2 (ja) 2021-06-18
US11375928B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
EP2912990A1 (en) Endoscope system, endoscope system processor device, operation method for endoscope system, and operation method for endoscope system processor device
CN111343898B (zh) 内窥镜系统及其工作方法
JP6817154B2 (ja) プロセッサ装置及びその作動方法
US20190087970A1 (en) Endoscope system, processor device, and endoscope system operation method
US11596293B2 (en) Endoscope system and operation method therefor
US11089943B2 (en) Endoscope system and method of operating the same
US11375928B2 (en) Endoscope system
EP3673787A1 (en) Light source device and endoscope system
CN111568340B (zh) 内窥镜系统
US10827914B2 (en) Endoscope system and characteristic amount calculation method
US20190239729A1 (en) Remote monitoring of a region of interest
US20160006993A1 (en) Image processing device and method for operating endoscope system
US8300093B2 (en) Endoscope image processing method and apparatus, and endoscope system using the same
JP7015382B2 (ja) 内視鏡システム
CN113366366B (zh) 内窥镜系统
CN112004455B (zh) 医疗图像处理系统
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP7057381B2 (ja) 内視鏡システム
CN111683583B (zh) 内窥镜系统及其工作方法
CN113454514B (zh) 内窥镜系统
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
US11969152B2 (en) Medical image processing system
US20220022738A1 (en) Endoscope system
WO2021149357A1 (ja) 内視鏡システム及びその作動方法
JP6999597B2 (ja) プロセッサ装置及びその作動方法並びに内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210526

R150 Certificate of patent or registration of utility model

Ref document number: 6891304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250