JP6616887B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6616887B2
JP6616887B2 JP2018510212A JP2018510212A JP6616887B2 JP 6616887 B2 JP6616887 B2 JP 6616887B2 JP 2018510212 A JP2018510212 A JP 2018510212A JP 2018510212 A JP2018510212 A JP 2018510212A JP 6616887 B2 JP6616887 B2 JP 6616887B2
Authority
JP
Japan
Prior art keywords
pixel
light
signal
oxygen saturation
wavelength band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018510212A
Other languages
English (en)
Other versions
JPWO2017175383A1 (ja
Inventor
祐輔 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017175383A1 publication Critical patent/JPWO2017175383A1/ja
Application granted granted Critical
Publication of JP6616887B2 publication Critical patent/JP6616887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051Details of CCD assembly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、内視鏡システムに関する。
可視光を用いた通常観察に加えて、生体機能情報の取得が可能な内視鏡システムが注目されている。例えば、生体機能情報として血液内のヘモグロビンの酸素飽和度を検出できる内視鏡システムが特許文献1に開示されている。特許文献1に開示された内視鏡システムにおいて、可視光と酸素飽和度測定のための光とが観察対象に順次照射される。可視光と酸素飽和度測定のための光との各々の反射光がイメージセンサにより撮像され、かつ画素信号が生成される。画素信号に基づいて、観察領域における酸素飽和度が算出される。
図14は、特許文献1に開示された構成と同様の内視鏡システム1001のハードウェア構成を示している。図14に示すように、内視鏡システム1001は、光源部1010と、内視鏡スコープ部1020と、演算装置1030と、モニタ1040とを有する。
光源部1010は、第1の光源1100と、第2の光源1101と、光源制御部1102とを有する。第1の光源1100は、可視光を発生する。第2の光源1101は、酸素飽和度測定のための光を発生する。光源制御部1102は、第1の光源1100および第2の光源1101が順次点灯するように第1の光源1100および第2の光源1101を制御する。
図15は、第2の光源1101が発生する光の波長特性を示している。図15において、グラフの横軸は光の波長(nm)を示し、かつグラフの縦軸は光量を示している。第2の光源1101が発生する光は、波長が473nmである光を含む。
内視鏡スコープ部1020は、ライトガイド1200と、照明レンズ1201と、対物レンズ1202と、イメージャ1203とを有する。光源部1010からの光は、ライトガイド1200に入射する。ライトガイド1200は、光源部1010からの光を内視鏡スコープ部1020の先端部に伝送する。ライトガイド1200によって伝送された光は、照明レンズ1201により被写体1050に照射される。可視光観察において、第1の光源1100からの可視光が被写体1050に照射される。酸素飽和度測定において、第2の光源1101からの光が被写体1050に照射される。
内視鏡スコープ部1020の先端部において、照明レンズ1201に隣接して対物レンズ1202が設けられている。被写体1050によって反射された光が対物レンズ1202に入射する。対物レンズ1202は、被写体1050からの光を結像する。対物レンズ1202の結像位置にイメージャ1203が配置されている。対物レンズ1202を通過した光は、イメージャ1203に入射する。イメージャ1203は、イメージャ1203に入射した光を撮像することにより、画素信号を生成する。イメージャ1203によって生成された画素信号は演算装置1030に出力される。
図16は、イメージャ1203の画素配列を示している。イメージャ1203は、行列状に配置された複数の画素1203Pを有する。画素1203Pは、画素1203Pに入射した光に基づく画素信号を生成する。各画素の表面にカラーフィルタが配置される。複数の画素1203Pは、R画素Pr2と、G画素Pg2と、B画素Pb2とを含む。図16において、“R”と記載された画素1203PがR画素Pr2である。図16において、“G”と記載された画素1203PがG画素Pg2である。図16において、“B”と記載された画素1203PがB画素Pb2である。
R画素Pr2は、赤に対応する。赤色光を透過させる赤フィルタがR画素Pr2の表面に配置される。R画素Pr2は、赤色光に基づく画素信号を生成する。以下の説明において、R画素Pr2によって生成される画素信号をR信号と呼ぶ。G画素Pg2は、緑に対応する。緑色光を透過させる緑フィルタがG画素Pg2の表面に配置される。G画素Pg2は、緑色光に基づく画素信号を生成する。以下の説明において、G画素Pg2によって生成される画素信号をG信号と呼ぶ。B画素Pb2は、青に対応する。青色光を透過させる青フィルタがB画素Pb2の表面に配置される。B画素Pb2は、青色光に基づく画素信号を生成する。以下の説明において、B画素Pb2によって生成される画素信号をB信号と呼ぶ。図16に示す画素配列は、ベイヤー配列である。ベイヤー配列において、基本配列が行方向かつ列方向に規則的かつ周期的に配置される。基本配列は、1個のR画素Pr2と2個のG画素Pg2と1個のB画素Pb2とを含む。
演算装置1030は、可視光観察時にイメージャ1203によって生成された画素信号に基づいて可視光画像信号を生成する。演算装置1030は、酸素飽和度測定時にイメージャ1203によって生成された画素信号に基づいて酸素飽和度を算出し、かつ酸素飽和度画像信号を生成する。演算装置1030によって生成された可視光画像信号および酸素飽和度画像信号はモニタ1040に出力される。モニタ1040は、可視光画像信号に基づく可視光画像と、酸素飽和度画像信号に基づく酸素飽和度画像とを表示する。例えば、モニタ1040は、可視光画像と酸素飽和度画像とを並べて表示する。あるいは、モニタ1040は、可視光画像と酸素飽和度画像とを重ねて表示する。モニタ1040が、観察領域における酸素飽和度の分布を画像としてリアルタイムに表示することにより、医師は、低酸素状態である癌領域を発見することができる。
図17は、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数を示している。図17において、グラフの横軸は光の波長(nm)を示し、かつグラフの縦軸は吸光係数を示している。線L10は酸化ヘモグロビンの吸光係数を示し、かつ線L11は還元ヘモグロビンの吸光係数を示している。図15に示すように、第2の光源1101からの光の波長分布は、473nmの波長においてピークを有する。図17に示すように、473nmの波長において酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の差が大きい。吸光係数の差が大きい波長の光に基づく画素信号から酸素飽和度の情報が取得されやすい。
日本国特開2014−094088号公報
酸素飽和度は、酸素飽和度測定時にイメージャ1203によって生成されたB信号と、可視光観察時にイメージャ1203によって生成されたG信号およびR信号とに基づいて算出される。しかし、内視鏡システム1001において2つの光源からの光が順次照射されるため、イメージャ1203は、第1の光源1100からの可視光の反射光と、第2の光源1101からの光の反射光とを同時に検出することができない。被写体1050または内視鏡スコープ部1020が動くことにより、可視光観察時と酸素飽和度測定時との間で各画素1203Pが検出する被写体1050の領域が異なる。このため、演算装置1030は、各画素1203Pの酸素飽和度を高精度に算出することができない。
内視鏡システム1001において、可視光を検出する画素1203Pと、酸素飽和度測定のための光を検出する画素1203Pとが同一であるため、イメージャ1203は、可視光を透過させるカラーフィルタを有する。図18は、イメージャ1203が有するカラーフィルタの透過特性を示している。線Lb2は、青フィルタの透過特性を示している。線Lg2は、緑フィルタの透過特性を示している。線Lr2は、赤フィルタの透過特性を示している。線Lb2が示すように、青フィルタは、波長が約380nmから約550nmである光を透過させる。図17に示すように、波長が380nmから550nmである波長帯域B100において、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の大きさの関係は一定ではない。例えば、473nmの波長では酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きい。しかし、510nmの波長では酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さい。
酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンとの比率に基づく。各波長に対応する酸化ヘモグロビンの吸光係数と還元ヘモグロビンの吸光係数との比率が大きく異なる場合、酸素飽和度の算出精度が低下する。酸素飽和度測定時にイメージャ1203は、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の大きさの関係が一定でない波長帯域B100の光に基づいてB信号を生成する。このため、演算装置1030は、各画素1203Pの酸素飽和度を高精度に算出することができない。
本発明は、酸素飽和度をより高精度に算出することができる内視鏡システムを提供することを目的とする。
本発明の第1の態様によれば、内視鏡システムは、光源と、撮像装置と、演算装置とを有する。前記光源は、可視光を含む照明光を発生する。前記撮像装置は、前記光源から被写体に照射された前記照明光の反射光を撮像する。前記撮像装置は、第1の基板と、第2の基板と、光学フィルタとを有する。前記第1の基板は、複数の第1の画素を有する。前記第2の基板は、前記第1の基板に積層され、かつ複数の第2の画素を有する。前記光学フィルタは、前記第1の基板と前記第2の基板との間に配置され、かつ前記第1の基板を透過した光のうち酸素飽和度算出のための所定の波長帯域の光のみを透過させる。前記所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きい。または前記所定の波長帯域に含まれる全ての波長において、前記酸化ヘモグロビンの前記吸光係数は前記還元ヘモグロビンの前記吸光係数よりも小さい。前記反射光は前記複数の第1の画素に入射する。前記第1の基板および前記光学フィルタを透過した光は前記複数の第2の画素に入射する。前記第1の画素は、前記第1の画素に入射した光に基づく第1の画素信号を生成する。前記第2の画素は、前記第2の画素に入射した光に基づく第2の画素信号を生成する。前記演算装置は、前記第1の画素信号および前記第2の画素信号に基づいて酸素飽和度を算出する。
本発明の第2の態様によれば、第1の態様において、前記所定の波長帯域は、波長が500nm以上である波長帯域であってもよい。
本発明の第3の態様によれば、第2の態様において、前記所定の波長帯域は、波長が600nmから750nmである波長帯域に含まれ、かつ前記所定の波長帯域の幅は100nm以下であってもよい。
本発明の第4の態様によれば、第2の態様において、前記光源は、前記可視光に加えて、前記所定の波長帯域の光を含む前記照明光を発生してもよい。前記所定の波長帯域は、波長が800nmから900nmである波長帯域に含まれ、かつ前記所定の波長帯域の幅は100nm以下であってもよい。
本発明の第5の態様によれば、第1の態様において、前記演算装置は、前記第1の画素信号から前記第2の画素信号に基づく信号を減算することにより補正画素信号を生成してもよい。前記演算装置は、前記補正画素信号および前記第2の画素信号に基づいて前記酸素飽和度を算出してもよい。
本発明の第6の態様によれば、第1の態様において、前記複数の第1の画素は、緑色光に基づく前記第1の画素信号を生成するG画素を含んでもよい。前記演算装置は、前記G画素で生成された前記第1の画素信号と、前記第2の画素信号とに基づいて血液量を算出してもよい。前記演算装置は、前記複数の第1の画素で生成された前記第1の画素信号に基づく画像において前記血液量が第1の閾値よりも少ない領域が強調表示されるように前記第1の画素信号を処理してもよい。
本発明の第7の態様によれば、第6の態様において、前記演算装置は、前記複数の第1の画素で生成された前記第1の画素信号に基づく画像において前記血液量が前記第1の閾値よりも小さく、かつ第2の閾値以上である領域のみが強調表示されるように前記第1の画素信号を処理してもよい。前記第2の閾値は前記第1の閾値よりも小さい。
本発明の第8の態様によれば、第1の態様において、前記演算装置は、前記複数の第1の画素で生成された前記第1の画素信号に基づく画像において前記酸素飽和度が所定の閾値よりも小さい領域が強調表示されるように前記第1の画素信号を処理してもよい。
上記の各態様によれば、第1の基板と第2の基板とが積層されているため、複数の第1の画素および複数の第2の画素は、同時に光を検出することができる。所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きい。または所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さい。このため、第2の画素は、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の大きさの関係が一定である波長帯域の光に基づいて第2の画素信号を生成することができる。したがって、内視鏡システムは、酸素飽和度をより高精度に算出することができる。
本発明の第1の実施形態の内視鏡システムのハードウェア構成を示すブロック図である。 本発明の第1の実施形態の光学フィルタの透過特性を示すグラフである。 本発明の第1の実施形態のイメージャの断面図である。 本発明の第1の実施形態のカラーフィルタの透過特性を示すグラフである。 本発明の第1の実施形態の光学フィルタ(層間フィルタ)の透過特性を示すグラフである。 本発明の第1の実施形態のイメージャの画素配列を示す参考図である。 本発明の第1の実施形態のメモリに記憶される情報を示すグラフである。 酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数を示すグラフである。 本発明の第2の実施形態の光学フィルタの透過特性を示すグラフである。 本発明の第2の実施形態の光学フィルタ(層間フィルタ)の透過特性を示すグラフである。 本発明の第2の実施形態のイメージャの画素配列を示す参考図である。 本発明の第2の実施形態のメモリに記憶される情報を示すグラフである。 本発明の第3の実施形態の内視鏡システムのハードウェア構成を示すブロック図である。 従来技術の内視鏡システムのハードウェア構成を示すブロック図である。 従来技術の内視鏡システムが有する光源が発生する光の波長特性を示すグラフである。 従来技術の内視鏡システムが有するイメージャの画素配列を示す参考図である。 酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数を示すグラフである。 従来技術の内視鏡システムが有するカラーフィルタの透過特性を示すグラフである。
図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態の内視鏡システム1のハードウェア構成を示している。図1に示すように、内視鏡システム1は、光源部10と、内視鏡スコープ部20と、演算装置30と、モニタ40とを有する。
光源部10は、光源100と、光学フィルタ101とを有する。光源100は、可視光を含む照明光を発生する。可視光の波長帯域は、赤波長帯域と、緑波長帯域と、青波長帯域とを含む。赤波長帯域は、緑波長帯域よりも波長が長い帯域である。緑波長帯域は、青波長帯域よりも波長が長い帯域である。光源100が発生する照明光は、可視光よりも波長が長い光すなわち赤外光を含んでもよい。
光学フィルタ101は、光源100の照明光路中に設けられている。図2は、光学フィルタ101の透過特性を示している。図2において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。図2に示すように、光学フィルタ101は、波長が400nmから700nmである波長帯域の光のみを透過させる。つまり、光学フィルタ101は、光源100からの光のうち可視光のみを透過させる。
内視鏡スコープ部20は、ライトガイド200と、照明レンズ201と、対物レンズ202と、イメージャ203(イメージセンサ)とを有する。光源100からの光は、光学フィルタ101を介して、ライトガイド200に入射する。ライトガイド200は、光源100からの光を内視鏡スコープ部20の先端部に伝送する。ライトガイド200によって伝送された光は、照明レンズ201により被写体50に照射される。光学フィルタ101の透過特性により、波長が400nmから700nmである波長帯域の光が被写体50に照射される。
内視鏡スコープ部20の先端部において、照明レンズ201に隣接して対物レンズ202が設けられている。被写体50によって反射された光が対物レンズ202に入射する。対物レンズ202は、被写体50からの光を結像する。対物レンズ202の結像位置にイメージャ203が配置されている。対物レンズ202を通過した光は、イメージャ203に入射する。光学フィルタ101の透過特性により、波長が400nmから700nmである波長帯域の光がイメージャ203に入射する。イメージャ203は、イメージャ203に入射した光を撮像することにより、画素信号を生成する。イメージャ203によって生成された画素信号は演算装置30に出力される。
演算装置30は、可視光画像生成部300と、酸素飽和度画像生成部301と、メモリ302とを有する。例えば、演算装置30は、1つまたは複数のプロセッサを含む。例えば、プロセッサは、CPU(Central Processing Unit)、特定用途向け集積回路(ASIC)、およびFPGA(Field−Programmable Gate Array)等の少なくとも1つを含む。例えば、可視光画像生成部300および酸素飽和度画像生成部301は、それぞれ異なるプロセッサで構成される。可視光画像生成部300および酸素飽和度画像生成部301は、同一のプロセッサで構成されてもよい。
可視光画像生成部300は、イメージャ203によって生成された画素信号に基づいて可視光画像信号を生成する。可視光画像信号は、可視光画像を表示するための信号である。酸素飽和度画像生成部301は、イメージャ203によって生成された画素信号に基づいて酸素飽和度を算出し、かつ酸素飽和度画像信号を生成する。酸素飽和度画像信号は、酸素飽和度画像を表示するための信号である。酸素飽和度画像は、酸素飽和度の情報が重畳されたカラー画像である。演算装置30によって生成された可視光画像信号および酸素飽和度画像信号はモニタ40に出力される。メモリ302は、酸素飽和度の算出に必要な情報を記憶する。
モニタ40は、可視光画像信号に基づく可視光画像と、酸素飽和度画像信号に基づく酸素飽和度画像とを表示する。例えば、モニタ40は、可視光画像と酸素飽和度画像とを並べて表示する。あるいは、モニタ40は、可視光画像と酸素飽和度画像とを重ねて表示する。モニタ40が、観察領域における酸素飽和度の分布を画像としてリアルタイムに表示することにより、医師は、低酸素状態である癌領域を発見することができる。
図3は、イメージャ203の構成を示している。図3において、イメージャ203の断面が示されている。図3に示すように、イメージャ203は、第1の基板2030と、第2の基板2031と、カラーフィルタ2032と、光学フィルタ2033(層間フィルタ)とを有する。これらは、第1の基板2030の厚さ方向に積層されている。
第1の基板2030および第2の基板2031は、半導体基板である。例えば、第1の基板2030および第2の基板2031は、シリコン(Si)で構成されている。第1の基板2030は、面2030aと面2030bとを有する。面2030aおよび面2030bは、第1の基板2030の主面である。主面は、基板の表面を構成する複数の面のうち相対的に広い面である。面2030aおよび面2030bは、互いに反対方向を向く。第2の基板2031は、面2031aと面2031bとを有する。面2031aおよび面2031bは、第2の基板2031の主面である。面2031aおよび面2031bは、互いに反対方向を向く。第1の基板2030の面2030bおよび第2の基板2031の面2031aは、対向する。図1に示すように、演算装置30は、イメージャ203の外部に配置されている。第1の基板2030および第2の基板2031の少なくとも1つは、演算装置30の少なくとも一部を有してもよい。
カラーフィルタ2032は、第1の基板2030の面2030aに積層されている。カラーフィルタ2032は、赤フィルタと、緑フィルタと、青フィルタとを有する。イメージャ203がカラーフィルタ2032を有していなくてもよい。カラーフィルタ2032は、被写体50から第1の基板2030までの光路上のいずれかの位置に配置されていればよい。
図4は、カラーフィルタ2032の透過特性を示している。図4において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。線Lb1は、青フィルタの透過特性を示している。線Lb1が示すように、青フィルタは、波長が約400nmから約500nmである波長帯域の光と、波長が約700nm以上である波長帯域の光とを透過させる。つまり、青フィルタは、青色光および赤外光を透過させる。線Lg1は、緑フィルタの透過特性を示している。線Lg1が示すように、緑フィルタは、波長が約500nmから約600nmである波長帯域の光と、波長が約700nm以上である波長帯域の光とを透過させる。つまり、緑フィルタは、緑色光および赤外光を透過させる。線Lr1は、赤フィルタの透過特性を示している。線Lr1が示すように、赤フィルタは、波長が約600nm以上である波長帯域の光を透過させる。つまり、赤フィルタは、赤色光および赤外光を透過させる。対物レンズ202を通過した可視光のみがカラーフィルタ2032に入射する。青フィルタは、カラーフィルタ2032に入射した可視光のうち青色光のみを透過させる。緑フィルタは、カラーフィルタ2032に入射した可視光のうち緑色光のみを透過させる。赤フィルタは、カラーフィルタ2032に入射した可視光のうち赤色光のみを透過させる。
光学フィルタ2033は、第1の基板2030と第2の基板2031との間に配置されている。図5は、光学フィルタ2033の透過特性を示している。図5において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。図5に示すように、光学フィルタ2033は、波長が650nmから700nmである波長帯域の光のみを透過させる。つまり、光学フィルタ2033は、赤色光のみを透過させる。
第1の基板2030および第2の基板2031は、複数の画素を有する。複数の画素の各々は、光電変換素子(フォトダイオード)と信号読み出し回路とを有する。光電変換素子は、画素に入射した光を信号に変換する。信号読み出し回路は、光電変換素子から信号を読み出し、かつ読み出された信号を画素信号として出力する。第1の基板2030の画素は、第1の画素信号を生成する。第2の基板2031の画素は、第2の画素信号を生成する。第1の画素信号および第2の画素信号は、演算装置30に出力される。
カラーフィルタ2032を透過した光は、第1の基板2030の面2030aに入射する。第1の基板2030は、裏面照射型の撮像基板である。例えば、第1の基板2030の厚さは数μmである。つまり、第1の基板2030は薄い。光の波長に応じて、シリコンの光吸収率は異なる。波長が短い光に対するシリコンの光吸収率は高い。波長が長い光に対するシリコンの光吸収率は低い。このため、波長がより短い光は、シリコンにおいて浅い位置で吸収されやすい。波長がより長い光は、シリコンにおいて深い位置で吸収されやすい。例えば、第1の基板2030の厚さが3μmである場合、波長が500nm以上である光の一部は第1の基板2030で吸収されず、かつ第1の基板2030を透過する。つまり、緑波長帯域のうち高波長側の帯域の光と赤色光とは、第1の基板2030を透過する。
第1の基板2030を透過した光は、光学フィルタ2033に入射する。波長が500nm以上である光が光学フィルタ2033に入射する。光学フィルタ2033を透過した光の波長は650nmから700nmである。光学フィルタ2033を透過した光は、第2の基板2031の面2031aに入射する。
図6は、イメージャ203の画素配列を示している。イメージャ203の第1の基板2030は、行列状に配置された複数の第1の画素2030Pを有する。被写体50からの光のうちカラーフィルタ2032を透過した光が複数の第1の画素2030Pに入射する。第1の画素2030Pは、第1の画素2030Pに入射した光に基づく第1の画素信号を生成する。複数の第1の画素2030Pは、R画素Pr1と、G画素Pg1と、B画素Pb1とを含む。図6において、“R”と記載された第1の画素2030PがR画素Pr1である。図6において、“G”と記載された第1の画素2030PがG画素Pg1である。図6において、“B”と記載された第1の画素2030PがB画素Pb1である。
R画素Pr1は、赤に対応する。赤フィルタがR画素Pr1の表面に配置される。R画素Pr1は、赤色光に基づく第1の画素信号を生成する。以下の説明において、R画素Pr1によって生成される第1の画素信号をR信号と呼ぶ。G画素Pg1は、緑に対応する。緑フィルタがG画素Pg1の表面に配置される。G画素Pg1は、緑色光に基づく第1の画素信号を生成する。以下の説明において、G画素Pg1によって生成される第1の画素信号をG信号と呼ぶ。B画素Pb1は、青に対応する。青フィルタがB画素Pb1の表面に配置される。B画素Pb1は、青色光に基づく第1の画素信号を生成する。以下の説明において、B画素Pb1によって生成される第1の画素信号をB信号と呼ぶ。図6に示す複数の第1の画素2030Pの画素配列は、ベイヤー配列である。ベイヤー配列において、基本配列が行方向かつ列方向に規則的かつ周期的に配置される。基本配列は、1個のR画素Pr1と2個のG画素Pg1と1個のB画素Pb1とを含む。
イメージャ203の第2の基板2031は、行列状に配置された複数の第2の画素2031Pを有する。1つの第2の画素2031Pは、4つの第1の画素2030Pに対応する領域に配置されている。1つの第2の画素2031Pに対応する4つの第1の画素2030Pは、ベイヤー配列の基本配列を構成する。4つの第1の画素2030Pの各々を透過し、かつ光学フィルタ2033を透過した光が1つの第2の画素2031Pに入射する。第2の画素2031Pは、第2の画素2031Pに入射した光に基づく第2の画素信号を生成する。以下の説明において、第2の画素2031Pによって生成される第2の画素信号をRa信号と呼ぶ。
第1の基板2030および第2の基板2031が積層されているため、第1の画素2030Pおよび第2の画素2031Pは、同時に光を検出することができる。このため、第1の画素信号および第2の画素信号は、被写体50または内視鏡スコープ部20の動きの影響を受けにくい。したがって、可視光観察と酸素飽和度測定とが順次行われる場合と比較して、酸素飽和度の算出精度が向上する。
演算装置30(可視光画像生成部300)は、第1の画素2030Pで生成された第1の画素信号(R信号、G信号、およびB信号)に基づいて可視光画像信号を生成する。演算装置30(酸素飽和度画像生成部301)は、第1の画素2030Pで生成された第1の画素信号(R信号およびG信号)と、第2の画素2031Pで生成された第2の画素信号(Ra信号)とに基づいて酸素飽和度画像信号を生成する。
酸素飽和度の算出方法を説明する。演算装置30(酸素飽和度画像生成部301)は、複数の第1の画素2030Pの各々に対応する第1の強度比および第2の強度比を算出する。第1の強度比は、Ra信号とG信号との強度比(Ra/G)である。第2の強度比は、R信号とG信号との強度比(R/G)である。1つの第2の画素2031Pで生成されたRa信号は、その第2の画素2031Pに対応する4つの第1の画素2030Pの第1の強度比の算出に使用される。
メモリ302は、第1の強度比と第2の強度比と酸素飽和度との相関関係を示す情報を記憶する。図7は、メモリ302に記憶される情報を示している。図7に示すグラフの横軸および縦軸は対数スケールで示されている。図7において、グラフの横軸はlog(R/G)であり、かつグラフの縦軸はlog(Ra/G)である。図7に示す5本の曲線L20,L21,L22,L23,L24は、互いに異なる酸素飽和度に対応する第1の強度比と第2の強度比との相関関係を示している。曲線L20は、酸素飽和度が100%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L21は、酸素飽和度が75%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L22は、酸素飽和度が50%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L23は、酸素飽和度が25%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L24は、酸素飽和度が0%であるときの第1の強度比と第2の強度比との相関関係を示している。図7に示す曲線L20,L21,L22,L23,L24は、光散乱シミュレーションに基づいて取得される。この光散乱シミュレーションにおいて、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数および生体内の光散乱係数などが考慮される。
演算装置30(酸素飽和度画像生成部301)は、メモリ302から図7に示すグラフの情報を読み出す。演算装置30(酸素飽和度画像生成部301)は、算出された第1の強度比および第2の強度比と、メモリ302から読み出された情報とを照合する。第1の画素2030Pにおける第1の強度比および第2の強度比に対応する点と、曲線L20,L21,L22,L23,L24との位置関係に基づいて酸素飽和度が決定される。図7において、ある第1の画素2030Pにおける第1の強度比および第2の強度比に対応する点P10は、曲線L21上の点と一致する。曲線L21は、75%の酸素飽和度に対応する。このため、ある第1の画素2030Pに対応する酸素飽和度は75%に決定される。酸素飽和度の算出は、複数の第1の画素2030Pの各々に対して行われる。酸素飽和度の算出は、画角内の血管領域に対応する第1の画素2030Pのみに対して行われてもよい。血管領域は、R信号、およびR信号とB信号との比率などにより特定することができる。
第1の強度比と第2の強度比と酸素飽和度との相関関係は、ヘモグロビンの吸光特性と密接に関連している。図8は、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数を示している。図8において、グラフの横軸は光の波長(nm)を示し、かつグラフの縦軸は吸光係数を示している。線L10は酸化ヘモグロビンの吸光係数を示し、かつ線L11は還元ヘモグロビンの吸光係数を示している。波長帯域B10は、光学フィルタ2033を透過する光の波長帯域(650nmから700nm)である。光学フィルタ2033が透過する光の波長帯域B10の全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さい。このため、図17における波長帯域B100の光に基づく画素信号を使用して酸素飽和度を算出する場合と比較して、酸素飽和度の算出精度が向上する。
光学フィルタ2033が透過する光の波長帯域B10において酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の差が大きいため、画素信号から酸素飽和度の情報が取得されやすい。しかし、波長帯域B10の光に対応するRa信号は、酸素飽和度および血液量に応じて変動する。R信号は、主に血液量に応じて変動する。G信号は、Ra信号およびR信号のリファレンス信号(規格化用信号)となる。演算装置30(酸素飽和度画像生成部301)は、Ra信号とR信号とG信号とから得られる第1の強度比(Ra/G)および第2の強度比(R/G)を用いることにより、血液量に関係なく酸素飽和度を算出することができる。
演算装置30(酸素飽和度画像生成部301)は、R信号と、G信号と、B信号と、酸素飽和度とに基づいて酸素飽和度画像信号を生成する。例えば、演算装置30(酸素飽和度画像生成部301)は、酸素飽和度が基準値γよりも小さい第1の画素2030Pにおいて、1よりも大きなゲインをB信号のみに乗算する。基準値γは、酸素飽和度が小さい領域を判断するための閾値である。例えば、基準値γは60%である。基準値γは、ユーザが指定できる値であってもよい。B信号のみにゲインが乗算される代わりに、R信号とG信号とB信号とにゲインが乗算され、かつB信号に乗算されるゲインがR信号およびG信号に乗算されるゲインよりも大きくてもよい。酸素飽和度画像信号は、第1の画素2030P毎のR信号とG信号とB信号とを含む。
酸素飽和度が基準値γよりも小さい領域においてB信号に乗算されるゲインが大きいため、酸素飽和度画像においてその領域は青みを帯びた色になる。一般的に、生体内部の色は赤成分が多く、かつ青成分は少ない。このため、酸素飽和度画像において青みを帯びた領域は目立ちやすい。これによって、医師は、低酸素状態である癌領域を容易に発見することができる。一方、酸素飽和度が基準値γ以上である第1の画素2030Pにおいて、B信号、G信号、およびR信号にゲインは乗算されない。酸素飽和度画像において、酸素飽和度が基準値γ以上である領域の色味は変化しない。
図5に示すように、光学フィルタ2033は、波長が650nmから700nmである波長帯域の光のみを透過させる。光学フィルタ2033を透過する光の波長帯域は、図5に示す例に限らない。光学フィルタ2033を透過する光の波長帯域は、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の大きさの関係が一定である波長帯域であればよい。
上記のように、内視鏡システム1は、光源100と、イメージャ203(撮像装置)と、演算装置30とを有する。光源100は、可視光を含む照明光を発生する。イメージャ203は、光源100から被写体50に照射された照明光の反射光を撮像する。イメージャ203は、第1の基板2030と、第2の基板2031と、光学フィルタ2033とを有する。第1の基板2030は、複数の第1の画素2030Pを有する。第2の基板2031は、第1の基板2030に積層され、かつ複数の第2の画素2031Pを有する。光学フィルタ2033は、第1の基板2030と第2の基板2031との間に配置され、かつ第1の基板2030を透過した光のうち酸素飽和度算出のための所定の波長帯域の光のみを透過させる。所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きい。または所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さい。照明光の反射光は複数の第1の画素2030Pに入射する。第1の基板2030および光学フィルタ2033を透過した光は複数の第2の画素2031Pに入射する。第1の画素2030Pは、第1の画素2030Pに入射した光に基づく第1の画素信号を生成する。第2の画素2031Pは、第2の画素2031Pに入射した光に基づく第2の画素信号を生成する。演算装置30は、第1の画素信号および第2の画素信号に基づいて酸素飽和度を算出する。
本発明の各態様の内視鏡システムは、光源100、イメージャ203、および演算装置30に対応する構成以外の構成を有していなくてもよい。例えば、可視光画像の生成は必須ではないため、本発明の各態様の内視鏡システムは、可視光画像生成部300に対応する構成を有していなくてもよい。モニタ40は、内視鏡システム1に付属する装置でなくてもよいため、本発明の各態様の内視鏡システムは、モニタ40に対応する構成を有していなくてもよい。
第1の基板2030と第2の基板2031とが積層されているため、複数の第1の画素2030Pおよび複数の第2の画素2031Pは、同時に光を検出することができる。所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きい。または所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さい。このため、第2の画素2031Pは、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の大きさの関係が一定である波長帯域の光に基づいて第2の画素信号を生成することができる。したがって、内視鏡システム1は、酸素飽和度をより高精度に算出することができる。
所定の波長帯域は、波長が500nm以上である波長帯域であってもよい。波長が500nm以上である波長帯域の光は、第1の基板2030を透過しやすい。
所定の波長帯域は、波長が600nmから750nmである波長帯域に含まれ、かつ所定の波長帯域の幅は100nm以下であってもよい。図8に示すように、波長が600nmから750nmである波長帯域において酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の差が大きいため、画素信号から酸素飽和度の情報が取得されやすい。所定の波長帯域の幅が狭いことにより、波長に応じた酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の比の変動が小さい。このため、内視鏡システム1は、酸素飽和度を高精度に算出することができる。波長が600nmから750nmである波長帯域において赤外光は含まれない。このため、内視鏡システム1は、第1の画素2030Pで生成された第1の画素信号に基づいて可視光画像信号を生成することができる。
演算装置30(酸素飽和度画像生成部301)は、複数の第1の画素2030Pで生成された第1の画素信号に基づく画像において酸素飽和度が所定の閾値(基準値γ)よりも小さい領域が強調表示されるように第1の画素信号を処理してもよい。例えば、演算装置30(酸素飽和度画像生成部301)は、第1の画素2030Pで生成された第1の画素信号のうち酸素飽和度が基準値γよりも小さい領域に含まれる第1の画素2030Pで生成されたB信号のゲインをより大きくする。これによって、第1の画素信号に基づく画像において、酸素飽和度が閾値よりも小さい領域が目立ちやすい。
(第2の実施形態)
図1に示す内視鏡システム1を使用して本発明の第2の実施形態を説明する。以下では、第1の実施形態における説明と異なる点を中心に説明する。第1の実施形態の光学フィルタ101は、可視光のみを透過させる。一方、第2の実施形態の光学フィルタ101は、可視光と赤外光とを透過させる。第1の実施形態の光学フィルタ2033は、赤色光のみを透過させる。一方、第2の実施形態の光学フィルタ2033は、赤外光のみを透過させる。光学フィルタ101および光学フィルタ2033の透過特性が変更されることにより、可視光画像生成部300および酸素飽和度画像生成部301による信号処理が変更される。
図9は、光学フィルタ101の透過特性を示している。図9において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。図9に示すように、光学フィルタ101は、波長が400nmから700nmである波長帯域の光と、波長が850nmから900nmである波長帯域の光とを透過させる。つまり、光学フィルタ101は、光源100からの光のうち可視光および赤外光のみを透過させる。光学フィルタ101の透過特性により、波長が400nmから700nmである波長帯域の光と、波長が850nmから900nmである波長帯域の光とがイメージャ203に入射する。
カラーフィルタ2032の透過特性は、図4に示す透過特性と同一である。青フィルタは、カラーフィルタ2032に入射した光のうち青色光および赤外光のみを透過させる。緑フィルタは、カラーフィルタ2032に入射した可視光のうち緑色光および赤外光のみを透過させる。赤フィルタは、カラーフィルタ2032に入射した可視光のうち赤色光および赤外光のみを透過させる。
図10は、光学フィルタ2033の透過特性を示している。図10において、グラフの横軸は波長を示し、かつグラフの縦軸は透過率を示している。図10に示すように、光学フィルタ2033は、波長が850nmから900nmである波長帯域の光のみを透過させる。つまり、光学フィルタ2033は、赤外光のみを透過させる。
波長が850nmから900nmである波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きく、かつ酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数の差は大きい。このため、演算装置30(酸素飽和度画像生成部301)は、酸素飽和度を高精度に算出することができる。
図11は、イメージャ203の画素配列を示している。図11において、図6と異なる点を説明する。被写体50からの光のうちカラーフィルタ2032を透過した光が複数の第1の画素2030Pに入射する。可視光および赤外光が第1の画素2030Pに入射する。第1の画素2030Pが生成する第1の画素信号は、第1の実施形態における第1の画素信号と異なる。第1の画素信号は、可視光に基づく成分に加えて赤外光に基づく成分を含む。第1の基板2030に入射した赤外光の一部が第1の基板2030で吸収される。第1の基板2030に入射した赤外光のうち、第1の基板2030で吸収された光以外の光が第1の基板2030を透過する。第1の基板2030を透過した赤外光が第2の画素2031Pに入射する。第2の画素2031Pが生成する第2の画素信号は、第1の実施形態における第2の画素信号と異なる。第2の画素信号は、赤外光のみに基づく成分を含む。
以下の説明において、αは第1の基板2030が赤外光を吸収する割合を示し、かつβは第2の基板2031が赤外光を吸収する割合を示ししている。αとβとは、赤外光に対する第1の基板2030および第2の基板2031の分光感度から算出することができる。αおよびβは、イメージャ203の製造条件に基づくパラメータである。例えば、製造条件は、第1の基板2030および第2の基板2031の各々の光軸方向の厚さである。あるいは、製造条件は、カラーフィルタ2032および光学フィルタ2033の透過特性である。αおよびβは、0以上かつ1以下の実数である。
R画素Pr1は、赤色光および赤外光に基づく第1の画素信号すなわちR信号を生成する。以下の説明において、R画素Pr1によって生成されるR信号の信号値は(R+αIR)である。G画素Pg1は、緑色光および赤外光に基づく第1の画素信号すなわちG信号を生成する。以下の説明において、G画素Pg1によって生成されるG信号の信号値は(G+αIR)である。B画素Pb1は、青色光および赤外光に基づく第1の画素信号すなわちB信号を生成する。以下の説明において、B画素Pb1によって生成されるB信号の信号値は(B+αIR)である。Rは赤色光に基づく信号値である。Gは緑色光に基づく信号値である。Bは青色光に基づく信号値である。αIRは赤外光に基づく信号値である。
第2の画素2031Pは、赤外光に基づく第2の画素信号を生成する。以下の説明において、第2の画素2031Pによって生成される第2の画素信号をIR信号と呼ぶ。以下の説明において、第2の画素2031Pによって生成されるIR信号の信号値はβIRである。βIRは赤外光に基づく信号値である。
演算装置30(可視光画像生成部300)は、第1の画素2030Pで生成された第1の画素信号(R信号、G信号、およびB信号)と、第2の画素2031Pで生成された第2の画素信号(IR信号)とに基づいて可視光画像信号を生成する。演算装置30(酸素飽和度画像生成部301)は、第1の画素2030Pで生成された第1の画素信号(R信号およびG信号)と、第2の画素2031Pで生成された第2の画素信号(IR信号)とに基づいて酸素飽和度画像信号を生成する。
演算装置30(可視光画像生成部300)は、第2の画素2031Pによって生成されたIR信号の値すなわちβIRに、αとβとの比すなわち(α/β)を乗じる。(α/β)は、第1の基板2030が赤外光を吸収する割合と、第2の基板2031が赤外光を吸収する割合との比に基づく係数である。これによって、演算装置30(可視光画像生成部300)は、第1の画素2030Pによって検出された赤外光に基づく信号値αIRを算出することができる。演算装置30(可視光画像生成部300)は、R画素Pr1によって生成されたR信号の値(R+αIR)から、上記の方法で算出された信号値αIRを減算する。これによって、演算装置30(可視光画像生成部300)は、赤色光のみに基づくR信号を生成する。減算後のR信号の信号値は、Rである。同様に、演算装置30(可視光画像生成部300)は、G画素Pg1によって生成されたG信号の値(G+αIR)から、上記の方法で算出された信号値αIRを減算する。これによって、演算装置30(可視光画像生成部300)は、緑色光のみに基づくG信号を生成する。減算後のG信号の信号値は、Gである。同様に、演算装置30(可視光画像生成部300)は、B画素Pb1によって生成されたB信号の値(B+αIR)から、上記の方法で算出された信号値αIRを減算する。これによって、演算装置30(可視光画像生成部300)は、青色光のみに基づくB信号を生成する。減算後のB信号の信号値は、Bである。演算装置30(可視光画像生成部300)は、可視光の成分のみに基づくR信号とG信号とB信号とに基づいて可視光画像信号を生成する。
演算装置30(酸素飽和度画像生成部301)は、上記の方法により可視光の成分のみに基づくR信号およびG信号を生成する。可視光画像生成部300による上記の演算の結果が酸素飽和度画像生成部301に出力され、かつ酸素飽和度画像生成部301がその演算結果を利用してもよい。あるいは、酸素飽和度画像生成部301による上記の演算の結果が可視光画像生成部300に出力され、かつ可視光画像生成部300がその演算結果を利用してもよい。演算装置30(酸素飽和度画像生成部301)は、複数の第1の画素2030Pの各々に対応する第1の強度比および第2の強度比を算出する。第1の強度比は、IR信号とG信号との強度比(βIR/G)である。第2の強度比は、R信号とG信号との強度比(R/G)である。1つの第2の画素2031Pで生成されたIR信号は、その第2の画素2031Pに対応する4つの第1の画素2030Pの第1の強度比の算出に使用される。
メモリ302は、第1の強度比と第2の強度比と酸素飽和度との相関関係を示す情報を記憶する。図12は、メモリ302に記憶される情報を示している。図12に示すグラフの横軸および縦軸は対数スケールで示されている。図12において、グラフの横軸はlog(R/G)であり、かつグラフの縦軸はlog(βIR/G)である。図12に示す5本の曲線L30,L31,L32,L33,L34は、互いに異なる酸素飽和度に対応する第1の強度比と第2の強度比との相関関係を示している。曲線L30は、酸素飽和度が100%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L31は、酸素飽和度が75%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L32は、酸素飽和度が50%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L33は、酸素飽和度が25%であるときの第1の強度比と第2の強度比との相関関係を示している。曲線L34は、酸素飽和度が0%であるときの第1の強度比と第2の強度比との相関関係を示している。図12に示す曲線L30,L31,L32,L33,L34は、光散乱シミュレーションに基づいて取得される。この光散乱シミュレーションにおいて、酸化ヘモグロビンおよび還元ヘモグロビンの吸光係数および生体内の光散乱係数などが考慮される。
演算装置30(酸素飽和度画像生成部301)は、メモリ302から図12に示すグラフの情報を読み出す。演算装置30(酸素飽和度画像生成部301)は、算出された第1の強度比および第2の強度比と、メモリ302から読み出された情報とを照合する。第1の画素2030Pにおける第1の強度比および第2の強度比に対応する点と、曲線L30,L31,L32,L33,L34との位置関係に基づいて酸素飽和度が決定される。図12において、ある第1の画素2030Pにおける第1の強度比および第2の強度比に対応する点P20は、曲線L31上の点と一致する。曲線L31は、75%の酸素飽和度に対応する。このため、ある第1の画素2030Pに対応する酸素飽和度は75%に決定される。酸素飽和度の算出は、複数の第1の画素2030Pの各々に対して行われる。酸素飽和度の算出は、画角内の血管領域に対応する第1の画素2030Pのみに対して行われてもよい。
第2の実施形態の光源100は、可視光に加えて、酸素飽和度算出のための所定の波長帯域の光を含む照明光を発生する。所定の波長帯域は、波長が800nmから900nmである波長帯域に含まれ、かつ所定の波長帯域の幅は100nm以下であってもよい。
図9および図10に示すように、波長が800nm以上である波長帯域うち光学フィルタ101を透過する光の第1の波長帯域は、光学フィルタ2033を透過する光の第2の波長帯域と同一である。つまり、波長が800nm以上である波長帯域のうちイメージャ203に入射する光の第1の波長帯域は、光学フィルタ2033を透過する光の第2の波長帯域と同一である。波長が800nm以上である波長帯域において、第1の波長帯域は第2の波長帯域よりも広くてもよい。第1の波長帯域が第2の波長帯域よりも広い場合、第1の画素信号において赤外光に基づく成分は、第2の画素2031Pに入射する赤外光の波長と異なる波長の赤外光に基づく成分を含む。このため、R信号の値(R+αIR)からIR信号に基づいて算出された信号値αIRを減算する処理によって生成されたR信号は、第2の画素2031Pによって検出することができない赤外光に基づく成分を含む。第1の波長帯域が第2の波長帯域と同一である場合、演算装置30(酸素飽和度画像生成部301)は、R信号から赤外光に基づく成分を高精度に除去することができる。G信号およびB信号についても同様である。
上記のように、演算装置30(酸素飽和度画像生成部301)は、第1の画素信号(例えば、R+αIR)から第2の画素信号(βIR)に基づく信号(αIR)を減算することにより補正画素信号を生成する。例えば、補正画素信号は、信号値がRであるR信号である。演算装置30(酸素飽和度画像生成部301)は、補正画素信号および第2の画素信号に基づいて酸素飽和度を算出する。
第2の実施形態の内視鏡システム1において、可視光と、可視光以外の光すなわち赤外光とが利用できる。第2の実施形態の内視鏡システム1は、可視光および赤外光に基づく第1の画素信号と、赤外光に基づく第2の画素信号とに基づいて酸素飽和度画像信号および可視光画像信号を生成することができる。
(第3の実施形態)
図13は、本発明の第3の実施形態の内視鏡システム2のハードウェア構成を示している。図13に示す構成について、図1に示す構成と異なる点を説明する。
内視鏡システム2において、図1に示す内視鏡システム1における演算装置30が演算装置31に変更される。演算装置31は、演算装置30が有する構成に加えて、血液量画像生成部303を有する。例えば、可視光画像生成部300と酸素飽和度画像生成部301と血液量画像生成部303とは、それぞれ異なるプロセッサで構成される。可視光画像生成部300と酸素飽和度画像生成部301と血液量画像生成部303との少なくとも2つが同一のプロセッサで構成されてもよい。血液量画像生成部303は、第1の画素2030Pで生成された第1の画素信号(G信号)と、第2の画素2031Pで生成された第2の画素信号(Ra信号)とに基づいて血液量を算出し、かつ血液量画像信号を生成する。血液量画像信号は、血液量画像を表示するための信号である。血液量画像は、血液量の情報が重畳されたカラー画像である。メモリ302は、酸素飽和度の算出に必要な情報に加えて、血液量の算出に必要な情報を記憶する。
演算装置31によって生成された可視光画像信号と酸素飽和度画像信号と血液量画像信号とはモニタ40に出力される。モニタ40は、可視光画像信号に基づく可視光画像と、酸素飽和度画像信号に基づく酸素飽和度画像と、血液量画像信号に基づく血液量画像とを表示する。例えば、モニタ40は、可視光画像と酸素飽和度画像と血液量画像とを並べて表示する。あるいは、モニタ40は、これらの画像のうちユーザによって選択された画像を表示する。上記以外の点については、図13に示す構成は、図1に示す構成と同様である。
血液量の算出方法を説明する。演算装置31(血液量画像生成部303)は、複数の第1の画素2030Pの各々に対応する第1の強度比を算出する。第1の強度比は、Ra信号とG信号との強度比(Ra/G)である。1つの第2の画素2031Pで生成されたRa信号は、その第2の画素2031Pに対応する4つの第1の画素2030Pの第1の強度比の算出に使用される。
メモリ302は、第1の強度比と血液量との相関関係を示す情報を記憶する。この相関関係において、第1の強度比の増加に応じて血液量は増加する。演算装置31(血液量画像生成部303)は、メモリ302から血液量に関する情報を読み出す。演算装置31(血液量画像生成部303)は、算出された第1の強度比と、メモリ302から読み出された情報とを照合する。これによって、第1の画素2030Pにおける第1の強度比に対応する血液量が決定される。血液量の算出は、複数の第1の画素2030Pの各々に対して行われる。血液量の算出は、画角内の血管領域に対応する第1の画素2030Pのみに対して行われてもよい。
光学フィルタ2033が透過する光の波長帯域B10において酸化ヘモグロビンの吸光係数は小さい。このため、血液量の変動に応じたRa信号の変動は小さい。しかし、光学条件に応じてRa信号は変動する。例えば、光学条件は、イメージャ203と被写体50との距離、および光源100が発する光の強度などである。一方、波長帯域B10において還元ヘモグロビンの吸光係数は大きい。このため、血液量の変動に応じたG信号の変動は大きく、かつ光学条件に応じてG信号は変動する。演算装置31(酸素飽和度画像生成部301)は、R信号とG信号との強度比(R/G)を算出することにより、光学条件の影響が除外された血液量を算出することができる。
演算装置31(血液量画像生成部303)は、R信号と、G信号と、B信号と、血液量とに基づいて血液量画像信号を生成する。例えば、演算装置31(血液量画像生成部303)は、血液量が基準値δよりも小さい第1の画素2030Pにおいて、1よりも大きなゲインをB信号のみに乗算する。演算装置31(血液量画像生成部303)は、血液量が基準値δよりも小さく、かつ基準値ε以上である第1の画素2030Pにおいて、1よりも大きなゲインをB信号のみに乗算してもよい。基準値εは、基準値δよりも小さい。基準値δは、血液量が小さい領域を判断するための閾値である。基準値εは、血液が存在しない領域を判断するための閾値である。基準値δおよび基準値εは、ユーザが指定できる値であってもよい。B信号のみにゲインが乗算される代わりに、R信号とG信号とB信号とにゲインが乗算され、かつB信号に乗算されるゲインがR信号およびG信号に乗算されるゲインよりも大きくてもよい。血液量画像信号は、第1の画素2030P毎のR信号とG信号とB信号とを含む。
血液量が基準値δよりも小さく、かつ基準値ε以上である領域においてB信号に乗算されるゲインが大きいため、血液量画像においてその領域は青みを帯びた色になる。一般的に、生体内部の色は赤成分が多く、かつ青成分は少ない。このため、血液量画像において青みを帯びた領域は目立ちやすい。これによって、癌領域が切除された後に医師は、生体の組織に流れる血液量を判断することができる。例えば、生体の組織は、胃および大腸などである。血液量が少ない場合、組織が壊死する可能性がある。癌領域が切除された後、医師は、血液量に基づいて、切断された血管を縫合するか否かを判断することができる。一方、血液量が基準値δ以上または基準値εよりも小さい第1の画素2030Pにおいて、B信号、G信号、およびR信号にゲインは乗算されない。血液量画像において、血液量が基準値γ以上である領域の色味は変化しない。
上記のように、複数の第1の画素2030Pは、緑色光に基づく第1の画素信号を生成するG画素Pg1を含む。演算装置31(血液量画像生成部303)は、G画素Pg1で生成された第1の画素信号(G信号)と、第2の画素信号(Ra信号)とに基づいて血液量を算出する。演算装置31(血液量画像生成部303)は、複数の第1の画素2030Pで生成された第1の画素信号に基づく画像において血液量が第1の閾値(基準値δ)よりも少ない領域が強調表示されるように第1の画素信号を処理する。これによって、第1の画素信号に基づく画像において、血液量が第1の閾値よりも小さい領域が目立ちやすい。
演算装置31(血液量画像生成部303)は、複数の第1の画素2030Pで生成された第1の画素信号(R信号、G信号、およびB信号)に基づく画像において血液量が第1の閾値(基準値δ)よりも小さく、かつ第2の閾値(基準値ε)以上である領域のみが強調表示されるように第1の画素信号(B信号)を処理する。第2の閾値は第1の閾値よりも小さい。これによって、第1の画素信号に基づく画像において、血液量が第1の閾値よりも小さく、かつ第2の閾値以上である領域が目立ちやすい。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
本発明の各実施形態によれば、内視鏡システムは、酸素飽和度をより高精度に算出することができる。
1,2,1001 内視鏡システム
10,1010 光源部
20,1020 内視鏡スコープ部
30,31,1030 演算装置
40,1040 モニタ
100 光源
101,2033 光学フィルタ
200,1200 ライトガイド
201,1201 照明レンズ
202,1202 対物レンズ
203,1203 イメージャ
300 可視光画像生成部
301 酸素飽和度画像生成部
302 メモリ
303 血液量画像生成部
1100 第1の光源
1101 第2の光源
1102 光源制御部
2030 第1の基板
2030P 第1の画素
2031 第2の基板
2031P 第2の画素
2032 カラーフィルタ

Claims (8)

  1. 可視光を含む照明光を発生する光源と、
    前記光源から被写体に照射された前記照明光の反射光を撮像する撮像装置と、
    演算装置と、
    を有し、
    前記撮像装置は、
    複数の第1の画素を有する第1の基板と、
    前記第1の基板に積層され、かつ複数の第2の画素を有する第2の基板と、
    前記第1の基板と前記第2の基板との間に配置され、かつ前記第1の基板を透過した光のうち酸素飽和度算出のための所定の波長帯域の光のみを透過させる光学フィルタと、
    を有し、
    前記所定の波長帯域に含まれる全ての波長において、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きく、または前記所定の波長帯域に含まれる全ての波長において、前記酸化ヘモグロビンの前記吸光係数は前記還元ヘモグロビンの前記吸光係数よりも小さく、
    前記反射光は前記複数の第1の画素に入射し、
    前記第1の基板および前記光学フィルタを透過した光は前記複数の第2の画素に入射し、
    前記第1の画素は、前記第1の画素に入射した光に基づく第1の画素信号を生成し、
    前記第2の画素は、前記第2の画素に入射した光に基づく第2の画素信号を生成し、
    前記演算装置は、前記第1の画素信号および前記第2の画素信号に基づいて酸素飽和度を算出する
    内視鏡システム。
  2. 前記所定の波長帯域は、波長が500nm以上である波長帯域である
    請求項1に記載の内視鏡システム。
  3. 前記所定の波長帯域は、波長が600nmから750nmである波長帯域に含まれ、かつ前記所定の波長帯域の幅は100nm以下である
    請求項2に記載の内視鏡システム。
  4. 前記光源は、前記可視光に加えて、前記所定の波長帯域の光を含む前記照明光を発生し、
    前記所定の波長帯域は、波長が800nmから900nmである波長帯域に含まれ、かつ前記所定の波長帯域の幅は100nm以下である
    請求項2に記載の内視鏡システム。
  5. 前記演算装置は、前記第1の画素信号から前記第2の画素信号に基づく信号を減算することにより補正画素信号を生成し、
    前記演算装置は、前記補正画素信号および前記第2の画素信号に基づいて前記酸素飽和度を算出する
    請求項1に記載の内視鏡システム。
  6. 前記複数の第1の画素は、緑色光に基づく前記第1の画素信号を生成するG画素を含み、
    前記演算装置は、前記G画素で生成された前記第1の画素信号と、前記第2の画素信号とに基づいて血液量を算出し、
    前記演算装置は、前記複数の第1の画素で生成された前記第1の画素信号に基づく画像において前記血液量が第1の閾値よりも少ない領域が強調表示されるように前記第1の画素信号を処理する
    請求項1に記載の内視鏡システム。
  7. 前記演算装置は、前記複数の第1の画素で生成された前記第1の画素信号に基づく画像において前記血液量が前記第1の閾値よりも小さく、かつ第2の閾値以上である領域のみが強調表示されるように前記第1の画素信号を処理し、前記第2の閾値は前記第1の閾値よりも小さい
    請求項6に記載の内視鏡システム。
  8. 前記演算装置は、前記複数の第1の画素で生成された前記第1の画素信号に基づく画像において前記酸素飽和度が所定の閾値よりも小さい領域が強調表示されるように前記第1の画素信号を処理する
    請求項1に記載の内視鏡システム。
JP2018510212A 2016-04-08 2016-04-08 内視鏡システム Active JP6616887B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/061554 WO2017175383A1 (ja) 2016-04-08 2016-04-08 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2017175383A1 JPWO2017175383A1 (ja) 2019-02-14
JP6616887B2 true JP6616887B2 (ja) 2019-12-04

Family

ID=60000959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018510212A Active JP6616887B2 (ja) 2016-04-08 2016-04-08 内視鏡システム

Country Status (3)

Country Link
US (1) US20190008374A1 (ja)
JP (1) JP6616887B2 (ja)
WO (1) WO2017175383A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048127B2 (en) 2015-08-05 2018-08-14 Viavi Solutions Inc. Optical filter and spectrometer
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
JP6891304B2 (ja) * 2018-02-09 2021-06-18 富士フイルム株式会社 内視鏡システム
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5171004B2 (ja) * 2006-09-28 2013-03-27 富士フイルム株式会社 画像処理装置、内視鏡装置、及び画像処理プログラム
JP5623470B2 (ja) * 2012-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP5948191B2 (ja) * 2012-09-05 2016-07-06 富士フイルム株式会社 内視鏡用プローブ装置及び内視鏡システム

Also Published As

Publication number Publication date
US20190008374A1 (en) 2019-01-10
JPWO2017175383A1 (ja) 2019-02-14
WO2017175383A1 (ja) 2017-10-12

Similar Documents

Publication Publication Date Title
JP6616887B2 (ja) 内視鏡システム
JP5616303B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5977302B2 (ja) 齲蝕の検出方法
EP2992805B1 (en) Electronic endoscope system
US7974453B2 (en) Method and apparatus for detection of caries
JP5302984B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
US20180116520A1 (en) Imaging apparatus
US20170289467A1 (en) Imaging device
US10335019B2 (en) Image pickup element and endoscope device
JP5331860B2 (ja) 内視鏡システム及び光源装置
JP5873983B2 (ja) 撮像システム
JP5462084B2 (ja) 画像処理装置及びプログラム
JP2016063928A (ja) 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ
JP7229676B2 (ja) 生体情報検出装置および生体情報検出方法
US11737673B1 (en) Systems for detecting carious lesions in teeth using short-wave infrared light
JP5930474B2 (ja) 内視鏡システム及びその作動方法
US10516866B2 (en) Imaging device and endoscope device
CN113366366B (zh) 内窥镜系统
WO2018070474A1 (ja) 内視鏡システム
US10477119B2 (en) Imaging device
CN106576136B (zh) 摄像装置、摄像装置的工作方法
JP2017009398A (ja) 光学式生体情報測定装置および生体情報測定方法
JPH11299760A (ja) 脳活動計測装置
JP6875827B2 (ja) 酸素飽和度測定装置
US20210259515A1 (en) Electronic endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191108

R151 Written notification of patent or utility model registration

Ref document number: 6616887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250