JP7301595B2 - 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP7301595B2
JP7301595B2 JP2019089018A JP2019089018A JP7301595B2 JP 7301595 B2 JP7301595 B2 JP 7301595B2 JP 2019089018 A JP2019089018 A JP 2019089018A JP 2019089018 A JP2019089018 A JP 2019089018A JP 7301595 B2 JP7301595 B2 JP 7301595B2
Authority
JP
Japan
Prior art keywords
image
oxygen saturation
concentration
value
relative value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019089018A
Other languages
English (en)
Other versions
JP2020182738A (ja
Inventor
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019089018A priority Critical patent/JP7301595B2/ja
Priority to US16/864,682 priority patent/US11369294B2/en
Publication of JP2020182738A publication Critical patent/JP2020182738A/ja
Priority to JP2023101963A priority patent/JP7432786B2/ja
Application granted granted Critical
Publication of JP7301595B2 publication Critical patent/JP7301595B2/ja
Priority to JP2024015386A priority patent/JP2024036492A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00087Tools
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14503Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue invasive, e.g. introduced into the body by a catheter or needle or using implanted sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Description

本発明は、癌などの腫瘍部の切除手術中又はその手術後処理に用いられる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法に関する。
近年、腹腔鏡を用いて手術を行う腹腔鏡手術が注目されている。例えば、腹腔鏡を用いた大腸癌切除術の場合であれば、患者の腹に刺しこまれたトラカールを介して、腹腔鏡及び手術用処置具を腹腔内に挿入する。そして、二酸化炭素からなる気腹ガスで腹腔内を膨らませ、腹腔内の画像をモニタに表示する。そして、術者は、モニタに表示された腹腔内の画像を観察しながら、大腸のうち原発巣が生じた部分を切除する。この原発巣の切除により切り離された大腸は、自動縫合器などによって縫合される。
手術後は、通常であれば、縫合後の正常な創癒合の過程において、縫合してから2~3日の後に組織中の繊維芽細胞の活性化が起こり、およそ7日前後で癒合が完成する。しかしながら、この組織間の癒合中に幾つかの因子によって癒合が阻害されると、組織間が十分な癒合を起こさず、縫合部位の一部又は全体が解離してしまう縫合不全が起こり得る。
大腸癌切除後の腸管吻合等の外科手術において、術後の縫合不全を防止するために、できるだけ血流のある部分で腸管をつなぐことが重要である。血流の程度は、目視で腸管の色調により判断するのが基本であるが、目視で視認しにくい虚血の境界を可視化するために、ICG(indocyanine green)等蛍光薬剤投与による血管造影法も広く行われている。ICG投与による方法では、静注後数分待つ必要があり、蛍光像観察のために専用の光源とカメラとを必要とする。また、1度投与した後は血液に薬剤が残存するため、再投与して再観察するのが難しいなどの問題もある。そのため、内視鏡による観察対象が含むヘモグロビンの酸素飽和度の視覚化又は画像化、すなわち酸素飽和度イメージングの活用が期待されている。
特許文献1では、内視鏡による酸素飽和度イメージングにおいて、被観察部位を撮像して得た画素値と酸素飽和度との相関関係を規定する参照情報を、被観察部位の性状に応じて変更する設定変更手段を備える内視鏡システムを開示している。これにより、信頼性の高い酸素飽和度の情報を取得することができる。
特開2014-76375号公報
内視鏡の酸素飽和度イメージングを活用する場合、画像化された酸素飽和度の情報により、酸素飽和度の高低の情報を得ることができる。しかしながら、酸素飽和度が低い領域には、血液が血管内にたまっている鬱血の領域と、血管内の血液が少ない虚血の領域とが存在する。したがって、酸素飽和度の情報のみでは、例えば、鬱血部と虚血部、又は正常部と虚血部等の境界の判別が難しい場合があり、術後の縫合不全を防止する判断材料として必ずしも十分ではなかった。
本発明は、縫合不全が起こりにくい切除箇所又は吻合箇所の判断材料となりうる、虚血又は鬱血の判定指標を、簡便かつ安定的に表示することができる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することを目的とする。
上記従来例の問題点を解決するための本発明は、内視鏡システムであって、複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する測定値算出部と、濃度の第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、酸素飽和度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、濃度の相対値及び酸素飽和度の相対値を算出する相対値算出部と、濃度の相対値及び/又は酸素飽和度の相対値を画像化した相対値画像を生成する画像生成部と、相対値画像を表示する表示部と、複数の第2分光画像に基づいて、濃度の基準値及び酸素飽和度の基準値を算出する基準値算出部と、を備え、第1分光画像は、鬱血又は虚血状態を評価する観察対象を撮像して得られる画像であり、第2分光画像は、鬱血又は虚血状態を評価する観察対象と異なる観察対象を撮像して得られる画像である。
また、本発明は、内視鏡システムであって、複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する測定値算出部と、濃度の第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、酸素飽和度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、濃度の相対値及び酸素飽和度の相対値を算出する相対値算出部と、濃度の相対値及び/又は酸素飽和度の相対値を画像化した相対値画像を生成する画像生成部と、相対値画像を表示する表示部と、を備、相対値画像は、濃度の相対値を画像化したヘモグロビン濃度画像と、酸素飽和度の相対値を画像化した酸素飽和度画像と、濃度の相対値及び酸素飽和度の相対値を画像化した判定指標画像とを含み、画像生成部は、濃度の相対値を輝度チャンネルに割り当て、かつ、酸素飽和度の相対値を2つの色差チャンネルに割り当てることにより判定指標画像を生成する。
測定値算出部は、複数の第2分光画像に基づいて、濃度の基準値及び酸素飽和度の基準値を算出する基準値算出部を備えることが好ましい。
濃度の基準値及び酸素飽和度の基準値の算出の指示を受け付ける基準値算出指示受付部を備え、基準値算出部は、指示に基づいて、濃度の基準値及び酸素飽和度の基準値を算出することが好ましい。
基準値算出部は、複数の第2分光画像の画素ごとに算出した濃度の第2実測値又は複数の第2分光画像の画素ごとに算出した酸素飽和度の第2実測値をそれぞれ平均することにより、濃度の基準値又は酸素飽和度の基準値を算出することが好ましい。
測定値算出部は、複数の第1分光画像又は複数の第2分光画像に基づいて、濃度に依存性を有する信号比を求める信号比算出部と、濃度と信号比との相関関係を記憶する相関関係記憶部と、相関関係に基づいて信号比に対応する濃度の第1実測値又は第2分光画像に基づく濃度の第2実測値を算出する実測値算出部と、を備えることが好ましい。
第1分光画像は、病変を含む第1の観察対象を撮像して得られる画像であり、第2分光画像は、病変を含まない第2の観察対象を撮像して得られる画像であることが好ましい。
相対値画像は、濃度の相対値を画像化したヘモグロビン濃度画像と、酸素飽和度の相対値を画像化した酸素飽和度画像と、濃度の相対値及び酸素飽和度の相対値を画像化した判定指標画像とを含むことが好ましい。
画像生成部は、濃度に応じて変化する疑似カラー情報を記憶する濃度用のカラーテーブルを用いて、濃度の相対値を疑似カラー画像化することによりヘモグロビン濃度画像を生成し、かつ、酸素飽和度に応じて変化する疑似カラー情報を記憶する酸素飽和度用のカラーテーブルを用いて、酸素飽和度の相対値を疑似カラー画像化することにより酸素飽和度画像を生成することが好ましい。
画像生成部は、濃度の相対値を輝度チャンネルに割り当て、かつ、酸素飽和度の相対値を2つの色差チャンネルに割り当てることにより判定指標画像を生成することが好ましい。
表示画像の選択を受け付ける表示画像選択部を備え、表示部は、表示画像選択部が受け付けた選択に従って、ヘモグロビン濃度画像、酸素飽和度画像、及び判定指標画像の少なくとも一つを表示することが好ましい。
表示部は、ヘモグロビン濃度画像及び酸素飽和度画像の両方を、同一画面上に表示することが好ましい。
本発明は、また、プロセッサ装置であって、複数の第1分光画像及び複数の第2分光画像を取得する内視鏡装置から複数の第1分光画像及び複数の第2分光画像を受信する画像取得部と、複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する測定値算出部と、濃度の第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、酸素飽和度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、濃度の相対値及び酸素飽和度の相対値を算出する相対値算出部と、濃度の相対値及び/又は酸素飽和度の相対値を画像化した相対値画像を生成する画像生成部と、複数の第2分光画像に基づいて、濃度の基準値及び酸素飽和度の基準値を算出する基準値算出部と、を備え、第1分光画像は、鬱血又は虚血状態を評価する観察対象を撮像して得られる画像であり、第2分光画像は、鬱血又は虚血状態を評価する観察対象と異なる観察対象を撮像して得られる画像である。
また、本発明は、プロセッサ装置であって、複数の第1分光画像を取得する内視鏡装置から、複数の第1分光画像を受信する画像取得部と、複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する測定値算出部と、濃度の第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、酸素飽和度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、濃度の相対値及び酸素飽和度の相対値を算出する相対値算出部と、濃度の相対値及び/又は酸素飽和度の相対値を画像化した相対値画像を生成する画像生成部と、を備え、相対値画像は、濃度の相対値を画像化したヘモグロビン濃度画像と、酸素飽和度の相対値を画像化した酸素飽和度画像と、濃度の相対値及び酸素飽和度の相対値を画像化した判定指標画像とを含み、画像生成部は、濃度の相対値を輝度チャンネルに割り当て、かつ、酸素飽和度の相対値を2つの色差チャンネルに割り当てることにより判定指標画像を生成する。
本発明は、また、内視鏡システムの作動方法であって、測定値算出部が、複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する実測値算出ステップと、相対値算出部が、濃度の第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、酸素飽和度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、濃度の相対値及び酸素飽和度の相対値を算出する相対値算出ステップと、画像生成部が、濃
度の相対値及び/又は酸素飽和度の相対値を画像化した相対値画像を生成する画像生成ステップと、表示部が、相対値画像を表示する表示ステップと、基準値算出部が、複数の第2分光画像に基づいて、濃度の基準値及び酸素飽和度の基準値を算出する基準値算出ステップと、を備え、第1分光画像は、鬱血又は虚血状態を評価する観察対象を撮像して得られる画像であり、第2分光画像は、鬱血又は虚血状態を評価する観察対象と異なる観察対象を撮像して得られる画像である。
また、本発明は、内視鏡システムの作動方法であって、測定値算出部が、複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する実測値算出ステップと、相対値算出部が、濃度の第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、酸素飽和度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、濃度の相対値及び酸素飽和度の相対値を算出する相対値算出ステップと、画像生成部が、濃度の相対値及び/又は酸素飽和度の相対値を画像化した相対値画像を生成する画像生成ステップと、表示部が、相対値画像を表示する表示ステップと、を備え、相対値画像は、濃度の相対値を画像化したヘモグロビン濃度画像と、酸素飽和度の相対値を画像化した酸素飽和度画像と、濃度の相対値及び酸素飽和度の相対値を画像化した判定指標画像とを含み、画像生成ステップは、濃度の相対値を輝度チャンネルに割り当て、かつ、酸素飽和度の相対値を2つの色差チャンネルに割り当てることにより判定指標画像を生成する。
本発明によれば、縫合不全が起こりにくい切除箇所又は吻合箇所の判断材料となりうる、虚血又は鬱血の判定指標を、簡便かつ安定的に提供することができる。
医療装置システムの外観図である。 腹腔用内視鏡システムの外観図である。 管腔用内視鏡システムのブロック図である。 撮像センサの画素の説明図である。 カラーフィルタの説明図である。 通常モードにおける発光パターンの説明図である。 虚血評価モードにおける発光パターン等の説明図である。 基準値算出モードにおける発光パターン等の説明図である。 画像処理部の機能を示すブロック図である。 測定値算出部の機能を示すブロック図である。 ヘモグロビン濃度と信号比との相関関係を示すグラフである。 酸素飽和度と信号比との相関関係を示すグラフである。 ヘモグロビンの吸光係数を示すグラフである。 グラフ86において信号比から酸素飽和度の実測値を求める方法を説明する説明図である。 グラフ86において信号比から酸素飽和度の相対値を求める方法を説明する説明図である。 グラフ85において信号比からヘモグロビン濃度の相対値を求める方法を説明する説明図である。 ヘモグロビン濃度画像と酸素飽和度画像の作成手順を示すブロック図である。 ヘモグロビン濃度の相対値と色差信号との関係を示すグラフである。 酸素飽和度の相対値と色差信号との関係を示すグラフである。 相対値画像の作成手順を示すブロック図である。 判定指標画像用のヘモグロビン濃度の相対値と輝度信号との関係を示すグラフである。 判定指標画像用の酸素飽和度の相対値と色差信号との関係を示すグラフである。 ヘモグロビン濃度画像と酸素飽和度画像とを並列表示する表示装置の画像図である。 ヘモグロビン濃度画像と酸素飽和度画像とのいずれか一方を表示する表示装置の画像図である。 判定指標画像を表示する表示装置の画像図である。 本発明の作用を示すフローチャートである。
図1に示すように、本実施形態において、内視鏡システム10は、管腔用内視鏡システム20と、腹腔用内視鏡システム30とからなり、大腸に生じた腫瘍部の切除を行うために用いられる。まず、腫瘍部の切除前に、管腔用内視鏡システム20を用いて、大腸内の腫瘍部を検出し、この腫瘍部を含む一定の範囲(切除範囲)に目印を付けておく。次に、腹腔用内視鏡システム30を用いて、大腸のうち目印を付けた切除範囲を切除するとともに、この腫瘍部の切除により切り離された大腸を縫合する。最後に、管腔用内視鏡システム20を用いて、縫合した部分が組織的に癒合しているかどうかを確認する。
管腔用内視鏡システム20は、管腔内を照明する光を発生する管腔用光源装置21と、管腔用光源装置21からの光を管腔内に照射し、その反射像を撮像する管腔用内視鏡装置22と、管腔用内視鏡装置22での撮像により得られた画像信号を画像処理する管腔用プロセッサ装置23とを備えている。管腔用プロセッサ装置23は、画像処理によって得られた内視鏡画像等を表示する表示装置12(表示部)と、キーボード等で構成される入力装置14とに接続されている。表示装置12は、例えば、モニタである。
管腔用内視鏡装置22は、観察対象を撮像して画像を得る。管腔用内視鏡装置22は軟性内視鏡であり、管腔用内視鏡操作部24aと、可撓性の管腔用内視鏡挿入部24bと、その挿入部の先端に設けられ、光を管腔内に向けて照射するとともに、管腔内の反射像を撮像するスコープ先端部25とを備えている。管腔用内視鏡装置22は、管腔用内視鏡挿入部24bの先端側に設けられた湾曲部27を有している。管腔用内視鏡操作部24aは、湾曲部27を湾曲動作させるための操作に用いるアングルノブ29を有する。湾曲部27は、アングルノブ29の操作に基づいて湾曲動作することによって、スコープ先端部25を所望の方向に向けさせる。スコープ先端部25には、観察対象に向けて洗浄液を噴射する噴射口(図示しない)が設けられている。
また、管腔用内視鏡操作部24aには、アングルノブ29の他、観察モードの切り替え操作に用いるモード切替部28aと、基準値算出の指示を受け付ける基準値算出指示部28bが設けられている。
また、この管腔用内視鏡装置22には、止血用プローブなどの処置具を挿入するための鉗子チャンネル26が設けられている。処置具は、操作部に設けられた鉗子入口26aから鉗子チャンネル26に挿入し、その鉗子チャンネル26に挿入された処置具は、先端部の鉗子出口26bから突出する。
管腔用内視鏡システム20は、通常モードと、虚血評価モードと、基準値算出モードとの少なくとも3つのモードを備える。通常モードでは、照明光に白色光を用いて観察領域を撮像して得た自然な色合いの画像(以下、通常画像という)を表示装置12に表示する。虚血評価モードでは、観察対象が含むヘモグロビンの濃度(cHb(hemoglobin concentration)、以下、ヘモグロビン濃度という)の相対値及び観察対象が含むヘモグロビンの酸素飽和度(StO2(oxygen saturation)、以下、酸素飽和度という)の相対値を算出し、ヘモグロビン濃度の相対値、酸素飽和度の相対値、又はヘモグロビン濃度の相対値及び酸素飽和度の相対値を画像化した相対値画像を表示装置12に表示する。相対値画像は、縫合不全が起こりにくい切除箇所又は吻合箇所の判断材料となりうる、虚血又は鬱血の判定指標である。術者等は、相対値画像を判定指標として、観察対象の虚血状態を評価することができる。
基準値算出モードでは、基準とする観察対象が含むヘモグロビン濃度及び酸素飽和度を算出し、これに基づいて、それまでに設定されていたヘモグロビン濃度の基準値及び酸素飽和度の基準値をそれぞれ更新する。通常モードと虚血評価モードとの2つのモードは、管腔用内視鏡装置22に設けられたモード切替部28a等の指示によって、切り替え可能である。
虚血評価モードでは、通常、虚血状態を評価したい領域を観察対象として撮像して得た複数の分光画像(第1分光画像)に基づいた、ヘモグロビン濃度の第1実測値及び酸素飽和度の第1実測値と、虚血状態を基準としたい領域を観察対象として撮像して得た複数の分光画像(第2分光画像)に基づいた、ヘモグロビン濃度の基準値及び酸素飽和度の基準値により、ヘモグロビン濃度の相対値及び酸素飽和度の相対値を算出する。虚血評価モードでは、ヘモグロビン濃度及び/又は酸素飽和度を相対的に評価することができる。したがって、虚血評価モードは、虚血のみを評価するモードを意味するのではなく、酸素飽和度に加え、虚血又は鬱血若しくは充血等の状態をも評価することが可能である。
なお、虚血状態とは、酸素飽和度と血液量との両者の値から評価される状態であり、酸素飽和度が比較的低く、かつ、血液量が比較的少ない状態である。同様に、鬱血状態も、酸素飽和度と血液量との両者の値から評価される状態であり、酸素飽和度が比較的低く、かつ、血液量が比較的多い状態である。
虚血状態を評価したい対象は、通常、病変を含む対象(第1の観察対象)であるため、第1分光画像は病変を含む第1の観察対象の画像である。一方、ヘモグロビン濃度の基準値及び酸素飽和度の基準値は、上記した虚血状態を評価したい対象と異なる対象を観察対象として撮像して得た複数の分光画像(第2分光画像)を用いる。したがって、基準値としたい対象は、通常、病変を含まない対象(第2の観察対象)であるため、第2分光画像は病変を含まない第2の観察対象の画像である。
基準値算出モードは、管腔用内視鏡装置22に設けられた基準値算出指示部28b等により、基準値算出の指示があった場合に自動的に切り替わるモードである。例えば、術者が、基準値とすることを希望する領域に、管腔用内視鏡装置22のスコープを向けて観察対象としながら、基準値算出指示部28b等により、基準値算出の指示を行う。この指示により、基準値算出モードに切り替わる。基準値が更新された後は、自動的に基準値算出モードに切り替わる前のモードに戻る。
腹腔用内視鏡システム30は、腹腔内を照明する光を発生する腹腔用光源装置31と、腹腔用光源装置31からの光を腹腔内に照射し、その反射像を撮像する腹腔用内視鏡装置32と、腹腔用内視鏡装置32での撮像により得られた画像信号を画像処理する腹腔用プロセッサ装置33とを備えている。腹腔用プロセッサ装置33は、表示装置12及び入力装置14に接続されている。腹腔用内視鏡装置32は、観察対象を撮像して画像を得る。腹腔用内視鏡装置32は硬性内視鏡であり、硬性な腹腔用内視鏡挿入部34と、その腹腔用内視鏡挿入部の先端に設けられ、光を腹腔内に向けて照射するとともに、腹腔内の反射像を撮像する腹腔用内視鏡先端部35を備えている。
また、腹腔用内視鏡システム30は、管腔用内視鏡システム20と同様の、通常モードと、虚血評価モードと、基準値算出モードとの少なくとも3つのモードを備える。通常モードと虚血評価モードとの2つのモードは、腹腔用プロセッサ装置33に接続されたフットスイッチ36等の指示によって、切り替え可能である。基準値算出モードは、腹腔用内視鏡システム30に設けられた入力装置14等により、基準値算出の指示があった場合に自動的に切り替わるモードである。これらの3つのモードについては、管腔用内視鏡システム20について記載したのと同様である。
図2に示すように、腹腔用内視鏡システム30においては、腹腔内の観察及び腫瘍部摘出手術を行うために、腹腔用光源装置31、腹腔用内視鏡装置32、腹腔用プロセッサ装置33の他、気腹装置37、処置具38、並びに、トラカール39a及びトラカール39bが用いられる。この腹腔用内視鏡システム30では、まず、気腹装置37からCO2(二酸化炭素)ガスを患者40の腹腔内40aに供給して、患者40の腹腔を気腹させる。これにより、腹腔内の視野又は術野を確保することができる。
次に、各処置具38を、トラカール39aを介して、患者40の腹腔内40aに挿入するとともに、腹腔用内視鏡装置32を、トラカール39bを介して、患者40の腹腔内40aに挿入される。これらトラカール39a及びトラカール39bは金属製の中空管と術者把持部を備えており、術者が術者把持管を把持した状態で、中空管の先鋭状先端を患者40の腹部に刺し込むことにより、中空管が体腔内に挿入される。このように中空管が腹腔内に挿入されたトラカール39a及びトラカール39bに対して、処置具38及び腹腔用内視鏡装置32が、それぞれ挿入される。
以下、管腔用内視鏡システム20を代表して説明する。腹腔用内視鏡システム30についても管腔用内視鏡システム20と同様であるので、同様の部分は説明を省略する。
図3に示すように、管腔用光源装置21は、光源41と、光源制御部42とを備えている。光源41は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯する。光源41が点灯することによって、観察対象を照明する照明光が発せられる。本実施形態では、光源41は、BS-LED(Blue Short -wavelength Light Emitting Diode)41a、BL-LED(Blue Long-wavelength Light Emitting Diode)41b、G-LED(Green Light Emitting Diode)41c、及びR-LED(Red Light Emitting Diode)41dの4色のLEDを有する。
BS-LED41aは、波長帯域450±10nmの第1青色光BSを発する。BL-LED41bは、第1青色光BSよりも長波長である波長帯域470±10nmの第2青色光BLを発する。G-LED41cは、波長帯域500nm~600nmに及ぶ緑色光Gを発する。R-LED41dは、波長帯域620±20nmの赤色光Rを発する。なお、各色の光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
光源制御部42は、各LED41a~41dに対して独立に制御信号を入力することによって、各LED41a~41dの点灯や消灯、点灯時の発光量などを独立に制御する。光源制御部42における点灯及び消灯の制御は、観察モードごとに異なっている。通常モードの場合、光源制御部42は、BS-LED41a、G-LED41c、及びR-LED41dを同時に点灯することによって、第1青色光BS、緑色光G、赤色光Rを同時に発光させる。
虚血評価モードの場合、光源制御部42は、BS-LED41a、G-LED41c、及びR-LED41dを同時に点灯することによって、第1青色光BS、緑色光G、及び赤色光Rを同時に発光させる第1発光と、BL-LED41b、G-LED41c、及びR-LED41dを同時に点灯することによって、第2青色光BS、緑色光G、及び赤色光Rを同時に発光させる第2発光とを、交互に行う。
各LED20a~20dから発する各光は、ライトガイド43に入射する。ライトガイド43は、管腔用内視鏡装置22及びユニバーサルコードに内蔵されている。ユニバーサルコードは、管腔用内視鏡装置22と、光源装置21及びプロセッサ装置23とを接続するコードである。ライトガイド43は、光を管腔用内視鏡装置22のスコープ先端部25まで伝搬する。
管腔用内視鏡装置22は、電子内視鏡から構成され、ライトガイド43で導光された光を観察対象に向けて照射する照明光学系44aと、観察対象を撮像する撮像光学系44bと、撮像制御部55とを備える。また、管腔用内視鏡装置22と、管腔用光源装置21及び管腔用プロセッサ装置23とを着脱自在に接続するコネクタ部(図示せず)とを備えている。
照明光学系44a及び撮像光学系44bは、管腔用内視鏡装置22のスコープ先端部25に設けられている。照明光学系44aは、照明レンズ45を有する。この照明レンズ45を介して、ライトガイド43からの照明光が観察対象に照射する。撮像光学系44bは、対物レンズ46と、撮像センサ48とを有する。対物レンズ46は、照明光で照明した観察対象からの戻り光を撮像センサ48に入射させる。これにより、撮像センサ48に観察対象の像が結像する。
撮像センサ48は、照明光で照明された観察対象を撮像して画像信号を出力するカラーの撮像センサである。図4に示すように、撮像センサ48の撮像面49には、複数の画素51が行方向(X方向)及び列方向(Y方向)にマトリクス状に2次元配列されている。1つの画素51には、B(青色)カラーフィルタ52、G(緑色)カラーフィルタ53、及びR(赤色)カラーフィルタ54のいずれかが設けられている。各カラーフィルタ53~54の配列は、ベイヤー配列であり、Gカラーフィルタ53が市松状に1画素おきに配置され、Bカラーフィルタ52とRカラーフィルタ54とが、残りの画素上に、それぞれ正方格子状に配置されている。
図5に示すように、Bカラーフィルタ52は、波長帯域が380nm~560nmの光を透過させる。Gカラーフィルタ53は、波長帯域が450nm~630nmの光を透過させる。Rカラーフィルタ54は、波長帯域が580nm~760nmの光を透過させる。このため、B画素は、第1青色光BSの波長帯域450±10nmと第2青色光BLの波長帯域470±10nmとに対して感度を有する。G画素は、緑色光Gの波長帯域500nm~600nmに対して感度を有する。R画素は、赤色光Rの波長帯域640±20nmに対して感度を有する。
撮像センサ48(図3参照)としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。
なお、原色の撮像センサ48の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑色)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ48と同様のRGB各色の画像信号を得ることができる。
撮像センサ48は、対物レンズ46からの光を受光面(撮像面)で受光し、受光した光を光電変換して撮像信号(アナログ信号)を出力する。この撮像センサ48の撮像制御は、撮像制御部55により行われる。
撮像制御部55は、光源制御部42と互いに電気的に接続されており、光源制御部42の発光制御に応じて撮像制御を行う。図6に示すように、通常モードの場合、撮像制御部55は、光源制御部42の制御に基づいて発光される第1青色光BS、緑色光G、及び赤色光Rで照明中の観察対象を1フレーム毎に撮像するように撮像センサ48を制御する。これにより、撮像センサ48のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。なお、撮像制御部55は、撮像撮像センサ48による露光時間を、照明光の照明時間と同期させている。
虚血評価モードの場合、撮像制御部55は、第1発光と第2発光とで撮像制御を異ならせる。具体的には、第1発光の場合、図7に示すように、撮像制御部55は、第1発光の際に同時発光される第1青色光BSと緑色光Gと赤色光Rとで照明中の第1の観察対象を1フレーム分撮像する第1撮像を実行する。これにより、第1撮像時には、撮像センサ48のB画素からB1m画像信号が出力され、G画素からG1m画像信号が出力され、R画素からR1m画像信号が出力される。また、第2発光時に同時発光される第2青色光BSと緑色光Gと赤色光Rとで照明中の第1の観察対象を1フレーム分撮像する第2撮像を実行する。これにより、第2撮像時には、撮像センサ48のB画素からB2m画像信号が出力され、G画素からG2m画像信号が出力され、R画素からR2m画像信号が出力される。
なお、B1m画像信号、G1m画像信号、及びR1m画像信号、並びに、B2m画像信号、G2m画像信号、及びR2m画像信号は、それぞれ、本発明の第1分光画像に相当する。したがって、複数の第1分光画像は、B1m画像信号、G1m画像信号、及びR1m画像信号、並びに、B2m画像信号、G2m画像信号、及びR2m画像信号を含む。
基準値算出モードの場合、光源制御部42及び撮像制御部55は、虚血評価モードの場合と同様に機能する。したがって、基準値算出モードにおいて、光源制御部42は、BS-LED41a、G-LED41c、及びR-LED41dを同時に点灯することによって、第1青色光BS、緑色光G、及び赤色光Rを同時に発光させる第1発光と、BL-LED41b、G-LED41c、及びR-LED41dを同時に点灯することによって、第2青色光BS、緑色光G、及び赤色光Rを同時に発光させる第2発光とを、交互に行う。
また、基準値算出モードにおいて、撮像制御部55は、第1発光と第2発光とで撮像制御を異ならせている。具体的には、第1発光の場合、図8に示すように、撮像制御部55は、第1発光時に同時発光される第1青色光BSと緑色光Gと赤色光Rとで照明中の第2の観察対象を1フレーム分撮像する第1撮像を実行する。これにより、第1撮像時には、撮像センサ48のB画素からB1n画像信号が出力され、G画素からG1n画像信号が出力され、R画素からR1n画像信号が出力される。また、第2発光時に同時発光される第2青色光BSと緑色光Gと赤色光Rとで照明中の第2の観察対象を1フレーム分撮像する第2撮像を実行する。これにより、第2撮像時には、撮像センサ48のB画素からB2n画像信号が出力され、G画素からG2n画像信号が出力され、R画素からR2n画像信号が出力される。
なお、B1n画像信号、G1n画像信号、及びR1n画像信号、並びに、B2n画像信号、G2n画像信号、及びR2n画像信号は、それぞれ、本発明の第2分光画像に相当する。したがって、複数の第2分光画像は、B1n画像信号、G1n画像信号、及びR1n画像信号、並びに、B2n画像信号、G2n画像信号、及びR2n画像信号を含む。
撮像センサ48から出力される撮像信号(アナログ信号)は、スコープケーブルを通じてA/D変換器(図示なし)に入力される。A/D変換器は、撮像信号(アナログ信号)をその電圧レベルに対応する画像信号(デジタル信号)に変換する。変換後の画像信号は、コネクタ部を介して、管腔用プロセッサ装置23に入力される。
図3に示すように、管腔用プロセッサ装置23は、中央制御部56と、画像取得部57と、画像処理部58と、表示制御部59とを備える。画像取得部57は、DSP(Digital Signal Processor)61と、ノイズ低減部62と、変換部63とを備える。表示制御部59は、表示画像選択部59aを備える。
DSP61は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理した画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理した各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルが整えられる。リニアマトリクス処理では、ゲイン補正処理した各色の画像信号の色再現性が高められる。
ガンマ変換処理では、リニアマトリクス処理した各画像信号の明るさや彩度が整えられる。デモザイク処理(等方化処理、又は同時化処理とも言う)では、各画素の欠落した色の信号を生成することによって、ガンマ変換処理した画像信号を補間する。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP61は、デモザイク処理した各画像信号に対して、輝度信号Yと色差信号Cb及び色差信号Crとに変換するYC変換処理を施し、これらをノイズ低減部62に出力する。
ノイズ低減部62は、DSP52からの画像信号に対して、ノイズ低減処理を施す。ノイズ低減処理は、例えば、移動平均法やメディアンフィルタ法等である。ノイズ低減処理によりノイズが低減された画像信号は、変換部63に入力される。変換部63は、ノイズ低減処理後の輝度チャンネルY、並びに色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
中央制御部56は、光源制御部42と撮像制御部55とを制御することによって、通常モード、虚血評価モード、及び基準値算出モードの3つのモードを、それぞれ実行する。なお、中央制御部56は、画像処理部58と電気的に接続されており、画像処理部58に対して、通常モード、虚血評価モード、又は基準値算出モードのいずれを実行したかの通知を行う。
中央制御部56は、通常モードでは、通常画像の撮影を行う。通常画像の撮影では、光源制御部42を制御することによって通常画像用の照明光の発光を実行させる。これにより、通常画像の撮影時には、第1青色光BS、緑色光G、及び赤色光Rで照明された観察対象を撮像することによって、Bc画像信号とGc画像信号とRc画像信号とが得られる。
また、中央制御部56は、虚血評価モードでは、光源制御部42を制御することによって第1発光と第2発光との照明光の発光を交互に実行させ、この第1発光と第2発光とに合わせて撮像制御部55を制御することによって、第1撮像と第2撮像とを交互に実行させる。これにより、第1発光と第1撮像が実行された場合には、第1青色光BS、緑色光G、及び赤色光Rで照明された第1の観察対象を撮像することによって、B1m画像信号とG1m画像信号とR1m画像信号とが得られる。また、第2発光と第2撮像が実行された場合には、第2青色光BS、緑色光G、及び赤色光Rで照明された第1の観察対象を撮像することによって、B2m画像信号とG2m画像信号とR2m画像信号とが得られる。B1m画像信号、G1m画像信号、及びR1m画像信号と、B2m画像信号、G2m画像信号、及びR2m画像信号とは、連続する2組の画像信号である。
また、中央制御部56は、基準値算出モードでは、虚血評価モードと同様に、光源制御部42を制御することによって第1発光と第2発光との照明光の発光を交互に実行させ、この第1発光と第2発光に合わせて撮像制御部55を制御することによって第1撮像と第2撮像とを交互に実行させる。これにより、第1発光と第1撮像が実行された場合には、第1青色光BS、緑色光G、及び赤色光Rで照明された第2の観察対象を撮像することによって、B1n画像信号とG1n画像信号とR1n画像信号とが得られる。また、第2発光と第2撮像が実行された場合には、第2青色光BS、緑色光G、及び赤色光Rで照明された第2の観察対象を撮像することによって、B2n画像信号とG2n画像信号とR2n画像信号とが得られる。B1n画像信号、G1n画像信号、及びR1n画像信号と、B2n画像信号、G2n画像信号、及びR2n画像信号とは、連続する2組の画像信号である。
図9に示すように、画像処理部58は、通常画像処理部71及び機能画像処理部72を備えており、管腔用内視鏡装置22からの画像信号に対して、所定の画像処理を施す。通常画像処理部71は、通常モード時に得られる画像信号に対して所定の画像処理を施すことによって、通常画像を生成する。
機能画像処理部72は、虚血評価モード又は基準値算出モードにより得られる画像の処理を行う。機能画像処理部72は、測定値算出部73、基準値算出指示受付部74、相対値算出部75、及び画像生成部76を備える。機能画像処理部72は、管腔用内視鏡装置22から入力される画像信号に基づき、一連の処理を行い、ヘモグロビン濃度の相対値及び酸素飽和度の相対値を算出し、ヘモグロビン濃度の相対値及び/又は酸素飽和度の相対値を用いて、相対値画像を生成する。
測定値算出部73は、複数の分光画像に基づいて、ヘモグロビン濃度及び酸素飽和度の実測値又は基準値を算出する機能を備える。分光画像が第1分光画像の場合、算出したヘモグロビン濃度及び酸素飽和度を、第1実測値とする。分光画像が第2分光画像の場合、算出したヘモグロビン濃度及び酸素飽和度を、第2実測値とする。したがって、複数の第1分光画像に基づいて算出したヘモグロビン濃度は、ヘモグロビン濃度の第1実測値であり、複数の第1分光画像に基づいて算出した酸素飽和度は、酸素飽和度の第1実測値である。また、複数の第2分光画像に基づいて算出したヘモグロビン濃度は、ヘモグロビン濃度の第2実測値であり、複数の第2分光画像に基づいて算出した酸素飽和度は、酸素飽和度の第2実測値である。第2実測値を用いて、基準値を算出する。
基準値算出指示受付部74は、基準値算出の指示を受け付ける。相対値算出部75は、測定値算出部73により算出されたヘモグロビン濃度の第1実測値及び酸素飽和度の第1実測値、並びに、ヘモグロビン濃度の基準値及び酸素飽和度の基準値に基づいて、へモグロビンの濃度の相対値及び酸素飽和度の相対値を算出する。画像生成部76は、ヘモグロビンの濃度の相対値及び/又はヘモグロビンの酸素飽和度の相対値を画像化した相対値画像を生成する。
図10に示すように、測定値算出部73は、信号比算出部81、相関関係記憶部82、実測値算出部83、及び基準値算出部84を備える。信号比算出部81、相関関係記憶部82、及び実測値算出部83は、複数の第1分光画像に基づいてヘモグロビン濃度及び酸素飽和度の第1実測値を算出し、また、複数の第2分光画像に基づいてヘモグロビン濃度及び酸素飽和度の第2実測値を算出する。基準値算出部84は、第2実測値から基準値を算出する。
信号比算出部81は、虚血評価モードにおいて取得した、病変を含む第1の観察対象を撮像して得られる複数の第1分光画像を用いて、ヘモグロビン濃度及び酸素飽和度の両方に依存性を有する信号比を求める。なお、ヘモグロビン濃度に依存性を有する信号比は、血液量に依存性を有する信号比と同様である。
信号比算出部81は、虚血評価モードにおいて取得した第1分光画像である、第1撮像のB1m画像信号、G1m画像信号、及びR1m画像信号と、第2撮像のB2m画像信号、G2m画像信号、及びR2m画像信号において、同じ位置にある画素間の信号比を算出する。信号比は画像信号の全ての画素に対して算出する。したがって、ヘモグロビン濃度及び酸素飽和度は、画素ごとに算出する。本実施形態では、信号比算出部81は、第1撮像の青色信号B1m及び第1撮像の緑色信号G1mと、第2撮像の緑色信号G2mとの信号比B2m/(B1m+G1m)と、第1撮像の緑色信号G1mと赤色信号R1mとの信号比R1m/G1mとを求める。なお、信号比は画像信号のうち血管部分の画素のみ求めてもよい。この場合、血管部分は、血管部分の画像信号とそれ以外の部分の画像信号との差に基づいて特定される。
相関関係記憶部82は、信号比B2m/(B1m+G1m)及びR1m/G1mと、ヘモグロビン濃度及び酸素飽和度との相関関係を記憶している。信号比とヘモグロビン濃度との相関関係は、図11に示すように、信号比R1m/G1mが大きくなるほどヘモグロビン濃度も大きくなるように定義されている1次元テーブルで記憶されている。なお、信号比R1m/G1mはlogスケールで記憶されている。
一方、信号比と酸素飽和度との相関関係は、図12に示す二次元空間上に酸素飽和度の等高線を定義した2次元テーブルで記憶されている。この等高線の位置、形は光散乱の物理的なシミュレーションで得られ、血液量に応じて変わるように定義されている。例えば、血液量の変化があると、各等高線間の間隔が広くなったり、狭くなったりする。なお、信号比B2m/(B1m+G1m)、R1m/G1mはlogスケールで記憶されている。
なお、上記相関関係は、図13に示すような酸化ヘモグロビンや還元ヘモグロビンの吸光特性や光散乱特性と密接に関連性し合っている。図13において、グラフ91は酸化ヘモグロビンの吸光係数91aと還元ヘモグロビンの吸光係数91bとを示している。この図13が示すように、例えば、470nmのように吸光係数の差が大きい波長では、酸素飽和度の情報を取り易い。しかしながら、470nmの光に対応する信号を含む青色信号は、酸素飽和度だけでなく血液量にも依存度が高い。そこで、青色信号B1mに加え、主として血液量に依存して変化する光に対応する赤色信号R1mと、青色信号B2mと赤色信号R1mのリファレンス信号となる緑色信号G1mから得られる信号比B2m/(B1m+G1m)及びR1m/G1mを用いることで、血液量に依存することなく、酸素飽和度を正確に求めることができる。
また、観察対象である観察組織のヘモグロビンの吸光係数の波長依存性から、以下の3つのことが言える。
(1)波長470nm近辺(例えば、中心波長470nm±10nmの青色の波長領域)では酸素飽和度の変化に応じて吸光係数が大きく変化する。
(2)540~580nmの緑色の波長範囲で平均すると、酸素飽和度の影響を受けにくい。
(3)590~700nmの赤色の波長範囲では、酸素飽和度によって一見吸光係数が大きく変化するように見えるが、吸光係数の値自体が非常に小さいので、結果的に酸素飽和度の影響を受けにくい。
実測値算出部83は、相関関係記憶部82に記憶された相関関係と信号比算出部81で求めた信号比B2m/(B1m+G1m)及び信号比R1m/G1mとを用いて、各画素におけるヘモグロビン濃度及び酸素飽和度の両方を求める。ヘモグロビン濃度については、相関関係記憶部82の1次元テーブルにおいて信号比算出部81で求めた信号比R1m/G1mに対応する値が、ヘモグロビン濃度となる。一方、酸素飽和度については、まず、図14に示すように、二次元空間において信号比算出部81で求めた信号比B2m*/(B1m*+G1m*)及び信号比R1m*/G1m*に対応する対応点Pを特定する。
そして、図14のように、対応点Pが、「酸素飽和度=0%限界」の下限ライン93と「酸素飽和度=100%限界」の上限ライン94との間にある場合、その対応点Pが位置する等高線が示すパーセント値が、酸素飽和度となる。例えば、図14の場合であれば、対応点Pが位置する等高線は60%を示しているため、この60%が酸素飽和度となる。なお、対応点が下限ライン93と上限ライン94との間から外れている場合には、対応点が下限ライン93よりも上方に位置するときには酸素飽和度を0%とし、対応点が上限ライン94よりも下方に位置するときには酸素飽和度を100%とする。なお、対応点が下限ライン93と上限ライン94との間から外れている場合には、その画素における酸素飽和度の信頼度を下げて表示しないようにしてもよい。
次に、複数の第2分光画像を対象とするヘモグロビン濃度と酸素飽和度の基準値の算出について説明する。基準値の算出は、術者の指示を基準値算出指示受付部74が受け付けることにより、モードが基準値算出モードに切り替わり、開始する。術者の指示は、例えば、具体的には、基準値算出指示部28bであるスコープボタンの押下である。術者は、例えば、検査中に基準値としたい観察対象において、基準値算出指示部28bであるスコープボタンを押下することにより、基準値算出モードに切り替わり、この観察対象を撮像した複数の第2分光画像が取得される。
取得された複数の第2分光画像を用いて、各画素におけるヘモグロビン濃度及び酸素飽和度のそれぞれの第2実測値を、第1実測値を算出したのと同様に処理することにより求める。より具体的には、信号比算出部81は、基準値算出指示部28bの操作に基づいて得られた複数の第2分光画像を用いて、ヘモグロビン濃度及び酸素飽和度の両方に依存性を有する信号比を求める。第2分光画像に基づいた信号比は、第2の観察対象の酸素飽和度の第2実測値となる。具体的には、複数の第2分光画像を対象として、信号比算出部81による信号比B2n/(B1n+G1n)及び信号比R1n/G1nと、相関関係記憶部82に記憶された相関関係及び二次元空間(図14参照)とをそれぞれ用いて、第2実測値を求める。第2の観察対象のヘモグロビン濃度の第2実測値についても、第1実測値と同様であり、ヘモグロビン濃度の算出は、信号比R1n/G1nに基づくため、ヘモグロビン濃度の算出をこれらの分光画像の各画素について行う。
基準値算出部84は、実測値算出部83が算出した、各画素におけるヘモグロビン濃度及び酸素飽和度の第2実測値を、例えば、画像1つの範囲又は分光画像1つの範囲等で、それぞれ平均する。平均して算出された値を、ヘモグロビン濃度の基準値、又は、酸素飽和度の基準値とする。なお、平均する場合、各画素における信頼度の重みをつけて平均することで、基準値の算出のために不適切な領域の値を含まないようにしてもよい。基準値が算出された際、算出された基準値を相対値算出部75に送り、相対値算出部75は、算出された基準値を用いて相対値を算出する。
なお、基準値算出部84は、複数の第2分光画像のセットを複数セット用いて、基準値を算出してもよい。この場合は、例えば、1つの分光画像のセットを1フレームとし、各フレームの酸素飽和度の平均値を求め、さらに求めた平均値を足してフレーム数で割って、複数フレーム全体の酸素飽和度の基準値を算出する。なお、第1分光画像によるヘモグロビン濃度及び酸素飽和度の第1実測値についても、複数フレームを対象として、同じ位置の画素について平均値を求めて、ヘモグロビン濃度及び酸素飽和度の第1実測値としてもよい。
なお、基準値算出モードへの切り替え又は基準値の算出は、術者の指示により開始する以外の方法により行っても良い。また、例えば、施術の最初においては、予め、口から肛門までの消化管の正常な粘膜が示すヘモグロビン濃度又は酸素飽和度の典型的な値をデフォルトの基準値としてもよい。また、前回までの基準値を記憶しておき、術者が基準値の算出を指示するまではその基準値を使用し、術者が基準値の算出を指示することにより基準値を更新してもよい。また、モード切替部28aにより、虚血評価モードとした場合に、自動的に一旦基準値算出モードに切り替わり、基準値の算出を行い、基準値を設定した後に、自動的に虚血評価モードに切り替わるようにしてもよい。
相対値算出部75は、第1分光画像によるヘモグロビン濃度及び酸素飽和度のそれぞれの第1実測値と、ヘモグロビン濃度及び酸素飽和度のそれぞれの基準値とにより、第1分光画像に基づいたヘモグロビン濃度及び酸素飽和度の相対値を算出する。例えば、相対値は、第1実測値から基準値を引いた値とすることができる。具体的には、第1分光画像による酸素飽和度の第1実測値をStO2(MV)とし、酸素飽和度の基準値をStO2(STD)とすると、酸素飽和度の相対値ΔStO2は、酸素飽和度の第1実測値StO2(MV)から酸素飽和度の基準値StO2(STD)を引いた値である。したがって、酸素飽和度の相対値ΔStO2は、例えば、図15に示すように、酸素飽和度の基準値PS、酸素飽和度の第1実測値PMとした場合の差PDである。式により表すと、次のとおりである。
StO2(MV)-StO2(STD)=ΔStO2
ヘモグロビン濃度の相対値についても、酸素飽和度についての相対値と同様に算出する。すなわち、相対値は、第1実測値から基準値を引いた値とすることができ、具体的には、第1分光画像によるヘモグロビン濃度の第1実測値をcHb(MV)とし、ヘモグロビン濃度の基準値をcHb(STD)とすると、ヘモグロビン濃度の相対値ΔcHbは、ヘモグロビン濃度の第1実測値cHb(MV)からヘモグロビン濃度の基準値cHb(STD)を引いた値である。したがって、ヘモグロビン濃度の相対値ΔcHbは、例えば、図16に示すように、ヘモグロビン濃度の基準値QS、酸素飽和度の実測値QMとした場合の差QDである。式により表すと、次のとおりである。
cHb(MV)-cHb(STD)=ΔcHb
次に、画像生成部76は、相対値算出部75で求めたヘモグロビン濃度の相対値ΔcHb及び/又は酸素飽和度の相対値ΔStO2を画像化した相対値画像を生成する。具体的には、濃度に応じて変化する疑似カラー情報を記憶する濃度用のカラーテーブルを用いて、濃度の相対値ΔcHbを疑似カラー画像化することによりヘモグロビン濃度画像を生成し、また、酸素飽和度に応じて変化する疑似カラー情報を記憶する酸素飽和度用のカラーテーブルを用いて、酸素飽和度の相対値ΔStO2を疑似カラー画像化することにより酸素飽和度画像を生成する。相対値画像は、ヘモグロビン濃度の相対値ΔcHbを画像化したヘモグロビン濃度画像、酸素飽和度の相対値ΔStO2を画像化した酸素飽和度画像、並びに、ヘモグロビン濃度の相対値ΔcHb及び酸素飽和度の相対値ΔStO2を画像化した判定指標画像を含む。
画像生成部76は、図17に示すように、相対値算出部75で求めたヘモグロビン濃度の相対値ΔcHbを疑似カラーで表すヘモグロビン濃度画像を生成する。ヘモグロビン濃度画像は、輝度Yと色差信号Cb及び色差信号Crとからなる映像信号で構成される。輝度Yには、緑色信号のG1m画像信号が割り当てられる。このG1m画像信号は、ヘモグロビンによる吸収がやや強い波長帯域の反射光に対応しているので、これに基づく画像からは粘膜の凹凸や血管などを視認できる。したがって、G1m画像信号を輝度に割り当てることで、疑似カラー画像の全体的な明るさを定義することができる。なお、G1m画像信号の代わりに、緑色信号のG2m画像信号を輝度に割り当ててもよい。
一方、色差信号Cb及び色差信号Crは、図18に示すように、カラーテーブル96に従って、ヘモグロビン濃度の相対値ΔcHbに応じた信号値が割り当てられる。カラーテーブル96は、ヘモグロビン濃度に応じて変化する疑似カラー情報を記憶するヘモグロビン濃度画像用のカラーテーブルである。カラーテーブル96は、色差信号Cb95bについてはヘモグロビン濃度が大きくなるほど信号値が低下するように定義され、色差信号Cr95aについてはヘモグロビン濃度が大きくなるほど信号値が増加するように定義されている。したがって、ヘモグロビン濃度画像は、ヘモグロビン濃度が高いところでは赤味が増加し、ヘモグロビン濃度が低くなるにつれて赤味の彩度が下がりモノクロに近づいていく。
また、画像生成部76は、図17に示すように、相対値算出部75で求めた酸素飽和度の相対値ΔStO2を疑似カラーで表す酸素飽和度画像を生成する。酸素飽和度画像は、ヘモグロビン濃度画像と同様、輝度Yと色差信号Cb及び色差信号Crからなる映像信号で構成される。輝度Yには、緑色信号のG1m画像信号又はG2m画像信号の緑色信号が割り当てられる。色差信号Cb及び色差信号Crは、図19に示すように、カラーテーブル97に従い、酸素飽和度の相対値ΔStO2に応じた信号値が割り当てられる。カラーテーブル97は、酸素飽和度に応じて変化する疑似カラー情報を記憶する酸素飽和度画像用のカラーテーブルである。
カラーテーブル97は、高酸素飽和度下では色差信号Cr95aの信号値が正、色差信号Cb95bの信号値が負となるように定義され、低酸素飽和度下では、反対に色差信号Cr95aの信号値が負、色差信号Cb95bの信号値が正となるように定義されている。そして、中酸素飽和度下において、色差信号Cr95aの信号値と色差信号Cb95bの信号値の大小関係が逆転するように定義されている。したがって、酸素飽和度が低い方から高い方に行くにつれて、酸素飽和度画像の色味は青→水色→緑→黄色→橙→赤と変化するようになっている。
また、画像生成部76は、図20に示すように、相対値算出部75で求めたヘモグロビン濃度の相対値ΔcHb及び酸素飽和度の相対値ΔStO2を疑似カラーで表す判定指標画像を生成する。判定指標画像は、ヘモグロビン濃度画像又は酸素飽和度画像と同様、輝度Yと色差信号Cb及び色差信号Crからなる映像信号で構成される。
輝度Yは、図21に示すように、輝度テーブル98に従い、ヘモグロビン濃度の相対値ΔcHbに応じた輝度値95cが割り当てられる。輝度テーブル98は、ヘモグロビン濃度の相対値ΔcHbに応じて変化する輝度情報を記憶する判定指標画像用のカラーテーブルである。色差信号Cb及び色差信号Crは、図22に示すように、カラーテーブル99に従い、酸素飽和度の相対値ΔStO2に応じた信号値が割り当てられる。カラーテーブル99は、酸素飽和度の相対値ΔStO2に応じて変化する疑似カラー情報を記憶する判定指標画像用のカラーテーブルである。
輝度テーブル98は、ヘモグロビン濃度の相対値ΔcHbが正で大きいところでは輝度値95cが正で小さく、一方、ヘモグロビン濃度の相対値ΔcHbが負で絶対値が大きいところでは、反対に、輝度値95cが正で大きく、また、ヘモグロビン濃度の相対値ΔcHbが0(ゼロ)のところでは、中位の輝度値95cとなるように定義されている。したがって、ヘモグロビン濃度の相対値ΔcHbが絶対値が大きい負から絶対値が大きい正に行くにつれて、画像において、輝度が明るいところから暗いところへ変化して表示される。
カラーテーブル99は、酸素飽和度の相対値ΔStO2が正で大きいところでは色差信号Cr95aの信号値が正で大きく、色差信号Cb95bの信号値が負で絶対値が大きくなるように定義され、一方、酸素飽和度の相対値ΔStO2が負で絶対値が大きいところでは、反対に、色差信号Cr95aの信号値が負で絶対値が大きく、色差信号Cb95bの信号値が正で大きくなるように、また、ヘモグロビン濃度の相対値ΔcHbが0(ゼロ)のところでは、色差信号Cr95aの信号値が0(ゼロ)及び色差信号Cb95bの信号値が0(ゼロ)となるように定義されている。したがって、酸素飽和度の相対値ΔStO2が絶対値が大きい負から大きい正に行くにつれて、画像において、青から赤へと徐々に変化して表示される。
このように、判定指標画像では、ヘモグロビン濃度の相対値ΔcHbと酸素飽和度の相対値ΔStO2とに基づいて輝度と色差とを定義したため、血液量が高い領域は暗く、低い領域は明るく表示され、さらに、酸素飽和度の相対値ΔStO2が高い領域は赤色調で、低い領域は青色調で表示される。なお、酸素飽和度の相対値ΔStO2が0(ゼロ)、すなわち、酸素飽和度の第1実測値が基準値と同じ領域は、はモノクロ調で表示される。これにより、鬱血(血液量高かつ低酸素)の領域は暗い青で表示され、虚血(血液量低かつ低酸素)は明るい青で表示される。したがって、判定指標画像により、鬱血及び虚血を、正常な場合と区別して視認可能となる。なお、輝度と色差との定義は、上記したものに限らず、例えば、血液量が高い領域を明るく、血液量が低い領域を暗く表示してもよく、画像生成部76において設定により変更してもよい。
表示制御部59(図2参照)は、表示装置12に表示する画像の制御を行う。表示画像選択部59aは、入力装置14等により選択された表示画像を表示装置12に表示する。例えば、虚血評価モードでは、ヘモグロビン濃度画像、酸素飽和度画像、及び判定指標画像のうち、少なくとも1つを選択する。
表示装置12であるモニタは、例えば、虚血評価モードでは、表示画像選択部59aが受け付けた選択に従って、ヘモグロビン濃度画像、酸素飽和度画像、及び判定指標画像の少なくとも1つを表示する。表示方法としては、任意に設定可能であるが、例えば、図23に示すように、ヘモグロビン濃度画像101と酸素飽和度画像102とを一画面上に並列して表示できるように縮小し、それら縮小した画像を同時にモニタの同一画面上に並列して表示してもよい。あるいは、表示画像選択部59aが受け付けた選択に従って、図24に示すように、ヘモグロビン濃度画像101と酸素飽和度画像102とのいずれか一方を選択し、場合によっては選択を切り替えながら、その選択した画像をモニタに表示するようにしてもよい。また、図25に示すように、判定指標画像103をモニタに表示してもよい。
このように、虚血評価モードでは、ヘモグロビン濃度の相対値ΔcHbと酸素飽和度の相対値ΔStO2との両方のリアルタイムの情報を、それぞれの画像又は1つの画像で表示することができるため、これらを蛍光剤等を使用せず、内視鏡装置により簡便に比較することが可能となる。また、ヘモグロビン濃度画像、酸素飽和度画像、及び判定指標画像は、それぞれ相対値を画像化したものであるため、ヘモグロビン濃度及び酸素飽和度の情報を安定的に得ることができる。また、酸素飽和度が低い領域における鬱血もしくは虚血の領域の分布の判定又は境界の判定、及び酸素飽和度が低い領域と正常領域との分布の判定又は境界の判定等が可能となり、術後の縫合不全を防止する判断材料として有用である。したがって、本発明によれば、縫合不全が起こりにくい切除箇所又は吻合箇所の判断材料となりうる、虚血又は鬱血の判定指標を、簡便かつ安定的に提供することができる。
次に、本発明の作用について図26のフローチャートに沿って説明する。例えば、管腔用内視鏡システム20及び腹腔用内視鏡システム30を用いて大腸切除術を行う場合、術者は、通常モードにセットした管腔用内視鏡装置22により、大腸内の腫瘍部が生じた部位を探し出す。そして、腫瘍部に、鉗子チャンネルを介して、クリップ装置を挿入し、クリップ装置を操作して、腫瘍部の近くにある比較的太い血管をクリップで圧迫する。このクリップにより圧迫された血管の周りの組織は、虚血状態となり、観察組織の酸素飽和度が低下した低酸素領域となる。この低酸素領域は、次の手術において、腫瘍部の位置を特定する際の目印となる。クリップで目印を付けた後は、管腔用内視鏡装置22を大腸から抜き出す。
次に、手術では、腹腔用内視鏡装置32を患者40の腹部に挿入し、虚血評価モードを選択し(ステップST100)、組織の正常な領域を対象として、基準値算出指示部28bのスコープボタンを押下する(ステップST110でYES)。これにより、基準値算出モードに切り替わり、第1発光の照明光が観察対象に照射される。観察対象からの反射光等は、B画素、G画素及びR画素からなるカラーCCDである撮像センサ48で撮像される。これにより、青色信号B1n、緑色信号G1n及び赤色信号R1nからなる1フレーム目の画像信号が得られる。1フレーム目の画像信号が得られると、第2発光の照明光が観察対象に照射される。観察対象からの反射光等を撮像センサ48で撮像することにより、青色信号B2n、緑色信号G2n及び赤色信号R2nからなる2フレーム目の画像信号が得られる(ステップST120)。
2フレーム目の画像信号が得られると、信号比算出部81は、1フレーム目の画像信号と2フレーム目の画像信号間で同じ位置にある画素について、信号比B2n/(B1n+G2n)及び信号比R1n/G1nを求める。信号比は全ての画素について求める。信号比が求まると、相関関係記憶部82に記憶している相関関係から、信号比算出部81で求めた信号比R1n/G1nに対応するヘモグロビン濃度を求めるとともに、信号比算出部81で求めた信号比B2n/(B1n+G2n)及び信号比R1n/G1nに対応する酸素飽和度を求める。ヘモグロビン濃度及び酸素飽和度は、全ての画素について求める。
全ての画素についてヘモグロビン濃度及び酸素飽和度が求まると(ステップST130)、基準値算出部84が、モグロビン濃度及び酸素飽和度のそれぞれのフレーム毎の平均値を算出する(ステップST140)。算出されたヘモグロビン濃度の平均値をヘモグロビン濃度の基準値とし、同様に、算出された酸素飽和度の平均値を酸素飽和度の基準値とする(ステップST150)。基準値が更新された後、基準値算出モードから虚血判定モードに自動的に切り替わる。モニタに、基準値が更新された旨が表示され、術者には、基準値が更新され、虚血判定モードに切り替わったことが知らされる。
なお、基準値算出指示部28bのスコープボタンを押下しなかった場合(ステップST110でNO)、前回に使用した基準値が、基準値として設定される(ステップST160)。モニタに、前回の基準値が設定されている旨が表示され、術者には、前回の基準値が設定されていることが知らされる。
次に、管腔用内視鏡装置22により、クリップを用いて目印をつけた箇所を、腹腔用内視鏡装置32の虚血判定モードにて観察する。腹腔側からの観察による観察対象が含むヘモグロビン濃度及び酸素飽和度の実測値を算出する。これらの算出方法は、上記と同様であるため省略する(ステップST170、ステップST180)。相対値算出部75は、予め得たヘモグロビン濃度の基準値と、観察対象のヘモグロビン濃度の実測値との差により、ヘモグロビン濃度の相対値ΔcHbを算出する。同様に、予め得た酸素飽和度の基準値と、観察対象の酸素飽和度の実測値との差により、酸素飽和度の相対値ΔStO2を算出する(ステップST190)。
画像生成部76は、算出されたヘモグロビン濃度の相対値ΔcHb及び酸素飽和度の相対値ΔStO2により、カラーテーブル96を参照し、ヘモグロビン濃度の相対値ΔcHbに対応する色差信号Cb及び色差信号Crを求める。そして、この求めた色差信号Cb及び色差信号Crと、第1発光による緑色信号G1m又は緑色信号G2mが割り当てられた輝度Yとから、ヘモグロビン濃度の相対値ΔcHbが疑似カラーで表されたヘモグロビン濃度画像を生成する(ステップST200、図18参照)。また、同様に、カラーテーブル97を用いて、酸素飽和度の相対値ΔStO2が疑似カラーで表された酸素飽和度画像を生成する(図19参照)。また、同様に、輝度テーブル98及びカラーテーブル99を用いて、ヘモグロビン濃度の相対値ΔcHb及び酸素飽和度の相対値ΔStO2が疑似カラーで表された判定指標画像を生成する(図21及び図22参照)。生成されたヘモグロビン濃度画像、酸素飽和度画像、又は判定指標画像は、表示装置12に表示される(ステップST200)。
ヘモグロビン濃度画像、酸素飽和度画像、又は判定使用画像の少なくとも1つの画像を表示装置12に表示することにより、術者は、腫瘍部の位置の特定、腫瘍部付近の酸素飽和度及び虚血状態等を確認する。例えば、クリップにより酸素飽和度が低下している部分を腫瘍部分であると確認できる。また、腫瘍部付近の酸素状態及び虚血状態の両者の情報を、腹腔用内視鏡装置32により得られるため、酸素飽和度が低い部分があっても、虚血領域と正常領域との境界を選択する、虚血領域を避ける、鬱血と虚血とが混合している箇所を避ける、又は均一な箇所を選択する等、より縫合不全が起こりにくい切除箇所又は吻合箇所を判断することができる。再び、基準値を再設定して、より虚血領域等を判定しやすい画像を表示させたい場合は、再度基準値算出を行って、一連の動作を繰り返す(スッテプST210でNO)。処置完了後、腹腔用内視鏡装置32を患者40から抜き、手術を完了させる手順を行う(ステップST210でYES)。
なお、上記実施形態においては、酸素飽和度の相対値ΔStO2及びヘモグロビン濃度の相対値ΔcHbに基づいて判定指標画像を作成し表示したが、鬱血の程度を示す鬱血指標値、又は、虚血の程度を示す虚血指標値を算出する指標値算出部(図示しない)を、内視鏡システム10に設けてもよい。鬱血指標値又は虚血指標値については、酸素飽和度画像とともに表示装置12に表示することで、酸素飽和度の低い領域が、鬱血の領域か虚血の領域のいずれに該当するかを判断し易くなる。
鬱血指標値及び虚血指標値に関しては、例えば、酸素飽和度の相対値ΔStO2がマイナスで、かつ、酸素飽和度の相対値ΔStO2の絶対値が大きくなる程、鬱血指標値及び虚血指標値を大きくすることが好ましい。鬱血指標値は、ヘモグロビン濃度の相対値ΔcHbがプラスで、かつ、ヘモグロビン濃度の相対値ΔcHbの絶対値が大きくなる程、大きくする。これに対して、虚血指標値は、ヘモグロビン濃度の相対値ΔcHbが、マイナスで、且つ、ヘモグロビン濃度の相対値ΔcHbの絶対値が大きくなる程、大きくする。
上記実施形態において、中央制御部56、画像取得部57、画像処理部58、及び表示制御部59といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路(Graphical Processing Unit:GPU)などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、GPUとCPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 表示装置
14 入力装置
20 管腔用内視鏡システム
21 管腔用光源装置
22 管腔用内視鏡装置
23 管腔用プロセッサ装置
24a 管腔用内視鏡操作部
24b 管腔用内視鏡挿入部
25 スコープ先端部
26 鉗子チャンネル
26a 鉗子入口
26b 鉗子出口
27 湾曲部
28a モード切替部
28b 基準値算出指示部
29 アングルノブ
30 腹腔用内視鏡システム
31 腹腔用光源装置
32 腹腔用内視鏡装置
33 腹腔用プロセッサ装置
34 腹腔用内視鏡挿入部
35 腹腔用内視鏡先端部
36 フットスイッチ
37 気腹装置
38 処置具
39a、39b トラカール
40 患者
40a 腹腔内
41 光源
41a BS-LED
41d BL-LED
41c G-LED
41d R-LED
42 光源制御部
43 ライトガイド
44a 照明光学系
44b 撮像光学系
45 照明レンズ
46 対物レンズ
48 撮像センサ
49 撮像面
51 画素
52 Bカラーフィルタ
53 Gカラーフィルタ
54 Rカラーフィルタ
55 撮像制御部
56 中央制御部
57 画像取得部
58 画像処理部
59 表示制御部
59a 表示画像選択部
61 DSP
62 ノイズ低減部
63 変換部
71 通常画像処理部
72 機能画像処理部
73 測定値算出部
74 基準値算出指示受付部
75 相対値算出部
76 画像生成部
81 信号比算出部
82 相関関係記憶部
83 実測値算出部
84 基準値算出部
85、86、91 グラフ
91a 酸化ヘモグロビンの吸光係数
91b 還元ヘモグロビンの吸光係数
93 下限ライン
94 上限ライン
95a Cr
95b Cb
95c 輝度値
96 カラーテーブル
97 カラーテーブル
98 輝度テーブル
99 カラーテーブル
101 ヘモグロビン濃度画像
102 酸素飽和度画像
103 判定指標画像
X方向 行方向
Y方向 列方向
ST100~ST210 ステップ

Claims (16)

  1. 複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する測定値算出部と、
    前記濃度の前記第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、前記酸素飽和度の前記第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、前記濃度の相対値及び前記酸素飽和度の相対値を算出する相対値算出部と、
    前記濃度の前記相対値及び/又は前記酸素飽和度の前記相対値を画像化した相対値画像を生成する画像生成部と、
    前記相対値画像を表示する表示部と、
    複数の第2分光画像に基づいて、前記濃度の前記基準値及び前記酸素飽和度の前記基準値を算出する基準値算出部と、
    を備え、
    前記第1分光画像は、鬱血又は虚血状態を評価する観察対象を撮像して得られる画像であり、前記第2分光画像は、鬱血又は虚血状態を評価する観察対象と異なる観察対象を撮像して得られる画像である内視鏡システム。
  2. 複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する測定値算出部と、
    前記濃度の前記第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、前記酸素飽和度の前記第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、前記濃度の相対値及び前記酸素飽和度の相対値を算出する相対値算出部と、
    前記濃度の前記相対値及び/又は前記酸素飽和度の前記相対値を画像化した相対値画像を生成する画像生成部と、
    前記相対値画像を表示する表示部と、
    を備え
    前記相対値画像は、前記濃度の前記相対値を画像化したヘモグロビン濃度画像と、前記酸素飽和度の前記相対値を画像化した酸素飽和度画像と、前記濃度の前記相対値及び前記酸素飽和度の前記相対値を画像化した判定指標画像とを含み、
    前記画像生成部は、前記濃度の前記相対値を輝度チャンネルに割り当て、かつ、前記酸素飽和度の前記相対値を2つの色差チャンネルに割り当てることにより前記判定指標画像を生成する内視鏡システム。
  3. 前記測定値算出部は、複数の第2分光画像に基づいて、前記濃度の前記基準値及び前記酸素飽和度の前記基準値を算出する基準値算出部を備える請求項2に記載の内視鏡システム。
  4. 前記濃度の前記基準値及び前記酸素飽和度の前記基準値の算出の指示を受け付ける基準値算出指示受付部を備え、
    前記基準値算出部は、前記指示に基づいて、前記濃度の前記基準値及び前記酸素飽和度の前記基準値を算出する請求項1または3に記載の内視鏡システム。
  5. 前記基準値算出部は、複数の前記第2分光画像の画素ごとに算出した前記濃度の第2実測値又は複数の前記第2分光画像の画素ごとに算出した前記酸素飽和度の第2実測値をそれぞれ平均することにより、前記濃度の前記基準値又は前記酸素飽和度の前記基準値を算出する請求項1または3に記載の内視鏡システム。
  6. 前記測定値算出部は、
    複数の前記第1分光画像又は複数の前記第2分光画像に基づいて、前記濃度に依存性を有する信号比を求める信号比算出部と、
    前記濃度と前記信号比との相関関係を記憶する相関関係記憶部と、
    前記相関関係に基づいて前記信号比に対応する前記濃度の前記第1実測値又は前記第2分光画像に基づく前記濃度の第2実測値を算出する実測値算出部と、
    を備える請求項1または3に記載の内視鏡システム。
  7. 前記第1分光画像は、病変を含む第1の観察対象を撮像して得られる画像であり、前記第2分光画像は、病変を含まない第2の観察対象を撮像して得られる画像である請求項1または3に記載の内視鏡システム。
  8. 前記相対値画像は、前記濃度の前記相対値を画像化したヘモグロビン濃度画像と、前記酸素飽和度の前記相対値を画像化した酸素飽和度画像と、前記濃度の前記相対値及び前記酸素飽和度の前記相対値を画像化した判定指標画像とを含む請求項1に記載の内視鏡システム。
  9. 前記画像生成部は、前記濃度に応じて変化する疑似カラー情報を記憶する前記濃度用のカラーテーブルを用いて、前記濃度の前記相対値を疑似カラー画像化することにより前記ヘモグロビン濃度画像を生成し、かつ、前記酸素飽和度に応じて変化する疑似カラー情報を記憶する前記酸素飽和度用のカラーテーブルを用いて、前記酸素飽和度の前記相対値を疑似カラー画像化することにより前記酸素飽和度画像を生成する請求項2または8に記載の内視鏡システム。
  10. 前記画像生成部は、前記濃度の前記相対値を輝度チャンネルに割り当て、かつ、前記酸素飽和度の前記相対値を2つの色差チャンネルに割り当てることにより前記判定指標画像を生成する請求項8に記載の内視鏡システム。
  11. 表示画像の選択を受け付ける表示画像選択部を備え、
    前記表示部は、前記表示画像選択部が受け付けた前記選択に従って、前記ヘモグロビン濃度画像、前記酸素飽和度画像、及び前記判定指標画像の少なくとも一つを表示する請求項8ないし10のいずれか1項に記載の内視鏡システム。
  12. 前記表示部は、前記ヘモグロビン濃度画像及び前記酸素飽和度画像の両方を、同一画面上に表示する請求項11に記載の内視鏡システム。
  13. 複数の第1分光画像及び複数の第2分光画像を取得する内視鏡装置から、前記複数の第1分光画像及び複数の第2分光画像を受信する画像取得部と、
    複数の前記第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する測定値算出部と、
    前記濃度の前記第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、前記酸素飽和度の前記第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、前記濃度の相対値及び前記酸素飽和度の相対値を算出する相対値算出部と、
    前記濃度の前記相対値及び/又は前記酸素飽和度の前記相対値を画像化した相対値画像を生成する画像生成部と、
    複数の第2分光画像に基づいて、前記濃度の前記基準値及び前記酸素飽和度の前記基準値を算出する基準値算出部と、
    を備え
    前記第1分光画像は、鬱血又は虚血状態を評価する観察対象を撮像して得られる画像であり、前記第2分光画像は、鬱血又は虚血状態を評価する観察対象と異なる観察対象を撮像して得られる画像であるプロセッサ装置。
  14. 測定値算出部が、複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する実測値算出ステップと、
    相対値算出部が、前記濃度の前記第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、前記酸素飽和度の前記第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、前記濃度の相対値及び前記酸素飽和度の相対値を算出する相対値算出ステップと、
    画像生成部が、前記濃度の前記相対値及び/又は前記酸素飽和度の前記相対値を画像化した相対値画像を生成する画像生成ステップと、
    表示部が、前記相対値画像を表示する表示ステップと、
    基準値算出部が、複数の第2分光画像に基づいて、前記濃度の前記基準値及び前記酸素飽和度の前記基準値を算出する基準値算出ステップと、
    を備え
    前記第1分光画像は、鬱血又は虚血状態を評価する観察対象を撮像して得られる画像であり、前記第2分光画像は、鬱血又は虚血状態を評価する観察対象と異なる観察対象を撮像して得られる画像である内視鏡システムの作動方法。
  15. 複数の第1分光画像を取得する内視鏡装置から、前記複数の第1分光画像を受信する画像取得部と、
    複数の前記第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する測定値算出部と、
    前記濃度の前記第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、前記酸素飽和度の前記第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、前記濃度の相対値及び前記酸素飽和度の相対値を算出する相対値算出部と、
    前記濃度の前記相対値及び/又は前記酸素飽和度の前記相対値を画像化した相対値画像を生成する画像生成部と、
    を備え
    前記相対値画像は、前記濃度の前記相対値を画像化したヘモグロビン濃度画像と、前記酸素飽和度の前記相対値を画像化した酸素飽和度画像と、前記濃度の前記相対値及び前記酸素飽和度の前記相対値を画像化した判定指標画像とを含み、
    前記画像生成部は、前記濃度の前記相対値を輝度チャンネルに割り当て、かつ、前記酸素飽和度の前記相対値を2つの色差チャンネルに割り当てることにより前記判定指標画像を生成するプロセッサ装置。
  16. 測定値算出部が、複数の第1分光画像に基づいて、観察対象が含むヘモグロビンの濃度の第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の第1実測値を算出する実測値算出ステップと、
    相対値算出部が、前記濃度の前記第1実測値及び観察対象が含むヘモグロビンの濃度の基準値、並びに、前記酸素飽和度の前記第1実測値及び観察対象が含むヘモグロビンの酸素飽和度の基準値に基づいて、前記濃度の相対値及び前記酸素飽和度の相対値を算出する相対値算出ステップと、
    画像生成部が、前記濃度の前記相対値及び/又は前記酸素飽和度の前記相対値を画像化した相対値画像を生成する画像生成ステップと、
    表示部が、前記相対値画像を表示する表示ステップと、
    を備え
    前記相対値画像は、前記濃度の前記相対値を画像化したヘモグロビン濃度画像と、前記酸素飽和度の前記相対値を画像化した酸素飽和度画像と、前記濃度の前記相対値及び前記酸素飽和度の前記相対値を画像化した判定指標画像とを含み、
    前記画像生成ステップは、前記濃度の前記相対値を輝度チャンネルに割り当て、かつ、前記酸素飽和度の前記相対値を2つの色差チャンネルに割り当てることにより前記判定指標画像を生成する内視鏡システムの作動方法。
JP2019089018A 2019-05-09 2019-05-09 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 Active JP7301595B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019089018A JP7301595B2 (ja) 2019-05-09 2019-05-09 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
US16/864,682 US11369294B2 (en) 2019-05-09 2020-05-01 Endoscope system, processor device, and method of operating endoscope system
JP2023101963A JP7432786B2 (ja) 2019-05-09 2023-06-21 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2024015386A JP2024036492A (ja) 2019-05-09 2024-02-05 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019089018A JP7301595B2 (ja) 2019-05-09 2019-05-09 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023101963A Division JP7432786B2 (ja) 2019-05-09 2023-06-21 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2020182738A JP2020182738A (ja) 2020-11-12
JP7301595B2 true JP7301595B2 (ja) 2023-07-03

Family

ID=73045549

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019089018A Active JP7301595B2 (ja) 2019-05-09 2019-05-09 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2023101963A Active JP7432786B2 (ja) 2019-05-09 2023-06-21 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2024015386A Pending JP2024036492A (ja) 2019-05-09 2024-02-05 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023101963A Active JP7432786B2 (ja) 2019-05-09 2023-06-21 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2024015386A Pending JP2024036492A (ja) 2019-05-09 2024-02-05 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Country Status (2)

Country Link
US (1) US11369294B2 (ja)
JP (3) JP7301595B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6866531B2 (ja) * 2018-03-06 2021-04-28 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
WO2023166694A1 (ja) * 2022-03-04 2023-09-07 オリンパス株式会社 画像処理装置、生体観察システムおよび画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011194028A (ja) 2010-03-19 2011-10-06 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、および血管情報取得方法
JP2013022341A (ja) 2011-07-25 2013-02-04 Fujifilm Corp 内視鏡システムおよび内視鏡システムの駆動方法
JP2013099464A (ja) 2011-11-09 2013-05-23 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP2017148392A (ja) 2016-02-26 2017-08-31 Hoya株式会社 計算システム
JP2018000616A (ja) 2016-07-04 2018-01-11 Hoya株式会社 分析装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9339221B1 (en) * 2009-03-24 2016-05-17 Vioptix, Inc. Diagnosing intestinal ischemia based on oxygen saturation measurements
JP5766773B2 (ja) 2013-11-27 2015-08-19 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
GB201610594D0 (en) 2016-06-17 2016-08-03 Ucl Business Plc Method and apparatus for estimating the value of a physical parameter in a biological tissue

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011194028A (ja) 2010-03-19 2011-10-06 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、および血管情報取得方法
JP2013022341A (ja) 2011-07-25 2013-02-04 Fujifilm Corp 内視鏡システムおよび内視鏡システムの駆動方法
JP2013099464A (ja) 2011-11-09 2013-05-23 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP2017148392A (ja) 2016-02-26 2017-08-31 Hoya株式会社 計算システム
JP2018000616A (ja) 2016-07-04 2018-01-11 Hoya株式会社 分析装置

Also Published As

Publication number Publication date
JP2020182738A (ja) 2020-11-12
US11369294B2 (en) 2022-06-28
US20200352488A1 (en) 2020-11-12
JP2024036492A (ja) 2024-03-15
JP7432786B2 (ja) 2024-02-16
JP2023112089A (ja) 2023-08-10

Similar Documents

Publication Publication Date Title
US10251538B2 (en) Endoscope system and method for controlling the same
JP5642619B2 (ja) 医療装置システム及び医療装置システムの作動方法
JP7432786B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP5496075B2 (ja) 内視鏡診断装置
US11412965B2 (en) Endoscope system
JP6437943B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20240296548A1 (en) Endoscope system, method for activating endoscope system, and image processing apparatus
JP6629639B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6744712B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JPWO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2015139657A (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JPWO2019092948A1 (ja) 内視鏡システム、内視鏡画像の生成方法及びプロセッサ
JP5766773B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP6744713B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
WO2022071413A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2023119856A1 (ja) 内視鏡システム及びその作動方法
WO2024034253A1 (ja) 内視鏡システム及びその作動方法
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R150 Certificate of patent or registration of utility model

Ref document number: 7301595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150