JP7021183B2 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Download PDF

Info

Publication number
JP7021183B2
JP7021183B2 JP2019502477A JP2019502477A JP7021183B2 JP 7021183 B2 JP7021183 B2 JP 7021183B2 JP 2019502477 A JP2019502477 A JP 2019502477A JP 2019502477 A JP2019502477 A JP 2019502477A JP 7021183 B2 JP7021183 B2 JP 7021183B2
Authority
JP
Japan
Prior art keywords
image
imaging
imaging scene
endoscope
narrow band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502477A
Other languages
English (en)
Other versions
JPWO2018159083A1 (ja
Inventor
拓明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018159083A1 publication Critical patent/JPWO2018159083A1/ja
Application granted granted Critical
Publication of JP7021183B2 publication Critical patent/JP7021183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Description

本発明は、観察している部位等を認識する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムが普及している。近年においては、内視鏡を用いて観察対象を撮像するだけでなく、どのような観察対象を撮像しているのかを認識する内視鏡システムが知られている。例えば、特許文献1に記載の内視鏡システムは、パターンマッチングの手法を用いて、種類判別処理と称する病変部と正常部の判別処理、及び、部位判定と称する注目部と非注目部の判定を行っている。また、特許文献2に記載のカプセル内視鏡は、色に基づいて内視鏡画像に写る臓器の種類を食道、胃、小腸及び大腸の4種類を判別し、かつ、連続した内視鏡画像の中からシーン変化の小さい区間を検出して、検出した区間の内視鏡画像を病変の検出に使用している。
特開2011-218090号公報 特開2010-187756号公報
内視鏡システムには、自動的に診断に用いやすい内視鏡画像をモニタに表示することが求められている。このために、内視鏡システムは撮像シーンを判定して、適切な撮像条件を設定することによって、または、適切な画像処理を施すことによって、表示用の内視鏡画像を生成する必要がある。撮像シーンによっては、内視鏡画像の画質が低下する場合があるからである。
画像認識技術としては、例えばパターンマッチングが知られているが、撮像シーンの判定においては、パターンマッチングの判定精度は過剰であり、処理負荷が高いというデメリットが大きい。また、内視鏡画像の色に基づいて撮像シーンを判定すると、例えば、病変がある場合、鉗子等の処置具が写り込んでいる場合、残渣もしくは残液(以下、残液等という)がある場合、観察対象を着色するための色素剤を散布等した場合、または、出血がある場合等、観察対象の一部が通常でない色味になっている場合等において、正しく撮像シーンを判定できない場合がある。
本発明は、従来よりも簡易に、かつ、ロバストに撮像シーンを判定し、自動的に、撮像シーンに適した撮像または画像処理における条件を設定できる内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、少なくとも第1狭帯域青色光、第1狭帯域青色光とは中心波長が異なる第2狭帯域青色光、及び狭帯域緑色光を発光する光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である演算値Zをベースライン情報として算出するベースライン情報算出部と、演算値Zの値、演算値Zの分布、または、演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、撮像シーンを判定する撮像シーン判定部と、撮像シーン判定部の判定結果を用いて、撮像シーンごとに予め記憶されている撮像または画像処理における条件を設定する条件設定部と、を備え、ベースライン情報算出部は、狭帯域緑色光を用いて観察対象を撮像して得るG2画像に対する第1狭帯域青色光を用いて観察対象を撮像して得るB1画像の比、及び狭帯域緑色光を用いて観察対象を撮像して得るG2画像に対する前記第2狭帯域青色光を用いて観察対象を撮像して得るB2画像の比、及び予め実験等により求めることができる位相φを用いて、演算値Zを算出し、演算値Zは、下記[式1]により算出され、撮シーン判定部は、演算値Zの分布、または、演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定し、且つ、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像ごとまたは表示用の内視鏡画像ごとの撮像シーンと判定し、撮像シーン判定部の判定結果は、撮像シーン判定部が判定した撮像シーンである
[式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
撮像シーン判定部は、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣もしくは残液の有無、拡大の有無、色素の有無、または、出血の有無を、撮像シーンとして判定することが好ましい。
条件設定部は、使用する照明光の種類または光量を設定することが好ましい。
条件設定部は、画像処理の有無または強弱を設定することが好ましい。
ベースライン情報算出部は、1または複数の画素からなる部分ごとにベースライン情報を算出することが好ましい。
撮像シーン判定部は、1または複数の画素からなる部分ごとに、撮像シーンを判定し、かつ、部分ごとの判定結果を用いて、内視鏡画像ごとまたは表示用の内視鏡画像ごとに1つの撮像シーンを判定することが好ましい。また、撮像シーン判定部は、部分ごとの判定結果のうち最多の撮像シーンを、内視鏡画像ごとまたは表示用の内視鏡画像ごとの撮像シーンとすることが好ましい。
撮像シーン判定部は、正常な観察対象を撮像した内視鏡画像を用いて算出されたベースライン情報を基準としてベースライン情報の変化量を算出し、かつ、観察部位の種類が判明している場合、または、観察部位の種類を判定する必要がない場合に、変化量を用いて、1または複数の画素からなる部分ごとに、撮像シーンを判定し、かつ、部分ごとの判定結果を用いて、内視鏡画像ごとまたは表示用の内視鏡画像ごとに1つの撮像シーンを判定し、部分ごとの判定結果のうち最多の撮像シーンを、内視鏡画像ごとまたは表示用の内視鏡画像ごとの撮像シーンとすることが好ましい。また、撮像シーン判定部は、1または複数の画素からなる部分ごとに、変化量の原因が、病変、処置具、残液等、拡大、色素、または出血のいずれであるかを判定することが好ましい。
撮像シーン判定部は、部分ごとの判定結果に特定の撮像シーンであることを示す判定結果が含まれている場合、特定の撮像シーンを、内視鏡画像ごとまたは表示用の内視鏡画像ごとの撮像シーンとすることが好ましい。また、撮像シーン判定部は、特定の撮像シーンに所定の個数または所定の面積の病変、処置具、残液等、拡大、色素、または出血がある場合、特定の撮像シーンを、病変があるシーン、処置具がある撮像シーン、残液等がある撮像シーン、拡大または縮小した撮像シーン、色素等がある撮像シーン、または、出血がある撮像シーンと判定することが好ましい。
ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の内視鏡画像を用いて、ベースライン情報を算出することが好ましい。
特定の生体情報は、観察対象が含むヘモグロビンの状態に起因して変化する情報であることが好ましい。また、特定の生体情報は、酸素飽和度、または、ヘモグロビン濃度であることが好ましい。
特定の生体情報は、観察対象が含む血管に関する情報であることが好ましい。また、特定の生体情報は、血管密度、血管深さ、または、血管太さであることが好ましい。
本発明の内視鏡システムは、少なくとも第1狭帯域青色光、第1狭帯域青色光とは中心波長が異なる第2狭帯域青色光、及び狭帯域緑色光を発光する光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である演算値Zをベースライン情報として算出するベースライン情報算出部と、ベースライン情報を用いて、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣もしくは残液の有無、拡大の有無、色素の有無、または、出血の有無を、撮像シーンとして判定する撮像シーン判定部と、撮像シーン判定部の判定結果を用いて、撮像シーンの観察に適した条件であって、撮像シーンごとに予め記憶されている撮像または画像処理における条件を設定する条件設定部と、を備え、ベースライン情報算出部は、狭帯域緑色光を用いて観察対象を撮像して得るG2画像に対する第1狭帯域青色光を用いて観察対象を撮像して得るB1画像の比、及び狭帯域緑色光を用いて観察対象を撮像して得るG2画像に対する第2狭帯域青色光を用いて観察対象を撮像して得るB2画像の比、及び予め実験等により求めることができる位相φを用いて、演算値Zを算出し、演算値Zは、下記[式1]により算出され、撮シーン判定部は、演算値Zの分布、または、演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定し、且つ、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像ごとまたは表示用の内視鏡画像ごとの撮像シーンと判定し、撮像シーン判定部の判定結果は、撮像シーン判定部が判定した撮像シーンである
[式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
本発明のプロセッサ装置は、少なくとも第1狭帯域青色光、第1狭帯域青色光とは中心波長が異なる第2狭帯域青色光、及び狭帯域緑色光を発光する光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡を有する内視鏡システムのシステム制御及び画像処理を行うプロセッサ装置であって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である演算値Zをベースライン情報として算出するベースライン情報算出部と、演算値Zの値、演算値Zの分布、または、演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、撮像シーンを判定する撮像シーン判定部と、撮像シーン判定部の判定結果を用いて、撮像シーンごとに予め記憶されている撮像または画像処理における条件を設定する条件設定部と、を備え、ベースライン情報算出部は、狭帯域緑色光を用いて観察対象を撮像して得るG2画像に対する第1狭帯域青色光を用いて観察対象を撮像して得るB1画像の比、及び狭帯域緑色光を用いて観察対象を撮像して得るG2画像に対する第2狭帯域青色光を用いて観察対象を撮像して得るB2画像の比、及び予め実験等により求めることができる位相φを用いて、演算値Zを算出し、演算値Zは、下記[式1]により算出され、撮シーン判定部は、演算値Zの分布、または、演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定し、且つ、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像ごとまたは表示用の内視鏡画像ごとの撮像シーンと判定し、撮像シーン判定部の判定結果は、撮像シーン判定部が判定した撮像シーンである
[式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
本発明の内視鏡システムの作動方法は、少なくとも第1狭帯域青色光、第1狭帯域青色光とは中心波長が異なる第2狭帯域青色光、及び狭帯域緑色光を発光する光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムを用いて内視鏡システムの作動方法であって、画像取得部が、観察対象を撮像した内視鏡画像を取得するステップと、ベースライン情報算出部が、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である演算値Zをベースライン情報として算出するステップと、撮像シーン判定部が、演算値Zの値、演算値Zの分布、または、演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、撮像シーンを判定するステップと、条件設定部が、撮像シーン判定部の判定結果を用いて、撮像シーンごとに予め記憶されている撮像または画像処理における条件を設定するステップと、を備え、ベースライン情報算出部は、狭帯域緑色光を用いて観察対象を撮像して得るG2画像に対する第1狭帯域青色光を用いて観察対象を撮像して得るB1画像の比、及び狭帯域緑色光を用いて観察対象を撮像して得るG2画像に対する第2狭帯域青色光を用いて観察対象を撮像して得るB2画像の比、及び予め実験等により求めることができる位相φを用いて、演算値Zを算出し、演算値Zは、下記[式1]により算出され、撮シーン判定部は、演算値Zの分布、または、演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定し、且つ、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像ごとまたは表示用の内視鏡画像ごとの撮像シーンと判定し、撮像シーン判定部の判定結果は、撮像シーン判定部が判定した撮像シーンである。[式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法は、従来よりも簡易に、かつ、ロバストに撮像シーンを判定し、自動的に、撮像シーンに適した撮像または画像処理における条件を設定できる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 画像処理部のブロック図である。 ベースライン情報である演算値“Z”を示すグラフである。 内視鏡システムの動作の流れを示すフローチャートである。 モニタの表示例である。 カプセル内視鏡の概略図である。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19と、を備える。内視鏡12は、観察対象を撮像する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18はプロセッサ装置16によって生成する表示用の内視鏡画像を表示する表示部である。コンソール19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
内視鏡12は、被検体内に挿入可能な挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。また、操作部12bには、アングルノブ12eの他、ズーム操作部13が設けられている。ズーム操作部13を操作することによって、観察対象を拡大または縮小して撮像することができる。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備える。
光源部20は、例えば、中心波長または波長帯域が異なる(以下、単に「波長が異なる」という)光を発光する複数のLED(Light Emitting Diode)を光源として備えており、各LEDの発光または点灯、及び、光量の調節等により、波長が異なる複数種類の照明光を発光することができる。例えば、光源部20は、波長帯域が比較的広い広帯域な紫色光、青色光、緑色光、及び赤色光を、それぞれ照明光として発光できる。特に、光源部20は、広帯域な紫色光、青色光、緑色光、及び赤色光の他に、狭帯域(波長帯域が10nmから20nm程度の範囲であることをいう)な紫色光、青色光、緑色光、及び赤色光を照明光として発光できる。より具体的には、光源部20は、照明光として、中心波長が約400nmの狭帯域紫色光、中心波長が約450nmの第1狭帯域青色光、中心波長が約470nmの第2狭帯域青色光、中心波長が約540nmの狭帯域緑色光、及び、中心波長が約640nmの狭帯域赤色光を発光できる。この他、光源部20は、広帯域または狭帯域な紫色光、青色光、緑色光、及び赤色光を組み合わせることにより、白色光を照明光として発光することができる。
なお、光源部20には、LEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせ、または、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。もちろん、光源部20をLEDによって構成する場合も、蛍光体または帯域制限フィルタを組み合わせて使用することができる。
光源制御部22は、光源部20を構成する各光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部20は、波長が異なる複数種類の照明光を発光することができる。また、光源制御部22は、イメージセンサ48の撮像のタイミング(いわゆるフレーム)に合わせて光源部20を制御する。
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用できる。なお、nmはナノメートルを表し、μmはマイクロメートルを表し、mmはミリメートルを表す。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に向けて出射する。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。ズームレンズ47は、ズーム操作部13の操作をすることによって移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて観察対象を撮影すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサ、または、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を有する。
制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、コンソール19等を用いて、領域判別をする領域の種類及び数等を設定した場合には、制御部52は、その設定を光源制御部22に入力する。
画像取得部54は、イメージセンサ48から、観察対象を撮像した画像を取得する。本実施形態においては、イメージセンサ48はカラーフィルタを有するので、画像取得部54は、照明光ごとに、かつ、カラーフィルタごとに画像を取得する。画像取得部54がイメージセンサ48から取得する画像(撮像した画像)、及び、画像取得部54がイメージセンサ48から取得した画像を用いて生成する表示用の画像は、いずれも「内視鏡画像」である。以下、明示して区別する場合を除き、単に画像という場合にはイメージセンサ48から得る観察対象を撮像した内視鏡画像を意味し、かつ、単に内視鏡画像という場合には表示用の内視鏡画像101(図6参照)を意味する。
画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、画像取得部54が取得した画像を用いて、モニタ18に表示する内視鏡画像を生成する。また、画像処理部61は、画像取得部54から取得する画像または画像取得部54から取得する画像を用いて生成する表示用の内視鏡画像を用いて、撮像シーンを判定し、かつ、判定結果を用いて、撮像または画像処理における条件を設定する。
より具体的には、図3に示すように、画像処理部61は、画像生成部81と、強調処理部82と、ベースライン情報算出部86と、撮像シーン判定部87と、条件設定部88と、を備える。
画像生成部81は、画像取得部54が取得した1または複数の画像を用いて、表示用の内視鏡画像101を生成する。画像生成部81は、表示用の内視鏡画像101を生成する際に、必要に応じて、画像取得部54が取得した画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施す。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。
強調処理部82は、画像生成部81が生成した内視鏡画像101に、必要に応じて強調処理を施す。例えば、観察対象の構造または組織等の一部または全部に対して周波数強調処理、エッジ強調処理、明るさ調整処理、または 、色調変更処理等をする。表示制御部66は、強調処理部82が必要にじて強調処理を施した内視鏡画像101を表示に適した形式に変換してモニタ18に出力する。これにより、モニタ18は、内視鏡画像101を表示する。
ベースライン情報算出部86は、観察対象を撮像した内視鏡画像(画像取得部54が取得した画像)、または、画像生成部81が生成した表示用の内視鏡画像101を用いて、ベースライン情報を算出する。ベースライン情報とは、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である。ここで言う「依存しない」とは、少なくともベースライン情報の変化が、特定の生体情報の高低に対してよりも、光散乱特性もしくは光吸収特性の強弱に対しての方が大きいことを言う。
「特定の生体情報」とは、例えば、観察対象が含むヘモグロビンの状態に起因して変化する情報である。具体的には、酸素飽和度もしくはヘモグロビン濃度、またはこれらの組み合わせ等が特定の生体情報である。また、「特定の生体情報」とは、例えば、観察対象が含む血管に関する情報である。具体的には、血管密度、血管深さ、もしくは血管太さ、またはこれらの2以上の組み合わせ等が特定の生体情報である。
本実施形態においては、ベースライン情報算出部86は、撮像に使用した照明光の種類が異なる複数の画像(イメージセンサ48から取得する内視鏡画像)を用いてベースライン情報を算出する。また、本実施形態においては、ベースライン情報算出部86は、少なくとも酸素飽和度に依存しないベースライン情報を算出する。具体的には、第1狭帯域青色光を用いて観察対象を撮像して得る画像をB1画像とし、第2狭帯域青色光を用いて観察対象を撮像して得る画像をB2画像とし、狭帯域緑色光を用いて観察対象を撮像して得る画像をG2画像とし、かつ、狭帯域赤色光を用いて観察対象を撮像して得る画像をR2画像として用いる。そして、ベースライン情報算出部86は、G2画像に対するB1画像の比(以下、B1/G2という)と、G2画像に対するB2画像の比(以下、B2/G2という)と、G2画像に対するR2画像の比(以下、R2/G2という)を算出する。次いで、式1にしたがって、演算値“Z”を算出する。式1における位相φは観察対象が含むヘモグロビンの酸素飽和度に対して演算値“Z”が不変となるように定める。位相φは予め実験等により求めることができる。
[式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
図4に実線によって示すように、演算値“Z”は、ビリルビン等の黄色色素を含む残液等がなければ、観察対象の酸素飽和度に依らず、比R2/G2の値に応じた一定の値になる。一方、破線によって示すように、演算値“Z”は、黄色色素を含む残液等があると、観察対象の酸素飽和度に依らないが、残液等が含む黄色色素の量(濃度)に応じて変動する。
また、残液等がない場合に、演算値“Z”が、比R2/G2の値に応じた一定の値になるのは、観察対象が、位相φの調整において想定している光散乱特性もしくは光吸収特性を実際に有する場合である。したがって、観察対象が、位相φの調整において想定しない散乱特性もしくは光吸収特性を実際に有する領域、または、想定していない光散乱特性もしくは光吸収特性を有するように見える領域においては、残液等がない場合においても演算値“Z”の値が比R2/G2の値に応じた一定の値から変動する。
観察対象が位相φの調整において想定していない光散乱特性または光吸収特性を実際に有するのは、例えば、観察部位の種類が異なる場合、または、病変等に起因して観察対象の組織もしくは構造が変性している場合等である。観察部位の種類とは、胃、食道、小腸、または、大腸等である。また、観察対象が位相φの調整において想定していない光散乱特性または光吸収特性を有するように見えるのは、例えば、照明光の当たり方に起因した暗部もしくはハレーションがある場合、病変がある場合、鉗子もしくはステント等の処置具がある場合、ズーム操作もしくは先端部12dと観察対象の距離の変動に起因して照明光の当たり具合等が変化した場合、観察対象の組織もしくは構造を染色する色素を投与もしくは散布した場合、または、出血がある場合等である。したがって、演算値“Z”の値によれば、残液等の有無の他、観察部位の種類、病変の有無もしくは種類、処置具の有無、拡大または縮小の有無(以下、拡大の有無という)、色素の有無、出血の有無を判定し得る。もちろん、これらの要因で演算値“Z”の値が変化した場合においても、位相φが適切に調整してあれば、演算値“Z”は酸素飽和度には依存しない。
上記の通り、演算値“Z”は、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも酸素飽和度に依存しない「ベースライン情報」である。なお、ベースライン情報算出部86は、ベースライン情報である演算値“Z”を、内視鏡画像の1または複数の画素からなる部分ごとに算出する。本実施形態においては、ベースライン情報算出部86は、画素ごとにベースライン情報である演算値“Z”を算出する。
なお、本実施形態においては、ベースライン情報が酸素飽和度に依存しないように位相φの値を定めているが、代わりに、ベースライン情報が、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度に依存しないように位相φを定めることができる。この場合、ベースライン情報算出部86は、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度に対して依存しないベースライン情報を算出することができる。同様に、酸素飽和度、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度のうち、2以上の「特定の生体情報」に対してベースライン情報が依存しないように位相φを調整しておいた場合には、ベースライン情報算出部86は、その2以上の「特定の生体情報」に対して依存しないベースライン情報を算出することができる。
撮像シーン判定部87は、ベースライン情報である演算値“Z”を用いて撮像シーンを判定する。撮像シーンの判定とは、観察部位の種類、病変の有無もしくは種類、処置具の有無、残液等の有無、拡大の有無、色素の有無、もしくは、出血の有無のうちいずれかを判定すること、または、これらの組み合わせを判定することをいう。撮像シーン判定部87は、例えば、1または複数の画素からなる部分ごとに、撮像シーンを判定し、かつ、部分ごとの判定結果を用いて、画像取得部54が取得した画像ごとまたは表示用の内視鏡画像101ごとに1つの撮像シーンを判定する。
例えば、観察部位の種類が異なれば、比R2/G2に対する演算値“Z”の値(もしくは想定する値の範囲)、分布(もしくは想定する分布の範囲)、または統計値(もしくは想定する統計値の範囲)、すなわち、図4における実線の位置、形状、または範囲等が異なる。このため、実際に算出した演算値“Z”の値、演算値“Z”の分布、または演算値“Z”の平均値、中央値、もしくは最頻値等の統計値を参照すれば、観察部位の種類を判定することができる。このため、撮像シーン判定部87は、撮像シーンとして観察部位の種類を判定する場合、演算値“Z”の値、演算値“Z”の分布、または、演算値“Z”の平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定する。そして、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像取得部54が取得した画像ごとまたは表示用の内視鏡画像101ごとの観察部位(撮像シーン)と判定する。
また、撮像シーン判定部87は、観察部位の種類が判明している場合、または、観察部位の種類を判定する必要がない場合(例えば、別途の設定等により観察部位が確定している場合等)に、撮像シーンとして、病変の有無もしくは種類、処置具の有無、残渣等の有無、拡大の有無、色素の有無、または、出血の有無を判定する。具体的には、病変、処置具、残液等、拡大、色素、及び、出血等のイレギュラーがない正常な観察対象の場合に実際に算出した比R2/G2の値において演算値“Z”がとる値Z0(図4における実線上の値)を基準として、実際に算出した比R2/G2の値において実際に算出した演算値“Z”(図4における破線上の値)の変化量ΔZ(=Z-Z0)を算出する(図4参照)。この変化量ΔZは、病変の有無もしくは種類、処置具の有無、残液等の有無、拡大の有無、色素の有無、または、出血の有無等に起因して、その値、分布、または、平均値等の統計値が変化する。このため、撮像シーン判定部87は、変化量ΔZの値、分布、または統計値を用いて、1または複数の画素からなる部分ごとに、変化量ΔZの原因が、病変、処置具、残液等、拡大、色素、または出血のいずれであるかを判定する。
そして、撮像シーン判定部87は、上記部分ごとの判定結果に特定の撮像シーンであることを示す判定結果が含まれている場合、その特定の撮像シーンを、画像取得部54が取得した画像ごとまたは表示用の内視鏡画像101ごとの撮像シーンとする。具体的には、画像取得部54が取得した画像または表示用の内視鏡画像101に所定の個数または所定の面積の病変、処置具、残液等、拡大、色素、または出血がある場合、画像取得部54が取得した画像または表示用の内視鏡画像101の撮像シーンを、病変があるシーン、処置具がある撮像シーン、残液等がある撮像シーン、拡大または縮小した撮像シーン、色素等がある撮像シーン、または、出血がある撮像シーンと判定する。当然ながら、撮像シーン判定部87は、画像取得部54が取得した画像または表示用の内視鏡画像101の撮像シーンを、病変、処置具、残液等、拡大、色素、または出血のうち2以上がある複合的な撮像シーンに判定する場合がある。
条件設定部88は、撮像シーン判定部87の判定結果を用いて、撮像または画像処理における条件を設定する。撮像シーン判定部87の判定結果とは、撮像シーン判定部87が画像取得部54が取得した画像ごとまたは表示用の内視鏡画像101ごとに判定した撮像シーンであって、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣等の有無、拡大の有無、色素の有無、もしくは、出血の有無、または、これらの組み合わせで分類した撮像シーンある。
撮像における条件(以下、撮像条件という)とは、例えば、撮像する際に使用する照明光の種類(中心波長、波長帯域、または分光スペクトルの形状等)、照明光の光量、複数種類の照明光を使用する場合における照明光の組み合わせ及び光量のバランス、または、イメージセンサ48における露光時間もしくは画像読み出し時のゲイン等である。条件設定部88は、撮像シーン判定部87の判定結果を用いて撮像条件を設定する場合、制御部52を介して、光源制御部22またはイメージセンサ48等の各部に撮像条件を入力する。
画像処理における条件(以下、画像処理条件という)とは、内視鏡システム10において行う各種画像処理の実行もしくは不実行または各種画像処理の強弱等の設定である。条件設定部88が画像処理条件を設定する各種画像処理は、例えば、画像生成部81において行う色変換処理、色彩強調処理、もしくは構造強調処理、または、強調処理部82において行う周波数強調処理、エッジ強調処理、明るさ調整処理、もしくは色調変更処理等である。また、条件設定部88が設定する画像処理条件には、画像取得部54が行う各種処理の実行もしくは不実行または強弱等の設定を含む。条件設定部88は、画像処理条件を設定する場合、必要に応じて画像生成部81、強調処理部82、または画像取得部54に画像処理条件を入力する。
条件設定部88は、撮像シーンごとに適切な撮像条件、適切な画像処理条件、または、撮像条件及び画像処理条件の適切な組み合わせ(以下、プリセットという)を予め記憶する。このため、条件設定部88は、撮像シーン判定部87の判定結果に対して適切なプリセットを選択し、選択したプリセットに係る撮像条件及び画像処理条件を、光源制御部22、イメージセンサ48、画像生成部81、強調処理部82、または、画像取得部54に設定する。また、条件設定部88は、プリセットを選択した場合、選択したプリセットに関する情報(以下、プリセット情報という)を表示制御部66に入力する。これにより、表示制御部66は、プリセット情報をモニタ18に表示する。プリセット情報とは、例えば、プリセットに対応する撮像シーンの名称、プリセットの名称、または、プリセットに係る撮像条件または画像処理条件が指定するパラメータ等である。
次に、内視鏡システム10の動作の流れを、図5に示すフローチャートに沿って説明する。観察を開始すると、内視鏡システム10は照明光を適宜切り替えながら観察対象を撮像する(S11)。その結果、画像取得部54はイメージセンサ48から画像を取得する。より具体的には、照明光を、第1狭帯域青色光からなる第1照明光と、第2狭帯域青色光、狭帯域緑色光、及び狭帯域赤色光からなる第2照明光と、白色光である第3照明光と、に順次切り替えながら観察対象を撮像する。第1照明光を用いた撮像によってB1画像を取得でき、第2照明光を用いた撮像によってB2画像、G2画像、及びR2画像を取得できる。また、白色光である第3照明光を用いた撮像によって、BGR各色の画像を取得できる。以下、白色光である第3照明光を用いた撮像によって、B画素から取得する画像をB3画像、G画素から取得する画像をG3画像、及び、R画素から取得する画像をR3画像という。
上記のように、撮像の各フレームにおいてBGR各色の画像を取得すると、画像生成部81が、B3画像、G3画像、及び、R3画像を用いて、表示用の内視鏡画像101を生成する(S12)。その後、強調処理部82が表示用の内視鏡画像101に必要な強調処理を施し、図6に示すように、必要な強調処理等を施した内視鏡画像101は、表示制御部66がモニタ18に表示する。
また、撮像の各フレームにおいてBGR各色の画像を取得すると、ベースライン情報算出部86が、B1画像、B2画像、及びG2画像を用いて、ベースライン情報である演算値“Z”を算出する(S13)。そして、撮像シーン判定部87は、ベースライン情報を用いて撮像シーンを判定する(S14)。その後、条件設定部88が撮像シーン判定部87の判定結果に対して適切なプリセットを選択し、選択したプリセットに係る撮像条件及び画像処理条件を、光源制御部22、イメージセンサ48、画像生成部81、強調処理部82、または、画像取得部54に設定する(S15)。選択したプリセットのプリセット情報は、表示制御部66がモニタ18のプリセット情報表示部111に表示する(図6参照)。
上記のように、内視鏡システム10は、ベースライン情報(演算値“Z”)を用いて撮像シーンを判定する。ベースライン情報を用いた撮像シーンの判定は、パターンマッチングよって撮像シーンを判定する場合と比較して処理負荷が小さく、リアルタイムに算出可能な程度に高速に実行できる。さらに、ベースライン情報を用いた撮像シーンの判定は、パターンマッチングに劣らない精度を有し、かつ、観察対象の色に基づいた撮像シーンの判定よりも高精度である。また、ベースライン情報を用いた撮像シーンの判定は、パターンマッチングよりも、観察対象の微細な構造等に影響を受けにくいので、ベースライン情報を用いた撮像シーンの判定は、場合によっては、パターンマッチングよりも正確性が高い。したがって、内視鏡システム10は、従来よりも簡易に、かつ、ロバストに撮像シーンを判定し、自動的に、撮像シーンに適した撮像または画像処理における条件を設定できる。
また、ベースライン情報を用いて撮像シーンの判定を行い、判定した撮像シーンに応じたプリセット設定を用いると、ユーザが撮像シーンごとに画質調整等を行う必要が無いので、ユーザの操作負担が低減し、かつ、検査時間も短縮できる。その結果、ユーザは短時間に集中して診断することができるので、診断の正確性も向上する。
なお、上記実施形態においては、条件設定部88は、撮像条件、画像処理条件、または、撮像条件及び画像処理条件の組み合わせを設定するが、条件設定部88は、表示における条件(以下、表示条件という)も設定できる。例えば、条件設定部88が撮像シーンに応じて表示条件を設定すれば、撮像シーンごとにモニタ18における表示態様を変更することができる。
上記実施形態においては、内視鏡システム10は、内視鏡画像101を生成及び表示しているが、内視鏡システム10は、画像取得部54が取得した画像、表示用の内視鏡画像101、または、これらの両方をストレージ(内視鏡システム10と接続した院内システムを含む。)に保存することができる。画像取得部54が取得した画像、表示用の内視鏡画像101、または、これらの両方を保存する場合、撮像シーン判定部87が判定した撮像シーン、及び、プリセット情報等を、画像取得部54が取得した画像または表示用の内視鏡画像101に関連付けて保存すると良い。例えば、撮像シーン判定部87が判定した撮像シーン、及び、プリセット情報等を、画像取得部54が取得した画像または表示用の内視鏡画像101のタグ情報として保存すると良い。
上記実施形態においては、各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(Processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)によって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)である。
上記実施形態においては、イメージセンサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10において本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図7に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡700と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡700は、光源部702と制御部703と、イメージセンサ704と、画像処理部706と、送受信アンテナ708と、を備えている。光源部702は、光源部20に対応する。制御部703は、光源制御部22及び制御部52と同様に機能する。また、制御部703は、送受信アンテナ708を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部54及び画像処理部61に対応する画像処理部706はカプセル内視鏡700に設けられ、内視鏡画像は、送受信アンテナ708を介してプロセッサ装置に送信される。イメージセンサ704はイメージセンサ48と同様に構成される。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13 ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20、702 光源部
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48、704 イメージセンサ
52、703 制御部
54、706 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ低減部
59 変換部
61 画像処理部
66 表示制御部
81 画像生成部
82 強調処理部
86 ベースライン情報算出部
87 撮像シーン判定部
88 条件設定部
101 内視鏡画像
111 プリセット情報表示部
700 カプセル内視鏡
708 送受信アンテナ
Z 演算値(ベースライン情報)
ΔZ 変化量
R2/G2 G2画像に対するR2画像の比

Claims (19)

  1. 少なくとも第1狭帯域青色光、前記第1狭帯域青色光とは中心波長が異なる第2狭帯域青色光、及び狭帯域緑色光を発光する光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、
    前記観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である演算値Zをベースライン情報として算出するベースライン情報算出部と、
    前記演算値Zの値、前記演算値Zの分布、または、前記演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、撮像シーンを判定する撮像シーン判定部と、
    前記撮像シーン判定部の判定結果を用いて、前記撮像シーンごとに予め記憶されている撮像または画像処理における条件を設定する条件設定部と、
    を備え、
    前記ベースライン情報算出部は、前記狭帯域緑色光を用いて前記観察対象を撮像して得るG2画像に対する前記第1狭帯域青色光を用いて前記観察対象を撮像して得るB1画像の比、及び前記狭帯域緑色光を用いて前記観察対象を撮像して得るG2画像に対する前記第2狭帯域青色光を用いて前記観察対象を撮像して得るB2画像の比、及び予め実験等により求めることができる位相φを用いて、前記演算値Zを算出し、
    前記演算値Zは、下記[式1]により算出され、
    前記撮シーン判定部は、前記演算値Zの分布、または、前記演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定し、且つ、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像ごとまたは表示用の内視鏡画像ごとの前記撮像シーンと判定し
    前記撮像シーン判定部の判定結果は、前記撮像シーン判定部が判定した前記撮像シーンである内視鏡システム。
    [式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
  2. 前記撮像シーン判定部は、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣もしくは残液の有無、拡大の有無、色素の有無、または、出血の有無を、前記撮像シーンとして判定する請求項1に記載の内視鏡システム。
  3. 前記条件設定部は、使用する前記照明光の種類または光量を設定する請求項1または2に記載の内視鏡システム。
  4. 前記条件設定部は、前記画像処理の有無または強弱を設定する請求項1~3のいずれか1項に記載の内視鏡システム。
  5. 前記ベースライン情報算出部は、1または複数の画素からなる部分ごとに前記ベースライン情報を算出する請求項1~4のいずれか1項に記載の内視鏡システム。
  6. 前記撮像シーン判定部は、1または複数の画素からなる前記部分ごとに、前記撮像シーンを判定し、かつ、前記部分ごとの判定結果を用いて、前記内視鏡画像ごとまたは前記表示用の内視鏡画像ごとに1つの前記撮像シーンを判定する請求項5に記載の内視鏡システム。
  7. 前記撮像シーン判定部は、前記部分ごとの判定結果のうち最多の前記撮像シーンを、前記内視鏡画像ごとまたは前記表示用の内視鏡画像ごとの前記撮像シーンとする請求項6に記載の内視鏡システム。
  8. 前記撮像シーン判定部は、正常な前記観察対象を撮像した内視鏡画像を用いて算出された前記ベースライン情報を基準として前記ベースライン情報の変化量を算出し、
    前記撮像シーン判定部は、前記観察部位の種類が判明している場合、または、前記観察部位の種類を判定する必要がない場合に、前記変化量を用いて、1または複数の画素からなる前記部分ごとに、前記撮像シーンを判定し、かつ、前記部分ごとの判定結果を用いて
    、前記内視鏡画像ごとまたは前記表示用の内視鏡画像ごとに1つの前記撮像シーンを判定し、前記部分ごとの判定結果のうち最多の前記撮像シーンを、前記内視鏡画像ごとまたは前記表示用の内視鏡画像ごとの前記撮像シーンとする請求項1~4のいずれか1項に記載の内視鏡システム。
  9. 前記撮像シーン判定部は、1または複数の画素からなる前記部分ごとに、前記変化量の原因が、病変、処置具、残液等、拡大、色素、または出血のいずれであるかを判定する請求項8に記載の内視鏡システム。
  10. 前記撮像シーン判定部は、前記部分ごとの判定結果に特定の前記撮像シーンであることを示す判定結果が含まれている場合、特定の前記撮像シーンを、前記内視鏡画像ごとまたは前記表示用の内視鏡画像ごとの前記撮像シーンとする請求項6に記載の内視鏡システム。
  11. 前記撮像シーン判定部は、特定の前記撮像シーンに所定の個数または所定の面積の病変、処置具、残液等、拡大、色素、または出血がある場合、特定の前記撮像シーンを、病変があるシーン、処置具がある撮像シーン、残液等がある撮像シーン、拡大または縮小した撮像シーン、色素等がある撮像シーン、または、出血がある撮像シーンと判定する請求項10に記載の内視鏡システム。
  12. 前記ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の前記内視鏡画像を用いて、前記ベースライン情報を算出する請求項1~11のいずれか1項に記載の内視鏡システム。
  13. 前記特定の生体情報は、前記観察対象が含むヘモグロビンの状態に起因して変化する情報である請求項1~12のいずれか1項に記載の内視鏡システム。
  14. 前記特定の生体情報は、酸素飽和度、または、ヘモグロビン濃度である請求項13に記載の内視鏡システム。
  15. 前記特定の生体情報は、前記観察対象が含む血管に関する情報である請求項1~12のいずれか1項に記載の内視鏡システム。
  16. 前記特定の生体情報は、血管密度、血管深さ、または、血管太さである請求項15に記載の内視鏡システム。
  17. 少なくとも第1狭帯域青色光、前記第1狭帯域青色光とは中心波長が異なる第2狭帯域青色光、及び狭帯域緑色光を発光する光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、
    前記観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である演算値Zをベースライン情報として算出するベースライン情報算出部と、
    前記ベースライン情報を用いて、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣もしくは残液の有無、拡大の有無、色素の有無、または、出血の有無を、前記撮像シーンとして判定する撮像シーン判定部と、
    前記撮像シーン判定部の判定結果を用いて、前記撮像シーンの観察に適した条件であって、撮像シーンごとに予め記憶されている撮像または画像処理における条件を設定する条件設定部と、
    を備え、
    前記ベースライン情報算出部は、前記狭帯域緑色光を用いて前記観察対象を撮像して得るG2画像に対する前記第1狭帯域青色光を用いて前記観察対象を撮像して得るB1画像の比、及び前記狭帯域緑色光を用いて前記観察対象を撮像して得るG2画像に対する前記第2狭帯域青色光を用いて前記観察対象を撮像して得るB2画像の比、及び予め実験等により求めることができる位相φを用いて、前記演算値Zを算出し、
    前記演算値Zは、下記[式1]により算出され、
    前記撮シーン判定部は、前記演算値Zの分布、または、前記演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定し、且つ、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像ごとまたは表示用の内視鏡画像ごとの前記撮像シーンと判定し、
    前記撮像シーン判定部の判定結果は、前記撮像シーン判定部が判定した前記撮像シーンである内視鏡システム。
    [式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
  18. 少なくとも第1狭帯域青色光、前記第1狭帯域青色光とは中心波長が異なる第2狭帯域青色光、及び狭帯域緑色光を発光する光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡を有する内視鏡システムのシステム制御及び画像処理を行うプロセッサ装置であって、
    前記観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である演算値Zをベースライン情報として算出するベースライン情報算出部と、
    前記演算値Zの値、前記演算値Zの分布、または、前記演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、撮像シーンを判定する撮像シーン判定部と、
    前記撮像シーン判定部の判定結果を用いて、前記撮像シーンごとに予め記憶されている撮像または画像処理における条件を設定する条件設定部と、
    を備え、
    前記ベースライン情報算出部は、前記狭帯域緑色光を用いて前記観察対象を撮像して得るG2画像に対する前記第1狭帯域青色光を用いて前記観察対象を撮像して得るB1画像の比、及び前記狭帯域緑色光を用いて前記観察対象を撮像して得るG2画像に対する前記第2狭帯域青色光を用いて前記観察対象を撮像して得るB2画像の比、及び予め実験等により求めることができる位相φを用いて、前記演算値Zを算出し、
    前記演算値Zは、下記[式1]により算出され、
    前記撮シーン判定部は、前記演算値Zの分布、または、前記演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定し、且つ、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像ごとまたは表示用の内視鏡画像ごとの前記撮像シーンと判定し、
    前記撮像シーン判定部の判定結果は、前記撮像シーン判定部が判定した前記撮像シーンであるプロセッサ装置。
    [式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
  19. 少なくとも第1狭帯域青色光、前記第1狭帯域青色光とは中心波長が異なる第2狭帯域青色光、及び狭帯域緑色光を発光する光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムを用いて内視鏡システムの作動方法であって、
    画像取得部が、前記観察対象を撮像した内視鏡画像を取得するステップと、
    ベースライン情報算出部が、前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である演算値Zをベースライン情報として算出するステップと、
    撮像シーン判定部が、前記演算値Zの値、前記演算値Zの分布、または、前記演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、撮像シーンを判定するステップと、
    条件設定部が、前記撮像シーン判定部の判定結果を用いて、前記撮像シーンごとに予め記憶されている撮像または画像処理における条件を設定するステップと、
    を備え、
    前記ベースライン情報算出部は、前記狭帯域緑色光を用いて前記観察対象を撮像して得るG2画像に対する前記第1狭帯域青色光を用いて前記観察対象を撮像して得るB1画像の比、及び前記狭帯域緑色光を用いて前記観察対象を撮像して得るG2画像に対する前記第2狭帯域青色光を用いて前記観察対象を撮像して得るB2画像の比、及び予め実験等により求めることができる位相φを用いて、前記演算値Zを算出し、
    前記演算値Zは、下記[式1]により算出され、
    前記撮シーン判定部は、前記演算値Zの分布、または、前記演算値Zの平均値、中央値、もしくは最頻値等の統計値に基づいて、1または複数の画素からなる部分ごとに観察部位の種類を判定し、且つ、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像ごとまたは表示用の内視鏡画像ごとの前記撮像シーンと判定し
    前記撮像シーン判定部の判定結果は、前記撮像シーン判定部が判定した前記撮像シーンである内視鏡システムの作動方法。
    [式1] Z=(B1/G2)×cosφ-(B2/G2)×sinφ
JP2019502477A 2017-03-03 2017-12-25 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Active JP7021183B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017040343 2017-03-03
JP2017040343 2017-03-03
PCT/JP2017/046424 WO2018159083A1 (ja) 2017-03-03 2017-12-25 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JPWO2018159083A1 JPWO2018159083A1 (ja) 2019-12-26
JP7021183B2 true JP7021183B2 (ja) 2022-02-16

Family

ID=63371171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502477A Active JP7021183B2 (ja) 2017-03-03 2017-12-25 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Country Status (4)

Country Link
US (1) US11259692B2 (ja)
EP (1) EP3590412A4 (ja)
JP (1) JP7021183B2 (ja)
WO (1) WO2018159083A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11478136B2 (en) * 2017-03-06 2022-10-25 Fujifilm Corporation Endoscope system and operation method therefor

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3544482A4 (en) 2016-11-28 2020-07-22 Adaptivendo LLC SEPARABLE DISPOSABLE SHAFT ENDOSCOPE
JP7021183B2 (ja) 2017-03-03 2022-02-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3890584A1 (en) * 2018-12-05 2021-10-13 Intuitive Surgical Operations, Inc. Determining chromophore concentrations in tissues
JP7116849B2 (ja) * 2019-08-16 2022-08-10 Hoya株式会社 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
WO2021033215A1 (ja) * 2019-08-16 2021-02-25 Hoya株式会社 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CN113496475B (zh) * 2020-03-19 2024-04-09 杭州海康慧影科技有限公司 内窥镜摄像系统中的成像方法、装置及计算机设备
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
WO2024040538A1 (zh) * 2022-08-25 2024-02-29 武汉迈瑞医疗技术研究院有限公司 外科手术系统、内窥镜摄像系统及其成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015160013A (ja) 2014-02-27 2015-09-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP2015173827A (ja) 2014-03-14 2015-10-05 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2016110993A1 (ja) 2015-01-09 2016-07-14 オリンパス株式会社 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法
WO2016158276A1 (ja) 2015-04-02 2016-10-06 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム及びその作動方法
EP3590412A1 (en) 2017-03-03 2020-01-08 Fujifilm Corporation Endoscope system, processor device, and endoscope system operation method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065582A (ja) * 2000-08-25 2002-03-05 Asahi Optical Co Ltd 電子内視鏡装置
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
JP2010187756A (ja) 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2011218090A (ja) 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
JP5309120B2 (ja) * 2010-12-20 2013-10-09 富士フイルム株式会社 内視鏡装置
JP5222934B2 (ja) * 2010-12-21 2013-06-26 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5274591B2 (ja) * 2011-01-27 2013-08-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5329593B2 (ja) * 2011-04-01 2013-10-30 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5846841B2 (ja) * 2011-10-14 2016-01-20 株式会社東芝 医用画像表示装置
JP6265588B2 (ja) * 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN105324064B (zh) * 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
JP6140056B2 (ja) * 2013-09-26 2017-05-31 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6085648B2 (ja) * 2014-08-29 2017-02-22 富士フイルム株式会社 内視鏡用光源装置及び内視鏡システム
CN107529963B (zh) * 2015-04-23 2020-06-12 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
JP6362274B2 (ja) * 2015-07-14 2018-07-25 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6408457B2 (ja) * 2015-12-22 2018-10-17 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018105020A1 (ja) * 2016-12-05 2018-06-14 オリンパス株式会社 内視鏡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015160013A (ja) 2014-02-27 2015-09-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP2015173827A (ja) 2014-03-14 2015-10-05 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2016110993A1 (ja) 2015-01-09 2016-07-14 オリンパス株式会社 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法
WO2016158276A1 (ja) 2015-04-02 2016-10-06 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム及びその作動方法
EP3590412A1 (en) 2017-03-03 2020-01-08 Fujifilm Corporation Endoscope system, processor device, and endoscope system operation method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11478136B2 (en) * 2017-03-06 2022-10-25 Fujifilm Corporation Endoscope system and operation method therefor

Also Published As

Publication number Publication date
WO2018159083A1 (ja) 2018-09-07
US20190374094A1 (en) 2019-12-12
EP3590412A4 (en) 2020-06-03
US11259692B2 (en) 2022-03-01
EP3590412A1 (en) 2020-01-08
JPWO2018159083A1 (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6785941B2 (ja) 内視鏡システム及びその作動方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6420230B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6752958B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10702136B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6629639B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6389140B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017183324A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6840737B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20150094538A1 (en) Endoscope system, processor device, and method for operating endoscope system
WO2017110180A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
CN111107778B (zh) 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置
JP2020065685A (ja) 内視鏡システム
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP6214503B2 (ja) 内視鏡用光源装置及び内視鏡システム
JPWO2019163470A1 (ja) 内視鏡システム及びその作動方法
JP6254502B2 (ja) 内視鏡用光源装置及び内視鏡システム
WO2020039932A1 (ja) 内視鏡システム
WO2021199910A1 (ja) 医用画像処理システム、医用画像処理システムの作動方法
JP2016158837A (ja) 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
JP6999597B2 (ja) プロセッサ装置及びその作動方法並びに内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210628

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210628

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210707

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210713

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210910

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210914

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210928

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20211220

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211221

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220125

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220203

R150 Certificate of patent or registration of utility model

Ref document number: 7021183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150