JPWO2021059889A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JPWO2021059889A1
JPWO2021059889A1 JP2021548728A JP2021548728A JPWO2021059889A1 JP WO2021059889 A1 JPWO2021059889 A1 JP WO2021059889A1 JP 2021548728 A JP2021548728 A JP 2021548728A JP 2021548728 A JP2021548728 A JP 2021548728A JP WO2021059889 A1 JPWO2021059889 A1 JP WO2021059889A1
Authority
JP
Japan
Prior art keywords
image
blood vessel
light
shallow
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021548728A
Other languages
English (en)
Other versions
JP7200393B2 (ja
Inventor
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JPWO2021059889A1 publication Critical patent/JPWO2021059889A1/ja
Application granted granted Critical
Publication of JP7200393B2 publication Critical patent/JP7200393B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

病変部における病変の程度を精度よく評価する内視鏡システムの光源装置は、ヘモグロビンの複数の吸収ピーク波長を含む長波波長の第１の光と短波長の第２の光を、照明光として射出する。プロセッサ内の画像処理ユニットは、血管の特徴形状を用いたテンプレートマッチングを用いて、前記第１の光の照明によって得られる第１撮像画像から血管像を強調して含む第１血管検出画像を生成し、前記第２の光の照明によって得られる第２撮像画像から血管像を強調して含む第２血管検出画像を生成する検出部と、前記第１血管検出画像及び前記第２血管検出画像から、浅い血管像と深い血管像に分離する分離部と、前記浅い血管像に関する浅部血管特徴量と、前記深い血管像に関する深部血管特徴量とを算出する特徴量算出部と、前記浅部血管特徴量と前記深部血管特徴量を用いて、生体組織の病変の重症度を算出する評価部と、を備える。

Description

本発明は、体腔内の生体組織の画像を用いて生体組織の病変の重症度を評価する内視鏡システムに関する。
生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎（ＵＣ）の病変の潰瘍部位では、白苔や膿様粘液を含み白色になり、また、炎症部位では、浮腫や易出血性を含んで赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。
しかし、術者が内視鏡の画像内に含まれる色の相違によって正常部と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の程度を客観的に数値化した評価結果を提供することが好ましい。
これに対して、画像の明るさによる炎症部位の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている（特許文献１）。
国際公開第２０１７／０５７６８０号
上述の内視鏡システムでは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により撮像し、少なくとも３つ以上の色成分を含むカラー画像を取得する画像取得部と、評価部と、を備える。評価部は、少なくとも３つ以上の色成分のうちの少なくとも２つの色成分によって定義される色平面内において、画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点と色平面内に設定された所定の基準点とを結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める。基準軸は、所定の基準点を通るように設定される。基準軸は、色平面内において炎症度が所定値以下の対象疾患と相関を有する軸及び炎症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方である。
このような構成によれば、画像の明るさによる評価値の変動を抑えて、安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることができる。
しかし、上記内視鏡システムが求める評価値は、血管像を含んだ生体組織全体の評価値である。病変の種類によっては、病変の進行の程度に応じて被写体として現れる血管像が変化する場合がある。例えば、病変の進行に応じて、生体組織の表面に見える血管が少なくなり、内部に多くの血管が集中する場合がある。しかし、このような場合、画像全体を評価する上記評価値は、医師による主観評価結果あるいは組織学的な評価結果と十分に対応しない。上記内視鏡システムは、被写体として現れる血管像を血管以外の生体組織の像と区別して血管の特徴量を算出して、病変の重症度を評価することはできない。
そこで、本発明は、体腔内の生体組織の画像を用いて病変の重症度を評価する際、被写体の像に現れる血管像を血管以外の生体組織の像と区別して血管の特徴量を算出することにより、病変部の重症度を精度よく評価することができる内視鏡システムを提供することを目的とする。
本発明の一態様は、内視鏡システムである。当該内視鏡システムは、
照明光を射出するように構成された光源装置と、
前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備える。
前記光源装置は、第１の光、及び前記第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を、少なくとも前記照明光として射出するように構成される。
前記画像処理ユニットは、
血管部分の、非血管部分に対して識別可能な特徴を用いて、前記第１の光の照明によって得られる第１撮像画像から、強調した血管像を含む第１血管検出画像を生成し、さらに、前記第２の光の照明によって得られる第２撮像画像から、強調した血管像を含む第２血管検出画像を生成するように構成された検出部と、
前記第１血管検出画像及び前記第２血管検出画像から、前記第１血管検出画像像及び前記第２血管検出画像内の血管像を、前記生体組織の表面からの深さ位置が異なる血管像として浅い血管像と深い血管像とに分離して取り出すように構成された分離部と、
前記浅い血管像に関する浅部血管特徴量と、前記深い血管像に関する深部血管特徴量とを算出するように構成された特徴量算出部と、
前記浅部血管特徴量と前記深部血管特徴量を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
を備える。
前記分離部は、前記第２血管検出画像内の血管像の領域を前記浅い血管像の領域として検出し、検出した前記浅い血管像の領域を、前記第１血管検出画像内の血管像の領域から除去することにより前記深い血管像の領域を検出することにより、前記浅い血管像と、前記深い血管像を検出するように構成されている、ことが好ましい。
前記分離部は、前記第１撮像画像と前記第２撮像画像の対応する画素の画素値同士の平均値を画素値とする平均画像の各画素値に対して、予め設定された第１閾値以上であるか否かによって、前記浅い血管像の領域を検出し、前記第１撮像画像の各画素値に対して予め設定された第２閾値以上であるか否かによって、前記浅い血管像の領域及び前記深い血管像の領域を含む混合領域を検出し、検出した前記混合領域から、検出した前記浅い血管像の領域を除去することにより、前記深い血管像の領域を検出するように構成されている、ことが好ましい。
前記分離部は、前記浅い血管像の領域に対応する前記第２撮像画像の対応領域の画素値を、前記浅い血管像の画素値として求め、前記深い血管像の領域に対応する前記第１撮像画像の対応領域の画素値を、前記深い血管像の画素値として求めるように構成され、
前記特徴量算出部は、求めた前記浅い血管像の画素値および前記深い血管像の画素値を用いて、前記浅部血管特徴量及び前記深部血管特徴量を算出するように構成されている、ことが好ましい。
本発明の一態様も、内視鏡システムである。当該内視鏡システムは、
照明光を射出するように構成された光源装置と、
前記照明光で照明された体腔内の血管を含む生体組織を撮像する電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備える。
前記光源装置は、第１の光、及び前記第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を、少なくとも前記照明光として射出するように構成される。
前記画像処理ユニットは、
前記第１の光の照明によって得られる第１撮像画像及び前記第２の光の照明によって得られる第２撮像画像から前記生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像のうち、前記浅い血管像を一部の像として含む第１画像部分と、前記深い血管像を一部の像として含む第２画像部分とを分離して取り出すように構成された分離部と、
前記第１画像部分及び前記第２画像部分から、血管部分の、非血管部分に対して識別可能な特徴を用いて、前記浅い血管像と、前記深い血管像とを生成するように構成された検出部と、
前記浅い血管像に関する浅部血管特徴量の値と、前記深い血管像に関する深部血管特徴量の値とを算出するように構成された特徴量算出部と、
前記浅部血管特徴量の値と前記深部血管特徴量の値を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
を備える。
前記分離部は、前記第１撮像画像と前記第２撮像画像の対応する画素の画素値同士の平均値を画素値とする平均画像の各画素値に対して、予め設定された第１閾値以上であるか否かによって、前記第１画像部分を作成し、前記第１撮像画像の各画素値に対して予め設定された第２閾値以上であるか否かによって、前記浅い血管像及び前記深い血管像を一部の像として含む混合画像を検出し、検出した前記混合画像から、作成した前記第１画像部分を除去することにより、前記第２画像部分を作成するように構成されている、ことが好ましい。
前記検出部は、血管が直線状に延びる血管の特徴形状を用いたテンプレートマッチングにより強調した血管像を検出するように構成されている、ことが好ましい。
前記評価部は、前記浅部血管特徴量の値に係数をかけた値と、前記深部血管特徴量の値に係数をかけた値とを加減算することにより、前記重症度を算出するように構成されている、ことが好ましい。
前記評価部は、予め用意した重症度に関する評価が定まっている複数の参照画像のそれぞれの前記評価の情報と、前記参照画像から前記画像処理ユニットを用いて算出した前記浅部血管特徴量及び前記深部血管特徴量とを機械学習データとして、前記浅部血管特徴量及び前記深部血管特徴量と、前記生体組織の病変の重症度に関する前記評価との対応関係を機械学習した予測モデルを用いて、前記特徴量算出部で算出した、前記生体組織における前記浅部血管特徴量の値と、前記深部血管特徴量の値とから、前記重症度に関して予測評価するように構成されている、ことが好ましい。
前記光源装置は、前記第１の光及び前記第２の光のそれぞれを光成分として含む１つの光を前記照明光として射出するように構成され、
前記電子内視鏡は、生体組織の被写体像を、光フィルタを用いて前記第１撮像画像及び前記第２撮像画像に分離するように構成されている、ことが好ましい。
前記第１の光は、ヘモグロビンの複数の吸収ピーク波長のうち第１吸収ピーク波長を波長帯域に含み、
前記第２の光は、前記複数の吸収ピークのうち前記第１吸収ピーク波長よりも短波長側の第２吸収ピーク波長を波長帯域に含む、ことが好ましい。
前記第１の光及び前記第２の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない、ことも好ましい。
前記第２の光の波長帯域は、前記第１の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む、ことが好ましい。
前記光源装置は、前記第１の光の波長帯域よりも長波長側に波長帯域を有する第３の光を射出するように構成されている、ことが好ましい。
上述の内視鏡システムによれば、被写体の像に現れる血管像を血管像以外の生体組織の像と区別して血管の特徴量を算出することにより、病変部の重症度を精度よく評価することができる。
一実施形態の内視鏡システムの構成の一例を示すブロック図である。 一実施形態の内視鏡システムが備える画像処理部の構成の一部の例を説明する図である。 一実施形態の内視鏡システムが備える画像処理部が行う、血管像の検出、及び深い血管像及び浅い血管像の分離の流れの一例を説明する図である。 一実施形態の内視鏡システムが備える画像処理ユニットが行う、血管像の検出方法の一例を示す図である。 一実施形態の内視鏡システムが備える画像処理ユニットが用いる空間フィルタのフィルタ係数の一例を示す図である。 （ａ）〜（ｃ）は、一実施形態の内視鏡システムで行われる血管像の分離の例を説明する図である。
以下、本発明の一実施形態の内視鏡システムについて図面を参照しながら説明する前に、内視鏡システムの概念を説明する。
生体組織における病変の進行によって、生体組織は種々変化する。従来の内視鏡システムは、白色光を照明光として用いて撮像された画像の画素値を用いて病変部の特徴量を算出して、病変部の重症度を評価する。上述したように、生体組織を撮像した時の撮像画像には血管像も含まれるので、血管像も生体組織の血管像以外の病変部の像とともに一体的に重症度の評価に用いられる。このような評価結果は、医師による評価結果あるいは組織学的な評価結果と十分に対応しない場合があった。このため、一実施形態の内視鏡システムは、血管像を検出し、この血管像を用いて病変部の重症度の評価を行う。このとき、照明光の波長帯域によって、撮像される血管も異なる。例えば、短波長の波長帯域を有する照明光では、生体組織の表面近傍の血管が撮像され、長波長の波長帯域を有する照明光では、生体組織の表面近傍の血管、及び表面近傍に比べてある程度深い位置にある血管が撮像される。このため、照明光を、長波長帯域の照明光、及び短波長域の照明光に分けて、あるいは、長波長帯域の光成分及び長波長帯域の光成分を含む照明光を用いて、生体組織を撮像する。したがって、一実施形態の内視鏡システムでは、長波長帯域の照明光で照明した生体組織の第１撮像画像、あるいは、長波長帯域の光成分に対応した波長帯域の生体組織の第１撮像画像を取得し、短波長帯域の照明光で照明した生体組織の第２撮像画像、あるいは、短波長帯域の光成分に対応した波長帯域の生体組織の第２撮像画像を取得する。この場合、照明光を射出する光源装置は、第１の光、及び第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を射出する。
照明光は、血管内の血液中のヘモグロビンの光吸収により、血管像が鮮明に得られることから、一例として、照明光の波長帯域あるいは照明光の光成分の波長帯域は、ヘモグロビンの光吸収ピーク波長を含むことが好ましい。したがって、この場合、照明光として、ヘモグロビンの複数の吸収ピーク波長のうち第１吸収ピーク波長を波長帯域に含む第１の光、及びヘモグロビンの複数の吸収ピークのうち第１ピーク波長よりも短波長側の第２吸収ピーク波長を波長帯域に含む第２の光が用いられる。例えば、第１の光の波長帯域は、第２吸収ピーク波長を含まず、第２の光の波長帯域は、第１吸収ピーク波長を含まない。内視鏡システムは、第１の光及び第２の光のそれぞれを照明光として用いて第１撮像画像及び第２撮像画像を得ることができる。また、内視鏡システムは、第１の光及び第２の光のそれぞれを光成分とする照明光で照明することにより得られる生体組織の被写体像を、光フィルタを用いて分離して、第１撮像画像及び第２撮像画像を得ることができる。
また、第１の光及び第２の光に関する別の一例では、生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像が第１撮像画像と第２撮像画像から分離できる限りにおいて、第１の光及び第２の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない。
また、第１の光及び第２の光に関する別の一例では、第２の光の波長帯域は、第１の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む。これにより、第１撮像画像と第２撮像画像から浅い血管像と深い血管像を確実に分離することができる。
内視鏡システムは、２つの第１撮像画像及び第２撮像画像から、血管部分の、非血管部分に対して識別可能な特徴を用いて、強調された血管像を含む第１血管検出画像を生成し、さらに、第２撮像画像から強調された血管像を含む第２血管検出画像を生成する。
さらに、内視鏡システムは、第１血管検出画像及び第２血管検出画像から、第１血管検出画像内の血管像及び第２血管検出画像内の血管像を、生体組織の表面からの深さ位置が異なる血管像として、浅い血管像と深い血管像に分離する。
さらに、内視鏡システムは、分離した浅い血管像に関する浅部血管特徴量と、深い血管像に関する深部血管特徴量とを算出し、この浅部血管特徴量と深部血管特徴量をすくなくとも用いて、生体組織の病変の重症度を算出する。
なお、第１撮像画像及び第２撮像画像から強調された血管像を検出した後に、浅い血管像と深い血管像に分離するが、第１撮像画像及び第２撮像画像から、浅い血管像を一部の像として含む画像部分と深い血管像を一部の像として含む画像部分とに分離した後、この分離した画像部分から強調された血管像を検出することにより、浅い血管像と深い血管像を得ることもできる。
このように、内視鏡システムは、波長帯域の異なる第１の光及び第２の光を用いて、生体組織の表面からの深さ位置が異なる血管像として、浅い血管像と深い血管像を得、これらの血管像から算出される浅部血管特徴量と深部血管特徴量を、生体組織の病変の重症度の算出に用いるので、従来のように、白色光の照明光のみを用いて評価する場合に比べて病変部の病変の重症度を精度よく評価することができる。こうして評価した重症度は、医師による主観評価結果（例えば、MAYO endoscopic subscore）、あるいは組織学的な評価結果と良好に対応する。
図１は、本発明の一実施形態の内視鏡システム１の構成の一例を示すブロック図である。図１に示されるように、内視鏡システム１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。
電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを内視鏡システム１内の各回路に出力する。
電子内視鏡用プロセッサ２００は、電子スコープ１００に照明光を供給する光源部（光源装置）２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない光学フィルタにより、波長帯域が互いに異なる第１の光及び第２の光を交互に生成して射出し、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ１００の光ファイバの束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
あるいは、光源部２３０は、波長帯域が互いに異なる第１の光及び第２の光を射出する発光ダイオードを備える。第１の光及び第２の光は、発光ダイオードから交互に射出し、あるいは、発光ダイオードから射出した第１の光及び第２の光は、ダイクロイックミラー等の光学素子を用いて１つの照明光として合成されて射出する。射出した第１の光及び第２の光は、図示されない集光レンズにより集光された後、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
なお、図１に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子スコープ１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して撮像素子１０８の受光面上で光学像を結ぶ。
撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列のカラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。このように、電子スコープ１００は、撮像素子１０８を用いて、体腔内の生体組織を撮像する。
電子スコープ１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成する。さらに、ドライバ信号処理回路１１２は、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。
電子内視鏡用プロセッサ２００内のシステムコントローラ２０２は、メモリ２０４に記憶された情報及び電子スコープ１００から送られる固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。
タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。撮像素子１０８は、ドライバ信号処理回路１１２を介してタイミングコントローラ２０６から供給されるクロックパルスに従って、撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御される。
画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、電子スコープ１００で得られた生体組織の撮像画像から、生体組織の病変の程度を数値で示す重症度を求める。また、画像処理ユニット２２０は、重症度を求めるための数値化処理を行う際に得られる血管検出画像や撮像画像を生成する。画像処理ユニット２２０は、重症度の情報及び血管検出画像や撮像画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて注目する生体組織の病変の重症度の情報を入手することができる。画像処理ユニット２２０は、必要に応じてプリンタ４００にカラーマップ画像及び重症度の情報を出力する。
電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、サーバ６００に保存することができる。
図２は、一実施形態の内視鏡システム１が備える画像処理ユニット２２０の構成の一部の例を示す図である。図２に示す画像処理ユニット２２０の構成部分は、生体組織の病変の重症度を計算するために、病変の程度を数値で示す数値化処理を行う部分に関する。画像処理ユニット２２０は、図示されないが、内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力するための画像処理を行う処理本体部を含む。
画像処理ユニット２２０は、図２に示すように、少なくとも、検出部２２０ａ、分離部２２０ｂ、特徴量算出部２２０ｃ、及び評価部２２０ｄを備える。
検出部２２０ａは、血管部分の、非血管部分に対して識別可能な特徴を用いて、第１の光の照明によって得られる第１撮像画像から血管像を検出した第１血管検出画像を生成する。さらに、検出部２２０ａは、第２の光の照明によって得られる第２撮像画像から血管像を検出した第２血管検出画像を生成する。検出部２２０ａによる検出方法については後述する。
分離部２２０ｂは、第１血管検出画像及び第２血管検出画像から、第１血管検出画像及び第２血管検出画像内の血管像を、生体組織の表面からの深さ位置が異なる血管像として、浅い血管像と深い血管像に分離して取り出す。分離部２２０ｂによる分離方法については後述する。
特徴量算出部２２０ｃは、浅い血管像に関する浅部血管特徴量と、深い血管像に関する深部血管特徴量とを算出する。浅部血管特徴量及び深部血管特徴量については後述する。
評価部２２０ｄは、浅部血管特徴量と深部血管特徴量を少なくとも用いて、生体組織の病変の重症度を算出する。重症度の算出については、後述する。
図３は、画像処理ユニット２２０が行う、血管像の検出、及び深い血管像及び浅い血管像の分離の流れの一例を説明する図である。
検出部２２０ａが行う血管像の検出は、第１の光の照明によって得られる第１撮像画像と第２の光の照明によって得られる第２撮像画像を用いて行われる。このとき、第２の光は、第１の光の波長帯域よりも短波長側に波長帯域を有する。第１の光の波長帯域は、一例として、ヘモグロビンの複数の吸収ピーク波長のうち第１吸収ピーク波長を波長帯域に含み、第２の光の波長帯域は、一例として、第１ピーク波長よりも短波長側の第２吸収ピーク波長を波長帯域に含む。すなわち、第１の光及び第２の光は、狭帯域光である。例えば、ヘモグロビンは、４００〜４５０ｎｍに大きな吸収ピークを有し（ポルフィリン環のソーレー吸収帯）、さらに、５２０〜５９０ｎｍにも吸収ピークを有している（ポルフィリン環のＱ帯）。したがって、第１の光の波長帯域は、５２０〜５９０ｎｍの波長を含み、第２の光の波長帯域は、４００〜４５０ｎｍの波長を含む。例えば、第１の光の波長帯域は４００〜４５０ｎｍの波長を含まず、第２の光の波長帯域は５２０〜５９０ｎｍの波長を含まない。波長４００〜４５０ｎｍの光は、青色領域の光であり、波長５２０〜５９０ｎｍの光は、緑色領域の光である。
したがって、図３に示すように、第１の光の照明により得られる第１撮像画像ＩＭ１は、生体組織の表面近傍にある血管像ＩＭｓと表面近傍に比べてある程度深い部分にある血管像ＩＭｄとを含む。第２の光の照明により得られる第２撮像画像ＩＭ２は、生体組織の表面近傍にある血管像ＩＭｓのみを含む。
このような第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２から、検出部２２０ａで、第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊が検出される。
なお、照明光の他の一例として、第２の光の波長帯域は、第１の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む。この場合、第１の光の波長帯域は、例えば５２０〜５９０ｎｍであり、第２の光の波長帯域は、例えば４３３０〜４７０ｎｍである。
照明光の他の一例として、第１の光及び第２の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない。第１の光の波長帯域は、例えば５９０〜６１０ｎｍであり、第２の光の波長帯域は、例えば４５０〜４７０ｎｍである。この場合、第１の光の波長帯域及び第２の光の波長帯域はいずれも吸収ピーク波長も含まない。
このように、第１の光及び第２の光は種々波長帯域を設定することができる。
図４は、血管像の検出方法の一例を示す図である。血管像の検出は、血管部分の、非血管部分に対して識別可能な特徴を用いて行われる。
検出部２２０ａは、例えば、生体組織の画像の一部の検査対象エリアＡＲの形状と複数のテンプレートＴＰ１〜ＴＰ４の直線形状それぞれとの相関の程度を表すマッチング度を求める。さらに、検出部２２０ａは、複数のテンプレートＴＰ１〜ＴＰ４それぞれに対応するマッチング度の中で、最も高い最高マッチング度の値を検査対象エリアＡＲにおける血管領域の確からしさとして求める。テンプレートＴＰ１〜ＴＰ４は、画素で構成され、テンプレートＴＰ１〜ＴＰ４は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートＴＰ１〜ＴＰ４は、それぞれの直線形状に合わせて各画素は画素値を有する。図４に示すように、画像の端から矢印に沿って順番に検査対象エリアＡＲをオーバーラップさせながら移動させることにより、検査対象エリアＡＲ内の画像の画素評価値とテンプレートＴＰ１〜ＴＰ４それぞれの対応する画素の値との相関度が求められる。一実施形態によれば、テンプレートＴＰ１〜ＴＰ４は、血管を特徴付ける形状として、直線を４つの異なる延在方向に延ばした４つの直線形状を備える。テンプレートＴＰ１〜ＴＰ４は、図４に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートＴＰ１〜ＴＰ４の画素の値と、検査対象領域ＡＲの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートＴＰ１〜ＴＰ４の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の画像評価値を乗算して合計した値であってもよい。
テンプレートＴＰ１〜ＴＰ４のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアＡＲの中心画素に与えられる。
図５は、テンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートＴＰ１は、図５に示すように、図中の上下方向に直線が延びる形状を有する。図５では、一例として、テンプレートＴＰ１は、５×５画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として１／５が与えられ、それ以外の画素には、フィルタ係数として−１／２０が与えられている。
フィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアＡＲのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアＡＲに上下方向に線状に延びる血管像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートＴＰ１に近似する像を含んでいるといえる。したがって、テンプレートＴＰ１〜ＴＰ４のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域の確からしさとして、検査対象領域ＡＲの中心画素に与える。すなわち、血管領域の確からしさの値は、検査対象エリアＡＲの中心画素に与えられる。こうして血管領域の確からしさの値により強調された血管像を含む第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊を得ることができる。
このように、血管像検出部２２０ａは、血管部分の、非血管部分に対して識別可能な特徴を用いて、第１の光及び第２の光の照明によって得られる第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２から第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊を得る。第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊における血管像の画素値を求める場合、血管像検出部２２０ａは、第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊の画素値が予め定めた閾値以上の画素値に１を与え、それ以外の領域の画素値に０を与えてマスク画像を作成する。さらに、血管像検出部２２０ａは、このマスク画像の各画素値と、第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２の対応画素との積を演算することにより、第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊における血管像の画素値を求めることができる。
なお、上述した図４，５に示す血管検出の例では、血管の特徴形状を用いたテンプレートマッチングを用いて行うが、血管検出は、血管の特徴形状を用いたテンプレートマッチングに限定されない。例えば、バンドパスフィルタを用いた血管検出方法やベクトル集中度による線分検出手法を用いることもできる。例えば、緑色領域の色成分画像に対してバンドパスフィルタを適用して血管のエッジ画像を生成することにより、血管を検出することができる。なお、バンドパスフィルタによるエッジ抽出手法は公知の技術である。また、国際公開第２０１２／００２０１２号に記載されるようなベクトル集中度を用いて、血管を検出することもできる。
検出部２２０ａで生成された第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊内で強調された血管像は、分離部２２０ｂで、深い血管像ＩＭｄ ＊及び浅い血管像ＩＭｓ ＊に分離される。
図６（ａ）〜（ｃ）は、一実施形態の内視鏡システムで行われる血管像の分離の例を説明する図である。
図６（ａ）に示す分離では、分離部２２０ｂは、生体組織の表面近傍の浅い血管が撮像された第２撮像画像ＩＭ２から生成され、血管像が強調された第２血管検出画像ＩＭ２ ＊の画素値が予め定めた閾値ＴＨ２以上である場合、この画素に値１を与え、それ以外の画素に値０を与える。これにより、分離部２２０ｂは、二値化した画像の値１の画素値の領域を、浅い血管像ＩＭｓ ＊の領域として求める。さらに、生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第１撮像画像ＩＭ１から生成され、血管像が強調された第１血管検出画像ＩＭ１ ＊の画素値が予め定めた閾値ＴＨ１以上である場合、この画素に値１を与え、それ以外の画素に値０を与える。これにより、分離部２２０ｂは、二値化した画像の値１の画素値の領域、すなわち血管像の領域から、先に求めた浅い血管像ＩＭｓ ＊の領域を除去した残りの領域を深い血管像ＩＭｄ ＊の領域として求める。
図６（ｂ）に示す分離では、分離部２２０ｂは、第２血管検出画像ＩＭ２ ＊の画素値と、第１血管検出画像ＩＭ１ ＊の画素値の平均値を画素値とする平均検出画像ＩＭＡ ＊を作成する。第２血管検出画像ＩＭ２ ＊の画素値は、生体組織の表面近傍の浅い血管が撮像された第２撮像画像ＩＭ２から生成され、血管像が強調された画像であり、第１血管検出画像ＩＭ１ ＊は、生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第１撮像画像ＩＭ１から生成され、血管像が強調された画像である。分離部２２０ｂは、この平均検出画像ＩＭＡ ＊の各画素値に対して、予め設定された閾値ＴＨ４（第１閾値）以上であるか否かを判定し、閾値ＴＨ４以上の画素値の領域を、浅い血管像の領域ＩＭｓ ＊として検出する。
さらに、分離部２２０ｂは、第１撮像画像ＩＭ１の各画素値に対して予め設定された閾値ＴＨ３（第２閾値）以上であるか否かによって、浅い血管像ＩＭｓ ＊の領域及び深い血管像ＩＭｄ ＊の領域を含む混合領域を検出し、検出した混合領域から、先に検出した浅い血管像の領域を除去する。これにより、分離部２２０ｂは、深い血管像ＩＭｄ ＊の領域を検出する。すなわち、分離部２２０ｂは、混合領域から、先に検出した浅い血管像の領域を除去した残りの領域を、深い血管像ＩＭｄ ＊の領域として検出する。
図６（ｃ）に示す分離では、分離部２２０ｂは、生体組織の表面近傍の浅い血管が撮像された第２撮像画像ＩＭ２の画素値と、生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第１撮像画像ＩＭ１の画素値の平均値を画素値とする平均画像ＩＭＡを作成する。分離部２２０ｂは、この平均画像ＩＭＡの各画素値に対して、予め設定された閾値ＴＨ６（第１閾値）以上であるか否かを判定し、閾値ＴＨ６以上の画素値の領域を、浅い血管像を一部の像として含む第１画像部分ＩＭＢを作成する。
さらに、分離部２２０ｂは、平均画像ＩＭＡの各画素値に対して、予め設定された閾値ＴＨ５（閾値ＴＨ５は、閾値ＴＨ６よりも値が低い）以上であるか否かを判定する。分離部２２０ｂは、閾値ＴＨ５（第２閾値）以上の画素値の領域を、浅い血管像及び深い血管像を一部の像として含む混合画像を検出し、検出した混合画像から先に作成した第１画像部分ＩＭＢを除去することにより（具体的には、上記混合画像の画素値から、先に作成した第１画像部分ＩＭＢの対応する画素値を差し引くことにより）、深い血管像を一部の像として含む第２画像部分ＩＭＣを作成する。
こうして作成された第１画像部分ＩＭＢ及び第２画像部分ＩＭＣは、検出部２２０ａにおいて、血管部分の、非血管部分に対して識別可能な特徴を用いて、浅い血管像ＩＭｓ ＊と、深い血管像ＩＭｄ ＊とを生成するために用いられる。すなわち、図６（ｃ）に示す例は、浅い血管像と深い血管像の分離を行った後、血管部分の、非血管部分に対して識別可能な特徴を用いて血管像を強調する方法に用いられる。
図６（ｃ）に示す例の場合、画像処理ユニット２２０の分離部２２０ｂが、第１撮像画像ＩＭ１及び第２撮像画像ＩＭ２から、浅い血管像ＩＭｓ ＊を一部の像として含む第１画像部分ＩＭＢと、深い血管像ＩＭｄ ＊を一部の像として含む第２画像部分ＩＭＣとに分離する。第１画像部分ＩＭＢ及び第２画像部分ＩＭＣには、浅い血管像及び深い血管像の他に、非血管の部分の像も含んでいるため、血管部分の、非血管部分に対して識別可能な特徴を用いて、非血管の部分の像を除去して血管像を検出する。すなわち、検出部２２０ａは、第１画像部分ＩＭＢ及び第２画像部分ＩＭＣから、血管の特徴を用いて、浅い血管像ＩＭｓ ＊と、深い血管像ＩＭｄ ＊を検出する。
このように、図６（ａ），（ｂ）に示す分離では、血管の特徴を用いて強調した血管像を含む第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊から、照明光の波長帯域によって撮像される血管像が異なること（波長帯域が短波長側では、長波長側に比べて、深い血管が撮像され難くなること）を利用する。これにより、第１血管検出画像ＩＭ１ ＊及び第２血管検出画像ＩＭ２ ＊内の強調された血管像を、浅い血管像ＩＭｓ ＊の領域と深い血管像ＩＭｄ ＊の領域に分離することができる。
また、図６（ｃ）に示す分離では、生体組織の表面近傍の浅い血管が撮像された第２撮像画像ＩＭ２、及び生体組織の表面近傍の浅い血管及び表面近傍に比べてある程度深い位置にある深い血管が撮像された第１撮像画像ＩＭ１から、照明光の波長帯域によって撮像される血管像が異なることを利用することにより、最終的に、血管像が強調された浅い血管像ＩＭｓ ＊の領域と血管像が強調された深い血管像ＩＭｄ ＊の領域に分離することができる。
特徴量算出部２２０ｃは、浅い血管像ＩＭｓ ＊に関する浅部血管特徴量と、深い血管像ＩＭｄ ＊に関する深部血管特徴量とを算出する。例えば、浅部血管特徴量は、浅い血管像ＩＭｓ ＊の領域における、第２撮像画像ＩＭ２の画素値の合計値あるいは画素値の代表値であり、深部血管特徴量は、例えば、深い血管像ＩＭｄ ＊の領域における、第１撮像画像ＩＭ１の画素値の合計値あるいは代表値である。代表値は、平均値及び中央値を含む。また、浅部血管特徴量、深部血管特徴量は、浅い血管像ＩＭｓ ＊の領域、深い血管像ＩＭｄ ＊の領域における画素数の総和であってもよい。
浅部血管特徴量及び深部血管特徴量が、画素値の合計値あるいは代表値である場合、分離部２２０ｂは、浅い血管像ＩＭｓ ＊の領域に対応する第２撮像画像ＩＭ２の対応領域の画素値を、浅い血管像ＩＭｓ ＊の画素値として求める。さらに、深い血管像ＩＭｄ ＊の領域に対応する第１撮像画像ＩＭ１の対応領域の画素値を、深い血管像ＩＭｄ ＊の画素値として求める。徴量算出部２２０ｃは、求めた浅い血管像ＩＭｓ ＊の画素値および深い血管像ＩＭｄ ＊の画素値を用いて、浅部血管特徴量及び深部血管特徴量を算出する。これにより、画素値を考慮した浅部血管特徴量及び深部血管特徴量を用いて、重症度を評価することができる。
評価部２２０ｄが行う重症度の算出は、浅部血管特徴量と深部血管特徴量を少なくとも用いて算出する限りは特に制限されない。重症度の値は、例えば、浅部血管特徴量に予め定めた係数かけた値と深部血管特徴量に予め定めた係数をかけた値とを加減算した値であってもよい。この場合、医師等による重症度に関する評価が既知の複数の生体組織の参照画像を予め用意しておき、この参照画像から得られる浅部血管特徴量と深部血管特徴量の情報と、評価の情報とを用いて回帰分析により、上記係数を算出して予め得ておいてもよい。
また、上述した参照画像の評価が複数段階のレベルの１つに設定されている場合、評価部２２０ｄは、参照画像から得られる浅部血管特徴量と深部血管特徴量の値の組をサンプルとしてクラスタ分析して複数のクラスタにわけ、このクラスタ内の複数のサンプルに最も良く一致するレベルを事前に付与しておく。評価部２２０ｄは、算出した浅部血管特徴量と深部血管特徴量の値がどのクラスタに属するかを判定して、重症度を複数段階のレベルの１つに評価してもよい。
一実施形態によれば、浅部血管特徴量及び深部血管特徴量の他に、生体組織の病変として現れる特徴を数値化した特徴量を含めて、重症度の評価を行ってもよい。例えば、潰瘍性大腸炎のような炎症が生じる場合、白色光を照明光として撮像画像内で生体組織の炎症によって現れる赤色成分の程度を数値化した特徴量を、浅部血管特徴量及び深部血管特徴量ともに用いて重症度の評価を行ってもよい。
また、一実施形態によれば、評価部２２０ｄは、予め用意した重症度に関する評価が定まっている複数の参照画像のそれぞれの評価の情報と、この参照画像から画像処理ユニット２２０を用いて算出した浅部血管特徴量及び深部血管特徴量とを機械学習データとして、浅部血管特徴量及び深部血管特徴量と、生体組織の病変の重症度に関する評価との対応関係を機械学習した予測モデルを用いてもよい。この場合、評価部２２０ｄは、特徴量算出部２２０ｃで算出した、生体組織における浅部血管特徴量の値と、深部血管特徴量の値とから、重症度に関して予測評価してもよい。予測モデルの機械学習として、例えば、ニューラルネットワークによる深層学習（ディープラーニング）が用いられる。また、木構造を利用したランダムフォレストを用いることができる。モデルは、畳み込むニューラルネットワーク、スタッグドオートエンコーダ等、公知のモデルを用いることができる。このように機械学習した予測モデルを用いることで、精度の高い重症度の評価を行うことができる。
この場合、画像処理ユニット２２０の分離部２２０ｂが、生体組織の表面からの深さ位置が異なる、浅い血管像ＩＭｓ ＊を一部の像として含む第１画像部分と、深い血管像ＩＭｄ ＊を一部の像として含む第２画像部分とに分離する。
検出部２２０ａは、第１画像部分及び第２画像部分から、血管の特徴形状を用いたテンプレートマッチングを用いて、浅い血管像ＩＭｓ ＊と、深い血管像ＩＭｄ ＊を生成する。
一実施形態によれば、検出部２２０ａは、図４に示すように、血管が直線状に延びる血管の特徴形状を用いたテンプレートマッチングにより血管像を検出して強調することが好ましい。血管の形状は、一方向に延びる直線形状として近似できるので、図４に示すように、線の延びる方向が異なるテンプレートを用意することができる。このため、血管像を精度よく検出して強調することができる。
なお、上述の実施形態では、光源装置２３０は、第１の光と第２の光を照明光としたが、３つ以上の光を照明光として射出することもできる。３つの光を用いる場合、３つ目の光である第３の光は、第１の光の波長帯域よりも長波長側に波長帯域を有することが好ましい。第１の光の波長帯域は、例えば５２０ｎｍ〜５９０ｎｍや５９０ｎｍ〜６１０ｎｍであり、第２の光の波長帯域は、例えば４３０ｎｍ〜４７０ｎｍや４５０ｎｍ〜４７０ｎｍである場合、第３の光の波長帯域は、例えば６２０〜６５０ｎｍである。第３の光により得られる第３撮像画像には、第１の光により得られる第１の撮像画像よりも、より深い血管像が含まれるので、深さ方向に３段階の異なる位置にある血管の血管像を区別して分離することが可能になる。このように、波長帯域が異なる３つ以上の光を照明光として用いることで、深さが３段階以上の異なる位置にある血管の血管像を区別して分離することが可能になる。
以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
１ 内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０４ 配光レンズ
１０６ 対物レンズ
１０８ 撮像素子
１０８ａ ＩＲカットフィルタ
１０８ｂ カラーフィルタ
１１２ ドライバ信号処理回路
１１４ メモリ
２００ 電子内視鏡用プロセッサ
２０２ システムコントローラ
２０４ メモリ
２０６ タイミングコントローラ
２０８ 操作パネル
２１０ ＮＩＣ
２２０ 画像処理ユニット
２２０ａ 検出部
２２０ｂ 分離部
２２０ｃ 特徴量算出部
２２０ｄ 評価部
２２４ メモリ
２３０ 光源部
３００ モニタ
４００ プリンタ
６００ サーバ

Claims (14)

  1. 照明光を射出するように構成された光源装置と、
    前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
    前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
    前記重症度の情報を表示するように構成されたモニタと、を備え、
    前記光源装置は、第１の光、及び前記第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を、少なくとも前記照明光として射出するよう構成され、
    前記画像処理ユニットは、
    血管部分の、非血管部分に対して識別可能な特徴を用いて、前記第１の光の照明によって得られる第１撮像画像から、強調した血管像を含む第１血管検出画像を生成し、さらに、前記第２の光の照明によって得られる第２撮像画像から、強調した血管像を含む第２血管検出画像を生成するように構成された検出部と、
    前記第１血管検出画像及び前記第２血管検出画像から、前記第１血管検出画像像及び前記第２血管検出画像内の血管像を、前記生体組織の表面からの深さ位置が異なる血管像として浅い血管像と深い血管像とに分離するように構成された分離部と、
    前記浅い血管像に関する浅部血管特徴量と、前記深い血管像に関する深部血管特徴量とを算出するように構成された特徴量算出部と、
    前記浅部血管特徴量と前記深部血管特徴量を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
    を備えることを特徴とする内視鏡システム。
  2. 前記分離部は、前記第２血管検出画像内の血管像の領域を前記浅い血管像の領域として検出し、検出した前記浅い血管像の領域を、前記第１血管検出画像内の血管像の領域から除去することにより前記深い血管像の領域を検出することにより、前記浅い血管像と、前記深い血管像を検出するように構成されている、請求項１に記載の内視鏡システム。
  3. 前記分離部は、前記第１血管検出画像と前記第２血管検出画像の対応する画素の画素値同士の平均値を画素値とする平均検出画像の各画素値に対して、予め設定された第１閾値以上であるか否かによって、前記浅い血管像の領域を検出し、前記第１撮像画像の各画素値に対して予め設定された第２閾値以上であるか否かによって、前記浅い血管像の領域及び前記深い血管像の領域を含む混合領域を検出し、検出した前記混合領域から、検出した前記浅い血管像の領域を除去することにより、前記深い血管像の領域を検出する、ように構成されている、請求項１に記載の内視鏡システム。
  4. 前記分離部は、前記浅い血管像の領域に対応する前記第２撮像画像の対応領域の画素値を、前記浅い血管像の画素値として求め、前記深い血管像の領域に対応する前記第１撮像画像の対応領域の画素値を、前記深い血管像の画素値として求めるように構成され、
    前記特徴量算出部は、求めた前記浅い血管像の画素値および前記深い血管像の画素値を用いて、前記浅部血管特徴量及び前記深部血管特徴量を算出するように構成されている、請求項２または３に記載の内視鏡システム。
  5. 照明光を射出するように構成された光源装置と、
    前記照明光で照明された体腔内の血管を含む生体組織を撮像するように構成された電子内視鏡と、
    前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の病変部の病変の重症度を前記画像の情報を用いて算出するように構成された画像処理ユニットを含むプロセッサと、
    前記重症度の情報を表示するように構成されたモニタと、を備え、
    前記光源装置は、第１の光、及び前記第１の光の波長帯域よりも短波長側に波長帯域を有する第２の光を、少なくとも前記照明光として射出するように構成され、
    前記画像処理ユニットは、
    前記第１の光の照明によって得られる第１撮像画像及び前記第２の光の照明によって得られる第２撮像画像から前記生体組織の表面からの深さ位置が異なる浅い血管像と深い血管像のうち、前記浅い血管像を一部の像として含む第１画像部分と、前記深い血管像を一部の像として含む第２画像部分とに分離して取り出すように構成された分離部と、
    前記第１画像部分及び前記第２画像部分から、血管部分の、非血管部分に対して識別可能な特徴を用いて、前記浅い血管像と、前記深い血管像とを生成するように構成された検出部と、
    前記浅い血管像に関する浅部血管特徴量の値と、前記深い血管像に関する深部血管特徴量の値とを算出するように構成された特徴量算出部と、
    前記浅部血管特徴量の値と前記深部血管特徴量の値を少なくとも用いて、前記生体組織の病変の前記重症度を算出するように構成された評価部と、
    を備えることを特徴とする内視鏡システム。
  6. 前記分離部は、前記第１撮像画像と前記第２撮像画像の対応する画素の画素値同士の平均値を画素値とする平均画像の各画素値に対して、予め設定された第１閾値以上であるか否かによって、前記第１画像部分を作成し、前記第１撮像画像の各画素値に対して予め設定された第２閾値以上であるか否かによって、前記浅い血管像及び前記深い血管像を一部の像として含む混合画像を検出し、検出した前記混合画像から、作成した前記第１画像部分を除去することにより、前記第２画像部分を作成するように構成されている、請求項５に記載の内視鏡システム。
  7. 前記検出部は、血管が直線状に延びる血管の特徴形状を用いたテンプレートマッチングにより強調した血管像を検出するように構成された、請求項１〜６のいずれか１項に記載の内視鏡システム。
  8. 前記評価部は、前記浅部血管特徴量の値に係数をかけた値と、前記深部血管特徴量の値に係数をかけた値とを加減算することにより、前記重症度を算出するように構成されている、請求項１〜７のいずれか１項に記載の内視鏡システム。
  9. 前記評価部は、予め用意した重症度に関する評価が定まっている複数の参照画像のそれぞれの前記評価の情報と、前記参照画像から前記画像処理ユニットを用いて算出した前記浅部血管特徴量及び前記深部血管特徴量とを機械学習データとして、前記浅部血管特徴量及び前記深部血管特徴量と、前記生体組織の病変の重症度に関する前記評価との対応関係を機械学習した予測モデルを用いて、前記特徴量算出部で算出した、前記生体組織における前記浅部血管特徴量の値と、前記深部血管特徴量の値とから、前記重症度に関して予測評価するように構成されている、請求項１〜７のいずれか１項に記載の内視鏡システム。
  10. 前記光源装置は、前記第１の光及び前記第２の光のそれぞれを光成分として含む１つの光を前記照明光として射出するように構成され、
    前記電子内視鏡は、生体組織の被写体像を、光フィルタを用いて前記第１撮像画像及び前記第２撮像画像に分離するように構成されている、請求項１〜９のいずれか１項に記載の内視鏡システム。
  11. 前記第１の光は、ヘモグロビンの複数の吸収ピーク波長のうち第１吸収ピーク波長を波長帯域に含み、
    前記第２の光は、前記複数の吸収ピークのうち前記第１吸収ピーク波長よりも短波長側の第２吸収ピーク波長を波長帯域に含む、請求項１〜１０のいずれか１項に記載の内視鏡システム。
  12. 前記第１の光及び前記第２の光の少なくとも一方の光の波長帯域は、ヘモグロビンの複数の吸収ピーク波長のいずれの吸収ピーク波長も含まない、請求項１〜１０のいずれか１項に記載の内視鏡システム。
  13. 前記第２の光の波長帯域は、前記第１の光の波長帯域におけるヘモグロビンの吸収係数の最大値よりも大きいヘモグロビンの吸収係数を持つ波長を含む、請求項１〜１２のいずれか１項に記載の内視鏡システム。
  14. 前記光源装置は、前記第１の光の波長帯域よりも長波長側に波長帯域を有する第３の光を射出するように構成されている、請求項１〜１３のいずれか１項に記載の内視鏡システム。
JP2021548728A 2019-09-27 2020-09-01 内視鏡システム Active JP7200393B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019177859 2019-09-27
JP2019177859 2019-09-27
PCT/JP2020/033030 WO2021059889A1 (ja) 2019-09-27 2020-09-01 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2021059889A1 true JPWO2021059889A1 (ja) 2021-12-23
JP7200393B2 JP7200393B2 (ja) 2023-01-06

Family

ID=75166614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548728A Active JP7200393B2 (ja) 2019-09-27 2020-09-01 内視鏡システム

Country Status (5)

Country Link
US (1) US20220192470A1 (ja)
JP (1) JP7200393B2 (ja)
CN (1) CN113556968B (ja)
DE (1) DE112020004617T5 (ja)
WO (1) WO2021059889A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234815A1 (ja) * 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181096A (ja) * 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057572A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7892169B2 (en) * 2000-07-21 2011-02-22 Olympus Corporation Endoscope apparatus
JP5389612B2 (ja) * 2009-11-06 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5393554B2 (ja) * 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
CN102740756B (zh) 2010-06-30 2014-12-31 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
JP5334952B2 (ja) * 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
JP5496075B2 (ja) * 2010-12-27 2014-05-21 富士フイルム株式会社 内視鏡診断装置
JP5550574B2 (ja) * 2011-01-27 2014-07-16 富士フイルム株式会社 電子内視鏡システム
JP5667917B2 (ja) * 2011-04-01 2015-02-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2013035532A1 (ja) * 2011-09-05 2013-03-14 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに画像作成方法
US10052015B2 (en) * 2014-09-30 2018-08-21 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
JP6125740B1 (ja) 2015-09-30 2017-05-10 Hoya株式会社 内視鏡システム及び評価値計算装置
JP6525918B2 (ja) * 2016-04-20 2019-06-05 富士フイルム株式会社 内視鏡システム、画像処理装置、及び画像処理装置の作動方法
JP6533180B2 (ja) * 2016-04-21 2019-06-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181096A (ja) * 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057572A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム

Also Published As

Publication number Publication date
DE112020004617T5 (de) 2022-06-09
CN113556968B (zh) 2023-12-22
JP7200393B2 (ja) 2023-01-06
CN113556968A (zh) 2021-10-26
WO2021059889A1 (ja) 2021-04-01
US20220192470A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
CN110325100B (zh) 内窥镜系统及其操作方法
JP6204314B2 (ja) 電子内視鏡システム
CN112469323B (zh) 内窥镜系统
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
JP7289296B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JP7068487B2 (ja) 電子内視鏡システム
JP6210962B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP7009636B2 (ja) 内視鏡システム
JP7287969B2 (ja) 内視鏡システム、および内視鏡システム作動方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2020066670A1 (ja) 電子内視鏡システム及びデータ処理装置
JP6912608B2 (ja) 内視鏡システム
JPWO2020189213A1 (ja) 内視鏡システム
WO2021059889A1 (ja) 内視鏡システム
JP6210923B2 (ja) 生体観察システム
WO2018198251A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP6184928B2 (ja) 内視鏡システム、プロセッサ装置
WO2020189334A1 (ja) 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム
JP7455717B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
US12029385B2 (en) Electronic endoscope system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R150 Certificate of patent or registration of utility model

Ref document number: 7200393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150