JP6513209B2 - 内視鏡システム及び内視鏡システムの作動方法 - Google Patents

内視鏡システム及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP6513209B2
JP6513209B2 JP2017543448A JP2017543448A JP6513209B2 JP 6513209 B2 JP6513209 B2 JP 6513209B2 JP 2017543448 A JP2017543448 A JP 2017543448A JP 2017543448 A JP2017543448 A JP 2017543448A JP 6513209 B2 JP6513209 B2 JP 6513209B2
Authority
JP
Japan
Prior art keywords
index value
value
blood vessel
observation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543448A
Other languages
English (en)
Other versions
JPWO2017057392A1 (ja
Inventor
麻依子 遠藤
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017057392A1 publication Critical patent/JPWO2017057392A1/ja
Application granted granted Critical
Publication of JP6513209B2 publication Critical patent/JP6513209B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)

Description

本発明は、被検体内の観察対象を撮像して得られた画像を生成する内視鏡システム及び内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をモニタに表示することにより、医師は、モニタ上の画像を見ながら診断を行うことができる。
また、内視鏡システムを用いた診断では、白色の照明光を用いて観察対象を自然な色合いで表した画像(以下、通常観察画像という)をモニタに表示する他、例えば、特許文献1に示すような観察対象の血管の深さや密度に応じて色付けした画像(以下、特殊観察画像という)や、特許文献2に示すように血液量や酸素飽和度の変化に応じて色付けした特殊観察画像をモニタに表示して、血管に関する情報を観察する診断も行われている。
特開2011−217798 特開平2−279131
血管の深さや密度等の血管に関する情報を数値化した指標値は、診断に有用な情報である。しかしながら、医師は、複数の指標値を総合的に考慮して判断をすることが多く、複数の指標値について上記特許文献1,2のような色付けをして表示する場合には、その情報の多さから判断に躊躇いが生じることがある。したがって、複数の指標値を用いて診断を行う場合であっても、診断に際して注目すべき指標値に絞り込んで提示することが求められていた。
本発明は、複数の指標値を用いる場合であっても、診断に際して注目すべき指標値に絞り込んで提示することができる内視鏡システム及び内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、画像取得部と、抽出部と、指標値算出部と、判定部と、色情報設定部と、画像生成部とを備える。画像取得部は、内視鏡によって観察対象を撮像して得た画像を取得する。抽出部は、画像から、観察対象に含まれる構造物を抽出する。指標値算出部は、抽出部で抽出した構造物に基づいて複数の指標値を算出する。判定部は、複数の指標値のそれぞれが、正常状態を表す正常値か、正常値とは異なる異常値かの判定をする。色情報設定部は、判定部が異常値と判定した指標値である異常指標値に対して色情報を設定、又は判定部が正常値と判定した指標値である正常指標値に対して色情報を設定する。画像生成部は、色情報設定部が設定した色情報に基づいて、構造物を強調した強調画像を生成する。
判定部は、指標値と特定の閾値とを比較して判定し、又は、指標値が正常値又は異常値のいずれに該当するかを記憶するルックアップテーブルを参照して判定することが好ましい。
構造物とは、血管であることが好ましい。
色情報は複数あり、且つ色情報ごとに優先度が定められており、異常指標値又は正常指標値は複数あり、且つ異常指標値又は正常指標値ごとに優先度が定められており、色情報設定部は、異常指標値又は正常指標値のうち、優先度が高い異常指標値又は正常指標値ほど、優先度が高い色情報の割り当てを行うことが好ましい。
観察条件に基づいて、異常指標値又は正常指標値ごとに定められた優先度を変更する優先度変更部を有し、色情報設定部は、変更後の優先度に従って割り当てを行うことが好ましい。
内視鏡が上部観察用内視鏡か下部観察用内視鏡かを識別する内視鏡識別部を有し、優先度変更部は、観察条件として、上部観察用内視鏡と下部観察用内視鏡との交換が行われた場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
優先度変更部は、観察条件として、観察対象との間の観察距離が、第1観察距離から、第1観察距離とは異なる第2観察距離に変化した場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
内視鏡のズーム倍率を、第1ズーム倍率と、第1ズーム倍率とは異なる第2ズーム倍率とで変化させるズーム操作部を有し、優先度変更部は、観察条件として、第1ズーム倍率から第2ズーム倍率に変化した場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
複数の指標値のうち2以上を用いる複数の観察モードからいずれかの観察モードを選択し、且つ選択した観察モードで用いる指標値ごとに、診断学に基づいて優先度を設定するモード操作部を有し、指標値ごとに設定された優先度に基づいて、異常指標値又は正常指標値ごとに優先度が定められ、優先度変更部は、観察条件として、観察モードが、第1観察モードから、第1観察モードとは異なる第2観察モードに切り替えられた場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
優先度変更部は、観察条件として、観察対象に特定の色素が散布された場合、異常指標値又は正常指標値ごとの優先度を変更することが好ましい。
正常指標値を記憶する正常指標値記憶部と、異常指標値と正常指標値との差分値を求め、且つ差分値に応じて輝度情報を設定する輝度情報設定部とを有し、画像生成部は、設定された色情報及び輝度情報に基づいて強調画像を生成することが好ましい。
本発明の内視鏡システムの作動方法は、画像取得部が、内視鏡によって観察対象を撮像して得た画像を取得するステップと、抽出部が、画像から、観察対象に含まれる構造物を抽出するステップと、指標値算出部が、抽出部が抽出した構造物に基づいて複数の指標値を算出するステップと、判定部が、複数の指標値のそれぞれが、正常状態を表す正常値か、正常値とは異なる異常値かを判定するステップと、色情報設定部が、判定部が異常値と判定した指標値である異常指標値に対して色情報を設定、又は判定部が正常値と判定した指標値である正常指標値に対して色情報を設定するステップと、画像生成部が、色情報設定部が設定した色情報に基づいて、構造物を強調した強調画像を生成するステップとを備える。
判定部は、指標値と特定の閾値とを比較して判定し、又は、指標値が正常値又は異常値のいずれに該当するかを記憶するルックアップテーブルを参照して判定することが好ましい。
本発明の内視鏡システム及び内視鏡システムの作動方法は、複数の指標値を用いる場合であっても、診断に際して注目すべき指標値に絞り込んで提示することができる。
第1実施形態の内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 血管の抽出を説明する説明図である。 強調画像の生成を説明する説明図である。 第1実施形態の内視鏡システムの動作を示すフローチャートである。 第2実施形態の色情報設定部の機能を示すブロック図である。 第3実施形態の画像処理部の機能を示すブロック図である。 優先度変更部の機能を示すブロック図である。 観察対象の表面に対して内視鏡が傾いた状態で撮影した内視鏡画像を示す説明図である。 第4実施形態の画像処理部の機能を示すブロック図である。 色情報の設定に用いる2次元LUTを説明する説明図である。 広帯域光源と回転フィルタを備えた内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dを所望の方向に向ける。
また、操作部12bには、アングルノブ13aの他、静止画像の取得操作に用いる静止画像取得部13b、観察モードの切り替え操作に用いるモード切替部13c、及びズーム倍率の変更操作に用いるズーム操作部13dを設けている。静止画像取得部13bは、モニタ18に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。
内視鏡システム10は、観察モードとして、通常モードと、特殊モードとを有している。観察モードが通常モードである場合、光源装置14は、照明光として、ほぼ白色の光(以下、白色光という)を発する。観察モードが特殊モードである場合、光源装置14は、照明光として、白色光よりも波長帯域が狭い特定の波長帯域を有する光(以下、狭帯域光という)を発する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール19は、関心領域(ROI : Region Of Interest)の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
図2に示すように、光源装置14は、観察対象の照明に用いる照明光を発する光源20と、光源20を制御する光源制御部22とを備えている。光源20は、例えば、複数色のLED(Light Emitting Diode)等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ等である。また、光源20には、LED等が発光した光の波長帯域を調整する光学フィルタ等が含まれる。光源制御部22は、LED等のオン/オフや、LED等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部22は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
本実施形態では、光源20は、波長域の異なる複数の光源からなり、例えば、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDを有するものとする。V−LED20aは、波長帯域380nm〜420nmの紫色光Vを発する。B−LED20bは、波長帯域420nm〜500nmの青色光Bを発する。G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する。R−LED20dは、波長帯域が600nm〜650nmに及び赤色光Rを発する。なお、各色の光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
光源制御部22は、各LED20a〜20dの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部22における点灯及び消灯の制御は、観察モードごとに異なっている。通常モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。このため、通常モードでは、光源20は、紫色光V、青色光B、緑色光G、及び赤色光Rを含む白色光を発する。
特殊モードの場合、光源制御部22は、V−LED20aだけを点灯する制御と、B−LED20bだけを点灯する制御とを切り替える。このため、特殊モードでは、光源20は、紫色光Vと青色光Bとを順次に発する。紫色光Vと青色光Bは、これらを照明光として用いると、粘膜下の比較的浅い位置(以下、表層という)から、表層よりも更に浅い位置(以下、極表層という)までを観察可能である。紫色光Vは、青色光Bと比較して波長が短いので、観察対象への深達度が小さく、極表層にある血管(以下、極表層血管という)しか写し出せない代わりに、この極表層血管のコントラストが青色光Bを用いる場合よりも大きい。なお、コントラストとは、例えば、血管からの反射光量に対する、周辺の粘膜からの反射光量の比である。一方、青色光Bは紫色光Vと比較して波長が長いので、観察対象への深達度が大きく、表層にある血管(以下、表層血管という)まで写し出せる代わりに、極表層血管のコントラストが紫色光Vを用いる場合よりも小さい。
光源20が発した照明光は、ミラー及び/又はレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通したライトガイド24に入射する。ライトガイド24は、内視鏡12及びユニバーサルコードに内蔵しており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド24としては、マルチモードファイバを使用することができる。一例として、ライトガイド24には、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3mm〜φ0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bとを設けている。照明光学系30aは、照明レンズ32を有している。この照明レンズ32を介して、ライトガイド24を伝搬した照明光によって観察対象を照明する。撮像光学系30bは、対物レンズ34と、ズームレンズ36と、撮像センサ38とを有している。これら対物レンズ34及びズームレンズ36を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ38に入射する。これにより、撮像センサ38に観察対象の像が結像する。ズームレンズ36は、ズーム操作部13dを操作することでテレ端とワイド端の間で自在に移動し、撮像センサ38に結像する観察対象を拡大又は縮小する。
撮像センサ38は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ38の各画素には、R(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかを設けている。撮像センサ38は、Bカラーフィルタが設けられているB画素で紫色から青色の光を受光し、Gカラーフィルタが設けられているG画素で緑色の光を受光し、Rカラーフィルタが設けられているR画素で赤色の光を受光する。そして、各色の画素から、RGB各色の画像信号を出力する。撮像センサ38は、出力した画像信号を、CDS(Correlated Double Sampling)/AGC(Automatic Gain Control)回路40に送信する。
撮像センサ38としては、CCD(Charge Coupled Device)撮像センサとCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等が利用可能である。また、RGBの原色のカラーフィルタを設けた撮像センサ38の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサは、CMYGの4色の画像信号を出力する。このため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ38と同様のRGB各色の画像信号を得ることができる。また、撮像センサ38の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
CDS/AGC回路40は、撮像センサ38から受信したアナログの画像信号に、相関二重サンプリング(CDS)と自動利得制御(AGC)を行う。A/D(Analog to Digital)変換回路42は、CDS/AGC回路40を経たアナログ画像信号を、デジタルの画像信号に変換する。A/D変換回路42は、A/D変換後のデジタル画像信号を、プロセッサ装置16に入力する。
プロセッサ装置16は、画像信号取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、メモリ56と、信号処理部58と、画像処理部60と、映像信号生成部62とを備えている。
画像信号取得部50は、内視鏡12からデジタル画像信号を取得する。DSP52は、画像信号取得部50が取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ38の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理は、オフセット処理した画像信号に特定のゲインを乗じることにより信号レベルを整える。
リニアマトリクス処理は、ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理(等方化処理、又は同時化処理とも言う)を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ低減部54は、DSP52でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減処理した画像信号は、メモリ56に記憶する。
信号処理部58は、メモリ56からノイズ低減処理した画像信号を取得する。そして、信号処理部58は、取得した画像信号に対して、例えば、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像(単に、画像ともいう)を生成する。色変換処理は、画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理等により色の変換を行う処理である。色彩強調処理は、色変換処理した画像信号に対して行う。構造強調処理は、例えば、血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。
信号処理部58が行う色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常モードの場合、信号処理部58は、上記各種信号処理を行うことによって、自然な色合いの観察対象が写った画像(以下、通常観察画像という)を内視鏡画像として生成する。特殊モードの場合、信号処理部58は、観察対象に含まれる血管やリンパ管等の構造物を少なくとも強調する上記各種信号処理を行うことによって、構造物を強調した画像(以下、特殊観察画像という)を内視鏡画像として生成する。信号処理部58は、生成した内視鏡画像を画像処理部60に入力する。
また、信号処理部58は、静止画像取得部13bによりレリーズ操作が行われると、生成した内視鏡画像をストレージ64に保存する。ストレージ64は、プロセッサ装置16にLAN(Local Area Network)等で接続した外部記憶装置である。ストレージ64は、例えば、PACS(Picture Archiving and Communication System)等の内視鏡画像をファイリングするシステムのファイルサーバや、NAS(Network Attached Storage)等である。なお、ストレージ64には、静止画像取得部13bの操作に関係なく、内視鏡画像の動画をモニタ18に表示する場合に、この内視鏡画像の動画を保存しても良い。
画像処理部60は、内視鏡によって観察対象を撮像して得た画像に対して、血管やリンパ管等の構造物を強調する処理を行う。本実施形態では、血管を強調する場合について、以下説明を行う。画像処理部60は、画像取得部70と、抽出部72と、指標値算出部74と、判定部76と、色情報設定部78と、画像生成部80とを備える。
画像取得部70は、信号処理部58から画像を取得する。本実施形態では、特殊モードの場合について、以下説明をする。したがって、画像取得部70は、信号処理部58から特殊観察画像を取得する。
具体的には、特殊モードでは、光源20が紫色光Vと青色光Bとを順次に発するので、画像取得部70は、特殊観察画像として、紫色光Vで照明中の観察対象を撮像して得た画像(以下、極表層観察画像という)と、青色光Bで照明中の観察対象を撮像して得た画像(以下、表層観察画像という)とを取得する。極表層観察画像と表層観察画像とでは、観察対象の粘膜が観察できる他、極表層血管と、表層血管とが観察可能である。極表層観察画像と表層観察画像とを比較すると、極表層観察画像の方が極表層血管のコントラストが高く、表層観察画像の方が表層血管のコントラストが高い。
抽出部72は、画像取得部70が取得した画像から、血管を抽出して、血管抽出画像を得る。具体的には、抽出部72は、極表層観察画像と表層観察画像との間で差分をとることによって血管抽出画像を得る。より具体的には、例えば、抽出部72は、極表層観察画像の信号及び表層観察画像の信号を対数変換し、表層観察画像の信号から極表層観察画像の信号を減算した信号に基づいて血管抽出画像を得る。血管抽出画像では、表層血管を表す画素の画素値が、粘膜を表す画素の画素値よりも小さい値になる。また、血管抽出画像では、極表層血管を表す画素の画素値が、粘膜を表す画素の画素値よりも大きい値になる。すなわち、血管抽出画像では、表層血管が粘膜よりも暗く表示され、極表層血管が粘膜よりも明るく表示される。これにより、血管抽出画像は、極表層血管と表層血管との違いが極表層観察画像及び表層観察画像よりも顕著である。抽出部72は、血管抽出画像を指標値算出部74と画像生成部80に送信する。
指標値算出部74は、抽出部72により抽出した血管に基づいて、血管の指標値(以下、血管指標値という)を算出する。血管指標値とは、例えば、血管の本数、血管の分岐数、血管の分岐角度、分岐点間距離、血管の交差数、血管の太さ、血管の太さの変化、血管の太さの変化の複雑度、血管の長さ、血管の間隔、血管の深さ、血管の高低差、血管の傾き、血管の面積、血管の密度、血管のコントラスト、血管の色、血管の色の変化、血管の蛇行度、血管の血液濃度、血管の酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、血管の走行パターン、及び血管の血流量等である。指標値算出部74は、少なくとも上記2以上の血管指標値を算出する。指標値算出部74で算出する血管指標値の種類は、コンソール19の入力操作に基づいて設定する。血管指標値の種類は、上記した例のみに限定されない。
血管の本数とは、内視鏡画像全体又は関心領域内で抽出した血管の数である。血管の本数は、例えば、抽出した血管の分岐点の個数(分岐数)や他の血管との交差点の個数(交差数)等を用いて算出する。血管の分岐数や交差数は、血管のパターンを解析して算出する。血管の分岐角度は、2本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、又は、任意の分岐点とその隣の分岐点までの血管に沿った長さである。
血管の交差数とは、粘膜下の深さが異なる血管が内視鏡画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。
血管の太さ(血管径)とは、血管と粘膜の境界線間の距離である。血管の太さは、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数して得る。したがって、血管の太さは画素数であるが、内視鏡画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μm」等の長さの単位に換算可能である。
血管の太さの変化とは、血管の太さのばらつきに関する血管指標値であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率(拡張度ともいう)である。血管径の変化率は、血管の最も細い部分の太さ(最小径)と血管の最も太い部分の太さ(最大径)を用いて、「血管経の変化率(%)=最小径/最大径×100」で求める。
なお、過去の検査で観察対象を撮影して得た内視鏡画像と、その後の新たな検査で同じ観察対象を撮影して得た内視鏡画像と、を用いる場合、過去の検査で得た内視鏡画像から抽出した血管の太さに対して、その後の新たな検査で得た内視鏡画像から抽出した同じ血管の太さの時間的な変化を、血管の太さの変化としてもよい。
また、血管の太さの変化として、細径部の割合、又は太径部の割合を算出しても良い。細径部とは、太さが閾値以下の部分である。太径部とは、太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合(%)=細径部の長さ/血管の長さ×100」で求める。同様に、太径部の割合は、「太径部の割合(%)=太径部の長さ/血管の長さ×100」で求める。
血管の太さの変化の複雑度(以下、「太さ変化の複雑度」という)とは、血管の太さが変化している場合に、その変化がどの程度複雑であるかを表す血管指標値であり、血管の太さの変化を表す血管指標値(すなわち、血管径の変化率、細径部の割合、又は太径部の割合)を複数組み合わせて算出する血管指標値である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。
血管の長さとは、抽出した血管を長手方向に沿って計数した画素数である。
血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。抽出した血管が1本の場合、血管の間隔は値を持たない。
血管の深さは、粘膜(より具体的には粘膜の表面)を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、例えば、粘膜の表面に近い位置(粘膜下の浅い位置)にある表層血管をマゼンタ系の色で表しており、粘膜の表面から遠い位置(粘膜下の深い位置)にある中深層血管をシアン系の色で表しているので、指標値算出部74は、血管として抽出した画素のR,G,B各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。
血管の高低差とは、血管の深さの差の大きさである。例えば、注目する1本の血管の高低差は、この血管の最も深い箇所の深さ(最大深さ)と、最も浅い箇所の深さ(最小深さ)の差で求める。深さが一定の場合、高低差は零である。
血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き=血管の深さ/血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。
血管の面積は、血管として抽出した画素の画素数、又は、血管として抽出した画素の画素数に比例する値である。血管の面積は、関心領域内、関心領域外、又は、内視鏡画像全体について算出する。
血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域(例えば、単位面積の領域)を切り出し、この領域内の全画素に占める血管の割合(面積)を算出する。これを関心領域又は内視鏡画像全体の全画素に対して行うことで、各画素の血管の密度を算出することができる。
血管のコントラストとは、観察対象の粘膜に対する血管の相対的なコントラストである。血管のコントラストは、血管の輝度Yと、粘膜の輝度Yと、を用いて、例えば「Y/Y」又は「(Y−Y)/(Y+Y)」で算出する。
血管の色とは、血管を表す画素のRGBの各値である。そして、血管の色の変化とは、血管を表す画素のRGB各値の各々の最大値と最小値の差又は比である。例えば、血管を表す画素のB値の最大値と最小値の比、G値の最大値と最小値の比、又はR値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。
血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管指標値である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積(画素数)である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。
血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管指標値である。血管を表す画素のR値に対するG値の比(G/R)はヘモグロビンの量に比例するので、G/Rの値を算出することで、画素ごとに血液濃度を算出することができる。
血管の酸素飽和度とは、ヘモグロビンの総量(酸化ヘモグロビン及び還元ヘモグロビンの総量)に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の違いが大きい特定の波長帯域の光(例えば、波長470±10nm程度の青色光)で観察対象を照明した際に得た内視鏡画像を用いて算出することができる。波長470±10nm程度の青色光を用いる場合、血管を表す画素のB値は酸素飽和度と相関があるので、B値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。
動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が70%以上の血管を動脈とし、酸素飽和度が70%未満の血管を静脈とすれば、抽出した血管を動脈と静脈に区別できるので、上記動脈の割合及び静脈の割合を算出するするこができる。
投与した色素の濃度とは、観察対象に対して散布した色素、又は静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、B/GやB/R等が、観察対象に定着(あるいは一時的に付着)した色素の濃度を表す。
血管の走行パターンとは、血管の走行方向に関する血管指標値である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度(走行方向)や、任意に設定する基準線に対して血管がなす角度の分散(走行方向のばらつき)等である。
血管の血流量(血流速度ともいう)は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡12の鉗子チャネル等を介して併用する場合等に、内視鏡画像の血管を表す各画素のドップラーシフト周波数を、超音波プローブで得る信号を用いて算出することによって、血管の血流量を求めるができる。
指標値算出部74は、内視鏡画像の画素毎に血管指標値を算出する。例えば、血管指標値を算出する画素を含む予め定めた範囲(例えば血管指標値を算出する画素を中心とする99×99画素の範囲)の画素のデータを用いて1つの画素の血管指標値を算出する。例えば、血管指標値として血管の太さを算出する場合、画素毎の「血管の太さ」は、上記予め定めた範囲に写る血管の太さの統計量である。統計量とは、いわゆる基本統計量であり、例えば、最大値、最小値、平均値、中央値、または最頻値である。また、例示した値以外の統計量を使用しても良い。例えば、最大値、最小値、平均値、中央値、または最頻値等のいわゆる代表値を用いて演算した値(最大値と最小値の比等)や、分散や標準偏差、変動係数等のいわゆる散布度を使用することができる。
指標値算出部74は、コンソール19の操作によって内視鏡画像の一部に関心領域を設定した場合には、設定した関心領域内で血管指標値を算出する。関心領域を設定していない場合や、内視鏡画像の全部を関心領域に設定している場合には、指標値算出部74は、内視鏡画像の全体に対して血管指標値を算出する。
関心領域を設定する場合には、指標値算出部74は、関心領域に含まれる各画素の血管指標値の統計量を算出し、その値を関心領域の血管指標値とする。例えば、血管指標値として血管の太さを算出する場合、上記のように各画素の「血管の太さ」を算出し、関心領域を設定している場合には、さらに関心領域に含まれる各画素の「血管の太さ」の統計量を算出し、設定した1つの関心領域に対して1つの「血管の太さ」を算出する。内視鏡画像の全体を関心領域に設定する場合も同様である。
なお、画素毎の血管指標値を算出する場合の統計量と、関心領域の血管指標値を算出する場合の統計量は、同じ統計量であっても良いし、異なっていても良い。例えば、画素毎の血管の太さを算出する場合には「予め定めた範囲」に写る血管の太さの平均値を算出し、その後、関心領域の血管の太さを算出する場合にも、各画素の血管の太さの平均値を算出してもよいし、各画素の血管の太さの最頻値を算出しても良い。
また、算出する血管指標値の種類や、画素毎の血管指標値を算出する場合の統計量の計算の仕方と関心領域の血管指標値を算出する場合の統計量の計算の仕方の関係等によっては、画素毎の血管指標値を省略することができる。例えば、「血管の太さ」であれば、関心領域に写る血管の太さの平均値を、関心領域の血管の太さにすることができる。
判定部76は、指標値算出部74が算出した複数の血管指標値のそれぞれが、正常状態を表す正常値か、正常値とは異なる異常値かを判定する。具体的には、判定部76は、指標値算出部74が算出した血管指標値と特定の閾値とを比較して判定をする。そして、判定部76は、異常値と判定した血管指標値を異常指標値とし、正常値と判定した血管指標値を正常指標値とする。
例えば、がん等の病変の可能性がある部位では、正常状態の部位よりも血管の密度が高くなることが知られている。このため、判定部76は、血管の密度が閾値より高い場合は異常値と判定し、血管の密度が閾値以下の場合は正常値と判定する。
また、病変の可能性がある部位では、1本の血管が複数本に分岐して、血管の形状が複雑化することが知られている。このため、判定部76は、血管の分岐数が閾値より高い場合は異常値と判定し、血管の分岐数が閾値以下の場合は正常値と判定する。
また、病変の可能性がある部位では、正常状態の部位よりも血管の酸素飽和度が低くなることが知られている。このため、判定部76は、酸素飽和度が閾値より低い場合は異常値と判定し、酸素飽和度が閾値以上の場合は正常値と判定する。
なお、血管の深さの違いを強調した強調画像を生成する(詳しくは後で説明する)場合は、判定部76は、血管の深さについての判定を省略しても良い。例えば、血管の深さの違いを強調して、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とする場合、判定部76は、血管の深さについての判定を省略しても良い。
色情報設定部78は、異常指標値又は正常指標値に対して色情報を設定する。本実施形態では、異常指標値に対して色情報を設定する場合について、以下説明をする。具体的には、色情報設定部78は、例えばYCbCr空間において、Cb軸とCr軸とがなす平面上の異常指標値の位置に基づいて、色情報を設定する。より具体的には、判定部76による判定の結果、異常指標値が1つであった場合、色情報設定部78は、その異常指標値をCb軸又はCr軸に対応付けする。色情報設定部78は、例えば、異常指標値の値が小さい場合はCb値又はCr値を小さくし、異常指標値の値が大きい場合はCb値又はCr値を大きくする。これにより、色情報設定部78は、Cr軸又はCb軸上における異常指標値の位置に応じて色情報を設定する。なお、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とする場合には、色情報設定部78は、一方の軸に、血管の深さを対応付けし、他方の軸に、血管の深さとは異なる血管指標値(異常指標値)を対応付けする。
なお、異常指標値が2つであった場合には、色情報設定部78は、一方の異常指標値をCr軸に対応付けし、他方の異常指標値をCb軸対応付けして、各異常指標値のCr軸上またはCb軸上の位置に応じて、異常指標値ごとに色情報を設定しても良い。異常指標値が3つ以上であった場合には、Cb軸とCr軸とがなす平面上で異常指標値ごとに色相を異ならせることによって、異常指標値ごとに色情報を設定しても良い。
異常指標値がない場合には、色情報設定部78は、上記血管指標値のうちのいずれかに対して色情報を設定しても良いし、色情報を設定しなくても良い。異常指標値がない場合に色情報の設定を行う場合には、色情報設定部78は、例えば、血管の深さに対して色情報を設定する。
画像生成部80は、色情報設定部78が設定した色情報に基づいて、血管を強調した強調画像を生成する。具体的には、画像生成部80は、極表層観察画像または表層観察画像と、血管抽出画像とを用いて、複数の出力チャンネルを有する強調画像を生成する。より具体的には、画像生成部80は、極表層観察画像または表層観察画像を輝度チャンネルYに割り当て、血管抽出画像を二つの色差チャンネルCb,Crに割り当てる。なお、血管抽出画像を色差チャンネルCb,Crに割り当てる場合には、それぞれ特定の係数を乗じても良い。そして、ITU−R.601の逆変換にしたがって、輝度チャンネルY及び色差チャンネルCb,CrからRGBの強調画像を生成する。強調画像では、色情報に基づいて、異常指標値の画素を着色することによって、異常指標値の領域を強調している。
なお、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とする場合には、異常指標値及び血管の深さに応じて着色することによって、異常指標値の領域を深さごとに強調した強調画像を生成しても良い。また、異常指標値がない場合(すなわち、全ての血管指標値が正常値であった場合)には、画像生成部80は、血管の深さに応じて着色することによって、血管の深さの違いを強調した強調画像を生成しても良い。また、異常指標値がなく且つ色情報設定部78により色情報を設定しなかった場合には、上記のような着色を行わずに画像を生成しても良い。
映像信号生成部62は、画像処理部60が画像処理した内視鏡画像を、モニタ18で出力表示が可能な映像信号に変換する。モニタ18は、通常モードの場合に通常観察画像を表示し、特殊モードの場合に強調画像(特殊観察画像)を表示する。
本実施形態では、抽出部72が得た血管抽出画像を用いて、指標値算出部74が血管の密度と血管の分岐数と血管の深さの3種類の血管指標値を算出する場合について、以下説明を行う。
図3に示すように、抽出部72は、極表層観察画像82と表層観察画像83との間で差分をとることによって、血管を抽出して、血管抽出画像84を得る。極表層観察画像82及び表層観察画像83は、観察対象の粘膜85、粘膜下の浅い位置にある極表層血管86、及び極表層血管86よりも粘膜下の深い位置にある表層血管87が観察可能である。極表層観察画像82と表層観察画像83とを比較すると、極表層観察画像82の方が極表層血管86のコントラストが高く、表層観察画像83の方が表層血管87のコントラストが高い。血管抽出画像84は、極表層観察画像82及び表層観察画像83よりも、極表層血管86と表層血管87との違いが顕著に表れている。
図4に示すように、指標値算出部74は、抽出部72から得た血管抽出画像84を用いて、極表層血管86の密度と分岐数と深さの3種類の血管指標値を算出する。本例では、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とする場合について説明をする。したがって、判定部76は、密度と分岐数について判定をするが、深さについては判定を省略する。具体的には、判定部76は、極表層血管86の密度が閾値より高い場合は異常値と判定し、極表層血管86の密度が閾値以下の場合は正常値と判定する。同様に、判定部76は、極表層血管86の分岐数が閾値より高い場合に異常値と判定し、極表層血管86の分岐数が閾値以下の場合は正常値と判定する。判定部76は、例えば極表層血管86の密度を異常値と判定する。
色情報設定部78は、YCbCr空間において、Cb軸に密度を対応付けし、Cr軸に深さを対応付けする。色情報設定部78は、血管の密度が高い場合はCb値を大きくし、血管の密度が低い場合はCb値を小さくする。また、色情報設定部78は、血管が深い場合はCr値を大きくし、血管が浅い場合はCr値を小さくする。これにより、色情報設定部78は、Cb軸上の密度の位置とCr軸上の深さの位置とに基づいて色情報(例えば、赤系の色等)を設定する。
画像生成部80は、血管抽出画像84を用いて、色情報に基づいて強調画像94を生成する。具体的には、画像生成部80は、極表層観察画像82を輝度チャンネルYに割り当てて、血管抽出画像84を色差チャンネルCb,Crに割り当てる。極表層観察画像82を輝度チャンネルYに割り当てることによって、極表層観察画像82を輝度情報として用いている。これにより、極表層血管86を表層血管87よりも強調している。強調画像94は、極表層血管86の密度が異常値の画素を、色情報に基づいた特定の色(例えば、赤系の色等)で着色したことによって、極表層血管86の密度が異常値の領域を強調している。
次に、特殊モードにおける内視鏡システム10の動作について、図5のフローチャートに沿って説明する。
画像取得部70は、内視鏡12が観察対象を撮像して得た特殊観察画像(内視鏡画像)を取得する(S11)。具体的には、特殊モードでは、紫色光Vと青色光Bとを順次に発するので、画像取得部70は、紫色光Vで照明中の観察対象を撮像して得た極表層観察画像82と、青色光Bで照明中の観察対象を撮像して得た表層観察画像83とを取得する。
抽出部72は、画像取得部70が取得した極表層観察画像82と表層観察画像83との間で差分をとることによって、血管を抽出し(S12)、血管抽出画像84を得る。血管抽出画像84では、極表層血管86と表層血管87との違いが、極表層観察画像82及び表層観察画像83よりも顕著である。抽出部72が血管を抽出すると、指標値算出部74は、血管抽出画像84を用いて、極表層血管86の密度と分岐数と深さとの3種類の血管指標値を算出する(S13)。
判定部76では、極表層血管86の密度が異常値か否かを判定する(S14)。判定部76は、極表層血管86の密度を異常値と判定した場合、極表層血管86の密度を異常指標値とする(S15)。同様に、判定部76では、極表層血管86の分岐数が異常値か否かを判定し(S14)、異常値と判定した場合に、極表層血管86の分岐数を異常指標値とする(S15)。例えば、上記のように、極表層血管86の密度のみを異常値と判定する。
色情報設定部78は、異常指標値である密度に対して色情報を設定する(S16)。本例では、上記のように、異常指標値がいずれの深さにある血管に関するものであるかを判別可能とするので、色情報設定部78は、YCbCr空間において、Cb軸に密度を対応付けし、Cr軸に深さを対応付けすることによって色情報を設定する。画像生成部80では、判定部76が設定した色情報に基づいて、強調画像94を生成する(S17)。この強調画像94では、密度が異常値の画素を、色情報に基づく特定の色(例えば、赤系の色)で着色して強調している。画像生成部80が生成した強調画像94は、モニタ18に表示する。なお、判定部76の判定の結果、異常指標値がなかった場合には(S14でNO)、色情報設定部78は、例えば血管の深さに対して色情報を設定し(S18)、画像生成部80では、色情報に基づいて、血管の深さの違いを強調した強調画像を生成する(S17)。
以上のように、複数の血管指標値を算出し、各血管指標値について正常値か異常値かを判定し、異常値と判定した血管指標値である異常指標値に応じた色情報に基づいて強調画像を生成するので、複数の血管指標値を用いる場合であっても、注目すべき血管指標値に絞り込んで色表示するため、診断に際して医師が判断を迅速に行うことを支援することができる。
なお、上記第1実施形態では、色情報設定部78は、異常指標値の値が小さい場合はCb値又はCr値を小さくし、異常指標値の値が大きい場合はCb値又はCr値を大きくしているが、これとは逆に、異常指標値の値が小さい場合はCb値又はCr値を大きくし、異常指標値の値が大きい場合はCb値又はCr値を小さくしても良い。また、このような設定を、コンソール19等の入力操作に基づいて行うようにしても良い。
なお、上記第1実施形態では、異常指標値をCb軸に対応付けているが、異常指標値をCr軸に対応付けても良いし、Cb軸とCr軸との両方に対応付けても良い。また、コンソール19の入力操作に基づいて、異常指標値を対応付けする軸を設定しても良い。また、異常指標値に対して、色相方向または彩度方向に変化させて色情報を設定しても良い。
なお、色情報設定部78は、Cb軸とCr軸だけでなく、Y軸にも異常指標値を対応付けしても良い。
また、色情報設定部78は、YCbCr空間を用いて色情報を設定しているが、YCbCr空間の他に、Lab、Luv、RGB、HLS等の各種色空間を用いても良い。このような各種色空間を用いる場合は、異常指標値を、色相を表す軸に優先的に対応付けすることが好ましい。
なお、上記第1実施形態では、コンソール19の入力操作に基づいて、指標値算出部74が算出する血管指標値の種類を選択しているが、指標値算出部74が算出する血管指標値の種類を予め決定しておいても良い。また、指標値算出部74は、全種類の血管指標値を算出しても良い。
なお、モニタ18には、強調画像94とともに、異常指標値の種類を表示しても良い。
[第2実施形態]
なお、上記第1実施形態では、色情報設定部78は、1つの異常指標値について色情報の設定を行っているが、第2実施形態では、複数の異常指標値について、異常指標値ごとに色情報の設定を行う。この場合、上記第1実施形態の色情報設定部78に代えて、図6に示す色情報設定部100を備える。以下では、第1実施形態と同じ部材については、同じ符号を付し、説明を省略する。
図6に示すように、色情報設定部100は、異常指標値用優先度テーブル102と、色情報用優先度テーブル104とを有している。異常指標値用優先度テーブル102には、複数の異常指標値の種類を、異常指標値ごとに優先度を定めて記憶している。異常指標値用優先度テーブル102に記憶する異常指標値の種類は、上記全種類の血管指標値のなかから、コンソール19の入力操作に基づいて設定する。例えば、異常指標値用優先度テーブル102は、異常指標値として、「密度」と「分岐数」と「深さ」とを記憶する。優先度は、コンソール19の入力操作に基づいて設定する。例えば、優先度が高い順に「高」「中」「低」で表わす場合には、密度の優先度を「高」、分岐数の優先度を「中」、深さの優先度を「低」というように設定する。
色情報用優先度テーブル104には、複数の色情報の種類を、色情報ごとに優先度を定めて記憶している。複数の色情報は、少なくとも色相が互いに異なっている。例えば、赤系の色の第1色情報、シアン系の色の第2色情報、緑系の色の第3色情報である。これらの色情報は、コンソール19の入力操作に基づいて設定する。なお、複数の色情報は、彩度を互いに異ならせても良い。
第1〜第3色情報のそれぞれには、優先度が設定されている。優先度は、コンソール19の入力操作に基づいて設定する。例えば、優先度を高い順に「高」「中」「低」で表わす場合には、第1色情報の優先度を「高」、第2色情報の優先度を「中」、第3色情報の優先度を「低」というように設定する。なお、優先度は、強調画像内での視認性が高い色情報ほど高く設定するようにしても良い。
そして、色情報設定部100では、異常指標値用優先度テーブル102に記憶している異常指標値と、色情報用優先度テーブル104に記憶している色情報との割り当てを行う。具体的には、色情報設定部100は、優先度が高い異常指標値ほど、優先度が高い色情報の割り当てを優先的に行う。例えば、判定部76の判定により、極表層血管86の密度と分岐数とが異常指標値であった場合、色情報設定部100は、優先度が「高」である極表層血管86の密度に対して、優先度が「高」である第1色情報を割り当てる。次に、優先度が「中」である極表層血管86の分岐数に対して、優先度が「中」である第2色情報を割り当てる。
以上のように、異常指標値が複数ある場合には、優先度の高い異常指標値ほど、優先度の高い色情報の割り当てを行うことにより、注目すべき血管指標値のなかから、より有用な血管指標値に絞り込んで色表示するため、より有用な血管指標値を用いて診断を迅速に行うことを支援することができる。
なお、上記第2実施形態では、異常指標値用優先度テーブル102には、コンソール19の入力操作に基づいて設定した血管指標値に対応する異常指標値を記憶しているが、全種類の血管指標値に対応する全種類の異常指標値、または全種類の血管指標値のうちのいずれかに対応する異常指標値を、予め記憶しておいても良い。また、本例では、優先度の高さを「高」「中」「低」で表わしているが、優先度の高さの表し方は任意である。例えば、優先度の高さを「1」「2」「3」というように数字で表しても良い。
[第3実施形態]
上記第2実施形態では、色情報設定部78は、異常指標値に予め定めている優先度に従って色情報の設定を行っているが、第3実施形態では、異常指標値ごとの優先度を変更し、変更後の優先度に従って色情報の設定を行う。この場合、上記第2実施形態の画像処理部60に代えて、図7に示す画像処理部110を備える。画像処理部110は、上記第2実施形態の画像処理部60の各構成に加え、優先度変更部112を有する。
図8に示すように、優先度変更部112は、色情報設定部100の異常指標値用優先度テーブル102に記憶している異常指標値ごとの優先度を変更する。例えば、優先度変更部112は、異常指標値用優先度テーブル102に記憶している密度の優先度を「高」から「中」に変更し、分岐数の優先度を「中」から「低」に変更し、深さの優先度を「低」から「高」に変更する。
優先度変更部112は、上記優先度の変更を、観察条件に基づいて行う。観察条件は、内視鏡12の種類、観察対象との間の観察距離、内視鏡12のズーム倍率、観察モードの種類、観察対象に散布した色素、1つの画像から異なる観察距離の取得、という条件のなかからいずれかを選択する。
以下、第3A実施形態〜第3F実施形態の6つの実施形態によって、優先度変更部112の機能を上記観察条件ごとに説明する。
[第3A実施形態]
第3A実施形態の画像処理部110は、内視鏡識別部を有している。内視鏡識別部は、プロセッサ装置16に接続している内視鏡12の種類を識別する。具体的には、内視鏡識別部は、内視鏡12の種類が、上部消化管の観察に用いる上部観察用内視鏡か、下部消化管の観察に用いる下部観察用内視鏡かを識別することによって、上部観察用内視鏡と下部観察用内視鏡との交換が行われたか否か判定する。
優先度変更部112は、観察条件として、上部観察用内視鏡と下部観察用内視鏡との交換が行われた場合に、上記のように優先度の変更を行う。例えば、優先度変更部112は、上部観察用内視鏡から下部観察用内視鏡に交換した場合には、異常指標値用優先度テーブル102に記憶している密度の優先度を「高」から「中」に変更し、分岐数の優先度を「中」から「低」に変更し、深さの優先度を「低」から「高」に変更する。このように、内視鏡12を交換した場合に優先度を変更するため、注目すべき血管指標値の優先度が上部消化管と下部消化管とで異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3B実施形態]
第3B実施形態では、優先度変更部112は、観察対象との間の観察距離を取得する。観察距離は、画像取得部70が取得した内視鏡画像の露光量や、内視鏡画像の周波数解析等で取得できる。観察距離を内視鏡画像の露光量から取得する場合、ズーム倍率の変更が開始した際に得た内視鏡画像の露光量に基づいて第1観察距離を取得し、ズーム倍率の変更が終了した際に得た内視鏡画像の露光量に基づいて第2観察距離を取得する。また、観察距離を内視鏡画像の周波数解析によって取得する場合、ズーム倍率の変更が開始した際に得た内視鏡画像に対して周波数解析を行うことによって第1観察距離を取得し、ズーム倍率の変更が終了した際に得た内視鏡画像に対して周波数解析を行うことによって第2観察距離を取得する。このように、優先度変更部112は、第1観察距離と、第1観察距離とは異なる第2観察距離とを取得する。
優先度変更部112は、観察条件として、第1観察距離から第2観察距離に変化した場合に、上記のように優先度の変更を行う。観察距離が近距離の場合に得た内視鏡画像に写る血管の一部または全部は、観察距離が遠距離の場合に得た内視鏡画像内に写らないことがある。このため、遠距離の場合に得た血管指標値は、近距離の場合に得た血管指標値よりも正確でない可能性がある。例えば、血管の分岐数は、遠距離の場合には正確に算出することが難しいが、近距離の場合には正確に算出することができる。このため、優先度変更部112は、第1観察距離よりも第2観察距離の方が遠距離の場合に、第1観察距離から第2観察距離に変化すると、異常指標値用優先度テーブル102に記憶している分岐数の優先度を「中」から「低」に変更する。このように、観察距離が変化した場合に優先度を変更するため、注目すべき血管指標値の優先度が観察距離で異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3C実施形態]
第3C実施形態では、優先度変更部112は、ズーム操作部13dから、第1ズーム倍率と、第1ズーム倍率とは異なる第2ズーム倍率とを取得する。そして、優先度変更部112は、観察条件として、第1ズーム倍率から第2ズーム倍率に変化した場合に、上記のように優先度の変更を行う。例えば、第1ズーム倍率よりも第2ズーム倍率の方が低倍率(すなわち、遠距離)の場合、第1ズーム倍率から第2ズーム倍率に変化すると、第1ズーム倍率で得た内視鏡画像に写る血管の一部または全部が、第2ズーム倍率で得た内視鏡画像内に写らないことがある。このため、第2ズーム倍率で得た血管指標値は、第1ズーム倍率で得た血管指標値よりも正確でない可能性がある。例えば、血管の分岐数は、遠距離の第2ズーム倍率では正確に算出することが難しいが、近距離の第1ズーム倍率では正確に算出することができる。このため、優先度変更部112は、第1ズーム倍率から第2ズーム倍率に変化すると、異常指標値用優先度テーブル102に記憶している分岐数の優先度を「中」から「低」に変更する。このように、ズーム倍率が変化した場合に優先度を変更するため、注目すべき血管指標値の優先度がズーム倍率で異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3D実施形態]
第3D実施形態では、特殊モードに第1特殊モードと第2特殊モードとが含まれている。第1特殊モードと第2特殊モードは、上記各実施形態と同様に、2種類以上の血管指標値を用いて強調画像を生成するモードである。第1特殊モードは、強調画像の生成に用いる血管指標値の種類の全部または一部が、第2特殊モードとは異なっている。血管指標値の種類は、コンソール19の入力操作に基づいて、特殊モードごとに設定する。なお、第1特殊モード及び第2特殊モードには、血管指標値の種類を予め設定しておいても良い。特殊モードは、本発明の「観察モード」に対応している。したがって、第1特殊モードは、本発明の「第1観察モード」に対応し、第2特殊モードは、本発明の「第2観察モード」に対応している。
第3D実施形態の画像処理部110には、モード操作部が設けられている。モード操作部は、第1特殊モードと第2特殊モードとのうちいずれかの特殊モードを選択し、選択した特殊モードで強調画像を生成する際に用いる血管指標値の優先度を設定する。優先度の設定は、診断学に基づいて、血管指標値ごとに行う。
第3D実施形態では、異常指標値用優先度テーブル102に記憶している異常指標値ごとの優先度は、モード操作部で設定した優先度に基づいて定められている。そして、優先度変更部112は、観察条件として、第1特殊モードから第2特殊モードに切り替えられた場合に、異常指標値用優先度テーブル102に記憶している異常指標値の種類を、第2特殊モードで用いる異常指標値の種類に変更する。また、優先度変更部112は、異常指標値用優先度テーブル102に異常指標値ごとに定めている優先度を、第2特殊モードで設定した血管指標値ごとの優先度に基づいて変更する。このように、特殊モードを切り替えた場合に優先度を変更するため、注目すべき血管指標値の優先度が特殊モードごとに異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3E実施形態]
第3E実施形態では、優先度変更部112は、観察条件として、観察対象に特定の色素が散布された場合に、上記のように優先度の変更を行う。観察対象に特定の色素が散布された場合は、内視鏡画像内のほぼ全て(例えば、内視鏡画像の3/4以上等)が、観察対象の本来の色とは異なる色で表される。このため、優先度変更部112は、内視鏡画像の色を解析し、その色に基づいて観察対象に特定の色素が散布されたと認識した場合に、優先度を変更する。例えば、色素散布前において、異常指標値用優先度テーブル102に記憶している血管の密度に対する優先度を「高」とすると、優先度変更部112は、色素を散布した場合に、異常指標値用優先度テーブル102に記憶している血管の密度に対する優先度を「中」に変更する。なお、コンソール19の入力操作に基づいて、観察対象に特定の色素を散布したか否かを認識可能にしても良い。このように、色素を散布した場合に優先度を変更するため、注目すべき血管指標値の優先度が色素の有無で異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第3F実施形態]
第3F実施形態の画像処理部110は、距離取得部を有している。距離取得部は、画像取得部70が取得した内視鏡画像から、観察対象との間の観察距離である第1観察距離と、第1観察距離とは異なる第2観察距離とを取得する。
具体的には、距離取得部は、図9に示す内視鏡画像114を、第1エリア116と、第2エリア117とに2分割する。内視鏡画像114は、観察対象の表面に直交する軸に対して内視鏡12が傾いた状態で撮影した画像であり、観察対象の奥行きが表れている。内視鏡画像114は、観察対象の粘膜85、極表層血管86、表層血管87が観察可能である。第1エリア116では、奥行き方向に暗部118が存在している。暗部118では、露光量が閾値以下となる。
距離取得部は、第1エリア116の平均の露光量を求めることによって、第1エリア116の平均の観察距離を求める。距離取得部は、求めた第1エリア116の平均の観察距離を第1観察距離として取得する。同様に、距離取得部は、第2エリア117の平均の露光量を求めることによって、第2エリア117の平均の観察距離を求める。距離取得部は、求めた第2エリア117の平均の観察距離を第2観察距離として取得する。暗部118を含む第1エリア116では、第2エリア117よりも平均の露光量が小さい。したがって、第1観察距離は、第2観察距離よりも遠距離である。このため、距離取得部は、内視鏡画像内の露光量の分布に基づいて、内視鏡12の角度を推定することができる。
優先度変更部112は、観察条件として、距離取得部が第1観察距離と第2観察距離とを取得した場合に、上記のように優先度の変更を行う。例えば、第1エリア116では、優先度変更部112は、異常指標値用優先度テーブル102に記憶している血管の密度に対する優先度を「高」から「低」に変更し、第2エリア117では、異常指標値用優先度テーブル102に記憶している血管の深さに対する優先度を「低」から「高」に変更する。このように、内視鏡画像内で異なる観察距離を得た場合に優先度を変更するため、注目すべき血管指標値の優先度が観察距離ごとに異なる場合であっても、変更後の優先度の高い血管指標値に絞り込んで色表示することができる。
[第4実施形態]
上記各実施形態では、強調画像の輝度情報として、極表層観察画像82または表層観察画像83を用いているが、正常値の血管指標値と異常値の血管指標値との差分値を用いても良い。以下、輝度情報として正常値の血管指標値と異常値の血管指標値との差分値を用いる場合について説明する。
第4実施形態では、上記第1実施形態の画像処理部60に代えて、図10に示す画像処理部120を備える。
画像処理部120には、上記第1実施形態の画像処理部60の各構成に加え、正常指標値記憶部122と、輝度情報設定部124とを有する。正常指標値記憶部122は、正常指標値を記憶する。正常指標値は、異常指標値に対して、正常状態を表す正常値の血管指標値である。
輝度情報設定部124は、内視鏡画像を複数の領域に分割し、分割した領域ごとに、異常指標値と正常指標値との差分値を求める。具体的には、領域内の各画素の異常指標値を平均し、その平均した異常指標値と正常指標値との差分値を求める。差分値が大きいほど、異常指標値が正常指標値から離間しているので、その領域は病変の悪化が深刻である。なお、内視鏡画像の分割は、コンソール19に基づいて行っても良い。
輝度情報設定部124は、求めた差分値に応じて輝度情報を設定する。輝度情報設定部124は、例えば、YCbCr空間において、Y軸上の差分値の位置に基づいて、輝度情報を設定する。具体的には、輝度情報設定部124は、差分値をY軸に対応付けて、差分値に基づくY軸上の位置を判定し、この位置におけるY値を輝度情報として設定する。また、輝度情報設定部124は、差分値が大きくなるほど、輝度を高く設定する。
画像生成部80は、色情報設定部78が設定した色情報と、輝度情報設定部124が設定した輝度情報とに基づいて、強調画像を生成する。この場合の強調画像は、異常指標値の画素が、色情報に基づいた色で着色されているだけでなく、異常指標値と正常指標値との差分値に基づいた輝度で表されている。このため、強調画像は、病変の悪化が比較的軽微である場合は暗くなり、病変の悪化が深刻な場合は明るくなっている。このように、注目すべき血管指標値のうち、正常値との差が大きい血管指標値を高輝度表示するため、より有用な血管指標値を提示することができる。
なお、上記各実施形態では、色情報設定部78は、YCbCr空間を用いて、異常指標値に対して色情報を設定しているが、図11に示す2次元LUT126を参照して、色情報を設定しても良い。2次元LUT126は、例えば縦軸が重み付け係数で、横軸が血管指標値で表される。重み付け係数は、例えば0より大きく且つ1以下の数値である。また、2次元LUT126は、例えば血管指標値が閾値Th以上となると、血管指標値が閾値Th未満の場合よりも重み付け係数の値が大きく変化するものとする。そして、画像生成部80は、血管抽出画像84を色差チャンネルCb,Crに割り当てる際に、色情報設定部78から2次元LUT126に基づいた重み付け係数を乗じる。この割り当ての際には、さらに、特定の係数を乗じても良い。これにより、複数の血管指標値を用いる場合であっても、注目すべき血管指標値に絞り込んで色表示するため、診断に際して医師が判断を迅速に行うことを支援することができる。
なお、2次元LUT126において血管指標値が閾値Th未満の場合、画像生成部80は、血管の色を変化させなくても良い。また、2次元LUTは、重み付け係数の値が血管指標値の値と比例して増加するものでも良い。
なお、上記各実施形態では、判定部76は、特定の閾値を用いて血管指標値が正常値か異常値かを判定しているが、これに代えて、判定用のルックアップテーブルを用いて判定をしても良い。判定用のルックアップテーブルは、血管指標値が正常値又は異常値のいずれに該当するかを記憶する。例えば、判定用のルックアップテーブルには、血管の密度が、正常値又は異常値のいずれに該当するかを記憶している。そして、判定部76は、この判定用のルックアップテーブルを参照して、指標値算出部74が算出した血管の密度が、正常値か異常値かを判定する。
また、判定部76は、特定の閾値や判定用のルックアップテーブルを用いて判定をする他、2つの軸からなる2次元のマップを用いて判定をしても良い。判定部76は、2次元のマップにおいて、例えば、一方の軸に血管の密度を対応付けし、他方の軸に血管の分岐数を対応付けする。2次元のマップ上には、正常値の密度と正常値の分岐数が属する領域と、異常値の密度と異常値の分岐数が属する領域と、正常値の密度と異常値の分岐数が属する領域と、異常値の密度と正常値の分岐数が属する領域とが設定されている。そして、判定部76は、指標値算出部74が算出した血管の密度と分岐数が属する領域に応じて、血管の密度と分岐数とのそれぞれが正常値か異常値かを判定する。なお、3つの軸からなる3次元のマップを用いて判定をしても良い。この3次元のマップの場合には、各軸に、互いに異なる3つの血管指標値をそれぞれ対応付けすることができる。
なお、上記各実施形態では、画像生成部80は、異常指標値の領域を強調する処理を行っているが、これに代えて、異常指標値の領域以外の領域を抑制する処理を行うことにより、異常指標値の領域を相対的に強調しても良い。
なお、上記各実施形態では、色情報設定部は、異常指標値に対して色情報を設定しているが、これに代えて、正常指標値に対して色情報を設定しても良い。正常指標値に対して色情報を設定する場合は、異常指標値に対して色情報を設定する場合と同様の方法を用いることができるので、詳しい説明は省略する。なお、この場合には、画像生成部は、例えば、異常指標値の画素を着色せずに、判定部が正常値と判定した血管指標値の画素を色情報に基づいて着色することによって強調画像を生成しても良い。
なお、上記各実施形態では、画像処理部は、血管を強調しているが、これに加えて又は代えて、リンパ管を強調しても良い。リンパ管は、血管に沿って全身に張り巡らされている。このため、リンパ管にがん細胞が侵入した場合には、リンパ管を通して、リンパ節や他の臓器等に転移するおそれがある。したがって、血管だけでなく、リンパ管を強調することにより、医師は、がんの転移を判断することができる。なお、血管やリンパ管に限らず、その他の管状の構造物等を強調しても良い。
上記実施形態では4色のLED20a〜20dを用いているが、4色のLED20a〜20dの代わりに、キセノンランプ等の広帯域光源と回転フィルタを用いて観察対象の照明を行っても良い。また、カラーの撮像センサ38に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。それ以外については、第1実施形態と同様である。
図12に示す内視鏡システム200では、光源装置14において、内視鏡システム10の各LED20a〜20dに代えて、広帯域光源202と、回転フィルタ204と、フィルタ切替部206とが設けられている。また、撮像光学系30bには、カラーの撮像センサ38の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ208が設けられている。
広帯域光源202はキセノンランプや白色LED等であり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、回転軸に近い内側に設けた通常モード用フィルタ210と、回転軸から遠い外側に設けた特殊モード用フィルタ212とを備えている(図13参照)。フィルタ切替部206は、回転フィルタ204を径方向に移動する。具体的には、フィルタ切替部206は、モード切替部13cにより通常モードにセットした場合に、回転フィルタ204の通常モード用フィルタ210を白色光の光路に挿入し、特殊モードにセットした場合に、回転フィルタ204の特殊モード用フィルタ212を白色光の光路に挿入する。
図13に示すように、通常モード用フィルタ210には、周方向に沿って、Bフィルタ210aと、Gフィルタ210bと、Rフィルタ210cとが設けられている。Bフィルタ210aは、白色光のうち青色光を透過する。Gフィルタ210bは、白色光のうち緑色光を透過する。Rフィルタ210cは、白色光のうち赤色光を透過する。したがって、通常モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光により交互に観察対象を照明する。
特殊モード用フィルタ212には、周方向に沿って、白色光のうち特定の波長帯域の狭帯域光を透過するフィルタが少なくとも設けられている。例えば、特殊モード用フィルタ212には、Bnフィルタ212aと、Gフィルタ212bと、Rフィルタ212cとが設けられている。Bnフィルタ212aは、白色光のうち特定の波長帯域の青色狭帯域光を透過する。Gフィルタ212bは、白色光のうち緑色光を透過する。Rフィルタ212cは、白色光のうち赤色光を透過する。したがって、特殊モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色光、赤色光により交互に観察対象を照明する。
なお、特殊モード用フィルタ212には、上記各フィルタ212a〜212cの他、白色光のうち紫色光を透過するVフィルタや白色光のうち青色光を透過するBフィルタ等を設けても良い。上記第1実施形態のように、特殊モードで紫色光Vと青色光Bとを順次に発する場合には、特殊モード用フィルタ212には、Vフィルタ及びBフィルタを設ける。
内視鏡システム200では、通常モード時には、青色光、緑色光、赤色光で観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、RGBの3色の画像信号を得ることができる。そして、RGB色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常観察画像を生成する。
一方、特殊モード時には、青色狭帯域光、緑色光、赤色光で観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、Bn画像信号と、G画像信号、R画像信号を得ることができる。そして、Bn画像信号と、G画像信号、R画像信号に基づいて、第1実施形態と同様の方法で、特殊観察画像を生成する。内視鏡システム200では、特殊観察画像から、観察対象の血管を抽出し、抽出した血管について複数の血管指標値を算出し、血管指標値のそれぞれが正常値か異常値かを判定し、異常値と判定した血管指標値である異常指標値に対して色情報を設定、又は正常値と判定した血管指標値である正常指標値に対して色情報を設定し、その色情報に基づいて強調画像を生成する。
上記各実施形態では、撮像センサ38が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10、200によって本発明を実施しているが、カプセル内視鏡システムにおいて本発明を実施しても良い。カプセル内視鏡システムは、例えば、図14に示すカプセル内視鏡300と、プロセッサ装置(図示しない)とを少なくとも有する。カプセル内視鏡300は、光源302と、光源制御部303と、撮像センサ304と、画像信号取得処理部306と、送受信アンテナ308とを備えている。光源302は、内視鏡システム10の光源20と同様に構成され、光源制御部303の制御によって、照明光を発光する。画像信号取得処理部306は、画像信号取得部50、DSP52、ノイズ低減部54、及び信号処理部58として機能する。カプセル内視鏡システムのプロセッサ装置は、内視鏡システム10のプロセッサ装置16と同様に構成され、画像処理部60としても機能する。画像信号取得処理部306が生成する内視鏡画像は、送受信アンテナ308を介してプロセッサ装置に送信される。そして、プロセッサ装置では、受信した内視鏡画像から、観察対象の血管を抽出し、抽出した血管について複数の血管指標値を算出し、血管指標値のそれぞれが正常値か異常値かを判定し、異常値と判定した血管指標値である異常指標値に対して色情報を設定、又は正常値と判定した血管指標値である正常指標値に対して色情報を設定し、その色情報に基づいて強調画像を生成する。
10、200 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画像取得部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源
20a V−LED
20b B−LED
20c G−LED
20d R−LED
22 光源制御部
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
34 対物レンズ
36 ズームレンズ
38 撮像センサ
40 CDS/AGC回路
42 A/D変換回路
50 画像信号取得部
52 DSP
54 ノイズ低減部
56 メモリ
58 信号処理部
60、110、120 画像処理部
62 映像信号生成部
64 ストレージ
70 画像取得部
72 抽出部
74 指標値算出部
76 判定部
78、100 色情報設定部
80 画像生成部
82 極表層観察画像
83 表層観察画像
84 血管抽出画像
85 粘膜
86 極表層血管
87 表層血管
94 強調画像
102 異常指標値用優先度テーブル
104 色情報用優先度テーブル
112 優先度変更部
114 内視鏡画像
116 第1エリア
117 第2エリア
118 暗部
122 正常指標値記憶部
124 輝度情報設定部
126 2次元LUT
202 広帯域光源
204 回転フィルタ
206 フィルタ切替部
208 モノクロの撮像センサ
210 通常モード用フィルタ
210a Bフィルタ
210b Gフィルタ
210c Rフィルタ
212 特殊モード用フィルタ
212a Bnフィルタ
212b Gフィルタ
212c Rフィルタ
300 カプセル内視鏡
302 光源
303 光源制御部
304 撮像センサ
306 画像信号取得処理部
308 送受信アンテナ

Claims (12)

  1. 内視鏡によって観察対象を撮像して得た画像を取得する画像取得部と、
    前記画像から、前記観察対象に含まれる構造物を抽出する抽出部と、
    前記抽出部で抽出した構造物に基づいて複数の指標値を算出する指標値算出部と、
    複数の前記指標値のそれぞれが、正常状態を表す正常値か、前記正常値とは異なる異常値かの判定をする判定部と、
    前記判定部が前記異常値と判定した前記指標値である異常指標値に対して色情報を設定、又は前記判定部が前記正常値と判定した前記指標値である正常指標値に対して色情報を設定する色情報設定部と、
    前記色情報設定部が設定した前記色情報に基づいて、前記構造物を強調した強調画像を生成する画像生成部とを備え、
    前記色情報は複数あり、且つ前記色情報ごとに優先度が定められており、
    前記異常指標値又は前記正常指標値は複数あり、且つ前記異常指標値又は前記正常指標値ごとに優先度が定められており、
    前記色情報設定部は、前記異常指標値又は前記正常指標値のうち、優先度が高い前記異常指標値又は前記正常指標値ほど、優先度が高い前記色情報の割り当てを行う内視鏡システム。
  2. 前記判定部は、前記指標値と特定の閾値とを比較して判定し、
    又は、前記指標値が前記正常値又は前記異常値のいずれに該当するかを記憶するルックアップテーブルを参照して判定する請求項1に記載の内視鏡システム。
  3. 前記構造物とは、血管である請求項1または2に記載の内視鏡システム。
  4. 観察条件に基づいて、前記異常指標値又は前記正常指標値ごとに定められた優先度を変更する優先度変更部を有し、
    前記色情報設定部は、変更後の優先度に従って前記割り当てを行う請求項1〜3のいずれか1項に記載の内視鏡システム。
  5. 前記内視鏡が上部観察用内視鏡か下部観察用内視鏡かを識別する内視鏡識別部を有し、
    前記優先度変更部は、前記観察条件として、前記上部観察用内視鏡と前記下部観察用内視鏡との交換が行われた場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。
  6. 前記優先度変更部は、前記観察条件として、前記観察対象との間の観察距離が、第1観察距離から、前記第1観察距離とは異なる第2観察距離に変化した場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。
  7. 前記内視鏡のズーム倍率を、第1ズーム倍率と、前記第1ズーム倍率とは異なる第2ズーム倍率とで変化させるズーム操作部を有し、
    前記優先度変更部は、前記観察条件として、前記第1ズーム倍率から前記第2ズーム倍率に変化した場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。
  8. 複数の前記指標値のうち2以上を用いる複数の観察モードからいずれかの観察モードを選択し、且つ選択した前記観察モードで用いる前記指標値ごとに、診断学に基づいて優先度を設定するモード操作部を有し、
    前記指標値ごとに設定された優先度に基づいて、前記異常指標値又は前記正常指標値ごとに優先度が定められ、
    前記優先度変更部は、前記観察条件として、前記観察モードが、第1観察モードから、前記第1観察モードとは異なる第2観察モードに切り替えられた場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。
  9. 前記優先度変更部は、前記観察条件として、前記観察対象に特定の色素が散布された場合、前記異常指標値又は前記正常指標値ごとの優先度を変更する請求項5に記載の内視鏡システム。
  10. 前記正常指標値を記憶する正常指標値記憶部と、
    前記異常指標値と前記正常指標値との差分値を求め、且つ前記差分値に応じて輝度情報を設定する輝度情報設定部とを有し、
    前記画像生成部は、設定された前記色情報及び前記輝度情報に基づいて前記強調画像を生成する請求項1〜3,5〜10のいずれか1項に記載の内視鏡システム。
  11. 画像取得部が、内視鏡によって観察対象を撮像して得た画像を取得するステップと、
    抽出部が、前記画像から、前記観察対象に含まれる構造物を抽出するステップと、
    指標値算出部が、前記抽出部が抽出した構造物に基づいて複数の指標値を算出するステップと、
    判定部が、複数の前記指標値のそれぞれが、正常状態を表す正常値か、前記正常値とは異なる異常値かの判定をするステップと、
    色情報設定部が、前記判定部が前記異常値と判定した前記指標値である異常指標値に対して色情報を設定、又は前記判定部が前記正常値と判定した指標値である正常指標値に対して色情報を設定するステップと、
    画像生成部が、前記色情報設定部が設定した前記色情報に基づいて、前記構造物を強調した強調画像を生成するステップとを備え、
    前記色情報は複数あり、且つ前記色情報ごとに優先度が定められており、
    前記異常指標値又は前記正常指標値は複数あり、且つ前記異常指標値又は前記正常指標値ごとに優先度が定められており、
    前記色情報設定部は、前記異常指標値又は前記正常指標値のうち、優先度が高い前記異常指標値又は前記正常指標値ほど、優先度が高い前記色情報の割り当てを行う内視鏡システムの作動方法。
  12. 前記判定部は、前記指標値と特定の閾値とを比較して判定し、
    又は、前記指標値が前記正常値又は前記異常値のいずれに該当するかを記憶するルックアップテーブルを参照して判定する請求項12に記載の内視鏡システムの作動方法。
JP2017543448A 2015-09-28 2016-09-27 内視鏡システム及び内視鏡システムの作動方法 Active JP6513209B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015190150 2015-09-28
JP2015190150 2015-09-28
PCT/JP2016/078514 WO2017057392A1 (ja) 2015-09-28 2016-09-27 内視鏡システム及び内視鏡システムの作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019073900A Division JP6768871B2 (ja) 2015-09-28 2019-04-09 内視鏡システム及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JPWO2017057392A1 JPWO2017057392A1 (ja) 2018-07-12
JP6513209B2 true JP6513209B2 (ja) 2019-05-15

Family

ID=58427510

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017543448A Active JP6513209B2 (ja) 2015-09-28 2016-09-27 内視鏡システム及び内視鏡システムの作動方法
JP2019073900A Active JP6768871B2 (ja) 2015-09-28 2019-04-09 内視鏡システム及び内視鏡システムの作動方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019073900A Active JP6768871B2 (ja) 2015-09-28 2019-04-09 内視鏡システム及び内視鏡システムの作動方法

Country Status (4)

Country Link
US (1) US10959606B2 (ja)
EP (1) EP3357402B1 (ja)
JP (2) JP6513209B2 (ja)
WO (1) WO2017057392A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3357406A4 (en) * 2015-09-29 2018-10-10 FUJI-FILM Corporation Image processing apparatus, endoscope system, and image processing method
JP6581923B2 (ja) * 2016-03-03 2019-09-25 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
WO2017208542A1 (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 処理装置、設定方法およびプログラム
JP6538634B2 (ja) * 2016-09-30 2019-07-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP6392486B1 (ja) * 2017-02-01 2018-09-19 オリンパス株式会社 内視鏡システム
US10334687B2 (en) * 2017-04-20 2019-06-25 Ngok Wing Jimmy Kwok Multispectral switch fiber optic lighting laryngoscope
WO2018203435A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 内視鏡システム
WO2019093355A1 (ja) 2017-11-13 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法
US11100631B2 (en) * 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
JP7181298B2 (ja) * 2018-01-03 2022-11-30 コーニンクレッカ フィリップス エヌ ヴェ 血管特徴を使用して異常な組織を検出するためのシステム及び方法
WO2019187049A1 (ja) * 2018-03-30 2019-10-03 オリンパス株式会社 診断支援装置、診断支援方法及び診断支援プログラム
WO2019208011A1 (ja) * 2018-04-24 2019-10-31 オリンパス株式会社 内視鏡システム
CN112566537B (zh) * 2018-08-17 2024-09-27 富士胶片株式会社 内窥镜系统
CN109998456B (zh) * 2019-04-12 2024-08-09 安翰科技(武汉)股份有限公司 胶囊型内窥镜及其控制方法
CN114554932A (zh) * 2019-10-10 2022-05-27 富士胶片株式会社 内窥镜系统及其工作方法
WO2021081215A1 (en) * 2019-10-23 2021-04-29 The Johns Hopkins University Offset illumination capillaroscope
JP2023501174A (ja) * 2019-11-01 2023-01-18 コーニンクレッカ フィリップス エヌ ヴェ コントラスト画像のカラーマッピングのためのシステム及び方法
US20220104713A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Tiered-access surgical visualization system
US20220104806A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Surgical instrument with adaptive configuration control
CN117495817B (zh) * 2023-11-10 2024-09-03 佛山市禅一智能设备有限公司 一种腔镜下血管异常图像判断方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2761238B2 (ja) 1989-04-20 1998-06-04 オリンパス光学工業株式会社 内視鏡装置
GB9909966D0 (en) * 1999-04-29 1999-06-30 Torsana Diabetes Diagnostics A Analysis of fundus images
US6993170B2 (en) * 1999-06-23 2006-01-31 Icoria, Inc. Method for quantitative analysis of blood vessel structure
US6993175B2 (en) * 2001-09-07 2006-01-31 Quest Diagnostics Investments Incorporated Methods for measuring microvascular density in tumors
US7324675B2 (en) * 2002-11-27 2008-01-29 The Board Of Trustees Of The Leland Stanford Junior University Quantification of aortoiliac endoluminal irregularity
DE10319546A1 (de) * 2003-04-30 2004-11-25 Siemens Ag Verfahren und Vorrichtung zur automatischen Detektion von Anomalien in Gefäßstrukturen
WO2004114220A1 (en) * 2003-06-17 2004-12-29 Brown University Method and apparatus for model-based detection of structure in projection data
JP2008525126A (ja) * 2004-12-22 2008-07-17 バイオ−ツリー システムズ, インコーポレイテッド 病気の診断およびモニタリングのための医療画像化方法および装置ならびにその用途
EP2092485B1 (en) * 2006-06-28 2012-04-11 Bio-Tree Systems, Inc. Binned micro-vessel density methods and apparatus
JP4994737B2 (ja) * 2006-07-27 2012-08-08 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
JP5280026B2 (ja) 2007-09-14 2013-09-04 富士フイルム株式会社 画像処理装置および内視鏡システム
US8428327B2 (en) * 2008-05-08 2013-04-23 Oslo Universitetssykehus Hf Vessel segmentation in DCE MR imaging
JP2010268961A (ja) 2009-05-21 2010-12-02 Hoya Corp 医療用観察システム
US8668636B2 (en) * 2009-09-30 2014-03-11 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP5389742B2 (ja) 2009-09-30 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5541914B2 (ja) 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5457247B2 (ja) * 2010-03-26 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5460488B2 (ja) * 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
JP2012075702A (ja) * 2010-10-01 2012-04-19 Fujifilm Corp 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
JP6103959B2 (ja) 2013-01-29 2017-03-29 オリンパス株式会社 光源装置及び被検体観察装置並びに光源制御方法
JP5567168B2 (ja) * 2013-03-06 2014-08-06 富士フイルム株式会社 画像処理装置および内視鏡システム
JP6049518B2 (ja) * 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP2014230647A (ja) * 2013-05-29 2014-12-11 Hoya株式会社 表示装置、表示方法および表示プログラム
JP6405138B2 (ja) * 2014-07-15 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20170100029A1 (en) * 2015-10-13 2017-04-13 The University Of North Carolina At Chapel Hill Compositions and Methods for Analyzing Collateral Density

Also Published As

Publication number Publication date
US20180214009A1 (en) 2018-08-02
JP6768871B2 (ja) 2020-10-14
EP3357402A1 (en) 2018-08-08
WO2017057392A1 (ja) 2017-04-06
US10959606B2 (en) 2021-03-30
EP3357402B1 (en) 2020-06-17
EP3357402A4 (en) 2018-10-03
JPWO2017057392A1 (ja) 2018-07-12
JP2019111410A (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
JP6513209B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6577088B2 (ja) 内視鏡システム
WO2017057574A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US10426318B2 (en) Image processing apparatus, endoscope system, and image processing method
JP6420492B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP6522539B2 (ja) 内視鏡システム及びその作動方法
JP6469558B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6823072B2 (ja) プロセッサ装置及び内視鏡システム
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6538634B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP6461760B2 (ja) 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
WO2019065111A1 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP2016067780A (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
WO2016121811A1 (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190409

R150 Certificate of patent or registration of utility model

Ref document number: 6513209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250