JP6640866B2 - 画像処理装置、内視鏡システム、及び画像処理方法 - Google Patents

画像処理装置、内視鏡システム、及び画像処理方法 Download PDF

Info

Publication number
JP6640866B2
JP6640866B2 JP2017543559A JP2017543559A JP6640866B2 JP 6640866 B2 JP6640866 B2 JP 6640866B2 JP 2017543559 A JP2017543559 A JP 2017543559A JP 2017543559 A JP2017543559 A JP 2017543559A JP 6640866 B2 JP6640866 B2 JP 6640866B2
Authority
JP
Japan
Prior art keywords
blood vessel
thickness
parameter
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543559A
Other languages
English (en)
Other versions
JPWO2017057573A1 (ja
Inventor
駿平 加門
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017057573A1 publication Critical patent/JPWO2017057573A1/ja
Application granted granted Critical
Publication of JP6640866B2 publication Critical patent/JP6640866B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、内視鏡で撮影した内視鏡画像を用いて、診断に供する数値等のデータを算出する画像処理装置、内視鏡システム、及び画像処理方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、内視鏡の挿入部を被検体内に挿入して先端部から照明光を照射し、照明光が照射された観察対象（被検体内の粘膜等）を、内視鏡の先端部に搭載した撮像センサで撮像する。そして、撮像によって得られた画像信号を用いて観察対象の画像（以下、内視鏡画像という）を生成し、モニタに表示する。
内視鏡システムでは、通常は、白色の照明光（通常光とも言う）が照射された観察対象を撮像することにより、観察対象を自然な色合いで観察可能な内視鏡画像（以下、通常光画像という）を表示する。さらに、特定の波長帯域を有する光を照明光として用いることで、観察対象の血管やピットパターン等を強調した内視鏡画像（以下、特殊観察画像という）を得る内視鏡システムも普及している。内視鏡画像を用いて診断をする場合、血管やピットパターン等に関する情報は重要な診断材料であるため、これらを強調した特殊観察画像は診断に特に有用である。
また、近年では、内視鏡画像（あるいは内視鏡画像の生成に使用する画像信号）を用いて、血管の深さ、太さ、または密度等を算出することで、医師の診断をアシストする内視鏡システムや診断支援装置も知られている（特許文献１，２）。さらに、一定の太さ又は一定範囲の太さの血管に対して、酸素飽和度に対応するカラー情報を反映させる（特許文献３）。
特開２００７−０６１６３８号公報 特開２０１１−２１７７９８号公報 特開２０１１−２１８１３５号公報
特許文献１，２のように、内視鏡画像を用いて算出することができる血管に関する情報（以下、血管情報という）はそれぞれ診断に有用な情報である。しかし、医師は血管の深さ、太さ、または密度等の血管情報のうち１つの血管情報にだけ基づいて診断をするわけではなく、複数の血管情報を複合的に考慮して診断をする。例えば、血管の太さと血管の密度はそれぞれ診断に有用な血管情報であるが、血管の太さが特定の太さであるから、あるいは血管の密度が特定の密度であるからというだけで観察対象の状態を鑑別するわけではなく、血管の太さが特定の太さ以上で、かつ、血管の密度が特定値以上であるから観察対象の状態が特定の病変である、というように複数の血管情報を勘案して診断をする。
上記のような多面的で複合的な診断の実態にあわせて、近年では、内視鏡システムや内視鏡画像を解析するための画像処理装置が、上記特許文献１，２が算出する血管情報よりもさらに直感的で有用な情報等を算出して、医師の診断を支援することが求められている。
また、内視鏡画像は、様々な太さの血管が重畳されているので、内視鏡画像によって血管の太さの違いと血管の状態とを把握するのは容易ではない。例えば、細い血管の状態と、太い血管の状態を見分けて把握するのは、経験に基づく医師の感覚的な判断に委ねられている。このため、内視鏡システムや内視鏡画像を解析するための画像処理装置は、血管に関する情報を血管の太さ毎に峻別して算出して、診断を支援することが望ましい。
この点に関しては、特許文献３の内視鏡システムは一定の太さ又は一定範囲の太さの血管に対して酸素飽和度に対応するカラー情報を反映させるので、それ以前の内視鏡システムよりも高い診断支援効果を発揮する。しかし、特許文献３の内視鏡システムが血管の太さごとに算出するのは、酸素飽和度であり、酸素飽和度は他の情報の勘案が必要な血管情報であるため、さらに直感的で有用な情報等を算出して診断を支援することが求められていることに変わりはない。
本発明は、血管情報よりもさらに直感的で有用な情報を、特定の太さの血管について算出して、より効果的に診断を支援する画像処理装置、内視鏡システム、及び画像処理方法を提供することを目的とする。
本発明の画像処理装置は、内視鏡によって観察対象を撮像して得る内視鏡画像を取得する画像取得部と、内視鏡画像から、観察対象の血管の太さが特定太さの血管を太さごとに抽出する血管抽出部と、血管抽出部が抽出した血管に関する血管情報を太さごとに算出する血管情報算出部と、太さごとに算出した血管情報を用いて演算をすることにより、特定太さの血管に関する血管パラメータを太さごとに算出する血管パラメータ算出部と、血管パラメータ算出部が、第１の血管パラメータを太さごとに算出し、かつ、第１の血管パラメータとは異なる第２の血管パラメータを、前記第１の血管パラメータを算出する太さと同じ太さごとに算出する場合に、太さごとに算出した第１の血管パラメータと、前記第１の血管パラメータを算出する太さと同じ太さごとに算出した第２の血管パラメータとを表示する表示部と、を備える。
血管情報は、血管抽出部が抽出した血管の本数、太さ、太さの変化、太さの変化の複雑度、長さ、長さの変化、分岐数、分岐角度、分岐点間距離、交差数、深さ、高低差、傾き、面積、密度、間隔、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量であることが好ましい。
血管パラメータ算出部は、特定太さの血管に関する血管情報と、特定太さ以外の血管に関する血管情報とを組み合わせて使用し、特定太さの血管に関する血管パラメータを算出することが好ましい。
血管パラメータ算出部は、複数の血管情報に重み付けをして演算をし、血管パラメータを算出することが好ましい。
血管パラメータ算出部は、重み付けを、機械学習により定めた係数を用いて行うことが好ましい。
血管情報算出部は、内視鏡画像の一部または全部に設定する関心領域における統計量を血管情報として算出することが好ましい。
統計量は、最大値、最小値、平均値、中央値、または最頻値であることが好ましい。
内視鏡画像の一部に関心領域を設定する場合、血管情報算出部は、関心領域の血管情報を算出し、かつ、関心領域以外の領域についても血管情報を算出し、血管パラメータ算出部は、関心領域の血管情報と、関心領域以外の領域の血管情報と、を用いて血管パラメータを算出することが好ましい。
血管パラメータを用いて、観察対象の粘膜の状態を判定する判定部を備えることが好ましい。
判定部は、観察対象の粘膜を基準とした深さに対する血管パラメータの変化によって観察対象の粘膜の状態を判定することが好ましい。
判定部は、複数種類の血管パラメータを用いて観察対象の粘膜の状態を判定することが好ましい。
判定部は、特定太さの血管に関する血管パラメータと、特定太さ以外の太さの血管に関する血管パラメータと、を組み合わせて使用し、観察対象の粘膜の状態を判定することが好ましい。
判定部は、血管パラメータを用いて、観察対象の粘膜の状態を、正常、腺腫、及びがんを含む３種類以上の状態のいずれかに判定することが好ましい。
判定部は、血管パラメータを用いて、観察対象の粘膜の状態を、正常、過形成ポリープ、ＳＳＡ／Ｐ、腺腫、側方発達型腫瘍、及びがんのいずれかに判定することが好ましい。
判定部は、観察対象の粘膜の状態ががんの場合に、血管情報または血管パラメータを用いて、がんのステージを判定することが好ましい。
本発明の内視鏡システムは、観察対象を撮像する内視鏡と、内視鏡によって観察対象を撮像して得る内視鏡画像を取得する画像取得部と、内視鏡画像から、観察対象の血管の太さが特定太さの血管を太さごとに抽出する血管抽出部と、血管抽出部が抽出した血管に関する血管情報を太さごとに算出する血管情報算出部と、太さごとに算出した血管情報を用いて演算をすることにより、特定太さの血管に関する血管パラメータを太さごとに算出する血管パラメータ算出部と、血管パラメータ算出部が、第１の血管パラメータを太さごとに算出し、かつ、第１の血管パラメータとは異なる第２の血管パラメータを、前記第１の血管パラメータを算出する太さと同じ太さごとに算出する場合に、太さごとに算出した第１の血管パラメータと、前記第１の血管パラメータを算出する太さと同じ太さごとに算出した第２の血管パラメータとを表示する表示部と、を有する画像処理装置と、を備える。
本発明の画像処理方法は、画像取得部が、内視鏡によって観察対象を撮像して得る内視鏡画像を取得するステップと、血管抽出部が、内視鏡画像から、観察対象の血管の太さが特定太さの血管を太さごとに抽出するステップと、血管情報算出部が、血管抽出部が抽出した血管に関する血管情報を太さごとに算出するステップと、血管パラメータ算出部が、太さごとに算出した血管情報を用いて演算をすることにより、特定太さの血管に関する血管パラメータを太さごとに算出するステップと、血管パラメータ算出部が、第１の血管パラメータを太さごとに算出し、かつ、第１の血管パラメータとは異なる第２の血管パラメータを、前記第１の血管パラメータを算出する太さと同じ太さごとに算出する場合に、表示部が、太さごとに算出した第１の血管パラメータと、前記第１の血管パラメータを算出する太さと同じ太さごとに算出した第２の血管パラメータとを表示するステップと、を備える。
本発明の画像処理装置、内視鏡システム、及び画像処理方法は、血管情報よりもさらに直感的で有用な血管パラメータを、特定の太さの血管について算出するので、従来よりも直接的かつ効果的に医師の診断を支援することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 第１内視鏡画像である。 第２内視鏡画像である。 画像処理装置のブロック図である。 細い血管を抽出した差分画像である。 太い血管を抽出した差分画像である。 モニタの表示画面である。 画像処理装置の動作を示すフローチャートである。 太さごとに血管パラメータを算出する場合のモニタの表示画面である。 複数種類の血管パラメータを算出する場合のモニタの表示画面である。 血管パラメータの深さに対する血管パラメータの変化を示すグラフである。 関心領域の内外を示す説明図である。 第２実施形態の画像処理装置のブロック図である。 判定部による判定結果を表示するモニタの表示画面である。 深さに対する血管パラメータの変化によって粘膜の状態を判定する場合のモニタの表示画面の一部である。 複数の血管パラメータによって粘膜の状態を判定する場合のモニタの表示画面の一部である。 第３実施形態の内視鏡システムのブロック図である。 カプセル内視鏡の概略図である。
［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。
また、操作部１２ｂには、アングルノブ１２ｅの他、静止画像取得指示部１３ａ、ズーム操作部１３ｂが設けられている。静止画像取得指示部１３ａは、内視鏡システム１０に静止画像の取得指示を入力する場合に操作する。静止画像の取得指示には、モニタ１８に観察対象の静止画像を表示するフリーズ指示と、静止画像をストレージに保存するレリーズ指示がある。ズーム操作部１３ｂは、撮像倍率を変更するための撮像倍率変更指示を入力するために用いられる。
プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
図２に示すように、光源装置１４は、観察対象に照射する照明光を発する光源２０と、光源２０を制御する光源制御部２２とを備えている。光源２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、またはキセノンランプ等のハロゲン光源で構成される。また、光源２０には、ＬＥＤ等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
内視鏡システム１０は、観察対象を通常観察画像で観察するための通常観察モードと、観察対象を特殊観察画像で観察するための特殊観察モードの２種類の観察モードを有する。観察モードが通常観察モードの場合、光源制御部２２は、光源２０によってほぼ白色の照明光を発生させる。観察モードが特殊観察モードの場合、光源制御部２２は、光源２０によって、特定の狭い波長帯域を有する照明光（以下、狭帯域光という）を発生させる。観察モードは、操作部１２ｂに設けられたモード切り替えスイッチ（図示しない）によって切り替えられる。
光源２０は、紫色波長帯域（約３５０〜４００ｎｍの波長帯域）に中心波長（あるいは分光強度が極大になるピーク波長。以下同じ）を有する紫色狭帯域光、青色波長帯域（約４００〜５００ｎｍの波長帯域）に中心波長を有する青色狭帯域光、緑色波長帯域（約５００〜６００ｎｍの波長帯域）に中心波長を有する緑色狭帯域光、赤色波長帯域（約６００ｎｍ〜７５０ｎｍの波長帯域）に中心波長を有する赤色狭帯域光等、複数種類の狭帯域光を発生することができる。より具体的には、光源２０は、中心波長が４００±１０ｎｍ程度の紫色狭帯域光、中心波長が４５０±１０ｎｍ程度の青色狭帯域光、中心波長が４７０±１０ｎｍ程度の青色狭帯域光、等を発生させることができる。各狭帯域光の中心波長は光学フィルタの変更等によって指定することができ、上記の通り、中心波長が異なる２以上の青色狭帯域光を発生させることもできる。紫色狭帯域光、緑色狭帯域光、及び赤色狭帯域光についても同様である。
特殊観察モードでは、光源２０は、これら複数種類の狭帯域光のうち、中心波長が互いに異なる少なくとも２種類以上の狭帯域光を発生し、各々の狭帯域光が照射された観察対象を撮像する。したがって、特殊観察モードでは、狭帯域光の種類に対応した複数種類の内視鏡画像が得られる。本実施形態では、特殊観察モードの場合、光源２０は、第１狭帯域光（例えば、紫色狭帯域光）と、第１狭帯域光よりも中心波長またはピーク波長が長波長帯域にある第２狭帯域光（例えば、中心波長が４５０±１０ｎｍ程度の青色狭帯域光）の２種類の狭帯域光を交互に発生する。
光源２０が発した照明光は、挿入部１２ａ内に挿通したライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコードに内蔵しており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。
内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、ライトガイド４１によって伝搬した照明光は照明レンズ４５を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及び撮像センサ４８を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４６及びズームレンズ４７を介して撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の像が結像する。ズームレンズ４７は、ズーム操作部１３ｂを操作することでテレ端とワイド端の間で自在に移動し、撮像センサ４８に結像する観察対象を拡大または縮小する。
撮像センサ４８は、画素毎にＲ（赤色）、Ｇ（緑色）、またはＢ（青色）のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してＲＧＢ各色の画像信号を出力する。撮像センサ４８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ４８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力される。このため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４８と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
撮像センサ４８が出力する画像信号は、ＣＤＳ／ＡＧＣ回路５１に送信される。ＣＤＳ／ＡＧＣ回路５１は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）や自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。ＣＤＳ／ＡＧＣ回路５１を経た画像信号は、Ａ／Ｄ（Analog to Digital）コンバータ５２により、デジタル画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号は、プロセッサ装置１６に入力される。
プロセッサ装置１６は、画像信号取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、メモリ６１と、信号処理部６２と、映像信号生成部６３と、を備えている。
画像信号取得部５３は、内視鏡１２からデジタル画像信号を取得する。ＤＳＰ５６は、画像信号取得部５３が取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号を補正する。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルを整える。
ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理を施す。その後、ガンマ変換処理によって明るさや彩度を整える。ガンマ変換処理後の画像信号には、デモザイク処理（等方化処理、または同時化処理とも言う）を施し、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５８は、ＤＳＰ５６でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズを低減した画像信号は、メモリ６１に記憶する。
信号処理部６２は、メモリ６１からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。色変換処理は、画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像信号に対して行う。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。信号処理部６２が生成する内視鏡画像は、観察モードが通常観察モードの場合は通常観察画像であり、観察モードが特殊観察モードの場合は特殊観察画像であるため、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、信号処理部６２は、観察対象が自然な色合いになる上記各種信号処理を施して通常観察画像を生成する。特殊観察モードの場合、信号処理部６２は、少なくとも観察対象の血管を強調する上記各種信号処理を施して特殊観察画像を生成する。
本実施形態の特殊観察モードでは、光源２０は、第１狭帯域光と第２狭帯域光の２種類の狭帯域光を発生するので、図３に示す、第１狭帯域光が照射された観察対象を撮像して得る内視鏡画像（以下、第１内視鏡画像という）７１と、図４に示す、第２狭帯域光が照射された観察対象を撮像して得る内視鏡画像（以下、第２内視鏡画像という）７２とが得られる。第１内視鏡画像７１と第２内視鏡画像７２は、観察対象の粘膜表面の形状７３が観察できる他、複数ある血管のうち比較的細い血管（以下、細血管という）７４と、比較的太い血管（以下、太血管という）７５とが強調されている。但し、第１狭帯域光と第２狭帯域光は中心波長が異なり、第１狭帯域光の中心波長は第２狭帯域光の中心波長よりも短い。このため、第１狭帯域光と第２狭帯域光の粘膜下への深達度に違い等によって、第１内視鏡画像７１と第２内視鏡画像７２とでは血管の見え方が異なる。例えば、細血管７４は第２内視鏡画像７２よりも第１内視鏡画像７１の方が明瞭に観察可能であるが、太血管７５は第１内視鏡画像７１よりも第２内視鏡画像７２のほうが明瞭に観察可能である。
信号処理部６２は、生成した内視鏡画像を映像信号生成部６３に入力する。映像信号生成部６３は、内視鏡画像をモニタ１８に出力表示するための映像信号に変換する。また、静止画像取得指示部１３ａの操作により、レリーズ指示を入力すると、信号処理部６２は、生成した内視鏡画像をストレージ６４に保存する。ストレージ６４は、プロセッサ装置１６にＬＡＮ（Local Area Network）等接続した外部記憶装置であり、例えば、ＰＡＣＳ（Picture Archiving and Communication System）等の内視鏡画像をファイリングするシステムのファイルサーバや、ＮＡＳ（Network Attached Storage）等である。ストレージ６４に保存した内視鏡画像は、画像処理装置６５で使用する。
画像処理装置６５は、内視鏡画像に画像処理を施して、診断支援のために、血管パラメータを算出する装置である。図５に示すように、画像処理装置６５は、画像取得部９１と、血管抽出部９２と、血管情報算出部９３と、血管パラメータ算出部９４と、表示制御部９５と、を備える。また、画像処理装置６５には、関心領域（ROI : Region Of Interest）の指定等に用いるポインティングデバイスやキーボードなどを含む入力デバイス９７や、内視鏡画像等を表示するためのモニタ９８が接続している。
画像取得部９１は、ストレージ６４から内視鏡１２で撮影した内視鏡画像（内視鏡画像のもとになる画像信号である場合を含む）を取得する。ストレージ６４に保存されている内視鏡画像には、通常観察画像と特殊観察画像とがあるが、本実施形態では、画像取得部９１は、特殊観察画像である第１内視鏡画像７１と第２内視鏡画像７２をストレージ６４から取得する。
血管抽出部９２は、画像取得部９１が取得した内視鏡画像を用いて、太さが特定の太さの範囲内（以下、特定太さという）の血管を抽出する。本実施形態では、第１内視鏡画像７１と第２内視鏡画像７２の差分を算出することによって、特定太さの血管を抽出する。例えば、第１内視鏡画像７１と第２内視鏡画像７２をそれぞれ適数倍し、第１内視鏡画像７１から第２内視鏡画像７２を減算すると、図６に示す差分画像１０１のように、第１内視鏡画像７１及び第２内視鏡画像７２に写る血管のうち、相対的に細い細血管７４を抽出することができる。すなわち、差分画像１０１は、もとの第１内視鏡画像７１及び第２内視鏡画像７２に写る細血管７４と太血管７５のうち、相対的に細い特定太さの細血管７４だけを抽出した画像である。
同様に、第１内視鏡画像７１と第２内視鏡画像７２をそれぞれ適数倍し、第２内視鏡画像７２から第１内視鏡画像７１を減算すると、図７に示す差分画像１０２のように太血管７５を抽出することができる。差分画像１０２は、もとの第１内視鏡画像７１及び第２内視鏡画像７２に写る細血管７４と太血管７５のうち、相対的に太い特定太さの太血管７５だけを抽出した画像である。
なお、上記のように、本実施形態では、簡単のため、第１内視鏡画像７１及び第２内視鏡画像７２に写る血管を、相対的に細い細血管７４と、相対的に太い太血管７５とに分けて抽出しているが、血管抽出部９２は、第１内視鏡画像７１及び第２内視鏡画像７２に写る血管を３以上の「特定太さ」に分類して抽出することができる。
また、本実施形態では、上記のように、血管抽出部９２、第１内視鏡画像７１と第２内視鏡画像７２の差分を算出することによって特定太さの血管を抽出するが、その他の抽出方法によって細血管７４または太血管７５を抽出することもできる。例えば、第１内視鏡画像７１または第２内視鏡画像７２に周波数フィルタ処理を施すことによって、細血管７４または太血管７５を抽出することもできる。
血管情報算出部９３は、血管抽出部９２が抽出した血管に関する血管情報を算出する。血管情報とは、例えば、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量である。本実施形態では、血管情報算出部９３は、これらの血管情報のなかから少なくとも２種類以上の血管情報を算出する。
血管の本数とは、内視鏡画像全体または関心領域内で抽出した血管の数である。血管の本数は、例えば、抽出した血管の分岐点の個数（分岐数）や他の血管との交差点の個数（交差数）等を用いて算出する。血管の分岐角度は、２本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、または、任意の分岐点とその隣の分岐点までの血管に沿った長さである。
血管の交差数とは、粘膜下の深さが異なる血管が内視鏡画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。
血管の太さ（血管径）とは、血管と粘膜の境界線間の距離であり、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。したがって、血管の太さは画素数であるが、内視鏡画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μｍ」等の長さの単位に換算可能である。本実施形態では、血管抽出部９２は細血管７４または太血管７５を抽出するが、細血管７４の太さや太血管７５の太さにはばらつきがある。このため、血管情報算出部９３が算出する血管の太さは、これら「特定太さ」の範囲内で血管の太さを算出する。例えば、細血管７４は、太血管７５と比較すれば相対的に細いが、個々の細血管７４は粘膜下の深さによって異なり、細血管７４でも概ね粘膜下の深さが深いほど太くなる傾向にある。例えば、「細い」細血管７４を抽出した場合でも、血管の太さは一様ではない。このため、血管情報算出部９３は、細血管７４あるいは太血管７５のより詳細な血管の太さを算出する。
血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率（拡張度ともいう）である。血管径の変化率は、血管の最も細い部分の太さ（最小径）と血管の最も太い部分の太さ（最大径）を用いて、「血管経の変化率（％）＝最小径／最大径×１００」で求める。
なお、過去の検査で観察対象を撮影して得た内視鏡画像と、その後の新たな検査で同じ観察対象を撮影して得た内視鏡画像と、を用いる場合、過去の検査で得た内視鏡画像から抽出した血管の太さに対して、その後の新たな検査で得た内視鏡画像から抽出した同じ血管の太さの時間的な変化を血管の太さの変化としてもよい。
また、血管の太さの変化として、細径部の割合、または太径部の割合を算出しても良い。細径部とは太さが閾値以下の部分であり、太径部とは太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合（％）＝細径部の長さ／血管の長さ×１００」で求める。同様に、太径部の割合は、「太径部の割合（％）＝太径部の長さ／血管の長さ×１００」で求める。
血管の太さの変化の複雑度（以下、「太さ変化の複雑度」という）は、血管の太さ変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報（すなわち血管径の変化率、細径部の割合、または太径部の割合）を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。
血管の長さとは、抽出した血管の長手方向に沿って計数した画素数である。
血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。抽出した血管が１本の場合、血管の間隔は値を持たない。
血管の深さは、例えば、粘膜（より具体的には粘膜の表面）を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、粘膜の表面に近い位置にある血管はマゼンタ系の色で表され、粘膜の表面から遠く、粘膜下の深い位置にある血管はシアン系の色で表されるので、血管情報算出部９３は、血管として抽出した画素のＲ，Ｇ，Ｂ各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。なお、粘膜表面以外の任意箇所（例えば粘膜筋板）を基準として深さを定義しても良い。また、任意の深さの血管を基準とし、他の血管の深さは、この任意の深さの血管からの相対的な深さで定義しても良い。
血管の高低差とは、血管の深さの差の大きさである。例えば、注目する１本の血管の高低差は、この血管の最も深い箇所の深さ（最大深さ）と、最も浅い箇所の深さ（最小深さ）の差で求める。深さが一定の場合、高低差は零である。
血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き＝血管の深さ／血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。
血管の面積は、血管として抽出した画素の画素数、または、血管として抽出した画素の画素数に比例する値である。血管の面積は、関心領域内、関心領域外、または、内視鏡画像全体について算出する。
血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域（例えば単位面積の領域）を切り出し、この領域内の全画素に占める血管の割合を算出する。これを関心領域または内視鏡画像全体の全画素に対して行うことで、各画素の血管の密度を算出することができる。
血管のコントラストとは、観察対象の粘膜に対する相対的なコントラストである。血管のコントラストは、血管の輝度ＹVと、粘膜の輝度ＹMと、を用いて、例えば「ＹV／ＹM」または「（ＹV−ＹM）／（ＹV＋ＹM）」で算出する。
血管の色とは、血管を表す画素のＲＧＢの各値である。そして、血管の色の変化とは、血管を表す画素のＲＧＢ各値の各々の最大値と最小値の差または比である。例えば、血管を表す画素のＢ値の最大値と最小値の比、Ｇ値の最大値と最小値の比、またはＲ値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。
血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積（画素数）である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。
血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表す画素のＲ値に対するＧ値の比（Ｇ／Ｒ）はヘモグロビンの量に比例するので、Ｇ／Ｒの値を算出することで、画素ごとに血液濃度を算出することができる。
血管の酸素飽和度とは、ヘモグロビンの総量（酸化ヘモグロビン及び還元ヘモグロビンの総量）に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に違いが大きい特定の波長帯域の光（例えば、波長４７０±１０ｎｍ程度の青色光）で観察対象を撮影した内視鏡画像を用いて算出することができる。波長４７０±１０ｎｍ程度の青色光を用いる場合、血管を表す画素のＢ値は酸素飽和度と相関があるので、Ｂ値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。
動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が７０％以上の血管を動脈とし、酸素飽和度が７０％未満の血管を静脈とすれば、抽出した血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するするこができる。
投与した色素の濃度とは、観察対象に対して散布した色素、または静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、Ｂ／ＧやＢ／Ｒ等が、観察対象に定着（あるいは一時的に付着）した色素の濃度を表す。
血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度（走行方向）や、任意に設定する基準線に対して血管がなす角度の分散（走行方向のばらつき）等である。
血管の血流量（血流速度ともいう）は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡１２の鉗子チャネル等を介して併用する場合等に、超音波プローブで得る信号を用いて内視鏡画像の血管を表す各画素のドップラーシフト周波数を求めることができる。血管の血流量は上記ドップラーシフト周波数を用いることで算出することができる。
入力デバイス９７の操作によって内視鏡画像の一部または全部に関心領域を設定することができる。例えば、内視鏡画像の一部を関心領域に設定した場合、血管情報算出部９３は関心領域内で血管情報を算出する。関心領域を指定していない場合や、内視鏡画像の全部を関心領域に設定した場合には、血管情報算出部９３は、内視鏡画像の全部を関心領域に設定して血管情報を算出する。
また、血管情報算出部９３は、内視鏡画像の画素毎に血管情報を算出する。例えば、血管情報を算出する画素を含む予め定めた範囲（例えば血管情報を算出する画素を中心とする９９×９９画素の範囲）の画素のデータを用いて１つの画素の血管情報を算出する。例えば、血管情報として血管の太さを算出する場合、画素毎の「血管の太さ」は、上記予め定めた範囲に写る血管の太さの統計量である。統計量とは、いわゆる基本統計量であり、例えば、最大値、最小値、平均値、中央値、または最頻値である。もちろん、例示する値以外の統計量を使用することもできる。例えば、最大値、最小値、平均値、中央値、または最頻値等のいわゆる代表値を用いて演算した値（最大値と最小値の比等）や、分散や標準偏差、変動係数等のいわゆる散布度を使用することができる。
関心領域を設定する場合には、血管情報算出部９３は、関心領域に含まれる各画素の血管情報の統計量を算出し、その値を関心領域の血管情報とする。例えば、血管情報として血管の太さを算出する場合、上記のように各画素の「血管の太さ」を算出し、関心領域を設定している場合には、さらに関心領域に含まれる各画素の「血管の太さ」の統計量を算出し、設定した１つの関心領域に対して１つの「血管の太さ」を算出する。内視鏡画像の全体を関心領域に設定する場合も同様である。
なお、画素毎の血管情報を算出する場合の統計量と、関心領域の血管情報を算出する場合の統計量は、同じ統計量であっても良いし、異なっていても良い。例えば、画素毎の血管の太さを算出する場合には「予め定めた範囲」に写る血管の太さの平均値を算出し、その後、関心領域の血管の太さを算出する場合にも、各画素の血管の太さの平均値を算出してもよいし、各画素の血管の太さの最頻値を算出しても良い。
また、本実施形態では、上記のように画素毎に血管情報を算出し、その後、画素毎に算出した血管情報の関心領域内の統計量を算出して、関心領域の血管情報を算出するが、算出する血管情報の種類や、画素毎の血管情報を算出する場合の統計量の計算の仕方と関心領域の血管情報を算出する場合の統計量の計算の仕方の関係等によっては、画素毎の血管情報を省略することができる。「血管の太さ」であれば、関心領域に写る血管の太さの平均値を、関心領域の血管の太さにすることができる。
血管パラメータ算出部９４は、血管情報算出部９３が算出した血管情報を用いて演算をすることにより、特定太さの血管に関する血管パラメータと称する評価値を算出する。本実施形態では、血管抽出部９２が細血管７４を抽出した場合、血管パラメータ算出部９４は、細血管７４に関する複数の血管情報を用いて演算をすることにより、細血管７４に関する血管パラメータを算出する。同様に、血管抽出部９２が太血管７５を抽出した場合、血管パラメータ算出部９４は、太血管７５に関する血管情報を用いて演算をすることにより、太い太血管７５に関する血管パラメータを算出する。
また、血管パラメータ算出部９４は、複数の血管情報のそれぞれに重み付け係数をかけ、和をとることによって血管パラメータを算出する。重み付け係数は、重み付け係数テーブル９９に記憶しており、例えば機械学習によって予め定める。本実施形態では、細血管７４に関する血管パラメータを算出する場合と、太血管７５に関する血管パラメータを算出する場合とで、このため、重み付け係数テーブル９９を共通して使用する。したがって、細血管７４に関する血管パラメータを算出する場合と、太血管７５に関する血管パラメータを算出する場合とで、演算の内容は共通である。
本実施形態では、血管パラメータ算出部９４は、上記のように複数の血管情報の重み付け和を血管パラメータとして算出するが、血管パラメータの算出方法は任意である。例えば、和を取るだけでなく、加減乗除が混在する演算をして血管パラメータを算出しても良いし、その他の関数を用いて血管パラメータを算出しても良い。また、血管の太さによって、血管パラメータの算出方法を変更する必要がある場合には、血管の太さごとに、重み付け係数テーブルを設けておく。例えば、重み付け係数テーブル９９として、細血管７４に関する血管パラメータを算出する場合に使用する第１重み付け係数テーブルと、太血管７５に関する血管パラメータを算出する場合に使用する第２重み付け係数テーブルと、を予め用意しておけば、細血管７４と太血管７５とで血管パラメータの算出方法を変更することができる。
また、血管の太さによって、血管パラメータの算出方法を変更する必要がある場合には、血管パラメータ算出部９４は、血管の太さごとの重み付け係数を予め記憶する。さらに、血管パラメータ算出部９４は、複数種類の血管パラメータを算出することができる。例えば、血管パラメータ算出部９４は、病変Ａと関連する血管パラメータＰＡと、病変Ａとは異なる病変Ｂに関連する血管パラメータＰＢを算出することができる。血管パラメータＰＡと、血管パラメータＰＢとでは、算出する際の演算に使用する重み付け係数は異なる。このため、血管パラメータ算出部９４は、血管パラメータ毎に複数の重み付け係数を予め記憶する。重み付け係数テーブル９９は、上記の通り、太さごと、あるいは、血管パラメータの種類ごとの重み付け係数を記憶する。
血管パラメータは、互いに次元（単位）が異なる血管情報を加算等して算出するので、血管パラメータには物理的な意味は無いが、診断の指標として機能する。すなわち、血管パラメータは、物理的な意味がない値であることが血管情報との違いである。
表示制御部９５は、モニタ９８の表示を制御する。例えば、図８に示すように、表示制御部９５は、画像取得部９１が取得した内視鏡画像をモニタ９８に表示する。本実施形態の場合、画像取得部９１は、第１内視鏡画像７１と第２内視鏡画像７２の２種類の内視鏡画像を取得するので、表示制御部９５は、これらうち第１内視鏡画像７１を内視鏡画像表示部１１５に表示する。表示設定を変更することで、第１内視鏡画像７１と第２内視鏡画像７２のうち、第２内視鏡画像７２を内視鏡画像表示部１１５に表示することもできる。表示制御部９５は、第１内視鏡画像７１と第２内視鏡画像７２を合成した合成画像を内視鏡画像表示部１１５に表示することもできる。合成画像は、例えば、第１内視鏡画像７１と同程度に細血管７４の視認性が高く、かつ、第２内視鏡画像７２と同程度に太血管７５の視認性が高い画像である。この場合、表示制御部９５は、画像合成部としても機能する。関心領域１２１は、内視鏡画像表示部１１５に表示した内視鏡画像（本実施形態では第１内視鏡画像７１）に対して指定する。関心領域１２１の指定には、入力デバイス９７を用いる。
また、表示制御部９５は、画像取得部９１から、取得した内視鏡画像の種類に関する情報を得ることで、画像取得部９１が取得した内視鏡画像を用いて血管抽出部９２が抽出可能な血管の太さのリストを作成し、太さ設定部１３１に表示する。太さ設定部１３１は、例えばプルダウンボタン１３２を操作することで、上記リストを表示する。本実施形態の場合、画像取得部９１は、第１内視鏡画像７１と第２内視鏡画像７２を取得するので、抽出可能な血管の太さは「細い」または「太い」である。このため、プルダウンボタン１３２を操作すると、太さ設定部１３１は「細い」と「太い」をリスト表示する。図８の太さ設定部１３１は、これらのうち「細い」を選択した状態を表している。太さ設定部１３１には、抽出可能な太さのリストを表示する代わりに、抽出する血管の太さを数値で入力できるようにしても良い。この場合、太さ設定部１３１に入力した数値が含まれる「特定太さ」が抽出する血管の太さに設定される。例えば、太さ設定部１３１に「１０（μｍ）」を入力すると、細血管７４と太血管７５のうち、細血管７４を抽出する設定になる。
血管抽出部９２は、太さ設定部１３１の設定によって、抽出する血管の太さを決定する。太さ設定部１３１で「細い」を選択した場合、血管抽出部９２は、細血管７４を抽出し、太さ設定部１３１で「太い」を選択した場合、血管抽出部９２は、太血管７５を抽出する。
表示制御部９５は、血管パラメータ算出部９４から、算出可能な血管パラメータの種類を取得し（あるいは予め記憶しておき）、血管パラメータ設定部１４１に表示する。血管パラメータ設定部１４１は、例えば、プルダウンボタン１４２を操作することで、上記血管パラメータのリストを表示する。より具体的には、病変Ａに関する血管パラメータＰＡと、病変Ｂに関する血管パラメータＰＢとが算出可能な場合、プルダウンボタン１４２を操作することで、「ＰＡ」または「ＰＢ」をリスト表示する。図８の血管パラメータ設定部１４１は、血管パラメータＰＡを算出する設定した状態を表している。
血管パラメータ算出部９４は、血管パラメータ設定部１４１の設定によって、重み付け係数テーブル９９から設定に対応する重み付け係数を選択して使用する。例えば、図８のように血管パラメータＰＡを算出する設定の場合、血管パラメータ算出部９４は、重み付け係数テーブル９９から血管パラメータＰＡの算出に使用する重み付け係数を選択して使用することで、血管パラメータＰＡを算出する。表示制御部９５は、血管パラメータ算出部９４が算出した血管パラメータの値を血管パラメータ表示部１４３に表示する。図８の場合、血管パラメータＰＡの値は「１２３」である。
次に、画像処理装置６５の動作の流れを図９のフローチャートに沿って説明する。まず、画像処理装置６５は、入力デバイス９７の入力操作にしたがって、画像取得部９１によってストレージ６４から第１内視鏡画像７１及び第２内視鏡画像７２を取得し（Ｓ１１）、モニタ９８に表示する（Ｓ１２）。画像処理装置６５は、取得した第１内視鏡画像７１と第２内視鏡画像７２のうち、設定に応じて、第１内視鏡画像７１、第２内視鏡画像７２、あるいは第１内視鏡画像７１と第２内視鏡画像７２の合成画像を内視鏡画像表示部１１５に表示する。本実施形態では、第１内視鏡画像７１を内視鏡画像表示部１１５に表示する。
第１内視鏡画像７１がモニタ９８に表示されると、医師は入力デバイス９７を操作して、関心領域１２１を設定する（Ｓ１３）。例えば、第１内視鏡画像７１の概ね中央付近に病変か否か（あるいは病変の進行度合い等）の診断を要する注目箇所がある場合、この注目箇所を含む領域を関心領域１２１に設定する（図８参照）。
また、医師は入力デバイス９７を操作し、太さ設定部１３１で血管の太さを設定し（Ｓ１４）、血管パラメータ設定部１４１で算出する血管パラメータの種類を設定する（Ｓ１５）。本実施形態では、太さ設定部１３１では「細い」を設定し、血管パラメータ設定部１４１では「ＰＡ」（病変Ａに関する血管パラメータＰＡ）を設定する。このため、血管抽出部９２は第１内視鏡画像７１と第２内視鏡画像７２を用いて細血管７４を抽出し（Ｓ１６）、血管情報算出部９３は抽出した細血管７４について複数の血管情報を算出し（Ｓ１７）、血管パラメータ算出部９４は、血管情報算出部９３が算出した複数の血管情報を用いて演算をすることにより、血管パラメータＰＡを算出する（Ｓ１８）。血管パラメータ算出部９４が算出した血管パラメータＰＡの値は、血管パラメータ表示部１４３に表示する（Ｓ１９）。
上記のように、画像処理装置６５は、様々な血管情報を算出するだけでなく、複数の血管情報を用いて演算をすることにより、血管情報よりも直感的で有用な血管パラメータを算出する。さらに、画像処理装置６５が算出する血管パラメータは、太さが特定の太さの血管に関する血管パラメータである。したがって、画像処理装置６５は、単に血管情報を算出する従来の内視鏡システム等よりも、直接的に診断を支援することができる。さらに、血管の太さごとに血管情報を算出する従来の内視鏡システム等よりも、効果的に診断を支援することができる。
なお、上記第１実施形態では、抽出する血管の太さを設定し、設定した太さの血管について血管パラメータを算出しているが、血管抽出部９２は血管の太さごとに血管を抽出し、血管情報算出部９３は血管の太さごとに、それぞれ複数の血管情報を算出し、血管情報算出部９３は、血管の太さごとに算出した複数の血管情報を用いて、各太さの血管パラメータを算出してもよい。
例えば、図１０に示すように、太さ設定部１３１には、太さごとに全ての血管を抽出する設定「ＡＬＬ」を用意する。第１内視鏡画像７１と第２内視鏡画像７２を用いる場合、「ＡＬＬ」は、血管抽出部９２が、第１内視鏡画像７１と第２内視鏡画像７２を用いて、細血管７４を抽出し、かつ、太血管７５を抽出する設定である。したがって、血管情報算出部９３は、細血管７４に関する複数の血管情報を算出し、かつ、太血管７５に関する複数の血管情報を算出する。そして、血管パラメータ算出部９４は、血管パラメータ設定部１４１の設定（図１０では血管パラメータ「ＰＡ」を算出する設定）にしたがって、細血管７４に関する複数の血管情報を用いて演算をすることにより、細血管７４の血管パラメータを算出し、かつ、太血管７５に関する複数の血管情報を用いて演算をすることにより、太血管７５の血管パラメータを算出する。そして、表示制御部９５は、血管パラメータ表示部１４３の代わりに、細血管７４の血管パラメータを表示する第１血管パラメータ表示部１４５ａと、太血管７５の血管パラメータを表示する第２血管パラメータ表示部１４５ｂとを、設け、これらに算出した各々の血管パラメータの値を表示する。図１０では、第１血管パラメータ表示部１４５ａには、細血管７４に関する血管パラメータＰＡの値「１２３」を表示し、第２血管パラメータ表示部１４５ｂには、太血管７５に関する血管パラメータＰＡの値「８５」を表示する。
このように、血管を複数の太さごとに抽出し、各太さの血管パラメータを算出すると、太さごとの血管パラメータを比較することができるようになるので、より良く診断を支援できる。「細い」と「太い」よりも細かく、血管の太さを３以上に分け、各々の太さについて血管パラメータを算出する場合も同様である。
上記変形例では、血管パラメータ設定部１４１によって血管パラメータＰＡを算出する設定をし、血管の太さごとに血管パラメータＰＡを算出しているが、血管パラメータ算出部９４が複数種類の血管パラメータを算出可能な場合には、２種類以上の血管パラメータを算出してもよい。例えば、血管パラメータとして病変Ａに関する血管パラメータＰＡと病変Ｂに関する血管パラメータＰＢを算出可能な場合、図１１に示すように、血管パラメータ設定部１４１の代わりに、第１血管パラメータ設定部１４４ａと第２血管パラメータ設定部１４４ｂを設ける。そして、血管の太さごとに、血管パラメータＰＡと血管パラメータＰＢを算出し、表示する。具体的には、第１血管パラメータ表示部１４５ａには、細血管７４の血管パラメータＰＡの値「１２３」を表示し、第２血管パラメータ表示部１４５ｂには、太血管７５の血管パラメータＰＡの値「８５」を表示する。同様に、血管パラメータ表示部１４６ａには、細血管７４の血管パラメータＰＢの値「４５」を表示し、血管パラメータ表示部１４６ｂには、太血管７５の血管パラメータＰＢの値「１４３」を表示する。
このように、複数種類の血管パラメータを算出すると、異なる観点からの診断をほぼ同時に行えるようになるので、より良く診断を支援できる。３以上の血管パラメータを算出する場合も同様である。
上記第１実施形態では、算出した血管パラメータを血管パラメータ表示部１４３に数値で表示しているが、例えば、図１２に示すように、血管パラメータを、血管の粘膜表面を基準とした深さに対する変化のグラフ１６１にして表示しても良い。このように、血管パラメータを、深さに対する血管パラメータの変化を示すグラフ１６１にして表示すると、血管パラメータの深さによる変化や異常を視覚的に発見しやすくなるので、より良く診断を支援することができる。
上記第１実施形態及び変形例では、特定太さの血管について算出した複数の血管情報を用いて、特定太さの血管パラメータを算出する。例えば、細血管７４について算出した複数の血管情報を用いて、細血管７４の血管パラメータを算出し、太血管７５について算出した複数の血管情報を用いて、太血管７５の血管パラメータを算出する。しかし、血管パラメータ算出部９４は、特定太さの血管に関する血管情報と、特定太さ以外の血管に関する血管情報とを組み合わせて使用し、特定太さの血管に関する血管パラメータを算出しても良い。すなわち、血管パラメータ算出部９４は、太さが特定太さ以外の血管について算出した血管情報を用いて特定太さの血管情報を算出することができる。
例えば、細血管７４の血管パラメータを算出する場合、細血管７４に関する血管情報だけでなく、太血管７５に関する血管情報を用いることができる。同様に、太血管７５の血管パラメータを算出する場合、太血管７５に関する血管の血管情報だけでなく、細血管７４に関する血管情報を用いることができる。血管パラメータの種類によっては、上記のように、異なる太さ間の血管情報を組み合わせて使用したほうが、より正確性が高い有益な値になる場合がある。例えば、がんのステージが進むと細い血管の蛇行度や太さの変化の複雑度等が大きくなるだけでなく、太い血管が粘膜の表層近くに確認されるという事実も知られている。医師は、太さが異なる血管に関する様々な情報を加味した上で診断を行っているので、異なる太さの血管に関する血管情報を組み合わせた血管パラメータを提示することで、より確度の高い診断実現が期待できる。
また、上記第１実施形態及び変形例では、設定した関心領域１２１について血管情報を算出し、この関心領域１２１の血管情報を用いて演算をすることで、関心領域１２１の血管パラメータを算出しているが、関心領域１２１を指定する場合でも、関心領域１２１以外の領域の血管情報を利用することができる。例えば、図１３に示すように、血管情報算出部９３は、関心領域１２１の内部Ｒｉについて上記第１実施形態等と同様に血管情報を算出し、かつ、関心領域１２１以外の領域Ｒｏについても血管情報を算出する。そして、血管パラメータ算出部９４は、関心領域１２１の内部Ｒｉについて算出した血管情報だけでなく、関心領域１２１以外の領域Ｒｏについて算出した血管情報を用いて、血管パラメータを算出するようにする。このように、血管パラメータの算出に、関心領域１２１以外の領域Ｒｏについて算出した血管情報を併せて用いるようにすると、血管パラメータから観察対象の個体差を低減した、より正確な血管パラメータを算出することができるようになる。関心領域１２１以外の領域Ｒｏは概ね観察対象の正常な部分なので、例えば、その観察対象に固有の「正常」な血管情報によって血管情報を規格化すれば、血管パラメータへの観察対象の個体差の影響は低減される。
［第２実施形態］
上記第１実施形態及び変形例では、血管パラメータを算出し、モニタ９８に表示しているが、図１４に示すように、画像処理装置６５には、血管パラメータを用いて観察対象の粘膜の状態を判定する判定部２０３を設け、判定部２０３による判定結果をモニタ９８に表示してもよい。観察対象の「粘膜の状態」とは、血管を含む粘膜全体としての総合的なステータスであり、例えば、「正常」、「腺腫」（腺腫の疑いがある）、または、「がん」（がんの疑いがある）等である。
判定部２０３は、血管パラメータ算出部９４から血管パラメータを取得し、血管パラメータに基づいて、あるいは血管パラメータを用いてさらに演算をして、観察対象の粘膜の状態を判定する。
例えば、粘膜の状態を、正常、腺腫、がんの３種類の状態のいずれかに判定するバランスに、血管パラメータＰＡの算出に用いる重み付け係数を設定しているとする。この場合、判定部２０３は、血管パラメータＰＡが第１閾値ＴＨ１以下であれば観察対象の粘膜の状態を「正常」と判定する。血管パラメータＰＡが第１閾値ＴＨ１より大きく第２閾値ＴＨ２以下の場合に、判定部２０３は、観察対象の粘膜の状態を「腺腫」と判定する。また、血管パラメータＰＡが第２閾値ＴＨ２よりも大きい場合に、判定部２０３は観察対象の粘膜の状態を「がん」と判定する。そして、図１５に示すように、モニタ９８の表示画面には、判定結果表示部２１７を設け、上記判定部２０３の判定結果を表示する。図１５の場合、判定結果は「腺腫」である。
上記のように、画像処理装置６５に判定部２０３を設け、血管パラメータを用いて観察対象の粘膜の状態を判定し、その判定結果２０８を表示すれば、血管パラメータを表示する場合よりもさらに直接的に分かりやすく診断を支援することができる。
なお、判定部２０３は、粘膜の状態を、正常、腺腫、及びがんを含む３種類以上の状態に判定することが望ましい。特に、大腸の粘膜の状態を判定する場合には、正常、過形成ポリープ（ＨＰ：Hyperplastic Polyp）、ＳＳＡ／Ｐ（Sessile Serrated Adenoma / Polyp）、腺腫（ＴＳＡ：Traditional Serrated Adenoma）、側方発達型腫瘍（ＬＳＴ：Laterally Spreading Tumor）、及びがんを含むいずれかの状態に判定することが好ましい。このように、判定部２０３の判定結果を細分化する場合、判定部２０３は血管パラメータに加えて、血管情報を用いることが好ましい。従来、過形成ポリープはがん化のリスクが低く、処置の必要がないと考えられていたが、近年では、過形成ポリープに似たＳＳＡ／Ｐががん化した例も発見されているため、特に過形成ポリープとＳＳＡ／Ｐを鑑別することが重要になってきている。一方、過形成ポリープあるいはＳＳＡ／Ｐと思しき肥厚した粘膜下を太血管７５が横断していると、ＳＳＡ／Ｐが形成される可能性が高いことが分かっている。血管パラメータを用いれば、判定部２０３によって過形成ポリープとＳＳＡ／Ｐを鑑別することができるが、血管パラメータに加え、血管情報（血管の太さ及び長さ）を組み合わせて判定をすれば、より高い確率で過形成ポリープからＳＳＡ／Ｐを鑑別することができる。
また、観察対象の粘膜の状態ががんである場合、判定部２０３は、血管パラメータを用いて、さらに、がんのステージを判定することが好ましい。そして、判定結果表示部２１７には、判定部２０３が判定したがんのステージを表示することが好ましい。このように、観察対象の粘膜の状態をがんと判定した場合にさらにステージを判定して、その結果をモニタ９８に表示すれば、さらに細やかに診断を支援することができる。観察対象の粘膜の状態ががんであり、さらにがんのステージを判定する場合には、血管パラメータに血管情報を組み合わせて、または、血管情報を用いて、がんのステージを判定してもよい。
上記第２実施形態では、判定部２０３の判定結果をモニタ９８に表示しているが、判定部２０３の判定結果そのものをモニタ９８に表示する代わりに、判定部２０３の判定血管に基づいて警告を表示してもよい。例えば、判定部２０３の判定結果が「がん」の場合、判定結果表示部２１７には「がんの可能性があります」等の判定結果に基づいて警告をするメッセージを表示することが好ましい。
なお、上記第２実施形態では、判定部２０３は、血管パラメータを第１閾値ＴＨ１、及び、第２閾値ＴＨ２と比較して観察対象の粘膜の状態を判定しているが、第１実施形態の変形例のように、観察対象の粘膜を基準とした深さに対する血管パラメータの変化をグラフ１６１にする場合には、このグラフ１６１によって観察対象の粘膜の状態を判定することができる。
例えば、図１６に破線で示すように、血管パラメータＰＡが、観察対象が正常であれば、ある特定の深さだけで極大になる変化をする場合、図１６に示すグラフ１６１のように、観察対象が正常な場合に予想される深さ以外に極大となる深さがあれば、判定部２０３は観察対象の粘膜の状態を異常（腺腫やがん等）と判定することができる。
血管パラメータの深さに対する変化態様に基づいて観察対象の粘膜の状態を判定する場合、観察対象が正常な場合に予想される「血管パラメータの深さに対する変化態様」は血管パラメータによって様々である。上記のように、観察対象が正常であれば、ある特定の深さだけで極大になる変化をする血管パラメータの他、深くなるほど減少する血管パラメータや、これとは逆に、深くなるほど増加する血管パラメータもある。また、粘膜下の浅い位置では値が小さく、やや深い位置で値が大きくなり、さらに深い位置では再び値が小さくなると、病変の可能性があると判定できる血管パラメータもある。さらに、深さによらずほぼ一定値になる血管パラメータの場合には、血管パラメータを算出した各深さのいずれかで、血管パラメータの値が一定値からずれた場合に、観察対象の粘膜の状態を異常と判定することができる。
上記のように、血管パラメータの深さに対する変化態様に基づいて観察対象の粘膜の状態を判定する場合、観察対象の粘膜を基準とした深さに対する血管パラメータの変化を、図１６のようにモニタ９８に表示して、判定部２０３による判定の根拠を示すことが好ましい。
なお、上記第２実施形態では、判定部２０３は、１種類の血管パラメータを用いて観察対象の粘膜の状態を判定しているが、複数種類の血管パラメータを用いて観察対象の粘膜の状態を判定してもよい。例えば、図１７に示すように、血管パラメータＰＡと、血管パラメータＰＢとの相互関係によって、例えば、観察対象の粘膜の状態を、例えば、分類１、分類２、及び分類３（正常、腺腫、及びがん等）に分けることができる場合がある。この場合、図１７のように、判定部２０３が判定に使用する複数の血管パラメータの相互関係による分類を示すグラフ２１９と、算出した複数の血管パラメータの値２２０をモニタ９８に表示して、判定部２０３による判定の根拠を示すことが好ましい。
上記のように、複数種類の血管パラメータを用いて観察対象の粘膜の状態を判定する場合、判定部２０３は、特定深さの血管に関する複数種類の血管パラメータを用いて観察対象の粘膜の状態を判定することができる。また、判定部２０３は、特定深さの血管に関する血管パラメータと特定深さ以外の深さの血管に関する血管パラメータとを組み合わせて使用し、観察対象の粘膜の状態を判定することができる。
［第３実施形態］
上記第１実施形態及び第２実施形態では、内視鏡システム１０が内視鏡画像をストレージ６４に保存し、後に画像処理装置６５がストレージ６４から内視鏡画像を取得して血管パラメータを算出するが、観察対象を観察しながらほぼリアルタイムに内視鏡システム１０が血管パラメータを算出してもよい。この場合、図１８に示す内視鏡システム３１０のように、プロセッサ装置１６に画像取得部９１、血管抽出部９２、血管情報算出部９３、血管パラメータ算出部９４、及び、表示制御部９５を設ける。内視鏡１２や光源装置１４の構成は第１実施形態の内視鏡システム１０と同様である。
上記のようにプロセッサ装置１６に画像処理装置６５の各部を設ける場合、画像取得部９１は信号処理部６２が生成する内視鏡画像を、ストレージ６４を介さずに信号処理部６２から直接取得することができる。このため、画像取得部９１は、例えば静止画像の取得指示が入力された際に生成された第１内視鏡画像７１及び第２内視鏡画像７２を取得する。画像取得部９１以外の血管抽出部９２、血管情報算出部９３、血管パラメータ算出部９４、及び、表示制御部９５の動作は、第１実施形態の内視鏡システム１０と同様である。
上記のように、プロセッサ装置１６に、画像処理装置６５の各部を設ければ、プロセッサ装置１６が画像処理装置６５としても機能する。このため、内視鏡システム３１０では、観察対象を観察しながら血管パラメータを算出することができるので、ほぼリアルタイムに診断を支援することができる。内視鏡システム３１０は、観察対象に対して薬剤を投与等し、あるいは観察対象に施術し、その作用を観察する場合に好適である。
なお、上記第３実施形態では、画像取得部９１は信号処理部６２が生成する内視鏡画像を直接取得するが、信号処理部６２から内視鏡画像を直接取得する代わりに、第１実施形態等と同様、ストレージ６４から第１内視鏡画像７１及び第２内視鏡画像７２を取得してもよい。
また、上記第３実施形態では、画像取得部９１が信号処理部６２から取得する内視鏡画像は、静止画像の取得指示が入力された際に生成された内視鏡画像であるが、静止画像の取得指示に関係なく、特殊観察モード時に逐次生成される第１内視鏡画像７１及び第２内視鏡画像７２を用いて血管パラメータを算出してもよい。この場合、関心領域の設定、血管の抽出、血管情報の算出、及び、血管パラメータの算出は、予め設定する時間間隔毎に自動的に行うことが好ましい。血管パラメータを算出する時間間隔は医師が任意に設定可能である。
上記第１〜第３実施形態では、血管パラメータの算出に、第１内視鏡画像７１と第２内視鏡画像７２の２つの内視鏡画像を使用しているが、３以上の内視鏡画像を使用して血管パラメータを算出してもよい。３以上の内視鏡画像を使用すると、血管を抽出し、血管パラメータを算出する「特定太さ」を細かく設定（選択）することができる。
上記第１〜第３実施形態では、血管パラメータ算出部９４は、複数の血管情報を用いて血管パラメータを算出しているが、複数の血管情報を用いる代わりに、血管情報と、血管情報以外の観察対象に関する情報と、を用いて血管パラメータを算出しても良い。血管情報以外の観察対象に関する情報とは、例えば、観察対象の部位に関する情報（食道、胃、または大腸等）、患者情報（年齢、性別、または病歴等）、または、粘膜の表面の状態（隆起の有無や隆起の大きさ、ピットパターン、または色調等）等である。例えば、血管情報と観察対象の部位に関する情報とを組み合わせて血管パラメータを算出する場合、観察対象の部位ごとに演算用のパラメータセットを予め用意しておき、血管情報と、このパラメータセットとを用いて血管パラメータを算出する。
上記第１〜第３実施形態では、撮像センサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０（または内視鏡システム３１０）によって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図１９に示すように、カプセル内視鏡システムは、カプセル内視鏡６００と、プロセッサ装置（図示しない）とを少なくとも有する。カプセル内視鏡６００は、光源６０２と、光源制御部６０３と、撮像センサ６０４と、画像信号取得処理部６０６と、送受信アンテナ６０８とを備えている。光源６０２は、内視鏡システム１０の光源２０と同様に構成され、光源制御部６０３の制御によって、照明光を発光する。画像信号取得処理部６０６は、画像信号取得部５３、ＤＳＰ５６、ノイズ低減部５８、信号処理部６２として機能する。カプセル内視鏡システムのプロセッサ装置は、内視鏡システム３１０のプロセッサ装置１６と同様に構成され、画像処理装置６５としても機能する。
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ 静止画像取得指示部
１３ｂ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ 撮像センサ
５１ ＣＤＳ／ＡＧＣ回路
５２ Ａ／Ｄコンバータ
５３ 画像信号取得部
５６ ＤＳＰ
５８ ノイズ低減部
６１ メモリ
６２ 信号処理部
６３ 映像信号生成部
６４ ストレージ
６５ 画像処理装置
７１ 第１内視鏡画像
７２ 第２内視鏡画像
７３ 粘膜表面の形状
７４ 細血管
７５ 太血管
９１ 画像取得部
９２ 血管抽出部
９３ 血管情報算出部
９４ 血管パラメータ算出部
９５ 表示制御部
９７ 入力デバイス
９８ モニタ
９９ 係数テーブル
１０１ 差分画像
１０２ 差分画像
１１５ 内視鏡画像表示部
１２１ 関心領域
１３１ 設定部
１３２ プルダウンボタン
１４１ 血管パラメータ設定部
１４２ プルダウンボタン
１４３ 血管パラメータ表示部
１４４ａ 第１血管パラメータ設定部
１４４ｂ 第２血管パラメータ設定部
１４５ａ 第１血管パラメータ表示部
１４５ｂ 第２血管パラメータ表示部
１４６ａ 血管パラメータ表示部
１４６ｂ 血管パラメータ表示部
１６１ グラフ
２０３ 判定部
２０８ 判定結果
２１７ 判定結果表示部
２１９ グラフ
２２０ 血管パラメータの値
３１０ 内視鏡システム
４７０ 波長
６００ カプセル内視鏡
６０２ 光源
６０３ 光源制御部
６０４ 撮像センサ
６０６ 画像信号取得処理部
６０８ 送受信アンテナ
ＰＡ 血管パラメータ
ＰＢ 血管パラメータ
Ｒｉ 関心領域の内部
Ｒｏ 関心領域以外の領域
ＴＨ１ 第１閾値
ＴＨ２ 第２閾値

Claims (17)

  1. 内視鏡によって観察対象を撮像して得る内視鏡画像を取得する画像取得部と、
    前記内視鏡画像から、前記観察対象の血管の太さが特定太さの血管を太さごとに抽出する血管抽出部と、
    前記血管抽出部が抽出した血管に関する血管情報を太さごとに算出する血管情報算出部と、
    太さごとに算出した前記血管情報を用いて演算をすることにより、前記特定太さの血管に関する血管パラメータを太さごとに算出する血管パラメータ算出部と、
    前記血管パラメータ算出部が、第１の血管パラメータを太さごとに算出し、かつ、前記第１の血管パラメータとは異なる第２の血管パラメータを、前記第１の血管パラメータを算出する太さと同じ太さごとに算出する場合に、太さごとに算出した前記第１の血管パラメータと、前記第１の血管パラメータを算出する太さと同じ太さごとに算出した前記第２の血管パラメータとを表示する表示部と、
    を備える画像処理装置。
  2. 前記血管情報は、前記血管抽出部が抽出した血管の本数、太さ、太さの変化、太さの変化の複雑度、長さ、長さの変化、分岐数、分岐角度、分岐点間距離、交差数、深さ、高低差、傾き、面積、密度、間隔、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量である請求項１に記載の画像処理装置。
  3. 前記血管パラメータ算出部は、前記特定太さの血管に関する前記血管情報と、前記特定太さ以外の血管に関する前記血管情報とを組み合わせて使用し、前記特定太さの血管に関する前記血管パラメータを算出する請求項１または２に記載の画像処理装置。
  4. 前記血管パラメータ算出部は、複数の前記血管情報に重み付けをして演算をし、前記血管パラメータを算出する請求項１〜３のいずれか１項に記載の画像処理装置。
  5. 前記血管パラメータ算出部は、前記重み付けを、機械学習により定めた係数を用いて行う請求項４に記載の画像処理装置。
  6. 前記血管情報算出部は、前記内視鏡画像の一部または全部に設定する関心領域における統計量を前記血管情報として算出する請求項１〜５のいずれか１項に記載の画像処理装置。
  7. 前記統計量は、最大値、最小値、平均値、中央値、または最頻値である請求項６に記載の画像処理装置。
  8. 前記内視鏡画像の一部に前記関心領域を設定する場合、前記血管情報算出部は、前記関心領域の前記血管情報を算出し、かつ、前記関心領域以外の領域についても前記血管情報を算出し、
    前記血管パラメータ算出部は、前記関心領域の前記血管情報と、前記関心領域以外の領域の前記血管情報と、を用いて前記血管パラメータを算出する請求項６または７に記載の画像処理装置。
  9. 前記血管パラメータを用いて、前記観察対象の粘膜の状態を判定する判定部を備える請求項１〜８のいずれか１項に記載の画像処理装置。
  10. 前記判定部は、前記観察対象の粘膜を基準とした深さに対する前記血管パラメータの変化によって前記観察対象の粘膜の状態を判定する請求項９に記載の画像処理装置。
  11. 前記判定部は、複数種類の前記血管パラメータを用いて前記観察対象の粘膜の状態を判定する請求項９に記載の画像処理装置。
  12. 前記判定部は、前記特定太さの血管に関する前記血管パラメータと、前記特定太さ以外の太さの血管に関する前記血管パラメータと、を組み合わせて使用し、前記観察対象の粘膜の状態を判定する請求項１１に記載の画像処理装置。
  13. 前記判定部は、前記血管パラメータを用いて、前記観察対象の粘膜の状態を、正常、腺腫、及びがんを含む３種類以上の状態のいずれかに判定する請求項９〜１２のいずれか１項に記載の画像処理装置。
  14. 前記判定部は、前記血管パラメータを用いて、前記観察対象の粘膜の状態を、正常、過形成ポリープ、ＳＳＡ／Ｐ、腺腫、側方発達型腫瘍、及びがんのいずれかに判定する請求項１３に記載の画像処理装置。
  15. 前記判定部は、前記観察対象の粘膜の状態ががんの場合に、前記血管情報または前記血管パラメータを用いて、がんのステージを判定する請求項９〜１４のいずれか１項に記載の画像処理装置。
  16. 観察対象を撮像する内視鏡と、
    前記内視鏡によって前記観察対象を撮像して得る内視鏡画像を取得する画像取得部と、前記内視鏡画像から、前記観察対象の血管の太さが特定太さの血管を太さごとに抽出する血管抽出部と、前記血管抽出部が抽出した血管に関する血管情報を太さごとに算出する血管情報算出部と、太さごとに算出した前記血管情報を用いて演算をすることより、前記特定太さの血管に関する血管パラメータを太さごとに算出する血管パラメータ算出部と、前記血管パラメータ算出部が、第１の血管パラメータを太さごとに算出し、かつ、前記第１の血管パラメータとは異なる第２の血管パラメータを、前記第１の血管パラメータを算出する太さと同じ太さごとに算出する場合に、太さごとに算出した前記第１の血管パラメータと、前記第１の血管パラメータを算出する太さと同じ太さごとに算出した前記第２の血管パラメータとを表示する表示部と、を有する画像処理装置と、
    を備える内視鏡システム。
  17. 画像取得部が、内視鏡によって観察対象を撮像して得る内視鏡画像を取得するステップと、
    血管抽出部が、前記内視鏡画像から、前記観察対象の血管の太さが特定太さの血管を太さごとに抽出するステップと、
    血管情報算出部が、前記血管抽出部が抽出した血管に関する血管情報を太さごとに算出するステップと、
    血管パラメータ算出部が、太さごとに算出した前記血管情報を用いて演算をすることにより、前記特定太さの血管に関する血管パラメータを太さごとに算出するステップと、
    前記血管パラメータ算出部が、第１の血管パラメータを太さごとに算出し、かつ、前記第１の血管パラメータとは異なる第２の血管パラメータを、前記第１の血管パラメータを算出する太さと同じ太さごとに算出する場合に、表示部が、太さごとに算出した前記第１の血管パラメータと、前記第１の血管パラメータを算出する太さと同じ太さごとに算出した前記第２の血管パラメータとを表示するステップと、
    を備える画像処理方法。
JP2017543559A 2015-09-29 2016-09-29 画像処理装置、内視鏡システム、及び画像処理方法 Active JP6640866B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015192004 2015-09-29
JP2015192004 2015-09-29
PCT/JP2016/078817 WO2017057573A1 (ja) 2015-09-29 2016-09-29 画像処理装置、内視鏡システム、及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2017057573A1 JPWO2017057573A1 (ja) 2018-06-28
JP6640866B2 true JP6640866B2 (ja) 2020-02-05

Family

ID=58423764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543559A Active JP6640866B2 (ja) 2015-09-29 2016-09-29 画像処理装置、内視鏡システム、及び画像処理方法

Country Status (4)

Country Link
US (1) US20180218499A1 (ja)
EP (1) EP3357405A4 (ja)
JP (1) JP6640866B2 (ja)
WO (1) WO2017057573A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
CN105828693B (zh) * 2013-12-20 2018-11-06 奥林巴斯株式会社 内窥镜装置
JP6640865B2 (ja) * 2015-09-29 2020-02-05 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP6858672B2 (ja) * 2017-08-29 2021-04-14 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
JP6924727B2 (ja) * 2018-06-25 2021-08-25 富士フイルム株式会社 内視鏡装置
JP7065190B2 (ja) * 2018-07-10 2022-05-11 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法
EP3881751A4 (en) 2018-11-14 2021-12-15 FUJIFILM Corporation MEDICAL IMAGE PROCESSING SYSTEM
WO2020116115A1 (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置およびモデルの生成方法
JP6872581B2 (ja) * 2018-12-04 2021-05-19 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
CN113556968B (zh) * 2019-09-27 2023-12-22 Hoya株式会社 内窥镜系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210655A (ja) * 1994-01-21 1995-08-11 Nikon Corp 眼科用画像処理装置
JP4434705B2 (ja) * 2003-11-27 2010-03-17 オリンパス株式会社 画像解析方法
JP2006141711A (ja) * 2004-11-19 2006-06-08 Olympus Corp 内視鏡観察光学系
US20090203977A1 (en) * 2005-10-27 2009-08-13 Vadim Backman Method of screening for cancer using parameters obtained by the detection of early increase in microvascular blood content
JP5179902B2 (ja) * 2008-02-29 2013-04-10 株式会社東芝 医用画像読影支援装置
JP2010045615A (ja) * 2008-08-13 2010-02-25 Olympus Corp 撮像装置および内視鏡システム
US9826959B2 (en) * 2008-11-04 2017-11-28 Fujifilm Corporation Ultrasonic diagnostic device
JP5199157B2 (ja) * 2009-03-18 2013-05-15 富士フイルム株式会社 超音波診断装置、圧較差測定方法及び血管弾性測定方法
JP5767775B2 (ja) * 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
US8668636B2 (en) * 2009-09-30 2014-03-11 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5371920B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5274591B2 (ja) * 2011-01-27 2013-08-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5419930B2 (ja) * 2011-07-04 2014-02-19 富士フイルム株式会社 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法
JP5789232B2 (ja) * 2011-10-12 2015-10-07 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5587932B2 (ja) * 2012-03-14 2014-09-10 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6045396B2 (ja) * 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
EP3357405A1 (en) 2018-08-08
EP3357405A4 (en) 2018-11-07
US20180218499A1 (en) 2018-08-02
JPWO2017057573A1 (ja) 2018-06-28
WO2017057573A1 (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6633641B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6640865B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6577088B2 (ja) 内視鏡システム
JP6420492B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP6768871B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6831463B2 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6469558B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2019078237A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6461760B2 (ja) 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
JP6796725B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2016121811A1 (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム
JP6850358B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191226

R150 Certificate of patent or registration of utility model

Ref document number: 6640866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250