JPWO2017057414A1 - 画像処理装置、内視鏡システム、及び画像処理方法 - Google Patents

画像処理装置、内視鏡システム、及び画像処理方法 Download PDF

Info

Publication number
JPWO2017057414A1
JPWO2017057414A1 JP2017543465A JP2017543465A JPWO2017057414A1 JP WO2017057414 A1 JPWO2017057414 A1 JP WO2017057414A1 JP 2017543465 A JP2017543465 A JP 2017543465A JP 2017543465 A JP2017543465 A JP 2017543465A JP WO2017057414 A1 JPWO2017057414 A1 JP WO2017057414A1
Authority
JP
Japan
Prior art keywords
blood vessel
image
parameter
change
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017543465A
Other languages
English (en)
Other versions
JP6420492B2 (ja
Inventor
睦朗 今井
睦朗 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017057414A1 publication Critical patent/JPWO2017057414A1/ja
Application granted granted Critical
Publication of JP6420492B2 publication Critical patent/JP6420492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052Constructional details of control elements, e.g. handles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)

Abstract

観察対象の血管の時間的変化を表す指標を算出する画像処理装置、内視鏡システム、及び画像処理方法を提供する。
画像処理装置(65)は、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像を取得する画像取得部(81)と、複数の内視鏡画像から観察対象の血管をそれぞれ抽出する血管抽出部(82)と、内視鏡画像から抽出した血管についてそれぞれ複数の血管情報を算出する血管情報算出部(83)と、血管情報を用いて演算することにより、各々の内視鏡画像から抽出した血管に関する血管パラメータを算出する血管パラメータ算出部(84)と、血管パラメータを用いて血管の時間的変化を表す血管変化指標(108)を算出する血管変化指標算出部(85)と、を備える。

Description

本発明は、内視鏡で撮影した内視鏡画像を用いて、診断に供する数値等のデータを算出する画像処理装置、内視鏡システム、及び画像処理方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、内視鏡の挿入部を被検体内に挿入して先端部から照明光を照射し、照明光が照射された観察対象(被検体内の粘膜等)を、内視鏡の先端部に搭載した撮像センサで撮像する。そして、撮像によって得られた画像信号を用いて観察対象の画像(以下、内視鏡画像という)を生成し、モニタに表示する。
内視鏡システムでは、通常は、白色の照明光(通常光とも言う)が照射された観察対象を撮像することにより、観察対象を自然な色合いで観察可能な内視鏡画像(以下、通常光画像という)を表示する。さらに、特定の波長帯域を有する光を照明光として用いることで、観察対象の血管やピットパターン等を強調した内視鏡画像(以下、特殊観察画像という)を得る内視鏡システムも普及している。内視鏡画像を用いて診断をする場合、血管やピットパターン等に関する情報は重要な診断材料であるため、これらを強調した特殊観察画像は診断に特に有用である。
また、近年では、内視鏡画像(あるいは内視鏡画像の生成に使用する画像信号)を用いて、血管の深さ、太さ、または密度等を算出することで、医師の診断をアシストする内視鏡システムや診断支援装置も知られている(特許文献1,2)。酸素飽和度の経時変化をリアルタイムにモニタに表示するシステム(特許文献3)や、観察対象が発する蛍光の経時的な変化をモニタに表示するシステムも知られている(特許文献4)。
特開2007−061638号公報 特開2011−217798号公報 特開2012−235926号公報 特開2015−066129号公報
特許文献1,2のように、内視鏡画像を用いて算出することができる血管に関する情報(以下、血管情報という)はそれぞれ診断に有用な情報である。しかし、医師は血管の深さ、太さ、または密度等の血管情報のうち1つの血管情報にだけ基づいて診断をするわけではなく、複数の血管情報を複合的に考慮して診断をする。例えば、血管の太さと血管の密度はそれぞれ診断に有用な血管情報であるが、血管の太さが特定の太さであるから、あるいは血管の密度が特定の密度であるからというだけで観察対象の状態を鑑別するわけではなく、血管の太さが特定の太さ以上で、かつ、血管の密度が特定値以上であるから観察対象の状態が特定の病変である、というように複数の血管情報を勘案して診断をする。
上記のような多面的で複合的な診断の実態にあわせて、近年では、内視鏡システムや内視鏡画像を解析するための画像処理装置が、上記特許文献1,2が算出する血管情報よりもさらに直感的で有用な情報等を算出して、医師の診断を支援することが求められている。なかでも、観察対象の血管の状態(太さや深さの分布)が時間的にどのように変化したかという事実は特に診断に有用な情報になり得る。このため、内視鏡システムや画像処理装置は、血管情報よりもさらに直感的で有用、かつ、血管の状態の時間的変化を表す情報を算出することが望ましい。
本発明は、複数の血管情報を用い、内視鏡画像を用いた診断の実態にあわせ、個々の血管情報よりもさらに有益な診断支援パラメータ(以下、血管パラメータという)を算出し、かつ、血管パラメータを用いて観察対象の血管の時間的変化を表す指標を算出する画像処理装置、内視鏡システム、及び画像処理方法を提供することを目的とする。
本発明の画像処理装置は、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像を取得する画像取得部と、複数の内視鏡画像から観察対象の血管をそれぞれ抽出する血管抽出部と、内視鏡画像から抽出した血管についてそれぞれ複数の血管情報を算出する血管情報算出部と、血管情報を用いて演算することにより、各々の内視鏡画像から抽出した血管に関する血管パラメータを算出する血管パラメータ算出部と、血管パラメータを用いて観察対象の血管の時間的変化を表す血管変化指標を算出する血管変化指標算出部と、を備える。
血管情報は、血管の本数、太さ、太さの変化、太さの変化の複雑度、長さ、長さの変化、分岐数、分岐角度、分岐点間距離、交差数、傾き、面積、密度、粘膜を基準とした深さ、高低差、間隔、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量であることが好ましい。
血管変化指標は、前記血管パラメータの差分、倍率、または変化率であることが好ましい。
血管情報算出部は、内視鏡画像の一部または全部に設定する関心領域について血管情報を算出することが好ましい。
血管情報は、関心領域における統計量であることが好ましい。
血管変化指標算出部は、各々の内視鏡画像の撮像時刻順に帰納的に血管変化指標を算出することが好ましい。
血管変化指標算出部は、各々の内視鏡画像の撮像時刻のうちいずれかの撮影時刻を基準時刻に設定して血管変化指標を算出することが好ましい。
本発明の内視鏡システムは、観察対象を撮像する内視鏡と、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像を取得する画像取得部と、複数の前記内視鏡画像から観察対象の血管をそれぞれ抽出する血管抽出部と、内視鏡画像から抽出した血管についてそれぞれ複数の血管情報を算出する血管情報算出部と、血管情報を用いて演算することにより、各々の内視鏡画像から抽出した血管に関する血管パラメータを算出する血管パラメータ算出部と、血管パラメータを用いて観察対象の血管の時間的変化を表す血管変化指標を算出する血管変化指標算出部と、を有する画像処理装置と、を備える。
本発明の画像処理方法は、画像取得部が、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像を取得するステップと、血管抽出部が、複数の内視鏡画像から観察対象の血管をそれぞれ抽出するステップと、血管情報算出部が、内視鏡画像から抽出した血管についてそれぞれ複数の血管情報を算出するステップと、血管パラメータ算出部が、血管情報を用いて演算することにより、各々の内視鏡画像から抽出した血管に関する血管パラメータを算出するステップと、血管変化指標算出部が、血管パラメータを用いて観察対象の血管の時間的変化を表す血管変化指標を算出するステップと、を備える。
本発明の画像処理装置、内視鏡システム、及び画像処理装置は、複数の血管情報を用いて演算することにより、個々の血管情報よりもさらに直接的に診断の目安になる血管パラメータを算出し、かつ、血管パラメータを用いて観察対象の血管の時間的変化を表す血管変化指標を算出する。このため、本発明の画像処理装置、内視鏡システム、及び画像処理装置は、従来よりもさらに直接的に医師の診断を支援することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 画像処理装置のブロック図である。 ストレージに保存した内視鏡画像を示す説明図である。 モニタの表示画面である。 画像処理装置の動作を示すフローチャートである。 関心領域の設定方法を示す説明図である。 第2内視鏡画像の模式図である。 抽出した第2血管を表す第2血管画像である。 第2実施形態の画像処理装置のブロック図である。 判定部による判定結果を表示するモニタの表示画面である。 第3実施形態の内視鏡システムのブロック図である。 第4実施形態で用いる第3内視鏡画像を示す説明図である。 第4実施形態におけるモニタの表示画面である。 計算開始ボタンを設けたモニタの表示画面である。 血管パラメータを表示するモニタの表示画面である。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、静止画像取得指示部13a、ズーム操作部13bが設けられている。静止画像取得指示部13aは、内視鏡システム10に静止画像の取得指示を入力する場合に操作する。静止画像の取得指示には、モニタ18に観察対象の静止画像を表示するフリーズ指示と、静止画像をストレージに保存するレリーズ指示がある。ズーム操作部13bは、撮像倍率を変更するための撮像倍率変更指示を入力するために用いられる。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
図2に示すように、光源装置14は、観察対象に照射する照明光を発する光源20と、光源20を制御する光源制御部22とを備えている。光源20は、例えば、複数色のLED(Light Emitting Diode)等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、またはキセノンランプ等のハロゲン光源で構成される。また、光源20には、LED等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源制御部22は、LED等のオン/オフや、LED等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源制御部22は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
内視鏡システム10は、観察対象を通常観察画像で観察するための通常観察モードと、観察対象を特殊観察画像で観察するための特殊観察モードの2種類の観察モードを有する。観察モードが通常観察モードの場合、光源制御部22は、光源20によってほぼ白色の照明光を発生させる。観察モードが特殊観察モードの場合、光源制御部22は、光源20によって、特定の狭い波長帯域を有する照明光(以下、狭帯域光という)を発生させる。観察モードは、操作部12bに設けられたモード切り替えスイッチ(図示しない)によって切り替えられる。
光源20が発した照明光は、挿入部12a内に挿通したライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコードに内蔵しており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、ライトガイド41によって伝搬した照明光は照明レンズ45を介して観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、及び撮像センサ48を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ46及びズームレンズ47を介して撮像センサ48に入射する。これにより、撮像センサ48に観察対象の像が結像する。ズームレンズ47は、ズーム操作部13bを操作することでテレ端とワイド端の間で自在に移動し、撮像センサ48に結像する観察対象を拡大または縮小する。
撮像センサ48は、画素毎にR(赤色)、G(緑色)、またはB(青色)のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してRGB各色の画像信号を出力する。撮像センサ48としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ48の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力される。このため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ48と同様のRGB画像信号を得ることができる。また、撮像センサ48の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
撮像センサ48が出力する画像信号は、CDS/AGC回路51に送信される。CDS/AGC回路51は、アナログ信号である画像信号に相関二重サンプリング(CDS:Correlated Double Sampling)や自動利得制御(AGC:Automatic Gain Control)を行う。CDS/AGC回路51を経た画像信号は、A/D(Analog to Digital)コンバータ52により、デジタル画像信号に変換される。A/D変換後のデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、画像信号取得部53と、DSP(Digital Signal Processor)56と、ノイズ低減部58と、メモリ61と、信号処理部62と、映像信号生成部63と、を備えている。
画像信号取得部53は、内視鏡12からデジタル画像信号を取得する。DSP56は、画像信号取得部53が取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号を補正する。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルを整える。
ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理を施す。その後、ガンマ変換処理によって明るさや彩度を整える。ガンマ変換処理後の画像信号には、デモザイク処理(等方化処理、または同時化処理とも言う)を施し、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ低減部58は、DSP56でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズを低減した画像信号は、メモリ61に記憶する。
信号処理部62は、メモリ61からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。色変換処理は、画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像信号に対して行う。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。信号処理部62が生成する内視鏡画像は、観察モードが通常観察モードの場合は通常観察画像であり、観察モードが特殊観察モードの場合は特殊観察画像であるため、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、信号処理部62は、観察対象が自然な色合いになる上記各種信号処理を施して通常観察画像を生成する。特殊観察モードの場合、信号処理部62は、少なくとも観察対象の血管を強調する上記各種信号処理を施して特殊観察画像を生成する。信号処理部62が生成する特殊観察画像では、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管(いわゆる表層血管)は、マゼンタ系の色(例えばブラウン色)になり、粘膜の表面を基準とし観察対象内の比較的深い位置にある血管(いわゆる中深層血管)は、シアン系の色(例えば緑色)になる。このため、ピンク系の色で表される粘膜に対して、観察対象の血管が色の違いで強調される。
信号処理部62は、生成した内視鏡画像を映像信号生成部63に入力する。映像信号生成部63は、内視鏡画像をモニタ18に出力表示するための映像信号に変換する。また、静止画像取得指示部13aの操作により、レリーズ指示を入力すると、信号処理部62は、生成した内視鏡画像をストレージ64に保存する。ストレージ64は、プロセッサ装置16にLAN(Local Area Network)等接続した外部記憶装置であり、例えば、PACS(Picture Archiving and Communication System)等の内視鏡画像をファイリングするシステムのファイルサーバや、NAS(Network Attached Storage)等である。ストレージ64に保存した内視鏡画像は、画像処理装置65で使用する。
画像処理装置65は、内視鏡画像に画像処理を施して、診断支援のために、血管パラメータを算出し、かつ、血管パラメータを用いて血管変化指標を算出する装置である。図3に示すように、画像処理装置65は、画像取得部81と、血管抽出部82と、血管情報算出部83と、血管パラメータ算出部84と、血管変化指標算出部85と、を備える。また、画像処理装置65には、関心領域(ROI : Region Of Interest)の指定等に用いるポインティングデバイスやキーボードなどを含む入力デバイス87や、内視鏡画像等を表示するためのモニタ88が接続している。
画像取得部81は、内視鏡12によって観察対象を互いに異なる時刻に撮像して得た複数の内視鏡画像を、ストレージ64から取得する。ストレージ64に保存されている内視鏡画像には、通常観察画像と特殊観察画像とがあるが、本実施形態では、画像取得部81は、血管を強調した特殊観察画像をストレージ64から取得する。
また、図4に示すように、ストレージ64には、時間的に異なる時刻(年月日時)に観察対象を撮像して得た複数の内視鏡画像99を保存している。画像取得部81は、ユーザの設定入力等にしたがって、これら複数の内視鏡画像99から、互いに異なる時刻に撮像して得た複数の内視鏡画像を取得する。本実施形態では、簡単のため、第1内視鏡画像101と第2内視鏡画像102を取得する。第1内視鏡画像101は、第2内視鏡画像102よりも先に観察対象を撮像して得た内視鏡画像である。逆に、第2内視鏡画像102は、第1内視鏡画像101よりも後に観察対象を撮像して得た内視鏡画像である。すなわち、「第1」及び「第2」は内視鏡画像の取得時刻の先後を表し、画像取得部81が取得する2つの内視鏡画像のうち、相対的に先に観察対象を撮像して得た内視鏡画像が第1内視鏡画像101であり、相対的に後に観察対象を撮像して得た内視鏡画像が第2内視鏡画像102である。第1内視鏡画像101の撮影時刻T1と、第2内視鏡画像102の撮影時刻T2とを比較すると、T1<T2である。
血管抽出部82は、画像取得部81が取得した複数の内視鏡画像から観察対象の血管をそれぞれ抽出する。血管の抽出方法は、例えば周波数フィルタ等である。本実施形態では、画像取得部81は、第1内視鏡画像101と第2内視鏡画像102の2つの内視鏡画像を取得するので、血管抽出部82は第1内視鏡画像101及び第2内視鏡画像102から観察対象の血管をそれぞれ抽出する。以下、第1内視鏡画像101から抽出した血管を第1血管といい、第2内視鏡画像102から抽出した血管を第2血管という。また、本実施形態では、血管抽出部82は画像取得部81が取得した内視鏡画像の全体から血管を抽出するが、関心領域を指定した場合は指定した関心領域内でだけ血管を抽出しても良い。
血管情報算出部83は、内視鏡画像から抽出した血管についてそれぞれ複数の血管情報を算出する。血管情報とは、例えば、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量である。本実施形態では、血管情報算出部83は、可能な限り、上記の全ての血管情報を算出するが、上記のなかから必要な血管情報を選択して算出することができる。また、上記血管情報は例であり、その他の血管に関する情報を血管情報として算出してもよい。
血管の本数とは、内視鏡画像全体または関心領域内で抽出した血管の数である。血管の本数は、例えば、抽出した血管の分岐点の個数(分岐数)や他の血管との交差点の個数(交差数)等を用いて算出する。血管の分岐角度は、2本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、または、任意の分岐点とその隣の分岐点までの血管に沿った長さである。
血管の交差数とは、粘膜下の深さが異なる血管が内視鏡画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。
血管の太さ(血管径)とは、血管と粘膜の境界線間の距離であり、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。したがって、血管の太さは画素数であるが、内視鏡画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μm」等の長さの単位に換算可能である。
血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率(拡張度ともいう)である。血管径の変化率は、血管の最も細い部分の太さ(最小径)と血管の最も太い部分の太さ(最大径)を用いて、「血管経の変化率(%)=最小径/最大径×100」で求める。
なお、過去の検査で観察対象を撮影して得た内視鏡画像と、その後の新たな検査で同じ観察対象を撮影して得た内視鏡画像と、を用いる場合、過去の検査で得た内視鏡画像から抽出した血管の太さに対して、その後の新たな検査で得た内視鏡画像から抽出した同じ血管の太さの時間的な変化を血管の太さの変化としてもよい。
また、血管の太さの変化として、細径部の割合、または太径部の割合を算出しても良い。細径部とは太さが閾値以下の部分であり、太径部とは太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合(%)=細径部の長さ/血管の長さ×100」で求める。同様に、太径部の割合は、「太径部の割合(%)=太径部の長さ/血管の長さ×100」で求める。
血管の太さの変化の複雑度(以下、「太さ変化の複雑度」という)は、血管の太さ変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報(すなわち血管径の変化率、細径部の割合、または太径部の割合)を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。
血管の長さとは、抽出した血管の長手方向に沿って計数した画素数である。
血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。抽出した血管が1本の場合、血管の間隔は値を持たない。
血管の深さは、粘膜(より具体的には粘膜の表面)を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、粘膜の表面に近い位置にある血管はマゼンタ系の色で表され、粘膜の表面から遠く、粘膜下の深い位置にある血管はシアン系の色で表されるので、血管情報算出部83は、血管として抽出した画素のR,G,B各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。
血管の高低差とは、血管の深さの差の大きさである。例えば、注目する1本の血管の高低差は、この血管の最も深い箇所の深さ(最大深さ)と、最も浅い箇所の深さ(最小深さ)の差で求める。深さが一定の場合、高低差は零である。
血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き=血管の深さ/血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。
血管の面積は、血管として抽出した画素の画素数、または、血管として抽出した画素の画素数に比例する値である。血管の面積は、関心領域内、関心領域外、または、内視鏡画像全体について算出する。
血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域(例えば単位面積の領域)を切り出し、この領域内の全画素に占める血管の割合を算出する。これを関心領域または内視鏡画像全体の全画素に対して行うことで、各画素の血管の密度を算出することができる。
血管のコントラストとは、観察対象の粘膜に対する相対的なコントラストである。血管のコントラストは、血管の輝度YVと、粘膜の輝度YMと、を用いて、例えば「YV/YM」または「(YV−YM)/(YV+YM)」で算出する。
血管の色とは、血管を表す画素のRGBの各値である。そして、血管の色の変化とは、血管を表す画素のRGB各値の各々の最大値と最小値の差または比である。例えば、血管を表す画素のB値の最大値と最小値の比、G値の最大値と最小値の比、またはR値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。
血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積(画素数)である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。
血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表す画素のR値に対するG値の比(G/R)はヘモグロビンの量に比例するので、G/Rの値を算出することで、画素ごとに血液濃度を算出することができる。
血管の酸素飽和度とは、ヘモグロビンの総量(酸化ヘモグロビン及び還元ヘモグロビンの総量)に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に違いが大きい特定の波長帯域の光(例えば、波長470±10nm程度の青色光)で観察対象を撮影した内視鏡画像を用いて算出することができる。波長470±10nm程度の青色光を用いる場合、血管を表す画素のB値は酸素飽和度と相関があるので、B値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。
動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が70%以上の血管を動脈とし、酸素飽和度が70%未満の血管を静脈とすれば、抽出した血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するするこができる。
投与した色素の濃度とは、観察対象に対して散布した色素、または静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、B/GやB/R等が、観察対象に定着(あるいは一時的に付着)した色素の濃度を表す。
血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度(走行方向)や、任意に設定する基準線に対して血管がなす角度の分散(走行方向のばらつき)等である。
血管の血流量(血流速度ともいう)は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡12の鉗子チャネル等を介して併用する場合等に、超音波プローブで得る信号を用いて内視鏡画像の血管を表す各画素のドップラーシフト周波数を求めることができる。血管の血流量は上記ドップラーシフト周波数を用いることで算出することができる。
入力デバイス87の操作によって内視鏡画像の全部または一部に関心領域を設定することができる。例えば、内視鏡画像の一部を関心領域に設定した場合、血管情報算出部83は関心領域内で血管情報を算出する。関心領域を指定していない場合や、内視鏡画像の全部を関心領域に設定した場合には、血管情報算出部83は、内視鏡画像の全部を関心領域に設定して血管情報を算出する。
また、血管情報算出部83は、内視鏡画像の画素毎に血管情報を算出する。例えば、血管情報を算出する画素を含む予め定めた範囲(例えば血管情報を算出する画素を中心とする99×99画素の範囲)の画素のデータを用いて1つの画素の血管情報を算出する。例えば、血管情報として血管の太さを算出する場合、画素毎の「血管の太さ」は、上記予め定めた範囲に写る血管の太さの統計量である。統計量とは、いわゆる基本統計量であり、例えば、最大値、最小値、平均値、中央値、または最頻値である。もちろん、例示する値以外の統計量を使用することもできる。例えば、最大値、最小値、平均値、中央値、または最頻値等のいわゆる代表値を用いて演算した値(最大値と最小値の比等)や、分散や標準偏差、変動係数等のいわゆる散布度を使用することができる。
関心領域を設定する場合には、血管情報算出部83は、関心領域に含まれる各画素の血管情報の統計量を算出し、その値を関心領域の血管情報とする。例えば、血管情報として血管の太さを算出する場合、上記のように各画素の「血管の太さ」を算出し、関心領域を設定している場合には、さらに関心領域に含まれる各画素の「血管の太さ」の統計量を算出し、設定した1つの関心領域に対して1つの「血管の太さ」を算出する。内視鏡画像の全体を関心領域に設定する場合も同様である。
なお、画素毎の血管情報を算出する場合の統計量と、関心領域の血管情報を算出する場合の統計量は、同じ統計量であっても良いし、異なっていても良い。例えば、画素毎の血管の太さを算出する場合には「予め定めた範囲」に写る血管の太さの平均値を算出し、その後、関心領域の血管の太さを算出する場合にも、各画素の血管の太さの平均値を算出してもよいし、各画素の血管の太さの最頻値を算出しても良い。
また、本実施形態では、上記のように画素毎に血管情報を算出し、その後、画素毎に算出した血管情報の関心領域内の統計量を算出して、関心領域の血管情報を算出するが、算出する血管情報の種類や、画素毎の血管情報を算出する場合の統計量の計算の仕方と関心領域の血管情報を算出する場合の統計量の計算の仕方の関係等によっては、画素毎の血管情報を省略することができる。「血管の太さ」であれば、関心領域に写る血管の太さの平均値を、関心領域の血管の太さにすることができる。
本実施形態では、血管抽出部82は第1内視鏡画像101と第2内視鏡画像102についてそれぞれ血管を抽出する。このため、血管情報算出部83は、第1内視鏡画像101から抽出した第1血管について、複数の血管情報を算出する。以下では、第1血管について算出した血管情報を第1血管情報という。すなわち、血管情報算出部83は、第1血管について複数の第1血管情報を算出する。なお、第1内視鏡画像101の一部または全部に関心領域を設定する場合、各々の第1血管情報は、設定した関心領域における統計量である。
同様に、血管情報算出部83は、第2内視鏡画像102から抽出した第2血管について、複数の血管情報を算出する。以下では、第2血管について算出した血管情報を第2血管情報という。すなわち、血管情報算出部83は、第2血管について複数の第2血管情報を算出する。なお、第2内視鏡画像102の一部または全部に関心領域を設定する場合、各々の第2血管情報は、設定した関心領域における統計量である。
上記のように血管情報算出部83が算出する「複数の第1血管情報」と「複数の第2血管情報」は、種類(種類の組み合わせ)が同じである。例えば、血管情報算出部83が第1血管について「太さ」、「深さ」、及び「密度」の3種類の血管情報を第1血管情報として算出する場合、血管情報算出部83は第2血管についても「太さ」、「深さ」、及び「密度」の3種類の血管情報を第2血管情報として算出する。
血管パラメータ算出部84は、血管情報を用いて演算することにより、各々の内視鏡画像から抽出した血管に関する血管パラメータを算出する。血管パラメータは、複数の血管情報を用いた演算により得られ、観察対象(または観察対象の血管)を評価する評価値である。本実施形態では、血管パラメータ算出部84は、複数の第1血管情報を用いて演算することにより、第1血管に関する第1血管パラメータP1を算出する。また、血管パラメータ算出部84は、複数の第2血管情報を用いて演算することにより、第2血管に関する第2血管パラメータP2を算出する。
血管パラメータ算出部84は、複数の第1血管情報のそれぞれに重み付け係数をかけ、和をとることによって第1血管パラメータP1を算出する。重み付け係数は、重み付け係数テーブル91に記憶しており、例えば機械学習によって予め定める。複数の第2血管情報を用いて第2血管パラメータP2を算出する演算は、上記第1血管パラメータP1を算出する演算と同じであり、使用する重み付け係数も第1血管パラメータP1の算出に用いる重み付け係数テーブル91である。
第1血管パラメータP1と第2血管パラメータP2は、観察対象の血管の状態を同じ手法で(同じ演算によって)評価する同種の評価値である。すなわち、第1血管パラメータP1及び第2血管パラメータP2はどちらも同じ血管パラメータであり、「第1」及び「第2」は、単に、血管パラメータを算出する際に元になった血管が、第1内視鏡画像101から抽出した第1血管であるか、第2内視鏡画像102から抽出した第2血管であるかの違いを表す。もちろん、第1血管パラメータP1と第2血管パラメータP2の値は、偶然に一致する場合を除いて、基本的には異なる値になる。この第1血管パラメータP1と第2血管パラメータP2の値の違いは、第1内視鏡画像101の撮影時刻T1と第2内視鏡画像102の撮影時刻T2の違いである。
本実施形態では、血管パラメータ算出部84は、上記のように複数の血管情報の重み付け和を血管パラメータとして算出するが、血管パラメータの算出方法は任意である。例えば、和を取るだけでなく、加減乗除が混在する演算をして血管パラメータを算出しても良いし、その他の関数を用いて血管パラメータを算出しても良い。
血管パラメータは、互いに次元(単位)が異なる血管情報を加算等して算出するので、血管パラメータには物理的な意味は無いが、診断の指標として機能する。すなわち、血管パラメータは、物理的な意味がない値であることが血管情報との違いである。
血管変化指標算出部85は、血管パラメータ算出部84が算出した血管パラメータを用いて血管変化指標108(図5参照)を算出する。本実施形態では、血管パラメータ算出部84は、第1血管パラメータP1と第2血管パラメータP2を算出するので、血管変化指標算出部85は、第1血管パラメータP1及び第2血管パラメータP2を用いて血管変化指標108を算出する。
血管変化指標108は、観察対象の血管の時間的変化を表す指標であり、例えば、血管パラメータの差分、倍率、または変化率である。「血管の時間的変化」は、時間の経過による変化(経時的変化)、薬剤の散布、塗布、注入、または投与等による変化、その他施術後の変化等を含む。また、経過時間を考慮して、単位時間あたりの差分、倍率、または変化率を血管変化指標108にしてもよい。単位時間とは、1年、1月、1日、1時間、1分、1秒、等である。
本実施形態の場合、第1血管パラメータP1と第2血管パラメータP2の値の違いは、第1内視鏡画像101の撮影時刻T1と第2内視鏡画像102の撮影時刻T2の違いなので、第1血管パラメータに対する第2血管パラメータの変化は、観察対象の血管の時間的変化を表す。したがって、血管変化指標算出部85は、血管変化指標108として、第1血管パラメータP1に対する第2血管パラメータP2の変化を算出する。
また、本実施形態では、血管変化指標算出部85は、第1血管パラメータP1と第2血管パラメータP2の差分Δ、第1血管パラメータP1に対する第2血管パラメータP2の倍率Rm、または、第1血管パラメータP1に対する第2血管パラメータP2の変化率Rcのいずれかを算出する。第1血管パラメータP1と第2血管パラメータP2の差分Δは、Δ=P2−P1である。第1血管パラメータP1に対する第2血管パラメータP2の倍率Rmは、Rm=P2/P1である。第1血管パラメータP1に対する第2血管パラメータP2の変化率Rcは、Rc=(P2−P1)/P1である。これら差分Δ、倍率Rm、及び変化率Rcは例であり、血管変化指標算出部85は、差分Δ、倍率Rm、または変化率Rc以外の方法で血管変化指標108を算出しても良い。例えば、第1内視鏡画像101の撮影時刻T1と第2内視鏡画像102の撮影時刻T2の時間差dT(=T2−T1)で差分Δを割り、単位時間あたりの差分Δ/dTを血管変化指標108にすることができる。同様に単位時間あたりの倍率Rmや変化率Rcを算出することができる。
画像処理装置65は、画像取得部81で取得した第1内視鏡画像101及び第2内視鏡画像102と、血管変化指標算出部85が算出した血管変化指標108をモニタ88に表示する。図5に示すように、モニタ88は、メインウィンドウ115及びサブウィンドウ116と、血管変化指標表示部117とを有する。メインウィンドウ115及びサブウィンドウ116は内視鏡画像を表示し、血管変化指標表示部117は血管変化指標108を表示する。メインウィンドウ115は、相対的に後に観察対象を撮像して得た内視鏡画像を表示する領域であり、サブウィンドウ116は、相対的に先に観察対象を撮像して得た内視鏡画像を表示する領域である。このため、画像処理装置65は、メインウィンドウ115に第2内視鏡画像102を表示し、サブウィンドウ116に第1内視鏡画像101を表示する。
次に、画像処理装置65の動作の流れを図6のフローチャートに沿って説明する。まず、画像処理装置65は、入力デバイス87の入力操作にしたがって、画像取得部81によってストレージ64から第1内視鏡画像101及び第2内視鏡画像102を取得し(S11)、モニタ88に表示する(S12)。画像処理装置65は、取得した第1内視鏡画像101と第2内視鏡画像102のうち、撮像時刻が相対的に先の第1内視鏡画像101をサブウィンドウ116に表示し、撮像時刻が相対的に後の第2内視鏡画像102をメインウィンドウ115に表示する。
選択した第1内視鏡画像101及び第2内視鏡画像102がモニタ88に表示されると、医師は入力デバイス87を操作して、第1内視鏡画像101及び第2内視鏡画像102に関心領域をそれぞれ設定する(S13)。例えば、図7に示すように、メインウィンドウ115の第2内視鏡画像102の概ね中央付近に病変か否か(あるいは病変の進行度合い等)の診断を要する注目箇所がある。このため、医師は入力デバイス87を操作して、第2内視鏡画像102に注目箇所を含む関心領域(以下、第2関心領域という)112を設定する。また、サブウィンドウ116の第1内視鏡画像101に対しては、第2内視鏡画像102の注目箇所と同じ(あるいは対応する)注目箇所を含む関心領域(以下、第1関心領域という)111を設定する。
一方、血管抽出部82は、第1内視鏡画像101から第1血管を抽出し、かつ、第2内視鏡画像102から第2血管を抽出する(S14)。図8に示すように、第2内視鏡画像102は、血管を色によって強調した特殊観察画像であり、例えば、観察対象の粘膜表面の形状122が観察できる他、粘膜の表面に比較的近い位置にある細い表層血管123がマゼンタ系の色で表され、粘膜下の比較的深い位置にある太い中深層血管124はシアン系の色で表され、強調されている。この第2内視鏡画像102の場合、血管抽出部82は、図9に模式的に画像化して示す第2血管画像132のように、表層血管123と中深層血管124を第2血管として抽出する。血管抽出部82は、上記第2内視鏡画像102からの第2血管の抽出と同様に、第1内視鏡画像101から第1血管を抽出する。
上記のように、血管抽出部82が第1内視鏡画像101から第1血管を抽出すると、血管情報算出部83は、第1血管に関する第1血管情報を第1内視鏡画像101の画素毎に算出し、さらに第1関心領域111の統計量を算出することで、第1関心領域111の第1血管情報を算出する(S15)。同様に、血管抽出部82が第2内視鏡画像102から第2血管を抽出すると、血管情報算出部83は、第2血管に関する第2血管情報を第2内視鏡画像102の画素毎に算出し、さらに第2関心領域112の統計量を算出することで、第2関心領域112の第2血管情報を算出する(S15)。前述のように、血管情報算出部83は、第1血管に関する複数の第1血管情報と、第2血管に関する複数の第2血管情報とをそれぞれ算出する。
血管情報算出部83が第1血管について複数の第1血管情報を算出すると、血管パラメータ算出部84は、複数の第1血管情報を用いて演算することにより、第1血管パラメータP1を算出する(S16)。同様に、血管情報算出部83が第2血管について複数の第2血管情報を算出すると、血管パラメータ算出部84は、複数の第2血管情報を用いて演算することにより、第2血管パラメータP2を算出する(S16)。
血管パラメータ算出部84が第1血管パラメータP1及び第2血管パラメータP2を算出すると、血管変化指標算出部85は、第1血管パラメータP1及び第2血管パラメータP2を用いて、観察対象の血管の時間的変化を表す血管変化指標108を算出する(S17)。画像処理装置65は、血管変化指標算出部85が算出した血管変化指標108を、モニタ88の血管変化指標表示部117に表示する(図5参照)。第1内視鏡画像101及び第2内視鏡画像102の選択と、第1関心領域111及び第2関心領域112の設定以外は、画像処理装置65が自動的に行う。このため、画像処理装置65を使用する医師からしてみれば、ストレージ64から2枚の内視鏡画像を選択し、モニタ88上で選択した内視鏡画像のそれぞれに関心領域を設定すると、自動的に血管変化指標108が血管変化指標表示部117に表示される。
上記のように、画像処理装置65は、様々な血管情報を算出するだけでなく、複数の血管情報を用いて演算することにより第1血管パラメータP1及び第2血管パラメータP2を算出し、さらに、第1血管パラメータP1及び第2血管パラメータP2を用いて血管変化指標108を算出して医師の診断を支援する。
第1血管パラメータP1は、第1内視鏡画像101の撮影時刻T1における観察対象の診断の目安になり、第2血管パラメータP2は第2内視鏡画像102の撮影時刻T2における観察対象の診断の目安になる。そして、血管変化指標108は、これらの血管パラメータが時間経過によってどのように変化しているかを表す指標なので、特に診断の正確性向上の役に立つ。血管変化指標108によれば、例えば、血管パラメータの単なる増減だけでなく、血管パラメータの増減の程度を定量的に把握して診断をすることができる。第1血管パラメータP1や第2血管パラメータP2の絶対値だけで診断すると正確性に欠けて診断が難しいケースでも場合でも、血管変化指標108によって血管パラメータの変化をみれば正確な診断可能な場合がある。
また、血管変化指標108によれば、観察対象の血管が将来的にどのように変化するかを予想することができる。こうした予想は、従来は医師の経験によるものであったが、画像処理装置65の場合は血管変化指標108が正確な予想を補助するので、どのような医師でも、熟練の医師に近い予想が可能になる。
[第2実施形態]
上記第1実施形態では、血管変化指標108をモニタ88に表示しているが、図10に示すように、画像処理装置65には、血管変化指標を用いて観察対象の粘膜の状態を判定する判定部203を設け、血管変化指標108の代わりに判定部203による判定結果をモニタ88に表示してもよい。観察対象の「粘膜の状態」とは、血管を含む粘膜全体としての総合的なステータスであり、例えば、「正常」、「腺腫」(腺腫の疑いがある)、または、「がん」(がんの疑いがある)等である。
判定部203は、血管変化指標算出部85から血管変化指標108を取得し、血管変化指標108に基づいて、あるいは血管変化指標108を用いてさらに演算して、観察対象の粘膜の状態を判定する。
例えば、粘膜の状態を、正常、腺腫、がんの3種類の状態のいずれかに判定するバランスに、血管パラメータの算出に用いる重み付け係数を設定しているとする。この場合、判定部203は、第1血管パラメータP1に対する第2血管パラメータP2の変化が小さく、血管変化指標108が第1閾値TH1以下であれば観察対象の粘膜の状態を「正常」と判定する。第1血管パラメータP1に対する第2血管パラメータP2の変化が中程度であり、血管変化指標108が第1閾値TH1より大きく第2閾値TH2以下の場合に、判定部203は、観察対象の粘膜の状態を「腺腫」と判定する。また、第1血管パラメータP1に対する第2血管パラメータの変化が大きく、血管変化指標108が第2閾値TH2よりも大きい場合に、判定部203は観察対象の粘膜の状態を「がん」と判定する。そして、図11に示すように、モニタ88の表示画面には、血管変化指標表示部117の代わりに、判定結果表示部217を設け、上記判定部203の判定結果208を表示する。
上記のように、画像処理装置65に判定部203を設け、血管変化指標108を用いて観察対象の粘膜の状態を判定し、その判定結果208を表示すれば、血管変化指標108を表示する場合よりもさらに直接的に分かりやすく診断を支援することができる。
なお、判定部203は、粘膜の状態を、正常、腺腫、及びがんを含む3種類以上の状態に判定することが望ましい。特に、大腸の粘膜の状態を判定する場合には、正常、過形成ポリープ(HP:Hyperplastic Polyp)、SSA/P(Sessile Serrated Adenoma / Polyp)、腺腫(TSA:Traditional Serrated Adenoma)、側方発達型腫瘍(LST:Laterally Spreading Tumor)、及びがんを含むいずれかの状態に判定することが好ましい。このように、判定部203の判定結果を細分化する場合、判定部203は血管変化指標108に加えて、血管パラメータまたは血管情報を用いることが好ましい。従来、過形成ポリープはがん化のリスクが低く、処置の必要がないと考えられていたが、近年では、過形成ポリープに似たSSA/Pががん化した例も発見されているため、特に過形成ポリープとSSA/Pを鑑別することが重要になってきている。一方、過形成ポリープあるいはSSA/Pと思しき肥厚した粘膜下を中深層血管124が横断していると、SSA/Pが形成される可能性が高いことが分かっている。血管変化指標108を用いれば、判定部203によって過形成ポリープとSSA/Pを鑑別することができるが、血管変化指標108に加え、血管パラメータや血管情報(血管の太さ及び長さ)を組み合わせて判定をすれば、より高い確率で過形成ポリープからSSA/Pを鑑別することができる。
また、観察対象の粘膜の状態ががんである場合、判定部203は、血管変化指標108または血管パラメータ(第1血管パラメータP1もしくは第2血管パラメータP2)を用いて、さらに、がんのステージを判定することが好ましい。そして、判定結果表示部217には、判定部203が判定したがんのステージを表示することが好ましい。このように、観察対象の粘膜の状態をがんと判定した場合にさらにステージを判定して、その結果をモニタ88に表示すれば、さらに細やかに診断を支援することができる。観察対象の粘膜の状態ががんであり、さらにがんのステージを判定する場合には、血管変化指標108または血管パラメータ(第1血管パラメータP1もしくは第2血管パラメータP2)に血管情報を組み合わせてがんのステージを判定してもよい。
上記第2実施形態では、判定部203の判定結果をモニタ88に表示しているが、判定部203の判定結果そのものをモニタ88に表示する代わりに、判定部203の判定血管に基づいて警告を表示してもよい。例えば、判定部203の判定結果が「がん」の場合、判定結果表示部217には「がんの可能性があります」等の判定結果に基づいて警告をするメッセージを表示することが好ましい。
[第3実施形態]
上記第1実施形態及び第2実施形態では、内視鏡システム10が内視鏡画像をストレージ64に保存し、後に画像処理装置65がストレージ64から内視鏡画像を取得して血管パラメータを算出するが、観察対象を観察しながらほぼリアルタイムに内視鏡システム10が血管変化指標108を算出してもよい。この場合、図12に示す内視鏡システム310のように、プロセッサ装置16に画像取得部81、血管抽出部82、血管情報算出部83、血管パラメータ算出部84、及び、血管変化指標算出部85を設ける。内視鏡12や光源装置14の構成は第1実施形態の内視鏡システム10と同様である。
上記のようにプロセッサ装置16に画像処理装置65の各部を設ける場合、画像取得部81は信号処理部62が生成する内視鏡画像を、ストレージ64を介さずに信号処理部62から直接取得することができる。このため、画像取得部81は、例えば静止画像の取得指示が入力された際に生成された内視鏡画像を少なくとも2以上一時的に保持し、第1実施形態の第1内視鏡画像101及び第2内視鏡画像102として血管抽出部82に入力する。
画像取得部81が一時的に保持する複数の内視鏡画像のうち、どの内視鏡画像を第1実施形態の第1内視鏡画像101及び第2内視鏡画像102として使用するかは、第1実施形態で入力デバイス87を用いたのと同様に、内視鏡システム310のコンソール19を用いて医師が選択することができる。また、画像取得部81が一時的に保持する複数の内視鏡画像のうち、例えば、最も古い内視鏡画像(最も撮影時刻が早い内視鏡画像)を第1内視鏡画像101として使用し、最も新しい内視鏡画像(最も撮影時刻が遅い内視鏡画像)を第2内視鏡画像102として使用する等、コンソール19を用いて、第1内視鏡画像101及び第2内視鏡画像102として使用する内視鏡画像を予め設定しておくこともできる。
画像取得部81以外の血管抽出部82、血管情報算出部83、血管パラメータ算出部84、及び、血管変化指標算出部85の動作は、第1実施形態の内視鏡システム10と同様である。血管変化指標算出部85が算出した血管変化指標108は、映像信号生成部63を介して内視鏡システム310のモニタ18に表示する。血管変化指標108の表示方法は、第1実施形態と同様である。
上記のように、プロセッサ装置16に、画像処理装置65の各部を設ければ、プロセッサ装置16が画像処理装置65としても機能する。このため、内視鏡システム310では、観察対象を観察しながら血管変化指標108を算出するので、ほぼリアルタイムに診断を支援することができる。内視鏡システム310は、観察対象に対して薬剤を投与等し、あるいは観察対象に施術した場合に、その作用を観察する場合に好適である。
なお、上記第3実施形態では、画像取得部81は信号処理部62が生成する内視鏡画像を直接取得するが、信号処理部62から内視鏡画像を直接取得する代わりに、第1実施形態等と同様に、ストレージ64から第1内視鏡画像101及び第2内視鏡画像102を取得してもよい。特に、第1内視鏡画像101については、ストレージ64に保存してある過去の検査で得た内視鏡画像を用いるとよい。過去の検査で得た内視鏡画像を第1内視鏡画像101に使用すると、血管変化指標108によって過去の観察対象に対する現在の観察対象の変化を、現在行っている検査の最中にリアルタイムに知ることができる。
また、上記第3実施形態では、画像取得部81が信号処理部62から取得する内視鏡画像は、静止画像の取得指示が入力された際に生成された内視鏡画像であるが、静止画像の取得指示に関係なく、血管変化指標108を算出してもよい。この場合、関心領域の設定、血管の抽出、血管情報の算出、血管パラメータの算出、及び、血管変化指標108の算出を、予め設定する時間間隔毎に自動的に行うことが好ましい。血管変化指標108を算出する時間間隔は医師が任意に設定可能である。
[第4実施形態]
上記第1〜第3実施形態では、血管変化指標108の算出に、第1内視鏡画像101と第2内視鏡画像102の2つの内視鏡画像を使用しているが、3以上の内視鏡画像を使用して血管変化指標108を算出してもよい。
例えば、図13に示すように、画像取得部81が、ストレージ64に保存している複数の内視鏡画像99のなかから、第1内視鏡画像101及び第2内視鏡画像102に加え、第2内視鏡画像102よりも後に観察対象を撮像して得る第3内視鏡画像403を取得する。すなわち、第1内視鏡画像101の撮影時刻T1、第2内視鏡画像102の撮影時刻T2、及び、第3内視鏡画像403の撮影時刻T3を比較すると、T1<T2<T3である。
この場合、図14に示すように、モニタ88には、メインウィンドウ414、第1サブウィンドウ415、及び、第2サブウィンドウ416の3つの内視鏡画像の表示領域を設ける。そして、画像取得部81が第1内視鏡画像101、第2内視鏡画像102、及び第3内視鏡画像403を取得すると、画像処理装置65は、メインウィンドウ414に、相対的に最も後に観察対象を撮像して得た第3内視鏡画像403を表示し、第1サブウィンドウ415に2番目に観察対象を撮像して得た第2内視鏡画像102を表示し、第2サブウィンドウ416には相対的に最も先に観察対象を撮像して得た第1内視鏡画像101を表示する。
画像処理装置65が、モニタ88に、第1内視鏡画像101、第2内視鏡画像102、及び第3内視鏡画像403を表示すると、医師がこれらの内視鏡画像に対してそれぞれに対応する関心領域を設定するのは第1実施形態等と同様である。すなわち、まず、第3内視鏡画像403には関心領域(以下、第3関心領域という)413を設定し、第2内視鏡画像102には、第3関心領域413が含む注目箇所と同じ(あるいは対応する)注目箇所を含む第2関心領域412を設定する。第1内視鏡画像101についても同様に第1関心領域411を設定する。
上記のように、第1内視鏡画像101、第2内視鏡画像102、及び第3内視鏡画像403に関心領域を設定すると、血管抽出部82は、第1内視鏡画像101から第1血管を抽出し、第2内視鏡画像102から第2血管を抽出する。そして、第1内視鏡画像101から第1血管を抽出し、第2内視鏡画像102から第2血管を抽出するのと同様にして、第3内視鏡画像403から観察対象の血管を抽出する。以下、第3内視鏡画像403から抽出した血管を第3血管という。
その後、血管情報算出部83は、第1血管について複数の第1血管情報を算出し、第2血管について複数の第2血管情報を算出し、さらに、第1血管について複数の第1血管情報を算出する(あるいは第2血管について複数の第2血管情報を算出する)のと同様に、第3内視鏡画像403から抽出した第3血管について、第1血管情報及び第2血管情報と同じ複数の血管情報(以下、第3血管情報という)を算出する。複数の第1血管情報、複数の第2血管情報、及び、本実施形態で新たに算出する複数の第3血管情報は、種類(種類の組み合わせ)が同じである。
血管パラメータ算出部84が複数の第1血管情報を用いて演算し、第1血管パラメータP1を算出し、かつ、複数の第2血管情報を用いて演算し、第2血管パラメータP2を算出するのは第1実施形態等と同様である。本実施形態では、血管パラメータ算出部84は、第1血管パラメータP1及び第2血管パラメータP2を算出するのと同様に、複数の第3血管情報を用いて演算することにより、第3血管に関する血管パラメータ(以下、第3血管パラメータP3という)を算出する。複数の第3血管情報から第3血管パラメータP3を算出する演算は、第1血管パラメータP1及び第2血管パラメータP2を算出する場合の演算と同じである。
こうして第1血管パラメータP1、第2血管パラメータP2、及び第3血管パラメータP3を算出すると、血管変化指標算出部85は、これらの血管パラメータを用いて血管変化指標408a、408bを算出し、モニタ88の血管変化指標表示部417に表示する(図14参照)。第1実施形態等では、第1血管パラメータP1と第2血管パラメータP2の2個の血管パラメータしかないので、血管変化指標算出部85は、第1血管パラメータP1に対する第2血管パラメータP2の変化を算出し、その値を血管変化指標108としているが、本実施形態では、第1血管パラメータP1、第2血管パラメータP2、及び第3血管パラメータP3の3個の血管パラメータがある。このため、血管変化指標算出部85は、例えば、第1〜第3内視鏡画像101,102,403の撮像時刻順に帰納的に血管変化指標108を算出する。具体的には、第1血管パラメータP1に対する第2血管パラメータP2の変化(差分Δ等)を算出し、第2血管パラメータP2に対する第3血管パラメータP3の変化を算出する。第1血管パラメータP1に対する第2血管パラメータP2の変化が撮影時刻T1−T2間の血管変化指標408aであり、第2血管パラメータP2に対する第3血管パラメータP3の変化が撮影時刻T2−T3間の血管変化指標408bである。
上記第4実施形態では、血管変化指標算出部85は、第1〜第3内視鏡画像101,102,403の撮像時刻順に帰納的に血管変化指標108を算出するが、血管変化指標算出部85は、第1〜第3内視鏡画像101,102,403の撮影時刻のうちいずれかの撮影時刻を基準時刻に設定して血管変化指標を算出することもできる。例えば、第1内視鏡画像101の撮影時刻T1を基準時刻に設定し、第1血管パラメータP1に対する第2血管パラメータP2の変化(撮影時刻T1−T2間の血管パラメータの変化)と、第1血管パラメータP1に対する第3血管パラメータP3の変化(撮影時刻T1−T3間の血管パラメータの変化)を、血管変化指標として算出することができる。もちろん、第2内視鏡画像102の撮影時刻T2や、第3内視鏡画像403の撮影時刻T3を基準時刻に設定しても良い。
また、上記第4実施形態では、第1内視鏡画像101、第2内視鏡画像102、及び第3内視鏡画像403の3つの内視鏡画像を用いているが、4以上の内視鏡画像を用いる場合も上記第4実施形態と同様にして血管変化指標408を算出することができる。血管変化指標408の算出にいくつの内視鏡画像を使用するかは、医師が任意に設定できる。例えば、直近の内視鏡画像を利用する、過去5点の内視鏡画像を利用する等の設定が可能である。また、こうした設定は、血管変化指標408の種類(あるいは血管パラメータの種類)によって変更することができる。
なお、上記第1〜第4実施形態では、第1内視鏡画像101等のモニタ88に表示する内視鏡画像に関心領域を設定することで、血管変化指標108(第4実施形態では血管変化指標408)を算出する。すなわち、第1〜第4実施形態では、血管変化指標108の算出を開始するトリガは、関心領域の設定である。このため、関心領域を設定しない場合、あるいはモニタ88に表示する内視鏡画像の全部を関心領域に設定する場合には、例えば、図15に示すように、血管変化指標108の算出開始を指示する計算開始ボタン501をモニタ88に表示し、入力デバイス87(第3実施形態の場合にはコンソール19)による計算開始ボタン501の操作を契機として血管変化指標108の算出を開始する。また、第1内視鏡画像101等の血管変化指標108の算出に使用する内視鏡画像の選択が完了した場合(あるいは選択後一定時間が経過した場合等)に、自動的に血管変化指標108の算出を開始してもよい。
上記第1〜第4実施形態では、モニタ88に表示する第1内視鏡画像101等の各内視鏡画像に対して1つの関心領域を設定しているが、モニタ88に表示する第1内視鏡画像101等の各内視鏡画像に対して複数の関心領域を設定してもよい。例えば、内視鏡画像の全体をメッシュに区切った各領域を関心領域に設定し、各関心領域で血管変化指標108を算出することができる。また、医師が任意箇所に任意個数の関心領域を設定できるようにしても良い。
上記第1〜第4実施形態では、血管変化指標108を1つ算出しているが、複数の血管変化指標を算出してもよい。この場合、例えば、重み付け係数テーブル91に加え、重み付け係数テーブル91とは記憶する重み付け係数が異なる第2の重み付け係数テーブルを予め用意する。そして、血管パラメータ算出部84は、重み付け係数テーブル91の重み付け係数を用いて第1血管パラメータP1及び第2血管パラメータP2を算出し、かつ、第2の重み付け係数テーブルの重み付け係数を用いることで第1血管パラメータP1とは異なる第1血管に関する第1血管パラメータQ1と、第2血管パラメータP2とは異なる第2血管に関する第2血管パラメータQ2と、を算出する。その後、血管変化指標算出部85は、第1血管パラメータP1及び第2血管パラメータP2を用いて血管変化指標108(第1の血管変化指標)を算出し、かつ、第1血管パラメータQ1及び第2血管パラメータQ2を用いて第2の血管変化指標を算出する。このように、複数種類の血管変化指標を算出し、これらをモニタ88に表示することで、医師は観察対象を複数の観点で同時に診断することができる。3以上の内視鏡画像を用いる場合も同様である。
画像処理装置65(あるいは第3実施形態の内視鏡システム310)は、上記のように複数種類の血管変化指標を算出する場合、算出した全ての血管変化指標をモニタ88に表示することができるが、最も注意すべき血管変化指標(例えば変化率が大きい血管変化指標)を優先して表示することが好ましい。関心領域が複数箇所に設定し、各箇所で血管変化指標を算出することで、血管変化指標が複数ある場合も同様である。また、判定部203による判定結果を表示する場合も同様であり、判定結果が腺腫等の異常の可能性を示す判定結果をモニタ88に表示し、正常であること示す判定結果の表示は省略しても良い。
上記第1〜第4実施形態では、ストレージ64に保存された複数の内視鏡画像99から第1内視鏡画像101と第2内視鏡画像102を選択して取得しているが、これらの選択順序は任意である。第2内視鏡画像102を選択し、モニタ88で第2内視鏡画像102を見ながら、第2内視鏡画像102と観察対象の写り方が似ている内視鏡画像を第1内視鏡画像101として選択してもよいし、逆に、第1内視鏡画像101を選択してから第2内視鏡画像102を選択してもよい。
上記第1〜第4実施形態では、モニタ88(第3実施形態ではモニタ18)に血管変化指標108(第4実施形態では血管変化指標408)または判定部203による判定結果を表示しているが、図16に示すように、モニタ88には血管変化指標108や判定部203による判定結果の他に、第1血管パラメータP1や第2血管パラメータP2等の算出した血管パラメータを表示することが好ましい。図16は、第1血管パラメータP1を表示する第1血管パラメータ表示部511と第2血管パラメータP2を表示する第2血管パラメータ表示部512を設け、血管変化指標108に加え、第1血管パラメータP1と第2血管パラメータP2の各値を表示している。判定部203による判定結果を表示する場合や、血管変化指標108と判定結果を両方ともモニタ88に表示する場合も同様である。
さらに、血管パラメータの算出に用いる重み付け係数や、第1血管情報や第2血管情報等の血管情報をモニタ88に表示してもよい。血管パラメータの算出に用いる重み付け係数をモニタ88に表示する場合は、単に表示するだけでなく、モニタ88上で数値を入力する等して、重み付け係数を変更可能にしておくことが好ましい。このように、血管変化指標108や判定部203による判定結果に加えて、血管パラメータ等を表示することで、医師は血管変化指標108の意味や判定の根拠を把握しやすくなる。また、重み付け係数を表示し、かつ、重み付け係数を変更可能にしておくと、医師の経験に基づいて血管パラメータの算出方法を調整する方法を提供することができる。
また、例えば、血管パラメータ等を追加表示する「確認モード」を設け、入力デバイス87等(内視鏡システム310の場合には操作部12bやコンソール19、図示しないフットペダル等)を用いて確認モードにセットした場合に、血管変化指標108に加えて、血管パラメータ等を表示しても良い。
上記第1〜第4実施形態では、撮像センサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10(または内視鏡システム310)によって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図17に示すように、カプセル内視鏡システムは、カプセル内視鏡600と、プロセッサ装置(図示しない)とを少なくとも有する。カプセル内視鏡600は、光源602と、光源制御部603と、撮像センサ604と、画像信号取得処理部606と、送受信アンテナ608とを備えている。光源602は、内視鏡システム10の光源20と同様に構成され、光源制御部603の制御によって、照明光を発光する。画像信号取得処理部606は、画像信号取得部53、DSP56、ノイズ低減部58、信号処理部62として機能する。カプセル内視鏡システムのプロセッサ装置は、内視鏡システム310のプロセッサ装置16と同様に構成され、画像処理装置65としても機能する。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a 静止画像取得指示部
13b ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源
22 光源制御部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 撮像センサ
51 CDS/AGC回路
52 ADコンバータ
53 画像信号取得部
56 DSP
58 ノイズ低減部
61 メモリ
62 信号処理部
63 映像信号生成部
64 ストレージ
65 画像処理装置
81 画像取得部
82 血管抽出部
83 血管情報算出部
84 血管パラメータ算出部
85 血管変化指標算出部
87 入力デバイス
88 モニタ
91 係数テーブル
99 内視鏡画像
101 第1内視鏡画像
102 第2内視鏡画像
108 血管変化指標
111 第1関心領域
112 第2関心領域
115 メインウィンドウ
116 サブウィンドウ
117 血管変化指標表示部
122 形状
123 表層血管
124 中深層血管
132 第2血管画像
203 判定部
208 判定結果
217 判定結果表示部
310 内視鏡システム
403 第3内視鏡画像
408 血管変化指標
408a、408b 血管変化指標
411 第1関心領域
412 第2関心領域
413 第3関心領域
414 メインウィンドウ
415 第1サブウィンドウ
416 第2サブウィンドウ
417 血管変化指標表示部
501 計算開始ボタン
511 第1血管パラメータ表示部
512 第2血管パラメータ表示部
600 カプセル内視鏡
602 光源
603 光源制御部
604 撮像センサ
606 画像信号取得処理部
608 送受信アンテナ
P1 第1血管パラメータ
P2 第2血管パラメータ
P3 第3血管パラメータ
Q1 第1血管パラメータ
Q2 第2血管パラメータ
Rc 変化率
Rm 倍率
T1 撮影時刻
T2 撮影時刻
T3 撮影時刻
TH1 第1閾値
TH2 第2閾値

Claims (9)

  1. 内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像を取得する画像取得部と、
    複数の前記内視鏡画像から前記観察対象の血管をそれぞれ抽出する血管抽出部と、
    前記内視鏡画像から抽出した血管についてそれぞれ複数の血管情報を算出する血管情報算出部と、
    前記血管情報を用いて演算することにより、各々の前記内視鏡画像から抽出した血管に関する血管パラメータを算出する血管パラメータ算出部と、
    前記血管パラメータを用いて前記観察対象の血管の時間的変化を表す血管変化指標を算出する血管変化指標算出部と、
    を備える画像処理装置。
  2. 前記血管情報は、血管の本数、太さ、太さの変化、太さの変化の複雑度、長さ、長さの変化、分岐数、分岐角度、分岐点間距離、交差数、傾き、面積、密度、粘膜を基準とした深さ、高低差、間隔、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量である請求項1に記載の画像処理装置。
  3. 前記血管変化指標は、前記血管パラメータの差分、倍率、または変化率である請求項1または2に記載の画像処理装置。
  4. 前記血管情報算出部は、前記内視鏡画像の一部または全部に設定する関心領域について前記血管情報を算出する請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記血管情報は、前記関心領域における統計量である請求項4に記載の画像処理装置。
  6. 前記血管変化指標算出部は、各々の前記内視鏡画像の撮像時刻順に帰納的に前記血管変化指標を算出する請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 前記血管変化指標算出部は、各々の前記内視鏡画像の撮像時刻のうちいずれかの撮影時刻を基準時刻に設定して前記血管変化指標を算出する請求項1〜5のいずれか1項に記載の画像処理装置。
  8. 観察対象を撮像する内視鏡と、
    前記内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像を取得する画像取得部と、複数の前記内視鏡画像から前記観察対象の血管をそれぞれ抽出する血管抽出部と、前記内視鏡画像から抽出した血管についてそれぞれ複数の血管情報を算出する血管情報算出部と、前記血管情報を用いて演算することにより、各々の前記内視鏡画像から抽出した血管に関する血管パラメータを算出する血管パラメータ算出部と、前記血管パラメータを用いて前記観察対象の血管の時間的変化を表す血管変化指標を算出する血管変化指標算出部と、を有する画像処理装置と、
    を備える内視鏡システム。
  9. 画像取得部が、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像を取得するステップと、
    血管抽出部が、複数の前記内視鏡画像から前記観察対象の血管をそれぞれ抽出するステップと、
    血管情報算出部が、前記内視鏡画像から抽出した血管についてそれぞれ複数の血管情報を算出するステップと、
    血管パラメータ算出部が、前記血管情報を用いて演算することにより、各々の前記内視鏡画像から抽出した血管に関する血管パラメータを算出するステップと、
    血管変化指標算出部が、前記血管パラメータを用いて前記観察対象の血管の時間的変化を表す血管変化指標を算出するステップと、
    を備える画像処理方法。
JP2017543465A 2015-09-28 2016-09-27 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 Active JP6420492B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015189872 2015-09-28
JP2015189872 2015-09-28
PCT/JP2016/078539 WO2017057414A1 (ja) 2015-09-28 2016-09-27 画像処理装置、内視鏡システム、及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2017057414A1 true JPWO2017057414A1 (ja) 2018-06-07
JP6420492B2 JP6420492B2 (ja) 2018-11-07

Family

ID=58423927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543465A Active JP6420492B2 (ja) 2015-09-28 2016-09-27 画像処理装置、内視鏡システム、及び画像処理装置の作動方法

Country Status (4)

Country Link
US (1) US10672123B2 (ja)
EP (1) EP3357403B1 (ja)
JP (1) JP6420492B2 (ja)
WO (1) WO2017057414A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6858672B2 (ja) * 2017-08-29 2021-04-14 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
JP7007139B2 (ja) * 2017-09-20 2022-01-24 オリンパス株式会社 内視鏡装置、内視鏡システム及び検査方法
GB2577718B (en) * 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification
WO2020100630A1 (ja) * 2018-11-14 2020-05-22 富士フイルム株式会社 医療画像処理システム
JP7015275B2 (ja) * 2018-12-04 2022-02-02 Hoya株式会社 モデルの生成方法、教師データの生成方法、および、プログラム
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
WO2021157392A1 (ja) * 2020-02-07 2021-08-12 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
CN117159024A (zh) * 2021-09-14 2023-12-05 青岛海信医疗设备股份有限公司 一种超声仪器、超声探头检测方法和超声主机
KR20230147959A (ko) * 2022-04-15 2023-10-24 충남대학교산학협력단 내시경 이동 경로 가이드 장치, 시스템, 방법, 컴퓨터 판독 가능한 기록 매체, 및 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157902A (ja) * 2003-11-27 2005-06-16 Olympus Corp 画像解析方法
JP2006218138A (ja) * 2005-02-14 2006-08-24 Yoshihiro Sasaki ハイビジョンデジタル内視鏡画像のファイリング及びコンピューター支援診断装置
JP2011142929A (ja) * 2010-01-12 2011-07-28 National Institute Of Advanced Industrial Science & Technology 低侵襲血管新生計測装置
JP2011217798A (ja) * 2010-04-05 2011-11-04 Fujifilm Corp 電子内視鏡システム
JP2012514525A (ja) * 2009-01-08 2012-06-28 ノースショア ユニバーシティ ヘルスシステム 微小血管血液量の初期増加検出により取得されるパラメータを用いた癌スクリーニング方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4493637B2 (ja) 2006-09-29 2010-06-30 オリンパス株式会社 診断支援装置及び診断支援方法
JP5438571B2 (ja) * 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5642619B2 (ja) 2011-05-12 2014-12-17 富士フイルム株式会社 医療装置システム及び医療装置システムの作動方法
WO2014027293A2 (en) * 2012-08-10 2014-02-20 Vita-Sentry Ltd. Estimations of equivalent inner diameter of arterioles
JP6030035B2 (ja) 2013-09-27 2016-11-24 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
US10165955B2 (en) * 2014-02-06 2019-01-01 Reuven Gladshtein Obtaining cardiovascular parameters using arterioles related transient time
CA2973096A1 (en) * 2015-01-06 2016-07-14 Cardiovascular Biotherapeutics, Inc. Angiogenic treatment of ischemic heart disease

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157902A (ja) * 2003-11-27 2005-06-16 Olympus Corp 画像解析方法
JP2006218138A (ja) * 2005-02-14 2006-08-24 Yoshihiro Sasaki ハイビジョンデジタル内視鏡画像のファイリング及びコンピューター支援診断装置
JP2012514525A (ja) * 2009-01-08 2012-06-28 ノースショア ユニバーシティ ヘルスシステム 微小血管血液量の初期増加検出により取得されるパラメータを用いた癌スクリーニング方法
JP2011142929A (ja) * 2010-01-12 2011-07-28 National Institute Of Advanced Industrial Science & Technology 低侵襲血管新生計測装置
JP2011217798A (ja) * 2010-04-05 2011-11-04 Fujifilm Corp 電子内視鏡システム

Also Published As

Publication number Publication date
EP3357403A4 (en) 2018-11-07
US20180211385A1 (en) 2018-07-26
EP3357403B1 (en) 2019-08-21
WO2017057414A1 (ja) 2017-04-06
EP3357403A1 (en) 2018-08-08
JP6420492B2 (ja) 2018-11-07
US10672123B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
JP6633641B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6577088B2 (ja) 内視鏡システム
JP6420492B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
US10426318B2 (en) Image processing apparatus, endoscope system, and image processing method
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US10959606B2 (en) Endoscope system and generating emphasized image based on color information
JP6831463B2 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6469558B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6796725B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP6461760B2 (ja) 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
WO2016121811A1 (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180302

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180302

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181011

R150 Certificate of patent or registration of utility model

Ref document number: 6420492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250