JPWO2020203705A1 - 電子内視鏡システム及びデータ処理装置 - Google Patents

電子内視鏡システム及びデータ処理装置 Download PDF

Info

Publication number
JPWO2020203705A1
JPWO2020203705A1 JP2021511678A JP2021511678A JPWO2020203705A1 JP WO2020203705 A1 JPWO2020203705 A1 JP WO2020203705A1 JP 2021511678 A JP2021511678 A JP 2021511678A JP 2021511678 A JP2021511678 A JP 2021511678A JP WO2020203705 A1 JPWO2020203705 A1 JP WO2020203705A1
Authority
JP
Japan
Prior art keywords
image
evaluation value
lesion
evaluation
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021511678A
Other languages
English (en)
Other versions
JP6912688B2 (ja
Inventor
遼平 小泉
遼平 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JPWO2020203705A1 publication Critical patent/JPWO2020203705A1/ja
Application granted granted Critical
Publication of JP6912688B2 publication Critical patent/JP6912688B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

電子内視鏡システムは、電子内視鏡で撮像された器官内の画像を処理して病変の程度を評価する評価ユニットを備える。前記評価ユニットは、撮像画像に対して、生体組織の病変の程度を示す画像評価値を算出する画像評価値算出部と、前記器官内部における撮像位置の情報を利用して、器官内部の領域を区分けした複数の区間毎の画像評価値から画像評価値の代表評価値を算出し、この代表評価値を用いて、病変の奥行き方向の広がりを評価する病変評価部と、代表評価値の生成されていない空白区間に対して、空白区間より器官の奥側にある非空白区間における画像評価値の1つ、あるいは画像評価値に基づいて得られる代表評価値を、推定代表評価値として定めて前記空白区間に付与する病変評価調整部と、を備える。

Description

本発明は、器官内部における生体組織の病変の広がりを評価する電子内視鏡システム及びデータ処理装置に関する。
生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎(UC:Ulcerative Colitis)の病変の潰瘍部では、白苔や膿様粘液を含み白色になり、また、炎症部では、浮腫や易出血性を含む赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。
しかし、術者が内視鏡の画像内に含まれる色の相違によって正常部と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の程度を客観的に数値化した評価結果を提供することが好ましい。
これに対して、画像の明るさによる炎症部の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている(特許文献1)。
国際公開第2017/057680号
上述の内視鏡システムでは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により撮像し、少なくとも3つ以上の色成分を含むカラー画像を取得する画像取得部と、少なくとも3つ以上の色成分のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める評価部と、を備える。基準軸は、所定の基準点を通るように設定される。基準軸は、色平面内において炎症度が所定値以下の対象疾患と相関を有する軸及び炎症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方である。
このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。
しかし、上記内視鏡システムが、器官内部において、生体組織の炎症等の病変の程度を評価する場合、評価は、画像を撮像した生体組織の部分に限定され、器官内における奥行き方向に、どの程度の炎症を有する部位がどの程度広がっているのかの評価を適切に行うことはできない。炎症部の奥行き方向の広がりを評価することにより、病変部を治療する方法も異なる場合が多い。
さらに、器官内部を、器官を特徴付ける複数の区間に分けて、区間毎に病変の程度を知ることは、病変の奥行き方向の広がりを評価する上で重要であるが、内視鏡システムにおいて、区間すべてにおいて病変の程度を評価しているとは限らず、病変の程度の評価のない空白区間もある。このような場合、後日、同じ器官を検査して区間毎に病変の進行の具合を評価しようとしても、前回の評価結果に、病変の程度の評価結果がない空白区間があると、病変の奥行き方向の進行具合(あるいは縮小の具合)を把握することは難しい。
そこで、本発明は、器官内部における生体組織の炎症等の病変の程度を評価する際、器官内部の領域を区分けした複数の区間において、病変の程度の評価結果のない空白区間があっても、器官の奥行き方向の病変の広がりを評価することができる電子内視鏡システム及びデータ処理装置を提供することを目的とする。
本発明の一態様は、電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムである。当該電子内視鏡システムは、
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備える。
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間より前記器官の奥側にある前記代表評価値の生成されている非空白区間における前記画像評価値の1つ、あるいは、前記非空白区間における前記画像評価値に基づいて得られる代表評価値を、前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備える。
前記病変評価調整部は、前記空白区間より前記器官の奥側にある前記非空白区間であって、前記空白区間に最も近い最近傍区間内の画像評価値の1つ、あるいは前記最近傍区間における代表値評価値を前記推定代表評価値として定める、ことが好ましい。
前記画像あるいは前記画像評価値は、前記画像の撮像時刻あるいは撮像順番の情報と対応付けられており、
前記病変評価調整部は、前記空白区間より前記器官の奥側にある前記非空白区間を撮像した画像のうち、前記撮像時刻あるいは前記撮像順番が最も遅い画像に対応する画像評価値、あるいは、前記空白区間より前記器官の奥側にある前記非空白区間を撮像した画像の画像評価値のうち、前記撮像時刻あるいは前記撮像順番が最も遅い画像の画像評価値を、前記推定代表評価値として定める、ことが好ましい。
本発明の他の一態様は、電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムである。当該電子内視鏡システムは、
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備える。
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間を挟む両側の、前記代表評価値の生成されている非空白区間それぞれにおける前記代表評価値の2つを基準評価値として、前記基準評価値に基づいて算出される複合評価値を、前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、
を備える。
前記病変評価調整部は、前記両側の非空白区間のうち一方の非空白区間の長さ情報と前記空白区間の長さ情報の合計長さの情報に基づいた第1重み付け係数、及び前記両側の非空白区間のうち他方の非空白区間の長さ情報と前記空白区間の長さ情報の合計長さの情報に基づいた第2重み付け係数を用いて前記2つの基準評価値を重み付け平均した重み付け平均値を、前記推定代表評価値として定める、ことが好ましい。
本発明のさらに他の一態様も、電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムである。当該電子内視鏡システムは、
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備える。
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間を挟む両側の、前記代表評価値の生成されている非空白区間における前記代表評価値に基づいて得られる複合代表評価値を、前記空白区間における前記病変の程度を示す推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備え、
前記病変評価調整部は、前記両側の非空白区間それぞれの長さ情報及び前記空白区間の長さ情報と、前記非空白区間及び前記空白区間における前記代表評価値とを用いたカーブフィッティングによる内挿補間により、前記空白区間における前記推定代表評価値を算出する。
前記評価ユニットは、前記代表評価値及び前記推定代表評価値を、前記区間に対応して示す評価結果画面を生成するように構成された評価結果統合部を備え、
前記評価結果画面では、前記推定代表評価値は、前記代表評価値に対して区別可能な表示形態で表される、ことが好ましい。
また、前記注目画像の撮像位置の移動に伴って前記注目画像の前記画像評価値が予め定めた閾値を横切る位置を病変部の開始あるいは終了位置として、前記注目撮像の前記撮像位置の情報から、前記開始あるいは終了位置の前記器官内における位置を特定するように構成された病変部位置算出部を備え、
前記病変評価部は、前記病変部位置算出部の特定結果から、前記病変部の前記奥行き方向の長さを算出する、ことが好ましい。
本発明のさらに他の一態様は、電子内視鏡を器官内に挿入して生体組織を撮像した画像から、前記器官内における生体組織の病変の程度を評価するデータ処理装置である。当該データ処理装置は、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間より前記器官の奥側にある前記代表評価値の生成されている非空白区間における前記画像評価値の1つ、あるいは、前記非空白区間における前記画像評価値に基づいて得られる代表評価値を前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備える。
また、前記注目画像の撮像位置の移動に伴って前記注目画像の前記画像評価値が予め定めた閾値を横切る位置を病変部の開始あるいは終了位置として、前記注目撮像の前記撮像位置の情報から、前記開始あるいは終了位置の前記器官内における位置を特定するように構成された病変部位置算出部を備え、
前記病変評価部は、前記病変部位置算出部の特定結果から、前記病変部の前記奥行き方向の長さを算出する、ことが好ましい。
上述の電子内視鏡システム及びデータ処理装置によれば、器官内部における生体組織の病変の程度を評価する際、病変の程度の評価結果のない空白区間があっても、生体組織の、器官の奥行き方向の広がりを評価することができる。
一実施形態の内視鏡システムの構成を示すブロック図である。 図1に示す画像処理ユニットの、器官の奥行き方向の病変の広がりの評価を行う部分の構成を説明する図である。 一実施形態で用いる色空間内における基準軸の例を説明する図である。 一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。 一実施形態の評価ユニットが行う、画像取得から区間毎の代表評価値を求めるまでの流れの一例を示す図である。 一実施形態の内視鏡システムで測定対象とする器官の一例である大腸を説明する図である。 従来の病変評価部による評価結果の一例を示す図である。 一実施形態の病変評価調整部による評価結果の調整の一例を示す図である。 一実施形態の病変評価調整部による評価結果の調整の一例を示す図である。 一実施形態の病変評価調整部による評価結果の調整の一例を示す図である。 一実施形態の病変評価調整部による評価結果の調整の一例を示す図である。
以下、本発明の実施形態の電子内視鏡システム及びデータ処理装置について図面を参照しながら説明する前に、まず、器官内部の病変の広がりの評価を概念的に説明する。
(器官内部の病変の程度の評価の概要)
以下説明する実施形態の電子内視鏡システムのプロセッサは、電子内視鏡を器官内に挿入して生体組織を撮像した画像から器官内における生体組織の病変の程度を評価する。病変の程度とは、病変の広がりと、病変の強さを含む。器官内部の生体組織を撮像する場合、例えば、管状の器官の開口端から器官内部の奥行き方向の撮像対象とする最深部の位置まで電子内視鏡を挿入し、そこから、器官の開口端に向かって略連続的に移動しながら、器官内部の生体組織を撮像する。奥行き方向は、開口端から最深部の側に進む方向、及び最深部の側から開口端の側に進む方向の双方を含む。
生体組織の撮像される画像は、一定の時間間隔で連続して撮像した動画でもよく、また、器官内で電子内視鏡を移動しながら断続的に撮像した静止画であってもよい。電子内視鏡を移動させる場合、電子内視鏡の移動速度を必ずしも一定にする必要はなく、また、電子内視鏡が通過した場所に戻って撮像する、すなわち移動方向を部分的に逆方向にすることもできる。なお、動画の場合、電子内視鏡を略同じ移動速度で略同じ方向に移動しながら撮像する。
病変の程度の評価では、プロセッサは、白色光の照明光で照明した生体組織の複数の画像それぞれに対して、術者あるいはオペレータにより指示された画像における病変の強さを示す画像評価値を算出する。この画像評価値は、特に限定されないが、例えば、病変が炎症である場合、病変部(炎症部)の炎症の程度を、病変部の色成分の情報(例えば、赤色)に基づいて評価する炎症評価値を挙げることができる。
評価対象の器官は、特に限定されないが、例えば、咽頭〜食道、胃、小腸、大腸等の消化管等を挙げることができる。
また、例えば、波長405nmのレーザ光、波長445nmのレーザ光、及び波長445nmのレーザ光で蛍光体を発光させた445〜700nmの蛍光、を含んだ特殊光を用いて生体組織を照明して撮像し、撮像によって得られるRGBの3つの画像信号から2つの画像信号の比を作成し、この2つの画像信号を所定の強調処理を行った処理結果を利用して作られる画像毎の評価値、例えば萎縮性胃炎における粘膜等を評価する評価値を、上記画像評価値とすることもできる。
また、例えば、波長600nmの光、波長630nmの光、波長540nmの光をそれぞれ照明光として生体組織を照明して撮像し、撮像によって得られる画像に対して所定の強調処理を行った処理結果を利用して作られる画像毎の評価値、例えば粘膜深部の血管の状態を評価するための評価値を上記画像評価値とすることもできる。
また、光で照明された、染色等により前処理が施された消化管の粘膜の細胞を、拡大撮像して、細胞核の特徴量(長さ、直径、周長、真円度等の形状の情報)の平均値等を、非腫瘍、腺腫、癌等の病変の程度を評価するための評価値を画像評価値とすることもできる。
また、画像評価値は、画像毎に得られるMayoスコア等の評価値であってもよい。この場合、撮像した画像によって機械学習をした評価装置を用いて算出した評価値を上記画像評価値としてもよい。また、画像評価値は、病理組織学的な評価を画像毎に数値化したものであってもよい。
さらに、画像それぞれを撮像した際、撮像した器官内部における撮像位置の取得した情報が画像それぞれと対応付けられる。
プロセッサは、取得した撮像位置の情報を利用して、撮像した器官内の領域を区分けした複数の区間毎に、複数の区間それぞれの生体組織を撮像した複数の画像の画像評価値から画像評価値の代表評価値を算出し、この代表評価値を用いて、器官の奥行き方向に連続して広がっている病変の広がりを評価する。
ここで、区間とは、撮像位置のサンプリング間隔以上の距離で区切られた区間である。一実施形態によれば、この区間は、予め定められた間隔で区切られた区間である。予め定めた間隔は、一定の間隔であってもよいし、一定でなくてもよい。また、予め定めた間隔は、代表評価値の算出の途中で随時変更してもよい。例えば、予め細かい間隔で区切った区間を、より大きな区間に、例えば器官内で他の部分と識別可能に区別することができる部分であるセグメントに変更してもよい。
病変の程度の評価は、一実施形態によれば、複数の区間毎に、この区間に対応した画像評価値の代表値を求め、代表評価値の奥行き方向の分布を表示すること、あるいは、画像評価値を用いて判定される病変部を含む区間に対応した代表評価値の合計値を提供することを含む。これにより、病変の広がりと強さを同時に評価した病変の程度を、レベルに分けて評価することができる。
代表評価値は、区間毎の画像評価値の統計量、例えば、平均値、中央値、最頻値、あるいは最大値である。また、画像を再生しながら代表評価値を算出する際、代表評価値には、各区間の最後に算出した画像評価値を用いてもよい。
このように、撮像した器官内部における撮像位置の情報を利用して、撮像した器官内部の領域を区分けした複数の区間毎に、画像から得られる画像評価値から画像評価値の代表評価値を算出して、病変の広がりを精度よく評価することができる。しかし、このような画像評価値は、術者あるいはオペレータにより指示された画像を対象とした評価値であり、常に区間毎に存在するわけではない。術者あるいはオペレータは、撮像してモニタ表示された画像を見ながら、病変の程度が変化していないと判断する場合、画像評価値を算出する対象の画像として指示入力しないことが多い。この場合、代表評価値がない空白区間が存在する。このため、空白区間のある評価結果を後日参照して、病変の広がりの程度を比較しようとしても、空白区間があるため、病変の広がりを精度よく評価できない場合がある。
したがって、本実施形態の電子内視鏡システムでは、プロセッサに病変評価調整部が設けられる。病変評価調整部は、代表評価値の生成されていない空白区間に対して、空白区間より器官の奥側にある、代表評価値の生成されている非空白区間における画像評価値の1つ、あるいは、非空白区間における画像評価値に基づいて得られる代表評価値を空白区間における推定代表評価値として、空白区間に付与するように構成される。
あるいは、病変評価調整部は、代表評価値の生成されていない空白区間に対して、複数の区間のうち空白区間を挟む両側の非空白区間それぞれにおける代表評価値の2つを基準評価値として、基準評価値に基づいて算出される複合評価値を、空白区間における病変の程度を示す推定代表評価値として、空白区間に付与するように構成される。
あるいは、病変評価調整部は、代表評価値の生成されていない空白区間に対して、複数の区間のうち空白区間を挟む両側の非空白区間における代表評価値に基づいて得られる複合代表評価値を、空白区間における病変の程度を示す推定代表評価値として、空白区間に付与するように構成される。このとき、病変評価調整部は、両側の非空白区間それぞれの長さ情報及び空白区間の長さ情報と、非空白区間における代表評価値とを用いて、カーブフィッティングによる内挿補間により、空白区間における推定代表評価値を算出する。
なお、代表評価値及び推定代表評価値は、区間における病変の強さの指標である。したがって、撮像した複数の画像毎の局所的な生体組織の病変の強さの評価だけではなく、器官の奥行き方向における病変の広がりと病変の強さを含む総合的な評価を精度よく行うことができる。ここで、病変の広がりは、病変が連続して奥行き方向に広がっていることを示す。このため、器官内で離散的に数箇所の位置で画像を離散的に撮像して画像評価値を算出しても、病変の広がりを評価することは難しい。
(電子内視鏡システムの説明)
図1は、本発明の一実施形態の電子内視鏡システム1の構成を示すブロック図である。
図1に示されるように、電子内視鏡システム1は、電子スコープ(電子内視鏡)100、電子内視鏡用プロセッサ200、モニタ300、及び、プリンタ400を備えている。
電子内視鏡用プロセッサ200は、システムコントローラ202及びタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208から入力される術者あるいはオペレータの指示内容に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
電子内視鏡用プロセッサ200は、電子スコープ100に照明光を供給する光源部230を備えている。光源部230は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して光ファイバの束であるLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
入射端よりLCB102内に入射した照明光は、LCB102内を伝播して電子スコープ100の先端部内に配置されたLCB102の端より射出され、配光レンズ104を介して被写体である器官内部の生体組織に照射される。生体組織からの反射光は、対物レンズ106を介して撮像素子108の受光面上で光学像を結ぶ。
撮像素子108は、例えば、IR(Infrared)カットフィルタ108a、ベイヤ配列カラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red),G(Green),B(Blue)の各原色信号を生成する。単板式カラーCCDイメージセンサの代わりに、単板式カラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることもできる。電子スコープ100は、撮像素子108を用いて、器官内部の生体組織を撮像し、動画を生成する。
電子スコープ100の、プロセッサ200との接続部の内部には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、撮像素子108より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb、Cr)を生成し、生成された画像信号を電子内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、電子内視鏡用プロセッサ200に接続中の電子スコープ100に適した処理がなされるように電子内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112、画像処理ユニット220、及び光源部230にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、撮像素子108を電子内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
画像処理ユニット220は、術者あるいはオペレータの指示に従って、あるいは予め設定された処理内容に従って画像処理することができる部分である。画像処理ユニット220は、システムコントローラ202による制御の下、ドライバ信号処理回路112より入力した撮像した画像の画像信号に基づいて電子スコープ100で撮像した画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。さらに、画像処理ユニット220は、画像処理の一部として、撮像された生体組織の複数の画像を処理して器官の病変の程度を評価し、その評価結果をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。画像処理ユニット220は、具体的には、電子スコープ100で得られた生体組織の複数の画像から、画像それぞれにおける生体組織の病変の程度を示す、後述する画像評価値を算出する。なお、電子スコープ100は、器官内部の奥行き方向に沿って略連続的に移動しながら(一部、奥行き方向の撮像位置が逆方向に位置ずれする場合も含む)器官内部の生体組織を設定されたフレームレートで撮像する。このため、画像処理ユニット220は、術者あるいはオペレータの指示に応じて、略奥行き方向に沿って略順番に撮像された画像の画像評価値、及び複数の画像それぞれを撮像した器官内部における撮像位置の情報を利用して、撮像した器官内部の領域を所定の間隔で区分けした複数の区間毎に、画像評価値の代表評価値を算出し、この代表評価値を用いて、器官内部の奥行き方向に連続して広がっている病変の広がりを評価する。
さらに、画像処理ユニット220は、画像内の各画素の、後述する画素評価値に応じて各画素の色を置換したカラーマップ画像を生成する。画像処理ユニット220は、器官における病変の程度の評価結果の情報及び上記カラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者あるいはオペレータは、モニタ300の表示画面に表示された画像を通じて注目する器官の奥行き方向に広がる病変の程度の評価を受けることができる。画像処理ユニット220は、必要に応じてプリンタ400にカラーマップ画像及び器官における病変の程度の評価結果の情報を出力する。
電子内視鏡用プロセッサ200は、NIC(Network Interface Card)210及びネットワーク500を介してサーバ600に接続されている。電子内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報、術者の情報、過去の同じ器官における病変の程度の評価結果)をサーバ600からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ300の表示画面や操作パネル208に表示される。また、電子内視鏡用プロセッサ200は、内視鏡検査結果(内視鏡画像データ、検査条件、器官の病変の程度の評価結果、術者所見等)をサーバ600にアップロードすることにより、サーバ600に保存することができる。
図2は、画像処理ユニット220の、器官の奥行き方向の病変の広がりの評価を行う部分の構成を説明する図である。画像処理ユニット220は、電子スコープ100で撮像された生体組織の複数の画像を処理して病変の程度を評価するように構成された部分である。画像処理ユニット220は、前処理部220a、画像評価値算出部220b、撮像位置情報処理部220c、病変評価部220d、病変部位置算出部220e、病変評価調整部220f、及び評価結果統合部220gを備える。前処理部220a、画像評価値算出部220b、撮像位置情報処理部220c、病変評価部220d、病変部位置算出部220e、病変評価調整部220f、及び評価結果統合部220gは、撮像された生体組織の複数の画像を処理して器官の病変の程度を評価するように構成された評価ユニット225に含まれる。前処理部220a、画像評価値算出部220b、撮像位置情報処理部220c、病変評価部220d、病変部位置算出部220e、病変評価調整部220f、及び評価結果統合部220gは、メモリ204に記憶されているソフトウェアを起動することにより形成されるソフトウェアモジュールであってもよいし、ハードウェアで構成されたものであってもよい。
なお、図2に示す実施形態では、画像処理ユニット220は、病変部位置算出部220eを備えるが、別の一実施形態では、病変部位置算出部220eを備えない。
画像評価値算出部220bは、器官内における生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、注目画像における病変の程度を示す画像評価値を算出する。注目画像は、術者あるいはオペレータによる入力指示により特定される。術者あるいはオペレータによる入力指示は、例えば、電子スコープ100に設けられた、図示されない操作部に設けられたボタンを押すことにより行われる。一実施形態によれば、病変の一例である炎症の程度を注目画像毎に評価して画像評価値を求める。以下、病変の一例として、潰瘍性大腸炎等で発生する炎症を挙げて説明する。
画像評価値算出部220bは、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を画素評価値とし、画像全体における画素評価値を積算処理することにより1つの数値に纏めた値を、画像評価値として算出する。すなわち、生体組織の炎症の強さを、生体組織の赤色の程度を利用して評価する。以下、炎症の程度を示す生体組織赤色度を計算する形態を一例として説明する。
前処理部220aは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部220aは、一例として図示されるように、RGB変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb,Cr)を所定のマトリックス係数を用いて画像色成分(R,G,B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R,G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、生体組織赤色度を評価するために必要なRG平面内の基準軸を設定する。
被写体となる患者の器官内部の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちR成分が他の成分(G成分及びB成分)に対して支配的である。病変部の病変の程度が低く、病変部が炎症部である場合、炎症が強いほど赤色(R成分)が他の色(G成分及びB成分)に対して強くなる。しかし、器官内の撮像画像は、明るさに影響する撮影条件(例えば照明光の当たり具合)に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒(無彩色であり、例えば、R,G,Bの画像色成分の値がゼロ又はゼロに近い値)となり、照明光が強く当たって正反射する部分は白(無彩色であり、例えば、R,G,Bの画像色成分の値が8ビット階調の場合、255又は255に近い値)となる。すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
一般に、炎症が起こっていない器官内部の健常部は十分な粘膜で覆われている。これに対し、炎症が起こっている器官内部の炎症部は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色(黄色)が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。
そこで、図3に示されるように、RG色空間内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。図3は、一実施形態で用いる色空間内における基準軸の例を説明する図である。
図3に示されるプロットは、器官内部の多数の参照画像を解析した結果から得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例(最も重症なレベルの炎症画像例)や、炎症の程度の最も低い炎症画像例(実質的に健常部であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図3に示す例では、図面を明瞭化する便宜上、解析の結果から得られたプロットを一部だけ示している。解析の結果から実際に得られたプロットは、図3に示されるプロットの数よりも遥かに多い。
上述したように、炎症が強い部分ほど画像の色成分のうちR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図3に示す例では、(50,0)及び(255,76)を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部に対応するプロットが重畳される。したがって、ヘモグロビン変化軸AX1は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。
一方、健常部に近いほど画像の色成分のうちG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図3に示す例では、(0,0)及び(255,192)を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸AX2は、炎症の程度が低くなるほど(健常部に近いほど)プロットされる画素対応点が収束する軸である。
補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図3に示されるRG色空間内のプロットは、血液(ヘモグロビン色素)と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、炎症の程度の最も高い炎症部を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、炎症の程度の最も低い炎症部を示す軸(粘膜変化軸AX2)に相当する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
なお、図3に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
前処理部220aは、炎症評価値の算出の前に、RG色空間で表された画像の色成分に対して色補正を行う。メモリ204には、補正マトリックス係数が保存されている。同一の炎症部にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように(言い換えると、電子スコープの個体間誤差を抑えるために)、前処理部220aは、各画素のRG色空間内の画素対応点である画素データ(R,G)を、補正マトリックス係数を用いて下記式に示すように補正する。
Figure 2020203705

new :補正後の画素データ(R成分)
new :補正後の画素データ(G成分)
00〜M11:補正マトリックス係数
R :補正前の画素データ(R成分)
G :補正前の画素データ(G成分)
画像評価値算出部220bは、画素の中から一つの注目画素を選択し、選択した注目画素について、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図4は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、特徴量算出部220bは、図4に示すように、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点を基準点O’とし、基準点O’と注目画素の画素対応点Pとを結ぶ線分Lの向きが、基準軸AX1に対してずれるずれ角度θを算出する。なお、基準点O’は座標(−150,−75)に位置する。基準点O’を座標(−150,−75)にする例に挙げたが、これに限定されるものではない。上記基準点O’は、適宜変更可能であり、例えば、RG色空間のR軸とG軸の交点であってもよい。
基準点O’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点O’は、暗部(輝度が所定値未満)での評価結果と非暗部(輝度が所定値以上)での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
また、例えば、基準点O’を座標(−10,−10)から(10,10)の間に設定すると、座標(−150,−75)等を基準点O’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
器官内部の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG色空間内において、概ね、重症度の最も高い炎症部ではヘモグロビン変化軸AX1上に沿って変化し、炎症の程度が最も低い炎症部では粘膜変化軸AX2上に沿って変化する。また、炎症の程度が中間程度である炎症部の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸AX2に対するずれ角度θが一定のまま移動して基準点O’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
ずれ角度θが小さいほどR成分がG成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどG成分がR成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、画像評価値算出部220bは、ずれ角度θがゼロであるときに値255となり、ずれ角度θが最大角度、すなわとθMAXであるときに値ゼロとなるように、角度θを正規化する。なお、θMAXは、ヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度と等しい。すなわち、画像評価値算出部220bは、各注目画素について、各注目画素の色成分の情報に基づいて算出したずれ角度θを正規化した0〜255の範囲の値を、生体組織赤色度(画素評価値)として算出する。
なお、注目画素は、画像の全画素について1つずつ選択される。
なお、図4に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
画像評価値算出部220bは、ずれ角度θを正規化した値である生体組織赤色度を画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の程度を示す生体組織白色度を画素評価値として算出することもできる。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン(利得)を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部は白色を示し、浮腫や易出血性を含む赤色を示す炎症部や黄色あるいは緑色を示す正常部と色成分によって区別することができる。生体組織白色度は、図4に示すような2つの色成分(R成分、G成分、B成分のうち2つ)あるいは3つの色成分(R成分、G成分、B成分)の座標軸とする色空間上に表した、ヘモグロビン変化軸AX1とは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理については、前処理部220aが行う。
画像評価値算出部220bは、各画素の画素評価値を用いて、1つの画像評価値を算出する。例えば、撮像画像の中で、評価対象とする生体組織の像を表す画素を、取捨選択し、選択した画素の画素評価値の積算値あるいは平均値を、1つの画像評価値として算出する。あるいは、例えば、画素毎のRGBの色成分あるいは画素の輝度成分のうち、所定の範囲にある色成分あるいは輝度成分に基づいて評価対象の画素を抽出し、抽出した画素の画素評価値の平均値を求めることにより、あるいは所定の重み付け係数を用いた重み付け平均値を求めることにより、あるいは積算処理をすることにより、画像評価値算出部220bは、1つの画像評価値を算出する。画像中の評価対象とする画素の部分は、器官の炎症の程度を精度高く評価するために、生体組織における想定される所定の範囲内の色成分の値を有する部分であって、照明光で照明された所定値以上の輝度成分を有する画素の部分であることが好ましい。
画像評価値算出部220bが算出した画像評価値は、病変評価部220dに送られる。
画像評価値算出部220bは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像の作成のために、画素評価値と所定の表示色とを対応付けたテーブルがメモリ204の記憶領域に記憶されている。上記テーブルは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、画素評価値が0〜5の範囲では青色が対応付けられており、該画素評価値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が250〜255の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。画像評価値算出部220bは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルに基づき、注目画素の生体組織赤色度に応じて決定する。
こうして、特徴量算出部220bは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
撮像位置情報処理部220cは、電子内視鏡システム1に設けられた位置測定システム250から送られる撮像位置に関する位置情報を取得し、この取得した位置情報を撮像した注目画像と対応付ける。位置測定システム250は、例えば、器官内に挿入された電子スコープ100の先端部に位置する撮像素子108の位置、さらには、後続する可撓管の各位置を、センサを利用して取得するシステム、器官の開口端から挿入された電子スコープ100の挿入長さを取得するシステム、あるいは、撮像された画像が、モニタ300に表示され、この画像を見た術者が、挿入された器官内の特徴となる部分を電子スコープ100の先端部が通過したことを示す特定部分通過信号を生成するボタンを押すことにより、特定部分通過信号を取得するシステムである。
注目画像と対応付けられた撮像位置の取得情報は、逐次病変評価部220dに送られる。
撮像素子108の位置を、センサを利用して取得するシステムでは、例えば、電子スコープ100の先端部の撮像素子108の近傍の位置及び先端部からプロセッサ200の側に後続する可撓管に所定の間隔をあけて、磁気センサを複数設け、電子スコープ100が器官内に挿入された人体の外部から、位置によって強さが異なる磁界を付与し、上記磁気センサが磁界の強さを計測することにより、先端部に設けられた磁気センサの位置を知ることができ、さらに、複数の磁気センサの位置から可撓管の器官内における湾曲形状を知ることができる。これにより、撮像素子108の先端部の位置を知ることができ、電子スコープ100の器官内における形状、さらには、電子スコープ100の器官の開口端からの挿入長さを知ることができる。
器官の開口端から挿入された電子スコープ100の挿入長さを取得するシステムの場合、例えば、撮像した動画における撮像時間が隣り合う画像間で、生体組織がどの程度移動したかを、オプティカルフローの処理を利用して取得し、この取得結果を積算して移動距離を算出することにより、現在の電子スコープ100の挿入長さの情報を取得することができる。また、例えば、挿入される電子スコープ100の先端部から後続する可撓管が器官内に向かって繰り出されている長さを計測することにより、現在の電子スコープ100の挿入長さの情報を取得することができる。
器官の特定部分通過信号を取得するシステムでは、モニタ300に表示された画像を術者が見ながら、器官内部の識別可能な特定部分が画像に現れ通過した時点で、術者あるいはオペレータが手元にある操作部のボタンを押すことにより、特定部分通過信号を生成し、撮像位置情報処理部220cはこの特定部分通過信号を取得することができる。器官内部の特定部分の位置とは、例えば、器官が大腸の場合、上行結腸が始まる位置、上行結腸が終了し大腸が曲がって横行結腸が始まる位置、横行結腸が終了し大腸が曲がって下行結腸が始まる位置、下行結腸が終了し大腸が曲がってS字結腸が始まる位置、S字結腸が終了し直腸が始まる位置、及び、直腸が終了し肛門に到達する位置、を含む。
病変評価部220dは、撮像位置情報処理取得部220cから送られる撮像位置に関する情報を利用して、撮像した器官内部の領域を予め定めた間隔で区分けした複数の区間毎に、複数の区間それぞれの生体組織を撮像した複数の画像の画像評価値から画像評価値の代表評価値を算出する。さらに、病変評価部220dは、代表評価値を用いて、器官内部の奥行き方向に連続して広がっている病変の広がりを評価する。例えば、大腸における潰瘍性大腸炎の場合、病変が、直腸から下行結腸まで広がっている等と評価することができる。このような評価では、代表評価値が予め設定された閾値を越えている領域が病変部であるとして病変の広がりを評価することができる。
ここで、区間は、術者が予め定めたものでもよく、特定部分通過信号によって区間が区切られてもよい。特定部分通過信号によって区間を定める場合、区間をセグメントという。
このセグメントは、1つの器官内で他の部分と識別可能に区別することができる部分であり、例えば、器官が大腸の場合、上行結腸のセグメント、横行結腸のセグメント、下行結腸のセグメント、S字結腸のセグメント、直腸のセグメント等を含む。このようなセグメントは、特定部分通過信号により区間が区切られる。
病変評価部220dが画像評価値から算出する代表評価値は、一実施形態によれば、各区間に含まれる生体組織を撮像した複数の画像の画像評価値(以降、この画像評価値を、各区間に属する画像評価値ともいう)の統計量であることが好ましい。
電子スコープ100を器官内部において移動させながら生体組織を撮像することにより、区間毎に代表評価値を求めることで、器官内部の奥行き方向に連続して広がっている病変の広がりを評価することができる。
統計量は、平均値、中央値、最頻値、あるいは最大値を含むことが好ましい。一実施形態によれば、統計量の中で、病変の強さを最適に示すことができる点から、最大値を用いることがより好ましい。
一実施形態によれば、病変評価部220dは、病変の程度の評価を病変の強さに関する複数のランクに分けて評価するように構成されており、病変評価部220dは、代表評価値に基づいて複数のランクの1つを定めて、区間毎に病変の程度をランクによって評価する、ことが好ましい。これにより、器官内部の奥行き方向に連続して広がっている病変の広がりと病変の強さを術者により正確に知らせることができる。
また、一実施形態によれば、病変評価部220dは、病変が器官の奥行き方向に連続して広がっている病変部の有無を、代表評価値に基づいて区間毎に判定することが好ましい。病変部の領域は、代表評価値が予め設定された閾値に対して大きい領域である。
一実施形態によれば、病変評価部220dは、病変が器官の奥行き方向に連続して広がっている病変部の有無を、画像評価値に基づいて判定することもできる。病変部の領域は、画像評価値が予め設定された閾値に対して大きい領域である。画像評価値は、画像毎の評価値であるため、ノイズ成分を含む場合がある。この場合、画像評価値ではなく、区間毎の代表評価値を用いることが好ましい。
病変部位置算出部220eは、上述の区間のうち、病変部が位置する区間を、撮像した画像の位置情報に基づいて求めることで、病変部の領域の開始位置と終了位置を求め、病変部の位置を特定する。病変部の開始位置及び終了位置を正確に求めるためには、画像評価値と画像の撮像した位置情報を用いて、画像評価値が予め定められている閾値を横切る位置を求めることが好ましい。この場合、病変部位置算出部220eは、画像評価値毎に閾値と比較して、画像評価値が閾値を横切るか否かを判定する。この判定結果は、病変評価部220dに送られる。このとき、病変評価部220dは、病変部位置算出部220eが求めた病変部の開始位置と終了位置の情報から、病変部の長さを算出することが好ましい。
したがって、一実施形態によれば、病変部位置算出部220eは、画像の撮像位置の移動に伴って画像評価値が予め定めた閾値を横切る位置を病変部の開始あるいは終了位置として、画像の撮像した位置情報から、病変部の開始あるいは終了位置の器官内における位置を特定するように構成され、病変評価部220dは、この特定結果から、病変部の器官内の奥行き方向の長さを算出することが好ましい器官内において、器官内の奥行き方向の最深部に電子スコープ100を挿入しても病変部がさらにその奥に続いている場合もある。この場合、奥行き方向の最深部の撮像位置においてすでに病変部が存在しているので、病変部の奥行き方向の長さは、画像評価値のある奥行き方向の最深部の撮像位置から終了位置までの長さをいう。モニタ300は、病変部の終了位置及び/または開始位置、及び病変部の長さの少なくとも1つを画面表示する、ことが好ましい。これにより、術者は、病変の器官の奥行き方向の広がりを認識し易くなる。
また、病変評価部220dは、区間のうち病変部の開始位置と終了位置との間に含まれる区間に対応する代表評価値の合計値を求め、この合計値により、病変の程度を評価する、ことが好ましい。これにより、病変の器官の奥行き方向の広がりと病変の程度(強さ)を同時に評価することができる。この場合、例えば、合計値を複数のレベルに分けて病変の程度をレベルにより評価することができる。
病変評価部220dは、予め定める区間の間隔を狭くして多くの区間を設定した場合、各区間の奥行き方向に沿った位置情報(例えば電子スコープの挿入最深部から開口端に向かう距離)を横軸に示し、代表評価値を縦軸に示すグラフにおいて、区間毎の代表評価値によって作られる曲線が隣り合う区間で凸凹になる場合がある。この場合、一実施形態によれば、区間の位置情報及び代表評価値を利用して、移動平均処理あるいは所定の曲線を示す関数を用いてカーブフィッティング処理をすることにより、上記グラブに示す代表評価値の曲線を平滑に処理することが好ましい。
病変評価部220dが算出する代表評価値は、区間毎に生成されるが、複数の区間の中には、術者あるいはオペレータの指示により撮像した画像から算出する画像評価値が全くなく、代表評価値の生成されていない空白区間が存在する場合がある。病変評価調整部220fは、この空白区間に対して、空白区間より器官の奥側にある非空白区間における画像評価値の1つ、あるいは空白区間より器官の奥側にある非空白区間における代表評価値に基づいて推定代表評価値を定め、この推定代表評価値を、空白区間に付与する。推定代表評価値は、空白区間より器官の奥側にある非空白区間における代表評価値としてもよい。なお、非空白区間は、代表評価値の生成されている区間をいう。
あるいは、病変評価調整部220fは、空白区間に対して、空白区間を挟む両側の非空白区間それぞれにおける代表評価値の2つを基準評価値とし、この基準評価価に基づいて得られる複合代表評価値を、空白区間における病変の程度を示す推定代表評価値として、空白区間に付与する。
あるいは、病変評価調整部220fは、空白区間に対して、空白区間を挟む両側の非空白区間における代表評価値に基づいて、病変の程度を示す複合代表評価値を、推定代表評価値として算出し、この推定代表評価値を空白区間に付与する。このとき、病変評価調整部220fは、両側の非空白区間それぞれの長さ情報及び空白区間の長さ情報と、代表評価値とを用いたカーブフィッティングによる内挿補間により、空白区間における推定代表評価値を算出する。
このように、病変評価調整部220fを用いて空白区間に推定代表評価値を定めることができるので、器官の奥行き方向の病変の広がりを評価することができる他、後日、病変の広がりの検査を行った場合、生体組織の、器官の奥行き方向の広がりの進み具合、あるいは後退の具合を評価することができる。推定代表評価値の具体的な説明は後述する。
評価結果統合部220gは、評価結果である、区間毎の代表評価値あるいは推定代表評価値の数値や、各区間における代表評価値あるいは推定代表評価値の区間に対する分布を示したグラフ、病変部の奥行き方向の広がりを示した情報、病変部の開始位置、終了位置あるいは病変部の長さの情報、さらには、区間毎に、病変部のランク付けした強さの情報、を統合して、1つあるいは複数の評価結果画面としてモニタ300に表示させる。
図5は、画像処理ユニット220が行う、画像取得から区間毎の代表評価値を求めるまでの流れの一例を示す図である。
まず、前処理部220aは、画像を取得(ステップS10)して、上述した処理を行う。このとき、位置測定システム250から撮像位置情報処理部220cが、取得した画像の撮像位置の情報を、撮像した画像と対応付けて取得する。これにより、病変評価部220dは、この撮像位置の情報を用いて、取得した画像が、予め定めた区間のうち、器官内部のどの区間で撮像した画像か、区間を特定する(ステップS12)。一方、画像評価値算出部220bは、前処理部220aで処理された画像を用いて画像評価値を算出する(ステップS14)。
なお、ステップS14は、ステップS12の後に行うことに限定されず、ステップS12の前に、あるいは同時に行うことができる。
病変評価部220dは、算出された画像評価値から、代表評価値を決定する(ステップS16)。代表評価値は、画像評価値が1つである場合は、画像評価値であり、画像評価値が2つ以上ある場合は、区間毎の画像評価値の統計量、例えば、平均値、中央値、最頻値、あるいは最大値である。最大値は、病変の程度が区間の中で最も強いので、病変の評価としてより適している。また、代表評価値は、画像を再生しながら代表評価値を算出する際、代表評価値は、各区間の最後に算出した画像評価値をとしてもよい。
病変評価調整部220fは、画像評価値が全くなく、代表評価値が生成されない空白区間があるか否かを判定する(ステップS18)。空白区間がある場合、病変評価調整部220fは、上述した処理により推定代表評価値を決定し、空白区間に推定代表評価値を付与する(ステップS20)。
さらに、前処理部220aは、術者あるいはオペレータの指示により、病変の評価を行う画像を取得するか否かを判定する(ステップS22)。画像の取得がなくなるまで、前処理部220aは画像の取得のために待機する。
図6は、器官の一例である大腸を説明する図である。大腸は、開口端(肛門)から順番に、直腸、S字結腸、下行結腸、横行結腸、及び上行結腸を備える。以降、直腸はセグメントSG5、S字結腸はセグメントSG4、下行結腸はセグメントSG3、横行結腸はセグメントSG2、及び直腸はセグメントSG1という。
一般的に、電子スコープ100は、上行結腸であるセグメントSG1の最深部まで挿入され、そこから、開口端側に向かって引き出すように移動する。このため、電子スコープ100は、セグメントSG1、セグメントSG2、セグメントSG3、・・・と順番に画像を撮像する。
図7は、従来の評価結果の一例を示す図である。図7に示す評価結果は、横軸にセグメントSG5からセグメントSG1までの位置を表し、縦軸に代表評価値を表したグラフである。図7に示す例では、セグメントSG5及びセグメントS2の代表評価値が高く、セグメントSG5及びセグメントS2において炎症を起こしていることを示している。セグメントSG3,SG4は、代表評価値がない空白区間である。
図8は、病変評価調整部220fによる評価結果の調整の一例を示す図である。図8に示す結果は、図7と同様に、横軸にセグメントSG5からセグメント1までの位置を表し、縦軸に代表評価値を表したグラフである。図8に示す例では、病変評価調整部220fは、空白区間であるセグメントSG3,SG4に推定代表評価値を付与している。図8に示す例では、病変評価調整部220fは、代表評価値の生成されていない空白区間(セグメントSG3,SG4)に対して、空白区間より器官の奥側にある非空白区間であるセグメントSG2における推定代表評価値を、空白区間のセグメントSG3,SG4に付与している。
図8に示すように、空白区間が連続して2つ以上存在する場合でも、空白区間より器官の奥側にある非空白区間であるセグメントSG2における代表評価値をセグメントSG3,SG4に推定代表評価値として付与することができる。このように、空白区間より器官の奥側にある非空白区間であるセグメントSG2における代表評価値を空白区間の推定代表評価値として流用するのは、術者あるいはオペレータは、器官内の奥側方向に対して逆方向(セグメントSG1の側からセグメントSG5の側に向かう方向)に電子スコープ100を移動させながらモニタ300に表示される画像を見て病変の程度をチェックするので、空白区間は、奥側の区間における病変の程度からの変化が小さい区間である可能性が極めて高い。このため、空白区間より器官の奥側にある非空白区間であるセグメントSG2における代表評価値を空白区間であるセグメントSG3,SG4における推定代表評価値として用いることができる。
また、病変評価調整部220fは、代表評価値の生成されていない空白区間(セグメントSG3,SG4)に対して、空白区間より器官の奥側にある非空白区間であるセグメントSG2における画像評価値の1つを用いることもできる。図9は、病変評価調整部220fによる評価結果の調整の一例を示す図である。図9に示す結果は、図7と同様に、横軸にセグメントSG5からセグメントSG1までの位置を表し、縦軸に代表評価値を表したグラフである。図中、セグメントSG2に複数の画像評価値(“○”)が存在する。
図9に示すように、セグメントSG2に複数の画像評価値(“○”)がある場合、セグメントSG3,SG4の推定代表評価値は、代表評価値(”●”)ではなく、セグメントSG2の画像評価値の1つとしている。
なお、一実施形態によれば、病変評価調整部220fは、空白区間より器官の奥側にある非空白区間であって、空白区間に最も近い、代表評価値のある最近傍区間内の画像評価値あるいは最近傍区間における代表評価値を、推定代表評価値として定めることが好ましい。最近傍区間内の画像評価値の1つあるいは最近傍区間における代表評価値は、空白区間における実際の画像評価値あるいは代表評価値に最も近く、その相違は小さく、精度の高い評価をする上で好ましい。
一実施形態によれば、画像あるいは画像評価値は、画像の撮像時刻あるいは撮像順番の情報と対応付けられている場合、病変評価調整部220fは、空白区間より器官の奥側にある非空白区間を撮像した画像のうち、撮像時刻あるいは撮像順番が最も遅い画像に対応する画像評価値、あるいは、空白区間より器官の奥側にある非空白区間を撮像した画像の画像評価値のうち、撮像時刻あるいは撮像順番が最も遅い画像評価値を、推定代表評価値として定めることが好ましい。本来、空白区間を評価していれば評価に用いた画像の撮像時刻あるいは撮像順番に最も近い、撮像時刻及び撮像順番に対応した画像評価値が、空白区間における画像評価値あるいは代表評価値に近いと考えることができることから、空白区間より器官の奥側にある非空白区間を撮像した撮像時刻あるいは撮像順番が最も遅い画像に対応する画像評価値、あるいは、空白区間より器官の奥側にある非空白区間を撮像した画像の画像評価値のうち、撮像時刻あるいは撮像順番が最も遅い画像評価値を、推定代表評価値として定めることが、精度の高い評価をする上で好ましい。
図10は、病変評価調整部220fによる評価結果の調整の一例を示す図である。図10に示す結果は、図7と同様に、横軸にセグメントSG5からセグメントSG1までの位置を表し、縦軸に代表評価値を表したグラフである。
図10に示すように、病変評価調整部220fは、空白区間であるセグメントSG3,SG4に対して、複数の区間のうち空白区間を挟む両側の非空白区間それぞれにおける代表評価値の2つを基準評価値として、基準評価価に基づいて得られる複合代表値を病変の程度を示す推定代表評価値として求め、この推定代表評価値を空白区間に付与する。セグメントSG2とセグメントSG5の間で、代表評価値がわずかに変化する場合、わずかに変化することを考慮して、空白区間であるセグメントSG3、SG4を挟む両側の非空白区間それぞれにおける代表評価値の2つを基準評価値として用いて推定代表評価値を求めることが、精度の高い評価をする上で好ましい。病変評価調整部220fは、例えば2つの基準評価値を用いて直線による内挿補間により複合代表値を求める。
病変評価調整部220fは、空白区間の両側の非空白区間のうち一方の非空白区間の長さ情報と空白区間の長さ情報の合計長さの情報に基づいた第1重み付け係数、及び両側の非空白区間のうち他方の非空白区間の長さ情報と空白区間の長さ情報の合計長さの情報に基づいた第2重み付け係数を用いて2つの基準評価値を重み付け平均した重み付け平均値を、推定代表評価値として定めることが、セグメント長さが一定でないセグメントSG2〜SG5において精度の高い評価をする上で好ましい。空白区間及び非空白区間の長さの情報は、予め知られている長さが用いられる。例えば、セグメントSG2における代表評価値をA2とし、セグメントSG5における代表評価値をA3とした場合、セグメントSG4〜SG5の長さ情報とセグメントSG3の長さ情報の合計の長さの情報に基づいた第1重み付け係数B5とし、セグメントSG2の長さ情報とセグメントSG3の長さ情報の合計の長さの情報に基づいた第2重み付け係数B2とした場合(B2+B5=1)、セグメントSG3における推定代表評価値は、B5・A2+B2・A5と表すことができる。
図11は、病変評価調整部220fによる評価結果の調整の一例を示す図である。図11に示す結果は、図7と同様に、横軸にセグメントSG5からセグメントSG1までの位置を表し、縦軸に代表評価値を表したグラフである。
図11に示すように、病変評価調整部220fは、空白区間に対して、空白区間を挟む両側の非空白区間における代表評価値に基づいて病変の程度を示す推定代表評価値を求め、この推定代表評価値を空白区間に付与する。このとき、病変評価調整部220fは、両側の非空白区間それぞれの長さ情報及び空白区間の長さ情報と、非空白区間における代表評価値とを用いたカーブフィッティングによる内挿補間により、空白区間における推定代表評価値を算出する。内挿補間に用いる式は、予め定められた式が用いられ、例えば、Bスプライン関数や3次多項式の関数が用いられる。このように、セグメントSG1〜SG5の長さ情報と非空白区間における代表評価値を用いて推定代表評価値を算出するので、精度の高い評価を得ることができる。空白区間及び非空白区間の長さの情報は、予め知られている長さが用いられる。
評価結果統合部220gは、代表評価値及び推定代表評価値を、区間に対応して示す評価結果画面を生成するように構成されている。この場合、評価結果画面では、推定代表評価値は、代表評価値に対して区別可能な表示形態で表されることが好ましい。例えば、推定代表評価値及び代表評価値を数字で示す場合、色を変えて表示し、また、推定代表評価値及び代表評価値を、図8−図11に示すようにグラフ表示する場合、推定代表評価値のプロット点の色を、代表評価値のプロット点の色と異ならせてもよく、推定代表評価値のプロット点の形状を代表評価値のプロット点の形状と異ならせてもよく、空白区間のセグメントの領域の背景色を、非空白区間のセグメントの領域の背景色と異ならせてもよい。
なお、空白区間における推定代表評価値は、モニタ300に表示された画像を見た術者あるいはオペレータの主観的な判断により、マニュアル入力により設定してもよい。この場合、操作パネル208あるいは、図示されないマウスやキーボード等のユーザインターフェースを用いてマニュアル入力される。
上述の実施形態における評価ユニット225は、電子内視鏡用プロセッサ200に設けられているが、評価ユニット225は、電子内視鏡用プロセッサ200に設けられていなくてもよい。電子スコープ100の先端部を器官内に挿入して器官内部における生体組織の複数の画像をメモリに記憶しておき、この記憶した画像を再生して、生体組織の病変の程度を評価するように構成されたデータ処理装置であってもよい。この場合、データ処理装置は、図2に示す画像評価値算出部220b、撮像位置情報処理部220c、病変評価部220d、及び病変評価調整部220fを少なくとも含む。この場合、前処理部220a、病変部位置算出部220e、及び評価結果統合部220gを含むことが好ましい。データ処理装置は、例えば、コンピュータによって構成される。
以上説明したように、電子内視鏡システム及びデータ処理装置によれば、画像それぞれを撮像した器官内部における撮像位置の情報を利用して、撮像した器官内部の領域を区分けした複数の区間毎に、画像評価値から画像評価値の代表評価値を算出するが、代表評価値のない空白区間についても、上述した方法で定めた推定代表評価値を空白区間に付与するので、生体組織の、器官の奥行き方向の広がりを評価することができる他、後日再度検査を行った場合でも、病変の進行あるいは後退の程度を評価することができる。
以上、本発明の電子内視鏡システム及びデータ処理装置について詳細に説明したが、本発明の電子内視鏡システム及びデータ処理装置は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1 電子内視鏡システム
100 電子スコープ
102 LCB(Light Carrying Bundle)
104 配光レンズ
106 対物レンズ
108 撮像素子
108a IR(Infrared)カットフィルタ
108b ベイヤ配列カラーフィルタ
112 ドライバ信号処理回路
114 メモリ
200 プロセッサ
202 システムコントローラ
204 メモリ
206 タイミングコントローラ
208 操作パネル
210 NIC(Network Interface Card)
220 画像処理ユニット
220a 前処理部
220b 画像評価値算出部
220c 撮像位置情報処理部
220d 病変評価部
220e 病変部位置算出部
220f 病変評価調整部
220g 評価結果統合部
230 光源部
250 位置測定システム
300 モニタ
400 プリンタ
500 ネットワーク
600 サーバ

Claims (10)

  1. 電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムであって、
    前記器官内の生体組織を撮像するように構成された電子内視鏡と、
    撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
    前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備え、
    前記評価ユニットは、
    前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
    前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
    算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
    前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間より前記器官の奥側にある前記代表評価値の生成されている非空白区間における前記画像評価値の1つ、あるいは、前記非空白区間における前記画像評価値に基づいて得られる代表評価値を、前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備えることを特徴とする電子内視鏡システム。
  2. 前記病変評価調整部は、前記空白区間より前記器官の奥側にある前記非空白区間であって、前記空白区間に最も近い最近傍区間内の画像評価値の1つ、あるいは前記最近傍区間における代表値評価値を前記推定代表評価値として定める、請求項1に記載の電子内視鏡システム。
  3. 前記画像あるいは前記画像評価値は、前記画像の撮像時刻あるいは撮像順番の情報と対応付けられており、
    前記病変評価調整部は、前記空白区間より前記器官の奥側にある前記非空白区間を撮像した画像のうち前記撮像時刻あるいは前記撮像順番が最も遅い画像に対応する画像評価値、あるいは、前記空白区間より前記器官の奥側にある前記非空白区間を撮像した画像の画像評価値のうち、前記撮像時刻あるいは前記撮像順番が最も遅い画像の画像評価値を、前記推定代表評価値として定める、請求項1または2に記載の電子内視鏡システム。
  4. 電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムであって、
    前記器官内の生体組織を撮像するように構成された電子内視鏡と、
    撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
    前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備え、
    前記評価ユニットは、
    前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
    前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
    算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
    前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間を挟む両側の、前記代表評価値の生成されている非空白区間それぞれにおける前記代表評価値の2つを基準評価値として、前記基準評価値に基づいて算出される複合評価値を、前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、
    を備えることを特徴とする電子内視鏡システム。
  5. 前記病変評価調整部は、前記両側の非空白区間のうち一方の非空白区間の長さ情報と前記空白区間の長さ情報の合計長さの情報に基づいた第1重み付け係数、及び前記両側の非空白区間のうち他方の非空白区間の長さ情報と前記空白区間の長さ情報の合計長さの情報に基づいた第2重み付け係数を用いて前記2つの基準評価値を重み付け平均した重み付け平均値を、前記推定代表評価値として定める、請求項4に記載の電子内視鏡システム。
  6. 電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムであって、
    前記器官内の生体組織を撮像するように構成された電子内視鏡と、
    撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
    前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備え、
    前記評価ユニットは、
    前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
    前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
    算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
    前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間を挟む両側の、前記代表評価値の生成されている非空白区間における前記代表評価値に基づいて得られる複合代表評価値を、前記空白区間における前記病変の程度を示す推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備え、
    前記病変評価調整部は、前記両側の非空白区間それぞれの長さ情報及び前記空白区間の長さ情報と、前記非空白区間における前記代表評価値とを用いたカーブフィッティングによる内挿補間により、前記空白区間における前記推定代表評価値を算出する、ことを特徴とする電子内視鏡システム。
  7. 前記評価ユニットは、前記代表評価値及び前記推定代表評価値を、前記区間に対応して示す評価結果画面を生成するように構成された評価結果統合部を備え、
    前記評価結果画面では、前記推定代表評価値は、前記代表評価値に対して区別可能な表示形態で表される、請求項1〜6のいずれか1項に記載の電子内視鏡システム。
  8. 前記注目画像の撮像位置の移動に伴って前記注目画像の前記画像評価値が予め定めた閾値を横切る位置を病変部の開始あるいは終了位置として、前記注目撮像の前記撮像位置の情報から、前記開始あるいは終了位置の前記器官内における位置を特定するように構成された病変部位置算出部を備え、
    前記病変評価部は、前記病変部位置算出部の特定結果から、前記病変部の前記奥行き方向の長さを算出する、請求項1〜7のいずれか1項に記載の電子内視鏡システム。
  9. 電子内視鏡を器官内に挿入して生体組織を撮像した画像から、前記器官内における生体組織の病変の程度を評価するデータ処理装置であって、
    前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
    前記撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
    算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
    前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間より前記器官の奥側にある前記代表評価値の生成されている非空白区間における前記画像評価値の1つ、あるいは、前記非空白区間における前記画像評価値に基づいて得られる代表評価値を前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備えることを特徴とするデータ処理装置。
  10. 前記注目画像の撮像位置の移動に伴って前記注目画像の前記画像評価値が予め定めた閾値を横切る位置を病変部の開始位置及び終了位置の少なくとも一方として、前記注目撮像の前記撮像位置の情報から、前記開始位置及び前記終了位置の少なくとも一方の前記器官内における位置を特定するように構成された病変部位置算出部を備え、
    前記病変評価部は、前記病変部位置算出部の特定結果から、前記病変部の前記奥行き方向の長さを算出する、請求項9に記載のデータ処理装置。
JP2021511678A 2019-04-02 2020-03-26 電子内視鏡システム及びデータ処理装置 Active JP6912688B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019070601 2019-04-02
JP2019070601 2019-04-02
PCT/JP2020/013862 WO2020203705A1 (ja) 2019-04-02 2020-03-26 電子内視鏡システム及びデータ処理装置

Publications (2)

Publication Number Publication Date
JPWO2020203705A1 true JPWO2020203705A1 (ja) 2021-06-10
JP6912688B2 JP6912688B2 (ja) 2021-08-04

Family

ID=72668448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021511678A Active JP6912688B2 (ja) 2019-04-02 2020-03-26 電子内視鏡システム及びデータ処理装置

Country Status (5)

Country Link
US (1) US20210338039A1 (ja)
JP (1) JP6912688B2 (ja)
CN (1) CN112930136B (ja)
DE (1) DE112020001788T5 (ja)
WO (1) WO2020203705A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7116251B2 (ja) * 2019-04-10 2022-08-09 富士フイルム株式会社 内視鏡システム
CN113610847B (zh) * 2021-10-08 2022-01-04 武汉楚精灵医疗科技有限公司 一种白光模式下胃部标志物评估方法及系统
CN114596288B (zh) * 2022-03-11 2024-05-10 山东大学齐鲁医院 一种内镜下溃疡性结肠炎评估系统、介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012228346A (ja) * 2011-04-26 2012-11-22 Toshiba Corp 画像表示装置
WO2014192512A1 (ja) * 2013-05-31 2014-12-04 オリンパスメディカルシステムズ株式会社 医療装置
US20150313445A1 (en) * 2014-05-01 2015-11-05 Endochoice, Inc. System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope
WO2018043550A1 (ja) * 2016-08-31 2018-03-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008200088B2 (en) * 2003-04-25 2011-03-24 Olympus Corporation Image Display Apparatus, Image Display Method and Image Display Program
JP6113387B1 (ja) * 2015-08-13 2017-04-12 Hoya株式会社 評価値計算装置及び電子内視鏡システム
US10918270B2 (en) 2015-09-30 2021-02-16 Hoya Corporation Endoscope system and evaluation value calculation device
JP6578058B2 (ja) * 2016-05-27 2019-09-18 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012228346A (ja) * 2011-04-26 2012-11-22 Toshiba Corp 画像表示装置
WO2014192512A1 (ja) * 2013-05-31 2014-12-04 オリンパスメディカルシステムズ株式会社 医療装置
US20150313445A1 (en) * 2014-05-01 2015-11-05 Endochoice, Inc. System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope
WO2018043550A1 (ja) * 2016-08-31 2018-03-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム

Also Published As

Publication number Publication date
CN112930136A (zh) 2021-06-08
US20210338039A1 (en) 2021-11-04
CN112930136B (zh) 2023-07-25
WO2020203705A1 (ja) 2020-10-08
JP6912688B2 (ja) 2021-08-04
DE112020001788T5 (de) 2022-01-27

Similar Documents

Publication Publication Date Title
JP7068487B2 (ja) 電子内視鏡システム
JP6581730B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
US11944261B2 (en) Electronic endoscope system and data processing device
JP6912688B2 (ja) 電子内視鏡システム及びデータ処理装置
JP6907398B2 (ja) 内視鏡システム
WO2020188825A1 (ja) 内視鏡システム
JPWO2017150071A1 (ja) 補正データ生成方法及び補正データ生成装置
JP7084546B2 (ja) 内視鏡システム
JP6877672B2 (ja) 電子内視鏡システム及びデータ処理装置
JP6912608B2 (ja) 内視鏡システム
WO2022064987A1 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP7455717B2 (ja) 内視鏡用プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210226

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210708

R150 Certificate of patent or registration of utility model

Ref document number: 6912688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150