JP6912608B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6912608B2
JP6912608B2 JP2019570733A JP2019570733A JP6912608B2 JP 6912608 B2 JP6912608 B2 JP 6912608B2 JP 2019570733 A JP2019570733 A JP 2019570733A JP 2019570733 A JP2019570733 A JP 2019570733A JP 6912608 B2 JP6912608 B2 JP 6912608B2
Authority
JP
Japan
Prior art keywords
pixel
image
blood vessel
evaluation value
inflammation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019570733A
Other languages
English (en)
Other versions
JPWO2019156022A1 (ja
Inventor
貴雄 牧野
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JPWO2019156022A1 publication Critical patent/JPWO2019156022A1/ja
Application granted granted Critical
Publication of JP6912608B2 publication Critical patent/JP6912608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は、体腔内の生体組織の画像を画像処理する内視鏡システムに関する。
病変部、例えば炎症部位は、一般に正常な粘膜組織とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織に対して僅かに色の異なる炎症部位等の病変部の識別も可能になってきている。しかし、術者が内視鏡画像内に含まれる僅かな色の相違によって正常部位と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムにおいて、病変部、例えば炎症部位の炎症の程度を精度よく評価できる、安定した炎症評価値を出力することが好ましい。
これに対して、画像の明るさによる炎症部位の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている(特許文献1)。
国際公開第17/057680号
上述の内視鏡システムでは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により撮像し、少なくとも3つ以上の色成分を含むカラー画像を取得する画像取得部と、少なくとも3つ以上の色成分のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価を行う評価部と、を備える。基準軸は、所定の基準点を通るように設定される。基準軸は、色平面内において炎症度が所定値以下の対象疾患と相関を有する軸及び炎症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方である。
このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。
しかし、上記内視鏡システムは、生体組織の表面に血管が現れた部分を含んだ画像を用いて、炎症部位の評価を行う場合がある。この場合、炎症部位と血管領域を、色成分で区別することが難しいため、血管領域を含めて炎症部位を評価することになる。この場合、炎症評価値は、実際の炎症部位のみによる評価値よりも高くなり、炎症の程度を精度よく評価できない可能性がある。すなわち、上述の内視鏡システムでは、血管領域を除去した形で、炎症部位の炎症の程度を正しく評価できていない、という問題がある。
そこで、本発明は、生体組織の炎症部位の炎症の程度を精度よく評価することができる内視鏡システムを提供することを目的とする。
本発明の一実施形態は、内視鏡システムである。当該内視鏡システムは、
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の炎症の程度を前記画像の色成分の情報に基づいて数値化した炎症評価値を求めるように構成された画像処理ユニットを含むプロセッサと、
前記炎症評価値を表示するように構成されたモニタと、を備え、
前記画像処理ユニットは、
前記画像中の、数値化した前記生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて求めるように構成された血管領域判定部と、
前記画像の各画素について各画素の色成分の情報に基づいて前記炎症が示す特徴の程度を数値化する数値化処理を行うことにより画素評価値を求めるように構成された画素評価値生成部と、前記画像の各画素について、前記画素評価値を、前記血管領域の確からしさが高いほど大きく低減させる補正処理を行うように構成された画素評価値調整部と、前記補正処理後の各画素の前記画素評価値を統合することにより前記炎症評価値を算出するように構成された統合部と、を備える評価値算出部と、を備え
前記補正処理は、前記血管領域の確からしさの値に正の係数を乗算したものを、前記画素評価値から減算する処理である。
前記血管領域判定部は、前記血管領域の確からしさを、前記画素評価値で構成された画像を用いて求めるように構成される、ことが好ましい。
前記血管領域判定部は、前記血管を特徴付ける形状として、直線の延在方向を互いに異ならせた複数の直線形状を備える複数のテンプレートを備え、
前記血管領域判定部は、前記画像の検査対象エリアの形状と前記複数のテンプレートの直線形状それぞれとの相関の程度を表すマッチング度を求めように構成され、前記複数のテンプレートそれぞれに対応する前記マッチング度の中で、最も高い最高マッチング度を前記検査対象エリアにおける前記血管領域の前記確からしさとして用いるように構成される、ことが好ましい。
前記テンプレートのそれぞれは、所定の大きさの矩形形状の画素で構成され、前記テンプレートのそれぞれの各画素は、前記形状に合わせて設定された画素値を有する空間フィルタであり、
前記血管領域判定部は、前記画像の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記画像の検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記マッチング度を求めるように構成される、ことが好ましい。
前記画素評価値生成部は、前記生体組織の前記画像の各画素に対して前記数値化処理を行い、前記数値化処理により得られる前記画素評価値に応じて色を付与したカラーマップ画像を作成するように構成され、
前記血管領域判定部は、前記画評価値で構成された画像に対して、直線形状に対応した画素値を有する空間フィルタを用いて前記血管領域の前記確からしさを求めることにより、前記血管領域を抽出するように構成され、 前記統合部は、さらに、前記画素評価値で構成された画像から前記血管領域を除去した画像を用いて血管除去カラーマップ画像を作成し、前記血管除去カラーマップ画像を前記炎症評価値とともに前記モニタに表示するために送信するように構成されている、ことが好ましい。
前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記評価値算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記画素評価値を算出するように構成される、ことが好ましい。
上述の内視鏡システムによれば、生体組織の炎症部位の炎症の程度を精度よく評価することができる。
一実施形態の内視鏡システムの構成を示すブロック図である。 (a),(b)は、炎症の数値化処理を行う一実施形態の画像処理ユニットの構成を説明する図である。 一実施形態で用いる色空間内における基準軸の例を説明する図である。 一実施形態で用いる炎症の程度を計算するためのずれ角度を計算する方法の一例を説明する図である。 (a),(b)は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。 一実施形態における血管領域を抽出する方法の一例を説明する図である。 図6に示すテンプレートTP1を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。 一実施形態の電子内視鏡用プロセッサによる炎症評価値の算出の処理のフローの一例を示す図である。 一実施形態で画素評価値に行う補正処理のフローの一例を説明する図である。 一実施形態で画像評価値に対して行う補正処理で、図9に示す補正と異なる補正処理のフローの一例を説明する図である。 図8に示す炎症評価値の算出のフローと異なる一実施形態のフローの例を説明する図である。 血管領域を含んだカラーマップ画像の一例を示す図である。 血管除去カラーマップ画像の一例を示す図である。
以下、実施形態の内視鏡システムについて図面を参照しながら説明する。
生体組織における炎症部位は赤色を示し、赤色が強いほど炎症の程度が高くなることから、従来の内視鏡システムは、この赤色を用いて炎症部位と健常部位とを区別し、さらに、生体組織の炎症の程度を、撮像した画像の各画素の色成分に基づいて数値化して、炎症評価値を算出する。しかし、生体組織には、血管が表面ではないが粘膜近傍にある場合、粘膜を通して透けて見え、この部分が同じ赤色を示す。このような血管が透けて見える部分の画素を色成分で数値化した場合、血管の部分も炎症した部分として誤って評価されるので、算出される炎症評価値は正確ではなく、精度が低い。このような問題を解決するために、一実施形態の内視鏡システムは、生体組織を撮像して得られる画像中の、数値化した生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定する。さらに、内視鏡システムは、画像の各画素について、各画素の色成分の情報に基づいて、炎症が示す特徴の程度を数値化する数値化処理を行うことにより画素評価値を求め、さらに、画像の領域の各画素について、求めた画素評価値を、血管領域の確からしさが高いほど大きく低減させる補正処理を行う。補正処理後の各画素の画素評価値を調整値という。こうして求めた各画素の調整値を統合することにより炎症評価値を算出する。
あるいは、別の一実施形態の内視鏡システムは、生体組織を撮像して得られる画像中の画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて求めることにより、血管領域を抽出する。さらに、内視鏡システムは、画像の各画素について、各画素の色成分の情報に基づいて上記数値化処理を行うことにより画素評価値を求め、画像のうち、抽出した血管領域における画素評価値を強制的にゼロに変更し、血管領域以外の非血管領域における画素評価値を維持する補正処理を行う。上記補正処理後の各画素の画素評価値を統合することにより炎症評価値を算出する。
あるいは、別の一実施形態の内視鏡システムは、撮像した画像のある色成分の画素値をから、生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて求めることにより、血管領域を抽出し、さらに、画像のうち、血管領域以外の非血管領域における各画素について、各画素の色成分の情報に基づいて上記数値化処理を行うことにより画素評価値を計算する。計算した画素評価値を統合することにより炎症評価値を算出する。
このように、いずれの実施形態でも、炎症評価値を求める際に、炎症部位とは区別される血管領域を炎症評価の対象から除外する、あるいは、除外するように補正処理をすることができるので、生体組織の炎症部位の炎症の程度を精度よく評価することができる。
図1は、一実施形態の電子内視鏡システム1の構成を示すブロック図である。
図1に示されるように、電子内視鏡システム1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300、及びプリンタ400を備えている。
電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
電子内視鏡用プロセッサ200は、電子スコープ100に照明光を供給する光源部230を備えている。光源部230は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ100の光ファイバーの束であるLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
入射端よりLCB102内に入射した照明光は、LCB102内を伝播して電子スコープ100の先端部内に配置されたLCB102の射出端より射出され、配光レンズ104を介して被写体に照射される。被写体からの反射光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
固体撮像素子108は、例えば、IR(Infra Red)カットフィルタ108a、ベイヤ配列カラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red),G(Green),B(Blue)の各原色信号を生成する。単板式カラーCCDイメージセンサの代わりに、単板式カラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることもできる。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する炎症の程度の評価を行う数値化処理における、画像の明るさによる炎症評価値の変動を抑えることができるという有利な効果は、CMOSイメージセンサを用いる場合においてより顕著である。
電子内視鏡用プロセッサ200と接続する電子スコープ100のコネクタ部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、固体撮像素子108より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb,Cr)を生成し、生成された画像信号を電子内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。このように、電子スコープ100は、固体撮像素子108を用いて、体腔内の生体組織を撮像する。
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、電子内視鏡用プロセッサ200に接続中の電子スコープ100に適した処理がなされるように電子内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112、画像処理ユニット220、及び光源部230にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、固体撮像素子108を電子内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
画像処理ユニット220は、システムコントローラ202による制御の下、ドライバ信号処理回路112より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。さらに、画像処理ユニット220は、電子スコープ100で得られた生体組織の画像に対して、後述する数値化処理を行い、画像の色成分の情報に基づいて生体組織の炎症の程度を数値化して示す炎症評価値を求め、さらに、数値化処理によって得られた各画素の画素評価値を色に置換したカラーマップ画像を生成する。画像処理ユニット220は、具体的には、炎症評価値の情報とカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者は、モニタ300の表示画面に表示された画像を通じて例えば注目する生体組織の炎症の程度の評価を精度よく行うことができる。画像処理ユニット220は、必要に応じてプリンタ400に炎症評価値及びカラーマップ画像を出力する。
電子内視鏡用プロセッサ200は、NIC(Network Interface Card)210及びネットワーク500を介してサーバ600に接続されている。電子内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報や術者の情報)をサーバ600からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ300の表示画面や操作パネル208に表示される。また、電子内視鏡用プロセッサ200は、内視鏡検査結果(内視鏡画像データ、検査条件、画像解析結果、術者所見等)をサーバ600にアップロードすることにより、内視鏡検査結果をサーバ600に保存させることができる。
図2(a),(b)は、炎症評価値を計算するために画素毎に、炎症が示す特徴の程度を数値化する数値化処理を行う画像処理ユニット220の構成を説明する図である。画像処理ユニット220は、電子スコープ100で得られた生体組織の画像から、生体組織の炎症の程度を画像の色成分の情報に基づいて数値化した炎症評価値を算出する部分である。画像処理ユニット220は、前処理部220a、評価値算出部220b、及び血管領域判定部220cを備える。評価値算出部220bは、画素評価値生成部220b1、画素評価値調整部220b2、及び統合部220b3を備える。
前処理部220aは、RGB変換、色空間変換、基準軸の設定、及び色補正の各処理を行う部分である。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb,Cr)を所定のマトリックス係数を用いて画像色成分(R,G,B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色空間変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R,G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、炎症部位における炎症の程度を評価するために必要なRG平面内の基準軸を設定する。
被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちR成分が他の成分(G成分及びB成分)に対して支配的であり、典型的には、炎症が強いほど赤色(R成分)が他の色(G成分及びB成分)に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件(例えば照明光の当たり具合)に応じて色味が変化する。例示的には、照明光の届かない陰影部分は黒(無彩色であり、例えば、R,G,Bの画像色成分の値がゼロ又はゼロに近い値)となり、照明光が強く当たって正反射する部分は白(無彩色であり、例えば、R,G,Bの画像色成分の値が8ビット階調の場合、255又は255に近い値)となる。すなわち、炎症が起こっている同じ炎症部位を撮像した場合であっても、照明光が強く当たるほどその炎症部位の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
一般に、炎症が起こっていない体腔内の健常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。一方、粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色味(黄色の色味)が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。
そこで、図3に示されるように、RG色空間内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。図3は、一実施形態で用いる色空間内における基準軸の例を説明する図である。
図3に示されるプロットは、体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例(最も重症なレベルの炎症画像例)や、炎症の程度の最も低い炎症画像例(実質的に健常部位であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図3に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図3に示されるプロットの数よりも遥かに多い。
上述したように、炎症が強い部分ほど画像の色成分のうちR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図3に示す例では、(50,0)及び(255,76)を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部位に対応するプロットが重畳される。したがって、ヘモグロビン変化軸AX1は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。
一方、健常部位に近いほど画像の色成分のうちG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図3に示す例では、(0,0)及び(255,192)を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部位であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸AX2は、炎症の程度が低くなるほど(健常部位に近いほど)プロットされる画素対応点が収束する軸である。
補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部位であるから、十分な粘膜で覆われている。そのため、図3に示されるRG色空間内のプロットは、血液(ヘモグロビン色素)の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、炎症の程度の最も高い炎症部位を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、炎症の程度の最も低い炎症部位を示す軸(粘膜変化軸AX2)に相当する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する炎症の程度を示す炎症評価値を算出する処理が行われる。この炎症評価値を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図3に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
前処理部220aは、炎症評価値の算出の前に、RG色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部位にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように(言い換えると、電子スコープの個体間誤差を抑えるために)、前処理部220aは、各画素のRG色空間内の画素対応点である画素データ(R,G)を、補正マトリックス係数を用いて下記式に示すように補正する。
Figure 0006912608
new :補正後の画素データ(R成分)
new :補正後の画素データ(G成分)
00〜M11:補正マトリックス係数
R :補正前の画素データ(R成分)
G :補正前の画素データ(G成分)
以上が、前処理部220aが行う前処理である。
評価値算出部220bの画素評価値生成部220b1は、画素の中から一つの注目画素を選択し、選択した注目画素について、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素評価値生成部220b1は、画素の色成分の情報に基づいて炎症が示す特徴の程度を数値化する数値化処理を行う。図4は、一実施形態で用いる炎症の程度を計算するためのずれ角度を計算する方法の一例を説明する図である。具体的には、画素評価値生成部220b1は、図4に示すように、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点を基準点O’とし、ヘモグロビン変化軸AX1を基準軸として、基準点O’と注目画素の画素対応点Pとを結ぶ線分Lの向きが、基準軸に対してずれるずれ角度θを算出する。なお、基準点O’は座標(−150,−75)に位置する。基準点O’を座標(−150,−75)にする例に挙げたが、これに限定されるものではない。上記基準点O’は、適宜変更可能であり、例えば、RG色空間のR軸とG軸の交点であってもよい。
基準点O’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点O’は、暗部(輝度が所定値未満)での評価結果と非暗部(輝度が所定値以上)での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
また、例えば、基準点O’を座標(−10,−10)から(10,10)の間に設定すると、座標(−150,−75)等を基準点O’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG色空間内において、概ね、重症度の最も高い炎症部位ではヘモグロビン変化軸AX1上に沿って変化し、炎症の程度が最も低い炎症部位では粘膜変化軸AX2上に沿って変化する。また、炎症の程度が中間程度である炎症部位の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸AX2に対するずれ角度θが一定のまま移動して基準点O’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
ずれ角度θが小さいほどR成分がG成分に対して強くなり、炎症部位の炎症の程度が高いことを示す。また、ずれ角度θが大きいほどG成分がR成分に対して強くなり、炎症部位の程度が低いことを示す。そこで、評価値算出部220bは、ずれ角度θがゼロであるときに値255となり、ずれ角度θがθMAXであるときに値ゼロとなるように、角度θを正規化する。なお、θMAXは、ヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度と等しい。すなわち、評価値算出部220bは、各注目画素について、各注目画素の色成分の情報に基づいて炎症が示す特徴の程度(赤色の程度)を数値化する数値化処理を行うことにより、0〜255の範囲に収まる画素評価値を求める。
なお、画素評価値生成部220b1が行う、炎症が示す特徴の程度(赤色の程度)を数値化する数値化処理は、選択した注目画素に対して行うが、この注目画素は、画像の全画素を選択することができる。また、後述するように判定した血管領域を除く非血管領域の各画素のみを選択することもできる。なお、画素評価値生成部220b1は、血管領域と非血管領域の区別なく全画素を選択する場合を例にして以降説明する。なお、非血管領域の各画素のみを選択し、血管領域の各画素を選択しない場合については、別途説明する。すなわち、画素評価値生成部220b1は、一実施形態によれば、血管領域及び非血管領域の区別なく現フレームの画像の全画素に対して画素評価値を求める。
なお、図4に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
評価値算出部220bの画素評価値生成部220b1は、さらに、炎症の程度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、画素評価値と所定の表示色とを対応付けたテーブルが図示されない記憶領域に記憶されている。本テーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、画素評価値が0〜5の範囲では黄色が対応付けられており、該画素評価値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が250〜255の範囲では赤色が対応付けられている。表示色は、例えば、画素評価値が大きいほど寒色から暖色に近づく色とする。画素評価値生成部220b1は、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルに基づき、注目画素の画素評価値に応じて決定する。
こうして、画素評価値生成部220b1は、画素評価値に応じて色を付与したカラーマップ画像を作成する。
血管領域判定部220cは、生体組織を撮像して得られる画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定し、必要に応じて、求めた確からしさにより、血管領域を抽出する部分である。
図5(a)に示すように、生体組織を撮像した画像には、炎症部位Xの像の他に粘膜を通して透けて見える筋状の血管領域Yの像も含まれる。このような画像に対して上述の画素評価値に応じて色分けした、図5(b)に示すカラーマップ画像においても、血管領域Yは炎症部位と同じ色で表示される場合がある。図5(a),(b)は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
血管領域判定部220cは、血管領域Yの確からしさを求め、必要に応じて血管領域Yを抽出する。
図6は、一実施形態における血管領域Yを抽出する方法の一例を説明する図である。
血管領域判定部220cは、生体組織の画像の一部の検査対象エリアARの形状と複数のテンプレートTP1〜TP4の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートTP1〜TP4それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアARにおける血管領域Yの確からしさとする。テンプレートTP1〜TP4は、複数の画素で構成され、テンプレートTP1〜TP4は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートTP1〜TP4は、それぞれの直線形状に合わせて各画素は画素値を有する。図6に示すように、画像の端から矢印に沿って順番に検査対象エリアARをオーバーラップさせながら移動させることにより、検査対象エリアAR内の画像の画素評価値とテンプレートTP1〜TP4それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートTP1〜TP4は、血管を特徴付ける形状として、直線を4つの異なる延在方向に延ばした複数の直線形状を備える。検査対象エリアARが血管領域Yを含む場合、検査対象エリアAR内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて画素値が設定された上述の画像を用いて、血管領域Yを抽出することができる。テンプレートTP1〜TP4は、図6に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートTP1〜TP4の画素の値と、検査対象領域ARの対応する画素評価値との相関係数である。
また一実施形態によれば、マッチング度は、テンプレートTP1〜TP4の画素毎の画素値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアARの対応する画素の画像評価値を乗算して合計した値であってもよい。
テンプレートTP1〜TP4のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアARの中心画素に与えられる。
図7は、テンプレートTP1を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートTP1は、図6に示すように、図中の上下方向に直線が延びる形状を有する。図7では、一例として、テンプレートTP1は、5×5画素の空間フィルタを構成している。この場合、直線状に延びる部分の画素には、フィルタ係数として1/5が与えられ、それ以外の画素には、フィルタ係数として−1/20が与えられている。フィルタ係数のそれぞれと検査対象エリアARの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアARのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアARに上下方向に筋状に延びる血管の像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートTP1に近似する像を含んでいるといえる。したがって、テンプレートTP1〜TP4のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域Yの確からしさとして、検査対象領域ARの中心画素に与える。血管領域Yの確からしさの値は、検査対象エリアARの中心画素に与えられる。
このようなマッチング度は、カラーマップ画像の画素評価値をテンプレートTP1〜TP4のそれぞれを用いて空間フィルタリングした結果であるので、空間フィルタリングにより処理された画素評価値を各画素が有する画像の各画素の値は、テンプレートTP1〜TP4のいずれかにマッチングする血管領域Yの形状及び色成分の情報を含んでおり、上記空間フィルタリングによって得られた画像は、血管領域Yを反映した画素値となっている。すなわち、筋状の血管領域Yであるほど(すなわち、マッチング度が高いほど)、また、血管領域に含まれる赤色が強いほど(すなわち、画素評価値が高いほど)、画素値は高くなる。したがって、このように求めた各画素における血管の確からしさの値を画素値とする画像を、血管領域判定部220cは、上述の画素評価値に基づいて抽出した血管領域の画像、すなわち血管領域画像として生成する。
画素評価値調整部220b2は、画素評価値生成部220b1が計算した各画素の画像評価値を調整する。具体的には、画素評価値調整部220b2は、血管領域画像の各画素について、画素評価値生成部220b1が計算した画素評価値を、血管領域の確からしさが高いほど大きく低減させる補正処理を行い、補正処理後の画素評価値を調整値とする。画素評価値調整部220b2は、例えば、各画素の血管領域の確からしさに、予め設定された係数α(α>0)を乗算して、空間フィルタリングの処理前の画素評価値から減算することにより、調整値を得る。
したがって、このような調整値を画素値とする画像は、血管領域Yを除去した画像である。画素評価値調整部220b2は、この画像を表示色でモザイク化することにより、血管除去カラーマップ画像を作成する。
このようにして画素評価値調整部220b2は画素評価値及び血管領域Yの確からしさの値から調整値を得ることができる。テンプレートTP1〜TP4の血管を特徴付ける形状と異なる検査対象エリア、例えば炎症部位Xでは、血管領域Yの確からしさの程度は低いので、空間フィルタリングの処理前の画素評価値と調整値との間の変化は小さいが、テンプレートTP1〜TP4の形状とマッチングする検査対象エリアARでは、血管領域の確からしさの程度は高いので、空間フィルタリングの処理前の画素評価値に比べて調整値は大きく減少する。
統合部220b3は、画素評価値調整部220b2が求めた各画素の調整値を統合することにより炎症評価値を算出する。たとえば、電子スコープ100から所定のタイミングで順次送られてくる画像のうち、現フレームの画像を処理して生成した全画素の調整値を平均化した平均値が画像の炎症評価値として計算される。平均値は、単純平均値であってもよいし、加重平均値であってもよい。炎症評価値は、平均値には限定されず、各画素の調整値を1つの値に統合することができるものであればよい。各画素の調整値を1つの値に統合する処理は、例えば、メディアン値を求める処理であってもよい。各画素の調整値を1つの値に統合する処理は、調整値を、順位のついた少なくとも2つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Pを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば1/(1+e−P)である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。
統合部220b3は、このような炎症評価値を、血管領域Yを除去した血管除去カラーマップ画像とともに、画面表示のために、モニタ300に送る。
炎症評価値は、血管領域Yを除去する前のカラーマップ画像とともに画面表示するために、モニタ300に元のカラーマップ画像とともに送られてもよい。また、炎症評価値は、ドライバ信号処理回路112より入力した現フレームの撮像画像とともに画面表示するために、モニタ300に現フレームの撮像画像とともに送られてもよい。
このような画像処理ユニット220を備える電子内視鏡用プロセッサ200は、図8に示すフローに沿って炎症評価値を計算して炎症評価値をモニタ300に表示する。図8は、一実施形態の電子内視鏡用プロセッサ200による炎症評価値の算出の処理のフローの一例を示す図である。
まず、現フレームの画像を、画像処理ユニット220は取得する(ステップS10)。
次に、前処理部220aは、上述したRGB変換、色空間変換、基準軸の設定、及び色補正を含む前処理を行い、さらに、画素評価値生成部220b1は、前処理を行った画像に対して、図4に示すずれ角度θに基づく画素評価値を計算する(ステップS12)。
次に、血管領域判定部220cは、計算した画素評価値で構成される画像に対して、図6に示すようなテンプレートTP1〜TP4を用いてテンプレートマッチングを行って画素毎の血管領域Yの確からしさを算出する(ステップS14)。
血管領域判定部220cは、血管領域Yの確からしさを全画素について計算したか否かを判定する(ステップS16)。こうして、血管領域Yの確からしさが全画素について計算されるまで、ステップS14を繰り返す。
次に、画素評価値調整部220b2は、血管領域Yの確からしさを用いて画素評価値を補正して調整値を取得する(ステップS18)。図9は、画素評価値に対して行う補正処理のフローの一例を説明する図である。
図9に示すように、画素評価値調整部220b2は、各画素を補正するために、画素評価値生成部220b1が算出した対象画素の画素評価値と、血管領域判定部220cが算出した血管領域Yの確からしさとを取得する(ステップS30)。さらに、画素評価値調整部220b2は、対象画素の画素評価値から、対象画素における血管領域Yの確からしさの値に予め定めた係数αを乗算した結果を差し引くことにより、調整値を計算する(ステップS32)。血管領域Yの確からしさが高い画素における調整値は、画素評価値から大きく低減した値になり、血管領域Yの確からしさが低い画素における調整値は、画素評価値からの低減量は小さい。
さらに、画素評価値調整部220b2は、算出した調整値が負の値であるか否かを判定する(ステップS34)。画素評価値調整部220b2は、調整値が負の値である場合、調整値をゼロにし(ステップS36)、調整値がゼロあるいは正の値である場合、調整値をそのまま維持する。
画素評価値調整部220b2は、全画素を対象画素としてステップS30〜36を処理したか否かを判定する(ステップS38)。こうして、画素評価値調整部220b2は、血管領域Yの確からしさを用いて全画素を対象画素として画素評価値を補正する(ステップS18)。
次に、図8に示すフローに戻って、統合部220b3は、算出した調整値から炎症評価値を算出する(ステップS22)。例えば、全画素の調整値を平均化した平均値を炎症評価値として算出する。
統合部220b3は、さらに、算出した炎症評価値及びカラーマップ画像をモニタ300に送り、モニタ300に炎症評価値、及び画像評価値あるいは調整値を計算する際に作成されるカラーマップ画像を表示させる(ステップS22)。カラーマップ画像は、血管領域Yを除去しない元のカラーマップ画像でもよく、血管領域Yを除去した血管除去カラーマップ画像でもよい。また、カラーマップ画像の代わりに、現フレームの画像を炎症評価値とともにモニタ300に送り、現フレームの画像を表示させてもよい。
こうして画像処理ユニット220は、電子スコープ100から順次撮像画像が送られてくる間、処理を繰り返す(ステップS24)。
このように、上述の一実施形態では、画像の各画素について各画素の色成分の情報に基づいて炎症が示す特徴の程度を数値化する数値化処理を行うことにより画素評価値を求め、さらに、画像の領域の各画素について、求めた画素評価値を、血管領域Yの確からしさが高いほど低減させる補正処理を行って調整値を算出し、算出した各画素の調整値を統合することにより炎症評価値を算出する。上述の実施形態では、炎症評価値を求める際に、炎症部位とは区別される血管領域Yを炎症評価の対象から除外するように補正(調整)することができるので、生体組織の炎症部位の炎症の程度を精度よく評価することができる。
図10は、図8に示すステップS18で画像評価値に施す補正処理であって、図9に示す補正処理と異なる補正処理のフローの一例を説明する図である。
図9に示す実施形態では、画素評価値生成部220b1は、画像の各画素について各画素の色成分の情報に基づいて炎症が示す色成分の特徴の程度を数値化する数値化処理を行うことにより画素評価値を求める。
血管領域判定部220c(図2(a)参照)は、画像中の生体組織の血管領域Yの確からしさを、血管を特徴付ける形状に基づいて求めることにより、血管領域Yを抽出する。画素評価値調整部220b2は、画像のうち、抽出した血管領域Yにおける画素評価値を強制的にゼロに変更し、血管領域Y以外の非血管領域における画素評価値を維持する補正を行う。統合部220b3は、補正後の各画素の画素評価値を統合することにより炎症評価値を算出する。
図10に示すように、画素評価値調整部220b2は、各画素の値を補正するために、画素評価値生成部220b1が算出した対象画素の画素評価値と、血管領域判定部220cで算出した血管領域Yの確からしさとを取得する(ステップS40)。
さらに、画素評価値調整部220b2は、血管領域Yの確からしさが予め定めた閾値THより大きいか否かを判定する(ステップS42)。
上記判定において、血管領域Yの確からしさが閾値THよりも大きい場合、この画素は、血管領域Yにある画素とし、画素評価値を強制的にゼロに変更し、このゼロを調整値とする(ステップS44)。一方、血管領域Yの確からしさが閾値TH以下の場合、この画素は非血管領域の画素とし、画像評価値をそのまま調整値とする(ステップS46)。
画素評価値調整部220b2は、上記調整値を全画素について取得したか否かを判定する(ステップS48)。こうして、全画素について調整値を取得する。
統合部220b3は、得られた調整値から炎症評価値を算出する。例えば、全画素の調整値を平均化した平均値を炎症評価値として算出する。
このように、図10に示すフローを行う一実施形態では、血管領域判定部220cは、生体組織を撮像して得られる画像中の画像中の生体組織の血管領域Yの確からしさを、血管を特徴付ける形状に基づいて求めることにより、血管領域Yを抽出する。画素評価値生成部220b1は、画像の各画素について各画素の色成分の情報に基づいて炎症が示す特徴の程度を数値化する数値化処理を行うことにより画素評価値を求める。画素評価値調整部220b2は、画像のうち、抽出した血管領域Yにおける画素評価値を強制的にゼロに変更し、非血管領域における画素評価値を維持する補正を行う。これにより、統合部220b3は、補正後の各画素の画素評価値を統合することにより炎症評価値を算出する。これにより、炎症評価値を求める際に、炎症部位とは区別される血管領域Yを炎症評価の対象から除外することができるので、生体組織の炎症部位の炎症の程度を精度よく評価することができる。
図8に示すフローでは、血管領域Yを判定する画像の画素値として、ずれ角度θから計算した画素評価値を用いたが、血管領域Yを判定する画像の画素値は、必ずしも画素評価値でなくてもよく、例えば、電子スコープ100から送られる撮像画像のR、G,B等の色成分の画素値あるいは、Y,Cr,Cb信号における画素値であってもよい。ある色成分の画像値は、血管特有の筋状の形状を含んでいる。このため、この画像の画素値を利用して、上述したテンプレートTP1〜TP4等を用いてテンプレートマッチングにより血管領域Yの確からしさを判定することができる。図11は、図8に示す炎症評価値の算出のフローと異なるフローの例を説明する図である。
画像処理ユニット220は、図11に示すように、現フレームの画像を取得する(ステップS100)。
次に、血管領域判定部220cは、現フレームの画像のある画像信号の画像の各画素に対して、図6に示すようなテンプレートTP1〜TP4を用いたテンプレートマッチングにより、血管領域Yの確からしさを計算する(ステップS102)。血管領域判定部220cは、血管領域Yの確からしさの計算を全画素について行なったか否かを判定する(ステップS104)。こうして、血管領域判定部220cは、血管領域Yの確からしさの計算を全画素について行なうまで、ステップS102を繰り返す。
次に、画素評価値生成部220b2は、対象画素の血管領域Yの確からしさの値が予め定めた閾値THを越えるか否かを判定する(ステップS106)。
血管領域の確からしさの値が予め定めた閾値THを越える場合、画素評価値生成部220b1は、画素評価値を強制的にゼロにする(ステップS108)。一方、血管領域Yの確からしさの値が予め定めた閾値TH以下である場合、画素評価値生成部220b1は、血管領域以外の非血管領域における各画素について、各画素の色成分の情報に基づいて炎症が示す特徴の程度を数値化する数値化処理を行う。例えば、図4に示すずれ角度θに基づいて画素評価値を計算する(ステップS110)。画素評価値生成部220b1は、全画素についてステップS106、及び、ステップS108あるいはステップ110を行ったか否かを判定する(ステップS112)。こうして、画素評価値生成部220b1は、対象画素についてステップS106、及び、ステップS108あるいはステップ110を行うまで繰り返す。これにより、画素評価値生成部220b1は、上述したように、求めた画素評価値からカラーマップ画像を作成する。
次に、統合部220b3は、求めた画素評価値から炎症評価値を算出する(ステップS114)。例えば、全画素の画素評価値を平均化した平均値を炎症評価値として算出する。
統合部220b3は、さらに、算出した炎症評価値及び画素評価値を計算する際に作成されるカラーマップ画像をモニタ300に送り、モニタ300に炎症評価値及びカラーマップ画像を表示させる(ステップS22)。カラーマップ画像の代わりに、現フレームの画像を炎症評価値とともにモニタ300に表示させてもよい。
こうして画像処理ユニット220は、電子スコープ100から順次撮像画像が送られてくる間、処理を繰り返す(ステップS118)。
このように、図11に示すフローでは、血管領域判定部220cは、カラーマップ画像を作成するための画素評価値ではなく、撮像した画像のある信号の画素値から、生体組織の血管領域Yの確からしさを求めることにより、血管領域Yを抽出し、画素評価値生成部220b1は、画像のうち、血管領域以外の非血管領域における各画素について各画素の色成分の情報に基づいて、炎症が示す特徴の程度を数値化する数値化処理を行うことにより画素評価値を計算し、統合部220b3は、計算した画素評価値を統合することにより炎症評価値を算出する。このため、生体組織の炎症部位の炎症の程度を精度よく評価することができる。
上述したように、血管領域判定部220cは、図6に示すように、血管を特徴付ける形状として、直線を複数の方向に傾斜させた複数の直線形状を備える複数のテンプレートを備え、血管領域判定部220cは、画像の検査対象エリアARの形状と複数のテンプレートの直線形状それぞれとの相関の程度を表すマッチング度を求め、さらに、複数のテンプレートTP1〜TP4それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアARにおける血管領域Yの確からしさとして用いるので、血管が筋状に種々の方向に向いて延びていても、血管領域Yを精度よく判定することができる。図6に示す例では、テンプレートの数は4つであるが、さらに、直線形状の延びる方向が種々異なる5つ以上のテンプレートを用いてもよい。
また、血管領域判定部220cは、図10に示すステップS42あるいは図11に示すステップS106のように、画像の検査対象エリアARの形状と複数のテンプレートTP1〜TP4の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートTP1〜TP4それぞれに対応するマッチング度の中で、最も高い最大マッチング度により、血管領域Yか否かの判定をすることで、血管領域Yを効率よく抽出することができる。
一実施形態によれば、テンプレートTP1〜TP4のそれぞれが、所定の大きさの矩形形状の画素で構成され、テンプレートTP1〜TP4のそれぞれの各画素を直線形状に合わせて設定した画素値で構成した空間フィルタである場合、血管領域判定部220cは、画像の検査対象エリアARの画素と空間フィルタのそれぞれの画素とを対応付けて、画像の検査対象エリアARの画素の画素値と空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいてマッチング度を求めることが好ましい。このような処理は、空間フィルタリング処理として計算することができるので、高速にテンプレートマッチングを行うことができる。
また、上述したように、血管領域判定部220cは、画像評価値で構成された画像に対して、直線形状に対応した画素値を有する空間フィルタを用いて血管領域Yの確からしさを求めることにより、血管領域Yを抽出する。統合部220b3は、画素評価値で構成された画像から血管領域Yを除去した画像を用いて血管除去カラーマップ画像を作成し、血管除去マップ画像を炎症評価値とともにモニタ300に表示するために送信する。これにより、モニタ300には、血管領域が除去された血管除去カラーマップ画像が表示される。このため、術者は、血管除去カラーマップ画像と炎症評価値を見て、炎症の程度を正しく認識することができる。図12は、血管領域Yを含んだカラーマップ画像の一例を示す図であり、図13は、血管除去カラーマップ画像の一例を示す図である。図13では、図12に示すような筋状の血管領域Yは見られず、炎症部位のみが表示されている。
電子スコープ100から送られる撮像した画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、画素評価値生成部220b1は、赤色成分と、青色成分あるいは緑色成分とによって定義される色空間内において、図4に示すように、色空間内に設定される基準点O’と画像の各画素の色成分に対応する画素対応点Pとを結ぶ線分Lの向きが、ヘモグロビン変化軸AX1のような基準軸に対してずれるずれ角度θに基づいて画素評価値を算出するので、画像の明暗によらず、客観的に炎症の程度を評価することができる。
以上、内視鏡システムについて詳細に説明したが、この内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1 電子内視鏡システム
100 電子スコープ
200 電子内視鏡用プロセッサ
220 画像処理ユニット
220a 前処理部
220b 評価値算出部
220b1 画素評価値生成部
220b2 画素評価値調整部
220b3 統合部
220c 血管領域判定部
222 メモリ
224 画像メモリ
230 光源部
300 モニタ
400 プリンタ
600 サーバ

Claims (6)

  1. 体腔内の生体組織を撮像するように構成された電子内視鏡と、
    前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の炎症の程度を前記画像の色成分の情報に基づいて数値化した炎症評価値を求めるように構成された画像処理ユニットを含むプロセッサと、
    前記炎症評価値を表示するように構成されたモニタと、を備え、
    前記画像処理ユニットは、
    前記画像中の、数値化した前記生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて求めるように構成された血管領域判定部と、
    前記画像の各画素について各画素の色成分の情報に基づいて前記炎症が示す特徴の程度を数値化する数値化処理を行うことにより画素評価値を求めるように構成された画素評価値生成部と、前記画像の各画素について、前記画素評価値を、前記血管領域の確からしさが高いほど大きく低減させる補正処理を行うように構成された画素評価値調整部と、前記補正処理後の各画素の前記画素評価値を統合することにより前記炎症評価値を算出するように構成された統合部と、を備える評価値算出部と、を備え
    前記補正処理は、前記血管領域の確からしさの値に正の係数を乗算したものを、前記画素評価値から減算する処理である、ことを特徴とする内視鏡システム。
  2. 前記血管領域判定部は、前記血管領域の確からしさを、前記画素評価値で構成された画像を用いて求めるように構成された、請求項に記載の内視鏡システム。
  3. 前記血管領域判定部は、前記血管を特徴付ける形状として、直線の延在方向を互いに異ならせた複数の直線形状を備える複数のテンプレートを備え、
    前記血管領域判定部は、前記画像の検査対象エリアの形状と前記複数のテンプレートの直線形状それぞれとの相関の程度を表すマッチング度を求めるように構成され、前記複数のテンプレートそれぞれに対応する前記マッチング度の中で、最も高い最高マッチング度を前記検査対象エリアにおける前記血管領域の前記確からしさとして用いるように構成された、請求項1または2に記載の内視鏡システム。
  4. 前記テンプレートのそれぞれは、所定の大きさの矩形形状の画素で構成され、前記テンプレートのそれぞれの各画素は、前記形状に合わせて設定された画素値を有する空間フィルタであり、
    前記血管領域判定部は、前記画像の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記画像の検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記マッチング度を求めるように構成された、請求項に記載の内視鏡システム。
  5. 前記画素評価値生成部は、前記生体組織の前記画像の各画素に対して前記数値化処理を行い、前記数値化処理により得られる前記画素評価値に応じて色を付与したカラーマップ画像を作成するように構成され、
    前記血管領域判定部は、前記画評価値で構成された画像に対して、直線形状に対応した画素値を有する空間フィルタを用いて前記血管領域の前記確からしさを求めることにより、前記血管領域を抽出するように構成され、
    前記統合部は、さらに、前記画素評価値で構成された画像から前記血管領域を除去した画像を用いて血管除去カラーマップ画像を作成し、前記血管除去カラーマップ画像を前記炎症評価値とともに前記モニタに表示するために送信するように構成された、請求項1または2に記載の内視鏡システム。
  6. 前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
    前記評価値算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記画素評価値を算出するように構成された、請求項1〜のいずれか1項に記載の内視鏡システム。
JP2019570733A 2018-02-07 2019-02-04 内視鏡システム Active JP6912608B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018020026 2018-02-07
JP2018020026 2018-02-07
PCT/JP2019/003851 WO2019156022A1 (ja) 2018-02-07 2019-02-04 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2019156022A1 JPWO2019156022A1 (ja) 2020-12-17
JP6912608B2 true JP6912608B2 (ja) 2021-08-04

Family

ID=67549418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570733A Active JP6912608B2 (ja) 2018-02-07 2019-02-04 内視鏡システム

Country Status (3)

Country Link
US (1) US11521319B2 (ja)
JP (1) JP6912608B2 (ja)
WO (1) WO2019156022A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020188825A1 (ja) * 2019-03-20 2021-09-13 Hoya株式会社 内視鏡システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521319B2 (en) * 2018-02-07 2022-12-06 Hoya Corporation Endoscope system
CN112674703A (zh) * 2020-12-01 2021-04-20 泰州国安医疗用品有限公司 电子化现场炎症识别系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291733A (ja) * 2001-04-03 2002-10-08 Hitachi Medical Corp 画像診断支援方法及びそのシステム
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP5121204B2 (ja) 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2010184057A (ja) * 2009-02-13 2010-08-26 Fujifilm Corp 画像処理方法および装置
JP5766986B2 (ja) 2011-03-16 2015-08-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6265588B2 (ja) * 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6045396B2 (ja) 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6125740B1 (ja) * 2015-09-30 2017-05-10 Hoya株式会社 内視鏡システム及び評価値計算装置
DE112017002932T5 (de) * 2016-08-31 2019-02-21 Hoya Corporation Elektronischer endoskop-prozessor und elektronisches endoskop-system
JP6591688B2 (ja) * 2016-08-31 2019-10-16 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
US11521319B2 (en) * 2018-02-07 2022-12-06 Hoya Corporation Endoscope system
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム
DE112019007057T5 (de) * 2019-03-20 2021-12-30 Hoya Corporation Endoskopsystem

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020188825A1 (ja) * 2019-03-20 2021-09-13 Hoya株式会社 内視鏡システム
JP7041318B2 (ja) 2019-03-20 2022-03-23 Hoya株式会社 内視鏡システム
US11612310B2 (en) 2019-03-20 2023-03-28 Hoya Corporation Endoscope system

Also Published As

Publication number Publication date
WO2019156022A1 (ja) 2019-08-15
US20200364866A1 (en) 2020-11-19
JPWO2019156022A1 (ja) 2020-12-17
US11521319B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
JP7068487B2 (ja) 電子内視鏡システム
JP6907398B2 (ja) 内視鏡システム
JP7041318B2 (ja) 内視鏡システム
CN112351723B (zh) 电子内窥镜系统与数据处理装置
JP6912608B2 (ja) 内視鏡システム
JP7084546B2 (ja) 内視鏡システム
JP6877672B2 (ja) 電子内視鏡システム及びデータ処理装置
WO2022064987A1 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
CN112930136B (zh) 电子内窥镜系统与数据处理装置
JP7455717B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
JPWO2019142689A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210708

R150 Certificate of patent or registration of utility model

Ref document number: 6912608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250