JPWO2020189213A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JPWO2020189213A1
JPWO2020189213A1 JP2021507140A JP2021507140A JPWO2020189213A1 JP WO2020189213 A1 JPWO2020189213 A1 JP WO2020189213A1 JP 2021507140 A JP2021507140 A JP 2021507140A JP 2021507140 A JP2021507140 A JP 2021507140A JP WO2020189213 A1 JPWO2020189213 A1 JP WO2020189213A1
Authority
JP
Japan
Prior art keywords
blood vessel
image
pixel
value
vessel region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021507140A
Other languages
English (en)
Other versions
JP7084546B2 (ja
Inventor
貴雄 牧野
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JPWO2020189213A1 publication Critical patent/JPWO2020189213A1/ja
Application granted granted Critical
Publication of JP7084546B2 publication Critical patent/JP7084546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

内視鏡システムプロセッサは、電子内視鏡で得られた生体組織の画像から、血管領域の確からしさを、前記画像の複数の部分それぞれにおいて血管を特徴付ける形状に基づいて数値として求める血管領域判定部と、前記血管領域の確からしさの数値を前記画像全体で統合することにより、血管領域の特徴量を示す血管特徴量を算出する血管特徴量算出部と、を備える。前記血管領域判定部は、前記画像から取り出した一段の画素列に対して、複数の画素で構成され、該複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、前記パターン形状に近似する程度を数値で表した近似度を、前記血管領域の確からしさとして算出する。前記テンプレートの一方向に沿ったサイズは、前記一方向と直交する直交方向に沿ったサイズに比べて大きい。

Description

本発明は、体腔内の生体組織の画像を画像処理する内視鏡システムに関する。
生体組織における病変部は、生体組織の粘膜層が薄くなって生体組織が荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。病変部、例えば炎症部は、一般的に正常な粘膜組織とは異なる赤色を呈する。カラー内視鏡装置の性能向上により、正常組織に対して僅かに色の異なる炎症部等の病変部の識別も可能になってきている。しかし、赤色を呈する炎症部には、あるいはその近傍には、赤色を呈する血管の像も現れる。このため、赤色の成分の強さだけでは、炎症部の炎症の程度を精度よく評価することはできない。このため、血管に関する評価を行う必要がある。
また、炎症部あるいはその近傍に存在する血管のみならず、病変部とは無関係に、生体組織に現れる血管の多さを評価することは、生体組織の健康状態の評価に用い、また、病変部への移行等を事前に判断する上で望ましい。
例えば、撮像した生体組織の像から、血管の検出精度を向上させることが可能な画像処理が提案されている(特許文献1)。
上記画像処理では、血管の形状構造が存在すると推定される血管候補領域を検出し、検出した血管候補領域の両側にある近傍領域それぞれの外側及び内側の特徴量の差異を算出し、この差異に基づいて血管候補領域の検出結果を補正する。
これにより、血管の検出精度が向上する、とされている。
国際公開第2012/011303号
しかし、血管には、太い血管もあれば細い血管もあり、また、生体組織を近接して撮像し、あるいは生体組織を遠くから撮像する場合があり、画像内に現れる血管の像の太さも大きく変化する。このため、画像内で太さが異なる血管の像を血管候補領域として適切に検出し、あるいは、視野範囲が異なることによって、同じ血管であっても画像ごとに太さが変化する血管の像を血管候補領域として適切に検出することは難しい。上記血管候補領域を検出する方法を開示する特許文献1において、画像内で太さが異なる血管の像を血管候補領域として適切に検出する方法、あるいは、同じ血管であっても画像ごとに太さが変化する血管の像を血管候補領域として適切に検出する方法の開示はない。
そこで、本発明は、生体組織の画像において、画像内の血管の太さに係らず、血管領域を適切に判定することができる内視鏡システムを提供することを目的とする。
本発明の一実施形態は、内視鏡システムである。当該内視鏡システムは、
生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記画像の複数の部分毎に、前記生体組織の像に現れる血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成された血管領域判定部と、前記血管領域の確からしさの数値を前記画像全体で統合することにより、前記血管領域の特徴量を示す血管特徴量を算出するように構成された血管特徴量算出部と、を備える画像処理ユニットを含むプロセッサと、を備える。
前記血管領域判定部は、前記画像の画素の配列方向のうちの一方向に沿って取り出した前記画像の少なくとも一段の画素列に対して、複数の画素で構成され、該複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、前記パターン形状に近似する程度を数値で表した近似度を前記血管領域の確からしさとして、前記画像の画素毎に算出するように構成される。
前記空間フィルタの前記一方向に沿ったサイズは、前記空間フィルタの前記一方向と直交する直交方向に沿ったサイズに比べて大きい。
前記血管領域判定部は、前記画素列の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記近似度を求める、ことが好ましい。
前記空間フィルタは、複数のパターン形状のそれぞれに対応して設けられ、
前記血管領域判定部は、前記複数のパターン形状のそれぞれに対応した前記空間フィルタを用いて得られる複数の近似度のうち最大値を前記血管領域の確からしさとして算出するように構成される、ことが好ましい。
前記複数のパターン形状は、前記直交方向に延びる線形状、及び、前記直交方向に対して0度超90度未満の傾斜角度で延びる傾斜形状を含む、ことが好ましい。
前記空間フィルタの前記一方向における寸法の、前記直交方向における寸法に対する比率は、20〜100である、ことが好ましい。
前記生体組織の血管領域の確からしさを求める際に用いる前記生体組織の画像は、前記電子内視鏡で得られた前記生体組織の画像中の所定の色成分の量に関する情報を画素毎に数値で表した色成分画像である、ことが好ましい。
前記画像処理ユニットは、
前記生体組織の病変部に現れる外観の特徴を、前記病変部が示す色成分により前記生体組織の健常部の外観の前記特徴と区別できる画素評価値であって、前記病変部が示す前記色成分に関する、前記特徴の程度を示す第1画素評価値を画素毎に算出するように構成された色成分算出部と、前記血管領域判定部と、を備える画素評価値算出部を備え、
前記血管領域判定部は、前記色成分算出部で算出した前記第1画素評価値を画素値として構成された色成分画像を前記血管領域の確からしさの数値を求める画像として、前記血管領域の確からしさを数値で表した第2画素評価値を画素毎に算出するように構成され、
さらに、前記画像処理ユニットは、
前記血管領域の確からしさの数値である前記第2画素評価値を前記色成分画像全体で統合することにより、前記血管特徴量を、前記血管領域における第2代表評価値として算出するように構成された前記血管特徴量算出部と、前記色成分画像における各画素の前記第1画素評価値を統合することにより前記生体組織の前記特徴の第1代表評価値を算出するように構成された生体組織特徴量算出部と、を含む代表値算出部と、
前記第1代表評価値及び前記第2代表評価値を演算して統合した1つの数値を前記病変部の病変の重症度として算出するように構成された統合部と、
を備える、ことが好ましい。
前記外観の特徴の程度は、前記生体組織の炎症の程度であり、
前記色成分は、赤色成分である、ことが好ましい。
前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記色成分算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第1画素評価値を算出するように構成される、ことが好ましい。
上述の内視鏡システムによれば、画像内の血管の太さに係らず、血管領域を適切に判定することができる。
一実施形態の内視鏡システムの構成を示すブロック図である。 第1実施形態における、血管領域の確からしさを求める画像処理ユニットの構成の一例を示す図である。 第1実施形態及び第2実施形態において用いるテンプレート(空間フィルタ)を、生体組織を被写体とした画像に適用した例を説明する図である。 正方形のテンプレート(空間フィルタ)を、生体組織を被写体とした画像に適用した例を説明する図である。 (a)〜(e)は、第1実施形態及び第2実施形態で用いるテンプレート(空間フィルタ)の例を示す図である。 (a),(b)は、撮像画像と一実施形態で得られる血管抽出画像の一例を示す図である。 (a)〜(c)は、第2実施形態における、病変部の重症度を求める画像処理ユニットの構成の一例を説明する図である。 第2実施形態で用いる色空間内における基準軸の例を説明する図である。 第2実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。 潰瘍性大腸炎の病変部の画像についての医師の主観評価結果の分布範囲を概略的に示す図である。 第2実施形態の電子内視鏡用プロセッサによる病変の重症度の算出の処理のフローの一例を示す図である。 第2実施形態で行う代表値の組み合わせ方のフローの例を説明する図である。
生体組織を撮像した画像内の血管の像について、血管の像の太さに係らず、血管領域を適切に求めるために、本開示の内視鏡システムでは、プロセッサ内に、電子内視鏡で得られた生体組織の画像から、生体組織の画像の複数の部分毎に、生体組織の像に現れる血管領域の確からしさを、血管を特徴付ける形状に基づいて求めるように構成された血管領域判定部が設けられる。この血管領域判定部は、画像の画素の配列方向のうちの一方向に沿って取り出した画像の一段あるいは2段以上の画素列に対して、血管形状に近似するパターン形状(例えば線形状)に対応した空間フィルタを用いて、パターン形状に近似する程度を数値で表した近似度を血管領域の確からしさとして、画像の画素毎に算出するように構成されている。空間フィルタは、N画素×M画素(N,Mは2以上の自然数)で構成され、この複数の画素の画素値が血管形状に近似するパターン形状に対応して表されたフィルタである。この空間フィルタの上記一方向に沿ったサイズは、空間フィルタの上記一方向と直交する直交方向に沿ったサイズに比べて大きくなっている。
このように、空間フィルタにおけるN画素×M画素の上記一方向に沿ったサイズをこの一方向に対して直交する直交方向に沿ったサイズに比べて大きくして、空間フィルタを細長い形状としているので、血管の像の太さが太くても、空間フィルタの上記一方向に沿ったサイズが長いので、血管の像の両側のエッジを跨ぐように、空間フィルタを配置することができる。従来、血管の像が太い場合、血管の像の内部に空間フィルタが配置され、両側のエッジを跨ぐことができないため、血管領域の確からしさが低下していた。このように、血管の像の太さが太くても、血管の像の両側のエッジを跨ぐように、空間フィルタを配置する本開示では、画像内の血管の太さに係らず、血管領域を適切に判定することができる。
以下、具体的に、実施形態の内視鏡システムを、図面を参照しながら説明する。
図1は、一実施形態の電子内視鏡システム1の構成を示すブロック図である。
図1に示されるように、電子内視鏡システム1は、電子内視鏡100、電子内視鏡用プロセッサ200、モニタ300、及びプリンタ400を備えている。
電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
電子内視鏡用プロセッサ200は、電子内視鏡100に照明光を供給する光源部230を備えている。光源部230は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子内視鏡100の光ファイバーの束であるLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子内視鏡100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子内視鏡100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
入射端よりLCB102内に入射した照明光は、LCB102内を伝播して電子内視鏡100の先端部内に配置されたLCB102の射出端より射出され、配光レンズ104を介して被写体に照射される。被写体からの反射光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
固体撮像素子108は、例えば、IR(Infra Red)カットフィルタ108a、ベイヤ配列カラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red)、G(Green)、B(Blue)の各原色信号を生成する。単板式カラーCCDイメージセンサの代わりに、単板式カラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることもできる。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する炎症の程度の評価を行う数値化処理における、画像の明るさによる炎症評価値の変動を抑えることができるという有利な効果は、CMOSイメージセンサを用いる場合においてより顕著である。
電子内視鏡用プロセッサ200と接続する電子内視鏡100のコネクタ部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、固体撮像素子108より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb,Cr)を生成し、生成された画像信号を電子内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子内視鏡100の固有情報を読み出す。メモリ114に記録される電子内視鏡100の固有情報には、例えば固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。このように、電子内視鏡100は、固体撮像素子108を用いて、体腔内の生体組織を撮像する。
システムコントローラ202は、電子内視鏡100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、電子内視鏡用プロセッサ200に接続中の電子内視鏡100に適した処理がなされるように電子内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112、画像処理ユニット220、及び光源部230にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、固体撮像素子108を電子内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
画像処理ユニット220は、システムコントローラ202による制御の下、ドライバ信号処理回路112より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。さらに、画像処理ユニット220は、電子内視鏡100で得られた生体組織の画像に対して、後述する数値化処理を行い、画像の色成分の情報に基づいて生体組織の炎症の程度を数値化して示す炎症評価値を求め、さらに、数値化処理によって得られた各画素の画素評価値を色に置換したカラーマップ画像を生成する。画像処理ユニット220は、具体的には、炎症評価値の情報とカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者は、モニタ300の表示画面に表示された画像を通じて例えば注目する生体組織の炎症の程度の評価を精度よく行うことができる。画像処理ユニット220は、必要に応じてプリンタ400に炎症評価値及びカラーマップ画像を出力する。
電子内視鏡用プロセッサ200は、NIC(Network Interface Card)210及びネットワーク500を介してサーバ600に接続されている。電子内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報や術者の情報)をサーバ600からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ300の表示画面や操作パネル208に表示される。また、電子内視鏡用プロセッサ200は、内視鏡検査結果(内視鏡画像データ、検査条件、画像解析結果、術者所見等)をサーバ600にアップロードすることにより、内視鏡検査結果をサーバ600に保存させることができる。
(第1実施形態)
図2は、第1実施形態における、血管領域の確からしさを求める画像処理ユニット220の構成の要部の一例を示す図である。
画像処理ユニット220は、血管領域判定部222と、血管特徴量算出部224と、を備える。
血管領域判定部222は、電子内視鏡で得られた生体組織の画像から、生体組織の画像の複数の部分毎に、画像中の血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成されている。
血管特徴量算出部224は、血管領域の確からしさの数値を画像全体で統合することにより、血管の特徴を数値で示した血管特徴量を算出するように構成されている。
ここで、血管領域判定部222は、画像の画素の配列方向のうちの一方向に沿って取り出した画像の少なくとも一段の画素列に対して、複数の画素で構成され、この複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、パターン形状に近似する程度を数値で表した近似度を血管領域の確からしさとして算出するように構成されている。近似度は、画像の画素毎に算出される。以下、空間フィルタをテンプレートともいう。
血管領域の確からしさは、テンプレートTPを用いて求められる。テンプレート(空間フィルタ)TPは、後述する図5(a)〜(e)に示す白領域及び灰色領域に対応した値を画素毎に有する矩形形状のものである。このため、一実施形態によれば、血管領域の確からしさ(近似度)は、テンプレートTPの画素の値と、テンプレートTPによる判定対象エリアの対応する画素値との相関係数である。また一実施形態によれば、血管領域の確からしさ(近似度)は、テンプレートTPの画素毎の画素値をフィルタ係数として、このフィルタ係数のそれぞれと判定対象エリアの対応する画素値を乗算して合計した値であってもよい。
血管領域判定部222は、このような相関係数あるいは合計した値を、テンプレートTPの中心にある画素に血管領域の確からしさの値として付与する。
図3は、上記テンプレート(空間フィルタ)を、生体組織を被写体とした画像に適用した例を説明する図である。図3に示す画像には、太い血管の像A1と細い血管の像A2が示されている。図中近似度の算出に用いるテンプレートTPが矩形で表されている。テンプレートTPは、図に示す例では、横方向に細長い矩形形状をしている。すなわち、テンプレートTPの一方向(図3中では、紙面横方向)に沿ったサイズは、テンプレートの一方向と直交する直交方向(図3中では、紙面上下方向)に沿ったサイズに比べて大きい形状となっている。これは、テンプレートTPが太い血管の像A1の両側のエッジを跨ぐことによって、血管の像A1を検知できるようにするためである。なお、このように一方向に細長いテンプレートTPを用いるのは、画像処理ユニット220の装置構成に依拠する。画像処理ユニット220は、例えばFPGA(Field-Programmable Gate Array)等のハードウェアを用い、血管領域の確からしさを判定するとき、画像の一段の画素列の画素値を一時的に記憶するラインバッファをメモリとして用いる場合が多い。このメモリから、一方向に沿った一段の画素列の画素値を読み出すので、この読み出しに対応して、一方向に沿って細長いテンプレートTPを用いることで、判定の処理を簡素化することができる。血管領域の確からしさの判定の際に2段以上の画素配列の画素値を読みだす場合、この段数に対応した数のラインバッファを設置すればよい。また、フレームメモリのような大きなメモリ容量を確保する必要が少なくなるので、電子内視鏡用プロセッサ200の構成を簡素化することができる。テンプレートTPを用いる場合のラインバッファの数は、テンプレートTPと同じ画素数を占める正方形のテンプレートを用いる場合のラインバッファの数に比べて少ない。
図4は、正方形のテンプレート(空間フィルタ)Xを、生体組織を被写体とした画像に適用した例を説明する図である。図4に示すように、テンプレートXは、細い血管の像A2の両側のエッジを跨いでいるので、テンプレートXは、細い血管の像A2を検知できるが、テンプレートXは、太い血管の像A1の両側のエッジを跨いでいないので、テンプレートXは、太い血管の像A1を検知できない。
図5(a)〜(e)は、実施形態で用いるテンプレート(空間フィルタ)TPの例を示す図である。図5(a)〜(e)では、図中の紙面横方向のサイズが紙面上下方向に比べて大きいテンプレートTPを画素に対応して線で区分けしている。図5(a)〜(e)中の、濃い灰色領域は、血管の線形状に近似するパターン形状を示す。
図5(a)に示すテンプレートTP1は、1段の画素配列に対応したテンプレートである。図5(a)に示すパターン形状は、1段の画素列中1つの画素において灰色領域となっている。
図5(b)に示すテンプレートTP2は、1段の画素配列に対応したテンプレートである。図5(b)に示すパターン形状は、1段の画素列中3つの画素が紙面横方向に連なった灰色領域となっている。
図5(c)に示すテンプレートTP3は、3段の画素配列に対応したテンプレートである。図5(c)に示すパターン形状は、3段の画素列中3つの画素が紙面上下方向に連なって、紙面上下方向に延びる灰色領域となっている。
図5(d)に示すテンプレートTP4は、3段の画素配列に対応したテンプレートである。図5(d)に示すパターン形状は、3段の画素列中3つの画素が紙面左下−右上方向に連なって、紙面上下方向に対して傾斜した方向に延びる灰色領域となっている。
図5(e)に示すテンプレートTP5は、3段の画素配列に対応したテンプレートである。図5(e)に示すパターン形状は、3段の画素列中9つの画素が3つの画素幅の太さで、紙面上下方向に連なって、紙面上下方向に延びる灰色領域となっている。
これらの灰色領域の中心にある画素は、各テンプレートTP1〜TP5の中心にある画素に一致するように灰色領域は設定されている。
このようにテンプレートTPにおける画素配列の段数は1段であってもよく、2段、3段、4段等の複数の段数であってもよい。しかし、テンプレートTPによる血管領域の確からしさの判定の効果が段数に伴って向上する向上量は、テンプレートTPの段数が5を超えると少なくなる。このため、上記ラインバッファの設置数及び判定の煩雑さを考慮すると、テンプレートTPの段数は、1〜5段であることが好ましく、1〜3段であることがより好ましい。
本実施形態では、太い血管の像でも血管領域の確からしさを確実に判定するために、一方向に長いテンプレートTPを用いる。電子内視鏡100では、体腔内に挿入した際の撮像画像における視野範囲は予め限定されるので、限定された視野範囲に応じて血管の太さの像の最大のサイズも概略情報として得ることができる。したがって、撮像画像における視野範囲に応じてテンプレートTPの上記一方向に沿ったサイズを予め設定することができる。このため、上記一方向に沿ったサイズが異なるテンプレートTPを複数用意して、異なるテンプレートTPを用いて繰り返し判定することをしなくてもよい場合もある。
なお、一方向に長いテンプレートTPを用いるので、一方向に平行にかつ直線状に延びる血管は、適切に判定することはできない。しかし、一方向に平行にかつ直線状に延びる血管は生体組織において極めて少ない。このため、一方向に長いテンプレートTPを用いても、血管領域の確からしさの数値に与える影響は少ない。また、血管領域の確からしさの結果を統合した血管特徴量を算出するので、一方向に平行にかつ直線状に延びる血管を判定できないことによる血管特徴量に与える効果は非常に小さい。
テンプレートTPの一方向(図5(a)〜(e)中の紙面横方向)に沿った画素数は、血管領域の確からしさの判定に用いる画像の同じ方向の画素数の2%〜10%であることが、効率の良い血管領域の確からしさの判定を行う点から好ましい。また、テンプレートTPの上記一方向における寸法(画素数)の、上記一方向に直交した直交方向における寸法(画素数)に対する比率は、20〜100であることが効率の良い血管領域の確からしさの判定を行う点から好ましい。
図5(a)〜(e)に示すテンプレートTP1〜TP5として、テンプレートTP1〜TP5の画素毎の画素値をフィルタ係数とした空間フィルタを用いる場合、フィルタ係数の合計の値が0となり、灰色領域の画素には正の値(灰色領域の画素が複数ある場合は同じ値)のフィルタ係数が、白色領域の画素には同じ負の値のフィルタ係数が与えられる。
例えば、図5(b)に示すテンプレートTP2では、テンプレートTP2の上記一方向(図5(b)に示す紙面横方向)の画素数が77である場合、3つの灰色領域の画素のそれぞれには、値74/3のフィルタ係数が付与され、74の白領域の画素のそれぞれには、値−1のフィルタ係数が付与される。フィルタ係数のそれぞれと判定対象エリアの対応する画素の画素値を乗算して合計した値を近似度として計算するとき、判定対象エリアのいずれの画素値も同一の値である場合、近似度はゼロになる。一方、判定対象エリアに線状に延びる血管の像が含まれる場合、近似度は増大する。この近似度の値が大きいほど、テンプレートTPに近似する像を含んでいるといえる。したがって、テンプレートTPについて近似度を計算し、この計算結果を、血管領域の確からしさとして、判定対象エリアの中心画素に与える。テンプレートTPとして上記空間フィルタを用いることにより、血管領域の確からしさの判定を素早く行うことができる。
このようにして得られる血管領域の確からしさの数値を画素値として構成した画像は血管抽出画像として表わすことができる。図6(a),(b)は、撮像画像と本実施形態で得られる血管抽出画像の一例を示す図である。図6(b)に示す血管抽出画像では、血管領域の確からしさの数値が高い領域程白く表示している。図6(a)に示す撮像画像には、太い血管から細い血管の像まで現れている。これに対して、図6(b)に示す血管抽出画像では、血管領域の確からしさの数値が高い(白い)領域が、図6(a)に示す撮像画像中の血管の像と同じ位置に表されている。このように、撮像画像における血管の像の位置と、血管抽出画像における血管領域の確からしさの高い領域の位置はほぼ一致している。これより、本実施形態で求める血管領域の確からしさにより、血管の太さに係らず血管領域を適切に検知して数値化していることがわかる。
したがって、血管特徴量算出部224が、血管領域の確からしさの数値を画像全体で統合することにより、血管特徴量を算出することができる。血管特徴量とは、生体組織に血管が現れる量の大小を数値で表した量である。このような血管特徴量の大小によって、血管が生体組織の表面に現れ易くなり、粘膜が薄くなっていることを知ることができる。また、炎症発生前段階であることを知ることもできる。
テンプレートTPは、上記一方向と直交する直交方向に沿ったサイズが上記一方向に比べて小さいので、パターン形状(図5(a)〜(e)に示す灰色領域)が上記一方向に対して傾斜した傾斜方向に線状に延びる複数のテンプレートTPを用意して、異なるテンプレートTPを用いて繰り返し判定することをしなくてもよい。しかし、血管の形状は、直線状に延びるわけでなく、屈曲したり湾曲したり、傾斜して延びるので、精度の高い血管領域の確からしさを求める点から、血管の形状に類似した複数のパターン形状を備えることも好ましい。この場合、血管領域判定部222は、一方向に沿って延びる画素列に対して複数のパターン形状のそれぞれに対応したテンプレート(空間フィルタ)を用いてパターン形状との近似の程度を示す複数の近似度のうち、最大値を血管領域の確からしさとして算出するように構成されることが好ましい。
なお、複数の形状を有する複数のテンプレートを用いて近似度を求める場合、複数のパターン形状は、上記一方向に直交する直交方向に延びる線形状、及び、この直交方向に対して0度超90度未満の傾斜角度で延びる傾斜形状を含む、ことが、多様な血管の形状との近似度を求める点から好ましい。
このような血管領域の確からしさを算出する際に用いる画像の画素値は、血管がそれ以外の部分と識別可能な色成分に関する画素値であればよい。例えば、色成分の画素値を、別の色成分の画素値に対する比率で表したものを画素値としてもよく、また、輝度で表した画像(モノトーン画像)の各画素の輝度値であってもよい。
一実施形態によれば、生体組織の血管領域の確からしさを求める生体組織の画像は、電子内視鏡100で得られた生体組織の画像中の所定の色成分の量に関する情報を画素毎に数値で表した色成分画像であることが好ましい。例えば、色成分は、赤色成分である。血管は、生体組織の健常部に比べて、さらには、生体組織の炎症部に比べて、赤色の程度が強い場合が多いので、健常部及び炎症部と区別することができる。
以下、第2実施形態で説明する、血管領域の確からしさを算出する際に用いる画像の画素値は、血管が呈する赤色成分の画素値を用いる。
(第2実施形態)
図7(a)〜(c)は、血管特徴量算出部224で算出する血管の特徴を数値で示す血管特徴量を用いて病変部の重症度を求める第2実施形態における画像処理ユニット220の構成の要部の一例を説明する図である。
画像処理ユニット220は、電子内視鏡100で得られた生体組織の画像から、生体組織の病変の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット220は、前処理部220a、画素評価値算出部220b、代表値算出部220c、及び統合部220dを備える。
画素評価値算出部220bは、第1実施形態で説明した血管領域判定部222の他に、色成分算出部221を備える。色成分算出部221は、赤色の程度を数値で表した赤色度を画素毎に求める。赤色度の算出については後述する。
画素評価値算出部220bの色成分算出部221は、第1画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を算出する。血管領域判定部222は、第1画素評価値を画素値として構成された赤色度画像に対して、第1実施形態で説明したテンプレートTPを用いて血管領域の確からしさの数値を算出する。この血管領域の確からしさは、赤色度画像を用いて得られるので生体組織上の線状に延びる血管領域の赤色の程度を数値化した血管赤色度となっている。すなわち、血管赤色度は、血管領域の確からしさと赤色の程度の両方を数値化した値である。血管領域判定部222は、この値を第2画素評価値として算出する。
代表値算出部220cは、第1実施形態で説明した血管特徴量算出部224の他に、生体組織特徴量算出部226を備える。生体組織特徴量算出部226は、画像中の生体組織赤色度の代表値を算出する。この代表値の算出についても後述する。
最初に、前処理部220aから順番に説明する。
前処理部220aは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部220aは、一例として図示されるように、RGB変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb,Cr)を所定のマトリックス係数を用いて画像色成分(R,G,B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色空間変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R,G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、生体組織赤色度及び血管赤色度を評価するために必要なRG平面内の基準軸が設定される。
被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちR成分が他の成分(G成分及びB成分)に対して支配的である。病変部の病変の程度が低く、病変部が炎症部である場合、炎症が強いほど赤色(R成分)が他の色(G成分及びB成分)に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件(例えば照明光の当たり具合)に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒(無彩色であり、例えば、R,G,Bの画像色成分の値がゼロ又はゼロに近い値)となり、照明光が強く当たって正反射する部分は白(無彩色であり、例えば、R,G,Bの画像色成分の値が8ビット階調の場合、255又は255に近い値)となる。
すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
一般に、炎症が起こっていない体腔内の健常部は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色(黄色)が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。
そこで、図8に示されるように、RG色空間内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。図8は、第2実施形態で用いる色空間内における基準軸の例を説明する図である。
図8に示されるプロットは、体腔内の生体組織の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例(最も重症なレベルの炎症画像例)や、炎症の程度の最も低い炎症画像例(実質的に健常部であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図8に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図8に示されるプロットの数よりも遥かに多い。
上述したように、炎症が強い部分ほど画像の色成分のうちR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図3に示す例では、(50,0)及び(255,76)を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部に対応するプロットが重畳される。したがって、ヘモグロビン変化軸AX1は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。
一方、生体組織が健常部に近いほど画像の色成分のうちG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図3に示す例では、(0,0)及び(255,192)を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸AX2は、炎症の程度が低くなるほど(健常部に近いほど)プロットされる画素対応点が収束する軸である。
補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図8に示されるRG色空間内のプロットは、血液(ヘモグロビン色素)の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、炎症の程度の最も高い炎症部を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、炎症の程度の最も低い炎症部を示す軸(粘膜変化軸AX2)に相当する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図8に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
前処理部220aは、炎症評価値の算出の前に、RG色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように(言い換えると、電子スコープの個体間誤差を抑えるために)、前処理部220aは、各画素のRG色空間内の画素対応点である画素データ(R,G)を、補正マトリックス係数を用いて下記式に示すように補正する。
Figure 2020189213

new :補正後の画素データ(R成分)
new :補正後の画素データ(G成分)
00〜M11:補正マトリックス係数
R :補正前の画素データ(R成分)
G :補正前の画素データ(G成分)
画素評価値算出部220bの色成分算出部221は、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。生体組織赤色度は、後述するように炎症の程度を示す値である。図9は、第2実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、色成分算出部221は、図9に示すように、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点を基準点O’とし、基準点O’と注目画素の画素対応点Pとを結ぶ線分Lの向きが、ヘモグロビン変化軸AX1に対してずれるずれ角度θを算出する。なお、基準点O’は座標(−150,−75)に位置する。基準点O’を座標(−150,−75)にする例に挙げたが、これに限定されるものではない。上記基準点O’は、適宜変更可能であり、例えば、RG色空間のR軸とG軸の交点であってもよい。
基準点O’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点O’は、暗部(輝度が所定値未満)での評価結果と非暗部(輝度が所定値以上)での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
また、例えば、基準点O’を座標(−10,−10)から(10,10)の間に設定すると、座標(−150,−75)等を基準点O’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG色空間内において、概ね、重症度の最も高い炎症部ではヘモグロビン変化軸AX1上に沿って変化し、炎症の程度が最も低い炎症部では粘膜変化軸AX2上に沿って変化する。また、炎症の程度が中間程度である炎症部の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸AX2に対するずれ角度θが一定のまま移動して基準点O’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
ずれ角度θが小さいほどR成分がG成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどG成分がR成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、色成分算出部221は、ずれ角度θがゼロであるときに値255となり、ずれ角度θがθMAXであるときに値ゼロとなるように、角度θを正規化する。なお、θMAXは、ヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度と等しい。すなわち、色成分算出部221は、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、0〜255の範囲に収まる生体組織赤色度を第1画素評価値として算出する。
なお、注目画素は、画像の全画素について1つずつ選択される。
なお、図9に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
色成分算出部221は、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、生体組織赤色度と所定の表示色とを対応付けたテーブルが図示されないメモリ等の記憶領域に記憶されている。このテーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、画素評価値が0〜5の範囲では青色が対応付けられており、該画素評価値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が250〜255の範囲では赤色の程度が対応付けられている。
表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。色成分算出部221は、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、色成分算出部221は、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
血管領域判定部222は、色成分算出部221で算出した生体組織赤色度を画素値とする赤色度画像、すなわち、第1画素評価値を画素値として構成された赤色度度画像(色成分画像)を、血管領域の確からしさの数値を求める画像として用いて、赤色度画像中の生体組織の像に現れる血管領域の確からしさを第2画素評価値として算出する、すなわち、血管領域の確からしさを数値で表した第2画素評価値を画素毎に算出する。この血管領域の確からしさは、赤色度画像を用いて得られた値であるので、血管領域の赤色度を示す血管赤色度である。
血管領域判定部222は、必要に応じて、求めた確からしさにより、血管領域を抽出する。具体的には、第1実施形態で説明した一方向に長いテンプレートTP1〜5を、赤色度度画像(生体組織赤色度を画素値とする画像)に対して用いて、パターン形状との近似度を算出して、赤色度画像における血管領域の確からしさの数値を第2画素評価値として算出する。
このような第2画素評価値は、赤色度画像を用いて得られるので、生体組織赤色度の情報と、血管領域の確からしさの情報を含んだ画素値となっている。したがって、血管領域判定部222は、各画素における血管領域の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管領域の確からしさの値が予め定めた値より大きい場合、その画素は血管領域であると判定することにより、血管領域を抽出することができる。
なお、血管領域判定部222は、赤色度画像を用いて血管赤色度を求める場合の他、赤色度画像以外の画像を用いて血管領域の確からしさを求めて、血管赤色度を求めてもよい。この場合、血管領域の確からしさを0〜1の範囲に正規化した値を求め、この値が高い程血管領域の確からしさが高くなり、低い程血管領域の確からしさが低くなるように補正した結果を血管領域の確からしさの値として算出してもよい。この場合、色成分算出部221で算出した各画素における生体組織赤色度の値に、対応する画素における血管領域の確からしさの値を乗算した結果を血管赤色度である第2画素評価値として求めてもよい。
生体組織特徴量算出部226は、色成分算出部221が算出した各画素の生体組織赤色度である第1画素評価値を統合することにより撮像した生体組織の生体組織赤色度の代表値を第1代表評価値として算出する。すなわち、生体組織特徴量算出部226は、赤色度画像における各画素の第1画素評価値を統合することにより生体組織の特徴に関する第1代表評価値を算出する。
血管特徴量算出部224は、各画素の血管赤色度である第2画素評価値を統合することにより血管赤色度の代表値を第2代表評価値として算出する。すなわち、血管特徴量算出部224は、血管領域の確からしさの数値である第2画素評価値を赤色度画像全体で統合することにより、血管の特徴を示す血管特徴量を、血管領域における第2代表評価値として算出する。
上記統合の処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも2つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Pを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば1/(1+e−P)である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。
統合部220dは、生体組織赤色度の代表値である第1代表評価値及び血管赤色度の代表値である第2代表評価値同士を統合することにより、病変の重症度を算出する。第1代表評価値及び第2代表評価値の統合は、第1代表評価値と第2代表評価値との加算し、あるいは第1代表評価値から第2代表評価値の減算等の演算により行われる。例えば、第2代表評価値が所定の閾値以上のとき、重症度は、第1代表評価値から第2代表評価値を減算した結果を重症度とし、第2代表評価値が所定の閾値より低いとき、重症度は、第1代表評価値と第2代表評価値を加算した結果を重症度とする。
統合部220dは、計算した重症度を、画素評価値算出部220bで作成したカラーマップ画像とともに、画面表示のための信号を生成してモニタ300に送る。
図10は、100枚の潰瘍性大腸炎の病変部の画像についての医師の主観評価結果であるMAYO endoscopic subscoreの分布範囲を概略的に示す図である。MAYO0からMAYO2に進むほど重症度が高い。図10では、MAYO endoscopic subscoreの分布範囲が、生体組織赤色度の代表値と血管赤色度の代表値の直交座標系上で示されている。図中のMAYO0,1,2のそれぞれは、MAYO endoscopic subscoreが0,1,2であることを示す。MAYO0から2に進むほど、病変の重症度は高くなることを意味する。
図10からわかるように、MAYO0からMAYO1に進む場合、概略、血管赤色度が低下しつつ生体組織赤色度が上昇することを示している。また、MAYO1からMAYO2に進む場合、概略血管赤色度及び生体組織赤色度の双方が上昇することを示している。
したがって、この事実より、第2代表評価値である血管赤色度の代表値が所定の閾値以上か、未満かによって重症度の算出の方法が異ならせることが、MAYO endoscopic subscoreに対応させる点で好ましいことがわかる。
なお、血管特徴量算出部224では、血管赤色度である第2画素評価値を全画素について統合する処理を行うが、この統合に限定されない。例えば、血管特徴量算出部224において、第2画素評価値を閾値と比較して、閾値以上の第2画素評価値を有する画素を血管領域として抽出し、この抽出した領域において血管赤色度である第2画素評価値を統合してもよい。
このような画像処理ユニット220を備える電子内視鏡用プロセッサ200は、図11に示すフローに沿って病変の重症度を計算して重症度をモニタ300に表示する。図11は、第2実施形態の電子内視鏡用プロセッサ200による病変の重症度の算出の処理のフローの一例を示す図である。
まず、現フレームの画像を、画像処理ユニット220は取得する(ステップS10)。
次に、前処理部220aは、上述したRGB変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、画素評価値算出部220bは、前処理を行った画像に対して、第1画素評価値及び第2画素評価値、例えば生体組織赤色度及び血管赤色度度を、画素毎に計算する(ステップS12)。
画素評価値算出部220bは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する(ステップS14)。全画素について画素評価値の計算を完了した場合、代表値算出部220cは、画素評価値を統合した第1代表評価値及び第2代表評価値を計算する(ステップS16)。代表値は、第1画素評価値及び第2画素評価値毎に算出される。
この後、統合部220dは、代表値を組み合わせて1つの重症度を計算する(ステップS18)。すなわち、代表値を演算して統合した1つの数値を病変の重症度として算出する。
最後に、統合部220dは、算出した重症度と、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像とを、モニタ300に表示する(ステップS20)。
図12は、代表値の組み合わせ方のフローの例を説明する図である。統合部220dは、代表値算出部220cで計算した生体組織赤色度の代表値と血管赤色度の代表値を取得する(ステップS40)。統合部220dは、血管赤色度の代表値が予め定めた閾値TH1(図10参照)以上であるか否かを判定する(ステップS42)。血管赤色度の代表値が予め定めた閾値TH1以上である場合、統合部220dは、生体組織赤色度の代表値から血管赤色度の代表値を減算し、この減算結果を重症度とする(ステップS44)。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
一方、血管赤色度の代表値が予め定めた閾値TH1未満である場合、統合部220dは、生体組織赤色度の代表値と血管赤色度の代表値とを加算し、この加算結果を重症度とする(ステップS46)。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと血管赤色度の代表値に定数βを乗算したものを加算してもよい。
欠陥赤色祖の代表値を比較する閾値TH1に替えて、生体組織赤色度の代表値と比較するための閾値TH2(図10参照)を用いてもよい。
このように、第2実施形態では、図5(a)〜(e)に示すテンプレートTP1〜5を、赤色度画像に用いて、血管領域の確からしさの値を算出するので、精度の高い血管赤色度を求めることができ、この血管赤色度を用いて、精度の高い病変部の重症度を算出することができる。
画像の色成分が、赤色成分、緑色成分、及び青色成分を含む場合、色成分算出部221は、図9に示すように、赤色成分と、青色成分(あるいは緑色成分)とによって定義される色空間内において、色空間内に設定される基準点と画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、予め定めた基準軸(ヘモグロビン変化軸AX1)に対してずれるずれ角度θに基づいて生体組織赤色度である第1画素評価値を算出するように構成されるので、様々な撮影条件、例えば照明光の当たり具合で撮像された画像であっても、赤色成分の程度を精度よく求めることができる。このため、この血管赤色度と生体組織赤色度を用いて、病変部の重症度を精度よく算出することができる。
以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1 電子内視鏡システム
100 電子スコープ
200 電子内視鏡用プロセッサ
220 画像処理ユニット
220a 前処理部
220b 画素評価値算出部
220c 代表値算出部
220d 統合部
221 色成分算出部
222 血管領域判定部
224 血管特徴量算出部
226 生体組織特徴量算出部
230 光源部
300 モニタ
400 プリンタ
600 サーバ

Claims (9)

  1. 生体組織を撮像するように構成された電子内視鏡と、
    前記電子内視鏡で得られた前記生体組織の画像から、前記画像の複数の部分毎に、前記生体組織の像に現れる血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成された血管領域判定部と、前記血管領域の確からしさの数値を前記画像全体で統合することにより、前記血管領域の特徴量を示す血管特徴量を算出するように構成された血管特徴量算出部と、を備える画像処理ユニットを含むプロセッサと、を備え、
    前記血管領域判定部は、前記画像の画素の配列方向のうちの一方向に沿って取り出した前記画像の少なくとも一段の画素列に対して、複数の画素で構成され、該複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、前記パターン形状に近似する程度を数値で表した近似度を前記血管領域の確からしさとして、前記画像の画素毎に算出するように構成され、
    前記空間フィルタの前記一方向に沿ったサイズは、前記空間フィルタの前記一方向と直交する直交方向に沿ったサイズに比べて大きい、ことを特徴とする内視鏡システム。
  2. 前記血管領域判定部は、前記画素列の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記近似度を求める、請求項1に記載の内視鏡システム。
  3. 前記空間フィルタは、複数のパターン形状のそれぞれに対応して設けられ、
    前記血管領域判定部は、前記複数のパターン形状のそれぞれに対応した前記空間フィルタを用いて得られる複数の近似度のうち最大値を前記血管領域の確からしさとして算出するように構成される、請求項1または2に記載の内視鏡システム。
  4. 前記複数のパターン形状は、前記直交方向に延びる線形状、及び、前記直交方向に対して0度超90度未満の傾斜角度で延びる傾斜形状を含む、請求項3に記載の内視鏡システム。
  5. 前記空間フィルタの前記一方向における寸法の、前記直交方向における寸法に対する比率は、20〜100である、請求項1〜4のいずれか1項に記載の内視鏡システム。
  6. 前記生体組織の血管領域の確からしさを求める際に用いる前記生体組織の画像は、前記電子内視鏡で得られた前記生体組織の画像中の所定の色成分の量に関する情報を画素毎に数値で表した色成分画像である、請求項1〜5のいずれか1項に記載の内視鏡システム。
  7. 前記画像処理ユニットは、
    前記生体組織の病変部に現れる外観の特徴を、前記病変部が示す色成分により前記生体組織の健常部の外観の前記特徴と区別できる画素評価値であって、前記病変部が示す前記色成分に関する、前記特徴の程度を示す第1画素評価値を画素毎に算出するように構成された色成分算出部と、前記血管領域判定部と、を備える画素評価値算出部を備え、
    前記血管領域判定部は、前記色成分算出部で算出した前記第1画素評価値を画素値として構成された色成分画像を前記血管領域の確からしさの数値を求める画像として、前記血管領域の確からしさを数値で表した第2画素評価値を画素毎に算出するように構成され、
    さらに、前記画像処理ユニットは、
    前記血管領域の確からしさの数値である前記第2画素評価値を前記色成分画像全体で統合することにより、前記血管特徴量を、前記血管領域における第2代表評価値として算出するように構成された前記血管特徴量算出部と、前記色成分画像における各画素の前記第1画素評価値を統合することにより前記生体組織の前記特徴の第1代表評価値を算出するように構成された生体組織特徴量算出部と、を含む代表値算出部と、
    前記第1代表評価値及び前記第2代表評価値を演算して統合した1つの数値を前記病変部の病変の重症度として算出するように構成された統合部と、
    を備える、請求項1〜5のいずれか1項に記載の内視鏡システム。
  8. 前記外観の特徴の程度は、前記生体組織の炎症の程度であり、
    前記色成分は、赤色成分である、請求項7に記載の内視鏡システム。
  9. 前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
    前記色成分算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第1画素評価値を算出するように構成される、請求項7または8に記載の内視鏡システム。
JP2021507140A 2019-03-20 2020-02-26 内視鏡システム Active JP7084546B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019053829 2019-03-20
JP2019053829 2019-03-20
PCT/JP2020/007866 WO2020189213A1 (ja) 2019-03-20 2020-02-26 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2020189213A1 true JPWO2020189213A1 (ja) 2021-09-13
JP7084546B2 JP7084546B2 (ja) 2022-06-14

Family

ID=72520867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507140A Active JP7084546B2 (ja) 2019-03-20 2020-02-26 内視鏡システム

Country Status (5)

Country Link
US (1) US11363177B2 (ja)
JP (1) JP7084546B2 (ja)
CN (1) CN112469324B (ja)
DE (1) DE112020001352T5 (ja)
WO (1) WO2020189213A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4218535A1 (en) * 2020-09-25 2023-08-02 Hoya Corporation Endoscope processor and endoscope system
JP7455717B2 (ja) 2020-09-28 2024-03-26 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP7455716B2 (ja) 2020-09-25 2024-03-26 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229157A (ja) * 2007-03-22 2008-10-02 Chiba Univ 眼底画像処理装置及び眼底撮影装置
JP2014161672A (ja) * 2013-02-27 2014-09-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2476363A4 (en) 2010-07-21 2014-06-25 Olympus Medical Systems Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP5139606B2 (ja) * 2011-02-01 2013-02-06 オリンパスメディカルシステムズ株式会社 診断支援装置及び診断支援装置の制御方法
JP5301737B2 (ja) * 2011-04-27 2013-09-25 オリンパスメディカルシステムズ株式会社 医用画像処理装置
WO2014097758A1 (ja) * 2012-12-19 2014-06-26 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
US10052015B2 (en) * 2014-09-30 2018-08-21 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229157A (ja) * 2007-03-22 2008-10-02 Chiba Univ 眼底画像処理装置及び眼底撮影装置
JP2014161672A (ja) * 2013-02-27 2014-09-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KURI KUMAR SAUMITRA ET AL.: ""Automated Retinal Blood Vessels Extraction Using Optimized Gabor Filter"", 2014 INTERNATIONAL CONFERENCE ON INFORMATICS, ELECTRONICS & VISION, JPN6020016439, 24 May 2014 (2014-05-24), ISSN: 0004680587 *
KURI KUMAR SAUMITRA: ""Automatic Diabetic Retinopathy Detection Using OMFR with Minimum Cross Entropy Threshold"", 2015 INTERNATIONAL CONFERENCE ON ELECTRICAL ENGINEERING AND INFORMATION COMMUNICATION TECHNOLOGY, JPN6020016444, 23 May 2015 (2015-05-23), ISSN: 0004680589 *
神野 遼太 RYOTA KANNO: "大腸内視鏡画像からの血管パラメータ抽出 Extracting blood vessel parameters on image of large intesti", 電子情報通信学会技術研究報告 VOL.110 NO.120 IEICE TECHNICAL REPORT, vol. 第110巻, JPN6022000662, JP, ISSN: 0004680588 *

Also Published As

Publication number Publication date
CN112469324B (zh) 2023-07-28
DE112020001352T5 (de) 2021-12-16
JP7084546B2 (ja) 2022-06-14
US20210266434A1 (en) 2021-08-26
US11363177B2 (en) 2022-06-14
WO2020189213A1 (ja) 2020-09-24
CN112469324A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
JP6907398B2 (ja) 内視鏡システム
JP7068487B2 (ja) 電子内視鏡システム
JP7084546B2 (ja) 内視鏡システム
JP7041318B2 (ja) 内視鏡システム
US11944261B2 (en) Electronic endoscope system and data processing device
JP6912688B2 (ja) 電子内視鏡システム及びデータ処理装置
JP6912608B2 (ja) 内視鏡システム
JP6877672B2 (ja) 電子内視鏡システム及びデータ処理装置
WO2022064987A1 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
CN113556968A (zh) 内窥镜系统
JP7455717B2 (ja) 内視鏡用プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220602

R150 Certificate of patent or registration of utility model

Ref document number: 7084546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150