JPWO2020189213A1 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JPWO2020189213A1 JPWO2020189213A1 JP2021507140A JP2021507140A JPWO2020189213A1 JP WO2020189213 A1 JPWO2020189213 A1 JP WO2020189213A1 JP 2021507140 A JP2021507140 A JP 2021507140A JP 2021507140 A JP2021507140 A JP 2021507140A JP WO2020189213 A1 JPWO2020189213 A1 JP WO2020189213A1
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- image
- pixel
- value
- vessel region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
また、炎症部あるいはその近傍に存在する血管のみならず、病変部とは無関係に、生体組織に現れる血管の多さを評価することは、生体組織の健康状態の評価に用い、また、病変部への移行等を事前に判断する上で望ましい。
上記画像処理では、血管の形状構造が存在すると推定される血管候補領域を検出し、検出した血管候補領域の両側にある近傍領域それぞれの外側及び内側の特徴量の差異を算出し、この差異に基づいて血管候補領域の検出結果を補正する。
これにより、血管の検出精度が向上する、とされている。
生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記画像の複数の部分毎に、前記生体組織の像に現れる血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成された血管領域判定部と、前記血管領域の確からしさの数値を前記画像全体で統合することにより、前記血管領域の特徴量を示す血管特徴量を算出するように構成された血管特徴量算出部と、を備える画像処理ユニットを含むプロセッサと、を備える。
前記血管領域判定部は、前記画像の画素の配列方向のうちの一方向に沿って取り出した前記画像の少なくとも一段の画素列に対して、複数の画素で構成され、該複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、前記パターン形状に近似する程度を数値で表した近似度を前記血管領域の確からしさとして、前記画像の画素毎に算出するように構成される。
前記空間フィルタの前記一方向に沿ったサイズは、前記空間フィルタの前記一方向と直交する直交方向に沿ったサイズに比べて大きい。
前記血管領域判定部は、前記複数のパターン形状のそれぞれに対応した前記空間フィルタを用いて得られる複数の近似度のうち最大値を前記血管領域の確からしさとして算出するように構成される、ことが好ましい。
前記生体組織の病変部に現れる外観の特徴を、前記病変部が示す色成分により前記生体組織の健常部の外観の前記特徴と区別できる画素評価値であって、前記病変部が示す前記色成分に関する、前記特徴の程度を示す第1画素評価値を画素毎に算出するように構成された色成分算出部と、前記血管領域判定部と、を備える画素評価値算出部を備え、
前記血管領域判定部は、前記色成分算出部で算出した前記第1画素評価値を画素値として構成された色成分画像を前記血管領域の確からしさの数値を求める画像として、前記血管領域の確からしさを数値で表した第2画素評価値を画素毎に算出するように構成され、
さらに、前記画像処理ユニットは、
前記血管領域の確からしさの数値である前記第2画素評価値を前記色成分画像全体で統合することにより、前記血管特徴量を、前記血管領域における第2代表評価値として算出するように構成された前記血管特徴量算出部と、前記色成分画像における各画素の前記第1画素評価値を統合することにより前記生体組織の前記特徴の第1代表評価値を算出するように構成された生体組織特徴量算出部と、を含む代表値算出部と、
前記第1代表評価値及び前記第2代表評価値を演算して統合した1つの数値を前記病変部の病変の重症度として算出するように構成された統合部と、
を備える、ことが好ましい。
前記色成分は、赤色成分である、ことが好ましい。
前記色成分算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第1画素評価値を算出するように構成される、ことが好ましい。
以下、具体的に、実施形態の内視鏡システムを、図面を参照しながら説明する。
図1に示されるように、電子内視鏡システム1は、電子内視鏡100、電子内視鏡用プロセッサ200、モニタ300、及びプリンタ400を備えている。
電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子内視鏡100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子内視鏡100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
図2は、第1実施形態における、血管領域の確からしさを求める画像処理ユニット220の構成の要部の一例を示す図である。
画像処理ユニット220は、血管領域判定部222と、血管特徴量算出部224と、を備える。
血管領域判定部222は、電子内視鏡で得られた生体組織の画像から、生体組織の画像の複数の部分毎に、画像中の血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成されている。
血管特徴量算出部224は、血管領域の確からしさの数値を画像全体で統合することにより、血管の特徴を数値で示した血管特徴量を算出するように構成されている。
ここで、血管領域判定部222は、画像の画素の配列方向のうちの一方向に沿って取り出した画像の少なくとも一段の画素列に対して、複数の画素で構成され、この複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、パターン形状に近似する程度を数値で表した近似度を血管領域の確からしさとして算出するように構成されている。近似度は、画像の画素毎に算出される。以下、空間フィルタをテンプレートともいう。
血管領域判定部222は、このような相関係数あるいは合計した値を、テンプレートTPの中心にある画素に血管領域の確からしさの値として付与する。
図5(a)に示すテンプレートTP1は、1段の画素配列に対応したテンプレートである。図5(a)に示すパターン形状は、1段の画素列中1つの画素において灰色領域となっている。
図5(b)に示すテンプレートTP2は、1段の画素配列に対応したテンプレートである。図5(b)に示すパターン形状は、1段の画素列中3つの画素が紙面横方向に連なった灰色領域となっている。
図5(c)に示すテンプレートTP3は、3段の画素配列に対応したテンプレートである。図5(c)に示すパターン形状は、3段の画素列中3つの画素が紙面上下方向に連なって、紙面上下方向に延びる灰色領域となっている。
図5(d)に示すテンプレートTP4は、3段の画素配列に対応したテンプレートである。図5(d)に示すパターン形状は、3段の画素列中3つの画素が紙面左下−右上方向に連なって、紙面上下方向に対して傾斜した方向に延びる灰色領域となっている。
図5(e)に示すテンプレートTP5は、3段の画素配列に対応したテンプレートである。図5(e)に示すパターン形状は、3段の画素列中9つの画素が3つの画素幅の太さで、紙面上下方向に連なって、紙面上下方向に延びる灰色領域となっている。
これらの灰色領域の中心にある画素は、各テンプレートTP1〜TP5の中心にある画素に一致するように灰色領域は設定されている。
このようにテンプレートTPにおける画素配列の段数は1段であってもよく、2段、3段、4段等の複数の段数であってもよい。しかし、テンプレートTPによる血管領域の確からしさの判定の効果が段数に伴って向上する向上量は、テンプレートTPの段数が5を超えると少なくなる。このため、上記ラインバッファの設置数及び判定の煩雑さを考慮すると、テンプレートTPの段数は、1〜5段であることが好ましく、1〜3段であることがより好ましい。
なお、一方向に長いテンプレートTPを用いるので、一方向に平行にかつ直線状に延びる血管は、適切に判定することはできない。しかし、一方向に平行にかつ直線状に延びる血管は生体組織において極めて少ない。このため、一方向に長いテンプレートTPを用いても、血管領域の確からしさの数値に与える影響は少ない。また、血管領域の確からしさの結果を統合した血管特徴量を算出するので、一方向に平行にかつ直線状に延びる血管を判定できないことによる血管特徴量に与える効果は非常に小さい。
例えば、図5(b)に示すテンプレートTP2では、テンプレートTP2の上記一方向(図5(b)に示す紙面横方向)の画素数が77である場合、3つの灰色領域の画素のそれぞれには、値74/3のフィルタ係数が付与され、74の白領域の画素のそれぞれには、値−1のフィルタ係数が付与される。フィルタ係数のそれぞれと判定対象エリアの対応する画素の画素値を乗算して合計した値を近似度として計算するとき、判定対象エリアのいずれの画素値も同一の値である場合、近似度はゼロになる。一方、判定対象エリアに線状に延びる血管の像が含まれる場合、近似度は増大する。この近似度の値が大きいほど、テンプレートTPに近似する像を含んでいるといえる。したがって、テンプレートTPについて近似度を計算し、この計算結果を、血管領域の確からしさとして、判定対象エリアの中心画素に与える。テンプレートTPとして上記空間フィルタを用いることにより、血管領域の確からしさの判定を素早く行うことができる。
したがって、血管特徴量算出部224が、血管領域の確からしさの数値を画像全体で統合することにより、血管特徴量を算出することができる。血管特徴量とは、生体組織に血管が現れる量の大小を数値で表した量である。このような血管特徴量の大小によって、血管が生体組織の表面に現れ易くなり、粘膜が薄くなっていることを知ることができる。また、炎症発生前段階であることを知ることもできる。
一実施形態によれば、生体組織の血管領域の確からしさを求める生体組織の画像は、電子内視鏡100で得られた生体組織の画像中の所定の色成分の量に関する情報を画素毎に数値で表した色成分画像であることが好ましい。例えば、色成分は、赤色成分である。血管は、生体組織の健常部に比べて、さらには、生体組織の炎症部に比べて、赤色の程度が強い場合が多いので、健常部及び炎症部と区別することができる。
以下、第2実施形態で説明する、血管領域の確からしさを算出する際に用いる画像の画素値は、血管が呈する赤色成分の画素値を用いる。
図7(a)〜(c)は、血管特徴量算出部224で算出する血管の特徴を数値で示す血管特徴量を用いて病変部の重症度を求める第2実施形態における画像処理ユニット220の構成の要部の一例を説明する図である。
画素評価値算出部220bは、第1実施形態で説明した血管領域判定部222の他に、色成分算出部221を備える。色成分算出部221は、赤色の程度を数値で表した赤色度を画素毎に求める。赤色度の算出については後述する。
前処理部220aは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部220aは、一例として図示されるように、RGB変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb,Cr)を所定のマトリックス係数を用いて画像色成分(R,G,B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色空間変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R,G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、生体組織赤色度及び血管赤色度を評価するために必要なRG平面内の基準軸が設定される。
すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図8に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
なお、注目画素は、画像の全画素について1つずつ選択される。
なお、図9に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。色成分算出部221は、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、色成分算出部221は、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
血管領域判定部222は、必要に応じて、求めた確からしさにより、血管領域を抽出する。具体的には、第1実施形態で説明した一方向に長いテンプレートTP1〜5を、赤色度度画像(生体組織赤色度を画素値とする画像)に対して用いて、パターン形状との近似度を算出して、赤色度画像における血管領域の確からしさの数値を第2画素評価値として算出する。
なお、血管領域判定部222は、赤色度画像を用いて血管赤色度を求める場合の他、赤色度画像以外の画像を用いて血管領域の確からしさを求めて、血管赤色度を求めてもよい。この場合、血管領域の確からしさを0〜1の範囲に正規化した値を求め、この値が高い程血管領域の確からしさが高くなり、低い程血管領域の確からしさが低くなるように補正した結果を血管領域の確からしさの値として算出してもよい。この場合、色成分算出部221で算出した各画素における生体組織赤色度の値に、対応する画素における血管領域の確からしさの値を乗算した結果を血管赤色度である第2画素評価値として求めてもよい。
血管特徴量算出部224は、各画素の血管赤色度である第2画素評価値を統合することにより血管赤色度の代表値を第2代表評価値として算出する。すなわち、血管特徴量算出部224は、血管領域の確からしさの数値である第2画素評価値を赤色度画像全体で統合することにより、血管の特徴を示す血管特徴量を、血管領域における第2代表評価値として算出する。
統合部220dは、計算した重症度を、画素評価値算出部220bで作成したカラーマップ画像とともに、画面表示のための信号を生成してモニタ300に送る。
図10からわかるように、MAYO0からMAYO1に進む場合、概略、血管赤色度が低下しつつ生体組織赤色度が上昇することを示している。また、MAYO1からMAYO2に進む場合、概略血管赤色度及び生体組織赤色度の双方が上昇することを示している。
したがって、この事実より、第2代表評価値である血管赤色度の代表値が所定の閾値以上か、未満かによって重症度の算出の方法が異ならせることが、MAYO endoscopic subscoreに対応させる点で好ましいことがわかる。
次に、前処理部220aは、上述したRGB変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、画素評価値算出部220bは、前処理を行った画像に対して、第1画素評価値及び第2画素評価値、例えば生体組織赤色度及び血管赤色度度を、画素毎に計算する(ステップS12)。
画素評価値算出部220bは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する(ステップS14)。全画素について画素評価値の計算を完了した場合、代表値算出部220cは、画素評価値を統合した第1代表評価値及び第2代表評価値を計算する(ステップS16)。代表値は、第1画素評価値及び第2画素評価値毎に算出される。
この後、統合部220dは、代表値を組み合わせて1つの重症度を計算する(ステップS18)。すなわち、代表値を演算して統合した1つの数値を病変の重症度として算出する。
最後に、統合部220dは、算出した重症度と、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像とを、モニタ300に表示する(ステップS20)。
一方、血管赤色度の代表値が予め定めた閾値TH1未満である場合、統合部220dは、生体組織赤色度の代表値と血管赤色度の代表値とを加算し、この加算結果を重症度とする(ステップS46)。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと血管赤色度の代表値に定数βを乗算したものを加算してもよい。
欠陥赤色祖の代表値を比較する閾値TH1に替えて、生体組織赤色度の代表値と比較するための閾値TH2(図10参照)を用いてもよい。
100 電子スコープ
200 電子内視鏡用プロセッサ
220 画像処理ユニット
220a 前処理部
220b 画素評価値算出部
220c 代表値算出部
220d 統合部
221 色成分算出部
222 血管領域判定部
224 血管特徴量算出部
226 生体組織特徴量算出部
230 光源部
300 モニタ
400 プリンタ
600 サーバ
Claims (9)
- 生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記画像の複数の部分毎に、前記生体組織の像に現れる血管領域の確からしさを、血管を特徴付ける形状に基づいて数値として求めるように構成された血管領域判定部と、前記血管領域の確からしさの数値を前記画像全体で統合することにより、前記血管領域の特徴量を示す血管特徴量を算出するように構成された血管特徴量算出部と、を備える画像処理ユニットを含むプロセッサと、を備え、
前記血管領域判定部は、前記画像の画素の配列方向のうちの一方向に沿って取り出した前記画像の少なくとも一段の画素列に対して、複数の画素で構成され、該複数の画素の画素値が血管形状に近似するパターン形状に対応して表された空間フィルタを用いて、前記パターン形状に近似する程度を数値で表した近似度を前記血管領域の確からしさとして、前記画像の画素毎に算出するように構成され、
前記空間フィルタの前記一方向に沿ったサイズは、前記空間フィルタの前記一方向と直交する直交方向に沿ったサイズに比べて大きい、ことを特徴とする内視鏡システム。 - 前記血管領域判定部は、前記画素列の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記近似度を求める、請求項1に記載の内視鏡システム。
- 前記空間フィルタは、複数のパターン形状のそれぞれに対応して設けられ、
前記血管領域判定部は、前記複数のパターン形状のそれぞれに対応した前記空間フィルタを用いて得られる複数の近似度のうち最大値を前記血管領域の確からしさとして算出するように構成される、請求項1または2に記載の内視鏡システム。 - 前記複数のパターン形状は、前記直交方向に延びる線形状、及び、前記直交方向に対して0度超90度未満の傾斜角度で延びる傾斜形状を含む、請求項3に記載の内視鏡システム。
- 前記空間フィルタの前記一方向における寸法の、前記直交方向における寸法に対する比率は、20〜100である、請求項1〜4のいずれか1項に記載の内視鏡システム。
- 前記生体組織の血管領域の確からしさを求める際に用いる前記生体組織の画像は、前記電子内視鏡で得られた前記生体組織の画像中の所定の色成分の量に関する情報を画素毎に数値で表した色成分画像である、請求項1〜5のいずれか1項に記載の内視鏡システム。
- 前記画像処理ユニットは、
前記生体組織の病変部に現れる外観の特徴を、前記病変部が示す色成分により前記生体組織の健常部の外観の前記特徴と区別できる画素評価値であって、前記病変部が示す前記色成分に関する、前記特徴の程度を示す第1画素評価値を画素毎に算出するように構成された色成分算出部と、前記血管領域判定部と、を備える画素評価値算出部を備え、
前記血管領域判定部は、前記色成分算出部で算出した前記第1画素評価値を画素値として構成された色成分画像を前記血管領域の確からしさの数値を求める画像として、前記血管領域の確からしさを数値で表した第2画素評価値を画素毎に算出するように構成され、
さらに、前記画像処理ユニットは、
前記血管領域の確からしさの数値である前記第2画素評価値を前記色成分画像全体で統合することにより、前記血管特徴量を、前記血管領域における第2代表評価値として算出するように構成された前記血管特徴量算出部と、前記色成分画像における各画素の前記第1画素評価値を統合することにより前記生体組織の前記特徴の第1代表評価値を算出するように構成された生体組織特徴量算出部と、を含む代表値算出部と、
前記第1代表評価値及び前記第2代表評価値を演算して統合した1つの数値を前記病変部の病変の重症度として算出するように構成された統合部と、
を備える、請求項1〜5のいずれか1項に記載の内視鏡システム。 - 前記外観の特徴の程度は、前記生体組織の炎症の程度であり、
前記色成分は、赤色成分である、請求項7に記載の内視鏡システム。 - 前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記色成分算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第1画素評価値を算出するように構成される、請求項7または8に記載の内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019053829 | 2019-03-20 | ||
JP2019053829 | 2019-03-20 | ||
PCT/JP2020/007866 WO2020189213A1 (ja) | 2019-03-20 | 2020-02-26 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020189213A1 true JPWO2020189213A1 (ja) | 2021-09-13 |
JP7084546B2 JP7084546B2 (ja) | 2022-06-14 |
Family
ID=72520867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507140A Active JP7084546B2 (ja) | 2019-03-20 | 2020-02-26 | 内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11363177B2 (ja) |
JP (1) | JP7084546B2 (ja) |
CN (1) | CN112469324B (ja) |
DE (1) | DE112020001352T5 (ja) |
WO (1) | WO2020189213A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4218535A1 (en) * | 2020-09-25 | 2023-08-02 | Hoya Corporation | Endoscope processor and endoscope system |
JP7455717B2 (ja) | 2020-09-28 | 2024-03-26 | Hoya株式会社 | 内視鏡用プロセッサ及び内視鏡システム |
JP7455716B2 (ja) | 2020-09-25 | 2024-03-26 | Hoya株式会社 | 内視鏡用プロセッサ及び内視鏡システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008229157A (ja) * | 2007-03-22 | 2008-10-02 | Chiba Univ | 眼底画像処理装置及び眼底撮影装置 |
JP2014161672A (ja) * | 2013-02-27 | 2014-09-08 | Olympus Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2016067778A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2476363A4 (en) | 2010-07-21 | 2014-06-25 | Olympus Medical Systems Corp | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
JP5139606B2 (ja) * | 2011-02-01 | 2013-02-06 | オリンパスメディカルシステムズ株式会社 | 診断支援装置及び診断支援装置の制御方法 |
JP5301737B2 (ja) * | 2011-04-27 | 2013-09-25 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置 |
WO2014097758A1 (ja) * | 2012-12-19 | 2014-06-26 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理方法 |
US10052015B2 (en) * | 2014-09-30 | 2018-08-21 | Fujifilm Corporation | Endoscope system, processor device, and method for operating endoscope system |
-
2020
- 2020-02-26 JP JP2021507140A patent/JP7084546B2/ja active Active
- 2020-02-26 DE DE112020001352.9T patent/DE112020001352T5/de active Pending
- 2020-02-26 CN CN202080004089.2A patent/CN112469324B/zh active Active
- 2020-02-26 US US17/260,397 patent/US11363177B2/en active Active
- 2020-02-26 WO PCT/JP2020/007866 patent/WO2020189213A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008229157A (ja) * | 2007-03-22 | 2008-10-02 | Chiba Univ | 眼底画像処理装置及び眼底撮影装置 |
JP2014161672A (ja) * | 2013-02-27 | 2014-09-08 | Olympus Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2016067778A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
Non-Patent Citations (3)
Title |
---|
KURI KUMAR SAUMITRA ET AL.: ""Automated Retinal Blood Vessels Extraction Using Optimized Gabor Filter"", 2014 INTERNATIONAL CONFERENCE ON INFORMATICS, ELECTRONICS & VISION, JPN6020016439, 24 May 2014 (2014-05-24), ISSN: 0004680587 * |
KURI KUMAR SAUMITRA: ""Automatic Diabetic Retinopathy Detection Using OMFR with Minimum Cross Entropy Threshold"", 2015 INTERNATIONAL CONFERENCE ON ELECTRICAL ENGINEERING AND INFORMATION COMMUNICATION TECHNOLOGY, JPN6020016444, 23 May 2015 (2015-05-23), ISSN: 0004680589 * |
神野 遼太 RYOTA KANNO: "大腸内視鏡画像からの血管パラメータ抽出 Extracting blood vessel parameters on image of large intesti", 電子情報通信学会技術研究報告 VOL.110 NO.120 IEICE TECHNICAL REPORT, vol. 第110巻, JPN6022000662, JP, ISSN: 0004680588 * |
Also Published As
Publication number | Publication date |
---|---|
CN112469324B (zh) | 2023-07-28 |
DE112020001352T5 (de) | 2021-12-16 |
JP7084546B2 (ja) | 2022-06-14 |
US20210266434A1 (en) | 2021-08-26 |
US11363177B2 (en) | 2022-06-14 |
WO2020189213A1 (ja) | 2020-09-24 |
CN112469324A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6907398B2 (ja) | 内視鏡システム | |
JP7068487B2 (ja) | 電子内視鏡システム | |
JP7084546B2 (ja) | 内視鏡システム | |
JP7041318B2 (ja) | 内視鏡システム | |
US11944261B2 (en) | Electronic endoscope system and data processing device | |
JP6912688B2 (ja) | 電子内視鏡システム及びデータ処理装置 | |
JP6912608B2 (ja) | 内視鏡システム | |
JP6877672B2 (ja) | 電子内視鏡システム及びデータ処理装置 | |
WO2022064987A1 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
JP7455716B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
JP6926242B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
CN113556968A (zh) | 内窥镜系统 | |
JP7455717B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220602 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7084546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |