JP6912608B2 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JP6912608B2 JP6912608B2 JP2019570733A JP2019570733A JP6912608B2 JP 6912608 B2 JP6912608 B2 JP 6912608B2 JP 2019570733 A JP2019570733 A JP 2019570733A JP 2019570733 A JP2019570733 A JP 2019570733A JP 6912608 B2 JP6912608 B2 JP 6912608B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- blood vessel
- evaluation value
- inflammation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims description 232
- 210000004204 blood vessel Anatomy 0.000 claims description 176
- 206010061218 Inflammation Diseases 0.000 claims description 135
- 230000004054 inflammatory process Effects 0.000 claims description 135
- 238000012545 processing Methods 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 43
- 238000012937 correction Methods 0.000 claims description 33
- 238000007689 inspection Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000011002 quantification Methods 0.000 claims description 13
- 230000002757 inflammatory effect Effects 0.000 claims description 5
- 210000001519 tissue Anatomy 0.000 description 41
- 230000000875 corresponding effect Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000005286 illumination Methods 0.000 description 15
- 230000002792 vascular Effects 0.000 description 15
- 230000010354 integration Effects 0.000 description 13
- 102000001554 Hemoglobins Human genes 0.000 description 12
- 108010054147 Hemoglobins Proteins 0.000 description 12
- 210000004400 mucous membrane Anatomy 0.000 description 9
- 230000003902 lesion Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004877 mucosa Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Endoscopes (AREA)
Description
これに対して、画像の明るさによる炎症部位の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている(特許文献1)。
このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の炎症の程度を前記画像の色成分の情報に基づいて数値化した炎症評価値を求めるように構成された画像処理ユニットを含むプロセッサと、
前記炎症評価値を表示するように構成されたモニタと、を備え、
前記画像処理ユニットは、
前記画像中の、数値化した前記生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて求めるように構成された血管領域判定部と、
前記画像の各画素について各画素の色成分の情報に基づいて前記炎症が示す特徴の程度を数値化する数値化処理を行うことにより画素評価値を求めるように構成された画素評価値生成部と、前記画像の各画素について、前記画素評価値を、前記血管領域の確からしさが高いほど大きく低減させる補正処理を行うように構成された画素評価値調整部と、前記補正処理後の各画素の前記画素評価値を統合することにより前記炎症評価値を算出するように構成された統合部と、を備える評価値算出部と、を備え、
前記補正処理は、前記血管領域の確からしさの値に正の係数を乗算したものを、前記画素評価値から減算する処理である。
前記血管領域判定部は、前記画像の検査対象エリアの形状と前記複数のテンプレートの直線形状それぞれとの相関の程度を表すマッチング度を求めように構成され、前記複数のテンプレートそれぞれに対応する前記マッチング度の中で、最も高い最高マッチング度を前記検査対象エリアにおける前記血管領域の前記確からしさとして用いるように構成される、ことが好ましい。
前記血管領域判定部は、前記画像の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記画像の検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記マッチング度を求めるように構成される、ことが好ましい。
前記血管領域判定部は、前記画素評価値で構成された画像に対して、直線形状に対応した画素値を有する空間フィルタを用いて前記血管領域の前記確からしさを求めることにより、前記血管領域を抽出するように構成され、 前記統合部は、さらに、前記画素評価値で構成された画像から前記血管領域を除去した画像を用いて血管除去カラーマップ画像を作成し、前記血管除去カラーマップ画像を前記炎症評価値とともに前記モニタに表示するために送信するように構成されている、ことが好ましい。
前記評価値算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記画素評価値を算出するように構成される、ことが好ましい。
あるいは、別の一実施形態の内視鏡システムは、生体組織を撮像して得られる画像中の画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて求めることにより、血管領域を抽出する。さらに、内視鏡システムは、画像の各画素について、各画素の色成分の情報に基づいて上記数値化処理を行うことにより画素評価値を求め、画像のうち、抽出した血管領域における画素評価値を強制的にゼロに変更し、血管領域以外の非血管領域における画素評価値を維持する補正処理を行う。上記補正処理後の各画素の画素評価値を統合することにより炎症評価値を算出する。
あるいは、別の一実施形態の内視鏡システムは、撮像した画像のある色成分の画素値をから、生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて求めることにより、血管領域を抽出し、さらに、画像のうち、血管領域以外の非血管領域における各画素について、各画素の色成分の情報に基づいて上記数値化処理を行うことにより画素評価値を計算する。計算した画素評価値を統合することにより炎症評価値を算出する。
このように、いずれの実施形態でも、炎症評価値を求める際に、炎症部位とは区別される血管領域を炎症評価の対象から除外する、あるいは、除外するように補正処理をすることができるので、生体組織の炎症部位の炎症の程度を精度よく評価することができる。
図1に示されるように、電子内視鏡システム1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300、及びプリンタ400を備えている。
電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb,Cr)を所定のマトリックス係数を用いて画像色成分(R,G,B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色空間変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R,G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、炎症部位における炎症の程度を評価するために必要なRG平面内の基準軸を設定する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する炎症の程度を示す炎症評価値を算出する処理が行われる。この炎症評価値を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図3に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
Gnew :補正後の画素データ(G成分)
M00〜M11:補正マトリックス係数
R :補正前の画素データ(R成分)
G :補正前の画素データ(G成分)
以上が、前処理部220aが行う前処理である。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
なお、画素評価値生成部220b1が行う、炎症が示す特徴の程度(赤色の程度)を数値化する数値化処理は、選択した注目画素に対して行うが、この注目画素は、画像の全画素を選択することができる。また、後述するように判定した血管領域を除く非血管領域の各画素のみを選択することもできる。なお、画素評価値生成部220b1は、血管領域と非血管領域の区別なく全画素を選択する場合を例にして以降説明する。なお、非血管領域の各画素のみを選択し、血管領域の各画素を選択しない場合については、別途説明する。すなわち、画素評価値生成部220b1は、一実施形態によれば、血管領域及び非血管領域の区別なく現フレームの画像の全画素に対して画素評価値を求める。
なお、図4に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
こうして、画素評価値生成部220b1は、画素評価値に応じて色を付与したカラーマップ画像を作成する。
図5(a)に示すように、生体組織を撮像した画像には、炎症部位Xの像の他に粘膜を通して透けて見える筋状の血管領域Yの像も含まれる。このような画像に対して上述の画素評価値に応じて色分けした、図5(b)に示すカラーマップ画像においても、血管領域Yは炎症部位と同じ色で表示される場合がある。図5(a),(b)は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
血管領域判定部220cは、血管領域Yの確からしさを求め、必要に応じて血管領域Yを抽出する。
血管領域判定部220cは、生体組織の画像の一部の検査対象エリアARの形状と複数のテンプレートTP1〜TP4の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートTP1〜TP4それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアARにおける血管領域Yの確からしさとする。テンプレートTP1〜TP4は、複数の画素で構成され、テンプレートTP1〜TP4は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートTP1〜TP4は、それぞれの直線形状に合わせて各画素は画素値を有する。図6に示すように、画像の端から矢印に沿って順番に検査対象エリアARをオーバーラップさせながら移動させることにより、検査対象エリアAR内の画像の画素評価値とテンプレートTP1〜TP4それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートTP1〜TP4は、血管を特徴付ける形状として、直線を4つの異なる延在方向に延ばした複数の直線形状を備える。検査対象エリアARが血管領域Yを含む場合、検査対象エリアAR内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて画素値が設定された上述の画像を用いて、血管領域Yを抽出することができる。テンプレートTP1〜TP4は、図6に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートTP1〜TP4の画素の値と、検査対象領域ARの対応する画素評価値との相関係数である。
また一実施形態によれば、マッチング度は、テンプレートTP1〜TP4の画素毎の画素値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアARの対応する画素の画像評価値を乗算して合計した値であってもよい。
したがって、このような調整値を画素値とする画像は、血管領域Yを除去した画像である。画素評価値調整部220b2は、この画像を表示色でモザイク化することにより、血管除去カラーマップ画像を作成する。
統合部220b3は、このような炎症評価値を、血管領域Yを除去した血管除去カラーマップ画像とともに、画面表示のために、モニタ300に送る。
炎症評価値は、血管領域Yを除去する前のカラーマップ画像とともに画面表示するために、モニタ300に元のカラーマップ画像とともに送られてもよい。また、炎症評価値は、ドライバ信号処理回路112より入力した現フレームの撮像画像とともに画面表示するために、モニタ300に現フレームの撮像画像とともに送られてもよい。
次に、前処理部220aは、上述したRGB変換、色空間変換、基準軸の設定、及び色補正を含む前処理を行い、さらに、画素評価値生成部220b1は、前処理を行った画像に対して、図4に示すずれ角度θに基づく画素評価値を計算する(ステップS12)。
次に、血管領域判定部220cは、計算した画素評価値で構成される画像に対して、図6に示すようなテンプレートTP1〜TP4を用いてテンプレートマッチングを行って画素毎の血管領域Yの確からしさを算出する(ステップS14)。
血管領域判定部220cは、血管領域Yの確からしさを全画素について計算したか否かを判定する(ステップS16)。こうして、血管領域Yの確からしさが全画素について計算されるまで、ステップS14を繰り返す。
さらに、画素評価値調整部220b2は、算出した調整値が負の値であるか否かを判定する(ステップS34)。画素評価値調整部220b2は、調整値が負の値である場合、調整値をゼロにし(ステップS36)、調整値がゼロあるいは正の値である場合、調整値をそのまま維持する。
画素評価値調整部220b2は、全画素を対象画素としてステップS30〜36を処理したか否かを判定する(ステップS38)。こうして、画素評価値調整部220b2は、血管領域Yの確からしさを用いて全画素を対象画素として画素評価値を補正する(ステップS18)。
統合部220b3は、さらに、算出した炎症評価値及びカラーマップ画像をモニタ300に送り、モニタ300に炎症評価値、及び画像評価値あるいは調整値を計算する際に作成されるカラーマップ画像を表示させる(ステップS22)。カラーマップ画像は、血管領域Yを除去しない元のカラーマップ画像でもよく、血管領域Yを除去した血管除去カラーマップ画像でもよい。また、カラーマップ画像の代わりに、現フレームの画像を炎症評価値とともにモニタ300に送り、現フレームの画像を表示させてもよい。
こうして画像処理ユニット220は、電子スコープ100から順次撮像画像が送られてくる間、処理を繰り返す(ステップS24)。
図9に示す実施形態では、画素評価値生成部220b1は、画像の各画素について各画素の色成分の情報に基づいて炎症が示す色成分の特徴の程度を数値化する数値化処理を行うことにより画素評価値を求める。
血管領域判定部220c(図2(a)参照)は、画像中の生体組織の血管領域Yの確からしさを、血管を特徴付ける形状に基づいて求めることにより、血管領域Yを抽出する。画素評価値調整部220b2は、画像のうち、抽出した血管領域Yにおける画素評価値を強制的にゼロに変更し、血管領域Y以外の非血管領域における画素評価値を維持する補正を行う。統合部220b3は、補正後の各画素の画素評価値を統合することにより炎症評価値を算出する。
さらに、画素評価値調整部220b2は、血管領域Yの確からしさが予め定めた閾値THより大きいか否かを判定する(ステップS42)。
上記判定において、血管領域Yの確からしさが閾値THよりも大きい場合、この画素は、血管領域Yにある画素とし、画素評価値を強制的にゼロに変更し、このゼロを調整値とする(ステップS44)。一方、血管領域Yの確からしさが閾値TH以下の場合、この画素は非血管領域の画素とし、画像評価値をそのまま調整値とする(ステップS46)。
画素評価値調整部220b2は、上記調整値を全画素について取得したか否かを判定する(ステップS48)。こうして、全画素について調整値を取得する。
統合部220b3は、得られた調整値から炎症評価値を算出する。例えば、全画素の調整値を平均化した平均値を炎症評価値として算出する。
次に、血管領域判定部220cは、現フレームの画像のある画像信号の画像の各画素に対して、図6に示すようなテンプレートTP1〜TP4を用いたテンプレートマッチングにより、血管領域Yの確からしさを計算する(ステップS102)。血管領域判定部220cは、血管領域Yの確からしさの計算を全画素について行なったか否かを判定する(ステップS104)。こうして、血管領域判定部220cは、血管領域Yの確からしさの計算を全画素について行なうまで、ステップS102を繰り返す。
次に、画素評価値生成部220b2は、対象画素の血管領域Yの確からしさの値が予め定めた閾値THを越えるか否かを判定する(ステップS106)。
血管領域の確からしさの値が予め定めた閾値THを越える場合、画素評価値生成部220b1は、画素評価値を強制的にゼロにする(ステップS108)。一方、血管領域Yの確からしさの値が予め定めた閾値TH以下である場合、画素評価値生成部220b1は、血管領域以外の非血管領域における各画素について、各画素の色成分の情報に基づいて炎症が示す特徴の程度を数値化する数値化処理を行う。例えば、図4に示すずれ角度θに基づいて画素評価値を計算する(ステップS110)。画素評価値生成部220b1は、全画素についてステップS106、及び、ステップS108あるいはステップ110を行ったか否かを判定する(ステップS112)。こうして、画素評価値生成部220b1は、対象画素についてステップS106、及び、ステップS108あるいはステップ110を行うまで繰り返す。これにより、画素評価値生成部220b1は、上述したように、求めた画素評価値からカラーマップ画像を作成する。
統合部220b3は、さらに、算出した炎症評価値及び画素評価値を計算する際に作成されるカラーマップ画像をモニタ300に送り、モニタ300に炎症評価値及びカラーマップ画像を表示させる(ステップS22)。カラーマップ画像の代わりに、現フレームの画像を炎症評価値とともにモニタ300に表示させてもよい。
こうして画像処理ユニット220は、電子スコープ100から順次撮像画像が送られてくる間、処理を繰り返す(ステップS118)。
また、血管領域判定部220cは、図10に示すステップS42あるいは図11に示すステップS106のように、画像の検査対象エリアARの形状と複数のテンプレートTP1〜TP4の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートTP1〜TP4それぞれに対応するマッチング度の中で、最も高い最大マッチング度により、血管領域Yか否かの判定をすることで、血管領域Yを効率よく抽出することができる。
100 電子スコープ
200 電子内視鏡用プロセッサ
220 画像処理ユニット
220a 前処理部
220b 評価値算出部
220b1 画素評価値生成部
220b2 画素評価値調整部
220b3 統合部
220c 血管領域判定部
222 メモリ
224 画像メモリ
230 光源部
300 モニタ
400 プリンタ
600 サーバ
Claims (6)
- 体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の画像から、前記生体組織の炎症の程度を前記画像の色成分の情報に基づいて数値化した炎症評価値を求めるように構成された画像処理ユニットを含むプロセッサと、
前記炎症評価値を表示するように構成されたモニタと、を備え、
前記画像処理ユニットは、
前記画像中の、数値化した前記生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて求めるように構成された血管領域判定部と、
前記画像の各画素について各画素の色成分の情報に基づいて前記炎症が示す特徴の程度を数値化する数値化処理を行うことにより画素評価値を求めるように構成された画素評価値生成部と、前記画像の各画素について、前記画素評価値を、前記血管領域の確からしさが高いほど大きく低減させる補正処理を行うように構成された画素評価値調整部と、前記補正処理後の各画素の前記画素評価値を統合することにより前記炎症評価値を算出するように構成された統合部と、を備える評価値算出部と、を備え、
前記補正処理は、前記血管領域の確からしさの値に正の係数を乗算したものを、前記画素評価値から減算する処理である、ことを特徴とする内視鏡システム。 - 前記血管領域判定部は、前記血管領域の確からしさを、前記画素評価値で構成された画像を用いて求めるように構成された、請求項1に記載の内視鏡システム。
- 前記血管領域判定部は、前記血管を特徴付ける形状として、直線の延在方向を互いに異ならせた複数の直線形状を備える複数のテンプレートを備え、
前記血管領域判定部は、前記画像の検査対象エリアの形状と前記複数のテンプレートの直線形状それぞれとの相関の程度を表すマッチング度を求めるように構成され、前記複数のテンプレートそれぞれに対応する前記マッチング度の中で、最も高い最高マッチング度を前記検査対象エリアにおける前記血管領域の前記確からしさとして用いるように構成された、請求項1または2に記載の内視鏡システム。 - 前記テンプレートのそれぞれは、所定の大きさの矩形形状の画素で構成され、前記テンプレートのそれぞれの各画素は、前記形状に合わせて設定された画素値を有する空間フィルタであり、
前記血管領域判定部は、前記画像の検査対象エリアの画素と前記空間フィルタのそれぞれの画素とを対応付けて、前記画像の検査対象エリアの画素の画素値と前記空間フィルタの対応する画素の画素値同士を乗算して合計した値に基づいて前記マッチング度を求めるように構成された、請求項3に記載の内視鏡システム。 - 前記画素評価値生成部は、前記生体組織の前記画像の各画素に対して前記数値化処理を行い、前記数値化処理により得られる前記画素評価値に応じて色を付与したカラーマップ画像を作成するように構成され、
前記血管領域判定部は、前記画素評価値で構成された画像に対して、直線形状に対応した画素値を有する空間フィルタを用いて前記血管領域の前記確からしさを求めることにより、前記血管領域を抽出するように構成され、
前記統合部は、さらに、前記画素評価値で構成された画像から前記血管領域を除去した画像を用いて血管除去カラーマップ画像を作成し、前記血管除去カラーマップ画像を前記炎症評価値とともに前記モニタに表示するために送信するように構成された、請求項1または2に記載の内視鏡システム。 - 前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記評価値算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記画素評価値を算出するように構成された、請求項1〜5のいずれか1項に記載の内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018020026 | 2018-02-07 | ||
JP2018020026 | 2018-02-07 | ||
PCT/JP2019/003851 WO2019156022A1 (ja) | 2018-02-07 | 2019-02-04 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019156022A1 JPWO2019156022A1 (ja) | 2020-12-17 |
JP6912608B2 true JP6912608B2 (ja) | 2021-08-04 |
Family
ID=67549418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570733A Active JP6912608B2 (ja) | 2018-02-07 | 2019-02-04 | 内視鏡システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11521319B2 (ja) |
JP (1) | JP6912608B2 (ja) |
WO (1) | WO2019156022A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020188825A1 (ja) * | 2019-03-20 | 2021-09-13 | Hoya株式会社 | 内視鏡システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11521319B2 (en) * | 2018-02-07 | 2022-12-06 | Hoya Corporation | Endoscope system |
CN112674703A (zh) * | 2020-12-01 | 2021-04-20 | 泰州国安医疗用品有限公司 | 电子化现场炎症识别系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002291733A (ja) * | 2001-04-03 | 2002-10-08 | Hitachi Medical Corp | 画像診断支援方法及びそのシステム |
JP4652694B2 (ja) * | 2004-01-08 | 2011-03-16 | オリンパス株式会社 | 画像処理方法 |
JP5121204B2 (ja) | 2006-10-11 | 2013-01-16 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2010184057A (ja) * | 2009-02-13 | 2010-08-26 | Fujifilm Corp | 画像処理方法および装置 |
JP5766986B2 (ja) | 2011-03-16 | 2015-08-19 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5931418B2 (ja) * | 2011-11-25 | 2016-06-08 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP6265588B2 (ja) * | 2012-06-12 | 2018-01-24 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP6045396B2 (ja) | 2013-02-27 | 2016-12-14 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP6125740B1 (ja) * | 2015-09-30 | 2017-05-10 | Hoya株式会社 | 内視鏡システム及び評価値計算装置 |
DE112017002932T5 (de) * | 2016-08-31 | 2019-02-21 | Hoya Corporation | Elektronischer endoskop-prozessor und elektronisches endoskop-system |
JP6591688B2 (ja) * | 2016-08-31 | 2019-10-16 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
US11521319B2 (en) * | 2018-02-07 | 2022-12-06 | Hoya Corporation | Endoscope system |
WO2019159435A1 (ja) * | 2018-02-13 | 2019-08-22 | Hoya株式会社 | 内視鏡システム |
DE112019007057T5 (de) * | 2019-03-20 | 2021-12-30 | Hoya Corporation | Endoskopsystem |
-
2019
- 2019-02-04 US US16/962,676 patent/US11521319B2/en active Active
- 2019-02-04 JP JP2019570733A patent/JP6912608B2/ja active Active
- 2019-02-04 WO PCT/JP2019/003851 patent/WO2019156022A1/ja active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020188825A1 (ja) * | 2019-03-20 | 2021-09-13 | Hoya株式会社 | 内視鏡システム |
JP7041318B2 (ja) | 2019-03-20 | 2022-03-23 | Hoya株式会社 | 内視鏡システム |
US11612310B2 (en) | 2019-03-20 | 2023-03-28 | Hoya Corporation | Endoscope system |
Also Published As
Publication number | Publication date |
---|---|
WO2019156022A1 (ja) | 2019-08-15 |
US20200364866A1 (en) | 2020-11-19 |
JPWO2019156022A1 (ja) | 2020-12-17 |
US11521319B2 (en) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7068487B2 (ja) | 電子内視鏡システム | |
JP6907398B2 (ja) | 内視鏡システム | |
JP7041318B2 (ja) | 内視鏡システム | |
CN112351723B (zh) | 电子内窥镜系统与数据处理装置 | |
JP6912608B2 (ja) | 内視鏡システム | |
JP7084546B2 (ja) | 内視鏡システム | |
JP6877672B2 (ja) | 電子内視鏡システム及びデータ処理装置 | |
WO2022064987A1 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
JP7455716B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
CN112930136B (zh) | 电子内窥镜系统与数据处理装置 | |
JP7455717B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
JPWO2019142689A1 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6912608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |