WO2013035380A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- WO2013035380A1 WO2013035380A1 PCT/JP2012/062299 JP2012062299W WO2013035380A1 WO 2013035380 A1 WO2013035380 A1 WO 2013035380A1 JP 2012062299 W JP2012062299 W JP 2012062299W WO 2013035380 A1 WO2013035380 A1 WO 2013035380A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- feature amount
- basic shape
- unit
- region
- result
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本発明の画像処理装置は、生体粘膜表面を撮像して得た画像に含まれる任意の構造物を構造領域として抽出し、抽出した構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する基本形状適用部と、基本形状適用部による適用結果に基づき、構造物を所定の複数種類の基本形状に含まれる各基本形状毎に領域分割する構造物領域分割部と、構造物領域分割部による領域分割結果に基づき、領域分割結果における各基本形状毎の出現頻度、及び、領域分割結果における1種類以上の基本形状同士の位置関係のうちの少なくとも一方に応じた特徴量を算出する特徴量算出部と、を有する。
Description
本発明は、画像処理装置及び画像処理方法に関し、特に、生体組織の診断等に用いられる画像処理装置及び画像処理方法に関するものである。
被検者の体腔内に内視鏡を挿入することにより撮像された管腔内画像等の医用画像に含まれる、粘膜下の血管のパターン、及び(または)、粘膜表面の微細構造のパターンを利用した診断方法が近年提案されている。
また、前述の診断方法をコンピュータ等により支援可能とするための技術として、例えば、医用画像に含まれる生体粘膜下の血管形状のパターン、及び(または)、生体粘膜表面の微細構造のパターン等を抽出して定量化するような画像処理が近年提案されている。
例えば、日本国特開2005-157902号公報には、操作装置の操作により指定された原画像の画像データを取得し、当該取得した原画像の画像データに対する処理を行うことにより、2値化画像と、ラベリング画像と、細線化画像と、血管形状特徴量と、血管特徴量と、解析処理画像とを生成する画像解析方法が開示されている。
しかし、日本国特開2005-157902号公報に開示された技術によれば、例えば、原画像に含まれる血管形状が複雑なパターンを具備しているような場合において、当該パターンを定量化することが困難である、という課題が生じている。
本発明は、前述した事情に鑑みてなされたものであり、生体組織に関する構造物の形状が複雑なパターンを具備するような場合であっても、当該パターンを容易に定量化することが可能な画像処理装置及び画像処理方法を提供することを目的としている。
本発明の一態様の画像処理装置は、生体粘膜表面を撮像して得た画像に含まれる任意の構造物を構造領域として抽出し、当該抽出した構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する基本形状適用部と、前記基本形状適用部による適用結果に基づき、前記構造物を前記所定の複数種類の基本形状に含まれる各基本形状毎に領域分割する構造物領域分割部と、前記構造物領域分割部による領域分割結果に基づき、当該領域分割結果における各基本形状毎の出現頻度、及び、当該領域分割結果における1種類以上の基本形状同士の位置関係のうちの少なくとも一方に応じた特徴量を算出する特徴量算出部と、を有する。
本発明の一態様の画像処理方法は、生体粘膜表面を撮像して得た画像に含まれる任意の構造物を構造領域として抽出し、当該抽出した構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する基本形状適用ステップと、前記基本形状適用ステップによる適用結果に基づき、前記構造物を前記所定の複数種類の基本形状に含まれる各基本形状毎に領域分割する構造物領域分割ステップと、前記構造物領域分割ステップによる領域分割結果に基づき、当該領域分割結果における各基本形状毎の出現頻度、及び、当該領域分割結果における1種類以上の基本形状同士の位置関係のうちの少なくとも一方に応じた特徴量を算出する特徴量算出ステップと、を有する。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
図1から図10は、本発明の実施例に係るものである。
図1は、本発明の実施例に係る画像処理装置を具備する医用システムの要部の構成を示す図である。
医用システム1は、図1に示すように、体腔内の生体粘膜表面等の被写体を撮像して映像信号を出力する医用観察装置2と、パーソナルコンピュータ等により構成され、医用観察装置2から出力される映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する画像処理装置3と、画像処理装置3から出力される画像信号に基づく画像を表示するモニタ4と、を有して構成されている。
また、医用観察装置2は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡6と、内視鏡6により撮像される被写体を照明するための照明光(例えばRGB光)を供給する光源装置7と、内視鏡6に対する各種制御を行うとともに、内視鏡6から出力される撮像信号に対して信号処理を施すことにより映像信号を生成して出力するカメラコントロールユニット(以降、CCUと略記する)8と、CCU8から出力される映像信号に基づき、内視鏡6により撮像された被写体の像を画像表示するモニタ9と、を有して構成されている。
医用撮像装置としての内視鏡6は、体腔内に挿入される挿入部11と、挿入部11の基端側に設けられた操作部12と、を有して構成されている。また、挿入部11の基端側から先端側の先端部14にかけての内部には、光源装置7から供給される照明光を伝送するためのライトガイド13が挿通されている。
ライトガイド13は、先端側が内視鏡6の先端部14に配置されるとともに、後端側が光源装置7に接続可能に構成されている。そして、このような構成によれば、光源装置7から供給される照明光は、ライトガイド13により伝送された後、挿入部11の先端部14の先端面に設けられた照明窓(図示せず)から出射される。そして、前述の照明窓から出射される照明光により、被写体としての生体組織等が照明される。
内視鏡6の先端部14には、前述の照明窓に隣接する位置に配置された観察窓(図示せず)に取り付けられた対物光学系15と、対物光学系15の結像位置に配置されたCCD等からなる撮像素子16と、を有する撮像部17が設けられている。
撮像素子16は、信号線を介してCCU8に接続されている。そして、撮像素子16は、CCU8から出力される駆動信号に基づいて駆動するとともに、対物光学系15により結像された被写体を撮像して得た撮像信号をCCU8へ出力する。
CCU8に入力された撮像信号は、CCU8の内部に設けられた信号処理回路(図示せず)において信号処理されることにより、映像信号に変換されて出力される。そして、CCU8から出力された映像信号は、モニタ9及び画像処理装置3に入力される。これにより、モニタ9には、CCU8から出力される映像信号に基づく被写体の画像が表示される。
画像処理装置3は、医用観察装置2から出力される映像信号にA/D変換等の処理を施して画像データを生成する画像入力部21と、CPU等を具備して構成され、画像入力部21から出力される画像データ等に対して種々の処理を行う演算処理部22と、演算処理部22において実施される処理に関するプログラム(及びソフトウェア)等が格納されているプログラム記憶部23と、画像入力部21から出力される画像データ等を記憶可能な画像記憶部24と、演算処理部22の処理結果を格納可能な情報記憶部25と、を有している。
また、画像処理装置3は、後述のデータバス30に接続されている記憶装置I/F(インターフェース)26と、記憶装置インターフェース26を介して出力される演算処理部22の処理結果を保存可能なハードディスク27と、演算処理部22の処理結果等をモニタ4に画像表示するための画像信号を生成して出力する表示処理部28と、キーボード等の入力装置を具備して構成され、演算処理部22の処理におけるパラメータ及び画像処理装置3に対する操作指示等を入力可能な入力操作部29と、を有している。
なお、画像処理装置3の画像入力部21、演算処理部22、プログラム記憶部23、画像記憶部24、情報記憶部25、記憶装置インターフェース26、表示処理部28、及び、入力操作部29は、データバス30を介して相互に接続されている。
図2は、本実施例の演算処理部が具備する主要な処理機能を示す図である。
演算処理部22は、図2に示すように、基本形状適用部31の処理機能と、構造物領域分割部32の処理機能と、ラベリング処理部33の処理機能と、特徴量算出部34の処理機能と、構造物分類部35の処理機能と、を備えている。
基本形状適用部31は、画像入力部21から出力される画像データの各画素または各領域における所定の特徴量を算出し、当該画像データに含まれる任意の構造物を構造領域として抽出し、さらに、当該所定の特徴量の算出結果に基づいて当該抽出された構造領域内の各画素又は各領域に対して所定の複数種類の基本形状への対応付けを適用する処理を行う。なお、このような基本形状適用部31の処理の詳細については、後程説明する。
構造物領域分割部32は、基本形状適用部31の処理結果に基づき、基本形状適用部31の処理により所定の複数種類の基本形状への対応付けがなされた構造領域(としての構造物)を、所定の複数種類の基本形状毎に領域分割する処理を行う。
ラベリング処理部33は、構造物領域分割部32の処理結果に基づき、構造物領域分割部32により領域分割された各構造物毎にラベルを付す処理を行う。
特徴量算出部34は、ラベリング処理部33の処理結果に基づき、ラベリング処理部33によりラベルが付された各構造物の特徴を表す値としての特徴量を算出する。なお、このような特徴量算出部34の処理の詳細については、後程説明する。
構造物分類部35は、ラベリング処理部33及び特徴量算出部34の処理結果に基づき、ラベリング処理部33によりラベルが付された各構造物を、例えば、血管及び粘膜微細構造のような、生体組織に関する具体的な構造物毎に分類する処理を行う。なお、このような構造物分類部35の処理の詳細については、後程説明する。
次に、本実施例の医用システム1の画像処理装置3において行われる処理等について、図3のフローチャートを主に参照しながら説明する。図3は、本実施例の画像処理装置が行う処理等の一例を示すフローチャートである。
まず、ユーザは、医用システム1の各部の電源を投入した後、例えば、被検体の体腔内における所望の観察部位に先端部14が達するまで挿入部11を挿入する。これに応じ、先端部14から出射される照明光(RGB光)により生体粘膜表面を含む被写体が照明され、当該被写体が撮像部17により撮像され、当該撮像された被写体に応じた撮像信号がCCU8へ出力される。
CCU8は、信号処理回路(図示せず)において撮像部17の撮像素子16から出力される撮像信号に対して信号処理を施すことにより、該撮像信号を映像信号に変換して医用画像処理装置3及びモニタ9へ出力する。そして、モニタ9は、CCU8から出力される映像信号に基づき、撮像部17により撮像された被写体を画像表示する。
画像入力部21は、医用観察装置2から入力された映像信号に対してA/D変換等の処理を施すことにより画像データを生成し(図3のステップS1)、さらに、当該生成した画像データを演算処理部22(及び画像記憶部24)へ出力する。
その後、演算処理部22の基本形状適用部31は、画像入力部21から出力される画像データの各画素または各領域における所定の特徴量を算出し、当該画像データに含まれる任意の構造物を構造領域として抽出し、さらに、当該所定の特徴量の算出結果に基づいて当該抽出された構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する処理を行う(図3のステップS2)。
ここで、図3のステップS2において行われる処理等の詳細について、図4のフローチャートを主に参照しながら説明する。なお、以降においては、簡単のため、画像入力部21が画像処理装置3に入力される映像信号に基づいて生成した画像データの少なくとも一部に、図5に例示するような画像領域が含まれているものとして説明を行う。図4は、基本形状の対応付けに係る処理等の一例を示すフローチャートである。図5は、処理対象となる画像データに含まれる画像領域の一例を示す図である。
演算処理部22の基本形状適用部31は、画像入力部21により生成された画像データの局所的な特徴量を算出する(図4のステップS11)。
具体的には、基本形状適用部31は、例えば、画像入力部21により生成された画像データを構成する全画素における左上の画素から右下の画素にかけて、注目画素を1画素ずつ順次設定しながら、当該設定した注目画素の特徴量を順次算出する。
なお、基本形状適用部31は、図4のステップS11において、1画素からなる注目画素を順次設定し、当該設定した各注目画素毎に特徴量を算出するものに限らず、例えば、複数の画素からなる注目領域を順次設定し、当該設定した各注目領域毎に特徴量を算出するものであってもよい。
また、基本形状適用部31は、前述の局所的な特徴量として、例えば、注目画素(の輝度値または画素値)の局所的な変化の方向に関する特徴量AC1と、局所的な変化の大きさに関する特徴量AC2と、変化の方向及び変化の大きさに基づいた形状特徴量AC3と、を算出する。
具体的には、基本形状適用部31は、各画素の輝度値に対して水平方向と垂直方向の位置による2階の偏微分に相当する2行2列のヘッセ行列を計算し、その固有値λ1及びλ2(λ1≦λ2)と、固有値λ1及びλ2に対応する固有ベクトルe1及びe2と、を求める。なお、固有ベクトルe1及びe2が前述の特徴量AC1に対応し、固有値λ1及びλ2が前述の特徴量AC2に対応する。
さらに、基本形状適用部31は、前述の演算により得られた特徴量AC2を用いて演算を行うことにより、前述の形状特徴量AC3として、注目画素が線形状の特徴を有している程度を表す線状度合いLDの値、及び、注目画素が円形状の特徴を有している程度を表す円状度合いCDの値をそれぞれ算出する。
具体的には、基本形状適用部31は、(λ2-λ1)/λ2の演算を行うことにより、前述の線状度合いLDの値を得る。また、基本形状適用部31は、λ1/λ2の演算を行うことにより、前述の円状度合いCDの値を得る。
具体的には、基本形状適用部31は、(λ2-λ1)/λ2の演算を行うことにより、前述の線状度合いLDの値を得る。また、基本形状適用部31は、λ1/λ2の演算を行うことにより、前述の円状度合いCDの値を得る。
そして、基本形状適用部31は、線状度合いLD及び円状度合いCDとして得られた各値に基づき、例えば、図5に示した画像領域において、図6に示すような形状特徴量AC3の算出結果を得る。図6は、図5の画像領域における形状特徴量の算出結果の一例を示す図である。
図6に示した形状特徴量AC3の算出結果によれば、図5に示した画像領域の中から、線状度合いLDの値の大きい部分(図6において線と表記)と、円状度合いCDの値の大きい部分(図6において円と表記)と、をそれぞれ抽出することができるようになっている。
なお、基本形状適用部31は、前述の特徴量AC1として、注目画素の勾配方向を算出するものであってもよい。また、基本形状適用部31は、前述の特徴量AC2として、注目画素の勾配強度を算出するものであってもよい。さらに、基本形状適用部31は、前述の特徴量AC3として、注目画素のShape Indexの値を算出するものであってもよい。
一方、基本形状適用部31は、図4のステップS11の処理結果に基づき、画像入力部21から出力される画像データに含まれる任意の構造物を構造領域として抽出する(図4のステップS12)。
具体的には、基本形状適用部31は、例えば、特徴量AC2がある閾値T1high以下、特徴量AC2がある閾値T1low以上(但し、T1high>T1low)、特徴量AC3がある閾値T2high以下、または、特徴量AC3がある閾値T2low以上(但し、T2high>T2low)、のうちのいずれかの条件を満たす画素を、(抽出対象の)構造物である構造領域を形成する画素として抽出する。
なお、前述の閾値T1high、T1low、T2high、及び、T2lowの各情報は、例えば、情報記憶部25に予め記憶(格納)されているものとする。そして、基本形状適用部31は、図4のステップS12において、情報記憶部25に予め格納されている閾値T1high、T1low、T2high、及び、T2lowの各情報を用いて処理を行う。
基本形状適用部31は、図4のステップS12による各特徴量の算出結果に基づき、図4のステップS12により抽出された構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する処理を行った(図4のステップS13)後、図3のステップS3の処理を続けて行う。
なお、本実施例においては、前述の所定の複数種類の基本形状として、例えば、生体の粘膜表面の構造物を構成する微小な単位の部分的な形状となる円、直線、曲線、及び、分岐の4種類の基本形状が予め設定されているものとする。そして、基本形状適用部31は、前述の4種類の基本形状が予め設定されている場合において、図4のステップS12による各特徴量の算出結果に基づいて以下のような判定処理を行うことにより、図4のステップS12により抽出された構造領域内の各画素または各領域に対し、各基本形状のうちのいずれか1つへの対応付けを適用する処理を行う。
具体的には、基本形状適用部31は、線状度合いLDの値が円状度合いCDの値に比べて大きく、かつ、方向がある1方向に集中しているとの判定結果が得られた各画素または各領域を直線として対応付ける。
また、基本形状適用部31は、線状度合いLDの値が円状度合いCDの値に比べて大きく、かつ、方向が異なる2方向に集中しているとの判定結果が得られた各画素または各領域を曲線として対応付ける。
また、基本形状適用部31は、円状度合いCDの値が線状度合いLDの値に比べて大きく、かつ、方向がばらついているとの判定結果が得られた各画素または各領域を曲線として対応付ける。
また、基本形状適用部31は、線状度合いLDの値と円状度合いCDの値とが略同じであり、かつ、線状度合いLDを持つ画素からの方向が数方向にばらついているとの判定結果が得られた各画素または各領域を分岐として対応付ける。
なお、本実施例における図4のステップS13の処理によれば、例えば、前述の4種類の基本形状を太さ、大きさ、及び、色等の特徴に応じて更に細分化したものを用いて処理が行われるものであってもよい。
一方、構造物領域分割部32は、基本形状適用部31による図3のステップS2の処理結果(図4のステップS13の処理結果)に基づき、所定の複数種類の基本形状への対応付けがなされた構造領域(としての構造物)を、所定の複数種類の基本形状毎に領域分割する処理を行う(図3のステップS3)。
具体的には、例えば、円、直線、曲線、及び、分岐の4種類の基本形状が予め設定された状態において、図3のステップS3の領域分割処理が図5(及び図6)に示した画像データに対して施された場合には、図7のような処理結果を得ることができる。図7は、図5の画像領域に含まれる各構造物が各基本形状毎に領域分割された場合の一例を示す図である。
ラベリング処理部33は、図3のステップS3の処理結果に基づき、構造物領域分割部32により領域分割された各構造物毎にラベルを付す処理を行う。
その後、特徴量算出部34は、ラベリング処理部33の処理結果に基づき、ラベリング処理部33によりラベルが付された各構造物の特徴量を算出する(図3のステップS4)。
ここで、図3のステップS4の処理により算出可能な様々な特徴量の算出方法等について説明を行う。なお、以降においては、簡単のため、円、直線、曲線、及び、分岐の4種類の基本形状が予め設定されている場合を例に挙げて説明を行うものとする。
まず、図3のステップS3の領域分割結果における各基本形状毎の出現頻度に応じた特徴量FV1の具体的な算出方法について述べる。なお、本実施例の特徴量算出部34は、以下に述べる特徴量FV1の算出方法を単独で用いてもよく、または、複数組み合わせて用いてもよい。
特徴量算出部34は、1つの構造物に含まれる全画素を100%とした場合における、前述の4種類の基本形状にそれぞれ対応付けられた画素が出現する出現頻度を、前述の特徴量FV1として算出する。
具体的には、例えば、図7の構造物K1においては、円の基本形状=100%、及び、直線の基本形状=0%、曲線の基本形状=0%、及び、分岐の基本形状=0%、という特徴量FV1の算出結果を得ることができる。なお、本実施例の特徴量算出部34は、前述のような、各基本形状に対応付けられた画素が出現する出現頻度に対し、構造物の幅、長さ、または、面積の値のいずれかを乗算することにより特徴量FV1を算出してもよい。
特徴量算出部34は、1つの構造物における前述の4種類の基本形状に相当する画素の画素数を、前述の特徴量FV1として算出する。
特徴量算出部34は、1つの構造物が前述の4種類の基本形状毎に分割された後の領域数を、前述の特徴量FV1として算出する。
具体的には、例えば、図7の構造物K2においては、円の領域数=0、及び、直線の領域数=1、曲線の領域数=2、及び、分岐の領域数=0、という特徴量FV1の算出結果を得ることができる。
なお、以上に述べた特徴量FV1の算出方法は、1つの画像データ内の一部または全部の画像領域を対象とした場合であっても、略同様に適用できる。
一方、本実施例の特徴量算出部34は、各基本形状の出現頻度に基づいて算出した平均値及び(または)分散等の統計量を特徴量FV1としてもよい。
また、本実施例の特徴量算出部34は、各基本形状の中から選択した特定の種類の基本形状についてのみ特徴量FV1を算出してもよい。
また、本実施例の特徴量算出部34は、例えば、各基本形状の出現頻度毎に重み係数を乗算して得られた各値をそれぞれ加算するような積和演算の演算結果を特徴量FV1としてもよい。
次に、図3のステップS3の領域分割結果における1種類以上の基本形状同士の位置関係に応じた特徴量FV2の具体的な算出方法について述べる。なお、本実施例の特徴量算出部34は、以下に述べる特徴量FV2の算出方法を単独で用いてもよく、または、複数組み合わせて用いてもよい。
特徴量算出部34は、P種類の基本形状が予め設定されている場合において、1つの構造物に含まれる領域分割後の各領域を走査し、当該走査した結果に基づいて得られる各基本形状の領域間の隣接関係(接続関係)をP進数で符号化することにより特徴量FV2を算出する。
具体的には、例えば、前述の4種類の基本形状が予め設定されている場合には、ラベリング処理部33によりラベルが付された各構造物が、円=0、直線=1、分岐=2、及び、曲線=3からなる4進数で符号化される。そして、特徴量算出部34は、例えば、図7の構造物K2を画像データの左側から右側にかけて走査し、当該走査した結果を前述の4進数で符号化することにより、「313」という特徴量FV2の算出結果を得る。
特徴量算出部34は、1つの構造物に含まれる領域分割後の各画素を解析し、当該解析した結果に基づいて得られる各基本形状の画素間の隣接関係(接続関係)をマトリクス化することにより特徴量FV2を算出する。
図8は、注目画素に対応付けられた基本形状に対して、隣接画素に対応付けられた基本形状の画素数がいくつあるかを表すマトリクスの一例を示す図である。
具体的には、特徴量算出部34は、1つの構造物に含まれる領域分割後の各画素の中から注目画素を1画素ずつ順次設定し、さらに、当該設定した注目画素の(4近傍または8近傍に位置する)各隣接画素がそれぞれどの基本形状に対応付けられているかを各基本形状毎にカウントすることにより、例えば図8に示すような、注目画素に対応付けられた基本形状に対して、隣接画素に対応付けられた基本形状の画素数がいくつあるかを表すマトリクスを特徴量FV2として得る。(すなわち、図8のマトリクスとして示される構造物によれば、直線の基本形状に対応付けられた注目画素からみた場合に、直線の基本形状に対応付けられた隣接画素が124個存在する。)
特徴量算出部34は、1つの構造物に含まれる領域分割後の各領域を解析し、当該解析した結果としての各基本形状の領域間の隣接関係(接続関係)をマトリクス化することにより特徴量FV2を算出する。
特徴量算出部34は、1つの構造物に含まれる領域分割後の各領域を解析し、当該解析した結果としての各基本形状の領域間の隣接関係(接続関係)をマトリクス化することにより特徴量FV2を算出する。
図9は、注目領域に対応付けられた基本形状に対して、隣接領域に対応付けられた基本形状の領域数がいくつあるかを表すマトリクスの一例を示す図である。
具体的には、特徴量算出部34は、1つの構造物に含まれる領域分割後の各領域の中から注目領域を1つずつ順次設定し、さらに、当該設定した注目領域に隣接する各領域がそれぞれどの基本形状に対応付けられているかを各基本形状毎にカウントすることにより、例えば図9に示すような、注目領域に対応付けられた基本形状に対して、隣接領域に対応付けられた基本形状の領域数がいくつあるかを表すマトリクスを特徴量FV2として得る。(すなわち、図9のマトリクスとして示される構造物によれば、分岐の基本形状に対応付けられた注目領域からみた場合に、直線の基本形状に対応付けられた隣接領域が3個存在する。)
特徴量算出部34は、1つまたは複数の構造物に含まれる領域分割後の各領域を解析し、当該解析した結果に基づいて得られる1種類以上の基本形状同士の分布間隔を特徴量FV2として算出する。
特徴量算出部34は、1つまたは複数の構造物に含まれる領域分割後の各領域を解析し、当該解析した結果に基づいて得られる1種類以上の基本形状同士の分布間隔を特徴量FV2として算出する。
具体的には、特徴量算出部34は、例えば、前述の4種類の基本形状のうち、分岐の基本形状が対応付けられた領域間の距離を特徴量FV2として算出する。そして、このように算出した特徴量FV2によれば、例えば、悪性度の高い病変の存在の有無を、特徴量FV2の値の大小に応じて定量的に判別することができる。
また、特徴量算出部34は、例えば、前述の4種類の基本形状のうち、円の基本形状が対応付けられた領域間の距離を特徴量FV2として算出する。そして、このように算出した特徴量FV2によれば、例えば、悪性度の高い病変の存在の有無を、特徴量FV2の値のばらつきに応じて定量的に判別することができる。
なお、以上に述べた特徴量FV2の算出方法は、1つの画像データ内の一部または全部の画像領域を対象とした場合であっても、略同様に適用できる。
なお、本実施例の特徴量算出部34は、例えば、前述したうちのいずれかの算出方法を用いて特徴量FV1またはFV2を算出する前に、図4のステップS12により抽出された各構造物の幅、長さ、及び、面積のうちの少なくとも1つの計測量に基づく閾値処理を行うことにより、当該計測量が所定の条件を満たす構造物についてのみ特徴量FV1またはFV2を算出するものであってもよい。
具体的には、本実施例の特徴量算出部34は、例えば、円の基本形状が対応付けられた画素群からなる領域を含む各構造物のうち、当該領域の面積が閾値TH1以下となる構造物についてのみ、特徴量FV1(FV2)を算出する処理を行うものであってもよい。
また、本実施例の特徴量算出部34は、例えば、直線の基本形状が対応付けられた画素群からなる領域を含む各構造物のうち、当該領域の幅が閾値TH2以上かつ閾値TH3未満である構造物についてのみ、特徴量FV1(FV2)を算出する処理を行うものであってもよい。
そして、特徴量FV1(FV2)の算出に係る処理の前に、以上に述べたような閾値処理が行われることにより、例えば、ラベリング処理部33によりラベルが付された各構造物の中から、特徴量FV1(FV2)の算出に適さない構造物を除外することができ、その結果、特徴量FV1(FV2)の算出結果の精度を向上させることができる。
なお、本実施例の特徴量算出部34は、図3のステップS4の処理において、特徴量FV1またはFV2のいずれか一方の算出結果を得るものに限らず、特徴量FV1及びFV2の両方の算出結果を得てもよい。
一方、構造物分類部35は、図3のステップS4の処理結果として得られた特徴量に基づき、ラベリング処理部33によりラベルが付された各構造物の分類を行う(図3のステップS5)。
具体的には、構造物分類部35は、例えば、前述の4種類の基本形状にそれぞれ対応付けられた画素が出現する出現頻度(特徴量FV1に相当)を各構造物毎に算出した場合において、直線の基本形状に対応付けられた画素の出現頻度が最も高くなる構造物を直線形状の血管に分類する。また、構造物分類部35は、例えば、前述の4種類の基本形状にそれぞれ対応付けられた画素が出現する出現頻度(特徴量FV1に相当)を各構造物毎に算出した場合において、分岐の基本形状に対応付けられた画素の出現頻度が最も高くなる構造物を非直線形状の血管に分類する。
なお、本実施例の構造物分類部35は、図3のステップS5の処理において、例えば、図3のステップS4により得られた特徴量が予め設定された複数のタイプ(分類パターン)のうちのどれに最も近いかを判別した結果に基づき、各構造物の分類を行うものであってもよい。
また、本実施例の構造物分類部35は、図3のステップS5の処理において、例えば、図3のステップS4により得られた特徴量の算出結果を用いてクラスタリングを実施した結果に基づき、各構造物の分類を行うものであってもよい。
また、構造物分類部35は、図3のステップS5の処理において、図3のステップS4により得られた特徴量とは異なる他の情報を用いて各構造物の分類を行うものであってもよい。具体的には、構造物分類部35は、図3のステップS5の処理において、例えば、領域分割後の各領域を走査し、当該走査した結果に基づいて得られる各基本形状の領域間の隣接関係(接続関係)を各構造物毎にツリー構造で表した情報を取得し、当該取得したツリー構造と所定のテンプレートに記述されたツリー構造とを比較し、当該比較した結果に基づいて各構造物の分類を行うものであってもよい。
図10は、図7の領域AR1に含まれる基本形状をツリー構造で表した場合の一例を示す図である。
ここで、本実施例の構造物分類部35は、例えば、図7の領域AR1を画像データの左側から右側にかけて走査し、当該走査した結果をツリー構造で表した場合には、図10に示すツリー構造TAR1を含む情報を得ることができる。
一方、本実施例の特徴量算出部34は、図3のステップS5の処理により得られた各構造物毎の分類結果に基づき、複数の構造物の関係性に応じた特徴量FAを算出するものであってもよい。
具体的には、本実施例の特徴量算出部34は、例えば、画像データ内の任意の画像領域に含まれる全構造物を100%とした場合における、直線形状の血管に分類された構造物の出現頻度と、非直線形状の血管に分類された構造物の出現頻度と、を特徴量FAとして算出するものであってもよい。
そして、前述の特徴量FAを用いた処理がさらに行われることにより、前述の特徴量FAの算出対象となった画像領域について、例えば、当該画像領域に含まれる生体粘膜の性状、及び(または)、当該画像領域に相当する体腔内の部位を特定することができる。
また、前述の特徴量FAを用いた処理がさらに行われることにより、前述の特徴量FAの算出対象となった画像領域について、例えば、当該画像領域内に含まれる複数の構造物が特異な配置状態を具備するものであるか否か、及び(または)、特定のタイプに分類された複数の構造物が密集して存在するか否かを判定することができる。
以上に述べた本実施例の処理によれば、処理対象の画像(画像データ)における任意の構造物を構成する画素または領域に対して基本形状の対応付けが行われ、さらに、当該対応付けの結果に基づいて特徴量が算出される。そのため、以上に述べた本実施例の処理によれば、処理対象の画像(画像データ)に含まれる生体組織に関する構造物の形状が複雑なパターンを具備するような場合であっても、当該パターンを容易に定量化することができる。
なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本出願は、2011年9月8日に日本国に出願された特願2011-196256号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
Claims (12)
- 生体粘膜表面を撮像して得た画像に含まれる任意の構造物を構造領域として抽出し、当該抽出した構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する基本形状適用部と、
前記基本形状適用部による適用結果に基づき、前記構造物を前記所定の複数種類の基本形状に含まれる各基本形状毎に領域分割する構造物領域分割部と、
前記構造物領域分割部による領域分割結果に基づき、当該領域分割結果における各基本形状毎の出現頻度、及び、当該領域分割結果における1種類以上の基本形状同士の位置関係のうちの少なくとも一方に応じた特徴量を算出する特徴量算出部と、
を有することを特徴とする画像処理装置。 - 前記特徴量算出部は、前記構造物領域分割部による領域分割結果における1種類以上の基本形状の画素間または領域間の隣接関係に応じた特徴量を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記特徴量算出部は、前記構造物領域分割部による領域分割結果における1種類以上の基本形状同士の分布間隔に応じた特徴量を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記特徴量算出部は、前記構造物領域分割部による領域分割結果における各基本形状の中から選択した特定の種類の基本形状についてのみ特徴量を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記特徴量算出部は、前記基本形状適用部により抽出された各構造物のうち、幅、長さ、及び、面積のうちの少なくとも1つの計測量が所定の条件を満たす構造物についてのみ特徴量を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記特徴量算出部による前記特徴量の算出結果に基づき、前記基本形状適用部により抽出された各構造物の分類を行う構造物分類部をさらに有することを特徴とする請求項1に記載の画像処理装置。
- 生体粘膜表面を撮像して得た画像に含まれる任意の構造物を構造領域として抽出し、当該抽出した構造領域内の各画素または各領域に対して所定の複数種類の基本形状への対応付けを適用する基本形状適用ステップと、
前記基本形状適用ステップによる適用結果に基づき、前記構造物を前記所定の複数種類の基本形状に含まれる各基本形状毎に領域分割する構造物領域分割ステップと、
前記構造物領域分割ステップによる領域分割結果に基づき、当該領域分割結果における各基本形状毎の出現頻度、及び、当該領域分割結果における1種類以上の基本形状同士の位置関係のうちの少なくとも一方に応じた特徴量を算出する特徴量算出ステップと、
を有することを特徴とする画像処理方法。 - 前記特徴量算出ステップは、前記構造物領域分割ステップによる領域分割結果における1種類以上の基本形状の画素間または領域間の隣接関係に応じた特徴量を算出することを特徴とする請求項7に記載の画像処理方法。
- 前記特徴量算出ステップは、前記構造物領域分割ステップによる領域分割結果における1種類以上の基本形状同士の分布間隔に応じた特徴量を算出することを特徴とする請求項7に記載の画像処理方法。
- 前記特徴量算出ステップは、前記構造物領域分割ステップによる領域分割結果における各基本形状の中から選択した特定の基本形状についてのみ特徴量を算出することを特徴とする請求項7に記載の画像処理方法。
- 前記特徴量算出ステップは、前記基本形状適用ステップにより抽出された各構造物のうち、幅、長さ、及び、面積のうちの少なくとも1つの計測量が所定の条件を満たす構造物についてのみ特徴量を算出することを特徴とする請求項7に記載の画像処理方法。
- 前記特徴量算出ステップによる前記特徴量の算出結果に基づき、前記基本形状適用ステップにより抽出された各構造物の分類を行う構造物分類ステップをさらに有することを特徴とする請求項7に記載の画像処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201280026923.3A CN103561631B (zh) | 2011-09-08 | 2012-05-14 | 图像处理装置和图像处理方法 |
JP2013510392A JP5385486B2 (ja) | 2011-09-08 | 2012-05-14 | 画像処理装置及び画像処理装置の作動方法 |
EP12829433.7A EP2710948A4 (en) | 2011-09-08 | 2012-05-14 | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
US14/074,268 US8792697B2 (en) | 2011-09-08 | 2013-11-07 | Image processing apparatus and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196256 | 2011-09-08 | ||
JP2011-196256 | 2011-09-08 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/074,268 Continuation US8792697B2 (en) | 2011-09-08 | 2013-11-07 | Image processing apparatus and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013035380A1 true WO2013035380A1 (ja) | 2013-03-14 |
Family
ID=47831845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/062299 WO2013035380A1 (ja) | 2011-09-08 | 2012-05-14 | 画像処理装置及び画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8792697B2 (ja) |
EP (1) | EP2710948A4 (ja) |
JP (1) | JP5385486B2 (ja) |
CN (1) | CN103561631B (ja) |
WO (1) | WO2013035380A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015052516A (ja) * | 2013-09-06 | 2015-03-19 | Dic株式会社 | 配向解析装置、配向解析方法およびプログラム |
JP2019072243A (ja) * | 2017-10-17 | 2019-05-16 | 国立大学法人千葉大学 | 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5665655B2 (ja) * | 2011-05-24 | 2015-02-04 | 株式会社日立製作所 | 画像処理装置及び方法 |
WO2016042502A1 (en) | 2014-09-16 | 2016-03-24 | Truphatek International Ltd. | Monitoring system including mask removal and oxygen |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005157902A (ja) | 2003-11-27 | 2005-06-16 | Olympus Corp | 画像解析方法 |
JP2009297450A (ja) * | 2008-06-17 | 2009-12-24 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2010184057A (ja) * | 2009-02-13 | 2010-08-26 | Fujifilm Corp | 画像処理方法および装置 |
JP2011196256A (ja) | 2010-03-19 | 2011-10-06 | Ihi Corp | ロータ及び過給機 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11224339A (ja) * | 1998-02-06 | 1999-08-17 | Fuji Xerox Co Ltd | 画像領域分割方法および画像領域分割装置 |
JP4949264B2 (ja) * | 2004-11-19 | 2012-06-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 医療画像データ内の腫瘍境界を自動的に検出及び区分するシステム及び方法 |
ITTO20060223A1 (it) * | 2006-03-24 | 2007-09-25 | I Med S R L | Procedimento e sistema per il riconoscimento automatico di anomalie preneoplastiche in strutture anatomiche, e relativo programma per elaboratore |
JP4229154B2 (ja) * | 2006-08-31 | 2009-02-25 | ソニー株式会社 | 画像処理方法 |
DE102006043910B4 (de) * | 2006-09-19 | 2010-02-25 | Siemens Ag | Ergebnisfilter und Verfahren zur Selektion der Ergebnisdaten einer Applikation zur automatischen Mustererkennung |
CN101517614A (zh) * | 2006-09-22 | 2009-08-26 | 皇家飞利浦电子股份有限公司 | 肺结节的高级计算机辅助诊断 |
-
2012
- 2012-05-14 CN CN201280026923.3A patent/CN103561631B/zh active Active
- 2012-05-14 JP JP2013510392A patent/JP5385486B2/ja active Active
- 2012-05-14 WO PCT/JP2012/062299 patent/WO2013035380A1/ja active Application Filing
- 2012-05-14 EP EP12829433.7A patent/EP2710948A4/en not_active Withdrawn
-
2013
- 2013-11-07 US US14/074,268 patent/US8792697B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005157902A (ja) | 2003-11-27 | 2005-06-16 | Olympus Corp | 画像解析方法 |
JP2009297450A (ja) * | 2008-06-17 | 2009-12-24 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2010184057A (ja) * | 2009-02-13 | 2010-08-26 | Fujifilm Corp | 画像処理方法および装置 |
JP2011196256A (ja) | 2010-03-19 | 2011-10-06 | Ihi Corp | ロータ及び過給機 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2710948A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015052516A (ja) * | 2013-09-06 | 2015-03-19 | Dic株式会社 | 配向解析装置、配向解析方法およびプログラム |
JP2019072243A (ja) * | 2017-10-17 | 2019-05-16 | 国立大学法人千葉大学 | 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法 |
JP7126673B2 (ja) | 2017-10-17 | 2022-08-29 | 国立大学法人千葉大学 | 内視鏡画像処理プログラム及び内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
JP5385486B2 (ja) | 2014-01-08 |
EP2710948A1 (en) | 2014-03-26 |
JPWO2013035380A1 (ja) | 2015-03-23 |
US20140093155A1 (en) | 2014-04-03 |
EP2710948A4 (en) | 2015-03-11 |
CN103561631B (zh) | 2016-01-13 |
CN103561631A (zh) | 2014-02-05 |
US8792697B2 (en) | 2014-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5276225B2 (ja) | 医用画像処理装置及び医用画像処理装置の作動方法 | |
JP5242381B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP4855868B2 (ja) | 医療用画像処理装置 | |
JP7308258B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法 | |
CN112770660B (zh) | 增强彩色图像中的血管可见性 | |
US8666135B2 (en) | Image processing apparatus | |
US11616931B2 (en) | Medical image processing device, medical image processing method, and endoscope system | |
WO2012153568A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
JP5078486B2 (ja) | 医療用画像処理装置及び医療用画像処理装置の作動方法 | |
JP5385486B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
US11957299B2 (en) | Endoscope image processing apparatus, endoscope image processing method, and program | |
WO2020008834A1 (ja) | 画像処理装置、方法及び内視鏡システム | |
KR20140021193A (ko) | 피부 진단기기 및 이의 제어방법 | |
JP7122328B2 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
US20220330850A1 (en) | Endoscope apparatus, method of operating the same, and non-transitory computer readable medium | |
EP4026479A1 (en) | Medical image processing device, endoscope system, medical image processing method, and program | |
JP2021045337A (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム | |
US11985449B2 (en) | Medical image processing device, medical image processing method, and endoscope system | |
JP2008023266A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
WO2024024022A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2013510392 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12829433 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012829433 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |