JPWO2016117117A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JPWO2016117117A1
JPWO2016117117A1 JP2016570452A JP2016570452A JPWO2016117117A1 JP WO2016117117 A1 JPWO2016117117 A1 JP WO2016117117A1 JP 2016570452 A JP2016570452 A JP 2016570452A JP 2016570452 A JP2016570452 A JP 2016570452A JP WO2016117117 A1 JPWO2016117117 A1 JP WO2016117117A1
Authority
JP
Japan
Prior art keywords
region
convex
unit
image processing
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016570452A
Other languages
English (en)
Other versions
JP6473177B2 (ja
Inventor
大和 神田
大和 神田
隆志 河野
隆志 河野
昌士 弘田
昌士 弘田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016117117A1 publication Critical patent/JPWO2016117117A1/ja
Application granted granted Critical
Publication of JP6473177B2 publication Critical patent/JP6473177B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • G06T2207/30032Colon polyp
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置は、管内画像において深部領域を検出する深部領域検出部と、管内壁の輪郭エッジを抽出する輪郭エッジ抽出部と、輪郭エッジにおける凸形状領域及びその凸方向を解析する凸形状領域解析部と、深部領域の方向に対して凸となる凸形状領域を異常領域として検出する異常領域検出部と、を備える。

Description

本発明は、管内画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。
従来、内視鏡画像内のエッジ線とエッジ周辺の画素データに基づき、そのエッジが異常組織のエッジであるか否かを判定する技術が開示されている(例えば、特許文献1を参照)。この技術では、エッジ線がなす弧の内側周辺位置における画素値勾配ベクトル(画素値低下方向)とエッジ線との交差の有無によって異常組織のエッジであるか否かを判定する。具体的には、画素値勾配ベクトルとエッジ線とが交差する場合にはポリープと判定し、画素値勾配ベクトルとエッジ線とが交差しない場合には正常な輪郭と判定する。
特開2007−244518号公報
ところで、内視鏡画像における粘膜襞エッジの近傍では陰影による画素値低下が生じるため、その奥に映る粘膜面の方が、画素値が高くなることが多い。このため、上述した特許文献1に記載の技術のみを使用する場合には、正常な粘膜襞エッジであっても、弧の内側周辺位置すなわち奥に映る粘膜面における画素値勾配ベクトルと該粘膜襞エッジとが交差してしまい、異常組織のエッジと誤判定されてしまう場合もある。
本発明は、上記に鑑みてなされたものであって、正常なエッジを異常と誤判定することを抑制しながら、異常組織のエッジを精度良く検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管内画像において深部領域を検出する深部領域検出部と、管内壁の輪郭エッジを抽出する輪郭エッジ抽出部と、前記輪郭エッジにおける凸形状領域及びその凸方向を解析する凸形状領域解析部と、前記深部領域の方向に対して凸となる凸形状領域を異常領域として検出する異常領域検出部と、を備えることを特徴とする。
本発明に係る画像処理方法は、管内画像において深部領域を検出する深部領域検出ステップと、管内壁の輪郭エッジを抽出する輪郭エッジ抽出ステップと、前記輪郭エッジにおける凸形状領域及びその凸方向を解析する凸形状領域解析ステップと、前記深部領域の方向に対して凸となる凸形状領域を異常領域として検出する異常領域検出ステップと、を含むことを特徴とする。
本発明に係る画像処理プログラムは、管内画像において深部領域を検出する深部領域検出ステップと、管内壁の輪郭エッジを抽出する輪郭エッジ抽出ステップと、前記輪郭エッジにおける凸形状領域及びその凸方向を解析する凸形状領域解析ステップと、前記深部領域の方向に対して凸となる凸形状領域を異常領域として検出する異常領域検出ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、管腔深部領域の方向に対して凸形状となる輪郭エッジ領域を異常領域として検出することにより、正常な輪郭エッジを異常と誤検出することを抑制しながら、異常領域を精度良く検出することができる。
図1は、本発明の実施の形態の概要を説明するための図である。 図2は、本発明の実施の形態1に係る画像処理装置の機能構成を示すブロック図である。 図3は、本発明の実施の形態1に係る画像処理装置の凸形状領域解析部が行う処理の概要を模式的に示す図である。 図4は、本発明の実施の形態1に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図5は、本発明の実施の形態1に係る画像処理装置の管腔深部領域検出部が行う処理の概要を示すフローチャートである。 図6は、本発明の実施の形態1に係る画像処理装置の凸形状領域解析部が行う凸形状領域解析処理の概要を示すフローチャートである。 図7は、本発明の実施の形態1に係る画像処理装置の異常領域検出部が行う処理の概要を示すフローチャートである。 図8は、本発明の実施の形態1の変形例1に係る画像処理装置が備える凸形状領域解析部の機能構成を示すブロック図である。 図9は、本発明の実施の形態1の変形例1に係る画像処理装置の分割部が行う輪郭エッジの分割処理の概要を模式的に示す図である。 図10は、本発明の実施の形態1の変形例1に係る画像処理装置が備える凸形状領域解析部が行う処理の概要を示すフローチャートである。 図11は、本発明の実施の形態1の変形例2に係る画像処理装置が備える異常領域検出部の機能構成を示すブロック図である。 図12は、本発明の実施の形態1の変形例2に係る画像処理装置が備える異常領域検出部が行う処理の概要を示すフローチャートである。 図13は、本発明の実施の形態2に係る画像処理装置の機能構成を示すブロック図である。 図14は、本発明の実施の形態2に係る画像処理装置が行う処理の概要を示すフローチャートである。 図15は、本発明の実施の形態3に係る画像処理装置の機能構成を示すブロック図である。 図16は、本発明の実施の形態3に係る画像処理装置が行う処理の概要を示すフローチャートである。 図17は、本発明の実施の形態4に係る画像処理装置の機能構成を示すブロック図である。 図18は、本発明の実施の形態4に係る画像処理装置が行う処理の概要を示すフローチャートである。 図19は、別な実施の形態に係る画像処理装置の機能構成を示すブロック図である。 図20は、別な実施の形態に係る画像処理装置が行う処理の概要を示すフローチャートである。
以下に、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
図1は、本発明の実施の形態の概要を説明するための図である。具体的には、図1は、管内画像の一例として、生体内に導入されて生体内を観察する内視鏡により撮像される管腔内画像を模式的に示す図である。通常、内視鏡は管腔内壁の粘膜面を斜めから撮像する。このため、内視鏡により撮像される画像には、図1に示すように、撮像距離が近い管腔手前の粘膜面から撮像距離が遠い管腔深部の粘膜面までが映り、時として異常領域が映る。粘膜襞による輪郭エッジは、基本的に管腔深部方向と逆側に凸となる形状を有し、異常領域の輪郭エッジには管腔深部方向に対して凸となる形状が生じる。本実施の形態に係る画像処理装置は、これらの凸形状の違いに注目して異常領域を検出することを特徴とする。なお、内視鏡により撮像される管腔内画像は、通常、各画素位置においてR(赤)、G(緑)、B(青)の各波長成分に対する画素値を持つカラー画像であるが、これに限定されるわけではない。
(実施の形態1)
図2は、本実施の形態1に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1は、演算部2と、記憶部3とを有する。
演算部2は、撮像距離と相関を有する情報を基に管腔深部領域を検出する管腔深部領域検出部21(深部領域検出部の一例)と、管腔粘膜壁の輪郭エッジを抽出する輪郭エッジ抽出部22と、輪郭エッジにおける凸形状領域およびその凸方向を解析する凸形状領域解析部23と、管腔深部領域の方向に対して凸となる凸形状領域を異常領域として検出する異常領域検出部24と、を有する。
管腔深部領域検出部21は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部211と、低吸収波長成分の画像内のエッジ周辺領域の画素を除外するエッジ周辺領域除外部212と、エッジ周辺領域の画素を除外した後の低吸収波長成分の画像において相対的に画素値が低い領域を検出する低画素値領域検出部213とを有する。
一般に、低画素値領域検出部213によって検出された画素がまとまって存在する領域が管腔深部領域と考えられる。管腔深部領域検出部21は、低画素値領域検出部213が検出した画素に対して、公知のラベリング処理(参考:CG−ARTS協会:ディジタル画像処理:181P、ラベリング)を行い、連結する画素を1つの領域としてまとめた後、最も面積が大きな領域を管腔深部領域として検出する。
低吸収波長成分選択部211は、例えばR、G、B成分からなる画像の場合、血液の吸収帯域から離れており、かつ長波長である成分であって、生体内での吸収、散乱の影響を受け難い成分であるR成分を選択する。低吸収波長成分選択部211がこのような選択を行うことにより、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得ることができる。
エッジ周辺領域除外部212は、例えば公知のエッジ抽出処理(参考:CG−ARTS協会:ディジタル画像処理:114P、エッジ抽出:209P、輪郭線検出)を適用してエッジ領域を特定した後、そのエッジ領域に対して公知の膨張処理(参考:CG−ARTS協会:ディジタル画像処理:179P、収縮・膨張処理)を行うことによって周辺領域を特定して除外する。エッジ周辺領域除外部212がエッジ周辺領域を除外することにより、粘膜襞による輪郭エッジ周辺に生じる陰影部分のように、管腔深部の粘膜(照明光が届き難く低吸収波長成分の画素値が低下する粘膜)と誤検出されてしまうおそれのある領域を除外することができる。
低画素値領域検出部213は、エッジ周辺領域を除外した後の低吸収波長成分の画像内において、画素値が相対的に低い、所定の面積割合の画素を検出する。なお、低画素値領域検出部213は、エッジ周辺領域を除外した後の低吸収波長成分の画像内において、該画像内の画素がとる画素値範囲を基に設定された閾値以下の画素値を有する画素を検出するようにしてもよい。
輪郭エッジ抽出部22は、生体内での吸収、散乱の度合いが最も低い低吸収波長成分(例えばR成分)を選択し、この波長成分の画像に対してエッジ抽出処理を行う。このエッジ抽出処理も、上述した公知のエッジ抽出処理を適用することができる。輪郭エッジ抽出部22が低吸収波長成分を選択することにより、粘膜表面の血管等によるエッジを輪郭エッジと誤抽出しないようにすることができる。なお、本実施の形態1における輪郭エッジ抽出処理に、例えば特開2014−104293号公報で開示されている輪郭エッジ抽出法や、特開2012−11137号公報で開示されている3次元画素値情報を求め、これに対してエッジ抽出処理を適用することも可能である。
凸形状領域解析部23は、輪郭エッジにおいて弧形状を成す領域を検出する弧形状領域検出部231と、検出された弧形状領域の凸方向を算出する弧形状凸方向算出部232とを有する。図3は、凸形状領域解析部23が行う処理の概要を模式的に示す図である。画像中に図3に示すような波形の輪郭エッジがあった場合、弧形状領域検出部231は弧形状領域を順次検出しながら3つの凸形状領域として解析を行い、凸形状領域解析部23が3つの凸形状領域の凸方向をそれぞれ求める。
弧形状領域検出部231は、連結する輪郭エッジが同一のラベルとなるようにラベリングするラベリング部231aと、同一ラベルの輪郭エッジ内の画素を基にロバスト推定による弧形状(=凸形状)領域の検出を行うロバスト推定部231bと、弧形状領域として検出した領域以外の輪郭エッジ領域の面積と所定の閾値との大小を判定する繰返し制御部231cとを有する。
ラベリング部231aは、後段の弧形状領域の検出で処理対象とする輪郭エッジ画素を、連結するもの同士でまとめる。ラベリング部231aは、例えば上述した公知のラベリング処理を行う。これにより、検出精度の向上や、処理速度の向上を図ることができる。
ロバスト推定部231bは、例えば同一ラベルの輪郭エッジ内の画素を少なくとも3点以上をランダムに抽出し、抽出した画素の座標に対して、最小二乗法により、円を当て嵌める。そして、ロバスト推定部231bは、その円と同一ラベルの輪郭エッジ内の各画素との距離を求め、該距離が所定値以下の画素の個数(画素数)を算出する。これら“画素の抽出”、“円の当て嵌め”、および“距離が所定値以下の画素数算出”を、所定の回数繰返し実行した後、最終的に距離が所定値以下の画素数が最も多くなった円を選択し、該円との距離が所定値以下の画素を弧形状領域として検出する。なお、ロバスト推定部231bが行うロバスト推定の方法は、ここで説明したものに限られるわけではなく、他の公知のロバスト推定方法を採用することも可能である。
弧形状凸方向算出部232は、検出した全ての弧形状領域に対して、弧形状領域の弦から弧へ向かう方向を該弧形状領域の凸方向とする。弧形状凸方向算出部232は、より好ましくは、弧形状領域の曲率中心から弧形状領域の弧の中点への方向を算出し、この方向を弧形状領域の凸方向とする。なお、弧形状凸方向算出部232は、弧の中点から弧形状領域の曲率中心への方向を算出し、算出した方向と逆方向を凸方向とするようにしてもよい。
異常領域検出部24は、管腔深部領域の検出結果と凸形状領域の解析結果を基に管腔深部方向を算出する管腔深部方向算出部241(深部方向算出部の一例)と、管腔深部方向に対して凸となる凸形状領域を判定する領域判定部242とを有する。
管腔深部方向算出部241は、管腔深部領域(深部領域の一例)の代表位置を算出する深部領域代表位置算出部241aと、各凸形状領域の代表位置から管腔深部領域の代表位置への方向を代表位置方向として算出する代表位置方向算出部241bとを有する。
深部領域代表位置算出部241aや代表位置方向算出部241bが算出する代表位置は、画像内における管腔深部領域や各凸形状領域を代表する位置であればどのような位置でもよい。このような代表位置として、例えば各領域の重心や、各領域に外接する矩形領域の中心等を採用することができる。
領域判定部242は、各凸形状領域に対して、凸形状領域の凸方向と、管腔深部方向とが成す角度(≦180°)を算出する角度算出部242aを有する。
演算部2は、CPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部2が汎用プロセッサである場合、記憶部3が記憶する各種プログラムを読み込むことによって画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括して制御する。また、演算部2が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部3が記憶する各種データ等を用いることで、プロセッサと記憶部3が共同または結合して種々の処理を実行してもよい。
記憶部3は、ROM(Read Only Memory)またはRAM(Random Access Memory)等の各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、またはCD−ROM等の情報記録装置及びその読取装置等によって実現される。記憶部3は、画像処理装置1が取得した管腔内画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部3は、本実施の形態に係る画像処理プログラムや、該画像処理において用いられる閾値等の各種パラメータを記憶する。
記憶部3が記録する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部3または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
以上の構成を有する画像処理装置1は、1つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、汎用のパーソナルコンピュータやサーバ等によって構成することができる。
なお、以上説明した画像処理装置1の機能を、被検体内に導入されて該被検体内を観察する内視鏡システムの一部をなし、該内視鏡システム全体を制御するプロセッサに具備させることも可能である。
図4は、画像処理装置1が実行する処理の概要を示すフローチャートである。まず、ステップS1において、演算部2は処理対象である管腔内画像を取得する(ステップS1)。
ステップS2において、管腔深部領域検出部21は、管腔深部領域を検出する(ステップS2)。図5は、管腔深部領域検出部21が行う処理の概要を示すフローチャートである。以下、図5を参照して管腔深部領域検出部21の処理を説明する。
図5において、まず、低吸収波長成分選択部211は、生体内での吸収、散乱の度合いが最も低い低吸収波長成分を選択する(ステップS201)。例えばR、G、B成分からなる画像の場合、低吸収波長成分選択部211は、上述したようにR成分を選択する。
その後、エッジ周辺領域除外部212は、低吸収波長成分の画像内のエッジ周辺領域の画素を除外する(ステップS202)。これにより、エッジ周辺領域が管腔深部領域と誤検出されるのを防止することができる。
この後、低画素値領域検出部213が、除外後の低吸収波長成分の画像において、相対的に画素値が低い領域を検出する(ステップS203)。
続いて、管腔深部領域検出部21が、低画素値領域検出部213によって検出された領域を基に、公知のラベリング処理等を行うことによって管腔深部領域を検出する(ステップS204)。これにより、管腔深部領域検出部21による管腔深部領域検出処理が終了する。
ステップS2に続くステップS3において、輪郭エッジ抽出部22は、管腔粘膜壁の輪郭エッジを抽出する(ステップS3)。輪郭エッジ抽出部22は、生体内での吸収、散乱の度合いが最も低い低吸収波長成分(例えばR成分)を選択し、この波長成分の画像に対して、上述したエッジ抽出処理を行う。
ステップS4において、凸形状領域解析部23は、輪郭エッジにおける凸形状領域及びその凸方向を解析する(ステップS4)。図3に示す輪郭エッジが画像中に存在した場合には、上述した通り、弧形状領域検出部231は弧形状領域を順次検出しながら3つの凸形状領域として解析を行った後、凸形状領域解析部23が3つの凸形状領域の凸方向をそれぞれ求める。
図6は、凸形状領域解析部23が行う凸形状領域解析処理の概要を示すフローチャートである。以下、図6を参照して凸形状領域解析処理の概要を説明する。まず、ラベリング部231aは、連結する輪郭エッジが同一のラベルとなるようにラベリングを行う(ステップS401)。
続いて、ロバスト推定部231bは、同一ラベルの輪郭エッジ内の画素を基にロバスト推定による弧形状(=凸形状)領域の検出を行う(ステップS402)。ロバスト推定部231bは、ラベリングした全ての輪郭エッジに対して弧形状領域の検出を行う。
この後、繰返し制御部231cは、弧形状領域として検出した領域以外の輪郭エッジ領域の面積と所定の閾値との大小を判定する(ステップS403)。判定の結果、輪郭エッジ領域の面積が閾値より大きい場合(ステップS403:Yes)、凸形状領域解析部23は、弧形状領域として検出した領域以外の輪郭エッジ領域を新たな処理対象とし(ステップS404)、ステップS401へ戻る。一方、弧形状領域として検出した領域以外の輪郭エッジ領域の面積が所定の閾値以下の場合(ステップS403:No)には、凸形状領域解析部23は弧形状領域の検出を終了し、ステップS405へ移行する。
ステップS405において、弧形状凸方向算出部232は、検出した弧形状(=凸形状)領域の凸方向を算出する(ステップS405)。これにより、凸形状領域解析部23による凸形状領域解析処理が終了する。
なお、本実施の形態1では、弧形状領域の検出にラベリングとロバスト推定を用いる方法を示したが、ラベリングを行わずに全ての輪郭エッジ画素を対象にロバスト推定を繰り返しても良い。また、特願2007−244519号公報に開示されている円のハフ変換を利用しても良い。また、ロバスト推定の際に円ではなく楕円の当て嵌めを行うようにしても良い。
ステップS4に続くステップS5において、異常領域検出部24は、管腔深部領域の方向に対して凸となる凸形状領域を異常領域として検出する(ステップS5)。図7は、異常領域検出部24が行う処理の概要を示すフローチャートである。以下、図7を参照して異常領域検出部24の処理を説明する。
まず、管腔深部方向算出部241の深部領域代表位置算出部241aは、ステップS2で求めた管腔深部領域の代表位置を算出する(ステップS501)。
続いて、代表位置方向算出部241bは、ステップS4で求めた各凸形状領域の代表位置から管腔深部領域の代表位置への方向を管腔深部方向として算出する(ステップS502)。なお、凸形状領域の代表位置としては、上述した重心以外にも、例えば弧の中点や、弦の中点を挙げることができる。
この後、領域判定部242の角度算出部242aが、各凸形状領域に対して、凸形状領域の凸方向と、管腔深部方向とが成す角度を算出する(ステップS503)。
続いて、領域判定部242は、角度算出部242aによって算出された角度が所定の閾値以下である領域を凸形状領域として判定する(ステップS504)。この閾値は、例えば90°以下の値として設定される。
最後に、異常領域検出部24は、判定した凸形状領域を異常領域として検出する(ステップS505)。これにより、異常領域検出部24による異常領域検出処理が終了する。
ステップS5に続くステップS6において、演算部2は、異常領域検出結果を出力する(ステップS6)。これにより、画像処理装置1が行う一連の処理が終了する。
以上説明した本発明の実施の形態1によれば、管腔深部領域の方向に対して凸形状となる輪郭エッジ領域を異常領域として検出することにより、正常な輪郭エッジを異常と誤検出することを抑制しながら、異常領域すなわち異常組織のエッジを精度良く検出することができる。
また、本実施の形態1によれば、低吸収波長成分を選択し、エッジ周辺領域を除外した上で、低画素値領域を検出することにより、血管や、襞縁の陰影による影響を抑制しながら、管腔深部領域を精度良く検出することができる。
また、本実施の形態1によれば、輪郭エッジ内の弧形状領域を検出し、その方向を算出することにより、輪郭エッジ内の凸形状領域の検出と、その方向の算出を精度良く行うことができる。
また、本実施の形態1によれば、輪郭エッジのラベリングとロバスト推定を繰繰り返すことにより、輪郭エッジ内の複数の弧形状を精度良く高速に検出することができる。
なお、本実施の形態1では、撮像距離と相関する画素値に基づいて管腔深部領域を検出する方法を示したが、例えば特開2003−93328号公報に開示された管腔方向検出方法を用いることによって管腔深部領域を検出するようにしても良い。
(変形例1)
図8は、本実施の形態1の変形例1に係る画像処理装置が備える凸形状領域解析部の機能構成を示すブロック図である。同図に示す凸形状領域解析部26は、輪郭エッジの曲がり方向を基に輪郭エッジを分割するエッジ分割部261と、分割後の各エッジ(分割エッジ)の凸方向を算出する分割エッジ凸方向算出部262とを有する。凸形状領域解析部26を除く画像処理装置の機能構成は、実施の形態1で説明した画像処理装置1の機能構成と同様である。
エッジ分割部261は、エッジを構成する各画素の座標を連結順に取得するエッジ座標取得部261aと、取得したエッジ座標に沿った所定間隔のサンプル画素の座標を基に、輪郭エッジに対する符号付曲率の変化を解析する曲率変化解析部261bと、符号付曲率の符号反転位置にて輪郭エッジを分割する分割部261cとを有する。
エッジ座標取得部261aは、例えば公知の輪郭追跡処理(参考:CG−ARTS協会:ディジタル画像処理:178P、輪郭追跡)を用いることによってエッジ座標を取得する。
曲率変化解析部261bが解析する符号付曲率kは、所定間隔(等間隔)で並ぶ3つのサンプル画素の座標(x0,y0)、(x1,y1)、(x2,y2)を基に、以下に示す式(1)によって算出される。
Figure 2016117117
符号付曲率kの符号が反転することは、輪郭エッジの曲り方向が変化することに相当する。曲率変化解析部261bは、エッジ座標に沿って順次シフトしながらサンプル画素の座標を算出することで、結果的に符号付曲率kの変化を解析する。なお、隣接するサンプル画素の間隔を、例えば低吸収波長成分の明るさを基に求められる撮像面からの距離に応じて適応的に決定するようにしてもよい。
図9は、分割部261cが行う輪郭エッジの分割処理の概要を模式的に示す図である。図9に示すような波形の輪郭エッジが存在した場合、分割部261cは波の節に相当する2つの点A、Bを境界として3つの領域に輪郭エッジを分割する。
分割エッジ凸方向算出部262は、全ての分割エッジに対して、エッジ両端を結ぶ線分から分割エッジを通過する方向を分割エッジの凸方向として算出する。分割エッジ凸方向算出部262は、より好ましくは、エッジ両端を結ぶ線分の中点から分割エッジ上の中点(分割エッジの長さの中間点)への方向を、分割エッジの凸方向として算出する。例えば、図9に示す輪郭エッジの場合、分割エッジ凸方向算出部262は、分割された3つの凸形状領域に対してそれぞれ解析を行い、各凸形状領域の凸方向を求める。
図10は、凸形状領域解析部26が行う処理の概要を示すフローチャートである。まず、エッジ座標取得部261aが、エッジを構成する各画素の座標を連結順に取得する(ステップS411)。
続いて、曲率変化解析部261bは、取得したエッジ座標に沿った所定間隔で並ぶ3つのサンプル画素の座標を基に、輪郭エッジに対する符号付曲率の変化を解析する(ステップS412)。
その後、分割部261cが、符号付曲率の符号反転位置にて輪郭エッジを分割する(ステップS413)。
凸形状領域解析部26は、ステップS411〜S413の処理を、全ての輪郭エッジに対して行う。
続いて、分割エッジ凸方向算出部262が、分割エッジの凸方向を算出する(ステップS414)。これにより、凸形状領域解析部26による凸形状領域解析処理が終了する。
なお、本変形例1では符号付曲率kを基にエッジを分割する方法を示したが、3点(x0,y0)、(x1,y1)、(x2,y2)のうち、点(x1,y1)を基点とし、点(x0,y0)を終点とするベクトルと、点(x1,y1)を基点とし、点(x2,y2)を終点とするベクトルをそれぞれ求め、該2つのベクトルの外積の変化を基に、分割位置を求めるようにしても良い。
また、本変形例1において、凸形状領域の代表位置として、例えば分割エッジ上の中間点や、分割エッジ上で最も曲率が大きい点、分割エッジ端点を結んだ線分の中点を挙げることができる。
以上説明した本実施の形態1の変形例1によれば、管腔深部領域の方向に対して凸形状となる輪郭エッジ領域を異常領域として検出することにより、正常な輪郭エッジを異常と誤検出することを抑制しながら、異常領域を精度良く検出することができる。
また、本変形例1によれば、輪郭エッジを曲がり方向を基に分割し、各分割エッジで凸方向を算出することにより、輪郭エッジ内に複数の凸形状があった場合でも、凸形状領域の検出と、その方向の算出を精度良く行うことができる。
(変形例2)
図11は、本実施の形態1の変形例2に係る画像処理装置が備える異常領域検出部の機能構成を示すブロック図である。同図に示す異常領域検出部27は、管腔深部領域の検出結果と凸形状領域の解析結果を基に管腔深部方向を算出する管腔深部方向算出部271と、管腔深部方向に対して凸となる凸形状領域を判定する領域判定部272とを有する。異常領域検出部27を除く画像処理装置の機能構成は、実施の形態1で説明した画像処理装置1の機能構成と同様である。
管腔深部方向算出部271は、管腔深部領域からの距離変換画像を作成する距離変換画像作成部271aと、各凸形状領域の代表位置での距離変換画像の勾配方向を管腔深部方向として算出する勾配方向算出部271bとを有する。
距離変換画像作成部271aは、例えば公知の距離変換(参考:東京大学出版会:画像解析ハンドブック:576P、距離変換とスケルトン抽出)を用いることによって距離変換画像を作成する。
領域判定部272は、各凸形状領域に対して、凸形状領域の凸方向と、管腔深部方向の2つの方向の単位方向ベクトルの内積を算出する内積算出部272aを有する。単位方向ベクトルの内積は、同一方向である場合に1、直交する場合に0、正反対方向である場合に−1となる。
図12は、異常領域検出部27が行う処理の概要を示すフローチャートである。距離変換画像作成部271aが、管腔深部領域からの距離変換画像を作成する(ステップS511)。
続いて、勾配方向算出部271bが、各凸形状領域の代表位置での距離変換画像の勾配方向を管腔深部方向として算出する(ステップS512)。
この後、内積算出部272aが、各凸形状領域に対して、凸形状領域の凸方向と、管腔深部方向の2つの方向の単位方向ベクトルの内積を算出する(ステップS513)。
続いて、領域判定部272が、内積が所定の閾値以上の凸形状領域を判定する(ステップS514)。
最後に、異常領域検出部27は、判定した凸形状領域を異常領域として検出する(ステップS515)。これにより、異常領域検出部27による異常領域検出処理が終了する。
以上説明した本実施の形態1の変形例2によれば、管腔深部領域からの距離変換画像を利用して管腔深部方向を求めることにより、管腔深部の形状が細長い場合などにおいても、管腔深部方向を精度良く求めることができる。
(実施の形態2)
本発明の実施の形態2では、輪郭エッジに含まれる凸形状領域の大きさの違いに着目することによって異常領域の検出精度を一層高める。
図13は、本実施の形態2に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置4は、演算部5と、記憶部3とを備える。以下、実施の形態1に係る画像処理装置1の演算部2が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
演算部5は、管腔深部領域検出部21と、輪郭エッジ抽出部22と、凸形状領域解析部23と、異常領域検出部51とを有する。異常領域検出部51は、管腔深部方向算出部241と、領域判定部242と、凸形状領域の特徴量を算出する凸形状領域特徴量算出部511とを有する。
凸形状領域特徴量算出部511が算出する凸形状の特徴量とは、凸形状領域の長さ、面積、凸量に相関する値等である。ここで、凸量に相関する値は、凸形状領域の両端を結ぶ線分と、これに平行で凸形状領域に接する線分との距離や、凸形状領域に弧形状を当て嵌めた場合の曲率、曲率半径等である。凸形状領域の長さが短いもの、面積が小さいもの、凸形状領域の凸量が小さいもの等は、ノイズである可能性が高い。そこで、これらの領域を誤って異常領域として検出しないために、凸形状領域特徴量算出部511は上述した凸形状の特徴量を算出する。
図14は、画像処理装置4が行う処理の概要を示すフローチャートである。ステップS11〜S14の処理は、図4におけるステップS1〜S4とそれぞれ同様である。
ステップS15において、凸形状領域特徴量算出部511は、管腔深部方向に対して凸となる凸形状領域の特徴量を算出し、異常領域検出部51が、算出された凸形状領域の特徴量が所定の範囲となる領域を異常領域として検出する(ステップS15)。以下、ステップS15をより詳細に説明する。
管腔深部方向算出部241および領域判定部242は、実施の形態1のステップS501〜S505(図7を参照)または実施の形態1の変形例1のステップS511〜S515(図12を参照)と同様の処理を行うことにより、管腔深部方向に対して凸となる凸形状領域を判定する。その後、凸形状領域特徴量算出部511が、凸形状領域の特徴量を算出する。異常領域検出部51は、特徴量が所定の範囲となる凸形状領域を異常領域として検出する。
ステップS15に続くステップS16において、演算部5は、異常領域検出結果を出力する(ステップS16)。これにより、本実施の形態2に係る画像処理装置が行う一連の処理が終了する。
以上説明した本発明の実施の形態2によれば、管腔深部領域の方向に対して凸形状となる輪郭エッジ領域を異常領域として検出することにより、正常な輪郭エッジを異常領域と誤検出することを抑制しながら、異常領域を精度良く検出することができる。
また、本実施の形態2によれば、管腔深部方向と凸形状領域の凸方向から検出される領域のうち、比較的小さいものを除外することにより、輪郭エッジにおける異常領域の誤検出を一段と抑制することができる。
(実施の形態3)
本発明の実施の形態3では、粘膜襞の管腔深部側ではない縁の輪郭エッジが管腔深部方向に対して凸となる場合と異常領域とでは、凸形状領域周辺の画素値情報に違いがあることを利用して異常領域の検出精度を一層高める。より具体的には、本実施の形態3では、粘膜襞の管腔深部側ではない縁の輪郭エッジが管腔深部方向に対して凸となる場合、凸形状領域の凸方向側の襞上の粘膜の方が反対側の襞下(縁)の粘膜より撮像距離が近いため画素値が高くなる一方、異常領域の画素値ではそれと逆の傾向にあることを利用して、異常領域の検出精度を一層高める。
図15は、本実施の形態3に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6は、演算部7と、記憶部3とを備える。以下、実施の形態1に係る画像処理装置1の演算部2が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
演算部7は、管腔深部領域検出部21と、輪郭エッジ抽出部22と、凸形状領域解析部23と、異常領域検出部71とを有する。異常領域検出部71は、管腔深部方向算出部241と、領域判定部242と、凸形状領域の周辺の画素値情報を算出する周辺画素値情報算出部711とを有する。
周辺画素値情報算出部711は、凸形状領域の凸方向側に位置する領域の画素値と、該領域に対し凸形状領域を間にして対向する方向に位置する領域の画素値の変化量を算出する。周辺画素値情報算出部711は、例えば凸形状領域の凸方向側に位置する領域の画素値から、該領域に対し凸形状領域を間にして対向する側に位置する領域の画素値を減じた差を算出する。なお、周辺画素値情報算出部711が画素値を算出する際には、撮像距離と相関の高い低吸収波長成分の画素値を用いた方が比較的高い精度が得られるのでより好ましい。
図16は、画像処理装置6が行う処理の概要を示すフローチャートである。ステップS21〜S24の処理は、図4におけるステップS1〜S4とそれぞれ同様である。
ステップS25において、異常領域検出部71は、輪郭エッジにおける凸形状領域及びその凸方向を解析した後、管腔深部方向に対して凸となる凸形状領域のうち、周辺画素値情報が所定の範囲となる領域を異常領域として検出する(ステップS25)。
管腔深部方向算出部241および領域判定部242は、実施の形態1のステップS501〜S505(図7を参照)または実施の形態1の変形例1のステップS511〜S515(図12を参照)と同様の処理を行うことにより、管腔深部方向に対して凸となる凸形状領域を判定する。
その後、周辺画素値情報算出部711が、凸形状領域の周辺の画素値情報を算出する。周辺画素値情報算出部711が上述した差を算出する場合、正常な輪郭エッジ領域と異常領域とでは差の正負が異なる。具体的には、正常な輪郭エッジ領域では差が正となる一方、異常領域では差が負となる。
異常領域検出部71は、周辺画素値情報算出部711の算出結果に基づいて、例えば上述した差が負である領域を異常領域として検出する。
ステップS25に続くステップS26において、演算部7は、異常領域検出結果を出力する(ステップS26)。これにより、本実施の形態3に係る画像処理装置が行う一連の処理が終了する。
以上説明した本発明の実施の形態3によれば、管腔深部領域の方向に対して凸形状となる輪郭エッジ領域を異常領域として検出することにより、正常な輪郭エッジを異常と誤検出することを抑制しながら、異常領域を精度良く検出することができる。
また、本実施の形態3によれば、凸形状領域周辺の画素値変化も考慮して異常領域を検出することにより、更に異常領域を精度良く検出することができる。
(実施の形態4)
本発明の実施の形態4では、輪郭エッジ抽出を行う前に、管腔内画像に含まれる管腔深部等の暗部、鏡面反射等の明部、残渣、および泡等の非粘膜領域を非検査領域として除外することによって異常領域の検出精度を一層高める。
図17は、本実施の形態4に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置8は、演算部9と、記憶部3とを備える。以下、実施の形態1に係る画像処理装置1の演算部2が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
演算部9は、管腔深部領域検出部21と、非検査領域除外部91と、輪郭エッジ抽出部22と、凸形状領域解析部23と、異常領域検出部24とを有する。
非検査領域除外部91は、色、周波数、形状情報等を基に非粘膜領域(暗部、明部、残渣、泡等)を特定し、この特定した非粘膜領域を非検査領域として除外する。非検査領域除外部91は、例えば特開2011−234931号公報(暗部、明部)、特開2012−143340号公報(残渣)、特開2007−313119号公報(泡)に開示されている技術を適用することによって非粘膜領域を特定する。
図18は、画像処理装置8が行う処理の概要を示すフローチャートである。ステップS31、S32は、図4におけるステップS1、S2にそれぞれ対応している。
ステップS32の後、非検査領域除外部91は、色、周波数、形状情報等を基に非粘膜領域(暗部、明部、残渣、泡等)を特定し、特定した領域を非検査領域として除外する(ステップS33)。
ステップS34〜S37の処理は、図4におけるステップS3〜S6の処理に順次対応している。
以上説明した本発明の実施の形態4によれば、管腔深部領域の方向に対して凸形状となる輪郭エッジ領域を異常領域として検出することにより、正常な輪郭エッジを異常と誤検出することを抑制しながら、異常領域を精度良く検出することができる。
また、本実施の形態4によれば、輪郭エッジ領域を抽出する前に非検査領域を除外することにより、異常領域を一段と精度良く検出することができる。
なお、非検査領域除外部91の機能構成を、上述した実施の形態1〜3に係る画像処理装置に具備させることも可能である。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1〜4によってのみ限定されるべきものではない。例えば、異常領域を検出する際には、弧形状領域の弦を通過する直線に対して管腔深部領域と同じ側に存在する弧形状領域を異常領域として検出してもよい。
また、生体用の内視鏡画像以外にも、CTコロノグラフィにおいて生成されるバーチャル内視鏡の管腔内画像や、工業用内視鏡によって撮像された管内画像に対して適用することも可能である。
図19は、別な実施の形態に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置10は、演算部11と、記憶部3とを備える。以下、画像処理装置1の演算部2が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
演算部11は、輪郭エッジ抽出部22と、凸形状領域解析部101と、異常領域検出部102とを有する。凸形状領域解析部101は、弧形状領域検出部231を有する。弧形状領域検出部231は、ラベリング部231aと、ロバスト推定部231bと、繰返し制御部231cとを有する。異常領域検出部102は、凸形状領域特徴量算出部511を有する。
図20は、画像処理装置10が行う処理の概要を示すフローチャートである。ステップS41、S42の処理は、図4におけるステップS1、S3の処理とそれぞれ同様である。
ステップS43において、凸形状領域解析部101の弧形状領域検出部231は、輪郭エッジにおける凸形状領域を解析する(ステップS43)。弧形状領域検出部231は、図6に示すステップS401〜S404の処理を順次行った後、凸形状領域の解析処理を終了する。
ステップS44において、凸形状領域特徴量算出部511が凸形状領域の特徴量を算出し、異常領域検出部102が算出された凸形状領域の特徴量が所定の範囲となる領域を異常領域として検出する(ステップS44)。
ステップS45において、演算部11は、異常領域検出結果を出力する(ステップS45)。これにより、画像処理装置10が行う一連の処理が終了する。
以上説明した画像処理装置10によれば、1つの輪郭エッジを複数の弧形状に分割して異常領域の判定を行うため、異常組織のエッジを精度良く検出することができる。
なお、画像処理装置10における凸形状領域解析部として、図8に示す凸形状領域解析部26から分割エッジ凸方向算出部262を除いたものを採用することも可能である。すなわち、この場合の凸形状領域解析部は、エッジ分割部261を有する。エッジ分割部261は、エッジ座標取得部261a、曲率変化解析部261bおよび分割部261cを有する。
また、画像処理装置10における異常領域検出部が、図15に示す周辺画素値情報算出部711の機能をさらに備えてもよい。この場合、異常領域検出部は、周辺画素値情報も加味して異常領域を検出することができる。
また、画像処理装置10に対して、実施の形態4で説明した非検査領域除外部91の機能をさらに具備させてもよい。これにより、異常領域を一段と精度良く検出することができる。
1、4、6、8、10 画像処理装置
2、5、7、9、11 演算部
3 記憶部
21 管腔深部領域検出部
22 輪郭エッジ抽出部
23、26、101 凸形状領域解析部
24、27、51、71、102 異常領域検出部
91 非検査領域除外部
211 低吸収波長成分選択部
212 エッジ周辺領域除外部
213 低画素値領域検出部
231 弧形状領域検出部
231a ラベリング部
231b ロバスト推定部
231c 繰返し制御部
232 弧形状凸方向算出部
241、271、541 管腔深部方向算出部
242、272、542 領域判定部
241a 深部領域代表位置算出部
241b 代表位置方向算出部
242a 角度算出部
261 エッジ分割部
261a エッジ座標取得部
261b 曲率変化解析部
261c 分割部
262 分割エッジ凸方向算出部
271a 距離変換画像作成部
271b 勾配方向算出部
272a 内積算出部
511 凸形状領域特徴量算出部
711 周辺画素値情報算出部

Claims (19)

  1. 管内画像において深部領域を検出する深部領域検出部と、
    管内壁の輪郭エッジを抽出する輪郭エッジ抽出部と、
    前記輪郭エッジにおける凸形状領域及びその凸方向を解析する凸形状領域解析部と、
    前記深部領域の方向に対して凸となる凸形状領域を異常領域として検出する異常領域検出部と、
    を備えることを特徴とする画像処理装置。
  2. 前記凸形状領域解析部は、
    前記輪郭エッジにおいて弧形状を成す領域を検出する弧形状領域検出部と、
    前記弧形状領域の凸方向を算出する弧形状凸方向算出部と、
    を有することを特徴とする請求項1に記載の画像処理装置。
  3. 前記弧形状領域検出部は、
    前記輪郭エッジ内の画素を基にロバスト推定による弧形状領域の検出を行うロバスト推定部と、
    検出された前記弧形状領域以外の領域に対して、前記ロバスト推定による前記弧形状領域の検出を繰返すよう制御する繰返し制御部と、
    を有することを特徴とする請求項2に記載の画像処理装置。
  4. 前記弧形状領域検出部は、
    連結する前記輪郭エッジのみが同一のラベルとなるようにラベリングするラベリング部をさらに有し、
    前記ロバスト推定部は、
    同一ラベルとなる前記輪郭エッジ内の画素を基に前記弧形状領域の検出を行い、
    前記繰返し制御部は、
    検出された前記弧形状領域以外の領域に対して、前記ラベリングと前記弧形状領域の検出を繰返すよう制御する、ことを特徴とする請求項3に記載の画像処理装置。
  5. 前記凸形状領域解析部は、
    前記輪郭エッジの曲がり方向を基に該輪郭エッジを分割するエッジ分割部と、
    各分割エッジの凸方向を算出する分割エッジ凸方向算出部と、
    を有することを特徴とする請求項1に記載の画像処理装置。
  6. 前記エッジ分割部は、
    エッジを構成する各画素の座標であるエッジ座標を連結順に取得するエッジ座標取得部と、
    取得したエッジ座標に沿った所定間隔のサンプル画素の座標を基に、前記輪郭エッジに対する符号付曲率の変化を解析する曲率変化解析部と、
    前記符号付曲率の符号反転位置にて前記輪郭エッジを分割する分割部と、
    を有することを特徴とする請求項5に記載の画像処理装置。
  7. 前記異常領域検出部は、
    前記深部領域の検出結果と前記凸形状領域の解析結果を基に深部方向を算出する深部方向算出部と、
    前記深部方向に対して凸となる前記凸形状領域を判定する領域判定部と、を有し、
    前記領域判定部で判定された凸形状領域を異常領域として検出する、ことを特徴とする請求項1に記載の画像処理装置。
  8. 前記深部方向算出部は、
    前記深部領域の代表位置を算出する深部領域代表位置算出部と、
    各凸形状領域の代表位置から前記深部領域の代表位置への方向を算出する代表位置方向算出部と、
    を有することを特徴とする請求項7に記載の画像処理装置。
  9. 前記深部方向算出部は、
    前記深部領域からの距離変換画像を作成する距離変換画像作成部と、
    前記距離変換画像における各凸形状領域の代表位置での勾配方向を算出する勾配方向算出部と、
    を有することを特徴とする請求項7に記載の画像処理装置。
  10. 前記領域判定部は、
    前記凸形状領域の凸方向と、前記深部方向の2つの方向が成す角度を算出する角度算出部を有し、
    前記角度が所定の閾値以下の場合に、前記深部方向に対して凸となる凸形状領域であると判定する、ことを特徴とする請求項7に記載の画像処理装置。
  11. 前記領域判定部は、
    前記凸形状領域の凸方向と、前記深部方向の2つの方向の単位方向ベクトルの内積を算出する内積算出部を有し、
    前記内積が所定の閾値以上の場合に、前記深部方向に対して凸である凸形状領域であると判定する、ことを特徴とする請求項7に記載の画像処理装置。
  12. 前記異常領域検出部は、
    前記凸形状領域の特徴量を算出する凸形状領域特徴量算出部をさらに有し、
    前記深部方向に対して凸である凸形状領域のうち、該凸形状領域の特徴量が所定の範囲となる領域を異常領域として検出する、ことを特徴とする請求項7に記載の画像処理装置。
  13. 前記凸形状領域特徴量算出部は、
    前記凸形状領域の特徴量として、前記凸形状領域の長さ、面積、凸量に相関する値のいずれか一つを算出する、ことを特徴とする請求項12に記載の画像処理装置。
  14. 前記異常領域検出部は、
    前記凸形状領域の周辺の画素値情報を算出する周辺画素値情報算出部をさらに有し、
    前記深部方向に対して凸である凸形状領域のうち、周辺画素値情報が所定の範囲となる領域を異常領域として検出する、ことを特徴とする請求項7に記載の画像処理装置。
  15. 前記周辺画素値情報算出部は、
    前記凸形状領域の凸方向側に位置する領域と、該領域に対し前記凸形状領域を間にして対向する方向に位置する領域の画素値の変化を算出する、ことを特徴とする請求項14に記載の画像処理装置。
  16. 前記深部領域検出部は、
    生体内での吸収・散乱の度合いが最も低い波長成分である低吸収波長成分の画像を選択する低吸収波長成分選択部と、
    前記低吸収波長成分の画像内のエッジ周辺領域の画素を除外するエッジ周辺領域除外部と、
    前記エッジ周辺領域の画素を除外後の前記低吸収波長成分の画像において相対的に画素値が低い領域を検出する低画素値領域検出部と、を有し、
    前記低画素値領域検出部の結果を基に前記深部領域を検出する、ことを特徴とする請求項1に記載の画像処理装置。
  17. 前記管内画像において、鏡面反射、暗部、泡、残渣領域のいずれかを除外する非検査領域除外部をさらに備えることを特徴とする請求項1に記載の画像処理装置。
  18. 管内画像において深部領域を検出する深部領域検出ステップと、
    管内壁の輪郭エッジを抽出する輪郭エッジ抽出ステップと、
    前記輪郭エッジにおける凸形状領域及びその凸方向を解析する凸形状領域解析ステップと、
    前記深部領域の方向に対して凸となる凸形状領域を異常領域として検出する異常領域検出ステップと、
    を含むことを特徴とする画像処理方法。
  19. 管内画像において深部領域を検出する深部領域検出ステップと、
    管内壁の輪郭エッジを抽出する輪郭エッジ抽出ステップと、
    前記輪郭エッジにおける凸形状領域及びその凸方向を解析する凸形状領域解析ステップと、
    前記深部領域の方向に対して凸となる凸形状領域を異常領域として検出する異常領域検出ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2016570452A 2015-01-23 2015-01-23 画像処理装置、画像処理装置の作動方法および画像処理プログラム Active JP6473177B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/051873 WO2016117117A1 (ja) 2015-01-23 2015-01-23 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2016117117A1 true JPWO2016117117A1 (ja) 2017-10-26
JP6473177B2 JP6473177B2 (ja) 2019-02-20

Family

ID=56416682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016570452A Active JP6473177B2 (ja) 2015-01-23 2015-01-23 画像処理装置、画像処理装置の作動方法および画像処理プログラム

Country Status (5)

Country Link
US (1) US10292577B2 (ja)
JP (1) JP6473177B2 (ja)
CN (1) CN107105989B (ja)
DE (1) DE112015005733T5 (ja)
WO (1) WO2016117117A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049632A (zh) * 2022-06-28 2022-09-13 深圳市瀚德智能机器人有限公司 管带扭转检测方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4891636B2 (ja) 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
WO2008136098A1 (ja) * 2007-04-24 2008-11-13 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
JP4909377B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP5526044B2 (ja) * 2011-01-11 2014-06-18 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6226510B2 (ja) * 2012-01-27 2017-11-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6265588B2 (ja) * 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6342390B2 (ja) * 2012-06-29 2018-06-13 ギブン イメージング リミテッドGiven Imaging Ltd. 画像ストリームを表示するシステムおよび方法
CN105828691B (zh) * 2013-12-19 2017-12-12 奥林巴斯株式会社 图像处理装置、图像处理方法
US9286537B2 (en) * 2014-01-22 2016-03-15 Cognizant Technology Solutions India Pvt. Ltd. System and method for classifying a skin infection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法

Also Published As

Publication number Publication date
DE112015005733T5 (de) 2017-09-14
CN107105989B (zh) 2018-12-18
JP6473177B2 (ja) 2019-02-20
US20170311782A1 (en) 2017-11-02
WO2016117117A1 (ja) 2016-07-28
CN107105989A (zh) 2017-08-29
US10292577B2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
US8798344B2 (en) Image processing apparatus, image processing method and computer-readable recording device
JP5121204B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5683888B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US9959481B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5658963B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
EP2937033A1 (en) Image processing apparatus, electronic device, endoscope apparatus, program, and image processing method
US10194783B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region
WO2013077381A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US8682048B2 (en) Image processing device, image processing method, computer-readable recording device
JP6598850B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160192832A1 (en) Image processing apparatus, method of processing image, and image processing program
JP2011031040A (ja) 2次元超音波映像に対応する2次元ct映像を提供するシステムおよび方法
JP5037705B2 (ja) 画像処理装置および方法並びにプログラム
JP2010184057A (ja) 画像処理方法および装置
JPWO2012147505A1 (ja) 医用画像処理装置
JP5980490B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6473177B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
US10402973B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2011098016A (ja) 超音波断層画像の処理装置
JP6082337B2 (ja) 心胸郭比算出装置
JP2005224429A (ja) 異常陰影判定装置およびそのプログラム
Sridhar Segmentation of ureteric and bladder calculi in ultrasound images
JP2005224428A (ja) 石灰化陰影判定方法、石灰化陰影判定装置およびそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190124

R151 Written notification of patent or utility model registration

Ref document number: 6473177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250