WO2009154125A1 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

画像処理装置、画像処理プログラムおよび画像処理方法 Download PDF

Info

Publication number
WO2009154125A1
WO2009154125A1 PCT/JP2009/060643 JP2009060643W WO2009154125A1 WO 2009154125 A1 WO2009154125 A1 WO 2009154125A1 JP 2009060643 W JP2009060643 W JP 2009060643W WO 2009154125 A1 WO2009154125 A1 WO 2009154125A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
region
model
area
Prior art date
Application number
PCT/JP2009/060643
Other languages
English (en)
French (fr)
Inventor
岳博 松田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN200980123042.1A priority Critical patent/CN102065744B/zh
Priority to EP09766573.1A priority patent/EP2305091B1/en
Publication of WO2009154125A1 publication Critical patent/WO2009154125A1/ja
Priority to US12/971,500 priority patent/US8478010B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Definitions

  • FIG. 1 is a schematic diagram illustrating an overall configuration of an image processing system including an image processing apparatus.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus.
  • FIG. 3 is a flowchart illustrating a calculation processing procedure performed by the calculation unit of the image processing apparatus.
  • FIG. 4 is a diagram illustrating an example of an intraluminal image.
  • FIG. 5 is a flowchart showing a detailed processing procedure of the protruding shape estimation processing.
  • FIG. 6 is a diagram illustrating an example of a labeling image.
  • FIG. 7 is a diagram illustrating a raised peak region estimated from the labeling image illustrated in FIG. 6.
  • FIG. 8 is an explanatory diagram for explaining the principle of creating the initial uplift model.
  • FIG. 1 is a schematic diagram illustrating an overall configuration of an image processing system including an image processing apparatus.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus.
  • FIG. 3 is a flowchart illustrating
  • the control unit 76 is realized by hardware such as a CPU.
  • the control unit 76 is a component that configures the image processing apparatus 70 based on image data acquired via the external interface 71, operation signals input from the input unit 72, programs and data stored in the storage unit 74, and the like. The operation of the entire image processing apparatus 70 is controlled in an integrated manner.
  • FIG. 5 is a flowchart showing a detailed processing procedure of the protruding shape estimation processing.
  • FIG. 7 is a diagram showing raised peak regions L11 to L13, L15, and L16 estimated from the labeling image shown in FIG.
  • the label areas L15 and L16 are extracted as the ridge top area.
  • the ridge top region is extracted in order from the smallest label, and the label region around the label region that is the ridge top region is not extracted.
  • a label area L17 having its own label “3” and a surrounding label “4” is surrounded by a label area having a label larger than its own label.
  • the label region L17 is not extracted because it is a label region around the label region L13 estimated as the raised top region. However, estimation of whether or not the label region L17 is a raised top region is performed later.
  • This E image_d is defined so that the absolute value of the difference between the estimated pixel value of the intermediate point Pe and the actual pixel value at the position of the intermediate point Pe decreases.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

 本発明のある実施形態において、画像処理装置(70)は、隆起形状推定部(751)および沈降形状推定部(752)と、異常部候補検出部(755)とを備える。隆起形状推定部(751)および沈降形状推定部(752)は、体内管空内を撮像した管空内画像内の画素値をもとに、画像内の画素値の勾配変化をモデル化する。異常部候補検出部(755)は、管空内画像を構成する各画素の画素値と、モデル化された画素値の勾配変化によって定まる各画素の推定画素値との差分をもとに、管空内画像に映る異常部の候補領域を検出する。

Description

画像処理装置、画像処理プログラムおよび画像処理方法
 本発明は、対象物を撮像した画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。
 近年、カプセル型内視鏡に代表されるように、体内の管空内を移動しながら時系列の管空内画像を順次撮像する医用の撮像装置が開発されている。カプセル型内視鏡は、患者の口から飲み込まれて体内に導入されると、管空内を蠕動運動等により移動しながら順次画像を撮像して体外の受信装置に送信し、最終的に体外に排出される。このカプセル型内視鏡によって撮像されて体外の受信装置で受信された被検体内部の画像は、診断用のワークステーション等で時系列順に順次表示され、医師等の観察者によって確認される。
 このカプセル型内視鏡は、膨大な枚数の画像を撮像する。このため、診断用のワークステーション等では、撮像された画像の中から、例えば出血等の異常部の存在が疑われる画像を観察すべき画像として検出する処理を行い、医師等による画像の観察にかかる負担を軽減している。例えば、画像をブロック分割してブロック毎に色調情報を算出し、算出した色調情報についてクラスタリングを行うことによって、正常な粘膜を構成するブロックのクラスタから所定の基準以上離れたクラスタに属するブロックを異常部として抽出する手法が知られている(特許文献1参照)。また、微小石灰化陰影の候補を検出するための形状依存性フォルダであるモフォロジフィルタを用いて微小石灰化陰を強調した画像を生成する手法が知られている(特許文献2参照)。
特開2005-192880号公報 特開2002-99896号公報
 ところで、カプセル型内視鏡によって撮像される画像は、体内器官を対象物として映した画像であり、この画像内には、体内器官内壁の粘膜構造の折りたたみやうねり等による隆起形状や沈降形状が映る。このため、特許文献1のように色調情報を用いて異常部の検出を行う場合、これらの隆起形状や沈降形状といった対象物の形状によって画像中に表れる画素値の変化が、正常な粘膜のクラスタと異常部のクラスタとの分離を困難にするという問題があった。また、この画素値の変化が、対象物上の異常部が映った場合の画素値の変化と類似しているため、これらを区別できないという問題があった。例えば、特許文献2のようにモフォロジフィルタを用いて異常陰影抽出を行う場合、様々な形状の粘膜構造や病変構造により、多くの誤検出が生じる。
 本発明は、上記に鑑みてなされたものであって、対象物を撮像した画像内の異常部候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
 上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定部と、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出部と、を備えるものである。
 この態様にかかる画像処理装置によれば、画像内の画素値の勾配変化をモデル化し、実際の画素値とモデル化された画素値の勾配変化によって定まる推定画素値との差分をもとに、異常部の候補領域を検出することができる。したがって、対象物を撮像した画像内の異常部の候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。
 また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定手順と、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出手順と、を実行させるためのものである。
 また、本発明の別の態様にかかる画像処理方法は、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定ステップと、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出ステップと、を含むものである。
 本発明によれば、対象物を撮像した画像内の異常部の候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。
図1は、画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 図2は、画像処理装置の機能構成を示すブロック図である。 図3は、画像処理装置の演算部が行う演算処理手順を示すフローチャートである。 図4は、管空内画像の一例を示す図である。 図5は、隆起形状推定処理の詳細な処理手順を示すフローチャートである。 図6は、ラベリング画像の一例を示す図である。 図7は、図6に示したラベリング画像から推定した隆起頂上領域を示す図である。 図8は、初期隆起モデルの作成原理を説明する説明図である。 図9は、画素隆起モデルの修正原理を説明する説明図である。 図10は、画素隆起モデルの修正原理を説明する説明図である。 図11は、管空内画像の画素値分布の一例を示す図である。 図12は、図11に示した画素値分布のA部断面図である。 図13は、図7に示した隆起頂上領域をもとに設定した画素隆起モデルを示す図である。 図14は、隆起領域を除外して推定した隆起頂上領域を示す図である。 図15は、図14に示した隆起頂上領域をもとに設定した画素隆起モデルを示す図である。 図16は、沈降形状推定処理の詳細な処理手順を示す図である。 図17は、分割沈降領域を示す図である。 図18は、初期沈降モデルの作成原理を説明する説明図である。 図19は、画素沈降モデルの修正原理を説明する説明図である。 図20は、画素沈降モデルの修正原理を説明する説明図である。 図21は、管空内画像の画素値分布の一例を示す図である。 図22は、図21に示した画素値分布のB部断面図である。 図23は、異常部候補領域の検出原理を説明する説明図である。 図24は、異常部候補領域の検出原理を説明する説明図である。 図25は、異常部候補領域の検出原理を説明する説明図である。
 以下、図面を参照し、本発明を実施するための最良の形態について詳細に説明する。以下では、体内の管空内を移動するカプセル型内視鏡を用い、このカプセル型内視鏡が体内管空内を移動しながら連続的に撮像した画像を処理する画像処理装置について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態)
 図1は、本実施の形態の画像処理装置70を含む画像処理システムの全体構成を示す概略模式図である。図1に示すように、画像処理システムは、被検体1の体内の管空内の画像(以下、「管空内画像」と呼ぶ。)を撮像するカプセル型内視鏡3、カプセル型内視鏡3から無線送信される管空内画像の画像データを受信する受信装置4、受信装置4によって受信された管空内画像を画像処理する画像処理装置70等を備える。受信装置4と画像処理装置70との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)5が使用される。
 カプセル型内視鏡3は、撮像機能や無線機能、撮像部位を照明する照明機能等を具備するものであって、例えば、検査のために人や動物等の被検体1の口から飲込まれて被検体1内部に導入される。そして、自然排出されるまでの間、食道、胃、小腸、大腸等の内部の管空内画像を所定の撮像レートで連続的に撮像して取得し、体外に無線送信する。
 受信装置4は、被検体1内におけるカプセル型内視鏡3の通過経路に対応する体表上の位置に分散配置される受信用アンテナA1~Anを備える。そして、受信装置4は、各受信用アンテナA1~Anを介してカプセル型内視鏡3から無線送信される画像データを受信する。この受信装置4は、可搬型記録媒体5の着脱が自在に構成されており、受信した画像データを可搬型記録媒体5に逐次保存する。このようにして、受信装置4は、カプセル型内視鏡3が撮像した被検体1内部の管空内画像を時系列順に可搬型記録媒体5に蓄積する。
 画像処理装置70は、ワークステーションやパソコン等の汎用コンピュータで実現されるものであり、可搬型記録媒体5の着脱が自在に構成される。この画像処理装置70は、可搬型記録媒体5に保存された管空内画像を取得して処理し、表示装置に画面表示する。
 図2は、画像処理装置70の機能構成を示すブロック図である。本実施の形態では、画像処理装置70は、外部インターフェース71と、入力部72と、表示部73と、記憶部74と、演算部75と、画像処理装置70全体の動作を制御する制御部76とを備える。
 外部インターフェース71は、カプセル型内視鏡3で撮像され、受信装置4で受信した管空内画像の画像データを取得するためのものであり、例えば可搬型記録媒体5を着脱自在に装着し、この可搬型記録媒体5に保存された管空内画像の画像データを読み出すリーダ装置で構成される。なお、カプセル型内視鏡3によって撮像された時系列の管空内画像の取得は、可搬型記録媒体5を用いた構成に限定されるものではない。例えば、可搬型記録媒体5のかわりに別途サーバを設置し、このサーバに時系列の管空内画像を予め保存しておく構成としてもよい。この場合には、外部インターフェースを、サーバと接続するための通信装置等で構成する。そして、この外部インターフェースを介してサーバとデータ通信を行い、時系列の管空内画像を取得する。あるいは、記憶部74内にカプセル型内視鏡3によって撮像された時系列の管空内画像を予め保存しておく構成としてもよい。
 入力部72は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力された指示情報を制御部76に出力する。表示部73は、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって実現されるものであり、制御部76の制御によって、時系列の管空内画像の表示画面を含む各種画面を表示する。
 記憶部74は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD-ROM等の情報記憶媒体及びその読取装置等によって実現されるものである。この記憶部74には、画像処理装置70を動作させ、この画像処理装置70が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、演算部75が管空内画像に映る異常部を検出するための画像処理プログラム741が格納される。
 演算部75は、カプセル型内視鏡3によって撮像された管空内画像を処理し、この管空内画像に映る異常部を検出するための種々の演算処理を行う。この演算部75は、モデル推定部としての隆起形状推定部751および沈降形状推定部752と、隆起頂上異常判定部753と、沈降領域異常判定部としての分割沈降領域異常判定部754と、異常部候補検出部755と、異常判定部756とを含む。
 隆起形状推定部751は、管空内画像に映る隆起形状を推定する。この隆起形状推定部751は、隆起頂上推定部751aと、初期隆起勾配モデル設定部としての画素隆起モデル推定部751bと、隆起勾配モデル修正部としての画素隆起モデル修正部751cとを有する。隆起頂上推定部751aは、隆起形状を映した隆起領域の頂上付近の領域(以下、「隆起頂上領域」と呼ぶ。)を検出し、隆起領域の概略位置として推定する。画素隆起モデル推定部751bは、隆起頂上領域をもとに、画素値の勾配変化をモデル化した画素隆起モデル(隆起勾配モデル)の初期状態である初期隆起モデル(初期隆起勾配モデル)を作成する。画素隆起モデル修正部751cは、隆起領域の画素値をもとに初期隆起モデルを修正し、隆起領域に画素隆起モデルを設定する。
 沈降形状推定部752は、管空内画像に映る沈降形状を推定する。この沈降形状推定部752は、沈降領域抽出部752aと、沈降領域分割部752bと、初期沈降勾配モデル設定部としての画素沈降モデル推定部752cと、沈降勾配モデル修正部としての画素沈降モデル修正部752dとを有する。沈降領域抽出部752aは、画像内の隆起領域を除いた領域を沈降領域として抽出する。沈降領域分割部752bは、近傍する隆起領域の位置をもとに沈降領域を分割する。画素沈降モデル推定部752cは、分割された沈降領域(以下、「分割沈降領域」と呼ぶ。)をもとに、画素値の勾配変化をモデル化した画素沈降モデル(沈降勾配モデル)の初期状態である初期沈降モデル(初期沈降勾配モデル)を作成する。画素沈降モデル修正部752dは、分割沈降領域の画素値をもとに初期沈降モデルを修正し、分割沈降領域に画素沈降モデルを設定する。
 隆起頂上異常判定部753は、隆起頂上領域の特徴量をもとに、隆起頂上領域が異常部候補領域か否かを判定する。分割沈降領域異常判定部754は、分割沈降領域の特徴量をもとに、分割沈降領域が異常部候補領域か否かを判定する。異常部候補検出部755は、隆起領域において、その画素隆起モデルから外れた画素を異常部候補領域の構成画素として検出するとともに、分割沈降領域において、その画素沈降モデルから外れた画素を異常部候補領域の構成画素として検出する。異常判定部756は、異常部候補領域の特徴量をもとに、異常部候補領域が異常部か否かを判定する。
 制御部76は、CPU等のハードウェアによって実現される。この制御部76は、外部インターフェース71を介して取得される画像データや入力部72から入力される操作信号、記憶部74に格納されるプログラムやデータ等に基づいて画像処理装置70を構成する各部への指示やデータの転送等を行い、画像処理装置70全体の動作を統括的に制御する。
 図3は、画像処理装置70の演算部75が行う演算処理手順を示すフローチャートである。なお、ここで説明する処理は、演算部75が記憶部74に格納された画像処理プログラム741を読み出して実行することによって実現される。
 図3に示すように、演算部75は、先ず、外部インターフェース71および制御部76を介して画像(管空内画像)を取得する(ステップa1)。図4は、ステップa1で取得される画像(管空内画像)の一例を示す図である。カプセル型内視鏡3によって撮像される管空内画像には、対象物である体内器官内壁の粘膜構造や、この管空内を浮遊する内容物、泡等が映るとともに、時として病変等の重要箇所が映る。ここで、体内器官内壁の粘膜構造には、体内器官やその内壁粘膜の折りたたみ、うねり等による隆起形状または沈降形状が含まれる。
 続いて、図3に示すように、隆起形状推定処理に移る(ステップa3)。図5は、隆起形状推定処理の詳細な処理手順を示すフローチャートである。
 隆起形状推定処理では先ず、隆起頂上推定部751aが、領域分割部として、管空内画像を構成する各画素について例えばそのR(赤),G(緑),B(青)の画素値に基づいたクラスタリングを行う(ステップb1)。ここで、クラスタリングの手法としては、例えばk-means法によるクラスタリング(参考:CG-ARTS協会,ディジタル画像処理,P232)や、EMアルゴリズムを用いた混合分布の推定によるクラスタリング(参考:Maximum Likelihood from Incomplete Data via the EM Algorithm(A.PDempster,et.al,Journal of the Royal Statistical Society.Series B(Methodological),Vol.39,No.1.(1977),pp.1-38.)等、公知の手法を用いることができる。
 続いて、隆起頂上推定部751aは、クラスタリングの結果をもとに、取得した画像の各画素にラベルを付与し、ラベリング画像を作成する(ステップb3)。図6は、ラベリング画像の一例を示す図である。例えば、隆起頂上推定部751aは、各クラスタの重心の輝度値に従って、輝度値の大きい順に各クラスタにラベル(1,2,3・・・)を割り振る。そして、隆起頂上推定部751aは、各画素に、その画素が属するクラスタに割り振られたラベルを画素値として付与する。これによって、図6に示すように、クラスタ毎のラベル領域に領域分けされたラベリング画像が得られる。なお、得られたラベル領域のうち、予め設定される所定の面積より小さいラベル領域については、以降の処理の対象から除外する。以下、以降の処理で対象とする領域を「処理対象領域」と呼ぶ。
 続いて、隆起頂上推定部751aは、図5に示すように、ラベリング画像をもとに処理対象領域内の隆起頂上領域を推定する(ステップb5)。具体的には、隆起頂上推定部751aは、ラベリング画像を構成する各ラベル領域の中から、それ自身のラベルよりも大きいラベルのラベル領域で囲まれたラベル領域を抽出し、隆起頂上領域とする。
 図7は、図6に示したラベリング画像から推定した隆起頂上領域L11~L13,L15,L16を示す図である。図7に示すように、自身のラベルが“1”であり、周囲のラベルが“2”であるラベル領域L11~L13や、自身のラベルが“2”であり、周囲のラベルが“3”であるラベル領域L15,L16が隆起頂上領域として抽出される。なお、ここでは、ラベルの小さいものから順に隆起頂上領域の抽出を行い、隆起頂上領域とされたラベル領域の周囲のラベル領域については抽出しない。例えば、自身のラベルが“3”であり、周囲のラベルが“4”であるラベル領域L17等も自身のラベルより大きいラベルが付与されたラベル領域で囲まれているが、このラベル領域L17は、隆起頂上領域として推定されたラベル領域L13の周囲のラベル領域であるので、このラベル領域L17については抽出しない。ただし、このラベル領域L17が隆起頂上領域かどうかの推定は後で行う。
 そして、図5に示すように、隆起頂上推定部751aによって推定された隆起頂上領域がある場合には(ステップb7:Yes)、ステップb9~ステップb13の処理に移り、この隆起頂上領域を頂上部分とする隆起領域に画素隆起モデルを設定する。なお、推定された隆起頂上領域が複数ある場合には、各隆起頂上領域それぞれについて、ステップb9~ステップb13の処理を行う。
 すなわち、ステップb9では、隆起頂上異常判定部753が、隆起頂上領域の異常判定を行い、予め設定される異常部候補条件を満たす隆起頂上領域を異常部候補領域として検出する。隆起頂上領域の異常判定に際しては、先ず、隆起頂上領域の特徴量を算出する。例えば、隆起頂上領域を構成する各画素のR値,G値,B値等の色調情報や、隆起頂上領域とその周囲の領域との色調の変化量、隆起頂上領域の形状等を隆起頂上領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、隆起頂上領域の異常判定を行う。基準指標としては、例えば、異常種類毎の特徴量の範囲を教師データとして定めておくことができる。この場合には、隆起頂上異常判定部753は、隆起頂上領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部候補条件としてその異常判定を行う。あるいは、正常なサンプルを用意して隆起頂上領域の特徴量を算出し、正常な隆起頂上領域の特徴量範囲を定めておくこととしてもよい。この場合には、隆起頂上異常判定部753は、隆起頂上領域の特徴量が正常な隆起頂上領域の特徴量範囲からどれだけ外れているかを異常部候補条件としてその異常判定を行う。
 続いて、画素隆起モデル推定部751bが、異常でないと判定された隆起頂上領域をもとに、その隆起頂上領域に設定する初期隆起モデルを作成する(ステップb11)。図8は、初期隆起モデルの作成原理を説明する説明図であり、隆起頂上領域L11について作成される初期隆起モデルMa11を示している。初期隆起モデルMa11の作成に際しては、先ず、隆起頂上領域L11の重心Paを算出する。次に、設定点配置部として、算出した隆起頂上領域L11の重心Paから図8中に二点鎖線で示すように放射状に設定される各方向と、隆起頂上領域L11の輪郭との交点を設定点の一例である端点Pbとする処理を行う。そして、重心Paと端点Pbとの間にそれぞれ中間点Pcを配置する。なお、配置する中間点の位置はこれに限定されるものではなく、予め設定される所定の間隔で中間点を配置するようにしてもよい。また、配置する中間点の数についても、端点と同数である必要はなく、適宜設定しておくことができる。
 そして、この重心、端点および中間点を用いて隆起領域のモデル化を行い、画素隆起モデルの初期形状である初期隆起モデルを作成する。ここで、隆起の頂上(頂点)付近は光源からの距離が近く、隆起の裾付近は光源からの距離が遠い。このため、隆起の頂上に近づくにつれて光源からの光の反射として表れる画素値(輝度値)は大きくなり、裾に近づくにつれて小さくなる。本実施の形態では、これを利用して隆起領域のモデル化を行い、重心、端点および中間点の各位置(x,y)に、各位置の推定画素値(z)を追加して隆起形状を3次元で表したものを「画素隆起モデル」と呼ぶ。すなわち、上記のようにして算出した重心、端点および中間点の各位置の推定画素値を求め、初期隆起モデルとする。重心、端点および中間点の各位置の推定画素値の算出に際しては、先ず、各位置それぞれについて、その近傍位置の画素を含む近傍領域のエッジ抽出を行う。エッジ抽出の手法としては、適宜公知の手法を用いることができるが、例えば、ソーベルフィルタを用いたエッジ抽出を行う(参考:CG-ARTS協会,ディジタル画像処理,P116-P117)。そして、この近傍領域の画素のうち、エッジ抽出によってエッジとして抽出された画素を除く画素値の平均値を算出し、各位置の推定画素値とする。
 続いて、図5に示すように、画素隆起モデル修正部751cが、初期隆起モデルを初期形状とする画素隆起モデルを修正し、隆起領域に設定する(ステップb13)。画素隆起モデル(初期隆起モデル)の修正は、動的輪郭モデルを用いて端点および中間点を移動させることによって行う。
 図9,図10は、画素隆起モデルMaの修正原理を説明する説明図であり、図10は、図9に示した画素隆起モデルMaの重心Paおよび端点Pbを通る断面を示している。ここで、図9に示すEinternalは、隣接する端点Pbと中間点Pcとを結ぶ直線の連続性や滑らかさのエネルギーを表す。このEinternalは、隣接する端点Pb間を結ぶ直線のなす角度θ11が小さいほどその値が小さくなるように、隣接する中間点Pc間を結ぶ直線のなす角度θ13が小さいほどその値が小さくなるように、あるいは中間点Pcを重心Paおよび隣接する端点Pbとそれぞれ結んだ直線のなす角度θ15が小さいほどその値が小さくなるように定義される。そして、Eexternalは、端点Pbおよび中間点Pcを移動させ、画素隆起モデルMaを画素勾配に沿って広げるエネルギーを表す。このEexternalは、端点Pbおよび中間点Pcが実際の画素値の勾配に沿いながら重心Paから離れていくほど、その値が小さくなるように定義される。また、図10に示すEimageは、エッジに対する端点Pbの適合性エネルギーを表すとともに、画素隆起モデルMaの推定画素値とこの画素隆起モデルMaが設定された隆起領域の図10中に破線で示す実際の画素値との画素値差分エネルギーを表す。このEimageは、端点Pbがソーベルフィルタ等を用いて抽出したエッジと適合しているほどその値が小さくなり、端点Pbおよび中間点Pcの推定画素値とこの端点Pbおよび中間点Pcの各位置における実際の画素値との差分絶対値が小さいほどその値が小さくなるように定義される。
 具体的には、動的輪郭モデルのエネルギーEuを次式(1)によって定める。そして、この動的輪郭モデルのエネルギーEuの値が最小となるように端点と中間点それぞれの位置および推定画素値を求める。α1,α2,α3は、所定の係数を表す。
  Eu=α1internal+α2external+α3image   ・・・(1)
 図11は、管空内画像の画素値分布G21の一例を示す図である。また、図12は、図11に示した画素値分布のA部断面図であり、A部断面における画素値分布G21とともに、このA部断面付近に設定された画素隆起モデルMa21の断面を示している。ここで、画素隆起モデルの重心と中間点との間の各画素や、中間点と端点との間の各画素の画素値(推定画素値)については、線形補間やスプライン曲面等で補間して求める。
 なお、隣接する端点と中間点との間が引き合うエネルギーを別途定義し、これを加味して画素隆起モデルを修正することとしてもよい。また、隆起領域の抽出手法は、上記した手法に限定されるものではない。例えば、予め所定の分布形状の画素隆起モデルを定義しておき、これらの混合分布によって画像が表現されると仮定して画素隆起モデルを修正するようにしてもよい。この場合には、隆起頂上領域の抽出を行わずにEMアルゴリズムを用いた混合分布の推定を行い、画素隆起モデルを修正する。
 図13は、図7に示した隆起頂上領域L11~L13,L15,L16をもとに設定した画素隆起モデルMa11~Ma13,Ma15,Ma16を示す図であり、図13中において、各画素隆起モデルMa11~Ma13,Ma15,Ma16の外形を破線で示すとともに、その重心Paおよび端点Pbを示している。ステップb9~ステップb13の処理の結果、図13に示すように、各隆起頂上領域L11~L13,L15,L16を拡張するような範囲をそれぞれ隆起領域とした画素隆起モデルMa11~Ma13,Ma15,Ma16が画像内に設定され、各隆起頂上領域L11~L13,L15,L16をそれぞれ頂上部分とした隆起形状が推定される。
 図5に戻り、画素隆起モデル修正部751cは、以上のようにして隆起形状を推定して画素隆起モデルを設定したならば、続いて、この隆起形状を推定して画素隆起モデルを設定した隆起領域を処理対象領域から除外する(ステップb15)。そして、ステップb5に移行し、隆起頂上推定部751aが、再度ラベリング画像をもとに隆起頂上領域を推定する。そして、隆起頂上領域が推定された場合には(ステップb7:Yes)、画素隆起モデルの設定を行う(ステップb9~ステップb13)。
 図14は、既に画素隆起モデルが設定された領域(隆起領域)L21~L23,L25,L26を除外して推定した隆起頂上領域L31,L32を示す図であり、図15は、図14に示した隆起頂上領域L31,L32をもとに設定した画素隆起モデルMa31,Ma32を示す図である。ここでの処理によって、図14に示すように、隆起領域L21~L23,L25,L26を除外した処理対象領域から、自身より大きなラベル番号に囲まれたラベル領域が隆起頂上領域L31,L32として抽出される。そして、図15に示すように、各隆起頂上領域L31,L32を拡張するような範囲をそれぞれ隆起領域とした画素隆起モデルMa31,Ma32が画像内に設定される。以上のように、処理対象領域内から隆起頂上領域とするラベル領域が抽出されなくなるまで処理を繰り返し、抽出されなければ(ステップb7:No)、図3のステップa3にリターンし、その後ステップa5に移行する。
 すなわち、ステップa5では、沈降形状推定処理に移る。図16は、沈降形状推定処理の詳細な処理手順を示す図である。
 沈降形状推定処理では先ず、沈降領域抽出部752aが、画像内の隆起領域を除く領域を、隣接する隆起領域間の沈降領域として抽出する(ステップc1)。続いて、沈降領域分割部752bが、沈降領域を分割する(ステップc3)。図17は、分割沈降領域を示す図である。沈降領域抽出部752aは、先ず、沈降領域を構成する各画素について、それぞれ最も近傍する隆起領域を選出する。そして、図17中に破線で示すように、選出した隆起領域が異なる境界位置を分割位置として、沈降領域を分割する。
 そして、図16に示すように、沈降領域分割部752bは、分割沈降領域をさらに細かく細分化する(ステップc5)。具体的には、分割沈降領域と接している隆起領域、すなわち、分割沈降領域を構成する各画素について選出された隆起領域に設定された画素隆起モデルの端点を用いて細分化する。例えば、分割沈降領域を、画素隆起モデルの各端点位置で沈降勾配方向に沿って分割することによって、細分化する。なお、各端点位置で分割する必要はなく、例えば2端点毎に分割する等してもよい。
 続いて、分割沈降領域異常判定部754が、分割され、細分化された分割沈降領域の異常判定を行い、予め設定される異常部候補条件を満たす分割沈降領域を異常部候補領域として検出する(ステップc7)。分割沈降領域の異常判定は、隆起頂上異常判定部753が行う異常判定と同様にして行うことができる。すなわち先ず、分割沈降領域の特徴量を算出する。例えば、分割沈降領域を構成する各画素のR値,G値,B値等の色調情報や、分割沈降領域と周囲の領域とその周囲の領域との色調変化量、分割沈降領域の形状等を分割沈降領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、分割沈降領域の異常判定を行う。例えば、基準指標として異常種類毎の特徴量の範囲を定めた教師データを用意しておく場合であれば、分割沈降領域異常判定部754は、分割沈降領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部候補条件としてその異常判定を行う。また、正常なサンプルを用意して分割沈降領域の特徴量を算出し、正常な分割沈降領域の特徴量範囲を基準指標として定めておく場合であれば、分割沈降領域異常判定部754は、分割沈降領域の特徴量が正常な分割沈降領域の特徴量範囲からどれだけ外れているかを異常部候補条件としてその異常判定を行う。
 続いて、画素沈降モデル推定部752cが、異常でないと判定された分割沈降領域をもとに、その分割沈降領域に設定する初期沈降モデルを作成する(ステップc9)。図18は、初期沈降モデルの作成原理を説明する説明図であり、細分化された分割沈降領域L41について作成される初期沈降モデルMb41を示している。初期沈降モデルMb41の作成に際しては、先ず、分割沈降領域L41の輪郭位置をもとに角を端点Pdとする。そして、各端点Pdの間に中間点Peを配置する。例えば、予め設定される所定間隔で中間点を配置することとしてもよいし、予め設定される所定数の中間点を配置することとしてもよい。そして、この端点および中間点を用いて沈降領域のモデル化を行い、画素沈降モデルの初期形状である初期沈降モデルを作成する。端点および中間点の各位置の推定画素値については、初期隆起モデルの作成と同様にして、先ず、各位置それぞれについて、その近傍位置の画素を含む近傍領域のエッジ抽出を行う。そして、この近傍領域の画素のうち、エッジ抽出によってエッジとして抽出された画素を除く画素値の平均値を算出し、各位置の推定画素値とする。
 続いて、図16に示すように、画素沈降モデル修正部752dが、初期沈降モデルを初期形状とする画素沈降モデルを修正し、分割沈降領域に設定する(ステップc11)。画素沈降モデル(初期沈降モデル)の修正は、動的輪郭モデルを用いて端点および中間点を移動させることによって行う。
 図19,図20は、画素沈降モデルMbの修正原理を説明する説明図であり、図20は、図19に示した画素沈降モデルMbの端点Pdおよびこの端点Pdと隣接する中間点Peを通る断面を示している。ここで、図19に示すEinternal_dは、隣接する端点Pdと中間点Peとを結ぶ直線の連続性や隣接する中間点Pe間を結ぶ直線の連続性や滑らかさのエネルギーを表す。このEinternal_dは、隣接する端点Pdと中間点Peとを結ぶ直線のなす角度θ21が小さいほどその値が小さくなるように、あるいは隣接する中間点Pe間を結ぶ直線のなす角度θ23が小さいほどその値が小さくなるように定義される。そして、図19および図20に示すEexternal_dは、中間点Peを画素勾配に沿って移動させるエネルギーを表す。このEexternal_dは、画素沈降モデル(初期沈降モデル)Mbにおける中間点Peの推定画素値が、この中間点Peの位置における実際の画素値に近づく向きへと画素値が変化するときにその値が小さくなるように、あるいは画素沈降モデル(初期沈降モデル)Mbにおける中間点Peの位置が、この位置を基準とした所定範囲内の画素のうちの周囲との変化量が少ない画素の方向に動くほどその値が小さくなるように定義される。また、図20に示すEimage_dは、画素沈降モデルMbの推定画素値とこの画素沈降モデルMbが設定された分割沈降領域の図20中に破線で示す実際の画素値との画素値差分エネルギーを表す。このEimage_dは、中間点Peの推定画素値とこの中間点Peの位置における実際の画素値との差分絶対値が小さくなるときにその値が小さくなるように定義される。
 具体的には、動的輪郭モデルのエネルギーEdを次式(2)によって定める。そして、この動的輪郭モデルのエネルギーEdの値が最小となるように端点と中間点それぞれの位置および推定画素値を求める。α5,α6,α7は、所定の係数を表す。
  Ed=α5internal_d+α6external_d+α7image_d   ・・・(2)
 図21は、管空内画像の画素値分布G51の一例を示す図である。また、図22は、図21に示した画素値分布のB部断面図であり、B部断面における画素値分布G51とともに、このB部断面付近に設定された画素沈降モデルMb51の断面を示している。ここで、画素沈降モデルの端点と中間点との間の各画素の画素値(補正画素値)については、線形補間やスプライン曲面等で補間して求める。この沈降形状推定処理を終えたならば、図3のステップa5にリターンし、その後ステップa7に移る。
 すなわち、ステップa7では、異常部候補検出部755が、異常部候補領域を検出する。異常部候補領域の検出に際しては、先ず、各隆起領域の実際の画素値をその画素隆起モデルと比較する。次に、実際の画素値と画素隆起モデルの推定画素値との差分が予め異常基準値範囲として設定される所定の閾値以上である場合に、画素値が画素隆起モデルから外れているとし、その画素を異常部候補領域の構成画素として検出する。図23~図25は、異常部候補領域の検出原理を説明する説明図である。ここで、図23は、管空内画像の一例を示している。また、図24は、図23に示した管空内画像内の領域C付近に設定された画素隆起モデルMa61の断面を示しており、画素隆起モデルMa61の断面とともに実際の画素値分布G61を示している。ここでの処理によって、図24中に矢印で示す位置の画素のように、その位置の画素の実際の画素値が画素隆起モデルの推定画素値から大きく外れている画素が、異常部候補領域の構成画素として検出される。同様にして、各分割沈降領域の実際の画素値をその画素沈降モデルと比較し、実際の画素値と画素沈降モデルの推定画素値との差分が予め異常基準値範囲として設定される所定の閾値以上である場合に、画素値が画素沈降モデルから外れているとし、その画素を異常部候補領域の構成画素として検出する。そして、抽出された異常部候補領域の構成画素について公知のラベリング処理を行い、連結している構成画素に固有のラベルを付与する(参考:CG-ARTS協会,ディジタル画像処理,P181-P182)。異常部候補検出部755は、このラベリング処理の結果同一のラベルが付与された領域を、それぞれ異常部候補領域として検出する。図25の例では、3つの異常部候補領域L71~L73が検出されている。
 続いて、異常判定部756が、図5のステップb9で異常部候補領域として検出された隆起頂上領域や、図16のステップc7で異常部候補領域として検出された分割沈降領域、図3のステップa7で検出された異常部候補領域について異常判定を行い、予め設定される異常部条件を満たす異常部候補領域を対象物上の異常部を映した領域と判定する(ステップa9)。異常判定は、異常部候補領域のR値,G値,B値等の色調情報や、異常部候補領域とその周囲の領域との色調の変化量、異常部候補領域の輪郭のエッジ強度、異常部候補領域の形状等を異常部候補領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、異常部候補領域の異常判定を行う。そして、基準指標として異常種類毎の特徴量の範囲を定めた教師データを用意しておく場合であれば、異常判定部756は、異常部候補領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部条件としてその異常判定を行う。また、正常なサンプルを用意して異常部候補領域の特徴量を算出し、正常な異常部候補領域の特徴量範囲を基準指標として定めておく場合であれば、異常判定部756は、異常部候補領域の特徴量が正常な異常部候補領域の特徴量範囲からどれだけ外れているかを異常部条件としてその異常判定を行う。
 そして、演算部75が、異常判定の結果を出力し(ステップa11)、演算処理を終える。例えば、演算部75は、異常と判定された隆起頂上領域や分割沈降領域、異常部候補領域を示した画像を生成する等して、異常と判定された画像上の位置を制御部76を介して表示部73に表示出力する制御を行う。
 以上説明したように、本実施の形態によれば、画像内の画素値の勾配変化をモデル化した画素隆起モデルを画像内に設定することによって、この画像に映る粘膜構造の折りたたみやうねり等による隆起形状を推定することができる。また、画素沈降モデルを画像内に設定することによって、この画像に映る粘膜構造の沈降形状を推定することができる。そして、隆起領域の実際の画素値をその画素隆起モデルと比較し、実際の画素値と画素隆起モデルの推定画素値との差が大きく、画素値が画素隆起モデルから外れている場合に、その画素を異常部候補領域の構成画素として検出することができる。また、沈降領域の実際の画素値をその画素沈降モデルと比較し、実際の画素値と画素沈降モデルの推定画素値との差が大きく、画素値が画素沈降モデルから外れている場合に、その画素を異常部候補領域の構成画素として検出することができる。そして、検出された異常部候補領域のうち、予め設定される異常部条件を満たす異常部候補領域を粘膜構造上の異常部を映した領域と判定することができる。したがって、管空内画像の粘膜構造上に映る異常部の候補領域を、粘膜構造の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。
 なお、上記した実施の形態では、隆起形状を推定した後で沈降形状を推定する場合について説明したが、沈降形状を先に推定することとしてもよい。この場合には、画像内の画素値をクラスタリングし、このクラスタリングの結果をもとに各画素にラベルを付与してラベリング画像を作成した後、このラベリング画像をもとに沈降底部領域を推定する。具体的には、ラベリング画像を構成する各ラベル領域の中から、それ自身のラベルよりも小さいラベルのラベル領域で囲まれたラベル領域(周囲より輝度値が低いラベル領域)を抽出し、沈降底部領域とする。そして、この沈降底部領域をもとに初期沈降モデルを作成し、これを修正して画素沈降モデルを設定する。また、隆起形状を推定する際には、画素沈降モデルを設定した沈降領域を除外した画像内の領域について画素隆起モデルの設定を行う。
 また、上記した実施の形態では、カプセル型内視鏡が体内管空内を移動しながら撮像した体腔内画像を処理し、この体腔内画像に映る粘膜構造上の異常部の候補領域を検出する場合について説明したが、処理可能な画像はカプセル内視鏡が撮像した管空内画像に限定されるものではなく、対象物を撮像した画像から対象物上の異常部を検出する場合に同様に適用できる。
 以上のように、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法は、対象物を撮像した画像内の異常部候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出するのに適している。
 3   カプセル型内視鏡
 4   受信装置
 A1~An   受信用アンテナ
 5   可搬型記録媒体
 70   画像処理装置
 71   外部インターフェース
 72   入力部
 73   表示部
 74   記憶部
 741   画像処理プログラム
 75   演算部
 751   隆起形状推定部
 751a   隆起頂上推定部
 751b   画素隆起モデル推定部
 751c   画素隆起モデル修正部
 752   沈降形状推定部
 752a   沈降領域抽出部
 752b   沈降領域分割部
 752c   画素沈降モデル推定部
 752d   画素沈降モデル修正部
 753   隆起頂上異常判定部
 754   分割沈降領域異常判定部
 755   異常部候補検出部
 756   異常判定部
 76   制御部
 1   被検体

Claims (25)

  1.  対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定部と、
     前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出部と、
     を備えることを特徴とする画像処理装置。
  2.  前記モデル推定部は、前記対象物の隆起形状を映した前記画像内の隆起領域における画素値の勾配変化をモデル化し、前記隆起領域に隆起勾配モデルを設定することを特徴とする請求項1に記載の画像処理装置。
  3.  前記モデル推定部は、
     前記隆起勾配モデルの初期隆起勾配モデルを設定する初期隆起勾配モデル設定部と、
     前記初期隆起勾配モデルが設定された前記画像内の領域を構成する画素の画素値をもとに、前記初期隆起勾配モデルを初期状態とした前記隆起勾配モデルの修正を行う隆起勾配モデル修正部と、
     を有することを特徴とする請求項2に記載の画像処理装置。
  4.  前記隆起形状の頂上領域を検出し、前記隆起形状を映した前記画像内の隆起領域の概略位置として推定する隆起頂上推定部を備えることを特徴とする請求項3に記載の画像処理装置。
  5.  前記初期隆起勾配モデル設定部は、前記頂上領域をもとに前記初期隆起勾配モデルを設定することを特徴とする請求項4に記載の画像処理装置。
  6.  前記隆起頂上推定部は、前記画像内を画素値をもとに領域分割する領域分割部を有し、前記領域分割部によって分割された領域毎に画素値を比較して、周囲の領域よりも画素値が大きい領域を前記頂上領域として検出することを特徴とする請求項4または5に記載の画像処理装置。
  7.  前記領域分割部は、前記画像内の画素値をクラスタリングして領域分割を行うことを特徴とする請求項6に記載の画像処理装置。
  8.  前記領域分割部は、k-means法を適用して前記画素値のクラスタリングを行うことを特徴とする請求項7に記載の画像処理装置。
  9.  前記領域分割部は、前記画像内の画素値の分布を混合分布によって推定し、前記画素値のクラスタリングを行うことを特徴とする請求項7に記載の画像処理装置。
  10.  前記隆起勾配モデル修正部は、動的輪郭モデルを用いて前記隆起勾配モデルを変形させることを特徴とする請求項3~9のいずれか1つに記載の画像処理装置。
  11.  前記頂上領域の特徴量を算出し、該算出した特徴量が所定の異常部候補条件を満たす頂上領域を前記異常部の候補領域として検出する隆起頂上異常判定部を備えることを特徴とする請求項4~10のいずれか1つに記載の画像処理装置。
  12.  前記異常部候補検出部は、前記隆起領域を構成する各画素の画素値と、該隆起領域に設定された隆起勾配モデルによって定まる前記隆起領域を構成する各画素の推定画素値との差分をもとに、該差分が所定の異常基準値範囲内である画素を前記異常部の候補領域の構成画素として検出することを特徴とする請求項2~11のいずれか1つに記載の画像処理装置。
  13.  前記モデル推定部は、前記対象物の沈降形状を映した前記画像内の沈降領域における画素値の勾配変化をモデル化し、前記沈降領域に沈降勾配モデルを設定することを特徴とする請求項2~12のいずれか1つに記載の画像処理装置。
  14.  前記モデル推定部は、
     前記沈降勾配モデルの初期沈降勾配モデルを設定する初期沈降勾配モデル設定部と、
     前記初期沈降勾配モデルが設定された前記画像内の領域を構成する画素の画素値をもとに、前記初期沈降勾配モデルを初期状態とした前記沈降勾配モデルの修正を行う沈降勾配モデル修正部と、
     を有することを特徴とする請求項13に記載の画像処理装置。
  15.  前記画像内の前記沈降領域を抽出する沈降領域抽出部を備えることを特徴とする請求項13または14に記載の画像処理装置。
  16.  前記沈降領域抽出部は、前記隆起勾配モデルが設定された隆起領域を除外した前記画像内の領域を前記沈降領域として抽出することを特徴とする請求項15に記載の画像処理装置。
  17.  前記沈降領域を構成する各画素についてそれぞれ最も近傍する隆起領域を選出し、選出した隆起領域が異なる境界位置を分割位置として前記沈降領域を分割する沈降領域分割部を備えることを特徴とする請求項13~16のいずれか1つに記載の画像処理装置。
  18.  前記隆起領域の輪郭位置に所定数または所定間隔で設定点を配置する設定点配置部を備え、
     前記沈降領域分割部は、前記分割された沈降領域を構成する各画素について選出された隆起領域について前記設定点配置部が設定した前記設定点を用い、前記分割された沈降領域をさらに分割することを特徴とする請求項17に記載の画像処理装置。
  19.  前記モデル推定部は、前記沈降領域分割部によって分割された沈降領域毎に前記沈降勾配モデルを設定することを特徴とする請求項17または18に記載の画像処理装置。
  20.  前記沈降勾配モデル修正部は、動的輪郭モデルを用いて前記沈降勾配モデルを変形させることを特徴とする請求項14~19のいずれか1つに記載の画像処理装置。
  21.  前記沈降領域の特徴量を算出し、該算出した特徴量が所定の異常部候補条件を満たす分割沈降領域を前記異常部の候補領域として検出する沈降領域異常判定部を備えることを特徴とする請求項14~20のいずれか1つに記載の画像処理装置。
  22.  前記異常部候補検出部は、前記沈降領域を構成する各画素の画素値と、該沈降領域に設定された沈降勾配モデルによって定まる前記沈降領域を構成する各画素の推定画素値との差分をもとに、該差分が所定の異常基準値範囲内である画素を前記異常部の候補領域の構成画素として検出することを特徴とする請求項14~21のいずれか1つに記載の画像処理装置。
  23.  前記異常部の候補領域の特徴量を算出し、該算出した特徴量が所定の異常部条件を満たす前記異常部の候補領域を前記対象物上の異常部と判定する異常判定部を備えることを特徴とする請求項1~22のいずれか1つに記載の画像処理装置。
  24.  コンピュータに、
     対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定手順と、
     前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出手順と、
     を実行させることを特徴とする画像処理プログラム。
  25.  対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定ステップと、
     前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出ステップと、
     を含むことを特徴とする画像処理方法。
PCT/JP2009/060643 2008-06-17 2009-06-10 画像処理装置、画像処理プログラムおよび画像処理方法 WO2009154125A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200980123042.1A CN102065744B (zh) 2008-06-17 2009-06-10 图像处理装置及图像处理方法
EP09766573.1A EP2305091B1 (en) 2008-06-17 2009-06-10 Image processing apparatus, image processing program, and image processing method
US12/971,500 US8478010B2 (en) 2008-06-17 2010-12-17 Image processing apparatus, image processing program recording medium, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-158389 2008-06-17
JP2008158389A JP5424584B2 (ja) 2008-06-17 2008-06-17 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/971,500 Continuation US8478010B2 (en) 2008-06-17 2010-12-17 Image processing apparatus, image processing program recording medium, and image processing method

Publications (1)

Publication Number Publication Date
WO2009154125A1 true WO2009154125A1 (ja) 2009-12-23

Family

ID=41434041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/060643 WO2009154125A1 (ja) 2008-06-17 2009-06-10 画像処理装置、画像処理プログラムおよび画像処理方法

Country Status (5)

Country Link
US (1) US8478010B2 (ja)
EP (1) EP2305091B1 (ja)
JP (1) JP5424584B2 (ja)
CN (1) CN102065744B (ja)
WO (1) WO2009154125A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243762A (zh) * 2010-05-11 2011-11-16 奥林巴斯株式会社 图像处理装置以及图像处理方法
EP2423875A1 (en) * 2010-08-24 2012-02-29 Olympus Corporation Image processing apparatus, image processing method, and image processing program
EP2423876A1 (en) * 2010-08-24 2012-02-29 Olympus Corporation Image processing apparatus, image processing method, and image processing program
CN102436638A (zh) * 2010-08-24 2012-05-02 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102737388A (zh) * 2011-03-31 2012-10-17 奥林巴斯株式会社 图像处理装置以及图像处理方法
US8666135B2 (en) 2011-07-12 2014-03-04 Olympus Medical Systems Corp. Image processing apparatus
US8792697B2 (en) 2011-09-08 2014-07-29 Olympus Medical Systems Corp. Image processing apparatus and image processing method
WO2017006574A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 画像処理装置、画像判別システム、及び内視鏡システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213698B2 (en) * 2006-09-19 2012-07-03 Capso Vision Inc. Systems and methods for capsule camera control
EP2169415A1 (en) * 2008-09-30 2010-03-31 Siemens Schweiz AG Method for automatic quality control of in-vivo human brain MRI images
JP5011452B2 (ja) * 2010-04-12 2012-08-29 オリンパスメディカルシステムズ株式会社 医用画像処理装置および医用画像処理装置の制御方法
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5622461B2 (ja) 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5800626B2 (ja) * 2011-07-29 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6196760B2 (ja) * 2012-08-10 2017-09-13 オリンパス株式会社 画像処理装置
EP3045104A4 (en) * 2013-09-13 2017-04-26 Olympus Corporation Image processing device, method, and program
WO2015129062A1 (ja) * 2014-02-28 2015-09-03 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2018216629A1 (ja) 2017-05-22 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7113657B2 (ja) * 2017-05-22 2022-08-05 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099896A (ja) 2000-09-22 2002-04-05 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
JP2002257534A (ja) * 2001-03-02 2002-09-11 Mazda Motor Corp 画像処理装置及びその処理方法
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289374A (en) * 1992-02-28 1994-02-22 Arch Development Corporation Method and system for analysis of false positives produced by an automated scheme for the detection of lung nodules in digital chest radiographs
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
US7553276B2 (en) * 2001-01-16 2009-06-30 Given Imaging Ltd. Method and device for imaging body lumens
IL159451A0 (en) * 2001-06-20 2004-06-01 Given Imaging Ltd Motility analysis within a gastrointestinal tract
US7634305B2 (en) * 2002-12-17 2009-12-15 Given Imaging, Ltd. Method and apparatus for size analysis in an in vivo imaging system
JP4823659B2 (ja) * 2005-11-24 2011-11-24 オリンパスメディカルシステムズ株式会社 生体内画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099896A (ja) 2000-09-22 2002-04-05 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
JP2002257534A (ja) * 2001-03-02 2002-09-11 Mazda Motor Corp 画像処理装置及びその処理方法
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A.P. DEMPSTER ET AL., JOURNAL OF THE ROYAL STATISTICAL SOCIETY. SERVICE B, vol. 39, no. 1, 1977, pages 1 - 38
CG-ARTS ASSOCIATION, DIGITAL IMAGE PROCESS, pages 181 - 182
See also references of EP2305091A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243762A (zh) * 2010-05-11 2011-11-16 奥林巴斯株式会社 图像处理装置以及图像处理方法
US8620043B2 (en) 2010-08-24 2013-12-31 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
US8620042B2 (en) 2010-08-24 2013-12-31 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
CN102376091A (zh) * 2010-08-24 2012-03-14 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102376092A (zh) * 2010-08-24 2012-03-14 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102436638A (zh) * 2010-08-24 2012-05-02 奥林巴斯株式会社 图像处理装置以及图像处理方法
EP2423875A1 (en) * 2010-08-24 2012-02-29 Olympus Corporation Image processing apparatus, image processing method, and image processing program
EP2423876A1 (en) * 2010-08-24 2012-02-29 Olympus Corporation Image processing apparatus, image processing method, and image processing program
EP2506212A3 (en) * 2011-03-31 2013-11-20 Olympus Corporation Image processing apparatus, image processing method, and image processing program
CN102737388A (zh) * 2011-03-31 2012-10-17 奥林巴斯株式会社 图像处理装置以及图像处理方法
US8774521B2 (en) 2011-03-31 2014-07-08 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording device
US8666135B2 (en) 2011-07-12 2014-03-04 Olympus Medical Systems Corp. Image processing apparatus
US8792697B2 (en) 2011-09-08 2014-07-29 Olympus Medical Systems Corp. Image processing apparatus and image processing method
WO2017006574A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 画像処理装置、画像判別システム、及び内視鏡システム
JPWO2017006574A1 (ja) * 2015-07-03 2017-07-06 オリンパス株式会社 画像処理装置及び内視鏡システム

Also Published As

Publication number Publication date
JP5424584B2 (ja) 2014-02-26
EP2305091B1 (en) 2017-05-10
EP2305091A1 (en) 2011-04-06
EP2305091A4 (en) 2016-04-06
US8478010B2 (en) 2013-07-02
US20110085717A1 (en) 2011-04-14
JP2009297450A (ja) 2009-12-24
CN102065744B (zh) 2014-01-08
CN102065744A (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
JP5424584B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US8811698B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5959168B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN105719324B (zh) 图像处理装置以及图像处理方法
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5622461B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5597049B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5526044B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2010113616A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8385614B2 (en) Slice image display apparatus, method and recording-medium having stored therein program
JP2009291415A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP5757724B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
EP2584526B1 (en) Image processing device, image processing method, and image processing program
JP2010069208A (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP2006166990A (ja) 医用画像処理方法
JP2010142375A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2005211439A (ja) 異常陰影表示装置およびそのプログラム
Pan et al. Nasopharyngeal Organ Segmentation Algorithm Based on Dilated Convolution Feature Pyramid
Klepaczko et al. Local polynomial approximation for unsupervised segmentation of endoscopic images
Sánchez et al. Technical Context for Intelligent Systems in Colonoscopy
JP4856275B2 (ja) 医用画像処理装置
CN117593564A (zh) 一种喉内镜图像的病灶识别方法和系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980123042.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09766573

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2009766573

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009766573

Country of ref document: EP