JP5800626B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、生体を撮像した画像に対して画像処理を施す画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、患者の管腔内を非侵襲に観察可能な医用観察装置として、内視鏡が広く普及している。最近では、被検体内に導入され、蠕動運動により管腔内を進行しつつ撮像を行うカプセル型内視鏡も浸透してきている。

一方、このような医用観察装置を用いた診断は、ユーザ（医師等）にとっては多くの経験が必要とされると共に、負担の大きい作業でもある。特に、カプセル型内視鏡を用いた検査においては、例えば８時間程度に渡って数万枚の管腔内画像が取得されるため、大量の管腔内画像から病変部等を識別する作業は非常に困難である。このため、診断を補助する様々な医療診断支援機能が望まれており、支援機能を実現する画像認識技術の１つとして、管腔内画像から自動的に異常部（注目領域）を検出し、重点的に診断すべき画像を示す技術が提案されている。

例えば、特許文献１には、入力された画像における色調に基づく特徴量を算出し、この特徴量に基づいて上記画像における異常所見領域を決定する画像処理方法が開示されている。

特開２００５−１９２８８０号公報

ところで、管腔内画像から検出された異常部は、周囲と何らかの特性が異なるために検出された部分であり、必ずしも病変部であるとは限らない。このため、異常部には、医師が診断時に優先的に確認すべきものとそうでないものが存在する。このような優先度を判断する際の異常部の分類にあたっては、例えば異常部の面積や色の濃淡が一つの指針とされている。しかしながら、従来の画像処理装置を用いた異常部の検出方法においては、画像内に映った異常部内部の一部しか検出されない場合があるため、画像処理装置は、検出された部分のみの情報では、当該異常部を優先的にユーザが確認すべきか否かを判定してユーザに対して表示することができず、ユーザは基本的に検出された全ての異常部を確認することが求められていた。

本発明は、上記に鑑みて為されたものであって、画像から検出された注目領域が優先的に確認すべきものであるか否かを判定することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内に含まれる注目領域を複数の分類項目に分類する画像処理装置において、前記注目領域の少なくとも一部を検出して初期領域として設定する初期領域検出手段と、前記初期領域を拡張することにより拡張領域を検出する拡張領域検出手段と、前記初期領域及び前記拡張領域の特徴量を算出し、該特徴量に基づいて前記注目領域が前記複数の分類項目の内のいずれに相当するかを判定する領域判定手段とを備えることを特徴とする。

本発明に係る画像処理方法は、画像内に含まれる注目領域を複数の分類項目に分類する画像処理方法において、前記注目領域の少なくとも一部を検出して初期領域として設定する初期領域検出ステップと、前記初期領域を拡張することにより拡張領域を検出する拡張領域検出ステップと、前記初期領域及び前記拡張領域の特徴量を算出し、該特徴量に基づいて前記注目領域が前記複数の分類項目の内のいずれに相当するかを判定する領域判定ステップとを含むことを特徴とする。

本発明に係る画像処理プログラムは、画像内に含まれる注目領域を複数の分類項目に分類する処理をコンピュータに実行させる画像処理プログラムにおいて、前記注目領域の少なくとも一部を検出して初期領域として設定する初期領域検出ステップと、前記初期領域を拡張することにより拡張領域を検出する拡張領域検出ステップと、前記初期領域及び前記拡張領域の特徴量を算出し、該特徴量に基づいて前記注目領域が前記複数の分類項目の内のいずれに相当するかを判定する領域判定ステップとを含むことを特徴とする。

本発明によれば、画像内に含まれる注目領域の少なくとも一部を検出して初期領域として設定すると共に、該初期領域を拡張した拡張領域を検出し、初期領域及び拡張領域の特徴量に基づいて、上記異常部を含む注目領域が複数の分類項目のいずれかに相当するかを判別するので、ユーザは、当該注目領域が優先的に観察すべきものであるか否かを容易に判断することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、異常部の分類項目と確認優先度との関係を示す表である。 図３は、図１に示す画像処理装置の動作を示すフローチャートである。 図４は、図１に示す初期領域検出部が実行する詳細な処理を示すフローチャートである。 図５は、管腔内画像から検出された初期領域を拡張する概念を模式的に示す図である。 図６は、図１に示す拡張領域検出部が実行する詳細な処理を示すフローチャートである。 図７は、図１に示す領域判定部が実行する詳細な処理を示すフローチャートである。 図８（ａ）は、拡張領域が異常部の内部に留まっている場合を示す模式図であり、図８（ｂ）は、その際の色特徴量の変化を示すグラフである。 図９（ａ）は、拡張領域が異常部を超えて拡張した場合を示す模式図であり、図９（ｂ）は、その際の色特徴量の変化を示すグラフである。 図１０は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１１は、図１０に示す拡張領域検出部が実行する詳細な処理を示す模式図である。 図１２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１３は、図１２に示す領域判定部が実行する詳細な処理を示すブロック図である。 図１４（ａ）は、拡張領域が異常部の内部に留まっている場合を示す模式図であり、図１４（ｂ）は、その際の色特徴量の変化を示すグラフである。 図１５（ａ）は、拡張領域が異常部を超えて拡張した場合を示す模式図であり、図１５（ｂ）は、その際の色特徴量の変化を示すグラフである。

以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置を用いて被検体の管腔内を撮像することにより取得された管腔内画像（以下、単に画像ともいう）に対する処理を説明する。この管腔内画像は、例えば、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
なお、本発明は、管腔内画像に限定されることなく、他の一般的な画像取得装置によって取得された画像に対して広く適用することができる。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、カプセル内視鏡等の医用観察装置によって撮像された一連の画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に格納された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

画像取得部２０は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録媒体に記録された画像データを読み出すリーダ装置により構成される。また、医用観察装置により撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等によって構成され、サーバとデータ通信を行うことにより画像データを取得する。或いは、画像取得部２０を、内視鏡等の医用観察装置からケーブルを介して画像信号を入力するインターフェース装置等により構成しても良い。

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像から周囲とは何らかの特性が異なる注目領域（以下、異常部という）を検出し、当該異常部が所定の複数の分類項目のいずれに分類されるかを判定する画像処理プログラム５１を記録する。

図２は、異常部の分類項目と、ユーザが診断の際に確認すべき画像の優先度（確認優先度）との関係を示す表である。ここで、異常部は、一例として、面積の大小及び周囲との色（例えば赤色）の濃度差の大小に基づいて分類することができる。この内、面積の大きい異常部の確認優先度は、濃度差の大小によらず高い。一方、面積の小さい異常部については、濃度差の大きい（周囲よりも著しく色が濃い又は薄い）異常部の確認優先度は高いが、濃度差の小さい異常部の確認優先度は、前者に比べると低い。そこで、本実施の形態においては、管腔内画像から検出された異常部を、面積の大きい異常部、面積が小さく周囲との濃度差の大きい異常部、及び面積が小さく周囲との濃度差の小さい異常部の３項目に分類する。なお、面積の大／小の閾値、及び濃度差の大／小の閾値は、ユーザの経験等に基づいて設定される。

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像に対応する画像データに画像処理を施し、画像内から検出した異常部を上記３つの分類項目に分類するための種々の演算処理を行う。

次に、演算部１００の詳細な構成について説明する。
図１に示すように、演算部１００は、画像内の異常部に対応する領域を初期領域として検出する初期領域検出部１１０と、初期領域を拡張することにより拡張領域を検出する拡張領域検出部１２０と、初期領域及び拡張領域の特徴量に基づいて、上記異常部を含む注目領域が分類項目の何れに相当するかを判定する領域判定部１３０とを備える。

拡張領域検出部１２０は、初期領域を統合領域の初期状態として設定し、該統合領域に隣接する隣接領域を特定する隣接領域特定部１２１と、統合領域及び隣接領域の特徴量に基づいて、隣接領域を統合領域に統合するべきか否かを判定する統合判定部１２２と、統合領域の面積に基づいて、上記隣接領域の上記統合領域への統合を終了するか否かを判定する終了判定部１２３とを有する。より詳細には、統合判定部１２２は、統合領域と隣接領域との間のエッジ強度を算出するエッジ強度算出部１２２ａ、及び統合領域と隣接領域との間の色特徴量の差分を算出する色特徴量差分算出部１２２ｂを含み、エッジ強度及び色特徴量の差分を基に隣接領域を統合領域に統合するべきか否かを判定する。

領域判定部１３０は、初期領域における特徴量（以下、初期領域特徴量という）を算出する初期領域特徴量算出部１３１と、拡張領域における特徴量（以下、拡張領域特徴量という）を算出する拡張領域特徴量算出部１３２と、初期領域特徴量と拡張領域特徴量との差分を算出する差分算出部１３３とを有し、差分算出部１３３により算出された差分を基に、注目領域が分類項目の何れに相当するかを判定する。この内、初期領域特徴量算出部１３１は、初期領域における色特徴量の平均値（以下、平均色特徴量ともいう）を算出する平均色特徴量算出部１３１ａを含む。また、拡張領域特徴量算出部１３２は、拡張領域における色特徴量の平均値（以下、平均色特徴量ともいう）を算出する平均色特徴量算出部１３２ａを含む。

次に、図１に示す画像処理装置１の動作について説明する。図３は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、画像取得部２０は、医用観察装置によって撮像された一連の管腔内画像の画像データを取得して記録部５０に格納する。演算部１００は、画像処理を施す画像に対応する画像データを記録部５０から順次読み込む。

続くステップＳ１１において、初期領域検出部１１０は、画像から異常部を検出し、検出した異常部を初期領域として設定する。ここで検出される異常部は、画像に映った異常部の全体であっても良いし、画像に映った異常部内部の一部のみであっても構わない。異常部の検出方法として公知の様々な方法を利用することができる。以下においては一例として、管腔内画像に含まれる各画素の特徴量に基づいて異常部を検出する方法を説明する。

図４は、ステップＳ１１における詳細な処理を示すフローチャートである。
まず、ステップＳ１１０において、初期領域検出部１１０は、管腔内画像に含まれる各画素の特徴量を取得又は算出する。特徴量としては、各画素のＲ、Ｇ、Ｂ成分の値や、これらの成分をもとに２次的に計算される輝度、色差、色相、彩度、明度、色比等の値を用いることができる。本実施の形態１においては、特徴量として色度Ｃ_Ｒ＝ｒ／（ｒ＋ｇ＋ｂ）、及びＣ_Ｇ＝ｇ／（ｒ＋ｇ＋ｂ）を用いる（ｒ、ｇ、ｂは、それぞれ、画素のＲ、Ｇ、Ｂ各成分の値）。ここで、通常、管腔内画像の色調変化は、光の吸収変動、具体的には血液中のヘモグロビンの吸収帯域（波長）に最も依存する。そのため、管腔内画像における粘膜色調が赤色調であれば、前者のＣ_Ｒの値が相対的に大となり、後者のＣ_Ｇの値が小となる。また、褪色等により粘膜色調が白色調であれば、相対的に後者のＣ_Ｇの値が上昇する。

続くステップＳ１１１において、初期領域検出部１１０は、各画素を特徴量Ｃ_Ｒ及びＣ_Ｇを２軸とする特徴空間に投影し、特徴量分布をクラスタリングする。

ステップＳ１１２において、初期領域検出部１１０は、クラスタリングの結果生成されたクラスタの内から、異常な色調を反映したクラスタ（異常部クラスタ）を検出する。異常部クラスタの検出は、例えば、各クラスタの重心座標を所定の閾値と比較することにより検出することができる。

ステップＳ１１３において、初期領域検出部１１０は、異常部クラスタに含まれる画素からなる画像上の領域を検出し、これを初期領域とする。図５（ａ）は、画像処理対象の画像Ｇ０から検出された初期領域Ｄを示す模式図である。
なお、異常部の検出方法の詳細については、例えば特開２００５−１９２８８０号公報を参照されたい。
この後、処理はメインルーチンに戻る。

ステップＳ１２において、統合判定部１２２は、図５（ｂ）に示すように、初期領域Ｄに対して所定の統合条件に基づき隣接する画素を統合することにより、初期領域Ｄを拡張した拡張領域Ｅを検出する。

図６は、ステップＳ１２における詳細な処理を示すフローチャートである。
最初に、ステップＳ１２０において、拡張領域検出部１２０は、初期領域Ｄを統合領域の初期状態として設定する。

続いて、拡張領域検出部１２０は、設定された統合領域に隣接する画素（以下、隣接画素ともいう）の全てに対し、ループＡの処理を実行する。
まず、ステップＳ１２１において、隣接領域特定部１２１は、統合領域の隣接画素を探索する。

ステップＳ１２２において、エッジ強度算出部１２２ａは、探索された隣接画素と統合領域との間のエッジ強度を算出する。実施の形態１においては、隣接画素と、統合領域内の画素であって隣接画素と隣り合う画素とのＲ成分の値の差分をエッジ強度とする。

ステップＳ１２３において、色特徴量差分算出部１２２ｂは、隣接画素と統合領域との間の色特徴量の差分を算出する。実施の形態１においては、色特徴量としてＲ成分とＧ成分の比率であるＧ／Ｒ値を用い、隣接画素のＧ／Ｒ値と、統合領域内に含まれる画素の平均Ｇ／Ｒ値との差分を算出する。

ステップＳ１２４において、統合判定部１２２は、ステップＳ１２２において算出されたエッジ強度が所定の閾値Ｔｈ＿ｅｄｇｅ以下であり、且つ、ステップＳ１２３において算出された色特徴量の差分が所定の閾値Ｔｈ＿ｃｈ以下であるか否かを判定する。ここで、エッジ強度が閾値Ｔｈ＿ｅｄｇｅより大きくなる状況としては、例えば判定対象である隣接画素と統合領域との間に構造的な境界が存在する場合が考えられる。また、色特徴量の差分が閾値Ｔｈ＿ｃｈより大きくなる状況としては、例えば判定対象である隣接画素と統合領域との間に色の濃い領域とそうでない領域との境界が存在する場合が考えられる。ステップＳ１２４における判定は、このような構造の境界や色の境界を挟む隣接画素を統合領域に含めないために行われる。

エッジ強度及び色特徴量の差分が共に閾値以下であると判定された場合（ステップＳ１２４：Ｙｅｓ）、拡張領域検出部１２０は、判定対象の隣接画素を統合領域に統合して、新たな統合領域を作成する（ステップＳ１２５）。

ステップＳ１２６において、終了判定部１２３は、統合領域の面積が所定の閾値Ｔｈ＿ａｒｅａ以下であるか否かを判定する。この閾値Ｔｈ＿ａｒｅａは、観察し易い大きさといった観点から、ユーザの経験に基づいて決定される。

統合領域の面積が閾値Ｔｈ＿ａｒｅａ以下であると判定された場合（ステップＳ１２６：Ｙｅｓ）、拡張領域検出部１２０は、新たな統合領域の隣接画素の内、未だ判定対象になっていない隣接画素に対してループＡの処理を繰り返す。

一方、統合領域の面積が閾値Ｔｈ＿ａｒｅａよりも大きいと判定された場合（ステップＳ１２６：Ｎｏ）、拡張領域検出部１２０は、拡張領域の検出処理を終了し、新たに作成した統合領域を拡張領域として設定する（ステップＳ１２７）。その後、処理はメインルーチンに戻る。

また、ステップＳ１２４においてエッジ強度と色特徴量の差分との内のいずれか、又は両方が閾値よりも大きいと判定された場合（ステップＳ１２４：Ｎｏ）、拡張領域検出部１２０は、判定対象である隣接画素は統合せずに、未判定の隣接画素に対してループＡの処理を繰り返す。そして、統合領域を囲む全ての隣接画素に対する処理が終了すると、拡張領域の検出処理を終了し、現在の統合領域を拡張領域として設定する（ステップＳ１２８）。その後、処理はメインルーチンに戻る。

ステップＳ１３において、領域判定部１３０は、拡張領域Ｅの面積、並びに初期領域Ｄ及び拡張領域Ｅの色特徴量に基づいて、画像から検出された異常部の分類（図２参照）を判定する。

図７は、ステップＳ１３における詳細な処理を示すフローチャートである。
まず、ステップＳ１３０において、領域判定部１３０は、ステップＳ１２における統合領域拡張処理（ループＡ内の処理）が終了した際の終了条件を判定する。

統合領域の全ての隣接画素に対する判定を終了したことによりループＡを抜けた場合（ステップＳ１３０：全ての隣接画素に対して判定済み）、領域判定部１３０は、初期領域Ｄを含む異常部を、面積が小さく、且つ周囲との差異が明確な（即ち、周囲との濃度差が大きい）異常部と判定する（ステップＳ１３１）。これは、統合領域の面積が閾値Ｔｈ_ａｒｅａまで広がる前に統合処理が収束し、統合領域と隣接画素との間における色特徴量の差分又はエッジ強度が閾値より大きいとの判定（ステップＳ１２４：Ｎｏ）に基づいて統合領域の輪郭が画定したからである。従って、当該異常部の確認優先度は高いと判断される。

一方、統合領域の面積が閾値Ｔｈ＿ａｒｅａよりも大きいとの判定（ステップＳ１２６：Ｎｏ）に基づいてループＡを抜けた場合（ステップＳ１３０：統合領域の面積が閾値より大きい）、領域判定部１３０は、ステップＳ１３２以降の処理を実行する。

ここで、統合領域の面積が閾値Ｔｈ＿ａｒｅａよりも大きくなる場合、以下の２つの状況が考えられる。第１に、図８（ａ）に示すように、初期領域Ｄ_１から拡張を開始した拡張領域Ｅ_１は、画像Ｇ１内に本来存在する異常部Ｑ_１内に留まっており、拡張の途上であったという状況である。第２に、図９（ａ）に示すように、初期領域Ｄ_２から拡張を開始した拡張領域Ｅ_２は、画像Ｇ２内に本来存在する異常部Ｑ_２を超えて拡張し続けたという状況である。そのため、領域判定部１３０は、上記第１及び第２の状況を判別する処理を実行する。なお、図８（ｂ）は、画像Ｇ１のＡ_１−Ａ_１線における色特徴量の変化を示すグラフである。また、図９（ｂ）は、画像Ｇ２のＡ_２−Ａ_２線における色特徴量の変化を示すグラフである。

ステップＳ１３２において、初期領域特徴量算出部１３１は、初期領域内の平均色特徴量として、Ｇ／Ｒ値の平均値を算出する。また、ステップＳ１３３において、拡張領域特徴量算出部１３２は、拡張領域内の平均色特徴量として、Ｇ／Ｒ値の平均値を算出する。
ステップＳ１３４において、差分算出部１３３は、初期領域内の平均色特徴量と、拡張領域内の平均色特徴量との差分をそれぞれ算出する。

ステップＳ１３５において、領域判定部１３０は、初期領域内及び拡張領域内の平均色特徴量の差分が所定の閾値以上であるか否かを判定する。ここで、図８に示すように、拡張領域Ｅ_１が異常部Ｑ_１内に留まっている場合、初期領域Ｄ_１及び拡張領域Ｅ_１は同様の色特徴量を有していると言えるため、両者間における平均色特徴量の差分ΔＣ_１はあまり大きくない。一方、図９に示すように、拡張領域Ｅ_２が異常部Ｑ_２を超えて拡張した場合、異常部Ｑ_２内の初期領域Ｄ_１及び異常部Ｑ_２外の拡張領域Ｅ_２における平均色特徴量の差分ΔＣ_２は、大きくなることが予測される。そこで、差分ΔＣ_１、ΔＣ_２を所定の閾値と比較することにより、拡張領域Ｅ_１、Ｅ_２が異常部Ｑ_１、Ｑ_２に対してどのような状況にあるのかを判定することができる。

平均色特徴量の差分が閾値よりも小さい場合（ステップＳ１３５：Ｎｏ）、領域判定部１３０は、初期領域を含む異常部を面積の大きい異常部と判定する（ステップＳ１３６）。これは、図８に示す状況に相当する。

一方、平均色特徴量の差分が閾値以上である場合（ステップＳ１３５：Ｙｅｓ）、領域判定部１３０は、初期領域を含む異常部を、面積が小さく、且つ周囲との差異が明確でない（即ち、周囲との濃度差が小さい）異常部と判定する（ステップＳ１３７）。これは、図９に示す状況に相当するものであると共に、ステップＳ１２４における判定に適合することなく統合領域が拡張したものだからである。従って、当該異常部の確認優先度は相対的に低いと判断される。
その後、処理はメインルーチンに戻る。

ステップＳ１４において、演算部１００は、ステップＳ１３における判定結果を表すフラグを判定対象の画像に対応する画像データに付加して記録部５０に記録する。

以上説明したように、実施の形態１によれば、管腔内画像から検出された初期領域を拡張し、拡張領域の面積、並びに初期領域及び拡張領域の平均色特徴量に基づいて、管腔内画像に含まれる異常部を、面積の大小及び周囲との濃度差の大小からなる分類項目のいずれに相当するかを判別することができる。従って、このような分類に基づいて、一連の管腔内画像から確認優先度の高い管腔内画像のみを抽出して表示部４０に表示させたり、確認優先度の高い管腔内画像から順に表示部４０に表示させたりすることが可能となる。
なお、実施の形態１においては、Ｇ／Ｒ値を用いて異常部を分類したが、当然ながら、それ以外の色特徴量を用いることができる。

（変形例）
実施の形態１においては、初期領域及び拡張領域の特徴量として各領域全体の色特徴量（Ｇ／Ｒ値）の平均値を用いたが、拡張領域が本来の異常部の境界を越えているか否かを判定可能な量であれば、他の量を用いても良い。具体的には、初期領域の特徴量として、初期領域内の画素が有する最小の色特徴量（最小Ｇ／Ｒ値）を用いても良い。また、拡張領域の特徴量として、拡張領域の輪郭部に含まれる画素の色特徴量の平均値（輪郭の平均Ｇ／Ｒ値）を用いても良い。或いは、拡張領域の特徴量として、拡張領域から初期領域を除いた領域を抽出し、抽出した領域における色特徴量の平均値を用いても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１０は、実施の形態２に係る画像処理装置の構成を示すブロック図である。実施２に係る画像処理装置２は、図１に示す演算部１００の代わりに、演算部２００を備える。

演算部２００は、図１に示す拡張領域検出部１２０の代わりに、画像内エッジ強度算出部２１１と、領域分割部２１２と、隣接領域特定部２１３と、エッジ強度算出部２１４ａ及び色特徴量差分算出部２１４ｂを含む統合判定部２１４と、終了判定部２１５とを有する拡張領域検出部２１０を有する。画像内エッジ強度算出部２１１は、処理対象である画像内の各画素におけるエッジ強度を算出する。領域分割部２１２は、エッジ強度の尾根を境界として管腔内画像を複数の領域（以下、エッジ領域と呼ぶ）に分割する。隣接領域特定部２１３〜終了判定部２１５は、画像内から検出された初期領域を、画素単位ではなく、領域分割部２１２によって分割されたエッジ領域単位で拡張する。

次に、実施の形態２に係る画像処理装置の動作について説明する。本変形例に係る画像処理装置全体の動作は図３に示すものと同様であり、ステップＳ１２における処理の内容が実施の形態１とは異なる。

図１１は、ステップＳ１２における詳細な処理を示すフローチャートである。
まず、ステップＳ２２０において、画像内エッジ強度算出部２１１は、処理対象の画像に含まれる各画素のエッジ強度を算出する。エッジ強度の算出に際しては、ソーベルフィルタ等の微分フィルタ処理など、公知の手法を用いれば良い。

続くステップＳ２２１において、領域分割部２１２は、画像をエッジ強度の尾根を境界とする複数のエッジ領域に分割する。より詳細には、ステップＳ２２０において算出されたエッジ強度に基づいてエッジ強度画像を作成し、エッジ強度画像内の各画素におけるエッジ強度の勾配方向を取得する。このときの勾配方向は、エッジ強度の値が小さくなる方向とする。そして、各画素から出発して勾配方向に沿って移動した際に到達する極小値の画素を探索し、互いに隣接する極小値の画素に到達した出発点の画素が同一の領域に含まれるように画像を分割する（参考：国際公開第２００６／０８０２３９号）。

なお、画像の分割方法としては、この他にも、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等の公知の手法を利用することができる。

ステップＳ２２２において、拡張領域検出部２１０は、ステップＳ１１において検出された初期領域と重複するエッジ領域を選出し、このエッジ領域を統合領域の初期状態として設定する。

続いて、拡張領域検出部２１０は、設定された統合領域に隣接するエッジ領域（以下、隣接領域ともいう）の全てに対し、ループＢの処理を実行する。
まず、ステップＳ２２３において、隣接領域特定部２１３は、統合領域に隣接するエッジ領域（以下、隣接領域という）を探索する。

ステップＳ２２４において、エッジ強度算出部２１４ａは、探索された隣接領域と統合領域との間のエッジ強度を算出する。実施の形態２においては、隣接領域と統合領域との境界において隣接する画素同士（統合領域内の輪郭画素と、これと接する隣接領域内の輪郭画素）におけるＲ成分の値の差分の平均値をエッジ強度として算出する。

ステップＳ２２５において、色特徴量差分算出部２１４ｂは、隣接領域と統合領域との間の色特徴量の差分を算出する。実施の形態２においては、色特徴量としてＲ成分とＧ成分との比率であるＧ／Ｒ値を用い、隣接領域内のＧ／Ｒ値の平均値と、統合領域内のＧ／Ｒ値の平均値との差分を算出する。

ステップＳ２２６において、統合判定部２１４は、ステップＳ２２４において算出されたエッジ強度が所定の閾値Ｔｈ＿ｅｄｇｅ以下であり、且つ、ステップＳ２２５において算出された色特徴量の差分が所定の閾値Ｔｈ＿ｃｈ以下であるか否かを判定する。

エッジ強度及び色特徴量の差分が共に所定の閾値以下であると判定された場合（ステップＳ２２６：Ｙｅｓ）、拡張領域検出部２１０は、判定対象の隣接領域を統合領域に統合して、新たな統合領域を作成する（ステップＳ２２７）。

さらに、ステップＳ２２８において、終了判定部２１５は、統合領域の面積が所定の閾値Ｔｈ＿ａｒｅａ以下であるか否かを判定する。統合領域の面積が閾値Ｔｈ＿ａｒｅａ以下であると判定された場合（ステップＳ２２８：Ｙｅｓ）、拡張領域検出部２１０は、新たな統合領域の隣接領域の内、未だ判定対象になっていない隣接領域に対し、ループＢの処理を繰り返す。

一方、統合領域の面積が閾値Ｔｈ＿ａｒｅａよりも大きいと判定された場合（ステップＳ２２８：Ｎｏ）、拡張領域検出部２１０は、拡張領域の検出処理を終了し、新たに作成した統合領域を拡張領域として設定する（ステップＳ２２９）。その後、処理はメインルーチンに戻る。

また、ステップＳ２２６においてエッジ強度と色特徴量の差分との内のいずれか、又は両方が閾値よりも大きいと判定された場合（ステップＳ２２６：Ｎｏ）、拡張領域検出部２１０は、判定対象である隣接領域は統合せずに、未判定の隣接領域に対してループＢの処理を繰り返す。そして、統合領域を囲む全ての隣接領域に対する処理が終了すると、拡張領域の検出処理を終了し、現在の統合領域を拡張領域として設定する（ステップＳ２３０）。その後、処理はメインルーチンに戻る。

以上説明したように、実施の形態２によれば、複数の画素がまとまったエッジ領域単位で統合領域を拡張するので、エッジ領域ごとの特徴が反映された拡張領域を生成することができると共に、演算速度を向上させることが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１２は、実施の形態３に係る画像処理装置の構成を示すブロック図である。図１２に示すように、実施の形態３に係る画像処理装置３は、図１に示す演算部１００の代わりに、演算部３００を備える。

演算部３００は、図１に示す領域判定部１３０の代わりに、拡張領域の内部に設定した領域（内部領域）における特徴量（拡張領域内特徴量）を算出する拡張領域内特徴量算出部３１１と、拡張領域の外部に設定した領域（外部領域）における特徴量（拡張領域外特徴量）を算出する拡張領域外特徴量算出部３１２と、拡張領域内特徴量及び拡張領域外特徴量の間の差分を算出する差分算出部３１３とを有する領域判定部３１０を備える。

拡張領域内特徴量算出部３１１は、画像内の各画素から拡張領域の輪郭までの距離を示す距離画像を作成する距離画像作成部３１１ａと、距離画像内の拡張領域内部に相当する領域に対して閾値処理を行う閾値処理部３１１ｂと、内部領域における色特徴量の平均値を算出する平均色特徴量算出部３１１ｃとを含む。

拡張領域外特徴量算出部３１２は、画像内の各画素から拡張領域の輪郭までの距離を示す距離画像を作成する距離画像作成部３１２ａと、距離画像内の拡張領域外部に相当する領域に対して閾値処理を行う閾値処理部３１２ｂと、外部領域における色特徴量の平均値を算出する平均色特徴量算出部３１２ｃとを含む。

次に、画像処理装置２の動作について説明する。画像処理装置２全体の動作は図３に示すものと同様であり、ステップＳ１３における内容が実施の形態１とは異なる。即ち、実施の形態１においては、異常部の面積の大小を判別する際に、初期領域の色特徴量と拡張領域の色特徴量との差分を用いたのに対して、実施の形態３においては、拡張領域内部の色特徴量と拡張領域外部の色特徴量との差分を用いる。

図１３は、ステップＳ１３における詳細な処理を示すフローチャートである。
まず、ステップＳ３３０において、領域判定部３１０は、ステップＳ１２における統合領域拡張処理（ループＡ内の処理）が終了した際の終了条件を判定する。

統合領域の全ての隣接画素に対する判定を終了したことによりループＡを抜けた場合（ステップＳ３３０：全ての隣接画素に対して判定済み）、領域判定部３１０は、初期領域Ｄを含む異常部を、面積が小さく、且つ周囲との差異が明確な（即ち、周囲との濃度差が大きい）異常部と判定する（ステップＳ３３１）。これは、統合領域の面積が閾値Ｔｈ_ａｒｅａまで広がる前に統合処理が収束し、統合領域と隣接画素との間における色特徴量の差分又はエッジ強度が閾値より大きいとの判定（ステップＳ１２４：Ｎｏ）に基づいて統合領域の輪郭が画定したからである。

一方、統合領域の面積が閾値Ｔｈ＿ａｒｅａよりも大きいとの判定（ステップＳ１２６：Ｎｏ）に基づいてループＡを抜けた場合（ステップＳ３３０：統合領域の面積が閾値より大きい）、領域判定部１３０は、ステップＳ３３２以降の処理を実行する。

ここで、統合領域の面積が閾値Ｔｈ＿ａｒｅａよりも大きくなる場合、以下の２つの状況が考えられる。第１に、図１４（ａ）に示すように、初期領域Ｄ_３から拡張を開始した拡張領域Ｅ_３は、画像Ｇ３内に本来存在する異常部Ｑ_３内にまだ留まっており、拡張の途上であったという状況である。第２に、図１５（ａ）に示すように、初期領域Ｄ_４から拡張を開始した拡張領域Ｅ_４は、既に画像Ｇ４内に本来存在する異常部Ｑ_４を超えて拡張し続けたという状況である。そのため、領域判定部１３０は、上記第１及び第２の状況を判別する処理を実行する。なお、図１４（ｂ）は、画像Ｇ３のＡ_３−Ａ_３におけるｘ方向に沿った色特徴量の変化を示すグラフである。また、図１５（ｂ）は、画像Ｇ４のＡ_４−Ａ_４におけるｘ方向に沿った色特徴量の変化を示すグラフである。

ステップＳ３３２において、距離画像作成部３１１ａは、画像内の各画素と拡張領域の輪郭との距離に対応する値を各画素の画素値とする距離画像を作成する。なお、距離画像の作成方法としては、公知の手法を用いることができる（参考：平田富夫、加藤敏洋、「ユークリッド距離変換アルゴリズム」、情報処理学会研究報告，ＡＬ，アルゴリズム研究会報告、９４（８２）、２５−３１、１９９４年９月２１日）。また、この処理は、距離画像作成部３１２ａが実行しても構わない。

ステップＳ３３３において、閾値処理部３１１ｂは、距離画像上で、拡張領域内において画素値が所定の閾値以下である画素の領域を抽出し、抽出された領域を拡張領域の内部領域として設定する。
ステップＳ３３４において、閾値処理部３１２ｂは、距離画像上で、拡張領域外において画素値が所定の閾値以下である画素の領域を抽出し、抽出された領域を拡張領域の外部領域として設定する。

ステップＳ３３５において、平均色特徴量算出部３１１ｃは、拡張領域の内部領域における平均色特徴量を算出する。実施の形態３においては、平均色特徴量として内部領域に含まれる各画素のＧ／Ｒ値の平均値を算出する。
同様に、ステップＳ３３６において、平均色特徴量算出部３１２ｃは、外部領域における平均色特徴量として、外部領域に含まれる各画素のＧ／Ｒ値の平均値を算出する。
ステップＳ３３７において、差分算出部３１３は、内部領域の平均色特徴量と外部領域の平均色特徴量との差分を算出する。

ステップＳ３３８において、領域判定部３１０は、平均色特徴量の差分が所定の閾値以下であるか否かを判定する。ここで、図１４に示すように、拡張領域Ｅ_３が異常部Ｑ_３内に留まっている場合、拡張領域Ｅ_３の境界は異常部Ｑ_３の境界近辺に存在していると想定される。この場合、拡張領域Ｅ_３の内部領域Δｘ_IN3の平均色特徴量と外部領域Δｘ_OUT3の平均色特徴量との差分ΔＣ_３はある程度大きくなるものと考えられる。一方、図１５に示すように、拡張領域Ｅ_４が異常部Ｑ_４を超えて拡張した場合、拡張領域Ｅ_４の境界は異常部Ｑ_４の境界とは離れているものと想定される。この場合、拡張領域Ｅ_４近傍の色特徴量の変化は少なく、拡張領域Ｅ_４の内部領域Δｘ_IN4の平均色特徴量と外部領域Δｘ_OUT4の平均色特徴量との差分ΔＣ_４は、図１４の場合と比較して小さくなるものと考えられる。そこで、差分ΔＣ_３、ΔＣ_４を所定の閾値と比較することにより、拡張領域Ｅ_３、Ｅ_４が異常部Ｑ_３、Ｑ_４に対してどのような状況にあるのかを判定することができる。

平均色特徴量の差分が閾値よりも大きい場合（ステップＳ３３８：Ｎｏ）、領域判定部３１０は、初期領域Ｄを含む異常部を、面積の大きい異常部と判定する（ステップＳ３３９）。これは、図１４に示す状況に相当する。

一方、平均色特徴量の差分が閾値以下である場合（ステップＳ３３８：Ｙｅｓ）、領域判定部３１０は、初期領域Ｄを含む異常部を、面積が小さく、且つ周囲との差異が明確でない（即ち、周囲との濃度差が小さい）異常部と判定する（ステップＳ３４０）。これは、図１５に示す状況に相当するものであると共に、ステップＳ１２４における判定に適合することなく統合領域が拡張したものだからである。
その後、処理はメインルーチンに戻る。

以上説明したように、実施の形態３によれば、拡張領域内部及び外部の色特徴量の差分に基づいて異常部の面積を判定するので、拡張領域の輪郭近傍の情報を反映した分類を行うことが可能となる。

（変形例）
実施の形態３においては、距離画像に対して閾値処理を行うことにより拡張領域の内部領域及び外部領域を設定したが、他の方法により拡張領域の内部及び外部に領域を設定しても良い。例えば、距離画像において、距離画像内の拡張領域内部（外部）に対応する領域において、特定の範囲内の画素値（即ち、拡張領域からの距離に対応する値）を有する画素の領域を検出し、該画素の領域を内部（外部）領域として設定しても良い。

なお、本発明は、実施の形態１〜３及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１、２、３ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００、３００ 演算部
１１０ 初期領域検出部
１２０ 拡張領域検出部
１２１ 隣接領域特定部
１２２ 統合判定部
１２２ａ エッジ強度算出部
１２２ｂ 色特徴量差分算出部
１２３ 終了判定部
１３０ 領域判定部
１３１ 初期領域特徴量算出部
１３１ａ 平均色特徴量算出部
１３２ 拡張領域特徴量算出部
１３２ａ 平均色特徴量算出部
１３３ 差分算出部
２１０ 拡張領域検出部
２１１ 画像内エッジ強度算出部
２１２ 領域分割部
２１３ 隣接領域特定部
２１４ 統合判定部
２１４ａ エッジ強度算出部
２１４ｂ 色特徴量差分算出部
２１５ 終了判定部
３１０ 領域判定部
３１１ 拡張領域内特徴量算出部
３１２ 拡張領域外特徴量算出部
３１１ａ、３１２ａ 距離画像作成部
３１１ｂ、３１２ｂ 閾値処理部
３１１ｃ、３１２ｃ 平均色特徴量算出部
３１３ 差分算出部

Claims (21)

1. 画像内に含まれる注目領域を複数の分類項目に分類する画像処理装置において、
   前記注目領域の少なくとも一部を検出して初期領域として設定する初期領域検出手段と、
   前記初期領域を拡張することにより拡張領域を検出する拡張領域検出手段と、
   前記初期領域及び前記拡張領域における色特徴量をそれぞれ算出し、前記初期領域における色特徴量及び前記拡張領域における色特徴量に基づいて、前記注目領域が前記複数の分類項目の内のいずれに相当するかを判定する領域判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記領域判定手段は、
   前記初期領域における色特徴量を算出する初期領域特徴量算出手段と
   前記拡張領域における色特徴量を算出する拡張領域特徴量算出手段と、
   前記初期領域における色特徴量と前記拡張領域における色特徴量との差分を算出する差分算出手段と、
   を備え、
   前記差分を基に前記注目領域の分類項目を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記初期領域特徴量算出手段は、前記初期領域における色特徴量の平均値を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記初期領域特徴量算出手段は、前記初期領域における色特徴量の最小値を算出することを特徴とする請求項２に記載の画像処理装置。
5. 前記拡張領域特徴量算出手段は、前記拡張領域における色特徴量の平均値を算出することを特徴とする請求項２に記載の画像処理装置。
6. 前記拡張領域特徴量算出手段は、前記拡張領域内の前記初期領域以外の領域を抽出し、該領域における色特徴量の平均値を算出することを特徴とする請求項２に記載の画像処理装置。
7. 前記拡張領域特徴量算出手段は、前記拡張領域の輪郭部における色特徴量の平均値を算出することを特徴とする請求項２に記載の画像処理装置。
8. 前記領域判定手段は、
   前記拡張領域の内部領域における色特徴量を算出する拡張領域内特徴量算出手段と、
   前記拡張領域の外部領域における色特徴量を算出する拡張領域外特徴量算出手段と、
   前記拡張領域の内部領域における色特徴量と前記拡張領域の外部領域における色特徴量との差分を算出する差分算出手段と、
   を備え、
   前記差分を基に前記注目領域の分類項目を判定することを特徴とする請求項１に記載の画像処理装置。
9. 前記拡張領域内特徴量算出手段は、
   前記画像内の各画素から前記拡張領域の輪郭までの距離に対応する値を前記各画素の画素値とする距離画像を作成する距離画像作成手段を備え、
   前記距離画像を基に前記内部領域を設定することを特徴とする請求項８に記載の画像処理装置。
10. 前記拡張領域内特徴量算出手段は、
    前記距離画像内の前記拡張領域内部に対応する領域に対して閾値処理を行う閾値処理手段を備え、
    前記閾値処理により抽出された領域を前記内部領域として設定することを特徴とする請求項９に記載の画像処理装置。
11. 前記拡張領域内特徴量算出手段は、前記距離画像内の前記拡張領域内部に対応する領域において所定の範囲内の画素値を有する画素の領域を検出し、該画素の領域を前記内部領域として設定することを特徴とする請求項９に記載の画像処理装置。
12. 前記拡張領域内特徴量算出手段は、前記内部領域における色特徴量の平均値を算出する平均色特徴量算出手段を備えることを特徴とする請求項８に記載の画像処理装置。
13. 前記拡張領域外特徴量算出手段は、
    前記画像内の各画素から前記拡張領域の輪郭までの距離に対応する値を前記各画素の画素値とする距離画像を作成する距離画像作成手段を備え、
    前記距離画像を基に前記外部領域を設定することを特徴とする請求項８に記載の画像処理装置。
14. 前記拡張領域外特徴量算出手段は、
    前記距離画像内の前記拡張領域外部に対応する領域に対して閾値処理を行う閾値処理手段を備え、
    前記閾値処理により抽出された領域を前記外部領域として設定することを特徴とする請求項１３に記載の画像処理装置。
15. 前記拡張領域外特徴量算出手段は、前記距離画像内の前記拡張領域外部に対応する領域において所定の範囲内の画素値を有する画素の領域を検出し、該画素の領域を前記外部領域として設定することを特徴とする請求項１３に記載の画像処理装置。
16. 前記拡張領域外特徴量算出手段は、前記外部領域における色特徴量の平均値を算出する平均色特徴量算出手段を備えることを特徴とする請求項８に記載の画像処理装置。
17. 前記画像は、被検体の管腔内を撮像した管腔内画像であり、
    前記複数の分類項目は、前記注目領域の面積が閾値よりも大きい領域、及び前記注目領域の面積が前記閾値以下である領域、であることを特徴とする請求項１に記載の画像処理装置。
18. 前記画像は、被検体の管腔内を撮像した管腔内画像であり、
    前記複数の分類項目は、前記注目領域の色特徴量と該注目領域の周囲の色特徴量との差が閾値よりも大きい領域、及び、前記注目領域の色特徴量と該注目領域の周囲の色特徴量との差が前記閾値以下である領域、であることを特徴とする請求項１に記載の画像処理装置。
19. 前記拡張領域検出手段は、
    前記初期領域を統合領域の初期状態として設定して、前記統合領域に対して該統合領域に隣接する所定の隣接領域を統合する統合処理を行い、
    前記統合領域に隣接する隣接領域を特定する隣接領域特定手段と、
    前記統合領域及び前記隣接領域の特徴量を算出し、該特徴量に基づいて、前記隣接領域を前記統合領域に統合するか否かを判定する統合判定手段と、
    前記統合領域の面積が所定の大きさ以上になった場合に、前記隣接領域の前記統合領域への統合処理を終了する判定を行う終了判定手段と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
20. 画像内に含まれる注目領域を複数の分類項目に分類する画像処理方法において、
    前記注目領域の少なくとも一部を検出して初期領域として設定する初期領域検出ステップと、
    前記初期領域を拡張することにより拡張領域を検出する拡張領域検出ステップと、
    前記初期領域及び前記拡張領域における色特徴量をそれぞれ算出し、前記初期領域における色特徴量及び前記拡張領域における色特徴量に基づいて前記注目領域が前記複数の分類項目の内のいずれに相当するかを判定する領域判定ステップと、
    を含むことを特徴とする画像処理方法。
21. 画像内に含まれる注目領域を複数の分類項目に分類する処理をコンピュータに実行させる画像処理プログラムにおいて、
    前記注目領域の少なくとも一部を検出して初期領域として設定する初期領域検出ステップと、
    前記初期領域を拡張することにより拡張領域を検出する拡張領域検出ステップと、
    前記初期領域及び前記拡張領域における色特徴量をそれぞれ算出し、前記初期領域における色特徴量及び前記拡張領域における色特徴量に基づいて前記注目領域が前記複数の分類項目の内のいずれに相当するかを判定する領域判定ステップと、
    を含むことを特徴とする画像処理プログラム。

Images