JP6552601B2

JP6552601B2 - 画像処理装置、画像処理装置の作動方法および画像処理プログラム

Info

Publication number: JP6552601B2
Application number: JP2017507176A
Authority: JP
Inventors: 北村　誠; 誠北村; 都士也上山; 光隆木村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-03-20
Filing date: 2015-03-20
Publication date: 2019-07-31
Anticipated expiration: 2035-03-20
Also published as: US10687913B2; JPWO2016151711A1; US20180014902A1; WO2016151711A1

Description

本発明は、生体内管腔を撮像した生体内管腔画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、画像から複数の局所特徴量を算出し、各局所特徴量を統合した統合特徴量を用いて精度の高い識別を行う方法（ＢｏＦ：Bag of Features）が開示されている（例えば、特許文献１および非特許文献１を参照）。この方法の処理手順は、以下の通りである。
手順１．画像内から局所特徴量を算出する。
手順２．画像を複数サイズの矩形領域に分割して、ピラミッド画像を作成する。
手順３．各矩形領域内における局所特徴量と事前に作成しておいた代表ベクトル群との局所特徴空間における距離を算出し、最近傍にある代表ベクトルを求め、その頻度分布（統合特徴量）を算出する。
手順４．矩形領域ごとに算出した頻度分布と、事前に作成しておいた正常および異常の頻度分布を比較することで、正常または異常を判別する。

米国特許第８２３３７１１号明細書

しかしながら、上述した従来技術では、例えば内視鏡画像等において生体内における病変等の異常部位を検出する場合、観察対象とする異常の特性に応じてその観察対象を精度よく表現するために必要な統合特徴量が異なっており、適切な統合特徴量を取得しないと誤検出や未検出が発生するおそれがあった。

本発明は、上記に鑑みてなされたものであって、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出手段と、前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、を備えることを特徴とする。

本発明に係る画像処理方法は、生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出ステップと、前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出ステップと、前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出ステップと、前記統合特徴量を用いて前記生体内管腔画像の異常を検出する検出ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出ステップと、前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出ステップと、前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出ステップと、前記統合特徴量を用いて前記生体内管腔画像の異常を検出する検出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、異常候補領域を検出し、検出した異常候補領域の情報に基づいて複数種類の特徴量を統合するため、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる。

図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。図２は、本発明の実施の形態１に係る画像処理装置の特徴量算出部が異常候補領域に対して行う処理の概要を模式的に示す図である。図３は、本発明の実施の形態１に係る画像処理装置の特徴量算出部が円形領域を抽出する処理の概要を模式的に示す図である。図４は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。図５は、異常候補領域と拡張領域内の異常候補領域でない領域の例を示す図である。図６は、異常候補領域の重心位置が泡内部領域に存在する場合を模式的に示す図である。図７は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。図８は、本発明の実施の形態２に係る画像処理装置が行う処理の概要を示すフローチャートである。図９は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。図１０は、本発明の実施の形態３に係る画像処理装置が行う処理の概要を示すフローチャートである。

以下に、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３とを備える。画像処理装置１は、カプセル内視鏡や内視鏡等により撮像された生体内管腔画像を取得して所定の画像処理を行う機能を有する。生体内管腔画像としては、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像を用いる。

演算部２は、生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出部４と、生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出部５と、異常候補領域の情報をもとに複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出部６と、統合特徴量を用いて生体内管腔画像から異常を検出する検出部７と、を有する。

異常候補領域検出部４は、異常候補領域として、生体内管腔画像における生体の組織性状または生体内の状態が所定の条件を満たす領域を検出する。このような異常候補領域として、例えばアフタ、潰瘍、びらん、ポリープ、腫瘍、発赤、絨毛異常等の生体の組織性状が変化している領域、および出血等の生体内における状態変化が発生している領域を挙げることができる。このような異常候補領域は、病変を生じている可能性がある領域ということもできる。なお、異常候補領域は、画像の一部の領域でもよいし、画像全体の領域でもよい。

異常候補領域検出部４は、色特徴量、形状特徴量および／またはテクスチャ特徴量に基づいて、生体内管腔画像から異常候補領域を検出する。例えば、アフタや潰瘍等は白色の特定色を示し、出血や発赤は赤色の特定色を示すため、色特徴量による検出が可能である。また、ポリープや腫瘍は円形状の領域であることが多いため、形状特徴量による検出が可能である。また、絨毛異常等は、粘膜表面の模様が不均一であることが多いため、テクスチャ特徴量による検出が可能である。異常候補領域検出部４は、これらの異常候補領域を色特徴量、形状特徴量および／またはテクスチャ特徴量に基づいて検出する。

まず、異常候補領域検出部４が色特徴量に基づいて異常候補領域を抽出する場合を説明する。この場合、異常候補領域検出部４は、処理対象の各画素の色特徴量と判別基準とをもとに、各画素が異常候補領域であるか否かを判定する。異常候補領域検出部４が参照する色特徴量用の判別基準は、事前に収集した特定領域のＲ、Ｇ、Ｂ各成分の画素値や、それらをもとに公知の変換により２次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ、Ｂ／Ｇ）等の色特徴量をもとに決定されて記憶部３に記憶されている。

なお、ここでは異常候補領域検出部４が事前に作成しておいた判別基準に基づいて異常候補領域を検出する方法を示したが、画像内より異常な色領域を検出できるものであればいかなる方法を採用してもよい。例えば、異常候補領域検出部４が、代表的な色特徴量との特徴空間距離に基づく方法により異常候補領域を検出するようにしてもよい。また、異常候補領域検出部４が、画素単位の色特徴量を用いる代わりに、画像内のエッジ情報等をもとに小領域に分割した後、小領域単位の色特徴量を用いて検出してもよい。

次に、異常候補領域検出部４が形状特徴量に基づいて異常候補領域を検出する場合を説明する。この場合、異常候補領域検出部４は、画像内における各画素（輝度値、Ｇ値等）の勾配強度を公知のSobelやLaplacian等により算出し、その勾配強度と予め記憶部３に記憶されている円形状モデルとの相関値を算出し、相関値が所定の閾値以上となった円形状領域を異常候補領域として検出する。

なお、ここでは異常候補領域検出部４が事前に作成した円形状モデルとのパターンマッチングを行うことにより異常候補領域を検出する方法を示したが、画像内から円形状領域を検出できるものであればいかなる方法を採用してもよく、例えば公知のハフ変換、ＲＡＮＳＡＣ（Random Sample Consensus）、ＤＰＭ（Deformable Part Model）、ＥＬＳＤ（Ellipse and Line Segment Detector）等を採用してもよい。

次に、異常候補領域検出部４がテクスチャ特徴量に基づいて異常候補領域を検出する場合を説明する。この場合、異常候補領域検出部４は、画像を矩形分割した矩形領域毎に算出したテクスチャ特徴量と、予め記憶部３が記憶する判別基準とをもとに、各矩形領域が異常候補領域であるか否かを判定する。異常候補領域検出部４が参照するテクスチャ特徴量用の判別基準は、事前に収集した異常領域のＬＢＰ（Local Binary Pattern）特徴量、ＲＧＢ値の分散等のテクスチャ特徴量をもとに決定される。

特徴量算出部５は、異常候補領域に対してラベリング処理を行い、各異常候補領域に外接する外接矩形領域を抽出し、この外接矩形領域を変形することによって拡張領域を設定する。拡張領域は、外接矩形領域をｎ（１．０＜ｎ≦２．０）倍に拡張した拡張領域を設定する。このときのｎの値は、例えば異常候補領域の面積に基づいて、
ｎ＝１．０＋（異常候補領域の面積／最大面積変数）・・・（１）
と設定される。式（１）の右辺の「最大面積変数」とは、外接矩形領域を設定するための基準となる面積であり、異常候補領域として想定される面積の最大値に相当する。図２は、特徴量算出部５が異常候補領域に対して行う処理の概要を模式的に示す図である。図２では、円形状の異常候補領域１０１に対して外接矩形領域１０２が抽出され、拡張領域１０３が設定された場合を示している。

特徴量算出部５は、拡張領域内から代表となる画素位置を等間隔またはランダムに抽出し、この画素位置を中心とする所定の半径の円形領域を抽出する。図３は、特徴量算出部５が円形領域を抽出する処理の概要を模式的に示す図である。図３では、特徴量算出部５が、拡張領域１０３に対して等間隔に抽出した各画素位置を中心とする複数の円形領域１０４を抽出した場合を示している。このように円形領域を抽出する方法として、例えばＤＥＮＳと呼ばれる方法を適用することができる。なお、円形領域を抽出する方法としては、他にもキーポイント（特徴点）を検出するＳＩＦＴ（Scale-invariant Feature Transform）を用いることも可能である（例えば、アドコム・メディア株式会社：コンピュータビジョン最先端ガイド２、ｐ．５〜２２を参照）。

特徴量算出部５は、複数の種類の特徴量として、色特徴量（ＲＧＢ平均値、ＹＣｂＣｒ平均値、ＨＳＩ平均値、Ｇ／Ｒ平均値、Ｂ／Ｇ平均値等）、形状特徴量（ＨｏＧ：Histograms of Oriented Gradients、ＳＩＦＴ等）、およびテクスチャ特徴量（ＬＢＰ、分散、尖度、歪度等）などを算出する。なお、ここで記載した特徴量の種類はあくまでも一例に過ぎず、他の種類の特徴量を用いることも可能である。

統合特徴量算出部６は、異常候補領域の情報を取得する異常候補領域情報取得部６１と、異常候補領域の情報に基づいて統合特徴量の算出パラメータを制御するパラメータ制御部６２とを有する。

異常候補領域情報取得部６１は、異常候補領域検出部４の検出結果に基づいて、異常候補領域における異常の種類を判定する。具体的には、異常候補領域情報取得部６１は、異常候補領域検出部４による検出の際、色特徴量により異常候補領域であると判定されたものを色異常と判定し、形状特徴量により異常候補領域であると判定されたものを形状異常と判定し、テクスチャ特徴量により異常候補領域であると判定されたものをテクスチャ異常と判定する。また、各異常種類から算出した色特徴量（ＲＧＢ、ＨＳＶ等）、形状情報（ＨｏＧ、面積、周囲長、フェレ径等）、テクスチャ特徴量（ＬＢＰ等）等の特徴量分布に基づいて、事前に作成しておいた判定基準により、異常種類を判定してもよい。

パラメータ制御部６２は、統合特徴量を算出する際に用いる特徴量の種類ごとの次元数を算出パラメータとして設定し、設定した種類ごとの次元数に応じて特徴量を選択する特徴量選択部６２１を有する。特徴量選択部６２１は、異常候補領域の異常の種類が色異常である場合には色特徴量を他の種類の特徴量より優先的に選択し、形状異常である場合には形状特徴量を他の種類の特徴量より優先的に選択し、テクスチャ異常である場合にはテクスチャ特徴量を他の種類の特徴量より優先的に選択する。換言すると、特徴量選択部６２１は、異常候補領域の異常の種類が色異常である場合には、色特徴量の次元数を他の種類の特徴量の次元数よりも大きく設定し、形状異常である場合には形状特徴量の次元数を他の種類の特徴量の次元数よりも大きく設定し、テクスチャ異常である場合にはテクスチャ特徴量の次元数を他の種類の特徴量の次元数よりも大きく設定する。以下、特徴量が３種類（色特徴量、形状特徴量、テクスチャ特徴量）であり、選択する特徴量の次元数が１００次元である場合の具体的な次元数の設定例を記載する。
（１）色異常の場合
色特徴量：８０次元、形状特徴量：１０次元、テクスチャ特徴量：１０次元
（２）形状異常の場合
色特徴量：１０次元、形状特徴量：８０次元、テクスチャ特徴量：１０次元
（３）テクスチャ異常の場合
色特徴量：１０次元、形状特徴量：１０次元、テクスチャ特徴量：８０次元
なお、ここで記載した選択比はあくまでも一例に過ぎない、例えば（１）色異常の場合には、色特徴量の次元数が最大であれば、どのように設定しても構わない。

統合特徴量算出部６は、特徴量選択部６２１が選択した特徴量に基づいて、上述したＢｏＦまたは公知のFisher Vector等を用いて、所定の次元数を有する統合特徴量を算出する。本実施の形態１において、統合特徴量の次元数はあらかじめ設定されている。統合特徴量算出部６がＢｏＦを用いて統合特徴量を算出する場合、統合特徴量の次元数は代表ベクトル数に等しい。また、統合特徴量算出部６がFisher Vectorを用いて統合特徴量を算出する場合、統合特徴量の次元数は分布数に等しい。

検出部７は、統合特徴量算出部６が算出した統合特徴量を用いて、公知のＳＶＭ（Support Vector Machine）等の識別器により、異常領域を検出する（ＳＶＭについては、例えばアドコム・メディア株式会社：コンピュータビジョン最先端ガイド３、ｐ．９５〜１０２を参照）。

演算部２は、演算および制御機能を有するＣＰＵ（Central Proccesing Unit）等の汎用プロセッサ、またはＡＳＩＣ（Application Specific Integrated Circuit）もしくはＦＰＧＡ（Field Programmable Gate Array）等の専用の集積回路等を用いて実現される。演算部２が汎用プロセッサまたはＦＰＧＡによって実現される場合は、記憶部３が記憶する各種プログラムや各種データを記憶部３から読み出し、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。演算部２がＡＳＩＣを用いて実現される場合は、各種処理を単独で実行してもよいし、記憶部３が記憶する各種データ等を用いることによって各種処理を実行してもよい。

記憶部３は、処理対象となる生体内管腔画像のデータ、および処理を行う際に必要な各種情報を記憶する。記憶部３は、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）等の各種ＩＣメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはＣＤ−ＲＯＭ等の情報記録装置およびその読取装置等によって実現される。記憶部３は、画像処理装置１が取得した生体内管腔画像の画像データの他、画像処理装置１を動作させると共に、画像処理装置１に種々の機能を実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部３は、本実施の形態１に係る画像処理プログラムや、該画像処理を行う際に用いられる閾値等の各種パラメータを記憶する。

記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。

図４は、画像処理装置１が実行する処理の概要を示すフローチャートである。まず、画像処理装置１は、処理対象である生体内管腔画像を取得して記憶部３へ書き込んで記憶させる（ステップＳ１）。画像処理装置１は、生体内管腔画像を撮像するカプセル内視鏡等の機器との通信によって生体内管腔画像を取得してもよいし、生体内管腔画像が記録された記録媒体から生体内管腔画像のデータを読み出すことによって取得してもよい。

続いて、異常候補領域検出部４は、色特徴量、形状特徴量および／またはテクスチャ特徴量に基づいて、生体内管腔画像内から異常候補領域を検出する（ステップＳ２）。

この後、特徴量算出部５は、画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する（ステップＳ３）。まず、特徴量算出部５は、各異常候補領域に外接する外接矩形領域を抽出し、この外接矩形領域を変形することによって拡張領域を設定する（図２を参照）。続いて、特徴量算出部５は、拡張領域内から等間隔またはランダムに画素位置を抽出する。この後、特徴量算出部５は、抽出した画素位置を中心とする複数の円形領域を複数の領域として抽出し（図３を参照）、円形領域ごとに複数の特徴量を算出する。特徴量算出部５が算出する複数の特徴量は、例えば色特徴量、形状特徴量、テクスチャ特徴量などを含む。

続いて、異常候補領域情報取得部６１は、統合特徴量の算出パラメータを制御するための情報として異常候補領域の情報を取得する（ステップＳ４）。具体的には、異常候補領域情報取得部６１は、異常候補領域検出部４の検出結果に基づいて、異常候補領域における異常の種類を判定する。

この後、特徴量選択部６２１は、異常候補領域の情報に基づいて特徴量を選択する（ステップＳ５）。この際、特徴量選択部６２１は、異常候補領域の情報に応じて特徴量の種類ごとに設定される次元数に応じて、各種類の特徴量の次元数を設定し、次元数に応じた各種類の特徴量を選択する。

続いて、統合特徴量算出部６は、特徴量選択部６２１が選択した特徴量に基づいて、複数の特徴量を統合した統合特徴量を算出する（ステップＳ６）。

最後に、検出部７は、算出した統合特徴量に基づいて、生体内管腔画像の異常を検出し、検出結果を出力する（ステップＳ７）。

以上説明した本発明の実施の形態１によれば、異常候補領域を検出し、検出した異常候補領域の情報に基づいて複数種類の特徴量を統合するため、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる。

また、本実施の形態１によれば、統合特徴量を算出する際に用いる特徴量を異常候補領域の情報に応じて適応的に選択するため、異常候補領域に応じた統合特徴量を算出することができ、誤検出や未検出を防止することが可能となる。

（変形例１−１）
本実施の形態１の変形例１−１として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第２例を説明する。本変形例１−１において、異常候補領域情報取得部６１は、異常候補領域の境界における明瞭性を算出する。
まず、異常候補領域情報取得部６１は、各異常候補領域内の画素平均値（輝度平均値、Ｇ平均値、Ｇ／Ｒ平均値等）を算出する。
続いて、異常候補領域情報取得部６１は、各拡張領域内の異常候補領域でない領域の画素平均値（輝度平均値、Ｇ平均値、Ｇ／Ｒ平均値等）を算出する。
その後、異常候補領域情報取得部６１は、各異常候補領域内の画素平均値と拡張領域内の異常候補領域でない領域の画素平均値との差を算出する。図５は、異常候補領域と拡張領域内の異常候補領域でない領域の例を示す図である。図５に示す領域１０５が、拡張領域１０３内で異常候補領域１０１でない領域を示している。
最後に、異常候補領域情報取得部６１は、画素平均値の差が所定値以上の場合には境界が明瞭であると判定し、画素値の平均値の差が所定値未満の場合には境界が不明瞭であると判定する。

本変形例１−１において、特徴量選択部６２１は、異常候補領域の境界における明瞭性に基づいて、選択する特徴量ごとの次元数を設定する。なお、以下で説明する変形例では特徴量が３種類（色特徴量、形状特徴量、テクスチャ特徴量）である場合を例示するが、これが一例に過ぎないことは勿論である。
（１）境界が明瞭である場合
異常領域と正常領域で色や形状に顕著な差が出ると考えられる場合である。この場合、特徴量選択部６２１は、色特徴量を優先的に選択し、色特徴量および形状特徴量の次元数をテクスチャ特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：４０次元、形状特徴量：４０次元、テクスチャ特徴量：２０次元と設定する。
（２）境界が不明瞭である場合
異常領域と正常領域で色や形状に顕著な差が出ないと考えられる場合である。この場合、特徴量選択部６２１は、テクスチャ特徴量を優先的に選択し、テクスチャ特徴量の次元数を色特徴量および形状特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：１０次元、形状特徴量：１０次元、テクスチャ特徴量：８０次元と設定する。

（変形例１−２）
本実施の形態１の変形例１−２として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第３例を説明する。本変形例１−２において、異常候補領域情報取得部６１は、生体内管腔画像内における臓器種類を判別する。臓器種類の判別方法に関しては、生体内管腔画像の平均Ｒ、Ｇ、Ｂ値に基づいて臓器種類を判別する方法（例えば、特開２００６−２８８６１２号公報を参照）を用いる。記憶部３は、胃、小腸、大腸の画像内におけるＲ、Ｇ、Ｂ平均値の数値範囲を予め記憶している。異常候補領域情報取得部６１は、画像内におけるＲ、Ｇ、Ｂ平均値と記憶部３が記憶する胃、小腸および大腸の数値範囲とを比較することにより、臓器種類を判別する。

本変形例１−２において、特徴量選択部６２１は、異常候補領域情報取得部６１によって判定された臓器種類に基づいて、選択する特徴量ごとの次元数を設定する。
（１）臓器種類が胃、小腸である場合
主な検出対象が、出血、びらん・潰瘍などの色やテクスチャに特徴がある異常の場合である。この場合、特徴量選択部６２１は、色特徴量およびテクスチャ特徴量を優先的に選択し、色特徴量およびテクスチャ特徴量の次元数を形状特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：４０次元、形状特徴量：２０次元、テクスチャ特徴量：４０次元と設定する。
（２）臓器種類が大腸である場合
主な検出対象が、ポリープ、腫瘍などの形状に特徴がある異常の場合である。この場合、特徴量選択部６２１は、形状特徴量を優先的に選択し、形状特徴量の次元数を色特徴量およびテクスチャ特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：１０次元、形状特徴量：８０次元、テクスチャ特徴量：１０次元と設定する。

（変形例１−３）
本実施の形態１の変形例１−３として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第４例を説明する。本変形例１−３において、異常候補領域情報取得部６１は、異常候補領域が泡内部領域にあるか否かを判定する。記憶部３には、泡画像から事前に作成した泡モデルが記憶されている。
まず、異常候補領域情報取得部６１は、画像内の各画素（輝度値、Ｇ値等）から公知のSobelやLaplacian等により勾配強度を算出する。
続いて、異常候補領域情報取得部６１は、記憶部３が記憶する泡モデルと勾配強度画像の各画素位置における相関値を算出する。
その後、異常候補領域情報取得部６１は、泡モデルとの相関値が所定の閾値以上である領域を泡内部領域として抽出する。
続いて、異常候補領域情報取得部６１は、各異常候補領域について、その重心位置を算出する。
最後に、異常候補領域情報取得部６１は、異常候補領域の重心位置が泡内部領域および泡外部領域のいずれに存在するかを判定する。図６は、異常候補領域の重心位置が泡内部領域に存在する場合を模式的に示す図である。図６に示す場合、異常候補領域情報取得部６１は、重心位置が泡内部領域に存在すると判定する。

本変形例１−３において、特徴量選択部６２１は、異常候補領域が泡内部領域にあると判定された場合、選択する特徴量ごとの次元数を設定する。異常候補領域が泡内部領域にあると、粘膜領域の赤みが強くなるため、異常領域と正常領域で色に顕著な差が出ないと考えられる。この場合、特徴量選択部６２１は、形状特徴量およびテクスチャ特徴量を優先的に選択し、形状特徴量およびテクスチャ特徴量の次元数を色特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：２０次元、形状特徴量：４０次元、テクスチャ特徴量：４０次元と設定する。

異常候補領域が泡外部領域にあると判定された場合、特徴量選択部６２１は、３つの特徴量の次元数を略均一に設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、３種類のうち２種類の次元数を３３次元とし、残りの１種類の次元数を３４次元とする。また、均一ではなくあらかじめ決定しておいた所定のバランスを設定してもよい。

（変形例１−４）
本実施の形態１の変形例１−４として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第５例を説明する。本変形例１−４において、異常候補領域情報取得部６１は、異常候補領域が暗部領域にあるか否かを判定する。
まず、異常候補領域情報取得部６１は、各拡張領域内の輝度平均値（Ｇ平均値等）を算出する。
この後、異常候補領域情報取得部６１は、輝度平均値が所定の閾値以下となる場合、その異常候補領域を暗部領域と判定する。

本変形例１−４において、特徴量選択部６２１は、異常候補領域が暗部領域にあると判定された場合、選択する特徴量ごとの次元数を設定する。異常候補領域が暗部領域であると、異常領域と正常領域で色に顕著な差が出ないと考えられる。この場合、特徴量選択部６２１は、形状特徴量およびテクスチャ特徴量を優先的に選択し、形状特徴量およびテクスチャ特徴量の次元数を色特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：２０次元、形状特徴量：４０次元、テクスチャ特徴量：４０次元と設定する。

異常候補領域が明部領域にあると判定された場合、特徴量選択部６２１は、３つの特徴量の次元数を略均一に設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、３種類のうち２種類の次元数を３３次元とし、残りの１種類の次元数を３４次元とする。

（変形例１−５）
本実施の形態１の変形例１−５として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第６例を説明する。本変形例１−５において、異常候補領域情報取得部６１は、異常候補領域がハレーション領域にあるか否かを判定する。
まず、異常候補領域情報取得部６１は、各拡張領域内の輝度平均値（Ｇ平均値等）を算出する。
この後、異常候補領域情報取得部６１は、輝度平均値が所定の閾値以上となる場合、その異常候補領域をハレーション領域と判定する。

本変形例１−５において、特徴量選択部６２１は、異常候補領域がハレーション領域であると判定された場合、選択する特徴量ごとの次元数を設定する。異常候補領域がハレーション領域であると、色のバランスが崩れていると考えられる。この場合、特徴量選択部６２１は、形状特徴量およびテクスチャ特徴量を優先的に選択し、形状特徴量およびテクスチャ特徴量の次元数を色特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：２０次元、形状特徴量：４０次元、テクスチャ特徴量：４０次元と設定する。

異常候補領域が非ハレーション領域にあると判定された場合、特徴量選択部６２１は、３つの特徴量の次元数を略均一に設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、３種類のうち２種類の次元数を３３次元とし、残りの１種類の次元数を３４次元とする。

（変形例１−６）
本実施の形態１の変形例１−６として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第７例を説明する。本変形例１−６において、異常候補領域情報取得部６１は、画像内における粘膜色を算出する。記憶部３は、事前に収集した粘膜領域と被粘膜領域のＲ、Ｇ、Ｂ各成分の画素値や、それらをもとに公知の変換により２次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ、Ｂ／Ｇ）等の色特徴量をもとに決定される粘膜領域の判別基準（色範囲）を予め記憶している。
異常候補領域情報取得部６１は、処理対象の各画素の色特徴量と、記憶部３が記憶する粘膜領域の判別基準とをもとに、各画素が粘膜領域であるか否かを判定する。
続いて、異常候補領域情報取得部６１は、粘膜領域の色特徴量（Ｇ／Ｒ平均値）を算出する。
最後に、異常候補領域情報取得部６１は、色特徴量（Ｇ／Ｒ平均値）が所定の閾値未満となる場合、赤味が強い粘膜色を有する粘膜領域であると判定し、Ｇ／Ｒ平均値が所定の閾値以上となる場合には、赤味が弱い粘膜色を有する粘膜領域であると判定する。

本変形例１−６において、特徴量選択部６２１は、画像内における粘膜色の赤みの強さに基づいて、選択する特徴量ごとの次元数を設定する。
（１）粘膜色の赤味が強い場合
異常領域と正常領域で色に顕著な差が出ないと考えられる場合である。この場合、特徴量選択部６２１は、形状特徴量およびテクスチャ特徴量を優先的に選択し、形状特徴量およびテクスチャ特徴量の次元数を色特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：２０次元、形状特徴量：４０次元、テクスチャ特徴量：４０次元と設定する。
（２）粘膜色の赤味が弱い場合
異常領域と正常領域で色に顕著な差が出ると考えられる場合である。この場合、特徴量選択部６２１は、色特徴量を優先的に選択し、色特徴量の次元数を形状特徴量およびテクスチャ特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：８０次元、形状特徴量：１０次元、テクスチャ特徴量：１０次元と設定する。

以上説明した変形例１−１〜１−６が、実施の形態１と同様の効果を奏することはいうまでもない。

なお、変形例１−１〜１−６で説明した特徴量選択部６２１の処理を、実施の形態１で説明した特徴量選択部６２１の処理と適宜組み合わせることも可能である。例えば、実施の形態１および変形例１−１〜１−６の選択方法を適宜組み合わせて各種特徴量を選択する場合には、それぞれで設定した各種特徴量の次元数の平均を最終的な設定値としてもよい。具体的には、例えば２つの選択方法を組み合わせる場合において、１つの選択方法で設定した各種特徴量の次元数が、色特徴量：８０次元、形状特徴量：１０次元、テクスチャ特徴量：１０次元であり、もう１つの選択方法で設定した場合の各種特徴量の次元数が色特徴量：１０次元、形状特徴量：８０次元、テクスチャ特徴量：１０次元であるとき、特徴量選択部６２１は、各種特徴量の次元数の平均を計算することにより、最終的な次元数の設定値を、色特徴量：４５次元、形状特徴量：４５次元、テクスチャ特徴量：１０次元とする。

また、複数の選択方法に対して予め優先順位を設けておいてもよい。この場合には、優先順位に応じた所定の重み付けをして各特徴量における次元数を設定するようにしてもよい。

また、画像処理装置１に対して指示信号の入力を受け付ける入力部の機能を具備させ、ユーザが入力部を介して選択方法を指示することができるようにしてもよい。ここで、入力部は、例えばキーボードやマウス等のユーザインタフェースを用いて実現することができる。なお、画像処理装置１が表示部を有する場合には、表示パネルの表面にタッチパネルを配設し、このタッチパネルを入力部として機能させることも可能である。

（実施の形態２）
図７は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置８は、演算部９と、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。

演算部９は、異常候補領域検出部４と、特徴量算出部５と、統合特徴量算出部１０と、検出部７とを有する。統合特徴量算出部１０は、異常候補領域情報取得部６１と、パラメータ制御部６３とを有する。

パラメータ制御部６３は、異常候補領域における異常の種類に基づいて、統合特徴量の次元数を算出パラメータとして決定する統合特徴量次元数決定部６３１を有する。具体的には、統合特徴量次元数決定部６３１は、異常の種類が色異常である場合、異常の種類が形状異常やテクスチャ異常と比べて統合特徴量の次元数を小さく設定する。これは、異常の種類が色異常である場合、異常領域と正常領域に顕著な差が出ると考えられるためである。

統合特徴量算出部１０は、例えばＢｏＦを用いる場合には代表ベクトル数を統合特徴量の次元数とし、Fisher Vectorを用いる場合には分布数を統合特徴量の次元数として統合特徴量を算出する。

図８は、画像処理装置８が行う処理の概要を示すフローチャートである。ステップＳ１１〜Ｓ１４およびＳ１７の処理は、図４におけるステップＳ１〜Ｓ４およびＳ７の処理とそれぞれ同様である。

ステップＳ１５において、統合特徴量次元数決定部６３１は、異常候補から取得した情報に基づいて、統合特徴量の次元数を決定する（ステップＳ１５）。

この後、統合特徴量算出部１０は、統合特徴量次元数決定部６３１が決定した統合特徴量の次元数に基づいて統合特徴量を算出する（ステップＳ１６）。

ステップＳ１７において検出部７が異常を検出した後、画像処理装置８は一連の処理を終了する。

以上説明した本発明の実施の形態２によれば、異常候補領域を検出し、検出した異常候補領域の情報に基づいて複数種類の特徴量を統合するため、実施の形態１と同様、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる。

また、本実施の形態２によれば、統合特徴量の次元数を異常候補領域の情報に応じて適応的に決定するため、異常候補領域に応じた統合特徴量を算出することができ、誤検出や未検出を抑制することが可能となる。

（変形例２−１）
本実施の形態の変形例２−１として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第２例を説明する。統合特徴量次元数決定部６３１は、異常候補領域の境界における明瞭性に基づいて統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、境界が明瞭な場合には、境界が不明瞭な場合に比べて統合特徴量の次元数を小さく設定する。これは、境界が明瞭な場合、異常領域と正常領域に顕著な差が出ると考えられるためである。

（変形例２−２）
本実施の形態の変形例２−２として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第３例を説明する。統合特徴量次元数決定部６３１は、異常候補領域が撮像された生体内管腔画像内における臓器種類に基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、検査対象の臓器に対する統合特徴量の次元数を、検査対象でない臓器に対する統合特徴量の次元数より大きく設定する。これにより、検査対象の臓器を精度よく検出することが可能となる。

（変形例２−３）
本実施の形態の変形例２−３として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第４例を説明する。統合特徴量次元数決定部６３１は、異常候補領域が泡内部領域にあるか否かに基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、異常候補領域が泡内部領域にある場合には、泡外部領域にある場合と比べて統合特徴量の次元数を大きく設定する。これは、異常候補領域が泡内部領域にある場合、粘膜領域の赤みが強くなり、異常領域と正常領域で顕著な差が出にくいと考えられるためである。

（変形例２−４）
本実施の形態の変形例２−４として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第５例を説明する。統合特徴量次元数決定部６３１は、異常候補領域が暗部領域にあるか否かに基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、異常候補領域が暗部領域にある場合には、非暗部領域にある場合と比べて統合特徴量の次元数を大きく設定する。これは、異常候補領域が暗部領域にある場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。

（変形例２−５）
本実施の形態の変形例２−５として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第６例を説明する。統合特徴量次元数決定部６３１は、異常候補領域がハレーション領域にあるか否かに基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、異常候補領域がハレーション領域にある場合には、非ハレーション領域にある場合と比べて統合特徴量の次元数を大きく設定する。これは、異常候補領域がハレーション領域にある場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。

（変形例２−６）
本実施の形態の変形例２−６として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第７例を説明する。統合特徴量次元数決定部６３１は、生体内管腔画像内における粘膜色に基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、粘膜色の赤味が強い場合には、粘膜色の赤みが弱い場合と比べて統合特徴量の次元数を大きく設定する。これは、粘膜色の赤味が強い場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。

以上説明した変形例２−１〜２−６が、上述した実施の形態２と同様の効果を奏することはいうまでもない。

なお、変形例２−１〜２−６で説明した統合特徴量次元数決定部６３１の処理を、実施の形態２で説明した統合特徴量次元数決定部６３１の処理と適宜組み合わせることも可能である。例えば、各統合特徴量次元数決定処理で決定した次元数の平均を統合特徴量の次元数として決定してもよい。また、組み合わせる複数の統合特徴量次元数決定処理に対して優先順位を設けておき、各統合特徴量次元数決定処理で決定された次元数に対して優先順位に応じて重み付けしたものを足し合わせることによって得られる次元数を統合特徴量の次元数として最終的に決定してもよい。

（実施の形態３）
図９は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１１は、演算部１２と、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。

演算部１２は、異常候補領域検出部４と、特徴量算出部５と、統合特徴量算出部１３と、検出部７とを有する。統合特徴量算出部１３は、異常候補領域情報取得部６１と、パラメータ制御部６４とを有する。

パラメータ制御部６４は、異常候補領域の情報に基づいて特徴量の変換次元数を決定する特徴量変換次元数決定部６４１を有する。具体的には、特徴量変換次元数決定部６４１は、異常候補領域の種類が色異常である場合には、異常候補領域の種類が形状異常やテクスチャ異常である場合に比べて特徴量の変換次元数を小さく設定する。これは、異常の種類が色異常である場合、異常領域と正常領域に顕著な差が出ると考えられるためである。

図１０は、画像処理装置１１が行う処理の概要を示すフローチャートである。ステップＳ２１〜Ｓ２４およびＳ２８の処理は、図４におけるステップＳ１〜Ｓ４およびＳ７の処理とそれぞれ同様である。

ステップＳ２５において、特徴量変換次元数決定部６４１は、異常候補領域の情報に基づいて特徴量の変換次元数を決定する（ステップＳ２５）。

続いて、統合特徴量算出部１３は、公知の主成分分析やカーネル法等により、特徴量変換次元数決定部６４１が決定した特徴量の変換次元数に次元数を変換する（ステップＳ２６）。なお、変換次元数は変換前の特徴量の次元数より小さくてもよいし、大きくてもよい。

この後、統合特徴量算出部１３は、ＢｏＦまたはFisher Vector等を用いることにより、複数の特徴量を統合した統合特徴量を算出する（ステップＳ２７）。本実施の形態３において、統合特徴量の次元数は、実施の形態１と同様に予め定められている。

ステップＳ２８において検出部７が異常を検出した後、画像処理装置１１は一連の処理を終了する。

以上説明した本発明の実施の形態３によれば、異常候補領域を検出し、検出した異常候補領域の情報に基づいて複数種類の特徴量を統合するため、実施の形態１と同様、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる。

また、本実施の形態３によれば、特徴量の変換次元数を異常候補領域の情報に応じて適応的に決定するため、異常候補領域に応じた統合特徴量を算出することができ、誤検出や未検出を抑制することが可能となる。

（変形例３−１）
本実施の形態の変形例３−１として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第２例を説明する。特徴量変換次元数決定部６４１は、異常候補領域の境界における明瞭性に基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、境界が明瞭である場合には、境界が不明瞭な場合に比べて特徴量の変換次元数を小さく設定する。これは、境界が明瞭である場合、異常領域と正常領域に顕著な差が出ると考えられるためである。

（変形例３−２）
本実施の形態の変形例３−２として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第３例を説明する。特徴量変換次元数決定部６４１は、異常候補領域が撮像された画像内における臓器種類に基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、検査対象の臓器に対し、検査対象ではない臓器に比べて特徴量の変換次元数を大きく設定する。これにより、検査対象の臓器を精度よく検出することができる。

（変形例３−３）
本実施の形態の変形例３−３として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第４例を説明する。特徴量変換次元数決定部６４１は、異常候補領域が泡内部領域にあるか否かに基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、異常候補領域が泡内部領域にある場合には、泡外部領域にある場合と比べて特徴量の変換次元数を大きく設定する。これは、異常候補領域が泡内部領域にある場合、粘膜領域の赤みが強くなり、異常領域と正常領域で顕著な差が出にくいと考えられるためである。

（変形例３−４）
本実施の形態の変形例３−４として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第５例を説明する。特徴量変換次元数決定部６４１は、異常候補領域が暗部領域にあるか否かに基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、異常候補領域が暗部領域にある場合には、非暗部領域にある場合と比べて特徴量の変換次元数を大きく設定する。これは、異常候補領域が暗部領域にある場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。

（変形例３−５）
本実施の形態の変形例３−５として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第６例を説明する。特徴量変換次元数決定部６４１は、異常候補領域がハレーション領域にあるか否かに基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、異常候補領域がハレーション領域にある場合には、非ハレーション領域にある場合と比べて特徴量の変換次元数を大きく設定する。これは、異常候補領域がハレーション領域にある場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。

（変形例３−６）
本実施の形態の変形例３−６として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第７例を説明する。特徴量変換次元数決定部６４１は、画像内における粘膜色に基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、画像内の粘膜色の赤味が強い場合には、粘膜色の赤味が弱い場合に比べて特徴量の変換次元数を大きく設定する。これは、画像内の粘膜色の赤味が強い場合には、異常領域と正常領域で顕著な差が出にくいと考えられるためである。

以上説明した変形例３−１〜３−６が、上述した実施の形態３と同様の効果を奏することはいうまでもない。

なお、変形例３−１〜３−６で説明した特徴量変換次元数決定部６４１の処理を、実施の形態３で説明した特徴量変換次元数決定部６４１の処理と適宜組み合わせることも可能である。例えば、各特徴量変換次元数決定処理で決定した次元数の平均を特徴量変換次元数として決定してもよい。また、組み合わせる複数の特徴量変換次元数決定処理に対して優先順位を設けておき、各特徴量変換次元数決定処理で決定された次元数に対して優先順位に応じて重み付けしたものを足し合わせることによって得られる次元数を変換次元数として最終的に決定してもよい。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜３によってのみ限定されるべきものではない。例えば、パラメータ制御部が、特徴量選択部６２１、統合特徴量次元数決定部６３１および特徴量変換次元数決定部６４１の２つ以上を具備してもよい。この場合には、特徴量選択処理、統合特徴量次元数決定処理および特徴量変換次元数決定処理の２つ以上を組み合わせて行うことが可能となる。

また、実施の形態１において、特徴量算出部５は、式（１）にしたがって異常候補領域を拡張した拡張領域に基づいて円形領域を設定したが、異常候補領域を縮小した縮小領域に基づいて円形領域を設定してもよい。

このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。

１、８、１１画像処理装置
２、９、１２演算部
３記憶部
４異常候補領域検出部
５特徴量算出部
６、１０、１３統合特徴量算出部
６１異常候補領域情報取得部
６２、６３、６４パラメータ制御部
１０１異常候補領域
１０２外接矩形領域
１０３拡張領域
１０４円形領域
１０５拡張領域内の異常候補領域でない領域
６２１特徴量選択部
６３１統合特徴量次元数決定部
６４１特徴量変換次元数決定部

Claims

生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域における異常の種類を推定し、
前記パラメータ制御手段は、
前記統合特徴量の次元数を決定する統合特徴量次元数決定手段、および前記特徴量の変換次元数を決定する特徴量変換次元数決定手段の少なくともいずれかを有することを特徴とする画像処理装置。
前記異常候補領域情報取得手段は、
前記異常の種類として、色、形状およびテクスチャのいずれに異常があるかを推定し、
前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
前記色に異常がある場合の次元数が、前記形状および／または前記テクスチャに異常がある場合の次元数より小さいことを特徴とする請求項１に記載の画像処理装置。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域における異常の種類を互いに異なる複数の方法によって推定し、
前記パラメータ制御手段は、
前記複数の方法による前記異常の種類の推定結果の少なくとも一部を組み合わせることにより、前記統合特徴量の次元数を決定する統合特徴量次元数決定手段、および前記特徴量の変換次元数を決定する特徴量変換次元数決定手段の少なくともいずれかを有することを特徴とする画像処理装置。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域の境界における明瞭性を算出し、
前記パラメータ制御手段は、
前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有し、
前記特徴量選択手段は、
前記境界が明瞭な場合には、色特徴量および形状特徴量の少なくともいずれかを優先的に選択し、
前記境界が不明瞭な場合には、テクスチャ特徴量を優先的に選択する、
ことを特徴とする画像処理装置。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域の境界における明瞭性を算出し、
前記パラメータ制御手段は、
前記統合特徴量の次元数を決定する統合特徴量次元数決定手段および前記特徴量の変換次元数を決定する特徴量変換次元数決定手段の少なくともいずれかを有することを特徴とする画像処理装置。
前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
前記境界が明瞭な場合の次元数が、前記境界が不明瞭な場合の次元数よりも小さいことを特徴とする請求項５に記載の画像処理装置。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域の周辺領域における情報を算出し、
前記パラメータ制御手段は、
前記異常候補領域の周辺領域における情報に基づいて、前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有し、
前記異常候補領域情報取得手段は、
前記生体内管腔画像内における臓器種類を分類し、
前記特徴量選択手段は、
前記臓器種類が胃または小腸である場合には、色特徴量およびテクスチャ特徴量の少なくともいずれかを優先的に選択し、
前記臓器種類が大腸である場合には、形状特徴量を優先的に選択する、
ことを特徴とする画像処理装置。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域の周辺領域における情報を算出し、
前記パラメータ制御手段は、
前記異常候補領域の周辺領域における情報に基づいて、前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有し、
前記異常候補領域情報取得手段は、
前記異常候補領域が泡内部領域にあるか否かを判定し、
前記特徴量選択手段は、
前記異常候補領域が泡内部領域にある場合には、形状特徴量およびテクスチャ特徴量の少なくともいずれかを優先的に選択することを特徴とする画像処理装置。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域の周辺領域における情報を算出し、
前記パラメータ制御手段は、
前記異常候補領域の周辺領域における情報に基づいて、前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有し、
前記異常候補領域情報取得手段は、
前記異常候補領域が暗部領域にあるか否か、および前記異常候補領域がハレーション領域にあるか否かの少なくともいずれかを判定し、
前記特徴量選択手段は、
前記異常候補領域が暗部領域またはハレーション領域にある場合には、形状特徴量およびテクスチャ特徴量の少なくともいずれかを優先的に選択することを特徴とする画像処理装置。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域の周辺領域における情報を算出し、
前記パラメータ制御手段は、
前記異常候補領域の周辺領域における情報に基づいて、前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有し、
前記異常候補領域情報取得手段は、
前記生体内管腔画像内における粘膜色を算出し、
前記特徴量選択手段は、
前記粘膜色において赤味が弱い場合には、色特徴量を優先的に選択し、
前記粘膜色において赤味が強い場合には、形状特徴量およびテクスチャ特徴量の少なくともいずれかを優先的に選択する、
ことを特徴とする画像処理装置。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出手段と、
前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
を備え、
前記統合特徴量算出手段は、
前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得手段は、
前記異常候補領域の周辺領域における情報を算出し、
前記パラメータ制御手段は、
前記統合特徴量の次元数を決定する統合特徴量次元数決定手段、および前記特徴量の変換次元数を決定する特徴量変換次元数決定手段の少なくともいずれかを有することを特徴とする画像処理装置。
前記異常候補領域情報取得手段は、
前記生体内管腔画像内における臓器種類を分類することを特徴とする請求項１１に記載の画像処理装置。
前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
検査対象である臓器の次元数が、非検査対象である臓器の次元数より大きいことを特徴とする請求項１２に記載の画像処理装置。
前記異常候補領域情報取得手段は、
前記異常候補領域が泡内部領域にあるか否かを判定することを特徴とする請求項１１に記載の画像処理装置。
前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
前記異常候補領域が前記泡内部領域にある場合の次元数が、泡外部領域にある場合の次元数より大きいことを特徴とする請求項１４に記載の画像処理装置。
前記異常候補領域情報取得手段は、
前記異常候補領域が暗部領域にあるか否か、および前記異常候補領域がハレーション領域にあるか否かの少なくともいずれかを判定することを特徴とする請求項１１に記載の画像処理装置。
前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
前記異常候補領域が前記暗部領域または前記ハレーション領域にある場合の次元数が、非暗部領域または非ハレーション領域にある場合の次元数より大きいことを特徴とする請求項１６に記載の画像処理装置。
前記異常候補領域情報取得手段は、
前記生体内管腔画像内における粘膜色を算出することを特徴とする請求項１１に記載の画像処理装置。
前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
前記粘膜色において赤味が強い場合の次元数が、前記粘膜色において赤味が弱い場合の次元数より大きいことを特徴とする請求項１８に記載の画像処理装置。
異常候補領域検出部が、生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出ステップと、
特徴量算出部が、前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出ステップと、
統合特徴量算出部が、前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出ステップと、
検出部が、前記統合特徴量を用いて前記生体内管腔画像の異常を検出する検出ステップと、
を含み、
前記統合特徴量算出ステップは、
前記異常候補領域の情報を取得する異常候補領域情報取得ステップと、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御ステップと、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得ステップは、
前記異常候補領域における異常の種類を推定し、
前記パラメータ制御ステップは、
前記統合特徴量の次元数を決定する統合特徴量次元数決定ステップ、および前記特徴量の変換次元数を決定する特徴量変換次元数決定ステップの少なくともいずれかを有することを特徴とする画像処理装置の作動方法。
生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出ステップと、
前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出ステップと、
前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって所定の次元数を有する統合特徴量を算出する統合特徴量算出ステップと、
前記統合特徴量を用いて前記生体内管腔画像の異常を検出する検出ステップと、
をコンピュータに実行させ、
前記統合特徴量算出ステップは、
前記異常候補領域の情報を取得する異常候補領域情報取得ステップと、
前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御ステップと、
を有し、
前記算出パラメータに基づいて前記統合特徴量を算出し、
前記異常候補領域情報取得ステップは、
前記異常候補領域における異常の種類を推定し、
前記パラメータ制御ステップは、
前記統合特徴量の次元数を決定する統合特徴量次元数決定ステップ、および前記特徴量の変換次元数を決定する特徴量変換次元数決定ステップの少なくともいずれかを有することを特徴とする画像処理プログラム。