JPWO2016170655A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

管内の特定領域を精度よく検出する画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。画像処理装置は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、管内撮影状況に応じて特定領域の検出を行う特定領域検出部と、を備える。

Description

本発明は、管内画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、内視鏡画像の画素値勾配情報すなわち画素値面形状特徴量に基づいて生体内の異常領域を検出する技術や、内視鏡画像の輪郭特徴量であるエッジ情報に基づいて異常領域を検出する技術が開示されている（例えば、特許文献１を参照）。この技術では、画素値勾配の等方性、すなわち周囲の何れの方向に対しても同等な勾配が生じているか否かを評価したり、エッジ形状が所定の大きさの円弧形状であるか否かを評価したりすることにより、異常領域を検出している。

特開２００７−２４４５１９号公報

内視鏡画像には、管内壁に対して正面から撮影したり、側面から撮影したり、撮影距離が遠かったり、近かったり、焦点ボケが生じたり、動きブレが生じたり等、様々な撮影状況の下で撮影された画像が含まれる。異常領域等の所定の特定領域の写り方は撮影状況に応じて変化するため、その変化を考慮せずに同一の検出技術を適用しても、検出性能が向上しないという問題がある。

本発明は、上記に鑑みてなされたものであって、管内の特定領域を精度よく検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、前記管内撮影状況に応じて特定領域の検出を行う特定領域検出部と、を備えることを特徴とする。

本発明に係る画像処理方法は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、前記管内撮影状況に応じて特定領域の検出を行う特定領域検出ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、前記管内撮影状況に応じて特定領域の検出を行う特定領域検出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、管内の撮影状況に応じて特定領域を検出するため、管内の特定領域を精度よく検出することができる。

図１は、本発明の実施の形態の概要を説明するための図（その１）である。 図２は、本発明の実施の形態の概要を説明するための図（その２）である。 図３は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図４は、管内画像の一例として、内視鏡により撮影される生体の管内画像を模式的に示す図である。 図５は、本発明の実施の形態１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図６は、本発明の実施の形態１に係る画像処理装置の管深部領域検出部が行う処理の概要を示すフローチャートである。 図７は、本発明の実施の形態１の変形例１−１に係る画像処理装置の機能構成を示すブロック図である。 図８は、本発明の実施の形態１の変形例１−１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図９は、本発明の実施の形態１の変形例１−１に係る画像処理装置の内壁勾配算出部が行う処理の概要を示すフローチャートである。 図１０は、本発明の実施の形態１の変形例１−２に係る画像処理装置の機能構成を示すブロック図である。 図１１は、本発明の実施の形態１の変形例１−２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１２は、本発明の実施の形態１の変形例１−３に係る画像処理装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態１の変形例１−３に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図１５は、本発明の実施の形態２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態２に係る画像処理装置の撮影距離推定部が行う処理の概要を示すフローチャートである。 図１７は、本発明の実施の形態２の変形例２−１に係る画像処理装置の機能構成を示すブロック図である。 図１８は、本発明の実施の形態２の変形例２−１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１９は、本発明の実施の形態２の変形例２−１に係る画像処理装置の焦点ボケ解析部が行う処理の概要を示すフローチャートである。 図２０は、本発明の実施の形態２の変形例２−２に係る画像処理装置の機能構成を示すブロック図である。 図２１は、本発明の実施の形態２の変形例２−２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態２の変形例２−２に係る画像処理装置の動きブレ解析部が行う処理の概要を示すフローチャートである。 図２３は、本発明の実施の形態２の変形例２−３に係る画像処理装置の機能構成を示すブロック図である。 図２４は、本発明の実施の形態２の変形例２−３に係る画像処理装置が行う処理の概要を示すフローチャートである。 図２５は、本発明の実施の形態２の変形例２−４に係る画像処理装置の機能構成を示すブロック図である。 図２６は、本発明の実施の形態２の変形例２−４に係る画像処理装置が行う処理の概要を示すフローチャートである。 図２７は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図２８は、本発明の実施の形態３に係る画像処理装置が行う処理の概要を示すフローチャートである。 図２９は、本発明の実施の形態４に係る画像処理装置の機能構成を示すブロック図である。 図３０は、本発明の実施の形態４に係る画像処理装置が行う処理の概要を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

図１および図２は、本発明の実施の形態の概要を説明するための図である。具体的には、図１および図２は、生体内に導入されて生体を観察する内視鏡によって撮影された生体の画像（管内画像）を模式的に示す図である。

内視鏡は、生体の管内壁の粘膜面に対して斜めから撮影することが多い。この場合、内視鏡が撮影する管内画像には、図１に示すように、撮影距離が近い管手前の粘膜面から撮影距離が遠い管深部の粘膜面までが写り、病変を生じている可能性がある異常領域が写ることもある。

これに対して、内視鏡は、図２に示すように、生体管内壁の粘膜面に対して正面から撮影する場合もある。粘膜面に対して正面から撮影する場合には、管深部が写らず、異常領域の写り方も斜めから撮影した場合とは異なる。

他にも、内視鏡が撮影する画像において、生体管内壁粘膜面までの撮影距離は画像によって異なる上、画像の中に焦点ボケや動きブレが生じる場合もある。

本実施の形態に係る画像処理装置は、上述した撮影状況の違いを解析して異常領域を含む特定領域の適応的な検出を行うことを特徴とする。ここで、特定領域とは、管内画像における被写体の性状または状態が所定の条件を満たす領域である。例えば、管内画像が生体の管内画像（生体内管腔画像）である場合には、生体の組織性状または生体内の状態が所定の条件を満たすような領域である。より具体的には、例えばアフタ、潰瘍、びらん、ポリープ、腫瘍、発赤、絨毛異常等の生体の組織性状が変化している領域、および出血等の生体内における状態変化が発生している領域等の異常領域を挙げることができる。特定領域は、画像の一部の領域でもよいし、画像全体の領域でもよい。なお、内視鏡が撮影する画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各波長成分に対する画素値を持つカラー画像が想定されるが、これに限定されるわけではない。

（実施の形態１）
図３は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３とを有する。

演算部２は、管内画像において、被写体と撮影側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部４と、管内撮影状況に応じた特定領域の検出を行う特定領域検出部５とを有する。

管内撮影状況解析部４は、管内画像中の管深部領域を検出する管深部領域検出部４１を有する。管深部領域検出部４１は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部４１１と、低吸収波長成分の管内画像中のエッジ周辺領域の画素を除外するエッジ周辺領域除外部４１２と、エッジ周辺領域の画素を除外した後の低吸収波長成分の画像において画素値が所定の閾値以下の領域を検出する低画素値領域検出部４１３とを有する。

一般に、低画素値領域検出部４１３によって検出された画素がまとまって存在する領域が管深部領域と考えられる。管深部領域検出部４１は、低画素値領域検出部４１３が検出した画素に対して、公知のラベリング処理（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１８１Ｐ、ラベリング）を行い、連結する画素を１つの領域としてまとめた後、面積が所定の閾値以上の領域のうち最大のものを管深部領域として検出する。管深部領域検出部４１は、所定の閾値以上の領域がなければ、管深部領域なし、とする。

低吸収波長成分選択部４１１は、例えばＲ、Ｇ、Ｂ成分からなる画像の場合、血液の吸収帯域から離れており、かつ長波長である成分であって、生体内での吸収・散乱の影響を受け難い成分であるＲ成分を選択する。低吸収波長成分選択部４１１がこのような選択を行うことにより、粘膜表面に写る血管等による画素値低下を抑え、最も粘膜表面との撮影距離に相関する画素値情報を得ることができる。

エッジ周辺領域除外部４１２は、例えば公知のエッジ抽出処理（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１１４Ｐ、エッジ抽出：２０９Ｐ、輪郭線検出）を適用してエッジ領域を特定した後、そのエッジ領域に対して公知の膨張処理（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１７９Ｐ、収縮・膨張処理）を行うことによって周辺領域を特定して除外する。エッジ周辺領域除外部４１２がエッジ周辺領域を除外することにより、粘膜襞による輪郭エッジ周辺に生じる陰影部分のように、管深部の粘膜（照明光が届き難く低吸収波長成分の画素値が低下する粘膜）として誤検出されてしまうおそれのある領域を除外することができる。

低画素値領域検出部４１３は、エッジ周辺領域を除外した後の低吸収波長成分の画像において、画素値が所定の閾値以下である画素を検出する。

特定領域検出部５は、特徴量算出部５１と、識別部５２とを有する。特徴量算出部５１が算出する特徴量としては、既に公知の色、輪郭（エッジ）、画素値面形状（画素値勾配）、テクスチャ等、様々なものを挙げることができる。一つの特徴量算出領域から算出した複数の特徴量は、特徴ベクトルとしてまとめられる。特徴ベクトルは、設定された特徴量算出領域の数だけ生じる。

特徴量算出部５１は、管深部領域の存否に応じて、所定の特定領域を検出するための特徴量算出に用いる領域の範囲を設定する範囲設定部５１１を有する。管深部領域が管内画像中に存在する場合は、管内壁を斜めから撮影している状況であるため、全体管構造を用いた大域的な情報に基づく特定領域の検出が可能である。

図４は、管内画像の一例として、内視鏡により撮影される生体の管内画像を模式的に示す図である。通常、内視鏡は管内壁の粘膜面を斜めから撮影する。このため、内視鏡が撮影する管内画像には、図４に示すように、撮影距離が近い管手前の粘膜面から撮影距離が遠い管深部の粘膜面までが写り、異常領域が写ることもある。粘膜襞による輪郭エッジは、基本的に管深部方向と逆側に凸となる形状を有し、異常領域の輪郭エッジには管深部方向に対して凸となる形状が生じる。このように、図４に示す管内画像では、管深部方向と内壁輪郭の凸方向の関係に基づく異常領域の検出等を行うことが可能である。

管内画像中に管深部領域が存在する場合、範囲設定部５１１は、管深部領域が含まれるよう、特徴量算出に用いる領域の範囲を相対的に大きく設定する。なお、仮に管内画像中に管深部領域が十分に含まれなかったとしても、領域の範囲が大きければ、画像処理装置１は内壁の勾配などから管深部方向を推定することによって特徴量算出を行うことができる。

一方、管内画像中に管深部領域が存在しない場合は、管内壁を正面から撮影している状況であるため、全体管構造を用いた大域的な情報に基づく特定領域の検出を精度よく行うことはできない。この状況で、範囲設定部５１１が特徴量算出に用いる領域の範囲を大きく設定すると、演算量の無駄や、精度低下に繋がる領域（鏡面反射、残渣、泡、正常襞、等）の混入が生じ易くなる。この場合、範囲設定部５１１は、特徴量算出に用いる領域の範囲を、管内画像中に管深部領域が存在する場合よりも小さく設定する。

識別部５２は、特徴量算出部５１が算出した特徴ベクトルをもとに管内画像中の領域の識別を行い、所定の特定領域を検出する。特徴ベクトルを基に識別を行う方法は様々なものが公知となっている。例えば、一般的な統計識別の方法として、下記式（１）に示す確率モデルに基づいて、特徴ベクトルｘが特定の条件を満たすか否かの識別指標Ｐ（ｘ）を算出し、この値が閾値以上である特徴量算出領域を特定領域として識別する方法を挙げることができる。

式（１）の右辺において、ｋは特徴ベクトルの次元数、ｘは識別対象の検査領域の特徴ベクトル（ｋ×１行列）、μは特定領域のサンプル（複数）における特徴ベクトルの平均ベクトル（ｋ×１行列）、Ｚは特定領域のサンプル（複数）における特徴ベクトルの分散共分散行列（ｋ×ｋ行列）、｜Ｚ｜はＺの行列式、Ｚ^-1はＺの逆行列である。

なお、ここでは確率モデルを用いた識別方法を例示したが、識別部５２は、他にも例えば代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内での識別境界を設定する方法等を用いて識別を行ってもよい。

演算部２は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。演算部２が汎用プロセッサである場合、記憶部３が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、演算部２が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部３が記憶する各種データ等を用いることで、プロセッサと記憶部３が共同または結合して種々の処理を実行してもよい。後述する実施の形態および変形例において説明する演算部も、演算部２と同様に実現されることはいうまでもない。

記憶部３は、ＲＯＭ（Read Only Memory）もしくはＲＡＭ（Random Access Memory）等の各種ＩＣメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはＣＤ−ＲＯＭ等の情報記録装置およびその読取装置等によって実現される。記憶部３は、画像処理装置１が取得した管内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部３は、本実施の形態１に係る画像処理プログラムや、該画像処理において用いられる閾値等の各種パラメータを記憶する。後述する実施の形態において説明する記憶部も、記憶部３と同様に実現されることはいうまでもない。

記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。この点については、後述する実施の形態および変形例において説明する画像処理装置に対しても同様のことがいえる。

なお、以上説明した画像処理装置１の機能を、被検体内に導入されて該被検体内を観察する内視鏡システムの一部をなし、該内視鏡システム全体を制御するプロセッサに具備させることも可能である。この点については、後述する実施の形態および変形例において説明する画像処理装置に対しても同様のことがいえる。

図５は、画像処理装置１が実行する処理の概要を示すフローチャートである。まず、演算部２は処理対象である管内画像を取得する（ステップＳ１）。

続いて、管深部領域検出部４１は、管内画像中の管深部領域を検出する（ステップＳ２）。図６は、管深部領域検出部４１が行う処理の概要を示すフローチャートである。以下、図６を参照して管深部領域検出部４１の処理を説明する。まず、低吸収波長成分選択部４１１が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する（ステップＳ１１）。例えば、Ｒ、Ｇ、Ｂ成分からなる画像の場合、低吸収波長成分選択部４１１は、上述したようにＲ成分を選択する。

その後、エッジ周辺領域除外部４１２は、低吸収波長成分の管内画像中のエッジ周辺領域の画素を除外する（ステップＳ１２）。これにより、エッジ周辺領域が管深部領域として誤検出されるのを防止することができる。

続いて、低画素値領域検出部４１３が、エッジ周辺領域を除外した後の低吸収波長成分の画像において、画素値が低い領域すなわち所定の閾値以下の画素値を有する画素の領域を検出する（ステップＳ１３）。上述した通り、管深部は撮影距離が遠いため、低吸収波長成分の画像の画素値が低くなる。

最後に、管深部領域検出部４１が、低画素値領域検出部４１３によって検出された領域を基に、公知のラベリング処理等を行うことによって管深部領域を検出する（ステップＳ１４）。これにより、管深部領域検出部４１による管深部領域検出処理（ステップＳ２）が終了する。

なお、本実施の形態１では、撮影距離と相関する画素値に基づいて管深部領域を検出する方法を示したが、これは一例にすぎず、例えば特開２００３−９３３２８号公報に示す方法等に基づいて管深部領域を検出してもよい。

また、管深部領域検出処理を行う前に、光学系や照明系に起因する画素値ムラの補正や、鏡面反射、残渣および泡等の非粘膜領域の除外等の処理を行ってもよい。これにより、後続する各処理の精度の低下を抑制することができる。

ステップＳ２に続くステップＳ３において、範囲設定部５１１は、管深部領域の存否に応じて、特定領域を検出するための特徴量算出に用いる領域の範囲を設定する（ステップＳ３）。

続いて、特徴量算出部５１は、設定された範囲の特徴量算出領域を管内画像中の任意の位置に設定し、その領域内から特徴量を算出する（ステップＳ４）。

この後、識別部５２は、管内画像中の領域を識別して特定領域を検出する（ステップＳ５）。識別部５２は、例えば上述した式（１）に示す確率モデルに基づいて識別指標Ｐ（ｘ）を算出し、この値が閾値以上である領域を特定領域として識別する。

最後に、演算部２は、特定領域の検出結果を出力する（ステップＳ６）。これにより、画像処理装置１は、一連の処理を終了する。

以上説明した本発明の実施の形態１によれば、管深部領域の存否に応じて、特徴量算出に用いる領域の範囲を設定するため、大域的な特徴量算出と、局所的な特徴量算出を適切に切り替えて特定領域を精度よく検出することができる。

（変形例１−１）
図７は、実施の形態１の変形例１−１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ａにおいて、図１に示す画像処理装置１と同様の機能を有する構成部位に対しては、図１と同様の符号を付してある。

画像処理装置１Ａは、演算部２Ａと、記憶部３とを有する。演算部２Ａは、管内撮影状況解析部４Ａと、特定領域検出部５とを有する。

管内撮影状況解析部４Ａは、管内画像中の管内壁の勾配（内壁勾配）を算出する内壁勾配算出部４２を有する。内壁勾配算出部４２は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部４１１と、低吸収波長成分の画素値勾配を算出する画素値勾配算出部４２１とを有する。

画素値勾配算出部４２１は、所定サイズのＸ方向の１次微分フィルタ出力ΔＸと、同サイズのＹ方向の１次微分フィルタ出力ΔＹを基に画素値勾配の大きさおよび方向を算出する（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１１５Ｐ、微分フィルタ）。画素値勾配算出部４２１は、管内壁の勾配を各画素位置で算出してもよいし、所定のサンプリング間隔で算出してもよい。

図８は、画像処理装置１Ａが行う処理の概要を示すフローチャートである。図８において、図５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ１に続く処理を説明する。

ステップＳ２Ａにおいて、内壁勾配算出部４２は、管内画像中の管内壁の勾配を算出する（ステップＳ２Ａ）。図９は、内壁勾配算出部４２が行う処理の概要を示すフローチャートである。以下、図９を参照して内壁勾配算出部４２の処理を説明する。まず、低吸収波長成分選択部４１１が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する（ステップＳ２１）。

続いて、画素値勾配算出部４２１は、選択された低吸収波長成分の画素値勾配を算出する（ステップＳ２２）。これにより、内壁勾配算出部４２による管内画像中の管内壁の勾配算出処理（ステップＳ２Ａ）が終了する。

ステップＳ２Ａの後、範囲設定部５１１は、内壁勾配の大小に応じて、特徴量算出に用いる領域の範囲を設定する（ステップＳ３Ａ）。複数箇所で算出した内壁勾配の大きさの平均値が所定の閾値以上である場合は、管内壁を斜めから撮影している状況に対応している。この場合、範囲設定部５１１は、特徴量算出に用いる領域の範囲を相対的に大きく設定する。一方、内壁勾配の大きさの平均値が所定の閾値未満となる場合は、管内壁を正面から撮影している状況に対応している。この場合、範囲設定部５１１は、特徴量算出に用いる領域の範囲を、内壁勾配の大きさの平均値が閾値以上である場合よりも小さく設定する。

ステップＳ３Ａに続くステップＳ４〜Ｓ６の処理は、実施の形態１で説明した処理と同じである。

以上説明した実施の形態１の変形例１−１によれば、内壁勾配の大小に応じて、特徴量算出に用いる領域の範囲を設定するため、大域的な特徴量算出と、局所的な特徴量算出を適切に切り替えて特定領域を精度よく検出することができる。

なお、本変形例１−１において、管内撮影状況解析部４Ａが、実施の形態１で説明した管深部領域検出部４１をさらに有する構成としてもよい。この場合、範囲設定部５１１は、管深部領域の存否および内壁勾配の大小に応じて特徴量算出に用いる領域の範囲を設定する。

（変形例１−２）
図１０は、実施の形態１の変形例１−２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｂにおいて、図１に示す画像処理装置１と同様の機能を有する構成部位に対しては、図１と同様の符号を付してある。

画像処理装置１Ｂは、演算部２Ｂと、記憶部３とを有する。演算部２Ｂは、管内撮影状況解析部４と、特定領域検出部５Ｂとを有する。

特定領域検出部５Ｂは、特徴量算出部５３と、識別部５２とを有する。特徴量算出部５３は、特定領域検出のための特徴量算出に用いる領域の形状および／または方向を設定する形状方向設定部５３１を有する。管深部領域が画像中にある場合は、管内壁を斜めから撮影している状況に対応しており、図１に示すように、異常領域は深部領域の方向（奥行き方向）に対して短く、管深部領域の方向と直交する方向に長い像となって写りやすい。この場合、形状方向設定部５３１は、特徴量算出に用いる領域の形状を、管深部領域の方向と直交する方向に長めの形状に設定する。

一方、管深部領域が画像中にない場合は、管内壁を正面から撮影している状況に対応しており、図２に示すように、管内壁を斜めから撮影する場合のような像の長さの変化が生じない。この場合、形状方向設定部５３１は、特徴量算出に用いる領域の形状を、方向に依存しない形状または略正方形状に設定する。

なお、斜めから撮影している状況では、撮影機の上下方向に応じて回転方向にも像が変化する。そこで、形状方向設定部５３１は、特徴量算出に用いる領域の方向を設定する際、管深部領域の方向に揃うよう回転補正してもよい。このように設定した場合、回転方向に形状が変化する特定領域に対して、後段の識別部５２の処理を共通化することができる。

図１１は、画像処理装置１Ｂが行う処理の概要を示すフローチャートである。図１１において、図５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ２に続く処理を説明する。

ステップＳ３Ｂにおいて、形状方向設定部５３１は、管深部領域の方向に応じて、特徴量算出に用いる領域の形状および／または方向を設定する（ステップＳ３Ｂ）。

この後、特徴量算出部５３は、設定された形状および／または方向を有する特徴量算出領域を管内画像中の任意の位置に設定し、その領域内から特徴量を算出する（ステップＳ４）。ステップＳ４に続くステップＳ５〜Ｓ６の処理は、実施の形態１で説明した処理と同じである。

以上説明した変形例１−２によれば、管深部領域の方向に応じて、特徴量算出に用いる領域の形状および／または方向を設定するため、管内壁に対する撮影方向（斜め、正面）の違いにより生じる画像の変化に適応し、かつ演算量の無駄や、精度低下に繋がる領域（鏡面反射、残渣、泡、正常襞、等）の混入を抑えた特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。

なお、本変形例１−２において、画像処理装置１Ｂが管内撮影状況解析部４を有する代わりに、変形例１−１で説明した管内撮影状況解析部４Ａを有する構成とすることも可能である。この場合、形状方向設定部５３１は、内壁勾配の方向に応じて、特徴量算出に用いる領域の形状および／または方向を設定する。

また、本変形例１−２において、管内撮影状況解析部４が、変形例１−１で説明した内壁勾配算出部４２をさらに有する構成としてもよい。この場合、形状方向設定部５３１は、管深部領域の方向ならびに内壁勾配の方向に応じて特徴量算出に用いる領域の形状および／または方向を設定する。

（変形例１−３）
図１２は、実施の形態１の変形例１−３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｃにおいて、図１に示す画像処理装置１と同様の機能を有する構成部位に対しては、図１と同様の符号を付してある。

画像処理装置１Ｃは、演算部２Ｃと、記憶部３とを有する。演算部２Ｃは、管内撮影状況解析部４と、特定領域検出部５Ｃとを有する。

特定領域検出部５Ｃは、特徴量算出部５４と、識別部５２とを有する。特徴量算出部５４は、特定領域検出のための使用特徴量の種類、または種類ごとの特徴量の重みを設定する種類設定部５４１を有する。

種類設定部５４１は、管内画像中の管深部領域の存否に応じて、特定領域の検出に使用する特徴量の種類または種類ごとの特徴量の重みを設定する。管内画像中に管深部領域が存在する場合は、管内壁を斜めから撮影している状況に対応しているため、異常領域表面の輪郭線が明瞭になる（図１参照）。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち輪郭特徴量の使用を設定する、または複数の特徴量の中で輪郭特徴量に他の種類の特徴量よりも高い重みを設定する。種類設定部５４１は、算出した複数種類の特徴量に対して、公知の特徴軸の正規化（平均が０、分散が１となるような線形変換）を行った後、輪郭特徴量の分散のみ１より大きくなるような係数を乗じる。

一方、管内画像中に管深部領域がない場合は、管内壁を正面から撮影している状況に対応し、異常領域表面の輪郭線は、斜めから撮影している状況に比べ不明瞭になりやすい（図２参照）。但し、画素値面形状（画素値勾配）や、テクスチャは捕らえ易くなる。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち画素値面形状特徴量もしくはテクスチャ特徴量の使用を設定する、または複数の特徴量の中で画素値面形状特徴量もしくはテクスチャ特徴量に他の種類の特徴量よりも高い重みを設定する。

図１３は、画像処理装置１Ｃが行う処理の概要を示すフローチャートである。図１３において、図５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ２に続く処理を説明する。

ステップＳ３Ｃにおいて、種類設定部５４１は、管内画像中の管深部領域の存否に応じて、使用する特徴量の種類または種類ごとの特徴量の重みを設定する（ステップＳ３Ｃ）。

この後、特徴量算出部５４は、特徴量算出領域を管内画像中の任意の位置に設定し、その領域内から特徴量を算出する（ステップＳ４）。ステップＳ４に続くステップＳ５〜Ｓ６の処理は、実施の形態１で説明した処理と同じである。

以上説明した変形例１−３によれば、管深部領域の存否に応じて、使用する特徴量または重視する特徴量を設定するため、管内壁に対する撮影方向（斜め、正面）の違いにより生じる特徴量の変化に適応して、より明瞭となる特徴量を重視した特徴量算出を行うことができ、特定領域を精度よく検出することができる。

なお、本変形例１−３において、画像処理装置１Ｃが管内撮影状況解析部４を有する代わりに、変形例１−１で説明した管内撮影状況解析部４Ａを有する構成とすることも可能である。この場合、種類設定部５４１は、内壁勾配の大きさに応じて、使用する特徴量の種類または種類ごとの特徴量の重みを設定する。

内壁勾配の大きさの平均値が所定の閾値以上となる場合は、管内壁を斜めから撮影している状況に対応する。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち輪郭特徴量の使用を設定する、または複数の特徴量の中で、輪郭特徴量に高い重みを設定する。

一方、内壁勾配の大きさの平均値が所定の閾値未満となる場合は、管内壁を正面から撮影している状況に対応する。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち画素値面形状特徴量もしくはテクスチャ特徴量の使用を設定する、または複数の特徴量の中で、画素値面形状特徴量もしくはテクスチャ特徴量に高い重みを設定する。

本変形例１−３において、管内撮影状況解析部４が、変形例１−１で説明した内壁勾配算出部４２をさらに有する構成としてもよい。この場合、種類設定部５４１は、管深部領域の存否および内壁勾配の大小に応じて使用する特徴量または重視する特徴量を設定するため、さらに精度よく特定領域を検出する。

（実施の形態２）
図１４は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６において、図３に示す画像処理装置１と同様の機能を有する構成部位に対しては、図３と同様の符号を付してある。

画像処理装置６は、演算部７と、記憶部３とを有する。演算部７は、管内撮影状況解析部８と、特定領域検出部５とを有する。

管内撮影状況解析部８は、管内壁までの撮影距離を推定する撮影距離推定部８１を有する。撮影距離推定を行う方法は、様々な方法が公知である。本実施の形態２では、一例として、撮影対象を均等拡散面と仮定した撮影距離推定の方法を説明する。

撮影距離推定部８１は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部８１１を有する。これは、粘膜表面に写る血管等による画素値低下を抑え、最も粘膜表面との撮影距離に相関する画素値情報を得るためである。例えば、Ｒ、Ｇ、Ｂ成分からなる画像の場合には、実施の形態１で説明したように、Ｒ成分を選択する。

撮影距離推定部８１は、選択された低吸収波長成分の画素値をもとに均等拡散面を仮定した撮影距離を推定する。具体的には、撮影距離推定部８１は、下記式（２）にしたがって管内画像中の複数箇所で撮影距離ｒを推定する。

ここで、式（２）の右辺のＩは事前に測定した光源の放射強度、Ｋは粘膜表面の拡散反射係数、θは粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角度、Ｌは撮影距離推定対象の粘膜表面が写る画素のＲ成分値である。このうち、拡散反射係数Ｋは、平均的な値を事前に測定することによって得る。また、角度θは、内視鏡先端と粘膜表面の位置関係により決まる値として、平均的な値を事前に設定する。

なお、撮影距離推定部８１は、式（２）で定義される撮影距離ｒを推定する代わりに、撮影距離ｒと相関を有する画素値を用いて後段の適応的な処理を行うようにしてもよい。

撮影距離推定部８１が複数箇所で算出した撮影距離の平均値が所定の閾値未満である場合は、撮影距離が比較的近い状況に対応する。撮影距離が近い場合、撮影距離が遠い場合よりも被写体が大きく写る。この場合、範囲設定部５１１は、特徴量算出に用いる領域の範囲を相対的に大きく設定する。

一方、撮影距離の平均値が所定の閾値以上である場合は、撮影距離が比較的遠い状況に対応する。この状況下では、被写体が比較的小さく写るため、特徴量算出に用いる領域の範囲を大きく設定すると、演算量の無駄や、精度低下に繋がる領域（鏡面反射、残渣、泡、正常襞、等）の混入が生じ易くなる。この場合、範囲設定部５１１は、特徴量算出に用いる領域の範囲を、撮影距離の平均値が閾値未満である場合よりも小さく設定する。

図１５は、画像処理装置６が実行する処理の概要を示すフローチャートである。まず、演算部７が処理対象である管内画像を取得する（ステップＳ３１）。

続いて、撮影距離推定部８１は、管内壁までの撮影距離を推定する（ステップＳ３２）。図１６は、撮影距離推定部８１が行う処理の概要を示すフローチャートである。以下、図１６を参照して撮影距離推定部８１の処理を説明する。まず、低吸収波長成分選択部８１１が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する（ステップＳ４１）。

この後、撮影距離推定部８１は、選択された低吸収波長成分の画素値を基に均等拡散面を仮定した撮影距離を推定する（ステップＳ４２）。具体的には、撮影距離推定部８１は、上述した式（２）にしたがって撮影距離を推定する。これにより、撮影距離推定部８１による撮影距離推定処理（ステップＳ３２）が終了する。

なお、撮影距離推定部８１が撮影距離推定処理を行う前に、演算部７は、光学系や照明系に起因する画素値ムラの補正や、鏡面反射、残渣および泡等の非粘膜領域の除外等の処理を行ってもよい。これにより、後続する各処理の精度の低下を抑制することができる。

また、内視鏡に測距センサ等の検出手段を設けておき、その検出結果に基づいて撮影距離推定部８１が撮影距離を推定するようにしてもよい。

ステップＳ３２の後、範囲設定部５１１は、推定された撮影距離の遠近に応じて、特徴量算出に用いる領域の範囲を設定する（ステップＳ３３）。

ステップＳ３４に続けて行うステップＳ３５〜Ｓ３６の処理は、実施の形態１で説明したステップＳ５〜Ｓ６の処理とそれぞれ同じである。

以上説明した本発明の実施の形態２によれば、撮影距離の遠近に応じて、特徴量算出に用いる領域の範囲を設定するため、撮影状況の違いにより生じる管内画像の変化に適応した特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。

（変形例２−１）
図１７は、実施の形態２の変形例２−１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６Ａにおいて、図１４に示す画像処理装置６と同様の機能を有する構成部位に対しては、図１４と同様の符号を付してある。

画像処理装置６Ａは、演算部７Ａと、記憶部３とを有する。演算部７Ａは、管内撮影状況解析部８Ａと、特定領域検出部５とを有する。

管内撮影状況解析部８Ａは、管内画像における焦点ボケを解析する焦点ボケ解析部８２を有する。焦点ボケ解析部８２は、鏡面反射除外部８２１と、空間周波数解析部８２２とを有する。

鏡面反射除外部８２１は、例えば特開２０１２−１１１３７号公報に開示されている方法に基づいて、管内画像における鏡面反射を判別して除外する。

空間周波数解析部８２２は、管内画像の所定の成分（例えばＧ成分等）に対して、公知の２次元フーリエ変換（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１２８Ｐ、２次元フーリエ変換）を行ってフーリエスペクトルを求めた後、低周波成分を示す中心からの距離が所定範囲となる環状領域内のスペクトルの和を、該距離を変化させながら算出することによって動径分布を求める。この動径分布において、距離が小さい部分は管内画像の低周波成分を示し、距離が大きい部分は管内画像の高周波成分を示す。一般に、高周波成分が少ない画像は、焦点ボケが大きい。

図１８は、画像処理装置６Ａが行う処理の概要を示すフローチャートである。図１８において、図１５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ３１に続く処理を説明する。

ステップＳ３２Ａにおいて、焦点ボケ解析部８２は、管内画像の焦点ボケ状態を解析する（ステップＳ３２Ａ）。図１９は、焦点ボケ解析部８２が行う処理の概要を示すフローチャートである。以下、図１９を参照して焦点ボケ解析部８２の処理を説明する。まず、鏡面反射除外部８２１が、管内画像における鏡面反射を判別して除外する（ステップＳ５１）。

続いて、空間周波数解析部８２２が、管内画像の所定の成分に対して２次元フーリエ変換を行った後、２次元フーリエ変換によって得られた２次元フーリエスペクトルの動径分布を算出する（ステップＳ５２）。

最後に、焦点ボケ解析部８２は、２次元フーリエスペクトルの動径分布を基に焦点ボケ状態を解析する（ステップＳ５３）。具体的には、焦点ボケ解析部８２は、管内画像中の高周波成分（動径分布で距離が大きい部分）が少ないほど、焦点ボケの度合いが大きいと判定する。

ステップＳ３２Ａの後、範囲設定部５１１は、焦点ボケの度合いに応じて特徴量算出に用いる領域の範囲を設定する（ステップＳ３３Ａ）。焦点ボケの度合いが大きい場合、被写体像は焦点ボケの度合いが小さい場合よりも広範囲の像となる。範囲設定部５１１は、焦点ボケの度合いが大きいほど、特徴量算出に用いる領域の範囲を大きく設定する。

ステップＳ３３Ａに続くステップＳ３４〜Ｓ３６の処理は、実施の形態２で説明した処理と同じである。

以上説明した変形例２−１によれば、焦点ボケの度合いに応じて特徴量算出に用いる領域の範囲を設定するため、撮影状況の違いにより生じる管内画像の変化に適応した特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。

なお、本変形例２−１において、管内撮影状況解析部８Ａが、実施の形態２で説明した撮影距離推定部８１をさらに有する構成としてもよい。この場合、範囲設定部５１１は、撮影距離の遠近および焦点ボケの度合いに応じて特徴量算出に用いる領域の範囲を設定する。

（変形例２−２）
図２０は、実施の形態２の変形例２−２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６Ｂにおいて、図１７に示す画像処理装置６Ａと同様の機能を有する構成部位に対しては、図１７と同様の符号を付してある。

画像処理装置６Ｂは、演算部７Ｂと、記憶部３とを有する。演算部７Ｂは、管内撮影状況解析部８Ｂと、特定領域検出部５とを有する。

管内撮影状況解析部８Ｂは、管内画像における動きブレを解析する動きブレ解析部８３を有する。動きブレ解析部８３は、鏡面反射除外部８２１と、空間周波数解析部８３１とを有する。

空間周波数解析部８３１は、２次元フーリエスペクトルの角度分布および動径分布を算出する。具体的には、空間周波数解析部８３１は、管内画像の所定の成分（例えばＧ成分等）に対して、２次元フーリエ変換を行って２次元フーリエスペクトルを求めた後、低周波成分を示す中心を通る水平線に対する角度が所定範囲である扇状領域内のスペクトルの和を、該角度を変化させながら算出することで角度分布を求める。また、空間周波数解析部８３１は、変形例２−１で説明したのと同様の方法を角度が所定範囲である扇状領域内に用いることによって角度が所定範囲である扇状領域内の動径分布を求める。

図２１は、画像処理装置６Ｂが行う処理の概要を示すフローチャートである。図２１において、図１５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ３１に続く処理を説明する。

ステップＳ３２Ｂにおいて、動きブレ解析部８３は、管内画像の動きブレ状態を解析する（ステップＳ３２Ｂ）。図２２は、動きブレ解析部８３が行う処理の概要を示すフローチャートである。以下、図２２を参照して動きブレ解析部８３の処理を説明する。まず、鏡面反射除外部８２１が、管内画像における鏡面反射を除外する（ステップＳ６１）。

続いて、空間周波数解析部８３１が、２次元フーリエスペクトルの角度分布および動径分布を算出する（ステップＳ６２）。

動きブレ解析部８３は、角度分布および動径分布を基に動きブレ状態を解析する（ステップＳ６３）。具体的には、動きブレ解析部８３は、角度分布を基に動きブレの方向を解析し、その解析結果にしたがって角度を絞った領域の動径分布を基に、動きブレ状態を解析する。例えば、動きブレが略一定の方向に生じた場合、その方向に対応する角度方向はスペクトルの分布が相対的に高く生じる。この場合、動きブレ解析部８３は、スペクトルの分布が相対的に高い領域付近の動径分布を基に、動きブレの状態を解析する。

内視鏡では、面順次方式と呼ばれる撮影方式がある。この場合、Ｒ、Ｇ、Ｂの照明光を時系列に沿って順次照射しながら、１つのイメージセンサーで撮影を行う。そのため、動きブレを生じる波長成分がどれか一つに限られる場合もあれば、波長成分間で生じる場合もある。したがって、面順次方式の場合、動きブレ解析部８３は、Ｒ、Ｇ、Ｂの各波長成分で動きブレの解析を行うとともに、波長成分間で動きブレの解析を行う。波長成分間の動きブレの解析は、波長成分の画像の和をとって合成画像を生成し、この合成画像に対して上述した空間周波数解析等を行えばよい。

ステップＳ３２Ｂの後、範囲設定部５１１は、動きブレの方向および度合いに応じて特徴量算出に用いる領域の範囲を設定する（ステップＳ３３Ｂ）。動きブレの度合いが大きい場合、被写体像は動きブレの度合いが小さい場合よりも広範囲の像となる。範囲設定部５１１は、動きブレの度合いが大きいほど、特徴量算出に用いる領域の範囲を大きく設定する。

ステップＳ３３Ｂに続くステップＳ３４〜Ｓ３６の処理は、実施の形態２で説明した処理と同じである。

以上説明した変形例２−２によれば、動きブレの状態（方向および度合い）に応じて、特徴量算出に用いる領域の範囲を設定するため、撮影状況の違いにより生じる管内画像の変化に適応した特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。

なお、本変形例２−２では、必ずしも鏡面反射を除外する処理を行わなくてもよい。

また、本変形例２−２において、管内撮影状況解析部８Ｂが、実施の形態２で説明した撮影距離推定部８１および／または変形例２−１で説明した焦点ボケ解析部８２をさらに有する構成としてもよい。この場合、範囲設定部５１１は、撮影距離の遠近および／または焦点ボケの度合いならびに動きブレの度合いに応じて、特徴量算出に用いる領域の範囲を設定する。

（変形例２−３）
図２３は、実施の形態２の変形例２−３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６Ｃにおいて、図１２に示す画像処理装置１Ｃおよび図１４に示す画像処理装置６と同様の機能を有する構成部位に対しては、図１２および図１４と同様の符号を付してある。

画像処理装置６Ｃは、演算部７Ｃと、記憶部３とを有する。演算部７Ｃは、管内撮影状況解析部８と、特定領域検出部５Ｃとを有する。

特定領域検出部５Ｃは、特徴量算出部５４と、識別部５２とを有する。特徴量算出部５４は、種類設定部５４１を有する。

種類設定部５４１は、撮影距離の遠近に応じて、特定領域を検出するために使用する特徴量の種類、または種類ごとの特徴量の重みを設定する。複数箇所で算出された撮影距離の平均値が所定の閾値未満である場合、すなわち撮影距離が近い場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうちテクスチャ特徴量または輪郭特徴量の使用を設定する、または複数の特徴量の中でテクスチャ特徴量または輪郭特徴量に高い重みを設定する。種類設定部５４１は、算出した複数種類の特徴量に対して、公知の特徴軸の正規化（平均が０、分散が１となるような線形変換）を行った後、テクスチャ特徴量または輪郭特徴量の分散のみが１より大きくなるような係数を乗じる。

一方、撮影距離の平均値が所定の閾値以上である場合、すなわち撮影距離が遠い場合は、解像度の低下によってテクスチャは不明瞭となり、暗部ノイズ等の影響によって輪郭線も不明瞭になりやすい。但しこの場合、色や画素値面形状は比較的、安定した状態を維持することができる。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち色特徴量または画素値面形状特徴量の使用を設定する、または上述した複数の特徴量の中で、色特徴量または画素値面形状特徴量に他の種類の特徴量よりも高い重みを設定する。

なお、撮影距離が近い場合、色成分の中で飽和する成分が生じやすい。特に生体では、Ｒ成分が飽和しやすい。このように、撮影距離が近い場合には色バランスが崩れる可能性もあるため、種類設定部５４１は、色特徴量の不使用を設定する、または色特徴量に他の種類の特徴量より低い重みを設定するようにしてもよい。

図２４は、画像処理装置６Ｃが行う処理の概要を示すフローチャートである。図２４において、図１５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ３２に続く処理を説明する。

ステップＳ３３Ｃにおいて、種類設定部５４１は、撮影距離の遠近に応じて、特定領域検出のために使用する特徴量の種類、または種類ごとの特徴量の重みを設定する（ステップＳ３３Ｃ）。

ステップＳ３３Ｃに続くステップＳ３４〜Ｓ３６の処理は、実施の形態２で説明した処理と同じである。

以上説明した変形例２−３によれば、撮影距離の遠近に応じて、使用する特徴量の種類、または種類ごとの特徴量の重みを設定するため、撮影状況の違いにより生じる特徴量の変化に適応して、より明瞭となる特徴量を重視した特徴量算出を行うことができ、特定領域を精度よく検出することができる。

なお、本変形例２−３において、管内撮影状況解析部８の代わりに、焦点ボケ解析部８２を有する管内撮影状況解析部８Ａまたは動きブレ解析部８３を有する管内撮影状況解析部８Ｂを具備させてもよい。

管内撮影状況解析部８Ａを具備させた場合、種類設定部５４１は、焦点ボケの度合いに応じて、使用する特徴量の種類、または種類ごとの特徴量の重みを設定する。焦点ボケが小さい場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。そこで、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうちテクスチャ特徴量もしくは輪郭特徴量の使用を設定する、または上述した複数の特徴量の中でテクスチャ特徴量もしくは輪郭特徴量に他の種類の特徴量よりも高い重みを設定する。

一方、焦点ボケの度合いが大きい場合は、テクスチャや輪郭線は不明瞭になる。但しこの場合、色や画素値面形状は比較的安定した状態を維持できる。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち色特徴量もしくは画素値面形状特徴量の使用を設定する、または上述した複数の特徴量の中で、色特徴量もしくは画素値面形状特徴量に高い重みを設定する。

管内撮影状況解析部８Ｂを具備させた場合、種類設定部５４１は、動きブレの度合いに応じて、使用する特徴量の種類、または種類ごとの特徴量の重みを設定する。動きブレが小さい場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうちテクスチャ特徴量もしくは輪郭特徴量の使用を設定する、または上述した複数の特徴量の中でテクスチャ特徴量もしくは輪郭特徴量に他の種類の特徴量よりも高い重みを設定する。

一方、動きブレが大きい場合は、テクスチャや輪郭線は不明瞭になる。但しこの場合、色や画素値面形状は比較的、安定した状態を維持できる。この場合、種類設定部５４１は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち色特徴量もしくは画素値面形状特徴量の使用を設定する、または上述した複数の特徴量の中で色特徴量もしくは画素値面形状特徴量に他の種類の特徴量よりも高い重みを設定する。

なお、面順次方式の内視鏡で動きブレが生じた場合には、色ズレが発生し、色特徴量も不安定となる。よって、この場合、種類設定部５４１は、色特徴量の不使用を設定する、または色特徴量に他の種類の特徴量より低い重みを設定してもよい。また、特徴量算出部５４は、輪郭、画素値面形状、テクスチャ等の特徴量算出が色ズレの影響を受けないよう、特定の色成分に絞って特徴量を算出するように設定してもよい。

本変形例２−３において、管内撮影状況解析部８が、撮影距離推定部８１、焦点ボケ解析部８２、および動きブレ解析部８３のうち任意の２つまたは全部を有する構成としてもよい。

（変形例２−４）
図２５は、実施の形態２の変形例２−４に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６Ｄにおいて、図１０に示す画像処理装置１Ｂおよび図１４に示す画像処理装置６と同様の機能を有する構成部位に対しては、図１０および図１４と同様の符号を付してある。

画像処理装置６Ｄは、演算部７Ｄと、記憶部３とを有する。演算部７Ｄは、管内撮影状況解析部８Ｂと、特定領域検出部５Ｂとを有する。

図２６は、画像処理装置６Ｄが行う処理の概要を示すフローチャートである。図２６において、図２１に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ３２Ｂに続く処理を説明する。

ステップＳ３３Ｄにおいて、形状方向設定部５３１は、管内画像の動きブレの方向、度合いに応じて、特徴量算出に用いる領域の形状を設定する（ステップＳ３３Ｄ）。管内画像に動きブレが生じている場合、撮影対象は動きブレの方向に、動きブレの度合いだけ伸長した形で写る。この場合、形状方向設定部５３１は、動きブレの方向に、動きブレの度合いだけ伸長した形状の特徴量算出領域を設定する。これにより、被写体の情報を十分に得ることができる。

ステップＳ３３Ｄに続くステップＳ３４〜Ｓ３６の処理は、実施の形態２で説明した処理と同じである。

以上説明した変形例２−４によれば、動きブレの度合いに応じて、特徴量算出に用いる領域の形状を設定するため、動きブレによって生じる管内画像の変化に適応した特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。

（実施の形態３）
図２７は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置９において、図３に示す画像処理装置１と同様の機能を有する構成部位に対しては、図３と同様の符号を付してある。

画像処理装置９は、演算部１０と、記憶部１１とを有する。演算部１０は、管内撮影状況解析部１２と、特定領域検出部１３とを有する。記憶部１１は、パラメータ記憶部１１１を有する。

管内撮影状況解析部１２は、実施の形態１および２でそれぞれ説明した複数の管内撮影状況解析部のいずれか１つでもよいし、それらを適宜組み合わせたもので構成してもよい。

特定領域検出部１３は、特徴量算出部１３１と、識別部１３２とを有する。識別部１３２は、パラメータ設定部１３２１を有する。

パラメータ設定部１３２１は、管内撮影状況解析部１２によって解析された管内撮影状況と同等の管内撮影状況における教師データを基に作成したパラメータを記憶部１１のパラメータ記憶部１１１から抽出し、識別部１３２のパラメータとして設定する。識別部１３２のパラメータとは、特徴空間における識別境界、管内撮影状況に応じた分布モデル、識別関数、代表パターン（テンプレート）等である。ここでいう同等とは、管内撮影状況解析部１２での解析結果（深部の有無や方向、内壁勾配の大小や方向、撮影距離の遠近、焦点ボケの有無、動きブレの有無、等）が所定の誤差を許容しながらも、ほぼ同じになることを意味する。実際には、予め得た複数の画像に対して管内撮影状況解析と同様の解析（この解析は、機械的な処理でも良いし、人手による作業でも良い）を行い、各解析結果の画像を特定した後、各々の解析結果の画像による教師データを基に、各々の解析結果に対応したパラメータを作成し、実際の処理対象画像の管内撮影状況の解析結果に合ったパラメータを識別部１３２で使用する。

例えば、管内壁を斜めから撮影した画像中で特定領域を検出するためには、管内壁を斜めから撮影した画像中に写る特定領域の教師データを基に作成したパラメータが適している。これに対し、管内壁を正面から撮影した画像中で特定領域を検出するためには、管内壁を正面から撮影した画像中に写る特定領域の教師データを基に作成したパラメータが適している。管深部領域や内壁勾配方向の違い、撮影距離の遠近、焦点ボケの度合い、動きブレの度合い等の管内撮影状況に関しても、同等の管内撮影状況における教師データを基に作成したパラメータが適している。また、複数の管内撮影状況が複合的に生じた場合には、その複合的な管内撮影状況に合った教師データを基に作成したパラメータが最も適している。

記憶部１１が有するパラメータ記憶部１１１は、複数の管内撮影状況にそれぞれ対応する複数の教師データを基に作成したパラメータを管内撮影状況と対応づけて記憶する。なお、パラメータを外部装置に記憶させておき、パラメータ設定部１３２１が外部装置からパラメータを取得して識別部１３２のパラメータを設定するようにしてもよい。

図２８は、画像処理装置９が実行する処理の概要を示すフローチャートである。まず、演算部１０が、処理対象である管内画像を取得する（ステップＳ７１）。

続いて、管内撮影状況解析部１２は、管内画像の撮影状況を解析する（ステップＳ７２）。

この後、特徴量算出部１３１は、特徴量算出領域を画像中の任意の位置に設定し、その領域内から特徴量を算出する（ステップＳ７３）。特徴量としては、既に公知の色、輪郭（エッジ）、画素値面形状（画素値勾配）、テクスチャ等、様々なものが考えられる。算出された複数の特徴量は、特徴ベクトルとしてまとめられる。特徴ベクトルは、設定された特徴量算出領域の数だけ生じる。

続いて、パラメータ設定部１３２１は、解析した管内撮影状況と同等の管内撮影状況における教師データを基に作成したパラメータをパラメータ記憶部１１１から抽出し、識別部１３２のパラメータとして設定する（ステップＳ７４）。

その後、識別部１３２は、設定されたパラメータを用いて管内画像中の領域を識別し、特定領域を検出する（ステップＳ７５）。

最後に、演算部１０は、特定領域検出結果を出力する（ステップＳ７６）。これにより、画像処理装置９は、一連の処理を終了する。なお、特徴量算出部１３１は、実施の形態１および２で説明したように、管内撮影状況解析部１２の解析結果に応じた特徴量算出をさらに行ってもよい。

以上説明した本発明の実施の形態３によれば、管内撮影状況に応じて識別部のパラメータを設定するため、特定領域を精度よく検出することができる。また、管内撮影状況に応じた特徴量算出や、管内撮影状況に応じた識別部１３２のパラメータ設定により、特定領域を精度よく検出することができる。

（実施の形態４）
図２９は、本発明の実施の形態４に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１４において、図３に示す画像処理装置１と同様の機能を有する構成部位に対しては、図３と同様の符号を付してある。

画像処理装置１４は、演算部１５と、記憶部３とを有する。演算部１５は、領域分割部１６と、管内撮影状況解析部１７と、特定領域検出部１８とを有する。

領域分割部１６は、管内画像を領域分割する。領域分割の方法としては、所定サイズの矩形分割や、エッジに基づく領域分割（特開２０１２−２３８０４１号公報を参照）等の方法を挙げることができる。なお、矩形分割を行う場合には、矩形の一部を重ねて分割してもよい。

管内撮影状況解析部１７は、実施の形態１および２でそれぞれ説明した複数の管内撮影状況解析部のいずれか１つでもよいし、それらを適宜組み合わせたものでもよい。

特定領域検出部１８は、実施の形態１〜３でそれぞれ説明した複数の特定領域検出部のいずれか１つでもよいし、それらを適宜組み合わせたものでもよい。

図３０は、画像処理装置１４が実行する処理の概要を示すフローチャートである。まず、演算部１５が、処理対象である管内画像を取得する（ステップＳ８１）。

続いて、領域分割部１６は、管内画像を領域分割する（ステップＳ８２）。

この後、管内撮影状況解析部１７は、各分割領域における管内撮影状況を解析する（ステップＳ８３）。

続いて、特定領域検出部１８は、分割領域毎に管内撮影状況に応じた特定領域の検出を行う（ステップＳ８４）。

最後に、演算部１５は、特定領域検出結果を出力する（ステップＳ８５）。これにより、画像処理装置１４は、一連の処理を終了する。

以上説明した本発明の実施の形態４によれば、分割領域毎に管内撮影状況に応じた特定領域検出を行うため、特定領域を精度よく検出することができる。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜４によってのみ限定されるべきものではない。例えば、生体用の内視鏡画像以外にも、ＣＴコロノグラフィにおいて生成されるバーチャル内視鏡の管内画像や、工業用内視鏡によって撮影された管内画像に対して適用することも可能である。

このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。

１、１Ａ、１Ｂ、１Ｃ、６、６Ａ、６Ｂ、６Ｃ、６Ｄ、９、１４ 画像処理装置
２、２Ａ、２Ｂ、２Ｃ、７、７Ａ、７Ｂ、７Ｃ、７Ｄ、１０、１５ 演算部
３、１１ 記憶部
４、４Ａ、８、８Ａ、８Ｂ、１２、１７ 管内撮影状況解析部
５、５Ｂ、５Ｃ、１３、１８ 特定領域検出部
１６ 領域分割部
４１ 管深部領域検出部
４２ 内壁勾配算出部
５１、５３、５４、１３１ 特徴量算出部
５２、１３２ 識別部
８１ 撮影距離推定部
８２ 焦点ボケ解析部
８３ 動きブレ解析部
１１１ パラメータ記憶部
４１１、８１１ 低吸収波長成分選択部
４１２ エッジ周辺領域除外部
４１３ 低画素値領域検出部
４２１ 画素値勾配算出部
５１１ 範囲設定部
５３１ 形状方向設定部
５４１ 種類設定部
８２１ 鏡面反射除外部
８２２、８３１ 空間周波数解析部
１３２１ パラメータ設定部

Claims (27)

1. 管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、
   前記管内撮影状況に応じて特定領域の検出を行う特定領域検出部と、
   を備えることを特徴とする画像処理装置。
2. 前記特定領域検出部は、
   前記管内撮影状況に応じた前記管内画像の特徴量を算出する特徴量算出部と、
   前記特徴量を基に前記管内画像の領域を識別して前記特定領域を検出する識別部と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量算出部は、
   前記管内撮影状況に応じて前記特徴量の算出に用いる領域の範囲を設定する範囲設定部を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記管内撮影状況解析部は、
   前記管内画像中の管深部領域を検出する管深部領域検出部および前記管内画像中の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
   前記範囲設定部は、
   前記管深部領域の存否および前記管内壁の勾配の少なくとも一方に基づいて前記特徴量の算出に用いる領域の範囲を設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記範囲設定部は、
   前記管深部領域が存在する場合、前記管深部領域が存在しない場合よりも前記特徴量算出に用いる領域の範囲を大きく設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記範囲設定部は、
   前記管内壁の勾配が閾値以上である場合、前記管内壁の勾配が前記閾値未満である場合よりも前記特徴量算出に用いる領域の範囲を大きく設定することを特徴とする請求項４に記載の画像処理装置。
7. 前記管内撮影状況解析部は、
   前記管内画像中の管内壁までの撮影距離を推定する撮影距離推定部、前記管内画像の焦点ボケの状態を解析する焦点ボケ解析部、および前記管内画像の動きブレの状態を解析する動きブレ解析部の少なくともいずれか一つを有し、
   前記範囲設定部は、
   前記撮影距離、前記焦点ボケの状態、および前記動きブレの状態の少なくともいずれか一つに基づいて前記特徴量算出に用いる領域の範囲を設定することを特徴とする請求項３に記載の画像処理装置。
8. 前記範囲設定部は、
   前記撮影距離が大きいほど、前記焦点ボケの度合いが大きいほど、または前記動きブレの度合いが大きいほど、前記特徴量算出に用いる領域の範囲を大きく設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記特徴量算出部は、
   前記管内撮影状況に応じて前記特徴量算出に用いる領域の形状および／または方向を設定する形状方向設定部を有することを特徴とする請求項２に記載の画像処理装置。
10. 前記管内撮影状況解析部は、
    前記管内画像中から管深部領域を検出する管深部領域検出部および前記管内画像中の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
    前記形状方向設定部は、
    前記管深部領域の方向および前記管内壁の勾配の方向の少なくとも一方に基づいて前記特徴量算出に用いる領域の形状および／または方向を設定することを特徴とする請求項９に記載の画像処理装置。
11. 前記形状方向設定部は、
    前記特徴量算出に用いる領域の形状を、前記管深部領域の方向または前記管内壁の勾配の方向と直交する方向に対して長めの形状に設定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記形状方向設定部は、
    前記特徴量算出に用いる領域の方向を、前記管深部領域の方向または前記管内壁の勾配の方向に揃うよう回転補正して設定することを特徴とする請求項１０に記載の画像処理装置。
13. 前記管内撮影状況解析部は、
    前記管内画像の動きブレの状態を解析する動きブレ解析部を有し、
    前記形状方向設定部は、
    前記動きブレの状態に応じて、前記特徴量算出に用いる領域の形状および／または方向を設定することを特徴とする請求項９に記載の画像処理装置。
14. 前記特徴量算出部は、
    前記管内撮影状況に応じて、色、輪郭、画素値面形状、テクスチャの何れかに類別される特徴量の種類を設定する、または種類ごとの特徴量の重みを設定する種類設定部を有することを特徴とする請求項２に記載の画像処理装置。
15. 前記管内撮影状況解析部は、
    前記管内画像中から管深部領域を検出する管深部領域検出部および前記管内画像中の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
    前記種類設定部は、
    前記管深部領域の存否および前記管内壁の勾配の少なくとも一方に基づいて、前記特定領域の検出に使用する特徴量の種類を設定する、または種類ごとの特徴量の重みを設定することを特徴とする請求項１４に記載の画像処理装置。
16. 前記種類設定部は、
    前記管深部領域が存在する場合、または前記管内壁の勾配が所定値以上である場合、輪郭特徴量を前記使用する特徴量に設定する、または該輪郭特徴量に他の種類の特徴量よりも高い重みを設定する、ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記種類設定部は、
    前記管深部領域が存在しない場合、または前記管内壁の勾配が前記所定値未満である場合、画素値面形状特徴量もしくはテクスチャ特徴量を前記使用する特徴量に設定する、または該画素値面形状特徴量もしくは該テクスチャ特徴量に他の種類の特徴量よりも高い重みを設定する、ことを特徴とする請求項１５に記載の画像処理装置。
18. 前記管内撮影状況解析部は、
    前記管内画像中の管内壁までの撮影距離を推定する撮影距離推定部、前記管内画像の焦点ボケの状態を解析する焦点ボケ解析部、および前記管内画像の動きブレの状態を解析する動きブレ解析部の少なくともいずれか一つを有し、
    前記種類設定部は、
    前記撮影距離、前記焦点ボケの状態、および前記動きブレの状態の少なくともいずれか一つに基づいて、前記特定領域の検出に使用する特徴量の種類、または種類ごとの特徴量の重みを設定する、ことを特徴とする請求項１４に記載の画像処理装置。
19. 前記種類設定部は、
    前記撮影距離が大きい場合、前記焦点ボケの度合いが所定の度合い以上である場合、または前記動きブレの度合いが所定の度合い以上である場合、色特徴量もしくは画素値面形状特徴量を前記使用する特徴量に設定する、または前記色特徴量もしくは前記画素値面形状特徴量に他の種類の特徴量よりも高い重みを設定する、ことを特徴とする請求項１８に記載の画像処理装置。
20. 前記種類設定部は、
    前記撮影距離が小さい場合、前記焦点ボケの度合いが所定の度合いより小さい場合、または動きブレの度合いが所定の度合いより小さい場合、テクスチャ特徴量もしくは輪郭特徴量を前記使用する特徴量に設定する、または前記テクスチャ特徴量もしくは前記輪郭特徴量に他の種類の特徴量よりも高い重みを設定する、ことを特徴とする請求項１８に記載の画像処理装置。
21. 前記特定領域検出部は、
    前記管内画像における特徴量を算出する特徴量算出部と、
    前記特徴量を基に、前記管内撮影状況に応じて、前記管内画像の領域を識別して前記特定領域を検出する識別部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
22. 前記識別部は、
    前記管内撮影状況に応じて当該識別部のパラメータを設定するパラメータ設定部を有し、
    設定した当該識別部のパラメータを用いて前記管内画像の領域を識別して前記特定領域を検出することを特徴とする請求項２１に記載の画像処理装置。
23. 前記パラメータ設定部は、
    前記管内撮影状況と同等の管内撮影状況における教師データを基に作成したパラメータを、当該識別部のパラメータとして設定することを特徴とする請求項２２に記載の画像処理装置。
24. 前記特定領域検出部は、
    前記管内撮影状況に応じた前記管内画像の特徴量を算出する特徴量算出部と、
    前記特徴量を基に、前記管内撮影状況に応じて、前記管内画像の領域を識別して前記特定領域を検出する識別部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
25. 前記管内画像を領域分割する領域分割部をさらに備え、
    前記特定領域検出部は、
    前記領域分割部が分割した領域毎に、前記管内撮影状況に応じた特定領域の検出を行うことを特徴とする請求項１に記載の画像処理装置。
26. 管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、
    前記管内撮影状況に応じて特定領域の検出を行う特定領域検出ステップと、
    を含むことを特徴とする画像処理方法。
27. 管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、
    前記管内撮影状況に応じて特定領域の検出を行う特定領域検出ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images