JPWO2016170656A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

管内の特定領域を精度よく検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。画像処理装置は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、管内画像に対する複数の特定領域識別指標を算出し、管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出部と、を備える。

Description

本発明は、管内画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、内視鏡画像の画素値勾配情報すなわち画素値面形状特徴量に基づいて生体内の異常領域を検出する技術や、内視鏡画像の輪郭特徴量であるエッジ情報に基づいて異常領域を検出する技術が開示されている（例えば、特許文献１を参照）。この技術では、画素値勾配の等方性、すなわち周囲の何れの方向に対しても同等な勾配が生じているか否かを評価したり、エッジ形状が所定の大きさの円弧形状であるか否かを評価したりすることにより、異常領域を検出している。

特開２００７−２４４５１９号公報

内視鏡画像には、管内壁に対して正面から撮影したり、側面から撮影したり、撮影距離が遠かったり、近かったり、焦点ボケが生じたり、動きブレが生じたり等、様々な撮影状況の下で撮影された画像が含まれる。異常領域等の所定の特定領域の写り方は撮影状況に応じて変化するため、その変化を考慮せずに同一の検出技術を適用しても、検出性能が向上しないという問題がある。

本発明は、上記に鑑みてなされたものであって、管内の特定領域を精度よく検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出部と、を備えることを特徴とする。

本発明に係る画像処理方法は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、管内の撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出するため、管内の特定領域を精度よく検出することができる。

図１は、本発明の実施の形態の概要を説明するための図（その１）である。 図２は、本発明の実施の形態の概要を説明するための図（その２）である。 図３は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図４は、本発明の実施の形態１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図５は、本発明の実施の形態１に係る画像処理装置の管深部領域検出部が行う処理の概要を示すフローチャートである。 図６は、本発明の実施の形態１の変形例１−１に係る画像処理装置の機能構成を示すブロック図である。 図７は、本発明の実施の形態１の変形例１−１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図８は、本発明の実施の形態１の変形例１−１に係る画像処理装置の内壁勾配算出部が行う処理の概要を示すフローチャートである。 図９は、本発明の実施の形態１の変形例１−２に係る画像処理装置の機能構成を示すブロック図である。 図１０は、本発明の実施の形態１の変形例１−２に係る画像処理装置の形状方向別識別部が設定する特徴量算出領域の設定例を模式的に示す図である。 図１１は、本発明の実施の形態１の変形例１−２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１２は、本発明の実施の形態１の変形例１−３に係る画像処理装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態１の変形例１−３に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図１５は、本発明の実施の形態２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態２に係る画像処理装置の撮影距離推定部が行う処理の概要を示すフローチャートである。 図１７は、本発明の実施の形態２の変形例２−１に係る画像処理装置の機能構成を示すブロック図である。 図１８は、本発明の実施の形態２の変形例２−１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１９は、本発明の実施の形態２の変形例２−１に係る画像処理装置の焦点ボケ解析部が行う処理の概要を示すフローチャートである。 図２０は、本発明の実施の形態２の変形例２−２に係る画像処理装置の機能構成を示すブロック図である。 図２１は、本発明の実施の形態２の変形例２−２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態２の変形例２−２に係る画像処理装置の動きブレ解析部が行う処理の概要を示すフローチャートである。 図２３は、本発明の実施の形態２の変形例２−３に係る画像処理装置の機能構成を示すブロック図である。 図２４は、本発明の実施の形態２の変形例２−３に係る画像処理装置が行う処理の概要を示すフローチャートである。 図２５は、本発明の実施の形態２の変形例２−４に係る画像処理装置の機能構成を示すブロック図である。 図２６は、本発明の実施の形態２の変形例２−４に係る画像処理装置が行う処理の概要を示すフローチャートである。 図２７は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図２８は、本発明の実施の形態３に係る画像処理装置が行う処理の概要を示すフローチャートである。 図２９は、本発明の実施の形態４に係る画像処理装置の機能構成を示すブロック図である。 図３０は、本発明の実施の形態４に係る画像処理装置が行う処理の概要を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

図１および図２は、本発明の実施の形態の概要を説明するための図である。具体的には、図１および図２は、生体内に導入されて生体を観察する内視鏡によって撮影された生体の画像（管内画像）を模式的に示す図である。

内視鏡は、生体の管内壁の粘膜面に対して斜めから撮影することが多い。この場合、内視鏡が撮影する管内画像には、図１に示すように、撮影距離が近い管手前の粘膜面から撮影距離が遠い管深部の粘膜面までが写り、病変を生じている可能性がある異常領域が写ることもある。

これに対して、内視鏡は、図２に示すように、生体管内壁の粘膜面に対して正面から撮影する場合もある。粘膜面に対して正面から撮影する場合には、管深部が写らず、異常領域の写り方も斜めから撮影した場合とは異なる。

他にも、内視鏡が撮影する画像において、生体管内壁粘膜面までの撮影距離は画像によって異なる上、画像の中に焦点ボケや動きブレが生じる場合もある。

本実施の形態に係る画像処理装置は、上述した撮影状況の違いを解析して異常領域を含む特定領域の適応的な検出を行うことを特徴とする。ここで、特定領域とは、管内画像における被写体の性状または状態が所定の条件を満たす領域である。例えば、管内画像が生体の管内画像（生体内管腔画像）である場合には、生体の組織性状または生体内の状態が所定の条件を満たすような領域である。より具体的には、例えばアフタ、潰瘍、びらん、ポリープ、腫瘍、発赤、絨毛異常等の生体の組織性状が変化している領域、および出血等の生体内における状態変化が発生している領域等の異常領域を挙げることができる。特定領域は、画像の一部の領域でもよいし、画像全体の領域でもよい。なお、内視鏡が撮影する画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各波長成分に対する画素値を持つカラー画像が想定されるが、これに限定されるわけではない。

（実施の形態１）
図３は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３とを有する。

演算部２は、管内画像において、被写体と撮影側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部４と、管内撮影状況に応じた特定領域の検出を行う特定領域検出部５とを有する。

管内撮影状況解析部４は、管内画像中の管深部領域を検出する管深部領域検出部４１を有する。管深部領域検出部４１は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部４１１と、低吸収波長成分の管内画像中のエッジ周辺領域の画素を除外するエッジ周辺領域除外部４１２と、エッジ周辺領域の画素を除外した後の低吸収波長成分の画像において所定の閾値以下の領域を検出する低画素値領域検出部４１３とを有する。

一般に、低画素値領域検出部４１３によって検出された画素がまとまって存在する領域が管深部領域と考えられる。管深部領域検出部４１は、低画素値領域検出部４１３が検出した画素に対して、公知のラベリング処理（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１８１Ｐ、ラベリング）を行い、連結する画素を１つの領域としてまとめた後、面積が所定の閾値以上の領域のうち最大のものを管深部領域として検出する。管深部領域検出部４１は、所定の閾値以上の領域がなければ、管深部領域なし、とする。

低吸収波長成分選択部４１１は、例えばＲ、Ｇ、Ｂ成分からなる画像の場合、血液の吸収帯域から離れており、かつ長波長である成分であって、生体内での吸収・散乱の影響を受け難い成分であるＲ成分を選択する。低吸収波長成分選択部４１１がこのような選択を行うことにより、粘膜表面に写る血管等による画素値低下を抑え、最も粘膜表面との撮影距離に相関する画素値情報を得ることができる。

エッジ周辺領域除外部４１２は、例えば公知のエッジ抽出処理（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１１４Ｐ、エッジ抽出：２０９Ｐ、輪郭線検出）を適用してエッジ領域を特定した後、そのエッジ領域に対して公知の膨張処理（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１７９Ｐ、収縮・膨張処理）を行うことによって周辺領域を特定して除外する。エッジ周辺領域除外部４１２がエッジ周辺領域を除外することにより、粘膜襞による輪郭エッジ周辺に生じる陰影部分のように、管深部の粘膜（照明光が届き難く低吸収波長成分の画素値が低下する粘膜）として誤検出されてしまうおそれのある領域を除外することができる。

低画素値領域検出部４１３は、エッジ周辺領域を除外した後の低吸収波長成分の画像において、画素値が所定の閾値以下である画素を検出する。なお、低画素値領域検出部４１３が、エッジ周辺領域を除外した後の低吸収波長成分の管内画像において、該管内画像の画素がとる画素値範囲を基に設定された閾値以下の画素値を有する画素を検出するようにしてもよい。

特定領域検出部５は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する特徴範囲別識別部５１と、管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する統合判定部５２とを有する。

特徴範囲別識別部５１は、まず範囲が小さなものから大きなものまでの複数の特徴量算出領域を、画像内の任意の位置に設定する。この時、中心位置が同じで範囲の異なる複数の特徴量算出領域も設定される。そして、特徴範囲別識別部５１は、各領域内より特徴量を算出する。特徴量としては、既に公知の色、輪郭（エッジ）、画素値面形状（画素値勾配）、テクスチャ等、様々なものが考えられる。一つの特徴量算出領域から算出した複数の特徴量は、特徴ベクトルとしてまとめられる。特徴ベクトルは、設定された特徴量算出領域の数だけ生じる。

この後、特徴範囲別識別部５１は、特徴ベクトルを基に、特定領域識別指標を算出する。特徴ベクトルを基に特定領域識別指標を算出する方法は公知の様々なものがある。例えば、一般的な統計識別の方法として、下記式（１）に示す確率モデルに基づいて、特徴ベクトルｘが特定の条件を満たすか否かの特定領域識別指標Ｐ（ｘ）を算出することができる。

式（１）の右辺において、ｋは特徴ベクトルの次元数、ｘは識別対象の検査領域の特徴ベクトル（ｋ×１行列）、μは特定領域のサンプル（複数）における特徴ベクトルの平均ベクトル（ｋ×１行列）、Ｚは特定領域のサンプル（複数）における特徴ベクトルの分散共分散行列（ｋ×ｋ行列）、｜Ｚ｜はＺの行列式、Ｚ^-1はＺの逆行列である。

なお、ここでは確率モデルを用いた特定領域識別指標算出方法を例示したが特定領域識別指標を算出できればいかなる方法でもよい。例えば、代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内での識別境界との距離に基づく方法等を用いて特定領域識別指標を算出してもよい。

統合判定部５２の処理を説明する。管深部領域が画像内にある場合は、管内壁を斜めから撮影している状態であるため、全体管構造を用いた大域的な情報に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部５２は、特徴量算出領域の大きな特徴量に基づく特定領域識別指標を重視して判定する。より具体的には、統合判定部５２は、複数の特定領域識別指標の各々に対して、重視する度合いに応じた重みを乗算して加算することにより、最終的な判定指標を算出し、この値が閾値以上となる場合に、特定領域として検出する。このように、特定領域識別指標を重視するとは、その特定領域識別指標の重みを他の特定領域識別指標の重みよりも大きくして演算を行うことを意味する。

一方、深部領域が画像内に無い場合は、管内壁を正面から撮影している状態であるため、全体管構造を用いた大域的な情報に基づく特定領域の検出は十分に行えない。むしろ、特徴量算出に用いる領域の範囲が大きい場合、精度低下に繋がる領域（鏡面反射、残渣、泡、正常襞、等）の混入により、検出精度が低い可能性がある。この場合、統合判定部５２は、特徴量算出範囲の小さな特徴量（局所的な情報）に基づく特定領域識別指標を重視して統合判定を行い、特定領域を検出する。

演算部２は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。演算部２が汎用プロセッサである場合、記憶部３が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、演算部２が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部３が記憶する各種データ等を用いることで、プロセッサと記憶部３が共同または結合して種々の処理を実行してもよい。後述する実施の形態および変形例において説明する演算部も、演算部２と同様に実現されることはいうまでもない。

記憶部３は、ＲＯＭ（Read Only Memory）もしくはＲＡＭ（Random Access Memory）等の各種ＩＣメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはＣＤ−ＲＯＭ等の情報記録装置およびその読取装置等によって実現される。記憶部３は、画像処理装置１が取得した管内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部３は、本実施の形態１に係る画像処理プログラムや、該画像処理において用いられる閾値等の各種パラメータを記憶する。後述する実施の形態において説明する記憶部も、記憶部３と同様に実現されることはいうまでもない。

記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。この点については、後述する実施の形態および変形例において説明する画像処理装置に対しても同様のことがいえる。

なお、以上説明した画像処理装置１の機能を、被検体内に導入されて該被検体内を観察する内視鏡システムの一部をなし、該内視鏡システム全体を制御するプロセッサに具備させることも可能である。この点については、後述する実施の形態および変形例において説明する画像処理装置に対しても同様のことがいえる。

図４は、画像処理装置１が実行する処理の概要を示すフローチャートである。まず、演算部２は処理対象である管内画像を取得する（ステップＳ１）。

続いて、管深部領域検出部４１は、管内画像中の管深部領域を検出する（ステップＳ２）。図５は、管深部領域検出部４１が行う処理の概要を示すフローチャートである。以下、図５を参照して管深部領域検出部４１の処理を説明する。まず、低吸収波長成分選択部４１１が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する（ステップＳ１１）。例えば、Ｒ、Ｇ、Ｂ成分からなる画像の場合、低吸収波長成分選択部４１１は、上述したようにＲ成分を選択する。

その後、エッジ周辺領域除外部４１２は、低吸収波長成分の管内画像中のエッジ周辺領域の画素を除外する（ステップＳ１２）。これにより、エッジ周辺領域が管深部領域として誤検出されるのを防止することができる。

続いて、低画素値領域検出部４１３が、エッジ周辺領域を除外した後の低吸収波長成分の画像において、画素値が低い領域すなわち所定の閾値以下の画素値を有する画素の領域を検出する（ステップＳ１３）。上述した通り、管深部は撮影距離が遠いため、低吸収波長成分の画像の画素値が低くなる。

最後に、管深部領域検出部４１が、低画素値領域検出部４１３によって検出された領域を基に、公知のラベリング処理等を行うことによって管深部領域を検出する（ステップＳ１４）。これにより、管深部領域検出部４１による管深部領域検出処理（ステップＳ２）が終了する。

なお、本実施の形態１では、撮影距離と相関する画素値に基づいて管深部領域を検出する方法を示したが、これは一例にすぎず、例えば特開２００３−９３３２８号公報に示す方法等に基づいて管深部領域を検出してもよい。

また、管深部領域検出処理を行う前に、光学系や照明系に起因する画素値ムラの補正や、鏡面反射、残渣および泡等の非粘膜領域の除外等の処理を行ってもよい。これにより、後続する各処理の精度の低下を抑制することができる。

ステップＳ２に続くステップＳ３において、特徴範囲別識別部５１は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３）。特徴範囲別識別部５１は、例えば上述した式（１）に示す確率モデルに基づいて特定領域識別指標Ｐ（ｘ）を算出する。

この後、統合判定部５２は、管深部領域の存否に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ４）。

最後に、演算部２は、特定領域の検出結果を出力する（ステップＳ５）。これにより、画像処理装置１は、一連の処理を終了する。なお、ステップＳ２の管深部領域検出処理とステップＳ３の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した本発明の実施の形態１によれば、管深部領域の存否に応じて特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影方向（斜め、正面）の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

（変形例１−１）
図６は、実施の形態１の変形例１−１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ａにおいて、図１に示す画像処理装置１と同様の機能を有する構成部位に対しては、図１と同様の符号を付してある。

画像処理装置１Ａは、演算部２Ａと、記憶部３とを有する。演算部２Ａは、管内撮影状況解析部４Ａと、特定領域検出部５とを有する。

管内撮影状況解析部４Ａは、管内画像中の管内壁の勾配（内壁勾配）を算出する内壁勾配算出部４２を有する。内壁勾配算出部４２は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部４１１と、低吸収波長成分の画素値勾配を算出する画素値勾配算出部４２１とを有する。

画素値勾配算出部４２１は、所定サイズのＸ方向の１次微分フィルタ出力ΔＸと、同サイズのＹ方向の１次微分フィルタ出力ΔＹを基に画素値勾配の大きさおよび方向を算出する（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１１５Ｐ、微分フィルタ）。画素値勾配算出部４２１は、管内壁の勾配を各画素位置で算出してもよいし、所定のサンプリング間隔で算出してもよい。

特定領域検出部５の統合判定部５２は、内壁勾配の大小に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する。複数箇所で算出した内壁勾配の大きさの平均値が、所定の閾値以上となる場合は、管内壁を斜めから撮影している状態と考えられ、全体管構造を用いた大域的な情報に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部５２は、特徴量算出範囲の大きな特徴量に基づく特定領域識別指標を重視して判定する。

一方、内壁勾配の大きさの平均値が、所定の閾値未満となる場合は、管内壁を正面から撮影している状態と考えられ、特徴量算出に用いる領域の範囲が大きい場合、検出精度が低い可能性がある。この場合、統合判定部５２は、特徴量算出範囲の小さな特徴量に基づく特定領域識別指標を重視して判定する。

図７は、画像処理装置１Ａが行う処理の概要を示すフローチャートである。図７において、図４に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ１に続く処理を説明する。

ステップＳ２Ａにおいて、内壁勾配算出部４２は、管内画像中の管内壁の勾配を算出する（ステップＳ２Ａ）。図８は、内壁勾配算出部４２が行う処理の概要を示すフローチャートである。以下、図８を参照して内壁勾配算出部４２の処理を説明する。まず、低吸収波長成分選択部４１１が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する（ステップＳ２１）。

続いて、画素値勾配算出部４２１は、選択された低吸収波長成分の画素値勾配を算出する（ステップＳ２２）。これにより、内壁勾配算出部４２による管内画像中の管内壁の勾配算出処理（ステップＳ２Ａ）が終了する。

ステップＳ２Ａに続くステップＳ３において、特徴範囲別識別部５１は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３）。

この後、統合判定部５２は、内壁勾配の大小に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ４Ａ）。

最後に、演算部２Ａは、特定領域の検出結果を出力する（ステップＳ５）。これにより、画像処理装置１Ａは、一連の処理を終了する。なお、ステップＳ２Ａの内壁勾配算出処理とステップＳ３の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した実施の形態１の変形例１−１によれば、内壁勾配の大小に応じて、特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影方向（斜め、正面）の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

なお、本変形例１−１において、管内撮影状況解析部４Ａが、実施の形態１で説明した管深部領域検出部４１をさらに有する構成としてもよい。この場合、統合判定部５２は、管深部領域の存否および内壁勾配の大小に応じて統合判定を行う。

（変形例１−２）
図９は、実施の形態１の変形例１−２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｂにおいて、図１に示す画像処理装置１と同様の機能を有する構成部位に対しては、図１と同様の符号を付してある。

画像処理装置１Ｂは、演算部２Ｂと、記憶部３とを有する。演算部２Ｂは、管内撮影状況解析部４と、特定領域検出部５Ｂとを有する。

特定領域検出部５Ｂは、形状および／または方向の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する形状方向別識別部５３と、統合判定部５２とを有する。

図１０は、形状方向別識別部５３が設定する特徴量算出領域の設定例を模式的に示す図である。図１０に示すように、形状方向別識別部５３は、管内画像２０１の任意の位置Ｃを中心として、円形領域および長径方向が互いに異なる複数の楕円領域（図１０では４つの楕円領域）からなる特徴量算出領域群２０２を設定する。形状方向別識別部５３は、特徴量算出領域群２０２の中心位置を管内画像２０１上で所定の規則にしたがって走査しながら複数の特徴量算出領域群２０２を設定してもよいし、互いに異なる中心位置を有する複数の特徴量算出領域群２０２を同時並行的に設定してもよい。また、特徴量算出領域群の領域の形状は、図１０に記載したものに限られるわけではない。例えば、形状方向別識別部５３は、円形領域を設定した後、この円形領域を回転させながら管内画像２０１上を走査させることによって複数の特徴量算出領域を設定してもよい。

統合判定部５２は、深部領域の方向に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する。管深部領域が画像内にある場合は、管内壁を斜めから撮影している状態であり、図１に示すように、異常領域は深部領域の方向（奥行き方向）に対して短く、深部領域の方向と直交する方向に長い像となって写りやすい。このため、それに近い形状の領域から算出した特徴量に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部５２は、深部領域の方向に直交する方向に長めの領域から算出した特徴量に基づく特定領域識別指標を重視して判定する。

一方、管深部領域が画像内に無い場合は、管内壁を正面から撮影している状態と考えられ、前記のような像の長さの変化が生じない（図２参照）。この場合、統合判定部５２は、方向に依存しない円形領域から算出した特徴量に基づく特定領域識別指標を重視して判定する。

なお、斜めから撮影している状況では、撮影側における上下に応じて回転方向にも像が変化する。この場合、統合判定部５２は、管深部領域の方向に揃う方向の領域から算出した特徴量に基づく特定領域識別指標を重視して判定するようにしてもよい。

図１１は、画像処理装置１Ｂが行う処理の概要を示すフローチャートである。図１１において、図４に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ２に続く処理を説明する。

ステップＳ３Ｂにおいて、形状方向別識別部５３は、形状および／または方向が異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３Ｂ）。形状方向別識別部５３は、例えば図１０に示す特徴量算出領域群２０２を用いて複数の特徴量算出領域から特徴量を算出する。

続いて、統合判定部５２は、管深部領域の方向に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ４Ｂ）。

最後に、演算部２Ｂは、特定領域の検出結果を出力する（ステップＳ５）。これにより、画像処理装置１Ｂは、一連の処理を終了する。なお、ステップＳ２の管深部領域検出処理とステップＳ３Ｂの特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した変形例１−２によれば、管深部領域の方向に応じて、特徴量算出領域の形状および／または方向の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影方向の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

なお、本変形例１−２において、画像処理装置１Ｂが管内撮影状況解析部４を有する代わりに、変形例１−１で説明した管内撮影状況解析部４Ａを有する構成とすることも可能である。この場合、統合判定部５２は、内壁勾配の大小に応じて統合判定を行う。

内壁勾配の大きさの平均値が、所定の閾値以上となる場合は、管内壁を斜めから撮影している状態と考えられ、図１に示すように、異常領域は内壁勾配の方向（奥行き方向）に対して短く、内壁勾配の方向と直交する方向に長い像となって写りやすい。このため、それに近い形状の領域から算出した特徴量に基づく異常領域の検出精度が高いと考えられる。この場合、統合判定部５２は、内壁勾配の方向に直交する方向に長めの領域から算出した特徴量に基づく特定領域識別指標を重視して判定する。

一方、内壁勾配の大きさの平均値が、所定の閾値未満となる場合は、管内壁を正面から撮影している状態と考えられ、前記のような像の長さの変化が生じない（図２参照）。この場合、統合判定部５２は、方向に依存しない円形領域から算出した特徴量に基づく特定領域識別指標を重視して判定する。

上記は斜め撮影時の形状について説明を行ったが、斜めから撮影している状態では、撮影機の上下方向に応じて回転方向にも像が変化する。そこで、統合判定部５２は、内壁勾配の方向に揃う方向の領域から算出した特徴量に基づく特定領域識別指標を重視して判定してもよい。

また、本変形例１−２において、管内撮影状況解析部４が、変形例１−１で説明した内壁勾配算出部４２をさらに有する構成としてもよい。この場合、統合判定部５２は、管深部領域の方向および内壁勾配の方向に応じて統合判定を行う。

（変形例１−３）
図１２は、実施の形態１の変形例１−３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｃにおいて、図１に示す画像処理装置１と同様の機能を有する構成部位に対しては、図１と同様の符号を付してある。

画像処理装置１Ｃは、演算部２Ｃと、記憶部３とを有する。演算部２Ｃは、管内撮影状況解析部４と、特定領域検出部５Ｃとを有する。

特定領域検出部５Ｃは、種類の異なる特徴量に基づく複数の特定領域識別指標を算出する特徴種類別識別部５４と、統合判定部５２とを有する。特徴種類別識別部５４は、画像内の任意の位置に特徴量算出領域を設定し、色、輪郭、画素値面形状、テクスチャ等の特徴量毎に複数の特定領域識別指標を算出する。

統合判定部５２は、管深部領域の有無に応じて、重視する特定領域識別指標を変更して統合判定する。管深部領域が画像内にある場合は、管内壁を斜めから撮影している状態であるため、特定領域表面の輪郭線が明瞭になる（図１参照）。このため、輪郭特徴量に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部５２は、輪郭特徴量に基づく特定領域識別指標を重視して判定する。

一方、管深部領域が画像内にない場合は、管内壁を正面から撮影している状態と考えられ、特定領域表面の輪郭線は、斜めから撮影している状態に比べ不明瞭になりやすい（図２参照）。ただし、画素値面形状（画素値勾配）やテクスチャは、捕らえやすくなる。このため、画素値面形状特徴量またはテクスチャ特徴量に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部５２は、画素値面形状特徴量またはテクスチャ特徴量に基づく特定領域識別指標を重視して統合判定を行う。

図１３は、画像処理装置１Ｃが行う処理の概要を示すフローチャートである。図１３において、図４に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ２に続く処理を説明する。

ステップＳ３Ｃにおいて、特徴種類別識別部５４は、種類の異なる特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３Ｃ）。

この後、統合判定部５２は、管深部領域の存否に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ４Ｃ）。

最後に、演算部２Ｃは、特定領域の検出結果を出力する（ステップＳ５）。これにより、画像処理装置１Ｃは、一連の処理を終了する。なお、ステップＳ２の管深部領域検出処理とステップＳ３Ｃの特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した変形例１−３によれば、管深部領域の存否に応じて、特徴量の種類の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影方向（斜め、正面等）の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

なお、本変形例１−３において、画像処理装置１Ｃが管内撮影状況解析部４を有する代わりに、変形例１−１で説明した管内撮影状況解析部４Ａを有する構成とすることも可能である。この場合、統合判定部５２は、内壁勾配の大小に応じて、重視する特定領域識別指標を変更して統合判定する。

内壁勾配の大きさの平均値が、所定の閾値以上となる場合は、管内壁を斜めから撮影している状態であるため、異常領域表面の輪郭線が明瞭になる（図１参照）。この場合、統合判定部５２は、輪郭特徴量に基づく特定領域識別指標を重視して判定する。

一方、内壁勾配の大きさの平均値が、所定の閾値未満となる場合は、管内壁を正面から撮影している状態と考えられ、異常領域表面の輪郭線は、斜めから撮影している状態に比べ不明瞭になり易い（図２参照）。ただし、画素値面形状（画素値勾配）や、テクスチャは捕らえやすくなる。この場合、統合判定部５２は、画素値面形状特徴量またはテクスチャ特徴量に基づく特定領域識別指標を重視して判定する。

本変形例１−３において、管内撮影状況解析部４が、変形例１−１で説明した内壁勾配算出部４２をさらに有する構成としてもよい。この場合、統合判定部５２は、管深部領域の存否および内壁勾配の大小に応じて統合判定を行う。

（実施の形態２）
図１４は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６において、図３に示す画像処理装置１と同様の機能を有する構成部位に対しては、図３と同様の符号を付してある。

画像処理装置６は、演算部７と、記憶部３とを有する。演算部７は、管内撮影状況解析部８と、特定領域検出部５とを有する。

管内撮影状況解析部８は、管内壁までの撮影距離を推定する撮影距離推定部８１を有する。撮影距離推定を行う方法は、様々な方法が公知である。本実施の形態２では、一例として、撮影対象を均等拡散面と仮定した撮影距離推定の方法を説明する。

撮影距離推定部８１は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部８１１を有する。これは、粘膜表面に写る血管等による画素値低下を抑え、最も粘膜表面との撮影距離に相関する画素値情報を得るためである。例えば、Ｒ、Ｇ、Ｂ成分からなる画像の場合には、実施の形態１で説明したように、Ｒ成分を選択する。

撮影距離推定部８１は、選択された低吸収波長成分の画素値をもとに均等拡散面を仮定した撮影距離を推定する。具体的には、撮影距離推定部８１は、下記式（２）にしたがって管内画像中の複数箇所で撮影距離ｒを推定する。

ここで、式（２）の右辺のＩは事前に測定した光源の放射強度、Ｋは粘膜表面の拡散反射係数、θは粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角度、Ｌは撮影距離推定対象の粘膜表面が写る画素のＲ成分値である。このうち、拡散反射係数Ｋは、平均的な値を事前に測定することによって得る。また、角度θは、内視鏡先端と粘膜表面の位置関係により決まる値として、平均的な値を事前に設定する。

なお、撮影距離推定部８１は、式（２）で定義される撮影距離ｒを推定する代わりに、撮影距離ｒと相関を有する画素値を用いて後段の適応的な処理を行うようにしてもよい。

撮影距離推定部８１が複数箇所で算出した撮影距離の平均値が所定の閾値未満である場合は、撮影距離が比較的近い状況に対応する。撮影距離が近い場合、撮影距離が遠い場合よりも被写体が大きく写る。この場合、統合判定部５２は、特徴量算出範囲の大きな特徴量に基づく特定領域識別指標を重視して統合判定を行う。

一方、撮影距離の平均値が所定の閾値以上となる場合は、撮影距離が比較的遠い状態と考えられ、対象は比較的小さく写る。また、特徴量算出に用いる領域の範囲が大きい場合、精度低下に繋がる領域（鏡面反射、残渣、泡、正常襞、等）の混入により、検出精度が低い可能性がある。この場合、統合判定部５２は、特徴量算出範囲の小さな特徴量に基づく特定領域識別指標を重視して判定する。

図１５は、画像処理装置６が実行する処理の概要を示すフローチャートである。まず、演算部７が処理対象である管内画像を取得する（ステップＳ３１）。

続いて、撮影距離推定部８１は、管内壁までの撮影距離を推定する（ステップＳ３２）。図１６は、撮影距離推定部８１が行う処理の概要を示すフローチャートである。以下、図１６を参照して撮影距離推定部８１の処理を説明する。まず、低吸収波長成分選択部８１１が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する（ステップＳ４１）。

この後、撮影距離推定部８１は、選択された低吸収波長成分の画素値を基に均等拡散面を仮定した撮影距離を推定する（ステップＳ４２）。具体的には、撮影距離推定部８１は、上述した式（２）にしたがって撮影距離を推定する。これにより、撮影距離推定部８１による撮影距離推定処理（ステップＳ３２）が終了する。

なお、撮影距離推定部８１が撮影距離推定処理を行う前に、演算部７は、光学系や照明系に起因する画素値ムラの補正や、鏡面反射、残渣および泡等の非粘膜領域の除外等の処理を行ってもよい。これにより、後続する各処理の精度の低下を抑制することができる。

また、内視鏡に測距センサ等の検出手段を設けておき、その検出結果に基づいて撮影距離推定部８１が撮影距離を推定するようにしてもよい。

ステップＳ３２の後、特徴範囲別識別部５１は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３３）。この処理は、実施の形態１で説明したステップＳ３の処理と同じである。

この後、統合判定部５２は、撮影距離の遠近に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ３４）。

最後に、演算部７は、特定領域の検出結果を出力する（ステップＳ３５）。これにより、画像処理装置６は、一連の処理を終了する。なお、ステップＳ３２の撮影距離推定処理とステップＳ３３の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した本発明の実施の形態２によれば、撮影距離の遠近に応じて、特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影距離の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

（変形例２−１）
図１７は、実施の形態２の変形例２−１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６Ａにおいて、図１４に示す画像処理装置６と同様の機能を有する構成部位に対しては、図１４と同様の符号を付してある。

画像処理装置６Ａは、演算部７Ａと、記憶部３とを有する。演算部７Ａは、管内撮影状況解析部８Ａと、特定領域検出部５とを有する。

管内撮影状況解析部８Ａは、管内画像における焦点ボケを解析する焦点ボケ解析部８２を有する。焦点ボケ解析部８２は、鏡面反射除外部８２１と、空間周波数解析部８２２とを有する。

鏡面反射除外部８２１は、例えば特開２０１２−１１１３７号公報に開示されている方法に基づいて、管内画像における鏡面反射を判別して除外する。

空間周波数解析部８２２は、管内画像の所定の成分（例えばＧ成分等）に対して、公知の２次元フーリエ変換（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１２８Ｐ、２次元フーリエ変換）を行ってフーリエスペクトルを求めた後、低周波成分を示す中心からの距離が所定範囲となる環状領域内のスペクトルの和を、該距離を変化させながら算出することによって動径分布を求める。この動径分布において、距離が小さい部分は管内画像の低周波成分を示し、距離が大きい部分は管内画像の高周波成分を示す。一般に、高周波成分が少ない画像は、焦点ボケが大きい。

図１８は、画像処理装置６Ａが行う処理の概要を示すフローチャートである。図１８において、図１５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ３１に続く処理を説明する。

ステップＳ３２Ａにおいて、焦点ボケ解析部８２は、管内画像の焦点ボケ状態を解析する（ステップＳ３２Ａ）。図１９は、焦点ボケ解析部８２が行う処理の概要を示すフローチャートである。以下、図１９を参照して焦点ボケ解析部８２の処理を説明する。まず、鏡面反射除外部８２１が、管内画像における鏡面反射を判別して除外する（ステップＳ５１）。

続いて、空間周波数解析部８２２が、管内画像の所定の成分に対して２次元フーリエ変換を行った後、２次元フーリエ変換によって得られた２次元フーリエスペクトルの動径分布を算出する（ステップＳ５２）。

最後に、焦点ボケ解析部８２は、２次元フーリエスペクトルの動径分布を基に焦点ボケ状態を解析する（ステップＳ５３）。具体的には、焦点ボケ解析部８２は、管内画像中の高周波成分（動径分布で距離が大きい部分）が少ないほど、焦点ボケの度合いが大きいと判定する。

ステップＳ３２Ａの後、特徴範囲別識別部５１は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３３）。

続いて、統合判定部５２は、焦点ボケの度合いに応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ３４Ａ）。焦点ボケの度合いが大きい場合、被写体像は焦点ボケの度合いが小さい場合よりも広範囲の像となる。統合判定部５２は、焦点ボケの度合いが大きいほど、特徴量算出範囲の大きな特徴量に基づく特定領域識別指標を重視して統合判定を行う。

最後に、演算部７Ａは、特定領域の検出結果を出力する（ステップＳ３５）。これにより、画像処理装置６Ａは、一連の処理を終了する。なお、ステップＳ３２Ａの焦点ボケ状態解析処理とステップＳ３３の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した変形例２−１によれば、焦点ボケの度合いに応じて特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、焦点ボケにより生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

なお、本変形例２−１において、管内撮影状況解析部８Ａが、実施の形態２で説明した撮影距離推定部８１をさらに有する構成としてもよい。この場合、統合判定部５２は、撮影距離の遠近および焦点ボケの度合いに応じて統合判定を行う。

（変形例２−２）
図２０は、実施の形態２の変形例２−２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６Ｂにおいて、図１７に示す画像処理装置６Ａと同様の機能を有する構成部位に対しては、図１７と同様の符号を付してある。

画像処理装置６Ｂは、演算部７Ｂと、記憶部３とを有する。演算部７Ｂは、管内撮影状況解析部８Ｂと、特定領域検出部５とを有する。

管内撮影状況解析部８Ｂは、管内画像における動きブレを解析する動きブレ解析部８３を有する。動きブレ解析部８３は、鏡面反射除外部８２１と、空間周波数解析部８３１とを有する。

空間周波数解析部８３１は、２次元フーリエスペクトルの角度分布および動径分布を算出する。具体的には、空間周波数解析部８３１は、管内画像の所定の成分（例えばＧ成分等）に対して、２次元フーリエ変換を行って２次元フーリエスペクトルを求めた後、低周波成分を示す中心を通る水平線に対する角度が所定範囲である扇状領域内のスペクトルの和を、該角度を変化させながら算出することで角度分布を求める。また、空間周波数解析部８３１は、変形例２−１で説明したのと同様の方法を角度が所定範囲である扇状領域内に用いることによって角度が所定範囲である扇状領域内の動径分布を求める。

図２１は、画像処理装置６Ｂが行う処理の概要を示すフローチャートである。図２１において、図１５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ３１に続く処理を説明する。

ステップＳ３２Ｂにおいて、動きブレ解析部８３は、管内画像の動きブレ状態を解析する（ステップＳ３２Ｂ）。図２２は、動きブレ解析部８３が行う処理の概要を示すフローチャートである。以下、図２２を参照して動きブレ解析部８３の処理を説明する。まず、鏡面反射除外部８２１が、管内画像における鏡面反射を除外する（ステップＳ６１）。

続いて、空間周波数解析部８３１が、２次元フーリエスペクトルの角度分布および動径分布を算出する（ステップＳ６２）。

動きブレ解析部８３は、角度分布および動径分布を基に動きブレ状態を解析する（ステップＳ６３）。具体的には、動きブレ解析部８３は、角度分布を基に動きブレの方向を解析し、その解析結果にしたがって角度を絞った領域の動径分布を基に、動きブレ状態を解析する。例えば、動きブレが略一定の方向に生じた場合、その方向に対応する角度方向はスペクトルの分布が相対的に高く生じる。この場合、動きブレ解析部８３は、スペクトルの分布が相対的に高い領域付近の動径分布を基に、動きブレの状態を解析する。

内視鏡では、面順次方式と呼ばれる撮影方式がある。この場合、Ｒ、Ｇ、Ｂの照明光を時系列に沿って順次照射しながら、１つのイメージセンサーで撮影を行う。そのため、動きブレを生じる波長成分がどれか一つに限られる場合もあれば、波長成分間で生じる場合もある。したがって、面順次方式の場合、動きブレ解析部８３は、Ｒ、Ｇ、Ｂの各波長成分で動きブレの解析を行うとともに、波長成分間で動きブレの解析を行う。波長成分間の動きブレの解析は、波長成分の画像の和をとって合成画像を生成し、この合成画像に対して上述した空間周波数解析等を行えばよい。

ステップＳ３２Ｂの後、特徴範囲別識別部５１は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３３）。

続いて、統合判定部５２は、動きブレの度合いに応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ３４Ｂ）。動きブレの度合いが大きい場合、被写体像は動きブレの度合いが小さい場合よりも広範囲の像となる。統合判定部５２は、動きブレの度合いが大きいほど、特徴量算出範囲の大きな特徴量に基づく特定領域識別指標を重視して統合判定を行う。

最後に、演算部７Ｂは、特定領域の検出結果を出力する（ステップＳ３５）。これにより、画像処理装置６Ｂは、一連の処理を終了する。なお、ステップＳ３２Ｂの動きブレ状態解析処理とステップＳ３３の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した変形例２−２によれば、動きブレの状態（方向および度合い）に応じて、特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、動きブレにより生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

なお、本変形例２−２では、必ずしも鏡面反射を除外する処理を行わなくてもよい。

また、本変形例２−２において、管内撮影状況解析部８Ｂが、実施の形態２で説明した撮影距離推定部８１および／または変形例２−１で説明した焦点ボケ解析部８２をさらに有する構成としてもよい。この場合、統合判定部５２は、撮影距離の遠近および／または焦点ボケの度合いならびに動きブレの度合いに応じて、統合判定を行う。

（変形例２−３）
図２３は、実施の形態２の変形例２−３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６Ｃにおいて、図１２に示す画像処理装置１Ｃおよび図１４に示す画像処理装置６と同様の機能を有する構成部位に対しては、図１２および図１４と同様の符号を付してある。

画像処理装置６Ｃは、演算部７Ｃと、記憶部３とを有する。演算部７Ｃは、管内撮影状況解析部８と、特定領域検出部５Ｃとを有する。

特定領域検出部５Ｃは、特徴種類別識別部５４と、統合判定部５２とを有する。

統合判定部５２は、撮影距離の遠近に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する。複数箇所で算出した撮影距離の平均値が、所定の閾値未満となる場合、つまり、撮影距離が近い場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。この場合、統合判定部５２は、テクスチャ特徴量または輪郭特徴量に基づく特定領域識別指標を重視して統合判定を行う。

一方、撮影距離の平均値が、所定の閾値以上となる場合、つまり、撮影距離が遠い場合は、解像度の低下からテクスチャは不明瞭になるし、暗部ノイズ等の影響により輪郭線も不明瞭になり易い。ただし、色や画素値面形状は比較的、安定した状態を維持できる。そこで、統合判定部５２は、色特徴量または画素値面形状特徴量に基づく特定領域識別指標を重視して判定する。

なお撮影距離が近い場合、色成分の中で飽和する成分が生じ（特に生体ではＲ成分が飽和しやすい）、色バランスが崩れる可能性もある。このため、統合判定部５２は、色特徴量に基づく特定領域識別指標を重視しないで判定するようにしてもよい。

図２４は、画像処理装置６Ｃが行う処理の概要を示すフローチャートである。図２４において、図１５に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ３２に続く処理を説明する。

ステップＳ３３Ｃにおいて、特徴種類別識別部５４は、種類の異なる特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３３Ｃ）。

この後、統合判定部５２は、撮影距離の遠近に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ３４）。

最後に、演算部７Ｃは、特定領域の検出結果を出力する（ステップＳ３５）。これにより、画像処理装置６Ｃは、一連の処理を終了する。なお、ステップＳ３２の撮影距離推定処理とステップＳ３３Ｃの特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した変形例２−３によれば、撮影距離の遠近に応じて、特徴量の種類の異なる複数の特定領域識別指標を統合判定するため、撮影距離の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

なお、本変形例２−３において、管内撮影状況解析部８の代わりに、焦点ボケ解析部８２を有する管内撮影状況解析部８Ａまたは動きブレ解析部８３を有する管内撮影状況解析部８Ｂを具備させてもよい。

管内撮影状況解析部８Ａを具備させた場合、統合判定部５２は、焦点ボケの度合いに応じて、重視する特定領域識別指標を変更して統合判定を行う。焦点ボケが小さい場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。この場合、統合判定部５２は、テクスチャ特徴量または輪郭特徴量に基づく特定領域識別指標を重視して統合判定を行う。

一方、焦点ボケが大きい場合、テクスチャや輪郭線は不明瞭になる。ただし、色や画素値面形状は比較的、安定した状態を維持できる。この場合、統合判定部５２は、色特徴量または画素値面形状特徴量に基づく特定領域識別指標を重視して統合判定を行う。

管内撮影状況解析部８Ｂを具備させた場合、統合判定部５２は、動きブレの度合いに応じて、重視する特定領域識別指標を変更して統合判定を行う。例えば、動きブレの度合いが小さい場合は、特定領域表面のテクスチャや輪郭線は明瞭に写るので、統合判定部５２は、テクスチャ特徴量または輪郭特徴量に基づく特定領域識別指標を重視して統合判定を行う。

一方、動きブレが大きい場合は、テクスチャや輪郭線は不明瞭になる。ただし、色や画素値面形状は比較的、安定した状態を維持できる。この場合、統合判定部５２は、色特徴量または画素値面形状特徴量に基づく特定領域識別指標を重視して判定する。

なお、面順次方式の内視鏡で、動きブレが生じた場合には、色ズレが発生し、色特徴量も不安定となる。よって、この場合には、統合判定部５２は、色特徴量に基づく特定領域識別指標を重視しないで判定してもよい。

本変形例２−３において、管内撮影状況解析部８が、撮影距離推定部８１、焦点ボケ解析部８２、および動きブレ解析部８３のうち任意の２つまたは全部を有する構成としてもよい。

（変形例２−４）
図２５は、実施の形態２の変形例２−４に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置６Ｄにおいて、図９に示す画像処理装置１Ｂおよび図２０に示す画像処理装置６Ｂと同様の機能を有する構成部位に対しては、図９および図２０と同様の符号を付してある。

画像処理装置６Ｄは、演算部７Ｄと、記憶部３とを有する。演算部７Ｄは、管内撮影状況解析部８Ｂと、特定領域検出部５Ｂとを有する。

図２６は、画像処理装置６Ｄが行う処理の概要を示すフローチャートである。図２６において、図２１に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップＳ３２Ｂに続く処理を説明する。

ステップＳ３３Ｄにおいて、形状方向別識別部５３は、形状および／または方向が異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する（ステップＳ３３Ｄ）。形状方向別識別部５３は、例えば図１０に示す特徴量算出領域群２０２を用いて複数の領域から特徴量を算出する。

この後、統合判定部５２は、動きブレの方向、度合いに応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する（ステップＳ３４Ｄ）。動きブレが生じている場合、撮影対象は動きブレの方向に、動きブレの度合い（大きさ）だけ伸長した形で写る。この場合、統合判定部５２は、動きブレの方向に、動きブレの度合いだけ伸長した形状の特徴量算出領域から算出した特徴量に基づく特定領域識別指標を重視して統合判定を行う。

最後に、演算部７Ｄは、特定領域の検出結果を出力する（ステップＳ３５）。これにより、画像処理装置６Ｄは、一連の処理を終了する。なお、ステップＳ３２Ｂの動きブレ状態解析処理とステップＳ３３Ｄの特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した変形例２−４によれば、動きブレの状態に応じて、特徴量算出領域の形状および／または方向の異なる複数の特定領域識別指標を統合判定するため、動きブレにより生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

（実施の形態３）
図２７は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置９は、演算部１０と、記憶部１１とを有する。演算部１０は、管内撮影状況解析部１２と、特定領域検出部１３とを有する。記憶部１１は、パラメータ記憶部１１１を有する。

管内撮影状況解析部１２は、実施の形態１および２でそれぞれ説明した複数の管内撮影状況解析部のいずれか１つでもよいし、それらを適宜組み合わせたもので構成してもよい。

特定領域検出部１３は、異なる識別器に基づく複数の特定領域識別指標を算出する識別器別識別部１３１と、管内撮影状況と同等の管内撮影状況における教師データを基に作成した識別パラメータの識別器に基づく特定領域識別指標を重視して統合判定を行い、特定領域を検出する統合判定部１３２とを有する。

識別器別識別部１３１は、まず画像内の任意の位置に特徴量算出領域を設定する。続いて、識別器別識別部１３１は、各特徴量算出領域内より特徴量を算出し、この特徴量を基に、異なる識別パラメータの識別器に基づく複数の特定領域識別指標を算出する。ここで識別パラメータとは、特徴空間における識別境界、管内撮影状況に応じた分布モデル、識別関数、代表パターン（テンプレート）等である。ここでいう同等とは、管内撮影状況解析部１２での解析結果（深部の有無や方向、内壁勾配の大小や方向、撮影距離の遠近、焦点ボケの有無、動きブレの有無、等）が所定の誤差を許容しながらも、ほぼ同じになることを示す。実際には、予め得た複数の画像に対して管内撮影状況解析と同様の解析（この解析は、機械的な処理でも良いし、人手による作業でも良い）を行い、各解析結果の画像を特定した後、各々の解析結果の画像による教師データを基に、各々の解析結果に対応したパラメータを作成し、これらを使用して、複数の特定領域識別指標を算出する。

例えば、管内壁を斜めから撮影した画像中で特定領域を検出するためには、管内壁を斜めから撮影した画像中に写る特定領域の教師データを基に作成した識別パラメータが適している。これに対し、管内壁を正面から撮影した画像中で特定領域を検出するためには、管内壁を正面から撮影した画像中に写る特定領域の教師データを基に作成した識別パラメータが適している。管深部領域や内壁勾配方向の違い、撮影距離の遠近、焦点ボケの度合い、動きブレの度合い等の管内撮影状況に関しても、同等の管内撮影状況における教師データを基に作成した識別パラメータが適している。また、複数の管内撮影状況が複合的に生じた場合には、その複合的な管内撮影状況に合った教師データを基に作成した識別パラメータが最も適している。本実施の形態３において、識別器別識別部１３１は、管内撮影状況の違いに応じた複数の識別パラメータを事前に作成しておき、特徴量算出領域から求めた特徴量（特徴ベクトル）に対して、これら複数の識別パラメータによる特定領域識別指標を算出する。

記憶部１１が有するパラメータ記憶部１１１は、複数の管内撮影状況にそれぞれ対応する複数の教師データを基に作成した識別パラメータを管内撮影状況と対応づけて記憶する。なお、識別パラメータを外部装置に記憶させておき、統合判定部１３２が外部装置からパラメータを取得して識別パラメータを取得するようにしてもよい。

図２８は、画像処理装置９が実行する処理の概要を示すフローチャートである。まず、演算部１０が、処理対象である管内画像を取得する（ステップＳ７１）。

続いて、管内撮影状況解析部１２は、管内画像の撮影状況を解析する（ステップＳ７２）。

この後、識別器別識別部１３１は、異なる識別パラメータの識別器に基づく複数の特定領域識別指標を算出する（ステップＳ７３）。

続いて、統合判定部１３２は、管内撮影状況と同等の管内撮影状況における教師データを基に作成した識別パラメータをパラメータ記憶部１１１から抽出し、該識別パラメータの識別器に基づく特定領域識別指標を重視して統合判定を行い、特定領域を検出する（ステップＳ７４）。

最後に、演算部１０は、特定領域検出結果を出力する（ステップＳ７５）。これにより、画像処理装置９は、一連の処理を終了する。なお、ステップＳ７２の管内撮影状況解析処理とステップＳ７３の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した本発明の実施の形態３によれば、管内撮影状況に応じて、異なる識別パラメータの識別器に基づく複数の特定領域識別指標を統合判定するため、管内撮影状況の違いから生じる画像の変化において、より有効な識別器に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。

なお、統合判定部１３２は、実施の形態１および２で説明した統合判定をさらに行ってもよい。

（実施の形態４）
図２９は、本発明の実施の形態４に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１４において、図３に示す画像処理装置１と同様の機能を有する構成部位に対しては、図３と同様の符号を付してある。

画像処理装置１４は、演算部１５と、記憶部３とを有する。演算部１５は、領域分割部１６と、管内撮影状況解析部１７と、特定領域検出部１８とを有する。

領域分割部１６は、管内画像を領域分割する。領域分割の方法としては、所定サイズの矩形分割や、エッジに基づく領域分割（特開２０１２−２３８０４１号公報を参照）等の方法を挙げることができる。なお、矩形分割を行う場合には、矩形の一部を重ねて分割してもよい。

管内撮影状況解析部１７は、実施の形態１および２でそれぞれ説明した複数の管内撮影状況解析部のいずれか１つでもよいし、それらを適宜組み合わせたものでもよい。

特定領域検出部１８は、実施の形態１〜３でそれぞれ説明した複数の特定領域検出部のいずれか１つでもよいし、それらを適宜組み合わせたものでもよい。

図３０は、画像処理装置１４が実行する処理の概要を示すフローチャートである。まず、演算部１５が、処理対象である管内画像を取得する（ステップＳ８１）。

続いて、領域分割部１６は、管内画像を領域分割する（ステップＳ８２）。

この後、管内撮影状況解析部１７は、各分割領域における管内撮影状況を解析する（ステップＳ８３）。

続いて、特定領域検出部１８は、各分割領域において、複数の特定領域識別指標を算出する（ステップＳ８４）。

その後、特定領域検出部１８は、各分割領域において、管内撮影状況に応じた特定領域識別指標の統合判定を行い、特定領域を検出する（ステップＳ８５）。

最後に、演算部１５は、特定領域検出結果を出力する（ステップＳ８６）。これにより、画像処理装置１４は、一連の処理を終了する。なお、ステップＳ８３の管内撮影状況解析処理とステップＳ８４の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。

以上説明した本発明の実施の形態４によれば、分割領域毎に管内撮影状況に応じた特定領域の検出を行うため、特定領域を精度よく検出することができる。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜４によってのみ限定されるべきものではない。例えば、生体用の内視鏡画像以外にも、ＣＴコロノグラフィにおいて生成されるバーチャル内視鏡の管腔内画像や、工業用内視鏡によって撮影された管内画像に対して適用することも可能である。

このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。

１、１Ａ、１Ｂ、１Ｃ、６、６Ａ、６Ｂ、６Ｃ、６Ｄ、９、１４ 画像処理装置
２、２Ａ、２Ｂ、２Ｃ、７、７Ａ、７Ｂ、７Ｃ、７Ｄ、１０、１５ 演算部
３、１１ 記憶部
４、４Ａ、８、８Ａ、８Ｂ、１２、１７ 管内撮影状況解析部
５、５Ｂ、５Ｃ、１３、１８ 特定領域検出部
１６ 領域分割部
４１ 管深部領域検出部
４２ 内壁勾配算出部
５１ 特徴範囲別識別部
５２、１３２ 統合判定部
５３ 形状方向別識別部
５４ 特徴種類別識別部
８１ 撮影距離推定部
８２ 焦点ボケ解析部
８３ 動きブレ解析部
１１１ パラメータ記憶部
１３１ 識別器別識別部
２０１ 管内画像
２０２ 特徴量算出領域群
４１１、８１１ 低吸収波長成分選択部
４１２ エッジ周辺領域除外部
４１３ 低画素値領域検出部
４２１ 画素値勾配算出部
８２１ 鏡面反射除外部
８２２、８３１ 空間周波数解析部

Claims (23)

1. 管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、
   前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出部と、
   を備えることを特徴とする画像処理装置。
2. 前記特定領域検出部は、
   範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する特徴範囲別識別部と、
   複数の特定領域識別指標のうち重視する特定領域識別指標を前記管内撮影状況に応じて変更して統合判定する統合判定部と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記管内撮影状況解析部は、
   前記管内画像中の管深部領域を検出する管深部領域検出部および前記管内画像内の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
   前記統合判定部は、
   前記管深部領域の存否および前記管内壁の勾配の少なくとも一方に応じて、重視する特定領域識別指標を変更して統合判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記統合判定部は、
   前記管深部領域が存在する場合、前記管深部領域が存在しない場合よりも算出範囲の大きな特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項３に記載の画像処理装置。
5. 前記統合判定部は、
   前記管内壁の勾配が閾値以上である場合、前記管内壁の勾配が前記閾値未満である場合よりも算出範囲の大きな特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項３に記載の画像処理装置。
6. 前記管内撮影状況解析部は、
   前記管内画像中の管内壁までの撮影距離を推定する撮影距離推定部、前記管内画像の焦点ボケの状態を解析する焦点ボケ解析部、および前記管内画像の動きブレの状態を解析する動きブレ解析部の少なくともいずれか一つを有し、
   前記統合判定部は、
   前記撮影距離、前記焦点ボケの状態、および前記動きブレの状態の少なくともいずれか一つに応じて、重視する前記特定領域識別指標を変更して統合判定する請求項２に記載の画像処理装置。
7. 前記統合判定部は、
   前記撮影距離が大きいほど、前記焦点ボケの度合いが大きいほど、または前記動きブレの度合いが大きいほど、算出範囲の大きな特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項６に記載の画像処理装置。
8. 前記特定領域検出部は、
   形状および／または方向の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する形状方向別識別部と、
   前記複数の特定領域識別指標のうち重視する特定領域識別指標を、前記管内撮影状況に応じて変更して統合判定する統合判定部と、
   を有することを特徴とする請求項１に記載の画像処理装置。
9. 前記管内撮影状況解析部は、
   前記管内画像中から管深部領域を検出する管深部領域検出部および前記管内画像中の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
   前記統合判定部は、
   前記管深部領域の方向および前記管内壁の勾配の方向の少なくとも一方に応じて、重視する前記特定領域識別指標を変更して統合判定することを特徴とする請求項８に記載の画像処理装置。
10. 前記統合判定部は、
    前記管深部領域の方向または前記管内壁の勾配の方向と直交する方向に長めの算出領域形状の特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項９に記載の画像処理装置。
11. 前記管内撮影状況解析部は、
    前記管内画像の動きブレの状態を解析する動きブレ解析部を有し、
    前記統合判定部は、
    前記動きブレの状態に応じて、重視する前記特定領域識別指標を変更して統合判定することを特徴とする請求項８に記載の画像処理装置。
12. 前記特定領域検出部は、
    色、輪郭、画素値面形状、テクスチャの何れかに類別される種類の異なる特徴量に基づく複数の特定領域識別指標を算出する特徴種類別識別部と、
    前記複数の特定領域識別指標のうち重視する特定領域識別指標を、前記管内撮影状況に応じて変更して統合判定する統合判定部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
13. 前記管内撮影状況解析部は、
    前記管内画像中の管深部領域を検出する管深部領域検出部および前記管内画像中の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
    前記統合判定部は、
    前記管深部領域の存否および前記管内壁の勾配のいずれか一方に応じて、重視する前記特定領域識別指標を変更して統合判定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記統合判定部は、
    前記管深部領域が存在する場合、または前記管内壁の勾配が所定値以上である場合、輪郭特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項１３に記載の画像処理装置。
15. 前記統合判定部は、
    前記管深部領域が存在しない場合、または前記管内壁の勾配が所定値未満である場合、画素値面形状特徴量またはテクスチャ特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項１３に記載の画像処理装置。
16. 前記管内撮影状況解析部は、
    前記管内画像中の前記管内壁までの撮影距離を推定する撮影距離推定部、前記管内画像の焦点ボケの状態を解析する焦点ボケ解析部、および前記管内画像の動きブレの状態を解析する動きブレ解析部の少なくともいずれか一つを有し、
    前記統合判定部は、
    前記撮影距離、前記焦点ボケの状態、および前記動きブレの状態の少なくともいずれか一つに応じて、重視する前記特定領域識別指標を変更して統合判定することを特徴とする請求項１２に記載の画像処理装置。
17. 前記統合判定部は、
    前記撮影距離が大きい場合、前記焦点ボケの度合いが所定の度合い以上である場合、または前記動きブレの度合いが所定の度合い以上である場合、色特徴量または画素値面形状特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項１６に記載の画像処理装置。
18. 前記統合判定部は、
    前記撮影距離が小さい場合、前記焦点ボケの度合いが所定の度合いより小さい場合、または動きブレの度合いが所定の度合いより小さい場合、テクスチャ特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項１６に記載の画像処理装置。
19. 前記特定領域検出部は、
    異なる複数の識別器に基づく複数の特定領域識別指標を算出する識別器別識別部と、
    前記複数の特定領域識別指標のうち重視する特定領域識別指標を、前記管内撮影状況に応じて変更して統合判定する統合判定部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
20. 前記統合判定部は、
    解析した管内撮影状況と同等の管内撮影状況における教師データを基に作成した識別パラメータの識別器に基づく前記特定領域識別指標を重視することを特徴とする請求項１９に記載の画像処理装置。
21. 前記管内画像を領域分割する領域分割部をさらに備え、
    前記統合判定部は、
    前記領域分割部が分割した領域毎に、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出することを特徴とする請求項１に記載の画像処理装置。
22. 管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、
    前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出ステップと、
    を含むことを特徴とする画像処理方法。
23. 管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、
    前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images