JP6196922B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、生体の管腔内を撮像することにより取得された画像群から代表画像を抽出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体の管腔内を時系列順に撮像することにより取得された一連の画像群（以下、管腔内画像群ともいう）から、異常領域等の注目領域が写った画像を代表画像として抽出する技術が知られている。ユーザは、画像群から抽出された代表画像を観察することで、大量の画像を詳細に観察する負担を軽減することができ、正確且つ効率の良い診断を行うことが可能となる。

例えば特許文献１には、時系列順に取得された管腔内画像群から注目領域を検出し、検出した各注目領域の特徴量に基づいて、時系列で隣接し、且つ特徴量が類似する注目領域を同一のグループとして分類し、各グループに分類された注目領域のうちから、特徴量の平均値に基づいて、当該グループの代表領域を選出し、選出した代表領域を含む画像を代表画像として出力する画像処理装置が開示されている。

特開２０１１−２４７２７号公報

カプセル型内視鏡のように、撮像方向が頻繁に変化する医用観察装置を用いて撮像を行った場合、時系列において近傍の管腔内画像間に同一の注目領域が写っているにもかかわらず、注目領域の位置や形状や色が大きく変化する、或いは、同一の注目領域が視野から消えたり、再び現れたりするといったことがある。例えば浮遊出血のように、特定の形状を有しない異常を注目領域とする場合、注目領域の形状は頻繁に変化することが多い。

このような管腔内画像群に対して上記特許文献１に開示された技術を適用すると、位置や形状や色が大きく変化する注目領域を異なる注目領域として判断し、別のグループに分類してしまう場合がある。その結果、同一の注目領域が写った注目画像が代表画像として連続して抽出されてしまう可能性がある。

本発明は、上記に鑑みて為されたものであって、生体の管腔内を時系列順に撮像することにより取得された一連の画像群から代表画像を抽出する場合において、同一の注目領域が写った注目画像が代表画像として連続抽出されることを抑制することができる画像処理装置、画像処理方法、及び画像処理プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、異なる注目画像間において、少なくとも前記注目領域以外の領域を含む領域同士における類似度である大局類似度を算出する大局類似度算出手段と、前記大局類似度又は該大局類似度に基づく判別パラメータと閾値との比較に基づいて、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、前記注目画像群から代表画像を抽出する代表画像抽出手段と、を備えることを特徴とする。

本発明に係る画像処理方法は、生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、前記一連の画像群から、注目領域を含む注目画像を検出する検出ステップと、異なる注目画像間において、少なくとも前記注目領域以外の領域を含む領域同士における類似度である大局類似度を算出する大局類似度算出ステップと、前記大局類似度又は該大局類似度に基づく判別パラメータと閾値との比較に基づいて、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、前記注目画像群から代表画像を抽出する代表画像抽出ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、生体の管腔内を順次撮像することにより取得された一連の画像群から、注目領域を含む注目画像を検出する検出ステップと、異なる注目画像間において、少なくとも前記注目領域以外の領域を含む領域同士における類似度である大局類似度を算出する大局類似度算出ステップと、前記大局類似度又は該大局類似度に基づく判別パラメータと閾値との比較に基づいて、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、前記注目画像群から代表画像を抽出する代表画像抽出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、一連の画像群から検出された注目画像に対し、注目画像間の大局類似度に基づいて注目画像群を抽出するので、同一の異常領域が写った異常画像が代表画像として連続抽出されることを抑制することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、時系列順に取得された一連の管腔内画像を示す模式図である。 図４は、図１に示す大局類似度算出部が実行する大局類似度算出処理を示すフローチャートである。 図５は、図１に示す大局類似度算出部が実行する大局類似度算出処理を説明するための模式図である。 図６は、本発明の実施の形態１の変形例１−１における大局類似度算出処理を説明するための模式図である。 図７は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図８は、本発明の実施の形態２に係る画像処理装置の動作を示すフローチャートである。 図９は、図７に示す異常画像群抽出部が実行する異常画像群抽出処理を示すフローチャートである。 図１０は、図７に示す異常画像群抽出部が実行する異常画像群の抽出処理を説明するための模式図である。 図１１は、本発明の実施の形態２の変形例２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１２は、図１１に示す代表画像抽出部が実行する代表画像抽出処理を示すフローチャートである。 図１３は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１４は、本発明の実施の形態３に係る画像処理装置の動作を示すフローチャートである。 図１５は、図１３に示す異常画像群抽出部が実行する異常画像群の抽出処理を示すフローチャートである。 図１６は、図１３に示す異常分類部の別の構成例を示すブロック図である。 図１７は、図１３に示す異常分類部のさらに別の構成例を示すブロック図である。 図１８は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１９は、本発明の実施の形態４に係る画像処理装置の動作を示すフローチャートである。 図２０は、図１８に示す異常画像群抽出部が実行する異常画像群の抽出処理を示すフローチャートである。 図２１は、本発明の実施の形態５に係る画像処理装置が備える演算部の構成を示すブロック図である。 図２２は、本発明の実施の形態５に係る画像処理装置の動作を示すフローチャートである。 図２３は、図２１に示す異常画像群抽出部が実行する異常画像群の抽出処理を示すフローチャートである。 図２４は、本発明の実施の形態５の変形例５−３における異常画像群の抽出処理を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を示すブロック図である。実施の形態１に係る画像処理装置１は、被検体である生体の管腔内をカプセル型内視鏡等の医用観察装置により順次撮像することにより取得された一連の画像群から、検出対象として推定される注目領域を含む画像（注目画像）群を抽出し、抽出した注目画像群からさらに代表画像を抽出する装置である。生体の管腔内が写った画像（管腔内画像ともいう）は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。以下の説明においては、注目領域として出血、発赤、アフタ、潰瘍等の異常領域を検出し、これらの異常領域を含む注目画像（異常画像）群から代表画像を抽出する場合を説明するが、注目領域は上記例示した異常領域に限定されない。

図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、カプセル型内視鏡等の医用観察装置により撮像された管腔内画像に対応する画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

画像取得部２０は、被検体内を撮像するカプセル型内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、カプセル型内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。

表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像から出血、発赤、アフタ、潰瘍等の異常領域を検出し、これらの異常領域を含む画像（異常画像）から同一の異常領域を含む異常画像群を抽出し、各異常画像群から代表画像を抽出する画像処理を当該画像処理装置１に実行させる画像処理プログラム５１や、異常領域を検出する際に用いられる判別基準や、代表画像を抽出する際に用いられる判別基準等を格納する。

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像から同一の異常領域を含む異常画像群を抽出し、各異常画像群から代表画像を抽出する画像処理を行う。

次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、一連の管腔内画像群から異常領域を含む異常画像を検出する検出部１１０と、異なる異常画像間における全体的な類似度である大局類似度を算出する大局類似度算出部１２０と、大局類似度に基づいて、検出部１１０が検出した異常画像から同一の異常領域を含む異常画像群を抽出する異常画像群抽出部１３０と、抽出された各異常画像群から代表画像を抽出する代表画像抽出部１４０とを備える。

検出部１１０は、管腔内画像の各種特徴量に基づいて異常領域を検出する。実施の形態１においては、管腔内画像の色特徴量（色情報）に基づいて異常領域を検出する例を説明する。ここで、出血や発赤、血管異常等の異常領域は赤色調の特定色を示し、潰瘍やアフタ等の異常領域は白色調の特定色を示す。そこで、検出部１１０は、画素値の各色成分（Ｒ成分、Ｇ成分、Ｂ成分）や、これらの各色成分を基に公知の変換により２次的に算出した値（例えば、ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など）といった色特徴量を用いて、管腔内画像内の特定色を示す領域を検出し、この領域を異常領域とする。より詳細には、事前に収集した各種の異常領域の色特徴量を基に、異常領域の判別基準（色範囲）を予め作成し、記録部５０に記録しておく。そして、管腔内画像から異常領域を検出する際に、この判別基準を記録部５０から読み出すと共に、管腔内画像を構成する各画素について色特徴量を算出し、各画素の色特徴量を判別基準と比較することにより、当該管腔内画像から異常領域を検出する。

なお、異常領域の検出方法は、上述した検出方法に限定されず、異常領域を検出することができれば、公知の種々の方法を適用することができる。例えば、代表的な色特徴量との特徴空間距離に基づく方法等を用いても良い。また、上記説明においては、管腔内画像を構成する画素単位の色特徴量を用いて異常領域を検出したが、画像内のエッジ情報等を基に管腔内画像を小領域に分割し、小領域単位の色特徴量を用いて異常領域を検出しても良い。さらに、色特徴量以外の形状特徴量や、テクスチャ特徴量を用いて、異常領域を検出しても良い。

大局類似度算出部１２０は、互いに異なる異常画像間において、少なくとも異常領域以外の領域を含む領域、即ち、異常領域の背景を含む領域同士における類似度を大局類似度として算出する。

異常画像群抽出部１３０は、大局類似度算出部１２０が算出した大局類似度に基づいて、検出部１１０が検出した異常領域のうちで同一の異常領域を含む画像を１つの異常画像群として抽出する注目画像群抽出手段である。

代表画像抽出部１４０は、同一の異常領域を含む異常画像群の各々から代表画像を抽出する。代表画像の抽出方法は特に限定されず、単に異常画像群の時系列の先頭の画像や中央の画像を代表画像として抽出しても良いし、画像診断の上で重要度の高い異常領域を含む異常画像や、異常領域の視認性の良い異常画像を代表画像として抽出しても良い。異常領域の重要度や視認性は、例えば異常領域の色特徴量、形状特徴量、テクスチャ特徴量等に基づいて判別することができる。

次に、図１に示す画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、画像処理装置１は、時系列順に撮像された一連の管腔内画像の画像データを、画像取得部２０を介して取得し、記録部５０に記録する。

続くステップＳ１１において、検出部１１０は、記録部５０に記録された管腔内画像の画像データを順次読み出し、各管腔内画像から異常領域を検出して、異常領域を含む異常画像を抽出する。具体的には、検出部１１０は、記録部５０に予め記録されている異常領域の判別基準を読み出し、各管腔内画像を構成する各画素の色特徴量をこの判別基準と比較することにより、異常領域を検出する。

図３は、時系列順に取得された一連の管腔内画像Ｉ_iを示す模式図である。ここで、添え字ｉ（ｉ＝１、２、…）は、各管腔内画像の時系列的な並び順（撮像順序）を示し、画像番号に対応する。ステップＳ１１の処理により、異常領域Ａ_i（ｉ＝ｔ１〜ｔ１＋４、ｔ２、ｔ２＋２、ｔ２＋４）が検出され、各異常領域Ａ_iを含む管腔内画像Ｉiが抽出される。以下、異常領域Ａ_iを含む管腔内画像Ｉ_iを異常画像Ｉ_iと記し、時系列（撮像順序）に沿って並べられた異常画像Ｉ_iのみからなる画像列を、異常画像列ともいう。

続くステップＳ１２において、大局類似度算出部１２０は、ステップＳ１１において抽出された各異常画像に対し、異常画像列において隣接する異常画像間の大局類似度を算出する。例えば図３の場合、異常画像列で隣接する異常画像として、異常画像Ｉ_t1とＩ_t1+1、異常画像Ｉ_t1+1とＩ_t1+2、異常画像Ｉ_t1+2とＩ_t1+3、異常画像Ｉ_t1+3とＩ_t1+4、異常画像Ｉ_t1+4とＩ_t2、異常画像Ｉ_t2とＩ_t2+2、異常画像Ｉ_t2+2とＩ_t2+4の各組み合わせにおける大局類似度が算出される。

実施の形態１においては、大局類似度として、異常領域の背景領域同士の類似度を算出する例を説明する。図４は、ステップＳ１２において大局類似度算出部１２０が実行する大局類似度算出処理を示すフローチャートである。また、図５は、大局類似度算出処理を説明するための模式図である。

図５に示すように、異常画像列で隣接する異常画像Ｉ_k、Ｉ_k’（ｋ、ｋ’はｋ＜ｋ’の自然数）から、異常領域Ａ_k、Ａ_k’がそれぞれ検出されているものとする。この場合、図４に示すステップＳ１０１において、大局類似度算出部１２０は、各異常画像Ｉ_k、Ｉ_k’から、背景領域として、異常領域Ａ_k、Ａ_k’以外の領域、即ち非異常領域Ｂ_k、Ｂ_k’をそれぞれ抽出する。

続くステップＳ１０２において、大局類似度算出部１２０は、背景領域、即ち非異常領域Ｂ_k、Ｂ_k’の特徴量ｃ_k、ｃ_k’をそれぞれ算出する。特徴量ｃ_k、ｃ_k’としては、非異常領域Ｂ_k、Ｂ_k’を構成する画素の画素値（輝度値やＧ成分の値）の平均値又は中央値等の統計量、非異常領域Ｂ_k、Ｂ_k’を構成する画素の色特徴量（Ｒ成分、Ｇ成分、Ｂ成分の各値を用いて、ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など）の平均値又は中央値等の統計量、非異常領域Ｂ_k、Ｂ_k’の形状特徴量（面積や円形度等）、非異常領域Ｂ_k、Ｂ_k’を構成する各画素におけるテクスチャ特徴量（ソーベルフィルタやラプラシアンフィルタ等を用いて算出されるエッジ量等）の平均値又は中央値等の統計量等が挙げられる。

続くステップＳ１０３において、大局類似度算出部１２０は、異常画像列で隣接する異常画像Ｉ_k、Ｉ_k’間における非異常領域Ｂ_k、Ｂ_k’の特徴量ｃ_k、ｃ_k’の変化量Δｃ（Δｃ＝ｃ_k−ｃ_k’）を算出する。

続くステップＳ１０４において、大局類似度算出部１２０は、特徴量の最大値ｃ_max及び変化量Δｃを用いて、次式（１）によって与えられる大局類似度ｓ_globalを算出する。
ｓ_global＝（ｃ_max−Δｃ）／ｃ_max …（１）
式（１）において、特徴量の特徴量の最大値ｃ_maxは、特徴量ｃ_k、ｃ_k’が取り得る最大の値である。例えば２５６階調の異常画像Ｉ_k、Ｉ_k’に対し、特徴量ｃ_k、ｃ_k’として画素値（Ｇ成分の値）の統計値を算出した場合、最大値ｃ_maxは２５６である。また、特徴量ｃ_k、ｃ_k’として円形度を算出した場合、最大値ｃ_maxは１である。その後、画像処理装置１の動作はメインルーチンに戻る。

ステップＳ１２に続くステップＳ１３において、異常画像群抽出部１３０は、ステップＳ１１において抽出された異常画像から、ステップＳ１２において算出された大局類似度ｓ_globalに基づいて、同一の異常領域を含む異常画像群を抽出する。詳細には、異常画像群抽出部１３０は、大局類似度ｓ_globalが所定の閾値以上である異常画像同士を、同一の異常領域を含む異常画像として判定する。反対に、大局類似度ｓ_globalが所定の閾値未満である異常画像同士を、同一の異常領域を含まない異常画像として判定する。そして、異常画像群抽出部１３０は、同一の異常領域を含む異常画像を、１つの異常画像群として抽出する。

例えば、図３において、異常画像Ｉ_t1とＩ_t1+1、異常画像Ｉ_t1+1とＩ_t1+2、異常画像Ｉ_t1+2とＩ_t1+3、及び異常画像Ｉ_t1+3とＩ_t1+4が、それぞれ同一の異常領域を含むと判定された場合、これらの異常画像Ｉ_t1、Ｉ_t1+1、Ｉ_t1+3、Ｉ_t1+4が、１つの異常画像群Ｇ_t1として抽出される。また、異常画像Ｉ_t1+4とＩ_t2が同一の異常領域を含まないと判定された場合、異常画像t₂は、異常画像Ｉ_t1+4と同じ異常画像群として抽出されない。さらに、異常画像Ｉ_t2とＩ_t2+2、異常画像Ｉ_t2+2とＩ_t2+4が、それぞれ同一の異常領域を含むと判定された場合、これらの異常画像Ｉ_t2、Ｉ_t2+2、Ｉ_t2+4が、１つの異常画像群Ｇ_t2として抽出される。

続くステップＳ１４において、代表画像抽出部１４０は、ステップＳ１３において抽出された各異常画像群から代表画像として抽出する。抽出される代表画像の数は、定数であっても良いし（例えば、各異常画像群から１枚）、異常画像群に含まれる異常画像の枚数に応じて決定しても良い（例えば、異常画像の枚数のα倍、０＜α＜１）。なお、後者の場合、代表画像の枚数が１枚に満たないときには、少なくとも１枚の代表画像を抽出するものとする。或いは、抽出される代表画像の数を特定せず、所定の基準を満たす異常画像（例えば、色特徴量が所定の閾値以上の異常画像）を全て代表画像として抽出しても良い。

代表画像の抽出方法は特に限定されない。例えば、各異常画像群の時系列順での先頭の画像や中央の画像を代表画像として抽出しても良い。或いは、各異常画像群における同一の異常領域の色特徴量に基づいて抽出しても良い。具体的には、異常領域が赤色調の特定色を示す場合、異常領域の赤色が強い異常画像を代表画像として優先的に抽出し、異常領域が白色調の特定色を示す場合、異常領域の白色が強い異常画像を代表画像として優先的に抽出する。また、異常領域の面積が大きい異常画像や、異常領域の位置が中央に近い異常画像を代表画像として優先的に抽出しても良い。

続くステップＳ１５において、演算部１００は、ステップＳ１４において各異常画像群から抽出された代表画像を表す情報を出力する。これに応じて、記録部５０は、代表画像として抽出された管腔内画像の画像データに代表画像である旨を示す情報（フラグ）を付加する。

以上説明したように、本発明の実施の形態１によれば、異常画像内の背景領域を含む領域間の大局類似度に基づいて異常画像群を抽出するので、異常領域が撮像された際の状況により、異常画像間において異常領域の位置や形状や色が大きく変化した、或いは、異常領域が一瞬視野から外れ、異常画像同士が時系列的に離れてしまった、といった場合であっても、これらの異常画像を同じ異常画像群として抽出することができる。そのため、同一の異常領域が写った異常画像が代表画像として連続抽出されるのを抑制することができる。従って、検出された全ての異常を網羅しつつ、抽出枚数が抑制された代表画像を観察することで、ユーザは、正確且つ効率の良い診断を行うことが可能となる。

（変形例１−１）
次に、本発明の実施の形態１の変形例１−１について説明する。
大局類似度を算出する際に各異常画像から抽出する背景領域は、非異常領域の全体でなくても良い。例えば、異常画像内の粘膜が写った領域（粘膜領域）を背景領域として抽出し、この粘膜領域同士の大局類似度を算出しても良い。

粘膜領域は、事前に作成された判別基準を用いて抽出することができる。判別基準は、管腔内画像に写った出血、残渣、泡、ハレーション、暗部等の非粘膜領域の色特徴量（画素値のＲ成分、Ｇ成分、Ｂ成分の値、これらの各色成分の値を基に公知の変換により２次的に算出した値（ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など））や、形状特徴量（Histograms of Oriented Gradients（ＨＯＧ）、面積、周囲長、フェレ径等の形状情報）や、テクスチャ特徴量（Local Binary Pattern（ＬＢＰ）、同時正規行列等）の特徴量分布に基づき、サポートベクターマシン（ＳＶＭ）等の学習器により作成し、記録部５０に記録しておく。

図６は、変形例１−１における大局類似度算出処理（図２のステップＳ１２及び図４参照）を説明するための模式図である。
この場合、ステップＳ１０１において、大局類似度算出部１２０は、粘膜領域を判別するための判別基準を記録部５０から読み出し、異常画像を構成する各画素について算出された特徴量を判別基準と比較することにより、粘膜領域を抽出する。それにより、図６に示すように、異常画像列で隣接する異常画像Ｉ_k、Ｉ_k’から、出血等の異常領域Ａ_k、Ａ_k’や、泡等の不要領域Ｃ_k、Ｃ_k’を除いた粘膜領域Ｄ_k、Ｄ_k’がそれぞれ抽出される。

大局類似度算出部１２０は、この粘膜領域Ｄ_k、Ｄ_k’を背景領域として特徴量ｃ_k、ｃ_k’を算出し（ステップＳ１０２参照）、該特徴量の最大値ｃ_max及び変化量Δｃを用いて、式（１）によって与えられる大局類似度ｓ_globalを算出する（ステップＳ１０３、Ｓ１０４参照）。

以上説明したように、変形例１−１によれば、異常画像間における粘膜領域同士の大局類似度を算出するので、出血、残渣、泡、ハレーション、及び暗部のように、局所的に発生する現象に起因する影響を抑制しつつ、同一の異常領域を含む異常画像群を抽出することが可能となる。

（変形例１−２）
次に、本発明の実施の形態１の変形例１−２について説明する。
大局類似度は、背景領域だけでなく、異常領域を含む領域の特徴量に基づいて算出しても良い。具体的には、異常領域及び非異常領域を含む異常画像全体の特徴量に基づいて大局類似度を算出しても良い。或いは、異常画像全体から、残渣、泡、ハレーション、暗部等の不要領域（診断における検出対象以外の領域）を除いた領域の特徴量を用いて大局類似度を算出しても良い。いずれにしても、大局類似度は、少なくとも非異常領域を含む領域同士について算出したものであれば良い。

（変形例１−３）
次に、本発明の実施の形態１の変形例１−３について説明する。
異常画像間の大局類似度は、異常画像に写った臓器の種類に基づいて決定しても良い。以下、臓器の種類に基づく大局類似度の決定方法を説明する。

まず、各異常画像に写った臓器の種類を判別する。臓器の種類は、公知の種々の方法を用いて判別することができる。以下においては、一例として、特開２００６−２８８６１２号公報に開示されている方法を説明する。まず、事前に、管腔内の各臓器（食道、胃、小腸、及び大腸）が写った画像におけるＲ、Ｇ、Ｂの各色成分（色要素）の数値範囲を決定しておく。そして、異常画像を構成する各画素のＲ成分、Ｇ成分、及びＢ成分の値それぞれの平均値を算出し、事前に決定した各臓器の色成分の数値範囲と比較する。その結果、異常画像について算出した色成分ごとの平均値が事前に決定した食道の色成分の数値範囲内であれば、当該異常画像に写った臓器は食道であると判別する。同様に、異常画像について算出した色成分ごとの平均値が事前に決定した胃の色成分の数値範囲内であれば当該異常画像に写った臓器は胃であり、小腸の色成分の数値範囲内であれば当該異常画像に写った臓器は小腸であり、大腸の色成分の数値範囲内であれば当該異常画像に写った臓器は大腸であると判別する。

大局類似度算出部１２０は、各異常画像に対して判別された臓器の種類に基づいて大局類似度を決定する。具体的には、異常画像列で隣接する異常画像間において、臓器の種類が同一であれば、類似度を１．０に決定する。一方、異常画像列で隣接する異常画像間において、臓器の種類が異なる場合、類似度を０．０に決定する。

なお、臓器の種類は、ユーザが判別することとしても良い。具体的には、演算部１００における画像処理により、一連の管腔内画像の各々の平均色を算出し、これらの平均色を管腔内画像の並び順（時系列順）に配列したカラーバーを作成して表示部４０に表示させる。このカラーバー上における平均色の変わり目（境界）が、一連の管腔内画像における臓器の境界に対応する。そこで、入力部３０に対するユーザ操作に応じて、カラーバー上の特定のポイントを選択する信号が入力部３０から制御部１０に入力されると、制御部１０は、当該ポイントに対応する管腔内画像の画像番号を演算部１００に入力する。演算部１００は、入力された画像番号に対応する管腔内画像を臓器の境界として、各管腔内画像に写った臓器の種類を特定する。大局類似度算出部１２０は、異常領域が検出された管腔内画像の臓器の種類に基づいて、大局類似度を決定する。

（変形例１−４）
次に、本発明の実施の形態２の変形例１−４について説明する。
演算部１００は、ステップＳ１０において画像データを取得した後、一連の管腔内画像全体に対して臓器の種類の判別処理を行っても良い。なお、臓器の種類の判別方法は、変形例１−３と同様であり、自動判別を行っても良いし、ユーザが手動で判別することとしても良い。

この場合、演算部１００は、検査対象の臓器（例えば小腸）が写った管腔内画像に対して、上述したステップＳ１１〜Ｓ１４の処理（図２参照）を実行する。一方、演算部１００は、検査対象外の臓器（例えば食道、胃、大腸）が写った管腔内画像に対しては、異常領域を検出することにより異常画像を抽出した後、例えば異常領域の赤みが強い順、或いは、異常領域の白色が強い順に、異常画像を所定枚数（例えば１０枚などの少数）だけ抽出し、代表画像として出力する。なお、赤みの強さは、色比Ｇ／Ｒによって表すことができ、色比Ｇ／Ｒが小さいほど赤みが強いことを示す。また、白色の強さは、色比Ｇ／Ｒ及びＢ／Ｇによって表すことができ、色比Ｇ／Ｒ及びＢ／Ｇが共に大きいほど白みが強いことを示す。或いは、演算部１００は、検査対象外の臓器が写った管腔内画像については異常領域の検出を行うことなく、各管腔内画像の色特徴量（上述した色比等）に基づいて、所定枚数（例えば１０枚などの少数）の管腔内画像を代表画像として抽出しても良い。さらには、演算部１００は、検査対象外の臓器が写った管腔内画像からは代表画像の抽出を行わなくても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図７は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。実施の形態２に係る画像処理装置は、図１に示す演算部１００の代わりに、図７に示す演算部２００を備える。演算部２００以外の各部の構成及び動作については、実施の形態１と同様である。

演算部２００は、検出部１１０、位置情報取得部２１０、大局類似度算出部１２０、異常画像群抽出部２２０、及び代表画像抽出部１４０を備える。このうち、検出部１１０、大局類似度算出部１２０、及び代表画像抽出部１４０の動作は、実施の形態１と同様である。

位置情報取得部２１０は、各異常画像Ｉ_iの一連の管腔内画像（図３参照）における時系列的な並び順（撮像順）若しくは該並び順を表す画像番号、又は各異常画像Ｉ_iの撮像時刻を、当該異常画像Ｉ_iの時系列的な位置情報として取得する。ここで、一連の管腔内画像の撮像に用いられたカプセル型内視鏡の平均進行速度をｖ（例えば、１ｍｍ／秒）、撮像フレームレートをＦ（例えば、２枚／秒）とすると、管腔内画像（異常画像）Ｉ_iの撮像位置は、一連の管腔内画像の撮像開始位置（例えば、口腔内）から距離ｉ・ｖ／Ｆ（ｍｍ）だけ進行した位置であると推定することができる。また、撮像時刻を用いても、同様にしてカプセル型内視鏡の位置を推定することができる。従って、管腔内画像の並び順、画像番号、及び撮像時刻を、異常画像Ｉ_iの位置情報として扱うことができる。

異常画像群抽出部２２０は、位置情報取得部２１０が取得した位置情報と、大局類似度算出部１２０が算出した大局類似度とに基づいて、同一の異常領域を含む異常画像群を抽出する。

次に、実施の形態２に係る画像処理装置の動作について説明する。図８は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。なお、図８に示すステップＳ１０及びＳ１１は、実施の形態１と同様である（図２参照）。

ステップＳ１１に続くステップＳ２１において、位置情報取得部２１０は、ステップＳ１１において抽出された異常画像の時系列的な位置情報を取得する。具体的には、異常画像Ｉ_iの撮像時刻又は並び順ｉを位置情報として取得する。

続くステップＳ２２において、大局類似度算出部１２０は、異常画像列において隣接する異常画像間の大局類似度を算出する。大局類似度の算出方法は、実施の形態１と同様である（図５参照）。或いは、変形例１−１〜１−３と同様にして大局類似度を算出しても良い。

続くステップＳ２３において、異常画像群抽出部２２０は、ステップＳ２１において取得された位置情報及びステップＳ２２において算出された大局類似度に基づいて、同一の異常領域を含む異常画像群を抽出する。

図９は、ステップＳ２３において異常画像群抽出部２２０が実行する異常画像群の抽出処理を示すフローチャートである。また、図１０は、異常画像群の抽出処理を説明するための模式図である。異常画像群抽出部２２０は、ステップＳ１１において抽出された各異常画像について、ループＡの処理を実行する。

まず、ステップＳ２０１において、異常画像群抽出部２２０は、処理対象の異常画像Ｉ_k（ｋは自然数）に対し、異常画像列で隣接する異常画像Ｉ_k’（ｋ’はｋ＜ｋ’の自然数）との間における撮像時刻Ｔ（Ｉ_k）、Ｔ（Ｉ_k’）の差分ΔＴ（＝Ｔ（Ｉ_k’）−Ｔ（Ｉ_k））、即ち経過時間を算出する。

続くステップＳ２０２において、異常画像群抽出部２２０は、ステップＳ２０１において算出した撮像時刻の差分ΔＴが所定の閾値ｔｈ１以下であるか否かを判定する。

撮像時刻の差分ΔＴが閾値ｔｈ１以下である場合（ステップＳ２０２：Ｙｅｓ）、続いて、異常画像群抽出部２２０は、当該異常画像Ｉ_k、Ｉ_k’間の大局類似度ｓ_globalが所定の閾値ｔｈ２以上であるか否かを判定する（ステップＳ２０３）。

大局類似度ｓ_globalが閾値ｔｈ２以上である場合（ステップＳ２０３：Ｙｅｓ）、異常画像群抽出部２２０は、処理対象の異常画像Ｉ_k及びその次に抽出された異常画像Ｉ_k’が同一の異常領域を含むと判定する（ステップＳ２０４）。

例えば図１０に示す異常画像Ｉ_t1と異常画像Ｉ_t1+1のように、時系列的に隣接する場合（ΔＴ１＜ｔｈ１）、大局類似度ｓ_globalが閾値ｔｈ２以上であれば、これらの異常画像Ｉ_t1、Ｉ_t1+1は同一の異常領域を含むと判定される。また、異常画像Ｉ_t2と異常画像Ｉ_t2+2のように、管腔内画像群（ｉ＝１、２、…）においては時系列的に直接隣接していない場合であっても、撮像時刻の差分ΔＴ２が閾値ｔｈ１以下であれば、大局類似度ｓ_globalが閾値ｔｈ２以上であることを条件に、これらの異常画像Ｉ_t2、Ｉ_t2+2は同一の異常領域を含むと判定される。

一方、ステップＳ２０２において、撮像時刻の差分が閾値ｔｈ１よりも大きい場合（ステップＳ２０２：Ｎｏ）、又は、ステップＳ２０３において、大局類似度ｓ_globalが閾値ｔｈ２よりも小さい場合（ステップＳ２０３：Ｎｏ）、異常画像群抽出部２２０は、処理対象の異常画像Ｉ_k及びその次に抽出されたＩ_k’は同一の異常領域を含まないと判定する（ステップＳ２０５）。例えば図１０の場合、異常画像Ｉ_t1+4と異常画像Ｉ_t2との撮像時刻の差分ΔＴ３は閾値ｔｈ１よりも大きいので、同一の異常領域を含まないと判定される。

全ての異常画像についてループＡの処理が終了すると、ステップＳ２０６において、異常画像群抽出部２２０は、同一の異常領域が写っていると判定した異常画像同士を同じ異常画像群として抽出する。その後、画像処理装置の動作はメインルーチンに戻る。

なお、ステップＳ２０１においては、撮像時刻の代わりに、異常画像Ｉ_iの並び順ｉの差分を算出しても良い。この場合、ステップＳ２０２においては、並び順の差分が所定の閾値以下であるか否かが判定される。
ステップＳ２２に続くステップＳ１４及びＳ１５は、実施の形態１と同様である（図２参照）。

以上説明したように、本発明の実施の形態２によれば、異常画像の時系列的な位置情報及び大局類似度に基づいて、同一の異常領域を含む異常画像群を抽出するので、時系列的に大きく離れた異常画像同士が同一の異常画像群として抽出されるのを防ぐことができる。

（変形例２）
次に、本発明の実施の形態２の変形例２について説明する。
上記実施の形態２においては、異常画像の時系列的な位置情報を、同一の異常領域を含む異常画像群の抽出処理に用いたが、この位置情報を用いて代表画像の抽出処理を行っても良い。

図１１は、変形例２に係る画像処理装置が備える演算部の構成を示すブロック図である。図１１に示すように、変形例２−２における演算部２５０は、実施の形態２における演算部２００（図７参照）が備える代表画像抽出部１４０の代わりに、代表画像抽出部１４１を備える。代表画像抽出部１４１以外の演算部２５０の各部の構成及び動作については、実施の形態２と同様である。

代表画像抽出部１４１は、同一の異常領域を含む異常画像群の各々から、重要度の高い異常領域として、出血源が写った異常画像を優先的に代表画像として抽出する。より詳細には、代表画像抽出部１４１は、出血の異常領域が写った異常画像群から出血源を検出する出血源検出部１４１ａを備える。この出血源検出部１４１ａは、異常画像に写った被写体（臓器）の管腔内における位置、即ち、異常画像の管腔内における撮像位置を推定する位置推定部１４１ｂを備える。

図１２は、図８に示すステップＳ１４において代表画像抽出部１４１が実行する代表画像抽出処理を示すフローチャートである。代表画像抽出部１４１は、ステップＳ２３において抽出された各異常画像群についてループＢの処理を実行する。なお、以下の説明においては、各異常画像群から抽出される代表画像の枚数をｎ枚とする。

まず、ステップＳ２１１において、代表画像抽出部１４１は、処理対象の異常画像群に含まれる同一の異常領域が出血であるか否か判定する。具体的には、ステップＳ１１（実施の形態１参照）において、赤色調の特定色を示すものとして検出された異常領域を出血として判定する。或いは、異常領域の色特徴量、形状特徴量、又はテクスチャ特徴量に基づいて、異常領域が出血であるか否かを判定しても良い。

同一の異常領域が出血である場合（ステップＳ２１１：Ｙｅｓ）、位置推定部１４１ｂは、ステップＳ２１において位置情報取得部２１０が取得した時系列的な位置情報（異常画像の撮像時刻又は並び順）を取り込み、該位置情報に基づいて当該異常画像群に含まれる各異常画像の管腔内における撮像位置を推定する（ステップＳ２１２）。

続くステップＳ２１３において、出血源検出部１４１ａは、出血源画像（出血源が写った異常画像）を検出する。詳細には、当該異常画像群のうちで赤みの強い異常領域を含む異常画像から、管腔内における撮像位置が最も上流である異常画像（言い換えると、時系列で最も古い異常画像）を、出血源画像として検出する。ここで、赤みの強い異常領域は、例えば、色比Ｇ／Ｒの値が所定の閾値以下である領域として判別することができる。なお、このときに用いられる色比Ｇ／Ｒの閾値は、ステップＳ１１において異常領域を検出する際に用いた判別基準（色比Ｇ／Ｒ）よりも厳しく（値を小さく）設定すると良い。

一般に、管腔内において出血が発生した場合、血液は上流（口腔側）から下流（肛門側）に向けて流れる。そのため、赤みの強い異常領域を含む異常画像のうち撮像位置が最も上流である異常画像に出血源が写っているものと推定することができる。

続くステップＳ２１４において、代表画像抽出部１４１は、ステップＳ２１３において検出された出血源画像を１枚、代表画像として抽出する。

続くステップＳ２１５において、代表画像抽出部１４１は、当該異常画像群のうち、赤みの強い異常領域を含む異常画像（出血源画像を除く）から、代表画像の抽出枚数ｎマイナス１枚だけ、代表画像をランダムに抽出する。

続くステップＳ２１６において、代表画像抽出部１４１は、代表画像をｎ枚抽出できたか否かを判定する。当該異常画像群のうち、赤みの強い異常領域を含む異常画像の枚数がｎ枚以上である場合、これらの異常画像からトータルでｎ枚の代表画像を抽出することができる。この場合（ステップＳ２１６：Ｙｅｓ）、処理はステップＳ２１９に移行する。

一方、当該異常画像群のうち、赤みの強い異常領域を含む異常画像の枚数がｎ枚に満たない場合、代表画像をｎ枚抽出できていないことになる。この場合（ステップＳ２１６：Ｎｏ）、代表画像抽出部１４１は、赤みの強い異常領域を含まない残りの異常画像から、トータルの枚数がｎ枚になるまで代表画像をランダムに抽出する（ステップＳ２１７）。その後、処理はステップＳ２１９に移行する。

また、ステップＳ２１１において、処理対象の異常画像群における同一の異常領域が出血でない場合（ステップＳ２１１：Ｎｏ）、代表画像抽出部１４１は、実施の形態１と同様にして、異常画像群からｎ枚の代表画像を抽出する（ステップＳ２１８）。その後、処理はステップＳ２１９に移行する。

ステップＳ２１９において、代表画像抽出部１４１は、抽出したｎ枚の代表画像の画像データに、代表画像である旨を示す情報（フラグ）を付加する。

ステップＳ２３（図８参照）において抽出された全ての異常画像群に対してループＢの処理を実行した後、画像処理装置の動作はメインルーチンに戻る。

以上説明したように、変形例２によれば、異常領域の赤みの強さと各異常画像の管腔内における位置情報とに基づいて、診断において重要度が高い出血源を代表画像として優先的に抽出することができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１３は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。実施の形態３に係る画像処理装置は、図１に示す演算部１００の代わりに、図１３に示す演算部３００を備える。演算部３００以外の各部の構成及び動作については、実施の形態１と同様である。

演算部３００は、検出部１１０、位置情報取得部２１０、大局類似度算出部１２０、異常分類部３１０、異常画像群抽出部３２０、及び代表画像抽出部１４０を備える。このうち、検出部１１０、大局類似度算出部１２０、及び代表画像抽出部１４０の動作は、実施の形態１と同様である。また、位置情報取得部２１０の動作は、実施の形態２と同様である。

異常分類部３１０は、注目領域としての異常領域を、該異常領域における被写体の種類に応じて分類する注目領域分類手段である。詳細には、異常分類部３１０は、異常領域が一連の管腔内画像において連続的に発生する異常領域であるか否かを判定する連続異常判定部（連続性判定手段）３１１を備える。連続異常判定部３１１は、異常領域における被写体が、浮遊する出血や血管異常等の異常である場合、当該異常領域が連続的に発生する異常領域であると判定する。

浮遊する出血や血管異常といった異常の種類は、事前に作成した判別基準を用いて判定することができる。判別基準は、管腔内画像に写った浮遊する出血や血管異常等の異常領域の色特徴量（画素値のＲ成分、Ｇ成分、Ｂ成分の値、これらの各色成分の値を基に公知の変換により２次的に算出した値（ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など））や、形状特徴量（ＨＯＧ、面積、周囲長、フェレ径等の形状情報）や、テクスチャ特徴量（ＬＢＰ、同時正規行列等）の特徴量分布に基づき、サポートベクターマシン（ＳＶＭ）等の学習器により作成し、記録部５０に記録しておく。

異常画像群抽出部３２０は、位置情報取得部２１０が取得した位置情報と、大局類似度算出部１２０が算出した大局類似度と、異常分類部３１０による分類結果とに基づいて、同一の異常領域を含む異常画像群を抽出する。

次に、実施の形態３に係る画像処理装置の動作を説明する。図１４は、実施の形態３に係る画像処理装置の動作を示すフローチャートである。なお、図１４に示すステップＳ１０、Ｓ１１は、実施の形態１と同様である（図２参照）。

ステップＳ１１に続くステップＳ３１において、位置情報取得部２１０は、ステップＳ１１において抽出された異常画像の時系列的な位置情報を取得する。具体的には、異常画像Ｉ_iの並び順ｉ又は撮像時刻を位置情報として取得する。

続くステップＳ３２において、大局類似度算出部１２０は、異常画像列において隣接する異常画像間の大局類似度を算出する。大局類似度の算出方法は、実施の形態１と同様である（図５参照）。或いは、変形例１−１〜１−３と同様にして大局類似度を算出しても良い。

続くステップＳ３３において、異常分類部３１０は、ステップ１１において検出された各異常領域を分類する。詳細には、連続異常判定部３１１は、連続的に発生する異常領域を判定するための判別基準を記録部５０から読み出し、処理対象の異常領域について算出された特徴量を判別基準と比較することにより、当該異常領域における被写体の種類を判別し、該被写体の種類に応じて、当該異常領域が連続的に発生する異常領域であるか否かを判定する。具体的には、異常領域における被写体が浮遊する出血や血管異常である場合、当該異常領域は連続的に発生する異常領域であると判定する。

続くステップＳ３４において、異常画像群抽出部３２０は、ステップＳ３３における分類結果に基づき、ステップＳ３１において取得された位置情報及びステップＳ３２において算出された大局類似度を用いて、同一の異常領域を含む異常画像群を抽出する。

図１５は、ステップＳ３４において異常画像群抽出部３２０が実行する異常画像群の抽出処理を示すフローチャートである。異常画像群抽出部３２０は、ステップＳ１１において抽出された各異常画像について、ループＣの処理を実行する。

まず、ステップＳ３０１において、異常画像群抽出部３２０は、処理対象の異常画像Ｉ_j（ｊは自然数）と、該異常画像Ｉ_jに対して異常画像列において隣接する異常画像Ｉ_j+n（ｎは自然数）との間における位置の近接度を表すパラメータｓ_posを算出する。パラメータｓ_posは次式（２）によって与えられる。
ｓ_pos＝（Ｎ−ｎ）／Ｎ …（２）
式（２）においてＮは、並び順の差ｎを規格化するためのパラメータであり、例えばＮ＝１０に設定される。このパラメータｓ_posは、異常画像Ｉ_j、Ｉ_j+nにそれぞれ写った被写体の管腔内における位置が近いほど（ｎが小さいほど）、値が大きくなる。

なお、ステップＳ３１において、位置情報として異常画像Ｉ_iの撮像時刻が取得された場合には、式（２）における並び順の差ｎの代わりに撮像時刻の差を代入し、パラメータＮの代わりに撮像時刻の差を規格化するためのパラメータを用いることにより、位置の近接度を表すパラメータを算出する。

続くステップＳ３０２において、異常画像群抽出部３２０は、処理対象の異常画像における異常領域の分類結果（ステップＳ３３参照）に基づいて、大局類似度ｓ_global及び位置の近接度を表すパラメータｓ_posにそれぞれ与えられる重みｗ₁、ｗ₂（ｗ₁＋ｗ₂＝１）を決定する。この際、重みｗ₁、ｗ₂は、異常画像Ｉ_jにおける異常領域が連続的に発生する異常領域であれば、重みｗ₁に対して重みｗ₂が相対的に大きくなるように決定される。一方、異常画像Ｉ_jにおける異常領域が連続的に発生する異常領域でなければ、重みｗ₂に対して重みｗ₁が相対的に大きくなるように重みｗ₁、ｗ₂が決定される。

続くステップＳ３０３において、異常画像群抽出部３２０は、ステップＳ３０２において決定した重みｗ₁、ｗ₂を用いて、大局類似度ｓ_globalと位置の近接度を表すパラメータｓ_posとを加味したトータルの判別パラメータｓ_total1を算出する。トータルの判別パラメータｓ_total1は、次式（３）によって与えられる。
ｓ_total1＝ｗ₁・ｓ_global＋ｗ₂・ｓ_pos …（３）

続くステップＳ３０４において、異常画像群抽出部３２０は、トータルの判別パラメータｓ_total1が所定の閾値ｔｈ３以上であるか否かを判定する。トータルの判別パラメータｓ_total1が閾値ｔｈ３以上である場合（ステップＳ３０４：Ｙｅｓ）、異常画像群抽出部３２０は、処理対象の異常画像Ｉ_j及びその次に抽出された異常画像Ｉ_j+nが同一の異常領域を含むと判定する（ステップＳ３０５）。一方、トータルの判別パラメータｓ_totalが閾値ｔｈ３よりも小さい場合（ステップＳ３０４：Ｎｏ）、異常画像群抽出部３２０は、処理対象の異常画像Ｉ_j及びその次に抽出された異常画像Ｉ_j+nが同一の異常領域を含まないと判定する（ステップＳ３０６）。

全ての異常画像についてループＣの処理が終了すると、ステップＳ３０７において、異常画像群抽出部３２０は、同一の異常領域が写っていると判定した異常画像同士を同じ異常画像群として抽出する。その後、画像処理装置の動作はメインルーチンに戻る。
ステップＳ３４に続くステップＳ１４及びＳ１５は、実施の形態１と同様である（図２参照）。

以上説明したように、本発明の実施の形態３によれば、異常画像の時系列的な位置情報及び大局類似度に基づいて同一の異常領域を含む異常画像群を抽出する際に、異常画像における異常領域が連続的に発生する異常領域である否かに応じて、大局類似度と位置情報との重みを変更するので、同一の異常領域を含む異常画像群の抽出精度を向上させることが可能となる。

（変形例３−１）
次に、本発明の実施の形態３の変形例３−１について説明する。
図１６は、図１３に示す異常分類部３１０の別の構成例を示すブロック図である。図１３に示す演算部３００においては、異常分類部３１０の代わりに、図１６に示す異常分類部３３０を設けても良い。異常分類部３３０は、異常領域が一連の管腔内画像において散発的に発生する異常領域であるか否かを判定する散発異常判定部（散発性判定手段）３３１と備える。散発異常判定部３３１は、異常領域における被写体が、発赤、出血点、アフタ、潰瘍等の異常である場合、当該異常領域は散発的に発生する異常領域であると判定する。

発赤、出血点、アフタ、潰瘍といった異常の種類は、事前に作成した判別基準を用いて判定することができる。判別基準は、管腔内画像に写った発赤、出血点、アフタ、潰瘍等の異常領域の色特徴量（画素値のＲ成分、Ｇ成分、Ｂ成分の値、これらの各色成分の値を基に公知の変換により２次的に算出した値（ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など））や、形状特徴量（ＨＯＧ、面積、周囲長、フェレ径等の形状情報）や、テクスチャ特徴量（ＬＢＰ、同時正規行列等）の特徴量分布に基づき、サポートベクターマシン（ＳＶＭ）等の学習器により作成し、記録部５０に記録しておく。

この場合、図１４に示すステップＳ３３においては、異常分類部３３０が、ステップＳ１１において検出された各異常領域を分類する。詳細には、散発異常判定部３３１が、散発的に発生する異常領域を判定するための判別基準を記録部５０から読み出し、処理対象の異常領域について算出された特徴量を判別基準と比較することにより、当該異常領域における被写体の種類を判別し、該被写体の種類に応じて、異常領域が散発的に発生する異常領域であるか否かを判定する。

また、この場合、図１４に示すステップＳ３４において、異常画像群抽出部３２０は、異常分類部３３０による分類結果に基づき、ステップＳ３１において取得された位置情報及びステップＳ３２において算出された大局類似度を用いて、同一の異常領域を含む異常画像群を抽出する。

詳細には、図１５に示すステップＳ３０２において、異常画像群抽出部３２０は、異常分類部３３０による異常領域の分類結果に基づき、大局類似度ｓ_global及び位置の近接度を表すパラメータｓ_posにそれぞれ与えられる重みｗ₁、ｗ₂を決定する。この際、重みｗ₁、ｗ₂は、異常画像Ｉ_jにおける異常領域が散発的に発生する異常領域であれば、重みｗ₂に対して重みｗ₁が相対的に大きくなるように決定される。一方、異常画像Ｉ_jにおける異常領域が散発的に発生する異常領域でなければ、重みｗ₁に対して重みｗ₂が相対的に大きくなるように重みｗ₁、ｗ₂が決定される。

（変形例３−２）
次に、本発明の実施の形態３の変形例３−２について説明する。
図１７は、図１３に示す異常分類部３１０のさらに別の構成例を示すブロック図である。図１３に示す演算部３００においては、異常分類部３１０の代わりに、図１７に示す異常分類部３４０を設けても良い。異常分類部３４０は、連続異常判定部３１１及び散発異常判定部３３１を備える。連続異常判定部３１１の動作は実施の形態３と同様であり、散発異常判定部３３１の動作は変形例３−１と同様である。

この場合、図１４に示すステップＳ３３においては、異常分類部３４０が、ステップＳ１１において検出された各異常領域を分類する。詳細には、連続異常判定部３１１は、処理対象の異常領域が一連の管腔内画像群において連続的に発生する異常領域であるか否かを判定する。また、散発異常判定部３３１は、処理対象の異常領域が一連の管腔内画像群において散発的に発生する異常領域であるか否かを判定する。その結果、当該異常領域が、連続的に発生する異常領域と、散発的に発生する異常領域と、それ以外の異常領域とに分類される。

また、この場合、図１４に示すステップＳ３４において、異常画像群抽出部３２０は、異常分類部３４０による分類結果に基づき、ステップＳ３１において取得された位置情報及びステップＳ３２において算出された大局類似度を用いて、同一の異常領域を含む異常画像群を抽出する。

詳細には、図１５に示すステップＳ３０２において、異常画像群抽出部３２０は、異常分類部３４０による分類結果に基づき、大局類似度ｓ_global及び位置の近接度を表すパラメータｓ_posにそれぞれ与えられる重みｗ₁、ｗ₂を決定する。この際、重みｗ₁、ｗ₂は、異常画像Ｉ_jにおける異常領域が連続的に発生する異常領域であれば、重みｗ₁に対して重みｗ₂が相対的に大きくなるように決定される。一方、異常画像Ｉ_jにおける異常領域が散発的に発生する異常領域であれば、重みｗ₂に対して重みｗ₁が相対的に大きくなるように重みｗ₁、ｗ₂が決定される。さらに、異常画像Ｉ_jにおける異常領域が連続的に発生する異常領域でもなく、散発的に発生する異常領域でもない場合、重みｗ₁、ｗ₂は同程度に決定される。

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図１８は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。実施の形態４に係る画像処理装置は、図１に示す演算部１００の代わりに、図１８に示す演算部４００を備える。演算部４００以外の各部の構成及び動作については、実施の形態１と同様である。

演算部４００は、検出部１１０、大局類似度算出部１２０、局所類似度算出部４１０、異常分類部３１０、異常画像群抽出部４２０、及び代表画像抽出部１４０を備える。このうち、検出部１１０、大局類似度算出部１２０、及び代表画像抽出部１４０の動作は、実施の形態１と同様である（図１参照）。また、異常分類部３１０の動作は、実施の形態３と同様である。

局所類似度算出部４１０は、異常画像列で隣接する異常画像間において、異常領域同士の類似度を局所類似度として算出する。

異常画像群抽出部４２０は、大局類似度算出部１２０が算出した大局類似度と、局所類似度算出部４１０が算出した局所類似度と、異常分類部３１０による分類結果とに基づいて、同一の異常領域を含む異常画像群を抽出する。

次に、実施の形態４に係る画像処理装置の動作について説明する。図１９は、実施の形態４に係る画像処理装置の動作を示すフローチャートである。なお、図１９に示すステップＳ１０〜Ｓ１２は、実施の形態１と同様である（図２参照）。ステップＳ１２については、変形例１−１〜１−３と同様にして大局類似度を算出しても良い。

ステップＳ１２に続くステップＳ４１において、局所類似度算出部４１０は、異常画像列において隣接する異常画像間の局所類似度を算出する。局所類似度の算出方法は特に限定されない。一例として、ＳＩＦＴ（Scale Invariant Feature Transform）等の公知の手法によって異常画像間における対応点を抽出し、異常領域が２つの異常画像間において対応付いた場合、局所類似度を１．０とする。一方、異常領域が２つの異常画像間において対応付かない場合、局所類似度を０．０とする。

続くステップＳ４２において、異常分類部３１０は、ステップ１１において検出された各異常領域を分類する。即ち、連続異常判定部３１１が、連続的に発生する異常領域を判定するための判別基準を記録部５０から読み出し、該判別基準に基づいて、当該異常領域が連続的に発生する異常領域であるか否かを判定する。

続くステップＳ４３において、異常画像群抽出部４２０は、ステップＳ４２における分類結果に基づき、ステップＳ１２において算出された大局類似度及びステップＳ４１において算出された局所類似度を用いて、同一の異常領域を含む異常画像群を抽出する。

図２０は、ステップＳ４３において異常画像群抽出部４２０が実行する異常画像群の抽出処理を示すフローチャートである。異常画像群抽出部４２０は、ステップＳ１１において抽出された各異常画像について、ループＤの処理を実行する。

まず、ステップＳ４０１において、異常画像群抽出部４２０は、処理対象の異常画像における異常領域の分類結果（ステップＳ４２参照）に基づいて、大局類似度ｓ_global及び局所類似度ｓ_localにそれぞれ与えられる重みｗ₃、ｗ₄を決定する。重みｗ₃、ｗ₄は、当該異常領域が連続的に発生する異常領域であれば、重みｗ₃が相対的に大きくなるように決定される（例えば、ｗ₃＝１、ｗ₄＝０等）。一方、当該異常領域が連続的に発生する異常領域でなければ、重みｗ₄が相対的に大きくなるように重みｗ₃、ｗ₄が決定される（例えば、ｗ₃＝０、ｗ₄＝１等）。

続くステップＳ４０２において、異常画像群抽出部４２０は、ステップＳ４０１において決定した重みｗ₃、ｗ₄を用いて、大局類似度ｓ_globalと局所類似度ｓ_localとを加味したトータルの判別パラメータｓ_total2を算出する。トータルの判別パラメータｓ_total2は、次式（４）によって与えられる。
ｓ_total2＝ｗ₃・ｓ_global＋ｗ₄・ｓ_local …（４）

続くステップＳ４０３において、異常画像群抽出部４２０は、トータルの判別パラメータｓ_total2が所定の閾値ｔｈ４以上であるか否かを判定する。トータルの判別パラメータｓ_total2が閾値ｔｈ４以上である場合（ステップＳ４０３：Ｙｅｓ）、異常画像群抽出部４２０は、処理対象の異常画像及びその次に抽出された異常画像が同一の異常領域を含むと判定する（ステップＳ４０４）。一方、トータルの判別パラメータｓ_total2が閾値ｔｈ４よりも小さい場合（ステップＳ４０３：Ｎｏ）、異常画像群抽出部４２０は、処理対象の異常画像及びその次に抽出された異常画像が同一の異常領域を含まないと判定する（ステップＳ４０５）。

全ての異常画像についてループＤの処理が終了すると、ステップＳ４０６において、異常画像群抽出部４２０は、同一の異常領域が写っていると判定した異常画像同士を同じ異常画像群として抽出する。その後、画像処理装置の動作はメインルーチンに戻る。

ステップＳ４３に続くステップＳ１４及びＳ１５は、実施の形態１と同様である（図２参照）。

以上説明したように、本発明の実施の形態４によれば、異常領域が連続的に発生する異常領域であるか否かに応じて、異常画像の全体的な類似度と、異常領域の局所的な類似度とにそれぞれ与えられる重みを変え、これらのトータルの判別パラメータに基づいて２つの異常画像が同一の異常領域を含むか否かを判断するので、同一の異常領域を含む異常画像群の抽出精度を向上させることが可能となる。

（変形例４−１）
次に、本発明の実施の形態４の変形例４−１について説明する。
図１８に示す局所類似度算出部４１０は、上記実施の形態４において説明した手法の他にも、種々の手法により局所類似度を算出しても良い。

一例として、局所類似度算出部４１０は、まず、各異常画像に含まれる異常領域の特徴量を算出する。特徴量としては、各異常領域を構成する画素の画素値（輝度値やＧ成分の値）の平均値又は中央値等の統計量、各異常領域を構成する画素の色特徴量（Ｒ成分、Ｇ成分、Ｂ成分の各値を用いて、ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など）の平均値又は中央値等の統計量、各異常領域の形状特徴量（面積や円形度等）、各異常領域を構成する各画素におけるテクスチャ特徴量（ソーベルフィルタやラプラシアンフィルタ等を用いて算出されるエッジ量等）の平均値又は中央値等の統計量等が挙げられる。

続いて、局所類似度算出部４１０は、異常画像列で隣接する異常画像間において、上述した特徴量の変化量Δｃ_aを算出する。そして、特徴量の最大値ｃ_a(max)及び変化量Δｃ_aを用いて、次式（５）によって与えられる局所類似度ｓ_localを算出する。
ｓ_local＝（ｃ_a(max)−Δｃ_a）／ｃ_a(max) …（５）
式（５）において、特徴量の最大値ｃ_a(max)は、特徴量が取り得る最大の値である。例えば２５６階調の異常画像に対し、特徴量として画素値（Ｇ成分の値）の統計値を算出した場合、最大値ｃ_a(max)は２５６である。また、特徴量として円形度を算出した場合、最大値ｃ_a(max)は１である。

（変形例４−２）
次に、本発明の実施の形態４の変形例４−２について説明する。
図１８に示す演算部４００においては、異常分類部３１０の代わりに、図１６に示す散発異常判定部３３１のみを備える異常分類部３３０を設け、処理対象の異常領域を、散発的に発生する異常領域であるか否かの２つに分類することとしても良い（変形例３−１参照）。

この場合、図１９に示すステップＳ４２においては、異常分類部３３０が、ステップＳ１１において検出された各異常領域を分類する。即ち、散発異常判定部３３１が、散発的に発生する異常領域を判定するための判別基準を記録部５０から読み出し、該判別基準に基づいて、異常領域が散発的に発生する異常領域であるか否かを判定する。

また、この場合、図１９に示すステップＳ４３において、異常画像群抽出部４２０は、異常分類部３３０による分類結果に基づき、ステップＳ１２において算出された大局類似度ｓ_global及びステップＳ４１において算出された局所類似度ｓ_localを用いて、同一の異常領域を含む異常画像群を抽出する。

詳細には、図２０に示すステップＳ４０１において、異常画像群抽出部４２０は、異常分類部３３０による異常領域の分類結果に基づき、大局類似度ｓ_global及び局所類似度ｓ_localにそれぞれ与えられる重みｗ₃、ｗ₄を決定する。重みｗ₃、ｗ₄は、当該異常領域が散発的に発生する異常領域であれば、重みｗ₄が相対的に大きくなるように決定される（例えば、ｗ₃＝０、ｗ₄＝１等）。一方、当該異常領域が散発的に発生する異常領域でなければ、重みｗ₃が相対的に大きくなるように重みｗ₃、ｗ₄が決定される（例えば、ｗ₃＝１、ｗ₄＝０等）。

（変形例４−３）
次に、本発明の実施の形態４の変形例４−３について説明する。
図１８に示す演算部４００においては、異常分類部３１０の代わりに、図１７に示す連続異常判定部３１１及び散発異常判定部３３１を備える異常分類部３４０を設け、処理対処の異常領域を、連続的に発生する異常領域であるか、散発的に発生する異常領域であるか、そのどちらでもないかの３つに分類することとしても良い（変形例３−２参照）。

この場合、図１９に示すステップＳ４２においては、異常分類部３４０が、ステップＳ１１において検出された各異常領域を分類する。即ち、連続異常判定部３１１は、処理対象の異常領域が一連の管腔内画像群において連続的に発生する異常領域であるか否かを判定する。また、散発異常判定部３３１は、処理対象の異常領域が一連の管腔内画像群において散発的に発生する異常領域であるか否かを判定する。

また、この場合、図１９に示すステップＳ４３において、異常画像群抽出部４２０は、異常分類部３４０による分類結果に基づき、ステップＳ１２において算出された大局類似度ｓ_global及びステップＳ４１において算出された局所類似度ｓ_localを用いて、同一の異常領域を含む異常画像群を抽出する。

詳細には、図２０に示すステップＳ４０１において、異常画像群抽出部４２０は、異常分類部３４０による分類結果に基づき、大局類似度ｓ_global及び局所類似度ｓ_localにそれぞれ与えられる重みｗ₃、ｗ₄を決定する。重みｗ₃、ｗ₄は、異常領域が連続的に発生する異常領域であれば、重みｗ₃が相対的に大きくなるように決定される（例えば、ｗ₃＝１、ｗ₄＝０等）。また、異常領域が散発的に発生する異常領域であれば、重みｗ₄が相対的に大きくなるように重みｗ₃、ｗ₄が決定される（例えば、ｗ₃＝０、ｗ₄＝１等）。さらに、異常領域が、連続的に発生する異常領域でもなく、散発的に発生する異常領域でもない場合、重みｗ₃、ｗ₄は、同程度の値に決定される（例えば、ｗ₃＝０．５、ｗ₄＝０．５等）。

（実施の形態５）
次に、本発明の実施の形態５について説明する。
図２１は、本発明の実施の形態５に係る画像処理装置が備える演算部の構成を示すブロック図である。実施の形態５に係る画像処理装置は、図１に示す演算部１００の代わりに、図２１に備える演算部５００を備える。演算部５００以外の各部の構成及び動作については、実施の形態１と同様である。

演算部５００は、検出部１１０、位置情報取得部２１０、大局類似度算出部１２０、局所類似度算出部４１０、異常分類部３４０、異常画像群抽出部５１０、及び代表画像抽出部１４０を備える。このうち、検出部１１０、大局類似度算出部１２０、及び代表画像抽出部１４０の動作は、実施の形態１と同様である（図１参照）。位置情報取得部２１０の動作は、実施の形態２（図７参照）と同様である。局所類似度算出部４１０の動作は、実施の形態４又は変形例４−１（図１８参照）と同様である。異常分類部３４０の動作は、変形例３−２（図１７参照）と同様である。

異常画像群抽出部５１０は、位置情報取得部２１０が取得した位置情報と、大局類似度算出部１２０が算出した大局類似度と、局所類似度算出部４１０が算出した局所類似度と、異常分類部３４０による分類結果とに基づいて、同一の異常領域を含む異常画像群を抽出する。

次に、実施の形態５に係る画像処理装置の動作について説明する。図２２は、実施の形態５に係る画像処理装置の動作を示すフローチャートである。なお、図１４に示すステップＳ１０及びＳ１１は、実施の形態１と同様である（図２参照）。

ステップＳ１１に続くステップＳ５１において、位置情報取得部２１０は、ステップＳ１１において抽出された異常画像の時系列的な位置情報として、異常画像Ｉ_iの撮像時刻又は並び順ｉを取得する。

続くステップＳ５２において、大局類似度算出部１２０は、異常画像列において隣接する異常画像間の大局類似度ｓ_globalを算出する。大局類似度ｓ_globalの算出方法は、実施の形態１と同様である（図５参照）。或いは、変形例１−１〜１−３と同様にして大局類似度ｓ_globalを算出しても良い。

続くステップＳ５３において、局所類似度算出部４１０は、異常画像列において隣接する異常画像間の局所類似度ｓ_localを算出する。局所類似度ｓ_localの算出方法は、実施の形態４又は変形例４−１と同様である（図１９のステップＳ４１参照）。

続くステップＳ５４において、異常分類部３４０は、ステップ１１において検出された各異常領域を分類する。異常領域の分類方法は、変形例３−２と同様である。その結果、各異常領域が、連続的に発生する異常領域と、散発的に発生する異常領域と、それ以外の異常領域とに分類される。

続くステップＳ５５において、異常画像群抽出部５１０は、ステップＳ５４における分類結果に基づき、ステップＳ５１において取得された位置情報と、ステップＳ５２において算出された大局類似度ｓ_globalと、ステップＳ５３において算出された局所類似度ｓ_localとに基づいて、同一の異常領域を含む異常画像群を抽出する。

図２３は、ステップＳ５５において異常画像群抽出部５１０が実行する異常画像群の抽出処理を示すフローチャートである。異常画像群抽出部５１０は、ステップＳ１１において抽出された各異常画像について、ループＥの処理を実行する。

まず、ステップＳ５０１において、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_k（ｋは自然数）に対し、異常画像列で隣接する異常画像Ｉ_k’（ｋ’はｋ＜ｋ’の自然数）との間における撮像時刻Ｔ（Ｉ_k）、Ｔ（Ｉ_k’）の差分ΔＴ（＝Ｔ（Ｉ_k’）−Ｔ（Ｉ_k））、即ち経過時間を算出する。

続くステップＳ５０２において、異常画像群抽出部５１０は、異常画像Ｉ_kにおける異常領域の分類結果（ステップＳ５４参照）が連続的であるか否かを判定する。

上記分類結果が連続的である場合（ステップＳ５０２：Ｙｅｓ）、異常画像群抽出部５１０は、撮像時刻の差分ΔＴが所定の閾値ｔｈ５以下であるか否かを判定する（ステップＳ５０３）。

撮像時刻の差分ΔＴが閾値ｔｈ５以下である場合（ステップＳ５０３：Ｙｅｓ）、続いて、異常画像群抽出部５１０は、異常画像Ｉ_k、Ｉ_k’間の大局類似度ｓ_globalが所定の閾値ｔｈ６以上であるか否かを判定する（ステップＳ５０４）。

大局類似度ｓ_globalが閾値ｔｈ６以上である場合（ステップＳ５０４：Ｙｅｓ）、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_k及びその次に抽出されたＩ_k’が同一の異常領域を含むと判定する（ステップＳ５０５）。

一方、ステップＳ５０３において、撮像時刻の差分ΔＴが閾値ｔｈ５よりも大きい場合（ステップＳ５０３：Ｎｏ）、又は、ステップＳ５０４において、大局類似度ｓ_globalが閾値ｔｈ６よりも小さい場合（ステップＳ５０４：Ｎｏ）、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_k及びその次に抽出されたＩ_k’は同一の異常領域を含まないと判定する（ステップＳ５０６）。

ステップＳ５０２において、分類結果が連続的でない場合（ステップＳ５０２：Ｎｏ）、続いて、異常画像群抽出部５１０は、当該分類結果が散発的であるか否かを判定する（ステップＳ５０７）。

上記分類結果が散発的である場合（ステップＳ５０７：Ｙｅｓ）、異常画像群抽出部５１０は、撮像時刻の差分ΔＴが所定の閾値ｔｈ７以下であるか否かを判定する（ステップＳ５０８）。ここで、散発的に発生する異常領域の場合、一連の時系列画像において、同一の異常領域が飛び飛びに写っている可能性がある。そのため、閾値ｔｈ７は、ステップＳ５０３における閾値ｔｈ５よりも長めに設定されている。

撮像時刻の差分ΔＴが閾値ｔｈ７以下である場合（ステップＳ５０８：Ｙｅｓ）、続いて、異常画像群抽出部５１０は、異常画像Ｉ_k、Ｉ_k’間の局所類似度ｓ_localが所定の閾値ｔｈ８以上であるか否かを判定する（ステップＳ５０９）。

局所類似度ｓ_localが閾値ｔｈ８以上である場合（ステップＳ５０９：Ｙｅｓ）、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_k及びその次に抽出されたＩ_k’が同一の異常領域を含むと判定する（ステップＳ５０５）。

一方、ステップＳ５０８において、撮像時刻の差分ΔＴが閾値ｔｈ７よりも大きい場合（ステップＳ５０８：Ｎｏ）、又は、ステップＳ５０９において、局所類似度ｓ_localが閾値ｔｈ８よりも小さい場合（ステップＳ５０９：Ｎｏ）、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_k及びその次に抽出されたＩ_k’は同一の異常領域を含まないと判定する（ステップＳ５０６）。

ステップＳ５０７において、分類結果が散発的でない場合（ステップＳ５０７：Ｎｏ）、続いて、異常画像群抽出部５１０は、撮像時刻の差分ΔＴが所定の閾値ｔｈ９以下であるか否かを判定する（ステップＳ５１０）。ここで、異常領域が連続的に発生する異常領域でもなく、散発的に発生する異常領域でもない場合、閾値ｔｈ９は、ステップＳ５０３における閾値ｔｈ５と、ステップＳ５０８における閾値ｔｈ７との間の値に設定される。

撮像時刻の差分ΔＴが閾値ｔｈ９以下である場合（ステップＳ５１０：Ｙｅｓ）、続いて、異常画像群抽出部５１０は、異常画像Ｉ_k、Ｉ_k’間の大局類似度ｓ_globalが所定の閾値ｔｈ６以上であり、且つ、局所類似度ｓ_localが所定の閾値ｔｈ８以上であるか否かを判定する（ステップＳ５１１）。

大局類似度ｓ_globalが所定の閾値ｔｈ６以上であり、且つ、局所類似度ｓ_localが所定の閾値ｔｈ８以上である場合（ステップＳ５１１：Ｙｅｓ）、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_k及びその次に抽出されたＩ_k’は同一の異常領域を含むと判定する（ステップＳ５０５）。

一方、ステップＳ５１０において、撮像時刻の差分ΔＴが閾値ｔｈ９よりも大きい場合（ステップＳ５１０：Ｎｏ）、又は、ステップＳ５１１において、大局類似度ｓ_globalが閾値ｔｈ６よりも小さい、若しくは、局所類似度ｇ_localが閾値ｔｈ８よりも小さい場合（ステップＳ５１１：Ｎｏ）、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_k及びその次に抽出されたＩ_k’は同一の異常領域を含まないと判定する（ステップＳ５０６）。

全ての異常画像についてループＥの処理が終了すると、ステップＳ５１２において、異常画像群抽出部５１０は、同一の異常領域が写っていると判定した異常画像同士を同じ異常画像群として抽出する。その後、画像処理装置の動作はメインルーチンに戻る。
ステップＳ５５に続くステップＳ１４及びＳ１５は、実施の形態１と同様である（図２参照）。

以上説明したように、本発明の実施の形態５によれば、異常領域における被写体の種類に応じて、撮像時刻の差分ΔＴを判定する際の閾値を変化させると共に、異常画像間の類似の判定に用いる類似度（大局類似度ｓ_global、局所類似度ｓ_local）を切り替えるので、同一の異常領域を含む異常画像群の抽出精度を向上させることが可能となる。

なお、本実施の形態１において、連続異常判定部３１１及び散発異常判定部３３１が異常領域の判定を行う際にそれぞれ用いる判別基準を調整することにより、全ての異常領域を、連続的に発生する異常領域と散発的に発生する異常領域とのいずれかに分類することとしても良い。この場合、上記ステップＳ５１０、Ｓ５１１は省略される。

（変形例５−１）
次に、本発明の実施の形態５の変形例５−１について説明する。
図２１に示す演算部５００においては、異常分類部３４０の代わりに、図１３に示す連続異常判定部３１１のみを備える異常分類部３１０を設け、処理対象の異常領域を、連続的に発生する異常領域であるか否かの２つに分類することとしても良い（実施の形態３参照）。この場合、図２３に示すステップＳ５０２においては、処理対象の異常領域が連続的に発生する異常領域でない場合（ステップＳ５０２：Ｎｏ）、散発的に発生する異常領域とみなし、処理は直接ステップＳ５０８に移行する。また、この場合、ステップＳ５１０、Ｓ５１１は省略される。

（変形例５−２）
次に、本発明の実施の形態５の変形例５−２について説明する。
図２１に示す演算部５００においては、異常分類部３４０の代わりに、図１６に示す散発異常判定部３３１のみを備える異常分類部３３０を設け、処理対象の異常領域を、散発的に発生する異常領域であるか否かの２つに分類することとしても良い（変形例３−１参照）。この場合、図２３に示すステップＳ５０１の後、処理は直接ステップＳ５０７に移行する。そして、ステップＳ５０７において、処理対処の異常領域が散発的に発生する異常領域でない場合（ステップＳ５０７：Ｎｏ）、連続的に発生する異常領域とみなし、処理はステップＳ５０３に移行する。また、この場合、ステップＳ５１０、Ｓ５１１は省略される。

（変形例５−３）
次に、本発明の実施の形態５の変形例５−３について説明する。
図２２に示すステップＳ５５においては、位置情報、大局類似度、及び局所類似度を用いたトータルの判別パラメータに基づいて、同一の異常領域を含む異常画像群を抽出しても良い。

図２４は、変形例５−３において異常画像群抽出部５１０が実行する異常画像群の抽出処理を示すフローチャートである。異常画像群抽出部５１０は、ステップＳ１１において抽出された各異常画像について、ループＦの処理を実行する。

まず、ステップＳ５１１において、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_j（ｊは自然数）と、該異常画像Ｉ_jに対し、異常画像列において隣接する異常画像Ｉ_j+n（ｎは自然数）との間における位置の近接度を表すパラメータｓ_pos（ｓ_pos＝（Ｎ−ｎ）／Ｎ）を算出する。なお、ステップＳ５１において、位置情報として異常画像Ｉ_iの撮像時刻が取得された場合には、撮像時刻の差に基づいて位置の近接度を表すパラメータを算出しても良い。

続くステップＳ５１２において、異常画像群抽出部５１０は、処理対象の異常画像における異常領域の分類結果（ステップＳ５４参照）に基づいて、大局類似度ｓ_global、局所類似度ｓ_local、及び位置の近接度を表すパラメータｓ_posにそれぞれ与えられる重みｗ₅、ｗ₆、ｗ₇（ｗ₁＋ｗ₂＋ｗ₇＝１）を決定する。

重みｗ₅、ｗ₆、ｗ₇は、異常画像Ｉ_jにおける異常領域が連続的に発生する異常領域であれば、重みｗ₇が相対的に大きくなり、重みｗ₅、ｗ₆の間では、重みｗ₅が相対的に大きくなるように設定される。一方、当該異常領域が散発的に発生する異常領域であれば、重みｗ₇が相対的に小さくなり、重みｗ₅、ｗ₆の間では、重みｗ₆が相対的に大きくなるように設定される。

続くステップＳ５１３において、異常画像群抽出部５１０は、ステップＳ５１２において決定した重みｗ₅、ｗ₆、ｗ₇を用いて、大局類似度ｓ_globalと局所類似度ｓ_localと位置の近接度を表すパラメータｓ_posとを加味したトータルの判別パラメータｓ_total3を算出する。トータルの判別パラメータｓ_total3は、次式（６）によって与えられる。
ｓ_total3＝ｗ₅・ｓ_global＋ｗ₆・ｓ_local＋ｗ₇・ｓ_pos …（６）

続くステップＳ５１４において、異常画像群抽出部５１０は、トータルの判別パラメータｓ_total3が所定の閾値ｔｈ１０以上であるか否かを判定する。トータルの判別パラメータｓ_total3が閾値ｔｈ１０以上である場合（ステップＳ５１４：Ｙｅｓ）、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_j及びその次に抽出された異常画像Ｉ_j+nが同一の異常領域を含むと判定する（ステップＳ５１５）。一方、トータルの判別パラメータｓ_total3が閾値ｔｈ１０よりも小さい場合（ステップＳ５１４：Ｎｏ）、異常画像群抽出部５１０は、処理対象の異常画像Ｉ_j及びその次に抽出された異常画像Ｉ_j+nが同一の異常領域を含まないと判定する（ステップＳ５１６）。

全ての異常画像についてループＦの処理が終了すると、ステップＳ５１７において、異常画像群抽出部５１０は、同一の異常領域が写っていると判定した異常画像同士を同じ異常画像群として抽出する。その後、画像処理装置の動作はメインルーチンに戻る。

以上説明した実施の形態１〜５及びこれらの変形例においては、異なる異常画像間で大局類似度又は該大局類似度に基づく判別パラメータが所定の閾値以上の場合に、これらの異常画像が同一の異常領域を含むと判定する構成としたが、大局類似度又は判別パラメータの算出方法によっては、大局類似度又は判別パラメータが所定の閾値以下の場合に同一の異常領域を含むと判定する構成としても良い。

以上説明した実施の形態１〜５及びこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜５及びこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

なお、本発明は、実施の形態１〜５及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００、２５０、３００、４００、５００ 演算部
１１０ 検出部
１２０ 大局類似度算出部
１３０、２２０、３２０、４２０、５１０ 異常画像群抽出部
１４０、１４１ 代表画像抽出部
２１０ 位置情報取得部
３１０、３３０、３４０ 異常分類部
３１１ 連続異常判定部
３３１ 散発異常判定部
４１０ 局所類似度算出部

Claims (20)

1. 生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、
   異なる注目画像間において、少なくとも前記注目領域以外の領域を含む領域同士における類似度である大局類似度を算出する大局類似度算出手段と、
   前記大局類似度又は該大局類似度に基づく判別パラメータと閾値との比較に基づいて、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、
   前記注目画像群から代表画像を抽出する代表画像抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記大局類似度算出手段は、前記注目画像から背景領域を抽出し、前記異なる注目画像間において、前記背景領域同士の類似度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記大局類似度算出手段は、前記背景領域として、前記注目画像から前記注目領域を除く領域を抽出することを特徴とする請求項２に記載の画像処理装置。
4. 前記大局類似度算出手段は、前記背景領域として、前記注目画像から粘膜が写った領域を抽出することを特徴とする請求項２に記載の画像処理装置。
5. 前記異なる注目画像間において、前記注目領域同士の類似度である局所類似度を算出する局所類似度算出手段をさらに備え、
   前記注目画像群抽出手段は、前記大局類似度及び前記局所類似度に基づいて、前記同一の注目領域を含む注目画像群を抽出する、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記局所類似度算出手段は、前記注目領域同士の対応付けを行い、該対応付けの結果に基づいて前記局所類似度を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記注目領域を、該注目領域における被写体の種類に応じて分類する注目領域分類手段をさらに備え、
   前記判別パラメータは、前記大局類似度と前記局所類似度とを重み付け加算することにより与えられ、
   前記注目画像群抽出手段は、前記大局類似度と前記局所類似度とにそれぞれ与えられる重みを前記注目領域分類手段による分類結果に応じて変化させて、前記注目画像群を抽出することを特徴とする請求項５に記載の画像処理装置。
8. 前記注目画像群抽出手段は、前記判別パラメータが前記閾値以上である注目画像同士を、前記同一の注目領域を含む注目画像群として抽出することを特徴とする請求項７に記載の画像処理装置。
9. 前記注目領域分類手段は、前記注目領域が前記一連の画像群において散発的に発生する注目領域であるか否かを判定する散発性判定手段を備え、
   前記注目画像群抽出手段は、前記注目領域が前記散発的に発生する注目領域である場合、前記局所類似度に対する重みを前記大局類似度に対する重みよりも大きくする、
   ことを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記注目領域分類手段は、前記注目領域が前記一連の画像群において連続的に発生する注目領域であるか否かを判定する連続性判定手段を備え、
    前記注目画像群抽出手段は、前記注目領域が前記連続的に発生する注目領域である場合、前記大局類似度に対する重みを前記局所類似度に対する重みよりも大きくする、
    ことを特徴とする請求項７又は８に記載の画像処理装置。
11. 前記一連の画像群における前記注目画像の撮像順序に対応する時系列的な位置情報を取得する位置情報取得手段をさらに備え、
    前記注目画像群抽出手段は、前記大局類似度及び前記位置情報に基づいて、前記同一の注目領域を含む注目画像群を抽出する、
    ことを特徴とする請求項１に記載の画像処理装置。
12. 前記注目領域を分類する注目領域分類手段をさらに備え、
    前記判別パラメータは、前記大局類似度と、前記位置情報に基づく前記異なる注目画像間の近接度を表すパラメータとを重み付け加算することにより与えられ、
    前記注目画像群抽出手段は、前記大局類似度と前記近接度を表すパラメータとにそれぞれ与えられる重みを、前記注目領域分類手段による分類結果に応じて変化させて、前記抽出画像群を抽出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記近接度を表すパラメータは、値が大きいほど前記異なる注目画像間が近接していることを示し、
    前記注目画像群抽出手段は、前記判別パラメータが前記閾値以上である注目画像同士を、前記同一の注目領域を含む注目画像群として抽出することを特徴とする請求項１２に記載の画像処理装置。
14. 前記注目領域分類手段は、前記注目領域が前記一連の画像群において散発的に発生する注目領域であるか否かを判定する散発性判定手段を備え、
    前記注目画像群抽出手段は、前記注目領域が前記散発的に発生する注目領域である場合、前記大局類似度に対する重みを前記近接度を表すパラメータに対する重みよりも大きくする、
    ことを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記注目領域分類手段は、前記注目領域が前記一連の画像群において連続的に発生する注目領域であるか否かを判定する連続性判定手段を備え、
    前記注目画像群抽出手段は、前記注目領域が前記連続的に発生する注目領域である場合、前記近接度を表すパラメータに対する重みを前記大局類似度に対する重みよりも大きくする、
    ことを特徴とする請求項１２又は１３に記載の画像処理装置。
16. 前記散発性判定手段は、前記注目領域における被写体が、発赤と、出血点と、潰瘍とのいずれかである場合、前記注目領域が前記散発的に発生する注目領域であると判定することを特徴とする請求項９又は１４に記載の画像処理装置。
17. 前記連続性判定手段は、前記注目領域における被写体が、浮遊する出血と、血管異常とのいずれかである場合、前記注目領域が前記連続的に発生する注目領域であると判定することを特徴とする請求項１０又は１５に記載の画像処理装置。
18. 前記注目画像群抽出手段は、前記大局類似度が前記閾値以上である注目画像同士を、前記同一の注目領域を含む注目画像群として抽出することを特徴とする請求項１に記載の画像処理装置。
19. 生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、
    前記一連の画像群から、注目領域を含む注目画像を検出する検出ステップと、
    異なる注目画像間において、少なくとも前記注目領域以外の領域を含む領域同士における類似度である大局類似度を算出する大局類似度算出ステップと、
    前記大局類似度又は該大局類似度に基づく判別パラメータと閾値との比較に基づいて、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
    前記注目画像群から代表画像を抽出する代表画像抽出ステップと、
    を含むことを特徴とする画像処理方法。
20. 生体の管腔内を順次撮像することにより取得された一連の画像群から、注目領域を含む注目画像を検出する検出ステップと、
    異なる注目画像間において、少なくとも前記注目領域以外の領域を含む領域同士における類似度である大局類似度を算出する大局類似度算出ステップと、
    前記大局類似度又は該大局類似度に基づく判別パラメータと閾値との比較に基づいて、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
    前記注目画像群から代表画像を抽出する代表画像抽出ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
    

Images