JP5973771B2 - 画像処理装置、プログラム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、プログラム及び画像処理方法等に関する。

所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。

そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。

特開２００９−５０２０号公報 特開２０１１−２４７６３号公報

例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。

しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。

本発明の幾つかの態様によれば、一部の画像を削除することで画像要約処理を行った場合に、画像の削除により観察が困難となる領域の発生を抑止する画像処理装置、プログラム及び画像処理方法等を提供することができる。

本発明の一態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像から、前記画像要約処理の基準画像と判定対象画像を選択し、前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行う画像処理装置に関係する。

本発明の一態様では、判定対象画像上に観察領域を設定するとともに、変形情報に基づいて基準画像上に観察領域に対応する対応領域を設定し、観察領域と対応領域の特徴量の少なくとも一方に基づいて、判定対象画像の削除可否判定を行う。よって、対応領域が観察に適さない場合には、観察領域を含む判定対象画像を要約画像列に含める等の処理により、観察に適さない領域の発生を抑止すること等が可能になる。

また、本発明の一態様では、前記第１の特徴量は、前記対応領域の明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つであり、前記第２の特徴量は、前記観察領域の前記明度情報、前記サイズ情報、及び前記特定の形状との前記類似度情報の少なくとも１つであってもよい。

これにより、特徴量として、明度情報、サイズ情報、及び特定の形状との類似度の少なくとも１つを用いて、判定対象画像の削除可否判定を行うことが可能になる。

また、本発明の一態様では、前記処理部は、前記第１の特徴量と第１の閾値との第１の比較処理、前記第２の特徴量と第２の閾値との第２の比較処理、及び前記第１の特徴量と前記第２の特徴量の相違度と第３の閾値との第３の比較処理のうち、少なくとも１つの比較処理に基づいて前記判定対象画像の削除可否の判定を行ってもよい。

これにより、第１の特徴量による処理、第２の特徴量による処理、及び第１の特徴量と第２の特徴量の両方を用いた処理の少なくとも一方の処理に基づく削除可否判定が可能になる。その際、所与の閾値との比較処理により実現できるため、処理は容易である。

また、本発明の一態様では、前記処理部は、前記対応領域の画素の画素値に基づいて、前記対応領域の明度情報を前記第１の特徴量として求めるとともに、前記観察領域の前記画素の前記画素値に基づいて、前記観察領域の前記明度情報を前記第２の特徴量として求めてもよい。

これにより、領域に含まれる画素の画素値に基づいて明度情報を求め、求めた明度情報を用いた削除可否判定処理等が可能になる。

また、本発明の一態様では、前記処理部は、前記明度情報である前記第１の特徴量が所与の上限閾値よりも大きい場合、又は前記第１の特徴量が所与の下限閾値よりも小さい場合に、前記判定対象画像を削除不可と判定してもよい。

これにより、白飛びや黒つぶれ等の、明るさが極端であることに起因する不適切な観察状況を検出して、検出結果に応じた削除可否判定処理を行うこと等が可能になる。

また、本発明の一態様では、前記処理部は、前記対応領域のサイズ情報により表される値を前記第１の特徴量として求めるとともに、前記観察領域の前記サイズ情報により表される値を前記第２の特徴量として求めてもよい。

これにより、対応領域のサイズが極端に小さい場合等の、サイズに起因する不適切な観察状況を検出して、検出結果に応じた削除可否判定処理を行うこと等が可能になる。

また、本発明の一態様では、前記処理部は、前記対応領域と所与の形状との類似度を表す値を前記第１の特徴量として求めるとともに、前記観察領域と前記所与の形状との前記類似度を表す値を前記第２の特徴量として求めてもよい。

これにより、対応領域がつぶれたり歪んだりしている場合等の、形状に起因する不適切な観察状況を検出して、検出結果に応じた削除可否判定処理を行うこと等が可能になる。

また、本発明の一態様では、前記処理部は、前記第１の特徴量と前記第２の特徴量の相違度が、所与の閾値よりも大きい場合に、前記判定対象画像を削除不可と判定してもよい。

これにより、対応領域が観察に適しているか否かを、観察領域との相対的な関係に基づいて判定すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記画像列取得部が取得した前記画像列の前記複数の画像のうち、前記要約画像列に残される要約画像からなる要約候補画像列を設定するとともに、前記画像列の前記複数の画像のうち、前記要約候補画像列に含まれない削除候補画像からなる削除候補画像列を設定し、前記処理部は、前記要約候補画像列から前記基準画像を選択し、前記削除候補画像列から前記判定対象画像を選択し、前記判定対象画像上に前記観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である前記対応領域を求め、前記対応領域から求められた前記第１の特徴量と、前記観察領域から求められた前記第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行ってもよい。

これにより、前処理として要約候補画像列と削除候補画像列を設定しておき、設定結果に基づいて第１，第２の特徴量を用いた削除可否判定処理を行うこと等が可能になる。よって、異なる観点からの削除可否判定処理を行えるため、削除可否判定処理の精度向上等が可能になる。

また、本発明の一態様では、前記処理部は、前記第１の特徴量及び前記第２の特徴量の少なくとも一方に基づいて行われる第１の削除可否判定処理と、前記第１の削除可否判定処理とは異なる第２の削除可否判定処理とに基づいて、前記画像要約処理を行うものであり、前記処理部は、前記画像列取得部が取得した前記画像列に対して前記第２の削除可否判定処理を行い、前記複数の画像のうち、削除不可と判定された前記画像を前記要約画像とするとともに、削除可能と判定された前記画像を前記削除候補画像としてもよい。

これにより、前処理である第２の削除可否判定処理として、所与の削除可否判定処理を行うことが可能になる。よって、要約候補画像列及び削除候補画像列を適切に設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記画像列取得部が取得した前記画像列の前記複数の画像から、第１の画像と第２の画像を選択し、前記第１の画像と前記第２の画像の間の前記変形情報に基づいて、前記第１の画像による前記第２の画像の被覆率を算出し、前記被覆率に基づいて、前記第２の画像の削除可否の判定を行う処理を、前記第２の削除可否判定処理として実行してもよい。

これにより、被覆率に基づいて第２の削除可否判定処理を行うことができる。第２の画像を削除した場合に観察できなくなる領域の発生を抑止する手法となるため、要約候補画像列及び削除候補画像列を適切に設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記画像列取得部が取得した前記画像列の前記複数の画像から、第１の画像と第２の画像を選択し、前記第１の画像と前記第２の画像の間の前記変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記第２の画像の削除可否の判定を行う処理を、前記第２の削除可否判定処理として実行してもよい。

これにより、構造要素に基づいて第２の削除可否判定処理を行うことができる。第２の画像を削除したとしても、当該第２の画像上の注目領域を見逃す可能性を抑止する手法となるため、要約候補画像列及び削除候補画像列を適切に設定すること等が可能になる。

また、本発明の一態様では、前記変形情報を用いた処理は、前記第１の画像及び前記第２の画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、前記構造要素を用いた処理は、前記構造要素による収縮処理、又は前記第１の画像により前記第２の画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であってもよい。

これにより、変形情報を用いた処理として第１の画像又は第２の画像の少なくとも一部の領域の変形処理が可能になり、また、構造要素を用いた処理として、収縮処理や、非被覆領域に構造要素が含まれるか否かを判定する処理が可能になる。

また、本発明の一態様では、前記処理部は、前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間の前記画像について、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めてもよい。

これにより、第１の画像と第２の画像の間の変形情報を、隣り合う画像間の変形情報に基づいて算出することが可能になる。

本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。

本発明の他の態様は、複数の画像を有する画像列を取得し、前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。

第１の実施形態の画像処理装置の構成例。 第１の実施形態の画像要約処理を説明するフローチャート。 観察領域と対応領域の設定手法を説明する図。 図４（Ａ）〜図４（Ｄ）は基準画像及び判定対象画像の選択処理を説明する図。 特徴量として明度情報を用いる例。 特徴量としてサイズ情報を用いる例。 特徴量として所与の形状との類似度を用いる例。 第２の実施形態の画像処理装置の構成例。 第２の実施形態の画像要約処理を説明するフローチャート。 要約候補画像列生成処理を説明する図。 要約候補画像列生成部の構成例。 変形情報に基づく被覆領域の算出例。 被覆率を求める手法の他の例。 要約候補画像列生成処理を説明するフローチャート。 複数の第１の画像に基づいて被覆領域を求める処理を説明する図。 図１６（Ａ）、図１６（Ｂ）は第１の画像及び第２の画像の選択処理の変形例を説明する図。 図１７（Ａ）〜図１７（Ｃ）は非被覆領域の形状と注目領域の見逃し可能性の関係を説明する図。 要約候補画像列生成部の他の構成例。 要約候補画像列生成処理を説明する他のフローチャート。 図２０（Ａ）〜図２０（Ｅ）は非被覆領域に対する構造要素による収縮処理を説明する図。 画像処理装置の基本的なシステム構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。

従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。

このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域である注目領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。

これに対して、画像列から基準画像（残す画像、基準画像の設定手法によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）を選択し、基準画像による判定対象画像の被覆率に基づいた画像要約処理を行う手法が有効である。具体的には図１２に示したように、基準画像（図１２では第１の画像）を変形することで判定対象画像（図１２では第２の画像）上に被覆領域を算出する。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。

よって、判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。

しかし被覆率による削除可否判定だけでは、削除される画像に撮像された被写体領域が、残される画像に撮像されていたとしても、残される画像上での当該被写体領域の観察のしやすさを考慮することができない。例えば、図６に示したように、判定対象画像上の所与の領域に撮像されていた被写体が、基準画像上では非常に狭い領域に撮像されていた場合を考える。図６の例では、被覆率という観点で考えれば、当該被写体は基準画像上に撮像されているため、判定対象画像を削除しても当該被写体を見逃すことはないという判定がされてしまい、判定対象画像は削除可能ということになる。しかし、図６から明らかなように、基準画像上では被写体のサイズが非常に小さくなってしまっているため、基準画像の画素数（解像度）にもよるが基本的には観察に適しているとは言えない。被写体のサイズが小さければ当該被写体自体を見逃す危険性が考えられるし、見逃しがなかったとしても、被写体の詳細な観察が必要な場合（例えば被写体が病変部であれば、当該被写体が真に病変部であるか否か、或いは病変部である場合に進行具合はどの程度かという診断を行う場合等）に、十分な観察ができないためである。

そこで本出願人は、基準画像と判定対象画像を選択し、判定対象画像上の観察領域の特徴量と、観察領域に対応する基準画像上の領域である対応領域の特徴量とに基づいて、判定対象画像の削除可否判定を行う手法を提案する。この際、基準画像と判定対象画像の間の変形情報に基づいて、観察領域を変形することで対応領域を求めるものとする。つまり、観察領域で撮像された被写体領域と、対応領域で撮像された被写体領域は対応する（狭義には一致する）ことになる。

よって例えば、特徴量としてその領域のサイズ情報（面積等）を用いれば、図６に示したように観察領域に対して対応領域のサイズが小さくなってしまっているということを検出できるため、上述の課題に対処可能となる。具体的には、基準画像上では被写体が狭い範囲（対応領域に対応する範囲）につぶれてしまい観察に適さないことから、判定対象画像を削除不可と判定して要約画像列に残して、上記被写体は判定対象画像上の広い範囲（観察領域に対応する範囲）に撮像されている状態で観察するようにすればよい。

ここでの画像処理装置の１つの実施形態としては、図２１に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の画像を有する画像列を取得する。そして処理部１００は、画像列取得部２００が取得した画像列の有する複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う。具体的には、処理部１００は、複数の画像から、画像要約処理の基準画像と判定対象画像を選択し、判定対象画像上に観察領域を設定するとともに、基準画像と判定対象画像の間の変形情報に基づいて、観察領域に対応する基準画像上の領域である対応領域を求め、対応領域から求められた第１の特徴量と、観察領域から求められた第２の特徴量の少なくとも一方に基づいて、判定対象画像の削除可否の判定を行う。

以下、詳細な実施形態について説明する。まず、第１の実施形態で観察領域と対応領域の特徴量に基づく削除可否判定を行う画像要約処理の基本的な手法について説明する。また、観察領域と対応領域の特徴量に基づく削除可否判定を第１の削除可否判定処理とした場合に、当該第１の削除可否判定処理と、それとは異なる第２の削除可否判定処理を組み合わせることで画像要約処理を行ってもよい。具体的な手法を第２の実施形態で説明する。

２．第１の実施形態
本実施形態の基本的な手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明した後、削除可否判定処理の詳細について３つの例を挙げて説明する。

２．１ システム構成例
図１に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。

処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

画像列取得部２００は、画像要約処理の対象となる画像列を取得する。記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

また、処理部１００は、図１に示したように基準画像選択部１００２と、判定対象画像選択部１００３と、変形情報取得部１００４と、観察領域設定部１００５と、対応領域設定部１００６と、画像特徴量算出部１００７と、削除可否判定部１００８と、部分画像列設定部１００９と、を含んでもよい。なお処理部１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。

基準画像選択部１００２は、画像列の複数の画像から基準画像を選択する。判定対象画像選択部１００３は、画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。

変形情報取得部１００４は、２つの画像間の変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状（範囲）として撮像されているかを表すものであり、例えば特許文献２に開示されている変形パラメータ等であってもよい。変形情報取得部１００４は、基準画像選択部１００２で選択された基準画像と、判定対象画像選択部１００３で選択された判定対象画像の間の変形情報を取得する。

観察領域設定部１００５は、判定対象画像の一部の領域を観察領域として設定する。観察領域としては、例えば一辺の長さがＬの正方形領域を用いればよい。対応領域設定部１００６は、変形情報取得部１００４で取得された変形情報に基づいて、観察領域を変形し、基準画像上の対応領域を求める。

画像特徴量算出部１００７は、観察領域設定部１００５で設定された観察領域の特徴量、及び対応領域設定部１００６で設定された対応領域の特徴量を算出する。特徴量の具体例については後述する。

削除可否判定部１００８は、画像特徴量算出部１００７で算出された観察領域の特徴量（第２の特徴量）と、対応領域の特徴量（第１の特徴量）とに基づいて、判定対象画像の削除可否判定を行う。詳細は後述する。

部分画像列設定部１００９は、削除可否判定部１００８で判定対象画像が削除できないと判定された場合に、その時点での判定対象画像の画像列中での位置に基づいて、画像列の一部であって、１枚以上の画像からなる画像列を部分画像列として設定する。

２．２ 処理の流れ
次に、図２のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず画像要約処理の対象となる画像列が取得される（Ｓ１０１）。画像列は画像列取得部２００で取得されるものであり、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。

基準画像選択部１００２は入力画像列（最初の処理においてはＳ１０１で取得された画像列であり、その後は後述するＳ１０９で設定される部分画像列）の先頭の画像を基準画像として選択する（Ｓ１０２）。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等の理由により入力画像列から基準画像を選択できない場合（例えば画像列に画像が存在しない場合等）には、処理を終了する。

そして、判定対象画像選択部１００３は、入力画像列に含まれる画像から判定対象画像を選択する（Ｓ１０３）。判定対象画像が未設定の場合には、基準画像の次の画像（入力画像列の２番目の画像）を判定対象画像として選択する。また、すでに入力画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１つずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。判定対象画像が選択できなくなった場合（入力画像列に含まれる画像の枚数が２或いはｋ＋１よりも少なかった場合等）には、処理を終了する。

基準画像と判定対象画像が選択されたら、変形情報取得部１００４は、基準画像と判定対象画像の間の変形情報を取得する（Ｓ１０４）。そして、判定対象画像上に観察領域を設定する（Ｓ１０５）。Ｓ１０３での判定対象画像設定後、初めてＳ１０５の処理が行われる場合には、例えば判定対象画像の左上の領域を観察領域とすればよい。

観察領域が設定された場合には、設定された観察領域をＳ１０４で取得した変形情報に基づいて変形して、基準画像上に射影することで対応領域を求める（Ｓ１０６）。ここで変形情報は、特許文献２に記載された手法により推定される非剛体変形パラメータ等であってもよく、基準画像において撮像された被写体が、判定対象画像上でどのように変形されているか（或いはその逆）を表すものである。言い換えれば、観察領域において撮像された被写体と、基準画像上の対応領域において撮像された被写体は、対応する（狭義には同一の）ものとなっている。

そして、観察領域の特徴量である第２の特徴量と、対応領域の特徴量である第１の特徴量を求め（Ｓ１０７）、求めた第１，第２の特徴量に基づいて、判定対象画像の削除可否判定を行う（Ｓ１０８）。Ｓ１０７，Ｓ１０８での処理の詳細は後述する。

Ｓ１０８で判定対象画像が削除可能と判定された場合には、Ｓ１０５に戻り観察領域を再設定する。具体的には、観察領域の設定位置を更新する処理を行えばよく、一例としては図３に示したように観察領域の判定対象画像上の位置を左上から右下方向へ移動させていけばよい。観察領域が設定された場合には、Ｓ１０６〜Ｓ１０８の処理を再度実行する。

Ｓ１０５において、観察領域が右下端に到達した場合には、判定対象画像に設定された全ての観察領域において、Ｓ１０８の削除可否判定の結果が削除可能となったということであるため、当該判定対象画像は削除可能であるという結果を確定させ、Ｓ１０３に戻り判定対象画像の更新処理を行う。

一方、観察領域を更新していく中で、一回でもＳ１０８で判定対象画像が削除不可と判定された場合には、当該判定対象画像は削除不可であるという結果を確定させ、部分画像列設定部１００９は部分画像列を設定する（Ｓ１０９）。具体的には、削除不可と判定された判定対象画像及び、それ以降の画像から構成される画像列を部分画像列として設定すればよい。部分画像列が設定されたら、Ｓ１０２に戻り、当該部分画像列を入力画像列として上述の処理を実行する。

以上の画像要約処理を図示したものが図４（Ａ）〜図４（Ｄ）である。図４（Ａ）に示したように、Ｎ枚の画像を有する画像列が画像列取得部２００で取得された場合には、まず１番目の画像が基準画像として選択され、２番目の画像が判定対象画像として選択される。そして、第１，第２の特徴量に基づいて判定対象画像の削除可否が判定される。

判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図４（Ｂ）に示したように３番目の画像が判定対象画像として選択される。そして、基準画像と新たな判定対象画像の間で判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。

図４（Ｃ）に示したように、２番目〜ｋ−１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目〜ｋ−１番目までの画像とは基準画像によりある程度（観察に適さない領域の発生が抑止できる程度）にカバーされているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は基準画像では十分カバーできないため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像とそれ以降の画像（ｋ〜Ｎ番目の画像）を部分画像列として設定する。

そして、この部分画像列に対して再度図４（Ａ）〜図４（Ｃ）の処理を繰り返せばよい。具体的には図４（Ｄ）に示したように、Ｎ−ｋ＋１枚の画像からなる部分画像列を入力画像列とし、先頭（図４（Ｃ）等ではｋ番目）の画像を基準画像、２番目（図４（Ｃ）等ではｋ＋１番目）の画像を判定対象画像として処理を行う。以降の処理は同様であり、判定対象画像が削除可能と判定されたら、次の画像を新たな判定対象画像として選択する。また、判定対象画像が削除不可と判定されたら、基準画像を要約画像列に残し、削除可能と判定された画像を削除し、その時点での判定対象画像以降の画像を新たな部分画像列に設定する。最終的には、入力画像列の最後の画像まで全て削除可能と判定された場合、或いは入力画像列に含まれる画像が１枚のみであり判定対象画像が設定できなかった場合等に処理が終了することになる。

なお、図２のフローチャートでは、Ｓ１０８で１回でも削除不可と判定された場合には、判定対象画像は削除不可となるものとして説明したが、これに限定されるものではない。例えば、判定対象画像上に最大Ｍ回（Ｍは２以上の整数）観察領域が設定される場合に、１≦ｔ≦Ｍを満たす整数ｔを設定し、Ｓ１０８でｔ回以上削除不可と判定された場合に、判定対象画像を削除不可としてもよい。また、最大Ｍ回行われるＳ１０８での削除可否判定の結果から、最終的な結果を決定する際に、他の手法を用いてもよく、例えば画像周縁部に設定された観察領域（或いは対応領域）での結果よりも、画像中央部に設定された観察領域（或いは対応領域）での結果を重視する重み付け処理を行う等、種々の変形実施が可能である。

２．３ 削除可否判定
次に図２のＳ１０７での特徴量算出処理、及びＳ１０８での削除可否判定処理の詳細について説明する。なお、ここでは観察領域及び対応領域は設定済みであるものとして説明する。

２．３．１ 明度情報に基づく削除可否判定
まず、特徴量として観察領域及び対応領域の明度情報を用いる手法について説明する。領域の明度情報を表す指標値は種々考えられるが、例えば、領域内の画素のＲＧＢ値を明度値に変換し、当該明度値の領域内での平均値を特徴量とすればよい。なお、各画素の明度値から領域の明度情報を求める手法は平均値の算出に限定されるものではなく、中央値等を用いてもよい。また、平均値の算出も単純平均に限定されるものではなく、加重平均を用いてもよいし、極端な値を除外するトリム平均を用いてもよい。

各画素のＲＧＢ値を明度値に変換する手法も種々考えられるが、ここでは、Ｒの画素値、Ｇの画素値、Ｂの画素値のうち、最大のものをそのまま明度値として用いるものとする。ただし、他の手法により明度値を求めることを妨げるものではない。

次に、対応領域の明度情報である第１の特徴量、及び観察領域の明度情報である第２の特徴量に基づく削除可否判定処理について説明する。ここでは、２つの条件に基づいて判定対象画像の削除可否を判定する。

第１の条件は、上限閾値Ｋ＿ｏｖｅｒ及び下限閾値Ｋ＿ｕｎｄｅｒにより決定される条件である。具体的には、第１の特徴量とＫ＿ｏｖｅｒ、Ｋ＿ｕｎｄｅｒとの比較処理を行う。さらに具体的には、第１の特徴量が下式（１）を満たす場合には、判定対象画像を削除可能と判定し、そうでない場合には削除不可と判定する。
K_under≦第１の特徴量≦K_over ・・・・・（１）

ここで、Ｋ＿ｕｎｄｅｒは、明度情報がその値より小さい場合には、領域が暗すぎることにより観察が困難となるような値を設定すればよく、第１の特徴量がＫ＿ｕｎｄｅｒよりも小さい場合とは、典型的には対応領域が黒つぶれしており観察に適さない状況を表す。

一方、Ｋ＿ｏｖｅｒは、明度情報がその値より大きい場合には、領域が明るすぎることにより観察が困難となるような値を設定すればよく、第１の特徴量がＫ＿ｏｖｅｒよりも大きい場合とは、典型的には対応領域が白飛びしており観察に適さない状況を表す。

上式（１）に基づく判定を行うことで、対応領域が白飛びや黒つぶれしている（或いはそれに近い状態になっている）ことを検出できるため、対応領域に撮像されている被写体は観察が困難であることがわかる。その場合、対応領域と観察領域は変形情報に基づいて設定されている以上、撮像された被写体領域に対応関係を有するため、判定対象画像を要約画像列に残して判定対象画像上の観察領域を参照することで、適切な観察が可能となる。

なお、判定対象画像を要約画像列に残したとしても、判定対象画像上に観察領域が白飛びや黒つぶれしているのでは問題としている被写体が観察できないことに変わりがなく、判定対象画像を残す利点は少ない。よって、上式（１）の判定だけでなく、下式（２）についても判定を行い、上式（１）が満たされず、且つ下式（２）が満たされる場合に、判定対象画像を削除不可と判定し、それ以外では削除可能と判定する手法を用いてもよい。
K_under≦第２の特徴量≦K_over ・・・・・（２）

また、第２の条件は、第１の特徴量と第２の特徴量の差分値（狭義にはその絶対値）に対して、所与の閾値Ｋ＿ｌｉｇｈｔにより決定される条件である。具体的には、下式（３）が成り立つ場合に、判定対象画像が削除不可と判定する。
｜第１の特徴量−第２の特徴量｜＞K_light ・・・・・（３）

第１の特徴量と第２の特徴量の差分値の絶対値が大きい場合とは、図５に示したように、対応領域の明るさと観察領域の明るさが大きく異なる状況である。被写体を観察するに当たって好ましい明るさとは、被写体の種類等によって異なってくることが想定され、明るい画像の方が観察しやすいケースもあれば、暗い画像の方が観察しやすいケースもあり得る。閾値Ｋ＿ｌｉｇｈｔの設定にもよるが、上式（３）が成り立つ状況とは、第１，第２の特徴量の一方が大きく、他方が小さい場合が想定され、これは対応領域と観察領域の一方が明るく、一方が暗いという極端な状況に対応する。つまり、対応領域の明るさは汎用的に用いることができると想定される中間的な値ではないため、状況によっては対応領域の被写体は観察が困難な可能性がある。よって、明るさの大きく異なる観察領域を含む判定対象画像を要約画像列に残すことで、適切な観察を行える可能性を向上させる。

なお、上式（３）が成り立つ場合でも、対応領域が観察に適しており、観察領域の方が観察に適していないという場合も考えられる。しかし、上述したようにどのような明るさが観察に適するかは状況に依存するため、事前の設定が難しい以上、本実施形態では上式（３）が成り立つのであれば、判定対象画像を要約画像列に残す処理を行うものとする。つまり、本実施形態の手法は、状況によっては不要な判定対象画像を要約画像列に残す可能性があることを許容するものである。

２．３．２ サイズ情報に基づく削除可否判定
次に、特徴量として観察領域及び対応領域のサイズ情報を用いる手法について説明する。サイズ情報とは、領域の面積に対応するものであり、例えば領域に含まれる画素の数をカウントすることで求めればよい。ただし、サイズ情報の算出手法はこれに限定されず他の手法により求めてもよい。

サイズ情報を特徴量とした場合に問題としているのは、図６に示したように対応領域のサイズが極端に小さくなり被写体がつぶれてしまう状況である。よってここでは、対応領域のサイズ情報である第１の特徴量の値が小さい場合に、判定対象画像を要約画像列に残し、対応領域でつぶれてしまった被写体は判定対象画像の観察領域で観察できるようにする。なお、対応領域のサイズのみ（つまり第１の特徴量のみ）から削除可否判定を行うことを妨げるものではないが、ここでは対応領域のサイズに対する観察領域のサイズの比等の相対的なサイズを用いて判定を行うものとする。例えば下式（４）を満たす場合に、対応領域のサイズが観察に適さない程度に小さくなったものとして、判定対象画像を削除不可と判定する。
（第２の特徴量／第１の特徴量）＞K_area ・・・・・（４）

なお、判定に用いる式は上式（４）に限定されず、第１の特徴量と第２の特徴量の相違度に基づくものであればよい。例えば、第２の特徴量の対数と、第１の特徴量の対数との差分値を求め、求めた差分値と所与の閾値との比較処理を行ってもよい。また、単純に第２の特徴量と第１の特徴量の差分値を求め、求めた差分値と所与の閾値との比較処理を行ってもよい。

２．３．３ 所与の形状との類似度に基づく削除可否判定
次に、特徴量として観察領域及び対応領域の所与の形状との類似度を用いる手法について説明する。所与の形状との類似度とは、領域が所与の形状にどの程度類似しているかを表すものであり、例えば所与の形状が円であれば、下式（５）により求められる円形度を特徴量とすればよい。ただし、所与の形状は円に限定されるものではなく、類似度の算出手法も下式（５）に限定されるものではない。

所与の形状との類似度を特徴量とした場合に問題としているのは、図７に示したように対応領域が極端な形状をとることで、被写体がつぶれてしまう状況である。例えば図７では、対応領域が長辺に対して短辺が極端に短い長方形をとることにより、短辺方向において被写体が圧縮され観察が困難となっている。よってここでは、所与の形状として観察に適した単純な形状（例えば円形状や正方形等）を設定した上で、対応領域の所与の形状との類似度である第１の特徴量の値が小さい場合に、判定対象画像を要約画像列に残し、対応領域でつぶれてしまった被写体は判定対象画像の観察領域で観察できるようにする。なお、対応領域の類似度のみ（つまり第１の特徴量のみ）から削除可否判定を行うことを妨げるものではないが、ここでは対応領域の類似度に対する観察領域の類似度の比等の相対的な情報を用いて判定を行うものとする。例えば下式（６）を満たす場合に、対応領域の形状が観察に適さない程度に極端になったものとして、判定対象画像を削除不可と判定する。
（第２の特徴量／第１の特徴量）＞K_shape ・・・・・（６）

なお、判定に用いる式が上式（６）に限定されない点はサイズ情報を用いた例と同様である。例えば、第２の特徴量の対数と、第１の特徴量の対数との差分値を求め、求めた差分値と所与の閾値との比較処理を行ってもよい。また、単純に第２の特徴量と第１の特徴量の差分値を求め、求めた差分値と所与の閾値との比較処理を行ってもよい。

２．３．４ 複数の特徴量による判定の組み合わせ
また、上述した明度情報を用いた削除可否判定、サイズ情報を用いた削除可否判定、及び所与の形状との類似度を用いた削除可否判定のうち、２つ以上を組み合わせて用いてもよい。

この際の組み合わせ方には種々の手法が考えられるが、観察に適さない領域の発生抑止に重点を置くのであれば、判定対象画像が削除不可であると判定される可能性を高めることになる。よって、複数種類の特徴量を用いる場合には、各特徴量において削除可否判定を行い、全ての削除可否判定において削除可能と判定された場合に、判定対象画像を削除する。一方、複数の削除可否判定のうち、少なくとも１つの判定において削除不可とされた場合には、判定対象画像を削除しないものとする。このようにすることで、少なくとも１つの特徴量から、対応領域が観察に適さないと判定されたことを持って判定対象画像を残すことになり、対象としている被写体を適切に観察できる可能性を高めることが可能になる。

ただし、判定対象画像が削除不可と判定されやすくすることで、画像要約処理後の要約画像列に残される画像の枚数が増加することになり、画像枚数の削減効果が減少する可能性もある。よって、画像枚数の削減を重視するのであれば、上記手法に比べて判定対象画像が削除可能と判定される可能性が高い手法を用いてもよい。

例えば、上記手法と同様に、複数の削除可否判定のうち、少なくとも１つの判定において削除不可とされた場合には、判定対象画像を削除しないものとする場合であっても、各特徴量での削除可否判定での判定条件を変更することが考えられる。例えば、サイズ情報と所与の形状との類似度を併用する場合には、それぞれを単体で用いる場合に比べて、Ｋ＿ａｒｅａの値、及びＫ＿ｓｈａｐｅの値を大きくすればよい。このようにすれば、各削除可否判定では削除可能と判定されやすくなるため、サイズと類似度という異なる２つの観点による判定を可能にしつつ、画像要約処理後の要約画像列に含まれる画像枚数が過剰に増えることを抑止することができる。

以上の本実施形態では、画像処理装置は図１に示したように、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００を含む。処理部１００は、複数の画像から、画像要約処理の基準画像と判定対象画像を選択し、判定対象画像上に観察領域を設定するとともに、基準画像と判定対象画像の間の変形情報に基づいて、観察領域に対応する基準画像上の領域である対応領域を求める。そして、対応領域から求められた第１の特徴量と、観察領域から求められた第２の特徴量の少なくとも一方に基づいて、判定対象画像の削除可否の判定を行う。

ここで、観察領域とは、判定対象画像上に設定される領域であり、狭義には判定対象画像よりも狭い領域である。判定対象画像に撮像された被写体の全体が、基準画像において観察に適する状態であるか否かを判定するのであれば、一組の基準画像及び判定対象画像が選択された際には、観察領域は判定対象画像上での位置を変えながら、判定対象画像全体を網羅するように複数回設定される必要がある。例えば、判定対象画像に含まれる全ての画素は、少なくとも一回観察領域に含まれることになり、これは図３に示したように左上から右下方向へ１画素単位でずらしながら観察領域を設定することで実現される。ただし、観察領域の設定回数が多くなれば処理負荷も重くなるため、観察領域の一辺の長さ単位で観察領域を移動させて設定すること等で、計算量を削減してもよい。

なお、特徴量としてサイズ情報を用いる場合には、観察領域は適切な観察をするに当たって必要十分な領域を設定してもよい。このようにすれば、第２の特徴量が適切な基準値を表すことになるため、当該第２の特徴量と第１の特徴量の比較処理等により、対応領域が観察に適したサイズか否かを判定できる。同様に、特徴量が所与の形状（ここでは円や正方形等の観察に適した形状）との類似度であれば、観察領域は当該所与の形状に近い形状（狭義には同一の形状）を用いてもよい。また、観察領域は一連の処理において一定のサイズ、形状の領域を用いることが想定されるが、観察領域を可変に設定することを妨げるものではない。

これにより、判定対象画像上の観察領域の特徴量と、基準画像上の対応領域の特徴量とに基づいて、判定対象画像の削除可否判定を行うことが可能になる。対応領域が、観察領域を変形情報により変形して求めた領域としておけば、観察領域と対応領域に撮像される被写体は対応関係を持つ。よって、特徴量により対応領域が観察に適していないと判定された場合には、対応する（狭義には同一の）被写体を撮像している観察領域を画像要約処理後にも閲覧可能な状態にしておけばよく、それは判定対象画像を要約画像列に含める（判定対象画像を削除不可と判定する）処理により実現できる。

また、上記の第１の特徴量は、対応領域の明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つであってもよい。また、上記の第２の特徴量は、観察領域の明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つであってもよい。

ここで、所与の領域と、特定の形状との類似度とは、当該所与の領域がどの程度特定の形状に近いかを表す指標値である。例えば、特定の形状として円を考えた場合、正ｋ角形（ｋは３以上の整数）の領域は、ｋが小さいほど類似度が小さく、ｋが大きいほど類似度が大きくなる。また、特定の形状が円のように対称性を持つのであれば、対称性を持たない領域に比べて、対称性を持つ領域の方が類似度が大きくなる傾向にある。

これにより、明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つを特徴量として用いることが可能になる。つまり、本実施形態の画像処理装置では、明るさ、サイズ、形状のいずれかに起因して、対応領域での被写体が観察に適しているか否かを判定し、適していない場合には、判定対象画像を要約画像列に残すことになる。具体的には、明るさが明るすぎる場合（白飛び）、暗すぎる場合（黒つぶれ）、サイズが極端に小さい場合、形状が極端な場合（つぶれたりゆがんだりしている場合）等が観察に適さない状態として考えられる。

また、処理部１００は、第１の特徴量と第１の閾値との第１の比較処理、第２の特徴量と第２の閾値との第２の比較処理、及び第１の特徴量と第２の特徴量の相違度と第３の閾値との第３の比較処理のうち、少なくとも１つの比較処理に基づいて判定対象画像の削除可否の判定を行ってもよい。

ここで、相違度とは、第１の特徴量と第２の特徴量との違いの程度を表すものであり、差分や比、或いはそれらに相当する値（例えばそれぞれの特徴量の対数の差分等）により求められる。特徴量として明度情報を用いた場合には、相違度が大きいとは、対応領域と観察領域の一方が明るく、他方が暗い状況を表す。また、特徴量としてサイズ情報を用いた場合には、相違度が大きいとは、対応領域と観察領域の一方の面積が大きく、他方の面積が小さい状況を表す。同様に、特徴量として特定の形状との類似度を用いた場合には、相違度が大きいとは、対応領域と観察領域の一方は特定の形状に近い形状であり、他方は特定の形状からは遠い形状である状況を表す。

これにより、第１〜第３の比較処理の少なくとも一方の比較処理に基づいて、削除可否判定を行うことが可能になる。第１の比較処理は、対応領域の特徴量である第１の特徴量に基づいて行われる処理であり、例えば、上式（１）に示したように対応領域の白飛びや黒つぶれを判定する際のように、観察領域の状態によらずに判定ができる状況で用いられることが想定される。第２の比較処理は、観察領域の特徴量である第２の特徴量に基づいて行われる処理であり、例えば、上式（２）に示したように観察領域の白飛びや黒つぶれを判定する際に用いられることが想定される。なお、第２の比較処理を単体で用いることを妨げるものではないが、画像要約処理後の画像枚数の削減効果を考慮すれば、第１の比較処理等と併用することが望ましい。一方、第３の比較処理は、第１の特徴量と第２の特徴量との相違度に基づく処理であるため、対応領域と観察領域の両方の状態を考慮した処理となり、第３の比較処理を行うことで精度の高い削除可否判定を行うことが可能になる。なお、対応領域の明度情報と、観察領域のサイズ情報の比較等は有用ではないことから明らかなように、第３の比較処理に用いる２つの特徴量は対応関係を持つ必要がある。つまり、一方の特徴量が明度情報であれば、第３の比較処理に用いる他方の特徴量も明度情報であり、一方がサイズ情報であれば他方もサイズ情報、一方が特定の形状との類似度であれば他方も特定の形状との類似度となる。

また、処理部１００は、対応領域の画素の画素値に基づいて、対応領域の明度情報を第１の特徴量として求めるとともに、観察領域の画素の画素値に基づいて、観察領域の明度情報を第２の特徴量として求めてもよい。

これにより、特徴量として明度情報を用いて、削除可否判定を行うことが可能になる。対応領域、観察領域の明度情報は、領域に含まれる各画素について明度を算出し、算出された明度に基づき求める。画素の明度は、Ｒ，Ｇ，Ｂの各画素値のうち最大のものを用いるものとするが、他の手法（例えば最大値と最小値の平均値等）により求めてもよい。また、画素の明度から領域の明度情報を求める手法としては、領域に含まれる全ての画素の明度の平均値をとればよいが、これについても他の手法（中央値や、加重平均、トリム平均等）を用いてもよい。明度情報に基づく削除可否判定の具体例としては、対応領域が白飛びや黒つぶれしていて観察に適さない場合に、判定対象画像を削除不可とする処理が考えられる。このようにすれば、対応領域と同一被写体を撮像していることが想定される観察領域を含む判定対象画像を要約画像列に残すことができ、被写体の適切な観察が可能になる。

また、処理部１００は、明度情報である第１の特徴量が所与の上限閾値よりも大きい場合、又は第１の特徴量が所与の下限閾値よりも小さい場合に、判定対象画像を削除不可と判定してもよい。

これにより、上式（１）で示した処理が可能になる。これは対応領域の白飛びや黒つぶれ（或いはそれに近い場合）を想定した処理である。よって、上限閾値として、明度情報がそれよりも大きくなった場合には、被写体が明るすぎて観察に適さないような値を設定し、下限閾値として、明度情報がそれよりも小さくなった場合には、被写体が暗すぎて観察に適さないような値を設定すればよい。

また、処理部１００は、対応領域のサイズ情報により表される値を第１の特徴量として求めるとともに、観察領域のサイズ情報により表される値を第２の特徴量として求めてもよい。

これにより、特徴量としてサイズ情報を用いて、削除可否判定を行うことが可能になる。サイズ情報は例えば面積に対応する情報を用いればよく、具体的には領域に含まれる画素の数をカウントすればよい。サイズ情報に基づく削除可否判定の具体例としては、図６に示したように対応領域の面積が非常に小さく、被写体がつぶれることで観察に適さない場合に、判定対象画像を削除不可とする処理が考えられる。

また、処理部１００は、対応領域と所与の形状との類似度を表す値を第１の特徴量として求めるとともに、観察領域と所与の形状との類似度を表す値を第２の特徴量として求めてもよい。

これにより、特徴量として特定の形状との類似度を用いて、削除可否判定を行うことが可能になる。特定の形状との類似度は、例えば特定の形状が円であれば、上式（５）の円形度を用いればよい。特定の形状との類似度に基づく削除可否判定の具体例としては、図７に示したように対応領域の形状が極端であり、被写体がつぶれる（図７の例では縦方向につぶれている）ことで観察に適さない場合に、判定対象画像を削除不可とする処理が考えられる。

また、処理部１００は、第１の特徴量と第２の特徴量の相違度が、所与の閾値よりも大きい場合に、判定対象画像を削除不可と判定してもよい。

これにより、対応領域と観察領域の両方の特徴量を用いた削除可否判定が可能になる。特徴量として明度情報を用いる場合には、相違度が大きい状況とは、対応領域と観察領域の一方が明るく他方が暗い状況である。観察に適した明るさとは、その値を一意に決定できるものではなく、例えば注目している被写体の形状や色味、或いは注目している被写体の後ろに撮像された背景部分の色味等との関係により変動する。対応領域の明度情報が中間的な値であれば、ある程度汎用的に用いることができる可能性もあるが、上述したように相違度が大きい状況ではそのようなことは考えにくい。つまり、相違度が大きい（例えば上式（３）が成り立つ）場合には、対応領域が観察に適さない明るさである可能性を考慮しなくてはならず、判定対象画像を削除不可としておくとよい。ただし、対応領域は観察に適した状態であり、上式（３）等を用いた処理により、かえって観察に適さない観察領域を含む判定対象画像を要約画像列に残してしまう可能性がある点は注意を要する。

また、特徴量としてサイズ情報を用いる場合には、対応領域の面積が小さくなることが問題であり、その場合、観察領域の面積が観察に適する程度に大きくなくては判定対象画像を残したとしても有効ではない。よって、相違度が大きい状況として、上式（４）のように観察領域の面積に対して対応領域の面積が十分小さいことを検出するとよい。なお、サイズ情報を特徴量として用いる処理において、設定される観察領域のサイズ、形状が不変である場合には、第２の特徴量も不変であることが想定されるため、事前に算出した値を使い続けることも可能である。その場合、上式（４）の第２の特徴量は固定値となるため、処理上は実質的には第１の特徴量に基づく判定となる。ただし、本実施形態の観察領域は動的に設定される（例えばユーザの指示に従って観察領域が変化する場合や、画像処理により検出した注目領域に対応する領域を設定する場合等）ことを妨げるものではないため、そのような場合には、その都度第２の特徴量を求める必要がある。

また、特徴量として特定の形状（観察に適した形状が設定される）との類似度を用いる場合には、対応領域の形状が極端となることが問題であり、その場合、観察領域の形状は特定の形状にある程度近くなくては判定対象画像を残したとしても有効ではない。よって、相違度が大きい状況として、上式（６）のように観察領域の類似度に対して対応領域の類似度が十分小さいことを検出するとよい。この場合も、観察領域の形状が不変であれば、第２の特徴量を事前に求めておくことが可能である。例えば、観察領域として特定の形状と同一の形状の領域を設定することが考えられる。

また、処理部１００は、基準画像、判定対象画像、及び複数の画像のうち画像列において基準画像と判定対象画像の間の画像について、隣り合う画像間の変形情報を求め、求めた隣り合う画像間の変形情報に基づいて、基準画像と判定対象画像の間の変形情報を求めてもよい。

これにより、基準画像と判定対象画像が隣り合わない場合に、当該２画像間で直接変形情報を求めるのではなく、隣り合う画像間で求めた変形情報を累積することで算出することが可能になる。変形情報は特許文献２等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなる。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．第２の実施形態
次に、第１の実施形態で説明した第１，第２の特徴量を用いた削除可否判定（以下、第１の削除可否判定処理と記載する）の他に、それとは異なる第２の削除可否判定処理を併用する手法について説明する。

具体的には、画像列取得部２００が取得した画像列の各画像に対して、第２の削除可否判定処理を行い、削除不可と判定された要約画像からなる要約候補画像列と、削除可能と判定された削除候補画像からなる削除候補画像列を設定する。その後、第１の削除可否判定処理を行って要約画像列を生成するが、その際に基準画像を要約候補画像列から選択するとともに、判定対象画像を削除候補画像列から選択する。

つまり本実施形態の手法は、まず第２の削除可否判定処理を前処理として行って、残す画像と削除する画像を暫定的に決定し、その後、暫定結果を用いた第１の削除可否判定処理により最終結果を決定するという２段階処理を行う手法である。これにより、第１の削除可否判定処理と第２の削除可否判定処理のどちらか一方のみに基づく画像要約処理を行う場合に比べて、判定精度の向上等が可能になる。第２の削除可否判定処理は第１の削除可否判定処理とは異なる処理を用いるものとしているため、異なる観点からの処理が可能になるためである。

例えば、第２の削除可否判定処理として、上述した被覆率に基づく判定を行ってもよい。被覆率に基づく判定により、領域のカバー度合いを保証する画像要約処理は可能となるが、図６で示したように観察が困難となる領域が発生しうる。つまり、被覆率を用いた第２の削除可否判定処理では、削除すべきでない画像が過剰に削除されてしまうところ、第２の削除可否判定処理の結果を用いた第１の削除可否判定処理を行うことで、過剰削除画像を復活させることが可能になり、より適切な画像要約処理を行うことができる。

以下、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明した後、第２の削除可否判定処理の詳細について２つの例を挙げて説明する。

３．１ システム構成例
図８に本実施形態における画像処理装置のシステム構成例を示す。図１の処理部１００に対して部分画像列設定部１００９が除かれ、要約候補画像列生成部１００１が追加された構成となっている。第１の実施形態と同様の構成については詳細な説明は省略する。

要約候補画像列生成部１００１は、画像列取得部２００が取得した画像列に対して、第２の削除可否判定処理を行い、要約画像列に残される画像である要約画像からなる要約候補画像列を生成する。それとともに、画像列取得部２００が取得した画像列のうち、要約候補画像列に含まれない画像である削除候補画像からなる削除候補画像列を設定してもよい。

本実施形態の判定対象画像選択部１００３は、削除候補画像列に含まれる画像の中から判定対象画像を選択する。また、基準画像選択部１００２は、判定対象画像選択部１００３で選択された判定対象画像の画像列（画像列取得部２００で取得された画像列）での位置に応じて、要約候補画像列に含まれる画像の中から基準画像を選択する。基準画像選択部１００２及び判定対象画像選択部１００３での処理の詳細は後述する。

３．２ 処理の流れ
次に、図９のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず画像要約処理の対象となる画像列が取得される（Ｓ２０１）。以下、他の画像列と明確に区別するために、Ｓ２０１で取得した画像列を取得画像列とも表記する。

そして、取得画像列に対して第２の削除可否判定処理が行われ、要約候補画像列及び削除候補画像列が設定される（Ｓ２０２）。Ｓ２０２での第２の削除可否判定処理の具体例については後述するが、例えば図１０に示したように、取得画像列に含まれる１２枚の画像のうち、３番目と８番目の画像が削除不可とされ、他の画像が削除可能と判定された場合には、要約候補画像列は３番目と８番目の画像から構成され、削除候補画像列はその他の１０枚の画像から構成されることになる。なお、第２の削除可否判定処理の処理内容によっては、１つの画像に対して複数回の削除可否判定が行われる場合もあり得るが、ここでの削除可否は第２の削除可否判定処理終了時の最終的な結果を指すものであり、１回削除可能、或いは削除不可と判定されたことで、即座に当該画像が削除候補画像、或いは要約画像であると決定されるとは限らない。

第２の削除可否判定処理の後、判定対象画像が選択される（Ｓ２０３）。ここでは、判定対象画像は削除候補画像列の先頭から順に判定対象画像を選択する。よって、Ｓ２０３の処理が初めて行われる場合には、削除候補画像列の１番目の画像が選択される。そして、２回目以降のＳ２０３の処理では、現在の判定対象画像に対して、削除候補画像列において１つ後方の画像を選択する判定対象画像の更新処理が行われることになる。

判定対象画像が選択されたら、判定対象画像の取得画像列における位置に応じて、要約候補画像列から基準画像を選択する（Ｓ２０４）。ここでは、取得画像列において、判定対象画像よりも前方にある要約画像のうち、当該判定対象画像に最も近い画像を第１の基準画像として選択するとともに、判定対象画像よりも後方にある要約画像のうち、当該判定対象画像に最も近い画像を第２の基準画像として選択する。ただし、判定対象画像の前方又は後方に要約画像がない場合には、対応する基準画像は選択されない。

図１０の例では、削除候補画像列の１番目の画像が判定対象画像として選択された場合には、取得画像列において判定対象画像よりも前方の要約画像はないため、第１の基準画像は選択されない。また、判定対象画像よりも後方には、２枚の要約画像（取得画像列において３番目と８番目の画像）があるが、そのうち判定対象画像に最も近い３番目の画像（要約候補画像列の１番目の画像）が第２の基準画像となる。

なお、図１０の例では、削除候補画像列の３〜６番目の画像が判定対象画像として選択されれば、第１の基準画像は要約候補画像列の１番目の画像となり、第２の基準画像は要約候補画像列の２番目の画像となる。同様に、削除候補画像列の７〜１０番目の画像が判定対象画像として選択されれば、第１の基準画像は要約候補画像列の２番目の画像となり、第２の基準画像は選択されないことになる。

基準画像及び判定対象画像が選択された後の、変形情報取得処理（Ｓ２０５）、観察領域選択処理（Ｓ２０６）、対応領域選択処理（Ｓ２０７）、画像特徴量算出処理（Ｓ２０８）、削除可否判定処理（Ｓ２０９）については、図２のＳ１０４〜Ｓ１０８と同様であるため詳細な説明は省略する。

なお、基準画像が２枚選択されている場合には、第１の基準画像と判定対象画像による第１の削除可否判定処理、及び第２の基準画像と判定対象画像による第１の削除可否判定処理をそれぞれ行い、両方の判定において削除不可とされたときに、判定対象画像は削除不可であるとして要約画像列に残す処理を行えばよい。なぜなら、一方の基準画像上の対応領域が観察に適していなかったとしても、同一の被写体を撮像している他方の基準画像上の対応領域が観察に適していれば、判定対象画像を要約画像列に残すメリットは小さいためである。

また、本実施形態では第２の削除可否判定処理により、暫定的ではあるが残す画像の探索は行われているため、第１の実施形態のように部分画像列を設定する処理（図２のＳ１０９に対応）は不要である。

３．３ 第２の削除可否判定
次に図９のＳ２０２で行われる第２の削除可否判定処理（要約候補画像列の設定処理）の具体例について説明する。以下では被覆率を用いる手法と、構造要素に基づく手法の２つを説明するが、第２の削除可否判定処理はこれに限定されるものではない。例えば、シーンチェンジ等に基づいて第２の削除可否判定処理を行ってもよく、第１の削除可否判定処理と異なる任意の削除可否判定処理（或いは画像要約処理）を適用可能である。

３．３．１ 被覆率に基づく第２の削除可否判定
まず、被覆率に基づく第２の削除可否判定処理について説明する。ここでは、取得画像列から第１の画像と第２の画像を選択し、第２の画像が第１の画像により被覆される割合等を被覆率とする。なお、この処理は第２の画像を削除しても、そこに撮像された領域は第１の画像により十分カバーされているか否かを判定する処理である。よって、残す画像（或いはその候補）であるか、削除できるか判定される画像であるかという観点から言えば、第１の画像とは第１の削除可否判定処理における基準画像と同様の意味を持ち、第２の画像とは判定対象画像と同様の意味を持つ。ここでは、第１の削除可否判定処理で選択される画像と、第２の削除可否判定処理で選択される画像を混同しないように、別の用語を用いているに過ぎない。

図１１に要約候補画像列生成部１００１の構成例を示す。要約候補画像列生成部１００１は、第１の画像選択部１０１と、第２の画像選択部１０２と、被覆領域算出部１０３と、被覆率算出部１０４と、削除可否判定部１０５と、部分画像列設定部１０６と、を含む。なお要約候補画像列生成部１００１は、図１１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、要約候補画像列生成部１００１で実行される第２の削除可否判定処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも要約候補画像列生成部１００１が上述の各部を構成要件として有するわけではない。

第１の画像選択部１０１は第１の画像を選択する。第２の画像選択部１０２は第２の画像を選択する。選択手法の詳細は後述する。

被覆領域算出部１０３は、第１の画像と第２の画像との間の変形情報（図８の変形情報取得部１００４で取得されるものとする）に基づいて、第１の画像を変形して第２の画像上に射影して被覆領域を求める。具体的には図１２のようになり、被覆領域は第２の画像のうち、第１の画像により被覆される領域に対応する。

被覆率算出部１０４は、算出された被覆領域に基づいて被覆率を算出する。被覆率は例えば、図１２に示したように第２の画像全体の面積に対する被覆領域の面積の割合等から求めることができる。ただし、被覆率とは、第１の画像による第２の画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。例えば、図１３に示したように、第２の画像上に設定された複数の点を、変形情報に基づいて第１の画像上に射影し、前記複数の点の数に対する第１の画像内に含まれる点の割合（或いは第１の画像内に含まれる点の数そのもの）を被覆率として用いてもよい。

削除可否判定部１０５は、算出された被覆率に基づいて第２の画像の削除可否判定を行う。被覆率による削除可否判定は、所与の閾値との比較処理を行えばよく、被覆率が閾値以上であれば第２の画像を削除可能とし、被覆率が閾値よりも小さい場合には第２の画像を削除不可とすればよい。被覆率に基づく削除可否判定により、第２の画像を削除したとしても、当該第２の画像に撮像されたある程度（閾値に対応する程度）の割合の領域は第１の画像によりカバーできることが保証される。

部分画像列設定部１０６は、削除可否判定部１０５での判定結果に基づいて部分画像列を設定する。例えば、図１の部分画像列設定部１００９と同様の処理を行えばよい。

次に、図１４のフローチャートを用いて図９のＳ２０２で示した第２の削除可否判定処理の流れを説明する。この処理が開始されると、まずＳ２０１で取得した画像列（取得画像列）から第１の画像を選択し（Ｓ３０１）、第１の画像が選択できた場合には第２の画像を選択する（Ｓ３０２）。ここでの第１の画像及び第２の画像の選択手法は、例えば図４（Ａ）〜図４（Ｄ）と同様の手法を用いればよい。具体的には、入力画像列（取得画像列或いはＳ３０７で設定される部分画像列）の先頭の画像を第１の画像とし、第１の画像の１つ後方の画像を最初の第２の画像とする。そして、Ｓ３０６で削除可能と判定され、Ｓ３０２に戻った場合には、第２の画像を１つ後方の画像に更新すればよい。

第１の画像及び第２の画像が選択されたら、その間の変形情報を取得する（Ｓ３０３）。そして、変形情報に基づいて第１の画像を変形して被覆領域を求め（Ｓ３０４）、被覆領域から被覆率を算出する（Ｓ３０５）。

被覆率と閾値との比較処理等に基づいて、第２の画像の削除可否判定を行い（Ｓ３０６）、削除可能と判定された場合には、Ｓ３０２に戻り第２の画像の更新処理を行い、削除不可と判定された場合には、その際の第２の画像及びそれより後方の画像を部分画像列に設定する（Ｓ３０７）。部分画像列設定後は、Ｓ３０１に戻り部分画像列に対して上述した処理を再度行う。

ただし、第１の画像及び第２の画像の選択手法は上述のものに限定されるものではない。例えば、第１の画像を複数選択してもよい。その場合、複数の第１の画像のいずれかにより第２の画像がカバーできれば、当該第２の画像が削除できることから、図１５に示したように各第１の画像を変形して求められた領域の和集合に相当する領域を被覆領域として処理を行えばよい。

第１の画像を複数選択する手法としては、図１６（Ａ）、図１６（Ｂ）に示したように、第２の画像の前方から１枚、後方から１枚の計２枚の第１の画像を選択する手法が考えられる。この場合、２枚の第１の画像の間の画像を順次第２の画像として選択する。そして、２枚の第１の画像の間の画像が全て削除可能であれば、当該２枚の第１の画像を要約画像とし、間の画像を削除候補画像とすることで、要約画像による削除候補画像のカバー度合いを保証する第２の削除可否判定処理を行えることになる。

ただし、要約画像の枚数を少なくする（第１の削除可否判定処理の結果にもよるが、最終的な画像要約処理後の画像枚数が少なくなる可能性を高くできる）という観点で第２の削除可否判定処理を行うのであれば、第１の画像（前方）と第１の画像（後方）により間の画像を全て削除できるという条件を満たし、且つその中で第１の画像（前方）と第１の画像（後方）が最も離れている位置を探索するとよい。その場合、第１の画像（前方）が確定している場合には、図１６（Ａ）、図１６（Ｂ）に示したように、ｋ番目の画像を第１の画像（後方）とした場合には間の画像を全て削除できるが、ｋ＋１番目の画像を第１の画像（後方）とした場合には間の画像の少なくとも１枚が削除できないようなｋを探索することになる。この場合、部分画像列設定部１０６では、ｋ番目の画像及びそれ以降の画像を部分画像列として設定すればよい。

その他、第１の画像と第２の画像の選択は種々の手法により実現可能である。

３．３．２ 構造要素に基づく第２の削除可否判定
次に、構造要素に基づく第２の削除可否判定処理について説明する。この場合も被覆率の例と同様に第１の画像及び第２の画像を選択し、第１の画像に基づき第２の画像が削除可能であるかを判定することになる。

ここでは、注目領域（見逃しが望ましくない領域であり、例えば医療分野における病変部等）に対応する構造要素による処理を行う。具体的には、図１７（Ａ）に示したように、第２の画像のうち、第１の画像で被覆される被覆領域と、それ以外の領域である非被覆領域を考える。そして、非被覆領域に注目領域（例えば図１７（Ｃ））が完全に含まれてしまうか否かを判定する。図１７（Ｂ）のように非被覆領域に注目領域が完全に含まれてしまう場合には、第２の画像上に撮像された注目領域（狭義にはその全体が撮像された注目領域）が、第１の画像上に全く撮像されない可能性があると言うことになるため、第２の画像は削除不可となる。一方、非被覆領域に注目領域が完全に含まれてしまうことがない場合（例えば図１７（Ａ）の場合）には、第２の画像上のどの位置に注目領域が撮像されていたとしても、少なくともその一部は第１の画像に撮像されることになるため、第２の画像は削除可能となる。ここでは、非被覆領域に注目領域が完全に含まれてしまうか否かの判定に、構造要素を用いる。

図１８に要約候補画像列生成部１００１の構成例を示す。図１１に比べた場合、被覆率算出部１０４が除かれ、構造要素生成部１０７と、注目領域見逃し可能性判定部１０８が追加された構成となっている。図１１と共通の構成については詳細な説明は省略する。

本実施形態の被覆領域算出部１０３は、被覆領域を算出するとともに、第２の画像のうち被覆領域ではない領域を非被覆領域として設定してもよい。

構造要素生成部１０７は、注目領域に基づいて、注目領域見逃し可能性判定部１０８での処理に用いられる構造要素を生成する。一例としては、注目領域と同一形状、同一サイズの領域を設定すればよいが、これに限定されるものではない。

注目領域見逃し可能性判定部１０８は、第２の画像を削除した場合に、第２の画像上に撮像された注目領域が、第１の画像では撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。詳細については後述する。

削除可否判定部１０５は、注目領域見逃し可能性判定部１０８において注目領域の見逃し可能性があると判定された場合に第２の画像を削除不可とし、見逃し可能性がないと判定された場合に第２の画像を削除可能と判定する。

次に、図１９のフローチャートを用いて図９のＳ２０２で示した第２の削除可否判定処理の流れを説明する。この処理のＳ４０１〜Ｓ４０４については、図１４のＳ３０１〜Ｓ３０４と同様であるため詳細な説明は省略する。

Ｓ４０４で被覆領域及び非被覆領域が算出されたら、非被覆領域に注目領域が完全に含まれてしまうか否かに基づいて、注目領域の見逃し可能性を判定する（Ｓ４０５）。具体的には、第２の画像のうち被覆領域以外の領域である非被覆領域に対して、構造要素を用いた収縮処理を行い、残留領域があるか否かの判定を行う。

収縮処理の具体例について図２０（Ａ）〜図２０（Ｅ）を用いて説明する。非被覆領域は図２０（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図２０（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。

この際、構造要素による収縮処理とは、当該構造要素の基準点を非被覆領域の境界上に設定した場合に、非被覆領域と構造要素の重複領域を削る処理となる。例えば、構造要素として図１７（Ｃ）のように円形状の領域を設定し、その基準点を円の中心とした場合には、非被覆領域の境界上に中心を有する円を描き、当該円と非被覆領域とが重なる部分を非被覆領域から除外する処理を行うことになる。具体的には、図２０（Ａ）に示したように、非被覆領域の外側境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。

外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図２０（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域を非被覆領域から除外していけばよい。

図１７（Ｂ）に示したように、非被覆領域の形状によってはその境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図２０（Ａ）に示したように、非被覆領域の境界としてＢＯ１とＢＯ２の２つが考えられる場合には、それぞれについて上述の処理を行う。具体的には、図２０（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、非被覆領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。

このような収縮処理を行うことで、非被覆領域の面積は小さくなる。例えば、図２０（Ａ）の非被覆領域の左部に着目した場合、図２０（Ａ）で示したＢＯ１での収縮処理、及び図２０（Ｂ）で示したＢＯ２での収縮処理により、非被覆領域は完全に削除され、残留する領域は存在しない。一方、非被覆領域の右下部分に着目した場合、図２０（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの非被覆領域全体に対して構造要素による収縮処理を行った結果は、図２０（Ｄ）のようになり、残留領域ＲＥが生じることになる。

ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である非被覆領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、図１７（Ｂ）のように１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、非被覆領域に含まれる点のうち、上記境界上の点から距離ｒ以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径Ｒ（＝ｒ）の円で表される注目領域が、残留領域中の点をその中心とすることで、非被覆領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。

つまり、残留領域が存在する場合とは、図２０（Ｅ）の右下に示したように、構造要素に対応する領域が非被覆領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、第２の画像を削除してしまうと、第１の画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図２０（Ｅ）の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、第２の画像を削除したとしても、注目領域の少なくとも一部は第１の画像に残すことができる。以上のことより、注目領域見逃し可能性判定部１０８では、非被覆領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かを結果として出力することで、その後の第２の画像の削除可否判定が可能になる。

そして、削除可否判定部１０５は、収縮処理の結果、残留領域が有ったか否かに基づいて、第２の画像の削除可否の判定を行う（Ｓ４０６）。その後の処理については図１４の例と同様であるため、詳細な説明は省略する。

なお、構造要素により処理を行う場合であっても、第１，第２の画像を種々の手法により選択できる点は同様である。また、注目領域の見逃し可能性判定の手法は図２０（Ａ）〜図２０（Ｅ）に示した収縮処理に限定されるものではない。

以上の本実施形態では、処理部１００は、画像列取得部２００が取得した画像列の複数の画像のうち、要約画像列に残される要約画像からなる要約候補画像列を設定するとともに、画像列の複数の画像のうち、要約候補画像列に含まれない削除候補画像からなる削除候補画像列を設定する。そして処理部１００は、要約候補画像列から基準画像を選択し、削除候補画像列から判定対象画像を選択し、判定対象画像上に観察領域を設定するとともに、基準画像と判定対象画像の間の変形情報に基づいて、観察領域に対応する基準画像上の領域である対応領域を求める。その上で、処理部１００は、対応領域から求められた第１の特徴量と、観察領域から求められた第２の特徴量の少なくとも一方に基づいて、判定対象画像の削除可否の判定を行う。

これにより、第１，第２の特徴量を用いた削除可否判定処理（第１の削除可否判定処理）の前処理として、図１０に示したように画像列（取得画像列）から要約候補画像列と、削除候補画像列を設定する処理を行うことが可能になる。要約候補画像列から基準画像を選択し、削除候補画像列から判定対象画像を選択することで、要約画像は要約画像列に含まれることが確定し、削除候補画像は本当に削除するのか、それとも要約候補画像列に残すのかを確認する処理を行うことができる。よって、要約候補画像列と削除候補画像列の設定処理はある程度精度の低いものであってもよい。例えば、取得画像列に含まれる複数の画像の各画像について、明確に要約画像と判定できる画像以外は全て削除候補画像と判定されるようにしてもよい。その後、第１の削除可否判定処理により精度の高い判定が行われ、その結果、削除候補画像が要約画像列に含まれることになる可能性が残っているためである。ただし、要約画像とされた画像は、そのまま要約画像列に残されることが想定されるため、最終的な画像要約処理の結果（例えば画像枚数の削減効果）等を考慮すれば、要約候補画像列と削除候補画像列の設定処理は完全にランダムで行われるのではなく、何らかの基準に基づき行われることが望ましい。

また、処理部１００は、第１の特徴量及び第２の特徴量の少なくとも一方に基づいて行われる第１の削除可否判定処理と、第１の削除可否判定処理とは異なる第２の削除可否判定処理とに基づいて、画像要約処理を行うものであってもよい。そして処理部１００は、画像列取得部２００が取得した画像列に対して第２の削除可否判定処理を行い、複数の画像のうち、削除不可と判定された画像を要約画像とするとともに、削除可能と判定された前記画像を削除候補画像とする。

これにより、第１，第２の特徴量を用いた第１の削除可否判定処理とは異なる第２の削除可否判定処理を行い、その結果に基づいて要約候補画像列と削除候補画像列を設定することが可能になる。よって、前処理においても何らかの削除可否判定処理（画像要約処理）が行えるため、要約候補画像列と削除候補画像列の設定精度を高くすることが可能になる。また、第１の削除可否判定処理と第２の削除可否判定処理により、異なる手法を併用することになるため、削除可否判定の判定精度を向上させること等が可能になる。

また、処理部１００は、画像列取得部２００が取得した画像列の複数の画像から、第１の画像と第２の画像を選択し、第１の画像と第２の画像の間の変形情報に基づいて、第１の画像による第２の画像の被覆率を算出し、被覆率に基づいて、第２の画像の削除可否の判定を行う処理を、第２の削除可否判定処理として実行してもよい。

ここで被覆率とは、第２の画像上に撮像された被写体のうち、どの程度の被写体が第１の画像上に撮像されているかを表す情報である。また、被覆率に基づく削除可否判定処理は例えば所与の閾値との比較処理である。閾値を高くすれば、画像を削除することにより観察できなくなる領域が発生することに対する抑止効果の向上が期待できる。一方、閾値を低くすれば、要約処理後の要約画像列に含まれる画像の枚数を少なくすることができる。上述の抑止効果の向上と、画像枚数を少なくすることはトレードオフの関係にあり閾値の設定により制御が可能となるため、状況に応じて適切に閾値を設定することが望ましい。

これにより、被覆率に基づく処理と、第１，第２の特徴量に基づく処理とを併用して、削除可否判定の判定精度を向上させることが可能になる。具体的には、画像を削除した結果、観察できなくなる被写体領域が発生することを抑止するという観点と、（撮像自体はされていても）観察に適さない領域が発生することを抑止するという観点からの処理となる。

また、処理部１００は、画像列取得部２００が取得した画像列の複数の画像から、第１の画像と第２の画像を選択し、第１の画像と第２の画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、第２の画像の削除可否の判定を行う処理を、第２の削除可否判定処理として実行してもよい。

ここで、変形情報を用いた処理は、第１の画像及び第２の画像の一方の少なくとも一部を、変形情報を用いて変形する処理であってもよい。また、構造要素を用いた処理は、構造要素による収縮処理、又は第１の画像により第２の画像が覆われない領域である非被覆領域に構造要素が含まれるか否かを判定する処理であってもよい。

また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

これにより、構造要素に基づく処理と、第１，第２の特徴量に基づく処理とを併用して、削除可否判定の判定精度を向上させることが可能になる。具体的には、ユーザが注目領域を見逃す可能性を抑止するという観点と、観察に適さない領域の発生を抑止するという観点からの処理となる。なお、注目領域の見逃し可能性の抑止は、第２の画像を削除したとしても、要約候補画像列には必ず注目領域の少なくとも一部を撮像している画像を残すという考えに基づいて行われる。

以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１００ 処理部、１０１ 第１の画像選択部、１０２ 第２の画像選択部、
１０３ 被覆領域算出部、１０４ 被覆率算出部、１０５ 削除可否判定部、
１０６ 部分画像列設定部、１０７ 構造要素生成部、
１０８ 注目領域見逃し可能性判定部、２００ 画像列取得部、３００ 記憶部、
１００１ 要約候補画像列生成部、１００２ 基準画像選択部、
１００３ 判定対象画像選択部、１００４ 変形情報取得部、
１００５ 観察領域設定部、１００６ 対応領域設定部、
１００７ 画像特徴量算出部、１００８ 削除可否判定部、
１００９ 部分画像列設定部、
ＢＯ１ 外側境界、ＢＯ２ 内側境界、ＲＥ 残留領域

Claims (16)

1. 複数の画像を有する画像列を取得する画像列取得部と、
   前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
   を含み、
   前記処理部は、
   前記複数の画像から、前記画像要約処理の基準画像と判定対象画像を選択し、
   前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、
   前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
2. 請求項１において、
   前記第１の特徴量は、
   前記対応領域の明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つであり、
   前記第２の特徴量は、
   前記観察領域の前記明度情報、前記サイズ情報、及び前記特定の形状との前記類似度情報の少なくとも１つであることを特徴とする画像処理装置。
3. 請求項２において、
   前記処理部は、
   前記第１の特徴量と第１の閾値との第１の比較処理、前記第２の特徴量と第２の閾値との第２の比較処理、及び前記第１の特徴量と前記第２の特徴量の相違度と第３の閾値との第３の比較処理のうち、少なくとも１つの比較処理に基づいて前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
4. 請求項１において、
   前記処理部は、
   前記対応領域の画素の画素値に基づいて、前記対応領域の明度情報を前記第１の特徴量として求めるとともに、前記観察領域の前記画素の前記画素値に基づいて、前記観察領域の前記明度情報を前記第２の特徴量として求めることを特徴とする画像処理装置。
5. 請求項４において、
   前記処理部は、
   前記明度情報である前記第１の特徴量が所与の上限閾値よりも大きい場合、又は前記第１の特徴量が所与の下限閾値よりも小さい場合に、前記判定対象画像を削除不可と判定することを特徴とする画像処理装置。
6. 請求項１において、
   前記処理部は、
   前記対応領域のサイズ情報により表される値を前記第１の特徴量として求めるとともに、前記観察領域の前記サイズ情報により表される値を前記第２の特徴量として求めることを特徴とする画像処理装置。
7. 請求項１において、
   前記処理部は、
   前記対応領域と所与の形状との類似度を表す値を前記第１の特徴量として求めるとともに、前記観察領域と前記所与の形状との前記類似度を表す値を前記第２の特徴量として求めることを特徴とする画像処理装置。
8. 請求項４乃至７のいずれかにおいて、
   前記処理部は、
   前記第１の特徴量と前記第２の特徴量の相違度が、所与の閾値よりも大きい場合に、前記判定対象画像を削除不可と判定することを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   前記処理部は、
   前記画像列取得部が取得した前記画像列の前記複数の画像のうち、前記要約画像列に残される要約画像からなる要約候補画像列を設定するとともに、前記画像列の前記複数の画像のうち、前記要約候補画像列に含まれない削除候補画像からなる削除候補画像列を設定し、
   前記処理部は、
   前記要約候補画像列から前記基準画像を選択し、前記削除候補画像列から前記判定対象画像を選択し、
   前記判定対象画像上に前記観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である前記対応領域を求め、
   前記対応領域から求められた前記第１の特徴量と、前記観察領域から求められた前記第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
10. 請求項９において、
    前記処理部は、
    前記第１の特徴量及び前記第２の特徴量の少なくとも一方に基づいて行われる第１の削除可否判定処理と、前記第１の削除可否判定処理とは異なる第２の削除可否判定処理とに基づいて、前記画像要約処理を行うものであり、
    前記処理部は、
    前記画像列取得部が取得した前記画像列に対して前記第２の削除可否判定処理を行い、前記複数の画像のうち、削除不可と判定された前記画像を前記要約画像とするとともに、削除可能と判定された前記画像を前記削除候補画像とすることを特徴とする画像処理装置。
11. 請求項１０において、
    前記処理部は、
    前記画像列取得部が取得した前記画像列の前記複数の画像から、第１の画像と第２の画像を選択し、
    前記第１の画像と前記第２の画像の間の前記変形情報に基づいて、前記第１の画像による前記第２の画像の被覆率を算出し、
    前記被覆率に基づいて、前記第２の画像の削除可否の判定を行う処理を、前記第２の削除可否判定処理として実行することを特徴とする画像処理装置。
12. 請求項１０において、
    前記処理部は、
    前記画像列取得部が取得した前記画像列の前記複数の画像から、第１の画像と第２の画像を選択し、
    前記第１の画像と前記第２の画像の間の前記変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記第２の画像の削除可否の判定を行う処理を、前記第２の削除可否判定処理として実行することを特徴とする画像処理装置。
13. 請求項１２において、
    前記変形情報を用いた処理は、
    前記第１の画像及び前記第２の画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、
    前記構造要素を用いた処理は、
    前記構造要素による収縮処理、又は前記第１の画像により前記第２の画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であることを特徴とする画像処理装置。
14. 請求項１乃至１３のいずれかにおいて、
    前記処理部は、
    前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間の前記画像について、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めることを特徴とする画像処理装置。
15. 複数の画像を有する画像列を取得する画像列取得部と、
    前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
    コンピュータを機能させ、
    前記処理部は、
    前記複数の画像から、前記画像要約処理の基準画像と判定対象画像を選択し、
    前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、
    前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とするプログラム。
16. 複数の画像を有する画像列を取得し、
    前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、
    前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、
    前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行い、
    前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。

Images