JP5973783B2

JP5973783B2 - 画像処理装置、プログラム及び画像処理方法

Info

Publication number: JP5973783B2
Application number: JP2012117318A
Authority: JP
Inventors: 陽一矢口
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-05-23
Filing date: 2012-05-23
Publication date: 2016-08-23
Anticipated expiration: 2032-05-23
Also published as: JP2013246454A

Description

本発明は、画像処理装置、プログラム及び画像処理方法等に関する。

所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。

そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。

特開２００９−５０２０号公報特開２０１１−２４７６３号公報特開２００７−２５７２８７号公報

例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。

しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。

本発明の幾つかの態様によれば、画像の削除により観察できなくなる領域の発生を抑止する変形情報を用いた画像要約処理を、高速に実行する画像処理装置、プログラム及び画像処理方法等を提供することができる。

本発明の一態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記画像列からシーンチェンジを検出し、検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、設定された前記部分画像列から基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行う画像処理装置に関係する。

本発明の一態様では、画像列から検出したシーンチェンジに基づいて部分画像列を設定し、当該部分画像列に対して変形情報を用いた削除可否判定処理を行う。よって、画像列の複数の画像のうち、所与の部分画像列に含まれる画像と、当該部分画像列には含まれない画像との間での処理を行う必要をなくすことができるため、効率的な画像要約処理等が可能となる。

また、本発明の一態様では、前記処理部は、前記判定対象画像の削除可否の判定に用いられる前記変形情報の精度を表す精度情報に基づいて、前記シーンチェンジを検出してもよい。

これにより、精度情報を用いたシーンチェンジ検出が可能になるため、画像要約処理の効率化とともに、精度の向上を図ること等が可能になる。

また、本発明の一態様では、前記処理部は、前記複数の画像のうちの選択画像の各画素に対して、前記変形情報の算出に適しているか否かの判定を行い、適していると判定された画素の数に基づいて前記精度情報を求め、求めた前記精度情報に基づいて、前記画像列における前記選択画像に対応する位置での前記シーンチェンジを検出する処理を行ってもよい。

これにより、画素単位での判定に基づいて精度情報を求めること等が可能になる。

また、本発明の一態様では、前記処理部は、前記選択画像上に、前記変形情報の算出に適しているか否かの判定の対象となっている処理対象画素を含む所与のサイズの領域を設定し、設定された前記領域でのテクスチャ情報に基づいて、前記処理対象画素が前記変形情報の算出に適しているか否かの判定を行ってもよい。

これにより、テクスチャ情報に基づいて精度情報を求めること等が可能になる。

また、本発明の一態様では、前記処理部は、前記複数の画像のうちの第１の画像と、前記第１の画像の次の第２の画像の間の類似度情報を前記精度情報として求め、求めた前記精度情報に基づいて、前記画像列における前記第１の画像と前記第２の画像の間の位置での前記シーンチェンジを検出する処理を行ってもよい。

これにより、２つの画像間の類似度情報を精度情報として求めることが可能になる。

また、本発明の一態様では、前記処理部は、前記精度情報により表される値が、所与の精度閾値よりも小さい場合に、前記シーンチェンジを検出したと判定してもよい。

これにより、閾値を用いた比較処理に基づいて、シーンチェンジを検出すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記複数の画像から求められた動き情報、特定の被写体の撮像情報、及び明度情報の少なくとも１つに基づいて前記シーンチェンジを検出してもよい。

これにより、動き情報、特定の被写体の撮像情報、及び明度情報の少なくとも１つに基づいてシーンチェンジを検出すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記画像列から第ｉ（ｉは整数）のシーンチェンジと、前記第ｉのシーンチェンジの次の第ｉ＋１のシーンチェンジを検出した場合に、前記画像列の前記複数の画像のうち、前記第ｉのシーンチェンジの後方で、且つ前記第ｉ＋１のシーンチェンジの前方の前記画像を前記部分画像列として設定してもよい。

これにより、シーンチェンジを検出した場合に、画像列における当該シーンチェンジの位置を基準として、対象とする画像が前方にあるか後方にあるかという位置関係情報を用いて部分画像列を設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記部分画像列を複数設定した場合には、複数の前記部分画像列に対して並列に、前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行ってもよい。

これにより、複数の部分画像列を並列処理することができ、画像要約処理の高速化等が可能になる。

また、本発明の一態様では、前記処理部は、前記画像列から第ｊ（ｊは整数）のシーンチェンジを検出した場合に、前記画像列の前記複数の画像のうち、前記第ｊのシーンチェンジの前方の前記画像を含む第ｋ（ｋは整数）の部分画像列と、前記第ｊのシーンチェンジの後方の前記画像を含む第ｋ＋１の部分画像列を設定し、前記第ｋの部分画像列から前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う処理と、前記第ｋ＋１の部分画像列から前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う処理とを、並行して実行してもよい。

また、本発明の一態様では、前記処理部は、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行ってもよい。

これにより、判定対象画像の削除可否判定処理として、被覆率を用いた処理を行うことが可能になる。

また、本発明の一態様では、前記処理部は、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像に占める前記被覆領域の割合を、前記被覆率として算出してもよい。

これにより、被覆領域に基づいて被覆率を算出することが可能になる。

また、本発明の一態様では、前記処理部は、前記基準画像と前記判定対象画像の間の前記変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行ってもよい。

これにより、判定対象画像の削除可否判定処理として、構造要素を用いた処理を行うことが可能になる。

また、本発明の一態様では、前記変形情報を用いた処理は、前記基準画像及び前記判定対象画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、前記構造要素を用いた処理は、前記構造要素による収縮処理、又は前記基準画像により前記判定対象画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であってもよい。

これにより、変形情報を用いた処理として基準画像又は判定対象画像の少なくとも一部の領域の変形処理が可能になり、また、構造要素を用いた処理として、収縮処理や、非被覆領域に構造要素が含まれるか否かを判定する処理が可能になる。

また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われない領域である非被覆領域を求める処理を行い、前記構造要素を用いた処理として、前記非被覆領域に対して前記構造要素による収縮処理を行ってもよい。

これにより、非被覆領域を求め、求めた非被覆領域に対する収縮処理に基づく削除可否判定等が可能になる。

本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。

本発明の他の態様は、複数の画像を有する画像列を取得し、取得した前記画像列からシーンチェンジを検出し、検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、設定された前記部分画像列から基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことで、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。

画像処理装置の構成例。図２（Ａ）、図２（Ｂ）はシーンチェンジと部分画像列の関係を説明する図。削除可否判定部の構成例。本実施形態の画像要約処理を説明するフローチャート。図５（Ａ）、図５（Ｂ）は画像列における選択画像の位置と検出されるシーンチェンジの位置との関係を説明する図。テクスチャ情報の算出対象となる領域の設定例。被覆領域に基づいて被覆率を求める手法を説明する図。複数の点に基づいて被覆率を求める手法を説明する図。図９（Ａ）〜図９（Ｃ）は基準画像と判定対象画像の選択手法を説明する図。複数の基準画像に基づいて被覆領域を求める処理を説明する図。図１１（Ａ）、図１１（Ｂ）は第１の基準画像と第２の基準画像を用いた削除可否判定処理を説明する図。図１２（Ａ）、図１２（Ｂ）は変形情報の精度の違いによる被覆領域の形状の差異を説明する図。精度情報の算出手法の例。画像列における第１，第２の画像の位置と検出されるシーンチェンジの位置との関係を説明する図。削除可否判定部の他の構成例。図１６（Ａ）〜図１６（Ｅ）は非被覆領域に対する構造要素による収縮処理を説明する図。図１７（Ａ）、図１７（Ｂ）は判定対象画像に対する構造要素による収縮処理を説明する図。図１８（Ａ）、図１８（Ｂ）は基準画像と要被覆領域の包含判定の例。図１９（Ａ）、図１９（Ｂ）は構造要素を用いた他の処理を説明する図。画像処理装置の基本的な構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。

従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる被写体がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。

このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。

そこで本出願人は、基準画像（残す画像、実施形態によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）とを選択し、基準画像と判定対象画像の間の変形情報に基づいた画像要約処理を行う手法を提案する。具体的には、図７に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出する。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。

よって、一例としては判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。

変形情報を用いた画像要約処理の別の例としては、図１６（Ａ）〜図１６（Ｅ）に示したように、非被覆領域に対する構造要素（注目領域に対応する）による収縮処理の結果に基づいて、判定対象画像の削除可否を判定してもよい。詳細については後述するが、この場合、判定対象画像を削除したとしても当該判定対象画像上に撮像された構造要素のサイズ以上の領域の少なくとも一部は、基準画像上に撮像されることを保証できる。そのため、判定対象画像に注目領域全体が撮像されていた場合に、当該注目領域の判定対象画像上の位置によらず、その少なくとも一部を基準画像により観察できるため、注目領域の見逃し可能性を抑止することが可能になる。

その際、基準画像と判定対象画像を処理対象の画像列全体から選択してもよいが、それでは非効率的な場合がある。例えば、処理対象の画像列において、当該画像列の前半部分と後半部分で撮像対象が大きく異なっている場合（例えば、カプセル内視鏡からの画像列で、前半部分は胃を撮像し、後半部分は小腸を撮像していた場合等）、前半部分の画像により後半部分の画像がカバーされているとは考えにくい。よって、前半部分と後半部分にまたがるような比較処理の必要性は低く、前半部分だけを対象とした画像要約処理と、後半部分だけを対象とした画像要約処理とに分けて処理を行うことで効率化を図れる。

よって本出願人は、画像列からシーンチェンジを検出し、検出したシーンチェンジに基づいて、画像列を複数の部分画像列に分割する手法を提案する。そして、上述の変形情報を用いた画像要約処理は、各部分画像列に対して独立に行えばよい。このようにすれば、画像要約処理を効率的に行うことができる。また、複数の部分画像列に対して、並列に画像要約処理を行うこともできるため、処理の高速化が可能となる。

ここでのシーンチェンジは種々の手法により求めることが可能であるが、例えば変形情報の精度を表す精度情報に基づいて検出することが考えられる。なぜなら、変形情報を用いた画像要約処理は、当該変形情報の精度が十分確保されている必要性が高いためである。例えば、被覆率を用いて判定対象画像の削除可否判定を行う場合、変形情報が正確であれば図１２（Ａ）に示したような被覆領域が求められるべき状況であっても、変形情報の精度が低いと図１２（Ｂ）に示したように図１２（Ａ）とは大きく異なる被覆領域が求められてしまうケースが考えられる。そのため、被覆領域から求められる被覆率の値も不適切なものになってしまい、場合によっては削除可否判定の結果が異なってしまう。

特に問題となるのは、図１２（Ａ）、図１２（Ｂ）のようなケースであり、変形情報が正確であれば図１２（Ａ）のように被覆率がある程度小さくなり判定対象画像が削除不可と判定されるところが、図１２（Ｂ）のように被覆率が大きくなってしまい判定対象画像が削除可能と判定される可能性がある。この場合には、観察できない領域の発生抑止という観点から考えて、削除不可とすべき判定対象画像（つまり基準画像ではカバーできない領域がある程度大きい画像）が削除可能とされてしまうため、変形情報を用いた画像要約処理を行う効果が十分得られない。

その点、変形情報の精度に基づいてシーンチェンジを検出しておけば、シーンチェンジ部分をまたいだ削除可否判定処理が行われないことから、不正確な変形情報に基づく削除可否判定処理が行われることを抑止できるため、処理の高速化だけでなく精度面での利点も大きくなる。

ここでの画像処理装置の１つの実施形態としては、図２０に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の画像を有する画像列を取得する。そして処理部１００は、画像列からシーンチェンジを検出し、検出されたシーンチェンジに基づいて、画像列の一部から構成される部分画像列を設定し、設定された部分画像列から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行う。

以下、第１の実施形態では基本的な手法について説明する。第１の実施形態では、変形情報を用いた削除可否判定処理として、被覆率による処理について説明する。ただし、変形情報を用いた削除可否判定処理には種々の変形例（例えば構造要素を用いる手法）が考えられるため、それらの変形例について第２の実施形態で説明する。

２．第１の実施形態
本実施形態の基本的な手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。その後、シーンチェンジ検出手法の変形例、及び各部分画像列に対する処理における基準画像と判定対象画像の選択手法の変形例についても述べる。

２．１システム構成例
図１に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。

処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

画像列取得部２００は、画像要約処理の対象となる画像列を取得する。取得する画像列は、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。

記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

また、処理部１００は、図１に示したように変形情報取得部１００１と、シーンチェンジ検出部１００２と、部分画像列設定部１００３と、基準画像選択部１００４と、判定対象画像選択部１００５と、削除可否判定部１００６と、を含んでもよい。なお処理部１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。

変形情報取得部１００１は、２つの画像間の変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状（範囲）として撮像されているかを表すものであり、例えば特許文献２に開示されている変形パラメータ等であってもよい。判定対象画像の削除可否判定においては、変形情報取得部１００１は、基準画像選択部１００４で選択された基準画像と、判定対象画像選択部１００５で選択された判定対象画像の間の変形情報を取得し、取得した変形情報に基づいて削除可否判定処理が行われる。

ただし、変形情報取得部１００１は、基準画像と判定対象画像の間の変形情報を直接求めるものに限定されない。例えば、処理対象となる画像列において、隣り合う画像間の変形情報を求めておき、隣り合わない画像間での変形情報は、隣り合う画像間の変形情報を組み合わせて算出するものであってもよい。この場合、基準画像と判定対象画像の間の変形情報は、基準画像、判定対象画像、及びその間の画像での隣り合う画像間の変形情報を（狭義には全て）組み合わせることで求めることになる。

このようにすることで、変形情報の算出処理の負荷を軽くすることが可能になる。なぜなら、変形情報は特許文献２等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなるためである。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。

例えば、画像列取得部２００により取得された画像列がＮ枚の画像を含んでいた場合、その中から２枚の画像を選択する組み合わせはＮ×（Ｎ−１）／２通り考えられるため、基準画像と判定対象画像の間の変形情報を直接求めるとすると、負荷の重い処理（変形情報を一から算出する処理）をＮ^２のオーダーの回数だけ行う可能性がある。それに対して、隣り合う画像間の変形情報を用いるようにすれば、負荷の重い処理はＮ−１回ですむ。

シーンチェンジ検出部１００２は、取得した画像列からシーンチェンジを検出する。具体的な手法については後述する。

部分画像列設定部１００３は、シーンチェンジ検出部１００２で検出されたシーンチェンジに基づいて、画像列の一部を部分画像列として設定する。具体的には、シーンチェンジの位置を部分画像列の始点或いは終点として用いるようにすればよい。例えば、図２（Ａ）に示したように、画像列中にＡ１〜Ａ３の３つのシーンチェンジが検出された場合には、部分画像列として、画像列の先頭からＡ１までの部分画像列Ｂ１と、Ａ１〜Ａ２までの部分画像列Ｂ２と、Ａ２〜Ａ３までの部分画像列Ｂ３と、Ａ３から画像列の最後までの部分画像列Ｂ４の４つの部分画像列を設定すればよい。さらに具体的には、各シーンチェンジが図２（Ｂ）に示したように、隣り合う画像間に設定されるものとすれば、各部分画像列の始点及び終点は、シーンチェンジの直前の画像又は直後の画像となる。図２（Ｂ）の例であれば、部分画像列Ｂ１は画像列の先頭からシーンチェンジＡ１の直前の画像までになり、部分画像列Ｂ２はＡ１の直後の画像からＡ２の直前の画像までに対応することになる。なお、部分画像列は複数設定されることが想定されるが、その場合以下の各部での処理は各部分画像列に対してそれぞれ行われることになる。

基準画像選択部１００４は、部分画像列の複数の画像から基準画像を選択する。判定対象画像選択部１００５は、部分画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。

削除可否判定部１００６は、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否判定処理を行う。本実施形態では、基準画像により判定対象画像が被覆される程度を表す被覆率に基づいて、判定対象画像の削除可否判定処理を行う。

削除可否判定部１００６は、図３に示したように被覆領域算出部１０１０と、被覆率算出部１０１１と、閾値判定部１０１２と、を含んでもよい。ただし、削除可否判定部１００６は、図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

被覆領域算出部１０１０は、２つの画像間の変形情報（変形パラメータ）を利用して、一方の画像を他方の画像へ射影して被覆領域を求める。被覆率算出部１０１１は、被覆領域に基づいて被覆率を算出する。閾値判定部１０１２は、算出された被覆率と所与の閾値との比較処理を行う。

２．２処理の流れ
次に、図４のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず画像列取得部２００において、画像要約処理の対象となる画像列が取得される（Ｓ１０１）。

そして、取得した画像列からシーンチェンジを検出する（Ｓ１０２）。具体的には、画像列の各画像について、当該画像が変形情報の算出に適しているか否かの判定を行い、適していないと判定された画像があった場合には、その画像に対応する位置でシーンチェンジがあったものとする。例えば図５（Ａ）に示したように、画像列から選択された選択画像が変形情報の算出に適さない場合、当該選択画像とその次の画像との間でシーンチェンジが起きたものとしてもよく、その場合には選択画像が部分画像列の終点となり、１つ後方の画像が次の部分画像列の始点となる。また、図５（Ｂ）に示したように、選択画像の前後の位置でシーンチェンジが起きたものとしてもよい。

ここで、選択画像が変形情報の算出に適しているか否かの判定は、当該選択画像の各画素について、変形情報の算出に適しているか否かの判定を行い、画像全体に占める適切な画素の割合に基づいて行うことが考えられる。例えば、図６に示したように、変形情報の算出に適しているか否かの判定対象となる処理対象画素を含む所与の領域を考えた場合に、当該領域でのテクスチャが少ないと、処理対象画素とその周辺の画素とを区別することが難しい。よって、仮に当該選択画像が基準画像として選択され、判定対象画像上に似た特性を有する領域が見つかったとしても、処理対象画素が判定対象画像上の領域中のどの画素に対応しているかを判別することができず、正確な変形情報を算出できない。つまりここでは、処理対象画素を含む所与の領域におけるテクスチャ情報（例えばエッジ量）を算出し、テクスチャ情報により表される値が所与の閾値よりも大きい場合に、当該処理対象画素は変形情報の算出に適している画素であると判定する。

画像列の各画像を順次選択画像として選択し、選択された選択画像について、当該選択画像の全画素数に対する、変形情報の算出に適している画素の割合を求め、その値が所与の閾値よりも大きければ当該選択画像は変形情報の算出に適している（つまり、その選択画像に対応する位置ではシーンチェンジはない）と判定し、逆に所与の閾値以下であれば当該選択画像は変形情報の算出に適していない（つまり、その選択画像に対応する位置でシーンチェンジが起きている）と判定すればよい。

シーンチェンジが検出されたら、検出されたシーンチェンジに基づいて部分画像列を設定する（Ｓ１０３）。具体的には、図２（Ａ）、図２（Ｂ）に示したように、検出されたシーンチェンジの位置に対応させて、部分画像列の始点及び終点を設定すればよい。

それとともに、Ｓ１０３では設定された部分画像列のうち、画像要約処理が行われていないものを選択する。そして、基準画像選択部１００４は選択された部分画像列の先頭の画像を基準画像として選択する（Ｓ１０４）。また、所与の部分画像列において２回目以降のＳ１０４の処理（Ｓ１０７からＳ１０４に戻った場合）では、Ｓ１０７での削除可否判定処理で削除不可と判定された判定対象画像を新たな基準画像として選択する。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等により部分画像列から基準画像を選択できない場合には、当該部分画像列に対する処理を終了しＳ１０３に戻る。

基準画像が選択された場合には、判定対象画像選択部１００５は、部分画像列に含まれる画像から判定対象画像を選択する（Ｓ１０５）。判定対象画像が未設定の場合には、基準画像の次の画像（所与の部分画像列に対する最初のＳ１０５の処理であれば、部分画像列の２番目の画像）を判定対象画像として選択する。また、すでに部分画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１つずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。Ｓ１０５で選択する画像がない場合とは、本実施形態の手法では部分画像列の最後の画像まで削除可否判定処理が行われたということであるため、当該部分画像列に対する画像要約処理を終了してＳ１０３に戻る。

基準画像と判定対象画像が選択されたら、その間の変形情報を求め（Ｓ１０６）、求めた変形情報に基づいて判定対象画像の削除可否判定処理を行う（Ｓ１０７）。具体的には、２つの画像間の変形情報（変形パラメータ）を利用して被覆領域を求め、被覆領域に基づいて被覆率を算出する。被覆領域の例を図７に示す。具体的には、基準画像と判定対象画像との間の変形情報に基づいて、基準画像を変形して判定対象画像上に射影した領域が被覆領域となる。被覆領域は変形情報に基づいて算出されるため、基準画像において撮像された被写体と、判定対象画像上の被覆領域において撮像された被写体は、対応する（狭義には同一の）ものとなっている。

被覆率は例えば、図７に示したように判定対象画像全体の面積に対する被覆領域の面積の割合等から求めることができる。ただし、被覆率とは、基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。例えば、図８に示したように、判定対象画像上に設定された複数の点を、変形情報に基づいて基準画像上に射影し、前記複数の点の数に対する基準画像内に含まれる点の割合（或いは基準画像内に含まれる点の数そのもの）を被覆率として用いてもよい。

判定対象画像の削除可否は、被覆率と閾値との比較処理に基づいて行われればよく、被覆率が閾値以上であれば判定対象画像を削除可能とし、被覆率が閾値よりも小さい場合には判定対象画像を削除不可とすればよい。被覆率に基づく削除可否判定により、判定対象画像を削除したとしても、当該判定対象画像に撮像されたある程度（閾値に対応する程度）の割合の領域は基準画像によりカバーできることが保証される。

Ｓ１０７で削除可能と判定された場合には、Ｓ１０５に戻り判定対象画像の更新処理を行う。また、Ｓ１０７で削除不可と判定された場合には、その際の基準画像では判定対象画像をカバーできないということであるから、その際の判定対象画像は要約画像列に残す必要があるということになる。よって、Ｓ１０４に戻り、Ｓ１０７で削除不可と判定された判定対象画像を新たな基準画像として選択する。

Ｓ１０４〜Ｓ１０７の処理により１つの部分画像列に対する画像要約処理が終了する。その場合、Ｓ１０３に戻り次の部分画像列に対しても同様の画像要約処理を行うことになり、全ての部分画像列に対する画像要約処理が終了したら、Ｓ１０３で選択する部分画像列がないということになるため、処理を終了する。

以上の各部分画像列に対する画像要約処理を図示したものが図９（Ａ）〜図９（Ｃ）である。図９（Ａ）に示したように、Ｎ枚の画像を有する部分画像列に対して、まず１番目の画像が基準画像として選択され、２番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で被覆率が算出され、判定対象画像の削除可否が判定される。

判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図９（Ｂ）に示したように３番目の画像が判定対象画像として選択される。そして、基準画像と新たな判定対象画像の間で判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。

図９（Ｃ）に示したように、２番目〜ｋ−１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目〜ｋ−１番目までの画像とは基準画像によりある程度（閾値に対応する程度）カバーされているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は基準画像では十分カバーできないため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像を新たな基準画像として設定する。

そして、新たな基準画像が選択されたら、その１つ後方の画像を判定対象画像として選択し、再度図９（Ａ）〜図９（Ｃ）の処理を繰り返せばよい。その後も同様であり、判定対象画像が削除可能であれば、判定対象画像を１つ後方の画像に更新し、判定対象画像が削除不可であれば、その画像を新たな基準画像として選択する。そして、部分画像列の全ての画像について削除可否を判定したら処理を終了する。

なお、図４のフローチャートでは、シーンチェンジに基づいて複数の部分画像列が設定された場合には、当該複数の部分画像列を１つずつ順次処理していくものとしたが、これに限定されるものではない。処理部１００の構成が並列処理に適している（例えば処理部１００として複数のコアを有するＣＰＵが用いられている）場合や、複数のコンピュータにより本実施形態の画像処理装置が構成され、各コンピュータで分散処理が行われる場合等では、複数の部分画像列に対して並列に、Ｓ１０４〜Ｓ１０７の削除可否判定処理を行ってもよい。このようにすれば、削除可否判定処理に要する時間を短縮すること等が可能になる。

２．３変形例
なお、上記手法には種々の変形例が考えられる。例えば、シーンチェンジの検出は上述の手法に限定されるものではない。具体的には、画像列取得部２００により取得された画像列のうちの２枚の画像（狭義には隣り合う２枚の画像）の類似度情報に基づいて、シーンチェンジを検出してもよい。画像間の類似度が高いほうが変形情報も正確に推定可能であると考えられるため、画像間の類似度情報も変形情報の精度を表す情報として利用できるためである。この場合、画像間の類似度情報としては、公知技術であるＮＣＣや、画像間相違度の公知技術であるＳＳＤやＳＡＤの逆数等を利用すればよい。類似度情報により表される値が所与の閾値よりも低い場合に、２枚の画像間でシーンチェンジが起きたと判定する。例えば、隣り合う第１の画像と第２の画像との間の類似度が低いと判定された場合には、図１４に示したように、第１の画像と第２の画像との間でシーンチェンジが起きたものとすればよい。シーンチェンジの位置を一意に決定することを考えれば、類似度情報を求める２枚の画像は、画像列において隣り合っていることが望ましい。

また、図３のＳ１０４，Ｓ１０５における基準画像及び判定対象画像の選択手法も上述のものに限定されない。例えば、基準画像を複数選択してもよい。その場合、複数の基準画像のいずれかにより判定対象画像がカバーできれば、当該判定対象画像が削除できることから、図１０に示したように各基準画像を変形して求められた領域の和集合に相当する領域を被覆領域として処理を行えばよい。

基準画像を複数選択する手法としては、図１１（Ａ）、図１１（Ｂ）に示したように、判定対象画像の前方から１枚、後方から１枚の計２枚の基準画像を選択する手法が考えられる。この場合、２枚の基準画像の間の画像を順次判定対象画像として選択する。そして、２枚の基準画像の間の画像が全て削除可能であれば、当該２枚の基準画像を要約画像列に残し、間の画像を削除することで、要約画像による削除画像のカバー度合いを保証する削除可否判定処理を行えることになる。

ただし、要約画像の枚数を少なくするという観点で削除可否判定処理を行うのであれば、第１の基準画像（前方）と第２の基準画像（後方）により間の画像を全て削除できるという条件を満たし、且つその中で第１の基準画像と第２の基準画像が最も離れている位置を探索するとよい。その場合、第１の基準画像が確定している場合には、図１１（Ａ）、図１１（Ｂ）に示したように、ｋ番目の画像を第２の基準画像とした場合には間の画像を全て削除できるが、ｋ＋１番目の画像を第２の基準画像とした場合には間の画像の少なくとも１枚が削除できないようなｋを探索することになる。条件を満たすｋが見つかった場合には、ｋ番目の画像を新たな第１の基準画像として選択し、その後方から第２の基準画像を選択する。そして、その間の画像を順次判定対象画像として選択して削除可否判定処理を行い、上述したように、間の画像が全て削除可能で、且つ新たな第１の基準画像から最も遠い第２の基準画像を探索する処理を繰り返せばよい。この手法では、探索中の第２の基準画像は、要約画像列に残す画像の候補であり、実際に要約画像列に残す画像は第１の基準画像となる。

その他、基準画像と判定対象画像の選択は種々の手法により実現可能である。

以上の本実施形態では、画像処理装置は図１に示したように、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００を含む。処理部１００は、画像列からシーンチェンジを検出し、検出されたシーンチェンジに基づいて、画像列の一部から構成される部分画像列を設定する。そして処理部１００は、設定された部分画像列から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行う。

ここで、シーンチェンジとは撮像された画像に対応するシーンの変化を表すものである。従来より動画像の分割（例えばチャプター情報の挿入等）等の分野ではシーンチェンジという概念は広く用いられており、本実施形態のシーンチェンジとして、従来手法で用いられているシーンチェンジをそのまま適用してもよい。この場合、処理部１００は、複数の画像から求められた動き情報、特定の被写体の撮像情報、及び明度情報のいずれかに基づいて前記シーンチェンジを検出するものであってもよい。

動き情報とは、２つの画像間（本実施形態では狭義には隣り合う２つの画像間）での、被写体の画像上位置の変化を表すものであり、例えば動きベクトル等である。動きベクトルを求める手法は種々知られているが、単純には、一方の画像上の所与の領域をブロックとして、他方の画像に対してブロックマッチング処理を行うことで求められる。具体的には、前記所与の領域の画像上での位置と、マッチングがとれた領域の画像上での位置の相対位置関係を表す情報が動きベクトルとなる。動きベクトルを用いるのであれば、動きベクトルの大きさが大きい場合（例えば所与の閾値との比較処理を行う）に、当該動きベクトルの算出に用いた２つの画像の間でシーンチェンジが起こったと判定すればよい。

また、特定の被写体の撮像情報とは、特徴的な被写体が撮像されているか否かを表す情報である。画像からの被写体検出の手法は種々考えられるが、一例としては対象としている特定の被写体の情報をテンプレートとして保持しておき、各画像に対してテンプレートマッチング処理を行えばよい。この場合、特定の被写体が撮像されている状態から撮像されていない状態への変化、或いは特定の被写体が撮像されていない状態から撮像されている状態への変化をシーンチェンジとして検出する。

また、明度情報を用いてシーンチェンジを検出してもよい。明度情報の算出は、例えばＲＧＢ３チャンネルの画像であれば、各画素についてＲ、Ｇ、Ｂの値の最大値を当該画素の明度値として求め、画像中の全ての画素の明度値の平均値を当該画像の明度情報とすればよい。明度情報を用いるのであれば、画像列の所与の画像の明度情報と、次の画像の明度情報が大きく異なる（例えば閾値以上となる）場合に、当該画像間でシーンチェンジが起こったと判定すればよい。なお、撮像装置がフラッシュ機構等を備えている場合、当該機構を動作させることで、被写体等は全く変化していなくとも明度情報が大きく変化する可能性がある。よって、撮像装置の構成等によっては、シーンチェンジの検出に明度情報以外の情報を用いる、或いは明度情報と他の情報を併用するといったことが望ましい可能性もある。

また、シーンチェンジの検出は動き情報、特定の被写体の撮像情報、明度情報等に基づいて行われるものに限定されず、彩度情報（生体内画像であれば赤みの程度等）等、種々の手法を用いた変形実施が可能である。

また、シーンチェンジ検出のためのこれらの情報は単独で用いられるものに限定されず、２つ以上を組み合わせて用いてもよい。例えば、動き情報と明度情報の２つを組み合わせるのであれば、動き情報により表される画像間の動きが大きいこと、及び明度情報により表される明度の変化が大きいことの両方に基づく判定を行ってもよい。この場合の組み合わせ方も種々考えられ、動きが大きく且つ明度変化が大きい場合にシーンチェンジを検出するものであってもよいし、動きが大きいか又は明度変化が大きかのいずれかが成り立てばシーンチェンジを検出するものであってもよい。

これにより、画像列から検出したシーンチェンジに基づいて、当該画像列を部分画像列に分割し、各部分画像列に対して変形情報を用いた削除可否判定処理を行うことが可能になる。シーンチェンジの前方の画像と、シーンチェンジの後方の画像とでは撮像対象等が異なっている可能性が高いことから、変形情報を用いた削除可否判定処理ではそのような２つの画像を処理に用いる必要性は高くない。大きく異なる画像間で変形情報を無理に算出することで、削除可否判定処理の精度が低下する可能性を考慮すれば、むしろシーンチェンジ前後の画像による処理は避けた方がよい可能性もある。よって、ここではシーンチェンジに基づいて部分画像列を設定することで、効率的な画像要約処理を可能としている。

なお、本明細書において画像の前方、後方（或いはシーンチェンジの前方、後方）という表現が用いられているが、これは画像列中の位置での前後を指すものである。画像列は時系列的に或いは空間的に連続する画像の集合であることが想定されているため、その連続性から画像列の前方、後方を定義することができる。例えば時系列的に早い時刻に取得された画像は、それより遅い時刻に取得された画像よりも前方の画像となる。

また、処理部１００は、判定対象画像の削除可否の判定に用いられる変形情報の精度を表す精度情報に基づいて、シーンチェンジを検出してもよい。具体的には、処理部１００は、精度情報により表される値が、所与の精度閾値よりも小さい場合に、シーンチェンジを検出したと判定してもよい。

ここで変形情報の精度情報とは、本実施形態では画像列のうちの１つの画像、又は２つの画像の組み合わせごとに求められる情報である。そして、１つの画像から求められた精度情報により表される精度が低いとは、当該画像と画像列中の他の画像との間で変形情報を求めた場合に、当該変形情報は２つの画像間の変形を適切に表していないということを表す。よって、本実施形態の精度情報の算出に当たって、対応する変形情報が先に求められている必要はなく、場合によっては先に精度情報を算出し、当該精度情報に基づいて対応する変形情報を算出するか否かを決定するような手法を用いることも可能である。同様に、２つの画像の組み合わせについて求められた精度情報により表される精度が低いとは、当該２つの画像間で変形情報を求めた場合に、当該変形情報は２つの画像間の変形を適切に表していないということを表す。

これにより、変形情報の精度を表す精度情報に基づいて、シーンチェンジを検出することが可能になる。図１２（Ａ）、図１２（Ｂ）に示したように、変形情報の精度が低い場合には、変形情報を用いた処理の利点である観察できなくなる領域の発生抑止、或いは注目領域の見逃し可能性抑止という効果が十分得られなくなる。その点、精度情報に基づいてシーンチェンジを検出することで、削除可否判定処理の精度を向上させることが可能になる。また、シーンチェンジ検出とは無関係に精度情報を用いることでも精度の向上は図れるが、その場合シーンチェンジ検出のために他の処理が必要となる。その点、シーンチェンジ検出に精度情報を用いれば、削除可否判定処理の精度向上、及び画像要約処理の効率化、高速化をシンプルな処理により実現することが可能である。

また、処理部１００は、複数の画像のうちの選択画像の各画素に対して、変形情報の算出に適しているか否かの判定を行い、適していると判定された画素の数に基づいて精度情報を求め、求めた精度情報に基づいて、画像列における選択画像に対応する位置でのシーンチェンジを検出する処理を行ってもよい。

これにより、画像列から所与の画像を選択画像として選択した場合に、当該選択画像の各画素での判定の結果に基づいて、選択画像の精度情報を求めることが可能になる。変形情報は種々の形式が考えられ、また当該変形情報を用いた削除可否判定処理（狭義にはそのうちの変形処理）の手法も種々考えられるが、一方の画像上での所与の画素が、他方の画像上のどの位置の画素に対応するかということが考えの基本となっている。つまり、変形情報の精度を画素単位の情報に基づいて決定することは自然であり、本実施形態においても選択画像の各画素について変形情報算出に適しているかの判定を行い、判定結果から精度情報を求めるものとする。具体的には、図１３に示したように選択画像の全画素数に対する、変形情報算出に適している画素数（マスク画素数）の割合等を精度情報とすればよい。

なお、選択画像から求められた精度情報により、当該選択画像を対象とした変形情報の精度が低いと判定された場合には、画像列における選択画像の位置でシーンチェンジを検出したものとする。例えば、図５（Ａ）のように、選択画像とその１つ後方の画像との間でシーンチェンジがあったものとしてもよい。或いは、選択画像とその１つ前方の画像との間の変形情報も精度が低いと考えられるため、図５（Ｂ）のように選択画像と１つ後方の画像の間、及び選択画像と１つ前方の画像の間の２カ所でシーンチェンジを検出したものとしてもよい。

また、処理部１００は、選択画像上に、変形情報の算出に適しているか否かの判定の対象となっている処理対象画素を含む所与のサイズの領域を設定し、設定された領域でのテクスチャ情報に基づいて、処理対象画素が変形情報の算出に適しているか否かの判定を行ってもよい。

ここで、テクスチャとは画像の模様を表すものである。例えば、画像に対して２次元フーリエ変換等を行って空間周波数のパワースペクトルを求め、その結果をテクスチャ情報としてもよい。ただし、本実施形態のテクスチャ情報は画像上の模様の量を表す情報であればよく、被写体の輪郭等を表すエッジ情報をテクスチャ情報に含めてもよい。

これにより、画像上の各画素が変形情報の算出に適しているか否かをテクスチャ情報から求めることが可能になる。複雑な模様が描かれている場合とは、処理対象画素と、その周辺の他の画素との区別が容易であることが想定されるため、選択画像と他の画像との間の変形情報を求めた際にも、処理対象画素が当該他の画像上のどの画素と対応するかが明確な可能性が高い。逆に、模様がない場合では処理対象画素と他の画素が区別できず、必然的に処理対象画素と、他の画像上の画素との対応付けも困難となる。

なお、各画素に対して、当該画素が変形情報の算出に適しているか否かの判定はテクスチャ情報を用いるものに限定されず、例えば特許文献３に開示されている手法等を用いてもよい。

また、処理部１００は、画像列の複数の画像のうちの第１の画像と、第１の画像の次の第２の画像の間の類似度情報を精度情報として求めてもよい。そして、求めた精度情報に基づいて、画像列における第１の画像と第２の画像の間の位置でのシーンチェンジを検出する。

これにより、２つの画像間（ここでは隣り合う画像間）の類似度情報を精度情報として用いることが可能になる。これは、画像間の類似度が高いほど、変形情報も精度よく算出することができると考えられるためである。類似度情報としては、従来より知られているＮＣＣ等を用いてもよい。或いは、従来より知られている画像間相違度を表すＳＳＤやＳＡＤを求め、その逆数を類似度情報としてもよい。なお、この場合のシーンチェンジの位置は、図１４に示したように第１の画像と第２の画像の間とすればよい。

また、処理部１００は、画像列から第ｉ（ｉは整数）のシーンチェンジと、第ｉのシーンチェンジの次の第ｉ＋１のシーンチェンジを検出した場合に、画像列の複数の画像のうち、第ｉのシーンチェンジの後方で、且つ第ｉ＋１のシーンチェンジの前方の画像を部分画像列として設定してもよい。

これにより、図２（Ｂ）に示したように、シーンチェンジに基づいて部分画像列を設定することが可能になる。本実施形態では、シーンチェンジは画像と画像の間で検出されることを想定しているため（ただしこれに限定されない）、第ｉのシーンチェンジの直後の画像を始点とし、第ｉ＋１のシーンチェンジの直前の画像を終点とする画像列が部分画像列として設定されることになる。なお、第ｉのシーンチェンジと第ｉ＋１のシーンチェンジの間に１枚しか画像がないケースも考えられるが、その場合にはその画像を要約画像列に残すか、削除するか（観察できなくなる領域の発生抑止等を考慮すれば要約画像列に残すことが望ましい）を決定すれば、部分画像列として設定する必要はない。或いは、画一的に部分画像列に設定してしまい、部分画像列に対する処理を行ってもよい。その場合には、Ｓ１０４で基準画像が設定され、その後Ｓ１０５で判定対象画像として選択する画像がないため、１枚の画像からなる部分画像列に対する処理は、当該画像を要約画像列に残すものとして終了することになる。

また、処理部１００は、部分画像列を複数設定した場合には、複数の部分画像列に対して並列に、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行ってもよい。

具体的には、処理部１００は、画像列から第ｊ（ｊは整数）のシーンチェンジを検出した場合に、画像列の複数の画像のうち、第ｊのシーンチェンジの前方の画像を含む第ｋ（ｋは整数）の部分画像列と、第ｊのシーンチェンジの後方の画像を含む第ｋ＋１の部分画像列を設定する。その場合、第ｋの部分画像列から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行う処理と、第ｋ＋１の部分画像列から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行う処理とを並行して実行してもよい。

これにより、各部分画像列に対する削除可否判定処理（図４のＳ１０４〜Ｓ１０７で示した処理）を並列に実行することができるため、画像要約処理を高速化することが可能になる。

また、処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出し、被覆率に基づいて、判定対象画像の削除可否の判定を行ってもよい。

ここで被覆率とは、判定対象画像上に撮像された被写体のうち、どの程度の被写体が基準画像上に撮像されているかを表す情報である。ただし、被覆率は基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。また、削除可否の判定処理は例えば所与の閾値との比較処理である。閾値を高くすれば、画像を削除することにより観察できなくなる領域が発生することに対する抑止効果の向上が期待できる。一方、閾値を低くすれば、要約処理後の要約画像列に含まれる画像の枚数を少なくすることができる。上述の抑止効果の向上と、画像枚数を少なくすることはトレードオフの関係にあり閾値の設定により制御が可能となるため、状況に応じて適切に閾値を設定することが望ましい。

これにより、画像要約処理により画像を削除した結果、観察できなくなる被写体領域が発生することを抑止でき、またその抑止の程度（強度）を制御することが可能になる。本実施形態の手法を用いることで、上述した削除可否の判定処理に用いる閾値としてｘ％に相当する値を用いれば、判定対象画像を削除したとしても、当該判定対象画像上に撮像された被写体のうち、ｘ％は基準画像によりカバーされている（ｘ％の被写体範囲は基準画像上に撮像されている）ことが保証できるためである。

また、処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求め、判定対象画像に占める被覆領域の割合を、被覆率として算出してもよい。

これにより、図７に示したように被覆領域を用いて被覆率を算出することが可能になる。ただし、被覆率の算出手法は被覆領域を用いるものに限定されず、図８に示したように複数の点を用いるものであってもよい。

また、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．第２の実施形態
次に、変形情報を用いた削除可否判定処理の他の手法について説明する。本実施形態の画像処理装置の構成例は、削除可否判定部１００６での処理内容が異なるものの、図１と同様であるため詳細な説明は省略する。また、処理の流れについても、Ｓ１０７での処理内容が異なるものの、図４のフローチャートと同様であるため詳細な説明は省略する。

３．１構造要素を用いた削除可否判定
まず、削除可否判定処理として、注目領域に対応した構造要素を用いた処理を行う例について説明する。図１５に示したように、削除可否判定部１００６は、構造要素生成部１０１７と、被覆領域算出部１０１０と、注目領域見逃し可能性判定部１０１８と、を含んでもよい。ただし、削除可否判定部１００６は、図１５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

構造要素生成部１０１７は、注目領域に基づいて、注目領域見逃し可能性判定部１０１８での処理に用いられる構造要素を生成する。ここでは、見逃しが好ましくない注目領域と同一形状、同一サイズの領域を設定するが、これに限定されるものではない。

被覆領域算出部１０１０は、被覆領域を算出するとともに、判定対象画像のうち被覆領域ではない領域を非被覆領域として設定してもよい。

注目領域見逃し可能性判定部１０１８は、判定対象画像を削除した場合に、判定対象画像上に撮像された注目領域が、基準画像では撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。

具体的な処理の流れを説明する。構造要素生成部１０１７は、注目領域に基づいて構造要素を生成しておく。ここでは、注目領域の典型的な大きさ等を考慮して、見逃すことが好ましくないサイズ、形状の領域を構造要素として設定する。例えば、注目領域が病変部であり、画像上で直径３０ピクセルの円よりも大きい病変は深刻度が高く見逃すべきではない、ということがわかっているのであれば、構造要素は直径３０ピクセルの円を設定することになる。

基準画像と判定対象画像が選択されたら、変形情報取得部１００１は、基準画像と判定対象画像の間の変形情報を取得する。被覆領域算出部１０１０は、取得された変形情報を利用して、基準画像を判定対象画像上へ射影し、被覆領域を求める。

被覆領域が算出されたら、注目領域見逃し可能性判定部１０１８は、注目領域の見逃し可能性を判定する。具体的には、判定対象画像のうち被覆領域以外の領域である非被覆領域に対して、構造要素を用いた収縮処理を行い、残留領域があるか否かの判定を行う。

収縮処理の具体例について図１６（Ａ）〜図１６（Ｅ）を用いて説明する。非被覆領域は図１６（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図１６（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。

この際、構造要素による収縮処理とは、当該構造要素の基準点を非被覆領域の境界上に設定した場合に、非被覆領域と構造要素の重複領域を削る処理となる。例えば、構造要素として円形状の領域を設定し、その基準点を円の中心とした場合には、非被覆領域の境界上に中心を有する円を描き、当該円と非被覆領域とが重なる部分を非被覆領域から除外する処理を行うことになる。具体的には、図１６（Ａ）に示したように、非被覆領域の外側境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。

外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図１６（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域を非被覆領域から除外していけばよい。

非被覆領域の境界の一部が判定対象画像の境界と一致する場合等では、非被覆領域の境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図１６（Ａ）に示したように、非被覆領域の境界としてＢＯ１とＢＯ２の２つが考えられる場合には、それぞれについて上述の処理を行う。具体的には、図１６（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、非被覆領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。

このような収縮処理を行うことで、非被覆領域の面積は小さくなる。例えば、図１６（Ａ）の非被覆領域の左部に着目した場合、図１６（Ａ）で示したＢＯ１での収縮処理、及び図１６（Ｂ）で示したＢＯ２での収縮処理により、非被覆領域は完全に削除され、残留する領域は存在しない。一方、非被覆領域の右下部分に着目した場合、図１６（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの非被覆領域全体に対して構造要素による収縮処理を行った結果は、図１６（Ｄ）のようになり、残留領域ＲＥが生じることになる。

ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である非被覆領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、非被覆領域に含まれる点のうち、上記境界上の点から距離ｒ以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径Ｒ（＝ｒ）の円で表される注目領域が、残留領域中の点をその中心とすることで、非被覆領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。

つまり、残留領域が存在する場合とは、図１６（Ｅ）の右下に示したように、構造要素に対応する領域が非被覆領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、判定対象画像を削除してしまうと、基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図１６（Ｅ）の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、判定対象画像を削除したとしても、注目領域の少なくとも一部は基準画像に残すことができる。以上のことより、注目領域見逃し可能性判定部１０１８では、非被覆領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かに基づいて、判定対象画像の削除可否判定を行う。

ただし、構造要素による収縮処理の対象は非被覆領域に限定されるものではない。例えば、図１７（Ａ）に示したように、判定対象画像を対象として構造要素による収縮処理を行ってもよい。この場合、収縮処理により削られる領域内に注目領域が完全に収まってしまわないように設定する（典型的には構造要素として注目領域の２倍のサイズの要素を設定する）ことで、図１７（Ｂ）に示したように、残存領域は基準画像により被覆されることが求められる要被覆領域となる。つまりこの場合、要被覆領域全体が基準画像により被覆されているか否かにより削除可否判定を行えばよく、具体的には図１８（Ａ）、図１８（Ｂ）に示したように、基準画像及び要被覆領域の一方を変形情報により変形し、変形後の領域を用いた包含判定を行えばよい。要被覆領域が基準画像に包含される場合には、判定対象画像は削除可能となり、包含されない部分があれば判定対象画像は削除不可となる。

また、構造要素を用いた削除可否判定処理は収縮処理を用いるものに限定されず、非被覆領域に構造要素が含まれるか否かを判定する処理であればよい。例えば、図１９（Ａ）や図１９（Ｂ）に示したように、被覆領域の境界上の点（ｐ１〜ｐ６等）から判定対象画像の境界までの距離（ｋ１〜ｋ６等）、或いは判定対象画像の境界上の点から被覆領域の境界までの距離に基づいて、非被覆領域の最大径に相当する値を求め、求めた値と構造要素（この場合注目領域と同等のサイズ）の最小径との比較処理を行うような、簡易的な手法であってもよい。なお、図１９（Ａ）は判定対象画像が四角形の例、図１９（Ｂ）は判定対象画像が円形状である例を示したものである。

３．２削除可否判定の変形例
上述したように、削除可否判定処理としては、被覆率を用いたものや構造要素を用いたものが考えられる。ただし、削除可否判定処理はそれらを単体で用いる処理に限定されず、複数を組み合わせてもよい。

例えば、削除可否判定処理として、被覆率を用いた処理と構造要素を用いた処理の両方を行ってもよい。この場合、観察できなくなる領域の発生を抑止し、且つ注目領域の見落とし可能性を抑止することで要約画像列の有用性を高めるという観点から考えれば、被覆率に基づく判定で削除可能とされ、且つ構造要素に基づく判定で削除可能とされた場合に、判定対象画像を削除可能と判定して、それ以外の場合には削除不可と判定すればよい。

以上の本実施形態では、処理部１００は、基準画像と判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、判定対象画像の削除可否判定を行ってもよい。

ここで、変形情報を用いた処理は、基準画像及び判定対象画像の一方の少なくとも一部を、変形情報を用いて変形する処理であってもよい。また、構造要素を用いた処理は、構造要素による収縮処理、又は基準画像により判定対象画像が覆われない領域である非被覆領域に構造要素が含まれるか否かを判定する処理であってもよい。

また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

これにより、注目領域に対応する構造要素を用いた処理を行えるため、注目領域の撮像状態に応じた処理が可能になる。具体的には、構造要素による収縮処理等を行うことで、判定対象画像上に撮像された注目領域の少なくとも一部が、基準画像に撮像されているか否かの判定を行うことができるため、判定対象画像を削除したとしても、要約画像列には必ず注目領域の少なくとも一部を撮像している画像を残すことが可能となる。これにより、ユーザが注目領域を見逃す可能性を抑止すること等が可能になる。

また、処理部１００は、変形情報を用いた処理として、基準画像を変形情報を用いて変形して、基準画像により判定対象画像が覆われない領域である非被覆領域を求める処理を行い、構造要素を用いた処理として、非被覆領域に対して構造要素による収縮処理を行ってもよい。

これにより、非被覆領域に構造要素（ここでは注目領域と同等のサイズ）が完全に収まってしまうか否かを精度よく判定することが可能になる。非被覆領域とは、判定対象画像のうち基準画像により被覆されない領域であるため、図１６（Ａ）〜図１６（Ｅ）を用いて上述したように、残留領域の有無は、非被覆領域に構造要素が完全に収まってしまうか否かに対応することになる。ここでの判定は厳密なものとなるため、図１７（Ａ）〜図１９（Ｂ）等の手法等に比べると、削除可否判定の精度を高くすることができる。ただし、処理負荷の軽減等が重要視されるケースにおいては、図１７（Ａ）〜図１９（Ｂ）等の手法を用いることを妨げるものではない。

以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１００処理部、２００画像列取得部、３００記憶部、
１００１変形情報取得部、１００２シーンチェンジ検出部、
１００３部分画像列設定部、１００４基準画像選択部、
１００５判定対象画像選択部、１００６削除可否判定部、
１０１０被覆領域算出部、１０１１被覆率算出部、１０１２閾値判定部、
１０１７構造要素生成部、１０１８注目領域見逃し可能性判定部

Claims

複数の画像を有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
を含み、
前記処理部は、
前記画像列からシーンチェンジを検出し、
検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、
設定された前記部分画像列から基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
請求項１において、
前記処理部は、
前記判定対象画像の削除可否の判定に用いられる前記変形情報の精度を表す精度情報に基づいて、前記シーンチェンジを検出することを特徴とする画像処理装置。
請求項２において、
前記処理部は、
前記複数の画像のうちの選択画像の各画素に対して、前記変形情報の算出に適しているか否かの判定を行い、適していると判定された画素の数に基づいて前記精度情報を求め、求めた前記精度情報に基づいて、前記画像列における前記選択画像に対応する位置での前記シーンチェンジを検出する処理を行うことを特徴とする画像処理装置。
請求項３において、
前記処理部は、
前記選択画像上に、前記変形情報の算出に適しているか否かの判定の対象となっている処理対象画素を含む所与のサイズの領域を設定し、設定された前記領域でのテクスチャ情報に基づいて、前記処理対象画素が前記変形情報の算出に適しているか否かの判定を行うことを特徴とする画像処理装置。
請求項２において、
前記処理部は、
前記複数の画像のうちの第１の画像と、前記第１の画像の次の第２の画像の間の類似度情報を前記精度情報として求め、求めた前記精度情報に基づいて、前記画像列における前記第１の画像と前記第２の画像の間の位置での前記シーンチェンジを検出する処理を行うことを特徴とする画像処理装置。
請求項２乃至５のいずれかにおいて、
前記処理部は、
前記精度情報により表される値が、所与の精度閾値よりも小さい場合に、前記シーンチェンジを検出したと判定することを特徴とする画像処理装置。
請求項１において、
前記処理部は、
前記複数の画像から求められた動き情報、特定の被写体の撮像情報、及び明度情報の少なくとも１つに基づいて前記シーンチェンジを検出することを特徴とする画像処理装置。
請求項１乃至７のいずれかにおいて、
前記処理部は、
前記画像列から第ｉ（ｉは整数）のシーンチェンジと、前記第ｉのシーンチェンジの次の第ｉ＋１のシーンチェンジを検出した場合に、
前記画像列の前記複数の画像のうち、前記第ｉのシーンチェンジの後方で、且つ前記第ｉ＋１のシーンチェンジの前方の前記画像を前記部分画像列として設定することを特徴とする画像処理装置。
請求項１乃至８のいずれかにおいて、
前記処理部は、
前記部分画像列を複数設定した場合には、複数の前記部分画像列に対して並列に、
前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
請求項９において、
前記処理部は、
前記画像列から第ｊ（ｊは整数）のシーンチェンジを検出した場合に、
前記画像列の前記複数の画像のうち、前記第ｊのシーンチェンジの前方の前記画像を含む第ｋ（ｋは整数）の部分画像列と、前記第ｊのシーンチェンジの後方の前記画像を含む第ｋ＋１の部分画像列を設定し、
前記第ｋの部分画像列から前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う処理と、
前記第ｋ＋１の部分画像列から前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う処理とを、
並行して実行することを特徴とする画像処理装置。
請求項１乃至１０のいずれかにおいて、
前記処理部は、
前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、
前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
請求項１１において、
前記処理部は、
前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像に占める前記被覆領域の割合を、前記被覆率として算出することを特徴とする画像処理装置。
請求項１乃至１２のいずれかにおいて、
前記処理部は、
前記基準画像と前記判定対象画像の間の前記変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行うことを特徴とする画像処理装置。
請求項１３において、
前記変形情報を用いた処理は、
前記基準画像及び前記判定対象画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、
前記構造要素を用いた処理は、
前記構造要素による収縮処理、又は前記基準画像により前記判定対象画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であることを特徴とする画像処理装置。
請求項１３において、
前記処理部は、
前記変形情報を用いた処理として、
前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われない領域である非被覆領域を求める処理を行い、
前記構造要素を用いた処理として、
前記非被覆領域に対して前記構造要素による収縮処理を行うことを特徴とする画像処理装置。
複数の画像を有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
コンピュータを機能させ、
前記処理部は、
前記画像列からシーンチェンジを検出し、
検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、
設定された前記部分画像列から基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とするプログラム。
複数の画像を有する画像列を取得し、
取得した前記画像列からシーンチェンジを検出し、
検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、
設定された前記部分画像列から基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことで、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。