JP5980567B2 - 画像処理装置、プログラム及び画像処理装置の作動方法 - Google Patents

Description

本発明は、画像処理装置、プログラム及び画像処理装置の作動方法等に関する。

所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。

そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。

特開２００９−５０２０号公報 特開２０１１−２４７６３号公報

例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。

しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。

本発明の幾つかの態様によれば、注目画像を要約画像列に残し、且つ画像の削除により観察できなくなる領域の発生を抑止する場合に、効率的な画像要約処理を行う画像処理装置、プログラム及び画像処理方法等を提供することができる。

本発明の一態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除する第１の削除可否判定処理及び第２の削除可否判定処理に基づいて、要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、前記第１の削除可否判定処理として行い、前記処理部は、前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、前記処理部は、前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、前記第２の削除可否判定処理として行う画像処理装置に関係する。

本発明の一態様では、注目画像列を設定し、設定した注目画像列に基づいて第１の削除可否判定処理を行い、第１の削除可否判定処理の結果に基づいて、第２の削除可否判定処理を行う。第１，第２の削除可否判定処理を画像間の変形情報に基づく処理とするため、注目画像と変形情報の両方を考慮した画像要約処理が可能になる。その際、前段での結果を用いて後段の処理を行う多段処理となっているため、それぞれを独立で行う場合に比べて効果的な画像要約処理を行うこと等ができる。

また、本発明の一態様では、前記処理部は、第１の被覆率判定処理、及び第１の構造要素判定処理の少なくとも一方の処理を、前記第１の削除可否判定処理として行い、前記処理部は、第２の被覆率判定処理、及び第２の構造要素判定処理の少なくとも一方の処理を、前記第２の削除可否判定処理として行い、前記第１の被覆率判定処理は、前記第１の変形情報に基づいて、前記第１の基準画像による前記第１の判定対象画像の被覆率を求め、求めた前記被覆率に基づいて前記第１の判定対象画像の削除可否を判定する処理であり、前記第１の構造要素判定処理は、注目領域に対応する構造要素及び前記第１の変形情報を用いた処理の結果に基づいて、前記第１の判定対象画像の削除可否を判定する処理であり、前記第２の被覆率判定処理は、前記第２の変形情報に基づいて、前記第２の基準画像による前記第２の判定対象画像の前記被覆率を求め、求めた前記被覆率に基づいて前記第２の判定対象画像の削除可否を判定する処理であり、前記第２の構造要素判定処理は、前記注目領域に対応する前記構造要素及び前記第２の変形情報を用いた処理の結果に基づいて、前記第２の判定対象画像の削除可否を判定する処理であってもよい。

これにより、第１の削除可否判定処理及び第２の削除可否判定処理として、それぞれ被覆率判定処理及び構造要素判定処理の少なくとも一方の処理を行うことが可能になる。

また、本発明の一態様では、前記処理部は、前記第１の削除可否判定処理として、前記第１の被覆率判定処理を行う場合には、前記第２の削除可否判定処理として、前記第２の被覆率判定処理を行い、前記処理部は、前記第１の削除可否判定処理として、前記第１の構造要素判定処理を行う場合には、前記第２の削除可否判定処理として、前記第２の構造要素判定処理を行ってもよい。

これにより、第１，第２の削除可否判定処理を被覆率に基づいて行うことも可能になるし、第１，第２の削除可否判定処理を構造要素に基づいて行うことも可能になる
また、本発明の一態様では、前記処理部は、前記第１の被覆率判定処理及び前記第１の構造要素判定処理の両方の処理を、前記第１の削除可否判定処理として行ってもよい。

これにより、第１の削除可否判定処理において、被覆率と構造要素の両方を考慮した削除可否判定処理を行うことが可能になる。

また、本発明の一態様では、前記処理部は、前記第２の被覆率判定処理及び前記第２の構造要素判定処理の両方の処理を、前記第２の削除可否判定処理として行ってもよい。

これにより、第２の削除可否判定処理において、被覆率と構造要素の両方を考慮した削除可否判定処理を行うことが可能になる。

また、本発明の一態様では、前記第１の被覆率判定処理は、前記第１の基準画像による前記第１の判定対象画像の前記被覆率を表す値と、第１の被覆率閾値との比較結果に基づく判定処理であり、前記第１の構造要素判定処理は、第１のサイズの要素を前記構造要素として設定し、設定した前記構造要素による収縮処理、又は前記第１の基準画像により前記第１の判定対象画像が覆われない領域に、設定した前記構造要素が含まれるか否かを判定する処理であり、前記第２の被覆率判定処理は、前記第２の基準画像による前記第２の判定対象画像の前記被覆率を表す値と、第２の被覆率閾値との比較結果に基づく判定処理であり、前記第２の構造要素判定処理は、第２のサイズの要素を前記構造要素として設定し、設定した前記構造要素による収縮処理、又は前記第２の基準画像により前記第２の判定対象画像が覆われない領域に、設定した前記構造要素が含まれるか否かを判定する処理であってもよい。

これにより、被覆率判定処理として、被覆率と被覆率閾値との比較処理を行うことが可能になるとともに、構造要素判定処理として、所与のサイズの構造要素による処理等が可能になる。

また、本発明の一態様では、前記処理部は、前記第２の被覆率閾値として、前記第１の被覆率閾値とは異なる値を設定してもよい。

これにより、第１の削除可否判定処理と第２の削除可否判定処理とで、被覆率判定処理に用いる閾値を変更すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第２のサイズとして、前記第１のサイズとは異なるサイズを設定してもよい。

これにより、第１の削除可否判定処理と第２の削除可否判定処理とで、構造要素のサイズを変更すること等が可能になる。

また、本発明の一態様では、第１〜第Ｎ（Ｎは２以上の整数）の画像が前記部分画像列として設定された場合に、前記処理部は、第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像である前方基準画像と、第ｑ（ｑはｐ＋２以上の整数）の画像である後方基準画像を、前記第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を前記第２の判定対象画像として選択し、前記前方基準画像と前記第２の判定対象画像の間の変形を表す前方変形情報、及び前記後方基準画像と前記第２の判定対象画像の間の変形を表す後方変形情報を、前記第２の変形情報として求め、求めた前記前方変形情報及び前記後方変形情報に基づいて、前記第２の判定対象画像の削除可否の判定を行ってもよい。

これにより、第２の判定対象画像の前方及び後方に第２の基準画像を設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された後方基準画像選択区間から前記後方基準画像を選択して、前記前方基準画像及び前記後方基準画像に基づいて前記第２の判定対象画像の削除可否の判定を行い、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記後方基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな前記後方基準画像として選択するとともに、前記後方基準画像選択区間の前記始点を前記第ｑの画像に更新してもよい。

これにより、後方基準画像選択区間を設定するとともに、削除可否判定の結果に基づいて、後方基準画像を部分画像列における後方の画像に更新し、選択区間の始点を更新すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記後方基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな前記後方基準画像として選択するとともに、前記後方基準画像選択区間の前記終点を前記第ｑの画像に更新してもよい。

これにより、後方基準画像を部分画像列における前方の画像に更新するとともに、選択区間の終点を更新すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記後方基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、前記前方基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記始点に対応する前記複数の画像の１つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の１つよりも前記部分画像列において後方の前記画像を新たな前記部分画像列として設定し、設定された新たな前記部分画像列に対して、前記ｐの値を１に設定して再度処理を行ってもよい。

これにより、後方基準画像選択区間の始点と終点が隣り合う場合に、その時点での部分画像列に対する処理を終了し、新たな部分画像列を設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記複数の画像から注目領域を検出する処理を行い、前記複数の画像のうち、前記注目領域が検出された前記画像を前記注目画像として設定してもよい。

これにより、注目領域が検出されたか否かに基づいて、注目画像を設定すること等が可能になる。

また、本発明の一態様では、前記画像列取得部は、前記画像列として、生体内を撮像した複数の生体内画像を取得し、前記処理部は、前記複数の生体内画像から、病変領域を前記注目領域として検出する処理を行い、前記複数の生体内画像のうち、前記病変領域が検出された前記画像を前記注目画像として設定してもよい。

これにより、生体内画像において病変領域が撮像されたか否かに基づいて、注目画像を設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記部分画像列を複数設定した場合には、複数の前記部分画像列に対して並列に前記第２の削除可否判定処理を行ってもよい。

これにより、処理を高速化すること等が可能になる。

また、本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。

また、本発明の他の態様は、複数の画像を有する画像列を取得し、前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、第１の削除可否判定処理として行い、前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、第２の削除可否判定処理として行い、前記第１の削除可否判定処理、及び前記第２の削除可否判定処理に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。

図１（Ａ）〜図１（Ｄ）は本実施形態の画像要約処理を説明する図。 第１の実施形態の画像要約装置の構成例。 第１の実施形態の画像要約処理を説明するフローチャート。 図４（Ａ）〜図４（Ｄ）は基準画像と判定対象画像の選択手法を説明する図。 第１の削除可否判定部の構成例。 被覆領域に基づいて被覆率を求める手法を説明する図。 複数の点に基づいて被覆率を求める手法を説明する図。 第２の削除可否判定部の構成例。 第１の削除可否判定部の他の構成例。 図１０（Ａ）〜図１０（Ｅ）は非被覆領域に対する構造要素による収縮処理を説明する図。 図１１（Ａ）、図１１（Ｂ）は判定対象画像に対する構造要素による収縮処理を説明する図。 図１２（Ａ）、図１２（Ｂ）は基準画像と要被覆領域の包含判定の例。 図１３（Ａ）、図１３（Ｂ）は構造要素を用いた他の処理を説明する図。 複数の基準画像に基づいて被覆領域を求める処理を説明する図。 図１５（Ａ）、図１５（Ｂ）は前方基準画像と後方基準画像を用いた第２の削除可否判定処理を説明する図。 第２の基準画像選択部の構成例。 図１７（Ａ）〜図１７（Ｇ）は後方基準画像の更新手法を説明する図。 第３の実施形態の画像要約処理を説明するためのフローチャート。 画像処理装置の基本的なシステム構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。

従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。

このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域である注目領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。

これに対して、画像列から基準画像（残す画像、基準画像の設定手法によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）を選択し、基準画像と判定対象画像の間の変形情報に基づいた画像要約処理を行う手法が有効である。具体的には、図６に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出する。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。

よって、一例としては判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。

変形情報を用いた画像要約処理の別の例としては、図１０（Ａ）〜図１０（Ｅ）に示したように、非被覆領域に対する構造要素（注目領域に対応する）による収縮処理の結果に基づいて、判定対象画像の削除可否を判定してもよい。詳細については後述するが、この場合、判定対象画像を削除したとしても当該判定対象画像上に撮像された構造要素のサイズ以上の領域の少なくとも一部は、基準画像上に撮像されることを保証できる。そのため、判定対象画像に注目領域全体が撮像されていた場合に、当該注目領域の判定対象画像上の位置によらず、その少なくとも一部を基準画像により観察できるため、注目領域の見逃し可能性を抑止することが可能になる。

しかし被覆率による削除可否判定だけでは、注目領域が撮像された画像である注目画像の削除可否について特に配慮されていない。例えば、注目画像の、他の画像（他の注目画像であってもよいし、注目画像ではない画像であってもよい）による被覆率が高ければ、注目画像であっても削除対象となる。よって、極端な場合には、画像列から注目画像が全て削除されてしまい、画像要約処理後の要約画像列から注目領域が観察できないという可能性もある。

また、構造要素による削除可否判定では、注目領域全体が撮像された画像を削除し、当該注目領域のごく一部しか撮像されていない画像が残されるケースがあり、注目領域の観察という観点からは好ましくない場合もあり得る。

もちろん、変形情報を用いた処理（被覆率、構造要素、或いはその両方を用いた処理等）により効果的な画像要約処理を行うことが可能なケースも十分考えられる。しかし、カプセル内視鏡を用いた場合の病変部のように、重点的に観察すべき注目領域があるのであれば、注目領域が撮像されているか否かという観点による処理の有用性は高い。具体的には、注目画像を積極的に（狭義には必ず）要約画像列に残すことで、変形情報を用いた処理で生じうる問題に対処できる。

そこで本出願人は、取得した画像列のうち、注目領域が撮像された１又は複数の画像を注目画像列として設定し、設定した注目画像列に基づいて、変形情報を用いた画像削除可否判定処理を行って要約画像列を取得する手法を提案する。ただし、図１（Ａ）に示したように注目画像列を求め、それとは独立に変形情報に基づいて画像要約処理を行った結果の画像列を求めた場合、単純な和集合をとったのでは、図１（Ｂ）のＡ１に示した箇所のように画像が密となる部分が存在する可能性がある。この箇所では、他の画像により十分カバーされている画像が要約画像列に残されてしまうおそれがあり、画像要約処理による画像枚数の削減効果が低くなってしまう可能性がある。そのためここでは、注目画像列に基づく第１の削除可否判定処理を行い、その後第１の削除可否判定処理の結果に基づく第２の削除可否判定処理を行うという２段階処理により、画像要約処理による画像枚数の削減効果を高めるものとする。第１，第２の削除可否判定処理は変形情報を用いた処理であり、その詳細については後述する。

ここでの画像処理装置の１つの実施形態としては、図１９に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の画像を有する画像列を取得する。そして処理部１００は、複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、設定した注目画像列から第１の基準画像を選択するとともに、複数の画像から第１の判定対象画像を選択し、第１の基準画像と第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、第１の判定対象画像の削除可否を判定する処理を、第１の削除可否判定処理として行う。また、処理部１００は、画像列から、第１の削除可否判定処理において削除不可と判定された画像が複数連続する部分画像列を設定する。さらに、処理部１００は、部分画像列から第２の基準画像と第２の判定対象画像を選択し、第２の基準画像と第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、第２の判定対象画像の削除可否を判定する処理を、第２の削除可否判定処理として行う。

以下、第１の実施形態では基本的な手法について説明する。第１の実施形態では、第１，第２の削除可否判定処理として被覆率を用いた例について説明する。ただし、第１，第２の削除可否判定処理には種々の変形例（例えば構造要素を用いる手法）が考えられる。よって、それらの変形例について第２の実施形態で説明する。また、第２の削除可否判定処理における基準画像（第２の基準画像）と、判定対象画像（第２の判定対象画像）の選択手法にも種々の変形例が考えられるため、それらの変形例を第３の実施形態で説明する。

２．第１の実施形態
本実施形態の基本的な手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明した後、第１の削除可否判定処理、第２の削除可否判定処理の各処理の詳細について説明する。

２．１ システム構成例
図２に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。

処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

画像列取得部２００は、画像要約処理の対象となる画像列を取得する。取得する画像列は、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。

記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

また、処理部１００は、図２に示したように注目画像列設定部１００１と、第１の基準画像選択部１００２と、第１の判定対象画像選択部１００３と、第１の削除可否判定部１００４と、部分画像列設定部１００５と、第２の基準画像選択部１００６と、第２の判定対象画像選択部１００７と、第２の削除可否判定部１００８と、を含んでもよい。なお処理部１００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。

注目画像列設定部１００１は、画像列取得部２００が取得した画像列（以下、注目画像列や要約画像列等との区別を明確にするため、取得画像列とも表記する）を構成する複数の画像から注目画像を抽出し、抽出した１又は複数の注目画像から構成される注目画像列を設定する。ここで、注目画像とは例えば注目領域（病変部等）が撮像された画像のことである。注目領域の検出は処理部１００で行われることが想定され、例えば取得画像列の各画像に対して所与の画像処理を行うことで注目領域が撮像されたか否かを判定し、注目領域が撮像されている画像を注目画像とすればよい。注目領域の検出手法は種々考えられ、例えば画像からエッジ成分を抽出するものであってもよいし、画素値から色味等を判定する処理が行われてもよい。

ただし、注目領域の検出が画像処理装置において行われるものには限定されず、例えば画像列取得部２００が、各画像に対して注目画像であるか否かを表すメタデータが付与された画像列を取得するものであってもよい。その場合、注目画像列設定部１００１は注目領域の検出処理を行う必要はなく、メタデータの読み出し処理に基づいて注目画像列を設定することになる。

第１の基準画像選択部１００２は、注目画像列の複数の画像から第１の基準画像を選択する。第１の判定対象画像選択部１００３は、取得画像列の複数の画像のうち、第１の基準画像とは異なる画像を第１の判定対象画像として選択する。なお、第１の判定対象画像選択部１００３は、狭義には取得画像列の複数の画像のうち、注目画像ではない画像から第１の判定対象画像を選択する。

第１の削除可否判定部１００４は、選択された第１の基準画像と第１の判定対象画像に基づいて、第１の判定対象画像の削除可否を判定する。詳細については後述する。

部分画像列設定部１００５は、第１の削除可否判定部１００４での第１の削除可否判定処理の結果に基づいて、取得画像列の一部の画像から構成される部分画像列を設定する。部分画像列の数は１つに限定されず、複数の部分画像列が設定されてもよい。詳細については後述する。

部分画像列が複数設定された場合、第２の基準画像選択部１００６、第２の判定対象画像選択部１００７、第２の削除可否判定部１００８での処理は、各部分画像列に対して独立に行われる。具体的には、部分画像列の複数の画像から第２の基準画像を選択する。第２の判定対象画像選択部１００７は、部分画像列の複数の画像のうち、第２の基準画像とは異なる画像を第２の判定対象画像として選択する。第２の削除可否判定部１００８は、選択された第２の基準画像と第２の判定対象画像に基づいて、第２の判定対象画像の削除可否を判定する。各処理の詳細については後述する。

２．２ 処理の流れ
図３に本実施形態の画像要約処理を説明するフローチャートを示す。この処理が開始されると、まず取得画像列の複数の画像から注目画像を抽出し、注目画像列を設定する（Ｓ１０１）。そして、注目画像列から第１の基準画像を選択する（Ｓ１０２）。Ｓ１０２の処理が初めて行われる場合には、注目画像列に含まれる画像のうち先頭の画像を第１の基準画像とすればよい。図１（Ａ）の例であれば、Ｂ１で示した注目画像が最初の第１の基準画像となる。また、Ｓ１０２の２回目以降の処理では現在の第１の基準画像の注目画像列における位置に基づいて、第１の基準画像を更新する処理を行う。具体的には、注目画像列において、現在の第１の基準画像よりも１つ後方の画像を新たな第１の基準画像とすればよい。図１（Ａ）の例では、現在の第１の基準画像がＢ１の画像であれば、新たな第１の基準画像としてＢ２の画像を選択することになる。

第１の基準画像が選択されたら、取得画像列から第１の判定対象画像を選択する。ここではＳ１０２の処理が初めて行われる場合には、取得画像列に含まれ、且つ注目画像列に含まれない画像のうち、取得画像列において最も前にある画像を第１の判定対象画像とする。また、Ｓ１０３の２回目以降の処理では現在の第１の判定対象画像の取得画像列における位置に基づいて、第１の判定対象画像を更新する処理を行う。具体的には、取得画像列に含まれ、且つ注目画像列に含まれない画像のうち、取得画像列において、現在の第１の判定対象画像よりも１つ後方の画像を新たな第１の判定対象画像とすればよい。

第１の基準画像と、第１の判定対象画像が選択されたら、第１の削除可否判定処理を行う（Ｓ１０４）。ここでは被覆率に基づく判定を行うものであり、具体的な処理は後述する。Ｓ１０４の処理後は、その時点での第１の判定対象画像が削除可能であるか削除不可であるかという情報を記憶し、Ｓ１０３に戻る。Ｓ１０３，Ｓ１０４での処理が繰り返されることで、取得画像列に含まれ、且つ注目画像列に含まれない画像が順次第１の判定対象画像として選択されて、選択された各画像に対して削除可能或いは削除不可という結果が求められる。

取得画像列に含まれ、且つ注目画像列に含まれない画像のうち、取得画像列において最後の画像についてＳ１０４の判定が行われると、Ｓ１０３に戻った際に第１の判定対象画像として選択する画像がないということになり、Ｓ１０２に戻る。Ｓ１０２では、第１の基準画像の更新処理が行われ、更新された場合にはＳ１０３，Ｓ１０４の処理を繰り返すことで、新たな第１の基準画像を用いて、取得画像列に含まれ、且つ注目画像列に含まれない全ての画像（図１（Ａ）の例ではＢ１〜Ｂ３以外の全ての画像）の削除可否判定が行われる。

そして、注目画像列の最後の画像（図１（Ａ）の例ではＢ３）を第１の基準画像とし、当該第１の基準画像を用いたＳ１０３，Ｓ１０４の処理による削除可否判定が終わってＳ１０２に戻った際に、Ｓ１０２において第１の基準画像として選択する画像がないということになり、第１の削除可否判定処理を終了してＳ１０５に移行する。

以上の処理により、取得画像列に含まれ、且つ注目画像列に含まれない各画像について、削除可能であるか否かの判定が行われる。なお、注目画像が複数有る場合には、各画像について複数回削除可否判定が行われるが、ここでは、少なくとも１回削除可能と判定された画像は削除可能であるものとする。なぜなら、本実施形態では注目画像は全て要約画像列に残されるものとしており、その注目画像のうちどれか１つによりカバーされているのであれば、他の注目画像によりカバーされていなかったとしても、削除することに問題はないためである。

この結果、削除可能とされた画像は要約画像列に残さないものとして確定させる。しかし、削除不可とされた画像については、要約画像列に残すものとは確定せず、さらに第２の削除可否判定処理を行う。なぜなら、削除不可とされた画像は、注目画像によりカバーされていないというだけであり、削除不可とされた画像のうち所与の画像により他の画像がカバーされるのであれば、当該他の画像は削除しても問題ないためである。

ここで、第１の削除可否判定処理で削除不可である画像は、その全てが連続するとは限らない。例えば、第１の削除可否判定処理の結果、図１（Ｃ）に示したように注目画像により削除可能となる区間が求められた場合には、Ａ２〜Ａ４に示したように、削除不可である画像は３つの部分に分かれている。この際に、削除不可である画像全体に対して削除可否判定処理を行うのは非効率である。なぜなら、複数の部分のうち、第１の部分と第２の部分は取得画像列において離れていることから、撮像対象である被写体も変化している可能性が高く、第１の部分の画像により第２の部分の画像が削除可能となる可能性は低いことが想定される。つまり、複数の部分にまたがった処理を行う必要性は低く、各部分で閉じた処理を行えば十分である。

よってここでは、取得画像列において、第１の削除可否判定処理で削除不可とされた画像が連続する区間を検出し、当該区間に相当する画像から構成される部分画像列を設定する（Ｓ１０５）。図１（Ｄ）の例ではＡ５〜Ａ７の３つの部分画像列が設定されることになる。なお、第１の削除可否判定処理で削除不可とされた画像が１枚であり、連続していない場合には部分画像列として設定しない。なぜなら、各部分画像列に対して閉じた処理を行う以上、１枚の画像から構成される部分画像列を設定しても、部分画像列の所与の画像により他の画像が削除できるという状況は起こりえないためである。よって、第１の削除可否判定処理で削除不可とされた連続しない１枚の画像については、第２の削除可否判定処理を行うことなく、要約画像列に残す画像として確定させる。

部分画像列が設定されたら、当該部分画像列の先頭の画像を第２の基準画像として選択する（Ｓ１０６）。そして、部分画像列に含まれる画像のうち、第２の基準画像以外の画像から第２の判定対象画像を選択する（Ｓ１０７）。ここでは、第２の基準画像の設定後に初めてＳ１０７の処理が行われる場合には、第２の基準画像の１つ後方の画像（部分画像列の２番目の画像）を第２の判定対象画像とする。また、Ｓ１０８の後にＳ１０７の処理が行われる場合には、現在の第２の判定対象画像の部分画像列における位置に基づいて、第２の判定対象画像の更新処理が行われる。具体的には、部分画像列において、現在の第２の判定対象画像よりも１つ後方の画像を新たな第２の判定対象画像とすればよい。

第２の基準画像、第２の判定対象画像が選択されたら、第２の削除可否判定処理が行われる（Ｓ１０８）。本実施形態では第１の削除可否判定処理と同様に、被覆率に基づく判定処理が行われるものであり、詳細については後述する。

Ｓ１０８で削除可能と判定された場合には、Ｓ１０７に戻り第２の判定対象画像を更新する。Ｓ１０７，Ｓ１０８の処理を繰り返し、部分画像列における最後の画像を第２の判定対象画像とした際に、Ｓ１０８で削除可能とされＳ１０７に戻った場合には、第２の基準画像により部分画像列の他の画像が全てカバーされるということであるため、第２の基準画像を要約画像列に残し、他の画像を全て削除するものとして、当該部分画像列に対する処理を終了する。具体的には、Ｓ１０７において第２の判定対象画像として選択する画像がないということになり、Ｓ１０５に戻る。

一方、少なくとも１つの第２の判定対象画像が削除不可とされた場合には、その時点での第２の判定対象画像は第２の基準画像ではカバーできないということであるから、要約画像列に残す必要がある。よって、Ｓ１０８で削除不可の場合には、Ｓ１０５に戻り、その時点での第２の判定対象画像、及び部分画像列におけるそれ以降の画像から構成される画像列を新たな部分画像列として設定する。この新たな部分画像列に対してＳ１０６〜Ｓ１０８の処理を行うことで、新たな部分画像列の先頭の画像、つまり上述の処理において削除不可とされた第２の判定対象画像を第２の基準画像として設定できる（要約画像列に残すことができる）。

Ｓ１０５では、第１の削除可否判定処理の結果設定された１又は複数の部分画像列、及びそれらに対するＳ１０６〜Ｓ１０８の処理結果として新たに設定された部分画像列を順次選択することになる。そして、全ての部分画像列に対して処理が終了したら（Ｓ１０５で選択する部分画像列がなかったら）、本実施形態の画像要約処理を終了する。なお、本実施形態では、第２の基準画像として設定された画像は要約画像列に残されることになり、他の画像は削除されることになる。

第１の削除可否判定処理の結果設定された部分画像列のうちの１つの画像列に対する処理の流れを図示したものが図４（Ａ）〜図４（Ｄ）である。図４（Ａ）に示したように、Ｎ枚の画像を有する画像列が第１の削除可否判定処理の結果部分画像列として設定された場合には、まず１番目の画像が第２の基準画像として選択され、２番目の画像が第２の判定対象画像として選択される。そして、第２の判定対象画像の削除可否が判定される。

第２の判定対象画像が削除可能と判定された場合には、新たに第２の判定対象画像を選択する。具体的には第２の判定対象画像の位置を後ろにずらす処理となり、図４（Ｂ）に示したように３番目の画像が第２の判定対象画像として選択される。そして、新たな第２の判定対象画像の削除可否が判定され、削除不可と判定される第２の判定対象画像が見つかるまで、第２の判定対象画像として選択される画像を更新していく。

図４（Ｃ）に示したように、２番目〜ｋ−１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目〜ｋ−１番目までの画像とは第２の基準画像によりある程度カバーされているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は第２の基準画像では十分カバーできないため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像とそれ以降の画像（ｋ〜Ｎ番目の画像）を新たな部分画像列として設定する。

そして、この新たな部分画像列に対して再度図４（Ａ）〜図４（Ｃ）の処理を繰り返せばよい。具体的には図４（Ｄ）に示したように、Ｎ−ｘ＋１枚の画像からなる新たな部分画像列に対して、先頭（図４（Ｃ）等ではｋ番目）の画像を第２の基準画像、２番目（図４（Ｃ）等ではｋ＋１番目）の画像を第２の判定対象画像として処理を行う。以降の処理は同様であり、第２の判定対象画像が削除可能と判定されたら、次の画像を新たな第２の判定対象画像として選択する。また、第２の判定対象画像が削除不可と判定されたら、第２の基準画像を要約画像列に残し、削除可能と判定された画像を削除し、その時点での第２の判定対象画像以降の画像を新たな部分画像列に設定する。最終的には、部分画像列の最後の画像まで全て削除可能と判定された場合、或いは部分画像列に含まれる画像が１枚のみであり第２の判定対象画像が設定できなかった場合に処理が終了することになる。

なお、図３のフローチャートでは、第１の削除可否判定処理の結果、複数の部分画像列が設定された場合には、当該複数の部分画像列を１つずつ順次処理していくものとしたが、これに限定されるものではない。処理部１００の構成が並列処理に適している（例えば処理部１００として複数のコアを有するＣＰＵが用いられている）場合や、複数のコンピュータにより本実施形態の画像処理装置が構成され、各コンピュータで分散処理が行われる場合等では、複数の部分画像列に対して並列に第２の削除可否判定処理を行ってもよい。このようにすれば、第２の削除可否判定処理に要する時間を短縮すること等が可能になる。

２．３ 第１の削除可否判定処理
次に、第１の削除可否判定処理の具体例として、被覆率を用いた処理について説明する。図５に示したように、第１の削除可否判定部１００４は、変形情報取得部１００９と、被覆領域算出部１０１０と、被覆率算出部１０１１と、閾値判定部１０１２と、を含んでもよい。ただし、第１の削除可否判定部１００４は、図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

変形情報取得部１００９は、２つの画像間の変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状（範囲）として撮像されているかを表すものであり、例えば特許文献２に開示されている変形パラメータ等であってもよい。変形情報取得部１００９は、第１の基準画像選択部１００２で選択された第１の基準画像と、第１の判定対象画像選択部１００３で選択された第１の判定対象画像の間の変形情報を取得する。

被覆領域算出部１０１０は、２つの画像間の変形情報（変形パラメータ）を利用して、一方の画像を他方の画像へ射影して被覆領域を求める。被覆率算出部１０１１は、被覆領域に基づいて被覆率を算出する。閾値判定部１０１２は、算出された被覆率と所与の閾値との比較処理を行う。

被覆領域算出部１０１０で算出される被覆領域の例を図６に示す。具体的には、第１の基準画像と第１の判定対象画像との間の変形情報に基づいて、第１の基準画像を変形して第１の判定対象画像上に射影した領域が被覆領域となる。被覆領域は変形情報に基づいて算出されるため、第１の基準画像において撮像された被写体と、第１の判定対象画像上の被覆領域において撮像された被写体は、対応する（狭義には同一の）ものとなっている。

被覆率は例えば、図６に示したように判定対象画像全体の面積に対する被覆領域の面積の割合等から求めることができる。ただし、被覆率とは、第１の基準画像による第１の判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。例えば、図７に示したように、第１の判定対象画像上に設定された複数の点を、変形情報に基づいて第１の基準画像上に射影し、前記複数の点の数に対する第１の基準画像内に含まれる点の割合（或いは第１の基準画像内に含まれる点の数そのもの）を被覆率として用いてもよい。

第１の判定対象画像の削除可否は、被覆率と閾値との比較処理に基づいて行われればよく、被覆率が閾値以上であれば第１の判定対象画像を削除可能とし、被覆率が閾値よりも小さい場合には第１の判定対象画像を削除不可とすればよい。被覆率に基づく削除可否判定により、第１の判定対象画像を削除したとしても、当該第１の判定対象画像に撮像されたある程度（閾値に対応する程度）の割合の領域は第１の基準画像によりカバーできることが保証される。

２．４ 第２の削除可否判定処理
次に第２の削除可否判定処理について説明する。本実施形態では、第２の削除可否判定処理も被覆率に基づいて行われる。図８に示したように、第２の削除可否判定部１００８は、変形情報取得部１０１３と、被覆領域算出部１０１４と、被覆率算出部１０１５と、閾値判定部１０１６と、を含んでもよい。ただし、第２の削除可否判定部１００８は、図８の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

変形情報取得部１０１３は第２の基準画像と第２の判定対象画像の間の変形情報を取得する。被覆領域算出部１０１４は、第２の基準画像と第２の判定対象画像との間の変形情報に基づいて、第２の基準画像を変形して第２の判定対象画像上に射影して被覆領域を算出する。被覆率算出部１０１５は、第２の判定対象画像全体の面積に対する被覆領域の面積等から被覆率を求める。閾値判定部１０１６は、算出された被覆率と所与の閾値との比較処理を行う。なお、第２の削除可否判定処理で用いる閾値は、第１の削除可否判定処理で用いる閾値と異なる値であってもよい。

本実施形態では第１の削除可否判定処理と、第２の削除可否判定処理は同様の処理となる。つまり、変形情報取得部は、１００９と１０１３の２つが設けられる必要はなく、１つにまとめられてもよく、その他の各部についても同様である。よって、本実施形態の処理部１００は、変形情報取得部と、被覆領域算出部と、被覆率算出部と、閾値判定部とを含み、それらの各部が第１の削除可否判定処理と第２の削除可否判定処理の両方を行うものであってもよい。

以上の本実施形態では、画像処理装置は図２に示したように、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除する第１の削除可否判定処理及び第２の削除可否判定処理に基づいて、要約画像列を取得する画像要約処理を行う処理部１００を含む。処理部１００は、複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定する。そして、設定した注目画像列から第１の基準画像を選択するとともに、複数の画像から第１の判定対象画像を選択し、第１の基準画像と第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、第１の判定対象画像の削除可否を判定する処理を、第１の削除可否判定処理として行う。また、処理部１００は、画像列から、第１の削除可否判定処理において削除不可と判定された画像が複数連続する部分画像列を設定する。そして、処理部１００は、部分画像列から第２の基準画像と第２の判定対象画像を選択し、第２の基準画像と第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、第２の判定対象画像の削除可否を判定する処理を、第２の削除可否判定処理として行う。

ここで、注目画像とはユーザとって注目すべき画像のことであり、例えば特定の被写体が撮像されている画像であってもよいし、特定の色味を持った画像であってもよい。また、注目画像か否かは画像そのものから（例えば画像処理等により）決定されることに限定されず、例えば撮像装置に設けられたセンサからのセンサ情報をメタデータとして画像に付与しておき、当該メタデータに基づいて注目画像か否かが決定されてもよい。

これにより、注目画像か否かという観点と、複数の画像間の変形情報に基づき残す画像により削除する画像がカバーされているか否かという観点の２つの観点を用いた画像要約処理ができるため、効果的な画像要約処理を行うことが可能になる。ただし、各観点の処理を行い、結果を単純に組み合わせただけでは、図１（Ｂ）に示すように画像枚数の削減効果が十分でない。よってここでは、残すことが確定している注目画像を基準とした第１の削除可否判定処理と、注目画像基準では削除できない部分画像列に対する第２の削除可否判定処理の２段階処理を行うことで、効率的な画像要約処理を可能にしている。なお、第１の削除可否判定処理における第１の判定対象画像は、画像列の複数の画像全体から選択されてもよいが、処理効率を考慮すれば狭義には複数の画像のうち、注目画像列に含まれない画像から選択される。

また、処理部１００は、第１の被覆率判定処理、及び第１の構造要素判定処理の少なくとも一方の処理を、第１の削除可否判定処理として行ってもよい。また、処理部１００は、第２の被覆率判定処理、及び第２の構造要素判定処理の少なくとも一方の処理を、第２の削除可否判定処理として行ってもよい。ここで、第１の被覆率判定処理は、第１の変形情報に基づいて、第１の基準画像による第１の判定対象画像の被覆率を求め、求めた被覆率に基づいて第１の判定対象画像の削除可否を判定する処理である。第１の構造要素判定処理は、注目領域に対応する構造要素及び第１の変形情報を用いた処理の結果に基づいて、第１の判定対象画像の削除可否を判定する処理である。同様に、第２の被覆率判定処理は、第２の変形情報に基づいて、第２の基準画像による第２の判定対象画像の被覆率を求め、求めた被覆率に基づいて第２の判定対象画像の削除可否を判定する処理である。第２の構造要素判定処理は、注目領域に対応する構造要素及び前記第２の変形情報を用いた処理の結果に基づいて、前記第２の判定対象画像の削除可否を判定する処理である。

ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

これにより、変形情報を用いた処理として、被覆率を用いた処理、及び第２の実施形態で詳述する構造要素を用いた処理の少なくとも一方の処理を行うことが可能になる。被覆率を用いた場合には、所与の画像を削除したとしても、その画像のある程度の割合（例えば面積を基準とした割合）の領域は、要約画像列に残す要約画像によりカバーされることを保証でき、画像要約処理により観察できなくなる領域の発生を抑止できる。また、構造要素を用いた場合には、所与の画像を削除したとしても、その画像に撮像された構造要素に対応するサイズの領域の少なくとも一部は、要約画像に撮像されることを保証できる。よって、注目領域に対応する構造要素を設定することで、画像要約処理により観察できなくなる注目領域が発生することを抑止できる。

また、処理部１００は、複数の画像から注目領域を検出する処理を行い、複数の画像のうち、注目領域が検出された画像を注目画像として設定してもよい。

これにより、注目領域に基づいて注目画像を設定することが可能になる。ここでの注目領域は、構造要素の設定基準となる注目領域と同様のものであることが想定されるが、異なる注目領域を設定してもよい。例えば、注目画像はエッジ成分の多い領域を注目領域として設定し（例えば生体内のヒダや血管構造等を抽出する）、構造要素は病変部を注目領域として設定する（例えば所与の大きさ以上の病変見逃しを抑止する）といった手法を用いてもよい。

また、画像列取得部２００は、画像列として、生体内を撮像した複数の生体内画像を取得してもよい。処理部１００は、複数の生体内画像から、病変領域を注目領域として検出する処理を行い、複数の生体内画像のうち、病変領域が検出された画像を注目画像として設定する。

これにより、注目領域として病変領域を用いた処理を行うことができるため、例えばカプセル内視鏡等で取得された画像を用いた診断等に用いることが可能になる。

また、以上の本実施形態は、撮像部（例えば内視鏡スコープの先端部等に設けられる）と、上記の画像処理装置と、を含む内視鏡装置に適用してもよい。

また、処理部１００は、部分画像列を複数設定した場合には、複数の部分画像列に対して並列に第２の削除可否判定処理を行ってもよい。

これにより、第２の削除可否判定処理の部分を並列処理により行うことができるため、処理の高速化が可能になる。

また、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．第２の実施形態
次に、第１の削除可否判定処理、及び第２の削除可否判定処理の他の手法について説明する。本実施形態の画像処理装置の構成例は、第１の削除可否判定部１００４、及び第２の削除可否判定部１００８での処理内容が異なるものの、図２と同様であるため詳細な説明は省略する。また、処理の流れについても、Ｓ１０４及びＳ１０８での処理内容が異なるものの、図３のフローチャートと同様であるため詳細な説明は省略する。

３．１ 構造要素を用いた削除可否判定
まず、第１の削除可否判定処理及び第２の削除可否判定処理として、注目領域に対応した構造要素を用いた処理を行う例について説明する。ここでの注目領域は、図２の注目画像列設定部１００１で用いられる注目画像の基準と同一のものである（例えば、病変部が撮像された画像を注目画像として注目画像列を設定したのであれば、ここでの構造要素も病変部に基づいて設定される）としてもよいし、別のものであってもよい。

ここで、注目画像列の設定における注目領域と、第１の削除可否判定処理での注目領域が同一のものであるとした場合、注目領域が撮像された画像は注目画像列に含まれるため、要約画像列に残されることが想定されている以上、第１の削除可否判定において注目領域の見逃し可能性を判定することに意味があるのかという疑問も生じる。しかし、画像要約処理が必要なほど大量の画像を処理対象としている以上、注目領域の検出はシステムにより自動的に行われることが自然である。その場合、注目領域を１００％の精度で検出することは困難であり、注目領域が撮像されながら検出できない（注目画像とすることができない）画像が生じうる。そのような画像における注目領域も見逃すことなく観察しようとすれば、注目領域の見逃し可能性に基づく判定を行うことには意味があり、以下で説明するように注目画像列の設定に用いた注目領域と同等の注目領域を、構造要素の設定に用いることにも利点があると言える。

なお、第２の削除可否判定処理は第１の削除可否判定処理と同様となるため、詳細な説明は省略し、第１の削除可否判定処理について説明する。

図９に示したように、第１の削除可否判定部１００４は、構造要素生成部１０１７と、変形情報取得部１００９と、被覆領域算出部１０１０と、注目領域見逃し可能性判定部１０１８と、を含んでもよい。ただし、第１の削除可否判定部１００４は、図９の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

構造要素生成部１０１７は、注目領域に基づいて、注目領域見逃し可能性判定部１０１８での処理に用いられる構造要素を生成する。ここでは、見逃しが好ましくない注目領域と同一形状、同一サイズの領域を設定するが、これに限定されるものではない。

被覆領域算出部１０１０は、被覆領域を算出するとともに、第２の判定対象画像のうち被覆領域ではない領域を非被覆領域として設定してもよい。

注目領域見逃し可能性判定部１０１８は、第１の判定対象画像を削除した場合に、第１の判定対象画像上に撮像された注目領域が、第１の基準画像では撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。

具体的な処理の流れを説明する。構造要素生成部１０１７は、注目領域に基づいて構造要素を生成しておく。ここでは、注目領域の典型的な大きさ等を考慮して、見逃すことが好ましくないサイズ、形状の領域を構造要素として設定する。例えば、注目領域が病変部であり、画像上で直径３０ピクセルの円よりも大きい病変は深刻度が高く見逃すべきではない、ということがわかっているのであれば、構造要素は直径３０ピクセルの円を設定することになる。

第１の基準画像と第１の判定対象画像が選択されたら、変形情報取得部１００９は、第１の基準画像と第１の判定対象画像の間の変形情報を取得する。被覆領域算出部１０１０は、取得された変形情報を利用して、第１の基準画像を第１の判定対象画像上へ射影し、被覆領域を求める。

被覆領域が算出されたら、注目領域見逃し可能性判定部１０１８は、注目領域の見逃し可能性を判定する。具体的には、第１の判定対象画像のうち被覆領域以外の領域である非被覆領域に対して、構造要素を用いた収縮処理を行い、残留領域があるか否かの判定を行う。

収縮処理の具体例について図１０（Ａ）〜図１０（Ｅ）を用いて説明する。非被覆領域は図１０（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図１０（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。

この際、構造要素による収縮処理とは、当該構造要素の基準点を非被覆領域の境界上に設定した場合に、非被覆領域と構造要素の重複領域を削る処理となる。例えば、構造要素として円形状の領域を設定し、その基準点を円の中心とした場合には、非被覆領域の境界上に中心を有する円を描き、当該円と非被覆領域とが重なる部分を非被覆領域から除外する処理を行うことになる。具体的には、図１０（Ａ）に示したように、非被覆領域の外側境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。

外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図１０（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域を非被覆領域から除外していけばよい。

非被覆領域の境界の一部が判定対象画像の境界と一致する場合等では、非被覆領域の境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図１０（Ａ）に示したように、非被覆領域の境界としてＢＯ１とＢＯ２の２つが考えられる場合には、それぞれについて上述の処理を行う。具体的には、図１０（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、非被覆領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。

このような収縮処理を行うことで、非被覆領域の面積は小さくなる。例えば、図１０（Ａ）の非被覆領域の左部に着目した場合、図１０（Ａ）で示したＢＯ１での収縮処理、及び図１０（Ｂ）で示したＢＯ２での収縮処理により、非被覆領域は完全に削除され、残留する領域は存在しない。一方、非被覆領域の右下部分に着目した場合、図１０（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの非被覆領域全体に対して構造要素による収縮処理を行った結果は、図１０（Ｄ）のようになり、残留領域ＲＥが生じることになる。

ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である非被覆領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、非被覆領域に含まれる点のうち、上記境界上の点から距離ｒ以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径Ｒ（＝ｒ）の円で表される注目領域が、残留領域中の点をその中心とすることで、非被覆領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。

つまり、残留領域が存在する場合とは、図１０（Ｅ）の右下に示したように、構造要素に対応する領域が非被覆領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、第１の判定対象画像を削除してしまうと、第１の基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図１０（Ｅ）の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、第１の判定対象画像を削除したとしても、注目領域の少なくとも一部は第１の基準画像に残すことができる。以上のことより、注目領域見逃し可能性判定部１０１８では、非被覆領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かに基づいて、第１の判定対象画像の削除可否判定を行う。

３．２ 削除可否判定の変形例
上述したように、第１，第２の削除可否判定処理としては、被覆率を用いたものや構造要素を用いたものが考えられる。ただし、第１，第２の削除可否判定処理はそれらを単体で用いる処理に限定されず、複数を組み合わせてもよい。

例えば、第１の削除可否判定処理として、被覆率を用いた処理と構造要素を用いた処理の両方を行い、第２の削除可否判定処理としても、被覆率を用いた処理と構造要素を用いた処理の両方を行ってもよい。この場合、観察できなくなる領域の発生を抑止し、且つ注目領域の見落とし可能性を抑止することで要約画像列の有用性を高めるという観点から考えれば、被覆率に基づく判定で削除可能とされ、且つ構造要素に基づく判定で削除可能とされた場合に削除可能として、それ以外の場合には削除不可とすればよい。なお、第１の削除可否判定処理での被覆率との比較処理に用いる閾値と、第２の削除可否判定処理での被覆率との比較処理に用いる閾値とは同一のものであってもよいし、異なるものであってもよい。同様に、第１の削除可否判定処理で用いる構造要素（狭義にはそのサイズ）と、第２の削除可否判定処理で用いる構造要素（狭義にはそのサイズ）は同一のものであってもよいし、異なるものであってもよい。

また、第１の削除可否判定処理と第２の削除可否判定処理は同一の処理であるものに限定されない。例えば、第１の削除可否判定処理は被覆率に基づく処理であり、第２の削除可否判定処理は被覆率に基づく処理と構造要素に基づく処理の両方の処理であってもよい。このようにすれば、複数の観点（上述の例では被覆率と構造要素）を用いた処理が第１，第２の削除可否判定処理の少なくとも一方で行われるため、単一観点の処理に比べて判定精度の向上が期待でき、且つ所与の観点（上述の例では構造要素）での処理は第１，第２の削除可否判定処理の一方では省略できるため、第１，第２の削除可否判定処理の両方において全ての観点を用いて処理を行う場合に比べて、処理負荷を軽減することが可能になる。

ただし２つの観点を用いるのであれば、第１，第２の削除可否判定処理の少なくとも一方の処理では、両方の観点での処理が用いられることが望ましい。例えば、第１の削除可否判定処理では被覆率を用い、第２の削除可否判定処理では構造要素を用いる、といったことは避けるとよい。なぜなら、処理対象となる画像によっては被覆率単体、或いは構造要素単体での処理では十分な精度が出せない可能性があるからである。被覆率と構造要素の両方を用いることで判定精度が向上するというのは、ある基準画像と判定対象画像の組み合わせにおいて両方の処理を行うからこそ実現されるものである。しかし、第１の削除可否判定処理での第１の基準画像と第１の判定対象画像の組み合わせと、第２の削除可否判定処理での第２の基準画像と第２の判定対象画像の組み合わせとは、上述の選択手法に従えば重複することはない。つまり第１の削除可否判定処理では被覆率を用い、第２の削除可否判定処理では構造要素を用いるような例では、画像要約処理全体としてみれば、被覆率と構造要素の両方を用いて処理しているとはいえ、それぞれは別個独立に用いられているに過ぎず、判定精度の向上効果が十分でない可能性がある。それにもかかわらず、処理部１００が複数の異なる削除可否判定処理を実行できなくてはならないため、システム構成として効率的ではない。

なお、被覆率とも構造要素とも異なる観点を導入して、３つ以上の観点による削除可否判定処理を行ってもよい。その場合、第１の削除可否判定処理と第２の削除可否判定処理の少なくとも一方の処理では、全ての観点を用いた処理を行うことが望ましい。

以上の本実施形態では、処理部１００は、第１の削除可否判定処理として、第１の被覆率判定処理を行う場合には、第２の削除可否判定処理として、第２の被覆率判定処理を行ってもよい。また、処理部１００は、第１の削除可否判定処理として、第１の構造要素判定処理を行う場合には、第２の削除可否判定処理として、第２の構造要素判定処理を行ってもよい。

これにより、第１，第２の削除可否判定処理として、被覆率に基づいた判定処理を行うことが可能になる。同様に、第１，第２の削除可否判定処理として、構造要素に基づいた判定処理を行うことが可能になる。この場合、第１，第２の削除可否判定処理は単一の観点による処理で実現できるため、被覆率と構造要素の両方を併用する場合に比べて、処理負荷を軽くすることができる。

また、処理部１００は、第１の被覆率判定処理及び第１の構造要素判定処理の両方の処理を、第１の削除可否判定処理として行ってもよい。また、処理部１００は、第２の被覆率判定処理及び第２の構造要素判定処理の両方の処理を、第２の削除可否判定処理として行ってもよい。

これにより、第１の削除可否判定処理と第２の削除可否判定処理の少なくとも一方は、被覆率判定処理と構造要素判定処理の両方の処理が行われることになり、第１，第２の削除可否判定処理がともに被覆率判定処理だけの場合、或いは第１，第２の削除可否判定処理がともに構造要素判定処理だけの場合に比べて、判定精度を向上させることが可能になる。なお、当然第１の削除可否判定処理と第２の削除可否判定処理の両方で、被覆率判定処理と構造要素判定処理の両方の処理が行われてもよい。ただし、第１，第２の削除可否判定処理のどちらか一方の処理を簡略化する（例えば構造要素判定処理を省略する）ことで、処理負荷を軽くすることができる。

また、第１の被覆率判定処理は、第１の基準画像による第１の判定対象画像の被覆率を表す値と、第１の被覆率閾値との比較結果に基づく判定処理であってもよい。第１の構造要素判定処理は、第１のサイズの要素を構造要素として設定し、設定した構造要素による収縮処理、又は第１の基準画像により第１の判定対象画像が覆われない領域に、設定した構造要素が含まれるか否かを判定する処理であってもよい。

同様に、第２の被覆率判定処理は、第２の基準画像による第２の判定対象画像の被覆率を表す値と、第２の被覆率閾値との比較結果に基づく判定処理であってもよい。第２の構造要素判定処理は、第２のサイズの要素を構造要素として設定し、設定した構造要素による収縮処理、又は第２の基準画像により第２の判定対象画像が覆われない領域に、設定した構造要素が含まれるか否かを判定する処理であってもよい。

これにより、被覆率に基づく判定処理として、求めた被覆率と閾値との比較処理を行うことが可能になる。図６や図７のように被覆率を求めれば、判定処理自体は閾値との比較を行えばよいため処理が容易である。また、構造要素に基づく判定処理として、図１０（Ａ）〜図１０（Ｅ）に示したような構造要素を用いた収縮処理を行うことが可能になる。ただし、構造要素による収縮処理の対象は非被覆領域に限定されるものではない。

例えば、図１１（Ａ）に示したように、判定対象画像を対象として構造要素による収縮処理を行ってもよい。この場合、収縮処理により削られる領域内に注目領域が完全に収まってしまわないように設定する（典型的には構造要素として注目領域の２倍のサイズの要素を設定する）ことで、図１１（Ｂ）に示したように、残存領域は基準画像により被覆されることが求められる要被覆領域となる。つまりこの場合、要被覆領域全体が基準画像により被覆されているか否かにより削除可否判定を行えばよく、具体的には図１２（Ａ）、図１２（Ｂ）に示したように、基準画像及び要被覆領域の一方を変形情報により変形し、変形後の領域を用いた包含判定を行えばよい。要被覆領域が基準画像に包含される場合には、判定対象画像は削除可能となり、包含されない部分があれば判定対象画像は削除不可となる。

また、構造要素を用いた削除可否判定処理は収縮処理を用いるものに限定されず、非被覆領域に構造要素が含まれるか否かを判定する処理であればよい。例えば、図１３（Ａ）や図１３（Ｂ）に示したように、被覆領域の境界上の点（ｐ１〜ｐ６等）から判定対象画像の境界までの距離（ｋ１〜ｋ６等）、或いは判定対象画像の境界上の点から被覆領域の境界までの距離に基づいて、非被覆領域の最大径に相当する値を求め、求めた値と構造要素（この場合注目領域と同等のサイズ）の最小径との比較処理を行うような、簡易的な手法であってもよい。

また、処理部１００は、第２の被覆率閾値として、第１の被覆率閾値とは異なる値を設定してもよい。また、処理部１００は、第２のサイズとして、第１のサイズとは異なるサイズを設定してもよい。

これにより、第１の削除可否判定処理と第２の削除可否判定処理で、同一観点の処理を行う場合であっても、それぞれで判定の基準値を変更することが可能になり、柔軟な２段階判定処理が実現できる。

４．第３の実施形態
第１の実施形態では、第２の削除可否判定処理における第２の基準画像と第２の判定対象画像の選択手法として、図４（Ａ）〜図４（Ｄ）の手法を説明した。しかし、第２の基準画像と第２の判定対象画像の選択手法は図４（Ａ）〜図４（Ｄ）の手法に限定されるものではない。本実施形態では、第２の基準画像として２枚の画像（前方基準画像と後方基準画像）を設定し、その間の画像を第２の判定対象画像とする手法について説明する。

基準画像が２枚あるが、この際の被覆領域は図１４に示したように、前方基準画像を前方基準画像と第２の判定対象画像との間の変形情報に基づいて変形して求めた領域と、後方基準画像を後方基準画像と第２の判定対象画像との間の変形情報に基づいて変形して求めた領域との和集合となる領域を被覆領域とすればよい。なぜなら、前方基準画像と後方基準画像の少なくとも一方によりカバーされていれば、第２の判定対象画像は削除しても問題ないためである。なお、被覆領域算出後の処理は、被覆率を用いる手法でも構造要素を用いる手法でも上述したものと同様である。

前方基準画像と後方基準画像により間の画像が全て削除可能と判定された場合とは、前方基準画像と後方基準画像を要約画像列に残せば、その間の画像を全て削除してもよいということである。しかし、画像要約処理後の画像枚数の削減効果を高めるのであれば、間の画像を全て削除可能という条件を満たしつつ、前方基準画像と後方基準画像をできるだけ離れた位置に設定することが望ましい。よってここでは、前方基準画像は固定して、後方基準画像の位置を変化させつつ、最適な位置を探索することになる。具体的には、図１５（Ａ）、図１５（Ｂ）に示したように、後方基準画像を所与の位置にすれば間の画像を全て削除でき、後方基準画像を当該所与の位置の１つ後方にすると、間の画像の少なくとも１枚が削除できない位置を探索する。そして、図１５（Ａ）における前方基準画像及び後方基準画像を要約画像列に残せばよく、図１５（Ａ）での後方基準画像及びそれより後方の画像を新たな部分画像列に設定することになる。

以下、文章を簡略化するために、第ｑの画像を後方基準画像として選択して削除可否判定を行った結果、前方基準画像と後方基準画像の間の画像が全て削除可能と判定された状況を「第ｑの画像がＯＫである」と表記し、前方基準画像と後方基準画像の間の少なくとも１枚の画像が削除不可である状況を「第ｑの画像がＮＧである」と表記する。

ここでは、部分画像列として第１〜第Ｎの画像が入力され、第１の画像を前方基準画像、第ｑの画像を後方基準画像として選択して、最適な後方基準画像の位置を探索する場合に、第２〜第ｑ−１の画像を順次第２の判定対象画像として選択し、第ｑの画像がＯＫかＮＧかを判定する。第ｑの画像がＯＫである場合には、前方基準画像と後方基準画像の間隔をもっと広げてもよい可能性があるということであるから、新たな後方基準画像を第ｑ＋１の画像及びその後方の画像から選択する。一方、第ｑの画像がＮＧである場合には、前方基準画像と後方基準画像の間を広げすぎたということであるから、基本的には第ｑの画像よりも前方の画像を新たな後方基準画像として選択することで前方の画像について判定を行うことになる。

つまり、本実施形態では終了条件を満たすまでは、ＯＫの場合は後方に、ＮＧの場合は前方に後方基準画像を更新することで、前方基準画像の次の要約画像を探索することになる。新たな後方基準画像の位置を適切に更新することで、次の要約画像の発見までに後方基準画像として選択される画像の枚数を減らすことができ、計算量の削減効果も期待できる。以下、本実施形態の手法を詳細に説明する。

本実施形態では、図１６に示したように第２の基準画像選択部１００６は、前方基準画像選択部１０１９と、後方基準画像選択部１０２０を含む。前方基準画像選択部１０１９は前方基準画像を選択し、後方基準画像選択部１０２０は後方基準画像を選択する。

ここでは上述したように部分画像列の先頭の画像（第１の画像）を前方基準画像として選択する。なお、部分画像列が第１の削除可否判定処理により取得された部分画像列である場合（最初の前方基準画像選択処理が行われる場合）には、先頭以外の画像を前方基準画像として選択してもよいが、以下では断りがない限り、前方基準画像は先頭の画像であるものとして説明する。

その後、後方基準画像を選択する。ここでは、後方基準画像の選択対象となる画像に対応する後方基準画像選択区間（実際には前方基準画像の次の要約画像を探索する範囲に相当）を設定する。第ｉの画像〜第ｊの画像に対応する半開区間［ｉ，ｊ）を後方基準画像選択区間とし、ｉを前方基準画像の次の画像に対応させ（狭義にはｉ＝２）、ｊ＝Ｎ＋２とする。なお、ｊ＝Ｎ＋２としたのは、後方基準画像として仮想的な第Ｎ＋１の画像を設定してもよいためである。後方基準画像が第Ｎ＋１の画像である場合とは、前方基準画像だけでその後方の画像全てをカバーでき、後方基準画像が不要であるか否かを判定する場合に相当する。

そして、設定された後方基準画像選択区間から後方基準画像を選択する。ここでは効率的に処理を行うために、後方基準画像を所与の条件に基づいて決定する。まず、前方基準画像設定後、初めて後方基準画像が選択される場合には、後方基準画像として第ｉ＋１の画像（狭義には第３の画像）を選択する。

ここまでの処理を図示したものが図１７（Ａ）である。ここではＮ＝１２の画像列を考えており、前方基準画像が１番目の画像、後方基準画像選択区間が２番目の画像〜１４番目の画像（ｉ＝２，ｊ＝１４）、後方基準画像が３番目の画像となっている。

後方基準画像が選択された後の、第２の判定対象画像選択処理、被覆率算出処理、削除可否判定処理、及びこれらの処理の繰り返しについては詳細な説明は省略する。図１７（Ａ）の場合、第２の判定対象画像としては２番目の画像を選択するだけでよい。

所与の画像（最初は第３の画像）を後方基準画像として選択した場合に、その画像がＯＫであれば、後方基準画像の位置を前方基準画像からさらに離してもよいということであるから、新たな後方基準画像として、現在のものよりも後方の画像を選択する。

一例としては、現在の後方基準画像が前方基準画像から数えてａ番目の画像である場合に、前方基準画像から数えて２×ａ番目の画像を新たな後方基準画像としてもよい。具体的には図１７（Ｂ）に示したように、３番目の画像（前方基準画像から数えて２番目）が後方基準画像として選択された場合に、当該３番目の画像がＯＫであれば、次の後方基準画像は５番目（前方基準画像から数えて４番目）の画像を選択することになる。

ところで、ｑ番目の画像がＯＫならば、ｑ−１番目以前の画像は要約画像列に残される要約画像として選択する必要はない。よって、後方基準画像として現在位置（ｑ番目）よりも前方の画像を選択するメリットはないため、後方基準画像選択区間を更新するとよい。具体的には、選択区間の始点ｉをｉ＝ｑとすればよい。この変形例では、後方基準画像は後方基準画像選択区間から選択されることとしているため、こうすることで現在位置よりも前方の画像を選択することがなくなる。例えば、図１７（Ｂ）に示したように、３番目の画像がＯＫである場合、２番目の画像は要約画像とはならないため、選択区間から外してよく、選択区間の始点を３番目の画像に更新する。

同様に、５番目の画像がＯＫならば（この場合、２〜４番目の画像が第２の判定対象画像として選択され第２の削除可否判定処理が行われる）、図１７（Ｃ）に示したように９番目の画像を新たな後方基準画像として選択するとともに、後方基準画像選択区間の始点を５番目の画像に更新する。

しかし、図１７（Ｃ）において仮に９番目の画像がＯＫである場合を考えればわかるように、ｑ番目の画像を後方基準画像として、当該第ｑの画像がＯＫの場合に、ｑの値が大きくなると新たな後方基準画像が極端に後方になってしまう可能性がある。例えば、Ｎ＋１番目よりも後方の画像が候補になってしまい後方基準画像が選択不可となったり、そうでなくても更新前後の後方基準画像の間隔が広くなりすぎて、次の要約画像の探索が非効率的になったりする。

そこで、新たな後方基準画像として現在位置よりも後方の画像を選択する場合に、他の手法を併用してもよい。一例としては新たな後方基準画像を、（ｑ＋ｊ）／２の値に基づいて決定する。例えば９番目の画像がＯＫの場合、後方基準画像選択区間の始点が９番目の画像に更新されるため、［９，１４）の半開区間となる。つまり、その中央付近の画像を新たな後方基準画像とすることで、探索範囲の中央を処理対象とすることになる。探索範囲の中央について判定を行うことで探索範囲を半減させていく手法は、広く知られている二分探索に他ならず、二分探索が計算量の面で利点があることもまた広く知られている。本実施形態の後方基準画像選択区間とは、所与の画像がＯＫであればそれより前方の画像は全てＯＫと考えてよく、所与の画像がＮＧであればその後方の画像は全てＮＧと考えてよいという性質のものであり、二分探索の手法を適用可能である。つまり、更新前の後方基準画像と、後方基準画像選択区間の終点との中間付近から、新たな後方基準画像を選択することで、効率的な処理が期待できる。

ここでは、前方基準画像起点の距離を２倍にしていく手法と、二分探索に対応する手法を併用するものとする。例えば、第ｑの画像が更新前の後方基準画像である場合に、次の後方基準画像として下式（１）を満たす第ｋの画像とすればよい。ここでmin(a,b)はａとｂのうち小さい方を表すものである。

一方、上述したように第ｑの画像がＮＧの場合には、ＯＫの場合とは逆に現在位置よりも前方から新たな後方基準画像を選択することになる。どの程度前方の画像を選択するかは種々の手法により決定可能であるが、例えばここでも二分探索に対応した手法を用いてもよい。この場合、後方基準画像選択区間の始点が第ｉの画像であるため、新たな後方基準画像は、（ｉ＋ｑ）／２の値に基づいて決定される。また、第ｑの画像がＮＧである以上、第ｑの画像及びその後方の画像は要約画像として選択されることはない。よって後方基準画像選択区間の終点を更新してよく、ｊ＝ｑとすればよい。９番目の画像がＮＧである場合の例を図１７（Ｄ）に示す。新たな後方基準画像として７番目の画像が選択されるとともに、後方基準画像選択区間の終点ｊがｊ＝９に更新される。

なお、後方基準画像選択区間が半開区間であるとしたのは、ここでの説明の便宜のためである。つまり、第ｑの画像がＯＫの場合は、当該第ｑの画像は要約画像として選択される可能性を残しているため、後方基準画像選択区間の始点ｉをｉ＝ｑとした場合に、ｉは後方基準画像選択区間に含まれているとよい。一方、第ｑの画像がＮＧの場合は、当該第ｑの画像は要約画像として選択されないため、後方基準画像選択区間の終点ｊをｊ＝ｑとした場合に、ｊは後方基準画像選択区間に含めないほうがよい。以上のことから、後方基準画像選択区間を［ｉ，ｊ）としたにすぎず、符号や式の表記次第では開区間や閉区間により後方基準画像選択区間を表すことに何も問題はない。

以上の処理により、後方基準画像選択区間（狭義には次の要約画像の探索範囲）を狭めていく。次の要約画像とは、第ｋの画像がＯＫであり且つ第ｋ＋１の画像がＮＧである場合の第ｋの画像であるから、ＯＫの画像とＮＧの画像が隣り合っている箇所が見つかったら処理を終了することになる。上述の例では、終了の直前では二分探索的に処理を行っていくことが想定され、例えば図１７（Ｅ）のようになる。第ｉの画像はＯＫであり、その２つ隣の第ｊの画像はＮＧであり、その間の第ｑの画像が後方基準画像となっている。この場合、第ｑの画像がＯＫであれば図１７（Ｆ）、ＮＧであれば図１７（Ｇ）のようになり、どちらにせよ後方基準画像選択区間の始点と終点が隣り合い、且つ始点に対応する画像がＯＫ、終点に対応する画像がＮＧとなる。よって、次の要約画像として始点に対応する画像を選択すればよいため、部分画像列に対する探索処理は終了する。

次の要約画像が見つかったのであれば、当該画像及びそれ以降の画像からなる画像列を新たな部分画像列として設定すればよい。新たな部分画像列が設定されたら、それ以降の処理については同様であるため詳細な説明は省略する。

図１８に本実施形態の画像要約処理を説明するフローチャートを示す。Ｓ２０１〜Ｓ２０５については、図３のＳ１０１〜Ｓ１０５と同様であるため詳細な説明は省略する。部分画像列の設定後、処理対象である部分画像列の先頭の画像を前方基準画像として選択し（Ｓ２０６）、後方基準画像選択区間を設定する（Ｓ２０７）。Ｓ２０６の直後に行われるＳ２０７の処理としては、例えば上述したようにｉ＝２，ｊ＝Ｎ＋２を満たす［ｉ，ｊ）の半開区間を設定すればよい。また、後述するようにＳ２１０やＳ２１１の後にＳ２０７の処理が行われる場合には、すでに設定されている後方基準画像選択区間の更新処理となる。

Ｓ２０７で後方基準画像選択区間の設定（或いは更新）処理が行われたら、その始点と終点が隣り合うか（ｊ＝ｉ＋１を満たすか）の判定を行う（Ｓ２０８）。Ｓ２０８でＹｅｓの場合には、図１７（Ｆ）に示したように第ｉの画像が、第１の画像（前方基準画像）の次の要約画像であるとわかった状況であるから、Ｓ２０５に戻り第ｉの画像及びそれ以降の画像を部分画像列に設定する。

Ｓ２０８でＮｏの場合には、まだ次の要約画像が見つかっていない状況であるから、Ｓ２０７で設定した後方基準画像選択区間から後方基準画像を選択する（Ｓ２０９）。Ｓ２０６による前方基準画像設定後、初めてＳ２０９の処理が行われる場合には、例えば第ｉ＋１の画像（前方基準画像の２つ後方の画像）を選択すればよい。それ以外の場合には、直前の後方基準画像の位置に応じて、新たな後方基準画像を選択する処理を行うことになる。

Ｓ２０９で後方基準画像を選択したら、第２の判定対象画像を選択する（Ｓ２１０）。Ｓ２０９での後方基準画像選択後、初めてＳ２１０の処理が行われる場合には、前方基準画像と後方基準画像の間の画像のうち先頭の画像（図１７（Ａ）等では２番目の画像）を選択する。第２の判定対象画像選択後の第２の削除可否判定処理（例えば、被覆領域算出処理、被覆率算出処理、閾値判定処理等）については図３のＳ１０８と同様である。Ｓ２１１で削除可能と判定された場合には、Ｓ２０９に戻り第２の判定対象画像を１つ後方の画像に更新し、同様の処理を行う。Ｓ２１０，Ｓ２１１の処理を繰り返すことで、前方基準画像と後方基準画像の間の画像が全て削除可能であるか、或いは少なくとも１つが削除不可であるかの判定が実行される。全て削除可能の場合にはＳ２１０の判定で、第２の判定対象画像＝後方基準画像となり、Ｓ２０７に戻る。また、少なくとも１枚の画像が削除不可である場合にはＳ２１１の判定で削除不可となりＳ２０７に戻る。なお、図１８では不図示であるが、Ｓ２１０からＳ２０７に戻ったのか、或いはＳ２１１からＳ２０７に戻ったのかという情報を保持しておき、それに応じて次のＳ２０７等での処理を変更する必要がある。

Ｓ２１０からＳ２０７に戻った場合には、全ての画像が削除可能な状況であるため、後方基準画像選択区間の始点を更新する処理を行い、その結果Ｓ２０７では１つ前の後方基準画像よりも後方の画像が新たな後方基準画像として選択される。一方、Ｓ２１１からＳ２０７に戻った場合には、少なくとも１枚の画像が削除不可である状況であるため、後方基準画像選択区間の終点を更新する処理を行い、その結果Ｓ２０７では１つ前の後方基準画像よりも前方の画像が新たな後方基準画像として選択される。

以上の本実施形態では、第１〜第Ｎ（Ｎは２以上の整数）の画像が部分画像列として設定された場合に、処理部１００は、第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像である前方基準画像と、第ｑ（ｑはｐ＋２以上の整数）の画像である後方基準画像を、第２の基準画像として選択する。それとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を第２の判定対象画像として選択する。そして、前方基準画像と第２の判定対象画像の間の変形を表す前方変形情報、及び後方基準画像と第２の判定対象画像の間の変形を表す後方変形情報を、第２の変形情報として求め、求めた前方変形情報及び後方変形情報に基づいて、第２の判定対象画像の削除可否の判定を行う。

これにより、第２の削除可否判定処理において、基準画像を前方と後方に２枚設定することが可能になる。上述したように、残す画像により削除される画像がカバーされる（被覆率であれば面積等の割合が高いこと、構造要素であれば注目領域の少なくとも一部が撮像されることを表す）ことを保証する、ということが本実施形態での変形情報を用いた処理の基本である。よって、残す画像が複数有るのであれば、そのうちの１枚ではカバーしきれない画像であっても、複数の残す画像を組み合わせることでカバーできるのであれば、削除しても問題はない。よってここでは、基準画像を２枚用いることで、判定対象画像が削除可能と判定される可能性を上げて、画像要約処理による画像枚数の削減効果を向上させるものとする。

また、処理部１００は、第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された後方基準画像選択区間から後方基準画像を選択して、前方基準画像及び後方基準画像に基づいて２の判定対象画像の削除可否の判定を行ってもよい。そして、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、後方基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな後方基準画像として選択するとともに、後方基準画像選択区間の始点を第ｑの画像に更新する。

ここで、後方基準画像選択区間は、後方基準画像の候補となる画像という性質を鑑みれば、第ｐ＋２〜第Ｎの画像を含むことになる。ただし、後方基準画像として第Ｎ＋１の画像のように仮想的な画像を選択してもよいため、後方基準画像選択区間の終点がＮより大きくなってもよい。また、後方基準画像選択区間には次の要約画像（前方基準画像は要約画像として確定しており、その次の要約画像という意味）の探索範囲という側面もあるため、後方基準画像として選択されない画像であっても、要約画像として選択されうる画像は当該選択区間に含まれるものとしてもよい。その場合後方基準画像選択区間の始点として前方基準画像の１つ後方の画像（第ｐ＋１の画像）を設定してもよいことになる。

これにより、後方基準画像を更新する際に、新たな後方基準画像の位置を柔軟に決定することが可能になる。後方基準画像を１つずつ後方に更新していくように、探索範囲を先頭から１つずつチェックして、探索範囲を減らしていく手法を用いてもよい。或いは、隣り合わない画像も新たな後方基準画像として選択可能にすることで、一単位の判定（第ｑの画像がＯＫかＮＧかという判定）により探索範囲を大きく減らすようにしてもよい。どのような更新手法が効果的であるかは、処理対象である部分画像列の性質等にもよる。例えば、正解位置がある程度予測可能な状況では、予測位置近辺を重点的に探索すべきであるため、後方基準画像を１つずつ移動させる手法を用いればよいし、正解位置が予測できない場合等では、計算量の期待値削減等を考慮して、上述した二分探索等を用いればよい。

また、処理部１００は、第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、後方基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな後方基準画像として選択してもよい。それとともに、後方基準画像選択区間の終点を第ｑの画像に更新する
これにより、後方基準画像を更新する際に、現在の後方基準画像よりも前方の画像を、新たな後方基準画像として選択することが可能になる。上述したように、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の後方基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合には、前方への探索を行うことで適切な処理を行うことが可能になる。また、後方への探索と同様に、新たな後方基準画像の選択は隣り合う画像に限定されない。

また、処理部１００は、第ｊ（ｊは整数）の画像が後方基準画像選択区間の終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいてｘの値を設定してもよい。或いは、第ｉ（ｉは整数）の画像が後方基準画像選択区間の始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいてｙの値を設定してもよい。

これにより、新たな後方基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の後方基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の後方基準画像と始点との中間となる画像を選択することになる。よって、探索範囲（後方基準画像選択区間の長さに相当）を半減させていくことが可能になり、後方基準画像としてｌｏｇＮ枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはＮ×ｌｏｇＮに抑えることができ、Ｎが非常に大きい場合には、後方基準画像を前方から１つずつ後ろに移動させていく手法（計算量のオーダーはＮ^２）に比べて計算量の削減効果が大きい。なお、（ｑ＋ｊ）／２及び（ｉ＋ｑ）／２は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば（ｑ＋ｊ）／２を超えない最大の整数、或いはそれより１大きい整数等を考えればよい。

また、処理部１００は、後方基準画像選択区間の始点又は終点を更新した結果、始点と終点が隣り合う場合に、前方基準画像として選択された複数の画像の１つを、要約画像列に含める処理を行ってもよい。それとともに、始点に対応する複数の画像の１つ、及び始点に対応する複数の画像の１つよりも部分画像列において後方の画像を新たな部分画像列として設定し、設定された新たな部分画像列に対して、上記ｐの値を１に設定して再度処理を行ってもよい。

ここで、始点と終点が隣り合うとは、始点に対応する画像と終点に対応する画像が、部分画像列において隣り合うことを表す。部分画像列としてＮ枚の画像が与えられた場合には、部分画像列は時系列的に或いは空間的に連続する画像の集合であることが想定されているため、その連続性から画像列の前方、後方を定義することができる。例えば時系列的に早い時刻に取得された画像は、それより遅い時刻に取得された画像よりも前方の画像となる。具体的には、部分画像列の各画像を第１〜第Ｎの画像として表し、振られた数値が小さい画像ほど前方にあるものとする。よって、画像列中の第ｉの画像と第ｊ（＞ｉ）の画像が隣り合うとは、ｊ＝ｉ＋１を満たす状況を指す。

これにより、部分画像列に対する処理の終了条件として、後方基準画像選択区間の始点、終点に基づく条件を設定することが可能になる。このような終了条件を設定することで、後方基準画像として選択された場合にＯＫと判定される画像群のうち、前方基準画像から最も離れていると予想される画像を、新たな部分画像列の先頭画像（次の要約画像に相当）として選択することができる。なぜなら、図１７（Ｆ）等に示したように、この終了条件とはＯＫの画像とＮＧの画像が隣り合う位置を探索することに等しいためである。そのため、最終的に出力される要約画像列に含まれる要約画像の枚数を少なくすることができ、ユーザの負担軽減等が可能になる。

以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

ＢＯ１ 外側境界、ＢＯ２ 内側境界、ＲＥ 残留領域、１００ 処理部、
２００ 画像列取得部、３００ 記憶部、１００１ 注目画像列設定部、
１００２ 第１の基準画像選択部、１００３ 第１の判定対象画像選択部、
１００４ 第１の削除可否判定部、１００５ 部分画像列設定部、
１００６ 第２の基準画像選択部、１００７ 第２の判定対象画像選択部、
１００８ 第２の削除可否判定部、１００９、１０１３ 変形情報取得部、
１０１０、１０１４ 被覆領域算出部、１０１１、１０１５ 被覆率算出部、
１０１２、１０１６ 閾値判定部、１０１７ 構造要素生成部、
１０１８ 注目領域見逃し可能性判定部、１０１９ 前方基準画像選択部、
１０２０ 後方基準画像選択部

Claims (17)

1. 複数の画像を有する画像列を取得する画像列取得部と、
   前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除する第１の削除可否判定処理及び第２の削除可否判定処理に基づいて、要約画像列を取得する画像要約処理を行う処理部と、
   を含み、
   前記処理部は、
   前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、
   設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、
   前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、前記第１の削除可否判定処理として行い、
   前記処理部は、
   前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、
   前記処理部は、
   前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、
   前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、前記第２の削除可否判定処理として行うことを特徴とする画像処理装置。
2. 請求項１において、
   前記処理部は、
   第１の被覆率判定処理、及び第１の構造要素判定処理の少なくとも一方の処理を、前記第１の削除可否判定処理として行い、
   前記処理部は、
   第２の被覆率判定処理、及び第２の構造要素判定処理の少なくとも一方の処理を、前記第２の削除可否判定処理として行い、
   前記第１の被覆率判定処理は、
   前記第１の変形情報に基づいて、前記第１の基準画像による前記第１の判定対象画像の被覆率を求め、求めた前記被覆率に基づいて前記第１の判定対象画像の削除可否を判定する処理であり、
   前記第１の構造要素判定処理は、
   注目領域に対応する構造要素及び前記第１の変形情報を用いた処理の結果に基づいて、前記第１の判定対象画像の削除可否を判定する処理であり、
   前記第２の被覆率判定処理は、
   前記第２の変形情報に基づいて、前記第２の基準画像による前記第２の判定対象画像の前記被覆率を求め、求めた前記被覆率に基づいて前記第２の判定対象画像の削除可否を判定する処理であり、
   前記第２の構造要素判定処理は、
   前記注目領域に対応する前記構造要素及び前記第２の変形情報を用いた処理の結果に基づいて、前記第２の判定対象画像の削除可否を判定する処理であることを特徴とする画像処理装置。
3. 請求項２において、
   前記処理部は、
   前記第１の削除可否判定処理として、前記第１の被覆率判定処理を行う場合には、
   前記第２の削除可否判定処理として、前記第２の被覆率判定処理を行い、
   前記処理部は、
   前記第１の削除可否判定処理として、前記第１の構造要素判定処理を行う場合には、
   前記第２の削除可否判定処理として、前記第２の構造要素判定処理を行うことを特徴とする画像処理装置。
4. 請求項２において、
   前記処理部は、
   前記第１の被覆率判定処理及び前記第１の構造要素判定処理の両方の処理を、前記第１の削除可否判定処理として行うことを特徴とする画像処理装置。
5. 請求項２又は４において、
   前記処理部は、
   前記第２の被覆率判定処理及び前記第２の構造要素判定処理の両方の処理を、前記第２の削除可否判定処理として行うことを特徴とする画像処理装置。
6. 請求項２乃至５のいずれかにおいて、
   前記第１の被覆率判定処理は、
   前記第１の基準画像による前記第１の判定対象画像の前記被覆率を表す値と、第１の被覆率閾値との比較結果に基づく判定処理であり、
   前記第１の構造要素判定処理は、
   第１のサイズの要素を前記構造要素として設定し、設定した前記構造要素による収縮処理、又は前記第１の基準画像により前記第１の判定対象画像が覆われない領域に、設定した前記構造要素が含まれるか否かを判定する処理であり、
   前記第２の被覆率判定処理は、
   前記第２の基準画像による前記第２の判定対象画像の前記被覆率を表す値と、第２の被覆率閾値との比較結果に基づく判定処理であり、
   前記第２の構造要素判定処理は、
   第２のサイズの要素を前記構造要素として設定し、設定した前記構造要素による収縮処理、又は前記第２の基準画像により前記第２の判定対象画像が覆われない領域に、設定した前記構造要素が含まれるか否かを判定する処理であることを特徴とする画像処理装置。
7. 請求項６において、
   前記処理部は、
   前記第２の被覆率閾値として、前記第１の被覆率閾値とは異なる値を設定することを特徴とする画像処理装置。
8. 請求項６又は７において、
   前記処理部は、
   前記第２のサイズとして、前記第１のサイズとは異なるサイズを設定することを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   第１〜第Ｎ（Ｎは２以上の整数）の画像が前記部分画像列として設定された場合に、
   前記処理部は、
   第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像である前方基準画像と、第ｑ（ｑはｐ＋２以上の整数）の画像である後方基準画像を、前記第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を前記第２の判定対象画像として選択し、
   前記前方基準画像と前記第２の判定対象画像の間の変形を表す前方変形情報、及び前記後方基準画像と前記第２の判定対象画像の間の変形を表す後方変形情報を、前記第２の変形情報として求め、
   求めた前記前方変形情報及び前記後方変形情報に基づいて、前記第２の判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
10. 請求項９において、
    前記処理部は、
    第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された後方基準画像選択区間から前記後方基準画像を選択して、前記前方基準画像及び前記後方基準画像に基づいて前記第２の判定対象画像の削除可否の判定を行い、
    第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記後方基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな前記後方基準画像として選択するとともに、前記後方基準画像選択区間の前記始点を前記第ｑの画像に更新することを特徴とする画像処理装置。
11. 請求項１０において、
    前記処理部は、
    前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記後方基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな前記後方基準画像として選択するとともに、前記後方基準画像選択区間の前記終点を前記第ｑの画像に更新することを特徴とする画像処理装置。
12. 請求項１０又は１１において、
    前記処理部は、
    前記後方基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、
    前記前方基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、
    前記始点に対応する前記複数の画像の１つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の１つよりも前記部分画像列において後方の前記画像を新たな前記部分画像列として設定し、設定された新たな前記部分画像列に対して、前記ｐの値を１に設定して再度処理を行うことを特徴とする画像処理装置。
13. 請求項１乃至１２のいずれかにおいて、
    前記処理部は、
    前記複数の画像から注目領域を検出する処理を行い、
    前記複数の画像のうち、前記注目領域が検出された前記画像を前記注目画像として設定することを特徴とする画像処理装置。
14. 請求項１３において、
    前記画像列取得部は、
    前記画像列として、生体内を撮像した複数の生体内画像を取得し、
    前記処理部は、
    前記複数の生体内画像から、病変領域を前記注目領域として検出する処理を行い、
    前記複数の生体内画像のうち、前記病変領域が検出された前記画像を前記注目画像として設定することを特徴とする画像処理装置。
15. 請求項１乃至１４のいずれかにおいて、
    前記処理部は、
    前記部分画像列を複数設定した場合には、複数の前記部分画像列に対して並列に前記第２の削除可否判定処理を行うことを特徴とする画像処理装置。
16. 複数の画像を有する画像列を取得する画像列取得部と、
    前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除する第１の削除可否判定処理及び第２の削除可否判定処理に基づいて、要約画像列を取得する画像要約処理を行う処理部として、
    コンピュータを機能させるためのプログラムであって、
    前記処理部は、
    前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、
    設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、
    前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、前記第１の削除可否判定処理として行い、
    前記処理部は、
    前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、
    前記処理部は、
    前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、
    前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、前記第２の削除可否判定処理として行うことを特徴とするプログラム。
17. 複数の画像を有する画像列を取得し、
    前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、
    設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、
    前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、第１の削除可否判定処理として行い、
    前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、
    前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、
    前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、第２の削除可否判定処理として行い、
    前記第１の削除可否判定処理、及び前記第２の削除可否判定処理に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理装置の作動方法。

Images