JP6188477B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラム等に関する。

動画像や、連続する膨大な画像列を扱うとき、これらの連続する画像列から有用な画像を抽出することにより要約された画像列を生成することは、短時間で、全体の概要を把握するという観点から、有用な技術分野となっている。例えば、現在用いられている一般的なカプセル型内視鏡で撮影される被検体内画像は、カプセル型内視鏡を口から飲み込んで体外に排出されるまでに約０．５秒毎に撮影され、約６０，０００枚もの連続する画像列となる。これらの画像は、消化管内を順次撮影しており、ワークステーション等において画像を表示させて観察することにより診断を行うものである。しかし、約６０，０００枚にも及ぶ大量の画像の全てを順次観察するには膨大な時間がかかり、観察を効率的に行うための技術が望まれている。

このような画像列から例えば、画像処理によって病変部を検出し、病変が検出された画像のみを表示しようとする場合でも、同一の病変が連続して撮影されている場合が多く発生しており、それらを検出した画像も同一の病変が連続して検出された画像列となる。これらのすべての画像を表示すると、異なる画像として撮影されてはいるものの同一病変を繰り返し観察することになり冗長であるため、省力化の観点からは同一の病変が撮影されている画像列はより少数の画像列に要約する等、効率的な表示が望まれている。

時系列的な複数の画像において、各画像に撮像された被写体が同一であるか否かを判定する手法が開示されている。例えば特許文献１には、入力した画像情報から対象物を検出する対象物検出手段と、前記対象物検出手段により前記対象物を検出した場合に、前記撮像手段に対する前記対象物の距離及び位置を測定する距離・位置測定手段と、前記対象物に対する画像１フレームあたりの移動範囲を取得する移動範囲取得手段と、前記移動範囲取得手段により得られる移動範囲から、フレーム毎に検出された対象物が同一であるか否か判定する判定手段とを有する追跡装置が開示されている。

また特許文献２には、侵入物と同一と判断される現侵入物が検出されなかった場合は、その時点からの消失時間を計測し、消失時間が予め設定した消失確認時間以下の場合は、前侵入物の推定侵入物状態（推定位置及び推定幾何学的特徴量）を現侵入物の推定侵入物状態として維持し、次回以降の画像データから検出された侵入物に対し、これらの推定位置及び推定幾何学的特徴量を用いて、同一性判断を行う進入物検知追跡装置が開示されている。

特開２００８−２１７７１４号公報 特開２００９−２６８００５号公報 特開２００７−２５７２８７号公報 特開２０１０−１１３６１６号公報

特許文献１では、対象としている物体の移動範囲を推定し、推定した移動範囲内に同様の特性の物体が撮像されたか否かに基づいて同一性の判定を行っている。また、特許文献２では、対象物体が検出されない期間は、検出された期間の物体領域の履歴から線形近似により物体位置の推定を行い、推定結果に基づいて同一性の判定を行っている。

特許文献１，特許文献２は、ともに対象としている物体や、当該物体の背景として撮像される被写体が剛体的であり、且つ独立して移動することを想定している。しかし内視鏡装置により撮像される生体内画像では、被写体が非剛体的（弾性的）な運動を行う。例えば腸内を撮像した消化管画像であれば、腸のぜん動運動により、被写体がその形状を大きく変える。そのため、物体の移動が線形であることを仮定している特許文献１や特許文献２の手法を生体内画像を対象とした画像列に適用しても、充分な精度で物体の同一性を判定することができない。その結果として、画像要約処理において、削除すべきではない画像を削除することで情報の欠落が発生したり、削除できる画像を削除しないことでユーザ（ドクター）の省力化の効果が低下するおそれがある。

本発明の幾つかの態様によれば、画像中の少なくとも特徴領域以外の領域に基づいて求めた変形情報を用いて、特徴領域の同一性判定処理を行うことで、精度の高い画像要約処理を実現する画像処理装置、画像処理方法及びプログラム等を提供することができる。

本発明の一態様は、連続する第１〜第Ｎ（Ｎは２以上の整数）の画像を有する画像列を取得する画像列取得部と、前記画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部と、前記第１〜第Ｎの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部と、第ｉの画像における前記特徴領域の前記検出処理の結果である第ｉの特徴領域と、第ｉ＋１の画像における前記特徴領域の前記検出処理の結果である第ｉ＋１の特徴領域と、前記第ｉの画像と前記第ｉ＋１の画像の間の前記変形情報であるｈ（ｉ，ｉ＋１）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との同一性判定処理を行う同一性判定部と、前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行う要約処理部と、を含み、前記変形情報算出部は、前記第ｉの画像のうち少なくとも前記第ｉの特徴領域以外の領域を含む第ｉの変形推定対象領域と、前記第ｉ＋１の画像のうち少なくとも前記第ｉ＋１の特徴領域以外の領域を含む第ｉ＋１の変形推定対象領域とに基づいて、ｈ（ｉ，ｉ＋１）を求める画像処理装置に関係する。

本発明の一態様では、特徴領域以外の領域を含む変形推定対象領域に基づいて変形情報を求め、求めた変形情報を用いて特徴領域の同一性判定処理を行う。変形情報を用いることで、被写体が弾性的な変形を行う場合であっても、精度よく同一性の判定を行うことができ、画像要約処理の精度を高くすること等が可能になる。また、変形情報の算出に特徴領域以外の領域の情報を用いることで、変形情報を精度よく算出すること等が可能になる。

また、本発明の一態様では、前記第ｉの特徴領域とｈ（ｉ，ｉ＋１）とに基づいて、前記第ｉの特徴領域を、前記第ｉ＋１の画像に対して射影した領域である第ｉの変形領域を求める変形推定処理を行う変形推定処理部をさらに含み、前記同一性判定部は、前記変形推定処理により得られた前記第ｉの変形領域と、前記第ｉ＋１の特徴領域とに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との前記同一性判定処理を行ってもよい。

これにより、変形情報を用いて変形領域を求めることで、特徴領域の高精度での同一性判定処理を行うこと等が可能になる。

また、本発明の一態様では、前記画像列取得部は、前記画像列として、時系列の生体内画像を取得し、前記特徴領域検出部は、前記生体内画像内の病変領域及び異常粘膜領域の少なくとも一方の領域を、前記特徴領域として検出してもよい。

これにより、生体内画像を対象とした画像要約処理を実行すること等が可能になる。

また、本発明の一態様では、前記変形情報算出部は、前記第ｉの画像のうち少なくとも正常粘膜領域を含む前記第ｉの変形推定対象領域と、前記第ｉ＋１の画像のうち少なくとも前記正常粘膜領域を含む第ｉ＋１の変形推定対象領域とに基づいて、前記変形情報を求めてもよい。

これにより、正常粘膜領域を含む変形推定対象領域を設定すること等が可能になる。

また、本発明の一態様では、前記同一性判定部において、同一の前記特徴領域が撮像されているという判定が行われなかった場合に、前記同一性判定部は、所定の枚数分だけ、前記変形情報に基づく処理を継続し、設定された枚数以内の画像において、前記特徴領域が検出された場合に、前記同一性判定処理を行ってもよい。

これにより、同一の特徴領域が見つからなかった場合であっても、所定枚数分だけ処理を継続すること等が可能になる。

また、本発明の一態様では、前記第ｉ＋１の画像において前記特徴領域が検出されなかったことで、前記同一性判定部において、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域が同一であるという判定が行われなかった場合に、前記同一性判定部は、前記第ｉの特徴領域と、前記第ｉ＋２の画像における前記特徴領域の前記検出処理の結果である第ｉ＋２の特徴領域と、前記第ｉの画像と第ｉ＋２の画像の間の前記変形情報であるｈ（ｉ，ｉ＋２）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋２の特徴領域との前記同一性判定処理を行ってもよい。

これにより、第ｉの特徴領域に対して累積的に変形推定処理を行うことで、第ｉの特徴領域と、第ｉの画像に隣接しない第ｉ＋２の画像での特徴領域との同一性判定処理を行うこと等が可能になる。

また、本発明の一態様では、前記同一性判定部は、前記第ｉの特徴領域と、前記第ｉ＋ｋ（ｋは整数）の画像における前記特徴領域の前記検出処理の結果である第ｉ＋ｋの特徴領域が同一であるという判定が行われなかった場合であって、ｋ≧Ｔｈ（Ｔｈは所与の整数）の場合に、前記第ｉの特徴領域に関する前記同一性判定処理を終了し、前記第ｉの特徴領域と、前記第ｉ＋ｋの特徴領域が同一であるという判定が行われなかった場合であって、ｋ＜Ｔｈの場合に、前記第ｉの特徴領域と、前記第ｉ＋ｋ＋１の画像における前記特徴領域の前記検出処理の結果である第ｉ＋ｋ＋１の特徴領域と、前記第ｉの画像と第ｉ＋ｋ＋１の画像の間の前記変形情報であるｈ（ｉ，ｉ＋ｋ＋１）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋ｋ＋１の特徴領域との前記同一性判定処理を行ってもよい。

これにより、第ｉの特徴領域に対して、所定枚数分まで累積的に変形推定処理を行うことで、第ｉの特徴領域と、第ｉの画像に隣接しない第ｉ＋ｋの画像での特徴領域との同一性判定処理を行うこと等が可能になる。

また、本発明の一態様では、前記変形情報算出部は、画像内の少なくとも１つの位置における画像間動きベクトルを、前記変形情報として求め、前記同一性判定部は、前記第ｉの特徴領域と、前記第ｉ＋１の特徴領域と、前記第ｉの画像と前記第ｉ＋１の画像の間の前記画像間動きベクトルとに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との前記同一性判定処理を行ってもよい。

これにより、動きベクトルを変形情報として用いること等が可能になる。

また、本発明の一態様では、前記同一性判定部は、前記第ｉの特徴領域をｈ（ｉ，ｉ＋１）を用いて前記第ｉ＋１の画像に対して射影した領域である第ｉの変形領域、及び前記第ｉ＋１の特徴領域の、形状情報、色情報、テクスチャ情報、及び画像内での位置情報の少なくとも１つの情報に基づいて、前記同一性判定処理を行ってもよい。

これにより、種々の情報のうち少なくとも１つの情報を用いて同一性判定処理を行うこと等が可能になる。

また、本発明の一態様では、前記同一性判定部は、ｈ（ｉ，ｉ＋１）の信頼度に基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との間の前記同一性判定処理を行ってもよい。

これにより、変形情報算出の信頼度に基づいて同一性判定処理を行うこと等が可能になる。

また、本発明の一態様では、前記要約処理部は、前記同一性判定処理の結果に基づいて、前記第１〜第Ｎの画像のうち、同一の前記特徴領域が撮影されていると判定された画像から構成される同一特徴領域画像群を設定する画像群設定部と、前記画像群設定部において設定された前記同一特徴領域画像群から、少なくとも１枚の代表画像を選択することで、要約画像列を生成する要約画像列生成部と、を含んでもよい。

これにより、画像群の設定処理と、代表画像の選択処理により画像要約処理を実現すること等が可能になる。

また、本発明の一態様では、前記要約処理部は、前記同一特徴領域画像群に含まれる各画像における、前記特徴領域の面積情報、前記特徴領域の色情報、前記特徴領域のテクスチャ情報、前記特徴領域の画像内での位置情報、及び前記特徴領域の前記検出処理の信頼度情報の少なくとも１つの情報に基づいて、前記代表画像を選択してもよい。

これにより、種々の情報のうち少なくとも１つの情報を用いて代表画像の選択処理を行うこと等が可能になる。

また、本発明の他の態様は、連続する第１〜第Ｎ（Ｎは２以上の整数）の画像を有する画像列を取得する処理を行い、前記画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出処理を行い、前記第１〜第Ｎの画像の各画像において、特徴領域の検出処理を行い、第ｉの画像における前記特徴領域の前記検出処理の結果である第ｉの特徴領域と、第ｉ＋１の画像における前記特徴領域の前記検出処理の結果である第ｉ＋１の特徴領域と、前記第ｉの画像と前記第ｉ＋１の画像の間の前記変形情報であるｈ（ｉ，ｉ＋１）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との同一性判定処理を行い、前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行い、前記変形情報算出処理において、前記第ｉの画像のうち少なくとも前記第ｉの特徴領域以外の領域を含む第ｉの変形推定対象領域と、前記第ｉ＋１の画像のうち少なくとも前記第ｉ＋１の特徴領域以外の領域を含む第ｉ＋１の変形推定対象領域とに基づいて、ｈ（ｉ，ｉ＋１）を求める画像処理方法に関係する。

また、本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。

本実施形態に係る画像処理装置のシステム構成例。 本実施形態に係る画像処理装置の詳細なシステム構成例。 図３（Ａ）〜図３（Ｃ）は特徴領域以外の領域を用いて変形情報を求める手法を説明する図。 第１の実施形態の手法の説明図。 第１の実施形態の手法の他の説明図。 第１の実施形態の処理を説明するフローチャート。 第１の実施形態の処理を説明する他のフローチャート。 第２の実施形態の手法の説明図。 第２の実施形態の処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば０．５秒に１回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、診断等において有用性の高くない画像も多数存在してしまう。

これに対して、画像中から病変領域を検出し、病変領域が検出された画像は要約処理後の要約画像列に残し、病変領域が検出されなかった画像は削除するという画像要約処理を行うことが考えられる。しかし症例によっては、取得された画像列の大部分の画像で病変領域が検出される場合がある。このような場合には、病変領域が検出されたか否かで画像要約処理を行ったとしても、大部分の画像が削除不可とされるため、画像枚数の削減効果が低くユーザ（ドクター）の負担軽減につながらない。

そこで本出願人は、所与の画像中の特徴領域（狭義には病変領域や異常粘膜領域）と、他の画像中の特徴領域の同一性を判定する処理を行い、当該処理の結果に基づいて画像要約処理を行う手法を提案する。具体的には、複数枚の画像のそれぞれから検出された特徴領域が同一であると判定された場合には、当該複数枚の画像のうち少なくとも１枚を残し、他の画像を削除すればよい。各特徴領域が同一である（例えば同一の病変である）と判定されたのであるから、少なくとも１枚の画像を残せば当該特徴領域の情報は失われることなく、画像要約処理後の画像列（以下、要約画像列とも記載）においても観察可能となる。

画像中に撮像された物体の同一性判定手法は、特許文献１や特許文献２のように、種々の手法が知られている。しかし生体内画像を対象とした場合、従来手法は必ずしも有効とは言えない。従来の同一性判定手法（トラッキング手法）では、検出対象である物体が剛体的な変形を行うことを想定している。例えば、特許文献１や特許文献２において開示されているのは、監視カメラ等における人物のトラッキングに関する手法である。この場合、画像中での人物は、撮像タイミングの異なる複数の画像間で、形状（輪郭）が大きく変化することは考えにくく、画像中での位置や画像中でのサイズの変化が主となる変形が行われ、さらに位置やサイズの変化も線形であるとの仮定がよく当てはまるものである。本実施形態では、このような変形を「剛体的」な変形を表現する。そのため、特許文献１の移動範囲の推定や、特許文献２の履歴からの線形近似によるトラッキングでも特に問題は生じない。

しかし生体内画像では特徴領域は病変領域等となり、当該病変領域は生体表面（例えば消化管の粘膜）に生じる、或いは生体表面に貼り付いているものである。そして生体は、それ自体が柔らかく弾性的な変形が生じうる上に、腸のぜん動運動のように何らかの運動をすることで自らその形状を変える場合もある。つまり、特徴領域も剛体的な変形でなく非剛体的（弾性的）な変形が生じるため、従来の同一性判定手法では精度のよい判定が難しい。

そこで本出願人は、画像間の変形情報に基づいて特徴領域の同一性を判定する手法を提案する。そして変形情報を求める際に、少なくとも特徴領域以外の領域を用いるものとする。従来手法であれば、第１の画像中の第１の特徴領域と、第２の画像中の第２の特徴領域の同一性判定の際には、それらを直接比較していた。これは例えば、図４における画像Ｙ１の特徴領域ＦＡ１−１と、画像Ｙ２の特徴領域ＦＡ１−２を直接比較する場合に対応する。よって、被写体が弾性的な変形をする場合等には、第１の特徴領域と第２の特徴領域の形状等が大きく異なる可能性もあり精度が低くなる。

その点、変形情報を用いれば、当該変形情報には被写体の弾性的な変形も含まれているため、生体内画像等を対象とした場合にも精度のよい同一性の判定が可能である。例えば、第１の画像と第２の画像の間の変形情報を用いて、第１の特徴領域を変形推定することで変形領域を求め、当該変形領域と第２の特徴領域の比較を行えばよい。この場合、第１の画像と第２の画像との間の変形は、変形情報を用いた変形推定処理によりキャンセル（広義には低減）されるため、第１の特徴領域と第２の特徴領域が同一であれば、変形領域と第２の特徴領域との差異が小さくなり、高精度での同一性判定が可能となる。これは例えば、図４のＹ１における特徴領域ＦＡ１−１を変形した画像Ｚ２の変形領域ＦＡ’１−１と、画像Ｙ２の特徴領域ＦＡ１−２とを比較する場合に対応する。

しかし、上記手法は画像間の変形情報が高精度で求められていることを前提としており、変形情報の精度が低ければ、求められる変形領域の精度及び当該変形領域を用いた同一性判定処理の精度も低下してしまう。その点、生体内画像における変形情報を、特徴領域（病変領域）部分のみから求めた場合、当該変形情報の精度を確保することは難しい。なぜなら、生体内画像では内容物や襞構造等により特徴領域が遮蔽される場合があるためである。

例えば、腸等の消化管を撮像した画像では、消化管内の泡や残渣が撮像される場合があり、それら内容物が病変領域を覆う位置にあったり、病変領域と撮像部の間にあったりすると、当該内容物がなければ撮像できたはずの病変領域の一部又は全部が遮蔽されてしまう。また、生体内には襞のような凸構造がみられ、当該襞等は上記ぜん動運動等により位置を変えることがある。よって、撮像部と病変領域の相対位置だけ考えた場合に当該病変領域が撮像可能であったとしても、襞等の動きによっては当該病変領域が撮像されたり遮蔽されて撮像できなかったりする。

また、生体内画像を撮像するケースでは、撮影のフレームレートが低い場合が多い。これはバッテリーや装置のサイズに制限が大きいカプセル内視鏡の場合に特に顕著であり、例えば上述したように２ｆｐｓ程度の低いフレームレートとなることもある。この低いフレームレートも、変形情報の精度を低下させる要因となる。

そこで本出願人は、上述したように、変形情報を求める際に画像中の特徴領域以外の領域の情報を少なくとも用いるものとする。本実施形態では、対象としている画像において、特徴領域と、それ以外の領域（背景）とは同じ動きをすることを想定している。例えば、生体内画像では特徴領域である病変領域は、背景である粘膜領域に貼り付いているものであり、病変領域と粘膜領域は一体として動く（変形する）ものである。つまり病変領域ではない粘膜領域の変形と、病変領域の変形とに関連性があることになり、内容物や襞構造等により病変領域が遮蔽されたとしても、粘膜領域等の情報を用いることで変形情報を精度よく求めることが可能となる。

具体例を図３（Ａ）〜図３（Ｃ）に示す。図３（Ａ）に示したように、第１の画像で特徴領域ＦＡ１が検出された場合であって、第２の画像ではＦＡ１に対応する領域は、本来ＦＡ２の領域に撮像されるはずであったが、ＦＡ２を含む遮蔽領域ＭＡが内容物により遮蔽されてしまった場合を考える。この場合、ＦＡ１の情報だけを用いて画像間の変形情報を求めようとしても、ＦＡ１に対応する特徴を有するはずであったＦＡ２はＭＡにより遮蔽されているため、第２の画像からはＦＡ１に対応する領域が見つからず、適切な変形情報を求められない。

このような場合であっても、画像全体を対象として変形情報を算出することで、第１の画像中の領域と、当該領域に対応する第２の画像中の領域を見つけることは可能である。例えば、病変領域以外の粘膜領域等は第１の画像と第２の画像で同様の特性を有する。よって、図３（Ｂ）に示したように、第１の画像中の領域Ｒ１が、第２の画像中の領域Ｒ２と対応しているという情報を求めることができる。ここで、上述した特徴領域とそれ以外の領域とが一体として変形するという前提を考慮すれば、図３（Ｃ）に示したような対応関係を導くことが可能である。すなわち、図３（Ｂ）に示したようにＲ１とＲ２が対応するのであれば、図３（Ｃ）に示したように第１の画像のＲ１以外の領域Ｒ３と、第２の画像のＲ２以外の領域Ｒ４とが対応する。

特許文献１や特許文献２のような従来手法で対象としている画像では、図３（Ｃ）を導くことはできない。特許文献１等では、検出対象である物体（人物等）と、背景（風景等）とは独立に移動（変形）するためである。例えば、図３（Ｂ）のようにＲ１とＲ２の対応関係が求められても、第１の画像でＲ３に撮像されていた物体１が、第２の画像の撮像までに撮像範囲外へ移動したり、第２の画像の撮像までに物体１とは異なる物体２が領域Ｒ４に入り込んでくるといったケースは充分考えられる。それ以外にも、物体と背景の一方のみが移動したり、それぞれが異なる方向に移動する場合が多く見られる。そのため、Ｒ３とＲ４とが対応するとの判定が適切でない場合も多く、特徴領域以外の領域の情報は、変形領域を求めるための変形情報の導出に当たって有効ではない。

その点、本実施形態では病変領域と粘膜領域は一体として動くことから、Ｒ１とＲ２の対応関係に基づいてＲ３とＲ４の対応関係を導くことは自然である。なお、図３（Ａ）〜図３（Ｃ）では、説明の簡略化のために領域と領域の対応関係として説明したが、実際の変形情報は、画像中の各点における動きベクトルであってもよい。この場合、図３（Ｂ）での対応関係とは、Ｒ１に含まれる各点について信頼度の高い動きベクトルが求められ、Ｒ１以外の領域（Ｒ３）では動きベクトルが求められない、或いは信頼度の低い動きベクトルが求められる状態に対応する。そして図３（Ｃ）の対応関係とは、信頼度の高いＲ１での動きベクトルを用いた補間処理（補正処理）等により、Ｒ３に含まれる各点について動きベクトルを推定する状態に対応する。つまり本実施形態の手法により、第１の画像の任意の点（任意の領域）が、第２の画像中のいずれの点（領域）に移動（変形）されるかを、精度よく求めることが可能である。

本実施形態の画像処理装置は、図１に示したように、連続する第１〜第Ｎ（Ｎは２以上の整数）の画像を有する画像列を取得する画像列取得部１０１と、画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部１０４と、第１〜第Ｎの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部１０６と、第ｉの画像における特徴領域の検出処理の結果である第ｉの特徴領域と、第ｉ＋１の画像における特徴領域の検出処理の結果である第ｉ＋１の特徴領域と、第ｉの画像と第ｉ＋１の画像の間の変形情報であるｈ（ｉ，ｉ＋１）とに基づいて、第ｉの特徴領域と第ｉ＋１の特徴領域との同一性判定処理を行う同一性判定部１０９と、同一性判定処理の結果に基づいて、画像列に対する画像要約処理を行う要約処理部１１３と、を含み、変形情報算出部１０４は、第ｉの画像のうち少なくとも第ｉの特徴領域以外の領域を含む第ｉの変形推定対象領域と、第ｉ＋１の画像のうち少なくとも第ｉ＋１の特徴領域以外の領域を含む第ｉ＋１の変形推定対象領域とに基づいて、ｈ（ｉ，ｉ＋１）を求める。

これにより、画像間の変形情報を精度よく求めること、及び求めた変形情報を用いて同一性の判定を行うことで、適切な画像要約処理を行うことが可能になる。

以下、第１〜第２の実施形態について説明する。第１の実施形態では基本的な手法について説明し、第２の実施形態では特徴領域の一時的な消失（非検出）に対応する手法を説明する。

２．第１の実施形態
図２に本実施形態に係る画像処理装置のシステム構成例を示す。画像処理装置は、画像列取得部１０１と、処理部１０と、出力部１１２を含み、処理部１０は、変形情報算出部１０４と、変形情報記憶部１０５と、特徴領域検出部１０６と、特徴領域記憶部１０７と、変形推定処理部１０８と、同一性判定部１０９と、画像群設定部１１０と、要約画像列生成部１１１とを含む。ただし、画像処理装置は図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、画像入力部１０２や画像データベース１０３は、画像処理装置外に設けられることを想定しているが、画像処理装置がそれらを含んで構成されてもよい。

画像列取得部１０１は、画像入力部１０２から入力された画像列又は画像データベース１０３に記憶された画像列を取得する。ここでの画像列は連続する複数の画像から構成されるものであり、狭義には生体の内部を撮像した生体内画像から構成される画像列である。

変形情報算出部１０４は、画像列取得部１０１が取得した画像列に含まれる２つの画像の間の変形情報を求める。上述したように、変形情報算出部１０４の変形情報を求める際には、画像中の特徴領域以外の領域を少なくとも含む変形推定対象領域の情報を用いる。なお、後述する特徴領域検出部１０６での検出結果を取得し、検出された特徴領域以外の画像中の領域を変形推定対象領域として設定してもよいがこれに限定されない。例えば、生体内画像において、画像全体が特徴領域（病変領域）となることは想定しにくいことから、画像全体を一律に変形推定対象領域としてもよい。この場合、第１の画像全体と、第２の画像全体とから、第１の画像と第２の画像の間の変形情報を求めることになる。

ここで、変形情報とは画像中の点における動きベクトルであってもよく、動きベクトルの導出は、一般的に行われているブロックマッチングによる手法等、種々の手法により実現可能である。また、特許文献３に開示されているように画像間の変形パラメータを算出してもよく、当該変形パラメータを変形情報としてもよいし、当該変形パラメータに基づいて求められる動きベクトルを変形情報としてもよい。いずれにせよ、変形情報を求めるに当たって、図３（Ｂ）に示したように特徴領域以外の領域の情報を用いるという条件が満たされればよく、変形情報の算出処理は種々の手法により実現可能である。なお、動きベクトル等の変形情報を算出する際には、その信頼性を併せて求めてもよい。

変形情報記憶部１０５は、変形情報算出部１０４で算出された変形情報を記憶する。なお、図４、図５の説明図、或いは図６のフローチャート等を用いて後述するように、本実施形態での処理は、狭義には隣り合う画像間の変形情報を用いて実現できる。よって、変形情報算出部１０４では、画像列における隣り合う画像間の変形情報を求め、変形情報記憶部１０５は求めた変形情報を記憶してもよい。画像列が第１〜第Ｎ（Ｎは整数）の画像から構成されるのであれば、（Ｎ−１）通りの変形情報を算出、記憶する。ただし、本実施形態の処理は隣接画像間で行われるものには限定されない。その場合、画像列の任意の２つの画像間の変形情報を算出、記憶してもよい。具体的には、Ｎ（Ｎ−１）／２通りの変形情報を算出、記憶する。ただし、任意の２つの画像間の変形情報は、その間の隣接画像間の変形情報の組み合わせにより求めることができる。例えば、隣接しない第ｓ（ｓは整数）の画像と第ｔ（ｔは整数）の画像の間の変形情報ｈ（ｓ，ｔ）は、隣接画像間の変形情報であるｈ（ｓ，ｓ＋１）、ｈ（ｓ＋１，ｓ＋２）、・・・、ｈ（ｔ−１，ｔ）の組み合わせで求められる。つまり、変形情報の算出、記憶は隣接画像間で行っておき、任意の２つの画像間の変形情報については処理で必要となった場合に求めるものであってもよい。

特徴領域検出部１０６は、画像列取得部１０１が取得した画像列の各画像から、特徴的な領域である特徴領域を検出する。ここでの特徴領域は、狭義には生体内画像における病変領域や異常粘膜領域である。なお、粘膜表面の病変や異常を対象とする場合であっても、白みがかった領域を異常とするか、出血等により赤みがかった領域を異常とするかは、対象としている病変や検査項目等で異なってくる。つまり、特徴領域の検出対象や、当該特徴領域の検出手法は種々の手法を適用可能である。特徴領域の検出手法は、例えば上述した通常の色味により検出する手法だけではなく、特殊光（狭義には通常光に比べて周波数帯域の狭い狭帯域光）の照射により取得される画像に基づいて、扁平上皮癌等の特定の病変領域を検出する手法、或いは医療用画像における病変領域検出方法として特許文献４に示されるような手法等、種々の変形実施が可能である。

特徴領域記憶部１０７は、特徴領域検出部１０６で検出された特徴領域に関する情報を記憶する。

変形推定処理部１０８は、変形情報記憶部１０５に記憶された画像間の変形情報に基づいて、所与の画像の特徴領域を変形して他の画像に射影する変形推定処理を行う。ここでの変形推定処理は、第１の画像の特徴領域である第１の特徴領域を対象として行えばよい。ただし、変形推定処理の結果として、第１の特徴領域に対応する第２の画像中の領域である第１の変形領域が求められればよいため、変形推定処理の対象は第１の特徴領域のみに限定されない。例えば、第１の画像全体を、第１の画像と第２の画像の間の変形情報により変形して、第２の画像中で第１の画像に対応する領域を求め、当該領域の中から第１の特徴領域に対応する部分を求めることで、第１の変形領域を特定してもよい。

同一性判定部１０９は、第１の画像での第１の特徴領域と、第２の画像での第２の特徴領域と、第１の画像と第２の画像の間の変形情報とに基づいて、第１の特徴領域と第２の特徴領域が同一であるか否かの判定処理を行う。

画像群設定部１１０は、同一性判定部１０９の判定により、同一の特徴領域を有すると判定された複数の画像を同一特徴領域画像群として設定する。なお、所与の画像で検出された所与の特徴領域について、当該特徴領域と同一と判定された特徴領域を有する他の画像がない場合については、当該所与の画像は要約画像列に残すものに決定して画像群の設定処理をスキップしてもよいし、含まれる画像が当該所与の画像１枚だけである画像群を設定するものとしてもよい。

要約画像列生成部１１１は、画像群設定部１１０で設定された同一特徴領域画像群に含まれる画像から、少なくとも１枚の代表画像を選択して要約画像列に残すとともに、代表画像として選択されなかった画像を削除する画像要約処理を行う。

出力部１１２は、要約画像列生成部１１１で生成された要約画像列の出力を行うものであり、例えば要約画像列に含まれる画像の表示を行う表示部であってもよい。或いは、要約画像列の表示は画像処理装置以外の外部機器で行ってもよく、その場合の出力部１１２は、当該外部機器に対する要約画像列の出力処理を行う。

次に、図４を用いて本実施形態の処理の詳細を説明する。図４において、画像Ｘ１〜画像Ｘ５は撮影された原画像列である。画像Ｙ１〜画像Ｙ５は原画像列に対して特徴領域の検出処理が行われた結果を表す特徴領域の検出画像列である。画像Ｚ１〜画像Ｚ５は、検出画像列において検出された特徴領域に対して変形推定処理が行われた結果を表す変形領域画像列である。

図４の例では、画像Ｘ１〜Ｘ３の３枚において、同一の被写体（狭義には同一の病変部）に対応するＯＢ１が撮像されている。また、画像Ｘ２〜Ｘ５の４枚において、ＯＢ１とは異なる被写体ＯＢ２が撮像されている。

また、Ｘ１〜Ｘ５に対する特徴領域の検出処理の結果として、画像Ｙ１ではＯＢ１に対応する特徴領域ＦＡ１−１が検出され、画像Ｙ２ではＯＢ１に対応する特徴領域ＦＡ１−２とＯＢ２に対応する特徴領域ＦＡ２−２が検出され、画像Ｙ３ではＯＢ１に対応する特徴領域ＦＡ１−３が検出され、画像Ｙ４ではＯＢ２に対応する特徴領域ＦＡ２−４が検出され、画像Ｙ５ではＯＢ２に対応する特徴領域ＦＡ２−５が検出されている。画像Ｘ３と画像Ｙ３の比較からわかるように、被写体ＯＢ２が撮像されているはずの画像Ｘ３に対する特徴領域の検出処理の結果として、ＯＢ２に対応する特徴領域が検出されないことがある。これは、単純に検出処理の精度による場合もあるが、上述したように内容物や襞により被写体が遮蔽されてしまった場合等も考えられる。

本実施形態では、画像Ｙ１〜Ｙ５に示したような、検出された特徴領域について同一性の判定を行う。具体例を以下に示す。まず、画像Ｙ１で検出された特徴領域ＦＡ１−１を起点として、Ｙ２以降の画像においてＦＡ１−１と同一の特徴領域を有するか否かの判定を行う。

その際、上述したようにＦＡ１−１とＦＡ１−２の直接比較、或いはＦＡ１−１とＦＡ２−２の直接比較は行わない。本実施形態では、特徴領域ＦＡ１−１に対して変形情報を用いた変形推定処理を行う。具体的には、画像Ｘ１と画像Ｘ２の間の変形情報を用いてＦＡ１−１を変形して変形領域を求める。これを示したものが画像Ｚ２であり、ＦＡ１−１を変形することで、変形領域ＦＡ’１−１が求められる。

同一性の判定処理は、変形領域ＦＡ’１−１と、対応する画像において検出された特徴領域の比較により行う。具体的には、ＦＡ’１−１が求められた画像Ｚ２に対応する画像として画像Ｙ２を特定し、画像Ｙ２で検出された特徴領域ＦＡ１−２、ＦＡ２−２と、ＦＡ’１−１とを比較すればよい。つまり、特徴領域ＦＡ１−１とＦＡ１−２の同一性判定処理は、ＦＡ’１−１とＦＡ１−２を用いて行われ、ＦＡ１−１とＦＡ２−２の同一性判定処理は、ＦＡ’１−１とＦＡ２−２を用いて行われる。

ここで同一性判定処理としては、変形領域と特徴領域の、領域の重なり、形状類似度、テクスチャ類似度等により類似度関数を定義して、類似度を閾値と比較することにより行えばよい。類似度が閾値よりも大きければ、対象としている２つの特徴領域は同一であると判定される。ここで形状類似度とは、例えば領域のエッジ等により表される輪郭の類似度を表す情報である。またテクスチャ類似度とは、領域内部のテクスチャ（模様等）の類似度を表す情報である。なお類似度関数は、領域の重なり（画像中での位置情報）、形状類似度、テクスチャ類似度等のいずれか１つにより定義されるものであってもよいし、２つ以上の組み合わせにより定義されるものであってもよい。

図４の例では、ＦＡ’１−１とＦＡ１−２が類似しているものとして、ＦＡ１−１とＦＡ１−２は同一であると判定される。なおＦＡ１−１とＦＡ２−２は非同一である。このように、同一と判定された特徴領域が見つかった場合には、起点となった特徴領域（ここではＦＡ１−１）と同一の特徴領域を有する画像の探索を継続する。３枚以上の画像に渡って同一の特徴領域が検出される可能性があるためである。

この際、特徴領域ＦＡ１−１を３番目画像（Ｚ３）に対して変形、射影して、Ｙ３で検出された特徴領域との比較処理を行ってもよい。しかし本実施形態は高精度での変形情報の算出を行うものであるが、誤差が全くない理想的な変形情報を求めることが保証されているわけではない。ＦＡ１−１をＺ３に対して変形、射影する処理は、ＦＡ１−１をＸ１とＸ２の間の変形情報ｈ（１，２）により変形してＦＡ’１−１を求め、さらにＦＡ’１−１をｈ（２，３）により変形する処理に相当する。つまり、画像列において遠い画像間での変形処理は、複数の変形情報による変形処理を組み合わせることになり、変形情報に含まれる誤差を蓄積することになってしまう。

その点、ＦＡ１−１とＦＡ１−２が同一であると判定されているのであるから、ＦＡ１−１とＦＡ１−３が同一であるか否かは、ＦＡ１−２とＦＡ１−３が同一であるか否かの判定と同義である。そしてＦＡ’１−１が変形情報を用いて推定された領域であるのに対して、ＦＡ１−２は原画像Ｘ２から実際に検出された領域であり信頼性が高い。

以上のことから、所与の特徴領域についての同一性の判定処理は、当該所与の特徴領域と同一であると判定された最新の特徴領域を、隣接する画像に対して変形、射影する処理により実現可能である。具体的には、図４に示したように、ＦＡ１−２をｈ（２，３）を用いて変形してＦＡ’１−２を求め、求めたＦＡ’１−２と、Ｙ３で検出された特徴領域ＦＡ１−３との比較処理を行えばよい。

図４の例では、ＦＡ’１−２とＦＡ１−３の類似度が高く、ＦＡ１−２とＦＡ１−３が同一の特徴領域であると判定されている。その後も同様に、ＦＡ１−３をｈ（３，４）により変形してＦＡ’１−３を求め、ＦＡ’１−３と、Ｙ４で検出された特徴領域との比較処理を行う。図４ではＹ４においてＦＡ’１−３と同一であると判定された特徴領域が見つからなかったため、特徴領域ＦＡ１−１に関する処理を終了する。

ここまでの処理により、第１〜第３の画像は同一の特徴領域を有することがわかるため、画像群設定部１１０は第１〜第３の画像を同一特徴領域画像群として設定する。そして要約画像列生成部１１１は、同一の特徴領域画像群から少なくとも１枚の画像を代表画像として選択する。代表画像の選択処理においては、対象としている同一特徴領域画像群内で、特徴領域の面積や、特徴領域の画像内での位置、色情報、テクスチャ情報、検出処理の信頼度等、種々の画像認識又は画像検出の結果の情報を用いることが可能である。

次に図６のフローチャートを用いて本実施形態の処理の流れを説明する。なお、図６のフローチャートでは、対象とする画像群に対する変形情報を求める処理、及び各画像に対する特徴領域の検出処理は実行済みであるとし、特徴領域の同一判定の処理を行うフローとする。

この処理は、Ｓ３０１に示したように画像列に含まれる画像枚数分だけ繰り返し実行されるものである。具体的には、処理対象である画像（ｉ）において特徴領域が検出されたかを判定する（Ｓ３０２）。Ｓ３０２でＹｅｓの場合には、Ｓ３０３〜Ｓ３０６に示す同一性判定の詳細な処理に移行する。一方、Ｓ３０２でＮｏの場合には、その際の画像（ｉ）を起点とする同一性判定処理は不要であるため、Ｓ３０７からＳ３０１に戻り次の画像である画像（ｉ＋１）について処理を行う。例えば図４であれば、第１の画像では画像Ｙ１に示したように特徴領域ＦＡ１−１が検出されたため、第１の画像について同一の特徴領域を有する画像を探索するＳ３０３〜Ｓ３０６の処理が実行される。

Ｓ３０２でＹｅｓの場合には、まず検出された特徴領域を、変形情報を用いて隣接画像である画像（ｉ＋１）に変形推定する（Ｓ３０３）。そして変形推定により求められた変形領域と、画像（ｉ＋１）で検出された特徴領域とを比較して同一か否かの判定を行う（Ｓ３０４）。

同一であると判定された場合には、Ｓ３０４でＹｅｓとなり、画像（ｉ）と画像（ｉ＋１）を同一特徴領域画像群として設定し（Ｓ３０５）、ｉをインクリメントして（Ｓ３０６）、Ｓ３０３に戻る。つまり、特徴領域が同一であるとの判定がされている限り、Ｓ３０２におけるインクリメント前の画像（ｉ）を起点とした変形推定処理及び同一性判定処理を、隣接画像を単位として繰り返し実行することになる。

そして、変形領域と隣接画像間の特徴領域が類似していないと判定された場合には、Ｓ３０４でＮｏとなり、Ｓ３０２におけるインクリメント前の画像（ｉ）を起点とした変形推定処理及び同一性判定処理が終了し、Ｓ３０７からＳ３０１に戻る。

なお、図６は１枚の画像からは１つの特徴領域しか検出されないことを想定したフローチャートである。しかし図４の画像Ｙ２等に示したように、１枚の画像から複数の特徴領域が検出される場合もあり得る。その場合には、それぞれの特徴領域について独立に処理を行えばよい。

図４の例では第２の画像ではＹ２に示したように特徴領域ＦＡ１−２とＦＡ２−２が検出されている。この場合には、ＦＡ１−２とＦＡ２−２とでそれぞれ処理を行えばよい。ただし、ＦＡ１−２については、それ以前の画像で検出された特徴領域ＦＡ１−１と同一であるとの判定が行われるため、ＦＡ１−２を起点とした処理を実行する必要はない。

ＦＡ２−２についての処理の例を図５に示す。具体的には、ＦＡ２−２をｈ（２，３）を用いて変形推定してＦＡ’２−２を求め、ＦＡ’２−２と、画像Ｙ３で検出された特徴領域の比較処理を行えばよい。図５の例であれば、画像Ｙ３にはＦＡ’２−２と同一と判定される特徴領域はないため、第２の画像のみを特徴領域ＦＡ２−２についての同一特徴領域画像群として設定すればよい。なお、Ｙ４のＦＡ２−４やＹ５のＦＡ２−５を考慮した処理については、第２の実施形態で後述する。

特徴領域が複数検出されうる場合のフローチャートを図７に示す。Ｓ４０１及びＳ４０８については、図６のＳ３０１及びＳ３０７と同様に、画像列に含まれる画像枚数分だけ処理を繰り返すことを示すものである。処理対象である画像（ｉ）について、Ｓ３０２と同様に特徴領域の検出処理を行う（Ｓ４０２）。特徴領域が検出されない場合に、Ｓ４０２でＮｏとなりＳ４０８からＳ４０１に戻る点は図６と同様である。

一方、特徴領域が検出されＳ４０２でＹｅｓとなった場合には、検出された特徴領域が複数であるか否かの判定を行う（Ｓ４０３）。検出された特徴領域が１つであれば、図６と同様の処理を行えばよい。つまりこの場合、Ｓ４０３でＮｏとなり、図６のＳ３０３〜Ｓ３０６と同様の処理が実行される（Ｓ４０７）。

検出された特徴領域が複数（Ｍ領域）あった場合には、Ｓ４０４及びＳ４０６に示したように、領域ごとに処理を繰り返し実行すればよい。そして領域ごとに実行される処理は、図６と同様の処理であればよく、具体的にはＳ３０３〜Ｓ３０６と同様の処理である（Ｓ４０５）。

なお１枚の画像から複数の特徴領域の検出を許容する場合、複数の同一特徴領域画像群が重なる（所与の画像が第１の同一特徴領域画像群にも、第２の同一特徴領域画像群にも含まれる）場合が考えられる。図４、図５の例であれば、第１の同一特徴領域画像群は第１〜第３の画像であり、第２の同一特徴領域画像群は第２の画像である。

その場合、代表画像はそれぞれの同一特徴領域画像群から独立の選択してもよい。例えば図４及び図５において、第１の同一特徴領域画像群から第１の画像を代表画像として選択し、第２の同一特徴領域画像群から第２の画像を代表画像として選択すれば、ＯＢ１もＯＢ２も要約画像列において情報が欠落することなく観察可能である。

ただし、同一特徴領域画像群の重なりを考慮して代表画像の選択処理を行ってもよい。図４、図５の例であれば、重複部分である第２の画像を代表画像とすれば、１枚の代表画像により第１，第２の同一特徴領域画像群を代表することができるため、画像枚数の削減効果が向上する。つまり代表画像の選択処理において、上述した特徴領域の面積や、特徴領域の画像内での位置、色情報、テクスチャ情報、検出処理の信頼度等に加えて、複数の同一特徴領域画像群の重なりに関する情報を用いてもよい。

以上の本実施形態では、画像処理装置は図１に示したように、連続する第１〜第Ｎ（Ｎは２以上の整数）の画像を有する画像列を取得する画像列取得部１０１と、画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部１０４と、第１〜第Ｎの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部１０６と、第ｉの画像における特徴領域の検出処理の結果である第ｉの特徴領域と、第ｉ＋１の画像における特徴領域の検出処理の結果である第ｉ＋１の特徴領域と、第ｉの画像と第ｉ＋１の画像の間の変形情報であるｈ（ｉ，ｉ＋１）とに基づいて、第ｉの特徴領域と第ｉ＋１の特徴領域との同一性判定処理を行う同一性判定部１０９と、同一性判定処理の結果に基づいて、画像列に対する画像要約処理を行う要約処理部１１３を含む。そして変形情報算出部１０４は、第ｉの画像のうち少なくとも第ｉの特徴領域以外の領域を含む第ｉの変形推定対象領域と、第ｉ＋１の画像のうち少なくとも第ｉ＋１の特徴領域以外の領域を含む第ｉ＋１の変形推定対象領域とに基づいて、ｈ（ｉ，ｉ＋１）を求める。

ここで、図１の要約処理部１１３は、図２に示したように画像群設定部１１０及び要約画像列生成部１１１に対応するものであるが、画像群設定部１１０及び要約画像列生成部１１１以外の構成により要約処理部１１３を実現することは妨げられない。

これにより、検出対象となるような特徴的な領域が撮像されている画像のみを表示する際に、同一領域が写っている画像が大量に有ると冗長性が高くなるが、検出された特徴領域が同一であることを判定した上で、同一特徴領域が撮影されている画像群から適切な代表画像のみに削減することが可能になる。よって、表示すべき画像枚数の削減効果を向上させることができ、冗長性が抑えられた効果的な表示を行うことができる。

被写体が非剛体的（弾性的）な変形をする場合、同一の被写体を撮像した第ｉの特徴領域と、第ｉ＋１の特徴領域とで形状等の差異が大きいことがあり得る。その場合、第ｉの特徴領域と第ｉ＋１の特徴領域との直接比較では、それらが同一であるとの判定が難しい。本実施形態では、変形情報を用いることで、弾性的な変形についても当該変形情報により考慮することができるため、精度のよい同一性判定処理が可能になる。

さらにここでは、画像中の特徴領域以外を含む領域（狭義には画像全体であるがこれに限定されない）を変形推定対象領域として用いて変形情報を求める。すなわち、特徴領域以外の領域の変形を求めることにより、その内部に含まれる特徴領域も周囲の領域の変形に合わせて変形されるので、このような変形処理により得られた変形領域内における特徴領域の変形領域として求めることにより、検出された特徴領域との比較を行うことにより同一性の判定を行う。これは本実施形態が対象とする画像において、対象領域は背景と同じ動きをする（貼り付いている）ことを想定しており、背景の変形が特徴領域の変形を推定する上で有用なためである。

また、画像処理装置は図２に示したように、第ｉの特徴領域とｈ（ｉ，ｉ＋１）とに基づいて、第ｉの特徴領域を、第ｉ＋１の画像に対して射影した領域である第ｉの変形領域を求める変形推定処理を行う変形推定処理部１０８をさらに含んでもよい。そして同一性判定部１０９は、変形推定処理により得られた前記第ｉの変形領域と、第ｉ＋１の特徴領域とに基づいて、第ｉの特徴領域と第ｉ＋１の特徴領域との同一性判定処理を行う。

ここで第ｉの特徴領域が図４における画像Ｙ１のＦＡ１−１であるとすれば、第ｉの変形領域とは、図４における画像Ｚ２のＦＡ’１−１に対応する。

これにより、２つの特徴領域の同一性判定処理において、変形情報を用いて一方の特徴領域を他方の画像へ変形推定することで変形領域を求め、当該変形領域と他方の画像の特徴領域との比較処理を行うことが可能になる。仮に変形情報が誤差を含まない理想的な情報であれば、変形情報を用いた変形推定処理により、一方の画像の所与の領域に撮像された被写体が、他方の画像においてどの領域に撮像されているかを、誤差なく演算することができる。つまり、第ｉの特徴領域と第ｉ＋１の特徴領域が同一の場合であれば、第ｉの変形領域と第ｉ＋１の特徴領域とは、理想的には画像中での位置や形状等が一致することが期待される。従って、本実施形態の手法によれば、被写体が弾性的な変形をするものであったとしても、２つの領域が一致するか否かというシンプルな判定により同一性判定処理を行うことが可能になり、高精度での判定を実行できる。なお、変形情報が誤差を含まないことは想定しにくいこと、色情報やテクスチャ情報は撮像時の光量の条件等で変動しうること等を考慮すれば、２つの領域が完全に一致しなくても、ある程度近い範囲にあれば同一であると判定する必要があることは言うまでもない。

また、画像列取得部１０１は、画像列として、時系列の生体内画像を取得してもよい。そして、特徴領域検出部１０６は、生体内画像内の病変領域及び異常粘膜領域の少なくとも一方の領域を、特徴領域として検出する。

ここで、病変領域とは、画像中で所与の病変に対応する特性を有する領域を表す。また、異常粘膜領域とは、病変ではないものの正常な粘膜とは異なる特性を有する粘膜に対応する領域を表す。特徴領域検出部１０６では、病変領域を表すモデル（パターン）を保持しておき、生体内画像から病変領域を検出してもよい。或いは、病変領域を表すモデルと、異常粘膜を表すモデルの両方を保持しておき、病変領域及び異常粘膜領域をそれぞれ検出してもよい。或いは、正常粘膜を表すモデルを保持しておき、画像中の正常粘膜領域以外の領域を、病変領域及び異常粘膜領域のいずれかの領域であると検出してもよい。その他、特徴領域検出部１０６の検出手法は種々の変形実施が可能である。

これにより、生体内画像を本実施形態の処理対象とすること、及び特徴領域として病変領域や異常粘膜領域を検出することが可能になる。この場合、特徴領域である病変領域や異常粘膜領域は、特徴領域以外の領域（背景）である正常粘膜領域等と一体となって同じ動き、変形をする。つまり、特徴領域以外を含む変形推定対象領域を設定した場合に、特徴領域の変形を精度よく推定することが可能になる。

さらに、生体内画像では、泡や残渣等の内容物、或いは消化管の襞構造等により、病変領域等が遮蔽されて一時的に撮像できないおそれがある。その上、通常の生体用内視鏡装置であれば、患者への侵襲性の観点から、撮像部が小型化されることで撮像される生体内画像の画質が、通常のデジタルカメラ等に比べて低いことが多い。また、カプセル内視鏡であればさらにバッテリー等の制限から撮像のフレームレートも非常に低くなる。これらの要因は、特徴領域だけに着目した同一性判定処理（特徴領域のトラッキング）を非常に困難にするものであるため、特徴領域以外も変形推定対象領域に含めることの利点が大きい。

なお、カプセル内視鏡画像は、特に冗長度が高く、さらに、病変領域や異常粘膜領域という重要な特徴領域を含むため、これらの特徴領域が検出された画像のみを表示することにより閲覧効率を向上させたいという要望があるが、特徴領域が検出される画像のみでも画像数が多い。これらの画像には、同一特徴領域が撮影されている画像が多数有るため、同一特徴領域を有する画像を少なくともひとつの群に分類した上で、各群より少なくとも１枚の画像に要約することによる閲覧効率の向上効果が高く、本実施形態の手法が有効であると言える。

また、変形情報算出部１０４は、第ｉの画像のうち少なくとも正常粘膜領域を含む第ｉの変形推定対象領域と、第ｉ＋１の画像のうち少なくとも正常粘膜領域を含む第ｉ＋１の変形推定対象領域とに基づいて変形情報を求めてもよい。

これにより、正常粘膜領域を含む領域を変形推定対象領域とすることが可能になる。なお、特徴領域（病変領域や異常粘膜領域）以外の領域には、泡や残渣等の領域、何らかの薬剤が散布された領域、通常の内視鏡装置であれば挿入したカンシ等が撮像された領域等、正常粘膜領域以外の領域も考えられる。しかし通常の生体内画像においては、正常粘膜領域が撮像される可能性は非常に高く、画像中に占める割合も高いことが期待される。よって正常粘膜領域を用いることで、容易に変形推定対象領域を設定することが可能になる。

また、変形情報算出部１０４は、画像内の少なくとも１つの位置における画像間動きベクトルを、変形情報として求めてもよい。そして同一性判定部１０９は、第ｉの特徴領域と、第ｉ＋１の特徴領域と、第ｉの画像と第ｉ＋１の画像の間の画像間動きベクトルとに基づいて、第ｉの特徴領域と第ｉ＋１の特徴領域との同一性判定処理を行ってもよい。

これにより、変形情報として動きベクトルを用いることが可能になる。ただし、本実施形態における変形情報は、画像間の変形を表現する情報であればよく、動きベクトルに限定されるものではない。

また、同一性判定部１０９は、第ｉの特徴領域をｈ（ｉ，ｉ＋１）を用いて第ｉ＋１の画像に対して射影した領域である第ｉの変形領域、及び第ｉ＋１の特徴領域の、形状情報、色情報、テクスチャ情報、及び画像内での位置情報の少なくとも１つの情報に基づいて、同一性判定処理を行ってもよい。

さらには、特徴領域の検出処理では、特に病変では、病変タイプも併せて認識できる場合もあるので病変タイプ情報を同一性の判定処理に用いてもよい。すなわち、同一性判定部１０９は、第ｉの特徴領域をｈ（ｉ，ｉ＋１）を用いて第ｉ＋１の画像に対して射影した領域である第ｉの変形領域、及び第ｉ＋１の特徴領域の、形状情報、色情報、テクスチャ情報、画像内での位置情報、及び病変タイプ情報の少なくとも１つの情報に基づいて、同一性判定処理を行ってもよい。

これにより、変形領域及び特徴領域の、形状情報、色情報、テクスチャ情報、及び画像内での位置情報等を基準として用いて、同一性判定処理を行うことが可能になる。場合によっては病変タイプ情報を併せて用いて、同一性判定処理を行ってもよい。同一性判定処理では、これら複数の情報のうち、１つだけを用いてもよいし複数を用いてもよい。また複数の情報を用いる場合に、各情報を均等に扱うか、いずれかの情報の優先度を高くするかは任意の設定が可能である。例えば、複数の情報を併せて利用する場合には、各情報に対して重要度を設定した上で同一性の判定を行うことも考えられる。さらに具体的には、幾何学的に位置や形状が類似している場合に、同一特徴領域である可能性が高いため、形状情報と、画像中での位置情報を同一性判定のための条件としてもよい。また、位置、形状が類似していてもテクスチャが異なれば同一特徴領域と判定するのが適切でない場合も発生するため、テクスチャの類似度も合わせて同一性判定の条件とすることにより信頼性の高い同一性判定を行うことも可能である。なお、同一性判定処理においてテクスチャ情報を用いる場合には、変形推定処理部１０８での変形推定処理において、テクスチャマッピング等によりテクスチャの変形を行っておく必要がある。逆に言えば、同一性判定処理においてテクスチャ情報を用いないことが確定しているのであれば、変形推定処理は形状（輪郭）だけを用いて行ってもよい。

また、同一性判定部１０９は、ｈ（ｉ，ｉ＋１）の信頼度に基づいて、第ｉの特徴領域と第ｉ＋１の特徴領域との間の同一性判定処理を行ってもよい。

これにより、変形情報算出の信頼性も、特徴領域の同一性判定の条件として合わせて利用することで、より信頼性の高い同一性判定処理を行うことができる。これは変形推定処理の精度には、変形情報の算出信頼性が影響を及ぼすためである。

また、要約処理部１１３は、図２に示したように、同一性判定処理の結果に基づいて、第１〜第Ｎの画像のうち、同一の特徴領域が撮影されていると判定された画像から構成される同一特徴領域画像群を設定する画像群設定部１１０と、画像群設定部１１０において設定された同一特徴領域画像群から、少なくとも１枚の代表画像を選択することで、要約画像列を生成する要約画像列生成部１１１を含んでもよい。

これにより、同一特徴領域画像群の設定処理と、代表画像の選択処理により画像列の要約処理を実現することが可能になる。同一特徴領域画像群は、同一と判定された特徴領域を含む画像により構成される。つまり、同一特徴領域画像群に含まれる画像は、対象としている特徴領域についての情報が重複していることになる。よって、同一特徴領域画像群から１枚の画像を残し、他の画像を削除することで、対象としている特徴領域についての情報を失うことなく、画像枚数を削減することが可能になる。なお、選択される代表画像は１枚に限定されるものではない。例えば病変領域に対する診断において、同一病変を異なる角度から撮像した画像が有用な場面等も考えられるため、所与の特徴領域についての同一特徴領域画像群から複数の画像を代表画像として選択してもよい。

また、要約処理部１１３は、同一特徴領域画像群に含まれる各画像における、特徴領域の面積情報、特徴領域の色情報、特徴領域のテクスチャ情報、特徴領域の画像内での位置情報、及び特徴領域の検出処理の信頼度情報の少なくとも１つの情報に基づいて、代表画像を選択してもよい。

これにより、種々の観点のうち少なくとも１つを用いて代表画像の選択処理を行うことが可能になる。例えば、所与の病変領域が撮像されていたとしても、当該撮像領域の画像中でのサイズが非常に小さかったり、極端に歪んで撮像されている画像は、当該病変領域の観察に適した画像とは言えない。同様に、病変領域が極端に明るかったり暗かったりする場合（白飛びや黒つぶれに近いような場合）も観察に適していない。本実施形態の手法はユーザ（ドクター）の省力化を実現するものであるが、特徴領域に関する情報が画像から充分取得できないのでは意味がない。つまり、特徴領域が撮像されているというだけではなく、当該特徴領域が充分な信頼度のある検出結果であること、或いは当該特徴領域の画像での視認性が充分であること等を条件として、代表画像の選択処理を行うとよい。

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．第２の実施形態
次に第２の実施形態について説明する。図５の第３の画像に示したように、Ｘ３では被写体ＯＢ２が撮像されているはずなのに、検出処理の結果、Ｙ３ではＯＢ２に対応する特徴領域が検出されないことがあり得る。これは例えば、生体内画像において上述したように内容物や襞構造等により病変部が遮蔽された場合等に生じうる事態である。

第１の実施形態の手法では、特徴領域を隣接画像に対して変形推定した変形領域を求め、当該変形領域と隣接画像で検出された特徴領域の比較処理を行い、類似度が低い場合には処理対象である特徴領域についての同一性判定処理は終了していた。具体的には図４に示したように、ＦＡ’１−３に対応する特徴領域がＹ４になければ、特徴領域ＦＡ１−１についての処理は終了している。

その場合、Ｘ２〜Ｘ５に示したＯＢ２のように、本来同一の被写体が撮像され続けている場合であっても、途中で当該ＯＢ２に対応する特徴領域が検出されなければ、ＯＢ２に対応する特徴領域についての処理が終了してしまう。この点は、特徴領域の検出処理に失敗した場合だけでなく、画像Ｘ３において被写体ＯＢ２が消失している（撮像自体できていない）場合でも同様である。具体的には、図５に示したように、ＦＡ２−２についての処理は、ＦＡ’２−２と同一の特徴領域がＹ３で見つからなかった時点で終了する。そのため、Ｙ４のＦＡ２−４やＹ５のＦＡ２−５は、本来ＦＡ２−２と同一の特徴領域であるにもかかわらず、Ｆ２−２とは異なる特徴領域と判定されてしまう。結果として、図５の第２、第４、第５の画像は１つの同一特徴領域画像群として設定可能なところ、２つの同一特徴領域画像群に分かれる。そのため、代表画像として選択される画像、すなわち要約画像列に含まれる画像の枚数が増えてしまい、ユーザの省力化という効果が低くなる。

そこで本実施形態では、所与の特徴領域についての同一性判定処理において、同一と判定される特徴領域が見つからなかった場合であっても、所定枚数分だけ、当該所与の特徴領域についての同一性判定処理を継続する。このようにすれば、Ｙ３のように一時的に特徴領域の検出ができなかったとしても、ＦＡ２−２についての処理は第４，第５の画像に対しても継続されるため、ＦＡ２−２とＦＡ２−４，ＦＡ２−５が同一であると判定することが可能となる。

具体例を図８を用いて説明する。なお、被写体ＯＢ１やＯＢ２、及び検出される特徴領域については図４等と同様である。

第２の画像において、特徴領域ＦＡ２−２が検出されたため、ＦＡ２−２と同一の特徴領域を有する画像を探索する同一性判定処理が開始される。この場合、ＦＡ２−２をｈ（２，３）を用いて変形推定を行い、ＦＡ^（１）２−２を求める点は第１の実施形態と同様である。ここでＦＡ^（１）２−２は、図５のＦＡ’２−２と同じ領域を表す。そして図５と同様に、画像Ｙ３にはＦＡ^（１）２−２と同一の特徴領域はないという判定が行われる。

本実施形態では、ここで処理を終了せず、さらにその次の画像において、ＦＡ２−２と同一の特徴領域がないかの判定処理を行う。ただし、Ｙ３においてＯＢ２に対応する特徴領域が検出されていないことから、第３の画像で実際に検出された特徴領域を、第４の画像に対して変形推定することはできない。

よってここでは、特徴領域ＦＡ２−２を第４の画像に対して変形、射影して、Ｙ４で検出された特徴領域との比較処理を行う。ここでＦＡ２−２を第４の画像に対して射影した領域は、Ｘ２とＸ４の間の変形情報ｈ（２，４）とＦＡ２−２とにより求めることができる。ただし、上述したように任意の２つの画像間の変形情報は、隣接画像間の変形情報の組み合わせにより表現できる。つまり、ＦＡ２−２をｈ（２，４）により変形した場合と、ＦＡ２−２をｈ（２，３）で変形した後さらにｈ（３，４）で変形した場合とで、求められる領域は同等となるはずである。そしてＦＡ２−２をｈ（２，３）で変形した領域は、変形領域ＦＡ^（１）２−２として既に求められているため、当該ＦＡ^（１）２−２をｈ（３，４）で変形してＦＡ^（２）２−２を求めればよい。

図８の例では、ＦＡ^（２）２−２とＦＡ２−４の類似度が高いものとして、ＦＡ２−２とＦＡ２−４は同一であるとの判定を行っている。起点の特徴領域（ここではＦＡ２−２）と同一の特徴領域が見つかった後は、第１の実施形態と同様に最新の特徴領域（ここではＦＡ２−４）を隣接画像に対して変形していけばよい。

なお、図８では２枚先の画像で同一の特徴領域が見つかっているが、同一の特徴領域が見つからない場合には、所定枚数分だけ探索を行う。例えば閾値Ｔｈを設定しておき、第ｉの画像までは同一の特徴領域が見つかり、第ｉ＋１以降では同一の特徴領域が見つからない場合には、第ｉ＋Ｔｈの画像までは同一性判定処理を行うものとする。第ｉ＋Ｔｈの画像までに同一の特徴領域を含む画像が見つかれば、当該画像からは再び同様の同一性判定処理を継続すればよい。この場合、第ｉの画像での特徴領域であるＦＡｉを順次変形情報で変形していき、ＦＡ^（１）ｉ、ＦＡ^（２）ｉ、・・・ＦＡ^（Ｔｈ）ｉを求め、検出された特徴領域と比較する。一方、第ｉ＋Ｔｈの画像まで探索しても同一の特徴領域を含む画像が見つからなければ、第ｉ＋１の画像以降には処理対象である特徴領域と同一の特徴領域はないものとして、当該処理対象である特徴領域についての処理を終了する。

図９に本実施形態の処理を説明するフローチャートを示す。Ｓ５０１，Ｓ５１３についてはＳ３０１及びＳ３０７と同様に画像列に含まれる画像枚数分だけ処理を繰り返すことを示すものである。また、Ｓ５０２及びＳ５０３についても、Ｓ３０２及びＳ３０３と同様にである。

そして、Ｓ５０４において、Ｓ３０４と同様に変形領域と隣接画像で検出された特徴領域の比較処理を行う。変形領域と隣接画像で検出された特徴領域が同一である場合は、Ｓ５０４でＹｅｓとなりＳ５０５，Ｓ５０６の処理が行われる。これは図６のＳ３０５，Ｓ３０６の処理と同様である。

一方、変形領域と隣接画像で検出された特徴領域が同一ではないと判定されると、Ｓ５０４でＮｏとなる。第１の実施形態であれば、図６のＳ３０４でＮｏの場合に対応するため、Ｓ３０２で対象としている画像（ｉ）についての処理は終了する。しかし本実施形態では、さらにその次の画像を対象として同一性判定処理を継続する。具体的には、ｉのインクリメントを行い（Ｓ５０７）、Ｓ５０３で求められた変形領域をさらに変形情報により隣接画像に対して変形推定する（Ｓ５０８）。これは図８でいえばＦＡ^（１）２−２をｈ（３，４）を用いて変形してＦＡ^（２）２−２を求める処理に相当する。

そしてＳ５０８で求められた変形領域と、隣接画像である画像（ｉ＋１）で検出された特徴領域の比較処理を行う（Ｓ５０９）。なおＳ５０７でのインクリメント処理により、Ｓ５０９での隣接画像（ｉ＋１）と、Ｓ５０４での隣接画像（ｉ＋１）は異なる画像となっている。

変形領域と隣接画像で検出された特徴領域が同一であれば、Ｓ５０９でＹｅｓとなり、その際の隣接画像（ｉ＋１）を、Ｓ５０２の時点における画像（ｉ）と同一の特徴領域を有するものとして同一特徴領域画像群に設定する（Ｓ５１０）。そしてｉをインクリメントする（Ｓ５１１）とともに、さらに同一性判定処理を継続するためＳ５０３に戻る。

一方、変形領域と隣接画像で検出された特徴領域が同一でなければ、Ｓ５０９でＮｏとなり、Ｓ５０７以降の処理での探索枚数と、変形累積閾値と比較処理を行う（Ｓ５１２）。探索枚数が閾値以下であれば、Ｓ５０７に戻り、さらに次の画像を対象として処理を継続する。また、探索枚数が閾値を超えていれば、Ｓ５１３からＳ５０１に戻り、処理の起点となる画像を更新する。

なお、本実施形態においても１枚の画像から複数の特徴領域を検出してもよい。この場合、第１の実施形態と同様に各特徴領域について並列に処理を行えばよい。フローチャートは図７と同様になり、Ｓ４０５及びＳ４０７での処理を、第２の実施形態における処理、すなわち図９のＳ５０３〜Ｓ５１２の処理に変更すればよい。

本実施形態では、変形領域と検出領域との同一性判定条件が満たされない場合であっても、設定した閾値枚数だけ、変形領域に対して累積的に変形推定を行う。よって、閾値枚数以内に検出された特徴領域との同一性判定条件が満たされた場合であれば、特徴領域検出が連続的に行えていない場合であっても、不連続な画像に対して同一特徴領域画像群を設定することができる。

以上の本実施形態では、同一性判定部１０９において、同一の特徴領域が撮像されているという判定が行われなかった場合に、同一性判定部１０９は、所定の枚数分だけ、変形情報に基づく処理を継続し、設定された枚数以内の画像において、特徴領域が検出された場合に、同一性判定処理を行ってもよい。

これは図８の例で言えば、Ｚ３のＦＡ^（１）２−２とＹ３で検出された特徴領域との比較により、第３の画像からはＦＡ２−２と同一の特徴領域が検出されなかった場合にも、ＦＡ２−２に関する処理を継続し、第４の画像においてＺ４のＦＡ^（２）２−２と、Ｙ４で検出されたＦＡ２−４を用いた同一性判定処理を行うものである。

これにより、図８の第３の画像（Ｘ３，Ｙ３）に示したように、連続する画像の一部の画像において、同一の特徴領域が検出されなかった場合であっても、そこで処理を終了せずに、さらに次の画像を用いて同一性判定処理を継続することが可能になる。第１の実施形態においては、図５に示したようにＦＡ２−２についての処理は第３の画像で終了し、本来同一であるはずのＦＡ２−４，ＦＡ２−５に対する同一性判定処理が行われない。よって、第２の画像と同一の特徴領域を有する同一特徴領域画像群は第２の画像だけとなってしまい、画像枚数の削減効果が低くなるおそれがあった。しかし、本実施形態の手法であれば図８に示したように、ＦＡ２−２と、ＦＡ２−４，ＦＡ２−５との同一性判定処理が行われる。よって、第２，第４，第５の画像が同一特徴領域画像群として設定されるため、第１の実施形態の手法に比べて画像枚数の削減効果が向上し、さらなるユーザの省力化が可能になる。

また、第ｉ＋１の画像において特徴領域が検出されなかったことで、同一性判定部１０９において、第ｉの特徴領域と第ｉ＋１の特徴領域が同一であるという判定が行われなかった場合に、同一性判定部１０９は、第ｉの特徴領域と、第ｉ＋２の画像における特徴領域の検出処理の結果である第ｉ＋２の特徴領域と、第ｉの画像と第ｉ＋２の画像の間の変形情報であるｈ（ｉ，ｉ＋２）とに基づいて、第ｉの特徴領域と第ｉ＋２の特徴領域との同一性判定処理を行ってもよい。

これにより、第ｉの特徴領域について、隣接画像では同一の特徴領域が見つからなかったとしても、当該第ｉの特徴領域に対する変形推定処理を累積させることで、隣接しない画像での特徴領域との同一性判定処理を行うことが可能になる。具体的には、第ｉの特徴領域（例えば図８のＦＡ２−２）を２つ先の画像に対して変形推定して変形領域（ＦＡ^（２）２−２）を求め、当該変形領域と、２つ先の画像で検出された特徴領域（ＦＡ２−４）との比較処理を行えばよい。

なお、上述したようにＦＡ^（２）２−２を求める処理は、ＦＡ２−２とｈ（２，４）を用いて行う必要はなく、既に求められているＦＡ^（１）２−２をｈ（３，４）により変形推定することにより行えばよい。つまり狭義には、画像処理装置の変形推定処理部１０８は、前記第ｉ＋１の画像と第ｉ＋２の画像の間の前記変形情報である第ｉ＋１の変形情報に基づいて、前記第ｉ＋１の変形領域を、前記第ｉ＋２の画像に対して射影した領域である第ｉ＋２の変形領域を求める前記変形推定処理を行い、同一性判定部１０９は、前記ｉ＋２の変形領域と、前記第ｉ＋２の画像における前記特徴領域の前記検出処理の結果である第ｉ＋２の特徴領域とに基づいて、前記第ｉの特徴領域と、前記第ｉ＋２の特徴領域との同一性を判定する前記同一性判定処理を行うものであってもよい。

また、同一性判定部１０９は、第ｉの特徴領域と、第ｉ＋ｋ（ｋは整数）の画像における特徴領域の検出処理の結果である第ｉ＋ｋの特徴領域が同一であるという判定が行われなかった場合であって、ｋ≧Ｔｈ（Ｔｈは所与の整数）の場合に、第ｉの特徴領域に関する同一性判定処理を終了してもよい。また、同一性判定部１０９は、第ｉの特徴領域と、第ｉ＋ｋの特徴領域が同一であるという判定が行われなかった場合であって、ｋ＜Ｔｈの場合に、第ｉの特徴領域と、第ｉ＋ｋ＋１の画像における特徴領域の検出処理の結果である第ｉ＋ｋ＋１の特徴領域と、第ｉの画像と第ｉ＋ｋ＋１の画像の間の変形情報であるｈ（ｉ，ｉ＋ｋ＋１）とに基づいて、第ｉの特徴領域と第ｉ＋ｋ＋１の特徴領域との同一性判定処理を行ってもよい。

これにより、同一の特徴領域が見つからない場合の処理は２つ先の画像までに限定されるものではなく、所定枚数（上記の例ではＴｈ枚）だけ先の画像まで継続することが可能になる。これにより最長Ｔｈフレーム分だけ、特徴領域の検出が行われない消失期間がある場合にも、当該消失期間の前後の特徴領域の同一性判定処理を行うことが可能になる。特徴領域の検出精度に問題がある場合でも、撮影条件が変化すれば特徴領域の検出が可能になる場合がある。或いは、内容物や襞構造等により特徴領域が遮蔽されている場合には、当該内容物が移動（狭義には除去）されたり、襞構造が自身の運動により移動したりすることで、特徴領域の検出が可能になる場合がある。つまり、１フレーム特徴領域の検出ができなかったからと言ってそこで処理を停止するのではなく、ある程度のフレームだけ処理を継続することは、同一の特徴領域の探索において有用である。なお、所定枚数だけ探索しても同一の特徴領域が見つからないのであれば、現在処理対象としている特徴領域についての同一性判定処理は終了するものとする。そのようなケースでは、例えば撮像される被写体範囲が大きく変動している場合のように、処理対象である特徴領域が撮像範囲外に移動している可能性が高く、探索の意義が薄いためである。

以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１０ 処理部、１０１ 画像列取得部、１０２ 画像入力部、
１０３ 画像データベース、１０４ 変形情報算出部、１０５ 変形情報記憶部、
１０６ 特徴領域検出部、１０７ 特徴領域記憶部、１０８ 変形推定処理部、
１０９ 同一性判定部、１１０ 画像群設定部、１１１ 要約画像列生成部、
１１２ 出力部、１１３ 要約処理部

Claims (14)

1. 連続する第１〜第Ｎ（Ｎは２以上の整数）の画像を有する画像列を取得する画像列取得部と、
   前記画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部と、
   前記第１〜第Ｎの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部と、
   第ｉの画像における前記特徴領域の前記検出処理の結果である第ｉの特徴領域と、第ｉ＋１の画像における前記特徴領域の前記検出処理の結果である第ｉ＋１の特徴領域と、前記第ｉの画像と前記第ｉ＋１の画像の間の前記変形情報であるｈ（ｉ，ｉ＋１）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との同一性判定処理を行う同一性判定部と、
   前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行う要約処理部と、
   を含み、
   前記変形情報算出部は、
   前記第ｉの画像のうち少なくとも前記第ｉの特徴領域以外の領域を含む第ｉの変形推定対象領域と、前記第ｉ＋１の画像のうち少なくとも前記第ｉ＋１の特徴領域以外の領域を含む第ｉ＋１の変形推定対象領域とに基づいて、ｈ（ｉ，ｉ＋１）を求めることを特徴とする画像処理装置。
2. 請求項１において、
   前記第ｉの特徴領域とｈ（ｉ，ｉ＋１）とに基づいて、前記第ｉの特徴領域を、前記第ｉ＋１の画像に対して射影した領域である第ｉの変形領域を求める変形推定処理を行う変形推定処理部をさらに含み、
   前記同一性判定部は、
   前記変形推定処理により得られた前記第ｉの変形領域と、前記第ｉ＋１の特徴領域とに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との前記同一性判定処理を行うことを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記画像列取得部は、
   前記画像列として、時系列の生体内画像を取得し、
   前記特徴領域検出部は、
   前記生体内画像内の病変領域及び異常粘膜領域の少なくとも一方の領域を、前記特徴領域として検出することを特徴とする画像処理装置。
4. 請求項３において、
   前記変形情報算出部は、
   前記第ｉの画像のうち少なくとも正常粘膜領域を含む前記第ｉの変形推定対象領域と、前記第ｉ＋１の画像のうち少なくとも前記正常粘膜領域を含む第ｉ＋１の変形推定対象領域とに基づいて、前記変形情報を求めることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記同一性判定部において、同一の前記特徴領域が撮像されているという判定が行われなかった場合に、
   前記同一性判定部は、
   所定の枚数分だけ、前記変形情報に基づく処理を継続し、設定された枚数以内の画像において、前記特徴領域が検出された場合に、前記同一性判定処理を行うことを特徴とする画像処理装置。
6. 請求項１乃至４のいずれかにおいて、
   前記第ｉ＋１の画像において前記特徴領域が検出されなかったことで、前記同一性判定部において、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域が同一であるという判定が行われなかった場合に、
   前記同一性判定部は、
   前記第ｉの特徴領域と、前記第ｉ＋２の画像における前記特徴領域の前記検出処理の結果である第ｉ＋２の特徴領域と、前記第ｉの画像と第ｉ＋２の画像の間の前記変形情報であるｈ（ｉ，ｉ＋２）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋２の特徴領域との前記同一性判定処理を行うことを特徴とする画像処理装置。
7. 請求項６において、
   前記同一性判定部は、
   前記第ｉの特徴領域と、前記第ｉ＋ｋ（ｋは整数）の画像における前記特徴領域の前記検出処理の結果である第ｉ＋ｋの特徴領域が同一であるという判定が行われなかった場合であって、ｋ≧Ｔｈ（Ｔｈは所与の整数）の場合に、前記第ｉの特徴領域に関する前記同一性判定処理を終了し、
   前記第ｉの特徴領域と、前記第ｉ＋ｋの特徴領域が同一であるという判定が行われなかった場合であって、ｋ＜Ｔｈの場合に、前記第ｉの特徴領域と、前記第ｉ＋ｋ＋１の画像における前記特徴領域の前記検出処理の結果である第ｉ＋ｋ＋１の特徴領域と、前記第ｉの画像と第ｉ＋ｋ＋１の画像の間の前記変形情報であるｈ（ｉ，ｉ＋ｋ＋１）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋ｋ＋１の特徴領域との前記同一性判定処理を行うことを特徴とする画像処理装置。
8. 請求項１乃至７のいずれかにおいて、
   前記変形情報算出部は、
   画像内の少なくとも１つの位置における画像間動きベクトルを、前記変形情報として求め、
   前記同一性判定部は、
   前記第ｉの特徴領域と、前記第ｉ＋１の特徴領域と、前記第ｉの画像と前記第ｉ＋１の画像の間の前記画像間動きベクトルとに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との前記同一性判定処理を行うことを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   前記同一性判定部は、
   前記第ｉの特徴領域をｈ（ｉ，ｉ＋１）を用いて前記第ｉ＋１の画像に対して射影した領域である第ｉの変形領域、及び前記第ｉ＋１の特徴領域の、形状情報、色情報、テクスチャ情報、及び画像内での位置情報の少なくとも１つの情報に基づいて、前記同一性判定処理を行うことを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記同一性判定部は、
    ｈ（ｉ，ｉ＋１）の信頼度に基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との間の前記同一性判定処理を行うことを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記要約処理部は、
    前記同一性判定処理の結果に基づいて、前記第１〜第Ｎの画像のうち、同一の前記特徴領域が撮影されていると判定された画像から構成される同一特徴領域画像群を設定する画像群設定部と、
    前記画像群設定部において設定された前記同一特徴領域画像群から、少なくとも１枚の代表画像を選択することで、要約画像列を生成する要約画像列生成部と、
    を含むことを特徴とする画像処理装置。
12. 請求項１１において、
    前記要約処理部は、
    前記同一特徴領域画像群に含まれる各画像における、前記特徴領域の面積情報、前記特徴領域の色情報、前記特徴領域のテクスチャ情報、前記特徴領域の画像内での位置情報、及び前記特徴領域の前記検出処理の信頼度情報の少なくとも１つの情報に基づいて、前記代表画像を選択することを特徴とする画像処理装置。
13. 連続する第１〜第Ｎ（Ｎは２以上の整数）の画像を有する画像列を取得する処理を行い、
    前記画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出処理を行い、
    前記第１〜第Ｎの画像の各画像において、特徴領域の検出処理を行い、
    第ｉの画像における前記特徴領域の前記検出処理の結果である第ｉの特徴領域と、第ｉ＋１の画像における前記特徴領域の前記検出処理の結果である第ｉ＋１の特徴領域と、前記第ｉの画像と前記第ｉ＋１の画像の間の前記変形情報であるｈ（ｉ，ｉ＋１）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との同一性判定処理を行い、
    前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行い、
    前記変形情報算出処理において、
    前記第ｉの画像のうち少なくとも前記第ｉの特徴領域以外の領域を含む第ｉの変形推定対象領域と、前記第ｉ＋１の画像のうち少なくとも前記第ｉ＋１の特徴領域以外の領域を含む第ｉ＋１の変形推定対象領域とに基づいて、ｈ（ｉ，ｉ＋１）を求めることを特徴とする画像処理方法。
14. 連続する第１〜第Ｎ（Ｎは２以上の整数）の画像を有する画像列を取得する画像列取得部と、
    前記画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部と、
    前記第１〜第Ｎの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部と、
    第ｉの画像における前記特徴領域の前記検出処理の結果である第ｉの特徴領域と、第ｉ＋１の画像における前記特徴領域の前記検出処理の結果である第ｉ＋１の特徴領域と、前記第ｉの画像と前記第ｉ＋１の画像の間の前記変形情報であるｈ（ｉ，ｉ＋１）とに基づいて、前記第ｉの特徴領域と前記第ｉ＋１の特徴領域との同一性判定処理を行う同一性判定部と、
    前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行う要約処理部として、
    コンピュータを機能させ、
    前記変形情報算出部は、
    前記第ｉの画像のうち少なくとも前記第ｉの特徴領域以外の領域を含む第ｉの変形推定対象領域と、前記第ｉ＋１の画像のうち少なくとも前記第ｉ＋１の特徴領域以外の領域を含む第ｉ＋１の変形推定対象領域とに基づいて、ｈ（ｉ，ｉ＋１）を求めることを特徴とするプログラム。

Images