以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理(例えば内視鏡画像列であれば診断等の医療行為)を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。
具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔(例えば1秒に2回等)で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間(場合によっては十数時間)を要するため、1ユーザの1回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。
従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる被写体がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。
このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域(例えば病変部)の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。
そこで本出願人は、画像要約処理の対象となる画像列に含まれる複数の画像間の類似度(狭義には後述する被覆率)に基づいた画像要約処理を用いる。類似度を用いることで複数の画像の関係に基づいた画像要約処理が可能になる。類似度として被覆率を用いる例であれば、削除される画像が出力画像列に残す画像によってどの程度被覆されているかを制御することができるため、観察できなくなる被写体範囲が生じることを抑止でき、病変等の見落とし抑止効果が期待できる。
ただし、類似度を用いる画像要約処理では、画像間の関係に基づいて処理が行われるため、処理対象となる画像に撮像されている被写体やシーン等は考慮されない可能性がある。よって、画像上に撮像したい対象(例えばカプセル内視鏡ではドクターの観察対象であり、狭義には病変部等の領域)が明確であるのならば、類似度に基づいた画像要約処理とは別に、画像上に当該対象が撮像されているか否かという観点から行われる画像要約処理を行うことも有用である。
よって本出願人は、類似度に基づいた第1の画像要約処理と、対象物体又はシーンの認識処理に基づく第2の画像要約処理の両方を行うとともに、それらを統合して出力要約画像列を取得する統合処理を行う手法を提案する。このようにすることで、2つの画像要約処理の利点を兼ね備えた画像要約処理が可能になる。具体的には、観察できなくなる被写体範囲が生じることを抑止しつつ、観察対象としている物体やシーンを効率的に観察可能な画像要約処理を行うことができる。
以下、第1〜第4の実施形態を用いて具体例を説明する。第1の実施形態では、第1の画像要約処理により第1の要約画像列を取得するとともに、第2の画像要約処理により第2の要約画像列を取得し、統合処理として第1の要約画像列と第2の要約画像列を統合する処理を行う。第2の実施形態では、第1の要約画像列と第2の要約画像列を取得した後、第1の要約画像列に基づいて第2の要約画像列の更新処理(狭義には、第2の要約画像列に含まれる要約画像の枚数を削減する処理)を行い、第1の要約画像列と、更新処理後の第2の要約画像列を統合する。
第3、第4の実施形態は、要約画像列の統合処理というよりは、第1の画像要約処理と第2の画像要約処理という2つの処理の統合処理に関する実施形態となる。第3の実施形態では、第2の画像要約処理の結果(狭義には第2の要約画像列)に基づいた第1の画像要約処理の実行を前記統合処理として行う。具体的には、第1、第2の実施形態では第1の要約画像列に含まれる要約画像は類似度に基づいて決定されていたが、第3の実施形態では類似度の他に、第2の画像要約処理の結果も用いて要約画像を決定することになる。
第4の実施形態では、第3の実施形態の手法、及び第2の実施形態での第2の要約画像列の更新処理を組み合わせて、フィードバック処理を行う。具体的には、第2の画像要約処理の結果に基づいた第1の画像要約処理を行って第1の要約画像列を取得する。その後、取得した第1の要約画像列に基づいて第2の要約画像列の更新処理が実行する。そして、更新処理後の第2の要約画像列に基づいた第1の画像要約処理を再度行って第1の要約画像列を取得し、取得した第1の要約画像列を出力要約画像列とする。更新処理を実行できなかった場合には、その際の第1の要約画像列を出力要約画像列とすればよく、結果的には第3の実施形態と同様となる。
なお、以下の説明では、類似度に基づいた第1の画像要約処理により得られる画像列を第1の要約画像列とし、第1の要約画像列に含まれる画像を類似度要約画像と呼ぶことにする。また、対象物体等の認識処理に基づいた第2の画像要約処理により得られる画像列を第2の要約画像列とし、第2の要約画像列に含まれる画像を物体要約画像と呼ぶ。統合処理等まで含めた処理に基づいて最終的に出力される画像列を出力要約画像列とし、出力要約画像列に含まれる画像を出力要約画像と呼ぶ。
2.第1の実施形態
第1の実施形態の手法について説明する。まず画像要約装置のシステム構成例について説明し、その後第1の画像要約処理及び第2の画像要約処理の具体例について述べる。最後に統合処理の手法を説明する。
2.1 システム構成例
図1に本実施形態の画像要約装置の構成例を示す。図1に示したように、画像要約装置は、画像列取得部30と、第1の画像要約処理部100と、第2の画像要約処理部200と、統合処理部300と、出力部40とを含む。なお、画像要約装置は図1の構成に限定されず、これらの一部の構成要素(例えば出力部40等)を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
画像列取得部30は、画像要約処理の対象となる画像列データを取得する。取得する画像列データは、時間的或いは空間的に連続する複数の画像であり、画像入力装置10や画像データベース20等から取得される。画像入力装置10は、デジタルカメラやカプセル内視鏡等、画像を撮像する撮像装置が考えられる。画像データベース20は、大量の画像を記憶するデータベースであり、撮像装置等で取得された画像データを蓄積する。なお、画像データベース20は画像要約装置とは離れた位置に設けられてもよく、画像要約装置とネットワークを介して接続されるサーバ等で構成されてもよい。また、画像入力装置10及び画像データベース20は、画像要約装置とは別体として設けられることを想定しているが、画像要約装置に含まれることを妨げない。
第1の画像要約処理部100は、類似度に基づいた第1の画像要約処理を行う。第1の画像要約処理部100は、類似度算出部110と、要約処理部120と、第1の要約画像列生成部130を含んでもよい。なお、第1の画像要約処理部100は図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
類似度算出部110は、画像列取得部30で取得した画像列に含まれる画像間の類似度を算出する。要約処理部120は、算出した類似度に基づいて、要約処理(具体的には、第1の要約画像列に残される類似度要約画像と、削除画像の決定処理)を行う。第1の要約画像列生成部130は、要約処理部120での要約処理に基づいて、第1の画像要約処理部100の出力である第1の要約画像列を生成する。なお、第1の画像要約処理の詳細については後述する。
第2の画像要約処理部200は、対象物体又はシーンの認識処理に基づいた第2の画像要約処理を行う。第2の画像要約処理部200は、認識処理部210と、要約処理部220と、第2の要約画像列生成部230を含んでもよい。なお、第2の画像要約処理部200は図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
認識処理部210は、画像列取得部30で取得した画像列に含まれる画像が対象物体を含んでいるか、又は対象としているシーンを撮像しているかの認識処理を行う。認識処理の手法は種々考えられるが、例えば対象物体やシーンを表すテンプレートを記憶しておき、当該テンプレートを用いたマッチング処理を行ってもよい。要約処理部220は、認識処理部210での認識結果に基づいて、要約処理(具体的には、第2の要約画像列に残される物体要約画像と、削除画像の決定処理)を行う。具体的には、同一対象物体や同一シーンが連続している領域を考慮してセグメンテーション処理を行った上で、生成されたセグメント(連続画像列)から、少なくとも1枚の画像を物体要約画像として選定する処理を行う。第2の要約画像列生成部230は、要約処理部220での要約処理に基づいて、第2の画像要約処理部200の出力である第2の要約画像列を生成する。なお、第2の画像要約処理の詳細については後述する。
統合処理部300は、第1の画像要約処理部100及び第2の画像要約処理部200での処理に基づいた統合処理を行う。本実施形態では、第1の要約画像列と第2の要約画像列の統合処理を行う。詳細は後述する。
出力部40は、統合処理部300での統合処理の結果として取得された出力要約画像列を出力する。出力部40は、例えば液晶ディスプレイや有機ELディスプレイなどにより実現される表示部であってもよく、その場合には出力要約画像列に含まれる出力要約画像を表示すること等が考えられる。なお、画像要約装置がユーザとのインターフェースとなる表示部等を備える必要はなく、出力部40(表示部)が画像要約装置とは別体として設けられてもよい。
2.2 第1の画像要約処理
次に類似度に基づいた第1の画像要約処理について説明する。ここで用いられる類似度としては、画像間の動きベクトル、SSDやSAD、さらには、正規化相互相関等の相関値等が考えられる。その他、通常複数の画像間の類似度として算出されるような情報であれば、任意の情報を類似度として利用することができる。
類似度による画像要約処理の手法としては、従来からよく行われている、類似度の小さい順にソートして、上位から設定した数までを選択することによりシーンチェンジの検出を行う手法を用いることが考えられる。
また、図2に示したように、基準画像(第1の要約画像列に残す類似度要約画像、或いは類似度要約画像の候補画像)により、判定対象画像がどの程度被覆されているかを表す被覆率を類似度として用い、当該被覆率に基づいて判定対象画像の削除可否判定を行って画像要約を行ってもよい。ここでは被覆率を用いた手法を詳しく説明する。
被覆率を用いる手法では、基準画像と判定対象画像との間の変形情報を用いて、基準画像を変形して判定対象画像上に射影する。ここで、変形情報とは、基準画像上に撮像された被写体が判定対象画像上でどのように変形して撮像されているかに相当する情報であり、変形推定や動きベクトル等から求めてもよいし、特許文献2に記載された手法により推定される非剛体変形パラメータ等を用いてもよい。
図2は基準画像として、判定対象画像の前方の第1の基準画像と、判定対象画像の後方の第2の基準画像の2枚を設定した例である。判定対象画像上のA1が第1の基準画像を変形して得られた領域であり、A2が第2の基準画像を変形して得られた領域である。被覆率としては例えば、A1とA2の和集合に相当する領域を被覆領域として求め、判定対象画像全体に占める被覆領域の割合の値を用いることが考えられる。
判定対象画像の削除可否判定は、被覆率と事前に設定された閾値(システムにより設定されてもよいし、ユーザからの入力に基づいて決定されてもよい)との比較処理により行えばよい。具体的には、被覆率が閾値未満であれば、判定対象画像を削除不可と判定し、被覆率が閾値以上であれば、判定対象画像を削除可能と判定する。被覆率が閾値以上の場合とは、判定対象画像に撮像された被写体範囲のうち、閾値により表される程度の部分が第1の基準画像及び第2の基準画像の少なくとも一方には撮像されているということになるため、第1、第2の基準画像が類似度要約画像として残されるのであれば、判定対象画像を削除したとしても、そこに撮像された領域は十分にカバーできることになる。
第1、第2の基準画像及び判定対象画像の選択処理を図示したものが図3(A)、図3(B)である。なお、この処理では、第1の基準画像は類似度要約画像として選択されることが確定しているが、第2の基準画像は類似度要約画像の候補であり、最終的に類似度要約画像として選択されるかは確定していない。
図3(A)に示したように、全画像列のk番目の画像が第1の基準画像として選択されているとする(なお、1〜k−1番目の画像については類似度要約画像とするか削除画像とするかの判定処理が終了しており、k〜N番目の画像が処理対象となっている場合に相当する)。この場合、まずk+2番目の画像を第2の基準画像として選択する。
さらに第1の基準画像と第2の基準画像の間の画像の前方から順次判定対象画像を選択し、第1の基準画像と判定対象画像の間の変形情報に基づいて第1の基準画像を変形するとともに、第2の基準画像と判定対象画像の間の変形情報に基づいて第2の基準画像を変形して被覆率を算出する。そして算出した被覆率に基づいて、判定対象画像の削除可否の判定を行う。
図3(A)に示したように、第1の基準画像と第2の基準画像の間の画像の全てについて、削除可能と判定された場合(ここでは閾値を70%としている)には、第2の基準画像として、第1の基準画像に比べてさらに離れた画像を選択してもよい可能性があるということであるから、図3(B)に示したように第2の基準画像の再選択を行う。具体的には、k+2番目だった第2の基準画像を、k+3番目に更新すればよい。
そして、再度第1の基準画像と第2の基準画像の間の画像について削除可否の判定を行う。図3(B)に示したように、削除不可と判定された判定対象画像があった場合には、第1の基準画像と現在の第2の基準画像の2枚では、間に含まれる全ての画像をカバーすることができない(具体的には削除不可と判定された判定対象画像がカバーできない)ということであるから、2つの基準画像の間を広げすぎた、すなわち第2の基準画像の更新(選択位置のインクリメント)が不適切であったと考えられる。
よって、現時点の第2の基準画像の1つ前の画像(図3(A)での第2の基準画像に相当)を類似度要約画像として残す。具体的には、現時点の第2の基準画像の1つ前の画像を新たな第1の基準画像として選択し、それとともに第2の基準画像、判定対象画像についても新たに選択して処理を継続する。
図4は、類似度として被覆率を用いた場合の第1の画像要約処理を説明するフローチャートである。この処理が開始されると、最初の類似度要約画像として画像要約処理の対象となる画像列のIS番目の画像を設定する(S101)。ここでISの値は1であってもよいし(つまり画像列の先頭の画像を類似度要約画像としてもよいし)、1以外の値であってもよい。
次に、IS番目の画像を第1の基準画像として設定し(S102)、それとともにIE番目の画像を第2の基準画像として設定する(S103)。ここでIEはIE=IS+2を満たす値を初期値とする。
そして、IEが処理対象の画像列に含まれる画像の枚数を超える値であるかの判定を行い(S104)、Yesの場合には画像要約処理を終了する。Noの場合には、適切に第2の基準画像を設定できたということであるから、第1の基準画像と第2の基準画像の間の画像を順次判定対象画像として設定し、削除可否判定を行う(S105〜S108)。具体的には、第1の基準画像の次の画像を最初の判定対象画像とし、図2で示した手法により被覆率を求めて閾値との比較処理を行う(S106,S107)。被覆率が閾値以上(S107でYes)の場合には、判定対象画像は削除可能と言うことであるから、現在の判定対象画像の1つ後方の画像を新たな判定対象画像とする(図4ではiのインクリメントに相当)。S107でNoと判定されることなく、S105〜S108のループが終了した場合には、図3(A)に示したように第1,第2の基準画像により、間の画像を全てカバーできるということであるため、IEの値をインクリメントして第2の基準画像を更新して(S109)、S104に戻る。
S107でNoと判定された場合には、図3(B)に示したように第1,第2の基準画像の間の少なくとも1枚の画像が、2つの基準画像では十分にカバーできないということであるため、当該タイミングでの第2の基準画像の1つ前の画像を要約画像に残す必要がある。よって、IE−1番目の画像を次の類似度要約画像として設定する(S110)。それとともにIS=IE−1として(S111)、S102に戻ることで、類似度要約画像として設定した画像を新たな第1の基準画像に設定して処理を継続する。
2.3 第2の画像要約処理
次に対象物体又はシーンの認識処理に基づいた第2の画像要約処理について説明する。ここでの認識処理に関しては、参照画像との類似度による検出処理や、機械学習によるパターン認識で得られる認識結果等、様々な画像認識や画像検出の処理結果を利用することができる。
第2の画像要約処理では、画像要約処理の対象となる画像列の全画像に対して認識処理が行われ、各画像に対して対象物体が撮像されているか否か、或いは対象としているシーンが撮像されているか否かの判定が行われる。そして、対象物体が撮像されている画像のうち連続する画像、或いは対象シーンが撮像されている画像のうち連続する画像を連続画像列(セグメント)として設定し、各セグメントにつき少なくとも1枚の画像を抽出し、第2の要約画像列に残される物体要約画像として設定する。
図5は、対象物体やシーンの認識処理に基づく第2の画像要約処理を説明するフローチャートである。ここでは特に、認識された対象物体の面積が最大となる画像を物体要約画像として選択する例について説明するが、連続画像列から物体要約画像を選択する手法はこれに限定されるものではない。
なお、図5の処理の前処理として認識処理は行われているものとする。その結果として、対象物体等が検出された画像には前方から順にIDが振られており、そのIDは画像要約処理の対象となる画像列(入力画像列)における画像の位置を表す番号との対応付けがされている。例えば、図6に示したように入力画像列に対する認識処理により、斜線で示された画像で対象物体等が検出されたとすると、斜線で示された画像の中で先頭から順にIDが振られることになる(ここでは画像番号及びIDを0から始めたが、これには限定されない)。また、IDが振られた画像が入力画像列において何番目かという対応付けがされているため、ID=0の画像は入力画像列の1番目、ID=4の画像は入力画像列の7番目といった情報は保持されている。図5は、これ以降のセグメンテーション処理及び代表画像(要約画像)の選択処理を説明するものである。
図5の処理が開始されると、まずカウンタ値であるcountを初期化する(S201)。ここでcountは物体要約画像の枚数に相当するカウンタである。なお、1セグメントから1枚の要約画像を選択する例を示しているため、countはセグメンテーション処理の結果設定されるセグメントにも対応するカウンタとなる。次に対象物体の面積の最大値を表す変数maxを初期化する(S202)。
初期化後は、S203〜S208のループを繰り返して、前処理としてIDが振られた画像を対象に前方から順に処理を行う。具体的には、j=0を初期値として、ID=jの画像での対象物体の面積とmaxとを比較し、面積がmaxよりも大きい場合には、maxの値を面積の値で書き換えるとともに、count番目の要約画像として現在のIDの画像を設定する(S204)。ただし、要約画像はIDの値で表現するのではなく、入力画像列の何番目の画像であるかという表現の方が好ましいため、入力画像列での番号とIDとの対応付けに基づいて、入力画像列の何番目の画像がcount番目の要約画像であるかという情報を保持することになる。
次に、ID=jの画像がID=j+1の画像と入力画像列において隣り合っているかの判定を行う(S205)。S205でNoの場合とは、図6でいえばID=2やID=4のように、セグメントの最後に位置する画像を処理対象としていると言うことである。よって、現在のセグメントでの処理を終了し、次のセグメントでの処理の前処理として、countの値をインクリメントするとともに(S206)、面積の最大値maxを初期化する(S207)。
また、S205でYesの場合とは、図6でいえばID=1やID=3のように、セグメントの先頭或いは途中に位置する画像を処理対象としていると言うことであるから、S206,S207の処理は行われない。なお、セグメントの先頭の画像が処理対象の場合には、max=0であるためS204では現在の画像が暫定的な物体要約画像として選択されることになる。一方、セグメントの途中の画像が処理対象の場合には、現在のセグメントに含まれ、且つ処理対象より前方にある所与の画像がcount番目の物体要約画像として暫定的に選択されているとともに、その際の対象物体の面積がmaxとして保持されている。そのため、S204では、その暫定的な物体要約画像での対象物体の面積と、ID=jの画像での対象物体の面積との比較処理を行い、ID=jの画像での対象物体の面積の方が大きければID=jの画像によりcount番目の物体要約画像の上書き処理を行う。また、暫定的な物体要約画像での対象物体の面積の方が大きければ、その物体要約画像がそのまま保持される。
結果として、S203〜S208でのループでは、セグメンテーション処理を行って、各セグメントで対象物体の面積が最大となる画像を物体要約画像とする処理を行うことになり、対象物体が検出された全画像について上述の処理を行った場合には処理を終了する。
なお、ここでは対象物体の面積が最大になるような画像を物体要約画像として選択する手法について述べたが、対象物体の画像内での位置、色情報、テクスチャ情報、認識、または検出の精度等、画像認識、または画像検出の結果の情報を利用して、同様に画像要約処理を行ってもよい。
2.4 統合処理
次に本実施形態での統合処理について説明する。ここでは、第1の画像要約処理により得られた第1の要約画像列と、第2の画像要約処理により得られた第2の要約画像列の少なくとも一方に含まれる画像を、出力要約画像列の出力要約画像として選択する処理を行う。
図7は、本実施形態の統合処理を説明するフローチャートである。図7に示したように、統合処理はS301〜S306のループとなり、S302〜S305の処理を入力画像列の全画像について行うことになる。
具体的には、入力画像列のi番目の画像が、第1の要約画像列に含まれているか(類似度要約画像であるか)の判定を行う(S302)。Yesの場合には、i番目の画像を出力要約画像列の出力要約画像として選択する(S303)。S302でNoの場合には、i番目の画像が、第2の要約画像列に含まれているか(物体要約画像であるか)の判定を行う(S304)。Yesの場合には、S303に移行しi番目の画像を出力要約画像として選択する。S304でNoの場合には、i番目の画像を削除画像とする(S305)。そして、この処理をi=0を初期値とし、iをインクリメントしつつ入力画像列全体に対して行う。
以上の本実施形態では、画像要約装置は図1に示したように、複数の画像間の類似度に基づく第1の画像要約処理により、第1の要約画像列を取得する第1の画像要約処理部100と、複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第2の画像要約処理により、第2の要約画像列を取得する第2の画像要約処理部200と、第1の要約画像列と第2の要約画像列の統合処理、又は第1の画像要約処理と第2の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部300を含む。
ここで、複数の画像とは画像列取得部30で取得した画像列全体に相当することが想定されるが、当該画像列の一部であってもよい。
これにより、画像間の類似度判定、及び対象物体又はシーンの認識処理という異なる観点で行われた画像要約処理により得られた要約画像列を統合して出力要約画像列を取得することができるため、双方の画像要約処理の利点を兼ね備えた画像要約処理を行うことが可能になる。対象物体等の認識処理を用いた第2の画像要約処理を行うことで、重要な対象物体が撮影されている画像のうち適切なものを残した要約画像列を生成できるが、画像認識、検出処理でも重要な対象物体をすべて検出することは難しい。その点、類似度という異なる観点での画像要約処理により、観察できなくなる領域の発生を抑止することで、検出できなかった重要物体を第1の画像要約処理による第1の要約画像列に含めることが可能になり、統合処理により相補的な出力要約画像列を生成することができる。
また、第1の画像要約処理部100は、複数の画像から基準画像及び判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を類似度として算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う処理を、第1の画像要約処理として行ってもよい。
ここで被覆率とは、判定対象画像上に撮像された被写体のうち、どの程度の被写体が基準画像上に撮像されているかを表す情報である。例えば、縦横比が1:1の画像が取得される場合に、判定対象画像には実空間上で縦横それぞれ10mの正方形の被写体が画像いっぱいに撮像され、基準画像には前述の被写体に包含される縦横それぞれ5mの正方形の領域が画像いっぱいに撮像されたとする。この場合、判定対象画像には実空間における100m2の領域が撮像され、基準画像には実空間における25m2の領域(かつ前述の100m2の領域に含まれる領域)が撮像されたことになる。よって、基準画像は判定対象画像の25%をカバーしていることになるため、被覆率としては25%、25m2、或いは0.25等の値が考えられる。なお、平面的な被写体に正対して撮像が行われることはまれであるため、一般的には同一の被写体であっても、基準画像と判定対象画像とで形状が異なっている。本実施形態ではそのような変形に対応する変形情報を特許文献2等の手法で取得しておき、当該変形情報を用いて被覆率を算出する。なお被覆率とは、基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。
また、削除可否の判定処理は例えば所与の閾値との比較処理である。閾値を高くすれば(例えば100%に近い値に設定すれば)、画像を削除することにより観察できなくなる領域が発生することに対する抑止効果の向上が期待できる。一方、閾値を低くすれば、要約処理後の要約画像列に含まれる画像の枚数を少なくすることができる。上述の抑止効果の向上と、画像枚数を少なくすることはトレードオフの関係にあり閾値の設定により制御が可能となるため、状況に応じて適切に閾値を設定することが望ましい。
これにより、第1の画像要約処理により画像を削除した結果、観察できなくなる被写体領域が発生することを抑止でき、またその抑止の程度(強度)を制御することが可能になる。本実施形態の手法を用いることで、上述した削除可否の判定処理に用いる閾値としてx%に相当する値を用いれば、判定対象画像を削除したとしても、当該判定対象画像上に撮像された被写体のうち、x%は基準画像によりカバーされている(x%の被写体範囲は基準画像上に撮像されている)ことが保証できるためである。なお、変形情報として被写体の画像上での変形を、全く誤差を生じずに求めることが困難である以上、閾値としてxを設定しても、判定対象画像のうち基準画像によりカバーされている領域がx%未満となる可能性は生じうる。
また、第1〜第N(Nは2以上の整数)の画像が入力画像列として入力された場合に、第1の画像要約処理部100は、第pの画像を第1の基準画像として選択し、第q(qはp+2≦q≦N−1を満たす整数)の画像を第2の基準画像として選択するとともに、第r(rはp+1≦r≦q−1を満たす整数)の画像を判定対象画像として選択する。そして、第1の基準画像と判定対象画像の間の変形情報、及び第2の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。この場合に、例えば第p+1〜第q−1の画像が削除可能と判定された場合には、第2の基準画像として第q+1の画像を新たに選択することができる。
これにより、図3(A)、図3(B)に示したように、判定対象画像の前方及び後方に基準画像を設定した上で、被覆率に基づいた画像要約処理が可能になる。この場合、2つの基準画像を用いるため、基準画像を1つ設定する場合等に比べて、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像枚数を少なくすることが可能になる。
また、第1の画像要約処理部100は、第p+1〜第q−1の画像のうち少なくとも1つが削除不可と判定された場合には、第1の基準画像として選択された画像を、第1の要約画像列に含める処理を行ってもよい。さらに、第q−1の画像を新たな第1の基準画像として選択して再度処理を行ってもよい。
これにより、第1の基準画像を第1の要約画像列に含めることが可能になる。また、第1の基準画像と第2の基準画像の間の判定対象画像のうち少なくとも1つが削除不可である場合とは、第1の基準画像と第2の基準画像の間を広げすぎたケースに相当するため、その際の第2の基準画像の前方にある(狭義には前方にあり且つ直近にある)画像は第1の要約画像列に残すべきである。よって、第q−1の画像を新たな第1の基準画像として選択し、同様の処理を繰り返すことになる。
ただし、第1の画像要約処理における第2の基準画像の再選択(更新)処理は、入力画像列の後方に1つずつ移動させていく手法に限定されるものではない。
例えば、第p+2〜第Nの画像に対応する始点及び終点が設定された第2の基準画像選択区間から第2の基準画像を選択して、第1の基準画像及び第2の基準画像に基づいて判定対象画像の削除可否の判定を行う場合を考える。この際、第1の画像要約処理部100は、第p+1〜第q−1の画像が削除可能と判定された場合には、第2の基準画像選択区間に含まれる第x(xはx>qを満たす整数)の画像を新たな第2の基準画像として選択するとともに、第2の基準画像選択区間の始点を第qの画像に更新してもよい。また、第p+1〜第q−1の画像のうち少なくとも1つが削除不可と判定された場合には、第2の基準画像選択区間に含まれる第y(yはy<qを満たす整数)の画像を新たな第2の基準画像として選択するとともに、第2の基準画像選択区間の終点を前記第qの画像に更新してもよい。
ここで、第2の基準画像選択区間は、第2の基準画像の候補を表すという性質とともに、第1の要約画像列に残される類似度要約画像(狭義にはすでに見つかっている類似度要約画像の次の類似度要約画像)の候補を表すという性質を有するものである。よって、第2の基準画像選択区間とは類似度要約画像の探索範囲に相当する。
これにより、第2の基準画像を更新する際に、新たな第2の基準画像の位置を柔軟に決定することが可能になる。第2の基準画像を1つずつ後方に移す手法は、言うなれば探索範囲を先頭から1つずつチェックして、探索範囲を減らしていく手法であるため、正解の位置によっては計算量が非常に多くなってしまう。その点、隣り合わない画像も新たな第2の基準画像として選択可能にすることで、一単位の判定(一回の第2の基準画像選択処理及びそれに伴う削除可否判定)により探索範囲を大きく減らすことができる。よって、計算量の削減効果が期待でき、システムに対する負荷を軽減したり、処理時間を短縮したりすることが可能になる。なお、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の第2の基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合を考慮して前方への探索も可能にし、その際の第2の基準画像の選択は後方への探索と同様に隣り合う画像に限定されないものとする。
また、第1の画像要約処理部100は、第j(jは整数)の画像が第2の基準画像選択区間の終点に対応する場合に、(q+j)/2の値に基づいてxの値を設定してもよい。或いは、第i(iは整数)の画像が第2の基準画像選択区間の始点に対応する場合に、(i+q)/2の値に基づいてyの値を設定してもよい。
これにより、新たな第2の基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の第2の基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の第2の基準画像と始点との中間となる画像を選択することになる。よって、探索範囲(第2の基準画像選択区間の長さに相当)を半減させていくことが可能になり、第2の基準画像としてlogN枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはN×logNに抑えることができ、Nが非常に大きい場合には1つずつ後方に移す手法(計算量のオーダーはN2)に比べて計算量の削減効果が大きい。なお、(q+j)/2及び(i+q)/2は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば(q+j)/2を超えない最大の整数、或いはそれより1大きい整数等を考えればよい。ただし、第2の基準画像の更新は、二分探索による手法に限定されるものではなく、種々の手法を用いてもよい。例えば、探索範囲内での正解の位置がある程度予測される場合等では、予測位置及びその周辺を重点的に探索できるように第2の基準画像を選択することで、計算量の削減等が期待できる。
また、第1の画像要約処理部100は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求め、被覆率として、判定対象画像に占める被覆領域の割合を算出してもよい。
これにより、被覆領域に基づいて被覆率を算出することが可能となる。被覆領域は具体的には図2に示したものであり、基準画像を変形情報に基づいて変形した上で、判定対象画像上に射影した領域を表す。基準画像に撮像された被写体領域と、求めた被覆領域に撮像された被写体領域は対応する(変形情報に誤差がない理想的な状況であれば一致する)ことになる。よって、被覆率を判定対象画像に占める被覆領域の割合(具体的にはそれぞれの面積の比)から求めることが可能になる。なお、被覆領域は基準画像を変形情報に基づいて変形して求めればよく、求めた被覆領域は必ずしも判定対象画像上に射影されるものに限定されない。また、被覆領域は基準画像の全体に基づいて求めるものに限定されず、基準画像の一部を変形情報により変形することで求めてもよい。
また、第2の画像要約処理部200は、認識処理に基づいて、複数の画像のうち同一の対象物体を含む連続する画像、又は複数の画像のうち同一のシーンと認識された連続する画像を、要約画像の抽出対象となる連続画像列として設定し、設定した連続画像列から少なくとも1枚の画像を要約画像として抽出する処理を、第2の画像要約処理として行ってもよい。
ここで、連続画像列から少なくとも1枚抽出される要約画像とは、第2の要約画像列に残す物体要約画像を指す。
これにより、第2の画像要約処理として図5、図6を用いて説明した連続画像列(セグメント)を設定する手法を用いることができる。連続画像列とは同一の対象物体を含む連続する画像、又は同一のシーンと認識された連続する画像であるため、連続画像列から当該連続画像列に含まれる画像の枚数よりも少ない枚数の画像を抽出して物体要約画像とすることで、対象物体又はシーンが要約画像列に含まれなくなることを抑止しつつ、画像の冗長性を低減することが可能になる。なお、冗長性の低減効果を高めるのであれば、連続画像列から要約画像として抽出する画像の枚数は少なくすればよく、狭義には1枚の画像を抽出すればよい。
また、第2の画像要約処理部100は、対象物体の面積に基づいて、連続画像列から抽出する要約画像(物体要約画像)を選択してもよい。
これにより、対象物体が画像上においてより大きく撮像されている画像を要約画像とすることができるため、ユーザによる観察等を容易にすること等が可能になる。また、面積が大きかったとしても、輝度値が小さく暗くつぶれている場合、形状が極端で観察に不向きである場合、画像周縁部に位置することで歪曲収差等のひずみを無視できない場合等、ユーザにとって必ずしも見やすいとはいえない状況も考えられる。よって、面積の他に画像内での位置、色情報、テクスチャ情報、認識の精度等の画像認識、または画像検出の情報を利用してもよい。それにより、対象物体の画像的特徴を考慮した画像要約を行うことができるため、検出された対象物体が見易いような画像を要約画像として選定することができ、対象物体をよりよく把握することが可能になる。
また、統合処理部300は、第1の要約画像列及び第2の要約画像列の少なくとも一方に含まれる画像を出力要約画像列の要約画像(出力要約画像)として選択する処理を、第1の要約画像列と第2の要約画像列の統合処理として行ってもよい。
これにより、図7に示した統合処理が可能になる。図7のフローチャートからわかるように、本実施形態の統合処理はシンプルな手法により実現できるため、処理負荷が軽いという利点がある。
また、第1の画像要約処理部100は、複数の画像間の類似度に基づいて、シーンチェンジを検出して第1の画像要約処理を行ってもよい。
これにより、シーンチェンジによる画像要約を行うことにより、連続する類似する画像を削除するため、ほとんど同じような冗長なシーンを削除することができ、効率良く画像数を削減して画像要約列を生成することが可能になる。なお、この処理は複数の画像間の類似度を用いるため、第1の画像に撮像された第1のシーンと、第2の画像に撮像された第2のシーンとが異なることを検出できれば十分であり、第1のシーンや第2のシーンが具体的にどのようなシーンに対応するかを認識する必要はない。これに対して、第2の画像要約処理でのシーンの認識処理とは、処理対象となる画像に撮像されたシーンが検出対象であるシーンと一致するか否かを判定する必要があり、例えば検出対象シーンの特徴量等を保持しておく必要がある点で相違する。
また、複数の画像はカプセル内視鏡画像であってもよい。そして、第2の画像要約処理部200は、カプセル内視鏡画像に撮像される生体内の注目領域を対象物体として、認識処理を行う。
ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。
これにより、カプセル内視鏡を用いて撮像した画像に対して本実施形態の画像要約処理を適用することが可能になる。上述したように、医療分野では病変等の見逃しは極力抑止しなくてはならない。第2の画像要約処理において注目領域を対象物体とすることで、注目領域が検出された画像を効率的に要約画像列に残すことが可能になるが、注目領域の検出は必ずしも成功するとは限らない。よって、注目領域を撮像しているにもかかわらず、認識処理の結果としては対象物体が検出されずに、物体要約画像の候補にならずに削除対象となる画像が発生しうる。そのため、類似度(狭義には被覆率)を用いた画像要約処理を併用することの利点が大きい。特にカプセル内視鏡を用いる例では、ドクターが外部から生体内にあるカプセル内視鏡を操作することは困難であり、撮像対象を効率的に変えていくことはできないため、似通った画像が多数取得されうる。さらに、操作が困難であるから、撮像画像をリアルタイムで逐一チェックするのではなく、大量に蓄積された後に処理を行うことが想定される。よって、カプセル内視鏡が取得した画像列に対して本実施形態の画像要約処理を行う利点は大きい。
また、第2の画像要約処理部100は、特定の波長帯域の光の照射により取得された特殊光画像に基づいて、生体内の注目領域の認識処理を行ってもよい。
これにより、特殊光画像を用いた観察が可能になるため、第2の画像要約処理における対象物体の検出精度を向上させることが可能になり、重要物体(注目領域)を撮像した画像が画像要約処理により削除されてしまうことを抑止できる。なお、対象物体の検出精度の向上が期待できるとしても、類似度を用いた第1の画像要約処理を併用することが望ましく、さらなる注目領域の見逃し抑止効果が期待できる。
なお、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域であってもよい。さらに具体的には、390nm〜445nmまたは530nm〜550nmの波長帯域であってもよい。これはNBI(Narrow Band Imaging)と呼ばれる狭帯域光観察に対応する。
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル(R,G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、390nm〜445nmまたは530nm〜550nmとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。
また、特定の波長帯域の光とは、NBIに対応するものに限定されず、AFI(Auto Fluorescence Imaging)と呼ばれる蛍光観察やIRI(Infra Red Imaging)と呼ばれる赤外光観察に対応するものであってもよい。
また、以上の本実施形態は、複数の画像間の類似度に基づく第1の画像要約処理により、第1の要約画像列を取得する第1の画像要約処理部100と、複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第2の画像要約処理により、第2の要約画像列を取得する第2の画像要約処理部200と、第1の要約画像列と第2の要約画像列の統合処理、又は第1の画像要約処理と第2の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部300としてコンピュータを機能させるプログラムにも適用できる。
これにより、上述の画像要約処理を行うプログラムを実現できる。例えば、画像要約処理がPC等の情報処理システムにおいて行われるのであれば、このプログラムはPCの処理部(CPUやGPU等)に読み出されて実行される。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、DVDやCD等の光ディスク、光磁気ディスク、ハードディスク(HDD)、不揮発性メモリーやRAM等のメモリーなど、PC等の情報処理システムによって読み取り可能な種々の記録媒体を想定できる。
3.第2の実施形態
次に第2の実施形態について説明する。本実施形態の画像要約装置のシステム構成例は、第1の実施形態で用いた図1と同様であるため詳細な説明は省略する。第1の実施形態に比べて、統合処理部300での統合処理が異なるため、その点について詳述する。
第1の画像要約処理による第1の要約画像列、及び第2の画像要約処理による第2の要約画像列を取得する点は第1の実施形態と同様である。本実施形態では、2つの要約画像列を統合する前に、第1の要約画像列に基づいて第2の要約画像列の更新処理を行う。
図8(A)、図8(B)は第2の実施形態の統合処理を説明する図である。図8(A)では連続的な横方向の直線により入力画像列(入力画像列に含まれる複数の画像)を表している。また、縦方向の線が第2の画像要約処理の結果、選択された物体要約画像を表す。また、図8(A)における横方向の矢印は、その範囲に含まれる画像が対象物体等を連続して検出したことを表すものであり、1つ1つの矢印が連続画像列(セグメント)に対応する。同様に、図8(B)の横方向の直線が入力画像列を表し、縦方向の線が類似度要約画像を表す。
本実施形態の統合処理では、第2の画像要約処理の結果として設定された複数の連続画像列を1つの結合連続画像列にまとめ、当該結合連続画像列から少なくとも1枚の要約画像を抽出することで、第2の要約画像列に含まれる物体要約画像の枚数を削減する。
具体例を説明する。まず、第1の要約画像列に含まれる類似度要約画像のうち隣り合う2つの画像を選択する。そして、その2つの類似度要約画像の間に、第2の画像要約処理で設定された連続画像列が複数含まれている場合には、それら複数の連続画像列を結合できるか否かの判定を行う。
或いは、隣り合う類似度要約画像を基準とするのではなく、隣り合う連続画像列を選択し、その双方が隣り合う類似度要約画像の間にあるか否かに基づいて、連続画像列を結合できるか否かの判定を行ってもよい。
ここで、連続画像列が2つの類似度要約画像の間にあるとは、当該連続画像列に含まれる少なくとも1枚の画像が2つの類似度要約画像の間にあればよく、連続画像列の全ての画像列が2つの類似度要約画像の間にある必要はない。
また、連続画像列に含まれる所与の画像を抽出し、抽出した画像が2つの類似度要約画像の間にある場合に、抽出元となった連続画像列を結合判定の対象としてもよい。この場合、抽出画像とされる画像は、物体要約画像として選択された画像が典型ではあるが、連続画像列に含まれる他の画像を用いてもよい。
図8(A)、図8(B)を用いて例を示す。図8(B)のうち隣り合う2つの類似度要約画像としてC1及びC2に着目した場合、図8(A)に示した連続画像列B1及び連続画像列B2は、上述の定義よりともにC1とC2の間に含まれることになる。よって、B1とB2に対して、結合できるか否かの判定を行う。
連続画像列の結合可否判定の具体例を図9(A)に示す。類似度要約画像と、処理対象となっている複数の連続画像列から選択された物体要約画像を用いて判定を行う。具体的には、類似度要約画像を変形して複数の物体要約画像(少なくとも結合判定対象となっている連続画像列の数だけの枚数)のそれぞれに射影して被覆領域を求める。この処理は被覆率を用いた第1の画像要約処理と同様に、画像間の変形情報に基づいて行えばよい。その上で、物体要約画像の各画像について、検出された対象物体が被覆領域内にあるか否かの判定を行い、全ての物体要約画像において、対象物体が被覆領域内にあれば、対象となっている連続画像列を結合連続画像列に結合することが可能と判定する。類似度要約画像と、各被覆領域は同一の被写体範囲を撮像しているのであるから、全ての画像について対象物体が被覆領域内にある場合には、その対象物体は同一の物体である可能性が高いといえる。つまりこの対象物体については、複数の連続画像列から少なくとも連続画像列の数だけの物体要約画像を抽出する必要はなく、当該複数の連続画像列を結合した上で、結合連続画像列から少なくとも1枚の物体要約画像を抽出すれば足りる。
なお、結合連続画像列(図8(A)のB1とB2の和集合に相当)から抽出される物体要約画像は、選択の基準となる特徴量を変更しない限り、結合前の連続画像列から抽出された物体要約画像のいずれかと一致することになる。つまり、図8(A)の例で言えば、B3又はB4のいずれかを結合連続画像列から物体要約画像として抽出することになるため、連続画像列の結合処理とは狭義には物体要約画像の一部を削除する処理に相当する。
なお、類似度要約画像は前方だけでなく後方にもあることから、後方についても図9(B)のように同様の処理を行う。そして、図9(A)と図9(B)のどちらか一方の処理において結合可能と判定されたら、連続画像列の結合処理を行えばよい。
図10は、本実施形態の統合処理を説明するフローチャートである。図10に示したように、統合処理はS401〜S408のループとなり、S402〜S407の処理を入力画像列の全画像について行うことになる。
具体的には、入力画像列のi番目の画像が、第1の要約画像列に含まれているかの判定を行う(S402)。Yesの場合には、i番目の画像を出力要約画像として選択する(S403)。S402でNoの場合には、i番目の画像が、第2の要約画像列に含まれているかの判定を行う(S404)。S404でNoの場合には、i番目の画像を削除画像とする(S407)。S404でYesの場合(つまりi番目の画像は物体要約画像の場合)には、i番目の画像と、1つ前の物体要約画像について、類似度要約画像との関係に基づく判定を行う(S405)。具体的には、図8(A)、図8(B)を用いて上述したように、隣り合う類似度要約画像の間に、i番目の画像と1つ前の物体要約画像が入っている場合にYesとなる。S405でNoの場合には、連続画像列の結合は行われないため、i番目の画像が第2の要約画像列から削除されることはなくなる。よって、S403に移行しi番目の画像を出力要約画像として選択する。
また、S405でYesの場合には、連続画像列を結合できる可能性があるため、図9(A)、図9(B)に示した判定を行う(S406)。S406でNoの場合には、連続画像列の結合は行われないため、i番目の画像が第2の要約画像列から削除されることはなくなる。よって、S403に移行しi番目の画像を出力要約画像として選択する。一方、S406でYesの場合には、2つの連続画像列が結合されることから、S407に移行しi番目の画像は削除画像とする。そして、この処理をi=0を初期値とし、iをインクリメントしつつ入力画像列全体に対して行う。
なお、図10のフローチャートは、1度に結合対象となる連続画像列が2つに限定されている点、連続画像列を結合した際には後方の連続画像列に対応する物体要約画像が削除される点等からわかるように、本実施形態の処理の一例を示したものに過ぎず、図10とは異なる処理により本実施形態の手法が実現されてもよいことは言うまでもない。
以上の本実施形態では、統合処理部300は、第1の要約画像列に基づいて、第2の画像要約処理において設定された複数の連続画像列を1つの結合連続画像列に結合し、結合連続画像列から少なくとも1枚の画像を要約画像(物体要約画像)として抽出することで、第2の要約画像列の更新処理を行う。
これにより、第1の要約画像列に基づいて、第2の要約画像列を更新することが可能になる。更新処理とは狭義には物体要約画像の一部を削除して、第2の要約画像列に含まれる画像の枚数を削減する処理になる。なお、連続画像列の結合処理は具体的には、図8(A)、図8(B)及び図9に示した処理を行えばよいし、他の手法により行ってもよい。
また、統合処理部300は、第1の要約画像列、及び更新処理後の第2の要約画像列の少なくとも一方に含まれる画像を出力要約画像列の要約画像(出力要約画像)として選択する処理を、第1の要約画像列と第2の要約画像列の統合処理として行ってもよい。
これにより、更新処理後の第2の要約画像列を用いて、第1の要約画像列との統合処理を行うことが可能になる。これにより、類似度を用いた画像要約処理と、対象物体等の認識処理を用いた画像要約処理の両方の利点を残しつつ、更新処理を行わない場合(第1の実施形態等)に比べて、出力要約画像列に含まれる画像の枚数を削減することができ、出力要約画像列を利用するユーザの利便性を高めること等が可能になる。
4.第3の実施形態
次に第3の実施形態について説明する。本実施形態の画像要約装置のシステム構成例を図11に示す。図11に示したように、基本的な構成は第1の実施形態と同様であるが、第1の画像要約処理部100と、統合処理部300との接続が双方向となっている点が異なる。
本実施形態では、統合処理部300は、まず第2の画像要約処理の結果を取得し、取得した結果に基づいて第1の画像要約処理部100に対して第1の画像要約処理を実行させる。
具体例を図12(A)〜図12(C)に示す。図12(A)〜図12(C)の表現については図8(A)、図8(B)と同様である。図12(A)に示したように、第2の要約画像列は、第1の実施形態と同様に対象物体又はシーンの認識処理に基づいて、例えば連続画像列から少なくとも1枚の要約画像を抽出することで取得する。また、第1の画像要約処理は、第1の実施形態等であれば、図12(B)のようになり、S(i)が類似度要約画像(第1の基準画像)として選択された場合には、次の類似度要約画像であるS(i+1)は第2の基準画像を設定した上で被覆率に基づいた判定を行うことで探索される。
しかし、類似度(被覆率)に基づいて削除可能と判定された画像であっても、観察対象としている対象物体が撮像されており、かつ連続画像列を代表する画像なのであれば出力要約画像として選択するべきであり、第1の実施形態でもそのような統合処理を行っている。その観点から考えると、第1の画像要約処理において、類似度だけでなく第2の画像要約処理の結果を用いて類似度要約画像(或いは第1の基準画像)を選択することで、同様の効果が期待できる。
そこで本実施形態では、類似度要約画像(第1の基準画像)の設定後、次の類似度要約画像を探索する際に、物体要約画像となっている画像は、類似度に関係なく類似度要約画像として選択するものとする。例えば、図12(B)に示したように、E1で示した画像は類似度の判定では削除画像とされるはずであるが、当該画像は図12(A)のD1に示したように物体要約画像として選択されている。よって、図12(C)に示したように、本実施形態での第1の画像要約処理では、当該画像を類似度要約画像S(i+1)として設定する。
その後も同様に、類似度で所与の条件を満たした場合、或いは第2の要約画像列の要約画像が見つかった場合に、次に要約画像を設定すればよい。図12(C)の例であれば、S(i+2)は類似度に基づいて選択されたものであるし、S(i+3)は物体要約画像に基づいて選択されたものである。狭義の類似度要約画像(第1の実施形態の第1の画像要約処理の結果)の画像列中の位置は、他の類似度要約画像(狭義には1つ前の類似度要約画像)に依存して決定される。そのため、第2の画像要約処理の結果を入れ込んで類似度要約画像を選択した場合には、図12(B)、図12(C)から明らかなように、第2の画像要約処理の結果を用いない場合に比べて、一般的に類似度要約画像として選択される画像は大きく異なるものになる。
なお、第2の画像要約処理の結果に基づいた第1の画像要約処理により、対象物体等の認識処理と類似度の両方を考慮した画像列が取得できるため、最終的な出力要約画像列は第1の画像要約処理の結果を用いればよい。
図13は、本実施形態の統合処理を説明するフローチャートである。実際には、第2の画像要約処理の結果に基づいた第1の画像要約処理を説明するフローチャートであり、図4に近いものである。
図13のS501〜S511については、図4のS101〜S111と同様であるため詳細な説明は省略する。図13は図4のS505の次のステップとして、S512〜S514が加わったものであり、S512では処理対象となっているi番目の画像が、第2の画像要約処理の結果、物体要約画像となっているか否かの判定を行う。S512でYesの場合には、S505〜S508のループを抜けて、i番目の画像を次の類似度要約画像として設定するとともに(S513)、IS=iとして(S514)、S502に戻りS514で設定した類似度要約画像を新たな第1の基準画像に設定して処理を継続する。
以上の本実施形態では、統合処理部300は、第1の画像要約処理部に対して、第2の画像要約処理の結果に基づいて、第1の画像要約処理を実行させる処理を、第1の画像要約処理と第2の画像要約処理の統合処理として行う。
これにより、画像間の類似度判定、及び対象物体又はシーンの認識処理という異なる観点で行われた画像要約処理を統合して出力要約画像列を取得することができるため、双方の画像要約処理の利点を兼ね備えた画像要約処理を行うことが可能になる。
また、第1の画像要約処理部100は、統合処理に基づいて、複数の画像から第2の要約画像列に含まれる画像(物体要約画像)を基準画像として選択するとともに、複数の画像から判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を類似度として算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う処理を、第1の画像要約処理として行ってもよい。
これにより、第1の画像要約処理と第2の画像要約処理の統合処理として、具体的に第2の画像要約処理の結果に基づいて、第1の画像要約処理における基準画像の選択処理を行うことが可能になる。さらに具体的には、第2の要約画像列に含まれる物体要約画像をそのまま基準画像としつつ、物体要約画像以外の画像においては基本通り類似度に基づいて処理を行えばよい。
また、統合処理部300は、統合処理により、第1の画像要約処理部で生成された第1の要約画像列を出力要約画像列として取得してもよい。
これにより、第2の画像要約処理に基づく第1の画像要約処理の結果をそのまま出力要約画像列とすることが可能になる。上述したように、本実施形態の手法では第2の画像要約処理の結果、要約画像(物体要約画像)とされた画像は、第1の画像要約処理における要約画像(類似度要約画像)として選択される。よって、第1の画像要約処理において、対象物体等の認識処理に基づく画像が残されることになるため、第1の要約画像列と第2の要約画像列との統合処理等は考慮しなくてもよい。
5.第4の実施形態
次に第4の実施形態について説明する。本実施形態の画像要約装置のシステム構成例は、第3の実施形態で用いた図11と同様であるため詳細な説明は省略する。本実施形態では、第3の実施形態の手法と、第2の実施形態における第2の要約画像列の更新処理(連続画像列の結合処理)を組み合わせた手法を用いる。具体的には、第3の実施形態と同様に第2の画像要約処理の結果に基づいた第1の画像要約処理を行い、その結果取得される第1の要約画像列に基づいて第2の要約画像列を更新できるかの判定を行う。更新処理が行えた場合には、更新処理後の第2の画像要約処理の結果に基づいた第1の画像要約処理を行い、その結果取得される新たな第1の要約画像列を出力要約画像列として取得する。
具体例を図14(A)〜図14(E)に示す。図14(A)が最初に取得される第2の要約画像列を表し、図14(B)が第2の画像要約処理の結果を用いない場合の第1の要約画像列を表す。本実施形態では第3の実施形態と同様に、第2の画像要約処理の結果を用いて第1の画像要約処理を行うため、取得される第1の要約画像列は図14(C)となる。
図14(C)の第1の要約画像列が取得された後に、これを用いて図14(A)の第2の要約画像列の更新処理を実行できるか否かの判定を行う。具体的には第2の実施形態で上述したように、複数の連続画像列を結合連続画像列に結合できるか否かの判定を行うことになる。例えば、図14(A)の連続画像列F1とF2は、ともに隣り合う類似度要約画像G1とG2の間に含まれるため、結合判定の対象となる。
この結果、図14(D)のように第2の要約画像列が更新された場合、図14(A)のF3に示した物体要約画像は削除されることから、出力要約画像にF3に対応する画像を含めなくてもよいことになる。つまり、図14(C)の第1の要約画像列のG1が不要となるため、第1の要約画像列についても変更する必要が生じる。具体的には、更新処理後の第2の要約画像列である図14(D)に基づいて再度第1の画像要約処理を行えばよく、その結果新たな第1の要約画像列として図14(E)が取得される。
なお、図14(E)を取得するに当たっては、入力画像列全体に対して処理を行ってもよい。ただし、第2の要約画像列が更新されたことで、図14(C)のどの画像を削除する必要があるかはわかるため、削除対象であるG1の1つ前の類似度要約画像(G3)以前の画像については変化がないことは新たな第1の画像要約処理を行わずともわかることである。よって、変化が生じうる部分、つまり図14(C)のG3で示した画像以降に対して処理を行うものとしてもよい。
図15は、本実施形態の統合処理を説明するフローチャートである。この処理が開始されると、まず第2の画像要約処理が行われる(S601)。S601の処理は図5の処理に相当する。次に、第2の画像要約処理の結果(狭義には第2の要約画像列)に基づいて、第1の画像要約処理を行う(S602)。S602の処理は図13の処理に相当する。
その後、第1の要約画像列に基づいて第2の要約画像列の更新処理を行う(S603)。S603の処理は図10のS404〜S406等の処理に相当する。そして、更新処理の結果、第2の要約画像列が変化したか(狭義には第2の要約画像列の要約画像の一部が削除されたか)の判定を行い(S604)、変化した場合には、更新処理後の第2の要約画像列に基づいて、第1の画像要約処理を行う(S605)。S605の処理後、或いはS604でNoの場合には、S606に移行し、対応する第1の要約画像列を出力要約画像列に設定して処理を終了する。S604でYesの場合には、S605での処理結果が出力要約画像列に設定されることになり、S604でNoの場合には、S602での処理結果が出力要約画像列に設定されることになる。
なお、第2の画像要約処理の結果に基づいた第1の画像要約処理をステップAとし、第1の要約画像列に基づいた第2の要約画像列の更新処理をステップBとした場合に、以上の説明では、最初のステップA(図15のS602に相当)とその結果を用いたステップB(S603)を実行し、ステップBの結果を用いて2度目のステップA(S605)を行うものとしていた。ただし、入力画像列によっては2度目のステップAの結果を用いて、2度目のステップBを実行できる(更新処理の結果第2の要約画像列が変化する)可能性もあり得る。
よって、本実施形態の変形例としては、ステップA及びステップBを、1つ前のステップの結果を入れ込みつつ任意の回数繰り返し実行するものとしてもよい。この場合、N回目(Nは2以上の整数)のステップAを行った段階で処理を終了して、その結果を出力要約画像列としてもよい。或いは、ステップBを実行できなかった(或いは実行したが第2の要約画像列が変化しなかった)ことを検出した場合に、その直前のステップAの結果を出力要約画像列としてもよい。
以上の本実施形態では、統合処理部300は、統合処理により、第1の画像要約処理部で生成された第1の要約画像列に基づいて、第2の要約画像列に含まれる画像の枚数を削減する第2の要約画像列の更新処理の実行可否判定を行う。
これにより、第3の実施形態の手法を用いた場合の第1の要約画像列(第3の実施形態ではそのまま出力要約画像列となる)を用いて、第2の実施形態で用いた第2の要約画像列の更新処理が可能か否かの判定を行うことが可能になる。第1の要約画像列を求めた時点で、第3の実施形態で述べたとおり第1の画像要約処理と第2の画像要約処理の統合処理は行えているが、その結果は含まれる画像の枚数削減は考慮されていない。出力要約画像列の画像枚数を減らすことでユーザの利便性向上が図れるため、画像の枚数削減を試みることには利点があり、ここでは第2の実施形態で用いた第2の要約画像列の更新処理(具体的には連続画像列の結合処理等)を用いるものとする。
また、統合処理部300は、第2の要約画像列の更新処理が実行可能と判定された場合には、第2の要約画像列の更新処理を行ってもよい。そして、第1の画像要約処理部に対して、更新処理後の第2の画像要約処理の結果に基づいて、第1の画像要約処理を実行させる処理を、第1の画像要約処理と第2の画像要約処理の統合処理として行う。
これにより、更新処理後の第2の画像要約処理の結果(更新後の第2の要約画像列)に基づいた第1の画像要約処理を行うことが可能になる。第2の要約画像列の更新処理を行うことで、第2の要約画像列に含まれる物体要約画像の枚数を削減することができる(図14(A)から図14(D)へと削減される)が、出力要約画像列に対応する第1の要約画像列(図14(C))にはそのままでは削除処理が反映されない。また、図14(A)におけるF3が更新処理により削除された場合に、第1の要約画像列から対応する画像(図14(C)のG1)を単純に削除することは好ましくない。なぜなら、図14(B)(第2の画像要約処理を考慮しない第1の画像要約処理の結果)から明らかなように、H3の次の類似度要約画像としてはH2(或いはH2よりもH3に近い画像)を選ばなくては、その間の画像は類似度の観点からカバーできないことになる。しかし、図14(C)でG1を削除してしまうとG3の次の要約画像はG2になってしまい、間隔が広くなりすぎG3とG2間の画像をカバーしきれない。よって、図14(A)から図14(D)のように、第2の要約画像列に対する更新処理が行われた場合には、図14(C)から単純にG1を削除するのではなく、更新処理後の第2の要約画像列を用いて第1の画像要約処理を再度行って図14(E)を取得することが望ましい。
また、統合処理部300は、統合処理により、第1の画像要約処理部で生成された第1の要約画像列を出力要約画像列として取得してもよい。
これにより、更新処理後の第2の要約画像列に基づいた第1の画像要約処理により取得された第1の要約画像列を出力要約画像列とすることが可能になる。本実施形態においても、第3の実施形態と同様に、第1の画像要約処理において、対象物体等の認識処理に基づく画像が残されることになるため、第1の要約画像列と第2の要約画像列との統合処理等は考慮しなくてもよい。なお、第2の要約画像列の更新処理を試みた結果、処理前後で変化がない(物体要約画像の削減ができなかった)場合も考えられる。その場合には、更新処理後の第2の要約画像列に基づいた第1の画像要約処理を行ったとしても、出力結果は更新処理前の第2の要約画像列に基づいた第1の画像要約処理と変わらないため、図15のフローチャートに示したように、再度の第1の画像要約処理はスキップすることが望ましい。その場合には、出力要約画像列として取得される第1の要約画像列は、更新処理前の第2の要約画像列に基づくもの(図15におけるS602の処理結果)となる。
以上、本発明を適用した4つの実施の形態1〜4およびその変形例について説明したが、本発明は、各実施の形態1〜4やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜4や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜4や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。