JP6893751B2 - 画像検出装置、画像検出方法及び画像検出用プログラム - Google Patents

Description

この発明は、画像検出装置、画像検出方法及び画像検出用プログラムに関するものである。

従来の一般的な物体検出装置では、例えば次に説明するような手法により検出が行われていた。例えば、図１に示すようなオリジナル画像に対し、（１）〜（６）の距離的粒度で物体検出が行われ、かつテンプレートサイズが固定のシステムの場合には、図２に示すようにサイズと解像度が異なる６枚のレイヤ画像Ｐ１〜Ｐ６を作成して物体検出を行う。テンプレート画像ＴＥＭＰが、図の左端に示されている。

上記のレイヤ画像Ｐ１〜Ｐ６は、サイズがレイヤ画像Ｐ１、Ｐ２、・・・、Ｐ５、Ｐ６の順に大きくなっており、レイヤ画像Ｐ６、Ｐ５、・・・、Ｐ２、Ｐ１の順に下から上に適当な距離で６段重ねると、ピラミッドの如き形状となるので、画像ピラミッドと称されている。

上記の物体検出において、特徴量を用いる物体検出手法（例えばＨＯＧ特徴量ベースの物体検出）の場合、検出精度は高いが比較テンプレートからの大きさの変化には脆弱性を有する場合がある。この物体検出手法を採用して処理を実行する場合、上記のように画面上で大きさの異なる物体を検出しようとするときには、図２のようなピラミッドレイヤを用いることができる。

ピラミッドレイヤ数を多くすると、細かい粒度で物体サイズ変化に対応可能となるが、ピラミッド画像の生成時間、スキャン時間の双方で処理時間が増加してしまう。また、処理時間を優先してピラミッドレイヤ数を削減した場合には、ピラミッドの隙間で検出される人物の検出漏れが生じてしまう問題がある。

特許文献１には、検出処理に利用した画像を、別の大きさの顔を検出処理する際にも再度利用できるようなピラミッド画像の構成とし、さらに、縮小率β＝１／Ｋ（Ｋは２以上の整数）を有効に利用した方法で当該ピラミッド画像を作成する手法が開示されている。即ち、この手法は、作成されたピラミッド画像の再利用によって高速化に関する技術が開示されている。

特許文献２には、基準ピラミッドｐｙ１及び追跡ピラミッドｐｙ２から画像サイズが最小の階層画像をそれぞれ読み込んで、勾配法を用いて追跡点の反復検出を実行する画像処理方法が開示されている。この画像処理方法では、設定された収束判定条件に従って上位の階層画像を読み込んで追跡点検出を行い、上記追跡点の反復検出と収束条件の設定変更が繰り返される。これにより追跡点の反復検出回数を抑制する。探索領域を事前計算することで探索範囲を抑制する手法である。

特許文献３には、これまでよりも有効な物体検出・追跡処理などの画像処理装置が開示されている。この画像処理装置では、入力した画像データに基づいて複数の異なるスケールの層画像データから成る画像ピラミッドを形成すると共に、対象物について固定スケールとしたテンプレートを用意する。これにより、テンプレートが該当する画像ピラミッド内位置を求める。

更に、この画像ピラミッド内位置に基づいて特定された上側層画像データと下側層画像データ毎にパーティクルとの照合により尤度を求める。次に、これらの尤度を用いて真の尤度を求める補間処理を行う。このように、ピラミッド間の隙間を補間してピラミッド間に存在する物標の尤度を求める手法である。

特許文献４には、対象物を撮像した画像について、ゴミや汚れの付着、照明の変化、個体差による表面状態の違い等により、エッジ方向が部分的に反転した場合でも、認識ミスを防止しつつ処理時間を短縮化することのできる画像処理方法が開示されている。この画像処理方法においては、解像度の異なる複数のテンプレート画像を解像度順に階層化した第１ピラミッドと、この第１ピラミッドにおけるテンプレート画像と同じ解像度であって、解像度の異なる複数の被探索画像を解像度順に階層化した第２ピラミッドとを用いる。そして、画像処理装置が行う画像処理により、同解像度の階層において上記第１ピラミッドのテンプレート画像に含まれる特徴画像を上記第２ピラミッドの被探索画像の中から、類似度の判定により探索する処理を解像度の低い順から行うものである。

更に、上記画像処理方法は、上記特徴画像の点と、上記被探索画像における上記特徴画像の点に対応する位置の点との局所類似度を、上記特徴画像の全ての点についてそれぞれ計算する局所類似度計算工程と、上記局所類似度計算工程にて計算した上記各局所類似度を合計して正規化することにより上記類似度を計算する類似度計算工程と、を備えている。

そして、上記局所類似度計算工程では、上記特徴画像の点と、上記被探索画像における上記特徴画像の点に対応する位置の点との仮の局所類似度を計算し、上記仮の局所類似度が所定値を下回るか否かを判断し、上記仮の局所類似度が上記所定値以上であると判断した場合は、上記仮の局所類似度を上記局所類似度とし、上記仮の局所類似度が上記所定値を下回ると判断した場合は、前記仮の局所類似度を絶対値が小さくなるように変更して上記局所類似度とするものである。

特許文献５には、パターンマッチングを高速化し、しかも物体の検出の失敗を防ぐ画像処理方法が開示されている。具体的には最上段の被探索画像よりも下段の被探索画像において、該被探索画像に対して上段の被探索画像で抽出した候補点に対応した位置の点毎に、該候補点に対応した位置の点を含む領域と領域限定閾値とを設定する。類似度の計算途中で、類似度の計算途中結果に基づき、類似度が領域限定閾値よりも低い値となるか否かを予測し、類似度が領域限定閾値よりも低い値となると予測した場合には、類似度の計算を途中で打ち切る。類似度が領域限定閾値以上となると予測した場合には、類似度の計算を続行し、類似度の計算が完了したとき類似度が領域限定閾値よりも高い値であれば、次の走査位置において用いる領域限定閾値を、領域限定閾値よりも高い値となった類似度で更新するものである。

特開２００６−２０２１８４号公報 特開２０１０−００９３７５号公報 特開２０１０−１１３５１３号公報 特開２０１６−０１８４２２号公報 特開２０１７−１１１６３８号公報

しかしながら、上記手法はいずれも、検出能力を大きく落としたくないという要求や、また処理時間を増大させたくないという要求など多様な要求に応えるという課題を達成するものではない。本発明はこのような画像ピラミッドを用いた画像検出装置の現状に鑑みてなされたもので、その目的は、検出能力を大きく落としたくないという要求や、また処理時間を増大させたくないという要求など、多様な要求を全てではなくとも解決し、多様な要求に応えた様々な態様の画像検出装置を提供することである。即ち、検出能力は高い方が良いが処理時間は多少要しても良いという要求に応えた実施形態や、検出能力はある程度で良いが処理時間は短い方が良いという要求に応えた実施形態の画像検出装置を提供する。

本実施形態に係る画像検出装置は、１フレームずつ順次に画像データを取り込み、過去において、任意の指定フレーム回数内で画像が検出されているか否かを判定する判定手段と、対象の画像データに対し画像ピラミッドを生成する画像ピラミッド生成手段と、前記判定手段による判定がＮＯとなった場合に、検出対象の画像が含まれるテンプレート画像と前記画像ピラミッドを構成する複数レイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出する第１の画像検索手段と、前記判定手段による判定がＹＥＳとなった場合に、前記第１の画像検索手段が行った検索によって検出対象画像が検出できなかったレイヤ画像と前の検索で検出対象画像が検出された対応レイヤ画像である対比画像に対して、類似度情報を使った画像検索により検出対象画像を検出する第２の画像検索手段とを具備し、前記第１の画像検索手段は、前記第２の画像検索手段による処理の次にも処理を行うことを特徴とする。

本実施形態に係る画像検出装置が処理する画像の原画の一例を示す図。 本実施形態に係る画像検出装置が処理する画像の原画から生成したピラミッド画像の一例を示す図。 本実施形態に係る画像検出装置の構成を示すブロック図。 本実施形態に係る画像検出装置の要部構成を示すブロック図。 本実施形態に係る画像検出装置の動作を示すフローチャート。 本実施形態に係る画像検出装置が処理する画像の原画から生成したピラミッド画像に対する処理の手順を示す図。

以下添付図面を参照して本発明に係る画像検出装置、画像検出方法及び画像検出用プログラムの実施形態を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。本実施形態に係る画像検出装置は、ワークステーション、パーソナルコンピュータ、サーバコンピュータなどの各種のコンピュータによって実現される。上記コンピュータは、図３に示されるような構成を備えることができる。

即ち、ＣＰＵ１０が主メモリ１１のプログラムやデータなどを用いて画像検出装置としての処理を行う構成となっている。ＣＰＵ１０には主メモリ１１以外に、バス１２を介して外部記憶インタフェース１３、入力インタフェース１４、表示インタフェース１５、画像入力インタフェース１６が接続されている。

外部記憶インタフェース１３には外部記憶装置２３が接続され、入力インタフェース１４にはマウスなどのポインティングデバイス２２やキーボード入力装置やタッチパネル入力装置などの入力装置２４が接続され、表示インタフェース１５にはＬＥＤやＬＣＤなどの各種の表示装置２５が接続されている。

更に、画像入力インタフェース１６には画像入力装置としてのカメラ２６が接続され、画像データが供給されている。ここでは、カメラ２６が接続されているものとしているが、複数台のカメラが接続されていても良い。更に、画像入力インタフェース１６には画像を供給する装置であればカメラ２６に限定されず、例えば、画像データを送るサーバや端末、更には、画像データが記憶された媒体などであっても良い。

外部記憶装置２３には、本実施形態に係る画像検出装置を実現するためのプログラムが保持されている。即ち、図４に示されるように外部記憶装置２３には、画像ピラミッド生成手段３１、第１の画像検索手段３２、第２の画像検索手段３３、検索対象抽出手段３４が備えられている。画像ピラミッド生成手段３１は、対象の画像データに対し画像ピラミッドを生成するものである。即ち、画像ピラミッド生成手段３１は、カメラ２６により撮像され画像入力インタフェース１６を介して取り込んだ１フレームの画像データに対して６枚のレイヤの画像データを生成する。既に説明したように、図１に示すようなオリジナル画像に対し、（１）〜（６）の距離的粒度で物体検出を行うものであり、かつテンプレートサイズが固定のシステムとし、図２に示すようにサイズと解像度が異なる６枚の画像Ｐ１〜Ｐ６を作成して物体検出を行うものとする。上記図２のレイヤ画像Ｐ１〜Ｐ６においては、レイヤ画像Ｐ６が原画像であるものとし、レイヤ画像Ｐ１〜Ｐ５はレイヤ画像Ｐ６を所定の割合で縮小して作成することができる。なお、生成するレイヤ画像の枚数は６に限定されず、６より少なくても良いし、６より多くても良い。

第１の画像検索手段３２は、検出対象の画像が含まれるテンプレート画像と上記画像ピラミッドを構成する複数レイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出するものである。例えば、６枚（全ての）のレイヤ画像に対して特徴量を使った画像検索により検出対象画像を検出する。

検索対象抽出手段３４は、上記画像ピラミッドを構成する複数レイヤの画像データについていくつかのレイヤの画像を抽出して検索対象レイヤ画像を抽出するものである。例えば、１フレームにおいて生成されるＮレイヤからＳレイヤ置きに１枚（１レイヤ）抽出して検索対象レイヤ画像とする。１フレームにおいて抽出により得られる検索対象レイヤ画像の数はＬである。即ち、Ｎは（Ｓ＋１）の整数倍であり、Ｌ、Ｓ、Ｎの関係は、Ｌ＝Ｎ／（Ｓ＋１）である。

検索対象抽出手段３４による抽出が行われる場合には、上記第１の画像検索手段３２は、上記検索対象抽出手段３４により抽出されたレイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出する。ここで、特徴量とは、スケール変化に弱い特徴量として、CoHOG（Co-Occurrence Histogram Of Gradient）特徴量、HOG（Histogram Of Gradient）特徴量、LBP（Local Binary Pattern）特徴量、Haar-Like特徴量、ICF（Integral Channel Features）特徴量、ACF（Aggregate Channel Features）特徴量などがあり、スケール変化に強い特徴量として、SIFT（Scale Invariant Feature Transform）特徴量、SURF（Speeded Up Robust Features）特徴量などを挙げることができる。

また、特徴量としては、１フレーム（１画面）内のオブジェクトや検出対象である人や車など物の部位（全部または一部）の模様、色または階調度の値、空間周波数、各種特徴量の平均値、ヒストグラム、標準偏差、更に特徴ベクトルなどを用いても良い。

第２の画像検索手段３３は、上記第１の画像検索手段３２が行った検索によって検出対象画像が検出できなかったレイヤ画像と前の検索で検出対象画像が検出された対応レイヤ画像である対比画像に対して、類似度情報を使った画像検索により検出対象画像を検出する。テンプレートマッチングにおける類似度情報を使った画像検索手法としては、ＳＡＤ(Sum of Absolute Difference)、ＳＳＤ(Sum of Squared Difference)、ＮＣＣ（Normalized Cross Correlation）などを用いることができる。

上記において、「上記第１の画像検索手段３２が行った検索によって検出対象画像が検出できなかったレイヤ画像」とは、第ｍフレームの画像検索において検出できなかった第Ｍ番目のレイヤ画像を指す。上記で、Ｍは複数であっても良く、実際には、例えばＭ番目のレイヤ画像とＭ＋２番目のレイヤ画像のようなこともあり得る。また、「前の検索で検出対象画像が検出された対応レイヤ画像である対比画像」とは、第ｍフレームの画像検索より前のフレームにおける検索の意味であり、第ｍ−１フレーム以前の検索における同じレイヤ位置またはその近隣レイヤ位置のレイヤ画像であって、検出対象画像が検出された場合のレイヤ画像を指す。同じレイヤ位置とは正確に対応するＭ番目のレイヤ画像を指す。Ｍが複数であっても良いことは前述の通りであり、この場合には、その近隣レイヤ位置が含まれる。「第ｍ−１フレーム以前」は、「第ｍ−１フレーム以前」でｍから直近のフレームを指す。

また、本実施形態では、「所定数置きに」抽出を行っているために正確に対応するＭ番目のレイヤ画像のみならず、その近隣レイヤ位置が含まれる。例えば、「Ｍ」番目のレイヤに対しサイズの近いレイヤを含み、「Ｍ」に隣接する「Ｍ−１」番目のレイヤ画像或いは、「Ｍ＋１」番目のレイヤ画像であっても良い。隣接するレイヤ位置の意味は、「Ｍ」からそのシステムで決定されただけ離れていても良く、「Ｍプラスマイナス所定数のレイヤ」を許容する。

上記において、上記検索対象抽出手段３４は、上記第１の画像検索手段３２が採用する特徴量の種類に応じてＳの値を決定するようにしても良い。前述の通り、特徴量には、スケール変化に弱い特徴量とスケール変化に弱い特徴量があるので、スケール変化に強い特徴量として、SIFT（Scale Invariant Feature Transform）特徴量、SURF（Speeded Up Robust Features）特徴量などを用いる場合には、Ｓを大きくしてスケール変化が大きなレイヤ画像について画像検索を行うようにしても良い。ただし、同じ特徴量（例えばCoHOG)であっても、辞書のサイズ自体の大きい小さい（解像度の高い低い）によって、どの程度スケール変化に強い、弱いが変化し得ることが分かった。例えば、解像度の高い辞書の方が、スケール変化が大きくなっても検出能力が下がりにくいということが分かった。このため、辞書のサイズ自体の大きい小さい（解像度の高い低い）によっても、Ｓを変えるようにしても良い。

以上の通りに構成された画像検出装置は、外部記憶装置２３のプログラムである各手段がＣＰＵ１０によって実現されることにより処理を行う。この場合の処理を図５のフローチャートに示す。このフローチャートにおいて、Ｎは１フレームで生成される画像ピラミッドのレイヤの数であり、Ｓは、Ｎ枚のレイヤからＳ枚置きに抽出を行うときの数であり、１フレームにおいて抽出により得られる検索対象レイヤ画像の数がＬである。既に説明した通り、Ｎは（Ｓ＋１）の整数倍であり、Ｌ、Ｓ、Ｎの関係は、Ｌ＝Ｎ／（Ｓ＋１）である。従って、１フレームではＬのレイヤに対してレイヤ処理が行われる。更に、フレーム番号がｔであり、探索レイヤセットの先頭番号をｎとしてあり、ｎ＝ｔ ｍｏｄ（Ｓ＋１）が成り立つ。従って、Ｓ＝１の場合、Ｎは０、１、０、１、０、１、・・・・と繰り返される。１フレームを処理するループは、以下の条件で繰り返される。
Ｆｏｒ（ｉ＝ｎ；ｉ＜Ｎ；ｉ＋＝（Ｓ＋１））

図５のフローチャートがスタートとなり、１フレームの画像を取り込む（Ｓ１１）。このとき、フレーム番号ｔが更新される。次に、過去において、任意の指定フレーム回数内で画像が検出されているかを判定する（Ｓ１２）。ここで、ＹｅｓとなるとステップＳ１３へ進み、類似度情報を用いた画像処理による画像検出を行う（Ｓ１３）。ステップＳ１２においてＮｏと判断した場合、またはステップＳ１３の処理が終了すると、所定（Ｎ枚の）レイヤから構成される画像ピラミッドを生成すると共に、ｎを先頭としたＳ枚置きのレイヤ抽出を行う（Ｓ１４）。次に、Ｓ枚置きのレイヤ抽出を行ったレイヤの画像について特徴量を用いた画像検索を行う（Ｓ１５）。このステップＳ１５においては、１フレーム内でループ処理が行われる。このステップＳ１５が完了すると、ステップＳ１１へ戻って処理を続ける。

図５のフローチャートによる処理の具体例を図６を参照して説明する。ここでは、ｔ−１フレーム目（回目）の処理とし、ステップＳ１１からＳ１２へ進み、ステップＳ１２においてＮｏへ分岐したものとする。本実施形態の処理当初においては画像検出がされていないから、当然このようになるものと推察できる。本実施形態では、図６（Ａ）のレイヤ画像Ｐ１〜Ｐ６のようにピラミッド画像が生成され、Ｓ枚置きのレイヤ抽出により、レイヤ画像Ｐ２、Ｐ４、Ｐ６が抽出され、このレイヤ画像Ｐ２、Ｐ４、Ｐ６においてテンプレート画像ＴＥＭＰの画像の検出が特徴量を用いて行われる（Ｓ１４、Ｓ１５）。ここでは、図６（Ａ）のレイヤ画像Ｐ２、Ｐ４において画像検出ができず、レイヤ画像Ｐ６において画像検出できたものとする。

次に、ｔが１インクリメントされ（Ｓ１１）、ステップＳ１２へ進む。なお上記ステップＳ１２は、次の理由により存在している。本実施形態では特徴量を用いた画像検索において目的の対象物画像が見つからなかった場合に類似度情報を用いた画像処理による画像検出を行っている。このため、「過去(又は直前)のフレームに存在していた検出済み物体などの画像と、類似性の高い物体などの画像」が存在していることが必須であり、この画像の存在を検出するため、ステップＳ１２が存在している。従って、初回フレームではＮoへ分岐するため、類似度情報を用いた物体検出は行われず、また、長期間にわたり物体検出がなされていない場合にもステップＳ１２においてＮｏへ分岐することになる。

ステップＳ１４の特徴量を用いた画像検索を終えてステップＳ１１へ戻ると、次の１フレームの画像を取り込んで（Ｓ１１）、任意の指定フレーム回数内で画像が検出されているかを判定する（Ｓ１２）。ここでは、ｔフレーム目（回目）であるので、１つ前の（ｔ−１）フレーム目でレイヤ画像Ｐ６において画像検出できているために、ステップＳ１２においてＹｅｓへ分岐する。図６（Ｂ）に示されるｔフレーム目のＳ枚置きに抽出したレイヤ画像Ｐ１、Ｐ３、Ｐ５の全てにおいて類似度情報を用いた画像処理による画像検出を行っても良いのであるが、本実施形態では、先に特徴量を用いて画像検索を実行する。つまり、現在のフレーム（ｔフレーム目）においてＳ枚置きに抽出した図６（Ｂ）のレイヤ画像Ｐ１、Ｐ３、Ｐ５について、１テンプレート画像ＴＥＭＰの画像の検出が特徴量を用いて実行される（Ｓ１４、Ｓ１５）。特徴量を用いた画像検索においては、図６（Ｂ）のレイヤ画像Ｐ１、Ｐ３において画像が検出でき、レイヤ画像Ｐ５において画像検出できなかったものとする。本実施形態では、特徴量を用いた画像検索ができなかったレイヤ画像についてのみ、類似度情報を用いた画像処理を行うために、画像検出できないレイヤがあるか検出がなされ、この画像検出できなかったレイヤ画像であるレイヤ画像Ｐ５についてステップＳ１３の処理が行われる（Ｓ１３）。

具体的には、現在のフレーム（ｔフレーム）より前のフレーム（ｔ−１フレーム）において画像検出できた対比画像であるレイヤ画像Ｐ６があるので、このレイヤ画像Ｐ６を対比画像としてこの度のフレームの検出できなかったレイヤ画像Ｐ５に対して類似度情報を使った画像検索により検出対象画像を検出する。なお、この場合に、レイヤ画面全体を比較するのではなく、対比画像の領域（位置とサイズ）をデータとして保持しておき、これを多少縮小・拡大により微調整して検出対象レイヤに適用しても良い。また、画像検出できたレイヤについては、検出できた画像にタグを付すなどして更なる画像処理へ使用できるデータを作成する。今回画像検出できなかったレイヤ画像の全てを処理して、ステップＳ１１へ進む。

ステップＳ１１へ進むと、ｔの更新により、ｔ＋１フレーム目（回目）について処理が行われる。ここでは、ｔ＋１フレーム目（回目）であるので、ステップＳ１２においてＹｅｓへ分岐するのであるが、前述の通り、先にステップＳ１４、Ｓ１５を実行する。この１フレームの画像を取り込んで、所定レイヤの画像ピラミッドを生成する。画像ピラミッドを構成する複数レイヤの画像データについてＳ枚置きにレイヤの抽出を実行して検索対象レイヤ画像を抽出する。本実施形態では、特徴量を用いた画像検索に失敗したレイヤ画像についてのみ、類似度情報を用いた画像処理を行うために、図６（ｃ）のレイヤ画像Ｐ２、Ｐ４、Ｐ６においてテンプレート画像ＴＥＭＰの画像の検索が特徴量を用いて実行される。図６（ｃ）のレイヤ画像Ｐ２、Ｐ４において画像検出が失敗し、レイヤ画像Ｐ６において画像検出が成功したものとする。

以上によりステップＳ１３へ戻って、ここでは、画像検出が失敗しているレイヤ画像Ｐ２、Ｐ４に対して処理を行う。つまり、この度のフレームの検出できなかったレイヤ画像Ｐ２、Ｐ４に対して類似度情報を使った画像検索により検出対象画像を検出する。なお、この場合に、レイヤ画面全体を比較するのではなく、対比画像の領域（位置とサイズ）をデータとして保持しておき、これを多少縮小・拡大により微調整して検出対象レイヤに適用しても良いことは前述の通りである。また、画像検出できたレイヤについては、検出できた画像にタグを付すなどして更なる画像処理へ使用できるデータを作成する。今回画像検出できなかったレイヤ全て処理したかを検出して、ステップＳ１１へ戻って、次の１フレームであるｔ＋２フレームの処理へと進むことになる。

上記の実施形態によれば、歩行者などの検出の場合、歩行者が瞬間移動して突然画面上に発生することはないため、過去のフレームにおいて特徴量を用いた画像検索での検出が成功する可能性が高く、本実施形態のように１フレームの複数レイヤ画像について所定数置きに抽出を行っても検出能力を落とすことなく高速化を実現できる。

なお、上記実施形態では、ｔ−１フレーム目（回目）で、レイヤ画像Ｐ２、Ｐ４、Ｐ６においてテンプレート画像ＴＥＭＰの画像が特徴量を用いて検出し、ｔフレーム目（回目）で、レイヤ画像Ｐ１、Ｐ３、Ｐ５においてテンプレート画像ＴＥＭＰの画像が特徴量を用いて検出し、ｔ＋１フレーム目（回目）で、レイヤ画像Ｐ２、Ｐ４、Ｐ６においてテンプレート画像ＴＥＭＰの画像が特徴量を用いて検出し、ｔ−１フレーム目（回目）で、レイヤ画像Ｐ１、Ｐ３、Ｐ５において画像検出を行わず、ｔフレーム目（回目）で、レイヤ画像Ｐ２、Ｐ４、Ｐ６において画像検出を行わず、ｔ＋１フレーム目（回目）で、レイヤ画像Ｐ１、Ｐ３、Ｐ５において画像検出を行わないものを示した。

上記第１の実施形態の処理に加えて、ｔ−１フレーム目（回目）で、抽出されなかったレイヤ画像Ｐ１、Ｐ３、Ｐ５において類似度情報を使った画像検索により画像検出を行い、ｔフレーム目（回目）で、抽出されなかったレイヤ画像Ｐ２、Ｐ４、Ｐ６において類似度情報を使った画像検索により画像検出を行い、ｔ＋１フレーム目（回目）で、抽出されなかったレイヤ画像Ｐ１、Ｐ３、Ｐ５において類似度情報を使った画像検索により画像検出を行うようにしても良い。

対象の画像データに対し画像ピラミッドを生成する画像ピラミッド生成手段と、
検出対象の画像が含まれるテンプレート画像と前記画像ピラミッドを構成する複数レイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出する第１の画像検索手段と、
前記第１の画像検索手段が行った検索によって検出対象画像が検出できなかったレイヤ画像と前の検索で検出対象画像が検出された対応レイヤ画像である対比画像に対して、更に、前記第１の画像検索手段が画像検索しなかったレイヤ画像に対して、類似度情報を使った画像検索により検出対象画像を検出する第２の画像検索手段と
を具備することを特徴とする画像検出装置としても良い。

また、第２の画像検索手段が、前記第１の画像検索手段が行った検索によって検出対象画像が検出できなかったレイヤ画像と前の検索で検出対象画像が検出された対応レイヤ画像である対比画像に対して、類似度情報を使った画像検索により検出対象画像を検出しなくとも良い。

すなわち、
対象の画像データに対し画像ピラミッドを生成する画像ピラミッド生成手段と、
前記画像ピラミッドを構成する複数レイヤの画像データについていくつか置きに検索対象レイヤ画像を抽出する検索対象抽出手段と
検出対象の画像が含まれるテンプレート画像と前記画像ピラミッドを構成する複数レイヤの画像データであって、前記検索対象抽出手段により抽出されたレイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出する第１の画像検索手段と、
前記検索対象抽出手段により抽出されなかったレイヤの画像データであって、前記第１の画像検索手段が画像検索しなかったレイヤ画像に対して、類似度情報を使った画像検索により検出対象画像を検出する第２の画像検索手段と
を具備することを特徴とする画像検出装置であっても良い。

更に、上記では、いずれの場合も、類似度情報を使った画像検索により検出対象画像を検出する第２の画像検索手段による処理は、レイヤを対象としたが、レイヤに限定されず、ピラミッド画像を生成した元の画像を対象としても良い。即ち、類似度情報を用いた検出では、任意のサイズで検出が可能なので、例えばピラミッド画像を生成する元となった画像（以下、元画像）を毎回用いるなどでも良い。例えば、上記のレイヤＰ２で検出された物体等の画像もレイヤＰ６で検出された物体等の画像も、サイズは異なるものの、それぞれ元画像には映っているので類似度情報を用いて検出することが可能である。

１０ ＣＰＵ
１１ 主メモリ
１２ バス
１３ 外部記憶インタフェース
１４ 入力インタフェース
１５ 表示インタフェース
１６ 画像入力インタフェース
２２ ポインティングデバイス
２３ 外部記憶装置
２４ 入力装置
２５ 表示装置
２６ カメラ
３１ 画像ピラミッド生成手段
３２ 第１の画像検索手段
３３ 第２の画像検索手段
３４ 検索対象抽出手段

Claims (12)

1. １フレームずつ順次に画像データを取り込み、過去において、任意の指定フレーム回数内で画像が検出されているか否かを判定する判定手段と、
   対象の画像データに対し画像ピラミッドを生成する画像ピラミッド生成手段と、
   前記判定手段による判定がＮＯとなった場合に、検出対象の画像が含まれるテンプレート画像と前記画像ピラミッドを構成する複数レイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出する第１の画像検索手段と、
   前記判定手段による判定がＹＥＳとなった場合に、前記第１の画像検索手段が行った検索によって検出対象画像が検出できなかったレイヤ画像と前の検索で検出対象画像が検出された対応レイヤ画像である対比画像に対して、類似度情報を使った画像検索により検出対象画像を検出する第２の画像検索手段と
   を具備し、
   前記第１の画像検索手段は、前記第２の画像検索手段による処理の次にも処理を行うことを特徴とする画像検出装置。
2. 前記画像ピラミッドを構成する複数レイヤの画像データについていくつかのレイヤの画像を抽出して検索対象レイヤ画像を抽出する検索対象抽出手段を具備し、
   前記第１の画像検索手段は、前記検索対象抽出手段により抽出されたレイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出することを特徴とする請求項１に記載の画像検出装置。
3. 前記検索対象抽出手段は、１つの画像ピラミッドに対しＳレイヤ置きに抽出を行って検索対象のレイヤ画像を抽出することを特徴とする請求項２に記載の画像検出装置。
4. 前記検索対象抽出手段は、前記第１の画像検索手段が採用する特徴量の種類に応じてＳの値を決定することを特徴とする請求項３に記載の画像検出装置。
5. １フレームずつ順次に画像データを取り込み、過去において、任意の指定フレーム回数内で画像が検出されているか否かを判定する判定ステップと、
   対象の画像データに対し画像ピラミッドを生成する画像ピラミッド生成ステップと、
   前記判定ステップによる判定がＮＯとなった場合に、検出対象の画像が含まれるテンプレート画像と前記画像ピラミッドを構成する複数レイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出する第１の画像検索ステップと、
   前記判定ステップによる判定がＹＥＳとなった場合に、前記第１の画像検索ステップが行った検索によって検出対象画像が検出できなかったレイヤ画像と前の検索で検出対象画像が検出された対応レイヤ画像である対比画像に対して、類似度情報を使った画像検索により検出対象画像を検出する第２の画像検索ステップと
   を具備し、
   前記第１の画像検索ステップでは、前記第２の画像検索ステップによる処理の次にも処理を行うことを特徴とする画像検出方法。
6. 前記画像ピラミッドを構成する複数レイヤの画像データについていくつかのレイヤの画像を抽出して検索対象レイヤ画像を抽出する検索対象抽出ステップを具備し、
   前記第１の画像検索ステップでは、前記検索対象抽出ステップにより抽出されたレイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出することを特徴とする請求項５に記載の画像検出方法。
7. 前記検索対象抽出ステップでは、１つの画像ピラミッドに対してＳレイヤ置きに抽出を行って検索対象のレイヤ画像を抽出することを特徴とする請求項６に記載の画像検出方法。
8. 前記検索対象抽出ステップでは、前記第１の画像検索ステップが採用する特徴量の種類に応じてＳの値を決定することを特徴とする請求項７に記載の画像検出方法。
9. コンピュータを、
   １フレームずつ順次に画像データを取り込み、過去において、任意の指定フレーム回数内で画像が検出されているか否かを判定する判定手段、
   対象の画像データに対し画像ピラミッドを生成する画像ピラミッド生成手段、
   前記判定手段による判定がＮＯとなった場合に、検出対象の画像が含まれるテンプレート画像と前記画像ピラミッドを構成する複数レイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出する第１の画像検索手段、
   前記判定手段による判定がＹＥＳとなった場合に、前記第１の画像検索手段が行った検索によって検出対象画像が検出できなかったレイヤ画像と前の検索で検出対象画像が検出された対応レイヤ画像に対して、類似度情報を使った画像検索により検出対象画像を検出する第２の画像検索手段
   として機能させ、
   前記コンピュータを前記第１の画像検索手段として、前記第２の画像検索手段による処理の次にも処理を行うように機能させることを特徴とする画像検出用プログラム。
10. 前記コンピュータを、更に、
    前記画像ピラミッドを構成する複数レイヤの画像データについていくつかのレイヤの画像を抽出して検索対象レイヤ画像を抽出する検索対象抽出手段として機能させ、
    前記コンピュータを前記第１の画像検索手段として、前記検索対象抽出手段により抽出されたレイヤの画像データについて、特徴量を使った画像検索により検出対象画像を検出するように機能させることを特徴とする請求項９に記載の画像検出用プログラム。
11. 前記コンピュータを前記検索対象抽出手段として、１つの画像ピラミッドに対してＳレイヤ置きに抽出を行って検索対象のレイヤ画像を抽出するように機能させることを特徴とする請求項１０に記載の画像検出用プログラム。
12. 前記コンピュータを前記検索対象抽出手段として、前記第１の画像検索手段が採用する特徴量の種類に応じてＳの値を決定するように機能させることを特徴とする請求項１１に記載の画像検出用プログラム。

Images