JP6020188B2 - 対象物検出装置及びプログラム - Google Patents

Description

本発明は、対象物検出装置及びプログラムに係り、特に、撮像した画像の時系列から追跡対象物を検出する対象物検出装置及びプログラムに関する。

従来より、画像内の各参照領域と対象物との相関度と、参照領域と前回の対象物位置との距離に対して、入力画像が対象物画像と一致している度合いに応じて、相関度と距離の寄与度を変化させた評価値を用いて対象物を追従する被写体追跡装置が知られている（特許文献１）。

また、画像内の各参照領域と対象物との類似度を算出し、算出した類似度が最大値を取る参照領域と、最大値との差が所定の閾値以下である参照領域を対象物位置の候補として特定し、次フレームにおける探索対象領域を設定する被写体追跡装置が知られている（特許文献２）。

また、画像内の各参照領域と対象物との第１の類似度を算出し、動き探索処理によって特定された対象物の移動先から距離に応じて、各参照領域の第１の類似度に対して重み付けを行って第２の類似度を算出し、第２の類似度に基づいて、画像内における対象物位置を特定する被写体追尾装置が知られている（特許文献３）。

また、生存期間が異なる３つの観測モデルを利用して画像内の対象物を追跡する追跡装置が知られている（特許文献４）。この追跡装置では、第１観測モデルは現在画像の前１つのフレーム画像を利用してオンライン学習を実施し、第２観測モデルは現在画像の前５つのフレーム画像を利用してオンライン学習を実施し、第３観測モデルはオフライン訓練である。ウォーターフォール型粒子フィルタを採用して３つの観測モデルを融合している。

また、過去の追跡結果の履歴から時間的再現確率に基づいたサンプリングを用いて推定した事前分布によって、追跡対象の移動先を予測する方法が知られている（非特許文献１）。この方法では、対象の過去の状態履歴に基づいて位置・姿勢の事前分布を予測することで、複雑なダイナミクスを持つ対象に対して頑健な追跡を実現している。

特開２０１１−１３５２２７号公報 特開２００９−５３８１５号公報 特開２０１１−９０４８８号公報 特表２０１０−５３２８８６号公報

三上弾、大塚和弘、大和淳司、"姿勢とアピアランスの変化に頑健な対象追跡を実現するアピアランス統合メモリベースパーティクルフィルタ"、電子情報通信学会論文誌Ｄ、Ｖｏｌ．Ｊ９４−Ｄ、Ｎｏ．８、２０１１年

しかしながら、上記の特許文献１に記載の技術では、前回の対象物検出位置からの距離が近い領域ほど、高い評価値（対象物らしさ）が与えられるため、追跡対象と類似した対象が存在する中で対象物が大きく移動した場合に、類似物を誤検出してしまう可能性がある、という問題がある。

また、上記の特許文献２に記載の技術では、追跡対象物と類似度の高い領域が候補となるため、類似対象を誤検出してしまう可能性が殆ど低減されない、という問題がある。

また、上記の特許文献３に記載の技術では、動き探索処理によって特定された対象物の移動先付近に被写体の類似物が存在する場合、あるいは対象物の移動量が大きく動き探索に失敗した場合に誤検出を生じる、という問題がある。

また、上記の特許文献４に記載の技術では、対象物の見えの変化等に対してオンライン学習を行うことで、類似物よりも正解位置の類似度が常に高くなるようにしているが、オンライン学習が間に合わない程の素早い変化が生じると追跡困難となる、という問題がある。

また、上記の非特許文献１に記載の技術では、まだ履歴が十分に蓄積されていない状態で追跡対象物が素早く動いた場合に、履歴を利用した予測ができないため、追跡困難となる、という問題がある。

本発明は、上述した問題を解決するために成されたものであり、追跡対象物を精度よく検出することができる対象物検出装置及びプログラムを提供することを目的とする。

上記目的を達成するために本発明の対象物検出装置は、検出対象範囲を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する抽出手段と、前記撮像画像の時系列の各々について、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、追跡対象物を識別するための識別モデルと、前記ウインドウ画像とに基づいて、前記ウインドウ画像の前記追跡対象物との類似度を算出する類似度算出手段と、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度について、前回算出された前記ウインドウ画像の前記類似度又は合成類似度との変化量を算出する類似度変化量算出手段と、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した合成類似度の各々に基づいて、前記追跡対象物を検出する検出手段と、を含んで構成されている。

本発明のプログラムは、コンピュータを、検出対象範囲を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する抽出手段、前記撮像画像の時系列の各々について、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、追跡対象物を識別するための識別モデルと、前記ウインドウ画像とに基づいて、前記ウインドウ画像の前記追跡対象物との類似度を算出する類似度算出手段、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度について、前回算出された前記ウインドウ画像の前記類似度又は合成類似度との変化量を算出する類似度変化量算出手段、及び前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した合成類似度の各々に基づいて、前記追跡対象物を検出する検出手段として機能させるためのプログラムである。

本発明によれば、抽出手段によって、検出対象範囲を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する。類似度算出手段によって、前記撮像画像の時系列の各々について、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、追跡対象物を識別するための識別モデルと、前記ウインドウ画像とに基づいて、前記ウインドウ画像の前記追跡対象物との類似度を算出する。

そして、類似度変化量算出手段によって、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度について、前回算出された前記ウインドウ画像の前記類似度又は合成類似度との変化量を算出する。検出手段によって、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した合成類似度の各々に基づいて、前記追跡対象物を検出する。

このように、複数のウインドウ画像の各々に対し、算出された類似度と、算出された類似度の変化量とを合成した合成類似度の各々に基づいて、追跡対象物を検出することにより、追跡対象物を精度よく検出することができる。

本発明に係る検出手段は、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前回検出された前記追跡対象物の位置と前記ウインドウ画像との距離に応じて、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度の各々に基づいて、前記追跡対象物を検出するようにすることができる。また、上記の検出手段は、前回検出された前記追跡対象物の位置と前記ウインドウ画像との距離が長いほど、前記変化量の寄与度を大きくすると共に、前記類似度の寄与度を小さくするように、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度に基づいて、前記追跡対象物を検出するようにすることができる。これによって、追跡対象物が素早く移動する場合であっても、追跡対象物を精度よく検出することができる。

本発明に係る検出手段は、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記複数のウインドウ画像の各々について算出された前記類似度に応じて、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度の各々に基づいて、前記追跡対象物を検出するようにすることができる。また、上記の検出手段は、前記複数のウインドウ画像の各々について算出された前記類似度が大きいほど、前記変化量の寄与度を大きくすると共に、前記類似度の寄与度を小さくするように、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度に基づいて、前記追跡対象物を検出するようにすることができる。これによって、追跡対象物が素早く移動する場合であっても、追跡対象物を精度よく検出することができる。

本発明に係る検出手段は、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記ウインドウ画像について前回算出された前記類似度又は前記合成類似度に応じて、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度の各々に基づいて、前記追跡対象物を検出するようにすることができる。また、上記の検出手段は、前記ウインドウ画像について前回算出された前記類似度又は前記合成類似度が大きいほど、前記変化量の寄与度を小さくすると共に、前記類似度の寄与度を大きくするように、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度に基づいて、前記追跡対象物を検出するようにすることができる。これによって、追跡対象物が素早く移動する場合であっても、追跡対象物を精度よく検出することができる。

本発明に係る検出手段は、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前回検出された前記追跡対象物の位置に対応する前記ウインドウ画像について算出された前記類似度に応じて、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度の各々に基づいて、前記追跡対象物を検出するようにすることができる。また、上記の検出手段は、前回検出された前記追跡対象物の位置に対応する前記ウインドウ画像について算出された前記類似度が小さいほど、前記変化量の寄与度を大きくすると共に、前記類似度の寄与度を小さくするように、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度に基づいて、前記追跡対象物を検出するようにすることができる。これによって、追跡対象物が素早く移動する場合であっても、追跡対象物を精度よく検出することができる。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明によれば、複数のウインドウ画像の各々に対し、算出された類似度と、算出された類似度の変化量とを合成した合成類似度の各々に基づいて、追跡対象物を検出することにより、追跡対象物を精度よく検出することができる、という効果が得られる。

第１の実施の形態に係る対象物検出装置の構成を示すブロック図である。 類似度マップを示す図である。 類似度時間変化量マップを説明するための図である。 合成類似度マップを説明するための図である。 第１の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。 第２の実施の形態に係る対象物検出装置の構成を示すブロック図である。 第４の実施の形態に係る対象物検出装置の構成を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、ドライバを撮像した画像から追跡対象物としてドライバの顔を検出する対象物検出装置に本発明を適用した場合について説明する。

図１に示すように、第１の実施の形態に係る対象物検出装置１０は、自車両の車室内のドライバの顔を含む検出対象範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいてドライバの顔を検出して追跡する対象物検出処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を出力するための出力部１８と、を備えている。

撮像装置１２は、自車両のドライバの顔を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、用いる画像はカラーでもモノクロでも良いし、可視光画像でも近赤画像でもよい。

コンピュータ１６は、対象物検出装置１０全体の制御を司るＣＰＵ、後述する対象物検出処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像されコンピュータ１６へ入力された各時刻ｔにおける撮像画像Ｉ（ｔ）を取得する画像取得部１９と、取得した各撮像画像Ｉ（ｔ）から所定領域のウインドウ画像を抽出するウインドウ画像抽出部２０と、ウインドウ画像抽出部２０により抽出されたウインドウ画像について画像特徴量を抽出する特徴量抽出部２１と、ウインドウ画像について抽出された画像特徴量と識別モデルとを比較して、ドライバの顔との類似度を算出する類似度算出部２２と、識別モデルが記憶された識別モデル記憶部２４と、算出された類似度を記憶する類似度記憶部２６と、１時刻前に算出された類似度と今回算出された類似度との変化量を算出する類似度変化量算出部２８と、追跡対象物であるドライバの顔を表わす領域を検出する対象物検出部３０と、検出された領域（ウインドウ画像）の位置を記憶する検出結果記憶部３２とを含んだ構成で表わすことができる。

ウインドウ画像抽出部２０は、撮像画像Ｉ（ｔ）の時系列について、撮像画像Ｉ（ｔ）から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは様々なサイズの追跡対象物を検出するために複数種設定されており、ウインドウ画像抽出部２０は、設定されている全てのウインドウサイズの探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部２０は、抽出したウインドウ画像を予め設定された画素数の画像に変換する。

特徴量抽出部２１は、撮像画像Ｉ（ｔ）の時系列の各々に対する各ウインドウ画像について画像特徴量を抽出する。画像特徴量として、Haar-Like Feature、HOG(Histograms of Oriented Gradients)、FIND(Feature Interaction Descriptor)などが利用できる。なお、FINDについては、非特許文献（Hui CAO, Koichiro YAMAGUCHI, Mitsuhiko OHTA, Takashi NAITO and Yoshiki NINOMIYA:" Feature Interaction Descriptor for Pedestrian Detection", IEICE TRANSACTIONS on Information and Systems, Volume E93-D No.9, pp.2651-2655, 2010）に記載されているものを利用すればよいため、詳細な説明を省略する。

識別モデル記憶部２４には、予め学習により生成され、かつ、類似度算出部２２で類似度を算出する際に参照される識別モデルが記憶されている。なお、ここでは、識別モデル記憶部２４をコンピュータ１６に設ける場合について説明するが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。

識別モデルの学習処理では、予めドライバの顔が撮影された追跡対象物の学習用画像、及びドライバの顔以外が撮影された非追跡対象物の学習用画像を所定枚数用意し、追跡対象物の学習用画像と、非追跡対象物の学習用画像とを用いて、各学習用画像の画像特徴量と教師ラベルとに従って学習を行い、識別モデルを生成する。

また、類似度算出部２２が、撮像画像Ｉ（ｔ）の時系列の各々に対する各ウインドウ画像について、抽出された画像特徴量と識別モデルとに基づいて、識別器によって類似度を算出する。識別器としてBoostingや、SVMなどが利用できる。また、非特許文献（HT Lin, CJ Lin and RC Weng:" A note on Platt's probabilistic outputs for support vector machines", Machine Learning, Springer, 2007）に記載されている手法を用いて、識別器から出力されるスコアを確率値に変換した値を類似度とするようにしてもよい。

類似度算出部２２は、撮像画像I(t)内の各ウインドウ画像に対して算出した類似度を統合した類似度p(t)マップを作成し、類似度記憶部２６に格納する（図２参照）。

なお、x、yはそれぞれ画像のx（横方向）、y（縦方向）座標を表しており、ｚは画像に対する奥行き方向として定義する。即ち、zは追跡対象物（探索ウインドウ）のサイズから与えられる変数である。

類似度変化量算出部２８は、類似度算出部２２によって算出された類似度p(t)マップと、類似度記憶部２６に記憶された１時刻前の類似度p(t-1)マップとに基づいて、各ウインドウ画像の類似度の時間変化量を計算し、類似度時間変化量p‘(t)マップを算出する（図３参照）。

即ち、ウインドウ画像(x,y,z,t)の類似度の時間変化量p'(x,y,z,t)は以下の(1)式によって与えられる。

ただし、ｐ(x,y,z,t)は、時刻ｔのウインドウ画像(x,y,z)の類似度を表し、ｐ’(x,y,z,t)は、時刻ｔのウインドウ画像(x,y,z)の類似度の時間変化量を表わす。

なお、対象物検出部３０で１時刻前に算出された合成類似度p_com(x,y,z,t-1)を、上記（１）式の類似度p(x,y,z,t-1)の代わりに用いることも可能である。例えば、以下の式(2)で与えられる時間変化量を用いても良い。

次に、本実施の形態の原理について説明する。

画像内で、前回の追跡対象物位置から広範囲を探索することで素早い移動を逃さず探索可能であるが、広範囲な探索では、正解位置よりも類似度が高い位置（類似物の存在）が発生しやすくなり、誤検出を招きやすい。しかし類似度の時間変化量に着目すると、背景から追跡対象物に変化した位置のみ大きな値をとるため、追跡対象物が前回位置から大きく移動した場合には、その移動先の類似度時間変化量は大きく、類似物が元々存在する位置では類似度時間変化量は小さい。また、前回の追跡対象物位置の近傍では、現在時刻の類似度そのものに着目しても誤検出を生じる確率は低い。以上より、前回の追跡対象物位置近傍では現在時刻の類似度の寄与度を大きくし、遠方では類似度時間変化量の寄与度を大きくして、二つの量を合成した値を尤度（対象物らしさ）とし、これに着目することで誤検出の少ない安定した追従が可能となる。

そこで、本実施の形態では、対象物検出部３０は、類似度算出部２２によって算出された類似度p(t)マップと、類似度変化量算出部２８によって算出された類似度時間変化p‘(t)マップとを、検出結果記憶部３２に記憶された１時刻前の対象物位置からの距離l(t)に応じて合成するように、各ウインドウ画像に対する合成類似度p_com(x,y,z,t)を計算することにより、合成類似度p_com(t)マップを算出する（図４参照）。

合成類似度p_com(x,y,z,t)の算出方法として、以下の(3)式を基に、例えば以下のような方法が挙げられる。

ただし、ｐ_com(x,y,z,t)は、合成類似度を表わす。また、上記の(3)式に含まれる重み関数fi、giとしては、様々な関数が考えられる。本実施の形態では、画像内での前回の追跡対象物位置からの距離に関する情報に応じて合成する場合を例に説明する。

前回の追跡対象物位置からの距離lが遠くなるほど、類似度p(x,y,z,t)の寄与度を小さく、類似度時間変化量p‘(x,y,z,t)の寄与度を大きくする、以下の式で表される重み関数ｆ1、ｇ1を用いる。

ただし、ｌ(x,y,z)は、１時刻前ｔ−１にドライバの顔が検出されたウインドウ画像の位置(x_t-1 ^obj,y_t-1 ^obj,z_t-1 ^obj)と、ウインドウ画像(x,y,z)の位置との距離を表わす。また、α、β、γは、定数である。

なお、重み関数f_i、g_iは、上記の式で表される関数に限定されるものではなく、距離lに依存した関数（前回の追跡対象物位置からの距離lが遠くなるほどpの寄与度を小さく、p‘の寄与度を大きくする関数）であれば任意の関数で良い。

また、対象物検出部３０は、各時刻ｔに対し、合成類似度p_com(t)マップの最大値を取るウインドウ画像を、追跡対象物を表わす領域として検出するとともに、追跡対象物を表わす領域として検出されたウインドウ画像の位置(x_t ^obj,y_t ^obj,z_t ^obj)を、検出結果記憶部３２に格納する。

また、対象物検出部３０は、検出結果を撮像画像に重畳して、出力部１８により出力する。

次に、図５を参照して、第１の実施の形態の対象物検出装置１０のコンピュータ１６で実行される対象物検出処理ルーチンについて説明する。

ステップ１００で、撮像装置１２で現時刻ｔに撮像された撮像画像Ｉ（ｔ）を取得し、次に、ステップ１０２で、撮像画像Ｉ（ｔ）に対して探索ウインドウを設定し、設定した探索ウインドウを用いて、撮像画像Ｉ（ｔ）からウインドウ画像(x,y,z)を抽出する。

次に、ステップ１０４で、上記ステップ１０２で抽出されたウインドウ画像(x,y,z)から画像特徴量を抽出する。ステップ１０６では、識別モデルと、上記ステップ１０４で抽出された画像特徴量とに基づいて、類似度を算出して、類似度記憶部２６に記憶された今回の類似度マップに記録する。

ステップ１０８では、上記ステップ１００で取得された撮像画像の全体について探索ウインドウをスキャンして探索が終了したか否かを判断する。終了していない場合は、ステップ１０２へ戻り、探索ウインドウの位置（ｘ、ｙ）を予め定められた探索ステップだけ移動させた位置からウインドウ画像を抽出し、ステップ１０２〜ステップ１０６の処理を繰り返す。また、現サイズｚの探索ウインドウでの画像全体の探索が終了した場合には、同様にステップ１０２へ戻り、探索ウインドウのサイズｚを変更して、ステップ１０２〜ステップ１０６の処理を繰り返す。撮像画像全体について、全てのサイズの探索ウインドウでの探索が終了した場合には、類似度マップが完成したと判断し、ステップ１１０へ移行する。

ステップ１１０では、上記ステップ１０２〜ステップ１０６の処理により作成された類似度マップと、類似度記憶部２６に記憶された１時刻前の類似度マップとの差分を計算することにより、各ウインドウ画像(x,y,z)の類似度時間変化量を算出する。

そして、ステップ１１２において、後述するステップ１１６で１時刻前に検出された追跡対象物を表わすウインドウ画像の位置(x,y,z)を検出結果記憶部３２から取得し、各ウインドウ画像(x,y,z)に対して重み関数ｆ₁、ｇ₁を算出する。

次のステップ１１４では、上記ステップ１０２〜ステップ１０６の処理により算出された各ウインドウ画像の類似度と、上記ステップ１１０で算出された各ウインドウ画像の類似度時間変化量と、上記ステップ１１２で算出された各ウインドウ画像の重み関数ｆ₁、ｇ₁とに基づいて、各ウインドウ画像の合成類似度を算出する。

そして、ステップ１１６において、上記ステップ１１４で算出された合成類似度の最大値をとるウインドウ画像を、追跡対象物を表わす領域として検出すると共に、検出結果記憶部３２に、当該ウインドウ画像の位置(x,y,z)を格納する。なお、合成類似度の最大値が閾値未満である場合には、追跡対象物が検出されなかったと判断すればよい。

ステップ１１８では、検出結果の出力として、上記ステップ１１６で検出された追跡対象物を表わす領域を、撮像画像Ｉ（ｔ）に重畳させて出力部１８により出力し、上記ステップ１００へ戻る。

上記のように、対象物検出処理ルーチンでは、撮像装置１２によって撮像される撮像画像の時系列の各々について、上述した処理が繰り返し実行されることにより、追跡対象物であるドライバの顔が検出されて追跡される。

以上説明したように、第１の実施の形態の対象物検出装置１０によれば、各ウインドウ画像について、１時刻前に検出された追跡対象物の位置と当該ウインドウ画像との距離が長いほど、類似度時間変化量の寄与度を大きくすると共に、類似度の寄与度を小さくするように、算出された類似度と、算出された類似度時間変化量とを合成した合成類似度を各々算出し、各ウインドウ画像の合成類似度に基づいて、追跡対象物を表わす領域を検出することにより、追跡対象物が素早く移動する場合であっても、追跡対象物を精度よく検出することができ、安定して追跡することができる。

また、本実施の形態では、前回の追跡対象物の位置からの距離が、直接的に対象物らしさを示す評価値（すなわち、合成類似度）に影響がないため、追跡対象物との類似物がある場合でも安定した追跡が可能である。

また、本実施の形態では、動き探索を用いないため、動き探索では失敗する程の大きな移動に対しても追従可能であり、類似度の時間変化量にも着目するため、追跡対象物の移動先付近に類似度が存在していてもその位置での類似度時間変化量は小さくなり、誤検出を生じにくい。また、たとえ見えの変化で正解位置の尤度（対象物らしさ）が多少低下しても誤検出の可能性は低減されており、安定した追従が可能である。

また、本実施の形態では、追跡対象物の過去の移動履歴は用いていないため、追跡開始直後から対象物が素早く移動しても、安定した追跡が可能である。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、画像内での各ウインドウ画像における類似度に関する情報に応じて、各ウインドウ画像の類似度と類似度時間変化量とを合成して、合成類似度を各々算出している点が、第１の実施の形態と異なっている。

図６に示すように、第２の実施の形態の対象物検出装置２１０のコンピュータ２１６は、画像取得部１９、ウインドウ画像抽出部２０と、特徴量抽出部２１と、類似度算出部２２と、識別モデル記憶部２４と、類似度記憶部２６と、類似度変化量算出部２８と、対象物検出部２３０と、を含んだ構成で表わすことができる。

対象物検出部２３０は、類似度算出部２２によって算出された類似度p(t)マップと、類似度変化量算出部２８によって算出された類似度時間変化p‘(t)マップとを、類似度記憶部２６に記憶された現時刻ｔの各ウインドウ画像の類似度に応じて合成するように、各ウインドウ画像に対する合成類似度p_com(x,y,z,t)を計算することにより、合成類似度p_com(t)マップを算出する。

合成類似度p_com(t)は、上記の(3)式を基に算出され、上記の(3)式に含まれる重み関数f_i、g_iは、様々な関数が考えられる。本実施の形態では、現時刻の画像内で各ウインドウ画像の類似度に関する情報に応じて合成する場合を例に説明する。

類似度p(x,y,z,t)が大きい位置が存在する割合が多い場合ほど、類似度p(t)マップによる検出では誤検出となる可能性が高いため、類似度p(x,y,z,t)の寄与度を小さく、類似度時間変化量p'(x,y,z,t)の寄与度を大きくする、以下の式で表される重み関数ｆ₂、ｇ₂を用いる。

上記の関数では、各ウインドウ画像の類似度p(x,y,z,t)の総和が大きいほど、類似度p(x,y,z,t)の寄与度を小さく、類似度時間変化量p'(x,y,z,t)の寄与度を大きくするように、重み関数ｆ₂、ｇ₂が算出される。なお、上記の重み関数に限定されるものではなく、画像内における類似度p(x,y,z,t)が大きい位置が存在する割合に依存した関数であれば任意の関数で良い。

また、対象物検出部３０は、合成類似度p_com(t)マップの最大値を取るウインドウ画像を、追跡対象物を表わす領域として検出する。

なお、第２の実施の形態に係る対象物検出装置２１０の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、第２の実施の形態の対象物検出装置２１０によれば、各ウインドウ画像について、現時刻の全ウインドウ画像の類似度の総和が大きいほど、類似度の寄与度を小さくすると共に、類似度時間変化量の寄与度を大きくするように、算出された類似度と、算出された類似度時間変化量とを合成した合成類似度を各々算出し、各ウインドウ画像の合成類似度に基づいて、追跡対象物を表わす領域を検出することにより、追跡対象物が素早く移動する場合であっても、追跡対象物を精度よく検出することができ、安定して追跡することができる。

次に、第３の実施の形態について説明する。なお、第３の実施の形態の対象物検出装置は、第２の実施の形態の対象物検出装置２１０と同一の構成であるため、同一の符号を付して説明を省略する。

第３の実施の形態では、同じウインドウ画像の前回の類似度に応じて、類似度と類似度時間変化量とを合成して、合成類似度を算出している点が、第２の実施の形態と異なっている。

第３の実施の形態では、対象物検出部２３０は、類似度算出部２２によって算出された類似度p(t)マップと、類似度変化量算出部２８によって算出された類似度時間変化p‘(t)マップとを、類似度記憶部２６に記憶された１時刻前ｔ−１の各ウインドウ画像の類似度に応じて合成するように、各ウインドウ画像に対する合成類似度p_com(x,y,z,t)を計算することにより、合成類似度p_com(t)マップを算出する。

合成類似度p_com(t)は、上記の(3)式を基に算出され、上記の(3)式に含まれる重み関数f_i、g_iは、様々な関数が考えられる。本実施の形態では、１時刻前の類似度に関する情報に応じて合成する場合を例に説明する。

前回の類似度p(x,y,z,t-1)が大きい位置ほど類似度p(x,y,z,t)の寄与度を大きく、類似度時間変化量p‘(x,y,z,t)の寄与度を小さくする、以下の式で表される重み関数ｆ₂、ｇ₂を用いる。なお、以下の式に示すように、「前回の類似度p(x,y,z,t-1)」の代わりに「前回の合成類似度p_com(x,y,z,t-1)」に応じて寄与度を変化させても良い。

上記の関数では、同じウインドウ画像の１時刻前の類似度p(x,y,z,t-1)又は合成類似度p_com(x,y,z,t-1)が大きいほど、類似度p(t)の寄与度を大きく、類似度時間変化量p'(x,y,z,t)の寄与度を小さくするように、重み関数ｆ₂、ｇ₂が算出される。なお、上記の重み関数に限定されるものではなく、同じウインドウ画像の１時刻前の類似度p(x,y,z,t-1)又は合成類似度p_com(x,y,z,t-1)に依存した関数であれば任意の関数で良い。

また、対象物検出部３０は、合成類似度p_com(t)マップの最大値を取るウインドウ画像を、追跡対象物を表わす領域として検出する。

なお、第３の実施の形態に係る対象物検出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、第３の実施の形態の対象物検出装置によれば、各ウインドウ画像について、１時刻前の同じウインドウ画像の類似度又は合成類似度が大きいほど、類似度の寄与度を大きくすると共に、類似度時間変化量の寄与度を小さくするように、算出された類似度と、算出された類似度時間変化量とを合成した合成類似度を各々算出し、各ウインドウ画像の合成類似度に基づいて、追跡対象物を表わす領域を検出することにより、追跡対象物が素早く移動する場合であっても、追跡対象物を精度よく検出することができ、安定して追跡することができる。

次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第４の実施の形態では、１時刻前に追跡対象物が検出された位置における現時刻の類似度に関する情報に応じて、類似度と類似度時間変化量とを合成して、合成類似度を算出している点が、第１の実施の形態と異なっている。

図７に示すように、第４の実施の形態の対象物検出装置４１０のコンピュータ４１６は、画像取得部１９、ウインドウ画像抽出部２０と、特徴量抽出部２１と、類似度算出部２２と、識別モデル記憶部２４と、類似度記憶部２６と、類似度変化量算出部２８と、対象物検出部４３０と、検出結果記憶部３２とを含んだ構成で表わすことができる。

対象物検出部４３０は、類似度算出部２２によって算出された類似度p(t)マップと、類似度変化量算出部２８によって算出された類似度時間変化p‘(t)マップとを、検出結果記憶部３２に記憶された１時刻前の追跡対象物位置（追跡対象物を表わす領域として検出されたウインドウ画像）における現時刻ｔの類似度に応じて合成するように、各ウインドウ画像に対する合成類似度p_com(x,y,z,t)を計算することにより、合成類似度p_com(t)マップを算出する。

合成類似度p_com(t)は、上記の(3)式を基に算出され、上記の(3)式に含まれる重み関数f_i、g_iは、様々な関数が考えられる。本実施の形態では、１時刻前の追跡対象物位置における現時刻の類似度に関する情報に応じて合成する場合を例に説明する。

１時刻前の追跡対象物位置(x_t-1 ^obj,y_t-1 ^obj,z_t-1 ^obj)における現在の類似度p(x_t-1 ^obj,y_t-1 ^obj,z_t-1 ^obj,t)が小さいほど、追跡対象物は大きく移動した可能性が高いため、各ウインドウ画像において類似度p(x,y,z,t)の寄与度を小さく、類似度時間変化量p‘(x,y,z,t)の寄与度を大きくする、以下の式で表される重み関数ｆ₃、ｇ₃を用いる。

ただし、(x_t-1 ^obj,y_t-1 ^obj,z_t-1 ^obj)は、１時刻前の追跡対象物位置を表わす。

上記の関数では、１時刻前に追跡対象物を表わす領域として検出されたウインドウ画像の類似度p(x_t-1 ^obj,y_t-1 ^obj,z_t-1 ^obj,t)が大きいほど、類似度p(x,y,z,t)の寄与度を大きく、類似度時間変化量p'(x,y,z,t)の寄与度を小さくするように、重み関数ｆ₃、ｇ₃が算出される。なお、上記の重み関数に限定されるものではなく、１時刻前に追跡対象物が検出されたウインドウ画像の現時刻の類似度に依存した関数であれば任意の関数で良い。

また、対象物検出部４３０は、合成類似度p_com(t)マップの最大値を取るウインドウ画像を、追跡対象物を表わす領域として検出するとともに、追跡対象物を表わす領域として検出されたウインドウ画像の位置(x_t ^obj,y_t ^obj,z_t ^obj)を、検出結果記憶部３２に格納する。

なお、第４の実施の形態に係る対象物検出装置４１０の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、第４の実施の形態の対象物検出装置４１０によれば、各ウインドウ画像について、１時刻前に追跡対象物が検出されたウインドウ画像の現時刻の類似度が大きいほど、類似度の寄与度を大きくすると共に、類似度時間変化量の寄与度を小さくするように、算出された類似度と、算出された類似度時間変化量とを合成した合成類似度を各々算出し、各ウインドウ画像の合成類似度に基づいて、追跡対象物を表わす領域を検出することにより、追跡対象物が素早く移動する場合であっても、追跡対象物を精度よく検出することができ、安定して追跡することができる。

なお、上記の第１の実施の形態〜第４の実施の形態では、重み関数ｆ₁、ｇ₁、重み関数ｆ₂、ｇ₂、又は重み関数ｆ₃、ｇ₃を用いて、合成類似度を算出する場合を例に説明したが、これに限定されるものではなく、重み関数ｆ₁、ｇ₁、重み関数ｆ₂、ｇ₂、重み関数ｆ₃、ｇ₃を組み合わせた重み関数を用いて、合成類似度を算出するようにしてもよい。例えば、以下の式で表わされる重み関数ｆ₄、ｇ₄を用いて、合成類似度を算出するようにしてもよい。

また、上記の第１の実施の形態〜第４の実施の形態では、ドライバの顔を追跡対象物として検出する場合を例に説明したが、これに限定されるものではなく、例えば、スポーツのボールや、低フレームレートのカメラ（設置監視カメラ）での移動物を、追跡対象物としてもよく、あるいは、車両周辺の外部対象物（自転車）を、追跡対象物としてもよい。

１０、２１０、４１０ 対象物検出装置
１２ 撮像装置
１６、２１６、４１６ コンピュータ
２０ ウインドウ画像抽出部
２１ 特徴量抽出部
２２ 類似度算出部
２４ 識別モデル記憶部
２６ 類似度記憶部
２８ 類似度変化量算出部
３０、２３０、４３０ 対象物検出部
３２ 検出結果記憶部

Claims (10)

1. 検出対象範囲を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する抽出手段と、
   前記撮像画像の時系列の各々について、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、追跡対象物を識別するための識別モデルと、前記ウインドウ画像とに基づいて、前記ウインドウ画像の前記追跡対象物との類似度を算出する類似度算出手段と、
   前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度について、前回算出された前記ウインドウ画像の前記類似度又は合成類似度との変化量を算出する類似度変化量算出手段と、
   前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した合成類似度の各々に基づいて、前記追跡対象物を検出する検出手段と、
   を含む対象物検出装置。
2. 前記検出手段は、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前回検出された前記追跡対象物の位置と前記ウインドウ画像との距離に応じて、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度の各々に基づいて、前記追跡対象物を検出する請求項１記載の対象物検出装置。
3. 前記検出手段は、前回検出された前記追跡対象物の位置と前記ウインドウ画像との距離が長いほど、前記変化量の寄与度を大きくすると共に、前記類似度の寄与度を小さくするように、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度に基づいて、前記追跡対象物を検出する請求項２記載の対象物検出装置。
4. 前記検出手段は、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記複数のウインドウ画像の各々について算出された前記類似度に応じて、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度の各々に基づいて、前記追跡対象物を検出する請求項１記載の対象物検出装置。
5. 前記検出手段は、前記複数のウインドウ画像の各々について算出された前記類似度が大きいほど、前記変化量の寄与度を大きくすると共に、前記類似度の寄与度を小さくするように、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度に基づいて、前記追跡対象物を検出する請求項４記載の対象物検出装置。
6. 前記検出手段は、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記ウインドウ画像について前回算出された前記類似度又は前記合成類似度に応じて、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度の各々に基づいて、前記追跡対象物を検出する請求項１記載の対象物検出装置。
7. 前記検出手段は、前記ウインドウ画像について前回算出された前記類似度又は前記合成類似度が大きいほど、前記変化量の寄与度を小さくすると共に、前記類似度の寄与度を大きくするように、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度に基づいて、前記追跡対象物を検出する請求項６記載の対象物検出装置。
8. 前記検出手段は、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前回検出された前記追跡対象物の位置に対応する前記ウインドウ画像について算出された前記類似度に応じて、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度の各々に基づいて、前記追跡対象物を検出する請求項１記載の対象物検出装置。
9. 前記検出手段は、前回検出された前記追跡対象物の位置に対応する前記ウインドウ画像について算出された前記類似度が小さいほど、前記変化量の寄与度を大きくすると共に、前記類似度の寄与度を小さくするように、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した前記合成類似度に基づいて、前記追跡対象物を検出する請求項８記載の対象物検出装置。
10. コンピュータを、
    検出対象範囲を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する抽出手段、
    前記撮像画像の時系列の各々について、前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、追跡対象物を識別するための識別モデルと、前記ウインドウ画像とに基づいて、前記ウインドウ画像の前記追跡対象物との類似度を算出する類似度算出手段、
    前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度について、前回算出された前記ウインドウ画像の前記類似度又は合成類似度との変化量を算出する類似度変化量算出手段、及び
    前記抽出手段によって抽出された前記複数のウインドウ画像の各々に対し、前記類似度算出手段によって算出された前記類似度と、前記類似度変化量算出手段によって算出された前記変化量とを合成した合成類似度の各々に基づいて、前記追跡対象物を検出する検出手段
    として機能させるためのプログラム。