JP4884331B2 - 移動物体追跡装置 - Google Patents

Description

本発明は、移動物体追跡装置に関し、特に、複数の移動物体を正確に追跡できる移動物体追跡装置に関する。

従来、移動物体追跡装置が用いられている。この種の装置は、例えば、監視装置の一部として用いられており、監視装置は、銀行の現金自動預け払い機コーナー、または、エレベータ内に、主に防犯を目的として設置されている。この場合には、移動物体追跡装置が追跡する対象物は、追跡領域内を移動する人々である。

そして、上記追跡領域が、例えば現金自動預け払い機コーナーである場合には、所定の範囲を有する該領域内を、複数の人々が同時に移動することがある。追跡領域内では、複数の人が隣り合っての歩行する場合、現金自動預け払い機を利用しようと人が既に生じている行列の後ろに並ぶ場合がある。

上述したように、移動物体追跡装置が、防犯を目的として設置されている場合には、移動する人々を、常に正しく追跡し続けることが求められる。そのため、複数の人々が隣り合っての歩行、人が行列の後ろに並んでも正しく追跡を行わなくてはならない。

ところで、従来の画像処理の技術分野では、輝度情報などを用いたテンプレートマッチング処理が知られている。テンプレートマッチング処理では、画像全体を処理対象とすると、処理量が多くなり過ぎるため、テンプレートマッチング処理を一定の範囲に限定するのが一般的である。

テンプレートマッチング処理を移動物体の追跡に用いる場合、注目する移動物体の、前時刻での位置、あるいは予測手段を設け、当該予測手段が示した現時刻での位置の周辺に探索範囲を設定し、当該探索範囲に限定して、入力画像とテンプレートの一致の度合いを調べ、それが最も高い、即ち最も一致している位置に現時刻でのテンプレートの位置を決定し、当該位置に注目する移動物体が存在すると判断する。

この処理技術を、特許文献１においては、複数の人の追跡に適用することが試みられている。特許文献１には、1つの移動物体に対するテンプレートマッチング処理を用いた追跡アルゴリズムが示され、複数の移動物体が画像中に含まれても容易に拡張可能と謳っている。

同様に、特許文献２には、複数の移動物体が画像中に存在することを念頭におき、探索範囲を狭い範囲に限定した追跡アルゴリズムを搭載した移動物体追尾装置が開示されている。

特開平０６−２３１２５２号公報 特開平１０−１２３２２９号公報

特許文献１に記載の方法では、各移動物体をそれぞれ独立に探索範囲を設定し、独立にテンプレートマッチング処理を行っている。従って、色や模様が似た移動物体どうし、例えば似た服装をした人どうしが、隣り合って歩いたり、行列の後尾の人と似た服装をした人が行列の後ろに並ぶなど、画像中で近づいた場合に、探索範囲が重なることがあり、注目する人以外の人の位置にて、最もテンプレートと一致することがある。この場合、本来追跡すべき人以外の人を追跡し始め、結果として追跡を継続するのが困難な場合がある。

特許文献２に記載の方法では、探索範囲を狭い範囲に限定するので、特許文献１に記載の方法よりも、追跡を継続するのが困難な場合は少なくなると考えられる。しかし、移動物体追尾装置の側で、注目する移動物体の探索範囲に、他の移動物体が存在することを阻止することはできず、やはり結果として追跡を継続するのが困難な場合があることには変わりがない。

従って、本発明は、上記のように、似た色や模様の移動物体どうしが画像中で近づいた場合にも、各移動物体を正確に追跡できる移動物体追跡装置を提供することを目的とする。

上記課題を解決するため、本発明は、順次入力される入力画像から、同一移動物体をテンプレートを用いて追跡する移動物体追跡装置であって、前記入力画像から複数の移動物体についてそれぞれテンプレートを生成するテンプレート生成手段と、前記移動物体と前記テンプレートを関連付けて記憶した記憶手段と、前記記憶手段に記憶している前記テンプレートと前記入力画像との類似の程度を調べて評価値を算出し、該評価値が所定閾値より大きく且つ最大となるテンプレート候補の位置を抽出する抽出手段と、前記抽出手段にて抽出された、一のテンプレート候補の抽出位置とその他のテンプレート候補の抽出位置との距離が所定距離以下の場合に、前記一のテンプレート候補の抽出位置を修正する修正手段と、前記テンプレート候補の抽出位置にて生成したテンプレートをもって、前記記憶部に記憶されているテンプレートを更新する更新手段を備えた移動物体追跡装置を提供する。

かかる構成により、他のテンプレートとの距離を考慮して、テンプレート候補の抽出位置を修正しテンプレートを更新するので、複数の移動物体の追跡精度が向上する。

本発明の好ましい態様では、修正手段は、一のテンプレート候補とその他のテンプレート候補との抽出位置の距離が、前記所定の距離以下の範囲では、評価値が小さくなるように修正し、前記抽出手段に前記一のテンプレート候補の抽出位置を再抽出させる。かかる構成により、テンプレートどうしの位置が近づき過ぎるを防止することが可能となる。

また、本発明の好ましい態様では、前記所定距離を前記一のテンプレートの抽出位置がその他のテンプレートの領域に含まれない程度の距離とする。

また、本発明の好ましい態様では、修正手段は、前記一のテンプレート候補とその他のテンプレート候補との抽出位置の距離が所定距離以上になるか、所定回数にわたって修正を繰り返した場合に修正を終了する。これにより、位置の修正幅と修正回数を調整することで、移動物体追跡装置における処理負荷の低減と、修正精度の向上が望める。

更に、本発明の好ましい態様では、修正手段は、前記評価値が低いテンプレート候補から順に一のテンプレート候補の抽出位置とする。

本発明によれば、他のテンプレートとの距離を考慮して、テンプレート候補の抽出位置を修正しテンプレートを更新するので、複数の移動物体の追跡精度が向上する。

以下、本発明を適用した移動物体追跡装置を、その好ましい一実施形態に基づいて、図１乃至図６を参照しながら説明する。

図１は、移動物体追跡装置１０の機能ブロック図である。移動物体追跡装置１０は、入力された画像中に捉えた移動物体の追跡を行う装置である。例えば、監視カメラシステムの一部として用いられることにより、監視領域内を移動する人などを追跡し、その移動パターンなどから異常を検知する用途に用いることができる。

移動物体追跡装置１０は、カメラ１５０やその他記録装置などから画像が順次入力される入力部１０１と、追跡された移動物体の位置などを記憶する記憶部１０２と、移動物体の追跡処理を行う追跡部１０３と、移動物体が滞留している等の異常状態を判定する判定部１０４と、モニタに追跡した結果を出力する出力部１０５とを備えており、これらの処理は制御部１００により制御される。

移動物体追跡装置１０のハードウェア構成は、例えば、中央演算装置（ＣＰＵ）、数値演算プロセッサ、ＲＯＭまたはＲＡＭなどの半導体メモリ、磁気記録媒体または光記録媒体、入出力インターフェースなどから構成することができる。

入力部１０１には、カメラ１５０が接続されている。カメラ１５０がアナログカメラの場合は、アナログ信号である画像をデジタル信号の画像データに変換して取り込む。なお、デジタル画像を出力するカメラが接続されていれば、このようなＡ／Ｄ変換機能は必要ない。

カメラ１５０は、１秒間に２フレームなど所定の時間間隔にて撮像して、画像を入力部１０１に出力する。また、画像の撮像に用いる波長帯としては、可視光波長または赤外線波長などの具体的な用途に応じて選択される。

なお、カメラ１５０は、１つの移動物体が他の移動物体などの後方に隠れて完全に見えなくなることを防止する観点から、監視領域を上方から撮影できるように、部屋の天井から下向きに設置することが好ましい。

次に、追跡部１０３について説明する。追跡部１０３は、図１に示すように、予測手段１０３１と、抽出手段１０３２と、修正手段１０３３と、テンプレート生成手段１０３４と、テンプレート更新手段１０３５と、から成っている。追跡部１０３は、既に追跡中の移動物体が入力画像に中に存在するかを調べて、存在する場合は対応付けする。

予測手段１０３１は、記憶部１０２に記憶している追跡情報の履歴に基づき、移動物体ごとに入力画像における予測位置を求める手段である。すなわち、移動物体ごとに追跡情報１０２１の過去数フレームにおけるテンプレート位置の遷移と移動速度から、入力画像における当該テンプレートの位置を移動平均法にて予測算出する。

なお、予測算出する方法については、時系列解析で一般的に用いられる線形予測やカルマンフィルタなどを用いることも可能である。

抽出手段１０３２は、入力画像におけるテンプレートの予測位置近傍の所定範囲をテンプレートとのパターンマッチング法にて探索し、追跡評価値が最大となる位置を特定する。本実施の形態では、処理を簡単にするため、探索範囲の大きさは事前に設定した固定のものとするが、移動物体の運動に応じてダイナミックに変更させても良い。ダイナミックに変更させる場合には、一般に移動物体の速度が大きいほど予測とのずれが大きくなることが予想されるため、速度が大きいほど上記探索範囲を広く取る方法が好ましい。

なお、追跡評価値の最大値が所定の閾値を超えていないと、追跡対象である移動物体が入力画像上に存在しないとの判定を行う。この場合の所定閾値とは、１フレーム前のテンプレートと同等のテンプレートが入力画像に含まれているとの判断ができる程度の追跡評価値を採用する。具体的な値は、追跡対象や撮影環境などの諸条件に応じて適宜決定される。

抽出手段１０３２にて用いられるマッチングの方法としては、パターンマッチング法に限らず、ヒストグラムマッチング法などの公知の方法を用いることができる。

次に、追跡評価値の具体的な算出方法について説明する。すなわち、入力画像中の座標（ｘ、ｙ）における追跡評価値ｓ（ｘ、ｙ）は、［数式１］に示すように、テンプレートと入力画像の差の絶対値の逆数にて求める。ここで、Ｓはテンプレートの面積、Ｉ（ｘ、ｙ）は入力画像、Ｐ（ｘ、ｙ）はテンプレートのそれぞれ輝度または色を表し、分母の和はテンプレート内の全ての画素について求める。εはゼロで割ることを避けるための適当な定数である。

ヒストグラムマッチング法を用いる場合は、追跡評価値ｓ（ｘ、ｙ）は、テンプレートの色（または輝度）ヒストグラムと入力画像の対応する領域の色（または輝度）のヒストグラムを用い、［数式２］にて求める。

ここで、入力画像のヒストグラムを［数式３］、テンプレートのヒストグラムを［数式４］のようにおいた。

Ｍはヒストグラムのビンの数であり、ヒストグラムの全ビンにわたって和を求める。ビンとは、ヒストグラムの各階調である。例えば２５６階調を８階調に量子化する場合には、そのヒストグラムは８ビンとなる。

いずれの場合も、追跡評価値ｓ（ｘ、ｙ）が大きいほどテンプレートと入力画像は類似していることになる。

修正手段１０３３は、複数のテンプレートにおける追跡評価値が最大となった位置が近づき過ぎているか否かを判定し、近づき過ぎているテンプレートに対してのみ、抽出手段１０３２にて算出された追跡評価値に重みを乗算し、その結果に基づいてテンプレートの位置を離すように修正した上で、追跡評価値が最大となる位置を決定する。

複数のテンプレートにおける追跡評価値が最大となった位置が近づき過ぎたことの判断は、当該位置どうしの距離を算出して所定距離以下であることにより判断する。この所定距離は、当該位置をテンプレートの重心にした場合に、テンプレートが相互に重なる距離である。この他、一の移動物体のテンプレートが他の移動物体のテンプレートと入れ替わる可能性が出てくる程度に近づくような距離が実験的または経験的に見つかれば適宜採用できる。なお、近づき過ぎていないものについては、追跡できたとして修正対象とはせずに、当該テンプレートの追跡評価値が最大となった位置に決定する。

位置の修正処理は、抽出手段１０３２にて求められた追跡評価値に、後述する重み情報を乗算し、その結果である追跡評価値が最も高くなる位置にテンプレートの位置を特定する。これにより、近づき過ぎているテンプレート位置が離れるように修正される。

この際、追跡評価値の最大値が所定の閾値を超えていないと、追跡対象である移動物体が入力画像上に存在しないとの判定を行う。この場合の所定閾値とは、１フレーム前のテンプレートと同等のテンプレートが入力画像に含まれているとの判断ができる程度の追跡評価値を採用する。具体的な値は、追跡対象や撮影環境などの諸条件に応じて適宜決定される。

ここで、重み情報について説明する。図３に、重み情報の例を示す。図３は、横軸に近づきすぎている他のテンプレートの重心位置から修正対象のテンプレートの重心位置までの距離、縦軸に当該距離における追跡評価値への重み値を０から１の間にてプロットしたものである。図３（ａ）乃至（ｃ）は、他のテンプレートの重心位置にて０となり、離れるほどに１に近づくようになるパターン３種類を示している。なお、重み情報は、後述する記憶部１０２に記憶されている。

図３（ａ）は、テンプレートの重心位置どうしの距離が短いほど徐々に追跡評価値が下がるように作用する重み情報の例である。本実施の形態では、この重み情報を採用している。
具体的には、［数式５］で表される関数と、そのパラメータであるＲを記憶する。

［数式５］において、ｗ（ｘ、ｙ）は重みの値、（ｘ、ｙ）は、修正の基準となる位置を原点とする座標、ｒはテンプレートを円形とした場合の半径、Ｒは近づいたテンプレートどうしを離す効果の強さ（修正量の大小）を表すものであり、正規分布の偏差に対応している。例えば、１つのテンプレートの重心が、他のテンプレートに含まれないようにするには、Ｒ＝３とすればよく、修正処理を繰り返す回数に応じて適宜設計することができる。

図３（ｂ）は、テンプレートの重心位置どうしの距離が短いほど線形に追跡評価値が下がるように作用する重み情報の例である。具体的には、重み情報として、重みの値が１になるまで比例的に増加する範囲である２１０ａと２１０ｂを記憶する。

２１０ａと２１０ｂは、１つのテンプレートの重心が、他のテンプレートに含まれないようにするという観点で、その他のテンプレートの大きさの半分とするのが好適である。テンプレートが円形であれば、２１０ａと２１０ｂは同じ値であるが、テンプレートが円形以外の場合には、テンプレートの重心から周辺部までの距離を、その方向に応じて可変にするのが好適である。

図３（ｃ）は、テンプレートの重心位置どうしの距離が所定の距離内であれば追跡評価値を０とするように作用する重み情報の例である。具体的には、重み情報として、重みの値が０となる範囲である、２２０ａと２２０ｂを記憶する。

２２０ａと２２０ｂは、１つのテンプレートの重心が、他のテンプレートに含まれないようにするという観点で、そのテンプレートの大きさの半分とするのが好適である。テンプレートが円形であれば、２２０ａと２２０ｂは同じ値であるが、テンプレートが円形以外の場合には、テンプレートの重心から周辺部までの距離を、その方向に応じて可変にするのが好適である。

テンプレート生成手段１０３４は、カメラ１５０により取得された入力画像と、記憶部１０２に記憶している背景画像１０２２に基づき、移動物体の特徴が反映されたテンプレートを生成する。すなわち、テンプレート生成手段１０３４は、入力画像と背景画像とから所定の閾値にて差分二値化処理した二値化画像を算出する。次に、テンプレート生成手段１０３４は、この二値化画像に対して、メディアンフィルターなどの公知の技術によりノイズ除去処理・画素連結処理を行い変化領域として抽出する。

次に、テンプレート生成手段１０３４は、入力画像における当該変化領域に現れた移動物体の特徴を円形のテンプレートを用いているのでその半径ｒ・輝度・色などの属性情報をテンプレートとして取得する。また、この際に、画像上における変化領域の重心位置をテンプレート位置として取得する。これらは、後述する記憶部１０２における追跡情報として記憶する。

なお、本実施の形態では、移動物体が変形してもその形をその都度変えなくても済む円形のテンプレートを用いているが、変化領域の外接矩形や変化領域そのものの形状などを適宜用いても良い。

テンプレート更新手段１０３５は、抽出手段１０３２または修正手段１０３３にて特定された位置にてテンプレートを生成し、記憶部１０２に追跡情報を追加する。具体的には、入力画像のフレームＮｏ・追跡できた移動物体番号・追跡したテンプレート番号・追跡評価値が最大となった位置であるテンプレート位置及びテンプレート属性を追加する。

なお、入力画像からテンプレート属性値を抽出する方法については、テンプレート生成手段１０３４の処理と同様であるので、ここでは説明を省略する。

本実施の形態では、テンプレートの更新は毎フレーム行うこととしているが、一定のフレーム間隔をあけて更新する方法、追跡評価値が減少したことを検出して更新する方法などを採用しても良い。

判定部１０４は、記憶部１０２の追跡情報に基づいて、滞留している移動物体の存在を判定する手段である。すなわち、追跡情報における同一移動物体が、所定フレーム数（例えば、１０００フレーム）にわたって連続または断続的に追跡されていれば、滞留している移動物体であると判定する。

出力部１０５は、図示していないモニタに接続されており、判定部１０４が滞留している移動物体が存在していると判定した場合に、画像とともに滞留移動物体の検出信号を出力する。なお、出力先は、モニタに限らず、通信回線を介して遠隔の監視装置に出力するようにしても良い。

制御部１００は、記憶部１０２に記憶されているプログラムや各種パラメータに基づいて、上述した各構成要素の処理を実行する。

次に、記憶部１０２について、図２を参照して説明する。図２は、記憶部１０２の記憶内容を示す図である。図２（ａ）に示すように記憶部１０２は、追跡情報１０２１、背景画像１０２２および重み情報１０２３を少なくとも記憶している。なお、図示していないが、その他にプログラム・各種パラメータ・ワークエリア・入力画像などが記憶される。

図２（ｂ）は、追跡情報１０２１の具体的な内容を示している。追跡情報１０２１は、入力部１０１から入力された１フレーム毎の入力画像について、入力画像にそれぞれ連番にて付与されるフレームＮｏ・移動物体番号・当該移動物体に対応するテンプレート番号・テンプレート位置及びテンプレート属性が記憶される。

追跡情報１０２１について、詳細に説明する。フレームＮｏとは、入力画像ごとに付与される番号であって、画像が入力された順番での番号が付与される。フレームＮｏにしたがって、画像の再生、移動物体の移動の時系列的な判断が可能となる。

移動物体番号とは、変化領域として現れている移動物体に対してユニークに付与される番号であって、移動物体が入力画像に初めて捕らえられたときに付与される。したがって、移動物体番号は、同一の移動物体が追跡されていれば、同一の番号となる。なお、入力画像に複数の移動物体があると、それぞれの移動物体に付与される。

テンプレート番号は、かかる移動物体に生成させたテンプレートに対してユニークに付与される番号である。また、テンプレート位置は、当該テンプレートが存在している画像上の位置情報であり、本実施の形態ではテンプレートの重心位置を採用している。本実施の形態では、一つの移動物体に単一のテンプレートを採用しているので、移動物体番号のみとしても良いが、複数種類のテンプレートを採用する場合は本実施の形態のように移動物体番号とは別にテンプレート番号を付与するようにするのが好適である。

テンプレート属性とは、当該テンプレートの形状である円形の半径ｒ・輝度・色・模様などの属性情報である。なお、テンプレート属性は、テンプレートマッチングの手法を用いるような特徴を示す情報であれば、これに限られるものではない。

背景画像１０２２とは、カメラ１５０の視野内に移動物体が存在しない状態にて撮影された画像である。この背景画像は、テンプレート生成手段１０３４にて、テンプレートを生成する際に、移動物体に起因する変化領域を抽出するために用いられる。

重み情報１０２３とは、追跡評価値が最大となった位置を、修正手段１０３３により修正するために用いるパラメータであって、テンプレートどうしが画面中で所定距離以内に近づいた場合に、テンプレートがお互いに離れるように修正するために用いる。

以下、移動物体追跡装置１０の動作について、図４乃至図６を参照しながら説明する。図４は、１フレームの画像が入力されたときの追跡部１０３の処理を示すフローチャートである。図５は、図４における修正処理動作を示すフローチャートである。図６は、追跡評価値の状態を示す模式図である。

図４において、先ず、移動物体追跡装置１０の電源が投入され、カメラ１５０から画像が入力部１０１から入力されると、記憶部１０２に入力画像として記憶する（ステップＳ１００）。なお、カメラ１５０は、所定の間隔で１フレームごとの画像を撮像し入力部１０１に入力する。

次に、記憶部１０２に記憶されている追跡情報１０２１を参照し、最新のフレームＮｏに対応しているテンプレート番号のテンプレート総てに対して、ステップＳ１０２とＳ１０４の処理を行う。

ステップＳ１０２では、予測手段１０３１により、処理対象であるテンプレート番号のテンプレートについて予測処理を行なう。すなわち、処理対象であるテンプレートの入力画像での移動先の予測位置を求める。なお、本実施の形態では、処理対象の決定をテンプレート番号の若い順にて決定することにしている。

ステップＳ１０４では、抽出手段１０３２により、予測位置周辺の所定領域をテンプレートのマッチング処理にて探索し、追跡評価値を算出するとともに、追跡評価値が最大となっている位置を特定する。追跡評価値及び追跡評価値が最大となっている位置を記憶部１０２に一時記憶しておく。

また、ステップＳ１０４では、抽出手段１０３２により、追跡評価値の最大値が所定の閾値を超えていないと、追跡対象である移動物体が入力画像上に存在しないと判定されるので、追跡評価値及び追跡評価値が最大となっている位置を記憶しない。

最新のフレームＮｏに対応しているテンプレート番号のテンプレート総てに対して、処理が終わると、ステップＳ１０６に進み、処理していない場合は次のテンプレートＮｏのテンプレートに対してＳ１０２とＳ１０４の処理を実行する。本実施の形態では、最新のフレームＮｏの追跡情報にあるテンプレート番号のテンプレートのみを対象としているが、これに限らず過去数フレームＮｏにおけるテンプレート番号を対象としても良い。これにより、１フレームだけで追跡できなかったが、数フレームを見れば追跡できるテンプレートを追跡できるようになる。

次に、ステップＳ１０６では、修正手段１０３３にてテンプレートＮｏごとに記憶部１０２に一時的に記憶した追跡評価値が最大となっている位置どうしの距離を総て算出する。

ステップＳ１０８では、修正手段１０３３にてステップＳ１０６において算出した距離が近づき過ぎていると判定される（所定値以下の距離にある）テンプレートＮｏが存在するか判定する。また、存在する場合は、修正テンプレートの組としてテンプレートＮｏを抽出しておく。なお、修正テンプレートの組には、２つのテンプレートＮｏに限らず、３以上のテンプレートＮｏが組になることもある。

ステップＳ１０８にて近づき過ぎているテンプレートＮｏが存在していなければ、ステップＳ１１２に進み、存在していればＳ１１０の修正処理に進む。

修正処理について、図５を参照して説明する。ステップＳ１１００では、修正手段１０３３により、各修正テンプレートについて、抽出手段１０３２により求めた追跡評価値を用い、その値が低い順にソーティングを行う。ソーティングを行うのは、追跡評価値が低いほど、テンプレートと入力画像とが類似していないことを意味しており、追跡に成功している可能性が低く、優先的に修正処理を行うべきと考えられるからである。

ステップＳ１１０１では、修正手段１０３３により、追跡評価値の低い方から順次テンプレートＮｏを選択して修正処理の対象とする。まず、最も追跡評価値が低いテンプレートＮｏを選択する。

ステップＳ１１０２では、修正手段１０３３により、記憶部１０２の重み情報１０２３を読出す。すなわち、本実施の形態では図３（ａ）に示すものを用いることとしているので、数式５と、パラメータＲを読出す。また、当該修正テンプレートと組になっている修正テンプレート（以下、「基準テンプレート」と呼ぶ）の半径ｒを記憶部１０２の追跡情報１０２１におけるテンプレート属性から読み出す。更に、ステップＳ１０４にて算出した基準テンプレートの追跡評価値が最大となっている位置を読み出す。

ステップＳ１１０３では、修正手段１０３３により、数式５に半径ｒと基準テンプレートの追跡評価値が最大となっている位置からの距離を代入して求めた重みを、ステップＳ１０４にて求めた修正テンプレートの追跡評価値に乗算して、追跡評価値を再算定する。

そして、修正手段１０３３は、乗算後の追跡評価値を調べ、その値が最大になる位置を修正後の修正テンプレートの位置と決定する。なお、追跡評価値の最大値が所定の閾値を超えていないと、修正テンプレートは追跡対象である移動物体が入力画像上に存在しないとの判定とする。

修正手段１０３３は、記憶部１０２に一時記憶させていた修正テンプレートの位置、および、追跡評価値を修正処理後の位置と重みを乗算した後の追跡評価値にて更新する。なお、修正により追跡対象である移動物体が入力画像上に存在しないと判定した場合は、一時記憶していた位置と追跡評価値を消去する。

修正処理における、修正テンプレートの位置の修正の様子を、移動物体が人であり、２人の場合について、図６を参照して説明する。

図６は、入力画像に人５００と人５０１が写っている場合を示しており、左欄には人５０１と人５００が撮影された様子と、人５０１のテンプレート５０５の追跡評価値が最大となった位置の状況とを重ね合わせて示している。右欄には、縦軸に追跡評価値、横軸に人５０１の重心位置５０２と人５００の重心位置５０３を結ぶ線上での位置（距離）をとり、左欄の状況における人５０１のテンプレート５０５の追跡評価値の分布状況を二次元的に示している。

図６（ａ）は、ステップＳ１０４において、抽出手段１０３２が求めた追跡評価値を示している。同図を参照すると、テンプレート５０５の追跡評価値が最大となる位置は、本来、人５０１に重なるようにその位置が決定されるべきであるが、人５０１の存在位置である符号５０６に示す追跡評価値のピーク位置よりも、人５００の存在位置である符号５０７の追跡評価値の方が大きいため、テンプレート５０５の追跡評価値が最大となる位置として符号５０７の位置に特定されてしまう。つまり、本来人５０１に対応付くべきテンプレート５０５が、人５００に対応付いてしまっている。なお、本図では記載していないが、人５００のテンプレート（基準テンプレートに相当する。）の追跡評価値を調べると、正しい位置である人５００の位置において高い値となることが考えられる。その場合、当該テンプレートの位置には、人５００がいると判断され、人物５０１の位置に決定されるべきテンプレート５０５も、人５００の位置に決定されるのは望ましくない。この場合、テンプレート５０５と人５００のテンプレートの追跡評価値が最大となる位置が近づき過ぎることになる。

そこで、修正処理が行なわれるのである。修正処理後の追跡評価値の分布状況を図６（ｂ）に示している。

図６（ｂ）に示すように、追跡評価値は、重みを乗算した結果、符号５０３の位置付近において、小さくなり、その一方で符号５０２の位置付近において、符号５０８のように追跡評価値が最大値をとっている。即ち、修正処理により、テンプレート５０５は、正しく人５０１に重なるようにその位置が決定することができる。

図５に戻って、ステップＳ１１０４では、追跡評価値が次に低いテンプレートを修正テンプレートとして選択しステップＳ１１０２乃至Ｓ１１０４の処理を、修正テンプレートが無くなるまで繰り返す。

ステップＳ１１００乃至Ｓ１１０４の処理を所定回数にわたって繰り返す。ここで、所定回数は、重み情報と関連する回数であって、一回の修正処理によって基準テンプレートと修正テンプレートとの距離が離れる程度が小さいほど多くの回数を繰り返す。これは、一つのテンプレートが、修正テンプレートと基準テンプレートの両方の対象となり、ステップＳ１１００乃至Ｓ１１０４の処理が実行される。このため、１回の修正による修正量が大き過ぎる重み情報を採用すると、テンプレートどうしが離れすぎてしまう。また、１回の修正による修正量が小さすぎると、誤追跡を十分に是正できない。したがって、１回の修正による修正量を少なくしつつ、修正回数をその分増加させることによって、適正な修正が可能となり追跡精度が向上するのである。

修正処理が終了すると、図４のステップＳ１１２に進む。ステップＳ１１２では、テンプレート更新手段１０３５により、記憶部１０２に追跡評価値の最大となった位置が記憶されているテンプレートＮｏのテンプレートが追跡成功したものであるので、当該位置における入力画像からテンプレート属性を抽出し、追跡評価値が最大となった位置をテンプレート位置とし、フレームＮｏおよび移動体番号と対応つけて新たな追跡情報として追加記憶する。

次に、ステップＳ１１４では、テンプレート生成手段１０３４により、入力画像に初めて写った移動物体に対して、テンプレートの生成処理を行う。つまり、入力画像に初めて現れた移動物体は、入力画像にて抽出された変化領域の中で追跡成功したテンプレートに対応する変化領域以外のはずである。そこで、追跡成功した変化領域以外についてテンプレートを生成し、記憶部１０２の追跡情報に追加記憶させる。

具体的には、テンプレート生成手段１０３４は、入力画像と背景画像１０２２との差分を求めて２値化し、既に追跡されている移動物体以外の位置にある変化領域の総てに対しテンプレートを生成する。

本発明に好適な実施の形態は、これまでに説明してきたものに限られるものではない。以下に述べるように、他の方法を採用することもできる。

テンプレート生成手段１０３４において、背景差分法以外にも、追跡対象である移動物体の特徴を事前に学習し、その特徴に基づき入力画像から部分画像を切り出して、テンプレートを生成する方法でも良い。その場合には、事前学習された移動物体の特徴量を記憶部１０２に記憶しておく。

ステップＳ１０４において、抽出手段１０３２が行う処理として、平均シフト法用いることもできる。
これは、追跡評価値をテンプレートの確率密度関数として捉え、確率密度関数の勾配を用いた山登り法によって、予測点から最も近い追跡評価値の極大点を求める方法である。この方法によれば、前記テンプレートマッチングに比べて少ない演算量で高速に追跡評価値の極大点を得られることが知られている。また、この手法では類似度合いの尺度として重み付きの色ヒストグラムを用いることが一般的であるが、前記エッジ強度・方向のヒストグラムを用いても良い。

本発明に係る移動物体追跡装置の機能ブロック図 本発明に係る記憶部１０２の記憶内容の模式図 本発明に係る移動物体記憶装置の重み情報の例 １フレームの画像が入力されたときの追跡部１０３の処理フロー 追跡部１０３の修正処理フロー 修正処理の状況を示す模式図

符号の説明

１０・・・・移動物体追跡装置
１００・・・制御部
１０１・・・入力部
１０２・・・記憶部
１０３・・・追跡部
１０３１・・予測手段
１０３２・・抽出手段
１０３３・・修正手段
１０３４・・テンプレート生成手段
１０３５・・テンプレート更新手段
１０４・・・判定部
１０５・・・出力部
１５０・・・カメラ

Claims (5)

1. 順次入力される入力画像から、同一移動物体をテンプレートを用いて追跡する移動物体追跡装置であって、
   前記入力画像から複数の移動物体についてそれぞれテンプレートを生成するテンプレート生成手段と、
   前記移動物体と前記テンプレートを関連付けて記憶した記憶手段と、
   前記記憶手段に記憶している前記テンプレートと前記入力画像との類似の程度を調べて評価値を算出し、該評価値が所定閾値より大きく且つ最大となるテンプレート候補の位置を抽出する抽出手段と、
   前記抽出手段にて抽出された、一のテンプレート候補の抽出位置とその他のテンプレート候補の抽出位置との距離が所定距離以下の場合に、前記一のテンプレート候補の抽出位置を修正する修正手段と、
   前記テンプレート候補の抽出位置にて生成したテンプレートをもって、前記記憶部に記憶されているテンプレートを更新する更新手段と、
   を備えたことを特徴とする移動物体追跡装置。
   
2. 前記修正手段は、前記一のテンプレート候補とその他のテンプレート候補との抽出位置の距離が、前記所定の距離以下の範囲では、評価値が小さくなるように修正し、前記抽出手段に前記一のテンプレート候補の抽出位置を再抽出させる請求項１に記載の移動物体追跡装置。
   
3. 前記所定距離は、前記一のテンプレートの抽出位置がその他のテンプレートの領域に含まれない程度の距離である請求項１または請求項２の何れか１項に記載の移動物体追跡装置。
   
4. 前記修正手段は、前記一のテンプレート候補とその他のテンプレート候補との抽出位置の距離が所定距離以上になるか、所定回数にわたって修正を繰り返した場合に修正を終了する請求項１乃至請求項３の何れか１項に記載の移動物体追跡装置。
   
5. 前記修正手段は、前記評価値が低いテンプレート候補から順に一のテンプレート候補の抽出位置とする請求項１乃至請求項４の何れか１項に記載の移動体追跡装置。
   
   

Images