JP6573744B2 - 物体追跡装置及び物体追跡方法 - Google Patents

Description

この発明は、互いに異なる映像フレーム内に存在している物体の間の対応付けを行う物体追跡装置及び物体追跡方法に関するものである。

近年、時系列映像を構成している映像フレーム毎に、当該映像フレーム内に存在している１つ以上の物体を検出し、複数の映像フレーム内に存在している物体の間の対応付けを行うことで、物体の追跡を行う物体追跡装置が開発されている。
以下の特許文献１に開示されている物体追跡装置は、時系列映像を撮影する撮影機器、あるいは、時系列映像の撮影環境が変化しても、物体の追跡精度の劣化を防止するために、物体の追跡パラメータを自動的に調整する機能を備えている。
以下の特許文献１では、撮影機器の変化として、時系列映像の解像度の変化と、時系列映像のフレームレートの変化とが想定されている。
また、以下の特許文献１では、撮影環境の変化として、撮影機器の設置角度の変化と、撮影機器と監視対象の物体との相対的な位置関係の変化とが想定されている。

特開２０１２−５９２２４号公報

従来の物体追跡装置は以上のように構成されているので、時系列映像を撮影する撮影機器、あるいは、時系列映像の撮影環境が変化しても、物体の追跡精度の劣化を防止することができる。しかし、複数の映像フレーム内に存在している物体の間の対応付けを行う際、映像フレーム内に存在している全ての物体を対応付けの対象に含めている。このため、例えば、物体の監視エリアが混雑している状況など、高精度に物体を検出することが困難な状況であっても、物体検出処理で検出された物体については、対応付けの対象に含められる。したがって、誤って検出された物体が対応付けの対象に含められる場合があり、このような場合には、物体の追跡精度が劣化してしまうという課題があった。

この発明は上記のような課題を解決するためになされたもので、物体の監視エリアが混雑している状況でも、物体の追跡精度の劣化を防止することができる物体追跡装置及び物体追跡方法を得ることを目的とする。

この発明に係る物体追跡装置は、時系列映像を構成している映像フレーム毎に、当該映像フレーム内に存在している１つ以上の物体を検出する物体検出部と、映像フレーム毎に、物体検出部により検出された各々の物体が存在している領域の混雑度をそれぞれ推定する混雑度推定部と、映像フレーム毎に、混雑度推定部による混雑度の推定結果を参照して、物体検出部により検出された１つ以上の物体の中から、混雑度が第１の閾値以下の領域に存在している物体をそれぞれ選定する物体選定部と、映像フレーム毎に、物体選定部により選定された各々の物体の特徴量をそれぞれ算出する特徴量算出部とを設け、物体追跡部が、特徴量算出部により算出された各々の物体の特徴量に従って、物体選定部により選定された互いに異なる映像フレーム内に存在している物体の間の対応付けを行うようにしたものである。

この発明によれば、映像フレーム毎に、物体検出部により検出された各々の物体が存在している領域の混雑度をそれぞれ推定する混雑度推定部を設け、物体選定部が、映像フレーム毎に、混雑度推定部による混雑度の推定結果を参照して、物体検出部により検出された１つ以上の物体の中から、混雑度が第１の閾値以下の領域に存在している物体をそれぞれ選定するように構成したので、物体の監視エリアが混雑している状況でも、物体の追跡精度の劣化を防止することができる効果がある。

この発明の実施の形態１による物体追跡装置を示す構成図である。 この発明の実施の形態１による物体追跡装置を示すハードウェア構成図である。 図１の物体追跡装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 図１の物体追跡装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である物体追跡方法を示すフローチャートである。 物体検出部１１による人物の検出結果及び信頼度の一例を示す説明図である。 映像フレーム内の混雑度がヒートマップ化されている例を示す説明図である。 混雑度に基づく物体選定部１３の選定結果を示す説明図である。 信頼度に基づく物体選定部１３の選定結果を示す説明図である。 時系列映像の解像度と時系列映像のフレームレートとの組み合わせに対応する特徴量の重み付け情報の一例を示す説明図である。 この発明の実施の形態２による物体追跡装置を示す構成図である。 この発明の実施の形態２による物体追跡装置を示すハードウェア構成図である。 この発明の実施の形態２による物体追跡装置の特徴量算出部４０における処理内容を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、この発明の実施の形態１による物体追跡装置を示す構成図であり、図２は、この発明の実施の形態１による物体追跡装置を示すハードウェア構成図である。
図１及び図２において、カメラ１は、監視エリアを撮影する撮影機器であり、複数の映像フレームから構成されている時系列映像を撮影して、時系列映像を物体追跡装置に出力する。
また、カメラ１は、時系列映像の解像度及び時系列映像のフレームレートを示す映像情報を物体追跡装置に出力する。

複数の映像フレームから構成されている時系列映像としては、動画などの映像が考えられるが、動画などの映像に限るものではなく、例えば、複数の静止画が時系列に並んでいる映像であってもよい。
ここでは、撮影機器がカメラ１である例を示しているが、撮影機器は、カメラ１に限るものではなく、例えば、デジタルビデオレコーダなどであってもよい。
また、複数の映像フレームから構成されている時系列映像が事前に記録されている記録媒体が、カメラ１の代わりに物体追跡装置に接続され、記録媒体に記録されている時系列映像が物体追跡装置に取り込まれるものであってもよい。

物体検出部１１は、例えば図２に示す物体検出回路２１で実現される。
物体検出部１１は、カメラ１から出力された時系列映像及び映像情報を取得する処理を実施する。
また、物体検出部１１は、取得した時系列映像を構成している映像フレーム毎に、当該映像フレーム内に存在している１つ以上の物体を検出する処理を実施する。
また、物体検出部１１は、物体の検出結果の確からしさを示す信頼度をそれぞれ算出する処理を実施する。

混雑度推定部１２は、例えば図２に示す混雑度推定回路２２で実現される。
混雑度推定部１２は、映像フレーム毎に、当該映像フレームの映像を解析することで、物体検出部１１により検出された各々の物体が存在している領域の混雑度をそれぞれ推定する処理を実施する。
物体選定部１３は、例えば図２に示す物体選定回路２３で実現される。
物体選定部１３は、映像フレーム毎に、混雑度推定部１２による混雑度の推定結果を参照して、物体検出部１１により検出された１つ以上の物体の中から、混雑度が基準混雑度（第１の閾値）以下の領域に存在している物体をそれぞれ選定する処理を実施する。
ただし、物体選定部１３は、混雑度が基準混雑度よりも大きい領域に存在している物体であっても、物体検出部１１により算出された検出結果の信頼度が基準信頼度（第２の閾値）以上の物体については選定する。

重み付け情報記憶部１４は、例えば図２に示す重み付け情報記憶回路２４で実現される。
重み付け情報記憶部１４は、時系列映像の解像度と時系列映像のフレームレートとの組み合わせ毎に、複数の特徴量の重み付けを示す重み付け情報を記憶している。
特徴量算出部１５は、例えば図２に示す特徴量算出回路２５で実現される。
特徴量算出部１５は、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせの中で、カメラ１から出力された映像情報が示す時系列映像の解像度及びフレームレートの組み合わせと一致している組み合わせを特定する処理を実施する。
また、特徴量算出部１５は、重み付け情報記憶部１４に記憶されている複数の重み付け情報の中から、特定した組み合わせに対応する重み付け情報を取得する。
特徴量算出部１５は、映像フレーム毎に、取得した重み付け情報に従って、物体選定部１３により選定された各々の物体の特徴量をそれぞれ算出する処理を実施する。

物体追跡部１６は、例えば図２に示す物体追跡回路２６で実現される。
物体追跡部１６は、特徴量算出部１５により算出された各々の物体の特徴量に従って、物体選定部１３により選定された互いに異なる映像フレーム内に存在している物体の間の対応付けを行う。

図１では、物体追跡装置の構成要素である物体検出部１１、混雑度推定部１２、物体選定部１３、重み付け情報記憶部１４、特徴量算出部１５及び物体追跡部１６のそれぞれが、図２に示すような専用のハードウェアで実現されるものを想定している。即ち、物体検出回路２１、混雑度推定回路２２、物体選定回路２３、重み付け情報記憶回路２４、特徴量算出回路２５及び物体追跡回路２６で実現されるものを想定している。
ここで、重み付け情報記憶回路２４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。
また、物体検出回路２１、混雑度推定回路２２、物体選定回路２３、特徴量算出回路２５及び物体追跡回路２６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

ただし、物体追跡装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、物体追跡装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などが該当する。

図３は、図１の物体追跡装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
図３において、映像入力器３１は、カメラ１に対するインタフェース機器であり、カメラ１から出力された時系列映像を取得する。
映像情報入力器３２は、カメラ１に対するインタフェース機器であり、カメラ１から出力された映像情報を取得する。
プロセッサ３３は、メモリ３４に格納されているプログラムを実行する。
メモリ３４は、プロセッサ３３が実行するプログラム及び重み付け情報などを格納している。
結果出力器３５は、例えば表示装置等に対するインタフェース機器であり、物体追跡装置の追跡結果などを出力する。

図１の物体追跡装置がソフトウェア又はファームウェアなどで実現される場合、重み付け情報記憶部１４をコンピュータのメモリ３４上に構成するとともに、物体検出部１１、混雑度推定部１２、物体選定部１３、特徴量算出部１５及び物体追跡部１６の処理手順をコンピュータに実行させるためのプログラムをメモリ３４に格納し、コンピュータのプロセッサ３３がメモリ３４に格納されているプログラムを実行するようにすればよい。
図４は、図１の物体追跡装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である物体追跡方法を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、物体の監視エリア内に複数の人物が存在しており、物体の追跡対象が監視エリア内に存在している複数の人物である例を説明する。
ただし、物体の追跡対象は、監視エリア内に存在している物体であればよく、人物に限るものではない。このため、例えば、車両、動物又はロボットなどの物体が追跡対象であってもよい。

監視エリアを撮影するカメラ１は、複数の映像フレームから構成されている時系列映像を撮影して、時系列映像を物体追跡装置に出力する。
また、カメラ１は、時系列映像の解像度及び時系列映像のフレームレートを示す映像情報を物体追跡装置に出力する。

物体検出部１１は、カメラ１から出力された時系列映像を取得すると、時系列映像を構成している映像フレーム毎に、当該映像フレーム内に存在している一人以上の人物を検出する（図４のステップＳＴ１）。
映像フレーム内に存在している人物（物体）の検出処理自体は、公知の技術であるため詳細な説明を省略するが、例えば、以下の検出方法を用いることができる。
例えば、映像フレームにおける色の勾配方向及び輝度の勾配方向を特徴量（ＡＣＦ：Ａｇｇｒｅｇａｔｅｄ Ｃｈａｎｎｅｌ Ｆｅａｔｕｒｅｓ）として抽出し、ＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ）分類器が、特徴量であるＡＣＦを用いて、人物を検出する方法を用いることができる。この検出方法は、以下の非特許文献１に開示されている。
［非特許文献１］
“Ｆａｓｔ Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄｓ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ”, Ｉｎ ＰＡＭＩ, ２０１４.

また、輝度の勾配を特徴量（ＨＯＧ：Ｈｉｓｔｏｇｒａｍｓ Ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）として抽出し、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）識別器が、特徴量であるＳＶＭを用いて、人物を検出する方法を用いることができる。この検出方法は、例えば、以下の非特許文献２に開示されている。
［非特許文献２］
“Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ,”Ｉｎ ＣＶＰＲ, ２００５
また、深層学習を用いて、人物を検出する方法を用いることができる。この検出方法は、例えば、以下の非特許文献３に開示されている。
［非特許文献３］
“Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ”,Ｉｎ ＮＩＰＳ, ２０１３

物体検出部１１は、映像フレーム内に存在している一人以上の人物を検出すると、人物の検出結果を混雑度推定部１２及び物体選定部１３に出力する。
物体検出部１１は、人物の検出結果として、映像フレーム内で人物が存在している領域の座標を示す座標情報、あるいは、映像フレーム内に存在している人物を包含する矩形領域の座標を示す座標情報を出力する。
人物が存在している領域の座標としては、例えば、人物の形状を表すエッジの座標などが考えられる。
この実施の形態１では、人物を包含する矩形領域の座標についても、人物が存在している領域の座標として扱うものとする。
また、物体検出部１１は、人物の検出結果の確からしさを示す信頼度をそれぞれ算出し、算出した信頼度を物体選定部１３に出力する（図４のステップＳＴ２）。
検出結果の確からしさを示す信頼度は、物体検出部１１により検出された物体が、人物である確率を示すものであり、人物である可能性が高いほど、大きな値となる。
信頼度の算出方法は、公知の技術であるため詳細な説明を省略する。信頼度の算出方法は、例えば、以下の特許文献２に開示されている。
［特許文献２］特開２０１２−１３３４４５号公報

ここで、図５は、物体検出部１１による人物の検出結果及び信頼度の一例を示す説明図である。
図５は、１つの映像フレーム内に人物が６人に存在している例を示している。
図５には、物体検出部１１により検出された人物を包含する矩形領域が示されており、各々の矩形領域の周囲には、当該矩形領域に包含されている人物の検出結果の信頼度が示されている。
図５では、物体検出部１１により検出された６人の人物を識別するための記号として、人物を包含する矩形領域内にＡ，Ｂ，Ｃ，Ｄ，Ｅ及びＦの記号を付している。

混雑度推定部１２は、カメラ１から出力された時系列映像及び物体検出部１１の検出結果を取得する。
混雑度推定部１２は、時系列映像を構成している映像フレーム毎に、当該映像フレームの映像を解析することで、物体検出部１１により検出された各々の人物が存在している領域の混雑度をそれぞれ推定する（図４のステップＳＴ３）。
領域の混雑度を推定する方法は、公知の技術であるため詳細な説明を省略する。混雑度の推定方法は、例えば、以下の非特許文献４に開示されている。
［非特許文献４］
“Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｃｒｏｗｄ Ｄｅｎｓｉｔｙ ｕｓｉｎｇ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎg”Ｉｎ ＩＥＥ Ｃｏｌｌｏｑｕｉｕｍ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｓｅｃｕｒｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ，２００２．

図６は、映像フレーム内の混雑度がヒートマップ化されている例を示す説明図である。
図６では、混雑度として、１平方メートル当りの人物の数（人数／ｍ^２）を示している。

物体選定部１３は、映像フレーム毎に、混雑度推定部１２による混雑度の推定結果を参照して、物体検出部１１により検出された一人以上の人物の中から、混雑度が基準混雑度以下の領域に存在している人物を選定する。
ただし、物体選定部１３は、混雑度が基準混雑度よりも大きい領域に存在している人物であっても、物体検出部１１により算出された検出結果の信頼度が基準信頼度以上の人物については選定する。
以下、物体選定部１３による人物の選定処理を具体的に説明する。

物体選定部１３は、映像フレーム毎に、混雑度推定部１２による混雑度の推定結果を参照して、物体検出部１１により検出された各々の人物が存在している領域の混雑度を把握する。
次に、物体選定部１３は、物体検出部１１により検出された一人以上の人物の中に、未だ追跡対象の人物であるか否かの判定処理が済んでいない人物が残っているか否かを判定する（図４のステップＳＴ４）。判定処理は、ステップＳＴ５の処理又はステップＳＴ７の処理である。
物体選定部１３は、既に、追跡対象の人物であるか否かの判定処理が済んでいない人物が残っていなければ（図４のステップＳＴ４：ＮＯの場合）、物体選定部１３による人物の選定処理を終了して、ステップＳＴ８の処理に移行する。

物体選定部１３は、未だ追跡対象の人物であるか否かの判定処理が済んでいない人物が残っていれば（図４のステップＳＴ４：ＹＥＳの場合）、判定処理が済んでいない人物が存在している領域の混雑度と、事前に設定されている基準混雑度とを比較して、当該人物が存在している領域の混雑度が基準混雑度以下であるか否かを判定する（図４のステップＳＴ５）。
物体選定部１３は、人物が存在している領域の混雑度が基準混雑度以下であれば（図４のステップＳＴ５：ＹＥＳの場合）、当該人物を追跡対象の人物として選定する（図４のステップＳＴ６）。

図７は、混雑度に基づく物体選定部１３の選定結果を示す説明図である。
図７の例では、混雑度が基準混雑度よりも大きい領域を混雑領域としており、人物Ｃ、人物Ｄ、人物Ｅ及び人物Ｆが混雑領域に存在している。
このため、図７の例では、人物Ａ及び人物Ｂが、追跡対象の人物として選定される。

物体選定部１３は、人物が存在している領域の混雑度が基準混雑度よりも大きければ（図４のステップＳＴ５：ＮＯの場合）、物体検出部１１により算出された当該人物の検出結果についての信頼度と、事前に設定されている基準信頼度とを比較して、当該人物の検出結果についての信頼度が基準信頼度以上であるか否かを判定する（図４のステップＳＴ７）。
物体選定部１３は、当該人物の検出結果についての信頼度が基準信頼度以上であれば（図４のステップＳＴ７：ＹＥＳの場合）、当該人物を追跡対象の人物として選定する（図４のステップＳＴ６）。
物体選定部１３は、当該人物の検出結果についての信頼度が基準信頼度よりも小さければ（図４のステップＳＴ７：ＮＯの場合）、当該人物を追跡対象の人物から除外する。
物体検出部１１により検出された人物の全てについて、追跡対象の人物であるか否かの判定処理が終了するまで、ステップＳＴ４〜ＳＴ７の処理が繰り返される。

図８は、信頼度に基づく物体選定部１３の選定結果を示す説明図である。
図８では、基準信頼度が５０である例を示している。
このため、図８の例では、人物Ｃ、人物Ｄ、人物Ｅ及び人物Ｆが混雑領域に存在しているが、人物Ｅ及び人物Ｆの検出結果についての信頼度が基準信頼度以上であるために、人物Ｅ及び人物Ｆが、追跡対象の人物として選定されている。
一方、人物Ｃ及び人物Ｄの検出結果についての信頼度が基準信頼度よりも小さいために、人物Ｃ及び人物Ｄは、追跡対象の人物から除外されている。
なお、人物Ｂの検出結果についての信頼度は、基準信頼度よりも小さいが、既に、混雑度に基づいて、追跡対象の人物として選定されている。
このため、最終的には、人物Ａ、人物Ｂ、人物Ｅ及び人物Ｆが追跡対象の人物として選定されている。

重み付け情報記憶部１４には、時系列映像の解像度と時系列映像のフレームレートとの組み合わせ毎に、複数の特徴量の重み付けを示す重み付け情報が記憶されている。
図９は、時系列映像の解像度と時系列映像のフレームレートとの組み合わせに対応する特徴量の重み付け情報の一例を示す説明図である。
図９では、特徴量が「色」、「動き」及び「エッジ」である例を示している。色は物体である人物の色、動きは物体である人物の動き、エッジは物体である人物の形状を表すものである。
図９では、時系列映像の解像度が〇〇〇［ｐｐｉ］又は△△△［ｐｐｉ］、フレームレートが□□□［ｆｐｓ］又は☆☆☆［ｆｐｓ］である例を示している。また、解像度〇〇〇［ｐｐｉ］が解像度△△△［ｐｐｉ］よりも高く、フレームレート□□□［ｆｐｓ］がフレームレート☆☆☆［ｆｐｓ］よりも高い例を示している。
例えば、時系列映像の解像度が〇〇〇［ｐｐｉ］で、時系列映像のフレームレートが□□□［ｆｐｓ］である場合の組み合わせは、「色」、「動き」及び「エッジ」に対する重み付けが、色：動き：エッジ＝５：３：３であることを示している。
また、時系列映像の解像度が△△△［ｐｐｉ］で、時系列映像のフレームレートが☆☆☆□［ｆｐｓ］である場合の組み合わせは、「色」、「動き」及び「エッジ」に対する重み付けが、色：動き：エッジ＝９：３：２であることを示している。

ここでは、時系列映像の解像度及び時系列映像のフレームレートに対応する特徴量の重み付け情報が重み付け情報記憶部１４に記憶されている例を示しているが、これに限るものではない。
例えば、カメラ１の設置角度及び追跡対象の物体の種類に対応する特徴量の重み付け情報が重み付け情報記憶部１４に記憶されているものであってもよい。
また、カメラ１の設置角度及び時系列映像内の混雑度合に対応する特徴量の重み付け情報が重み付け情報記憶部１４に記憶されているものであってもよい。

特徴量算出部１５は、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせの中で、カメラ１から出力された映像情報が示す時系列映像の解像度及びフレームレートの組み合わせと一致している組み合わせを特定する。
次に、特徴量算出部１５は、重み付け情報記憶部１４に記憶されている複数の重み付け情報の中から、特定した組み合わせに対応する重み付け情報を取得する。
次に、特徴量算出部１５は、映像フレーム毎に、取得した重み付け情報に従って、物体選定部１３により選定された各々の人物の特徴量Ｐをそれぞれ算出する（図４のステップＳＴ８）。

以下、各々の人物の特徴量Ｐの算出処理を簡単に説明する。
特徴量算出部１５は、例えば、人物の特徴量Ｐの要素として、人物の色を示す特徴量Ｐ_１、人物の動きを示す特徴量Ｐ_２及び人物のエッジを示す特徴量Ｐ_３をそれぞれ算出する。
特徴量Ｐ_１，Ｐ_２及Ｐ_３の算出処理自体は、公知の技術であるため詳細な説明を省略する。
特徴量算出部１５は、人物の色を示す特徴量Ｐ_１、人物の動きを示す特徴量Ｐ_２及び人物のエッジを示す特徴量Ｐ_３をそれぞれ算出すると、重み付け情報記憶部１４から取得した重み付け情報に従って、特徴量Ｐ_１，Ｐ_２及Ｐ_３の重み付け加算を行う。
特徴量算出部１５は、特徴量Ｐ_１，Ｐ_２及Ｐ_３の重み付け加算結果を最終的な特徴量Ｐとして物体追跡部１６に出力する。
例えば、時系列映像の解像度が△△△［ｐｐｉ］で、時系列映像のフレームレートが□□□［ｆｐｓ］である場合、特徴量算出部１５は、「色」、「動き」及び「エッジ」に対する重み付け情報として、色：動き：エッジ＝５：４：３を取得する。
この場合、特徴量算出部１５は、この重み付け情報を用いて、例えば、以下の式（１）に示すように、特徴量Ｐを算出する。

物体追跡部１６は、特徴量算出部１５から物体選定部１３により選定された各々の人物の特徴量Ｐを受けると、各々の人物の特徴量Ｐに従って、物体選定部１３により選定された互いに異なる映像フレーム内に存在している人物の間の対応付けを行う（図４のステップＳＴ９）。
物体追跡部１６は、互いに異なる映像フレーム内に存在している人物の間の対応付け結果を人物の追跡結果として出力する。
互いに異なる映像フレーム内に存在している人物の間の対応付け方法としては、例えば、以下の非特許文献５に開示されている方法を用いることができる。
［非特許文献５］
“Ｇｌｏｂａｌｌｙ−Ｏｐｔｉｍａｌ Ｇｒｅｅｄｙ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｔｒａｃｋｉｎｇ ａ Ｖａｒｉａｂｌｅ Ｎｕｍｂｅｒ ｏｆ Ｏｂｊｅｃｔｓ” Ｉｎ ＣＶＰＲ，２０１１．

人物の間の対応付けは、特徴量が近い人物同士を対応付けるものであり、以下、簡単に人物の間の対応付け例を説明する。
例えば、映像フレーム（１）に存在している人物が、人物Ａ、人物Ｂ、人物Ｅ及び人物Ｆであり、映像フレーム（２）に存在している人物が、人物Ａ’、人物Ｂ’、人物Ｅ’及び人物Ｆ’であるとする。
このとき、映像フレーム（１）に存在している人物Ａの特徴量がＰ_Ａ＝３０、人物Ｂの特徴量がＰ_Ｂ＝４０、人物Ｅの特徴量がＰ_Ｅ＝５０、人物Ｆの特徴量がＰ_Ｆ＝６０であるとする。
また、映像フレーム（２）に存在している人物Ａ’の特徴量がＰ_Ａ’＝３２、人物Ｂ’の特徴量がＰ_Ｂ’＝４２、人物Ｅ’の特徴量がＰ_Ｅ’＝４８、人物Ｆ’の特徴量がＰ_Ｆ’＝６７であるとする。
さらに、対応付けが可能な２つの映像フレーム間での特徴量の最大差分が３であるとする。

この場合、映像フレーム（１）に存在している人物Ａの特徴量Ｐ_Ａ＝３０は、映像フレーム（２）に存在している４人の人物の特徴量の中で、人物Ａ’の特徴量Ｐ_Ａ’＝３２が最も近い。また、人物Ａの特徴量Ｐ_Ａ＝３０と、人物Ａ’の特徴量Ｐ_Ａ’＝３２との差分が２であり、この差分が特徴量の最大差分である３よりも小さい。このため、映像フレーム（１）に存在している人物Ａと映像フレーム（２）に存在している人物Ａ’とが対応付けられる。

映像フレーム（１）に存在している人物Ｂの特徴量Ｐ_Ｂ＝４０は、映像フレーム（２）に存在している４人の人物の特徴量の中で、人物Ｂ’の特徴量Ｐ_Ｂ’＝４２が最も近い。また、人物Ｂの特徴量Ｐ_Ｂ＝４０と、人物Ｂ’の特徴量Ｐ_Ｂ’＝４２との差分が２であり、この差分が特徴量の最大差分である３よりも小さい。このため、映像フレーム（１）に存在している人物Ｂと映像フレーム（２）に存在している人物Ｂ’とが対応付けられる。

映像フレーム（１）に存在している人物Ｅの特徴量Ｐ_Ｅ＝５０は、映像フレーム（２）に存在している４人の人物の特徴量の中で、人物Ｅ’の特徴量Ｐ_Ｅ’＝４８が最も近い。また、人物Ｅの特徴量Ｐ_Ｅ＝５０と、人物Ｅ’の特徴量Ｐ_Ｅ’＝４８との差分が２であり、この差分が特徴量の最大差分である３よりも小さい。このため、映像フレーム（１）に存在している人物Ｅと映像フレーム（２）に存在している人物Ｅ’とが対応付けられる。

映像フレーム（１）に存在している人物Ｆの特徴量Ｐ_Ｆ＝６０は、映像フレーム（２）に存在している４人の人物の特徴量の中で、人物Ｆ’の特徴量Ｐ_Ｆ’＝６７が最も近い。
しかしながら、人物Ｆの特徴量Ｐ_Ｆ＝６０と、人物Ｆ’の特徴量Ｐ_Ｆ’＝６７との差分が７であり、この差分が特徴量の最大差分である３以上である。このため、映像フレーム（１）に存在している人物Ｆは、映像フレーム（２）に存在しているどの人物とも対応付けられない。
また、映像フレーム（２）に存在している人物Ｆ’についても、映像フレーム（１）に存在しているどの人物とも対応付けられない。

ここでは、映像フレーム（１）に存在している人物Ａの特徴量がＰ_Ａ＝３０である例を示しているが、例えば、映像フレーム（１）に存在している人物Ａの特徴量がＰ_Ａ＝３７である場合、映像フレーム（２）に存在している４人の人物の特徴量の中で、人物Ａ’の特徴量Ｐ_Ａ’＝３２と人物Ｂ’の特徴量Ｐ_Ｂ’＝４２との２つが最も近い。
しかし、人物Ａの特徴量Ｐ_Ａ＝３７と、人物Ａ’の特徴量Ｐ_Ａ’＝３２との差分が５であり、この差分が特徴量の最大差分である３以上である。また、人物Ａの特徴量Ｐ_Ａ＝３７と、人物Ｂ’の特徴量Ｐ_Ｂ’＝４２との差分が５であり、この差分が特徴量の最大差分である３以上である。
このため、映像フレーム（１）に存在している人物Ａは、映像フレーム（２）に存在しているどの人物とも対応付けられない。

以上で明らかなように、この実施の形態１によれば、映像フレーム毎に、物体検出部１１により検出された各々の物体が存在している領域の混雑度をそれぞれ推定する混雑度推定部１２を設け、物体選定部１３が、映像フレーム毎に、混雑度推定部１２による混雑度の推定結果を参照して、物体検出部１１により検出された１つ以上の物体の中から、混雑度が第１の閾値以下の領域に存在している物体をそれぞれ選定するように構成したので、物体の監視エリアが混雑している状況でも、物体の追跡精度の劣化を防止することができる効果を奏する。

また、この実施の形態１によれば、物体選定部１３が、混雑度が第１の閾値よりも大きい領域に存在している物体であっても、物体検出部１１により算出された検出結果の信頼度が第２の閾値以上の物体については選定するように構成したので、物体の追跡精度の劣化を招くことなく、追跡可能な物体の数を増やすことができる効果を奏する。

この実施の形態１では、物体検出部１１が、各々の物体の検出結果の確からしさを示す信頼度をそれぞれ算出する例を示したが、物体選定部１３が、物体検出部１１による各々の物体の検出結果の確からしさを示す信頼度をそれぞれ算出するようにしてもよい。

実施の形態２．
上記実施の形態１では、特徴量算出部１５が、重み付け情報記憶部１４に記憶されている複数の組み合わせに対応する重み付け情報の中から、カメラ１から出力された映像情報が示す解像度及びフレームレートの組み合わせと一致している組み合わせに対応する重み付け情報を取得する例を示している。
しかしながら、重み付け情報記憶部１４には、カメラ１から出力された映像情報が示す解像度及びフレームレートの組み合わせと一致している組み合わせに対応する重み付け情報が記憶されていない場合もある。
この実施の形態２では、カメラ１から出力された映像情報が示す解像度及びフレームレートの組み合わせと一致している組み合わせに対応する重み付け情報が記憶されていない場合でも、特徴量算出部１５が、重み付け情報記憶部１４に記憶されている複数の重み付け情報の中から、適正な重み付け情報を取得できる例を説明する。

図１０は、この発明の実施の形態２による物体追跡装置を示す構成図であり、図１１は、この発明の実施の形態２による物体追跡装置を示すハードウェア構成図である。
図１０及び図１１において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
特徴量算出部４０は、例えば図１１に示す特徴量算出回路５０で実現される。
特徴量算出部４０は、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせの中に、物体検出部１１に与えられる時系列映像の解像度と物体検出部１１に与えられる時系列映像のフレームレートとの組み合わせと一致している組み合わせがあるか否かを判定する処理を実施する。
即ち、特徴量算出部４０は、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせの中に、カメラ１から出力された映像情報が示す解像度及びフレームレートの組み合わせと一致している組み合わせがあるか否かを判定する処理を実施する。
特徴量算出部４０は、一致している組み合わせがあると判定すれば、重み付け情報記憶部１４から一致している組み合わせに対応する重み付け情報を取得する処理を実施する。

特徴量算出部４０は、一致している組み合わせがないと判定すれば、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせにおける解像度及びフレームレートと、カメラ１から出力された映像情報が示す解像度及びフレームレートとの類似度をそれぞれ算出する処理を実施する。
特徴量算出部４０は、算出した類似度に基づいて、重み付け情報記憶部１４に記憶されている複数の重み付け情報の中から、いずれか１つの重み付け情報を取得する処理を実施する。
特徴量算出部４０は、図１の特徴量算出部１５と同様に、映像フレーム毎に、取得した重み付け情報に従って、物体選定部１３により選定された各々の人物の特徴量をそれぞれ算出する処理を実施する。

図１０では、物体追跡装置の構成要素である物体検出部１１、混雑度推定部１２、物体選定部１３、重み付け情報記憶部１４、特徴量算出部４０及び物体追跡部１６のそれぞれが、図１１に示すような専用のハードウェアで実現されるものを想定している。即ち、物体検出回路２１、混雑度推定回路２２、物体選定回路２３、重み付け情報記憶回路２４、特徴量算出回路５０及び物体追跡回路２６で実現されるものを想定している。
物体検出回路２１、混雑度推定回路２２、物体選定回路２３、特徴量算出回路５０及び物体追跡回路２６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。

ただし、物体追跡装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、物体追跡装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
図１０の物体追跡装置がソフトウェア又はファームウェアなどで実現される場合、重み付け情報記憶部１４を図３に示すコンピュータのメモリ３４上に構成するとともに、物体検出部１１、混雑度推定部１２、物体選定部１３、特徴量算出部４０及び物体追跡部１６の処理手順をコンピュータに実行させるためのプログラムをメモリ３４に格納し、コンピュータのプロセッサ３３がメモリ３４に格納されているプログラムを実行するようにすればよい。

次に動作について説明する。
特徴量算出部４０以外は、上記実施の形態１と同様であるため、以下、図１２を参照しながら、特徴量算出部４０の処理内容だけを説明する。
図１２は、この発明の実施の形態２による物体追跡装置の特徴量算出部４０における処理内容を示すフローチャートである。

特徴量算出部４０は、カメラ１から出力された映像情報を取得する（図１２のステップＳＴ１１）。
特徴量算出部４０は、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせの中に、取得した映像情報が示す解像度及びフレームレートの組み合わせと一致している組み合わせがあるか否かを判定する（図１２のステップＳＴ１２）。
図９の例では、時系列映像の解像度とフレームレートの組み合わせとして、解像度が〇〇〇［ｐｐｉ］又は△△△［ｐｐｉ］と、フレームレートが□□□［ｆｐｓ］又は☆☆☆［ｆｐｓ］である場合の４通りの組み合わせである。
したがって、図９の例では、取得した映像情報が示す解像度が〇〇〇［ｐｐｉ］又は△△△［ｐｐｉ］であり、かつ、取得した映像情報が示すフレームレートが□□□［ｆｐｓ］又は☆☆☆［ｆｐｓ］であれば、特徴量算出部４０は、一致している組み合わせがあると判定する。

特徴量算出部４０は、一致している組み合わせがあると判定すれば（図１２のステップＳＴ１２：ＹＥＳの場合）、重み付け情報記憶部１４から一致している組み合わせに対応する重み付け情報を取得する（図１２のステップＳＴ１３）。
特徴量算出部４０は、一致している組み合わせがないと判定すれば（図１２のステップＳＴ１２：ＮＯの場合）、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせにおける解像度及びフレームレートと、取得した映像情報が示す解像度及びフレームレートとの類似度をそれぞれ算出する（図１２のステップＳＴ１４）。

特徴量算出部４０による類似度の算出方法は、特に問わないが、例えば、以下のように、類似度を算出する。
ここでは、説明の便宜上、取得した映像情報が示す解像度がａ、取得した映像情報が示すフレームレートがｂであるとする。
また、解像度〇〇〇［ｐｐｉ］がａ_１、解像度△△△［ｐｐｉ］がａ_２、フレームレート□□□［ｆｐｓ］がｂ_１、フレームレート☆☆☆［ｆｐｓ］がｂ_２であるとする。
解像度〇〇〇［ｐｐｉ］とフレームレート□□□［ｆｐｓ］の組み合わせが組み合わせ（１）、解像度〇〇〇［ｐｐｉ］とフレームレート☆☆☆［ｆｐｓ］の組み合わせが組み合わせ（２）、解像度△△△［ｐｐｉ］とフレームレート□□□［ｆｐｓ］の組み合わせが組み合わせ（３）、解像度△△△［ｐｐｉ］とフレームレート☆☆☆［ｆｐｓ］の組み合わせが組み合わせ（４）であるとする。

特徴量算出部４０は、以下の式（２）に示すように、取得した映像情報が示す解像度ａと、解像度ａ_１との差分Δａ_１を算出するとともに、以下の式（３）に示すように、取得した映像情報が示す解像度ａと、解像度ａ_２との差分Δａ_２を算出する。

また、特徴量算出部４０は、以下の式（４）に示すように、取得した映像情報が示すフレームレートｂと、フレームレートｂ_１との差分Δｂ_１を算出するとともに、以下の式（５）に示すように、取得した映像情報が示すフレームレートｂと、フレームレートｂ_２との差分Δｂ_２を算出する。

特徴量算出部４０は、以下の式（６）に示すように、組み合わせ（１）における解像度ａ_１及びフレームレートｂ_１と、取得した映像情報が示す解像度ａ及びフレームレートｂとの類似度Ｒ_１を算出する。式（６）において、Ｇは定数である。

特徴量算出部４０は、以下の式（７）に示すように、組み合わせ（２）における解像度ａ_１及びフレームレートｂ_２と、取得した映像情報が示す解像度ａ及びフレームレートｂとの類似度Ｒ_２を算出する。

また、特徴量算出部４０は、以下の式（８）に示すように、組み合わせ（３）における解像度ａ_２及びフレームレートｂ_１と、取得した映像情報が示す解像度ａ及びフレームレートｂとの類似度Ｒ_３を算出する。

特徴量算出部４０は、以下の式（９）に示すように、組み合わせ（４）における解像度ａ_２及びフレームレートｂ_２と、取得した映像情報が示す解像度ａ及びフレームレートｂとの類似度Ｒ_４を算出する。

ここでは、解像度の差分Δａと、フレームレートの差分Δｂとの間に重みを付けずに、類似度Ｒを算出している例を示しているが、例えば、以下の式（１０）に示すように、解像度の差分Δａと、フレームレートの差分Δｂとの間に重みを付けて、類似度Ｒを算出するようにしてもよい。式（１０）は、組み合わせ（１）についての類似度Ｒ_１の算出例を示しており、ｗ_ａは差分Δａ_１に対する重み係数、ｗ_ｂは差分Δｂ_１に対する重み係数である。なお、ｗ_ａ及びｗ_ｂは、０以上１以下の値である。

特徴量算出部４０は、全ての組み合わせについての類似度Ｒを算出すると、全ての組み合わせについての類似度Ｒを比較し、最も高い類似度に係る組み合わせを特定する（図１２のステップＳＴ１５）。
特徴量算出部４０は、重み付け情報記憶部１４に記憶されている複数の重み付け情報の中から、最も高い類似度に係る組み合わせに対応する重み付け情報を取得する（図１２のステップＳＴ１６）。
例えば、組み合わせ（１）〜（４）の中で、最も高い類似度に係る組み合わせが組み合わせ（１）であれば、「色」、「動き」及び「エッジ」に対する重み付けが、色：動き：エッジ＝５：３：３であることを示する重み付け情報を取得する。
また、最も高い類似度に係る組み合わせが組み合わせ（２）であれば、「色」、「動き」及び「エッジ」に対する重み付けが、色：動き：エッジ＝８：２：２であることを示する重み付け情報を取得する。

特徴量算出部４０は、重み付け情報を取得すると、図１の特徴量算出部１５と同様に、映像フレーム毎に、取得した重み付け情報に従って、物体選定部１３により選定された各々の人物の特徴量をそれぞれ算出する（図１２のステップＳＴ１７）。

以上で明らかなように、この実施の形態２によれば、特徴量算出部４０が、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせの中に、物体検出部１１に与えられる時系列映像の解像度と物体検出部１１に与えられる時系列映像のフレームレートとの組み合わせと一致している組み合わせがなければ、重み付け情報記憶部１４に記憶されている複数の重み付け情報に対応する組み合わせにおける解像度及びフレームレートと、物体検出部１１に与えられる時系列映像の解像度及び物体検出部１１に与えられる時系列映像のフレームレートとの類似度をそれぞれ算出する。そして、特徴量算出部４０が、算出した類似度に基づいて、重み付け情報記憶部１４に記憶されている複数の重み付け情報の中から、いずれか１つの重み付け情報を取得し、取得した重み付け情報に従って物体選定部１３により選定された各々の物体の特徴量をそれぞれ算出する。これにより、物体検出部１１に与えられる時系列映像の解像度及びフレームレートの組み合わせと一致している組み合わせに対応する重み付け情報が重み付け情報記憶部１４に記憶されていない場合でも、適正な重み付け情報を取得することができる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明は、互いに異なる映像フレーム内に存在している物体の間の対応付けを行う物体追跡装置及び物体追跡方法に適している。

１ カメラ、１１ 物体検出部、１２ 混雑度推定部、１３ 物体選定部、１４ 重み付け情報記憶部、１５ 特徴量算出部、１６ 物体追跡部、２１ 物体検出回路、２２ 混雑度推定回路、２３ 物体選定回路、２４ 重み付け情報記憶回路、２５ 特徴量算出回路、２６ 物体追跡回路、３１ 映像入力器、３２ 映像情報入力器、３３ プロセッサ、３４ メモリ、３５ 結果出力器、４０ 特徴量算出部、５０ 特徴量算出回路。

Claims (7)

1. 時系列映像を構成している映像フレーム毎に、当該映像フレーム内に存在している１つ以上の物体を検出する物体検出部と、
   映像フレーム毎に、前記物体検出部により検出された各々の物体が存在している領域の混雑度をそれぞれ推定する混雑度推定部と、
   映像フレーム毎に、前記混雑度推定部による混雑度の推定結果を参照して、前記物体検出部により検出された１つ以上の物体の中から、混雑度が第１の閾値以下の領域に存在している物体をそれぞれ選定する物体選定部と、
   映像フレーム毎に、前記物体選定部により選定された各々の物体の特徴量をそれぞれ算出する特徴量算出部と、
   前記特徴量算出部により算出された各々の物体の特徴量に従って、前記物体選定部により選定された互いに異なる映像フレーム内に存在している物体の間の対応付けを行う物体追跡部と
   を備えた物体追跡装置。
2. 前記物体検出部は、映像フレーム内に存在している各々の物体の検出結果の確からしさを示す信頼度をそれぞれ算出し、
   前記物体選定部は、混雑度が前記第１の閾値よりも大きい領域に存在している物体であっても、前記物体検出部により算出された検出結果の信頼度が第２の閾値以上の物体については選定することを特徴とする請求項１記載の物体追跡装置。
3. 前記物体選定部は、前記物体検出部による各々の物体の検出結果の確からしさを示す信頼度をそれぞれ算出し、混雑度が前記第１の閾値よりも大きい領域に存在している物体であっても、算出した信頼度が第２の閾値以上の物体については選定することを特徴とする請求項１記載の物体追跡装置。
4. 前記物体の特徴量として、複数の特徴量があり、
   複数の特徴量の重み付け情報を記憶している重み付け情報記憶部を備え、
   前記特徴量算出部は、前記重み付け情報記憶部に記憶されている重み付け情報に従って前記物体選定部により選定された各々の物体の特徴量をそれぞれ算出することを特徴とする請求項１記載の物体追跡装置。
5. 前記重み付け情報記憶部は、時系列映像の解像度と時系列映像のフレームレートとの組み合わせ毎に、前記重み付け情報を記憶していることを特徴とする請求項４記載の物体追跡装置。
6. 前記特徴量算出部は、前記重み付け情報記憶部に記憶されている複数の重み付け情報に対応する組み合わせの中に、前記物体検出部に与えられる時系列映像の解像度と前記物体検出部に与えられる時系列映像のフレームレートとの組み合わせと一致している組み合わせがなければ、前記重み付け情報記憶部に記憶されている複数の重み付け情報に対応する組み合わせにおける解像度及びフレームレートと、前記物体検出部に与えられる時系列映像の解像度及び前記物体検出部に与えられる時系列映像のフレームレートとの類似度をそれぞれ算出し、前記類似度に基づいて、前記重み付け情報記憶部に記憶されている複数の重み付け情報の中から、いずれか１つの重み付け情報を取得し、取得した重み付け情報に従って前記物体選定部により選定された各々の物体の特徴量をそれぞれ算出することを特徴とする請求項５記載の物体追跡装置。
7. 物体検出部が、時系列映像を構成している映像フレーム毎に、当該映像フレーム内に存在している１つ以上の物体を検出し、
   混雑度推定部が、映像フレーム毎に、前記物体検出部により検出された各々の物体が存在している領域の混雑度をそれぞれ推定し、
   物体選定部が、映像フレーム毎に、前記混雑度推定部による混雑度の推定結果を参照して、前記物体検出部により検出された１つ以上の物体の中から、混雑度が第１の閾値以下の領域に存在している物体をそれぞれ選定し、
   特徴量算出部が、映像フレーム毎に、前記物体選定部により選定された各々の物体の特徴量をそれぞれ算出し、
   物体追跡部が、前記特徴量算出部により算出された各々の物体の特徴量に従って、前記物体選定部により選定された互いに異なる映像フレーム内に存在している物体の間の対応付けを行う
   物体追跡方法。

Images