JP5053136B2 - 移動物体追跡装置 - Google Patents

Description

本発明は、画像処理により移動物体を追跡する移動物体追跡装置に関し、特に移動物体の見え方が変化しても正確な追跡を続けることができる移動物体追跡装置に関する。

監視空間に長時間滞留している不審人物等を監視するために、移動物体を画像処理により追跡することが行われている。追跡は、過去の物体像から得られた画像特徴をテンプレートとして保存し、新たに得られた物体像を画像特徴が一致するテンプレートと対応付けることで行われるが、画像内における移動物体の見え方は刻々と変化するため、１つのテンプレートでは移動物体を追跡し続けることが困難となる。

従来、時刻の異なる複数のテンプレート画像を保存してテンプレート画像それぞれについてマッチング処理を行い、入力画像中の対象物体像との一致度が最大あるいは所定値以上であるテンプレート画像に基づき対象物体を追跡することにより、移動物体の見え方が変化しても追跡を続けられるようにしていた。
特開２００１−６０２６９号公報

しかしながら、従来技術においては、複数の移動物体が存在する監視空間において対応付けを誤り、追跡に失敗する問題があった。
すなわち、従来技術では保存した複数のテンプレート画像のそれぞれについてマッチングを行うため、複数のテンプレート画像のいずれかが別の物体と一致する機会が多くなる。
例えば白いシャツにグレーの上着を羽織った人物Ａがカメラに向かって進んできた状態から進行方向を変え、カメラに対して背を向けた状態で、白いシャツを着た人物Ｂとすれ違うと、進行方向を変える前に保存された人物Ａのテンプレート画像が人物Ｂに一致してしまい追跡に失敗する。
また、複数のテンプレート画像のそれぞれについてマッチングを行うので、テンプレート画像の数に応じた処理負荷がかかってしまっていた。

本発明は、上記課題を解消するためになされたものであり、移動物体の見え方が変化しても誤った対応付けが発生しにくい移動物体追跡装置の提供を目的とする。

かかる課題を解決するために、本発明の移動物体追跡装置は、監視空間を順次撮像して移動物体を含む監視画像を出力する撮像手段と、監視画像から移動物体の物体像及び位置を抽出する物体像抽出手段と、物体像の特徴量を抽出する特徴量抽出手段と、前後する時刻に抽出された物体像のうち特徴量が類似する物体像を対応付けることにより移動物体の位置を追跡する追跡手段と、を備えた移動物体追跡装置において、追跡手段は、前後する時刻に抽出された移動物体の位置から当該移動物体の移動方向を算出する方向算出手段と、各時刻における移動物体の位置及び前記移動方向に基づき、当該時刻における撮像手段から当該移動物体への視点を判定する視点判定手段と、過去に抽出された特徴量を視点ごとに記憶する視点別特徴量記憶手段と、視点判定手段により判定された現時刻における視点に応じた特徴量を視点別特徴量記憶手段から取得する特徴量取得手段と、特徴量取得手段が取得した特徴量と特徴量抽出手段が抽出した特徴量とを比較して物体像を当該移動物体に対応付ける対応付け手段と、を備えたことを特徴とする。

かかる構成によれば、移動物体への視点に応じた特徴量を用いて対応付けを行うので、見え方が変化する複数の移動物体が混在する環境下において誤った対応付けが生じることなく追跡を続行することができる。

好適には、上記移動物体追跡装置において、視点判定手段は、移動方向を撮像手段から移動物体の位置への方位を基準とした相対移動方向に変換し、当該相対移動方向に対して予め設定された視点を判定しても良い。

また、好適には、上記移動物体追跡装置において、視点判定手段は、移動物体の位置及び移動方向の組み合わせから当該移動物体の視点を判定しても良い。

また、上記移動物体追跡装置において、特徴量取得手段は、相対移動方向が視点別特徴量記憶手段にて特徴量を記憶している複数の視点の中間方向である場合に、当該複数の視点の特徴量を相対移動方向に応じた割合で合成しても良い。

かかる構成によれば、現時刻の視点と一致する視点の物体像が過去に出現していなくても、記憶している複数の特徴量を合成して現時刻の視点に応じた特徴量を取得できる。

また、上記移動物体追跡装置において、一時刻前に抽出された特徴量を記憶する前時刻特徴記憶手段、をさらに備え、方向算出手段は前後する時刻に抽出された移動物体の位置から当該移動物体の速さをさらに算出し、特徴量取得手段は、速さが所定値未満である場合は前時刻特徴記憶手段に記憶されている特徴量を取得しても良い。

かかる構成によれば、移動物体の向きが不定で視点が不明となる停止状態乃至低速状態の場合に視点別の特徴量に代えて一時刻前の特徴量を取得する。そのため、視点が不明であっても追跡を続けることができる。

また、上記移動物体追跡装置において、通信網により接続されて他の移動物体追跡装置との通信を行う通信手段と、対応付け手段にて対応付けできない新規移動物体の物体像が存在する場合に当該物体像の情報を含む特徴量要求信号を他の移動物体追跡装置へ送信し、他の移動物体追跡装置から特徴量要求信号を受信した場合に当該特徴量要求信号に含まれる物体像の情報に基づいて視点別特徴量記憶手段に記憶している特徴量の中から新規移動物体の特徴量を選択して返信し、他の移動物体追跡装置から新規移動物体の特徴量を受信した場合に受信した特徴量を視点別特徴量記憶手段に追加記憶する特徴量交換手段と、をさらに備えても良い。

かかる構成によれば、未だ収集できていない新規移動物体の視点別の特徴量を、既に収集している他の移動物体追跡装置から取得できる。そのため、視点別の特徴量を用いた高精度な追跡処理が短期間で開始可能となる。

本発明によれば、移動物体への視点が変化しても誤った対応付けが発生しにくく、正確な追跡を続けることができる。

本発明の原理は、人物等の移動物体が移動中は専ら移動方向に前面を向けているとモデル化できること、このモデルでは監視空間を撮像した監視画像における移動物体の位置及び移動方向を基に撮像部から移動物体への視点、すなわち監視画像において移動物体のどの面が撮像されているかを判定できることにある。この原理に基づいて移動物体への視点を判定し、視点ごとに特徴量を記憶するとともに、記憶した特徴量の中から視点に応じた特徴量を選択的に用いて対応付けを行うことで誤った対応付けを大幅に減少させることができる。
以下、本発明の好適な実施形態として、上記視点判定を行ないつつ監視空間内を移動する人物を追跡し、長時間滞留する不審人物を検知する移動物体追跡装置の例について説明を行う。

＜第一の実施形態＞
本発明の第一の実施形態として、監視カメラを天井に設置して人物を追跡する移動物体追跡装置１について説明する。
［第一の実施形態の構成］
図１は、移動物体追跡装置１の構成を示したものである。
移動物体追跡装置１は、監視カメラ装置である撮像部２、ＲＯＭ、ＲＡＭ等のメモリ装置である記憶部３、ＤＳＰ（ディジタル・シグナル・プロセッサ）等の演算装置である制御部４、ＬＡＮインターフェース回路等の通信装置である通信部５を含んで構成される。制御部４は撮像部２、記憶部３及び通信部５と接続され、通信部５は更に通信網６を介してセンタ装置等の外部装置と接続される。

まず、撮像部２と監視画像について説明する。
撮像部２は、テナントビルのエントランス等の監視空間の天井に光軸を鉛直下方に向けて設置され、監視空間を所定時間間隔で撮像し、撮像した監視画像を順次、制御部４へ出力する。撮像部２のレンズは等距離射影型の魚眼レンズである。以下、上記所定時間間隔で刻まれる時間の単位を時刻と称する。

図２は、監視画像２００のイメージ図である。監視空間は半径Ｒの円形の領域内に映される。監視画像２００の中心に原点を、横方向にＸ軸を、縦方向にＹ軸を設定する。
図２は、白いシャツと黒い上着を着用した人物が監視空間内の様々な位置で移動している様子を表している。物体前面には白色が多く含まれ、物体背面には黒色が多く含まれる。物体像２５１，２５７は物体前面への視点で撮像され、物体像２５２，２５６は物体上面への視点で撮像され、物体像２５３，２５５は物体背面への視点で撮像され、物体像２５４，２５８は物体側面への視点で撮像されている。図中の矢印２６１，２６２，２６３，２６４，２６５，２６６，２６７，２６８は、移動物体の移動方向を表している。
図２（ａ）内での各物体像の対比から、移動方向が同じであっても、撮像部２から移動物体への視点は移動物体の位置（以下、物体位置と称する）によって異なる場合があると分かる。
また、図２（ａ）の物体像２５１と図２（ｂ）の物体像２５５の対比、図２（ａ）の物体像２５３と図２（ｂ）の物体像２５７の対比から、物体位置が同じであっても撮像部２から移動物体への視点は移動方向によって異なる場合があると分かる。

図３は、図２の相対移動方向θと視点の関係を説明する図である。図中の点２７１，２７３，２７４，２７５，２７７，２７８は、物体位置（重心）を表している。また、図中の矢印２８１，２８３，２８４，２８５，２８７，２８８は、撮像部２から物体位置への方位を表している。
方位は、撮像部２を通る鉛直軸回りどの方向に移動物体が存在するかを表す値である。本形態では、撮像部２が真下に向けられているため、監視画像の原点と物体位置とを結んだ直線がＸ軸となす角度として方位を求めることができる。

ここで、図２と図３を対比すると、方位と移動方向と視点には一定の関係があることが分かる。すなわち、物体前面への視点で撮像されている物体像２５１，２５７についてはいずれも方位に対し移動方向が１８０°の角度を成し、物体背面への視点で撮像されている物体像２５３，２５５についてはいずれも方位に対し移動方向が０°の角度を成し、物体側面への視点で撮像されている物体像２５４，２５８についてはいずれも方位に対し移動方向が９０°の角度を成している。
方位は撮像部２から移動物体への視線方向に対応し、移動方向は移動物体が向いている方向に対応する。相対移動方向θは撮像部２の視線方向が移動物体の前面からどの程度傾いているかを表しており、相対移動方向θから移動物体が鉛直軸周りにどの程度回転した向き（姿勢）で撮像されているかを判定することができる。
つまり、移動物体の姿勢の変化により変わる撮像部２から移動物体への視点は、当該移動物体の移動方向を撮像部２から当該移動物体の物体位置への方位を基準にして変換した相対移動方向θにより判定することができる。

また、撮像部２が監視空間の上方に設置されている場合、物体位置が撮像部２に近づくほど物体像において物体上面の特徴量が支配的となる現象が生じる。そこで、物体上面への視点を考慮することで更に精密な視点判定ができる。
そこで、物体上面の特徴量が殆ど寄与しない領域に移動物体が位置する場合に、相対移動方向θのみによる視点判定を行うものとする。この領域を画像中心からの距離がＲ２以上の領域とする。

一方、移動物体が撮像部２から十分近い領域に位置する場合は物体上面への視点と判定できる。この領域を画像中心からの距離がＲ１未満の領域とする。図２の物体像２５２と物体像２５６を対比すると、物体上面への視点は、移動方向とは関係なく物体位置のみから判定できることが分かる。
尚、画像中心からの距離がＲ１以上Ｒ２未満の領域は中間的な視点となる。

以下、移動物体追跡装置１を構成する残りの各部について説明する。
記憶部３は、各種プログラム及び各種データを記憶することができ、制御部４からの要求に応じてこれらの情報を読み書きする。
各種データとしては、追跡中の移動物体の移動軌跡３０、視点別特徴量３２及び前時刻特徴量３４などがある。同一の移動物体に係る移動軌跡３０、視点別特徴量３２及び前時刻特徴量３４には共通の識別子が付与され、情報間の対応付けが可能となっている。
移動軌跡３０は、移動物体ごとの物体位置の履歴である。
視点別特徴量３２は、移動物体を特徴付ける特徴量を視点ごと移動物体ごとに記憶した情報である。本形態では、物体前面、物体背面、物体側面、物体上面の４つの代表的な視点での特徴量を記憶する。
前時刻特徴量３４は、一時刻前に得られた移動物体ごとの特徴量である。

図４は、記憶部３に記憶している特徴量を例示する図である。
移動物体＃１，＃２は一時刻前までに物体前面、物体背面、物体側面、物体上面への各視点で撮像されて４つの視点での視点別特徴量３２が記憶されている。移動物体＃３は一時刻前までに物体背面、物体側面の視点で撮像されたが物体前面、物体上面への視点では撮像されておらず物体前面、物体上面への視点での視点別特徴量３２は未だ記憶されていない。移動物体＃４は一時刻前に新規出現した移動物体であり視点別特徴量３２は未だ記憶されていない。前時刻特徴量３４は全ての移動物体について記憶されている。

制御部４は、撮像部２からの監視画像を画像処理することにより人物を追跡して不審人物を検知し、不審人物が検出されると通信部５に異常信号を出力する。
制御部４は、物体像抽出手段４０、特徴量抽出手段４２、追跡手段４４、異常判定手段４６等の動作を記述したプログラムを記憶部３から読み出して実行することにより、各種の処理を行う手段として動作する。以下、これらの各手段について説明する。

物体像抽出手段４０は、監視画像から移動物体の像である物体像を抽出し、物体像の情報を特徴量抽出手段４２と追跡手段４４に出力する。
そのために、物体像抽出手段４０は、起動直後を含む移動物体が存在しないときに入力された監視画像を背景画像として記憶部３に記憶させ、新たに入力された監視画像と背景画像との差分処理により背景画像に存在しない像を検出し、検出した像のうち予め設定された大きさを超える像を物体像として抽出する。また、物体位置として物体像の重心を算出する。

特徴量抽出手段４２は、物体像抽出手段４０で抽出されたそれぞれの物体像を画像処理して当該物体像を特徴付ける特徴量を計算し、追跡手段４４に出力する。特徴量抽出手段４２が抽出する特徴量には色ヒストグラムが含まれる。
色ヒストグラムは、物体像内の色分布を表す特徴量であり、物体像内の各ピクセルの輝度値の度数を計数し、計数した度数を全ピクセル数で割って正規化することで計算される。監視画像が各ピクセルにＹ成分、Ｕ成分、Ｖ成分の３成分を持つＹＵＶ表色系の画像情報であれば、色ヒストグラムはＹ軸、Ｕ軸、Ｖ軸を軸とする色空間のヒストグラムとなる。

追跡手段４４は、前後する時刻に抽出された物体像のうち、特徴量が類似する物体像を対応付けることにより物体位置を追跡する。一時刻前までに物体像から抽出された特徴量は記憶部３に記憶されており、現時刻の物体像の特徴量は特徴量抽出手段４２により抽出されている。追跡手段４４はこれらの特徴量を比較して最も類似する物体像同士を対応付ける。対応付けられた現時刻の物体像の物体位置は移動軌跡３０に加えられる。
このとき、追跡手段４４は記憶部３の特徴量の中から現時刻の移動物体への視点に応じた特徴量を用いて対応付けを行う。
追跡手段４４は、方向算出手段４４０、位置予測手段４４１、視点判定手段４４２、特徴量取得手段４４４、対応付け手段４４６及び特徴量更新手段４４８を含む。

方向算出手段４４０は、時系列の物体位置が入力されると、入力された物体位置を分析して移動方向ψと速さｖを算出し、算出結果を出力する。具体的には、入力された物体位置に公知の移動平均法などを適用することで速度ベクトルが算出され、速度ベクトルの大きさとして速さｖが算出され、速度ベクトルの向きとして移動方向ψが算出される。

位置予測手段４４１は、移動物体の一時刻前の物体位置、当該移動物体の移動方向ψと速さｖが入力されると、現時刻の物体位置の予測値である予測位置を算出して出力する。予測位置は一時刻前の物体位置に向きψ大きさｖを有するベクトル（速度ベクトル）を加算することで算出される。

視点判定手段４４２は、移動物体の位置、移動方向ψ及び速さｖが入力されると、これらの情報に基づき、撮像部２から各移動物体への視点を判定し、判定結果である視点情報を出力する。
視点情報は、視点種別、相対移動方向θ及び距離ｒを含む。

相対移動方向θは、移動物体の移動方向ψを、撮像部２から物体位置への方位ξを基準とした相対的な方向に変換した値である。方位ξは物体位置（ｘ，ｙ）から下式１によって算出され、相対移動方向θは移動方向ψと方位ξから下式２によって算出される。
ξ＝ａｒｃｔａｎ（ｙ／ｘ） （式１）
θ＝ψ−ξ （式２）
尚、相対移動方向θは原点から物体位置へのベクトルをＣ、速度ベクトルをＶとしたときに次式によっても算出できる。
θ＝ａｒｃｃｏｓ（Ｃ・Ｖ／｜Ｃ｜｜Ｖ｜） （式３）

距離ｒは、撮像部２から移動物体までの距離であり、物体位置（ｘ，ｙ）から算出される。距離ｒは物体位置が撮像部２に十分に近いか、遠いかを判定するために用いられる。

視点判定手段４４２が判定する視点種別は、前述した「物体上面への視点」「物体背面への視点」「物体側面への視点」「物体前面への視点」の４種類に「中間視点」「視点不明」の２種類を加えた計６種類である。
視点種別は、相対移動方向θ、距離ｒ及び速さｖを基に次のようにして判定される。
（１）０≦ｒ＜Ｒ１なら物体上面への視点と判定
（２）速さｖ≦Ｔｖなら視点不明と判定
（３）１，２を満たさず、０≦θ≦１５かつｒ≧Ｒ２なら物体背面への視点と判定
（４）１，２を満たさず、７５≦θ≦１０５かつｒ≧Ｒ２なら物体側面への視点と判定
（５）１，２を満たさず、１６５≦θ≦１８０かつｒ≧Ｒ２なら物体前面への視点と判定
（６）１〜５を満たさないなら中間視点と判定
判定（１）及び（３）〜（５）において角度に幅を持たせており、これは特定の視点の特徴量の収集を促進する効果がある。上記幅は一例であり、ほぼ特定の視点として近似できる幅を実験的に設定すればよい。
判定（２）は、移動物体が停止状態又は低速状態にある場合には任意の姿勢をとり得ることからこれらの状態を視点不明とするものであり、不確定要素を排除して移動物体の追跡精度を確保する効果がある。Ｔｖは例えば０．４ｍ／ｓｅｃなどに設定する。
尚、距離ｒの代わりに、撮像部２から移動物体を垂直方向に見込む角度（πｒ／２Ｒ）を用いることもできる。

図５は、監視画像２００において速さｖ、移動方向ψ≒１３０度で移動する物体像が、原点からの距離ｒ＞Ｒ２、方位ξ≒４５度の位置に撮像されている状態を例示したものである。相対移動方向θは８５度と算出され、視点は「物体側面への視点」と判定される。

特徴量取得手段４４４は、視点判定手段４４２からの視点情報、方向算出手段４４０にて算出された移動物体の速さｖに基づき、記憶部３に記憶されている特徴量の中から各移動物体の対応付けに最適な特徴量を取得して、対応付け手段４４６へ出力する。
最適な特徴量は次のようにして選択する。
（１）視点種別が視点不明なら前時刻特徴量３４を取得。
（２）視点種別が物体上面への視点、物体背面への視点、物体側面への視点、又は物体前面への視点なら視点別特徴量３２から各視点種別と対応付けて記憶されている特徴量を取得。但し、該当する視点の特徴量が未だ記憶されていない場合は前時刻特徴量３４を取得。
（３）視点種別が中間視点なら視点別特徴量３２として記憶されている複数の特徴量を相対移動方向θ及び距離ｒに応じた合成比率にて合成することで特徴量を取得。但し、合成に必要な特徴量が未だ記憶されていない場合は前時刻特徴量３４を取得。

上記（３）に記載した中間視点の特徴量を合成する合成処理について説明する。
合成比率は、視点別特徴量３２として記憶されている各視点の特徴量が中間視点の特徴量に対して寄与する割合であり、この割合は事前の実験等を通じて分析することにより適宜に設定され、予め記憶部３に記憶される。
物体上面への視点に対応する特徴量の合成比率は距離ｒの関数として設定され、物体背面、側面、前面への視点に対応する特徴量の合成比率はそれぞれ相対移動方向θの関数として設定される。

本形態における色ヒストグラムの合成比率を図６に示す。
図６（ａ）は物体上面への視点に対応する色ヒストグラムｈｈ（ｙ，ｕ，ｖ）の合成比率ｗｈである。ｗｈは移動物体が撮像部２の真下に位置するｒ＝０のときに最大となり、移動物体が撮像部２から離れるほど、すなわちｒが大きくなるほど小さくなり、ｒ≧Ｒ２で０となる。
図６（ｂ）は物体前面への視点に対応する色ヒストグラムｈｆ（ｙ，ｕ，ｖ）の合成比率ｗｆである。ｗｆは移動物体が撮像部２に対し真正面を向くθ＝１８０のときに最大となり、θが小さくなるほど小さくなり、θ≦９０のときに０となる。
図６（ｃ）は物体背面への視点に対応する色ヒストグラムｈｂ（ｙ，ｕ，ｖ）の合成比率ｗｂである。ｗｂは移動物体が撮像部２に対し真後ろを向くθ＝０のときに最大となり、θが大きくなるほど小さくなり、θ≧９０のときに０となる。
図６（ｄ）は物体側面への視点に対応する色ヒストグラムｈｓ（ｙ，ｕ，ｖ）の合成比率ｗｓである。ｗｓは移動物体が撮像部２に対し真横を向くθ＝９０のときに最大となり、θが９０から離れるほど小さくなり、θ≦４５及びθ≧１３５のときに０となる。

特徴量取得手段４４４は、上述した各関数に従い、相対移動方向θ及び距離ｒに応じた合成比率を算出し、次式によって色ヒストグラムｈ（ｙ，ｕ，ｖ）を合成する。
ｈ（ｙ，ｕ，ｖ）＝ｗｈ×ｈｈ（ｙ，ｕ，ｖ）
＋（１−ｗｈ）×ｗｆ／（ｗｆ＋ｗｂ＋ｗｓ）×ｈｆ（ｙ，ｕ，ｖ）
＋（１−ｗｈ）×ｗｂ／（ｗｆ＋ｗｂ＋ｗｓ）×ｈｂ（ｙ，ｕ，ｖ）
＋（１−ｗｈ）×ｗｓ／（ｗｆ＋ｗｂ＋ｗｓ）×ｈｓ（ｙ，ｕ，ｖ） （式４）
つまり、４つの視点に関する合成比率の合計が１になるように各合成比率正規化した上で、正規化された合成比率に応じた配分で４つの視点の特徴量を合成する。
このように記憶部３に記憶されている視点別特徴量３２を相対移動方向θに応じて合成して中間視点に対応する特徴量を取得するので、あらゆる視点の特徴量を記憶する必要がない。このことは、現時刻の視点と一致する視点で撮像された物体像が過去に出現していなくても現時刻の視点に対応した特徴量を取得できることを意味し、視点別特徴量３２を用いた高精度な追跡処理を行う機会を増大させる。また、記憶容量の節約にもなる。

対応付け手段４４６は、特徴量取得手段４４４にて取得された追跡中の各移動物体の特徴量と特徴量抽出手段４２にて抽出された現時刻の物体像の特徴量との類似性を比較することにより、現時刻の物体像を追跡中の移動物体と対応付ける。
そのために、対応付け手段４４６は、現時刻の物体像と追跡中の移動物体の全ての組み合わせについて色ヒストグラムの類似度を算出し、追跡中の移動物体ごとに類似度が最大かつ類似度が所定値以上である物体像を選出して、当該移動物体に対応付ける。
尚、対応付けができなかった追跡中の移動物体については消失した（視野外へ移動した）として追跡対象から除外し、対応付けができなかった現時刻の物体像については新規出現したとして新たに追跡対象に加える。
尚、類似度に位置の類似性を考慮し、現時刻の物体位置と一時刻前の物体位置の距離を求め、距離が近いほど大きく、距離が遠いほど小さくなるような指標を色ヒストグラムの類似度に加算したり乗算したりしても良い。

特徴量更新手段４４８は、追跡中の各移動物体の視点別特徴量３２及び前時刻特徴量３４を、対応付け手段４４６により当該移動物体と対応づけられた物体像の特徴量により更新する。
すなわち、特徴量更新手段４４８は、追跡中の各移動物体について次の処理を行う。
（１）記憶部３に記憶されている前時刻特徴量３４を対応づけられた物体像の特徴量に置き換える
（２）視点情報が物体上面への視点、物体背面への視点、物体側面への視点、物体前面への視点のいずれかであれば、記憶部３に記憶されている視点別特徴量３２のうちそれぞれの視点に対応する特徴量を現時刻の特徴量で置き換える。視点に対応する特徴量が記憶部３に記憶されていなかった場合は新規に記憶する。
尚、（２）において視点別特徴量３２を現時刻の特徴量で置き換える更新を例示したが、視点別特徴量３２として記憶されている特徴量と現時刻の特徴量との平均値で置き換える更新とすることもできる。

異常判定手段４６は、記憶部３に記憶されている移動軌跡３０を分析して長時間滞留する移動物体（不審者）が存在すれば異常と判定して通信部５に異常信号を出力する。具体的には、異常判定手段４６は、移動軌跡３０の夫々に含まれる物体位置の数を計数して所定数以上（例えば１０分間相当以上）の物体位置を含む移動軌跡３０があれば異常と判定する。

通信部５は、制御部４からの異常信号をセンタ装置へ送出し、また、外部装置からの信号を受信して制御部４へ出力する。

［第一の実施形態の動作］
移動物体追跡装置１の動作を説明する。
まず、図７のフローチャートを参照して、移動物体追跡処理の全体の流れを説明する。
監視空間が無人であることを確認した管理者が電源を投入すると各部、各手段が動作を始め、所定の初期化が行われる（Ｓ１０）。このとき、制御部４の物体像抽出手段４０は撮像部２からの監視画像を背景画像として記憶部３に記憶させる。
その後、撮像部２から制御部４ へ監視画像が新たに入力されるたびにＳ１５〜Ｓ９０の一連の処理が繰り返される。

まず、制御部４は、撮像部２が新たに撮像した監視画像を取得し（Ｓ１５）、取得した監視画像を物体像抽出手段４０に入力する。物体像抽出手段４０は、入力された監視画像を背景画像と比較して物体像を抽出し、また、現時刻の物体位置として物体像の重心を算出する（Ｓ２０）。
次に、物体像抽出手段４０はＳ２０の処理で１以上の物体像が抽出されたか否かを判定する（Ｓ２５）。物体像が抽出されなかった場合、物体像抽出手段４０はＳ１５で取得された監視画像を新たな背景画像として記憶部３に記憶させる更新を行う（Ｓ３０）。この更新は背景画像の時間変化に適応するために行う処理である。更新後、制御部４は処理をＳ１５へ戻す。

一方、Ｓ２５において１以上の物体像が抽出されたと判定された場合、制御部４は、特徴量抽出手段４２にＳ２０の処理で抽出された各物体像を入力し、物体像のそれぞれから色ヒストグラムなどの特徴量を抽出させる（Ｓ３５）。
こうして現時刻の物体像とその特徴量が抽出されると、特徴量に基づき現時刻の物体像を追跡中の移動物体に対応付ける追跡処理が始まる。まず、記憶部３に記憶している追跡中の移動物体の特徴量の中から現時刻の物体像への視点に応じた特徴量が取得される。
そのために、制御部４は、追跡中の各移動物体について、方向算出手段４４０に移動軌跡３０に含まれる最新５個の物体位置を入力して移動方向ψ及び速さｖを算出させる（Ｓ４０）。この時点で移動軌跡３０には一時刻前までの物体位置が記憶されており、これを基に算出された移動方向ψと速さｖは現時刻の移動物体に関する予測値となる。

次に、制御部４は、追跡中の各移動物体について、位置予測手段４４１に移動軌跡３０に含まれる一時刻前の物体位置、Ｓ４０で算出された移動方向ψ及び速さｖを入力して予測位置を算出させる（Ｓ４５）。
続いて、制御部４は、追跡中の各移動物体について、視点判定手段４４２に予測位置、Ｓ４０で算出された移動方向ψ及び速さｖを入力して視点を判定させる（Ｓ５０）。詳細は後述する。
続いて、制御部４は、追跡中の各移動物体について、特徴量取得手段４４４にＳ５０で判定された視点及びＳ２５で算出された速さｖを入力して視点に応じた特徴量を記憶部３から取得させる（Ｓ５５）。詳細は後述する。

こうして取得された特徴量を用いて対応付けが行われる。
まず、制御部４は、対応付け手段４４６にＳ３５で抽出された各物体像の特徴量とその位置、Ｓ５５で視点に応じて取得された移動物体の特徴量、及びＳ４５で算出された予測位置を入力して、現時刻の物体像を追跡中の移動物体と対応付けさせる（Ｓ６０）。対応付け手段４４６は特徴量及び物体位置の類似度に基づき対応付けを行い、対応関係及び追跡中の移動物体の現在位置を求める。
そして、対応付け手段４４６は、Ｓ６０で求められた移動物体の現在位置を移動軌跡３０に追加する更新を行う（Ｓ６５）。尚、新規出現の移動物体については移動軌跡３０を新規作成することになる。また、消失した移動物体の移動軌跡３０についてはフラグを付すなどして追跡中の移動物体のそれとは区別し、予め定めた保存期間の経過後に削除する。

こうして物体像が対応付けられると、次時刻の対応付けに備え、記憶部３の特徴量の更新が行われる。
まず、ステップＳ７０にて制御部４は、方向算出手段４４０に追跡中の各移動物体の移動軌跡３０に含まれる最新２個の物体位置を入力し、各移動物体の移動方向ψ及び速さｖを再算出させる。算出された移動方向ψと速さｖは現時刻の移動物体に関する実測値となる。
次に、制御部４は、追跡中の各移動物体について、視点判定手段４４２にＳ６０で求められた現在位置、Ｓ７０で再算出された移動方向ψ及び速さｖを入力して視点を再判定させる（Ｓ７５）。
続いて、制御部４は、特徴量更新手段４４８にＳ３５で抽出された各物体像の特徴量、Ｓ６０で求められた対応関係及びＳ７５で再判定された視点を入力し、追跡中の各移動物体の前時刻特徴量３４と視点別特徴量３２を物体像の特徴量で更新する（Ｓ８０）。詳細は後述する。
こうして追跡処理により得られた最新の移動軌跡３０を基に異常判定が判定される。
すなわち、制御部４は、異常判定手段４６に移動軌跡３０を分析させて異常な移動軌跡３０を有する移動物体が存在するか否かを判定させる（Ｓ８５）。

Ｓ８５で異常が判定された場合（Ｓ９０にてＹＥＳ）、異常判定手段４６は通信部５に異常を判定された移動物体の位置及び監視画像を含む異常信号を出力する（Ｓ９５）。異常信号が入力された通信部５は該信号をセンタ装置へ送信する。センタ装置は異常信号に含まれる情報を表示して監視員へ異常を報知し、表示を見た監視員は不審者の排除などの対処を行う。
一方、Ｓ８５で異常が判定されない場合（Ｓ９０にてＮＯ）、Ｓ９５はスキップされる。
以上の処理が終了すると、制御部４は処理を再びＳ１５へ戻す。

次に、図８のフローチャートを参照して、視点判定手段４４２による視点判定処理（図７のＳ５０）、及び視点再判定処理（図７のＳ７５）を説明する。
上述したように視点判定処理のときは視点判定手段４４２に追跡中の移動物体の位置、移動方向ψ及び速さｖの予測値が入力され、視点再判定処理のときはこれらの実測値が入力されるが、視点判定手段４４２はこれらを区別することなく共通の動作を行うので、以下では特に予測値と実測値を区別せずに説明する。

まず、視点判定の基礎情報として、原点から物体位置までの距離ｒが算出され（Ｓ５００）、物体位置及び移動方向ψに式１，２を適用することにより相対移動方向θが算出される（Ｓ５０１）。
続いて、算出された値に基づき視点種別が判定される。
距離ｒがＲ１以下であれば（Ｓ５０２にてＹＥＳ）、視点種別は「物体上面への視点」と判定される（Ｓ５０３）。
距離ｒがＲ１以上であれば、速さｖがしきい値Ｔｖと比較される（Ｓ５０４）。速さｖがしきい値Ｔｖ以下であれば、視点種別は「視点不明」と判定される（Ｓ５０５）。

一方、速さｖがＴｖより大きければ、距離ｒがＲ２と比較される（Ｓ５０６）。距離ｒがＲ２未満であれば、視点種別は「中間視点」と判定される（Ｓ５１３）。
距離ｒがＲ２以上であれば処理はＳ５０７へ進み、相対移動方向θの評価が始まる。
相対移動方向θが１５度以下であれば（Ｓ５０７にてＹＥＳ）視点種別は「物体背面への視点」と判定され（Ｓ５０８）、相対移動方向θが７５度以上１０５度以下であれば（Ｓ５０９にてＹＥＳ）視点種別は「物体側面への視点」と判定され（Ｓ５１０）、相対移動方向θが１６５度以上であれば（Ｓ５１１にてＹＥＳ）視点種別は「物体前面への視点」と判定される（Ｓ５１２）。
相対移動方向θが上記条件のいずれにも合致しなければ視点種別は「中間視点」と判定される（Ｓ５１３）。
視点判定手段４４２は、以上で判定した視点種別、算出した相対移動方向θ及び距離ｒからなる視点情報を出力して視点判定処理又は視点判定処理を終える。

次に、図９のフローチャートを参照して、特徴量取得手段４４４による図７のＳ５５の特徴量取得処理を説明する。上述したように特徴量取得手段４４４には視点情報（視点種別、相対移動方向θ、距離ｒ）及び速さｖが入力されている。

視点種別が「視点不明」であれば（Ｓ５５０にてＹＥＳ）前時刻特徴量３４が記憶部３から読み出され（Ｓ５５１）、視点種別が「物体前面への視点」であれば（Ｓ５５２にてＹＥＳ）視点別特徴量３２のうち物体前面への視点に対応する特徴量が記憶部３から読み出され（Ｓ５５３）、視点種別が「物体背面への視点」であれば（Ｓ５５４にてＹＥＳ）視点別特徴量３２のうち物体背面への視点に対応する特徴量が記憶部３から読み出され（Ｓ５５５）、視点種別が「物体側面への視点」であれば（Ｓ５５６にてＹＥＳ）視点別特徴量３２のうち物体側面への視点に対応する特徴量が記憶部３から読み出され（Ｓ５５７）、視点種別が「物体上面への視点」であれば（Ｓ５５８にてＹＥＳ）視点別特徴量３２のうち物体上面への視点に対応する特徴量が記憶部３から読み出される（Ｓ５５９）。

上記条件のいずれにも合致しなければ視点種別は「中間視点」であり、特徴量の合成処理が行われる。
まず、合成処理に必要となる視点別特徴量３２が記憶部３に既に記憶されているか否か、すなわち、次の条件を満たすか否かが確認される（Ｓ５６０）。
・物体上面への視点に対応する特徴量が記憶されていること
・θ＜４５であれば物体背面への視点に対応する特徴量が記憶されていること
・４５≦θ＜９０であれば物体背面及び物体側面への視点に対応する特徴量が記憶されていること
・９０≦θ≦１３５であれば物体前面及び物体側面への視点に対応する特徴量が記憶されていること
・θ＜１３５であれば物体前面への視点に対応する特徴量が記憶されていること
Ｓ５６０で合成処理に必要な特徴量が記憶されていないと確認されると、前時刻特徴量３４が記憶部３から読み出される（Ｓ５６１）。

一方、合成処理に必要な特徴量が既に記憶されていれば、相対移動方向θ及び距離ｒに応じた合成比率が算出され、算出された合成比率及び視点別特徴量３２が式４に適用されて中間視点の特徴量が合成される（Ｓ５６２）。
特徴量取得手段４４４は、以上のステップで読み出した特徴量又は合成した特徴量を出力して特徴量取得処理を終える。

次に、図１０のフローチャートを参照して、特徴量更新手段４４８による図７のＳ８０の特徴量更新処理を説明する。上述したように特徴量更新手段４４８には物体像の特徴量、物体像と追跡中の移動物体の対応関係、及び再判定された視点情報（視点種別、相対移動方向θ、距離ｒ）が入力されている。
まず、入力された物体像の特徴量が当該物体像と対応付けられた移動物体の前時刻特徴量３４に上書きされる（Ｓ８００）。この更新は視点種別によらず行われる。更新された特徴量は次時刻の処理において一時刻前の特徴量として利用される。
続いて、入力された物体像の特徴量が当該物体像と対応付けられた移動物体の視点別特徴量３２に視点種別に応じて上書きされる。

視点種別が「物体前面への視点」であれば（Ｓ８０１にてＹＥＳ）視点別特徴量３２のうち物体前面への視点に対応する特徴量に物体像の特徴量が上書きされ（Ｓ８０２）、視点種別が「物体背面への視点」であれば（Ｓ８０３にてＹＥＳ）視点別特徴量３２のうち物体背面への視点に対応する特徴量に物体像の特徴量が上書きされ（Ｓ８０４）、視点種別が「物体側面への視点」であれば（Ｓ８０５にてＹＥＳ）視点別特徴量３２のうち物体側面への視点に対応する特徴量に物体像の特徴量が上書きされ（Ｓ８０６）、視点種別が「物体上面への視点」であれば（Ｓ８０７にてＹＥＳ）視点別特徴量３２のうち物体上面への視点に対応する特徴量に物体像の特徴量が上書きされる（Ｓ８０８）。
視点種別が「中間視点」又は「視点不明」の場合、視点別特徴量３２は更新されない。
このようにして特徴量更新手段４４８が更新した視点別特徴量３２は次時刻以降の処理において一時刻前までに得られた特徴量として利用される。

以上の説明では、特徴量として色ヒストグラムを例示したが、これに代えてエッジ方向の分布、輝度ヒストグラムなどの領域内の分布量、色や輝度の平均値や分散などいった人物像内の統計情報などを特徴量として利用することもできる。
また、以上の説明では、位置予測手段４４１が予測した現在位置を特徴量取得手段４４４に入力する例を示したが、これに代えて物体像抽出手段４０が算出した物体像の位置を入力することもできる。この場合、物体像抽出手段４０が算出した物体像の位置の夫々に追跡中の移動物体が移動したと仮定し、方向算出手段４４０が追跡中の移動物体と物体像抽出手段４０が抽出した物体像の組み合わせについて移動方向ψ及び速さｖを算出し、特徴量取得手段４４４がこれらの組み合わせごとに特徴量を取得すればよい。
また、以上の説明では、光軸を鉛直下方に向けて設置される撮像部２を例示したが、本発明は撮像部２の光軸が鉛直軸に対して傾けて設置される場合にも適用することができる。この場合、監視画像を水平面に射影する変換を物体位置に施し、水平面での移動方向と方位から相対移動方向を算出すればよい。

以上により、記憶した特徴量のうち現時刻の移動物体の視点に応じた特徴量を選択的に用いて対応付けを行うので、見え方が変化する複数の移動物体が混在する環境下において誤った対応付けを大幅に減じることがきる。

＜第二の実施形態＞
本発明の第二の実施形態として、撮像部２がインターホンの子機に設置され、宅前に長時間滞留する不審人物を検知する移動物体追跡装置１について説明する。
本形態の構成及び動作を、第一の実施形態と共通する図１の構成図及び図７のフローチャートにより説明する。尚、以下では第一の実施形態と共通する箇所を省略して説明する。
本形態において、撮像部２は、光軸を水平方向に向けて１メートル数十センチ程度の高さに設置され、監視空間である宅前路上を通行する人物を撮像する。レンズは一般的な広角レンズである。

図１１（ａ）（ｂ）は、本形態における監視画像のイメージ図である。監視空間は矩形の領域７０１内に映される。監視画像の中心に原点を、横方向にＸ軸を、縦方向にＹ軸を設定する。撮像部２の光軸は原点と一致している。
また、Ｘ座標がＸＬ未満の領域Ｌ、Ｘ座標がＸＬ以上ＸＲ以下の領域Ｃ、Ｘ座標がＸＲより大きい領域Ｒの３つの領域を定義する。

図１１（ａ）は、左方向（Ｘ軸の負方向）へ移動する人物が領域Ｌ，Ｃ，Ｒに位置するときの監視画像を表す図である。領域Ｌに位置する物体像７０２への視点は物体斜め背面への視点、領域Ｃに位置する物体像７０３への視点は物体側面への視点、領域Ｒに位置する物体像７０４への視点は物体斜め前面への視点となっている。

図１１（ｂ）は、左方向（Ｘ軸の正方向）へ移動する人物が領域Ｌ，Ｃ，Ｒに位置するときの監視画像を表す図である。領域Ｌに位置する物体像７０５への視点は物体斜め前面への視点、領域Ｃに位置する物体像７０６への視点は物体側面への視点、領域Ｒに位置する物体像７０７への視点は物体斜め背面への視点となっている。

図１１（ｃ）は以上に示した領域、移動方向に対する視点の関係をまとめた表である。
このように、監視画像における物体位置と移動方向によって視点が規則的に変化するので、物体位置と移動方向の組み合わせから視点を判定することができる。

本形態においては、第一の実施形態のように移動物体が真上から観測されることはなく、移動物体の姿勢変化のみを考慮する。また、Ｙ方向（奥行き方向）の移動に対する感度は低いので、Ｘ方向の位置及び速度のみを考慮する。

方向算出手段４４０は、記憶部３に記憶されている移動軌跡のＸ成分を分析して、Ｘ方向の移動方向（右向きか左向きか）及びＸ方向の速さを算出する。

記憶部３は、視点別特徴量３２として各移動物体について、物体斜め前面、物体側面、物体斜め背面の３つの視点に分類して特徴量を記憶する。

視点判定手段４４２は、まず、物体位置のＸ座標がＸＬ未満であれば当該移動物体は領域Ｌに位置し、同Ｘ座標がＸＬ以上ＸＲ以下であれば当該移動物体は領域Ｃに位置し、同Ｘ座標がＸＲより大きければ当該移動物体は領域Ｒに位置するものとして、物体位置を分類する。続いて視点判定手段４４２は位置の分類及び図１１（ｃ）の表に従い次のように視点判定を行う。
（１）速さｖ≦Ｔｖなら視点不明と判定
（２）１を満たさず、物体位置が領域Ｌかつ移動方向が右向き、又は物体位置が領域Ｒかつ移動方向が左向きなら物体斜め前面への視点と判定
（３）１を満たさず、物体位置が領域Ｃなら物体側面への視点と判定
（４）１を満たさず、物体位置が領域Ｌかつ移動方向が左向き、又は物体位置が領域Ｒかつ移動方向が右向きなら物体斜め背面への視点と判定
図７の視点判定処理（Ｓ５０）及び視点再判定処理（Ｓ７５）は上記（１）〜（４）に従った処理となる。

特徴量取得手段４４４は、次のようにして各移動物体の対応付けに最適な特徴量を取得する。
（１）視点不明なら前時刻特徴量３４を取得。
（２）物体斜め前面への視点、物体側面への視点、又は物体斜め背面なら視点別特徴量３２から各視点と対応付けて記憶されている特徴量を取得。
但し、該当する視点の特徴量が未だ記憶されていない場合は、前時刻特徴量３４を取得。
図７の特徴量取得処理（Ｓ５５）は上記（１），（２）に従った処理となる。

特徴量更新手段４４８は、次のようにして視点別特徴量３２、前時刻特徴量３４を更新する。
（１）前時刻特徴量３４を現時刻の特徴量に置き換える
（２）視点情報が物体斜め前面への視点、物体側面への視点、又は物体斜め背面のいずれかであれば、記憶部３に記憶されている視点別特徴量３２のうちそれぞれの視点に対応する特徴量を現時刻の特徴量で置き換える。視点に対応する特徴量が記憶部３に記憶されていなかった場合は新規に記憶する。
図７の特徴量更新処理（Ｓ８０）は上記（１），（２）に従った処理となる。

物体像抽出手段４０、特徴量抽出手段４２、異常判定手段４６、追跡手段４４を構成する対応付け手段４４６は第一の実施形態と同様である。
尚、上記説明では物体位置を３つに分類したが、３以上に細分類することも可能である。

本形態では、相対移動方向θを算出するまでもなく、物体位置と移動方向の組み合わせから簡易に視点を判定できる。また、合成処理を伴う中間視点を採用しておらず第一の実施形態で例示した特徴量以外にも物体像の形状やテクスチャなど、より多くの特徴量を採用できる。

＜第三の実施形態＞
次に、本発明の第三の実施形態として、互いに隣接して設置された複数の移動物体追跡装置が特徴量を交換することで、より広い監視空間を効率的に監視する例を説明する。

図１２は設置例である。移動物体追跡装置１ａ，１ｂ，…のそれぞれは、第一の実施形態と同様に撮像部２の光軸を鉛直下方に向け、天井に設置される。但し、隣り合う移動物体追跡装置１の撮像部２は互いに視野の一部を共有する程度の間隔で設置される。また、移動物体追跡装置１ａ，１ｂ，…は通信網６を介して互いに通信可能である。

本形態における移動物体追跡装置１の構成は、特徴量更新手段４４８に特徴量交換手段を含む点、記憶部３に自装置及び隣り合う他装置の設置情報、通信網６における自装置及び隣り合う他装置のアドレスを記憶している点が第一の実施形態と異なり、その余の構成は第一の実施形態と共通する。これらの相違点について説明する。

設置情報は、撮像部２の設置位置、設置高さ、設置角度（鉛直軸周り、水平軸周り）及び画角である。尚、設置情報の各値は装置間で共通するよう世界座標系の値とする。また、設置情報は事前に決定或いは計測され、予め記憶部３に記憶される。

特徴量交換手段は、新規出現した移動物体が存在する場合に他の移動物体追跡装置１へ当該移動物体の視点別特徴量３２の送信を要求する特徴量要求信号を通信部５へ送出し、通信部５が他の移動物体追跡装置１からの特徴量要求信号を受信した場合に特徴量要求信号により要求される移動物体の視点別特徴量３２を記憶部３から読み出して返信し、通信部５が他の移動物体追跡装置１からの視点別特徴量３２を受信した場合に記憶部３に受信した視点別特徴量３２を追加記憶する。
視野を共有する移動物体追跡装置１の間では物体位置により特徴量の交換対象となる移動物体を特定することができる。特徴量交換手段は、特徴量要求信号に新規出現した移動物体の位置を含めて送信し、受信した特徴量要求信号に含まれる物体位置を記憶部３に記憶している移動軌跡３０と比較して物体位置が合致する移動物体を特徴量要求信号により要求されている移動物体として識別する。

本形態における移動物体追跡装置１の動作について説明する。図７〜１０に示したフローチャートに係る動作は第一の実施形態と共通し、図１０に示した特徴量更新処理のフローチャートの最後（Ｓ８０９の手前）に図１３に示す特徴量交換手段の処理が挿入される。
以下、図１３を参照して特徴量交換手段の処理を説明する。

Ｓ８１０〜Ｓ８１４は、特徴量の送信要求に係る処理である。
まず、処理対象の移動物体が新規出現した移動物体であるか否かが判定される（Ｓ８１０）。すなわち当該移動物体の移動軌跡３０が１つの物体位置のみで構成されているか否かが判定される。新規出現した移動物体でなければ送信要求は行われず処理はＳ８２０へ進む。
一方、Ｓ８１０で新規出現した移動物体と判定されれば、移動軌跡３０に含まれる物体位置が世界座標系の座標に変換される（Ｓ８１１）。ピンホールカメラモデルなどのカメラモデルに、自装置の設置情報を適用して変換式を構成し、該変換式により物体位置を変換すればよい。
次に、変換された物体位置を視野に含む他の移動物体追跡装置１が選定される（Ｓ８１２）。隣り合う移動物体追跡装置１の視野は、上記カメラモデルに当該装置の設置情報を適用することで算出できる。
自装置が一番端に設置されているなど設置位置の関係から該当する他装置が選定できないことがある。Ｓ８１２にて該当する他装置が選定できなければ、送信要求は行われず処理はＳ８２０へ進む。
一方、Ｓ８１２にて該当する他装置が選定できれば（Ｓ８１３にてＹＥＳ）、自装置のアドレスを送信元、Ｓ８１２にて選定された移動物体追跡装置１のアドレスを送信先とし、Ｓ８１１にて変換された物体位置及び新規出現した移動物体の識別子を含めた特徴量要求信号が生成されて、該特徴量要求信号が通信部５へ出力される（Ｓ８１４）。通信部５は特徴量要求信号を通信網６へ送出する。

Ｓ８２０〜Ｓ８２３は、特徴量の返信に係る処理である。
まず、通信部５が他の移動物体追跡装置１から特徴量要求信号を受信しているか否かが確認される（Ｓ８２０）。受信していなければ特徴量の返信は行われず、処理はＳ８３０へ進む。
一方、特徴量要求信号の受信が確認されれば、追跡中の各移動物体の移動軌跡３０における最新の物体位置がＳ８１１と同様の変換式により世界座標系に変換され、変換された各物体位置と受信した特徴量要求信号に含まれる物体位置とが比較され、合致する物体位置を含んだ移動軌跡３０を有する移動物体が要求されている移動物体として識別される（Ｓ８２１）。識別できなければ特徴量の返信は行われず、処理はＳ８３０へ進む。
Ｓ８２１にて移動物体が識別できれば（Ｓ８２２にてＹＥＳ）、自装置のアドレスを送信元、特徴量要求信号の送信元を送信先とし、Ｓ８２１にて識別された移動物体の視点別特徴量３２及び特徴量要求信号に含まれていた移動物体の識別子を含む特徴量応答信号が生成されて、該応答信号が通信部５へ出力される（Ｓ８２３）。通信部５は特徴量応答信号を通信網６へ送出する。

Ｓ８３０，Ｓ８３１は、特徴量の受信及び更新に係る処理である。
まず、通信部５が他の移動物体追跡装置１から特徴量応答信号を受信しているか否かが確認される（Ｓ８３０）。受信していなければ特徴量の更新は行われず、処理は図１０のＳ８０９へ進む。
一方、特徴量応答信号の受信が確認されると、特徴量応答信号に含まれている特徴量を記憶部３の視点別特徴量３２に書き込む更新を行う（Ｓ８３１）。このとき更新対象となる視点別特徴量３２は特徴量応答信号に含まれている移動物体の識別子により特定することができる。その後、処理は図１０のＳ８０９へ進む。

以上のように特徴量交換手段を備えることで、未だ十分な視点別特徴量３２が収集できていない新規出現の移動物体に関し、他の移動物体追跡装置１から当該移動物体の視点別特徴量３２を取得することができる。そのため、視点別特徴量３２を用いた正確な追跡処理が短期間で開始可能となる。

＜第四の実施形態＞
本発明の第四の実施形態は、撮像部２の間で視野を共有する第三の実施形態に対し、各撮像部２が互いに視野を共有できないほど離れた間隔で設置される例である。
視野を共有しない本形態においては、要求されている移動物体を物体位置により識別することは困難である。そのため、本形態においては、要求されている移動物体を移動物体の特徴量により識別する。

本形態における移動物体追跡装置１の動作について説明する。図７〜１０に示したフローチャートに係る動作は第一の実施形態と共通し、図１０に示した特徴量更新処理のフローチャートの最後（Ｓ８０９の手前）に図１４に示す特徴量交換手段の処理が挿入される。
以下、図１４を参照して本形態における特徴量交換手段の処理について説明する。

Ｓ８４０〜Ｓ８４４は、特徴量の送信要求に係る処理である。
まず、移動軌跡３０が５つの物体位置で構成されているか否かを判定することで、新規出現した移動物体であるか否かが判定される（Ｓ８４０）。５時刻分の遅れを持たせるのは当該移動物体の移動方向ψを必要とするためである。新規出現した移動物体でなければ送信要求は行われず、処理はＳ８５０へ進む。
次に、新規出現した移動物体の移動方向ψが世界座標系の移動方向に変換され（Ｓ８４１）、変換された移動方向を１８０度回転させた移動元方向に視野を有する他の移動物体追跡装置１が選定される（Ｓ８４２）。図１３のＳ８１２で説明したようにして世界座標系での他の移動物体追跡装置の視野を算出し、世界座標系での新規出現した物体位置を基点に上記移動元方向に伸びる直線を算出し、この直線と交わる視野を有する移動物体追跡装置１を選定すればよい。尚、複数選定される場合は物体位置から最も短い距離で交わる移動物体追跡装置１が選定される。
移動元方向に他装置が設置されておらず、Ｓ８４２にて該当する他装置が選定できなければ、送信要求は行われず処理はＳ８５０へ進む。
一方、Ｓ８４２にて該当する他装置が選定されると（Ｓ８４３にてＹＥＳ）、自装置のアドレスを送信元、Ｓ８４２にて選定された移動物体追跡装置１のアドレスを送信先とし、処理対象の移動物体の現時刻における特徴量、視点情報（視点種別、相対移動方向θ、距離ｒ）及び当該移動物体の識別子を含めた特徴量要求信号が生成されて、該特徴量要求信号が通信部５へ出力される（Ｓ８４４）。通信部５は特徴量要求信号を通信網６へ送出する。

Ｓ８５０〜Ｓ８５４は、特徴量の返信に係る処理である。
まず、通信部５が他の移動物体追跡装置１から特徴量要求信号を受信しているか否かが確認される（Ｓ８５０）。受信していなければ特徴量の返信は行われず、処理はＳ８６０へ進む。
一方、特徴量要求信号の受信が確認されると（Ｓ８５０にてＹＥＳ）、既に消失したとされている移動物体について特徴量要求信号に含まれる視点情報と対応する特徴量を取得する（Ｓ８５１）。視野を共有しない場合、複数の移動物体追跡装置１の視野に同時に同一移動物体が存在することはないので、識別候補を消失物体に絞り込むことで誤った特徴量の交換が抑制される。視点情報に対応する特徴量は特徴量要求信号に含まれる視点情報を特徴量取得手段４４４に入力することで取得できる。
次に、既に消失したとされている移動物体全てについて、Ｓ８５１で取得された特徴量と、特徴量要求信号に含まれる特徴量の類似度が算出され、類似度が最大かつ該類似度が所定値以上である移動物体が要求されている移動物体として識別される（Ｓ８５２）。識別できなければ特徴量の返信は行われず、処理はＳ８６０へ進む。
一方、Ｓ８５２にて移動物体が識別されると（Ｓ８５３にてＹＥＳ）、自装置のアドレスを送信元、特徴量要求信号の送信元を送信先とし、Ｓ８５２において識別された移動物体の視点別特徴量３２及び特徴量要求信号に含まれていた移動物体の識別子を含む特徴量応答信号が生成されて、該応答信号が通信部５へ出力される（Ｓ８５４）。通信部５は特徴量応答信号を通信網６へ送出する。

Ｓ８６０，Ｓ８６１は、特徴量の受信及び更新に係る処理である。
まず、通信部５が他の移動物体追跡装置１から特徴量応答信号を受信しているか否かが確認される（Ｓ８６０）。受信していなければ特徴量の更新は行われず、処理は図１０のＳ８０９へ進む。
一方、特徴量応答信号の受信が確認されると（Ｓ８６０にてＹＥＳ）、特徴量応答信号に含まれている特徴量が記憶部３の視点別特徴量３２に書き込まれる（Ｓ８６１）。このとき更新対象となる視点別特徴量３２は特徴量応答信号に含まれている移動物体の識別子により特定することができる。その後、処理は図１０のＳ８０９へ進む。

以上のように特徴量交換手段を備えることで、視野を共有しない場合でも他の移動物体追跡装置１から新規出現の移動物体の視点別特徴量３２を取得することができる。そのため、視点別の特徴量を用いた正確な追跡処理が短期間で開始可能となる。
また、視点別の特徴量を用いた照合により交換すべき特徴量を正確に特定することできる。

移動物体追跡装置１の構成を示す図である。 第一の実施形態において物体位置と移動方向と視点の関係を示す図である。 第一の実施形態において移動物体の相対移動方向と視点の関係を示す図である。 記憶部３に記憶されている特徴量を示す図である。 第一の実施形態において視点判定に用いられる各パラメータを示す図である。 特徴量の合成比率を示す図である。 移動物体追跡処理のフローチャートを示す図である。 第一の実施形態における視点判定処理及び視点再判定処理のフローチャートを示す図である。 第一の実施形態における特徴量取得処理のフローチャートを示す図である。 第一の実施形態における特徴量更新処理のフローチャートを示す図である。 第二の実施形態において物体位置と移動方向と視点の関係を示す図である。 第三の実施形態における撮像部２の設置の様子を示す図である。 第三の実施形態における特徴量交換処理のフローチャートを示す図である。 第四の実施形態における特徴量交換処理のフローチャートを示す図である。

符号の説明

１ 移動物体追跡装置、２ 撮像部、３ 記憶部、４ 制御部、５ 通信部、３０ 移動軌跡、３２ 視点別特徴量、３４ 前時刻特徴量、４０ 物体像抽出手段、４２ 特徴量抽出手段、４４ 追跡手段、４６ 異常判定手段、４４０ 方向算出手段、４４１ 位置予測手段、４４２ 視点判定手段、４４４ 特徴量取得手段、４４６ 対応付け手段、４４８ 特徴量更新手段。

Claims (6)

1. 監視空間を順次撮像して移動物体を含む監視画像を出力する撮像手段と、前記監視画像から移動物体の物体像及び位置を抽出する物体像抽出手段と、前記物体像の特徴量を抽出する特徴量抽出手段と、前後する時刻に抽出された前記物体像のうち前記特徴量が類似する物体像を対応付けることにより移動物体の位置を追跡する追跡手段と、を備えた移動物体追跡装置において、
   前記追跡手段は、
   前後する時刻に抽出された移動物体の位置から当該移動物体の移動方向を算出する方向算出手段と、
   各時刻における移動物体の位置及び前記移動方向に基づき、当該時刻における前記撮像手段から当該移動物体への視点を判定する視点判定手段と、
   過去に抽出された前記特徴量を前記視点ごとに記憶する視点別特徴量記憶手段と、
   前記視点判定手段により判定された現時刻における前記視点に応じた特徴量を前記視点別特徴量記憶手段から取得する特徴量取得手段と、
   前記特徴量取得手段が取得した特徴量と前記特徴量抽出手段が抽出した特徴量とを比較して前記物体像を当該移動物体に対応付ける対応付け手段と、
   を備えたことを特徴とする移動物体追跡装置。
   
2. 請求項１に記載の移動物体追跡装置であって、
   前記視点判定手段は、前記移動方向を前記撮像手段から移動物体の位置への方位を基準とした相対移動方向に変換し、当該相対移動方向に対する視点を判定する移動物体追跡装置。
   
3. 請求項１に記載の移動物体追跡装置において、
   前記視点判定手段は、移動物体の位置及び前記移動方向の組み合わせから当該移動物体の前記視点を判定する移動物体追跡装置。
   
4. 請求項２に記載の移動物体追跡装置において、
   前記特徴量取得手段は、前記相対移動方向が前記視点別特徴量記憶手段にて前記特徴量を記憶している複数の視点の中間方向である場合に、当該複数の視点の特徴量を前記相対移動方向に応じた割合で合成する移動物体追跡装置。
   
5. 請求項１乃至４に記載の移動物体追跡装置において、
   一時刻前に抽出された特徴量を記憶する前時刻特徴記憶手段、をさらに備え、
   前記方向算出手段は前後する時刻に抽出された移動物体の位置から当該移動物体の速さをさらに算出し、
   前記特徴量取得手段は、前記速さが所定値未満である場合は前記前時刻特徴記憶手段に記憶されている特徴量を取得する移動物体追跡装置。
   
6. 請求項１乃至５に記載の移動物体追跡装置において、
   通信網により接続されて他の移動物体追跡装置との通信を行う通信手段と、
   前記対応付け手段にて対応付けできない新規移動物体の前記物体像が存在する場合に当該物体像の情報を含む特徴量要求信号を他の移動物体追跡装置へ送信し、他の移動物体追跡装置から前記特徴量要求信号を受信した場合に当該特徴量要求信号に含まれる前記物体像の情報に基づいて前記視点別特徴量記憶手段に記憶している特徴量の中から前記新規移動物体の特徴量を選択して返信し、他の移動物体追跡装置から前記新規移動物体の特徴量を受信した場合に受信した特徴量を前記視点別特徴量記憶手段に追加記憶する特徴量交換手段と、をさらに備えた移動物体追跡装置。
   
   

Images