JP5552069B2 - 移動物体追跡装置 - Google Patents

Description

本発明は、画像処理により移動物体を追跡する移動物体追跡装置に関し、特に障害物が存在する空間内を移動する移動物体を追跡する移動物体追跡装置に関する。

従来、対象物の位置を精度良く追跡するために、対象物が存在し得ない領域における対象物の誤検出を排除することが行われてきた。例えば、特許文献１に記載の人物位置推定方法では、部屋の広さや机・棚などの撮影空間の情報を利用して、人の存在し得ない領域にて推定された人物位置を排除する。すなわち、障害物の有無により人が存在し得るか否かが判定されていた。

特開２００７−２３３５２３号公報

しかしながら、壁・机・棚など種々の障害物を一律に取り扱うと人物位置を精密に追跡することが難しくなるという問題があった。具体的には、人よりも低い机などが障害物である場合は、人がその近傍を通ったりそれに寄りかかったりして人物位置が障害物上にはみ出すことがある一方で、人よりも高い壁などが障害物である場合は人物位置が障害物上にはみ出すことはない。また、単に棚といってもその高さが異なれば、その上にはみ出し得るか否かに相違が生じる。このような障害物が配置された領域への人物のはみ出しを考慮せずに、一律に障害物の領域を人が存在し得ない領域と定義してしまうと、人物位置推定の微小誤差により当該領域の周辺で人物位置が排除されたりされなかったりすることが起こる。また、パーティクルフィルタのように多数設定された人物位置の仮説から確率的に人物位置を決定する場合、人が存在し得ないと定義された領域の仮説が排除されると、人が障害物の上にはみ出している量にかかわらず人物位置は障害物が配置された領域の外側にしか決定されない。

図８は上記問題を説明するための図であり、人９０が障害物９１（例えば、棚）の上に寄りかかった様子を示す模式図である。図８（ａ）は横方向から見た図、図８（ｂ）は上から見た図であり、人物の本来の重心位置を図８（ｂ）にて“×”印で示している。従来技術のように障害物９１の領域を人９０が存在し得ない領域として定義すると、図８に示すように障害物９１の領域に検出された重心位置は、誤検出として排除される。また、同定義に従いパーティクルフィルタにて障害物９１上に設定された仮説を排除すると、人物位置は障害物９１から離れた位置に決定され、人物位置として好適である重心位置から大きくずれ得る。

このように従来技術によれば、障害物付近における追跡結果が不安定になるおそれがあるという問題があった。

本発明は上記課題を鑑みてなされたものであり、障害物付近においても移動物体を高精度に追跡することが可能な移動物体追跡装置を提供することを目的とする。

本発明に係る移動物体追跡装置は、所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する移動物体を追跡するものであって、注目時刻において前記移動物体が存在し得る候補位置を複数予測する位置予測部と、前記注目時刻の前記画像における前記候補位置に対応する部分から抽出される前記移動物体の特徴量に応じて当該候補位置における前記移動物体の存在確度を算出し、前記複数の候補位置ごとの前記存在確度を用いて前記移動物体の位置を判定する物体位置判定部と、前記空間内にて前記移動を妨げる障害物が存在する障害領域及び当該障害物の高さを予め記憶する記憶部と、前記存在確度に対するペナルティ値として、前記障害物の前記高さに応じた値を当該障害物の前記障害領域に設定するペナルティ設定部と、を有し、前記物体位置判定部は、前記候補位置に前記ペナルティ値が設定されている場合に、当該ペナルティ値に応じて当該候補位置の前記存在確度を低めて前記判定を行う。

他の本発明に係る移動物体追跡装置においては、前記ペナルティ設定部は、前記障害物の高さと共に増加して前記障害物の高さが前記移動物体の高さ以上であるときに最大となる前記ペナルティ値を設定する。当該移動物体追跡装置において、前記ペナルティ設定部は、前記移動物体に備わる所定の関節部の高さにて段階的に増加する前記ペナルティ値を設定する構成とすることができる。

さらに他の移動物体追跡装置においては、前記ペナルティ設定部は、前記障害領域のうち当該障害領域の周に沿った所定幅の内縁領域にて当該障害領域の周に近づくほど減少させて前記ペナルティ値を設定する。当該移動物体追跡装置において、前記ペナルティ設定部は、前記内縁領域の幅を前記移動物体の高さから前記障害物の高さを引いた残りの高さに応じて設定する構成とすることができる。

別の本発明に係る移動物体追跡装置においては、前記ペナルティ設定部は、前記障害領域の周に沿って外側に前記移動物体の幅に応じた幅で設定される外縁領域に、前記障害領域内よりも小さい値の前記ペナルティ値を設定する。

本発明によれば、移動物体の位置判定に際し、障害物の高さに応じて移動物体が障害物の上にはみ出す影響が評価に含められるので、障害物付近での移動物体の位置の判定精度の向上が図れる。

本発明の実施形態に係る移動物体追跡装置のブロック構成図である。 三次元モデルの一例を模式的に示す斜視図である。 図２の三次元モデルにより模擬される監視空間のペナルティマップの例を示している。 障害領域及び外周領域でのペナルティマップを説明する模式図である。 障害物の高さに応じたペナルティ値の最大値の変化の態様を示す模式的なグラフである。 本発明の実施形態に係る移動物体追跡装置の追跡処理の概略のフロー図である。 位置予測部及び物体位置判定部による処理例を概念的に示す模式図である。 従来技術の問題を説明するための模式図である。

以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、什器が配置された部屋を監視対象の空間とし、当該監視空間内を移動する人物を追跡対象物（以下、移動物体と称する）とする。移動物体追跡装置１は監視空間を撮像した監視画像を処理して移動物体の追跡を行う。ここで、監視空間において什器が設置された領域は移動物体の進行を妨げる障害領域である。障害領域の他の例としては壁や柱や給湯器などがある。障害領域は移動せず予めその位置が判っている。なお、監視空間は屋内に限定されず屋外であってもよい。屋外の場合、家屋、塀、各種エクステリアの他、池や堀等が障害領域となる。本移動物体追跡装置１は障害領域の存在に配慮して追跡処理を行うように構成され、追跡の精度向上を図っている。

［移動物体追跡装置の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、設定入力部３、記憶部４、制御部５及び出力部６を含んで構成される。撮像部２、設定入力部３、記憶部４及び出力部６は制御部５に接続される。

撮像部２は監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部５へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮像部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。

設定入力部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。

記憶部４は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部４は、各種プログラムや各種データを記憶し、制御部５との間でこれらの情報を入出力する。各種データには、三次元モデル４０、ペナルティマップ４１、カメラパラメータ４２、予測位置４３、物体位置４４及び背景画像が含まれる。

三次元モデル４０は、監視空間（実空間）を模した仮想空間に移動物体の立体形状を近似した移動物体モデル及び／又は障害物の立体形状を近似した障害物モデルを配置した状態を記述したデータである。障害物は障害領域を形成する物体や地形である。本実施形態では、監視空間及び仮想空間をＸ，Ｙ，Ｚ軸からなる右手直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。また、床面等の基準面は水平であり、Ｚ＝０で表されるＸＹ平面で定義する。仮想空間内での障害物モデルの配置は監視空間内での実際の障害物の配置に合わせる。一方、移動物体モデルの配置は任意位置に設定することができる。

障害物モデルは、移動物体の検出・追跡処理に先だって予め障害物毎に設定される。障害物モデルは、監視空間に実在する障害物の形状・寸法のデータ、及び監視空間での障害物の配置のデータであり、当該障害物が基準面に対して占める障害領域と当該障害物の高さの情報とを含む。障害物の形状・寸法は監視空間に置かれる障害物を実測して取得することができるほか、例えば什器メーカー等が提供する製品の三次元データを利用することもできる。障害物の配置は実測により取得できるほか、例えばコンピュータ上で部屋の什器レイアウトを設計した場合にはその設計データを利用することもできる。このようにして得られた障害物に関するデータは、設定入力部３又は外部機器との接続インターフェース（図示せず）から制御部５に入力され、制御部５は当該入力データに基づいて記憶部４に障害物モデルを格納する。

移動物体モデルは、例えば、移動物体を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。移動物体追跡装置１が監視対象とする移動物体は立位の人であり、本実施形態では、例えば、人の頭部、胴部、脚部の３部分の立体形状を近似する回転楕円体をＺ軸方向に積み重ねた移動物体モデルを設定する。基準面から頭頂までの高さをＨ、胴部の最大幅（胴部短軸直径）をＷで表す。本実施形態では説明を簡単にするため、高さＨ、幅Ｗは標準的な人物サイズとし任意の移動物体に共通とする。また、頭部中心を移動物体の代表位置とする。なお、移動物体モデルはより単純化して１つの回転楕円体で近似してもよい。移動物体モデルの立体形状に関するデータは、追跡処理に先立って記憶部４に格納される。

また、記憶部４に移動物体モデルとして格納されるデータは、追跡対象の移動物体を個々に特徴付ける参照情報として、監視画像から抽出された各移動物体の特徴量（例えば色ヒストグラムなどの画像特徴）を含む。当該移動物体の特徴量は、入力画像にて追跡対象となる移動物体が新規に検出されると、当該検出位置に対応した画像領域から抽出され、記憶部４に格納される。なお、移動物体モデルの形状に関するデータも移動物体の画像特徴を抽出する際に参照情報として用いられ監視画像と対比される。

図２は、三次元モデル４０の一例を模式的に示す斜視図であり、監視空間をＮ×Ｍ×Ｋの位置座標に離散化した仮想空間の基準面１００、カメラ位置１０１、障害物＃１，＃２の障害物モデル１０２，１０３及び移動物体モデル１０４の配置例を示している。障害物＃１は人物の高さＨより低く、おおよそ人物の腰の高さである。障害物＃２は人物の高さＨより高い。

ペナルティマップ４１は、監視空間の各位置において移動物体が存在し得ない度合いを表すペナルティ値を当該位置と対応付けたデータである。移動物体の存在を妨げる要因は障害物であり、ペナルティ値として少なくとも障害領域内に正の値が設定され、好ましくはさらに障害領域の周囲にも正の値が設定される。障害領域内には対応する障害物が高いほど大きなペナルティ値が設定される。

図３は、図２の三次元モデル４０により模擬される監視空間のペナルティマップ４１の例を示している。ペナルティマップ４１は、基準面に対応して位置を表すＸ軸及びＹ軸と、Ｘ軸及びＹ軸と直交してペナルティ値を表すＰ軸とを有する。障害物＃１が存在する障害領域及びその周辺に、障害物＃１によるペナルティ値２００が設定されており、障害物＃２が存在する障害領域及びその周辺に、障害物＃２によるペナルティ値２０１が設定されている。障害物＃１よりも障害物＃２の方が高いため、ペナルティ値２００よりもペナルティ値２０１の方が大きく設定される。障害物から離れた位置におけるペナルティ値は０である。一点鎖線はペナルティ値が０になる位置を表している。

カメラパラメータ４２は、撮像部２が監視空間を投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが予め設定入力部３から入力され、記憶部４に格納される。公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４２を適用した座標変換式により、三次元モデル４０を監視画像の座標系（撮像部２の撮像面；ｘｙ座標系）に投影できる。

予測位置４３（仮説）は、各時刻における移動物体の位置の予測値（予測位置）に関する情報である。確率的に移動物体の位置（物体位置）を判定するために予測位置は移動物体ごとに多数（その個数をαで表す。例えば１移動物体あたり２００個）設定される。具体的には、予測位置４３は、移動物体の識別子と、各時刻における予測位置のインデックス（０〜α−１）及びその位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。

物体位置４４は各時刻における移動物体の位置に関する情報であり、具体的には、移動物体の識別子と位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。

なお、予測位置４３、物体位置４４を監視空間の水平面座標（ＸＹ座標系）で特定する構成として処理を高速化することができる。本実施形態では、理解を容易にするために当該構成を例に説明する。

制御部５は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、ペナルティ設定部５０、変化画素抽出部５１、位置予測部５２、物体位置判定部５３及び異常判定部５４として機能する。

ペナルティ設定部５０は、障害物モデルと移動物体モデルを参照してペナルティマップ４１を作成し、作成されたペナルティマップ４１を記憶部４に記憶させる。具体的にはペナルティ設定部５０は、後述する移動物体の予測位置に対応して算出される評価値に対するペナルティ値を基準面上の各位置に設定する。評価値が監視画像の画像特徴に基づいて算出される、監視空間の各位置での移動物体が存在する尤もらしさの度合いを表すのに対し、ペナルティ値は障害物の存在に基づいて算出される、監視空間の各位置での移動物体が存在し得ない度合いを表す。

ペナルティ設定部５０は少なくとも障害物が存在する障害領域にペナルティ値を設定する。このペナルティ値は移動物体の各障害物上へのはみ出しやすさに対応するものであり、高い障害物ほど大きな値が設定される。この障害物ごとのペナルティ値の最大値を固有ペナルティ値と称する。固有ペナルティ値は、障害物の高さに応じて増加するように設定される。この固有ペナルティ値は、単純に障害物の高さに応じて定義することもできる他、本実施形態で行うように障害物の高さと移動物体の高さとの関係を考慮に入れて定義することもできる。

具体的にはペナルティ設定部５０は、各障害物の障害領域におけるペナルティ値の最大値（固有ペナルティ値）Ｐｈを、障害物の高さｈが０のときに後述する尤度の下限値Ｐｍｉｎ（＝０．０）に、また、障害物の高さｈが移動物体の高さＨ以上（ｈ≧Ｈ）であるときに後述する尤度の上限値Ｐｍａｘ（例えば１．０）に設定し、障害物の高さｈが０≦ｈ＜Ｈなる範囲にある場合はＰｈをｈに応じて増加させる。例えば０≦ｈ＜ＨにてＰｈをｈの比例関数に設定することができる（図５（ａ））。このように設定することで、例えば障害物が人の肩の高さの棚である場合よりも腰の高さのテーブルである場合の方が、物体位置が障害領域内に判定され易くなり、実態に即した物体位置の判定が可能となる。また例えば人の身長を越える高い棚、壁又は柱のような障害領域には上限値Ｐｍａｘが設定され、この障害領域にはみ出す物体位置は判定されなくなるので、正しい物体位置が判定できる。

また、移動物体のはみ出しは障害物の縁部で生じやすいことに対応してペナルティ設定部５０は障害領域のうち障害物の中心よりも縁部のペナルティ値を小さく設定する。具体的には、ペナルティ設定部５０は、障害領域のうち当該障害領域の周に沿って設定する縁部（内縁領域）を除いた内部領域ではペナルティ値として当該障害領域に対応する障害物の固有ペナルティ値Ｐｈを設定し、内縁領域では障害領域の周に近づくほど固有ペナルティ値から減少するペナルティ値を設定する。

ペナルティ設定部５０は、縁部の幅ｕを移動物体の高さから障害物の高さを引いた残りの高さに応じて設定する。すなわち、各障害領域の縁部の幅ｕは、当該障害領域に対応する障害物の高さが移動物体の高さより低いほど広く設定する。このように設定した縁部の幅ｕは人体が障害物上にはみ出し得る部分の大きさに相当する。例えば障害物が人の肩の高さの棚である場合は肩から上がはみ出し可能であるが、腰の高さのテーブルである場合は上半身全体がはみ出し可能である。この設定によりさらに実際的な物体位置の判定が可能となる。

また、ペナルティ設定部５０は、移動物体の幅Ｗに応じた広さの障害物の外周領域（外縁領域）にも正のペナルティ値を設定するように構成することができる。この構成は、人や動物などの移動物体は概して障害物にぶつかるような動きを選択することが少ないことに基づく。外周領域のペナルティ値は基本的には、移動物体の障害領域へのはみ出しを許容することとの整合性をとるために障害領域内よりも低く設定される。

ペナルティ設定部５０は例えば、外周領域の幅を１．５Ｗに設定し、障害領域の境界から外側へ距離１．５Ｗの位置でのペナルティ値ｐを０に定め、当該位置から外周領域の内側へ向けてペナルティ値を増加させる。本実施形態では、ペナルティ設定部５０は障害領域の内側に縁部を設定し、例えば、外周領域及び縁部での位置に応じて、ペナルティ値を障害領域から外側への距離１．５Ｗの位置での値０から内側への距離ｕの位置での値Ｐｈまで、連続的に変化させる。尚、移動物体の高さと障害物の高さとの差に基づいて設定される縁部の幅ｕが障害領域の幅よりも大きくなる場合、ペナルティ設定部５０は障害領域の中心でペナルティ値が最大値Ｐｈとなるように、縁部、又は縁部及び外周領域でのペナルティ値の変化関数に補正を加える。

上述のようなペナルティ値を用いることで障害領域における移動物体の存在を一律に排除する処理ではなく、移動物体の位置が障害領域内に存在することを限定的に許容する処理が可能となる。また、外周領域のペナルティ値は移動物体の位置が障害領域に近づきにくくする作用をもたらす。

図４は障害領域及び外周領域でのペナルティマップ４１を説明する模式図である。同図は、横軸を障害領域の境界を原点とした距離ｄを表す軸、縦軸をペナルティ値ｐを表す軸として、障害領域の境界に直交する線に沿ったペナルティ値の変化を太線で示している。ｄ軸にて原点より左側が外周領域、右側が障害領域である。図４は障害物の高さｈが異なる４つの場合を示しており、障害物の断面を図中にて斜線で示している。また、移動物体である人の形状を点線で示している。図の右側のｚ軸は、これら障害物及び移動物体の高さに関する座標軸である。上述のようにペナルティ値の最大値Ｐｍａｘは移動物体の高さＨに対応して設定され、各障害物の固有ペナルティ値Ｐｈは障害物の高さｈに対応して設定されることから、ｐ軸上のＰｍａｘ及びＰｈとｚ軸上のＨ及びｈとを縦方向の同じ位置に揃えて示している。

障害物の高さは図４にて（ａ）から（ｄ）への順で高くなり（ｄ）の障害物はＨより高い。これに対応して、ペナルティ値の最大値Ｐｈ（平らな部分）は（ａ）から（ｄ）への順で高くなり（ｄ）では上限値Ｐｍａｘとなる。なお、図４における障害物の高さに応じたＰｈの変化は図５（ａ）に示す例に従っている。縁部の幅ｕは、移動物体が障害物を越える高さに応じて（ａ）から（ｄ）への順で狭くなり（ｄ）で０に設定される。（ａ）から（ｄ）を比べるとそれらの内部領域及び縁部のいずれにおいても、互いに対応する位置でのペナルティ値は（ａ）（ｂ）（ｃ）（ｄ）の順に増加している。

ペナルティ値は、障害領域の内側へ距離ｕの位置から外側に向かって単調に減少する減衰曲線に基づいて設定され、障害領域の境界から離れる方向へ距離１．５Ｗの位置で０となる。移動物体モデルが障害物モデルと接する、又は干渉する位置が物体位置として判定されにくくするために外周領域の幅は少なくともＷ／２は必要である。一方、障害物から離れた物体位置が判定されにくくならないように外周領域の幅は２Ｗ程度を上限とするのがよい。また、障害物が高いほど移動物体の障害物上へのはみ出しが抑制され、物体位置が障害領域の外側へ退けられやすくなることを反映させるために、縁部及び外周領域でのペナルティ値の減衰曲線の減衰率を幅ｕが狭くなるほど高く設定するのがよい。図４に示す例では減衰曲線を指数関数により設定している。

図５は、障害物の高さｈに応じた固有ペナルティ値Ｐｈの変化の態様を示す模式的なグラフである。図５において横軸が障害物の高さｈであり、縦軸が固有ペナルティ値Ｐｈである。図５（ａ）は０≦ｈ＜ＨにてＰｈがｈの比例関数で表される構成を示しており、上述した構成はこの関数を用いた例を説明した。

他の構成例では、０≦ｈ＜ＨでのＰｈを表す関数は、移動物体に備わる所定の関節部の高さにて段階的に増加するものに設定される。図５（ｂ）のステップ関数がこの構成を示している。具体的には、人体において膝、股関節（股下）、腰、脇(肩）、首などを、主要な関節部として定め、当該関節部の高さごとに段階的にペナルティ値の最大値Ｐｈを設定する。関節部の高さは人体の標準体格に合わせて予め設定することができる。例えば、当該関節部の高さを移動物体モデルの一部として記憶部４に記憶し、ペナルティ設定部５０は障害物の高さｈを記憶部４から読み出した関節部の高さと比較して、当該障害物に対するＰｈを設定する。なお、関節部の高さとＰｈとの対応関係も予め記憶部４に格納し、ペナルティ設定部５０はこれを読み出して障害物の高さに応じたＰｈを設定する。また、関節部の高さに応じて段階的に変化するＰｈの関数を予め設定し、ペナルティ設定部５０が当該関数を計算してＰｈを設定する構成とすることもできる。関節での身体の屈曲は人体が障害物上にはみ出す主な原因となり、どの関節部が障害物より上にあるかは人体が障害物上へのはみ出し易さやはみ出し量の大小に影響を与える。よって、このように関節を考慮したＰｈの設定は、移動物体の位置の判定精度向上に好適である。その際、様々な関節についてその可動域を考慮することが理想的であるがモデルが複雑となる。その点、上述のような主要な関節部の高さを考慮する構成は身体の屈曲の影響を少ないパラメータで簡易に表現し、物体位置の判定に反映させることができる。

さらに別の構成例は主要関節部の高さに合わせて傾きを連続的に変化させた関数である。図５（ｃ）はその一例であり、図５（ｂ）のステップ関数を曲線近似した関数である。

変化画素抽出部５１は、撮像部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を物体位置判定部５３へ出力する。そのために変化画素抽出部５１は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。変化画素は背景画像を参照情報として監視画像との対比により抽出される移動物体の画像特徴である。なお、差分処理に代えて新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。

位置予測部５２（仮説設定部）は、移動物体の過去の位置情報（物体位置４４又は予測位置４３）を用いて当該移動物体の動き予測を行い、移動物体の現時刻における移動先の候補位置である複数の予測位置を求める。

まず、位置予測部５２は、過去に判定された各移動物体の物体位置又は過去に設定された各移動物体の予測位置から動き予測を行なって、新たに監視画像が入力された時刻において移動物体が存在する位置を予測し、予測された位置（予測位置）を物体位置判定部５３へ出力する。上述したように予測位置は各移動物体に対してα個設定される。このように多数の予測位置を順次設定して確率的に移動物体の位置（物体位置）を判定する方法はパーティクルフィルタなどと呼ばれ、設定される予測位置は仮説などと呼ばれる。予測位置は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間のＸＹＺ座標系で設定する。動き予測は過去の位置データに所定の運動モデルを適用するか、又は所定の予測フィルタを適用することで行なわれる。

物体位置判定部５３は、監視画像及び監視空間内において対象物が存在し得る候補位置を入力され、各候補位置に対応して現時刻の監視画像から抽出される移動物体の特徴量に応じた評価値を算出する。そして、各候補位置の当該評価値に基づいて移動物体の位置を判定し、判定結果を記憶部４に記憶させる。候補位置は位置予測部５２から入力された予測位置である。

物体位置判定部５３は、ペナルティ値を加味して移動物体の各予測位置に当該移動物体が存在する確度を算出する存在確度算出部５３０（尤度算出部）及び各予測位置の評価から移動物体ごとに１つの物体位置を判定する物体位置算出部５３１を含んで構成される。以下、存在確度算出部５３０及び物体位置算出部５３１について詳説する。

存在確度算出部５３０は、監視画像において各移動物体の予測位置に対応する領域から当該移動物体の特徴量を抽出し、特徴量の抽出度合いに応じた、当該予測位置の物体位置としての尤度を存在確度として算出して物体位置算出部５３１へ出力する。このとき存在確度算出部５３０は、ペナルティマップ４１を参照して、予測位置に（正の）ペナルティ値が設定されている場合に、当該ペナルティ値により当該予測位置の尤度を低める補正を行なう。

予測位置のＸＹ座標を（Ｘ，Ｙ）、当該予測位置に対する補正前の尤度をＬ０（Ｘ，Ｙ）、当該位置のペナルティ値をｐ（Ｘ，Ｙ）とすると、当該予測位置に対する補正後の尤度Ｌ（Ｘ，Ｙ）は次式（１）のように補正前の尤度からペナルティ値を減算することによって算出される。
Ｌ（Ｘ，Ｙ）＝Ｌ０（Ｘ，Ｙ）−ｐ（Ｘ，Ｙ） ・・・（１）

ちなみに上述したペナルティ値の値域［０，１］は尤度の値域が［０，１］であることに対応させている。ペナルティ値の値域を［０，１］に正規化していない場合には、（１）式の右辺の減算結果が０未満となり得るが、その場合のＬ（Ｘ，Ｙ）は０と定義する。

また、補正後の尤度Ｌ（Ｘ，Ｙ）は次式（２）のように、ペナルティ値の上限値Ｐｍａｘ（ここでは“１”に正規化されているとする。）からペナルティ値を減算した値を補正係数として、補正前の尤度に乗じて算出してもよい。
Ｌ（Ｘ，Ｙ）＝Ｌ０（Ｘ，Ｙ）×｛１−ｐ（Ｘ，Ｙ）｝ ・・・（２）

なお、ここではペナルティ値は図５に示すように［０，Ｐｍａｘ］なる範囲で定義している。一方、ペナルティ値自体はＰｍａｘを越えて設定することを許容し、（２）式で示す補正段階にて、ｐ（Ｘ，Ｙ）＞ＰｍａｘのときはＬ（Ｘ，Ｙ）は０と定義することにしてもよい。

補正前の尤度Ｌ０は次のように算出される。存在確度算出部５３０は、障害物モデルを所定位置に配置するとともに予測位置に移動物体モデルを仮想的に配置した三次元モデル４０を生成する。そして、カメラパラメータ４２を用いて三次元モデル４０を撮像部２の撮像面に投影して移動物体モデルの非隠蔽領域を求め、下記（１）〜（４）のいずれかの方法で尤度を算出する。ここで、非隠蔽領域は、注目している移動物体モデルが障害物や他の移動物体により隠蔽されずに監視画像上に像として現れる領域である。
（１）変化画素抽出部５１により抽出された変化画素に非隠蔽領域を重ね合わせ、変化画素が非隠蔽領域に含まれる割合（包含度）を求める。包含度は、予測位置が現に移動物体が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。そこで、当該包含度の高さに応じた尤度を算出する。
（２）監視画像における非隠蔽領域の輪郭に対応する部分からエッジを抽出する。予測位置が現に移動物体が存在する位置に近いほど、非隠蔽領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は高くなり、一方、遠ざかるほど抽出度は低くなりやすい。そこで、エッジの抽出度の高さに応じた尤度を算出する。
（３）各移動物体の過去の物体位置における非隠蔽領域から抽出された特徴量を当該移動物体の参照情報として記憶部４に記憶する。予測位置が現に移動物体が存在する位置に近いほど背景や他の移動物体の特徴量が混入しなくなるため、非隠蔽領域から抽出された特徴量と参照情報との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から非隠蔽領域内の特徴量を抽出し、抽出された特徴量と参照情報との類似度を尤度として算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。
（４）また上述した包含度、エッジの抽出度、類似度のうちの複数の度合いの重み付け加算値に応じて尤度を算出してもよい。

なお、尤度を評価値にする代わりに上述した包含度、エッジの抽出度、類似度又はこれらの２以上を組み合わせた値を評価値とすることもできる。

物体位置算出部５３１は、移動物体の各予測位置、及び当該予測位置ごとに算出された尤度から当該移動物体の位置（物体位置）を判定し、判定結果を記憶部４に移動物体ごとに時系列に蓄積する。なお、全ての尤度が所定の下限値（尤度下限値）未満の場合は物体位置なし、つまり消失したと判定する。下記（１）〜（３）は物体位置の算出方法の例である。
（１）移動物体ごとに、尤度を重みとする予測位置の重み付け平均値を算出し、これを当該移動物体の物体位置とする。
（２）移動物体ごとに、最大の尤度が算出された予測位置を求め、これを物体位置とする。
（３）移動物体ごとに、予め設定された尤度閾値以上の尤度が算出された予測位置の平均値を算出し、これを物体位置とする。ここで、尤度閾値＞尤度下限値である。

異常判定部５４は、記憶部４に蓄積された時系列の物体位置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部６へ異常信号を出力する。

出力部６は警告音を出力する音響出力手段、異常が判定された監視画像を表示する表示手段、又は通信回線を介して警備会社のセンタ装置へ送信する通信手段などを含んでなり、異常判定部５４から異常信号が入力されると異常発生の旨を外部へ出力する。

［移動物体追跡装置の動作］
次に、移動物体追跡装置１の追跡動作を説明する。図６は移動物体追跡装置１の追跡処理の概略のフロー図である。

追跡処理が開始されると、制御部５はペナルティマップ４１が作成されているかを確認し（Ｓ１）、作成されていなければペナルティ設定部５０がペナルティマップ４１を作成し記憶部４に保存する（Ｓ２）。

移動物体追跡装置１はペナルティマップ４１が記憶部４に記憶されている状態で、監視画像ごとに移動物体の物体位置を判定する実質的な追跡処理（ステップＳ３〜Ｓ１６）を開始する。

制御部５は、撮像部２が監視空間を撮像するたびに監視画像を入力される（Ｓ３）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。

現画像は変化画素抽出部５１により背景画像と比較され、変化画素抽出部５１は変化画素を抽出する（Ｓ４）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部４に記憶させ、便宜的に変化画素なしとする。

また、位置予測部５２は追跡中の各移動物体に対して動き予測に基づきα個の予測位置を設定する（Ｓ５）。なお、後述するステップＳ１６にて新規出現であると判定された移動物体の予測位置は動き予測不能なため出現位置を中心とする広めの範囲にα個の予測位置を設定する。また、後述するステップＳ１６にて消失と判定された移動物体の予測位置は削除する。

制御部５は、ステップＳ４にて変化画素が抽出されず、かつステップＳ５にて予測位置が設定されていない（追跡中の移動物体がない）場合（Ｓ６にて「ＹＥＳ」の場合）はステップＳ３に戻り、次の監視画像の入力を待つ。

一方、ステップＳ６にて「ＮＯ」の場合は、ステップＳ７〜Ｓ１６の処理を行う。制御部５は追跡中の各移動物体を順次、注目物体に設定する（Ｓ７）。続いて、制御部５は注目物体の各予測位置を順次、注目位置に設定する（Ｓ８）。但し、監視画像の視野外である予測位置は注目位置の設定対象から除外し、当該予測位置における物体領域は推定せず、尤度を０に設定する。

存在確度算出部５３０は仮想空間にて注目位置に移動物体モデルを配置し、移動物体モデル及び障害物モデルが配置された三次元モデル４０を生成する。そして、カメラパラメータ４２を用いて三次元モデル４０を撮像部２の撮像面に投影して移動物体モデルの非隠蔽領域を求め、これを実空間における移動物体の非隠蔽領域と推定する（Ｓ９）。そして、推定した非隠蔽領域に基づいて、注目位置に対応した補正前の尤度Ｌ０を算出する（Ｓ１０）。

存在確度算出部５３０は、ペナルティマップ４１を参照して注目位置におけるペナルティ値Ｐを取得する。注目位置にペナルティ値Ｐが設定されている場合は（Ｓ１１にて「ＹＥＳ」の場合）、存在確度算出部５３０は上述の（１）式等を用いた尤度補正を行い補正された尤度Ｌを算出する（Ｓ１２）。なお、注目位置にペナルティ値Ｐが設定されていない（Ｐ＝０である）場合（Ｓ１１にて「ＮＯ」の場合）には尤度補正の演算を行わず、注目位置のＬ０をそのまま当該位置の尤度Ｌと定める。

制御部５は、尤度が算出されていない予測位置が残っている場合（Ｓ１３にて「ＮＯ」の場合）、ステップＳ８〜Ｓ１２を繰り返す。α個全ての予測位置について尤度が算出されると（Ｓ１３にて「ＹＥＳ」の場合）、物体位置算出部５３１が注目物体の各予測位置（Ｘ，Ｙ）と当該予測位置のそれぞれについて算出された尤度Ｌ（Ｘ，Ｙ）とを用いて注目物体の物体位置を算出する（Ｓ１４）。現時刻について算出された物体位置は１時刻前までに記憶部４に記憶させた注目物体の物体位置と対応付けて追記される。なお、新規出現した移動物体の場合は新たな識別子を付与して登録する。また、全ての予測位置での尤度が尤度下限値未満の場合は物体位置なしと判定する。

制御部５は未処理の移動物体が残っている場合（Ｓ１５にて「ＮＯ」の場合）、当該移動物体について物体位置を判定する処理（ステップＳ７〜Ｓ１４）を繰り返す。一方、全ての移動物体について物体位置の判定が完了すると（Ｓ１５にて「ＹＥＳ」の場合）、物体の新規出現と消失を判定する（Ｓ１６）。具体的には、物体位置算出部５３１は各物体位置に対して推定された物体領域を合成して、変化画素抽出部５１により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが移動物体とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部４に記録する。また、物体位置なしの移動物体があれば当該移動物体が消失した旨を記憶部４に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ３へ戻る。

図７は、位置予測部５２及び物体位置判定部５３による処理例を概念的に示す模式図であり、図８と同様に障害物７０（棚）の上に寄りかかった移動物体７１（人）に関するものである。図７（ａ）は水平面（ＸＹ平面）上に、障害物７０の位置（障害領域７２）及び、移動物体７１についてのα個の予測位置７３の分布を示している。移動物体７１が障害物７０上に寄りかかっていることに起因して、予測位置７３は障害領域７２の外側だけでなく障害領域７２内にも設定されている。

図７（ｂ）は、図７（ａ）にて一点鎖線で示す直線７４に沿った垂直面上での障害物７０及び移動物体７１の形状を点線で示している。さらに同図には、直線７４上での予測位置７３の尤度Ｌ０の分布、障害物７０に対応したペナルティ値Ｐ、及び補正後の尤度Ｌの分布をそれぞれ模式的なグラフ７５〜７７で示している。なお、Ｌ０のグラフ７５、Ｐのグラフ７６及びＬのグラフ７７の基準線（値が“０”のレベル）はそれぞれ基準面Ｚ＝０を示す直線に一致させている。また、補正後の尤度Ｌが補正前の尤度Ｌ０からペナルティ値Ｐを減算してされることに対応させて、Ｌ（及びＬ０）の正方向は上向きとし、Ｐの正方向は下向きに設定している。

上述のように予測位置７３は障害領域７２内にも設定され、これに起因して補正前の尤度の分布グラフ７５は障害領域７２内にピークを有する。障害物７０の高さは移動物体７１の上半身が乗り出せる程度であり、その高さに応じて１より小さい固有ペナルティ値Ｐｈが設定される。また、移動物体７１の高さから障害物７０の高さを引いた差、つまり移動物体７１が障害物７０上に乗り出せる量に応じた幅の縁部が障害領域７２内に設定され、ペナルティ値Ｐは当該縁部にて障害領域７２の内部領域に設定される固有ペナルティ値Ｐｈより減衰される。このペナルティ値Ｐを用いて補正された尤度の分布グラフ７７のピークは、補正前のピークより障害領域７２の境界側へ移動するが障害領域７２内に留まり得る。つまり、本発明の実施形態である移動物体追跡装置１は障害領域内に物体位置を決定することができる。すなわち、障害領域７２内には移動物体は存在し得ないとする従来の処理では図８を用いて説明したように物体位置が障害領域外に排斥されたり、誤検出と判断されたりする不都合が起こる場合においても、移動物体追跡装置１によれば物体位置を精度良く判定することが可能である。

１ 移動物体追跡装置、２ 撮像部、３ 設定入力部、４ 記憶部、５ 制御部、６ 出力部、４０ 三次元モデル、４１ ペナルティマップ、４２ カメラパラメータ、４３，７３ 予測位置、４４ 物体位置、５０ ペナルティ設定部、５１ 変化画素抽出部、５２ 位置予測部、５３ 物体位置判定部、５４ 異常判定部、７０ 障害物、７１ 移動物体、７２ 障害領域、１００ 基準面、１０１ カメラ位置、１０２，１０３ 障害物モデル、１０４ 移動物体モデル、２００，２０１ ペナルティ値、５３０ 存在確度算出部、５３１ 物体位置算出部。

Claims (6)

1. 所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する移動物体を追跡する移動物体追跡装置であって、
   注目時刻において前記移動物体が存在し得る候補位置を複数予測する位置予測部と、
   前記注目時刻の前記画像における前記候補位置に対応する部分から抽出される前記移動物体の特徴量に応じて当該候補位置における前記移動物体の存在確度を算出し、前記複数の候補位置ごとの前記存在確度を用いて前記移動物体の位置を判定する物体位置判定部と、
   前記空間内にて前記移動を妨げる障害物が存在する障害領域及び当該障害物の高さを予め記憶する記憶部と、
   前記存在確度に対するペナルティ値として、前記障害物の前記高さに応じた値を当該障害物の前記障害領域に設定するペナルティ設定部と、
   を有し、
   前記物体位置判定部は、前記候補位置に前記ペナルティ値が設定されている場合に、当該ペナルティ値に応じて当該候補位置の前記存在確度を低めて前記判定を行うこと、
   を特徴とする移動物体追跡装置。
2. 請求項１に記載の移動物体追跡装置において、
   前記ペナルティ設定部は、前記障害物の高さと共に増加して前記障害物の高さが前記移動物体の高さ以上であるときに最大となる前記ペナルティ値を設定すること、を特徴とする移動物体追跡装置。
3. 請求項２に記載の移動物体追跡装置において、
   前記ペナルティ設定部は、前記移動物体に備わる所定の関節部の高さにて段階的に増加する前記ペナルティ値を設定すること、を特徴とする移動物体追跡装置。
4. 請求項１から請求項３のいずれか１つに記載の移動物体追跡装置において、
   前記ペナルティ設定部は、前記障害領域のうち当該障害領域の周に沿った所定幅の内縁領域にて当該障害領域の周に近づくほど減少させて前記ペナルティ値を設定すること、を特徴とする移動物体追跡装置。
5. 請求項４に記載の移動物体追跡装置において、
   前記ペナルティ設定部は、前記内縁領域の幅を前記移動物体の高さから前記障害物の高さを引いた残りの高さに応じて設定すること、を特徴とする移動物体追跡装置。
6. 請求項１から請求項５のいずれか１つに記載の移動物体追跡装置において、
   前記ペナルティ設定部は、前記障害領域の周に沿って外側に前記移動物体の幅に応じた幅で設定される外縁領域に、前記障害領域内よりも小さい値の前記ペナルティ値を設定すること、を特徴とする移動物体追跡装置。

Images