JP5027741B2 - 画像監視装置 - Google Patents

Description

本発明は、監視空間を撮像した監視画像から対象物に関する画像を抽出する画像監視装置に関する。

侵入者検知等のため、監視空間を撮像した監視画像から監視対象の対象物に関する画像を抽出し、その画像情報に基づいて対象物の検出や追跡を行う技術が知られている。下記特許文献１は、現フレームの物体候補領域と直前フレームの物体候補領域とが、それら領域の画像特徴量の類似度に基づいて同一の物体の画像を含むかを判定し、直前フレームの物体候補領域に対応付けられる現フレームの物体候補領域を求めることで移動物体の追跡を行う技術を開示している。
特開２００６−３１８０６４号公報

従来は、各時刻の監視画像に現れる１つの対象物をひとまとまりの像、すなわち二次元画像として把握・抽出することが多い。その際、基本的には、対象物の立体的な構造は捨象されてしまう。その問題として、物体の移動によりカメラの撮影方向に対する物体の配置が変化すると、物体を構成する部分間で生じる隠蔽（オクルージョン）の状態が変化し、カメラが撮影した監視画像上にて物体の見え方が変わるということがある。例えば、カメラで俯瞰撮影する場合、人物がカメラの下に近づくほど胴の一部が頭に隠され、また脚が胴に隠されるというように見え方が変化する。このような隠蔽状態の変化のため、従来技術においては、移動物体の追跡をする際に、監視画像の前後するフレームにそれぞれ現れる同一物体の像の類似度が低下し、フレーム間での対応付けが失敗して追跡が困難となり易い。特に、移動物体が複数同時に存在し得る監視空間内の追跡では、フレーム間にて他の移動物体との誤った対応付けが起こり易いことが顕著な問題となる。

本発明は上記問題点を解決するためになされたものであり、隠蔽を考慮した対象物の画像抽出を可能とする画像監視装置を提供し、さらには、監視画像中における対象物の検出や追跡の精度の向上を可能とすることを目的とする。

本発明に係る画像監視装置は、監視空間を透視投影した監視画像についての投影条件、及び監視対象となる対象物の複数の構成部分毎の立体形状を表す部分モデルと当該部分モデル相互の配置関係とで表される前記対象物の対象物モデルを記憶する記憶部と、前記監視画像、及び前記対象物が存在し得る前記監視空間内の候補位置を入力され、前記候補位置に前記対象物モデルを所定の姿勢で仮想的に配置し、当該対象物モデルを前記投影条件に基づいて透視投影して、前記部分モデルが投影される部分モデル可視領域を前記部分モデル毎に求め、前記監視画像から前記部分モデル可視領域に対応する部分を前記対象物の構成部分画像として抽出する部分画像抽出手段と、前記構成部分画像の所定の画像特徴から前記対象物の存在を判定する対象物判定手段と、を有する。

本発明において、前記部分画像抽出手段は、前記複数の部分モデルのうちの任意の１つである特定部分モデルについて、当該特定部分モデルを単独で透視投影した単独投影領域、及び透視投影の投影線上、当該特定部分モデルより手前に位置する他の前記部分モデルを透視投影した領域である隠蔽領域を求め、前記単独投影領域から前記隠蔽領域との共通部分を除くことにより当該特定部分モデルの前記部分モデル可視領域を求める構成とすることができる。

本発明に係る他の画像監視装置は、前記対象物判定手段が、参照時刻における前記対象物について得られている前記構成部分画像と関心時刻における前記候補位置に対応して得られた前記構成部分画像とを前記画像特徴について前記構成部分毎に比較し、その比較結果を前記複数の構成部分について統合して対象物類似度を算出し、当該対象物類似度が所定の判定基準を満たした場合に、前記関心時刻の前記候補位置に前記参照時刻の前記対象物が存在すると判定するものである。

また、本発明に係るさらに他の画像監視装置は、前記両時刻の少なくとも一方の時刻について、前記単独投影領域に占める前記部分モデル可視領域の比率を前記構成部分画像の非隠蔽度として算出する非隠蔽度算出手段をさらに有し、前記対象物判定手段が、前記構成部分毎に、前記比較結果を前記非隠蔽度に応じた信頼度で重み付けし、重み付けされた前記比較結果を統合して前記対象物類似度を算出する。

本発明に係る上記画像監視装置において、前記非隠蔽度算出手段は、前記参照時刻及び前記関心時刻の両時刻についてそれぞれ前記非隠蔽度を算出し、前記対象物判定手段は、前記両時刻の前記非隠蔽度それぞれを変数とする所定の信頼度関数に基づいて前記信頼度を算出する構成とすることができる。前記信頼度関数は、前記両時刻の前記非隠蔽度のうち小さい方に応じた関数値を与えるものとすることができる。また、前記信頼度関数は、前記両時刻の前記非隠蔽度の差が大きい程、小さな関数値を与えるものとすることができる。

本発明に係る他の画像監視装置は、前記対象物判定手段が、前記対象物について既に得られている前記構成部分画像と前記候補位置に対応して得られた前記構成部分画像とを前記画像特徴について前記構成部分毎に比較し、その比較結果を前記複数の構成部分について統合して対象物類似度を算出し、当該対象物類似度が所定の判定基準を満たした場合に、前記候補位置に前記対象物が存在すると判定するものである。

本発明によれば、対象物の画像は、当該対象物の構成部分毎の画像（構成部分画像）として抽出され、構成部分画像は隠蔽部分を含まないように抽出される。対象物の２つの画像の類似度の判定は、当該２つの画像を構成する構成部分画像を構成部分毎に比較することにより行われる。当該比較では隠蔽の影響が分離・排除されるので、類似度判定の精度向上が図られ、ひいては移動物体の追跡の精度向上が図られる。

以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、例えば、ビルのエントランスや金融機関のＡＴＭコーナー等の監視空間にて対象物として人を検出・追跡する。移動物体追跡装置１はさらに、その追跡結果に基づいて、例えば、長時間滞留する不審人物を検出し、異常を報知する等の処理を行うように構成されている。

図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、操作部３、記憶部４、制御部５及び出力部６を含んで構成される。

撮像部２は、監視カメラであり、監視空間内に設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は制御部５へ出力される。監視空間をＸ，Ｙ，Ｚ軸からなる直交座標系で表し、鉛直上方をＺ軸の正方向に設定すると、ＸＹ平面内での人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では撮像部２は、監視カメラの光軸を鉛直下方（Ｚ軸負方向）に向けて天井に設置される。

操作部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。

記憶部４は、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶装置であり、制御部５に接続される。記憶部４は、制御部５で使用されるプログラムやデータを記憶する。これに記憶されるデータには、物体情報４０及びカメラパラメータ４２が含まれる。

物体情報４０は、監視空間内に検出された対象物毎の情報であり、物体モデル４００（対象物モデル）、画像特徴データ４０２及び移動軌跡４０４を含む。

物体モデル４００は、対象物を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。移動物体追跡装置１が監視対象とする対象物は人であり、本実施形態では、例えば、人の構成部分として頭部、胴部、脚部の３つが設定される。また、各構成部分の立体形状を近似的に表す部分モデルとして、長軸が鉛直方向に設定され短軸が水平方向に設定された楕円を鉛直軸（Ｚ軸）の周りに回転させて得られる回転楕円体を用いる。図２は、ＸＹＺ空間内での物体モデル４００の模式図である。物体モデル４００は、脚部の部分モデル４０１Ｌの下端を床面又は地表面等の基準面（Ｚ＝０）に接地し、その脚部の部分モデル４０１Ｌの上に胴部、頭部の部分モデル４０１Ｂ，４０１Ｈを順にＺ軸方向に積み重ねた配置関係を有する。基準面から頭部中心までの高さｈ、胴部の最大幅ｗ（胴部短軸直径）は対象物毎に設定する。高さｈに対する頭部中心から胴部中心までの長さ、頭部中心から脚部中心までの長さ、頭部長軸半径、胴部長軸半径及び脚部長軸半径それぞれの比と、幅ｗに対する頭部短軸半径及び脚部短軸半径それぞれの比とは、各対象物に共通の値に設定する。このようにして部分モデル４０１の高さ及び幅が対象物毎に設定され、これにより、後述する各構成部分の画像抽出が対象物の体格差の影響を受けにくくなり、精度良い抽出処理が可能となる。なお、撮像部２との位置関係から、頭部は他の構成部分に隠蔽されにくく、監視画像に良好に現れることから、頭部中心を基準としている。

画像特徴データ４０２は、各対象物を特徴付ける情報であり、対象物の追跡処理において、前後する時刻の監視画像からそれぞれ抽出された対象物の像を同定するために用いられる。画像特徴データ４０２には、構成部分毎の画像特徴量が含まれる。当該画像特徴量は、追跡処理の過程で物体像に含まれる各構成部分の画像（構成部分画像）を分析することにより得られ、得られた画像特徴量が画像特徴データ４０２として対象物毎、及び構成部分毎に記憶部４に格納される。例えば、本実施形態では画像特徴量として色ヒストグラムを用いる。また、画像特徴量の分析元である構成部分画像の非隠蔽度ｒ_ｐ（後述）を画像特徴データ４０２として、画像特徴量と対応付けて記憶部４に記憶してもよい。

移動軌跡４０４は、対象物毎の位置（物体位置）の履歴を表す情報である。物体位置は頭部中心の三次元座標とする。

カメラパラメータ４２は、撮像部２が監視空間を透視投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが、移動物体追跡装置１の使用に際して予め操作部３から入力され、記憶部４に格納される。

カメラパラメータ４２は、監視空間に仮想的に置かれた物体モデル４００を撮像部２の撮像面に投影する処理に用いられる。図３は、当該投影を説明する模式図である。例えば、公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４２を適用して、監視空間の各位置を撮像部２の撮像面７１に投影するための座標変換式を得ることができる。図３は、ＸＹＺ座標系で定義される監視空間７０に物体モデル４００ａ，４００ｂを仮想的に配置し、これら物体モデル４００ａ，４００ｂを上記座標変換式により撮像部２の撮像面７１に投影する様子を示しており、物体モデル４００ａ，４００ｂはそれぞれ撮像面７１上の二次元の投影像７２ａ，７２ｂに変換される。

制御部５は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、物体像抽出手段５０、追跡手段５２、異常判定手段５４をとして機能する。追跡手段５２は、位置予測手段５２０、部分画像抽出手段５２２、非隠蔽度算出手段５２４、対象物判定手段５２６及び物体情報更新手段５２８を含んで構成される。制御部５は、撮像部２から入力される監視画像を画像処理して物体像を抽出し、物体像を抽出された対象物を追跡する。そして、追跡の結果に基づいて不審者の検出等を行い、不審者を検出すると異常信号を出力部６へ出力する。

物体像抽出手段５０は、撮像部２により得られた監視画像から対象物の物体像を抽出し、抽出された物体像の情報を対象物判定手段５２６へ出力する。具体的には、物体像抽出手段５０は、対象物が映っていないと判断する監視画像を背景画像に設定し、記憶部４に格納する。そして、物体像抽出手段５０は、撮像部２から監視画像を入力されると、当該監視画像と背景画像との差分処理を行い、背景画像に存在しない像を検出し、検出した像のうち所定値以上の大きさを有する像を物体像として抽出する。ここで、所定値はノイズによる像を除去するための閾値であり、予め設定される。

位置予測手段５２０は、移動軌跡４０４（過去の物体位置）に等速運動モデル等の運動モデル、又はカルマンフィルタ等の予測フィルタを適用することにより、現時刻における物体位置を予測する。位置予測手段５２０は、運動モデル又は予測フィルタにより直接的に得られる現時刻の予測位置に加え、その周りに、運動の変化による予測の誤りを吸収するために複数の予測位置をさらに設定する。その際、中心の予測位置を最頻値とする正規分布等の確率関数を設定し、確率の高い領域ほど予測位置を密に分布させることが好ましい。なお、対象物は基準面に接地して立っているとの拘束条件から予測位置の高さには物体モデル４００の高さｈを設定する。

部分画像抽出手段５２２は、移動軌跡４０４が既に得られている対象物については、位置予測手段５２０から入力される予測位置を対象物が存在し得る監視空間内の候補位置として、当該候補位置に、人が立っている姿勢に対応して定められている物体モデル４００を仮想的に配置する。また、移動軌跡４０４がまだ記憶部４に記憶されていない新規の対象物については、物体像抽出手段５０にて抽出された物体像の位置を候補位置として、ここに物体モデル４００を仮想配置する。

部分画像抽出手段５２２は、物体モデル４００をカメラパラメータ４２により与えられる投影条件に基づいて透視投影して、撮像面に部分モデル４０１Ｈ，４０１Ｂ，４０１Ｌが投影される領域をそれぞれ求める。ここで求める当該領域は、各部分モデルが監視画像に結像されて「視認」される領域、すなわち部分モデル可視領域であり、以下、当該領域を観測領域と称する。なお、透視投影は、上述の座標変換式を用いて行われる。部分画像抽出手段５２２は、監視画像から観測領域に対応する部分を対象物の構成部分画像として抽出する。

図４は、観測領域を求める処理の説明図である。部分画像抽出手段５２２は各部分モデル４０１Ｈ，４０１Ｂ，４０１Ｌをそれぞれ単独で透視投影して単独投影領域を求める。単独投影領域は、他の部分モデルによる隠蔽の影響を受けないので、各部分モデルの全体の投影像（全体領域像）となる。図４に示すように、部分モデル４０１Ｈ，４０１Ｂ，４０１Ｌに対応して全体領域像８０ａ，８０ｂ，８０ｃが得られる。

次に、複数の部分モデルそれぞれを１つずつ特定部分モデルとして選択し、当該特定部分モデルより撮像部２に近い、すなわち透視投影の投影線上、当該特定部分モデルより手前に位置する他の部分モデルを透視投影した領域を求める。この領域は、特定部分モデルの全体領域像を隠蔽し得る隠蔽領域を表す。具体的には、頭部の部分モデル４０１Ｈに対しては、それより投影線上手前の他の部分モデルはないので、隠蔽領域像は存在しない。一方、胴部の部分モデル４０１Ｂに対しては、頭部の部分モデル４０１Ｈが手前に位置するので、その投影像が胴部に対する隠蔽領域像８１ｂとなる。また、脚部の部分モデル４０１Ｌに対しては、頭部、胴部の部分モデル４０１Ｈ，４０１Ｂが手前に位置するので、それらの投影像が脚部に対する隠蔽領域像８１ｃとなる。

部分画像抽出手段５２２は、各特定部分モデルの全体領域像から隠蔽領域像との重複部分を除くことにより当該特定部分モデルの観測領域像を求める。その結果、頭部に対しては隠蔽を生じていない観測領域像８２ａが得られ、一方、胴部、脚部については楕円の一部が隠蔽された形状の観測領域像８２ｂ，８２ｃが得られる。ちなみに、観測領域像を求める処理は、全体領域像に含まれる画素を１、それ以外の画素を０とした二値画像と、隠蔽領域像に含まれる画素を０、それ以外の画素を１とした二値画像との論理積演算により行うことができ、その結果、観測領域像に含まれる画素が１、それ以外の画素が０である二値画像が得られる。

なお、撮像部２との距離が近い部分モデルから順に特定部分モデルに設定し、その特定モデルについて全体領域像を投影し観測領域像を演算し終わると、当該特定部分モデルの全体領域像と隠蔽領域像との論理和を求め、これを次の特定部分モデルの隠蔽領域像として設定する構成とすることができ、これにより処理の効率化や各種像に対応した画像を保持するためのメモリの所要量の低減を図ることができる。例えば、頭部の観測領域像８２ａを求める処理が終わると、隠蔽領域像を格納するフレームメモリに頭部の全体領域像８０ａが格納され、これが次の処理対象となる胴部についての隠蔽領域像８１ｂとして用いられる。さらに、胴部の観測領域像８２ｂを求める処理が終わると、隠蔽領域像を格納するフレームメモリの内容が現在の隠蔽領域像８１ｂと胴部の全体領域像８０ｂとの論理和で書き換えられ、これが次の処理対象である脚部についての隠蔽領域像８１ｃとなる。

部分画像抽出手段５２２は、監視画像から、各構成部分の観測領域に対応する部分を抽出して構成部分画像を求め、１つの物体像を各構成部分毎の複数の構成部分画像に分ける。上述のように部分画像抽出手段５２２は、各構成部分と撮像部２との距離関係に基づき観測領域を演算することで、構成部分画像を求める際に、隠蔽状態を適切に考慮することができる。すなわち、部分画像抽出手段５２２は、構成部分間で隠蔽が生じる場合でも、その隠蔽の影響を除去して、構成部分画像を精度良く抽出することができる。

上記では、対象物の一部が自身によって隠蔽される自己隠蔽（セルフ・オクルージョン）の影響が除去された部分画像を抽出する処理を説明したが、さらに、別の対象物について抽出された部分画像との関係を用いることによって物体間の隠蔽（インター・オクルージョン）の影響を除去することもできる。

すなわち、観測領域を求める処理において、処理対象としている対象物の隠蔽領域に加えて、処理対象としている対象物よりも手前に位置する別の対象物について求めた観測領域をも隠蔽領域とし、全体領域から隠蔽領域との重複部分を除いて観測領域を求める。

非隠蔽度算出手段５２４は、各構成部分について、当該部分の全体領域の大きさに対する観測領域の大きさの比率を非隠蔽度ｒ_ｐ（添え字ｐは構成部分を区別する標識である）として算出する。すなわち、ｒ_ｐは構成部分の単独の像のうち監視画像上で観測できる部分の割合を表す。ここで、ｒ_ｐ算定に用いる全体領域の大きさ及び観測領域の大きさは、部分画像抽出手段５２２で求められた全体領域像、観測領域像に含まれる画素数を計数することで得られる。

対象物判定手段５２６は、先行する所定の参照時刻にて対象物について得られている構成部分画像と関心時刻における候補位置に対応して得られた構成部分画像とを画像特徴について構成部分毎に比較し、その比較結果を複数の構成部分について統合して統合類似度（対象物類似度）を算出する。そして、当該統合類似度が所定の判定基準を満たした場合に、現時刻の候補位置に参照時刻にて検出された対象物が存在すると判定する。すなわち、対象物判定手段５２６は前後する時刻間にて撮影された対象物が同じものであるか否かを判定する同定処理を行う。また、同定された物体像の位置を対象物の物体位置と定める。

具体的には、まず、対象物判定手段５２６は、部分画像抽出手段５２２により抽出された現時刻の構成部分画像から画像特徴量を抽出し、これと、記憶部４に画像特徴データ４０２として記憶されている一時刻前の画像特徴量とを構成部分毎に比較して構成部分毎の類似度ｕ_ｐを算出する。画像特徴データ４０２の色ヒストグラムをｈ_Ｒ、現時刻の色ヒストグラムをｈ_Ｉで表すと、例えば、次式で定義するように両者のユークリッド距離に−１を乗じた値をｕ_ｐとして用いることができる。なお、Σは色ヒストグラムの全要素に関する総和を意味する。
ｕ_ｐ≡−Σ‖ｈ_Ｒ−ｈ_Ｉ‖^２ ………（１）

次に対象物判定手段５２６は、対象物毎に各構成部分の類似度ｕ_ｐを加算して各対象物についての統合類似度Ｕを算出する。そして、統合類似度Ｕを予め定めた閾値と比較し、Ｕが閾値以上であれば、現時刻に抽出された物体像が一時刻前の比較対象とした対象物と同一の対象物であると判定する。

構成部分毎の類似度ｕ_ｐは当該部分に関する画像部分のみを精度良く抽出した上述の構成部分画像を用いて算出されたものであるので、当該ｕ_ｐを統合して物体像の同定を行うことで、構成部分間で隠蔽が生じる場合であっても高精度の同定が可能となる。

ここで、類似度ｕ_ｐの信頼度は、各構成部分の隠蔽の大きさやその変化といった隠蔽状態の影響を受け得る。対象物判定手段５２６は、次式に示すように、構成部分毎に、類似度ｕ_ｐを非隠蔽度ｒ_ｐに応じた信頼度ｇ_ｐで重み付けし、重み付けされた構成部分毎の類似度を統合して統合類似度Ｕを算出するように構成できる。ここで次式のΣはｐについての総和、すなわち、構成部分（頭部、胴部、脚部）について合計することを意味する。こうすることで、信頼度が高い構成部分ほど同定に大きく寄与させることができ、物体像を高精度に同定できる。
Ｕ≡Σｇ_ｐｕ_ｐ ………（２）

信頼度ｇ_ｐは非隠蔽度ｒ_ｐの関数として予め設定される。ｇ_ｐは、一時刻の物体像に関して算出された非隠蔽度ｒ_ｐのみを用いた関数で定義することもできるし、複数時刻の物体像に関して算出された非隠蔽度ｒ_ｐを用いた関数で定義することもできる。ここでは便宜的に前者を「静的な信頼度」、後者を「動的な信頼度」と称する。

静的な信頼度ｇ_ｐの一例は、次式で定義されるｇ１_ｐである。
ｇ１ｐ≡αｒ_ｐ＋β （但し、α＞０，β≧０） ………（３）

また、静的な信頼度ｇ_ｐはｒ_ｐに対する他の増加関数とすることもできる。

動的な信頼度ｇ_ｐの例は、現時刻（関心時刻）の非隠蔽度ｒ_ｐ，ｔと一時刻前（参照時刻）の非隠蔽度ｒ_{ｐ，ｔ−１}との所定の信頼度関数ｆ(ｒ_ｐ，ｔ，ｒ_{ｐ，ｔ−１})で定義されるものである。例えば、先行する時刻では構成部分の一部しか見えていなかったが、現時刻ではそのほとんどが見えているなど、前後する時刻間で構成部分の非隠蔽度ｒ_ｐは変化し得る。動的な信頼度は、このｒ_ｐの変化を考慮に入れた好適な統合類似度の決定を可能とする。

信頼度関数ｆ(ｒ_ｐ，ｔ，ｒ_{ｐ，ｔ−１})で定義される動的な信頼度として以下に４つの例ｇ２_ｐ，ｇ３_ｐ，ｇ４_ｐ，ｇ５_ｐを示す。なお、（４）〜（７）式において、α＞０，β≧０，ε＞０である。これらは事前の実験を通じて適宜、設定される定数である。これらの定数は部位毎に異なる値を設定することもできる。ちなみにεは分母が０となることによる発散を防止するための定数であり、基本的に微小値に設定できる。
ｇ２_ｐ≡α・min(ｒ_ｐ，ｔ，ｒ_{ｐ，ｔ−１})＋β ………（４）

このｇ２_ｐは、前後する時刻間にて物体像を同定する信頼性が、各時刻のうち信頼性の低い状態の方の影響を受け易いという考えに基づくものであり、両時刻における非隠蔽度ｒ_ｐ，ｔ，ｒ_{ｐ，ｔ−１}のうち小さい方に応じた値となる。
ｇ３_ｐ≡α／(｜ｒ_{ｐ，ｔ−１}−ｒ_ｐ，ｔ｜＋ε)＋β ………（５）

このｇ３_ｐは、前後する時刻間にて物体像を同定する信頼性が、見え方の変化の大きさに影響されるという考えに基づくものであり、非隠蔽度ｒ_ｐ，ｔとｒ_{ｐ，ｔ−１}との差が大きいほど小さな値となる。
ｇ４_ｐ≡α(ｒ_{ｐ，ｔ−１}＋ｒ_ｐ，ｔ)／(｜ｒ_{ｐ，ｔ−１}−ｒ_ｐ，ｔ｜＋ε)＋β ………（６）

このｇ４_ｐは、ｇ３_ｐの右辺第１項の｜ｒ_{ｐ，ｔ−１}−ｒ_ｐ，ｔ｜を(ｒ_{ｐ，ｔ−１}＋ｒ_ｐ，ｔ)で正規化したものである。見え方の変化の大きさが同程度であっても、非隠蔽部分の面積が小さいほど変化の影響が大きい。信頼度ｇ４_ｐではｇ３_ｐにおいて非隠蔽部分の面積の違いにより生じる格差を是正できる。
ｇ５_ｐ≡α・min(ｒ_ｐ，ｔ，ｒ_{ｐ，ｔ−１})／(｜ｒ_{ｐ，ｔ−１}−ｒ_ｐ，ｔ｜＋ε)＋β ………（７）

このｇ５_ｐは、ｇ２_ｐとｇ３_ｐとを融合させたものであり、前後する時刻の物体像を同定する信頼性は、信頼性の低い側に影響されるし、見え方の変化の大きさにも影響されるという考えに基づくものである。ｇ５_ｐは、非隠蔽度ｒ_ｐ，ｔ，ｒ_{ｐ，ｔ−１}のうち小さい方に応じた値となる一方、非隠蔽度ｒ_ｐ，ｔ，ｒ_{ｐ，ｔ−１}の差が大きいほど大きな値となる。例えば、本実施形態では、このｇ５_ｐを用いて統合類似度を算出する。

物体情報更新手段５２８は、新たに検出された対象物について物体情報４０を作成し、また、既に検出されている対象物についての物体情報４０を更新する。具体的には、新規物体の登録処理では、物体像抽出手段５０により抽出された物体像の中に、対象物判定手段５２６により判定された物体位置のいずれにも存在しない物体像があるとき、新たな物体情報４０を作成する。その際、当該物体像内に複数の探索位置を設定し、各探索位置に物体モデル４００の全身を投影し、投影像と物体像との形状を比較する。形状の比較は、物体モデル４００の高さ及び幅を、標準的な対象物の高さ及び幅を基準とする所定範囲内で複数設定する。比較の結果、最も形状が一致した場合の探索位置を新規物体の物体位置であると定め、当該対象物の物体情報４０の移動軌跡４０４の初期値として記憶部４に格納する。対象物は基準面に接地しているとの拘束条件があるため上記物体位置は三次元空間中に一意に定まる。また、そのときの高さｈ及び幅ｗを有する物体モデル４００を当該対象物の物体情報４０に格納する。さらに、物体情報更新手段５２８は、決定された物体位置及び物体モデル４００を部分画像抽出手段５２２に与える。部分画像抽出手段５２２は与えられた物体位置及び物体モデル４００に基づいて、各構成部分画像を抽出し、それに基づいて対象物判定手段５２６が画像特徴量を、また非隠蔽度算出手段５２４が非隠蔽度ｒ_ｐを求める。物体情報更新手段５２８は、この画像特徴量及び非隠蔽度ｒ_ｐを、当該対象物の物体モデル４００を構成する画像特徴データ４０２として記憶部４に格納する。

既存物体の追跡処理では、部分画像抽出手段５２２により抽出された構成部分画像に基づいて対象物判定手段５２６が前後時刻間での対象物の同定を行う。物体情報更新手段５２８は、同定された構成部分画像について得られる画像特徴量及び非隠蔽度ｒ_ｐで、同定された対象物の画像特徴データ４０２を更新する。また、同定された対象物の代表位置（頭部中心）を同定された対象物の移動軌跡４０４に追加する。

一方、現在の監視画像の物体像の中に、先行時刻で検出されていた物体像に対応するものを同定できなかった場合には、当該先行時刻の物体像は監視空間から消失した物体として取り扱われ、物体情報更新手段５２８は当該消失物体の物体情報４０を記憶部４から削除する。

異常判定手段５４は、記憶部４に記憶されている移動軌跡４０４を分析して、例えば、監視空間に長期間滞留している対象物が存在すれば、これを不審者の存在等の異常と判定して出力部６へ異常信号を出力する。具体的には、移動軌跡４０４のそれぞれに含まれる物体位置の数を計数して、所定数以上（例えば、１０分間相当以上）の物体位置を含む移動軌跡４０４があれば異常と判定する。

出力部６は、センタ装置等の外部装置と通信線により接続され、外部装置へ異常信号を送信する。

次に移動物体追跡装置１の動作を説明する。図５は、移動物体追跡装置１における物体追跡処理の概略のフロー図である。

監視空間が無人であることを確認して管理者が電源を投入すると、移動物体追跡装置１の各部、各手段が動作を開始し、所定の初期化が行われる（Ｓ１０）。このとき、制御部５は撮像部２からの監視画像を背景画像として記憶部４に記憶させる。

続いて、制御部５は記憶部４にカメラパラメータ４２が設定されているかを確認し（Ｓ１５）、設定されていなければ管理者による操作部３からのカメラパラメータ４２の入力を受け付け、入力されたカメラパラメータ４２を記憶部４に格納する（Ｓ２０）。その後、撮像部２から制御部５へ監視画像が新たに入力されるたびにＳ２５〜Ｓ７５の一連の処理が繰り返される。

まず、制御部５は撮像部２が新たに撮像した監視画像を取得し（Ｓ２５）、制御部５の物体像抽出手段５０は取得された監視画像を、記憶部４に記憶されている背景画像と比較して物体像（人物像）を抽出する（Ｓ３０）。

続く物体位置判定処理において制御部５の追跡手段５２は、監視画像中に画像特徴データ４０２が表す物体の像を同定することにより、画像特徴データ４０２が表す物体の現在位置を判定する（Ｓ３５）。物体位置判定処理の詳細については後述する。

物体位置判定処理が終わると制御部５の物体情報更新手段５２８は、新規物体があるか否かを確認する（Ｓ４０）。すなわち、物体情報更新手段５２８は処理Ｓ３０にて抽出された物体像の中に、処理Ｓ３５にて判定された物体位置のいずれにも存在しない物体像があれば、当該物体像を新規出現した物体の像として新たな物体情報４０を作成する（Ｓ４５）。

続いて、物体情報更新手段５２８は、物体情報４０の更新を行う（Ｓ５０）。すなわち、処理Ｓ３５にて物体位置が判定された物体情報４０があれば、当該物体情報４０の画像特徴データ４０２を後述する図６の処理Ｓ３６２で算出される画像特徴量に更新し、移動軌跡４０４に図６の処理Ｓ３７２にて判定された物体位置を追加する。

また、物体情報更新手段５２８は、処理Ｓ４５にて新たな物体情報４０が作成されていれば、当該物体情報４０を記憶部４に格納し、一方、処理Ｓ３５にて物体位置が判定されなかった物体情報４０があれば、それを記憶部４から削除する。

全物体が消失している、すなわち監視空間に対象物が存在しない場合（Ｓ５５にてＹＥＳ）、物体像抽出手段５０は記憶部４に記憶されている背景画像を現在の監視画像により更新する（Ｓ６０）。その後、制御部５は処理をＳ２５へ戻す。

一方、監視空間に対象物が存在する場合（Ｓ５５にてＮＯ）には、異常判定手段５４は、更新された移動軌跡４０４を分析して異常な移動軌跡４０４を有する対象物が存在するか否かを判定する（Ｓ６５）。異常があると判定した場合（Ｓ７０にてＹＥＳ）、異常判定手段５４は、異常判定された対象物の位置及び監視画像を含む異常信号を含む異常信号を出力部６へ出力する（Ｓ７５）。この処理Ｓ７５は、異常が判定されない場合（Ｓ７０にてＮＯ）にはスキップされる。

異常信号を受け取った出力部６は、当該信号をセンタ装置へ送信する。センタ装置は異常信号に含まれる情報を表示して監視員へ異常を報知し、表示を見た監視員は不審者の排除などの対処を行い、制御部５は処理をＳ２５へ戻す。

図６は物体位置判定処理の概略のフロー図であり、これを用いて当該処理を説明する。制御部５の位置予測手段５２０は、対象物の移動軌跡４０４から当該対象物の現在位置を予測して、各対象物それぞれについて複数の予測位置を設定する（Ｓ３５０）。

追跡手段５２は各対象物の予測位置（分布の中心位置）と撮像部２との距離を求め、求めた距離が近い対象物から順に処理対象に設定し（Ｓ３５２）、処理対象の対象物について処理Ｓ３５４〜Ｓ３７４を行う。

処理Ｓ３５４〜Ｓ３７４は、処理対象として選択された対象物の複数の予測位置についてのループ処理となっており、予測位置が順次設定され（Ｓ３５４）、当該設定された予測位置に関して処理Ｓ３５６〜Ｓ３７４が行われる。

まず、制御部５の部分画像抽出手段５２２は処理対象の予測位置に物体モデル４００を配置した仮想空間を撮像部２の撮像面に投影し、さらに、既に求められている対象物の観測領域を用いることにより各構成部分の構成部分画像を抽出する（Ｓ３５６）。部分画像抽出手段５２２は、処理対象としている対象物について処理Ｓ３５６にて演算される各構成部分の全体領域及び観測領域を、現時刻の処理が完了するまで、記憶部４に一時記憶させる。

次に、制御部５の非隠蔽度算出手段５２４は各構成部分の観測領域の面積（画素数）を全体領域の面積で除して、各構成部分の非隠蔽度ｒ_ｐ，ｔを算出する（Ｓ３５８）。

続いて、制御部５の対象物判定手段５２６は処理Ｓ３５８にて算出された現時刻の非隠蔽度ｒ_ｐ，ｔ、及び画像特徴データ４０２として記憶されている前時刻の非隠蔽度ｒ_{ｐ，ｔ−１}を（７）式に代入して信頼度ｇ５_ｐを算出する（Ｓ３６０）。また、対象物判定手段５２６は、処理Ｓ３５６にて抽出された各構成部分画像から画像特徴量を抽出し（Ｓ３６２）、抽出された画像特徴量と、記憶部４に記憶されている画像特徴データ４０２の画像特徴量とを構成部分毎に比較して、構成部分毎の類似度ｕ_ｐを算出する（Ｓ３６４）。そして、処理Ｓ３６０にて得られた信頼度ｇ５_ｐと、処理Ｓ３６４にて得られた各構成部分の類似度ｕ_ｐとを（２）式に代入して統合類似度Ｕを算出する（Ｓ３６６）。

対象物判定手段５２６は、処理対象の対象物に設定された複数の予測位置全てについて統合類似度Ｕを算出すると（Ｓ３６８にてＹＥＳ）、これらの統合類似度のうち最大のものが、予め設定された基準値以上であるか否かを判定する（Ｓ３７０）。基準値以上であれば最大の統合類似度を与える予測位置に存在する画像情報を処理対象とする物体の像と同定し、当該予測位置を処理対象の対象物の物体位置と判定する（Ｓ３７２）。一方、基準値未満であれば処理対象の対象物を同定せず、処理対象の対象物を消失させる処理を行い、物体位置は不明と判定する（Ｓ３７４）。

以上の処理Ｓ３５４〜Ｓ３７４を全ての対象物について終えると（Ｓ３７６にてＹＥＳ）、制御部５は処理を図５に示した処理Ｓ４０へ戻す。

上述の実施形態では、撮像部２は対象物を上方から撮影する配置としたが、下方から撮影する配置とすることもできる。この場合、撮像部２に近い構成部分が、脚部、胴部、頭部の順であると設定して、基本的に上記実施形態と同様に構成することができる。

また、撮像部２が対象物の側方から撮影するなど、対象物の高さによって上記順序が変動する場合、各構成部分と撮像部２との距離関係を、物体モデル４００に基づき個別に算出して、当該順序を判定することができる。

画像特徴量は色ヒストグラムに限られず、例えば、輝度ヒストグラム、エッジ強度のヒストグラム、エッジ方向のヒストグラム、又はテクスチャなど種々の画像特徴量を採用することができる。さらには２以上の画像特徴量を組み合わせても良い。

以上の実施形態では移動物体追跡装置１に本発明を適用した例を説明したが、本発明は物体追跡に限らず、例えば、蓄積されている１又は複数の監視画像の中から対象物を探し出す検索に用いることもできる。その場合、カメラパラメータ４２及び画像特徴データ４０２、物体モデル４００を記憶部４に記憶させておき、検索対象の監視画像の全領域に亘り複数の位置を設定し、当該位置から構成部分画像を抽出して画像特徴データ４０２との同定を探索的に行う。この場合、探索範囲を全領域とせず、操作部３等により予め設定された領域としてもよい。

本発明の実施形態に係る移動物体追跡装置のブロック構成図である。 ＸＹＺ空間内での物体モデルの模式図である。 監視空間に仮想的に置かれた物体モデルを撮像部の撮像面に投影する処理を説明する模式図である。 観測領域を求める処理の説明図である。 移動物体追跡装置における物体追跡処理の概略のフロー図である。 物体位置判定処理の概略のフロー図である。

符号の説明

１ 移動物体追跡装置、２ 撮像部、３ 操作部、４ 記憶部、５ 制御部、６ 出力部、４０ 物体情報、４２ カメラパラメータ、５０ 物体像抽出手段、５２ 追跡手段、５４ 異常判定手段、４００ 物体モデル、４０２ 画像特徴データ、４０４ 移動軌跡、５２０ 位置予測手段、５２２ 部分画像抽出手段、５２４ 非隠蔽度算出手段、５２６ 対象物判定手段、５２８ 物体情報更新手段。

Claims (8)

1. 監視空間を透視投影した監視画像についての投影条件、及び監視対象となる対象物の複数の構成部分毎の立体形状を表す部分モデルと当該部分モデル相互の配置関係とで表される前記対象物の対象物モデルを記憶する記憶部と、
   前記監視画像、及び前記対象物が存在し得る前記監視空間内の候補位置を入力され、前記候補位置に前記対象物モデルを所定の姿勢で仮想的に配置し、当該対象物モデルを前記投影条件に基づいて透視投影して、前記部分モデルが投影される部分モデル可視領域を前記部分モデル毎に求め、前記監視画像から前記部分モデル可視領域に対応する部分を前記対象物の構成部分画像として抽出する部分画像抽出手段と、
   前記構成部分画像の所定の画像特徴から前記対象物の存在を判定する対象物判定手段と、
   を有することを特徴とする画像監視装置。
2. 請求項１に記載の画像監視装置において、
   前記部分画像抽出手段は、前記複数の部分モデルのうちの任意の１つである特定部分モデルについて、当該特定部分モデルを単独で透視投影した単独投影領域、及び透視投影の投影線上、当該特定部分モデルより手前に位置する他の前記部分モデルを透視投影した領域である隠蔽領域を求め、前記単独投影領域から前記隠蔽領域との共通部分を除くことにより当該特定部分モデルの前記部分モデル可視領域を求めること、を特徴とする画像監視装置。
3. 請求項１又は請求項２に記載の画像監視装置において、
   前記対象物判定手段は、参照時刻における前記対象物について得られている前記構成部分画像と関心時刻における前記候補位置に対応して得られた前記構成部分画像とを前記画像特徴について前記構成部分毎に比較し、その比較結果を前記複数の構成部分について統合して対象物類似度を算出し、当該対象物類似度が所定の判定基準を満たした場合に、前記関心時刻の前記候補位置に前記参照時刻の前記対象物が存在すると判定すること、を特徴とする画像監視装置。
4. 請求項３に記載の画像監視装置において、
   前記両時刻の少なくとも一方の時刻について、前記単独投影領域に占める前記部分モデル可視領域の比率を前記構成部分画像の非隠蔽度として算出する非隠蔽度算出手段をさらに有し、
   前記対象物判定手段は、前記構成部分毎に、前記比較結果を前記非隠蔽度に応じた信頼度で重み付けし、重み付けされた前記比較結果を統合して前記対象物類似度を算出すること、
   を特徴とする画像監視装置。
5. 請求項４に記載の画像監視装置において、
   前記非隠蔽度算出手段は、前記参照時刻及び前記関心時刻の両時刻についてそれぞれ前記非隠蔽度を算出し、
   前記対象物判定手段は、前記両時刻の前記非隠蔽度それぞれを変数とする所定の信頼度関数に基づいて前記信頼度を算出すること、
   を特徴とする画像監視装置。
6. 請求項５に記載の画像監視装置において、
   前記信頼度関数は、前記両時刻の前記非隠蔽度のうち小さい方に応じた関数値を与えること、を特徴とする画像監視装置。
7. 請求項５に記載の画像監視装置において、
   前記信頼度関数は、前記両時刻の前記非隠蔽度の差が大きい程、小さな関数値を与えること、を特徴とする画像監視装置。
8. 請求項１又は請求項２に記載の画像監視装置において、
   前記対象物判定手段は、前記対象物について既に得られている前記構成部分画像と前記候補位置に対応して得られた前記構成部分画像とを前記画像特徴について前記構成部分毎に比較し、その比較結果を前記複数の構成部分について統合して対象物類似度を算出し、当該対象物類似度が所定の判定基準を満たした場合に、前記候補位置に前記対象物が存在すると判定すること、を特徴とする画像監視装置。

Images