JP4700477B2 - 移動体監視システムおよび移動体特徴量算出装置 - Google Patents

Description

本発明は、監視対象空間に配置された複数のカメラにより撮影され入力される画像、もしくはその蓄積画像の中から、個別の移動体の監視を行う用途に用いて好適な、移動体監視システムに関する。

近年、犯罪件数の増加に伴って公的な空間における監視強化が要求され、監視カメラの設置台数が年々増加している。広域に分散して設置される多数のカメラを用い、人物や車両等、特定の移動体を追跡する場合、監視員の増員や記録装置の増設等が必要になり、そのための投資は無視できない。
この対策として、多数のカメラに跨って広範囲に移動する移動体を自動認識し、その認識された移動体を自動で追跡することが可能になれば、監視員の負担は減り、また、記録装置の増設も不要になるはずである。

ところで、複数のカメラ間において、移動体として、例えば人物を監視する場合、その人物は、あるときはあるカメラに全身シーンが出現し、また、あるときは遮蔽物の陰に一部隠れたりしながら移動する。しかしながら、例えば、人物が遮蔽物に隠れた場合、その人物が遮蔽物に隠れる前の人物と同一ではないと装置が認識してしまう。どのような状況にあってもその人物を認識してカメラ間を追跡することができなければその人物を途中で見失うことになり、監視システムとしては不適である。このため、従来から、移動体が遮蔽物の陰に一部隠れても追跡が可能な追跡システムが多数提案されている。

例えば、複数のカメラが同一部屋内に設置され、撮影シ−ンが重複している状態において移動体を追跡することができる「複数カメラを用いた移動体追跡システム」が提案されている（例えば、特許文献１参照）。
また、単一のカメラ内で撮影される人物の認識は、外乱や遠近関係に強く影響されるため、遠くて小さく写っている人物の場合は１個に、近くて大きく写っている人物の場合は３個のブロブモデル（頭、胴体、足）に分割し、それぞれの特徴量を算出して認識し、追跡することのできる「人物追跡装置」も提案されている（例えば、特許文献２参照）。
特開２００４−７２６２８号公報（段落「０００５」〜「０００７」、図１） 特開２００１−１８４４８８号公報（段落「０００９」〜「００１０」、図１２）

特許文献１に開示された技術によれば、複数のカメラは同一部屋内に設置され、単一のカメラの視野範囲である撮影シーンが重複していることを条件に、移動体の上半身部分（頭の位置）に着目して追跡する。従って、撮影シーンが重複しない広域の監視空間に設置されたカメラ間では、頭の位置は、カメラの撮影シーン毎に異なることになり、追跡は不可能である。
また、特許文献２に開示された技術によれば、あくまで単一カメラ内での追跡であり、カメラからの遠近関係により、遠くて小さく撮影された人物の場合は１個のブロックとし、近くて大きく撮影された人物の場合は、頭、胴体、足の３個のブロブモデルとして各々の特徴を算出して追跡する。このため、遮蔽物が存在して一部に人物の隠蔽が発生する場合、前記したように遮蔽物に人物が隠れる前後において、装置が、その人物は同一ではないと認識してしまい、その人物の追跡を見失ってしまうといった欠点がある。また、特許文献２には、広域に分散配置されたカメラ間での人物追跡についての記載はない。

本発明は前記した事情に基づいてなされたものであり、撮影シーンが重複しない、広域に多数のカメラが分散設置された環境下にあって、移動体の追跡精度の向上をはかった移動体追跡装置を提供することを課題とする。
また、同環境下にあって、前記した移動体の監視業務を、限られた人数で効率的に行うことのできる移動体監視システムを提供することも課題とする。

前記した課題を解決するために本発明の移動体監視システムは、監視対象空間に配置されたカメラ毎に設けられる複数の移動体特徴量算出装置と、カメラ間移動体照合追跡装置とで構成される。前記した構成において、移動体特徴量算出装置は、移動体の全体が映っている画像から照合元となる移動体の全体形状を生成し、画像認識により得られる移動体の形状を照合対象として抽出し、当該抽出された移動体の形状と移動体の全体形状との差分から移動体の非隠蔽領域を算出してその特徴量をカメラ間移動体照合追跡装置に出力する。そして、カメラ間移動体照合追跡装置は、移動体特徴量算出装置からそれぞれ出力される特徴量の相関に基づき、抽出された個別の移動体を同定して追跡する。

本発明によれば、移動体監視システムが、多数のカメラに跨って広範囲に移動する移動体を自動認識して追跡することができるため、監視員がモニタを見続けることの煩わしさから開放され、従って、移動体の監視業務を、限られた人数で効率的に行うことができる。また、撮影シーンが重複しない監視対象空間に多数のカメラが分散設置される環境下にあって、更には、遮蔽物が存在して一部に移動体の隠れが発生している状況下にあっても移動体を自動認識でき、追跡精度の向上がはかれる。

（第１の実施形態：システム構成）
図１は、本発明の第１の実施形態にかかわる移動体監視システムの全体構成を示すブロック図である。
本発明の実施形態にかかわる移動体監視システムは、カメラ１０と移動体特徴量算出装置２０、カメラ１１と移動体特徴量算出装置２１のそれぞれの組み合わせが監視対象空間に複数分散して配置され、移動体特徴量算出装置２０，２１がネットワーク３０を経由してカメラ間移動体照合追跡装置４０に接続されて成る。
カメラ間移動体照合追跡装置４０は、ネットワーク３０を経由して、各々のカメラ１０，１１により撮影される画像と、移動体特徴量算出装置２０，２１により算出される移動体の特徴量に関する情報を受信する。そして、受信した特徴量間の相関を求めて、生成された移動体の形状の同定を行う。また、カメラ間移動体照合追跡装置４０は、設置されたカメラ１０，１１の配置や、その画像、および移動体の特徴量を表示する監視用表示装置５０にも接続され、監視用表示装置５０を介して監視員に対して追跡状況を報知する。
また、本実施形態では、カメラ間移動体照合追跡装置４０および監視用表示装置５０を別体の装置としたが、一体としてもよい。

なお、図１では、カメラ１０（１１）、移動体特徴量算出装置２０（２１）の組み合わせを２組しか例示していないが、カメラの台数に合わせて、３組以上の接続としてもよいし、カメラの台数以上の移動体特徴量算出装置２０（２１）を設置してもよい。また、複数のカメラ１０（１１）からの画像を、１台の移動体特徴量算出装置２０（２１）が処理してもよい。

図１において、移動体特徴量算出装置２０は、まず、カメラ１０により撮影される画像を取込み、移動体の全体像から移動体の全体形状（シルエット）を生成する。次に、画像認識により移動体を抽出してその移動体の形状を算出する。そして、全体形状を少なくとも２つのブロックに分割し、分割した全体形状と、抽出した移動体の形状とを比較し、移動体の形状と全体形状をブロック毎の差分画像を算出する。
ここで、算出したブロック毎の差分画像が所定値以上存在すれば、抽出した移動体は、全体が出現している状態ではなく、遮蔽物の陰に隠れている状態であると認識し、ブロック毎の差分画像が所定値未満の非隠蔽領域の特徴量を算出する。これらの処理は、所定の時間間隔、または、所定のタイミング、例えば、処理の１サイクル等のリアルタイム処理可能な短時間で繰り返し実行される。

なお、前記した処理は、他に設置されたカメラ１１と移動体特徴量算出装置２１との組み合わせにおいても同様に行われる。

ここで、移動体特徴量算出装置２０が算出した特徴量を含む情報は、ネットワーク３０を経由してカメラ間移動体照合追跡装置４０に送信され、蓄積される。カメラ間移動体照合追跡装置４０は、蓄積された情報を用いて移動体の移動位置情報と出現時刻情報との整合性を判定し、カメラ１０，１１毎に、特徴量の相関を調べて類似性の判定（同一性の照合）を行い、カメラ１０，１１毎に抽出された移動体を同定して追跡する。
前記したカメラ間移動体照合追跡装置４０に蓄積された情報を用いることにより、移動体の同一性の照合は、リアルタイムに、あるいはオフラインで過去に遡って実行することが可能である。

カメラ間移動体照合追跡装置４０は、監視用表示装置５０に、カメラの配置情報に合わせた同一移動体の移動経路６０や、アラーム７０およびその特徴量等を表示する。このことにより、監視員は、表示した内容を視認することで移動体の移動状況等を把握することができる。

（移動体特徴量算出装置構成）
図２は、図１に示す移動体監視システムのうちの移動体特徴量算出装置の内部構成を示すブロック図である。
移動体特徴量算出装置２０は、画像入力取込部１００と、全体形状生成部１１０と、ブロック分割部１５０と、個別移動体形状抽出部１７０と、非隠蔽領域算出部１９０と、特徴量算出部２００とで構成される。

図２において、移動体特徴量算出装置２０は、まず、移動体の全体形状を生成するため、画像入力取込部１００がカメラ１０によって撮影される画像（カメラ入力画像）を取込むと、全体形状生成部１１０が、撮影シーンにおける移動体の全体形状が映っているシーンを用いてその全体形状を生成する。次に、ブロック分割部１５０が、全体形状生成部１１０によって生成される全体形状を縦方向に３個の領域（ブロック）に分割する。
ブロック分割部１５０は、ここでは、全体形状を３個の領域に分割するものとして説明するが、分割数は、コストと画像認識性能とのトレードオフによって決定されるものであり、２個以上あればよい。また、縦、横いずれの方向に分割してもかまわない。

一方、個別移動体形状抽出部１７０は、画像入力取込部１００を介して得られるカメラ入力画像を画像認識することにより撮影シーンに出現した移動体を検知し、その形状を生成する。そこで、非隠蔽領域算出部１９０は、全体形状生成部１１０で算出した全体形状と、個別移動体形状抽出部１７０により抽出された個別移動体の形状に対して、例えば、頭頂位置等の基点を合わせてブロック毎に比較を行い、全体形状と個別移動体の形状の差分を算出する。ここで、その差分が所定値を越えるブロックが存在すれば、隠蔽領域が存在するとし、個別移動体の非隠蔽領域を算出する。特徴量算出部２００は、その差分が所定値未満である非隠蔽領域のブロックの特徴量を算出する。
ここでは、１個のカメラ内における移動体の特徴量として、移動体の出現位置とその時刻、消滅位置とその時刻、抽出形状におけるブロック毎の平均輝度やその輝度比を用いることとする。なお、前記した輝度の代わりに、あるいは輝度とともに色情報の平均値や分散値を用いてもよい。

なお、前記した画像入力取込部１００、個別移動体形状抽出部１７０、非隠蔽領域算出部１９０および特徴量算出部２００がそれぞれ持つ機能は、所定の時間間隔、もしくは、所定のタイミング、例えば、処理の１サイクル等の短時間で繰り返し実行され、その結果、各々のカメラ１０，１１毎に時々刻々の特徴量が算出され、出力されるものとする。

（全体形状モデル作成）
図３は、基準となる移動体の全体形状モデルを作成するための構成例を示した図である。すなわち、監視空間に配置されたカメラ１０，１１の中には、必ずしも移動体の全体像が撮影されるとは限らない。
そこで、基準カメラ１４により撮影された画像に基づき、画像入力取込部１００を介して取込まれる画像を用い、基準全体形状モデル生成部１１５が、基準となる全体形状モデルを生成し、基準全体形状モデルとしてファイル１４０に格納しておく。この、基準全体形状モデルは、カメラ１０，１１毎に生成される全体形状の補正に用いるが、基準となる全体形状モデルとして、移動体が、例えば人物の場合、平均的身長の大人、平均的身長の子供などをモデルとして用いてもよいし、平均的身長より高い大人、平均的身長の大人、平均的身長より低い大人など３段階のモデルを用いてもよい。

（移動体特徴量算出装置の構成（変形例））
図４は、図２に示す本発明の第１の実施形態の移動体特徴量算出装置の変形例を示したブロック図である。すなわち、図３に示す基準全体形状モデルを用いた場合の移動体特徴量算出装置２０ａの構成を示すブロック図である。
図２に示す移動体特徴量算出装置２０との差異は、図３に示す基準全体形状モデルが格納されたファイル１４０が付加されたことにある。他は、図２に示す構成と同様である。すなわち、全体形状生成部１１０は、図２で説明した全体形状の代わりに、ファイル１４０に格納された基準全体形状モデルを用いて、隠蔽領域の算出を行う。隠蔽領域の算出は、抽出した移動体形状の面積と、ファイル１４０に格納された基準全体形状モデルの面積とを比較することにより行われる。

ここに示される移動体特徴量算出装置２０ａは、図２に示す移動体特徴量算出装置２０が、都度、画像から移動体の全体形状を生成する必要があるのに対し、抽出された移動体の形状との面積比に基づき基準となる全体形状モデルを補正するだけでよいため、ＣＰＵ（図示せず）の処理量が少なくて済む。

（全体形状生成）
図５は、図２および図４に示す移動体特徴量算出装置のうち、全体形状生成部の動作を説明するために引用した図である。
全体形状生成部１１０は、カメラ１０によって出力され取り込まれる画像の中から移動体の全体形状を算出する機能を持つ。
図５を参照しながら具体例を説明する。ここでは、カメラ１０の撮影シ−ンにおいて、移動体の全体が映っているものとする。また、カメラ１０のパラメータである、レンズ焦点距離ｆ（１２２）、カメラ俯角θ（１２４）、カメラ高さＨ（１２３）、カメラ座標（ｘ，ｙ）１２１が既知であるとする。そして、カメラ設置の足元真下をワ−ルド座標の実空間原点（１２５）とした場合、移動体としての人物の位置のワールド座標（Ｘ，Ｙ）は、以下の演算式（１）（２）により計算できる。

いま、カメラに映っている全身シ−ンに対し、人物（移動体）１２６は、抽出した形状から投影された頭頂位置Ｔ（Ｘ，Ｙｔ，０）１２９が算出できる。また、ワールド座標での人物１２６の身長ｈ（１２７）は、以下に示す演算式（３）を用いて算出できる。

このことにより、全体形状生成部１１０は、カメラ１０の撮影シーンに出現した移動体（人物１２６）の身長がｈであることがわかり、従って、投影された頭頂位置Ｔ（Ｘ，Ｙｔ，０）１２９から足元位置Ｓ（Ｘ，Ｙｓ，０）１２８までの大きさを、カメラ１０における全体形状としてブロック分割部１５０に出力することができる。

（ブロック分割）
図６は、図２および図４に示す移動体特徴量算出装置のうち、ブロック分割部の動作を説明するために引用した図である。ここでは、図２に示す全体形状生成部１１０により生成される移動体の全体形状、もしくは図３に示す基準全体形状モデル生成部１１５により生成される基準全体形状モデルの分割の一例について説明されている。
人物等の移動体は、遮蔽物が存在して移動体の一部が隠れるが、頭部よりも足元部分が隠れることが多いと予想される。そこで、抽出した移動体の外接矩形１５１に対して、頭頂部１５０から足元部１５７にかけて、垂直方向に等分分割し、３等分の場合、ブロック１５２、ブロック１５３およびブロック１５４に分割する。これらブロック毎、移動体の全体形状と、抽出形状との比較を行い以下に説明する処理を実行するものとする。

（個別移動体形状算出処理）
図７は、図２および図４に示す移動体特徴量算出装置のうち、個別移動体形状抽出部の動作を説明するために引用したフローチャートである。
個別移動体形状抽出部１７０は、カメラ１０から取込まれる画像から背景画像を生成し、当該背景画像と先に取込まれた画像との差分画像を生成し、当該差分画像が所定の値を超えていた場合に変化領域として抽出し、当該変化領域の面積を算出してその変化領域の面積が所定の値を超えていた場合にその変化領域を移動体候補として抽出することによって、個別の移動体の形状を抽出する機能を持つ。

具体的に、個別移動体形状抽出部１７０は、まず、画像入力取込部１００を介して取込まれた画像を入力画像とし（ステップＳ１７１）、背景画像を作成済みか否かについて判定する（ステップＳ１７２）。ここで、背景画像が未だ作成されていない場合、（ステップＳ１７２“Ｎｏ”）、個別移動体形状抽出部１７０は、入力画像から初期背景画像を生成して背景画像とする（ステップＳ１７３）。なお、初期背景画像の生成は、移動体が存在していない状態の入力画像を少なくても１フレーム用いることとする。一方、背景画像が存在する場合（ステップＳ１７２“Ｙｅｓ”）、個別移動体形状抽出部１７０は、入力画像とその背景画像から差分画像を生成する（ステップＳ１７４）。

ここでは、取込んだ入力画像と背景画像とから、画素毎の輝度差に関する差分画像を生成し、その差分画像において所定の閾値以上の輝度値を示している領域を変化領域として抽出するものとする（ステップＳ１７５）。その後、個別移動体形状抽出部１７０は、変化領域の面積を算出して、その面積値が閾値以上か否かを判定し（ステップＳ１７６）、閾値以上の場合（ステップＳ１７６“Ｙｅｓ”）は、抽出した変化領域に対し、ノイズ除去等を行って整形した後、画素を膨張および画像を収縮すること等により近隣の画素を統合して移動体候補とする（ステップＳ１７７）。この膨張、収縮の処理を行う理由は、以下に述べる通りである。カメラ１０，１１（図１参照）から取り込んだ画像は、きれいな人形（移動物体の形状）をしているわけではなく、実際にはところどころが分割された画像として取り込まれる。これを整形するために、個々の画素を膨張することによって、分割された画像が連結され、さらに膨張によって拡大されている画像を収縮することによって、元の大きさの分割されていない画像を得ることができる。
一方、閾値未満の場合（ステップＳ１７６“Ｎｏ”）、個別移動体形状抽出部１７０は、変化のない現入力画像を新たな背景画像として更新する（ステップＳ１７９）。続いて、個別移動体形状抽出部１７０は、移動体候補の出現回数（出現しているフレーム数）をカウントし（ステップＳ１７８）、ｋ回（所定回数）以上出現した場合（ステップＳ１７８“Ｙｅｓ”）には、その移動体候補を移動体（人物）として検出して、その形状（個別移動体の形状）を抽出する（ステップＳ１８０）。

（非隠蔽領域算出処理）
図８は、図２および図４に示す移動体特徴量算出装置のうち、非隠蔽領域算出部の動作を説明するために引用した図である。
非隠蔽領域算出部１９０は、個別移動体形状抽出部１７０により抽出された個別の移動体の形状と、全体形状生成部１１０により生成される移動体の全体形状との差分画像から個別移動体の非隠蔽領域を算出する。図８において、まずｉフレーム１９２で撮影シーンの奥側に移動体としての人物１９１が出現し、その後、ｉ＋１フレーム１９３では、移動体１９４がシーン中央部に移動するが、机が遮蔽物となり下半身が隠蔽してしまう。更に、ｉ＋２フレーム１９６では人物１９７がシーン前方に移動し、下半身が視野範囲から外れて上半身しか撮影されない。このように、撮影シーンにおいて人物の全体形状が常に出現するわけでない。そこで、隠蔽が発生した人物の出現位置に対応させて、全体形状生成部１１０で生成された全体形状１１３，１１４を用いて、抽出された移動体形状１９４と全体形状１１３とを比較し、更に、抽出された移動体形状１９７と全体形状１１４とを比較して、その差分画像を算出する。

（特徴量算出処理）
図９は、図２および図４に示す移動体特徴量算出装置のうち、特徴量算出部の動作を説明するために引用した図である。
特徴量算出部２００は、非隠蔽領域算出部１９０により算出される非隠蔽領域の特徴量を算出してネットワーク３０（図１参照）経由でカメラ間移動体照合追跡装置４０（図１参照）に出力する機能を持つ。人物等の移動体は、遮蔽物が存在して移動体の一部が隠れるが、頭部よりも足元部分が隠れることが多いと予想される。そこで、図８におけるｉ＋１フレームでは、全体形状１１３と抽出した移動体の形状１９４に対し、全体形状１１３の頭頂位置２０１と抽出した移動体の形状１９４の頭頂位置２０９とをあわせて、ブロック毎の差分画像を算出すれば、ブロック２０５は非隠蔽領域であり、その特徴量（ｆｂ１）は有効な値となる。しかし、ブロック２０６は隠蔽領域であり、その特徴量は無効であり×とすれば抽出した移動体の形状１９４における特徴量ブロック２０３が生成される。

同様に、ｉ＋２フレームでは、全体形状１１４と抽出した移動体の形状１９７に対し、全体形状１１４の頭頂位置２０２と、抽出した移動体の形状１９７の頭頂位置２１０とをあわせて、ブロック毎の差分画像を算出すれば、ブロック２０７，２０８は非隠蔽領域であり、その特徴量（ｆｆｂ１），（ｆｆｂ２）は有効な値となる。しかし、ブロック２０９は隠蔽領域であり、その特徴量は無効であり×とすれば抽出した移動体の形状１９７における特徴量ブロック２０４が生成される。
このことにより、遮蔽物が存在して一部に隠れが発生している状況にあってもカメラ間を跨って移動する移動体を見失うことなく追跡することが可能となる。

（外乱に対する処理）
図１０および図１１は、移動体の全体形状を用い、影や光等に基づく外乱を除外する個別移動体形状抽出部の動作を説明するために引用した図である。
監視対象シーンは、影や光等の様々な外乱が発生し、移動体を誤検知する大きな要因になる。当然、特徴量を算出する場合の移動体以外の特徴量（外乱の特徴量）も算出してしまうため、これらの外乱を除外する必要がある。個別移動体形状抽出部１７０は、全体形状生成部１１０から出力される移動体の全体形状から、外乱により生成される過剰な領域をフィルタリング処理して個別の移動体の形状を抽出することができる。

図１０において、移動体としての人物２１０に付随した影２１３が足元に発生している場合、まず個別移動体形状抽出部１７０は、人物２１０と影２１３を含む外接矩形２１５を生成し、次に個別移動体形状抽出部１７０が生成した外接矩形２１５の左上から全体形状２１４をずらしながら合わせこみ、全体形状２１４の面積と抽出した形状面積の一致が最大である領域２１２を移動体の抽出形状として決定する。これにより、足元の影２１３が除外できる。
また、図１１において、移動体としての人物２１０の付近に光２１７が発生している場合、まず個別移動体形状抽出部１７０は、人物２１０と影２１３を含む外接矩形２１６を生成し、生成した外接矩形２１６の左上から全体形状２１４をずらしながら合わせこみ、全体形状２１４の面積と抽出した形状面積の一致が最大である領域２１８を移動体の抽出形状として決定する。これにより、光２１７が除外できる。

このことにより、影や光等の外乱が発生しても、移動体を正確に抽出する（フィルタリングする）ことができるため、移動体のみの特徴量の算出が可能となり、後記する移動体を同定するときの照合性能を向上させることができる。

ところで、人物や車両等の移動体は、監視対象空間に分散して配置された複数のカメラ間に跨って移動する。例えば、図１２に示されるよう、ビルの各フロアに、カメラ１０、カメラ１１およびカメラ１２が配置されているものとする。
図１２は、本発明の第１の実施形態の動作を説明するために引用した図であり、複数カメラ間における時間経過による移動体の変化の様子を示す図である。
ここで、ある時刻２３０において、カメラ１０に映っている移動体１５は、所定時間経過後の時刻２３１には、カメラ１０の撮影シーンから消減してカメラ１１で撮影されたシ−ンの移動体１６として映っている。一方、時刻２３０でカメラ１２の撮影シーンには移動体は存在しないが、時刻２３１におけるカメラ１２の撮影シーンには別の移動体１７が新規に出現している。このようにして、移動体は、時間経過とともに、時々刻々状態が変化している。

（カメラ間移動体照合追跡装置の構造）
図１３は、本発明の第１の実施形態にかかわる移動体監視システムのうち、カメラ間移動体照合追跡装置の内部構成の一例を示す図である。
カメラ間移動体照合追跡装置４０は、監視空間特徴量データベース（ＤＢ）２２０と、移動体照合部２２４と、移動体追跡部２２５とで構成される。

移動体を追跡する場合、監視対象空間に分散配置された複数のカメラ間に跨って出現する移動体を同定する必要がある。このために、前記した移動体特徴量算出装置２０，２１は、カメラ内において、移動体が出現してから消減するまでの間の特徴量をそれぞれフレームごとに算出してネットワーク３０経由でカメラ間移動体照合追跡装置４０に転送する。
カメラ間移動体照合追跡装置４０は、受信した特徴量に関する情報をカメラ毎に監視空間特徴量ＤＢ２２０に格納する。例えば、カメラ１０における特徴量２２１およびカメラ１１における特徴量２２２、そしてカメラ１２における特徴量２２３を、監視空間特徴量ＤＢ２２０に特徴量ごとのファイルとして格納する。移動体照合部２２４は、これらに特徴量を用いて、移動体を同定するための照合を行い、そして、移動体追跡部２２５は、照合の結果、同定された移動体を追跡し、監視用表示装置５０に出力する。監視用表示装置５０に表示される情報等、詳細は後記する。

図１４は、移動体照合部の動作を説明するために引用したフローチャートである。移動体照合部２２４は、監視空間特徴量ＤＢ２２０から、カメラ毎、所定時間内に抽出される個別の移動体の出現位置および消滅位置を取込み、隣接して配置されるカメラ間で、一方のカメラにおける消滅位置と他方のカメラにおける出現位置とを比較し、一致したときに、一方のカメラで撮影された移動体の非隠蔽領域における特徴量の分布と、他方のカメラで撮影された移動体の対応する非隠蔽領域における特徴量の分布とを照合し、これら特徴量の分布が類似するグループを抽出された個別の移動体として同定して移動体追跡部２２５へ出力する機能を持つ。

ここでは、移動体の特徴量情報として、出現位置とその時刻、消滅位置とその時刻、ブロック毎の平均輝度比を用いて照合を行う例を示す。
移動体照合部２２４は、まず、監視空間特徴量ＤＢ２２０を参照し、カメラ毎、所定時間内における移動体の出現位置および消滅位置を算出する（ステップＳ２４０）。次に、移動体照合部２２４は、カメラの配置情報を用いて、移動体が消減したら、次にどのカメラへ出現するかを予測する（ステップＳ２４１）。この予測の方法については、公開されており、例えば、小沼知恵子、高橋和範、正嶋博、竹内政人著、「複数カメラ間の人物追跡」、動的画像処理実利用化ワークショップ２００５ 講演論文集、日本、２００５．３．３〜２００５．３．４開催、ｐ．１０１〜ｐ．１０５に詳細に開示されている。

続いて、移動体照合部２２４は、ステップＳ２４１における予測の結果、隣接しているカメラ間で、所定時間経過後に、一方のカメラの消減位置と、他方のカメラの出現位置との比較を行う（ステップＳ２４２）。比較の結果、整合がとれた場合に、他方のカメラにおいて、消滅位置が算出できた移動体に対し、抽出形状の対応するブロック間で照合を行い、輝度比等の特徴量の距離の近さが閾値範囲内のグループを同じ移動体として判定する（ステップＳ２４３）。なお、ステップＳ２４２において、一致しなかった場合は、処理を終了する。

図１５は、本発明の第１の実施形態にかかわる移動体監視システムのうち、カメラ間移動体照合追跡装置の動作を説明するために引用した図であり、（ａ）は、あるカメラにおける撮影シーンと、（ｂ）は、その特徴量の分布についての一例を示す図である。
あるカメラで撮影したシーン２５１において、ある時刻に移動体２５２、他の移動体２５３およびその他の移動体２５４が出現した場合、移動体２５２は、机２６０が遮蔽物になり、下半身部が隠蔽領域となり、その特徴量２５７は、上半身部のブロックｆ３ｂ１，ｆ３ｂ２が有効である。
また、移動体２５３は、全身が出現しているため、その特徴量２５６は、全体形状のブロックｆ２ｂ１，ｆ２ｂ２，ｆ２ｂ３が有効となる。更に、移動体２５４も、全身が出現しているため、その特徴量２５５は、全体形状のブロックｆ１ｂ１，ｆ１ｂ２，ｆ１ｂ３が有効となる。これらにより、移動体の特徴量として、移動体２５２と移動体２５３と移動体２５４の非隠蔽領域でのブロックの特徴量を有効とする。

移動体照合部２２４は、特徴量の照合の対象となるブロックを３分割し、ブロック毎に座標を定め、各々のシ−ンに対して、ブロック１、ブロック２およびブロック３における特徴量（平均輝度）を、所定の座標上に分布させる。ここで、平均輝度とは、撮影シーン内に移動体が出現してから、消滅するまでの移動体の輝度をフレームごとに平均したものである。この場合、例えば移動体２５２の分布は２７３のようになり、移動体２５３の分布は２７２のようになり、そして、移動体２５４の分布は２７１のようになる。

図１６は、本発明の第１の実施形態にかかわる移動体監視システムのうち、カメラ間移動体照合追跡装置の動作を説明するために引用した図であり、（ａ）は、他のカメラにおける撮影シ−ンと、（ｂ）は、その特徴量の分布についての一例を示す図である。
他のカメラで撮影した撮影シーン２５２において、別の時刻に移動体２６２および他の移動体２６１が出現した場合、移動体２６２は、全身が出現しているため、その特徴量２６４は、全体形状のブロックｆ４ｂ１，ｆ４ｂ２，ｆ４ｂ３が有効となる。更に、移動体２６１も、全身が出現しているため、その特徴量２６３は、全体形状のブロックｆ５ｂ１，ｆ５ｂ２，ｆ５ｂ３が有効となる。そこで、特徴量の1つとして移動体の平均輝度を算出すると、移動体２６１の分布は２７４のようになり、移動体２６２の分布は２７５のようになる。

図１７は、複数のカメラ間における移動体の特徴量分布の例を示した図である。移動体照合部２２４は、あるカメラで撮影した撮影シーン２５１に対するブロック１、ブロック２、ブロック３の特徴量分布Ｘ（２７１），Ｙ（２７３），Ｚ（２７２）と、他のカメラで撮影したシーン２５２に対するブロック１、ブロック２、ブロック３の特徴量分布ＸＸ（２７４），ＹＹ（２７５）とを照合する。
ここでは、特徴量分布のＹ（２７３）とＹＹ（２７５）の座標上の位置が近い。また、特徴量分布のＸ（２７１）とＸＸ（２７４）の座標上の位置が近く、特徴量の分布が類似している。移動体照合部２２４は、このように特徴量の分布が類似しているグループは、同じ移動体として判定する。

ところで、カメラ内に移動体が出現してから消減するまで、その移動体は複数シ−ン（フレーム）撮影され、移動体特徴量算出装置２０，２１（図１参照）によって取込まれ、算出される特徴量は、それぞれカメラ間移動体照合装置４０（図１参照）に転送される。
図１８は、図１に示す移動体監視システムのうち、カメラ間移動体照合追跡装置の動作を説明するために引用した図であり、あるカメラにおいて撮影される全ての撮影シーンのある特定のブロックに隠蔽がある場合（図１８（ａ））と、あるカメラにおいて一部の撮影シーンにおいて対応するブロックに隠蔽がある場合（図１８（ｂ））の、それぞれを例示した図である。図１８において、○印は、隠蔽の無い照合のための有効ブロックを、×印は、隠蔽のある照合のための無効ブロックを示す。

図１８（ａ）において、移動体照合部２２４は、ブロック＃３に関し、一方のカメラ（カメラ＃２）で撮影されたフレームの全てが隠蔽領域となっているため、残りの非隠蔽領域（ブロック＃１、ブロック＃２）のそれぞれにおける特徴量と、他方のカメラ（カメラ＃１）で撮影されたフレームの対応する非隠蔽領域（ブロック＃１、ブロック＃２）のそれぞれにおける特徴量との間で照合を行う。すなわち、ブロック＃３は照合の対象から除外される。

一方、図１８（ｂ）において、移動動体照合部２２４は、一方のカメラ（カメラ＃２）で撮影されたフレームの一部（フレーム＃２、フレーム＃４）に隠蔽領域（ブロック＃３）が存在するため、その隠蔽領域（ブロック＃３）を除く非隠蔽領域（ブロック＃１とブロック＃２）のそれぞれにおける特徴量と、他方のカメラ（カメラ＃１）で撮影されたフレームの対応する非隠蔽領域（ブロック＃１とブロック＃２）における特徴量との間で照合を行う。すなわち、ブロック＃３は照合の対象から除外される。
また、図１８（ｂ）において、隠蔽発生フレームのブロック（ブロック＃３）を、距離的に近い近隣の隠蔽が発生していないフレーム（フレーム＃１、フレーム＃３）の該当ブロックから取込み、照合の対象としてもよい。更に、カメラ＃１およびカメラ＃２とも共通に隠蔽が発生していないブロック（ブロック＃１、ブロック＃２）のみを照合の対象として粗い照合を行い、次に、類似すると判定された移動体間において、隠蔽が発生していないブロック（フレーム＃１、フレーム＃３）を用いて再度照合を行うこともできる。これにより、照合の精度が向上する。

図１９は、監視用表示装置に表示される表示画面の一例を説明するために引用した図である。ここでは、複数のカメラ間で、個別の移動体を監視する、例えば、不法侵入者等を監視する場合を想定する。
この場合、不法侵入者が撮影されたカメラと、その画像と、出現時刻３０２，３０３およびその移動経路６０、不法侵入者の検知を示すアラーム７０等を監視用表示装置５０に表示させる。監視用表示装置５０は、例えば、監視センターに設置され、この表示画面を監視員１０００が視認することにより、異常発生に加えて不法侵入者の移動経路がわかるため、操作卓１１００にあるキーボード操作により、あるいは電話等により対策員への指示を適切に行うことができる。なお、監視用表示装置５０には、これら内容をリアルタイムに表示することも可能である。

図２０は、監視用表示装置に表示される他の画面構成例を説明するために引用した図である。
複数のカメラ間における移動体の追跡の精度は、図１３に示される監視空間特徴量ＤＢ２２０に格納されたファイル（特徴量）の正確性に依存する。そこで、各時刻に出現した移動体に対し、プルダウンメニュー表示される中から、特徴量表示４００を指示することにより、ある時刻３１０における移動体の特徴量がカメラ毎に表示される。
カメラの撮影シーン３０３に下半身が隠蔽された移動体３１１が出現すると、ブロック毎の特徴量３１２を移動体３１１に付随して表示させることができる。このときに表示されるのは、移動体３１１の非隠蔽領域の特徴量３１２と、隠蔽領域の内容を明示した表示３１５である。また、カメラの撮影シーン３０４に隠蔽の発生しない移動体３１３が出現すると、ブロック毎の特徴量３１４を移動体３１３に付随して表示させることもできる。

このことにより、特徴量として有効な領域と無効な領域が一目瞭然となり、システム管理者の機能確認が容易となる。

（第２の実施形態）
図２１は、本発明の第２の実施形態にかかわる移動体監視システムの全体構成を示すブロック図である。
図１に示す第１の実施形態との差異は、第１の実施形態では、カメラを介してリアルタイムに取込まれた画像を、照合、追跡の対象としたのに対し、第２の実施形態では、所定期間蓄積された画像をオフラインで照合し検索する対象としたことにある。

第２の実施形態にかかわる移動体監視システムは、照合検索用画像群が蓄積されたＤＢ（データベース）３２３と、移動体特徴量算出装置２０，２１と、カメラ間移動体照合追跡装置４０ａと、監視用表示装置５０とで構成される。
ここでは、移動体監視中、カメラ（図示せず）で撮影した画像データは、照合検索用画像群として、カメラごとに予めＤＢ３２３に所定期間分蓄積しておく。照合検索用画像群は、カメラ（図示せず）が、撮影した画像（背景を含む）画像群のことである。移動体特徴量算出装置２０が、照合検索用画像群が蓄積されたＤＢ３２３からそれぞれ照合の対象となる画像データを取込み、取り込んだ画像データから、移動体の全体形状を生成する。次に、蓄積画像を画像認識して得られる個別移動体を抽出して個別移動体の形状を算出する。そして、全体形状とこの算出した移動体の形状とを比較してブロック毎の差分画像を生成する。なお、前記した第２の実施形態において、移動体の全体形状の生成、個別移動体の形状の生成、ブロック毎の差分画像の生成、およびその特徴量の算出は、図１に示す第１の実施形態と同様である。
なお、本実施形態では、移動体特徴量算出装置２０（２１）カメラ間移動体照合追跡装置４０ａおよび監視用表示装置５０は、別体の装置であるとしたが、これらのうち、少なくとも２つを一体とした装置としてもよい。
なお、本実施形態において、移動体特徴量算出装置２０（２１）は、２台となっているが、１台にしてもよいし、３台以上としてもよい。また、移動体処理装置２０（２１）の設置数は、カメラの台数に合わせてもよいし、合わせなくてもよい。移動体特徴量算出装置２０（２１）の設置数を、カメラの台数に合わせることにより、移動体特徴量算出装置２０（２１）の処理負担を軽減することが可能である。

ここで、ブロック毎に差分画像が存在すれば、抽出人物は全身が出現している状態ではなく、遮蔽物の陰に一部に隠れている隠蔽領域とし、隠れていない非隠蔽領域の特徴量を算出する。これらは、所定の時間間隔、例えば、処理の１サイクル等のリアルタイム処理が可能な短時間で繰り返し実行される。
各移動体特徴量算出装置２０（２１）で算出された特徴量は、カメラ間移動体照合追跡装置４０ａに供給される。カメラ間移動体照合追跡装置４０ａは、移動体特徴量算出装置２０（２１）から供給されたそれぞれの特徴量の相関を求め、複数画像に跨って移動する移動体間の同定を行い、検索を行う。そして、監視用表示装置５０に対して、検索された移動体の移動経路６０、更には、アラーム７０が表示される。
特徴量の相関を求める手順は、図１６および図１７を参照して説明した通りである。

図２２は、図２１に示した第２の実施形態の変形例を示す図である。ここでは、移動体監視システムは、監視空間特徴量ＤＢ２２０と、カメラ間移動体照合追跡装置４０と、監視用表示装置５０とで構成される。
監視空間特徴量ＤＢ２２０には、移動体特徴量算出装置２０（２１）（図２１参照）が算出した特徴量がそれぞれファイルとして格納されている。なお、ここでファイルとして格納される特徴量は、移動体特徴量算出装置２０（２１）が、移動体の全体像から全体形状を作成し、移動体を抽出して個別の形状を算出し、先に生成した全体形状と抽出した個別の移動体の形状とを比較することにより得られるブロック毎の差分画像（非隠蔽領域）の特徴量であることは前記したとおりである。カメラ間移動体照合監視装置８０は、移動体特徴量算出装置２０（２１）から供給された監視空間特徴量ＤＢ２２０に蓄積された特徴量の相関を求め、複数画像に跨って移動する移動体間の同定を行い、検索を行う。

そして、監視用表示装置５０には、ある時刻３１０における移動体の特徴量がカメラ毎（カメラＡ〜カメラＤ）に表示される。ここでは、カメラの撮影シーン３０３に下半身が隠蔽された移動体３１１が出現すると、ブロック毎の特徴量３１２を移動体３１１に付随して表示させることができる。このときに表示されるのは、移動体３１１の非隠蔽領域の特徴量３１２と、隠蔽領域の内容を明示した表示３１５である。また、カメラの撮影シーン３０４に隠蔽の発生しない移動体３１３が出現すると、ブロック毎の特徴量３１４を移動体３１３に付随して表示させることもできる。

図２３は、移動体監視システムにおけるカメラの配置の一例について説明するために引用した図である。前記した第１の実施形態および第２の実施形態では、単体カメラを用いて移動体を撮影する例について説明したが、ここでは、ステレオカメラにより立体視を得る例を示す。
図２３に示されるように、移動体撮影用のカメラとして、左カメラ５０３と右カメラ５０２の２台を設置し、キャリブレーションの対策は済んでいるものとする。この場合、図示せぬ移動体特徴量算出装置は、左カメラ５０３の視野範囲５０５と右カメラ５０４の視野範囲５０４を用いて、入力され取込まれる画像の視差データを算出し、その視差データから、画像の高さ（距離）情報を計測する。このことにより、高さのある画像のみを検出することができ、高さが無く、平面に張り付いている移動体の影や光等過剰な領域を抽出することが無くなるため、高精度に移動体を抽出できる。

図２４は、図２３に示すステレオカメラを用いて個別の移動体の形状を算出する個別移動体形状抽出部の内部構成を示すブロック図である。
ここに示される個別移動体形状抽出部１７０は、視差算出部５１２と、距離計測部５１３と、移動体形状抽出部５１４とで構成される。

ここでは、まず、視差算出部５１２が、左カメラ画像入力取込部５１１と右カメラ画像入力取込部５１０によってそれぞれ入力され取込まれる画像から、視差データを算出して距離計測部５１３へ供給する。次に、距離計測部５１３が、左カメラの入力画像と右カメラの入力画像より算出された視差データから、高さに関するデータを計測する。そして、移動体形状抽出部５１４が、計測された高さ（距離）が所定値以上の物体を移動体として抽出し、非隠蔽領域算出部１９０へ出力する。
続いて、非隠蔽領域出力部１９０では、全体形状との差分画像を算出し、その差分画像が所定値を越えるブロックが存在すれば隠蔽領域とし、図示せぬ特徴量算出部を介してその差分が所定値未満である非隠蔽領域のブロックの特徴量を算出するものであり、このことは前記した図２、図４に示す第１の実施形態と同様である。

最後に、図１、図２、図１３および図２１を参照して、本発明のまとめを行う。
以上説明のように本実施形態の移動体監視システムは、移動体特徴量算出装置２０（２１）において、まず、監視対象空間に複数設置されたカメラ１０，１１により撮影される画像、もしくはその蓄積画像（照合検索用画像群を蓄積したＤＢ３２３）を用いて移動体の全体形状に関するデータを算出する。次に、その画像から画像認識技術を用いてカメラ毎に移動体を抽出し、この抽出した移動体の特徴量を算出する。
このため、監視対象空間に設置されるカメラ１０，１１毎、移動体特徴量算出装置２０（２１）が設けられ、移動体特徴量算出装置２０（２１）は、全体形状生成部１１０と、個別移動体形状抽出部１７０と、非隠蔽領域算出部１９０と、特徴量算出部２００とを含む。具体的に、個別移動体形状抽出部１７０で個別移動体の形状を抽出し、全体形状生成部１１０で生成される全体形状との差分画像を算出して非隠蔽領域を決定し、特徴量算出部２００で非隠蔽領域の特徴量を算出する。

なお、撮影された画像の中に移動体の全体形状がない場合もあるため、基準となるカメラ画像から基準全体形状モデルを予め作成しておき、カメラの設置条件に応じて、その基準全体形状モデルを用い、カメラ毎に全体形状を補正して作成することも可能である。

そして、動体特徴量算出装置２０（２１）によりそれぞれ算出される特徴量は、ネットワーク３０経由でカメラ間移動体動体照合追跡装置４０に転送される。あるいは、カメラ間照合検索装置８０（図２２参照）に供給される。
カメラ間移動体動体照合追跡装置４０、あるいはカメラ間移動体照合追跡装置４０ａは、監視空間特徴量ＤＢ２２０と、移動体照合部２２４とを含み、監視空間特徴量ＤＢ２２０には、監視対象空間における移動体の特徴量と、移動位置情報と、出現時刻情報とが蓄積される。移動体照合部２２４は、監視空間特徴量ＤＢ２２０に蓄積された移動位置情報と出現時刻情報の整合性を判定し、カメラ毎に抽出した移動体のブロック単位での特徴量を用いてカメラ１０，１１間の移動体の同定を行う。ここでは、特徴量分布空間の位置（特徴量の距離の近さ）が所定範囲にある場合、同じ移動体として判定する。
カメラ間移動体動体照合追跡装置４０、あるいはカメラ間移動体照合追跡装置４０ａはまた、監視用表示装置５０に、設置されたカメラ配置、撮影画像、移動体の非隠蔽領域の特徴量、アラ−ム発生画像等を表示のために出力する。監視員は、このモニタ画像により、監視対象空間に多数のカメラが設置されていてもモニタ画像を注視することなく監視することができる。

本発明によれば、移動体監視システムが、多数のカメラに跨って広範囲に移動する移動体を自動認識して追跡することができるため、監視員がモニタを見続けることの煩わしさから開放され、従って、移動体の監視業務を、限られた人数で効率的に行うことができる。また、撮影シーンが重複しない監視対象空間に多数のカメラが分散設置される環境下にあって、更には、遮蔽物が存在して一部に移動体の隠れが発生している状況下にあっても移動体を自動認識でき、追跡精度の向上がはかれる。

なお、前記した本発明実施形態によれば、移動体監視システムは、移動体特徴量算出装置２０，２１と、カメラ間移動体照合追跡装置４０、あるいはカメラ間移動体照合追跡装置４０ａがネットワーク３０を経由して接続される構成を採用したが、複数のネットワークカメラが、移動体特徴量算出装置２０，２１と、カメラ間移動体照合追跡装置４０、あるいはカメラ間移動体照合追跡装置４０ａとしての機能を併せ持つサーバ（図示省略）に接続されるスタンドアロン構成を採用してもよい。
また、前記した本発明実施形態によれば、移動体の全体形状を２以上に分割し、分割されたブロック毎、特徴量の照合を行うものとして説明したが、ブロックに分割することは必須でなく、移動体の全体形状と抽出された移動体の形状との差分画像により移動体の非隠蔽領域を算出してその特徴量の照合を行うことで移動体の同定を行うものである。

本発明は、遮蔽物が存在して一部に隠蔽がある移動体の狭空間および広域空間における追跡システム全般に適用が可能である。

本発明の第１の実施形態にかかわる移動体監視システムの全体構成を示すブロック図である。 図１に示す移動体監視システムのうち、移動体特徴量算出装置の内部構成を示すブロック図である。 基準となる移動体の全体形状モデルを作成するための構成例を示した図である。 図２に示す移動体特徴量算出装置の変形例であり、基準全体形状モデルを用いた場合の移動体特徴量算出装置の内部構成を示すブロック図である。 図２および図４に示す移動体特徴量算出装置のうち、全体形状生成部の動作を説明するために引用した図である。 図２および図４に示す移動体特徴量算出装置のうち、ブロック分割部の動作を説明するために引用した図である。 図２および図４に示す移動体特徴量算出装置のうち、個別移動体形状抽出部の動作を説明するために引用したフローチャートである。 図２および図４に示す移動体特徴量算出装置のうち、非隠蔽領域算出部の動作を説明するために引用した図である。 図２および図４に示す移動体特徴量算出装置のうち、特徴量算出部の動作を説明するために引用した図である。 移動体の全体形状を用いて外乱を除去する個別移動体形状抽出部の動作を説明するために引用した図である（その１）。 移動体の全体形状を用いて外乱を除去する個別移動体形状抽出部の動作を説明するために引用した図である（その２）。 本発明の第１の実施形態の動作を説明するために引用した図であり、複数カメラ間における時間経過による移動体の変化の様子を示す図である。 図１に示す移動体監視システムのうち、カメラ間移動体照合追跡装置の内部構成を示すブロック図である。 図１に示す移動体監視システムのうち、カメラ間移動体照合追跡装置の移動体照合部の動作を説明するために引用したフローチャートである。 本発明の第１の実施形態の動作を説明するために引用した図であり、（ａ）は、カメラの撮影シーンを示す図であり、（ｂ）は、その特徴量の分布を示す図である。 本発明の第１の実施形態の動作を説明するために引用した図であり、（ａ）は、他のカメラの撮影シーンを示す図であり、（ｂ）は、その特徴量の分布を示す図である。 本発明の第１の実施形態の動作を説明するために引用した図であり、複数カメラ間における所定時間内での移動体の特徴量の分布を示す図である。 図１に示す移動体監視システムのうち、カメラ間移動体照合追跡装置の動作を説明するために引用した図であり、（ａ）は、あるカメラにおいて撮影される全ての撮影シーンのある特定のブロックに隠蔽がある場合を示す図であり、（ｂ）は、あるカメラにおいて一部の撮影シーンにおいて対応するブロックに隠蔽がある場合を示す図である。 本発明の第１の実施形態により監視用表示装置に表示される表示画面の一例を示す図である。 本発明の第１の実施形態により監視用表示装置に表示される表示画面の他の例を示す図である。 本発明の第２の実施形態にかかわる移動体監視システムの全体構成を示すブロック図である。 本発明の第２の実施形態にかかわる移動体監視システムの変形例を示すブロック図である。 本発明実施形態において使用されるカメラの配置の一例を示す図である。 図２３に示すカメラ設置を採用した場合の、図２および図４に示す個別移動体形状抽出部の内部構成の一例を示す図である。

符号の説明

１０，１１ カメラ
２０，２１，２０ａ 移動体特徴量算出装置
３０ ネットワーク
４０，４０ａ カメラ間移動体照合追跡装置
５０ 監視用表示装置
１００ 画像入力取込部
１１０ 全体形状生成部
１１５ 基準全体形状モデル生成部
１４０ ファイル
１５０ ブロック分割部
１７０ 個別移動体形状抽出部
１９０ 非隠蔽領域算出部
２００ 特徴量算出部
２２０ 監視空間特徴量ＤＢ
２２４ 移動体照合部
２２５ 移動体追跡部
３２３ 照合検索用画像群ＤＢ
５０２ 右カメラ
５０３ 左カメラ

Claims (22)

1. 監視対象空間に配置された複数のカメラに跨って移動する個別の移動体の監視を行う移動体監視システムであって、
   前記移動体の全体が映っている画像から照合元となる前記移動体の全体形状を生成し、それぞれのカメラによって撮影され、取り込まれた画像から画像認識して得られる前記移動体の形状を照合対象として抽出し、当該抽出された移動体の形状と前記移動体の全体形状との差分から前記移動体の非隠蔽領域を算出してその特徴量を出力する移動体特徴量算出装置と、
   前記複数のカメラ間で前記それぞれの特徴量の相関を求めて前記抽出された移動体間の同定を行い、追跡する、カメラ間移動体照合追跡装置と、
   を具備することを特徴とする移動体監視システム。
2. 前記追跡した移動体の、撮影画像、移動経路、非隠蔽領域または隠蔽領域の特徴量の少なくとも一つを表示する監視用表示装置と、
   をさらに具備することを特徴とする請求項１に記載の移動体監視システム。
3. 前記カメラ間移動体照合追跡装置は、
   前記抽出された個別の移動体が出現してから消滅するまでの間に算出される前記特徴量を、前記カメラ毎、時系列的に格納する監視空間特徴量データベースと、
   前記監視空間特徴量データベースを参照し、前記カメラ間における前記移動体の移動位置と出現時刻との整合性を判定し、前記カメラ間で算出される前記特徴量の相関を求め、前記抽出された移動体間の同定を行う移動体照合部と、
   前記個別の移動体を追跡して監視用表示装置に出力する移動体追跡部と、
   を具備することを特徴とする請求項１または請求項２に記載の移動体監視システム。
4. 前記移動体照合部は、
   前記監視空間特徴量データベースから、カメラ毎、所定時間内に抽出される前記移動体の出現位置および消滅位置を取り込み、前記カメラの配置情報から、前記移動体が次にどのカメラへ出現するかを予測し、前記予測されたカメラと隣接して配置されるカメラとの間で、一方のカメラにおける消滅位置と他方のカメラにおける出現位置とを比較して予測が成立したことを契機に、一方のカメラで撮影された前記移動体の非隠蔽領域における特徴量の分布と、前記他方のカメラで撮影された前記移動体の対応する非隠蔽領域における特徴量の分布とを照合し、前記特徴量の分布が類似するグループを前記抽出された移動体として同定する
   ことを特徴とする請求項３に記載の移動体監視システム。
5. 前記移動体照合部は、
   前記一方のカメラで撮影されたフレームの全てに隠蔽領域が存在する場合、残りの非隠蔽領域のそれぞれにおける特徴量と、他方のカメラで撮影されたフレームの対応する非隠蔽領域のそれぞれにおける特徴量との間で前記照合を行う
   ことを特徴とする請求項４に記載の移動体監視システム。
6. 前記移動体照合部は、
   前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、前記隠蔽領域を除く非隠蔽領域のそれぞれにおける特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域における特徴量との間で前記照合を行う
   ことを特徴とする請求項４に記載の移動体監視システム。
7. 前記移動体照合部は、
   前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、前記隠蔽領域が存在しない近隣のフレームの非隠蔽領域におけるそれぞれの特徴量を用い、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行う
   ことを特徴とする請求項４に記載の移動体監視システム。
8. 前記移動体照合部は、
   前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、共通に隠蔽領域が存在しないフレームの非隠蔽領域におけるそれぞれの特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行い、前記照合の結果、類似すると判定されたとき、更に、前記一方のカメラで撮影されたフレームの非隠蔽領域におけるそれぞれの特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行う
   ことを特徴とする請求項４に記載の移動体監視システム。
9. 前記移動体照合部は、
   前記移動体の全体形状が分割された少なくとも２つのブロック毎に座標を定め、その座標空間上に、前記一方のカメラで撮影された前記移動体の非隠蔽領域におけるブロック毎の特徴量と、前記他方のカメラで撮影された前記移動体の対応する非隠蔽領域におけるブロック毎の特徴量を分布させ、前記それぞれ設定された特徴量の分布空間の差が所定の範囲にあるグループを前記抽出された移動体として同定することを特徴とする請求項４〜８のいずれか１項に記載の移動体監視システム。
10. 監視対象空間に配置された複数のカメラにより撮影され、収集される蓄積画像の中から個別の移動体の監視を行う移動体監視システムであって、
    前記蓄積画像のうち、前記移動体の全体が映っている画像から照合元となる前記移動体の全体形状を生成し、前記蓄積画像を画像認識して得られる前記移動体の形状を照合対象として抽出し、当該抽出された移動体の形状と前記移動体の全体形状との差分から前記移動体の非隠蔽領域を算出してその特徴量を出力する移動体特徴量算出装置と、
    前記蓄積画像の間で前記それぞれの特徴量の相関を求め、前記複数のカメラに跨って移動する移動体間の同定を行い、検索する、カメラ間移動体照合追跡装置と、
    を具備することを特徴とする移動体監視システム。
11. 前記検索した移動体の、撮影画像、移動経路、非隠蔽領域または隠蔽領域の特徴量の少なくとも一つを表示する監視用表示装置と、
    をさらに具備することを特徴とする請求項１０に記載の移動体監視システム。
12. 前記カメラ間移動体照合追跡装置は、
    前記抽出された個別の移動体が出現してから消滅するまでの間に算出される前記特徴量を、前記カメラ毎、時系列的に格納する監視空間特徴量データベースと、
    前記監視空間特徴量データベースを参照し、前記カメラ間における前記移動体の移動位置と出現時刻との整合性を判定し、前記カメラ間で算出される前記特徴量の相関を求め、前記抽出された移動体間の同定を行う移動体照合部と、
    前記個別の移動体を追跡して監視用表示装置に出力する移動体追跡部と、
    を具備することを特徴とする請求項１０または請求項１１に記載の移動体監視システム。
13. 前記移動体照合部は、
    前記監視空間特徴量データベースから、カメラ毎、所定時間内に抽出される前記移動体の出現位置および消滅位置を取り込み、前記カメラの配置情報から、前記移動体が次にどのカメラへ出現するかを予測し、前記予測されたカメラと隣接して配置されるカメラとの間で、一方のカメラにおける消滅位置と他方のカメラにおける出現位置とを比較して予測が成立したことを契機に、一方のカメラで撮影された前記移動体の非隠蔽領域における特徴量の分布と、前記他方のカメラで撮影された前記移動体の対応する非隠蔽領域における特徴量の分布とを照合し、前記特徴量の分布が類似するグループを前記抽出された移動体として同定する
    ことを特徴とする請求項１２に記載の移動体監視システム。
14. 前記移動体照合部は、
    前記一方のカメラで撮影されたフレームの全てに隠蔽領域が存在する場合、残りの非隠蔽領域のそれぞれにおける特徴量と、他方のカメラで撮影されたフレームの対応する非隠蔽領域のそれぞれにおける特徴量との間で前記照合を行う
    ことを特徴とする請求項１３に記載の移動体監視システム。
15. 前記移動体照合部は、
    前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、前記隠蔽領域を除く非隠蔽領域のそれぞれにおける特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域における特徴量との間で前記照合を行う
    ことを特徴とする請求項１３に記載の移動体監視システム。
16. 前記移動体照合部は、
    前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、前記隠蔽領域が存在しない近隣のフレームの非隠蔽領域におけるそれぞれの特徴量を用い、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行う
    ことを特徴とする請求項１３に記載の移動体監視システム。
17. 前記移動体照合部は、
    前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、共通に隠蔽領域が存在しないフレームの非隠蔽領域におけるそれぞれの特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行い、前記照合の結果、類似すると判定されたとき、更に、前記一方のカメラで撮影されたフレームの非隠蔽領域におけるそれぞれの特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行う
    ことを特徴とする請求項１３に記載の移動体監視システム。
18. 前記移動体照合部は、
    前記移動体の全体形状が分割された少なくとも２つのブロック毎に座標を定め、その座標空間上に、前記一方のカメラで撮影された前記移動体の非隠蔽領域におけるブロック毎の特徴量と、前記他方のカメラで撮影された前記移動体の対応する非隠蔽領域におけるブロック毎の特徴量を分布させ、前記それぞれ設定された特徴量の分布空間の差が所定の範囲にあるグループを前記抽出された移動体として同定する
    ことを特徴とする請求項１３〜１７のいずれか１項に記載の移動体監視システム。
19. 監視対象空間に配置された複数のカメラに跨って移動する個別の移動体の監視を行う移動体監視システムにおける移動体特徴量算出装置であって、
    前記移動体の全体が映っている画像から照合元となる前記移動体の全体形状を生成する全体形状生成部と、
    それぞれのカメラによって撮影され、取り込まれた画像から背景画像を生成し、当該背景画像と前記取り込まれた画像との差分画像を生成し、当該差分画像と第１の閾値とを比較して変化領域を算出し、当該変化領域の面積を算出して当該変化領域の面積と第２の閾値とを比較し、その結果によっては前記変化領域を前記移動体候補として抽出し、もしくは前記取り込まれた画像を背景画像として更新し、前記抽出された移動体候補の出現回数により前記移動体を検知し、当該移動体の形状を照合対象として抽出する個別移動体形状抽出部と、
    前記抽出された移動体の形状と前記移動体の全体形状との差分から前記移動体の非隠蔽領域を算出する非隠蔽領域算出部と、
    前記非隠蔽領域の特徴量を算出し、前記カメラ間移動体照合追跡装置に出力する特徴量算出部と、
    を具備することを特徴とする移動体特徴量算出装置。
20. 監視対象空間に配置された複数のカメラに跨って移動する個別の移動体の監視を行う移動体監視システムにおける移動体特徴量算出装置であって、
    前記監視対象空間に配置された複数のカメラにより撮影され、収集される蓄積画像のうち、前記移動体の全体が映っている画像から照合元となる前記移動体の全体形状を生成する全体形状生成部と、
    前記蓄積画像から背景画像を生成し、当該背景画像と前記取り込まれた画像との差分画像を生成し、当該差分画像と第１の閾値とを比較して変化領域を算出し、当該変化領域の面積を算出して当該変化領域の面積と第２の閾値とを比較し、その結果によっては前記変化領域を前記移動体候補として抽出し、もしくは前記取り込まれた画像を背景画像として更新し、前記抽出された移動体候補の出現回数により前記移動体を検知し、当該移動体の形状を照合対象として抽出する個別移動体形状抽出部と、
    前記抽出された移動体の形状と前記移動体の全体形状との差分から前記移動体の非隠蔽領域を算出する非隠蔽領域算出部と、
    前記非隠蔽領域の特徴量を算出し、前記カメラ間移動体照合追跡装置に出力する特徴量算出部と、
    を具備することを特徴とする移動体特徴量算出装置。
21. 前記全体形状生成部は、
    あらかじめ登録された基準となる全体形状モデルを、前記監視対象空間に配置されたカメラの設置条件に応じて補正し、前記生成される移動体の全体形状を算出する
    ことを特徴とする請求項１９または請求項２０に記載の移動体特徴量算出装置。
22. 前記個別移動体形状抽出部は、
    前記全体形状生成部から出力される前記移動体の全体形状から、外乱により生成される過剰な領域をフィルタリング処理して前記移動体の形状を抽出する
    ことを特徴とする請求項１９から請求項２１のいずれか１項に記載の移動体特徴量算出装置。

Images