JP5147760B2 - 画像監視装置 - Google Patents

Description

本発明は、監視空間が撮像された画像を処理して監視空間内の人物の位置を検出する画像監視装置に関し、特に複数の撮像部により撮像された画像から人物の位置を検出する画像監視装置に関する。

広範囲に亘って人物の行動を監視するために、複数のカメラを設置して各カメラにより撮像された画像のそれぞれから人物の位置を検出し、各画像から検出された人物位置の情報を統合することが行われてきた。

人物位置の情報を統合するために、特許文献１においては重心位置が近い情報同士を同一人物の情報として統合している（００１５段落、００３３段落）。

特開平７−４９９５２号公報

しかしながら、検出される人物位置には一般に誤差が含まれ、検出誤差は誤った統合を引き起こしていた。検出誤差の要因は、撮像される人物像の一部又は全部が他の人物や障害物に隠蔽されるオクルージョン、影、量子化誤差など様々である。中でも特にオクルージョンによる検出誤差は大きく、統合を誤る主要因となっていた。

例えば、図１１（ａ）は、障害物９１によるオクルージョンの影響で人物９０の下半身部分が隠蔽され、人物９０の上半身部分の重心が人物９０の重心位置９２として検出された様子を表している。人物９０の重心は、本来は上半身と下半身を合わせた領域の重心位置９３の位置に検出されるべきものである。

検出誤差が含まれると、本来同一人物のものである人物位置同士が離間したり、離間した人物位置が他人の人物位置と近接したりしてしまう。そのため、従来技術においては、本来同一人物のものである人物位置同士を別々の人物としてしまったり、本来他人のものである人物位置同士を同一人物としてしまうという問題があった。

本発明は、上記問題を鑑みてなされたものであり、複数の撮像部により撮像された画像から検出された人物位置に誤差が含まれていても、同一人物の人物位置を誤りなくまとめて人物位置の情報を統合できる画像監視装置を提供することを目的とする。

本願発明者は、上記問題点を解決する画像監視装置を実現するために研究を行い、その結果、縦長である人物の検出誤差は人物の幅方向よりも高さ方向に大きく現れること、高さ方向の検出誤差は撮像部から人物への投影線に沿って現れることが判明した。例えば、図１１（ａ）の例において検出された人物位置９２は、図１１（ｂ）に示すように投影線９６に沿って撮像部から遠ざかる位置に存在する人物像９４の重心位置９５とみなされてしまうのである。本発明はこの知見を利用したものである。

本発明にかかる画像監視装置は、互いに視野の一部を共有し当該視野内を移動する人物を互いに異なる方向から撮像して監視画像を出力する複数の撮像部と、監視画像から人物が存在するローカル座標系での人物位置を検出する人物位置検出手段と、撮像部ごとに設定されたローカル座標系から複数の撮像部に共通して設定された共通座標系へ人物位置を射影する射影手段と、複数の撮像部により同時に撮像された監視画像の一方から検出された人物位置及び他方の監視画像から検出された人物位置のペアを設定して当該ペアの近接度を算出する近接度算出手段と、近接度がより高いペアを他のペアよりも優先的に同一人物の人物位置としてまとめることで人物位置の情報を統合する人物位置統合手段と、を備え、近接度算出手段は、共通座標系において一方の人物位置と当該人物位置が検出された撮像部の位置とを結ぶ投影線と他方の人物位置との間の線点間距離を算出し、当該線点間距離が近いほど近接度を高く算出することを特徴とする。
かかる構成によれば、投影線に沿って現れる高さ方向の検出誤差を無視した線点間距離に基づき近接度が算出されて近接度の高いペアが優先的に同一人物の人物位置としてまとめられるため、人物位置に検出誤差が含まれていても同一人物の人物位置を高精度にまとめて人物位置の情報を統合できる。

また、本発明の好適な態様においては、近接度算出手段は、一方の人物位置と他方の人物位置を入れ替えた線点間距離をさらに算出し、算出された２つの線点間距離のうち小さい方の線点間距離を近接度の算出に用いる。
かかる構成によれば、投影線に沿って現れる高さ方向の検出誤差がより大きい方の人物位置への投影線に対する線点間距離が選択的に近接度の算出に用いられ、投影線に沿う誤差成分を無視する効果が最大限に発揮されるため、同一人物の人物位置をより高い精度でまとめて人物位置の情報を統合できる。

また、本発明の好適な態様においては、近接度算出手段は、線点間距離が人物の幅に相当する所定しきい値を超える場合に近接度を予め設定された最小値とする。
かかる構成によれば、高さ方向の検出誤差がほぼ無視されて人物の幅方向の検出誤差が主成分である線点間距離から不当に高い近接度が算出されなくなるので、他人の人物位置を同一人物の人物位置としてまとめる誤りが減じられる。

また、本発明の好適な態様においては、近接度算出手段は、ペアを構成する人物位置間の２点間距離をさらに算出し、当該２点間距離が大きいほど近接度を小さく補正する。
かかる構成によれば、２点間距離が大きいほど近接度を小さく補正することで投影線に沿って現れる高さ方向の検出誤差を無制限に許容することがなくなるので、他人の人物位置を同一人物の人物位置としてまとめる誤りが減じられる。

また、本発明の好適な態様においては、近接度算出手段は、予め設定された上限値を超える近接度を上限値に修正する。
かかる構成によれば、検出誤差が少なく補正の程度が小さい同一人物のペアについて近接度がクリッピングされ、検出誤差が大きく補正の程度が大きい同一人物のペアについての近接度と近い近接度となるよう調整されるので、上記補正をより効果的に作用させることができる。

また、本発明の好適な態様においては、人物位置統合手段は、人物位置のそれぞれについて当該人物位置に対して算出された近接度の最大値を上限値から減じた単独度を算出し、単独度が近接度より高い人物位置はまとめずに統合する。
かかる構成によれば、単独度が近接度より高い人物位置はまとめずに統合するので、低めの近接度が算出されたペアを無理にまとめることがなくなり、より高い精度で人物位置の情報を統合できる。

また、本発明の好適な態様においては、人物位置統合手段は、同一人物とされた人物位置の平均位置を統合後の当該人物の位置として算出することで、同一人物の人物位置をひとつにまとめることができる。

本発明によれば、複数の撮像部により撮像された画像から検出された人物位置の情報に検出誤差が生じていても、これらの人物位置の情報を適確に統合できる。

本実施の形態に係る画像監視装置の全体構成図である。 画像監視装置の各部の配置例を示す図である。 近接度を算出する関数ｆ（・）を例示した図である。 信頼度を算出する関数ｇ（・）を例示した図である。 人物位置が検出される様子を例示した図である。 近接度を算出する様子を例示した図である。 近接度、単独度の算出例を示す図である。 統合評価値の算出例を示す図である。 画像監視処理のフローチャートである。 人物情報統合処理のフローチャートである。 人物位置の検出誤差を例示した図である。

本発明の好適な実施形態の一例として、監視空間を移動する人物の移動軌跡を分析して不審人物を検知する画像監視装置について説明する。

＜画像監視装置１の構成＞
図１，図２を参照して画像監視装置１の構成を説明する。図１は機能ブロック図、図２は配置例を示している。

画像監視装置１は、複数のカメラユニット２と統合ユニット３とがＬＡＮ等の通信網４により接続されてなる。カメラユニット２のそれぞれは自身の視野内に存在する人物の位置（人物位置）を検出し、検出された人物位置を統合ユニット３に送信する。統合ユニット３は各カメラユニット２から受信した人物位置の情報を統合する。このとき同一人物による人物位置はひとつにまとめられる。そして統合ユニット３は統合された人物位置を基に人物の行動を認識して不審行動を検知する。画像監視装置１においては統合により広範囲かつ死角の少ない監視が可能となる。また人物位置の情報を基礎とするためカメラユニット２の間でカラーキャリブレーションを行う必要がない、カメラユニット２と統合ユニット３の間の通信量が少ないなどの利点が得られる。尚、各ユニット２及び３は、互いに通信を行うことでタイミングを合わせ、同期して動作しているものとする。

カメラユニット２のそれぞれは、撮像部２０と、カメラ記憶部２１と、カメラ通信部２３とがカメラ制御部２２に接続されてなる。

撮像部２０は所謂監視カメラである。各撮像部２０は、一定時間おきに監視空間を撮像して監視画像を出力する。各撮像部２０は少なくとも隣り合う撮像部２０と互いに視野５０の一部を共有する程度に離間させて天井や壁などに設置され、当該視野内を移動する人物を互いに異なる方向から同時に撮像する。これによりひとつの撮像部２０により撮像された監視画像においてオクルージョンが生じている人物について、オクルージョンが生じていない監視画像を別の撮像部２０から同時に得ることができる。好適には各撮像部２０は、魚眼レンズを有する監視カメラで構成され、その光軸を鉛直下方に向けて設置される。また好適には、各撮像部２０の撮像範囲のうち画像処理により人物位置を検出できる解像度が得られる撮像範囲が各視野５０とみなす設定が予め為される。

カメラ記憶部２１は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等のメモリ装置である。各ユニットのアドレスや各種プログラムを予め記憶し、また視野内の人物の画像特徴（色ヒストグラム）を表すテンプレート、監視画像、視野内に人物がいないときの背景画像等のデータを必要に応じて記憶する。

カメラ制御部２２は、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置である。カメラ制御部２２は、人物位置検出手段２２０等の動作を記述したプログラムをカメラ記憶部２１から読み出して実行することにより各手段として機能する。

人物位置検出手段２２０は、監視画像から人物が存在する人物位置を検出し、検出された人物位置をカメラ通信部２３に出力する。人物位置の検出は次のようにして探索的に行われる。人物位置検出手段２２０は、背景画像と監視画像との差分処理により変化領域を抽出し、変化領域内に候補位置を設定して当該候補位置を重心とするテンプレートと同一の形状及び大きさの領域を設定し、当該領域において監視画像から抽出した色ヒストグラムとテンプレートの色ヒストグラムの類似度を算出する。類似度の算出は順次候補位置を移動させながら繰り返され、人物位置検出手段２２０は、極大且つ予め設定された基準値以上の類似度が算出された候補位置を人物位置として検出する。

上述したように、人物位置としては人物像の重心位置が検出される。別の実施形態では、人物位置として頭頂を想定した人物像の最上部位置、足元を想定した人物像の最下部位置などを採用することもできる。しかし人物像の外縁部である最上部位置や最下部位置は変化領域抽出の誤差の影響を受けやすい、最上部位置は投影線の俯角が小さくなるため後述する射影の誤差が大きくなる、最下部位置はオクルージョンにより欠落しやすく、その抽出誤差が大きいといった欠点がある。一方、重心位置はこれらの抽出誤差や射影誤差の影響が稀釈されて小さくなる点で最上部位置や最下部位置より優れる。

また、人物位置検出手段２２０は、変化領域が抽出されないときの監視画像で置き換える背景画像の更新、いずれのテンプレートとも一致しない変化領域の画像特徴を新規追加するテンプレートの更新、いずれの変化領域とも一致しないテンプレートを破棄する更新などのデータ更新を適宜行う。

カメラ通信部２３は、通信網４に適合した通信回路である。カメラ通信部２３は、通信網４に接続され、人物位置検出手段２２０から入力された人物位置を通信網４経由で統合ユニット３に送信する。

統合ユニット３は、統合通信部３０と、操作部３１と、統合記憶部３２と、出力部３４とが統合制御部３３に接続されてなる。

統合通信部３０は、通信網４に適合した通信回路である。統合通信部３０は、通信網４に接続され、カメラユニット２のそれぞれから人物位置を通信網４経由で受信する。

操作部３１は、タッチパネルディスプレイ等のユーザインターフェース装置である。画像監視装置１の管理者が各種設定の入力に用いる。

統合記憶部３２は、ＲＯＭ、ＲＡＭ等のメモリ装置である。各ユニットのアドレスや各種プログラムを予め記憶し、また各種データを必要に応じて記憶する。各種データには、撮像部２０の設置位置ＣＡＭ、射影規則３２０や移動軌跡３２１が含まれる。

射影規則３２０は、撮像部２０ごとに設定された監視画像面のローカル座標系から全ての撮像部２０に共通して設定された共通座標系へ人物位置を射影する座標変換式である。

撮像部２０−１のローカル座標系は、撮像面５１−１上で互いに直交するｘ１軸及びｙ１軸で表される。同様に撮像部２０−２のローカル座標系は撮像面５１−２上で互いに直交するｘ２軸及びｙ２軸で表される。

共通座標系には、実際の監視空間５２を表す３次元の世界座標系における水平面が設定される。すなわち世界座標系を互いに直交するＸ軸，Ｙ軸，Ｚ軸で表し、Ｚ軸を監視空間５２の鉛直方向に設定したときのＸ−Ｙ平面を共通座標系に設定する。平面のＺ座標は任意だが本実施形態では処理を簡単化するためにＺ＝０の平面とする。

射影規則３２０は、撮像部２０それぞれのカメラパラメータに公知のピンホールカメラモデル等のカメラモデルを適用することで設定される。カメラパラメータは、撮像部２０の焦点距離、画角、画素数及びレンズ歪み、世界座標系における撮像部２０の設置位置ＣＡＭ及び撮像方向等であり、画像処理に先立って操作部３１から入力される。

また、ローカル座標系の人物位置を共通座標系の１点に射影するには人物の身長を規定して射影規則３２０を設定する必要がある。この身長には監視対象とする人物群の平均身長を予め規定しておけばよい。例えばＡＴＭコーナーなど成人主体の監視対象であれば平均身長を１７０ｃｍに規定することができる。

移動軌跡３２１は、人物ごとに統合された共通座標系における人物位置の履歴である。

統合制御部３３は、ＣＰＵ(Central Processing Unit)、ＤＳＰ等の演算装置である。統合制御部３３は、射影手段３３０、近接度算出手段３３１、人物位置統合手段３３２、追跡手段３３３、不審行動検知手段３３４等の動作を記述したプログラムを統合記憶部３２から読み出して実行することにより各手段として機能する。

射影手段３３０は、射影規則３２０を用いて人物位置検出手段２２０により検出された人物位置を共通座標系に射影する。

近接度算出手段３３１は、人物位置のうち互いに異なる監視画像から検出された人物位置のペアを総当りで設定して当該ペアの近接度を算出する。近接度は、ペアを構成する人物位置間の近さを表し、ペアの設定が尤もらしいかを判定するための尺度、いわばペア度である。具体的には、近接度算出手段３３１は、共通座標系においてペアの一方の人物位置と当該人物位置が検出された撮像部２０の位置とを結ぶ直線（投影線）と当該ペアの他方の人物位置との間の距離δ（本発明における線点間距離）を算出し、当該距離δが近いほど大きな値を出力するよう予め設定された関数ｆ（・）に距離δを入力して近接度ｆ（δ）を算出する。

移動する人物は立位の姿勢をとっているため縦長の形状、すなわち幅より高さの方が大きい形状で撮像される。そのため人物位置の検出誤差においては高さ方向の成分が支配的となる。そして高さ方向の誤差成分は撮像部２０から遠ざかる方向、すなわち撮像部２０から人物位置への投影線に沿った方向に現れる。

一方の人物位置に対する投影線と他方の人物位置との距離に基づく近接度は、一方の人物位置に生じた投影線に沿う誤差成分を無視した近さを表すため、検出誤差が生じていても同一人物に関する人物位置のペアに対して高い近接度が算出され、同一人物のペアをより確実に識別することが可能となる。

ところで各ペアについては、ペアの一方の人物位置への投影線と他方の人物位置の距離、及び一方と他方を入れ替えたときの距離の２通りの距離を算出できる。上記原理に従えば、オクルージョンが生じている方の人物位置に対する投影線とオクルージョンが生じていない方の人物位置との距離に基づいて近接度を算出することで、投影線に沿う誤差成分を無視する効果が最大限に発揮される。そしてこのとき算出される距離はもうひとつの距離よりも小さな距離となる。

そこで、近接度算出手段３３１は、各ペアについて２通りの距離δ１，δ２を算出して、そのうち小さい方の距離δ＝ｍｉｎ｛δ１，δ２｝を近接度の算出に用いる。こうすることで投影線に沿って現れる高さ方向の検出誤差がより大きい方の人物位置への投影線に対する距離が選択的に近接度の算出に用いられる。そのため投影線に沿う誤差成分を無視する効果が最大限に発揮され、同一人物のペアをより確実に識別することが可能となる。

また、上述の説明から分かるように距離δの主成分は人物の幅方向の誤差成分である。よって、距離δが人物の幅として妥当な範囲を超える人物位置のペアは同一人物のものと認識すべきではない。そこで、上記関数ｆ（・）は距離δが人物の幅の上限に相当する距離しきい値Δを超える場合に最小値を出力するような関数として設定する。距離しきい値Δは例えば１ｍに設定される。

図３の関数５０−１は関数ｆ（・）の一例である。すなわち関数５０−１は、δ＝０のときに最大値を出力し、０≦δ＜Δのときにδの増加とともに出力が減少し、δ≧Δのときに最小値を出力する。

別の実施形態において、関数ｆ（・）は０≦δ＜Δのときに最大値を出力し、δ≧Δのときに最小値を出力するステップ関数５０−２とすることもできる。さらに別の実施形態において、関数ｆ（・）は関数５０−１と関数５０−２を合成した関数５０−３とすることもできる。

このように距離しきい値Δによる制限を加えることで、人物の幅を超える距離δが算出された人物位置のペアについて不当に高い近接度が算出されなくなるため、他人の人物位置を同一人物の人物位置としてまとめる誤りを減じることが可能となる。

また、投影線に沿う検出誤差を無制限に許容してしまうと他人の人物位置が同一人物によるものとして誤って統合されるケースが発生する。そこで近接度算出手段３３１は、ペアを構成する人物位置間の距離ｄ（本発明における２点間距離）を算出し、当該２点間距離が大きいほど近接度を小さく補正する。具体的には、近接度算出手段３３１は距離ｄが大きくなるほど小さな値を出力するよう予め設定された関数ｇ（・）に距離ｄを入力して信頼度ｇ（ｄ）を算出し、算出された信頼度ｇ（ｄ）を近接度ｆ（δ）に乗じることで補正を行う。

図４の関数５１は関数ｇ（・）の一例である。すなわち関数５１は、ｄ＝０のときに最大値を出力し、０≦ｄ＜Ｄのときにｄの増加とともに出力が減少し、ｄ≧Ｄのときに最小値を出力する。距離しきい値Ｄは人の身長に由来する値であり、例えば平均身長の約３倍である５ｍに設定される。

このように人物位置が離間しているほど小さくなる信頼度に応じて近接度を補正することにより、十分に離間しているが単に同一投影線上に存在する他人同士の人物位置のペアを同一人物によるものとしてまとめる誤りを減じることが可能となる。

また、信頼度による近接度の補正を行ったときに、オクルージョンの影響で離間してしまっているが本来同一人物のものである人物位置のペアの近接度は低く補正され、オクルージョンが発生していない同一人物のものである人物位置のペアの近接度は高く維持される。しかし、これらのペアはいずれも同一人物のものであるから同等に高い近接度となるよう補正されるべきである。

そこで、近接度算出手段３３１は、関数ｆ（・）が出力する最大値を予め定めた近接度の上限値以上の大きな値に設定しておき、信頼度により補正された後の近接度を上限値でクリッピングさせる修正を行う。本実施形態においては、近接度の上限値を１．０とし、図３に例示した関数ｆ（・）では最大値を１．５としている。最大値１．５から上限値１．０への低下倍率０．６７はオクルージョンが発生していない同一人物のものである人物位置のペアに対して信頼度が近接度を低下させる倍率より小さく設定されている。

このように近接度を上限値でクリッピングさせることにより、検出誤差が少なく補正の程度が小さい同一人物のペアについて近接度がクリッピングされ、検出誤差が大きく補正の程度が大きい同一人物のペアについての近接度と近い近接度となるよう調整される。そのため、上記補正がより効果的に作用し、同一人物の人物位置をより高い精度でまとめて人物位置の情報を統合することが可能となる。

以上をまとめると、近接度の導出は次の式（１）及び式（２）により表される。
近接度＝ｆ（ｍｉｎ｛δ１，δ２｝）×ｇ（ｄ） …式（１）
ただし、近接度＞１．０となる場合、近接度＝１．０ …式（２）

近接度算出の様子を、図５，図６を参照し、撮像部２０−１と撮像部２０−２の共有視野に人物αと人物βが存在するときの例示により説明する。

撮像部２０−１により撮像された監視画像６０−１においてオクルージョンが発生しており、人物βの一部が人物αにより隠蔽されている。他方、撮像部２０−２により撮像された監視画像６０−２においては別の角度から撮像しているためオクルージョンは発生していない。人物位置検知手段２２０−１が監視画像６０−１から検出した人物αの位置をａ１、人物βの位置をｂ１とする。人物βの像は下半身が隠蔽されているため人物位置ｂ１は本来の位置より上方にずれてしまっている。他方、人物位置検知手段２２０−２が監視画像６０−２から検出した人物αの位置をａ２、人物βの位置をｂ２とする。

人物位置ａ１，ｂ１，ａ２，ｂ２のそれぞれは射影手段３３０により共通座標系７０の位置Ａ１，Ｂ１，Ａ２，Ｂ２に射影される。人物αの位置Ａ１とＡ２は略同位置となっている。しかし、人物βの位置Ｂ１は撮像部２−１の設置位置ＣＡＭ１から遠ざかる方向にずれてしまいＢ１とＢ２は離間してしまっている。

近接度算出手段３３１は、人物位置Ｂ１への投影線ＣＡＭ１−Ｂ１を算出し、当該投影線と人物位置Ｂ２の距離σ２を算出する。また近接度算出手段３３１は、人物位置Ｂ２への投影線ＣＡＭ２−Ｂ２を算出し、当該投影線と人物位置Ｂ１の距離σ１を算出する。

近接度算出手段３３１はδ１＞δ２であることからδ２を基に近接度ｆ（δ）を算出する。つまりオクルージョンが生じている人物位置Ｂ１への投影線とオクルージョンが生じていない人物位置Ｂ２との距離δ２に基づき近接度ｆ（δ）が算出される。Ａ１とＡ２のペア，Ａ１とＢ２のペア，Ｂ１とＡ２のペアについても同様にして近接度ｆ（δ）が算出される。

さらに近接度算出手段３３１は、信頼度及びクリッピングによる近接度の補正を行う。

図７の数値群８０は、こうして算出された近接度の例である。人物位置Ａ１とＡ２の近接度はクリッピングされて１．０、人物位置Ａ１とＢ２の近接度は０．９、人物位置Ｂ１とＡ２の近接度は０．１５、人物位置Ｂ１とＢ２の近接度は０．７５と算出された。

人物位置統合手段３３２は、人物位置のペアのうち近接度算出手段３３１により算出された近接度がより高いペアを他のペアよりも優先的に同一人物の人物位置としてまとめることで人物位置の情報を統合し、統合結果を追跡手段３３３へ出力する。このとき人物位置統合手段３３２は１対多の統合（例えば人物位置Ａ１とＡ２のペアと人物位置Ａ１とＢ２のペアの同時成立など）が生じないようペアを排他的に組み合わせて統合を行う。人物位置統合手段３３２は同一人物の人物位置とされたペアについてはこれらの人物位置の平均位置を当該人物の統合後の位置とすることで同一人物の人物位置をひとつにまとめる。

ここで、人物位置検出手段２２０により検出された人物位置の全てがペアを有しているとは限らない。すなわち、一方の撮像部２０の視野内に居るが他方の撮像部２０の視野外に居る人物、或いは両方の撮像部２０の視野内に居るがオクルージョンにより一方の撮像部２０からはほぼ撮像されない人物については１つの人物位置検出手段２２０からしか人物位置は検出されない。このような人物位置は、ペアの一方の人物位置として統合されるのではなく、単独の人物位置として統合されるべきである。

そこで、人物位置統合手段３３２は、人物位置が単独である蓋然性の尺度を表す単独度を算出し、単独度が近接度より高い人物位置はまとめずに統合する。単独度は次式により算出する。尚、式中の１．０は上述した近接度の上限値である。
人物位置の単独度＝１．０−当該人物位置に関する近接度の最大値 …式（３）
例えば図７の例において、人物位置Ａ１の単独度８１は１．０−ｍａｘ｛１．０，０．９｝＝０．０と算出される。人物位置Ｂ１，Ａ２，Ｂ２の単独度８１は同様にしてそれぞれ０．２５，０．０，０．１と算出される。

具体的には、人物位置統合手段３３２は、近接度及び単独度を加味して人物位置を統合するために、可能な限り人物位置のペアを組んだ場合、一部の人物位置を単独として残りの人物位置でペアを組んだ場合、及び全ての人物位置が単独の場合を網羅した組み合わせ（以下、統合パターンと称する）を設定し、各統合パターンに応じた近接度及び／又は単独度を選択的に総和することで統合評価値を算出し、最も高い統合評価値が算出された統合パターンを選定する。

このように統合パターンを決定することで、近接度がより高いペアは他のペアよりも優先的に同一人物の人物位置としてまとめられ、さらに単独度が近接度より高い人物位置はまとめずに統合される。結果、低めの近接度が算出されたペアを無理にまとめることがなくなり、より高い精度で人物位置の情報を統合できる。尚、人物位置統合手段３３２は単独と決定された人物位置については当該人物位置をそのまま人物の位置とする。

例えば図７の例のように２つのカメラユニット２において２つずつ人物位置が検出されている場合、図８のように７つの統合パターン＃１〜＃７のそれぞれについて統合評価値が算出され、統合評価値が最大である統合パターン＃１が選定される。すなわち、図５〜図８にて示してきた例では、「人物位置Ａ１とＡ２を同一人物の人物位置、且つ人物位置Ｂ１とＢ２を同一人物の人物位置として統合する」ことが決定される。この決定は、まず近接度及び単独度の中で値が最も高いＡ１とＡ２のペアを第一に優先して選定し、次に既に選定されたＡ１，Ａ２に関する近接度及び単独度を除いた中で値が最も高いＢ１とＢ２のペアを第二に優先して選定したことを意味している。

そして人物位置統合手段３３２は、Ａ１とＡ２の平均位置を算出して当該平均位置を人物αの統合後の位置として出力し、Ｂ１とＢ２の平均位置を算出して当該平均位置を人物βの統合後の位置として出力する。

追跡手段３３３は、前後する時刻において人物位置統合手段３３２から出力された統合後の人物位置を人物位置の整合性に基づいて対応付けることで人物ごとの移動軌跡３２１を生成する。具体的には、追跡手段３３３は、一時刻前までに生成された移動軌跡３２１から現時刻における各人物の人物位置を予測し、各予測位置に予め設定された距離しきい値の範囲内で最も近い統合後の人物位置を当該予測位置と対応する人物のものとして移動軌跡３２１に追記する。予測位置は移動軌跡３２１に等速運動モデル等の運動モデル、又はカルマンフィルタ等の予測フィルタを適用することで算出できる。

尚、追跡手段３３３は、いずれの予測位置とも対応付かない人物位置については新規出現の人物であるとして移動軌跡３２１に新規登録し、いずれの人物位置とも対応付かない予測位置が算出された移動軌跡３２１については視野外に消失した人物であるとして移動軌跡３２１から登録抹消する。

不審行動検知手段３３４は、移動軌跡３２１を分析して不審行動の有無を判定し、不審行動を検知すると検知の旨及び不審行動が検知された移動軌跡３２１を含んだ異常信号を出力部３４に出力する。不審行動は、例えば、規定時間を超える滞在や予め設定された立ち入り禁止エリア等への立ち入りである。

出力部３４は、スピーカやブザー等の音響出力装置、ＣＲＴや液晶ディスプレイ等のモニタ装置、通信網を介して警備センタ等と通信する通信装置などである。出力部３４は、異常信号が入力されると音響出力装置を鳴動させて検知の旨を監視員に報知したり、モニタ装置に不審行動が検知された移動軌跡３２１を表示したり、警備センタへ異常信号を転送したりして異常信号を出力する。

＜画像監視装置１の動作＞
図９を参照して、画像監視装置１の動作を説明する。

監視空間が無人であることを確認した管理者が電源を投入すると各部、各手段は初期化されて動作を始める。統合制御部３３は統合記憶部３２に射影規則３２０が記憶されているかを確認し（Ｓ１）、記憶されていなければ（Ｓ１にてＮＯ）、管理者にカメラパラメータの入力を要求する。管理者の入力操作により操作部３１からカメラパラメータが入力されると（Ｓ２）、統合制御部３３はカメラパラメータに基づく射影規則３２０及び設置位置ＣＡＭを統合記憶部３２に記憶させる（Ｓ３）。

すなわち統合制御部３３は、入力された撮像部２０−１のカメラパラメータに基づく撮像部２０−１のローカル座標系から共通座標系への射影規則３２０及び設置位置ＣＡＭ１をカメラユニット２−１のアドレスと対応付けて記憶させ、入力された撮像部２０−２のカメラパラメータに基づく撮像部２０−２のローカル座標系から共通座標系への射影規則３２０及び設置位置ＣＡＭ２をカメラユニット２−２のアドレスと対応付けて記憶させる。

射影規則３２０等の設定がなされると、或いは既になされていると（Ｓ１にてＹＥＳ）、以降、撮像部２０が一定時間間隔で新たな監視画像を撮像するたびにＳ４〜Ｓ１１の処理が繰り返される。尚、以下では上記一定時間間隔で刻まれる時間の単位を時刻と称する。

新たな監視画像が入力されると（Ｓ４）、各カメラ制御部２２の物体位置検出手段２２０は当該監視画像から人物位置を検出し（Ｓ５）、検出された人物位置を統合ユニット３へ送信する。このとき人物位置検出手段２２０は、送信元アドレスとして自ユニット２のアドレス、送信先アドレスとして統合ユニット３のアドレスを人物位置に付与して出力する。

各カメラユニット２から人物位置の情報を受信した統合ユニット３の統合制御部３３はこれらの情報を統合する（Ｓ６）。

図１０を参照してステップＳ６の人物情報統合処理の詳細を説明する。

まず、統合制御部３３の射影手段３３０は、射影規則３２０を用い、現時刻において物体検知手段２２０により検出された全ての人物位置を共通座標系に射影する（Ｓ６０）。このとき射影手段３３０は、各人物位置に付与されている送信元アドレスから変換元のローカル座標系を特定し、特定したローカル座標系に対応する射影規則３２０を用いて射影する。射影結果は元の人物位置と対応付けて一時記憶される。

次に、統合制御部３３の近接度算出手段３３１は、射影された人物位置のペアを順次生成してループ処理を設定し（Ｓ６１〜Ｓ６８）、全てのペアに対して近接度を算出する。ここで、ペアは異なる監視画像から検出された人物位置で構成されることに注意されたい。例えば図５の例ではａ１とａ２，ａ１とｂ２，ｂ１とａ２，ｂ１とｂ２の４組のペアが順次生成される。

ループ処理において、まず、近接度算出手段３３１は、ペアを構成する射影後の人物位置と当該人物位置が検知された監視画像を撮像した撮像部２０の設置位置ＣＡＭとを結ぶ投影線を算出し（Ｓ６２）、ペアの一方の人物位置に対する投影線とペアの他方の人物位置との間の距離δ１及びδ２を算出する（Ｓ６３）。このとき近接度算出手段３３１は各人物位置に付与された送信元アドレスから投影線の算出に用いる設置位置ＣＡＭを特定する。

続いて、近接度算出手段３３１は、算出された距離δ１及びδ２のうち小さい方の距離δを選出し（Ｓ６４）、選出された距離δを関数ｆ（・）に入力して近接度ｆ（δ）を算出する（Ｓ６５）。

さらに、近接度算出手段３３１は、ペアを構成する人物位置間の距離ｄを算出し（Ｓ６６）、算出された距離ｄを関数ｇ（・）に入力して信頼度ｇ（ｄ）を算出し（Ｓ６７）、算出された信頼度ｇ（ｄ）をステップＳ６５にて算出された近接度ｆ（δ）に乗じて近接度を補正する（Ｓ６８）。但し、補正された近接度が１．０を超えていた場合は（Ｓ６９にてＹＥＳ）、さらに近接度を１．０に修正する（クリッピング）（Ｓ７０）。

こうして全ペアに対して近接度が算出されると（Ｓ７１にてＹＥＳ）、統合制御部３３の人物位置統合手段３３２は、近接度を参照して式（３）により各人物位置に対する単独度を算出し（Ｓ７２）、統合パターンをリストアップして各統合パターンに対する統合評価値を算出する（Ｓ７３）。

そして、人物位置統合手段３３２は、最も高い統合評価値が算出された統合パターンを決定し（Ｓ７４）、決定された統合パターンに従って人物位置を統合する（Ｓ７５）。すなわちペアと決定された人物位置についてはその平均位置、単独と決定された人物位置については当該人物位置が統合された人物位置として求められる。

図９に戻り、統合制御部３３の追跡手段３３３は、統合された現時刻の人物位置をその位置の整合性に基づいて一時刻前までの移動軌跡３２１と対応付け、対応付け結果に従い現時刻の人物位置で移動軌跡３２１を更新することで追跡を進捗させる（Ｓ７）。

追跡が進捗すると、統合制御部３３の不審行動検知手段３３４は、更新された移動軌跡３２１を分析して不審行動の有無を判定し（Ｓ８）、不審行動を検知すると（Ｓ９にてＹＥＳ）、不審行動が検知された移動軌跡を含む異常信号を生成して出力部３４へ出力する（Ｓ１０）。異常信号が入力された出力部３４は、音響出力手段を鳴動させモニタ装置に移動軌跡を表示する、或いは通信装置により異常信号を遠隔地の警備センタへ転送して警備センタの音響出力装置やモニタ装置に表示を行わせる（Ｓ１１）。これらの表示を見聞きした監視員は移動軌跡を基に案内或いは排除といった対処の必要性を判断し、必要であれば監視空間に急行して対処を行う。

以上の処理を終えると、処理は再びＳ４へ戻される。

＜変形例＞
上記実施形態においては、人物位置統合手段３３２は、単独度を算出して近接度と単独度を加味した統合評価値を算出した。別の実施形態において、人物位置統合手段３３２は、単独度を用いずに統合評価値を算出する。すなわち、人物位置統合手段３３２は、予め設定された近接度しきい値を下回る近接度が算出されたペアを除外して統合パターンを設定し、設定された統合パターンに応じて近接度を総和して統合評価値を算出する。

上記実施形態においては、統合ユニット３には２つのカメラユニット２が接続されている。別の実施形態において統合ユニット３には３つ目のカメラユニット２−３が接続される。この場合、統合ユニット３はカメラユニット２−１及びカメラユニット２−２からの物体位置を統合し、この統合結果とカメラユニット２−３からの物体位置をさらに統合することで３つのカメラユニット２からの物体位置を統合する。尚、４つ以上のカメラユニット２が接続されている場合も以下同様に多段階で統合を行うことで、全てのカメラユニット２からの物体位置を統合できる。

上記実施形態においては統合ユニット３にて射影を行ったが、別の実施形態においてはカメラユニット２にて射影を行って処理を分散化する。この場合、射影規則３２０は各カメラ記憶部２１に記憶され、射影手段３３０は各カメラ制御部２２により実現される。

上記実施形態においては各カメラユニット２にて人物位置を検出したが、別の実施形態においては統合ユニット３にて人物位置を検出する。すなわち人物位置検出手段２２０は統合制御部３３により実現される。この場合、監視画像が送受信されるため通信網４の通信負荷は上がるが、カメラ制御部２２において画像処理を行う必要がなくなりカメラユニット２の調達が容易になる。

以上、本発明の画像監視装置は、主として人物の高さ方向に大きく現れる検出誤差を効果的に無視できる線点間距離に基づき近接度を算出し、近接度がより高いペアを優先して同一人物の人物位置としてまとめるので、人物位置の情報を高精度に統合することができる。

１・・・画像監視装置
２・・・カメラユニット
３・・・統合ユニット
２０・・・撮像部
２１・・・カメラ記憶部
２２・・・カメラ制御部
２３・・・カメラ通信部
３０・・・統合通信部
３１・・・操作部
３２・・・統合記憶部
３３・・・統合制御部
３４・・・出力部
２２０・・・人物位置検出手段
３２０・・・射影規則
３２１・・・移動軌跡
３３０・・・射影手段
３３１・・・近接度算出手段
３３２・・・人物位置統合手段
３３３・・・追跡手段
３３４・・・不審行動検知手段

Claims (7)

1. 互いに視野の一部を共有し当該視野内を移動する人物を互いに異なる方向から撮像して監視画像を出力する複数の撮像部と、
   前記監視画像から前記人物が存在するローカル座標系での人物位置を検出する人物位置検出手段と、
   前記撮像部ごとに設定された前記ローカル座標系から前記複数の撮像部に共通して設定された共通座標系へ前記人物位置を射影する射影手段と、
   前記複数の撮像部により同時に撮像された前記監視画像の一方から検出された前記人物位置及び他方の前記監視画像から検出された前記人物位置のペアを設定して当該ペアの近接度を算出する近接度算出手段と、
   前記近接度がより高い前記ペアを他の前記ペアよりも優先的に同一人物の人物位置としてまとめることで前記人物位置の情報を統合する人物位置統合手段と、
   を備え、
   前記近接度算出手段は、前記共通座標系において前記一方の人物位置と当該人物位置が検出された前記撮像部の位置とを結ぶ投影線と前記他方の人物位置との間の線点間距離を算出し、当該線点間距離が近いほど前記近接度を高く算出することを特徴とする画像監視装置。
2. 前記近接度算出手段は、前記一方の人物位置と前記他方の人物位置を入れ替えた前記線点間距離をさらに算出し、算出された２つの線点間距離のうち小さい方の線点間距離を前記近接度の算出に用いる請求項１に記載の画像監視装置。
3. 前記近接度算出手段は、前記線点間距離が人物の幅に相当する所定しきい値を超える場合に前記近接度を予め設定された最小値とする請求項１又は２に記載の画像監視装置。
4. 前記近接度算出手段は、前記ペアを構成する人物位置間の２点間距離をさらに算出し、当該２点間距離が大きいほど前記近接度を小さく補正する請求項１乃至３に記載の画像監視装置。
5. 前記近接度算出手段は、予め設定された上限値を超える前記近接度を前記上限値に修正する請求項４に記載の画像監視装置。
6. 前記人物位置統合手段は、前記人物位置のそれぞれについて当該人物位置に対して算出された前記近接度の最大値を前記上限値から減じた単独度を算出し、前記単独度が前記近接度より高い人物位置はまとめずに統合する請求項５に記載の画像監視装置。
7. 前記人物位置統合手段は、同一人物とされた人物位置の平均位置を統合後の当該人物の位置として算出する請求項１乃至６に記載の画像監視装置。