以下、本発明の実施の形態(以下実施形態という)である不審者検知装置1(移動物体追跡装置)について、図面に基づいて説明する。
[不審者検知装置1の構成]
不審者検知装置1は、監視空間内を移動する移動物体である人物を追跡して各人物の移動軌跡を検出し、移動軌跡を解析して不審者を検知する。人物の追跡は監視空間を監視カメラ(以下、単にカメラと称する)で撮像して得た画像を処理することにより行う。特に、広い監視空間にて追跡を行うために、監視空間を複数のエリアに分割してエリア単位で撮像及び追跡を行った後に、エリア単位の追跡結果を統合して監視空間全体に亘る追跡を行う。追跡をエリア単位で行うことによりリアルタイムで追跡処理を行うための負荷分散が可能となる。
監視空間における複数のエリアは不審者検知装置1において予め設定される。複数のエリアはそれらを合わせると監視空間全体となるように設定される。また、複数のエリアは重複領域を介して連鎖配置される。重複領域は隣接するエリア間に設定される。重複領域を設けると同一人物の追跡結果が隣接するエリアのそれぞれにおいて同時期に生成できる。そのため、重複領域を利用することでエリアごとに追跡した人物を正確に対応づけることができる。
図1は本実施形態における監視空間の例を示す模式図である。図において大きな矩形で示す監視空間は4つのエリアI,II,III,IVに分割されている。エリアを識別するI〜IVの記号を以降、エリアIDと呼ぶ。エリアI〜IVは重複領域I-II-III-IVを介して相互に接続されているほか、エリアIとエリアIIは重複領域I-IIでも接続されており、エリアIとエリアIIIは重複領域I-IIIでも接続されており、エリアIIとエリアIVは重複領域II-IVでも接続されており、エリアIIIとエリアIVは重複領域III-IVでも接続されている。なお、エリアの設定は2以上のエリアを連鎖配置する上記例以外の設定とすることもできる。例えば、エリアIVのみと隣接する第5のエリアVを加えた設定とすることもできる。この場合、エリアIVとVの間に重複領域IV-Vが設けられる。
当該監視空間は例えば、ATMコーナーであり、その天井に9台のカメラA〜Iがそれぞれ真下を向けて格子状(3×3の行列配置)に設置される。図2は不審者検知装置1のエリア撮像部2の構成を説明するための模式図である。エリアIはカメラA,B,D,Eにより撮像され、これら4台のカメラがエリア撮像部2-1を構成する。カメラA,B,D,EによりエリアIを撮像した画像を併せてエリア画像Iと呼ぶ。同様にエリア撮像部2-2である4台のカメラB,C,E,FはエリアIIを撮像してエリア画像IIを生成し、エリア撮像部2-3であるカメラD,E,G,HはエリアIIIを撮像してエリア画像IIIを生成し、エリア撮像部2-4であるカメラE,F,H,IはエリアIVを撮像してエリア画像IVを生成する。
このように各エリアをそれぞれ複数のカメラで撮像することにより、各エリアの移動物体を複数の視点から撮像して複数人物や什器等による隠蔽時においても高精度な追跡を可能としている。
図3は不審者検知装置1の概略の構成を示すブロック図である。不審者検知装置1はエリア撮像部2、画像伝送部3、画像配信ユニット4、ネットワーク部5、画像処理ユニット6、統合ユニット7及び出力部8から構成される。エリア撮像部2は複数設けられ、それぞれ画像伝送部3を介して画像配信ユニット4に接続される。画像配信ユニット4はネットワーク部5を介して複数の画像処理ユニット6に接続される。画像処理ユニット6はネットワーク部5を介して統合ユニット7に接続される。また出力部8は統合ユニット7に接続される。
エリア撮像部2はエリアを撮像してエリア画像を出力するカメラであり、上述のように複数のカメラで構成することができる。また、監視空間には複数のエリアそれぞれに対応してエリア撮像部2が設置される。複数のエリア撮像部2の撮像範囲を合わせると監視空間全体が撮像範囲となる。エリアごとのエリア撮像部2はそれぞれ当該エリアを所定の撮像周期で撮像してエリア画像を取得する。各エリア撮像部2は撮像したエリア画像を画像伝送部3経由で画像配信ユニット4へ出力する。
各エリア撮像部2の撮像周期は後述する追跡処理の基本分析間隔に撮像周期分の時間差を加えても人物の追跡が可能な程度に短く設定される。またエリア撮像部2の間で撮像タイミングの同期は不要である。また、各エリア撮像部2を複数のカメラで構成する場合、これらのカメラ間の同期も不要である。例えば、追跡可能な周期を3フレーム/秒として、これに対する余裕を持たせて基本分析間隔を5フレーム/秒に設定するとき、9台のカメラA〜Iはそれぞれ20フレーム/秒の撮像周期にて独立のタイミングで撮像する設定とすることができる。
画像伝送部3はエリア撮像部2と画像配信ユニット4とを接続する通信手段である。エリア撮像部2がIP(Internet protocol)カメラであれば画像伝送部3はイーサネット(登録商標)等のLAN(Local Area Network)により構成でき、エリア撮像部2がアナログカメラであれば画像伝送部3は同軸ケーブルで接続したアナログ網などで構成できる。
画像配信ユニット4はエリア撮像部2が撮像した各エリア画像を取得し、当該エリア画像と当該エリア画像の取得時刻のタイムスタンプと当該エリア画像の取得元のカメラを識別するカメラIDを含むエリア画像情報を、対応する画像処理ユニット6へ逐次配信する。
画像配信ユニット4がエリア画像を取得する取得時刻は、カメラが当該エリア画像を撮像した撮像時刻をほぼ同一時間(画像伝送部3による伝送時間)だけシフトした時刻となり、取得時刻はその撮像時刻に応じた時刻となる。
画像配信ユニット4は、カメラ通信部41、タイムスタンプ付与部42、配信記憶部43及びエリア画像送信部44からなる。カメラ通信部41は、画像伝送部3を介して各エリア撮像部2と接続され、各エリア撮像部2が撮像したエリア画像を取得する。タイムスタンプ付与部42はエリア画像にタイムスタンプ及びカメラIDを付与する。配信記憶部43は、エリアと当該エリアのエリア画像を撮像するエリア撮像部2のカメラIDと当該エリアのエリア画像の処理を担当する画像処理ユニット6との対応関係を予め記憶する。エリア画像送信部44はネットワーク部5を介して各画像処理ユニット6に接続され、対応する画像処理ユニット6にエリア画像を送信する。
タイムスタンプ付与部42及び配信記憶部43はPC(パーソナルコンピュータ)等により実現され、カメラ通信部41及びエリア画像送信部44はそれぞれPCに装着された通信ボード等で実現される。
ネットワーク部5は画像配信ユニット4と画像処理ユニット6、及び画像処理ユニット6と統合ユニット7をそれぞれ接続するイーサネット(登録商標)等のLANであり、非同期のネットワークである。
各画像処理ユニット6は担当エリアのエリア画像を受信し、当該エリア画像上にて人物を追跡して当該エリアに現れた人物(エリア内物体)の位置(物体位置、以下、人物位置)を求め、求めた人物位置と、当該エリア画像のタイムスタンプと、当該エリアのエリアIDとを含むエリア追跡結果(追跡情報)を統合ユニット7へ送信する。
各画像処理ユニット6の担当エリアは予め設定されている。具体的には、画像処理ユニット6-1がエリアIでの追跡処理を行い、画像処理ユニット6-2がエリアIIの追跡を行い、画像処理ユニット6-3がエリアIIIの追跡を行い、画像処理ユニット6-4がエリアIVの追跡を行う。
各画像処理ユニット6は予め設定した基本分析間隔で各エリアの追跡を行うことを基本とする。すなわち、各画像処理ユニット6はエリア画像を取得及び処理してエリア追跡結果を生成すると直ちに統合ユニット7への送信を行い、基本分析間隔の残余の時間を待機し、基本分析間隔が経過すると次のエリア画像の取得及び処理を行う周期動作を繰り返す。ただし、画像処理ユニット6相互間での同期は行わず、それぞれの画像処理ユニット6が独立したタイミングで周期動作を行う。
しかし、エリアの人数が多くなると処理が増加して基本分析間隔の時間内に1周期の動作を終えることができずにタイムオーバーとなるときがある。画像処理ユニット6はタイムオーバーになったときであっても、当該周期における動作を終えてから次の周期動作を始める。
上述したように各カメラの撮像周期は基本分析間隔よりも十分に短く設定されているため、画像処理ユニット6が任意のタイミングでエリア画像を取得することが可能である。また後述するように統合ユニット7はタイムスタンプのずれたエリア追跡結果を許容して統合するので各画像処理ユニット6は任意の撮像時刻のエリア画像からエリア追跡結果を生成することが可能である。
エリア撮像部2を複数のカメラにより構成する本実施形態では、画像処理ユニット6はエリア画像が撮像された撮像時刻のタイムスタンプとして、当該エリア画像を構成する複数の画像それぞれに付与されているタイムスタンプの代表時刻を算出してエリア追跡結果に付与する。本実施形態において代表時刻は、エリア画像を構成する複数の画像それぞれのタイムスタンプの平均時刻としている。
各画像処理ユニット6は、エリア画像受信部61、エリア追跡部62、画像処理記憶部63及びエリア追跡結果送信部64からなる。エリア追跡部62はCPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置で実現される。また、画像処理記憶部63はROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置で実現され、エリア画像受信部61及びエリア追跡結果送信部64はネットワーク部5に適合した通信回路でそれぞれ実現される。エリア画像受信部61はネットワーク部5を介して画像配信ユニット4と接続され、担当エリアのエリア画像を受信する。エリア追跡部62は受信したエリア画像上の人物を追跡してエリア追跡結果を生成する。画像処理記憶部63は、担当エリアの追跡処理に必要な各種情報、担当エリアの追跡処理により算出されたエリア追跡結果、及び担当エリアのエリアIDや送信先である統合ユニット7のアドレスといった各種情報を記憶する。エリア追跡結果送信部64はネットワーク部5を介して統合ユニット7と接続され、統合ユニット7へエリア追跡結果を送信する。
エリア追跡部62は、エリア画像受信部61により受信したエリア画像を背景差分処理して人物領域を抽出し、人物領域ごとに当該人物領域内のエリア画像から色ヒストグラム等の特徴量を抽出する。そして、当該特徴量を過去の人物領域の特徴量と照合することにより同一人物の人物領域を逐次対応付ける。また、対応付けを行った人物ごとに人物領域を代表する人物位置(頭部中心座標など)及び特徴量を当該人物を識別する人物IDと対応付けて画像処理記憶部63に記憶させる。エリア追跡部62で処理する人物位置は担当エリア内に原点を設定したローカル座標系の値であり、以下、統合後の人物位置と区別してエリア内人物位置と称する。エリア追跡部62で付与する人物IDはエリア内で識別可能なIDであり,以下、統合後の人物IDと区別してエリア内人物IDと称する。
また、エリア追跡部62は、エリア画像からエリア内人物位置を算出するたびに、直ちに当該エリア内人物位置、そのエリア内人物ID、タイムスタンプ及びエリアIDを含めた最新のエリア追跡結果を生成し、エリア追跡結果送信部64を制御して当該エリア追跡結果を統合ユニット7に送信する。なお、エリア追跡結果にエリア画像を含めてもよい。
ここで、追跡処理に必要な各種情報として担当エリアのエリア撮像部2を構成する各カメラのカメラパラメータが予め画像処理記憶部63に記憶されており、エリア追跡部62は当該カメラパラメータを用いた座標変換処理を行って、各カメラの画像における人物領域の座標から、担当エリアの3次元座標系におけるエリア内人物位置を算出する。また、エリア追跡部62は背景差分処理に用いる背景画像をエリア画像から生成及び更新して画像処理記憶部63に記憶させる。
上述したエリア撮像部2及び画像処理ユニット6は各エリアに対応して設けられ、ひとつのエリアを担当するエリア撮像部2と画像処理ユニット6とでひとつの追跡ユニットを構成している。
統合ユニット7は複数の画像処理ユニット6からエリア追跡結果を受信し、受信したエリア追跡結果をエリアの配置に従って統合することにより監視空間全体の追跡結果を生成する。この統合処理は、エリアの配置通りに人物位置の座標を変換する処理と、エリア追跡結果の間で同一人物の人物位置を対応付ける処理とからなる。統合ユニット7は重複領域における人物位置とタイムスタンプとの組み合わせが近接関係にある人物を同一人物と判定することで人物位置の対応付けを行い、同一人物の人物位置には共通のIDを付与してこれらを管理する。上述したように各画像処理ユニット6はそれぞれのタイミングでエリア追跡結果を送信してくる。これらのエリア追跡結果に付与されたタイムスタンプも上記タイミングに応じたそれぞれのものとなっている。また故障等により一部の画像処理ユニット6からの受信が途絶することもある。統合ユニット7はいずれかの画像処理ユニット6からエリア追跡結果を新たに受信するたびに受信済みのエリア追跡結果の中から同一人物の判定が可能な組み合わせなどを都度選出して上記近接関係の判定に基づく対応付けを行い、当該エリア追跡結果を監視空間全体の追跡結果に逐次統合する。そして、統合ユニット7は監視空間全体の追跡結果を分析して不審者の検出を行い、不審者を検出すると異常信号を出力部8に出力する。
統合ユニット7は、エリア追跡結果受信部71、統合記憶部72及び統合処理部73からなる。エリア追跡結果受信部71はネットワーク部5に適合した通信回路で実現される。エリア追跡結果受信部71はネットワーク部5を介して画像処理ユニット6と接続され、エリア追跡結果を受信して当該エリア追跡結果を統合記憶部72のエリア追跡履歴722に循環記憶させる。
統合記憶部72はROM、RAM等のメモリ装置で実現され、エリア追跡結果の統合処理に必要な情報や統合処理により生成された情報等の各種情報を記憶する。統合記憶部72が記憶する情報にはエリア情報721、エリア追跡履歴722及び統合追跡履歴723が含まれる。
エリア情報721はエリア配置等の情報であり、各エリアのエリアID、互いに隣接配置され重複領域を共有するエリアのペア(追跡ユニットのペアでもある。以下、ペアの一方から見た他方をペアエリアと称する)と当該ペアの重複領域とを特定するペア情報、及び各エリアのローカル座標系を全エリアに共通する座標系(以下、ワールド座標系と称する)に変換するためのカメラパラメータ、ワールド座標系における各重複領域及び単独領域の範囲などを含む。カメラパラメータは事前のキャリブレーション作業により設定される。図4は図1を参照して説明したエリア設定に対応するペア情報の例を示す模式図である。
エリア追跡履歴722は各画像処理ユニット6から受信したエリア追跡結果であり、エリアID、エリア内人物位置とそのエリア内人物ID、及びタイムスタンプが予め設定された受信回数分だけ格納される。
統合追跡履歴723はエリア追跡結果を統合した結果であり、ワールド座標系における人物位置(統合人物位置)とその人物ID(統合人物ID)、及びタイムスタンプが対応づけて格納される。また、統合追跡履歴723はエリアIDとエリア内人物IDとの組み合わせと統合人物IDとの対応関係を記憶する。
統合処理部73はCPU、DSP、MCU等の演算装置で実現され、統合処理と不審者検知処理とを行う。統合処理部73は、統合処理をいずれかの画像処理ユニット6からエリア追跡結果を新たに受信するたびにエリア追跡履歴722に記憶しているエリア追跡結果の一部を用いて行う。すなわち、統合処理は部分統合処理に分けて行われる。統合処理部73は部分統合処理において、エリア配置とタイムスタンプに基づいて、互いに重複領域を有するエリア追跡結果のペアであってタイムスタンプが互いに近接するエリア追跡結果のペアを順次抽出して統合する。これにより一部の画像処理ユニット6が故障し、またはエリア内の人物の増加により一部の画像処理ユニット6の処理が遅延し、またはネットワーク部5が原因で一部の画像処理ユニット6からの受信が遅延しても、これらの影響を一部のエリアの追跡結果の欠損や遅延にとどめることができる。
ここで、各画像処理ユニット6は、通常は一定の基本分析間隔で周期動作しているものの、各々が独立に動作しているため、タイムスタンプが近いエリア追跡結果を得ることはできるが、一般的にはタイムスタンプが同一となるエリア追跡結果を得ることはできない。タイムスタンプが同一でないエリア追跡結果をそのまま統合しようとすれば、同一人物の人物位置同士にはタイムスタンプの差に応じたずれが存在しているため、同一人物の人物位置が別人物の人物位置として対応付けられたり、別人物の人物位置が同一人物の人物位置として対応付けられたりする誤統合を引き起こし得る。
そこで、統合処理部73では、タイムスタンプの差による人物位置のずれを加味して部分統合処理を行う。このとき、部分統合対象(注目追跡情報)とするエリア追跡結果のタイムスタンプがそのペアエリアの連続2時点のタイムスタンプに挟まれた時刻(以下、中間時刻)であるようなペアエリアのエリア追跡結果(連続追跡情報対)を人物同定用の補助データとして用いれば、中間時刻と対応する位置(以下、中間位置)を推定することで同一人物を確実に対応付けることができる。このとき、新たに受信したエリア追跡結果(以下、新着追跡結果)のタイムスタンプは専ら最新であるため中間時刻となり得ない。そこで、統合処理部73は新着追跡結果を人物同定用データとするようなエリア追跡結果を部分統合対象として抽出する。
統合処理部73はプログラムに従い、統合対象抽出部731、追跡結果統合部732、不審者検知部733などの各部として動作し、特に、上述の部分統合処理するエリア追跡結果の抽出は統合対象抽出部731が行い、ずれを考慮した部分統合処理は追跡結果統合部732が行う。以下、統合処理部73の各部について説明する。
統合対象抽出部731は新着追跡結果を受信するたびに、エリア追跡履歴722から部分統合対象となるエリア追跡結果及びその人物同定用データとなるエリア追跡結果を抽出して抽出結果を追跡結果統合部732に通知する。
具体的には、統合対象抽出部731は、新着追跡結果を受信すると、受信したエリアのペアエリアごとに最新のエリア追跡結果を選出し、それらの中で最も古いエリア追跡結果を部分統合対象として抽出する。部分統合対象に対応するエリアを基準エリア、部分統合対象に付与されているタイムスタンプを基準タイムスタンプとする。なお、故障または大幅遅延により受信途絶しているエリアを排除するために、最新のエリア追跡結果は新着追跡結果のタイムスタンプから一定の時間範囲内から選出する。本実施形態ではこの一定の時間範囲を基本分析間隔に設定している。このように選出された部分統合対象は新着追跡結果の受信により重複領域を共有する他のエリア追跡結果が出揃ったエリア追跡結果である。よって、この選出により正確な人物同定処理を効率よく行うことが可能となる。また、1回の受信に対して部分統合対象が一意に決まるので統合済みのエリア追跡結果をフラグ管理する必要がなく、この点でも効率的である。
さらに統合対象抽出部731は、エリア情報721を参照して基準エリアのペアエリアを特定し、ペアエリアのうち基準タイムスタンプを中間時刻とする2時点のエリア追跡結果が記憶されているエリアを人物同定用のエリアとして抽出する。また、上記2時点のエリア追跡結果を人物同定用データとして抽出する。
追跡結果統合部732は統合対象抽出部731により抽出された部分統合対象のエリア追跡結果を統合して統合結果を統合追跡履歴723に追記する。
具体的には、追跡結果統合部732は、部分統合対象のエリア追跡結果及び人物同定用のエリア追跡結果のそれぞれに含まれるエリア内人物位置をそのエリアに対応するカメラパラメータを用いてワールド座標系の統合人物位置に変換する。得られた統合人物位置が単独領域内である場合は、当該統合人物位置のエリア内人物IDに対応する統合人物IDを付与して統合追跡履歴723に追記する。一方、得られた統合人物位置が重複領域内である場合は、当該統合人物位置については以下の人物同定処理を行い、同定した人物と共通する統合人物IDを付与して統合追跡履歴723に追記する。また、新規の人物の統合人物位置には、新しい統合人物IDを付与して統合追跡履歴723に追記すると共に、当該人物のエリア内人物IDとエリアIDと統合人物IDの対応関係を生成して統合追跡履歴723に追記する。
重複領域内の人物同定処理では例えば、人物同定用に抽出したペアエリアの各人物(第2エリア内物体)の2時点のエリア追跡結果から基準タイムスタンプの時点における統合人物位置を推定し、推定された統合人物位置と基準エリアのエリア追跡結果における各人物(第1エリア内物体)の統合人物位置との距離を算出し、距離が同定閾値以下である人物同士を同一人物と判定する。同定閾値には追跡における抽出誤差とキャリブレーションの誤差とを合わせた程度の値を予め設定しておく。
図5は、タイムスタンプt0が付与されたエリアIIのエリア追跡結果を受信したときのエリア追跡履歴722の模式図である。図5において縦軸がタイムスタンプに対応した時間軸で、上が過去である。また、エリアI〜IVのエリア追跡結果の時系列を横に並べて配置している。図5を参照して、統合対象抽出部731による抽出の様子を説明する。監視空間に存在する2名の人物が重複領域I-II-III-IVにいる例を示している。そのためエリアI,II,IIIのエリア追跡結果のそれぞれにエリア内人物位置が検出されている。図において、タイムスタンプの点線に上辺を接した矩形が重複領域を表し、その中にエリア内人物位置を模式的に示している。2名のエリア内人物IDはエリアIではaとb、エリアIIではcとd、エリアIIIではeとfである。なお、この2名の追跡結果は本来ならばエリアIVからのエリア追跡結果にも含まれるが、ここでは障害発生によりエリアIVからのエリア追跡結果は受信されていない。
エリアIIのペアエリアはエリアI,III,IVである。各ペアエリアI,III,IVのうち、t0から基本分析間隔以内のタイムスタンプが付与されたエリア追跡結果を受信しているペアエリアI,IIIが選定される。そのうち、ペアエリアIのタイムスタンプt2が最も古いため、部分統合対象はエリアIのt2におけるエリア追跡結果、基準エリアはエリアI、基準タイムスタンプはt2となる。
基準エリアのペアエリアはエリアII,III,IVである。これらのうち基準タイムスタンプと前後する2時点のエリア追跡結果が記憶されているペアエリアII,IIIが同定用のエリアとして抽出され、ペアエリアIIのt0及びt3のエリア追跡結果、ペアエリアIIIのt1及びt4のエリア追跡結果が人物同定用のデータとして抽出される。
なお、画像処理ユニット6-4に障害が発生している間、エリアIVの中の単独領域IVは追跡不能となるが、その影響を単独領域IVに留めることができる。
図6は、図5の例で抽出された統合対象を追跡結果統合部732が統合する様子を示す模式図である。画像処理ユニット6同士は同期しておらず基準タイムスタンプt2におけるエリアII,IIIの追跡結果はない。そのため、エリアII,IIIが検出した人物c,d,e,fの統合人物位置はいずれもエリアIの人物a,bと同一人物と判定できるほど近い距離にない。そこで追跡結果統合部732は、エリアIIの人物c,dの基準タイムスタンプt2における統合人物位置及びエリアIIIの人物e,fの基準タイムスタンプt2における統合人物位置を推定する。追跡結果統合部732は、エリアIIの人物cの基準タイムスタンプt2における人物位置Q(t2,II,c)を、基準タイムスタンプt2をまたぐ時刻t3,t0における人物cの統合人物位置P(t3,II,c),P(t0,II,c)を用いて次式により推定する。
Q(t2,II,c)= α×P(t3,II,c)+(1−α)×P(t0,II,c)
ここで、α=(t0−t2)/(t0−t3)
つまり人物同定用データに含まれる各人物の2時点の人物位置Pを結ぶ線分上の内分点Qを上記2時点のタイムスタンプと基準タイムスタンプとの時間差に従って内挿する。追跡結果統合部732は同様にQ(t2,II,d),Q(t2,III,e),Q(t2,III,f)も推定する。追跡結果統合部732は推定した各統合人物位置を加えて基準タイムスタンプt2における各統合人物位置間の距離を算出し、距離が同定閾値以下である人物を同一人物と判定する。図6の例では、人物aとcとeが同一人物と判定され、人物bとdとfが同一人物と判定される。
部分統合対象のエリア追跡結果に対して人物同定処理を行った追跡結果統合部732は、統合追跡履歴723に記録されているエリア内人物IDと統合人物IDの対応関係に従い部分統合対象のエリア追跡結果に記録されている各人物のエリア内人物IDを統合人物IDに変換して当該エリア追跡結果を統合追跡履歴723に追記する。
図7は統合追跡履歴723の模式図であり、タイムスタンプt2にて人物a,c,eと同一人物と判定された人物Aの過去のタイムスタンプt4,t3の追跡履歴P(t4,A),P(t3,A)に、タイムスタンプt2にて新たに得られた追跡結果P(t2,A)が対応付けられて記録され、同様にタイムスタンプt2にて人物b,d,fと同一人物と判定された人物Bの追跡履歴P(t4,B),P(t3,B)に新たに得られた追跡結果P(t2,B)が対応付けられて記録される。
不審者検知部733は統合追跡履歴723を参照し、長時間滞留者や一方通行領域での逆走など、不審者の検出を行い、不審者を検知するとその旨を表す異常信号を生成して出力部8へ出力する。
出力部8はブザー等の音響出力手段及び液晶ディスプレイ等の表示出力手段であり、統合ユニット7より異常信号が入力されるとブザー鳴動により異常発生を監視員に報知すると共に、不審画像情報を表示する。
[不審者検知装置1の動作]
不審者検知装置1における画像処理ユニット6の動作を説明する。
電源投入後、エリア画像受信部61は画像配信ユニット4からのエリア画像を逐次、画像処理記憶部63に一定時間分だけ循環記憶させる動作を繰り返す。エリア追跡部62は、背景画像等の初期化を終えた後、画像処理記憶部63のエリア画像に付与されたタイムスタンプを参照しつつ周期動作を実行する。
図8は画像処理ユニット6の概略の動作のフロー図である。エリア追跡部62は、処理対象として画像処理記憶部63からタイムスタンプが最新のエリア画像を読み込み(S10)、当該エリア画像上の人物の位置の追跡を1フレーム分だけ進捗させてエリア追跡結果を生成する(S11)。各エリア撮像部2が4台のカメラで構成される本実施形態では、カメラIDごとに最新のタイムスタンプの画像4枚を読み込んで1フレーム分のエリア追跡結果を生成する。生成されたエリア追跡結果にはエリア内人物位置とエリア内人物IDが含まれる。
エリア追跡部62はステップS11にて生成したエリア追跡結果にエリア画像を代表するタイムスタンプを付与し、エリア追跡結果送信部64を制御して当該エリア追跡結果を統合ユニット7へ送信する(S12)。
エリア追跡部62は当該送信後直ちに、画像処理記憶部63に記憶されているエリア画像の最新タイムスタンプを確認し、ステップS12にて処理したエリア画像のタイムスタンプとの時間差を求めて基本分析間隔と比較する(S13)。求めた時間差は追跡を進捗させるのに要した時間に相当する。
求めた時間差が基本分析間隔以上の場合(S13にてYESの場合)、エリア追跡部62は直ちに処理をステップS10に戻して次の周期動作を開始する。
一方、求めた時間差が基本分析間隔未満の場合(S13にてNOの場合)、エリア追跡部62は基本分析間隔の到来まで待機する(S14)。すなわち、エリア追跡部62はステップS13と同様にして時間差を求め基本分析間隔と比較するポーリング処理を、撮像周期未満の時間間隔で繰り返す(S14にてNOの場合)。そして時間差が基本分析間隔以上になると(S14にてYESの場合)、エリア追跡部62は処理をステップS10に戻して次の周期動作を開始する。
次に統合ユニット7の動作を説明する。
電源投入後、エリア追跡結果受信部71は画像処理ユニット6からのエリア追跡結果を受信すると逐次、統合記憶部72のエリア追跡履歴722に記憶させると共に、受信した旨を統合処理部73に通知する動作を繰り返す。統合記憶部72は入力されるエリア追跡結果を人物同定処理のために遡る時間より長く予め定められた一定時間分だけ循環記憶する。各エリアのエリア追跡結果を1度ずつ記憶して以降、統合処理部73はエリア追跡結果受信部71から受信を通知されるたびに統合処理と不審者検知処理を実行する。
図9は統合処理部73の概略の動作のフロー図である。統合処理部73はエリア追跡結果受信部71から新たなエリア追跡結果の受信が通知されるまで待機し(S20)、受信が通知されると(S20にてYESの場合)、ステップS21に処理を進める。なお、一定期間受信の通知が無い場合に処理をステップS26の表示処理に進めて通信異常の旨を表示してもよい。
エリア追跡結果の受信通知があると、統合対象抽出部731は統合処理の対象とするエリア追跡結果を決定する(S21)。統合対象抽出部731はエリア追跡履歴722に記録されたエリア追跡結果のタイムスタンプとエリアID及びエリア情報721を参照し、新たに受信したエリア追跡結果のエリアIDとペアエリアをなすエリアIDが付与されており且つ新たに受信したエリア追跡結果のタイムスタンプから基本分析間隔以内の過去のタイムスタンプを付与されたエリア追跡結果を抽出する。そして、抽出したエリア追跡結果の中からエリアIDごとにタイムスタンプが最も新しいエリア追跡結果を選出し、選出したエリアIDごとのエリア追跡結果の中で最もタイムスタンプが古いエリア追跡結果を部分統合対象に決定する。決定されたエリア追跡結果のエリアIDを基準エリアのエリアID、そのタイムスタンプを基準タイムスタンプに設定する。
追跡結果統合部732はエリア情報721を参照し、ステップS21にて部分統合対象に決定されたエリア追跡結果に対するペアエリアのエリア追跡結果のうち、基準タイムスタンプの直前と直後のタイムスタンプを有する2時点のエリア追跡結果を人物同定用に選出する(S22)。該当するペアエリアが複数存在する場合はそれぞれのペアエリアから2時点のエリア追跡結果を選出する。
続いて追跡結果統合部732は、ステップS22にて選出したペアエリアの2時点のエリア追跡結果から基準タイムスタンプにおける各人物のエリア内人物位置を推定する(S23)。
追跡結果統合部732は、エリア情報721を参照し、ステップS21にて決定した部分統合対象のエリア追跡結果、ステップS22にて選出した人物同定用のエリア追跡結果、及びステップS23にて推定したエリア内人物位置のそれぞれを統合人物位置に変換する。そして、重複領域内に存在し、かつ互いに同定閾値以下の距離で近接する統合人物位置を同一人物のものと判定し、同定閾値以下の距離で近接する統合人物位置がない統合人物位置は同一人物のものがないと判定する(S24)。
続いて追跡結果統合部732は統合追跡履歴723を参照して、人物同定用のエリア追跡結果におけるエリア内人物IDに対応する統合人物IDを特定し、さらにステップS24の結果からこれに対応する部分統合対象のエリア内人物IDを特定する。そして、部分統合対象のエリア追跡結果に含まれるエリア内人物IDを対応が特定された統合人物IDに書き換える。また対応が特定されなかったエリア内人物IDには新規の統合人物IDを付与して書き換える。その後、追跡結果統合部732は書き換え後のエリア内追跡結果を統合追跡履歴723に追記する(S25)。また、追跡結果統合部732は特定した人物IDの対応関係と新規付与した人物IDの対応関係とを統合追跡履歴723に書き込む。
こうして統合が進捗すると、統合処理部73の不審者検知部733は更新された統合追跡履歴723を参照し、所定時間以上の滞留している不審者や一方通行領域で逆走している不審者などの検知を行う(S26)。
統合処理部73は統合追跡履歴723に記録されている人物ごとの位置の履歴(移動軌跡)の表示データを作成して出力部8に出力すると共に、ステップS26にて不審者が検知された場合には異常信号を生成して出力部8に出力する。出力部8は移動軌跡の表示を行うと共に、異常信号が入力されていればブザー鳴動と不審検知の旨の表示を行う(S27)。
[変形例]
(1)上記実施形態では各エリア画像を4台のカメラで撮像する例を示したが、本発明は各エリアを撮像するカメラの台数が異なる構成にも適用可能である。例えば、各エリア画像を撮像するカメラは1台であってもよい。また、例えば、エリアIは2台のカメラで撮像し、エリアIIは4台のカメラで撮像するなど、エリアごとにカメラの台数が異なる構成にも適用可能である。
(2)上記実施形態では各画像処理ユニット6が1エリアずつ担当する例を示したが、画像処理ユニット6が基本分析間隔内に複数のエリア画像について追跡処理を行える処理能力がある場合には、その範囲内で担当エリアの数を複数に設定することもできる。例えば、1つの画像処理ユニット6が2エリアずつ担当するように構成できる。また画像処理ユニット6の処理能力の差やエリアごとの追跡処理の負荷の相違に応じて、各画像処理ユニット6が担当するエリアの数を個々に設定することもできる。例えば、例えば、処理能力の高い画像処理ユニット6が2エリアずつ担当し、処理能力の低い画像処理ユニット6が1エリアずつ担当したり、人通りが多く追跡処理の負荷が高い1つのエリアを1つの画像処理ユニット6に担当させ、追跡負荷の低い2つのエリアを1つの画像処理ユニット6に担当させたりすることができる。
(3)上記実施形態では画像配信ユニット4が各カメラから取得した画像にタイムスタンプを付与する例を示したが、各カメラが計時手段を有してそれぞれ定期的に計時手段を調時し、各カメラが自身の撮像した画像に撮像時刻のタイムスタンプを付与する構成とすることもできる。この場合、画像配信ユニット4は不要となる。
また、エリア画像のタイムスタンプは、エリア画像を構成する複数の画像に付与されているタイムスタンプの代表時刻であり、複数の画像処理ユニット6の間で算出方法が統一されていればよく、平均時刻に代えて最小時刻、最大時刻などの代表時刻を用いることもできる。
(4)上記実施形態では画像処理ユニット6が画像配信ユニット4により付与されたタイムスタンプを参照して周期動作を制御する例を示したが、画像処理ユニット6が自身の計時手段による計時結果を基に周期動作を制御してもよい。
(5)上記実施形態では、統合ユニット7の追跡結果統合部732がペアエリアの人物位置とタイムスタンプとから2時点の人物位置を結ぶ線分上の内分点を算出することにより基準タイムスタンプにおける基準エリアの人物位置を推定して同一人物の判定を行う例を示した。
別の実施形態では上記内分点の要件を課さずに、統合ユニット7が、基準エリアのエリア追跡結果(注目追跡情報)のタイムスタンプが当該エリアのペアエリアから連続受信した2時点のエリア追跡結果(連続追跡情報対)のタイムスタンプ間にあり、かつ当該連続追跡情報対の人物位置を結ぶ線分に沿った方向に関し注目追跡情報の人物位置が当該線分の範囲内にあることを以て、注目追跡情報及び連続追跡情報対を同一人物のエリア追跡結果と判定する構成とすることもできる。すなわち、この構成では上述の内分点の算出を要さず、より簡易的に、基準エリアの人物位置がペアエリアの2時点の人物位置の間の位置(以下、中間位置)であるか否かにより同一人物の判定を行うこともできる。
例えば、追跡結果統合部732は、基準エリアの人物位置が中間位置であることを、基準エリアから検出された基準タイムスタンプの人物位置がペアエリアの2時点の人物位置を結ぶ線分からの距離を閾値判定することで確認できる。図10はその例を説明する模式図である。基準エリアIから検出された基準タイムスタンプt2の時点における人物aの位置P(t2,I,a)に対して、エリアIIIから検出された人物eの2時点の人物位置を結んだ線分LeとP(t2,I,a)の距離Deを求めて距離Deが閾値以下であれば人物aと人物eを同一人物と判定する。
図11は他の例を説明する模式図である。この例では追跡結果統合部732は、ペアエリアの中間位置であることを、基準エリアから検出された基準タイムスタンプの人物位置へのペアエリアの2時点の人物位置それぞれからの距離の和と、ペアエリアの2時点の人物位置の間の距離の差が閾値以内であるか否かを判定することで確認する。例えば、人物eの2時点の人物位置の間の距離De0を求めると共に、人物eの2時点の人物位置それぞれからP(t2,I,a)までの距離De1,De2を求めて、De1≦De0且つDe2≦De0且つ、これらの和とDe0の差Δ≡(De1+De2−De0)が閾値以下であれば人物aと人物eを同一人物と判定する。ちなみにこの構成において、Δに関する条件はペアエリアの2時点の人物位置を焦点とする楕円内の領域となる。一方、De1,De2がDe0以下であるとの条件は、当該楕円領域のうち、図10に示す線分Leの方向に関し当該線分の範囲外の領域を排除する。
(6)上記実施形態では、新着追跡結果のタイムスタンプから基本分析間隔以内の基準タイムスタンプを選出することで新着追跡結果が人物同定用データとして利用されるようにして可用性と精度と効率性とを並立させる例を示した。別の実施形態では基準タイムスタンプを選出する時間範囲をより長く、例えば基本分析間隔の2倍又は3倍の長さに設定することもできる。こうすることで統合処理のリアルタイム性は若干落ちるものの、画像処理ユニット6の追跡処理の遅延に対する許容性が高くなる。なお、この場合も可用性と精度と効率性は損なわれない。
(7)上記実施形態では、統合対象抽出部731がステップS21の処理を行うことで統合済みのエリア追跡結果をフラグ管理することなく効率的に可用性と精度とを両立させる例を示した。別の実施形態ではステップS21において、統合対象抽出部731がエリア追跡履歴722に記憶されているエリア追跡結果をフラグ管理し、未だ部分統合対象に選ばれていない全てのエリア追跡結果の中から、人物同定用データが出揃ったエリア追跡結果を都度選出する。この場合、効率性は低下するものの可用性と精度は損なわれない。