JP4559819B2 - 不審者検出システム及び不審者検出プログラム - Google Patents

Description

本発明は、所定の監視空間を対象として利用者が所持する携帯端末と通信することにより不審者を検出する不審者検出システム及び不審者検出プログラムに関する。

従来、利用資格を持たない人が施設の出入り口や施設内を自由に通行することを防ぐために、通行規制を行う扉付近に資格確認装置を設置し、通行する利用者に対して資格チェックを行うシステムが用いられている。例えば、資格確認装置はカードリーダで構成され、利用者が所持するカードを読み取らせ、登録されたカードデータとの照合により資格チェックを行っている。資格チェックの結果、正規の利用者であると判断すると、その利用者が扉を通過できるよう一時的に通行規制を解除する。
しかし、利用者が通過する際に通行規制が解除されている間を狙って、カードを所持しない不審者が侵入する虞がある。この場合、上記システムでは不審者が侵入したことを検出することができない。

そこで、従来、人体を検知するためのカメラやセンサと利用者が所持するＩＣカードを読み取るカードリーダとを併用して資格チェックを行う不審者検出システムが提案されている。このシステムでは、通行規制を行う扉付近に設置したカメラやセンサにより人体の存在を検知し、人体を検知した場合にＩＣカードを読み取る。そして、人体を検知したにもかかわらずＩＣカードを読み取れなかった場合に、検知した人体が不審者によるものと判定している。したがって、カードを所持していない不審者が通行しようとしたことを検知することができる。

特開平９−２７００１１号公報

ところで、オフィスビルなどの施設では、例えば出勤時間帯には非常に多くの利用者が同時に入口を通行する。このような状況において、扉の前で１人ずつ資格チェックを行い１人ずつ通行規制を制御していると、利用者が円滑に通行できなくなってしまう。したがって、複数の利用者に対して一斉に資格チェックを行うシステムが求められている。
従来の不審者システムは、通行規制を行う扉を１人ずつ通過させることを前提としている。よって、複数の人が同時に通行するような施設に利用した場合、複数の利用者の中に不審者が１人紛れ込んでいると、不審者の存在を確実に検知することができず、また、不審者がどの人物であるか識別することができなかった。

本発明は、上記問題を解決するためになされたものであり、複数の利用者の中に不審者が存在する場合であっても不審者を特定可能な不審者検出システム及び不審者検出プログラムを提供することを目的とする。

上記目的を達成する本発明による不審者検出システムは、監視空間を撮像する撮像部と、監視空間に存在する携帯端末と無線通信する通信部と、撮像部及び通信部に接続され、監視空間に存在する不審者の検出処理を行う検出処理部とを備え、検出処理部は、撮像部から入力された画像中の人体像を抽出して人体像の位置を求める人体像抽出手段と、通信部と携帯端末との通信により携帯端末の位置を求める端末位置算出手段と、人体像の位置と携帯端末の位置とが第一の所定距離以内であれば当該人体像と当該携帯端末とを対応付けする一次対応手段と、一次対応手段で対応付けされなかった未対応の人体像が存在する場合において、監視空間に存在する人体像の数と携帯端末の数とが一致し、且つ、当該未対応の人体像及び未対応の携帯端末の位置が第一の所定距離より長い第二の所定距離以内であれば、当該人体像と当該携帯端末との二次対応付けを行うとともに、人体像の数と携帯端末の数とが不一致のときは二次対応付けを行わない二次対応手段とを具備し、一次対応手段及び二次対応手段にて携帯端末と対応付けされなかった人体像を不審者とする。

上記構成によれば、監視空間に存在する人物と携帯端末を検出し、それぞれの位置情報の比較により、人物と携帯端末とを対応付けすることができる。したがって、監視空間に複数の人物が入ってきた場合であっても、どの携帯端末をどの人物が所持しているか、どの人物が携帯端末を所持していないのかを判別可能となるため、不審者を示す人体像を特定することができる。また、携帯端末の位置測定に多少の誤差が生じた場合であっても、正規の利用者を不審者として判定してしまうことを防ぐことができるとともに、不審者がいる可能性がある場合は確実にその人物を検出することができる。したがって、より円滑かつ安全性が高い運用が可能となる。

また、上記不審者検出システムにおいて、検出処理部は、更に、携帯端末と対応付けされなかった人体像を含む不審者情報を記録する不審者記録手段を備える。
画像中の不審者を示す人体像を不審者コードと関連付けて記録したり、画像中から不審者を示す人体像を切り出して記録することで、管理者は不審者を容易に視認することができる。

また、上記出入管理システムにおいて、検出処理部は、更に、携帯端末を所持する利用者の生体情報を携帯端末と関連付けて記憶する生体情報記憶手段と、携帯端末と対応付けされた人体像と当該携帯端末と関連付けて記憶された生体情報とが同一の人物を示すか否かを判定する一致判定手段とを備え、人体像と生体情報とが一致しない場合は当該人体像を不審者とする。
人体と携帯端末の対応付けを利用して生体情報の照合を行うことにより、入力情報と登録情報とを１対１の関係で照合できるため、セキュリティ性の高いシステムを構成しつつ円滑な運用が可能となる。

また、上記出入管理システムにおいて、通信部は、人体像抽出手段により入力された画像から人体像を抽出した場合に携帯端末との通信を行う。
画像中から人体像を抽出した場合に携帯端末との通信を開始することで、不要な通信による消費電力の削減を図れる。なお、画像により不審者の侵入に対しては常時監視するため、セキュリティ性を高く維持することができる。

また、上述の目的を達成する本発明による不審者検出プログラムは、所定の監視空間が撮像された画像を入力するステップと、入力された画像中の人体像を抽出して当該人体像の位置を求めるステップと、携帯端末から受信した無線信号に基づいて当該携帯端末の位置を求めるステップと、人体像の位置と携帯端末の位置とが第一の所定距離以内であれば当該人体像と当該携帯端末とを対応付けするステップと、第一の所定距離にて対応付けされなかった未対応の人体像が存在する場合において、抽出された人体像の数と携帯端末の数とが一致し、且つ、当該未対応の人体像及び未対応の携帯端末の位置が第一の所定距離より長い第二の所定距離以内であれば、当該人体像と当該携帯端末との二次対応付けを行うとともに、人体像の数と携帯端末の数とが不一致のときは二次対応付けを行わないステップと、携帯端末と対応付けされなかった人体像を含む不審者情報を出力するステップと、を少なくとも有し、コンピュータに実行させることで所定の監視空間に存在する不審者を検出する。

本発明によれば、監視空間に存在する不審者を確実に検知するとともに、複数の人体像のうち不審者を示す人体像を特定することができる。

以下、添付の図面を参照して、本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る不審者検出システムを説明する図である。
本実施形態に係る不審者検出システムは、建物内の社員通用口を監視空間Ａとし、社員（資格を有する者）のみに対して電気錠付き扉２から社員専用フロアへ入ることを許し、社員以外の者が監視空間Ａに入った場合に、その者を不審者として検出する。

監視空間Ａは、建物内の社員通用口であり、出社時間帯などには複数の社員が同時に利用するため、ある程度の広さを備えている。
電気錠付き扉２は、電気錠を備えた自動ドアであり、監視空間Ａである社員通用口から社員専用フロアへの通行を物理的に規制する。また、電気錠付き扉２は、通行管理装置１に接続され、通行管理装置１によって電気錠の施解錠、自動ドアの開閉が制御される。
カメラ３は、電気錠付き扉２の上部に設置され、監視空間Ａを撮像する。また、カメラ３は通行管理装置１に接続される。

アンテナ装置４は、通行管理装置１に接続されて、監視空間に複数個（４ａ〜４ｄ）設置される。送受信機能を持つアンテナ装置４ａにて監視空間Ａに対して質問信号を送出し、アンテナ装置４ａ及び受信専用のアンテナ装置４ｂ〜４ｄにて携帯端末の一例であるＩＣタグ５（以下、単に「ＩＣタグ５」とする）からの応答信号を受信する。このように、アンテナ装置４は監視空間Ａに存在する人物Ｂが所持するＩＣタグ５との無線通信を行う。応答信号を受信すると、受信データを生成して通行管理装置１へ送信する。
また、任意の１つのアンテナ４ｂは、カメラ３と近接させて配置する。このアンテナ４ｂは、ＩＣタグ５の位置を求める際、位置を表現する座標系の基準となる。これについては、後に詳述する。

ＩＣタグ５は、利用者である人物Ｂに所持され、アンテナ４から送出された質問信号を受信し、自己のＩＤコードを含む応答信号を送出する。
通行管理装置１は、電気錠付き扉２、カメラ３、アンテナ４と接続され、種々の処理を実行するとともにシステム全体を統括する装置であり、管理者のみが使用できるように監視空間Ａとは別の管理室等に設置される。

通行管理装置１による主な処理の概要について、図２を参照して説明する。
通行管理装置１は、カメラ３にて撮像された監視空間Ａを写した画像を入力され（Ｓ１０００）、監視空間Ａに存在する人物Ｂを示す人体像を入力画像から抽出するとともにその位置を求める（Ｓ１１００）。また、アンテナ装置４ａ〜４ｄにて生成した受信データを入力され（Ｓ１２００）、複数の受信データに基づいて監視空間ＡにおけるＩＣタグ５の位置を求める（Ｓ１３００）。

次に、Ｓ１１００にて抽出した人体像の位置とＳ１３００にて求めたＩＣタグ５の位置とを比較し、監視空間に存在する人物ＢとＩＣタグ５の対応付けを行う（Ｓ１４００）。このように、人体像とＩＣタグ５を位置情報に基づいて対応付けすることで、監視空間Ａに存在する人物ＢがＩＣタグ５を所持しているか、また、所持しているＩＣタグ５がどれであるかを識別することができる。
Ｓ１４００による対応付け処理にてＩＣタグ５と対応付けされなかった人体像が存在する場合、その人体像を示す人物Ｂを不審者と判定し（Ｓ１５００）、後続の処理へ移行する。

以下、本実施形態の不審者検出システムにおける詳細な構成及び処理について説明する。
図３は、本実施形態に係る不審者検出システムの構成を示す図である。
本実施形態の不審者検出システムは、通行管理装置１、電気錠付き扉２、カメラ３、アンテナ装置４、ＩＣタグ５で構成される。アンテナ装置４は、送受信アンテナ装置４ａ、受信アンテナ装置４ｂ〜４ｄからなる。

通行管理装置１は、制御部１０、操作部２０、表示部３０、通報部４０、Ｉ／Ｆ５０を備える。以下、各部について説明する。
制御部１０は、操作部２０、表示部３０、通報部４０、Ｉ／Ｆ５０と接続され、主に、演算装置であるＭＰＵ１００、ＲＡＭ等の書き換え可能なメモリであり各種データが記憶されたデータメモリ２００、ＲＡＭ、ＲＯＭ等のメモリであり各種プログラムが記憶されたプログラムメモリ３００からなる。ＭＰＵ１００は、各部を介して入力されるデータ、データメモリ２００及びプログラムメモリ３００に記憶されたデータ及びプログラムに基づいて種々の処理を実行する。制御部１０の詳細については後述する。

操作部２０は、キーボードやマウス、各種スイッチで構成される。管理者は、操作部２０を操作することにより、制御部１０に記憶するデータの入力・修正、システムが不審者を検出した場合の警報表示の停止、後述する記録画像（不審者情報）の再生等を行う。

表示部３０は、ディスプレイ、スピーカ、警報ランプからなる。表示部３０は、システムが不審者を検出した際にスピーカにより警報音を発するとともに警報ランプにより警報表示する。また、操作部２０の入力に基づいて、後述する記録画像（不審者情報）をディスプレイにより表示する。

通報部４０は、図示しない監視センタと電話回線を介して接続され、システムが不審者を検出した際に監視センタへその旨を通報する。また、通報の際、後述する記録画像（不審者情報）を付加して送信する。通報を受けた監視センタの管制員は、受信した記録画像（不審者情報）を確認してシステムの管理者に不審者の検出を連絡する。これとともに、必要であれば対処員の派遣、警察への通報を行う。

Ｉ／Ｆ５０は、通行管理装置１と電気錠付き扉２、カメラ３、アンテナ装置４とを接続するインターフェースである。制御部１０は、Ｉ／Ｆ５０を介して電気錠付き扉２、カメラ３、アンテナ装置４との通信を行う。

次に、通行管理装置１と接続される電気錠付き扉２、カメラ３、アンテナ装置４、及びＩＣタグ５について説明する。
電気錠付き扉２は、監視空間Ａである社員通用口から社員専用フロアへの通行を物理的に規制する扉であり、電気錠を備える。通常、電気錠付き扉２は、扉を閉鎖状態、電気錠を施錠状態に保持しており、通行管理装置１からの制御信号に基づいて一時的に電気錠を解錠するとともに扉を開放する。

カメラ３は、監視空間Ａを撮像し、撮像した画像を順次通行管理装置１へ出力する。監視空間Ａにいる人物を正面から撮影することが求められるため、電気錠付き扉２の上部に配置して電気錠付き扉２と正対する方向を撮像方向とするのが好ましい。
また、カメラ３は、監視空間Ａに向けて直線レーザー光（可視光）を放射するレーザー光源を備える。レーザー光源は、撮像する正面方向（撮像画像の中心に現れる方向）と、この方向と異なる任意の方向に向けてレーザー光を放射可能に設計されている。本実施形態の不審者検出システムは、初期設定にて撮像画像の座標系とＩＣタグ５の位置を示す座標系との対応関係を規定しておく必要があり、この初期設定においてレーザー光を利用する。初期設定の方法については、後に詳述する。

アンテナ装置４は、信号処理回路、アンテナ、タイマで構成され、ＩＣタグ５と無線通信を行う。送受信アンテナ装置４ａは、通行管理装置１からの制御信号に基づいて信号処理回路にて質問信号を生成し、監視空間Ａに向けて質問信号を送出する。また、送受信アンテナ装置４ａ及び受信アンテナ装置４ｂ〜４ｄは、それぞれ固有のアドレスを与えられており、監視空間Ａに存在するＩＣタグ５からの応答信号を受信すると、信号処理回路にて応答信号に自己のアドレス及び時刻データを付加した受信データを生成し、通行管理装置１へ生成した受信データを送信する。

なお、送受信アンテナ装置４ａ及び受信アンテナ装置４ｂ〜４ｄは、ある程度の間隔をとって監視空間Ａに配置されており、１つのＩＣタグ５からの応答信号をそれぞれがＩＣタグ５との距離によって異なるタイミングで受信し、受信データを生成する。
また、図１にて示したように、受信アンテナ装置４ｂはカメラ３に近接させて配置される。

ＩＣタグ５は、アンテナ及び集積回路（ＩＣチップ）で構成され、個別にＩＤコードが割り当てられている。ＩＣタグ５は、送受信アンテナ装置４ａから送出された質問信号を受信すると、自己のＩＤコードを含む応答信号を送出する。なお、ＩＣタグ５は、社員等の社員専用フロアへの入場を許可された人（利用者）に対して予め配布され、利用者によって所持される。

次に、制御部１０について詳述する。
前述したように、制御部１０は、ＭＰＵ１００、データメモリ２００、プログラムメモリ３００を主として構成される。制御部１０は、データメモリ２００、プログラムメモリ３００に記憶する内容に基づいて、カメラ３から入力された画像を解析して監視空間Ａに存在する人物（人体像）を検出する。また、アンテナ装置４から入力された受信データを解析して監視空間ＡにおけるＩＣタグ５の位置を検出する。
そして、これらの処理結果を基に監視空間Ａに存在する利用者と不審者を識別し、利用者に対しては電気錠付き扉２を制御して電気錠を解錠し、扉を開放する。不審者が存在する場合には、不審者を社員専用フロアへ入れないために電気錠付き扉２を制御して電気錠を施錠状態に保持させる。それと同時に表示部３０を制御し、スピーカにより警報音を発生させるとともに警報ランプにて警報表示を行わせる。さらに、通報部４０を制御し、監視センタへ不審者を検出した旨を通報する。

以下、データメモリ２００及びプログラムメモリ３００記憶するデータ及びプログラムについて説明する。
データメモリ２００には、ＩＤ情報２１０、不審者情報２２０が記憶される。ＩＤ情報２１０は、利用者に配布したＩＣタグ５毎に設定されたＩＤコードに対し、そのＩＣタグ５を所持する利用者の氏名、社員番号、生体情報等の個人情報が設定されたデータである。生体情報は、後述の生体情報照合に用いる生体情報の種類に応じて異なるが、本実施形態では顔の画像から抽出した特徴情報とする。

また、不審者情報２２０とは、不審者と判定された人体像を含むデータである。具体的には、入力画像に不審者と判定された人体像を特定する情報を付加したデータを不審者情報２２０とする。このように不審者情報２２０を記録しておくことで、利用者の中に不審者が紛れ込んでいた場合であっても、管理者や対処者は不審者検出時の画像から不審者がどの人物であったかを特定することができる。不審者の特定方法については後述する。

プログラムメモリ３００には、人体像抽出プログラム３１０、通信制御プログラム３２０、位置算出プログラム３３０、対応付け判定プログラム３４０、生体情報照合プログラム３５０が記憶されている。ＭＰＵ１００は、これらのプログラムを適宜読み出して処理を実行する。

人体像抽出プログラム３１０は、監視空間Ａを撮像した画像が入力されるとＭＰＵ１００によって実行され、画像中の人物を示す領域である人体像を抽出する処理を実行する。人体像抽出プログラム３１０は、まず、監視空間Ａに人物がいない状態の背景画像と入力画像とを比較し、輝度変化が所定以上となった領域を抽出する。そして、抽出した変化領域を形状や大きさに応じてノイズ除去・ラベリングし、１つ又は複数の人体像を生成する。本実施形態では、入力された画像を２次元極座標（ｒ，ω）で表すこととし、人体像抽出プログラム３１０は抽出した人体像をこの座標系の領域Ｐ（ｒ，ω）として表現する。これにより、監視空間Ａにおける人体像の位置を認識する。

通信制御プログラム３２０は、入力画像から人体像が抽出されるとＭＰＵ１００によって実行され、ＩＣタグ５との通信を行うようにアンテナ装置４ａを制御し、アンテナ装置４ａ〜４ｄからの入力される受信データを処理するプログラムである。受信データには検出したＩＣタグ５のＩＤコードが含まれており、データメモリ２００のＩＤ情報２１０を参照してこのＩＤコードが登録されているかを判定する。登録されていないＩＤコードである場合は、検出したＩＣタグ５は不正に取得されたものであり、そのＩＣタグ５を所持する人物は不審者であると判断する。よって、このときの入力画像に基づいて不審者情報２２０を生成し、データメモリ２００に記憶する。また、所定時間を経ても受信データが入力されない場合についても、抽出された人体像を不審者と判断して不審者情報２２０を生成する。
このように、人物を検出してからＩＣタグ５との通信を行わせることにより、ＩＣタグ５を所持しない不審者のみが監視空間Ａに存在した場合であっても確実に検出することができるとともに、不要な通信による消費電力を削減することができる。

位置算出プログラム３３０は、アンテナ装置４ａ〜４ｄから入力される複数の受信データに基づいて、検出されたＩＣタグ５の監視空間Ａにおける位置を求める。位置の算出は、ＴＤＯＡ（Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ Ａｒｒｉｖａｌ）測定に基づく三辺測量方式にて行う。本実施形態では、複数のアンテナ装置４ａ〜４ｄを用いてＩＣタグ５からの応答信号を受信しているため、同一のＩＤコードを含む受信データが４つ存在する。位置算出プログラム３３０は、同一のＩＤコードを含む４つの受信データについてそれぞれの受信データに含まれる受信タイミングを比較し、受信タイミングの時間差により各アンテナ装置４ａ〜４ｄからの相対位置としてＩＣタグ５の位置を求めることができる。本実施形態では、アンテナ装置４のうちカメラ３に近接して配置された受信アンテナ装置４ｂからの相対位置を求める。

前述したように、位置算出プログラム３３０により求める位置の座標系は、入力された画像の座標系と合わせておく必要がある。よって、測定位置の座標系を画像の座標系に投影したときの対応関係を予め初期設定しておく。位置算出プログラム３３０は、設定された対応関係に基づいて、求めたＩＣタグ５の位置を画像の座標系に変換して表す。初期設定の方法について、以下に説明する。

図４は、２つの座標系の対応関係を模式的に示したものである。
入力される画像は、カメラ３が撮像する正面方向を原点とする２次元極座標（ｒ，ω）で表される。また、位置算出プログラム３３０にて求める位置は、受信アンテナ装置４ｂからの相対位置として表され、受信アンテナ装置４ｂの位置を原点とした３次元極座標（Ｒ，θ，φ）で表される。

初期設定の際は、まず、カメラ３のレーザー光源により、上記正面方向に対してレーザー光Ｌ１を放射する。次に、レーザー光が当たる位置にＩＣタグ５を配置し、この状態でＩＣタグ５との通信を実行してＩＣタグ５の位置（Ｒ１，θ１，φ１）を求める。ここで、受信アンテナ装置４ｂとカメラ３は近接させて配置しているため、原点（０，０，０）から求めた位置（Ｒ１，θ１，φ１）へ向かう方向（θ１，φ１）は、レーザー光Ｌ１と同じ方向に当たり、画像の２次元極座標系に投影すると原点を示す。つまり、３次元極座標において（Ｒ，θ１，φ１）に存在する物体は、画像中では原点（０，０）に現れることになる。
ここで、求めた位置（Ｒ１，θ１，φ１）が（Ｒ１，０，０）となるように３次元極座標系を変換しておく。以上により、２次元極座標系（ｒ，ω）及び３次元極座標系（Ｒ，θ，φ）の座標系を設定する。

続いて、カメラ３のレーザー光源により、２次元極座標系（ｒ１，ω１）の方向へ向けてレーザー光Ｌ２を放射し、同様にＩＣタグ５の位置（Ｒ２，θ２，φ２）を求める。ここで求めた位置（Ｒ２，θ２，φ２）にある物体は、画像中では（ｒ１，ω１）に現れる。したがって、３次元極座標における（Ｒ，θ２，φ２）の直線上の位置を２次元極座標に投影すると、（ｒ１，ω１）を示すことになる。

以上により、３次元極座標（Ｒ，０，０）は２次元極座標（０，０）へ、（Ｒ，θ２，φ２）は（ｒ１，ω１）へ投影されるとういう関係が得られ、これらに基づいて３次元極座標（Ｒ，θ，φ）を２次元極座標（ｒ，ω）に変換する際の対応関係を求め、求めた対応関係を記憶しておく。
位置算出プログラム３３０は、上記のようにして初期設定された対応関係に基づき、ＩＣタグ５の測定位置を画像と同一の２次元極座標における位置Ｋ（ｒ，ω）にて表現する。

対応付け判定プログラム３４０は、抽出された人体像と検出したＩＣタグ５とを対応付けし、監視空間Ａに存在するどの人物がどのＩＣタグ５を所持しているかを識別する。監視空間Ａにいる人物とその人物が所持するＩＣタグ５とは、監視空間Ａの同じ場所に存在するため、画像中における位置も同じである。よって、抽出された人体像と検出したＩＣタグ５を位置情報に基づいて対応付けする。

抽出された人体像は２次元極座標系における領域Ｐ（ｒ，ω）で表され、検出されたＩＣタグ５の測定位置は同一の座標系における位置Ｋ（ｒ，ω）で表されている。ここで、人体像の領域Ｐ（ｒ，ω）とＩＣタグ５の測定位置Ｋ（ｒ，ω）の位置が第一の所定距離以内であるか否かを判定する。本実施形態では、人体像の領域Ｐ（ｒ，ω）内にＩＣタグ５の測定位置Ｋ（ｒ，ω）が存在するかを判定する。領域Ｐ（ｒ，ω）内に測定位置Ｋ（ｒ，ω）が存在する場合、その領域Ｐ（ｒ，ω）を示す人体像と位置Ｋ（ｒ，ω）を示すＩＣタグ５（のＩＤ情報）とを対応付けする。つまり、人体像を示す人物は、この人体像に対応付けされたＩＣタグ５を所持していると認識する。画像中に複数の人体像が抽出されている場合は、全ての人体像について同様の判定を行い、ＩＣタグ５との対応付けが可能であるか試行する。

なお、本実施形態では、人体像の領域Ｐ内にＩＣタグ５の測定位置Ｋが存在するか否か、即ち第一の所定距離が０の場合を示している。しかし、これに限られるものではなく、例えば人体像の領域Ｐの重心点からＩＣタグ５の測定位置Ｋまでの距離を人体の大きさを考慮した第一の所定距離として判定しても良い。
また、人体像の領域Ｐ内に複数のＩＣタグ５の測定位置Ｋが存在する場合は、その全てのＩＣタグ５を当該人体像と対応付けしても良く、更には、当該人体像の領域Ｐの重心からの距離に応じて順位を付けて対応付けしても良い。

また、第一の所定距離により対応付けされなかった人体像とＩＣタグ５が存在する場合において、検出された全ての人体像の数とＩＣタグ５の数とが一致する場合は、これらの人体像の領域Ｐ（ｒ，ω）とＩＣタグ５の測定位置Ｋ（ｒ，ω）の位置が第一の所定距離より長い第二の所定距離以内であるか否かを判定する。本実施形態では、人体像の領域Ｐ（ｒ，ω）の外郭からとＩＣタグ５の測定位置Ｋ（ｒ，ω）が近距離であるかを判定する。そして、上記条件を満たした人体像とＩＣタグ５（のＩＤコード）とを対応付けする。

上述の対応付け処理によってＩＣタグ５と対応付けされない人体像を示す人物は、ＩＣタグ５を所持していないと判断することができるため、その人物を不審者であると判断する。不審者を検出すると、そのときの入力画像に基づいて不審者情報２２０を生成し、データメモリ２００に記憶する。

図５を参照して、ＩＣタグと人体像の位置対応付けの一例を説明する。同図は、画像中における人体像の位置及びＩＣタグの測定位置を模式的に表現したものである。
前述したように、監視空間Ａを撮像した画像４００は２次元極座標系で表されるものとする。監視空間Ａに存在する人物は、人体像抽出プログラム３１０にて人体像４１０、４２０、４３０のように抽出される。抽出された人体像４１０、４２０、４３０は領域Ｐ（ｒ，ω）で表される。５１０、５２０、５３０、５４０は、検出されたＩＣタグの測定位置を示し、Ｋ（ｒ，ω）で表される。

今、ＩＣタグを所持する利用者３人が監視空間Ａに入ったとすると、画像中に人体像４１０，４２０，４３０とＩＣタグ５１０，５２０，５３０が検出される。この場合、各人体像の領域とＩＣタグの測定位置とを比較すると、ＩＣタグ５１０の測定位置は人体像４１０の領域に含まれる（第一の所定距離以内である）ため、人体像４１０とＩＣタグ５１０（のＩＤコード）とが対応付けされる。同様に、人体像４２０とＩＣタグ５２０、人体像４３０とＩＣタグ５３０が対応付けされる。

次に、ＩＣタグを所持する利用者２人と同時に通行資格を有していない不審者が紛れて監視空間Ａに入ったとする。すると、画像中に人体像４１０，４２０，４３０とＩＣタグ５１０，５２０が検出される。この場合、人体像４１０とＩＣタグ７１０、人体像４２０とＩＣタグ５２０は対応付けされるが、人体像４３０の領域にはＩＣタグが検出されていないため、人体像４３０はＩＣタグと対応付けされることはない。そして、対応付けされなかった人体像４３０を、ＩＣタグを所持していない不審者であると認識し、正規の利用者と不審者を判別する。

また、ＩＣタグを所持する利用者３人が監視空間に入り、画像中に人体像４１０，４２０，４３０とＩＣタグ５１０，５２０，５４０が検出されたとする。この場合、人体像４１０とＩＣタグ５１０、人体像４２０とＩＣタグ５２０は対応付けされるが、ＩＣタグ５４０の測定位置は人体像４３０の領域に含まれない（第一の所定距離以内でない）ため対応付けされない。

しかしながら、検出された人体像の数とＩＣタグの数とは一致しており、また、人体像４３０の領域の外郭とＩＣタグ５４０の測定位置とは近距離である（第一の所定距離より長い第二の所定距離以内である）。したがって、人体像４３０が示す人物はＩＣタグ５４０を所持した利用者であることが推測できるため、人体像４３０とＩＣタグ５４０（のＩＤコード）とが対応付けされる。
ここでいう近距離の程度は、ＩＣタグの位置検出精度や、画像に写る人体像の大きさがどの程度かによって任意に設定すればよい。
対応付け判定プログラム３４０は、以上のようにして人体像とＩＣタグ（のＩＤコード）との対応付け判定を行い、対応付け結果を出力する。

生体情報照合プログラム３５０は、画像中の人体像から生体情報として顔の特徴情報を抽出し、登録された生体情報と照合することにより、その人体像を示す人物が登録された利用者であるか不審者であるか判定する。
生体情報照合プログラム３５０は、まず、対応付けされたＩＣタグ５のＩＤコードについて登録されたＩＤ情報２１０から登録生体情報を読み出す。次に、対応付けされた人体像から顔領域を検出し、顔の画像から目、鼻、口、眉、輪郭等の形状、及び互い位置関係を特徴情報として抽出する。そして、対応付けされたＩＣタグ５と人体像の組み合わせにおいて、登録生体情報と入力画像から抽出した顔の特徴情報を照合し、一致度が基準値以上であるかに基づいて照合結果を出力する。

一致判定した場合、照合対象の人体像が示す人物は、当人に配布された正規のＩＣタグ５を所持する利用者であると認識する。一方、不一致判定した場合、照合対象の人体像が示す人物は、他人のＩＣタグ５を不正に入手して通行しようとする不審者であると判断する。不審者を検出すると、そのときの入力画像に基づいて不審者情報２２０を生成してデータメモリ２００に記録する。

ここで、前述したように一つの人体像に対して複数のＩＣタグ５が対応付けされている場合は、複数のＩＣタグ５のＩＤコードについて登録されたＩＤ情報２１０から読み出した登録生体情報との照合を行い、どれか一つと一致判定すればその人体像を示す人物は正規の利用者であると認識する。また、複数のＩＣタグ５の対応付けに順位が与えられている場合は、順位が高いＩＣタグ５から順次照合を行う。

次に、図６のフローチャートにより、本発明の一実施形態に係る不審者検出システムを構成する通行管理装置１の動作について説明する。
通行管理装置１は、監視空間Ａを撮像するカメラ３から画像を随時入力され（Ｓ６００）、人体像抽出プログラム３１０により画像中から人体を示す像を抽出する処理を施す（Ｓ６１０）。このとき、画像中における人体像の位置も求める。そして、人体像を抽出した否かを判定し、人体像を抽出した場合は次の処理に進み、抽出されない場合は次の画像入力を待機する（Ｓ６２０）。

人体像が抽出された場合、通信制御プログラム３２０により、アンテナ４ａに質問信号を送出させるとともに、ＩＣタグ５からの応答信号を受信したアンテナ４ａ〜４ｄから受信データを入力し、ＩＣタグ５との通信処理を行う（Ｓ６３０）。同時に、受信データに含まれるＩＣタグ５のＩＤコードがデータメモリ２００のＩＤ情報２１０に登録されているかを検証する。

続いて、通信開始から所定時間内に登録されたＩＤコードを含む応答信号を受信したかを判定する（Ｓ６４０）。つまり、検出したＩＣタグ５が正規のものであるかを判定する。紛失したＩＣタグ５は、ＩＤコードと共に失効フラグをセットして記憶しておくことで、ＩＣタグ５を第三者に拾われて不正利用されることを防ぐことができる。

Ｓ６４０において、所定時間内に応答信号を受信しなかった場合、あるいは受信した応答信号に含まれたＩＤコードが登録されたものでなかった場合は、監視空間Ａに不審者が存在すると判断する（Ｓ６５０）。

不審者の存在を検出すると、不審者の人体像を含む不審者情報２２０を生成してデータメモリ２００に記録する（Ｓ６６０）。前述したように、入力された画像にどの人体像が不審者を示すかを特定する情報を付加し、これを不審者情報２２０として記録する。
また、表示部３０を起動して警報音を発生するとともに警報ランプを作動し、通報部４０を起動して監視センタへ不審者を検出した旨を通報する（Ｓ６７０）。同時に、通行管理装置１は、電気錠付き扉２を制御し、不審者の通行を遮断するために扉を閉鎖するとともに電気錠を施錠状態に保つ（Ｓ６８０）。
不審者検出時の処理（Ｓ６５０〜Ｓ６８０）が終了すると、この異常状態を保持したまま管理者や警備員による異常復旧操作を待機する。

Ｓ６４０において、受信した応答信号に含まれるＩＤコードが登録されたものである場合は、位置算出プログラム３３０により受信したＩＤコードに対応するＩＣタグ５の位置を求める（Ｓ６９０）。
続いて、対応付け判定プログラム３４０により、抽出された人体像の位置と求めたＩＣタグ５の位置とが第一の所定距離以内であるかを判定し、人体像とＩＣタグ５の１次対応付け処理を行う（Ｓ７００）。複数の人体像とＩＣタグ５が検出されている場合には、各人体像についての１次対応付け処理を順次施す。

１次対応付け処理により全ての人体像がＩＣタグ５と対応付けされたか否かを判定し（Ｓ７１０）、対応付けされなかった人体像が存在する場合、２次対応付け処理を施す（Ｓ７２０）。２次対応付け処理では、検出した人体像の数とＩＣタグ５の数とが一致しているかを判定し、一致している場合であって、一次対応付け処理にて対応付けされなかった人体像の位置とＩＣタグ５の位置とが第一の所定距離より長い第二の所定距離以内である場合に人体像とＩＣタグ５を対応付けする。

そして、２次対応付け処理により全ての人体像がＩＣタグ５と対応付けされたか否かを判定し（Ｓ７３０）、一次対応付け処理と２次対応付け処理のどちらによってもＩＣタグ５と対応付けされなかった人体像が存在する場合、その人体像は不審者によるものと判断して前述したＳ６５０〜Ｓ６８０の処理を施す。

Ｓ７１０又はＳ７３０にて人体像とＩＣタグ５との対応付けが正しく行われたと判定すると、続いて、生体情報照合プログラム３５０により、人体像の顔領域から顔の特徴情報を抽出し（Ｓ７４０）、この人体像と対応付けされたＩＣタグ５について登録された生体情報と抽出した特徴情報との一致度を求めることにより生体情報照合を行う（Ｓ７５０）。

上記の生体情報照合による照合結果を判定し（Ｓ７６０）、照合が不一致である場合は、その人体像は不審者によるものと判断して、前述したＳ６５０〜Ｓ６８０の処理を施す。照合が一致した場合は、その人体像は正規の利用者によるものと判断し、続いて、入力された画像に存在する全ての人体像について顔照合を行ったかを判定する（Ｓ７７０）。

照合を行っていない人体像が存在する場合はＳ７４０に戻り、以降の処理を繰り返し行う。一方、全ての人体像について照合が一致した場合は、監視空間Ａにいる人物は全て正規の利用者であると判断する（Ｓ７８０）。このとき、照合結果を履歴として記録するとともに、電気錠付き扉２を制御し、正規の利用者の通行を許可するために一時的に電気錠を解錠して扉を開放し、処理を終了する（Ｓ７９０）。

なお、上記処理において、人体像の抽出処理（Ｓ６００、Ｓ６１０）は、以降の処理と平行して行うようにプログラムしてもよく、これにより監視空間Ａに複数の人物がいる場合であっても順次人体像を抽出し、利用者と不審者の判別処理を行うことができる。

以上の実施形態にて説明した不審者検出システムによると、入力された画像から抽出した人体像の位置及び検出したＩＣタグ（携帯端末）の位置に基づいて、監視空間にいる人物とその人物が所持するＩＣタグとを対応付けすることができる。したがって、監視空間に複数の人物が入ってきた場合であっても、どのＩＣタグをどの人物が所持しているか、どの人物がＩＣタグを所持していないのかを判別可能となるため、不審者（を示す人体像）を特定することができる。よって、管理者等は、記録された不審者情報を読み出して不審者検出時の画像を表示させることにより、複数移っている人物の中からどの人物が不審者であるかを容易に視認することができる。

また、人体とＩＣタグの対応付けを利用して生体情報の照合を行うため、入力情報と登録情報とを１対１の関係で照合でき、システムに求められる照合スピードの向上が図れる。さらに、利用者の認証のための操作が不要であるため、セキュリティ性の高いシステムを構成しつつ円滑な運用が可能である。

なお、以上に説明した実施形態において、カメラ３はパン・チルト・ズーム機能を有し、監視空間Ａにおける所望の位置をクローズアップした画像が得られるようにしてもよい。このように、画像中の人物像を拡大して撮像することで、生体情報称号を行う際に正確な特徴情報を得ることができ、また、不審者の記録においても詳細な画像を用いることができる。また、画像中の人物像の一部（頭部）に撮像方向を合わせて拡大して撮像することで、後述の顔認証を行う際にさらに有効な画像となる。

また、監視空間Ａにおける死角を無くすため、また、常に人物を正面から捉えるため、複数のカメラを用いてカメラ３を構成してもよい。
また、カメラ３としてステレオカメラを用いて監視空間Ａを立体的に撮像し、画像中の人体像の３次元空間の位置を求めるようにしてもよい。この場合、同じく３次元空間の位置として求めたＩＣタグ５の測定位置との比較により、実空間上の距離（監視空間Ａにおける実際の距離）を求めることができる。

また、上記実施形態では、初期設定を簡単に説明するために受信アンテナ装置４ｂをカメラ３に近接させて配置させたが、受信アンテナ装置４ｂとカメラ３を一体構成としてもよい。
また、初期設定を簡単に説明するために受信アンテナ装置４ｂとカメラ３とを近接配置させたが、配置関係はこれに限られるものではなく、任意の配置関係にてシステムを構成することが可能である。

また、上記実施形態では、アンテナ装置４の構成を１つの送受信アンテナ装置４ａ、３つの受信アンテナ装置４ｂ〜４ｄとしたが、少なくとも１つの送信アンテナ機能と３つの受信アンテナ機能があればよい。
また、受信アンテナ装置として複数のアンテナ素子で構成されるアレーアンテナを用い、ＩＣタグからの信号到来方向を求めるように構成する等、ＩＣタグの位置算出方法は任意に利用することができる。
また、上記実施形態では、利用者に所持させる携帯端末としてＩＣタグを用いて説明したが、ＩＣタグの他、例えば、ＩＣカード、携帯電話など無線通信可能なものを利用することができる。

また、上記実施形態では、背景画像と入力画像との変化領域を示す図形を人体像として抽出することとしたが、変化領域を囲む矩形を人体像の領域としてもよい。
また、上記実施形態では、照合対象の生体情報として顔の特徴情報を用いたが、他の照合アルゴリズムを用いてもよい。例えば、顔画像を生体情報としてマッチング処理する照合、人物の身長や身体つき等の体格を特徴情報として用いた照合が利用可能である。

本発明の一実施形態係る不審者検出システムを説明する図である。 通行管理装置１による主な処理について説明する図である。 本発明の一実施形態に係る不審者検出システムの構成を示す図である。 ２次元座標系と３次元座標系の対応関係を模式的に示した図である。 ＩＣタグと人体像の対応付け処理の一例を説明する図である。 通行管理装置１の動作を説明するフローチャートである。

符号の説明

１…通行管理装置
２…電気錠付き扉
３…カメラ
４ａ…送受信アンテナ装置
４ｂ、４ｃ、４ｄ…受信アンテナ装置
５…ＩＣタグ
１０…制御部
２０…操作部
３０…表示部
４０…通報部
５０…Ｉ／Ｆ部
１００…ＭＰＵ
２００…データメモリ
３００…プログラムメモリ
４１０、４２０、４３０…人体像
５１０、５２０、５３０、５４０…ＩＣタグ（位置情報）

Claims (5)

1. 所定の監視空間を対象として利用者が所持する携帯端末と通信することにより不審者を検出する不審者検出システムにおいて、
   前記監視空間を撮像する撮像部と、
   前記監視空間に存在する携帯端末と無線通信する通信部と、
   前記撮像部及び前記通信部に接続され、前記監視空間に存在する不審者の検出処理を行う検出処理部とを備え、
   前記検出処理部は、
   前記撮像部から入力された画像中の人体像を抽出して当該人体像の位置を求める人体像抽出手段と、
   前記通信部と前記携帯端末との通信により当該携帯端末の位置を求める端末位置算出手段と、
   前記人体像の位置と前記携帯端末の位置とが第一の所定距離以内であれば当該人体像と当該携帯端末とを対応付けする一次対応手段と、
   前記一次対応手段で対応付けされなかった未対応の人体像が存在する場合において、前記監視空間に存在する前記人体像の数と前記携帯端末の数とが一致し、且つ、当該未対応の人体像及び未対応の携帯端末の位置が前記第一の所定距離より長い第二の所定距離以内であれば、当該人体像と当該携帯端末との二次対応付けを行うとともに、前記人体像の数と前記携帯端末の数とが不一致のときは前記二次対応付けを行わない二次対応手段とを具備し、
   前記一次対応手段及び前記二次対応手段にて前記携帯端末と対応付けされなかった前記人体像を不審者とすることを特徴とした不審者検出システム。
2. 前記検出処理部は、
   更に、前記携帯端末と対応付けされなかった前記人体像を含む不審者情報を記録する記録手段を備える請求項１に記載の不審者検出システム。
3. 前記検出処理部は、更に、
   前記携帯端末を所持する利用者の生体情報を当該携帯端末と関連付けて記憶する生体情報記憶手段と、
   前記携帯端末と対応付けされた前記人体像と当該携帯端末と関連付けて記憶された前記生体情報とが同一の人物を示すか否かを判定する一致判定手段とを備え、
   前記人体像と前記生体情報とが一致しない場合は当該人体像を不審者とする請求項１又は２に記載の不審者検出システム。
4. 前記通信部は、
   前記人体像抽出手段により前記入力された画像から人体像を抽出した場合に前記携帯端末との通信を行う請求項１乃至３に記載の不審者検出システム。
5. 所定の監視空間が撮像された画像を入力するステップと、
   前記入力された画像中の人体像を抽出して当該人体像の位置を求めるステップと、
   携帯端末から受信した無線信号に基づいて当該携帯端末の位置を求めるステップと、
   前記人体像の位置と前記携帯端末の位置とが第一の所定距離以内であれば当該人体像と当該携帯端末とを対応付けするステップと、
   前記第一の所定距離にて対応付けされなかった未対応の人体像が存在する場合において、前記抽出された前記人体像の数と前記携帯端末の数とが一致し、且つ、当該未対応の人体像及び未対応の携帯端末の位置が前記第一の所定距離より長い第二の所定距離以内であれば、当該人体像と当該携帯端末との二次対応付けを行うとともに、前記人体像の数と前記携帯端末の数とが不一致のときは前記二次対応付けを行わないステップと、
   前記携帯端末と対応付けされなかった前記人体像を含む不審者情報を出力するステップと、
   を少なくとも有し所定の監視空間に存在する不審者を検出することを特徴とした不審者検出プログラム。

Images