WO2015128939A1 - 安全性判定システム、安全性判定装置、及び安全性判定方法 - Google Patents

Abstract

　移動体の安全性に関する安全性情報を取得する複数のセンサと、複数のセンサの周辺の領域を撮影する複数の監視カメラと、検査対象を撮影する検査用カメラと、監視画像の特徴量を算出し、特徴量保存情報及びセンサ保存情報を保持し、センサの識別情報と監視カメラの識別情報とが対応付けられ、検査画像の特徴量を算出し、特徴量保存情報から、検査画像と類似する監視画像を撮影した監視カメラの識別情報及び撮影時刻を取得し、センサ保存情報から、特徴量比較部が取得した監視カメラの識別情報に対応付けられたセンサの識別情報及び特徴量比較部が取得した撮影時刻に対応する取得時刻の安全性情報を取得し、取得した安全性情報に基づいて検査対象の安全性を判定することを特徴とする安全性判定システム。

Description

安全性判定システム、安全性判定装置、及び安全性判定方法

　監視カメラによって撮影された画像、及びセンサによって取得された安全性情報に基づいて安全性を判定する安全性判定システムに関する。

　近年、公共施設の利用客の増加に伴い、空港等の安全性検査の際に、全員を詳細に検査すると時間がかかるため、効率良く検査を実施したいというニーズが増加している。一方、検査を簡易化する場合、又はランダムに選んだ人を対象に詳細な検査を実施する場合、全員を詳細に検査する場合より安全性が低下するといった課題があった。

　これに対し、監視員の負担を軽減する技術として、特開２００６－１４６３７８号公報（特許文献１）がある。

　特許文献１の公報には、「各カメラで撮影した映像に対して画像認識技術を用いて移動体を抽出し、カメラ間で照合する。そして、その移動体の移動経路を求め、制限エリアへの侵入有無を判定し、監視員にアラーム表示する。制限エリアへのアクセス権限有無は、カード認証など個人特定手段とカメラ監視を組合わせて追跡することで判断する。また、移動軌跡・経路を分析することで不審者であるかどうかを判定し、同様にアラーム警告を発する。上記処理の基本として監視空間データベースを構築し、それを中継して処理を実施する。」と記載されている（要約参照）。

特開２００６－１４６３７８号公報

　特許文献１では、制限エリアへの進入の有無の判定結果に基づき監視員にアラーム表示する。すなわち、一箇所のみの安全性に関する情報に基づきアラーム表示するか否かを判定している。このため、特許文献１の技術では、安全性判定の精度が低下するという課題がある。例えば、一定の範囲を一度に検査するような装置（例えば、ガス探知センサ）であり、このような装置が危険性の高い情報を検出した場合、当該装置の付近にいた全ての対象にアラーム表示することとなり、安全性判定の精度が低下する。

　そこで、本発明は、安全性判定にかかる時間を短縮し、かつ、精度よく安全性を判定できる安全性判定システムを提供することを目的とする。

　上記課題を解決するために、本発明では、移動体の安全性に関する安全性情報を取得する複数のセンサと、前記複数のセンサの周辺の領域を撮影する複数の監視カメラと、検査対象を撮影する検査用カメラと、前記複数の監視カメラによって撮影された監視画像の特徴量を算出する第１画像特徴量算出部と、前記第１画像特徴量算出部によって算出された監視画像の特徴量と、当該監視画像を撮影した監視カメラの識別情報と、当該監視画像の撮影時刻と、が対応付けて登録される特徴量保存情報と、前記複数のセンサが取得した安全性情報と、当該情報を取得したセンサの識別情報と、当該情報の取得時刻と、が対応付けて登録されるセンサ保存情報と、前記センサの識別情報と、当該センサの周辺の領域を撮影する監視カメラの識別情報とが対応付けられ、前記検査用カメラによって撮影された検査画像の特徴量を算出する第２画像特徴量算出部と、前記第２画像特徴量算出部によって算出された特徴量と、前記特徴量保存情報に記憶された特徴量とを比較することによって、前記特徴量保存情報から、前記検査画像と類似する前記監視画像を撮影した監視カメラの識別情報及び撮影時刻を取得する特徴量比較部と、前記センサ保存情報から、前記特徴量比較部が取得した監視カメラの識別情報に対応付けられたセンサの識別情報及び前記特徴量比較部が取得した撮影時刻に対応する取得時刻の安全性情報を取得するデータ取得部と、前記データ取得部が取得した安全性情報に基づいて、前記検査用カメラによって撮影された検査対象の安全性を判定する安全性判定部と、を備えることを特徴とする。

　本発明によれば、安全性判定にかかる時間を短縮し、かつ、精度よく安全性を判定できる安全性判定システムを提供できる。

　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１の安全性判定システムの概略の説明図である。 実施例１の安全性判定システムの構成図である。 実施例１の検査装置の機能ブロック図である。 実施例１の追跡用特徴量保存テーブルの説明図である。 実施例１のセンサ判別情報保存テーブルの説明図である。 実施例１の追跡用特徴量算出部の機能ブロック図である。 実施例１の背景差分算出部及びブロック分割部の差分算出処理の説明図である。 実施例１のデータ検索部の詳細な説明図である。 実施例１の安全性判定部の機能ブロック図である。 実施例１の重みテーブルの説明図である。 実施例１の端末のディスプレイに表示される安全性情報提示画面の説明図である。 実施例１の安全性判定用情報登録処理のフローチャートである。 実施例１の安全性検査処理のフローチャートである。 実施例２の検査装置の機能ブロック図である。 実施例２の安全性判定部の機能ブロック図である。 実施例２のセンサ種類重みテーブルの説明図である。 実施例３の追跡用特徴量算出部の機能ブロック図である。 実施例３の追跡用特徴量保存テーブルの説明図である。

　以下、図面を参照しつつ、本発明を実施するための形態を説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。また、各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略されている。

　以下、実施例１を図１～図１３を用いて説明する。

　図１は、実施例１の安全性判定システムの概略の説明図である。

　図１では、検査装置１０３は、検査対象１０１及び１０２の安全性を検査する。検査対象１０１及び１０２は、検査用カメラ１０４によって撮影される。検査装置１０３は、検査用カメラ１０４によって撮影された画像に基づいて安全性を判定し、判定結果を表示する。例えば、図１では、検査用カメラ１０４によって撮影された画像がディスプレイに表示され、当該画像上に安全（ｓａｆｅ）１０５か危険（ｄａｎｇｅｒ）１０６かを判定結果として表示する。図１では、検査対象１０１が安全１０５と判定され、検査対象１０２が危険１０６と判定される。監視員は、危険と判定された検査対象１０２に詳細な検査を実施することによって、効率的な検査を実施できる。

　検査装置１０３による安全性判定処理の概略を１０７に示す。検査用カメラ１０４が検査対象を撮影する場所を検査エリアという。検査対象者は、検査エリアに到着する前に、施設内の各地点に設置された複数の監視カメラ１１０によって撮影され、撮影された画像は後述する追跡用特徴量保存テーブル３０１（図４参照）に登録される。また、施設内には複数のセンサ１１１～１１３及び１１７～１１９が設置されており、各センサが各時刻において取得した情報は、後述するセンサ判別情報保存テーブル３０６（図５参照）に登録される。センサは、検査対象の安全性に関する情報（安全性情報）を取得可能な装置であればよく、例えば、金属探知センサ、ガス探知センサ、人物認証装置、及び不審人物検出装置等であればよい。実施例１では、金属探知センサを例に説明する。また、検査対象は、人だけに限定されず、移動体であればよく、人及び人が携帯するバッグ等も検査対象となる。監視カメラ１１０は、センサの周辺の領域を撮影するものであり。センサの識別情報と当該センサの周辺の領域の監視カメラ１１０の識別情報とは対応付けられている。本実施例では、センサの識別情報及び監視カメラ１１０の識別情報として位置情報が用いられるが、センサの識別情報及び監視カメラ１１０の識別情報は位置情報に限定されないものとする。

　検査装置１０３は、検査用カメラ１０４が撮影した画像に基づいて、施設内の監視カメラ１１０によって撮影された過去の画像を検索することによって、検査対象者の移動軌跡を検出する。図１に示す検査対象１０１の詳細情報１０８では、検査対象１０１は移動軌跡１０９を辿り、検査対象１０２の詳細情報１０８では、検査対象１０２は移動軌跡１１６を辿る。

　次に、検査装置１０３は、センサ判別情報保存テーブル３０６を参照し、検出した移動軌跡に対応する各センサが取得した安全性情報を取得し、取得した安全性情報に基づいて、検査対象者の安全性を判定する。

　例えば、図１では、検査対象１０２の移動軌跡１１６上の全てのセンサ１１７～１１９で危険性が検出されているので、検査対象１０２は危険１０６と判定される。また、検査対象１０１の移動軌跡１０９上のセンサ１１１で危険性が検出されているが、その他のセンサ１１２及び１１３では危険性が検出されていない。この場合、センサ１１１は検査対象１０１以外の人の危険性を検出したものと考えられるので、検査対象１０１は安全１０５と判定される。

　図２は、実施例１の安全性判定システムの構成図である。

　安全性判定システムは、監視カメラ群１２０３、センサ群１２０４、検査装置１０３、検査用カメラ１０４、及び端末１２０２を備える。図１では、検査装置１０３が、検査用カメラ１０４によって撮影された検査対象が安全か否かを判定する安全性判定処理を実行し、安全性判定処理結果を自身のディスプレイに表示する。しかし、図２では、検査装置１０３が安全判定処理を実行し、安全判定処理結果が端末１２０２のディスプレイ１２０８に表示される例について説明する。なお、図１のように、検査装置１０３が安全判定処理結果を表示してもよい。

　検査装置１０３は、ネットワーク１２０５を介して監視カメラ群１２０３及びセンサ群１２０４に接続され、ネットワーク１２１０を介して検査用カメラ１０４及び端末１２０２に接続される。監視カメラ群１２０３は図１で説明した複数の監視カメラ１１０を含み、センサ群１２０４は図１で説明したセンサ１１１～１１３及び１１７～１１９を含む。

　また、監視カメラ群１２０３はネットワーク１２０５を介して録画装置１２０６に接続され、録画装置１２０６は検査装置１０３に接続される。録画装置１２０６は、監視カメラ群１２０３によって撮影された画像を保存する装置であり、検査装置１０３は、監視カメラ群１２０３から画像を直接取得する代わりに、録画装置１２０６に保存された画像を取得してもよい。

　検査装置１０３は、画像取得部２０３及び２０９、追跡用特徴量算出部２０４及び２１０、センサ判別情報取得部２０５、データ保存部２０６、追跡用特徴量保存テーブル３０１、センサ判別情報保存テーブル３０６、データ検索部２１１、安全性判定部２１２、並びに情報提示部２１３を有する。

　検査装置１０３は、監視カメラ群１２０３によって撮影された画像及びセンサ群１２０４によって取得されたセンサ判別情報（安全性情報）を取得する。そして、検査装置１０３は、取得した画像に基づいて算出した特徴量を追跡用特徴量保存テーブル３０１に登録し、取得したセンサ判別情報をセンサ判別情報保存テーブル３０６に登録する。また、検査装置１０３は、追跡用特徴量保存テーブル３０１及びセンサ判別情報保存テーブル３０６を参照し、検査用カメラ１０４によって撮影された検査対象の安全性を判定し、判定結果を端末１２０２に送信する。

　なお、検査装置１０３が有する各部の詳細については、図３で説明する。

　端末１２０２は、安全性情報提示画面取得部１２０９及びディスプレイ１２０８を有する。安全性情報提示画面取得部１２０９は、検査装置１０３から判定結果を含む安全性情報提示画面情報を取得し、取得した安全性情報提示画面情報に基づいて安全性情報提示画面１１００（図１１参照）をディスプレイ１２０８に表示する。

　図３は、実施例１の検査装置１０３の機能ブロック図である。

　図２に示す追跡用特徴量保存テーブル３０１及びセンサ判別情報保存テーブル３０６は、検査装置１０３が有する図３に示す記録媒体２０７に格納される。なお、画像取得部２０３及び２０９、追跡用特徴量算出部２０４及び２１０、センサ判別情報取得部２０５、データ保存部２０６、データ検索部２１１、安全性判定部２１２、並びに情報提示部２１３に対応するプログラムは検査装置１０３が有する図示しないメモリに格納され、検査装置１０３が有する図示しないプロセッサがこれらのプログラムを実行することによって、これらを検査装置１０３に実装する。

　画像取得部２０３は、監視カメラ群１２０３の複数の監視カメラ１１０によって撮影された画像を取得し、取得した画像を追跡用特徴量算出部２０４に入力する。追跡用特徴量算出部２０４は、画像取得部２０３から入力された画像の特徴量を算出し、算出した特徴量をデータ保存部２０６に入力する。この特徴量は、検査対象を過去の位置を追跡するために使用される。特徴量は、例えば、画像から色情報を抽出し、抽出した色情報毎の出現頻度を算出することによってカラーヒストグラム等によって表現される。

　センサ判別情報取得部２０５は、センサ群１２０４の複数のセンサから安全性情報（判別結果情報）を取得し、取得した安全性情報をデータ保存部２０６に入力する。安全性情報は、例えば、センサが金属探知センサであれば、金属を探知した時刻及び金属の探知強度等を含む。

　データ保存部２０６には、追跡用特徴量算出部２０４によって算出された特徴量に加えて、特徴量の算出に用いた画像、当該画像の撮影時刻、及び当該画像を撮影した監視カメラの設置地点に関する情報（位置情報）が追跡用特徴量算出部２０４から入力され、データ保存部２０６は、入力されたこれらの情報を紐付けて、記録媒体２０７の追跡用特徴量保存テーブル３０１に登録する。また、データ保存部２０６には、センサ判別情報取得部２０５から安全性情報に加えて、安全性情報の取得時刻、及び安全性情報を取得したセンサの設置地点に関する情報（位置情報）が入力され、データ保存部２０６は、入力されたこれらの情報を紐付けて、記録媒体２０７のセンサ判別情報保存テーブル３０６に登録する。

　画像取得部２０９は、検査用カメラ１０４によって撮影された画像を取得し、取得した画像を追跡用特徴量算出部２１０に入力する。なお、画像取得部２０３及びセンサ判別情報取得部２０５の取得処理は、端末１２０２を操作する監視員からの取得処理開始の旨の操作の入力を受け付けたことをトリガーとしてもよいし、検査用カメラ１０４等からの信号の入力をトリガーとしてもよい。

　追跡用特徴量算出部２１０は、画像取得部２０９から入力された検査用カメラ１０４の画像の特徴量を算出し、算出した特徴量をデータ検索部２１１に入力する。なお、追跡用特徴量算出部２１０の特徴量の算出処理は追跡用特徴量算出部２０４の特徴量の算出処理と同じである。追跡用特徴量算出部２０４及び２１０の特徴量の算出処理は、図６及び図７で詳細を説明する。追跡用特徴量算出部２１０によって算出された特徴量は、追跡用特徴量保存テーブル３０１に登録された監視カメラ１１０の画像の特徴量と比較することによって、検査対象の過去の位置を算出するために使用される。

　データ検索部２１１は、追跡用特徴量算出部２１０から入力された特徴量（検査画像特徴量）と、追跡用特徴量保存テーブル３０１に登録された特徴量（監視画像特徴量）とを比較し、検査画像特徴量との一致度が所定値以上の監視画像特徴量に紐付けられた撮影時刻及び位置情報等を取得する。そして、データ検索部２１１は、センサ判別情報保存テーブル３０６から、取得した撮影時刻及び位置情報に対応するセンサの安全性情報を取得し、取得した安全性情報を安全性判定部２１２に入力する。なお、データ検索部２１１の処理の詳細は、図８で説明する。

　安全性判定部２１２は、データ検索部２１１から入力された安全性情報に基づいて検査対象が安全か否かを判定し、判定結果を情報提示部２１３に入力する。安全性判定部２１２の詳細の詳細は、図９及び図１０で説明する。

　情報提示部２１３は、安全性判定部２１２から入力された判定結果を監視員に提示可能な情報に加工した安全性情報提示画面情報を端末１２０２に送信する。

　図４は、実施例１の追跡用特徴量保存テーブル３０１の説明図である。

　追跡用特徴量保存テーブル３０１は、撮影時刻４０１、特徴量４０２、位置情報４０３、及び画像４０４を含み、撮影時刻４０１、特徴量４０２、位置情報４０３、及び画像４０４に登録される情報は、それぞれ紐付けられて追跡用特徴量保存テーブル３０１に登録される。

　撮影時刻４０１には、追跡用特徴量算出部２０４によって特徴量が算出された画像の撮影時刻が登録される。特徴量４０２には、追跡用特徴量算出部２０４によって算出された特徴量が登録される。位置情報４０３には、追跡用特徴量算出部２０４によって特徴量が算出された画像の位置情報が登録される。画像４０４には、追跡用特徴量算出部２０４によって特徴量が算出された画像が登録される。

　図５は、実施例１のセンサ判別情報保存テーブル３０６の説明図である。

　センサ判別情報保存テーブル３０６は、取得時刻５０１、信号強度５０２、及び位置情報５０３を含み、取得時刻５０１、信号強度５０２、及び位置情報５０３に登録される情報は、それぞれ紐付けられてセンサ判別情報保存テーブル３０６に登録される。

　取得時刻５０１には、センサが安全性情報を取得した時刻が登録される。信号強度５０２には、センサが取得した安全性情報が登録される。本実施例では、センサが例えば金属探知センサである場合を想定しているため、信号強度５０２には、安全性情報として金属探知センサの信号強度が登録される。位置情報５０３には、安全性情報を取得したセンサの位置情報が登録される。

　追跡用特徴量保存テーブル３０１とセンサ判別情報保存テーブル３０６とは、撮影時刻４０１、取得時刻５０１、並びに位置情報４０３及び５０４によって互いに対応付けられている。これによって、データ検索部２１１は、検査画像特徴量と検査画像特徴量との一致度が所定値以上の監視画像特徴量に紐付けられた撮影時刻及び位置情報等を追跡用特徴量保存テーブル３０１から取得し、センサ判別情報保存テーブル３０６から取得した撮影時刻及び位置情報に対応するセンサの安全性情報を取得することができ、二つのテーブル間で相互にデータを参照できる。

　なお、位置情報が同じである監視カメラ１１０とセンサとの関係は、当該監視カメラ１１０が当該センサ付近の領域を撮影する関係である。このように、本実施例では、あるセンサと当該センサ付近の領域を撮影する監視カメラとの関係は、位置情報によって対応付けられているが、このような関係の監視カメラ１１０とセンサとが対応付けることができれば、これに限定されない。例えば、センサの識別情報と当該センサの周辺の領域を撮影する監視カメラ１１０の識別情報とが対応付けられていれば、追跡用特徴量保存テーブル３０１は位置情報４０３を含む代わりに監視カメラ１１０の識別情報を含めばよく、センサ判別情報保存テーブル３０６は位置情報５０３を含む代わりにセンサの識別情報を含めばよい。

　また、データ保存部２０６によって登録される追跡用特徴量保存テーブル３０１及びセンサ判別情報保存テーブル３０６に登録される情報は、所定のタイミングで削除可能である。これによって、記録媒体２０７の容量を削減できる。例えば、現在時刻より所定時間以上前の撮影時刻及び取得時刻の情報は、安全性判定処理に使用しないものとして、削除されてもよい。また、例えば、検査エリアに近いセンサの安全性情報に関する情報及び監視カメラ１１０の画像に関する情報の各テーブルへの保存時間を、検査エリアに遠いセンサの安全性情報に関する情報及び監視カメラ１１０の画像に関する情報の各テーブルへの保存時間より短くする等、監視カメラ１１０及びセンサの設置位置に応じて、追跡用特徴量保存テーブル３０１及びセンサ判別情報保存テーブル３０６への保存時間が変更されるようにしてもよい。

　図６は、実施例１の追跡用特徴量算出部２０４及び２１０の機能ブロック図である。

　追跡用特徴量算出部２０４及び２１０は、背景差分算出部６０１、ブロック分割部６０２、及びカラーヒストグラム算出部６０３を有する。

　追跡用特徴量算出部２０４及び２１０に入力された画像は、背景差分算出部６０１に入力される。背景差分算出部６０１は、入力された画像と予め設定された背景画像との差分を算出することによって、算出した差分の領域を抽出し、抽出した領域をブロック分割部６０２に入力する。ブロック分割部６０２は、入力された領域を所定のブロック領域に分割し、分割したブロック領域をカラーヒストグラム算出部６０３に入力する。カラーヒストグラム算出部６０３は、入力された各ブロック領域のカラーヒストグラムを各ブロック領域の特徴量として算出する。

　図７は、実施例１の背景差分算出部６０１及びブロック分割部６０２の差分算出処理の説明図である。背景差分算出部６０１には、図７に示す背景画像７０１が予め設定されている。背景差分算出部６０１に図７に示す画像７０２が入力されると、背景画像７０１との差分として矩形領域７０３を抽出し、矩形領域７０３をブロック分割部６０２に入力する。これによって、背景差分算出部６０１は、監視カメラ１１０又は検査用カメラ１０４によって撮影された画像において背景画像から変化があった領域を抽出できる。

　ブロック分割部６０２は、入力された矩形領域７０３をブロック７０４に分割し、分割したブロック７０４の領域をカラーヒストグラム算出部６０３に入力する。

　このように、領域７０３全体の特徴量だけでなく、領域７０３のブロック７０４毎の特徴量が算出され、検査対象の一部が隠れている場合等に有効な追跡が可能となる。

　図８は、実施例１のデータ検索部２１１の詳細な説明図である。

　データ検索部２１１は、特徴量比較部８０１、データ取得部８０５、及び結果出力部８１０を有する。特徴量比較部８０１は、追跡用特徴量算出部２１０から入力された検査画像の特徴量と、追跡用特徴量保存テーブル３０１に登録された監視画像の特徴量とを比較し、追跡用特徴量保存テーブル３０１から、入力された検査画像の特徴量と類似度の高い監視画像の特徴量のレコードを特定する。そして、特徴量比較部８０１は、特定したレコードの撮影時刻４０１に登録された撮影時刻及び位置情報４０３に登録された位置情報を取得し、取得した撮影時刻及び位置情報をデータ取得部８０５に入力する。

　例えば、特徴量がベクトルで表現できる場合、特徴量比較部８０１は、検査画像の特徴量のベクトルと監視画像の特徴量のベクトルとのユークリッド距離を算出し、算出したユークリッド距離が所定値以下となる監視画像の特徴量を、検査画像の特徴量と類似するものと特定してもよい。

　図８では、特徴量比較部８０１は、地点Ａの監視カメラ１１０の撮影時刻８０３Ａ～８０３Ｅを取得し、地点Ｂの監視カメラ１１０の撮影時刻８０４Ａ～８０４Ｃを取得したものとし、これらを地点毎に時系列順にプロットする。これによって、特徴量比較部８０１は、検査対象がどの時刻にどの地点の監視カメラ１１０に撮影されていたかを抽出でき、検査対象の過去の移動軌跡を追跡できる。

　次に、データ取得部８０５は、センサ判別情報保存テーブル３０６を参照し、特徴量比較部８０１が抽出した検査対象の移動軌跡に基づいて、各地点に設置されたセンサの安全性情報を取得する。具体的には、データ取得部８０５は、センサ判別情報保存テーブル３０６の位置情報５０３に登録された位置情報が特徴量比較部８０１が取得した位置情報と一致し、かつ、取得時刻５０１に登録された取得時間が特徴量比較部８０１が取得した位置情報と撮影時間の前後の所定の範囲の時間帯に含まれるレコードを特定する。そして、データ取得部８０５は、特定したレコードの信号強度５０２に登録された安全性情報を取得する。

　図８では、地点Ａのセンサが取得した安全性情報のうち、特徴量比較部８０１が取得した地点Ａの監視カメラ１１０の撮影時刻８０３Ａ～８０３Ｃに基づく時間帯８０６の安全性情報、及び撮影時刻８０３Ｄ及び８０３Ｅに基づく時間帯８０７の安全性情報がデータ取得部８０５によって取得される。また、地点Ｂのセンサが取得した安全性情報のうち、特徴量比較部８０１が取得した地点Ｂの監視カメラ１１０の撮影時刻８０４Ａに基づく時間帯８０８の安全性情報、及び撮影時刻８０４Ｂ及び８０４Ｃに基づく時間帯８０９の安全性情報がデータ取得部８０５によって取得される。

　次に、データ取得部８０５は、取得した安全性情報を結果出力部８１０に入力する。結果出力部８１０は、入力された安全性情報に基づいて検索結果８１１を生成し、検索結果８１１を安全性判定部２１２に入力する。検索結果８１１は、時刻、センサの位置情報、信号強度、及び類似度を含む。時刻は、安全性情報を取得した時間帯の開始時刻から終了時刻までの平均時刻である。センサの位置情報は、安全性情報を取得したセンサの位置情報である。強度は、取得した安全性情報の例えば平均値である。類似度は、安全性情報を取得したセンサに対応する監視カメラが安全性情報の取得時間帯に対応する撮影時刻に撮影した監視画像の特徴量の検査画像の特徴量に対する類似度である。

　なお、図８では、特徴量比較部８０１が追跡用特徴量保存テーブル３０１に登録された全ての特徴量と検査画像の特徴量とを比較したが、検査対象が検査エリアに来た時刻（検査用カメラ１０４の撮影時刻）から所定時間以内に撮影された監視画像の特徴量のみを検査画像の特徴量と比較してもよい。また、検査画像の特徴量との比較に用いる監視画像の数を、検査エリアから監視カメラの位置に応じて変更してもよい。例えば、検査エリアに近い場所に位置する監視カメラ１１０の監視画像が比較対象となる時間を、検査エリアに遠い場所に位置する監視カメラの監視カメラ１１０の監視画像が比較対象となる時間よりも短くしてもよい。

　以上によって、監視カメラ１１０によって撮影された監視画像とセンサによって取得された安全性情報とを連動させずに個別に記憶し、後に検査画像に類似する監視画像を検索することによって、検査対象の移動軌跡を追跡し、当該移動軌跡に対応するセンサの安全性情報を取得する。これによって、検査対象が過去に付近に位置したセンサの安全性情報を取得でき、これらの安全性情報に基づいて検査対象の安全性を判定できる。このため、検査対象以外の対象が要因となり、一箇所のセンサが危険であることを示す安全性情報が取得された場合であっても、他の箇所のセンサの安全性情報が危険でない場合には、当該検査対象を安全と判定でき、安全性判定の精度を向上させることができる。また、信号強度の低い安全性情報が取得された場合であっても、当該安全性情報を取得できる。

　なお、本実施例では、センサが取得した安全性情報を逐次センサ判別情報保存テーブル３０６に登録される場合について説明したが、これに限定されない。例えば、センサが安全性情報である信号強度が所定値以上である場合にアラーム情報を検査装置１０３に送信する場合、検査装置１０３はアラームを受信すると、当該時刻に当該センサでアラームが発せられた旨をセンサ判別情報保存テーブル３０６に登録されるようにしてもよい。この場合、データ検索部２１１は、検索結果８１１の強度の代わりに、アラームの有無を示す情報を検索結果８１１に含める。

　図９は、実施例１の安全性判定部２１２の機能ブロック図である。

　安全性判定部２１２は、安全度算出部９０１、重み算出部９０２、重み付け平均算出部９０３、及び判定部９０４を有する。

　安全性判定部２１２は、入力された検索結果８１１に含まれる強度を安全度算出部９０１に入力し、検索結果８１１に含まれる類似度、時刻、及び位置情報を重み算出部９０２に入力する。

　安全度算出部９０１は、入力された各強度に基づいて安全度を算出し、算出した安全度を重み付け平均算出部９０３に入力する。安全度算出部９０１は、例えば、強度が所定値未満である場合、安全度として１を算出し、強度が所定値以上である場合、安全度として０を算出する。安全度が１であれば、対象が安全であることを示し、安全度が０であれば、対象が危険であることを示すとする。

　重み算出部９０２は、図１０に示す重みテーブル１０００を参照し、入力された類似度、時刻、及び位置情報に基づいて重みを算出し、算出した重みを重み付け平均算出部９０３に入力する。例えば、信頼できる安全性情報を重視して安全性が判定できるように重みが設定される。具体的には、類似度が高いほど監視画像に基づいて取得された強度の重みを大きくし、センサの位置情報が検査エリアから近いほど、当該センサが取得した強度の重みを大きくし、時刻が現在時刻に近いほど重みを大きくする。

　ここで、重みテーブル１０００について図１０を用いて説明する。図１０は、実施例１の重みテーブル１０００の説明図である。

　重みテーブル１０００は、類似度１００１、検査エリアからの距離１００２、現在時刻からの差分１００３、及び重み１００４を含む。類似度１００１には類似度の三つの分類「高」、「中」、及び「低」が登録される。検査エリアからの距離１００２には、センサの位置情報から検査エリアまでの距離が所定値（３００ｍ）未満であるか以上であるかの情報が登録される。現在時刻からの差分１００３には、検査結果に含まれる時刻が所定値（６０秒）未満であるか否かの情報、又は全時刻が登録される。重み１００４には、各条件に対応する重みが登録される。

　上記したように、重みテーブル１０００には、類似度が高いほど重みは大きく設定され、検査エリアからの距離が近いほど重みは大きく設定され、現在時刻との差分が小さいほど重みは大きく設定される。

　重み算出部９０２は、重みテーブル１０００に登録されたレコードのうち、入力された類似度、位置情報、及び時刻と一致するレコードを特定し、特定したレコードの重み１００４に登録された重みを算出する。なお、図１０では、類似度、距離、及び現在時刻との差分の三つの条件に基づいて一の重みが特定されるようにしているが、これらの少なくとも一つの条件に基づいて一の重みが特定されればよい。すなわち、類似度、距離、及び現在時刻との差分の少なくとも一つに基づいて重みが特定されればよい。

　次に、重み付け平均算出部９０３は、安全度算出部９０１から入力された各安全度に、重み算出部９０２から入力され、各安全度に対応する重みを乗算し、乗算した値の平均値を算出し、判定部９０４に入力する。

　判定部９０４は、重み付け平均算出部９０３から入力された平均値が所定以上であるか否かを判定し、判定結果を情報提示部２１３に入力する。例えば、判定部９０４によって平均値が所定値以上であると判定された場合、検査対象は安全であることを示し、判定部９０４によって平均値が所定値未満であると判定された場合、検査対象は危険であることを示す。

　図１１は、実施例１の端末１２０２のディスプレイ１２０８に表示される安全性情報提示画面１１００の説明図である。

　安全性情報提示画面１１００は、検査対象画面１１０２及び安全性判定結果画面１１０３を含む。検査対象画面１１０２は検査画像表示領域１１０４を含み、検査画像表示領域１１０４には、検査用カメラ１０４によって撮影された検査対象の画像がリアルタイムで表示される。検査画像表示領域１１０４は、検査画像の特徴量を算出した領域を提示する特徴量算出領域１１０５を含む。なお、図１１では、特徴量算出領域１１０５は点線で区画された領域である。

　安全性判定結果画面１１０３は、安全性判定結果表示領域１１０６、監視画像表示領域１１０７、及び追跡結果表示領域１１０８を含む。安全性判定結果表示領域１１０６には、安全性判定部２１２の判定結果が表示される。監視画像表示領域１１０７には、安全性判定処理に用いた検索結果８１１に対応する監視画像が表示される。追跡結果表示領域１１０８には、安全性判定処理に用いた検索結果８１１が表示される。

　なお、監視画像表示領域１１０７に安全性判定処理に用いた検索結果８１１に対応する全ての監視画像が表示できない場合、又は追跡結果表示領域１１０８に安全性判定処理に用いた全ての検索結果８１１が表示できない場合、例えば、所定の優先順序に基づいて検索結果８１１又は当該検索結果８１１に対応する監視画像が表示されるようにしてもよい。例えば、信頼性が高い検索結果８１１を優先して表示してもよい。信頼性の高い順序とは、例えば、強度が大きい順、類似度が高い順、及び現在時刻との差分が小さい順等である。

　以上によって、監視員は、検査対象の安全性を瞬時に視認できる。なお、図１１では、安全判定結果及び検索結果８１１が文字によって表示されるようにしたが、例えば、グラフ等で表示されてもよい。また、安全判定結果に応じて、ディスプレイ１２０８の表示画面全体の色を変更してもよいし、図示しないＬＥＤライト等の色を変更してもよい。

　次に、図１２及び図１３を用いて検査装置１０３の処理について説明する。検査装置１０３の処理は、安全性判定用情報登録処理及び安全性検査処理を含む。安全性判定用情報登録処理は、定期的に実行され、安全性検査処理は、所定のトリガーを検査装置１０３が受け付けたタイミングで実行される。所定のトリガーは、例えば、検査対象が検査エリアに到着した場合、監視員が手動で検査開始指示を端末１２０２に入力した場合、赤外線センサ等が検査用カメラ１０４の前に検査対象が位置することを検出した場合、及び検査エリアに最も近いセンサが作動した場合等がある。

　図１２は、実施例１の安全性判定用情報登録処理のフローチャートである。

　安全性判定用情報登録処理は、監視カメラ１１０によって撮影された画像を取得し、取得した画像の特徴量を追跡用特徴量保存テーブル３０１に登録し、センサによって取得された安全性情報をセンサ判別情報保存テーブル３０６に登録する処理である。

　まず、検査装置１０３は、全ての監視カメラ１１０に対してＳ１２０２～Ｓ１２０４を実行する（Ｓ１２０１）。画像取得部２０３は、監視カメラ１１０から画像を取得する（Ｓ１２０２）。次に、追跡用特徴量算出部２０４は、Ｓ１２０２で取得した画像の特徴量を算出する（Ｓ１２０３）。Ｓ１２０３の処理は、図６及び図７で詳細に説明した。次に、データ保存部２０６は、Ｓ１２０３で取得した特徴量に関する情報を追跡用特徴量保存テーブル３０１に登録する（Ｓ１２０４）。全ての監視カメラ１１０に対してＳ１２０２～Ｓ１２０４が実行されていない場合、検査装置１０３はＳ１２０２に戻る。

　一方、全ての監視カメラ１１０に対してＳ１２０２～Ｓ１２０４が実行された場合、検査装置１０３は、全てのセンサに対してＳ１２０６及びＳ１２０７を実行する（Ｓ１２０５）。センサ判別情報取得部２０５は、センサによって取得された安全性情報を取得し（Ｓ１２０６）、データ保存部２０６は、Ｓ１２０６で取得した安全性情報に関する情報をセンサ判別情報保存テーブル３０６に登録する。全てのセンサに対してＳ１２０６及びＳ１２０７が実行されていない場合、検査装置１０３はＳ１２０６に戻る。全てのセンサに対してＳ１２０６及びＳ１２０７が実行された場合、安全性判定用処理を終了する。

　図１３は、実施例１の安全性検査処理のフローチャートである。

　安全性検査処理は、追跡用特徴量保存テーブル３０１から検査用カメラ１０４によって撮影された検査画像の特徴量に対応する特徴量に紐付けられた撮影時刻及び位置情報を取得し、センサ判別情報保存テーブル３０６を参照し、取得した撮影時刻及び位置情報に対応するセンサが取得した安全性情報を取得し、取得した安全性情報に基づいて安全性を判定する処理である。

　まず、画像取得部２０９は、検査用カメラ１０４から画像を取得する（Ｓ１３０１）。次に、追跡用特徴量算出部２１０は、Ｓ１３０１で取得した画像の特徴量を算出する（Ｓ１３０２）。そして、データ検索部２１１は、データ検索処理を実行する（Ｓ１３０３）。Ｓ１３０３のデータ検索処理は、図８で詳細に説明した。

　次に、安全性判定部２１２は、Ｓ１３０３で検索された全ての検索結果８１１に対してＳ１３０５及びＳ１３０６を実行する（Ｓ１３０４）。安全性判定部２１２の安全度算出部９０１は、処理対象の検索結果８１１に含まれる強度に基づいて安全度を算出する（Ｓ１３０５）。安全性判定部２１２の重み算出部９０２は、処理対象の検索結果８１１に含まれる類似度、位置情報、及び時刻に基づいて、処理対象の検索結果８１１に対応する重みを算出する（Ｓ１３０６）。Ｓ１３０３で検索された全ての検索結果８１１に対してＳ１３０５及びＳ１３０６が実行されていない場合、検査装置１０３は、Ｓ１３０５に戻る。

　そして、Ｓ１３０３で検索された全ての検索結果８１１に対してＳ１３０５及びＳ１３０６が実行された場合、安全性判定部２１２の重み付け平均算出部９０３は、Ｓ１３０５で算出された各安全度にＳ１３０６で算出された各安全度に対応する重みを乗算し、乗算した値の平均値を算出する（Ｓ１３０７）。

　安全性判定部２１２の判定部９０４は、Ｓ１３０７で算出された平均値に基づいて検査対象の安全性を判定する（Ｓ１３０８）。そして、情報提示部２１３は、Ｓ１３０８の判定結果に基づいて端末１２０２に表示する安全性情報提示画面１１００に関する情報を生成し、端末１２０２に送信し（Ｓ１３０８）、安全性検査処理を終了する。

　以上によって、監視カメラ１１０によって撮影された画像の特徴量を予め算出して、追跡用特徴量保存テーブル３０１に登録し、センサによって取得された安全性情報をセンサ判別情報保存テーブル３０６に登録し、センサの識別情報と当該センサの周辺の領域を撮影するカメラの識別情報とを対応付けることによって、検査対象の画像の特徴量と類似する特徴量の時刻及び監視カメラの識別情報から当該監視カメラが撮影していたセンサが取得した安全性情報が取得可能となる。これによって、検査対象が過去に位置した全てのセンサの安全性情報に基づいて検査対象の安全性が判定できるようになり、一つのセンサの安全性情報に基づいて安全性を判定する場合に比べて、安全性判定の精度を向上させることができる。また、監視員は、安全性判定結果に基づいて、検査対象の検査を変更できるので、より効率的な検査が実施される。

　検査対象の安全性の判定は、安全性情報に基づいて検査対象の安全性を数値化した安全度を算出し、これらの安全度を組み合わせて判定される。実施例では、データ取得部８０５が取得した全ての安全性情報の安全度を算出し、算出された安全度の平均値を用いて、検査対象の安全性を判定したが、これ以外の方法を用いてもよく、例えば、算出された安全度の分散を用いてもよい。

　また、上記安全度に重み付けをして検査対象の安全性を判定するため、例えば、信頼性の高い安全性情報を重視して、検査対象の安全性を判定でき、安全性判定の精度を向上させることができる。なお、信頼性が高い安全性情報か否かは、検査用カメラ１０４が設置された検査エリアから各センサまでの距離、現在時刻から安全性情報の取得時刻からの差分、及び検査画像の特徴量と監視画像の特徴量との類似度の少なくとも一つに基づいて決定されるものとし、これらの少なくとも一つに基づいて安全性情報に重み付けがされる。

　実施例２を図１４～図１６を用いて説明する。

　本実施例では、安全性判定部２１２は、類似度、距離、及び現在時刻との差分の他に、センサの種類に基づいて、安全度に重み付けする。

　図１４は、実施例２の検査装置１０３の機能ブロック図である。図１４に示す構成のうち実施例１の図３に示す検査装置１０３と同じ構成は、同じ符号を付与し、説明を省略する。

　本実施例のセンサ群１２０４は複数種類のセンサを含む。例えば、複数種類のセンサは、金属探知センサ１４０１、ガス探知センサ１４０２、人物認証装置１４０３、及び不審人物検出装置１４０４等である。検査装置１０３は、センサ判別情報取得部２０５の代わりに、複数種類のセンサに対応する結果取得部を有する。具体的には、検査装置１０３は、金属探知結果取得部１４０５、ガス探知結果取得部１４０６、人物認証結果取得部１４０７、及び不審人物検出結果取得部１４０８を有する。

　例えば、金属探知センサ１４０１が周辺に金属を探知したときにアラームを報知する装置である場合、金属探知結果取得部１４０５は、金属探知センサ１４０１がアラームを報知するまで待機し、金属探知センサ１４０１がアラームを報知した場合、アラームを報知した旨、アラームの報知時刻、及びアラームを報知した金属探知センサ１４０１の位置情報を取得し、取得したこれらの情報をデータ保存部２０６に入力する。

　例えば、ガス探知センサ１４０２が実施例１で説明したような信号強度を出力する装置である場合、ガス探知結果取得部１４０６は、実施例１と同様に、信号強度、時刻、及び信号強度を取得したガス探知センサ１４０２を取得し、取得したこれらの情報をデータ保存部２０６に入力する。

　人物認証装置１４０３は、顔画像と当該顔画像の人物情報（例えば、名前、性別、年齢、及び国籍等を含む）とが予め登録された顔認証用情報を参照し、人物認証装置１４０３が有するカメラによって撮影された対象の顔画像に対応する顔画像の人物情報を安全性情報として取得し、取得した人物情報を出力する。人物認証結果取得部１４０７は、人物認証装置１４０３から人物情報を取得し、取得した人物情報をデータ保存部２０６に入力する。

　不審人物検出装置１４０４は、不審人物の顔画像と当該不審人物に関する情報（例えば危険度等を含む）とが予め登録された不審人物情報を参照し、不審人物認証装置１４０３が有するカメラによって撮影された対象の顔画像と不審人物の顔画像とが一致する場合、当該不審人物に関する情報を安全性情報として取得し、取得した不審人物に関する情報を出力する。不審人物検出結果取得部１４０８は、不審人物検出装置１４０４から不審人物に関する情報を取得し、取得した不審人物に関する情報をデータ保存部２０６に入力する。

　また、記録媒体２０７には、センサの種類ごとにセンサ判別情報保存テーブル３０６が記憶しており、データ保存部２０６は、各結果取得部１４０５から各センサが取得した安全性情報が入力された場合、入力された安全性情報をセンサの種類に対応するセンサ判別情報保存テーブル３０６に登録する。

　本実施例の検査装置１０３は、検査装置１０３内で統一された時間を管理する統一時刻設定部１４０９を有する。データ保存部２０６は、センサ判別情報保存テーブル３０６に情報を登録する場合に、統一時刻設定部１４０９から時刻情報を取得し、取得した時刻情報が示す時刻を取得時刻としてセンサ判別情報保存テーブル３０６に登録する。これによって、センサ間で時刻情報がずれていても、センサ判別情報保存テーブル３０６に登録される時刻が不一致となることを防止できる。

　図１５は、実施例２の安全性判定部２１２の機能ブロック図である。図１５に示す構成のうち実施例１の図９に示す安全性判定部２１２と同じ構成は、同じ符号を付与し、説明を省略する。

　安全性判定部２１２は、実施例１と同様に、安全度算出部９０１、重み算出部９０２、重み付け平均算出部９０３、及び判定部９０４を有する。安全度算出部９０１は、データ検索部２１１の検索結果８１１に基づいて、センサの種類毎に安全度を算出する。このため、安全度算出部９０１は、金属探知センサ用安全度算出部１５０１、ガス探知センサ用安全度算出部１５０２、人物認証装置用安全度算出部１５０３、及び不審人物検出装置用安全度算出部１５０４を有する。

　金属探知センサ用安全度算出部１５０１は、金属探知センサ１４０１がアラームを報知していた場合、安全度として０を算出し、金属探知センサ１４０１がアラームを報知していない場合、安全度として１を算出する。

　ガス探知センサ用安全度算出部１５０２は、強度が所定値未満である場合、安全度として１を算出し、強度が所定値以上である場合、安全度として０を算出する。

　人物認証装置用安全度算出部１５０３は、過去の犯罪者の履歴等から把握される傾向に基づいて、人物情報に含まれる名前、性別、年齢、及び国籍等から当該人物が安全か危険かを判定し、安全であれば安全度として１を算出し、危険であれば安全度として０を算出する。なお、安全度は１と０の二値ではなく、０．５等の中間値であってもよい。

　不審人物検出装置用安全度算出部１５０４は、不審人物が検出されていない場合、安全度として０を算出し、不審人物が検出されている場合、安全度として１を算出する。

　重み算出部９０２は、データ検索部２１１の検索結果８１１に基づいて、センサの種類毎に算出された安全度に重み付けをする。重み算出部９０２は、金属探知センサ用重み算出部１５０５、ガス探知センサ用重み算出部１５０６、人物認証装置用重み算出部１５０７、及び不審人物検出装置用重み算出部１５０８を有する。

　本実施例では、検査装置１０３は、センサの種類毎に図１０で説明した重みテーブル１０００を保持しており、センサの種類に対応する重み算出部１５０５～１５０８は、センサの種類に対応する重みテーブル１０００を参照することによって重みを特定し、特定した重みを装置別重み乗算部１５０９に入力する。

　装置別重み乗算部１５０９は、検査装置１０３が保持するセンサ種類重みテーブル１６００を参照し、センサの種類に対応する重みを特定し、入力された重みに特定したセンサの種類に対応する重みを乗算し、乗算した値を重み付け平均算出部９０３に入力する。

　図１６は、実施例２のセンサ種類重みテーブル１６００の説明図である。

　センサ種類重みテーブル１６００には、センサの種類に対応する重みが登録される。センサ種類重みテーブル１６００は、判定用センサ１６０１及び重み１６０２を含む。判定用センサ１６０１にはセンサの種類の識別情報が登録され、重み１６０２には各センサの種類に対応する重みが登録される。例えば、金属探知センサ１４０１は対象が装着する金属製のベルト等にも反応してアラームを報知するため、アラームの報知があった場合であっても対象が一概に危険であるわけではない。一方、ガス探知センサ１４０２が取得する強度が所定値以上となった場合、ガス探知センサ１４０２の周辺の領域にガスが検出されており、非常に危険な状態である。本実施例では、ガス探知センサ１４０２に重み「１．０」が設定され、人物認証装置１４０３に重み「０．７５」が設定され、金属探知センサ１４０１及び不審人物検出装置１４０４に重み「０．５」が設定され、ガス探知センサ１４０２の重みが、金属探知センサ１４０１の重みより大きく設定される。このように、センサの種類毎に重みが設定されるため、各種類のセンサが取得する安全性情報が有する危険度に応じて、対象の安全性を判定できる。

　本実施例では、対象が各センサ付近を通過した場合に各センサが必ず安全性判定情報を取得し、取得した安全性判定情報を出力することを前提しているが、例えば、不審人物検出装置１４０４は、対象の位置等の影響により、対象が不審者か否かを正しく判定できない可能性がある。このため、不審人物検出装置１４０４によって一度不審人物と判定された対象は危険であると判定されることが所望される可能性がある。

　この場合において、不審人物検出装置用重み算出部１５０８は、不審人物検出装置用安全度算出部１５０４が算出した安全度を参照し、安全度が所定値未満である場合には、安全度が所定値以上である場合より重みを大きくしてもよい。このように、他の重み算出部１５０５～１５０８も、対応する安全度算出部１５０１～１５０４が算出した安全度が所定値未満である場合には、安全度が所定値以上である場合より重みを大きくしてもよい。

　これによって、安全性情報が一度危険と判定された対象を危険と判定したいセンサと、安全性情報が複数回危険と判定され対象を危険と判定したいセンサとが混在しても、対象の安全性を判定できる。

　本実例では、安全性判定システムは、金属探知センサ１４０１、ガス探知センサ１４０２、人物認証装置１４０３、及び不審人物検出装置１４０４の４種類のセンサを備えることを例示したが、他の種類のセンサを備えてもよい。また、安全性情報を自動で取得するセンサに限らず、警備員による目撃情報が入力され、入力された目撃情報を検査装置１０３に送信する携帯端末もセンサに含まれてもよい。

　以上によって、複数種類のセンサによって取得された安全性情報に対して、センサの種類に対応して重み付けをして、検査対象の安全性を判定できる。また、本実施例では、複数種類のセンサによって取得された安全性情報を統合して検査対象の安全性を判定するが、センサの種類ごとの安全性情報に基づいて検査対象の安全性を判定し、センサの種類ごとに判定結果を提示してもよい。

　実施例３を図１７及び図１８を用いて説明する。

　本実施例では、追跡用特徴量算出部２０４は、前回撮影された監視画像の人物領域と今回撮影された監視画像の人物領域とを対応付けることによって、監視画像内の対象を時系列でトラッキングする。

　図１７は、実施例３の追跡用特徴量算出部２０４の機能ブロック図である。図１７に示す構成のうち実施例１の図６に示す追跡用特徴量算出部２０４と同じ構成は、同じ符号を付与し、説明を省略する。

　本実施例の追跡用特徴量算出部２０４は、人物領域検出部１７０１、対象トラッキング部１７０２、トラッキングＩＤ生成部１７０３、ブロック分割部６０２、及びカラーヒストグラム算出部６０３を有する。

　人物領域検出部１７０１は、監視画像から人物が映っている人物領域を抽出し、抽出した人物領域を対象トラッキング部１７０２に入力する。具体的には、人物領域検出部１７０１は、例えば、予め登録されている人物画像と監視画像とをテンプレートマッチング等を用いて比較することによって、人物画像に対応する領域を人物領域として抽出する。

　対象トラッキング部１７０２は、入力された人物領域と、現在の監視画像のフレームの前の監視画像のフレームで検出された人物領域とを対応付け、対応付けに関する情報をトラッキングＩＤ生成部１７０３に入力し、人物領域をブロック分割部６０２に入力する。人物領域検出部１７０１から複数の人物領域を抽出した場合には、対象トラッキング部１７０２は、直前のフレームの人物領域から現在のフレームの人物領域までの動き量を算出し、動き量が最小となる現在のフレームの人物領域と直前のフレームの人物領域とを対応付ける。この場合、直前のフレームで人物領域が検出されていない場合、又は動き量が所定値以上となる場合、対象トラッキング部１７０２は、対応する人物領域がない旨をブロック分割部６０２及びトラッキングＩＤ生成部１７０３に入力する。

　トラッキングＩＤ生成部１７０３は、対象トラッキング部１７０２から入力された対応付けに関する情報に基づいて、トラッキングＩＤを現在のフレームの人物領域に付与する。直前のフレームと現在のフレームとの間で同一の対象に同一のトラッキングＩＤが付与されることによって、これらのフレームを時系列で対応付けることができる。

　対象トラッキング部１７０２によって現在のフレームの人物領域と直前のフレームの人物領域とが対応付けられた場合、トラッキングＩＤ生成部１７０３は、直前のフレームの人物領域に付与されたトラッキングＩＤと同一のトラッキングＩＤを現在のフレームの人物領域に付与する。一方、対象トラッキング部１７０２が対応する人物領域がないと判定した場合、トラッキングＩＤ生成部１７０３は、一意なトラッキングＩＤを生成し、生成したトラッキングＩＤを現在のフレームの人物領域に付与する。トラッキングＩＤ生成部１７０３は、例えば、数字からなるトラッキングＩＤを用いて、現時点までに生成されたトラッキングＩＤの最大値に１を加算した値をトラッキングＩＤとして生成する。

　トラッキングＩＤは、人物領域検出部１７０１によって抽出された人物領域に紐付けられて、追跡用特徴量保存テーブル３０１に登録され、次のフレームが追跡用特徴量算出部２０４に入力された場合に利用される。

　ブロック分割部６０２は入力された人物領域をブロックに分割し、カラーヒストグラム算出部６０３は、特徴量を算出し、算出した特徴量をデータ保存部２０６に入力する。この場合、トラッキングＩＤ生成部１７０３によって生成されたトラッキングＩＤが特徴量と紐付けられてデータ保存部２０６に入力される。

　データ保存部２０６は、入力された特徴量及びトラッキングＩＤを追跡用特徴量保存テーブル１８０１に登録する。

　図１８は、実施例３の追跡用特徴量保存テーブル１８０１の説明図である。図１８に示す構成のうち実施例１の図４に示す追跡用特徴量保存テーブル３０１と同じ構成は、同じ符号を付与し、説明を省略する。

　追跡用特徴量保存テーブル１８０１は、撮影時刻４０１、特徴量４０２、位置情報４０３、画像４０４、及びトラッキングＩＤ１８０２を含む。トラッキングＩＤ１８０２には、データ保存部２０６に入力されたトラッキングＩＤが登録される。これによって、監視カメラ１１０によって撮影された監視画像の特徴量と、撮影時刻と、監視カメラ１１０の位置情報と、トラッキングＩＤとが紐付けられて登録される。

　次に、本実施例のデータ検索部２１１の処理について説明する。本実施例のデータ検索部２１１の特徴量比較部８０１は、追跡用特徴量保存テーブル３０１から、入力された検査画像の特徴量と類似度の高い監視画像の特徴量のレコードを特定する。さらに、特徴量比較部８０１は、特定したレコードのトラッキングＩＤ１８０２に登録されたトラッキングＩＤと一致するレコードを特定し、これらのレコードの撮影時刻及び位置情報をデータ取得部８０５に入力する。

　これによって、同一のトラッキングＩＤが付与された監視画像の特徴量のいずれか一つが、検査画像の特徴量と類似していれば、同一のトラッキングＩＤが付与された全ての撮影時刻及び位置情報が取得されるため、安全性判定の精度が向上する。例えば対象が途中から向きを変えて歩いている場合等、実施例１の方式に比べて本実施例の方式のほうが検査対象の過去の位置を精度良く抽出できる。

　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＣＩカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (15)

1. 　移動体の安全性に関する安全性情報を取得する複数のセンサと、
   　前記複数のセンサの周辺の領域を撮影する複数の監視カメラと、
   　検査対象を撮影する検査用カメラと、
   　前記複数の監視カメラによって撮影された監視画像の特徴量を算出する第１画像特徴量算出部と、
   　前記第１画像特徴量算出部によって算出された監視画像の特徴量と、当該監視画像を撮影した監視カメラの識別情報と、当該監視画像の撮影時刻と、が対応付けて登録される特徴量保存情報と、
   　前記複数のセンサが取得した安全性情報と、当該情報を取得したセンサの識別情報と、当該情報の取得時刻と、が対応付けて登録されるセンサ保存情報と、
   　前記センサの識別情報と、当該センサの周辺の領域を撮影する監視カメラの識別情報とが対応付けられ、
   　前記検査用カメラによって撮影された検査画像の特徴量を算出する第２画像特徴量算出部と、
   　前記第２画像特徴量算出部によって算出された特徴量と、前記特徴量保存情報に記憶された特徴量とを比較することによって、前記特徴量保存情報から、前記検査画像と類似する前記監視画像を撮影した監視カメラの識別情報及び撮影時刻を取得する特徴量比較部と、
   　前記センサ保存情報から、前記特徴量比較部が取得した監視カメラの識別情報に対応付けられたセンサの識別情報及び前記特徴量比較部が取得した撮影時刻に対応する取得時刻の安全性情報を取得するデータ取得部と、
   　前記データ取得部が取得した安全性情報に基づいて、前記検査用カメラによって撮影された検査対象の安全性を判定する安全性判定部と、を備えることを特徴とする安全性判定システム。
2. 　請求項１に記載の安全性判定システムであって、
   　前記安全性判定部は、
   　前記データ取得部が取得した安全性情報ごとに、当該安全性情報に基づいて前記検査用カメラによって撮影された検査対象の安全性を数値化した安全度を算出し、
   　前記算出した複数の安全度を組み合わせて、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定システム。
3. 　請求項２に記載の安全性判定システムであって、
   　前記安全性判定部は、前記データ取得部が取得した安全性情報を取得したセンサの前記検査用カメラからの距離に基づいて、前記算出した安全度に重み付けをし、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定システム。
4. 　請求項２に記載の安全性判定システムであって、
   　前記安全性判定部は、前記データ取得部が取得した取得時刻と現在時刻との差に基づいて、前記算出した安全度に重み付けをし、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定システム。
5. 　請求項２に記載の安全性判定システムであって、
   　前記複数のセンサは、複数種類のセンサを含み、
   　前記安全性判定部は、前記データ取得部が取得した安全性情報を取得したセンサの種類に基づいて、前記算出した安全度に重み付けをし、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定システム。
6. 　請求項１に記載の安全性判定システムであって、
   　前記第１画像特徴量算出部は、
   　前記監視カメラで今回撮影された監視画像から第１人物領域を抽出し、
   　前記抽出した第１人物領域と当該監視カメラで前回撮影された監視画像の第２人物領域とが対応する場合、前記監視カメラで今回撮影された監視画像と当該監視カメラで前回撮影された監視画像とに同一のトラッキング識別情報を付与し、
   　前記特徴量保存情報には、前記第１画像特徴量算出部によって算出された監視画像の特徴量と、当該監視画像を撮影した監視カメラの識別情報と、当該監視画像の撮影時刻と、前記トラッキング識別情報と、が対応付けて登録されることを特徴とする安全性判定システム。
7. 　請求項６に記載の安全性判定システムであって、
   　前記特徴量比較部は、前記取得した監視カメラの識別情報及び撮影時刻に対応付けられているトラッキング識別情報が付与された監視画像を撮影した監視カメラの識別情報及び撮影時刻も取得することを特徴とする安全性判定システム。
8. 　移動体の安全性に関する安全性情報を取得する複数のセンサ、前記複数のセンサの周辺の領域を撮影する複数の監視カメラ、及び少なくとも一つの検査用カメラに接続され、前記検査用カメラによって撮影された検査対象の安全性を判定する安全性判定装置であって、
   　前記複数の監視カメラによって撮影された監視画像の特徴量を算出する第１画像特徴量算出部と、
   　前記第１画像特徴量算出部によって算出された監視画像の特徴量と、当該監視画像を撮影した監視カメラの識別情報と、当該監視画像の撮影時刻と、が対応付けて登録される特徴量保存情報と、
   　前記複数のセンサが取得した安全性情報と、当該情報を取得したセンサの識別情報と、当該情報の取得時刻と、が対応付けて登録されるセンサ保存情報と、
   　前記センサの識別情報と、当該センサの周辺の領域を撮影する監視カメラの識別情報とが対応付けられ、
   　前記検査用カメラによって撮影された検査画像の特徴量を算出する第２画像特徴量算出部と、
   　前記第２画像特徴量算出部によって算出された特徴量と、前記特徴量保存情報に記憶された特徴量とを比較することによって、前記特徴量保存情報から、前記検査画像と類似する前記監視画像を撮影した監視カメラの識別情報及び撮影時刻を取得する特徴量比較部と、
   　前記センサ保存情報から、前記特徴量比較部が取得した監視カメラの識別情報に対応付けられたセンサの識別情報及び前記特徴量比較部が取得した撮影時刻に対応する取得時刻の安全性情報を取得するデータ取得部と、
   　前記データ取得部が取得した安全性情報に基づいて、前記検査用カメラによって撮影された検査対象の安全性を判定する安全性判定部と、を備えることを特徴とする安全性判定装置。
9. 　請求項８に記載の安全性判定装置であって、
   　前記安全性判定部は、
   　前記データ取得部が取得した安全性情報ごとに、当該安全性情報に基づいて前記検査用カメラによって撮影された検査対象の安全性を数値化した安全度を算出し、
   　前記算出した複数の安全度を組み合わせて、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定装置。
10. 　請求項９に記載の安全性判定装置であって、
    　前記安全性判定部は、前記データ取得部が取得した安全性情報を取得したセンサの前記検査用カメラからの距離に基づいて、前記算出した安全度に重み付けをし、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定装置。
11. 　請求項９に記載の安全性判定装置であって、
    　前記安全性判定部は、前記データ取得部が取得した取得時刻と現在時刻との差に基づいて、前記算出した安全度に重み付けをし、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定装置。
12. 　請求項９に記載の安全性判定装置であって、
    　前記複数のセンサは、複数種類のセンサを含み、
    　前記安全性判定部は、前記データ取得部が取得した安全性情報を取得したセンサの種類に基づいて、前記算出した安全度に重み付けをし、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定装置。
13. 　請求項８に記載の安全性判定装置であって、
    　前記第１画像特徴量算出部は、
    　前記監視カメラで今回撮影された監視画像から第１人物領域を抽出し、
    　前記抽出した第１人物領域と当該監視カメラで前回撮影された監視画像の第２人物領域とが対応する場合、前記監視カメラで今回撮影された監視画像と当該監視カメラで前回撮影された監視画像とに同一のトラッキング識別情報を付与し、
    　前記特徴量保存情報には、前記第１画像特徴量算出部によって算出された監視画像の特徴量と、当該監視画像を撮影した監視カメラの識別情報と、当該監視画像の撮影時刻と、前記トラッキング識別情報と、が対応付けて登録されることを特徴とする安全性判定装置。
14. 　請求項１３に記載の安全性判定装置であって、
    　前記特徴量比較部は、前記取得した監視カメラの識別情報及び撮影時刻に対応付けられているトラッキング識別情報が付与された画像を撮影した監視カメラの識別情報及び撮影時刻も取得することを特徴とする安全性判定装置。
15. 　移動体の安全性に関する安全性情報を取得する複数のセンサ、前記複数のセンサの周辺の領域を撮影する複数の監視カメラ、及び少なくとも一つの検査用カメラに接続される安全性判定装置における前記検査用カメラによって撮影された検査対象の安全性を判定する安全性判定方法であって、
    　前記センサの識別情報と、当該センサの周辺の領域を撮影する監視カメラの識別情報とが対応付けられ、
    　前記方法は、
    　前記安全性判定装置が、前記複数の監視カメラによって撮影された監視画像の特徴量を算出し、
    　前記安全性判定装置が、前記算出された監視画像の特徴量と、当該監視画像を撮影した監視カメラの識別情報と、当該監視画像の撮影時刻と、を対応付けて特徴量保存情報に登録し、
    　前記安全性判定装置が、前記複数のセンサが取得した安全性情報と、当該情報を取得したセンサの識別情報と、当該情報の取得時刻と、を対応付けてセンサ保存情報に登録し、
    　前記安全性判定装置が、前記検査用カメラによって撮影された検査画像の特徴量を算出し、
    　前記安全性判定装置が、前記検査用カメラによって撮影された検査画像の特徴量と、前記特徴量保存情報に記憶された特徴量とを比較することによって、前記特徴量保存情報から、前記検査画像と類似する前記監視画像を撮影した監視カメラの識別情報及び撮影時刻を取得し、
    　前記安全性判定装置が、前記センサ保存情報から、前記取得した監視カメラの識別情報に対応付けられたセンサの識別情報及び前記取得した撮影時刻に対応する取得時刻の安全性情報を取得し、
    　前記安全性判定装置が、前記取得した安全性情報に基づいて、前記検査用カメラによって撮影された検査対象の安全性を判定することを特徴とする安全性判定方法。

Images