JP6210650B2 - 画像検索システム及び画像検索方法 - Google Patents

Description

本発明は、画像検索システム及び画像検索方法に係り、特に、映像監視システムの人物検索のための類似画像検索システムと爆発物探知装置を含むセキュリティシステムとをネットワークで繋ぐことにより、爆発物探知装置による検知結果と類似画像検索システムを利用して特定人物を追跡可能な画像検索システムと画像検索方法に関する。

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人間が訪れる施設や場所には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて警告する、或いは映像を記録するためのものである。

近年、監視カメラ等の撮像装置で撮影され、記録されたデータの中から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。例えば、撮影された映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらの映像を検索可能とする高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。

例えば、複数の監視カメラ等で撮影され或いは記録された映像（動画像）の中から、所望の人物を、画像認識技術等を用いてコンピュータに検索させる人物検索システムが知られる（例えば、特許文献１乃至３参照）。特許文献１は、画像から人物（の顔）が映った部分を切出し、人物を個々に特定するための特徴量として色ヒストグラム等を抽出し、この特徴量が所望の人物のものと類似する場合に同一人物であると推定する、人物検索システムおよび人物検索方法を開示している。

また、ある程度の精度で同一人物であるかどうか判断できるようになると、特許文献２のように、複数の異なるカメラで異なる時刻に撮影された同じ人物を紐付けることによって、１台のカメラによる場合とは比較にならないほど広いエリアで、人物の移動を追跡できるようになり、様々な応用が提案されている。 例えば、特許文献３は、撮影映像を検索して人の移動経路を特定し、その移動経路をセキュリティ管理に用いる画像セキュリティシステムを開示している。

また、世界的にテロの脅威が増している昨今において、爆発物を用いたテロや犯罪を防止するために、爆発物所持者を即座に見つけ出す危険物探知方法の開発が進んでいる。特許文献４には、質量分析計を用いた爆発物探知装置が記載されている。特許文献４の爆発物探知装置では、荷物等から漏れ出した気体をサンプリングプローブにより採取し、それをイオン化して質量分析計を用いて検出することにより、危険物の有無を判定している。また、質量分析計をセキュリティシステムの検出部として使用し、検査スピードや検査の信頼性を向上させる技術は、特許文献５に記載されている。このセキュリティシステムでは、分析部（端末システム）で得られた信号を通信回線により支援システムに送り、支援システムで危険物の有無を判定する。支援システムの判定結果は通信回線により端末システムに送られる。これにより、端末システムを扱う操作者は、特別な知識や訓練が不要となる。

特開２００９−０２７３９３号公報 特許第４７００４７７号公報 特開２０１２−０６８７１７号公報 特開２０００−０２８５７９号公報 特開２００３−０１４６９５号公報

上述した画像検索システムを用いた人物検索機能は、監視カメラ等の撮像装置から得られる映像を基にして特定人物を検索する機能であるが、実際には、何らかの事象が発生した場合に、映像以外の情報をトリガにして検索を行うこととなる。例えば、警備員等が爆発物所持者発見の連絡を受けて、その情報（場所や時間を含む）に基づいて人物検索機能を用いて人物検索を行っている。しかしながら、警備員が爆発物所持者発見の連絡を受けるまでに時間がかかったり、連絡を受けた場合でもすぐに人物検索機能を利用できる環境にいるとは限らなかったりする。そのため、例えば、爆発物探知装置が検知した時刻を用いて即座に人物検索機能を操作するといったように、何らかの事象が発生した場合に、事象が発生するとほぼ同時に事象発生の情報に基づいて人物検索機能を起動できることが求められている。

また、これまで開発されてきた爆発物探知装置は、主に空港や重要施設等の運用を前提に考えられており、比較的少ない人数を検査する目的で装置が考えられていたが、爆発物探知装置を例えば駅などの旅客が大量に利用する大量輸送機関で使用する際には、多くの課題がある。例えば、隠し持っている爆発物を発見する目的で入念に手荷物検査を行うためには、多数の検査員や長時間の検査が必要となり、大量輸送機関の利便性が大幅に損なわれるため非現実的である。そのため、大量の旅客が使用する施設において、爆発物探知装置を用いて短時間での検査を可能とする方法が求められている。

本発明は、このような状況に鑑みてなされたものであり、それぞれ独立して稼動していた類似画像検索技術の応用による画像検索システムと爆発物探知装置によるセキュリティシステムを、ネットワークを介して繋ぐことにより、爆発物探知装置による爆発物所持容疑の対象者発見等の情報に基づいて画像検索システムをより迅速に稼動することができ、大量の旅客の中からより速く的確に爆発物所持者を探し出すことを目的とする。

上記の目的を達成するために、本発明では、画像検索システム及び画像検索方法を以下のように構成した。
本発明の画像検索システムは、撮像した画像データを出力する少なくとも１台の撮像装置と、前記撮像装置より入力された画像データを記録媒体に記録する録画装置と、危険物の探知を行う探知装置と、各装置を相互に接続して通信を行うネットワークとを備えた画像検索システムにおいて、前記探知装置から送信された危険物探知によるアラーム情報を前記ネットワークを介して受信する受信手段と、前記受信手段で受信した前記アラーム情報に含まれるアラーム発報時刻情報に基づき、前記アラーム発報時刻並びに前記アラーム発報時刻前の所定の時間を検索条件として、前記探知装置の周辺に設置された前記撮像装置からの画像データを対象に顔画像検索を行い、危険物所持容疑の対象者を抽出する対象者抽出手段と、前記対象者抽出手段で抽出した危険物所持容疑の対象者をグレイリストに登録するグレイリスト登録手段と、前記グレイリスト登録手段で前記グレイリストに登録された危険物所持容疑の対象者それぞれに対して、前記録画装置に記録された画像データを対象に定期的に類似顔画像検索を実施する対象者検索手段と、を備えることを特徴とする。

さらに、本発明の画像検索システムは、前記対象者検索手段によって前記グレイリストに登録された前記危険物所持容疑の対象者が検索された場合、前記危険物所持容疑の対象者を撮影した前記撮像装置の設置場所の位置情報や前記アラーム発報時刻を画面に表示する対象者情報表示手段と、前記対象者情報表示手段で表示された前記危険物所持容疑の対象者を撮影した前記撮像装置の前記位置情報に基づいて前記危険物所持容疑の対象者が辿った軌跡を地図上に表示する軌跡表示手段と、を備えることを特徴とする。

さらに、本発明の画像検索システムは、前記グレイリストに登録された複数の前記危険物所持容疑の対象者をそれぞれ検索し、複数それぞれの軌跡を同時に表示する複数軌跡表示手段を備えることを特徴とする。

さらに、本発明の画像検索システムは、アラーム発報時刻前後情報と、アラーム発報探知装置近辺情報とを設定し、前記設定した情報に該当する映像全てについて類似顔画像検索を行うことにより、前記検索結果を前記危険物所持容疑の対象者として前記グレイリストに登録し、前記グレイリストに登録した前記危険物所持容疑の対象者について、アラーム情報を発報した場所に設定されたカメラ映像とは別の場所及び別の時刻に撮影された複数の映像を用いて危険物所持者を特定する危険物所持者特定手段を備えることを特徴とする。

さらに、本発明の画像検索システムは、アラーム発報時刻前後情報と、アラーム発報探知装置近辺情報とを設定して行った類似顔画像検索の結果を地図上に表示する検索結果地図表示手段を備えることを特徴とする。

さらに、本発明の画像検索システムは、前記探知装置にゲートを設け、前記ゲートの出入口に人感センサを設置して所定時間内に何人が通過したかを検知し、前記通過した人数情報を前記ネットワークを経由して前記録画装置内の前記録画装置に送信し、前記危険物所持容疑の対象者のグレイリスト化に利用する通過人数計数手段を備えることを特徴とする。

また、本発明の画像検索方法は、撮像した画像データを出力する少なくとも１台の撮像装置と、前記撮像装置より入力された画像データを記録媒体に記録する録画装置と、危険物の探知を行う探知装置と、各装置を相互に接続して通信を行うネットワークとを備えた画像検索システムの画像検索方法であって、前記探知装置から送信された危険物探知によるアラーム情報を前記ネットワークを介して受信する受信ステップと、前記受信ステップで受信した前記アラーム情報に含まれるアラーム発報時刻情報に基づき、前記アラーム発報時刻並びに前記アラーム発報時刻前の所定の時間を検索条件として、前記探知装置の周辺に設置された前記撮像装置からの画像データを対象に顔画像検索を行い、危険物所持容疑の対象者を抽出する対象者抽出ステップと、前記対象者抽出ステップで抽出した危険物所持容疑の対象者をグレイリストに登録するグレイリスト登録ステップと、前記グレイリスト登録ステップで前記グレイリストに登録された危険物所持容疑の対象者それぞれに対して、前記録画装置に記録された画像データを対象に定期的に類似顔画像検索を実施する対象者検索ステップと、を有することを特徴とする。

さらに、本発明の画像検索方法は、前記対象者検索ステップによって前記グレイリストに登録された前記危険物所持容疑の対象者が検索された場合、前記危険物所持容疑の対象者を撮影した前記撮像装置の設置場所の位置情報や前記アラーム発報時刻を画面に表示する対象者情報表示ステップと、前記対象者情報表示ステップで表示された前記危険物所持容疑の対象者を撮影した前記撮像装置の前記位置情報に基づいて前記危険物所持容疑の対象者が辿った軌跡を地図上に表示する軌跡表示ステップと、を有することを特徴とする。

さらに、本発明の画像検索方法は、前記グレイリストに登録された複数の前記危険物所持容疑の対象者をそれぞれ検索し、複数それぞれの軌跡を同時に表示する複数軌跡表示ステップを有することを特徴とする。

さらに、本発明の画像検索方法は、アラーム発報時刻前後情報と、アラーム発報探知装置近辺情報とを設定し、前記設定した情報に該当する映像全てについて類似顔画像検索を行うことにより、前記検索結果を前記危険物所持容疑の対象者として前記グレイリストに登録し、前記グレイリストに登録した前記危険物所持容疑の対象者について、アラーム情報を発報した場所に設定されたカメラ映像とは別の場所及び別の時刻に撮影された複数の映像を用いて危険物所持者を特定する危険物所持者特定ステップを有することを特徴とする。

さらに、本発明の画像検索方法は、アラーム発報時刻前後情報と、アラーム発報探知装置近辺情報とを設定して行った類似顔画像検索の結果を地図上に表示する検索結果地図表示ステップを有することを特徴とする。

さらに、本発明の画像検索方法は、前記探知装置にゲートを設け、前記ゲートの出入口に人感センサを設置して所定時間内に何人が通過したかを検知し、前記通過した人数情報を前記ネットワークを経由して前記録画装置内の前記録画装置に送信し、前記危険物所持容疑の対象者のグレイリスト化に利用する通過人数計数ステップを有することを特徴とする。

また、本発明の録画装置は、ネットワークを介して撮像した画像データを出力する少なくとも１台の撮像装置と危険物の探知を行う探知装置とに接続され、前記撮像装置より入力された画像データを記録媒体に記録する録画装置であって、前記探知装置から送信された危険物探知によるアラーム情報を前記ネットワークを介して受信する受信手段と、前記受信手段で受信した前記アラーム情報に含まれるアラーム発報時刻情報に基づき、前記アラーム発報時刻並びに前記アラーム発報時刻前の所定の時間を検索条件として、前記探知装置の周辺に設置された前記撮像装置からの画像データを対象に顔画像検索を行い、危険物所持容疑の対象者を抽出する対象者抽出手段と、前記対象者抽出手段で抽出した危険物所持容疑の対象者をグレイリストに登録するグレイリスト登録手段と、前記グレイリスト登録手段で前記グレイリストに登録された危険物所持容疑の対象者それぞれに対して、前記録画装置に記録された画像データを対象に定期的に類似顔画像検索を実施する対象者検索手段と、を備えることを特徴とする。

本発明によれば、それぞれ独立して稼動していた類似画像検索技術の応用による画像検索システムと爆発物探知装置によるセキュリティシステムを、ネットワークを介して繋ぐことにより、爆発物探知装置による爆発物所持容疑の対象者発見等の情報に基づいて画像検索システムをより迅速に稼動することができ、大量の旅客の中からより速く的確に爆発物所持者を探し出すことが可能となる。

本発明の一実施形態に係る類似画像検索システムと探知装置を含むセキュリティシステムとをネットワークで繋いだシステム構成を例示する図である。 本発明の一実施形態に係る類似画像検索システムに用いる撮像装置のハードウェア構成を例示する図である。 本発明の一実施形態に係る類似画像検索システムに用いる録画装置のハードウェア構成を例示する図である。 本発明の一実施形態に係る類似画像検索システムに用いる端末装置のハードウェア構成を例示する図である。 第１実施例において、最初の検索キー画像の特徴量を例示する図である。 第１実施例において、検索結果から同一人物を選択する処理によって得られた画像の特徴量を例示する図である。 第１実施例において、検索結果前後の同一人物を選択する処理によって得られた画像の特徴量を例示する図である。 第１実施例において、所定の画像処理によって得られた画像の特徴量を例示する図である。 第１実施例において、検索キー画像の候補をクラスタリングした結果と各クラスタを代表する特徴量を例示する図である。 本発明の一実施形態に係る類似画像検索システムにおいて、類似画像検索を実施する手順を例示する図である。 本発明の一実施形態に係る類似画像検索システムに使用可能な検索画面を例示する図である。 本発明の一実施形態に係るセキュリティシステムの探知装置とセキュリティセンタにおける危険物判定方法を例示する図である。 本発明の一実施形態に係るセキュリティシステムの探知装置のハードウェア構成を例示する図である。 本発明の一実施形態に係るセキュリティシステムのセキュリティセンタにおける危険物判定方法を例示する図である。 本発明の一実施形態に係る類似画像検索システムと探知装置を含むセキュリティシステムによる危険物所持容疑の対象者検索方法を例示する図である。

本発明は、類似画像検索システムと爆発物探知装置を含むセキュリティシステムとをネットワークでつなぎ、爆発物探知装置による検知結果と類似画像検索システムを利用して特定人物を追跡可能な画像検索システムとその方法に関するものであり、以下にその一実施形態を説明する。

本発明に係る一実施形態について図面を参照して説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。

まず、図１〜図４を参照して、本発明の一実施形態に係る類似画像検索システムの構成について説明する。図１には、本発明の一実施形態に係る類似画像検索システムのシステム構成を例示してある。
類似画像検索システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成される。また、撮像装置２０１は複数の場所にそれぞれ設置されているものとする。

ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の各装置を相互に接続して通信を行う通信手段である。

撮像装置２０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等で撮像した画像にデジタル変換処理を施し、変換結果の画像データを、ネットワーク２００を介して録画装置へ出力するネットワークカメラや監視カメラ等の装置である。

録画装置１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の方式を含む人物検索機能も搭載してある。
録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、類似人物検索部２１８、登場イベント検索部２１９、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１の各処理部を有する。

画像送受信部２１０は、装置外部からの画像の入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体へ書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。
再生制御部２１２は、端末装置１０３への映像再生を制御する。

人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２１４は、人物領域検出部２１３で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、或いは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。
人物特徴量記録部２１５は、人物特徴量抽出部２１４で算出した特徴量の記録媒体への書込みと読出しを行う。尚、画像記録部２１１における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号、撮像場所等である。

要求受信部２１７は、端末装置１０３からの検索要求やキーワード付与要求の受信を行う。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
類似人物検索部２１８は、要求受信部２１７にて受信した要求が類似人物検索要求であった場合に、類似画像検索を行う。
登場イベント検索部２１９は、要求受信部２１７にて受信した要求が登場イベント検索要求であった場合に、登場イベント検索を行う。
検索結果送信部２２０は、類似人物検索部２１８や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置１０３への送信を行う。
キーワード記録部１１０は、要求受信部２１７にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部１１１は、要求受信部２１７にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。

端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２、複数検索キー選択部１１３の各処理部を有する。また、本装置には、本発明の方式を実現するための人物検索機能も搭載してある。

検索要求送信部２２１は、検索要求の録画装置１０２への送信を行う。類似人物検索の場合、検索要求データには、類似人物検索の検索キーとして、検索キー画像或いはその特徴量が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部２２２は、検索結果の録画装置１０２からの受信を行う。検索結果として受信するデータには、録画装置１０２において、類似人物検索、或いは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置１０２に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」という。
検索結果表示部２２３は、検索結果受信部２２２にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部２２４は、録画装置１０２から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知及び取得を行う。
キーワード付与要求送信部１１２は、キーワード付与要求の録画装置１０２への送信を行う。
複数検索キー選択部１１３は、検索キー画像の候補が複数選択されたときに、より少ない数の検索キー画像を適切に選択する処理を行う。複数検索キー選択部１１３は録画装置１０２内に設けても良い。

図２には、本発明の一実施形態に係る類似画像検索システムに用いる撮像装置２０１のハードウェア構成を例示してある。
撮像装置２０１のハードウェア構成は、図２に示すように、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４４が、バス２４０で結合された形態である。

撮像部２４１は、レンズで撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Joint Photographic Experts Group）などの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４４は、ネットワーク２００を介して、主記憶部２４２上の画像データを録画装置１０２に送信するためのインタフェースである。

図３には、本発明の一実施形態に係る類似画像検索システムに用いる録画装置１０２のハードウェア構成を例示してある。
録画装置１０２のハードウェア構成は、図３に示すように、ＣＰＵ（Central Processing Unit）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。

ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。

図４には、本発明の一実施形態に係る類似画像検索システムに用いる端末装置１０３のハードウェア構成を例示してある。
端末装置１０３のハードウェア構成は、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続され、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続される。

ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信したりするためのインタフェースである。表示装置２７０は、例えば、ＬＣＤ（Liquid Crystal Display）などの装置であり、画像や動画をその表示部に表示する装置である。ユーザは、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Graphical User Interface）操作することによって、端末装置１０３、及び、類似画像検索システムを操作する。

次に、本発明の一実施形態に係る類似画像検索システムにおける類似人物検索の具体例について説明する。

本発明の一実施形態に係る類似画像検索システムにおける具体例を、 図５Ａ〜図５E及び図６を参照して説明する。
図６には、類似人物検索を実施する手順を例示してある。また、図５Ａ〜図５Ｅには、類似人物検索を実施する手順に沿って、検索キー画像の候補となった画像の特徴量を例示してある。

まず、最初のキー画像による検索処理６００１では、ユーザが選択した最初の検索キー画像によって最初の検索が行われる。ここでは、最初の検索キー画像に選択された画像の特徴量（本例では、画像中の人物の特徴量）と距離が近い特徴量を有する画像を録画装置１０２内の類似人物検索部２１８を通じて検索し、その結果、例えば１０件の画像が検索される。

図５Ａには、最初の検索キー画像の特徴量を「○」で示してある。ここでは、説明の分かり易さのために画像の特徴量を２次元で表現しているが、実際には、画像の特徴量は例えば数百次元といった非常に多くの次元数を持つ場合が多い。

ここで、検索結果である１０件の画像のうち３件が最初の検索キー画像と同一の対象であるとする。検索結果から同一人物を選択する処理６００２では、１０件の検索結果画像から目的の３件の画像を選択する。具体的には、例えば、ユーザが端末装置１０３のマウス２８２を操作して目的の画像をクリックして選択する。なお、画像の特徴量について閾値を設け、最初の検索キー画像の特徴量と検索結果画像の特徴量との距離が閾値以下なら同一の対象（同一人物）であると判断し、該当する検索結果画像を自動選択する方法としてもよい。

図５Ｂには、図５Ａの内容に加え、検索結果から同一人物を選択する処理６００２によって選択された画像の特徴量を「△」で示してある。このような処理によって選択された画像は、新たな検索キー画像の候補となる。

ここで、検索結果画像が動画を形成する連続的な画像のうちの１枚であるとすると、その動画における検索結果画像の前後にも同一人物の画像が含まれている場合が多い。検索結果前後の同一人物を選択する処理６００３では、検索結果画像が抽出された動画における検索結果画像の前又は後の所定長の時間帯に含まれる複数の画像から、人物の位置や進行速度等に基づいて検索結果画像の人物と同一人物（すなわち、検索キー画像の人物と同一人物）と判定される画像を自動的に選択する。なお、ユーザが指定できるようにしても良い。

図５Ｃには、図５Ｂの内容に加え、検索結果前後の同一人物を選択する処理６００３によって選択された画像の特徴量を「□」で示してある。このような処理によって選択された画像は、新たな検索キー画像の候補となる。

マスクを付加する画像処理６００４では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理で鼻や口を覆うマスクを付加した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。なお、これとは逆に、画像処理前の人物の画像が鼻や口を覆うマスクをしている場合に、画像処理でマスクを外すようにする処理を行っても良い。また、マスクの画像は複数種類の画像を準備しても良い。

サングラスや眼鏡を付加する画像処理６００５では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理でサングラスや眼鏡を付加した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。なお、これとは逆に、画像処理前の人物の画像がサングラスや眼鏡をかけている場合に、画像処理でサングラスや眼鏡を外すようにする処理を行っても良い。また、サングラスや眼鏡の画像は複数種類の画像を準備しても良い。尚、マスクを付加する画像処理６００４やサングラスや眼鏡を付加する画像処理６００５は、任意で行うことが可能であり、髪型や髭等を付加するその他の画像処理を適宜組み合わせてもよい。

人物の向きを変更する画像処理６００６では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理で人物の向きを変更した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。人物の向きは通常複数であるが、単純な左右反転であってもよい。

図５Ｄには、図５Ｃの内容に加え、マスクを付加する画像処理６００４、サングラスや眼鏡を付加する画像処理６００５、人物の向きを変更する画像処理６００６の結果生成された複数の画像の特徴量を「×」で示してある。このような処理によって生成された画像は、新たな検索キー画像の候補として追加される。

なお、マスクを付加する画像処理６００４、サングラスや眼鏡を付加する画像処理６００５、人物の向きを変更する画像処理６００６は、最初の検索キー画像、検索結果から同一人物を選択する処理６００２の結果の画像、検索結果前後の同一人物を選択する処理６００３の結果の画像のいずれを対象にしてもよい。また、対象の画像に対していずれか１つの画像処理を施してもよく、任意の２つの画像処理を施してもよく、３つの画像処理を全て施してもよい。また、対象の画像の明暗を変える画像処理など、上記以外の画像処理を施してもよい。

また、これまでの処理６００１〜６００６により検索キー画像の候補とされた複数の画像をクラスタリングして、各クラスタを代表する画像（或いはその特徴量）を求めるクラスタリング処理６００７を行ってもよい。クラスタリング方法としては、ｋ−ｍｅａｎｓ法などの公知の技術を用いることができる。各クラスタを代表する画像としては、例えば、そのクラスタに含まれる画像の特徴量の平均に最も近い画像が用いられ、その画像の特徴量が新たな検索キーとされる。なお、クラスタに含まれる画像の特徴量の平均をそのまま新たな検索キーとしてもよい。

図５Ｅには、これまでの処理６００１〜６００６によって得られた新たな検索キー画像の候補がクラスタリング処理６００７によってクラスタに分けられた様子と、各クラスタを代表する画像の特徴量を例示してある。図５Ｅでは、３つのクラスタを枠線で囲って示してあり、各クラスタを代表する画像の特徴量として、各クラスタの重心に最も近い画像の特徴量Ｐ１１，Ｐ１２，Ｐ１３がそれぞれ選択されている。

代表する検索キーによる検索処理６００８では、例えばクラスタリング処理６００７によって得られた各クラスタを代表する画像の特徴量を新たな検索キーに用いて類似画像検索を行い、結果を出力する。
ここで、図５Ｅの例では、最初の検索キー画像に関連する画像（処理６００１〜６００６により得られた画像）は２９枚あるため、これらの画像の特徴量を新たな検索キーとした検索を２９回繰り返す必要があるが、クラスタリング処理６００７によって得られた各クラスタを代表する３つの画像の特徴量を用いて類似画像検索を行うことで、特徴量のバランスをとりつつ３回の検索で済む。ここでは、クラスタの数を３としたが、これは設定によって変えることができる。尚、本発明の一実施形態に係る類似画像検索システムは、クラスタリング処理６００７を用いた一連のシステムについて説明したが、クラスタリング処理６００７を行わず、最初の検索キー画像に関連する画像である２９枚全てについて新たな検索キーとした検索を行ってもよい。

次に、端末装置１０３の画面について説明する。図７には、本例の類似画像検索システムに使用可能な検索画面を例示してある。
検索画面は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域３０１７、検索結果表示領域３０２０を有する。

再生画像表示領域３００１は、録画装置１０２に記録された画像を動画像として表示する領域である。また、再生画像表示領域３００１の動画３００２は、録画装置１０２に記録された画像を動画像として表示するものである。
画像再生操作領域３００３は、録画装置１０２に記録された画像を再生操作する領域である。本領域３００３を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。本図においては、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が左から順に割当てられている例を示している。ユーザが各ボタンをマウス２８２で適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替わる。

検索キー画像指定領域３００４は、検索キー画像の指定と表示を行う領域である。本領域３００４は、検索キー画像３００５と、映像指定ボタン３００６、ファイル指定ボタン３００７を有する。
検索キー画像３００５は、類似検索のための最初の検索キー画像とする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。なお、未指定の場合に、別途用意した未指定状態を示す画像を表示する等、未指定である旨の表記をするようにしてもよい。

映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像３００５として指定するボタンである。
ファイル指定ボタン３００７は、録画装置１０２に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像３００５として指定するボタンである。このボタン３００７を押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定することができる。

検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。本領域３００８は、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２と、時刻指定チェックボックス３０１３，３０１４と、時刻指定欄３０１５，３０１６を有する。

撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は、検索の際に検索対象とする撮像装置２０１を指定するチェックボックスである。本チェックボックス３００９，３０１０，３０１１，３０１２は、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示・非表示を繰り返す。
初期状態においては、全ての撮像装置２０１（カメラ１〜４）を検索対象とするため、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は全て選択状態となる。

時刻指定チェックボックス３０１３，３０１４は、検索の際に検索対象とする時刻範囲を指定するチェックボックスである。表示の態様については本チェックボックスも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない、すなわち、録画装置１０２に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。
同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置１０２に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
時刻指定欄３０１５，３０１６は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。
初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックス３０１３，３０１４は全て非選択状態、時刻指定欄３０１５，３０１６は空欄とする。

検索実行領域３０１７は、検索実行を指示する領域である。本領域３０１７は、類似人物検索ボタン３０１８、登場イベント検索ボタン３０１９に加え、検索結果からの類似人物検索ボタン３３００、同一シーンチェックボックス３２０１、マスクチェックボックス３２０２、サングラスチェックボックス３２０３、異なる角度チェックボックス３２０４を有する。

類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索（図６の最初のキー画像による検索処理６００１）の実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って類似人物検索の実行を指示する。
登場イベント検索ボタン３０１９は、登場イベント検索の実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って登場イベント検索の実行を指示する。

検索結果表示領域３０２０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域３０２０には何も表示されない。

ここで、ユーザが、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９，３０１０，３０１２を押下し、更に、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５，３０１６にそれぞれ「２００９／６／２６ １５：３０：２０」，「２００９／７／１３ １２：３０：２０」と入力したとする。
これにより、図７に示すように、検索キー画像３００５には、動画３００２に表示された人物「Ａさん」の画像が検索キー画像として指定され、また、検索対象としたい撮像装置２０１として「カメラ１」、「カメラ２」、「カメラ４」の３つが指定され、検索対象としたい時刻範囲として「２００９／６／２６ １５：３０：２０から２００９／７／１３ １２：３０：２０まで」が指定される。

その後、ユーザが、類似人物検索ボタン３０１８を押下したとする。すると、検索結果表示領域３０２０には、検索キー画像３００５を用いて類似人物検索を実行して得られた検索結果が表示される。図７は、この状態における検索画面の一例を示したものである。検索結果の表示は、検索結果画像（本例では、検索結果画像３０３１〜３１４１）を一覧表示することにより実施する。
検索結果画像３０３１〜３１４１は、例えば、最上段左から右へ、次に２段目左から右へと検索キー画像３００５に対する類似度順に表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が最も類似度が低いということを示している。

この図に示された例の表記において、検索結果表示領域３０２０内の検索結果画像３０３１〜３１４１上に図示した円とアルファベットは、人物の顔と人物名称を簡略表示したものであり、例えば、検索結果画像３０３１には、人物「Ａさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
検索結果画像３０３１の周辺には、頭出し再生ボタン３０３２、検索キー画像指定ボタン３０３３、検索対象チェックボックス３３０１を備える。他の検索結果画像３０４１〜３１４１も同様である。

頭出し再生ボタン３０３２は、検索結果画像３０３１を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン３０３２を押下すると動画３００２が検索結果画像３０３１に切り替わり、その検索結果画像３０３１を先頭として始まる動画をユーザは視聴することができる。
検索キー画像指定ボタン３０３３は、検索結果画像３０３１を新たな検索キー画像に指定するボタンである。例えば、検索キー画像指定ボタン３０３３を押下すると、検索結果画像３０３１が検索キー画像３００５に表示される。これにより、検索結果画像３０３１を使って再検索を実施することができる。

検索対象チェックボックス３３０１は、検索結果からの類似人物検索ボタン３３００を押下した場合に新たな検索キー画像（或いはその候補）として検索結果画像３０３１を指定するチェックボックスである。例えば、検索結果に出てきた「Ａさん」の画像（本例では、検索結果画像３０３１〜３０６１，３０８１，３０９１，３１２１，３１４１）を全てチェックして、検索結果からの類似人物検索ボタン３３００を押すことで、様々なパターンの「Ａさん」を検索することが可能である。

検索結果からの類似人物検索ボタン３３００は、検索キー画像３００５による類似人物検索の結果に基づく再度の類似人物検索（代表する検索キーによる検索処理６００８）の実行を指示するボタンである。再度の類似人物検索では、検索結果表示領域３０２０の表示（最初のキー画像による検索処理６００１の結果）の中からユーザに選択された（検索対象チェックボックスがチェックされた）画像を新たな検索キー画像（或いはその候補）として類似人物検索を再実行する。

同一シーンチェックボックス３２０１は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にして検索結果前後の同一人物を選択する処理６００３（図６参照）を実行し、その結果の画像（対象の画像中の人物と同一人物を映した前後の画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
マスクチェックボックス３２０２は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にしてマスクを付加する画像処理６００４（図６参照）を実行し、その結果の画像（対象の画像中の人物にマスクを付加した画像或いは当該人物からマスクを外した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
サングラスチェックボックス３２０３は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にしてサングラスや眼鏡を付加する画像処理６００５（図６参照）を実行し、その結果の画像（対象の画像中の人物にサングラス等を付加した画像或いは当該人物からサングラス等を外した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
異なる角度チェックボックス３２０４は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にして人物の向きを変更する画像処理６００６（図６参照）を実行し、その結果の画像（対象の画像中の人物の向きを変更した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。

これらのチェックボックス３２０１〜３２０４の１以上がチェックされた状態で検索結果からの類似人物検索ボタン３３００が押下された場合には、検索結果表示領域３０２０の表示の中からユーザに選択された各々の画像を対象にして、チェックされた状態のチェックボックスに対応する画像処理を実行し、その結果生成された画像を新たな検索キー画像の候補として追加し、その後、新たな検索キー画像の候補に対して画像の特徴量を検索キーとして用いて類似画像検索を実行する。

なお、本例では、端末装置１０３の複数検索キー選択部１１３の機能により検索キー決定手段を実現し、録画装置１０２の類似人物検索部２１８の機能により検索手段を実現しているが、他の態様により検索キー決定手段及び検索手段を実現しても構わない。

次に、図１により、本発明の爆発物探知装置を含むセキュリティシステムを示す。本発明によるセキュリティシステムは、探知装置３００、ネットワーク２００、セキュリティセンタ４００より構成され、個々の探知装置３００をネットワーク２００で結んでセキュリティシステムを構築している。セキュリティセンタ４００に集まる情報は、データベースと照合され、リスク判定が行われる。リスク判定の結果、あるレベルを超えると判断された場合には、アラームを発報し、対象人物の手荷物検査を行うよう警備員に指示を送るなどの対応を取ることが出来る。
まず、探知装置３００とセキュリティセンタ４００における危険物判定方法の全体像について図８を用いて説明する。探知装置３００において危険物の探知を開始して危険物の有無を判定する（Ｓ３０１）。危険物を発見した場合には、探知装置３００はネットワーク２００を介してセキュリティセンタ４００と交信を行う（Ｓ３０２）。セキュリティセンタ４００ではデータベースやリスク判定ロジックなどを用いてリスク判定が行われる。セキュリティセンタ４００は、リスク判定により危険と判定した場合には、ネットワーク２００を介して探知装置３００に発報の指示を出し、探知装置３００は、セキュリティセンタ４００から発報の指示があった場合（Ｓ３０３）には、アラームを発報させる（Ｓ３０４）。

本発明の探知装置３００の構成の一例について図９を用いて説明する。また、探知装置３００は複数の場所にそれぞれ設置されており、探知装置３００には、検出部と必要に応じて個人識別部が含まれる。ここでは、探知装置３００は爆発物探知装置を想定し、検出部に質量分析計３１５を用い、個人識別部に監視カメラ３１６を用いた例について説明する。尚、監視カメラ３１６は上述した撮像装置２０１に置き換えてもよい。
検査範囲を示す線で囲まれた部分を検査領域３１１とする。この検査領域３１１を通過する検査対象である人３１２が爆発物を所持していないかどうかを質量分析計３１５で検査する。検査領域と検査対象の組み合わせは、例えばベルトコンベア（検査領域）に載せられた荷物（検査対象）であってもよい。吸気部３１３から吸引された大気は、試料吸入配管３１４を介して質量分析計３１５に送られる。質量分析計３１５では、大気中に爆薬成分が含まれていないかどうかを検査する。具体的には、質量スペクトルを取得し、検出されたイオンの質量電荷比（ｍ／ｚ）とイオン強度により、質量分析計３１５内に備えられたデータベースと照合することで危険物の有無を判定する。危険物有無判定処理は種々の方法（例えば、イオンモビリティ法、化学発光法、レーザー励起蛍光検出法など）が知られており、質量分析法に限らず、これらを利用してもよい。危険物有りと判定された場合には、その判定結果と必要に応じて監視カメラ３１６で撮影された映像とが、ネットワーク２００を介してセキュリティセンタ４００に送られ、リスク判定処理される。セキュリティセンタ４００から、ネットワーク２００を介して探知装置３００に発報の指示が来た場合には、探知装置３００はアラームを発報する。アラーム発報の方法としては、質量分析計３１５内に音や光を発するデバイスを組み込み、このデバイスを駆動しても良いし、警備担当者の控え室にこれらのデバイスを設けて警備担当者に対して直接連絡できるようにしても良い。また、検査領域３１１をシャッターなどで閉鎖しても良く、種々の発報形態を利用することができる。尚、撮影された映像は、監視カメラ３１６だけでなく、ネットワーク２００を介して別に接続されている撮像装置２０１より取得してもよい。

本発明のセキュリティセンタ４００におけるリスク判定の詳細について図１０を用いて説明する。探知装置３００から危険物を検出したとの通信が監視カメラ３１６又は撮像装置２０１からの映像と共にセキュリティセンタ４００に送られると、危険物の検出有無のチェックが行われる（Ｓ３３１）。セキュリティセンタ４００では、検出信号と監視カメラ３１６又は撮像装置２０１からの映像に、その後の記録を容易にする目的でＩＤを付与しておく（Ｓ３３２）。そして、データベースにＩＤ、検出時刻、検出信号（あるいは検出内容）、監視カメラ３１６又は撮像装置２０１からの映像等の履歴を記録する（Ｓ３３３）。その後、セキュリティセンタ４００では、検出した危険物に対するリスクの判定が行われ（Ｓ３３４）、所定のリスクを越えていると判断された場合（ＹＥＳ）には、探知装置３００に対してアラームを発報するよう指示をする（Ｓ３３７）。一方、所定のリスクを越えていないと判断された場合（ＮＯ）には、過去の履歴に照会される（Ｓ３３５）。そこで改めて、過去の履歴を含めてリスク判定がなされ（Ｓ３３６）、所定のリスクを越えていると判定された場合には、探知装置３００に対してアラーム発報の指示を行う（Ｓ３３７）。

また、セキュリティセンタ４００から探知装置３００に対して発報されたアラーム情報が、ネットワーク２００を介して直接録画装置１０２にも送信される。録画装置１０２では、探知装置３００のカメラ映像（監視カメラ３１６又は撮像装置２０１にて撮像された映像）を対象に、上述した類似顔画像検索技術を用いて危険物所持容疑の対象者を検索する。
ここで、本発明の一実施形態に係る画像検索システムで行われる危険物所持容疑の対象者検索方法について図１１を用いて説明する。
図１１は、本発明の一実施形態に係る類似画像検索システムと探知装置を含むセキュリティシステムによる危険物所持容疑の対象者検索方法を例示する図である。
まず、録画装置１０２は、探知装置３００から発報されたアラーム情報をネットワーク２００経由で受信すると、録画装置１０２内の類似人物検索部２１８がアラーム情報に含まれるアラーム発報時刻情報を抽出する（Ｓ３５１）。録画装置１０２の類似人物検索部２１８はこのアラーム発報時刻情報に基づいて、探知装置３００が設置されている場所のカメラ映像を対象に、アラーム発報時刻より所定の秒数前（例えば５秒前）までの画像に対する顔画像検索を実施することにより、危険物所持容疑の対象者を抽出する（Ｓ３５２）。
ここで、本発明のポイントは、録画装置１０２の類似人物検索部２１８は、アラーム発報時刻より所定の秒数前までの顔画像検索を行った後、危険物所持者を特定せずに疑いのある対象者を複数抽出し、検索結果を危険物所持容疑の対象者としてグレイリストに登録しておくことである（Ｓ３５３）。また、グレイリストに登録された危険物所持容疑の対象者それぞれに対して、定期的に類似顔画像検索を実施する（Ｓ３５４）。

次に、グレイリストに登録された危険物所持容疑の対象者が類似顔画像検索によって検索された場合、録画装置１０２の類似人物検索部２１８は、危険物所持容疑の対象者を発見した監視カメラ３１６又は撮像装置２０１の設置場所の位置情報や時刻情報等を図示していない記録部に記録すると共に、録画装置１０２の検索結果送信部２２０が端末装置１０３の検索結果受信部２２２に送信する。端末装置１０３の検索結果表示部２２３は、録画装置１０２から送信された危険物所持容疑対象者を発見した監視カメラ３１６又は撮像装置２０１の設置場所の位置情報や時刻情報等を画面に表示する（Ｓ３５５）。また、端末装置１０３は、上述した監視カメラ３１６又は撮像装置２０１の設置場所の位置情報や時刻情報等に基づいて危険物所持容疑の対象者が辿った軌跡を地図上に表示する（Ｓ３５６）。尚、グレイリストに登録された複数の危険物所持容疑の対象者それぞれの軌跡を同時に表示できるようにしてもよい。

さらに、グレイリスト化した危険物所持容疑の対象者について、例えば、アラーム情報を発報したカメラ映像とは別の場所及び別の時刻に撮影された複数の映像を用いて危険物所持容疑の対象者から危険物所持者を絞り込むこともできる。例えば、アラーム情報を発報した時刻前後情報と、アラーム情報を発報した探知装置３００近辺情報とを設定し、設定した情報に該当する映像全てについて類似顔画像検索を行うことにより、頻度の高い人物を特定することができる。
これにより、グレイリスト化された危険物所持容疑の対象者の中から、危険所持者である可能性の最も高い人物を特定することができる。尚、アラーム情報を発報した時刻前後情報と、アラーム情報を発報した探知装置３００近辺情報とを設定して行った類似顔画像検索の結果を地図上に表示することにより、危険物所持対象者候補の辿った軌跡を視覚的に把握することもできる。

また、別の実施例として、例えば、探知装置３００にゲートを設けておくことにより、ゲートの入口と出口には赤外線等の人感センサを設置し、所定時間内に何人が通過したかを検知することができる。これにより、通過した人数情報を、ネットワーク２００を経由して録画装置１０２内の類似人物検索部２１８に送信し、人数情報を受信した類似人物検索部２１８は、この人数情報を類似顔画像検索及び検索結果による危険物所持容疑の対象者のグレイリスト化に利用することができる。
また、予め危険物所持者を１人に特定せず、グレイリスト化した検索結果の危険物所持容疑の対象者をグレイリストとし、グレイリストに登録された人物は、例えば手荷物有無のチェックを行う等してセキュリティチェックを厳しくするよう指示することもできる。
これにより、ネットワーク２００経由で録画装置１０２が探知装置３００からのアラーム情報を受信することにより、危険物所持容疑の対象者の抽出・追跡、危険物所持容疑の対象者の移動方向の表示を自動で行うことができ、捜査の手助けとなる。

本発明の一実施形態に係る画像検索システムによれば、それぞれ独立して稼動していた類似画像検索技術の応用による画像検索システムと爆発物探知装置によるセキュリティシステムを、ネットワークを介して繋ぐことにより、爆発物探知装置による爆発物所持容疑の対象者発見等の情報に基づいて画像検索システムをより迅速に稼動することができ、大量の旅客の中からより速く的確に爆発物所持者を探し出すことが可能となる。

本発明は、例えば空港や重要施設などの比較的人が少ない場所における危険物所持の検査に加えて、駅などの大量の旅客がいる場所における危険物所持の検査にも適用できる。

１０２：録画装置、 １０３：端末装置、 １１０：キーワード記録部、 １１１：キーワード検索部、 １１２：キーワード付与要求送信部、 １１３：複数検索キー選択部、
２００：ネットワーク、 ２０１：撮像装置、 ２１０：画像送受信部、 ２１１：画像記録部、 ２１２：再生制御部、 ２１３：人物領域検出部、 ２１４：人物特徴量抽出部、 ２１５：人物特徴量記録部、 ２１６：属性情報記録部、 ２１７：要求受信部、 ２１８：類似人物検索部、 ２１９：登場イベント検索部、 ２２０：検索結果送信部、 ２２１：検索要求送信部、 ２２２：検索結果受信部、 ２２３：検索結果表示部、 ２２４：再生画像表示部、 ２２５：画面操作検知部、 ２４０：バス、 ２４１：撮像部、 ２４２：主記憶部、 ２４３：符号化部、 ２４４：ネットワークＩ／Ｆ、 ２５０：バス、 ２５１：ＣＰＵ、 ２５２：主記憶部、 ２５３：補助記憶部、 ２５４：ネットワークＩ／Ｆ、 ２６０：バス、 ２６１：ＣＰＵ、 ２６２：主記憶部、 ２６３：補助記憶部、 ２６４：表示Ｉ／Ｆ、 ２６６：ネットワークＩ／Ｆ、 ２７０：表示装置、 ２８０：キーボード、 ２８２：マウス、 ３００：探知装置、 ３１１：検査領域、 ３１２：人、 ３１３：吸気部、 ３１４：試料吸入配管、 ３１５：質量分析計、 ３１６：監視カメラ、 ４００：セキュリティセンタ、 ３００１：再生画像表示領域、 ３００２：動画、 ３００３：画像再生操作領域、 ３００４：検索キー画像指定領域、 ３００５：検索キー画像、 ３００６：映像指定ボタン、 ３００７：ファイル指定ボタン、 ３００８：検索絞込パラメータ指定領域、 ３００９〜３０１２：撮像装置指定チェックボックス、 ３０１３，３０１４：時刻指定チェックボックス、 ３０１５，３０１６：時刻指定欄、 ３０１７：検索実行領域、 ３０１８：類似人物検索ボタン、 ３０１９：登場イベント検索ボタン、 ３０２０：検索結果表示領域、 ３０３１，３０４１，３０５１，３０６１，３０７１，３０８１，３０９１，３１０１，３１１１，３１２１，３１３１，３１４１：検索結果画像、 ３０３２：頭出し再生ボタン、 ３０３３：検索キー画像指定ボタン、 ３２０１：同一シーンチェックボックス、 ３２０２：マスクチェックボックス、 ３２０３：サングラスチェックボックス、
３２０４：異なる角度チェックボックス、 ３３００：検索結果からの類似人物検索ボタン、 ３３０１：検索対象チェックボックス。

Claims (13)

1. 撮像した画像データを出力する少なくとも１台の撮像装置と、前記撮像装置より入力された画像データを記録媒体に記録する録画装置と、危険物の探知を行う探知装置と、各装置を相互に接続して通信を行うネットワークとを備えた画像検索システムにおいて、
   前記探知装置から送信された危険物探知によるアラーム情報を前記ネットワークを介して受信する受信手段と、
   前記受信手段で受信した前記アラーム情報に含まれるアラーム発報時刻情報に基づき、前記アラーム発報時刻並びに前記アラーム発報時刻前の所定の時間を検索条件として、前記探知装置の周辺に設置された前記撮像装置からの画像データを対象に顔画像検索を行い、危険物所持容疑の対象者を抽出する対象者抽出手段と、
   前記対象者抽出手段で抽出した危険物所持容疑の対象者をグレイリストに登録するグレイリスト登録手段と、
   前記グレイリスト登録手段で前記グレイリストに登録された危険物所持容疑の対象者それぞれに対して、前記録画装置に記録された画像データを対象に定期的に類似顔画像検索を実施する対象者検索手段と、
   を備えることを特徴とする画像検索システム。
2. 請求項１記載の画像検索システムにおいて、
   前記対象者検索手段によって前記グレイリストに登録された前記危険物所持容疑の対象者が検索された場合、前記危険物所持容疑の対象者を撮影した前記撮像装置の設置場所の位置情報や前記アラーム発報時刻を画面に表示する対象者情報表示手段と、
   前記対象者情報表示手段で表示された前記危険物所持容疑の対象者を撮影した前記撮像装置の前記位置情報に基づいて前記危険物所持容疑の対象者が辿った軌跡を地図上に表示する軌跡表示手段と、
   を備えることを特徴とする画像検索システム。
3. 請求項２記載の画像検索システムにおいて、
   前記グレイリストに登録された複数の前記危険物所持容疑の対象者をそれぞれ検索し、複数それぞれの軌跡を同時に表示する複数軌跡表示手段を備えることを特徴とする画像検索システム。
4. 請求項３記載の画像検索システムにおいて、
   アラーム発報時刻前後情報と、アラーム発報探知装置近辺情報とを設定し、前記設定した情報に該当する映像全てについて類似顔画像検索を行うことにより、前記検索結果を前記危険物所持容疑の対象者として前記グレイリストに登録し、前記グレイリストに登録した前記危険物所持容疑の対象者について、アラーム情報を発報した場所に設定されたカメラ映像とは別の場所及び別の時刻に撮影された複数の映像を用いて危険物所持者を特定する危険物所持者特定手段を備えることを特徴とする画像検索システム。
5. 請求項４記載の画像検索システムにおいて、
   アラーム発報時刻前後情報と、アラーム発報探知装置近辺情報とを設定して行った類似顔画像検索の結果を地図上に表示する検索結果地図表示手段を備えることを特徴とする画像検索システム。
6. 請求項５記載の画像検索システムにおいて、
   前記探知装置にゲートを設け、前記ゲートの出入口に人感センサを設置して所定時間内に何人が通過したかを検知し、前記通過した人数情報を前記ネットワークを経由して前記録画装置に送信し、前記危険物所持容疑の対象者のグレイリスト化に利用する通過人数計数手段を備えることを特徴とする画像検索システム。
7. 撮像した画像データを出力する少なくとも１台の撮像装置と、前記撮像装置より入力された画像データを記録媒体に記録する録画装置と、危険物の探知を行う探知装置と、各装置を相互に接続して通信を行うネットワークとを備えた画像検索システムの画像検索方法であって、
   前記探知装置から送信された危険物探知によるアラーム情報を前記ネットワークを介して受信する受信ステップと、
   前記受信ステップで受信した前記アラーム情報に含まれるアラーム発報時刻情報に基づき、前記アラーム発報時刻並びに前記アラーム発報時刻前の所定の時間を検索条件として、前記探知装置の周辺に設置された前記撮像装置からの画像データを対象に顔画像検索を行い、危険物所持容疑の対象者を抽出する対象者抽出ステップと、
   前記対象者抽出ステップで抽出した危険物所持容疑の対象者をグレイリストに登録するグレイリスト登録ステップと、
   前記グレイリスト登録ステップで前記グレイリストに登録された危険物所持容疑の対象者それぞれに対して、前記録画装置に記録された画像データを対象に定期的に類似顔画像検索を実施する対象者検索ステップと、
   を有することを特徴とする画像検索方法。
8. 請求項７記載の画像検索方法において、
   前記対象者検索ステップによって前記グレイリストに登録された前記危険物所持容疑の対象者が検索された場合、前記危険物所持容疑の対象者を撮影した前記撮像装置の設置場所の位置情報や前記アラーム発報時刻を画面に表示する対象者情報表示ステップと、
   前記対象者情報表示ステップで表示された前記危険物所持容疑の対象者を撮影した前記撮像装置の前記位置情報に基づいて前記危険物所持容疑の対象者が辿った軌跡を地図上に表示する軌跡表示ステップと、
   を有することを特徴とする画像検索方法。
9. 請求項８記載の画像検索方法において、
   前記グレイリストに登録された複数の前記危険物所持容疑の対象者をそれぞれ検索し、複数それぞれの軌跡を同時に表示する複数軌跡表示ステップを有することを特徴とする画像検索方法。
10. 請求項９記載の画像検索方法において、
    アラーム発報時刻前後情報と、アラーム発報探知装置近辺情報とを設定し、前記設定した情報に該当する映像全てについて類似顔画像検索を行うことにより、前記検索結果を前記危険物所持容疑の対象者として前記グレイリストに登録し、前記グレイリストに登録した前記危険物所持容疑の対象者について、アラーム情報を発報した場所に設定されたカメラ映像とは別の場所及び別の時刻に撮影された複数の映像を用いて危険物所持者を特定する危険物所持者特定ステップを有することを特徴とする画像検索方法。
11. 請求項１０記載の画像検索方法において、
    アラーム発報時刻前後情報と、アラーム発報探知装置近辺情報とを設定して行った類似顔画像検索の結果を地図上に表示する検索結果地図表示ステップを有することを特徴とする画像検索方法。
12. 請求項１１記載の画像検索方法において、
    前記探知装置にゲートを設け、前記ゲートの出入口に人感センサを設置して所定時間内に何人が通過したかを検知し、前記通過した人数情報を前記ネットワークを経由して前記録画装置に送信し、前記危険物所持容疑の対象者のグレイリスト化に利用する通過人数計数ステップを有することを特徴とする画像検索方法。
    
    
13. ネットワークを介して撮像した画像データを出力する少なくとも１台の撮像装置と危険物の探知を行う探知装置とに接続され、前記撮像装置より入力された画像データを記録媒体に記録する録画装置であって、
    前記探知装置から送信された危険物探知によるアラーム情報を前記ネットワークを介して受信する受信手段と、
    前記受信手段で受信した前記アラーム情報に含まれるアラーム発報時刻情報に基づき、前記アラーム発報時刻並びに前記アラーム発報時刻前の所定の時間を検索条件として、前記探知装置の周辺に設置された前記撮像装置からの画像データを対象に顔画像検索を行い、危険物所持容疑の対象者を抽出する対象者抽出手段と、
    前記対象者抽出手段で抽出した危険物所持容疑の対象者をグレイリストに登録するグレイリスト登録手段と、
    前記グレイリスト登録手段で前記グレイリストに登録された危険物所持容疑の対象者それぞれに対して、前記録画装置に記録された画像データを対象に定期的に類似顔画像検索を実施する対象者検索手段と、
    を備えることを特徴とする録画装置。

Images