JP7032350B2 - 人物監視システムおよび人物監視方法 - Google Patents

Description

本開示は、屋外に設置された監視カメラにより撮影された映像を用いて、監視カメラの画角内に映る人物を監視する人物監視システムおよび人物監視方法に関する。

特許文献１には、監視領域において所定の事象が検知された場合に、レコーダに記録した撮像画像から被疑者が撮像された撮像画像を抽出し、被疑者の行動に基づく遷移撮像画像を表示するとともに、撮像画像の撮像位置を示す地図情報を表示する警備システムが開示されている。警備システムは、遷移撮像画像について位置表示対象の撮像画像の選択入力を受けた場合に、該当する撮像画像の撮像地点の位置情報を、地図情報上に表示する。これにより、監視領域における人物等の監視対象の行動に関する追跡情報を視覚的に得られる。

特開２０１７－４０９８３号公報

しかし、特許文献１では、屋外の数多くの箇所のそれぞれに設置された監視カメラのうち少なくとも１台により撮像された映像から得られた事件等（例えば事件または事故）の容疑者の撮像画像から、その容疑者の外見的に特徴のある全身画像および顔画像を抽出し、これらを用いて容疑者を追跡することは考慮されていない。

事件等が発生した場合、容疑者の外見的な特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、事件等が発生した際、警官は現場周辺の複数の箇所のそれぞれに設置された監視カメラにより撮影された映像の目視による閲覧および目撃者からの情報等の手掛かりを頼りに、容疑者に該当しそうな人物ならびに逃走方向を取捨選別していた。このため、警官は容疑者の外見的な特徴ならびに逃走方向の把握に時間がかかってしまい、初動捜査が遅れて効率が良くないという課題があった。

本開示は、上述した従来の事情に鑑みて案出され、事件等が発生した際、容疑者の外見的な特徴を表す全身画像および顔画像を高精度に抽出して容疑者を追跡し、監視カメラの撮像映像に映る容疑者の逃走経路の早期把握を支援して警察捜査の利便性を向上する人物監視システムおよび人物監視方法を提供することを目的とする。

本開示は、ｎ（ｎ：２以上の整数）台の監視カメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を含み、前記サーバは、前記ｎ台の監視カメラのそれぞれから送られた撮像映像を受信すると、それぞれの前記撮像映像に映る人物の全身および顔を含む特徴情報を解析し、前記人物の全身を切り出した全身画像と前記人物の顔を切り出した顔画像とを解析結果として保持し、前記クライアント端末は、注目人物の全身画像および顔画像の指定に応じて、前記注目人物の全身画像を対象とする第１の照合処理、前記注目人物の顔画像を対象とする第２の照合処理のそれぞれの実行要求を前記サーバに送り、前記サーバは、前記第１の照合処理および前記第２の照合処理のうち少なくとも１つにより、前記注目人物の全身画像および顔画像のうち少なくとも１つと合致する人物を特定した場合に、前記注目人物が発見された旨のアラーム通知を前記クライアント端末に送る、人物監視システムを提供する。

また、本開示は、ｎ（ｎ：２以上の整数）台の監視カメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を含む人物監視システムにより実行される人物監視方法であって、前記ｎ台の監視カメラのそれぞれから送られた撮像映像を受信すると、それぞれの前記撮像映像に映る人物の全身および顔を含む特徴情報を解析し、前記人物の全身を切り出した全身画像と前記人物の顔を切り出した顔画像とを解析結果として保持し、注目人物の全身画像および顔画像の指定に応じて、前記注目人物の全身画像を対象とする第１の照合処理、前記注目人物の顔画像を対象とする第２の照合処理のそれぞれの実行要求を前記サーバに送り、前記第１の照合処理および前記第２の照合処理のうち少なくとも１つにより、前記注目人物の全身画像および顔画像のうち少なくとも１つと合致する人物を特定した場合に、前記注目人物が発見された旨のアラーム通知を前記クライアント端末に送る、人物監視方法を提供する。

本開示によれば、事件等が発生した際、容疑者の外見的な特徴を表す全身画像および顔画像を高精度に抽出でき、監視カメラの撮像映像に映る容疑者の逃走経路の早期把握を支援して警察捜査の利便性を的確に向上できる。

実施の形態１に係る人物監視システムのシステム構成例を示すブロック図 監視カメラの内部構成例を示すブロック図 人物検索サーバおよびクライアント端末のそれぞれの内部構成例を示すブロック図 顔検索サーバの内部構成例を示すブロック図 映像レコーダの内部構成例を示すブロック図 監視カメラが設置された地点を含む地図データを表示する人物監視画面の一例を示す図 容疑者の検索特徴の詳細設定画面の一例を示す図 図７の詳細設定画面で設定された検索特徴を検索条件として用いたメタサーチによる人物検索結果を時系列に表示する人物監視画面の一例を示す図 図８のサムネイル画像Ｘｐｃ１を検索条件として用いたイメージサーチによる人物検索結果を時系列に表示する人物監視画面の一例を示す図 レポート画面から選択されたサムネイル画像Ｘｐｃ１に対応する人物の撮像映像再生画面が重畳された人物監視画面の一例を示す図 実施の形態１に係る人物監視システムの動作手順の一例を示すシーケンス図 サムネイル画像Ｘｐｃ５に対応する人物と同一の人物を検索するための同一人物検索時の動作概要の一例を示す図 サムネイル画像Ｘｐｃ１１に対応する人物と似た人物のイメージサーチを指示する人物監視画面の一例を示す図 容疑者の検索特徴の詳細設定画面の一例を示す図 図１４の詳細設定画面で設定された検索特徴を検索条件として用いたメタサーチおよびイメージサーチの併用による人物検索結果を時系列に表示する人物監視画面の一例を示す図 実施の形態２に係る人物監視システムの動作手順の一例を示すシーケンス図 複数地点の監視カメラのそれぞれに映る容疑者リストの一例を示す人物監視画面の一例を示す図 実施の形態３に係る人物監視システムの動作手順の一例を示すシーケンス図

（実施の形態１の構成に至る経緯）
上述した特許文献１では、屋外の数多くの箇所のそれぞれに設置された監視カメラのうち少なくとも１台により撮像された映像から得られた事件等（例えば事件または事故）の容疑者の撮像画像から、その容疑者の外見的に特徴のある全身画像および顔画像を抽出し、これらを用いて容疑者を追跡することは考慮されていない。

事件等が発生した場合、容疑者の外見的な特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、事件等が発生した際、警官は現場周辺の複数の箇所のそれぞれに設置された監視カメラにより撮影された映像の目視による閲覧および目撃者からの情報等の手掛かりを頼りに、容疑者に該当しそうな人物ならびに逃走方向を取捨選別していた。このため、警官は容疑者の外見的な特徴ならびに逃走方向の把握に時間がかかってしまい、初動捜査が遅れて効率が良くないという課題があった。

以下の実施の形態１では、事件等が発生した際、容疑者の外見的な特徴を表す全身画像および顔画像を高精度に抽出して容疑者を追跡し、監視カメラの撮像映像に映る容疑者の逃走経路の早期把握を支援して警察捜査の利便性を向上する人物監視システムおよび人物監視方法を説明する。

（実施の形態１）
以下、添付図面を適宜参照しながら、本開示に係る人物監視システムおよび人物監視方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

以下、事件等（例えば、事件または事故）を引き起こした犯人の可能性がある容疑者の人物（注目人物の一例）の警察による捜査を、人物監視システムによって支援するユースケースを例示して説明する。

図１は、実施の形態１に係る人物監視システム１のシステム構成例を示すブロック図である。人物監視システム１は、屋外の異なる地点に設置されたｎ（ｎ：２以上の整数）台の監視カメラ１０，１１，…と、人物検索サーバ５０と、顔検索サーバ６０と、映像レコーダ７０と、クライアント端末９０とを含む構成である。監視カメラ１０，１１，…のそれぞれは、図１に示すように、屋外（例えば人通りのある地点）に設置され、例えば監視カメラ１０は駅ビルの入口に設置され、監視カメラ１１は公園に設置される。他の１台以上の監視カメラは、例えば民家の入口、ショッピングセンターの入口、街中の歩道、空港等に設置されてよい。但し、監視カメラ１０，１１，…のそれぞれは、屋外に設置されることに限定されなくてよい。また、人物検索サーバ５０と顔検索サーバ６０と映像レコーダ７０とクライアント端末９０とは、例えば警察署内の所定の部屋にそれぞれ設置される。なお、人物検索サーバ５０と顔検索サーバ６０と映像レコーダ７０とクライアント端末９０とは、警察署内に設置されなくてもよい。以下の説明において、映像レコーダ７０は、警察署内でのオンプレミスによる管理でなく、人物検索サーバ５０および顔検索サーバ６０のそれぞれとインターネット等の通信回線を介して接続されるオンラインストレージとして設けられてもよい。

監視カメラ１０，１１，…のそれぞれの内部構成は同一である。監視カメラ１０，１１，…は、イントラネットあるいはインターネットの通信回線等のネットワークＮＷ１を介して、人物検索サーバ５０、顔検索サーバ６０および映像レコーダ７０のそれぞれとの間で通信可能に接続される。ネットワークＮＷ１は、有線通信回線（例えば、光ファイバを用いた光通信網）により構成されるが、無線通信網により構成されてもよい。

監視カメラ１０，１１，…のそれぞれは、設置時に設定された既定の画角内の被写体（例えば、設置地点の状況を示す映像）を撮像可能であり、人物検索サーバ５０、顔検索サーバ６０および映像レコーダ７０のそれぞれに撮像映像のデータを繰り返して送信する。以下、撮像映像のデータには、撮像映像のみならず、その撮像映像を撮像した監視カメラの識別情報（言い換えると、監視カメラの設置地点の位置情報）と、撮像日時の情報とが含まれる。

サーバの一例としての人物検索サーバ５０は、例えば警察署内に設置され、その警察署の管轄地域内の全てあるいは一部の地点に設置された監視カメラ１０，１１，…のそれぞれから送られた撮像映像のデータを受信し、プロセッサＰＲＣ１（図３参照）による各種の処理のためにメモリ５２あるいはストレージ５６に一時的に保存する。

保存された撮像映像のデータは、監視カメラ１０，１１，…のそれぞれから送られて人物検索サーバ５０において受信される度に、人物検索サーバ５０によって、その撮像映像に映る人物の外見に関する特徴情報の解析がなされる。この解析結果は、例えば撮像映像を構成する撮像画像から人物の全身を切り出した全身画像が含まれ、容疑者の全身画像の照合処理（第１の照合処理の一例）に用いられるように人物検索サーバ５０のストレージ５６に保存される。具体的には、人物検索サーバ５０は、前述した解析結果として、撮像映像に映る人物に関する抽出情報（例えば、撮像映像中に映る人物の全身、顔、性別、年齢、身長、体型、服装、所持品、装着品等の特徴情報）を取得し、これらの抽出情報を撮像映像のデータと関連付けてストレージ５６に蓄積する。例えば事件等が発生した場合、クライアント端末９０は、容疑者の外見的な特徴要素（図７参照）を検索特徴（つまり検索条件）として入力する操作により、その検索条件を満たす容疑者の検索要求を生成して人物検索サーバ５０に送る。人物検索サーバ５０は、この検索要求に応じて、前述したそれぞれの監視カメラ１０，１１，…の撮像映像の解析結果を用いて、検索要求に含まれる検索条件を満たす人物を検索する。また、クライアント端末９０は、容疑者の全身画像を照合処理に用いる全身画像として登録するための操作により、その容疑者の全身画像の登録要求を生成して人物検索サーバ５０に送る。人物検索サーバ５０は、この登録要求に応じて、前述したそれぞれの監視カメラ１０，１１，…の撮像映像の解析結果を用いて、登録要求に含まれる容疑者の全身画像と合致する全身画像の有無を照合する。

サーバの一例としての顔検索サーバ６０は、例えば警察署内に設置され、その警察署の管轄地域内の全てあるいは一部の地点に設置された監視カメラ１０，１１，…のそれぞれから送られた撮像映像のデータを受信し、プロセッサＰＲＣ２（図４参照）による各種の処理のためにメモリ６２あるいはストレージ６６に一時的に保存する。

保存された撮像映像のデータは、監視カメラ１０，１１，…のそれぞれから送られて顔検索サーバ６０において受信される度に、顔検索サーバ６０によって、その撮像映像に映る人物の顔の外見に関する特徴情報の解析がなされる。この解析結果は、例えば撮像映像を構成する撮像画像から人物の顔部分を切り出した顔画像が含まれ、容疑者の顔画像の照合処理（第２の照合処理の一例）に用いられるように顔検索サーバ６０のストレージ６６に保存される。具体的には、顔検索サーバ６０は、前述した解析結果として、撮像映像に映る人物の顔に関する抽出情報（例えば、撮像映像中に映る人物の顔、表情、性別、年齢、眼鏡等の装着品等の特徴情報）を取得し、これらの抽出情報を撮像映像のデータと関連付けてストレージ６６に蓄積する。例えば事件等が発生した場合、クライアント端末９０は、容疑者の顔画像を照合処理に用いる顔画像として登録するための操作により、その容疑者の顔画像の登録要求を生成して顔検索サーバ６０に送る。顔検索サーバ６０は、この登録要求に応じて、前述したそれぞれの監視カメラ１０，１１，…の撮像映像の解析結果を用いて、登録要求に含まれる容疑者の顔画像と合致する顔画像の有無を照合する。

クライアント端末９０は、例えば警察署内に設置され、その警察署内の職員（つまり警察署内のユーザである警官）により使用され、例えばデスクトップ型、ラップトップ型またはノート型のＰＣ（Personal Computer）である。ユーザは、事件等が発生した際、事件等の発生を警察署に通報した通報者（例えば目撃者）からの電話により、その事件等に関する様々な情報を目撃情報として聞き取り、クライアント端末９０を操作することでデータ入力して記録する。なお、クライアント端末９０は、上述したＰＣに限定されず、例えばスマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）等の通信機能を有するコンピュータであってよい。クライアント端末９０は、上述した目撃情報に合致する容疑者（注目人物の一例）の検索を人物検索サーバ５０に実行させるための検索要求を生成して人物検索サーバ５０に送り、その検索結果を受信してディスプレイ９４に表示する。

映像レコーダ７０は、例えば警察署内に設置され、その警察署の管轄地域内の全てあるいは一部の地点に設置された監視カメラ１０，１１，…のそれぞれから送られた撮像映像のデータを受信し、バックアップ用に保存する。映像レコーダ７０は、ユーザ操作に応じたクライアント端末９０からの要求により、その要求を満たす監視カメラの撮像映像のデータをクライアント端末９０に送ってよい。なお、人物検索サーバ５０、顔検索サーバ６０、映像レコーダ７０およびクライアント端末９０は、警察署内のイントラネットあるいはインターネット等のネットワークＮＷ２を介して相互に通信可能に接続される。

図１では、警察署内に設置される人物検索サーバ５０、顔検索サーバ６０、映像レコーダ７０およびクライアント端末９０はそれぞれ１台だけ示されているが、それぞれ複数台が設けられてよい。特に、クライアント端末９０は、人物検索サーバ５０に検索要求を送るためのクライアント端末と、顔検索サーバ６０に検索要求を送るためのクライアント端末とに分けて設けられてもよい。また、人物監視システム１において、警察署も複数の警察署が含まれてよい。なお、図１に示す人物監視システム１において、人物検索サーバ５０および顔検索サーバ６０は、同一のコンピュータ装置（例えば、デスクトップ型あるいはラップトップ型のパーソナルコンピュータ）により構成されてもよい。

図２は、監視カメラ１０，１１，…の内部構成例を示すブロック図である。監視カメラ１０，１１，…のそれぞれは同一の構成を有し、以下、監視カメラ１０を例示して説明する。監視カメラ１０は、撮像部ＣＰ１と、プロセッサＣＰ２と、メモリＣＰ３と、通信部ＣＰ４と、ストレージＣＰ５とを含む構成である。監視カメラ１０，１１，…のそれぞれは、複数の撮像部ＣＰ１を有してもよく、例えば２方向に画角を有するマルチセンサカメラとしてもよい。これは、第１の撮像部が設置地点を広域に見渡せる画角内で撮像し、第２の撮像部が第１の撮像部の画角の死角となる範囲（例えば、監視カメラ１０の設置地点から鉛直方向下側の歩行者が歩く領域）を捉えるように撮像するためである。なお、複数の撮像部ＣＰ１が設けられる場合でも、それぞれの撮像部ＣＰ１の内部構成は同一である。

撮像部ＣＰ１は、集光用のレンズと、ＣＣＤ（Charge Coupled Device）型イメージセンサもしくはＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等の固体撮像素子とを有する構成である。撮像部ＣＰ１は、監視カメラ１０の電源がオンである間、固体撮像素子による撮像に基づいて得られた被写体の撮像映像のデータを常時プロセッサＣＰ２に出力する。撮像部ＣＰ１は、それぞれ撮像時のズーム倍率を変更させる機構を備えてもよい。

プロセッサＣＰ２は、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）もしくはＦＰＧＡ（Field-Programmable Gate Array）を用いて構成される。プロセッサＣＰ２は、監視カメラ１０の制御部として機能し、監視カメラ１０の各部の動作を全体的に統括するための制御処理、監視カメラ１０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサＣＰ２は、メモリＣＰ３に記憶されたプログラムに従って動作する。プロセッサＣＰ２は、動作時にメモリＣＰ３を使用し、現在の時刻情報を取得したり、撮像部ＣＰ１により撮像された撮像映像のデータに対して各種の公知の画像処理を施した上でストレージＣＰ５に記録したりする。なお、図２には図示を省略しているが、監視カメラ１０がＧＮＳＳ（Global Navigation Satellite System）受信部を有する場合、ＧＮＳＳ受信部から現在の位置情報を取得し、撮像映像のデータに位置情報を更に対応付けて記録してよい。

ここでＧＮＳＳ受信部について簡単に説明する。ＧＮＳＳ受信部は、複数のＧＮＳＳ発信機（例えば４個の航法衛星）から送信される、各自の信号送信時刻および位置座標を含む衛星測位信号を受信する。ＧＮＳＳ受信部は、複数の衛星測位信号を用いて、現在の監視カメラ１０の位置座標および衛星信号の受信時刻を算出する。なお、この算出は、ＧＮＳＳ受信部ではなく、ＧＮＳＳ受信部からの出力が入力されたプロセッサＣＰ２により実行されてよい。受信時刻の情報は、監視カメラ１０のシステム時刻の補正のためにも使用されてよい。システム時刻は、例えば撮像映像を構成する撮像画像の撮像時刻の記録等に利用される。

プロセッサＣＰ２は、通信部ＣＰ４により受信された外部からの制御コマンドに従って、撮像部ＣＰ１による撮影条件（例えば、ズーム倍率）を可変的に制御してもよい。例えば、外部からの制御コマンドがズーム倍率の変更を指示する場合、プロセッサＣＰ２は、その制御コマンドに従って、その制御コマンドで選択される撮像部の撮影時におけるズーム倍率を変更する。

プロセッサＣＰ２は、ストレージ１５に記録された撮像映像のデータを、通信部ＣＰ４を介して人物検索サーバ５０、顔検索サーバ６０および映像レコーダ７０のそれぞれに繰り返して送る。ここで、繰り返して送るとは、定められた一定周期の時間経過の度に送信することに限定されず、一定周期ではなく定められた不規則な時間間隔の経過の度に送信することも含まれてよく、複数回にわたって送信することを含む。

メモリＣＰ３は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）を用いて構成され、監視カメラ１０の動作の実行に必要なプログラム、さらには、動作中に生成された情報またはデータ等を一時的に保存する。ＲＡＭは、例えばプロセッサＣＰ２の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサＣＰ２を制御するためのプログラムを予め記憶する。また、メモリＣＰ３は、例えば監視カメラ１０を識別する識別情報（例えばシリアル番号）および各種設定情報を記憶する。

通信部ＣＰ４は、プロセッサＣＰ２の指示に基づいて、ネットワークＮＷ１を介して、ストレージ１５に記録された撮像映像のデータを人物検索サーバ５０、顔検索サーバ６０および映像レコーダ７０にそれぞれ送る。また、通信部ＣＰ４は、外部（例えばクライアント端末９０）から送られた監視カメラ１０の制御コマンドを受信したり、監視カメラ１０の状態情報を外部（例えばクライアント端末９０）に送信したりする。

ストレージＣＰ５は、監視カメラ１０に内蔵される半導体メモリ（例えばフラッシュメモリ）、または監視カメラ１０に内蔵されないメモリカード（例えばＳＤカード）などの外部記憶媒体を用いて構成される。ストレージＣＰ５は、プロセッサＣＰ２により生成された撮像映像のデータを、監視カメラ１０の識別情報および撮像日時の情報と対応付けて記録する。ストレージＣＰ５は、所定時間（例えば３０秒）分の撮像映像のデータを常時プリバッファリングして保持し、現在時刻より所定時間（例えば３０秒）前までの撮像映像のデータを上書きしながら蓄積し続ける。なお、ストレージＣＰ５がメモリカードで構成される場合、監視カメラ１０の筐体に挿抜自在に装着される。

図３は、人物検索サーバ５０およびクライアント端末９０のそれぞれの内部構成例を示すブロック図である。人物検索サーバ５０と顔検索サーバ６０とクライアント端末９０と映像レコーダ７０とは、ともに警察署内に設けられた有線ＬＡＮ（Local Area Network）等のイントラネットを用いて接続されるが、無線ＬＡＮ等の無線ネットワークを介して接続されてもよい。

人物検索サーバ５０は、通信部５１と、メモリ５２と、プロセッサＰＲＣ１と、ストレージ５６とを含む構成である。プロセッサＰＲＣ１は、メモリ５２に記憶されるプログラムの実行により、人物検索部５３と人物解析部５４と人物照合部５５とを機能的構成として有する。プロセッサＰＲＣ１は、例えばＣＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。プロセッサＰＲＣ１は、人物検索サーバ５０の制御部として機能し、人物検索サーバ５０の各部の動作を全体的に統括するための制御処理、人物検索サーバ５０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサＰＲＣ１は、メモリ５２に記憶されたプログラムに従って動作する。

通信部５１は、イントラネット等のネットワークＮＷ１を介して接続された監視カメラ１０，１１，…との間で通信を行い、監視カメラ１０，１１，…からそれぞれ送られた撮像映像のデータを受信する。通信部５１は、警察署内に設けられたイントラネット等のネットワークＮＷ２を介して、クライアント端末９０との間で通信を行い、クライアント端末９０から送られた注目人物（例えば事件等の容疑者）の検索要求を受信したり、その検索要求の応答を送信したりする。

メモリ５２は、例えばＲＡＭとＲＯＭを用いて構成され、人物検索サーバ５０の動作の実行に必要なプログラム、さらには、動作中に生成された情報またはデータ等を一時的に保存する。ＲＡＭは、例えばプロセッサＰＲＣ１の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサＰＲＣ１を制御するためのプログラムを予め記憶する。メモリ５２は、例えば人物検索サーバ５０を識別する識別情報（例えばシリアル番号）および各種設定情報を記憶する。

人物検索部５３は、クライアント端末９０から送られた容疑者の検索要求に基づいて、ストレージ５６に記録されているデータの中から、検索要求に含まれる検索特徴（検索条件の一例）を満たす人物（つまり容疑者）が映る撮像画像を検索する。人物検索部５３は、検索特徴を満たす人物の検索の際に、顔画像の照合処理に適する程度の顔画像（例えば顔が正面方向を向いている人物の顔画像）が抽出できるまで検索する。人物検索部５３は、検索結果を抽出し、その抽出された検索結果のデータを、通信部５１を介してクライアント端末９０に送る。

人物解析部５４は、例えばそれぞれの監視カメラ１０，１１，…からの撮像映像のデータがストレージ５６に保存される度に、その保存された撮像映像のデータを解析する。具体的には、人物解析部５４は、その撮像映像に映る人物（言い換えると、監視カメラが設置された地点の周囲に存在する人物）に関する情報を解析し、解析結果として取得する。例えば、人物解析部５４は、顔画像の照合処理に適する程度の顔画像（上述参照）が抽出できる人物の全身が撮像映像を構成する撮像画像（フレーム）内で特定できた場合に、その人物の全身が映る全身画像とその人物の顔が顔画像とをそれぞれ切り出し、解析結果として生成する。また、人物解析部５４は、例えばその人物の性別、年齢、身長、体型、服装、所持品、装着物、歩き方等の外見的な特徴情報と、人物の監視カメラの設置地点を通過する時の移動方向（言い換えると、通過方向）とを抽出し、解析結果として取得する。なお、この人物に関する情報の解析処理は、それぞれの監視カメラにおいて実行されてもよい。人物解析部５４は、例えば複数枚の撮像画像の時間的な差分に基づいて、人物の移動方向を判別可能である。移動方向は、例えば人物が監視カメラの設置地点（例えば横断歩道）をどの方向に移動して通過したかを示す。人物解析部５４は、人物に関する情報の解析結果と解析に用いた撮像映像の撮像日時および地点（つまり監視カメラの設置地点）とを関連付けてストレージ５６の解析情報データベース５６１に記録する。なお、添付図面では、「データベース」を「ＤＢ」と略記している。これにより、人物検索サーバ５０は、どの監視カメラの設置地点のいつの時点で撮像された撮像映像にどのような人物が存在していたかを明確に判別可能となる。

人物照合部５５は、クライアント端末９０から送られた容疑者の全身画像を照合処理用に登録し、監視カメラ１０，１１，…から送られた撮像映像の中に、この登録された全身画像と同一あるいは類似（言い換えると、合致）する人物の全身画像の有無を判断する処理（つまり照合処理）を行う。人物照合部５５は、登録された全身画像と同一あるいは類似する人物の全身画像を特定した場合に、その特定された全身画像と容疑者が発見された旨のアラーム通知とを関連付けてクライアント端末９０に送る。

ストレージ５６は、例えばハードディスク（ＨＤＤ：Hard Disk Drive）またはソリッドステートドライブ（ＳＳＤ：Solid State Drive）を用いて構成される。ストレージ５６は、監視カメラ１０，１１，…から送られた撮像映像のデータを、その撮像映像を撮像した監視カメラの識別情報（言い換えると、監視カメラの設置地点の位置情報）および撮像日時の情報と関連付けて記録する。また、ストレージ５６は、それぞれの監視カメラ１０，１１，…の設置地点の位置を示す道路地図情報も記録し、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図が更新される度に、更新後の道路地図情報を記録する。また、ストレージ５６は、それぞれの監視カメラとその監視カメラの設置地点の位置との対応関係を示す監視カメラ設置地点データを記録している。監視カメラ設置地点データは、例えば監視カメラの識別情報とその監視カメラの設置地点の位置情報（例えば緯度および経度）とが関連付けられている。従って、ストレージ５６は、監視カメラの撮像映像のデータを、撮像日時の情報、監視カメラ情報および設置地点情報と関連付けて記録している。なお、道路地図情報は、クライアント端末９０のメモリ９５にも記録される。

また、ストレージ５６は、解析情報データベース５６１および事案データベース５６２を有する。

解析情報データベース５６１は、人物解析部５４の解析結果（上述参照）を格納する。解析情報データベース５６１は、例えば人物検索部５３が容疑者等の注目人物の検索要求に含まれる検索特徴を満たす人物の全身画像および顔画像の抽出の際、あるいは人物照合部５５が容疑者等の注目人物の全身画像の照合処理の際に参照されてよい。

事案データベース５６２は、事件等の事案ごとに、事案が発生した日時、地点等の目撃情報ならびにその目撃情報およびクライアント端末９０からの注目人物の検索要求に基づいて人物検索部５３の検索結果に相当する事案詳細情報（例えば、地図データＭＰ１と検索条件と正面顔の映る全身が切り出された全身画像のデータ）を登録して格納する。事案詳細情報は、例えば、事案が発生した日時および地点等の事案情報、検索された人物のサムネイル画像、事案が発生した地点を含む周辺地図情報、人物の監視カメラの設置地点の通過時の移動方向および通過時刻、ユーザのメモ等のコメントを含む。なお、事案詳細情報は、上述した内容に限定されない。

クライアント端末９０は、操作部９１と、プロセッサ９２と、通信部９３と、ディスプレイ９４と、メモリ９５と、ストレージ９６とを含む構成である。クライアント端末９０は、警察署内の職員（即ち、ユーザである警官）により使用される。ユーザは、事件等の目撃者等によってその事件等の発生を通報するための電話があった場合、ヘッドセットＨＤＳを装着して電話に応対する。ヘッドセットＨＤＳは、クライアント端末９０に接続されて使用され、ユーザの発する音声を収音したり、話し相手（即ち、通報者）の発した音声を出力したりする。

操作部９１は、ユーザの操作を検出するユーザインターフェース（ＵＩ：User Interface）であり、マウスあるいはキーボード等を用いて構成される。操作部９１は、ユーザの操作に基づく信号をプロセッサ９２に出力する。操作部９１は、例えば、ユーザが調べる事件等の事案の発生日時および監視カメラの設置地点の撮像映像を確認したい場合、その日時および設置地点、人物の外見的な検索特徴を含む検索条件の入力を受け付ける。

プロセッサ９２は、例えばＣＰＵ、ＤＳＰまたはＦＰＧＡを用いて構成され、クライアント端末９０の制御部として機能し、クライアント端末９０の各部の動作を全体的に統括するための制御処理、クライアント端末９０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ９２は、メモリ９５に記憶されたプログラムに従って動作する。プロセッサ９２は、動作時にメモリ９５を使用し、現在の時刻情報を取得したり、人物検索サーバ５０あるいは顔検索サーバ６０から送られた容疑者等の注目人物の検索結果、あるいは映像レコーダ７０から送られた撮像映像をディスプレイ９４に表示したりする。また、プロセッサ９２は、操作部９１により入力された検索条件を含む容疑者等の注目人物の検索要求を生成し、その検索要求を、通信部９３を介して人物検索サーバ５０あるいは顔検索サーバ６０に送信する。

通信部９３は、イントラネット等のネットワークＮＷ２を介して接続された人物検索サーバ５０、顔検索サーバ６０あるいは映像レコーダ７０との間で通信を行う。例えば、通信部９３は、人物検索サーバ５０あるいは顔検索サーバ６０に対してプロセッサ９２が生成した検索要求を送信したり、人物検索サーバ５０あるいは顔検索サーバ６０から送られた容疑者等の注目人物の検索結果を受信したりする。また、通信部９３は、映像レコーダ７０に対してプロセッサ９２が生成した撮像映像の取得要求を送信したり、その取得要求に対応する映像レコーダ７０から送られた撮像映像を受信したりする。

ディスプレイ９４は、例えばＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electroluminescence）等の表示デバイスを用いて構成され、プロセッサ９２から送られた各種のデータを表示する。

メモリ９５は、例えばＲＡＭとＲＯＭを用いて構成され、クライアント端末９０の動作の実行に必要なプログラム、さらには、動作中に生成された情報またはデータ等を一時的に保存する。ＲＡＭは、例えばプロセッサ９２の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサ９２を制御するためのプログラムおよびデータを予め記憶する。また、メモリ９５は、例えばクライアント端末９０を識別する識別情報（例えばシリアル番号）および各種設定情報を記憶する。

ストレージ９６は、例えばハードディスクドライブまたはソリッドステートドライブを用いて構成される。ストレージ９６は、それぞれの監視カメラ１０，１１，…の設置地点の位置を示す道路地図情報も記録し、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図が更新される度に、更新後の道路地図情報を記録する。また、ストレージ９６は、それぞれの監視カメラとその監視カメラの設置地点の位置との対応関係を示す監視カメラ設置地点データを記録している。監視カメラ設置地点データは、例えば監視カメラの識別情報とその監視カメラの設置地点の位置情報（例えば緯度および経度）とが関連付けられている。従って、ストレージ９６は、監視カメラの撮像映像のデータを、撮像日時の情報、監視カメラ情報および設置地点情報と関連付けて記録している。

図４は、顔検索サーバ６０の内部構成例を示すブロック図である。顔検索サーバ６０は、通信部６１と、メモリ６２と、プロセッサＰＲＣ２と、ストレージ６６とを含む構成である。プロセッサＰＲＣ２は、メモリ６２に記憶されるプログラムの実行により、顔解析部６４と顔照合部６５とを機能的構成として有する。プロセッサＰＲＣ２は、例えばＣＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。プロセッサＰＲＣ２は、顔検索サーバ６０の制御部として機能し、顔検索サーバ６０の各部の動作を全体的に統括するための制御処理、顔検索サーバ６０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサＰＲＣ２は、メモリ６２に記憶されたプログラムに従って動作する。

通信部６１は、イントラネット等のネットワークＮＷ１を介して接続された監視カメラ１０，１１，…との間で通信を行い、監視カメラ１０，１１，…からそれぞれ送られた撮像映像のデータを受信する。通信部６１は、警察署内に設けられたイントラネット等のネットワークＮＷ２を介して、クライアント端末９０との間で通信を行い、クライアント端末９０から送られた容疑者等の注目人物の顔の照合処理の実行要求を受信したり、その照合処理の応答を送信したりする。

メモリ６２は、例えばＲＡＭとＲＯＭを用いて構成され、顔検索サーバ６０の動作の実行に必要なプログラム、さらには、動作中に生成された情報またはデータ等を一時的に保存する。ＲＡＭは、例えばプロセッサＰＲＣ２の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサＰＲＣ２を制御するためのプログラムを予め記憶する。メモリ６２は、例えば顔検索サーバ６０を識別する識別情報（例えばシリアル番号）および各種設定情報を記憶する。

顔解析部６４は、例えばそれぞれの監視カメラ１０，１１，…からの撮像映像のデータがストレージ６６に保存される度に、その保存された撮像映像のデータを解析する。具体的には、顔解析部６４は、その撮像映像に映る人物（言い換えると、監視カメラが設置された地点の周囲に存在する人物）の顔に関する情報を解析し、解析結果として取得する。例えば、顔解析部６４は、顔画像の照合処理に適する程度の顔画像（上述参照）が撮像映像を構成する撮像画像（フレーム）内で特定できた場合に、その顔画像を切り出し、解析結果として生成する。また、顔解析部６４は、例えばその顔の外見的な特徴情報と、その顔に対応する人物の監視カメラの設置地点を通過する時の移動方向（言い換えると、通過方向）とを抽出し、解析結果として取得する。なお、この顔に関する情報の解析処理は、それぞれの監視カメラにおいて実行されてもよい。顔解析部６４は、例えば複数枚の撮像画像の時間的な差分に基づいて、人物の移動方向を判別可能である。移動方向は、例えば人物が監視カメラの設置地点（例えば横断歩道）をどの方向に移動して通過したかを示す。顔解析部６４は、人物の顔に関する情報の解析結果と解析に用いた撮像映像の撮像日時および地点（つまり監視カメラの設置地点）とを関連付けてストレージ６６の解析情報データベース５６１に記録する。これにより、顔検索サーバ６０は、どの監視カメラの設置地点のいつの時点で撮像された撮像映像にどのような顔の人物が存在していたかを明確に判別可能となる。

顔照合部６５は、クライアント端末９０から送られた容疑者の顔画像を照合処理用に登録し、監視カメラ１０，１１，…から送られた撮像映像の中に、この登録された顔画像と同一あるいは類似（言い換えると、合致）する人物の顔画像の有無を判断する処理（つまり照合処理）を行う。顔照合部６５は、登録された顔画像と同一あるいは類似する人物の顔画像を特定した場合に、その特定された顔画像と容疑者が発見された旨のアラーム通知とを関連付けてクライアント端末９０に送る。

ストレージ６６は、例えばハードディスク（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）を用いて構成される。ストレージ６６は、監視カメラ１０，１１，…から送られた撮像映像のデータを、その撮像映像を撮像した監視カメラの識別情報（言い換えると、監視カメラの設置地点の位置情報）および撮像日時の情報と関連付けて記録する。また、ストレージ６６は、それぞれの監視カメラ１０，１１，…の設置地点の位置を示す道路地図情報も記録し、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図が更新される度に、更新後の道路地図情報を記録する。また、ストレージ６６は、それぞれの監視カメラとその監視カメラの設置地点の位置との対応関係を示す監視カメラ設置地点データを記録している。監視カメラ設置地点データは、例えば監視カメラの識別情報とその監視カメラの設置地点の位置情報（例えば緯度および経度）とが関連付けられている。従って、ストレージ６６は、監視カメラの撮像映像のデータを、撮像日時の情報、監視カメラ情報および設置地点情報と関連付けて記録している。

また、ストレージ６６は、解析情報データベース６６１を有する。

解析情報データベース６６１は、顔解析部６４の解析結果（上述参照）を格納する。解析情報データベース６６１は、例えば顔照合部６５が容疑者等の注目人物の顔画像の照合処理の際に参照されてよい。

図５は、映像レコーダ７０の内部構成例を示すブロック図である。映像レコーダ７０は、イントラネット等のネットワークＮＷ１を介して監視カメラ１０，１１，…のそれぞれとの間で通信可能に接続され、また、イントラネット等のネットワークＮＷ２を介して人物検索サーバ５０、顔検索サーバ６０およびクライアント端末９０との間で通信可能に接続されている。

映像レコーダ７０は、通信部７１と、メモリ７２と、プロセッサＰＲＣ３と、ストレージ７５とを含む構成である。プロセッサＰＲＣ３は、メモリ７２に記憶されるプログラムの実行により、映像検索部７３と映像記録処理部７４とを機能的構成として有する。プロセッサＰＲＣ３は、例えばＣＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。プロセッサＰＲＣ３は、映像レコーダ７０の制御部として機能し、映像レコーダ７０の各部の動作を全体的に統括するための制御処理、映像レコーダ７０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサＰＲＣ３は、メモリ７２に記憶されたプログラムに従って動作する。

通信部７１は、イントラネット等のネットワークＮＷ１を介して接続された監視カメラ１０，１１，…のそれぞれとの間で通信を行い、監視カメラ１０，１１，…のそれぞれから送られた撮像映像のデータを受信する。また、通信部７１は、警察署内に設けられたイントラネット等のネットワークＮＷ２を介して、クライアント端末９０との間で通信を行い、クライアント端末９０から送られた映像要求を受信したり、その映像要求の応答を送信したりする。

メモリ７２は、例えばＲＡＭとＲＯＭを用いて構成され、映像レコーダ７０の動作の実行に必要なプログラム、さらには、動作中に生成された情報またはデータ等を一時的に保存する。ＲＡＭは、例えばプロセッサＰＲＣ３の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサＰＲＣ３を制御するためのプログラムおよびデータを予め記憶する。また、メモリ７２は、例えば映像レコーダ７０を識別する識別情報（例えばシリアル番号）および各種設定情報を記憶する。

映像検索部７３は、クライアント端末９０から送られた映像要求に基づいて、その映像要求に合致する監視カメラの撮像映像を、ストレージ７６を検索することで抽出する。映像検索部７３は、抽出された撮像映像のデータを、通信部７１を介してクライアント端末９０に送る。

映像記録処理部７４は、例えば監視カメラ１０，１１，…のそれぞれからの撮像映像のデータが通信部７１において受信される度に、その受信された撮像映像のデータをストレージ７６に記録する。

ストレージ７６は、例えばハードディスクまたはソリッドステートドライブを用いて構成される。ストレージ７６は、監視カメラ１０，１１，…のそれぞれから送られた撮像映像のデータを、その撮像映像を撮像した監視カメラの識別情報（言い換えると、監視カメラの設置地点の位置情報）および撮像日時の情報と関連付けて記録する。

次に、警察捜査の際に、クライアント端末９０のディスプレイ９４に表示される各種の画面例について、図６から図１０を参照して説明する。図６～図１０の説明において、図中に示される要素と同一の要素については同一の符号を参照して説明を簡略化あるいは省略する。

警察捜査において、クライアント端末９０は、警官（ユーザの一例）の操作により、予めインストールされている人物監視アプリケーション（以下「人物監視アプリ」）を起動して実行中である。なお、この人物監視アプリのプログラムおよびデータは、クライアント端末９０のメモリ９５のＲＯＭ内に格納されている。人物監視アプリは、警官の操作により、プロセッサ９２により起動されて実行される。なお、人物監視アプリの起動中においてプロセッサ９２により作成される各種のデータあるいは情報は、一時的にメモリ９５のＲＡＭに保持される。

図６は、監視カメラが設置された地点を含む地図データを表示する人物監視画面ＷＤ１の一例を示す図である。プロセッサ９２は、ユーザ操作による人物監視アプリの起動後に人物監視画面ＷＤ１をディスプレイ９４に表示する。人物監視画面ＷＤ１は、クライアント端末９０のストレージ９６に記録されている道路地図情報に対応する地図データＭＰ１と複数の検索条件の入力欄との両方が並べて表示される構成である。以下の説明において、プロセッサ９２により実行される人物監視アプリは、その実行中に人物検索サーバ５０、顔検索サーバ６０あるいは映像レコーダ７０との間で通信を行う。

地図データＭＰ１上には、施設（例えばショッピングセンターの敷地）内に設置された第１の監視カメラの設置位置を示すアイコンＰｔ１と、第２の監視カメラの設置位置を示すアイコンＰｔ２と、第３の監視カメラの設置位置を示すアイコンＰｔ３と、第４の監視カメラの設置位置を示すアイコンＰｔ４とがそれぞれ判別可能に示されている。以下の説明において、監視カメラの設置台数を示すパラメータｎ（ｎ：２以上の整数）として「４」を例示する。また、第１の監視カメラ、第２の監視カメラ、第３の監視カメラおよび第４の監視カメラは、いずれも図２に示す監視カメラ１０，１１，…のそれぞれと同一の構成を有している。

人物監視アプリは、ユーザ操作により、カメラ選択枠ＡＳＷＫ１を地図データＭＰ１上に表示する。カメラ選択枠ＡＳＷＫ１は、人物監視画面ＷＤ１に表示される監視カメラの撮像映像ＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４（例えばライブ映像）の選択に用いられる。図６では、ユーザ操作により、第１～第４の監視カメラの４台がカメラ選択枠ＡＳＷＫ１により選択されている。人物監視アプリは、カメラ選択枠ＡＳＷＫ１により選択された監視カメラ（具体的には、第１～第４の監視カメラ）の設置地点が人物監視画面ＷＤ１における撮像映像の表示対象であることを示す地点選択枠ＳＥＬ０を人物監視画面ＷＤ１に表示する。なお、カメラ選択枠ＡＳＷＫ１は図６では矩形状であるが、この形状に限定されず、円、楕円、三角等のよく知られた各種の形状のうちいずれかであってよい。

図６に示すように、ユーザ操作により、地図データＭＰ１においてｎ（＝４）台の監視カメラがカメラ選択枠ＡＳＷＫ１により選択済みである。人物監視アプリは、カメラ選択枠ＡＳＷＫ１により選択済みであることを示すために、アイコンＰｔ１～Ｐｔ４の表示態様を選択されていない監視カメラのアイコンよりも識別し易くなるように表示してよい。例えば、人物監視アプリは、アイコンＰｔ１～Ｐｔ４を特定色（例えば赤色）で表示し、地点選択枠ＳＥＬ０の第１～第４の監視カメラのそれぞれに対応する「Ｐｏｉｎｔ１」，「Ｐｏｉｎｔ２」，「Ｐｏｉｎｔ３」，「Ｐｏｉｎｔ４」を識別し易くなるように表示する。

人物監視アプリは、アイコンＰｔ１，Ｐｔ２，Ｐｔ３，Ｐｔ４のそれぞれ（言い換えると、「Ｐｏｉｎｔ１」，「Ｐｏｉｎｔ２」，「Ｐｏｉｎｔ３」，「Ｐｏｉｎｔ４」のそれぞれ）に設置された監視カメラの撮像映像ＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４（ライブ映像）の画面を、撮像時刻および撮像地点名とともに人物監視画面ＷＤ１に表示する。なお、図６では、撮像映像ＭＶ１～ＭＶ４のそれぞれの画面において、撮像時刻および撮像地点名の図示は省略されている。

人物監視アプリは、警察捜査における容疑者等の注目人物の検索を支援するための各種のボタンを人物監視画面ＷＤ１に表示する。例えば、検索の対象期間の開始日時を選択するための期間開始ボタンＤＢ１と、検索の対象期間の終了日時を選択するための期間終了ボタンＤＥ１と、検索される容疑者の外見的なイメージを示す検索対象人物像表示枠ＰＬ１とが配置される。

人物監視アプリは、容疑者の検索において、２種類の検索方法の検索要求を人物検索サーバ５０に実行できる。第１の検索方法は、メタサーチであり、例えば図７に示す詳細設定画面ＤＴＬ１において設定されるメタ情報に基づいて、そのメタ情報に相当する撮像画像上の特徴点の類似度が同一あるいは閾値以上となる特徴点を有する容疑者を検索する方法である。人物監視アプリは、このメタサーチを人物検索サーバ５０に要求するためのメタサーチボタンＭＳ１を人物監視画面ＷＤ１に表示する。第２の検索方法は、イメージサーチであり、例えば図８において選択されたサムネイル画像Ｘｐｃ１のイメージデータに基づいて、そのイメージデータの撮像画像上の特徴点の類似度が同一あるいは閾値以上となる特徴点を有する容疑者を検索する方法である。人物監視アプリは、このイメージサーチを人物検索サーバ５０に要求するためのイメージサーチボタンＩＳ１を人物監視画面ＷＤ１に表示する。

なお、人物監視アプリは、上述した第１の検索方法および第２の検索方法の両方を併用した検索の検索要求を生成して人物検索サーバ５０に検索を実行させてもよい。

人物監視アプリは、人物監視画面ＷＤ１における容疑者の検索結果のデータを事案レポートとして保存するためのレポートボタンＲＰ１を人物監視画面ＷＤ１に表示する。ユーザ操作によりレポートボタンＲＰ１が押下されると、人物監視アプリは、人物監視画面ＷＤ１に表示されている少なくとも１人の容疑者の検索結果のデータ（例えば地図データＭＰ１と日付等の検索条件とユーザのコメントと切り出されたサムネイル画像のデータ、図１０参照）を事案レポートとしてストレージ９６に保存する。また、クライアント端末９０は、事案レポートのデータを事案レポートの識別情報（例えばファイル名）と対応付けて人物検索サーバ５０に送ってよい。人物検索サーバ５０は、事案レポートの識別情報（例えばファイル名）に対応付けられる事案レポートのデータを事案ＤＢ５６２に保存する。

人物監視アプリは、表示中の人物監視画面ＷＤ１を初期状態（言い換えると、容疑者の検索開始前）の人物監視画面ＷＤ１に戻すためのリセットボタンＲＳ１を人物監視画面ＷＤ１に表示する。これにより、ユーザは、例えば人物監視画面ＷＤ１における容疑者の検索の際に間違った操作を行った場合等に、容疑者の検索を最初から簡易にやり直すことができる。

図７は、容疑者の検索特徴の詳細設定画面ＤＴＬ１の一例を示す図である。人物監視アプリは、所定のユーザ操作により、容疑者を検索するための検索条件の３大要素として、主に日付ＡＳＭ１（Ｔｉｍｅ＆Ｄａｔｅ）と、特徴ＡＳＭ２（Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）と、服装ＡＳＭ３（Ｄｅｃｏｒａｔｉｏｎ）とをユーザに設定可能な詳細設定画面ＤＴＬ１を人物監視画面ＷＤ１に表示する。人物監視アプリは、ユーザ操作により特徴ＡＳＭ２および服装ＡＳＭ３のそれぞれの設定により特定される検索対象人物像ＩＰＳ１を詳細設定画面ＤＴＬ１に表示する。これにより、ユーザは、自ら設定した特徴ＡＳＭ２および服装ＡＳＭ３のそれぞれに相当する検索対象人物像ＩＰＳ１を視覚的に把握でき、自らの設定の是非を簡易に判断できる。例えば図７では、検索対象人物像ＩＰＳ１は、容疑者として、日付ＡＳＭ１により特定される期間に、特徴ＡＳＭ２および服装ＡＳＭ３を満たす黒い鞄ＢＧ１を所持する人物像が容疑者として選択されている。

日付ＡＳＭ１には、容疑者の検索期間の開始日時および終了日時がそれぞれ設定される。例えば、ユーザ操作により、日付ＡＳＭ１が入力される。これにより、ユーザ操作により、容疑者の検索期間の開始日時および終了日時が簡単に設定可能となる。例えば図７では、日付ＡＳＭ１として、「２０１８年７月２９日の午前０時０分０秒」から「２０１８年１０月４日の午前０時０分０秒」が入力されている。

特徴ＡＳＭ２には、容疑者の外見に関する情報の選択肢が選択可能に表示される。表示される選択肢は、性別に関する選択肢（具体的には「Ｍａｌｅ」あるいは「Ｆｅｍａｌｅ」）と、年齢に関する選択肢（具体的には「Ｙｏｕｎｇｅｒ」、「Ｍｉｄｄｌｅ」あるいは「Ｏｌｄｅｒ」）と、身長に関する選択肢（具体的には「Ｓｍａｌｌ」、「Ｎｏｒｍａｌ」あるいは「Ｌａｒｇｅ」）と、体型に関する選択肢（具体的には「Ｓｌｉｍ」、「Ｎｏｒｍａｌ」あるいは「Ｔｈｉｃｋ）である。これにより、ユーザは、容疑者の性別、年齢、伸長、体型等の外見的な特徴をきめ細かく設定できる。例えば図７では、特徴ＡＳＭ２として、「男性（Ｍａｌｅ）」の選択肢ＳＬ１、「年配（Ｏｌｄｅｒ）」の選択肢ＳＬ２、「細身（Ｓｌｉｍ）」の選択肢ＳＬ３が選択されている。

服装ＡＳＭ３には、容疑者の外見に関する情報の選択肢が選択可能に表示される。表示される選択肢は、所持品に関する選択肢（具体的には「Ｗｉｔｈ Ｂａｇ」あるいは「Ｎｏ Ｂａｇ」）と、装着物に関する選択肢（具体的には「Ｗｉｔｈ Ｈａｔ」あるいは「Ｎｏ Ｈａｔ」）と、上半身の服装に関する選択肢（具体的には「Ｌｏｎｇ Ｓｌｅｅｖｅｄ」、「Ｓｈｏｒｔ Ｓｌｅｅｖｅｄ」あるいは「Ｏｔｈｅｒｓ」）と、下半身の服装に関する選択肢（具体的には「Ｌｏｎｇ Ｐａｎｔｓ」、「Ｓｈｏｒｔ Ｐａｎｔｓ」、「Ｓｋｉｒｔ」あるいは「Ｏｔｈｅｒｓ」）と、髪型に関する選択肢（具体的には「Ｌｏｎｇ Ｈａｉｒ」、「Ｓｈｏｒｔ Ｈａｉｒ」、「Ｎｏ Ｈａｉｒ」あるいは「Ｏｔｈｅｒｓ」）である。また、服装、所持品、装着物についてはそれぞれ色が選択可能なパレットＣＬＰ１が詳細設定画面ＤＴＬ１に設けられている。例えば、灰色（Ｇｒａｙ）、黒色（Ｂｌａｃｋ）、白色（Ｗｈｉｔｅ）、赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ）、黄色（Ｙｅｌｌｏｗ）、橙色（Ｏｒａｎｇｅ）、茶色（Ｂｒｏｗｎ）、紫色（Ｐｕｒｐｌｅ）、その他（Ｆｒｅｅ）から選択可能である。これにより、ユーザは、容疑者の服装等に関する外見的な特徴をきめ細かく選択できる。例えば図７では、服装ＡＳＭ３として、「鞄持ち（Ｗｉｔｈ Ｂａｇ）」の選択肢ＳＬ４が選択されている。

図８は、図７の詳細設定画面ＤＴＬ１で設定された検索特徴を検索条件として用いたメタサーチによる人物検索結果を時系列に表示する人物監視画面ＷＤ１の一例を示す図である。人物監視アプリは、図７に示す詳細設定画面ＤＴＬ１において選択された検索対象人物像ＩＰＳ１と一部の検索条件のテキストとを検索対象人物像表示枠ＰＬ１に表示する。

人物監視アプリは、検索対象人物像表示枠ＰＬ１に検索対象人物像ＩＰＳ１が表示された状態で、ユーザ操作によりメタサーチボタンＭＳ１が押下されたことを検知する。この場合、人物監視アプリは、検索対象人物像表示枠ＰＬ１に表示された検索対象人物像ＩＰＳ１を特定する各種の検索特徴（図７参照）と検索対象となる監視カメラの識別情報とを含む容疑者の検索要求を生成し、通信部９３を介して人物検索サーバ５０に送信する。人物検索サーバ５０は、クライアント端末９０から送られた検索要求を受信すると、ストレージ５６の解析情報データベース５６１に保存された解析結果を用いて、メタサーチにより、検索条件を満たす容疑者と同一あるいは類似する人物（例えば予め指定された閾値以上の類似度が得られた人物）を検索する。人物検索サーバ５０は、検索結果をクライアント端末９０に送る。

人物監視アプリは、通信部９３を介して受信された検索結果を取得すると、容疑者（つまり検索対象人物像ＩＰＳ１）と同一あるいは類似する人物を切り出したサムネイル画像Ｘｐｃ１，Ｘｐｃ２，Ｘｐｃ３，Ｘｐｃ４，Ｘｐｃ５，Ｘｐｃ６，Ｘｐｃ７，Ｘｐｃ８，Ｘｐｃ９，Ｘｐｃ１０を並べて表示する。

例えば、人物監視アプリは、容疑者（つまり検索対象人物像ＩＰＳ１）と同一あるいは類似する人物のサムネイル画像Ｘｐｃ１～Ｘｐｃ１０を、検索対象人物像ＩＰＳ１と同一あるいは類似する順に表示してよい。これにより、ユーザは、表示されたサムネイル画像を優先的に確認することで、自ら把握したい容疑者を早期に発見できる。

例えば、人物監視アプリは、容疑者（つまり検索対象人物像ＩＰＳ１）と同一あるいは類似する人物のサムネイル画像Ｘｐｃ１～Ｘｐｃ１０を、それぞれのサムネイル画像が撮像された撮像時刻の順（例えば、撮像時刻の古い順あるいは新しい順）に時系列に表示してよい。これにより、ユーザは、撮像時刻の古い順あるいは新しい順に表示されたサムネイル画像を優先的に確認することで、自ら把握したい容疑者を早期に発見できる。

例えば、人物監視アプリは、容疑者（つまり検索対象人物像ＩＰＳ１）と同一あるいは類似する人物のサムネイル画像Ｘｐｃ１～Ｘｐｃ１０を、それぞれのサムネイル画像に対応する監視カメラの設置地点ごとに纏めて表示してよい。これにより、ユーザは、容疑者の存在する可能性のある監視カメラの設置地点を把握している場合等に、該当する設置地点に対応して纏めて表示された一個あるいは複数個のサムネイル画像を優先的に確認することで、自ら把握したい容疑者を早期に発見できる。

ここで、ユーザは、複数のサムネイル画像Ｘｐｃ１～Ｘｐｃ１０の中で、サムネイル画像Ｘｐｃ１の人物が容疑者かもしれないと注目したとする。人物監視アプリは、ユーザ操作により、サムネイル画像Ｘｐｃ１が選択されて検索対象人物像表示枠ＰＬ１に移動されかつイメージサーチボタンＩＳ１が押下された場合、サムネイル画像Ｘｐｃ１の人物と同一あるいは類似する人物の検索要求を人物検索サーバ５０に送る。同様に、人物検索サーバ５０は、クライアント端末９０から送られた検索要求に従って、サムネイル画像Ｘｐｃ１の人物と同一あるいは類似する人物を検索（イメージサーチ）し、その検索結果をクライアント端末９０に送る。

図９は、図８のサムネイル画像Ｘｐｃ１を検索条件として用いたイメージサーチによる人物検索結果を時系列に表示する人物監視画面ＷＤ１の一例を示す図である。人物監視アプリは、サムネイル画像Ｘｐｃ１の人物と同一あるいは類似する上述したイメージサーチの検索結果として、３人の人物に対応するサムネイル画像Ｘｐｃ１，Ｘｐｃ５，Ｘｐｃ８を並べて人物監視画面ＷＤ１に表示する。なお、人物監視アプリは、図８において検索対象人物像表示枠ＰＬ１にサムネイル画像Ｘｐｃ１がユーザ操作により移動された際、その移動前の検索（メタサーチ）の検索特徴として使用されていたメタ情報の一部（例えば、「Ｍａｌｅ」，「Ｍｉｄｄｌｅ」，「Ｎｏｒｍａｌ」，「Ｗｉｔｈ Ｂａｇ」）のテキストをイメージサーチの際に使用（つまり、メタサーチとイメージサーチとの併用）を行ってもよいし、単に画像の類似度に基づいて検索するイメージサーチを行ってもよい。

ここで、ユーザは、複数のサムネイル画像Ｘｐｃ１，Ｘｐｃ５，Ｘｐｃ８の中で、サムネイル画像Ｘｐｃ５の人物が気になったとする。人物監視アプリは、ユーザ操作により、サムネイル画像Ｘｐｃ５が押下された場合、その押下されたサムネイル画像Ｘｐｃ５に対応する撮像映像ＭＶ１（つまり、サムネイル画像Ｘｐｃ５の人物が撮像された時点の監視カメラの撮像映像）を再生可能な撮像映像再生画面を表示する。人物監視アプリは、この再生画面において、「再生」、「一時停止」、「早送り」、「早戻し」、「最初に戻す」、「次に進む」等の各種のユーザ操作を受け付けるためのアイコンを配置して表示する。

人物監視アプリは、撮像映像ＭＶ１の再生画面の表示に連動して、サムネイル画像Ｘｐｃ５の人物が第１～第４の監視カメラの設置地点を通過した時の移動方向を地図データＭＰ１に重畳して表示する（図９参照）。例えば、人物監視アプリは、アイコンＰｔ１が示す監視カメラの設置地点の方向ＤＲＣ１、アイコンＰｔ２が示す監視カメラの設置地点の方向ＤＲＣ２、アイコンＰｔ４が示す監視カメラの設置地点の方向ＤＲＣ３をそれぞれ地図データＭＰ１に重畳して表示する。これにより、ユーザが自ら気になる人物（例えば容疑者）が監視カメラの設置地点を通過した時の移動方向が地図データＭＰ１上に示されるので、ユーザは、その注目人物（例えば容疑者）の移動方向（言い換えると、逃走方向あるいは逃走経路）を視覚的かつ容易に把握できる。

なお、人物監視アプリは、撮像映像ＭＶ１の再生画面の表示に連動した時に限らず、例えば図８においていずれかのサムネイル画像がユーザ操作により押下された時にも、その押下されたサムネイル画像の人物が第１～第４の監視カメラの設置地点のそれぞれを通過した時の移動方向を地図データＭＰ１に重畳して表示してよい。これにより、クライアント端末９０は、イメージサーチでもメタサーチにおいても、ユーザ操作により指定されたサムネイル画像の人物（例えば容疑者）の逃走方向を地図データＭＰ１上に表示できるので、容疑者等の注目人物の早期発見を効果的に支援できる。

図１０は、レポート画面ＲＰＴ１から選択されたサムネイル画像Ｘｐｃ１に対応する人物の撮像映像再生画面が重畳された人物監視画面ＷＤ１の一例を示す図である。ユーザ操作によりレポートボタンＲＰ１が押下されると、人物監視アプリは、図１０に示すレポート画面ＲＰＴ１を人物監視画面ＷＤ１に重畳して表示する。レポート画面ＲＰＴ１は、例えば、レポートボタンＲＰ１が押下される直前の人物監視画面ＷＤ１（例えば図９参照）において並べて表示されていた１以上のサムネイル画像Ｘｐｃ１，Ｘｐｃ５，Ｘｐｃ８と、それぞれのサムネイル画像に関するデータ（例えばそのサムネイル画像の撮像日時、監視カメラの設置地点）と、ユーザのメモ等のコメントと、地図データとが少なくとも配置された画面である。

ここで、ユーザ操作によりレポート画面ＲＰＴ１のサムネイル画像Ｘｐｃ８が押下されると、人物監視アプリは、そのサムネイル画像Ｘｐｃ８に対応する撮像映像ＭＶ２（つまり、サムネイル画像Ｘｐｃ８の人物が撮像された時点の監視カメラの撮像映像）を再生可能な撮像映像再生画面を表示する。この撮像映像再生画面では、サムネイル画像Ｘｐｃ８の人物の略全身が正面方向を向いており、その人物の顔もユーザにとって判別可能な程度に正面方向を向いている。なお、図９に示す撮像映像再生画面および図１０に示す撮像映像再生画面においても、人物監視アプリは、再生中の撮像映像に映る人物の顔を示す顔枠ＦＷＫ１を重畳して表示するとともに、その同一の人物の全身を示す全身枠ＡＷＫ１を重畳して表示してよい。これにより、ユーザは、再生中の撮像映像に映る人物の顔および全身を瞬時に判別可能となり、容疑者となり得る人物の特徴を早期に把握できる。

次に、実施の形態１に係る人物監視システム１の動作手順について、図１１を参照して説明する。図１１は、実施の形態１に係る人物監視システム１の動作手順の一例を示すシーケンス図である。図１１では、２台の監視カメラ（例えば、図６のアイコンＰｔ１の地点に設置された監視カメラＣ１、アイコンＰｔ２の地点に設置された監視カメラＣ２）が例示されているが、３台以上の監視カメラが例示されてもよい。

図１１において、監視カメラＣ１は、電源オンの間には常時撮像しており撮像映像のデータを映像レコーダ７０に送る（Ｓｔ１）。同様に、監視カメラＣ２は、電源オンの間には常時撮像しており撮像映像のデータを映像レコーダ７０に送る（Ｓｔ２）。映像レコーダ７０は、監視カメラＣ１，Ｃ２のそれぞれから送られた撮像映像のデータを常時録画（記録）している（Ｓｔ３）。

監視カメラＣ１は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ４）。同様に、監視カメラＣ２は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ５）。なお、顔検索サーバ６０は、監視カメラＣ１，Ｃ２のそれぞれからでなく、例えば映像レコーダ７０から直接に監視カメラＣ１，Ｃ２のそれぞれの撮像映像のデータを取得してもよい。顔検索サーバ６０は、監視カメラＣ１，Ｃ２のそれぞれから送られた撮像映像のデータを解析し、その撮像映像に映る人物の顔に関する情報を解析結果として抽出する（Ｓｔ６）。人物の顔に関する情報には、例えば撮像映像を構成する撮像画像に映る顔を切り出した顔画像のデータも含まれる。顔検索サーバ６０は、ステップＳｔ６において抽出された解析結果を顔特徴情報としてストレージ６６に保存する（Ｓｔ７）。

また、監視カメラＣ１は、撮像映像のデータを人物検索サーバ５０に送る（Ｓｔ８）。同様に、監視カメラＣ２は、撮像映像のデータを人物検索サーバ５０に送る（Ｓｔ９）。なお、人物検索サーバ５０は、監視カメラＣ１，Ｃ２のそれぞれからでなく、例えば映像レコーダ７０から直接に監視カメラＣ１，Ｃ２のそれぞれの撮像映像のデータを取得してもよい。人物検索サーバ５０は、監視カメラＣ１，Ｃ２のそれぞれから送られた撮像映像のデータを解析し、その撮像映像に映る人物に関する情報を解析結果として抽出する（Ｓｔ１０）。人物に関する情報には、例えば撮像映像を構成する撮像画像に映る人物の全身を切り出した全身画像のデータも含まれる。人物検索サーバ５０は、ステップＳｔ１０において抽出された解析結果を人物特徴情報としてストレージ５６に保存する（Ｓｔ１１）。なお、ステップＳｔ１～ステップＳｔ１１の処理は、監視カメラＣ１，Ｃ２、映像レコーダ７０、人物検索サーバ５０および顔検索サーバ６０のいずれもが電源オンである間には繰り返して実行される。

クライアント端末９０（例えば人物監視アプリ）は、目撃者等からの通報によって情報提供を受けたユーザの操作により、容疑者を検索するための検索特徴の入力を受け付けると（Ｓｔ１２）、その検索条件を満たす容疑者の検索要求を生成して人物検索サーバ５０に送る（Ｓｔ１３）。人物検索サーバ５０は、クライアント端末９０からの検索要求に従い、その検索要求に含まれる検索特徴（検索条件）を満たす人物の検索（例えばメタサーチ）の際に、後述する顔画像の照合処理（ステップＳｔ２３参照）に適する程度の顔画像（例えば顔が正面方向を向いている人物の顔画像）が抽出できるまで繰り返して検索する（Ｓｔ１４）。人物検索サーバ５０は、ステップＳｔ１４の検索結果のデータをクライアント端末９０に送信する（Ｓｔ１５）。

クライアント端末９０（例えば人物監視アプリ）は、ステップＳｔ１５において人物検索サーバ５０から送られた検索結果のデータを用いて、検索特徴を満たす人物の監視状況を示す人物監視画面ＷＤ１（例えば図８参照）を生成して表示する（Ｓｔ１６）。ステップＳｔ１６において表示される人物監視画面ＷＤ１に対するユーザの操作により、ユーザは、追跡対象となる容疑者の画像（具体的には、容疑者の顔画像ＦＣ１、容疑者の全身画像ＰＳ１）を特定したとする。

クライアント端末９０は、ユーザの操作により、その特定された容疑者の全身画像ＰＳ１を全身画像の照合処理用に登録するための登録要求を生成し（Ｓｔ１６）、その容疑者の全身画像ＰＳ１を登録要求に含めて人物検索サーバ５０に送信する（Ｓｔ１７）。同様に、クライアント端末９０は、ユーザの操作により、その特定された容疑者の顔画像ＦＣ１を顔画像の照合処理用に登録するための登録要求を生成し（Ｓｔ１６）、その容疑者の顔画像ＦＣ１を登録要求に含めて顔検索サーバ６０に送信する（Ｓｔ１８）。人物検索サーバ５０は、ステップＳｔ１７において送られた登録要求に従い、その登録要求に含まれる容疑者の全身画像ＰＳ１を全身画像の照合処理用に登録する（Ｓｔ１９）。同様に、顔検索サーバ６０は、ステップＳｔ１８において送られた登録要求に従い、その登録要求に含まれる容疑者の顔画像ＦＣ１を顔画像の照合処理用に登録する（Ｓｔ２０）。

監視カメラＣ１は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２１）。同様に、監視カメラＣ２は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２２）。なお、顔検索サーバ６０は、監視カメラＣ１，Ｃ２のそれぞれからでなく、例えば映像レコーダ７０から直接に監視カメラＣ１，Ｃ２のそれぞれの撮像映像のデータを取得してもよい。顔検索サーバ６０は、ステップＳｔ２０において登録された容疑者の顔画像と合致する（例えば同一あるいは類似する）顔画像を特定した（つまり、登録された容疑者の顔画像と照合した）場合に、その特定された顔画像と容疑者が発見された旨のアラーム通知とを関連付けてクライアント端末９０に送る（Ｓｔ２３）。クライアント端末９０は、ステップＳｔ２３において顔検索サーバ６０から送られたアラーム通知に従って、所定のアラーム報知を実行する（Ｓｔ２４）。所定のアラーム報知は、例えば所定の警報音の出力でもよいし、所定の警告メッセージのポップアップ画面での表示でもよいし、それら両方でもよく、以下同様とする。

同様に、監視カメラＣ１は、撮像映像のデータを人物検索サーバ５０に送る（Ｓｔ２５）。同様に、監視カメラＣ２は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２６）。なお、人物検索サーバ５０は、監視カメラＣ１，Ｃ２のそれぞれからでなく、例えば映像レコーダ７０から直接に監視カメラＣ１，Ｃ２のそれぞれの撮像映像のデータを取得してもよい。人物検索サーバ５０は、ステップＳｔ１９において登録された容疑者の全身画像と合致する（例えば同一あるいは類似する）全身画像を特定した（つまり、登録された容疑者の全身画像と照合した）場合に、その特定された全身画像と容疑者が発見された旨のアラーム通知とを関連付けてクライアント端末９０に送る（Ｓｔ２７）。クライアント端末９０は、ステップＳｔ２７において人物検索サーバ５０から送られたアラーム通知に従って、所定のアラーム報知（上述参照）を実行する（Ｓｔ２８）。

なお、クライアント端末９０は、ステップＳｔ２３，Ｓｔ２７のそれぞれにおいてアラーム通知を受信した場合に限って、所定のアラーム報知を実行してもよい。これにより、例えば顔検索サーバ６０あるいは人物検索サーバ５０の照合処理の精度が低くなっている場合でも、クライアント端末９０は的確なアラーム報知を実行でき、監視精度を向上できる。また、上述したステップＳｔ２１からステップＳｔ２８までの一連の処理を纏めて便宜的に「Ａ処理」と称し、このＡ処理は繰り返して実行される（Ａ処理ループ）。これにより、人物監視システム１は、逃走中の容疑者の追跡を継続して行えるので、早期の逮捕実現を支援できる。

以上により、実施の形態１に係る人物監視システム１は、ｎ（ｎ：２以上の整数）台の監視カメラ１０，１１，…のそれぞれと通信可能に接続された人物検索サーバ５０および顔検索サーバ６０と、人物検索サーバ５０および顔検索サーバ６０のそれぞれと通信可能に接続されたクライアント端末９０と、を含む。人物検索サーバ５０は、ｎ台の監視カメラのそれぞれから送られた撮像映像を受信すると、それぞれの撮像映像に映る人物の全身を含む特徴情報を解析し、人物の全身を切り出した全身画像を解析結果として保持する。顔検索サーバ６０は、ｎ台の監視カメラのそれぞれから送られた撮像映像を受信すると、それぞれの撮像映像に映る人物の顔を含む特徴情報を解析し、人物の顔を切り出した顔画像を解析結果として保持する。クライアント端末９０は、注目人物（例えば容疑者）の全身画像および顔画像の指定に応じて、注目人物の全身画像を対象とする第１の照合処理を人物検索サーバ５０に送り、注目人物の顔画像を対象とする第２の照合処理の実行要求を顔検索サーバ６０に送る。人物検索サーバ５０は、第１の照合処理により、注目人物の全身画像と合致する人物を特定した場合に、注目人物が発見された旨のアラーム通知をクライアント端末９０に送る。同様に、顔検索サーバ６０は、第２の照合処理により、注目人物の顔画像と合致する人物を特定した場合に、注目人物が発見された旨のアラーム通知をクライアント端末９０に送る。

これにより、人物監視システム１は、事件等の容疑者の外見的な特徴を表す全身画像および顔画像を高精度に抽出できるので、複数の監視カメラのそれぞれの撮像映像を用いて容疑者を全身および顔の両方の観点から効率的に追跡できる。従って、人物監視システム１は、複数の監視カメラのそれぞれの撮像映像に映る容疑者の逃走経路の早期把握を効果的に支援できるので、警察捜査の利便性を向上できる。

また、人物検索サーバ５０および顔検索サーバ６０のそれぞれは、人物の移動方向を示す情報を解析結果として含めて保持するとともに、注目人物が発見された監視カメラの通過時の移動方向を含めてアラーム通知を送る。クライアント端末９０は、アラーム通知に基づいて、注目人物が発見された監視カメラの通過時の移動方向を注目人物の全身画像と対応付けてディスプレイ９４に表示する。これにより、ユーザは、容疑者の監視カメラの設置地点ごとの通過時の移動方向から容疑者の逃走方向を高精度に類推できるので、容疑者等の注目人物の早期発見を効果的に支援できる。

また、クライアント端末９０は、注目人物が発見された少なくとも１台の監視カメラの設置地点を示す地図データＭＰ１をディスプレイ９４に表示する。これにより、クライアント端末９０は、ユーザ操作により指定されたサムネイル画像の人物（例えば容疑者）の逃走方向を地図データＭＰ１上に表示できるので、容疑者等の注目人物の早期発見を効果的に支援できる。

また、クライアント端末９０は、人物検索サーバ５０によって注目人物の全身画像と合致する人物が特定されかつ顔検索サーバ６０によって注目人物の顔画像と合致する人物が特定された場合に、その注目人物が発見された旨のアラーム報知を行う。これにより、例えば顔検索サーバ６０あるいは人物検索サーバ５０の照合処理の精度が低くなっている場合でも、クライアント端末９０は的確なアラーム報知を実行でき、監視精度を向上できる。

また、クライアント端末９０は、対象期間（例えば検索の対象期間）と、年齢、性別、身長、体型からなる第１の外見的特徴と、所持品の有無、装着品の有無、服装、髪型からなる第２の外見的特徴とを含む検索特徴の指定に応じて、注目人物の検索要求を人物検索サーバ５０に送る。人物検索サーバ５０は、クライアント端末９０から送られた検索要求に含まれる検索特徴を満たす人物であって、その人物の顔画像の抽出が可能な程度に略正面方向を向いている人物の全身画像を検索結果としてクライアント端末９０に送る。クライアント端末９０は、検索結果に対応する人物の全身画像および顔画像を、注目人物の全身画像および顔画像として指定する。これにより、顔検索サーバ６０での照合処理の精度と人物検索サーバ５０での照合処理の精度とがともに向上するので、結果的に監視精度の向上につながる。

（実施の形態２）
実施の形態２では、実施の形態１において顔画像の照合処理において合致する顔画像が得られた後に容疑者に対して更なる追跡捜査を行う際、監視カメラにたとえ容疑者の顔が映っていない（例えば容疑者の背面が映り、顔が映っていない）場合でも容疑者の追跡を効率的に支援する人物監視システムの例を説明する。なお、実施の形態２に係る人物監視システムの構成は実施の形態１に係る人物監視システム１の構成と同一であり、同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

図１２は、サムネイル画像Ｘｐｃ５に対応する人物と同一の人物を検索するための同一人物検索時の動作概要の一例を示す図である。人物監視アプリは、サムネイル画像Ｘｐｃ１の人物と同一あるいは類似する上述したイメージサーチの検索結果として、３人の人物に対応するサムネイル画像Ｘｐｃ１，Ｘｐｃ５，Ｘｐｃ８を並べて人物監視画面ＷＤ２に表示してよい（図１２参照）。人物監視画面ＷＤ２（図１２参照）は、人物監視画面ＷＤ１（図９参照）に比べて、同一人物検索ボタンＳＰＳ１が更に配置されている。

人物監視アプリは、ユーザの操作により、検索対象人物像表示枠ＰＬ１にサムネイル画像Ｘｐｃ１が指定されて同一人物検索ボタンＳＰＳ１が押下されたことを検知すると、顔画像の照合処理において合致した顔画像を撮像した監視カメラの識別情報および撮像日時と、その顔画像とその監視カメラの設置地点の通過時の移動方向とを含む照合処理（後述する容疑者の顔画像の再検索あるいは追跡捜査のこと）の実行要求を、顔検索サーバ６０に送る。また、人物監視アプリは、顔画像の照合処理において合致した顔画像を撮像した監視カメラの識別情報および撮像日時と、その顔画像に対応する人物の全身画像とその監視カメラの設置地点の通過時の移動方向とを含む照合処理（後述する容疑者の全身画像の再検索あるいは追跡捜査のこと）の実行要求を、人物検索サーバ５０に送る。

顔検索サーバ６０は、クライアント端末９０からの照合処理の実行要求に従い、その実行要求に含まれるサムネイル画像Ｘｐｃ１の人物の移動方向に応じて、顔画像の照合処理閾値を変更して照合処理を実行する。例えば、サムネイル画像Ｘｐｃ１の人物はアイコンＰｔ１が示す第１の監視カメラの設置地点を方向ＤＲＣ１に移動した場合（図１２参照）、顔検索サーバ６０は、アイコンＰｔ２が示す第２の監視カメラの設置地点を方向ＩＤＲＣ２から近づく人物の顔画像の照合処理閾値を下げる。一方で、顔検索サーバ６０は、アイコンＰｔ２が示す第２の監視カメラの設置地点を方向ＩＤＲＣ２以外の方向から近づく人物の顔画像の照合処理閾値を変更しないで現在の照合処理閾値をそのまま使用する。

また例えば、サムネイル画像Ｘｐｃ１の人物はアイコンＰｔ２が示す第２の監視カメラの設置地点を方向ＤＲＣ２に移動した場合（図１２参照）、顔検索サーバ６０は、アイコンＰｔ４が示す第４の監視カメラの設置地点を方向ＩＤＲＣ３から近づく人物の顔画像の照合処理閾値を下げる。一方で、顔検索サーバ６０は、アイコンＰｔ４が示す第４の監視カメラの設置地点を方向ＩＤＲＣ３以外の方向から近づく人物の顔画像の照合処理閾値を変更しないで現在の照合処理閾値をそのまま使用する。

同様に、人物検索サーバ５０は、クライアント端末９０からの照合処理の実行要求に従い、その実行要求に含まれるサムネイル画像Ｘｐｃ１の人物の移動方向に応じて、全身画像の照合処理時の閾値を変更して照合処理を実行する。例えば、サムネイル画像Ｘｐｃ１の人物はアイコンＰｔ１が示す第１の監視カメラの設置地点を方向ＤＲＣ１に移動した場合（図１２参照）、人物検索サーバ５０は、アイコンＰｔ２が示す第２の監視カメラの設置地点を方向ＩＤＲＣ２から近づく人物の全身画像の照合処理閾値を下げる。一方で、人物検索サーバ５０は、アイコンＰｔ２が示す第２の監視カメラの設置地点を方向ＩＤＲＣ２以外の方向から近づく人物の全身画像の照合処理閾値を変更しないで現在の照合処理閾値をそのまま使用する。

また例えば、サムネイル画像Ｘｐｃ１の人物はアイコンＰｔ２が示す第２の監視カメラの設置地点を方向ＤＲＣ２に移動した場合（図１２参照）、人物検索サーバ５０は、アイコンＰｔ４が示す第４の監視カメラの設置地点を方向ＩＤＲＣ３から近づく人物の全身画像の照合処理閾値を下げる。一方で、人物検索サーバ５０は、アイコンＰｔ４が示す第４の監視カメラの設置地点を方向ＩＤＲＣ３以外の方向から近づく人物の全身画像の照合処理閾値を変更しないで現在の照合処理閾値をそのまま使用する。

図１３は、サムネイル画像Ｘｐｃ１１に対応する人物と似た人物のイメージサーチを指示する人物監視画面ＷＤ２の一例を示す図である。図１４は、容疑者の検索特徴の詳細設定画面ＤＴＬ１の一例を示す図である。人物監視アプリは、例えば実施の形態１を参照して説明したメタサーチにより、人物検索サーバ５０から送られた検索結果のデータを用いて人物監視画面ＷＤ２（図１３参照）を表示してよい。人物監視画面ＷＤ２（図１３参照）には、ユーザの操作により指定されたメタ情報に合致する人物のサムネイル画像Ｘｐｃ１１，Ｘｐｃ１２，Ｘｐｃ１３，Ｘｐｃ１４，Ｘｐｃ１５，Ｘｐｃ１６，Ｘｐｃ１７，Ｘｐｃ１８，Ｘｐｃ１９，Ｘｐｃ２０，Ｘｐｃ２１，Ｘｐｃ２２，Ｘｐｃ２３，Ｘｐｃ２４，Ｘｐｃ２５，Ｘｐｃ２６，Ｘｐｃ２７，Ｘｐｃ２８，Ｘｐｃ２９が並べて表示されている。なお、人物監視アプリは、全てのサムネイル画像を表示できない場合には、スクロールバーＳＣＲ１のユーザ操作により残りのサムネイル画像をスクロールして表示できる。

ここで、ユーザは、複数のサムネイル画像Ｘｐｃ１１～Ｘｐｃ２９の中で、サムネイル画像Ｘｐｃ２１の人物が容疑者かもしれないと注目したとする。人物監視アプリは、ユーザ操作によって選択されたサムネイル画像Ｘｐｃ２１と同一のサムネイル画像を検索対象人物像表示枠ＰＬ１に表示し、更に、所定のユーザ操作によって詳細設定画面ＤＴＬ１を表示する。図１４において、ユーザ操作により、「Ｗｉｔｈ Ｂａｇ」の選択肢ＳＬ４のチェックが外されたとする。

例えば容疑者は、逃走当初の頃は銀行あるいは店舗等で盗んだ現金を入れた鞄を所持していた（図７参照）が、途中でその鞄を捨て去ったあるいは他の協力者に渡して逃走した可能性がある。そこで、人物監視アプリは、図７の詳細設定画面ＤＴＬ１において「Ｗｉｔｈ Ｂａｇ」のチェックをユーザ操作に基づいて外し（図１４参照）、容疑者の全身画像の検索を人物検索サーバ５０に実行させることができる。

従って、人物監視アプリは、図１４において「Ｗｉｔｈ Ｂａｇ」の選択肢ＳＬ４のチェックが外された後にイメージサーチボタンＩＳ１が押下された場合、サムネイル画像Ｘｐｃ２１の人物と同一あるいは類似する人物（但し、黒い鞄を所有する条件は検索対象から除外）の検索要求を人物検索サーバ５０に送る。同様に、人物検索サーバ５０は、クライアント端末９０から送られた検索要求に従って、サムネイル画像Ｘｐｃ２１の人物と同一あるいは類似する人物を検索（イメージサーチ）し、その検索結果をクライアント端末９０に送る。

図１５は、図１４の詳細設定画面ＤＴＬ１で設定された検索特徴を検索条件として用いたメタサーチおよびイメージサーチの併用による人物検索結果を時系列に表示する人物監視画面ＷＤ２の一例を示す図である。人物監視アプリは、サムネイル画像Ｘｐｃ２１の人物と同一あるいは類似する上述したイメージサーチの検索結果として、４人の人物に対応するサムネイル画像Ｘｐｃ１３，Ｘｐｃ２０，Ｘｐｃ２３，Ｘｐｃ２８を並べて人物監視画面ＷＤ２に表示する。

次に、実施の形態２に係る人物監視システム１の動作手順について、図１６を参照して説明する。図１６は、実施の形態２に係る人物監視システム１の動作手順の一例を示すシーケンス図である。図１６でも、２台の監視カメラ（例えば、図６のアイコンＰｔ１の地点に設置された監視カメラＣ１、アイコンＰｔ２の地点に設置された監視カメラＣ２）が例示されているが、３台以上の監視カメラが例示されてもよい。また、図１６の説明において、図１１において説明した処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。更に、図１６の説明において、ステップＳｔ２１の処理の実行前に、図１１に示すステップＳｔ１～ステップＳｔ２０の処理が実行されてよい。

図１６において、顔画像の照合処理において容疑者の顔画像と合致したと判定された時点（ステップＳｔ２３）より後に、その容疑者の顔画像が映る撮像映像を撮像した監視カメラの設置地点の周囲エリアにおいて、容疑者の顔および全身の再検索（言い換えると、容疑者の更なる追跡捜査）が行われる。具体的には、クライアント端末９０は、ステップＳｔ２４の後、その周辺エリアを中心とした再検索（上述参照）を行うための人物（全身）用の検索特徴ならびに顔用の検索特徴をそれぞれ自動的に設定する（Ｓｔ３１）。具体的には、人物用の検索特徴には、容疑者の顔画像が合致（ヒット）した地点に設置されている監視カメラ（以下、「ヒット監視カメラ」とも称する）の識別情報と、ヒットした容疑者の顔画像の撮像日時と、照合処理に用いる容疑者の全身画像ＰＳ１（ステップＳｔ１７参照）と、容疑者のヒット監視カメラの設置地点の通過時の移動方向とが含まれる。同様に、顔用の検索特徴には、ヒット監視カメラの識別情報と、ヒットした容疑者の顔画像の撮像日時と、照合処理に用いる容疑者の顔画像ＦＣ１（ステップＳｔ１８参照）と、容疑者のヒット監視カメラの設置地点の通過時の移動方向とが含まれる。

クライアント端末９０（例えば人物監視アプリ）は、ステップＳｔ３１において生成された顔用の検索特徴を含む検索要求を生成して顔検索サーバ６０に送る（Ｓｔ３２）。同様に、クライアント端末９０（例えば人物監視アプリ）は、ステップＳｔ３１において生成された人物用の検索特徴を含む検索要求を生成して人物検索サーバ５０に送る（Ｓｔ３３）。顔検索サーバ６０は、ステップＳｔ３２において送られた検索要求に従い、その検索要求に含まれる検索特徴に基づいて、容疑者のヒット監視カメラの設置地点の通過時の移動方向に応じて、顔画像の照合処理閾値を変更する（Ｓｔ３４、図１２参照）。同様に、人物検索サーバ５０は、ステップＳｔ３２において送られた検索要求に従い、その検索要求に含まれる検索特徴に基づいて、容疑者のヒット監視カメラの設置地点の通過時の移動方向に応じて、全身画像の照合処理閾値を変更する（Ｓｔ３５、図１２参照）。

監視カメラＣ１は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２１）。同様に、監視カメラＣ２は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２２）。なお、顔検索サーバ６０は、監視カメラＣ１，Ｃ２のそれぞれからでなく、例えば映像レコーダ７０から直接に監視カメラＣ１，Ｃ２のそれぞれの撮像映像のデータを取得してもよい。顔検索サーバ６０は、ステップＳｔ３４において容疑者の移動方向に応じた照合処理閾値の変更処理後に、ステップＳｔ２０において登録された容疑者の顔画像と合致する（例えば同一あるいは類似する）顔画像を特定した（つまり、登録された容疑者の顔画像と照合した）場合に、その特定された顔画像と容疑者が発見された旨のアラーム通知とを関連付けてクライアント端末９０に送る（Ｓｔ２３ａ）。クライアント端末９０は、ステップＳｔ２３ａにおいて顔検索サーバ６０から送られたアラーム通知に従って、所定のアラーム報知を実行する（Ｓｔ２４）。

同様に、監視カメラＣ１は、撮像映像のデータを人物検索サーバ５０に送る（Ｓｔ２５）。同様に、監視カメラＣ２は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２６）。なお、人物検索サーバ５０は、監視カメラＣ１，Ｃ２のそれぞれからでなく、例えば映像レコーダ７０から直接に監視カメラＣ１，Ｃ２のそれぞれの撮像映像のデータを取得してもよい。人物検索サーバ５０は、ステップＳｔ３５において容疑者の移動方向に応じた照合処理閾値の変更処理後に、ステップＳｔ１９において登録された容疑者の全身画像と合致する（例えば同一あるいは類似する）全身画像を特定した（つまり、登録された容疑者の全身画像と照合した）場合に、その特定された全身画像と容疑者が発見された旨のアラーム通知とを関連付けてクライアント端末９０に送る（Ｓｔ２７ａ）。クライアント端末９０は、ステップＳｔ２７ａにおいて人物検索サーバ５０から送られたアラーム通知に従って、所定のアラーム報知（上述参照）を実行する（Ｓｔ２８）。

上述したステップＳｔ３１からステップＳｔ３５までの処理とステップＳｔ２１からステップＳｔ２８までの処理とからなる一連の処理を纏めて便宜的に「Ｂ処理」と称し、このＢ処理は繰り返して実行される（Ｂ処理ループ）。これにより、人物監視システム１は、容疑者の逃走途中に監視カメラにたとえ容疑者の顔が映っていない（例えば容疑者の背面が映り、顔が映っていない）場合でも、逃走方向に合わせて照合処理の照合処理閾値を適応的に変更できるので逃走中の容疑者の追跡を継続して行え、早期の逮捕実現を支援できる。

また、逃走中の容疑者が逃走当初は大量の現金が入った鞄等を所持していたが、逃走途中で鞄を捨て去ったあるいは他の協力者に渡して逃走した可能性がある。このような可能性に鑑みて、ステップＳｔ３６以降の一連の処理（Ｃ処理）について説明する。

図１６において、クライアント端末９０は、例えばステップＳｔ２８の後、容疑者が逃走途中で鞄を所持しなくなった可能性を考慮したユーザの操作に基づき、詳細設定画面ＤＴＬ１（図１４参照）において「Ｗｉｔｈ Ｂａｇ」の選択肢ＳＬ４のチェックが外された（つまり選択肢ＳＬ４を除外した）検索特徴を含む検索要求を生成（設定）する（Ｓｔ３６）。クライアント端末９０は、その生成された検索要求を、容疑者を追跡するための再検索あるいは追跡捜査（上述参照）のために、ステップＳｔ３６において生成された検索特徴を顔検索サーバ６０および人物検索サーバ５０のそれぞれに送る（Ｓｔ３７，Ｓｔ３８）。

顔検索サーバ６０は、ステップＳｔ３７において送られた検索要求に従い、その検索要求に含まれる検索特徴に基づいて、容疑者のヒット監視カメラの設置地点の通過時の移動方向に応じて、顔画像の照合処理閾値を変更する（Ｓｔ３４ａ、図１２参照）。同様に、人物検索サーバ５０は、ステップＳｔ３８において送られた検索要求に従い、その検索要求に含まれる検索特徴に基づいて、容疑者のヒット監視カメラの設置地点の通過時の移動方向に応じて、全身画像の照合処理閾値を変更する（Ｓｔ３５ａ、図１２参照）。

監視カメラＣ１は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２１）。同様に、監視カメラＣ２は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２２）。なお、顔検索サーバ６０は、監視カメラＣ１，Ｃ２のそれぞれからでなく、例えば映像レコーダ７０から直接に監視カメラＣ１，Ｃ２のそれぞれの撮像映像のデータを取得してもよい。顔検索サーバ６０は、ステップＳｔ３４ａにおいて容疑者の移動方向に応じた照合処理閾値の変更処理後に、ステップＳｔ３６において設定された検索特徴を満たしかつステップＳｔ２０において登録された容疑者の顔画像と合致する（例えば同一あるいは類似する）顔画像を特定した（つまり、登録された容疑者の顔画像と照合した）場合に、その特定された顔画像と容疑者が発見された旨のアラーム通知とを関連付けてクライアント端末９０に送る（Ｓｔ２３ｂ）。クライアント端末９０は、ステップＳｔ２３ｂにおいて顔検索サーバ６０から送られたアラーム通知に従って、所定のアラーム報知を実行する（Ｓｔ２４）。

同様に、監視カメラＣ１は、撮像映像のデータを人物検索サーバ５０に送る（Ｓｔ２５）。同様に、監視カメラＣ２は、撮像映像のデータを顔検索サーバ６０に送る（Ｓｔ２６）。なお、人物検索サーバ５０は、監視カメラＣ１，Ｃ２のそれぞれからでなく、例えば映像レコーダ７０から直接に監視カメラＣ１，Ｃ２のそれぞれの撮像映像のデータを取得してもよい。人物検索サーバ５０は、ステップＳｔ３５ａにおいて容疑者の移動方向に応じた照合処理閾値の変更処理後に、ステップＳｔ３６において設定された検索特徴を満たしかつステップＳｔ１９において登録された容疑者の全身画像と合致する（例えば同一あるいは類似する）全身画像を特定した（つまり、登録された容疑者の全身画像と照合した）場合に、その特定された全身画像と容疑者が発見された旨のアラーム通知とを関連付けてクライアント端末９０に送る（Ｓｔ２７ｂ）。クライアント端末９０は、ステップＳｔ２７ａにおいて人物検索サーバ５０から送られたアラーム通知に従って、所定のアラーム報知（上述参照）を実行する（Ｓｔ２８）。

上述したステップＳｔ３６からステップＳｔ３８までの処理とステップＳｔ３４ａ，Ｓｔ３５ａの処理とステップＳｔ２１からステップＳｔ２８までの処理とからなる一連の処理を纏めて便宜的に「Ｃ処理」と称し、このＣ処理は繰り返して実行される（Ｃ処理ループ）。これにより、人物監視システム１は、容疑者の逃走途中に監視カメラにたとえ容疑者の顔が映っていない（例えば容疑者の背面が映り、顔が映っていない）場合でも、逃走方向に合わせて照合処理の照合処理閾値を適応的に変更できるので逃走中の容疑者の追跡を継続して行え、早期の逮捕実現を支援できる。

以上により、実施の形態２に係る人物監視システム１では、人物検索サーバ５０は、注目人物（例えば容疑者）が発見された監視カメラの通過時の移動方向に基づいて、その移動方向に設置された１台以上の監視カメラの撮像映像を用いた第１の照合処理の閾値（例えば照合処理閾値）を所定値より低く設定する。これにより、人物検索サーバ５０は、照合処理としてヒットした容疑者の監視カメラの設置地点の通過時の移動方向と、その移動方向に存在する監視カメラに近づく方向とが実質的に等しいという特性を利用して、容疑者の全身が特定困難な程度に撮像されている場合（例えば全身の正面が撮像不可な状態）でも的確に照合でき、容疑者の追跡を効果的に支援できる。また、顔検索サーバ６０は、注目人物（例えば容疑者）が発見された監視カメラの通過時の移動方向に基づいて、その移動方向に設置された１台以上の監視カメラの撮像映像を用いた第２の照合処理の閾値（例えば照合処理閾値）を所定値より低く設定する。これにより、顔検索サーバ６０は、照合処理としてヒットした容疑者の監視カメラの設置地点の通過時の移動方向と、その移動方向に存在する監視カメラに近づく方向とが実質的に等しいという特性を利用して、容疑者の顔が特定困難な程度に撮像されている場合（例えば顔の正面が撮像不可な状態）でも的確に照合でき、容疑者の追跡を効果的に支援できる。

また、人物検索サーバ５０は、移動方向以外の方向に設置された１台以上の監視カメラの撮像映像を用いた第１の照合処理の閾値（例えば照合処理閾値）を所定値から変更しないで使用する。これにより、人物検索サーバ５０は、照合処理としてヒットした容疑者の監視カメラの設置地点の通過時の移動方向と異なる方向から容疑者が近づく可能性を考慮して、容疑者の追跡を効果的に支援できる。また、顔検索サーバ６０は、移動方向以外の方向に設置された１台以上の監視カメラの撮像映像を用いた第２の照合処理の閾値（例えば照合処理閾値）を所定値から変更しないで使用する。これにより、顔検索サーバ６０は、照合処理としてヒットした容疑者の監視カメラの設置地点の通過時の移動方向と異なる方向から容疑者が近づく可能性を考慮して、容疑者の追跡を効果的に支援できる。

また、クライアント端末９０は、注目人物（例えば容疑者）の所持品の有無、装着品の有無、服装、髪型からなる外見的特徴の変更操作に応じて、変更後の外見的特徴を含む検索特徴を用いた第１，第２の照合処理の実行要求を人物検索サーバ５０および顔検索サーバ６０のそれぞれに送る。人物検索サーバ５０は、第１の照合処理により、変更後の検索特徴を満たす注目人物の全身画像と合致する人物を特定した場合に、注目人物が発見された旨のアラーム通知をクライアント端末９０に送る。顔検索サーバ６０は、第２の照合処理により、変更後の検索特徴を満たす注目人物の顔画像と合致する人物を特定した場合に、注目人物が発見された旨のアラーム通知をクライアント端末９０に送る。これにより、逃走中の容疑者が逃走当初は大量の現金が入った鞄等を所持していたが、逃走途中で鞄を捨て去ったあるいは他の協力者に渡して逃走した可能性があったとしても、人物監視システム１は、容疑者を効率的に追跡可能である。

（実施の形態３の構成に至る経緯）
例えばひったくり、放火、空き巣、車上荒らし等の再犯性の高く経時的に連続的に行われ易い犯罪の場合、当然の事ながら、犯人はそれぞれの犯罪の現場に居合わせた人物である。このような犯罪による複数の事件等が連続的に発生した場合、警察捜査においても全ての事件現場に居合わせた人物を捜査することが多い。ところが、上述した特許文献１では、上述したような再犯性の高い事件等が連続的に発生した場合に、複数の事件現場に居合わせた人物の全身画像および顔画像を事件等の容疑者として抽出し、これらを用いて容疑者を追跡することは考慮されていない。

事件等が発生した場合、容疑者の外見的な特徴ならびにその行方を早期に把握することは警察の初動捜査において重要である。ところが、これまでの従来技術では、事件等が発生した際、警官は現場周辺の複数の箇所のそれぞれに設置された監視カメラにより撮影された映像の目視による閲覧および目撃者からの情報等の手掛かりを頼りに、容疑者に該当しそうな人物ならびに逃走方向を取捨選別していた。このため、警官は容疑者の外見的な特徴ならびに逃走方向の把握に時間がかかってしまい、初動捜査が遅れて効率が良くないという課題があった。

以下の実施の形態３では、再犯性の高い事件等が連続的に発生した際、容疑者の外見的な特徴を表す全身画像および顔画像を高精度に抽出して容疑者を追跡し、監視カメラの撮像映像に映る容疑者の逃走経路の早期把握を支援して警察捜査の利便性を向上する人物監視システムおよび人物監視方法を説明する。

（実施の形態３）
実施の形態３に係る人物監視システムの構成は実施の形態１に係る人物監視システム１の構成と同一であり、同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

図１７は、複数地点の監視カメラのそれぞれに映る容疑者リストの一例を示す人物監視画面ＷＤ３の一例を示す図である。人物監視アプリは、ユーザ操作により、カメラ選択枠ＡＳＷＫ２を地図データＭＰ１上に表示する。カメラ選択枠ＡＳＷＫ２は、人物監視画面ＷＤ３に表示される監視カメラの撮像映像ＭＶ１，ＭＶ２，ＭＶ３（例えばライブ映像）の選択に用いられる。図１７では、ユーザ操作により、第１～第３の監視カメラの３台がカメラ選択枠ＡＳＷＫ２により選択されている。人物監視アプリは、カメラ選択枠ＡＳＷＫ２により選択済みであることを示すために、アイコンＰｔ１～Ｐｔ３の表示態様を選択されていない監視カメラのアイコンＰｔ４よりも識別し易くなるように表示してよい。

人物監視アプリは、上述した再犯性の高い事件等が連続的に発生した際、容疑者等の注目人物の検索を支援するための各種のボタンを人物監視画面ＷＤ３に表示する。例えば、カメラ選択枠ＡＳＷＫ２による選択に連動して、人物監視アプリは、選択された複数の監視カメラのそれぞれに容疑者がいたと思われる期間の入力画面Ｐｔ１ＴＭ，Ｐｔ２ＴＭ，Ｐｔ３ＴＭを人物監視画面ＷＤ３に重畳して表示する。入力画面Ｐｔ１ＴＭ，Ｐｔ２ＴＭ，Ｐｔ３ＴＭのそれぞれには、ユーザ操作により、第１の監視カメラ（アイコンＰｔ１参照），第２の監視カメラ（アイコンＰｔ２参照），第３の監視カメラ（アイコンＰｔ３参照）に容疑者がいたと思われる期間が入力される。この例では、ユーザ操作により選択された監視カメラの台数は、ｋ（ｋ：ｋ≦ｎを満たす２以上の整数）とした場合に、ｋ＝３となっている。

例えばひったくり等の再犯性の高い事件等が「Ｐｏｉｎｔ３」（つまり第３の監視カメラの設置地点）→「Ｐｏｉｎｔ１」（つまり第１の監視カメラの設置地点）→「Ｐｏｉｎｔ２」（つまり第２の監視カメラの設置地点）の順に連続的に発生したとする。図１７の例では、「Ｐｏｉｎｔ３」での容疑者がいたと思われる期間として入力画面Ｐｔ３ＴＭには、「２０１８年９月６日の午前１０時」～「２０１８年９月６日の午前１０時３０分」が入力されている。同様に、「Ｐｏｉｎｔ１」での容疑者がいたと思われる期間として入力画面Ｐｔ１ＴＭには、「２０１８年９月６日の午前１０時３０分」～「２０１８年９月６日の午前１１時」が入力されている。同様に、「Ｐｏｉｎｔ２」での容疑者がいたと思われる期間として入力画面Ｐｔ２ＴＭには、「２０１８年９月６日の午前１１時」～「２０１８年９月６日の午前１１時３０分」が入力されている。

人物監視アプリは、ユーザ操作により、入力画面Ｐｔ１ＴＭ～Ｐｔ３ＴＭのそれぞれに期間が入力されて連続インシデント容疑者検索ボタンＳＰＳ２が押下されたことを検知すると、入力画面Ｐｔ１ＴＭ～Ｐｔ３ＴＭのそれぞれの期間および地点に存在した人物（例えば容疑者の候補となる人物）の全身，顔の検索要求をそれぞれ生成して人物検索サーバ５０，顔検索サーバ６０に送る。人物検索サーバ５０は、クライアント端末９０から送られた検索要求に従い、その検索要求に含まれる検索特徴（入力画面Ｐｔ１ＴＭ～Ｐｔ３ＴＭのそれぞれの期間および地点に存在した人物）を満たす人物の全身画像を検索し、その検索結果のデータをクライアント端末９０に送る。同様に、顔検索サーバ６０は、クライアント端末９０から送られた検索要求に従い、その検索要求に含まれる検索特徴（入力画面Ｐｔ１ＴＭ～Ｐｔ３ＴＭのそれぞれの期間および地点に存在した人物）を満たす人物の顔画像を検索し、その検索結果のデータをクライアント端末９０に送る。

人物監視アプリは、人物検索サーバ５０および顔検索サーバ６０からの検索結果のデータのうち少なくとも１つを用いて、「Ｐｏｉｎｔ３」→「Ｐｏｉｎｔ１」→「Ｐｏｉｎｔ２」の順であってそれぞれの該当する期間に存在したと思われる容疑者の候補の画像を含む容疑者リストＬＳＴ１，ＬＳＴ２，ＬＳＴ３を人物監視画面ＷＤ３に並べて表示する。容疑者リストＬＳＴ１は、人物検索サーバ５０あるいは顔検索サーバ６０での容疑者の候補としての検索点数（スコア）と、容疑者の候補となる人物の全身を示すサムネイル画像Ｘｐｃ２１１，Ｘｐｃ２１２，Ｘｐｃ２１３とにより構成される。容疑者リストＬＳＴ２は、人物検索サーバ５０あるいは顔検索サーバ６０での容疑者の候補としての検索点数（スコア）と、容疑者の候補となる人物の全身を示すサムネイル画像Ｘｐｃ２２１，Ｘｐｃ２２２，Ｘｐｃ２２３とにより構成される。容疑者リストＬＳＴ３は、人物検索サーバ５０あるいは顔検索サーバ６０での容疑者の候補としての検索点数（スコア）と、容疑者の候補となる人物の全身を示すサムネイル画像Ｘｐｃ２３１，Ｘｐｃ２３２とにより構成される。図１７の例では、容疑者リストＬＳＴ１により示される人物が容疑者の候補として最も可能性が高いことが示されている。

なお、図１７の例では容疑者の候補となり得る人物の全身画像のサムネイル画像が例示されているが、対応する人物の顔のサムネイル画像が例示されてもよいし、対応する人物の全身および顔の両方のサムネイル画像が例示されても構わない。人物監視アプリは、例えば容疑者リストＬＳＴ１の枠内の任意の位置がユーザ操作により指定されたことを検知すると、サムネイル画像Ｘｐｃ２１１～Ｘｐｃ２１３のそれぞれの人物（同一人物）の監視カメラの設置地点の通過時の移動方向を地図データＭＰ１上に重畳して表示してよい（図１７参照）。例えば、サムネイル画像Ｘｐｃ２１１の人物は、「Ｐｏｉｎｔ３」地点を方向ＤＲＣ４に移動（逃走）し、「Ｐｏｉｎｔ１」地点を方向ＤＲＣ１に移動（逃走）し、「Ｐｏｉｎｔ２」地点を方向ＤＲＣ２に移動（逃走）したことが示されている。

次に、実施の形態３に係る人物監視システム１の動作手順について、図１８を参照して説明する。図１８は、実施の形態３に係る人物監視システム１の動作手順の一例を示すシーケンス図である。図１８では、２台の監視カメラ（例えば、図６のアイコンＰｔ１の地点に設置された監視カメラＣ１、アイコンＰｔ２の地点に設置された監視カメラＣ２）が例示されているが、３台以上の監視カメラが例示されてよい。また、図１８の説明において、図１１において説明した処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。図１８では、例えばひったくり等の再犯性の高い事件等が「Ｐｏｉｎｔ３」→「Ｐｏｉｎｔ１」→「Ｐｏｉｎｔ２」の順に連続的に発生したことを想定する。

図１８において、ステップＳｔ７およびステップＳｔ１１の後、クライアント端末９０（例えば人物監視アプリ）は、ユーザ操作により、図１７に示す入力画面Ｐｔ１ＴＭ～Ｐｔ３ＴＭのそれぞれに期間が入力されて連続インシデント容疑者検索ボタンＳＰＳ２が押下されたことを検知する（Ｓｔ４１）。クライアント端末９０は、入力画面Ｐｔ１ＴＭ～Ｐｔ３ＴＭのそれぞれの期間および地点に存在した人物（例えば容疑者の候補となる人物）の全身，顔の検索要求をそれぞれ生成して人物検索サーバ５０，顔検索サーバ６０のそれぞれに送る（Ｓｔ４２，Ｓｔ４３）。

人物検索サーバ５０は、クライアント端末９０から送られた検索要求に従い、その検索要求に含まれる検索特徴（入力画面Ｐｔ１ＴＭ～Ｐｔ３ＴＭのそれぞれの期間および地点に存在した人物）に対応する複数の監視カメラのそれぞれで対象となる期間中の同一人物を満たす人物の全身画像を検索する（Ｓｔ４４）。同様に、顔検索サーバ６０は、クライアント端末９０から送られた検索要求に従い、その検索要求に含まれる検索特徴（入力画面Ｐｔ１ＴＭ～Ｐｔ３ＴＭのそれぞれの期間および地点に存在した人物）に対応する複数の監視カメラのそれぞれで対象となる期間中の同一人物を満たす人物の顔画像を検索する（Ｓｔ４５）。顔検索サーバ６０は、ステップＳｔ４５の検索による検索結果のデータをクライアント端末９０に送る（Ｓｔ４６）。同様に、人物検索サーバ５０は、ステップＳｔ４４の検索による検索結果のデータをクライアント端末９０に送る（Ｓｔ４７）。

クライアント端末９０（例えば人物監視アプリ）は、人物検索サーバ５０および顔検索サーバ６０からの検索結果のデータのうち少なくとも１つを用いて、「Ｐｏｉｎｔ３」→「Ｐｏｉｎｔ１」→「Ｐｏｉｎｔ２」の順であってそれぞれの該当する期間に存在したと思われる容疑者の候補の画像を含む容疑者リストＬＳＴ１，ＬＳＴ２，ＬＳＴ３を人物監視画面ＷＤ３に並べて表示する（Ｓｔ４８）。

以上により、実施の形態３に係る人物監視システム１は、ｎ（ｎ：２以上の整数）台の監視カメラ１０，１１，…のそれぞれと通信可能に接続された人物検索サーバ５０および顔検索サーバ６０と、人物検索サーバ５０および顔検索サーバ６０のそれぞれと通信可能に接続されたクライアント端末９０と、を含む。人物検索サーバ５０は、ｎ台の監視カメラのそれぞれから送られた撮像映像を受信すると、それぞれの撮像映像に映る人物の全身を含む特徴情報を解析し、人物の全身を切り出した全身画像を解析結果として保持する。顔検索サーバ６０は、ｎ台の監視カメラのそれぞれから送られた撮像映像を受信すると、それぞれの撮像映像に映る人物の顔を含む特徴情報を解析し、人物の顔を切り出した顔画像を解析結果として保持する。クライアント端末９０は、ｎ台のうちｋ（ｋ：ｋ≦ｎを満たす２以上の整数）台の監視カメラとｋ台の監視カメラのそれぞれの撮像期間との指定に応じて、ｋ台の監視カメラにより撮像された撮像映像に映る同一の注目人物の全身の検索処理の実行要求を人物検索サーバ５０に送り、その同一の注目人物の顔の検索処理の実行要求を顔検索サーバ６０に送る。人物検索サーバ５０は、検索処理により、注目人物の全身画像と合致する人物を特定した場合に、ｋ台の監視カメラごとの注目人物の全身画像を含む検索結果をクライアント端末９０に送る。同様に、顔検索サーバ６０は、検索処理により、注目人物の顔画像と合致する人物を特定した場合に、ｋ台の監視カメラごとの注目人物の顔画像を含む検索結果をクライアント端末９０に送る。

これにより、人物監視システム１は、ひったくり等の再犯性の高い事件等（上述参照）が連続的に発生した際、容疑者の外見的な特徴を表す全身画像および顔画像を高精度に抽出できるので、それぞれの事件現場に対応する複数の監視カメラのそれぞれの撮像映像を用いて容疑者を全身および顔の両方の観点から効率的に追跡できる。従って、人物監視システム１は、監視カメラの撮像映像に映る容疑者の逃走経路の早期把握を効果的に支援できるので、警察捜査の利便性を向上できる。

また、ｋ台の監視カメラのそれぞれの設置地点、ｋ台の監視カメラのそれぞれの撮像期間は、それぞれ異なる。これにより、ひったくり等の再犯性の高い事件等が割と短期間のうちに連続して発生しても、人物監視システム１は、ｋ台の監視カメラのそれぞれの設置地点を対象とした同一の容疑者の候補となる人物を効率的に検索（抽出）でき、高精度に容疑者を絞り込みできる。

また、クライアント端末９０は、人物検索サーバ５０あるいは顔検索サーバ６０またはその両方から送られた検索結果に基づいて、ｋ台の監視カメラごとの注目人物の全身画像および顔画像のうち少なくとも１つを対応付けて並べて表示する。これにより、ユーザは、連続的に発生した再犯性の高い事件等の容疑者となり得る複数の人物のそれぞれの外見的な特徴（例えば、全身、顔あるいはその両方）を示す画像を比較しながら閲覧確認できるので、例えば目撃者からの通報内容と比べて怪しい人物を的確に絞り込め、容疑者の早期発見を行える。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

なお、上述した実施の形態１，２，３では、監視カメラ１０，１１，…の設置場所は屋外（例えば交差点）を例示して説明したが、設置場所は屋外に限定されない。例えば、ショッピングモール等の屋内の施設内に設置されてもよい。この場合には、地図データＭＰ１は、道路地図ではなく、該当する施設内の構内図（例えばショッピングモールの構内図）が人物監視画面ＷＤ１内に表示されてよい。

また、上述した実施の形態１，２，３では、警察の捜査において捜索対象人物として事件等を引き起こした犯人あるいはその犯人と行動を共にする共犯人物を例示して説明したが、捜索対象人物はこれらの例に限定されない。例えば、屋外あるいは屋内において迷子になった子どもを捜索対象人物としてもよい。この場合には、人物監視システム１は、巡回中の警官あるいは警備員がユーザとなって、捜索対象人物である迷子中の子どもを検索することができる。

本開示は、事件等が発生した際、容疑者の外見的な特徴を表す全身画像および顔画像を高精度に抽出して容疑者を追跡し、監視カメラの撮像映像に映る容疑者の逃走経路の早期把握を支援して警察捜査の利便性を向上する人物監視システムおよび人物監視方法として有用である。

１ 人物監視システム
１０、１１ 監視カメラ
５０ 人物検索サーバ
５１、６１、７１、９３、ＣＰ４ 通信部
５２、６２、７２、９５、ＣＰ３ メモリ
５３ 人物検索部
５４ 人物解析部
５５ 人物照合部
５６、６６、７６ ストレージ
６０ 顔検索サーバ
６４ 顔解析部
６５ 顔照合部
７０ 映像レコーダ
７３ 映像検索部
７４ 映像記録処理部
９０ クライアント端末
９１ 操作部
９２、ＣＰ２、ＰＲＣ１、ＰＲＣ２、ＰＲＣ３ プロセッサ
９４ ディスプレイ
９６、ＣＰ５ ストレージ
５６１、６６１ 解析情報データベース
５６２ 事案データベース
ＣＰ１ 撮像部

Claims (9)

1. ｎ（ｎ：２以上の整数）台の監視カメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を含み、
   前記サーバは、
   前記ｎ台の監視カメラのそれぞれから送られた撮像映像を受信すると、それぞれの前記撮像映像に映る人物の全身および顔を含む特徴情報を解析し、前記人物の全身を切り出した全身画像と前記人物の顔を切り出した顔画像とを解析結果として保持し、
   前記クライアント端末は、
   注目人物の全身画像および顔画像の指定に応じて、前記注目人物の全身画像を対象とする第１の照合処理、前記注目人物の顔画像を対象とする第２の照合処理のそれぞれの実行要求を前記サーバに送り、
   前記サーバは、
   前記第１の照合処理および前記第２の照合処理のうち少なくとも１つにより、前記注目人物の全身画像および顔画像のうち少なくとも１つと合致する人物を特定した場合に、前記注目人物が発見された旨のアラーム通知を前記クライアント端末に送る、
   人物監視システム。
2. 前記サーバは、
   前記人物の移動方向を示す情報を前記解析結果として含めて保持するとともに、前記注目人物が発見された監視カメラの通過時の移動方向を含めて前記アラーム通知を送り、
   前記クライアント端末は、
   前記アラーム通知に基づいて、前記注目人物が発見された監視カメラの通過時の移動方向を前記注目人物の全身画像と対応付けてディスプレイに表示する、
   請求項１に記載の人物監視システム。
3. 前記クライアント端末は、
   前記注目人物が発見された少なくとも１台の監視カメラの設置地点を示す地図データを前記ディスプレイに表示する、
   請求項２に記載の人物監視システム。
4. 前記クライアント端末は、
   前記注目人物の全身画像および顔画像の両方と合致する人物が特定された場合に、前記注目人物が発見された旨のアラーム報知を行う、
   請求項１に記載の人物監視システム。
5. 前記クライアント端末は、
   対象期間と、年齢、性別、身長、体型からなる第１の外見的特徴と、所持品の有無、装着品の有無、服装、髪型からなる第２の外見的特徴とを含む検索特徴の指定に応じて、前記注目人物の検索要求を送り、
   前記サーバは、
   前記検索特徴を満たす人物であって、その人物の顔画像の抽出が可能な程度に略正面方向を向いている人物の全身画像を検索結果として前記クライアント端末に送り、
   前記クライアント端末は、
   前記検索結果に対応する人物の全身画像および顔画像を、前記注目人物の全身画像および顔画像として指定する、
   請求項１に記載の人物監視システム。
6. 前記サーバは、
   前記注目人物が発見された監視カメラの通過時の移動方向に基づいて、前記移動方向に設置された１台以上の監視カメラの撮像映像を用いた前記第１の照合処理および前記第２の照合処理のそれぞれの閾値を所定値より低く設定する、
   請求項１に記載の人物監視システム。
7. 前記サーバは、
   前記移動方向以外の方向に設置された１台以上の監視カメラの撮像映像を用いた前記第１の照合処理および前記第２の照合処理のそれぞれの閾値を前記所定値から変更しないで使用する、
   請求項６に記載の人物監視システム。
8. 前記クライアント端末は、
   前記注目人物の所持品の有無、装着品の有無、服装、髪型からなる外見的特徴の変更操作に応じて、変更後の前記外見的特徴を含む検索特徴を用いた前記第１の照合処理および前記第２の照合処理の実行要求を前記サーバに送り、
   前記サーバは、
   前記第１の照合処理および前記第２の照合処理のうち少なくとも１つにより、前記検索特徴を満たす前記注目人物の全身画像および顔画像のうち少なくとも１つと合致する人物を特定した場合に、前記注目人物が発見された旨のアラーム通知を前記クライアント端末に送る、
   請求項６に記載の人物監視システム。
9. ｎ（ｎ：２以上の整数）台の監視カメラのそれぞれと通信可能に接続されたサーバと、前記サーバと通信可能に接続されたクライアント端末と、を含む人物監視システムにより実行される人物監視方法であって、
   前記ｎ台の監視カメラのそれぞれから送られた撮像映像を受信すると、それぞれの前記撮像映像に映る人物の全身および顔を含む特徴情報を解析し、前記人物の全身を切り出した全身画像と前記人物の顔を切り出した顔画像とを解析結果として保持し、
   注目人物の全身画像および顔画像の指定に応じて、前記注目人物の全身画像を対象とする第１の照合処理、前記注目人物の顔画像を対象とする第２の照合処理のそれぞれの実行要求を前記サーバに送り、
   前記第１の照合処理および前記第２の照合処理のうち少なくとも１つにより、前記注目人物の全身画像および顔画像のうち少なくとも１つと合致する人物を特定した場合に、前記注目人物が発見された旨のアラーム通知を前記クライアント端末に送る、
   人物監視方法。

Images