以下、添付図面を適宜参照しながら、本開示に係る捜査支援システムおよび捜査支援方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下、街中あるいは建物内の各所に設置されているカメラ(例えば防犯カメラ等の監視カメラ)により撮像される撮像映像を用いて、街中あるいは建物内で事件等を引き起こした被疑者あるいはその被疑者が逃走用に使用している逃走車両の特定あるいは追跡等を行う警官の捜査を捜査支援システムにより支援する例を説明する。なお、警察は捜査機関の一例である。また、以下の説明において、撮像映像データは、概念的に撮像画像データを含むとする。
(実施の形態1)
図1は、捜査支援システム1のシステム構成例を示すブロック図である。捜査支援システム1は、AI(Artificial Intelligent)統合サーバ10と、映像管理サーバ40と、顔認証サーバ50と、人物検索サーバ60と、行動検知サーバ70と、車両検索サーバ80と、LPR(License Plate Recognition)サーバ90とを少なくとも含む構成である。また、捜査支援システム1は、ビューアとしてのクライアント端末VW1およびモバイル端末VW2をさらに含む構成としてもよい。映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のそれぞれは、ネットワークNW1を介して複数台(例えば20台)のカメラC1~C20のそれぞれと通信可能に接続される。なお、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のそれぞれは、警察署内でのオンプレミスサーバとしてもよいし、インターネット等のネットワーク網に接続されるクラウドサーバとして設けられてもよい。
なお、図1では、クライアント端末VW1およびモバイル端末VW2はそれぞれ1台だけ示されているが、それぞれ複数台が設けられてよい。また、捜査支援システム1は、単一の警察署内に限って使用されることに限定されず、複数の警察署が跨って合同捜査する例に適用されてもよい。
カメラC1~C20のそれぞれは、監視用途に街中あるいは建物内の各所に設置され、撮像エリア(言い換えると、被写体)の撮像映像データを生成し、ネットワークNW1を介して各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)に送る。以下の説明において、撮像映像データには、撮像映像データそのものだけでなく、その撮像映像を撮像したカメラの識別情報および撮像日時の情報が含まれる。また、カメラの識別情報は、カメラの識別情報以外にカメラの配置位置情報を含んでよい。カメラC1~C20のそれぞれは、例えば国道あるいは県道等の主要幹線道路の路側に固定的に設置されてもよいし、交差点の付近に固定的に設置されてもよい。カメラC1~C20のそれぞれは、イントラネットの通信回線等のネットワークNW1を介して、各サーバ(具体的には、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)と通信可能に接続される。ネットワークNW1は、有線通信回線(例えば、光ファイバを用いた光通信網)により構成されるが、無線通信網により構成されてもよい。なお、カメラC1~C20は全て同一メーカ製のものであってもよいし、一部のカメラが他社製のものが含まれても構わない。また、図1の構成例では、カメラC1~C20のそれぞれの撮像映像データが共通して各サーバ(具体的には、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)にて受信されているが、各サーバにて受信される共通の撮像映像データはカメラC1~C20の全ての撮像映像データでもよいし、一部のカメラの撮像映像データだけでもよい。また、詳細は図2を参照して説明するが、カメラC1~C20は、撮像映像データの映像解析(例えば車両内の乗員の顔の検出)を実行可能でもよい。
解析サーバとしての映像管理サーバ40は、例えば警察署内に設置され、プロセッサ41およびデータベース42を少なくとも含む構成である。以下、データベースを「DB」と略記する場合がある。映像管理サーバ40は、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のそれぞれの処理結果のデータを保存したり、カメラC1~C20のそれぞれの撮像映像データを保存したりする。映像管理サーバ40は、ネットワークNW1を介してカメラC1~C20のそれぞれの撮像映像データを受け取って保存してもよいし、あるいは、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のうちいずれかからカメラC1~C20のそれぞれの撮像映像データを受け取って保存してもよい。また、映像管理サーバ40は、警察署内のオペレータの操作に応じてクライアント端末VW1あるいは現場の警官の操作に応じてモバイル端末VW2から送られた要求により、その要求を満たす撮像映像データをデータベース42から読み出してクライアント端末VW1あるいはモバイル端末VW2に送ってよい。
解析サーバとしての顔認証サーバ50は、例えば警察署内に設置され、プロセッサ51およびデータベース52を少なくとも含む構成である。顔認証サーバ50のプロセッサ51は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る人物の顔(検索対象となるオブジェクトの一例)を検知する等の映像解析を行い、その映像解析結果をデータベース52に保存する。顔認証サーバ50のプロセッサ51は、映像解析中にブラックリストデータ(後述参照)に登録されている顔画像と同一あるいは類似する顔を検知した時、ブラックリストデータに顔画像が登録されている人物の検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる顔画像は、予め顔認証サーバ50において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度に顔認証サーバ50からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る人物の顔画像(つまり、撮像映像データを構成する撮像画像フレームの中で人物の顔部分が切り出されて生成された顔画像)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。また、顔認証サーバ50のプロセッサ51は、AI統合サーバ10からの処理指示(例えば顔画像の照合指示)を受け取ると、その処理指示に含まれる照合対象の顔画像がデータベース52のブラックリストデータ(後述参照)に登録されているか否かを照合し、照合結果をデータベース52に保存する。ここで、ブラックリストデータ(顔データベースの一例)は、例えば過去の事件等を起こした前科者の顔画像を含む個人情報が事件等ごとに区分されて登録されたデータであり、データベース52に登録されている。なお、このブラックリストデータは、データベース52に登録されてもよいし、他の外部データベース(図示略)に登録されてもよい。
解析サーバとしての人物検索サーバ60は、例えば警察署内に設置され、プロセッサ61およびデータベース62を少なくとも含む構成である。人物検索サーバ60のプロセッサ61は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る人物(例えば被疑者、検索対象となるオブジェクトの一例)に関する情報を抽出する映像解析を行い、その映像解析結果をデータベース62に保存する。人物検索サーバ60のプロセッサ61は、映像解析中に人物属性情報(例えば不審人物の外見的な特徴を示す情報、オブジェクト特徴要素の一例)を満たす人物を検知した時、人物属性情報を満たす人物の検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる人物属性情報は、予め人物検索サーバ60において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度に人物検索サーバ60からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る人物情報(例えば、撮像映像中に映る人物の顔、性別、年齢、髪型、背丈、体型、所持品、装備品)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。人物検索サーバ60のプロセッサ61は、この人物情報を撮像映像データに関連付けて付与してデータベース62に蓄積する。この映像解析結果は、例えば事件等が発生した場合に、AI統合サーバ10から送られる処理指示(例えば人物情報の検索指示)に基づいて行われる、該当する人物情報の有無の検索時に参照される。
解析サーバとしての行動検知サーバ70は、例えば警察署内に設置され、プロセッサ71およびデータベース72を少なくとも含む構成である。行動検知サーバ70のプロセッサ71は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る少なくとも1人の人物が起こす所定の行動(後述参照)の有無を検知する映像解析を行い、その映像解析結果をデータベース72に保存する。映像解析結果には、例えば所定の行動の内容(種別)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。ここで、所定の行動は、例えば人物のふらつき、喧嘩、拳銃所持、万引き等の事件等の引き金となりかねない行為のうち少なくとも1つであるが、これらの行為に限定されなくてよい。行動検知サーバ70のプロセッサ71は、所定の行動を検知した時、所定の行動が検知された撮像映像データに対応する撮像日時およびカメラの識別情報を含むアラーム通知を生成してAI統合サーバ10に送る。
解析サーバとしての車両検索サーバ80は、例えば警察署内に設置され、プロセッサ81およびデータベース82を少なくとも含む構成である。車両検索サーバ80のプロセッサ81は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る車両(例えば逃走車両、検索対象となるオブジェクトの一例)に関する情報を抽出する映像解析を行い、その映像解析結果をデータベース82に保存する。車両検索サーバ80のプロセッサ81は、映像解析中に車両属性情報(例えば逃走車両の車型あるいは車色等の外見的な特徴を示す情報、オブジェクト特徴要素の一例)を満たす車両を検知した時、車両属性情報を満たす車両の検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる車両属性情報は、予め車両検索サーバ80において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度に車両検索サーバ80からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る車両情報(例えば、撮像映像中に映る車両の車種、車型、車色、ライセンス番号の情報)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。車両検索サーバ80のプロセッサ81は、この車両情報を撮像映像データに関連付けて付与してデータベース82に蓄積する。この映像解析結果は、例えば事件等が発生した場合に、AI統合サーバ10から送られる処理指示(例えば車両情報の検索指示)に基づいて行われる、該当する車両情報の有無の検索時に参照される。
解析サーバとしてのLPRサーバ90は、例えば警察署内に設置され、プロセッサ91およびデータベース92を少なくとも含む構成である。LPRサーバ90のプロセッサ91は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る車両のライセンスプレートに印字等されているライセンス番号(検索対象となるオブジェクトの一例)を抽出する映像解析を行い、その映像解析結果をデータベース92に保存する。LPRサーバ90のプロセッサ91は、映像解析中に不審車両のライセンス番号情報(例えば逃走車両のライセンス番号情報)を満たすライセンスプレートを検知した時、不審車両のライセンス番号情報を満たすライセンスプレートの検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる不審車両のライセンス番号情報は、予めLPRサーバ90において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度にLPRサーバ90からAI統合サーバ10に送られる。LPRサーバ90のプロセッサ91は、AI統合サーバ10から送られる処理指示(例えばライセンス番号の照合指示)に基づいて、その処理指示に含まれる照合対象のライセンス番号情報がデータベース92のライセンス番号リストデータ(後述参照)に登録されているか否かを照合し、照合結果をデータベース92に保存する。ここで、ライセンス番号リストデータは、ライセンス番号情報と対応する車両の購入者(言い換えると、所有者であるオーナ)に関する情報(例えば顔画像および個人情報)とが予め関連付けて登録されたデータであり、データベース92に登録されている。なお、このライセンス番号リストデータは、データベース92に登録されてもよいし、他の外部データベース(図示略)に登録されてもよい。
ユーザ端末の一例としてのクライアント端末VW1は、例えば警察署内に設置され、警察署内のオペレータ(警官)により使用され、例えばラップトップ型またはデスクトップ型のPC(Personal Computer)を用いて構成される。オペレータは、例えば事件等が発生した場合、その事件等の発生を警察署に通報した者(例えば目撃者)からの電話により、その事件等に関する様々な情報(目撃情報)を聞き取り、クライアント端末VW1を操作することでデータ入力して記録する。クライアント端末VW1は、例えば目撃情報に一致あるいは類似する人物あるいは車両のオブジェクト特徴要素を検索条件として含む検索の処理要求をAI統合サーバ10に送り、AI統合サーバ10が各サーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)による検索を経て取得した検索結果を、AI統合サーバ10から受け取り、その検索結果(後述参照)を表示する。また、クライアント端末VW1は、例えば無線LAN等の警察署内ネットワークを介して映像管理サーバ40と接続している場合、映像管理サーバ40にアクセスして所望の撮像映像データを取得して再生表示してよい。
ユーザ端末の一例としてのモバイル端末VW2は、例えば警察署内に設置され、現場等に外出中の警官により使用され、例えばスマートフォンまたはタブレット端末等のコンピュータを用いて構成される。モバイル端末VW2は、例えば現場付近で聞き取った目撃情報に一致あるいは類似する人物あるいは車両のオブジェクト特徴要素を検索条件として含む検索の処理要求をAI統合サーバ10に送り、AI統合サーバ10が各サーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)による検索を経て取得した検索結果を、AI統合サーバ10から受け取り、その検索結果(後述参照)を表示する。また、モバイル端末VW2は、例えば無線LANあるいは携帯電話網等のネットワーク(図示略)を介して映像管理サーバ40と接続している場合、映像管理サーバ40にアクセスして所望の撮像映像データを取得して再生表示してよい。
統合サーバとしてのAI統合サーバ10は、例えば警察署内に設置され、クライアント端末VW1あるいはモバイル端末VW2からの人物あるいは車両の検索の処理要求(上述参照)を受け取ると、その処理要求の検索に必要な解析サーバを特定する。AI統合サーバ10は、その特定された解析サーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)に該当する処理指示を生成して送る。ここで、実施の形態1に係る捜査支援システム1において、各解析サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)の製造元(メーカ)はそれぞれ同一でも異なっても構わない。
例えば各解析サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが全て同一である場合、クライアント端末VW1あるいはモバイル端末VW2から各サーバへの検索を要求するためのアプリケーション画面(例えば検索条件あるいは照合条件の入力画面)はそのメーカ独自の共通のレイアウト等で生成されることが考えられる。従って、オペレータ等は、一つの検索条件の入力画面に複数のオブジェクト(例えば人物、車両、顔、ナンバープレート)を混在した横断的な検索(AND検索)を行うことができる。
ところが、各解析サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが全て同一ではない場合、クライアント端末VW1あるいはモバイル端末VW2からそれぞれの異なるメーカ製の解析サーバへの検索を要求するためのアプリケーション画面(例えば検索条件の入力画面)はメーカごとに異なる検索アルゴリズム、レイアウト等で生成されることになる。つまり、クライアント端末VW1あるいはモバイル端末VW2から見れば、顔認証サーバ50への照合条件の入力画面(アプリケーション)と、人物検索サーバ60への検索条件の入力画面(アプリケーション)と、車両検索サーバ80への検索条件の入力画面(アプリケーション)とがそれぞれ異なってしまい、例えば一度に複数のオブジェクト(例えば人物、車両、顔、ナンバープレート)を混在した横断的な検索を行えず、システムとしての利便性が低下してしまう。
そこで、実施の形態1では、AI統合サーバ10は、各解析サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが異なる場合でも、クライアント端末VW1あるいはモバイル端末VW2からの検索の処理要求を受け取ると、処理要求の宛先となる各解析サーバへの通信(アクセス)に共通のインターフェース(IF:Interface)を用いる。ここでいうインターフェースとは、例えば、各サーバで使用されるオブジェクト用検索アルゴリズムが汎用化された共通検索アルゴリズムであり、AI統合サーバ10はこの共通検索アルゴリズムを予め保持している。AI統合サーバ10は、各解析サーバに共通検索アルゴリズム(インターフェース)を用いて、該当する解析サーバに検索あるいは照合の処理指示を送る。また、インターフェースは、例えば各解析サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)との通信の仕様に関する取り決めあるいはプロトコルが共通化されたインターフェースでもよいし、各解析サーバへの通信に適した個別のインターフェースであってよい。AI統合サーバ10は、各解析サーバとの間での通信に適したインターフェースを用いて、データあるいは情報の送受信(例えばアラーム通知の受信)を行ってよい。
AI統合サーバ10は、例えば高性能なサーバコンピュータにより構成され、具体的にはメモリMM1、プロセッサ11、データベース12、サーバIFコントローラ13およびクライアントIFコントローラ14を含む構成である。
メモリMM1は、例えばRAM(Random Access Memory)とROM(Read Only Memory)とを用いて構成され、AI統合サーバ10の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサ11の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ11を制御するためのプログラムを予め記憶する。メモリMM1は、カメラC1~C20のそれぞれが設置された位置を示す道路地図情報を記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図情報を記録する。
プロセッサ11は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)またはFPGA(Field Programmable Gate Array)を用いて構成され、AI統合サーバ10の制御部として機能し、AI統合サーバ10の各部の動作を全体的に統括するための制御処理、AI統合サーバ10の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ11は、メモリMM1に記憶されたコンピュータプログラムに従って動作する。このコンピュータプログラムは、例えば、コンピュータ装置であるAI統合サーバ10に、端末(例えばクライアント端末VW1あるいはモバイル端末VW2)と通信するステップと、複数のカメラC1~C20のそれぞれの撮像映像データを用いて、事件等に関してそれぞれ異なるオブジェクトの映像解析を行う複数の解析サーバ(例えば、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)と通信するステップと、複数の異なるオブジェクト特徴要素の端末からの入力に基づいて、オブジェクト特徴要素に対応する解析サーバに該当オブジェクトの検索要求を送るステップと、それぞれの解析サーバからの該当オブジェクトの検索結果を受け取って統合して端末に表示させるステップと、を実現させる。
例えば、プロセッサ11は、クライアント端末VW1あるいはモバイル端末VW2からの人物あるいは車両の検索の処理要求を受け取ると、その処理要求の検索に必要な少なくとも1つのサーバを特定する。プロセッサ11は、その特定された解析サーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)に該当する処理指示(例えば検索指示)を生成して送る。これにより、プロセッサ11は、例えば複数の解析サーバ(例えば人物検索サーバ60および車両検索サーバ80)のそれぞれを用いて人物および車両を横断的に検索できる(横断検索処理)。例えば、プロセッサ11は、横断検索処理として、人物の特徴および顔の2つのオブジェクト、あるいは、車両、人物および顔の3つのオブジェクトを用いた絞り込み検索を該当する解析サーバに対して行う。
例えば、プロセッサ11は、各解析サーバからの検索結果を受け取ると、オブジェクト(例えば人物、車両)ごとに検索結果を並び替える(検索結果ソート処理)。例えば、プロセッサ11は、各解析サーバからの検索結果に含まれるスコア(例えばAIエンジンの処理に基づいて得られた検索結果の尤度を示す確率値)に基づいて、検索結果に含まれる画像(例えば、人物のサムネイル画像、顔のサムネイル画像、車両のサムネイル画像)の適合度合いを示す順位を決定し、その順位に従って各画像を並び替える。
例えば、プロセッサ11は、AI統合サーバ10に接続されている各解析サーバ(具体的には、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のそれぞれに所定のコマンドを送る。プロセッサ11は、各解析サーバからのコマンド応答の受信の有無に応じて、解析サーバの生死状態(つまり、サーバコンピュータ内のプロセスの稼働有無)を監視する(死活監視処理)。
データベース12は、例えばHDD(Hard Disk Drive)あるいはSSD(Solid State Drive)を用いて構成され、プロセッサ11により取得あるいは生成されたデータもしくは情報を保存する。
サーバIFコントローラ13は、AI統合サーバ10と各解析サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。また、サーバIFコントローラ13は、例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80のそれぞれのメーカが異なる場合でも、各サーバへの通信(アクセス)に適したインターフェースを選択して用いる。例えば、サーバIFコントローラ13は、顔認証サーバ50用の入出力インターフェース、人物検索サーバ60用の入出力インターフェース、車両検索サーバ80用の入出力インターフェースをそれぞれ有し、クライアント端末VW1あるいはモバイル端末VW2からの検索の処理要求に適合するインターフェースを選択して用いる。
クライアントIFコントローラ14は、クライアント端末VW1、モバイル端末VW2および映像管理サーバ40のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。クライアントIFコントローラ14は、プロセッサ11によりソートされた検索結果をクライアント端末VW1あるいはモバイル端末VW2に送る。クライアントIFコントローラ14は、映像管理サーバ40に、クライアント端末VW1あるいはモバイル端末VW2への撮像映像データの配信あるいはカメラC1~C20のそれぞれの撮像映像データの記録(録画)を指示する。また、クライアントIFコントローラ14は、行動検知サーバ70からのアラーム通知を各端末(具体的には、クライアント端末VW1、モバイル端末VW2)のそれぞれに転送する。なお、クライアントIFコントローラ14は、行動検知サーバ70以外の他の解析サーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)からのアラーム通知を各端末(具体的には、クライアント端末VW1、モバイル端末VW2)のそれぞれに転送してもよい。
図2は、捜査支援システム1を構成するカメラC1~C20のハードウェア構成例を示すブロック図である。カメラC1~C20のそれぞれは同一の構成を有するので、以下、カメラC1を例示して説明する。
カメラC1は、撮像部CK1と、メモリCK2と、プロセッサCK3と、通信部CK4と、記録部CK5とを含む構成である。カメラC1は、例えば街中あるいは建物内の各所に設置(配置)され、画角内の撮像エリアを撮像することで撮像映像データを生成する。また、カメラC1は、撮像映像データを映像解析することで、事件等に関する各種のオブジェクト(例えば、人物、車両)の全体枠を検出することができる。
撮像部CK1は、集光用のレンズと、CCD(Charge Coupled Device)型イメージセンサもしくはCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等の固体撮像素子とを有する構成である。撮像部CK1は、カメラC1の電源がオンである間、固体撮像素子による撮像に基づいて得られた被写体の撮像映像データを常時プロセッサCK3に出力する。また、撮像部CK1は、撮像時のズーム倍率を変更させる機構を備えてもよい。
メモリCK2は、例えばRAM(Random Access Memory)とROM(Read Only Memory)を用いて構成され、カメラC1の動作の実行に必要なプログラムおよびデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサCK3の動作時に使用されるワークメモリである。ROMは、例えばプロセッサCK3を制御するためのプログラムおよびデータを予め記憶する。また、メモリCK2は、例えばカメラC1の識別情報(例えばシリアル番号)および各種設定情報を記憶する。
プロセッサCK3は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)もしくはFPGA(Field-Programmable Gate Array)を用いて構成される。プロセッサCK3は、カメラC1の制御部として機能し、カメラC1の各部の動作を全体的に統括するための制御処理、カメラC1の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサCK3は、メモリCK2に記憶されたプログラムおよびデータに従って動作する。プロセッサCK3は、動作時にメモリCK2を使用し、現在の時刻情報を取得したり、撮像部CK1により撮像された撮像映像データに対して各種の公知の画像処理を施した上で記録部CK5に記録したりする。なお、図2には図示を省略しているが、カメラC1がGNSS(Global Navigation Satellite System)受信部を有する場合、GNSS受信部から現在の位置情報を取得し、撮像映像データに位置情報をさらに対応付けて記録してよい。
ここで、GNSS受信部について簡単に説明する。GNSS受信部は、複数のGNSS発信機(例えば4個の航法衛星)から送信される、各自の信号送信時刻および位置座標を含む衛星信号を受信する。GNSS受信部は、複数の衛星信号を用いて、現在のカメラの位置座標および衛星信号の受信時刻を算出する。なお、この算出は、GNSS受信部ではなく、GNSS受信部からの出力が入力されたプロセッサCK3により実行されてよい。なお、受信時刻の情報は、カメラのシステム時刻の補正のためにも使用されてよい。システム時刻は、例えば撮像映像を構成する撮像画像の撮像時刻の記録等に利用される。
また、プロセッサCK3は、通信部CK4により受信された外部からの制御コマンドに従って、撮像部CK1による撮影条件(例えば、ズーム倍率)を可変的に制御してもよい。例えば、外部からの制御コマンドがズーム倍率の変更を指示する場合、プロセッサCK3は、その制御コマンドに従って、その制御コマンドで指定される撮像部CK1の撮影時におけるズーム倍率を変更する。
また、プロセッサCK3は、撮像映像データを解析することで撮像映像データに映るオブジェクト(例えば車両)のオブジェクト特徴要素(例えば乗員の顔)を検知してよい。プロセッサCK3は、撮像映像データの解析結果として、オブジェクト特徴要素の位置を示す座標により構成される顔領域情報を生成し、通信部CK4を介して解析サーバ(例えばLPRサーバ90)に送信する。
通信部CK4は、プロセッサ12Pの指示に基づいて、上述したネットワークNW1を介して、記録部15に記録された撮像映像のデータを車両検索サーバ80および映像管理サーバ40にそれぞれ送る。また、通信部CK4は、外部(例えば、車両検索サーバ80)から送られたカメラC1の制御コマンドを受信したり、カメラC1の状態情報を外部(例えば、車両検索サーバ80)に送信したりする。
記録部CK5は、カメラC1に内蔵される半導体メモリ(例えばフラッシュメモリ)、またはカメラC1に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部15は、プロセッサ12Pにより生成された撮像映像のデータをカメラC1の識別情報(カメラ情報の一例)および撮像日時の情報と対応付けて記録する。記録部15は、所定時間(例えば30秒)分の撮像映像のデータを常時プリバッファリングして保持し、現在時刻より所定時間(例えば30秒)前までの撮像映像のデータを書きしながら蓄積し続ける。なお、記録部15がメモリカードで構成される場合、カメラC1の筐体に挿抜自在に装着される。
図3は、捜査支援システム1を構成する各種の解析サーバのハードウェア構成例を示すブロック図である。具体的には、各種の解析サーバは、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90である。従って、図3の説明における解析サーバは、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90を総称した用語として用いる。図3では、各解析サーバに共通するハードウェア構成の詳細な説明を行い、各部の特徴的な作用の詳細については図1あるいは後述を参照して説明するので、ここでは説明を簡略化する。
図3の解析サーバは、例えばサーバコンピュータマシンにより構成され、具体的にはプロセッサPRC1、メモリMM2、データベース52、カメラIFコントローラ53およびサーバIFコントローラ54を含む構成である。特に、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90は、人工知能(AI)が搭載された高性能なサーバコンピュータマシンであり、AIの学習済みモデルを用いてそれぞれ他の解析サーバとは異なるオブジェクトを検知することができる。
プロセッサPRC1は、例えばGPU(Graphical Processing Unit)またはFPGAを用いて構成され、解析サーバの制御部として機能し、解析サーバの各部の動作を全体的に統括するための制御処理、解析サーバの各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサPRC1は、メモリMM2に記憶されたプログラムに従って動作する。各解析サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のプロセッサPRC1は、例えば対応する解析サーバでの処理に適するように機械学習により生成された学習済みモデル(AI)を実行可能である。各解析サーバは、学習済みモデルを用いた処理の実行により、処理結果とその処理結果の尤度(信頼確率)を示すスコア(後述参照)とを出力する。
例えば、顔認証サーバ50は、顔認証サーバ50用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映る人物の顔を検知したり、AI統合サーバ10からの照合指示に含まれる顔画像とデータベース52のブラックリストデータ(言い換えると、発見の要請がなされている1つ以上の顔画像あるいは顔サムネイル画像を有する照合リスト)との照合処理を実行したりする。顔認証サーバ50は、人物の顔の検知の処理結果として、ブラックリストデータに登録されている顔画像あるいは顔サムネイル画像とその顔画像あるいは顔サムネイル画像の尤度を示すスコアとを出力する。
例えば、人物検索サーバ60は、人物検索サーバ60用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映る人物ならびに人物の外見あるいは所持品の有無等の特徴的要素を示す人物情報(人物属性情報)を検知して抽出したり、AI統合サーバ10からの照合指示に含まれる人物の検索条件を満たす人物の検索処理をデータベース62(言い換えると、発見の要請がなされている1つ以上の人物の全身画像、人物の全身のサムネイル画像あるいは人物属性情報)の参照により実行したりする。人物検索サーバ60は、人物ならびに人物属性情報の検知の処理結果として、人物の全身画像、人物の全身のサムネイル画像、人物情報(人物属性情報)、そのサムネイル画像の尤度を示すスコアを出力する。
例えば、行動検知サーバ70は、行動検知サーバ70用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映る人物が起こす所定の行動の有無を検知する。行動検知サーバ70は、行動の検知の処理結果として、最も尤度が高いと判定した所定の行動の内容(結果)とその行動が検知された撮像映像データを示すサムネイル画像、撮像日時およびカメラの識別情報とを出力する。
例えば、車両検索サーバ80は、車両検索サーバ80用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映る車両ならびに車両の車型、車色等の特徴的要素を示す車両情報(車両属性情報)を検知して抽出したり、AI統合サーバ10からの照合指示に含まれる車両の検索条件を満たす車両の検索処理をデータベース82(言い換えると、発見の要請がなされている1台以上の車両の全体画像、車両の全体のサムネイル画像あるいは車両属性情報)の参照により実行したりする。車両検索サーバ80は、車両ならびに車両属性情報の検知の処理結果として、車両の全体画像、車両の全体のサムネイル画像、車両情報(車両属性情報)、そのサムネイル画像の尤度を示すスコアとを出力する。
例えば、LPRサーバ90は、LPRサーバ90用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映るライセンスプレートのライセンス番号情報を検知して抽出したり、AI統合サーバ10からの照合指示に含まれるライセンス番号情報とデータベース92のライセンス番号リストデータとの照合処理を実行したりする。LPRサーバ90は、ライセンス番号情報の検知の処理結果として、ライセンス番号リストデータに登録されているライセンス番号情報、ライセンス番号情報に対応する車両の購入者(オーナ)の顔画像および個人情報を出力する。
メモリMM2は、例えばRAMとROMとを用いて構成され、解析サーバの動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサPRC1の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC1を制御するためのプログラムを予め記憶する。
データベース52は、例えばHDDあるいはSSDを用いて構成され、解析サーバのプロセッサPRC1により取得あるいは生成されたデータもしくは情報を保存する。プロセッサPRC1により生成されたデータは、例えば解析サーバが顔認証サーバ50である場合には顔画像の照合処理の結果、解析サーバが人物検索サーバ60である場合には検索処理の結果として得られた人物属性情報(上述参照)、解析サーバが車両検索サーバ80である場合には検索処理の結果として得られた車両属性情報(上述参照)、解析サーバがLPRサーバ90である場合には検索処理の結果として得られたライセンス番号情報である。
カメラIFコントローラ53は、解析サーバとカメラC1~C20のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。カメラIFコントローラ53は、カメラC1~C20のそれぞれにより撮像された撮像映像データを受信してプロセッサPRC1に出力する。
サーバIFコントローラ54は、解析サーバとAI統合サーバ10との間の通信(送受信)を司る通信インターフェース回路により構成される。サーバIFコントローラ54は、AI統合サーバ10からの処理指示を受信するとともに、その処理指示に基づくプロセッサPRC1の処理結果をAI統合サーバ10に応答(返送)する。また、サーバIFコントローラ54は、各解析サーバのプロセッサPRC1により検知されたオブジェクトに対応するアラーム通知(上述参照)をAI統合サーバ10に送信する。
図4は、捜査支援システム1を構成するクライアント端末VW1およびモバイル端末VW2のハードウェア構成例を示すブロック図である。図4では、クライアント端末VW1を例示しつつ、クライアント端末VW1およびモバイル端末VW2のハードウェア構成に共通の要素のみ図示しており、クライアント端末VW1あるいはモバイル端末VW2に特有の構成の図示は省略している。図4では、クライアント端末VW1を例示してハードウェア構成の詳細な説明を行う。
図4のクライアント端末VW1は、例えばコンピュータマシンにより構成され、具体的にはプロセッサPRC2、メモリMM3、記録装置112、サーバIFコントローラ114、入力デバイス115、表示デバイス116およびスピーカ117を含む構成である。
プロセッサPRC2は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)またはFPGAを用いて構成され、クライアント端末VW1の制御部として機能し、クライアント端末VW1の各部の動作を全体的に統括するための制御処理、クライアント端末VW1の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサPRC2は、メモリMM3に記憶されたプログラムに従って動作する。
メモリMM3は、例えばRAMとROMとを用いて構成され、クライアント端末VW1の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサPRC2の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC2を制御するためのプログラムを予め記憶する。メモリMM3は、カメラC1~C20のそれぞれが設置された位置を示す道路地図情報を記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図情報を記録する。
記録装置112は、例えばHDDあるいはSSDを用いて構成され、クライアント端末VW1のプロセッサPRC2により取得あるいは生成されたデータもしくは情報を保存する。記録装置112は、AI統合サーバ10から送られた各種の検索結果のデータを保存する。
サーバIFコントローラ114は、クライアント端末VW1とAI統合サーバ10との間の通信(送受信)を司る通信インターフェース回路により構成される。サーバIFコントローラ114は、プロセッサPRC2により生成される検索の処理要求をAI統合サーバ10に送る。また、サーバIFコントローラ114は、AI統合サーバ10から送られる各種の検索結果(処理結果)あるいはアラーム通知(上述参照)を受信する。
入力デバイス115は、警察署内のオペレータ(例えばクライアント端末VW1のユーザ)あるいは現場に外出中の警官(例えばモバイル端末VW2のユーザ)の操作を受け付ける。入力デバイス115は、例えばマウス、キーボード、タッチパネルにより構成される。
表示デバイス116は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)により構成され、プロセッサPRC2から送られた各種のデータを表示する。
スピーカ117は、プロセッサPRC2によりデータ(例えばAI統合サーバ10からの検索結果に含まれるビデオデータ)が再生される時の音声を音響的に出力する。
次に、実施の形態1に係る捜査支援システム1を用いた警察捜査において、クライアント端末VW1の表示デバイス116に表示される画面例を、図5を参照して説明する。図5は、アラーム通知画面例を示す図である。なお、図5に表示されるアラーム通知画面はモバイル端末VW2で表示されてもよいが、説明に統一性を持たせるためにクライアント端末VW1を例示して説明する。
警察捜査において、クライアント端末VW1あるいはモバイル端末VW2は、オペレータあるいは警官の操作により、予めインストールされている捜査支援アプリケーション(以下「捜査支援アプリ」という)を起動して実行中である。捜査支援アプリは、例えばクライアント端末VW1あるいはモバイル端末VW2のメモリMM3のROMに格納され、オペレータあるいは警官の操作により起動されるとプロセッサPRC2により実行される。言い換えると、以下の説明における動作主体としての捜査支援アプリはプロセッサPRC2と読み替えできる。捜査支援アプリの起動中にプロセッサPRC2により生成されるデータあるいは情報は、一時的にメモリMM3のRAMに保持される。
実施の形態1では、クライアント端末VW1において、捜査支援アプリは、AI統合サーバ10からの事件等に関するイベントの通知を受信すると、図5に示すアラーム通知画面WD1を表示デバイス116に表示する。
図5に示すアラーム通知画面WD1は、事件等に関する各種のオブジェクト(例えば人物、車両)の検索条件(例えば、オブジェクト特徴要素(例えば人物属性情報、車両属性情報))の入力欄SCON1の表示領域と、AI統合サーバ10から送られた事件等に関するイベントのリストウインドウAMLT1の表示領域とを含む。検索条件の入力欄SCON1は、捜査支援アプリにより標準的に使用される。
検索条件の入力欄SCON1では、検索対象となるオブジェクトが検知されるべき日時(Time&Date)、カメラ(Camera)、イベント(Event)、リセットアイコンRSE1、検索実行アイコンSCR1のそれぞれが入力あるいは選択が可能に、それぞれの表示領域が設けられる。
日時(Time&Date)の表示領域では、日時開始入力欄FR1と日時終了入力欄TO1とが配置されている。
日時開始入力欄FR1は、オブジェクト(例えば被疑者等の人物、逃走車両等の車両)の検索の対象となる撮像映像データが撮像された開始日時として、ユーザ操作により入力される。日時開始入力欄FR1には、例えば、事件等の発生日時またはその日時より少し前の日時が入力される。ユーザ操作により入力されると、捜査支援アプリは、検索条件(例えば開始日時)として日時開始入力欄FR1に入力された日時を検索条件としてセットする。
日時終了入力欄TO1は、オブジェクト(例えば被疑者等の人物、逃走車両等の車両)の検索の対象となる撮像映像データが撮像された終了日時として、オペレータの操作により入力される。日時終了入力欄TO1には、例えば、日時開始入力欄に入力される日時より所定期間(例えば事件等の発生日時から少し後の日時)が入力される。オペレータの操作により入力されると、捜査支援アプリは、検索条件(例えば終了日時)として日時終了入力欄TO1に入力された日時を検索条件としてセットする。
カメラ(Camera)の表示領域では、検索の対象となるカメラの選択を促すためのカメラ選択アイコンSCL1が配置されている。
カメラ選択アイコンSCL1は、オブジェクト(例えば被疑者等の人物、逃走車両等の車両)の検索の対象となる撮像映像データを撮像したカメラの一覧を表示させてオペレータの選択を促す。捜査支援アプリは、オペレータの操作により少なくとも1台のカメラが選択されると、その選択されたカメラの識別情報を検索条件としてセットする。
イベント(Event)の表示領域では、アラーム通知画面WD1のリストウインドウAMLT1内に表示されるべきイベントの種別を示すチェックボックスEVE1が配置されている。
図5の例では、“Face matching”、“People fighting”、“LPR matching”の3つがオペレータの操作により選択されている。“Face matching”は、例えばブラックリストデータ(照合リストの一例)に登録されている顔と同一あるいは類似する顔がカメラの撮像映像データ(ライブ映像)の映像解析に基づいて検知されたイベントを示す。“People fighting”は、例えば2人の人物が喧嘩していることがカメラの撮像映像データ(ライブ映像)の映像解析に基づいて検知されたイベントを示す。“LPR matching”は、例えばブラックリストデータ(照合リストの一例)に登録されているライセンス番号情報のライセンス番号と同一のライセンス番号を有する車両がカメラの撮像映像データ(ライブ映像)の映像解析に基づいて検知されたイベントを示す。
リセットアイコンRSE1は、オペレータの操作により入力された検索条件のリセットを指示する。捜査支援アプリは、例えばオペレータの操作により検索条件が入力された後にリセットアイコンRSE1の押下を検知すると、その入力された検索条件をリセットする(つまり全て削除して初期状態に戻す)。
検索実行アイコンSCR1は、オペレータの操作により入力された検索条件を満たす検索の実行を要求する。捜査支援アプリは、例えばオペレータの操作により検索条件が入力された後に検索実行アイコンSCR1の押下を検知すると、その入力された検索条件を満たす検索要求を生成してAI統合サーバ10に送信する。
イベントのリストウインドウAMLT1は、イベントが検知された日時(Date/Time)、カメラ(Camera)、イベント(Event)、検知画像(Detected)、登録画像(Registered)、詳細(Details)のそれぞれの内容データをイベントごとに表示する。図5の例では、“Face matching”、“Unknown driver”、“People fighting”の3つのイベントのそれぞれについて上述した各項目の内容データが図示されている。“Face matching”および“People fighting”の内容データはデフォルトの簡略スタイルで示されており、“Unknown driver”の内容データはオペレータの操作により詳細スタイルDTL1で示されている。
例えばイベント“Face matching”は、2019年6月13日の午前10時12分33秒に“North Entrance”に配置されたカメラ(例えばカメラC1)の撮像映像データの映像解析に基づいて検知された。“Registered”の顔画像と同一あるいは類似する“Detected”の顔画像が検知された。なお、詳細(Details)の欄には、例えば、顔画像の類似度、イベント“Face matching”の対象となった人物の氏名、年齢、性別、メモ等の情報が表示されている。
例えばイベント“Unknown driver”は、2019年6月13日の午前10時00分13秒に“Parking lot ABC”に配置されたカメラ(図2参照)の撮像映像データの映像解析に基づいて検知された。また、このイベントの検知に際して、“Parking lot ABC”に車両VCL1が入庫する時にライセンスプレートLPT1のライセンス番号情報と乗員(例えばドライバー)の顔画像FCEN1とが登録されている。“Parking lot ABC”の出庫時に、入庫時と同一のライセンス番号情報を有する車両VCL1が異なる乗員(例えばドライバー)の顔画像FCGO1が検知された場合に、このイベント“Unknown driver”が検知されたことになる。なお、イベント“Unknown driver”は、イベント“LPR matching”の下位グループに属するイベントであってよく、“LPR matching”がチェックボックスEVE1で指定されていればAI統合サーバ10の通知を受けてよい。
捜査支援アプリは、“Unknown driver”の内容データを詳細スタイルDTL1でリストウインドウAMLT1内に表示する。具体的には、捜査支援アプリは、“Parking lot ABC”に入庫(When entering)したライセンスプレートLPT1を有する車両VCL1の乗員の顔画像FCEN1を入庫時刻(2019年6月12日の午後9時6分0秒)に登録したことをリストウインドウAMLT1内に表示する。また、捜査支援アプリは、“Parking lot ABC”への車両VCL1の入庫時の様子の撮像映像データを再生可能な再生ウインドウPLY1、車両VCL1の入庫を撮像したカメラ(図2参照)を含む複数のカメラの配置箇所と車両VCL1のサムネイル画像THM1とを重畳した地図データMP1をそれぞれリストウインドウAMLT1内に表示する。地図データMP1上には、複数のカメラの配置箇所を示すインジケータIC1,IC2,IC3が識別可能に表示されている。また、捜査支援アプリは、“Parking lot ABC”から出庫した(Detected)同一のライセンスプレートLPT1を有する車両VCL1の乗員の異なる顔画像FCGO1を検知したことをリストウインドウAMLT1内に表示する。
つまり、クライアント端末VW1は、イベント“Unknown driver”の通知を受けてリストウインドウAMLT1に表示することで、オペレータあるいは警官に、同一のライセンス番号情報を有しながらも駐車場の入庫時と出庫時とで乗員の顔画像が異なっている(言い換えると、駐車中に乗員が入れ替わった)ことを気付かせることができる。したがって、オペレータあるいは警官は、事件等の被疑者が駐車中にいなくなったあるいは急遽現れたことをAI統合サーバ10からのイベント通知により把握することができ、捜査効率を向上できる。
次に、実施の形態1に係る捜査支援システム1の動作手順例について、図6を参照して説明する。図6は、実施の形態1に係る捜査支援システム1の動作手順例を示すシーケンス図である。図6ではイベント“Unknown driver”の検知およびクライアント端末VW1への通知に至る処理の流れを時系列に説明し、車両の入庫を検知したカメラを“カメラα”(図2参照)、車両の出庫を検知したカメラを“カメラβ”(図2参照)と定義する。なお、カメラαとカメラβとは同一でもよい。
図6において、カメラαは、自らの撮像により得られた撮像映像データを映像解析することで駐車場(例えば“Parking lot ABC”)に入庫しようとする車両の乗員の顔領域を検知して判別する(St1)。カメラαは、ステップSt1の検知に用いた撮像画像と乗員の顔領域情報とのペアをLPRサーバ90に送る(St2)。LPRサーバ90は、ステップSt2でカメラαから送られた撮像画像を解析し(St3)、撮像画像に映る乗員の顔部分を切り出して顔画像を生成し、この顔画像J2と車両のライセンス番号J1情報とのペアをAI統合サーバ10に送る(St4)。AI統合サーバ10は、LPRサーバ90から送られた顔画像J2と車両のライセンス番号J1情報とのペアをカメラαによる車両の入庫の検知タイミングの時刻と関連づけてデータベース12に登録する(St5)。
カメラβは、自らの撮像により得られた撮像映像データを映像解析することで駐車場(例えば“Parking lot ABC”)から出庫しようとする車両の乗員の顔領域を検知して判別する(St6)。なお、カメラαとカメラβとは異なってもよいが同一でもよく、同一の場合にはステップSt1の時刻とステップSt6の時刻とは異なる。カメラβは、ステップSt6の検知に用いた撮像画像と乗員の顔領域情報とのペアをLPRサーバ90に送る(St7)。LPRサーバ90は、ステップSt7でカメラβから送られた撮像画像を解析し(St8)、撮像画像に映る乗員の顔部分を切り出して顔画像を生成し、この顔画像J4と車両のライセンス番号J3情報とのペアをAI統合サーバ10に送る(St9)。図6の説明を簡易化するため、ライセンス番号J1とライセンス番号J3とは同一とする。
AI統合サーバ10は、LPRサーバ90から送られた顔画像J4と車両のライセンス番号J3(=J1)情報とのペアを受信した時、データベース12にライセンス番号J3(=J1)が登録済みであるか否かを判定する(St10)。データベース12にライセンス番号J3(=J1)が登録済みでないとAI統合サーバ10により判定された場合には(St10、NO)、実施の形態1に係る捜査支援システム1の処理は終了する。
一方で、AI統合サーバ10は、データベース12にライセンス番号J3(=J1)が登録済みであると判定した場合(St10、YES)、データベース12からライセンス番号J3情報と対応する顔画像J2を読み出し、顔画像J2と顔画像J4とを含む照合要求を生成して顔認証サーバ50に送る(St11)。
顔認証サーバ50は、AI統合サーバ10からの照合要求に従い、顔画像J2と顔画像J4とが同一あるいは類似するか否かを判定する(St12)。顔認証サーバ50は、顔画像J2と顔画像J4とが同一あるいは類似すると判定した場合(St12、YES)、顔画像J2と顔画像J4とが一致する(言い換えると、顔画像J2の人物と顔画像J4の人物とは同一である)旨の報告を生成してAI統合サーバ10に送る(St13)。AI統合サーバ10は、顔認証サーバ50からの報告を受けると、その報告によると事件性のあるイベントは発生していないのでイベント“Unknown driver”の通知の必要が無いと判定し、イベント“Unknown driver”のクライアント端末VW1への通知を省略する(St14)。
一方で、顔認証サーバ50は、顔画像J2と顔画像J4とが非類似であると判定した場合(St12、NO)、顔画像J2と顔画像J4とが不一致である(言い換えると、顔画像J2の人物と顔画像J4の人物とは別人である)旨の報告を生成してAI統合サーバ10に送る(St15)。AI統合サーバ10は、顔認証サーバ50からの報告を受けると、その報告によると駐車中に乗員(例えばドライバー)が入れ替わり事件性のあるイベントが発生したとしてイベント“Unknown driver”の通知の必要があると判定し、ライセンス番号J1(=J3)情報、顔画像J2および顔画像J4を含むイベント“Unknown driver”をクライアント端末VW1に通知する(St16)。クライアント端末VW1は、AI統合サーバ10からの通知に基づいて、図5に示すアラーム通知画面WD1を表示する(St17)。
また、実施の形態1に至る経緯として、特許文献1では、事件等の形態が多様化しているという昨今の実情に鑑みて、事件等を引き起こした被疑者あるいは被疑者が逃走用に使用している逃走車両の検索を行うことは考慮されていない。特に、警察等の捜査機関による捜査(特に初動捜査)においては、被疑者を早期に発見するために被疑者あるいは逃走車両をいち早く特定することが求められることが多い。しかし、特許文献1の技術を用いても、捜査官(例えば警官)が個々のカメラ装置の映像を人力で逐一視聴して確認すると逃走車両の特定に時間がかかり非効率的であるため、被疑者あるいは逃走車両の早期発見が難しいという課題があった。また、検索条件を入力する際のユーザ操作を簡易化することで、利便性を高めることが求められる。
そこで、実施の形態1に係る捜査支援システム1において、被疑者あるいは逃走車両の検索時のユーザ操作をより簡易化するためのUI(User Interface)例について、図7を参照して説明する。図7は、検索条件入力画面WD2の一部の表示例を示す図である。捜査支援アプリは、ユーザ(例えば警察署のオペレータあるいは現場の警官)の操作により、検索条件入力画面WD2を表示デバイス116に表示する。なお、図7では、検索条件入力画面WD2のうち、ユーザインターフェースのより簡易化を実現するための特徴的内容を抜粋して図示している。
検索条件入力画面WD2は、(T1)初期状態を起点としてユーザ操作により、(T2)人物検索サーバ60の選択時、(T3)人物検索サーバ60および顔認証サーバ50の選択時、あるいは(T4)車両検索サーバ80およびLPRサーバ90の選択時のいずれかに表示内容が遷移する。
(T1)初期状態の検索条件入力画面WD2は、事件等に関する各種のオブジェクト(例えば人物、車両)の検索条件(例えば、オブジェクト特徴要素(例えば人物属性情報、車両属性情報))の入力欄の表示領域を含む。この検索条件の入力欄の表示領域には、検索対象となるオブジェクトが検知されるべき日時(Time&Date)、サーチフィルタ(Search filter)、セーブ(Save)、リセット(Reset)、サーチ(Search)の各アイコンが入力あるいは選択が可能に配置されている。なお、図7の説明において、図5の説明と重複する構成要素には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容を説明する。(T1)初期状態では、未だ検索条件が入力されていないため、捜査支援アプリにより検索条件入力画面WD2のセーブ、リセット、サーチの各アイコンはいずれも押下不可に設定されている。
サーチフィルタSFL1は、クライアント端末VW1から検索可能となる事件等に関する各種のオブジェクトの一覧をサブウインドウFLT1で示し、ユーザの選択操作を促す。各種のオブジェクトの一覧は、例えば、“People(人物)”、“Face(顔)”、“Vehicle(車両)”、“License Plates(ライセンスプレート)”を含む。言い換えると、図7のサーチフィルタSFL1により、ユーザは、指FGあるいはマウス等で移動可能なカーソルを用いて、人物、顔、車両、ライセンスプレートの検索を指定できることを把握できる。
捜査支援アプリは、ユーザ操作(例えば指FG)によりサーチフィルタSFL1のサブウインドウFLT1内の“People(人物)”が選択されたことを検知すると、例えば検索条件入力画面WD2内において人物検索条件欄PSC1を表示する(T2参照)。
(T2)人物検索サーバ60の選択時の検索条件入力画面WD2は、(T1)初期状態から指FGあるいはマウス等のカーソル(図示略)で“People(人物)”が選択されたことが捜査支援アプリにより検知されると、捜査支援アプリにより表示される。人物(People)が選択されると、例えば前回の人物検索時に用いた検索条件PCH1を示す人物検索条件欄PSC1が表示される。なお、前回の人物検索時に用いた検索条件の代わりに、ユーザ操作により新規に入力された検索条件を示す人物検索条件欄PSC1が表示されてよい。検索条件PCH1は、例えば4つのオブジェクト特徴要素“男性”、“黄色い服”、“黒いズボン”、“所持品無し”の全てを示す。また、検索の類似度合い(Similarity)を調整可能な調整バーSBR1、ならびに、オブジェクト特徴要素(例えば人物の外見的な特徴要素)の詳細な検索条件詳細画面(図12参照)の表示アイコンCHDTL1も人物検索条件欄PSC1内に表示されてよい。
捜査支援アプリは、人物検索の検索条件の入力後にユーザ操作(例えば指FG)によりサーチフィルタSFL1のサブウインドウFLT1内の“Face(顔)”が選択されたことを検知すると、例えば検索条件入力画面WD2内において人物検索条件欄PSC1の下に顔検索条件欄PSC2を表示する(T3参照)。
(T3)人物検索サーバ60および顔認証サーバ50の選択時の検索条件入力画面WD2は、(T2)人物検索サーバ60の選択時から指FGあるいはマウス等のカーソル(図示略)で“Face(顔)”が選択されたことが捜査支援アプリにより検知されると、捜査支援アプリにより表示される。顔(Face)が選択されると、例えば検索対象となる顔画像のアップロード用アイコンUPL1を示す顔検索条件欄PSC2が表示される。なお、また、検索の類似度合い(Similarity)を調整可能な調整バーSBR2も顔検索条件欄PSC2内に表示されてよい。
捜査支援アプリは、(T1)初期状態時にユーザ操作(例えば指FG)によりサーチフィルタSFL1のサブウインドウFLT1内の“Vehicle(車両)”が選択されたことを検知すると、例えば車両検索条件欄VSC1を表示する。さらに、捜査支援アプリは、車両検索条件欄VSC1内に車両の検索条件が入力された後に続けてユーザ操作(例えば指FG)によりサーチフィルタSFL1のサブウインドウFLT1内の“License Plates(ライセンスプレート)”が選択されたことを検知すると、例えばライセンスプレート検索条件欄VSC2を表示する。
(T4)車両検索サーバ80およびLPRサーバ90の選択時の検索条件入力画面WD2は、車両検索サーバ80の選択時から指FGあるいはマウス等のカーソル(図示略)で“License Plates(ライセンスプレート)”が選択されたことが捜査支援アプリにより検知されると、捜査支援アプリにより表示される。車両(Vehicle)が選択されると、例えば前回の車両検索時に用いた検索条件を示す車両検索条件欄VSC1が表示される。なお、前回の車両検索時に用いた検索条件の代わりに、ユーザ操作により新規に入力された検索条件を示す車両検索条件欄VSC1が表示されてよい。検索条件は、例えば4つのオブジェクト特徴要素“車型=セダン”、“車型=バン”、“車型=SUV”、“車色=白色”の全てを示す。なお、また、検索の類似度合い(Similarity)を調整可能な調整バーも車両検索条件欄VSC1内に表示されてよい。
ライセンスプレート(License Plates)が選択されると、図7に示す4種類のライセンス番号検索条件欄VSC21,VSC22,VSC23,VSC24のいずれかが表示される。ライセンス番号検索条件欄VSC21,VSC22,VSC23,VSC24のそれぞれは、4つのチェックボックス(具体的には、“All”,“Plates”,“Groups”,“Search”)を有する。
ライセンス番号検索条件欄VSC21では、全てのライセンス番号を検索対象とする場合にユーザ操作によりチェックボックス“All”が選択される。捜査支援アプリは、全てのライセンス番号を検索条件として含めて生成する。
ライセンス番号検索条件欄VSC22では、ユーザ操作により指定された特定のライセンス番号を検索対象とする場合にユーザ操作によりチェックボックス“Plates”が選択される。また、特定のライセンス番号だけでなく、ライセンス番号の国あるいは州の指定も可能である。捜査支援アプリは、例えば“BFP8526”のライセンス番号を検索条件として含めて生成する。
ライセンス番号検索条件欄VSC23では、ユーザ操作により指定された特定のグループのライセンス番号を検索対象とする場合にユーザ操作によりチェックボックス“Groups”が選択される。捜査支援アプリは、例えば“Video recorder”(つまり映像管理サーバ40に記録されている全ての撮像映像データ)に映る車両のライセンス番号を検索条件として含めて生成する。
ライセンス番号検索条件欄VSC24では、ユーザ操作により指定された任意のライセンス番号を検索対象とする場合にユーザ操作によりチェックボックス“Search”が選択される。捜査支援アプリは、例えばワイルドカードの記号“%”を用いた“B%”のライセンス番号(つまり、“B”が含まれるライセンス番号)を検索条件として含めて生成する。
次に、実施の形態1に係る捜査支援システム1の他の動作手順例について、図8を参照して説明する。図8は、実施の形態1に係る捜査支援システム1の他の動作手順例を示すシーケンス図である。図8では車両およびライセンス番号の検索およびクライアント端末VW1への通知に至る処理の流れを時系列に説明する。図8では説明を簡単にするために、複数のオブジェクトのそれぞれを個別に検索するOR検索を例示するが、複数のオブジェクトのそれぞれを全て同時に満たすAND検索にも適用可能である。
図8において、クライアント端末VW1は、オペレータの操作により、車両を特徴付ける車両検索条件とライセンス番号を特徴付けるライセンス番号検索条件とを含むOR検索(図7参照)の検索要求を生成してAI統合サーバ10に送る(St101)。ここで、車両検索条件は、例えば車両の車型がSUV(スポーツ用多目的車)である。ライセンス番号検索条件は、例えば文字“B”を含むである。
AI統合サーバ10は、クライアント端末VW1からのOR検索の検索要求を受信すると、先ずステップSt101で送られた検索要求から車両検索条件を取り出して車両検索条件を満たす車両の検索要求を車両検索サーバ80に送る(St102)。
車両検索サーバ80は、AI統合サーバ10からの検索要求に基づいて、データベース82を参照して車両検索条件を満たす車両の検索処理を実行する(St103)。人物検索サーバ60は、車両検索条件の特徴と一致する車両を抽出した場合(St103、一致)、該当車両のサムネイル画像を含む処理結果をAI統合サーバ10に返送する(St104)。一方、車両検索サーバ80は、車両検索条件の特徴と一致する車両を抽出できなかった場合(St103、不一致)、該当車両情報がいない旨の処理結果をAI統合サーバ10に返送する(St105)。
AI統合サーバ10は、ステップSt104またはステップSt105の後に続けて、ステップSt101で送られた検索要求からライセンス番号検索条件を取り出してライセンス番号検索条件を満たすライセンス番号の検索要求をLPRサーバ90に送る(St106)。
LPRサーバ90は、AI統合サーバ10からの検索要求に基づいて、データベース92を参照してライセンス番号検索条件を満たすライセンス番号の検索処理を実行する(St107)。LPRサーバ90は、ライセンス番号検索条件の特徴と一致するライセンス番号を抽出した場合(St107、一致)、該当ライセンス番号のサムネイル画像およびそのライセンス番号に対応する車両の購入者に関する情報(上述参照)を含む処理結果をAI統合サーバ10に返送する(St108)。一方、LPRサーバ90は、ライセンス番号検索条件の特徴と一致するライセンス番号を抽出できなかった場合(St107、不一致)、該当ライセンス番号情報がない旨の処理結果をAI統合サーバ10に返送する(St109)。
AI統合サーバ10は、車両検索サーバ80による車両検索の処理結果とLPRサーバ90によるライセンス番号検索の処理結果とを、該当車両あるいは該当ライセンス番号がないという結果を含めて統合(集約)し、クライアント端末VW1に返送する(St110)。クライアント端末VW1は、ステップSt110で返送された検索の処理結果を示す検索結果画面(図示略)を生成して表示デバイス116に表示する。
なお、図8では車両検索条件とライセンス番号検索条件とを用いた車両検索およびライセンス番号検索のOR検索の例を説明したが、AI統合サーバ10は、人物検索および車両検索のAND検索を行う際、次のように行う。例えば、AI統合サーバ10は、ステップSt104で送られた車両検索の処理結果の中を後続のライセンス番号検索の母集団とセットし、車両検索の処理結果の中でライセンス番号検索条件を満たす処理結果をLPRサーバ90に検索させる。
以上により、実施の形態1に係る捜査支援システム1は、解析サーバとAI統合サーバ10とが通信可能に接続される。解析サーバは、第1の撮像タイミングで撮像された車両が映る第1の撮像画像を受け取ると車両の乗員の顔およびライセンスプレートの解析を行い、乗員の顔画像J2とライセンス番号J1情報とを含む第1の解析結果をAI統合サーバに送る。AI統合サーバ10は、第1の解析結果を第1の撮像タイミングと関連付けてデータベース12に登録する。解析サーバは、第2の撮像タイミングで撮像された車両が映る第2の撮像画像を受け取ると車両の乗員の顔およびライセンスプレートの解析を行い、乗員の顔画像J4とライセンス番号J3情報とを含む第2の解析結果をAI統合サーバ10に送る。AI統合サーバ10は、第1の解析結果に含まれるライセンス番号J1情報と第2の解析結果に含まれるライセンス番号J3情報とが一致しかつ第1の解析結果に含まれる乗員の顔画像J2と第2の解析結果に含まれる乗員の顔画像J4とが異なると決定した場合に、事件等に関するアラーム通知を行う。
これにより、捜査支援システム1は、事件等を引き起こした被疑者あるいは被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援でき、警察等の捜査機関による捜査の利便性を向上できる。したがって、クライアント端末VW1のユーザは、同一のライセンス番号情報を有しながらも異なる撮像タイミング(例えば駐車場の入庫時と出庫時)で乗員の顔画像が異なっている(言い換えると、駐車中に乗員が入れ替わった)ことを気付かせることができる。したがって、オペレータあるいは警官は、事件等の被疑者が駐車中にいなくなったあるいは急遽現れたことをAI統合サーバ10からのイベント通知により把握することができ、捜査効率を向上できる。
また、第1の撮像タイミングに第1の撮像画像を撮像したカメラと、第2の撮像タイミングに第2の撮像画像を撮像したカメラとが同一である。これにより、異なる撮像タイミングで撮像された第1の撮像画像および第2の撮像画像を撮像したカメラが同一となるので、例えば入庫時と出庫時とで同一のカメラで様子を監視するような小規模の駐車場であっても、オペレータあるいは警官は、ドライバー等の乗員がすり替わった(例えば事件等の被疑者が駐車中にいなくなったあるいは急遽現れたこと)を簡易に把握できる。
また、第1の撮像タイミングに第1の撮像画像を撮像したカメラと、第2の撮像タイミングに第2の撮像画像を撮像したカメラとが異なる。これにより、異なる撮像タイミングで撮像された第1の撮像画像および第2の撮像画像を撮像したカメラが異なるので、例えば入庫時と出庫時とで別々のカメラで様子を監視するような中規模あるいは大規模の駐車場であっても、オペレータあるいは警官は、ドライバー等の乗員がすり替わった(例えば事件等の被疑者が駐車中にいなくなったあるいは急遽現れたこと)を簡易に把握できる。
また、捜査支援システム1は、AI統合サーバ10との間で通信可能に接続されるユーザ端末、を更に備える。ユーザ端末は、アラーム通知に基づいて、ライセンス番号J1情報と第1の解析結果に含まれる乗員の顔画像J2と第2の解析結果に含まれる乗員の顔画像J4とを少なくとも含むアラーム通知画面WD1を表示する。これにより、クライアント端末VWあるいはモバイル端末VW2のユーザは、自分が気付かないうちに“Unknown driver”等の事件等に関するイベントの存在を簡易に把握できるので、例えば自分が追跡対象としている被疑者の出現場所等を把握できて現場に急いで向かうことができ、捜査効率が向上する。
また、ユーザ端末は、第1の撮像画像を撮像したカメラの配置位置を重畳した地図データMP1をアラーム通知画面WD1に含めて表示する。これにより、クライアント端末VWあるいはモバイル端末VW2のユーザは、例えば自分が追跡対象としている被疑者の出現場所の周囲の地図データMP1をアラーム通知画面WD1上で迅速に確認できて現場に急行でき、あるいはその被疑者が乗っている車両の行き先の予測をし易くできる。
また、実施の形態1に係る捜査支援システム1は、ユーザ端末と、複数の解析サーバとの間で通信可能に接続されたAI統合サーバ10とを含む。ユーザ端末は、事件等に関する複数の異なるオブジェクト特徴要素ごとに対応して設けられた複数の解析サーバの一覧を示す解析サーバ選択画面(サーチフィルタSFL1のサブウインドウFLT1参照)を表示する。ユーザ端末は、解析サーバ選択画面から第1の解析サーバ(例えば人物検索サーバ60)を選択し、選択された第1の解析サーバにより検索されるオブジェクト(例えば人物)のオブジェクト特徴要素(例えば人物の外見的な特徴要素)を含む検索条件の入力に基づいて、検索条件を満たす該当オブジェクトの検索要求をAI統合サーバ10に送る。AI統合サーバ10は、検索要求に基づいて、第1の解析サーバに該当オブジェクトの検索指示を送り、第1の解析サーバからの検索結果を受信してユーザ端末に送る。
これにより、捜査支援システム1は、複数の異なるオブジェクトのオブジェクト特徴要素のそれぞれを独自に検索可能な複数の解析サーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)の一覧をユーザ端末にて提示できる。したがって、クライアント端末VW1あるいはモバイル端末VW2のユーザ(例えば警察署のオペレータあるいは現場等に外出中の警官)による被疑者あるいは逃走車両の検索時のユーザ操作の簡易化が一層図れる。
また、ユーザ端末は、第1の解析サーバの選択後、解析サーバ選択画面から第2の解析サーバを選択し、選択された第1の解析サーバおよび第2の解析サーバのそれぞれにより検索可能なオブジェクトのオブジェクト特徴要素を含む検索条件の入力に基づいて、検索条件を満たす該当オブジェクトの検索要求をAI統合サーバ10に送る。AI統合サーバ10は、検索要求に基づいて、第1の解析サーバおよび第2の解析サーバのそれぞれに該当オブジェクトの検索指示を送り、第1の解析サーバおよび第2の解析サーバのそれぞれからの検索結果を受信してユーザ端末に送る。これにより、捜査支援システム1は、複数の解析サーバのそれぞれごとに対応するオブジェクトのオブジェクト特徴要素を含む検索条件を簡易に入力させることができ、ユーザの利便性をより一層向上できる。
(実施の形態2に至る経緯)
特許文献1では、事件等の形態が多様化しているという昨今の実情に鑑みて、事件等を引き起こした被疑者あるいは被疑者が逃走用に使用している逃走車両の検索を行うことは考慮されていない。特に、警察等の捜査機関による捜査(特に初動捜査)においては、被疑者を早期に発見するために被疑者あるいは逃走車両をいち早く特定することが求められることが多い。しかし、特許文献1の技術を用いても、捜査官(例えば警官)が個々のカメラ装置の映像を人力で逐一視聴して確認すると逃走車両の特定に時間がかかり非効率的であるため、被疑者あるいは逃走車両の早期発見が難しいという課題があった。また、事件等に関する複数の異なるオブジェクトを検索する際、それぞれのオブジェクトを検索可能な解析サーバが常に通信可能な状態とは限らないので、仮に通信不可な状態がある解析サーバが存在する場合にはその存在を可視化することも要請され得る。
(実施の形態2)
そこで、実施の形態2では、検索時のユーザフレンドリな検索条件のユーザインターフェースを提供するとともに、事件等を引き起こした被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援し、警察等の捜査機関による捜査の利便性を向上する捜査支援システムの例を説明する。実施の形態2に係る捜査支援システムの構成は実施の形態1に係る捜査支援システム1と同一であるため、同一の内容の説明は省略し、実施の形態1と異なる内容については同一の符号を参照しながら説明する。
図9は、車両検索サーバ80との接続エラーの発生を通知する検索結果画面例を示す図である。図9の検索結果画面WD3では、検索条件として、例えば2019年6月13日の15時00分00秒から2019年6月14日の15時00分00秒までの日時が入力されている。また、検索条件として、4つのオブジェクト特徴要素“男性”、“黄色い服”、“黒いズボン”、“所持品無し”が入力されたことで、捜査支援アプリによりこれら4つのオブジェクト特徴要素を含む人物検索条件欄PSC1が表示されている。また、検索条件として、4つのオブジェクト特徴要素“車型=セダン”、“車型=バン”、“車型=SUV”、“車色=白色”が入力されたことで、捜査支援アプリによりこれら4つのオブジェクト特徴要素を含む車両検索条件欄VSC3が表示されている。
ところが、詳細は図11を参照して説明するが、クライアント端末VW1(以下、モバイル端末VW2でも可)から検索条件がAI統合サーバ10に送られた後、AI統合サーバ10と車両検索サーバ80との間で通信断が発生したとする。この場合、捜査支援アプリにより、車両検索サーバ80との接続エラーを示す通信エラーメッセージERR1が検索結果画面WD3に表示されるとともに、車両検索条件欄VSC3の検索条件を満たす車両の検索ができなかったことを示す通信断アイコンERR0が車両検索条件欄VSC3内に表示される。
その一方で、AI統合サーバ10と人物検索サーバ60との間では通信断が発生していないので、人物検索条件欄PSC1の検索条件を満たすオブジェクトの該当件数(例えば517件)および検索対象となった日時を含む検索結果PSRST1が人物検索サーバ60からAI統合サーバ10に送られる。したがって、捜査支援アプリにより、図9の検索結果画面WD3にも検索結果PSRST1が表示される。
図10は、車両検索サーバ80との接続の復帰を通知する検索結果画面例を示す図である。図10の説明において、図9の内容と重複する要素の説明は省略し、異なる内容について説明する。
詳細は図11を参照して説明するが、図9に示す通信エラーメッセージERR1がクライアント端末VW1の検索結果画面WD3上に表示された後、AI統合サーバ10と車両検索サーバ80との間で通信可能な状態に復帰したとする。この場合、捜査支援アプリにより、車両検索サーバ80との接続が復帰したことを示す通信復帰メッセージSTB1が検索結果画面WD3に表示されるとともに、通信断アイコンERR0が車両検索条件欄VSC3内から非表示される(言い換えると、通信断アイコンERR0が表示されなくなる)。
次に、実施の形態2に係る捜査支援システム1の動作手順例について、図11を参照して説明する。図11は、実施の形態2に係る捜査支援システム1の動作手順例を示すシーケンス図である。図11では図9の人物検索条件欄PSC1および車両検索条件欄VSC3のそれぞれの検索条件両方を同時に満たすAND検索の検索条件が入力された場合に、AI統合サーバ10から人物検索サーバ60および車両検索サーバ80のそれぞれに検索要求を指示する処理の流れを時系列に説明する。
図11において、AI統合サーバ10は、定期的に各種の解析サーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)との間で死活監視を行っている(St21)。各種の解析サーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)は、AI統合サーバ10からの応答(言い換えると、通信状態が良好である旨のメッセージ)を送信する(St22)。例えばステップSt22の後、AI統合サーバ10と車両検索サーバ80との間で何かしらの通信障害が発生し、AI統合サーバ10と車両検索サーバ80との間の通信断(接続断)が発生したとする(St23)。つまり、この時点でAI統合サーバ10と車両検索サーバ80との間の通信不能期間が開始する。
クライアント端末VW1は、オペレータの操作により、人物を特徴付ける人物検索条件と車両を特徴付ける車両検索条件とを含むAND検索(図9参照)の検索要求を生成してAI統合サーバ10に送る(St24)。ここで、人物検索条件は、例えば上半身が青い服を着た人物である。車両検索条件は、例えば車型がSUVである。
AI統合サーバ10は、クライアント端末VW1からのAND検索の検索要求を受信すると、先ずステップSt24で送られた検索要求から人物検索条件を取り出して人物検索条件を満たす人物の検索要求を人物検索サーバ60に送る(St25)。
人物検索サーバ60は、AI統合サーバ10からの検索要求に基づいて、データベース62を参照して人物検索条件を満たす人物の検索処理を実行する(St26)。人物検索サーバ60は、人物検索条件の特徴と一致する人物を抽出した場合(St26、一致)、該当人物のサムネイル画像を含む処理結果をAI統合サーバ10に返送する(St27)。一方、人物検索サーバ60は、人物検索条件の特徴と一致する人物を抽出できなかった場合(St26、不一致)、該当人物情報がいない旨の処理結果をAI統合サーバ10に返送する(St28)。
AI統合サーバ10は、ステップSt27またはステップSt28の後に続けて、ステップSt24で送られた検索要求から車両検索条件を取り出して車両検索条件を満たす車両の検索要求を車両検索サーバ80に送る(St29)。ところが、ステップSt29の時点はAI統合サーバ10と車両検索サーバ80との間の通信不能期間中であり、AI統合サーバ10は、車両検索サーバ80からの何かしらの応答を受信することができない(St30)。AI統合サーバ10は、人物検索サーバ60による人物検索の処理結果(例えば人物のサムネイル画像および撮像時刻)あるいは該当人物がいなかった旨の結果と各種の解析サーバ(例えば人物検索サーバ60および車両検索サーバ80のそれぞれ)との接続状況を示す接続状況データとを含めて統合(集約)し、クライアント端末VW1に返送する(St31)。
クライアント端末VW1は、ステップSt31でAI統合サーバ10から送信された人物検索の処理結果と接続状況データとを用いて、車両検索サーバ80との間の通信断を示す通信エラーメッセージERR1、通信断アイコンERR0、人物検索の処理結果をそれぞれ含む検索結果画面WD3を表示デバイス116に表示する(St32)。
ここで、ステップSt32の後、AI統合サーバ10と車両検索サーバ80との間の通信が復帰したとする(St33)。つまり、この時点でAI統合サーバ10と車両検索サーバ80との間の通信不能期間が終了する。したがって、AI統合サーバ10は、各種の解析サーバ(例えば、人物検索サーバ60、車両検索サーバ80)との間で定期的に死活監視を行っているが(St34)、各種の解析サーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)は、AI統合サーバ10からの応答(言い換えると、通信状態が良好である旨のメッセージ)を送信できる(St35)。
AI統合サーバ10は、ステップSt35の処理結果を受けて、車両検索サーバ80との間の通信(接続)が復帰した旨の通知をクライアント端末VW1に送る(St36)。クライアント端末VW1は、ステップSt36でAI統合サーバ10から送信された通知に基づいて、ステップSt32の時点で表示されていた通信エラーメッセージERR1に代わって通信復帰メッセージSTB1を検索結果画面WD3上で表示し、かつ通信断アイコンERR0の表示を止める(St37)。
以上により、実施の形態2に係る捜査支援システム1は、ユーザ端末と、n(n:2以上の整数)個の解析サーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)との間で通信可能に接続されるAI統合サーバ10とを含む。なお、図9~図11の例ではn=4である。AI統合サーバ10は、n個の解析サーバのそれぞれとの間の通信状況を定期的に監視する。AI統合サーバ10は、k(k:1~nまでのいずれかの整数)個の異なるオブジェクト特徴要素を含む検索条件をユーザ端末から受け取るとn個の解析サーバのうち検索条件に含まれるk個のオブジェクト特徴要素のそれぞれに対応して設けられたk個の解析サーバを決定する。なお、図9~図11の例ではk=2である。AI統合サーバ10は、k個の解析サーバのそれぞれに該当オブジェクトの検索要求を送り、k個の解析サーバのうち特定の解析サーバとの間の通信断が生じたことを検知すると、(k-1)個の解析サーバから受信した検索結果と特定の解析サーバとの間の通信断が生じたことの通信断通知(例えば通信エラーメッセージERR1)とをユーザ端末に送る。ユーザ端末は、(k-1)個の解析サーバから受信した検索結果と通信断通知とを含む検索結果画面WD3を表示する。
これにより、捜査支援システム1は、事件等を引き起こした被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援し、警察等の捜査機関による捜査の利便性を向上できる。また、捜査支援システム1は、クライアント端末VW1を使用するユーザの操作によって事件等に関する複数の異なるオブジェクトを検索する際に、AI統合サーバ10との間で通信不可な状態がある解析サーバが存在する場合にはその解析サーバの存在をクライアント端末VW1においてユーザに分かり易く可視化できる。
また、ユーザ端末は、特定の解析サーバとの間の通信断が生じたことを示す通信断アイコンERR0を検索結果画面WD3に含めて表示する。これにより、ユーザは、例えば誤操作により通信エラーメッセージERR1を検索結果画面WD3から削除(非表示)してしまった場合でも、検索結果画面WD3に表示された通信断アイコンERR0の目視により通信断が発生していることを簡単に確認できる。なお、通信断アイコンERR0は、解析サーバの種類ごとに異なるアイコンであると具体的にどの解析サーバとの間で通信断が生じているかが可視化されてより好ましい。
また、AI統合サーバ10は、特定の解析サーバとの間の通信が復帰したことを検知すると、特定の解析サーバとの間の通信が復帰したことの復帰通知(例えば通信復帰メッセージSTB1)をユーザ端末に送る。ユーザ端末は、AI統合サーバ10から送られた復帰通知を検索結果画面WD3に含めて表示する。これにより、捜査支援システム1は、クライアント端末VW1を使用するユーザの操作によって事件等に関する複数の異なるオブジェクトを検索する際に、AI統合サーバ10と特定の解析サーバとの間の通信が不可な状態から通信可能な状態に復帰したことをクライアント端末VW1においてユーザに分かり易く可視化できる。
また、ユーザ端末は、復帰通知をAI統合サーバ10から受信する前に特定の解析サーバとの間の通信断が生じたことを示す通信断アイコンERR0を、復帰通知の受信に応じて検索結果画面WD3から非表示する。これにより、ユーザは、例えば誤操作により通信復帰メッセージSTB1を検索結果画面WD3から削除(非表示)してしまった場合でも、検索結果画面WD3に表示された通信断アイコンERR0が表示されていないことで特定の解析サーバとの間の通信断が発生していないことを簡単に確認できる。
(実施の形態3に至る経緯)
特許文献1では、事件等の形態が多様化しているという昨今の実情に鑑みて、事件等を引き起こした被疑者あるいは被疑者が逃走用に使用している逃走車両の検索を行うことは考慮されていない。特に、警察等の捜査機関による捜査(特に初動捜査)においては、被疑者を早期に発見するために被疑者あるいは逃走車両をいち早く特定することが求められることが多い。しかし、特許文献1の技術を用いても、捜査官(例えば警官)が個々のカメラ装置の映像を人力で逐一視聴して確認すると逃走車両の特定に時間がかかり非効率的であるため、被疑者あるいは逃走車両の早期発見が難しいという課題があった。特に、検索の際に不要な検索結果(いわゆる検索ノイズ)が得られることを回避するために、予め不要なオブジェクト特徴要素が入力された上で検索できると、検索の効率性が増すことが期待される。
(実施の形態3)
そこで、実施の形態3では、不要な検索結果を排除可能な除外検索の実行を提供するとともに、事件等を引き起こした被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援し、警察等の捜査機関による捜査の利便性を向上する捜査支援システムの例を説明する。実施の形態3に係る捜査支援システムの構成は実施の形態1に係る捜査支援システム1と同一であるため、同一の内容の説明は省略し、実施の形態1と異なる内容については同一の符号を参照しながら説明する。
図12は、実施の形態3に係る検索条件詳細画面例を示す図である。図12の検索条件詳細画面WD4は、オブジェクト(例えば人物)の検索時に、そのオブジェクト(例えば人物)に関する複数の異なるオブジェクト特徴要素(例えば人物の外見的な特徴要素)を検索条件として含めるか否かを選択可能な詳細画面である。検索条件詳細画面WD4は、ユーザ操作(例えば図7の表示アイコンCHDTL1の押下)に基づいて捜査支援アプリにより表示デバイス116に表示される。検索条件詳細画面WD4は、検索対象となるオブジェクトが検知されるべき日時(Time&Date)の入力欄表示領域と、カメラ(Camera)の選択欄表示領域と、検索対象となるオブジェクトの指定欄表示領域と、指定されたオブジェクトに関するオブジェクト特徴要素の指定欄表示領域とを含む。図12の例では、検索対象となるオブジェクトとしてユーザ操作により人物が指定されている。
日時開始入力欄FR2は、オブジェクト(例えば被疑者等の人物、逃走車両等の車両)の検索の対象となる撮像映像データが撮像された開始日時として、ユーザ操作により入力される。日時開始入力欄FR2には、例えば、事件等の発生日時またはその日時より少し前の日時が入力される。ユーザ操作により入力されると、捜査支援アプリは、検索条件(例えば開始日時)として日時開始入力欄FR2に入力された日時(例えば2019年9月5日の午後7時13分3秒)を検索条件としてセットする。
日時終了入力欄TO2は、オブジェクト(例えば被疑者等の人物、逃走車両等の車両)の検索の対象となる撮像映像データが撮像された終了日時として、ユーザ操作により入力される。日時終了入力欄TO2には、例えば、日時開始入力欄に入力される日時より所定期間(例えば事件等の発生日時から少し後の日時)が入力される。ユーザ操作により入力されると、捜査支援アプリは、検索条件(例えば終了日時)として日時終了入力欄TO2に入力された日時(例えば2019年9月6日の午後7時13分3秒)を検索条件としてセットする。
カメラ(Camera)の選択欄では、検索の対象となるカメラの選択を促すためのカメラ選択アイコンが配置されている。
オブジェクトの指定欄OBDTL1では、例えば人物(People)、顔(Face)、車両(Vehicle)、ライセンスプレート(License Plates)の4種類のオブジェクトが指定可能に表示されている。図12の例では、オブジェクトとして人物(People)がユーザ操作により指定されている。なお、捜査支援アプリは、人物(People)の検索として、1つ以上の外見的な特徴要素(Feature)を満たす検索と、特定の人物画像(Image)と同一あるいは類似する検索とのどちらも実行可能である。ここでは、外見的な特徴要素(Feature)を満たす検索が指定されている。また、オブジェクトの指定欄OBDTL1では、オブジェクト特徴要素の指定欄PSDTL1でのユーザ操作によるオブジェクト特徴要素の指定結果CON1が表示される。
オブジェクト特徴要素の指定欄PSDTL1では、性別(Gender)の指定欄GN1、髪型(Hair type)の指定欄HTY1、髪色(Hair color)の指定欄HCL1、上着色(Upper cloth color)の指定欄UCC1、下着色(Lower cloth color)の指定欄LCC1、所持品の指定欄BG1、他特徴の指定欄PSOCH1が設けられている。
性別(Gender)の指定欄GN1では、ユーザ操作により、検索される人物が男性または女性のうちいずれであるかが指定される。
髪型(Hair type)の指定欄HTY1では、ユーザ操作により、検索される人物の髪型がロング、セミロング、その他のうちいずれであるかが指定される。
髪色(Hair color)の指定欄HCL1では、ユーザ操作により、検索される人物の髪色が例えば5種類の色から少なくとも1つが指定される。また、検索の除外とする髪色も指定可能であり、髪色除外欄EXL1も設けられている。例えば、黄色および髪色除外欄EXL1がともに指定されると、捜査支援アプリは、黄色の髪色でない色を人物の検索条件としてセットする。
トップスの服色(Upper cloth color)の指定欄UCC1では、ユーザ操作により、検索される人物のトップス(つまり上半身を覆う服を意味する上衣)の色が例えば11種類の色から少なくとも1つが指定される。また、検索の除外とするトップスの色も指定可能であり、服色除外欄EXL2も設けられている。例えば、白色および服色除外欄EXL2がともに指定されると、捜査支援アプリは、トップスの服色として白以外の色を人物の検索条件としてセットする。
ボトムスの服色(Lower cloth color)の指定欄LCC1では、ユーザ操作により、検索される人物のボトムス(つまり下半身を覆う服を意味する下衣)の色が例えば5種類の色から少なくとも1つが指定される。また、検索の除外とするボトムスの色も指定可能であり、服色除外欄EXL3も設けられている。例えば、青色および服色除外欄EXL3がともに指定されると、捜査支援アプリは、ボトムスの服色として青以外の色を人物の検索条件としてセットする。
所持品の指定欄BG1では、ユーザ操作により、検索される人物がリュックサック、キャリーケース(スーツケースでも可)、所持品無しのうちいずれであるかが指定される。
他特徴の指定欄PSOCH1では、ユーザ操作により、検索される人物の年齢、皮膚、眼鏡、帽子、顎ひげのそれぞれについて該当する項目が指定される。年齢は、0~12歳、13~19歳、20~60歳、61歳以上のうちいずれかが指定可能である。皮膚は、明るい、中間、暗い、のうちいずれかが指定可能である。眼鏡は、装着している、装着していない、のうちいずれかが指定可能である。帽子は、装着している、装着していない、のうちいずれかが指定可能である。顎ひげは、ある、ない、のうちいずれかが指定可能である。
図13は、実施の形態3に係る検索条件入力画面の一部の表示例を示す図である。図13の検索条件入力画面WD5は、複数のオブジェクト(例えば顔、人物)を同時に満たすAND検索時に、ユーザ(例えば警察署のオペレータあるいは現場の警官)の操作により、捜査支援アプリにより表示デバイス116に表示される。なお、図13では、検索条件入力画面WD5のうち検索条件の入力に関する一部分を抜粋して図示している。図13の説明において、図7の要素と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
図13の検索条件入力画面WD5において、人物検索条件欄PSC1には、検索除外アイコンEXC1と、表示アイコンCHDTL1の押下により表示された検索条件詳細画面(例えば図12参照)に従ってユーザ操作により指定された検索条件の指定結果CON2とが表示されている。この指定結果CON2は、例えば4つのオブジェクト特徴要素“男性”、“白い服”、“黒いズボン”、“所持品無し”を示す。しかし、検索除外アイコンEXC1がユーザ操作により選択されているので、捜査支援アプリは、人物検索のためのオブジェクト特徴要素として“男性”、“白色以外の服”、“黒色以外のズボン”、“所持品無し”を検索条件としてセットする。検索除外アイコンEXC1の選択により、髪色除外欄EXL1が設けられた髪色、服色除外欄EXL2が設けられたトップス、服色除外欄EXL3が設けられたボトムス、の3つのオブジェクト特徴要素については指定された色以外の色の指定が可能となる。また、顔検索条件欄PSC2には、特定の人物の顔画像BOY1がアップロード(貼り付け)されている。したがって、捜査支援アプリは、図13の検索条件入力画面WD5により、特定の人物の顔画像BOY1と同一あるいは類似する顔を有し、かつ“男性”、“白色以外の服”、“黒色以外のズボン”、“所持品無し”(言い換えると、制服を着用していない男性)を満たす人物を検索するための検索要求を生成してAI統合サーバ10に送る。なお、この検索要求には、特定の人物の顔画像BOY1のデータも含まれる。
次に、実施の形態3に係る捜査支援システム1の動作手順例について、図14を参照して説明する。図14は、実施の形態3に係る捜査支援システム1の動作手順例を示すシーケンス図である。図14では図13の検索条件入力画面WD5で指定された検索条件を用いた検索処理の流れを時系列に説明する。
図14において、クライアント端末VW1は、特定の人物の顔画像と同一あるいは類似する顔を有し、かつ“男性”、“白色以外の服”、“黒色以外のズボン”、“所持品無し”を満たす人物を検索するための検索要求を生成してAI統合サーバ10に送る(St41)。
AI統合サーバ10は、特定の人物の顔画像を添付した状態でステップSt41で送られた検索要求を顔認証サーバ50に転送する(St42)。顔認証サーバ50は、ステップSt42で送られた検索要求に従い、データベース52を参照して特定の人物の顔画像と同一あるいは類似する人物の顔画像の有無を判定する(St43)。顔認証サーバ50は、特定の人物の顔画像と同一あるいは類似する人物の顔画像があると判定した場合(St43、YES)、該当する顔画像と、その顔画像を撮像したカメラの識別情報(例えばカメラID)と、その顔画像が撮像された撮像時刻と、その顔画像中の顔の位置を特定する顔座標とを含む該当情報(検索結果)をAI統合サーバ10に送る(St44)。なお、特定の人物の顔画像と同一あるいは類似する人物の顔画像がなかったと判定された場合には(St43、NO)、顔認証サーバ50は、上述した該当情報(検索結果)が無かった旨の報告をAI統合サーバ10に送る(St45)。
AI統合サーバ10は、複数のオブジェクト(例えば顔、人物)を同時に満たすAND検索を行うために、ステップSt44で送られた該当情報(検索結果)のうちカメラIDおよび撮像時刻を、後続する人物検索の検索条件として使用することを決定する(St46)。
次、AI統合サーバ10は、ステップSt46で決定されたカメラIDおよび撮像時刻と4つのオブジェクト特徴要素“男性”、“白色の服”、“黒色のズボン”、“所持品無し”とを含む検索要求を生成して人物検索サーバ60に送る(St47)。人物検索サーバ60は、ステップSt47で送られた検索要求に従い、データベース62を参照して上述した4つのオブジェクト特徴要素“男性”、“白色の服”、“黒色のズボン”、“所持品無し”を満たす人物の有無を判定する(St48)。人物検索サーバ60は、該当する人物がいると判定した場合(St48、YES)、該当する人物の全身画像と、その全身画像を撮像したカメラの識別情報(例えばカメラID)と、その全身画像が撮像された撮像時刻とを含む該当情報(検索結果)をAI統合サーバ10に送る(St49)。
AI統合サーバ10は、ステップSt44で送られた検索結果(つまり顔画像検索結果)から、ステップSt44で送られた検索結果(つまり顔画像検索結果)のうちステップSt49で送られた検索結果(つまり人物検索結果)に含まれる人物の全身画像と対応するカメラIDおよび撮像時刻が同一となる顔画像検索結果を除外する(St50)。これにより、AI統合サーバ10は、特定の人物の顔画像と同一あるいは類似する顔を有しながら、“男性”、“白色以外の服”、“黒色以外のズボン”、“所持品無し”を満たす人物の検索結果(つまり図13を参照して説明した除外検索結果)を効率的に抽出できる。
一方で、該当する人物がいなかったと判定された場合(St48、NO)、人物検索サーバ60は、上述した該当情報(検索結果)が無かった旨の報告をAI統合サーバ10に送る(St51)。AI統合サーバ10は、ステップSt50で抽出された検索結果(該当の顔画像、カメラID、撮像時刻を含む)をクライアント端末VW1に送る(St52)。クライアント端末VW1は、ステップSt52で送られた検索結果(上述参照)を含む除外検索結果画面(図示略)を表示デバイス116に表示する(St53)。
以上により、実施の形態3に係る捜査支援システム1は、ユーザ端末と、少なくとも第1の解析サーバ(例えば顔認証サーバ50)および第2の解析サーバ(例えば人物検索サーバ60)との間で通信可能に接続されるAI統合サーバ10とを含む。AI統合サーバ10は、事件等に関する第1のオブジェクト特徴要素(例えば特定の人物の顔画像)と検索除外対象となる事件等に関する第2のオブジェクト特徴要素(例えば人物の外見的な特徴要素)とを含む検索条件をユーザ端末から受け取ると第1のオブジェクト特徴要素を満たす該当オブジェクトの検索要求を顔認証サーバ50に送りかつ第2のオブジェクト特徴要素を満たす該当オブジェクトの検索要求を人物検索サーバ60に送る。AI統合サーバ10は、第1のオブジェクト特徴要素を満たす該当オブジェクトを含む第1の検索結果を顔認証サーバ50から受け取りかつ第2のオブジェクト特徴要素を満たす該当オブジェクトを含む第2の検索結果を人物検索サーバ60から受け取る。AI統合サーバ10は、第1の検索結果から第2の検索結果を除外した第3の検索結果をユーザ端末に送る。ユーザ端末は、AI統合サーバ10から送られた第3の検索結果を含む検索結果画面を表示する。
これにより、捜査支援システム1は、事件等を引き起こした被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援し、警察等の捜査機関による捜査の利便性を向上できる。また、捜査支援システム1は、オブジェクト(例えば人物、車両)ごとに検索が不要となるオブジェクト特徴要素をユーザ操作によって指定可能となるので、ユーザが求めるオブジェクトを検索する際に不要な検索結果(いわゆる検索ノイズ)が抽出されにくくなり、オブジェクト検索の精度が向上する。
また、第1の検索結果は、第1のオブジェクト特徴要素を満たす該当オブジェクトを撮像したカメラの識別情報および撮像時刻情報を含む。第2の検索結果は、第2のオブジェクト特徴要素を満たす該当オブジェクトを撮像したカメラの識別情報および撮像時刻情報を含む。AI統合サーバ10は、第1の検索結果および第2の検索結果のそれぞれに含まれるカメラの識別情報および撮像時刻情報が共通となる第2の検索結果に基づいて、第3の検索結果を抽出する。これにより、カメラIDおよび撮像時刻が共通する第2の検索結果はユーザ操作により除外対象として指定されたオブジェクトに相当するので、第1の検索結果から除外する(つまり取り除く)ことで、AI統合サーバ10は、除外検索結果を効率的かつ簡易に抽出できる。
また、ユーザ端末は、第1のオブジェクト特徴要素あるいは第2のオブジェクト特徴要素を構成する一部のオブジェクト特徴要素を検索除外対象として指定した除外付き検索条件をAI統合サーバ10に送る。AI統合サーバ10は、除外付き検索条件を満たす該当オブジェクトの検索要求を第1の解析サーバ(例えば顔認証サーバ50)あるいは第2の解析サーバ(例えば人物検索サーバ60)に送る。AI統合サーバ10は、第1の解析サーバあるいは第2の解析サーバからの検索結果を受け取ってユーザ端末に送る。これにより、ユーザは、一つのオブジェクトのオブジェクト特徴要素を詳細に指定可能な検索条件詳細画面WD4において一部のオブジェクト特徴要素を検索除外対象として指定でき、複雑な検索条件を指定でき、検索のバリエーションを図ることができる。
(実施の形態4に至る経緯)
特許文献1では、事件等の形態が多様化しているという昨今の実情に鑑みて、事件等を引き起こした被疑者あるいは被疑者が逃走用に使用している逃走車両の存在を外部の端末等に通知することは考慮されていない。特に、警察等の捜査機関による捜査(特に初動捜査)においては、被疑者を早期に発見するために被疑者あるいは逃走車両をいち早く特定することが求められることが多い。しかし、特許文献1の技術を用いても、捜査官(例えば警官)が個々のカメラ装置の映像を人力で逐一視聴して確認すると逃走車両の特定に時間がかかり非効率的であるため、被疑者あるいは逃走車両の早期発見が難しいという課題があった。特に、捜査範囲が広いエリアにわたる場合、事件等に関する被疑者あるいは逃走車両のオブジェクト特徴要素が予め照合リストとして登録されていれば、その照合リストにマッチする人物あるいは車両が検知されれば、被疑者あるいは逃走車両である可能性が高まり、捜査の進展に期待がかかることが予想される。
(実施の形態4)
そこで、実施の形態4では、捜査エリアが広くても事件等に関する被疑者あるいは逃走車両の存在を示すイベントの検知を通知するとともに、事件等を引き起こした被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援し、警察等の捜査機関による捜査の利便性を向上する捜査支援システムの例を説明する。実施の形態4に係る捜査支援システムの構成は実施の形態1に係る捜査支援システム1と同一であるため、同一の内容の説明は省略し、実施の形態1と異なる内容については同一の符号を参照しながら説明する。
図15は、イベント検知運用画面例を示す図である。図15のイベント検知運用画面WD6は、例えば事件等の捜査エリアが広い建物内のある階のフロアである場合に、そのフロア内に配置されている複数台のカメラ(図2参照)のそれぞれの配置位置が重畳された地図データFLMP1を少なくとも表示する。イベント検知運用画面WD6は、ユーザ操作あるいはAI統合サーバ10からのイベント通知に基づいて、捜査支援アプリにより表示される。イベント検知運用画面WD6は、フロア内で検知された数々のイベントの日時(Date/Time)、カメラ(Camera)、イベント種別を示すイベント(Event)の名前(イベント名)の項目の内容データをそれぞれ有するイベントレコードから構成されるイベントリストEVLST1を表示する。イベントリストEVLST1では、検知されたイベントの日時の新しいイベントレコードが上側に表示され、検知されたイベントの日時の古いイベントレコードが下側に表示される。
また、イベント検知運用画面WD6の地図データFLMP1には、カメラC1,C2,C3の配置位置ごとに、そのカメラの撮像映像データに基づいて検知されたイベントのイベント名および件数を示すイベント抄録ウインドウNUM1,NUM2が捜査支援アプリにより表示される。例えば、カメラC1の配置位置では、イベント“People Matching”が1件検知されたことが示されている。同様に、カメラC2の配置位置では、イベント“Face Matching”,“People Matching”がそれぞれ1件検知されたことが示されている。また、カメラの配置位置ごとに、イベント抄録ウインドウNUM1,NUM2とともに、同様に検知されたイベントの日時(Date/Time)を示すイベントアイコンEV1,EV2,EV3,EV4が捜査支援アプリにより表示される。これにより、ユーザは、イベント抄録ウインドウNUM1で示される1件のイベントの日時をイベントアイコンEV1により判明可能である。
また、捜査支援アプリは、例えばカメラの配置位置、イベントアイコンあるいはイベント抄録ウインドウ内のイベント名がユーザ操作により押下されたことを検知すると、イベントリストEVLST1の対応するイベントレコードをハイライト表示するとともに、その押下に対応するイベントのイベント詳細ウインドウEVDTL1をイベント検知運用画面WD6に表示する。イベント詳細ウインドウEVDTL1は、該当するイベントが検知された撮像映像データを撮像したカメラの配置位置DTARE1が重畳された地図データFLMP1vと、ライブ映像ボタンLV1と、再生ボタンPY1とを少なくとも含む。
ライブ映像ボタンLV1がユーザ操作により押下されたことが検知されると、捜査支援アプリは、配置位置DTARE1のカメラのライブ映像EVD1をライブ映像画面MOV1に出力する。なお、このライブ映像画面MOV1にはライブ映像のスナップショットの保存が可能となるスナップショットアイコンSNP1が表示されている。
また、再生ボタンPY1がユーザ操作により押下されたことが検知されると、捜査支援アプリは、配置位置DTARE1のカメラのイベント検知日時における過去の撮像映像(図示略)を再生する。この撮像映像は、捜査支援アプリにより、例えばライブ映像画面MOV1において再生表示されてもよい。
次に、実施の形態4に係る捜査支援システム1の動作手順例について、図16を参照して説明する。図16は、実施の形態4に係る捜査支援システム1の動作手順例を示すシーケンス図である。図16では図15のイベント検知運用画面WD6の表示に至る処理の流れを時系列に説明する。また、図16の説明の前提として、オブジェクトを検索可能な解析サーバの一例として人物検索サーバ60、車両検索サーバ80および顔認証サーバ50が接続されている。
図16において、人物検索サーバ60、車両検索サーバ80、顔認証サーバ50、それぞれが検知するべきイベントの実行者であるオブジェクトのオブジェクト特徴要素が登録された照合リストをデータベース62,82,52にそれぞれ保持している(St61,St62,St63)。例えば人物検索サーバ60は、人物のサムネイル画像および人物属性(例えば外見的な特徴要素)を有する照合リストを登録してデータベース62に保持している。同様に、車両検索サーバ80は、車両のサムネイル画像および車両属性(例えば車型、車色)を有する照合リストをデータベース82に登録して保持している。顔認証サーバ50は、人物の顔のサムネイル画像を有する照合リストをデータベース52に登録して保持している。
例えば人物検索サーバ60は、捜査エリアに配置されているいずれかのカメラ(例えばカメラC1)の撮像映像データの映像解析に基づいて照合リストを満たす人物(つまりイベントの行為者である人物)を検知したとする(St64)。この場合、人物検索サーバ60は、イベントを検知した日時、カメラ(配置位置の情報を含む)、イベント名の内容データを含むリアルタイム通知を生成してAI統合サーバ10に送る(St65)。AI統合サーバ10は、ステップSt65で送られたリアルタイム通知をクライアント端末VWに転送する(St66)。クライアント端末VW1は、ステップSt66で送られたリアルタイム通知に含まれる各項目の内容データに基づいて、イベントレコード(図15参照)を生成し、このイベントレコードを追加更新したイベントリストEVLST1を含むイベント検知運用画面WD6を生成して表示デバイス116に表示する(St661)。
例えば顔認証サーバ50は、捜査エリアに配置されているいずれかのカメラ(例えばカメラC3)の撮像映像データの映像解析に基づいて照合リストを満たす顔(つまりイベントの行為者である人物の顔)を検知したとする(St67)。この場合、顔認証サーバ50は、イベントを検知した日時、カメラ(配置位置の情報を含む)、イベント名の内容データを含むリアルタイム通知を生成してAI統合サーバ10に送る(St68)。AI統合サーバ10は、ステップSt68で送られたリアルタイム通知をクライアント端末VWに転送する(St69)。クライアント端末VW1は、ステップSt69で送られたリアルタイム通知に含まれる各項目の内容データに基づいて、イベントレコード(図15参照)を生成し、このイベントレコードを追加更新したイベントリストEVLST1を含むイベント検知運用画面WD6を生成して表示デバイス116に表示する(St691)。
例えば人物検索サーバ60は、捜査エリアに配置されているいずれかのカメラ(例えばカメラC3)の撮像映像データの映像解析に基づいて照合リストを満たす人物(つまりイベントの行為者である人物)を検知したとする(St70)。この場合、人物検索サーバ60は、イベントを検知した日時、カメラ(配置位置の情報を含む)、イベント名の内容データを含むリアルタイム通知を生成してAI統合サーバ10に送る(St71)。AI統合サーバ10は、ステップSt71で送られたリアルタイム通知をクライアント端末VWに転送する(St72)。クライアント端末VW1は、ステップSt72で送られたリアルタイム通知に含まれる各項目の内容データに基づいて、イベントレコード(図15参照)を生成し、このイベントレコードを追加更新したイベントリストEVLST1を含むイベント検知運用画面WD6を生成して表示デバイス116に表示する(St721)。
例えば車両検索サーバ80は、捜査エリアに配置されているいずれかのカメラ(例えばカメラC10)の撮像映像データの映像解析に基づいて照合リストを満たす車両(つまりイベントの行為者である車両)を検知したとする(St73)。なお、カメラC10は図15において図示されていないが、例えば捜査エリアの建物外の駐車場等を撮像することが可能であり、被疑者が逃走時の逃走車両を撮像できる。この場合、車両検索サーバ80は、イベントを検知した日時、カメラ(配置位置の情報を含む)、イベント名の内容データを含むリアルタイム通知を生成してAI統合サーバ10に送る(St74)。AI統合サーバ10は、ステップSt74で送られたリアルタイム通知をクライアント端末VWに転送する(St75)。クライアント端末VW1は、ステップSt75で送られたリアルタイム通知に含まれる各項目の内容データに基づいて、イベントレコード(図15参照)を生成し、このイベントレコードを追加更新したイベントリストEVLST1を含むイベント検知運用画面WD6を生成して表示デバイス116に表示する(St751)。
例えば人物検索サーバ60は、捜査エリアに配置されているいずれかのカメラ(例えばカメラC3)の撮像映像データの映像解析に基づいて照合リストを満たす人物(つまりイベントの行為者である人物)を検知したとする(St76)。この場合、人物検索サーバ60は、イベントを検知した日時、カメラ(配置位置の情報を含む)、イベント名の内容データを含むリアルタイム通知を生成してAI統合サーバ10に送る(St77)。AI統合サーバ10は、ステップSt77で送られたリアルタイム通知をクライアント端末VWに転送する(St78)。クライアント端末VW1は、ステップSt78で送られたリアルタイム通知に含まれる各項目の内容データに基づいて、イベントレコード(図15参照)を生成し、このイベントレコードを追加更新したイベントリストEVLST1を含むイベント検知運用画面WD6を生成して表示デバイス116に表示する(St781)。図16では、例えば5つのイベントが検知された時からクライアント端末VW1へのリアルタイム通知までの処理を時系列に説明したが、検知されるイベント数は5つに限定されないことは言うまでもない。
以上により、実施の形態4に係る捜査支援システム1は、ユーザ端末と複数の解析サーバとがAI統合サーバ10を介して通信可能に接続される。複数の解析サーバのそれぞれは、複数のカメラC1~C20のそれぞれとの間で接続され、事件等に関して他の解析サーバにより検索可能なオブジェクトと異なるオブジェクトの照合リストを保持する。複数の解析サーバのそれぞれは、カメラの撮像映像の解析により自己が保持する照合リストを満たすオブジェクトを検知すると、オブジェクトの検知を示すイベント名、検知日時およびカメラの配置位置の情報を含む検知通知(例えばリアルタイム通知)を、AI統合サーバ10を介してユーザ端末に送る。ユーザ端末は、いずれかの解析サーバから送られた検知通知に含まれるイベント名、検知日時およびカメラの配置位置の情報を含むイベント検知画面(例えばイベント検知運用画面WD6)を表示する。
これにより、捜査支援システム1は、事件等を引き起こした被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援し、警察等の捜査機関による捜査の利便性を向上できる。また、捜査支援システム1は、捜査エリアが広くても事件等に関する被疑者あるいは逃走車両の存在を示すイベントの検知をクライアント端末VW1に通知できるので、被疑者あるいは逃走車両の捜査の進捗を早めることが期待できる。
また、ユーザ端末は、イベント名、検知日時およびカメラの配置位置の情報の項目を有するイベントリストをイベント検知運用画面WD6に含めて表示する。これにより、ユーザは、イベントリストを目視することで、捜査エリアが広くてもカメラが配置された位置の周囲で検知されたイベントの一覧を網羅しながら効率的に把握することができる。
また、ユーザ端末は、いずれかの解析サーバから検知通知(例えばリアルタイム通知)を受信する度に、その検知通知に含まれるイベント名、検知日時およびカメラの配置位置の情報の項目をイベントリストに追加して更新する。これにより、ユーザは、随時更新されるイベントリストを目視することで、捜査エリアが広くてもカメラが配置された位置の周囲で検知されたイベントの一覧の進捗を確認できる。
また、ユーザ端末は、複数のカメラのそれぞれが配置されたエリアの地図データFLMP1を有し、カメラの撮像映像に基づいて検知されたイベント名、イベント数および検知日時をカメラの配置位置ごとに対応付けて地図データMP1に重畳してイベント検知運用画面WD6に含めて表示する。これにより、ユーザは、捜査エリアの地図データFLMP1に配置されたカメラに起因して検知されたイベントの詳細を視覚的かつ直感的に分かり易く把握できる。
また、ユーザ端末は、検知日時の指定に基づいて、指定された検知日時に対応する配置位置のカメラのライブ映像の出力ウインドウ(例えばライブ映像画面MOV1)をイベント検知運用画面WD6に含めて表示する。これにより、ユーザは、気になるイベントが検知された位置のカメラの現在のライブ映像を目視で簡単に確認できるので、例えばそのカメラの配置位置まで出向かなくても現状の状況確認を効率的に行える。
また、ユーザ端末は、複数のカメラのそれぞれが配置されたエリアの地図データFLMP1を有し、イベントリストEVLST1のいずれかの項目の指定に基づいて、指定された項目に対応するカメラの配置位置を重畳した地図データFLMP1と検知日時のカメラの撮像映像の再生ボタンPY1とを少なくとも有するイベント詳細ウインドウEVDTL1をイベント検知運用画面WD6に含めて表示する。これにより、ユーザは、気になるイベントが検知された位置のカメラのイベント検知当時(過去の)撮像映像を目視で簡単に確認できるので、例えばそのカメラの配置位置まで出向かなくてもイベント当時の状況確認を効率的に行える。
また、ユーザ端末は、指定された項目に対応する配置位置のカメラのライブ映像の出力ボタン(例えばライブ映像ボタンLV1)をイベント詳細ウインドウEVDTL1に含めて表示する。これにより、ユーザは、気になるイベントが検知された位置のカメラの現在のライブ映像あるいはイベント検知当時の過去の撮像映像を選択的に切り替えて目視で簡単に確認でき、例えばそのカメラの配置位置まで出向かなくても現状あるいはイベント検知時の状況確認を効率的に行える。
(実施の形態5に至る経緯)
特許文献1では、事件等の形態が多様化しているという昨今の実情に鑑みて、事件等を引き起こした被疑者あるいは被疑者が逃走用に使用している逃走車両の存在を疑わせる所定の行動(例えば喧嘩、拳銃発砲、急加速逃走)を検知した場合に外部の端末等に通知することは考慮されていない。特に、警察等の捜査機関による捜査(特に初動捜査)においては、被疑者を早期に発見するために被疑者あるいは逃走車両をいち早く特定することが求められることが多い。しかし、特許文献1の技術を用いても、捜査官(例えば警官)が個々のカメラ装置の映像を人力で逐一視聴して確認すると逃走車両の特定に時間がかかり非効率的であるため、被疑者あるいは逃走車両の早期発見が難しいという課題があった。特に、捜査範囲が広いエリアにわたる場合、警官が関知していない場所で上述した所定の行動が検知された場合にその行動の行為者あるいは車両を追跡できるようにブラックリスト登録できれば、被疑者あるいは逃走車両である可能性が高まり、捜査の進展に期待がかかることが予想される。
(実施の形態5)
そこで、実施の形態5では、捜査エリアが広くても事件等に関する被疑者あるいは逃走車両の存在を疑わせる所定の行動の検知を通知するとともに、事件等を引き起こした被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援し、警察等の捜査機関による捜査の利便性を向上する捜査支援システムの例を説明する。実施の形態5に係る捜査支援システムの構成は実施の形態1に係る捜査支援システム1と同一であるため、同一の内容の説明は省略し、実施の形態1と異なる内容については同一の符号を参照しながら説明する。
図17は、イベント検知画面WD7から解析結果画面WD8への表示遷移を示す図である。図17のイベント検知画面WD7は、例えば行動検知サーバ70により事件等の被疑者あるいは逃走車両の存在を疑わせる所定の行動(例えば喧嘩)が検知された場合に、行動検知サーバ70およびAI統合サーバ10を経て送られるアラーム通知に基づいて捜査支援アプリにより表示される。イベント検知画面WD7は、例えば喧嘩が検知された時のカメラの喧嘩サムネイル画像THM2が重畳された撮像映像の再生ウインドウPLY2と、喧嘩が検知されたカメラの配置位置IC4および喧嘩サムネイル画像THM2が重畳された地図データMP2と、喧嘩サムネイル画像THM2を対象とする静止画解析ボタンALY1とを表示する。再生ウインドウPLY2には、喧嘩が検知された日時(例えば6月17日火曜日、15時55分22秒)を示すタイムインジケータDAT1が重畳されている。
捜査支援アプリは、ユーザ操作により静止画解析ボタンALY1が押下されたことを検知すると、静止画解析ボタンALY1の押下に基づく解析要求(後述参照)を生成してAI統合サーバ10に送る。詳細は後述するが、捜査支援アプリは、AI統合サーバ10からの解析結果を受信すると、解析結果画面WD8を表示デバイス116に表示する。
図17の解析結果画面WD8は、喧嘩サムネイル画像THM2を対象とした静止画解析ボタンALY1の押下に基づいてAI統合サーバ10から送られた解析結果を用いて捜査支援アプリにより表示される。具体的には、解析結果画面WD8は、喧嘩サムネイル画像THM2が重畳された、喧嘩が検知された時のカメラの撮像映像(撮像画像)と、解析結果(Detected)としての3つの画像と、各画像に対応して設けられた各種のボタンとを表示する。
解析結果として得られた3つの画像は、具体的には、喧嘩サムネイル画像THM2に映る2人(つまり喧嘩の行為者)のうち一方の人物PERS1の顔画像FCIMG1および全身画像TLIMG1と、他方の人物PERS2の全身画像TLIMG2である。顔画像FCIMG1に対応して検索ボタンSC1とブラックリスト登録ボタンBLKRG1とが表示されている。全身画像TLIMG1に対応して検索ボタンSC2とブラックリスト登録ボタンBLKRG2とが表示されている。全身画像TLIMG2に対応して検索ボタンSC3とブラックリスト登録ボタンBLKRG3とが表示されている。
検索ボタンSC1,SC2,SC3は、それぞれ対応する顔画像FCIMG1,全身画像TLIMG1,TLIMG2と同一あるいは類似する人物の検索をAI統合サーバ10に要求するためのボタンである。ブラックリスト登録ボタンBLKRG1,BLKRG2,BLKRG3は、それぞれ対応する顔画像FCIMG1,全身画像TLIMG1,TLIMG2を対応する解析サーバ(具体的には、顔認証サーバ50,人物検索サーバ60,人物検索サーバ60)にブラックリストデータとして登録をAI統合サーバ10に要求するためのボタンである。
図18は、人物追跡運用画面例を示す図である。図18の人物追跡運用画面WD9は、例えば事件等の捜査エリアが広い建物内のある階のフロアである場合に、追跡対象の人物の画像(例えば全身画像TLIMG0,TLIMG1)と、そのフロア内に配置されている複数台のカメラ(図2参照)のそれぞれの配置位置が重畳された地図データFLMP1とを少なくとも表示する。人物追跡運用画面WD9は、ユーザ操作あるいはAI統合サーバ10からのアラーム通知に基づいて、捜査支援アプリにより表示される。ここで、図18の解析結果画面WD8においてユーザ操作により押下されたブラックリスト登録ボタンBLKRG2に対応する全身画像TLIMG1が図19の人物追跡運用画面WD9のウオッチリスト(Watchlist)に追加して表示されている。
また、人物追跡運用画面WD9は、フロア内で検知された数々のイベントの日時(Date/Time)、カメラ(Camera)、イベント種別を示すイベント(Event)の名前の項目の内容データをそれぞれ有するイベントレコードから構成されるイベントリストEVLST2を表示する。イベントリストEVLST2では、検知されたイベントの日時の新しいイベントレコードが上側に表示され、検知されたイベントの日時の古いイベントレコードが下側に表示される。
また、人物追跡運用画面WD9の地図データFLMP1には、ウォッチリストに表示されている人物が最初に検知された時の全身画像TLIMG0が対応するカメラの配置位置に重畳して表示され、さらに、ウォッチリストに表示されている人物と同一あるいは類似する人物による所定の行動(上述参照)が検知された時のサムネイル画像DTPS1,喧嘩サムネイル画像THM2,サムネイル画像DTPS3が対応するカメラの配置位置に重畳して表示されている。
また、検知されたイベントの日時(Date/Time)を示すイベントアイコンEV5,EV6,EV7,EV8が捜査支援アプリにより表示される。これにより、ユーザは、全身画像TLIMG0あるいはサムネイル画像DTPS1,喧嘩サムネイル画像THM2,サムネイル画像DTPS3の行った所定の行動(上述参照)が検知された日時をイベントアイコンEV5,EV6,EV7,EV8により判明可能である。
また、捜査支援アプリは、例えば全身画像、サムネイル画像あるいはイベントアイコンがユーザ操作により押下されたことを検知すると、イベントリストEVLST1の対応するイベントレコードをハイライト表示するとともに、その押下に対応するイベントのイベント詳細ウインドウEVDTL2を人物追跡運用画面WD9に表示する。イベント詳細ウインドウEVDTL2は、該当する所定の行動(上述参照)の行為者である人物が最初にウォッチリストに追加された時の全身画像TLIMG1と、所定の行動(上述参照)が検知された時のサムネイル画像DTPS1と、所定の行動(上述参照)が検知された時の撮像映像データを撮像したカメラの配置位置DTARE2が重畳された地図データFLMP1vと、ライブ映像ボタンLV2と、再生ボタンPY2とを少なくとも含む。
ライブ映像ボタンLV2がユーザ操作により押下されたことが検知されると、捜査支援アプリは、配置位置DTARE2のカメラのライブ映像をライブ映像画面(図示略)に出力する。
また、再生ボタンPY2がユーザ操作により押下されたことが検知されると、捜査支援アプリは、配置位置DTARE2のカメラのイベント検知日時における過去の撮像映像(図示略)を再生する。この撮像映像は、捜査支援アプリにより、例えばライブ映像画面において再生表示されてもよい。
次に、実施の形態5に係る捜査支援システム1の動作手順例について、図19を参照して説明する。図19は、実施の形態5に係る捜査支援システム1の動作手順例を示すシーケンス図である。図19では図18の人物追跡運用画面WD9の表示に至る処理の流れを時系列に説明する。また、図19の説明の前提として、オブジェクトを検索可能な解析サーバの一例として人物検索サーバ60が接続されている。
図19において、行動検知サーバ70は、カメラC1~C20のうちいずれかのカメラの撮像映像データの映像解析に基づいて、所定の行動(例えば喧嘩)を検知する(St81)。行動検知サーバ70は、所定の行動(例えば喧嘩)を検知した旨と検知時の撮像画像(あるいは喧嘩サムネイル画像THM2)とカメラの識別情報および撮像時刻とを含むアラーム通知をAI統合サーバ10に送る(St82)。AI統合サーバ10は、行動検知サーバ70から送られたアラーム通知をクライアント端末VW1に転送する(St83)。クライアント端末VW1は、AI統合サーバ10から転送されたアラーム通知を受信すると、そのアラーム通知に基づいて図17のイベント検知画面WD7を表示デバイス116に表示する(St84)。
ユーザは、イベント検知画面WD7に表示された所定の行動(例えば喧嘩)の行為者のうち気になる人物を見つけたとする。捜査支援アプリ(言い換えると、クライアント端末VW1)は、ユーザ操作により静止画解析ボタンALY1が押下されたことを検知すると(St85)、静止画解析ボタンALY1の押下に基づく人物の解析要求(喧嘩が検知された時のカメラの撮像画像あるいは喧嘩サムネイル画像THM2を含む)を生成してAI統合サーバ10に送る(St86)。AI統合サーバ10は、ステップSt86でクライアント端末VW1から送られた人物の解析要求を人物検索サーバ60に転送する(St87)。
人物検索サーバ60は、ステップSt87でAI統合サーバ10から転送された人物の解析要求を受信すると、その解析要求に基づいて、喧嘩が検知された時のカメラの撮像画像あるいは喧嘩サムネイル画像THM2に映る人物の解析処理(例えば、撮像画像あるいは喧嘩サムネイル画像THM2内に映る人物、人数の検知、顔枠および人物枠の座標抽出)を実行する(St88)。人物検索サーバ60は、人物、人数の検知、顔枠および人物枠の座標を含む解析結果をAI統合サーバ10に送る(St89)。AI統合サーバ10は、ステップSt89で人物検索サーバ60から送られた解析結果をクライアント端末VW1に転送する(St90)。クライアント端末VW1は、AI統合サーバ10から転送された解析結果を受信すると、その解析結果に基づいて図17の解析結果画面WD8を表示デバイス116に表示する(St91)。
ユーザは、解析結果画面WD8に表示された少なくとも1人の人物の画像(例えば顔画像あるいは全身画像)のうち追跡対象として加えたい人物(例えば事件等の被疑者)を見つけたとする。捜査支援アプリ(言い換えると、クライアント端末VW1)は、ユーザ操作により追跡対象の人物の画像(例えば解析結果画面WD8に表示された解析結果としての全身画像TLIMG1)のブラックリスト登録ボタンBLKRG2が押下されたことを検知すると(St92)、ブラックリスト登録ボタンBLKRG2の押下に基づく人物の画像のブラックリスト登録要求(登録の対象となる全身画像TLIMG1を含む)を生成してAI統合サーバ10に送る(St93)。
また、捜査支援アプリは、ブラックリスト登録ボタンBLKRG2の押下に基づいて、解析結果画面WD8から図18の人物追跡運用画面WD9に切り替えて表示デバイス116に表示する(St92)。この時、捜査支援アプリは、ブラックリスト登録の対象としてユーザ操作により選択された全身画像TLIMG1を人物追跡運用画面WD9のウォッチリストに追加して表示する。あるいは、捜査支援アプリは、ブラックリスト登録ボタンBLKRG2の押下に基づいて、解析結果画面WD8とともに図18の人物追跡運用画面WD9を追加して(例えば別のウインドウで)表示デバイス116に表示してもよい(St92)。AI統合サーバ10は、ステップSt93でクライアント端末VW1から送られた人物の画像のブラックリスト登録要求を人物検索サーバ60に転送する(St94)。人物検索サーバ60は、ステップSt94でAI統合サーバ10から転送されたブラックリスト登録要求を受信すると、そのブラックリスト登録要求に含まれる人物の画像(例えば全身画像TLIMG1)をデータベース62に登録する(St95)。
ステップSt95の後で一定時間が経過した後、人物検索サーバ60は、カメラC1~C20のそれぞれの撮像映像データの映像解析に基づいて、ステップSt95でデータベース62に登録された人物の全身画像TLIMG1と同一あるいは類似する人物を検知したとする(St96)。人物検索サーバ60は、人物を検知した旨と検知時の撮像画像(あるいはサムネイル画像DTPS1)とカメラの識別情報および撮像時刻とを含むアラーム通知をAI統合サーバ10に送る(St97)。AI統合サーバ10は、人物検索サーバ60から送られたアラーム通知をクライアント端末VW1に転送する(St98)。クライアント端末VW1は、AI統合サーバ10から転送されたアラーム通知を受信すると、そのアラーム通知に基づいて図18の人物追跡運用画面WD9に、該当する人物の画像(例えばサムネイル画像DTPS1)とブラックリスト登録された全身画像TLIMG1とを含むイベント詳細ウインドウEVDTL2を表示する(St99)。
以上により、実施の形態5に係る捜査支援システム1は、ユーザ端末と複数の解析サーバとがAI統合サーバ10を介して通信可能に接続される。複数の解析サーバのうち第1の解析サーバ(例えば行動検知サーバ70)は、カメラC1~C20のうちいずれかの撮像映像の解析により事件等に関する特定の行動(例えば喧嘩)を検知すると、行動が検知されたカメラの撮像画像を少なくとも含むアラーム通知を、AI統合サーバ10を介してユーザ端末に送る。ユーザ端末は、第1の解析サーバから送られたアラーム通知に含まれる撮像画像と撮像画像に映る行動の行為者の人物解析ボタン(例えば静止画解析ボタンALY1)とを含むイベント通知画面(例えばイベント検知画面WD7)を表示し、人物解析ボタンの指定に基づいて、撮像画像に映る行為者の人物解析を、AI統合サーバ10を介して要求する。複数の解析サーバのうち第2の解析サーバ(例えば人物検索サーバ60)は、ユーザ端末からの要求に基づいて、撮像画像に映る行為者の人物解析結果を、AI統合サーバ10を介してユーザ端末に送る。ユーザ端末は、第2の解析サーバから送られた人物解析結果に含まれる行為者の切り出し画像(例えば全身画像TLIMG1)と切り出し画像に映る人物の追跡ボタン(例えばブラックリスト登録ボタンBLKRG2)とを含む解析結果画面WD8を表示する。ユーザ端末は、追跡ボタンの指定に基づいて、追跡ボタンに対応する人物のブラックリスト登録を、AI統合サーバ10を介して要求する。第2の解析サーバは、ユーザ端末からの要求に基づいて、追跡ボタンに対応する人物の切り出し画像を第2の解析サーバのブラックリストデータに登録する。
これにより、捜査支援システム1は、事件等を引き起こした被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援し、警察等の捜査機関による捜査の利便性を向上できる。また、捜査支援システム1は、捜査エリアが広くても事件等に関する被疑者あるいは逃走車両の存在を疑わせる所定の行動の検知をクライアント端末VW1に通知できるので、被疑者あるいは逃走車両の捜査の進捗を早めることが期待できる。
また、第2の解析サーバ(例えば人物検索サーバ60)は、カメラの撮像映像の解析によりブラックリストデータに登録された人物と同一あるいは類似する人物を検知すると、検知された人物が映る撮像画像、検知日時およびカメラの配置位置の情報を含む検知通知を、AI統合サーバ10を介してユーザ端末に送る。ユーザ端末は、第2の解析サーバから送られた検知通知に含まれる撮像画像、検知日時およびカメラの配置位置の情報を含む人物追跡運用画面WD9を表示する。これにより、ユーザは、自ら選択した気になる人物(例えば事件等の被疑者あるいはよく似た人物)を追跡対象としてブラックリスト登録した結果、その人物が検知されたことを人物追跡運用画面WD9により直感的かつ視覚的に分かり易く把握できる。
また、ユーザ端末は、追跡ボタンに対応する人物の切り出し画像を示す追跡対象リスト(例えばウォッチリスト)を人物追跡運用画面WD9に含めて表示する。これにより、ユーザは、現在の追跡対象となる人物を迅速かつ直感的に把握できる。
また、ユーザ端末は、行動の名前、行動の検知日時およびカメラの配置位置の情報の項目を有するイベントリストEVLST2を人物追跡運用画面WD9に含めて表示する。これにより、ユーザは、イベントリストを目視することで、捜査エリアが広くてもカメラが配置された位置の周囲で検知されたイベントの一覧を網羅しながら効率的に把握することができる。
また、ユーザ端末は、第2の解析サーバから検知通知を受信する度に、その検知通知に含まれる行動の名前、行動の検知日時およびカメラの配置位置の情報の項目をイベントリストWVLST2に追加して更新する。これにより、ユーザは、随時更新されるイベントリストを目視することで、捜査エリアが広くてもカメラが配置された位置の周囲で検知されたイベントの一覧の進捗を確認できる。
また、ユーザ端末は、カメラが配置されたエリアの地図データFLMP1を有し、行動が検知された撮像画像と行動の検知日時とをカメラの配置位置に対応付けて地図データFLMP1に重畳して人物追跡運用画面WD9に含めて表示する。これにより、ユーザは、捜査エリアの地図データFLMP1に配置されたカメラに起因して検知されたイベントの詳細を視覚的かつ直感的に分かり易く把握できる。
また、ユーザ端末は、撮像画像の指定に基づいて、指定された撮像画像に映る行動の行為者の切り出し画像(例えばサムネイル画像DTPS1)と、行動に対応してブラックリストデータに登録された時の人物の切り出し画像(例えば全身画像TLIMG1)とを並べたイベント詳細ウインドウEVDTL2を人物追跡運用画面WD9に含めて表示する。これにより、ユーザは、気になるイベントが検知された位置のカメラのイベント検知当時の人物の画像とブラックリスト登録された時の人物の画像とを対比的に目視で確認できるので、例えばそのカメラの配置位置まで出向かなくてもイベント当時の状況確認を効率的に行える。
また、複数の解析サーバのうち第3の解析サーバ(例えば顔認証サーバ50)は、ユーザ端末からの要求に基づいて、撮像画像に映る行為者の人物の顔解析結果を、AI統合サーバ10を介してユーザ端末に送ってもよい。この場合、ユーザ端末は、第3の解析サーバから送られた顔解析結果に含まれる行為者の顔の切り出し画像と切り出し画像に映る顔の追跡ボタンとを含む解析結果画面WD8を表示する。ユーザ端末は、追跡ボタンの指定に基づいて、追跡ボタンに対応する顔のブラックリスト登録を、AI統合サーバ10を介して要求する。第3の解析サーバは、ユーザ端末からのAI統合サーバ10を介した要求に基づいて、追跡ボタンに対応する顔の切り出し画像を第3の解析サーバのブラックリストデータに登録する。これにより、所定の行動(例えば喧嘩)の行為者である人物の顔を顔認証サーバ50のブラックリストデータに登録することが簡易に行えるので、捜査エリアが広くても事件等に関する被疑者の捜査の進捗を早めることが期待できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
上述した実施の形態1において、AI統合サーバ10が取り扱う検索として、人物検索サーバ60による人物検索、車両検索サーバ80による車両検索を例示して説明したが、これらに限定されない。言い換えると、検索条件となり得るのは人物あるいは車両に限定されない。例えば、AI統合サーバ10が取り扱う検索として、顔認証サーバ50による顔検知(顔検索)、LPRサーバ90によるライセンスプレート検索にも適用されてよいし、更に、人物検索サーバ60による人物検索、車両検索サーバ80による車両検索も組み合わせて使用されて構わない。この場合には、検索条件として、顔画像(イメージ検索)あるいはライセンスプレート(テキスト検索あるいはイメージ検索)が使用されてよい。顔画像を用いた検索結果としては、例えば、顔画像が表示されてよい。ライセンスプレートを用いた検索結果としては、例えば、対応する車両の購入者の顔画像が表示されてよい。
上述した実施の形態1において、AI統合サーバ10が取り扱うAND検索(横断的な検索)の一例としては、人物検索サーバ60による人物検索と車両検索サーバ80による車両検索とのAND検索、顔認証サーバ50による顔照合と人物検索サーバ60による人物検索と車両検索サーバ80による車両検索とのAND検索を例示して説明したが、AND検索の例はこれらに限定されない。例えば、AI統合サーバ10は、次の組み合わせによるAND検索(横断的な検索)を行うことが可能である。
例えば、顔認証サーバ50による顔照合に加え、人物検索サーバ60による人物検索、行動検知サーバ70による行動検知(例えば喧嘩あるいは拳銃所持している人物の顔画像に類似した顔画像の照合)、車両検索サーバ80による車両検索(例えば白い車に乗っている30代男性の顔画像の照合)、LPRサーバ90によるナンバープレート照合(例えば上位2桁が特定の数字の車両に乗っている、ある顔画像に類似する人物の顔画像の照合)等のうち少なくとも1つが組み合わせ可能である。
また例えば、人物検索サーバ60による人物検索に加え、行動検知サーバ70による行動検知(例えば物の破壊行為あるいは拳銃所持を行っている黒い服を着た人物の検索)、車両検索サーバ80による検索(例えば白い車に近づいた赤い服を着た人物の検索)、LPRサーバ90によるナンバープレート照合(例えばナンバーが特定の数字の車両に近づいた黒い服を着た人物の検索)等のうち少なくとも1つが組み合わせ可能である。
また例えば、車両検索サーバ80による車両検索に加え、行動検知サーバ70による行動検知(例えば逆走しているセダンタイプの車両、あるいは、外から拳銃で脅されているタクシー車両の検索)、LPRサーバ90によるナンバープレート照合(例えば上位2桁が特定の数字の逆走している車両の検索)等のうち少なくとも1つが組み合わせ可能である。
また例えば、LPRサーバ90によるナンバープレート照合に加え、行動検知サーバ70による行動検知(例えば上位2桁が特定の数字の逆走しているアクションの検知、上位2桁が特定の数字のタクシー車両の運転手を外から拳銃で脅している行為の検知)等のうち少なくとも1つが組み合わせ可能である。
なお、上述した実施の形態1では、カメラC1~C20のそれぞれの撮像映像における対象物が人物あるいは車両であることを例示したが、対象物は人物あるいは車両に限定されず、その他の物体(例えば移動体)でもよい。移動体は、例えば事件等を引き起こした被疑者等の人物により操作されるドローン等の飛行物体でもよい。