以下、添付図面を適宜参照しながら、本開示に係る捜査支援システムおよび人物画像登録方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下、街中の各所に設置されている1つ以上の防犯用のカメラにより撮像されている撮像映像を用いて、街中で事件等を引き起こした被疑者の特定および追跡を行う警官の捜査を捜査支援システムにより支援する例を説明する。以下の説明において、「顔画像」は人物の顔全体が鮮明に映る程度の画質を有する画像を示し、「全身画像」は人物の全身(つまり上半身および下半身の両方)が鮮明に映る程度の画質を有する画像を示す。なお、「全身画像」は、人物の上半身(例えば、肩甲骨から頭頂部分までの上半分)が鮮明に映る程度の画質を有する画像であってもよい。
(捜査支援システムの構成)
図1は、実施の形態1に係る捜査支援システム1のシステム構成例を示すブロック図である。捜査支援システム1は、AI(Artificial Intelligent)統合サーバ10と、映像管理サーバ40と、顔認証サーバ50と、人物検索サーバ60と、行動検知サーバ70と、車両検索サーバ80と、LPR(License Plate Recognition)サーバ90と、ビューア装置としてのクライアント端末VW1およびモバイル端末VW2とを含む構成である。映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のそれぞれは、ネットワークNW1を介して複数台(例えば20台)のカメラC1~C20のそれぞれと通信可能に接続される。なお、AI統合サーバ10、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のそれぞれは、捜査支援システム1のサーバを構成し、警察署内でのオンプレミスサーバとしてもよいし、インターネット等のネットワーク網に接続されるクラウドサーバとして設けられてもよい。
なお、図1では、クライアント端末VW1およびモバイル端末VW2はそれぞれ1台だけ示されているが、それぞれ複数台が設けられてよい。また、捜査支援システム1は、単一の警察署内に限って使用されることに限定されず、複数の警察署が跨って合同捜査する例に適用されてもよい。
カメラC1~C20のそれぞれは、監視用途に街中の各所に設置された防犯カメラであり、撮像エリア(言い換えると、被写体)の撮像映像データを生成し、ネットワークNW1を介して各サーバ(具体的には、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)に送る。以下の説明において、撮像映像データには、撮像映像データそのものだけでなく、その撮像映像を撮像したカメラの識別情報および撮像日時の情報が含まれる。また、カメラの識別情報は、カメラの識別情報とそのカメラの設置場所情報とを含んでよい。カメラC1~C20のそれぞれは、例えば国道あるいは県道等の主要幹線道路の路側に固定的に設置されてもよいし、交差点の付近に固定的に設置されてもよいし、主要幹線道路以外の道路の路側に固定的に設置されてもよい。カメラC1~C20のそれぞれは、イントラネットの通信回線等のネットワークNW1を介して、各サーバ(具体的には、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)と通信可能に接続される。ネットワークNW1は、有線通信回線(例えば、光ファイバを用いた光通信網)により構成されるが、無線通信網により構成されてもよい。なお、カメラC1~C20は全て同一メーカ製のものであってもよいし、一部のカメラが他社製のものが含まれても構わない。また、図1の構成例では、カメラC1~C20のそれぞれの撮像映像データが共通して各サーバ(具体的には、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)にて受信されているが、各サーバにて受信される共通の撮像映像データはカメラC1~C20の全ての撮像映像データでもよいし、一部のカメラの撮像映像データだけでもよい。
サーバとしての映像管理サーバ40は、例えば警察署内に設置され、プロセッサ41およびデータベース42を少なくとも含む構成である。以下、データベースを「DB」と略記する場合がある。映像管理サーバ40は、カメラC1~C20のそれぞれの撮像映像データを保存する。映像管理サーバ40は、警察署内のオペレータの操作に応じてクライアント端末VW1あるいは現場の警官の操作に応じてモバイル端末VW2から送られた要求により、その要求を満たす撮像映像データをデータベース42から読み出してクライアント端末VW1あるいはモバイル端末VW2に送る。
サーバとしての顔認証サーバ50は、例えば警察署内に設置され、画像解析用の人工知能が搭載されたプロセッサ51とデータベース52とを少なくとも含む構成である。顔認証サーバ50のプロセッサ51は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る人物の顔を検知する等の映像解析を行い、その映像解析結果をデータベース52に保存する。顔認証サーバ50のプロセッサ51は、映像解析中にブラックリストデータ(ブラックリストの一例、後述参照)に登録されている顔画像を検知した時、ブラックリストデータに顔画像が登録されている人物の検知を報知するためのアラーム通知を映像解析結果として生成する。アラーム通知の生成対象となる顔画像(人物画像の一例)は、予め顔認証サーバ50において登録されている顔画像以外に、詳細は後述するが、ブラックリストデータへの登録の対象としてモバイル端末VW2により選択された不審人物の顔画像が含まれる。このブラックリストデータへの登録は、例えば事件等の現場の周囲で被疑者の行方を追跡している警官が携帯しているモバイル端末VW2からの指示により行われる。このアラーム通知は、生成される度に顔認証サーバ50からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る人物の顔画像と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。また、顔認証サーバ50のプロセッサ51は、AI統合サーバ10からの処理指示(例えば顔画像の照合指示)を受け取ると、その処理指示に含まれる照合対象の顔画像がデータベース52のブラックリストデータ(後述参照)に登録されているか否かを照合し、照合結果をデータベース52に保存する。ここで、ブラックリストデータは、例えば過去の事件等を起こした前科者の顔画像を含む個人情報と、上述した現場の周囲にいる警官が主観的あるいは客観的に被疑者として疑わしい人物(不審人物)の顔画像あるいは全身画像を含む個人情報とが事件等ごとに区分されて登録されたデータであり、データベース52に登録されている。なお、このブラックリストデータは、データベース52に登録されてもよいし、他の外部データベース(図示略)に登録されてもよい。
サーバとしての人物検索サーバ60は、例えば警察署内に設置され、画像解析用の人工知能が搭載されたプロセッサ61とデータベース62とを少なくとも含む構成である。人物検索サーバ60のプロセッサ61は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る人物(例えば被疑者)に関する情報を抽出する映像解析を行い、その映像解析結果をデータベース62に保存する。人物検索サーバ60のプロセッサ61は、映像解析中にブラックリストデータ(ブラックリストの一例、後述参照)に登録されている人物属性情報(例えば不審人物の外見的な特徴を示す情報)を含む全身画像と一致あるいは類似する人物を検知した時、ブラックリストデータに全身画像が登録されている人物の検知を報知するためのアラーム通知を映像解析結果として生成する。アラーム通知の生成対象となる人物属性情報を含む全身画像(人物画像の一例)は、予め人物検索サーバ60において登録されている全身画像以外に、詳細は後述するが、ブラックリストデータへの登録の対象としてモバイル端末VW2により選択された不審人物の全身画像が含まれる。このブラックリストデータへの登録は、例えば事件等の現場の周囲で被疑者の行方を追跡している警官が携帯しているモバイル端末VW2からの指示により行われる。このアラーム通知は、生成される度に人物検索サーバ60からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る人物情報(例えば、撮像映像中に映る人物の顔、性別、年齢、髪型、背丈、体型、所持品、装備品)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。人物検索サーバ60のプロセッサ61は、この人物情報を撮像映像データに関連付けて付与してデータベース62に蓄積する。この映像解析結果は、例えば事件等が発生した場合に、AI統合サーバ10から送られる処理指示(例えば人物情報の検索指示)に基づいて行われる、該当する人物情報の有無の検索時に参照される。
サーバとしての行動検知サーバ70は、例えば警察署内に設置され、画像解析用の人工知能が搭載されたプロセッサ71とデータベース72とを少なくとも含む構成である。行動検知サーバ70のプロセッサ71は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る少なくとも1人の人物が起こす所定のアクションの有無を検知する映像解析を行い、その映像解析結果をデータベース72に保存する。映像解析結果には、例えば所定のアクションの内容(種別)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。ここで、所定のアクションは、例えば人物のふらつき、喧嘩、拳銃所持、万引き等の事件等の引き金となりかねない行為のうち少なくとも1つであるが、これらの行為に限定されなくてよい。行動検知サーバ70のプロセッサ71は、所定のアクションを検知した時、所定のアクションが検知された撮像映像データに対応する撮像日時およびカメラの識別情報を含むアラーム通知を生成してAI統合サーバ10に送る。
サーバとしての車両検索サーバ80は、例えば警察署内に設置され、画像解析用の人工知能が搭載されたプロセッサ81とデータベース82とを少なくとも含む構成である。車両検索サーバ80のプロセッサ81は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る車両(例えば逃走車両)に関する情報を抽出する映像解析を行い、その映像解析結果をデータベース82に保存する。車両検索サーバ80のプロセッサ81は、映像解析中に車両属性情報(例えば逃走車両の車型あるいは車色等の外見的な特徴を示す情報)を満たす車両を検知した時、車両属性情報を満たす車両の検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる車両属性情報は、予め車両検索サーバ80において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度に車両検索サーバ80からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る車両情報(例えば、撮像映像中に映る車両の車種、車型、車色、ナンバープレートの情報)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。車両検索サーバ80のプロセッサ81は、この車両情報を撮像映像データに関連付けて付与してデータベース82に蓄積する。この映像解析結果は、例えば事件等が発生した場合に、AI統合サーバ10から送られる処理指示(例えば車両情報の検索指示)に基づいて行われる、該当する車両情報の有無の検索時に参照される。
サーバとしてのLPRサーバ90は、例えば警察署内に設置され、画像解析用の人工知能が搭載されたプロセッサ91とデータベース92とを少なくとも含む構成である。LPRサーバ90のプロセッサ91は、カメラC1~C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る車両のナンバープレートを抽出する映像解析を行い、その映像解析結果をデータベース92に保存する。LPRサーバ90のプロセッサ91は、映像解析中に不審ナンバープレートデータ(例えば不審人物が乗った車両のナンバープレート情報)を満たすナンバープレートを検知した時、不審ナンバープレートデータを満たすナンバープレートの検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる不審ナンバープレートデータは、予めLPRサーバ90において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度にLPRサーバ90からAI統合サーバ10に送られる。LPRサーバ90のプロセッサ91は、AI統合サーバ10から送られる処理指示(例えばナンバープレートの照合指示)に基づいて、その処理指示に含まれる照合対象のナンバープレート情報がデータベース92のナンバープレートリストデータに登録されているか否かを照合し、照合結果をデータベース92に保存する。ここで、ナンバープレートリストデータは、ナンバープレート情報と対応する車両の購入者(言い換えると、所有者であるオーナ)に関する情報(例えば顔画像および個人情報)とが予め関連付けて登録されたデータであり、データベース92に登録されている。なお、このナンバープレートリストデータは、データベース92に登録されてもよいし、他の外部データベース(図示略)に登録されてもよい。
クライアント端末VW1は、例えば警察署内に設置され、警察署内のオペレータ(警官)により使用され、例えばラップトップ型またはデスクトップ型のPC(Personal Computer)を用いて構成される。オペレータは、例えば事件等が発生した場合、その事件等の発生を警察署に通報した者(例えば目撃者)からの電話により、その事件等に関する様々な情報(目撃情報)を聞き取り、クライアント端末VW1を操作することでデータ入力して記録する。クライアント端末VW1は、例えば目撃情報に一致あるいは類似する人物あるいは車両の検索の処理要求をAI統合サーバ10に送り、AI統合サーバ10が各サーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)による検索を経て取得した検索結果を、AI統合サーバ10から受け取り、その検索結果を表示する。また、クライアント端末VW1は、例えば無線LAN等の警察署内ネットワークを介して映像管理サーバ40と接続している場合、映像管理サーバ40にアクセスして所望の撮像映像データを取得して再生表示してよい。
モバイル端末VW2は、例えば現場等に外出中の警官により使用され、カメラ機能を有するスマートフォンまたはタブレット端末等のコンピュータ装置を用いて構成される。モバイル端末VW2は、例えば現場付近で聞き取った目撃情報に一致あるいは類似する人物あるいは車両の検索の処理要求をAI統合サーバ10に送り、AI統合サーバ10が各サーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)による検索を経て取得した検索結果を、AI統合サーバ10から受け取り、その検索結果を表示する。また、モバイル端末VW2は、例えば無線LANあるいは携帯電話網等のネットワーク(図示略)を介して映像管理サーバ40と接続している場合、映像管理サーバ40にアクセスして所望の撮像映像データを取得して再生表示してよい。また、モバイル端末VW2は、現場の周囲に群がる複数人の群衆の中に警官が気になる不審人物(例えば被疑者)がいる場合に、警官の操作により群衆のスナップショット(静止画)を撮像して取得し、このスナップショットの画像解析要求を生成してAI統合サーバ10に送る。モバイル端末VW2は、AI統合サーバ10から送られた画像解析応答(後述参照)を受信すると表示する。
統合サーバとしてのAI統合サーバ10は、例えば警察署内に設置され、クライアント端末VW1あるいはモバイル端末VW2からの人物あるいは車両の検索の処理要求を受け取ると、その処理要求の検索に必要なサーバを特定する。AI統合サーバ10は、その特定されたサーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)に該当する処理指示を生成して送る。ここで、実施の形態1に係る捜査支援システム1において、各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)の製造元(メーカ)はそれぞれ同一でも異なっても構わない。
例えば各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが全て同一である場合、クライアント端末VW1あるいはモバイル端末VW2から各サーバへの検索を要求するためのアプリケーション画面(例えば検索条件あるいは照合条件の入力画面)はそのメーカ独自の共通のレイアウト等で生成されることが考えられる。従って、オペレータ等は、一つの検索条件の入力画面に複数のオブジェクト(例えば人物、車両、顔、ナンバープレート)を混在した横断的な検索(AND検索)を行うことができる。
ところが、各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが全て同一ではない場合、クライアント端末VW1あるいはモバイル端末VW2からそれぞれの異なるメーカ製のサーバへの検索を要求するためのアプリケーション画面(例えば検索条件の入力画面)はメーカごとに異なる検索アルゴリズム、レイアウト等で生成されることになる。つまり、クライアント端末VW1あるいはモバイル端末VW2から見れば、顔認証サーバ50への照合条件の入力画面(アプリケーション)と、人物検索サーバ60への検索条件の入力画面(アプリケーション)と、車両検索サーバ80への検索条件の入力画面(アプリケーション)とがそれぞれ異なってしまい、例えば一度に複数のオブジェクト(例えば人物、車両、顔、ナンバープレート)を混在した横断的な検索を行えず、システムとしての利便性が低下してしまう。
そこで、AI統合サーバ10は、各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが異なる場合でも、クライアント端末VW1あるいはモバイル端末VW2からの検索の処理要求を受け取ると、処理要求の宛先となる各サーバへの通信(アクセス)に共通のインターフェース(IF:Interface)を用いる。ここでいうインターフェースとは、例えば、各サーバで使用されるオブジェクト用検索アルゴリズムが汎用化された共通検索アルゴリズムであり、AI統合サーバ10はこの共通検索アルゴリズムを予め保持している。AI統合サーバ10は、各サーバに共通検索アルゴリズム(インターフェース)を用いて、該当するサーバに検索あるいは照合の処理指示を送る。また、インターフェースは、例えば各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)との通信の仕様に関する取り決めあるいはプロトコルが共通化されたインターフェースでもよいし、各サーバへの通信に適した個別のインターフェースであってよい。AI統合サーバ10は、各サーバとの間での通信に適したインターフェースを用いて、データあるいは情報の送受信(例えばアラーム通知の受信)を行ってよい。
AI統合サーバ10は、例えば高性能なサーバコンピュータにより構成され、具体的にはメモリMM1、プロセッサ11、データベース12、サーバIFコントローラ13およびクライアントIFコントローラ14を含む構成である。
メモリMM1は、例えばRAM(Random Access Memory)とROM(Read Only Memory)とを用いて構成され、AI統合サーバ10の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサ11の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ11を制御するためのプログラムを予め記憶する。メモリMM1は、カメラC1~C20のそれぞれが設置された位置を示す道路地図情報を記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図情報を外部の道路地図情報管理サーバ(図示略)からAI統合サーバ10が取得して記録する。
プロセッサ11は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)またはFPGA(Field Programmable Gate Array)を用いて構成され、AI統合サーバ10の制御部として機能し、AI統合サーバ10の各部の動作を全体的に統括するための制御処理、AI統合サーバ10の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ11は、メモリMM1に記憶されたプログラムに従って動作する。
例えば、プロセッサ11は、クライアント端末VW1あるいはモバイル端末VW2からの人物あるいは車両の検索の処理要求を受け取ると、その処理要求の検索に必要な少なくとも1つのサーバを特定する。プロセッサ11は、その特定されたサーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)に該当する処理指示(例えば検索指示)を生成して送る。これにより、プロセッサ11は、例えば複数のサーバ(例えば人物検索サーバ60および車両検索サーバ80)のそれぞれを用いて人物および車両を横断的に検索できる(横断検索処理)。例えば、プロセッサ11は、横断検索処理として、人物の特徴および顔の2つのオブジェクト、あるいは、車両、人物および顔の3つのオブジェクトを用いた絞り込み検索を該当するサーバに対して行う。
例えば、プロセッサ11は、各サーバからの検索結果を受け取ると、オブジェクト(例えば人物、車両)ごとに検索結果を並び替える(検索結果ソート処理)。例えば、プロセッサ11は、各サーバからの検索結果に含まれるスコア(例えばAIエンジンの処理に基づいて得られた検索結果の尤度を示す確率値)に基づいて、検索結果に含まれる画像(例えば、人物のサムネイル、顔のサムネイル、車両のサムネイル)の適合度合いを示す順位を決定し、その順位に従って各画像を並び替える。
例えば、プロセッサ11は、AI統合サーバ10に接続されている各サーバ(具体的には、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のそれぞれに所定のコマンドを送る。プロセッサ11は、各サーバからのコマンド応答の受信の有無に応じて、サーバの生死状態(つまり、サーバコンピュータ内のプロセスの稼働有無)を監視する(死活監視処理)。
例えば、プロセッサ11は、群衆のスナップショットに映る人物の画像解析要求をモバイル端末VW2から受け取ると、その画像解析要求に基づく画像解析処理に必要な少なくとも1つのサーバを特定する。プロセッサ11は、その特定されたサーバ(例えば顔認証サーバ50、人物検索サーバ60)に該当する処理指示(例えば画像解析要求)を生成して送る。これにより、プロセッサ11は、例えば群衆の中でモバイル端末VW2を操作する警官が気になった人物(例えば被疑者と思われる不審人物)の画像(例えば、顔画像、全身画像)の候補を該当するサーバ(例えば顔認証サーバ50、人物検索サーバ60)から簡単に取得できる。
データベース12は、例えばHDD(Hard Disk Drive)あるいはSSD(Solid State Drive)を用いて構成され、プロセッサ11により取得あるいは生成されたデータもしくは情報を保存する。
サーバIFコントローラ13は、AI統合サーバ10と各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。また、サーバIFコントローラ13は、例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80のそれぞれのメーカが異なる場合でも、各サーバへの通信(アクセス)に適したインターフェースを選択して用いる。例えば、サーバIFコントローラ13は、顔認証サーバ50用の入出力インターフェース、人物検索サーバ60用の入出力インターフェース、車両検索サーバ80用の入出力インターフェースをそれぞれ有し、クライアント端末VW1あるいはモバイル端末VW2からの検索の処理要求に適合するインターフェースを選択して用いる。
クライアントIFコントローラ14は、クライアント端末VW1、モバイル端末VW2および映像管理サーバ40のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。クライアントIFコントローラ14は、プロセッサ11によりソートされた検索結果をクライアント端末VW1あるいはモバイル端末VW2に送る。クライアントIFコントローラ14は、映像管理サーバ40に、クライアント端末VW1あるいはモバイル端末VW2への撮像映像データの配信あるいはカメラC1~C20のそれぞれの撮像映像データの記録(録画)を指示する。また、クライアントIFコントローラ14は、行動検知サーバ70からのアラーム通知を各端末(具体的には、クライアント端末VW1、モバイル端末VW2)のそれぞれに転送する。なお、クライアントIFコントローラ14は、行動検知サーバ70以外の他のサーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)からのアラーム通知を各端末(具体的には、クライアント端末VW1、モバイル端末VW2)のそれぞれに転送してもよい。
図2は、捜査支援システム1を構成する各種のサーバのハードウェア構成例を示すブロック図である。具体的には、各種のサーバは、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90である。従って、図2の説明におけるサーバは、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90を総称した用語として用いる。図2では、各サーバに共通するハードウェア構成の詳細な説明を行い、各部の特徴的な作用の詳細については図1あるいは後述を参照して説明するので、ここでは説明を簡略化する。
図2のサーバは、例えばサーバコンピュータにより構成され、具体的にはプロセッサPRC1、メモリMM2、データベース52、カメラIFコントローラ53およびサーバIFコントローラ54を含む構成である。
プロセッサPRC1は、例えばGPU(Graphical Processing Unit)またはFPGAを用いて構成され、サーバの制御部として機能し、サーバの各部の動作を全体的に統括するための制御処理、サーバの各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサPRC1は、メモリMM2に記憶されたプログラムに従って動作する。各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のプロセッサPRC1は、例えば対応するサーバでの処理に適するように機械学習により生成された学習済みモデルを実行可能である。各サーバは、学習済みモデルを用いた処理の実行により、処理結果とその処理結果の尤度(信頼確率)を示すスコアとを出力する。
例えば、顔認証サーバ50は、顔認証サーバ50用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映る人物の顔を検知したり、AI統合サーバ10からの照合指示に含まれる顔画像とデータベース52のブラックリストデータ(上述参照)との照合処理を実行したりする。顔認証サーバ50は、処理結果として、ブラックリストデータ(上述参照)に登録されている顔画像とその顔画像の尤度を示すスコアとを出力する。
例えば、人物検索サーバ60は、人物検索サーバ60用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映るオブジェクト(人物)に関する人物情報を検知して抽出したり、AI統合サーバ10からの照合指示に含まれる人物の検索条件を満たす人物の検索処理をデータベース62のブラックリストデータ(上述参照)の参照により実行したりする。人物検索サーバ60は、処理結果として、人物検索条件を満たす人物のサムネイル(画像)、人物情報、そのサムネイルの尤度を示すスコアを出力する。
例えば、行動検知サーバ70は、行動検知サーバ70用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映るオブジェクト(人物)が起こす所定のアクションの有無を検知する。行動検知サーバ70は、処理結果として、最も尤度が高いと判定した所定のアクションの内容(結果)とそのアクションが検知された撮像映像データの撮像日時およびカメラの識別情報とを出力する。
例えば、車両検索サーバ80は、車両検索サーバ80用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映るオブジェクト(車両)に関する車両情報を検知して抽出したり、AI統合サーバ10からの照合指示に含まれる車両の検索条件を満たす車両の検索処理をデータベース82の参照により実行したりする。車両検索サーバ80は、処理結果として、車両検索条件を満たす車両のサムネイル(画像)、車両情報、そのサムネイルの尤度を示すスコアとを出力する。
例えば、LPRサーバ90は、LPRサーバ90用の学習済みモデルを用いて、カメラC1~C20のそれぞれの撮像映像データに映るオブジェクト(ナンバープレート)に関するナンバープレート情報を検知して抽出したり、AI統合サーバ10からの照合指示に含まれるナンバープレートの情報とデータベース92のナンバープレートリストデータとの照合処理を実行したりする。LPRサーバ90は、処理結果として、ナンバープレートリストデータに登録されているナンバープレートに対応する車両の購入者(オーナ)の顔画像および個人情報を出力する。
メモリMM2は、例えばRAMとROMとを用いて構成され、サーバの動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサPRC1の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC1を制御するためのプログラムを予め記憶する。
データベース52は、例えばHDDあるいはSSDを用いて構成され、サーバのプロセッサPRC1により取得あるいは生成されたデータもしくは情報を保存する。プロセッサPRC1により生成されたデータは、例えばサーバが顔認証サーバ50である場合には顔画像の照合処理の結果、サーバが人物検索サーバ60である場合には検索処理の結果として得られた人物情報(上述参照)、サーバが車両検索サーバ80である場合には検索処理の結果として得られた車両情報(上述参照)、サーバがLPRサーバ90である場合には検索処理の結果として得られたナンバープレート情報である。
カメラIFコントローラ53は、サーバとカメラC1~C20のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。カメラIFコントローラ53は、カメラC1~C20のそれぞれにより撮像された撮像映像データを受信してプロセッサPRC1に出力する。
サーバIFコントローラ54は、サーバとAI統合サーバ10との間の通信(送受信)を司る通信インターフェース回路により構成される。サーバIFコントローラ54は、AI統合サーバ10からの処理指示を受信するとともに、その処理指示に基づくプロセッサPRC1の処理結果をAI統合サーバ10に応答(返送)する。また、サーバIFコントローラ54は、各サーバのプロセッサPRC1により検知されたオブジェクトに対応するアラーム通知(上述参照)をAI統合サーバ10に送信する。
図3は、捜査支援システム1を構成するモバイル端末VW2のハードウェア構成例を示すブロック図である。図示は省略するが、クライアント端末VW1のハードウェア構成は、モバイル端末VW2のハードウェア構成と同一でもよいし、図3のハードウェア構成のうち撮像部CAP0だけが省略された構成でもよい。
図3のモバイル端末VW2は、例えばコンピュータ装置により構成され、具体的には撮像部CAP0、プロセッサPRC2、メモリMM3、記録装置112、サーバIFコントローラ114、入力デバイス115、表示デバイス116、スピーカ117および映像管理サーバIFコントローラ118を含む構成である。
撮像部CAP0は、モバイル端末VW2のカメラ機能を司り、レンズ(図示略)とイメージセンサ(図示略)と信号処理回路(図示略)とを含む構成である。レンズは、被写体からの光を入射して集光してイメージセンサに出射する。イメージセンサは、例えばCMOS(Complementary Metal Oxide-Semiconductor)あるいはCCD(Charge Coupled Device)を用いて構成され、レンズにより集光された光を受光して撮像し、被写体像の電気信号を生成して信号処理回路に出力する。信号処理回路は、被写体像の電気信号に各種の信号処理を施して被写体の画像データを生成することで、被写体の瞬間的な状態を示す静止画(スナップショット)のデータあるいは被写体の動き等が判明可能な撮像映像データを生成する。撮像部CAP0はスナップショットのデータあるいは撮像映像データをプロセッサPRC2に出力する。このスナップショットのデータあるいは撮像映像データは、プロセッサPRC2を介して表示デバイス116に表示される(図4または図5参照)。
プロセッサPRC2は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)またはFPGAを用いて構成され、モバイル端末VW2の制御部として機能し、モバイル端末V2の各部の動作を全体的に統括するための制御処理、モバイル端末VW2の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサPRC2は、メモリMM3に記憶されたプログラムに従って動作する。
メモリMM3は、例えばRAMとROMとを用いて構成され、モバイル端末VW2の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサPRC2の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC2を制御するためのプログラムを予め記憶する。メモリMM3は、カメラC1~C20のそれぞれが設置された位置を示す道路地図情報を記録してもよく、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図情報を外部の道路地図情報管理サーバ(図示略)からモバイル端末VW2が取得して記録する。
記録装置112は、例えばHDDあるいはSSDを用いて構成され、モバイル端末VW2のプロセッサPRC2により取得あるいは生成されたデータもしくは情報を保存する。記録装置112は、撮像部CAP0により撮像された不審人物が映る群衆のスナップショットのデータ、またはAI統合サーバ10から送られた各種の検索結果あるいは画像解析結果のデータを保存する。
サーバIFコントローラ114は、モバイル端末VW2とAI統合サーバ10との間の通信(送受信)を司る通信インターフェース回路により構成される。サーバIFコントローラ114は、プロセッサPRC2により生成される検索あるいは画像解析の処理要求をAI統合サーバ10に送る。また、サーバIFコントローラ114は、AI統合サーバ10から送られる各種の処理結果あるいはアラーム通知(上述参照)を受信する。
入力デバイス115は、現場に外出中の警官(例えばモバイル端末VW2のユーザ)の操作を受け付ける。入力デバイス115は、例えばタッチパネルあるいはボタンにより構成される。
表示デバイス116は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)により構成され、プロセッサPRC2から送られた各種のデータを表示する。
スピーカ117は、プロセッサPRC2によりデータ(例えばAI統合サーバ10からの検索結果に含まれるビデオデータ)が再生される時の音声を音響的に出力する。
映像管理サーバIFコントローラ118は、モバイル端末VW2と映像管理サーバ40との間の通信(送受信)を司る通信インターフェース回路により構成される。映像管理サーバIFコントローラ118は、入力デバイス115を用いた警官の操作に基づいてプロセッサPRC2が生成した映像配信の処理要求を映像管理サーバ40に送る。また、映像管理サーバIFコントローラ118は、前述した映像配信の処理要求に基づいて映像管理サーバ40から送られた各種の撮像映像データを受信する。
次に、実施の形態1に係る捜査支援システム1を用いた警察捜査において、モバイル端末VW2を携帯している警官が現場で気になった不審人物の画像をブラックリストデータに登録するための動作手順ならびにモバイル端末VW2での表示画面例について、図4から図9を参照して説明する。図4~図9の説明において、図中に示される構成と同一の構成については同一の符号を参照して説明を簡略化あるいは省略する。
警察捜査において、モバイル端末VW2は、現場の周囲にいる警官の操作により、予めインストールされている捜査支援アプリケーション(以下「捜査支援アプリ」という)を立ち上げて実行中である。捜査支援アプリは、例えばモバイル端末VW2のメモリMM3のROMに格納され、警官の操作により起動されるとプロセッサPRC2により実行される。言い換えると、以下の説明における動作主体としての捜査支援アプリはプロセッサPRC2と読み替えることができる。捜査支援アプリの起動中にプロセッサPRC2により生成されるデータあるいは情報は、一時的にメモリMM3のRAMに保持される。
図4は、不審人物の検知および登録に関わる画面例を示す図である。捜査支援アプリは、警官が気になった不審人物(例えば人物PS1)が現場の周囲にいた時、警官の操作により、図4に示す確認画面WD1を表示デバイス116に表示する。
図4に示す確認画面WD1は、警官の撮像部CAP0を用いた操作により撮像された被写体(例えば現場の周囲に群がる複数人からなる群衆)を瞬間的に捉えた静止画であるスナップショットCAP1を表示する表示領域と、スナップショットアイコンSNP1、アルバムアイコンALB1および画像解析アイコンDT1のそれぞれを表示する表示領域とを有する。図4のスナップショットCAP1には、警官がパトロール中に気になった不審人物(例えば被疑者)として人物PS1が映っている。
スナップショットアイコンSNP1は、警官の操作により押下された時に撮像部CAP0により撮像された被写体の静止画である撮像画像データ(つまりスナップショット)の保存を捜査支援アプリ(プロセッサPRC2)に指示する。
アルバムアイコンALB1は、警官の操作により押下されると、モバイル端末VW2の記録装置112に保存されている過去の撮像画像データ(つまりスナップショット)の読み出しを捜査支援アプリ(プロセッサPRC2)に指示する。
画像解析アイコンDT1は、警官の操作により押下された時に表示デバイス116に表示されていたスナップショットCAP1に映る人物の画像解析(言い換えると、スナップショットCAP1に映る人物の検知)の要求を捜査支援アプリ(プロセッサPRC2)に指示する。この要求の応答として、モバイル端末VW2は、図4に示す検知結果画面WD2を表示する。
図4に示す検知結果画面WD2は、画像解析アイコンDT1の押下に基づいてAI統合サーバ10からモバイル端末VW2に送られた画像解析結果(例えば、スナップショットCAP1に映る人物PS1の顔画像EX1,全身画像EX2、スナップショットCAP1に映る他の人物の全身画像EX3)を表示する。また、検知結果画面WD2は、人物PS1の顔画像EX1に対応して顔画像EX1のブラックリスト登録アイコンBKRG1、人物PS1の全身画像EX2に対応して全身画像EX2のブラックリスト登録アイコンBKRG2、他の人物の全身画像EX3に対応して全身画像EX3のブラックリスト登録アイコンBKRG3を表示する。
ブラックリスト登録アイコンBKRG1は、警官の操作により押下されると、人物PS1の顔画像EX1の登録を捜査支援アプリ(プロセッサPRC2)に指示する。この指示に基づいて、モバイル端末VW2は、顔画像EX1に対応する人物PS1の書誌情報BIB1等の入力を経て(書誌入力画面WD3参照)、その入力された書誌情報BIB1を含む顔画像EX1の登録要求をAI統合サーバ10に送る(図7参照)。
ブラックリスト登録アイコンBKRG2は、警官の操作により押下されると、人物PS1の全身画像EX2の登録を捜査支援アプリ(プロセッサPRC2)に指示する。この指示に基づいて、モバイル端末VW2は、全身画像EX2に対応する人物PS1の書誌情報等の入力を経て、その入力された書誌情報を含む全身画像EX2の登録要求をAI統合サーバ10に送る(図8参照)。
ブラックリスト登録アイコンBKRG3は、警官の操作により押下されると、他の人物の全身画像EX3の登録を捜査支援アプリ(プロセッサPRC2)に指示する。この指示に基づいて、モバイル端末VW2は、全身画像EX3に対応する他の人物の書誌情報等の入力を経て、その入力された書誌情報を含む全身画像EX3の登録要求をAI統合サーバ10に送る(図8参照)。
図4に示す書誌入力画面WD3は、ブラックリスト登録アイコンBKRG1の押下に基づいて捜査支援アプリ(プロセッサPRC2)により生成され、ブラックリスト登録アイコンBKRG1に対応する人物PS1の書誌情報BIB1と顔画像EX1の登録有効期間VLP1との警官の操作による入力を受け付ける。警官の操作により、書誌情報BIB1と登録有効期間VLP1の情報とが入力されてOKボタン(書誌入力画面WD3において図示略)が押下されると、モバイル端末VW2は、各種のデータあるいは情報(後述参照)を含む顔画像EX1のブラックリスト登録を生成してAI統合サーバ10に送る。
書誌情報BIB1は、顔画像EX1に対応する人物PS1の書誌的な情報として、例えば氏名(First Name, Last Name)、年齢(Age)、性別(Gender)、備考(Remarks)により構成される。例えば人物PS1は事件等の被疑者であって警察等の捜査機関から指名手配を受けているために警官が記憶している場合に、警官が記憶を頼りにして書誌情報BIB1のそれぞれが入力される。
登録有効期間VLP1の情報は、チェックボックスCKB1と開始年月日STR1と期間PER1とにより構成される。チェックボックスCKB1は、例えば開始年月日STR1と期間PER1とが警官の操作により入力された上で、捜査支援アプリ(プロセッサPRC2)によりチェック可能となる。開始年月日STR1は、顔画像EX1の登録の起点となる年月日を示し、例えば「2020年9月20日」と入力されている。期間PER1は、顔画像EX1の登録の有効期間を示し、例えば「96時間」(つまり4日間)と入力されている。例えば96時間が経過した場合には、顔画像EX1の登録先(例えば後述する顔認証サーバ50)において顔画像EX1はデータベース52のブラックリストデータから自動的に削除されてもよい。
図5は、不審人物の全身画像EX3の登録有効期間の設定画面WD4の表示例を示す図である。設定画面WD4は、警官による所定の操作により、モバイル端末VW2の表示デバイス116に表示される。例えば不審人物の全身画像EX3(図4参照)が人物検索サーバ60のデータベース62に保存されているブラックリストデータに既に登録(後述参照)されている場合に、その不審人物の全身画像EX3の登録有効期間(図4参照)を延長あるいは短縮する等のニーズが生じる可能性はある。このような場合に、警官の操作により、その不審人物の全身画像EX3の氏名欄NM1に「Suspicious person at the entrance」と入力されると、モバイル端末VW2は、AI統合サーバ10が人物検索サーバ60のブラックリストデータを参照して取得した全身画像EX3の登録有効期間を設定画面WD4の登録有効期間情報VLP3に表示する。
登録有効期間情報VLP3は、チェックボックスCKB3開始年月日STR3と期間PER3とにより構成される。チェックボックスCKB3は、開始年月日STR3と期間PER3とが既に登録時に入力された時の値がそれぞれ示されているので、警官の操作によりチェック可能となっている。開始年月日STR3は、全身画像EX3の登録の起点となる年月日を示し、例えば警官の変更操作により「2020年9月20日」と入力された。期間PER3は、全身画像EX3の登録の有効期間を示し、例えば警官の変更操作により「0時間」(つまり無限に登録される)と入力された。
図6は、登録人物リスト画面WD5の表示例を示す図である。登録人物リスト画面WD5は、警官による所定の操作により、モバイル端末VW2の表示デバイス116に表示される。登録人物リスト画面WD5は、警官により現場の周囲に群がる群衆の中で疑われた1人以上の不審人物の画像(例えば、顔画像および全身画像)が登録された人物ごとのリストを示す。例えば図6の登録人物リスト画面WD5は、氏名「Scott」の人物FC1の画像(例えば顔画像)と、氏名「Shown」の人物FC2の画像(例えば顔画像)と、氏名「Rick」の人物FC3の画像(例えば顔画像)と、氏名「Tiger」の人物FC4の画像(例えば顔画像)と、氏名「Shun Yamada」の人物FC5の画像(例えば顔画像)と、氏名「Suspicious person at the entrance」の人物BD1の画像(例えば全身画像)と、氏名「Hiro Kitaoka」の人物FC6の画像(例えば顔画像)とを示している。
モバイル端末VW2は、登録人物リスト画面WD5が表示されている時、警官が不要と判断した人物の画像の削除をAI統合サーバ10に要求することができる。このため、登録人物リスト画面WD5には、人物FC1~FC5,BD1,FC6のそれぞれに対応してごみ箱アイコンDEL1,DEL2,DEL3,DEL4,DEL5,DEL6,DEL7が配置されている。いずれかのごみ箱アイコンが警官の操作により押下されると、モバイル端末VW2は、その押下されたごみ箱アイコンに対応する人物の画像の削除をAI統合サーバ10に要求する。AI統合サーバ10は、この要求に応じて、該当するサーバ(例えば、顔認証サーバ50あるいは人物検索サーバ60)に要求された人物の画像の削除を指示する。これにより、顔認証サーバ50あるいは人物検索サーバ60のブラックリストデータから不要な人物の画像の削除が可能となる。
また、登録人物リスト画面WD5は、種別アイコンICO1を示す。種別アイコンICO1は、不審人物の画像の種別として、「ALL」、「Face」あるいは「People」のいずれかがプルダウン形式で選択可能とする。「ALL」は、ブラックリストとして登録された顔画像および全身画像の両方を示す。「Face」は、ブラックリストとして登録された顔画像を示す。「People」は、ブラックリストとして登録された全身画像を示す。つまり、モバイル端末VW2は、種別アイコンICO1のいずれかが選択されたことで、対応する種別のブラックリスト登録された人物の画像一覧を表示デバイス116に表示することができる。
なお、図6に示す登録人物リスト画面WD5において、同一人物について顔画像および全身画像の両方が登録されている場合には顔画像と同一のサムネイルを用いて各人物FC1~FC6の画像が表示される。つまり、人物FC1~FC6のそれぞれについては、顔画像および全身画像の両方が登録されており、人物BD1については全身画像のみが登録されている。
また、全身画像の登録に関して、同一人物の全身画像は一つだけ登録されてもよいが、複数登録されてもよい。これは、警官が気になる不審人物が日によって服装を変える可能性があり、全身画像では人物の顔よりも服装に注目が集まる傾向が高いために日によって異なる服を着用することを考慮したためである。
(捜査支援システムの動作)
次に、実施の形態1に係る捜査支援システム1の不審人物の画像のブラックリスト登録に関する動作手順について、図7および図8を参照して説明する。図7および図8は、実施の形態1に係る捜査支援システム1の不審人物の画像のブラックリスト登録に関する動作手順例を示すシーケンス図である。図7および図8の説明の前提として、モバイル端末VW2を操作する警官は事件等の現場の周囲に群がる群衆の中に被疑者等の不審人物がいるか否かを注視しており、不審人物を発見したとする。
図7において、モバイル端末VW2の捜査支援アプリは、警官の操作(例えばスナップショットアイコンSNP1の押下)により、警官が気になった不審人物(対象人物)を瞬間的に捉えた静止画(スナップショット)を撮像部CAP0により撮像して取得する(St1)。捜査支援アプリは、そのスナップショットを表示デバイス116に表示する(図4の確認画面WD1参照)。捜査支援アプリは、警官の操作(例えば画像解析アイコンDT1の押下)により、ステップSt1により取得されたスナップショットを添付した画像解析要求を生成してAI統合サーバ10に送る(St2)。
AI統合サーバ10は、ステップSt2でモバイル端末VW2から送られた画像解析要求を受信するとともに、ステップSt1で取得されたスナップショットを添付して画像解析要求を人物検索サーバ60に転送する(St3)。人物検索サーバ60は、AI統合サーバ10から送られた画像解析要求に基づいて、添付されていたスナップショットの画像解析処理を行う(St4)。ステップSt4では、人物検索サーバ60は、スナップショットに映っている少なくとも1人の人物の顔、全身等を検知し、スナップショット中の顔、全身を検知したそれぞれの範囲を示す検知枠情報(例えば顔、全身の検知枠の位置を示す座標)を取得する。人物検索サーバ60は、スナップショット中の顔、全身を検知したそれぞれの範囲を示す検知枠の位置情報(例えば座標)を画像解析応答としてAI統合サーバ10に送る(St5)。AI統合サーバ10は、ステップSt5で人物検索サーバ60から送られた画像解析応答をモバイル端末VW2に転送する(St6)。
モバイル端末VW2の捜査支援アプリは、ステップSt6でAI統合サーバ10から送られた画像解析応答を表示デバイス116に表示する(図4の検知結果画面WD2参照)。ここで、画像解析応答には、警官が気になった不審人物の顔画像が含まれているとする。捜査支援アプリは、警官の操作により、複数の検知枠情報の中から警官が気になる対象人物(例えば不審人物)の顔枠表示画像(例えば図4の顔画像EX1参照)の選択(例えばブラックリスト登録アイコンBKRG1の押下)を受け付ける(St7)。捜査支援アプリは、ブラックリスト登録アイコンBKRG1の押下を検知すると、警官の操作による対象人物(例えば不審人物)の各種情報(図4の書誌入力画面WD3参照)の入力を受け付ける(St8)。捜査支援アプリは、ステップSt1で取得されたスナップショットとステップSt6で取得された対象人物の顔の検知枠情報とステップSt7で入力された登録有効期間とステップSt8で取得された対象人物情報と、を含む顔画像のブラックリスト登録要求を生成してAI統合サーバ10に送る(St9)。
AI統合サーバ10は、ステップSt9で送られた顔画像のブラックリスト登録要求を受信すると、顔画像のブラックリスト登録を要求するためにブラックリスト登録要求の転送先を顔認証サーバ50として特定してブラックリスト登録要求を顔認証サーバ50に転送する(St10)。顔認証サーバ50は、ステップSt10で転送されたブラックリスト登録要求を受信すると、モバイル端末VW2で選択された対象人物の顔画像をデータベース52のブラックリストデータに登録(追加)する(St11)。これにより、顔認証サーバ50は、現場で警官が気になった不審人物の顔画像をブラックリストデータに取り込んで登録できるので、警察等の捜査機関による被疑者等の不審人物の発見を効率的に支援できる。顔認証サーバ50は、ブラックリストデータへの顔画像の登録が完了した旨の報告を示すブラックリスト登録応答を生成してAI統合サーバ10に送る(St12)。AI統合サーバ10は、ステップSt12で送られたブラックリスト登録応答をモバイル端末VW2に転送する(St13)。モバイル端末VW2は、ブラックリスト登録応答の受信に基づいて、ステップSt7で選択された顔画像EX1のブラックリストデータへの登録の成功あるいは失敗の結果を表示デバイス116に表示する(St14)。
一方、モバイル端末VW2の捜査支援アプリは、ステップSt6でAI統合サーバ10から送られた画像解析応答を表示デバイス116に表示する(図4の検知結果画面WD2参照)。ここで、画像解析応答には、警官が気になった不審人物の全身画像が含まれているとする。捜査支援アプリは、警官の操作により、複数の検知枠情報の中から警官が気になる対象人物(例えば不審人物)の全身枠表示画像(例えば図4の全身画像EX2参照)の選択(例えばブラックリスト登録アイコンBKRG2の押下)を受け付ける(St15)。捜査支援アプリは、ブラックリスト登録アイコンBKRG2の押下を検知すると、警官の操作による対象人物(例えば不審人物)の各種情報(図4の書誌入力画面WD3参照)の入力を受け付ける(St16)。捜査支援アプリは、ステップSt1で取得されたスナップショットとステップSt6で取得された対象人物の全身の検知枠情報とステップSt15で入力された登録有効期間とステップSt16で取得された対象人物情報と、を含む全身画像のブラックリスト登録要求を生成してAI統合サーバ10に送る(St17)。
AI統合サーバ10は、ステップSt17で送られた全身画像のブラックリスト登録要求を受信すると、全身画像のブラックリスト登録を要求するためにブラックリスト登録要求の転送先を人物検索サーバ60として特定してブラックリスト登録要求を人物検索サーバ60に転送する(St18)。人物検索サーバ60は、ステップSt18で転送されたブラックリスト登録要求を受信すると、モバイル端末VW2で選択された対象人物の全身画像をデータベース62のブラックリストデータに登録(追加)する(St19)。これにより、人物検索サーバ60は、現場で警官が気になった不審人物の全身画像をブラックリストデータに取り込んで登録できるので、警察等の捜査機関による被疑者等の不審人物の発見を効率的に支援できる。人物検索サーバ60は、ブラックリストデータへの全身画像の登録が完了した旨の報告を示すブラックリスト登録応答を生成してAI統合サーバ10に送る(St20)。AI統合サーバ10は、ステップSt20で送られたブラックリスト登録応答をモバイル端末VW2に転送する(St21)。モバイル端末VW2は、ブラックリスト登録応答の受信に基づいて、ステップSt15で選択された全身画像EX2のブラックリストデータへの登録の成功あるいは失敗の結果を表示デバイス116に表示する(St22)。
次に、実施の形態1に係る捜査支援システム1の不審人物の画像のブラックリスト削除に関する動作手順について、図9を参照して説明する。図9は、実施の形態1に係る捜査支援システム1の不審人物の画像のブラックリスト削除に関する動作手順例を示すシーケンス図である。捜査支援システム1では、登録されてから登録有効期間が経過するまでの間では警官の操作により、モバイル端末VW2はブラックリスト削除をAI統合サーバ10に要求する。これは、例えばブラックリスト登録された顔画像の人物とは別の人物が犯人として逮捕されたことで事件等の関与が無いことが判明した等で、ブラックリスト登録の必要性が無くなったためである。
図9において、警官はブラックリスト登録されてから登録有効期間が未だ経過していない人物の画像(例えば顔画像)の削除を試みる。
モバイル端末VW2の捜査支援アプリは、警官の操作(例えばごみ箱アイコンの押下)により指定された顔画像(図6の登録人物リスト画面WD5参照)のブラックリスト削除の入力を受け付ける。捜査支援アプリは、警官の操作による指定に基づいて、指定された顔画像のブラックリスト削除の要求を生成してAI統合サーバ10に送る(St31)。
AI統合サーバ10は、ステップSt31で送られた顔画像のブラックリスト削除要求を受信すると、顔画像のブラックリスト削除を要求するためにブラックリスト登録要求の転送先を顔認証サーバ50として特定してブラックリスト登録要求を顔認証サーバ50に転送する(St32)。顔認証サーバ50は、ステップSt32で転送されたブラックリスト削除要求を受信すると、モバイル端末VW2で選択された対象人物の顔画像をデータベース52のブラックリストデータから削除する(St33)。これにより、顔認証サーバ50は、事件等の関与が無いことが判明した等でブラックリスト登録の必要性が無くなった人物の顔画像を適正に削除できるので、データベース52のブラックリストデータを用いた顔照合の精度を向上できる。顔認証サーバ50は、ブラックリストデータからの顔画像の削除が完了した旨の報告を示すブラックリスト削除応答を生成してAI統合サーバ10に送る(St34)。AI統合サーバ10は、ステップSt34で送られたブラックリスト削除応答をモバイル端末VW2に転送する(St35)。モバイル端末VW2は、ブラックリスト削除応答の受信に基づいて、ステップSt31で選択された顔画像のブラックリストデータからの削除の成功あるいは失敗の結果を表示デバイス116に表示する(St36)。
一方、図9において、警官はブラックリスト登録されてから登録有効期間が未だ経過していない人物の画像(例えば全身画像)の削除を試みる。
モバイル端末VW2の捜査支援アプリは、警官の操作(例えばごみ箱アイコンの押下)により指定された全身画像(図6の登録人物リスト画面WD5参照)のブラックリスト削除の入力を受け付ける。捜査支援アプリは、警官の操作による指定に基づいて、指定された全身画像のブラックリスト削除の要求を生成してAI統合サーバ10に送る(St37)。
AI統合サーバ10は、ステップSt37で送られた全身画像のブラックリスト削除要求を受信すると、全身画像のブラックリスト削除を要求するためにブラックリスト登録要求の転送先を人物検索サーバ60として特定してブラックリスト登録要求を人物検索サーバ60に転送する(St38)。人物検索サーバ60は、ステップSt38で転送されたブラックリスト削除要求を受信すると、モバイル端末VW2で選択された対象人物の全身画像をデータベース52のブラックリストデータから削除する(St39)。これにより、人物検索サーバ60は、事件等の関与が無いことが判明した等でブラックリスト登録の必要性が無くなった人物の全身画像を適正に削除できるので、データベース62のブラックリストデータを用いた人物検索の精度を向上できる。人物検索サーバ60は、ブラックリストデータからの全身画像の削除が完了した旨の報告を示すブラックリスト削除応答を生成してAI統合サーバ10に送る(St40)。AI統合サーバ10は、ステップSt40で送られたブラックリスト削除応答をモバイル端末VW2に転送する(St41)。モバイル端末VW2は、ブラックリスト削除応答の受信に基づいて、ステップSt37で選択された全身画像のブラックリストデータからの削除の成功あるいは失敗の結果を表示デバイス116に表示する(St42)。
以上により、実施の形態1に係る捜査支援システム1は、画像解析用の人工知能がそれぞれ搭載された複数のサーバとの間で通信可能に接続されたAI統合サーバ10と、AI統合サーバ10との間で通信可能に接続されたモバイル端末VW2と、を含む。モバイル端末VW2は、事件等が発生した現場の周囲に群がる群衆のスナップショットCAP1を取得し、スナップショットCAP1に映る1人以上の人物の画像解析をAI統合サーバ10に要求する。AI統合サーバ10は、モバイル端末VW2からの要求に基づいて人物の画像解析を特定のサーバ(例えば人物検索サーバ60)に指示するとともに、前記指示に基づく前記人物の画像解析結果を特定のサーバから取得してモバイル端末VW2に転送する。AI統合サーバ10は、人物の画像解析結果の中からモバイル端末VW2により選択された特定人物(例えば警官が群衆の中で気になった不審人物)の画像のブラックリスト登録要求を受信すると、特定人物の画像を複数のサーバのうちいずれかのサーバが保持するブラックリストへの登録を指示する。
これにより、捜査支援システム1は、事件等が発生した現場の周囲に群がる群衆の中にモバイル端末VW2を操作する警官が気になった不審人物がいる場合に、事件等を引き起こした被疑者の候補となる不審人物の特徴的な画像を、警官の操作によって簡単かつ迅速に登録できる。したがって、捜査支援システム1は、警察等の捜査機関による捜査の利便性を的確に向上できる。
また、モバイル端末VW2は、ユーザ操作(例えばモバイル端末VW2を携帯する警官の操作)により指定された、特定人物の画像と特定人物の画像のブラックリストにおける登録有効期間とを含むブラックリスト登録要求をAI統合サーバ10に送る。これにより、モバイル端末VW2を操作する警官は、警察署内で解析する専任チームとは異なる場所(例えば現場)を偵察している時に偶然気になった不審人物を登録有効期間とともにブラックリストデータに簡易に登録できる。
また、AI統合サーバ10は、ブラックリストにおける登録有効期間の経過後にブラックリストからの特定人物の画像の削除を、対応するいずれかのサーバに指示する。これにより、モバイル端末VW2を操作する警官がうっかり該当する特定人物の画像の削除操作を失念してしまった場合でも、捜査支援システム1として特定人物の不要な画像の削除を的確に実行できる。
また、ブラックリスト登録要求は、ユーザ操作(例えばモバイル端末VW2を携帯する警官の操作)により指定された、特定人物の外見的特徴を示す特定人物情報を更に含む。これにより、警官は、事件等の被疑者であって指名手配を受けている不審人物の外見的特徴(例えば図4の備考欄に記載されている「背が高い、眼鏡を着用している」等)を備忘録としてブラックリストデータに含めて登録できる。
また、特定人物の画像は、特定人物の顔画像である。AI統合サーバ10は、特定人物の顔画像をいずれかのサーバである顔認証サーバ50が保持する顔認証用のブラックリストへの登録を指示する。これにより、AI統合サーバ10は、顔認証サーバ50が保持するブラックリストデータの内容を充実化できるので、カメラC1~C20のそれぞれからの撮像映像データに映る人物の顔認証を行う顔認証サーバ50の処理精度を向上できる。
また、特定人物の画像は、特定人物の全身画像である。AI統合サーバ10は、特定人物の全身画像をいずれかのサーバである人物検索サーバ60が保持する人物検索用のブラックリストへの登録を指示する。これにより、AI統合サーバ10は、人物検索サーバ60が保持するブラックリストデータの内容を充実化できるので、カメラC1~C20のそれぞれからの撮像映像データに映る人物の外見的特徴を検索条件として用いる人物検索を行う人物検索サーバ60の処理精度を向上できる。
また、AI統合サーバ10は、モバイル端末VW2により選択された特定人物の画像のブラックリスト削除要求を受信すると、ブラックリストからの特定人物の画像の削除を、対応するいずれかのサーバに指示する。これにより、AI統合サーバ10は、モバイル端末VW2を操作する警官がブラックリストデータとしての登録が不要と判断した人物の画像を簡単に削除できる。
また、特定人物の画像は、特定人物の顔画像である。AI統合サーバ10は、特定人物の顔画像をいずれかのサーバである顔認証サーバ50が保持する顔認証用のブラックリストからの削除を指示する。これにより、顔認証サーバ50は、事件等の関与が無いことが判明した等でブラックリスト登録の必要性が無くなった人物の顔画像を適正に削除できるので、データベース52のブラックリストデータを用いた顔照合の精度を向上できる。
また、特定人物の画像は、特定人物の全身画像である。AI統合サーバ10は、特定人物の全身画像をいずれかのサーバである人物検索サーバ60が保持する人物検索用のブラックリストからの削除を指示する。これにより、人物検索サーバ60は、事件等の関与が無いことが判明した等でブラックリスト登録の必要性が無くなった人物の全身画像を適正に削除できるので、データベース62のブラックリストデータを用いた人物検索の精度を向上できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
上述した実施の形態1において、AI統合サーバ10が取り扱う検索として、人物検索サーバ60による人物検索、車両検索サーバ80による車両検索を例示して説明したが、これらに限定されない。言い換えると、図4あるいは図5に示されるように、検索条件となり得るのは人物あるいは車両に限定されない。例えば、AI統合サーバ10が取り扱う検索として、顔認証サーバ50による顔検知(顔検索)、LPRサーバ90によるナンバープレート検索にも適用されてよいし、更に、人物検索サーバ60による人物検索、車両検索サーバ80による車両検索も組み合わせて使用されて構わない。この場合には、検索条件として、顔画像(イメージ検索)あるいはナンバープレート(テキスト検索あるいはイメージ検索)が使用されてよい。顔画像を用いた検索結果としては、例えば、図7に示される顔画像FCE1が表示されてよい。ナンバープレートを用いた検索結果としては、例えば、図8あるいは図9に示されるナンバープレート詳細表示情報PLT1とナンバープレート情報に対応する車両の購入者の顔画像FCE2とが表示されてよい。
上述した実施の形態1において、AI統合サーバ10が取り扱うAND検索(横断的な検索)の一例としては、人物検索サーバ60による人物検索と車両検索サーバ80による車両検索とのAND検索、顔認証サーバ50による顔照合と人物検索サーバ60による人物検索と車両検索サーバ80による車両検索とのAND検索を例示して説明したが、AND検索の例はこれらに限定されない。例えば、AI統合サーバ10は、次の組み合わせによるAND検索(横断的な検索)を行うことが可能である。
例えば、顔認証サーバ50による顔照合に加え、人物検索サーバ60による人物検索、行動検知サーバ70による行動検知(例えば喧嘩あるいは拳銃所持している人物の顔画像に類似した顔画像の照合)、車両検索サーバ80による車両検索(例えば白い車に乗っている30代男性の顔画像の照合)、LPRサーバ90によるナンバープレート照合(例えば上位2桁が特定の数字の車両に乗っている、ある顔画像に類似する人物の顔画像の照合)等のうち少なくとも1つが組み合わせ可能である。
また例えば、人物検索サーバ60による人物検索に加え、行動検知サーバ70による行動検知(例えば物の破壊行為あるいは拳銃所持を行っている黒い服を着た人物の検索)、車両検索サーバ80による検索(例えば白い車に近づいた赤い服を着た人物の検索)、LPRサーバ90によるナンバープレート照合(例えばナンバーが特定の数字の車両に近づいた黒い服を着た人物の検索)等のうち少なくとも1つが組み合わせ可能である。
また例えば、車両検索サーバ80による車両検索に加え、行動検知サーバ70による行動検知(例えば逆走しているセダンタイプの車両、あるいは、外から拳銃で脅されているタクシー車両の検索)、LPRサーバ90によるナンバープレート照合(例えば上位2桁が特定の数字の逆走している車両の検索)等のうち少なくとも1つが組み合わせ可能である。
また例えば、LPRサーバ90によるナンバープレート照合に加え、行動検知サーバ70による行動検知(例えば上位2桁が特定の数字の逆走しているアクションの検知、上位2桁が特定の数字のタクシー車両の運転手を外から拳銃で脅している行為の検知)等のうち少なくとも1つが組み合わせ可能である。
なお、上述した実施の形態1では、カメラC1~C20のそれぞれの撮像映像における対象物が人物あるいは車両であることを例示したが、対象物は人物あるいは車両に限定されず、その他の物体(例えば移動体)でもよい。移動体は、例えば事件等を引き起こした被疑者等の人物により操作されるドローン等の飛行物体でもよい。