JP6799779B2 - 監視映像解析システム及び監視映像解析方法 - Google Patents

Description

本発明は、撮像装置により撮像された監視映像を解析する監視映像解析システム及び監視映像解析方法に関する。

近年、例えば警察官にウェアラブルカメラを装着させて、巡視（巡回）中に撮像された映像をウェアラブルカメラ内のメモリに記録する運用が着実に推進されている。特に、米国においては、単独で巡視することがある警察官により引き起こされた事件発生により、ウェアラブルカメラの装着率が年々急激に増加している。

ウェアラブルカメラは、映像を記録する際、撮像時間が一定時間（例えば１０分）を経過する毎に映像データのファイル（映像データファイル）を作成してメモリに記録する。ウェアラブルカメラで撮像される映像を一定時間毎に映像データファイルとして記録することで、映像の利便性（例えば必要なときの利用可能性ともいうべき可用性）を担保している。ここで、可用性とは、１シーンの長い映像を１つの映像データファイルとして記録する場合と比べ、１シーンの長い映像を短い時間の映像に分けて複数の映像データファイルとして記録することで、仮に１つの映像データファイルが壊れたとしても、残りの映像データファイルを使用することができる等、映像としての利用度合いや利便性を示す指標を意味する。また、シーンとは、一定の関連性を持って時系列に撮像される映像の区切りである。なお、映像データファイルは、バックグラウンド処理で生成されるので、時系列に撮像して記録される複数の映像データファイルの間に、空白の時間帯は生じない。

一方、警察官は、ウェアラブルカメラで撮像した事件現場の映像（監視映像）の中に、一般市民に紛れて被疑者が映っていないか否かを、複数の映像データファイルに対し、１枚ずつフレームを目視で確認して判別する。事件の種別にもよるが、一般には、被疑者を判別する際、事件現場の映像に長時間映っている人物が怪しいと疑うことがある。被疑者が映っている映像は、裁判所又は検察庁等の所定機関に提出され、証拠として用いられることがある。

また、動画を構成する複数の画像データに共通して登場する人物を抽出し、動画の画像データの中に共通して登場する人物を動画の最後に表示することで、娯楽性を高めたデジタルカメラが知られている（例えば特許文献１参照）。

特開２０１０−２５２００８号公報

しかし、特許文献１では、警察官等のユーザが装着又は所持するウェアラブルカメラで記録された複数の映像データファイルに跨って登場する人物を探索することは考慮されていない。このため、警察官等のユーザが装着又は所持するウェアラブルカメラで記録された複数の映像データファイルを構成する全てのフレーム画像を１枚ずつ警察官が確認して被疑者を探し出すことは効率的でなく、特許文献１を参照しても効率的な解決策は提示されていない。また、そのような目視の作業に長時間を要することで、被疑者を早期に発見することが難しかった。

本発明は、上述した従来の事情に鑑みて案出され、ウェアラブルカメラの撮像映像の可用性を利用し、複数の撮像映像に跨って登場する人物等のオブジェクトを早期に発見し、目的とするオブジェクトの探索業務を効率的に支援する監視映像解析システム及び監視映像解析方法を提供することを目的とする。

本発明は、撮影時間が異なって連続する映像を生成するカメラと、前記カメラが生成した映像を入力するサーバと、を備え、前記カメラは、撮影時間が異なって連続する複数の映像データファイルを生成して前記サーバに入力し、前記サーバは、前記撮影時間が異なって連続する複数の映像データファイルを用いて、ｎ（ｎは２以上の整数）個の映像データファイルに跨がって登場する１つ以上のオブジェクトを判別し、前記判別された１つ以上のオブジェクトを含む一覧画面をモニタに表示する、監視映像解析システムを提供する。

また、本発明は、撮影時間が異なって連続する映像を生成するカメラが生成した映像をサーバにより解析する監視映像解析方法であって、前記カメラは、撮影時間が異なって連続する複数の映像データファイルを生成して前記サーバに入力し、前記サーバは、前記撮影時間が異なって連続する複数の映像データファイルを用いて、ｎ（ｎは２以上の整数）個の映像データファイルに跨がって登場する１つ以上のオブジェクトを判別し、前記判別された１つ以上のオブジェクトを含む一覧画面をモニタに表示する、監視映像解析方法を提供する。

本発明によれば、撮影時間が異なって連続する映像を生成するカメラの撮像映像の可用性を利用し、複数の撮像映像に跨って登場する人物等のオブジェクトを早期に発見でき、目的とするオブジェクトの探索業務を効率的に支援できる。

本実施形態の監視映像解析システムの概要の一例を示す図 本実施形態のウェアラブルカメラの内部構成の一例を示すブロック図 本実施形態のバックエンドサーバのハードウェア構成の一例を示すブロック図 本実施形態のウェアラブルカメラで撮像された最初の撮像期間の映像のフレームを示す図 本実施形態のウェアラブルカメラで撮像された次の撮像期間の映像のフレームを示す図 本実施形態のウェアラブルカメラで撮像された更に次の撮像期間の映像のフレームを示す図 本実施形態のバックエンドサーバのモニタに表示されるインポートファイルリストＵＩを示す図 複数の映像データファイルに跨って現れる顔のサムネイルが登録されたサムネイルリストＵＩを示す図 本実施形態のバックエンドサーバの画像解析動作手順の一例を詳細に説明するフローチャート

以下、適宜図面を参照しながら、本発明に係る監視映像解析システム及び監視映像解析方法を具体的に開示した実施形態（以下、「本実施形態」という）であるウェアラブルカメラシステムを詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。また、以下の説明において、映像は、複数のフレーム画像（フレームと略記することもある）が時系列に並べられて構成されるものとして説明する。

図１は、本実施形態の監視映像解析システム５の概要の一例を示す図である。監視映像解析システム５は、パトカー（つまり、パトロールカーの略称であるパトカー７）に搭載された車載カメラシステム（ＩＣＶ：In Car Videoシステム）３０、警察官３の制服に装着又は保持されたウェアラブルカメラ（ＢＷＣ：Body-Worn Camera）１０、及び警察署４内に設置された署内システム８を含む構成である。

車載カメラシステム３０は、１つ又は複数の車載カメラ３１、車載ＰＣ（Personal Computer）３２及び車載レコーダ３３を有し、パトカー７で走行中に遭遇する事件等の撮像画像に基づく映像を撮像して記録する。１つ又は複数の車載カメラ３１は、例えばパトカー７の前方を撮像するように設置されたカメラ、パトカーの左側、右側、後方を撮像するように設置されたそれぞれのカメラのうち、１つ又は複数を含む。車載ＰＣ３２は、警察官３が操作する指示に従い、車載カメラ３１及び車載レコーダ３３の動作を制御する。車載レコーダ３３は、複数の車載カメラ３１でそれぞれ撮像された映像データを時系列に記録する。

車載カメラシステム３０は、署内システム８内の無線ＬＡＮアクセスポイント６３Ｐを介して、署内システム８内のバックエンドサーバ（ＢＥＳ：Back End Server）５０と無線接続される。車載カメラシステム３０は、車載レコーダ３３に記録された映像データの中から特定の映像データを選択して、無線ＬＡＮアクセスポイント６３Ｐを介してバックエンドサーバ５０に送信可能である。また、車載カメラシステム３０は、ウェアラブルカメラ１０と通信可能に接続され、ウェアラブルカメラ１０で撮像された映像データ及び収音された音声データを車載レコーダ３３に記録する。以下の説明において、音声データには、例えばパトロール中や事件の現場に事件の被疑者、犯人が所持している拳銃が発砲した時の銃声も含まれるとする。

ウェアラブルカメラ１０は、ユーザである警察官３の制服に装着又は保持され、警察官の前方の雰囲気を被写体として撮像し、撮像された映像データ及び収音された音声データを車載カメラシステム３０及びバックエンドサーバ５０に送信する。なお、ウェアラブルカメラ１０のユーザは警察官３に限定されず、警備員でもよいし、必要に応じて警察犬でもよい。この場合、ウェアラブルカメラ１０は、１シーンの撮像映像を、複数の映像データファイル（映像データのファイル）に分割して、記憶部１５（図２参照）に記憶する。なお、シーンとは、一定の関連性を持って時系列に撮像される映像の区切りである。また、シーンとは、映像がウェアラブルカメラ１０により撮像された場所（例えば事件若しくは事故の現場）を意味することもあり、この場合には「シーン」は「撮像エリア」若しくは「撮像現場」と解釈できる。このように、ウェアラブルカメラ１０は、一定時間毎に撮像して複数の映像データファイルを時系列に生成して記録する。本実施形態では、映像のデータファイルには、インターネット等の動画配信に適したＭＰ４（Mpeg4）のファイル形式が用いられる。なお、ファイル形式としては、ＭＰ４に限らず、ＡＶＩ(Audio Video Interleave)，ＱｕｉｃｋＴｉｍｅ，ＷＭＶ(Windows Media Video)，ＦＬＶ(Flash Video)等であってもよい。

ウェアラブルカメラ１０は、長時間（例えば１時間）の映像を単一の映像データファイルに纏めるのではなく、複数の映像データファイルに分割して記憶する特徴を有する。これにより、仮に複数の映像データファイルのうち１つの映像データファイルが壊れて後述するバックエンドサーバ５０やバックエンドクライアント７０において再生できなくなっても、再生可能なその他の映像データファイルを再生可能に残しておくことができ、壊れてしまった映像データファイルを除けば、ウェアラブルカメラ１０により撮像された映像データファイルの可用性をある程度確保できる。本実施形態では、例えば警察官が事件現場の映像を撮像している場合、１シーンの撮像映像は、事件現場を撮像エリアとする映像である。また、警察官が移動中にウェアラブルカメラ１０で撮像し続けている場合、１シーンの撮像映像は、特定の時間帯や特定の場所等を区切りとする映像であり、また、警察官がウェアラブルカメラ１０を録画オンにしてから録画オフに切り替えるまで連続して撮像された映像である。

なお、車載カメラ３１においても、ウェアラブルカメラ１０と同様、１シーンの撮像映像を一定時間毎の複数の映像データファイルに分割して記録してもよい。ただし、車載カメラ３１の場合、例えばパトカー７が巡回中の時間に撮像された映像が１シーンの撮像映像である等、ウェアラブルカメラ１０の場合と比べて、通常、撮影時間の長い映像である。

また、ウェアラブルカメラ１０や車載カメラ３１の撮像対象となる被写体には、単に人物だけではなく、事件の現場の情景、現場の近くに群がる群衆（いわゆる、野次馬）、更に、撮像位置の周囲の雰囲気も含まれるとする。また、警察官３は、指令システム９０からの指令を受信する無線通信端末の一例としての警察無線端末３５を所持する。通常、警察官３は、パトロール中や事件発生時に現場に急行する場合など、警察署外での活動の際に、警察無線端末３５を現場に携行している。また、警察官３は、ウェアラブルカメラ１０と通信可能な通信端末の一例としてのスマートフォン４０を所持する場合もある。スマートフォン４０は、電話機能及び無線通信機能を有し、例えば警察署４からの緊急連絡又は警察署への緊急連絡時に使用され、汎用的に使用されている携帯端末の一例として挙げられる。

ウェアラブルカメラ１０は、車載カメラシステム３０を介して、直接に、或いはスマートフォン４０又は無線ＬＡＮ（Local Area Network）アクセスポイント４５を介して、バックエンドサーバ５０と接続されることで、映像データ及び音声データをバックエンドサーバ５０に送信可能である。スマートフォン４０は、モバイル通信ネットワーク又はインターネット網を経由してバックエンドサーバ５０と接続される。無線ＬＡＮアクセスポイント４５は、有線又は無線のネットワーク（インターネット網など）を経由してバックエンドサーバ５０と接続される。また、ウェアラブルカメラ１０は、手動で後述する集合充電台８９に取り付けられることで、集合充電台８９がＵＳＢ（Universal Serial Bus）ケーブル等で接続されたバックエンドサーバ５０に映像データ及び音声データを有線で送信可能である。

署内システム８は、警察署４の内部に設置された、バックエンドサーバ５０、バックエンドストリーミングサーバ（ＢＳＳ：Back End Streaming Server）６５、バックエンドクライアント（ＢＥＣ：Back End Client）７０、無線ＬＡＮアクセスポイント６３Ｐ、集合充電台８９、及び指令システム９０を含む構成である。

バックエンドサーバ５０は、コンピュータ及びストレージを有して構成され、事件の証拠映像を管理する。バックエンドサーバ５０は、例えばウェアラブルカメラ１０や車載カメラ３１により撮像された映像を構成する画像フレーム中の顔を認識する顔認識機能や、ウェアラブルカメラ１０や車載カメラシステム３０から送信された音声データを認識する音声認識機能を有する。

バックエンドストリーミングサーバ６０は、ウェアラブルカメラ１０からストリーミング配信される映像データを受信し、バックエンドサーバ５０に転送する。また、バックエンドストリーミングサーバ６０は、車載カメラシステム３０からストリーミング配信される映像データを受信し、バックエンドサーバ５０に転送してもよい。

バックエンドクライアント７０は、例えばＰＣにより構成され、バックエンドサーバ５０の、不審人物データベース（不図示）にアクセスし、犯罪者等の事件に関する情報を検索してその検索結果をディスプレイデバイス（例えばバックエンドクライアント７０に予め備え付けのＬＣＤ（Liquid Crystal Display））上に表示可能なブラウザ又は専用アプリケーションを有する。不審人物データベースには、例えば指名手配中の人物や過去の犯罪者等（以下、前科者等という）が事件を識別する情報（例えば事件番号）に対応付けて予め登録されている。

また、バックエンドクライアント７０は、バックエンドサーバ５０の音声データベースにアクセスし、犯罪者等の事件に関する情報を検索可能である。なお、バックエンドクライアント７０は、警察署４の内部に設置されるだけでなく、警察署４の外部に設置されたものでもよい。また、バックエンドクライアント７０は、シンクライアントＰＣ或いはリッチクライアントＰＣのいずれであってもよい。

無線ＬＡＮアクセスポイント６３Ｐは、車載カメラシステム３０及びウェアラブルカメラ１０と無線ＬＡＮ（Ｗ−ＬＡＮ）によって無線接続し、車載カメラシステム３０に記録された映像データ及び音声データと、ウェアラブルカメラ１０に記録された映像データ及び音声データをバックエンドサーバ５０に転送する。

集合充電台８９は、複数の警察官３がそれぞれ装着又は所持するウェアラブルカメラ１０を装着可能であり、装着された個々のウェアラブルカメラ１０の電源を充電するとともに、ウェアラブルカメラ１０との間で有線通信を行い、ウェアラブルカメラ１０に記憶された映像データ及び音声データをバックエンドサーバ５０に送信する機能を有する。また、集合充電台８９は、ＵＳＢ（Universal Serial Bus）ケーブルを介してバックエンドサーバ５０に有線接続される。

指令システム９０は、無線通信装置の一例としての警察無線基地局装置（不図示）を有し、バックエンドサーバ５０と接続され、警察署４が管轄する各所に指令を送信する。警察署４には、各警察官に指令を伝達するための警察無線システムが設置されている。指令システム９０は、事件が発生した場合に、例えばバックエンドサーバ５０からの指示に従い、事件の現場への派遣対象となる警察官が乗車するパトカー７又は警察官が所持する警察無線端末３５に対し、現場急行や、現場確保、被疑者確保、現場に到着した警察官の応援等の各種の出動指令を無線で送信する。

なお、指令システム９０は、警察官が入力操作する指示に従い、事件の現場に派遣する警察官に指令を出してもよい。また、指令システム９０は、バックエンドサーバ５０と直接に接続されていなくてもよく、事件が発生した場合に、バックエンドサーバ５０とは独立して、警察無線基地局装置から、事件の現場への派遣対象となるパトカー７又は警察無線端末３５に対し、上記各種の出動指令を無線で送信してもよい。

監視映像解析システム５において、車載カメラシステム３０を使用する場合、ウェアラブルカメラ１０は、近距離無線通信、又はＵＳＢ等の信号ケーブルを用いた有線通信によって、車載カメラシステム３０とデータ転送可能に接続される。ウェアラブルカメラ１０で撮像された映像データ及び収音された音声データは、車載カメラシステム３０に転送され、車載カメラシステム３０で再生或いは録画、録音され、また、バックエンドサーバ５０に送信される。

車載カメラシステム３０は、車載カメラ３１で撮像された映像データ及びウェアラブルカメラ１０で撮像された映像データ及び音声データを車載レコーダ３３に記録し、ウェアラブルカメラ１０により収音された音声データを、無線ＬＡＮを経由してバックエンドサーバ５０に送信する。

また、監視映像解析システム５において、ウェアラブルカメラ１０を直接ネットワークに接続して使用する場合、ウェアラブルカメラ１０は、無線ＬＡＮアクセスポイント４５又はスマートフォン４０とデータ転送可能に接続される。ウェアラブルカメラ１０とスマートフォン４０との接続は、例えば、ＢＬＥ（Bluetooth（登録商標） Low Energy）等の近距離無線通信、或いは、ウェアラブルカメラ１０又はスマートフォン４０の一方を無線ＬＡＮアクセスポイントとして機能させるテザリングによる無線ＬＡＮ通信が用いられる。ウェアラブルカメラ１０は、記録された映像データ及び音声データを無線ＬＡＮアクセスポイント４５又はスマートフォン４０を経由してバックエンドサーバ５０に送信する。

また、警察官３は、警察署４に戻り、集合充電台８９にウェアラブルカメラ１０を装着することで、集合充電台８９は、ウェアラブルカメラ１０を充電するとともに、ＵＳＢケーブルを介してウェアラブルカメラ１０に記録された映像データ及び音声データをバックエンドサーバ５０に送信可能である。

バックエンドサーバ５０は、バックエンドストリーミングサーバ６０を経由して、或いはウェアラブルカメラ１０又は車載カメラシステム３０から直接、映像データを受信すると、伝送された映像データをストレージに記録し蓄積する。また、バックエンドサーバ５０は、車載カメラシステム３０及びウェアラブルカメラ１０から音声データを受信すると、音声データに含まれる音声を認識し、パトロール又は事件に関する既定の音声データが予め登録された音声データベースに登録された音声との照合を行い、照合の結果を、車載カメラシステム３０及びウェアラブルカメラ１０に通知する。

また、警察官３がバックエンドクライアント７０を操作してバックエンドサーバ５０に対し事件に関連する音声を探索する等の処理を要求すると、バックエンドサーバ５０は、バックエンドクライアント７０からの要求に応じ、音声データベースに登録された音声の照会等を行う。

図２は、本実施形態のウェアラブルカメラ１０の内部構成の一例を示すブロック図である。ウェアラブルカメラ１０は、撮像部１１と、ＧＰＩＯ１２（General Purpose Input/Output）と、ＲＡＭ（Random Access Memory）１３と、ＲＯＭ（Read Only Memory）１４と、記憶部１５と、を備える。ウェアラブルカメラ１０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）１６と、ＲＴＣ（Real Time Clock)１７と、ＧＰＳ（Global Positioning System）受信部１８と、を備える。ウェアラブルカメラ１０は、ＭＣＵ（Micro Controller Unit）１９と、ＢＬＥ通信部２１Ａと、ＷＬＡＮ通信部２１Ｂと、ＵＳＢインターフェース（Ｉ／Ｆ）２２と、コンタクトターミナル２３と、電源部２４と、バッテリ２５と、を備える。

ウェアラブルカメラ１０は、録画スイッチＳＷ１と、スナップショットスイッチＳＷ２と、通信モードスイッチＳＷ３及び属性情報付与スイッチＳＷ４と、を備える。

ウェアラブルカメラ１０は、３個のＬＥＤ（Light Emitting Diode）２６ａ，２６ｂ，２６ｃと、バイブレータ２７と、を備える。

撮像部１１は、撮像レンズと、ＣＣＤ（Charge Coupled Device）型イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等による固体撮像素子と、を有する。撮像部１１は、撮像により得られた被写体の画像データをＭＣＵ１９に出力する。

コンタクトターミナル２３の検知端子ＣＯＮ．ＤＥＴ（図示せず）は、ウェアラブルカメラ１０が集合充電台８９に載置（セット）された場合、あるいは集合充電台８９から取り外された場合に電圧変化が生じる端子である。コンタクトターミナル２３の検知端子ＣＯＮ．ＤＥＴは、ＡＤコンバータＣＶに接続される。検知端子ＣＯＮ．ＤＥＴの電圧変化を示す信号は、ＡＤコンバータＣＶにおいてデジタル信号に変換され、そのデジタル信号がＩ２Ｃ２０を介してＭＣＵ１９に入力される。

ＧＰＩＯ１２は、パラレルインターフェースである。ＧＰＩＯ１２には、録画スイッチＳＷ１、スナップショットスイッチＳＷ２、通信モードスイッチＳＷ３、属性情報付与スイッチＳＷ４、ＬＥＤ２６ａ，２６ｂ，２６ｃ、バイブレータ２７、ＬＣＤ２８、イヤホン端子２９Ｃ、スピーカ２９Ｂ及びマイク２９Ａが接続される。ＧＰＩＯ１２は、これらの各種電子部品とＭＣＵ１９との間で信号を入出力する。収音部としてのマイク２９Ａは、ウェアラブルカメラ１０の周囲の音声を収音し、収音された音声の音声データを、ＧＰＩＯ１２を介してＭＣＵ１９に出力する。なお、マイク２９Ａは、ウェアラブルカメラ１０の筐体に収容された内蔵マイクであってもよいし、ウェアラブルカメラ１０と無線接続されたワイヤレスマイクであってもよい。ワイヤレスマイクの場合、警察官が任意の箇所に取り付けることで、収音性を高めることができる。また、ジャイロセンサＧＹ及び加速度センサＡＣ、ＡＤコンバータＣＶは、Ｉ２Ｃ（Inter-Integrated Circuit）２０などの通信インターフェースを介してＭＣＵ１９に接続される。なお、コンタクトターミナルの２３の検知端子ＣＯＮ．ＤＥＴを、ＡＤコンバータＣＶを介さずにＧＰＩＯ１２へ接続することでも類似の効果を得ることは可能である。

ＲＡＭ１３は、例えばＭＣＵ１９の動作において使用されるワークメモリである。ＲＯＭ１４は、例えばＭＣＵ１９を制御するためのプログラム及びデータを予め記憶する。

記憶部１５は、例えばメモリカード等の記憶媒体により構成され、自動録画開始等の指示（つまり、録画開始指示）に基づき、撮像部１１で撮像された映像データの記録を開始する。記憶部１５は、撮像された所定時間の映像データを常時プリバッファリングして保持しておき、現在時刻より所定時間（例えば３０秒）前までの映像データを蓄積し続ける。そして、録画開始指示を受けると、記憶部１５は、映像データの記録を開始し、録画停止指示を受けるまでこれ以降の映像データの記録を継続する。また、記憶部１５は、解像度アップ情報等が設定された設定データファイルを有する。例えば記憶部１５がメモリカードで構成される場合、ウェアラブルカメラ１０の筐体に挿抜自在に装着される。

ＥＥＰＲＯＭ１６は、例えばウェアラブルカメラ１０を識別する識別情報（例えばＣａｍｅｒａ ＩＤとしてのシリアル番号）、及び各種設定情報を記憶する。ＲＴＣ１７は、現在の時刻情報をカウントしてＭＣＵ１９に出力する。

ＧＰＳ受信部１８は、複数のＧＰＳ発信機（例えば４個の航法衛星）から送信される、各自の信号送信時刻及び位置座標を含む衛星信号を受信してＭＣＵ１９に出力する。ＭＣＵ１９は、複数の衛星信号を用いて、現在のウェアラブルカメラ１０の位置座標及び衛星信号の受信時刻を算出する。なお、この算出は、ＭＣＵ１９ではなく、ＧＰＳ受信部１８により実行されてもよい。この受信時刻の情報は、ウェアラブルカメラ１０のシステム時刻の補正のためにも使用されてもよい。システム時刻は、撮像された画像（静止画、動画を含む）の撮像時刻の記録等に利用される。

ＭＣＵ１９は、ウェアラブルカメラ１０の制御部としての機能を有し、例えばウェアラブルカメラ１０の各部の動作を全体的に統括するための制御処理、ウェアラブルカメラ１０の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。ＭＣＵ１９は、ＲＯＭ１４に記憶されたプログラム及びデータに従って動作する。ＭＣＵ１９は、動作時、ＲＡＭ１３を使用し、ＲＴＣ１７より現在の時刻情報を得るとともに、ＧＰＳ受信部１８から現在の位置情報を得る。

ＭＣＵ１９は、アプリケーションプログラムの実行により実現可能な検知部１９ｚを有し、この検知部１９ｚを用いて、マイク２９Ａにより収音された音声データを生成する。また、検知部１９ｚは、マイク２９Ａにより収音されたアナログ音の音声データにおいて、後述するＤＴＭＦ信号等による音声信号による指示を検知する。ＭＣＵ１９は、検知部１９ｚにより取得した指示に対応するウェアラブルカメラ１０の動作を実行させる。

ＢＬＥ通信部２１Ａは、近距離無線通信の通信規格であるＢＬＥ（Bluetooth（登録商標） Low Energy）の通信形態を用いて、スマートフォン４０等と通信を行う。ＢＬＥは、Ｂｌｕｅｔｏｏｔｈ（登録商標）のバージョン４．０の呼称である。ＢＬＥでは、低消費電力で通信可能あるが、その通信速度は１００ｋｂｐｓ程度と低速である。

ＷＬＡＮ通信部２１Ｂは、スマートフォン４０がテザリング機能を用いてアクセスポイントとして動作する場合にスマートフォン４０、又は警察署４内において利用可能な無線ＬＡＮの無線ＬＡＮアクセスポイント６３Ｐ等と無線ＬＡＮ（つまり、ＷＬＡＮ）で接続され、接続先と無線通信を行う。無線ＬＡＮは、ＢＬＥと比べ、通信速度が数十〜数百Ｍｂｐｓと高速通信可能であるが、無線ＬＡＮアクセスポイントと常時接続されるので、消費電力が多くなる。

なお、ウェアラブルカメラ１０は、ＢＬＥ通信やＷＬＡＮ通信の他、ＮＦＣ：Near Field Communication）等の近距離無線通信や携帯回線網（例えばＬＴＥ：Long Term Evolution）を用いた無線通信を行うための通信部の構成（不図示）をそれぞれ有してもよい。また、ＷＬＡＮ通信部２１Ｂや上記した携帯回線網を用いた無線通信を行うための通信部の構成は、指令システム９０からの指示を受信する受信部として機能する。

ＵＳＢインターフェース２２は、シリアルバスであり、例えば車載カメラシステム３０、警察署内のバックエンドクライアント７０等との接続を可能とする。

コンタクトターミナル２３は、クレードル（不図示）又は外付けアダプタ（不図示）等と電気的に接続するための端子であり、ＵＳＢインターフェース２２を介してＭＣＵ１９に接続され、また、電源部２４と接続される。コンタクトターミナル２３は、コンタクトターミナル２３を介して、バッテリ２５を充電し、また、画像データ等を通信可能である。

コンタクトターミナル２３には、例えば「充電端子Ｖ＋」、「ＣＯＮ．ＤＥＴ端子」、「データ端子Ｄ−，Ｄ＋」及び「グランド端子」（いずれも図示省略）が設けられる。ＣＯＮ．ＤＥＴ端子は、電圧及び電圧変化を検出するための端子である。データ端子Ｄ−，Ｄ＋は、例えばＵＳＢコネクタ端子を介して、外部ＰＣ等に対してウェアラブルカメラ１０で撮像した画像等を転送するための端子である。コンタクトターミナル２３の検知端子であるＣＯＮ．ＤＥＴ端子は、ＡＤコンバータＣＶを介してＩ２Ｃ２０等の通信インターフェースに接続され、コンタクトターミナル２３の検知電圧値がＭＣＵ１９に入力される。

コンタクトターミナル２３と、クレードル（不図示）又は外付けアダプタ（不図示）のコネクタとが接続されることにより、ウェアラブルカメラ１０と外部機器との間でデータ通信が可能となる。

電源部２４は、例えばコンタクトターミナル２３を介してクレードル又は外付けアダプタより供給される電源電力をバッテリ２５に給電して、バッテリ２５を充電する。バッテリ２５は、例えば充電可能な２次電池により構成され、ウェアラブルカメラ１０の各部に電源電力を供給する。

録画スイッチＳＷ１は、例えば警察官３の押下操作による録画（動画の撮像）の開始／停止の操作指示を入力する押しボタンスイッチである。録画スイッチＳＷ１は、例えば奇数回押下されることで録画（動画の撮像）が開始され、偶数回押下されることで録画が終了する。また、連続して２回押下されると、録画スイッチＳＷ１は緊急ボタンとして機能する。

スナップショットスイッチＳＷ２は、例えば警察官３の押下操作による静止画の撮像の操作指示を入力する押しボタンスイッチである。スナップショットスイッチＳＷ２は、例えば押下される度に、押下時の静止画の撮像が実行される。

通信モードスイッチＳＷ３は、例えばウェアラブルカメラ１０と外部機器との間の通信モードを設定するための操作指示を入力するスライドスイッチである。通信モードは、例えばアクセスポイントモード、ステーションモード、ＯＦＦモードを含む。

アクセスポイントモードは、ウェアラブルカメラ１０が無線ＬＡＮのアクセスポイントとして動作し、例えば警察官３が所持するスマートフォン４０と無線接続して、ウェアラブルカメラ１０とスマートフォン４０との間で通信を行うモードである。アクセスポイントモードにおいて、スマートフォン４０は、ウェアラブルカメラ１０と接続することにより、ウェアラブルカメラ１０による現在のライブ画像の表示、録画された画像の再生、撮像された静止画の表示等を行うことができる。

ステーションモードは、無線ＬＡＮを用いて外部機器と接続する場合に、外部機器をアクセスポイントとして通信するモードである。例えばスマートフォン４０のテザリング機能を利用し、外部機器としてスマートフォン４０を設定してもよい。ステーションモードにおいて、ウェアラブルカメラ１０は、各種設定、ウェアラブルカメラ１０が保持する録画された画像の転送（アップロード）等を、車載カメラシステム３０や警察署４内のバックエンドクライアント７０やバックエンドサーバ５０に対して行うことができる。

ＯＦＦモードは、無線ＬＡＮの通信動作をオフし、無線ＬＡＮを未使用とするモードである。

属性情報付与スイッチＳＷ４は、映像データに属性情報を付与するために操作される押しボタンスイッチである。

ＬＥＤ２６ａは、例えばウェアラブルカメラ１０の電源投入状態（オンオフ状態）及びバッテリ２５の状態を示す表示部である。ＬＥＤ２６ｂは、例えばウェアラブルカメラ１０の撮像動作の状態（録画状態）を示す表示部である。ＬＥＤ２６ｃは、例えばウェアラブルカメラ１０の通信モードの状態を示す表示部である。また、３個のＬＥＤ２６ａ〜２６ｃは、ウェアラブルカメラ１０がバックエンドサーバ５０から通知データを受信すると、ＭＣＵ１９からの指示に従い、点滅動作を行う。この時、ＭＣＵ１９は、通知データに含まれる、音源に関する情報に応じて、ＭＣＵ１９は、ＬＥＤ２６ａ〜２６ｃの点滅パターンを可変させる。

ジャイロセンサＧＹは、ウェアラブルカメラ１０の角速度（つまり、単位時間あたりの回転角）を検知し、例えばウェアラブルカメラ１０を装着又は所持している警察官３が転倒したこと（Man Down）を検知する。ジャイロセンサＧＹの検知結果はＩ２Ｃ２０を介してＭＣＵ１９に入力される。ウェアラブルカメラ１０は、ジャイロセンサＧＹを用いることで、ウェアラブルカメラ１０を装着又は所持している警察官３の回転に関する挙動（例えば地面に転倒したこと、拳銃で撃たれて地面に倒れたこと、凶器で攻撃されて地面に倒れたこと）を精度良く検知することができる。

センサ部の一例としての加速度センサＡＣは、ウェアラブルカメラ１０の直行座標系の３軸方向（いわゆる、ｘ軸，ｙ軸，ｚ軸）の加速度を検知し、例えばウェアラブルカメラ１０を装着又は所持している警察官３が転倒したこと（Man Down）、走り出したこと、警察官３が所持している拳銃を把持して射撃体勢になったことを検知する。加速度センサＡＣの検知結果はＩ２Ｃ２０を介してＭＣＵ１９に入力される。ウェアラブルカメラ１０は、加速度センサＡＣを用いることで、ウェアラブルカメラ１０を装着又は保持している警察官３の動き又は体勢に関する挙動を精度良く検知することができる。

ＭＣＵ１９は、録画スイッチＳＷ１、スナップショットスイッチＳＷ２、通信モードスイッチＳＷ３及び属性情報付与スイッチＳＷ４の各スイッチの入力検出を行い、操作があったスイッチ入力に対する処理を行う。

ＭＣＵ１９は、録画スイッチＳＷ１の操作入力を検出した場合、撮像部１１における撮像動作の開始又は停止を制御し、撮像部１１から得られた画像を、動画像として記憶部１５に保存する。

ＭＣＵ１９は、スナップショットスイッチＳＷ２の操作入力を検出した場合、スナップショットスイッチＳＷ２が操作されたときの撮像部１１による画像を、静止画像として記憶部１５に保存する。

ＭＣＵ１９は、通信モードスイッチＳＷ３の状態を検出し、通信モードスイッチＳＷ３の設定に応じた通信モードによってＢＬＥ通信部２１ＡまたはＷＬＡＮ通信部２１Ｂを動作させる。

ＭＣＵ１９は、属性情報付与スイッチＳＷ４が押下された場合、撮像部１１によって撮像された画像から切り出された顔画像のデータに属性情報を付与する。

図３は、本実施形態のバックエンドサーバ５０のハードウェア構成の一例を示すブロック図である。バックエンドサーバ５０は、ウェアラブルカメラ１０から複数の映像データファイルを受信すると、これらの映像データファイルを元に、インポートファイルリストＵＩ１００（図７参照）、及びサムネイルリストＵＩ１５０（図８参照）を生成する。

サーバの一例としてのバックエンドサーバ５０は、ＣＰＵ５１と、Ｉ／Ｏ制御部５２と、通信部５３と、メモリ５４と、入力部５５と、モニタ５６と、スピーカ５９と、ストレージ制御部５７と、ストレージ５８とを備える。

ＣＰＵ５１は、例えばバックエンドサーバ５０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。ＣＰＵ５１は、メモリ５４に記憶されたプログラム及びデータに従って動作する。

Ｉ／Ｏ制御部５２は、ＣＰＵ５１とバックエンドサーバ５０の各部（例えば通信部５３、入力部５５、モニタ５６、ストレージ制御部５７）との間でデータの入出力に関する制御を行い、ＣＰＵ５１からのデータ及びＣＰＵ５１へのデータの中継を行う。なお、Ｉ／Ｏ制御部５２は、ＣＰＵ５１と一体的に構成されてもよい。

通信部５３は、例えば車載レコーダ３３、車載ＰＣ３２若しくはスマートフォン４０との間、警察官３が装着又は保持が可能なウェアラブルカメラ１０との間、又は、バックエンドクライアント７０との間で、有線又は無線による通信を行う。

メモリ５４は、例えばＲＡＭ、ＲＯＭ、不揮発性又は揮発性の半導体メモリを用いて構成され、ＣＰＵ５１の動作時のワークメモリとして機能し、ＣＰＵ５１を動作させるための所定のプログラム及びデータを保存している。

入力部５５は、警察官３や警察署４内の担当者の入力操作を受け付け、Ｉ／Ｏ制御部５２を介してＣＰＵ５１に通知するためのＵＩ（User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。入力部５５は、例えばモニタ５６の画面に対応して配置され、警察官３又は担当者の指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。また、バックエンドサーバ５０は、警察署４内のネットワークで接続されたバックエンドクライアント７０から操作することも可能である。

モニタ５６は、例えばＬＣＤ又は有機ＥＬを用いて構成され、各種情報を表示する。モニタ５６は、例えば警察官３又は担当者の入力操作に応じて、ウェアラブルカメラ１０により撮像又は録画された映像が入力された場合には、ＣＰＵ５１の指示の下で、この映像を画面に表示する。モニタ５６は、例えば警察官３又は担当者の入力操作に応じて、車載カメラ３１により撮像又は録画された映像が入力された場合には、ＣＰＵ５１の指示の下で、この映像を画面に表示する。また、警察署４内のネットワークで接続されたバックエンドクライアント７０から操作された場合は、各種情報は、バックエンドクライアント７０に表示される。

スピーカ５９は、例えば警察官３又は担当者の入力操作に応じて、ウェアラブルカメラ１０により収音された音声が入力された場合には、ＣＰＵ５１の指示の下で、この音声を出力する。また、警察署４内のネットワークで接続されたバックエンドクライアント７０から操作された場合は、音声は、バックエンドクライアント７０に接続されたスピーカへ出力される。

ストレージ制御部５７は、ＣＰＵ５１がバックエンドストリーミングサーバ６０に対し、蓄積された撮像映像データの送信を要求した場合に、この要求に応じて受信した映像データをストレージ５８に記憶する等の動作を制御する。ストレージ５８は、ストレージ制御部５７によって制御される、ＳＳＤやＨＤＤ等の記憶装置であり、ＣＰＵ５１からの指示に従い、Ｉ／Ｏ制御部５２を介してウェアラブルカメラ１０から送信された撮像映像データを蓄積する。

上記構成を有する監視映像解析システム５における画像解析動作を示す。

始めに、本実施形態で実行されるトラッキングとは、映像データファイルの実体となる映像データの再生（言い換えると、映像データを構成する複数のフレーム画像を順に繰り下げること）により、個々のフレーム画像内に映っているオブジェクトを探索し、かつそのフレーム画像上のオブジェクトの位置（例えば座標）を取得する動作を指す。以下の説明において、オブジェクトは、例えば人物、人物の顔、又は人物や人物の顔に近い形状やパターンを有する有形物を指す。

また、ウェアラブルカメラ１０で１シーンの映像（例えば９０分の映像）が撮像された場合、撮像期間（１０分）毎に９個の映像データファイルが時系列に生成される（図７参照）。ウェアラブルカメラ１０に記録された９個の映像データファイルは、後述するように、バックエンドサーバ５０に一括でインポートして入力される。

図４は、本実施形態のウェアラブルカメラ１０で撮像された最初（先頭）の撮像期間の映像のフレームＧ０１を示す図である。このフレームＧ０１は、ファイル名「ｓａｍｐｌｅ０１」の映像（図７参照）を構成するフレームであり、同一の撮像エリア（例えば事件若しくは事故の現場、或いは巡視中の場所。以下同様。）において撮像された映像を構成する複数のフレームのうち、例えば先頭フレームである。図４に示すフレームＧ０１には、街中を歩行する多くの人物が映っている。このフレームＧ０１では、バックエンドサーバ５０のＣＰＵ５１の顔認識機能により、８個のオブジェクトである顔ｆ１〜ｆ８が認識された。ただし、顔ｆ４は、誤って人物の顔として認識された対象（オブジェクト）である。フレームＧ０１には、認識された顔ｆ１〜ｆ８をそれぞれ囲むように、ＣＰＵ５１により実線の枠ｗｋ１〜ｗｋ８が描画される。

図５は、本実施形態のウェアラブルカメラ１０で撮像された次の撮像期間の映像のフレームＧ０２を示す図である。このフレームＧ０２は、「ｓａｍｐｌｅ０１」の映像の撮像開始時刻（例えば図７に示す１２：００）より一定時間（１０分）遅れて撮像開始された（つまり、図７に示す１２：１０に撮像開始された）ファイル名「ｓａｍｐｌｅ０２」の映像（図７参照）を構成するフレームであり、同一の撮像エリアにおいて撮像された映像を構成する複数のフレームのうち、例えば先頭フレームである。図５に示すフレームＧ０２では、バックエンドサーバ５０のＣＰＵ５１の顔認識機能により、１２個の顔ｆ１〜ｆ４，ｆ９〜ｆ１６が認識された。フレームＧ０２には、認識された顔ｆ１〜ｆ４，ｆ９〜ｆ１６をそれぞれ囲むように、ＣＰＵ５１により実線の枠ｗｋ１〜ｗｋ４，ｗｋ９〜ｗｋ１６が描画される。

図６は、本実施形態のウェアラブルカメラ１０で撮像された更に次の撮像期間の映像のフレームＧ０３を示す図である。このフレームＧ０３は、「ｓａｍｐｌｅ０２」の映像の撮像開始時刻（例えば図７に示す１２：１０）より一定時間（１０分）遅れて撮像開始された（つまり、図７に示す１２：２０に撮像開始された）ファイル名「ｓａｍｐｌｅ０３」の映像（図７参照）を構成するフレームであり、同一の撮像エリアにおいて撮像された映像を構成する複数のフレームのうち、例えば先頭フレームである。図６に示すフレームＧ０３では、バックエンドサーバ５０のＣＰＵ５１の顔認識機能により、１０個の顔ｆ１〜ｆ４，ｆ１３，ｆ１４，ｆ１７〜ｆ２０が認識された。フレームＧ０３には、認識された顔ｆ１〜ｆ４，ｆ１３，ｆ１４，ｆ１７〜ｆ２０をそれぞれ囲むように、ＣＰＵ５１により実線の枠ｗｋ１〜ｗｋ４，ｗｋ１３，ｗｋ１４，ｗｋ１７〜ｗｋ２０が描画される。

ここでは、一例として、９個の映像データファイル（図７参照）のうち、３個の映像データファイルの中に、同一人物の顔が映っている場合、ＣＰＵ５１は、所定数以上（例えば３個）の映像データファイルに跨って登場（出現）するオブジェクトとして、その人物の顔を抽出する。例えば図４〜図６では、３人の顔ｆ１，ｆ２，ｆ３がファイル名「ｓａｍｐｌｅ０１」、「ｓａｍｐｌｅ０２」、「ｓａｍｐｌｅ０３」の３個の映像データファイルに登場しているので、バックエンドサーバ５０のＣＰＵ５１は、これらの顔をオブジェクトであると判別する。一方、顔ｆ１３，ｆ１４は、複数の映像データファイルに登場するものの、ファイル名「ｓａｍｐｌｅ０２」と「ｓａｍｐｌｅ０３」の２つの映像データファイルにしか登場しておらず、ＣＰＵ５１は、所定数以上の映像データファイルに跨って登場（出現）するオブジェクトでないと判別する。

図７は、本実施形態のバックエンドサーバ５０のモニタ５６に表示されるインポートファイルリストＵＩ１００を示す図である。インポートファイルリストＵＩ１００は、バックエンドサーバ５０に、１シーンの映像に対応する複数の映像データファイルが入力されると、自動的にバックエンドサーバ５０のＣＰＵ５１により生成される。インポートファイルリストＵＩ１００は、インポートファイルリストｌｔ、及びトラッキングスタートボタンｂｔを含み、モニタ５６に表示される。

インポートファイルリストｌｔには、入力した複数の映像データファイルに関する情報が、一覧で表示可能なように、列毎に登録される。各列には、各映像データファイルに対応する、チェックボックスｃｂ、ファイル名ｎｍ、撮像期間ｐｔ等の情報が記述される。チェックボックスｃｂは、ユーザによる選択操作を可能とし、トラッキング対象の映像データファイルとして選択するか否かを受け付ける。チェックボックスｃｂが選択マークｍｋ（図中、黒いマーク）を含む場合、選択有りの状態を表し、空白である場合、選択無しの状態を表す。

図７に示すファイル名ｎｍは、例えばウェアラブルカメラ１０が自動的に付与した名称である。ここでは、ファイル名ｎｍは、「ｓａｍｐｌｅ０１」〜「ｓａｍｐｌｅ０９」であり、シーンを表す第１識別情報と、時系列に分割された個々の映像データファイルを表す第２識別情報との組み合わせで表現される。具体的に、「ｓａｍｐｌｅ」が第１識別情報であり、「０１」〜「０９」が第２識別情報である。なお、ファイル名ｎｍの項目は、ユーザによる入力操作を可能とし、名称の変更を任意に受け付ける。

撮像期間ｐｔは、ウェアラブルカメラ１０によって個々の映像が撮像された時間帯を表す。例えば、１列目の映像データファイルに対し、チェックボックスｃｂがトラッキング対象の映像データファイルとして選択され、ファイル名が「ｓａｍｐｌｅ０１」であり、撮像期間ｐｔが「１２：００−１２：１０」の１０分間であることが登録される。２列目以降の映像データファイルについても同様である。

このように、シーンの映像を複数の映像データファイルに分割して保存することで、ウェアラブルカメラ１０により撮像された映像の可用性を高めることができる。また、ウェアラブルカメラ１０の記憶部１５のメモリ容量が少なくなった場合、分割された映像データファイルが１つずつ上書きあるいは消去される。従って、データ量の多い長時間録画の映像データファイルを一気に削除する場合と比べ、シーンの撮像映像を残しておく期間を延ばすことができる。また、撮像期間ｐｔとして、「１２：００−１２：１０」から「１３：２０−１３：３０」までの時間帯が連続しているので、映像が撮像されていない空白の（未撮像の）時間帯は存在しないことになり、ウェアラブルカメラ１０の撮像映像の連続性（つまり、映像の途切れが無く連続的に構成されていること）は保証される。

また、インポートファイルリストＵＩ１００の下方に表示された、トラッキングスタートボタンｂｔ（図中、「Ｔｒａｃｋｉｎｇ ｓｔａｒｔ」と表記）は、バックエンドサーバ５０又は、バックエンドサーバ５０にアクセスして利用可能なクライアントＰＣであるバックエンドクライアント７０のいずれかのユーザによって操作可能なボタンである。トラッキングスタートボタンｂｔがクリック操作されると、バックエンドサーバ５０は、映像データファイル「ｓａｍｐｌｅ０１」に対し、トラッキングを開始する。トラッキングは、前述したように、映像データファイルのフレームを順に繰り下げて、選択されたオブジェクトが映っている各フレームを探索し、フレーム上のオブジェクトの位置を取得する動作である。

図８は、複数の映像データファイルに跨って現れる顔のサムネイルｓｇ１〜ｓｇ４が登録されたサムネイルリストＵＩ１５０を示す図である。ここでは、所定数以上（例えば３個）の映像データファイルに跨って映っているオブジェクト（例えば人物の顔）のサムネイルが示されている。なお、個々のサムネイルは、ＣＰＵ５１により生成されてもよいし、ウェアラブルカメラ１０により予め生成されてもよい。

サムネイルリストＵＩ１５０には、複数のオブジェクト（人物の顔）のサムネイルｓｇ１〜ｓｇ４、各サムネイルｓｇ１〜ｓｇ４を識別するための識別番号（ＩＤ）ｍ１〜ｍ４、及びバックエンドサーバ５０又は、バックエンドサーバ５０にアクセスして利用可能なクライアントＰＣであるバックエンドクライアント７０のいずれかのユーザにとって必要な顔（例えば事件の被疑者の可能性のある顔又は指名手配済みの犯人の顔）であるか否かを選択するためのチェックボックスｋｂ１〜ｋｂ４が表示される。サムネイルｓｇ１〜ｓｇ４を特に区別しない場合、単にサムネイルｓｇと称する。同様に、識別番号を特に区別しない場合、単に識別番号ｍｊと称する。同様に、チェックボックスｋｂ１〜ｋｂ４を特に区別しない場合、単にチェックボックスｋｂと称する。

サムネイルリストＵＩ１５０のチェックボックスｋｂは、ユーザによる選択操作を可能とし、被疑者の候補であるオブジェクトとして選択するか否かを受け付ける。オブジェクトとして人物の顔が判別された段階では、バックエンドサーバ５０によってサムネイルｓｇ１〜ｓｇ４の各チェックボックスｋｂ１〜ｋｂ４に選択マークｊｋが付与されている。チェックボックスｋｂが選択マークｊｋを含む場合、選択有りの状態を表し、空白である場合、選択無しの状態を表す。警察官３がチェックボックスｋｂをクリック操作する度、チェックボックスｋｂに付与されている選択マークｊｋのオン／オフが繰り返される。図８では、サムネイルｓｇ４は、顔画像でなく、誤って顔と認識された対象の画像であるので、チェックボックスｋｂ４は、警察官３によってクリック操作されて空白となる。従って、このサムネイルｓｇ４で表現される壁のような対象は、ユーザの確認対象から外れる又は被疑者等の事件に関する人物から外れる。

なお、ここでは、複数（ここでは、３個以上）の映像データファイルに人物の顔が登場した場合、サムネイルリストＵＩ１５０にその人物の顔のサムネイルｓｇが表示されたが、登場した回数が所定回数（例えば３回）以上である場合、サムネイルリストＵＩ１５０にその人物の顔のサムネイルが表示されるようにしてもよい。この所定回数は、バックエンドサーバ５０又は、バックエンドサーバ５０にアクセスして利用可能なクライアントＰＣであるバックエンドクライアント７０のいずれかのユーザの操作によって任意に設定可能である。また、人物の顔の登場時間あるいは登場回数の多い程、サムネイルｓｇの表示順位を上げてもよい。また、バックエンドサーバ５０は、サムネイルを表示する際、前科者等が登録された不審人物データベースにアクセスし、前科者等の顔と一致した顔に対し、前科者等であることを表す文字情報等を付加してもよく、被疑者の候補の探索を支援することができる。また、顔画像をサムネイルで表示することで、メモリ容量を少なくし、表示速度が上がるが、生画像を表示してもよく、その場合、顔画像から、より詳細な情報が得られる。

図９は、本実施形態のバックエンドサーバ５０画像解析動作手順の一例を詳細に説明するフローチャートである。この動作は、バックエンドサーバ５０によって実行される。バックエンドサーバ５０は、入力部５５あるいは通信部５３を介して、ウェアラブルカメラ１０で撮像された１シーンの映像である複数の映像データファイルをインポートして入力する（Ｓ１）。入力部５５を介して映像データファイルを入力する場合、例えば警察官３がウェアラブルカメラ１０を集合充電台８９に載置する。入力部５５は、集合充電台８９とＵＳＢ（Universal Serial Bus）ケーブルで接続されており、ウェアラブルカメラ１０の記憶部１５に記憶された映像データファイルを読み出し可能となる。また、警察官３が入力部５５にウェアラブルカメラ１０を直接装着することで、ウェアラブルカメラ１０に記憶された映像データファイルを読み込ませてもよい。

一方、通信部５３を介して映像データファイルを入力する場合、通信部５３は、無線ＬＡＮアクセスポイント６３Ｐを介して、あるいはバックエンドストリーミングサーバ６０またはバックエンドクライアント７０を介して、ウェアラブルカメラ１０に記憶された映像データファイルを受信する。

ＣＰＵ５１は、入力した複数の映像データファイルを一旦、ストレージ５８に記憶し、これらの映像データファイルを用いて、インポートファイルリストＵＩ１００（図７参照）を生成する。更に、ＣＰＵ５１は、生成したインポートファイルリストＵＩ１００をモニタ５６に表示する。

ＣＰＵ５１は、ユーザの一例としての警察官３によってトラッキングスタートボタンｂｔに対するクリック操作（つまり、トラッキングスタートボタンｂｔの選択）が行われると、複数の映像データファイルをそれぞれフレーム単位で個々に読み出してメモリ５４に展開し、それぞれの読み出した各映像データファイルの先頭フレーム内に登場するオブジェクトを自動判別する（Ｓ２）。

ＣＰＵ５１は、ステップＳ２で自動判別されたオブジェクトを基に、メモリ５４に読み出したそれぞれの映像データファイルについて、先頭フレームから個々のフレームを順に繰り下げて（つまり、オブジェクトが最初に登場した先頭フレームから映像を順に再生して）、第２番目以降の個々のフレームにおけるオブジェクトの有無を自動判別する（Ｓ３）。このように、ＣＰＵ５１は、個々の映像データファイルに対して、トラッキングを行う。

撮像時間帯が異なって連続する複数の映像データファイルに跨って同じ人物の顔が登場した場合、つまり、１シーン中の撮像時間帯が異なって連続する所定数以上（例えば３個）の映像データファイルに跨って同じ人物の顔が登場した場合、この人物の顔が長時間連続して映像に映っているとの推測が成り立つ。本実施形態では、この推測を利用し、バックエンドサーバ５０のＣＰＵ５１は、撮像時間帯が異なって連続する複数の映像データファイルに跨って同じ人物の顔が登場した場合、その顔を、ユーザが探し求めている人物（例えば事件若しくは事故の被疑者、或いは指名手配済みの犯人）の可能性を秘めたオブジェクトであると判別する。このように、同じ人物の顔が登場した回数があらかじめ設定された所定数以上（例えば３回）である場合、ＣＰＵ５１は、そのオブジェクトを抽出する。なお、この所定回数は、固定値でもよいし、警察官がバックエンドサーバ５０の入力部５５を介して任意に設定できるようにしてもよい。これにより、オフジェクトの判別精度を高めることができる。

ＣＰＵ５１は、それぞれの映像データファイルについて、フレーム毎に判別されたオブジェクトの座標値（フレーム上のオブジェクトの位置）をメタデータとしてメモリ５４に保存する（Ｓ４）。メタデータとして、オブジェクトの座標値を保持しておくことで、後からデータ解析を行って、オブジェクトの動きを捉えることができる。このオブジェクトの動きは、オブジェクトが被疑者であるか否かを判断する際の判断精度を高めることに繋がる。ＣＰＵ５１は、ステップＳ３で自動判別された先頭フレーム内のオブジェクトのサムネイルｓｇをメモリ５４に保存する（Ｓ５）。

ＣＰＵ５１は、サムネイルｓｇの一覧が登録されたサムネイルリストＵＩ１５０（図８参照）をモニタ５６に表示する（Ｓ６）。ＣＰＵ５１は、サムネイルリストＵＩ１５０に登録されたオブジェクトがユーザにより選択されたか否かを判別する（Ｓ７）。選択されなかった場合、ＣＰＵ５１は本動作を終了する。

一方、ユーザによりオブジェクトが選択された場合、つまり、チェックボックスｋｂに選択マークｊｋが付与されている場合、ＣＰＵ５１は、選択されたオブジェクトが最初に登場するムービー（映像データファイル）を再生する（Ｓ８）。このムービーの再生では、選択されたオブジェクトが登場する、全ての映像データファイルを連続的に再生してもよい。これにより、警察官は、再生されたムービーを見て、オブジェクトが被疑者であるか否かを見極めることができる。この後、ＣＰＵ５１は本動作を終了する。

このように、本実施形態の監視映像解析システム５は、警察官３（ユーザ）によって装着又は所持されるウェアラブルカメラ１０と、ウェアラブルカメラ１０による撮像映像を入力するバックエンドサーバ５０（サーバ）と、を備える。ウェアラブルカメラ１０は、シーンの映像を１０分毎に（一定時間毎に）生成して記録する。バックエンドサーバ５０は、シーンにおける複数の１０分毎の（一定時間毎の）撮像映像を用いて、ｎ（ｎは２以上の整数）個の撮像映像に跨がって登場する人物の顔（オブジェクト）を判別し、判別された人物の顔が登録されたサムネイルリストＵＩ１５０（１つ以上のオブジェクトの一覧画面）をモニタ５６に表示する。

このように、ウェアラブルカメラ１０で撮像される映像のシーンにおいて、異なる撮像時間帯で連続する複数の映像データファイルにおいて被疑者の顔（オブジェクト）が長時間滞在するとしてバックエンドサーバ５０により検知（判別）された場合、時系列に分割して記録された複数かつ撮像時間帯が連続する映像データファイルにユーザが探し求めるオブジェクトが多く登場する（現れる）ことになる。従って、バックエンドサーバ５０は、ウェアラブルカメラの撮像映像の可用性を利用し、複数の撮像映像に跨って登場する人物等のオブジェクトを早期に発見でき、目的とするオブジェクトの探索業務を効率的に支援できる。

なお、ウェアラブルカメラ１０が同じ場所を撮像し続けている場合、１シーンの撮像映像は、同じ撮像エリアの撮像映像となるが、警察官が移動中に撮像し続けている場合、時間帯や変化する場所等を区切りとする映像が１シーンの撮像映像となる。また、警察官がウェアラブルカメラ１０を録画オンから録画オフにするまで撮像された映像を１シーンの撮像映像としてもよい。

また、バックエンドサーバ５０は、モニタ５６に表示されたサムネイルリストＵＩ１５０に登録された、オブジェクトのサムネイルｓｇのうち、警察官がチェックボックスｋｂを選択して選択マークＪｋを外す操作（ユーザ操作）を行うことにより、選択されたオブジェクトをトラッキング対象から除外する、つまり、このオブジェクトは被疑者でないと判別する。

これにより、誤った判別により被疑者の顔とは無関係なオブジェクトを誤認識しても、そのオブジェクトを被疑者の候補から容易に省くことができる。また、警察官（ユーザ）が明らかに被疑者でないと判断するオブジェクトを省くことで、ユーザの意図を確実に反映できる。

また、バックエンドサーバ５０は、サムネイルリストＵＩ１５０（オブジェクトの一覧）として、オブジェクトのサムネイルｓｇ（サムネイル画像）をモニタ５６に表示する。

これにより、警察官（ユーザ）はオブジェクトのサムネイルを見ることで、被疑者であるか否かの妥当性を視覚的に判断できる。

また、バックエンドサーバ５０は、撮像映像のフレームにおける、オブジェクトの座標値をメタデータとして保持する。

これにより、複数の撮像映像のフレームにおける、オブジェクトの位置を捉えることができ、オブジェクトの動きを把握することができる。従って、被疑者であるか否かの判断精度を高めることに繋がる。

また、オブジェクトは、人物の顔である。これにより、バックエンドサーバ５０は、顔認識機能を用いて高精度にオブジェクトを認識できる。従って、警察官は、被疑者を特定し易くなる。

以上、図面を参照しながら実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ウェアラブルカメラ１０は、一定の短い時間（例えば１０分）撮像し終える度に、撮像した映像のデータファイル（映像データファイル）をメモリに記録することで複数の映像データファイルを生成してもよいし、また、長い時間撮影し終えた後、撮像した映像を分割して複数の映像データファイルを生成し、メモリに記録してもよい。

また、上記実施形態では、ウェアラブルカメラ１０は、同じ撮像エリアにおいて、１シーンの映像を撮像する際、一定時間である１０分毎に映像データファイルを生成していたが、１０分単位に限らず、５分単位、２０分単位等、任意の一定時間毎に映像データファイルを生成してもよい。また、一定時間は、固定値であってもよいし、ユーザがウェアラブルカメラに対し、任意に設定できるようにしてもよい。これにより、映像のシーンに応じて、適切な一定時間を設定できる。

また、上記実施形態では、バックエンドサーバ５０が撮像された映像の中から人物の顔を認識する顔認識機能を有する場合を示したが、ウェアラブルカメラ１０が顔認識機能を有してもよく、映像データファイルに顔認識された情報を付加してもよい。

また、上記実施形態では、バックエンドサーバ５０がインポートファイルリストＵＩを生成する場合を示したが、ウェアラブルカメラ１０がタッチパネル等を有している場合、インポートファイルリストＵＩを生成してタッチパネル等に表示し、ユーザによる選択操作を受け付けるようにしてもよい。この場合、ウェアラブルカメラ１０は、受け付けた選択情報をバックエンドサーバに転送してもよい。

また、上記実施形態では、バックエンドサーバ５０がサムネイルリストＵＩを生成する場合を示したが、ウェアラブルカメラ１０が顔認識機能及びタッチパネル等を有している場合、サムネイルリストＵＩを生成してタッチパネル等に表示し、ユーザによる選択操作を受け付けるようにしてもよい。この場合、ウェアラブルカメラだけで、被疑者の判別が可能となる。

また、上記実施形態では、複数の映像データファイルに登場するオブジェクトの数が所定回数以上である場合、サムネイルリストＵＩに登録するオブジェクトであるとしたが、更に、複数の各映像データファイルのフレームに登場するオブジェクトの数を計数し、この計数値を用いてサムネイルリストＵＩへの登録の有無、登録の順位、サムネイルの画像サイズ等を決めてもよく、より詳細にサムネイルリストＵＩに登録するオブジェクトの判別精度が向上する。

また、上記実施形態では、バックエンドサーバ５０は、複数の映像データファイルに跨がって登場するオブジェクト（例えば人物の顔）が事件の被疑者の候補である場合を想定したが、行方不明の事件が発生している場合、行方不明者の候補であってもよく、顔を見つけることで、行方不明者の捜索の支援に役立つ。

また、上記実施形態では、オブジェクトが複数であり、複数のオブジェクトの少なくとも１人が映っている映像をトラッキングする場合を示したが、全員が映っている映像をトラッキングしてもよいし、ユーザにより選択された特定のオブジェクトが少なくとも映っている映像をトラッキングしてもよい。これにより、柔軟かつ早期に被疑者を判別できる。

また、上記実施形態では、複数の映像データファイルに跨がって登場しているオブジェクトが顔である場合を示したが、顔以外にも、人物の容姿、看板、車両、ナンバープレート等であってもよい。この場合、バックエンドサーバ５０は、フレーム上において、これらのオブジェクトを認識する機能を有する。

また、上記実施形態では、オブジェクトを囲む枠の大きさは、顔の大きさに合わせて変更されたが、一定の大きさであってもよく、処理の負荷を軽減できる。この場合、複数のオブジェクトが近接していると、これらの枠は一部重複して表示されることもある。

また、上記実施形態では、警察官が装着あるいは所持するウェアラブルカメラで撮像する場合を示したが、パトカーに搭載された車載カメラシステム（ＩＣＶ：In Car Videoシステム）で撮像する場合も、本発明は同様に適用可能である。

本発明は、撮影時間が異なって連続する映像を生成するカメラの撮像映像の可用性を利用し、複数の撮像映像に跨って登場する人物等のオブジェクトを早期に発見し、目的とするオブジェクトの探索業務を効率的に支援する監視映像解析システム及び監視映像解析方法として有用である。

３ 警察官（ユーザ）
５ 監視映像解析システム
１０ ウェアラブルカメラ
５０ バックエンドサーバ
５６ モニタ
１００ インポートファイルリストＵＩ
１５０ サムネイルリストＵＩ
ｗｋ１〜ｗｋ２０ 枠
ｆ１〜ｆ２０ 顔

Claims (6)

1. 撮影時間が異なって連続する映像を生成するカメラと、前記カメラが生成した映像を入力するサーバと、を備え、
   前記カメラは、撮影時間が異なって連続する複数の映像データファイルを生成して前記サーバに入力し、
   前記サーバは、前記撮影時間が異なって連続する複数の映像データファイルを用いて、ｎ（ｎは２以上の整数）個の映像データファイルに跨がって登場する１つ以上のオブジェクトを判別し、前記判別された１つ以上のオブジェクトを含む一覧画面をモニタに表示する、
   監視映像解析システム。
2. 前記サーバは、前記一覧画面に表示された１つ以上のオブジェクトのうち、ユーザ操作により選択されたオブジェクトを、そのオブジェクトのフレーム画像における位置を取得する処理の対象から除外する、請求項１に記載の監視映像解析システム。
3. 前記サーバは、前記一覧画面として、前記判別された１つ以上のオブジェクトの個々のサムネイル画像を表示する、請求項１に記載の監視映像解析システム。
4. 前記サーバは、前記複数の映像データファイルを構成する複数のフレーム画像のうち個々のフレーム画像における、前記判別された１つ以上のオブジェクトの座標値をメタデータとして保持する、請求項１に記載の監視映像解析システム。
5. 前記オブジェクトは人物の顔である、請求項１に記載の監視映像解析システム。
6. 撮影時間が異なって連続する映像を生成するカメラが生成した映像をサーバにより解析する監視映像解析方法であって、
   前記カメラは、撮影時間が異なって連続する複数の映像データファイルを生成して前記サーバに入力し、
   前記サーバは、前記撮影時間が異なって連続する複数の映像データファイルを用いて、ｎ（ｎは２以上の整数）個の映像データファイルに跨がって登場する１つ以上のオブジェクトを判別し、前記判別された１つ以上のオブジェクトを含む一覧画面をモニタに表示する、
   監視映像解析方法。

Images