JP7284867B2 - 人物追跡管理サーバ - Google Patents

Description

本発明は、人物を追跡する管理サーバ及びシステムに係り、特に、監視カメラで撮影した画像から人物追跡の精度を向上させる人物追跡管理サーバに関する。

［従来の技術］
従来の監視カメラを用いた映像監視システムは、犯罪防止や事故検証を目的として、ビル、道路等の公共施設に設置されている。
近年、監視カメラで撮影された画像をデジタル化し、デジタル化した画像データをサーバで記憶するシステムが普及している。
記憶された画像データは、事件があったときに犯人を追跡するデータとして、また、人物の行動を調査するデータとして、使用されることが多くなっている。

このように画像データを人物特定に利用する場合には、画像認識技術を用いた顔検出機能、似た特徴を持つ顔を画像データの中から検索する類似顔検索機能、また、人物が行動するのに使用する車両を特定するためのナンバープレート検出機能等の技術が用いられる。

［関連技術］
尚、関連する先行技術として、特開２００５－０８８６２６号公報「広域監視装置」（特許文献１）がある。
特許文献１には、カメラによって撮影された画像データから顔画像を用いて人物を追跡する実施例と、車両画像を用いて車両を追跡する実施例が示されている。

特開２００５－０８８６２６号公報

しかしながら、従来の映像監視システムでは、顔画像による人物追跡と車両画像による車両追跡を個々に行うものであり、人物追跡の精度に問題があった。

具体的には、顔やナンバープレートが検出された画像が得られても、対象の進行方向、カメラの角度、障害物等で、画像枚数は限られることになる。すると、対象を追跡する上で、得られる画像と画像との間隔が開き、対象を検索する位置、時間の範囲が広がることになり、多くの検索時間を要することになっていた。また、画像と画像の間隔が開くことにより、詳細な追跡が難しくなっていた。

尚、特許文献１には、顔画像による人物追跡又は車両画像による車両追跡が別々に記載されていて、顔画像と車両画像を連携させて人物追跡の精度を向上させる構成の記載がない。

本発明は上記実情に鑑みて為されたもので、撮影された映像データの中から顔情報と車番情報を連携させて人物追跡の精度を向上させる人物追跡管理サーバを提供することを目的とする。

上記従来例の問題点を解決するための本発明は、複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、画像から取得された顔情報と車番情報を紐づけて記憶し、指定された人物の顔に類似した顔情報及び当該顔情報に紐づけて記憶している車番情報を時系列に出力することを特徴とする。
また、複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、画像から取得された顔情報と車番情報を紐づけて記憶し、指定された車両の車番と同一の車番情報及び当該車番情報に紐づけて記憶している顔情報を時系列に出力することを特徴とする。

本発明は、上記人物追跡管理サーバにおいて、顔情報と位置情報及び車番情報と位置情報を紐づけて記憶し、顔情報に紐づけて記憶した位置情報及び車番情報に紐づけて記憶した位置情報に基づいて、人物の移動が時系列に分かるよう地図上に出力することを特徴とする。

本発明は、上記人物追跡管理サーバにおいて、顔情報を検出した画像の撮影時刻と、前記車番情報を検出した画像の撮影時刻と、が近傍している場合、当該顔情報と当該車番情報を紐づけて記憶することを特徴とする。

本発明は、上記人物追跡管理サーバにおいて、同じ画像から顔情報と複数の車番情報が検出された場合、当該顔情報の近傍で検出した車番情報を紐づけて記憶することを特徴とする。

本発明によれば、複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、画像から取得された顔情報と車番情報を紐づけて記憶し、指定された人物の顔に類似した顔情報及び当該顔情報に紐づけて記憶している車番情報を時系列に出力する人物管理サーバとしているので、撮影された映像データの中から顔情報と車番情報とを連携させて人物追跡の精度を向上できる効果がある。

本発明によれば、複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、画像から取得された顔情報と車番情報を紐づけて記憶し、指定された車両の車番と同一の車番情報及び当該車番情報に紐づけて記憶している顔情報を時系列に出力する人物管理サーバとしているので、撮影された映像データの中から顔情報と車番情報とを連携させて人物追跡の精度を向上できる効果がある。

第１のシステムの概略図である。 画像データのフォーマットを示す概略図である。 第１のシステムにおける処理フロー図である。 第２のシステムの概略図である。 第２のシステムにおける処理フロー図である。 人物追跡の出力例を示す概略図である。

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る人物追跡管理サーバ（本サーバ）は、監視カメラで撮影された映像データから顔情報と車番情報とを紐付けて、紐付けられて記憶された顔情報と車番情報について時系列に顔情報又は車番情報の一方、若しくは、双方を出力するものであり、撮影された映像データの中から顔情報と車番情報とを連携させて人物追跡の精度を向上できるものである。

また、本発明の実施の形態に係る人物追跡システム（本システム）は、複数の監視カメラと、本サーバと、操作装置とを備え、操作装置に顔情報又は／及び車番情報を時系列に表示出力し、更に、地図上に人物の移動が時系列に分かるように顔情報又は／及び車番情報を表示出力するものであり、撮影された映像データの中から顔情報と車番情報とを連携させて人物追跡の精度を向上できるものである。

［本システム］
本システムは、複数の監視カメラと、人物追跡管理サーバと、操作装置（操作ＰＣ）とから基本的に構成され、各構成がネットワークを介して接続されている。
本システムは、以下に説明する第１の実施例のシステム（第１のシステム）と第２の実施例のシステム（第２のシステム）がある。

［第１のシステム：図１］
第１のシステムの概略について図１を参照しながら説明する。図１は、第１のシステムの概略図である。
第１のシステムは、図１に示すように、人物追跡管理サーバ（管理サーバ）１と、監視カメラ２と、操作装置（操作ＰＣ）３と、ネットワーク４とを基本的に有している。
図１では、監視カメラ２が１台のみネットワーク４に接続しているが、実際は複数の監視カメラ２がネットワーク４に接続している。
また、ネットワーク４は、有線でも無線でも構わない。

［第１のシステムの各部］
次に、第１のシステムの各部について具体的に説明する。
［管理サーバ１］
管理サーバ１は、図１に示すように、制御部１１と、記憶部１２と、画像データベース（画像ＤＢ）１３と、ネットワーク通信部１４とを備えている。

記憶部１２は、制御部１１を動作させる処理プログラム、その他処理に必要なデータ、パラメータ等を記憶する。
ネットワーク通信部１４は、監視カメラ２からネットワーク４を介して顔情報又は／及び車番情報に関連付けられた映像データを画像データとして受信する。
制御部１１は、記憶部１２に記憶する処理プログラムを読み込んで、ネットワーク通信部１４で受信した画像データを画像ＤＢ１３に格納する。
画像ＤＢ１３は、制御部１１によって入力される画像データを記憶する。

［監視カメラ２］
監視カメラ２は、ビル、道路等に設置され、図１に示すように、カメラ撮像部２１と、画像処理部２２と、画像記憶部２３と、顔検出部２４と、ナンバープレート検出部２５と、ネットワーク通信部２６とを備えている。
図１の監視カメラは、顔検知及びナンバープレート検知の機能を備えるものである。

カメラ撮像部２１は、映像を撮影して映像データを画像処理部２２に出力する。
画像処理部２２は、カメラ撮像部２１から入力された映像データをデジタル化して画像記憶部２３に記憶する。

顔検出部２４は、画像記憶部２３に記憶する映像データの中から人物の顔を検出し、検出した顔の特徴量を示す顔情報を生成する。
ナンバープレート検出部２５は、画像記憶部２３に記憶する映像データの中から車両のナンバープレートを検出し、検出したナンバープレートの内容を示す車番情報（車両情報）を生成する。
ここで、顔検出及びナンバープレート検出は、人工知能（ＡＩ）の学習機能により学習させることで、精度を向上させることができるものである。

ネットワーク通信部２６は、管理サーバ１に送信する映像データに時刻情報、位置情報、顔情報、車番情報をヘッダのメタデータ（付属情報）に付与し、画像データとしてネットワーク４を介して管理サーバ１に送信する。
映像データには、時刻情報と位置情報が必ず付与されるが、顔やナンバープレートが検出されなければ、顔情報や車番情報は付加されない。

［操作ＰＣ３］
操作ＰＣ３は、パーソナルコンピュータであり、処理装置に加えて表示部、入力部、印刷部等を備えている。
そして、入力部からの操作によって、映像データから追跡対象の人物を探索し、後述する人物と車両の連携による追跡結果を表示部又は印刷部に出力する。

［画像データのフォーマット：図２］
次に、管理サーバ１に送信される画像データのフォーマットについて図２を参照しながら説明する。図２は、画像データのフォーマットを示す概略図である。
画像データは、図２に示すように、ヘッダに設けられるメタデータと、その後ろに設けられる映像データとから構成されている。

メタデータ（付属情報）は、時刻情報、位置情報、顔情報、車番情報等を含む。
時刻情報は、映像データの撮影時刻の情報を用いている。
位置情報は、監視カメラ２の位置を示す情報で、ＧＰＳ（Global Positioning System
）で得られる情報を用いている。
顔情報は、顔の特徴量を示すもので、人物の検索をし易くするために、その特徴量に対応するＩＤ（顔ＩＤ）を含めてもよい。
車番情報は、ナンバープレートを検出して認識した数字、文字の情報である。
なお、メタデータは、顔情報と車番情報のどちらかを含むようにしてもよい。この場合、メタデータは、顔情報と車番情報を区別するための種別情報を含む。例えば、監視カメラ２が顔情報のみを検出した場合、メタデータは、顔情報と、顔情報を示す種別情報と、を含む。

［第１のシステムにおける処理：図３］
次に、第１のシステムにおける処理について図３を参照しながら説明する。図３は、第１のシステムにおける処理を示すフロー図である。
まず、処理が開始されると、監視カメラ２のカメラ撮像部２１で画像取得が為され（Ｓ１０１）、画像処理部２２で取得した画像をデジタル化する画像処理が為される（Ｓ１０２）。

次に、顔検出部２４とナンバープレート検出部２５で顔検出とナンバープレート検出が為され（Ｓ１０３）、顔検出／ナンバープレート検出があったかどうか判定する（Ｓ１０４）。
いずれも検出されなければ（Ｎｏの場合）、最初の処理に戻り、いずれか一方又は双方が検出されたならば（Ｙｅｓの場合）、ネットワーク通信部２６がメタデータ（付属情報）に時刻情報、位置情報、顔情報又は／及び車番情報を付加し、付属情報と映像データを画像データとして配信する（Ｓ１０５）。
図３の例では、顔検出又はナンバープレート検出が為されない場合には、映像データを配信せず、データの送信量を低減している。

続いて、管理サーバ１で画像データを受信し（Ｓ１０６）、画像ＤＢ１３に記憶する（Ｓ１０７）。
次に、操作ＰＣ３の操作者（ユーザ）が画像ＤＢ１３に記憶された映像データを表示部に表示させて確認しながら、操作ＰＣ３から特定の人物又は／及び車両を選択して、人物又は／及び車両の追跡指示（出力指示）が入力されたか否かを判定する（Ｓ１０８）。
判定の結果、出力指示がなければ（Ｎｏの場合）、処理Ｓ１０６に戻り、出力指示があれば（Ｙｅｓの場合）、出力指示された人物の顔に類似した顔情報又は出力指示された車両の車番と同一の車番情報を画像ＤＢ１３から検索し、該当する顔情報又は車番情報を含む付属情報を読み出す。また、該当する顔情報又は車番情報に紐づけされた車番情報又は顔情報を含む付属情報も画像ＤＢ１３から読み出す（Ｓ１０９）。尚、顔情報と車番情報の紐づけについては、後述する。その後、出力フォーマットに付加情報を追加して（Ｓ１１０）、操作ＰＣ３に出力し（Ｓ１１１）、処理を終了する。尚、出力例については、後述する。

［第２のシステム：図４］
次に、第２のシステムについて図４を参照しながら説明する。図４は、第２のシステムの概略図である。
第２のシステムは、監視カメラ２０では顔検出、ナンバープレート検出を行わず、撮影した映像データに時刻情報と位置情報を付加して画像データとして管理サーバ１に送信し、管理サーバ１では受信した画像データから顔検出とナンバープレート検出を行い、映像データに顔情報、車番情報を付加する処理を行うものである。
つまり、監視カメラ２０では、メタデータに時刻情報と位置情報が付与され、管理サーバ１では、メタデータに顔情報と車番情報が付与されるものである。

第２のシステムは、図４に示すように、管理サーバ１のハード構成に変更はないが、制御部１１での処理が第１のシステムでの管理サーバ１とは相違している。具体的な相違点については後述する。
監視カメラ２０は、第１のシステムにおける監視カメラ２での顔検出部２４とナンバープレート検出部２５を取り除き、撮影した映像データを全て管理サーバ１に送信している。

［第２のシステムの各部］
管理サーバ１の制御部１１は、監視カメラ２０からネットワーク４を介して受信した画像データをネットワーク通信部１４から入力し、画像ＤＢ１３に記憶する。記憶される画像データは、メタデータとして時刻情報と位置情報が付属情報に含まれている。

そして、操作ＰＣ３から人物追跡の検索が為されると、画像ＤＢ１３内の画像データから顔検出及びナンバープレート検出を行い、該当する人物の顔とナンバープレートを抽出する。
操作ＰＣ３からの指示で顔検出とナンバープレート検出を行ったが、制御部１１が画像ＤＢ１３に画像データを記憶する際に、顔検出とナンバープレート検出を行うようにしてもよい。

［第２のシステムにおける処理：図５］
次に、第２のシステムにおける処理について図５を参照しながら説明する。図５は、第２のシステムにおける処理を示すフロー図である。
第２のシステムでは、監視カメラ２０のカメラ撮像部２１で画像を取得し（Ｓ２０１）、画像処理部２２でデジタル化する画像処理を行い（Ｓ２０２）、時刻情報と位置情報をメタデータに含めて映像データにメタデータを付加して管理サーバ１に配信する（Ｓ２０３）。

そして、管理サーバ１のネットワーク通信部１４で画像データを受信し（Ｓ２０４）、制御部１１が画像ＤＢ１３に記憶する（Ｓ２０５）。
次に、操作ＰＣ３から出力指示があるか否かを判定し（Ｓ２０６）、出力指示がなければ（Ｎｏの場合）、処理Ｓ２０４に戻る。
出力指示があれば（Ｙｅｓの場合）、次に、顔検出及びナンバープレート検出を行う（Ｓ２０７）。顔検出及びナンバープレート検出は、画像ＤＢ１３に記憶されている画像データを対象に行うものである。

そして、顔検出及びナンバープレート検出の結果、検出されたか否かを判定し（Ｓ２０８）、検出されなければ（Ｎｏの場合）、処理Ｓ２０４に戻る。但し、操作ＰＣ３から出力指示があるので、操作ＰＣ３には対象となる顔及びナンバープレートの検出がなかったことを報告することになる。

また、顔検出又は／及びナンバープレート検出があれば（Ｙｅｓの場合）、画像データにおける付属情報に顔情報又は／及び車番情報を追加する（Ｓ２０９）。
なお、操作ＰＣ３から出力指示を受ける前に、画像データから顔及びナンバープレートを検出し、顔情報又は／及び車番情報を追加してもよい。これにより、Ｓ２０７～Ｓ２０９の処理が不要となるため、操作ＰＣ３の出力指示を受けてから操作ＰＣ３への出力までに要する処理時間を短縮できる。
そして、制御部１１が、操作ＰＣ３からの出力指示された人物の顔に類似した顔情報又は出力指示された車両の車番と同一の車番情報を画像ＤＢ１３から検索し、該当する顔情報又は車番情報を含む付属情報を画像ＤＢ１３から読み出す。また、該当する顔情報又は車番情報に紐づけされた車番情報又は顔情報を含む付属情報も画像ＤＢ１３から読み出す（Ｓ２１１）。尚、顔情報と車番情報の紐づけについては、後述する。その後、出力フォーマットに付属情報を追加し（Ｓ２１１）、操作ＰＣ３に出力を行い（Ｓ２１２）、処理を終了する。

［人物追跡の出力例：図６］
次に、人物追跡の出力例について図６を参照しながら説明する。図６は、操作者が操作ＰＣ３から所定の人物の追跡指示をした場合の出力例である。なお、所定の人物の顔に類似した顔情報は、ナンバープレートが「12-34」を示す車番情報に紐づいているものとする。
図６に示すように、出力例では、時系列の順番、時刻情報、顔情報、車番情報の一覧表が表示され、更に、地図が表示され、その地図上で人物の移動が時系列に分かるように、順番と時刻が表示されるようになっている。顔情報の列には、追跡指示をした人物の顔に類似した顔情報が見つかったことを示す「○」が表示される。なお、顔情報の列には、監視カメラ２０が撮影した画像から顔を検出した部分を切り出した画像が表示されてもよい。
車番情報の列には、追跡指示をした人物の顔に類似した顔情報に紐づけられた車番情報に含まれる「12-34」のナンバープレートの情報が表示される。

［顔情報と車番情報の紐付け］
顔情報と車番情報（車両情報）とは、本来別々に検出されるものであるが、同一映像データで顔情報と車番情報が一緒に検出されると、両者が紐付け（関連付け）されることになり、人物追跡の出力例では、一方のみの検出でも表示されることになる。
また、顔情報と車番情報が同じ映像データで検出されなくても、人物が写っている映像データの時間的に前後の映像データ（撮影時刻が近傍している映像データ）に写っている車番情報を紐付けするようにしてもよい。
また、複数の車番情報が検出された場合、人物（顔情報）の近傍で検出した車番を、当該人物の顔情報に紐付けるようにしてもよい。これにより、追跡対象の人物が乗車している可能性が高い車両を紐付けられるため、追跡の精度を上げられる。
また、複数の車番情報を顔情報に紐づけてもよい。これにより、追跡対象の人物が車両を乗り換えた場合でも追跡できる。
これら紐付けの処理は、監視カメラ２または管理サーバ１の制御部１１で行うようになっている。
尚、紐付けは、操作ＰＣ３のオペレータが行ってもよい。

［実施の形態の効果］
本サーバ（管理サーバ１）によれば、監視カメラ２，２０で撮影された映像データから顔情報と車番情報とを紐付けて、紐付けられて記憶された顔情報と車番情報について時系列に顔情報又は車番情報の一方、若しくは、双方を出力するようにしているので、撮影された映像データの中から顔情報と車番情報とを連携させて人物追跡の精度を向上できる効果がある。

本システムによれば、複数の監視カメラ２，２０と、本サーバと、操作ＰＣ３とを備え、操作ＰＣ３に顔情報又は／及び車番情報を時系列に表示出力し、更に、地図上に人物の移動が時系列に分かるように顔情報又は／及び車番情報を表示出力するようにしているので、撮影された映像データの中から顔情報と車番情報とを連携させて人物追跡の精度を向上できる効果がある。

本発明は、撮影された映像データの中から顔情報と車番情報を連携させて人物追跡の精度を向上させる人物追跡管理サーバに好適である。

１…人物追跡管理サーバ（管理サーバ）、 ２…監視カメラ、 ３…操作装置（操作ＰＣ）、 ４…ネットワーク、 １１…制御部、 １２…記憶部、 １３…画像データベース（画像ＤＢ）、 １４…ネットワーク通信部、 ２０…監視カメラ、 ２１…カメラ撮像部、 ２２…画像処理部、 ２３…画像記憶部、 ２４…顔検出部、 ２５…ナンバープレート検出部、 ２６…ネットワーク通信部、 ３１…メタデータ（付属情報）、 ３２…映像データ、 ３３…メタ詳細データ

Claims (5)

1. 複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、
   前記画像から取得された顔情報と車番情報を紐づけて記憶し、指定された人物の顔に類似した顔情報及び当該顔情報に紐づけて記憶している車番情報を時系列に出力することを特徴とする人物追跡管理サーバ。
2. 顔情報と位置情報及び車番情報と位置情報を紐づけて記憶し、顔情報に紐づけて記憶した位置情報及び車番情報に紐づけて記憶した位置情報に基づいて、人物の移動が時系列に分かるよう地図上に出力することを特徴とする請求項１記載の人物追跡管理サーバ。
3. 前記顔情報を検出した画像の撮影時刻と、前記車番情報を検出した画像の撮影時刻と、が近傍している場合、当該顔情報と当該車番情報を紐づけて記憶することを特徴とする請求項１又は２記載の人物追跡管理サーバ。
4. 同じ画像から顔情報と複数の車番情報が検出された場合、当該顔情報の近傍で検出した車番情報を紐づけて記憶することを特徴とする請求項１乃至３のいずれか記載の人物追跡管理サーバ。
5. 複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、
   撮影された画像から取得された顔情報と車番情報を紐づけて記憶し、指定された車両の車番と同一の車番情報及び当該車番情報に紐づけて記憶している顔情報を時系列に出力することを特徴とする人物追跡管理サーバ。

Images