JP6977328B2 - 顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム - Google Patents

Description

本発明は、顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム、特に、顔認証を利用した人物追跡の為の装置、人物追跡システム、人物追跡方法、および、人物追跡プログラムに関する。

特許文献１は、指名手配犯の所在を予測する追跡装置を開示する。この装置は、防犯カメラなどにより撮影された画像から、指名手配犯がいた「時間、位置、確率」を抽出し、そのデータをもとに指名手配犯の逃走可能エリアを算出する。

特許文献２は、監視ロボットを用いて監視区域を監視する監視装置を開示する。この装置は、監視区域内に設置されたカメラの画像から特定人物を抽出し、そのカメラの位置情報から重点監視地点を選出し、監視ロボットに巡回要求情報を送信する。

特開２０１４―２１５７４７号公報 特開２０１２−０７８９５０号公報

特許文献１に開示された装置は、カメラ画像から予め登録された指名手配犯を抽出し、当該指名手配犯の追跡を行う。特許文献２に開示された装置は、カメラ画像から予め登録された特定人物を抽出し、当該特定人物の監視を行う。

どちらの装置も、予め登録された人物以外については追跡や監視の対象外である。しかしながら、予め登録されていない人物を追跡や監視したい場合が有る。例えば、店舗や空港で不審な行動をとる人物を追跡や監視したい場合で有る。上述の文献に開示された装置は、いずれも、このような要求を満足できない。

本発明は、上記要求を満足することが出来る顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラムを提供することを目的とする。

本発明の１実施の形態の顔認証装置は、人物の顔画像のリストを記憶する人物情報管理手段と、受信した画像情報から、１）前記リストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する画像解析手段と、を備える
本発明の１実施の形態の人物追跡方法は、受信した画像情報から、１）人物の顔画像のリストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する。

本発明の１実施の形態の人物追跡プログラムは、受信した画像情報から、１）記憶している人物の顔画像のリストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する処理を、コンピュータに実行させる。

本発明にかかる人物追跡システムは、予め登録されている人物以外の人物を追跡や監視の対象とすることが出来る。

図１は、第一の実施の形態に係る人物追跡システム３０の構成図である。 図２は、コンピュータ装置６０の構成図である。 図３は、顔認証装置２１の動作フローチャートである。 図４は、分析装置２２の動作フローチャートである。 図５は、第２の実施の形態に係る顔認証装置２１の構成図である。

＜第一の実施の形態＞
＜概要＞
各地に配置された監視カメラ２０から得た撮影画像情報から、人物追跡システム３０は、指名手配犯などの特定人物を検出し、検出時点以降の行動を予測して表示する。警察機関等はその情報を参考にして当該特定人物の確保・保護を行う。

＜構成＞
図１は、本実施の形態に係る人物追跡システム３０の構成図である。人物追跡システム３０は、監視カメラ２０、顔認証装置２１、及び、分析装置２２を包含する。顔認証装置２１は、監視カメラ２０、及び、分析装置２２に接続されている。また、分析装置２２は、外部警察機関サーバ装置１４、外部ビッグデータサーバ装置１５、及び、外部端末装置１６に接続されている。

監視カメラ２０は、商業施設内、公共施設内、商店街などの街頭に設置され、付近の動画あるいは静止画（以降、まとめて画像）を撮影して顔認証装置２１に送信する。顔認証装置２１は、指名手配犯などの特定人物の顔写真のリストを記憶しており、監視カメラ２０が取得した画像から特定人物の顔写真を検出すると、所定の端末装置に当該顔写真情報を含む警告通知を報告したり、分析装置２２に分析を依頼したりする。また、顔認証装置２１は、監視カメラ２０から得た画像から、特定人物の顔写真のリストに登録はされていないが不審な人物を検出すると、その不審な人物の顔写真を特定人物の顔写真のリストに登録する。

分析装置２２は、特定人物が現れた場所、時刻、その他の情報に基づいて、特定人物が次に現れそうな場所を予測して、所定の端末装置に報告すると共に、予測場所近傍に位置している外部端末装置１６に当該特定人物の撮影協力依頼を送信する。なお、外部端末装置１６は、捜査関係者などが所持している携帯型端末装置である。

また、顔認証装置２１、あるいは、分析装置２２は、外部警察機関サーバ装置１４、および、外部ビッグデータサーバ装置１５から、上記の検出、予測に有用な情報を取得する。

＜監視カメラ２０＞
監視カメラ２０は、映像撮影部１、位置・時間情報保持部２、撮影データ記録部３、および、データ送信部４を備えている。映像撮影部１は、常時、設置されたカメラレンズの視界内の画像を撮影する。位置・時間情報保持部２は、監視カメラ２０が設置されている位置と撮影時の時刻を記録している。撮影データ記録部３は、映像撮影部１で撮影された画像と位置・時間情報保持部２で得られた位置・時刻情報を組み合わせた映像データを記憶している。データ送信部４は、撮影データ記録部３の情報を顔認証装置２１に送信する。

＜顔認証装置２１＞ 顔認証装置２１は、データ受信手段、例えばデータ受信部５、撮影データ記録手段、例えば撮影データ記録部６、人物情報管理手段、例えば人物情報管理部７、画像解析手段、例えば画像解析部８、及び、データ送信手段、例えばデータ送信部９を備えている。

データ受信部５は、監視カメラ２０から送られてきた映像データを受信し、撮影データ記録部６に格納する。また、データ受信部５は、外部端末装置１６が送信してきた画像、位置、および、時刻情報を受信することも出来る。外部端末装置１６は、前述の撮影協力依頼に応答して人物の画像などを送信する。

人物情報管理部７は、以下に例示するような情報を保持している。

１）特定人物の顔画像のリスト
これは、例えば、警察など特定の機関が所有する指名手配犯や行方不明者、徘徊癖のある老人などの特定人物の顔写真の一覧である。

２）犯罪者心理・行動情報
これは、犯罪者に見られやすい行動パターン情報である。これら情報は警察の専門機関で所持する情報であり、例えば、外部警察機関サーバ装置１４から得られる。

３）特定人物行動情報
これは、顔画像のリスト内の人物毎の特長（性別・年齢・格好など）、特定人物の過去の犯罪情報や過去発見された位置・時間の履歴、特徴などの情報を含む。

４）施設・地図情報
これは、地図情報と地図に対応した建物、施設の詳細情報を含む。

５）一般人行動情報
これは、不特定多数の一般人の行動傾向の情報であり、例えば、外部ビッグデータサーバ装置１５から得られる。分析装置２２の行動予測部１３は、特定人物が発見された場合、例えば、発見された時間・位置（施設）・特徴と照らし合わせ、似た行動傾向を持つ一般人の情報を基に、最後に発見された後の特定人物の行動予測を行う。

６）交通情報
これは、ある時点での渋滞情報や、徒歩、車、電車等のルートや移動所要時間等の情報である。

７）外部端末装置１６の位置
これは、予め登録されている携帯型端末装置である、外部端末装置１６が発信した現在または直前の位置情報であり、定期的、あるいは所定の契機で更新されている。

なお、顔認証装置２１の人物情報管理部７と、分析装置２２の人物情報管理部１２は、同じ情報を格納する。これは、人物情報管理部７と人物情報管理部１２のデータ実体を顔認証装置２１と分析装置２２が共にアクセス可能なディクス装置上に格納し、両装置が各々人物情報管理部７と人物情報管理部１２にアクセスをした時、アクセス経路を当該実体データに変換することで実現する。または、顔認証装置２１と分析装置２２の両者が、互いに自装置で発生した更新情報を相手装置に送信するなどのデータ同期機能を備えていても良い。

画像解析部８は、画像を解析して、監視カメラ２０から受信した画像情報から、人物情報管理部７に格納されている特定人物の顔画像のリストに含まれる顔画像を検出すると、警告通知（当該顔画像の識別情報を含む）を出力する。画像解析部８は、当該リストに含まれないが所定基準を満たす人物を画像情報から検出すると、所定基準を満たす人物の顔画像を特定人物の顔画像のリストに追加し、警告通知を出力する。ここで、所定基準は、人物の特徴から犯罪を起こす予兆を判定する為の基準であり、具体例を後述する。

データ送信部９は、必要な情報を分析装置２２へ送信する。

分析装置２２は、システム監視手段、例えばシステム監視部１０、データ受信手段、例えばデータ受信部１１、人物情報管理手段、例えば人物情報管理部１２、及び、行動予測手段、例えば行動予測部１３を備える。

システム監視部１０は、人物追跡システム３０を構築する装置（監視カメラ２０、顔認証装置２１、分析装置２２）間の連携を監視する。

データ受信部１１は、顔認証装置２１から送信された特定人物情報を受信する。さらに、データ受信部１１は、外部警察機関サーバ装置１４、外部ビッグデータサーバ装置１５、および、外部端末装置１６が送信したデータを受信して、人物情報管理部１２に格納する。

人物情報管理部１２は、前述したように顔認証装置２１の人物情報管理部７と同じの情報を格納する。これは、顔認証装置２１と分析装置２２が共有ディスク装置上の同じデータをアクセスしたり、両装置が人物情報管理部１２と人物情報管理部７の同期機能を実装したりして実現する。

行動予測部１３は、顔認証装置２１から通知された特定人物の過去の位置・時間・特徴情報と一般人の行動例、建物・位置情報等から、発見時以降に訪れる場所を予測し、予測結果を地図等により表示する。行動予測部１３は、また、予測結果表示の際、予測された場所付近の捜査員やユーザが携帯する外部端末装置１６に対し、撮影依頼を通知する。撮影依頼の通知を受けた捜査員やユーザは、特定人物の静止画や動画を撮影した後、指定された宛先に撮影データをアップロードして捜査に協力する。

外部警察機関サーバ装置１４は、特定人物の個人情報等、公開が限られた情報（年齢や顔、特徴など）を保持している、警察機関のサーバ装置である。外部警察機関サーバ装置１４は、さらに、警察専門機関の持つ犯罪者心理のデータ等も保持している。

外部ビッグデータサーバ装置１５は、建物や交通、一般人の行動傾向など、一般に入手可能な情報が膨大に保持しているサーバ装置である。

外部端末装置１６は、登録された人々や捜査員が所持する携帯型の端末装置、例えばスマートフォン、である。外部端末装置１６は、撮影機能、撮影時間通知機能、位置通知機能、および、ネットワークへ接続する機能を有している。

ここで、顔認証装置２１のデータ受信部５、画像解析部８、及び、データ送信部９は、論理回路、または、専用プロセッサとファームウェアで構成される。撮影データ記録部６、及び、人物情報管理部７は、ＨＤＤ（Hard Disk Drive）、または、ＳＤＤ(Solid State Drive)等の記憶装置で構成される。

顔認証装置２１のデータ受信手段、撮影データ記録手段、人物情報管理手段、画像解析手段、データ送信手段は、他の構成であっても良い。

さらに、顔認証装置２１はコンピュータ装置６０で構成されても良い。図２は、コンピュータ装置６０の構成図である。コンピュータ装置６０は、バス６４で相互に接続された、プロセッサ６１、主記憶部６３、および、外部記憶装置６２を備える。プロセッサ６１は、バス６４を経由して、主記憶部６３、および、外部記憶装置６２に対してデータの読み書きを行う。

また、プロセッサ６１は、主記憶部６３に格納されているプログラム６５を実行する。なお、プログラム６５は、当初外部記憶装置６２に格納されており、コンピュータ装置６０の初期設定時に、プロセッサ６１が外部記憶装置６２から主記憶部６３にロードしても良い。

ここで、主記憶部６３は半導体メモリ装置である。外部記憶装置６２は、ＨＤＤ、または、ＳＤＤ等の記憶装置である。

顔認証装置２１のプロセッサ６１は、プログラム６５を実行することにより、データ受信部５、画像解析部８、及び、データ送信部９として機能する。すなわち、プロセッサ６１は、プログラム６５を実行することにより、データ受信部５、画像解析部８、及び、データ送信部９が行う処理を実行する。

外部記憶装置６２は、撮影データ記録部６、及び、人物情報管理部７として使用されても良い。

分析装置２２の、システム監視部１０、データ受信部１１、及び、行動予測部１３は、論理回路、または、専用プロセッサとファームウェアで構成される。人物情報管理部１２は、ＨＤＤ、または、ＳＤＤ等の記憶装置で構成される。

分析装置２２の、システム監視手段、データ受信手段、人物情報管理手段、及び、行動予測手段は、他の構成であっても良い。

分析装置２２はコンピュータ装置６０で構成されても良い。この場合、分析装置２２のプロセッサ６１は、プログラム６５を実行することにより、システム監視部１０、データ受信部１１、及び、行動予測部１３として機能する。すなわち、プロセッサ６１は、プログラム６５を実行することにより、システム監視部１０、データ受信部１１、及び、行動予測部１３が行う処理を実行する。外部記憶装置６２は、人物情報管理部１２として使用されても良い。

＜動作＞
図３は、顔認証装置２１の動作フローチャートである。

まず、顔認証装置２１のデータ受信部５が監視カメラ２０から、監視範囲を撮影した画像情報、撮影時間、撮影した監視カメラ２０の位置情報を入力し、撮影データ記録部６に格納する。

画像解析部８は、撮影データ記録部６に格納されている画像情報から顔画像を抽出し、人物情報管理部７に登録されている特定人物の顔画像リスト内の顔画像と順次比較していく（Ｓ１）。

特定人物の顔画像リスト内の何れかの顔画像が、画像情報から抽出した顔画像と一致した場合（Ｓ２でＹｅｓ）、画像解析部８は、一致した特定人物の顔画像リスト内の顔画像に関連付けて、画像情報の撮影時間、及び、撮影した監視カメラ２０の位置情報を登録する（Ｓ３）。登録先は、人物情報管理部７に格納されている特定人物行動情報である。ここには、当該人物が特定された時間と位置が時系列に蓄積されていく。なお、ここで、２つの顔画像が『一致』したとは、同一人物と判断できたという意味である。

その後、画像解析部８は、特定人物の顔画像リスト内の顔画像の識別子を含む警告通知を出力して（Ｓ４）、処理を終了する。警告通知は、予め定められている警察本部などの端末装置、及び、分析装置２２に対して出力される。

特定人物の顔画像リスト内のどの顔画像も、画像情報から抽出した顔画像と一致しない場合（Ｓ２でＮｏ）、画像解析部８は、撮影データ記録部６に格納されている画像情報から人物画像を抽出し、所定の基準を満たすか否かを判別する（Ｓ５）。画像情報から抽出した何れかの人物の人物画像が、所定の基準を満たす場合（Ｓ６でＹｅｓ）、画像解析部８は、当該人物の顔画像を特定人物の顔画像リストに追加して（Ｓ７）、Ｓ３、及び、Ｓ４の処理を行って、処理を終了する。画像情報から抽出したどの人物の人物画像も、所定の基準を満たさない場合（Ｓ６でＮｏ）、画像解析部８は処理を終了する。

ここで、Ｓ５の処理について詳しく説明する。

画像解析部８は、先ず、人物情報管理部７から犯罪者心理・行動情報を取り出す。犯罪者心理・行動情報は、犯罪のカテゴリ対応に犯罪者を特定する手がかりとなる各種の行動パターンが記述されている。例えば、犯罪のカテゴリが万引きである場合、以下のような行動パターンが記述されている。

パターンａ）人物が所定時間帯内に所定時間経過後も、予め指定された商品近傍にいる。
ここで、所定時間帯は統計的に犯罪が発生しやすい時間帯、例えば、深夜時間帯である。また、予め指定された商品は、統計的に万引きの対象になりやすい商品である。これらの情報は、例えば、外部警察機関サーバ装置１４が犯罪実績データから算出して、行動パターンの一部として、顔認証装置２１に送信してくる。

パターンｂ）商品近傍にいる間に、人物が商品以外の方向に顔面を向ける頻度が所定の値より高い。これは、店員の所在を確認するなど、辺りを窺っている可能性が高いことを示している。
パターンｃ）人物が、開口部が所定サイズ以上の所持品、例えば鞄や袋を、開口部が開いた状態で所持している。これは、持ち逃げの可能性が高いことを示している。

次いで、画像解析部８は、画像情報から抽出した人物画像が、上述の各行動パターンを満たすか否かを判定していく。画像解析部８は、画像情報から抽出した人物画像が満たした行動パターンに応じて決定される怪しさの評価値の合計が、所定の閾値を超えている場合、当該人物は上述の所定の基準を満たすと判定する。

なお、行動パターンに応じて怪しさの評価値を決定する手順は、行動パターンに付随して外部警察機関サーバ装置１４から与えられる。怪しさの評価値は固定値であることも有るし、行動パターン内のパラメータ値に依存して決まる場合も有る。例えば、上述のパターンａの場合、怪しさの評価値は商品の種類に依存して決定される。パターンｂの場合、怪しさの評価値は人物が商品以外の方向に顔面を向ける頻度に依存して決定される。

犯罪のカテゴリがストーカーである場合は、以下のような行動パターンが記述されている。画像解析部８は、この場合も、万引きのケースと同様に、画像情報から抽出した人物画像が満たした行動パターンに応じて決定される怪しさの評価値の合計が、所定の閾値を超えている場合、当該人物は上述の所定の基準を満たすと判定する。

パターンｘ）人物の移動方向・移動速度が所定頻度以上に変更される。すなわち、人物の移動における方向転換、または、一時停止の頻度が所定閾値以上である。これは、人物が被害者に隠れて後をつけるために生じる特徴である。このパターンの怪しさの評価値は、頻度に依存して決定される。

パターンｙ）人物の顔面が被覆されている割合が所定閾値以上である。すなわち、顔面が、マスクや帽子で、所定割合以上覆われているパターンである。これは、被害者に素性を隠して後をつけるために生じる特徴である。このパターンの怪しさの評価値は、覆われている割合に依存して決定される。

図４は、分析装置２２の動作フローチャートである。

分析装置２２は、データ受信部１１が顔認証装置２１から警告通知を受信すると起動される（Ｓ１１）。その後、行動予測部１３は、警告通知に含まれて通知された識別子の顔画像に関連付けられて人物情報管理部１２に格納されている位置、時刻に基づいて、当該顔画像の人物が現れる位置を予測する（Ｓ１２）。

Ｓ１２の処理について詳しく説明する。

先ず、行動予測部１３は、通知された識別子の顔画像に関連付けられている最新の撮影位置と撮影時刻を取り出し、撮影時刻と現時刻の差（即ち、経過時間）から、徒歩、自転車、あるいは、自動車で移動できる距離を算出する。そして、行動予測部１３は、最新の撮影位置を中心とした当該距離以内で、所定条件を満たす施設を顔画像の人物が現れる位置と予測する。行動予測部１３は、複数の予測結果を出力することも有る。

ここで、人物情報管理部１２内に格納されている特定人物行動情報に、顔画像の人物が過去の犯罪で使った交通手段の情報が存在する場合、行動予測部１３は、その情報から徒歩、自転車、あるいは、自動車の何れかを選択して移動距離Ａを算出する。また、行動予測部１３は、顔画像の人物の過去の犯罪情報から施設の条件を決定する。当該人物が過去に、コンビニエンスストアにて万引きを実行していれば、コンビニエンスストアであって、大通りから離れているという条件にあてはまる店舗を予測結果とする。行動予測部１３は、施設の条件は、人物情報管理部１２内に格納されている施設・地図情報から取得する。

行動予測部１３は、人物情報管理部１２内に格納されている特定人物行動情報に、過去に何度も現れた場所が有る場合、前述した移動距離Ａの所定倍までの距離以内にある、そのような施設を予測結果として出力しても良い。

さらに、行動予測部１３は、最新の撮影位置にいた人物が、撮影時刻と現時刻の差分である経過時間後にどこにいるかを、一般的な統計情報に基づいて予測しても良い。この場合、行動予測部１３は、例えば、人物情報管理部１２内に格納されている一般人行動情報から、当該統計情報を取得する。

当該顔画像の人物が現れる位置を予測した後（Ｓ１２）、行動予測部１３は、予測結果を、予め登録された端末装置に通知する（Ｓ１３）。予め登録された端末装置は、例えば、警察の本部に設置されている端末装置である。

次いで、行動予測部１３は、予測される位置近傍に存在する外部端末装置１６に、通知された識別子の顔画像を添付して撮影依頼を送信して（Ｓ１４）、処理を終了する。このとき行動予測部１３は、人物情報管理部１２内に格納されている外部端末装置１６の位置情報から、予測される位置近傍に存在する外部端末装置１６を特定する。

外部端末装置１６の所有者は、撮影依頼の受信が有ると、撮影依頼に付された顔画像の人物を探し、それらしき人物を発見すれば撮影して、画像情報を顔認証装置２１に送信する。この場合、顔認証装置２１のデータ受信部５は、当該画像情報を受信して、図３のフローチャートの処理を実行する。

＜効果＞
＜第一の効果＞
本実施の形態にかかる人物追跡システム３０は、予め登録されている人物以外の人物を追跡の対象とすることが出来る。その理由は、顔認証装置２１の画像解析部８が、指名手配犯など特定人物の顔画像のリストに含まれないが、所定基準を満たす不審な人物を検出すると当該人物の顔画像を特定人物の顔画像のリストに追加するからである。その後、人物追跡システム３０は、特定人物の顔画像のリストに追加された人物を、継続的に追跡する。

＜第２の効果＞
本実施の形態にかかる人物追跡システム３０は、追跡対象の人物の発見を容易にする。その理由は、分析装置２２の行動予測部１３が、追跡対象の人物の行動を予測し、当該人物が現れそうな位置を報告するからである。

＜第３の効果＞
本実施の形態にかかる人物追跡システム３０は、追跡対象の人物の居場所特定精度を向上させる。その理由は、分析装置２２の行動予測部１３が、当該人物が現れそうな位置近傍の外部端末装置１６に撮影依頼を送信するからである。さらに、顔認証装置２１が、外部端末装置１６が送信した画像情報から、撮影された人物が、特定人物の顔画像のリストに登録されている人物かを判定するからである。

＜変形例＞
人物追跡システム３０は、分析装置２２を含まなくても良い。人物追跡システム３０が、分析装置２２を含まない場合、顔認証装置２１は、図３のＳ４において、画像解析部８は、警告通知を、予め定められている警察本部などの端末装置に対してのみ出力する。

＜第二の実施形態＞
図５は、第２の実施の形態に係る顔認証装置２１の構成図である。

顔認証装置２１は、人物情報管理手段１７と、画像解析手段１８と、を備える。

人物情報管理手段１７は、人物の顔画像のリストを記憶する。画像解析手段１８は、受信した画像情報から、１）リストに含まれる顔画像を検出すると検出した顔画像の識別子を出力し、２）リストに含まれないが所定基準を満たす人物を検出すると所定基準を満たす人物の顔画像をリストに追加するとともに追加した顔画像の識別子を出力する。

ここで、人物情報管理手段１７は、例えば人物情報管理部７と、画像解析手段１８は、画像解析部８である。人物情報管理手段１７と、画像解析手段１８は、等価な機能を果たす、他の構成をとるものであっても良い。顔認証装置２１における他の構成手段も、分析装置２２における他の構成手段も、同様である。

本実施の形態にかかる顔認証装置２１は、予め登録されている人物以外の人物を追跡の対象とすることが出来る。その理由は、画像解析部８が、指名手配犯など特定人物の顔画像のリストに含まれないが、所定基準を満たす不審な人物を検出すると当該人物の顔画像を特定人物の顔画像のリストに追加するからである。その後顔認証装置２１は、特定人物の顔画像のリストに追加された人物を、継続的に追跡する。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 映像撮影部
２ 位置・時間情報保持部
３ 撮影データ記録部
４ データ送信部
５ データ受信部
６ 撮影データ記録部
７ 人物情報管理部
８ 画像解析部
９ データ送信部
１０ システム監視部
１１ データ受信部
１２ 人物情報管理部
１３ 行動予測部
１４ 外部警察機関サーバ装置
１５ 外部ビッグデータサーバ装置
１６ 外部端末装置
１７ 人物情報管理手段
１８ 画像解析手段
２０ 監視カメラ
２１ 顔認証装置
２２ 分析装置
３０ 人物追跡システム
６０ コンピュータ装置
６１ プロセッサ
６２ 外部記憶装置
６３ 主記憶部
６４ バス
６５ プログラム

Claims (9)

1. 人物の顔画像のリストを記憶する人物情報管理手段と、
   受信した画像情報から、１）前記リストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する画像解析手段と、を備え、
   前記画像解析手段は、前記画像情報から検出した前記人物が前記所定基準を満たすか否かを、ａ）前記人物が所定時間帯内に所定時間経過後も、予め指定された商品近傍にいるか否か、ｂ）前記商品近傍にいる間に、前記人物が前記商品以外の方向に顔面を向ける頻度、及び、ｄ）前記人物の所持品、に基づいて決定される評価値と閾値を比較して決定する顔認証装置。
2. 人物の顔画像のリストを記憶する人物情報管理手段と、
   受信した画像情報から、１）前記リストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する画像解析手段と、を備え、
   前記画像解析手段は、前記画像情報から検出した前記人物が前記所定基準を満たすか否かを、ａ）前記人物の移動における方向転換、または、一時停止の頻度、及び、ｂ）前記人物の顔面が被覆されている割合、に基づいて決定される評価値と閾値を比較して決定する顔認証装置。
3. 人物の顔画像のリストを記憶する人物情報管理手段と、
   受信した画像情報から、１）前記リストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する画像解析手段と、を備え、
   前記画像解析手段は、前記画像情報、及び、撮影の位置情報と時刻情報を受信して、前記リストに含まれる前記顔画像を検出する、または、前記リストに前記顔画像を追加すると検出または追加された前記顔画像に関連付けて前記位置情報と前記時刻情報を前記人物情報管理手段に時系列に蓄積し、
   前記人物情報管理手段は、携帯型端末装置に関連付けて前記携帯型端末装置の前記位置情報を記憶する顔認証装置と、
   前記顔画像に関連付けて蓄積された前記位置情報および前記時刻情報から、前記顔認証装置から通知された前記識別子の前記顔画像の前記人物が現れる位置を予測し、予測された前記位置の近傍に存在する前記携帯型端末装置を特定して、特定した前記携帯型端末装置に前記顔画像を添付した撮影依頼を送信する行動予測手段を備える分析装置と、を含む
   人物追跡システム。
4. 人物の顔画像のリストを記憶する人物情報管理手段と、
   受信した画像情報から、１）前記リストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する画像解析手段と、を備え、
   前記画像解析手段は、前記画像情報から検出した前記人物が前記所定基準を満たすか否かを、ａ）前記人物が所定時間帯内に所定時間経過後も、予め指定された商品近傍にいるか否か、ｂ）前記商品近傍にいる間に、前記人物が前記商品以外の方向に顔面を向ける頻度、及び、ｄ）前記人物の所持品、に基づいて決定される評価値と閾値を比較して決定し、
   前記画像解析手段は、前記画像情報、及び、撮影の位置情報と時刻情報を受信して、前記リストに含まれる前記顔画像を検出する、または、前記リストに前記顔画像を追加すると検出または追加された前記顔画像に関連付けて前記位置情報と前記時刻情報を前記人物情報管理手段に時系列に蓄積し、
   前記人物情報管理手段は、携帯型端末装置に関連付けて前記携帯型端末装置の前記位置情報を記憶する顔認証装置と、
   前記顔画像に関連付けて蓄積された前記位置情報および前記時刻情報から、前記顔認証装置から通知された前記識別子の前記顔画像の前記人物が現れる位置を予測し、予測された前記位置の近傍に存在する前記携帯型端末装置を特定して、特定した前記携帯型端末装置に前記顔画像を添付した撮影依頼を送信する行動予測手段を備える分析装置と、を含む
   人物追跡システム。
5. 人物の顔画像のリストを記憶する人物情報管理手段と、
   受信した画像情報から、１）前記リストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する画像解析手段と、を備え、
   前記画像解析手段は、前記画像情報から検出した前記人物が前記所定基準を満たすか否かを、ａ）前記人物の移動における方向転換、または、一時停止の頻度、及び、ｂ）前記人物の顔面が被覆されている割合、に基づいて決定される評価値と閾値を比較して決定し、
   前記画像解析手段は、前記画像情報、及び、撮影の位置情報と時刻情報を受信して、前記リストに含まれる前記顔画像を検出する、または、前記リストに前記顔画像を追加すると検出または追加された前記顔画像に関連付けて前記位置情報と前記時刻情報を前記人物情報管理手段に時系列に蓄積し、
   前記人物情報管理手段は、携帯型端末装置に関連付けて前記携帯型端末装置の前記位置情報を記憶する顔認証装置と、
   前記顔画像に関連付けて蓄積された前記位置情報および前記時刻情報から、前記顔認証装置から通知された前記識別子の前記顔画像の前記人物が現れる位置を予測し、予測された前記位置の近傍に存在する前記携帯型端末装置を特定して、特定した前記携帯型端末装置に前記顔画像を添付した撮影依頼を送信する行動予測手段を備える分析装置と、を含む
   人物追跡システム。
6. 前記行動予測手段は、最新の前記位置情報が示す前記位置から、前記時刻情報からの経過時間に基づいて決定される距離以内の所定条件を満たす施設の位置を、前記顔画像の前記人物が現れる位置と予測する、請求項3乃至５の何れか１項の人物追跡システム。
7. 施設内または街頭に備えられて、近傍を撮影した前記画像情報と、撮影時の時刻情報と、前記位置情報とを、前記顔認証装置に送信する監視カメラと、
   前記位置情報を発信し、前記撮影依頼を受信して、自装置のカメラで撮影した前記画像情報を送信する前記携帯型端末装置と、を更に含み、
   前記分析装置は、前記携帯型端末装置の前記位置情報と、前記画像情報を受信して前記人物情報管理手段に格納する受信手段、を備える請求項3乃至６の何れか１項の人物追跡システム。
8. 受信した画像情報から、１）人物の顔画像のリストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力し、
   前記画像情報から検出した前記人物が前記所定基準を満たすか否かを、ａ）前記人物が所定時間帯内に所定時間経過後も、予め指定された商品近傍にいるか否か、ｂ）前記商品近傍にいる間に、前記人物が前記商品以外の方向に顔面を向ける頻度、及び、ｄ）前記人物の所持品、に基づいて決定される評価値と閾値を比較して決定する人物追跡方法。
9. 受信した画像情報から、１）記憶している人物の顔画像のリストに含まれる前記顔画像を検出すると検出した前記顔画像の識別子を出力し、２）前記リストに含まれないが所定基準を満たす前記人物を検出すると前記所定基準を満たす前記人物の前記顔画像を前記リストに追加するとともに追加した前記顔画像の識別子を出力する処理と、
   前記画像情報から検出した前記人物が前記所定基準を満たすか否かを、ａ）前記人物が所定時間帯内に所定時間経過後も、予め指定された商品近傍にいるか否か、ｂ）前記商品近傍にいる間に、前記人物が前記商品以外の方向に顔面を向ける頻度、及び、ｄ）前記人物の所持品、に基づいて決定される評価値と閾値を比較して決定する処理をコンピュータに実行させる人物追跡プログラム。

Images